CN115830281A - 一种基于MiniLED显示屏的裸眼VR沉浸式体验装置 - Google Patents

Abstract

本发明提供了一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，包括：视频分离模块，用于提取出前景视频和完整背景视频；背景处理模块，用于基于体验空间的三维构造尺寸和虚拟观察点的位置对完整背景视频进行透视渲染获得完整背景渲染视频；位置确定模块，用于基于完整背景视频和完整背景渲染视频之间的坐标映射关系确定出前景视频在完整背景渲染视频中的动态叠加位置；视频生成模块，用于基于动态叠加位置和MiniLED显示屏中MiniLED发光单元之间的显示影响关系将前景视频和完整背景渲染视频进行融合渲染获得最终VR视频；视频投放模块，用于将最终VR视频投放在MiniLED显示屏；用以保证基于MiniLED显示屏的VR沉浸式体验装置的融合显示效果和用户的沉浸式体验效果。

Description

一种基于MiniLED显示屏的裸眼VR沉浸式体验装置

技术领域

本发明涉及VR技术领域，特别涉及一种基于MiniLED显示屏的裸眼VR沉浸式体验装置。

背景技术

目前，随着视频技术和显示屏硬件技术的发展，裸眼VR技术越发成熟，通过对现有视频的三维空间透视渲染可以实现空间三维动态效果的呈现，进而提高了用户对裸眼VR的沉浸式体验效果。现有的裸眼VR沉浸式体验装置多采用LED显示屏，相较于传统的LED显示屏，MiniLED显示屏能够在相对合理的成本空间内实现曲面及窄边框显示效果，且兼具宽色域、高对比度、薄型化特性。

但是，由于MiniLED显示屏的MiniLED发光单元的间距更小，因此导致VR沉浸式体验装置中视频处理过程中视频融合步骤中前景视频和完整背景视频的融合精度要求更高，因此，若采用针对LED显示屏的视频融合技术和视频融合精度会大大降低裸眼VR沉浸式体验装置中视频处理过程中视频融合步骤的融合显示效果，影响用户的沉浸式体验效果。

因此，本发明提出了一种基于MiniLED显示屏的裸眼VR沉浸式体验装置。

发明内容

本发明提供一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，用以基于体验空间的三维构造尺寸和虚拟观察点的位置对待投放视频中的完整背景视频进行透视渲染，进而基于透视前后的坐标映射关系确定出待投放视频的前景视频的动态叠加位置，再进一步基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系对动态叠加位置处的边界进行融合渲染，提高了前景视频和完整背景视频的融合精度，进而保证了VR沉浸式体验装置的融合显示效果，也保证了用户的沉浸式体验效果。

本发明提供一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，包括：

视频分离模块，用于在待投放视频中提取出前景视频和完整背景视频；

背景处理模块，用于基于体验空间的三维构造尺寸和虚拟观察点的位置对完整背景视频进行透视渲染，获得完整背景渲染视频；

位置确定模块，用于基于完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的动态叠加位置；

视频生成模块，用于基于动态叠加位置和MiniLED显示屏中MiniLED发光单元之间的显示影响关系将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频；

视频投放模块，用于将最终VR视频投放在MiniLED显示屏，获得裸眼VR沉浸式展示结果。

优选的，视频分离模块，包括：

前景提取单元，用于在待投放视频的视频帧中提取出动态目标区域，并按照时序对所有动态目标区域进行排序，获得前景视频；

背景提取单元，用于将待投放视频的视频帧中除动态目标区域以外的区域作为背景区域，按照时序对所有背景区域进行排序，获得背景视频；

背景填充单元，用于对背景视频进行填充，获得完整背景视频。

优选的，背景填充单元，包括：

识别子单元，用于确定出背景视频中背景视频帧中的缺失区域，并确定出对应背景视频帧中的所有识别轮廓；

确定子单元，用于判断出包围缺失区域的识别轮廓是否只有一个，若是，则将包围缺失区域的识别轮廓所围成的区域作为目标区域，否则，基于特征点识别算法识别出每个包围缺失区域的识别轮廓所围成的区域中包含的特征点总数，将特征点总数不小于特征点总数阈值的包围缺失区域的识别轮廓中所围成区域面积最小的识别轮廓所围成的区域作为目标区域；

填充子单元，用于在除对应背景视频帧以外剩余的背景视频帧中确定出目标区域的最大完整度的匹配区域，基于匹配区域对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

优选的，填充子单元，包括：

筛选端，用于将目标区域与除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的待匹配区域进行匹配，并在所有待匹配区域中筛选出目标区域的最大完整度的匹配区域；

关联端，用于将目标区域与匹配区域进行点关联，获得关联点组合；

确定端，用于基于关联点组合中的点在所属背景视频帧中的坐标，确定出关联点组合中匹配区域的点指向目标区域的点的向量作为对应的移动向量；

填充端，用于基于关联点组合中每个点的移动向量和匹配区域中每个点的坐标以及匹配区域的宏观像素特征，对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

优选的，关联端，包括：

参数确定子端，用于基于目标区域中每个像素点的视觉参数值，计算出目标区域的第一参考视觉参数值，并搭建出目标区域中每个像素点的第一环绕视觉差矩阵，基于匹配区域中每个像素点的视觉参数值，计算出匹配区域的第二参考视觉参数值，并搭建出匹配区域中每个像素点的第二环绕视觉差矩阵；

点关联子端，用于基于第一参考视觉参数值、第二参考视觉参数值和第一环绕视觉差矩阵以及第二环绕视觉差矩阵，计算出目标区域中每个点和匹配区域中每个点之间的匹配度，将匹配区域中与目标区域中对应点的匹配度最大的点以及目标区域中的对应点作为关联点组合。

优选的，填充端，包括：

关联确定子端，用于确定出匹配区域中不属于任何关联点组合的第一点，在第一点邻域内确定出属于关联点组合的第二点，基于第二点的移动向量确定出对应第一点的预测移动向量，基于对应第一点的坐标和对应的预测移动向量，在目标区域中确定出确定出对应第一点的关联点；

像素补充子端，用于基于第一点在对应匹配区域中的第一视觉参数值和对应匹配区域的第二参考视觉参数值，确定出对应关联点在对应目标区域中的视觉参数补充值，基于视觉参数补充值对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

优选的，背景处理模块，包括：

模型模拟模块，用于在体验空间中确定出虚拟观察点，基于体验空间的三维构造尺寸和虚拟观察点在体验空间中的位置以及完整背景视频，模拟出体验空间的三维透视空间模型；

透视渲染模块，用于基于三维空间透视模型对完整背景视频进行透视渲染，获得背景渲染视频，并将所有背景渲染视频进行拼接，获得完整背景渲染视频。

优选的，位置确定模块，包括：

映射确定单元，用于确定出完整背景视频和完整背景渲染视频之间的坐标映射关系；

位置确定单元，用于基于前景视频在待投放视频中的第一前景坐标表示以及完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的第二前景坐标表示，将第二前景坐标表示作为前景视频在完整背景渲染视频中的动态叠加位置。

优选的，视频生成模块，包括：

区域确定单元，用于基于动态叠加位置将前景视频和完整背景渲染视频按照视频帧顺序进行叠加，获得叠加视频，基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系，确定出叠加视频中每个视频帧中的前景区域中每个第一像素点的第一显示影响区域以及每个视频帧中除前景区域以外的背景区域中每个第二像素点的第二显示影响区域；

区域融合单元，用于将与对应背景区域重叠的第一显示影响区域以及与对应前景区域重叠的第二显示影响区域作为待融合区域，将所有待融合区域汇总获得总融合区域；

融合渲染单元，用于基于总融合区域中每个点的视觉参数值，将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频。

优选的，融合渲染单元，包括：

参数确定子单元，用于在总融合区域中确定出对应前景区域的每个轮廓点在每个预设方向上的视觉参数渐变值，基于轮廓点在对应预设方向上的相邻像素点的视觉参数值和在对应预设方向上的视觉参数渐变值，确定出对应轮廓点在每个预设方向上的视觉参数计算值，基于对应轮廓点在所有预设方向上的视觉参数计算值，确定出对应轮廓点的视觉参数值；

融合渲染子单元，用于基于轮廓点的视觉参数值对叠加视频中的轮廓点进行参数修正，获得第一融合轮廓，对第一融合轮廓进行光滑处理，获得第二融合轮廓，对第二融合轮廓进行三维渲染，获得融合视频帧，基于融合视频帧获得最终VR视频。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于MiniLED显示屏的裸眼VR沉浸式体验装置示意图；

图2为本发明实施例中一种视频分离模块示意图；

图3为本发明实施例中一种背景填充单元示意图；

图4为本发明实施例中一种填充子单元示意图；

图5为本发明实施例中一种关联端示意图；

图6为本发明实施例中一种填充端示意图；

图7为本发明实施例中一种背景处理模块示意图；

图8为本发明实施例中一种位置确定模块示意图；

图9为本发明实施例中一种视频生成模块示意图；

图10为本发明实施例中一种融合渲染单元示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，参考图1，包括：

视频分离模块，用于在待投放视频中提取出前景视频和完整背景视频；

背景处理模块，用于基于体验空间的三维构造尺寸和虚拟观察点的位置对完整背景视频进行透视渲染，获得完整背景渲染视频；

位置确定模块，用于基于完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的动态叠加位置；

视频生成模块，用于基于动态叠加位置和MiniLED显示屏中MiniLED发光单元之间的显示影响关系将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频；

视频投放模块，用于将最终VR视频投放在MiniLED显示屏，获得裸眼VR沉浸式展示结果。

该实施例中，待投放视频即为用于获得在MiniLED显示屏投放的VR视频的原始视频素材。

该实施例中，前景视频即为待投放视频中的非静止物体(即相对于待投放视频中的背景物体为运动状态的物体)的动态过程的视频。

该实施例中，完整背景视频即为待投放视频中未被非静止物体遮挡的静止背景(即与视频的拍摄视角相对静止的物体形成的区域)的完整视频。

该实施例中，体验空间即为用于为用户提供裸眼VR沉浸式体验的、由MiniLED显示屏形成的空间。

该实施例中，三维构造尺寸即为体验空间的三维形状尺寸，可以是正方体或者长方体等形状的空间尺寸。

该实施例中，虚拟观察点即为在体验空间中假设的用户的眼睛所在位置，也是预设的用户看到最终VR视频的视角位置。

该实施例中，透视渲染即为将完整背景视频渲染出三维透视效果的视频处理过程。

该实施例中，坐标映射关系即为表征完整背景视频中的点和完整背景渲染视频中对应点之间的坐标对应关系的映射关系。

该实施例中，动态叠加位置即为前景视频中每一视频帧在完整背景渲染视频中每一帧视频帧中进行叠加的位置，该动态叠加位置用大量坐标表示。

该实施例中，显示影响关系即为由于两个MiniLED发光单元尺寸过小且间距过近导致显示效果会互相影响的关系，表征预设的MiniLED显示屏中不同视觉参数范围的像素点对应的显示影响范围，即为不同视觉参数范围的像素点对对应显示影响范围区域内的像素点的显示效果会产生影响(视觉参数会发生影响，视觉参数包括色度值或灰度值或亮度值)。

该实施例中，最终VR视频即为基于动态叠加位置和MiniLED显示屏中MiniLED发光单元之间的显示影响关系将前景视频和完整背景渲染视频进行融合渲染后获得的视频。

该实施例中，裸眼VR沉浸式展示结果即为将最终VR视频投放在MiniLED显示屏后获得的效果。

以上技术的有益效果为：基于体验空间的三维构造尺寸和虚拟观察点的位置对待投放视频中的完整背景视频进行透视渲染，进而基于透视前后的坐标映射关系确定出待投放视频的前景视频的动态叠加位置，再进一步基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系对动态叠加位置处的边界进行融合渲染，提高了前景视频和完整背景视频的融合精度，进而保证了VR沉浸式体验装置的融合显示效果，也保证了用户的沉浸式体验效果。

实施例2：

在实施例1的基础上，视频分离模块，参考图2，包括：

前景提取单元，用于在待投放视频的视频帧中提取出动态目标区域，并按照时序对所有动态目标区域进行排序，获得前景视频；

背景提取单元，用于将待投放视频的视频帧中除动态目标区域以外的区域作为背景区域，按照时序对所有背景区域进行排序，获得背景视频；

背景填充单元，用于对背景视频进行填充，获得完整背景视频。

该实施例中，动态目标区域即为待投放视频中非静止物体所在的区域。

该实施例中，前景视频即为按照时序对所有动态目标区域进行排序后获得的视频。

该实施例中，背景区域即为待投放视频的视频帧中除动态目标区域以外的区域。

该实施例中，背景视频即为按照时序对所有背景区域进行排序后获得的视频。

该实施例中，完整背景视频即为将背景视频的视频帧中的缺失区域进行填充后获得的不存在缺陷区域的完整的背景视频。

以上技术的有益效果为：实现在待投放视频中提取出前景视频和背景视频，并对背景视频进行填充后获得完整背景视频。

实施例3：

在实施例2的基础上，所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，背景填充单元，参考图3，包括：

识别子单元，用于确定出背景视频中背景视频帧中的缺失区域，并确定出对应背景视频帧中的所有识别轮廓；

确定子单元，用于判断出包围缺失区域的识别轮廓是否只有一个，若是，则将包围缺失区域的识别轮廓所围成的区域作为目标区域，否则，基于特征点识别算法识别出每个包围缺失区域的识别轮廓所围成的区域中包含的特征点总数，将特征点总数不小于特征点总数阈值的包围缺失区域的识别轮廓中所围成区域面积最小的识别轮廓所围成的区域作为目标区域；

填充子单元，用于在除对应背景视频帧以外剩余的背景视频帧中确定出目标区域的最大完整度的匹配区域，基于匹配区域对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

该实施例中，缺失区域即为背景视频的视频帧中属于前景视频的对应视频帧的所在区域，也是在待投放视频的视频帧中将前景视频的视频帧提取出后形成的缺失的区域。

该实施例中，识别轮廓即为按照预设的边缘识别算法(例如Canny边缘检测算法)对背景视频帧进行边缘识别后获得的所有轮廓。

该实施例中，当包围缺失区域的识别轮廓只有一个时，目标区域即为包围缺失区域的识别轮廓所围成的区域；当包围缺失区域的识别轮廓不是只有一个时，目标区域即为特征点总数不小于特征点总数阈值的包围缺失区域的识别轮廓中所围成区域面积最小的识别轮廓所围成的区域。

该实施例中，特征点识别算法即为勇士识别出区域内的特征点的算法，例如Harris角点检测算法。

该实施例中，特征点总数阈值即为包围缺失区域的识别轮廓中所围成的区域被当作目标区域时需要满足的最小特征点总数。

该实施例中，完整度即为表征匹配区域的完整程度的数值，完整度越大，表征完整程度越大，反之亦然。

该实施例中，匹配区域即为在除对应背景视频帧以外剩余的背景视频帧中确定出的与目标区域匹配的最大完整度的的区域，该区域是除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的区域之一。

该实施例中，背景视频帧即为背景视频中的视频帧。

该实施例中，完整背景视频帧即为基于匹配区域对目标区域进行像素填充后获得的对应目标区域所在视频帧的完整的视频帧。

该实施例中，基于所有完整背景视频帧，获得完整背景视频，即为：

将所有完整背景视频帧按照时序排序后获得的视频。

以上技术的有益效果为：通过确定出包围需要进行填充的缺失区域的轮廓所围成的区域中的特征点总数，实现对包围缺失区域的识别轮廓所围成的区域的筛选，确定出后续用于确定出缺失区域的匹配区域的目标区域，进而保证确定出的目标区域足够用于后续进行匹配并进行像素填充，但又避免目标区域过大造成匹配过程的计算量增加，保证了后续确定出缺失区域的匹配区域的精确性和效率，并通过在除对应背景视频帧以外剩余的背景视频帧中确定出目标区域的最大完整度的匹配区域，进而确定出对目标区域进行像素填充时的参照区域，实现对背景视频帧的像素填充，进而获得完整的背景视频帧。

实施例4：

在实施例3的基础上，填充子单元，参考图4，包括：

筛选端，用于将目标区域与除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的待匹配区域进行匹配，并在所有待匹配区域中筛选出目标区域的最大完整度的匹配区域；

关联端，用于将目标区域与匹配区域进行点关联，获得关联点组合；

确定端，用于基于关联点组合中的点在所属背景视频帧中的坐标，确定出关联点组合中匹配区域的点指向目标区域的点的向量作为对应的移动向量；

填充端，用于基于关联点组合中每个点的移动向量和匹配区域中每个点的坐标以及匹配区域的宏观像素特征，对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

该实施例中，待匹配区域即为除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的区域。

该实施例中，在所有待匹配区域中筛选出目标区域的最大完整度的匹配区域，即为：

将目标区域与除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的待匹配区域进行匹配后，确定出目标区域与待匹配区域之间的匹配度以及待匹配区域的完整度，将匹配度不小于匹配度阈值的待匹配区域中完整度最大的待匹配区域作为匹配区域；

其中，确定出目标区域与待匹配区域之间的匹配度，包括：

式中，p₁为目标区域与待匹配区域之间的匹配度，i为目标区域中当前计算的像素点的像素值，n为目标区域中的像素点总数，j为待匹配区域中当前计算的像素点的像素值，m为待匹配区域中的像素点总数，x_i为目标区域中的第i个像素点的像素值，x_j为待匹配区域中第j个像素点的像素值；

基于以上公式可以准确计算出目标区域与待匹配区域之间的匹配度；

确定出待匹配区域的完整度，包括：

确定出待匹配区域中缺失的像素点总数，将待匹配区域中缺失的像素点总数和待匹配区域中的像素点总数的比值作为对应待匹配区域的缺失度，将1和缺失度的差值作为对应待匹配区域的匹配度。

该实施例中，关联点组合即为将目标区域与匹配区域进行点关联后获得的包含存在关联关系的目标区域中的点与匹配区域中的点形成的组合。

该实施例中，所属背景视频帧即为点所在的背景视频帧。

该实施例中，移动向量即为关联点组合中匹配区域的点指向目标区域的点的向量。

该实施例中，宏观像素特征即为匹配区域的所有像素点的视觉参数值，视觉参数值包括色度值或灰度值或亮度值。

以上技术的有益效果为：通过将目标区域与除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的待匹配区域进行匹配，并结合待匹配区域的完整度，筛选出与目标区域匹配且完整度足够大的目标区域的匹配区域，再经过点关联过程确定出匹配区域中的点指向目标区域中的点的移动向量，进而结合匹配区域的宏观像素特征，实现对目标区域的像素填充，实现通过缺失区域周围的点的像素特征和移动向量，对缺失区域进行准确地像素填充。

实施例5：

在实施例4的基础上，关联端，参考图5，包括：

参数确定子端，用于基于目标区域中每个像素点的视觉参数值，计算出目标区域的第一参考视觉参数值，并搭建出目标区域中每个像素点的第一环绕视觉差矩阵，基于匹配区域中每个像素点的视觉参数值，计算出匹配区域的第二参考视觉参数值，并搭建出匹配区域中每个像素点的第二环绕视觉差矩阵；

点关联子端，用于基于第一参考视觉参数值、第二参考视觉参数值和第一环绕视觉差矩阵以及第二环绕视觉差矩阵，计算出目标区域中每个点和匹配区域中每个点之间的匹配度，将匹配区域中与目标区域中对应点的匹配度最大的点以及目标区域中的对应点作为关联点组合。

该实施例中的视觉参数值时对应像素点的色度值或者灰度值或者亮度值。

该实施例中，基于目标区域中每个像素点的视觉参数值，计算出目标区域的第一参考视觉参数值，包括：

即为将目标区域中所有像素点的视觉参数值的平均值作为对应目标区域的第一参考视觉参数值。

该实施例中，第一参考视觉参数值即为目标表区域中所有像素点的视觉参数值的平均值。

该实施例中，搭建出目标区域中每个像素点的第一环绕视觉差矩阵，即为：

按照预设坐标系确定出以目标区域中对应像素点为原点，对应像素点的最接近0度的、45度、90度、135度、180度、225度、270度、315度、360度的相邻像素点的视觉参数值，基于对应像素点的视觉参数值和上述相邻像素点的视觉参数值搭建出3×3的矩阵(即为将对应像素点的视觉参数值、最接近0度的、45度、90度、135度、180度、225度、270度、315度的相邻像素点的视觉参数值依次作为第一环绕视觉差矩阵中第二行第二列的数值、第二行第三列的数值、第一行第三列的数值、第一行第二列的数值、第一行第一列的数值、第二行第一列的数值、第三行第一列的数值、第三行第二列的数值第三行第三列的数值)作为目标区域中对应像素点的第一环绕视觉差矩阵；

第一环绕视觉差矩阵即为包含目标区域中对应像素点周围环绕的相邻像素点和对应像素点之间的视觉参数差值的矩阵。

该实施例中，基于匹配区域中每个像素点的视觉参数值，计算出匹配区域的第二参考视觉参数值，包括：

将匹配区域中所有像素点的视觉参数值的平均值作为对应匹配区域的第二参考视觉参数值。

该实施例中，第二参考视觉参数值即为匹配区域中所有像素点的视觉参数值的平均值。

该实施例中，搭建出匹配区域中每个像素点的第二环绕视觉差矩阵，包括：

按照预设坐标系确定出以匹配区域中对应像素点为原点，对应像素点的最接近0度的、45度、90度、135度、180度、225度、270度、315度、360度的相邻像素点的视觉参数值，基于对应像素点的视觉参数值和上述相邻像素点的视觉参数值搭建出3×3的矩阵(即为将对应像素点的视觉参数值、最接近0度的、45度、90度、135度、180度、225度、270度、315度的相邻像素点的视觉参数值依次作为第一环绕视觉差矩阵中第二行第二列的数值、第二行第三列的数值、第一行第三列的数值、第一行第二列的数值、第一行第一列的数值、第二行第一列的数值、第三行第一列的数值、第三行第二列的数值第三行第三列的数值)作为匹配区域中对应像素点的第二环绕视觉差矩阵；

第二环绕视觉差矩阵即为包含匹配区域中对应像素带你周围环绕的相邻像素点和对应像素点之间的视觉参数差值的矩阵。

该实施例中，基于第一参考视觉参数值、第二参考视觉参数值和第一环绕视觉差矩阵以及第二环绕视觉差矩阵，计算出目标区域中每个点和匹配区域中每个点之间的匹配度，包括：

式中，p₂为目标区域中对应点和匹配区域中对应点之间的匹配度，a为第一环绕视觉差矩阵或第二环绕视觉差矩阵中的第a行，b为第一环绕视觉差矩阵或第二环绕视觉差矩阵的行总数，e为第一环绕视觉差矩阵或第二环绕视觉差矩阵中的第e列，f为第一环绕视觉差矩阵或第二环绕视觉差矩阵中的列总数，a_1ae为第一环绕视觉差矩阵中第a行第e列的数值，c₁为第一参考视觉参数值，a_2ae为第二环绕视觉差矩阵中第a行第e列的数值，c₂为第二参考视觉参数值；

基于上述公式可以准确计算出目标区域中每个点和匹配区域中每个点之间的匹配度。

该实施例中，匹配度即为表征目标区域中每个点和匹配区域中每个点之间的匹配度之间的匹配程度的数值，匹配度越大，表征目标区域中每个点和匹配区域中每个点之间的匹配度之间的匹配程度越大，反之亦然。

以上技术的有益效果为：基于目标区域和匹配区域中每个像素点的视觉参数值计算出包含目标区域中对应像素点周围环绕的相邻像素点和对应像素点之间的视觉参数差值的第一环绕视觉差矩阵、包含匹配区域中对应像素带你周围环绕的相邻像素点和对应像素点之间的视觉参数差值的第二环绕视觉差矩阵、并结合目标区域的第一参考视觉参数值、匹配区域的第二参考视觉参数值，可以准确计算出目标区域中每个点和匹配区域中每个点之间的匹配度，进而实现将匹配区域中的点和目标区域中的点进行关联。

实施例6：

在实施例5的基础上，填充端，参考图6，包括：

关联确定子端，用于确定出匹配区域中不属于任何关联点组合的第一点，在第一点邻域内确定出属于关联点组合的第二点，基于第二点的移动向量确定出对应第一点的预测移动向量，基于对应第一点的坐标和对应的预测移动向量，在目标区域中确定出确定出对应第一点的关联点；

像素补充子端，用于基于第一点在对应匹配区域中的第一视觉参数值和对应匹配区域的第二参考视觉参数值，确定出对应关联点在对应目标区域中的视觉参数补充值，基于视觉参数补充值对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

该实施例中，第一点即为匹配区域中不属于任何关联点组合的点。

该实施例中，邻域即为以对应点为圆心，以预设长度为半径的圆区域内。

该实施例中，第二点即为第一点邻域内确定出的属于关联点组合的点。

该实施例中，基于第二点的移动向量确定出对应第一点的预测移动向量，即为：

将所有第二点的移动向量的平均向量作为对应第一点的预测移动向量。

该实施例中，基于对应第一点的坐标和对应的预测移动向量，在目标区域中确定出确定出对应第一点的关联点，即为：

将对应第一点的坐标作为预测移动向量的起点，进而确定出预测移动向量对应的终点坐标，将目标区域中预测移动向量的终点坐标对应的点作为对应第一点的关联点。

该实施例中，基于第一点在对应匹配区域中的第一视觉参数值和对应匹配区域的第二参考视觉参数值，确定出对应关联点在对应目标区域中的视觉参数补充值，包括：

式中，B为对应关联点在对应目标区域中的视觉参数补充值，sc₁为第一点在对应匹配区域中的第一视觉参数值，c₂为对应匹配区域的第二参考视觉参数值，c₁为对应目标区域的第一参考视觉参数值；

基于以上公式可以准确计算出关联点在对应目标区域中的视觉参数补充值。

该实施例中，视觉参数补充值即为对目标区域进行像素填充时，需要设置的目标区域中对应点的视觉参数值。

以上技术的有益效果为：基于匹配区域中不属于任何关联点组合的第一点的邻域内属于关联点组合的第二点的移动向量，准确确定出对应第一点的预测移动向量，进而实现将目标区域中缺失区域中的点与匹配区域中不属于任何关联点组合的第一点之间的关联，基于缺失区域中的点关联结果以及匹配区域中的视觉参数值，实现对目标区域的准确地像素填充。

实施例7：

在实施例1的基础上，背景处理模块，参考图7，包括：

模型模拟模块，用于在体验空间中确定出虚拟观察点，基于体验空间的三维构造尺寸和虚拟观察点在体验空间中的位置以及完整背景视频，模拟出体验空间的三维透视空间模型；

透视渲染模块，用于基于三维空间透视模型对完整背景视频进行透视渲染，获得背景渲染视频，并将所有背景渲染视频进行拼接，获得完整背景渲染视频。

该实施例中，三维透视空间模型即为表示用户在虚拟观察点看到的待投放视频中的物体所构成的三维空间的模型，其包含了用户在虚拟观察点看到的待投放视频中的物体的三维透视表示，三维透视表示即为物体在三维虚拟透视空间中的位置表示。

该实施例中，在体验空间中确定出虚拟观察点，基于体验空间的三维构造尺寸和虚拟观察点在体验空间中的位置以及完整背景视频，模拟出体验空间的三维透视空间模型，包括：

在体验空间中确定出虚拟观察点，基于完整背景视频确定出完整背景视频中每个物体的深度数据以及MiniLED显示屏中的显示位置，基于虚拟观察点在体验空间中的位置以及每个物体在MiniLED显示屏中的显示位置和在完整背景视频中的深度数据，确定出用户在虚拟观察点看到的待投放视频中的物体的三维透视表示，将完整背景视频中所有物体的三维透视表示搭建出的包含体验空间模型的虚拟空间模型当作三维透视空间模型。

该实施例中，基于三维空间透视模型对完整背景视频进行透视渲染，获得背景渲染视频，即为：

基于三维空间透视模型中完整背景视频中不同物体在三维虚拟透视空间中的位置表示对完整背景视频中的物体进行不同深度的三维渲染(即使得完整背景视频中的物体的位置与虚拟观察点的位置之间的距离有所不同)，获得具有三维立体效果(三维透视关系)的完整背景渲染视频。

该实施例中，背景渲染视频即为基于三维空间透视模型对完整背景视频进行透视渲染后获得的视频。

该实施例中，完整背景渲染视频即为将所有背景渲染视频进行拼接后获得的视频。

以上技术的有益效果为：基于体验空间的三维构造尺寸和虚拟观察点在体验空间中的位置以及完整背景视频，模拟出体验空间的三维透视空间模型，并基于三维透视空间模型对完整背景视频进行透视渲染并拼接，实现对完整背景视频从二维到三维的准确转换，获得剧透三维透视关系的完整背景渲染视频。

实施例8：

在实施例1的基础上，位置确定模块，参考图8，包括：

映射确定单元，用于确定出完整背景视频和完整背景渲染视频之间的坐标映射关系；

位置确定单元，用于基于前景视频在待投放视频中的第一前景坐标表示以及完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的第二前景坐标表示，将第二前景坐标表示作为前景视频在完整背景渲染视频中的动态叠加位置。

该实施例中，第一前景坐标表示即为前景视频的视频帧在待投放视频中对应的视频帧中的坐标表示。

该实施例中，第二前景坐标表示即为基于前景视频在待投放视频中的第一前景坐标表示以及完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出的前景视频的前景视频的视频帧在完整背景渲染视频的视频帧中的前景坐标表示。

以上技术的有益效果为：实现基于完整背景视频和完整背景渲染视频之间的坐标映射关系以及前景视频在待投放视频中的第一前景坐标表示，确定出前景视频在完整背景渲染视频中的第二前景坐标表示，进而准确确定出前景视频在完整背景渲染视频中的动态叠加位置。

实施例9：

在实施例1的基础上，视频生成模块，参考图9，包括：

区域确定单元，用于基于动态叠加位置将前景视频和完整背景渲染视频按照视频帧顺序进行叠加，获得叠加视频，基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系，确定出叠加视频中每个视频帧中的前景区域中每个第一像素点的第一显示影响区域以及每个视频帧中除前景区域以外的背景区域中每个第二像素点的第二显示影响区域；

区域融合单元，用于将与对应背景区域重叠的第一显示影响区域以及与对应前景区域重叠的第二显示影响区域作为待融合区域，将所有待融合区域汇总获得总融合区域；

融合渲染单元，用于基于总融合区域中每个点的视觉参数值，将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频。

该实施例中，叠加视频即为基于动态叠加位置将前景视频和完整背景渲染视频按照视频帧顺序进行叠加。

该实施例中，基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系，确定出叠加视频中每个视频帧中的前景区域中每个第一像素点的第一显示影响区域以及每个视频帧中除前景区域以外的背景区域中每个第二像素点的第二显示影响区域，即为：

基于显示影响关系中不同视觉参数范围对应的显示影响范围(例如亮度值为100的像素点的显示影响范围为以该亮度值为100的像素点为圆心、以预设长度为半径的圆区域内)，确定出叠加视频中每个视频帧中的前景区域中每个第一像素点的第一显示影响区域以及每个视频帧中除前景区域以外的背景区域中每个第二像素点的第二显示影响区域。

该实施例中，第一显示影响区域即为基于iniLED显示屏中MiniLED发光单元之间的显示影响关系确定出的叠加视频中每个视频帧中的前景区域中的第一像素点的显示影响范围内的区域。

该实施例中，第一像素点即为叠加视频中每个视频帧中的前景区域中的像素点。

该实施例中，第二像素点即为叠加视频中每个视频帧中除前景区域以外的背景区域中的像素点。

该实施例中，第二显示影响区域即为基于iniLED显示屏中MiniLED发光单元之间的显示影响关系确定出的叠加视频中每个视频帧中除前景区域以外的背景区域中的第二像素点的显示影响范围内的区域。

该实施例中，待融合区域即为与对应背景区域重叠的第一显示影响区域以及与对应前景区域重叠的第二显示影响区域。

该实施例中，总融合区域即为将所有待融合区域汇总后获得的区域。、

以上技术的有益效果为：基于动态叠加位置将前景视频和完整背景渲染视频按照视频帧顺序进行叠加，获得叠加视频，并基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系确定出叠加视频中每个像素点的显示影响区域，并进一步地将所有与对应背景区域重叠的第一显示影响区域以及与对应前景区域重叠的第二显示影响区域汇总获得总融合区域，实现对待融合渲染区域的准确确定，进而实现基于总融合区域中每个点的视觉参数值，将前景视频和完整背景渲染视频进行融合渲染，提高了前景视频和完整背景视频的融合精度，进而保证了VR沉浸式体验装置的融合显示效果，也保证了用户的沉浸式体验效果。

实施例10：

在实施例9的基础上，融合渲染单元，参考图10，包括：

参数确定子单元，用于在总融合区域中确定出对应前景区域的每个轮廓点在每个预设方向上的视觉参数渐变值，基于轮廓点在对应预设方向上的相邻像素点的视觉参数值和在对应预设方向上的视觉参数渐变值，确定出对应轮廓点在每个预设方向上的视觉参数计算值，基于对应轮廓点在所有预设方向上的视觉参数计算值，确定出对应轮廓点的视觉参数值；

融合渲染子单元，用于基于轮廓点的视觉参数值对叠加视频中的轮廓点进行参数修正，获得第一融合轮廓，对第一融合轮廓进行光滑处理，获得第二融合轮廓，对第二融合轮廓进行三维渲染，获得融合视频帧，基于融合视频帧获得最终VR视频。

该实施例中，轮廓点即为前景区域的轮廓像素点。

该实施例中，轮廓点在每个预设方向上的视觉参数渐变值，即为：

以该轮廓点为起点，依次确定出该预设方向上的相邻像素点，确定出该预设方向上的像素点序列，将该像素点序列中所有相邻像素点的视觉参数差值的平均值作为对应轮廓点在对应预设方向上的视觉参数渐变值。

该实施例中，基于轮廓点在对应预设方向上的相邻像素点的视觉参数值和在对应预设方向上的视觉参数渐变值，确定出对应轮廓点在每个预设方向上的视觉参数计算值，即为：

将轮廓点在对应预设方向上的相邻像素点的视觉参数值和在对应预设方向上的视觉参数渐变值的差值作为对应轮廓点在对应预设方向上的视觉参数计算值。

该实施例中，基于对应轮廓点在所有预设方向上的视觉参数计算值，确定出对应轮廓点的视觉参数值，即为：

将对应轮廓点在所有预设方向上的视觉参数计算值的平均值作为对应轮廓点的视觉参数值。

该实施例中，基于轮廓点的视觉参数值对叠加视频中的轮廓点进行参数修正，获得第一融合轮廓，即为：

将叠加视频中的轮廓点的视觉参数值设置为上述步骤计算出的轮廓点的视觉参数值，进而获得新的轮廓，将新的轮廓作为第一融合轮廓。

该实施例中，第二融合轮廓即为对第一融合轮廓进行光滑处理后获得的轮廓。

该实施例中，融合视频帧即为对第二融合轮廓进行三维渲染后获得的视频帧。

该实施例中，最终VR视频即为将所有融合视频帧按照视频帧顺序进行排序后获得的视频。

以上技术的有益效果为：基于对总融合区域中的轮廓点在各个方向上的视觉参数渐变关系确定出轮廓点的新的视觉参数值，进而实现对轮廓点的参数修正，并通过对新的轮廓进行光滑处理和三维渲染，进一步提高了前景视频和完整背景视频的融合精度，进而保证了VR沉浸式体验装置的融合显示效果，也保证了用户的沉浸式体验效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，包括：

视频分离模块，用于在待投放视频中提取出前景视频和完整背景视频；

背景处理模块，用于基于体验空间的三维构造尺寸和虚拟观察点的位置对完整背景视频进行透视渲染，获得完整背景渲染视频；

位置确定模块，用于基于完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的动态叠加位置；

视频生成模块，用于基于动态叠加位置和MiniLED显示屏中MiniLED发光单元之间的显示影响关系将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频；

视频投放模块，用于将最终VR视频投放在MiniLED显示屏，获得裸眼VR沉浸式展示结果。

2.根据权利要求1所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，视频分离模块，包括：

前景提取单元，用于在待投放视频的视频帧中提取出动态目标区域，并按照时序对所有动态目标区域进行排序，获得前景视频；

背景提取单元，用于将待投放视频的视频帧中除动态目标区域以外的区域作为背景区域，按照时序对所有背景区域进行排序，获得背景视频；

背景填充单元，用于对背景视频进行填充，获得完整背景视频。

3.根据权利要求2所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，背景填充单元，包括：

识别子单元，用于确定出背景视频中背景视频帧中的缺失区域，并确定出对应背景视频帧中的所有识别轮廓；

确定子单元，用于判断出包围缺失区域的识别轮廓是否只有一个，若是，则将包围缺失区域的识别轮廓所围成的区域作为目标区域，否则，基于特征点识别算法识别出每个包围缺失区域的识别轮廓所围成的区域中包含的特征点总数，将特征点总数不小于特征点总数阈值的包围缺失区域的识别轮廓中所围成区域面积最小的识别轮廓所围成的区域作为目标区域；

填充子单元，用于在除对应背景视频帧以外剩余的背景视频帧中确定出目标区域的最大完整度的匹配区域，基于匹配区域对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

4.根据权利要求3所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，填充子单元，包括：

筛选端，用于将目标区域与除对应背景视频帧以外剩余的背景视频帧中包含的识别轮廓所围成的待匹配区域进行匹配，并在所有待匹配区域中筛选出目标区域的最大完整度的匹配区域；

关联端，用于将目标区域与匹配区域进行点关联，获得关联点组合；

确定端，用于基于关联点组合中的点在所属背景视频帧中的坐标，确定出关联点组合中匹配区域的点指向目标区域的点的向量作为对应的移动向量；

填充端，用于基于关联点组合中每个点的移动向量和匹配区域中每个点的坐标以及匹配区域的宏观像素特征，对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

5.根据权利要求4所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，关联端，包括：

参数确定子端，用于基于目标区域中每个像素点的视觉参数值，计算出目标区域的第一参考视觉参数值，并搭建出目标区域中每个像素点的第一环绕视觉差矩阵，基于匹配区域中每个像素点的视觉参数值，计算出匹配区域的第二参考视觉参数值，并搭建出匹配区域中每个像素点的第二环绕视觉差矩阵；

点关联子端，用于基于第一参考视觉参数值、第二参考视觉参数值和第一环绕视觉差矩阵以及第二环绕视觉差矩阵，计算出目标区域中每个点和匹配区域中每个点之间的匹配度，将匹配区域中与目标区域中对应点的匹配度最大的点以及目标区域中的对应点作为关联点组合。

6.根据权利要求5所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，填充端，包括：

关联确定子端，用于确定出匹配区域中不属于任何关联点组合的第一点，在第一点邻域内确定出属于关联点组合的第二点，基于第二点的移动向量确定出对应第一点的预测移动向量，基于对应第一点的坐标和对应的预测移动向量，在目标区域中确定出确定出对应第一点的关联点；

像素补充子端，用于基于第一点在对应匹配区域中的第一视觉参数值和对应匹配区域的第二参考视觉参数值，确定出对应关联点在对应目标区域中的视觉参数补充值，基于视觉参数补充值对目标区域进行像素填充，获得完整背景视频帧，基于所有完整背景视频帧，获得完整背景视频。

7.根据权利要求1所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，背景处理模块，包括：

模型模拟模块，用于在体验空间中确定出虚拟观察点，基于体验空间的三维构造尺寸和虚拟观察点在体验空间中的位置以及完整背景视频，模拟出体验空间的三维透视空间模型；

透视渲染模块，用于基于三维空间透视模型对完整背景视频进行透视渲染，获得背景渲染视频，并将所有背景渲染视频进行拼接，获得完整背景渲染视频。

8.根据权利要求1所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，位置确定模块，包括：

映射确定单元，用于确定出完整背景视频和完整背景渲染视频之间的坐标映射关系；

位置确定单元，用于基于前景视频在待投放视频中的第一前景坐标表示以及完整背景视频和完整背景渲染视频之间的坐标映射关系，确定出前景视频在完整背景渲染视频中的第二前景坐标表示，将第二前景坐标表示作为前景视频在完整背景渲染视频中的动态叠加位置。

9.根据权利要求1所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，视频生成模块，包括：

区域确定单元，用于基于动态叠加位置将前景视频和完整背景渲染视频按照视频帧顺序进行叠加，获得叠加视频，基于MiniLED显示屏中MiniLED发光单元之间的显示影响关系，确定出叠加视频中每个视频帧中的前景区域中每个第一像素点的第一显示影响区域以及每个视频帧中除前景区域以外的背景区域中每个第二像素点的第二显示影响区域；

区域融合单元，用于将与对应背景区域重叠的第一显示影响区域以及与对应前景区域重叠的第二显示影响区域作为待融合区域，将所有待融合区域汇总获得总融合区域；

融合渲染单元，用于基于总融合区域中每个点的视觉参数值，将前景视频和完整背景渲染视频进行融合渲染，获得最终VR视频。

10.根据权利要求9所述的一种基于MiniLED显示屏的裸眼VR沉浸式体验装置，其特征在于，融合渲染单元，包括：

参数确定子单元，用于在总融合区域中确定出对应前景区域的每个轮廓点在每个预设方向上的视觉参数渐变值，基于轮廓点在对应预设方向上的相邻像素点的视觉参数值和在对应预设方向上的视觉参数渐变值，确定出对应轮廓点在每个预设方向上的视觉参数计算值，基于对应轮廓点在所有预设方向上的视觉参数计算值，确定出对应轮廓点的视觉参数值；

融合渲染子单元，用于基于轮廓点的视觉参数值对叠加视频中的轮廓点进行参数修正，获得第一融合轮廓，对第一融合轮廓进行光滑处理，获得第二融合轮廓，对第二融合轮廓进行三维渲染，获得融合视频帧，基于融合视频帧获得最终VR视频。

Images