CN107071384B - 虚拟主动视差计算补偿的双目渲染方法及系统 - Google Patents

Abstract

本发明提供了一种虚拟主动视差计算补偿的双目渲染方法及系统，包括主动视差计算：对初始用户进行双目渲染适配，得到对应用户的专属适配视差同步矩阵；图像视差补偿与剪裁：将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合；双目渲染：将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标显示硬件图层。本发明以单摄像头作为图像采集设备的硬件基础，通过软件的视差计算补偿趋近佩戴者本人眼睛直接观察自然，减少引发眩晕的重影，主动获得视差的最佳调校，反向补偿剪裁的单一视图源以达到更加真实的沉浸式观感。

Description

虚拟主动视差计算补偿的双目渲染方法及系统

技术领域

本发明涉及虚拟现实图像处理技术领域，具体地，涉及虚拟主动视差计算补偿的双目渲染方法及系统。

背景技术

人的双眼相距有一定距离，所以在观察一个三维物体时，由于两眼水平分开在两个不同的位置上，所观察到的物体图像是不同的，它们之间存在着一个像差，由于这个像差的存在，通过人类的大脑，可以感到立体视觉效果。如何用虚拟主动视差的方法去补偿渲染，以便增强虚拟现实的观感，是本发明的重点。

虚拟现实中所依赖的成像基础是基于模拟双目在自然环境中看到的两路有像差的不同图像，而单目摄像采集设备依然是主流(智能手机，平板，笔记本，头戴式，照相机等)，双目由于使用场景的特殊化和物理硬件局限，并不适合被普及。所以如何用单目摄像头取到模拟双目的取景效果并通过虚拟主动视差去补偿渲染，也是难点和差异点。

目前，现有技术处理上述难点问题，仍然存在以下缺陷：

1)单幅图像直接通过分屏器分视，不能根据观看者实际生理视差(因佩戴设备，因瞳距等原因)，稳定真实的还原双目看到的差别影像；

2)单摄像头采集的图像终归是来自一个观察者原点，而双摄像头分别获得的两个观察者原点的图像会因目标对象引入视差的重影，而消除重影需依赖外部设备；

3)双目采集后两路图像间同步好坏直接关系到使用者是否引发眩晕，两路的图像色彩，饱和度和曝光度差也会降低虚拟现实观感；

4)传统双目的视图内容是固定视差不可变。

基于以上局限性和缺陷，本发明针对单目的摄像设备提出一种虚拟主动视差计算补偿的双目渲染方法。该方法力求将主体的视差适应度趋近人双眼直接观察自然时带入的视差，并通过左右眼的虚拟主动差异部分成像，在完成渲染预处理后一次性渲染双目来保障同步，获得增强的虚拟现实体验。

经检索，申请号为：201610666409.6，名称为：“一种虚拟现实移动端动态时间帧补偿渲染系统和方法”，所述方法为：应用帧渲染生成应用帧缓存序列，在应用帧缓存序列中提取最新的或者最近的应用帧进行二级渲染得到时间帧，时间帧发送至共享缓冲区，在垂直同步管理模块的时序控制下由屏幕读取时间帧渲染结果进行刷新。通过共享缓冲区的设计，让GPU渲染结果直接到屏幕刷新的缓存，降低多级缓存交换的延迟。通过垂直同步时间管理，控制GPU的渲染时间，避免GPU渲染写入和屏幕刷新读取的冲突，让画面能够在低延迟的同时正常显示，不会产生撕裂。

上述文献中的方法解决的是在缓存帧数量比较多的时候由于分屏渲染引入了分屏图像不同步的问题，这与本发明要解决的视差补偿以及贴近真实临场体验的的双目渲染问题不同，另外本发明在最终渲染到屏幕前会进行预处理以达到该对比发明同样的效果。

申请号：201511001007.6，名称为“一种虚拟现实调整视差的方法及装置”，其中，本发明的方法主要包括：获取虚拟现实模型预设的视差范围，所述视差范围是由一个视差上限值和一个视差下限值构成的范围；获取立体片源以及对应所述立体片源的视差值，所述立体片源为在虚拟现实场景中显示的片源；根据所述视差范围调整所述立体片源的视差值，以使所述立体片源的视差值不超出所述视差范围。与现有技术相比，本发明能够改善在立体场景中展示新的立体场景的展示效果。

上述文献中的方法主要关注与改善在立体场景中展示新的立体场景的展示效果，与本发明要解决的视差补偿以及贴近真实临场体验的的双目渲染问题不同。

申请号：201410302221.4，名称为“双目三维图形渲染方法及相关系统”，包括投影变换步骤，所述投影变换步骤包括：在近平面和远平面之间增加中平面作为投影面，将近平面与远平面之间的图元投影到中平面上。本发明通过增加的中平面，将近平面与远平面之间的图元投影到中平面上，则近平面与中平面之间的图元会有出屏的立体效果，中平面与远平面之间的图元会有入屏的立体效果；从而，使得在3D显示设备中使用现有的渲染管线时不需要特别的硬件，就可以渲染“出屏”和“入屏”效果。

上述文献中的方法是关注与利用3D显示设备的硬件特性来进行三维图形的渲染，这与本发明完全基于软件而不依赖于3D显示设备在虚拟现实设备中的视差补偿双目渲染方法所要解决的不是同一个问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种虚拟主动视差计算补偿的双目渲染方法及系统。

根据本发明提供的虚拟主动视差计算补偿的双目渲染方法，包括如下步骤：

主动视差计算步骤：对初始用户进行双目渲染适配，得到对应用户的专属适配视差同步矩阵；

图像视差补偿与剪裁步骤：将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合，分别在左右眼取景视窗中单路展示；

双目渲染步骤：将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标虚拟现实头戴设备的显示硬件图层。

优选地，所述主动视差计算步骤包括：

步骤A1：从图片库中选取多张不同解像度的原图，通过所述原图对初次佩戴使用虚拟现实头戴设备的用户进行双目渲染，基于原图中的固定位置处的M个点的位置进行逐一适配；其中M为正整数，M个点的位置选取基于适配视差同步矩阵的形式；

步骤A2：通过用户的适配反馈获得原图中每个区域最佳视差矫正的参数和视力范围，生成该用户的适配视差同步矩阵；其中原图的视力范围始终分别大于左右两目单独的视力范围；

步骤A3：根据佩戴者的感观舒适反应自动生成适合用户自己双眼的主动视差补偿标准，将基于该主动视差补偿标准作为后续每组视图的最佳拟合调校标准。

优选地，所述图像视差补偿与剪裁步骤包括：

步骤B1：将左右眼分别基于不同区域的视差剪裁因子作为当前佩戴者观看虚拟现实的剪裁依据，将一副完整的图像剪裁成最佳左右眼组合，所述最佳左右眼组合是指：

初始调校时，由佩戴者根据自己佩戴习惯确定最佳适配结果，该最佳适配结果即为最佳调校目标，保存以最佳调校目标生成的补偿矩阵，并将补偿矩阵做动态调校做参考，所述补偿矩阵即为调校矩阵，又称为最佳左右眼组合；

步骤B2：将步骤B1裁剪得到的两路分视的图像作为原始图像素全集的两个子集，所述两个子集存在交集；通过虚拟主动视差补偿的剪裁因子进行补偿剪裁，使得左右眼看到图像符合最优视差补偿的最大化原则，所述最优视差补偿的最大化原则是指：基于单次或多次主动矫正的数据作为一组待选补偿，在一段时间的佩戴中，记录并筛选出不同光线、场景、佩戴角度时的优选补偿矩阵，同时以双目合成视野最大作为辅助目标；

步骤B3：对后续单目摄像头采集的图像进行分视补偿参数预处理，形成两路坐标系有别的分视图像，所述分视补偿参数包括：观察环境中依据不同观察角度、观察距离、光亮、色彩进行图像变换和图像裁剪时的数据。

优选地，所述双目渲染步骤中的固定时序的周期是指定频定时对各路图像进行渲染。

根据本发明提供的虚拟主动视差计算补偿的双目渲染系统，包括如下模块：

主动视差计算模块：用于对初始用户进行双目渲染适配，得到对应用户的专属适配视差同步矩阵；

图像视差补偿与剪裁模块：用于将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合，分别在左右眼取景视窗中单路展示；

双目渲染模块：用于将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标虚拟现实头戴设备的显示硬件图层。

优选地，所述主动视差计算模块包括：

视差同步矩阵选取子模块：从图片库中选取多张不同解像度的原图，通过所述原图对初次佩戴使用虚拟现实头戴设备的用户进行双目渲染，基于原图中的固定位置处的M个点的位置进行逐一适配；其中M为正整数，M个点的位置选取基于适配视差同步矩阵的形式；

适配视差同步矩阵生成子模块：通过用户的适配反馈获得原图中每个区域最佳视差矫正的参数和视力范围，生成该用户的适配视差同步矩阵；其中原图的视力范围始终分别大于左右两目单独的视力范围；

最佳拟合调校标准生成子模块：根据佩戴者的感观舒适反应自动生成适合用户自己双眼的主动视差补偿标准，将基于该主动视差补偿标准作为后续每组视图的最佳拟合调校标准。

优选地，所述图像视差补偿与剪裁模块包括：

最佳左右眼组合生成子模块：将左右眼分别基于不同区域的视差剪裁因子作为当前佩戴者观看虚拟现实的剪裁依据，将一副完整的图像剪裁成最佳左右眼组合，所述最佳左右眼组合是指：

初始调校时，由佩戴者根据自己佩戴习惯确定最佳适配结果，该最佳适配结果即为最佳调校目标，保存以最佳调校目标生成的补偿矩阵，并将补偿矩阵做动态调校做参考，所述补偿矩阵即为调校矩阵，又称为最佳左右眼组合；

裁剪子模块：将裁剪得到的两路分视的图像作为原始图像素全集的两个子集，所述两个子集存在交集；通过虚拟主动视差补偿的剪裁因子进行补偿剪裁，使得左右眼看到图像符合最优视差补偿的最大化原则，所述最优视差补偿的最大化原则是指：基于单次或多次主动矫正的数据作为一组待选补偿，在一段时间的佩戴中，记录并筛选出包括:不同光线，场景，佩戴角度情况下时的优选补偿矩阵，同时以双目合成视野最大作为辅助目标；

分视图像生成子模块：对后续单目摄像头采集的图像进行分视补偿参数预处理，形成两路坐标系有别的分视图像，所述分视补偿参数是指观察环境中依据包括:不同观察角度、观察距离、光亮、色彩情况下进行图像变换和图像裁剪时的数据。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的虚拟主动视差计算补偿的双目渲染方法，以单摄像头作为图像采集设备的硬件基础，通过软件的视差计算补偿趋近佩戴者本人眼睛直接观察自然，减少引发眩晕的重影，能够根据佩戴者的个体差，主动获得视差的最佳调校，反向补偿剪裁的单一视图源以达到更加真实的沉浸式观感。

2、本发明提供的虚拟主动视差计算补偿的双目渲染方法，保障双目渲染过程中时序同步，色彩和光度一致，两路成像有别的效果，帮助佩戴主体动态剪裁修饰将渲染内容，以满足双目贴近真实的虚拟效果。

3、本发明提供的虚拟主动视差计算补偿的双目渲染方法，可为视图内容的视差提供针对性强的精准调校，既满足同步需要，也满足视差的差异化，减少眩晕。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的虚拟主动视差计算补偿的双目渲染方法流程图；

图2为本发明提供的虚拟主动视差计算补偿的左右眼预校准示意图；

图3为针对用户生成的双眼最佳拟合的标准示意图；

图4为分视补偿的裁剪结果示意图；

图5为渲染合成的新视图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的虚拟主动视差计算补偿的双目渲染方法，包括如下步骤：

主动视差计算步骤：对初始用户进行双目渲染，得到对应用户的专属适配视差同步矩阵。具体地，因选用的是单摄像头输入源，本发明中提及的主动视差计算实为虚拟主动视差计算，也就是在用户初次使用时首先会给佩戴者渲染几幅双目的图像，分别如图2中所示的9个点位置逐一适配，通过用户的适配反馈获得每个区域最佳视差矫正的参数和视力范围(最少是1/3/5/7/9这5个点位)，进而生成佩戴者专属的适配视差同步矩阵。而原始图像的视力范围始终分别大于左右两目单独的视力范围。最终达到适合观看者自己双眼的主动视差补偿标准，以此为基准的补偿将是后续每组视图的最佳拟合调校，如图3所示。

图像视差补偿与剪裁步骤：将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合，分别在左右眼取景视窗中单路展示。具体地，将最佳适配该佩戴者的适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，原始图是像素的全集，而左右眼分别基于不同区域的视差剪裁因子作为当前佩戴者观看虚拟现实的剪裁依据，把一副完整的图像剪裁成最佳左右眼组合，分别在左右眼取景视窗中单路展示的视野。这样裁剪出来的两路分视的图像即为全集的子集，但两个子集有重叠也有不重叠的部分。分视补偿剪裁如图4所示。通过分视补偿的剪裁，确保左右眼看到图像时符合最优视差补偿的最大化，如此再后续的每一帧图像由单目摄像头采集后，都会根据上述分视补偿参数预处理成两路坐标系有别的分视图像。

双目渲染步骤：将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标显示硬件图层。具体地，图像渲染的设计目的是将同一个单目摄像分视的图像，预渲染在下一场的等待叠加画布上合成，根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标显示硬件图层，因为在预处理双目渲染已经确保色彩，色差和视差最优组合，在固定时序周期的渲染已被合成的图像以确保双目时序最优组合，如图5所示，从而取得相似佩戴调校者本人直接观察自然界的双目体验。

下面结合具体实施例对本发明中的技术方案做更加详细的说明。

如图1所示，本发明提供的虚拟主动视差计算补偿的双目渲染方法，包括如下步骤：

步骤S1：从模板库中随机选取几张不同解像度的原图；

步骤S2：在选出的原图上预先标记5～9个视差标准十字；

步骤S3：将试图分别投射在双目显示的合成区域；

步骤S4：由佩戴者根据自身观感调节校准十字，若符合最大视角的不眩晕双目拟合则执行步骤S5，否则返回执行步骤S3；

步骤S5：存储佩戴者根据自身观感调节校准十字的最终补偿调校参数，根据不同的解像度试图调校多组适配的补偿参数；

步骤S6：启动实际单视角视频数据流的帧处理，基于预准备的视差补偿调校值做反向切割，分别从原图中切出左眼帧和右眼帧；

步骤S7：预合成双目有差别的剪切片段，重构一张新的整尺寸大于原先视图的新合成图，等待渲染在双目取景器中；

步骤S8：一次性渲染成新图。

实施例1(虚拟现实沉浸式娱乐)

在虚拟现实沉浸式娱乐如过山车、深海游以及游戏的时候，如果采集设备为单摄像头或者合成拼接成单一图像数据源的时候，通过本发明可以在虚拟设备端进行虚拟主动视差补偿渲染来给用户提供低眩晕重影和高图像质量的最佳沉浸式娱乐体验。

实施例2(360度全景直播)

在对运动赛事或者演唱会进行360度全景采集并直播的时候，多路图像阵列通常会实时的进行图像融合，从而丧失了多摄像头独特的视角，通过本发明可以在虚拟现实设备端进行虚拟主动视差补偿渲染来给用户提供低眩晕重影和高图像质量的最佳全景直播体验。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种虚拟主动视差计算补偿的双目渲染方法，其特征在于，包括如下步骤：

主动视差计算步骤：对初始用户进行双目渲染适配，得到对应用户的专属适配视差同步矩阵；

图像视差补偿与剪裁步骤：将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合，分别在左右眼取景视窗中单路展示；

双目渲染步骤：将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标虚拟现实头戴设备的显示硬件图层。

2.根据权利要求1所述的虚拟主动视差计算补偿的双目渲染方法，其特征在于，所述主动视差计算步骤包括：

步骤A1：从图片库中选取多张不同解像度的原图，通过所述原图对初次佩戴使用虚拟现实头戴设备的用户进行双目渲染，基于原图中的固定位置处的M个点的位置进行逐一适配；其中M为正整数，M个点的位置选取基于适配视差同步矩阵的形式；

步骤A2：通过用户的适配反馈获得原图中每个区域最佳视差矫正的参数和视力范围，生成该用户的适配视差同步矩阵；其中原图的视力范围始终分别大于左右两目单独的视力范围；

步骤A3：根据佩戴者的感观舒适反应自动生成适合用户自己双眼的主动视差补偿标准，将基于该主动视差补偿标准作为后续每组视图的最佳拟合调校标准。

3.根据权利要求1所述的虚拟主动视差计算补偿的双目渲染方法，其特征在于，所述图像视差补偿与剪裁步骤包括：

步骤B1：将左右眼分别基于不同区域的视差剪裁因子作为当前佩戴者观看虚拟现实的剪裁依据，将一副完整的图像剪裁成最佳左右眼组合，所述最佳左右眼组合是指：

初始调校时，由佩戴者根据自己佩戴习惯确定最佳适配结果，该最佳适配结果即为最佳调校目标，保存以最佳调校目标生成的补偿矩阵，并将补偿矩阵做动态调校做参考，所述补偿矩阵即为调校矩阵，又称为最佳左右眼组合；

步骤B2：将步骤B1裁剪得到的两路分视的图像作为原始图像素全集的两个子集，所述两个子集存在交集；通过虚拟主动视差补偿的剪裁因子进行补偿剪裁，使得左右眼看到图像符合最优视差补偿的最大化原则，所述最优视差补偿的最大化原则是指：基于单次或多次主动矫正的数据作为一组待选补偿，在一段时间的佩戴中，记录并筛选出不同光线、场景、佩戴角度时的优选补偿矩阵，同时以双目合成视野最大作为辅助目标；

步骤B3：对后续单目摄像头采集的图像进行分视补偿参数预处理，形成两路坐标系有别的分视图像，所述分视补偿参数包括：观察环境中依据不同观察角度、观察距离、光亮、色彩进行图像变换和图像裁剪时的数据。

4.根据权利要求1所述的虚拟主动视差计算补偿的双目渲染方法，其特征在于，所述双目渲染步骤中的固定时序的周期是指定频定时对各路图像进行渲染。

5.一种虚拟主动视差计算补偿的双目渲染系统，其特征在于，包括如下模块：

主动视差计算模块：用于对初始用户进行双目渲染适配，得到对应用户的专属适配视差同步矩阵；

图像视差补偿与剪裁模块：用于将用户的专属适配视差同步矩阵作为虚拟主动视差补偿的剪裁因子，将一副完整的图像剪裁成左右眼组合，分别在左右眼取景视窗中单路展示；

双目渲染模块：用于将同一个单目摄像分视的图像预渲染在下一场的等待叠加画布上，并根据固定时序的周期，一次性将准备好的叠加画布合成图像渲染投射在目标虚拟现实头戴设备的显示硬件图层。

6.根据权利要求5所述的虚拟主动视差计算补偿的双目渲染系统，其特征在于，所述主动视差计算模块包括：

视差同步矩阵选取子模块：从图片库中选取多张不同解像度的原图，通过所述原图对初次佩戴使用虚拟现实头戴设备的用户进行双目渲染，基于原图中的固定位置处的M个点的位置进行逐一适配；其中M为正整数，M个点的位置选取基于适配视差同步矩阵的形式；

适配视差同步矩阵生成子模块：通过用户的适配反馈获得原图中每个区域最佳视差矫正的参数和视力范围，生成该用户的适配视差同步矩阵；其中原图的视力范围始终分别大于左右两目单独的视力范围；

最佳拟合调校标准生成子模块：根据佩戴者的感观舒适反应自动生成适合用户自己双眼的主动视差补偿标准，将基于该主动视差补偿标准作为后续每组视图的最佳拟合调校标准。

7.根据权利要求5所述的虚拟主动视差计算补偿的双目渲染系统，其特征在于，所述图像视差补偿与剪裁模块包括：

最佳左右眼组合生成子模块：将左右眼分别基于不同区域的视差剪裁因子作为当前佩戴者观看虚拟现实的剪裁依据，将一副完整的图像剪裁成最佳左右眼组合，所述最佳左右眼组合是指：

初始调校时，由佩戴者根据自己佩戴习惯确定最佳适配结果，该最佳适配结果即为最佳调校目标，保存以最佳调校目标生成的补偿矩阵，并将补偿矩阵做动态调校做参考，所述补偿矩阵即为调校矩阵，又称为最佳左右眼组合；

裁剪子模块：将裁剪得到的两路分视的图像作为原始图像素全集的两个子集，所述两个子集存在交集；通过虚拟主动视差补偿的剪裁因子进行补偿剪裁，使得左右眼看到图像符合最优视差补偿的最大化原则，所述最优视差补偿的最大化原则是指：基于单次或多次主动矫正的数据作为一组待选补偿，在一段时间的佩戴中，记录并筛选出包括:不同光线，场景，佩戴角度情况下时的优选补偿矩阵，同时以双目合成视野最大作为辅助目标；

分视图像生成子模块：对后续单目摄像头采集的图像进行分视补偿参数预处理，形成两路坐标系有别的分视图像，所述分视补偿参数是指观察环境中依据包括:不同观察角度、观察距离、光亮、色彩情况下进行图像变换和图像裁剪时的数据。