CN108732760A - 一种解决虚拟现实vr晕动症的方法 - Google Patents

Abstract

本发明公开了一种解决虚拟现实VR晕动症的方法，该方法包括：第一步、取消平面中间图像的VR渲染；第二步、透镜失真和色差的非线性校正。本发明有益效果是：本发明通过取消平面中间图像的VR渲染和透镜失真和色差的非线性校正能够有效的解决虚拟现实VR晕动症，同时也能让用户获得更好的VR体验效果；本发明方法简单，容易实现，易推广。

Description

一种解决虚拟现实VR晕动症的方法

技术领域

本发明涉及智能穿戴设备技术领域，具体涉及一种解决虚拟现实VR晕动症的方法。

背景技术

虚拟现实VR晕动症是指用户在体验虚拟现实时，会产生强烈的眩晕感、疲劳、眼花、恶心等等。虚拟现实VR晕动症不仅会使用户无法长时间沉浸到虚拟世界，也会使用户的重复使用率变得极低。

虚拟现实VR晕动症产生的原因：每个人在不同阶段都可能有过晕动体验。比如在晃动的车上读书，或者乘船航行的时候，或多或少都能体验到那种轻微的不适。生理层面来讲，这是我们视觉所见和前庭感觉系统体验不一致所导致的结果。其实追根到底，问题主要出在了前庭系统，该系统位于内耳，由许多充满着内淋巴液的迷路和腔室组成。前庭系统包括了三个布满毛细胞的半规管。头部的移动会造成内淋巴液的移动，进而刺激内耳毛细胞。由于内耳迷路的位置各不同，它们传递到大脑的动作信息也不同：升降感，摆动感及倾斜感。

在佩戴VR头显时主要是由于头显本身的刷新率、闪烁、陀螺仪等引起的高延迟问题导致的眩晕感。另外还有用户视觉上观察到的状态和身体的真实状态之间的不一致引发的虚拟现实VR晕动症。

目前行业内也解决虚拟现实VR晕动症的方法，但是现有的方法不能够完全解决虚拟现实VR晕动症，同时也不能让用户获得更好的VR体验的效果。

发明内容

为解决上述问题，尤其是针对现有技术所存在的不足，本发明提供了一种解决虚拟现实VR晕动症的方法能够解决上述问题。

为实现上述目的，本发明采用以下技术手段：

一种解决虚拟现实VR晕动症的方法，该方法包括：

VR头显通过标准的透视投影将3D环境渲染为中间图像，然后使用能够抵消由透镜引起的失真的非线性校正函数，以此来把中间图像翘曲至实际显示器上；

第一步、取消平面中间图像的VR渲染；

第二步、透镜失真和色差的非线性校正：创建一种可信的虚拟现实幻觉。所述虚拟现实幻觉中的虚拟对象位于虚拟用户的特定方向，所述虚拟对象的呈现与真实用户呈现的方向相同，即：头显显示器的每一个像素与呈现给头显用户的方向相同。

进一步的，所述第一步中的中间图像的像素大小为1512×1680像素

进一步的，所述第二步中的每一个头显显示器内的像素方向向每个显示像素的切线空间方向映射。

进一步的，所述映射为NxM相同大小矩形的畸变网格，每个颜色的切线空间坐标仅存储在那些矩形的边角，并在每个矩形的边角值之间进行插值

进一步的，所述第二步中的任意像素的指定颜色通过第一步生成的中间图像确定。

进一步的，所述二步中的每个显示像素在校准映射中查找切线空间坐标后再在第一步生成的中间图像中复制具有相同切线空间坐标的像素。

本发明有益效果是：本发明通过取消平面中间图像的VR渲染和透镜失真和色差的非线性校正能够有效的解决虚拟现实VR晕动症，同时也能让用户获得更好的VR体验效果；本发明方法简单，容易实现，易推广。

附图说明

图1是本发明分辨率的垂直显示图；

图2是本发明分辨率的水平显示图；

图3是本发明N像素长的角度示意图；

图4是本发明图像分辨率的水平显示图；

图5是本发明映射的矩形图；

图6是本发明映射的畸变网格图。

具体实施方式

下面结合附图对本发明做进一步说明，其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

数字显示了显示分辨率，单位为像素/度(pixels/°)，以及通过我的头显右边透镜中心的两条线(分别为水平和垂直)。从上往下的三条实线分别代表红色，绿色和蓝色基本色的分辨率，这些都是是通过分析工厂对每个头显进行测量后所得的并存储在固件中的显示器校准数据。

如图1至图2所示，本发明提供一种解决虚拟现实VR晕动症的方法，其特征在于，该方法包括：

VR头显通过标准的透视投影将3D环境渲染为中间图像，然后使用能够抵消由透镜引起的失真的非线性校正函数，以此来把中间图像翘曲至实际显示器上；

第一步、取消平面中间图像的VR渲染。

每个VR头显已经在固件中存储了渲染适当3D环境视图所需的各眼投影参数(水平和垂直视场)，以及中间图像的推荐像素大小(Vive为1512×1680)。对于Vive的右眼，视场参数如下：左(left)＝-1.24627，右(right)＝1.39228，下(bottom)＝-1.46862，上(top)＝1.46388。这些数值位于所谓的“切线空间(tangent space)”之中，以兼容3D图形库。转换为角度，它们就会变成这样：左(left)＝51.257度，右(right)＝54.312度，下(bottom)＝55.749度，上(top)＝55.662度。所述左右值不同是为了将每只眼睛的视场“偏斜”至外部，从而以立体重叠为代价来提供更多的周边视觉。由于制造公差的不同，上下值有所不同。

如图3所示，通过两个相同大小的像素，一个直接位于眼睛前方，一个位于侧面，涵盖两个不同的角度α1和α2。

一个轴是N像素长，并且覆盖从x0到x1的切线空间视场，则像素n覆盖的角度范围是α1-α0，其中α0＝tan-1(n·(x1-x0)/N+x0)和α1＝tan-1((n+1)·(x1-x0)/N+x0)，得出的分辨率为1/(α1-α0)。

将像素索引与角度相关的函数为α(n)＝tan-1((n+0.5)·(x1-x0)/N+x0)，其中0.5与n相加以计算像素中心角。对于α(n)＝((x1-x0)/N)/(1+((n+0.5)·(x1-x0)/N+x0)2)的总导数，tan-1(x)的导数可以合宜地设为1/(1+x2)。从弧度转换为角度可以得出(π/180)/(d/dnα(n))像素/度的像素位置n的分辨率。插入从Vive接收到的值可以得出函数结果。

如图4所示，我们可以从图表中得出大量的信息。首先，平面中间图像不适合VR渲染，因为分辨率在中心和边缘之间增加了2.5到3倍，这意味着不成比例的大量渲染像素被分配到外围，而它们在那里不是十分有用。尽管平面上投影为3D图形所固有，但没有人规定3D仿射空间(affine space)上的平面必须是平的。

第二步、透镜失真和色差的非线性校正：创建一种可信的虚拟现实幻觉。所述虚拟现实幻觉中的虚拟对象位于虚拟用户的特定方向，所述虚拟对象的呈现与真实用户呈现的方向相同，即：头显显示器的每一个像素与呈现给头显用户的方向相同。

所述每一个头显显示器内的像素方向向每个显示像素的切线空间方向映射，在渲染过程中为任意像素指定颜色通过步骤1生成的中间图像。这为透镜失真校正提供了一个简单的步骤：对于每个显示像素，在校准映射中查找切线空间坐标，然后在中间图像复制具有相同切线空间坐标的像素。

通过相同的步骤可以校正色差。我们无需为每个显示像素储存一个切线空间坐标，我们只需储存三个：为红，绿，蓝颜色组件各储存一个。因为三种颜色在相同透镜下的衍射程度不同，因此它们对于同一像素的切线空间坐标将有所不同。

原则上，校准映射是一个1080×1200像素的图像(对Vive来说)，每个像素有六个组件：三种颜色各一个切线空间(x，y)。由于技术原因，表示这样的映射在渲染性能方面效率不高。更好的方法是(这也是Vive和所有其他OpenVR头显所使用的方法)，将映射简化为NxM相同大小(在显示空间中)矩形的“畸变网格”，每个颜色的切线空间坐标仅存储在那些矩形的边角，并在每个矩形的边角值之间进行插值。这样做更好，因为它非常紧凑(N和M可以很小)，而且性能很好(因为现代显卡非常擅于绘图，以及在矩形中插值)。如图6显示了我的Vive的右屏幕绿色通道失真网格，包括显示空间和切线空间。对于后一种情况，失真网格都叠加在中间图像的矩形边界上。

最重要的是，图6表明Vive的透镜会导致相当多的枕形失真。靠近透镜中心的网格被压缩，而周围的网格被拉伸。这实现了把更多实际显示像素分配给重要的中央注视点区域，并且把更少显示像素分配给周边视觉的预期效果。换句话说，透镜远远消除了图5所示的糟糕分辨率分布。证据是中心位置的最终显示分辨率高于周边，如图1和图2所示。

通过在切线空间中拉伸网格单元可以平衡分辨率。一个小单元会为实际显示的固定尺寸区域分配少量中间图像像素，从而增加局部分辨率；而拉伸单元会把更多像素填充至相同的固定尺寸区域，从而降低局部分辨率。这解释了图1和图2中倒置分辨率分布，但尚未出现锯齿的现象。

结果表明，问题的解释十分简单：利用线性插值，显卡使用来自矩形边角的值进行插值，这意味着生成的失真映射是分段线性函数。分段线性函数的导数是片段间不连续跳变的分段常数函数。正是那些恒定分段(由每个网格单元内逐渐变化的局部分辨率调制)导致了图1和图2中的现象。导数中的不连续性不是问题，因为观察者无法知觉导数，只能知觉函数，而函数在什么地方都是连续的。

对于图6，切线空间中的畸变网格和中间图像之间的重叠并不完美。中间图像的一部分未被覆盖(沿着左边界的透镜形状区域)，而且畸变网格的一部分落在中间图像之外。第一部分意味着用户无法看到中间图像的一部分，以及它的视场；第二部分意味着实际显示的部分不接收有效的图像数据，因此这变得无法使用。

Vive的设计师将右边中间图像的左边界延伸到右边显示器的左边缘之外(左边显示器也同样如此)，从而获得与另一只眼睛的部分立体重叠。在直接向左看时视场不会延伸，因为那里没有更多的显示像素，但在向左或向上或向下看时视场将会延伸。“缺点”是Vive渲染的中间图像会出现奇怪的“偏食”形状，在内边缘缺失了两大块。

选择1512×1680像素的推荐中间图像大小的原因是：为了令中间图像的分辨率在通过畸变网格馈送之后能够大致与透镜中心区域中的真实屏幕分辨率相匹配，从而让重新采样过程中的混叠最小化(在把一个光栅图像翘曲到另一个光栅图像之上时的固有现象)。具体来说，中间图像在透镜中心的分辨率略低于实际显示的分辨率(10.01像素/度vs11.42像素/度)，但往外来说中间图像能够快速超过实际显示的分辨率。

上述具体实施方式仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举，而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围中。

Claims (6)

1.一种解决虚拟现实VR晕动症的方法，其特征在于，该方法包括：

VR头显通过标准的透视投影将3D环境渲染为中间图像，然后使用能够抵消由透镜引起的失真的非线性校正函数，以此来把中间图像翘曲至实际显示器上；

第一步、取消平面中间图像的VR渲染；

第二步、透镜失真和色差的非线性校正：创建一种可信的虚拟现实幻觉。所述虚拟现实幻觉中的虚拟对象位于虚拟用户的特定方向，所述虚拟对象的呈现与真实用户呈现的方向相同，即：头显显示器的每一个像素与呈现给头显用户的方向相同。

2.根据权利要求1所述的一种解决虚拟现实VR晕动症的方法，其特征在于，所述第一步中的中间图像的像素大小为1512×1680像素。

3.根据权利要求1所述的一种解决虚拟现实VR晕动症的方法，其特征在于，所述第二步中的每一个头显显示器内的像素方向向每个显示像素的切线空间方向映射。

4.根据权利要求3所述的一种解决虚拟现实VR晕动症的方法，其特征在于，所述映射为NxM相同大小矩形的畸变网格，每个颜色的切线空间坐标仅存储在那些矩形的边角，并在每个矩形的边角值之间进行插值。

5.根据权利要求1所述的一种解决虚拟现实VR晕动症的方法，其特征在于，所述第二步中的任意像素的指定颜色通过第一步生成的中间图像确定。

6.根据权利要求1所述的一种解决虚拟现实VR晕动症的方法，其特征在于，所述二步中的每个显示像素在校准映射中查找切线空间坐标后再在第一步生成的中间图像中复制具有相同切线空间坐标的像素。