CN113160067A - 一种修正vr大视场角畸变的方法 - Google Patents

Abstract

本发明涉及人工智能虚拟现实技术领域，其公开了一种修正VR大视场角畸变的方法，解决了目前提出的成本高和球状扭曲的技术问题，包括以下步骤：S1、通过在矩形的显示屏上增加一个透镜，然后通过透镜来观看该显示屏,可获得更大的大视场角，可解决大视场角办法成本过高的问题；S2、对畸变的图像进行“桶型”畸变处理，当人们通过畸变透镜去看,这些经过“桶型”反畸变处理的图像看起来转化为正常图像；S3、“桶型”畸变处理是利用的反畸变算法来解决：径向畸变主要由低阶径向分量控制，但也可以使用布朗畸变模型进行校正。根据以上技术方案，本发明利用修正VR大视场角畸变的方法，以达到降低成本和解决球状扭曲问题的目的。

Description

一种修正VR大视场角畸变的方法

技术领域

本发明涉及人工智能虚拟现实技术领域，更具体地说，它涉及一种修正VR大视场角畸变的方法。

背景技术

虚拟现实技术是利用计算机模拟产生一个具有多源信息融合的交互式的三维动态视景和实体行为的虚拟仿真世界，通过虚拟现实设备以提供给用户逼真的沉浸感，包括视觉、听觉、触觉、嗅觉等感官的模拟，尤其是大视场角的直观感受让用户身临于现实环境中一般。

如何做到让用户身临于现实环境中一般，首先沉浸感是非常重要的。沉浸感需要一个大的视场角(FOV)可以通过在VR设备中放置一个大型类似于弯曲的球形显示器来实现此目的。

但是这种技术的价格过高。目前的解决方案，在这个畸变方法中渲染不是唯一的占用大量资源的部分。而是将整个场景复制到中间纹理上，其会浪费大量时间。同时，这种方法会造成一个严重的问题，靠近眼睛放置的镜片会极大地增加人们的视野，但也有代价：图像会变成球状扭曲。视场越大，图像畸变越严重。参照图1所示，这里是一个典型的头带显示器的镜头畸变例子，透过镜头图像产生了”枕型”畸变。

发明内容

针对背景技术中提出的成本高和球状扭曲的技术问题，本发明利用修正VR大视场角畸变的方法，以达到降低成本和解决球状扭曲问题的目的。

为实现上述目的，本发明提供了如下技术方案：

一种修正VR大视场角畸变的方法，包括以下步骤：

S1、通过在矩形的显示屏上增加一个透镜，然后通过透镜来观看该显示屏，可获得更大的大视场角，可解决大视场角办法成本过高的问题；

S2、对畸变的图像进行“桶型”畸变处理，当人们通过畸变透镜去看，这些经过“桶型”反畸变处理的图像看起来转化为正常图像；

S3、“桶型”畸变处理是利用的反畸变算法来解决：

径向畸变主要由低阶径向分量控制，但也可以使用布朗畸变模型进行校正，该模型基于Conrady的早期工作，也称为Brown-Conrady 模型，Brown-Conrady模型可以校正由于透镜中的物理元素未完全对准而引起的径向变形和切向变形，切向变形也称为偏心变形；

S4、利用软件通过反向扭曲来纠正这些畸变，涉及确定哪个失真像素对应于每个未失真像素时，由于畸变方程的非线性，这并非无关紧要；分别对红、绿、蓝三种颜色进行变形，可以显著降低横向色差；扭曲或不扭曲需要两组系数或反演非线性问题；

S5、基于顶点位移的解决方案，这个方案是目前最有效的，首先它不需要渲染中间纹理，几何结构通过自定义的定点着色器已经产生了畸变，这个方法已知摄像头的位置，我们用已经“桶型”畸变的 2D渲染结果代替顶点，在这种方案中，不需要二次渲染，我们可以节省拷贝渲染到纹理的步骤，这种方法需要在每个已经畸变的网格上有一定的顶点密度，比如，四个顶点的矩形非常靠近摄像头的渲染情况，畸变这些顶点滞后，仍然是一个4个顶点的扁平的矩形，不会有“桶型”的效果；

S6、Cardboard Unity SDK的默认方法是不使用MSAA渲染16位渲染材质，但即便是在这样的设置之下，大部分的低端设备都会在几分钟之内出现发热问题，在转用了顶点位移技术之后，CDL选择渲染到全32位的屏幕缓冲区，减少色带，并根据设备配置启用2倍到4倍的MSAA，这样可以将帧率大致维持在60fps；另外，在根据“镜头空间”变形场景之后，我们还避免了由变形渲染目标产生的像素丢失问题，也避免了渲染到更高分辨率缓冲区所造成的额外时间耗费。

通过上述技术方案，虚拟现实的UI也是一个棘手的难题。为了保持正确的立体会聚，UI需要在3D空间内进行渲染，最好是按照它参考的3D物体的深度进行渲染(比如准星需要按照它遮挡的物体的 3D深度进行渲染)。

UI也需要经过畸变校正——为了确保它能有足够的顶点数量，诸如字符和材质这样的UI元素是更应该在方格平面(而非四边形) 绘制的。方格的准确数量将取决于UI元素在屏幕上的最大尺寸。随着头部移动的UI也会出现畸变，但是这种畸变不会随着用户转头而改变，所以用户或许不会注意到。

如果想减少顶点位移方法带来的误差，就意味着尽可能缩短顶尖在屏幕空间中的距离——也就是说物体在远离摄像头的过程不需要大量的细分，所以标准的LoD技术是有效的。这里提供了一个明确的优化方向，尤其是对固定位置的渲染来说。在摄像头可以在场景中移动的情况下，优化的难度会提升。

现有的桌面级VR头显既然有非常高的硬件要求，基于顶点位移的镜头校正可以让智能手机在QHD分辨率(2560×1440)的屏幕上渲染60fps及高达4倍MSAA的VR内容。现在大部分的集成图形显卡应该都可以达到至少同等的性能表现，中低端的独立显卡将能远远超出现在的表现。

本发明进一步设置为：

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+…)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+P₄r⁴…)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+…)+(2P₁(x_d-x_c)(y_d-y_c)+P₂(r²+2(y_d-y_c)²))(1+P₃r²+P₄r⁴…)，其中：(x_d，y_d)＝透镜在像平面上投影的扭曲像点；

(x_u，y_u)＝理想针孔相机投影的无畸变像点；

(x_c，y_c)＝畸变中心；

K_n＝n^th＝径向畸变系数；

P_n＝n^th＝切向畸变系数；

和…＝无穷级数；

桶形畸变通常对K1具有负项，而枕形畸变将具有正值；胡子畸变将具有非单调的径向几何序列，其中对于某些r，该序列将更改符号；为了建模径向畸变，除Brown-Conrady的偶次多项式模型外，除法模型通常提供更准确的近似值：

使用先前定义的相同参数；对于径向畸变，这种划分模型通常比Brown Conrady模型更受青睐，因为它需要较少的术语来描述更准确的严重畸变。

本发明进一步设置为：使用先前定义的相同参数，对于径向畸变，这种划分模型通常比Brown Conrady模型更受青睐，因为它需要较少的术语来描述更准确的严重畸变。

本发明进一步设置为：由于镜头畸变是非线性的，所以反镜头畸变也是非线性的，当我们在顶点着色器中变形顶点的时候，顶点之间仍然以直线相连，但实际上这应该是一条曲线；当你通过曲面透镜观看曲线时，它看上去又会变成一条直线；当你通过曲面透镜观看直线时，你会看到一个边缘弯曲的立方体，这可能不是你想要的效果。

本发明进一步设置为：在这种情况下，如果顶点在屏幕空间的位置过于分散，最后也很难校正多少畸变，用户在转头的时候会看到图像出现变形，这种现象可能会导致用户头晕，或许更糟糕的是，所有的顶点运动都有可能加重物体之间的深度冲突，因而增加足够的顶点细分，这些畸变就不会被觉察到，事实上，大部分的高端移动设备每帧可以渲染20万-80万个顶点，可是我们需要渲染场景两次，所以我们的顶点数量限制为10万-40万，这个也需要根据你想支持的设备而定。

综上所述，本发明具有以下有益效果：

(1)可以修正VR大视场角畸变；

(2)成本低。

附图说明

图1为背景技术参照图；

图2为基于像素点的解决方案示意图；

图3为基于网络的解决方案示意图；

图4为通过透镜观看显示屏的大视场角示意图；

图5为桶型畸变原理示意图；

图6为基于顶点位移的解决方案示意图；

图7为使用标准渲染材质技术渲染的121顶点平面示意图；

图8为使用顶点位移，2倍MSAA和没有渲染材质的121顶点平面图；

图9为保留了非线性畸变平面以及未保留非线性畸变的四边形示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不仅限于此。

一种修正VR大视场角畸变的方法，第一种：基于像素点的解决方案，如图2所示，通过二次渲染。首先，我们渲染左眼和右眼图像到纹理上，然后用片段(像素)着色器处理这个纹理，将每一个像素向内移动到眼睛的中心上。这是最初的、最简单的方法，也是效率最低的方法，因为每个像素都要被分别处理。

如图3所示，第二种：基于网络的解决方案，第二种方案与之前相比，不是采用单独处理每一个像素的方法，我们对相对稀疏的网格的顶点做畸变处理(40x20效果不错)。这种方案可以减少很多直接计算的资源，让GPU做大量的插值运算.不采用对每一个像素(1920*1080约为2e6)做处理，我们队网格中的每个顶点做计算 (40*20＝800)。结果是极大的减少了计算量(减少了3个数量级)，在性能上有不错的提升。

如图4所示，本方案解决大视场角的办法成本过高的方法，通过在一个小的矩形的显示屏上增加一个透镜，然后通过透镜来看这个显示屏，从而获得更大的大视场角。

如图5所示，解决方法是对这些畸变的图像使用“桶型”畸变。当我们通过畸变透镜上看，这些图像(注：是指经过“桶型”反畸变处理的图像)看起来就是正常的。

我们需要使用使用的反畸变算法来解决：

径向畸变虽然主要由低阶径向分量控制，但可以使用布朗畸变模型进行校正，该模型基于Conrady的早期工作，也称为Brown-Conrady 模型。Brown-Conrady模型可以校正由于透镜中的物理元素未完全对准而引起的径向变形和切向变形，后者也称为偏心变形。

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+…)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+P₄r⁴…)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+…)+(2P₁(x_d-x_c)(y_d-y_c)+P₂(r₂+2(y_d-y_c)²))(1+P₃r²+P₄r⁴…)，

在这里：

(x_d，y_d)＝透镜在像平面上投影的扭曲像点

(x_u，y_u)＝理想针孔相机投影的无畸变像点

(x_c，y_c)＝畸变中心

K_n＝n^th＝径向畸变系数

P_n＝n^th＝切向畸变系数

和…＝无穷级数

桶形畸变通常对K1具有负项，而枕形畸变将具有正值。胡子畸变将具有非单调的径向几何序列，其中对于某些r，该序列将更改符号。为了建模径向畸变，除Brown-Conrady的偶次多项式模型外，除法模型通常提供更准确的近似值：

使用先前定义的相同参数。对于径向畸变，这种划分模型通常比 Brown Conrady模型更受青睐，因为它需要较少的术语来描述更准确的严重畸变。

软件可以通过反向扭曲来纠正这些畸变。这涉及到确定哪个失真像素对应于每个未失真像素，由于畸变方程的非线性，这并非无关紧要。分别对红、绿、蓝三种颜色进行变形，可以显著降低横向色差(紫 /绿边)。扭曲或不扭曲需要两组系数或反演非线性问题，一般来说，缺乏解析解。标准的方法，如近似，局部线性化和迭代求解都适用。

如图6所示，基于顶点位移的解决方案，这个方案是目前最有效的，首先它不需要渲染中间纹理。几何结构通过自定义的定点着色器已经产生了畸变，这个方法已知摄像头的位置，我们用已经“桶型”畸变的2D渲染结果代替顶点。在这种方案中，不需要二次渲染，我们可以节省拷贝渲染到纹理的步骤.这种方法需要在每个已经畸变的网格上有一定的顶点密度。想象一个简单的例子，四个顶点的矩形非常靠近摄像头的渲染情况，畸变这些顶点滞后，仍然是一个4个顶点的扁平的矩形，不会有“桶型”的效果。

结合图7和图8所示，Cardboard Unity SDK的默认方法是不使用MSAA渲染16位渲染材质。但即便是在这样的设置之下，大部分的低端设备都会在几分钟之内出现发热问题。在转用了顶点位移技术之后，CDL选择渲染到全32位的屏幕缓冲区(减少色带)，并根据设备配置启用2倍到4倍的MSAA，这样可以将帧率大致维持在60fps。另外，在根据“镜头空间”变形场景之后，我们还避免了由变形渲染目标产生的像素丢失问题(也避免了渲染到更高分辨率缓冲区所造成的额外时间耗费)。这实际上跟英伟达最近发布的多分辨率着色技术的效果差不多。

由于镜头畸变是非线性的，所以反镜头畸变也是非线性的。当我们在顶点着色器中变形顶点的时候，顶点之间仍然以直线相连，但实际上这应该是一条曲线。当你通过曲面透镜观看曲线时，它看上去又会变成一条直线。当你通过曲面透镜观看直线时，你会看到一个边缘弯曲的立方体，这可能不是你想要的效果。

如图9所示，在这种情况下，如果顶点(在屏幕空间)的位置过于分散，我们最后也很难校正多少畸变，这样用户在转头的时候会看到图像出现变形，这种现象可能会导致用户头晕。或许更糟糕的是，所有的顶点运动都有可能加重物体之间的深度冲突。

幸好这个问题的解决方案也是很直接的，只需要增加足够的顶点细分，这些畸变就不会被觉察到。事实上，大部分的高端移动设备每帧可以渲染20万-80万个顶点。可是我们需要渲染场景两次，所以我们的顶点数量限制为10万-40万。这个也需要根据你想支持的设备而定。

你可能会认为增加这么多顶点可能会再次引起发热的问题，但是现在手机的屏幕像素密度普遍可以达到1920×1080，这个分辨率大致相当于200万个像素，如果稍微透支一下，我们可以处理每帧1000 万个着色片段。如果我们需要渲染用于畸变校正的单独渲染目标，这样会增加另外200万个像素，环境切换和大量材质内存访问的成本也是不可忽视的。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种修正VR大视场角畸变的方法，其特征在于，包括以下步骤：

S1、通过在矩形的显示屏上增加一个透镜，然后通过透镜来观看该显示屏，可获得更大的大视场角，可解决大视场角办法成本过高的问题；

S2、对畸变的图像进行“桶型”畸变处理，当人们通过畸变透镜去看，这些经过“桶型”反畸变处理的图像看起来转化为正常图像；

S3、“桶型”畸变处理是利用的反畸变算法来解决：

径向畸变主要由低阶径向分量控制，但也可以使用布朗畸变模型进行校正，该模型基于Conrady的早期工作，也称为Brown-Conrady模型，Brown-Conrady模型可以校正由于透镜中的物理元素未完全对准而引起的径向变形和切向变形，切向变形也称为偏心变形；

S4、利用软件通过反向扭曲来纠正这些畸变，涉及确定哪个失真像素对应于每个未失真像素时，由于畸变方程的非线性，这并非无关紧要；分别对红、绿、蓝三种颜色进行变形，可以显著降低横向色差；扭曲或不扭曲需要两组系数或反演非线性问题；

S5、基于顶点位移的解决方案，这个方案是目前最有效的，首先它不需要渲染中间纹理，几何结构通过自定义的定点着色器已经产生了畸变，这个方法已知摄像头的位置，我们用已经“桶型”畸变的2D渲染结果代替顶点，在这种方案中，不需要二次渲染，我们可以节省拷贝渲染到纹理的步骤，这种方法需要在每个已经畸变的网格上有一定的顶点密度，比如，四个顶点的矩形非常靠近摄像头的渲染情况，畸变这些顶点滞后，仍然是一个4个顶点的扁平的矩形，不会有“桶型”的效果；

S6、Cardboard Unity SDK的默认方法是不使用MSAA渲染16位渲染材质，但即便是在这样的设置之下，大部分的低端设备都会在几分钟之内出现发热问题，在转用了顶点位移技术之后，CDL选择渲染到全32位的屏幕缓冲区，减少色带，并根据设备配置启用2倍到4倍的MSAA，这样可以将帧率大致维持在60fps；另外，在根据“镜头空间”变形场景之后，我们还避免了由变形渲染目标产生的像素丢失问题，也避免了渲染到更高分辨率缓冲区所造成的额外时间耗费。

2.根据权利要求1所述的一种修正VR大视场角畸变的方法，其特征在于：

x_u＝x_d+(x_d-x_c)(K₁r²+K₂r⁴+…)+(P₁(r²+2(x_d-x_c)²)+2P₂(x_d-x_c)(y_d-y_c))(1+P₃r²+P₄r⁴…)

y_u＝y_d+(y_d-y_c)(K₁r²+K₂r⁴+…)+(2P₁(x_d-x_c)(y_d-y_c)+P₂(r²+2(y_d-y_c)²))(1+P₃r²+P₄r⁴…)，

其中：(x_d，y_d)＝透镜在像平面上投影的扭曲像点；

(x_u，y_u)＝理想针孔相机投影的无畸变像点；

(x_c，y_c)＝畸变中心；

和…＝无穷级数；

桶形畸变通常对K1具有负项，而枕形畸变将具有正值；胡子畸变将具有非单调的径向几何序列，其中对于某些r，该序列将更改符号；为了建模径向畸变，除Brown-Conrady的偶次多项式模型外，除法模型通常提供更准确的近似值：

使用先前定义的相同参数；对于径向畸变，这种划分模型通常比Brown Conrady模型更受青睐，因为它需要较少的术语来描述更准确的严重畸变。

3.根据权利要求2所述的一种修正VR大视场角畸变的方法，其特征在于：使用先前定义的相同参数，对于径向畸变，这种划分模型通常比Brown Conrady模型更受青睐，因为它需要较少的术语来描述更准确的严重畸变。

4.根据权利要求1所述的一种修正VR大视场角畸变的方法，其特征在于：由于镜头畸变是非线性的，所以反镜头畸变也是非线性的，当我们在顶点着色器中变形顶点的时候，顶点之间仍然以直线相连，但实际上这应该是一条曲线；当你通过曲面透镜观看曲线时，它看上去又会变成一条直线；当你通过曲面透镜观看直线时，你会看到一个边缘弯曲的立方体，这可能不是你想要的效果。

5.根据权利要求1所述的一种修正VR大视场角畸变的方法，其特征在于：在这种情况下，如果顶点在屏幕空间的位置过于分散，最后也很难校正多少畸变，用户在转头的时候会看到图像出现变形，这种现象可能会导致用户头晕，或许更糟糕的是，所有的顶点运动都有可能加重物体之间的深度冲突，因而增加足够的顶点细分，这些畸变就不会被觉察到，事实上，大部分的高端移动设备每帧可以渲染20万-80万个顶点，可是我们需要渲染场景两次，所以我们的顶点数量限制为10万-40万，这个也需要根据你想支持的设备而定。

Images