CN112037313B - 基于隧道视野的vr场景优化方法 - Google Patents

Abstract

本发明公开了一种基于隧道视野的VR场景优化方法，其包括计算视锥体中的双目重叠区域作为用户的感兴趣区域；判断当前图像帧中包围每个场景对象的矩形包围盒与感兴趣区域是否重叠；若是，不对其进行优化，否则进入下一步；对场景对象进行数据简化处理，之后获取当前图像帧的帧缓存，并计算感兴趣区域在帧缓存中的像素个数；分别计算左眼与右眼在帧缓存中清晰区域的圆心及缓慢移动和快速移动时的清晰区域半径；逐像素判断帧缓存中的当前像素是否位于清晰区域外，若是，进入下一步，否则，不对其进行模糊处理；计算当前像素三个通道被模糊之后的值；将当前像素三个通道被模糊之后的值进行叠加，并采用叠加的像素值替换当前像素的原像素值。

Description

基于隧道视野的VR场景优化方法

技术领域

本发明涉及场景优化技术，具体涉及一种基于隧道视野的VR场景优化方法。

背景技术

我国国土面积辽阔，地势地貌复杂多样，存在着大量的山谷沟壑地带，为 自然灾害的爆发创造了必要的条件。据中国地质环境监测院《全国地质灾害通 报》，对2005-2016年的自然灾害所造成的人员财产损失情况统计，全国因突发 性的泥石流、洪水等灾害造成的大量人员死亡或失踪，造成直接或间接经济损 失每年约120～150亿元。

虚拟现实的蓬勃发展为自然灾害研究提供了新的方法和技术手段，其具有 沉浸感、交互性和想象性三个突出特征。与传统的三维可视化相比，基于VR 技术的灾害可视化方法具有场景真实、用户主动感知信息、交互模式多样等优 点，对实现灾害知识的表达与共享、提高用户对灾情信息的认知效率，以辅助 用户掌握相应应急措施。

自然灾害三维场景数据涉及的空间范围广且数据量大，由于计算机硬件设 施和数据传输技术的限制，大范围的三维场景数据会影响场景浏览的流畅度和 显示效率；当用户在VR场景中进行交互浏览时，场景必须要有较高的绘制效率， 需达到90帧/秒或以上更为理想，否则会产生眩晕感，进而影响用户体验。

目前已有众多学者针对VR场景优化开展了大量工作。例如，采用模型简化 算法减少格网顶点或利用面片替代格网建模；通过场景光照烘培技术提前将光 照信息存储；采用包围盒替代格网做碰撞检测以避免复杂的相交运算；通过GPU 单元进行编程优化以实现场景渲染的绘制加速等等。

尽管上述VR场景优化方法取得了一定效果，但均仅从计算机的角度探讨如 何减少数据或降低渲染负担，未综合考虑人的生理特性与心理需求，使得场景 优化用户仍然会产生眩晕感。

发明内容

针对现有技术中的上述不足，本发明提供的基于隧道视野的VR场景优化方 法从用户视场角度对场景进行优化后，可以降低用户体验时的眩晕感。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于隧道视野的VR场景优化方法，其包括：

S1、获取VR场景中当前图像帧在视锥体中的近切面和远切面，并根据人 眼瞳距、近切面和远切面计算视锥体中的双目重叠区域作为用户的感兴趣区域；

S2、获取当前图像帧中包围每个场景对象的矩形包围盒，并判断矩形包围 盒与感兴趣区域是否重叠；若是，不对场景对象进行优化，否则进入步骤S3；

S3、对场景对象进行数据简化处理，得到低数据精度的简化场景对象；之 后获取当前图像帧的帧缓存，并计算感兴趣区域在帧缓存中的像素个数；

S4、根据帧缓存和像素个数，分别计算左眼与右眼在帧缓存中清晰区域的 圆心及小于预设速度移动时和大于预设速度移动时对应的清晰区域半径；

S5、逐像素判断帧缓存中的当前像素是否位于清晰区域外，若是，进入步 骤S6，否则，不对当前像素进行模糊处理；

S6、采用着色器对应的函数获取帧缓存像素，之后计算当前像素RGB三个 通道被模糊之后的值；

S7、将当前像素RGB三个通道被模糊之后的值进行叠加，得到高斯模糊后 的像素值，并采用高斯模糊后的像素值替换当前像素的原像素值。

本发明的有益效果为：本方案首先利用人眼视觉特性，基于视锥体获得VR 场景感兴趣区域，然后对当前图像帧在感兴趣区域外的场景对象进行数据简化 处理，可在保证用户感兴趣区域渲染高保真渲染的前提下大幅度减少场景数据， 提高绘制帧率，降低VR头显刷新率不足引起的视觉晕动症。

之后基于帧缓存和感兴趣区域得到帧缓存中左眼与右眼的清晰区域，并对 清晰区域外的当前像素进行模糊处理以构造隧道视野，这种集中式渲染方法可 在保证高保真度渲染VR场景感兴趣区域的前提减少渲染数据，提高绘制效率， 降低用户眩晕感。

附图说明

图1为基于隧道视野的VR场景优化方法的流程图。

图2为视锥体示意图。

图3为场景对象进行数据简化处理前后效果图；其中，a与b分别表示地形 块与建筑物优化前后的效果，c与d分别表示地形块与建筑物优化前后对应的格 网数据。

图4为帧缓存中的待模糊区域图。

图5为案例区域。

图6为原型系统界面。

图7为隧道视野优化效果；其中，a和c分别为小于预设速度移动和大于预 设速度移动时的原始场景，b和d分别为小于预设速度移动和大于预设速度移动 时进行隧道视野优化效果图。

图8为三角面对比分析图。

图9为帧率对比分析图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的 普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精 神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保 护之列。

参考图1，图1示出了基于隧道视野的VR场景优化方法的流程图，如图1 所示，该方法S包括步骤S1至步骤S7。

在步骤S1中，获取VR场景中当前图像帧在视锥体中的近切面和远切面， 并根据人眼瞳距、近切面和远切面计算视锥体中的双目重叠区域作为用户的感 兴趣区域。视锥体的示意图可以参考图2。

在进行VR场景优化之前，需要预先设置好近切面和远切面距离相机的距离， 运行时直接根据相机坐标和距离可以直接计算得到图像帧中近切面和远切面； 在VR中，场景中的相机相当于现实世界的人眼，通过人眼的视场特性确定的感 兴趣区域范围，在进行相应运算时通过相机的视椎体实现。

在本发明的一个实施例中，计算当前图像帧中的双目重叠区域进一步包括：

根据相机视场角的初始设定，获取相机的垂直张角f_v和水平张角f_h计算宽 高比

根据宽高比Aspect和垂直张角f_v，计算XZ平面和XY平面的偏移量：

其中，f_y为XZ平面的偏移量；f_x为XY平面的偏移量；

本方案采用左手坐标系，即从原点看，x轴从左指向右，y轴从下指向上， z轴指向屏幕里。

采用VR平台的内置函数获取模型矩阵变换矩阵Matrix，根据模型矩阵变换 矩阵Matrix计算当前图像帧在视锥体侧边的方向向量f₁、f₂、f₃、f₄：

f₁＝Matrix×[-f_x -f_y 1]^T

f₂＝Matrix×[-f_x f_y 1]^T

f₃＝Matrix×[f_x -f_y 1]^T

f₄＝Matrix×[f_x f_y 1]^T

其中，[.]为转置；

计算双目重叠区域在近切面和远切面上的顶点：

V_l2＝P_左+d_far×f₂ V_r1＝P_右+d_far×f₁

V_l4＝P_左+d_far×f₄ V_r3＝P_右+d_far×f₃ V_l6＝P_左+d_near×f₂’V_r5＝P_右+d_near×f₁

V_l8＝P_左+d_near×f₄ V_r7＝P_右+d_near×f₃

其中，V_l2-V_l8、V_r1-V_r7分别为左右视锥体的顶点，d_near与d_Tar分别为相机焦 点至视锥体近切面、远切面的距离；P_左与P_右分别为左相机和右相机的空间坐标。

在步骤S2中，获取当前图像帧中包围每个场景对象的矩形包围盒，并判断 矩形包围盒与感兴趣区域是否重叠；若是，不对场景对象进行优化，否则进入 步骤S3；其中的矩形包围盒可以采用基于包围盒检测算法进行获取。

实施时，本方案优选判断矩形包围盒与感兴趣区域是否重叠的方法包括：

根据感兴趣区域的8个顶点建立六个面的空间平面方程：

aX+bY+cZ+d＝0

其中，a、b、c、d为空间平面方程一般式的四个参数；X、Y、Z为顶点坐 标；平面的法向量均指向区域内部；

判断矩形包围盒的顶点是否满足如下任一条件：

aX₁+bY₁+cZ₁+d＝0 (1)

aX₁+bY₁+cZ₁+d<0 (2)

aX₁+bY₁+cZ₁+d>0 (3)

当矩形包围盒的所有顶点均满足6个面的式(3)时，则矩形包围盒位于感 兴趣区域内部；

当矩形包围盒的所有顶点均满足6个面的式(2)时，则矩形包围盒位于感 兴趣区域外部；

当矩形包围盒中存在顶点满足6个面的式(1)和式(3)时，则矩形包围 盒与感兴趣区域部分重叠。

在步骤S3中，对场景对象进行数据简化处理，得到低数据精度的简化场景 对象；

在本发明的一个实施例中，对场景对象进行数据简化处理进一步包括：

S31、判断当前图像帧中的场景对象是否为地形或建筑物目标，若是进入步 骤S32，否则进入步骤S33；

S32、分别采用格网简化和纹理压缩对场景对象进行优化，之后采用公告牌 优化方法对上述结果进行优化得到简化场景对象；

S33、对场景对象采用层消隐剔除渲染得到简化场景对象。

本方案采用上述方式进行数据简化处理后，可在保证用户感兴趣区域渲染 高保真渲染的前提下大幅度减少场景数据，提高绘制帧率，降低VR头显刷新率 不足引起的视觉晕动症。

如图3所示，在保证视觉可信的前提下对场景对象做数据简化，地形块的 顶点从10000减少到8，三角面从19602减少到6；建筑物顶点数从4951减少 到8，三角面从3266减少到6。通过图3可以看出，这些优化后的对象已经变 形，因此，本方案后续需要构造隧道视野，一方面避免由于场景对象失真所造 成的沉浸感降低的问题，另一方面减少用户漫游时由于眼睛观察到的变化与身 体真实状态不一致所带来的眩晕感。

之后获取当前图像帧的帧缓存，并计算感兴趣区域在帧缓存中的像素个数：

CountY＝Resolution.Y

其中，Resolution.X和Resolution.Y分别为单眼帧缓存在X轴与Y轴上的像素 个数；CountX与CountY分别为感兴趣区域在X轴与Y轴方向上的像素个数； V_l2.X、V_r2.X和V_l1.X分别为顶点V_l2、V_r2和V_l1的X坐标。

帧缓存的每一存储单元对应屏幕上的一个像素，整个帧缓存对应一帧图像。 渲染VR场景与普通场景不同，在绘制时需要处理两次帧缓存，以生成左右眼图 像，由于计算机的性能导致的渲染延迟，这将造成左右眼画面不同步的问题。 采用unity通过单通道立体渲染技术进行优化，它将左眼和右眼图像同时渲染为 一个打包的渲染纹理，该纹理是单眼纹理宽度的两倍，即将两次帧缓存进行拼 接形成一个帧缓存。

隧道在单通道立体渲染中的帧缓存中如图4所示。

在步骤S4中，根据帧缓存和像素个数，分别计算左眼与右眼在帧缓存中清 晰区域的圆心及小于预设速度移动时和大于预设速度移动时对应的清晰区域半 径：

R₁＝min(CountX/2，CountY/2)

R₂＝min(CountX/2，CountY/2)/2

其中，O_l与O_r分别为左眼与右眼在帧缓存清晰区域的圆心，R₁为小于预设 速度移动时对应的清晰区域半径；R₂为大于预设速度移动时对应的清晰区域半 径。

在步骤S5中，逐像素判断帧缓存中的当前像素是否位于清晰区域外，若是， 进入步骤S6，否则，不对当前像素进行模糊处理；

实施时，本方案优选逐像素判断帧缓存中的当前像素是否位于清晰区域外 的方法为：

确定当前像素是否满足预设条件，所述预设条件为：

当当前像素满足预设条件时，则当前像素位于清晰区域外；当当前像素不 满足预设条件时，则当前像素位于清晰区域内。

在步骤S6中，采用着色器对应的函数获取帧缓存像素，之后计算当前像素 RGB三个通道被模糊之后的值：

其中，C(x，y)为模糊之后的像素灰度值；T(i，j)为当前像素在帧缓存中的灰度值；K(i，j)为当前像素对应高斯核的灰度值；(m，n)为模板大小一半的取整值。

本方案通过对像素进行模糊处理以形成隧道视野，以保证高保真度渲染洪水 VR场景感兴趣区域的前提减少渲染数据，提高绘制效率，降低用户眩晕感。

下面结合以洪水作为具体的案例对本方案的VR场景优化方法进行说明：

本方案选取的案例区域位于四川省甘孜藏族自治州东部的丹巴县(东经101.88E，北纬30.88)，如图5所示。丹巴县城位于大渡河畔的章谷镇，海拔1800 米，距州府康定137公里，距成都368公里。受强降雨影响，加上上游金川县 和小金县洪水过境，与2020年6月13日发生重大洪水。本方案原型系统的研 发环境具体如下表1所示。

表1研发环境

基于上述开发环境，确定了用于洪水灾害VR场景动态建模与交互分析的原 型系统，并对系统运行效率进行测试，图6为系统主界面，主要功能包括洪水 灾害科普、VR下洪水灾害场景可视化展与绘制优化、场景多模式交互、洪水灾 情信息查询分析。

本方案基于原型系统，对选择的案例区域进行场景优化实验，基于高斯滤 波构造的隧道视野效果如图7所示，左侧(a和c)表示原始场景，右侧(b和d) 为基于隧道视野优化后的效果。

为验证本方案优化方法的有效性，设计了场景漫游与交互实验；实验选取 的实验者学历为本科及以上，实验者对洪水灾害有所了解，视力都在正常范围 内，实验选用的虚拟现实设备为HTC VIVE虚拟现实头部显示设备，视场角为 110°，分辨率为2160*1200，刷新率为90Hz。

参与者的实验持续35-50分钟，包括四个阶段：介绍、校准、正常渲染场景 测试和隧道视野优化后场景测试；在介绍阶段，向参与者展示了VR头盔、VR 手柄和XBOX控制器，并介绍了如何在场景中使用，并没有介绍隧道视野相关 信息，以避免参与者心理偏向于优化后的场景。

当参与者戴上头盔显示器后，进入校准阶段，以正确设置瞳距、头盔松紧 度等，为参与者提供最舒适的体验。在测试阶段，参与者会分别体验正常渲染 场景与优化后的场景并进行相关探索分析，当用户体验之后，随机抽取并记录 场景帧率及所绘制三角面的信息，如图8与图9所示。

图8为洪水VR场景绘制数据量的分析，随机抽取了用户在场景中进行漫游 时的15个时刻，如图中所示，基于隧道视野的集中式渲染方法所需绘制的三角 面比原始场景减少了约30％-50％。

图9为洪水VR场景绘制效率的分析。如图中所示，优化后的平均绘制效率 为90帧/s以上，实验结果证明本方案方法显著提高了洪水VR场景的绘制效率， 降低了用户的眩晕感。

Claims (8)

1.基于隧道视野的VR场景优化方法，其特征在于，包括：

S1、获取VR场景中当前图像帧在视锥体中的近切面和远切面，并根据人眼瞳距、近切面和远切面计算视锥体中的双目重叠区域作为用户的感兴趣区域；

S2、获取当前图像帧中包围每个场景对象的矩形包围盒，并判断矩形包围盒与感兴趣区域是否重叠；若是，不对场景对象进行优化，否则进入步骤S3；

S3、对场景对象进行数据简化处理，得到低数据精度的简化场景对象；之后获取当前图像帧的帧缓存，并计算感兴趣区域在帧缓存中的像素个数；

S4、根据帧缓存和像素个数，分别计算左眼与右眼在帧缓存中清晰区域的圆心及小于预设速度移动时和大于预设速度移动时对应的清晰区域半径；

S5、逐像素判断帧缓存中的当前像素是否位于清晰区域外，若是，进入步骤S6，否则，不对当前像素进行模糊处理；

S6、采用着色器对应的函数获取帧缓存像素，之后计算当前像素RGB三个通道被模糊之后的值；

S7、将当前像素RGB三个通道被模糊之后的值进行叠加，得到高斯模糊后的像素值，并采用高斯模糊后的像素值替换当前像素的原像素值。

2.根据权利要求1所述的基于隧道视野的VR场景优化方法，其特征在于，计算当前图像帧中的双目重叠区域进一步包括：

根据相机视场角的初始设定，获取相机的垂直张角f_v和水平张角f_h计算宽高比

根据宽高比Aspect和垂直张角f_v，计算XZ平面和XY平面的偏移量：

f_x＝f_y×Aspect

其中，f_y为XZ平面的偏移量；f_x为XY平面的偏移量；

采用VR平台的内置函数获取模型矩阵变换矩阵Matrix，根据模型矩阵变换矩阵Matrix计算当前图像帧在视锥体侧边的方向向量f₁、f₂、f₃、f₄：

f₁＝Matrix×[-f_x -f_y 1]^T

f₂＝Matrix×[-f_x f_y 1]^T

f₃＝Matrix×[f_x -f_y 1]^T

f₄＝Matrix×[f_x f_y 1]^T

其中，[.]为转置；

计算双目重叠区域在近切面和远切面上的顶点：

V_l2＝P_左+d_far×f₂ V_r1＝P_右+d_far×f₁

V_l4＝P_左+d_far×f₄ V_r3＝P_右+d_far×f₃

V_l6＝P_左+d_near×f₂’V_r5＝P_右+d_near×f₁

V_l8＝P_左+d_near×f₄ V_r7＝P_右+d_near×f₃

其中，V_l2-V_l8、V_r1-V_r7分别为左右视锥体的顶点，d_near与d_far分别为相机焦点至视锥体近切面、远切面的距离；P_左与P_右分别为左相机和右相机的空间坐标。

3.根据权利要求2所述的基于隧道视野的VR场景优化方法，其特征在于，判断矩形包围盒与感兴趣区域是否重叠的方法包括：

根据感兴趣区域的8个顶点建立六个面的空间平面方程：

aX+bY+cZ+d＝0

其中，a、b、c、d为空间平面方程一般式的四个参数；X、Y、Z为顶点坐标；平面的法向量均指向区域内部；

判断矩形包围盒的顶点是否满足如下任一条件：

aX₁+bY₁+cZ₁+d＝0 (1)

aX₁+bY₁+cZ₁+d＜0 (2)

aX₁+bY₁+cZ₁+d＞0 (3)

当矩形包围盒的所有顶点均满足6个面的式(3)时，则矩形包围盒位于感兴趣区域内部；

当矩形包围盒的所有顶点均满足6个面的式(2)时，则矩形包围盒位于感兴趣区域外部；

当矩形包围盒中存在顶点满足6个面的式(1)和式(3)时，则矩形包围盒与感兴趣区域部分重叠。

4.根据权利要求1所述的基于隧道视野的VR场景优化方法，其特征在于，对场景对象进行数据简化处理进一步包括：

S31、判断当前图像帧中的场景对象是否为地形或建筑物目标，若是进入步骤S32，否则进入步骤S33；

S32、分别采用格网简化和纹理压缩对场景对象进行优化，之后采用公告牌优化方法对上述结果进行优化得到简化场景对象；

S33、对场景对象采用层消隐剔除渲染得到简化场景对象。

5.根据权利要求2所述的基于隧道视野的VR场景优化方法，其特征在于，计算感兴趣区域在帧缓存中的像素个数：

CountY＝Resolution.Y

其中，Resolution.X和Resolution.Y分别为单眼帧缓存在X轴与Y轴上的像素个数；CountX与CountY分别为感兴趣区域在X轴与Y轴方向上的像素个数；V_l2.X、V_r2.X和V_l1.X分别为顶点V_l2、V_r2和V_l1的X坐标。

6.根据权利要求5所述的基于隧道视野的VR场景优化方法，其特征在于，计算左眼与右眼在帧缓存中清晰区域的圆心及小于预设速度移动时和大于预设速度移动时对应的清晰区域半径的计算公式分别为：

R₁＝min(CountX/2，CountY/2)

R₂＝min(CountX/2，CountY/2)/2

其中，O_l与O_r分别为左眼与右眼在帧缓存清晰区域的圆心，R₁为小于预设速度移动时对应的清晰区域半径；R₂为大于预设速度移动时对应的清晰区域半径。

7.根据权利要求6所述的基于隧道视野的VR场景优化方法，其特征在于，所述逐像素判断帧缓存中的当前像素是否位于清晰区域外的方法为：

确定当前像素是否满足预设条件，所述预设条件为：

当当前像素满足预设条件时，则当前像素位于清晰区域外；当当前像素不满足预设条件时，则当前像素位于清晰区域内。

8.根据权利要求6所述的基于隧道视野的VR场景优化方法，其特征在于，计算当前像素RGB三个通道被模糊之后的值的计算公式为：

其中，C(x，y)为模糊之后的像素灰度值；T(i，j)为当前像素在帧缓存中的灰度值；K(i，j)为当前像素对应高斯核的灰度值；(m，n)为模板大小一半的取整值。

Images