CN107943286B - 一种增强漫游沉浸感的方法 - Google Patents
一种增强漫游沉浸感的方法 Download PDFInfo
- Publication number
- CN107943286B CN107943286B CN201711123958.XA CN201711123958A CN107943286B CN 107943286 B CN107943286 B CN 107943286B CN 201711123958 A CN201711123958 A CN 201711123958A CN 107943286 B CN107943286 B CN 107943286B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- collision
- objects
- scene
- collision detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007654 immersion Methods 0.000 title claims abstract description 27
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 239000011521 glass Substances 0.000 claims abstract description 17
- 241000721701 Lynx Species 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 62
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 claims description 32
- 230000001133 acceleration Effects 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004088 simulation Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 238000007670 refining Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 14
- 230000001965 increasing effect Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种增强漫游沉浸感的方法，包括：(1)通过建模软件3DMax设计变电站区域的整体模型、各个工段的局部模型以及连接各个工段的道路模型；(2)将所设计的所有模型导入Unity3D中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将变电站区域的全景实景图像纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景；(3)接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程；(4)采用Lynx在三维虚拟场景中加入声音文件，然后由API函数触发和控制；(5)适配OculusRift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面。
Description
技术领域
本发明涉及虚拟漫游技术，尤其涉及一种增强漫游沉浸感的方法。
背景技术
虚拟现实技术又称灵境技术，它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支，从而大大推进了计算机技术的发展。虚拟现实系统就是要利用各种先进的硬件技术及软件工具，设计出合理的硬件、软件及交互手段，使参与者能交互式地观察和操纵系统生成的虚拟世界。虚拟现实技术是目前计算机界比较热门的一项技术。它是用计算机模拟的三维环境对现场真实环境进行仿真，用户可以走进这个环境，可以控制浏览方向，并操纵场景中的对象进行人机交互。
简单的说，虚拟现实就是由交互式计算机仿真组成的一种媒体，能够感知参与者的位置和动作，替代或增强一种或多种感官反馈，从而产生一种精神沉浸或出现在仿真环境(虚拟世界)中的感觉。一个能够真正意义上实现虚拟现实的系统应该具有以下几个基本要素：
(1)能够给用户以三维立体的虚拟环境；
(2)应当给使用者第一人称的感觉，并有实时任意活动的自由；
(3)用户能够通过一些控制装置实时地操纵和改变用户所进入的虚拟环境。
虚拟漫游系统包括一个逼真的视、听、触觉一体化的特定范围的虚拟环境，它是一个真实空间或假想空间的实时仿真虚拟空间，用户借助必要的装备以自然的方式在该虚拟空间中漫游，从任意角度对环境中虚拟对象进行观察，从而产生身临其境的感觉，同时也可以对其中的物体进行规划和操作。虚拟漫游技术是虚拟现实技术的重要分支，它具有虚拟现实技术的所有优点，它可以让使用者通过鼠标、键盘、数据手套、电子头盔等输入设备来与虚拟环境中的实体进行交互。
虚拟漫游适用于变电站区域的虚拟巡查，通常采用鼠标和键盘即可完成全方位交互漫游，但由于采用传统交互设备，将会大大影响用户的漫游体验，如果试图模拟驾车进行虚拟变电站区域的漫游，显然不是一种自然的交互方式，无法获得逼真的沉浸感。因此，有必要设计一种增强漫游沉浸感的方法，使得用户在虚拟漫游过程中，如同真正地驾车行驶于变电站区域中，不必身临其境，也能准确地巡查各个工段的变电站工作情况。
发明内容
为解决上述技术问题，本发明提供一种增强漫游沉浸感的方法，适用于变电站区域虚拟巡查，该方法包括以下步骤：
(1)通过建模软件3DMax设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
(2)将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
(3)接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
(4)采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制。
(5)适配OculusRift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受。
本发明还公开了一种增强漫游沉浸感的装置，适用于变电站区域虚拟巡查，包括：
3D模型生成模块，用于通过建模软件3DMax设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
3D虚拟场景搭建模块，用于将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
驾车巡查模拟模块，用于接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
车辆声音系统模拟模块，用于采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制；
工段检查模块，用于适配OculusRift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受。
本发明的有益效果是：区别于现有技术，在进行变电站区域虚拟漫游的过程中，本发明的增强漫游沉浸感的方法使用户完全置身于驾车的真实体验中，驾车过程中，直接采用方向盘进行控制，对变速、转弯、路面状况产生实时响应，在有挡车栏杆的情况下，不会产生直接相撞的停顿感，而是在一定距离外就可以享受挡车栏杆自动提前抬起的服务，并且配合以车辆主机与发动机的声音效果，得到一种视觉、听觉、触觉相结合的沉浸感；此外，利用服务器采集全景实景图像数据，将其融合到初始建立的虚拟空间的三维场景中，进一步增加了虚拟漫游的真实感和沉浸感；配备OculusRift虚拟现实眼镜，进一步脱离传统的鼠标、键盘等传统交互设备，增强沉浸效果。
附图说明
图1增强漫游沉浸感的方法的流程示意图
具体实施方式
本发明提供的增强漫游沉浸感的方法的流程如图1所示，其步骤包括：
(1)通过建模软件3DMax设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
(2)将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
(3)接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
(4)采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制，其中，声音的输出参数包括所使用的声音渲染引擎、采样率、声道以及同时渲染的声音数，声音对象的属性集合包括音强、音调以及空间渲染时的多普勒效应、传播衰减和延迟、空间环境的吸收。
(5)适配OculusRift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受。
步骤(2)还包括，利用基于多台投影仪的投影系统将三维虚拟场景投影到屏幕上，该投影系统采用基于微机网络的体系结构，设计为多节点Master/Slave模式，其中一个节点作为主节点，其余节点为从节点，每个节点都是一台完整的PC图形工作站，节点间通过1000MBps的以太网卡和高速网络交换机实现互连。Master/Slave结构的最大特点在于所有组成图形计算机群的节点都拥有一份相同的应用程序以及数据拷贝，这相当于每个节点各维持着一份虚拟世界的拷贝，各个节点需要通过网络同步维持它们的一致性。节点将按照投影面的配置对三维虚拟场景中的某一部分进行绘制，并在投影面上最终合成为三维虚拟场景。其中一个节点作为Master节点，它将负责处理用户的交互信息以及虚拟环境应用层面上的流程和状态转换：其它各绘制主机均为Slave节点，Master节点通过网络信息传递维持它与各个Slave节点的数据一致性。其中，相邻投影区域的边缘融合是将左投影区域的右边重叠部分的亮度线性衰减，右投影区域的左边重叠部分的亮度线性增加，在显示效果上表现为整幅画面在视觉上完全一致。
PC工作站具有更高的性价比，而且操作简单，便于维护，还可根据实际需要扩展为任意通道的沉浸环境，随着CPU和图形加速卡的更新换代可以非常方便地升级系统，以满足更为复杂的应用。
其中，在步骤(2)中，阴影贴图需要2个绘制过程：(1)以光源为视点，渲染整个场景，得到一幅所有物体相对于光源的深度纹理图像，这幅深度纹理图像中的每个像素值代表场景中离光源最近像素的深度值；(2)将视点恢复到原来的正常位置，渲染整个场景，对每个像素计算它和光源的距离，然后将这个值和深度纹理图像中相应的值比较，以确定这个像素点是否处在阴影当中，再根据比较的结果，对场景中阴影部分和非阴影部分进行不同的光照计算，从而得到阴影效果。
其中，在步骤(2)中，为简化三维虚拟场景的复杂度，将三维虚拟场景转化为三角形网格的结构，进行如下三种不同的基本化简操作：顶点删除操作，删除网格中的顶点，然后对它的相邻三角形形成的空洞做三角剖分，以保持网格的拓扑一致性；边压缩操作，把网格上的一条边压缩为一个顶点，与该边相邻的两个三角形退化，而它的两个顶点融合为一个新的顶点，与该边相邻的两个三角形退化，而它的两个顶点融合为一个新的顶点；面片收缩操作，把网格上的一个面片收缩为意义顶点，该三角形本身和与其相邻的三个三角形都退化，而它的3个顶点收缩为一个新的顶点，其中，退化指的是三角形面积为零。
其中，利用这些基本操作，只要确定每次操作给网格场景带来的误差，用误差代价计算方法来计算原始网格上的每一个基本元素的误差，并将其作为权值插入到一个按权值增序排列的队列中，然后开始循环进行网格基本化简操作；在每一次循环中，选取队首权值最小的操作，执行之，更新变化的网格信息，并重新计算改变了的网格基本元素的误差，插入到队列中，再开始下一个循环，直到队列的最小误差达到了用户设定阈值或者用户希望的化简网格数目己经得到。
其中，顶点删除操作和面片收缩操作，在被操作的对象与其相邻的基本元素之间建立对应关系，对于边压缩操作，对压缩边上的两点与压缩后的新点建立对应关系，建立这些对应关系后，通过插值的方法来实现光滑过渡。
通过上述过程，可以较好的简化场景的复杂度，提高绘制算法的效率，同时，采用不同分辨率的模型来显示复杂场景的不同物体，使生成的真实感图像质量损失很小的情况下，来实时地产生真实感图像，过渡自然，满足某些关键任务的实时性要求，在视觉效果上也会使得用户的沉浸感更强烈。
其中，在步骤(3)中，方向盘具有10个触发键，能够控制车辆的前进和后退、特效的开启和关闭、视点位置的切换，方向盘还具有一个转向轴和一个方向轴，转向轴具有力反馈效果，方向轴的正向为油门、负向为刹车，通过直接输入技术获取方向盘的控制权，实现对方向盘的管理，根据方向轴的转角创建相反的力效果，同时根据车辆和环境交互过程的结果施加给方向盘以力反馈效果，用户通过方向盘控制车辆的运动状态，车辆的转向角随方向盘的转动幅度增大而增大，速度的变化随油门和刹车的作用幅度增大而增大。
其中，将车辆作为一个质点，用一个矢量将其在三维虚拟场景中的方位，具有六个自由度分量，分别表示在世界三维坐标系中的坐标和绕三个坐标轴的转向角，帧循环过程中，获取当前车辆状态和方向盘的状态，读取触发键的状态并检测X、Y轴的位移值变化，一旦有值发生变化就读取新值舍弃旧值，地面为平面且无碰撞情况下，Z轴值为常量，根据牛顿运动定律计算下一状态，将新状态作为下一帧的当前状态，如果有碰撞发生，车辆不能到达新的位置，需要计算碰撞点的位置再做处理。
在步骤(3)中，除了车辆与地面之间的碰撞检测以外，还包括车辆和其他物体之间的碰撞检测，视为两个物体之间的碰撞检测，碰撞检测的过程避免车辆虚拟漫游过程中发生穿墙而过等不真实情况的发生，提高仿真程度和可信度。
在一个实施例中，所述车辆和其他物体之间的碰撞检测过程如下：
S1：车辆的加速度最大值为Max1，进行碰撞检测的其他物体的加速度最大值为Max2，Max1和Max2均大于零，利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，在时刻T到达前，不检测车辆和所述其他物体的碰撞，当时刻T到达时，转入S2；
S2：对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的加速度最大值Max1和Max2，返回S1，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入S3进行精细碰撞检测；
S3：对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，允许被其他操作中断，以满足应用的实时性的要求，如果被其他操作中断，返回S1，如果没有检测到碰撞，返回S1，如果检测到碰撞，确定碰撞点的位置以进行后续处理。
在步骤S2中，所述更新车辆和所述其他物体的加速度最大值Max1和Max2的方式如下：
其中，arctg(Max1)的取值区间为
exp(-Max2)表示自然底数的-Max2次方，Max1'和Max2'将作为更新后的Max1和Max2，以在S1中重新计算最早可能发生碰撞的时刻T。
通过上述更新过程，对车辆和其他物体的最大加速度进行微调，则最早可能发生碰撞的时刻T也相应地得以微调，扩大碰撞检测粗略估计的计算范围，在不显著增加计算量的前提下，能够提前实时监测车辆的行驶状况，提供安全保障，必要时可将最早可能发生碰撞的时刻T以倒计时的警告提示形式进行显示，以提前采取应急措施。
在另一实施例中，所述车辆和其他物体之间的碰撞检测过程如下：
S1：车辆的加速度最大值为Max1，进行碰撞检测的其他物体的加速度最大值为Max2，Max1和Max2均大于零，利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，同时开始实时监测车辆和所述其他物体的加速度，在时刻T到达时，分别计算从开始时刻到时刻T的这一时间段内车辆和所述其他物体的平均加速度Avg1和Avg2，转入S2；
S2：利用Avg1和Avg2估计车辆和所述其他物体的未来位置，计算相应的可能发生碰撞的时刻Tavg，在时刻Tavg到达前，不检测车辆和所述其他物体的碰撞，当时刻Tavg到达时，转入S3；
S3：对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的平均加速度Avg1和Avg2，返回S2，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入S4进行精细碰撞检测；
S4：对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，允许被其他操作中断，以满足应用的实时性的要求，如果被其他操作中断，返回S1，如果没有检测到碰撞，返回S1，如果检测到碰撞，确定碰撞点的位置以进行后续处理。
在步骤S3中，所述更新车辆和所述其他物体的平均加速度Avg1和Avg2的方式如下：
其中，
和
分别表示自然底数的
次方和
次方，Avg1'和Avg2'将作为更新后的Avg1和Avg2，以在S2中重新计算相应可能发生碰撞的时刻Tavg。
通过上述更新过程，利用各自的最大加速度对车辆和其他物体的平均加速度进行调整，则相应可能发生碰撞的时刻Tavg也相应地得以调整，扩大碰撞检测粗略估计的计算范围，在不显著增加计算量的前提下，能够提前实时监测车辆的行驶状况，提供安全保障，必要时可将相应可能发生碰撞的时刻Tavg以倒计时的警告提示形式进行显示，以提前采取应急措施。
在步骤(3)中，当进入变电站区域的各个工段设置有挡车栏杆时，除了挡车栏杆本身进行的碰撞检测之外，指定一个处于触发状态的长方体盒体，将挡车栏杆包含在该长方体盒体中，车辆与挡车栏杆之间的碰撞检测转换为车辆与该长方体盒体之间的检测，只要车辆进入该长方形盒体的范围，就能通过三维虚拟场景的动画脚本设定，提前抬起挡车栏杆，使得车辆得以顺利进入相应工段。
相应地，本发明还提供了一种增强漫游沉浸感的装置，适用于变电站区域虚拟巡查，包括：
3D模型生成模块，用于通过建模软件3DMax设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
3D虚拟场景搭建模块，用于将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
驾车巡查模拟模块，用于接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
车辆声音系统模拟模块，用于采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制；
工段检查模块，用于适配OculusRift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受。
其中，在3D虚拟场景搭建模块中，阴影贴图需要2个绘制过程：(1)以光源为视点，渲染整个场景，得到一幅所有物体相对于光源的深度纹理图像，这幅深度纹理图像中的每个像素值代表场景中离光源最近像素的深度值；(2)将视点恢复到原来的正常位置，渲染整个场景，对每个像素计算它和光源的距离，然后将这个值和深度纹理图像中相应的值比较，以确定这个像素点是否处在阴影当中，再根据比较的结果，对场景中阴影部分和非阴影部分进行不同的光照计算，从而得到阴影效果。
其中，在驾车巡查模拟模块中，除了车辆与地面之间的碰撞检测以外，还包括车辆和其他物体之间的碰撞检测，视为两个物体之间的碰撞检测，车辆的加速度最大值为Max1，进行碰撞检测的所述其他物体的加速度最大值为Max2，Max1和Max2均大于零。
为实现所述车辆和其他物体之间的碰撞检测过程，在一个实施例中，所述驾车巡查模拟模块还包括：
最早碰撞发生时刻估计子模块，用于利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，在时刻T到达前，不检测车辆和所述其他物体的碰撞，当时刻T到达时，转入碰撞检测粗估子模块进行粗略估计；
碰撞检测粗估子模块，用于对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的加速度最大值Max1和Max2，返回最早碰撞发生时刻估计子模块进行计算，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入碰撞检测精算子模块进行精细碰撞检测；
碰撞检测精算子模块，用于对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，如果被其他操作中断，返回最早碰撞发生时刻估计子模块进行计算，如果没有检测到碰撞，返回最早碰撞发生时刻估计子模块进行计算，如果检测到碰撞，确定碰撞点的位置以进行后续处理。
其中，在碰撞检测粗估子模块中，所述更新车辆和所述其他物体的加速度最大值Max1和Max2的方式如下：
其中，arctg(Max1)的取值区间为
exp(-Max2)表示自然底数的-Max2次方，Max1'和Max2'将作为更新后的Max1和Max2，以在最早碰撞发生时刻估计子模块中重新计算最早可能发生碰撞的时刻T。
为实现所述车辆和其他物体之间的碰撞检测过程，在另一实施例中，所述驾车巡查模拟模块还包括：
平均加速度确定子模块，用于利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，同时开始实时监测车辆和所述其他物体的加速度，在时刻T到达时，分别计算从开始时刻到时刻T的这一时间段内车辆和所述其他物体的平均加速度Avg1和Avg2，转入碰撞发生时刻估计子模块；
碰撞发生时刻估计子模块，用于利用Avg1和Avg2估计车辆和所述其他物体的未来位置，计算相应的可能发生碰撞的时刻Tavg，在时刻Tavg到达前，不检测车辆和所述其他物体的碰撞，当时刻Tavg到达时，转入碰撞检测粗估子模块；
碰撞检测粗估子模块，用于对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的平均加速度Avg1和Avg2，返回碰撞发生时刻估计子模块进行计算，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入碰撞检测精算子模块进行精细碰撞检测；
碰撞检测精算子模块，用于对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，如果被其他操作中断，返回平均加速度确定子模块进行计算，如果没有检测到碰撞，返回平均加速度确定子模块进行计算，如果检测到碰撞，确定碰撞点的位置以进行后续处理。
其中，在碰撞检测粗估子模块中，所述更新车辆和所述其他物体的平均加速度Avg1和Avg2的方式如下：
其中，
和
分别表示自然底数的
次方和
次方，Avg1'和Avg2'将作为更新后的Avg1和Avg2，以在碰撞发生时刻估计子模块中重新计算相应可能发生碰撞的时刻Tavg。
其中，在驾车巡查模拟模块中，当进入变电站区域的各个工段设置有挡车栏杆时，除了挡车栏杆本身进行的碰撞检测之外，指定一个处于触发状态的长方体盒体，将挡车栏杆包含在该长方体盒体中，车辆与挡车栏杆之间的碰撞检测转换为车辆与该长方体盒体之间的检测，只要车辆进入该长方形盒体的范围，就能通过三维虚拟场景的动画脚本设定，提前抬起挡车栏杆，使得车辆得以顺利进入相应工段。
本发明中，在进行虚拟变电站区域漫游的过程中，本发明的增强漫游沉浸感的方法使用户完全置身于驾车的真实体验中，驾车过程中，直接采用方向盘进行控制，对变速、转弯、路面状况产生实时响应，在有挡车栏杆的情况下，不会产生直接相撞的停顿感，而是在一定距离外就可以享受挡车栏杆自动提前抬起的服务，并且配合以车辆主机与发动机的声音效果，得到一种视觉、听觉、触觉相结合的沉浸感；此外，利用服务器采集全景实景图像数据，将其融合到初始建立的虚拟空间的三维场景中，进一步增加了虚拟漫游的真实感和沉浸感；配备OculusRift虚拟现实眼镜，进一步脱离传统的鼠标、键盘等传统交互设备，增强沉浸效果。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (6)
1.一种增强漫游沉浸感的方法，适用于变电站区域虚拟巡查，该方法包括以下步骤：
(1)通过建模软件3D Max设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
(2)将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
(3)接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
(4)采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制；
(5)适配Oculus Rift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受；
其中，在步骤(3)中，除了车辆与地面之间的碰撞检测以外，还包括车辆和其他物体之间的碰撞检测，视为两个物体之间的碰撞检测，所述车辆和其他物体之间的碰撞检测过程如下：
S1：车辆的加速度最大值为Max1，进行碰撞检测的所述其他物体的加速度最大值为Max2，Max1和Max2均大于零，利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，在时刻T到达前，不检测车辆和所述其他物体的碰撞，当时刻T到达时，转入S2；
S2：对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的加速度最大值Max1和Max2，返回S1，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入S3进行精细碰撞检测；
S3：对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，如果被其他操作中断，返回S1，如果没有检测到碰撞，返回S1，如果检测到碰撞，确定碰撞点的位置以进行后续处理；
具体地，在步骤S2中，所述更新车辆和所述其他物体的加速度最大值Max1和Max2的方式如下：
其中，arctg(Max1)的取值区间为
exp(-Max2)表示自然底数的-Max2次方，Max1’和Max2’将作为更新后的Max1和Max2，以在S1中重新计算最早可能发生碰撞的时刻T。
2.如权利要求1所述的增强漫游沉浸感的方法，在步骤(2)中，阴影贴图需要2个绘制过程：(1)以光源为视点，渲染整个场景，得到一幅所有物体相对于光源的深度纹理图像，这幅深度纹理图像中的每个像素值代表场景中离光源最近像素的深度值；(2)将视点恢复到原来的正常位置，渲染整个场景，对每个像素计算它和光源的距离，然后将这个值和深度纹理图像中相应的值比较，以确定这个像素点是否处在阴影当中，再根据比较的结果，对场景中阴影部分和非阴影部分进行不同的光照计算，从而得到阴影效果。
3.如权利要求1所述的增强漫游沉浸感的方法，在步骤(3)中，当进入变电站区域的各个工段设置有挡车栏杆时，除了挡车栏杆本身进行的碰撞检测之外，指定一个处于触发状态的长方体盒体，将挡车栏杆包含在该长方体盒体中，车辆与挡车栏杆之间的碰撞检测转换为车辆与该长方体盒体之间的检测，只要车辆进入该长方体盒体的范围，就能通过三维虚拟场景的动画脚本设定，提前抬起挡车栏杆，使得车辆得以顺利进入相应工段。
4.一种增强漫游沉浸感的装置，适用于变电站区域虚拟巡查，包括：
3D模型生成模块，用于通过建模软件3D Max设计变电站区域的整体模型、变电站区域内各个工段的局部模型以及连接各个工段的道路模型；
3D虚拟场景搭建模块，用于将所设计的所有模型导入3D建模软件中搭建虚拟空间的三维环境，并按照一定比例还原现实变电站区域大小，在虚拟空间的三维环境中绘制场景显示外幕，将从服务器中采集到的变电站区域的全景实景图像，纹理映射到场景显示外幕，得到基于场景显示外幕的三维虚拟场景，并对相应的各种景物进行相应的纹理贴图、光照贴图和阴影贴图；
驾车巡查模拟模块，用于接入方向盘，通过控制方向盘模拟用户在变电站区域道路上实际的驾车巡查过程，实现对变速、转弯、路面状况的实时响应；
车辆声音系统模拟模块，用于采用Lynx在三维虚拟场景中加入声音文件，主要是针对所驾驶车辆的主机和发动机的声音，对需要的参数进行设置，包括声音的位置、声音的输出参数、声音对象的属性集合，然后由API函数触发和控制；
工段检查模块，用于适配Oculus Rift虚拟现实眼镜，在进入某个工段下车后，由虚拟现实眼镜展现工段内的场景画面，获得置身于虚拟环境中的逼真感受；
在驾车巡查模拟模块中，除了车辆与地面之间的碰撞检测以外，还包括车辆和其他物体之间的碰撞检测，视为两个物体之间的碰撞检测，车辆的加速度最大值为Max1，进行碰撞检测的所述其他物体的加速度最大值为Max2，Max1和Max2均大于零，为实现所述车辆和其他物体之间的碰撞检测过程，所述驾车巡查模拟模块还包括：
最早碰撞发生时刻估计子模块，用于利用Max1和Max2估计车辆和所述其他物体的未来位置，计算最早可能发生碰撞的时刻T，在时刻T到达前，不检测车辆和所述其他物体的碰撞，当时刻T到达时，转入碰撞检测粗估子模块进行粗略估计；
碰撞检测粗估子模块，用于对车辆和所述其他物体的包围球做重叠测试，若无重叠则说明无碰撞，更新车辆和所述其他物体的加速度最大值Max1和Max2，返回最早碰撞发生时刻估计子模块进行计算，若车辆和所述其他物体的包围球有重叠，则在粗略的情况下初步确定车辆和所述其他物体发生了碰撞，转入碰撞检测精算子模块进行精细碰撞检测；
碰撞检测精算子模块，用于对车辆和所述其他物体逐步采用更精确的近似表示来检测碰撞，逐步细化车辆和所述其他物体在当前帧的碰撞检测精度，所述更精确的近似表示指的是一棵多精度的包围球层次树，树的层次每加深一层就对物体的逼近程度越高，树的根是包围整个物体的包围球，在每一步细化后，如果被其他操作中断，返回最早碰撞发生时刻估计子模块进行计算，如果没有检测到碰撞，返回最早碰撞发生时刻估计子模块进行计算，如果检测到碰撞，确定碰撞点的位置以进行后续处理；
在碰撞检测粗估子模块中，所述更新车辆和所述其他物体的加速度最大值Max1和Max2的方式如下：
其中，arctg(Max1)的取值区间为
exp(-Max2)表示自然底数的-Max2次方，Max1’和Max2’将作为更新后的Max1和Max2，以在最早碰撞发生时刻估计子模块中重新计算最早可能发生碰撞的时刻T。
5.如权利要求4所述的增强漫游沉浸感的装置，在3D虚拟场景搭建模块中，阴影贴图需要2个绘制过程：(1)以光源为视点，渲染整个场景，得到一幅所有物体相对于光源的深度纹理图像，这幅深度纹理图像中的每个像素值代表场景中离光源最近像素的深度值；(2)将视点恢复到原来的正常位置，渲染整个场景，对每个像素计算它和光源的距离，然后将这个值和深度纹理图像中相应的值比较，以确定这个像素点是否处在阴影当中，再根据比较的结果，对场景中阴影部分和非阴影部分进行不同的光照计算，从而得到阴影效果。
6.如权利要求4所述的增强漫游沉浸感的装置，在驾车巡查模拟模块中，当进入变电站区域的各个工段设置有挡车栏杆时，除了挡车栏杆本身进行的碰撞检测之外，指定一个处于触发状态的长方体盒体，将挡车栏杆包含在该长方体盒体中，车辆与挡车栏杆之间的碰撞检测转换为车辆与该长方体盒体之间的检测，只要车辆进入该长方体盒体的范围，就能通过三维虚拟场景的动画脚本设定，提前抬起挡车栏杆，使得车辆得以顺利进入相应工段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123958.XA CN107943286B (zh) | 2017-11-14 | 2017-11-14 | 一种增强漫游沉浸感的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123958.XA CN107943286B (zh) | 2017-11-14 | 2017-11-14 | 一种增强漫游沉浸感的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107943286A CN107943286A (zh) | 2018-04-20 |
| CN107943286B true CN107943286B (zh) | 2023-02-28 |
Family
ID=61932077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711123958.XA Active CN107943286B (zh) | 2017-11-14 | 2017-11-14 | 一种增强漫游沉浸感的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107943286B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10832093B1 (en) | 2018-08-09 | 2020-11-10 | Zoox, Inc. | Tuning simulated data for optimized neural network activation |
| CN109712231B (zh) * | 2018-12-24 | 2022-12-06 | 成都四方伟业软件股份有限公司 | 道路特效设置方法及装置 |
| CN110232846A (zh) * | 2019-06-12 | 2019-09-13 | 广东电网有限责任公司 | 一种冲锋舟模拟驾驶方法、系统及相关装置 |
| CN111652977A (zh) * | 2020-04-17 | 2020-09-11 | 国网山西省电力公司晋中供电公司 | 一种变电站三维场景智能漫游方法 |
| CN111694430A (zh) * | 2020-06-10 | 2020-09-22 | 浙江商汤科技开发有限公司 | 一种ar场景画面呈现方法、装置、电子设备和存储介质 |
| CN113487662B (zh) * | 2021-07-02 | 2024-06-11 | 广州博冠信息科技有限公司 | 画面显示方法、装置、电子设备和存储介质 |
| CN113689755A (zh) * | 2021-08-26 | 2021-11-23 | 南方电网调峰调频发电有限公司 | 一种基于虚拟现实的电站安全驾驶模拟训练方法及系统 |
| CN115966213A (zh) * | 2021-10-12 | 2023-04-14 | 华为技术有限公司 | 一种声音处理方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872559A (zh) * | 2010-06-08 | 2010-10-27 | 广东工业大学 | 一种面向汽车驾驶模拟器的虚拟驾驶主动安全预警系统及预警方法 |
| CN106569595A (zh) * | 2016-10-19 | 2017-04-19 | 上海市城市建设设计研究总院 | 基于vr和bim的虚拟工程体验方法及装置 |
| WO2017092303A1 (zh) * | 2015-12-01 | 2017-06-08 | 乐视控股（北京）有限公司 | 虚拟现实场景模型建立方法及装置 |
| CN107316344A (zh) * | 2017-05-18 | 2017-11-03 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
-
2017
- 2017-11-14 CN CN201711123958.XA patent/CN107943286B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872559A (zh) * | 2010-06-08 | 2010-10-27 | 广东工业大学 | 一种面向汽车驾驶模拟器的虚拟驾驶主动安全预警系统及预警方法 |
| WO2017092303A1 (zh) * | 2015-12-01 | 2017-06-08 | 乐视控股（北京）有限公司 | 虚拟现实场景模型建立方法及装置 |
| CN106569595A (zh) * | 2016-10-19 | 2017-04-19 | 上海市城市建设设计研究总院 | 基于vr和bim的虚拟工程体验方法及装置 |
| CN107316344A (zh) * | 2017-05-18 | 2017-11-03 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 三维漫游系统关键技术研究;姜雪伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100715;第四章 * |
| 变电站三维虚拟现实系统的研究及应用;傅源;《中国优秀硕士学位论文全文数据库 信息科技辑》;20091115;第三、四章 * |
| 基于虚拟现实技术的汽车虚拟驾驶系统的研究与开发;荆旭;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20071115;第二、六章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107943286A (zh) | 2018-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107943286B (zh) | 一种增强漫游沉浸感的方法 | |
| US10068547B2 (en) | Augmented reality surface painting | |
| US10825223B2 (en) | Mixed reality animation | |
| KR101947650B1 (ko) | 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법 | |
| EP2629265A1 (en) | Method and system for driving simulated virtual environments with real data | |
| CN111161422A (zh) | 一种用于增强虚拟场景实现的模型展示方法 | |
| CN106600688A (zh) | 基于三维建模技术的虚拟现实系统 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| US11097486B2 (en) | System and method of 3D print modeling utilizing a point cloud representation and generating a voxel representation of the point cloud | |
| US11763506B2 (en) | Generating animations in an augmented reality environment | |
| WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
| CN113536641A (zh) | 一套基于虚拟环境技术的电站锅炉转运设备沉浸式交互软件系统 | |
| US20180286130A1 (en) | Graphical image augmentation of physical objects | |
| CN117788689A (zh) | 一种基于三维建模的可交互式虚拟云展厅构建方法及系统 | |
| US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
| CN117369233B (zh) | 一种全息显示方法、装置、设备及存储介质 | |
| Eitsuka et al. | Authoring animations of virtual objects in augmented reality-based 3d space | |
| US10445940B2 (en) | Modeling interactions between simulated characters and real-world objects for more realistic augmented reality | |
| Huixuan et al. | Innovative Practice of Virtual Reality Technology in Animation Production | |
| CN109597480A (zh) | 人机交互方法、装置、电子设备及计算机可读存储介质 | |
| Wang et al. | Design and Implementation of Virtual Animation Based on Unity3D | |
| CA3143520C (en) | Method of computing simulated surfaces for animation generation and other purposes | |
| CN117078812B (zh) | 一种轨道交通列车三维动画仿真方法、存储介质及设备 | |
| CN114970177B (zh) | 基于cave的沉浸式舰船动力仿真交互系统 | |
| Huang | Analysis & design of space capsule experience software system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |