CN108876046B - 沉浸式虚拟现实灾害求生救援的最优路径选择系统 - Google Patents

Abstract

本发明涉及一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，包括定位追踪单元、负面因素单元、场景模型单元、路径节点单元、人工智能单元、语音单元、数据库单元、网络单元和三维引擎单元。选择系统设有培训平台，培训平台包括事故情景选择模块和功能模块，功能模块分为理论部分和实战部分，理论部分包括感知认知模块和教学模块，实战部分包括模拟演练模块和考核模块。本发明通过将虚拟现实技术与人工智能相结合模拟现实灾害场景，用沉浸式虚拟现实技术使参与者真实的感受灾害现场的紧张氛围，通过感知认知模块、教学模块、模拟演练模块和考核模块对学员进行逃生训练，有利于提高灾害爆发时现场人员的求生几率。

Description

沉浸式虚拟现实灾害求生救援的最优路径选择系统

技术领域

本发明属于多媒体仿真技能培训技术领域，涉及一种沉浸式虚拟现实灾害求生救援的最优路径选择系统。

背景技术

在人工智能高速发展的今天，人工智能越来越多的作用于我们的生活和工作中。虚拟现实技术借助计算机将抽象的灾害现场进行实例化，结合相关科学技术，遵循“还原现场”的原则，生成实时动态三维立体的逼真场景，用户通过视觉、听觉以及各种交互获得身临其境的体验，同时根据用户的不同操作产生不同的结果，增强沉浸感的同时，提升分析和应急处理能力，增加趣味性，通过惨烈的虚拟事故加深参与人员的印象，防患于未然。

近年来，随着虚拟现实技术在生活中越来越广泛的应用，其优势也越来越明显，沉浸式虚拟现实技术在灾害应急救援模拟训练中有着天然的优势，它可以让参与者身临其境的感受灾害发生的全过程，训练出在危机面前的处置能力。人工智能弥补了人类在最优抉择上的缺陷，人工智能与虚拟现实的结合将实时计算出最优路径，在灾害爆发的第一时间为人们做出最佳选择，提高灾害爆发时的生存几率。

发明内容

本发明的目的是提供一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，熟练的掌握灾害发生时的应急求生救援处理方法，提高自身求生与救援几率。

本发明的技术方案是：沉浸式虚拟现实灾害求生救援的最优路径选择系统，包括定位追踪单元、负面因素单元、场景模型单元、路径节点单元、人工智能单元、语音单元、数据库单元、网络单元和三维引擎单元，追踪单元、负面因素单元、场景模型单元、路径节点单元、人工智能单元、语音单元、数据库单元、网络单元和三维引擎单元之间通信连通。定位追踪单元提供实操需要追踪的外部条件，负面因素单元包含有供培训用的事故情景。场景模型单元为负面因素单元、路径节点单元和人工智能单元提供事故情景，路径节点单元将事故场景中每条路的节点进行标记，用于计算最优路径；语音单元包含实时语音与教学语音，进行语言信息传递。数据库单元将系统的数据进行存储、同时供系统进行提取数据进行分析。网络单元为逃生人员与数据库单元提供数据传递，人工智能单元利用数学算法进行计算得出最优路径并在各个场景的关键部位，在显示终端显示灾难情况以及指示逃生路径。三维引擎单元为最优路径选择系统提供制作和运行的环境。

定位追踪单元设有HTC vive设备定位器、vive头戴显示器、vive操控手柄和vive追踪器，HTC vive设备定位器、vive头戴显示器、vive操控手柄和vive追踪器与主机通信连通，用于实现在沉浸式虚拟现实中模拟现实灾害求生救援的最优路径选择系统。数学算法包括蚁群算法、遗传算法。

蚁群算法的计算式为：

其中：

为t时刻虚拟逃生人员由位置i转移到位置j的概率；allowed_k＝{0,1,2,3……n-1}为虚拟逃生人员下一步将选择的分支，k(k＝1,2,3,4......m)为虚拟逃生人员k在移动过程中根据各节点的信息量决定移动方向；T_ij(t)为t时刻连线上的信息量，T_ij(0)＝c(c为常量)，一旦事故发生，该分支节点立即检测到信息量，此时T_ij(0)将发生变化；η_ij表示由节点i移动到节点j的期望程度，α为逃生人员在运动过程中所积累的信息，β为逃生人员运动过程中积累的负面因子。

遗传算法的计算式为：

其中：

为每个负面因素被传到下节点的概率；q_i为每个负面因素的累积概率；f(x_i)为每个负面因素的节点适应度。

最优路径选择系统的工作流程是：①路径节点单元(4)向数据库单元(7)提供事故场景中每条路的节点，②人工智能单元(5)从数据库单元调出事故场景及道路节点，③进行蚁群算法、遗传算法的运算得出最优路径，④将最优路径以图片和动画的方式投放到场景中的显示终端，⑤判断事故是否发生变化，如果发生变化返回数据库单元，如果没有发生变化按最优路径逃生。

最优路径选择系统设有培训平台，培训平台包括事故情景选择模块和功能模块，功能模块分为理论部分和实战部分，理论部分包括感知认知模块和教学模块，实战部分包括模拟演练模块和考核模块。感知认知模块将对所选事故情景中的场景和需要用的工具进行熟悉。教学模块通过VR交互、UI指引、语音系统、动画及虚拟显示终端为培训人员提供操作指导，使其可正确、从容、快速地逃离灾害现场。模拟演练模块以教学模块为基础，学员进行演练。考核模块学员随机选择事故情景进行考核，场景随机出现危险点，在一定时间内未逃生成功将直接判定死亡，统计面板将显示本次逃生考核所用的时间以及考核得分及扣分明细。

事故情景选择模块的事故情景包括矿井火灾事故、顶板塌方事故、救护车应急行驶、矿尘/煤尘爆炸、瓦斯突出爆炸、机电事故和巷道踩踏事故。

感知认知模块的流程为：进入场景选择工具，查看工具属性，然后放下工具，放下工具后有三种选择，一种选择退出场景，一种选择进入实战部分，一种选择进入教学模块。

教学模块的流程为：①进入随机出现事故的场景，②开始逃生教学，按语音提示进行操作，③查看无线终端选择最优逃生路径逃生，④如果逃生成功，选择退出场景重新开始或返回上一层次进行选择，⑤如果逃生失败，返回上一层次进行选择或选择退出场景重新开始。

模拟演练模块的流程是：①学员模拟演练模块场景；②选择是否录制本次操作；③做好防护措施；④查看逃生路径进行逃生；⑤看是否逃生成功；⑥如果逃生成功，有三种选择，一是查看错误漏项，二是退出场景重新开始，三是返回上一层次的选择；⑦如果逃生失败，同样进入⑥进行三种选择。

考核模块的流程是：①学员进入考核场景；②所述平台随机生成事故节点；③学员操作选择路径逃生；④系统显示死亡或逃亡成功；⑤如果完成操作，逃生成功，计算用时，显示得分和扣分情况，进入步骤⑦；⑥如中途死亡，计算用时和扣分，进入步骤⑦；⑦选择返回上一层级或退出场景。

沉浸式虚拟现实的特点是利用头盔把用户的视觉、听觉封闭起来，产生虚拟视觉，同时利用操作手柄操作虚拟场景中的零件和物体产生虚拟触动感。系统语音单元为学员提示操作步骤和讲解，进行人机交互，与此同时相应的腿部跟踪器追踪，使系统达到尽可能的实时性。临境系统是真实环境替代的理想模型，具有交互手段的虚拟环境。本发明借助三维引擎软件建模及编写程序、HTC vive设备(包含多个定位器、头戴显示器、vive操控手柄、vive追踪器等)展示，用于对学员进行灾害逃生救援的培训。本发明充分考虑了不同灾害类型场景中不同的负面因素，来提升模拟的真实度，使系统更加逼近现实，为人工智能单元提供更多参考因素，提升其智能程度。

本发明沉浸式虚拟现实灾害求生救援的最优路径选择系统通过将虚拟现实技术与人工智能相结合，①模拟不同的现实灾害场景，②使用沉浸式虚拟现实技术使参与者更加真实的感受灾害现场的紧张氛围；③使用人工智能来提高灾害爆发时的求生救援效率。人工智能单元通过使用蚁群算法、遗传算法选择最优路径提高运算的效率，减少运算时间。本发明沉通过感知认知模块、教学模块、模拟演练模块和考核模块对学员进行逃生训练，使学员熟练的掌握灾害发生时的应急求生救援处理方法，有利于提高灾害爆发时现场人员的求生几率，提高救援人员的救援效率，降低灾害爆发带来的损失。

附图说明

图1为本发明沉浸式虚拟现实灾害求生救援的最优路径选择系统的结构框图；

图2为本发明沉浸式虚拟现实灾害求生救援的最优路径选择系统的培训平台流程示意图；

图3为事故情景选择示意图；

图4为感知认知模块流程示意图；

图5为教学模块流程示意图；

图6为模拟演练流程示意图；

图7为考核模块流程示意图；

图8为沉浸式虚拟现实灾害求生救援的最优路径选择系统的工作流程图。

其中：1—定位追踪单元、2—负面因素单元、3—场景模型单元、4—路径节点单元、5—人工智能单元、6—语音单元、7—数据库单元、8—网络单元、9—三维引擎单元、10—1号逃生员、11—情景选择模块、12—2号逃生员、13—理论部分、14—实战部分、15—感知认知模块、16—教学模块、17—模拟演练模块、18—考核模块。

具体实施方式

下面结合实施例和附图对本发明进行详细说明。本发明保护范围不限于实施例，本领域技术人员在权利要求限定的范围内做出任何改动也属于本发明保护的范围。

本发明一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，如图1所示，包括定位追踪单元1、负面因素单元2、场景模型单元3、路径节点单元4、人工智能单元5、语音单元6、数据库单元7、网络单元8和三维引擎单元9，追踪单元、负面因素单元、场景模型单元、路径节点单元、人工智能单元、语音单元、数据库单元、网络单元和三维引擎单元之间通信连通。定位追踪单元提供实操需要追踪的外部条件，定位追踪单元为HTC vive设备，HTCvive设备包括定位器、vive头戴显示器、vive操控手柄和vive追踪器，定位器、vive头戴显示器、vive操控手柄和vive追踪器与主机通信连通形成运行软件所需的定位追踪环境，为实训平台提供沉浸式虚拟现实场景的外部条件，用于实现沉浸式虚拟现实中模拟现实灾害求生救援的最优路径选择。受培训人员工头戴头盔显示器，手持vive操控手柄，vive追踪器系在腿部或手臂等需要追踪的部位，进入沉浸式虚拟现实的场景中。负面因素单元包含有供培训用的事故情景，场景模型单元为负面因素单元、路径节点单元和人工智能单元提供事故情景，路径节点单元将事故场景中每条路的节点进行标记，用于计算最优路径。语音单元包含实时语音与教学语音，进行语言信息传递。数据库单元将系统的数据进行存储、同时供系统进行提取数据进行分析。网络单元为逃生人员与数据库单元提供数据传递，人工智能单元利用数学算法进行计算得出最优路径并在各个场景的关键部位显示终端显示灾难情况以及指示逃生路径。三维引擎单元为最优路径选择系统提供制作和运行的环境。数学算法包括蚁群算法、遗传算法。

蚁群算法的计算式为：

其中：

为t时刻虚拟逃生人员由位置i转移到位置j的概率；allowed_k＝{0,1,2,3……n-1}为虚拟逃生人员下一步将选择的分支，k(k＝1,2,3,4……m)虚拟逃生人员k在移动过程中根据各节点的信息量决定移动方向；T_ij(t)为t时刻连线上的信息量，T_ij(0)＝c(c为常量)一旦事故发生，该分支节点立即检测到信息量，此时T_ij(0)将发生变化；η_ij表示由节点i移动到节点j的期望程度，α为逃生人员在运动过程中所积累的信息，β为逃生人员运动过程中积累的负面因子。

遗传算法的计算式为：

其中：

为每个负面因素被传到下节点的概率；q_i为每个负面因素的累积概率；f(x_i)为每个负面因素的节点适应度。

如图8所示，沉浸式虚拟现实灾害求生救援的最优路径选择系统的工作流程为：①路径节点单元(4)向数据库单元(7)提供事故场景中每条路的节点，②人工智能单元(5)从数据库单元调出事故场景及道路节点，③进行蚁群算法、遗传算法的运算得出最优路径，④将最优路径以图片和动画的方式投放到场景中的显示终端，⑤判断事故是否发生变化，如果发生变化返回数据库单元，如果没有发生变化按最优路径逃生。

沉浸式虚拟现实灾害求生救援的最优路径选择系统设有培训平台，如图2所示，培训平台包括事故情景选择模块11和功能模块，功能模块分为理论部分和实战部分，理论部分包括感知认知模块15和教学模块16，实战部分包括模拟演练模块17和考核模块18。感知认知模块将对所选事故情景中的场景和需要用的工具进行熟悉，工具如灭火器和报警按钮、显示屏。教学模块通过VR交互、UI指引、语音系统、动画及虚拟显示终端为培训人员提供操作指导，使其可正确、从容、快速地逃离灾害现场。模拟演练模块以教学模块为基础，学员进行演练，采用VR实操对不同灾害场景爆发时的演练，提高应急救援与求生熟练度。考核模块学员随机选择事故情景进行考核，场景随机出现危险点，在一定时间内未逃生成功将直接判定死亡，统计面板将显示本次逃生考核所用的时间以及考核得分及扣分明细。网络单元通过局域网互联，进行多人合作求生救援任务，用于多人的逃生演练，每个逃生人员通过网络单元进入同一个虚拟的场景。如图3所示，事故情景选择模块11的事故情景包括矿井火灾事故、顶板塌方事故、救护车应急行驶、矿尘/煤尘爆炸、瓦斯突出爆炸、机电事故和巷道踩踏事故。

感知认知模块对场景中需要用到的工具如灭火器、报警按钮、显示屏等进行熟悉。如图4所示，感知认知模块15的流程为：进入场景选择物体，查看物体属性，然后放下物体，放下物体后有三种选择，一种选择退出场景，一种选择进入实战部分，一种选择进入教学模块。

教学模块16为逃生人员虚拟出事故场景并通过VR交互、UI指引、语音系统、动画及虚拟显示终端为参与人员提供操作指导，使其可正确、从容、快速地逃离灾害现场，体验灾害的同时，提高求生能力。利用网络单元实现多个参与人员同时进入场景之中，实现多人逃生的训练。如图5所示，教学模块16的流程为：①进入随机出现事故的场景，②开始逃生教学，按语音提示进行操作，③查看无线终端选择最优逃生路径逃生，④如果逃生成功，选择退出场景重新开始或返回上一层次进行选择，⑤如果逃生失败，返回上一层次进行选择或选择退出场景重新开始

模拟演练模块以教学模块为基础，取消部分指引，在逃生人员开始演练时选择是否录制此次演练，完成逃生任务后，逃生人员可在统计面板查看各个误操作点，也可回放本次视频，查看自己的操作。如图6所示，模拟演练模块17的流程是：①学员模拟演练模块场景；②选择是否录制本次操作；③做好防护措施；④查看逃生路径进行逃生；⑤看是否逃生成功；⑥如果逃生成功，有三种选择，一是查看错误漏项，二是退出场景重新开始，三是返回上一层次的选择；⑦如果逃生失败，同样进入⑥进行三种选择。

考核模块18增加分数统计功能，在选择考核模块时，培训平台将所选的场景随机出事故点，并在适当时间将最优路径投放到场景中的显示终端，为逃生参与人员提供逃生路径，提高逃生救援效率。在一定时间内未逃生成功将直接判定死亡，在最后的统计面板将显示本次逃生考核所用的时间以及考核得分及扣分明细。其中模拟演练以及考核模块均可多人进行，各个逃生人员成绩互不干扰。如图7所示，考核模块18的流程是：①学员进入考核场景；②所述平台随机生成事故节点；③学员操作选择路径逃生；④系统显示死亡或逃亡成功；⑤如果完成操作，逃生成功，计算用时，显示得分和扣分情况，进入步骤⑦；⑥如中途死亡，计算用时和扣分，进入步骤⑦；⑦选择返回上一层级或退出场景。

Claims (9)

1.一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述系统包括定位追踪单元(1)、负面因素单元(2)、场景模型单元(3)、路径节点单元(4)、人工智能单元(5)、语音单元(6)、数据库单元(7)、网络单元(8)和三维引擎单元(9)，所述定位追踪单元、负面因素单元、场景模型单元、路径节点单元、人工智能单元、语音单元、数据库单元、网络单元和三维引擎单元之间通信连通；所述定位追踪单元提供实操需要追踪的外部条件；所述负面因素单元包含有供培训用的事故情景；所述场景模型单元为负面因素单元、路径节点单元和人工智能单元提供事故情景；所述路径节点单元将事故场景中每条路的节点进行标记；所述语音单元包含实时语音与教学语音，进行语言信息传递；所述数据库单元将系统的数据进行存储、同时供系统进行提取数据进行分析；所述网络单元为逃生人员与数据库单元提供数据传递；所述人工智能单元利用数学算法进行计算得出最优路径并在各个场景的关键部位，在显示终端显示灾难情况以及指示逃生路径；所述三维引擎单元为最优路径选择系统提供制作和运行的环境；所述数学算法包括蚁群算法和遗传算法；

蚁群算法的计算式为：

式中：

为t时刻虚拟逃生人员由节点i转移到节点j的概率；allowed_k为虚拟逃生人员下一步将选择的分支，其中：k为虚拟逃生人员在移动过程中根据各节点的信息量决定的移动方向；T_ij(t)为t时刻ij连线上的信息量；η_ij表示由节点i移动到节点j的期望程度，α为逃生人员在运动过程中所积累的信息，β为逃生人员运动过程中积累的负面因子；

遗传算法的计算式为：

其中：

为每个负面因素被传到下节点i的概率；q_i为每个负面因素的累积概率；f(x_i)为每个负面因素的节点适应度；j表示节点。

2.根据权利要求1所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述定位追踪单元(1)设有HTC vive设备定位器、vive头戴显示器、vive操控手柄和vive追踪器，所述HTC vive设备定位器、vive头戴显示器、vive操控手柄和vive追踪器与主机通信连通。

3.根据权利要求1所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述最优路径选择系统的工作流程是：①路径节点单元(4)向数据库单元(7)提供事故场景中每条路的节点，②人工智能单元(5)从数据库单元调出事故场景及道路节点，③进行蚁群算法、遗传算法的运算得出最优路径，④将最优路径以图片和动画的方式投放到场景中的显示终端，⑤判断事故是否发生变化，如果发生变化返回数据库单元，如果没有发生变化按最优路径逃生。

4.根据权利要求1所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述系统设有培训平台，所述培训平台包括事故情景选择模块(11)和功能模块，所述功能模块分为理论部分和实战部分，所述理论部分包括感知认知模块(15)和教学模块(16)，所述实战部分包括模拟演练模块(17)和考核模块(18)；所述感知认知模块将对所选事故情景中的场景和需要用的工具进行熟悉；所述教学模块通过VR交互、UI指引、语音系统、动画及虚拟显示终端为培训人员提供操作指导；所述模拟演练模块以教学模块为基础，学员进行演练；所述考核模块基于学员随机选择的事故情景进行考核，显示本次逃生考核所用的时间以及考核得分及扣分明细。

5.根据权利要求4所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述事故情景选择模块(11)的事故情景包括矿井火灾事故、顶板塌方事故、救护车应急行驶、矿尘/煤尘爆炸、瓦斯突出爆炸、机电事故和巷道踩踏事故。

6.根据权利要求4所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述感知认知模块(15)的流程为：进入场景选择工具，查看工具属性，然后放下工具，放下工具后有三种选择，一种选择退出场景，一种选择进入实战部分，一种选择进入教学模块。

7.根据权利要求4所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述教学模块的流程为：①进入随机出现事故的场景，②开始逃生教学，按语音提示进行操作，③查看无线终端选择最优逃生路径逃生，④如果逃生成功，选择退出场景重新开始或返回上一层级进行选择，⑤如果逃生失败，返回上一层级进行选择或选择退出场景重新开始。

8.根据权利要求4所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述模拟演练模块(17)的流程为：①学员模拟演练模块场景；②选择是否录制本次操作；③做好防护措施；④查看逃生路径进行逃生；⑤看是否逃生成功；⑥如果逃生成功，有三种选择，一是查看错误漏项，二是退出场景重新开始，三是返回上一层级的选择；⑦如果逃生失败，同样进入⑥进行三种选择。

9.根据权利要求4所述的一种沉浸式虚拟现实灾害求生救援的最优路径选择系统，其特征是：所述考核模块(18)的流程是：①学员进入考核场景；②所述培训平台随机生成事故节点；③学员操作选择路径逃生；④系统显示死亡或逃亡成功；⑤如果完成操作，逃生成功，计算用时，显示得分和扣分情况，进入步骤⑦；⑥如中途死亡，计算用时和扣分，进入步骤⑦；⑦选择返回上一层级或退出场景。

Images