CN110162163A - 一种基于体感和vr技术的虚拟消防演练方法及系统 - Google Patents

Abstract

本发明公开了一种基于体感和VR技术的虚拟消防演练方法及系统，本发明通过体感设备的数据获取，实现了使用者的动作和虚拟场景中的对象进行交互，通过动作识别算法实现了在消防演练中消防动作的识别，通过VR头盔把虚拟消防场景显示在使用者眼前，增强了虚拟相仿演练的沉浸感，大大提高了虚拟消防演练的用户体验，具有高仿真性、高开放性、强针对性、强自主性和高安全性的特点，使消防演练不仅有仿真演练的作用，又有教学作用，节约了成本。

Description

一种基于体感和VR技术的虚拟消防演练方法及系统

技术领域

本发明涉及虚拟仿真技术领域，具体是一种基于体感和VR技术的虚拟消防演练方法及系统。

背景技术

目前，从虚拟仿真演练的研究状况看，易涛等人针对化工灾害应急演练与控制进行虚拟仿真研究，提出了化工三大类灾害的概念及灾害场的计算方法，建立了灾害仿真Agent系统，并针对应急救援演练控制的负责性和难以量化问题，建立了一种模糊粗糙集知识测度的综合建模方法。王杨等利用三维可视化和虚拟仿真技术，研制了基于真实地震模拟和快速地形回执的地震救援模拟演练仿真系统，解决实际演练中真实模拟难度大、成本高、效果差等问题。冯德众等设计了针对矿井安全事故的具有智能虚拟交互控制和近似实战条件下的场景模拟培训功能的消防集成系统。刘春龙等对虚拟消防演练的总体效果，采用层次分析法，建立了一套较为完善的虚拟消防演练综合评价指标体系。该模型摒弃了模糊隶属度最大原则评价法，采用了熵权法、Delphi法和模糊综合评价等相结合的方法进行定量多层次评价，在应用中效果良好。罗月童等人实现了仿真度更高的火焰模拟并提供灭火交互功能，实现了模拟火灾现场并进行消防训练的目的。从虚拟仿真消防演练的研究现状和实际应用看，普遍存在虚拟仿真度低、交互性差、沉浸感差、产品造价高等问题。

VR技术在经过80余年的发展，在2016年进入了产业化发展期，一些人称之为VR的“元年”。VR技术可以让用户沉浸到利用计算机生成的一种多源信息融合的交互式的三维动态视景和实体行为的虚拟世界中，是融合了计算机图形学人机接口技术、仿真技术、多媒体技术、传感技术、语音技术、模式识别技术和人工智能技术等多种前沿技术的产物。它具有三个基本特征，分别是沉浸感、交互性和想象性。从现有VR产业化发展情况来看，VR的发展必将影响社会各个领域的发展,全球众多科技公司近几年纷纷投入到VR的硬件和软件研究中。VR技术的特点之一是在虚拟环境中具有交互性，其交互的产生来源于可利用的传感器设备采集的数据信息和键盘、鼠标等传统输入和输出设备。体感设备的诞生为VR的发展和产业化注入了新的活力，让人们可以用更自然的方式沉浸到虚拟环境中并进行人机交互。HTC Vive是VR设备中的典型代表，它是由HTC与Valve联合开发的一款VR头显(虚拟现实头戴式显示器)产品，于2015年3月在MWC2015上发布。由于有Valve的SteamVR提供的技术支持，因此在Steam平台上已经可以体验利用Vive功能的虚拟现实游戏。HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验：一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。

微软的Kinect是体感设备的杰出代表。Kinect体感设备本质是一个深度体感摄像机，可以实时采集可视有效范围的场景深度信息和RGB信息，可以识别出人体的骨骼信息，内置麦克风阵列，用于采集和识别场景的声音信息。Kinect的诞生可以让人不触碰控制器就能用肢体和声音很好的进行人机交互。VR技术与Kinect体感技术的结合，将给社会上很多应用带来活力和生机，其中一个方向就是应用到虚拟消防安全演练中。

现有的消防安全演练存在着一些问题。例如，有些场景很难搭建的逼真，例如地震、油库和粮库等大型事故现场场所；由于安全或者成本考虑，真实演练场景布设不真实，导致受训者不能全身心投入，达不到演练效果；真实搭建的演练场地容易出现真的安全事故等等。这些问题导致安全消防演练流于形式，浪费人力物力。若能结合VR技术和Kinect技术，把各种场景通过建模搭建起来，把情景通过计算机进行虚拟仿真设计出来，再通过Kinect设备和软件设计进行人体动作的识别，达到人机交互，最后把训练结果进行统计与分析。将具有高仿真性、高开放性、强针对性、强自主性和高安全性的特点，使消防演练不仅有仿真演练的作用，又有教学作用，节约了成本。

发明内容

本发明的目的在于提供一种基于体感和VR技术的虚拟消防演练方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于体感和VR技术的虚拟消防演练系统，包括用于采集周围场景及参与演练使用者的肢体信息的Kinect设备、用于显示虚拟场景的HTC VIVE头盔设备及其控制手柄、用于存储数据的存储模块、用于协调各设备工作的中央控制台，Kinect设备、HTC VIVE头盔设备及其控制手柄、存储模块均通讯连接至中央控制台。

作为本发明进一步的方案：所述Kinect设备与中央控制台之间通过USB相连接，所述HTC VIVE头盔设备及其控制手柄通过USB与中央控制台进行双向通信。

基于所述的虚拟消防演练系统的虚拟消防演练方法，步骤如下：

1)上电后系统进行初始化，清除存储模块上次采集所存储的无用信息，矫正设备角度，为采集数据做准备；

2)确定每个使用者的ID并标注姓名，初始化的过程记录了所有人的初始状态，包括人的骨骼关键点坐标和通过坐标计算出来的人体身高、骨骼关键点脊柱的高度、左右肩部关键点的高度信息；

3)Kinect设备采集周围场景和使用者人体的信息数据，包括周围场景的深度信息和彩色图像信息、使用者到传感器的距离数据，并且Kinect设备自动跟踪距离传感器最近的两个使用者21个骨骼关节点数据，以及其余使用者的髋关节点数据；Kinect设备将所采集和初步处理的场景信息传递给中央控制台；

4)中央控制台把Kinect设备采集的数据变换为左手坐标系统，与Unity搭建的虚拟消防演练场景统一；

5)Kinect设备的麦克风阵列采集场景内的声音信息，通过语音识别接口识别语音命令，并把语音转换为文字存储在存储模块中；

6)中央控制台把接收到的信息数据拟合到预先设计好的3D虚拟场景中，并通过HTCVIVE头盔设备显示到使用者的眼前，等待使用者根据实际消防演练进行判别做出相应的控制措施；

7)使用者进行虚拟消防演练，中央控制台实时获取HTC VIVE头盔设备对应的控制手柄的操作信息，Kinect设备用于采集使用者的骨骼关键点信息发送给中央控制台，中央控制台根据Kinect设备所发来的数据信息结合控制手柄的操作信息，识别使用者与虚拟场景的交互动作，使用者通过佩戴的HTC VIVE头盔设备与虚拟场景中虚拟物体进行交互；

8)对消防演练结果进行评估。

作为本发明再进一步的方案：步骤7)中，需要对使用者判断四类动作，分别为：第一类，在消防演练中，道路或者区域选择的动作判断；第二类，虚拟消防演练过程中，人物与虚拟消防物品选择的判断，以及人物简单动作的判断；第三类，虚拟消防演练过程中，人物与虚拟消防物品微小动作的识别判断；第四类，虚拟消防演练过程中，对于人物的复杂动作的识别。

作为本发明再进一步的方案：对于第一类动作通过以下方法进行判断：实时进行人体脊柱骨骼关键点的跟踪，通过关键点的世界坐标和Unity场景中的世界坐标进行对比，设定阈值，判断人体是否到达了场景的某个区域，并和区域内3D对象产生交互，对于虚拟场景中3D物体与虚拟3D人物动作碰撞、接触事件，通过在unity中设置3D模型Rigidbody的Collider外膜进行事件监听。

作为本发明再进一步的方案：对于第二类动作通过以下方法进行判断：把人物骨骼关键点坐标与虚拟场景中的坐标统一后，计算人体骨骼关节点与3D模型的欧式距离，通过欧氏距离的特征匹配进行判断。

作为本发明再进一步的方案：对于第三类动作通过以下方法进行判断：使用控制手柄的定义方式进行操作的定义，再通过HTC VIVE头盔设备交互菜单显示，提供选项，供用户选择进行交互。

作为本发明再进一步的方案：对于第四类动作通过以下方法进行判断：

步骤一：对Kinect设备采集的肢体动作数据进行平滑；

步骤二：建立特征库，特征的提取采用四元数的提取方法，其特征具体包括每个骨骼点的三维坐标点以及旋转角度，因此每个骨骼点由四个数据表示，获取动作特征数据矩阵；

步骤三：矩阵特征值提取，针对上述的矩阵，采取按模最大特征值方法进行矩阵的特征值提取；

步骤四：实时计算特定消防演练中的动作特征值与模板库中的特征值进行比对，设定阈值判断是否为动作库中的标准动作。

与现有技术相比，本发明的有益效果是：

本发明通过体感设备的数据获取，实现了使用者的动作和虚拟场景中的对象进行交互，通过动作识别算法实现了在消防演练中消防动作的识别，通过VR头盔把虚拟消防场景显示在使用者眼前，增强了虚拟相仿演练的沉浸感，大大提高了虚拟消防演练的用户体验，具有高仿真性、高开放性、强针对性、强自主性和高安全性的特点，使消防演练不仅有仿真演练的作用，又有教学作用，节约了成本。

附图说明

图1为本发明流程控制图。

图2为本发明的内容模块图。

图3为实时获取的周围场景彩色信息图。

图4为实时获取的周围场景深度信息图。

图5为实时获取的人体骨骼关节点图。

图6为3D模型外膜图。

图7为骨骼关节点数据平滑示意图。

图8为图像特征匹配流程图。

图9为基于VR的消防演练设计场景图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步详细地说明。

一种基于体感和VR技术的虚拟消防演练系统，包括用于采集周围场景及参与演练使用者的肢体信息的Kinect设备、用于显示虚拟场景的HTC VIVE头盔设备及其控制手柄、用于存储数据的存储模块、用于协调各设备工作的中央控制台，Kinect设备、HTC VIVE头盔设备及其控制手柄、存储模块均通讯连接至中央控制台，具体的连接方式不加限制，本实施例中，优选的，所述Kinect设备与中央控制台之间通过USB相连接，所述HTC VIVE头盔设备及其控制手柄通过USB与中央控制台进行双向通信，另外，所述Kinect设备采用微软的SDK包进行周围场景信息的采集、人物骨骼关键点的识别、人物在场景中的信息采集，HTC VIVE头盔设备通过其对应的Unity SDK与中央控制台进行信息交互。

该基于体感和VR技术的虚拟消防演练系统，从内容上分为6个模块，消防指挥演练、消防报警环节演练、逃生演练、消防灭火演练、消防器材使用演练和消防中的医疗救护演练。把各个模块应用到消防演练教学和演练工作中，在设置演练过程中可以选择不同的模块组合到演练情节中。每个模块都有不同的评估方法，最后根据组合可以进行整体的消防演练评价。

基于上述虚拟消防演练系统的虚拟消防演练方法，步骤如下：

1)上电后系统进行初始化，清除存储模块上次采集所存储的无用信息，矫正设备角度，为采集数据做准备，其中，Kinect设备自动调整最佳角度，捕捉场景的中的使用者，为读取数据做准备，HTC VIVE头盔设备进行场景距离的调整；

2)确定每个使用者的ID并标注姓名，初始化的过程记录了所有人的初始状态，包括人的骨骼关键点坐标和通过坐标计算出来的人体身高、骨骼关键点脊柱的高度、左右肩部关键点的高度等信息；

3)Kinect设备采集周围场景和使用者人体的信息数据，包括周围场景的深度信息和彩色图像信息、使用者到传感器的距离数据，并且Kinect设备自动跟踪距离传感器最近的两个使用者21个骨骼关节点数据，以及其余使用者的髋关节点数据(最多4个人，每人一个关键节点)；Kinect设备将所采集和初步处理的场景信息传递给中央控制台；

本实施例使用Mircosoft所提供的Kinect for Windows SDK V1.7来获得演练数据，得到如图3的彩色信息、图4的深度信息和图5的骨骼关键点追踪信息。深度数据和彩色数据的分辨率以及视场大小都不一样，所以要进行两种图像的对齐，可以通过Kinect SDK中提供的MapColorCoordinatesToDepth()和MapDepthCoordinatesToColor()方法，简单方便，精度同样可以满足系统的需求；

4)中央控制台把Kinect设备采集的数据变换为左手坐标系统，与Unity搭建的虚拟消防演练场景统一；

5)Kinect设备的麦克风阵列采集场景内的声音信息，通过语音识别接口识别语音命令，并把语音转换为文字存储在存储模块中；

6)中央控制台把接收到的信息数据拟合到预先设计好的3D虚拟场景中，并通过HTCVIVE头盔设备显示到使用者的眼前，等待使用者根据实际消防演练进行判别做出相应的控制措施；

7)使用者进行虚拟消防演练，中央控制台实时获取HTC VIVE头盔设备对应的控制手柄的操作信息，Kinect设备用于采集使用者的骨骼关键点信息发送给中央控制台，中央控制台根据Kinect设备所发来的数据信息结合控制手柄的操作信息，识别使用者与虚拟场景的交互动作，使用者通过佩戴的HTC VIVE头盔设备与虚拟场景中虚拟物体进行交互；

8)对消防演练结果进行评估。针对不同的消防演练模块，给出不同的消防演练评估评分细则。评估的过程是消防演练过程中每个环节演练评价得分的一个汇总，每个环节的累计过程根据每个部分的重要程度设置调节参数。

在步骤7)中，共需要判断以下四类动作：

第一类，在消防演练中，道路或者区域选择的动作判断：

实时进行的人体脊柱骨骼关键点的跟踪，通过关键点的世界坐标和Unity场景中的世界坐标进行对比，设定阈值，判断人体是否到达了场景的某个区域，并和区域内3D对象产生交互。对于虚拟场景中3D物体与虚拟3D人物动作碰撞、接触事件，可以通过在unity中设置3D模型Rigidbody的Collider外膜进行事件监听。这个方法进行第一种动作的跟踪识别，实现起来简单、准确率高。

第二类，虚拟消防演练的过程中人物与虚拟消防物品选择判断或者人物简单动作的判断上，例如选择了那种灭火器、是否下蹲，是否用湿毛巾捂住口鼻等。这种是把人物骨骼关键点坐标与虚拟场景中的坐标统一后，计算人体骨骼关节点与3D模型的欧式距离，设定阈值进行判断。公式如下：

其中，(x₁,y₁,z₁)和(x₂,y₂,z₂)分别代表肢体某个关节点或者三维空间中3D模型的坐标。我们设定当d小于一定值后即可认为用户选择了虚拟场景中的这个物品。例如，我们在识别双手护头的动作，计算双手心关节点与头关节点的空间距离时候，我们通用公式(1)得

其中，d_{h_left}代表左手与头部两个骨骼关键点的空间距离，d_{h_right}右手与头部两个骨骼关键点的空间距离，通过欧氏距离的特征匹配,即可判断是否为双手抱头等动作。根据不同场景和演练内容，有的场景需要捂嘴，有的需要匍匐前进，可以对识别的结果做进一步的矫正，对于场景中不需要的动作就缩小动作特征比对范围。通过本方法的肢体动作识别算法时间复杂度低、在演练过程中可以达到实时监测识别的效果。

第三类，一些细微小动作的识别，通过体感技术还无法准确、高效识别，例如使用消防灭火器要先拔掉保险销这一细微动作，考虑到准确度和识别效率，使用HTC VIVE手柄控制键定义方式进行操作的定义，再通过头盔交互菜单显示，供选项用户选择进行交互的方式。

第四类，对于复杂动作的识别，所应用场景是特殊消防演练场景，所以要建立消防演练标准动作特征库。例如，做心肺复苏演练、匍匐前进、消防栓的使用等。通过对基本标准动作的骨骼关键点按四元数的提取方法进行提取，通过降维，形成动作特征矩阵库，再通过按模最大特征值方法进行矩阵的特征值提取，把实时采集的骨骼关键点数据经过计算与模板库中的特征值进行比对，设定阈值判断是否为动作库中的标准动作。

对于复杂动作识别，采用以下方法：

步骤一：对Kinect设备采集的肢体动作数据进行平滑，当动作采集点数量少于数量i时，动作幅度小，提高当前数据值的权重，当i大于N时，取N个采集点的平均值。

步骤二：建立特征库，特征的提取采用四元数的提取方法，其特征具体包括每个骨骼点的三维坐标点以及旋转角度，因此每个骨骼点由四个数据表示，在这里提取的骨骼点分别是具有代表性的15个点，所以得到的四元数特征都是60列的矩阵，不同动作的时长不同决定了它们的行数也不同，所以得到的特征值都是不同行相同列的特征矩阵。由于四元数特征函数不同，对匹配带来不便，所以要对动作特征数据进行降维，并且动作序列长度要一致，在这里动作特征数据都是12*60的矩阵。

步骤三：矩阵特征值提取。针对上述的矩阵，采取按模最大特征值方法进行矩阵的特征值提取。幂法是一种迭代法，把矩阵的特征值和特征向量作为一个无限序列的极限来求得。如对于这个n阶矩阵A，任取一个初始向量X⁽⁰⁾，作迭代计算X^(k+1)＝AX^(k)，则可得迭代序列X⁽⁰⁾，X⁽¹⁾，X⁽²⁾，…，X^(k)，…，序列的收敛情况与A的按模最大特征值有密切关系，即可得到A的按模最大特征值及特征向量的近似值。这样计算下来的按模最大特征值只有一个，且是单实根。

步骤四：实时计算特定消防演练中的动作特征值与模板库中的特征值进行比对，设定阈值判断是否为动作库中的标准动作。

本发明通过体感设备的数据获取，实现了使用者的动作和虚拟场景中的对象进行交互，通过动作识别算法实现了在消防演练中消防动作的识别，通过VR头盔把虚拟消防场景显示在使用者眼前，增强了虚拟相仿演练的沉浸感，大大提高了虚拟消防演练的用户体验，具有高仿真性、高开放性、强针对性、强自主性和高安全性的特点，使消防演练不仅有仿真演练的作用，又有教学作用，节约了成本。

上面对本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于体感和VR技术的虚拟消防演练系统，其特征在于，包括用于采集周围场景及参与演练使用者的肢体信息的Kinect设备、用于显示虚拟场景的HTC VIVE头盔设备及其控制手柄、用于存储数据的存储模块、用于协调各设备工作的中央控制台，Kinect设备、HTCVIVE头盔设备及其控制手柄、存储模块均通讯连接至中央控制台。

2.根据权利要求1所述的基于体感和VR技术的虚拟消防演练系统，其特征在于，所述Kinect设备与中央控制台之间通过USB相连接，所述HTC VIVE头盔设备及其控制手柄通过USB与中央控制台进行双向通信。

3.一种基于如权利要求1-2任一所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，步骤如下：

1）上电后系统进行初始化，清除存储模块上次采集所存储的无用信息，矫正设备角度，为采集数据做准备；

2）确定每个使用者的ID并标注姓名，初始化的过程记录了所有人的初始状态，包括人的骨骼关键点坐标和通过坐标计算出来的人体身高、骨骼关键点脊柱的高度、左右肩部关键点的高度信息；

3）Kinect设备采集周围场景和使用者人体的信息数据，包括周围场景的深度信息和彩色图像信息、使用者到传感器的距离数据，并且Kinect设备自动跟踪距离传感器最近的两个使用者21个骨骼关节点数据，以及其余使用者的髋关节点数据；Kinect设备将所采集和初步处理的场景信息传递给中央控制台；

4）中央控制台把Kinect设备采集的数据变换为左手坐标系统，与Unity搭建的虚拟消防演练场景统一；

5）Kinect设备的麦克风阵列采集场景内的声音信息，通过语音识别接口识别语音命令，并把语音转换为文字存储在存储模块中；

6）中央控制台把接收到的信息数据拟合到预先设计好的3D虚拟场景中，并通过HTCVIVE头盔设备显示到使用者的眼前，等待使用者根据实际消防演练进行判别做出相应的控制措施；

7）使用者进行虚拟消防演练，中央控制台实时获取HTC VIVE头盔设备对应的控制手柄的操作信息，Kinect设备用于采集使用者的骨骼关键点信息发送给中央控制台，中央控制台根据Kinect设备所发来的数据信息结合控制手柄的操作信息，识别使用者与虚拟场景的交互动作，使用者通过佩戴的HTC VIVE头盔设备与虚拟场景中虚拟物体进行交互；

8）对消防演练结果进行评估。

4.根据权利要求3所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，步骤7）中，需要对使用者判断四类动作，分别为：第一类，在消防演练中，道路或者区域选择的动作判断；第二类，虚拟消防演练过程中，人物与虚拟消防物品选择的判断，以及人物简单动作的判断；第三类，虚拟消防演练过程中，人物与虚拟消防物品微小动作的识别判断；第四类，虚拟消防演练过程中，对于人物的复杂动作的识别。

5.根据权利要求4所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，对于第一类动作通过以下方法进行判断：实时进行人体脊柱骨骼关键点的跟踪，通过关键点的世界坐标和Unity场景中的世界坐标进行对比，设定阈值，判断人体是否到达了场景的某个区域，并和区域内3D对象产生交互，对于虚拟场景中3D物体与虚拟3D人物动作碰撞、接触事件，通过在unity中设置3D模型Rigidbody的Collider外膜进行事件监听。

6.根据权利要求4所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，对于第二类动作通过以下方法进行判断：把人物骨骼关键点坐标与虚拟场景中的坐标统一后，计算人体骨骼关节点与3D模型的欧式距离，通过欧氏距离的特征匹配进行判断。

7.根据权利要求4所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，对于第三类动作通过以下方法进行判断：使用控制手柄的定义方式进行操作的定义，再通过HTCVIVE头盔设备交互菜单显示，提供选项，供用户选择进行交互。

8.根据权利要求4所述的虚拟消防演练系统的虚拟消防演练方法，其特征在于，对于第四类动作通过以下方法进行判断：

步骤一：对Kinect设备采集的肢体动作数据进行平滑；

步骤二：建立特征库，特征的提取采用四元数的提取方法，其特征具体包括每个骨骼点的三维坐标点以及旋转角度，因此每个骨骼点由四个数据表示，获取动作特征数据矩阵；

步骤三：矩阵特征值提取，针对上述的矩阵，采取按模最大特征值方法进行矩阵的特征值提取；

步骤四：实时计算特定消防演练中的动作特征值与模板库中的特征值进行比对，设定阈值判断是否为动作库中的标准动作。