CN110656975A - 一种基于虚拟现实与acp平行智能的隧道救援系统及方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实与ACP平行智能的隧道救援系统及方法，采用虚拟现实技术与ACP的平行之智能方法，完成隧道内的应急救援。应急轨道机器人包括主控制模块，电机伺服驱动模块，运动模块，定位模块，通讯模块，虚拟现实模块，电源管理模块以及辅助功能模块。主控制模块通过通讯模块接收上位机指令控制电机伺服模块驱动电机使巡视机器人在预设导轨上运动，在机器人运动时，机器人定位模块实时检测机器人位置，并将位置信息通过通讯模块发送给主控制模块，主控制模块根据位置信息获取机器人在预设地图中的位置并控制机器人向预设地图中的目标位置运动，虚拟现实模块实现在复杂工况下也可以人工远程干预定位辅助决策，增强定位可靠度。

Description

一种基于虚拟现实与ACP平行智能的隧道救援系统及方法

【技术领域】

本发明属于隧道救援领域，涉及一种基于虚拟现实与ACP平行智能的隧道救援系统及方法。

【背景技术】

近年来，中长隧道大多布设了监测基础设施和运营监控系统，但普遍存在监测基础设施的故障频发、监测数据不可用、运营监控系统不具备数据智能分析等功能，导致监测基础设施和运营监控系统没有得到高效率的利用。若能够对监测基础设施的设备运行状态、隧道内自然环境与交通环境进行实时监控，并对各种监测数据进行筛选、融合与智能分析，挖掘出各种多源信息之间的相关知识，为隧道运营管理提供理论依据，更能有效的为隧道救援提供最优的决策支持。

钱超在“公路隧道突发事件交通控制与紧急救援预案研究[D].长安大学,2009.”中对公路隧道事故、火灾等状态下的诱导控制策略进行探索，搭建了了一个可视化的仿真平台，能够完成对隧道火灾的仿真与应急处理。乔怀玉在“秦岭终南山公路隧道火灾救援技术研究[J].公路,2006(10):216-218.”中针对隧道发生大火后的组织规划、发生火灾后的消防系统、通风组织等特点进行研究，结合实际公路隧道特征，对救援流程进行了研究。林杉等在“一种高速公路隧道交通流元胞自动机模型[J].长安大学学报(自然科学版),2012,32(6):73-77.”中基于经验条件下的隧道管控手段的研究，运用人工智能的相关系统与手段，生成突发灾害条件下的高速公路隧道诱导方案管理系统，能够完成火灾后隧道交通的调度。目前已有方案未能实现自动化的救援动作，救援工作仍由人来完成，具有高风险，救援周期长，信息处理不及时等问题。

【发明内容】

本发明的目的在于解决现有技术中在隧道救援时，无法实现自动化以及救援工作仍需要由人工完成，且信息处理不及时的问题，提供一种基于虚拟现实与ACP平行智能的隧道救援系统及方法，该方法增强了隧道内部车辆运行的安全性、提高公路隧道的运营能力以及突发事故的应对能力，利用信息化技术以及人工智能作为隧道的智能安全监控、隧道灾害预警以及应急救援实施的方案。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于虚拟现实与ACP平行智能的隧道救援系统，包括：。

主控制模块，主控制模块与机器人定位模块、通讯模块、电机伺服驱动模块、以及电源管理模块连接；

电机伺服驱动模块，电机伺服驱动模块与运动模块相连，用于接收主控制模块的指令，驱动运动模块动作；

运动模块，包括伺服电机，伺服电机驱动机器人在导轨上运动，所述导轨安装于隧道侧壁上；

机器人定位模块，用于实时获取机器人的位置信息，并发送给主控制模块；

通讯模块，用于接收上位机的检测指令，并将检测指令发送给主控制模块；

虚拟现实模块，用于在机器人运动过程中，实时采集当前环境信息，并将环境信息发送给上位机，上位机根据环境信息完成动态地图重构，将重构后的地图信息发布到虚拟仿真平台上；

电源管理模块，包括1个24V电池组和1个12V电池组，分别用于给电机伺服驱动模块和主控制模块供电；

辅助功能模块，用于检测隧道环境状况数据，并将隧道环境状况数据发送给主控制模块，主控制模块根据隧道环境状况数据判断隧道内是否有事故发生。

本发明进一步的改进在于：

12V电池组和24V电池组均与用于检测电池电量的STC3100芯片相连，STC3100芯片通过I/O接口用RS232总线与主控制模块相连。

主控制模块、通讯模块、12V电池组均安装在主控制板上。

机器人定位模块包括光电编码器，光电编码器与驱动机器人在导轨上运动的伺服电机同轴相连，伺服电机带动光电编码器的光栅盘旋转，检测脉冲信号转换成位移，从而实时获取机器人的位置信息。

一种基于虚拟现实与ACP平行智能的隧道救援方法，包括以下步骤：

步骤1：通讯模块接收上位机的检测指令，将检测指令发送给主控制模块；主控制模块根据检测指令控制电机伺服驱动模块与运动模块开始运动；在运动过程中，机器人定位模块实时监测机器人当前位置并通过RS232总线通讯将位置信息反馈给主控制模块；主控制模块根据当前机器人在预设地图上的位置信息控制机器人运动巡检；

步骤2：主控制模块通过辅助功能模块发来的传感器数据，判断隧道内是否有事故发生；若主控制模块判断隧道内有事故发生，则执行步骤3；否则返回步骤1继续巡检；传感器数据为烟雾传感器和有害气体检测传感器检测到的数据；

步骤3：主控制模块将事故点的位置信息与机器人当前的位置信息发送给上位机，上位机将上述位置信息以坐标的形式反映在虚拟仿真平台中的地图以及机器人虚拟样机上，并在虚拟仿真平台中进行模拟，将模拟的数据反馈给主控制模块，进而实现机器人的准确定位并驱动机器人向事故点位置坐标运动；

步骤4：机器人在向事故点位置坐标运动的过程中，通过虚拟现实模块中的三维扫描仪，实时采集当前环境信息，并通过通讯模块将环境信息传输到上位机上，上位机根据环境信息完成表面重建，形成准确的三维模型，完成地图的动态建模，实现动态地图重构，最后将重构的地图信息发布到虚拟仿真平台上；

步骤5：上位机通过Unity3D建立的虚拟场景中控制机器人完成相应的动作，并进行运动仿真；在已有的路径规划中进行实时的路径修正，循环该过程并进行实时监控最终完成救援工作；

步骤6：救援工作完成后，机器人返回初始位置，向上位机返回救援完成信息，各数据返回初始值，等待下一次工作指令。

本发明进一步的改进在于：

步骤5中，机器人的控制一部分由机器人源程序自主控制，另一部分由通过Unity3D虚拟场景对机器人进行人工干预实时辅助控制。

步骤5中路径修正的具体方法如下：

通过在Unity3D中建立与实际交通系统相对应的虚拟交通系统，利用计算实验的方法进行仿真系统的实验与评估，并建立相应的数据库，对可能出现的交通状况建立预案，在具体实现时，通过采集实际交通系统的数据导入到仿真系统中，仿真系统给出处理预案，并通过虚拟现实模块控制机器人运动，完成救援工作。

步骤5中机器人的运动仿真控制方法具体如下：

先在上位机上构建虚拟3D场景，再进行虚拟样机的运动仿真，并进行判断与决策，通过机器人采集的各类传感器数据，对机器人虚拟样机进行位置姿态的确定以及虚拟3D场景的更新，使机器人与虚拟机器人的运动状态实时保持一致；在Unity3D平台上以机器人虚拟样机为控制对象，替代真实隧道机器人，对其状态进行判断并进行决策，完成轨迹规划，通过在虚拟仿真平台上使虚拟样机运动仿真，完成对机器人的轨迹规划，并执行。

与现有技术相比，本发明具有以下有益效果：

本发明采用虚拟仿真与远程控制平台可以结合控制命令与传感器采集到的实时数据，以仿真图像的数据形式反映隧道内实时场景，营造身临其境的效果，使远程控制类似本地控制，可以大幅提高远程控制的可靠度，有效提升机器人作业效率。本发明采用虚拟现实技术，使上位机操控者有极好的沉浸感，能够更好的感受隧道内的环境信息，提供高效的救援思路。本发明构建由实际系统与人工系统组成的平行系统，通过虚实互动实现对实际系统的引导、控制与管理，驱使实际系统向人工系统逼近。使得复杂系统研究面临的不定性、多样性、复杂性挑战转化成具有深度知识支持的灵捷、通过实验解析的聚焦、能够反馈互动自适应的收敛，从而实现对复杂系统的管理与控制。

【附图说明】

图1为本发明救援系统的逻辑框图；

图2为本发明救援方法的流程图；

图3为本发明机器人定位模块的工作原理图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于虚拟现实与ACP平行智能的隧道救援系统，包括主控制模块、电机伺服驱动模块、运动模块、机器人定位模块、通讯模块、虚拟现实模块、电源管理模块以及辅助功能模块。

主控制模块分别与机器人定位模块、通讯模块、电机伺服驱动模块、以及电源管理模块连接，电机驱动模块与运动模块连接。电源管理模块包括1个24V电池组，给伺服电机供电，1个12V电池组，用于主控制模块的供电，各电池组连接在检测电池电量的STC3100芯片上，STC3100通过I/O口用RS232总线连接在主控制模块上，电池电量低时，STC3100发送指令给主控制模块，提示充电。主控制板上安装有主控制单元，通讯模块，12V电池组；主控制单元为基于RZSC的ARM嵌入式主板，通讯模块为GMS数据通讯模块。

如图2所示，本发明还公开了一种基于虚拟现实与ACP平行智能的隧道救援方法，包括以下步骤：

步骤1：隧道巡检

通讯模块在隧道侧壁的预设通讯区域接收到上位机的检测指令时，将检测指令发送给主控制模块；主控制模块根据指令控制电机伺服驱动模块与运动模块开始运动，在运动过程中，机器人定位模块实时监测机器人当前位置并通过RS232总线通讯将位置信息反馈给主控制模块；主控制模块根据当前机器人在预设地图上的位置信息控制机器人运动巡检。

步骤2：事故检测

辅助功能模块中的烟雾传感器，有害气体检测传感器等主动检测隧道内环境状况，主控模块通过传感数据判断隧道内是否有事故发生。若有主控模块判断隧道内发生事故，则执行步骤3，否则继续进行巡检；

步骤3：主控制模块将所获取的机器人位置信息转换成预设地图中的坐标位置，并控制机器人向事故发生位置的坐标运动。在虚拟仿真平台中，以坐标的形式反映在机器人虚拟样机上，显示救援机器人的位置坐标的同时显示其旋转角度，以实现机器人的准确定位，虚拟仿真与远程控制平台对机器人测得的数据进行实时处理，则可不断更新其位置坐标，在复杂工况下，也可以人工远程干预定位辅助决策，增强定位可靠度。

如图3所示，机器人的机器人位置信息采用以下方式获取：

机器人定位模块采用光电编码器，编码器与驱动机器人在导轨上运动的伺服电机同轴相连，电动机带动光栅盘旋转，检测脉冲信号经过程序计算转换成位移，从而实时获取机器人的位置信息。

步骤4：动态地图重构

在机器人运动过程中，虚拟现实模块中的三维扫描仪实时采集当前环境信息，环境信息通过通讯模块传输到上位机，利用上位机中的Geomagic软件对采集到的点云数据进行去噪，选择高斯滤波的方法通过控制阈值进行点云数据去噪，点云补洞处理同样在Geomagic软件中处理，处理后的多对点云数据进行匹配，点云匹配的原理是通过坐标系变化是同一物体的同一点进行配准，完成最少三个点的配准使点云数据完成匹配，最后将匹配后的点云数据构建成多个三角面片完成表面重建，形成准确的三维模型，完成地图的动态建模。上位机中完成动态地图重构，上位机将重构后的地图信息发布到虚拟仿真平台上。

在实现救援场地的动态建模时，将模型信息动态显示在虚拟仿真与远程控制平台上，在接收传感器数据时，首先需要在创建一个数组用来存放接收到的数据，下位机载控制器将采集到的信息进行预处理后，经无线通信系统传至上位控制器，虚拟仿真与远程控制平台读取上位控制器传至计算机SBUF缓存区的数据，将接收到的数据按位依次存放到数组中，不断调用数组中的数据进行实时建模，数据读取之后需要设置清空按钮，通过触发通道，清除已接收数组数据。

利用GIS地图构建技术完成对隧道的建模。GIS地图构建技术主要有6个步骤：1、数据采集2、隧道实景影像采集和影像库建立3、建立隧道设施和空间数据库4、建立隧道设施属性数据库5、道路精细实景矢量三维电子地图建立6、三维电子地图的更新。

环境重构技术包含数据采集、点云去噪与补洞、点云匹配和表面重建共4个步骤完成场景的重构。1.数据采集：利用三维扫描仪在高速公路现场对周边环境、气候状况、人员伤亡情况等进行扫描、拍摄等数据的提取。2、点云去噪及补洞：针对现有的散乱点云或者网格模型数据运用双边滤波或者小波等方法对其进行滤波去噪。点云的补洞利用DSP软件进行。3、点云匹配：点云匹配就是将不同时间、不同传感器或不同条件下获取的两点或多点进行匹配、叠加。4、表面重建：点云的表面重建可以根据点云数据生成准确的三维模型。

通过构建与实际复杂系统对应的软件定义的人工系统；利用计算实验方法进行实际复杂系统的实验、预测与评估；互联人工系统与实际复杂系统，进行虚实互动与相互借鉴，从而实现复杂系统的平行控制与管理构建的一个平行智能系统。

步骤5：路径修正

上位机上通过Unity3D建立的虚拟场景中控制机器人完成相应的动作，并进行运动仿真；机器人的控制一部分由机器人源程序自主控制，另一部分由通过Unity3D虚拟场景对机器人进行人工干预实时辅助控制，在已有的路径规划中进行实时的路径修正，循环该过程并进行实时监控最终完成救援工作。

上述路径修正的方法基于ACP的平行智能的决策算法。通过在Unity3D中建立好与实际交通系统相对应的虚拟交通系统，利用计算实验的方法进行仿真系统的实验与评估，并建立相应的数据库，对可能出现的交通状况建立预案，在具体实现时，通过采集实际交通系统的数据导入到仿真系统中，仿真系统给出处理预案，并通过虚拟现实模块控制机器人运动，完成救援工作。

平行交通系统的运行模式包括以下3种。1.管理与控制：在这种模式下，人工交通系统可与实际交通系统进行实时地平行互动与相互借鉴，平行交通系统通过平行执行实现系统的有效管理与控制。2.实验与评估：在这种模式下，主要进行基于人工交通系统的计算实验，一方面可探究与分析实际交通系统在特定场景下的不同状态与反应，另一方面可将不同交通方案的试验结果作为效果评估依据并用于管理实际交通系统。3.学习与培训：在这种模式下，以人工交通系统为主并将其作为交通管理部门运营的学习与培训中心。此时，人工交通系统可与实际交通系统在某种意义下有很大的差别，而且不必平行运作。

上述救援机器人的运动仿真控制过程中，先在上位机上构建虚拟3D场景，再进行虚拟样机的运动仿真，并进行判断与决策，通过救援机器人采集的各类传感器数据，对机器人虚拟样机进行位置姿态的确定以及虚拟3D场景的更新，使救援机器人与虚拟机器人的运动状态实时保持一致，则在Unity3D平台上以机器人虚拟样机为控制对象即可替代井下真实隧道救援机器人，对其状态进行判断并进行决策，完成轨迹规划，通过在控制平台上使虚拟样机运动仿真，完成对救援机器人的轨迹规划，并执行。

步骤6：救援工作完成后，机器人返回初始位置，向上位机返回救援完成信息，各数据返回初始值，等待下一次工作指令。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于虚拟现实与ACP平行智能的隧道救援系统，其特征在于，包括：

主控制模块，主控制模块与机器人定位模块、通讯模块、电机伺服驱动模块、以及电源管理模块连接；

电机伺服驱动模块，电机伺服驱动模块与运动模块相连，用于接收主控制模块的指令，驱动运动模块动作；

运动模块，包括伺服电机，伺服电机驱动机器人在导轨上运动，所述导轨安装于隧道侧壁上；

机器人定位模块，用于实时获取机器人的位置信息，并发送给主控制模块；

通讯模块，用于接收上位机的检测指令，并将检测指令发送给主控制模块；

虚拟现实模块，用于在机器人运动过程中，实时采集当前环境信息，并将环境信息发送给上位机，上位机根据环境信息完成动态地图重构，将重构后的地图信息发布到虚拟仿真平台上；

电源管理模块，包括1个24V电池组和1个12V电池组，分别用于给电机伺服驱动模块和主控制模块供电；

辅助功能模块，用于检测隧道环境状况数据，并将隧道环境状况数据发送给主控制模块，主控制模块根据隧道环境状况数据判断隧道内是否有事故发生。

2.根据权利要求1所述的基于虚拟现实与ACP平行智能的隧道救援系统，其特征在于，12V电池组和24V电池组均与用于检测电池电量的STC3100芯片相连，STC3100芯片通过I/O接口用RS232总线与主控制模块相连。

3.根据权利要求1所述的基于虚拟现实与ACP平行智能的隧道救援系统，其特征在于，主控制模块、通讯模块、12V电池组均安装在主控制板上。

4.根据权利要求1所述的基于虚拟现实与ACP平行智能的隧道救援系统，其特征在于，机器人定位模块包括光电编码器，光电编码器与驱动机器人在导轨上运动的伺服电机同轴相连，伺服电机带动光电编码器的光栅盘旋转，检测脉冲信号转换成位移，从而实时获取机器人的位置信息。

5.一种采用权利要求1所述系统的基于虚拟现实与ACP平行智能的隧道救援方法，其特征在于，包括以下步骤：

步骤1：通讯模块接收上位机的检测指令，将检测指令发送给主控制模块；主控制模块根据检测指令控制电机伺服驱动模块与运动模块开始运动；在运动过程中，机器人定位模块实时监测机器人当前位置并通过RS232总线通讯将位置信息反馈给主控制模块；主控制模块根据当前机器人在预设地图上的位置信息控制机器人运动巡检；

步骤2：主控制模块通过辅助功能模块发来的传感器数据，判断隧道内是否有事故发生；若主控制模块判断隧道内有事故发生，则执行步骤3；否则返回步骤1继续巡检；传感器数据为烟雾传感器和有害气体检测传感器检测到的数据；

步骤3：主控制模块将事故点的位置信息与机器人当前的位置信息发送给上位机，上位机将上述位置信息以坐标的形式反映在虚拟仿真平台中的地图以及机器人虚拟样机上，并在虚拟仿真平台中进行模拟，将模拟的数据反馈给主控制模块，进而实现机器人的准确定位并驱动机器人向事故点位置坐标运动；

步骤4：机器人在向事故点位置坐标运动的过程中，通过虚拟现实模块中的三维扫描仪，实时采集当前环境信息，并通过通讯模块将环境信息传输到上位机上，上位机根据环境信息完成表面重建，形成准确的三维模型，完成地图的动态建模，实现动态地图重构，最后将重构的地图信息发布到虚拟仿真平台上；

步骤5：上位机通过Unity3D建立的虚拟场景中控制机器人完成相应的动作，并进行运动仿真；在已有的路径规划中进行实时的路径修正，循环该过程并进行实时监控最终完成救援工作；

步骤6：救援工作完成后，机器人返回初始位置，向上位机返回救援完成信息，各数据返回初始值，等待下一次工作指令。

6.根据权利要求5所述的基于虚拟现实与ACP平行智能的隧道救援方法，其特征在于，步骤5中，机器人的控制一部分由机器人源程序自主控制，另一部分由通过Unity3D虚拟场景对机器人进行人工干预实时辅助控制。

7.根据权利要求5所述的基于虚拟现实与ACP平行智能的隧道救援方法，其特征在于，步骤5中路径修正的具体方法如下：

通过在Unity3D中建立与实际交通系统相对应的虚拟交通系统，利用计算实验的方法进行仿真系统的实验与评估，并建立相应的数据库，对可能出现的交通状况建立预案，在具体实现时，通过采集实际交通系统的数据导入到仿真系统中，仿真系统给出处理预案，并通过虚拟现实模块控制机器人运动，完成救援工作。

8.根据权利要求5所述的基于虚拟现实与ACP平行智能的隧道救援方法，其特征在于，步骤5中机器人的运动仿真控制方法具体如下：

先在上位机上构建虚拟3D场景，再进行虚拟样机的运动仿真，并进行判断与决策，通过机器人采集的各类传感器数据，对机器人虚拟样机进行位置姿态的确定以及虚拟3D场景的更新，使机器人与虚拟机器人的运动状态实时保持一致；在Unity3D平台上以机器人虚拟样机为控制对象，替代真实隧道机器人，对其状态进行判断并进行决策，完成轨迹规划，通过在虚拟仿真平台上使虚拟样机运动仿真，完成对机器人的轨迹规划，并执行。

Images