CN107277450A - 一种利用ar实现远程指挥现场救灾的方法及设备 - Google Patents

Abstract

一种利用AR实现远程指挥现场救灾的方法及设备，本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得消防人员看到的事故现场能够实时传送给位于远方的远程终端控制系统，让现场之外的救援专家能够身临其境般地看到消防人员看到的事故现场状况，从而准确地判断事故现场的实际情况，即使救援专家不进入事故现场，也能以消防人员的视角帮消防人员作出在当前情况应做出的最佳判断，从而大大减少人员的伤亡，而且由于当局者迷、旁观者清，现场之外的救援专家还能有效地帮助事故现场里的消防人员发现消防人员未注意到的盲点，从而大大提升救援的效率。

Description

一种利用AR实现远程指挥现场救灾的方法及设备

技术领域

本发明涉及现场救灾技术领域，尤其是指一种利用AR实现远程指挥现场救灾的方法及设备。

背景技术

重大事故发生时，专业指挥对现场救援至关重要。但往往事发突然，救援专家无法在第一时间赶到现场，容易错过救援的黄金时间。并且由于事故现场环境陌生、复杂，消防人员无法准确了解现场情况，既影响救援效率，而且容易造成消防人员的伤亡。

增强现实技术（AR技术）是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观 ，它是以交互性和构想为基本特征的计算机高级人机界面。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。如果能将AR技术应用到现场救灾领域，则将有可能彻底改变现有的现场救灾模式，但是至今现场救灾领域依然鲜有AR技术的身影。

中国发明专利一种基于AR技术和地理信息技术的埋地管线巡检方法及装置（申请公布号：CN106791620A），公开了其包括AR眼镜和安装在AR眼镜上的摄像头、数据处理融合终端；所述数据处理融合终端包括摄像头接口、GPS定位模块、网络通信模块、微处理模块、视频接口，所述摄像头接口、GPS定位模块、网络通信模块、视频接口分别与微处理模块连接；所述摄像头与摄像头接口连接，所述AR眼镜与视频接口连接。将该发明应用到现场救灾，也仅能让消防人员通过云端数据自行进行查找数据，而无法让救援专家在画面上与消防人员进行动态的互动，救灾现场争分夺秒，消防人员无法抽出其他的精力自行查找地形，因此需要现场之外的人员进行协助。

发明内容

本发明提供一种利用AR实现远程指挥现场救灾的方法及设备，其主要目的在于克服现今的救灾现场消防人员无法准确了解现场情况，既影响救援效率，而且容易造成消防人员的伤亡的缺陷。

为解决上述技术问题，本发明采用如下技术方案：

一种利用AR实现远程指挥现场救灾的方法，包括以下步骤：

1)消防人员戴上AR眼镜后进入救灾现场，AR眼镜上的摄像头根据消防人员的视角实时采集当前的事故现场实景，并将该事故现场实景实时传输到CPU模块；

2)所述CPU模块通过视频接口将该事故现场实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该事故现场实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；

3)消防人员对AR眼镜投影出来的事故现场实景中可能存在危险、伤员的地形进行标记，该消防人员标记的数据再实时传输至所述CPU模块中，与CPU模块中的事故现场实景进行叠加；

4)CPU模块将叠加有所述消防人员标记的事故现场实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；

5)救援专家对显示在远程终端控制系统上的事故现场实景中消防人员遗漏的、要提醒消防人员注意的位置进行标记，该救援专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的事故现场实景、消防人员标记进行叠加；

6)CPU模块通过所述视频接口将叠加有所述消防人员标记、救援专家标记的事故现场实景传输到所述AR眼镜上进行实时的投影显示；

7)步骤1～6进行的同时，消防人员通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的救援专家进行实时对话。

进一步的，步骤3中，消防人员进行标记的方法为：消防人员通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的光标移动至要标记的位置进行标记。

进一步的，所述驱动装置可以为外置的触摸板、手柄、鼠标中的一种。

进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。

一种利用AR实现远程指挥现场救灾的设备，包括供消防人员佩戴的AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、供救援专家使用的远程终端控制系统以及蓝牙耳机，所述CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于所述AR眼镜上；

所述CPU模块通过所述无线通信模块与所述远程终端控制系统无线信号连接；

所述摄像头通过所述摄像头接口与所述CPU模块连接，所述AR眼镜通过所述视频接口与所述CPU模块连接；

所述蓝牙耳机可吸合在所述AR眼镜的镜架上。

进一步的，所述远程终端控制系统为PC、手机、平板电脑中的一种。

进一步的，所述蓝牙耳机上设有可吸合在所述镜架上的磁铁。

进一步的，所述镜架上具有金属块或者与所述磁铁极性相反的副磁铁。

进一步的，所述蓝牙耳机还通过一线绳与所述镜架连接。

和现有技术相比，本发明产生的有益效果在于:

本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得消防人员看到的事故现场能够实时传送给位于远方的远程终端控制系统，让现场之外的救援专家能够身临其境般地看到消防人员看到的事故现场状况，增强了现实，从而准确地判断事故现场的实际情况，即使救援专家不进入事故现场，也能以消防人员的视角帮消防人员作出在当前情况应做出的最佳判断，从而大大减少人员的伤亡，而且由于当局者迷、旁观者清，现场之外的救援专家还能有效地帮助事故现场里的消防人员发现消防人员未注意到的盲点，从而大大提升救援的效率；此外，由于AR眼镜的图像叠加功能，使得消防人员可在AR眼镜投影出来的事故现场实景中进行标记，并将该消防人员标记与事故现场实景叠加的图像实时发送给远程终端控制系统，救援专家则可在远程终端控制系统上的事故现场实景中进行标记，并将该救援专家标记实时发送给CPU模块叠加，最终使得消防人员与救援专家能够同步地看到事故现场实景、消防人员标记、救援专家标记三者叠加的图像，从而让消防人员能够在AR眼镜上与救援专家进行动态的互动，让消防人员能够清楚地发现救援专家所指出的位置，并有针对性地对该位置进行细致的检查，大大提高了事故现场救援的效率，降低伤亡率。

附图说明

图1为本发明的结构示意图。

图2为本发明中所述AR眼镜上的模块连接框图。

图3为本发明的数据信号传输框图。

图4为本发明的应用框图。

具体实施方式

下面参照附图说明本发明的具体实施方式。

参照图1、图2、图3和图4。一种利用AR实现远程指挥现场救灾的设备，包括供消防人员佩戴的AR眼镜1、装设于该AR眼镜1上的摄像头2、CPU模块3、无线通信模块4、摄像头接口51、视频接口52、供救援专家使用的远程终端控制系统7，其中，CPU模块3、无线通信模块4、视频接口52、摄像头接口51集成在一控制盒8内并装设于AR眼镜1上；

CPU模块3通过无线通信模块4与远程终端控制系统7无线信号连接；

摄像头2通过摄像头接口51与CPU模块3连接，AR眼镜1通过视频接口52与CPU模块3连接。

具体的，参照图1、图2、图3和图4。

AR眼镜1具有镜片11和镜架12，该摄像头2可以采用双目深度摄像头，该双目深度摄像头嵌设在镜架12的中间位置，双目深度摄像头是使用立体视觉的原理（stereo，MVS）来估计深度，其利用视差原理来求取深度的，投射一个图案，然后进行比较，其能起到增强现实的作用。

无线通信模块4可以采用WiFi、2G、3G、4G等无线通信模式。

远程终端控制系统7可以为PC、手机、平板电脑、另外一个AR眼镜中的一种。远程终端控制系统7中也设有无线通信模块，并能与AR眼镜1上的无线通信模块4达成信号对接。

用于集成CPU模块3、无线通信模块4、视频接口52、摄像头接口51的控制盒8可以装设在镜架12的侧边上或者镜架12的中间位置与摄像头2邻接。

另外，参照图1、图2、图3和图4。还包括一蓝牙耳机9，所述蓝牙耳机9可吸合在AR眼镜的镜架12上，具体应用时，也可设置一对蓝牙耳机9，并分别可吸合在AR眼镜的镜架12的左右两侧，该蓝牙耳机与消防人员的手机蓝牙对接，其具有接听电话的功能，使得消防人员能通过蓝牙耳机与救援专家通话，而不需另外再取出手机，释放了消防人员的双手，让他能够边通话边救援。

参照图1、图2、图3和图4。具体的，蓝牙耳机9上设有磁铁91，该蓝牙耳机可通过该磁铁91吸合在镜架12上，镜架12上具有金属块13或者与磁铁91极性相反的副磁铁。另外，蓝牙耳机还通过一线绳92与镜架12连接，该线绳92一端可绕设在一开设于镜架12上的环形槽14内、另一端与蓝牙耳机9连接，该环形槽14既能起到固定线绳的作用，而且可以避免线绳绕设在镜架12上时形成凸起而影响戴AR眼镜时的舒适感。其使用方法为：

①、当用户要使用蓝牙耳机时，对吸合在镜架12两侧的蓝牙耳机9稍微施力，将其取下，并插到耳朵内；由于线绳92的作用，使得蓝牙耳机即便从耳朵上脱落，也不会掉落到地上，重新插上便可。

②、当用户使用完蓝牙耳机后，将蓝牙耳机拔离耳朵，将其分别移动至镜架的两侧，并使其上的磁铁91正对镜架上的金属块13，让该磁铁91吸合在金属块13上。

参照图1、图2、图3和图4。一种利用AR实现远程指挥现场救灾的方法，包括以下步骤：

步骤一

消防人员戴上AR眼镜1后进入救灾现场，AR眼镜1上的摄像头2根据消防人员的视角实时采集当前的事故现场实景，并将该事故现场实景实时传输到CPU模块3。

本发明中的事故现场包括发生火灾、洪涝、地震、坍塌、泥石流等灾难的现场。

步骤二

CPU模块3通过视频接口52将该事故现场实景传输到AR眼镜1上进行实时的投影显示；同时，该CPU模块3还将该事故现场实景的数据通过无线通信模块4传输到远程终端控制系统7上实时显示。

步骤三

消防人员对AR眼镜1投影出来的事故现场实景中可能存在危险、伤员的地形进行标记，该消防人员标记的数据再实时传输至CPU模块3中，与CPU模块中的事故现场实景进行叠加。

其中，消防人员进行标记的方法为：消防人员通过操作与CPU模块3信号控制连接的驱动装置6使AR眼镜1中的系统光标移动至要标记的位置进行标记。该驱动装置6可以为外置的触摸板、手柄、鼠标中的一种，此外，也可设置该驱动装置为指环或手环，既美观、便于携带，而且操作更加方便。

中国发明专利公开了一种光标控制方法与基于该方法的AR眼镜与智能指环（申请公布号：CN 106354253 A），该智能指环包括红外发射模块，可以发射出红外信号；蓝牙发射模块，发射蓝牙控制信号；触摸控制模块，通过不同的触摸方式，蓝牙发射模块发射出不同蓝牙控制信号以及控制红外发射模块发射红外信号。若本发明的驱动装置6设为指环，可采用该发明中智能指环的结构进行设计。

步骤四

CPU模块3将叠加有消防人员标记的事故现场实景数据通过无线通信模块4传输到远程终端控制系统7上实时显示。

远程终端控制系统7可以为PC、手机、平板电脑、另外一个AR眼镜中的一种。并且，远程终端控制系统7并不局限于个数只有一个，也可为复数个，即一个在事故现场内的消防人员，可以有多个救援专家在事故现场外提供指导、意见，从而最大程度地减少消防人员的盲点，使救援更加顺利。

步骤五

救援专家对显示在远程终端控制系统7上的事故现场实景中消防人员遗漏的、要提醒消防人员注意的位置进行标记，该救援专家标记的数据再通过无线通信模块4实时传输到CPU模块3，与CPU模块3中的事故现场实景、消防人员标记进行叠加。

其中，救援专家进行标记的方法为：救援专家通过PC、手机、平板电脑或另外一个AR眼镜自带的功能组件在屏幕上显示的事故现场实景上相应的位置做涂抹、画圈等标记。为了进一步更加便利地让每个普通人均能无碍地进行使用，还可在AR眼镜1的系统中与远程终端控制系统7中分别安装相同的软件（如APP等），双方均打开APP便可便捷地进行互动，该APP可利用现有的APP软件，也可找专业的APP开发机构进行设计开发，此处不再赘述。

此外，救援专家还可以在远程终端控制系统7上通过无线通信模块4将消防人员所需的事故现场地形图、建筑结构等的数据发送至CPU模块3中的存储器内供消防人员调取查看；消防人员调取后，便可依据该地形图、建筑结构直观地看到救援、逃生的最佳路径，避免出现由于消防人员初次进入该事故现场，不熟悉地形而迷路的情况。另外，地形图、建筑结构便可直接在AR眼镜上进行投影显示，之后该地形图、建筑结构据传输至CPU模块3中，与CPU模块中的事故现场实景进行叠加，再传输到远程终端控制系统7上显示，救援专家便可在屏幕上显示的地形图、建筑结构上相应的位置做涂抹、画圈等标记以对消防人员有疑问的地方进行解释，或者在其中画出最佳的救援、逃生路径，消防人员依据该路径便可以最快的速度进行救援、逃生。

步骤六

CPU模块3通过视频接口52将叠加有消防人员标记、救援专家标记的事故现场实景传输到AR眼镜上进行实时的投影显示。

若远程终端控制系统7的个数为复数个，则位于不同远程终端控制系统7处的救援专家可采用不同颜色的救援专家标记予以区分。

步骤七

步骤一～六进行的同时，消防人员通过AR眼镜1上的蓝牙耳机9与位于远程终端控制系统7处的救援专家进行实时对话。

本发明将AR眼镜通过无线通信模块与远程终端控制系统远程信号连接，使得消防人员看到的事故现场能够实时传送给位于远方的远程终端控制系统，让现场之外的救援专家能够身临其境般地看到消防人员看到的事故现场状况，增强了现实，从而准确地判断事故现场的实际情况，即使救援专家不进入事故现场，也能以消防人员的视角帮消防人员作出在当前情况应做出的最佳判断，从而大大减少人员的伤亡，而且由于当局者迷、旁观者清，现场之外的救援专家还能有效地帮助事故现场里的消防人员发现消防人员未注意到的盲点，从而大大提升救援的效率；此外，由于AR眼镜的图像叠加功能，使得消防人员可在AR眼镜投影出来的事故现场实景中进行标记，并将该消防人员标记与事故现场实景叠加的图像实时发送给远程终端控制系统，救援专家则可在远程终端控制系统上的事故现场实景中进行标记，并将该救援专家标记实时发送给CPU模块叠加，最终使得消防人员与救援专家能够同步地看到事故现场实景、消防人员标记、救援专家标记三者叠加的图像，从而让消防人员能够在AR眼镜上与救援专家进行动态的互动，让消防人员能够清楚地发现救援专家所指出的位置，并有针对性地对该位置进行细致的检查，大大提高了事故现场救援的效率，降低伤亡率。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种利用AR实现远程指挥现场救灾的方法，其特征在于，包括以下步骤：

1) 消防人员戴上AR眼镜后进入救灾现场，AR眼镜上的摄像头根据消防人员的视角实时采集当前的事故现场实景，并将该事故现场实景实时传输到CPU模块；

2) 所述CPU模块通过视频接口将该事故现场实景传输到所述AR眼镜上进行实时的投影显示；同时，该CPU模块还将该事故现场实景的数据通过无线通信模块传输到远程终端控制系统上实时显示；

3) 消防人员对AR眼镜投影出来的事故现场实景中可能存在危险、伤员的地形进行标记，该消防人员标记的数据再实时传输至所述CPU模块中，与CPU模块中的事故现场实景进行叠加；

4) CPU模块将叠加有所述消防人员标记的事故现场实景数据通过无线通信模块传输到所述远程终端控制系统上实时显示；

5) 救援专家对显示在远程终端控制系统上的事故现场实景中消防人员遗漏的、要提醒消防人员注意的位置进行标记，该救援专家标记的数据再通过无线通信模块实时传输到所述CPU模块，与CPU模块中的事故现场实景、消防人员标记进行叠加；

6) CPU模块通过所述视频接口将叠加有所述消防人员标记、救援专家标记的事故现场实景传输到所述AR眼镜上进行实时的投影显示；

7) 步骤1～6进行的同时，消防人员通过AR眼镜上的蓝牙耳机与位于远程终端控制系统处的救援专家进行实时对话。

2.如权利要求1所述一种利用AR实现远程指挥现场救灾的方法，其特征在于：步骤3中，消防人员进行标记的方法为：消防人员通过操作与所述CPU模块信号控制连接的驱动装置使所述AR眼镜中的光标移动至要标记的位置进行标记。

3.如权利要求2所述一种利用AR实现远程指挥现场救灾的方法，其特征在于：所述驱动装置可以为外置的触摸板、手柄、鼠标中的一种。

4.如权利要求1所述一种利用AR实现远程指挥现场救灾的方法，其特征在于：所述远程终端控制系统为PC、手机、平板电脑中的一种。

5.一种利用AR实现远程指挥现场救灾的设备，其特征在于：包括供消防人员佩戴的AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、供救援专家使用的远程终端控制系统以及蓝牙耳机，所述CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于所述AR眼镜上；

所述CPU模块通过所述无线通信模块与所述远程终端控制系统无线信号连接；

所述摄像头通过所述摄像头接口与所述CPU模块连接，所述AR眼镜通过所述视频接口与所述CPU模块连接；

所述蓝牙耳机可吸合在所述AR眼镜的镜架上。

6.如权利要求5所述一种利用AR实现远程指挥现场救灾的设备，其特征在于：所述远程终端控制系统为PC、手机、平板电脑中的一种。

7.如权利要求5所述一种利用AR实现远程指挥现场救灾的设备，其特征在于：所述蓝牙耳机上设有可吸合在所述镜架上的磁铁。

8.如权利要求7所述一种利用AR实现远程指挥现场救灾的设备，其特征在于：所述镜架上具有金属块或者与所述磁铁极性相反的副磁铁。

9.如权利要求5所述一种利用AR实现远程指挥现场救灾的设备，其特征在于：所述蓝牙耳机还通过一线绳与所述镜架连接。