CN101833115B - 基于增强现实技术的生命探测与救援系统及其实现方法 - Google Patents

Abstract

本发明涉及一种基于增强现实技术的生命探测与救援系统及其实现方法。它包括集成了三维电子罗盘的生命探测仪，三维电子罗盘和生命探测仪均与穿戴式计算机连接；同时穿戴式计算机还与定位设备以及头盔显示器连接，并且头盔显示器也集成了三维电子罗盘和CCD摄像机。通过生命探测仪、高精度三维电子罗盘、高精度定位设备的多点（至少两点）测量可以精确地测定被埋人员的三维位置，然后通过高精度定位设备、穿戴式电脑、头盔显示器及穿戴式电脑中的增强现实软件系统可以使救援人员实时看到叠加了被埋人员三维虚拟图形的现场视频图像，并且随着救援人员位置和视线方向的变化而相应地发生变化，因此可以更好地指导救援工作的进行，缩短了救援时间。

Description

基于增强现实技术的生命探测与救援系统及其实现方法

技术领域

本发明涉及一种基于增强现实技术的生命探测与救援系统及其实现方法。

背景技术

随着城市化进程逐步加快，城乡建(构) 筑物的规模、高度以及跨度都逐渐增加, 人口密度也越来越大，地震灾害造成的潜在危险性与日俱增，一旦发生破坏性地震，将造成人民生命财产的巨大损失。如何最大限度地减轻地震灾害造成的损失，是各国防震减灾工作的重要任务，其中如何抢救被压埋人员，有效地减少人员伤亡是减轻灾害损失的首要任务，也是最能体现出减灾实效的关键环节。据有关专家调查统计，唐山地震发生后,第一天将被压埋人员救出救活率为81%，第二天内救出救活率为53%，第三天内救出救活率为36.7%，第四天内救出救活率为19%，第五天内救出救活率为7.4 %，越晚救活的希望就越小。上述数据表明, 实施救助的时间越早, 救出的人员越多；尤其震后72 小时是救助被埋人员的关键时期。国内、外历次大震救援的事实证明，对压埋人员抢救越快越及时，救出救活的可能性越大。因此，震后对于被埋人员的迅速定位、迅速救援就成了救灾的关键，同时这也对救援技术和设备提出了更高的要求。目前，我国的地震救援队已配备了搜救犬和多种搜救仪器，包括声波振动生命探测仪、光学生命探测仪、红外声明探测仪等。这些手段虽然能够探测到生命信息的存在，但是对于精确定位方面做得还很不够，以致于耽误了宝贵的救援时间。因此如何进行精确定位、可视救援在当前抗震救援中的一个亟待解决的难题。

增强现实（AR , Augmented Reality ），通常也称作扩充现实、增强视觉或增强现实视觉，是近年来国际上在虚拟现实研究的基础上发展出来的一个新的研究方向，也是虚拟现实研究领域的一个难点热点问题。增强现实技术就是将计算机生成的虚拟图像或其他信息有机地、实时地、动态地叠加（或融合）在观察者所看到的现实环境当中，并且这些虚拟信息与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的有机组成部分，当用户在真实场景中移动时，虚拟物体也随之发生变化，就好像这些虚拟物体是真的存在于真实场景中一样。这种增强信息可以是在真实环境中与真实物体共存的虚拟物体，也可以是关于存在的真实物体的非几何信息。从目前国内外发展的现状来看，增强现实系统仍然处于实验室阶段，目前已开发成功的跟踪注册技术一般需要在环境可控的条件下才可以取得精确的结果。相对于室内增强现实系统的发展，室外增强现实系统的发展相对滞后。要将虚拟图像准确地叠加在客观世界的场景上，就必须精确、实时地确定用户的位置和视线方向。对于室外增强现实系统，目前国际上通常采用的跟踪定位方法主要分三类：基于计算机视觉的注册定位、基于跟踪设备的注册定位、基于视觉和跟踪设备的混合注册定位。基于计算机视觉的三维注册方法以计算机视觉理论为基础，对CCD摄像机拍摄到的现实环境图像进行处理与识别，获取跟踪信息，其特点是设备简单、成本低廉，目前对基于计算机视觉的注册技术的研究在AR领域处于主导地位。但是对于大范围未知的户外环境，采用计算机视觉的注册方式并不合适。采用高精度定位方式，例如GPS RTK技术可以将定位精度达到厘米级，完全可以满足户外增强现实系统的需求。

利用增强现实技术将生命探测仪探测到的被埋人员信息实时叠加到救援人员所看到的现场视频图像上，就可以使救援人员实时看到被埋人员，不但使救援更加有的放矢，更重要是节省了宝贝的救援时间，具有重要的现实意义。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于增强现实技术的生命探测与救援系统及其实现方法，它可以在救援现场快速、精确定位被埋人员，并生成增强现实图像，指导救援的实现。

为实现上述目的，本发明采用如下技术方案：

一种基于增强现实技术的生命探测与救援系统，它包括集成了三维电子罗盘的生命探测仪，三维电子罗盘和生命探测仪均与穿戴式计算机连接；同时穿戴式计算机还与定位设备以及头盔显示器连接，并且头盔显示器也集成了三维电子罗盘和CCD摄像机。

所述定位设备为GPS接收机或光学或电磁或声学定位设备。

所述生命探测仪、定位设备以及头盔显示器与穿戴式计算机采用有线连接或无线连接方式。

一种基于增强现实技术的生命探测与救援系统方法，它的具体步骤为：

a. 通过高精度定位设备进行实时、精确的测定救援人员的三维位置； 

b. 利用三维电子罗盘与生命探测仪，获得在某一已知位置点测定指向被埋人员的三维方向信息，即指向被埋人员的生命探测仪天线的三维角度信息；

c. 通过至少两点的测量，得出被埋人员位置的三维坐标，具体计算方法如下：

设过已知观测点                                                

且已测定方向的n条直线

，其中，n为自然数；则各直线方程如下：

其中

分别是各直线的方向余弦，对于n条直线

，理论上应该相交于一点A，由于测量误差的存在，不会相交于一点，但总能分别求出到两两直线的最短点

，则

的平均值即为最优值；

d．通过穿戴式计算机的三维虚拟图形绘制软件，利用步骤a和步骤b所得到的信息参数以及通过步骤c得到的三维坐标实时绘制出基于被埋人员三维位置的虚拟图形；

e. 通过救援人员穿戴的头盔显示器上的CCD摄像机获取救援现场的视频图像；

f. 通过救援人员穿戴的头盔显示器上的高精度三维电子罗盘可以得到救援人员视线方向信息；

g. 将步骤d所得到的被埋人员位置的虚拟图像利用穿戴式计算机内的增强现实软件，得到叠加了被埋人员虚拟图形的视频图像；

h. 将步骤g得到的增强现实图像传输到救援人员穿戴的头盔显示器上，使救援人员实时看到叠加了被埋人员三维虚拟图形的视频图像；

i. 当救援人员的位置和视线方向发生变化的时候，其所看到的被埋人员的虚拟图形也相应地发生变化。

本发明的基于增强现实技术的生命探测与救援系统及其实现方法，它包括生命探测设备、高精度三维电子罗盘、定位设备、穿戴式电脑、头盔显示器等硬件设备及其相应的软件，各种设备均通过相应接口集成到穿戴式电脑上，并通过穿戴式电脑上运行的增强现实系统处理相应的数据。

本发明的有益效果是：可以通过生命探测仪和三维电子罗盘实现对被埋人员的快速、精确定位，在救援现场通过救援人员佩戴的头盔显示器可以实时看到叠加了被埋人员三维虚拟图形的视频图像，就像救援人员能真的看到被埋人员一样，并且其所看到的被埋人员的虚拟图形随着救援人员位置和视线方向的变化而相应的变化。从而可以更好的指导救援，缩短了救援时间。

附图说明

图1 本发明专利的系统结构图。

图2本发明工作流程示意图。

图3为利用生命探测仪及定位定向设备来测定被埋人员位置原理图。

其中，1.生命探测仪，2.三维电子罗盘，3.定位设备，4.头盔显示器，5.穿戴式计算机，6.CCD摄像机。

具体实施方式

下面结合附图和实施例对本发明专利作进一步说明。

图1中，本系统集成了生命探测仪1、高精度的三维电子罗盘2、高精度的定位设备3、穿戴式计算机5、头盔显示器4等硬件设备及相应的软件，其中头盔显示器4集成了三维电子罗盘2和CCD摄像机6。通过生命探测仪1、三维电子罗盘2、定位设备3的多点（至少两点）测量可以精确地测定被埋人员的三维位置，通过穿戴式计算机中5的图形处理软件绘制出基于被埋人员三维位置的虚拟图形，然后通过定位设备3、穿戴式计算机5、头盔显示器4及穿戴式计算机5中的增强现实软件系统可以使救援人员实时看到叠加了被埋人员三维虚拟图形的现场视频图像，并且随着救援人员位置和视线方向的变化而相应地发生变化。

本发明涉及到基于增强现实技术的生命探测与救援系统及其实现方法，该方法利用高精度定位手段（例如GPS RTK等）实时、精确测定救援人员的三维位置；通过将高精度三维电子罗盘与生命探测仪集成，可以在某一已知位置点测定指向被埋人员的三维方向信息，即指向被埋人员的生命探测仪天线的三维角度信息；通过多点（至少两点）的探测，可以解求出被埋人员位置的三维坐标；通过穿戴式电脑的三维虚拟图形绘制软件，并利用所获取的坐标系转换参数实时绘制出基于被埋人员三维位置的虚拟图形；通过救援人员携带的头盔显示器可以实时看到叠加了被埋人员三维虚拟图形的视频图像， 当救援人员的位置和视线方向发生变化的时候，其所看到的被埋人员的虚拟图形也相应地发生变化，就像真的看到被埋人员一样，可以更好的指导救援。

本发明的工作流程如图2所示:

a. 通过高精度定位手段（例如GPS RTK等）可以实时、精确测定救援人员（即生命探测仪）的三维位置； 

b. 通过将高精度三维电子罗盘与生命探测仪集成，可以在某一已知位置点测定指向被埋人员的三维方向信息，即指向被埋人员的生命探测仪天线的三维角度信息；

c. 通过至少两点的测量，得出被埋人员位置的三维坐标，具体计算方法如下：

设过已知观测点

且已测定方向的n条直线

，其中，n为自然数；则各直线方程如下：

其中

分别是各直线的方向余弦，对于n条直线

，理论上应该相交于一点A，由于测量误差的存在，不会相交于一点，但总能分别求出到两两直线的最短点

，则

的平均值即为最优值；

d．通过穿戴式电脑的三维虚拟图形绘制软件，并利用步骤a和步骤b所得到的信息参数以及通过步骤c得到的三维坐标可以实时绘制出基于被埋人员三维位置的虚拟图形；

e. 通过救援人员穿戴的头盔显示器上的CCD摄像机可以获取救援现场的视频图像；

f. 通过救援人员穿戴的头盔显示器上集成的高精度三维电子罗盘可以得到救援人员视线方向信息；

g. 将步骤d所得到的被埋人员位置的三维虚拟图形利用穿戴式电脑内的虚拟图像和视频图像实时叠加软件，得到增强现实图像。

h. 将通过步骤g得到的增强现实图像传输到救援人员穿戴的头盔显示器上，就可以得到叠加了被埋人员三维虚拟图像的视频图像。

i. 当救援人员的位置（步骤a）和视线方向（步骤f）发生变化的时候，其所看到的被埋人员的虚拟图形也相应地发生变化，就像真的看到被埋人员一样，可以更好的指导救援。

步骤a中利用高精度定位手段实时测定救援人员的三维坐标。

步骤b中将高精度三维电子罗盘与生命探测仪进行集成，当生命探测仪探测到有生命信息存在时，生命探测仪天线所指示的方向即为生命信息存在的方向，此时可通过集成的高精度三维电子罗盘来测定生命探测仪天线的三维方向。

步骤c中每个点的测定都包含了步骤a和步骤b，可以通过重复多点（至少两点）的测定，解算出被埋人员的三维位置坐标。

步骤d中，根据步骤a和步骤b所得到的信息可以计算出相关坐标系转换参数，将解算出的被埋人员的三维坐标转换到头盔显示器上的CCD摄像机坐标系，并通过穿戴式电脑中的三维图形绘制软件，绘制出基于被埋人员三维位置的虚拟图形。

步骤e中，救援人员可以通过其穿戴的头盔显示器上的CCD摄像机获取现场的视频图像。

步骤f中，救援人员可以通过穿戴的头盔显示器上的高精度三维电子罗盘来实时获取视线方向的三维信息。

步骤g中，通过救援人员穿戴式电脑中的增强现实功能软件，实现被埋人员虚拟图形与现场视频图像的实时叠加。

步骤h中，救援人员通过其穿戴的头盔显示器可以实时看到叠加了被埋人员虚拟图形的救援现场视频图像，头盔显示器和穿戴式电脑相连接。

步骤i中，当救援人员的位置和视线方向发生变化的时候，叠加的虚拟图形也相应地发生变化，就像救援人员真的看到被埋人员一样，这样就可以高效地指导救援工作进行。

本发明利用生命探测仪及定位定向设备测定被埋人员位置的原理示意图如图3所示，救援人员通过生命探测仪及定位定向设备测量并求出某一点的三维位置

和三维方向

，同理获取第二点的三维位置

和三维方向

、直至获取第n点的三维位置

和三维方向

,通过相关的空间解析几何公式可以解算出被埋人员的三维位置坐标。

Claims (1)

1.一种基于增强现实技术的生命探测与救援方法，它采用集成了三维电子罗盘的生命探测仪，所述三维电子罗盘和生命探测仪均与穿戴式计算机连接；同时穿戴式计算机还与定位设备以及头盔显示器连接，并且头盔显示器也集成了另一个三维电子罗盘和CCD摄像机，其特征是，它的具体步骤为：

a.通过高精度定位设备进行实时、精确的测定救援人员的三维位置；

b.利用生命探测仪的三维电子罗盘与生命探测仪，获得在某一已知位置点测定指向被埋人员的三维方向信息，即指向被埋人员的生命探测仪天线的三维角度信息；

c.通过至少两点的测量，得出被埋人员位置的三维坐标，具体计算方法如下：

设经过已知观测点P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)......P_n(x_n,y_n,z_n)且已测定方向的n条直线l₁,l₂......l_n，其中，n为自然数；则各直线方程如下：

$\frac{x-x_1}{\cos {\mathrm{\α}}_1}=\frac{y-y_1}{\cos {\mathrm{\β}}_1}=\frac{z{-z}_1}{\cos {\mathrm{\γ}}_1}$

$\frac{x-x_2}{\cos {\mathrm{\α}}_2}=\frac{y-y_2}{\cos {\mathrm{\β}}_2}=\frac{z-z_2}{\cos {\mathrm{\γ}}_2}$

......

$\frac{x-x_n}{\cos {\mathrm{\α}}_n}=\frac{y-y_n}{\cos {\mathrm{\β}}_n}=\frac{z-z_n}{\cos {\mathrm{\γ}}_n}$

其中cosα₁、cosβ₁、cosγ₁、cosα₂、cosβ₂、cosγ₂......cosα_n、cosβ_n、cosγ_n分别是各直线的方向余弦，对于n条直线l₁,l₂,......,l_n，理论上应该相交于一点A，由于测量误差的存在，不会相交于一点，但总能分别求出到两两直线的最短点A'₁,A'₂,......,A'_l，则A'₁,A'₂,......,A'_l的平均值即a为最优值；

d．通过穿戴式计算机的三维虚拟图形绘制软件，利用步骤a和步骤b所得到的信息参数以及通过步骤c得到的三维坐标实时绘制出基于被埋人员三维位置的虚拟图形；

e.通过救援人员穿戴的头盔显示器上的CCD摄像机获取救援现场的视频图像；

f.通过救援人员穿戴的头盔显示器的三维电子罗盘得到救援人员视线方向信息；

g.将步骤d所得到的被埋人员位置的虚拟图像利用穿戴式计算机内的增强现实软件，得到叠加了被埋人员虚拟图形的视频图像；

h.将步骤g得到的增强现实图像传输到救援人员穿戴的头盔显示器上，使救援人员实时看到叠加了被埋人员三维虚拟图形的视频图像；

i.当救援人员的位置和视线方向发生变化的时候，其所看到的被埋人员的虚拟图形也相应地发生变化。

Images