CN107485100A - 一种用于建筑物内救援的智能头盔及其救援导航方法 - Google Patents

Abstract

本发明提出的一种用于建筑物内救援的智能头盔及其救援导航方法，属于消防疏散领域。该装置包括：头盔、CPU处理器、存储单元、重力传感器、陀螺仪、水平加速度传感器、地磁计传感器、普通摄像头、深度摄像头、麦克风、语音播放器，电池和全息镜片；使用时，在准备阶段建立建筑物的三维模型后在模型中标定关键点并生成各个关键点的连通信息；在救援导航阶段，使用者确定起点和目的地后，通过在全息镜片上显示的规划路径指引箭头指引到达目的地。本发明能够为使用者在建筑物内提供准确的定位，在建筑物内救援时提供引导使得救援人员快速到达救援地点，有很强的实用价值。

Description

一种用于建筑物内救援的智能头盔及其救援导航方法

技术领域

本发明属于消防疏散领域，具体提出的一种用于建筑物内救援的智能头盔及其救援导航方法。

背景技术

传统救援中所使用的头盔只存在保护功能和有限的辅助作用。在建筑救援时，建筑的结构复杂封闭，可视度差且不容易及时的到达救援地点。在现有技术中，实用新型专利“一种智能救援头盔”(专利号201621221926.4)介绍了一种拥有智能辅助功能的救援头盔。在该发明的实施例中，头盔装载有高清摄像头、红外夜视灯、热释电传感器、体温传感器、脉搏传感器、声光报警装置、GPS定位装置等。高清摄像头和红外夜视灯保证正常夜间的拍摄；热释传感器可检测监控范围内的活体；体温传感器、脉搏传感器和声光报警装置可以检测头盔佩戴人员的身体状况病报警；GPS装置可对头盔佩戴人员进行定位。

上述现有技术具有以下不足。首先，上述发明使用的高清摄像头只能进行拍摄，无法进行障碍物检测或者场景建模；其次，上述发明所使用的GPS定位装置只能用于开阔地形，而无法在建筑内实现准确定位。最后，上述发明没有装置指引救援人员到达救援地点。由于建筑内结构复杂，如果没有精确的定位和直观的导航，会延缓救援时间，导致人员伤亡。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种用于建筑物内救援的智能头盔及其救援导航方法。本发明能够为使用者在建筑物内提供准确的定位，在建筑物内救援时提供引导使得救援人员快速到达救援地点，有很强的实用价值。

本发明提出的一种用于建筑物内救援的智能头盔，其特征在于，包括：头盔、CPU处理器、存储单元、重力传感器、陀螺仪、水平加速度传感器、地磁传感器、普通摄像头、深度摄像头、麦克风和语音播放器各部件，为上述各部件供电的电池，以及全息镜片；其中，重力传感器、水平加速度传感器、地磁传感器和陀螺仪组成传感器系统；传感器系统与CPU处理器、存储单元相互连接组成单片系统；普通摄像头和深度摄像头组成摄像头系统；摄像头系统、语音播放器、全息镜片、麦克风分别与单片系统连接。

一种基于如上所述智能头盔的救援导航方法，其特征在于，包括准备阶段和救援导航阶段，包括以下步骤：

1)准备阶段；具体步骤如下：

1-1)建立建筑物的三维模型；具体步骤如下：

1-1-1)从建筑物建造时的建筑图纸获得建筑物CAD平面图；

1-1-2)使用三维建模软件，将建筑物CAD平面图的地面、墙体及其它细节生成三维图形，得到建筑物的初步三维模型；

1-1-3)将步骤1-1-2)得到的的初步三维模型导入头盔中的CPU处理器中，对初步三维模型的不同的部分赋予不同的材质，最终获得建筑物的三维模型；

1-2)标定关键点；具体步骤如下：

1-2-1)确定关键点；

根据步骤1-1)建立的建筑物的三维模型，以该建筑物的入口处为原点建立三维笛卡尔坐标系O_xyz，定义三维笛卡尔坐标系O_xyz的原点和建筑物内所有的岔路口、拐角处的三维坐标点为该建筑物的关键点；在该坐标系中对所有的关键点依次进行编号，形成关键点集合W，并将集合W中的每个关键点w_i的三维坐标初始化为(0,0,0)，其中i是该关键点的编号，1≤i≤N，N是建筑物内关键点的总个数；

1-2-2)采集关键点的标定信息，完成对所有关键点的标定；

采集的标定信息包括每个关键点的三维坐标和关键点位置的局部空间信息；从三维笛卡尔坐标系O_xyz的原点出发，按照关键点集合W中编号递增的顺序，使用者佩戴头盔依次前往三维模型中各关键点在建筑中的实际位置进行关键点的三维坐标和关键点位置的局部空间信息的采集；具体步骤如下

1-2-2-1)采集关键点的三维坐标；

使用者从关键点w_i出发前往关键点w_i+1，采集关键点w_i+1的三维坐标，w_i的三维坐标为已知，则计算出从w_i到w_i+1的位移即得到w_i+1的三维坐标，具体包括：通过头盔的CPU处理器实时读取水平加速度传感器和重力传感器获得X,Y,Z轴方向的加速度a_X，a_Y，a_Z；计算得到三个方向上的分别的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；当使用者到达w_i+1时，更新关键点w_i+1的坐标：w_i+1＝w_i+Δw；

1-2-2-2)采集关键点位置的局部空间信息；

头盔使用者到达任一关键点w_i+1后，通过头盔上安装的普通摄像头和深度摄像头对当前场景的画面进行拍摄，提取画面中的特征点，记录特征点的梯度信息，形成关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1；

1-2-2-3)将步骤1-2-2-1)得到的关键点w_i+1的三维坐标及步骤1-2-2-2)得到的关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1，存入特征向量集合B中，关键点w_i+1标定完成；

1-2-2-4)使用者从w_i+1点出发，重复步骤1-2-2-1)至步骤1-2-2-3)，直到关键点集合W中的所有关键点标定完成；

1-3)根据步骤1-2)标定的各关键点信息生成各个关键点的连通信息；连通信息通过邻接矩阵M表示，矩阵M的第i行第j列元素m_ij为关键点w_i和关键点w_j之间的距离，该距离由关键点w_i和关键点w_j的三维坐标计算得到；如果两个关键点不连通，则该距离为预先设定的距离最大值MAX；

2)救援导航阶段；具体步骤如下：

2-1)确定起点；

头盔使用者进入已经完成步骤1)准备阶段的建筑物后，开启头盔，使用者在建筑物内行进到自身所在位置附近的任意一个关键点时，使用者发出语音指令，头盔通过深度摄像头采集当前位置的局部空间特征向量b′；通过匹配，在特征向量集合B中找到与b′最接近的局部空间特征向量b_i；则局部空间特征向量b_i所对应的关键点w_i即为该使用者的起点，并且读取该关键点在三维笛卡尔坐标系O_xyz中的坐标记为s；

2-2)选取目的地；

使用者发出语音指令打开储存在头盔中的建筑物三维模型，建筑物的三维模型通过全息镜片显示到使用者眼前，使用者通过在模型上点击的方式在模型中选取目的地，选取完成后，得到目的地在三维笛卡尔坐标系O_xyz中的坐标记为d；

2-3)规划路径；

根据起点和目的地的位置，通过邻接矩阵M规划出前往目的地的最短路径L表达式为：

L＝{s w′₁ w′₂ … w′_n d}

{w′_i∈W,1≤i≤n}是该路径经过的关键点，其中n是从起点到达目的地所经过的关键点个数；

2-4)导航；

采用分段导航的方式，使用者通过在全息镜片上显示的规划路径指引箭头指引使用者从一个关键点到达下一个关键点，直到到达目的地；箭头的方向是由使用者经过的前一个关键点w′_i和当前关键点w′_i+1确定的；从w′_i到w′_i+1的导航具体方法如下：

2-4-1)使用者从当前出发点w′_i出发时，自动更新当前的位置坐标loc＝w′_i，并使用箭头方向生成方法在使用者眼前显示指引箭头；

2-4-2)在使用者根据指引箭头前往w′_i+1的过程中，CPU处理器实时计算出三个方向上的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；

2-4-3)实时更新当前位置坐标，loc＝w′_i+Δw；

2-4-4)计算步骤2-4-3)得到的当前位置坐标loc与w′_i+1的距离并判定：当该距离小于设定阈值thr时，则认为到达w′_i+1，然后更新当前位置坐标为loc＝w′_i+1，进入步骤2-4-5)；否则，沿着箭头指示方向继续前进，直至当前位置坐标loc与w′_i+1的距离小于设定阈值thr；

2-4-5)重新返回步骤2-4-1)，更新w′_i+1为新的当前出发点，使用箭头方向生成方法在使用者眼前显示新的指引箭头，指向w′_i+2；直至最终到达目的地d。

本发明的特点及有益效果在于：

相比于对比技术，本发明主要解决了建筑内救援困难的技术问题。本发明除了采用高清摄像头外，还采用了深度摄像头。深度摄像头可以测量所拍摄到的像素点与摄像头的距离，从而可以对周边场景进行建模。通过深度摄像头和惯性传感器协作，可以准确定位自身位置，从而给出明确的不受环境影响的引导标识，使救援人员能够快速到达救援地点。当使用环境视野受限时，深度摄像头可以探测到周围的障碍物，并在视野中将障碍物轮廓勾勒出来，实现场景增强的功能。另外基于增强现实技术，本发明可以事先导入建筑内部的三维模型，帮助救援人员在进入建筑前对建筑整体有一个直观的了解。本发明能够有效提高在复杂建筑物内实施救援的准确性以及速度，为提供及时营救节约了宝贵的时间，有很强的实用价值。

附图说明

图1为本发明的智能头盔组成示意图。

图2为本发明方法生成的3D模型显示效果图。

图3为本发明方法导航指引显示效果图。

图4为本发明方法环境增强效果图。

具体实施方式

本发明提出的一种用于建筑物内救援的智能头盔及其救援导航方法，下面结合附图及实施例详细说明如下：

本发明提出的一种用于建筑物内救援的智能头盔，如图1所示，包括：头盔12、CPU处理器10、存储单元5、重力传感器1、陀螺仪4、水平加速度传感器3、地磁传感器2、普通摄像头7、深度摄像头6、麦克风9和语音播放器13各部件，为上述各部件供电的电池11，以及全息镜片8；其中重力传感器、水平加速度传感器、地磁传感器和陀螺仪组成了传感器系统；传感器系统与CPU处理器、存储单元相互连接组成单片系统；普通摄像头和深度摄像头组成摄像头系统；摄像头系统、语音播放器、全息镜片、麦克风分别与单片系统连接。

本发明智能头盔中各部件的功能及具体实施例实现方式如下：

头盔12采用常规安全防护头盔。

重力传感器1、陀螺仪4、水平加速度传感器3和地磁传感器2(均采用常规产品)均安装在头盔内部且与CPU处理器、电池相连，由电池供电，产生的信号均输出至CPU处理器；其中：

地磁传感器用于检测地磁，建立三维笛卡尔坐标系O_xyz。在本发明的三维笛卡尔坐标系O_xyz中，竖直坐标轴为Y轴，以向上为正方向；水平坐标轴为Z轴和X轴，Z轴指向正北，X轴指向正东。

重力传感器用于获取竖直方向的加速度a_Y，水平加速度传感器用于获取水平方向的加速度a_X和a_Z。

陀螺仪用于检测姿态，获得当前系统的旋度，共有三个值r_X、r_Y、r_Z。根据这三个旋度，可以确定使用者头的朝向。

存储单元5(采用常规产品)安装在头盔内部与CPU处理器、电池相连，由电池供电，用于存储CPU处理器运算所产生的数据。

深度摄像头6(采用常规产品)为两个，左右对称镶嵌在头盔前部且与CPU处理器、电池相连，由电池供电，深度摄像头利用红外灯光源进行深度测量，获得当前深度摄像头视野内所有像素点的深度；产生当前视野内有关深度的灰度图像并输出至CPU处理器。

普通摄像头7(采用常规产品)为两个，左右对称镶嵌在头盔前部且与CPU处理器、电池相连，由电池供电，用于获得当前普通摄像头视野内所有像素点的RGB值，并输出至CPU处理器；

深度摄像头利用红外灯光源进行深度测量，获得当前深度摄像头视野内所有像素点的深度；普通摄像头获得当前普通摄像头视野内所有像素点的RGB值。两种摄像头采集的信息通过CPU处理器完成下面两个功能：

1利用现有技术实现手势识别，完成交互。

2采集局部空间信息，实现地点匹配。即通过现有技术，在不同地点不同视角下以当前摄像头视野内图像进行特征提取得到一组特征向量，存储后进行匹配即可实现地点识别。

全息镜片8(采用常规产品)安装在头盔前下部，靠近嘴处，且与CPU处理器相连，CPU处理器接收的各种信号转化为光信号后输入到全息镜片8，能够实现三维投影显示，人眼透过镜片可以看到三维投影与现实结合；显示在全息镜片上的信息包括目标点位置、当前位置、各传感器工作状态、关键点识别状态。

麦克风9(采用常规产品)安装在头盔前下部，靠近嘴处，且与CPU处理器、电池相连，由电池供电，用于将捕获的声音信号转化为电信号并输出至CPU处理器。利用现有的语音识别算法，可以实现简单的语音输入界面，实现与设备的交互。

语音播放器13为两个左右对称安装在头盔侧部，靠近人耳处，且与CPU处理器、电池相连，由电池供电，CPU处理器接收的各种信号转化为声音信号输入到语音播放器13进行播放储存的提示语音。

CPU处理器安装在头盔内部，用于构建主程序状态机，进行环境数据的存储和运算。在系统启动后，CPU处理器会进入到准备的状态。在其它硬件接收到相应的指令，并将信息传递给CPU处理器后，CPU会进入相应的状态，根据事先编程的逻辑进行不同的处理。如果进入到采集信息的状态中，当使用者决定采集某处空间的关键点信息时，CPU会将相应信息存储；在进入导航状态中，CPU则会将实现存储的空间关键点信息自动读出。整个系统的逻辑运算都由CPU处理器完成，主要任务包括：控制信息的读写，维护系统状态，深度摄像头和RGB摄像头获得图像的特征点提取与匹配，用户位置检测，物体显示等。

电池采用直流电池，安装在头盔内部，为系统供电并提供便携性。

本实施例中采用微软公司的HoloLens的硬件平台。该平台包含上述除头盔外的所有部件，且连接关系相同。所有部件的型号即为HoloLens使用的型号。

本发明提出的一种基于上述用于建筑内救援的智能头盔的救援导航方法，包括准备阶段和救援导航阶段，具体包括以下步骤：

1)准备阶段；具体步骤如下：

1-1)建立建筑物的三维模型：

建立三维模型就是对建筑物进行三维建模。透过全息镜片，使用者可以从不同角度观察建筑物的三维模型，从而对建筑物整体状况产生直观的了解。建立建筑物的三维模型的具体流程如下：

1-1-1)从建筑物建造时的建筑图纸获得建筑物CAD平面图；

1-1-2)使用三维建模软件(本实施例采用SolidWorks)，将建筑物CAD平面图的地面、墙体及其它细节生成三维图形，得到建筑物的初步三维模型；

1-1-3)将步骤1-1-2)得到的的初步三维模型导入头盔中的CPU处理器中，对初步三维模型的不同的部分(例如墙体，地面等)赋予不同的材质，最终获得建筑物的三维模型(头盔在启动时将会自动载入该三维模型)；本实施例的三维模型的显示效果如图2所示。图中是清华大学FIT楼的整体三维模型，通过对墙体的三维建模，可以得到走廊、房间等建筑信息；图中白色字体是状态提示。“On”表示设备正常运行，”NoLoad”表示没有载入关键点信息。

1-2)标定关键点；

将建筑物的入口处定义为三维笛卡尔坐标系O_xyz的原点，将原点和建筑物内所有的岔路口、拐角处的三维坐标点作为该建筑物的关键点；采集这些关键点的信息作为关键点的标定。标定后的关键点用于在建筑物内对头盔使用者救援的定位和导航；具体步骤如下：

1-2-1)确定关键点；

根据步骤1-1)建立的建筑物的三维模型，以该建筑物的入口处为原点建立三维笛卡尔坐标系O_xyz，定义三维笛卡尔坐标系O_xyz的原点和建筑物内所有的岔路口、拐角处的三维坐标点为该建筑物的关键点；在该坐标系中对所有的关键点依次进行编号，形成关键点集合W，并将集合W中的每个关键点w_i的三维坐标初始化为(0,0,0)，其中i是该关键点的编号，1≤i≤N，N是建筑物内关键点的总个数；

1-2-2)采集关键点的标定信息，完成对所有关键点的标定；

采集的标定信息包括每个关键点的三维坐标和关键点位置的局部空间信息；从三维笛卡尔坐标系O_xyz的原点出发(原点坐标保持(0,0,0)不变)，按照关键点集合W中编号递增的顺序，使用者佩戴头盔依次前往三维模型中各关键点在建筑中的实际位置进行关键点的三维坐标和关键点位置的局部空间信息的采集；

具体步骤如下

1-2-2-1)采集关键点的三维坐标；

使用者从关键点w_i出发前往关键点w_i+1，采集关键点w_i+1的三维坐标(由于使用者是从原点出发依次标注)，w_i的三维坐标是已知的，则计算出从w_i到w_i+1的位移即得到w_i+1的三维坐标，具体包括：通过头盔的CPU处理器实时读取水平加速度传感器和重力传感器获得X,Y,Z轴方向的加速度a_X，a_Y，a_Z；计算得到三个方向上的分别的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；当使用者到达w_i+1点时，更新关键点w_i+1点的坐标：w_i+1＝w_i+Δw；具体计算位移如下(已知技术)：

设使用者初始时刻为t₀，初始位移为X₀＝X(t₀)，初始速度为v₀＝v(t₀)；由于头盔的加速度传感器的采样是离散的，设采样间隔为T，设t_k在时刻读到的加速度传感器的值为a(t_k)＝{a_X(t_k),a_Y(t_k),a_Z(t_k)}，则可得t_k时刻速度为：

因此t_k时刻位移为：

当时间间隔T很小时，就可以通过加速度传感器计算得到较为准确的位移；

1-2-2-2)采集关键点位置的局部空间信息；

头盔使用者到达任一关键点w_i+1后，通过头盔上安装的普通摄像头和深度摄像头对当前场景的画面进行拍摄，通过现有技术(如SIFT算法)特征提取算法提取画面中的特征点，记录这些特征点的梯度信息，形成关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1；

1-2-2-3)将步骤1-2-2-1)得到的关键点w_i+1的三维坐标及步骤1-2-2-2)得到的关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1存入特征向量集合B，关键点w_i+1标定完成；

1-2-2-4)使用者从w_i+1出发，重复步骤1-2-2-1)至步骤1-2-2-3)，直到关键点集合W中的所有关键点标定完成；

1-3)根据步骤1-2)标定的各关键点信息生成各个关键点的连通信息，用于生成导航路径；连通信息通过邻接矩阵M表示，矩阵M的第i行第j列元素m_ij为关键点w_i和关键点w_j之间的距离，该距离可由关键点w_i和关键点w_j的三维坐标计算得到；如果两个关键点不连通，则该距离为预先设定的距离最大值MAX，本实施例中MAX＝10000m。

2)救援导航阶段；具体步骤如下：

2-1)确定起点；

头盔使用者进入已经完成步骤1)准备阶段的建筑物后，在建筑物的某处开启头盔，定位出自身当前的位置，作为起点。具体步骤如下

当使用者在建筑物内行进到自身所在位置附近的任意一个关键点(即上述的建筑入口、岔路口或拐角处)时，使用者发出语音指令，头盔通过深度摄像头采集局部空间信息的方法采集当前位置的局部空间特征向量b′；通过匹配，在特征向量集合B中找到与b′最接近的局部空间特征向量b_i；

则局部空间特征向量b_i所对应的关键点w_i即为该使用者的起点，并且读取该关键点在三维笛卡尔坐标系O_xyz中的坐标记为s；具体流程为：通过头盔实时拍摄到的画面计算得到当前位置的局部空间特征向量b′，并将b′和步骤1)储存在头盔中的特征向量集合B中的所有局部空间特征向量进行匹配，若和集合B中局部空间特征向量b_j(1≤j≤N)匹配度最高，则可得知此时使用者位于关键点w_j处。匹配方法可使用现有技术，本实施例采用计算二范数的方法。

2-2)选取目的地；

使用者发出语音指令打开储存在头盔中的建筑物三维模型，建筑物的三维模型通过全息镜片显示到使用者眼前，使用者通过在模型上点击的方式在模型中选取目的地，选取的手势通过深度摄像头的手势识别技术识别，该技术为现有技术。选取完成后，得到目的地在三维笛卡尔坐标系O_xyz中的坐标记为d；

2-3)规划路径；

根据起点和目的地的位置，通过邻接矩阵M规划出前往目的地的最短路径L表达式为：

L＝{s w′₁ w′₂ … w′_n d}

{w′_i∈W,1≤i≤n}是该路径经过的关键点，其中n是从起点到达目的地所经过的关键点个数。最短路径规划的方法为现有技术，本发明采用了Dijkstra算法规划路径；

2-4)导航；

使用者通过在全息镜片上显示的规划路径指引箭头指引到达目的地；箭头的方向是由使用者经过的前一个关键点w′_i和当前关键点w′_i+1确定的；

箭头方向生成具体方法为：首先计算v＝w′_i+1-w′_i，v即是箭头的方向向量，其所在的坐标系即是所绘制地图的三维笛卡尔坐标系O_xyz。然后使用全息镜片，将向量v用三维箭头显示在使用者眼前。箭头一直指向同一个绝对方向，但会根据陀螺仪测量的旋度(即使用者头的朝向)改变在全息镜片上投射的旋度，保持直观性。该三维显示方法由全息镜片实现，属于现有技术。箭头显示效果如图3所示。图中白色字体是状态提示。“On”表示设备正常运行，“Load”载入了关键点信息。“3-226”表示目标房间的房间号。红色的箭头是导航指引提示，指向下一步前进的方向。

本实施例的导航采用分段导航的方式进行，即指导使用者从一个关键点到达下一个关键点，直到到达目的地；从w′_i到w′_i+1的导航具体方法如下：

2-4-1)使用者从当前出发点w′_i出发时，自动更新当前的位置坐标loc＝w′_i，并使用箭头方向生成方法在使用者眼前显示指引箭头；

2-4-2)在使用者根据指引箭头前往w′_i+1的过程中，CPU处理器实时使用通过加速度传感器计算得到位移的方法计算出三个方向上的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；

2-4-3)实时更新当前位置坐标，loc＝w′_i+Δw；

2-4-4)计算当前位置坐标loc与w′_i+1的距离并判定：当该距离小于设定阈值thr时，则认为到达w′_i+1，然后更新当前位置坐标为loc＝w′_i+1，进入步骤2-4-5)；否则，沿着箭头指示方向继续前进，直至当前位置坐标loc与w′_i+1的距离小于设定阈值thr；

2-4-5)重新返回步骤2-4-1)，更新w′_i+1为新的当前出发点，使用箭头方向生成方法在使用者眼前显示新的指引箭头，指向w′_i+2，直至最终到达目的地d。本发明中thr＝0.01米。常规取值在0.1米到0.3米为宜；

使用上述方法，在路径L上进行分段导航，即通过箭头方向可指引使用者到达目的地。

上述方法中还包括当遇到恶劣环境如烟雾或弱光，妨碍人眼进行观察时，通过语音指令开启环境增强模式，实时进行周围局部环境建模，将模型网格投射于全息镜片，覆盖在显示环境上，即可实现环境增强。

局部环境建模方式基于深度摄像头完成，获取到视野中每一像素的深度后，在视野的每个像素所对应的深度处设置一个发光点，将所有的发光点连接起来后就在视野中组成了一层蒙在现实空间表面上的网状物，从而实现勾勒视野内环境轮廓的功能，投射至镜片上即可完成实时环境增强。环境增强效果如附图4所示。当前场景下黑暗，无法准确判断周围墙体或障碍物。开启环境增强模式后将在墙体上附着如图中的白色线条标记墙体或障碍物。

实施例

下面介绍本发明的一个具体实施例。本实施例中头盔使用微软的HoloLens作为硬件平台，在其内置的Windows 10系统下运行本发明的方法。本实施例选取清华大学FIT楼作为测试的建筑，绘制三维地图，并模拟使用场景。

本发明中使用者使用语音和手势作为指令与头盔进行交互。手势指令包括“向下点击”和“拖动”，分别表示“确定”和“移动模型”。语音指令主要分为手势模式命令、三维模型命令、视觉增强命令、环境识别命令和导航命令。具体的语音指令功能如下表所示：

语音指令及其对应功能列表

本实施例的一种用于建筑内救援的智能头盔的救援导航方法，包括准备阶段和救援导航阶段，具体包括以下步骤：

1)准备阶段；具体步骤如下：

1-1)建立建筑物的三维模型：

1-1-1)从建筑物建造时的建筑图纸获得建筑物CAD平面图；

1-1-2)使用三维建模软件(本实施例采用SolidWorks)，将建筑物CAD平面图的地面、墙体及其它细节生成三维图形，得到建筑物的初步三维模型；

1-1-3)将步骤1-1-2)得到的的初步三维模型导入头盔中的CPU处理器中，对初步三维模型的不同的部分(例如墙体，地面等)赋予不同的材质，最终获得建筑物的三维模型(头盔在启动时将会自动载入该三维模型)；

本实施例中，建模时使用SolidWorks对建筑的CAD图进行凸台拉伸，然后把拉伸后的模型导入Unity3D软件中，得到最终的建筑物三维模型，并把该模型导入头盔进行使用。

1-2)标定关键点；具体步骤如下：

1-2-1)确定关键点；

根据步骤1-1)建立的建筑物的三维模型，以该建筑物的入口处为原点建立三维笛卡尔坐标系O_xyz，定义三维笛卡尔坐标系O_xyz的原点和建筑所有的岔路口、拐角处的三维坐标点为该建筑物的关键点；在该坐标系中对所有的关键点依次进行编号，形成关键点集合W，并将集合W中的每个关键点w_i的三维坐标初始化为(0,0,0)，其中i是该关键点的编号，1≤i≤N，N是建筑物内关键点的总个数；

具体步骤如下

1-2-2-1)采集关键点的三维坐标；

使用者从关键点w_i点出发前往关键点w_i+1点，采集关键点w_i+1点的三维坐标，w_i点的三维坐标为已知，则计算出从w_i点到w_i+1点的位移即得到w_i+1点的三维坐标，具体包括：通过头盔的CPU处理器实时读取水平加速度传感器和重力传感器获得X,Y,Z轴方向的加速度a_X，a_Y，a_Z；计算得到三个方向上的分别的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)。；当使用者到达w_i+1点时，更新关键点w_i+1点的坐标：w_i+1＝w_i+Δw；

1-2-2-2)采集关键点位置的局部空间信息，具体流程如下：

头盔使用者到达任一关键点w_i+1点后，通过头盔上安装的普通摄像头和深度摄像头对当前场景的画面进行拍摄，通过现有技术(如SIFT算法)特征提取算法提取画面中的特征点，记录这些特征点的梯度信息，形成关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1；

1-2-2-3)将步骤1-2-2-1)得到的关键点w_i+1点的三维坐标及步骤1-2-2-2)得到的关键点w_i+1点的局部空间特征向量b_i+1和距离向量l_i+1存入特征向量集合B，关键点w_i+1标定完成；

1-2-2-4)使用者从w_i+1出发，重复步骤1-2-2-1)至步骤1-2-2-3)，直到关键点集合W中的所有关键点标定完成；

本实施例中，使用者使用语音指令“Show Model”打开步骤1-1)建立的三维模型，并使用手势指令在模型上点击选择关键点。选取完成后使用语音指令“Hide Model”关闭三维模型。使用者移动到选取的关键点处，使用语音指令“Start Save”进入标定模式。

使用者使用语音指令“Start Scan”开始扫描当前场景，转动360度后，使用语音指令“End Scan”结束扫描。

使用语音指令“Save”保存当前关键点信息，当前关键点的标定结束。

1-3)根据步骤1-2)标定的各关键点信息生成各个关键点的连通信息，用于生成导航路径；连通信息通过邻接矩阵M表示，矩阵M的第i行第j列元素m_ij为关键点w_i和关键点w_j之间的距离，该距离可由关键点w_i和关键点w_j的三维坐标计算得到；如果两个关键点不连通，则该距离为预先设定的距离最大值MAX，本实施例中MAX＝10000m。

2)救援导航阶段；具体步骤如下：

2-1)确定起点；

头盔使用者进入已经完成步骤1)准备阶段的建筑物后，在建筑物的某处开启头盔，定位出自身当前的位置，作为起点。具体步骤如下

当使用者行进到自身所在位置附近的任意一个关键点(即上述的建筑入口、岔路口或拐角处)时，使用者发出语音指令，头盔通过深度摄像头采集局部空间信息的方法采集当前位置的局部空间特征向量b′；通过匹配，在特征向量集合B中找到与b′最接近的局部空间特征向量b_i；

则局部空间特征向量b_i所对应的关键点w_i即为该使用者的起点，并且读取该关键点在三维笛卡尔坐标系O_xyz中的坐标记为s；具体流程为：通过头盔实时拍摄到的画面计算得到当前位置的局部空间特征向量b′，并将b′和步骤1)储存在头盔中的特征向量集合B中的所有局部空间特征向量进行匹配，若和集合B中局部空间特征向量b_j(1≤j≤N)匹配度最高，则可得知此时使用者位于关键点w_j处。匹配方法可使用现有技术，本实施例采用计算二范数的方法。

本实施例中，使用者使用语音指令“Load”载入标定过的关键点信息

使用者行进到附近的任意一个关键点位置，使用语音指令“Detect”进行起点检测。若出现“Detect Error”则需重新检测或行进到另一个岔路口或拐角处进行检测。若成功将提示”DetectSuccessfully”。

2-2)选取目的地；

使用者发出语音指令打开储存在头盔中的建筑物三维模型，建筑物的三维模型通过全息镜片显示到使用者眼前，使用者通过在模型上点击的方式在模型中选取目的地，选取的手势通过深度摄像头的手势识别技术识别，该技术为现有技术。选取完成后，得到目的地在三维笛卡尔坐标系O_xyz中的坐标记为d；

本实施例中，使用语音指令“Show Model”调取当前建筑的三维模型，使用语音指令“Click”，“Rotate”，“Move”，“Zoom”可以在点击，旋转，移动，缩放四个模式中自由切换，配合手势点击拖动则可以实现各种操作。

使用语音指令“Floor X”(X为层号，一般为1，2，3等)显示单层模型。用手势点击各个房间可以看到各个房间的房间号信息，再次点击可以将其设为目的地。

使用语音指令“Hide Model”隐藏模型。

2-3)规划路径；

根据起点和目的地的位置，通过邻接矩阵M规划出前往目的地的最短路径L表达式为：

L＝{s w′₁ w′₂ … w′_n d}

{w′_i∈W,1≤i≤n}是该路径经过的关键点，其中n是从起点到达目的地所经过的关键点个数。最短路径规划的方法为现有技术，本发明采用了Dijkstra算法规划路径；

2-4)导航；

使用者通过在全息镜片上显示的规划路径指引箭头指引到达目的地；箭头的方向是由使用者经过的前一个关键点w′_i和当前关键点w′_i+1确定的；

箭头方向生成具体方法为：首先计算v＝w′_i+1-w′_i，v即是箭头的方向向量，其所在的坐标系即是所绘制地图的三维笛卡尔坐标系O_xyz。然后使用全息镜片，将向量v用三维箭头显示在使用者眼前。箭头一直指向同一个绝对方向，但会根据陀螺仪测量的旋度(即使用者头的朝向)改变在全息镜片上投射的旋度，保持直观性。该三维显示方法由全息镜片实现，属于现有技术。

本实施例的导航采用分段导航的方式进行，即指导使用者从一个关键点到达下一个关键点，直到到达目的地；从w′_i到w′_i+1的导航具体方法如下：

2-4-1)使用者从当前出发点w′_i出发时，自动更新当前的位置坐标loc＝w′_i，并使用箭头方向生成方法在使用者眼前显示指引箭头；

2-4-2)在使用者根据指引箭头前往w′_i+1的过程中，CPU处理器实时使用通过加速度传感器计算得到位移的方法计算出三个方向上的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；

2-4-3)实时更新当前位置坐标，loc＝w′_i+Δw。；

2-4-4)计算当前位置坐标loc与w′_i+1的距离并判定：当该距离小于设定阈值thr时，则认为到达w′_i+1，然后更新当前位置坐标为loc＝w′_i+1，进入步骤2-4-5)；否则，沿着箭头指示方向继续前进，直至当前位置坐标loc与w′_i+1的距离小于设定阈值thr；

2-4-5)重新返回步骤2-4-1)，更新w′_i+1为新的当前出发点，使用箭头方向生成方法在使用者眼前显示新的指引箭头，指向w′_i+2，直至最终到达目的地d。本发明中thr＝0.01米。常规取值在0.1米到0.3米为宜；

本实施例中，在选取了目的地后，使用语音指令“Start Navigation”开启导航功能。此时视野中心偏下方将出现一个导引箭头，指向目的地的方向。跟随着该导引箭头的指向行进，导引箭头会不断发生变化，最终到达之前设定的目的地。当到达目的地后，将会出现“Arrive Destination”信息提示，且箭头会停在目的地位置。使用“End Navigation”语音指令结束导航模式。

在导航的任何时候，使用语音指令“Show Mesh”，都可以在视野中看到被勾勒出来的环境的信息，勾勒出来的图形会每隔5秒钟刷新一次，现实的范围大概在半径6米内。

使用语音指令“Hide Mesh”即可关闭勾勒出来的环境信息。

Claims (6)

1.一种用于建筑物内救援的智能头盔，其特征在于，包括：头盔、CPU处理器、存储单元、重力传感器、陀螺仪、水平加速度传感器、地磁传感器、普通摄像头、深度摄像头、麦克风和语音播放器各部件，为上述各部件供电的电池，以及全息镜片；其中，重力传感器、水平加速度传感器、地磁传感器和陀螺仪组成传感器系统；传感器系统与CPU处理器、存储单元相互连接组成单片系统；普通摄像头和深度摄像头组成摄像头系统；摄像头系统、语音播放器、全息镜片、麦克风分别与单片系统连接。

2.如权利要求1所述的智能头盔，其特征在于，所述重力传感器、陀螺仪、水平加速度传感器和地磁传感器均安装在头盔内部且与CPU处理器、电池相连，由电池供电，产生的信号均输出至CPU处理器。

3.如权利要求1所述的智能头盔，其特征在于，所述存储单元安装在头盔内部与CPU处理器、电池相连，由电池供电，用于存储CPU处理器运算所产生的数据。

4.如权利要求1所述的智能头盔，其特征在于，所述深度摄像头为两个，左右对称镶嵌在头盔前部且与CPU处理器、电池相连，由电池供电，深度摄像头利用红外灯光源进行深度测量，获得当前深度摄像头视野内所有像素点的深度，产生当前视野内有关深度的灰度图像并输出至CPU处理器。

5.如权利要求1所述的智能头盔，其特征在于，所述普通摄像头为两个，左右对称镶嵌在头盔前部且与CPU处理器、电池相连，由电池供电，用于获得当前普通摄像头视野内所有像素点的RGB值，并输出至CPU处理器。

6.一种基于如权利要求1所述智能头盔的救援导航方法，其特征在于，包括准备阶段和救援导航阶段，包括以下步骤：

1)准备阶段；具体步骤如下：

1-1)建立建筑物的三维模型；具体步骤如下：

1-1-1)从建筑物建造时的建筑图纸获得建筑物CAD平面图；

1-1-2)使用三维建模软件，将建筑物CAD平面图的地面、墙体及其它细节生成三维图形，得到建筑物的初步三维模型；

1-1-3)将步骤1-1-2)得到的的初步三维模型导入头盔中的CPU处理器中，对初步三维模型的不同的部分赋予不同的材质，最终获得建筑物的三维模型；

1-2)标定关键点；具体步骤如下：

1-2-1)确定关键点；

根据步骤1-1)建立的建筑物的三维模型，以该建筑物的入口处为原点建立三维笛卡尔坐标系O_xyz，定义三维笛卡尔坐标系O_xyz的原点和建筑物内所有的岔路口、拐角处的三维坐标点为该建筑物的关键点；在该坐标系中对所有的关键点依次进行编号，形成关键点集合W，并将集合W中的每个关键点w_i的三维坐标初始化为(0,0,0)，其中i是该关键点的编号，1≤i≤N，N是建筑物内关键点的总个数；

1-2-2)采集关键点的标定信息，完成对所有关键点的标定；

采集的标定信息包括每个关键点的三维坐标和关键点位置的局部空间信息；从三维笛卡尔坐标系O_xyz的原点出发，按照关键点集合W中编号递增的顺序，使用者佩戴头盔依次前往三维模型中各关键点在建筑中的实际位置进行关键点的三维坐标和关键点位置的局部空间信息的采集；具体步骤如下

1-2-2-1)采集关键点的三维坐标；

使用者从关键点w_i出发前往关键点w_i+1，采集关键点w_i+1的三维坐标，w_i的三维坐标为已知，则计算出从w_i到w_i+1的位移即得到w_i+1的三维坐标，具体包括：通过头盔的CPU处理器实时读取水平加速度传感器和重力传感器获得X,Y,Z轴方向的加速度a_X，a_Y，a_Z；计算得到三个方向上的分别的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；当使用者到达w_i+1时，更新关键点w_i+1的坐标：w_i+1＝w_i+Δw；

1-2-2-2)采集关键点位置的局部空间信息；

头盔使用者到达任一关键点w_i+1后，通过头盔上安装的普通摄像头和深度摄像头对当前场景的画面进行拍摄，提取画面中的特征点，记录特征点的梯度信息，形成关键点w_i+1的局部空间特征向量b_i+1和距离向量l_i+1；

1-2-2-3)将步骤1-2-2-1)得到的关键点w_i+1的三维坐标及步骤1-2-2-2)得到的关键点w_i+1的局部空间特征向量b_j+1和距离向量l_i+1，存入特征向量集合B中，关键点w_i+1标定完成；

1-2-2-4)使用者从w_i+1点出发，重复步骤1-2-2-1)至步骤1-2-2-3)，直到关键点集合W中的所有关键点标定完成；

1-3)根据步骤1-2)标定的各关键点信息生成各个关键点的连通信息；连通信息通过邻接矩阵M表示，矩阵M的第i行第j列元素m_ij为关键点w_i和关键点w_j之间的距离，该距离由关键点w_i和关键点w_j的三维坐标计算得到；如果两个关键点不连通，则该距离为预先设定的距离最大值MAX；

2)救援导航阶段；具体步骤如下：

2-1)确定起点；

头盔使用者进入已经完成步骤1)准备阶段的建筑物后，开启头盔，使用者在建筑物内行进到自身所在位置附近的任意一个关键点时，使用者发出语音指令，头盔通过深度摄像头采集当前位置的局部空间特征向量b′；通过匹配，在特征向量集合B中找到与b′最接近的局部空间特征向量b_i；则局部空间特征向量b_i所对应的关键点w_i即为该使用者的起点，并且读取该关键点在三维笛卡尔坐标系O_xyz中的坐标记为s；

2-2)选取目的地；

使用者发出语音指令打开储存在头盔中的建筑物三维模型，建筑物的三维模型通过全息镜片显示到使用者眼前，使用者通过在模型上点击的方式在模型中选取目的地，选取完成后，得到目的地在三维笛卡尔坐标系O_xyz中的坐标记为d；

2-3)规划路径；

根据起点和目的地的位置，通过邻接矩阵M规划出前往目的地的最短路径L表达式为：

L＝{s w′₁ w′₂ … w′_n d}

{w′_i∈W,1≤i≤n}是该路径经过的关键点，其中n是从起点到达目的地所经过的关键点个数；

2-4)导航；

采用分段导航的方式，使用者通过在全息镜片上显示的规划路径指引箭头指引使用者从一个关键点到达下一个关键点，直到到达目的地；箭头的方向是由使用者经过的前一个关键点w′_i和当前关键点w′_i+1确定的；从w′_i到w′_i+1的导航具体方法如下：

2-4-1)使用者从当前出发点w′_i出发时，自动更新当前的位置坐标loc＝w′_i，并使用箭头方向生成方法在使用者眼前显示指引箭头；

2-4-2)在使用者根据指引箭头前往w′_i+1的过程中，CPU处理器实时计算出三个方向上的位移Δx,Δy,Δz，并组成向量Δw＝(Δx,Δy,Δz)；

2-4-3)实时更新当前位置坐标，loc＝w′_i+Δw；

2-4-4)计算步骤2-4-3)得到的当前位置坐标loc与w′_i+1的距离并判定：当该距离小于设定阈值thr时，则认为到达w′_i+1，然后更新当前位置坐标为loc＝w′_i+1，进入步骤2-4-5)；否则，沿着箭头指示方向继续前进，直至当前位置坐标loc与w′_i+1的距离小于设定阈值thr；

2-4-5)重新返回步骤2-4-1)，更新w′_i+1为新的当前出发点，使用箭头方向生成方法在使用者眼前显示新的指引箭头，指向w′_i+2；直至最终到达目的地d。