CN108225281A - 一种基于摄像机的飞行员头部姿态检测方法 - Google Patents

Abstract

本发明涉及一种基于摄像机的飞行员头部姿态检测方法。飞行员头部佩戴的耳机上固定一个镜头朝上的摄像机；在摄像机镜头正上方的驾驶舱内部安装有一幅标识图，该标识幅为黑底白色符号，符号为荧光材质；在使用该方法检测飞行员头部姿态时，首先飞行员会摆正头部姿态，然后按下对准开关，进而通过摄像机获取一幅标准的标识图像；随后飞行员头部摆动时，摄像机实时拍摄标识图，与存储的标准状态下的标识图像并进行叠加以及提取特征值等一系列处理，通过飞行员头部位置与图像位置之间的换算关系，计算当前飞行员头部的姿态，包括头部的俯仰角、横滚角和航向角。本方法检测结果精度高，速度快，适合小型通用飞机飞行员的头部定位，无需更改飞机航电系统，成本低。

Description

一种基于摄像机的飞行员头部姿态检测方法

技术领域

本发明涉及一种飞行员头部姿态检测方法，特别是一种基于摄像机的飞行员头部姿态检测方法。

背景技术

随着科学技术的进步以及经济水平的提高，2-5座的小型飞机市场越来越大，通航飞机的飞行员也越来越多。小型飞机出于成本和驾驶舱空间的考虑，不会安装大型客机上安装的增强态势感知能力的航电系统，比如平视显示器等。为了提高小型飞机起降安全性，会有越来越多的基于头戴式的态势感知系统得到应用，比如头戴式平视显示器。头戴式平视显示器上会显示当前的飞机姿态信息以及依据地形数据库渲染的外部的三维地形信息，而为了正确的显示这些信息而不受飞行员头部移动的影响，需要实时的获取飞行员的头部姿态信息，以对显示的飞机姿态信息以及三维地形信息进行校正。目前，对于头部姿态信息的获取主要使用陀螺仪，或者电磁定位装置；前者成本比较昂贵，不符合小型飞机的定位，而后者需要对驾驶舱进行改造，同时无线电信号也有可能干扰飞机其他航电设备正常运行。

发明内容

针对现有技术存在的问题，本发明提出一种基于摄像机的飞行员头部姿态检测方法，该方法精度高，价格便宜而且不需要对驾驶舱进行改动。

实现该方法的装置包括在飞行员头戴耳机上固定的一个镜头朝上的摄像机，耳机侧有一个对准开关，以便于在开始使用此方法时，便于进行对准操作；在摄像机镜头正上方的驾驶舱内部安装有一幅标识，该标识为黑底白色符号，符号为荧光材质；一台计算机，用于获取摄像机拍摄到的图像并进行处理，计算出飞行员的头部姿态。在使用该方法检测飞行员头部姿态时，首先飞行员会摆正头部姿态，然后通过摄像机获取一幅标准的标识图像；在飞行员头部姿态检测时，摄像机实时拍摄到标识图，与存储的标准状态下的标识图像并进行比对，确定当前摄像机拍摄到的画面与初始图像之间的位置关系；随后，通过飞行员头部位置与图像位置之间的换算关系，计算当前飞行员头部的姿态，包括头部的俯仰角、横滚角和航向角。

基于上述原理，本发明的技术方案为：

所述一种基于摄像机的飞行员头部姿态检测方法，其特征在于：包括以下步骤：

步骤1：飞行员摆正头部位置，通过安装在飞行员头戴耳机上的镜头朝上的摄像机拍摄处于摄像机镜头正上方的方形标识，得到基准图；方形标识中具有第一标识和第二标识，第一标识和第二标识具有不同辨识特征，计算机建立以基准图中心为原点，以基准图边缘方向为X方向和Y方向的坐标系；基准图对应的飞行员头部姿态的俯仰角、横滚角和航向角均为0，X方向对应飞行员头部的横滚角，Y方向对应飞行员头部姿态的俯仰角；

步骤2：摄像机在工作过程中实时拍摄标识图，并将实时拍摄标识图与基准图进行叠加；

基准图中第一标识中心在坐标系中处于A点，坐标为(a,b)，第二标识中心在坐标系中处于C点，坐标为(e,f)；实时拍摄的标识图中，第一标识中心在坐标系中处于B点，坐标为(c,d)，第二标识中心在坐标系中处于D点，坐标为(g,h)；

得到对应该实时标识图的飞行员头部姿态为：

横滚角α＝P*(c-a)，俯仰角β＝P*(d-b)，其中P为预先确定的常数；

航向角通过以下过程得到：将C点在X轴移动(c-a)，Y轴移动(d-b)，得到C1点，BC1与BD之间的夹角即为航向角。

进一步的优选方案，所述一种基于摄像机的飞行员头部姿态检测方法，其特征在于：处于摄像机镜头正上方的标识图为黑色背景，白色标识符号，白色标识符号采用荧光材质。

有益效果

本发明由于采取以上技术方案，其具有以下优点：

1、本发明利用了一幅特殊设计的标识图，该标识图能够确保摄像机在强光或者黑暗的环境下，准确的拍摄到标识图中的符号，降低了环境光对摄像机的影响；另外标识图只需要固定在飞行员头部上方的驾驶舱，安装精度要求低，而且不需要改动驾驶舱设备，成本以及影响均比较小。

2、本发明采用了摄像机作为传感器来计算飞行员的头部姿态信息，相比较传统的陀螺仪或者电磁定位的方式，成本低廉，体积小。传统的基于惯性测量的陀螺仪，一般精度越高，体积越大，另外，陀螺仪在长时间工作以后，还存在漂移的现象导致姿态检测精度下降。对于电磁定位，需要在驾驶舱安装电磁装置，首先有可能会影响驾驶舱其他航电系统的正常工作，其次，对驾驶舱的改动比较大，成本较高。

3、通过在计算机中采集摄像机拍摄到的图像，与在校准时拍摄到的基准图像进行叠加，并提取特征值，最终基于特征值在图像中的坐标信息，来确定摄像机的位置信息，然后通过摄像机的坐标系与飞行员头部坐标系的转换关系，来确定飞行员的头部姿态信息，其计算精度高，而且不存在长时间工作漂移的问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的结构示意图；

图2是本发明标识图示意图；

图3是本发明图像处理过程示意图；

图4是本发明头部姿态计算示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供了一种精度高，价格便宜而且不需要对驾驶舱进行改动的基于摄像机的飞行员头部姿态检测方法：飞行员头部固定一个镜头朝上的摄像机；在摄像机镜头正上方的驾驶舱内部安装有一幅标识图，该标识幅为黑底白色符号，符号为荧光材质；一台嵌入式计算机，用于获取摄像机拍摄到的图像并进行处理，计算出飞行员的头部姿态。在使用该方法检测飞行员头部姿态时，首先飞行员会摆正头部姿态，然后通过摄像机获取一幅标准的标识图像；在飞行员头部姿态检测时，摄像机实时拍摄到标识图，会与存储的标准状态下的标识图像并进行比对，确定当前摄像机拍摄到的画面与初始图像之间的位置关系；随后，通过飞行员头部位置与图像位置之间的换算关系，计算当前飞行员头部的姿态，包括头部的俯仰角、横滚角和航向角。

所述摄像机其镜头朝向飞行员头部正上方，镜头分辨率为720*480的摄像机，固定在飞行员的耳机上面，摄像机通过一根电缆与嵌入式计算机连接，电缆中包含了给摄像机供电的电源线以及将摄像机拍摄的画面传输给计算机的DVI视频线。

所述标识图为一幅黑底白色符号的图像。该图像固定在飞行员头部正常放，处于飞行员头部摄像机拍摄视角范围内。为了让摄像机能够在强烈阳光照射的情况下清晰的拍摄到标识图，该图像采用黑色底色白色符号；为了让摄像机能够在夜晚拍摄到标识图，该图像采用了荧光材质绘制符号，具体的符号样式如图2所示。

所述计算机具有视频采集卡，以及计算处理卡；该计算机通过视频采集卡采集摄像机拍摄到的标识图，然后与在校准时采集到的标识图进行图像的叠加与特征值的提取。并依据特征值的位置信息，来计算飞行员头部姿态信息，具体包括飞行员头部的俯仰角、横滚角以及航向角。

为了详细说明本发明的原理以及具体的检测步骤，现以实例并配合附图进行说明。

如图1所示，本发明包括一个设置在飞行员头顶正上方的驾驶舱3内的标识图4，一个固定在飞行员耳机上面的微型摄像机2，以及进行图形处理并计算的计算机6，计算机与头部佩戴的摄像机等装置通过电缆5连接。

如图2所示，固定在飞行员头部正上方的标识图是一幅黑底白色符号的使用荧光材质的单色图像，为了便于进行图像的特征提取与识别，另外，也便于在强光和弱光环境下摄像机能够拍摄到清晰的标识图画面。

如图3所示，基准图为飞行员在开始使用该发明时，首先需要摆正头部位置进行对准，然后按下对准按键1，获取摄像机拍摄的图像，即为头部姿态检测时的基准图，此时对应的飞行员的头部姿态的俯仰角、横滚角和航向角均为0。在进行对准以后，飞行员头部摆动一定角度后，摄像机实时拍摄标识图。计算机实时获取摄像机获取的标识图像，并将其与对准时拍摄的基准图进行叠加，如图3中的叠加后图像，以方便后续提取图像特征点及进行姿态计算。计算机在提取叠加后图像的圆形及正方形标记特征值后，以图像中圆形标记的中心为坐标原点建立坐标系，如图3中的右图所示。

如图4所示，建立坐标系以后，需要确定基准图中的圆的圆心A经过向右平移和向下平移后到达了实时拍摄图中圆的圆心位置B。A到达B可以看做A在横轴向右移动距离(c-a)后，再在纵轴上向下移动(d-b)。而有摄像机位置与飞行员头部位置的对应关系可以确定，基准图中的圆心A在横轴的移动代表了飞行员头部横滚角的变化，向右表示横滚角增加，向左表示横滚角减小，而圆心在横轴移动距离(c-a)与横滚角之间的对应关系为线性关系，即横滚角α＝P*(c-a)，其中P为常数；基准图中的圆心A在纵轴的移动代表了飞行员头部俯仰角的变化，向上表示增加，向下表示减小，圆心在纵轴移动距离(d-b)与飞行员头部俯仰角β＝P*(d-b)；随后，将基准图中的正方形中心C也进行移动，横轴移动距离(c-a)，纵轴移动距离(d-b)，最后到达图中的C1，而此时，BC1与BD之间的夹角即为飞行员头部的航向角。通过计算BC1长度以及BD长度和DC1长度，利用三角函数即可求得BC1与BD之间的夹角。

本发明在使用时，使用步骤如下：

1、飞行员佩戴好安装有摄像机的耳机后，摆正头部位置，保持视线与地平面平行，并且视线前方与飞机机头指向一致。

2、在确定头部姿态摆正后，按下电缆上的对准控制按钮，计算机获取当前的摄像机拍摄的图像，并以此为基准图像，以便于后面的姿态检测。

3、在对准后，随着飞行员头部的摆动，计算机实时采样摄像机拍摄的图像，并按照实时方式中的描述，进行图像的叠加，特征提取，坐标系建立以及位置计算，进而得到飞行员头部的俯仰角、横滚角和航向角。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (2)

1.一种基于摄像机的飞行员头部姿态检测方法，其特征在于：包括以下步骤：

步骤1：飞行员摆正头部位置，通过安装在飞行员头戴耳机上的镜头朝上的摄像机拍摄处于摄像机镜头正上方的方形标识，得到基准图；方形标识中具有第一标识和第二标识，第一标识和第二标识具有不同辨识特征，计算机建立以基准图中心为原点，以基准图边缘方向为X方向和Y方向的坐标系；基准图对应的飞行员头部姿态的俯仰角、横滚角和航向角均为0，X方向对应飞行员头部的横滚角，Y方向对应飞行员头部姿态的俯仰角；

步骤2：摄像机在工作过程中实时拍摄标识图，并将实时拍摄标识图与基准图进行叠加；

基准图中第一标识中心在坐标系中处于A点，坐标为(a,b)，第二标识中心在坐标系中处于C点，坐标为(e,f)；实时拍摄的标识图中，第一标识中心在坐标系中处于B点，坐标为(c,d)，第二标识中心在坐标系中处于D点，坐标为(g,h)；

得到对应该实时标识图的飞行员头部姿态为：

横滚角α＝P*(c-a)，俯仰角β＝P*(d-b)，其中P为预先确定的常数；

航向角通过以下过程得到：将C点在X轴移动(c-a)，Y轴移动(d-b)，得到C1点，BC1与BD之间的夹角即为航向角。

2.根据权利要求1所述一种基于摄像机的飞行员头部姿态检测方法，其特征在于：处于摄像机镜头正上方的标识图为黑色背景，白色标识符号，白色标识符号采用荧光材质。