CN1670478A - 一种基于视频图像测量飞行器姿态参数的方法 - Google Patents

Abstract

本发明公开了一种基于视频图像测量飞行器姿态参数的方法，包括步骤：1)在所述飞行器上设置一摄像装置；2)在飞行器飞行时，所述摄像装置拍摄一目标图像，该目标图像中包括一预先设定的目标物；3)提取所述目标物在所述目标图像上的位置信息；4)根据所述位置信息计算飞行器的俯仰角和/或横滚角。本发明利用视频图像获取飞行参数的方法不需要额外的传感器，可以有效减少负载的重量和体积，通过所获得的飞行参数有利于飞行器进行自主控制飞行。

Description

一种基于视频图像测量飞行器姿态参数的方法

技术领域

本发明涉及飞行器领域，更具体地说，本发明涉及利用航拍图像来提取微型飞行器飞行姿态的算法。

背景技术

微型飞行器(MAV)的自主飞行是提高微型飞行器性能和工作任务范围的一个非常重要的因素。因此，对微型飞行器飞行控制方法的研究是微型飞行器研究的重要环节。在对微型飞行器进行飞行控制时需要获取其飞行参数，例如飞行器的姿态角和高度等。

俯仰角和横滚角是确定飞行器飞行姿态的两个重要参数，是提供给飞行器控制系统的两个重要指标，直接影响飞机的飞行状况。如果这两个参数不能很好的获得，飞行器的平稳飞行将无法实现。现有的飞行器通常用安装在飞行器上的传感器来获取飞行姿态，由于微型飞行器对负载的重量、体积、功耗都有一定的限制，在飞机上配备传感器势必要增加飞行器的负载，因此利用传感器获取飞行姿态的方法对微型飞行器来所并不是最好的方法。故而需要寻找更简单有效的途径来提供飞行控制所需要的姿态参数

MAV的一项重要任务就是侦察，因此摄像系统是其不可缺少的负载。视频图像信息丰富，从视频信息中提取有用的飞行信息是一项非常有前途的工作。因此就需要有一种方法能够利用MAV航拍的图像获取飞行器的俯仰角和横滚角。

发明内容

本发明的目的在于提供一种飞行器飞行姿态的测量方法，该方法适用于微型飞行器；本发明的目的还在于提供一种飞行器飞行姿态的测量方法，该方法利用飞行器的航拍的视频图像来提取飞行器的俯仰角和横滚角。

为了实现上述目的，本发明提供一种基于视频图像测量飞行器姿态参数的方法，包括步骤：

1)在所述飞行器上设置一摄像装置；

2)在飞行器飞行时，所述摄像装置拍摄一目标图像，该目标图像中包括一预先设定的目标物；

3)提取所述目标物在所述目标图像上的位置信息；所述位置信息包括目标物在目标图像上的角度和垂直方向的位置

4)根据所述位置信息计算飞行器的俯仰角和/或横滚角；

5)预先标定所述飞行器在水平飞行时所述目标物在所述目标图像上的位置，该位置称为零位置。

计算所述横滚角的方法为：根据目标物在目标图像上的偏转角度计算所述目标物在所述目标图像上相对于零位置的相对偏转角度，根据该相对偏转角度计算飞行器的横滚角。

计算所述俯仰角的方法为：根据目标物在目标图像上垂直方向的位置计算所述目标物在所述目标图像上相对于零位置的垂直平移量，根据该垂直平移量计算飞行器的俯仰角。

所述目标物为地平线，所述位置信息为地平线在所述目标图像上的位置信息。所述地平线的位置信息由计算机测量得到。所述计算机测量地平线位置信息的方法包括：

a)将所述目标图像输入所述计算机；

b)计算机对所述目标图像进行预处理，以突现图像中的地平线；所述预处理包括边缘增强和二值化处理；所述的边缘增强处理是用高斯拉普拉斯算子对目标图像进行处理，所述二值化处理是用全局阈值确定方法对目标图像进行处理。

c)建立投影轴，将所述目标图像各像素点的像素值在投影轴上进行投影；

d)改变投影轴方向并重复步骤c)；

f)当目标图像在投影轴上的第一位置的投影值达到最大值时，目标图像上地平线的方向与此时投影轴的方向垂直，且地平线或其延长线经过所述投影轴上的第一位置；

g)根据步骤f)中投影轴的方向和第一位置在投影轴上的坐标计算地平线在目标图像上的方向和位置。

本发明利用视频图像获取飞行参数的方法不需要额外的传感器，可以有效减少负载的重量和体积，通过所获得的飞行参数有利于飞行器进行自主控制飞行。

附图说明

图1是本发明测量飞行器姿态参数方法的原理图；

图2是本发明测量飞行器姿态参数方法中测量飞行器俯仰角的原理图；

图3是本发明测量飞行器姿态参数方法中提取地平线的原理图；

图4是图3的提取地平线方法的一个实施例。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

本发明的测量飞行器飞行姿态的方法是根据飞行器在飞行过程中拍摄的图像来获取的。在该拍摄的图像中包括使用者预先选择的目标物，因此也将该图像称为目标图像。当飞行器在飞行过程中发生俯仰或者横滚时，该目标物在目标图像中的位置就会发生变化。目标物在图像中位置的变化信息直接反映了飞行器飞行过程中的俯仰角和横滚角。

在本发明中，目标物的选取是一个关键步骤。该目标物的选取应该易于在目标图像中测量其位置变化。而且，在本发明的测量过程中，关心的是目标物在目标图像中位置的变化，因此该目标物的选取应该易于确定飞行器水平飞行时，即俯仰角和横滚角为零时，该目标物在目标图像中的位置。在实际应用中，可选的目标物有多种，例如在飞行器飞行区域显著存在的建筑物、山脉或河流等。在本发明中，目标物优选为地平线。在下面的描述中可以看出，将地平线作为目标物有着特别的优点。

地平线定义是从地面上一点所看到的形成地球表面部分的限界的圆周。向水平方向望去，天地相交的地方就是地平线。对于一幅图像而言，地平线表现为一条有方向的直线，它把图像中的天空和地面景物分开。因此，地平线理论上是将图像分成两部分的直线。地平线的这些特点特别有利于在图像中提取其位置信息，从而有利于本发明飞行器俯仰角和横滚角的测量。

为了保证安装有摄像头的飞行器在大部分飞行时段能够拍摄到地平线，优选将摄像装置或者说摄像头斜向前固定在飞行器机头的部位。

如前所述，在测量飞行器的俯仰角和横滚角时，所关心的是地平线的位置变化，因此需要预先标定飞行器水平飞行时拍摄到的地平线在目标图像中的位置，该位置可称为零位置。这可以通过调整摄像头的角度来调节。例如在图1中，可以调整摄像头使得地平线的零位置位于目标图像1中间的一条水平直线，在图1中用标号2表示零位置地平线。

在图1中，用标号3表示飞行器飞行时拍摄到的一条地平线，地平线3相对于零位置地平线2发生了位置变化，说明飞行器发生了俯仰或者滚动。在图1中，参考线4是与地平线3平行的一条直线，是为了更清楚地说明本发明而引入的。零位置地平线2旋转θ角度后与参考线4重合，再向上平移d后可与地平线3重合。

地平线实际上是一个圆弧线，但由于地球半径相对于人的视线而言很大，因此人们看见的地平线通常是一条直线，飞行器的横滚角Φ是指飞行器在飞行过程中以水平线为轴的转动。地平线是水平方向上的一条直线，当摄像头以水平轴旋转时，地平线在目标图像中的表现是向其反方向旋转，地平线偏离水平方向的角度与横滚角Φ一致，即Φ＝θ。在图1中，目标图像1中的地平线3相对于零位置地平线2顺时针旋转了θ角度，则说明飞行器逆时针旋转了θ角度。

飞行器俯仰角发生变化，相应的镜头将相对于地面有一个角度的旋转。这个旋转运动使得地平线在目标图像上的位置会发生垂直方向的位置改变。摄像头旋转角与地平线在目标图像中位置变化之间的关系可以用图2来表示。

在图2中，当飞行器水平飞行时，由于地平线5距离摄像头的成像透镜6的位置可以近似为无穷远的正前方，此时地平线5在成像透镜6的聚焦平面7的第一位置8处成像，第一位置8也就对应着图1中的零位置地平线2。当飞行器向上仰起ψ角度时，成像透镜6也随之仰起ψ角度，地平线5相对于成像透镜6向下运动至地平线5’处，地平线5’在聚焦平面7的第二位置8’处成像。从图2可以看出，当飞行器向上仰起ψ角度时，地平线的成像位置向上平移了d，这一点在图1中也可以看出。上仰角ψ与d的关系为：

ψ＝arctg(d/f)

其中，f为成像透镜6的焦距。

因此在图1中，根据d的大小可以确定飞行器ψ的值，而根据地平线3相对于零位置地平线2是向上或向下平移，而确定飞行器是上仰还是下俯。

根据上述方法，可以根据图1中地平线3相对于零位置地平线2的位置(包括旋转角度θ和平移距离d)成功提取出飞行器的横滚角Φ和俯仰角ψ。

在实际应用时，摄像头拍摄的图像通过飞行器上的无线传输系统发回地面站，地面站接收图像信号，并对其进行解码处理，得到包含地平线的目标图像，并根据本发明的方法提取飞行器的飞行姿态角。

在提取目标图像中的地平线位置信息时，最好是将数字图像信号作为原始数据输入给计算机，由计算机中的图像处理软件提取图像中的地平线位置信息。这样可以显著地提高速度。

在本发明中，当目标物为地平线时，本发明提供了一种优选的地平线位置信息提取方法或者说测量方法。该方法利用数字图像信号，通过边缘增强、图像二值化和定向投影等算法，寻找地平线所在的位置和方向。该方法具体包括如下步骤：

a)图像输入。

摄像头拍摄的图像通过飞行器上的无线传输系统发回地面站，地面站接收图像信号，并对其进行解码处理，得到包含地平线的目标图像数字图像信号，将该数字图像信号作为原始数据输入给计算机。

b)图像预处理。

在对图像进行投影计算，提取地平线的位置和方向前，要对图像进行简单的、必要的预处理，最大程度增强图像，突现图像中的地平线信息。这里的地平线信息主要是指地平线的像素值。

为了使算法尽量简单以提高算法的实时性，保证提取参数的实效性，图像预处理仅包括简单的边缘增强和二值化处理。

边缘增强可以突出图像中景物的边缘和轮廓，便于以后的投影以及特征提取等运算。边缘增强常用的算子有梯度算子、Robot算子、Laplace算子等。本方法选用不具空间方向性同时具有旋转不变性的线性算子高斯拉普拉斯(LOG)算子对图像进行处理，增强图像的线条信息。

在进行图像二值化时，根据对图像处理质量和速度的要求，选用全局阈值确定方法——大津法，这种方法是1980年由日本的大津展之提出来的。把图像直方图用某一灰度值K分割成两组，当被分割的两组之间的方差最大时，此灰度值就作为图像二值化处理的阈值。

利用计算出的阈值对视频图像进行二值化处理

$G(i,j)=\left\{\begin{array}{ccc}256& ,& G(i,j)>K\\ 0& ,& G(i,j)<K\end{array}\right.$

其中G(i，j)是像素点(i，j)的灰度值。

在通常情况下，地平线上下两边的场景反差较大，进行上述的二值化处理后，在目标图像中，地平线以上的天空部分基本上是白色，而地平线以下的部分基本上是黑色。

c)定向投影，图3是定向投影计算的原理。

如图3所示，定义两个平面坐标系：图像坐标系(OXY)和投影坐标系(OP)，O点为目标图像坐标系和投影坐标系的坐标原点。OX，OY为图像坐标系的两个坐标轴，正方向如图中箭头所示。OP是投影坐标系的坐标轴或者说投影轴，OP方向为正，且OP垂直于选定的投影方向，该投影方向在图3中如箭头C所示。

将目标图像各像素点的像素值在投影轴上进行投影，这里所说的投影就是指：基于投影轴上的一个点，将垂至于投影轴且通过该点的直线上的目标图像上的像素的像素值累加。例如在图3中，L₁L₂是垂至于投影轴OP的直线，且通过投影轴的L₀点，L₀也就是直线L₁L₂在OP轴上的投影位置，将目标图像上位于L₁和L₂之间或者说线段L₁L₂上的像素点的像素值累加后作为目标图像在L₀点的投影。

在图3中，投影轴OP上的A点和B点是目标图像在投影轴上的两个边界，很显然，在做投影计算时，只需要在两个边界之内进行。

当地平线在目标图像中的位置与L₁L₂重合时，如前所述，L₁L₂上方应该为天空的成像，在二值化处理后基本上为白色；L₁L₂下方应该为地面的成像，在二值化处理后基本上为黑色，在图3中用带阴影的区域表示。

如图3所示，当投影轴OP处于一定方向时，例如如图3所示的投影轴OP与OX轴的夹角为θ时，可以看出，将目标图像在投影轴OP上投影时，地平线(与L₁L₂重合)的投影位置为L₀，且在L₀位置的投影值最大。

从上述描述可知，将投影轴OP处于不同的方向或者处于不同的夹角θ，然后将目标图像在投影轴上投影，可在投影轴OP上获得不同的投影值。而当投影轴与目标图像上的地平线垂直时，地平线在投影轴上的投影将获得最大值。因此，在实际操作时，可以将投影轴OP置于不同的方向并进行前述的投影计算，根据投影值最大时投影轴的方向和该最大值在投影轴上的位置来确定地平线的方向和位置。

例如在图3中，当投影轴位于夹角θ时，在投影轴上的L₀点获得投影值的最大值，则根据夹角θ可以计算出目标图像上的地平线(与L₁L₂重合)相对于水平方向的夹角Φ，然后根据L₀在投影轴OP上的坐标n可以计算出地平线在图像中的位置。

图4是一幅图像在投影轴OP为某一方向时像素点投影的统计结果，从图中可以看出，投影值在n₀点出现峰值，说明在垂至于投影轴的方向并通过n₀点的直线上含有最多的像素值不为零的点。也就是说，这条直线最有可能是要寻找的地平线。

Claims (10)

1、一种基于视频图像测量飞行器姿态参数的方法，包括步骤：

1)在所述飞行器上设置一摄像装置；

2)在飞行器飞行时，所述摄像装置拍摄一目标图像，该目标图像中包括一预先设定的目标物；

3)提取所述目标物在所述目标图像上的位置信息；

4)根据所述位置信息计算飞行器的俯仰角和/或横滚角。

2、根据权利要求1所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，所述目标物为地平线，所述位置信息为地平线在所述目标图像上的位置信息。

3、根据权利要求1所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，还包括步骤：

5)预先标定所述飞行器在水平飞行时所述目标物在所述目标图像上的位置，该位置称为零位置。

4、根据权利要求3所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，步骤3)中所述位置信息包括目标物在目标图像上的角度，步骤4)中计算所述横滚角的方法为：根据目标物在目标图像上的偏转角度计算所述目标物在所述目标图像上相对于零位置的相对偏转角度，根据该相对偏转角度计算飞行器的横滚角。

5、根据权利要求3所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，步骤3)中所述位置信息包括目标物在目标图像上垂直方向的位置，步骤4)中计算所述俯仰角的方法为：根据目标物在目标图像上垂直方向的位置计算所述目标物在所述目标图像上相对于零位置的垂直平移量，根据该垂直平移量计算飞行器的俯仰角。

6、根据权利要求2所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，所述地平线的位置信息由计算机测量得到。

7、根据权利要求6所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，所述计算机测量地平线位置信息的方法包括：

a)将所述目标图像输入所述计算机；

b)计算机对所述目标图像进行预处理，以突现图像中的地平线；

c)建立投影轴，将所述目标图像各像素点的像素值在投影轴上进行投影；

d)改变投影轴方向并重复步骤c)；

f)当目标图像在投影轴上的第一位置的投影值达到最大值时，目标图像上地平线的方向与此时投影轴的方向垂直，且地平线或其延长线经过所述投影轴上的第一位置；

g)根据步骤f)中投影轴的方向和第一位置在投影轴上的坐标计算地平线在目标图像上的方向和位置。

8、根据权利要求7所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，步骤b)中的预处理包括边缘增强和二值化处理。

9、根据权利要求8所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，所述的边缘增强处理是用高斯拉普拉斯算子对目标图像进行处理。

10、根据权利要求8所述的基于视频图像测量飞行器姿态参数的方法，其特征在于，所述二值化处理是用全局阈值确定方法对目标图像进行处理。

Images