CN104463889A - 一种基于cv模型的无人机自主着陆目标提取方法 - Google Patents

Abstract

本发明公开了一种基于CV模型的无人机自主着陆目标提取方法，其步骤为：(1)图像预处理；输入：在无人机着陆过程中，地面摄像机拍摄的RGB三通道图像；输出：飞机特征较明显的单通道图像；(2)飞机机头区域分割；输入：预处理后的单通道图像；输出：图像中包含无人机机头部分的局部区域；(3)机头关键点提取；输入：包含无人机机头部分的局部区域；输出：无人机机头关键点坐标。本发明具有原理简单、适用性好、精度高等优点。

Description

一种基于CV模型的无人机自主着陆目标提取方法

技术领域

本发明主要涉及到无人机的设计领域，特指一种基于CV模型的无人机自主着陆目标提取方法。

背景技术

无人机在自主着陆过程中，通过摄像机获取无人机降落的图像，提取无人机机头的坐标并解算出世界坐标，来引导无人机的自主着陆。在这个过程中，从图像提取无人机机头图像坐标的精确性是其中的关键。传统方法中，利用提取角点、光流法、颜色概率密度法等方法提取飞机机头的坐标在精确性方面均存在不足。因此，亟需一种精度较高的无人机机头关键点提取方法。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、适用性好、精度高的基于CV模型的无人机自主着陆目标提取方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于CV模型的无人机自主着陆目标提取方法，其步骤为：

(1)、图像预处理；输入：在无人机着陆过程中，地面摄像机拍摄的RGB三通道图像；输出：飞机特征较明显的单通道图像；

(2)、飞机机头区域分割；输入：预处理后的单通道图像；输出：图像中包含无人机机头部分的局部区域；

(3)、机头关键点提取；输入：包含无人机机头部分的局部区域；输出：无人机机头关键点坐标。

作为本发明的进一步改进：所述步骤(1)的步骤为：

(1.1)首先判定飞机高度是否小于阈值；

(1.2)若高高度小于阈值，则对图像进行颜色滤波；

(1.3)将图像转化为HSV模型并取S通道，并对其进行直方图拉伸处理。

作为本发明的进一步改进：所述步骤(2)的步骤为：

(2.1)根据下式计算出的圆心坐标：

$\left\{\begin{array}{c}{X}_t=2X_{t-1}-X_{t-2}\\ Y_t=2Y_{t-1}-Y_{t-2}\end{array}\right.$

其中，为初始的符号距离函数，(X_t-1,Y_t-1)、(X_t-2,Y_t-2)分别为之前两帧提取的飞机

机头的图像坐标，(X_t,Y_t)即为的圆心位置；

(2.2)根据下式计算出的半径：

$R=\frac{\mathrm{HeadNum}}{4}$

其中HeadNum为飞机机头区域点的个数；

(2.3)通过下式进行迭代：

其中， ε为常数，T表示迭代时间步长，表示梯度算子；

(2.4)根据连续两次迭代的区域中机头特征点个数是否变化，判定迭代是否停止；

(2.5)若迭代停止，保存所包含的区域；

(2.6)对图像进行1×3的腐蚀操作，选取面积最大连通区域作为最终的目标区域。

作为本发明的进一步改进：所述步骤(3)的步骤为：

(3.1)根据下式计算局部区域中各像素点的权值：

${\mathrm{\&lambda;}}_i=\left\{\begin{array}{cc}\frac{0.2}{\mathrm{HeadNum}}& {\mathrm{index}}_i<210\\ \frac{\mathrm{HeadNum}-0.2*\mathrm{LowNum}}{\mathrm{HeadNum}*\mathrm{HighNum}}& {\mathrm{index}}_i>=210\end{array}\right.$

其中，HighNum、LowNum分别为像素值大于190和小于190的机头区域点的个数，index_i为机头区域点i的像素值；

根据下式计算无人机机头关键点坐标：

$(\mathrm{PlaneX},\mathrm{PlaneY})=\underset{i=1}{\overset{\mathrm{HeadNum}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i(X_i,Y_i);$

其中(PlaneX,PlaneY)为提取的机头关键点图像坐标，(X_i,Y_i)为机头区域点i的坐标；

(3.2)对左、右视觉在同一时刻拍摄图像提取机头关键点，并依据左、右摄像机的姿态信息和内部参数解算出无人机机头的世界坐标。

与现有技术相比，本发明的优点在于：本发明的基于CV模型的无人机自主着陆目标提取方法，基于CV模型并采用水平集方法提取出无人机机头位置，具有较高的精度。其中，利用无人机目标在视频中连续的运动特征，设置区域分割的初始条件，即的圆心和半径参数；并且通过设计迭代停止条件，大大减少了不必要的迭代步数。在分割获得多个独立的连通区域后，利用目标的形态特征和运动特征判定出其中的目标区域。最后，本发明利用加权平均方法求取无人机机头关键点。本发明对利用双目视觉为无人机着陆过程中无人机的定位具有重要意义和实用价值。

附图说明

图1是本发明的流程示意图。

图2是本发明的具体应用实例无人机在着陆过程中拍摄的RGB三通道图像(原图像)。

图3是本发明的具体应用实例中的单通道图像SImg。

图4是本发明的具体应用实例中直方图拉伸图。

图5是在具体应用实例中通过本发明生成轨迹与D-GPS生成轨迹的对比示意图。

图6是在具体应用实例中BRISK角点最大响应值法生成轨迹与D-GPS生成轨迹的对比示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明基于CV模型的无人机自主着陆目标提取方法，包括三个阶段：

(1)、图像预处理；即，输入：在无人机着陆过程中，地面摄像机拍摄的RGB三通道图像；输出：飞机特征较明显的单通道图像。

图像分割是对具有一定特征的区域进行提取，因此对无人机着陆的原始图像进行预处理，获取无人机特征更加明显的图像，是非常重要的环节。

对于一幅无人机在着陆过程中拍摄的RGB三通道图像(参见图2)，转换为HSV三通道图像并取S通道形成单通道图像SImg(参见图3)。

获取SImg最大像素值maxvalue：

maxvalue＝max(SImg)    (1)其中max(SImg)是指求取图像SImg最大的像素值。

对SImg进行直方图拉伸，方法为首先求取增益Gain：

$\mathrm{Gain}=\frac{255}{\max \mathrm{value}}---\left(2\right)$

随后通过式(3)获取直方图拉伸后的图像Img(参见图4)：

Img＝Gain×SImg    (3)

在具体应用时，当飞机离跑道较近时，跑道区域在以上预处理后的图像中的像素值也较大，导致在分割的过程中会把跑道区域包含进去。本发明是在飞机低于某一高度时，也就是在背景中出现大部分跑道区域时，此时飞机的颜色特征也较明显，因此首先使用阈值法进行滤波，然后再进行以上步骤的预处理。即：

index_B>Thread_{B_Up}||index_B<Thread_{B_Down}||index_G>Thread_{G_Up}||index_G<Thread_{G_Down}||index_R<Thread_{R_Down}    (4)

其中index_R、index_G、index_B分别表示像素点的R、G和B通道值。Thread_{B_Up}、Thread_{B_Down}、Thread_{B_Down}、Thread_{B_Down}和Thread_{B_Down}G分别表示R、G和B通道的阈值。

由上可知，第一阶段的具体步骤为：

(1.1)首先判定飞机高度是否小于阈值。

(1.2)若高高度小于阈值，则对图像进行颜色滤波。

(1.3)将图像转化为HSV模型并取S通道，并对其进行直方图拉伸处理。

(2)、飞机机头区域分割；即，输入：预处理后的单通道图像。输出：图像中包含无人机机头部分的局部区域。

CV模型是T.F.Chan和L.Vese提出的一种基于模型的分割模型，可视为一条初始闭合曲线C随着偏微分方程数值求解的迭代而不断演化，最终收敛至目标边界线的过程。这个过程等价于能量函数式(5)的值在满足式(6)的前提下不断减少直至到最小值的过程。闭合曲线C就是目标区域的分界线，它的内部是无人机区域，外部则是背景区域。

F^MS(u₀,C)＝μL(C)+varea(insideC)+λ₁∫_insideC(u-c₁)²dxdy+λ₂∫_outsideC(u-c₂)²dxdy    (5)

$\left\{\begin{array}{cc}u(x,y)=c_1& (x,y)\&Element;R_i,R_i\&SubsetEqual;\mathrm{insideC}\\ u(x,y)=c_2& (x,y)\&Element;R_i,R_i\&SubsetEqual;\mathrm{outsideC}\end{array}\right.---\left(6\right)$

其中L(C)表示边界曲线C的长度，area(insideC)表示C内部区域面积，u为输入图像，c₁、c₂分别为分割轮廓线内部和外部的像素平均值，μ,v≥0,λ₁,λ₂≥0为权重系数。因此(u-c₁)²和(u-c₂)²分别表示C内部和外部区域像素值的方差。

水平集方法是把低维的计算问题上升到更高一维。以二维曲线演化为例，平面曲线C被隐含地表达为三维连续函数曲面φ(x,y,t)的一个具有相同数值的等值曲线，φ(x,y,t)称为水平集函数；利用水平集方法，可以对上式进行求解。设为初始的符号距离函数，边界C隐含表达为的零水平集，即：

CV模型关于水平集的欧拉-拉格朗日方程：

其中表示梯度算子，μ为可调节常系数，并且：

使用规则化函数：

其中ε为常数，并对其进行差分离散化：

其中T表示迭代时间步长。

通过多次的迭代，水平集函数的零水平集逐渐逼近飞机的边界。

从实时性角度出发，需要对其设计迭代停止的条件。由于感兴趣区域为飞机的机头部分，并不是飞机整个区域。经统计，在预处理后的图像中，机头的像素值大小相对于机翼和机身较大，使用阈值分割法设定像素值大于200的像素点为特征点。在每次迭代后，对零水平集曲线内部的特征点数目判定有无变化，也就是判定此时的零水平集曲线是否包含了整个机头区域，若数目没有变化，则没有必要再进行迭代，则迭代停止。

为了方便初始的计算，一般取为圆。同时为了尽量减少迭代步骤，希望能够使包含尽量多的机头区域。利用了历史信息来对飞机的位置进行预测，即使用前两个时刻计算出的飞机机头世界坐标，线性预测出此时飞机机头的世界坐标，再利用转台的转角信息反推出飞机机头的图像坐标，作为的圆心。从实时性角度出发，将其过程简化为直接对飞机机头的图像坐标进行线性估值，即：

$\left\{\begin{array}{c}{X}_t=2X_{t-1}-X_{t-2}\\ Y_t=2Y_{t-1}-Y_{t-2}\end{array}\right.---\left(14\right)$

(X_t-1,Y_t-1)、(X_t-2,Y_t-2)分别为之前两帧提取的飞机机头的图像坐标，(X_t,Y_t)即为的圆心位置。

由于图像中存在许多噪点，在迭代的过程中为了尽量少的引入噪声区域，的半径需要尽可能的小。同样利用了历史信息对半径进行修改。将机头区域设定为最终分割的区域中像素值大于210的点的集合。通过上一时刻飞机机头区域点的个数，决定半径R的取值，即：

$R=\frac{\mathrm{HeadNum}}{4}---\left(15\right)$

其中HeadNum为飞机机头区域点的个数。

由于以上区域分割过程中，演化的闭合曲线适应拓扑结构的变化，因此分割的结果可能包含不只一个独立的连通区域。因此需要通过滤波算法挑选目标区域。

首先，利用目标的形态特征滤除尺寸远小于目标尺寸的区域。形态学滤波能够滤除不连通的结构和噪声从而选择出具有特定形态的结构。膨胀和腐蚀是形态学滤波中的基本算子，这里表示为f⊕b和fΘb。开运算fοb＝(fΘb)⊕b对于滤除尺寸小于模板的区域是非常有效的。对于固定大小的无人机，可以很方便的设置特定的模板进行开运算，从而有效滤除部分噪声区域。

为了滤除形态与目标相似的区域，本发明利用目标的运动特征。对于剩下的独立连通区域，分别计算出它们的中心Center_i(x_i,y_i)。找出与之前已经估计的目标中心在图像中的位置Estimate的圆心位置)最接近的区域，并且满足它们之间的距离小于阈值，那么选定此区域为目标区域。

综上所述，第二阶段的具体流程为：

(2.1)根据式(14)计算出的圆心坐标。

(2.2)根据式(15)计算出的半径。

(2.3)根据式(9)，(10)，(11)，(12)计算出各参数，并根据式(13)进行迭代。

(2.4)根据连续两次迭代的区域中机头特征点个数是否变化，判定迭代是否停止。

(2.5)若迭代停止，保存所包含的区域。

(2.6)对图像进行1×3的腐蚀操作，选取面积最大连通区域作为最终的目标区域。

(3)机头关键点提取；即，输入：包含无人机机头部分的局部区域。输出：无人机机头关键点坐标。

对于提取的飞机机头区域，本发明方法采用加权平均的方法求取飞机机头的关键点的图像坐标。利用预处理后的图像中，飞机区域越靠近机头像素值越大，本发明针对像素值大于190的像素点，通过其像素值进行分段，为此像素图像坐标设定权值，并求和获得机头关键点的图像坐标，即：

$(\mathrm{PlaneX},\mathrm{PlaneY})=\underset{i=1}{\overset{\mathrm{HeadNum}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i(X_i,Y_i)---\left(16\right)$

${\mathrm{\&lambda;}}_i=\left\{\begin{array}{cc}\frac{0.2}{\mathrm{HeadNum}}& {\mathrm{index}}_i<210\\ \frac{\mathrm{HeadNum}-0.2*\mathrm{LowNum}}{\mathrm{HeadNum}*\mathrm{HighNum}}& {\mathrm{index}}_i>=210\end{array}\right.---\left(17\right)$

其中(PlaneX,PlaneY)为提取的机头关键点图像坐标，(X_i,Y_i)为机头区域点i的坐标，HighNum、LowNum分别为像素值大于190和小于190的机头区域点的个数，index_i为机头区域点i的像素值。

通过上述分析可知，第三阶段的具体步骤为：根据式(17)计算局部区域中各像素点的权值，并根据式(16)计算无人机机头关键点坐标。对左、右视觉在同一时刻拍摄图像提取机头关键点，并依据左、右摄像机的姿态信息和内部参数解算出无人机机头的世界坐标。

以一个具体应用实例进行说明，基于无人机降落过程中左右摄像机所采集的图像集，使用本发明的方法进行批处理，对关键点进行解算生成无人机飞行轨迹。如图5和图6所示，以机载D-GPS(差分GPS)数据生成的轨迹为基准，与利用Brisk最大响应值方法提取关键点生成的轨迹进行比较，本发明方法在精度上有明显提高，特别是在无人机离地面跑道较近的阶段，误差明显降低。图5中线条1为本发明生成的轨迹，线条2为D-GPS生成的轨迹。图6中线条3为BRISK角点最大响应值法生成的轨迹，线条4是D-GPS生成的轨迹。

Brisk最大响应值方法首先检测出所有Brisk角点，并同时计算出每个角点的Brisk响应值。在这些角点中取具有最大响应值的角点作为无人机目标点。

综上所述，本发明基于CV模型，采用水平集方法提取出无人机机头位置，具有较高的精度。其中，利用无人机目标在视频中连续的运动特征，设置区域分割的初始条件，即的圆心和半径参数；并且通过设计迭代停止条件，大大减少了不必要的迭代步数。在分割获得多个独立的连通区域后，利用目标的形态特征和运动特征判定出其中的目标区域。最后，本发明利用加权平均方法求取无人机机头关键点。对利用双目视觉为无人机着陆过程中无人机的定位具有重要意义和实用价值。本发明的方法要求目标在空间以及视频中做连续运动，目标与背景在预处理后的单通道图像中具有一定的差异，并且目标必须出现在摄像机视野范围内。在出现目标在视野中丢失的情况后，需要以人机交互的方式重新设置的圆心和半径参数。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于CV模型的无人机自主着陆目标提取方法，其特征在于，步骤为：

(1)、图像预处理；输入：在无人机着陆过程中，地面摄像机拍摄的RGB三通道图像；输出：飞机特征较明显的单通道图像；

(2)、飞机机头区域分割；输入：预处理后的单通道图像；输出：图像中包含无人机机头部分的局部区域；

(3)、机头关键点提取；输入：包含无人机机头部分的局部区域；输出：无人机机头关键点坐标。

2.根据权利要求1所述的基于CV模型的无人机自主着陆目标提取方法，其特征在于，所述步骤(1)的步骤为：

(1.1)首先判定飞机高度是否小于阈值；

(1.2)若高高度小于阈值，则对图像进行颜色滤波；

(1.3)将图像转化为HSV模型并取S通道，并对其进行直方图拉伸处理。

3.根据权利要求1所述的基于CV模型的无人机自主着陆目标提取方法，其特征在于，所述步骤(2)的步骤为：

(2.1)根据下式计算出的圆心坐标：

$\left\{\begin{array}{c}{X}_t=2X_{t-1}-X_{t-2}\\ Y_t=2Y_{t-1}-Y_{t-2}\end{array}\right.$

其中，(X_t-1,Y_t-1)、(X_t-2,Y_t-2)分别为之前两帧提取的飞机机头的图像坐标，(X_t,Y_t)即为的圆心位置；

(2.2)根据下式计算出的半径：

$R=\frac{\mathrm{HeadNum}}{4}$

其中HeadNum为飞机机头区域点的个数；

(2.3)通过下式进行迭代：

其中， ε为常数，T表示迭代时间步长，表示梯度算子；

(2.4)根据连续两次迭代的区域中机头特征点个数是否变化，判定迭代是否停止；

(2.5)若迭代停止，保存所包含的区域；

(2.6)对图像进行1×3的腐蚀操作，选取面积最大连通区域作为最终的目标区域。

4.根据权利要求3所述的基于CV模型的无人机自主着陆目标提取方法，其特征在于，所述步骤(3)的步骤为：

(3.1)根据下式计算局部区域中各像素点的权值：

${\mathrm{\&lambda;}}_i=\left\{\begin{array}{cc}\frac{0.2}{\mathrm{HeadNum}}& {\mathrm{index}}_i<210\\ \frac{\mathrm{HeadNum}-0.2*\mathrm{LowNum}}{\mathrm{HeadNum}*\mathrm{HighNum}}& {\mathrm{index}}_i>=210\end{array}\right.$

其中HighNum、LowNum分别为像素值大于190和小于190的机头区域点的个数，index_i为机头区域点i的像素值；

根据下式计算无人机机头关键点坐标：

$(\mathrm{PlaneX},\mathrm{PlaneY})=\underset{i=1}{\overset{\mathrm{HeadNum}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i(X_i,Y_i);$

其中(PlaneX,PlaneY)为提取的机头关键点图像坐标，(X_i,Y_i)为机头区域点i的坐标。

(3.2)对左、右视觉在同一时刻拍摄图像提取机头关键点，并依据左、右摄像机的姿态信息和内部参数解算出无人机机头的世界坐标。