CN102914302B - 一种无人机着陆视觉导航合作目标鲁棒检测方法 - Google Patents

Abstract

本发明涉及一种无人机着陆视觉导航合作目标鲁棒检测方法，解决了机载摄像机拍摄的合作目标畸变大以及图像中含有很多非合作目标，而造成合作目标难以准确检测的问题。设计了以红色方形作为大背板，用荧光绿色的H和小正三角形作为合作目标，提出MPP法和Harris法相结合的角点检测算法来实现合作目标在复杂环境以及大尺度畸变时角点的精确检测，该方法有效的结合了Harris角点检测精度高以及MPP法角点具有方向性的优点。与传统的无人机视觉导航着陆合作目标检测方案相比，本发明不仅易于实现，而且可以有效地解决复杂背景大尺度畸变情况下的合作目标检测问题。不仅提高了检测的准确性，而且便于工程实现，对无人机自主安全着陆具有重要的意义。

Description

一种无人机着陆视觉导航合作目标鲁棒检测方法

技术领域

本发明是一种面向工程应用的视觉导航技术，归属于导航技术领域，具体涉及一种无人机着陆视觉导航合作目标鲁棒检测方法。

背景技术

计算机视觉技术由于其无源、自主以及信息量大等优点，在许多领域都有广泛的应用。利用视觉传感器与其它传感器相结合的机载自主着陆导航方式成为近年来的研究热点。国内外很多研究机构都对此项工作展开了研究，如国外的加州的伯克利分校、南加州大学、佛罗里达大学等，国内的西工大、北航、南航以及清华大学等。对于合作目标的检测是整个视觉导航着陆方法中最为关键的部分，它的检测精度和速度直接影响着导航参数的解算性能。

目前，国内外的研究机构通过自己设计的特征图案可以完成合作目标的检测，通常适用于背景较单纯，合作目标拍摄理想的情况下。由于机载摄像机受到飞机姿态的影响很可能使拍摄到的合作目标出现大尺度畸变，而且所拍摄到的背景会有很多非合作目标，以及其他干扰因素，对此，在目前的研究成果尚未发现合适的检测方法。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种无人机着陆视觉导航合作目标鲁棒检测方法，

技术方案

一种无人机着陆视觉导航合作目标鲁棒检测方法，其特征在于步骤如下：

步骤1合作目标的设计：采用红色方形作为大背板，用荧光绿色的H和小正三角形作为合作目标，并将小正三角形放置于H形斜下方45度方向；

步骤2图像预处理：采用自适应阈值分割对图像进行阈值分割，R(i，j)＞90&&R(i，j)^2>2*(G(i，j)^2+B(i，j)^2)；然后进行中值滤波，腐蚀以及膨胀预处理，分离出目标和背景；其中，R(i，j)、G(i，j)和B(i，j)分别为图像的红色、绿色以及蓝色分量；

步骤3合作目标提取：对图像进行边缘提取，在提取的边缘中选取封闭轮廓并按轮廓周长从大到小排序，其中最长的为红色背板轮廓，次长的为H形轮廓，另一个为正三角形轮廓；

步骤4对H形轮廓进行MPP角点检测：利用MPP法对H形轮廓提取角点，得到具有顺时针方向的角点；

步骤5H形轮廓上MPP角点初始位置的确定：将正三角形轮廓上每个点的横、纵坐标分别求和，然后除以轮廓上的点数得到小三角形上的重心；在H形轮廓上的MPP点找出距离该重心最近的MPP点，以该点作为起点，将H形上的MPP点按顺时针重新排序；

步骤6：以斜率和距离双重约束剔除MPP角点中的伪角点，得到所需数目的MPP角点；

斜率约束：设x(i-1)、x(i)、x(i+1)分别为前一角点、当前角点以及下一角点的横坐标，y(i-1)、y(i)、y(i+1)为对应点的纵坐标，k1、k2分别为当前角点和前一角点连线的向量，下一角点和当前角点连线的向量，k为k1与k2的夹角余弦值，夹角取值范围为0到180度，表达式如下：

k1＝(x(i-1)-x(i),y(i-1)-y(i))

k2＝(x(i)-x(i+1),y(i)-y(i+1))

$k=\frac{k_1\·k_2}{\left|k_1\right|\·\left|k_2\right|}$

给定斜率值记为Thresh，当满足k＞Thresh时，将当前角点记为待剔除角点；

距离约束：将待剔除的角点与前一角点求距离，如果他们之间的距离小于所设定的距离阈值则将该待剔除的角点剔除，否则保留该角点；距离约束的条件表达式如下：

(x(i)-x(i-1))²+(y(i)-y(i-1))²＜Dis

其中Dis为设定的距离阈值；

步骤7：对H形轮廓进行Harris角点提取；

步骤8：将Harris提取的角点和经过约束后的MPP角点进行匹配，其匹配原则是将MPP法的每一个角点找到与它对应距离最小的Harris角点，按顺时针排列Harris角点，最终得到精度高并具有方向性的H形角点。

所述Thresh选为0.9。

所述Dis选取为10。

有益效果

本发明提出的一种无人机着陆视觉导航合作目标鲁棒检测方法，在复杂背景下以及合作目标发生大尺度畸变时，对合作目标精确检测的方法。本发明以无人机自主安全着陆为研究背景，为解决机载摄像机拍摄的合作目标畸变大以及图像中含有很多非合作目标的问题，设计了一种Harris法结合MPP法的角点检测算法，该方法有效的结合了Harris角点检测精度高以及MPP法角点具有方向性的优点，使得本发明可以在复杂背景下以及合作目标出现大尺度畸变时都可以完成合作目标鲁棒检测，实现旋翼无人机安全、自主着陆。该方法检测精度高、抗干扰能力强、实时性好以及工程上易于实现，对基于视觉导航的无人机着陆方法具有重要的指导意义。

本发明方案与传统无人机视觉导航着陆合作目标检测系统相比具有以下优势：

1、可以解决复杂背景下，拍摄的合作目标出现大尺度畸变条件下，合作目标精确检测问题。

2、本方案所提供的测试方法，可以为真实飞机着陆提供地面数据的前期验证以及前期数据优化与性能改进工作。

3、本方案的实施，解决了飞机着陆精度差、需要昂贵的辅助设备引导问题。

4、本方案实施方便、灵活，具有发展前景以及工程应用价值。

附图说明

图1：无人机着陆视觉导航合作目标鲁棒检测方法原理图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

以下对本发明方法作进一步具体的描述，各部分具体实施步骤细节如下：

1.合作目标的设计

采用红色方形作为大背板，用荧光绿色的H和小正三角形作为合作目标，并将小正三角形放置于H形斜下方45度方向。

2.图像预处理

对图像进行阈值分割，中值滤波，腐蚀以及膨胀等预处理，以分离出目标和背景。阈值分割方法采用自适应阈值分割，公式如下所示：

R(i，j)＞90&&R(i，j)^2>2*(G(i，j)^2+B(i，j)^2)    （1）

其中，R(i，j)、G(i，j)和B(i，j)分别为图像的红色、绿色以及蓝色分量。

3.合作目标的提取

在图像预处理完后，对图像进行边缘提取，在提取的边缘中选取封闭轮廓并按轮廓周长从大到小排序，其中最长的为红色背板轮廓，次长的为H形轮廓，另一个为正三角形轮廓。

4.利用MPP法检测合作目标角点

在得到H形和小三角形轮廓后，利用MPP法检测H形轮廓角点。MPP法的原理在冈萨雷斯出版的《数字图像处理》一书中有详细的理论介绍，MPP法的主要思想是是首先对合作目标图像进行轮廓跟踪，本发明采用的是Freeman跟踪法，其中采用的是8-方向链码，然后利用最小多边形周长原理，提取合作目标轮廓上检测出来的角点。该方法可以保证提取的角点在合作目标上而且具有方向性，受噪声影响小，有很强的鲁棒性，但是其主要缺点是会检测出合作目标边缘上的一些伪角点，而且检测出的角点可能存在一些偏差。

5.将MPP法检测到角点进行排序

由于MPP法检测出的角点顺序是随机排列的，当合作目标发生尺度畸变后，其角点的顺序难以确定。本发明利用小三角形信息来对MPP法提取的角点排序。即将正三角形轮廓上每个点的横、纵坐标分别求和然后除以轮廓上的点数，就可得到小三角形上的重心。在H形轮廓上的MPP点找出距离该重心最近的MPP点，以该点作为起点，将H形上的MPP点按顺时针重新排序，即可得到所需的顺序。

6.剔除MPP法检测出的伪角点

由于在图像预处理阶段进行了滤波、边缘提取、以及为了防止边缘断裂而进行的边缘联通，使得MPP提取的角点中有很多伪角点，因此提出斜率约束和距离约束这双重约束剔除伪角点。

6.1斜率约束

设x(i-1)、x(i)、x(i+1)分别为前一角点、当前角点以及下一角点的横坐标，y(i-1)、y(i)、y(i+1)为对应点的纵坐标，k1、k2分别为当前角点和前一角点连线的向量，下一角点和当前角点连线的向量，k为k1与k2的夹角余弦值，夹角取值范围为0到180度。表达式如式（2）、（3）和（4）所示。

k1＝(x(i-1)-x(i),y(i-1)-y(i))    （2）

k2＝(x(i)-x(i+1),y(i)-y(i+1))    （3）

$k=\frac{k_1\·k_2}{\left|k_1\right|\·\left|k_2\right|}---\left(6\right)$

给定斜率值记为Thresh，当满足（5）式时，把当前角点记为待剔除角点，本发明Thresh选取为0.9。

k＞Thresh    （5）

6.2距离约束

将待剔除的角点与前一角点求距离，如果他们之间的距离小于所设定的距离阈值则将该待剔除的角点剔除，否则保留该角点。距离约束的条件表达式如式（6）所示，其中Dis为设定的距离阈值，本发明Dis选取为10。

(x(i)-x(i-1))²+(y(i)-y(i-1))²＜Dis    （6）

经过斜率约束和距离约束后，得到所需的MPP角点。

5.对H形轮廓进行Harris角点提取

对H形轮廓进行Harris角点提取，其中Harris的主要原理是：取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，并用解析形式表达。设以像素点(x,y)为中心的小窗口在X方向上移动u，y方向上移动v，Harris给出了灰度变化度量的解析表达式：

$E_{x,y}=\mathrm{\Σ}{w}_{x,y}(I_{x|u,y|v}-I_{x,y})=\mathrm{\Σ}{w}_{x,y}{(u\frac{\∂I}{\∂X}+v\frac{\∂I}{\∂Y}+o\left(\sqrt{u^2+v^2}\right))}^2---\left(7\right)$

其中，E_x,y为窗口内的灰度变化度量；w_x,y为窗口函数，一般定义为I为图像灰度函数，略去无穷小项有：

E_x,y＝∑w_x,y[u²(I_x)²+v²(I_y)²+2uvI_xI_y]＝Au²+2Cuv+Bv²    （8）

将E_x,y化为二次型有：

$E_{x,y}=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]---\left(9\right)$

M为实对称矩阵：

$M=\mathrm{\Σ}{w}_{x,y}\left[\begin{array}{cc}{I}_x^2& I_x\·I_y\\ I_x\·I_y& I_y^2\end{array}\right]---\left(10\right)$

通过对角化处理得到：

$E_{x,y}=R^{-1}\left(\begin{array}{cc}{\mathrm{\λ}}_1& 0\\ 0& {\mathrm{\λ}}_2\end{array}\right)R---\left(11\right)$

其中，R为旋转因子，对角化处理后并不改变以u,v为坐标参数的空间曲面的形状，其特征值反应了两个主轴方向的图像表面曲率。当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。Harris的角点响应函数(CRF)表达式由此而得到：

CRF(x,y)＝det(M)-k(trace(M))²    (12)

其中：det(M)表示矩阵M的行列式，trace(M)表示矩阵的迹。当目标像素点的CRF值大于给定的阈值时，该像素点即为角点。I_x和I_y分别为x方向和y方向的梯度；为卷积；Det为矩阵的行列式；Tr为矩阵的迹；k为经验值，本发明取为0.06。该方法检测精度高，但是容易受到噪声干扰，而且当合作目标出现大尺度畸变时难以确定角点的顺序。

6.MPP角点与Harris角点的匹配。

在经过上述步骤后，将Harris提取的角点和经过约束后的MPP角点进行匹配，其匹配原则主要是将MPP法的每一个角点找到与它对应距离最小的Harris角点，从而可以得到按顺时针排序的Harris角点，最终就可以得到精度高并具有方向性的H形角点。

经过上述步骤，最终可以完成合作目标角点的精确、快速检测，实现整个旋翼无人机视觉导航自主着陆合作目标鲁棒检测。

Claims (3)

1.一种无人机着陆视觉导航合作目标鲁棒检测方法，其特征在于步骤如下：

步骤1：合作目标的设计：采用红色方形作为大背板，用荧光绿色的H和小正三角形作为合作目标，并将小正三角形放置于H形斜下方45度方向；

步骤2：图像预处理：采用自适应阈值分割对图像进行阈值分割，R(i,j)>90&&R(i,j)^2>2*(G(i,j)^2+B(i,j)^2)；然后进行中值滤波，腐蚀以及膨胀预处理，分离出目标和背景；其中，R(i,j)、G(i,j)和B(i,j)分别为图像的红色、绿色以及蓝色分量；

步骤3：合作目标提取：对图像进行边缘提取，在提取的边缘中选取封闭轮廓并按轮廓周长从大到小排序，其中最长的为红色背板轮廓，次长的为H形轮廓，另一个为小正三角形轮廓；

步骤4：对H形轮廓进行MPP角点检测：利用MPP法对H形轮廓提取角点，得到具有顺时针方向的角点；

步骤5：H形轮廓上MPP角点初始位置的确定：将小正三角形轮廓上每个点的横、纵坐标分别求和，然后除以轮廓上的点数得到小正三角形上的重心；在H形轮廓上的MPP点找出距离该重心最近的MPP点，以该点作为起点，将H形上的MPP点按顺时针重新排序；

步骤6：以斜率和距离双重约束剔除MPP角点中的伪角点，得到所需数目的MPP角点；

斜率约束：设x(i-1)、x(i)、x(i+1)分别为前一角点、当前角点以及下一角点的横坐标，y(i-1)、y(i)、y(i+1)为对应点的纵坐标，k1、k2分别为当前角点和前一角点连线的向量，下一角点和当前角点连线的向量，k为k1与k2的夹角余弦值，夹角取值范围为0到180度，表达式如下：

k1＝(x(i-1)-x(i),y(i-1)-y(i))

k2＝(x(i)-x(i+1),y(i)-y(i+1))

$k=\frac{k_1\·k_2}{\left|k_1\right|\·\left|k_2\right|}$

给定斜率值记为Thresh，当满足k＞Thresh时，将当前角点记为待剔除角点；

距离约束：将待剔除的角点与前一角点求距离，如果它们之间的距离小于所设定的距离阈值则将该待剔除的角点剔除，否则保留该角点；距离约束的条件表达式如下：

(x(i)-x(i-1))²+(y(i)-y(i-1))²＜Dis

其中Dis为设定的距离阈值；

步骤7：对H形轮廓进行Harris角点提取；

步骤8：将Harris提取的角点和经过约束后的MPP角点进行匹配，其匹配原则是将MPP法的每一个角点找到与它对应距离最小的Harris角点，按顺时针排列Harris角点，最终得到精度高并具有方向性的H形角点。

2.根据权利要求1所述无人机着陆视觉导航合作目标鲁棒检测方法，其特征在于：所述Thresh选为0.9。

3.根据权利要求1所述无人机着陆视觉导航合作目标鲁棒检测方法，其特征在于：所述Dis选取为10。