CN105644785A - 一种基于光流法和地平线检测的无人机着陆方法 - Google Patents

Abstract

本发明公开了一种基于光流法和地平线检测的无人机着陆方法，其步骤为：一、对飞行过程中固定在无人机底部的相机拍摄出的视频进行图像预处理；二、对每张图像进行直线检测，获取图像中的地平线信息；三、通过对地平线信息进行计算，得到当前无人机的飞行姿态；四、采用光流法检测出无人机的姿态信息；五、结合无人机运动模型，采用扩展卡尔曼滤波方法对光流法和地平线检测的无人机姿态进行滤波，挑选出正确的地平线信息；六、实现基于无人机的自主着陆过程。本发明是一种用于飞行过程中动态物体探测固定目标的情况，采用基于梯度的光流法可以很好地配合探测器的运动，与传统基于地平线检测的视觉算法相比，在着陆过程中可以有效提高精度，适用于无人机自主着陆应用。

Description

一种基于光流法和地平线检测的无人机着陆方法

技术领域

本发明涉及一种无人机的着陆方法，具体涉及一种基于地平线检测和光流法测速的图像处理方法，用于无人机的着陆过程中。

背景技术

无人机是“无人驾驶空中飞行器”(UAV)的简称。1917年英国研制出了第一架无人机，当时的作用是作为“靶机”，而真正作为可供实战的飞行武器是20世纪60～70年代，真正开始获得各国军方普遍重视的是从20世纪80年代。各国对无人机的重视很好的推动了无人机的发展和使用，如今，无人机的发展势头日趋强劲，无人机侦察机研究趋于成熟。

无人机由于其自身的诸多优点，如拥有隐蔽性好、生命力强、造价低廉、不惧伤亡，起降简单、动作灵活，已经成为各国竞相发展的热点。具体而言就是，一方面，无人机具有体积小、机动灵活、不易被发现的优点，可以完成在敌占区上空进行长时间低空侦察；另一方面，无人机可以携带多种传感器，能提供多种形式高分辨率的目标信息；其次无人机造价低廉，不会造成人员伤亡，具有经济、安全的特点。

众所周知，着陆是载人和无人驾驶飞机的事故多发阶段，因为它是一个微妙的过程，在各种动态和操作约束的存在下，大量的飞机的动能和势能的消散。因此，商业航空公司严重依赖于仪表着陆系统(ILS)的地方使用。

着陆回收是一种主要的自动收回方法，分为进场、下滑、拉平、飘落和着陆滑跑五个阶段，它通过自动驾驶仪的位置、姿态、速度等瞬间运动状态来完成精确的状态控制。目前主要的着陆导航系统包括惯性导航系统、全球导航卫星系统(GPS，GLONASS，等)的微分系统、组合导航系统。其中最常用的方法是GPS/INS组合导航，但GPS信号很容易堵塞，在作战时不可用，而且低高度精度。随着时间的推移，惯导系统往往会随着时间的推移而漂移。基于无源传感器的视觉导航系统具有低功耗、体积小、非接触、易于隐蔽、对干扰不敏感等优点，成为近年来研究的一个热点。

地平线是地球上不会消失的视觉物体，所以选用地平线作为视觉导航的参照物成为了一大研究方向。下面针对采用地平线获得飞行姿态的方法进行阐述。

首先，我们定义世界坐标系与地球表变的局部切线重合在一个点，即飞机的重力矢量与地球表面的交点。也就是说，飞机被假定为直接在世界坐标以上，即飞行器的重力矢量焦玉地球坐标系原点。此外，我们假设摄像机(传感器)的轴线与飞机的本体固定坐标框架的轴重合。

通常认为地球表面是个平面，一个球形体的平面显示为圆形，对应的，地平线出现在图像平面则为曲线。但是，因为视摄像机的观察区域狭窄，所以地平线就可以近似为图像的切线，导航坐标系示意图如图2所示。

世界坐标系的z轴被定义为从原点到由所述照相机观察的地平线的圆弧的中心的线。y轴是向下朝向地球的中心，垂直于表面平面和x轴完成右手坐标系。相机的z轴被定义为摄像机的光轴和位于相同的平面内的世界坐标系的z轴。照相机帧的x轴平行于摄像机的图像平面的顶部边缘和y轴完成右手坐标系。

从世界坐标系(x_w，y_w，z_w)到摄像机坐标系(x_c，y_c，z_c)变换，可以用一个正交旋转矩阵和平移变换矩阵来表示。为了表示旋转过程，所以定义x^w为旋转状态矩阵，其中φ、θ、ψ分别为绕y_c轴、x_c轴、z_c轴旋转的角度；是从世界坐标系转换到摄像机坐标系的旋转。r^w表示了摄像机的位置，可以表示为r^w＝[0-h0]^T。地平线可以用向量d^w和l^w表示，令d^w＝[x0d]^T，l^w＝[100]。同时d^w也可表示为

在地平线上，当投射到摄像机的图像平面上，可以由一个点u^c和方向矢量m^c描述：

u^c＝[uvf]^T，m^c＝[[m_xm_y0]]^T。

u和v分别为图像像素坐标系x轴上和y轴上的实际距离，m_x和m_y为地平线在图像中的二维位置向量；f为摄像机的焦距。

因为d^w在地球表面，所以一定垂直于地面的法向量n^w。令n^w＝[010]^T，则：

n^w·d^w＝0

$n^w\·(R_c^w{x}^c+r^{\mathrm{\ω}})=0.$

n^w·l^w＝0

假设d₀和d₁是地平线上的两点， $d_0^w={\left[\begin{array}{ccc}{x}_0& 0& d\end{array}\right]}^T,d_1^w={\left[\begin{array}{ccc}{x}_1& 0& d\end{array}\right]}^T,$ 因为方向同向，所以可以设 $l^w=k(d_1^w-d_0^w)=k(x_1^w-x_0^w).$

另一方面，若将摄像机平面图像转化为由飞行器坐标表示，可得：

$u=\left[\begin{array}{c}u\\ v\\ f\end{array}\right]=\frac{f}{Z}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{f}{Z}{x}^c;$

所以， $x^c=\frac{Z}{f}u.$

将式子代入之前的地平线两点坐标公式可得：

$l^w=k(x_1^w-x_0^w)={\mathrm{kR}}_c^w(x_1^c-x_0^c)={\mathrm{kR}}_c^w\left(\frac{Z}{f}\right(u_1-u_0\left)\right).$

又因为图像上的两点的距离矢量可以视为是图像方向坐标的缩放，则：

u₁-u₀＝k₂·m^c。

所以代回原式，地平线与图像上的投影之间的关系是：

$l^w={\mathrm{kk}}_2\frac{Z}{f}{R}_c^w{m}^c.$

又n^w·d^w＝0，则

所以，

-1cos(θ)(m_xsin(φ)+m_ycos(φ))＝0。

假设，cos(θ)不为0，则：

$\mathrm{\φ}=arctan\left(\frac{-m_y}{m_x}\right),$

滚转角可得。

另一方面，如果从另一个角度改变

$n^w\·(R_c^w\frac{Z}{f}u+r^{\mathrm{\ω}})=0,$

$x^c=R_w^c(d_1^w-r^w).$

可得：

Z＝dcos(θ)-hsin(θ)。

则可以解出：

$\mathrm{\θ}=arctan(\±\frac{-hf+udsin\left(\mathrm{\φ}\right)+vdcos\left(\mathrm{\φ}\right)}{df+uh\sin \left(\mathrm{\φ}\right)+vh\cos \left(\mathrm{\φ}\right)}).$

如果地平线的距离是远远飞行器高度(d＞＞h)，那么上式可以变为：

$\mathrm{\θ}=arctan(\±\frac{usin\left(\mathrm{\φ}\right)+vcos\left(\mathrm{\φ}\right)}{f}).$

用这个方法即可求解出方位角的大小。

以上就是由地平线位置信息得到无人机的飞行角度的方法。然而仅仅采用地平线位置信息并不能获得非常精确的无人机的姿态信息，同时在提取地平线直线信息还会出现将检测错误等问题，常见的一种干扰就是跑道。

光流法是运动目标检测和分析的重要方法，它能够在不知道任何预先场景情况下检测出独立的运动目标，并且可适用于动态场景的情况。因为光流的计算不需要预先知道场景的信息，不需要在图像中建立起特征之间的对应关系，所以光流计算属于高层次的视觉表述。常用的光流算法主要有基于梯度方法的、块匹配方法的、基于能量的以及相位法。常用的方法代表有LucasKanade局部平滑法、HornSchunck全局平滑法、以及Nagel的有向平滑法。

假设t时刻，图像上一点(x,y)处的灰度值为E(x,y,t)。设Δt为相机采样时间间隔，在t+Δt时，图像新位置为(x+Δx,y+Δy)，其灰度值为E(x+Δx,y+Δy,t+Δt)。认为在短时间内，两时刻的灰度值不会发生改变，即：

E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)。

设u和v分别为该点的光流沿着x轴和y好走方向的矢量速度，则有 $u=\frac{\mathrm{dx}}{\mathrm{dt}}$ 和 $v=\frac{\mathrm{dy}}{\mathrm{dt}}.$

将E(x+Δx,y+Δy,t+Δt)进行泰勒公式展开，可得：

$E(x+\mathrm{\Δ}x,y+\mathrm{\Δ}y,t+\mathrm{\Δ}t)=E(x,y,t)+\frac{\∂E}{\∂x}\mathrm{\Δ}x+\frac{\∂E}{\∂y}\mathrm{\Δ}y+\frac{\∂E}{\∂t}\mathrm{\Δ}t+\mathrm{\ϵ}.$

忽略上式中的二阶无穷小，并且由于时间间隔Δt趋于零，则有：

$\frac{\∂E}{\∂x}\mathrm{\Δ}x+\frac{\∂E}{\∂y}\mathrm{\Δ}y+\frac{\∂E}{\∂t}\mathrm{\Δ}t=0.$

上式就是图像序列光流法的基本等式。

Lucas-Kanade是一种广泛使用的光流估计的差分方法，这个方法是由BruceD.Lucas和TakeoKanade发明的。它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。

由于光流法的基本等式存在无数种解，所以为了解方程，必须添加约束条件。Lucas-Kanade在求解光流计算基本等式时，假设在很小的空间领域内，光流速度矢量保持恒定。这样就可以对式子进行约束，得到一个由n的方程构成的方程组，其未知数是光流速度矢量u和v。解此方程，可以使用加权最小二乘法求得一个近似解，即：

$\mathrm{\ϵ}=\underset{\mathrm{\Ω}}{\Σ}{W}^2(i,j){(\frac{\∂E}{\∂x}\mathrm{\Δ}x+\frac{\∂E}{\∂y}\mathrm{\Δ}y+\frac{\∂E}{\∂t}\mathrm{\Δ}t)}^2.$

其中，Ω表示空间领域，W²(i,j)就是像素点(i,j)在计算光流时的权值函数。剩下的求解过程就是应用最小二乘法即可解决。

发明内容

本发明的目的在于提出一种改进的基于光流法和地平线检测的无人机视觉着陆方法。本发明是一种动态物体探测固定目标的情况，采用基于梯度的光流法可以很好的配合探测器的运动，与传统视觉着陆算法相比，精度有所提高。

本发明的目的是通过以下技术方案实现的：

一种基于光流法和地平线检测的无人机着陆方法，包括如下步骤：

一、对飞行过程中固定在无人机底部的相机拍摄出的视频，获得某一时刻k的图像，对图像进行颜色转换，转换到YCrCb空间中，并对图像进行边缘检测；

二、对每张图像进行直线检测，获取图像中的地平线信息；

三、通过对步骤二获取的地平线信息进行计算，得到当前无人机的飞行姿态：滚转角、方位角；

四、采用光流法检测出无人机的姿态信息；

五、结合无人机运动模型，采用扩展卡尔曼滤波方法对光流法和地平线检测的无人机姿态进行滤波，挑选出正确的地平线信息；

六、实现基于无人机自主着陆过程。

与传统的无人机着陆过程相比，本发明具有如下优点：

1、本方法采用了小巧轻便的相机作为传感器进行无人机着陆控制，减少了冗余的传统传感器，降低了成本和体重。

2、采用改进Hough法对图像进行直线检测，尽量减少计算量，提高预处理实时性；

3、结合对地平线进行光流法处理，增加了地平线检测的准确率，同时也很大程度上提高了视觉导航的精度，更加有助于实现无人机的着陆控制；

4、本发明主要考虑了该视觉着陆用于固定翼式无人机的情况，有别于旋翼式无人机或者直升机这类可以垂直升降的飞行器，在着陆过程需要考虑高度、位置、姿态等信息，通过信息才能更好的满足着陆过程的要求，使得控制更加便利。

附图说明

图1为本发明的流程图；

图2为导航坐标系示意图；

图3为对地平线进行光流法后的效果示意图；

图4为无人机着陆的五个过程的示意图；

图5为实验中无人机模型图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式提供了一种基于光流法和地平线检测的无人机着陆方法，通过针对图像采用直线检测方法探测出地平线，并根据地平线求出无人机飞行姿态中的滚转角和方位角；用光流法针对无人机飞行过程中拍摄的序列图像中的地平线计算出无人机的位姿；采用扩展卡尔曼滤波方法减少方法中地平线的检测错误率，并由位姿即可进行无人机着陆五个阶段状态间转换，配合地平线方法逐一完成无人机着陆的自主着陆过程。

如图1所示，共分为五个步骤，具体步骤如下：

步骤一：对飞行过程中固定在无人机底部的相机拍摄出的视频进行图像预处理。

1)对于拍摄的图像进行颜色转换，用灰度图像进行表示。将图像进行线性变换，转换为在YCrCb颜色空间，利用YCbCr图像中的亮度分量作为处理图像时用到的灰度信息：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

2)对图像进行边缘检测。一般而言，地平线是会在图像出现梯度值较大的信息，所以为了检测出地平线信息，本发明采用Canny算子进行边缘检测。

步骤二：对每张图像进行直线检测，获取图像中的地平线信息。

1)对图像进行直线检测，提取出直线信息。图像的直线检测采用Hough方法进行。

通常，直线可以用y＝ax+b表示，但是考虑到如果斜率为垂直的时候，a为无限大，无法进行机器计算，所以选用极坐标来表示直线就可以解决这个问题，即xcosθ+ysinθ-ρ＝0。经过这样的转换后，直线的信息由原来的a和b表示，转变为了θ和ρ。经过一个点(x₀,y₀)的直线，通过极坐标表示是ρ＝x₀cosθ+y₀sinθ，即为与θ和ρ平面内的一条正弦抛物线，抛物线上的每个点表示了不同的θ和ρ下的过(x₀,y₀)直线。而任意一直线上的两点(x₁,y₁)和(x₂,y₂)，通过极坐标表示得，ρ＝x₁cosθ+y₁sinθ和ρ＝x₂cosθ+y₂sinθ，θ和ρ相同，即为同一条直线。所以不同点的共线问题就转换为了在θ和ρ平面内多条抛物线的交点问题，只要找到交点，那么对应的点在二维平面内就是共线的。

2)选择共线的坐标点。建立二维累加数组A(ρ,θ)来存储共线的交点，每当计算出一对交点(ρ,θ)，则A(ρ,θ)加1。通过计算所得的A(ρ,θ)最大值就是图像图像中国共线点最多的直线。

3)改进Hough算法。Hough方法在运用时需要遍历整幅图像，计算量庞大。为了计算减少Hough算法的计算量，近似认为短时间内图像的变换幅度不会很大，所以选择在处理图像时以前一幅图像为基础，只在前一幅图像的检测出直线的区域附近进行Hough算法，以此来提高实时性。

步骤三：通过地平线信息计算出当前无人机的飞行姿态：滚转角、方位角。

1)利用图像中的地平线信息计算无人机的滚转角：

$\mathrm{\φ}=arctan\left(\frac{-m_y}{m_x}\right).$

其中，m_x和m_y为地平线在图像中的二维位置向量。

2)利用图像中的地平线信息和滚转角计算无人机的方位角：

$\mathrm{\θ}=arctan(\±\frac{usin\left(\mathrm{\φ}\right)+vcos\left(\mathrm{\φ}\right)}{f}).$

其中，u和v分别为图像像素坐标系x轴上和y轴上的距离，f为摄像机的焦距。

步骤四：用光流法检测出无人机的姿态信息。根据无人机飞行过程的序列图像针对地平线进行光流法(采用LucasKanade局部平滑法)计算，计算地平线上的点的矢量速度，从而获取无人机的姿态。

1)推导出光流法梯度公式。

对 $u=\left[\begin{array}{c}u\\ v\\ f\end{array}\right]=\frac{f}{Z}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{f}{Z}{x}^c$ 求导，可得：

$\stackrel{\·}{u}=\frac{f(\stackrel{\·}{X}Z-\stackrel{\·}{Z}X)}{Z^2}=\frac{f}{Z}(\stackrel{\·}{X}-\frac{X}{Z}\stackrel{\·}{Z});$

$\stackrel{\·}{v}=\frac{f(\stackrel{\·}{Y}Z-\stackrel{\·}{Z}Y)}{Z^2}=\frac{f}{Z}(\stackrel{\·}{Y}-\frac{Y}{Z}\stackrel{\·}{Z}).$

另一方面，因为 ${\stackrel{\·}{x}}^c={\stackrel{\·}{R}}_c^w(X^w-r^w)-R_c^w({\stackrel{\·}{X}}^w-{\stackrel{\·}{r}}^w),$ 则可以推导出：

$\left[\begin{array}{c}\stackrel{\·}{u}\\ \stackrel{\·}{v}\end{array}\right]=\frac{f}{Z}\left[\begin{array}{ccc}1& 0& \frac{-u}{f}\\ 0& 1& \frac{-v}{f}\end{array}\right]\left[\begin{array}{c}{{\stackrel{\·}{r}}_x}^{\mathrm{\ω}}\\ {{\stackrel{\·}{r}}_y}^{\mathrm{\ω}}\\ {{\stackrel{\·}{r}}_z}^{\mathrm{\ω}}\end{array}\right]+\left[\begin{array}{ccc}\frac{uv}{f}& -(f+\frac{u^2}{f})& v\\ (f+\frac{v^2}{f})& -\frac{uv}{f}& -u\end{array}\right]\left[\begin{array}{c}{\mathrm{\ω}}_x\\ {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z\end{array}\right].$

如果观察的点在地平线上，那么Z会非常大，那么上式的前部分可以近似忽略，即上式可变为：

$\left[\begin{array}{c}\stackrel{\·}{u}\\ \stackrel{\·}{v}\end{array}\right]=\left[\begin{array}{ccc}\frac{uv}{f}& -(f+\frac{u^2}{f})& v\\ (f+\frac{v^2}{f})& -\frac{uv}{f}& -u\end{array}\right]\left[\begin{array}{c}{\mathrm{\ω}}_x\\ {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z\end{array}\right].$

以上就是图像的基于梯度的光流法的基本方程。

该着陆段对地平线的光流法效果示意图如图3所示。

2)采用基于梯度的光流法对直线信息进行光流法计算出飞行器的速度。

步骤五：结合运动模型对无人机姿态信息进行滤波。采用扩展卡尔曼滤波方法(EKF)对光流法和地平线检测的无人机姿态进行滤波，挑选出正确的地平线信息，有效区分地平线和跑道，增加无人机姿态信息的精度。

1)建立无人机模型。本发明采用一个简化的离散刚体转动模型，k+1时刻的状态可以由k时刻离散表示，其中η是控制系统中的噪声，符合高斯白噪声分布η_k～N(0,Q_k)，Q_k为噪声协方差。模型如下：

$\left[\begin{array}{c}\mathrm{\φ}\left(k+1\right)\\ \mathrm{\θ}\left(k+1\right)\\ {\mathrm{\ω}}_x\left(k+1\right)\\ {\mathrm{\ω}}_y\left(k+1\right)\\ {\mathrm{\ω}}_z\left(k+1\right)\end{array}\right]=\left[\begin{array}{c}\mathrm{\φ}\left(k\right)+\mathrm{\Δ}t\left(\stackrel{\·}{\mathrm{\φ}}\left(k\right)\right)\\ \mathrm{\θ}\left(k\right)+\mathrm{\Δ}t\left(\stackrel{\·}{\mathrm{\θ}}\left(k\right)\right)\\ {\mathrm{\ω}}_x\left(k\right)\\ {\mathrm{\ω}}_y\left(k\right)\\ {\mathrm{\ω}}_z\left(k\right)\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_{\mathrm{\φ}}\left(k+1\right)\\ {\mathrm{\η}}_{\mathrm{\θ}}\left(k+1\right)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_x}\left(k+1\right)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_y}\left(k+1\right)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_z}\left(k+1\right)\end{array}\right],$

其中，

$\stackrel{\·}{\mathrm{\φ}}\left(k\right)={\mathrm{\ω}}_x\left(k\right)sin\left(\mathrm{\φ}\right(k\left)\right)tan\left(\mathrm{\θ}\right(k\left)\right)+{\mathrm{\ω}}_y\left(k\right)cos\left(\mathrm{\φ}\right(k\left)\right)tan\left(\mathrm{\θ}\right(k\left)\right)+{\mathrm{\ω}}_z\left(k\right),$

$\stackrel{\·}{\mathrm{\θ}}\left(k\right)={\mathrm{\ω}}_x\left(k\right)cos\left(\mathrm{\φ}\right(k\left)\right)-{\mathrm{\ω}}_y\left(k\right)sin\left(\mathrm{\φ}\right(k\left)\right).$

式中，φ是飞行器的滚转角，θ是方位角，ω_x、ω_y和ω_z是x、y、z轴方向的角速度，Δt为相机采样时间间隔。

2)将地平线检测方法和光流法得到的无人机姿态信息与模型相结合。在地平线上选取i个光流点，那么观测器中将有2(i+1)个数据，即：

$\left[\begin{array}{c}\mathrm{\φ}\left(k\right)\\ \mathrm{\θ}\left(k\right)\\ {\stackrel{\·}{u}}_1\left(k\right)\\ {\stackrel{\·}{v}}_1\left(k\right)\\ {\stackrel{\·}{u}}_2\left(k\right)\\ {\stackrel{\·}{v}}_2\left(k\right)\\ \mathrm{...}\\ {\stackrel{\·}{u}}_i\left(k\right)\\ {\stackrel{\·}{v}}_i\left(k\right)\end{array}\right]=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& \frac{u_1{v}_1}{f}& -\left(f+\frac{{u_1}^2}{f}\right)& v_1\\ 0& 0& \left(f+\frac{{v_1}^2}{f}\right)& -\frac{u_1{v}_1}{f}& -u_1\\ 0& 0& \frac{u_2{v}_2}{f}& \frac{u_2{v}_2}{f}& v_2\\ 0& 0& \left(f+\frac{{v_2}^2}{f}\right)& -\frac{u_2{v}_2}{f}& -u_2\\ \mathrm{...}& & & & \\ 0& 0& \frac{u_i{v}_i}{f}& \frac{u_i{v}_i}{f}& v_i\\ 0& 0& \left(f+\frac{{v_i}^2}{f}\right)& -\frac{u_i{v}_i}{f}& -u_i\end{array}\right]\left[\begin{array}{c}\mathrm{\φ}\left(k\right)\\ \mathrm{\θ}\left(k\right)\\ {\mathrm{\ω}}_x\left(k\right)\\ {\mathrm{\ω}}_y\left(k\right)\\ {\mathrm{\ω}}_z\left(k\right)\end{array}\right].$

3)用扩展卡尔曼滤波方法对无人机模型进行处理。根据扩展卡尔曼滤波的残差从直线信息中找出地平线。从根据无人机的飞行姿态区别出直线信息中的跑道和地平线。

定义在k时刻下的该模型的状态方程为协方差矩阵为即：

$x_{c_k}^{w_k}=f\left(x_{c_{k-1}}^{w_k},{\mathrm{\η}}_k\right)=\left[\begin{array}{c}\mathrm{\φ}\left(k\right)\\ \mathrm{\θ}\left(k\right)\\ {\stackrel{\·}{u}}_1\left(k\right)\\ {\stackrel{\·}{v}}_1\left(k\right)\\ {\stackrel{\·}{u}}_2\left(k\right)\\ {\stackrel{\·}{v}}_2\left(k\right)\\ \mathrm{...}\\ {\stackrel{\·}{u}}_i\left(k\right)\\ {\stackrel{\·}{v}}_i\left(k\right)\end{array}\right],$

卡尔曼滤波分为运动预测、观察预测、数据判断和状态更新4个阶段：

第一步：运动预测。

已知k-1时刻后验状态向量和协方差假设系统噪声η_k＝0，运动模型预测k时刻先验状态向量和协方差

$x_{c_{k|k-1}}^{w_k}=f\left(x_{c_{k-1|k-1}}^{w_{k-1}},0\right),$

$P_{c_{k|k-1}}^{w_k}=F_k{P}_{c_{k-1|k-1}}^{w_k}{F}_k^T+G_k{Q}_k{G}_k^T.$

其中，和是运动方程的Jacobian矩阵。

第二步：观测预测。

假设观测噪声σ_k＝0，根据观测方程预测观测值h_k和观测残差S_k：

$h_k=h(x_{c_{k|k-1}}^{w_k},0)=x_{c_{k|k-1}}^{w_k},$

$S_k=H_k{P}_{c_{k|k-1}}^{w_k}{H}_k^T+R_k.$

其中，是观察方程的Jacobian矩阵。

第三步：数据判断。

利用扩展卡尔曼滤波过程中的观测信息来判断是否存在地平线检测错误。即将预测观测值h_k和观测残差S_k给出的参数信息，记实际值为z_k，计算出残差ν_k＝z_k-h_k，定义：

${\mathrm{\γ}}_k={\mathrm{\ν}}_k^T{S}_k^{-1}{\mathrm{\ν}}_k.$

通过判断γ_k的值即可知道是否为检测出地平线。判断的依据是靠Mahalanobis距离测试参数，当满足的条件是则为置信度为0.95的事件。

第四步：状态更新。

根据所检测是地平线对数据进行更新，如果不是地平线则不更新，更新后验状态和协方差

$K_k=P_{c_{k|k-1}}^{w_k}{H}_k^T{S}_k^{-1},$

$x_{c_{k|k}}^{w_k}+x_{c_{k|k-1}}^{w_k}+K_k(z_k-h_k),$

$P_{c_{k|k}}^{w_k}=(I-K_k{H}_k)P_{c_{k|k-1}}^{w_k}.$

粗略的，地平线的的光流场信息中的旋转和运动信息较少；而跑道边缘线的光流场信息在飞行过程中存在大变动的旋转信息，这一点就可以用来区分跑道边缘和地平线。细致而言则是采用统计方法，可以飞行过程中地平线数据的光流场速度变换更加相近，而其他线条都存在不同方法的变换，相关性弱。

步骤六：实现基于无人机自主着陆过程。

无人机的着陆过程主要是参考于飞机的着陆标准，要求保证固定翼式无人机着陆时滚转角、俯仰角近似为0，只有沿着跑道方向的速度，以此达到稳定水平着陆，并且整个过程机头需要保持沿着跑道。而无人机的着陆过程主要分为五个部分：①初始进场；②下滑；③拉平；④飘落；⑤滑行；着陆过程示意图如图4所示。

1)进场阶段：

初始进场阶段，飞机从巡航高度开始，下降到指定高度(高度保持不变)，然后在500m高度做定高飞行。当满足下滑条件后即以-2.5°～-6°的航迹倾斜角开始下滑。

2)下滑阶段：

当无人机获得最终下滑指令断开高度保持系统同时接入下滑轨迹跟踪控制系统，即自动断开高度保持系统同时以一定的下滑轨迹角(-2.5°～-6°)下滑。设无人机的进场速度为68m/s，按照角γ＝3°下滑时无人机的下降速度为：参考有人机的允许着陆接地速度为因此需要减小航迹倾斜角γ，使无人机的轨迹沿曲线拉平。

与此同时，飞行控制系统应自动修正无人机的侧滑角和由于侧风干扰所引起的侧向偏离，使空速向量对准跑道中心线。

3)拉平：

本发明中无人机选用的拉平决策高度为15米。当无人机到达拉平决策高度后，由飞行控制系统自动断开下滑轨迹跟踪控制系统，进入拉平控制系统。进入拉平阶段后，无人机将增大迎角使轨迹弯曲，最终使空速向量与地面保持平行完成拉平阶段。本文采用四次曲线拉平轨迹。

4)飘落：

拉平阶段结束后，无人机理想的距离地面高度为0.5～8米。经过自动调整速度和迎角达到着陆接地速度后，进一步减小迎角使无人机的重力大于升力，无人机起落架主轮接触地面、继而前轮着地完成飘落阶段。

5)滑跑：

当机轮接触地面后，根据无人机气动结构配置可采用阻力板、机轮刹车等方法减少滑行距离。在滑行过程中为了使飞机沿跑道中心线直线滑行，最后通过刹车等进行停止。

以上就是无人机的着陆过程，然而过程中无人机的控制率可以拆分为纵向控制率和横向控制率，分别进行设计。分别将由气压计提供的高度信息和本发明中通过地平线和光流法获得的姿态信息相结合，提供给控制器，进行控制率设计。

纵向控制率主要控制的动作是爬升、下滑、平飞。控制主要针对的是俯仰角和高度。在设计控制律的过程中，可以将内回路设计为姿态控制，即完成无人机飞行过程中的爬升、下滑动作。而将外回路设计为高度控制，完成无人机的平飞动作。可以用高度和预设高度之间的差对爬升、平飞和下滑三个动作进行决策。而横向控制率主要控制的是无人机的飞行姿态、航迹和航向。滚转角控制主要是完成对横侧向姿态的控制；航向角控制主要完成的是跟踪和稳定航向。而航迹跟踪控制则是用来让为人际进行预定航线的飞行设置的。在这一过程中，可以用航向角对无人机飞行的方向：左、直飞和右进行决策。

具体实施方式二：本实施方式选取一组用真实固定翼无人机飞行过程中获得的图像数据来验证本发明，从而实现利用本发明方法完成无人机视觉着陆过程。

本实验选用的是固定翼式的无人机，摄像机固定在飞机的底部。

执行步骤一：对飞行过程中相机拍摄出的视频，进行图像预处理。

获得某一时刻k的图像，对图像进行颜色转换，转换到YCrCb空间中，并采用Canny检测算子获得图像的边缘信息。

执行步骤二：用Hough方法检测出图像中的直线信息。

在实际执行过程中，设置二维累加器A(ρ,θ)初始值为0，采用根据精度将极坐标平面等间隔划分为小网格，经过同一小格的即视为相交为一点，二维累加数组加1，即视为通过小格的点在原图像上近似为同一条直线。整个过程从θ从0变为π，离散化步长Δθ选为π/180，而参数ρ的选取范围为0到离散步长选为单位像素。

对于在同一像素点中的ρ和θ存在很小范围的误差，用平均值进行代替。

对于处理下一帧图像，考虑在极短时间的内变换幅度不大，所以选择上一帧图像中直线信息点附近的16×16范围内寻找该帧图像中的直线参数信息。

执行步骤三：用地平线检测获得无人机的飞行的滚转角和方位角。由步骤二中提取出来的地平线图像信息，并根据图像中地平线的位置向量计算出此刻图像中的无人机滚转角。再利用直线的在图像平面x和y轴方向上距离、焦距计算计算出此时无人机的方位角。

执行步骤四：采用光流法得到无人机的姿态信息。通过光流法针对地平线上的点进行计算。本次实验中选用Lucas-Kanade方法。Lucas-Kanade方法是经典梯度光流法Lucas-Kanade。利用最小二乘法即可实现对LK方法的计算，并获得无人机的姿态信息。

执行步骤五：采用扩展卡尔曼滤波方法处理地平线检测数据和光流法得到的数据。将数据代入模型中，通过先验预测与观测值预测，求出残差，根据新息方程，验证其统计信息。由于本实验中选择的置信度基准为0.95。

通过计算的，剔除不满足要求的直线信息。再将数据带回扩展卡尔曼滤波的更新过程中，进行下一步的运算。

执行步骤六：将步骤五中得到的无人机的姿态信息代入无人机控制闭环中，无人机模型如图5所示，通过气压计和速度闭环实现对固定翼式无人机自主着陆五个过程的转换，最终实现着陆效果。

结论：如表1所列的本实施方式实验结果可知，增加光流法对地平线进行检测以后，检测的正确率可以得到明显的提高，并且利用本发明的方法最终都可以成功实现无人机着陆过程，即说明本方法是可靠可行的。

表1实验结果

Claims (7)

1.一种基于光流法和地平线检测的无人机着陆方法，其特征在于所述方法步骤如下：

一、对飞行过程中固定在无人机底部的相机拍摄出的视频，获得某一时刻k的图像，对图像进行颜色转换，转换到YCrCb空间中，并对图像进行边缘检测；

二、对每张图像进行直线检测，获取图像中的地平线信息；

三、通过对步骤二获取的地平线信息进行计算，得到当前无人机的飞行姿态：滚转角、方位角；

四、采用光流法检测出无人机的姿态信息；

五、结合无人机运动模型，采用扩展卡尔曼滤波方法对光流法和地平线检测的无人机姿态进行滤波，挑选出正确的地平线信息；

六、实现基于无人机自主着陆过程。

2.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤一中，采用Canny算子进行边缘检测。

3.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤二中，采用Hough方法进行图像的直线检测。

4.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤三中，滚转角的计算公式为：

$\mathrm{\φ}=arctan\left(\frac{-m_y}{m_x}\right),$

其中，m_x和m_y为地平线在图像中的二维位置向量；

方位角的计算公式为：

$\mathrm{\θ}=arctan(\±\frac{usin\left(\mathrm{\φ}\right)+vcos\left(\mathrm{\φ}\right)}{f}),$

其中，u和v分别为图像像素坐标系x轴上和y轴上的距离，f为摄像机的焦距。

5.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤四中，光流法为LucasKanade局部平滑法。

6.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤五的具体步骤如下：

1)建立无人机模型：

k+1时刻的状态可以由k时刻离散表示，其中η是控制系统中的噪声，符合高斯白噪声分布η_k～N(0,Q_k)，Q_k为噪声协方差，模型如下：

$\left[\begin{array}{c}\mathrm{\φ}(k+1)\\ \mathrm{\θ}(k+1)\\ {\mathrm{\ω}}_x(k+1)\\ {\mathrm{\ω}}_y(k+1)\\ {\mathrm{\ω}}_z(k+1)\end{array}\right]=\left[\begin{array}{c}\mathrm{\φ}\left(k\right)+\mathrm{\Δ}t\left(\stackrel{\·}{\mathrm{\φ}}\right(k\left)\right)\\ \mathrm{\θ}\left(k\right)+\mathrm{\Δ}t\left(\stackrel{\·}{\mathrm{\θ}}\right(k\left)\right)\\ {\mathrm{\ω}}_x\left(k\right)\\ {\mathrm{\ω}}_y\left(k\right)\\ {\mathrm{\ω}}_z\left(k\right)\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_{\mathrm{\φ}}(k+1)\\ {\mathrm{\η}}_{\mathrm{\θ}}(k+1)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_x}(k+1)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_y}(k+1)\\ {\mathrm{\η}}_{{\mathrm{\ω}}_z}(k+1)\end{array}\right],$

其中，

$\stackrel{\·}{\mathrm{\φ}}\left(k\right)={\mathrm{\ω}}_x\left(k\right)sin\left(\mathrm{\φ}\right(k\left)\right)tan\left(\mathrm{\θ}\right(k\left)\right)+{\mathrm{\ω}}_y\left(k\right)cos\left(\mathrm{\φ}\right(k\left)\right)tan\left(\mathrm{\θ}\right(k\left)\right)+{\mathrm{\ω}}_z\left(k\right),$

$\stackrel{\·}{\mathrm{\θ}}\left(k\right)={\mathrm{\ω}}_x\left(k\right)cos\left(\mathrm{\φ}\right(k\left)\right)-{\mathrm{\ω}}_y\left(k\right)sin\left(\mathrm{\φ}\right(k\left)\right),$

式中，φ是飞行器的滚转角，θ是方位角，ω_x、ω_y和ω_z是x、y、z轴方向的角速度，Δt为相机采样时间间隔；

2)采用扩展卡尔曼滤波将通过地平线检测获得的角度信息和光流法检测出的速度进行滤波估计，通过统计学准确判断出正确的地平线信息，增加对无人机的姿态信息获取的准确性。

7.根据权利要求1所述的基于光流法和地平线检测的无人机着陆方法，其特征在于所述步骤六中，采用步骤五中得到的地平线信息获得高精度的无人机的姿态信息，并将其代入无人机控制闭环中，通过气压计和速度闭环实现对固定翼式无人机自主着陆五个过程的转换，最终实现着陆效果。