CN102788580A - 无人机视觉导航中的飞行路线合成方法 - Google Patents

Abstract

本发明研究一种无人机视觉导航系统的飞行路线合成方法。在利用图像特征匹配获得导航信息的同时，无人机的旋转问题不能忽视。本发明提出利用惯性导航系统测量的欧拉角和角速度补偿旋转效应，然后根据图像中路标的运动轨迹合成一个完整的基于视觉信息的飞行路线。即利用自然路标在一定时间间隔内的图像(像素位移)坐标变换关系解算出无人机的位置信息。本发明研究的无人机视觉导航中路线合成方法，正是为了适合中小型无人机的高定位精度、微型化及低成本的特点，具有理论与实用价值。

Description

无人机视觉导航中的飞行路线合成方法

技术领域

本发明属于视觉导航领域，涉及一种无人机视觉导航中的飞行路线合成方法研究。

背景技术

无人机(UAV)在军事上和民用上的作用日趋重要，先进的导航系统是决定无人机完成作战任务、提高生存力的关键。近十年来，无论在定位、跟踪还是在自主信息处理及无人机载荷方面的发展已取得重大进展，如现代卫星导航技术、惯性导航系统、通讯和监控技术等，此外，新的视觉感知和处理设备也已经装备到无人机上。目前广泛使用的UAV导航手段为GPS导航，由于其使用的具有一定的环境局限性，后来出现了基于地形的导航方式(TRN)，通过载体携带有源传感器(雷达、激光)或无源传感器(相机)实测地形与先验地形图进行匹配，它是根据环境信息(地形、标记)确定载体的相对位置和速度。地形导航系统如地形等值线导航(TERCOM)、数字景像区域相关导航(DSMAC)还在使用。

近些年来，大量的科研集中在无GPS的导航方法研究，如利用激光传感器避障和室内定位。由于视觉传感器是无源的，而且在成本、重量、功率消耗和尺寸上的优势，成为替代GPS导航的首选。利用飞行载体的视觉信息导航方法最早是将地面载体的视觉导航方法引入，如基于图像算法是去找和跟踪预先存储的路标。在载体飞行前，通过规划好的路线，预先把路标和位置信息存储在数据库里。在载体飞行时，通过机载像机观察的特征与数据库中的路标相比较，当匹配成功后，载体相对于路标的位置和姿态信息就能被估计出来，从而得到导航参数。但是，它需要预告的路标及位置信息的确定，而很多应用场合没有预先观测信息或者预告观测信息发生重大变化。在实际应用中，往往需要无人机深入未知复杂环境去完成探测、监视、跟踪或攻击任务，无法预先认为设置地面控制点。因此，研究不受先验信息约束的、自主寻找自然地标进行视觉导航误差校正的导航方法是保障复杂未知环境下无人机顺利执行任务的前提。

未知环境中导航算法如二维SLAM算法，是同时定位和绘图的方法，根据测量特征及位置信息，估计未知环境中导航参数，尽管SLAM算法比较高效，但是对于UAV(计算受限情况)应用来说，有两个瓶颈，首先视觉SLAM算法需要观测目标被跟踪一段时间，其次，随着路标的增加，SLAM算法的计算量与计算时间增加巨大。还有一些方法对特定的自然路标提取其不变特征点，利用特征点聚类的方法来识别判断路标。这类方法具有较强的鲁棒性，能应用在复杂环境中，是自然路标导航的发展方向，但一般计算量也较大，难以满足实时性的要求目。

SIFT算法具有良好的尺度、旋转、光照以及三维视角的不变性，因而SIFT特征点具有很好的区分性，很适合用于图像特征匹配。由于飞行器的飞行导致图像序列中的某些特征某一时刻进入图像，某一时刻又走出图像，所以要利用这些图像特征解算出的位置信息，合成载体飞行路线并与惯导位置信息进行数据融合，获得优质的导航参数。

因此，本发明研究的无人机视觉导航中路线合成方法，正是为了适合中小型无人机的高定位精度、微型化及低成本的特点，具有理论与实用价值。

发明内容

本发明重点研究无人机视觉导航系统的飞行路线合成问题。在利用图像特征匹配获得导航信息的同时，有个问题不能忽视，那就是无人机的旋转问题，即无人机高度及角度的变化影响。本发明提出利用惯性导航系统测量的欧拉角和角速度补偿旋转效应，然后根据图像中路标的运动轨迹合成一个完整的基于视觉信息的飞行路线。即利用自然路标在一定时间间隔内的图像(像素位移)坐标变换关系解算出无人机的位置信息。具体的研究方案如图1所示。主要内容如下：

1)无人机旋转效应补偿

2)飞行路线的合成

附图说明

图1是本发明的研究方案图。

图2是飞行路线特征点示意图。

具体实施方式

主要环节的具体设计思路如下：

(1)无人机旋转效应补偿

无人机的旋转效应对图像中特征点位移有影响。所以在特征点位置信息后，要去除旋转效应的影响。利用惯性导航系统测量的欧拉角(θ，φ)和角速度(ω_x，ω_y，ω_z)，基于公式(1)和公式(2)。

$\left\{\begin{array}{c}{x}_i^t=x_i-\left(f\tan \mathrm{\θ}\right)\\ y_i^t=y_i-\left(f\tan \mathrm{\φ}\right)\end{array}\right.---\left(1\right)$

且 $\left\{\begin{array}{c}{\stackrel{\·}{x}}_i^t={\stackrel{\·}{x}}_i-(\frac{x_i{y}_i}{f}{\mathrm{\ω}}_x-\frac{f^2+x_i^2}{f}{\mathrm{\ω}}_y+y_i{\mathrm{\ω}}_z)\\ {\stackrel{\·}{y}}_i^t={\stackrel{\·}{y}}_i-(\frac{f^2+y_i^2}{f}{\mathrm{\ω}}_x-\frac{x_i{y}_i}{f}{\mathrm{\ω}}_y-x_i{\mathrm{\ω}}_z)\end{array}\right.---\left(2\right)$

其中f为相机焦距，

为图像特征位移速度。

1)飞行路线的合成

利用视觉信息确定出自然路标的位置信息后，提出根据图像中路标的运动轨迹合成一个完整的基于视觉信息的飞行路线。即利用自然路标在一定时间间隔内的图像(像素位移)坐标变换关系解算出无人机的位置信息。其特征点示意图2所示。

步骤1：图像坐标系下的位置解算。图2中的三个子图分别表示了以旧特征点(三角特征)为中心、旧的特征移出图像及新的特征(圆型特征)移进图像，及以新特征为中心的图像位移过程。则在图像坐标下，t时刻图像序列总的位移是t时刻图像上各特征点位移的和，如公式(3)所示。

$\left\{\begin{array}{c}{x}^t=\underset{t=1}{\overset{i=n}{\mathrm{\Σ}}}{x}_i^t\\ y^t=\underset{t=1}{\overset{i=n}{\mathrm{\Σ}}}{y}_i^t\end{array}\right.---\left(3\right)$

步骤2：飞行器与特征间距离Z解算。特征位移速度

与此距离间的关系基于光流原理，即特征位移速度(像素速度)与摄像机焦距f及飞行器速度v_x，v_y，v_z间的关系如公式4所示。

$\left\{\begin{array}{c}{\stackrel{\·}{x}}_i^t=f\frac{v_x}{z}+x_i\frac{v_z}{z}\\ {\stackrel{\·}{y}}_i^t=f\frac{v_y}{z}+y_i\frac{v_z}{z}\end{array}\right.---\left(4\right)$

公式(4)对时间进行微分，可得

$\left\{\begin{array}{c}{\stackrel{\·\·}{x}}_i^t=f\frac{a_x}{z}\\ {\stackrel{\·\·}{y}}_i^t=f\frac{a_y}{z}\end{array}\right.---\left(5\right)$

其中a_x，a_y飞行器惯导器件测量载体的加速度。公式(5)为距离Z与特征位移速度间的解算公式。

步骤3：合成飞行器的位置与速度信息。利用步骤2解算出的距离

及相机的标定方法计算飞行器的水平位置(X，Y)及速度(v_x，v_y)，如公式(6)所示。

公式(6)适用于距离Z为常数的情况，不同距离Z时，如公式(7)所示。

步骤4：kalman滤波实现导航数据融合。选择(X，Y，Z，v_x，v_y，v_z)为状态变量，选择

惯导加速度(a_x，a_y，a_z)为输入变量，设计kalman滤波器。

本发明的优点在于，放弃实时图与基准图的“绝对”景象匹配，转而采用实时图与实时图的动态关键图像进行“相对”景象匹配，克服了非适配区图像度量特征非常稀少的困难。另一方面，与惯导相融合更能提供飞行载体全方面的导航参数，本研究对飞行器导航及地面导航都具有一定的理论和学术价值，具有良好的应用前景。

Claims (3)

1.一种无人机视觉导航系统的飞行路线合成方法。其特征在于(1)解决无人机高度及角度的变化影响；(2)利用自然路标在一定时间间隔内的图像(像素位移)坐标变换关系解算出无人机的位置信息。

2.根据权利要求1所述的一种无人机视觉导航系统的飞行路线合成方法，其特征在于，利用惯性导航系统测量的欧拉角和角速度补偿旋转效，解决无人机高度及角度的变化影响。

3.根据权利要求1所述的一种无人机视觉导航系统的飞行路线合成方法，其特征在于，无人机位置信息的合成方法是基于光流原理，由特征点像素位移、相机焦距、特征点与载体间距离的关系解算，并由kalman滤波合成飞行路线。

Images