CN106153008B - 一种基于视觉的旋翼无人机三维目标定位方法 - Google Patents

Abstract

本发明公开一种基于视觉的旋翼无人机三维目标定位方法，利用搭载在无人机上的单一摄像机拍摄目标图像，并将图像回传到地面站；选择具有明显特征的标志物，并进行视觉识别；然后对该标志物进行多点图像测量，基于双目视觉模型和相关数据处理方法计算无人机相对于目标所在地形的高度，获得相对高度后，运用线性回归的方法计算航向偏差；接下来，操作人员可选择摄像机视野里的任一静止或运动目标，实现目标的三维精确定位。本发明在同一次的飞行任务进行，飞行前段计算航向偏差和相对高度，飞行后段进行三维精确定位；本发明不依赖数字地形高程图或气压计，仅采用视觉测量方法确定相对高度，有效节约成本，真正意义上实现对目标的三维定位。

Description

一种基于视觉的旋翼无人机三维目标定位方法

技术领域

本发明属于视觉测量领域，具体涉及一种基于视觉的旋翼无人机三维目标定位方法。

背景技术

随着无人机的应用推广，基于视觉的无人机目标定位已成为一大热点问题。现有的单目视觉定位方法都是以得知目标所在地形的高度为前提的，只是实现目标的二维平面定位，并需要通过数字高程地图或气压计测得目标高度，往往带来额外开销。另外，因旋翼无人机具有成本低、可定点悬停和垂直起降等优势，在民用领域得到越来越广的应用。考虑传感器成本、体积等限制，旋翼无人机一般配备低精度AHRS惯性测量系统等传感器。由于AHRS系统本身存在的航向偏差，将给目标三维定位带来更大的困难和挑战。

发明内容

有鉴于此，本发明提供了一种基于视觉的旋翼无人机三维目标定位方法，能够在不依赖数字高程地图和气压计的条件下，利用旋翼无人机对目标进行三维视觉定位。

实现本发明的方案如下：

一种基于视觉的旋翼无人机三维目标定位方法，包括以下步骤：

步骤一、利用搭载在无人机上的摄像机拍摄图像，并将图像回传到地面站；

步骤二、从回传的图像中选择具有清晰轮廓的静态物体作为标志物，并对标志物进行视觉识别；

步骤三、利用视觉识别的结果对标志物进行多点视觉测量，利用双目视觉模型计算无人机相对于标志物的高度，根据相对高度运用线性回归的方法计算航向偏差；

步骤四、选择摄像机视野里的任一目标，利用航向偏差得到无人机的真实航向，进而实现对目标的三维精确定位。

进一步地，步骤三的具体过程如下：

步骤3.1、利用视觉识别的结果对标志物进行多点视觉测量，得到N点测量值，所述测量值包括无人机拍摄点在惯性参考系{I}的位置姿态(ψ₁,θ₁,φ₁)…，(ψ_N,θ_N,φ_N)，标志物在图像中像素位置其中，ψ_i,θ_i,φ_i分别为方位角，俯仰角和横滚角，i代表第i个测量点，i＝1,2,...N；

步骤3.2、设基线距的阈值为D_pt，当无人机在视觉测量的任意两个点之间的距离T≥D_pt，则选取这两个点的测量值，

其中，

V为无人机的飞行速度，f_GPS为GPS的更新频率；

把先视觉测量的图像作为左视图L，后视觉测量的图像作为右视图R，构成双目视觉模型，无人机相对于标志物的高度h为

其中，f为摄像机的内参数焦距，无人机位置P_I＝[x y z]^T，经过坐标变换将P_I转换为无人机的机体坐标系{B}的位置P_B＝[x_b y_b z_b]^T，目标点在两幅图像的视差d为姿态矩阵为

其中，和分别为机体坐标系{B}下右、左视图所对应的无人机位置的x方向坐标，和分别右、左视图在图像坐标系下的像素位置的y方向坐标；

步骤3.3、对满足T≥D_pt的任意两个视觉测量点配对为一组，共有n组，利用公式（2）计算每组相对高度h_j，j＝1,2,...n，然后求平均值

步骤3.4、获得相对高度后，基于摄像机的测距模型和线性回归方法计算航向偏差δψ。

有益效果：

（1）本发明所提供的方法不依赖数字地形高程图或气压计，仅采用视觉测量方法确定相对高度，有效节约成本，真正意义上对目标进行三维定位；

（2）本发明所提供的方法针对配备低精度AHRS系统的旋翼无人机，并在考虑航向偏差的影响下，实现对目标的精确三维定位。

附图说明

图1为本发明的旋翼无人机目标三维定位系统结构图；

图2为本发明所提供方法的流程图；

图3为本发明所使用的双目视觉模型示意图；

图4为本发明所使用的单目摄像机测距模型示意图；

图5为本发明所提供方法的目标定位效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

搭建如下实验平台对本发明的有效性进行验证，使用一架T650四旋翼无人机，一台笔记本作为地面站，无人机与地面站之间可进行实时通信，系统结构如图1所示。

对于无人机，机上带有GPS定位系统，AHRS惯性测量系统，高程计，无线图像传输模块和无线数据收发模块，使用APM飞控工作在自稳模式来保证无人机的稳定飞行。在无人机的机头位置安装摄像机，俯视角β为45°，并通过无线图像传输模块回传图像到地面站，而无人机的位置、姿态和高程信息通过无线数据收发模块传输到地面站。

地面站以计算机为主体，运行无人机视觉定位等算法，使用USB接口连接无线数据收发模块，实现无人机与地面站的相互通信。

基于该实验平台，如图2所示，基于视觉的旋翼无人机三维定位方法，包括以下步骤：

步骤一、系统启动后，利用搭载在无人机上的摄像机拍摄图像，并将图像回传到地面站；

步骤二、从回传的图像中选择具有清晰轮廓的静态物体作为标志物，并对标志物进行视觉识别；

步骤二中对于标志物进行视觉识别的具体过程如下：

运用SIFT算法对标志物进行识别，得到m个特征点P₁,P₂...P_m-1,P_m，并这些特征点进行存储作为模板。

步骤三、利用视觉识别的结果对标志物进行多点视觉测量，利用双目视觉模型计算无人机相对于标志物的高度，根据相对高度运用线性回归的方法计算航向偏差；

步骤三的具体过程如下：

步骤3.1、利用视觉识别的结果对标志物进行多点视觉测量，得到N点测量值，具体地，采用SIFT算法对当前图像进行特征提取，然后利用步骤二中模板对特征点进行匹配，得到w组匹配点P₁,P₂...P_w-1,P_w，最后取这些匹配点的几何中心P_s(s≤w)代表标志物在图像中的像素位置,记为(x_f,y_f)，所述测量值包括无人机拍摄点在惯性参考系{I}的位置姿态(ψ₁,θ₁,φ₁)…，(ψ_N,θ_N,φ_N)，标志物在图像中像素位置其中，ψ_i,θ_i,φ_i分别为方位角，俯仰角和横滚角，i代表第i个测量点，i＝1,2,...N；

步骤3.2、设基线距的阈值为D_pt，当无人机在视觉测量的任意两个点之间的距离T≥D_pt，则选取这两个点的测量值，

其中，

V为无人机的飞行速度，f_GPS为GPS的更新频率；

把先视觉测量的图像作为左视图L，后视觉测量的图像作为右视图R，构成双目视觉模型，如图3所示，无人机相对于标志物的高度h为

其中，f为摄像机的内参数焦距，无人机位置P_I＝[x y z]^T，经过坐标变换将P_I转换为无人机的机体坐标系{B}的位置P_B＝[x_b y_b z_b]^T，目标点在两幅图像的视差d为姿态矩阵为

其中，和分别为机体坐标系{B}下右、左视图所对应的无人机位置的x方向坐标，和分别右、左视图在图像坐标系下的像素位置的y方向坐标；

步骤3.3、对满足T≥D_pt的任意两个视觉测量点配对为一组，共有n组，利

用公式(2)计算每组相对高度h_j，j＝1,2,...n，然后求平均值

步骤3.4、获得相对高度后，基于摄像机的测距模型和线性回归方法计算航向偏差δψ。具体地，如图4所示，[x_p y_p z_p]^T表示标志物在惯性参考坐标系{I}的坐标，摄像机的测距模型为

姿态矩阵为

其中，相对高度h＝z_p-z，(ψ,θ,φ)表示无人机的航向角、俯仰角、横滚角，俯仰角θ、横滚角φ的测量精度高，其误差忽略不计，而航向角ψ的测量存在较大的航向偏差δψ，需要通过线性回归方法进行计算。

设参数θ＝[θ₁,θ₂]^T，θ₁＝[x_p,y_p]^T，θ₂＝δψ，y₁＝[x,y,z,x_f,y_f]^T，量测方程为

z₁＝y1+v₁,v₁～N(0,R₁) (4)

其中v₁，v₂为测量噪声，R₁，R₂为实对称正定阵。则式(4)变形为

运用泰勒展开，式(6)变为

由式(6)和式(7)，得

通过对同一标志物的多点视觉测量，通过这些测量值得到如下线性回归方程，

其中，噪声为

V～N(0,R)

协方差矩阵为

通过式(9)可求解航向偏差δψ。

步骤四、在相对高度和航向偏差均有效估计的条件下，选择摄像机视野里的任一目标，利用航向偏差得到无人机的真实航向，进而实现对目标的三维精确定位。

在如下条件下：h＝45m，V＝3.44m/s，f_GPS＝4Hz，δψ＝30deg，本发明所提供方法的效果如表1，如图5所示。

表1定位方法结果比较

定位方法	传统的两维定位	本发明的三维定位
			相对高度估计误差eh/m	______	0.5
航向估计误差eδψ/deg	10.7	11.5
			定位误差exy/m	14.0	14.7
定位误差ez/m	______	1.0

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于视觉的旋翼无人机三维目标定位方法，其特征在于，包括以下步骤：

步骤一、利用搭载在无人机上的摄像机拍摄图像，并将图像回传到地面站；

步骤二、从回传的图像中选择具有清晰轮廓的静态物体作为标志物，并对标志物进行视觉识别；

步骤三、利用视觉识别的结果对标志物进行多点视觉测量，利用双目视觉模型计算无人机相对于标志物的高度，根据相对高度运用线性回归的方法计算航向偏差；

步骤三的具体过程如下：

步骤3.1、利用视觉识别的结果对标志物进行多点视觉测量，得到N点测量值，所述测量值包括无人机拍摄点在惯性参考系{I}的位置姿态(ψ₁,θ₁,φ₁)…，(ψ_N,θ_N,φ_N)，标志物在图像中像素位置其中，ψ_i,θ_i,φ_i分别为方位角，俯仰角和横滚角，i代表第i个测量点，i＝1,2,...N；

步骤3.2、设基线距的阈值为D_pt，当无人机在视觉测量的任意两个点之间的距离T≥D_pt，则选取这两个点的测量值，

其中，

<mrow> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mi>int</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>*</mo> <mfrac> <mi>V</mi> <msub> <mi>f</mi> <mrow> <mi>G</mi> <mi>P</mi> <mi>S</mi> </mrow> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

V为无人机的飞行速度，f_GPS为GPS的更新频率；

把先视觉测量的图像作为左视图L，后视觉测量的图像作为右视图R，构成双目视觉模型，无人机相对于标志物的高度h为

<mrow> <mi>h</mi> <mo>=</mo> <mi>f</mi> <mfrac> <mi>T</mi> <mi>d</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中，f为摄像机的内参数焦距，无人机位置P_I＝[x y z]^T，经过坐标变换将P_I转换为无人机的机体坐标系{B}的位置P_B＝[x_b y_b z_b]^T，目标点在两幅图像的视差d为姿态矩阵为

<mrow> <msubsup> <mi>C</mi> <mi>b</mi> <mi>I</mi> </msubsup> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>cos</mi> <mi>&amp;psi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;phi;</mi> <mo>-</mo> <mi>sin</mi> <mi>&amp;psi;</mi> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;phi;</mi> <mo>+</mo> <mi>cos</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>sin</mi> <mi>&amp;psi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;psi;</mi> <mi>cos</mi> <mi>&amp;phi;</mi> <mo>+</mo> <mi>sin</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;phi;</mi> <mo>-</mo> <mi>cos</mi> <mi>&amp;psi;</mi> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，和分别为机体坐标系{B}下右、左视图所对应的无人机位置的x方向坐标，和分别右、左视图在图像坐标系下的像素位置的y方向坐标；

步骤3.3、对满足T≥D_pt的任意两个视觉测量点配对为一组，共有n组，利用公式(2)计算每组相对高度h_j，j＝1,2,...n，然后求平均值

步骤3.4、获得相对高度后，基于摄像机的测距模型和线性回归方法计算航向偏差δψ；

步骤四、选择摄像机视野里的任一目标，利用航向偏差得到无人机的真实航向，进而实现对目标的三维精确定位。