CN104197928B - 多摄像机协同的无人机检测、定位及跟踪方法 - Google Patents

Abstract

本发明涉及一种多摄像机协同的无人机检测、定位及跟踪方法，针对无人机着陆过程中，利用视觉进行无人机导航控制问题，基于多摄像机协同技术，实现了无人机着陆过程中的实时检测、定位与跟踪。首先利用全站仪进行大场景高精度的摄像机标定，然后在真实无人机着陆环境中机载合作标志灯成像特性的基础上，基于极线约束的目标检测方法进行无人机精确检测，最后基于多摄像机立体视觉实现无人机的空间定位，并利用目标运动的时空连续性进行数据关联完成无人机着陆过程的跟踪。本发明的定位精度为：距着陆点400m处，XYZ方向的定位精度分别为20m、2m和2m；200米处，定位精度分别为5m、0.5m和0.5m；最后50米的定位精度均为0.2m。该系统定位测量总延时小于25ms，包括采集、传输和处理的时间。

Description

多摄像机协同的无人机检测、定位及跟踪方法

技术领域

本发明涉及一种多摄像机目标检测与定位跟踪方法，具体为协同的无人机高精度目标检测与定位跟踪方法。

背景技术

无人机视觉导航技术是近年国际上迅速发展起来的一种新型导航技术。该技术通常在飞行器上安装可见光/红外摄像机或成像雷达对地面成像，或利用地基/舰基的摄像机对无人机拍摄图像，利用立体视觉技术可以得到飞行器的位置、速度、姿态、高度和飞行方向等多种导航参数，从而为运动平台提供导航信息。视觉导航技术具有自成体系、不易受干扰、无时间累积误差、测量精度高、体积小、成本低、功耗小、可测参数多等诸多突出优点，具有广阔的应用发展前景。无人机视觉导航技术用途广泛，由于可以得到无人机自身的位置、高度、速度、姿态和飞行方向等多种导航参数，视觉导航技术在无人机的飞行控制、姿态确定和自主降落等领域起着重要的作用。目前，在无人机的自主着陆导航上应用上，精确的视觉导航技术仍有许多问题要解决，如无人机的实时持续检测，精确定位，以及持续跟踪。

发明内容

要解决的技术问题

目标检测精度直接决定了目标定位精度，为了提高无人机的检测精度，通常在无人上携带标志灯，但由于机载合作标志灯尺寸较小，当无人机从较远处开始下滑着陆时，机载合作标志灯呈现小目标的特性。此外，实际环境中可能会受到强烈阳光、杂波、信号噪声等不确定因素的影响，进而导致场景中的光照强度接近甚至超过小目标区域的光照强度，降低目标信噪比，给目标检测带来严峻困难。因而如何实现对小目标高精度、稳定和实时的检测跟踪是本系统的难点问题之一。针对以上问题，本发明针对无人机着陆过程中，利用视觉进行无人机导航控制问题，发明了一种多摄像机协同的无人机高精度检测、定位与跟踪方法。

技术方案

一种多摄像机协同的无人机检测、定位及跟踪方法，其特征在于步骤如下：

步骤1：内外参数标定：摄像机内外参数标定：采用基于平面标定板的方法对摄像机进行内参标定，确定摄像机内参和基准点的空间坐标，计算基准点平面与摄像机成像平面之间的单应变换H，将单应矩阵H分解为旋转矩阵R和平移向量T，完成外参标定；

步骤2：目标检测：对相机采集的图像进行简单形态学预处理去除图像上的噪声，然后进行阈值分割，当图像像素值大于分割阈值T为候选目标前景图；对前景图进行聚类，像素距离f_pd(p_i,p_j)小于前景聚类窗J聚为一类x_i(i≥0)，将每一个聚类的图像质心坐标确定为候选目标x_i在图像中的坐标：

其中，p_i、p_j为图像像素点，和分别为p_i，p_j像素点坐标值；

计算两个摄像机采集的图像之间的对称转移误差，将其作为距离度量：

其中，为第一个摄像机的候选目标集合，为第二个摄像机的候选目标集合，F为两摄像机所成图像的基本矩阵；求解两个图像之间的匹配矩阵D：

采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配结果作为检测定位结果Q_t；

步骤3：目标定位：对如下目标函数进行最大似然估计：

其中，x和x′为摄像机C与C′对应图像上的观测点，和为精确满足对极几何约束的对应观测点附近的点，d(*,*)代表图像点之间的欧氏距离；首先通过DLT(Direct LinearTransform)求得和初始值，然后利用LM非线性优化算法对初始值进行迭代优化，可得最终的定位结果；

步骤4：目标跟踪：采用定位结果在三维空间中的欧氏距离作为距离度量，定义历史结果T_i ^t(i＝1,2，…,p)和当前观测之间的距离为：

其中，为T_i ^t的空间坐标，为的空间坐标；采用匈牙利算法进行定位结果的数据关联，求解全局最优的数据关联结果。

分割阈值T∈[40,100]，前景聚类窗J∈[40,100]。

有益效果

本发明提出的一种多摄像机协同的无人机检测、定位及跟踪方法，针对无人机着陆过程中，利用视觉进行无人机导航控制问题，利用一种基于极线约束的弱小目标检测方法，在精确检测的基础上利用立体视觉实现无人机的空间定位，最后基于目标运动的时空连续性进行数据关联实现目标跟踪。本发明的定位精度为：距着陆点400m处，XYZ方向的定位精度分别为20m、2m和2m；200米处，定位精度分别为5m、0.5m和0.5m；最后50米的定位精度均为0.2m。该系统定位测量总延时小于25ms，包括采集、传输和处理的时间。

具体实施方式

现结合实施例本发明作进一步描述：

1、摄像机内外参标定

本发明采用基于平面标定板的方法实现内参标定。外参标定主要包括三个步骤：(1)建立世界坐标系：沿跑道方向为X轴，垂直跑道方向为Y轴，竖直向上为Z轴，坐标系满足右手坐标规则。(2)选定8个不在同一直线上的基准点，在基准点位置放置全站仪，利用全站仪标定基准点的三维位置。(3)为了得到高精度的测量，在基准点位置放置标志灯，采用手工选点的方式获得基准点在图像上的位置。确定摄像机内参和基准点的空间坐标后，根据基准点的位置进行外参标定。

首先验证基准点是否处于同一平面上，若在一平面上，计算基准点平面与摄像机成像平面之间的单应变换H,继而可将单应矩阵H分解为旋转矩阵R和平移向量T，完成外参标定；若基准点不处于同一平面，可先利用DLT算法计算R和T的初值，最后通过Levenberg-Marquardt优化算法求取R和T的精确值。

2、基于极线约束的多摄像机目标检测

无人机下降过程中，机载标志灯在图像中由高亮点目标逐渐变为小光斑。为了提高检测效率并减少检测结果中的虚假目标，本发明使用高亮度标志灯，并将其固定在无人机上，从而保证了目标检测的精度与稳定性。为精确获取目标在图像中的位置，根据灰度信息进行分割。由于相机获取的图像中，目标与背景灰度差异明显，因此首先对图像进行简单形态学预处理后去除图像上的噪声；然后进行阈值分割获得候选目标的前景图，其中，图像像素值大于分割阈值T∈[40,100]的即为候选目标前景图；接着对检测前景图进行目标聚类，每一个聚类的图像质心坐标确定为候选目标x_i在图像中的坐标。其中，像素距离f_pd(p_i,p_j)小于前景聚类窗宽J∈[40,100]聚为一类x_i(i≥0)。本实施例中，T＝50，J＝50。

其中，p_i、p_j为图像像素点，和分别为p_i、p_i像素点坐标值。

两摄像机间的对极几何指两视图之间内在的射影几何关系，它与场景无关，仅依赖于相机的内部参数及相机之间的相对位置。若X与X’为空间中一个点，x和x′为成像点，C与C′光心。则可确定X在C和x的连线上，又由于Cx位于外极平面上，可推断x′一定位于外极线上，即像点在对应相机中的对应点一定位于对极线上。

设第一个相机的检测结果为第二个相机检测结果为数据关联的任务就是确定和的匹配关系。本发明采用检测结果之间的对称转移误差作为距离度量，即：

其中，F为两相机所成图像的基本矩阵，等式右边为两摄像机中像点与对极线之间的距离。

为获得两视图间最优的匹配结果，求解匹配矩阵D：

采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配结果作为检测定位结果Q_t。对于未获得关联的检测结果，可能的原因包括只有单个相机可见或只有单个相机检测成功等，而关联上的检测结果，即满足极线约束的检测结果，可认为来自空间同一目标。从而，该方法可以有效的去除检测中的虚假目标。

3、基于立体视觉的目标精确定位

得到目标在图像上的坐标后，可基于立体视觉进行目标的精确定位。在摄像机C与C′对应图像上，分别有观测点x和x′，设和为精确满足对极几何约束的对应观测点附近的点，基于重投影误差最小的双目定位方法求解使重投影误差最小的和即最小化如下目标函数：

其中，d(*,*)代表图像点之间的欧氏距离。在高斯误差分布假设下，上述估计是关于真实图像对应点的最大似然估计。上式的求解过程分为两个步骤，首先通过DLT(DirectLinear Transform)求得和初始值，然后利用LM非线性优化算法对初始值进行迭代优化，可得最终的定位结果。

4、基于运动连续性的数据关联与目标跟踪

本发明采用定位结果在三维空间中的欧氏距离作为距离度量，定义历史跟踪结果和当前观测点之间的距离为：

其中，为T_i ^t的空间坐标，为的空间坐标。

然后，采用匈牙利算法进行定位结果的数据关联，求解全局最优的数据关联结果。

Claims (2)

1.一种多摄像机协同的无人机检测、定位及跟踪方法，其特征在于步骤如下：

步骤1：摄像机内外参数标定：采用基于平面标定板的方法对摄像机进行内参标定，确定摄像机内参和基准点的空间坐标，计算基准点平面与摄像机成像平面之间的单应变换H，将单应矩阵H分解为旋转矩阵R和平移向量T，完成外参标定；

步骤2：目标检测：对相机采集的图像进行简单形态学预处理去除图像上的噪声，然后进行阈值分割，当图像像素值大于分割阈值T为候选目标前景图；对前景图进行聚类，像素距离f_pd(p_i,p_j)小于前景聚类窗J聚为一类x_i(i≥0)，将每一个聚类的图像质心坐标确定为候选目标x_i在图像中的坐标：

$f_{pd}(p_i,p_j)=\sqrt{{(p_i^x-p_j^x)}^2+{(p_i^y-p_j^y)}^2}$

其中，p_i、p_j为图像像素点，和分别为p_i，p_j像素点坐标值；

计算两个摄像机采集的图像之间的对称转移误差，将其作为距离度量：

$d(x_i^1,x_j^2)=d(x_i^1,F^T{x}_j^2)+d(x_i^1,{\mathrm{Fx}}_i^1)$

其中，为第一个摄像机的候选目标集合，为第二个摄像机的候选目标集合，F为两摄像机所成图像的基本矩阵；求解两个图像之间的匹配矩阵D：

$D=\left[\begin{array}{cccc}d(x_1^1,x_1^2)& d(x_1^1,x_2^2)& \mathrm{...}& d(x_1^1,x_n^2)\\ d(x_2^1,x_1^2)& d(x_2^1,x_2^2)& \mathrm{...}& d(x_2^1,x_n^2)\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ d(x_m^1,x_1^2)& d(x_m^1,x_2^2)& \mathrm{...}& d(x_m^1,x_n^2)\end{array}\right]$

采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配结果作为检测定位结果Q_t；

步骤3：目标定位：对如下目标函数进行最大似然估计：

$C(\hat{x},{\hat{x}}^{\′})=d{(x,\hat{x})}^2+d{(x^{\′},{\hat{x}}^{\′})}^{2}subjectto{\hat{x}}^{\′T}F\hat{x}=0$

其中，x和x′为摄像机C与C′对应图像上的观测点，和为精确满足对极几何约束的对应观测点附近的点，d(*,*)代表图像点之间的欧氏距离；首先通过DLT(Direct LinearTransform)求得和初始值，然后利用LM非线性优化算法对初始值进行迭代优化，可得最终的定位结果；

步骤4：目标跟踪：采用定位结果在三维空间中的欧氏距离作为距离度量，定义历史结果T_i ^t(i＝1,2,…,p)和当前观测之间的距离为：

$d(T_i^t,X_j^{t+1})=\sqrt{{(x_i^t-x_j^{t+1})}^2+{(y_i^t-y_j^{t+1})}^2+{(z_i^t-z_j^{t+1})}^2}$

其中，为的空间坐标，为的空间坐标；采用匈牙利算法进行定位结果的数据关联，求解全局最优的数据关联结果。

2.根据权利要求1所述的多摄像机协同的无人机检测、定位及跟踪方法，其特征在于分割阈值T∈[40,100]，前景聚类窗J∈[40,100]。