CN108731587A - 一种基于视觉的无人机动态目标跟踪与定位方法 - Google Patents

Abstract

一种基于视觉的无人机动态目标跟踪与定位方法，该方法利用两个摄像头采集监控区域图像，通过监控区域背景动态更新和目标物体提取，利用双目识别定位原理，生成视角区域三维点云；结合目标物体提取和双目识别定位原理，动态跟踪定位目标物体。本发明将视觉测距与目标跟踪在视频监控领域相结合，通过目标动态跟踪，确定目标所在图像的像素坐标，结合视觉测距生成的三维点云，锁定目标物体，并确定其三维坐标。当目标物体进入警戒区域，系统便可发出警报，达到实时预警的目的；捕捉到的目标物体的位置信息给后台工作人员的实际操控提供科学依据。

Description

一种基于视觉的无人机动态目标跟踪与定位方法

技术领域

本发明涉及无人机视觉控制技术，尤其涉及一种基于视觉的无人机动态目标跟踪与定位方法。

背景技术

无人机通常通过视觉传感器感知周围环境，地面站对下传的传感器信息处理分析获取有效信息引导无人机飞行。无人机常常携带的光电设备包括CCD光电摄像机、红外热像仪、合成孔径雷达成像等。其中CCD摄像机不仅能够获得高解析度的图像情报，而且容易与红外焦平面阵列结合形成多光谱成像系统，因此成为小型无人机首选甚至是唯一的光电视觉传感器。

无人机利用机载CCD摄像机对飞行区域进行监控，获取的航空图像经过压缩后通过卫星链路下传回地面，地面站对数据进行解压缩处理，得到原始的无人机航空图像。对下传的航空视频进行预处理，图像增强、滤波和去噪，以提高图像的清晰度，经过图像分割、特征提取等步骤后标识出目标，在后续的视频帧中图像跟踪该运动目标，计算目标相应于光轴的偏差大小及方向，并将水平与俯仰方向的偏差信号上传给无人机机载光轴伺服系统，控制光轴角度，使所跟踪的目标始终保持在成像平面中央，从而可以进行长时间的锁定该目标，引导无人机跟踪飞行。

要实现在无人机飞行过程中实时监测地面，获取感兴趣目标的方位信息，首先需要从序列航空图像中检测出运动目标。无人机机载摄像机的运动使得航空视频的背景环境也是运动的，因此变化的背景对动态目标的检测将会造成极大的干扰。运动检测主要包括帧差法、背景差分法和光流法。前两种方法虽然实现简单，但是对动态场景中的运动目标之外的变化因素都非常敏感，不能满足动态背景下的动态目标的检测需求；光流法采用了运动目标随时间变化的光流特性，该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标，但计算量很大且易受噪声、光照等干扰，因此也不适合无人机机载视频处理的需求。针对动态背景中运动目标检测，不少文献也做了相关方面的研究。基本思想是通过机载传感器或者图像处理估计出背景的运动模型，补偿背景的运动，从而将动态背景下动态目标的检测问题转化为静态背景下动态目标的检测。

检测出运动目标之后，需要在后续视频中连续跟踪该运动目标，实时获取运动目标的位置信息。运动目标跟踪算法一般分为基于区域、基于特征和基于模型的跟踪算法。在无人机航空视频的图像跟踪中，为了满足引导无人机飞行的需求，跟踪算法需要精确锁定特定目标并且算法实时性要高。MeanShift算法是一种有效且常用的跟踪算法，其本质上属于基于特征的跟踪算法。分为以下几步：首先在初始帧中建立目标特征，使用颜色直方图来描述目标区域的特征；然后在后续帧中进行目标候选区域特征提取；最后通过相似性函数判断当前帧中候选区域是否为真实目标。MeanShift算法实时性较好；采用归一化核函数直方图建模，对边缘遮挡、目标形变以及背景变化不敏感，但其仍然存在使用上的局限性，一方面，由于MeanShift采用核函数颜色直方图建模，颜色直方图是一种比较弱的对目标特征的描述，当背景和目标的颜色分布较相似的时候，算法效果欠佳，搜索目标往往收敛于背景中与目标颜色分布比较相似的物体，另一方面不能跟踪快速运动的物体。Kalman滤波是在协方差估计误差最小的意义上的最优的递归算法，即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，视觉的跟踪看作推理的过程。缺点在于方法的鲁棒性还有待加强，需要有较为准确的初始值，适用于规律运动的目标跟踪。

CCD摄像机中呈现的只是运动目标二维的运动信息，因此需要加入其它传感器和采用一定的算法才能实现运动目标的相对定位。通常情况下用激光测距仪测量目标相对无人机的距离得到精确的目标相对位置和相对速度。激光测距是采用脉冲激光，无法做到实时的连续测距，因此我们应当考虑实时的测距算法。

在现有的技术中，复杂背景下无人机对运动目标的跟踪与定位，通常辅助人工搜索的方法检测特定运动目标，并用跟踪算法实现运动目标在图像中的跟踪，计算脱靶量，从而控制光轴伺服系统实现光轴稳定跟踪，是一种半自主的引导方式。并且对无人机的引导，大多数情况下是角度导引，并非位置导引，因此有一定的局限性。

发明内容

本发明目的是为了克服现有技术的不足，提供一种可在复杂背景下无人机对运动目标的跟踪与定位从而完成对无人机的引导的基于视觉的无人机动态目标跟踪与定位方法。

为了实现上述目的，本发明采用如下技术方案：一种基于视觉的无人机动态目标跟踪与定位方法，包括如下步骤：

步骤1，目标物体提取：动态建立背景图库并实时更新，给不同动态程度的背景赋予不同的阈值，根据当前图像和背景图库中图像的差分运算结果，区分当前图像中的前景与背景部分，并将背景部分更新到背景图库中；

步骤2，双目测距：(1)消除图像畸变与摄像头校正：利用泰勒级数展开并结合添加校正因子，校正所采集图像畸变；采用16*12棋盘作为标定物对摄像头进行标定，通过距离最小化、投影最大化原则来确保棋盘图像中的特征点均匀分布，利用棋盘特征点和图像特征点的几何关系得出坐标点对方程，从而求解摄像头内外参数，通过内参数校正畸变图像，得出更加真实自然的图像；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准的校正图像；

(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，分析其中的差异，输出同一特征点在左右图像上的像素坐标差值；

(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云；

步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测距生成的三维点云信息，确定该目标的三维点云，求得目标物体在世界坐标系中的坐标。

作为优选，所述步骤1中使用混合高斯模型，减弱图像中类似于树叶晃动的干扰因素，以减少前景与背景的相互干扰；根据动态阈值有效分离当前帧前景及背景图像，并将当前图像的背景部分更新到背景图库中；依据提取的前景图像，确定前景所处图像的像素坐标，为计算前景图像的三维世界坐标提供科学依据。

作为优选，所述利用泰勒级数展开并结合添加校正因子的方法如下：

假设一幅图像的灰度级为L，灰度值为i像素个数为ni，总的像素数为N，每一个灰度值出现的概率为Pi，则有：

选择阈值T，将图像划分为两类：C0：(0，1，2，...，T)；C1：(T+1，T+2，...，L-1)；C0和C1类出现的概率分别为：

这两类像素的平均灰度值分别为：

整幅图像的平均灰度值为：

C₀和C₁类的方差分别为：

总方差为：

其中类内方差和类间方差分别为：

通过类间方差作为校正因子的测量准则，计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值，当类间方差最大的时候，认为此时前景和背景差异最大，因此，最佳阈值为：

发明的有益效果是：(1)通过建立的动态背景图库模型，经图像处理，可动态锁定进入监控区域的目标物体，为安防领域的实时预警提供支撑。(2)采用双目测距原理，结合目标物体的前景提取，可准确获取目标物体的位置信息，弥补传统视频监控不能提供目标物体精确位置信息的不足，提高视频监控的智能化水平。

附图说明

图1为本发明总体原理示意图。

图2为本发明目标物体测量定位流程图。

图3为摄像头成像模型图。

图4为三角测量法原理图。

具体实施方式

现在结合附图对发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明发明的基本结构，因此其仅显示与发明有关的构成。

如图所示，本发明的总体原理示意如图1所示，通过USB接口的左右摄像头采集双目图像信息，经ARM11开发板对图像进行处理，捕捉目标物体位置和几何大小信息，为自动预警以及后台工作人员采取相应措施提供依据。

本发明中目标物体测量定位流程如图2所示，通过左右摄像头采集双目图像信息，以16 12棋盘为标定物，采用距离最小化、投影最大化原则立体标定摄像头，求得摄像头参数并校正畸变图像，匹配左右图像特征点，并通过三角测量法生成图像的三维点云；动态设置相似度阈值以便准确提取目标物体，获取目标物体像素坐标，结合已生成的三维点云，捕捉目标物体位置和几何大小信息，为人机交互和智能预警提供依据。

具体方法如下：

步骤1，目标物体提取：动态建立背景图库并实时更新，对不同的动态程度的背景赋予不同的阈值，将当前图像和背景图库中图像作差分，当差分结果超过设定的阈值时，即可确定当前图像和背景图像差分结果超过阈值部分为背景，其余部分则为前景。图像的背景部分需要更新到背景图库中。

步骤2，双目测距：(1)消除图像畸变与摄像头校正：理想摄像头成像模型是针孔模型，如图3所示，摄像头在实际生产时为了增加透光量，使用了透镜，但透镜在制造和安装中会产生误差，导致摄像头采集的图像发生畸变。为了尽量减少图像畸变对图像分析的影响，选择采用16 12棋盘作为标定物对摄像头进行标定，求解摄像头内外参数。通过内参数校正畸变图像，使图像更加真实自然；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准图像。

(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，输出同一特征点在左右图像上的像素坐标差值。

(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云。

步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测距生成的三维点云信息，确定该目标物体的三维点云，求得目标物体在世界坐标系中的坐标值。

(1)关于步骤1中目标物体提取作详细说明视频监控中，动态的目标物体往往是人们关注的焦点，目标物体提取是智能监控的核心步骤。基于背景模型，需要分析当前帧图像与背景图库中图像的差异，以便提取出当前帧图像的前景部分；然而，实际提取中，背景图像往往受光照或者复杂场景的影响，使得用于区分当前帧图像前景与背景部分的阈值不能固定，因此，需要实时更新背景模型，不断调整区分图像前景与背景部分的阈值。本发明引入混合高斯模型来减弱图像中类似于树叶晃动等干扰因素，以减少前景与背景的相互干扰。利用背景模型与当前帧图像的匹配结果s，动态调整匹配相似度阈值K。匹配结果s及阈值K的关系如下：

其中a、b、m是固定参数；当背景发生变化时，阈值K会适当调整以适应背景扰动。

(2)关于步骤2中双目测距作详细说明双目测距涉及两大部分的重要内容：摄像头标定和双目测距。

所述利用泰勒级数展开并结合添加校正因子的方法如下：

假设一幅图像的灰度级为L，灰度值为i像素个数为ni，总的像素数为N，每一个灰度值出现的概率为Pi，则有：

选择阈值T，将图像划分为两类：C0：(0，1，2，...，T)；C1：(T+1，T+2，...，L-1)；C0和C1类出现的概率分别为：

这两类像素的平均灰度值分别为：

整幅图像的平均灰度值为：

C₀和C₁类的方差分别为：

总方差为：

其中类内方差和类间方差分别为：

通过类间方差作为校正因子的测量准则，计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值，当类间方差最大的时候，认为此时前景和背景差异最大，因此，最佳阈值为：

在介绍摄像头标定之前首先介绍双目测距的基本原理。理想的双目测距模型如图4所示的三角测量法。图4中，像素行对准的两副图像光轴严格平行(光轴是投影中心朝主点c方向引出的射线)和分别为左右投影中心，和分别为两个摄像头的焦距且相等，主点和在左右图像上具有相同的像素坐标，特征点X在左右图像上的成像点分别为和，和在各自像素坐标系中水平位移分别为和，视差为：，设f为摄像头的焦距，利用相似三角形原理，可推出物体离摄像头镜头的距离Z的方程如下所示：

为了建立理想的双目测距平台，需要对摄像头进行立体标定，摄像头的成像模型如图3所示。以16 12黑白格交叉的棋盘作为摄像头标定物，以黑白格交叉点为特征点，通过矩阵平移、旋转等变换建立棋盘特征点和图像特征点之间联系，建立方程，利用最小二乘等算法求解摄像头的焦距、畸变系数等参数。

传统的摄像头标定采用9 6黑白格交叉的棋盘作为标定物，该棋盘一共有54个校正特征点，校正特征点较少，导致部分畸变区域校正时存在盲区，影响视觉测距精度。

本发明采用密集棋盘(16 12)作为摄像头标定物，同时采用距离最小化、投影最大化原则，具有如下优点：单位面积图像中存在较多校正特征点，可以求得准确度更高的畸变系数；距离最小化、投影最大化原则使得棋盘图像在视角区域的屏占比最大化，可保证视角区域特征点均匀分布，提高标定精度。这种近距多点摄像头标定方式能提高摄像头标定精度，改善图像的鱼眼现象，促进双目匹配效率，提高视觉测距精度。

下面通过具体的应用场景进一步说明本发明的效果：

场景1：视频监控安防领域实时预警。传统的监控方式需要工作人员长时间查看监控视频以达到实时监控的目的，依赖于大量的人力资源，监控的效率以及智能化水平较低。本发明动态建立背景模型并实时更新，通过图像差分运算提取前景图像，结合双目识别定位原理，动态跟踪并定位目标物体，实现实时预警。本发明将传统视频监控中的大量人力资源从实际工作中解脱出来，提高监控系统的智能化水平。

场景2：视觉测距。常见的测距方法有激光测距、红外测距、超声波测距、雷达测距等，本发明所采用的视觉测距与这几种测距方法相比，测量时不需向被测物体发出任何信号，原理简单、成本低，可在复杂环境下测得目标物体位置。同时，若通过鼠标选定空间中的特征点，利用勾股定理、正余弦定理等便可计算出特征点间距离及相对位置关系，进一步计算出目标物体的几何大小信息。

场景3：物体边缘检测。常见的图像边缘检测算法，往往通过分析图像灰度变化的一阶或二阶导数获取物体的轮廓信息，该类型边缘检测算法，不能对复杂场景中目标物体轮廓信息进行有效提取。本发明依据视觉测量生成三维点云的深度信息，通过绘图函数，可绘出不同深度物体的轮廓，实现在多个前景物体中准确提取指定目标物体轮廓。该方法可用于机器人的自主智能操作及视觉导航等领域。

场景4：人机交互。大多数传统的视频监控系统仅采集监控区域的视频信息，该监控方式为工作人员提供的交互信息量不足，工作人员需结合自己的经验判断和推测目标物体的大致位置，工作量大，精度低。本发明依据双目识别定位原理，得出视角区域的三维点云，结合目标物体提取，确定目标物体的位置信息，为工作人员的决策提供依据。

综上，本发明模拟人眼处理景物的方式，部分代替人脑对自然界的事物进行理解和认识，基于双目测距原理生成视角区域的三维点云；基于动态更新的背景图库模型，通过图像差分运算，获取目标物体图像像素坐标；结合视角区域的三维点云信息和目标物体图像像素坐标，实现目标物体的动态跟踪和定位。

以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改，本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于视觉的无人机动态目标跟踪与定位方法，包括如下步骤：

步骤1，目标物体提取：动态建立背景图库并实时更新，给不同动态程度的背景赋予不同的阈值，根据当前图像和背景图库中图像的差分运算结果，区分当前图像中的前景与背景部分，并将背景部分更新到背景图库中；

步骤2，双目测距：(1)消除图像畸变与摄像头校正：利用泰勒级数展开并结合添加校正因子，校正所采集图像畸变；采用16*12棋盘作为标定物对摄像头进行标定，通过距离最小化、投影最大化原则来确保棋盘图像中的特征点均匀分布，利用棋盘特征点和图像特征点的几何关系得出坐标点对方程，从而求解摄像头内外参数，通过内参数校正畸变图像，得出更加真实自然的图像；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准的校正图像；

(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，分析其中的差异，输出同一特征点在左右图像上的像素坐标差值；

(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云；

步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测距生成的三维点云信息，确定该目标的三维点云，求得目标物体在世界坐标系中的坐标。

2.根据权利要求1所述的基于视觉的无人机动态目标跟踪与定位方法，其特征在于：所述步骤1中使用混合高斯模型，减弱图像中类似于树叶晃动的干扰因素，以减少前景与背景的相互干扰；根据动态阈值有效分离当前帧前景及背景图像，并将当前图像的背景部分更新到背景图库中；依据提取的前景图像，确定前景所处图像的像素坐标，为计算前景图像的三维世界坐标提供科学依据。

3.根据权利要求1所述的基于视觉的无人机动态目标跟踪与定位方法，其特征在于：所述利用泰勒级数展开并结合添加校正因子的方法如下：

假设一幅图像的灰度级为L，灰度值为i像素个数为ni，总的像素数为N，每一个灰度值出现的概率为Pi，则有：

选择阈值T，将图像划分为两类：C0：(0，1，2，...，T)；C1：(T+1，T+2，...，L-1)；C0和C1类出现的概率分别为：

这两类像素的平均灰度值分别为：

整幅图像的平均灰度值为：

C₀和C₁类的方差分别为：

总方差为：

其中类内方差和类间方差分别为：

通过类间方差作为校正因子的测量准则，计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值，当类间方差最大的时候，认为此时前景和背景差异最大，因此，最佳阈值为：

。