CN108563236B - 一种基于同心圆特征的纳型无人机目标跟踪方法 - Google Patents

Abstract

本发明提出一种基于同心圆特征的纳型无人机目标跟踪方法，属于无人机目标跟踪技术领域。该方法首先在纳型无人机上分别安装摄像头、模拟图传和电池；设定作为纳型无人机的跟踪目标的黑白相间的同心圆；纳型无人机从地面起飞后，摄像头实时拍摄图像并经模拟图传将图像发送至地面计算机；地面计算机利用目标识别算法，对接收到的图像进行识别：若图像中成功识别同心圆目标，则分别计算同心圆目标与无人机三个方向上的相对像素距离，并利用视觉控制算法得到无人机的控制指令；无人机根据控制指令进行运动，以实现对同心圆目标的跟踪。本方法可应用于纳型无人机平台，使其具备目标跟踪能力，在国防军事和民用科技中有较大的应用前景。

Description

一种基于同心圆特征的纳型无人机目标跟踪方法

技术领域

本发明涉及无人机目标跟踪技术领域，具体涉及一种基于同心圆特征的纳型无人机目标跟踪方法。

背景技术

近年来，无人机技术飞速发展，并且随着计算机视觉技术的日益成熟，基于视觉的目标跟踪技术逐渐成为了无人机对环境进行感知、对任务进行分析的重要手段，在灾难救助，军事侦察，土地勘测等多个领域有着广泛的应用前景。

2011年，D.Eberli等人利用双同心圆标志作为目标引导无人机着陆，但该方法中目标需处于静止状态，未能实现无人机自动降落于动态目标。2015年，华南理工大学李永健等人利用椭圆拟合算法，通过让无人机识别同心圆标志从而希望控制无人机着陆，但该方法并未利用到同心圆标志的内外圆存在着包含关系，从而增加了运算量，影响方法实时性，且最终未能将方法真正应用到无人机平台。2016年，哈尔滨工业大学樊珑等人利用包含多个同心圆(超过两个)的目标引导无人机着陆，但该方法的准确率不够理想，且该方法中同心圆目标同样必须静止于地面，未能实现对动态目标的跟踪。

此外，上述方法中所使用的无人机平台均重量超过500g，直径超过20mm，均不是纳型无人机(质量小于40g,直径小于100mm)。目前，国内外用于研究目标跟踪技术的无人机平台大多尺寸、重量较大，能耗较高；相对而言，纳型无人机平台的优点在于安全、敏捷、隐蔽性好、可垂直起飞，可低空盘旋，可在受限环境中完成飞行任务，且非常适用于批量生产。

2017年，大疆创新推出一款具有目标跟踪功能的小型无人机——晓spark。该无人机是大疆系列最小的一款，但质量还是达到300g，尺寸为143*143*55mm(长*宽*高)，与纳型无人机的标准仍有较大差距。2017年，D.Palossi等人在纳型无人机平台(重约30g)上安装一个微型摄像头，微型摄像头的图像输出端直接连接到纳型无人机的飞控处理器，同时设计一个红色板作为被跟踪目标，根据其颜色信息将其识别，进而计算相应无人机控制指令引导无人机跟踪目标。由于该方法中无人机的机载处理器处理能力非常有限，处理实时性较低，且处理的图像大小仅为60*80像素，加大了识别难度，实验结果表明其平均跟踪误差达到了34cm。此外，由于利用颜色信息对目标进行识别，因此在该方法的跟踪场景中不能出现红色物体，否则会识别错误，从而导致跟踪失败。目前，受到体积、能耗、处理计算能力的限制，在纳型无人机平台上实现准确稳定的目标跟踪仍然是一个难题。

发明内容

本发明的目的是为解决在纳型无人机平台上由于体积、能耗、处理计算能力有限而难以实现准确稳定的目标跟踪这一难题，提出一种基于同心圆特征的纳型无人机目标跟踪方法。本方法可应用于纳型无人机平台，使其具备目标跟踪能力，在国防军事和民用科技中有较大的应用前景。

本发明提出一种基于同心圆特征的纳型无人机目标跟踪方法，其特征在于，该方法包括以下步骤：

(1)在纳型无人机上分别安装摄像头、模拟图传和电池；所述摄像头、模拟图传和电池分别固定在纳型无人机主体上，摄像头的图像输出端连接模拟图传的图像输入端，摄像头、模拟图传和纳型无人机分别与电池连接，模拟图传和纳型无人机分别通过无线与地面计算机连接；其中，所述摄像头安放在无人机正上方，摄像头的镜头平面与无人机顶面垂直且朝向无人机前进方向；

(2)设定作为纳型无人机的跟踪目标的黑白相间的同心圆；

(3)令纳型无人机从地面起飞，记录当前时刻的时间戳为t₁；

(4)纳型无人机上安装的摄像头实时拍摄图像，将该图像记为当前图像，并经模拟图传将当前图像发送至地面计算机；

(5)地面计算机利用目标识别算法，对接收到的图像进行识别；具体步骤如下：

(5-1)地面计算机对步骤(4)接收到的图像进行预处理，对图像滤除噪声；

(5-2)采用求平均值的方法对预处理完毕的图像进行灰度处理，得到每张图像对应的灰度图；图像中像素点(i,j)的灰度值Gray(i,j)表达式如下：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3

其中R(i,j)、G(i,j)、B(i,j)分别代表图像中坐标为(i,j)像素点的R、G、B分量；

(5-3)对步骤(5-2)得到的灰度图进行阈值处理；设定二值化阈值并判定：若步骤(5-2)得到的灰度图中任一像素点灰度值大于二值化阈值，则将该像素点的灰度值设为255；否则，则将像素点的灰度值设为0；得到二值化后的图像；

(5-4)检测二值化后图像中的所有闭合轮廓，并将每个闭合轮廓以点集数组的方式存储，令C[i]代表二值化后图像中第i个闭合轮廓，则

其中

代表构成第i个闭合轮廓的第m个像素点，该像素点的坐标为(x_m,y_m)；

(5-5)设定点数阈值，判断步骤(5-4)得到的每个闭合轮廓中所包含的像素点数是否大于该点数阈值：若是，则保存该闭合轮廓；反之则丢弃该闭合轮廓；

(5-6)对于经过(5-5)后保留的所有闭合轮廓，依次将其编号为1,2,…,n，并令初始数值j＝1；

(5-7)判定j是否大于n：若大于，则认为该图像中未成功识别同心圆目标，则进入步骤(5-10)；若j小于等于n，则则进入步骤(5-8)；

(5-8)判断第j个闭合轮廓是否存在对应父轮廓：若不存在，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若存在，则分别用椭圆去拟合第j个闭合轮廓以及其对应的父轮廓，求得两个轮廓分别对应的椭圆方程；

(5-9)对于第j个闭合轮廓及其对应的父轮廓，分别计算两个轮廓对应的椭圆拟合误差，定义每个椭圆的拟合误差为

其中，a代表轮廓中不满足对应椭圆方程的像素点数，b代表该轮廓总包含像素点数；

判定两个拟合误差是否均小于设定的椭圆拟合误差阈值：

若任一椭圆的拟合误差大于椭圆拟合误差阈值，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；

若两个椭圆的拟合误差均小于等于椭圆拟合误差阈值，则判定两个椭圆的长轴之比或短轴之比是否属于预设半径比范围内：若不属于此范围，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若属于，则第j个闭合轮廓及其对应的父轮廓即为图像中的同心圆目标，该图像中同心圆目标识别成功，进入步骤(5-11)；

(5-10)若图像中未成功识别同心圆目标，则记当前时刻的时间戳为t₂，计算两个时间戳之间的时间差t₂-t₁，并判断时间差是否超过设定的时间阈值t_s：若超过，则进入步骤(6)；若未超过，则重新返回步骤(4)；

(5-11)若图像中成功识别同心圆目标，则更新当前时刻的时间戳为新的t₁，分别计算当前时间戳下同心圆目标与无人机x轴方向上的相对像素距离Δx^p，y轴方向上的相对像素距离Δy^p，z轴方向上的相对像素距离Δz^p，进入步骤(7)；具体步骤如下：

(5-11-1)设步骤(5-8)求得的闭合轮廓及其父轮廓分别对应的椭圆中心点坐标分别为(y₁,z₁)、(y₂,z₂)，则同心圆目标中心点在图像中的像素坐标为((y₁+y₂)/2,(z₁+z₂)/2)；

(5-11-2)分别计算同心圆目标与无人机在沿y轴方向和沿z轴方向上的相对像素距离；设摄像头拍摄的图像分辨率为L*W，L为长度，W为宽度，则同心圆目标与无人机沿y轴方向相对像素距离为：Δy^p＝(y₁+y₂)/2-L/2，沿z轴方向上的相对像素距离为：Δz^p＝(z₁+z₂)/2-W/2；

(5-11-3)计算同心圆目标与无人机在沿x轴方向上的相对像素距离；

假设无人机与目标保持距离为D₁米，且距离为D₁时对应的图像中同心圆目标的外圆直径为r₁；当前图像中同心圆目标的父轮廓对应椭圆轴长为r，轴长r＝(h+w)/2，其中h为父轮廓对应椭圆长轴距离，w为父轮廓对应椭圆的短轴距离，则当前图像中同心圆目标与无人机x轴方向上的相对像素距离为

(6)无人机自动降落着陆，方法结束；

(7)利用步骤(5)的结果，地面计算机根据视觉控制算法计算当前时间戳下纳型无人机控制指令，包括：当前时间戳下无人机沿x轴方向的期望运动速度v_{cmd_x}、沿y轴方向的期望运动速度v_{cmd_y}、沿z轴方向的期望运动速度v_{cmd_z}；

(8)地面计算机将步骤(7)得到的控制指令发回纳型无人机，无人机根据控制指令进行运动，以实现对同心圆目标的跟踪；

(9)下一个时刻，重新返回步骤(4)。

本发明的特点及有益效果在于：

本发明通过在纳型无人机上安装微小型摄像头和模拟图传，将图像实时发回地面计算机处理，根据跟踪目标为同心圆这一特征，对同心圆目标进行准确识别，计算目标与无人机的相对像素距离，并进一步利用视觉反馈，计算相应控制指令自动控制纳型无人机运动实时的跟踪目标，若遇目标遮挡或丢失等干扰情况，无人机会自动保持悬停等待目标再次被识别。

本方法操作简便，价格低廉，仅需在纳型无人机平台上安装单个微小型摄像头和模拟图传，通过基于同心圆特征的图像识别与相应的跟踪控制算法，最终实现对动态同心圆目标实时、准确，稳定的跟踪，且能应对目标被遮挡或目标消失等干扰情况。该方法在国防军事和民用科技中有较大的应用前景，如军事上，结合纳型无人机自身优点，有助于实现在复杂受限环境中对动态目标的侦察或打击；民用科技方面，可实现一定的人机交互，如人为利用特征标志来控制无人机运动。

附图说明

图1是本发明提出的一种基于同心圆特征的纳型无人机目标跟踪方法的流程图。

图2是本发明的基于同心圆特征的纳型无人机目标跟踪系统的结构示意图。

图3是本发明实施例的基于同心圆特征的纳型无人机目标跟踪系统中纳型无人机的结构示意图。

具体实施方式

本发明提出一种基于同心圆特征的纳型无人机目标跟踪方法，下面结合附图和具体实施例对本发明进一步详细说明如下。对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述地实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于同心圆特征的纳型无人机目标跟踪方法，整体流程如图1所示，包括以下步骤：

(1)在纳型无人机上分别安装摄像头、模拟图传和电池。本发明的基于同心圆特征的纳型无人机目标跟踪系统结构如图2所示，包括：纳型无人机(简称无人机)、摄像头、模拟图传、电池和地面计算机。所述摄像头、模拟图传和电池分别固定在纳型无人机主体上，摄像头的图像输出端连接模拟图传的图像输入端，摄像头、模拟图传与纳型无人机分别与电池连接，模拟图传与纳型无人机分别通过无线与地面计算机连接。其中，所述摄像头安放在无人机正上方，摄像头的镜头平面与无人机顶面垂直且朝向无人机前进方向(设定机体坐标系与图像坐标系在x、y、z三个方向上均保持一致，无人机前进方向即为机体坐标系的x轴正方向，x轴正方向指向机头，y轴正方向指向机体左侧，z轴正方向指向机体正上方)。工作时，所述电池用于分别为摄像头、模拟图传与纳型无人机提供工作电源，所述摄像头用于拍摄无人机前进方向上的实时图像并发送给模拟图传，所述模拟图传用于接收摄像头拍摄的图像并通过无线发送给地面计算机，所述地面计算机用于接收模拟图传发回的图像并进行图像处理，计算相应的无人机控制指令并发送给无人机。

本发明所述纳型无人机重量应小于40g，直径应小于100mm。摄像头、模拟图传和电池三者的总重量不得超过

纳型无人机的最大载重。除此之外，本方法所采用的各部件均为常规型号。

(2)设定作为无人机的跟踪目标的黑白相间的同心圆(本实施例中，内圆为白色，外圆为黑色；实际操作中，可根据情况进行调换)，同心圆的大小无要求，内外圆的半径比可根据情况自行设定(本实施例外圆的直径为15cm，内圆直径为10cm)同心圆目标的运动方式不限，可在三维空间随机自由运动。

(3)令纳型无人机从地面起飞，记录当前时刻的时间戳为t₁。

(4)无人机上安装的摄像头实时拍摄图像，将该图像记为当前图像，并经模拟图传将当前图像发送至地面计算机。

(5)地面计算机利用目标识别算法，对接收到的图像进行识别；具体步骤如下：

(5-1)地面计算机对步骤(4)接收到的图像进行预处理，对图像滤除噪声，本发明采用结合高斯滤波和中值滤波的方法去除图像噪声。

(5-2)图像灰度化。

本发明中，摄像头拍摄的图像均为彩色图像。彩色图像中，每一个像素点均具有RGB分量，采用求平均值的方法对预处理完毕的图像进行灰度处理，得到每张图像对应的灰度图；图像中像素点(i,j)的灰度值Gray(i,j)表达式如下：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3

其中R(i,j)、G(i,j)、B(i,j)分别代表图像中坐标为(i,j)像素点的R、G、B分量。(本发明中设定图像坐标系的原点为顺着无人机前进方向看去，图像最右侧边界线与最下侧边界线的交点)

(5-3)阈值处理(图像二值化)。为减少数据量，使图像变得更加简单，对步骤(5-2)得到的灰度图进行阈值处理。设定二值化阈值(本实施例取值为82)并判定：若步骤(5-2)得到的灰度图中任一像素点灰度值大于二值化阈值，则将该像素点的灰度值设为255；否则，则将像素点的灰度值设为0；得到二值化后的图像。

(5-4)轮廓检测；检测二值化后图像中的所有闭合轮廓，并将每个闭合轮廓以点集数组的方式存储，令C[i]代表二值化后图像中第i个闭合轮廓，则

其中

代表构成第i个闭合轮廓的第m个像素点，该像素点的坐标为(x_m,y_m)。

(5-5)设定点数阈值，判断步骤(5-4)得到的每个闭合轮廓(即一个点集)中所包含的像素点数是否大于该点数阈值：若是，则保存该闭合轮廓；反之则丢弃该闭合轮廓。

(5-6)对于经过(5-5)后保留的所有闭合轮廓，依次将其编号为1,2,…,n，并令初始数值j＝1。

(5-7)判定j是否大于n：若大于，则认为该图像中未成功识别同心圆目标，则进入步骤(5-10)；若j小于等于n，则进入步骤(5-8)。

(5-8)判断第j个闭合轮廓是否存在对应父轮廓(即外围闭合轮廓)(本发明采用基于计算机视觉库Opencv的Findcontours函数)：若不存在，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若存在，则分别用椭圆去拟合第j个闭合轮廓以及其对应的父轮廓，求得两个轮廓分别对应的椭圆方程。

(5-9)对于第j个闭合轮廓及其对应的父轮廓，分别计算两个轮廓对应的椭圆拟合误差，定义每个椭圆的拟合误差为

其中，a代表轮廓中不满足对应椭圆方程的像素点数，b代表该轮廓总包含像素点数。

判定两个拟合误差是否均小于设定的椭圆拟合误差阈值(根据实验经验，建议该阈值取值范围为6％～18％，本实施例所设阈值为12％)：

若任一椭圆的拟合误差大于椭圆拟合误差阈值，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；

若两个椭圆的拟合误差均小于等于椭圆拟合误差阈值，则判定两个椭圆的长轴(或短轴)之比是否属于预设半径比范围内，即假设本身跟踪目标同心圆的半径比(外圆：内圆)为p:1(p＞1)，则可设该半径比范围为(0.8p,1.2p)(本实施例同心圆半径比为1.5：1,因此设置的半径比范围为(1.2,1.8))，若不属于此范围，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若属于，则第j个闭合轮廓及其对应的父轮廓即为图像中的同心圆目标，该图像中同心圆目标识别成功，进入步骤(5-11)。

(5-10)若图像中未成功识别同心圆目标，则记当前时刻的时间戳为t₂，计算两个时间戳之间的时间差t₂-t₁，并判断时间差是否超过设定的时间阈值t_s：若超过，则进入步骤(6)；若未超过，则重新返回步骤(4)。

(5-11)若图像中成功识别同心圆目标，则更新当前时刻的时间戳为新的t₁，分别计算当前时间戳下同心圆目标与无人机x轴方向上的相对像素距离Δx^p，y轴方向上的相对像素距离Δy^p，z轴方向上的相对像素距离Δz^p，进入步骤(7)；

(6)无人机自动降落着陆，方法结束。

(7)利用步骤(5)的结果，地面计算机根据视觉控制算法计算当前时间戳下纳型无人机控制指令，包括：当前时间戳下无人机沿x轴方向的期望运动速度v_{cmd_x}、沿y轴方向的期望运动速度v_{cmd_y}、沿z轴方向的期望运动速度v_{cmd_z}。

(8)地面计算机将步骤(7)得到的控制指令发回纳型无人机，无人机根据控制指令执行已有的飞行控制算法改变自身姿态角从而进行运动，以实现对同心圆目标的跟踪。

(9)下一个时刻，重新返回步骤(4)。

进一步的，所述步骤(5-11)中的Δx^p,Δy^p,Δz^p，具体计算方法如下：

(5-11-1)计算同心圆目标中心点在图像中的像素坐标(y-z平面)。设步骤(5-8)求得的闭合轮廓及其父轮廓分别对应的椭圆中心点坐标分别为(y₁,z₁)，(y₂,z₂)，则同心圆目标中心点在图像中的像素坐标(y-z平面)为((y₁+y₂)/2,(z₁+z₂)/2)。

(5-11-2)分别计算同心圆目标与无人机在沿y轴方向和沿z轴方向上的相对像素距离。设摄像头拍摄的图像分辨率为L*W(L为长度，W为宽度)，则可同心圆目标与无人机沿y轴方向相对像素距离为：Δy^p＝(y₁+y₂)/2-L/2，沿z轴方向上的相对像素距离为：Δz^p＝(z₁+z₂)/2-W/2。

(5-11-3)计算同心圆目标与无人机在x轴方向上的相对像素距离。设被成像物体的真实高度为R，在相机成像平面上该物体高度为r，相机焦距为d，D表示物体到镜头的真实距离，根据相机成像原理，有如下关系式：

即可认为相机成像平面上物体高度的倒数

与物体到镜头的真实距离D成比例关系。

假设希望无人机与目标保持距离为D₁米，且已知距离为D₁时对应的图像中同心圆目标的外圆直径为r₁；当前图像中同心圆目标的父轮廓对应椭圆轴长为r(定义轴长r＝(h+w)/2，其中h为父轮廓对应椭圆长轴距离，w为父轮廓对应椭圆的短轴距离)，则定义当前图像中同心圆目标与无人机x轴方向上的相对像素距离为

进一步的，所述步骤(7)具体方法如下：

视觉控制算法采用比例-微分控制(P-D控制)，P-D控制的控制律为

其中u是控制输出，K_p、K_d分别代表比例、微分环节增益系数，e代表偏差。若用于离散系统，微分环节可以用数值差分近似：

对于本发明方法，偏差为目标与无人机的相对像素距离Δx^p、Δy^p、Δz^p，控制输出为无人机控制指令，即期望的无人机分别沿x、y、z轴方向的期望运动速度v_{cmd_x}、v_{cmd_x}、v_{cmd_x}，可得视觉控制算法表达式为：

其中，Δx^p、Δy^p、Δz^p为根据当前图像所得同心圆目标与无人机在三个方向上的相对像素距离，

为上一次所求得的同心圆目标与无人机在三个方向上的相对像素距离，Δt为两次求得的同心圆目标所分别对应的两帧图像的相隔时间(若是第一次执行步骤(7)，则设

均为0，令Δt＝50000)，

为相应的比例、微分系数，可根据实际飞行情况进行调节。

下面结合一个具体实施例，对本发明进一步详细说明如下。

本实施例提出一种基于同心圆特征的纳型无人机目标跟踪方法，包括以下步骤：(1)在纳型无人机上安装摄像头、模拟图传和电池，本实施例的基于同心圆特征的纳型无人机目标跟踪系统中纳型无人机结构如图3所示，其中1为电机，2为螺旋桨，3为电池，4为模拟图传，5为摄像头，6为飞行控制主板。所述摄像头、模拟图传和电池分别固定在纳型无人机主体上，摄像头的图像输出端连接模拟图传的图像输入端，摄像头、模拟图传与纳型无人机分别与电池连接，模拟图传与纳型无人机分别通过无线与地面计算机连接。其中，所述摄像头安放在无人机正上方，摄像头的镜头平面与无人机顶面垂直且朝向无人机前进方向(设定机体坐标系与图像坐标系在x、y、z三个方向上均保持一致，无人机前进方向即为机体坐标系的x轴正方向，x轴正方向指向机头，y轴正方向指向机体左侧，z轴正方向指向机体正上方)。工作时，所述电池用于分别为摄像头、模拟图传与纳型无人机提供工作电源；所述摄像头用于拍摄无人机前进方向上的实时图像并发送给模拟图传；所述模拟图传用于接收摄像头拍摄的图像并通过无线发送给地面计算机；所述地面计算机用于接收模拟图传发回的图像并进行图像处理，计算相应的无人机控制指令并发送给无人机。

本实施例所选用的纳型无人机为纳型四旋翼无人机Crazyflie2.0，尺寸仅为92mm*92mm*29mm(长*宽*高)，重量仅为27g，最大负荷为15g。地面计算机通过2.4GHz无线电波与无人机连接。

本实施例所述摄像头的感光芯片为ov9712，帧速率为60fps/s，图像分辨率为1000线。考虑到图像畸变和视场大小的关系，本实施例所述摄像头的镜头的焦距为2.26mm，视角为60°*95°*125°(垂直*水平*对角)。本实施例所述模拟图传为5.8GHz模拟图传Q25-Mini，地面计算机通过5.8GHz无线电波与该模拟图传连接。本实施例所述电池为3.7v，250mAh锂电池，尺寸为：32mm*20mm*8mm(长*宽*高)。本实施例所述电池、模拟图传和摄像头总重为10.2g(未超过该纳型四旋翼无人机的最大载重15g)。

(2)设定作为无人机的跟踪目标的黑白相间的同心圆，本实施例中，内圆为白色，外圆为黑色，其中外圆的直径为15cm，内圆直径为10cm。同心圆目标的运动为三维空间随机自由运动。

(3)令纳型无人机从地面起飞，记录当前时刻的时间戳为t₁。

(4)无人机上安装的摄像头实时拍摄图像，将该图像记为当前图像，并经模拟图传将当前图像发回地面站。

(5)地面计算机利用目标识别算法，对接收到的图像进行识别；具体步骤如下：

(5-1)地面计算机对步骤(4)接收到的图像进行预处理，对图像滤除噪声，这里结合高斯滤波和中值滤波的方法去除噪声。

(5-2)图像灰度化。

本发明中，摄像头拍摄的图像均为彩色图像。彩色图像中，每一个像素点均具有RGB分量，采用求平均值的方法对预处理完毕的图像进行灰度处理，得到每张图像对应的灰度图；图像中像素点(i,j)的灰度值Gray(i,j)表达式如下：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3

其中R(i,j)、G(i,j)、B(i,j)分别代表图像中坐标为(i,j)像素点的R、G、B分量。

(5-3)阈值处理(图像二值化)。为减少数据量，使图像变得更加简单，对步骤(5-2)得到的灰度图进行阈值处理。设定二值化阈值为82并判定：若步骤(5-2)得到的灰度图中任一像素点灰度值大于82，则将该像素点的灰度值设为255；否则，则将该像素点的灰度值设为0；得到二值化后的图像。

(5-4)轮廓检测；检测二值化后图像中的所有闭合轮廓，并将每个闭合轮廓以点集数组的方式存储，令C[i]代表二值化后图像中第i个闭合轮廓，则

其中

代表构成第i个闭合轮廓的第m个像素点，该像素点的坐标为(x_m,y_m)(设定图像坐标系的原点为顺着无人机前进方向看去，图像最右侧边界线与最下侧边界线的交点，下同)。

(5-5)设定点数阈值为100，判断步骤(5-4)得到的每个闭合轮廓(即一个点集)中所包含的像素点数是否大于100：若是，则保存该闭合轮廓；反之则丢弃该闭合轮廓。

(5-6)对于经过(5-5)后保留的所有闭合轮廓，依次将其编号为1,2,…,n，并令初始数值j＝1。

(5-7)判定j是否大于n：若大于，则认为该图像中未成功识别同心圆目标，则进入步骤(5-10)；若j小于等于n，则进入步骤(5-8)。

(5-8)判断第j个闭合轮廓是否存在对应父轮廓(即外围闭合轮廓)(本发明采用基于计算机视觉库Opencv的Findcontours函数)：若不存在，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若存在，则分别用椭圆去拟合第j个闭合轮廓以及其对应的父轮廓，求得两个轮廓分别对应的椭圆方程。

(5-9)对于第j个闭合轮廓及其对应的父轮廓，分别计算两个轮廓对应的椭圆拟合误差，定义每个椭圆的拟合误差为

其中，a代表轮廓中不满足对应椭圆方程的像素点数，b代表该轮廓总包含像素点数。

判定两个拟合误差是否均小于本实施例设定的椭圆拟合误差阈值12％：若任一椭圆的拟合误差大于椭圆拟合误差阈值12％，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；

若两个椭圆的拟合误差均小于等于椭圆拟合误差阈值12％，则判定两个椭圆的长轴(或短轴)之比是否属于本实施例预设半径比范围(1.2,1.8)内，若不属于此范围，则丢弃该闭合轮廓，返回(5-7)；若属于，则第j个闭合轮廓及其对应的父轮廓即为图像中的同心圆目标，该图像中同心圆目标识别成功，进入步骤(5-11)。

(5-10)若图像中未成功识别同心圆目标，则记当前时刻的时间戳为t₂，计算两个时间戳之间的时间差t₂-t₁，并判断时间差是否超过本实施例设定的时间阈值t_s为40秒：若超过，则进入步骤(6)；若未超过，则返回步骤(4)。

(5-11)若图像中成功识别同心圆目标，则更新当前时刻的时间戳为新的t₁，分别计算当前时间戳下同心圆目标与无人机x轴方向上的相对像素距离Δx^p，y轴方向上的相对像素距离Δy^p，z轴方向上的相对像素距离Δz^p，进入步骤(7)；

(6)无人机自动降落着陆，方法结束。

(7)利用步骤(5)的结果，地面计算机根据视觉控制算法计算当前时间戳下纳型无人机控制指令，包括：当前时间戳下无人机沿x轴方向的期望运动速度v_{cmd_x}、沿y轴方向的期望运动速度v_{cmd_y}、沿z轴方向的期望运动速度v_{cmd_z}。

(8)地面计算机将步骤(7)得到的控制指令发回纳型无人机，无人机根据控制指令进行运动，具体如下：无人机接收到三个方向的期望运动速度指令，经无人机速度PID控制算法求得期望姿态角，再经无人机姿态角PID控制算法求得期望角速率，最后经无人机角速率PID控制算法求得相应的电机转速从而控制无人机运动，实现对同心圆目标跟踪。

(9)下一个时刻，重新返回步骤(4)。

进一步的，所述步骤(5-11)中的Δx^p,Δy^p,Δz^p，具体计算方法如下：

(5-11-1)计算同心圆目标中心点在图像中的像素坐标(y-z平面)。设步骤(5-8)求得的闭合轮廓及其父轮廓分别对应的椭圆中心点坐标分别为(y₁,z₁)、(y₂,z₂)，则同心圆目标中心点在图像中的像素坐标(y-z平面)为((y₁+y₂)/2,(z₁+z₂)/2)。

(5-11-2)分别计算同心圆目标与无人机在沿y轴方向和沿z轴方向上的相对像素距离。本实施例所述摄像头拍摄的图像分辨率为640*480(长*宽)，则可得同心圆目标与无人机沿y轴方向相对像素距离为：Δy^p＝(y₁+y₂)/2-320，沿z轴方向上的相对像素距离为：Δz^p＝(z₁+z₂)/2-240。

(5-11-3)计算同心圆目标与无人机在沿x轴方向上的相对像素距离。设被成像物体的真实高度为R，在相机成像平面上该物体高度为r，相机焦距为d，D表示物体到镜头的真实距离，根据相机成像原理，有如下关系式：

即可认为相机成像平面上物体高度的倒数

与物体到镜头的真实距离D成比例关系。

本实施例希望无人机与目标保持距离为1.1米，且已知距离为1.1米时对应的图像中同心圆目标的外圆直径为65像素点；当前图像中同心圆目标的父轮廓对应椭圆轴长为r(定义轴长r＝(h+w)/2，其中h为父轮廓对应椭圆长轴距离，w为父轮廓对应椭圆的短轴距离)，则定义当前图像中同心圆目标与无人机x轴方向上的相对像素距离为

进一步的，所述步骤(7)具体方法如下：

视觉控制算法采用比例-微分控制(P-D控制)，P-D控制的控制律为

其中u是控制输出，K_p,K_d分别代表比例、微分环节增益系数，e代表偏差。若用于离散系统，微分环节可以用数值差分近似：

对于本实施例，偏差为目标与无人机的相对像素距离Δx^p、Δy^p、Δz^p，控制输出为无人机控制指令，即期望的无人机分别沿x、y、z轴方向的期望运动速度v_{cmd_x}、v_{cmd_x}、v_{cmd_x}，可得视觉控制算法表达式为：

其中，Δx^p、Δy^p、Δz^p为根据当前图像所得同心圆目标与无人机在三个方向上的相对像素距离，

为上一次所求得的同心圆目标与无人机在三个方向上的相对像素距离，Δt为两次求得的同心圆目标所分别对应的两帧图像的相隔时间(若是第一次执行步骤(7)，则设

均为0，令Δt＝50000)，

为相应的比例、微分系数，本实施例所设

系数分别为50，0.02，0.02，2.3，0.001，0.001。

Claims (1)

1.一种基于同心圆特征的纳型无人机目标跟踪方法，其特征在于，该方法包括以下步骤：

(1)在纳型无人机上分别安装摄像头、模拟图传和电池；所述摄像头、模拟图传和电池分别固定在纳型无人机主体上，摄像头的图像输出端连接模拟图传的图像输入端，摄像头、模拟图传和纳型无人机分别与电池连接，模拟图传和纳型无人机分别通过无线与地面计算机连接；其中，所述摄像头安放在无人机正上方，摄像头的镜头平面与无人机顶面垂直且朝向无人机前进方向；

(2)设定作为纳型无人机的跟踪目标的黑白相间的同心圆；

(3)令纳型无人机从地面起飞，记录当前时刻的时间戳为t₁；

(4)纳型无人机上安装的摄像头实时拍摄图像，将该图像记为当前图像，并经模拟图传将当前图像发送至地面计算机；

(5)地面计算机利用目标识别算法，对接收到的图像进行识别；具体步骤如下：

(5-1)地面计算机对步骤(4)接收到的图像进行预处理，对图像滤除噪声；

(5-2)采用求平均值的方法对预处理完毕的图像进行灰度处理，得到每张图像对应的灰度图；图像中像素点(i,j)的灰度值Gray(i,j)表达式如下：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3

其中R(i,j)、G(i,j)、B(i,j)分别代表图像中坐标为(i,j)像素点的R、G、B分量；

(5-3)对步骤(5-2)得到的灰度图进行阈值处理；设定二值化阈值并判定：若步骤(5-2)得到的灰度图中任一像素点灰度值大于二值化阈值，则将该像素点的灰度值设为255；否则，则将像素点的灰度值设为0；得到二值化后的图像；

(5-4)检测二值化后图像中的所有闭合轮廓，并将每个闭合轮廓以点集数组的方式存储，令C[i]代表二值化后图像中第i个闭合轮廓，则

其中

代表构成第i个闭合轮廓的第m个像素点，该像素点的坐标为(x_m,y_m)；

(5-5)设定点数阈值，判断步骤(5-4)得到的每个闭合轮廓中所包含的像素点数是否大于该点数阈值：若是，则保存该闭合轮廓；反之则丢弃该闭合轮廓；

(5-6)对于经过(5-5)后保留的所有闭合轮廓，依次将其编号为1,2,…,n，并令初始数值j＝1；

(5-7)判定j是否大于n：若大于，则认为该图像中未成功识别同心圆目标，则进入步骤(5-10)；若j小于等于n，则进入步骤(5-8)；

(5-8)判断第j个闭合轮廓是否存在对应父轮廓：若不存在，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若存在，则分别用椭圆去拟合第j个闭合轮廓以及其对应的父轮廓，求得两个轮廓分别对应的椭圆方程；

(5-9)对于第j个闭合轮廓及其对应的父轮廓，分别计算两个轮廓对应的椭圆拟合误差，定义每个椭圆的拟合误差为

其中，a代表轮廓中不满足对应椭圆方程的像素点数，b代表该轮廓总包含像素点数；

判定两个拟合误差是否均小于设定的椭圆拟合误差阈值：

若任一椭圆的拟合误差大于椭圆拟合误差阈值，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；

若两个椭圆的拟合误差均小于等于椭圆拟合误差阈值，则判定两个椭圆的长轴之比或短轴之比是否属于预设半径比范围内：若不属于此范围，则丢弃第j个闭合轮廓，令j＝j+1，重新返回步骤(5-7)；若属于，则第j个闭合轮廓及其对应的父轮廓即为图像中的同心圆目标，该图像中同心圆目标识别成功，进入步骤(5-11)；

(5-10)若图像中未成功识别同心圆目标，则记当前时刻的时间戳为t₂，计算两个时间戳之间的时间差t₂-t₁，并判断时间差是否超过设定的时间阈值t_s：若超过，则进入步骤(6)；若未超过，则重新返回步骤(4)；

(5-11)若图像中成功识别同心圆目标，则更新当前时刻的时间戳为新的t₁，分别计算当前时间戳下同心圆目标与无人机x轴方向上的相对像素距离Δx^p，y轴方向上的相对像素距离Δy^p，z轴方向上的相对像素距离Δz^p，进入步骤(7)；具体步骤如下：

(5-11-1)设步骤(5-8)求得的闭合轮廓及其父轮廓分别对应的椭圆中心点坐标分别为(y₁,z₁)、(y₂,z₂)，则同心圆目标中心点在图像中的像素坐标为((y₁+y₂)/2,(z₁+z₂)/2)；

(5-11-2)分别计算同心圆目标与无人机在沿y轴方向和沿z轴方向上的相对像素距离；设摄像头拍摄的图像分辨率为L*W，L为长度，W为宽度，则同心圆目标与无人机沿y轴方向相对像素距离为：Δy^p＝(y₁+y₂)/2-L/2，沿z轴方向上的相对像素距离为：Δz^p＝(z₁+z₂)/2-W/2；

(5-11-3)计算同心圆目标与无人机在沿x轴方向上的相对像素距离；

假设无人机与目标保持距离为D₁米，且距离为D₁时对应的图像中同心圆目标的外圆直径为r₁；当前图像中同心圆目标的父轮廓对应椭圆轴长为r，轴长r＝(h+w)/2，其中h为父轮廓对应椭圆长轴距离，w为父轮廓对应椭圆的短轴距离，则当前图像中同心圆目标与无人机x轴方向上的相对像素距离为

(6)无人机自动降落着陆，方法结束；

(7)利用步骤(5)的结果，地面计算机根据视觉控制算法计算当前时间戳下纳型无人机控制指令，包括：当前时间戳下无人机沿x轴方向的期望运动速度v_{cmd_x}、沿y轴方向的期望运动速度v_{cmd_y}、沿z轴方向的期望运动速度v_{cmd_z}；

(8)地面计算机将步骤(7)得到的控制指令发回纳型无人机，无人机根据控制指令进行运动，以实现对同心圆目标的跟踪；

(9)下一个时刻，重新返回步骤(4)。

Images