CN106774436A - 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统，包括机载部分，所述机载部分包括旋翼无人机的飞行控制器、超声波测距模块和视觉导航模块，所述视觉导航模块包括图像处理器、摄像头模块和固定在旋翼无人机正下方的两轴无刷云台，所述摄像头模块和超声波测距模块均固定于两轴无刷云台上，且保持摄像头模块的镜头和超声波测距模块均与水平面平行；本发明还公开了一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法。利用机载视觉导航模块来完成对目标特征标志的自主检测以及解算旋翼无人机与目标物之间的实际相对误差距离，尤其解决了在目标物被遮挡的情况下，旋翼无人机不能稳定跟踪移动目标的问题。

Description

基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法

技术领域

本发明涉及视觉跟踪技术领域，特别是一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统及方法。

背景技术

近几年，旋翼无人机频繁地出现公众的视野当中，如交通部门利用旋翼无人机实时检查路况、隐蔽地抓拍高速公路上的违章驾驶行为；大型发电站利用旋翼无人机对太阳能电板进行巡检；救援部队利用旋翼无人机侦测受灾情况并及时给受灾群众投送食物和药品等必要物资。诸如此类的运用还有很多，可见旋翼无人机在民用、救援甚至军事应用中都扮演着十分重要的角色。然而，上述的这些应用几乎都是在户外GPS信号较强的情况下，利用机载的GPS来给旋翼无人机实时地提供导航信息或者通过预设航点来完成旋翼无人机按照预设航线飞行的任务。显然，这种导航方法在一定程度上限制了旋翼无人机的应用范围。一是使用环境得具有较强的GPS信号，除此之外，GPS导航的精度受多种因素的影响，其误差也不能很好的控制在一定的范围之内。因此，在无较好的GPS信号的情况下，就需要利用计算机视觉来给旋翼无人机提供导航信息来完成其对移动目标跟踪等飞行任务，这就可以扩大旋翼无人机的使用环境。

由于对移动目标的稳定跟踪在民用方面甚至军事邻域都有着广阔的应用前景，因此对移动目标跟踪技术的研究就成为诸多邻域重要的研究课题，多种视觉跟踪算法相继被提出。其中，camshift算法是连续自适应meanshift算法，其通过自动调节核窗口的大小有效改善了meanshift算法的不足，并凭借其多种优点，被广泛地运用于实现对移动目标的跟踪，通过结合合理的目标物自主检测方法来初始化跟踪窗口以实现对目标物的自主检测。

但要实现利用视觉导航信号控制旋翼无人机实现对移动目标稳定的跟踪，抛开选用的控制算法，给旋翼无人机提供准确稳定的视觉导航信号是一个十分重要的前提。然而，在利用camshift跟踪算法或者利用其他基于目标物特征的跟踪算法来对移动目标进行跟踪的过程中，不可避免地存在光照、背景的干扰以及目标物被障碍物遮挡等情况，考虑到这一类视觉跟踪算法的跟踪特点，在这一情况下，就会存在视觉跟踪算法提供给旋翼无人机的目标位置信息不准确的问题，即当目标被遮挡时，目标的部分颜色特征信息被遮挡，这就导致视觉跟踪算法检测到的目标特征面积变小，直接导致视觉跟踪算法计算得到的目标质点位置信息相对于目标实际质点位置产生一定的偏差，而且这一偏差会随着遮挡面积的增大而增大。再将这种错误的视觉导航信息反馈给旋翼无人机，结果必然是丢失目标物。其他利用目标特征信息进行跟踪的算法也同样存在类似的问题。对于这一情况，现有的解决方案是，先控制旋翼无人机悬停在原来位置并通过提高旋翼无人机的飞行高度来扩大机载图像传感器的拍摄面积，再重新搜索目标物。但由于图像传感器的拍摄范围有限以及需扩大机载图像传感器的拍摄范围和所需的飞行高度也无合理的衡量标准，所以这一方案仍不能很好解决上述的问题。除此之外，在对目标被遮挡情况下的跟踪算法研究已有了一些专利文献，但对于在目标被遮挡甚至完全遮挡的情况下，提供一套可实现旋翼无人机在这一情况下对移动目标稳定跟踪的控制系统及方法，现有技术中还未提及。

而实现旋翼无人机对地面移动目标准确并且稳定的跟踪是未来实现无人机和运动的地面机器人进行空地协作的基础。因此，迫切需要解决这一问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统及方法，利用机载视觉导航模块来完成对目标特征标志的自主检测以及解算旋翼无人机与目标物之间的实际相对误差距离，尤其解决了在目标物被遮挡的情况下，旋翼无人机不能稳定跟踪移动目标的问题。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统，包括机载部分，所述机载部分包括旋翼无人机的飞行控制器、超声波测距模块和视觉导航模块，所述视觉导航模块包括图像处理器、摄像头模块和固定在旋翼无人机正下方的两轴无刷云台，所述摄像头模块和超声波测距模块均固定于两轴无刷云台上，且保持摄像头模块的镜头和超声波测距模块均与水平面平行；其中，

两轴无刷云台，用于当上电后保持摄像头模块的镜头和超声波测距模块始终垂直向下；

超声波测距模块，用于将获取的旋翼无人机实时的飞行高度输出至飞行控制器；

摄像头模块，用于拍摄旋翼无人机下方的图像，并将图像输出至图像处理器；

图像处理器，用于对摄像头模块所拍摄的图像进行分析处理得到目标物质点信息，目标物质点信息输出至飞行控制器；

飞行控制器，用于根据接收到的目标物质点信息和实时的飞行高度，解算出旋翼无人机与目标物之间的实际相对误差距离，并根据得到的实际相对误差距离控制旋翼无人机跟踪目标物。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统进一步优化方案，还包括配备有动力单元的机架、遥控接收机、第一无线通讯模块和地面站部分，所述地面站部分包括第二无线通讯模块和地面测试模块，所述第一无线通讯模块包括机载数传模块和机载图传发送模块；所述第二无线通讯模块包括地面站数传模块和地面站图传接收模块；所述动力单元包括电机、与电机相连的电调和固定在电机上的螺旋桨；其中，

遥控接收机，安装在旋翼无人机上，用于将接收到操控者发出的操控信号输出至飞行控制器，飞行控制器接收到该操控信号后输出控制信号至电调；

电调，用于根据控制信号通过调节电机的转速和方向从而给旋翼无人机提供升力；

机载数传模块，用于将飞行控制器发送过来的旋翼无人机的飞行参数经地面站数传模块输出至地面测试模块，地面测试模块用于输出旋翼无人机规划的飞行任务至地面站数传模块；

地面站数传模块，用于将旋翼无人机规划的飞行任务经机载数传模块输出至飞行控制器；

图像处理器，还用于将处理过的带有目标物信息的图像输出至机载图传发送模块；

机载图传发送模块，用于将图像处理器处理过的带有目标物信息的图像经地面站图传接收模块输出至地面测试模块；

地面测试模块，用于实时显示图像处理器处理过的带有目标物信息的图像。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统进一步优化方案，还包括电源模块，所述电源模块包括一块锂电池和稳压模块；从锂电池接出两个电源端子，其中的一电源端子接动力单元，从而给电机供电，另一电源端子通过连接稳压模块来给图像处理器、两轴无刷云台和飞行控制器供电。

一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，包括以下步骤：

步骤1、获取旋翼无人机下方的图像，对该图像进行预处理操作；

步骤2、当旋翼无人机稳定在固定高度后，通过计算预处理后的图像中各轮廓面积并与目标物轮廓面积对比来筛选轮廓，再判断该轮廓范围内是否为目标颜色；若为目标颜色则成功检测到目标特征标志，实现自主检测目标物，执行步骤3；若不是目标颜色则返回步骤1；

步骤3、利用步骤2检测到的目标特征标志的轮廓的最小面积包围矩形窗口来初始化连续自适应均值偏移算法的搜索窗口，并对该窗口范围内的目标图像建立HSV中H分量的直方图，再通过反向投影确定目标模板；

步骤4、计算初始搜索窗口的零阶距、一阶距和二阶距，进而得到初始的目标物质点信息，利用该信息初始化卡尔曼滤波器；

步骤5、引入一目标遮挡因子τ，τ为相邻两帧目标特征面积之比；若0.85≤τ＜1.2，则无遮挡；此时，利用卡尔曼滤波器来预测下一帧目标的位置，再利用连续自适应均值偏移算法在预测位置的附近搜索目标物，自适应均值漂移算法输出的目标物质点信息作为测量值来修正卡尔曼滤波算法得到的目标物质点信息的估计值，再将修正后的值作为下一帧的输入值，并利用该修正后的值计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物；

步骤6、若τ＜0.85，引入另一个目标遮挡因子τ′，τ′为发生遮挡之后每帧的目标特征面积与无遮挡时目标特征面积S之比；若0.2≤τ′＜0.85，判断为部分遮挡；目标物质点信息以卡尔曼滤波算法预测的位置为主，减小连续自适应均值偏移算法测量值在观测更新中的权重，同时固定搜索窗口大小为开始遮挡时搜索窗口的大小，直至τ′的值不发生变化但仍满足0.2≤τ′＜0.85，调整搜索窗口为图像中目标特征面积的大小，同时根据计算得到的实际相对误差距离控制旋翼无人机跟踪目标物，直至τ≥0.85，返回执行步骤5；

步骤7、若τ′＜0.2，判断为全部遮挡；在这一情况下，取消搜索窗口，以卡尔曼滤波算法的预测状态更新目标物质点信息，结合此时的目标物质点信息计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物，使用2倍于无遮挡时搜索窗口大小的窗口作为新的搜索窗口在目标的运动方向上进行搜索，直至目标特征标志重新出现，进而返回执行步骤6。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述步骤1具体如下：

(1.1)、首先对图像进行灰度化并利用中值滤波来滤除噪声影响；

(1.2)、然后对预处理后的图像进行自适应阈值处理，获取二值图像，根据不同的背景环境选取不同的参数；

(1.3)、最后获取二值图像中的轮廓信息。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述目标特征标志为一个带有黑色边框的红色矩形。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述带有黑色边框的红色矩形的特征标志物包括一A4纸大小的红色矩形，其RGB颜色对应的值为(255,0,0)以及其外围的3厘米宽的黑色边框。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述自主检测目标物是在所获取的图像的所有轮廓中，根据目标物的轮廓特征与轮廓面积筛选出目标物的轮廓，并结合目标物的颜色特征来判断是否为目标物。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述目标物轮廓面积是结合旋翼无人机飞行的高度和实际的目标物的长和宽，根据小孔成像的原理计算得到的目标物在图像中的理论面积大小；所述目标物质点信息是目标物在图像物理坐标系中成像点的位置信息，即为目标物质点在图像像素坐标系中的成像位置和图像中心点位置之间的物理偏差；所述图像物理坐标系是以图像中心为原点的图像坐标系；图像像素坐标系是以图像左上点为原点的图像坐标系，以上两种图像坐标系之间存在固定的转换关系，图像中心点位置通过对摄像头标定得到。

作为本发明所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法进一步优化方案，所述旋翼无人机跟踪目标物是建立在获知目标物质点信息的基础上，根据小孔成像原理，利用相似三角形定则计算得到旋翼无人机与移动目标物实际的相对误差距离，并利用此偏差来控制旋翼无人机俯仰以及滚转飞行，使得目标物质点的成像位置始终处于图像中心点附近，从而达到稳定跟踪的目的。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明设计了简易却实用的目标特征标志，一方面目标特征标志特殊的结构特点，可以有效的与背景环境区分开，实现快速准确的定位目标物，另一方面又具有足够的视觉算法所需的颜色特征，在降低环境干扰的同时又大大地减少了视觉导航模块解算目标物质点位置信息的时间，并能够快速地输出旋翼无人机跟踪飞行所需的实际相对误差距离，提高了系统的实时性，保证了稳定跟踪的效果与精度；

(2)本发明引入目标遮挡因子τ和τ′来判断目标物是否发生遮挡，并采用优化的视觉跟踪策略，一方面可以获得较连贯的目标物质点信息，使得在目标物被遮挡情况下的跟踪飞行过程更加流畅，有效地避免了旋翼无人机的振荡，提高系统的稳定性；另一方面按目标物运动方向搜索目标物，降低了丢失目标物的可能性；最后通过实际的测试表明，在室外复杂的飞行环境下，旋翼无人机能够稳定地跟踪移动目标物，并且误差也很好的控制在5cm以内，可见其具有很高的工程应用价值；

(3)本发明采用更优化的旋翼无人机机载结构设计，一方面将图像处理器移至机载部分，所有的数据处理都可以在机载部分完成，提高了实时性又避免了环境的干扰；另一方面利用两轴无刷云台确保了超声波测距模块所获取的旋翼无人机飞行高度的精确性，结合本发明的跟踪方案，有效地提高了跟踪的精度，又采用一电源多用的方案，无需多块锂电池供电，减轻了旋翼无人机的重量，延长了续航的时间。

附图说明

图1是目标特征标志。

图2是本发明控制系统的一种实施例的结构示意图。

图3是目标物定位示意图。

图4是实际相对误差距离解算示意图。

图5是优化的跟踪算法执行示意图。

图6是无障碍物遮挡的情况。

图7是目标物被遮挡的情况；其中，(a)部分遮挡情况；(b)完全遮挡情况。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明设计了如图1所示的目标特征标志。目标特征标志的主体是一个A4纸大小的红色矩形，其长和宽分别为297毫米和210毫米，RGB颜色对应的值为(255，0,0)，外围是3厘米宽的黑色边框。

在本发明的旋翼无人机控制系统中，所述的飞行控制器作为旋翼无人机的“大脑”，并辅之于所述的视觉导航模块、传感器部分、无线通讯单元、动力单元及电源模块，来完成旋翼无人机对移动目标的稳定视觉跟踪等任务。

如图2所示，一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统主要包括机载部分和地面站部分，两者之间主要有三种通讯的方式，即2.4GHz的天地飞遥控器通讯器、433MHz的无线数传通讯以及5.8GHz无线图传。天地飞遥控器是使用最多的国产航模遥控器，由深圳市天地飞科技开发有限公司制造，遥控器需和配套的接收机一起使用，遥控接收机安装至旋翼无人机上，操控者可以通过拨动遥控器上的摇杆来实现对旋翼无人机的操控，接入遥控器是为了在旋翼无人机跟踪飞行出现失控的情况下，可以立即切回手动控制，避免不必要的危险；本发明实施例使用的无线数传模块的传输频率为433MHz，有效传输距离为500米，并有两个模块，两模块之间可以进行数据互传，将其中的Air模块(即机载数传模块)通过UART接口与飞行控制器相连，将Ground模块(即地面站数传模块)通过USB接口与地面测试模块相连；本发明实施例使用的图传模块的传输频率为5.8GHz，功率为200Mw，有效传输距离为800米，有发射和接收两个模块，将其中的发射机(即机载图传发送模块)通过USB接口与图像处理器相连，地面站图传接收模块与地面测试模块相连，操控者可以通过接收到的图像信息来实时监控视觉跟踪的效果。

本发明实施例中使用的旋翼无人机飞行控制器为在美国3DR公司生产的Pixhawk的基础上优化的Pixraptor飞行控制器。采用主/协双处理器结构，内置InvenSenseMPU6000六轴陀螺加速度计、ST Micro L3GD20H陀螺仪、ST Micro LSM303D磁力计以及MEASMS5611气压计。其提供了丰富的外设接口，包括5路UART接口、1路I2C接口、1路SPI接口以及PPM脉位调制信号输入等接口。其对旋翼无人机的控制分为内/外两个控制回路，内回路称为姿态回路，实现对旋翼无人机姿态的精确控制；外回路称为位置回路，实现对旋翼无人机位置的精确控制。飞行控制器通过UART接口接收图像处理器发送的视觉导航信号(即实际相对误差距离)，作用于位置回路，利用PID控制，实现旋翼无人机对移动目标的稳定跟踪。

本发明的实施例中视觉导航模块的硬件主要包括：

摄像头模块：本发明实施例中使用的是一款USB摄像头，其最大像素为210W，镜头焦距为3.6毫米，考虑到帧率的需求，将其分辨率设定为30W，视场角约为100度，帧率为100fgs/640*480，并且帧率不随光线的变化而变化，其默认的图片输出格式为MJPEG，动态捕捉的视频的存储格式为AVI。本实施例使用的摄像头设置同时兼顾了图像清晰度需求和图像处理速度要求，其通过USB接口与图像处理器相连。

两轴无刷云台：本发明实施例中使用的是TAROT公司研制的GoPro两轴无刷云台，其处理器为双32为高速ARM核处理器，并配备有三旋翼MEMS陀螺仪和三旋翼MEMS加速度计，控制精度可达到0.1度，在俯仰、滚转两方面控制角度的范围分别为-135度～90度，-45度～45度。使用此两轴无刷云台可保证在旋翼无人机的飞行过程中，摄像头镜头和超声波测距模块始终垂直朝下，而不受无人机姿态的影响。

图像处理器：本发明实施例使用的图像处理器为型号是N29_2L J1900的工控板，集成IntelJ1900四核处理器，8G的运行内存和32G的固态硬盘并提供4个USB接口，功能类似于一台微型电脑，预装Windows7系统和opencv函数库，利用VS2010开发可对移动目标进行稳定视觉跟踪的软件平台。并通过USB转TTL模块与飞行控制器的UART接口相连，实现视觉导航信号的传输。

本发明实施例中使用到的传感器为：

超声波测距模块：本发明实施例中选用的是一款型号为I2CXL-MaxSonar-EZ4的工业级超声波传感器，检测范围为20厘米至765厘米，盲区为20厘米，分辨率为1厘米，使用I2C总线与飞行控制器建立通信，并具有功耗低、较高的声功率输出、可实时自动校准和使用方便的特点。

将上述的摄像头模块保持摄像头垂直向下固定于两轴无刷云台上；同样的，超声波测距模块也保持垂直向下固定在云台上，并保持摄像头镜头与超声波测距模块的发射接收端在同一水平面，使得超声波测距模块测得的旋翼无人机的飞行高度与摄像头镜头距离地面的高度相同。

再将上述的两轴无刷云台固定在旋翼无人机的正下方，并给两轴无刷云台进行配平，使得云台上电正常工作后，摄像头镜头保持水平。

超声波测距模块通过I2C总线接口与飞行控制器相连；摄像头模块通过USB接口与图像处理器相连，完成图像信息的传输；图像处理器通过USB转TTL串口模块与飞行控制器相连，完成目标物质点信息的传输；飞行控制器，用于控制旋翼无人机的自主飞行，结合得到的目标物质点信息和实时的飞行高度，解算旋翼无人机与目标物之间的实际相对误差距离，并根据得到的实际相对误差距离控制旋翼无人机跟踪目标物。机载数传模块通过UART串口与飞行控制器相连，地面站数传模块通过USB接口与地面测试模块相连，两者以433MHz的频率通讯，实现飞行控制器和地面测试模块之间的数据互传。机载图传发送模块，用于传输图像处理器处理过的图像信息至地面站，通过USB接口与图像处理器相连，并以5.8GHz的频率与地面站图传接收模块实现无线通讯。地面站图传接收模块，用于接收图像处理器处理过的图像信息，通过USB接口与地面测试模块相连。地面测试模块，用于实时显示图像处理器处理过的图像信息，便于操控者对整个跟踪飞行过程进行监控，可以提前对意外情况作出反应。

本发明实施例中电源模块包括一块6000mAh、25C、22.2V的锂电池、24V转12V直流稳压模块和一UBEC降压模块。锂电池一方面直接给旋翼无人机的动力单元供电，再通过UBEC降压模块输出5V电压给飞行控制器供电；另一方面配合12V稳压模块给图像处理器和两轴无刷云台供电。

上述的动力单元包括电机、电调、螺旋桨。动力单元的选型决定了旋翼无人机的最大负载能力。本发明以四旋翼无人机为例，采用4个朗宇X4110-KV580无刷电机、4个乐天40A电调搭配2对飞越Tarot A系列1238碳纤维螺旋桨。鉴于上述选型，可以给四旋翼无人机提供≥4.0Kg的升力。

如图3所示，为目标物定位示意图。坐标系O_cX_cY_c为图像像素坐标系，坐标系O_c′X_c′Y_c′为图像物理坐标系。其中摄像头焦距f＝3.6mm，h为超声波测距模块测得的实时的飞行高度。两图像坐标系之间的转换关系式为：

其中，(P_x,P_y)为成像点在图像物理坐标系中的坐标位置，(u,v)为其在图像像素坐标系中的坐标位置；(u₀,v₀)为点O_c′在图像像素坐标系中的位置坐标，其物理意义为虚拟成像图像的光学中心，而k_u,k_v是每个像素的宽和高在传感器尺寸中的物理长度，这些参数都可以通过对摄像头模块标定获得。

如图3所示，假设的目标物质点在图像像素坐标系中的成像点位置已在图中标出，利用上述的关系式可以得到其在图像物理坐标系中的坐标位置，将这一坐标位置分别投影到O_c′X_c′轴和O_c′Y_c′轴上得到偏差Δx和Δy。

所述的实际的相对误差距离可以通过图4所示计算得到，将上述得到的偏差Δx结合摄像头焦距f和超声波测距模块测得的高度信息h，根据相似三角形定则可以计算得到目标物质点和旋翼无人机在横滚方向上实际相对误差距离。俯仰方向上的误差距离同理即可得到。

将上述得到的两个方向上实际相对误差距离作为旋翼无人机的视觉导航信号，控制旋翼无人机的俯仰和滚转，使得目标物质点的成像位置保持在点O_c′附近，即可实现对移动目标物的视觉跟踪。

本发明采用一种基于视觉的旋翼无人机自主检测并持续稳定跟踪移动目标物的方法，该方法可以用在上述的系统结构中。下面结合附图给出具体的步骤表述，如下：

步骤1、对摄像头模块所获取的图像进行预处理等操作，主要是为了消除室外复杂环境对图像造成的干扰，主要包括以下步骤：

(1.1)首先对图像进行灰度化并利用中值滤波来滤除噪声影响，尤其是针对室外环境下，目标特征标志本身或者其他物体的反光现象对目标物检测的影响；

(1.2)然后对预处理后的图像进行自适应阈值处理，获取二值图像，根据不同的背景环境选取不同的参数；

(1.3)最后获取二值图像中的轮廓信息。

步骤2、当旋翼无人机稳定在固定高度后，计算图像中各轮廓面积并筛选出轮廓面积与目标特征标志在某一高度下的理论轮廓面积相近的轮廓，用最小面积包围矩形在图像中框出前面所提的与理论轮廓面积相近的轮廓，再判断所框出的矩形范围内是否为目标颜色，若为目标颜色则成功检测到目标物，执行步骤3。若不是目标颜色则返回步骤1；

步骤3、利用步骤2检测到的目标特征标志的轮廓的最小面积包围矩形窗口来初始化连续自适应均值偏移算法的搜索窗口，并对此窗口范围内的目标图像建立HSV中H分量的直方图，再通过反向投影确定目标模板；

步骤4、计算初始搜索窗口的零阶距、一阶距和二阶距，进而得到初始的目标物质点信息，同时完成卡尔曼滤波器状态的初始化，具体的实现步骤如下：

(4.1)计算初始搜索窗口的零阶距、一阶距和二阶距公式如下：

其中，I(x₀,y₀)为图像在点(x₀,y₀)处的灰度值。

(4.2)目标物初始质点的位置为：

(4.3)卡尔曼滤波器可以分为两个部分，即时间更新和观测更新。

时间更新又称预测，即得到下一时刻的先验估计，公式如下：

观测更新过程是结合当前的观测值和先验估计计算修正后的后验估计，公式如下：

以上两式K≥1，为K-1时刻系统状态值，为状态预测值，Z_K为系统观测值，Φ_K|K-1和H_K分别为系统转移矩阵和观测矩阵，P_K|K和K_K分别为滤波误差均方差矩阵和卡尔曼增益，Q_K-1和R_K分别为过程噪声和观测噪声的协方差矩阵。

本发明实施例定义K时刻系统状态观测向量Z_K＝[X_K,Y_K]^T。其中，(X_K,Y_K)为目标质点在图像像素坐标系中的坐标，[V_X(K),V_Y(K)]是目标物质点在X轴和Y轴方向上的移动速度。利用上述的目标物初始状态来初始化X(0)(即X(0)＝[X₀,Y₀,V_X(0),V_Y(0)]^T，其中初始速度为0，Z(0)为零向量。

其中，Φ_K|K-1和H_K分别为4×4和2×4矩阵，定义分别为：

由于实施例中给旋翼无人机发送视觉导航信息的频率和图像处理器的处理频率都设定为100Hz，因此卡尔曼滤波器的时间周期t＝0.1。在这一时间间隔内，可以认为目标物的运动状态为匀速直线运动，X和Y方向在K时刻的速度的计算公式如下：

步骤5、引入一目标遮挡因子τ，τ为相邻两帧目标特征面积之比。理论上旋翼无人机的飞行高度固定，根据小孔成像原理，相邻两帧目标特征面积之比τ为1，但由于旋翼无人机在进行俯仰和滚转飞行时，其飞行高度会有略微的减小，优选地，在无遮挡时，0.85≤τ＜1.2。在这一情况下，先利用卡尔曼滤波器来预测下一帧目标的位置，即上述的状态预测，再利用连续自适应均值偏移算法在该预测位置的附近搜索目标物，过程如图5所示。进一步地，因为目标物没有被遮挡，搜索窗口的质点位置信息真实地反应出目标物的运动情况，如图6所示。最后，自适应均值漂移算法输出的目标物质点信息作为测量值来修正卡尔曼滤波算法得到的目标质点信息的估计值，即观测更新过程，将修正后的值作为下一帧的输入值，并利用该修正后的值计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物。

步骤6、当τ＜0.85，引入另一个目标遮挡因子τ′。τ′为发生遮挡之后每帧的目标特征面积与无遮挡时目标特征面积S之比。若0.2≤τ′＜0.85，判断为部分遮挡；在目标特征标志被遮挡时，存在如图7中的(a)所示的质点信息后移的情况。目标物质点信息以卡尔曼滤波算法预测的位置为主，减小连续自适应均值偏移算法测量值在观测更新中的权重，同时固定搜索窗口的大小为开始遮挡时搜索窗口的大小并随着目标质点的移动而移动，直至τ′的值不发生变化但仍满足0.2≤τ′＜0.85，此时调整搜索窗口为图像中目标特征面积的大小，实现质点过渡，如图7中(a)所示，同时根据计算得到的实际相对误差距离控制旋翼无人机跟踪目标物，直至τ≥0.85，返回执行步骤5；

步骤7、若τ′＜0.2，可判断为全部遮挡。如图7中的(b)所示，在这一情况下，取消搜索窗口(即无测量值输出)，将卡尔曼滤波算法预测的目标物状态作为下一帧的输入值来更新目标物质点信息，结合此时的目标物质点信息计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物。同时，使用2倍于无遮挡时搜索窗口大小的窗口作为预搜索窗口在目标物的运动方向上进行搜索，直至目标特征标志重新出现，进而执行步骤6；

以上对本发明提供的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统及方法进行了详细的介绍，本发明选取连续自适应均值偏移算法作为一具体个例来阐述背景技术所述的问题以及相应的解决方案，以帮助理解本发明的核心思想。除连续自适应均值偏移算法外，任何根据目标特征进行跟踪的视觉算法都会面临这一问题。同时，对于本领域的一般技术人员，依据本发明的思想，在具体的实施方式上会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统，其特征在于，包括机载部分，所述机载部分包括旋翼无人机的飞行控制器、超声波测距模块和视觉导航模块，所述视觉导航模块包括图像处理器、摄像头模块和固定在旋翼无人机正下方的两轴无刷云台，所述摄像头模块和超声波测距模块均固定于两轴无刷云台上，且保持摄像头模块的镜头和超声波测距模块均与水平面平行；其中，

两轴无刷云台，用于当上电后保持摄像头模块的镜头和超声波测距模块始终垂直向下；

超声波测距模块，用于将获取的旋翼无人机实时的飞行高度输出至飞行控制器；

摄像头模块，用于拍摄旋翼无人机下方的图像，并将图像输出至图像处理器；

图像处理器，用于对摄像头模块所拍摄的图像进行分析处理得到目标物质点信息，目标物质点信息输出至飞行控制器；

飞行控制器，用于根据接收到的目标物质点信息和实时的飞行高度，解算出旋翼无人机与目标物之间的实际相对误差距离，并根据得到的实际相对误差距离控制旋翼无人机跟踪目标物。

2.根据权利要求1所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统，其特征在于，还包括配备有动力单元的机架、遥控接收机、第一无线通讯模块和地面站部分，所述地面站部分包括第二无线通讯模块和地面测试模块，所述第一无线通讯模块包括机载数传模块和机载图传发送模块；所述第二无线通讯模块包括地面站数传模块和地面站图传接收模块；所述动力单元包括电机、与电机相连的电调和固定在电机上的螺旋桨；其中，

遥控接收机，安装在旋翼无人机上，用于将接收到操控者发出的操控信号输出至飞行控制器，飞行控制器接收到该操控信号后输出控制信号至电调；

电调，用于根据控制信号通过调节电机的转速和方向从而给旋翼无人机提供升力；

机载数传模块，用于将飞行控制器发送过来的旋翼无人机的飞行参数经地面站数传模块输出至地面测试模块，地面测试模块用于输出旋翼无人机规划的飞行任务至地面站数传模块；

地面站数传模块，用于将旋翼无人机规划的飞行任务经机载数传模块输出至飞行控制器；

图像处理器，还用于将处理过的带有目标物信息的图像输出至机载图传发送模块；

机载图传发送模块，用于将图像处理器处理过的带有目标物信息的图像经地面站图传接收模块输出至地面测试模块；

地面测试模块，用于实时显示图像处理器处理过的带有目标物信息的图像。

3.根据权利要求2所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统，其特征在于，还包括电源模块，所述电源模块包括一块锂电池和稳压模块；从锂电池接出两个电源端子，其中的一电源端子接动力单元，从而给电机供电，另一电源端子通过连接稳压模块来给图像处理器、两轴无刷云台和飞行控制器供电。

4.一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，包括以下步骤：

步骤1、获取旋翼无人机下方的图像，对该图像进行预处理操作；

步骤2、当旋翼无人机稳定在固定高度后，通过计算预处理后的图像中各轮廓面积并与目标物轮廓面积对比来筛选轮廓，再判断该轮廓范围内是否为目标颜色；若为目标颜色则成功检测到目标特征标志，实现自主检测目标物，执行步骤3；若不是目标颜色则返回步骤1；

步骤3、利用步骤2检测到的目标特征标志的轮廓的最小面积包围矩形窗口来初始化连续自适应均值偏移算法的搜索窗口，并对该窗口范围内的目标图像建立HSV中H分量的直方图，再通过反向投影确定目标模板；

步骤4、计算初始搜索窗口的零阶距、一阶距和二阶距，进而得到初始的目标物质点信息，利用该信息初始化卡尔曼滤波器；

步骤5、引入一目标遮挡因子τ，τ为相邻两帧目标特征面积之比；若0.85≤τ＜1.2，则无遮挡；此时，利用卡尔曼滤波器来预测下一帧目标的位置，再利用连续自适应均值偏移算法在预测位置的附近搜索目标物，自适应均值漂移算法输出的目标物质点信息作为测量值来修正卡尔曼滤波算法得到的目标物质点信息的估计值，再将修正后的值作为下一帧的输入值，并利用该修正后的值计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物；

步骤6、若τ＜0.85，引入另一个目标遮挡因子τ′，τ′为发生遮挡之后每帧的目标特征面积与无遮挡时目标特征面积S之比；若0.2≤τ′＜0.85，判断为部分遮挡；目标物质点信息以卡尔曼滤波算法预测的位置为主，减小连续自适应均值偏移算法测量值在观测更新中的权重，同时固定搜索窗口大小为开始遮挡时搜索窗口的大小，直至τ′的值不发生变化但仍满足0.2≤τ′＜0.85，调整搜索窗口为图像中目标特征面积的大小，同时根据计算得到的实际相对误差距离控制旋翼无人机跟踪目标物，直至τ≥0.85，返回执行步骤5；

步骤7、若τ′＜0.2，判断为全部遮挡；在这一情况下，取消搜索窗口，以卡尔曼滤波算法的预测状态更新目标物质点信息，结合此时的目标物质点信息计算旋翼无人机与目标物之间的实际相对误差距离，根据实际相对误差距离控制旋翼无人机跟踪目标物，使用2倍于无遮挡时搜索窗口大小的窗口作为新的搜索窗口在目标的运动方向上进行搜索，直至目标特征标志重新出现，进而返回执行步骤6。

5.根据权利要求4所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述步骤1具体如下：

(1.1)、首先对图像进行灰度化并利用中值滤波来滤除噪声影响；

(1.2)、然后对预处理后的图像进行自适应阈值处理，获取二值图像，根据不同的背景环境选取不同的参数；

(1.3)、最后获取二值图像中的轮廓信息。

6.根据权利要求4所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述目标特征标志为一个带有黑色边框的红色矩形。

7.根据权利要求6所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述带有黑色边框的红色矩形的特征标志物包括一A4纸大小的红色矩形，其RGB颜色对应的值为(255,0,0)以及其外围的3厘米宽的黑色边框。

8.根据权利要求4所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述自主检测目标物是在所获取的图像的所有轮廓中，根据目标物的轮廓特征与轮廓面积筛选出目标物的轮廓，并结合目标物的颜色特征来判断是否为目标物。

9.根据权利要求4所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述目标物轮廓面积是结合旋翼无人机飞行的高度和实际的目标物的长和宽，根据小孔成像的原理计算得到的目标物在图像中的理论面积大小；所述目标物质点信息是目标物在图像物理坐标系中成像点的位置信息，即为目标物质点在图像像素坐标系中的成像位置和图像中心点位置之间的物理偏差；所述图像物理坐标系是以图像中心为原点的图像坐标系；图像像素坐标系是以图像左上点为原点的图像坐标系，以上两种图像坐标系之间存在固定的转换关系，图像中心点位置通过对摄像头标定得到。

10.根据权利要求4所述的一种基于视觉的旋翼无人机稳定跟踪移动目标的控制方法，其特征在于，所述旋翼无人机跟踪目标物是建立在获知目标物质点信息的基础上，根据小孔成像原理，利用相似三角形定则计算得到旋翼无人机与移动目标物实际的相对误差距离，并利用此偏差来控制旋翼无人机俯仰以及滚转飞行，使得目标物质点的成像位置始终处于图像中心点附近，从而达到稳定跟踪的目的。