CN106254836A - 无人机红外图像目标跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于无人机的红外图像目标跟踪系统及方法，跟踪系统包括无人机本体、图像采集模块、图像处理模块、机载控制模块、机载通信模块、地面控制模块、地面通信模块和显示模块。图像处理模块包括图像预处理模块、图像目标跟踪模块。图像采集模块、图像处理模块、机载控制模块、机载通信模块安置在无人机本体上，地面控制模块、地面通信模块和显示模块设置在地面上。地面控制模块通过地面通信模块发送摄像指令给机载控制模块，开启红外摄像机采集图像。对拍摄得到的监控目标图像进行预处理，待地面控制模块给出待跟踪目标后系统进行跟踪。本发明提供的目标跟踪系统实施简单、精度高、鲁棒性强，能有效提高目标跟踪的精度。

Description

无人机红外图像目标跟踪系统及方法

技术领域

本发明涉及目标跟踪领域，尤其涉及到一种无人机红外图像目标跟踪系统及方法。

背景技术

无人机具有结构简单、成本低廉、易于维护、隐蔽性高、生存能力强、机动性好等特点，在环境监测、边境巡逻与控制、城区监视等领域应用广泛。在实际应用中，无人机面临着实时跟踪监控目标的需求，例如军事上利用无人机跟踪地面感兴趣车辆，在森林监控中跟踪受伤动物等。但是目前传统的无人机跟踪目标大多是基于人工手动遥控，其操纵难度大，精度低，跟踪不稳定，存在智能型不足的缺点，再加上无人机飞行控制难度大等因素，某种程度上限定了无人机在目标跟踪领域的应用。随着飞行控制技术和网络技术的发展，研究自动目标跟踪系统很有必要。自动目标跟踪系统具有易于操作、精度高、长时间跟踪等特点，能够提高跟踪效率，节省劳动力。

此外无人机进行目标跟踪是基于机器视觉的，即无人机自己采集图像并进行图像处理，将图像处理结果传回地面站，决策人员可选择跟踪目标进行实时跟踪，因此图像的采集成为跟踪过程中的关键。近年来红外成像技术发展迅速，表现出诸多优点，例如采用完全被动的方式工作，隐蔽性好，具有全天时、全天候的特点，克服了其他成像技术视觉效果模糊、受时间天气限制的缺点。

再者，要提高目标识别的精度，依赖于实时的目标跟踪算法。传统的目标跟踪算法有基于滤波和数据关联方法的卡尔曼滤波算法、粒子滤波算法，基于目标表示和定位的Meanshift算法。传统的目标跟踪算法都假设在简单的场景下进行跟踪,针对它们所作出的改进大部分关注于提升算法的速度或精度,或者只优化了在其中一个复杂场景下的跟踪问题。这些算法以及它们的改进形式无法解决跟踪错误的后续处理问题,因此只能作为短期跟踪器使用。因此亟需一种能应对目标形变、背景干扰、目标遮挡、快速运动、精度高、速度快的目标跟踪方法。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种无人机红外图像目标跟踪系统及方法，具有精度高、安全可靠、功耗低、实时性好的特点。

本发明为解决上述技术问题采用以下技术方案：

无人机红外图像目标跟踪系统，包括无人机本体、图像采集模块、图像处理模块、机载控制模块、机载通信模块、地面控制模块、地面通信模块和显示模块；

所述图像采集模块、图像处理模块、机载控制模块、机载通信模块设置在无人机本体上，地面控制模块、地面通信模块、显示模块设置在地面上；其中，所述机载控制模块分别和图像采集模块、图像处理模块、机载通信模块电气相连，所述地面控制模块分别和地面通信模块、显示模块电气相连；所述机载通信模块、地面通信模块基于无线通信；

所述地面控制模块用于发送待跟踪目标给所述机载控制模块，并控制显示模块显示接收到的图像；

所述图像采集模块包括红外摄像机和云台，其中，所述红外摄像机设置在云台上，用于采集图像并将其传递给所述图像处理模块；所述云台设置在无人机本体的下方，用于根据机载控制模块发出的指令调整红外摄像机的拍摄角度；

所述图像处理模块包括图像预处理模块和图像目标跟踪模块，其中，所述图像预处理模块用于对接收到的红外摄像机采集的图像进行去噪增强，并将处理后的图像传递给所述图像目标跟踪模块和机载控制模块；所述图像目标跟踪模块用于根据接收到的图像、结合待跟踪的目标计算出云台的调整参数，并将其传递给所述机载控制模块；

所述机载控制模块用于控制红外摄像机进行摄像、将其采集的图像传递给所述地面控制模块，将接收到的待跟踪目标传递给所述图像目标跟踪模块，并根据接收到的云台的调整参数调整云台的姿态。

作为本发明无人机红外图像目标跟踪系统进一步的优化方案，所述显示模块采用液晶显示器。

本发明还公开了一种基于该无人机红外图像目标跟踪系统的跟踪方法，包含以下步骤：

步骤1），地面控制模块通过地面通信模块发送摄像指令给机载控制模块；

步骤2），机载控制模块控制红外摄像机进行图像采集；

步骤3），红外摄像机采集到图像后将图像传送给图像预处理模块；

步骤4），图像预处理模块对接收到的图像进行去噪增强，并将处理后的图像传递给所述图像目标跟踪模块和机载控制模块；

步骤5），机载控制模块将处理后的图像传递给所述地面控制模块；

步骤6），地面控制模块控制显示模块实时显示处理后的图像；

步骤7），地面控制模块将待跟踪目标传递给所述机载控制模块；

步骤8），机载控制模块将接收到的待跟踪目标传递给图像目标跟踪模块；

步骤9），图像目标跟踪模块根据接收到的图像和待跟踪目标进行目标跟踪，计算出待跟踪目标在接收到图像的当前帧中的位置；

步骤10），图像目标跟踪模块根据待跟踪目标在接收到的图像中的位置计算出云台的调整参数，并将其传送给机载控制模块；

步骤11），机载控制模块根据接收到的云台调整参数调整云台姿态，使得待跟踪目标位于红外摄像机采集的图像中心。

作为基于该无人机红外图像目标跟踪系统的跟踪方法进一步的优化方案，所述步骤9）的详细步骤如下：

步骤9.1），根据待跟踪目标在接收到图像的当前帧中的位置和大小生成正负样本，完成检测器的初始化，该检测器为级联分类器，包含方差分类器、集成分类器和最近邻分类器；

步骤9.2），采用MeanShift跟踪器对待跟踪目标进行跟踪；

步骤9.3），计算MeanShift跟踪器跟踪返回的目标框和上一帧目标框之间的相似度，并判定跟踪的有效性，若判定跟踪无效，由检测器重新初始化跟踪；若判定跟踪有效，记录MeanShift跟踪器的跟踪结果，继续执行步骤9.4）；

步骤9.4），根据待跟踪目标在上一帧中的中心位置用Kalman滤波器预测出待跟踪目标在当前帧中的位置子窗口集合；

以待跟踪目标的中心点为中心划定一个矩形区域，所述矩形区域的高与宽分别为上一帧图像中待跟踪目标的边界框的高与宽预设的倍数；

在位置子窗口集合中筛选出与该矩形区域有交集的位置子窗口后输入至级联分类器，并记录各个通过级联分类器的位置子窗口；

步骤9.5），根据MeanShift跟踪器的跟踪结果和各个通过级联分类器的位置子窗口确认当前帧中是否有待跟踪目标存在，若不存在，返回步骤9.4）对下一帧进行处理；若存在，则计算出待跟踪目标在当前帧中的位置，继续执行步骤9.6）；

步骤9.6），根据待跟踪目标在当前帧中的位置以及待跟踪目标在上一帧中的位置计算相似度，并根据相似度判定跟踪轨迹是否有效；

步骤9.6.1），若判定跟踪轨迹无效，返回步骤9.2）对下一帧进行处理；

步骤9.6.2），若判定跟踪轨迹有效，则返回步骤9.1）对下一帧进行处理，同时输出步骤9.5）中计算出的待跟踪目标在当前帧中的位置。

作为基于该无人机红外图像目标跟踪系统的跟踪方法进一步的优化方案，所述步骤10）的具体步骤如下：

根据待跟踪目标在当前帧中的位置计算出待跟踪目标偏离当前帧中心的偏差，根据该偏差计算出云台的横向调整角度和纵向调整角度，并将该横向调整角度和纵向调整角度传送给机载控制模块。

作为基于该无人机红外图像目标跟踪系统的跟踪方法进一步的优化方案，所述步骤9.4）中预设的倍数为3。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：在硬件上采用无人机跟踪，在软件上采用改进的跟踪算法，并采用红外成像技术，其实施简单、精度高、鲁棒性强，能有效提高无人机目标跟踪的准确性和实时性。

附图说明

图1是本发明无人机红外图像目标跟踪系统示意图；

图2是本发明无人机红外图像目标跟踪系统总体结构图；

图3是摄像机安装在云台上的示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种无人机红外图像目标跟踪系统，包括无人机本体、图像采集模块、图像处理模块、机载控制模块、机载通信模块、地面控制模块、地面通信模块和显示模块。

图像采集模块、图像处理模块、机载控制模块、机载通信模块设置在无人机本体上，地面控制模块、地面通信模块、显示模块设置在地面上；其中，机载控制模块分别和图像采集模块、图像处理模块、机载通信模块电气相连，地面控制模块分别和地面通信模块、显示模块电气相连；所述机载通信模块、地面通信模块基于无线通信。

图像采集模块的工作是通过红外摄像机按一定的频率捕获外界环境的图像，并将采集到的图像输入到图像处理模块。图像采集模块包括了红外摄像机和云台。如图3所示，红外摄像机安置在云台上，云台可以带动红外摄像机进行两个自由度的转动。如图2所示，云台和摄像机安置在无人机的下方，用于捕捉监控目标。

如图2所示，所述的地面控制模块首先通过地面通信模块中的无线网络发送指令给无人机本体上的机载控制模块，开启红外摄像机采集图像。同样，机载控制模块得到的数据参数也会通过Tcp协议反馈给地面控制模块。

所述图像处理模块包括图像预处理模块和图像目标跟踪模块。

所述的图像预处理模块对输入图像进行混合图像增强，即一方面先采用中值滤波平滑去噪，再通过直方图均衡化扩大图像动态范围；另一方面采用巴特沃斯高通滤波强化图像细节；最后将处理后的两幅图像加权后融合。

所述的图像目标跟踪模块接收图像预处理模块的结果和待跟踪目标，利用改进的跟踪算法进行目标的实时跟踪，并将跟踪结果通过无线网络发送回地面控制模块，地面控制模块控制显示模块进行实时显示。

如图1所示，地面控制模块发送指令使得图像采集模块进行图像采集，并将待跟踪目标传递至图像目标跟踪模块；图像采集模块将采集的图像传递给所述图像预处理模块；图像预处理模块对图像经过去噪增强后将其传递给图像目标跟踪模块；图像目标跟踪模块根据接收到的图像、结合待跟踪的目标计算出云台的调整参数；机载控制模块根据计算出的云台的调整参数调整云台的姿态，并将经图像预处理模块处理后的图像传递给地面控制模块，最后在显示模块中显示出来。

所述的显示模块采用液晶显示器，显示界面是基于qt建立的界面，并生成经过优化的C代码，计算速度更快，可实时显示目标的跟踪情况。

本发明还公开了一种基于该无人机红外图像目标跟踪系统的跟踪方法，包含以下步骤：

步骤1），地面控制模块通过地面通信模块发送摄像指令给机载控制模块；

步骤2），机载控制模块控制红外摄像机进行图像采集；

步骤3），红外摄像机将采集到图像后将图像传送给图像预处理模块；

步骤4），图像预处理模块对接受到的图像进行去噪增强，并将处理后的图像传递给所述图像目标跟踪模块和机载控制模块；

步骤5），机载控制模块将处理后的图像传递给所述地面控制模块；

步骤6），地面控制模块控制显示模块实时显示处理后的图像；

步骤7），地面控制模块将待跟踪目标传递给所述机载控制模块；

步骤8），机载控制模块将接收到的待跟踪目标传递给图像目标跟踪模块；

步骤9），图像目标跟踪模块根据接收到的图像和待跟踪目标进行目标跟踪，计算出待跟踪目标在接收到的图像中的位置；

步骤10），图像目标跟踪模块根据待跟踪目标在接收到的图像中的位置计算出云台的调整参数，并将其传送给机载控制模块；

步骤11），机载控制模块根据接收到的云台调整参数调整云台姿态，使得待跟踪目标位于红外摄像机采集的图像中心。

其中，步骤9）的详细步骤如下：

步骤9.1），根据待跟踪目标在接收到图像的当前帧中的位置和大小生成正负样本，完成检测器的初始化，该检测器为级联分类器，包含方差分类器、集成分类器和最近邻分类器；

步骤9.2），采用MeanShift跟踪器对待跟踪目标进行跟踪；

步骤9.3），计算MeanShift跟踪器跟踪返回的目标框和上一帧目标框之间的相似度，并判定跟踪的有效性，若判定跟踪无效，由检测器重新初始化跟踪；若判定跟踪有效，记录MeanShift跟踪器的跟踪结果，继续执行步骤9.4）；

步骤9.4），根据待跟踪目标在上一帧中的中心位置用Kalman滤波器预测出待跟踪目标在当前帧中的位置子窗口集合；

以待跟踪目标的中心点为中心划定一个矩形区域，所述矩形区域的高与宽分别为上一帧图像中待跟踪目标的边界框的高与宽预设的倍数；

在位置子窗口集合中筛选出与该矩形区域有交集的位置子窗口后输入至级联分类器，并记录各个通过级联分类器的位置子窗口；

步骤9.5），根据MeanShift跟踪器的跟踪结果和各个通过级联分类器的位置子窗口确认当前帧中是否有待跟踪目标存在，若不存在，返回步骤9.4）对下一帧进行处理；若存在，则计算出待跟踪目标在当前帧中的位置，继续执行步骤9.6）；

步骤9.6），根据待跟踪目标在当前帧中的位置以及待跟踪目标在上一帧中的位置计算相似度，并根据相似度判定跟踪轨迹是否有效；

步骤9.6.1），若判定跟踪轨迹无效，返回步骤9.2）对下一帧进行处理；

步骤9.6.2），若判定跟踪轨迹有效，则返回步骤9.1）对下一帧进行处理，同时输出步骤9.5）中计算出的待跟踪目标在当前帧中的位置。

步骤10）的具体步骤如下：

根据待跟踪目标在当前帧中的位置计算出待跟踪目标偏离当前帧中心的偏差，根据该偏差计算出云台的横向调整角度和纵向调整角度，并将该横向调整角度和纵向调整角度传送给机载控制模块。

所述步骤9.4）中预设的倍数为3。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.无人机红外图像目标跟踪系统，其特征在于，包括无人机本体、图像采集模块、图像处理模块、机载控制模块、机载通信模块、地面控制模块、地面通信模块和显示模块；

所述图像采集模块、图像处理模块、机载控制模块、机载通信模块设置在无人机本体上，地面控制模块、地面通信模块、显示模块设置在地面上；其中，所述机载控制模块分别和图像采集模块、图像处理模块、机载通信模块电气相连，所述地面控制模块分别和地面通信模块、显示模块电气相连；所述机载通信模块、地面通信模块基于无线通信；

所述地面控制模块用于发送待跟踪目标给所述机载控制模块，并控制显示模块显示接收到的图像；

所述图像采集模块包括红外摄像机和云台，其中，所述红外摄像机设置在云台上，用于采集图像并将其传递给所述图像处理模块；所述云台设置在无人机本体的下方，用于根据机载控制模块发出的指令调整红外摄像机的拍摄角度；

所述图像处理模块包括图像预处理模块和图像目标跟踪模块，其中，所述图像预处理模块用于对接收到的红外摄像机采集的图像进行去噪增强，并将处理后的图像传递给所述图像目标跟踪模块和机载控制模块；所述图像目标跟踪模块用于根据接收到的图像、结合待跟踪的目标计算出云台的调整参数，并将其传递给所述机载控制模块；

所述机载控制模块用于控制红外摄像机进行摄像、将其采集的图像传递给所述地面控制模块，将接收到的待跟踪目标传递给所述图像目标跟踪模块，并根据接收到的云台的调整参数调整云台的姿态。

2.根据权利要求1所述的无人机红外图像目标跟踪系统，其特征在于，所述显示模块采用液晶显示器。

3.基于权利要求1所述的无人机红外图像目标跟踪系统的跟踪方法，其特征在于，包含以下步骤：

步骤1），地面控制模块通过地面通信模块发送摄像指令给机载控制模块；

步骤2），机载控制模块控制红外摄像机进行图像采集；

步骤3），红外摄像机采集到图像后将图像传送给图像预处理模块；

步骤4），图像预处理模块对接收到的图像进行去噪增强，并将处理后的图像传递给所述图像目标跟踪模块和机载控制模块；

步骤5），机载控制模块将处理后的图像传递给所述地面控制模块；

步骤6），地面控制模块控制显示模块实时显示处理后的图像；

步骤7），地面控制模块将待跟踪目标传递给所述机载控制模块；

步骤8），机载控制模块将接收到的待跟踪目标传递给图像目标跟踪模块；

步骤9），图像目标跟踪模块根据接收到的图像和待跟踪目标进行目标跟踪，计算出待跟踪目标在接收到图像的当前帧中的位置；

步骤10），图像目标跟踪模块根据待跟踪目标在接收到的图像中的位置计算出云台的调整参数，并将其传送给机载控制模块；

步骤11），机载控制模块根据接收到的云台调整参数调整云台姿态，使得待跟踪目标位于红外摄像机采集的图像中心。

4.根据权利要求3所述的无人机红外图像目标跟踪系统的跟踪方法，其特征在于，所述步骤9）的详细步骤如下：

步骤9.1），根据待跟踪目标在接收到图像的当前帧中的位置和大小生成正负样本，完成检测器的初始化，该检测器为级联分类器，包含方差分类器、集成分类器和最近邻分类器；

步骤9.2），采用MeanShift跟踪器对待跟踪目标进行跟踪；

步骤9.3），计算MeanShift跟踪器跟踪返回的目标框和上一帧目标框之间的相似度，并判定跟踪的有效性，若判定跟踪无效，由检测器重新初始化跟踪；若判定跟踪有效，记录MeanShift跟踪器的跟踪结果，继续执行步骤9.4）；

步骤9.4），根据待跟踪目标在上一帧中的中心位置用Kalman滤波器预测出待跟踪目标在当前帧中的位置子窗口集合；

以待跟踪目标的中心点为中心划定一个矩形区域，所述矩形区域的高与宽分别为上一帧图像中待跟踪目标的边界框的高与宽预设的倍数；

在位置子窗口集合中筛选出与该矩形区域有交集的位置子窗口后输入至级联分类器，并记录各个通过级联分类器的位置子窗口；

步骤9.5），根据MeanShift跟踪器的跟踪结果和各个通过级联分类器的位置子窗口确认当前帧中是否有待跟踪目标存在，若不存在，返回步骤9.4）对下一帧进行处理；若存在，则计算出待跟踪目标在当前帧中的位置，继续执行步骤9.6）；

步骤9.6），根据待跟踪目标在当前帧中的位置以及待跟踪目标在上一帧中的位置计算相似度，并根据相似度判定跟踪轨迹是否有效；

步骤9.6.1），若判定跟踪轨迹无效，返回步骤9.2）对下一帧进行处理；

步骤9.6.2），若判定跟踪轨迹有效，则返回步骤9.1）对下一帧进行处理，同时输出步骤9.5）中计算出的待跟踪目标在当前帧中的位置。

5.根据权利要求4所述的无人机红外图像目标跟踪系统的跟踪方法，其特征在于，所述步骤10）的具体步骤如下：

根据待跟踪目标在当前帧中的位置计算出待跟踪目标偏离当前帧中心的偏差，根据该偏差计算出云台的横向调整角度和纵向调整角度，并将该横向调整角度和纵向调整角度传送给机载控制模块。

6.根据权利要求4所述的无人机红外图像目标跟踪系统的跟踪方法，其特征在于，所述步骤9.4）中预设的倍数为3。