CN110766723B - 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种基于颜色直方图相似性的无人机目标跟踪方法及系统，提取待跟踪目标的HOG、CNN以及CN特征作为特征子集进行位置滤波器初始化等，通过翻转和以不同的样本标签训练深度特征，增加样本数量；利用训练好的滤波器进行目标搜索得到目标位置和尺度；将当前帧图片及跟踪结果加入样本空间并更新样本空间模型；利用颜色相关性判别模型和主次峰判别模型进行更新判别，在预测的目标和前一帧目标的颜色直方图相关性较高且置信图中主、次峰差距明显时，更新位置滤波器；最后更新尺度滤波器，输出完整的目标位置。本发明能有效应对无人机目标跟踪时出现的目标快速移动、大幅度形变和遮挡等复杂情况。

Description

一种基于颜色直方图相似性的无人机目标跟踪方法及系统

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于颜色直方图相似性的无人机目标跟踪方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

目前无人机具有移动迅速，灵活性高等特点，适合在复杂场景下完成监控，调查以及物资运输等任务，在军事，工业以及民用方面都有广泛用途。利用搭载相机的无人机可以获得地面的图片、视频信息，并从中获得及时准确的信息，以完成后续的针对性任务。空中对地观察过程中，地面或水面的目标通常需要无人机在飞行过程中对其持续关注。通常情况下运动目标与无人机同样处于运动状态，且目标在运动过程中时常发生形变、遮挡，因而对跟踪算法的鲁棒性、准确性以及整体速度都有较高要求。

综上所述，现有技术存在的问题是：

(1)现有的相关滤波类跟踪方法是基于整个目标区域模板进行跟踪与模型更新，导致对于遮挡问题的处理效果差强人意；通过目标区域循环矩阵构造正负样本，导致训练样本有限引发过拟合的风险和虚假的负样本降低对背景杂乱问题的鲁棒性。

(2)现有的深度学习类跟踪方法中，深度模型的获得需要先对大量标注训练数据进行有效学习，且训练过程在空间和时间上的花费都是昂贵的。

(3)目前应用在无人机上的目标跟踪技术较少，且由于无人机上机载电脑的硬件性能限制，实际应用的跟踪方法大多跟踪精度较低，在发生遮挡和目标发生较大形变时容易丢失目标。

解决上述技术问题的难度：

(1)解决训练样本有限引发过的拟合和虚假负样本的问题最直接的方法是扩大训练样本，但常规的样本构造方法构造出虚假样本的概率很高，且会进一步增加计算复杂度，解决该问题的难度在于寻求一种合理的、计算量较小的样本构造方法。

(2)为在硬件条件限制的情况下利用深度学习的优势，可采用提取深度特征的方式，但不同层网络提取的特征包含不同层次的信息，具有不同的特征分辨率，将给算法增加很大的计算量和计算复杂度，解决该问题的难度在于如何在保证深度特征效果的前提下简化计算。

(3)在发生遮挡后，算法会把遮挡物的特征当成目标特征进行提取和学习，导致模型不再准确，解决该问题的难度在于如何让算法识别到目标发生了遮挡进而放弃遮挡情况下的更新学习。

解决上述技术问题的意义：

解决上述问题能进一步提高无人机目标跟踪的准确性和适应性，同时有效保障跟踪实时性，有助于提升无人机作业能力，扩大无人机的实际应用范围，为今后无人机在在军事，工业以及民用等方面的进一步应用打下良好的基础。

发明内容

针对现有技术存在的问题，本发明提供了一种基于颜色直方图相似性的无人机目标跟踪方法及系统。

本发明是这样实现的，一种基于颜色直方图相似性的无人机目标跟踪方法，所述基于颜色直方图相似性的无人机目标跟踪方法包括：

根据第一帧图像中目标的位置坐标，提取待跟踪目标的HOG特征、CNN特征以及CN特征作为特征子集进行位置滤波器初始化，以及提取HOG特征分别进行尺度滤波器初始化；并通过翻转和以不同的样本标签训练深度特征两项操作，增加样本数量；

利用位置滤波器和尺度滤波器在下一帧图像中进行目标搜索，得到该帧图像中目标位置和尺度，利用颜色相关性判别模型和主次峰判别模型进行更新判别，当且仅当在预测的目标和前一帧图像中目标的颜色直方图相似度高且置信图中主、次峰差距明显时，进行位置滤波器的更新。

进一步，所述基于颜色直方图相似性的无人机目标跟踪方法具体包括以下步骤：

步骤一，根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器；

步骤二，读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过下述插值公式进行插值转换到连续的空间域，其中b是内插函数，I_d{x}是插值后的特征层，x表示样本，N_d为第d维特征的分辨率，T是区间大小；

插值公式为：

步骤三，利用稀疏矩阵P从D维特征中选取贡献较大的C维,得到置信函数如下式，使用牛顿法优化置信函数；

S{x}＝Pf*I{x}＝f*P^TI{x}；

步骤四，使用位置滤波器跟踪目标位置，计算目标平移量，更新目标位置；

步骤五，利用尺度滤波器跟踪目标尺度变化，更新目标尺度；

步骤六，更新样本空间模型；

步骤七，判断是否满足模型更新条件，若满足，则更新位置滤波器，否则直接进入步骤八；

步骤八，更新尺度滤波器，输出完整的目标位置。

进一步，步骤一中，所述位置滤波器和尺度滤波器训练方法具体包括：

(1)初始化尺度滤波器；

(2)提取样本；

(3)初始化位置滤波器；

(4)利用高斯-牛顿法优化滤波器和投影矩阵。

进一步，步骤一中，所述根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器还包括：

采用翻转图片，增加整体的样本数量，即对图片进行上下翻转操作和左右翻转操作后加入训练样本集中；

对深度特征和浅层特征采用不同的高斯标签函数，其中深度特征包括VGG-Net网络第5层提取的CNN特征，浅层特征包括HOG特征、CN特征以及VGG-Net网络第1层提取的CNN特征，深度特征高斯标签函数的标准差为0.25，浅层特征高斯标签函数的标准差为0.125。

进一步，步骤五中，所述利用尺度滤波器跟踪目标尺度变化更新目标尺度具体包括：

所述尺度滤波器更新为双滤波器更新；

具体更新步骤如下：

1)读入上一帧的预测目标尺度；

2)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的宽不变，上一帧的高乘以17个不同的缩放因子作为新的高，截取17个不同尺度的图像块；

3)针对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的高度作为当帧目标的预测高度；

4)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的高不变，上一帧的宽乘以17个不同的缩放因子作为新的宽，截取17个不同尺度的图像块；

5)对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的宽作为当帧目标的预测宽度；

6)更新当前帧的宽、高尺度。

进一步，步骤七中，所述模型更新两个必要条件具体包括：

第一，响应图中主、次峰差值大于预设阈值δ_k，其中，r_i-r′_i是第i帧图片的响应图中主、次峰的差值，k是当前帧，δ_k是当前帧判别更新的阈值；

第二，当前帧所估计的目标与前一帧的目标之间的颜色直方图相似度大于预设阈值0.78，计算颜色直方图相似度时，对彩色图像分为RGB三个通道分别计算相似度，每个通道都以8等分来进行像素划分；对灰度图像则只进行灰度值的直方图相似度计算，采用巴氏距离进行直方图相似性的度量，计算公式如下，其中，p(x)为当帧目标的直方图分布，q(x)为前一帧目标的直方图分布。

本发明另一目的在于提供一种实现所述基于颜色直方图相似性的无人机目标跟踪方法的信息数据处理终端。

本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于颜色直方图相似性的无人机目标跟踪方法。

本发明另一目的在于提供一种基于颜色直方图相似性的无人机目标跟踪系统包括：

滤波器训练模块，用于根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器；

空间域转换模块，用于读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过插值公式进行插值转换到连续的空间域；

置信函数获取模块，用于利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数；

目标位置更新模块，用于使用位置滤波器跟踪目标位置，计算目标平移量，更新目标位置；

目标尺度更新模块，用于利用尺度滤波器跟踪目标尺度变化，更新目标尺度；

空间模型更新模块，用于更新样本空间模型；

更新条件判定模块，用于判断是否满足模型更新条件，若满足，则更新位置滤波器；

目标位置输出模块，用于更新尺度滤波器，输出完整的目标位置。

本发明另一目的在于提供一种实施所述基于颜色直方图相似性的无人机目标跟踪方法的无人机。

综上所述，本发明的优点及积极效果为：

本发明能在目标被严重遮挡或存在连续干扰时准确跟踪目标，有效应对目标快速移动、大幅度形变和遮挡等复杂情况。

本发明采用翻转图片扩大样本数量，通过对深度特征和浅层特征设置不同的标准差进一步加大深度特征的正样本数量，从而提高跟踪的准确性，提高目标跟踪的鲁棒性。通过对样本集进行分组管理操作，减少由于连续帧训练样本的高度相似而引起过拟合，提高算法鲁棒性。采用双滤波器进行尺度估计，增强在目标发生快速地、大幅度的形变时算法的适应性，能有效应对目标的快速、大幅度形变，使跟踪更加准确。采用基于主、次峰差值和颜色直方图相似性的更新判别策略，降低滤波器更新频率，在保证跟踪精度和鲁棒性的同时减少运算量，提高算法实时性。

本发明在保证跟踪速度的前提下，将深度特征融入传统相关滤波方法当中，充分发挥深度特征包含高层语义，对旋转和变形等外观变化具有不变性，鲁棒性强的优点。

为了更好地说明本发明方法的有效性和准确性，使用该方法在VOT2016测试集上进行验证，并与其他性能较为突出的算法进行效果对比，具体数据如表1。其中，EAO是平均重叠率，EFO是速度指标，Acc是精度指标，Fail.rt是鲁棒性指标。在VOT2016上，该跟踪方法的平均重叠率达到0.381，精度指标达到0.56，鲁棒指标达到0.69，均优于目前最优秀的相关滤波类跟踪算法ECO。从表1中可以看出，该方法在平均重叠率，精度，以及鲁棒性上都比当前其他方法更优秀。

表1与其他跟踪方法性能对比

使用该方法在OTB2015数据集进行测试，硬件配置为Intel Core i5-8300H CPU时，得到成功率和精度曲线图5a和图5b所示。由图可知，当重叠率取0.6时，成功率达到80％，重叠率取0.7时，成功率达到67％，定位误差阈值取10时，精度达到0.78，定位误差阈值取15时，精度达到0.86。在该硬件配置下测试，跟踪帧率达到18.6，基本达到实时，满足无人机目标跟踪的实际要求，应用在无人机上是有效且可行的。

附图说明

图1是本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法流程图。

图2是本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法原理图。

图3是本发明实施例提供的使用稀疏矩阵提取特征示意图。

图4是本发明实施例提供的双尺度滤波器应用前后效果对比图。

图中：A1-A4、表示采用普通尺度滤波方法；B1-B4、采用双尺度滤波方法.

图5是本发明实施例提供的在OTB2015上的成功率和精度曲线图。

图中：a、该方法在OTB2015数据集上的成功率曲线图；b、该方法在OTB2015数据集上的精度曲线图。

图6是本发明实施例提供的Basketball序列跟踪结果对比图。

图中：a表示Staple方法；b表示ECO方法；c表示本发明采用的方法。

图7是本发明实施例提供的Girl2序列跟踪结果对比图。

图中：a表示Staple方法；b表示ECO方法；c表示本发明采用的方法。

图8是本发明实施例提供的Diving序列跟踪结果对比图。

图中：a表示Staple方法；b表示ECO方法；c表示本发明采用的方法。

图9是本发明实施例提供的无人机利用该方法进行目标抓取示意图。

图10是本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪系统示意图。

图中：1、滤波器训练模块；2、空间域转换模块；3、置信函数获取模块；4、目标位置更新模块；5、目标尺度更新模块；6、空间模型更新模块；7、更新条件判定模块；8、目标位置输出模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有的相关滤波类跟踪方法是基于整个目标区域模板进行跟踪与模型更新，导致对于遮挡问题的处理效果差强人意；通过目标区域循环矩阵构造正负样本，导致训练样本有限引发过拟合的风险和虚假的负样本降低对背景杂乱问题的鲁棒性。现有的深度学习类跟踪方法中，深度模型的获得需要先对大量标注训练数据进行有效学习，且训练过程在空间和时间上的花费都是昂贵的。目前应用在无人机上的目标跟踪技术较少，且由于无人机上机载电脑的硬件性能限制，实际应用的跟踪方法大多跟踪精度较低，容易丢失目标。实际应用时无人机进行目标跟踪一般存在需要光照变化，背景干扰，目标被遮挡等情况，这意味着我们需要做到更准确的目标检测与鲁棒性强的目标跟踪。

下面结合附图对本发明的技术方案与技术效果做详细说明。

本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法具体包括：

根据第一帧图像中目标的位置坐标，提取待跟踪目标的HOG特征、CNN特征以及CN特征作为特征子集进行位置滤波器初始化，提取HOG特征分别进行宽、高尺度滤波器初始化；通过翻转和以不同的样本标签训练深度特征两项操作，增加样本集数量。

从第二帧开始，利用训练好的滤波器进行目标搜索，得到初步预测的目标位置和尺度，利用颜色相关性判别模型和主次峰判别模型进行更新判别，当且仅当在预测的目标和前一帧目标的相关性较高且置信图中主、次峰差距明显时，模型进行更新。

如图1所示，本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法具体包括以下步骤：

S101，根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器.

S102，读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过下述插值公式进行插值转换到连续的空间域，其中b是内插函数，I_d{x}是插值后的特征层，x表示样本，N_d为第d维特征的分辨率，T是区间大小；

插值公式为：

S103，利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数如下式，使用牛顿法优化置信函数；

S{x}＝Pf*I{x}＝f*P^TI{x}。

S104，使用位置滤波器跟踪目标位置，计算目标平移量，进而更新目标位置。

S105，利用尺度滤波器跟踪目标尺度变化，更新目标尺度。

S106，更新样本空间模型。

S107，判断是否满足模型更新条件，若满足，则更新位置滤波器，否则直接进入步骤S108。

S108，更新尺度滤波器，输出完整的目标位置。进入步骤S102。

图2是本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法原理。

步骤S101中，本发明实施例提供的位置滤波器和尺度滤波器训练方法具体包括：

(1)初始化尺度滤波器。

(2)提取样本。

(3)初始化位置滤波器。

(4)利用高斯-牛顿法优化滤波器和投影矩阵。

步骤S101中，本发明实施例提供的根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器还包括：

采用翻转图片，增加整体的样本数量，即对图片进行上下翻转操作和左右翻转操作后加入训练样本集中。

对深度特征和浅层特征采用不同的高斯标签函数，其中深度特征包括VGG-Net网络第5层提取的CNN特征，浅层特征包括HOG特征、CN特征以及VGG-Net网络第1层提取的CNN特征，深度特征高斯标签函数的标准差为0.25，浅层特征高斯标签函数的标准差为0.125。

步骤S105中，本发明实施例提供的利用尺度滤波器跟踪目标尺度变化更新目标尺度具体包括：

所述尺度滤波器更新为双滤波器更新。

具体更新步骤如下：

1)读入上一帧的预测目标尺度。

2)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的宽不变，上一帧的高乘以17个不同的缩放因子作为新的高，截取17个不同尺度的图像块。

3)针对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的高度作为当帧目标的预测高度。

4)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的高不变，上一帧的宽乘以17个不同的缩放因子作为新的宽，截取17个不同尺度的图片块。

5)针对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的宽作为当帧目标的预测宽度。

6)更新当前帧的宽、高尺度。

步骤S107中，本发明实施例提供的模型更新两个必要条件具体包括：

第一，响应图中主、次峰差值大于预设阈值δ_k，其中，r_i-r′_i是第i帧图片的响应图中主、次峰的差值，k是当前帧，δ_k是当前帧判别更新的阈值；

第二，当前帧所估计的目标与前一帧的目标之间的颜色直方图相似度大于预设阈值0.78，计算颜色直方图相似度时，对彩色图像分为RGB三个通道分别计算相似度，每个通道都以8等分来进行像素划分；对灰度图像则只进行灰度值的直方图相似度计算，采用巴氏距离进行直方图相似性的度量，计算公式如下，其中，p(x)为当帧目标的直方图分布，q(x)为前一帧目标的直方图分布。

下面结合具体实施例对本发明的技术方案与技术效果做进一步说明。

实施例1：

本发明实施例提供的基于颜色直方图相似性的无人机目标跟踪方法，包括以下几个步骤：

(1)训练位置滤波器和尺度滤波器。基于颜色直方图相似性的无人机目标跟踪方法根据第一帧图片及标记的跟踪目标训练相关滤波器。训练的具体步骤如下：

a.初始化尺度滤波器。尺度滤波器以HOG特征进行目标尺度跟踪，尺度数量为17，尺度步长为1.02，尺度模型高斯标签函数标准差取0.0625。

b.提取样本。将目标及周围部分背景作为搜索区域，得到一个大小为I×J的图像块x。采用翻转图片以增加整体的样本数量，即对图片进行上下翻转操作和左右翻转操作后加入训练样本集中。通过上下移动不同的像素得到循环图像样本x_i,j，其中(i,j)∈{0,1…J-1}。循环图像样本与其对应的高斯函数标签共同构成训练样本集合。其中，对深度特征(VGG-Net网络第5层提取的CNN特征)和浅层特征(HOG特征、CN特征以及VGG-Net网络第1层提取的CNN特征)采用不同的高斯标签函数，前者高斯标签函数的标准差设为0.25，后者高斯标签函数的标准差设置0.125，以此增加深度特征的正样本数量，提高目标跟踪的鲁棒性。

c.初始化位置滤波器。位置滤波器以HOG特征、CNN特征和CN特征进行目标位置跟踪，其中CNN特征采用VGG-Net网络提取的第1层和第5层。

d.利用高斯-牛顿法优化滤波器和投影矩阵。算法迭代步长λ取1.01。

(2)读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过插值转换到连续的空间域，插值公式如(1)，其中b是内插函数，I_d{x}是插值后的特征层，x表示样本，N_d为第d维特征的分辨率，T是区间大小；

插值公式为：

(3)如图3所示，利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数如下式，使用牛顿法优化置信函数；迭代次数为5。

S{x}＝Pf*I{x}＝f*P^TI{x} (2)

(4)使用位置滤波器跟踪目标位置，计算目标平移量，进而更新目标位置。

(5)利用双尺度滤波器跟踪目标尺度变化，更新目标尺度，具体步骤如下：

a.读入上一帧的预测目标尺度。

b.以位置滤波器预测的目标位置为中心，保持上一帧预测目标的宽不变，上一帧的高乘以17个不同的缩放因子作为新的高，以此截取17个不同尺度的图像块。

c.针对每个图像块求其HOG特征描述，找出输出响应最大的图像块，其高度作为当帧目标的预测高度。

d.以位置滤波器预测的目标位置为中心，保持上一帧预测目标的高不变，上一帧的宽乘以17个不同的缩放因子作为新的宽，以此截取17个不同尺度的图像块。

e.针对每个图像块求其HOG特征描述，找出输出响应最大的图像块，其宽作为当帧目标的预测宽度。

f.更新当前帧的宽、高尺度。

(6)更新样本空间模型，具体方法如下：

对样本集进行分组管理操作，采用了如式(3)所示的高斯混合模型来对样本集生成不同的组，每一个组对应一组比较相似的样本，且不同的组之间有较大的差异性，以此保证训练集的多样性。样本空间模型更新的具体操作：每次新来一个样本x_i则初始化一个组m，令组m的权重w_m＝γ，γ取0.015，组m的平均值μ_m＝x_i，如果组的数量超过限制样本数的L，L取60，则丢弃权重最小的一个组，否则根据式(4)和式(5)合并两个最近的两个组k和l：

w_n＝w_k+w_l (4)

(7)判断是否满足模型更新条件。若满足，则更新位置滤波器，否则直接进入步骤8。模型更新的两个必要条件为：

a.响应图中主、次峰差值大于预设阈值δ_k，

r_i-r′_i是第i帧图片的响应图中主、次峰的差值，k是当前帧，δ_k是当前帧判别更新的阈值；

b.当前帧所估计的目标与前一帧的目标之间的颜色直方图相似度大于预设阈值0.78。计算颜色直方图相似度时，对彩色图像分为RGB三个通道分别计算相似度，每个通道都以8等分来进行像素划分；对灰度图像则只进行灰度值的直方图相似度计算。采用巴氏距离进行直方图相似性的度量，计算公式如下，其中，p(x)为当帧目标的直方图分布，q(x)为前一帧目标的直方图分布。

(8)更新尺度滤波器，尺度学习率为0.025输出完整的目标位置。

下面结合具体实验效果对本发明作进一步描述。

本发明为验证所提出的双尺度滤波方法的优秀性能，分别采用普通尺度滤波方法和双尺度滤波方法跟踪OTB2015数据集中的Diving视频序列，并选取如图4所示的部分有代表性的帧进行对比。由图4不难看出在目标发生较大形变时，双尺度滤波方法能很好地适应并及时调整到合适的尺度，而普通滤波方法由于宽高比例固定导致跟踪效果差，只能跟踪到目标的小部分区域。图中：A1-A4表示采用普通尺度滤波方法；B1-B4表示采用双尺度滤波方法。

为了验证本发明方法的有效性，在OTB2015数据集上进行测试，结果如图5所示，重叠阈值取0.6时，成功率达到0.80，重叠阈值取0.7时，成功率达到0.67。定位误差阈值取30个像素时，精度达到0.905，定位误差阈值取10个像素时，精度达到0.78，可以看出本发明方法在成功率和准确性方面效果良好。作为对照，分别对OTB2015数据集中的Basketball，Girl2，Diving三个视频序列采用ECO方法、Staple方法和本发明方法进行目标跟踪，结果如图6中6a表示Staple方法；6b表示ECO方法；6c表示本发明采用的方法，图7中7a表示Staple方法；7b表示ECO方法；7c表示本发明采用的方法。图8中8a表示Staple方法；8b表示ECO方法；8c表示本发明采用的方法所示，对比分析可知本发明方法在目标快速移动、大形变，遮挡等复杂情况下具有良好的鲁棒性和适应性，跟踪准确度高，相对其他算法具有更好的跟踪效果。图9为在无人机上使用该方法对待抓取目标进行跟踪实验，无人机将从图像获得的目标位置转换为三维空间坐标，从而控制无人机实时跟踪目标，效果良好。

下面结合基于颜色直方图相似性的无人机目标跟踪系统对本发明作进一步描述。

如图10所示，本发明提供一种基于颜色直方图相似性的无人机目标跟踪系统包括：

滤波器训练模块1，用于根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器。

空间域转换模块2，用于读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过插值公式进行插值转换到连续的空间域。

置信函数获取模块3，用于利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数。

目标位置更新模块4，用于使用位置滤波器跟踪目标位置，计算目标平移量，更新目标位置。

目标尺度更新模块5，用于利用尺度滤波器跟踪目标尺度变化，更新目标尺度。

空间模型更新模块6，用于更新样本空间模型。

更新条件判定模块7，用于判断是否满足模型更新条件，若满足，则更新位置滤波器。

目标位置输出模块8，用于更新尺度滤波器，输出完整的目标位置。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于颜色直方图相似性的无人机目标跟踪方法，其特征在于，所述基于颜色直方图相似性的无人机目标跟踪方法包括：

根据第一帧图像中目标的位置坐标，提取待跟踪目标的HOG特征、CNN特征以及CN特征作为特征子集进行位置滤波器初始化，利用提取的HOG特征进行尺度滤波器初始化；并通过翻转和以不同的样本标签训练深度特征两项操作，增加样本数量；

利用位置滤波器和尺度滤波器在下一帧图像中进行目标搜索，得到该帧图像中目标位置和尺度，利用颜色相关性判别模型和主次峰判别模型进行更新判别，当且仅当预测的目标和前一帧图像中目标的颜色直方图相似度高且置信图中主、次峰差距明显时，进行位置滤波器的更新，最后更新尺度滤波器，输出完整的目标位置；

所述基于颜色直方图相似性的无人机目标跟踪方法具体包括以下步骤：

步骤一，根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器；

步骤二，读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过下述插值公式进行插值转换到连续的空间域，其中b是内插函数，I_d{x}是插值后的特征层，x表示样本，N_d为第d维特征的分辨率，T是区间大小；

插值公式为：

步骤三，利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数如下式，使用牛顿法优化置信函数；

S{x}＝Pf*I{x}＝f*P^TI{x}；

步骤四，使用位置滤波器跟踪目标位置，计算目标平移量，更新目标位置；

步骤五，利用尺度滤波器跟踪目标尺度变化，计算目标尺度；

步骤六，更新样本空间模型；

步骤七，判断是否满足模型更新条件，若满足，则更新位置滤波器，否则直接进入步骤八；

步骤八，更新尺度滤波器，输出完整的目标位置；

步骤七中，所述模型更新两个必要条件具体包括：

第一，响应图中主、次峰差值大于预设阈值δ_k，其中，r_i-r_i′是第i帧图片的响应图中主、次峰的差值，k是当前帧，δ_k是当前帧判别更新的阈值；

第二，当前帧所估计的目标与前一帧的目标之间的颜色直方图相似度大于预设阈值0.78，计算颜色直方图相似度时，对彩色图像分为RGB三个通道分别计算相似度，每个通道都以8等分进行像素划分；对灰度图像则只进行灰度值的直方图相似度计算，采用巴氏距离进行直方图相似性的度量，计算公式如下，其中，p(x)为当帧目标的直方图分布，q(x)为前一帧目标的直方图分布；

2.如权利要求1所述基于颜色直方图相似性的无人机目标跟踪方法，其特征在于，步骤一中，所述位置滤波器和尺度滤波器训练方法具体包括：

(1)初始化尺度滤波器；

(2)提取样本；

(3)初始化位置滤波器；

(4)利用高斯-牛顿法优化滤波器和投影矩阵。

3.如权利要求1所述基于颜色直方图相似性的无人机目标跟踪方法，其特征在于，步骤一中，所述根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器还包括：

采用翻转图片，增加整体的样本数量，即对图片进行上下翻转操作和左右翻转操作后加入训练样本集中；

对深度特征和浅层特征采用不同的高斯标签函数，其中深度特征包括VGG-Net网络第5层提取的CNN特征，浅层特征包括HOG特征、CN特征以及VGG-Net网络第1层提取的CNN特征，深度特征高斯标签函数的标准差为0.25，浅层特征高斯标签函数的标准差为0.125。

4.如权利要求1所述基于颜色直方图相似性的无人机目标跟踪方法，其特征在于，步骤五中，所述利用尺度滤波器跟踪目标尺度变化并计算目标尺度具体包括：

1)读入上一帧的预测目标尺度；

2)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的宽不变，上一帧的高乘以17个不同的缩放因子作为新的高，截取17个不同尺度的图像块；

3)对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的高度作为当帧目标的预测高度；

4)以位置滤波器预测的目标位置为中心，保持上一帧预测目标的高不变，上一帧的宽乘以17个不同的缩放因子作为新的宽，截取17个不同尺度的图像块；

5)对每个图像块求取图像块的HOG特征描述，以输出响应最大的图像块的宽作为当帧目标的预测宽度；

6)更新当前帧的宽、高尺度。

5.一种实现权利要求1～4任意一项所述基于颜色直方图相似性的无人机目标跟踪方法的信息数据处理终端。

6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的基于颜色直方图相似性的无人机目标跟踪方法。

7.一种实现权利要求1～4任意一项所述无人机目标跟踪方法的基于颜色直方图相似性的无人机目标跟踪系统，其特征在于，所述基于颜色直方图相似性的无人机目标跟踪系统包括：

滤波器训练模块，用于根据第一帧图片及标记的跟踪目标训练位置滤波器和尺度滤波器；

空间域转换模块，用于读入下一帧图片，在搜索区采样不同图像块并提取对应特征图，将特征图通过插值公式进行插值转换到连续的空间域；

置信函数获取模块，用于利用稀疏矩阵P从D维特征中选取贡献较大的C维，得到置信函数；

目标位置更新模块，用于使用位置滤波器跟踪目标位置，计算目标平移量，更新目标位置；

目标尺度更新模块，用于利用尺度滤波器跟踪目标尺度变化，更新目标尺度；

空间模型更新模块，用于更新样本空间模型；

更新条件判定模块，用于判断是否满足模型更新条件，若满足，则更新位置滤波器；

目标位置输出模块，用于更新尺度滤波器，输出完整的目标位置。

8.一种实施权利要求1所述基于颜色直方图相似性的无人机目标跟踪方法的无人机。

Images