CN111160365A - 基于检测器和跟踪器相结合的无人机目标跟踪方法 - Google Patents

Abstract

本发明公开了基于检测器和跟踪器相结合的无人机目标跟踪方法，图像检测器依据已知条件和一些特定特征在图像中全局搜索目标具体位置。图像跟踪器是在已知目标位置的前提下，实现在后来连续图像中寻找目标位置。当检测到目标后，对目标运动状态进行估计，预测下一帧图像中目标的位置。即使出现在短时间目标被遮挡或者目标发生形变的条件下，也能通过对目标状态进行估计达到不丢失目标位置的要求。本发明结合图像检测和跟踪各自的优点，即在图像检测器检测到目标位置后，把目标位置提供给跟踪器，跟踪器在得到位置的定时更新后连续、快速的追踪目标，最后把位置信息反馈给无人机系统。

Description

基于检测器和跟踪器相结合的无人机目标跟踪方法

技术领域

本发明涉及基于检测器和跟踪器相结合的无人机目标跟踪方法，属于多旋翼无人机目标跟踪技术领域。

背景技术

视觉跟踪技术主要是通过从相机中获取视觉信息，利用计算机视各类特征信息将目标从图像中提取出来，获知目标的位置，是目标跟踪的基础。目标检测的准确性决定了目标跟踪的精度。而目标跟踪则是在目标检测的基础上，持续快速地跟踪目标。目标跟踪通常是首先觉相关技术对预观测目标进行实时检测目标、提取目标、跟踪目标，并且从图像中获取目标形状颜色、目标位置、目标速度、目标位姿等信息，以此可进行目标相关数据分析，继而达到目标跟踪目的。基于无人机的目标跟踪算法是源于计算机视觉技术发展起来的，在目标跟踪算法中主要分目标检测和目标跟踪两个部分，目标检测通常是根据指定初始跟踪目标，然后在图像中连续持久对目标进行实时跟踪。

而在无人机跟踪目标的背景下，稳定的目标检测和目标跟踪机载视觉模块对无人机目标跟踪的性能就显得尤为重要，一个好的图像检测跟踪模块可以快速、准确、实时的向无人机系统反馈目标位置信息，以便无人机系统做出更好的姿态控制响应，达到预期想要的跟踪效果。

发明内容

本发明所要解决的技术问题是：提供基于检测器和跟踪器相结合的无人机目标跟踪方法，构造基于检测器和跟踪器相结合的目标跟踪，能够有效地为无人机提供快速、准确、实时的目标位置信息，达到更好的跟踪效果。

本发明为解决上述技术问题采用以下技术方案：

基于检测器和跟踪器相结合的无人机目标跟踪方法，包括如下步骤：

步骤1，获取正、负样本图像，其中，正样本图像为待检测目标处于不同姿态下所拍摄的图像，负样本图像为在待检测目标所在场地拍摄的不包含待检测目标的图像，利用HOG算法对正样本图像和负样本图像进行特征提取，得到各样本图像对应的HOG特征向量；

步骤2，对正样本图像和负样本图像分别做标签，然后将其标签和HOG特征向量送入SVM分类器中进行训练，得到检测器；

步骤3，对于无人机获取的当前帧图像进行缩放和放大后送入检测器进行检测，得到目标窗口，将目标窗口的中心位置与图像中心点的偏差反馈至无人机，从而获得目标与无人机的相对位置；

步骤4，利用步骤3检测得到的目标窗口初始化跟踪器目标窗口的位置，并利用KCF核相关滤波器对跟踪器进行训练，使用当前训练的跟踪器跟踪当前帧图像的目标，当跟踪到目标时，更新跟踪器模型去跟踪下一帧图像的目标。

作为本发明的一种优选方案，步骤1所述利用HOG算法对正样本图像和负样本图像进行特征提取，得到各样本图像对应的HOG特征向量，具体过程如下：

1)对正样本图像进行灰度化处理，将正样本图像转换为灰度图；

2)利用Gamma方法对灰度图进行色彩空间标准化；

3)对经过2)后的图像，统计图像上每个像素点的梯度大小和方向；

4)将图像划分为若干个大小相同的图像块，每个图像块划分为若干个大小相同的细胞单元，对每个细胞单元计算各个方向的梯度向量并做归一化处理，将图像块中细胞单元的梯度向量依次串联起来，组成图像块的特征向量，将所有图像块的特征向量依次串联起来，组成整个图像的HOG特征向量；

以上为正样本图像的特征提取过程，负样本图像的特征提取过程与正样本图像的特征提取过程相同。

作为本发明的一种优选方案，步骤3所述对于无人机实时获取的图像进行缩放和放大后送入检测器进行检测，得到目标窗口的位置，在检测过程中，通过非最大极值抑制法消除重叠的目标。

作为本发明的一种优选方案，步骤4所述对跟踪器进行训练，以当前帧图像检测到的目标窗口作为正训练样本，以当前帧图像上的非目标窗口作为负训练样本。

作为本发明的一种优选方案，步骤4所述更新跟踪器模型，表达式为：

其中，

分别表示当前帧图像和上一帧图像中目标窗口内的离散傅里叶变换，

分别表示当前帧图像和上一帧图像中跟踪器模型的训练参数，η为更新因子参数，η的取值为：当目标被遮挡时，η＝1；当目标未被遮挡时，η＝0.075。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明结合检测器和跟踪器各自的优点，当目标位置已知的前提下，目标跟踪通常在目标信号缺失、信号干扰的条件下，依旧可以给出比较正确合理的目标位置。

2、本发明采用目标检测器和跟踪器相结合而达到无人机对目标的跟踪。在目标完全丢失的情况下，通过检测器可以对跟踪器进行初始化，在正常跟踪的情况下，通过跟踪器对目标位置进行高频的输出。算法简单，易实现，可以保证在工程上的处理速度快，系统响应快，使无人机的目标跟踪的实时性更加可靠、路径更加平滑。

3、本发明是在无人机机载视觉的背景下，为无人机提供准确、高频的目标位置信息，使无人机更平滑、稳定地跟踪上目标。工程上的应用更合理、更广泛。解决了现有无人机跟踪技术在跟踪目标中不稳定的问题。

附图说明

图1是本发明基于检测器和跟踪器相结合的无人机目标跟踪方法的流程图。

图2是HOG特征向量提取流程图。

图3是目标检测器模型训练流程图。

图4是实施例部分正样本集示意图。

图5是目标检测器实验结果。

图6是目标跟踪器实验结果a。

图7是目标跟踪器实验结果b。

图8是目标检测器和跟踪器结合的实验结果。

图9是目标跟踪系统机载跟踪情况。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明基于检测器和跟踪器相结合的无人机目标跟踪流程图，具备步骤如下：

(1)无人机跟踪目标的特征提取；

首先通过HOG算法进行对跟踪目标的特征提取，将待提取特征的窗口输入图像进行灰度化处理，待提取的窗口图像转换为灰度图。使用Gamma法来对待提取特征的窗口图像进行色彩空间标准化，标准化后起到抑制噪音的作用，尽量消除光照、颜色和图像局部上的阴影的影响。继而统计输入图像中每个像素在正交轴上的梯度，通过梯度信息去描述输入图像特征。HOG特征提取步骤后，针对无人机跟踪的特定环境实现良好的跟踪性能的情况，准备大量的正负样本对SVM进行训练，得到满足任务需求准确提取目标特征的分类器。

如图2所示，特征描述符提取的具体实现如下：

1、首先将待提取特征的窗口输入图像进行灰度化处理，待提取的窗口图像转换为灰度图。

2、为了调整输入图像对比度来尽量消除光照、颜色和图像局部上的阴影的影响，所以可以使用Gamma方法来对待提取特征的窗口图像进行色彩空间标准化，标准化后它也可以起到抑制噪音的作用。Gamma公式为：

I(x,y)＝I(x,y)^gamma

其中，I(x,y)表示在(x,y)像素位置的灰度值，gamma为像素灰度值的幂次方值。

3、统计输入图像中每个像素在正交轴上的梯度，通过梯度信息去描述输入图像特征的优点主要有两点：a)梯度信息可以获得图像中的各种边缘信息；b)梯度信息可以削弱光照变化对图像处理中的影响。而图像在像素点(x,y)处的梯度计算公式如下：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

其中，G_x(x,y)、G_y(x,y)分别表示输入图像在像素点(x,y)处的x轴方向的梯度、y轴方向的梯度。在像素点(x,y)处的梯度大小和方向可分别表示为：

4、把图像划分成以细胞(由若干像素组成)为基础单元的模块，而梯度直方图就是以细胞为单位进行统计与计算，对每个细胞单元计算各个方向的梯度。在划分细胞单元的基础上，再定义图像块单元的概念。因为图像中存在有光照变化，这会导致图像中的梯度信息受到影响。为减轻光照变化对局部图像的影响，对其光照及边缘信息进行压缩，采取对图像中各个细胞单元内的梯度向量做归一化处理。图像块是由几个细胞单元组成，其中含有参数：图像块的细胞单元个数、细胞单元中像素个数、细胞单元中直方图通道。将图像块中细胞单元的特征向量串联起来，从而组成图像块的特征描述符。

5、而整个输入图像的描述符是由多个图像块组成的，将输入图像中所有的图像块的特征描述符依次串联组合成整个输入图像的特征向量。比如，输入图像像素为128*64，图像块的像素为16*16，图像块的步进为8*8，细胞单元的像素8*8，细胞单元中有9个方向区域。所以可得一个图像块含有4*9＝36维特征向量。而输入图像中会有((128-16)/8+1)*(64-16)/8+1)＝15*7＝105次滑动窗口的检测。即整个输入图像的HOG特征为105*36＝3780维。

(2)构造无人机目标跟踪方法中的检测器；

检测器通过SVM+HOG特征检测目标，首先通过滑动窗口扫描输入图像，继而对窗口内的图像块进行分类。但是这样的工作方式会导致每次检测都要进行全局的窗口滑动检测，导致了检测效率低下。为了优化检测器，选择在检测器中加入了预测窗口。这样的做法主要是在全局滑动窗口检测确定了检测目标的位置后，再通过已知的状态变量预估跟踪目标位置，在跟踪目标可能要出现的位置附近进行图像局部情况下的滑动窗口检测。这样就优化了算法在全局滑动窗口检测的复杂度，减轻了算法的计算量。

在无人机目标跟踪系统中，检测目标物体的主要流程如下：

1、首先要准备充足的正负样本，其中正样本需要收集待检测目标的各种姿态下所拍摄的图像。而负样本则是在相关场地拍摄的其他场景，并不包含目标物，可以把干扰较强的相似物也拍摄下来作为负样本。

2、提取正负样本中对应的HOG特征向量，然后将其标签和特征向量送入SVM中训练，得到检测器参数保存下来，如图3所示。

3、通过已经训练好的SVM窗口在整个图像中滑动，当经过一个位置时都会计算即时窗口的HOG特征向量，然后送入SVM中检测是否是目标物。

4、调整滑动窗口尺寸大小，滑动窗口的大小是不变的，目标在图像中的大小是未知的，所以在检测时，将图像经过缩放和放大后再送入SVM模型中检测，最后再同比例放大和缩小为原来的图像尺度。

5、消除重复的检测目标，因为SVM分类器是通过滑动窗口逐步滑动检测目标的，所以在滑动步长较小的时候，可能会在目标附近重复检测到目标，这样就会导致在一张图像上同一个物体上检测到的框可能会有多个，所以通过非最大极值抑制NMS(Non-MaximumSuppression)来消除重叠的多余目标。

6、将检测到目标窗口的中心位置与图像中心点的偏差反馈给系统，在已知无人机高度的情况下，即可获得目标与无人机大致的位置。

(3)构造无人机目标跟踪方法中的跟踪器；

目标跟踪器是利用KCF核相关滤波器训练的判别式分类器。它的跟踪模型通常是在跟踪过程中形成的，通过初始化目标框去训练跟踪器模型，使用此时训练的跟踪器模型去检测预测位置附近的目标，当跟踪到新一帧的目标时跟踪器会更新模型去检测下一帧的目标，以此循环不停的更新跟踪器模型，在训练跟踪器模型时通常以当前帧检测到目标的窗口为正训练样本，目标附近区域的非目标窗口为负训练样本去训练跟踪器。当在预测位置附近检测目标时，KCF算法利用循环矩阵偏移去实现跟踪器窗口的位移，从而避免了沉余的矩阵计算，提高了目标跟踪器的检测效率。

KCF跟踪算法是在岭回归分类器的基础上引入核函数f(z)＝w^Tz，该分类器通过最小正则化风险泛函进行训练。其最优解为：

式中：λ被设置为用来正则化的参数，主要是利用它防止过拟合的情况出现。x_i是被提供的训练样本，y_i为整个跟踪器的期望输出。而

则表示是将被提供的训练样本x_i映射到高维特征空间的函数。

由此可得w最优解为：

α＝(K+λI)^-1y

其中样本训练参数α_i组成α，向量α＝[a₁,a₂,…,a_n]，I表示单位矩阵，向量y的元素为y_i，K为核矩阵。它由元素K_ij＝κ(x_i,y_j)组成，且为酉不变核函数。利用循环矩阵的性质进行DFT变换后得：

其中

为核矩阵K的第一行矩阵元素。对于新输入的图像块z，分类器的回归函数为：

利用循环矩阵对图像块z进行循环偏移，并使偏移后的图像块为待检测的图像块，设K^z为训练样本和所有待检测图像块的核矩阵，利用酉不变核函数定理，可知K^z为循环矩阵。

K^z＝C(k^xz)

其中k^xz表示是x和z之间的核相关运算。利用上式可获得所有待检测图像块的响应为：

f(z)＝(K^z)^Tα

由于K^z为循环矩阵，利用循环矩阵的性质进行离散傅里叶变换得：

其中

符号代表点乘，进行傅里叶逆变换后可得到所有待检测图像块的相关响应系数，所以在当前帧中预测目标所在最佳位置即为待检测图像块响应系数最大的图像块所在位置。

跟踪器模型的更新：在跟踪器在预测窗口中快速的检测过程，可能会出现目标被其他障碍物遮挡的情况，或者目标物姿态变化、图像视角发生旋转导致图像中目标物形状也在变化，而参数α和目标图像窗口区域里的离散傅里叶变换更新，都是提高跟踪器跟踪效果的重要因素，跟踪器的模型更新主要如下：

其中，

分别表示图像当前帧和上一帧中目标窗口内的离散傅里叶变换，

分别表示图像当前帧和上一帧中跟踪器模型的训练参数，η为更新因子参数，当目标被遮挡时或者目标物体姿态变化、图像视角发生旋转导致图像中目标物形状也在变化时，需要更新跟踪器的训练参数，其中更新因子η在目标被遮挡和非遮挡时取值是不同的，具体取值如下：

以上即为跟踪器在目标被遮挡与非遮挡下的两种情况下的模型参数。基于KCF算法可以提供一个稳定的目标跟踪器。即在给定初始窗口后，KCF跟踪器会稳定快速地在图像局部跟踪检测到目标。它最大优势是速度快，所以很适合在无人机跟踪目标的背景。

(4)构造基于检测器和跟踪器相结合的目标跟踪。

基于HOG+SVM的目标检测器经过了大量的正负训练样本训练模型，在样本足够充足的情况下，可以达到被检测目标在各种姿态下都被准确识别，识别精度很高，但是在速度方面的指标并不是令人很满意。而且当目标被部分遮挡时或被全部遮挡时，会导致HOG+SVM检测器识别不到目标，这时会丢失对目标的位置。在本发明的背景下，需要识别目标的检测速度如果过低会导致无人机跟踪目标的响应慢，而且在检测器识别不到目标的这段时间内，极有可能使无人机脱离目标行驶的轨迹。导致无人机完全丢失目标位置信息，从而跟踪失败。KCF算法最大的优势是速度快，在跟踪过程中准确率也令人满意，在目标被短时间部分遮挡的情况也还不错，但是在长时间被遮挡时或者目标形变较大的情况下效果并不是很出色。而且在检测前需要人为的给定目标输入方框初始化，如果只使用KCF跟踪器对目标进行识别和跟踪时，需要每次初始化时都要给跟踪器输入。且在识别目标过程中发生大程度的形变、被长时间遮挡等情况就会极有可能丢失目标，使检测窗口停滞在原位置，无法再更新模型。如果此时不进行重新的窗口初始化，那么KCF跟踪器就无法再继续识别目标的位置信息。

根据基于检测器和基于KCF跟踪器各自的特点，可以将他们彼此的优缺点进行互补。利用HOG+SVM检测器准确识别目标定时为KCF提供初始化窗口更新，这样会防止KCF算法在跟踪目标时丢失目标而导致跟踪器无法更新的问题。同样可以利用KCF跟踪器的快速性和良好的跟踪性能为系统提供目标高频的位置信息，弥补HOG+SVM检测器检测速度较慢和缺点。

图4是部分正样本集的示意图，表示事先采集的正样本的图像，对SVM进行训练提供的模型数据。图5是无人机利用基于HOG+SVM检测器在检测地面目标时的实验结果，实验结果表明基于HOG+SVM的检测器在机载的情况下，可以准确地检测到地面无遮挡目标。但是当目标被遮挡时，则检测器会丢失目标。

图6、图7是KCF跟踪器中无人机目标跟踪的测试结果。表明跟踪器在机载情况下对地面目标进行检测效果，当初始化给跟踪器输入后，跟踪器可以稳定、高频的输出目标位置信息。但是当目标被遮挡后，检测位置会停留在丢失目标前的位置。即使目标再次出现也无法继续检测到目标。

图8是HOG+SVM检测器和KCF跟踪器相结合而实现的无人机目标跟踪实验结果。实验结果表明把检测器和跟踪器的优劣势互补，利用高效的KCF跟踪器给无人机提供高频的位置信息，当目标长时间被遮挡丢失时跟踪器丢失目标后，可以利用训练好的检测器准确的检测到目标，继而给跟踪器进行初始化。从而达到继续检测目标的目的。

图9是无人机在采用本方法时对地面目标跟踪时的示意图。无人机可以稳定、平滑地跟踪上地面目标。即使地面目标被障碍物遮挡时，也能通过检测器初始化继续跟踪地面目标。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于检测器和跟踪器相结合的无人机目标跟踪方法，其特征在于，包括如下步骤：

步骤1，获取正、负样本图像，其中，正样本图像为待检测目标处于不同姿态下所拍摄的图像，负样本图像为在待检测目标所在场地拍摄的不包含待检测目标的图像，利用HOG算法对正样本图像和负样本图像进行特征提取，得到各样本图像对应的HOG特征向量；

步骤2，对正样本图像和负样本图像分别做标签，然后将其标签和HOG特征向量送入SVM分类器中进行训练，得到检测器；

步骤3，对于无人机获取的当前帧图像进行缩放和放大后送入检测器进行检测，得到目标窗口，将目标窗口的中心位置与图像中心点的偏差反馈至无人机，从而获得目标与无人机的相对位置；

步骤4，利用步骤3检测得到的目标窗口初始化跟踪器目标窗口的位置，并利用KCF核相关滤波器对跟踪器进行训练，使用当前训练的跟踪器跟踪当前帧图像的目标，当跟踪到目标时，更新跟踪器模型去跟踪下一帧图像的目标。

2.根据权利要求1所述基于检测器和跟踪器相结合的无人机目标跟踪方法，其特征在于，步骤1所述利用HOG算法对正样本图像和负样本图像进行特征提取，得到各样本图像对应的HOG特征向量，具体过程如下：

1)对正样本图像进行灰度化处理，将正样本图像转换为灰度图；

2)利用Gamma方法对灰度图进行色彩空间标准化；

3)对经过2)后的图像，统计图像上每个像素点的梯度大小和方向；

4)将图像划分为若干个大小相同的图像块，每个图像块划分为若干个大小相同的细胞单元，对每个细胞单元计算各个方向的梯度向量并做归一化处理，将图像块中细胞单元的梯度向量依次串联起来，组成图像块的特征向量，将所有图像块的特征向量依次串联起来，组成整个图像的HOG特征向量；

以上为正样本图像的特征提取过程，负样本图像的特征提取过程与正样本图像的特征提取过程相同。

3.根据权利要求1所述基于检测器和跟踪器相结合的无人机目标跟踪方法，其特征在于，步骤3所述对于无人机实时获取的图像进行缩放和放大后送入检测器进行检测，得到目标窗口的位置，在检测过程中，通过非最大极值抑制法消除重叠的目标。

4.根据权利要求1所述基于检测器和跟踪器相结合的无人机目标跟踪方法，其特征在于，步骤4所述对跟踪器进行训练，以当前帧图像检测到的目标窗口作为正训练样本，以当前帧图像上的非目标窗口作为负训练样本。

5.根据权利要求1所述基于检测器和跟踪器相结合的无人机目标跟踪方法，其特征在于，步骤4所述更新跟踪器模型，表达式为：

其中，

分别表示当前帧图像和上一帧图像中目标窗口内的离散傅里叶变换，

分别表示当前帧图像和上一帧图像中跟踪器模型的训练参数，η为更新因子参数，η的取值为：当目标被遮挡时，η＝1；当目标未被遮挡时，η＝0.075。

Images