CN108765452A - 一种复杂背景下运动目标检测与跟踪方法 - Google Patents

Abstract

本发明一种复杂背景下运动目标检测与跟踪方法，属于目标跟踪领域，尤其涉及一种复杂背景下目标稳定跟踪方法。该方法如下：对获取的当前帧图像进行检测，获得满足预设条件的检测目标信息；在当前帧图像上以跟踪目标所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；本发明所述方法，通过候选样本与分类器之间的响应图振荡情况来设定跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；同时，利用响应图中响应值的历史值来判断模型更新，减少了模型漂移的情况和模型更新的次数，在复杂场景中能够准确的从候选样本中选取出跟踪目标，实现目标的快速稳定跟踪。

Description

一种复杂背景下运动目标检测与跟踪方法

技术领域

本发明属于目标跟踪领域，尤其涉及一种复杂背景下目标稳定跟踪方法。

背景技术

无论在军用或者民用领域中，目标跟踪技术都有着广泛的应用。在战场侦查、低空防御、交通监控以及国土安全等方面全自动或者半自动的实现目标跟踪任务都可以大大减少工作人员和工作时间。然而，尽管人们已经提出了许多有效的视频目标跟踪算法，但在实际应用中仍然面临很多困难，例如环境中的光照变化、目标的非线性形变、摄像机的抖动，以及背景中的噪声干扰等因素，给目标跟踪带来了极大的挑战。

同时，现有的目标跟踪方法大多数只能够实现在较短的时间内对目标进行跟踪，相对于稳定跟踪方法则鲜有研究。然而，在实际工程应用中，对目标的长久稳定跟踪则更受关注。

发明内容

本发明旨在解决上述问题，提供一种复杂背景下目标稳定跟踪方法。

本发明所述一种复杂背景下运动目标检测与跟踪方法，该方法如下：

获取当前帧图像；

对获取的当前帧图像进行检测，获得满足预设条件的检测目标信息；在当前帧图像上以跟踪目标所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；

判断候选目标是否为跟踪目标：

若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；

若不是跟踪目标，则判断候选目标出现的异常类型情况，进入下一帧图像进行目标检测；在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的检测和跟踪。

本发明所述一种复杂背景下运动目标检测与跟踪方法，该方法如下：

获取当前帧图像；

对当前帧图像进行检测，获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；

在当前帧图像上以跟踪目标所在位置为中心，以目标大小的2-5倍的范围选取候选区域；

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；

在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型。

重复上述方法，实现持续完成视频图像中目标的检测和跟踪。

对当前帧图像进行检测的方法借助深度学习目标检测分类器模型完成，检测方法如下：

用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率，

取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度、高度信息。

在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：

以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；

以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；

以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。

用分类器模型求取候选区域的响应图的方法如下：

在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；

根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；

分类器模型的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；

然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示分类器模型。

候选目标所对应目标位置的方法如下：

通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为F_maxA，以k为尺度因子，选取的候选区域的最大响应值记为F_maxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为F_maxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；

同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；

判断F_maxA是否大于scale_weight与F_maxA′的乘积；

当F_maxA>scale_weight×F_maxA′时，则认定F_maxA为最大响应值F_max’，进入下一步判断；否则认定F_maxA′为最大响应值F_max’，进入下一步判断，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_maxA″的乘积；

当F_max’>scale_weight×F_maxA″时，则认定F_max’为最大响应值F_max，则直接进入下一步；否则认定F_maxA′为最大响应值F_max，同时更新候选区域的信息；

最大响应值F_max所在的候选区域，即为当前帧目标最可能出现的位置。

跟踪目标的判定方法如下：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间，优选为0.3；

当最大响应值F_max大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCE_current，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average；

其中：APCE值的求取公式如下：

判断当前帧候选区域的APCE_current是否大于预设震荡比例的APCE_average；

当APCE_current大于预设震荡比例的平均APCE_average时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间，优选为0.4。

更新分类器模型的方法如下：

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max-average，设定该预设比例在0-1之间，优选为0.7；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE_average值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间，优选为0.45；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

其中：F_max-average为当前帧图像中响应图的最大响应值F_max与上一帧图像中响应图的最大响应值F_max的平均值；

其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间，优选为0.7；

预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间，优选为0.45；

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。

重新检测跟踪目标方法如下：

在当前帧图像上以跟踪目标在前一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在；

所述目标一致性判断的条件为：所有候选目标中必须有同时满足位置判据、相似度判据的候选目标，否则进入下一帧图像再次进行目标检测，直至满足目标一致性判断条件为止；

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于15时，判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算；

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测目标，再次进行判断。

本发明所述复杂背景下目标稳定跟踪方法，通过候选样本与分类器之间的响应图振荡情况来设定跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；同时，利用响应图中响应值的历史值来判断模型更新，减少了模型漂移的情况和模型更新的次数，在复杂场景中能够准确的从候选样本中选取出跟踪目标，实现目标的快速稳定跟踪。

附图说明

图1是本发明所述方法的流程图。

图2是本发明所述方法原理框图。

图3是第一帧图像跟踪目标信息终端显示图。

图4第1帧图像跟踪目标显示图。

图5目标进入持续稳定跟踪。

图6第28帧图像跟踪目标显示图。

图7第96帧图像跟踪目标显示图。

图8第365帧图像跟踪目标显示图。

图9第618帧图像跟踪目标显示图。

具体实施方式

下面结合附图及实施例对本发明所述复杂背景下目标稳定跟踪方法进行详细说明。

本发明所述一种复杂背景下运动目标检测与跟踪方法，该方法如下：

获取当前帧图像；

对获取的当前帧图像进行检测，获得满足预设条件的检测目标信息；在当前帧图像上以跟踪目标所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；

判断候选目标是否为跟踪目标：

若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；

若不是跟踪目标，则判断候选目标出现的异常类型情况，进入下一帧图像进行目标检测；在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的检测和跟踪。

本发明所述一种复杂背景下运动目标检测与跟踪方法，该方法如下：

获取当前帧图像；

对当前帧图像进行检测，获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；

在当前帧图像上以跟踪目标所在位置为中心，以目标大小的2-5倍的范围选取候选区域；

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；

在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型。

重复上述方法，实现持续完成视频图像中目标的检测和跟踪。

获取当前帧图像；在首次跟踪时，需要包含跟踪目标信息的初始图像，以及包含初始图像的跟踪视频。

对当前帧图像进行检测，获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；

为了解决传统复杂背景下目标检测困难且准确度低的情况，本发明对当前帧图像进行检测的方法借助深度学习目标检测模型完成。深度学习目标检测算法模型主要是通过对指定类别的目标图像样本数据进行模型训练，利用深度学习强大的目标特征提取能力来实现对该类目标的检测识别，从而达到目标检测模块准确检测的目的。

一般情况下，通过检测模型获得当前帧图像中的多个目标，每个目标对应属于指定类别的概率。为了提高跟踪的可靠性，挑选多个目标中概率值最大的检测目标作为当前帧的最终检测目标。

本发明所述一种复杂背景下运动目标检测与跟踪方法，如图1图2所示其包括以下步骤：

对当前帧图像进行检测的方法借助深度学习目标检测分类器模型完成，检测方法如下：

用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率，

取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度、高度信息。

在目标大小2-5倍的范围中选取3-7个候选区域，本实施例优选在目标大小2-5倍的范围中选取三个候选区域，方法如下：

在当前帧图像中，以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2.5倍；

考虑到目标在运动过程中，可能会发生尺度变化，因此以第一候选区域为基础，以第一候选区域检测目标所在位置的中心点为中心，以1.05倍为尺度因子，在当前帧图像中选取第二候选区域；

同时，以第一候选区域为基础，第一候选区域检测目标所在位置的中心点为中心，以1/1.05倍为尺度因子，在当前帧图像中选取第三候选区域。

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

用分类器模型求取候选区域的响应图的具体方法是：

在训练分类器之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2.5倍进行扩展，提取扩展后目标区域所对应的Hog特征向量；

在训练分类器之前，对初始图像中的目标区域进行2.5倍的扩展，使其扩展后的目标区域中含有部分背景信息，这不仅可以增加训练样本的数量，也可以使分类器学习到部分背景信息，提高分类器的精度。

根据扩展后的目标区域对应的Hog特征向量，训练分类器；

考虑到Hog特征是一种多维特征，对目标的光照变化以及尺度变化具有鲁棒性，因此，通过对扩展后的目标区域进行提取Hog特征，利用该特征向量训练分类器。另外，将目标跟踪的问题转化为求解脊回归模型的问题，通过构建训练样本的循环矩阵，利用循环矩阵在傅里叶域中的可对角化特性，大大简化脊回归模型参数的求解过程，从而更加快速的得到目标分类器。

分类器的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；

由于目前在训练分类器过程中大部分算法都是采用非正即负的方式来标记训练样本，即正样本标签为1，负样本为0。这种标记样本的方法有一个问题就是不能很好的反应每个负样本的权重，即对离目标中心远的样本和离目标中心的近的样本同等对待。

针对上述这种情况，本发明采用连续的标签进行标记样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,α表示本权利要求步骤训练得到的分类器；

然后求取响应图中的最大响应值，确定目标位置。

根据三个尺度下候选区域与分类器之间的响应图，然后获得每个响应图的响应峰值，最后根据条件进行比较确定最大响应值的候选区域，从而确定此时该候选区域最有可能是跟踪目标，即其所在位置为当前帧目标最可能出现的位置。

候选目标所对应目标位置的确定方法包括以下步骤：

通过分类器分别计算第一候选区域、第二候选区域、第三候选区域所对应响应图中的最大响应值，分别记为F_max-1.05，F_max-1，F_max-1/1.05；

引入尺度权重因子scale_weight，设定其取值为0.95；

判断F_max-1是否大于scale_weight与F_max-1.05的乘积；

当F_max-1>scale_weight×F_max-1.05时，则认定F_max-1为最大响应值F_max’，进入下一步判断步骤；否则认定F_max-1.05为最大响应值F_max’，进入下一步判断步骤，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_max-1/1.05的乘积；

当F_max’>scale_weight×F_max-1/1.05时，则认定F_max’为最大响应值F_max，则直接进入下一步骤；否则认定F_max-1.05为最大响应值F_max，同时更新候选区域的信息；

最大响应值F_max所在的候选区域，即为当前帧目标最可能出现的位置。

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，并更新分类器模型；若不是跟踪目标，则进行目标检测。

本发明通过跟踪过程中跟踪丢失判断方法的优劣来进行评估，使模型更新的准确性大幅提升，跟踪的稳定性也进一步加强。

在跟踪准确的情况下，候选目标响应图的最大值，也就是峰值，是一个明显的波峰，接近理想的二维高斯分布，而在跟踪不好的情况中，尤其是碰到遮挡、丢失或者模糊等状况，候选目标的响应图会发生剧烈的振荡，此时，响应图将会出现多个峰值的情况，导致无法通过响应峰值来确定目标的中心位置，但是可以通过振荡程度及时的反应目标当前的状态，从而准确的判断目标是否碰到遮挡、丢失或者模糊等状况。因此本发明利用一个能够反应响应图振荡程度的判据APCE即平均峰值相关能量来判断。本发明通过上一步分类器模型获取候选区域的响应图，找到响应图中的最大响应值F_max，判断F_max是否大于预设响应值0.3，当F_max>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；

跟踪目标的判定步骤方法是：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围为0-1之间，本实施例优选为0.3；

当最大响应值F_max大于预设响应值时，计算当前帧图像中候选区域的APCE值以及上一帧图像到第二帧图像中跟踪目标的平均APCE值；

其中：APCE值的求取公式如下：

通过候选区域响应图，找到响应图中的最大响应值F_max，并计算该候选目标的APCE值，记为APCE_current。同时，上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average。该值从第二帧图像开始进行计算跟踪目标的APCE_current-2，第三帧图像中目标稳定跟踪后求取APCE_current-3后，APCE_average等于APCE_current-2和APCE_current-3的平均值；待求取第四帧图像中跟踪目标的APCE_current-4后，APCE_average等于APCE_current-4和第三帧图像求取的APCE_average的平均值。以此类推，在目标稳定跟踪过程中，跟踪视频中第n帧图像中跟踪目标的APCE_average等于第n帧跟踪目标的APCE_current-n和第n-1帧跟踪目标求取的APCE_average的平均值。

判断当前帧候选区域的APCE_current值是否大于预设比例倍的平均APCE值，本发明所述预设比例优选0.4。

当APCE_current>0.4×APCE_average时，判断当前帧图像中的候选目标即为跟踪目标，更新分类器模型；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失，进行目标检测。

通过跟踪结果可靠性的判定，确定是否每一帧的跟踪结果都用来更新，当目标被遮挡，或者跟踪器已经跟的不好的时候，如果再去更新分类器模型，只会使得跟踪器越来越无法识别目标，从而造成分类器模型漂移问题。

因此，本发明利用跟踪目标的最大响应值以及APCE值这两个判据进行分类器模型的更新，只有当F_max和APCE都以一定比例大于历史均值的时候，分类器模型才进行更新。该方法一方面大大减少了分类器模型漂移的情况，另一方面减少了分类器模型更新的次数，达到了加速的效果。

然后，在进行分类器模型更新时，应按照预设比例进行分类器模型参数更新。

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max，设定该预设响应比例优选0.7；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE值是否大于预设平均震荡比例倍的平均APCE值，该预设平均震荡比例优选0.45；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

对当前帧图像进行模型更新。

其中：F_max-average为当前帧图像中响应图的最大响应值F_max与上一帧图像中响应图的最大响应值F_max的平均值；

其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围为0-1之间，优选为0.7；

预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围为0-1之间，优选为0.45；

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，本实施例优选0.015。

在跟踪过程中，为了避免目标由于突然地遮挡、模糊等影响导致的不能长时间稳定的跟踪，需要在目标丢失判断后对当前帧图像中目标丢失区域进行目标检测，从而完成长时间跟踪的任务，此外，重新检测目标也是利用深度学习的目标检测模型，从而确保检测的准确性。

目标检测方法如下：

在当前帧图像上以跟踪目标在前一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在，

当位置判据与相似度判据均满足时，进行目标检测，对同时满足位置判据与相似度判据条件的候选目标进行判断，否则进入下一帧图像再次进行目标检测，再次进行判断；为了达到目标长时间跟踪的效果，需要对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在。

目标一致性判断的方法如下：

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于15时，判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算。

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测目标，再次进行判断。

依次重复步骤上述步骤，持续完成视频图像中目标的检测和跟踪。

实施例2。

本实施例结合照片对本发明复杂背景下运动目标检测与跟踪方法进行效果的验证：

本视频为外场采集的无人机视频，主要针对低空复杂场景，如建筑物、树丛及干扰物等对无人机目标进行实时的检测和跟踪。

视频开始时，获取第一帧图像进行检测，获得目标的位置信息，本次实验通过检测算法发送第一帧图像中目标的信息在终端上，如图3所示，同时在第一帧图像上显示检测目标框，如图4所示。该视频第一帧图像中场景比较复杂，而且检测目标周围有干扰物影响，给后续跟踪带来了很大的难度。

为了验证方法是否能够保证持续稳定的跟踪，通过终端界面的输出可以看出，该方法能够保证稳定跟踪，由图5可看出，从第2帧开始到第28帧，目标处于持续稳定跟踪状态，一直返回跟踪成功的标志“track_flag＝1”。

此外，为了验证本发明所述方法是否具备一定的抗遮挡能力，通过视频图像中目标穿越遮挡仍然能够保持稳定跟踪状态可以得到证实，如图6所示，结合图4、图6中目标的飞行轨迹以及图5的持续返回成功的标志“track_flag＝1”，可以看出虽然遇到遮挡物，但目标已经两次成功避开遮挡物的影响，将目标持续稳定的锁定在跟踪框内，持续跟踪成功。

另外，为了进一步验证本发明所述方法在复杂背景下稳定跟踪的能力，如图7所示，目标周围虽然有树枝、电线杆以及电线的影响，但是仍然保持稳定跟踪状态。结合图8和图7，可以发现跟踪框跟随目标从树的右端移动到树的左端,在大面积树木的遮挡作用下，依然可以实现目标的稳定跟踪,持续返回成功的标志“track_flag＝1”始终为1。

如图9所示，在第618帧，右侧返回标志从617帧的标志“track_flag＝1”变为618帧的标志“track_flag＝0”，判断目标在第618帧时开始变得模糊，此时导致丢失判断生效，进行目标一致性判断，在检测到与候选目标一致的目标后，输出目标坐标，重新进入跟踪。

最后，从对本次视频图像中目标的跟踪结果还发现，该方法能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况，并利用检测算法将准确的在当前帧图像中检测到目标，经过目标一致性判断后确定目标位置，继续进行跟踪，

从本实施例可以看出，本发明所述方法具备很强的抗干扰能力。

Claims (10)

1.一种复杂背景下运动目标检测与跟踪方法，其特征在于，该方法如下：

获取当前帧图像；

对获取的当前帧图像进行检测，获得满足预设条件的检测目标信息；在当前帧图像上以跟踪目标所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；

判断候选目标是否为跟踪目标：

若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；

若不是跟踪目标，则判断候选目标出现的异常类型情况，进入下一帧图像进行目标检测；在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的检测和跟踪。

2.根据权利要求1所述复杂背景下运动目标检测与跟踪方法，其特征在于，该方法如下：

获取当前帧图像；

对当前帧图像进行检测，获得满足预设条件的检测目标信息，所述预设条件包括长宽比和占空比；

在当前帧图像上以跟踪目标所在位置为中心，以目标大小的2-5倍的范围选取候选候选区域；

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；

在下一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型。

3.根据权利要求2所述复杂背景下运动目标检测与跟踪方法，其特征在于：该方法重复权2，实现持续完成视频图像中目标的检测和跟踪。

4.根据权利要求2或3所述一种复杂背景下运动目标检测与跟踪方法，其特征在于：对当前帧图像进行检测的方法借助深度学习目标检测分类器模型完成，检测方法如下：

用深度学习目标检测模型对当前帧图像进行检测，获得多个目标和满足预设条件的检测目标的对应概率，

取多个目标中概率值最大的检测目标作为当前帧的检测目标，获得检测目标的左上角坐标、宽度、高度信息。

5.根据权利要求4所述复杂背景下运动目标检测与跟踪方法，其特征在于，在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：

以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；

以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；

以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。

6.根据权利要求5所述复杂背景下运动目标检测与跟踪方法，其特征在于，用分类器模型求取候选区域的响应图的方法如下：

在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；

根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；

分类器模型的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量；

然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示分类器模型。

7.根据权利要求6所述复杂背景下运动目标检测与跟踪方法，其特征在于，候选目标所对应目标位置的方法如下：

通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为F_maxA，以k为尺度因子，选取的候选区域的最大响应值记为F_maxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为F_maxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；

引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；

判断F_maxA是否大于scale_weight与F_maxA′的乘积；

当F_maxA>scale_weight×F_maxA′时，则认定F_maxA为最大响应值F_max’，进入下一步判断；否则认定F_maxA′为最大响应值F_max’，进入下一步判断，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_maxA″的乘积；

当F_max’>scale_weight×F_maxA″时，则认定F_max’为最大响应值F_max，则直接进入下一步；否则认定F_maxA′为最大响应值F_max，同时更新候选区域的信息；

最大响应值F_max所在的候选区域，即为当前帧目标最可能出现的位置。

8.根据权利要求7所述复杂背景下运动目标检测与跟踪方法，其特征在于，跟踪目标的判定方法如下：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间；

当最大响应值F_max大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCE_current，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average；

其中：APCE值的求取公式如下：

判断当前帧候选区域的APCE_current是否大于预设震荡比例的APCE_average；

当APCE_current大于预设震荡比例的平均APCE_average时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间。

9.根据权利要求8所述复杂背景下运动目标检测与跟踪方法，其特征在于，更新分类器模型的方法如下：

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max-average，设定该预设比例在0-1之间；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE_average值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

其中：F_max-average为当前帧图像中响应图的最大响应值F_max与上一帧图像中响应图的最大响应值F_max的平均值；

其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间；

预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间；

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数。

10.根据权利要求9所述复杂背景下运动目标检测与跟踪方法，其特征在于，重新检测跟踪目标方法如下：

在当前帧图像上以跟踪目标在前一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在；

所述目标一致性判断的条件为：所有候选目标中必须有同时满足位置判据、相似度判据的候选目标，否则进入下一帧图像再次进行目标检测，直至满足目标一致性判断条件为止；

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于15时，判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，NCC值为两个目标之间的归一化互相关值；利用NCC值描述两个目标之间的相似程度，从而进一步确定两个目标是否匹配

选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算；

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测目标，再次进行判断。