CN111340846B - 一种多特征融合的抗遮挡目标跟踪方法 - Google Patents

Abstract

本发明涉及一种多特征融合的抗遮挡目标跟踪方法，属于计算机视觉目标跟踪领域。该方法用于解决在运动目标跟踪过程中出现的目标遮挡问题。核心方法包括：通过平均峰相关能量评估跟踪置信度；使用多特征HOG特征和CN特征对目标进行描述；对每个特征分别评估其跟踪置信度用以确定每个特征的融合权重，得到对目标的融合跟踪置信度；通过融合跟踪置信度的大小以及相关响应峰值来判断目标的遮挡情况；根据遮挡情况动态调整特征模型的学习率更新模型。

Description

一种多特征融合的抗遮挡目标跟踪方法

技术领域

本发明属于计算机视觉目标跟踪领域，涉及一种多特征融合的抗遮挡目标跟踪方法。

背景技术

随着计算机视觉技术的发展，运动目标跟踪也得到快速的发展。运动目标跟踪已广泛用以智能机器人，视频安全监控，工厂自动化，视频检索等领域。尽管近年来在运动目标跟踪方面取得了重大进展，但由于部分遮挡、变形、运动模糊、快速运动、照明变化、背景杂波和比例变化等因素的影响，如何提升运动目标跟踪的精确性仍然是一个有待改进和值得研究的问题。

在目标跟踪过程中，当目标对象出现快速运动、遮挡以及运动模糊等问题时，由于更新的比例模型误差的存在，相关滤波算法不能较准确地跟踪目标对象。对此，本发明在现有跟踪方法上进行改进。当跟踪过程中目标发生遮挡情况时，本发明通过跟踪响应置信度判断目标是否被遮挡，使用卡尔曼算法跟踪目标轨迹，在目标被严重遮挡时使用卡尔曼算法得到的结果对模型进行更新，解决KCF在目标遮挡时模型不更新的问题。对于特征权重的固定比例的问题，本发明提出一种多特征动态融合的方案。

发明内容

有鉴于此，本发明的目的在于提供一种多特征融合的抗遮挡目标跟踪方法。

为达到上述目的，本发明提供如下技术方案：

一种多特征融合的抗遮挡目标跟踪方法，该方法包括以下步骤：

S1：选择好跟踪目标后，提取目标区域的HOG特征和CN特征；

S2：计算当前帧HOG特征和CN特征的跟踪置信度P_cn，P_hog以及按照权重融合后的跟踪置信度P；

S3：根据跟踪置信度P以及相关响应峰值g_max1和g_max2的大小调整跟踪模板学习率的大小；当最大响应g_max1和第二大响应g_max2的比值大于0.5时，跟踪置信度P小于等于θ₁时说明目标被严重遮挡，不更新跟踪模板，即学习率为0，使用卡尔曼跟踪算法预测目标位置；当P大于θ₁，小于等于θ₂时说明目标被轻微遮挡，调小学习率；当P大于θ₂时说明目标没有被遮挡，学习率不变；

S4：得到目标在当前帧的预测位置，把预测区域作为新的目标使用S3得到的学习率更新模型，如此直到视频序列为最后一帧图像。

可选的，所述S1中，HOG特征和CN特征的初始融合权重分别为0.5和0.5。

可选的，所述S2中，跟踪置信度公式(1)如下：

其中，P即是当前帧的跟踪置信度，MN是跟踪区域的大小，g_max是跟踪区域响应的最大值，g_min是跟踪区域响应的最小值，g_m,n是在坐标(m,n)处的输出响应；

当前帧HOG特征和CN特征的融合权重由其对应的跟踪置信度P_cn，P_hog确定，公式如下：

w_hog＝1-w_cn (3)

最终得到的融合后的响应结果如下：

g_t＝w_t,cng_t,cn+w_t,hogg_t,hog (4)。

可选的，所述S3中，当目标被遮挡时，g_max和平均峰相关能量APCE会发生明显的波动；使用g_max1、g_max2和APCE的值判断目标是否发生遮挡：

其中，θ₁、θ₂是判断跟踪置信度的阈值，当最大响应g_max1和第二大响应g_max2的比值大于 0.5时，跟踪置信度P小于等于θ₁时说明目标被严重遮挡，当P大于θ₁，小于等于θ₂时说明目标被轻微遮挡，当P大于θ₂时说明目标没有被遮挡；

当目标没被遮挡时，模型正常更新，能够正常学习目标样本；当目标被轻微遮挡，此时跟踪区域有部分正确目标及部分背景信息，减小学习率，能够学习目标样本信息并遏制背景信息的学习；当目标被严重遮挡时，不对模型更新，避免引入背景信息；通过下式更改学习率：

当目标没被遮挡或者被轻微遮挡时，使用公式(7)检测目标，对目标进行定位；当目标被严重遮挡时，利用卡尔曼预测机制对目标进行定位，保证目标在被遮挡期间的跟踪，当目标再次出现时可以保证再次检测到目标，成功的跟踪到目标；

本发明的有益效果在于：

HOG特征和CN特征都有各自的性质，当目标有遮挡或者图像的光强发生严重变化时，单独使用HOG特征或者CN特征的跟踪效果都不是很好。当目标出现遮挡时，仅仅使用HOG特征，会出现跟踪漂移现象，该特征不适合应对遮挡情况；当目标出现严重的光强变化时，仅仅使用CN特征就很容易跟踪失败，该特征不适合应对光强剧烈变化的情况。CN特征可以较好的应对目标的形变和尺度变化，HOG特征可以较好的应对光强变化，两者是互补的。本发明使用两种特征动态融合的方案，使得跟踪算法可以适用多种情况，提高了算的精确度和鲁棒性。

跟踪置信度的引入使得算法可以判断目标是否处于遮挡状态，从而动态调整模型的学习率。当目标没被遮挡时，模型正常更新，可以正常学习目标样本；当目标被轻微遮挡，此时跟踪区域有部分正确目标及部分背景信息，此时应减小学习率，仍然可以学习目标样本信息并且遏制了背景信息的学习；当目标被严重遮挡时，不对模型更新，避免引入背景信息。该方案提升了算法对目标被遮挡情况的精确度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明的流程框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，对本发明的具体步骤作进一步的阐述。

S1：选择好跟踪目标后，提取目标区域的HOG特征和CN特征，初始融合权重分别为0.5 和0.5。

S2：计算当前帧HOG特征和CN特征的跟踪置信度P_cn，P_hog以及按照权重融合后的跟踪置信度P；跟踪置信度公式(1)如下：

其中，P即是当前帧的跟踪置信度，MN是跟踪区域的大小，g_max是跟踪区域响应的最大值，g_min是跟踪区域响应的最小值，g_m,n是在坐标(m,n)处的输出响应。

当前帧HOG特征和CN特征的融合权重由其对应的跟踪置信度P_cn，P_hog确定，公式如下：

w_hog＝1-w_cn (3)

最终得到的融合后的响应结果如下：

g_t＝w_t,cng_t,cn+w_t,hogg_t,hog (4)

S3：根据跟踪置信度P以及相关响应峰值g_max1和g_max2的大小调整跟踪模板学习率的大小。当最大响应g_max1和第二大响应g_max2的比值大于0.5时，跟踪置信度P小于等于θ₁时说明目标被严重遮挡，不更新跟踪模板，即学习率为0，使用卡尔曼跟踪算法预测目标位置；当P大于θ₁，小于等于θ₂时说明目标被轻微遮挡，调小学习率；当P大于θ₂时说明目标没有被遮挡，学习率不变；本发明使用g_max1、g_max2和APCE的值判断目标是否发生遮挡:

当目标没被遮挡时，模型正常更新，可以正常学习目标样本；当目标被轻微遮挡，此时跟踪区域有部分正确目标及部分背景信息，此时应减小学习率，仍然可以学习目标样本信息并且遏制了背景信息的学习；当目标被严重遮挡时，不对模型更新，避免引入背景信息。通过下式更改学习率：

当目标没被遮挡或者被轻微遮挡时，使用公式(7)检测目标，对目标进行定位；当目标被严重遮挡时，利用卡尔曼预测机制对目标进行定位，可以保证目标在被遮挡期间的跟踪，当目标再次出现时可以保证再次检测到目标，成功的跟踪到目标。

S4：得到目标在当前帧的预测位置，把预测区域作为新的目标使用S3得到的学习率更新模型，如此直到视频序列为最后一帧图像。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种多特征融合的抗遮挡目标跟踪方法，其特征在于：该方法包括以下步骤：

S1：选择好跟踪目标后，提取目标区域的HOG特征和CN特征；

S2：计算当前帧HOG特征和CN特征的跟踪置信度P_cn，P_hog以及按照权重融合后的跟踪置信度P；

S3：根据跟踪置信度P以及相关响应峰值g_max1和g_max2的大小调整跟踪模板学习率的大小；当最大响应g_max1和第二大响应g_max2的比值大于0.5时，跟踪置信度P小于等于θ₁时说明目标被严重遮挡，不更新跟踪模板，即学习率为0，使用卡尔曼跟踪算法预测目标位置；当P大于θ₁，小于等于θ₂时说明目标被轻微遮挡，调小学习率；当P大于θ₂时说明目标没有被遮挡，学习率不变；

θ₁、θ₂是判断跟踪置信度的阈值；

S4：得到目标在当前帧的预测位置，把预测区域作为新的目标使用S3得到的学习率更新模型，如此直到视频序列为最后一帧图像；

所述S1中，HOG特征和CN特征的初始融合权重分别为0.5和0.5；

所述S2中，跟踪置信度公式(1)如下：

其中，P即是当前帧的跟踪置信度，MN是跟踪区域的大小，g_max是跟踪区域响应的最大值，g_min是跟踪区域响应的最小值，g_m,n是在坐标(m,n)处的输出响应；

当前帧HOG特征和CN特征的融合权重由其对应的跟踪置信度P_cn，P_hog确定，公式如下：

w_hog＝1-w_cn (3)

最终得到的融合后的响应结果如下：

g_t＝w_t,cng_t,cn+w_t,hogg_t,hog (4)

所述S3中，当目标被遮挡时，g_max和平均峰相关能量APCE会发生明显的波动；使用g_max1、g_max2和APCE的值判断目标是否发生遮挡：

其中，θ₁、θ₂是判断跟踪置信度的阈值，当最大响应g_max1和第二大响应g_max2的比值大于0.5时，跟踪置信度P小于等于θ₁时说明目标被严重遮挡，当P大于θ₁，小于等于θ₂时说明目标被轻微遮挡，当P大于θ₂时说明目标没有被遮挡；

当目标没被遮挡时，模型正常更新，能够正常学习目标样本；当目标被轻微遮挡，此时跟踪区域有部分正确目标及部分背景信息，减小学习率，能够学习目标样本信息并遏制背景信息的学习；当目标被严重遮挡时，不对模型更新，避免引入背景信息；通过下式更改学习率：

当目标没被遮挡或者被轻微遮挡时，使用公式(7)检测目标，对目标进行定位；当目标被严重遮挡时，利用卡尔曼预测机制对目标进行定位，保证目标在被遮挡期间的跟踪，当目标再次出现时可以保证再次检测到目标，成功的跟踪到目标；

Images