CN113838087B - 一种抗遮挡目标跟踪方法及系统 - Google Patents

一种抗遮挡目标跟踪方法及系统 Download PDF

Info

Publication number
CN113838087B
CN113838087B CN202111050912.6A CN202111050912A CN113838087B CN 113838087 B CN113838087 B CN 113838087B CN 202111050912 A CN202111050912 A CN 202111050912A CN 113838087 B CN113838087 B CN 113838087B
Authority
CN
China
Prior art keywords
response
image
confidence coefficient
tracking
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111050912.6A
Other languages
English (en)
Other versions
CN113838087A (zh
Inventor
孙明健
张博恒
吴东剑
李港
孟令博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202111050912.6A priority Critical patent/CN113838087B/zh
Publication of CN113838087A publication Critical patent/CN113838087A/zh
Application granted granted Critical
Publication of CN113838087B publication Critical patent/CN113838087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种抗遮挡目标跟踪方法及系统，该方法包括：对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性；将第一滤波模板和上一帧图像进行卷积操作，得到第一图像响应图；根据第一特征属性，对第一滤波模板进行更新，得到第二滤波模板，并将第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；根据第一图像响应图对应的响应值和第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；根据预设置信度阈值，对响应变化置信度和响应梯度置信度进行判断，确定当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。本发明有效地反映出目标跟踪遇到遮挡的情况，在目标遮挡后仍可以实现目标跟踪，且跟踪精度较好。

Description

一种抗遮挡目标跟踪方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种抗遮挡目标跟踪方法及系统。
背景技术
目标跟踪是计算机视觉研究技术的热点方向之一，其应用范围非常广泛，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域，比如在智慧交通领域中，目标跟踪技术可对违规车辆进行检测并跟踪。
然而，由于跟踪场景的不确定性，目标跟踪技术会遇到一些挑战，其中较为常见的一个挑战是遮挡问题。目标在运动过程中可能出现被遮挡或者短暂的消失情况，当这种情况发生时，跟踪框容易将遮挡物以及背景信息包含在跟踪框内，可能会导致后续帧中的跟踪目标漂移到遮挡物上面。若目标被完全遮挡时，由于找不到目标的对应模型，会导致跟踪失败，例如，车辆在行驶过程中会被其他车辆遮挡住，遮挡的时间长短不一，因此可能无法检测到目标位置，导致跟踪失败。
目标跟踪遮挡问题是一个复杂的问题，其中目标的遮挡时间、遮挡面积和遮挡变化快慢程度都会影响到跟踪的结果，现有技术在对目标跟踪的遮挡问题处理时，对于遮挡的具体情形较难判别，不能准确地反映目标被遮挡的情况，以调整及更新跟踪器模型。因此，现在亟需一种抗遮挡目标跟踪方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种抗遮挡目标跟踪方法及系统。
本发明提供一种抗遮挡目标跟踪方法，包括：
对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；
将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；
根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；
根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；
根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
根据本发明提供的一种抗遮挡目标跟踪方法，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，包括：
若判断结果满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标未被遮挡，并根据第二特征属性，对所述第二滤波模板进行模型参数更新，得到第三滤波模板，其中，所述第二特征属性为所述当前帧图像中跟踪目标的特征属性；
通过所述第三滤波模板，对下一帧图像中的跟踪目标进行跟踪。
根据本发明提供的一种抗遮挡目标跟踪方法，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，还包括：
若判断结果未满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标存在被遮挡的情况，并通过所述第一滤波模板对下一帧图像中的跟踪目标进行跟踪，其中，所述被遮挡的情况包括部分遮挡和全部遮挡。
根据本发明提供的一种抗遮挡目标跟踪方法，所述根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度，包括：
基于响应图中的最大响应值和最小响应值，构建响应变化置信度公式；
根据所述响应变化置信度公式，计算得到第一响应变化置信度和第二响应变化置信度，其中，所述第一响应变化置信度为所述第一图像响应图对应的响应变化置信度，所述第二响应变化置信度为所述第二图像响应图对应的响应变化置信度；
根据所述第一响应变化置信度和所述第二响应变化置信度，计算得到响应梯度置信度。
根据本发明提供的一种抗遮挡目标跟踪方法，在所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略之前，所述方法还包括：
根据历史连续图像帧的响应变化平均值，构建预设响应变化置信度阈值，公式为：
Figure BDA0003252917970000031
Figure BDA0003252917970000041
其中，M1表示历史连续图像帧之间的响应变化平均值，m表示连续帧图像的数量，n表示在响应变化中确定的连续n帧的图像，
Figure BDA0003252917970000042
表示第t帧的响应变化置信度；
根据历史连续帧图像中相邻两帧之间的响应梯度变化平均值，构建预设响应变化梯度阈值，公式为：
ThresVDIFR＝(-1)cM2-d；
Figure BDA0003252917970000043
其中，c和d为权重参数，权重参数d表示梯度的负向变化情况，M2表示历史连续帧图像中相邻两帧之间的响应梯度变化值的平均值，
Figure BDA0003252917970000044
表示第t帧图像的响应梯度变化值。
根据本发明提供的一种抗遮挡目标跟踪方法，所述响应变化置信度公式为：
Figure BDA0003252917970000045
其中，VR表示响应变化置信度，
Figure BDA0003252917970000046
表示第i个最大响应值，
Figure BDA0003252917970000047
表示第i个最小响应值，Rw,h表示在当前帧响应图中第(w,h)处位置的响应值大小，n表示选择的前n帧图像；
根据所述第一响应变化置信度和所述第二响应变化置信度之间的响应梯度变化值，计算得到响应梯度置信度：
Figure BDA0003252917970000048
其中，
Figure BDA0003252917970000049
表示第t帧图像的响应梯度变化值，
Figure BDA00032529179700000410
和
Figure BDA00032529179700000411
分别表示第t帧和第t-1帧的响应变化。
本发明还提供一种抗遮挡目标跟踪系统，包括：
特征提取模块，用于对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；
第一处理模块，用于将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；
第二处理模块，用于根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；
置信度计算模块，用于根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；
跟踪策略执行模块，用于根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述抗遮挡目标跟踪方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述抗遮挡目标跟踪方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述抗遮挡目标跟踪方法的步骤。
本发明提供的一种抗遮挡目标跟踪方法及系统，在处理视频流的连续图像时，全面地考虑到图像中目标的局部响应变化和相邻图像之间的全局相应变化，根据此变化设计置信度函数，并基于由历史的响应变化情况构建的阈值，有效地反映出目标跟踪遇到遮挡的情况，与现有的目标跟踪方法相比，本发明在目标遮挡后仍可以实现目标跟踪，且跟踪精度较好。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的抗遮挡目标跟踪方法的流程示意图；
图2为本发明提供的抗遮挡目标跟踪系统的结构示意图；
图3为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解现有技术的发展状况，对已有的论文和专利进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：
专利号为CN107424171的《一种基于分块的抗遮挡目标跟踪方法》，提供了一种抗遮挡的方法，该方法在相关滤波算法KCF的基础上采用基于分块方法的模型更新策略，首先在初始帧中对目标区域建模，获取外观模型和分类器，然后对目标区域进行分块，再分别对各个子块进行建模，获取对应的外观模型和分类器，然后在第10帧后通过计算各个计算目标子块的置信度来判断跟踪器模型漂移情况，若置信度小于预设值则保留上一帧的目标位置信息，否则更新跟踪器。
上述现有技术方案在跟踪目标时，将目标进行分块，计算各个子块的置信度来判别目标的位置信息，但是在全遮挡问题上没有从全局角度上考虑更新的情况，而且采用的置信度函数表较单一，对于遮挡的具体情形较难判别，不能准确地反映目标被遮挡的快慢变化。因此，本发明提供了一种多重检测的模型更新策略，重新定义了置信度函数，并且根据经验值设定了阈值，通过比较置信度函数计算结果与设定阈值的大小，进而判断目标的遮挡情况，更好地保留了目标的外观模型，有效地处理目标遮挡问题。
图1为本发明提供的抗遮挡目标跟踪方法的流程示意图，如图1所示，本发明提供了一种抗遮挡目标跟踪方法，包括：
步骤101，对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性。
在本发明中，以某一拍摄区域的相机采集的图像进行说明，在初始阶段，需要确定待跟踪的目标，首先利用该拍摄区域的相机采集连续图像帧序列，并在该连续图像帧中选取某一帧作为初始帧，通过画方框形状选取感兴趣区域，作为后续帧中要跟踪的目标，从而确定需要跟踪的目标(若初始帧中未出现跟踪目标，则顺延到下一帧确定待跟踪目标)；
在初始帧图像中确定所要跟踪的目标之后，对该目标划分的区域进行特征提取，在本发明中，提取的特征为方向梯度直方图(Histogram of oriented gradient，简称HOG)特征和颜色属性(Color Name，简称CN)特征。具体地，对跟踪目标的区域以一定倍数进行放大，本发明倍数选取2.5，然后在放大的区域中进行特征提取，采取HOG特征与CN特征融合的方式，其中，HOG特征选取31维，CN特征选取11维。需要说明的是，在后续帧的特征提取过程中，也采用上述的特征提取方法。
进一步地，为了更准确反映后续步骤的响应图的变化情况，本发明设置了一个预设采集帧数，在初始帧图像确定跟踪目标之后，当采集到的帧数达到预设采集帧数时，开始计算响应图的响应值，从而分析跟踪目标的遮挡情况，以实现跟踪器的后续更新，优选地，本发明的预设采集帧数为4，也就是当每次采集的帧数达到4帧时，对跟踪目标的遮挡情况进行一次判断，例如，采集到第4帧时，分析跟踪目标的遮挡情况，采集到第8帧时再进行遮挡情况分析，以此类推。进一步地，在本发明中，在获取到初始帧图像并确定跟踪目标之后，将第4帧作为当前帧，对上一帧图像，即第3帧的图像中跟踪目标的区域进行特征提取，得到第3帧图像中跟踪目标的HOG特征和CN特征，并将这两个特征作为第一特征属性。
步骤102，将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的。
在本发明中，初始滤波模板是岭回归函数训练得到的，岭回归函数表达式如下：
Figure BDA0003252917970000081
其中，xk代表第k个通道的图像样本，K代表图像样本的通道数量，本发明是根据特征的数量进行确定的；ωk表示训练的滤波模板，其特征数量与图像样本特征数量相同；w是正则项系数。本发明首先标记有跟踪目标特征标签的样本图像，然后通过求解岭回归函数，将训练好的滤波模板作为初始滤波模板。需要说明的是，由于目标跟踪的过程是持续进行的，本发明以初始帧之后的2帧，即第2帧和第3帧的图像均不存在遮挡情况进行说明，因此需要在初始帧之后的下一帧到来时，对滤波模板参数更新，从而得到第一滤波模板(若初始帧之后的2帧存在遮挡情况，可根据本发明后续内容中的阈值判断过程，确定滤波模板停止更新，此时，第3帧图像可基于初始滤波模板进行卷积操作)。
进一步地，通过第一滤波模板对上一帧图像(即第3帧图像)进行卷积操作。具体地，首先，通过傅里叶变换，将图像和模板的卷积运算转化到频域中的点乘运算，从而加快计算速度；然后，对结果进行傅里叶反变换，得到第一图像响应图。
步骤103，根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图。
在本发明中，首先根据上一帧图像提取得到特征属性(即第一特征属性)，对上一帧图像所使用的滤波模板(即第一滤波模板)进行模型参数更新；然后，将更新得到滤波模板(即第二滤波模板)与当前帧图像进行卷积运算相关操作，即通过傅里叶变换，将当前帧图像和新滤波模板的卷积运算转化到频域中的点乘运算，以加快计算速度，然后，对点乘运算结果进行傅里叶反变换，得到最终的响应图，即第二图像响应图，响应图表达式如下：
Figure BDA0003252917970000091
其中，x是当前帧图像，ω是更新后的滤波模板，滤波模板的分辨率与图像样本的分辨率一样。同时，在本发明中，通过牛顿迭代法，可以求解响应图中的峰值位置，即可求解目标在图像中的位置。
步骤104，根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；其中，步骤104具体包括：
步骤1041，基于响应图中的最大响应值和最小响应值，构建响应变化置信度公式。
在本发明中，基于上述实施例设置的预设采集帧数，当采集的图像序列达到第4帧的时候，开始计算当前帧图像对应响应图的前n帧响应图的最大响应值和前n帧响应图的最小响应值，本发明中n取值为3，表示在所有响应中，取前3个最大的响应值和前3个最小的响应值。然后，根据响应值，计算得到响应变化置信度和响应梯度置信度。
在上述实施例的基础上，所述响应变化置信度公式为：
Figure BDA0003252917970000101
其中，VR表示响应变化置信度，即当前帧中最大的响应与最小的响应之间的变化程度；
Figure BDA0003252917970000102
表示第i个最大响应值，
Figure BDA0003252917970000103
表示第i个最小响应值，Rw,h表示在当前帧响应图中第(w,h)处位置的响应值大小；n表示选择的前n帧图像，本发明的n取值为3，需要说明的是，通过设置每次判断遮挡情况所需的预设采集帧数，从而确切地反映出响应图中的变化情况，同时可以根据实际情况调整该预设采集帧数大小，但是设计的参数值越大，代表考虑的响应值数量越多，计算量就会增大，因此，本发明优选的预设采集帧数为4帧，即选取当前帧的前3帧图像进行遮挡判断。
步骤1042，根据所述响应变化置信度公式，计算得到第一响应变化置信度和第二响应变化置信度，其中，所述第一响应变化置信度为所述第一图像响应图对应的响应变化置信度，所述第二响应变化置信度为所述第二图像响应图对应的响应变化置信度；
步骤1043，根据所述第一响应变化置信度和所述第二响应变化置信度，计算得到响应梯度置信度。
在本发明中，为了获取目标被遮挡的严重程度，根据所述第一响应变化置信度和所述第二响应变化置信度之间的响应梯度变化值，计算得到响应梯度置信度：
Figure BDA0003252917970000111
其中，
Figure BDA0003252917970000112
表示第t帧图像的响应梯度变化值，
Figure BDA0003252917970000113
和
Figure BDA0003252917970000114
分别表示第t帧和第t-1帧的响应变化。通过同时考虑图像中目标及背景信息变化和梯度的变化，可以有效地处理目标遮挡问题。
步骤105，根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
在本发明中，由于目标跟踪过程中遇到的遮挡情况是多变的，比如，目标在上一帧未被遮挡，而在下一帧全部被遮挡，此时目标的遮挡情况是较为严重的，因此，将计算得到的置信度和阈值进行比较，可以精确地判断是否更新模板参数，若不及时更新模板参数，跟踪器模板极有可能会学习并更新错误的特征信息，导致后续帧中目标跟踪失败。具体地，将计算得到的响应变化置信度和响应梯度置信度，与预设置信度阈值进行比较，若大于该阈值，则判断当前帧图像中跟踪目标未被遮挡，此时，将上述实施例得到第二滤波模板，通过当前帧图像对应的特征属性(即第二特征属性)进行模型参数更新，得到第三滤波模板，并重复上述步骤101至步骤105。也就是，在采集到第8帧图像时，对第7帧图像和第8帧图像执行上述步骤，此时，第7帧图像为上一帧图像，第8帧图像为当前帧图像，而第三滤波目标作为了第一滤波模板对第7帧图像进行卷积操作，从而再次判断是否存在遮挡情况。
进一步地，若小于等于预设置信度阈值，则判断当前帧图像中跟踪目标存在被遮挡情况，此时保持第一滤波模板的参数，重复步骤101至步骤105，对后续帧图像进行遮挡判断和目标跟踪。
本发明提供的抗遮挡目标跟踪方法，在处理视频流的连续图像时，全面地考虑到图像中目标的局部响应变化和相邻图像之间的全局相应变化，根据此变化设计置信度函数，并基于由历史的响应变化情况构建的阈值，有效地反映出目标跟踪遇到遮挡的情况，与现有的目标跟踪方法相比，本发明在目标遮挡后仍可以实现目标跟踪，且跟踪精度较好。
在本发明中，为了根据上述实施例得到的置信度，判别跟踪目标的遮挡情况，需要设置合适的判断阈值大小。因此，在上述实施例的基础上，在所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略之前，所述方法还包括：
根据历史连续图像帧的响应变化平均值，构建预设响应变化置信度阈值，在本发明中，基于上述实施例中计算得到响应变化置信度，设计一种阈值，即预设响应变化置信度阈值。由于判别遮挡情况一般是从第4帧之后开始进行，因此，可根据历史图像变化情况定义阈值大小，通过经验设计的预设响应变化置信度阈值表达式，公式为：
Figure BDA0003252917970000121
Figure BDA0003252917970000122
其中，M1表示历史连续图像帧之间的响应变化平均值；m表示连续帧图像的数量，大小设置为2；n表示在响应变化中确定的连续n帧的图像，取值为3；
Figure BDA0003252917970000123
表示第t帧的响应变化置信度；a和b是权重参数，都设为30，同时可以根据具体情况做出调整。
进一步地，根据历史连续帧图像中相邻两帧之间的响应梯度变化平均值，构建预设响应变化梯度阈值，公式为：
ThresVDIFR＝(-1)cM2-d；
Figure BDA0003252917970000131
其中，c和d为权重参数，分别设置为3和-20，权重参数d表示梯度的负向变化情况；M2表示历史连续帧图像中相邻两帧之间的响应梯度变化值的平均值，
Figure BDA0003252917970000132
表示第t帧图像的响应梯度变化值。
在上述实施例的基础上，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，包括：
若判断结果满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标未被遮挡，并根据第二特征属性，对所述第二滤波模板进行模型参数更新，得到第三滤波模板，其中，所述第二特征属性为所述当前帧图像中跟踪目标的特征属性；
通过所述第三滤波模板，对下一帧图像中的跟踪目标进行跟踪。
在上述实施例的基础上，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，还包括：
若判断结果未满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标存在被遮挡的情况，并通过所述第一滤波模板对下一帧图像中的跟踪目标进行跟踪，其中，所述被遮挡的情况包括部分遮挡和全部遮挡。
在本发明中，比较置信度大小与经验设置阈值之间的关系，来判断目标遮挡情况，判断条件表达式如下：
Figure BDA0003252917970000133
其中，当响应变化置信度VR小于等于预设响应变化置信度阈值ThresVR时，表明当前帧图像中跟踪目标可能受到了遮挡干扰情况；为了进一步检测跟踪目标受到遮挡的严重程度，判断响应梯度置信度VDIFR与预设响应变化梯度阈值ThresVDIFR的大小关系，当响应梯度置信度VDIFR小于等于预设响应变化梯度阈值ThresVDIFR时，确定当前帧图像中跟踪目标受到了严重的遮挡干扰情况，即可能处于完全被遮挡的情况，此时滤波模板的参数停止更新，防止跟踪器产生漂移。
进一步地，为了避免误判，本发明根据经验设计一个上限阈值，防止模型始终停留在不更新阶段，上限阈值表达式如下：
ThresVcomp＝ThresVDIFR+f；
其中，f大小为20。其更新状态的判断条件如下：
VDIFR＜ThresVcomp；
当响应梯度置信度大于上限阈值时，应暂停更新跟踪器模型参数。当响应变化置信度VR大于预设响应变化置信度阈值ThresVR，以及响应梯度置信度VDIFR大于预设响应变化梯度阈值ThresVDIFR且小于上限阈值时，对采集到的当前帧图像进行特征提取再训练模板参数，并以最新的模板参数进行后续的目标跟踪；否则，保留上一帧图像对应的模板参数，并与下一次采集到的图像序列中图像进行卷积运算操作获取响应图，进行后续的目标跟踪。
本发明提供了一种多重检测更新策略，利用目标跟踪输出的响应图中响应值的分布情况设计了置信度函数，同时，根据相邻两帧之间的输出响应梯度变化完善置信度的设计，并分别根据经验和历史的响应趋势来定义阈值大小，同时对于阈值的选取是由历史的响应变化情况进行设计，有效地反映出目标跟踪遇到的遮挡情况，使得在目标被遮挡严重时，能够快速有效地停止模板更新，并在目标再次出现时对目标再次进行特征提取和更新模板参数，在实际应用中，可以更加准确的实现目标跟踪，例如，能够处理行人目标被路牌遮挡情况，当目标出现后，由于保留了目标的外观模型参数，因此能够再次跟踪目标。
图2为本发明提供的抗遮挡目标跟踪系统的结构示意图，如图2所示，本发明提供了一种抗遮挡目标跟踪系统，包括特征提取模块201、第一处理模块202、第二处理模块203、置信度计算模块204和跟踪策略执行模块205，其中，特征提取模块201用于对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；第一处理模块202用于将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；第二处理模块203用于根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；置信度计算模块204用于根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；跟踪策略执行模块205用于根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
本发明提供的抗遮挡目标跟踪系统，在处理视频流的连续图像时，全面地考虑到图像中目标的局部响应变化和相邻图像之间的全局相应变化，根据此变化设计置信度函数，并基于由历史的响应变化情况构建的阈值，有效地反映出目标跟踪遇到遮挡的情况，与现有的目标跟踪方法相比，本发明在目标遮挡后仍可以实现目标跟踪，且跟踪精度较好。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(CommunicationsInterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行抗遮挡目标跟踪方法，该方法包括：对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的抗遮挡目标跟踪方法，该方法包括：对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的抗遮挡目标跟踪方法，该方法包括：对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种抗遮挡目标跟踪方法，其特征在于，包括：
对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；
将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；
根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；
根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；
根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略；
所述根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度，包括：
基于响应图中的最大响应值和最小响应值，构建响应变化置信度公式；
根据所述响应变化置信度公式，计算得到第一响应变化置信度和第二响应变化置信度，其中，所述第一响应变化置信度为所述第一图像响应图对应的响应变化置信度，所述第二响应变化置信度为所述第二图像响应图对应的响应变化置信度；
根据所述第一响应变化置信度和所述第二响应变化置信度，计算得到响应梯度置信度。
2.根据权利要求1所述的抗遮挡目标跟踪方法，其特征在于，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，包括：
若判断结果满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标未被遮挡，并根据第二特征属性，对所述第二滤波模板进行模型参数更新，得到第三滤波模板，其中，所述第二特征属性为所述当前帧图像中跟踪目标的特征属性；
通过所述第三滤波模板，对下一帧图像中的跟踪目标进行跟踪。
3.根据权利要求1所述的抗遮挡目标跟踪方法，其特征在于，所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略，还包括：
若判断结果未满足预设置信度阈值，则判断获知所述当前帧图像中跟踪目标存在被遮挡的情况，并通过所述第一滤波模板对下一帧图像中的跟踪目标进行跟踪，其中，所述被遮挡的情况包括部分遮挡和全部遮挡。
4.根据权利要求1所述的抗遮挡目标跟踪方法，其特征在于，在所述根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略之前，所述方法还包括：
根据历史连续图像帧的响应变化平均值，构建预设响应变化置信度阈值，公式为：
Figure FDA0003657356440000021
Figure FDA0003657356440000022
其中，M1表示历史连续图像帧之间的响应变化平均值，m表示连续帧图像的数量，n表示在响应变化中确定的连续n帧的图像，
Figure FDA0003657356440000023
表示第t帧的响应变化置信度，a和b是权重参数；
根据历史连续帧图像中相邻两帧之间的响应梯度变化平均值，构建预设响应变化梯度阈值，公式为：
ThresVDIFR＝(-1)cM2-d；
Figure FDA0003657356440000031
其中，c和d为权重参数，权重参数d表示梯度的负向变化情况，M2表示历史连续帧图像中相邻两帧之间的响应梯度变化值的平均值，
Figure FDA0003657356440000032
表示第t帧图像的响应梯度变化值。
5.根据权利要求1所述的抗遮挡目标跟踪方法，其特征在于，所述响应变化置信度公式为：
Figure FDA0003657356440000033
其中，VR表示响应变化置信度，
Figure FDA0003657356440000034
表示第i个最大响应值，
Figure FDA0003657356440000035
表示第i个最小响应值，Rw,h表示在当前帧响应图中第(w,h)处位置的响应值大小，n表示选择的前n帧图像；
根据所述第一响应变化置信度和所述第二响应变化置信度之间的响应梯度变化值，计算得到响应梯度置信度：
Figure FDA0003657356440000036
其中，
Figure FDA0003657356440000037
表示第t帧图像的响应梯度变化值，
Figure FDA0003657356440000038
和
Figure FDA0003657356440000039
分别表示第t帧和第t-1帧的响应变化。
6.一种抗遮挡目标跟踪系统，其特征在于，包括：
特征提取模块，用于对上一帧图像中跟踪目标的区域进行特征提取，得到第一特征属性，所述第一特征属性为所述上一帧图像中跟踪目标的特征属性；
第一处理模块，用于将第一滤波模板和所述上一帧图像进行卷积操作，得到第一图像响应图，其中，所述第一滤波模板是通过对初始滤波模板进行模型参数更新得到的；所述初始滤波模板是由标记有跟踪目标特征标签的样本图像，通过岭回归函数训练得到的；
第二处理模块，用于根据所述第一特征属性，对所述第一滤波模板的模型参数进行更新，得到第二滤波模板，并将所述第二滤波模板和当前帧图像进行卷积操作，得到第二图像响应图；
置信度计算模块，用于根据所述第一图像响应图对应的响应值和所述第二图像响应图对应的响应值，获取响应变化置信度和响应梯度置信度；
跟踪策略执行模块，用于根据预设置信度阈值，对所述响应变化置信度和所述响应梯度置信度进行判断，并根据判断结果，确定所述当前帧图像中跟踪目标的遮挡状态和对应的跟踪策略；
所述置信度计算模块具体用于：
基于响应图中的最大响应值和最小响应值，构建响应变化置信度公式；
根据所述响应变化置信度公式，计算得到第一响应变化置信度和第二响应变化置信度，其中，所述第一响应变化置信度为所述第一图像响应图对应的响应变化置信度，所述第二响应变化置信度为所述第二图像响应图对应的响应变化置信度；
根据所述第一响应变化置信度和所述第二响应变化置信度，计算得到响应梯度置信度。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述抗遮挡目标跟踪方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述抗遮挡目标跟踪方法的步骤。
9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述抗遮挡目标跟踪方法的步骤。
CN202111050912.6A 2021-09-08 2021-09-08 一种抗遮挡目标跟踪方法及系统 Active CN113838087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111050912.6A CN113838087B (zh) 2021-09-08 2021-09-08 一种抗遮挡目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111050912.6A CN113838087B (zh) 2021-09-08 2021-09-08 一种抗遮挡目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN113838087A CN113838087A (zh) 2021-12-24
CN113838087B true CN113838087B (zh) 2022-09-06

Family

ID=78958576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111050912.6A Active CN113838087B (zh) 2021-09-08 2021-09-08 一种抗遮挡目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN113838087B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512360B1 (ko) * 2022-03-25 2023-03-22 국방과학연구소 이동 표적 추적 시 오포착 방지를 위한 필터 정보 제공 방법 및 이를 이용한 전자 장치
CN115861379B (zh) * 2022-12-21 2023-10-20 山东工商学院 孪生网络基于局部可信模板进行模板更新的视频跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3003065B1 (fr) * 2013-03-05 2015-02-27 Commissariat Energie Atomique Procede de suivi d'une cible dans une sequence d'images avec prise en compte de la dynamique de la cible
CN110246155B (zh) * 2019-05-17 2021-05-18 华中科技大学 一种基于模型交替的抗遮挡目标跟踪方法及系统
CN113160092A (zh) * 2021-05-17 2021-07-23 北京航星机器制造有限公司 一种物体遮挡条件下的探测器图像校正方法及系统

Also Published As

Publication number Publication date
CN113838087A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113838087B (zh) 一种抗遮挡目标跟踪方法及系统
CN108805016B (zh) 一种头肩区域检测方法及装置
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN110263920B (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN110909692A (zh) 异常车牌识别方法、装置及计算机存储介质、电子设备
CN111199554A (zh) 一种目标跟踪抗遮挡的方法及装置
CN105989614B (zh) 融合多源视觉信息的危险物体检测方法
KR20180074556A (ko) 얼굴검출 방법 및 그 장치
CN109858438A (zh) 一种基于模型拟合的车道线检测方法
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN111027534A (zh) 一种紧凑双车牌检测方法及装置
CN109948436B (zh) 一种监控道路上车辆的方法及装置
CN110458023B (zh) 一种道路线检测模型的训练方法、道路线检测方法及装置
CN112700469A (zh) 一种基于eco算法和目标检测的视觉目标跟踪方法及装置
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN111667419A (zh) 一种基于Vibe算法的移动目标鬼影消除方法及系统
CN115908802A (zh) 摄像头遮挡检测方法、装置、电子设备及可读存储介质
CN114359871A (zh) 车辆可行驶区域的区域边缘检测方法、装置和存储介质
CN114511591B (zh) 轨迹跟踪方法、装置、电子设备及存储介质
CN115294478B (zh) 一种应用于现代光电平台的空中无人机目标检测方法
CN110781710A (zh) 一种目标对象聚类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant