CN110147747B - 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法 - Google Patents

一种基于累积一阶导数高置信度策略的相关滤波跟踪方法 Download PDF

Info

Publication number
CN110147747B
CN110147747B CN201910385800.2A CN201910385800A CN110147747B CN 110147747 B CN110147747 B CN 110147747B CN 201910385800 A CN201910385800 A CN 201910385800A CN 110147747 B CN110147747 B CN 110147747B
Authority
CN
China
Prior art keywords
frame
current frame
hist
stable
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910385800.2A
Other languages
English (en)
Other versions
CN110147747A (zh
Inventor
高赟
余丽
张学杰
张晋
林宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Kunming Institute of Physics
Original Assignee
Yunnan University YNU
Kunming Institute of Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU, Kunming Institute of Physics filed Critical Yunnan University YNU
Priority to CN201910385800.2A priority Critical patent/CN110147747B/zh
Publication of CN110147747A publication Critical patent/CN110147747A/zh
Application granted granted Critical
Publication of CN110147747B publication Critical patent/CN110147747B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及相关滤波跟踪方法，具体涉及一种基于累积一阶导数高置信度策略的相关滤波跟踪方法。所述方法基于相关滤波跟踪框架，采用方向梯度直方图(HOG)和颜色直方图两种互补特征进行特征提取，融合后的响应图最大值对应位置作为当前帧跟踪结果，并根据响应图历史序列最大值向量的累积一阶导数和当前帧响应图最大值对当前跟踪结果的置信度进行判别，当前跟踪结果具有高置信度情况下方可更新目标模板以提高目标模板的正确性。本申请相比逐帧更新策略的相关滤波跟踪方法，取得了更为稳定的跟踪效果。

Description

一种基于累积一阶导数高置信度策略的相关滤波跟踪方法
技术领域
本发明涉及相关滤波跟踪方法，具体涉及一种基于累积一阶导数高置信度策略的相关滤波跟踪方法。
背景技术
视频目标跟踪是计算机视觉领域的研究热点之一，其目的是为了在视频图像序列中估计目标的位置。该技术在视频监控、人机交互、机器人领域和无人驾驶汽车等众多应用中扮演着十分重要的角色。实时性和稳定性是实现目标跟踪系统的两大目标。卷积原理表明耗时的卷积运算在傅立叶变换域可以转换为元素点积运算。基于卷积原理的相关滤波技术被引入到目标跟踪中，其极高的处理速度满足了目标跟踪系统对实时性的要求。然而，由于复杂场景下光照变化、外观变形、局部遮挡、快速运动、运动模糊、背景相似等诸多因素的干扰，视频目标跟踪仍然是一项具有挑战性的任务。
目标模板是跟踪系统判别每帧候选目标是否是真实目标的重要依据。目标模板又是一个在线学习的过程，其更新机制的好坏将影响目标模板与真实目标的偏离程度。目前，在大多数基于相关滤波框架的目标跟踪方法中，大多采用逐帧更新方式对目标模板进行更新。我们使用逐帧更新模板方式对跟踪结果准确性的影响做了如下的实验：
以Staple跟踪算法跟踪Girl2视频序列为例，Girl2视频中被跟踪目标在 105～123帧之间发生了局部遮挡甚至完全遮挡，在此期间对目标模板分别进行逐帧更新和不更新两种操作。在第105帧目标开始发生局部遮挡，在第108帧目标发生了完全遮挡，此时特征响应图的最大响应值快速下降，根据局部遮挡甚至完全遮挡的跟踪结果对目标模板逐帧更新，必然导致原本正确的目标模板被污染，进而模板漂移导致第123帧目标跟踪失败。对于目标发生遮挡的情况，如果采取目标模板不更新的操作，目标模板就不会受到遮挡后跟踪结果带来的负面影响，在第123帧目标再次出现时再次准确跟踪到目标。
由此可见，逐帧更新方式并不适用于所有视频环境的特点，遮挡情况下不更新模板反而产生了更准确的跟踪结果，其本质是由于目标模板没有受到遮挡情况下跟踪结果的影响发生漂移。那么，如果我们能够判别每帧跟踪结果的置信度，自然就可以根据高置信度的跟踪结果来更新模板，尽可能维持目标模板的正确性，进而促进跟踪系统的稳定性。
根据上述情况，本发明将基于相关滤波跟踪框架，提出一种基于累积一阶导数高置信度策略的相关滤波跟踪方法。
发明内容
为了解决上述问题，本发明提供了一种基于累积一阶导数高置信度策略的相关滤波跟踪方法。
具体技术方案为：一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，所述方法基于相关滤波跟踪框架，采用方向梯度直方图和颜色直方图两种互补特征进行特征提取，融合后的响应图最大值对应位置作为当前帧跟踪结果，并根据响应图历史序列最大值向量的累积一阶导数和当前帧响应图最大值对当前跟踪结果的置信度进行判别，当前跟踪结果具有高置信度情况下方可更新目标模板以提高目标模板的正确性。
优选的，所述步骤包括：
步骤一、输入第一帧
视频帧序列中的每一帧左上角为坐标原点(1，1)，宽高分别为Width和Height，手工或自动选定第一帧中待跟踪目标的矩形区域(x0，y0，w0，h0)，即选定的跟踪目标；
其中，(x0，y0)表示矩形区域的左上角坐标，w0，h0分别表示矩形区域的宽高，第一帧选定目标也称为当前帧跟踪结果(x1，y1，w1，h1)＝(x0，y0，w0，h0)，下标表示当前帧号；
步骤二、初始化目标模板
(1)、计算搜寻窗口；
(2)、生成标准高斯响应图；
(3)、提取方向梯度直方图(HOG)特征；
(4)、计算HOG特征的相关滤波器模板；
(5)、提取颜色直方图特征模板；
步骤三、初始化高置信度策略参数
令No_Stable表示跟踪系统最近稳定态帧号，对于第一帧或当前帧被高置信度策略判别为稳定态时重置No_Stable＝t；
令No_Init表示跟踪系统的初始累积帧号，表示计算累积一阶导数的起始帧号，累积一阶导数至多计算连续n帧，设置方法如公式(1)所示：
Figure BDA0002054793990000031
令GLt表示当前帧两种特征加权融合响应图，令GL_maxt表示GLt矩阵中最大元素值，由于第一帧的跟踪目标是绝对正确的，故特别地对于第一帧将标准高斯响应图的频域表示G作为GL1，且GL_max1＝1；
令SumD表示当前帧的累积一阶导数，对于第一帧或当前帧被高置信度策略判别为稳定态时重置SumD＝0，对于其它帧按照公式(2)计算：
Figure BDA0002054793990000041
令UpdateFlag表示当前帧目标模板是否需要更新，令StableFlag表示当前帧是否被判别为稳定态，这两个参数可以同时为0，但不会同时为1，特别地对于第一帧UpdateFlag＝1，StableFlag＝0；
令H_Stable表示HOG特征相关滤波器模板的稳定态，第一帧将其初始化为H1，令bg_hist_Stable和fg_hist_Stable分别表示背景颜色直方图和前景颜色直方图模板的稳定态，第一帧将其初始化为bg_hist1和fg_hist1；
令φ1、φ2、φ3分别表示两种特征加权融合响应图矩阵元素取值范围中三个阈值，且-1.0＜φ1≤φ2＜φ3＜1.0；令
Figure BDA0002054793990000042
分别表示累积一阶导数取值范围中三个阈值，且
Figure BDA0002054793990000043
步骤四、输入下一帧并提取特征
依据步骤二中步骤(1)的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤(3)的描述提取当前帧方向梯度直方图(HOG)特征的频域表示Ft，当前帧HOG特征的响应图Gt根据公式Gt＝Ft⊙Ht-1计算得到；
依据步骤二中步骤(5)的方法提取当前帧颜色直方图特征bg_histt和 fg_histt，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_histt-1和fg_histt-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱Lt，其尺寸与高斯响应图G相同；
HOG特征响应图Gt和颜色直方图相似图谱Lt加权融合计算方法如公式(3) 所示：
GLt＝α×Gt+(1-α)×Lt (3)
其中，GLt表示当前帧两种特征加权融合响应图，α表示加权融合参数；
步骤五、确定跟踪结果
特征融合响应图GLt矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是跟踪结果；
步骤六、高置信度判别
依据步骤三中公式(1)计算No_Init，依据公式(2)计算当前帧SumD，并依据UpdateFlag的值分为以下两种情况进行处理：
(1)、当UpdateFlag＝1的情况下，根据累积一阶导数和当前最大响应值进行判别：目标模板是否更新、当前帧是否稳定态；
(2)、当UpdateFlag＝0的情况下，根据累积一阶导数和当前最大响应值进行判别：目标模板是否恢复更新；
步骤七、更新目标模板
当UpdateFlag和StableFlag皆为0时转至步骤八，否则更新目标模板的方法如下：
(1)、根据当前帧跟踪结果提取特征；
(2)、更新模板；
步骤八、如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
优选的，所述步骤二具体包括以下步骤：
(1)、计算搜寻窗口
根据上一帧即t-1帧跟踪结果(xt-1，yt-1，wt-1，ht-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据 (x0，y0，w0，h0)计算；搜寻窗口的中心点为(x_st，y_st)，其中x_st＝xt-1+wt-1/2、 y_st＝yt-1+ht-1/2，宽高分别为w_st＝1.5×wt-1+0.5×ht-1、 h_st＝1.5×ht-1+0.5×wt-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高；为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；
令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为
Figure BDA0002054793990000061
根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_snt＝w_st×γ、h_snt＝h_st×γ，当前帧的标准目标窗口的宽高为w_ont＝w_snt×0.75-h_snt×0.25、 h_ont＝h_snt×0.75-w_snt×0.25；
(2)、生成标准高斯响应图
标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_snt/cell、 h_g＝h_snt/cell，其矩阵元素值是符合二维高斯分布N(0，0，δ，δ，0)的概率密度函数，可按照
Figure BDA0002054793990000062
公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为
Figure BDA0002054793990000063
cell表示HOG特征提取过程中每个格子的尺寸参数，格子尺寸为cell×cell，(i，j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示 G，其与g同尺寸；
(3)、提取方向梯度直方图(HOG)特征
HOG特征提取时每个格子尺寸为cell×cell、块大小为2×2个格子、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征ft，其尺寸为 w_g×h_g×28；采用尺寸为w_g×h_g的余弦窗对特征ft进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示Ft，其与ft同尺寸；
(4)、计算HOG特征的相关滤波器模板
已知标准化搜寻窗口HOG特征的频域表示Ft和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示Ht可以根据公式Ht＝G/Ft计算得到；
(5)、提取颜色直方图特征模板
搜寻窗口Search(t)＝(x_st，y_st，w_st，h_st)内目标区域(xt-1，yt-1，wt-1，ht-1) 以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为(wt-1+ht-1)/10；在背景区域和前景区域分别提取背景颜色直方图bg_histt和前景颜色直方图fg_histt，即为当前帧颜色直方图特征模板。
优选的，所述步骤五具体为：
当前帧搜寻窗口内候选目标的个数为(w_snt-w_ont)×(h_snt-h_ont)，令 GL_maxt、x_GL_maxt和y_GL_maxt分别表示当前帧特征融合响应图GLt矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(xt，yt，wt，ht)；其中：
wt＝wt-1、ht＝ht-1、xt＝xt-1+(x_GL_maxt-(w_snt-w_ont)/2)/γ-wt/2、 yt＝yt-1+(y_GL_maxt-(h_snt-h_ont)/2)/γ-ht/2，γ为搜寻窗口的变换因子，该变换因子的计算方法为步骤二中步骤(1)。
优选的，所述步骤六中步骤(1)的判别方法具体为：
当累积一阶导数和当前最大响应值皆较小即SumD＜φ1或者
Figure BDA0002054793990000081
时，判别当前帧目标模板不更新且当前帧为非稳定态，设置UpdateFlag＝0， StableFlag＝0；当累积一阶导数和当前最大响应值皆较为稳定即φ2＜SumD＜φ3且
Figure BDA0002054793990000082
时，判别当前帧目标模板不更新且当前帧为稳定态，设置UpdateFlag＝0，StableFlag＝1；当以上两种情况不满足时，判别当前帧目标模板保持更新，此时UpdateFlag＝1，StableFlag＝0。
优选的，所述步骤六中步骤(2)的判别方法具体为：当累积一阶导数和当前最大响应值恢复稳定即SumD＞φ2且
Figure BDA0002054793990000083
时，判别当前帧目标模板恢复更新，设置UpdateFlag＝1，StableFlag＝0，否则，判别当前帧目标模板仍然不更新，此时UpdateFlag＝0，StableFlag＝0。
优选的，所述步骤七具体为：
(1)、根据当前帧跟踪结果提取特征；
依据当前帧跟踪结果(xt，yt，wt，ht)的位置和步骤二中步骤(1)的方法计算搜寻窗口Search′(t)，依据步骤二中步骤(3)的方法提取Search′(t)范围内方向梯度直方图(HOG)特征的频域表示Ft′，依据步骤二中步骤(4)的方法计算Ht′＝G/Ft′；依据当前帧跟踪结果(wt，yt，wt，ht)的位置和步骤二中步骤(5)的方法提取颜色直方图特征bg_histt′和fg_histt′；
(2)、更新模板；
令η为HOG特征相关滤波器模板Ht的更新参数，θ和β为背景颜色直方图和前景颜色直方图模板的更新参数；由于UpdateFlag和StableFlag不会同时为1，依据二者的值分为以下两种情况进行处理：
①当UpdateFlag＝1且StableFlag＝0时，目标模板更新方法如公式(4)～(6) 所示：
Ht＝(1-η)×Ht-1+η×Ht′ (4)
bg_histt＝(1-θ)×bg_histt-1+θ×bg_histt′ (5)
fg_histt＝(1-β)×fg_histt-1+β×fg_histt′ (6)
②当UpdateFlag＝0且StableFlag＝1时，设置参数UpdateFlag＝1， StableFlag＝0，SumD＝0，No_Stable＝t，目标模板更新方法如公式(7)～ (12)所示：
H_Stable＝(1-η)×H_Stable+η×Ht′ (7)
Ht＝H_Stable (8)
bg_hist_Stable＝(1-θ)×bg_hist_Stable+θ×bg_histt′ (9)
bg_histt＝bg_hist_Stable (10)
fg_hist_Stable＝(1-β)×fg_hist_Stable+β×fg_histt′ (11)
fg_histt＝fg_hist_Stable (12)。
本发明的有益效果为：本发明提出了一种基于累积一阶导数高置信度策略的相关滤波跟踪方法。该方法基于相关滤波跟踪框架，采用方向梯度直方图(HOG) 和颜色直方图两种互补特征进行特征提取，融合后的响应图最大值对应位置作为当前帧跟踪结果，并根据响应图历史序列最大值向量的累积一阶导数和当前帧响应图最大值对当前跟踪结果的置信度进行判别，当前跟踪结果具有高置信度情况下方可更新目标模板以提高目标模板的正确性。相比逐帧更新策略的相关滤波跟踪方法，取得了更为稳定的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于累积一阶导数高置信度策略的相关滤波跟踪方法的示意图；
图2为视频序列第一帧跟踪区域选取情况；
图3为响应图融合；
图4为Girl2视频跟踪结果部分截图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
选取Girl2视频帧序列进行目标跟踪，其具有光照变化、遮挡、尺度变化、形变、背景杂乱等挑战性问题。
步骤一、输入第一帧
选取Girl2视频，其中视频的规格是480*640*3，第一帧跟踪目标的矩形区域 (x0，y0，w0，h0)，即(294，135，44，171)，即选定的跟踪区域如图2点线框内所示，其中(294，135)是矩形区域左上角的坐标，(44，171)是矩形区域的宽高。
步骤二、初始化目标模板
(1)、计算搜寻窗口
根据上一帧即t-1帧跟踪结果(xt-1，yt-1，wt-1，ht-1)对应的矩形区域可计算当前帧，即第t帧的候选目标的搜寻窗口，特别的，第一帧搜寻窗口根据 (294，135，44，171)计算，搜寻窗口的Search(1)的中心点是(316，220.5)，宽高 w_s1，h_s1分别(152，279)。为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高。为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高。
令标准化窗口NormWin的宽高分别为w_n＝150和h_n＝150，则搜寻窗口的变换因子为
Figure BDA0002054793990000111
根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_sn1＝111、h_sn1＝203，当前帧的标准目标窗口的宽高为w_on1＝33、h_on1＝125。
(1)、生成标准高斯响应图
标准高斯响应图g是一个二维矩阵，其宽高为w_g＝27、h_g＝50，其矩阵元素值是符合二维高斯分布N(0，0，δ，δ，0)的概率密度函数，可按照
Figure BDA0002054793990000112
公式进行计算。其中，δ表示二维高斯分布的标准差，δ＝1.0035， cell＝4表示HOG特征提取过程中每个格子的尺寸参数，格子尺寸为 cell×cell＝4×4，(i，j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点。将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸。
(3)、提取方向梯度直方图(HOG)特征
HOG特征提取时每个格子尺寸为cell×cell＝4×4、块大小为2×2个格子、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征f1，其尺寸为27×50×28。采用尺寸为27×50的余弦窗对特征f1进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示F1，其与f1同尺寸。
(4)、计算HOG特征的相关滤波器模板
已知标准化搜寻窗口HOG特征的频域表示Ft和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示H1可以根据公式H1＝G/F1计算得到。
(5)、提取颜色直方图特征模板
搜寻窗口Search(1)＝(316，220.5，125，279)内目标区域(294，135，44，171)计以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为10.75。在背景区域和前景区域分别提取背景颜色直方图bg_hist1和前景颜色直方图fg_hist1，即为当前帧颜色直方图特征模板。
步骤三、初始化高置信度策略参数
第一帧的No_Stable＝1。累积一阶导数连续计算5帧，No_Init＝1， SumD＝0，UpdateFlag＝1，StableFlag＝0。
由于第一帧的跟踪目标是绝对正确的，对于第一帧将标准高斯响应图的频域表示G作为GL1，且GL_max1＝1。
HOG特征相关滤波器，第一帧将其初始化为H1。背景颜色直方图和前景颜色直方图模板的稳定态，第一帧初始化为bg_hist1和fg_hist1。
设置φ1＝-0.25、φ2＝0、φ3＝0.1为两种特征加权融合响应图矩阵元素取值范围中三个阈值，设置
Figure BDA0002054793990000121
表示累积一阶导数取值范围中三个阈值。
步骤四、输入下一帧并提取特征
输入下一帧也就是第二帧，依据步骤二中步骤(1)的方法计算当前帧搜寻窗口Search(2)，依据步骤二中步骤(3)提取当前帧方向梯度直方图(HOG)特征的频域表示F2，当前帧HOG特征的响应图G2可以根据公式G2＝F2⊙H1计算得到。
依据步骤二中步骤(5)的方法提取当前帧颜色直方图特征bg_hist2和 fg_hist2，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_hist1和fg_hist1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱L2，其尺寸与响应图G相同。
HOG特征响应图G2和颜色直方图相似图谱L2加权融合计算方法如公式(3) 所示：
GL2＝0.7×G2+(1-0.7)×L2 (3)
其中，GL2表示当前帧两种特征加权融合响应图，α表示加权融合参数，α＝0.7。响应图融合如图3所示：
特征融合的响应图矩阵值如表1所示，该表列出矩阵中第1行～10行，第1 列～10列的情况。
表1：特征融合的响应图矩阵
Figure BDA0002054793990000131
Figure BDA0002054793990000141
步骤五、确定跟踪结果
特征融合响应图GL2矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是跟踪结果。
当前帧搜寻窗口内候选目标的个数为6084。令GL_max2＝0.7294、 x_GL_max2＝40和y_GL_max2＝40分别表示当前帧特征融合响应图GL2矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为 (294，135，44，171)，其中w2＝44、h2＝171、x2＝294、y2＝135。
步骤六、高置信度判别
以第2帧为例：
由步骤三中公式(1)，(2)计算出No_Init＝1，SumD＝0，GL_max2＝0.7294，并依据当前帧的UpdateFlag＝1，做如下操作：由于当前累积一阶导数和当前最大响应值为SumD＝0，GL_max2＝0.7294，不满足SumD＜-0.25或者 GL_maxt＜0.15的条件，也不满足0＜SumD＜0.1且0.15＜GL_max2＜0.4的条件，由于以上两种情况都不满足，所以判别当前帧目标模板保持更新，此时设置 UpdateFlag＝1，StableFlag＝0。
以第53帧为例：
由步骤三中公式(1)，(2)计算出No_Init＝48，SumD＝0.0119， GL_max53＝0.2920，并依据当前帧的UpdateFlag＝1，所以做如下操作：由于当累积一阶导数和当前最大响应值为SumD＝0.0119和GL_max53＝0.2920，满足0＜SumD＜0.1且0.15＜GL_maxt＜0.4的条件，判断当前帧的模板不更新，且当前帧为稳定态，此时设置UpdateFlag＝0，StableFlag＝1。
以第106帧为例：
由步骤三中公式(1)，(2)计算出No_Init＝101，SumD＝-0.1493， GL_maxt＝0.1241，并依据当前帧的UpdateFlag＝1，做如下操作：由于当前累积一阶导数和当前最大响应值为SumD＝-0.1493和GL_maxt＝0.1241，满足 SumD＜-0.25或者GL_maxt＜0.15的条件，判别当前帧目标模板不更新且当前帧为非稳定态，设置UpdateFlag＝0，StableFlag＝0。
以第107帧为例：
由步骤三中公式(1)，(2)计算出No_Init＝102，SumD＝-0.1803， GL_maxt＝0.1171，并依据当前帧的UpdateFlag＝0，做如下操作：由于当前累积一阶导数和当前最大响应值继续处于极小的情况，因为SumD＝-0.1803和 GL_maxt＝0.1171不满足SumD＞0且GL_maxt＞0.15的条件，所以判别当前帧的跟踪结果仍然存在异常，目标模板不更新，且当前帧为非稳定态，设置 UpdateFlag＝0，StableFlag＝0。
以第120帧为例：
由步骤三中公式(1)，(2)计算出No_Init＝115，SumD＝0.0199， GL_maxt＝0.1751，并依据当前帧的UpdateFlag＝0，所以做如下操作：由于 SumD＝0.0199和GL_maxt＝0.1751满足SumD＞0且GL_maxt＞0.15的条件，当前的累积一阶导数和最大响应值恢复稳定，判别当前帧目标模板恢复更新，设置 UpdateFlag＝1，StableFlag＝0。
步骤七、更新目标模板
以第106帧和第107帧为例：由于UpdateFlag和StableFlag的值都为0，则转到步骤八。
以第2帧、第53帧和第120帧为例：由于不满足UpdateFlag和StableFlag的值都为0，执行以下特征提取和更新目标模板的操作，方法如下。
(1)、根据当前帧跟踪结果提取特征
以第2帧为例：依据当前帧跟踪结果(294，135，44，171)的位置和步骤二中步骤(1)的方法计算搜寻窗口Search′(2)为(240，81，152，279)，依据步骤二中步骤 (3)的方法提取Search′(2)范围内方向梯度直方图(HOG)特征的频域表示F2′，依据步骤二中步骤(4)的方法计算H2′＝G/F2′。依据当前帧跟踪结果 (294，135，44，171)的位置和步骤二中步骤(5)的方法提取颜色直方图特征 bg_hist2′和fg_hist2′。
(2)、更新模板
令η＝0.025为HOG特征相关滤波器模板H2的更新参数，θ＝0.04和β＝0.04为背景颜色直方图和前景颜色直方图模板的更新参数。由于 UpdateFlag和StableFlag不会同时为1，，依据二者的值分为以下两种情况进行处理：
①以第2帧和第120帧为例：由于UpdateFlag＝1且StableFlag＝0，目标模板更新方法如公式(4)～(6)所示：
H2＝(1-0.025)×H1+0.025×H2′ (4)
bg_hist2＝(1-0.04)×bg_hist1+0.04×bg_hist2′ (5)
fg_hist2＝(1-0.04)×fg_hist1+0.04×fg_hist2′ (6)。
②以第53帧为例：由于UpdateFlag＝0且StableFlag＝1，设置参数UpdateFlag＝1，StableFlag＝0，SumD＝0，No_Stable＝53，目标模板更新方法如公式(7)～(12)所示：
H_Stable＝(1-0.025)×H_Stable+0.025×Ht′ (7)
H106＝H_Stable (8)
bg_hist_Stable＝(1-0.04)×bg_hist_Stable+0.04×bg_histt′ (9)
bg_hist106＝bg_hist_Stable (10)
fg_hist_Stable＝(1-0.04)×fg_hist_Stable+0.04×fg_histt′ (11)
fg_hist106＝fg_hist_Stable (12)。
步骤八、如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
最后，本发明实施例的硬件实验环境为Intel Core i7-6700 CPU、主频3.4GHz、内存8GB配置的计算机，最终跟踪结果的成功率达到98.7％，精度值可以达到 0.979，部分跟踪结果截图如图4所示。图中，实线框表示视频标记真实位置，点线框表示本发明跟踪结果，虚线框表示搜索区域。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述方法基于相关滤波跟踪框架，采用方向梯度直方图和颜色直方图两种互补特征进行特征提取，融合后的响应图最大值对应位置作为当前帧跟踪结果，并根据响应图历史序列最大值向量的累积一阶导数和当前帧响应图最大值对当前跟踪结果的置信度进行判别，当前跟踪结果具有高置信度情况下方可更新目标模板以提高目标模板的正确性；
步骤包括：
步骤一、输入第一帧
视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height，手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w0,h0)，即选定的跟踪目标；
其中，(x0,y0)表示矩形区域的左上角坐标，w0,h0分别表示矩形区域的宽高，第一帧选定目标也称为当前帧跟踪结果(x1,y1,w1,h1)＝(x0,y0,w0,h0)，下标表示当前帧号；
步骤二、初始化目标模板
1、计算搜寻窗口；
2、生成标准高斯响应图；
3、提取方向梯度直方图(HOG)特征；
4、计算HOG特征的相关滤波器模板；
5、提取颜色直方图特征模板；
步骤三、初始化高置信度策略参数
令No_Stable表示跟踪系统最近稳定态帧号，对于第一帧或当前帧被高置信度策略判别为稳定态时重置No_Stable＝t；
令No_Init表示跟踪系统的初始累积帧号，表示计算累积一阶导数的起始帧号，累积一阶导数至多计算连续n帧，设置方法如公式(1)所示：
Figure FDA0003632063840000011
令GLt表示当前帧两种特征加权融合响应图，令GL_maxt表示GLt矩阵中最大元素值，由于第一帧的跟踪目标是绝对正确的，故特别地对于第一帧将标准高斯响应图的频域表示G作为GL1，且GL_max1＝1；
令SumD表示当前帧的累积一阶导数，对于第一帧或当前帧被高置信度策略判别为稳定态时重置SumD＝0，对于其它帧按照公式(2)计算：
Figure FDA0003632063840000021
令UpdateFlag表示当前帧目标模板是否需要更新，令StableFlag表示当前帧是否被判别为稳定态，这两个参数可以同时为0，但不会同时为1，特别地对于第一帧UpdateFlag＝1，StableFlag＝0；
令H_Stable表示HOG特征相关滤波器模板的稳定态，第一帧将其初始化为H1，令bg_hist_Stable和fg_hist_Stable分别表示背景颜色直方图和前景颜色直方图模板的稳定态，第一帧将其初始化为bg_hist1和fg_hist1；
令φ1、φ2、φ3分别表示两种特征加权融合响应图矩阵元素取值范围中三个阈值，且-1.0＜φ1≤φ2<φ3＜1.0；令
Figure FDA0003632063840000022
分别表示累积一阶导数取值范围中三个阈值，且
Figure FDA0003632063840000023
步骤四、输入下一帧并提取特征
依据步骤二中步骤1的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤3的描述提取当前帧方向梯度直方图(HOG)特征的频域表示Ft，当前帧HOG特征的响应图Gt根据公式Gt＝Ft⊙Ht-1计算得到；
依据步骤二中步骤5的方法提取当前帧颜色直方图特征bg_histt和fg_histt，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_histt-1和fg_histt-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱Lt，其尺寸与高斯响应图G相同；
HOG特征响应图Gt和颜色直方图相似图谱Lt加权融合计算方法如公式(3)所示：
GLt＝α×Gt+(1-α)×Lt (3)
其中，GLt表示当前帧两种特征加权融合响应图，α表示加权融合参数；
步骤五、确定跟踪结果
特征融合响应图GLt矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是跟踪结果；
步骤六、高置信度判别
依据步骤三中公式(1)计算No_Init，依据公式(2)计算当前帧SumD，并依据UpdateFlag的值分为以下两种情况进行处理：
1、当UpdateFlag＝1的情况下，根据累积一阶导数和当前最大响应值进行判别：目标模板是否更新、当前帧是否稳定态；
2、当UpdateFlag＝0的情况下，根据累积一阶导数和当前最大响应值进行判别：目标模板是否恢复更新；
步骤七、更新目标模板
当UpdateFlag和StableFlag皆为0时转至步骤八，否则更新目标模板的方法如下：
1、根据当前帧跟踪结果提取特征；
2、更新模板；
步骤八、如果当前帧是最后一帧，跟踪结束；否则，转至步骤4。
2.根据权利要求1所述的一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述步骤二具体包括以下步骤：
1、计算搜寻窗口
根据上一帧即t-1帧跟踪结果(xt-1,yt-1,wt-1,ht-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(x0,y0,w0,h0)计算；搜寻窗口的中心点为(x_st,y_st)，其中x_st＝xt-1+wt-1/2、y_st＝yt-1+ht-1/2，宽高分别为w_st＝1.5×wt-1+0.5×ht-1、h_st＝1.5×ht-1+0.5×wt-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高；为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；
令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为
Figure FDA0003632063840000041
根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_snt＝w_st×γ、h_snt＝h_st×γ，当前帧的标准目标窗口的宽高为w_ont＝w_snt×0.75-h_snt×0.25、h_ont＝h_snt×0.75-w_snt×0.25；
2、生成标准高斯响应图
标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_snt/cell、h_g＝h_snt/cell，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照
Figure FDA0003632063840000042
公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为
Figure FDA0003632063840000043
cell表示HOG特征提取过程中每个格子的尺寸参数，格子尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸；
3、提取方向梯度直方图(HOG)特征
HOG特征提取时每个格子尺寸为cell×cell、块大小为2×2个格子、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征ft，其尺寸为w_g×h_g×28；采用尺寸为w_g×h_g的余弦窗对特征ft进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示Ft，其与ft同尺寸；
4、计算HOG特征的相关滤波器模板
已知标准化搜寻窗口HOG特征的频域表示Ft和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示Ht可以根据公式Ht＝G/Ft计算得到；
5、提取颜色直方图特征模板
搜寻窗口Search(t)＝(x_st,y_st,w_st,h_st)内目标区域(xt-1,yt-1,wt-1,ht-1)以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为(wt-1+ht-1)/10；在背景区域和前景区域分别提取背景颜色直方图bg_histt和前景颜色直方图fg_histt，即为当前帧颜色直方图特征模板。
3.根据权利要求1所述的一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述步骤五具体为：
当前帧搜寻窗口内候选目标的个数为(w_snt-w_ont)×(h_snt-h_ont)，令GL_maxt、x_GL_maxt和y_GL_maxt分别表示当前帧特征融合响应图GLt矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(xt,yt,wt,ht)；其中：
wt＝wt-1、ht＝ht-1、xt＝xt-1+(x_GL_maxt-(w_snt-w_ont)/2)/γ-wt/2、yt＝yt-1+(y_GL_maxt-(h_snt-h_ont)/2)/γ-ht/2，γ为搜寻窗口的变换因子，该变换因子的计算方法为步骤二中步骤1)。
4.根据权利要求1所述的一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述步骤六中步骤1的判别方法具体为：
当累积一阶导数和当前最大响应值皆较小即SumD＜φ1或者
Figure FDA0003632063840000052
时，判别当前帧目标模板不更新且当前帧为非稳定态，设置UpdateFlag＝0，StableFlag＝0；当累积一阶导数和当前最大响应值皆较为稳定即φ2＜SumD＜φ3且
Figure FDA0003632063840000051
时，判别当前帧目标模板不更新且当前帧为稳定态，设置UpdateFlag＝0，StableFlag＝1；当以上两种情况不满足时，判别当前帧目标模板保持更新，此时UpdateFlag＝1，StableFlag＝0。
5.根据权利要求1所述的一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述步骤六中步骤2的判别方法具体为：当累积一阶导数和当前最大响应值恢复稳定即SumD＞φ2且
Figure FDA0003632063840000061
时，判别当前帧目标模板恢复更新，设置UpdateFlag＝1，StableFlag＝0，否则，判别当前帧目标模板仍然不更新，此时UpdateFlag＝0，StableFlag＝0。
6.根据权利要求1所述的一种基于累积一阶导数高置信度策略的相关滤波跟踪方法，其特征在于，所述步骤七具体为：
1、根据当前帧跟踪结果提取特征；
依据当前帧跟踪结果(xt,yt,wt,ht)的位置和步骤二中步骤1的方法计算搜寻窗口Search'(t)，依据步骤二中步骤3的方法提取Search'(t)范围内方向梯度直方图(HOG)特征的频域表示Ft'，依据步骤二中步骤4的方法计算Ht'＝G/Ft'；依据当前帧跟踪结果(xt,yt,wt,ht)的位置和步骤二中步骤5的方法提取颜色直方图特征bg_histt'和fg_histt'；
2、更新模板；
令η为HOG特征相关滤波器模板Ht的更新参数，θ和β为背景颜色直方图和前景颜色直方图模板的更新参数；由于UpdateFlag和StableFlag不会同时为1，依据二者的值分为以下两种情况进行处理：
(1)当UpdateFlag＝1且StableFlag＝0时，目标模板更新方法如公式(4)～(6)所示：
Ht＝(1-η)×Ht-1+η×Ht' (4)
bg_histt＝(1-θ)×bg_histt-1+θ×bg_histt' (5)
fg_histt＝(1-β)×fg_histt-1+β×fg_histt' (6)
(2)当UpdateFlag＝0且StableFlag＝1时，设置参数UpdateFlag＝1，StableFlag＝0，SumD＝0，No_Stable＝t，目标模板更新方法如公式(7)～(12)所示：
H_Stable＝(1-η)×H_Stable+η×Ht' (7)
Ht＝H_Stable (8)
bg_hist_Stable＝(1-θ)×bg_hist_Stable+θ×bg_histt' (9)
bg_histt＝bg_hist_Stable (10)
fg_hist_Stable＝(1-β)×fg_hist_Stable+β×fg_histt' (11)
fg_histt＝fg_hist_Stable (12)。
CN201910385800.2A 2019-05-09 2019-05-09 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法 Expired - Fee Related CN110147747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385800.2A CN110147747B (zh) 2019-05-09 2019-05-09 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385800.2A CN110147747B (zh) 2019-05-09 2019-05-09 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN110147747A CN110147747A (zh) 2019-08-20
CN110147747B true CN110147747B (zh) 2022-07-12

Family

ID=67594123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385800.2A Expired - Fee Related CN110147747B (zh) 2019-05-09 2019-05-09 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN110147747B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379802B (zh) * 2021-07-01 2024-04-16 昆明理工大学 一种多特征自适应融合的相关滤波目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN108961307A (zh) * 2018-05-17 2018-12-07 南京航空航天大学 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法
CN109584271A (zh) * 2018-11-15 2019-04-05 西北工业大学 基于高置信度更新策略的高速相关滤波跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500711B1 (ko) * 2012-01-19 2015-03-10 한국전자통신연구원 컬러 히스토그램을 이용한 사람 추적 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN108961307A (zh) * 2018-05-17 2018-12-07 南京航空航天大学 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法
CN109584271A (zh) * 2018-11-15 2019-04-05 西北工业大学 基于高置信度更新策略的高速相关滤波跟踪方法

Also Published As

Publication number Publication date
CN110147747A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
Scheidegger et al. Mono-camera 3d multi-object tracking using deep learning detections and pmbm filtering
EP3979200A1 (en) Video target tracking method and apparatus, computer device and storage medium
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN111080674B (zh) 一种基于混合高斯模型的多目标isar关键点提取方法
CN111127519B (zh) 一种双模型融合的目标跟踪控制系统及其方法
CN107967692A (zh) 一种基于跟踪学习检测的目标跟踪优化方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN116309731A (zh) 一种基于自适应卡尔曼滤波的多目标动态跟踪方法
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN110163132B (zh) 一种基于最大响应值变化率更新策略的相关滤波跟踪方法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN110378932B (zh) 一种基于空间正则矫正的相关滤波视觉跟踪方法
CN115471525A (zh) 基于融合孪生网络与卡尔曼滤波的目标跟踪方法及系统
CN110147747B (zh) 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113888607A (zh) 基于事件相机的目标检测与跟踪方法、系统和存储介质
CN116777956A (zh) 基于多尺度航迹管理的运动目标筛选方法
CN109934853B (zh) 基于响应图置信区域自适应特征融合的相关滤波跟踪方法
CN107194947B (zh) 一种自适应自纠正的目标跟踪方法
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
CN112465865A (zh) 一种基于背景建模和IoU匹配的多目标跟踪方法
CN110751671A (zh) 一种基于核相关滤波与运动估计的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220712