CN110544267B - 一种自适应选择特征的相关滤波跟踪方法 - Google Patents

一种自适应选择特征的相关滤波跟踪方法 Download PDF

Info

Publication number
CN110544267B
CN110544267B CN201910670301.8A CN201910670301A CN110544267B CN 110544267 B CN110544267 B CN 110544267B CN 201910670301 A CN201910670301 A CN 201910670301A CN 110544267 B CN110544267 B CN 110544267B
Authority
CN
China
Prior art keywords
hog
features
res
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910670301.8A
Other languages
English (en)
Other versions
CN110544267A (zh
Inventor
魏龙生
孙加乐
刘玮
罗大鹏
汪敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910670301.8A priority Critical patent/CN110544267B/zh
Publication of CN110544267A publication Critical patent/CN110544267A/zh
Application granted granted Critical
Publication of CN110544267B publication Critical patent/CN110544267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自适应选择特征的相关滤波跟踪方法，经过多层学习的深度特征在目标特征表达上要优于传统的手工特征，因此在目标处于复杂背景条件下跟踪精度上好于使用传统特征跟踪，但计算深度特征所耗费的时间也是庞大。融合传统特征的速度优势与深度特征在复杂背景条件下的跟踪精度优势，所以提出自适应选择特征的相关滤波跟踪。首先，在视频的前几帧，同时使用三种特征进行跟踪，并计算传统特征的前几帧的平均匹配率。则下一帧使用平均匹配率大的传统特征，剩下的特征暂且不用，提高速度。同时计算该特征当前帧的匹配率，若超过所设阈值，接下来的帧继续使用这个特征，否则重新计算剩下的两种特征，在跟踪过程中不断自适应的选择跟踪。

Description

一种自适应选择特征的相关滤波跟踪方法
技术领域
本发明涉及计算机视觉跟踪技术领域，具体为一种自适应选择特征的相关滤波跟踪方法。
背景技术
目标跟踪算法是计算机视觉中用于处理视频图像信息的重要技术手段，并且有着广泛的应用场景，如机器人、视频监控、智能交通等。近几十年来，研究者提出了多种优秀的目标跟踪算法，在实际环境中的目标跟踪仍然面临着一系列的挑战。目标跟踪的过程中要面对目标快速移动、背景复杂、遮挡、光照变化等不定因素的挑战,常常导致跟踪失败，对跟踪算法鲁棒性要求很高。
相关滤波跟踪提出以来，其就出色的性能和速度优势，在跟踪领域引起很大关注。目前基于深度学习方法的目标跟踪方法和基于深度特征的相关滤波目标跟踪方法对目标的特征提取较好，因此在对抗复杂环境干扰时具有较好的鲁棒性，但是现有大多数该类方法速度非常慢，难以达到实时性，而极少数高速的该类方法跟踪效果比较差，因此使用传统特征的核化相关滤波跟踪方法在近几年使用较多。
基于核化相关滤波目标跟踪方法主要过程：
(1)初始化阶段：根据目标的初始化信息，在目标周围区域进行循环移位采样，根据移位样本的中心距离真实目标中心，形成高斯标签作为样本的标签值。提取样本特征，同时使用岭回归方法，训练学习得到滤波器。
(2)跟踪阶段：在待跟踪的搜索区域(上一帧的目标位置)进行特征提取，将学习到的滤波器与搜索区域进行卷积操作，得到响应图的最大值点即为目标中心位置。
(3)模型更新阶段：为了确保模型的鲁棒性，减少模型漂移，每一帧之间使用固定的学习率来进行模型更新。
发明内容
针对现有技术的不足，本发明提供了一种自适应选择特征的相关滤波跟踪方法，解决了上述背景技术中提出的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种自适应选择特征的相关滤波跟踪方法，具体包括如下步骤：
(1)读取视频图像第t帧数据(第一帧图像序列为t＝1)，对第t帧图像中设定跟踪目标α，并进一步确定目标α的中心位置，以及目标α的宽度wt和高度ht；
(2)以目标α的中心位置为中心，划定宽度为w、高度为h的图像区域作为第一目标区域，计算该区域的HOG特征，CN特征及深度特征；
(3)根据计算的HOG特征，CN特征及深度特征分别构建相关滤波器模型；
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值，则进入S5，否则进入(7)；
(5)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征，CN特征及深度特征；
(6)利用核化相关滤波计算方法，结合步骤(5)目标区域，进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN，并保存。以及计算得到深度特征的响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行深度特征，HOG特征和CN特征模版更新；
(7)计算res_HOG和res_CN的平均值，若res_HOG>res_CN,则进入S8，反之则进入(11)；
(8)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征；
(9)利用核化相关滤波计算方法，结合步骤(8)目标区域，进一步求得HOG特征响应置信图，并求得响应置信图中最大值为res_HOG；
(10)若res_HOG<threshold1，则返回S5，且重复步骤(4)-(6)，至图像处理完毕。反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行HOG特征模版更新。继续读入下一帧图片，重复步骤(8)-(10)，至图像序列全部处理完毕；
(11)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的CN特征；
(12)利用核化相关滤波计算方法，结合步骤(11)目标区域，进一步求得CN特征响应置信图，并求得响应置信图中最大值为res_CN；
(13)若res_CN<threshold2，则返回(5),且重复步骤(4)-(6)，至图像处理完毕。反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行CN特征模版更新。继续读入下一帧图片，重复步骤(11)-(13)，至图像序列全部处理完毕。
优选的，所述步骤(2)中，提取深度特征如下步骤：
利用不同层的卷积特征图来更详细地描述待跟踪目标，在本实施例中，使用已经在ImageNet训练好的网络，深度网络框架为VGG-Net19分别提取不同层的卷积特征，依次是conv3-4，conv4-4，conv5-4。
优选的，所述步骤(3)中，构建相关滤波器模型如下步骤：
(31)、根据相关滤波计算方法，根据移位样本与目标区域中心位置的距离，为各移位样本分配连续的高斯标签值y，对提取HOG特征进行快速傅里叶变换得到外观模型xf，由
Figure GDA0003310719520000041
其中F-1为傅里叶逆变换，
Figure GDA0003310719520000042
为xf的傅里叶变换，*为复共轭，σ为高斯分布的尺度参数，
Figure GDA0003310719520000043
为核函数κxx回归值；
(32)、故
Figure GDA0003310719520000044
得到HOG特征滤波器模型，其中λ是正则化参数，
Figure GDA0003310719520000045
为y的傅里叶变换，y为对应的xf的回归值。同理可求得
Figure GDA0003310719520000046
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型，利用上面公式可求得
Figure GDA0003310719520000047
以及
Figure GDA0003310719520000048
优选的，所述步骤(4)中有如下步骤：
读取新的图像序列为t+1帧，判断当前帧t+1是否小于第一预设值，其中第一预设值是个动态值它等于currentFrame(当前帧数)+offset(偏移量)。当小于等于第一预设值时，使用三种特征同时进行跟踪，其中深度特征用来预测跟踪目标位置，而其他两种特征用来记录各自得到响应置信图最大值。若大于第一预设值，则切换到一种特征(HOG或者CN)进行跟踪，提高跟踪速度。
优选的，所述步骤(5)中有如下步骤：
新的图像序列为t+1帧，根据相关滤波跟踪原理，目标在上下两帧变化很小，因此利用t(上一帧)的目标位置和大小，在t+1(下一帧)帧图像进行HOG，CN，以及深度特征提取。
优选的，所述步骤(6)中有如下步骤：
(61)、根据相关滤波跟踪计算方法，对于提取HOG特征建立外观模型，zf，将zf与xf进行高斯相关滤波，计算得到响应置信图
Figure GDA0003310719520000051
其中
Figure GDA0003310719520000052
为核函数κxz回归值，
Figure GDA0003310719520000053
F-1为傅里叶逆变换，*为复共轭，σ为高斯分布的尺度参数。根据HOG特征响应置信图可求得最大值为res_HOG，同理可求得CN特征响应置信图中最大值为res_CN，并保存。
(62)、根据计算HOG特征的方法，计算深度特征三层的响应置信图，分别为resconv3-4，resconv4-4以及resconv5-4，分别赋予不同的权重大小，依次是0.25、0.5、1，加权融合得到深度特征响应置信图resDEEP。根据深度特征响应置信图最大值中的位置，即为预测目标位置。
(63)、进行HOG特征模板，CN特征模板和深度特征模板更新。
优选的，所述步骤(7)中有如下步骤：
计算之前保存的res_HOG，res_CN，求出它们的平均值，也就是它们的平均匹配率，也是自适应选择特征的判断条件。如果HOG特征的平均匹配率大于CN特征，说明HOG特征效果优于CN特征，则下一帧使用HOG特征进行跟踪。
优选的，所述步骤(8)，(9)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得HOG特征的响应置信图，求出响应置信图图中最大值res_HOG。
优选的，所述步骤(10)中有如下步骤：
(91)、若res_HOG<threshold1，说明当前帧使用HOG特征效果并不理想，重新使用CN特征和深度特征进行跟踪，重新设置第一预设值。参照步骤(5)-(6)。
(92)、若res_HOG≥threshold1，说明使用HOG特征效果较理想，根据响应置信图中最大值的位置，即为当前帧预测的目标位置。然后进行HOG模板更新。则下一帧使用HOG特征进行跟踪，抛弃CN特征和深度特征，提高速度。
优选的，步骤(11)，(12)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得CN特征的响应置信图，求出响应置信图图中最大值res_CN，步骤(13)中有如下步骤：
参照(91)-(92)步骤，CN特征的选择与HOG一样，当小于threshold2(阈值2)，说明使用CN特征效果不理想，则重新调用其他两种特征，并修改第一预设值。反之，根据求得的响应置信图求得当前帧目标位置，并且下一帧使用CN特征进行跟踪，抛弃其他两种特征。
本发明提供了一种自适应选择特征的相关滤波跟踪方法，具备以下有益效果：解决行业低负荷，高烟气，低能效的缺陷。解决了因炉头通道孔过大，在燃烧高温后产生回火炸炉具的不良现象；
1、所述基于自适应选择特征的相关滤波跟踪及系统/装置，当使用深度卷积网络进行特征提取时，由于卷积层网络庞大，计算特征需要耗费大量时间，无法满足跟踪实时性。当而本方法是自适应的选择传统特征来进行目标跟踪，能尽可能减少精度损失，又能带来速度上巨大提升，并能满足实时性要求。实验表明，在处理OTB-100视频序列时，在跟踪速度上能达到实时性要求。
2、使用传统特征来进行目标跟踪时，在跟踪精度上不如使用深度特征。当而本方法是利用先利用深度特征进行目标定位，然后再找出适合的传统特征进行接下来的帧的跟踪。当传统特征跟踪不佳时，再调用深度特征进行跟踪，在进度上优于使用一种特征进行跟踪。实验表明，在处理OTB-100视频序列时，该算法与其他使用传统特征算法比较，在跟踪精度上有着明显提升。
附图说明
图1为本发明流程示意图；
图2为本发明使用三种特征进行跟踪的流程示意图；
图3为本发明在OTB-100数据上的实验结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1至图3，本发明提供一种技术方案：一种自适应选择特征的相关滤波跟踪方法，具体包括如下步骤：
(1)读取视频图像第t帧数据(第一帧图像序列为t＝1)，对第t帧图像中设定跟踪目标α，并进一步确定目标α的中心位置，以及目标α的宽度wt和高度ht；
(2)以目标α的中心位置为中心，划定宽度为w、高度为h的图像区域作为第一目标区域，计算该区域的HOG特征，CN特征及深度特征；
(3)根据计算的HOG特征，CN特征及深度特征分别构建相关滤波器模型；
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值，则进入S5，否则进入(7)；
(5)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征，CN特征及深度特征；
(6)利用核化相关滤波计算方法，结合步骤(5)目标区域，进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN，并保存。以及计算得到深度特征的响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行深度特征，HOG特征和CN特征模版更新；
(7)计算res_HOG和res_CN的平均值，若res_HOG>res_CN,则进入S8，反之则进入(11)；
(8)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征；
(9)利用核化相关滤波计算方法，结合步骤(8)目标区域，进一步求得HOG特征响应置信图，并求得响应置信图中最大值为res_HOG；
(10)若res_HOG<threshold1，则返回S5，且重复步骤(4)-(6)，至图像处理完毕。反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行HOG特征模版更新。继续读入下一帧图片，重复步骤(8)-(10)，至图像序列全部处理完毕；
(11)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的CN特征；
(12)利用核化相关滤波计算方法，结合步骤(11)目标区域，进一步求得CN特征响应置信图，并求得响应置信图中最大值为res_CN；
(13)若res_CN<threshold2，则返回(5),且重复步骤(4)-(6)，至图像处理完毕。反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行CN特征模版更新。继续读入下一帧图片，重复步骤(11)-(13)，至图像序列全部处理完毕。
所述步骤(2)中，提取深度特征如下步骤：
利用不同层的卷积特征图来更详细地描述待跟踪目标，在本实施例中，使用已经在ImageNet训练好的网络，深度网络框架为VGG-Net19分别提取不同层的卷积特征，依次是conv3-4，conv4-4，conv5-4。
所述步骤(3)中，构建相关滤波器模型如下步骤：
(31)、根据相关滤波计算方法，根据移位样本与目标区域中心位置的距离，为各移位样本分配连续的高斯标签值y，对提取HOG特征进行快速傅里叶变换得到外观模型xf，由
Figure GDA0003310719520000091
其中F-1为傅里叶逆变换，
Figure GDA0003310719520000092
为xf的傅里叶变换，*为复共轭，σ为高斯分布的尺度参数，
Figure GDA0003310719520000093
为核函数κxx回归值；
(32)、故
Figure GDA0003310719520000094
得到HOG特征滤波器模型，其中λ是正则化参数，
Figure GDA0003310719520000095
为y的傅里叶变换，y为对应的xf的回归值。同理可求得
Figure GDA0003310719520000096
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型，利用上面公式可求得
Figure GDA0003310719520000097
以及
Figure GDA0003310719520000098
所述步骤(4)中有如下步骤：
读取新的图像序列为t+1帧，判断当前帧t+1是否小于第一预设值，其中第一预设值是个动态值它等于currentFrame(当前帧数)+offset(偏移量)。当小于等于第一预设值时，使用三种特征同时进行跟踪，其中深度特征用来预测跟踪目标位置，而其他两种特征用来记录各自得到响应置信图最大值。若大于第一预设值，则切换到一种特征(HOG或者CN)进行跟踪，提高跟踪速度。
所述步骤(5)中有如下步骤：
新的图像序列为t+1帧，根据相关滤波跟踪原理，目标在上下两帧变化很小，因此利用t(上一帧)的目标位置和大小，在t+1(下一帧)帧图像进行HOG，CN，以及深度特征提取。
所述步骤(6)中有如下步骤：
(61)、根据相关滤波跟踪计算方法，对于提取HOG特征建立外观模型，zf，将zf与xf进行高斯相关滤波，计算得到响应置信图
Figure GDA0003310719520000101
其中
Figure GDA0003310719520000102
为核函数κxz回归值，
Figure GDA0003310719520000103
F-1为傅里叶逆变换，*为复共轭，σ为高斯分布的尺度参数。根据HOG特征响应置信图可求得最大值为res_HOG，同理可求得CN特征响应置信图中最大值为res_CN，并保存。
(62)、根据计算HOG特征的方法，计算深度特征三层的响应置信图，分别为resconv3-4，resconv4-4以及resconv5-4，分别赋予不同的权重大小，依次是0.25、0.5、1，加权融合得到深度特征响应置信图resDEEP。根据深度特征响应置信图最大值中的位置，即为预测目标位置。
(63)、进行HOG特征模板，CN特征模板和深度特征模板更新。
所述步骤(7)中有如下步骤：
计算之前保存的res_HOG，res_CN，求出它们的平均值，也就是它们的平均匹配率，也是自适应选择特征的判断条件。如果HOG特征的平均匹配率大于CN特征，说明HOG特征效果优于CN特征，则下一帧使用HOG特征进行跟踪。
所述步骤(8)，(9)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得HOG特征的响应置信图，求出响应置信图图中最大值res_HOG。
所述步骤(10)中有如下步骤：
(91)、若res_HOG<threshold1，说明当前帧使用HOG特征效果并不理想，重新使用CN特征和深度特征进行跟踪，重新设置第一预设值。参照步骤(5)-(6)。
(92)、若res_HOG≥threshold1，说明使用HOG特征效果较理想，根据响应置信图中最大值的位置，即为当前帧预测的目标位置。然后进行HOG模板更新。则下一帧使用HOG特征进行跟踪，抛弃CN特征和深度特征，提高速度。
步骤(11)，(12)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得CN特征的响应置信图，求出响应置信图图中最大值res_CN，步骤(13)中有如下步骤：
参照(91)-(92)步骤，CN特征的选择与HOG一样，当小于threshold2(阈值2)，说明使用CN特征效果不理想，则重新调用其他两种特征，并修改第一预设值。反之，根据求得的响应置信图求得当前帧目标位置，并且下一帧使用CN特征进行跟踪，抛弃其他两种特征。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种自适应选择特征的相关滤波跟踪方法，其特征在于，具体包括如下步骤：
(1)读取视频图像第t帧数据，第一帧图像序列为t＝1，对第t帧图像中设定跟踪目标α，并进一步确定目标α的中心位置，以及目标α的宽度wt和高度ht；
(2)以目标α的中心位置为中心，划定宽度为w、高度为h的图像区域作为第一目标区域，计算该区域的HOG特征，CN特征及深度特征；
(3)根据计算的HOG特征，CN特征及深度特征分别构建相关滤波器模型；
(4)读取新的图像序列为t+1帧,若t+1≤第一预设值，则进入S5，否则进入(7)；
(5)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征，CN特征及深度特征；
(6)利用核化相关滤波计算方法，结合步骤(5)目标区域，进一步分别求得t+1帧的HOG特征和CN特征响应置信图的最大值分别为res_HOG和res_CN，并保存，以及计算得到深度特征的响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行深度特征，HOG特征和CN特征模版更新；
(7)计算res_HOG和res_CN的平均值，若res_HOG>res_CN,则进入S8，反之则进入(11)；
(8)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的HOG特征；
(9)利用核化相关滤波计算方法，结合步骤(8)目标区域，进一步求得HOG特征响应置信图，并求得响应置信图中最大值为res_HOG；
(10)若res_HOG＜threshold1，则返回S5，且重复步骤(4)-(6)，至图像处理完毕，反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行HOG特征模版更新，继续读入下一帧图片，重复步骤(8)-(10)，至图像序列全部处理完毕；
(11)对于读取新的图像序列为t+1帧，根据t帧的α的中心位置为中心，划定宽度为w，高度为h的图像区域,计算该区域的CN特征；
(12)利用核化相关滤波计算方法，结合步骤(11)目标区域，进一步求得CN特征响应置信图，并求得响应置信图中最大值为res_CN；
(13)若res_CN＜threshold2，则返回(5),且重复步骤(4)-(6)，至图像处理完毕，反之则计算响应置信图中最大值的位置，即为t+1帧的目标α新的位置中心，然后进行CN特征模版更新，继续读入下一帧图片，重复步骤(11)-(13)，至图像序列全部处理完毕。
2.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(2)中，提取深度特征如下步骤：
利用不同层的卷积特征图来更详细地描述待跟踪目标，使用已经在ImageNet训练好的网络，深度网络框架为VGG-Net19分别提取不同层的卷积特征，依次是conv3-4，conv4-4，conv5-4。
3.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(3)中，构建相关滤波器模型如下步骤：
(31)、根据相关滤波计算方法，根据移位样本与目标区域中心位置的距离，为各移位样本分配连续的高斯标签值y，对提取HOG特征进行快速傅里叶变换得到外观模型xf，由
Figure FDA0003310719510000031
其中F-1为傅里叶逆变换，
Figure FDA0003310719510000032
为xf的傅里叶变换，*为复共轭，σ为高斯分布的尺度参数，
Figure FDA0003310719510000033
为核函数κxx回归值；
(32)、故
Figure FDA0003310719510000034
得到HOG特征滤波器模型，其中λ是正则化参数，
Figure FDA0003310719510000035
为y的傅里叶变换，y为对应的xf的回归值，同理可求得
Figure FDA0003310719510000036
(33)、针对深度特征中三层分别得到三个深度特征滤波器模型，利用上面公式可求得
Figure FDA0003310719510000037
以及
Figure FDA0003310719510000038
4.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(4)中有如下步骤：
读取新的图像序列为t+1帧，判断当前帧t+1是否小于第一预设值，其中第一预设值是个动态值它等于currentFrame当前帧+offset偏移量，当小于等于第一预设值时，使用三种特征同时进行跟踪，其中深度特征用来预测跟踪目标位置，而其他两种特征用来记录各自得到响应置信图最大值，若大于第一预设值，则切换到一种特征，HOG或者CN，进行跟踪，提高跟踪速度。
5.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(5)中有如下步骤：
新的图像序列为t+1帧，根据相关滤波跟踪原理，目标在上下两帧变化很小，因此利用t上一帧的目标位置和大小，在t+1下一帧帧图像进行HOG，CN，以及深度特征提取。
6.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(6)中有如下步骤：
(61)、根据相关滤波跟踪计算方法，对于提取HOG特征建立外观模型，zf，将zf与xf进行高斯相关滤波，计算得到响应置信图
Figure FDA0003310719510000041
其中
Figure FDA0003310719510000042
为核函数κxz回归值，
Figure FDA0003310719510000043
F-1为傅里叶逆变换，*为复共轭，σ为高斯分布的尺度参数；
根据HOG特征响应置信图可求得最大值为res_HOG，同理可求得CN特征响应置信图中最大值为res_CN，并保存；
(62)、根据计算HOG特征的方法，计算深度特征三层的响应置信图，分别为resconv3-4，resconv4-4以及resconv5-4，分别赋予不同的权重大小，依次是0.25、0.5、1，加权融合得到深度特征响应置信图resDEEP，根据深度特征响应置信图最大值中的位置，即为预测目标位置；
(63)、进行HOG特征模板，CN特征模板和深度特征模板更新。
7.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(7)中有如下步骤：
计算之前保存的res_HOG，res_CN，求出它们的平均值，也就是它们的平均匹配率，也是自适应选择特征的判断条件，如果HOG特征的平均匹配率大于CN特征，说明HOG特征效果优于CN特征，则下一帧使用HOG特征进行跟踪。
8.根据权利要求6所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(8)，(9)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得HOG特征的响应置信图，求出响应置信图图中最大值res_HOG。
9.根据权利要求1所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(10)中有如下步骤：
(91)、若res_HOG＜threshold1，说明当前帧使用HOG特征效果并不理想，重新使用CN特征和深度特征进行跟踪，重新设置第一预设值，参照步骤(5)-(6)；
(92)、若res_HOG≥threshold1，说明使用HOG特征效果较理想，根据响应置信图中最大值的位置，即为当前帧预测的目标位置，然后进行HOG模板更新，则下一帧使用HOG特征进行跟踪，抛弃CN特征和深度特征，提高速度。
10.根据权利要求6所述的一种自适应选择特征的相关滤波跟踪方法，其特征在于：所述步骤(11)，(12)中有如下步骤：
参照于步骤(61)的相关滤波计算方法，可求得CN特征的响应置信图，求出响应置信图图中最大值res_CN，步骤(13)中有如下步骤：
参照(91)-(92)步骤，CN特征的选择与HOG一样，当小于threshold2阈值2，说明使用CN特征效果不理想，则重新调用其他两种特征，并修改第一预设值，反之，根据求得的响应置信图求得当前帧目标位置，并且下一帧使用CN特征进行跟踪，抛弃其他两种特征。
CN201910670301.8A 2019-07-24 2019-07-24 一种自适应选择特征的相关滤波跟踪方法 Active CN110544267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910670301.8A CN110544267B (zh) 2019-07-24 2019-07-24 一种自适应选择特征的相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910670301.8A CN110544267B (zh) 2019-07-24 2019-07-24 一种自适应选择特征的相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN110544267A CN110544267A (zh) 2019-12-06
CN110544267B true CN110544267B (zh) 2022-03-15

Family

ID=68709814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670301.8A Active CN110544267B (zh) 2019-07-24 2019-07-24 一种自适应选择特征的相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN110544267B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340838B (zh) * 2020-02-24 2022-10-21 长沙理工大学 一种基于多种特征融合的背景时空相关滤波跟踪方法
CN113177970B (zh) * 2021-04-29 2022-07-19 燕山大学 基于自适应特征融合的多尺度滤波目标跟踪方法
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844663A (zh) * 2016-03-21 2016-08-10 中国地质大学（武汉） 一种自适应orb目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN108288282A (zh) * 2017-12-26 2018-07-17 浙江工业大学 一种基于卷积神经网络的自适应特征选择目标跟踪方法
WO2018208245A1 (en) * 2017-05-12 2018-11-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A method for correlation filter based visual tracking
CN109410247A (zh) * 2018-10-16 2019-03-01 中国石油大学(华东) 一种多模板和自适应特征选择的视频跟踪算法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844663A (zh) * 2016-03-21 2016-08-10 中国地质大学（武汉） 一种自适应orb目标跟踪方法
WO2018208245A1 (en) * 2017-05-12 2018-11-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A method for correlation filter based visual tracking
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN108288282A (zh) * 2017-12-26 2018-07-17 浙江工业大学 一种基于卷积神经网络的自适应特征选择目标跟踪方法
CN109410247A (zh) * 2018-10-16 2019-03-01 中国石油大学(华东) 一种多模板和自适应特征选择的视频跟踪算法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法

Also Published As

Publication number Publication date
CN110544267A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN111354017B (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN108319972B (zh) 一种针对图像语义分割的端到端差异网络学习方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN108288282B (zh) 一种基于卷积神经网络的自适应特征选择目标跟踪方法
CN110135500A (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN112651998B (zh) 基于注意力机制和双流多域卷积神经网络的人体跟踪算法
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN113706581B (zh) 基于残差通道注意与多层次分类回归的目标跟踪方法
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
CN108364305B (zh) 基于改进型dsst的车载摄像视频目标跟踪方法
CN111860587B (zh) 一种用于图片小目标的检测方法
CN113034545A (zh) 一种基于CenterNet多目标跟踪算法的车辆跟踪方法
CN111640138B (zh) 一种目标跟踪方法、装置、设备及存储介质
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN108898076A (zh) 一种视频行为时间轴定位及候选框提取的方法
CN108280845B (zh) 一种针对复杂背景的尺度自适应目标跟踪方法
CN111091583B (zh) 长期目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant