CN111161321A - 一种基于背景感知的相关滤波跟踪方法 - Google Patents

一种基于背景感知的相关滤波跟踪方法 Download PDF

Info

Publication number
CN111161321A
CN111161321A CN201911410671.4A CN201911410671A CN111161321A CN 111161321 A CN111161321 A CN 111161321A CN 201911410671 A CN201911410671 A CN 201911410671A CN 111161321 A CN111161321 A CN 111161321A
Authority
CN
China
Prior art keywords
target
image
position information
video
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911410671.4A
Other languages
English (en)
Other versions
CN111161321B (zh
Inventor
许廷发
张语珊
吴零越
吴凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN201911410671.4A priority Critical patent/CN111161321B/zh
Publication of CN111161321A publication Critical patent/CN111161321A/zh
Application granted granted Critical
Publication of CN111161321B publication Critical patent/CN111161321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于背景感知的相关滤波跟踪方法，包括以下过程：步骤1、读取视频第一帧图像与待跟踪目标的位置信息，加入训练集；步骤2、提取训练集中目标区域特征训练带有背景感知的相关滤波器；步骤3、读取下一帧视频图像并提取搜索区域图像特征；步骤4、将提取的搜索区域图像特征与相关滤波器进行卷积操作得到当前帧待跟踪目标位置信息，并将当前帧视频图像与待跟踪目标位置信息加入训练集；步骤5、重复步骤2‑4直至读取视频所有帧结束，得到每一帧视频图像中待跟踪目标位置信息。通过采用该方法能够有效利用跟踪过程中的背景信息，更加准确地预测目标位置。

Description

一种基于背景感知的相关滤波跟踪方法
技术领域
本发明涉及单目标跟踪领域，特别涉及一种基于背景感知的相关滤波跟踪方法，适用于智能监控，人机交互等目标跟踪方面的背景感知问题。
背景技术
视频目标跟踪是计算机视觉领域中最重要的研究方向之一，被广泛运用于安防、交通、军事等研究领域。单目标跟踪主要任务为给出视频第一帧以及跟踪目标的位置框的情况下，在视频的每一帧中确定我们追踪目标的位置信息。
近年来，基于相关滤波器的视觉目标跟踪方法发展迅速并取得了显著的效果。第一个基于相关滤波的跟踪器是MOSSE(Minimum Output Sum of Squared Error)，它只使用灰度图像和单通道特征，在单帧初始化时可以产生稳定的跟踪结果，达到每秒669帧的速度。之后，基于相关滤波的跟踪器迅速发展，各种改进方法被相继提出，包括引入了输入图像的循环结构来增加训练样本；使用与线性回归复杂度完全相同的核岭回归来结合不同的特征；引入空间正则项来解决边界效应；提出了连续卷积算子来实现不同分辨率特征的集成等等，并在OTB-2015测试集上获得了很好的结果。
但是，目前大多数方法只关注前景信息，依赖手工特性如HOG和CN，或者深度特征，忽略了跟踪区域中的背景信息。
发明内容
针对上述存在的问题，提供了一种相关滤波跟踪方法，通过引入一个背景感知的正则项，以保证在跟踪过程中输入样本的背景和前景信息对跟踪结果具有相似的贡献，通过增加这一正则项，减小了跟踪器被跟踪目标不可靠的部分所控制的可能性，从而解决过拟合问题。
本发明采用的技术方案如下：一种基于背景感知的相关滤波跟踪方法，包括以下过程：
步骤1、读取视频第一帧图像与待跟踪目标的位置信息，加入训练集；
步骤2、提取训练集中目标区域特征训练带有背景感知的相关滤波器；
步骤3、读取下一帧视频图像并提取搜索区域图像特征；
步骤4、将提取的搜索区域图像特征与相关滤波器进行卷积操作得到当前帧待跟踪目标的预测位置信息，并将当前帧视频图像与待跟踪目标的预测位置信息加入训练集；
步骤5、重复步骤2-4直至读取视频所有帧结束，得到每一帧视频图像中待跟踪目标位置信息。
进一步的，所述步骤2的具体训练过程为：
步骤21、提取训练集中目标区域特征X；
步骤22、引入背景感知正则项训练相关滤波器。
进一步的，所述步骤22的具体过程为：引入背景感知正则项后，通过最小化滤波器训练公式得到相关滤波器，所述E(f)具体为：
Figure RE-GDA0002392470360000021
其中，y是预先定义的高斯窗函数，
Figure RE-GDA0002392470360000022
是一个区域对角掩膜矩阵，η是调节背景感知强度，
Figure RE-GDA0002392470360000023
是输入样本特征，f是通过最小化E(f)得到的相关滤波器。
进一步的，所述步骤22最小化E(f)过程中，通过采用共轭梯度下降法得到最优相关滤波器。
进一步的，所述步骤4的卷积操作具体过程为：
Figure RE-GDA0002392470360000024
其中，x为搜索区域图像特征，d表示特征通道的个数，αd表示各个特征通道的权重。
与现有技术相比，采用上述技术方案的有益效果为：能够有效利用跟踪过程中的背景信息，更加准确地预测目标位置。
附图说明
图1为本发明中的相关滤波跟踪流程图。
图2为本发明中的掩模矩阵。
具体实施方式
下面结合附图对本发明做进一步描述。
在实际目标跟踪过程中，在连续的帧中，给定图像序列中的背景信息经常是相似的，这有助于有效地识别给定的目标。因此，我们引入了一个背景感知调节项，它可以帮助我们进一步挖掘背景信息，并学习一个更加鲁棒的相关滤波器，该正则项可以表示为：
Figure RE-GDA0002392470360000025
其中，
Figure RE-GDA0002392470360000031
是一个区域对角掩模矩阵，其具体形式如图2所示，
Figure RE-GDA0002392470360000032
是输入样本特征，f∈RDK×1是最终期望的输出相关滤波器。训练过程中加入背景感知正则项，通过平衡图像各个区域的输出响应来达到为图像不同区域赋予相似重要性的目的。
基于此，如图1所示，本发明提供的一种基于背景感知的相关滤波跟踪方法，包括以下过程：
步骤1、读取视频第一帧图像与待跟踪目标的位置信息，加入训练集；
步骤2、提取训练集中目标区域特征训练带有背景感知的相关滤波器；
步骤3、读取下一帧视频图像并提取搜索区域图像特征；
步骤4、将提取的搜索区域图像特征与相关滤波器进行卷积操作得到当前帧待跟踪目标的预测位置信息，并将当前帧视频图像与待跟踪目标的预测位置信息加入训练集；
步骤5、重复步骤2-4直至读取视频所有帧结束，得到每一帧视频图像中待跟踪目标位置信息。
在步骤2中，通过引入上述背景感知正则项进行相关滤波器的训练；引入背景感知正则项后，得到如下滤波器训练公式，通过最小化该公式得到相关滤波器：
Figure RE-GDA0002392470360000033
其中，y是预先定义的高斯窗函数，
Figure RE-GDA0002392470360000034
是一个区域对角掩膜矩阵，η是调节背景感知强度，
Figure RE-GDA0002392470360000035
是输入样本特征，f是通过最小化E(f)得到的相关滤波器。
在最小化过程中，为了得到最优的相关滤波器f，采用共轭梯度下降法来解决最小化问题。具体过程如下：
首先，计算式(2)的导数，将其导数设为0，得到如下方程：
Af＝Xy (3)
其中，
Figure RE-GDA0002392470360000036
然后，采用共轭梯度下降法求解式(3)，采用以下迭代步骤：
Figure RE-GDA0002392470360000037
hi+1＝hi+aiPi
ri+1＝ri+aiAPi
Figure RE-GDA0002392470360000041
设h0＝0，r0＝Xy，P0＝r0，共轭梯度下降迭代次数设定为5次，最后得到最优的相关滤波器f。
在步骤4中，首先提取搜索区域的图像特征x，通过卷积运算计算多个通道的卷积输出，然后加权求和得到最终的置信响应Sf(x)，也就是当前帧待跟踪目标位置信息。
Figure RE-GDA0002392470360000042
其中，x为搜索区域图像特征，d表示特征通道的个数，αd表示各个特征通道的权重。
通过采用上述目标跟踪方法，能够有效利用跟踪过程中的背景信息，更加准确地预测目标位置。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (5)

1.一种基于背景感知的相关滤波跟踪方法，其特征在于，包括以下过程：
步骤1、读取视频第一帧图像与待跟踪目标的位置信息，加入训练集；
步骤2、提取训练集中目标区域特征训练带有背景感知的相关滤波器；
步骤3、读取下一帧视频图像并提取搜索区域图像特征；
步骤4、将提取的搜索区域图像特征与相关滤波器进行卷积操作得到当前帧待跟踪目标的预测位置信息，并将当前帧视频图像与待跟踪目标的预测位置信息加入训练集；
步骤5、重复步骤2-4直至读取视频所有帧结束，得到每一帧视频图像中待跟踪目标位置信息。
2.根据权利要求1所述的相关滤波跟踪方法，其特征在于，所述步骤2的具体训练过程为：
步骤21、提取训练集中目标区域特征X；
步骤22、引入背景感知正则项训练相关滤波器。
3.根据权利要求2所述的相关滤波跟踪方法，其特征在于，所述步骤22的具体过程为：引入背景感知正则项后，通过最小化滤波器训练公式E(f)得到相关滤波器，所述E(f)具体为：
Figure FDA0002349883290000011
其中，y是预先定义的高斯窗函数，
Figure FDA0002349883290000012
是一个区域对角掩膜矩阵，η是调节背景感知强度，
Figure FDA0002349883290000013
是输入样本特征，f是通过最小化E(f)得到的相关滤波器。
4.根据权利要求3所述的相关滤波跟踪方法，其特征在于，所述步骤22最小化滤波器训练公式E(f)过程中，通过采用共轭梯度下降法得到最优相关滤波器。
5.根据权利要求4所述的相关滤波跟踪方法，其特征在于，所述步骤4的卷积操作具体过程为：
Figure RE-FDA0002392470350000014
其中，x为搜索区域图像特征，其中d表示特征通道的个数，αd表示各个特征通道的权重。
CN201911410671.4A 2019-12-31 2019-12-31 一种基于背景感知的相关滤波跟踪方法 Active CN111161321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911410671.4A CN111161321B (zh) 2019-12-31 2019-12-31 一种基于背景感知的相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911410671.4A CN111161321B (zh) 2019-12-31 2019-12-31 一种基于背景感知的相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN111161321A true CN111161321A (zh) 2020-05-15
CN111161321B CN111161321B (zh) 2023-07-04

Family

ID=70559872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911410671.4A Active CN111161321B (zh) 2019-12-31 2019-12-31 一种基于背景感知的相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN111161321B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465861A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于自适应掩膜的相关滤波视觉目标跟踪方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN113592899A (zh) * 2021-05-28 2021-11-02 北京理工大学重庆创新中心 一种相关滤波目标跟踪深度特征的提取方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694716A (zh) * 2009-10-10 2010-04-14 北京理工大学 一种针对多点目标的立体视觉光学跟踪系统
WO2016034008A1 (zh) * 2014-09-04 2016-03-10 华为技术有限公司 一种目标跟踪方法及装置
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108664918A (zh) * 2018-05-09 2018-10-16 吉林大学 基于背景感知相关滤波器的智能车辆前方行人跟踪方法
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN110148157A (zh) * 2019-05-10 2019-08-20 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694716A (zh) * 2009-10-10 2010-04-14 北京理工大学 一种针对多点目标的立体视觉光学跟踪系统
WO2016034008A1 (zh) * 2014-09-04 2016-03-10 华为技术有限公司 一种目标跟踪方法及装置
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108664918A (zh) * 2018-05-09 2018-10-16 吉林大学 基于背景感知相关滤波器的智能车辆前方行人跟踪方法
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN110148157A (zh) * 2019-05-10 2019-08-20 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
刘波 等: "自适应上下文感知相关滤波跟踪", 《中国光学》 *
刘波 等: "自适应上下文感知相关滤波跟踪", 《中国光学》, vol. 12, no. 2, 15 April 2019 (2019-04-15), pages 265 - 273 *
朱建章 等: "背景与时间感知的相关滤波实时视觉跟踪", 《中国图象图形学报》 *
朱建章 等: "背景与时间感知的相关滤波实时视觉跟踪", 《中国图象图形学报》, vol. 24, no. 4, 16 April 2019 (2019-04-16), pages 536 - 549 *
阮宏刚: "基于核相关滤波的目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
阮宏刚: "基于核相关滤波的目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, 15 February 2019 (2019-02-15), pages 138 - 1761 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465861A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于自适应掩膜的相关滤波视觉目标跟踪方法
CN112465861B (zh) * 2020-11-19 2024-05-10 西北工业大学 一种基于自适应掩膜的相关滤波视觉目标跟踪方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN113592899A (zh) * 2021-05-28 2021-11-02 北京理工大学重庆创新中心 一种相关滤波目标跟踪深度特征的提取方法

Also Published As

Publication number Publication date
CN111161321B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN107146240B (zh) 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN111161321A (zh) 一种基于背景感知的相关滤波跟踪方法
EP3690714A1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN113688723A (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN105608446A (zh) 一种视频流异常事件的检测方法及装置
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN110046659B (zh) 一种基于tld的长时间单目标跟踪方法
CN113674140A (zh) 一种物理对抗样本生成方法及系统
US20220148292A1 (en) Method for glass detection in real scenes
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN106874932B (zh) 基于快速稀疏描述的sar目标型号识别方法
CN106651917A (zh) 基于神经网络的图像目标跟踪算法
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN116523897A (zh) 一种基于互导学习的半监督浒苔检测方法及系统
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
CN111339950B (zh) 一种遥感图像目标检测方法
CN112200829A (zh) 基于相关滤波方法的目标跟踪方法及装置
CN109543684B (zh) 基于全卷积神经网络的即时目标追踪检测方法及系统
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN113269808B (zh) 视频小目标跟踪方法和装置
CN113378598A (zh) 一种基于深度学习的动态条码检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant