CN112465861A - 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 - Google Patents
一种基于自适应掩膜的相关滤波视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN112465861A CN112465861A CN202011303315.5A CN202011303315A CN112465861A CN 112465861 A CN112465861 A CN 112465861A CN 202011303315 A CN202011303315 A CN 202011303315A CN 112465861 A CN112465861 A CN 112465861A
- Authority
- CN
- China
- Prior art keywords
- image
- filter
- target
- adaptive mask
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 26
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 230000002401 inhibitory effect Effects 0.000 abstract description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应掩膜的相关滤波视觉目标跟踪方法,本发明将通过将自适应掩膜引入相关滤波器目标函数,从而自适应地引入有利于跟踪的背景信息到过滤器中,并抑制相关性较差的信息;其次,对于边界框内的目标区域,对可靠区域赋予较高权重并抑制快速变化的区域,并在跟踪过程中,根据目标及其周围环境的变化来自适应地调整掩膜参数。在此基础上,提出一致性约束项,以促进自适应掩膜的鲁棒性,从而有效地集成前景和背景中特定信息,提高视觉目标跟踪的稳定性。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种视觉目标跟踪方法。
背景技术
视觉目标跟踪是计算机视觉和视频分析中的重要研究问题,已广泛应用于交通监控、天文观测以及导航制导等诸多领域。视觉目标跟踪旨在给定任意目标的初始位置及大小的情况下,对后续帧中每一帧的目标位置进行估计。尽管近年来目标跟踪取得了明显的进步,但由于跟踪场景的复杂性,设计出能够在各类场景下准确区分目标与背景的跟踪器仍然是极具挑战的课题。
刘波等人在《自适应上下文感知相关滤波跟踪》(中国光学,2019,12-2,265-273)中利用卡尔曼滤波对目标运动状态进行估计,预测目标的运动方向,在训练相关滤波器时,对目标运动方向上的背景样本赋予较多的权重;在模型更新时引入一个遮挡判定指标,只有当该指标以一定比例大于历史均值时,才对目标模型进行更新,但该方法没有针对目标边界框内样本的权重进行自适应调整,导致训练出的滤波器系数的可靠性有限,难以满足快速变化目标的稳定跟踪。
发明内容
为了克服现有技术的不足,本发明提供了一种基于自适应掩膜的相关滤波视觉目标跟踪方法,本发明将通过将自适应掩膜引入相关滤波器目标函数,从而自适应地引入有利于跟踪的背景信息到过滤器中,并抑制相关性较差的信息;其次,对于边界框内的目标区域,对可靠区域赋予较高权重并抑制快速变化的区域,并在跟踪过程中,根据目标及其周围环境的变化来自适应地调整掩膜参数。在此基础上,提出一致性约束项,以促进自适应掩膜的鲁棒性,从而有效地集成前景和背景中特定信息,提高视觉目标跟踪的稳定性。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:给定序列图像Ji,i=1,2,…,n;Ji的第一帧为J1,序列图像Ji中待跟踪目标在图像J1中的初始最小外接矩形框为B1,在图像J1中以B1为中心,裁剪出D倍B1大小的图像R,并提取图像R的方向梯度直方图特征其中K为图像R的特征通道数,Ms×Ns为X的维度;将图像R的方向梯度直方图特征X作为输入训练样本;
定义训练损失函数:
相关滤波器H和输入训练样本X的主损失项fm定义为:
式中,表示循环卷积,⊙表示矩阵的元素级点乘,‖·‖2表示矩阵二范数,Ms×Me阶矩阵和Ns×Ne阶矩阵都用于对相关滤波器H进行补零操作,使相关滤波器H与第k个通道的输入训练样本Xk大小相同,且有其中为Me阶单位矩阵,为Ne阶单位矩阵;Hk为第k个通道的相关滤波器;
约束自适应掩膜W的一致性正则项fc定义为:
其中1为所有元素均为1的矩阵,除法操作表示元素级点除;
参数正则项fp定义为:
训练完成后,得到第一帧图像J1的相关滤波器H及自适应掩膜W;
步骤3:从序列图像Ji的第二帧图像开始,以上一帧图像中目标的最小外接矩形框为中心,在当前帧中裁剪出D倍上一帧图像中目标的最小外接矩形框大小的搜索区域,提取搜索区域的HOG特征并转化至频域中,得到搜索区域对应的频域特征
求解响应图r的最大值,r的最大值对应的位置即为当前帧估计出的目标位置;
其中Hi与Wi分别为当前帧经过更新后得到的相关滤波器及自适应掩膜,Hi-1与Wi-1分别为上一帧经过更新后得到的相关滤波器及自适应掩膜;
步骤5:重复步骤3到步骤4,直到对序列图像Ji中的所有图像完成目标跟踪。
优选地,所述D=5。
本发明的有益效果是:本发明的一种基于自适应掩膜的相关滤波视觉目标跟踪方法,将自适应掩膜引入相关滤波器目标函数,从而自适应地引入有利于跟踪的背景信息到过滤器中,并抑制相关性较差的信息,以促进自适应掩膜的鲁棒性,从而有效地集成前景和背景中特定信息,提高视觉目标跟踪的稳定性。
附图说明
图1是本发明方法流程图。
图2是本发明方法跟踪结果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示,一种基于自适应掩膜的相关滤波视觉目标跟踪方法,包括以下步骤:
步骤1:给定序列图像Ji,i=1,2,…,n;本发明中的跟踪策略是建立在相关滤波器与目标区域相关性的表述上的,因此需首先根据第一帧图像建立初始相关滤波器模型,同时初始化自适应掩膜;
Ji的第一帧为J1,序列图像J中待跟踪目标在图像J1中的初始最小外接矩形框为B1,在图像J1中以B1为中心,裁剪出5倍B1大小的图像R,并提取图像R的方向梯度直方图特征其中K为图像R的特征通道数,Ms×Ns为X的维度;将图像R的方向梯度直方图特征X作为输入训练样本;
定义训练损失函数:
相关滤波器H和输入训练样本X的主损失项fm定义为:
式中,表示循环卷积,⊙表示矩阵的元素级点乘,‖·‖2表示矩阵二范数,Ms×Me阶矩阵和Ns×Ne阶矩阵都用于对相关滤波器H进行补零操作,使相关滤波器H与第k个通道的输入训练样本Xk大小相同,且有其中为Me阶单位矩阵,为Ne阶单位矩阵;Hk为第k个通道的相关滤波器;
约束自适应掩膜W的一致性正则项fc定义为:
其中1为所有元素均为1的矩阵,除法操作表示元素级点除;
参数正则项fp定义为:
训练完成后,得到第一帧图像J1的相关滤波器H及自适应掩膜W;
步骤3:从序列图像Ji的第二帧图像开始,以上一帧图像中目标的最小外接矩形框为中心,在当前帧中裁剪出5倍上一帧图像中目标的最小外接矩形框大小的搜索区域,提取搜索区域的HOG特征并转化至频域中,得到搜索区域对应的频域特征
本发明中目标跟踪的策略采用相关滤波器与目标区域进行相关匹配的方法,对于当前帧搜索区域,通过计算搜索区域对于训练得到的基于自适应掩膜的相关滤波器的响应图,并根据响应图得到目标在当前帧的位置。
遍历响应图,求解响应图r的最大值,r的最大值对应的位置即为当前帧估计出的目标位置,从而实现对目标的快速、高效跟踪;
步骤4:本发明中的跟踪策略依靠的是相关滤波器及自适应掩膜所描述的目标及其环境的外观模型,相关滤波器及自适应掩膜的参数需要实时更新以保证对目标的准确描述。
其中Hi与Wi分别为当前帧经过更新后得到的相关滤波器及自适应掩膜,Hi-1与Wi-1分别为上一帧经过更新后得到的相关滤波器及自适应掩膜。
步骤5:重复步骤3到步骤4,直到对序列图像Ji中的所有图像完成目标跟踪。
图2是采用本发明方法对目标跟踪的结果图。可以看出,采用本发明方法能够很好地对目标进行跟踪。
Claims (2)
1.一种基于自适应掩膜的相关滤波视觉目标跟踪方法,其特征在于,包括以下步骤:
步骤1:给定序列图像Ji,i=1,2,…,n;Ji的第一帧为J1,序列图像Ji中待跟踪目标在图像J1中的初始最小外接矩形框为B1,在图像J1中以B1为中心,裁剪出D倍B1大小的图像R,并提取图像R的方向梯度直方图特征其中K为图像R的特征通道数,Ms×Ns为X的维度;将图像R的方向梯度直方图特征X作为输入训练样本;
定义训练损失函数:
相关滤波器H和输入训练样本X的主损失项fm定义为:
式中,表示循环卷积,⊙表示矩阵的元素级点乘,||·||2表示矩阵二范数,Ms×Me阶矩阵和Ns×Ne阶矩阵都用于对相关滤波器H进行补零操作,使相关滤波器H与第k个通道的输入训练样本Xk大小相同,且有其中为Me阶单位矩阵,为Ne阶单位矩阵;Hk为第k个通道的相关滤波器;
约束自适应掩膜W的一致性正则项fc定义为:
其中1为所有元素均为1的矩阵,除法操作表示元素级点除;
参数正则项fp定义为:
训练完成后,得到第一帧图像J1的相关滤波器H及自适应掩膜W;
步骤3:从序列图像Ji的第二帧图像开始,以上一帧图像中目标的最小外接矩形框为中心,在当前帧中裁剪出D倍上一帧图像中目标的最小外接矩形框大小的搜索区域,提取搜索区域的HOG特征并转化至频域中,得到搜索区域对应的频域特征
求解响应图r的最大值,r的最大值对应的位置即为当前帧估计出的目标位置;
其中Hi与Wi分别为当前帧经过更新后得到的相关滤波器及自适应掩膜,Hi-1与Wi-1分别为上一帧经过更新后得到的相关滤波器及自适应掩膜;
步骤5:重复步骤3到步骤4,直到对序列图像Ji中的所有图像完成目标跟踪。
2.根据权利要求1所述的一种基于自适应掩膜的相关滤波视觉目标跟踪方法,其特征在于,所述D=5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011303315.5A CN112465861B (zh) | 2020-11-19 | 2020-11-19 | 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011303315.5A CN112465861B (zh) | 2020-11-19 | 2020-11-19 | 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112465861A true CN112465861A (zh) | 2021-03-09 |
CN112465861B CN112465861B (zh) | 2024-05-10 |
Family
ID=74836702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011303315.5A Active CN112465861B (zh) | 2020-11-19 | 2020-11-19 | 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465861B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530325A (zh) * | 2016-10-26 | 2017-03-22 | 合肥润客软件科技有限公司 | 一种多目标视觉检测和跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
CN111161321A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学重庆创新中心 | 一种基于背景感知的相关滤波跟踪方法 |
CN111539993A (zh) * | 2020-04-13 | 2020-08-14 | 中国人民解放军军事科学院国防科技创新研究院 | 基于分割的空间目标视觉跟踪方法 |
-
2020
- 2020-11-19 CN CN202011303315.5A patent/CN112465861B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530325A (zh) * | 2016-10-26 | 2017-03-22 | 合肥润客软件科技有限公司 | 一种多目标视觉检测和跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
CN111161321A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学重庆创新中心 | 一种基于背景感知的相关滤波跟踪方法 |
CN111539993A (zh) * | 2020-04-13 | 2020-08-14 | 中国人民解放军军事科学院国防科技创新研究院 | 基于分割的空间目标视觉跟踪方法 |
Non-Patent Citations (2)
Title |
---|
孙伟;张科;李言俊;姜伟;: "运动平台上基于粒子滤波的目标跟踪技术", 航空计算技术, no. 05, 15 September 2010 (2010-09-15) * |
陈倩茹;刘日升;樊鑫;李豪杰;: "多相关滤波自适应融合的鲁棒目标跟踪", 中国图象图形学报, no. 02, 16 February 2018 (2018-02-16) * |
Also Published As
Publication number | Publication date |
---|---|
CN112465861B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107481264B (zh) | 一种自适应尺度的视频目标跟踪方法 | |
CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
CN105550678A (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
CN111260688A (zh) | 一种孪生双路目标跟踪方法 | |
CN109064493B (zh) | 一种基于元学习的目标跟踪方法及装置 | |
CN111311647A (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN110147753A (zh) | 一种检测图像中小物体的方法及装置 | |
CN110889864B (zh) | 一种基于双层深度特征感知的目标跟踪方法 | |
CN110110618B (zh) | 一种基于pca和全局对比度的sar目标检测方法 | |
CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
CN110390724B (zh) | 一种带有实例分割的slam方法 | |
CN110544267B (zh) | 一种自适应选择特征的相关滤波跟踪方法 | |
CN110378932B (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪方法 | |
CN112712526B (zh) | 基于非对称卷积神经网络双通道的视网膜血管分割方法 | |
CN111539985A (zh) | 一种融合多特征的自适应运动目标跟踪方法 | |
CN112465861A (zh) | 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 | |
CN110852335A (zh) | 一种基于多颜色特征融合与深度网络的目标跟踪系统 | |
CN109492530B (zh) | 基于深度多尺度时空特征的健壮性视觉物体跟踪方法 | |
CN110705698A (zh) | 尺度自适应感知的目标计数深度网络设计方法 | |
CN114708307B (zh) | 基于相关滤波器的目标跟踪方法、系统、存储介质及设备 | |
CN113538509B (zh) | 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置 | |
CN112348847B (zh) | 一种目标尺度自适应跟踪方法 | |
CN115171211A (zh) | 信道状态信息的动作和位置的联合估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |