CN113409357A - 一种基于双时空约束的相关滤波目标跟踪方法 - Google Patents
一种基于双时空约束的相关滤波目标跟踪方法 Download PDFInfo
- Publication number
- CN113409357A CN113409357A CN202110696645.3A CN202110696645A CN113409357A CN 113409357 A CN113409357 A CN 113409357A CN 202110696645 A CN202110696645 A CN 202110696645A CN 113409357 A CN113409357 A CN 113409357A
- Authority
- CN
- China
- Prior art keywords
- target
- filter
- double space
- updating
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000002596 correlated effect Effects 0.000 title description 2
- 230000004044 response Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双时空约束的相关滤波目标跟踪方法，基于双时空约束构建相关滤波模型的函数获取相关滤波器，在当前图像帧中初始化跟踪器，更新自适应调节因子，更新相关滤波器，与HOG特征的傅里叶变换快速匹配计算，获取最大响应位置作为跟踪到的目标位置，对应的尺度缩放因子作为当前估计到的目标的尺度缩放因子，重复上述步骤以连续跟踪目标；提出双时空约束相关滤波模型，给不同样本添加不同约束，使模型更稳定，能学习更鲁棒的相关滤波器，实现了快速高精度跟踪，为基于视频跟踪的计算机视觉应用提供核心技术支撑，结果更准确，增加的运算量极少，在傅里叶域计算，运行速度快。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种目标跟踪技术。
背景技术
视觉目标跟踪是计算机视觉的重要组成部分，是视频监控、智慧交通、机器人视觉、自动驾驶、精确制导等领域的关键技术之一。给定目标在初始帧中的位置信息，在后续帧中准确估计出目标的运动轨迹。因为目标在运行过程中可能存在光照变化、运动模糊、形变、尺度变化、旋转、遮挡等因素，所以在复杂场景中准确跟踪目标十分困难。
基于相关滤波的目标跟踪方法，是目前效果较好、速度较快，且应用广泛的目标跟踪方法。通过循环移位以目标为中心的矩形框，得到稠密采样的样本，通过求解带正则约束项的线性回归目标函数，获取相关滤波器。
目前已知的相关滤波模型，大多直接对滤波器进行约束，忽略了约束样本。好样本和坏样本在模型中具有相同权重，模型失去了选择样本信息的能力。
发明内容
本发明为了解决现有技术存在耗时、跟踪精度低的问题，提出了一种基于双时空约束的相关滤波目标跟踪方法，为基于视频跟踪的计算机视觉应用提供核心技术支撑，为了实现上述目的，本发明采用了以下技术方案。
基于双时空约束构建相关滤波模型的函数
在当前图像帧中，以跟踪到的目标位置为中心，截取矩形区域，提取该区域的HOG特征，作为训练样本，初始化跟踪器；
构建回归量权重图，抑制干扰样本响应，更新自适应调节因子；
将提取的训练样本特征输入模型，在傅里叶域采用ADMM算法快速求解模型，更新相关滤波器；
以当前帧中的目标位置为矩形中心，在下一帧图像中截取具有不同缩放因子的矩形区域，作为搜索区域，提取搜索区域的HOG特征，对该HOG特征进行傅里叶变换，然后与更新后的相关滤波器进行快速匹配计算，获取滤波响应图，采用牛顿迭代法，获取响应图中的最大响应位置，作为跟踪到的目标位置，对应的尺度缩放因子，作为当前估计到的目标的尺度缩放因子；
重复提取HOG特征、更新调节因子、更新滤波器、跟踪目标位置、估计缩放因子以连续跟踪目标。
进一步的，设定
当wr中元素取1时，对应样本的回归量添加时间约束；当样本是强干扰时，对应的元素取0，抑制对应样本的回归响应。
进一步的，设定
和
采用A(psr)动态调整回归量的时空约束力度，若psr较小，说明目标置信度不高，则减小A(psr)以降低约束力度，减小当前样本对滤波器的影响，否则增大A(psr)。
本发明的有益效果：提出双时空约束相关滤波模型，给不同样本添加不同约束，使模型更稳定，能学习更鲁棒的相关滤波器，实现了快速高精度跟踪，为基于视频跟踪的计算机视觉应用提供核心技术支撑，结果更准确，增加的运算量极少，在傅里叶域计算，运行速度快。
附图说明
图1是本方法的流程图，图2是滤波模型的目标函数。
具体实施方式
以下结合附图对本发明的技术方案做具体的说明。
本方法对滤波器和回归量进行时空约束，通过最优化模型的目标函数，求解模型，得到更新后的相关滤波器，在回归量上添加“0-1”二值掩模，实现对样本时间约束的“关-开”操作，对不同样本添加不同约束。
具体实施步骤如图1所示：建立滤波模型的目标函数，如图2所示
其中*表示循环卷积，·表示按元素乘积，
是训练样本第c通道HOG特征，f是要学习的滤波器，wc是滤波器权重图，它给fc对应的目标区域赋予低权重(1e-3)，给背景区域赋予高权重(1e5)，从而抑制背景，wr是回归量权重图，控制每个样本回归量的约束方式，c是特征通道序号，t-1和t表示视频中图像序号，ρ是约束因子，在本实施例中取15，y是期望输出，是一个二维高斯分布，A(psr)是自适应调节因子。
目标函数的第二项是对滤波器的空间约束，解决相关滤波中的边界问题；第三项是滤波器时间约束项，使滤波器在线更新；第四项中的wr对回归量进行空间约束，当wr中元素取0时，抑制对应样本的回归响应，当wr中元素取1时，对应样本的回归量被添加时间约束，使学习的滤波器更具鲁棒性。
在当前图像帧中，截取以目标位置为中心的矩形图像区域，矩形区域面积为目标面积的5倍，提取该图像区域的HOG(Histogram of Oriented Gradient)特征作为训练样本。
构建回归量权重图wr，更新自适应调节因子A(psr)，当wr中元素取1时，对应样本的回归量被添加时间约束，使学习的滤波器更具鲁棒性；当样本是强干扰时，始终希望干扰样本得到抑制，此时wr中干扰样本对应的元素应该取0，抑制对应样本的回归响应；干扰样本不是目标，却拥有较高回归响应的样本，会对目标跟踪造成干扰。
wr的计算如
其中(i,j)表示二维位置标记，vmax是v中最大值，w和h是目标在图像中的宽和高，&表示与操作。
自适应调节因子A(psr)是峰值旁瓣比
的函数
其中
是滤波响应图，max(v)是v的最大值，μ(v)是v的均值，σ(v)是v的标准差；pmean是历史帧中psr的均值，λ和ε是缩放因子，本实施例分别取0.6和7，τ是偏置因子，取0.5。
A(psr)动态调整回归量的时空约束力度，当psr较小，说明目标置信度不高，调小A(psr)降低约束力度，减小当前样本对滤波器造成的影响；当psr较大，说明目标置信度高，增加A(psr)，使模型学到更鲁棒的滤波器。
通过ADMM算法对模型进行快速求解，目标函数是凸优化问题，定义辅助变量h＝ft，令
等于yst，目标函数的增广拉格朗日形式为
其中s是拉格朗日乘子，η是惩罚因子，控制增广拉格朗日方法的收敛速度，令
转换为
迭代求解f，h和p三个子问题得到最优解。
子问题形式
利用帕塞伐尔定理Parseval’s theorem，f可以转换到傅里叶域求解
其中上标^表示离散傅里叶变换，令
表示在第i个位置沿着特征通道方向取出的特征向量，
是对应的期望输出，子问题f转换为M×N个独立的子问题，其中M×N是特征尺寸，子问题f转变为
对
求导，令倒数为零，得到
的封闭解
和
其中I是单位矩阵，采用Sherman-Morrsion公式转化
进一步减少计算量，得到
利用矩阵乘法的结合律，只包含向量内积和加法运算，计算量减小。
子问题h的各元素的求解相互独立，求导令倒数为零，得到每个通道的封闭解
除号表示按元素除，每次迭代后，惩罚因子η的更新方式为η(i+1)＝min(ηmax,εη(i)),其中ηmax表示最大值，ε是尺度因子，本实施例分别取100和10，η的初始值取1，按照相似方式通过迭代求解，得到最后的f。
以当前帧中目标位置为矩形中心，在下一帧图像中截取拥有不同缩放因子的矩形图像区域作为搜索区域，并提取搜索区域的HOG特征zs，其中s∈{1,2,3,4,5}代表五个缩放因子，利用学到的滤波器在傅里叶域与搜索区域特征进行快速匹配计算，得到滤波响应图。
通过牛顿迭代法找到响应图中最大响应位置即为跟踪到的目标位置，最大响应对应的尺度缩放因子即为当前估计到的目标的尺度缩放因子，得到滤波器
对zs进行傅里叶变换得到
通过
得到滤波响应图，由于HOG特征在原始像素尺度上以网格为单位进行提取，本实施例取网格长宽为4，得到的响应图只是在网格点上的响应，并不是每个像素点上的响应。
采取
插值方式，得到亚像素级的位置响应
找到响应图最大值所在位置，以此位置为初始估计，利用牛顿迭代法找到最大响应位置，实验发现，只需少数几次迭代算法，就能达到收敛，找到最佳目标位置，在5个尺度缩放因子上找到最大响应对应的尺寸缩放因子，作为当前估计到的目标的尺寸缩放因子。
重复上述步骤，就可以连续跟踪目标。
上述作为本发明的实施例，并不限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (3)
1.一种基于双时空约束的相关滤波目标跟踪方法，其特征在于，包括：
基于双时空约束构建相关滤波模型的函数
获取相关滤波器；
在当前图像帧中，以跟踪到的目标位置为中心截取矩形区域，提取该区域的HOG特征作为训练样本，初始化跟踪器；
构建回归量权重图，抑制干扰样本响应，更新自适应调节因子；
将提取的训练样本特征输入模型，在傅里叶域采用ADMM算法快速求解模型，更新相关滤波器；
以当前帧中的目标位置为矩形中心，在下一帧图像中截取具有不同缩放因子的矩形区域作为搜索区域，提取搜索区域的HOG特征，对该HOG特征傅里叶变换，与更新后的相关滤波器快速匹配计算，获取滤波响应图，采用牛顿迭代法，获取响应图中的最大响应位置作为跟踪到的目标位置，对应的尺度缩放因子作为当前估计到的目标的尺度缩放因子；
重复提取HOG特征、更新调节因子、更新滤波器、跟踪目标位置和估计缩放因子，以连续跟踪目标。
2.根据权利要求1所述的基于双时空约束的相关滤波目标跟踪方法，其特征在于，所述滤波模型的函数，包括：设定
当wr中元素取1时，对应样本的回归量添加时间约束，当样本是强干扰时，对应的元素取0。
3.根据权利要求1所述的基于双时空约束的相关滤波目标跟踪方法，其特征在于，所述滤波模型的函数，包括：设定
和
采用A(psr)动态调整回归量的时空约束力度，若psr较小，则减小A(psr)以降低约束力度，否则增大A(psr)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458437X | 2021-04-27 | ||
| CN202110458437 | 2021-04-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409357A true CN113409357A (zh) | 2021-09-17 |
| CN113409357B CN113409357B (zh) | 2023-10-31 |
Family
ID=77682575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110696645.3A Active CN113409357B (zh) | 2021-04-27 | 2021-06-23 | 一种基于双时空约束的相关滤波目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409357B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859241A (zh) * | 2019-01-09 | 2019-06-07 | 厦门大学 | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 |
| CN110378932A (zh) * | 2019-07-10 | 2019-10-25 | 上海交通大学 | 一种基于空间正则矫正的相关滤波视觉跟踪算法 |
| CN110533689A (zh) * | 2019-08-08 | 2019-12-03 | 河海大学 | 基于空间约束自适应尺度的核相关滤波水下目标跟踪方法 |
| CN111008991A (zh) * | 2019-11-26 | 2020-04-14 | 华南理工大学 | 一种背景感知的相关滤波目标跟踪方法 |
| CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
| CN111612809A (zh) * | 2020-05-28 | 2020-09-01 | 华侨大学 | 一种结合时空正则化约束的视觉跟踪定位方法 |
| KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
| CN111968156A (zh) * | 2020-07-28 | 2020-11-20 | 国网福建省电力有限公司 | 一种自适应超特征融合的视觉跟踪方法 |
-
2021
- 2021-06-23 CN CN202110696645.3A patent/CN113409357B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859241A (zh) * | 2019-01-09 | 2019-06-07 | 厦门大学 | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 |
| KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
| CN110378932A (zh) * | 2019-07-10 | 2019-10-25 | 上海交通大学 | 一种基于空间正则矫正的相关滤波视觉跟踪算法 |
| CN110533689A (zh) * | 2019-08-08 | 2019-12-03 | 河海大学 | 基于空间约束自适应尺度的核相关滤波水下目标跟踪方法 |
| CN111008991A (zh) * | 2019-11-26 | 2020-04-14 | 华南理工大学 | 一种背景感知的相关滤波目标跟踪方法 |
| CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
| CN111612809A (zh) * | 2020-05-28 | 2020-09-01 | 华侨大学 | 一种结合时空正则化约束的视觉跟踪定位方法 |
| CN111968156A (zh) * | 2020-07-28 | 2020-11-20 | 国网福建省电力有限公司 | 一种自适应超特征融合的视觉跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHENGYUAN LIU ET AL.: "Correlation Filter With Motion Detection for Robust Tracking of Shape-Deformed Targets", 《IEEE ACCESS》, vol. 8, pages 89161, XP011790021, DOI: 10.1109/ACCESS.2020.2993777 * |
| FENG LI ET AL.: "Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 10 * |
| 王鹤鹏: "基于核相关滤波的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈挺: "无人机对地运动目标跟踪技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409357B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776975B (zh) | 一种基于半监督特征和滤波器联合学习的视觉跟踪方法 | |
| CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
| CN108549839B (zh) | 自适应特征融合的多尺度相关滤波视觉跟踪方法 | |
| CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
| CN109741366B (zh) | 一种融合多层卷积特征的相关滤波目标跟踪方法 | |
| CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN111260689B (zh) | 一种基于置信度增强的相关滤波视觉跟踪方法 | |
| CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN108038435B (zh) | 一种基于卷积神经网络的特征提取与目标跟踪方法 | |
| CN111260688A (zh) | 一种孪生双路目标跟踪方法 | |
| CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
| CN110246154B (zh) | 一种基于ica-r多特征融合与自适应更新的视觉目标跟踪方法 | |
| CN109166139B (zh) | 一种结合快速背景抑制的尺度自适应目标跟踪方法 | |
| CN110084201B (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
| CN113344973B (zh) | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 | |
| CN110660080A (zh) | 一种基于学习率调整融合多层卷积特征的多尺度目标跟踪方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN110378932B (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪方法 | |
| CN110276782B (zh) | 一种结合空谱特征和相关滤波的高光谱目标跟踪方法 | |
| CN108280845B (zh) | 一种针对复杂背景的尺度自适应目标跟踪方法 | |
| Xu et al. | Robust tracking via weighted spatio-temporal context learning | |
| CN116805353B (zh) | 跨行业通用的智能机器视觉感知方法 | |
| CN110751670A (zh) | 一种基于融合的目标跟踪方法 | |
| CN112116627A (zh) | 一种基于近似主成分分析的红外目标跟踪方法 | |
| CN113409357A (zh) | 一种基于双时空约束的相关滤波目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |