CN111612809B - 一种结合时空正则化约束的视觉跟踪定位方法 - Google Patents
一种结合时空正则化约束的视觉跟踪定位方法 Download PDFInfo
- Publication number
- CN111612809B CN111612809B CN202010466649.8A CN202010466649A CN111612809B CN 111612809 B CN111612809 B CN 111612809B CN 202010466649 A CN202010466649 A CN 202010466649A CN 111612809 B CN111612809 B CN 111612809B
- Authority
- CN
- China
- Prior art keywords
- representing
- function
- regularization
- visual tracking
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 6
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了视觉跟踪领域的一种结合时空正则化约束的视觉跟踪定位方法,包括如下步骤:步骤S10、对参数进行初始化;步骤S20、基于初始化的所述参数,利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数;步骤S30、将所述目标函数矩阵化;步骤S40、将矩阵化的所述目标函数转为频域函数;步骤S50、将所述频域函数最小化以求取最优解;步骤S60、利用所述最优解更新拉格朗日参数;步骤S70、基于更新的所述拉格朗日参数更新跟踪框的目标函数进行视觉跟踪。本发明的优点在于:极大的提升了视觉跟踪的准确性以及有效性。
Description
技术领域
本发明涉及视觉跟踪领域,特别指一种结合时空正则化约束的视觉跟踪定位方法。
背景技术
视觉跟踪是计算机视觉领域一个基本研究问题,并且在视频监控、无人驾驶、人机交互以及军事制导等领域中有广泛的运用。尽管近十几年来得到较好的发展,并且大量经典优秀的算法相继被提出,但其仍然是一个极具挑战的问题,存在着许多外界因素的干扰,例如光照变化、快速运动、遮挡和形变等。如何实现更加准确地跟踪,以及更好适应各种复杂场景的挑战是目前视觉跟踪领域研究的重要课题。
一方面,目前单一特征视觉跟踪算法不能够较好地适应复杂场景的挑战,目标会经历复杂的外观变化,如背景杂波,光照变化和变形等影响而引起跟踪框发生漂移,进而导致跟踪失败;另一方面,在跟踪过程中当目标遇到复杂场景变化后,在此期间将会产生一些错误的跟踪信息,这些信息将会被引入至模型更新过程中,在模型更新时将会被传递至下一帧中,长期积累将会引起模型质量变差,最终导致跟踪失败。
因此,如何提供一种结合时空正则化约束的视觉跟踪定位方法,实现提升视觉跟踪的准确性以及有效性,成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题,在于提供一种结合时空正则化约束的视觉跟踪定位方法,实现提升视觉跟踪的准确性以及有效性。
本发明是这样实现的:一种结合时空正则化约束的视觉跟踪定位方法,包括如下步骤:
步骤S10、对参数进行初始化;
步骤S20、基于初始化的所述参数,利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数;
步骤S30、将所述目标函数矩阵化;
步骤S40、将矩阵化的所述目标函数转为频域函数;
步骤S50、将所述频域函数最小化以求取最优解;
步骤S60、利用所述最优解更新拉格朗日参数;
步骤S70、基于更新的所述拉格朗日参数更新跟踪框的目标函数进行视觉跟踪。
进一步地,所述步骤S10具体为:
对目标边界区域、滤波器正则化权重、空间相关算子*以及响应阈值y进行初始化,并采用M×N的网格单元表示目标的大小,且与跟踪框的大小成比例;其中M与N均为正整数。
进一步地,所述步骤S20中,所述目标函数具体为:
其中表示时空正则化模块,即时空正则化权重矩阵w和相关滤波器ht进行点向乘法运算操作,⊙表示Hadamard乘积,λ1、λ2和γ表示正则化权重因子,ht和ht-1分别表示在t-th和(t-1)-th帧中使用的CFs;
进一步地,所述步骤S30具体为:
将所述目标函数转换为矩阵形式:
进一步地,所述步骤S40具体为:
通过最小化损失函数将矩阵化的所述目标函数转为频域函数:
其中表示辅助变量;∧表示给对应参数执行离散傅里叶变换;F是正交T×T,用于将任何T维矢量信号映射到傅里叶域的复基向量矩阵;表示(k-1)帧中移位信号的离散傅里叶变换;ID表示一个D×D恒等矩阵;表示Kronecker乘积。
进一步地,所述步骤S50具体包括:
步骤S51、将所述频域函转为增广拉格朗日方程:
通过谢尔曼-莫里森公式提升计算效率:
进一步地,所述步骤S60具体为:
进一步地,所述步骤S70中,所述基于更新的所述拉格朗日参数更新跟踪框的目标函数具体为:
其中m和m-1分别表示mth和(m-1)th的目标函数,η表示在线学习因子。
本发明的优点在于:
通过利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数,并将所述目标函数矩阵化后转为频域函数,进而最小化以求取最优解,并利用所述最优解更新拉格朗日参数,进而更新跟踪框的目标函数,可以更好的解决边界效应,提高对复杂外观变化的适应性,获得对外不断变化的鲁棒性,极大的提升了视觉跟踪的准确性以及有效性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种结合时空正则化约束的视觉跟踪定位方法的流程图。
具体实施方式
请参照图1所示,本发明一种结合时空正则化约束的视觉跟踪定位方法的较佳实施例,包括如下步骤:
步骤S10、对参数进行初始化;
步骤S20、基于初始化的所述参数,利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数;
步骤S30、将所述目标函数矩阵化;
步骤S40、将矩阵化的所述目标函数转为频域函数;
步骤S50、将所述频域函数最小化以求取最优解;
步骤S60、利用所述最优解更新拉格朗日参数;
步骤S70、基于更新的所述拉格朗日参数更新跟踪框的目标函数进行视觉跟踪。
所述步骤S10具体为:
对目标边界区域、滤波器正则化权重、空间相关算子*以及响应阈值y进行初始化,并采用M×N的网格单元表示目标的大小,且与跟踪框的大小成比例;其中M与N均为正整数。
所述步骤S20中,所述目标函数具体为:
其中表示时空正则化模块,即时空正则化权重矩阵w和相关滤波器ht进行点向乘法运算操作,⊙表示Hadamard乘积,λ1、λ2和γ表示正则化权重因子,ht和ht-1分别表示在t-th和(t-1)-th帧中使用的CFs;
所述步骤S30具体为:
将所述目标函数转换为矩阵形式:
所述步骤S40具体为:
通过最小化损失函数将矩阵化的所述目标函数转为频域函数:
其中表示辅助变量;∧表示给对应参数执行离散傅里叶变换,例如F是正交T×T,用于将任何T维矢量信号映射到傅里叶域的复基向量矩阵;表示(k-1)帧中移位信号的离散傅里叶变换;ID表示一个D×D恒等矩阵;表示Kronecker乘积。
所述步骤S50具体包括:
步骤S51、将所述频域函转为增广拉格朗日方程:
由于包含反演操作,增加了总体目标方程的计算负担,因此通过谢尔曼-莫里森公式提升计算效率:
所述步骤S60具体为:
所述步骤S70中,所述基于更新的所述拉格朗日参数更新跟踪框的目标函数具体为:
其中m和m-1分别表示mth和(m-1)th的目标函数,η表示在线学习因子。
综上所述,本发明的优点在于:
通过利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数,并将所述目标函数矩阵化后转为频域函数,进而最小化以求取最优解,并利用所述最优解更新拉格朗日参数,进而更新跟踪框的目标函数,可以更好的解决边界效应,提高对复杂外观变化的适应性,获得对外不断变化的鲁棒性,极大的提升了视觉跟踪的准确性以及有效性。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。
Claims (7)
1.一种结合时空正则化约束的视觉跟踪定位方法,其特征在于:包括如下步骤:
步骤S10、对参数进行初始化;
步骤S20、基于初始化的所述参数,利用脊回归项、时空正则化模块以及约束模块建立跟踪框的目标函数;
步骤S30、将所述目标函数矩阵化;
步骤S40、将矩阵化的所述目标函数转为频域函数;
步骤S50、将所述频域函数最小化以求取最优解;
步骤S60、利用所述最优解更新拉格朗日参数;
步骤S70、基于更新的所述拉格朗日参数更新跟踪框的目标函数进行视觉跟踪;
所述步骤S20中,所述目标函数具体为:
其中表示时空正则化模块,即时空正则化权重矩阵w和相关滤波器ht进行点向乘法运算操作,⊙表示Hadamard乘积,λ1、λ2和γ表示正则化权重因子,ht和ht-1分别表示在t-th和(t-1)-th帧中使用的CFs;
2.如权利要求1所述的一种结合时空正则化约束的视觉跟踪定位方法,其特征在于:所述步骤S10具体为:
对目标边界区域、滤波器正则化权重、空间相关算子*以及响应阈值y进行初始化,并采用M×N的网格单元表示目标的大小,且与跟踪框的大小成比例;其中M与N均为正整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010466649.8A CN111612809B (zh) | 2020-05-28 | 2020-05-28 | 一种结合时空正则化约束的视觉跟踪定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010466649.8A CN111612809B (zh) | 2020-05-28 | 2020-05-28 | 一种结合时空正则化约束的视觉跟踪定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111612809A CN111612809A (zh) | 2020-09-01 |
CN111612809B true CN111612809B (zh) | 2023-04-07 |
Family
ID=72200059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010466649.8A Active CN111612809B (zh) | 2020-05-28 | 2020-05-28 | 一种结合时空正则化约束的视觉跟踪定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111612809B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409357B (zh) * | 2021-04-27 | 2023-10-31 | 中国电子科技集团公司第十四研究所 | 一种基于双时空约束的相关滤波目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146911A (zh) * | 2018-07-23 | 2019-01-04 | 北京航空航天大学 | 一种目标跟踪的方法及装置 |
CN110490907A (zh) * | 2019-08-21 | 2019-11-22 | 上海无线电设备研究所 | 基于多目标特征和改进相关滤波器的运动目标跟踪方法 |
WO2019228196A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法和全景相机 |
CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
-
2020
- 2020-05-28 CN CN202010466649.8A patent/CN111612809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019228196A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法和全景相机 |
CN109146911A (zh) * | 2018-07-23 | 2019-01-04 | 北京航空航天大学 | 一种目标跟踪的方法及装置 |
CN110490907A (zh) * | 2019-08-21 | 2019-11-22 | 上海无线电设备研究所 | 基于多目标特征和改进相关滤波器的运动目标跟踪方法 |
CN111080675A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种基于时空约束相关滤波的目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
学习时空一致性相关滤波的视觉跟踪;朱建章等;《中国科学:信息科学》;20200120(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111612809A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652899B (zh) | 一种时空部件图的视频目标分割方法 | |
US11274922B2 (en) | Method and apparatus for binocular ranging | |
Habibi | Two-dimensional Bayesian estimate of images | |
EP2378485B1 (en) | Moving object detection method and moving object detection apparatus | |
CN110443266B (zh) | 对象预测方法及装置、电子设备和存储介质 | |
CN112434655B (zh) | 一种基于自适应置信度图卷积网络的步态识别方法 | |
EP2352128B1 (en) | Mobile body detection method and mobile body detection apparatus | |
CN112464807A (zh) | 视频动作识别方法、装置、电子设备和存储介质 | |
KR20210011322A (ko) | 시간적 주의에 기초한 비디오 깊이 추정 | |
CN111028282A (zh) | 一种无监督位姿与深度计算方法及系统 | |
WO2020088766A1 (en) | Methods for optical flow estimation | |
CN104408742A (zh) | 一种基于空间-时间频谱联合分析的运动目标检测方法 | |
CN111612809B (zh) | 一种结合时空正则化约束的视觉跟踪定位方法 | |
CN111402303A (zh) | 一种基于kfstrcf的目标跟踪架构 | |
CN116563355A (zh) | 一种基于时空交互注意力机制的目标跟踪方法 | |
CN115359563A (zh) | 多人行为识别方法、装置、计算机设备及存储介质 | |
CN114898467A (zh) | 人体运动动作识别方法、系统及存储介质 | |
CN114240999A (zh) | 一种基于增强图注意力与时间卷积网络的运动预测方法 | |
CN111882028B (zh) | 用于卷积神经网络的卷积运算装置 | |
Gao et al. | Edge Devices Friendly Self-Supervised Monocular Depth Estimation Via Knowledge Distillation | |
Barthélemy et al. | Decomposition and dictionary learning for 3D trajectories | |
Chai et al. | Modernn: Towards fine-grained motion details for spatiotemporal predictive learning | |
CN109492530A (zh) | 基于深度多尺度时空特征的健壮性视觉物体跟踪算法 | |
Liu et al. | Robust online matrix completion with Gaussian mixture model | |
CN116503697B (zh) | 一种无监督多尺度多阶段的内容感知单应性估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |