CN112598710A - 基于特征在线选择的时空相关滤波目标跟踪方法 - Google Patents

基于特征在线选择的时空相关滤波目标跟踪方法 Download PDF

Info

Publication number
CN112598710A
CN112598710A CN202011560829.9A CN202011560829A CN112598710A CN 112598710 A CN112598710 A CN 112598710A CN 202011560829 A CN202011560829 A CN 202011560829A CN 112598710 A CN112598710 A CN 112598710A
Authority
CN
China
Prior art keywords
feature
tracking
change
environment
hog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011560829.9A
Other languages
English (en)
Other versions
CN112598710B (zh
Inventor
刘晴
韩浩
唐健
马宁杰
冯维
姜显扬
姚英彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011560829.9A priority Critical patent/CN112598710B/zh
Publication of CN112598710A publication Critical patent/CN112598710A/zh
Application granted granted Critical
Publication of CN112598710B publication Critical patent/CN112598710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于特征在线选择的时空相关滤波目标跟踪方法。采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练；将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。

Description

基于特征在线选择的时空相关滤波目标跟踪方法
技术领域
本发明属于图像处理技术领域，特别是涉及目标跟踪、人脸识别、在线学习、在线选择及特征融合等，具体是基于特征在线选择的时空相关滤波方法。
背景技术
目标跟踪是国内外计算机视觉研究的一个重要方向，其在智能驾驶、视频监控、人机交互等方面都有广泛的应用。近年来，由于相关滤波和深度学习等方法的引入，视频目标跟踪算法发展迅速，极大的提高了复杂跟踪环境下目标的跟踪精度。特别是相关滤波和深度学习相结合的目标跟踪算法，利用深度学习框架提升特征在目标跟踪算法中的表现，而且将计算从时域转换到频域极大的降低了计算复杂度，在保持着算法的实时性的同时，大大提高了算法的准确性。
在2010年Bolme等人提出了MOSSE算法，这是首次把相关滤波方法引入到目标跟踪中，运行速度超过600帧/s。在MOSSE算法提出之后，很多基于MOSSE算法的相关滤波算法相继提出，例如：KCF算法、DSST算法等，在保持相关滤波类算法实时性的基础上继续提升着算法的准确性。2018年提出的CACF算法在传统的相关滤波框架的基础上加入了感知区域，在保证实时性的基础上，提升相关滤波类算法处理跟踪目标出现旋转情况的能力。虽然CACF算法提升了特征的鲁棒性，但是特征的融合仍不能根据环境变化自适应融合，会在一定程度上降低算法的整体跟踪精度。2020年提出的LISRD算法，利用深度特征在本地计算出特征描述算子，利用特征点匹配之间的距离进行在线选择最合适的特征，降低跟踪环境对特征的影响，提升算法的鲁棒性。
发明内容
针对现有技术中存在的不足，本发明提供一种基于特征在线选择的时空相关滤波目标跟踪方法。
本发明公开了一种在时空感知相关滤波框架下，基于互补的HOG特征和CN特征的在线选择实现目标跟踪的方法。首先，本发明采用时空感知相关滤波框架，较经典相关滤波框架增加感知区域，提升特征的抗干扰能力；其次，将CN特征加入到本发明跟踪框架中，提升应对跟踪目标出现形变、旋转等干扰的能力，再与HOG特征融合，提升本发明的跟踪精度；最后，本发明还采用预训练好的特征描述算子和特征响应输出变化系数结合的方法，根据特征受跟踪环境影响程度，计算出特征自适应融合系数，实现在复杂的跟踪环境下特征的自适应融合，提升本发明方法的鲁棒性。方法具体实现流程见图1。
本发明实现的具体步骤如下：
步骤一：
采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练，在保证实时性的同时，提高滤波器应对跟踪环境变化的能力。
在每帧跟踪图像中，提取k个感知区域特征信息，作为负样本信息加入到时空相关滤波器的训练中，提升滤波器应对背景信息能力，如式1为时空相关滤波器训练公式：
Figure BDA0002860380840000021
其中w为期望得到的相关滤波器，A0为通过循环矩阵得到的特征响应，y表示标准高斯响应输出，Ai表示通过采集目标周围的感知区域，得到的负样本特征响应，λ1、λ2表示对应的控制参数。
步骤二：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪。
1.CN特征响应输出计算步骤如下：
(1)PCA降维处理CN特征。
首先将提取到的CN特征采用PCA降维的方法进行处理，将D1维CN特征降维到D2维。通过最小化损失函数，来选择一个最适合每帧的颜色特征降维映射：
Figure BDA0002860380840000031
其中，
Figure BDA0002860380840000032
为本帧影响因子，如式(3)所示，
Figure BDA0002860380840000033
为前i帧的平滑影响因子，
Figure BDA0002860380840000034
为总的影响因子，αp为当前帧权重系数，αi为第i帧图像权重系数。
Figure BDA0002860380840000035
其中，Bp为D1×D2的当前帧映射矩阵，[M，N]为当前帧搜索区域的大小，(m，n)为上一帧确定的目标位置，
Figure BDA0002860380840000036
为当前帧D1维的特征图。
(2)计算CN颜色特征的响应输出
经过PCA降维处理，得到降维映射矩阵Bp，将特征图的特征维度降维到D2维，然后将降维后的特征矩阵输入至训练好的CN特征的时空相关滤波器中进行计算，得到CN特征响应输出。最终CN特征响应输出计算方法如式(4)：
Figure BDA0002860380840000037
其中，fcn(·)为候选区域在滤波器计算下的响应输出，Ω表示计算特征矩阵的像素区域，βt-1为式(1)计算得到的时空相关滤波器的模型参数，
Figure BDA0002860380840000038
表示本帧的CN特征图。
2.HOG特征响应输出计算步骤如下：
对HOG特征直接进行处理，利用训练好的HOG特征的时空相关滤波器，对下一帧图片的候选区域提取的HOG特征进行计算，得到HOG特征的响应输出，计算式如下：
Figure BDA0002860380840000041
其中fhog(·)为候选区域在滤波器计算下的响应输出，ht-1为式(1)计算得到的HOG特征滤波器模型参数，
Figure BDA0002860380840000042
为本帧HOG特征图。
步骤三：
利用预训练好的特征描述算子约束特征响应输出变化系数。根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。
1.特征描述算子的训练
特征描述算子通过线下训练框架，针对HOG特征和CN特征敏感的跟踪环境变化，训练出HOG特征和CN特征的环境变化特征描述算子和环境不变特征描述算子，来提升特征应对跟踪环境变化的能力。
(1)HOG特征
HOG特征根据梯度信息进行定位，跟踪目标的形变和旋转都会改变梯度信息，对跟踪精度造成大的影响。针对HOG特征对旋转目标敏感的情况，对HOG特征预训练的特征描述算子，针对旋转这一跟踪环境变化，训练出旋转变化特征描述算子，同时选取没有旋转情况出现的训练集训练旋转不变特征描述算子，根据跟踪过程中跟踪环境的变化选择适合的特征描述算子，提升HOG特征应对跟踪目标出现旋转的时的抗干扰能力。
(2)CN特征
CN特征是根据颜色信息来对目标进行跟踪，因此受光照变化等因素的影响大。针对CN特征对光照变化敏感的情况，训练光照变化特征描述算子，提升CN特征应对跟踪过程中出现明显光照变化等会影响跟踪目标颜色信息的能力。同时，也根据没有明显光照变化的跟踪过程训练出光照不变特征描述算子，根据跟踪情况选择对应算子，以此提高本发明方法应对复杂多变跟踪环境的能力。
(3)特征描述算子训练过程
特征描述算子的本地训练集全部取自OTB标准视频库，每种特征的训练集都分为环境变化特征训练集和环境不变特征训练集，分别用来训练每种特征的变化特征描述算子和不变特征描述算子。每种训练集都包含三个子训练集，负样本训练集、正样本训练集、跟踪训练集。
(a)环境变化特征描述算子训练
环境变化特征描述算子训练时，针对每种特征所敏感的跟踪环境变化，筛选出特定跟踪视频序列组成各自的负样本训练集。HOG特征的负样本训练集由存在着旋转干扰的跟踪视频序列图片组成，同时CN特征的负样本训练集由存在着光照变化干扰的视频序列图片组成。
环境变化特征描述算子训练集还包括正样本训练集和跟踪训练集，正训练集则由无干扰跟踪视频图片组成，跟踪训练集是完整的跟踪序列，为了在训练过程中模拟真实的跟踪环境，与正负训练集的响应输出对比，从而计算出环境变化特征描述算子。环境变化特征描述算子训练公式如下：
Figure BDA0002860380840000051
其中，Lp表示环境变化特征描述算子，n表示视频序列的帧数，fp表示针对环境变化训练集的控制系数，
Figure BDA0002860380840000052
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出。
(b)环境不变特征描述算子训练
环境不变特征训练集训练方式和环境变化特征训练集相同，区别仅在于负样本训练集。环境不变特征描述算子训练集的负样本训练集不包含针对性的跟踪环境变化，即HOG特征环境不变特征描述算子训练中，图片序列没有旋转情况出现，同样，CN特征训练集中没有光照变化出现。环境不变特征描述算子训练公式如下：
Figure BDA0002860380840000061
其中，Ln表示环境不变特征描述算子，n表示视频序列的帧数，fn表示针对环境不变训练集的控制系数，
Figure BDA0002860380840000062
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出。
2.特征自适应融合
变化系数表示当前帧图片特征响应输出和前面n帧图片特征响应输出相比变化的大小。变化系数越大，则说明跟踪环境对于特征的影响越大，特征融合系数应该越小。变化系数根据两帧图片特征响应输出的欧氏距离计算得出，计算方式如下式：
Figure BDA0002860380840000063
其中，ωi表示特征的变化系数，d表示计算变化系数时的帧数，fc、fk分别表示当前帧和前面第k帧的特征响应输出。由式(8)计算得到每帧的变化系数，用于表示当前帧特征响应输出的受影响大小。
在选择对应的特征描述算子时，利用当前帧变化系数ωi和历史平均变化系数
Figure BDA0002860380840000064
进行对比，选出适应当前跟踪环境的特征描述算子，具体选择方式如下面步骤(a)、(b)所示。其中历史平均变化系数
Figure BDA0002860380840000065
计算方式如式(9)：
Figure BDA0002860380840000066
(a)ωi大于
Figure BDA0002860380840000067
当当前帧的变化系数ωi，大于历史平均变化系数
Figure BDA0002860380840000068
时，则说明当前帧特征受到跟踪环境的影响大，响应输出置信度低，在这种情况下选用预先训练好的环境变化特征描述算子对变化系数进行约束，计算特征融合系数，以此提升特征抗干扰能力。
(b)ωi小于
Figure BDA0002860380840000069
在ωi小于
Figure BDA0002860380840000071
的情况下，说明外部影响因素对跟踪过程的影响小，特征响应输出很平稳，则采用预训练好的环境不变特征描述算子对变化系数进行约束，防止系数过大，发生模型的漂移。
计算得到每帧的变化系数，并累计计算得到历史平均变化系数，在此基础上判断跟踪环境对特征造成的影响，再结合正负特征描述算子，计算出特征融合的系数，减低跟踪环境的影响，提升整体性能。特征融合系数计算流程如下：
Figure BDA0002860380840000072
Figure BDA0002860380840000073
其中，αhog、αcn分别表HOG特征和CN特征在特征描述算子控制下的特征融合系数；Lp、Ln分别表示两种特征各自的环境变化特征描述算子和环境不变特征描述算子；ωhog和ωcn则分别表示当前帧的变化系数。
对由式(10)、(11)计算得到的系数进行归一化处理，得到最终的特征融合系数。
Figure BDA0002860380840000074
Figure BDA0002860380840000075
在特征融合系数控制下特征自适应融合，进行最终的跟踪定位。
f(x)＝Kcnfcn+Khogfhog (14)
其中，fx表示最终响应输出，K、f分别表示特征的融合系数和特征响应输出。根据融合后的响应输出确定目标位置，定位跟踪。
本发明的有益效果：
本发明公开了时空相关滤波框架下CN特征和HOG特征自适应融合的目标跟踪方法。首先使用具有对背景信息有着更好分辨能力的时空相关滤波器在岭回归方法下分别训练HOG特征和CN特征相关滤波器，计算响应输出，利用HOG特征和CN特征特征性能上互补的特性，使跟踪更有鲁棒性，同时兼顾了方法的实时性。其次，引入特征描述算子的方法，线下训练特征描述算子，来控制跟踪环境对于特征的影响，计算出特征描述算子控制下基于变化系数的特征融合系数，使HOG和CN特征能根据跟踪环境的变化自适应融和，进一步提升在复杂环境下的跟踪效果。
附图说明
图1本发明方法流程图；
图2时空相关滤波框架和经典框架对比图；
图3Skiing视频序列跟踪效果图；
图4Shaking视频序列跟踪效果图。
具体实施方式
下面结合附图对本发明实施例作详细说明。
步骤一：
经典相关滤波框架为了保证方法的实时性，一方面采用快速傅里叶变换，加快计算速度，另一方面就是尽量少的采集负样本的数量，减少样本的计算量。但是负样本采集量过少，会导致在旋转、光照等强干扰因素出现时，跟踪精度急剧下降。本发明方法采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练，在保证实时性的同时，提高滤波器应对跟踪环境变化的能力。感知区域的提取如图2所示。
跟踪目标周围的特征信息对跟踪精度有着极大的影响，如光照、遮挡等。当出现跟踪环境的干扰时，感知区域特征对于跟踪的鲁棒性和精准性都有重大的意义。本发明方法在每帧跟踪图像中，提取k个感知区域特征信息，作为负样本信息加入到时空相关滤波器的训练中，提升滤波器应对背景信息能力，如式1为时空相关滤波器训练公式：
Figure BDA0002860380840000091
其中w为期望得到的相关滤波器，A0为通过循环矩阵得到的特征响应，y表示标准高斯响应输出，Ai表示通过采集目标周围的感知区域，得到的负样本特征响应，λ1、λ2表示对应的控制参数。
通过加入感知区域特征信息的方法，相关滤波器在计算特征的响应输出时，目标区域响应输出较高，而背景区域响应输出近似于0，以此来更好的区分跟踪目标和背景，提升本发明方法的跟踪鲁棒性。
步骤二：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪。
计算机视觉中颜色属性一般分为RGB三色，CN特征则是把RGB三色细分映射到11维的颜色空间去，然后抽取每种颜色的1/11，将11维映射变成10维子空间。使颜色特征的表达能力更强，提升本发明方法的准确性，同时本发明又采用PCA线性降维技术，将原本过拟合的10维特征降维成三维，在保证了本发明方法跟踪准确性的同时，又降低了计算复杂度，保证了实时性的要求。
1.CN特征响应输出计算步骤如下：
(1)PCA降维处理CN特征。
首先将提取到的CN特征采用PCA降维的方法进行处理，将D1维CN特征降维到D2维。PCA方法是在降维的同时选择出有用信息剔除干扰信息。本发明通过最小化损失函数，来选择一个最适合每帧的颜色特征降维映射：
Figure BDA0002860380840000101
其中，
Figure BDA0002860380840000102
为本帧影响因子，如式(3)所示，
Figure BDA0002860380840000103
为前i帧的平滑影响因子，
Figure BDA0002860380840000104
为总的影响因子，αp为当前帧权重系数，αi为第i帧图像权重系数。
Figure BDA0002860380840000105
其中，Bp为D1×D2的当前帧映射矩阵，[M，N]为当前帧搜索区域的大小，(m，n)为上一帧确定的目标位置，
Figure BDA0002860380840000106
为当前帧D1维的特征图。
(2)计算CN颜色特征的响应输出
经过PCA降维处理，得到降维映射矩阵Bp，将特征图的特征维度降维到D2维，然后将降维后的特征矩阵输入至训练好的CN特征的时空相关滤波器中进行计算，得到CN特征响应输出。最终CN特征响应输出计算方法如式(4)：
Figure BDA0002860380840000107
其中，fcn(·)为候选区域在滤波器计算下的响应输出，Ω表示计算特征矩阵的像素区域，βt-1为式(1)计算得到的时空相关滤波器的模型参数，
Figure BDA0002860380840000108
表示本帧的CN特征图。
2.HOG特征响应输出计算步骤如下：
相较于CN特征进行的降维处理，因为HOG特征本身维度没有特别高，计算复杂度较低，本发明方法对HOG特征直接进行处理，利用训练好的HOG特征的时空相关滤波器，对下一帧图片的候选区域提取的HOG特征进行计算，得到HOG特征的响应输出，计算式如下：
Figure BDA0002860380840000111
其中fhog(·)为候选区域在滤波器计算下的响应输出，ht-1为式(1)计算得到的HOG特征滤波器模型参数，
Figure BDA0002860380840000112
为本帧HOG特征图。
步骤三：
利用预训练好的特征描述算子约束特征响应输出变化系数。根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。
1.特征描述算子的训练
特征描述算子通过线下训练框架，针对HOG特征和CN特征敏感的跟踪环境变化，训练出HOG特征和CN特征的环境变化特征描述算子和环境不变特征描述算子，来提升特征应对跟踪环境变化的能力。
(1)HOG特征
HOG特征根据梯度信息进行定位，跟踪目标的形变和旋转都会改变梯度信息，对跟踪精度造成大的影响。针对HOG特征对旋转目标敏感的情况，对HOG特征预训练的特征描述算子，针对旋转这一跟踪环境变化，训练出旋转变化特征描述算子，同时选取没有旋转情况出现的训练集训练旋转不变特征描述算子，根据跟踪过程中跟踪环境的变化选择适合的特征描述算子，提升HOG特征应对跟踪目标出现旋转的时的抗干扰能力。
(2)CN特征
CN特征是根据颜色信息来对目标进行跟踪，因此受光照变化等因素的影响大。针对CN特征对光照变化敏感的情况，训练光照变化特征描述算子，提升CN特征应对跟踪过程中出现明显光照变化等会影响跟踪目标颜色信息的能力。同时，也根据没有明显光照变化的跟踪过程训练出光照不变特征描述算子，根据跟踪情况选择对应算子，以此提高本发明方法应对复杂多变跟踪环境的能力。
分别针对两种特征敏感的跟踪环境影响，训练对应的特征描述算子。在此基础上再结合每帧响应输出的变化系数，确定两种特征融合的系数，提升了特征的抗干扰能力，从整体上提升本发明方法的鲁棒性。
(3)特征描述算子训练过程
特征描述算子的本地训练集全部取自OTB标准视频库，每种特征的训练集都分为环境变化特征训练集和环境不变特征训练集，分别用来训练每种特征的变化特征描述算子和不变特征描述算子。每种训练集都包含三个子训练集，负样本训练集、正样本训练集、跟踪训练集。
(a)环境变化特征描述算子训练
环境变化特征描述算子训练时，针对每种特征所敏感的跟踪环境变化，筛选出特定跟踪视频序列组成各自的负样本训练集。HOG特征的负样本训练集由存在着旋转干扰的跟踪视频序列图片组成，同时CN特征的负样本训练集由存在着光照变化干扰的视频序列图片组成。
环境变化特征描述算子训练集还包括正样本训练集和跟踪训练集，正训练集则由无干扰跟踪视频图片组成，跟踪训练集是完整的跟踪序列，为了在训练过程中模拟真实的跟踪环境，与正负训练集的响应输出对比，从而计算出环境变化特征描述算子。环境变化特征描述算子训练公式如下：
Figure BDA0002860380840000121
其中，Lp表示环境变化特征描述算子，n表示视频序列的帧数，fp表示针对环境变化训练集的控制系数，
Figure BDA0002860380840000122
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出。
(b)环境不变特征描述算子训练
训练好跟踪环境出现变化时的特征描述算子之后，本发明方法考虑到特定跟踪环境对跟踪过程影响较小的情况，又训练环境不变特征描述算子，用来控制跟踪环境影响较小情况下的特征融合系数。
环境不变特征训练集训练方式和环境变化特征训练集相同，区别仅在于负样本训练集。环境不变特征描述算子训练集的负样本训练集不包含针对性的跟踪环境变化，即HOG特征环境不变特征描述算子训练中，图片序列没有旋转情况出现，同样，CN特征训练集中没有光照变化出现。环境不变特征描述算子训练公式如下：
Figure BDA0002860380840000131
其中，Ln表示环境不变特征描述算子，n表示视频序列的帧数，fn表示针对环境不变训练集的控制系数，
Figure BDA0002860380840000132
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出。
2.特征自适应融合
在由步骤1分别计算得出对应特征的特征描述算子之后，本发明方法又引入了变化系数的概念，将两者结合计算得出自适应的特征融合系数，控制特征融合，以此降低跟踪环境变化对特征的影响，使得本发明方法有更好的鲁棒性。
变化系数表示当前帧图片特征响应输出和前面n帧图片特征响应输出相比变化的大小。变化系数越大，则说明跟踪环境对于特征的影响越大，特征融合系数应该越小。变化系数根据两帧图片特征响应输出的欧氏距离计算得出，计算方式如下式：
Figure BDA0002860380840000133
其中，ωi表示特征的变化系数，d表示计算变化系数时的帧数，fc、fk分别表示当前帧和前面第k帧的特征响应输出。由式(8)计算得到每帧的变化系数，用于表示当前帧特征响应输出的受影响大小。
在选择对应的特征描述算子时，利用当前帧变化系数ωi和历史平均变化系数
Figure BDA0002860380840000134
进行对比，选出适应当前跟踪环境的特征描述算子，具体选择方式如下面步骤(a)、(b)所示。其中历史平均变化系数
Figure BDA0002860380840000135
计算方式如式(9)：
Figure BDA0002860380840000141
(a)ωi大于
Figure BDA0002860380840000142
当当前帧的变化系数ωi，大于历史平均变化系数
Figure BDA0002860380840000143
时，则说明当前帧特征受到跟踪环境的影响大，响应输出置信度低，在这种情况下选用预先训练好的环境变化特征描述算子对变化系数进行约束，计算特征融合系数，以此提升特征抗干扰能力。
(b)ωi小于
Figure BDA0002860380840000144
在ωi小于
Figure BDA0002860380840000145
的情况下，说明外部影响因素对跟踪过程的影响小，特征响应输出很平稳，则采用预训练好的环境不变特征描述算子对变化系数进行约束，防止系数过大，发生模型的漂移。
计算得到每帧的变化系数，并累计计算得到历史平均变化系数，在此基础上判断跟踪环境对特征造成的影响，再结合正负特征描述算子，计算出特征融合的系数，减低跟踪环境的影响，提升整体性能。特征融合系数计算流程如下：
Figure BDA0002860380840000146
Figure BDA0002860380840000147
其中，αhog、αcn分别表HOG特征和CN特征在特征描述算子控制下的特征融合系数；Lp、Ln分别表示两种特征各自的环境变化特征描述算子和环境不变特征描述算子；ωhog和ωcn则分别表示当前帧的变化系数。
对由式(10)、(11)计算得到的系数进行归一化处理，得到最终的特征融合系数。
Figure BDA0002860380840000151
Figure BDA0002860380840000152
在特征融合系数控制下特征自适应融合，进行最终的跟踪定位。
f(x)＝Kcnfcn+Khogfhog (14)
其中，fx表示最终响应输出，K、f分别表示特征的融合系数和特征响应输出。根据融合后的响应输出确定目标位置，定位跟踪。
图1所示为本发明方法流程，首先，根据HOG和CN两种特征较为敏感的跟踪环境变化，选择出各自的环境变化和环境不变特征训练集，分别在本地训练HOG和CN特征的环境变化特征描述算子Ln和环境不变特征描述算子Lp，用在跟踪过程中控制变化系数，计算出自适应特征融合系数；其次，在跟踪过程中，分别提取CN和HOG特征，放入到各的时空相关滤波器中，计算跟踪目标模型，分别计算得出HOG和CN特征的响应输出，并计算各自的变化系数ωi和历史平均变化系数
Figure BDA0002860380840000153
根据大小比较来判断特征受环境干扰程度的大小。最后，利用预先训练好的特征描述算子和跟踪过程中动态计算的变化系数，计算特征融合权重，进行自适应特征融合，得到最终响应输出来确定跟踪目标位置。
具体实施步骤中所涉及的参数设置如下：
1、环境变化特征描述算子训练时，HOG特征和CN特征的控制系数fp分别为0.4,0.44。
2、环境不变特征描述算子训练时，HOG特征和CN特征的控制系数fn分别为0.3,0.35.
3、计算变化系数时，累计计算帧数n＝5.
图2所示为本发明方法采用的时空相关滤波跟踪框架和经典相关滤波框架的对比图。其中图(1)为经典相关滤波框架及其响应输出，大实线框表示相关滤波器特征提取区域，小实线框表示目标位置。从响应输出图可以看出，输出没有明显峰值，有较多干扰信息。图(2)表示时空相关滤波框架，虚线框到大实线框表示本发明方法提取的感知区域，从响应输出可以看出，加入感知区域后，输出峰值更加明显，抗干扰能力进一步增强。
图3、图4所示为本发明和原始算法在两个有代表性的视频序列上的跟踪效果对比图，左上角代表视频的帧数。图3所示视频序列出现了明显的跟踪目标旋转的情况，光照也有一定影响，图4所示视频序列则出现了明显的光照干扰，跟踪目标也有旋转情况出现。
图3(a)中，显示的是原始算法Skiing视频序列的第10、25、41、100帧的跟踪结果。这个视频序列跟踪过程中多次出现旋转的情况，如图的第25帧跟踪图像出现了严重的目标旋转情况，而且跟踪过程中多次出现旋转的影响。从图中可以看到，在视频的第25帧，因为目标旋转的影响已经出现了跟踪目标丢失的情况，在视频的第41帧，跟踪框已经基本丢失跟踪目标，到了第100帧的时候，已经完全丢失目标，跟踪完全失败。
图3(b)本发明方法在全跟踪过程中都稳定跟踪目标，针对跟踪过程中出现的多次旋转情况，在训练好的特征描述算子的控制下，本发明方法对旋转的情况有了更好的抵抗性，提升了本发明方法整体的鲁棒性。
图4(a)中，显示的是原始算法Shaking视频序列的第5、22、130、142帧的跟踪结果。视频序列的第130帧出现特别明显的光照变化，整个跟踪过程中光照的干扰一直存在。可以看出，当出现较严重的光照变化干扰后，原始算法已经被完全干扰，完全丢失了目标，跟踪失败。由图4(b)中可以看出，在CN特征描述算子的控制下，在强光照干扰下，本发明方法也能跟上目标，后续在光照情况变好之后能够明显回调，准确跟踪目标。
本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变形都将落在本发明的保护范围。

Claims (3)

1.基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤如下；
步骤一：
采用时空相关滤波框架作为主体跟踪框架，在经典相关滤波框架的基础上，在跟踪目标周围提取感知区域特征，作为负样本对相关滤波器进行抗干扰训练，在保证实时性的同时，提高滤波器应对跟踪环境变化的能力；
在每帧跟踪图像中，提取k个感知区域特征信息，作为负样本信息加入到时空相关滤波器的训练中，提升滤波器应对背景信息能力，如式1为时空相关滤波器训练公式：
Figure FDA0002860380830000011
其中w为期望得到的相关滤波器，A0为通过循环矩阵得到的特征响应，y表示标准高斯响应输出，Ai表示通过采集目标周围的感知区域，得到的负样本特征响应，λ1、λ2表示对应的控制参数；
步骤二：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；
步骤三：
利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性。
2.根据权利要求1所述的基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤二具体操作如下：
将CN特征加入到时空相关滤波框架中，并利用HOG特征和CN特征的互补特性，在岭回归的架构下，利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算，得出各自的响应输出，对跟踪目标进行定位跟踪；
1.CN特征响应输出计算步骤如下：
(1)PCA降维处理CN特征；
首先将提取到的CN特征采用PCA降维的方法进行处理，将D1维CN特征降维到D2维；通过最小化损失函数，来选择一个最适合每帧的颜色特征降维映射：
Figure FDA0002860380830000021
其中，
Figure FDA0002860380830000022
为本帧影响因子，如式(3)所示，
Figure FDA0002860380830000023
为前i帧的平滑影响因子，
Figure FDA0002860380830000024
为总的影响因子，αp为当前帧权重系数，αi为第i帧图像权重系数；
Figure FDA0002860380830000025
其中，Bp为D1×D2的当前帧映射矩阵，[M，N]为当前帧搜索区域的大小，(m，n)为上一帧确定的目标位置，
Figure FDA0002860380830000026
为当前帧D1维的特征图；
(2)计算CN颜色特征的响应输出
经过PCA降维处理，得到降维映射矩阵Bp，将特征图的特征维度降维到D2维，然后将降维后的特征矩阵输入至训练好的CN特征的时空相关滤波器中进行计算，得到CN特征响应输出；最终CN特征响应输出计算方法如式(4)：
Figure FDA0002860380830000027
其中，fcn(·)为候选区域在滤波器计算下的响应输出，Ω表示计算特征矩阵的像素区域，βt-1为式(1)计算得到的时空相关滤波器的模型参数，
Figure FDA0002860380830000031
表示本帧的CN特征图；
2.HOG特征响应输出计算步骤如下：
对HOG特征直接进行处理，利用训练好的HOG特征的时空相关滤波器，对下一帧图片的候选区域提取的HOG特征进行计算，得到HOG特征的响应输出，计算式如下：
Figure FDA0002860380830000032
其中fhog(·)为候选区域在滤波器计算下的响应输出，ht-1为式(1)计算得到的HOG特征滤波器模型参数，
Figure FDA0002860380830000033
为本帧HOG特征图。
3.根据权利要求3所述的基于特征在线选择的时空相关滤波目标跟踪方法，其特征在于，步骤三具体操作如下：
利用预训练好的特征描述算子约束特征响应输出变化系数；根据变化系数和特征描述算子的关系确定特征融合系数，控制特征根据跟踪环境变化自适应融合，使特征对跟踪环境的变化有更好的鲁棒性；
1.特征描述算子的训练
特征描述算子通过线下训练框架，针对HOG特征和CN特征敏感的跟踪环境变化，训练出HOG特征和CN特征的环境变化特征描述算子和环境不变特征描述算子，来提升特征应对跟踪环境变化的能力；
(1)HOG特征
HOG特征根据梯度信息进行定位，跟踪目标的形变和旋转都会改变梯度信息，对跟踪精度造成大的影响；针对HOG特征对旋转目标敏感的情况，对HOG特征预训练的特征描述算子，针对旋转这一跟踪环境变化，训练出旋转变化特征描述算子，同时选取没有旋转情况出现的训练集训练旋转不变特征描述算子，根据跟踪过程中跟踪环境的变化选择适合的特征描述算子，提升HOG特征应对跟踪目标出现旋转的时的抗干扰能力；
(2)CN特征
CN特征是根据颜色信息来对目标进行跟踪，因此受光照变化等因素的影响大；针对CN特征对光照变化敏感的情况，训练光照变化特征描述算子，提升CN特征应对跟踪过程中出现明显光照变化等会影响跟踪目标颜色信息的能力；同时，也根据没有明显光照变化的跟踪过程训练出光照不变特征描述算子，根据跟踪情况选择对应算子，以此提高本发明方法应对复杂多变跟踪环境的能力；
(3)特征描述算子训练过程
特征描述算子的本地训练集全部取自OTB标准视频库，每种特征的训练集都分为环境变化特征训练集和环境不变特征训练集，分别用来训练每种特征的变化特征描述算子和不变特征描述算子；每种训练集都包含三个子训练集，负样本训练集、正样本训练集、跟踪训练集；
(a)环境变化特征描述算子训练
环境变化特征描述算子训练时，针对每种特征所敏感的跟踪环境变化，筛选出特定跟踪视频序列组成各自的负样本训练集；HOG特征的负样本训练集由存在着旋转干扰的跟踪视频序列图片组成，同时CN特征的负样本训练集由存在着光照变化干扰的视频序列图片组成；
环境变化特征描述算子训练集还包括正样本训练集和跟踪训练集，正训练集则由无干扰跟踪视频图片组成，跟踪训练集是完整的跟踪序列，为了在训练过程中模拟真实的跟踪环境，与正负训练集的响应输出对比，从而计算出环境变化特征描述算子；环境变化特征描述算子训练公式如下：
Figure FDA0002860380830000041
其中，Lp表示环境变化特征描述算子，n表示视频序列的帧数，fp表示针对环境变化训练集的控制系数，
Figure FDA0002860380830000042
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出；
(b)环境不变特征描述算子训练
环境不变特征训练集训练方式和环境变化特征训练集相同，区别仅在于负样本训练集；环境不变特征描述算子训练集的负样本训练集不包含针对性的跟踪环境变化，即HOG特征环境不变特征描述算子训练中，图片序列没有旋转情况出现，同样，CN特征训练集中没有光照变化出现；环境不变特征描述算子训练公式如下：
Figure FDA0002860380830000051
其中，Ln表示环境不变特征描述算子，n表示视频序列的帧数，fn表示针对环境不变训练集的控制系数，
Figure FDA0002860380830000052
则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出；
2.特征自适应融合
变化系数表示当前帧图片特征响应输出和前面n帧图片特征响应输出相比变化的大小；变化系数越大，则说明跟踪环境对于特征的影响越大，特征融合系数应该越小；变化系数根据两帧图片特征响应输出的欧氏距离计算得出，计算方式如下式：
Figure FDA0002860380830000053
其中，ωi表示特征的变化系数，d表示计算变化系数时的帧数，fc、fk分别表示当前帧和前面第k帧的特征响应输出；由式(8)计算得到每帧的变化系数，用于表示当前帧特征响应输出的受影响大小；
在选择对应的特征描述算子时，利用当前帧变化系数ωi和历史平均变化系数
Figure FDA0002860380830000054
进行对比，选出适应当前跟踪环境的特征描述算子，具体选择方式如下面步骤(a)、(b)所示；其中历史平均变化系数
Figure FDA0002860380830000055
计算方式如式(9)：
Figure FDA0002860380830000056
(a)ωi大于
Figure FDA0002860380830000057
当当前帧的变化系数ωi，大于历史平均变化系数
Figure FDA0002860380830000058
时，则说明当前帧特征受到跟踪环境的影响大，响应输出置信度低，在这种情况下选用预先训练好的环境变化特征描述算子对变化系数进行约束，计算特征融合系数，以此提升特征抗干扰能力；
(b)ωi小于
Figure FDA0002860380830000065
在ωi小于
Figure FDA0002860380830000066
的情况下，说明外部影响因素对跟踪过程的影响小，特征响应输出很平稳，则采用预训练好的环境不变特征描述算子对变化系数进行约束，防止系数过大，发生模型的漂移；
计算得到每帧的变化系数，并累计计算得到历史平均变化系数，在此基础上判断跟踪环境对特征造成的影响，再结合正负特征描述算子，计算出特征融合的系数，减低跟踪环境的影响，提升整体性能；特征融合系数计算流程如下：
αhog＝Lhog/ωhog,
Figure FDA0002860380830000061
αcn＝Lcn/ωcn,
Figure FDA0002860380830000062
其中，αhog、αcn分别表HOG特征和CN特征在特征描述算子控制下的特征融合系数；Lp、Ln分别表示两种特征各自的环境变化特征描述算子和环境不变特征描述算子；ωhog和ωcn则分别表示当前帧的变化系数；
对由式(10)、(11)计算得到的系数进行归一化处理，得到最终的特征融合系数；
Figure FDA0002860380830000063
Figure FDA0002860380830000064
在特征融合系数控制下特征自适应融合，进行最终的跟踪定位；
f(x)＝Kcnfcn+Khogfhog (14)
其中，f(x)表示最终响应输出，K、f分别表示特征的融合系数和特征响应输出；根据融合后的响应输出确定目标位置，定位跟踪。
CN202011560829.9A 2020-12-25 2020-12-25 基于特征在线选择的时空相关滤波目标跟踪方法 Active CN112598710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011560829.9A CN112598710B (zh) 2020-12-25 2020-12-25 基于特征在线选择的时空相关滤波目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560829.9A CN112598710B (zh) 2020-12-25 2020-12-25 基于特征在线选择的时空相关滤波目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112598710A true CN112598710A (zh) 2021-04-02
CN112598710B CN112598710B (zh) 2024-03-12

Family

ID=75202025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560829.9A Active CN112598710B (zh) 2020-12-25 2020-12-25 基于特征在线选择的时空相关滤波目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112598710B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744314A (zh) * 2021-09-06 2021-12-03 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN107862680A (zh) * 2017-10-31 2018-03-30 西安电子科技大学 一种基于相关滤波器的目标跟踪优化方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109785366A (zh) * 2019-01-21 2019-05-21 中国科学技术大学 一种针对遮挡的相关滤波目标跟踪方法
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法
CN110992402A (zh) * 2019-12-13 2020-04-10 杭州电子科技大学 基于特征融合的相关滤波目标跟踪方法
CN111260738A (zh) * 2020-01-08 2020-06-09 天津大学 基于相关滤波和自适应特征融合的多尺度目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN107862680A (zh) * 2017-10-31 2018-03-30 西安电子科技大学 一种基于相关滤波器的目标跟踪优化方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109785366A (zh) * 2019-01-21 2019-05-21 中国科学技术大学 一种针对遮挡的相关滤波目标跟踪方法
CN110490907A (zh) * 2019-08-21 2019-11-22 上海无线电设备研究所 基于多目标特征和改进相关滤波器的运动目标跟踪方法
CN110992402A (zh) * 2019-12-13 2020-04-10 杭州电子科技大学 基于特征融合的相关滤波目标跟踪方法
CN111260738A (zh) * 2020-01-08 2020-06-09 天津大学 基于相关滤波和自适应特征融合的多尺度目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟国崇;储;缪君;: "特征融合自适应目标跟踪", 图学学报, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744314A (zh) * 2021-09-06 2021-12-03 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法
CN113744314B (zh) * 2021-09-06 2023-09-22 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法

Also Published As

Publication number Publication date
CN112598710B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN111354017B (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN107403426B (zh) 一种目标物体检测方法及设备
CN108829826A (zh) 一种基于深度学习和语义分割的图像检索方法
CN108090919A (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN109977774B (zh) 一种基于自适应卷积的快速目标检测方法
CN109993775B (zh) 基于特征补偿的单目标跟踪方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN110276784B (zh) 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
CN110472577B (zh) 一种基于自适应相关滤波的长时视频跟踪方法
CN111598928A (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN116665095B (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
Li et al. Research on facial expression recognition based on LBP and deeplearning
CN113297988A (zh) 一种基于域迁移和深度补全的物体姿态估计方法
Sheng et al. Robust visual tracking via an improved background aware correlation filter
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法
CN112598710A (zh) 基于特征在线选择的时空相关滤波目标跟踪方法
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN110992402A (zh) 基于特征融合的相关滤波目标跟踪方法
CN111091583A (zh) 长期目标跟踪方法
CN114155273A (zh) 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN115063724A (zh) 一种果树田垄的识别方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant