CN113888586A - 一种基于相关滤波的目标跟踪方法及装置 - Google Patents

一种基于相关滤波的目标跟踪方法及装置 Download PDF

Info

Publication number
CN113888586A
CN113888586A CN202111018576.7A CN202111018576A CN113888586A CN 113888586 A CN113888586 A CN 113888586A CN 202111018576 A CN202111018576 A CN 202111018576A CN 113888586 A CN113888586 A CN 113888586A
Authority
CN
China
Prior art keywords
filter
target
hog
response
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111018576.7A
Other languages
English (en)
Inventor
曹璨
井世丽
陈延真
郝肖冉
成妍妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Hanguang Heavy Industry Ltd
Original Assignee
Hebei Hanguang Heavy Industry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Hanguang Heavy Industry Ltd filed Critical Hebei Hanguang Heavy Industry Ltd
Priority to CN202111018576.7A priority Critical patent/CN113888586A/zh
Publication of CN113888586A publication Critical patent/CN113888586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于相关滤波的目标跟踪方法及装置，所述方法包括：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域。该方法能够减少运算量，提高方法检测速度；有效改善原方法应对目标快速抖动的能力。

Description

一种基于相关滤波的目标跟踪方法及装置
技术领域
本发明计算机视觉领域，尤其涉及一种基于相关滤波的目标跟踪方法及装置。
背景技术
目标跟踪是计算机视觉领域中主要的研究方向之一。目标跟踪涉及到的领域包括数字图像处理、机器学习、模式识别、神经网络、深度学习等，在视频监控、智能机器人等多个应用领域有着广阔的发展前景。
近些年，基于检测的目标跟踪方法得到了很大的发展，其中，主流的研究方向之一是基于相关滤波器的目标跟踪方法。2014年Henriques等人将MOSSE与CSK使用的单通道灰度特征扩展为多通道方向梯度直方图特征(HOG)，并将特征用核技巧映射到高维空间，从而提出了KCF算法。KCF的提出，使得相关滤波类目标跟踪方法迅速发展。2015年Danelljan等人提出的SRDCF通过空域正则化去解决相关滤波器内在的边界效应，在VOT2015目标跟踪竞赛中名列前茅，但是SRDCF过大的计算量也限制了该算法的实用性。2016年Luca等人基于KCF的线性核版本DCF提出了Staple算法，Staple算法通过求解两个岭回归方程结合相关滤波与颜色分类器来提升跟踪算法的性能，得到了一个相当优秀的结果。但是，Staple算法仍存在一些不足。Staple算法中的HOG特征响应与颜色特征响应的融合系数是常数，这导致了Staple算法没有展示出HOG特征和颜色特征融合的优势；Staple算法在进行目标尺度预测时直接采用DSSD算法中的33个尺度预测，这导致staple尺度预测速度较慢；Staple算法为了提高检测速度，目标周围搜索区域较小，这导致当目标快读抖动出搜索区域时，目标跟踪失败。
发明内容
为解决上述技术问题，本发明提出了一种基于相关滤波的目标跟踪方法及装置，所述方法及装置，用于解决现有技术的基于相关滤波的staple算法的融合系数由于是固定的而无法完全展示两种特征的优势、尺度检测慢及搜索区域小的技术问题。
根据本发明的第一方面，提供一种基于相关滤波的目标跟踪方法，所述方法包括以下步骤：
步骤S101：获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
步骤S102：初始化HOG滤波器、尺度滤波器；
步骤S103：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S104：若所述视频的全部帧均处理完毕，方法结束；否则，进入步骤S105；
步骤S105：获取当前帧的下一帧，将该帧作为当前帧；
步骤S106：将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S107：基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
步骤S108：将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息，进入步骤S103。
根据本发明第二方面，提供一种基于相关滤波的目标跟踪装置，所述装置包括：
初始帧获取模块：配置为获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
初始化模块：配置为初始化HOG滤波器、尺度滤波器；
训练模块：配置为基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
第一判断模块：确定所述视频的全部帧均处理完毕；
当前帧更新模块：配置为获取当前帧的下一帧，将该帧作为当前帧；
图像处理模块：配置为将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
融合模块：配置为基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
当前帧信息获取模块：配置为将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息。
根据本发明第三方面，提供一种基于相关滤波的目标跟踪系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于相关滤波的目标跟踪方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于相关滤波的目标跟踪方法。
根据本发明的上述方案，是一种基于相关滤波的能够自适应融合参数、加速尺度检测以及扩大搜索区域的一种相关滤波目标跟踪方法。本发明的方案，通过计算特征置信度得出自适应融合系数，使得两种特征融合更具有鲁棒性，并通过对特征降维和插值的方式提升了尺度检测速度，同时通过双尺度模型同步训练方式在扩大搜索区域同时不影响跟踪速度，从三方面提高了相关滤波算法的跟踪效果。本发明的主要创新点在于：自适应两种分类器融合；尺度滤波器插值降维提速；双尺度滤波器扩大搜索范围以适应较大抖动。本发明具有以下有益效果：通过计算HOG相关滤波响应相对置信度和颜色分类器响应置信度，进一步得出两种特征自适应融合系数，使得本发明更好地融合双特征优势，提高了方法鲁棒性；通过对多尺度特征进行降维和插值，在不减少检测尺度个数的同时，减少运算量，提高方法检测速度；通过训练双尺度模板，在满足条件时扩大搜索范围，反之缩小搜索范围，有效改善原方法应对目标快速抖动的能力。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的一种基于相关滤波的目标跟踪方法流程图；
图2为本发明一个实施方式的一种基于相关滤波的目标跟踪方法细节实现流程图；
图3(A)为staple算法在RedTeam的跟踪结果；
图3(B)为本发明实施方式在RedTeam的跟踪结果；
图4(A)为staple算法在BlurCar1的跟踪结果；
图4(B)为本发明实施方式在BlurCar1的跟踪结果；
图5(A)为staple算法在Bolt2的跟踪结果；
图5(B)为本发明实施方式在Bolt2的跟踪结果；
图6为本发明一个实施方式的基于相关滤波的目标跟踪装置结构框图；
具体实施方式
首先结合图1-2说明本发明一个实施方式的一种基于相关滤波的目标跟踪方法流程，所述方法包括以下步骤：
步骤S101：获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
步骤S102：初始化HOG滤波器、尺度滤波器；
步骤S103：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S104：若所述视频的全部帧均处理完毕，方法结束；否则，进入步骤S105；
步骤S105：获取当前帧的下一帧，将该帧作为当前帧；
步骤S106：将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S107：基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
步骤S108：将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息，进入步骤S103。
所述步骤S101：获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧，包括：
步骤S1：根据初始帧，获取目标的初始信息；所述初始信息包括目标位置、目标长度htarget、目标宽度wtarget；
步骤S2：获取初始化参数信息，所述初始化参数信息包括前景区域、一般背景区域(wbg，hbg)、扩大背景区域(wl_bg，hl_bg)以及尺寸缩放因子；其中，wl_bg为扩大背景区域的宽度，hl_bg为扩大背景区域的长度，wbg为一般背景区域的宽度，hbg为一般背景区域的长度；
wbg＝wtarget+(wtarget+htarget)/2
hbg＝htarget+(wtarget+htarget)/2
wl_bg＝2×wbg
hl_bg＝2×hbg
本实施例中，一般背景区域用于一般距离，扩大背景区域用于抖动跟踪。
所述步骤S102：初始化HOG滤波器、尺度滤波器，包括：
初始化HOG滤波器包括：计算两种不同尺度余弦窗口以及高斯期望响应；
初始化操作包括：N个不同的插值前采样的尺度计算以及Ninterp个不同的插值后采样的尺度计算，对于尺寸为P×R的目标，经尺度变换后目标尺度计算公式为：
Figure BDA0003240887590000061
其中，N为实际稀疏采样尺寸个数，Ninterp为尺度滤波器预测结果经插值后的尺寸个数，ai为尺度因子，1≤i≤N，
Figure BDA0003240887590000062
Sn为尺寸滤波器训练时的输入尺寸。
所述步骤S103：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器，包括：
步骤S4：所述训练颜色分类器，包括，分别从所述当前帧的前景区域和背景区域提取颜色直方图，并采用岭回归方程求解和训练所述颜色分类器。
本实施例中，颜色分类器中颜色分类模型的计算过程为：将颜色空间均分为若干个颜色区间，定义每个颜色区间为直方图的一个直方柱，统计前景区域或者背景区域落在每一个直方柱中的像素点的个数。令
Figure BDA0003240887590000071
表示样本对，包括矩形的采样框q及其对应的回归标签y，y＝1表示正样本，y＝0表示负样本。x表示当前帧图像。采样图像的损失可以表示为
Figure BDA0003240887590000072
其中，θ为模型参数，
Figure BDA0003240887590000073
为颜色区间数，ψT(x,q)为对x图像的q矩形区域的一个颜色直方图特征变换，u为第u个直方柱，y为期望值。
更新颜色分类器公式如下：
θt＝(1-η)θt-1+ηθt
其中，θt为当前帧分类器的待更新参数值，θt-1表示上一帧所对应的待更新参数值，η表示更新速率，η越大更新越快。
步骤S5：训练HOG滤波器，包括：从两种尺度的相关滤波区域分别提取HOG特征，并分别训练双尺度HOG相关滤波器，所述双尺度HOG滤波器中，尺度相对小的滤波器为小尺度滤波器，另一滤波器为大尺度滤波器；所述小尺度滤波器用于小搜索区域的目标跟踪，所述大尺度滤波器用于扩大搜索区域的目标跟踪；根据当前搜索区域确定训练方式，若当前搜索区域为小搜索区域且当前帧数能够整除预设值m，则训练所述大尺度滤波器；若当前搜索区域为小搜索区域，则训练小尺寸滤波器；若当前搜索区域为大搜索区域，则同时训练所述小尺寸滤波器和所述大尺寸滤波器；大搜索区域、小搜索区域基于预设阈值确定。
所述当前帧数是指当前帧在所述视频中所处的帧的计数。
训练过程为：根据所述目标的目标中心提取样本模板，对其进行循环移位构造多个训练样本，提取多通道方向梯度直方图特征训练生成相关滤波器；训练公式为：
Figure BDA0003240887590000081
其中，t为帧数，h为HOG特征滤波器，ht为当前帧训练得出的HOG特征滤波器，φi为对应特征通道i的特征图，y为理想高斯输出，λtmpl为滤波器的正则项系数，K为循环采样个数。本实施例中，提取HOG特征是将当前帧图像划分成每个都含有2×2个像素点的细胞单元，并为每个细胞单元构建它的梯度方向直方图。训练HOG相关滤波器时，根据当前搜索区域选择对应尺度进行更新，为了防止长时间不更新大尺度模板，设定每隔m帧自动更新大尺度模板，即当前帧数能够整除预设值m，则更新HOG滤波器，更新HOG滤波器公式如下：
θt＝(1-η)θt-1+ηθt
其中，θt为当前帧相关滤波器的待更新参数值，θt-1表示上一帧所对应的待更新参数值，η表示更新速率，η越大更新越快。
本实施例中，提取HOG特征是将当前帧图像划分成每个都含有2×2个像素点的细胞单元，并为每个细胞单元构建它的梯度方向直方图。
步骤S6：训练尺度滤波器，包括：
提取当前帧的N种不同尺度图像块来训练尺度滤波，每个尺度图像块产生D维HOG特征，采用QR分解对HOG特征降维，其中，D为整数。
本实施例中，将D×N维的特征降维到N×N维。在该实施例中，N取值为17。降维后的多尺度特征作为尺度滤波器训练特征，所述尺度滤波器的训练方式与HOG滤波器的训练方式相同。
本实施例中，所述颜色分类器、HOG滤波器及尺度滤波器均为预先训练好的模型，通过每个当前帧数据的再次训练，实时在线更新训练好的模型的参数，使之更适应该视频。
所述步骤S107：基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域，包括：
步骤S8：利用所述颜色分类器检测当前帧中的目标，设置颜色直方图的宽度，基于该宽度值，在RGB三通道颜色空间上产生多个直方柱，获得每一个直方柱Zj属于前景区域的概率
Figure BDA0003240887590000091
和属于背景区域的概率
Figure BDA0003240887590000092
经过反向投影计算前景区域和背景区域每个像素均属于前景区域的概率
Figure BDA0003240887590000093
用固定尺寸矩形框遍历搜索区域，计算每个矩形框中包含目标的概率，即颜色分类器的响应，基于所述颜色分类器的响应，确定颜色置信度。例如，直方柱的个数为S，S为整数。
其中：
Figure BDA0003240887590000094
Figure BDA0003240887590000095
O表示前景区域，B表示背景区域，对直方柱Zj建立索引进行反向投影，得到前景区域和背景区域每个像素均属于前景区域的概率，计算方式为将
Figure BDA0003240887590000096
赋值为
Figure BDA0003240887590000097
其中，
Figure BDA0003240887590000098
为像素k属于前景区域的概率，
Figure BDA0003240887590000099
为像素k属于背景区域的概率，|O|为前景区域中的总像素个数，Nj(O)为对前景区域O中属于直方柱j的像素个数,|B|为背景区域中的总像素个数，Nj(B)为对背景区域B中属于直方柱j的像素个数；
在颜色概率图中寻找最大响应位置集合L，对集合L中所有位置求平均找到最大响应中心；然后，以最大响应中心为中心，生成新的前景区域O和背景区域B，目标颜色响应置信度计算公式如下：
Figure BDA0003240887590000101
其中，pi表示颜色概率图中第i个位置属于前景区域的概率，t为当前帧数；前景区域和背景区域中每个像素平均概率值差值越大，表明目标越明显，颜色响应图置信度越大。将颜色分类器的响应赋值给responsepwp。
在本实施例中，颜色直方图的宽度为8，RGB三通道颜色空间共产生32*32*32个直方柱。则每一个直方柱Zj属于前景和背景的概率分别为：
Figure BDA0003240887590000102
Figure BDA0003240887590000103
其中，O表示前景区域，B表示背景区域，对直方柱建立索引进行反向投影，得到前景区域和背景区域每个像素k属于前景的概率，计算公式如下：
Figure BDA0003240887590000104
步骤S9：确定搜索范围，获取与搜索范围适配的相关滤波区域，并选择与搜索范围对应尺寸的HOG滤波器检测目标，获得HOG滤波器相关滤波的响应，确定HOG相对响应置信度；
本实施例中，根据扩大搜索判定条件确定尺度，所述扩大搜索判定条件为：当前目标位置相对于上一帧目标位置偏移大于预设阈值且当前目标响应小于一定阈值时，则扩大搜索区域；当前目标位置相对于上一帧目标位置偏移小于一定阈值且当前目标响应大于一定阈值时，则缩小搜索区域；否则保持原本搜索区域不变。扩大搜索范围是指切换为大尺度模板的滤波器。
所述获得HOG滤波器相关滤波的响应，包括：
获取HOG相关滤波的响应输出的计算方式如下：
Figure BDA0003240887590000105
其中，ftmpl(·)为候选区域在滤波器计算下的响应输出，ht-1为HOG特征滤波器模型参数，
Figure BDA0003240887590000111
为当前帧的HOG特征。
所述HOG相对响应置信度rel_APCEt为：
Figure BDA0003240887590000112
Figure BDA0003240887590000113
其中，t为当前帧数，
Figure BDA0003240887590000114
为当前帧响应图最大值，
Figure BDA0003240887590000115
为当前帧响应图最小值，
Figure BDA0003240887590000116
为响应图中第i个值，N表示响应图大小。
Figure BDA0003240887590000117
为计算公式，表示计算响应图平均波动程度。
本实施例中，HOG滤波器的响应responsecf赋值为HOG相关滤波的响应输出。
步骤S10：计算融合系数αt，
Figure BDA0003240887590000118
其中，αt为第t帧的自适应融合系数，
Figure BDA0003240887590000119
为第t帧目标颜色响应置信度，rel_APCEt表示第t帧HOG相对响应置信度。
所述融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域，包括：
HOG滤波器的响应和颜色分类器的响应融合公式如下：
response＝(1-αt)responsecf+αt·responsepwp
其中，responsecf为HOG滤波器的响应，responsepwp为颜色分类器的响应。
更新所述目标位置并确定是否扩大搜索区域，包括：
所述目标位置更新为融合后的response响应图中响应值最大的位置。
根据扩大搜索判定条件确定尺度，所述扩大搜索判定条件为：当前目标位置相对于上一帧目标位置偏移大于预设阈值且当前目标响应小于一定阈值时，则扩大搜索区域；当前目标位置相对于上一帧目标位置偏移小于一定阈值且当前目标响应大于一定阈值时，则缩小搜索区域；否则保持原本搜索区域不变。
步骤S11：更新目标尺度信息，即根据目标位置提取N个不同尺度图像块，提取HOG特征输入到训练得到的尺度滤波器，分别获得N个尺度对应的N个响应，通过多项式插值将N个尺度的响应增加到Ninterp个尺度的响应responsescale，响应值最大的尺度为目标尺度，根据所述目标尺度更新前景区域、背景区域以及尺寸缩放因子。
本实施例中，是通过多项式插值将稀疏的N个尺度的响应增加到更稠密的Ninterp个尺度的响应responsescale。
进一步地，本实施例包括更新HOG滤波器，根据当前搜索区域选择对应的尺度对所述HOG滤波器进行更新，为了防止长时间不更新大尺度模板，本实施例设定每隔m帧自动更新大尺度模板。
下面说明本发明的实验效果。采用本发明提供的跟踪方法在OTB100数据集上进行测试，并在相同条件下与KCF算法、FDSST算法以及staple算法的跟踪结果进行比较，实验结果如下表1所示：
CLE DP OP FPS
KCF 28.70 81.13 64.53 310
FDSST 28.63 84.73 81.43 77
Staple 23.76 87.54 80.10 54
本发明方法 18.63 88.33 83.33 63
表1：跟踪评价指标对比
从表1可以看出，本文方法在评价准确度的三个指标CLE、DP、OP中均为第一，在速度上相比于原始staple算法也有提升。
本发明方法和原始staple算法在数据集中部分视频序列跟踪效果如图3、4、5所示。两种算法在初始帧处选择的目标区域相同。从图3(A)-图3(B)的跟踪结果可知，本发明提供的跟踪方法在目标尺度不断变化时能更好地检测跟踪目标尺度。从图4(A)-图4(B)的跟踪结果可知，原始staple算法在目标快速抖动后丢失目标，而本发明的跟踪方法仍能准确找到目标位置。从图5(A)-图5(B)跟踪结果可知，原始staple算法在目标发生较大形变后丢失目标，而本发明跟踪方法更好地结合颜色特征，在目标发生形变后仍能准确定位.
本发明实施例进一步给出一种基于相关滤波的目标跟踪装置，如图6所示，所述装置包括：
初始帧获取模块：配置为获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
初始化模块：配置为初始化HOG滤波器、尺度滤波器；
训练模块：配置为基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
第一判断模块：确定所述视频的全部帧均处理完毕；
当前帧更新模块：配置为获取当前帧的下一帧，将该帧作为当前帧；
图像处理模块：配置为将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
融合模块：配置为基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
当前帧信息获取模块：配置为将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息。
本发明实施例进一步给出一种基于相关滤波的目标跟踪系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于相关滤波的目标跟踪方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于相关滤波的目标跟踪方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于相关滤波的目标跟踪方法，其特征在于，所述方法包括以下步骤：
步骤S101：获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
步骤S102：初始化HOG滤波器、尺度滤波器；
步骤S103：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S104：若所述视频的全部帧均处理完毕，方法结束；否则，进入步骤S105；
步骤S105：获取当前帧的下一帧，将该帧作为当前帧；
步骤S106：将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
步骤S107：基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
步骤S108：将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息，进入步骤S103。
2.如权利要求1所述的基于相关滤波的目标跟踪方法，其特征在于，所述步骤S101：从所述初始帧获取目标的初始信息，包括：
步骤S1：根据初始帧，获取目标的初始信息；所述初始信息包括目标位置、目标长度htarget、目标宽度wtarget；
步骤S2：获取初始化参数信息，所述初始化参数信息包括前景区域、一般背景区域(wbg，hbg)、扩大背景区域(wl_bg，hl_bg)以及尺寸缩放因子；其中，wl_bg为扩大背景区域的宽度，hl_bg为扩大背景区域的长度，wbg为一般背景区域的宽度，hbg为一般背景区域的长度；
wbg＝wtarget+(wtarget+htarget)/2
hbg＝htarget+(wtarget+htarget)/2
wl_bg＝2×wbg
hl_bg＝2×hbg。
3.如权利要求2所述的基于相关滤波的目标跟踪方法，其特征在于，所述步骤S102：初始化HOG滤波器、尺度滤波器，包括：
计算两种不同尺度余弦窗口以及高斯期望响应；
初始化操作包括：N个不同的插值前采样的尺度计算以及Ninterp个不同的插值后采样的尺度计算，对于尺寸为P×R的目标，经尺度变换后目标尺度计算公式为：
Figure FDA0003240887580000021
其中，N为实际稀疏采样尺寸个数，Ninterp为尺度滤波器预测结果经插值后的尺寸个数，ai为尺度因子，1≤i≤N，
Figure FDA0003240887580000022
Sn为尺寸滤波器训练时的输入尺寸。
4.如权利要求3所述的基于相关滤波的目标跟踪方法，其特征在于，所述步骤S103：基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器，包括：
步骤S4：训练颜色分类器，包括：分别从所述当前帧的前景区域和背景区域提取颜色直方图，并采用岭回归方程求解和训练所述颜色分类器；
步骤S5：训练HOG滤波器，包括：从两种尺度的相关滤波区域分别提取HOG特征，并分别训练双尺度HOG相关滤波器，所述双尺度HOG滤波器中，尺度相对小的滤波器为小尺度滤波器，另一滤波器为大尺度滤波器；所述小尺度滤波器用于小搜索区域的目标跟踪，所述大尺度滤波器用于扩大搜索区域的目标跟踪；根据当前搜索区域确定训练方式，若当前搜索区域为小搜索区域且当前帧数能够整除预设值m，则训练所述大尺度滤波器；若当前搜索区域为小搜索区域，则训练小尺寸滤波器；若当前搜索区域为大搜索区域，则同时训练所述小尺寸滤波器和所述大尺寸滤波器；大搜索区域、小搜索区域基于预设阈值确定；
所述HOG滤波器的训练过程为：根据所述目标的目标中心提取样本模板，对其进行循环移位构造多个训练样本，提取多通道方向梯度直方图特征训练生成相关滤波器；训练公式为：
Figure FDA0003240887580000031
其中，t为帧数，h为HOG特征滤波器，ht为当前帧训练得出的HOG特征滤波器，φi为对应特征通道i的特征图，y为理想高斯输出，λtmpl为滤波器的正则项系数，K为循环采样个数；
根据当前搜索区域选择对应尺度进行更新，当前帧数能够整除预设值m，则更新HOG滤波器，更新HOG滤波器公式如下：
θt＝(1-η)θt-1+ηθt
其中，θt为当前帧相关滤波器的待更新参数值，θt-1表示上一帧所对应的待更新参数值，η表示更新速率；
步骤S6：训练尺度滤波器，包括：提取当前帧的N种不同尺度图像块来训练尺度滤波，每个尺度图像块产生D维HOG特征，采用QR分解对HOG特征降维，用以训练颜色分类器，其中，D为整数。
5.如权利要求4所述的基于相关滤波的目标跟踪方法，其特征在于，所述步骤S107：基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域，包括：
步骤S8：利用所述颜色分类器检测当前帧中的目标，设置颜色直方图的宽度，基于该宽度值，在RGB三通道颜色空间上产生S个直方柱，获得每一个直方柱Zj属于前景区域的概率
Figure FDA0003240887580000041
和属于背景区域的概率
Figure FDA0003240887580000042
经过反向投影计算前景区域和背景区域每个像素均属于前景区域的概率
Figure FDA0003240887580000043
用固定尺寸矩形框遍历搜索区域，计算每个矩形框中包含目标的概率，作为颜色分类器的响应，所述颜色分类器的响应作为颜色置信度；
其中：
Figure FDA0003240887580000044
Figure FDA0003240887580000045
O表示前景区域，B表示背景区域，对直方柱Zj建立索引进行反向投影，得到前景区域和背景区域每个像素均属于前景区域的概率，计算方式为将
Figure FDA0003240887580000046
赋值为
Figure FDA0003240887580000047
其中，
Figure FDA0003240887580000048
为像素k属于前景区域的概率，
Figure FDA0003240887580000049
为像素k属于背景区域的概率，|O|为前景区域中的总像素个数，Nj(O)为对前景区域O中属于直方柱j的像素个数,|B|为背景区域中的总像素个数，Nj(B)为对背景区域B中属于直方柱j的像素个数；
在颜色概率图中寻找最大响应位置集合L，对集合L中所有位置求平均找到最大响应中心；然后，以最大响应中心为中心，生成新的前景区域O和背景区域B，目标颜色响应置信度
Figure FDA00032408875800000410
计算公式如下：
Figure FDA00032408875800000411
其中，pi表示颜色概率图中第i个位置属于前景区域的概率，t为当前帧数；将颜色分类器的响应赋值给responsepwp；
步骤S9：确定搜索范围，获取与搜索范围适配的相关滤波区域，并选择与搜索范围对应尺寸的HOG滤波器检测目标，获得HOG滤波器相关滤波的响应，确定HOG相对响应置信度；
获取HOG相关滤波的响应输出的计算方式如下：
Figure FDA0003240887580000051
其中，ftmpl(·)为候选区域在滤波器计算下的响应输出，ht-1为HOG特征滤波器模型参数，
Figure FDA0003240887580000052
为当前帧的HOG特征；
所述HOG相对响应置信度rel_APCEt为：
Figure FDA0003240887580000053
Figure FDA0003240887580000054
其中，t为当前帧数，
Figure FDA0003240887580000055
为当前帧响应图最大值，
Figure FDA0003240887580000056
为当前帧响应图最小值，
Figure FDA0003240887580000057
为响应图中第i个值，N表示响应图大小；
Figure FDA0003240887580000058
表示计算响应图平均波动程度；
HOG滤波器的响应responsecf赋值为HOG相关滤波的响应输出；
步骤S10：计算融合系数αt，
Figure FDA0003240887580000059
其中，αt为第t帧的自适应融合系数，
Figure FDA00032408875800000510
为第t帧目标颜色响应置信度，rel_APCEt表示第t帧HOG相对响应置信度；
融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域，包括：
HOG滤波器的响应和颜色分类器的响应融合公式如下：
response＝(1-αt)responsecf+αt·responsepwp
其中，responsecf为HOG滤波器的响应，responsepwp为颜色分类器的响应；
更新所述目标位置并确定是否扩大搜索区域，包括：
所述目标位置更新为融合后的response响应图中响应值最大的位置；
根据扩大搜索判定条件确定尺度，所述扩大搜索判定条件为：当前目标位置相对于上一帧目标位置偏移大于预设阈值且当前目标响应小于一定阈值时，则扩大搜索区域；当前目标位置相对于上一帧目标位置偏移小于一定阈值且当前目标响应大于一定阈值时，则缩小搜索区域；否则保持原本搜索区域不变；
步骤S11：更新目标尺度信息，即根据目标位置提取N个不同尺度图像块，提取HOG特征输入到训练得到的尺度滤波器，分别获得N个尺度对应的N个响应，通过多项式插值将N个尺度的响应增加到Ninterp个尺度的响应responsescale，响应值最大的尺度为目标尺度，根据所述目标尺度更新前景区域、背景区域以及尺寸缩放因子。
6.一种基于相关滤波的目标跟踪装置，其特征在于，所述装置包括：
初始帧获取模块：配置为获取视频的初始帧，从所述初始帧获取目标的初始信息，将所述初始帧作为当前帧；
初始化模块：配置为初始化HOG滤波器、尺度滤波器；
训练模块：配置为基于当前帧信息，分别训练颜色分类器、HOG滤波器及尺度滤波器，实时更新所述颜色分类器、HOG滤波器及尺度滤波器；
第一判断模块：确定所述视频的全部帧均处理完毕；
当前帧更新模块：配置为获取当前帧的下一帧，将该帧作为当前帧；
图像处理模块：配置为将当前帧信息输入更新后的所述颜色分类器、HOG滤波器及尺度滤波器；
融合模块：配置为基于更新后的颜色分类器的响应及HOG滤波器输出的响应，计算融合系数，基于所述融合系数，融合所述HOG相关滤波器及所述颜色分类器的响应，更新所述目标位置并确定是否扩大搜索区域；基于所述尺度滤波器的响应，更新所述目标尺度信息；
当前帧信息获取模块：配置为将所述目标位置、搜索区域及目标的尺度信息均作为当前帧信息。
7.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-5中任一项所述的基于相关滤波的目标跟踪方法。
8.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-5中任一项所述的基于相关滤波的目标跟踪方法。
CN202111018576.7A 2021-09-01 2021-09-01 一种基于相关滤波的目标跟踪方法及装置 Pending CN113888586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111018576.7A CN113888586A (zh) 2021-09-01 2021-09-01 一种基于相关滤波的目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111018576.7A CN113888586A (zh) 2021-09-01 2021-09-01 一种基于相关滤波的目标跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN113888586A true CN113888586A (zh) 2022-01-04

Family

ID=79011603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111018576.7A Pending CN113888586A (zh) 2021-09-01 2021-09-01 一种基于相关滤波的目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN113888586A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011340A (zh) * 2023-08-09 2023-11-07 北京航空航天大学 一种基于统计颜色特征的可重构相关滤波目标跟踪算法
CN117392179A (zh) * 2023-12-11 2024-01-12 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011340A (zh) * 2023-08-09 2023-11-07 北京航空航天大学 一种基于统计颜色特征的可重构相关滤波目标跟踪算法
CN117392179A (zh) * 2023-12-11 2024-01-12 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法
CN117392179B (zh) * 2023-12-11 2024-02-27 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法

Similar Documents

Publication Publication Date Title
Haeusser et al. Associative domain adaptation
CN108549839B (zh) 自适应特征融合的多尺度相关滤波视觉跟踪方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN110008844B (zh) 一种融合slic算法的kcf长期手势跟踪方法
CN109033955B (zh) 一种人脸跟踪方法和系统
RU2697649C1 (ru) Способы и системы сегментации документа
CN107169994A (zh) 基于多特征融合的相关滤波跟踪方法
CN113888586A (zh) 一种基于相关滤波的目标跟踪方法及装置
CN111951297B (zh) 一种基于结构化逐像素目标注意机制的目标跟踪方法
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107358172B (zh) 一种基于人脸朝向分类的人脸特征点初始化方法
US8488873B2 (en) Method of computing global-to-local metrics for recognition
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN116229112A (zh) 一种基于多重注意力的孪生网络目标跟踪方法
CN111931722A (zh) 一种结合颜色比率特征的相关滤波跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN111368831B (zh) 一种竖排文字的定位系统及方法
CN111340139B (zh) 一种图像内容复杂度的判别方法及装置
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination