CN113920155A - 一种基于核相关滤波的动目标跟踪算法 - Google Patents

一种基于核相关滤波的动目标跟踪算法 Download PDF

Info

Publication number
CN113920155A
CN113920155A CN202111002688.3A CN202111002688A CN113920155A CN 113920155 A CN113920155 A CN 113920155A CN 202111002688 A CN202111002688 A CN 202111002688A CN 113920155 A CN113920155 A CN 113920155A
Authority
CN
China
Prior art keywords
tracking
target
algorithm
frame
correlation filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111002688.3A
Other languages
English (en)
Inventor
尚克军
段昊雨
扈光锋
庄广琛
刘崇亮
裴新凯
王大元
明丽
王海军
焦浩
李至
李茜茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automation Control Equipment Institute BACEI
Original Assignee
Beijing Automation Control Equipment Institute BACEI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automation Control Equipment Institute BACEI filed Critical Beijing Automation Control Equipment Institute BACEI
Priority to CN202111002688.3A priority Critical patent/CN113920155A/zh
Publication of CN113920155A publication Critical patent/CN113920155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于核相关滤波的动目标跟踪算法，采用中值流法、核相关滤波算法分别计算当前帧图像中的目标跟踪框，计算两种算法目标跟踪框的相似度；若相似度大于阈值，以两种算法目标跟踪框重叠部分为基值，合理扩大最终跟踪框，作为检测器的扫描滑窗；若相似度不大于阈值，以上一帧图像中目标跟踪框作为检测器的扫描滑窗；以中值流法计算得到的上一帧图像中目标特征点在当前帧图像中对应的位置为中心，合理扩展作为局部预测区域；采用滑窗扫描的方式生成局部预测区域内的检测子窗口；采用级联分类器对目标进行分类识别。该算法可以提高跟踪器鲁棒性以及算法的整体速度。

Description

一种基于核相关滤波的动目标跟踪算法
技术领域
本发明属于无人机自主跟踪技术领域，具体涉及一种基于核相关滤波的动目标跟踪算法。
背景技术
在无人机执行跟踪任务的过程中，其对动目标的捕获跟踪能力至关重要，但在实际环境下，面临着目标快速移动、遮挡、大小变化甚至丢失等复杂情况。机器视觉和图像处理技术的快速进步，有力地推动了动目标跟踪技术的发展。尽管在过去十几年中，动目标跟踪技术已经取得飞速发展，许多优秀算法被提出，跟踪性能也逐步提升，但是设计一个可以同时应对亮度变化、几何变形、目标遮挡等多种复杂情况的动目标跟踪算法仍极具挑战性。
TLD(Tracking-Learning-Detection)算法是一种单目标长期跟踪算法，如图1所示，其与传统跟踪算法的显著区别在于将改进的跟踪算法与检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题；同时，通过一种改进的在线学习机制不断更新跟踪器和检测器，从而使跟踪效果更加稳定可靠。
具体来讲，TLD算法中跟踪器使用基于LK光流改进的中值光流法，通过前向后向误差算法估计跟踪点的移动轨迹，如图2所示，辅以NCC前后帧相应跟踪点的相似度计算来估计跟踪框内跟踪点的可靠性，并过滤掉不可靠的跟踪点；检测器采用滑动窗口的方法通过全局搜索产生待分类样本，并通过级联分类器将其与目标模型进行匹配得到目标可能出现的位置，并在必要时修正跟踪器的跟踪结果；综合器对二者的输出结果进行综合，确定目标的最终位置和大小；学习器则根据跟踪器的输出结果对当前帧正负样本进行采样，采用P-N学习策略对目标模型和参数进行完善。
但TLD算法仍存在如下不足：(1)在跟踪器中，中值流跟踪器在出现目标遮挡或者光照变化等情况时易产生跟踪漂移，进而导致跟踪失败；(2)在检测器中，对每个输入的视频帧进行全局扫描，一副像素大小为320*240的图像，将生成三万多个窗口，这其中包含了大量与目标无关的背景窗口，占用了大量计算资源，使得运行速度大大降低。
发明内容
针对现有技术中存在的TLD算法跟踪器在特定环境下易产生跟踪漂移、检测器全局扫描运行速度低等技术问题，本发明提供了一种基于核相关滤波的动目标跟踪算法，提高跟踪器鲁棒性，提高算法的整体速度。
本发明解决上述技术问题采用的技术方案如下：
一种基于核相关滤波的动目标跟踪算法，包括如下步骤
采用中值流法计算上一帧和当前帧图像中的目标跟踪框面积、特征点；
采用核相关滤波算法计算当前帧图像中的目标跟踪框面积、特征点；
根据两种算法获得的当前帧图像中的目标跟踪框面积，计算两种算法的目标跟踪框的相似度；
若相似度大于设定的阈值，以两种算法目标跟踪框重叠部分为基值，调整最终跟踪框，使得最终跟踪框包含半数次可信跟踪点，以最终跟踪框作为检测器中的扫描滑窗；若相似度不大于设定的阈值，以上一帧图像中目标的跟踪框作为检测器中的扫描滑窗；
根据中值流法计算得到的上一帧图像中目标特征点在当前帧图像中对应的位置，以其为中心，取n倍于该上一帧图像中目标跟踪框面积的图像块作为局部预测区域，1＜n≤5；
采用滑窗扫描的方式生成局部预测区域内的检测子窗口；
采用级联分类器对目标进行分类识别。
进一步地，所述相似度M为
M＝(AKCF∩AMF)/(AKCFUAMF)
其中，AKCF为核相关滤波算法计算的目标跟踪框面积，AMF为中值流法计算的目标跟踪框面积。
进一步地，当跟踪框为矩形框时，所述相似度M计算方法为
Figure BDA0003236127840000031
Loverlap＝L1+L2-max(X1+L1，X2+L2)+min(X1，X2)
Woverlap＝W1+W2-max(Y1+W1，Y2+W2)+min(Y1，Y2)
SKCF＝L1×W1
SMF＝L2×W2
其中，X1、Y1为核相关滤波算法跟踪框的坐标值最小顶点坐标，L1、W1为核相关滤波算法跟踪框的宽度、高度，X2、Y2为中值流算法跟踪框的坐标值最小顶点坐标，L2、W2为中值流算法跟踪框的宽度、高度。
进一步地，所述阈值取值为5。
进一步地，所述次可信跟踪点指在核相关滤波算法和中值流算法两种算法的跟踪框内，而不在两种算法跟踪框的公共区域内的跟踪点；所述半数为N/2或(N+1)/2，N为次可信跟踪点个数。
进一步地，所述最终跟踪框以基值为中心，对称调整。
进一步地，所述最终跟踪框采用折半查找方式获得。
进一步地，所述n取值为3。
进一步地，所述采用级联分类器对目标进行分类识别还包括，判断是否有图像输出，若是，输出检测结果，检测器的工作完成；否则对输入当前帧图像进行全局滑窗扫描搜索，生成检测子窗口，采用级联分类器对目标进行分类识别
本发明与现有技术相比的有益效果：
本发明针对现有TLD算法的不足，提出一种基于核相关滤波相似度融合的TLD算法，通过计算核相关滤波算法与中值流法跟踪框的重合度，来进行检测器切换的判断，并相应地调整目标跟踪框。检测器先利用跟踪器的中值流法跟踪结果对目标进行初步粗定位，再使用级联分类器精确定位，这样既可以改进原跟踪器存在的不足而提高鲁棒性，又因为核相关滤波的高速性和检测器局部扫描而提高算法的整体速度。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为典型TLD算法框架示意图；
图2为典型前向后向误差计算原理示意图；
图3为本发明具体实施例提供的跟踪框调整示意图；
图4为本发明具体实施例提供的基于核相关滤波的动目标跟踪算法流程图；
图5为本发明具体实施例提供的动目标跟踪算法与五种现有跟踪算法的跟踪精度曲线，其中，(a)为Car4的跟踪精度曲线，(b)为Dog1的跟踪精度曲线，(c)为Soccer的跟踪精度曲线，(d)为Girl的跟踪精度曲线；
图6为本发明具体实施例提供的动目标跟踪算法与五种现有跟踪算法的跟踪成功率曲线，其中，(a)为Car4的跟踪成功率曲线，(b)为Dog1的跟踪成功率曲线，(c)为Soccer的跟踪成功率曲线，(d)为Girl的跟踪成功率曲线。
具体实施方式
下面对本发明的具体实施例进行详细说明。在下面的描述中，出于解释而非限制性的目的，阐述了具体细节，以帮助全面地理解本发明。然而，对本领域技术人员来说显而易见的是，也可以在脱离了这些具体细节的其它实施例中实践本发明。
在此需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
TLD算法将跟踪器与检测器结合，利用检测器对跟踪器的结果加以修正，同时利用学习模块学习目标特征，使得目标模型不断完善，在一定程度上可以应对目标遮挡等复杂情况；核相关滤波算法的核心是训练一个分类器，通过循环矩阵来丰富样本的数据集，不断优化检测器，利用对角傅里叶变换(DFT)使循环矩阵对角化，可大大缩短样本训练的时间成本。因此，将TLD算法与核相关滤波结合起来，利用核相关滤波的快速性和TLD算法的稳定性可较好地应对动目标跟踪过程中的准确性与效率问题。
本发明提供的一种基于核相关滤波的动目标跟踪算法，包括如下步骤采用中值流法计算上一帧和当前帧图像中的目标跟踪框面积、特征点；
采用核相关滤波算法计算当前帧图像中的目标跟踪框面积、特征点；
根据两种算法获得的当前帧图像中的目标跟踪框面积，计算两种算法的目标跟踪框的相似度；
若相似度大于设定的阈值，以两种算法目标跟踪框重叠部分为基值，调整最终跟踪框，使得最终跟踪框包含半数次可信跟踪点，以最终跟踪框作为检测器中的扫描滑窗；若相似度不大于设定的阈值，以上一帧图像中目标的跟踪框作为检测器中的扫描滑窗；
根据中值流法计算得到的上一帧图像中目标特征点在当前帧图像中对应的位置，以其为中心，取n倍于该上一帧图像中目标跟踪框面积的图像块作为局部预测区域，1＜n≤5；
采用滑窗扫描的方式生成局部预测区域内的检测子窗口；
采用级联分类器对目标进行分类识别。
本发明在现有TLD动目标跟踪算法的基础上：(1)采用核相关滤波对跟踪器进行实时监督，利用跟踪框重合度来进行跟踪结果相似度比对，并以此进行检测器切换的判断，然后依据融合结果动态调整目标跟踪框；(2)针对检测器基于全部窗口扫描极大地浪费计算资源问题，利用中值流跟踪器的跟踪结果对当前帧的目标位置进行粗定位，建立局部扫描窗口，再使用检测器的级联分类器实现对目标的精确定位，从而优化检测器的计算速度。
为了便于理解本发明的技术方案，下面首先对TLD跟踪器和检测器进行详细说明。
(1)基于核相关滤波相似度融合的TLD跟踪器
核相关滤波目标跟踪算法属于判别式跟踪算法，该算法巧妙地应用循环矩阵，为检测器的训练提供大量数据集，并利用循环矩阵在傅里叶空间可对角化的性质对对角矩阵进行转换，大幅度提高运算速度，缩短训练时间，并且提供了大量的训练样本来优化检测器，使得算法的速度和准确性达到较高的水平。
基于核相关滤波相似度融合的TLD跟踪器主要包括如下两部分：
(a)计算核相关滤波算法和中值流算法的跟踪相似度
对核相关滤波算法的跟踪结果与中值流算法跟踪结果进行相似度计算，采用跟踪框重叠度的判断方法，具体方式为：通过核相关滤波算法和中值流算法分别得出当前帧的目标跟踪框AKCF和AMF，将二者的交集与并集的面积比值记作当前帧的相似度M：
M＝(AKCF∩AMF)/(AKCF∪AMF)
上式中，M值越大，则表明两种算法的预测结果越接近，跟踪结果的可信度越高。在判断相似度M的大小时，若M大于设定的阈值，则认为跟踪框重叠度足够高，可继续进行跟踪；若M小于设定的阈值，则跟踪框重叠度过低，此时转向检测器进行目标检测，同时学习器不再学习这次的不可信结果。
在TLD中值流算法和核相关滤波跟踪算法中，均可以获得目标跟踪结果的矩形跟踪框，可分别以由跟踪框横纵坐标值最小顶点(左下角)P的坐标(X，Y)、跟踪框的横向长度L和纵向宽度W组成的数值对表示跟踪框，则矩形跟踪框的四个顶点坐标可表示为{(X，Y)，(X+L，Y)，(X，Y+W)，(X+L，Y+W)}。
在同一帧中，核相关滤波算法跟踪框A的顶点坐标以X1，Y1，L1，W1，表示，其面积SKCF＝L1×W1；TLD中值流算法跟踪框B顶点坐标以X2，Y2，L2，W2表示，其面积SMF＝L2×W2，两种跟踪框重叠部分面积即交集面积表示为Soverlap，并集面积表示为Smerge，则相似度M可表示为：
Figure BDA0003236127840000081
其中，
Loverlap＝L1+L2-max(X1+L1，X2+L2)+min(X1，X2)
Woverlap＝W1+W2-max(Y1+W1，Y2+W2)+min(Y1，Y2)
根据多次实验确定，当相似度M大于0.5时，算法可取得最好的跟踪效果。
(b)当跟踪相似度M满足要求时，调整跟踪框，使其包含半数次可信跟踪点，保证跟踪框可信跟踪点不会不断减少。
定义：核相关滤波算法和中值流算法两种算法的跟踪框的公共区域内的跟踪点为同时符合两种算法的可信跟踪点，在跟踪框内而不在公共区域内的特征点为次可信跟踪点。选取这些可信跟踪点为特征点，并作为下次跟踪的跟踪依据。本发明利用次可信跟踪点，以可信跟踪点计算出的矩形框为中心，以包含半数次可信跟踪点为标准来扩大矩形框，并将其作为改进算法的跟踪框，来解决可信跟踪点范围不断减小导致的跟踪框缩小问题。
如图3所示，矩形框A和矩形框B分别为核相关滤波跟踪算法和TLD中值流算法的跟踪框，矩形框C表示矩形框A和B的重叠部分，黑色小圆点表示检测出的特征点，根据定义，矩形框C中特征点为可信跟踪点，其它特征点为次可信跟踪点。
在计算扩大矩形框D的边界时，首先以矩形框C作为基值，然后根据矩形框A、B横纵坐标值最小顶点的坐标，通过折半查找的方式，确定矩形框D的范围。具体来讲，初始矩形框D的顶点
Figure BDA0003236127840000091
W0＝(W1+W2)/2，L0＝(L1+L2)/2，
Figure BDA0003236127840000092
若发现此时矩形框D内的次可信跟踪点未超过半数(N/2或(N+1)/2，N为次可信跟踪点个数)的次可信跟踪点，则以当前矩形框D坐标为基准，扩大矩形框面积，新的矩形框D’的顶点坐标表示为
Figure BDA0003236127840000093
即不断取上一个矩形框D和两个跟踪框的顶点坐标之和的二分之一作为新矩形框的顶点坐标，由此不断迭代折半查找的方式调整矩形框D的边界大小，直到矩形框D区域正好包含超过半数的次可信跟踪点，此时矩形框D即为改进后算法的跟踪框。改进后的算法跟踪框更接近准确目标，且能够解决若只取两种算法重叠部分使得可信跟踪点范围不断减小导致的跟踪框缩小的问题。
(2)基于中值流法动态调整的TLD检测器
当前帧图像跟踪相似度M不满足要求时，需要转向检测器，进行目标检测，利用上一帧中值流算法输出的目标跟踪框和特征点，对跟踪结果进行修正。当前帧图像跟踪相似度M满足要求时，转向检测器，通过滑窗扫描，进行图像处理。
中值流法是一种常用的前景检测方法，不需要背景区域的任何先验知识就能实现对运动目标的检测与跟踪。由于可从TLD算法的跟踪器中直接得到中值流的输出结果，因此可以利用中值流法在当前帧对目标的位置进行粗定位，调整检测区域后再使用级联分类器实现对目标的精确定位。由于跟踪器的输出结果是结合了核相关滤波跟踪器与TLD跟踪器后的结果，使得跟踪准确性有了较大的提高，因此在上一帧跟踪结果作为检测器输入值的基础上，再使用中值流法对目标位置进行预测，有效缓解了原算法存在的漂移现象，使得检测结果更加准确。
本发明提供的一种基于核相关滤波的动目标跟踪算法，如图4所示，包括如下步骤
S1、输入上一帧图像及其目标跟踪框、当前帧图像；
S2、采用中值流法计算上一帧和当前帧图像中的目标跟踪框面积AMF、特征点；采用核相关滤波算法计算当前帧图像中的目标跟踪框面积AKCF、特征点；
核相关滤波跟踪器输出目标跟踪框的顶点位置,计算得到目标跟踪框宽度、高度及面积AKCF；
S3、根据两种算法获得的目标跟踪框面积，计算核相关滤波算法和中值流算法获得的当前帧目标跟踪框的相似度M:
M＝(AKCF∩AMF)/(AKCF∪AMF)
S4、若相似度M大于设定的阈值Mt，则表明当前帧图像跟踪结果具有较高的置信度和有效性，以两种目标跟踪框重叠部分为基值，采用折半查找方式计算当前帧中目标的最终跟踪框D，使得最终跟踪框D包含半数次可信跟踪点，并以此跟踪框作为检测器中的扫描滑窗；
若相似度M不大于设定的阈值Mt，表明当前帧跟踪结果不可靠，将该跟踪结果舍弃并转向检测器，进行目标检测，通过跟踪器获取上一帧图像中目标的跟踪框和特征点，并以此跟踪框作为检测器中的扫描滑窗；
S5、根据中值流法计算得到的上一帧图像中目标特征点在当前帧图像中对应的位置，以其为中心，取3倍于该上一帧图像中目标跟踪框面积的图像块作为局部预测区域；
S6、采用滑窗扫描的方式生成局部预测区域内的检测子窗口；
S7、采用级联分类器对目标进行分类识别，判断是否有图像输出，若是，输出检测结果，检测器的工作完成；否则对输入当前帧图像进行全局滑窗扫描搜索，生成检测子窗口，采用级联分类器对目标进行分类识别。
为了验证本发明中的改进算法的有效性，采用标准数据集OTB2013进行了对比实验。实验使用的六种跟踪算法，除本改进算法(标记为Ours)外，其余均为当下比较流行的跟踪算法，分别为：TLD、KCF、DCF、MOSSE和DSST。所有对比算法在执行时均采用默认参数值。跟踪算法在Visual Studio 2015和Matlab 2014a上实现，实验环境为：Intel(R)Core-i7处理器，主频2.6GHz，内存为8GB，64位Windows 10操作系统。
为了更直观地对算法进行分析，选取了4组具有包括目标快速移动、光照变化、遮挡、非刚性形变等一种或几种挑战条件的代表性视频序列，如表1所示。
表1实验测试序列描述
测试序列 Car4 Dog1 Soccer Girl
总帧数 659 1350 392 500
快速移动 无 有 有 无
光照变化 有 无 有 有
尺寸变化 有 有 有 有
遮挡 无 无 有 有
定量评估跟踪算法的鲁棒性时，采用精度曲线和成功率曲线两种评价方式。评价跟踪精度时，一个广泛使用的评价指标是中心位置误差(CLE)，指的是目标跟踪框中心位置与标定的目标框真实位置(Ground Truth)之间的平均欧式距离。精度曲线则定义为所有跟踪帧的中心位置误差小于给定阈值的视频帧数占总帧数的比值，用来评估跟踪算法的整体性能。成功率需要用到跟踪框重叠度(OR)这个指标，重叠度是指目标跟踪区域和目标实际区域的交集与并集之比。成功率曲线描述的是重叠度大于给定阈值的视频帧数占总帧数的比值。在测试中精度曲线和成功率曲线的阈值分别设置为20像素和0.5。
六种算法的跟踪精度和成功率如图5和图6所示，从图中可以看出，本算法相比于其它经典跟踪算法，在不同视频序列下具有更高的跟踪准确度和稳定性。
表2所示为CLE阈值为20像素的条件下，测试不同视频序列时六种算法的跟踪准确度。从表中可以看出，在具有遮挡、光照和尺寸变化的五个视频序列中，本算法相较于其他算法均表现最优；在具有目标快速变化和形变的soccer序列中，本算法也表现良好。
表2六种算法在CLE阈值为20像素下的跟踪准确度
测试算法 Car4 Dog1 Girl Soccer
TLD 0.282 0.947 0.916 0.258
KCF 0.95 0.87 0.864 0.793
DCF 0.95 0.87 0.864 0.161
MOSSE 0.281 0.892 0.77 0.102
DSST 0.892 0.872 0.928 0.684
Ours 0.974 0.965 0.916 0.946
表3是六种算法在不同视频序列中的平均帧率。从表中可以看出，对于大部分视频序列，改进算法与原TLD算法相比检测速率略低，但以较低的帧率为代价，实现了跟踪性能的较大提升。
表3六种算法的平均帧率
测试算法 Car4 Dog1 Girl Soccer
TLD 63.28 177.82 362 84.37
KCF 79.85 264.3 265 105.66
DCF 121.7 413.11 376.72 179.87
MOSSE 124.5 333.24 576.72 158.77
DSST 239.8 60 266.6 13.7
Ours 248.3 99.2 298.5 94.5
如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。
这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明未详细说明部分为本领域技术人员公知技术。

Claims (9)

1.一种基于核相关滤波的动目标跟踪算法，其特征在于，包括如下步骤采用中值流法计算上一帧和当前帧图像中的目标跟踪框面积、特征点；
采用核相关滤波算法计算当前帧图像中的目标跟踪框面积、特征点；
根据两种算法获得的当前帧图像中的目标跟踪框面积，计算两种算法的目标跟踪框的相似度；
若相似度大于设定的阈值，以两种算法目标跟踪框重叠部分为基值，调整最终跟踪框，使得最终跟踪框包含半数次可信跟踪点，以最终跟踪框作为检测器中的扫描滑窗；若相似度不大于设定的阈值，以上一帧图像中目标的跟踪框作为检测器中的扫描滑窗；
根据中值流法计算得到的上一帧图像中目标特征点在当前帧图像中对应的位置，以其为中心，取n倍于该上一帧图像中目标跟踪框面积的图像块作为局部预测区域，1＜n≤5；
采用滑窗扫描的方式生成局部预测区域内的检测子窗口；
采用级联分类器对目标进行分类识别。
2.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述相似度M为
M＝(AKCF∩AMF)/(AKCF∪AMF)
其中，AKCF为核相关滤波算法计算的目标跟踪框面积，AMF为中值流法计算的目标跟踪框面积。
3.根据权利要求2所述的基于核相关滤波的动目标跟踪算法，其特征在于，当跟踪框为矩形框时，所述相似度M计算方法为
Figure FDA0003236127830000021
Loverlap＝L1+L2-max(X1+L1，X2+L2)+min(X1，X2)
Woverlap＝W1+W2-max(Y1+W1，Y2+W2)+min(Y1，Y2)
SKCF＝L1×W1
SMF＝L2×W2
其中，X1、Y1为核相关滤波算法跟踪框的坐标值最小顶点坐标，L1、W1为核相关滤波算法跟踪框的宽度、高度，X2、Y2为中值流算法跟踪框的坐标值最小顶点坐标，L2、W2为中值流算法跟踪框的宽度、高度。
4.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述阈值取值为5。
5.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述次可信跟踪点指在核相关滤波算法和中值流算法两种算法的跟踪框内，而不在两种算法跟踪框的公共区域内的跟踪点；所述半数为N/2或(N+1)/2，N为次可信跟踪点个数。
6.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述最终跟踪框以基值为中心，对称调整。
7.根据权利要求6所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述最终跟踪框采用折半查找方式获得。
8.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述n取值为3。
9.根据权利要求1所述的基于核相关滤波的动目标跟踪算法，其特征在于，所述采用级联分类器对目标进行分类识别还包括，判断是否有图像输出，若是，输出检测结果，检测器的工作完成；否则对输入当前帧图像进行全局滑窗扫描搜索，生成检测子窗口，采用级联分类器对目标进行分类识别。
CN202111002688.3A 2021-08-30 2021-08-30 一种基于核相关滤波的动目标跟踪算法 Pending CN113920155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111002688.3A CN113920155A (zh) 2021-08-30 2021-08-30 一种基于核相关滤波的动目标跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002688.3A CN113920155A (zh) 2021-08-30 2021-08-30 一种基于核相关滤波的动目标跟踪算法

Publications (1)

Publication Number Publication Date
CN113920155A true CN113920155A (zh) 2022-01-11

Family

ID=79233397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002688.3A Pending CN113920155A (zh) 2021-08-30 2021-08-30 一种基于核相关滤波的动目标跟踪算法

Country Status (1)

Country Link
CN (1) CN113920155A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张 晶 等: ""基于 ＫＣＦ 相似度的 ＴＬＤ 目标跟踪算法"", <<>计算机工程与科学>, pages 293 - 301 *
张晶 等: ""基于 ＫＣＦ 相似度的 ＴＬＤ 目标跟踪算法"", 《计算机工程与科学》, vol. 41, no. 2, pages 295 - 296 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法
CN117635613B (zh) * 2024-01-25 2024-04-16 武汉大学人民医院（湖北省人民医院） 一种眼底病灶监测装置及方法

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109344702B (zh) 基于深度图像和彩色图像的行人检测方法及装置
CN111160212B (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN106886748B (zh) 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN112668483B (zh) 一种融合行人重识别和人脸检测的单目标人物跟踪方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN104408707A (zh) 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
Fang et al. Partial attack supervision and regional weighted inference for masked face presentation attack detection
CN110930411A (zh) 一种基于深度相机的人体分割方法及系统
CN108846850B (zh) 一种基于tld算法的目标跟踪方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN111127519A (zh) 一种双模型融合的目标跟踪控制系统及其方法
Liu et al. Correlation filter with motion detection for robust tracking of shape-deformed targets
CN113221739B (zh) 基于单目视觉的车距测量方法
Sun et al. Adaptive image dehazing and object tracking in UAV videos based on the template updating Siamese network
CN113920155A (zh) 一种基于核相关滤波的动目标跟踪算法
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN103996207A (zh) 一种物体跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination