CN111968153A - 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 - Google Patents

基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 Download PDF

Info

Publication number
CN111968153A
CN111968153A CN202010688743.8A CN202010688743A CN111968153A CN 111968153 A CN111968153 A CN 111968153A CN 202010688743 A CN202010688743 A CN 202010688743A CN 111968153 A CN111968153 A CN 111968153A
Authority
CN
China
Prior art keywords
target
image
correlation
hog
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010688743.8A
Other languages
English (en)
Inventor
吕凯
袁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202010688743.8A priority Critical patent/CN111968153A/zh
Publication of CN111968153A publication Critical patent/CN111968153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种目标跟踪技术领域，是一种基于相关滤波和粒子滤波的长时间目标跟踪方法及系统，前者包括获取图像序列中的第T帧图像；提取HOG和CN融合特征；融合特征输入至相关滤波器模型中，确定目标位置；判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置。本发明利用平均峰值相关能量指标、最大响应值双指标共同调整相关滤波器模型的更新策略；在目标跟踪不准确时采用粒子滤波器重新检测确定目标位置，提升了在复杂环境跟踪目标的鲁棒性和长时间跟踪的性能，并且具有一定的抗遮挡、形变能力；在目标丢失后，可以重新获取目标位置信息，具有长时跟踪性质。

Description

基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
技术领域
本发明涉及一种目标跟踪技术领域，是一种基于相关滤波和粒子滤波的长时间目标跟踪方法及系统。
背景技术
随着计算机硬件和软件快速发展,目标跟踪作为计算机领域的重要部分之一,其目的是让机器代替人的眼睛去感知外界信息。该领域已经较成熟的应用在智能视频监控、视觉导航、无人驾驶、人机交互等实践中，在现实生活中产生了重大的社会效应。
但是目标跟踪在实际场景中有许多的干扰因素是不可避免的，例如形状改变、光照变化、遮挡、尺度变化等，这些干扰因素使得目标不能稳定被跟踪。目前通过相关滤波跟踪算法解决目标跟踪中干扰因素对跟踪的影响，并且通过背景感知滤波器有效避免相关滤波中循环位移样本造成的边界效应，但是该过程只采用单一的HOG特征，不能有效的适应复杂场景，并且滤波器模型更新固定极易受到污染、当目标丢失后无法重新检测。
发明内容
本发明提供了一种基于相关滤波和粒子滤波的长时间目标跟踪方法及系统，克服了上述现有技术之不足，其能有效解决现有目标跟踪方法存在的滤波器模型固定，极易受到污染的问题。进一步解决现有目标跟踪方法存在的目标丢失后无法重新检测的问题。
本发明的技术方案之一是通过以下措施来实现的：一种基于相关滤波和粒子滤波的长时间目标跟踪方法，包括：
获取图像序列中的第T帧图像，其中T≥2；
提取该图像的HOG和CN融合特征，并进行预处理；
将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置；
对T+1帧图像进行目标追踪，直至读取完图像序列的所有帧，结束目标跟踪。
下面是对上述发明技术方案的进一步优化或/和改进：
上述根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断图像中目标跟踪是否准确，包括：
设置阈值TF和TAPCE，判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＞TF且APCE＞TAPCE；
响应于是，则根据该图像中的HOG特征和CN特征更新相关滤波器模型；
响应于否，则判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＜TF且APCE＜TAPCE；
响应于是，则启动目标重新检测器，响应于否，则不更新相关滤波器模型且不启动目标重新检测器重新确定该图像中的目标位置。
上述目标重新检测器为粒子滤波器。
上述提取图像的HOG和CN融合特征，并进行预处理，包括：
获取图像中搜索区域的HOG特征和CN特征；
将HOG特征和CN特征进行线性加权融合，获得HOG和CN融合特征；
通过余弦窗对HOG和CN融合特征进行预处理。
上述将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，响应图中响应值最大的位置为目标位置。
本发明的技术方案之二是通过以下措施来实现的：一种基于相关滤波和粒子滤波的长时间目标跟踪系统，包括：
图像序列获取单元，获取图像序列中的第T帧图像，其中T≥2；
融合特征获取单元，提取该图像的HOG和CN融合特征，并进行预处理；
追踪目标确定单元，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
跟踪目标判断单元，根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置。
下面是对上述发明技术方案的进一步优化或/和改进：
上述追踪目标确定单元包括：
相关滤波器模型建立及更新模块，建立相关滤波器模型及更新相关滤波器模型；
目标确定模块，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，确定目标位置；
目标重新确定模块，通过目标重新检测器确定目标位置。
本发明的技术方案之三是通过以下措施来实现的：一种存储介质，存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行基于相关滤波和粒子滤波的长时间目标跟踪方法。
本发明的技术方案之四是通过以下措施来实现的：一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现基于相关滤波和粒子滤波的长时间目标跟踪方法。
本发明公开了一种相关滤波和粒子滤波协作的长时目标跟踪方法，利用基于背景感知的相关滤波算法确定每一帧图像的目标位置，利用平均峰值相关能量指标、最大响应值双指标共同调整相关滤波器模型的更新策略；在目标跟踪不准确时采用粒子滤波器重新检测确定目标位置。由此解决了现有滤波器易受污染，造成目标位置跟踪不准确的问题，提升了在复杂环境跟踪目标的鲁棒性和长时间跟踪的性能，并且具有一定的抗遮挡、形变能力；在目标丢失后，可以重新获取目标位置信息，具有长时跟踪性质。
附图说明
附图1为本发明实施例1的目标跟踪流程图。
附图2为本发明的实施例2中判断图像中目标跟踪是否准确的流程图。
附图3为本发明的实施例3中提取融合特征的流程图。
附图4为本发明的实施例4和实施例5的系统结构框图。
附图5为本发明的实施例8的一种精确度、成功率的曲线图。
附图6为本发明的实施例8的另一种精确度、成功率的曲线图。
附图7为本发明的实施例8的又一种精确度、成功率的曲线图。
具体实施方式
本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述：
实施例1：如附图1所示，该基于相关滤波和粒子滤波的长时间目标跟踪方法，包括：
S101，获取图像序列中的第T帧图像，其中T≥2；
S102，提取该图像的HOG和CN融合特征，并进行预处理；
S103，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
S104，根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置；
S105，对T+1帧图像进行目标追踪，直至读取完图像序列的所有帧，结束目标跟踪。
上述技术方案步骤S101中，由于图像序列中第1帧图像中的目标位置已经确定，故T≥2。
上述技术方案步骤S103中，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，经相关滤波器模型进行卷积计算后得到第T帧图像中搜索区域的响应图，响应图中的响应值对应搜索区域，在响应图中响应值最大的位置为目标位置。
步骤S103中相关滤波器模型使用训练样本训练得出，训练样本包括第T-1帧图像中的HOG特征和CN特征；其中相关滤波器模型为基于背景感知的相关滤波模型，相关滤波模型具体如下所示：
相关滤波器的目标函数
Figure BDA0002588566120000041
如下：
Figure BDA0002588566120000042
Figure BDA0002588566120000043
式中，
Figure BDA0002588566120000044
矩阵维数为T×KT；
Figure BDA0002588566120000045
为辅助变量，矩阵维数为KT×1；
Figure BDA0002588566120000046
矩阵维数为KD×1；IK为K×K的单位矩阵；
Figure BDA0002588566120000047
为克罗内克积；
Figure BDA0002588566120000048
为离散傅里叶变换(DFT)；F为标准正交T×T矩阵，用来映射到任意T维向量的傅里叶域。
通过构造增广拉格朗日函数优化
Figure BDA0002588566120000049
优化后
Figure BDA00025885661200000410
如下所示：
Figure BDA00025885661200000411
式中，μ为惩罚因子，
Figure BDA00025885661200000412
为傅里叶域中KT×1的拉格朗日矩阵。
采用交替方向乘子法对优化
Figure BDA00025885661200000413
进行迭代求解，得出h*和
Figure BDA00025885661200000414
Figure BDA00025885661200000415
上述技术方案步骤S104中，目标重新检测器可为粒子滤波器，若某一帧图像中目标跟踪不准确，则启动目标重新检测器重新确定该图像中的目标位置。
本发明公开了一种相关滤波和粒子滤波协作的长时目标跟踪方法，利用基于背景感知的相关滤波算法确定每一帧图像的目标位置，利用平均峰值相关能量指标、最大响应值双指标共同调整相关滤波器模型的更新策略；在目标跟踪不准确时采用粒子滤波器重新检测确定目标位置。由此解决了现有滤波器易受污染，造成目标位置跟踪不准确的问题，提升了在复杂环境跟踪目标的鲁棒性和长时间跟踪的性能，并且具有一定的抗遮挡、形变能力；在目标丢失后，可以重新获取目标位置信息，具有长时跟踪性质。
实施例2，如附图2所示，本实施公开了基于相关滤波和粒子滤波的长时间目标跟踪方法，对上述实施例中根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，本实施例还可以进一步包括：
S201，设置阈值TF和TAPCE，判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＞TF且APCE＞TAPCE；
S202，响应于是，则根据该图像中的HOG特征和CN特征更新相关滤波器模型；
S203，响应于否，则判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＜TF且APCE＜TAPCE；
S204，响应于是，则启动目标重新检测器，响应于否，则不更新相关滤波器模型且不启动目标重新检测器重新确定该图像中的目标位置。
上述技术方案中平均峰值相关能量APCE如下所示：
Figure BDA0002588566120000051
其中，Fmax为最高响应值；Fmin为最低响应值；Fw,h为在(w,h)位置上的响应值。
上述技术方案步骤S202中，若最大响应值Fmax和平均峰值相关能量APCE满足条件Fmax＞TF且APCE＞TAPCE，则说明目标跟踪准确，故根据该图像中的HOG特征和CN特征更新相关滤波器模型，为下一帧图像的目标跟踪做准备。
对相关滤波器模性进行更新可采用线性插值法，公式如下所示：
Figure BDA0002588566120000052
式中，η为模板更新率。
上述技术方案步骤S203中，若最大响应值Fmax和平均峰值相关能量APCE不满足条件Fmax＞TF且APCE＞TAPCE，则说明目标跟踪不准确，启动目标重新检测器重新确定该图像中的目标位置，其中重新检测器可为粒子滤波器，颜色直方图作为目标特征表达。
其中，通过目标重新检测器重新确定该图像中目标位置的过程如下所示：
首先，粒子滤波器的动态模型如下：
Figure BDA0002588566120000053
其中xk、yk为第k帧目标中心坐标，由于两帧时间很短，目标运动可以看为是匀速运动，故采用
Figure BDA0002588566120000054
表示两帧之间的位移差。可以看出，当前目标位置等于上一帧目标位置和前两帧之前位移差。
其次，建立目标观测模型，对粒子的状态量进行测量，并且和目标真实状态进行比较，然后目标的观测值采用目标颜色的核密度估计，目标的特征向量为：
Figure BDA0002588566120000061
用Bhattacharyya系数度量相似程度，观测值的概率密度函数为：
Figure BDA0002588566120000062
相应的粒子权值更新为：
Figure BDA0002588566120000063
将采用加权方法，得分最高作为目标的最优位置，公式如下：
Figure BDA0002588566120000064
实施例3，如附图3所示，本实施公开了基于相关滤波和粒子滤波的长时间目标跟踪方法，对上述实施例中提取图像的HOG和CN融合特征，并进行预处理，本实施例还可以进一步包括：
S301，获取图像中搜索区域的HOG特征和CN特征；
S302，将HOG特征和CN特征进行线性加权融合，获得HOG和CN融合特征；
S303，通过余弦窗对HOG和CN融合特征进行预处理。
上述技术方案步骤S303中，通过余弦窗对HOG和CN融合特征进行预处理，能解决边界效应，即在目标原始像素上乘一个余弦窗使接近边缘的像素值接近于零。
实施例4，如附图4所示，相应的，本实施例还公开了基于相关滤波和粒子滤波的长时间目标跟踪系统，包括：
图像序列获取单元，获取图像序列中的第T帧图像，其中T≥2；
融合特征获取单元，提取该图像的HOG和CN融合特征，并进行预处理；
追踪目标确定单元，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
跟踪目标判断单元，根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置。
实施例5，如附图4所示，本实施公开了基于相关滤波和粒子滤波的长时间目标跟踪系统，对上述实施例中的追踪目标确定单元，本实施还可以进一步包括：
相关滤波器模型建立及更新模块，建立相关滤波器模型及更新相关滤波器模型；
目标确定模块，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，确定目标位置；
目标重新确定模块，通过目标重新检测器确定目标位置。
实施例6，本实施例公开了存储介质，所述存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行基于相关滤波和粒子滤波的长时间目标跟踪方法。
上述存储介质可以包括但不限于：U盘、只读存储器、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例7，本实施公开了电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现基于相关滤波和粒子滤波的长时间目标跟踪方法。
上述电子设备还包括传输设备、输入输出设备，其中，传输设备和输入输出设备均与处理器连接。
实施例8，采用OTB100数据集含有不同属性的视频集进行评估本发明的抗遮挡、形变性能以及适应复杂环境的鲁棒性，选用UAV123数据集中50组超过1000帧数以上的图像序列进行评估本发明的长时间跟踪的性能。为了直观且更好的分析本发明方法的性能，实验测试分析中将选用BACF、ECO-hc、LCT、SAMF、DSST等5种流行跟踪算法与本发明的方法做对比实验。其实验硬件环境为CPU Intel Core i5-7500，主频3.40GHz，内存8GB配置的计算机。
使用OPE(one pass evaluation)模式验证6种跟踪算法的性能,即跟踪算法在每个视频中运行一次得出评估结果,并且采用了三种常见的评估指标：跟踪成功率(SuccessRate)、跟踪精度(Precision)、跟踪算法速度(FPS)。
1、单帧的跟踪成功率是用重叠率判断，即规定一个阈值(默认取0.5),若重叠率大于阈值时,则当前帧目标跟踪成功。视频集整体的成功率是跟踪成功帧数占总帧数的比例,其中重叠率公式为：
Figure BDA0002588566120000071
式中:Rs：跟踪结果区域面积,Rr：真实结果区域面积。
2、跟踪精度是跟踪框中心位置坐标到目标真实中心位置坐标的平均欧式距离小于阈值(默认取20像素)的帧数所占总帧数的比例,欧式距离公式为:
Figure BDA0002588566120000072
式中:(xs，ys)为跟踪框中心位置坐标；(xr，yr)目标真实中心位置坐标。
3、跟踪算法速度采用FPS来评估,公式为：
Figure BDA0002588566120000081
式中：Fra：目标跟踪的总帧数,T：消耗的总时间。
对6种跟踪方法的评估结果如下所述：
(1)整体性能分析
本组实验采用OTB100数据集进行测试，该数据集中一共包含100组图像序列，并且每组图像序列都存在若干个常见的干扰属性。附图5为6种跟踪算法在0TB100数据集中整体性能的OPE精确度图和成功率图，并且附图中的图例中显示每种算法的运行速度。在附图5(a)精确度图中，本发明方法(CFPE)排在第一位，并且相比于BACF算法，跟踪精度提高了2.0％；在附图5(b)成功率图中，本发明方法依然排在第一位；在附图5中看出本发明方法的平均运算速度为26.2fps，可以达到实时要求。因此从附图5得出本发明方法在复杂场景下跟踪具有较好的鲁棒性并且具有实时性。
(2)单个属性的性能分析
为了验证本发明方法具有较好的抗遮挡和形变性能，本组实验采用OTB100数据集进行测试，选取数据中48组含有遮挡属性的图像序列和43组含有形变属性的图像序列进行实验评估分析。附图6为6中跟踪方法在0TB100数据集中遮挡、形变属性的OPE精确度图和成功率图。在跟踪目标被遮挡的问题上，本发明方法采用设置两个阈值TF和TAPCE，并且将最大响应值Fmax和阈值TF，APCE值和阈值TAPCE结合去估计当前目标位置信息，并且做出是否更新滤波器模板和是否启动重检测器。从附图6(a)、(b)中可以看出，在遮挡属性下，本发明方法的跟踪精度和成功率都排在第一位，并且相比于BACF算法有着显著的提高，跟踪精度提高了7.4％，成功率提高了6.4％；而在跟踪目标发生形变的问题上，本发明方法主要采用特征融合，将HOG特征和CN特征进行互补，增强目标特征表达，从而提高抗形变的性能。从附图6(c)、(d)中可以看出，在目标发生形变下，本发明方法的跟踪精度排在第一位和成功率仅次于ECO-hc排在第二位，并且相比于BACF算法有着显著的提高。因此本发明方法具有较好的抗遮挡、形变的性能。
(3)长时间稳定跟踪的性能分析
本组实验采用UAV123数据集进行测试，选取该数据集中50组超过1000帧数以上的图像序列。附图7为6种跟踪方法在部分UAV123数据集上的OPE精确度图和成功率图。在本发明方法中增加了判断滤波器模板更新机制，只有在适当的条件下才会更新，这样就减少了模板被污染或者降低更新模板中造成的累计误差。在附图7(a)精确度图和附图7(b)成功率图中，本发明方法均排在第一位，并且相比于BACF算法，跟踪精度提高了5.9％，成功率提高了3.3％；因此可以得出本发明方法在长时间跟踪过程中，跟踪性能较稳定。
综合以上分析，本发明提出的一种相关滤波和粒子滤波协作的长时目标跟踪方法增强了在复杂环境下跟踪目标鲁棒性和长时间稳定跟踪的性能，并且在目标被遮挡、形变等情况下跟踪精度和成功率有着显著提升，同时速度可以达到实时要求。
以上技术特征构成了本发明的最佳实施例，其具有较强的适应性和最佳实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。

Claims (10)

1.一种基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，包括：
获取图像序列中的第T帧图像，其中T≥2；
提取该图像的HOG和CN融合特征，并进行预处理；
将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置；
对T+1帧图像进行目标追踪，直至读取完图像序列的所有帧，结束目标跟踪。
2.根据权利要求1所述的基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，所述根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断图像中目标跟踪是否准确，包括：
设置阈值TF和TAPCE，判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＞TF且APCE＞TAPCE；
响应于是，则根据该图像中的HOG特征和CN特征更新相关滤波器模型；
响应于否，则判断最大响应值Fmax和平均峰值相关能量APCE是否满足条件Fmax＜TF且APCE＜TAPCE；
响应于是，则启动目标重新检测器，响应于否，则不更新相关滤波器模型且不启动目标重新检测器重新确定该图像中的目标位置。
3.根据权利要求2所述的基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，所述目标重新检测器为粒子滤波器。
4.根据权利要求1或2或3所述的基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，所述提取图像的HOG和CN融合特征，并进行预处理，包括：
获取图像中搜索区域的HOG特征和CN特征；
将HOG特征和CN特征进行线性加权融合，获得HOG和CN融合特征；
通过余弦窗对HOG和CN融合特征进行预处理。
5.根据权利要求1或2或3所述的基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，所述将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，响应图中响应值最大的位置为目标位置。
6.根据权利要求4所述的基于相关滤波和粒子滤波的长时间目标跟踪方法，其特征在于，所述将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，响应图中响应值最大的位置为目标位置。
7.一种基于相关滤波和粒子滤波的长时间目标跟踪系统，其特征在于，包括：
图像序列获取单元，获取图像序列中的第T帧图像，其中T≥2；
融合特征获取单元，提取该图像的HOG和CN融合特征，并进行预处理；
追踪目标确定单元，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出该图像中搜索区域的响应图，确定目标位置，其中，相关滤波器模型使用训练样本训练得出，训练样本包括前一帧图像中的HOG特征和CN特征；
跟踪目标判断单元，根据响应图中的最大响应值Fmax和平均峰值相关能量APCE，判断该图像中目标跟踪是否准确，响应于是则更新相关滤波器模型，响应于否则启动目标重新检测器重新确定该图像中的目标位置。
8.根据权利要求7所述的基于相关滤波和粒子滤波的长时间目标跟踪系统，其特征在于，所述追踪目标确定单元包括：
相关滤波器模型建立及更新模块，建立相关滤波器模型及更新相关滤波器模型；
目标确定模块，将预处理后的HOG和CN融合特征输入至相关滤波器模型中，输出图像中搜索区域的响应图，确定目标位置；
目标重新确定模块，通过目标重新检测器确定目标位置。
9.一种存储介质，其特征在于，所述存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行如权利要求1至6任一项所述的基于相关滤波和粒子滤波的长时间目标跟踪方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的基于相关滤波和粒子滤波的长时间目标跟踪方法。
CN202010688743.8A 2020-07-16 2020-07-16 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 Pending CN111968153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010688743.8A CN111968153A (zh) 2020-07-16 2020-07-16 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010688743.8A CN111968153A (zh) 2020-07-16 2020-07-16 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN111968153A true CN111968153A (zh) 2020-11-20

Family

ID=73361908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010688743.8A Pending CN111968153A (zh) 2020-07-16 2020-07-16 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111968153A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785622A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN112991390A (zh) * 2021-03-31 2021-06-18 江苏理工学院 一种基于背景感知的多跟踪器融合目标跟踪方法
CN113052872A (zh) * 2021-03-12 2021-06-29 浙江大学 一种基于声呐图像的水下运动目标跟踪方法
CN113643327A (zh) * 2021-08-18 2021-11-12 江西理工大学 一种响应置信度多特征融合的核相关滤波目标跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN109146917A (zh) * 2017-12-29 2019-01-04 西安电子科技大学 一种弹性更新策略的目标跟踪方法
CN109584271A (zh) * 2018-11-15 2019-04-05 西北工业大学 基于高置信度更新策略的高速相关滤波跟踪方法
CN110414439A (zh) * 2019-07-30 2019-11-05 武汉理工大学 基于多峰值检测的抗遮挡行人跟踪方法
CN110472577A (zh) * 2019-08-15 2019-11-19 江南大学 一种基于自适应相关滤波的长时视频跟踪方法
CN110751096A (zh) * 2019-10-21 2020-02-04 陕西师范大学 一种基于kcf轨迹置信度的多目标跟踪方法
CN110827327A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于融合的长期目标跟踪方法
CN111340846A (zh) * 2020-02-25 2020-06-26 重庆邮电大学 一种多特征融合的抗遮挡目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN109146917A (zh) * 2017-12-29 2019-01-04 西安电子科技大学 一种弹性更新策略的目标跟踪方法
CN110827327A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于融合的长期目标跟踪方法
CN109584271A (zh) * 2018-11-15 2019-04-05 西北工业大学 基于高置信度更新策略的高速相关滤波跟踪方法
CN110414439A (zh) * 2019-07-30 2019-11-05 武汉理工大学 基于多峰值检测的抗遮挡行人跟踪方法
CN110472577A (zh) * 2019-08-15 2019-11-19 江南大学 一种基于自适应相关滤波的长时视频跟踪方法
CN110751096A (zh) * 2019-10-21 2020-02-04 陕西师范大学 一种基于kcf轨迹置信度的多目标跟踪方法
CN111340846A (zh) * 2020-02-25 2020-06-26 重庆邮电大学 一种多特征融合的抗遮挡目标跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785622A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN112785622B (zh) * 2020-12-30 2024-04-05 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN113052872A (zh) * 2021-03-12 2021-06-29 浙江大学 一种基于声呐图像的水下运动目标跟踪方法
CN113052872B (zh) * 2021-03-12 2022-06-10 浙江大学 一种基于声呐图像的水下运动目标跟踪方法
CN112991390A (zh) * 2021-03-31 2021-06-18 江苏理工学院 一种基于背景感知的多跟踪器融合目标跟踪方法
CN112991390B (zh) * 2021-03-31 2023-08-18 江苏理工学院 一种基于背景感知的多跟踪器融合目标跟踪方法
CN113643327A (zh) * 2021-08-18 2021-11-12 江西理工大学 一种响应置信度多特征融合的核相关滤波目标跟踪方法
CN113643327B (zh) * 2021-08-18 2023-10-20 江西理工大学 一种响应置信度多特征融合的核相关滤波目标跟踪方法

Similar Documents

Publication Publication Date Title
CN111968153A (zh) 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
CN113012203B (zh) 一种复杂背景下高精度多目标跟踪方法
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN109785366B (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN110555870B (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN111008991B (zh) 一种背景感知的相关滤波目标跟踪方法
CN112116593A (zh) 一种基于基尼指数的领域自适应语义分割方法
CN111583294B (zh) 一种结合尺度自适应与模型更新的目标跟踪方法
CN110717934B (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN116665095A (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
CN114596440A (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN110472607A (zh) 一种船舶跟踪方法及系统
CN111260686B (zh) 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201120

RJ01 Rejection of invention patent application after publication