CN111539985A - 一种融合多特征的自适应运动目标跟踪方法 - Google Patents

一种融合多特征的自适应运动目标跟踪方法 Download PDF

Info

Publication number
CN111539985A
CN111539985A CN201911408718.3A CN201911408718A CN111539985A CN 111539985 A CN111539985 A CN 111539985A CN 201911408718 A CN201911408718 A CN 201911408718A CN 111539985 A CN111539985 A CN 111539985A
Authority
CN
China
Prior art keywords
target
response
features
correlation
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911408718.3A
Other languages
English (en)
Inventor
尚振宏
谢柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201911408718.3A priority Critical patent/CN111539985A/zh
Publication of CN111539985A publication Critical patent/CN111539985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种融合多特征的自适应运动目标跟踪方法，属于视觉运动目标跟踪领域。该方法首先从图像目标区域提取方向梯度直方图(Histogram of Oriented Gradient，HOG)特征，同时利用预训练好的卷积神经网络提取卷积特征，然后采用自适应方式融合HOG特征和卷积特征。基于融合后的特征响应图估计出目标位置，并采用尺度估计方法解决目标尺度变化问题，最后采用稀疏模型更新策略进行模型更新。本发明能够有效处理复杂环境下仅使用单一图像特征跟踪精度和鲁棒性差的问题。

Description

一种融合多特征的自适应运动目标跟踪方法
技术领域
本发明属于视觉运动目标跟踪领域，具体涉及一种融合多特征的自适应运动目标跟踪方法。
背景技术
在计算机视觉领域中，目标跟踪一直都是一个重要课题，包含了统计学、图像处理、机器学习、深度学习、信号处理等相关知识。目标跟踪技术在军事和民用方面都有广阔的应用前景，主要包括人机交互、军事制导、视频监控、智能交通等。虽然近年来目标跟踪问题已经取得了很大的突破，但由于跟踪环境的复杂多样性，如尺度变化、光照变化、目标遮挡等因素，实现鲁棒的目标跟踪仍是一个极具挑战的难题。
目标跟踪方法按照目标外观模型建立的方式不同可分为生成式模型和判别式模型。近几年，基于相关滤波的判别式目标跟踪算法由于具有较好的实时性和鲁棒性，引起了相关学者的广泛关注。Bolme等首次将相关滤波思想应用到目标跟踪领域，提出了最小化输出平方误差和(Minimum Output Sum of Square Error，MOSSE)的目标跟踪算法。Henriques等在相关滤波基础上引入核函数，提出核相关滤波器的目标跟踪算法(KernelCorrelation Filter，KCF)，并结合循环矩阵理论和快速傅里叶变换。
目标跟踪中目标的特征提取和表示是实现目标鲁棒跟踪的关键因素之一。早期MOSSE和KCF算法分别提取目标的灰度特征和HOG特征进行目标跟踪，取得了实时跟踪效果，但跟踪精度有待提高。随后，Danelljan等分别使用融合HOG特征和灰度特征表征目标的方法，以及颜色属性(Color Name，CN)表征目标的方法进行目标跟踪，其算法跟踪精度都有所提升。Li等提出融合HOG和CN特征的目标跟踪算法，很大程度上提高了跟踪精度。Bertinetto等提取目标的HOG特征和颜色直方图特征对目标进行描述，实现了目标的鲁棒跟踪。由于在复杂环境下使用单一的特征融合策略鲁棒性不强，跟踪算法易受跟踪环境变化的干扰，无法准确跟踪目标。另外手工设计的传统特征具有一定的局限性，不能有效捕捉目标物体的语义信息，难以处理复杂的目标表观变化。为进一步提高目标跟踪的鲁棒性，本发明拟提出了一种融合多特征的自适应运动目标跟踪方法。
发明内容
本发明的目的是提供了一种融合多特征的自适应运动目标跟踪方法，用以解决在复杂环境下仅使用单一图像特征跟踪精度和鲁棒性差的问题。
为了解决上述问题，本发明所实现的技术方案是提供了一种融合多特征的自适应运动目标跟踪方法，包括如下步骤：
第一步：获取目标的初始位置信息；
第二步：根据第一步获取的初始位置信息提取候选目标样本的HOG特征和卷积特征；
第三步：根据第二步提取的HOG特征和卷积特征分别训练相关滤波器，然后分别利用各自相关滤波器计算得到不同特征下的响应图。
第四步：根据第三步得到的HOG特征响应图和卷积特征响应图，采用自适应权重融合的方式得到最终相关滤波响应图；
第五步：根据第四步得到的最终相关滤波响应图，预测目标位置；
第六步：根据第五步预测的目标位置信息，在此基础上对目标提取HOG特征建立尺度滤波器，利用尺度滤波器计算得到目标最佳尺度；
第七步：通过计算相关滤波响应图的平均峰值相关能量(Average Peak-to-Correlation Energy，APCE)，实现模型的稀疏更新。
所述第一步中卷积特征是利用预训练好的卷积神经网络VGG19提取的特征。
所述第三步和第六步中相关滤波器可通过最小化目标函数求解得到，即：
Figure BDA0002349390840000021
式中，x为d通道的目标特征，其第d个通道特征表示为xd，相关滤波器为w，由D个单通道滤波器wd组成。*代表循环相关操作，y表示相关滤波期望输出，λ为正则化参数。利用傅里叶变换快速求解可得到相关滤波器为：
Figure BDA0002349390840000022
式中，大写字母表示相应变量的频域描述形式，
Figure BDA0002349390840000023
为Y的复共轭，
Figure BDA0002349390840000024
表示对应元素相乘。
所述第三步中特征响应图可通过提取的目标特征和相应的相关滤波器作相关操作得到，即：
Figure BDA0002349390840000031
其中，zd表示下一帧的目标图像特征，F-1表示傅里叶逆变换。
所述第四步中自适应融合权重采用相邻图像帧的特征响应图峰值旁瓣比差值来计算得到。差异越小说明该特征下学习到的滤波器性能越好，则在特征响应图融合中应对该特征响应图赋予更高的权重。因此，两个特征各自的自适应权重由下式计算：
Figure BDA0002349390840000032
其中，t为当前帧的序列号，
Figure BDA0002349390840000033
和
Figure BDA0002349390840000034
分别表示相邻帧的传统特征(HOG特征)和卷积特征响应图峰值旁瓣比差值，计算公式为：
Figure BDA0002349390840000035
式中，μ和δ分别为响应图f的均值和方差。
所述第五步中目标位置就是相关滤波响应图中最大值位置。
所述第七步中APEC值用来表征目标响应图的波动程度和目标的置信程度，其计算公式为：
Figure BDA0002349390840000036
式中，fmax和fmin分别表示响应图中的最大值和最小值，fi,j表示响应图中第i行第j列的值。当响应图的APCE值大于更新阈值时，则该跟踪结果被认为是高置信度，那么跟踪模型进行在线更新。
综上，采用本发明所提供的一种融合多特征的自适应运动目标跟踪方法，具有如下有益效果：
(1)该目标跟踪方法利用了卷积特征，弥补了传统技术中人工设计特征不能有效捕捉目标物体的语义信息，难以处理复杂的目标表观变化等不足之处；
(2)该目标跟踪方法采用自适应策略融合了HOG特征和卷积特征，能够更加全面表征目标，目标跟踪准确性和鲁棒性大大提高；
附图说明
图1是本发明的流程图。
图2是HOG特征图。
图3是卷积特征图。
图4是相关滤波响应图。
具体实施方式
以下将参照附图，通过实施例方式详细地描述本发明提供的一种融合多特征的自适应运动目标跟踪方法。
实施例一
如图1所示，本实施例提供的所述融合多特征的自适应运动目标跟踪方法，包括如下步骤：
(1)获取目标的初始位置信息，即目标在视频第一帧所在位置，包括目标框左上角的坐标(x，y)，宽和高。
(2)根据步骤(1)获取的初始位置信息提取候选目标样本的HOG特征和卷积特征。具体地，HOG特征和卷积特征分别如图2和图3所示，其中卷积特征是使用预训练好的卷积神经网络VGG19的Conv3-4、Conv4-4和Conv5-4层提取得到。
(3)根据步骤(2)提取的HOG特征和卷积特征分别训练相关滤波器，然后分别利用各自相关滤波器计算得到不同特征下的响应图。
对所述步骤(3)中，相关滤波器可通过最小化目标函数求解得到，即：
Figure BDA0002349390840000041
式中，x为d通道的目标特征，其第d个通道特征表示为xd，相关滤波器为w，由D个单通道滤波器wd组成。*代表循环相关操作，y表示相关滤波期望输出，λ为正则化参数。利用傅里叶变换快速求解可得到相关滤波器为：
Figure BDA0002349390840000042
式中，大写字母表示相应变量的频域描述形式，
Figure BDA0002349390840000043
为Y的复共轭，
Figure BDA0002349390840000044
表示对应元素相乘。
所述步骤(3)中，特征响应图可通过提取的目标特征和相应的相关滤波器作相关操作得到，即：
Figure BDA0002349390840000051
其中，zd表示下一帧的目标图像特征，F-1表示傅里叶逆变换。
(4)根据步骤(3)得到的HOG特征响应图和卷积特征响应图，采用自适应权重融合的方式得到最终相关滤波响应图，具体如图4所示。
在所述步骤(4)中，自适应融合权重采用相邻图像帧的特征响应图峰值旁瓣比差值来计算得到。差异越小说明该特征下学习到的滤波器性能越好，则在特征响应图融合中应对该特征响应图赋予更高的权重。因此，两个特征各自的自适应权重由下式计算：
Figure BDA0002349390840000052
其中，t为当前帧的序列号，
Figure BDA0002349390840000053
和
Figure BDA0002349390840000054
分别表示相邻帧的传统特征(HOG特征)和卷积特征响应图峰值旁瓣比差值，计算公式为：
Figure BDA0002349390840000055
式中，μ和δ分别为响应图f的均值和方差。
(5)根据步骤(4)得到的最终相关滤波响应图，预测目标位置，即目标位置就是相关滤波响应图中最大值位置。
(6)根据步骤(5)预测的目标位置信息，在此基础上对目标提取HOG特征建立尺度滤波器，利用尺度滤波器计算得到目标最佳尺度。
(7)通过计算相关滤波响应图的平均峰值相关能量(Average Peak-to-Correlation Energy，APCE)，实现模型的稀疏更新。
在所述步骤(7)中，APEC值用来表征目标响应图的波动程度和目标的置信程度，其计算公式为：
Figure BDA0002349390840000056
式中，fmax和fmin分别表示响应图中的最大值和最小值，fi,j表示响应图中第i行第j列的值。当响应图的APCE值大于更新阈值时，则该跟踪结果被认为是高置信度，那么跟踪模型进行在线更新。

Claims (7)

1.一种融合多特征的自适应运动目标跟踪方法，其特征在于，包括以下步骤：
第一步：获取目标的初始位置信息；
第二步：根据第一步获取的初始位置信息提取候选目标样本的HOG特征和卷积特征；
第三步：根据第二步提取的HOG特征和卷积特征分别训练相关滤波器，然后分别利用各自相关滤波器计算得到不同特征下的响应图。
第四步：根据第三步得到的HOG特征响应图和卷积特征响应图，采用自适应权重融合的方式得到最终相关滤波响应图；
第五步：根据第四步得到的最终相关滤波响应图，预测目标位置；
第六步：根据第五步预测的目标位置信息，在此基础上对目标提取HOG特征建立尺度滤波器，利用尺度滤波器计算得到目标最佳尺度；
第七步：通过计算相关滤波响应图的平均峰值相关能量(Average Peak-to-Correlation Energy，APCE)，实现模型的稀疏更新。
2.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第二步中卷积特征是利用预训练好的卷积神经网络VGG19提取的特征。
3.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第三步和第六步中相关滤波器可通过最小化目标函数求解得到，即：
Figure FDA0002349390830000011
式中，x为d通道的目标特征，其第d个通道特征表示为xd，相关滤波器为w，由D个单通道滤波器wd组成。*代表循环相关操作，y表示相关滤波期望输出，λ为正则化参数。利用傅里叶变换快速求解可得到相关滤波器为：
Figure FDA0002349390830000012
式中，大写字母表示相应变量的频域描述形式，
Figure FDA0002349390830000013
为Y的复共轭，
Figure FDA0002349390830000014
表示对应元素相乘。
4.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第三步中特征响应图可通过提取的目标特征和相应的相关滤波器作相关操作得到，即：
Figure FDA0002349390830000021
其中，zd表示下一帧的目标图像特征，F-1表示傅里叶逆变换。
5.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第四步中自适应融合权重是采用相邻图像帧的特征响应图峰值旁瓣比差值计算得到。差异越小说明该特征下学习到的滤波器性能越好，则在特征响应图融合中应对该特征响应图赋予更高的权重。因此，两个特征各自的自适应权重由下式计算：
Figure FDA0002349390830000022
其中，t为当前帧的序列号，
Figure FDA0002349390830000023
和
Figure FDA0002349390830000024
分别表示相邻帧的传统特征(HOG特征)和卷积特征响应图峰值旁瓣比差值，计算公式为：
Figure FDA0002349390830000025
Ct＝PSR(ft)-PSR(ft-1)
式中，μ和δ分别为响应图f的均值和方差。
6.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第五步中目标位置就是相关滤波响应图中最大值位置。
7.根据权利要求书1所述的一种融合多特征的自适应运动目标跟踪方法，其特征在于，所述第七步中APEC值用来表征目标响应图的波动程度和目标的置信程度，其计算公式为：
Figure FDA0002349390830000026
式中，fmax和fmin分别表示响应图中的最大值和最小值，fi,j表示响应图中第i行第j列的值。当响应图的APCE值大于更新阈值时，则该跟踪结果被认为是高置信度，那么跟踪模型进行在线更新。
CN201911408718.3A 2019-12-31 2019-12-31 一种融合多特征的自适应运动目标跟踪方法 Pending CN111539985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911408718.3A CN111539985A (zh) 2019-12-31 2019-12-31 一种融合多特征的自适应运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911408718.3A CN111539985A (zh) 2019-12-31 2019-12-31 一种融合多特征的自适应运动目标跟踪方法

Publications (1)

Publication Number Publication Date
CN111539985A true CN111539985A (zh) 2020-08-14

Family

ID=71976657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911408718.3A Pending CN111539985A (zh) 2019-12-31 2019-12-31 一种融合多特征的自适应运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111539985A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112762841A (zh) * 2020-12-30 2021-05-07 天津大学 一种基于多分辨率深度特征的桥梁动位移监测系统及方法
CN113344973A (zh) * 2021-06-09 2021-09-03 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112762841A (zh) * 2020-12-30 2021-05-07 天津大学 一种基于多分辨率深度特征的桥梁动位移监测系统及方法
CN113344973A (zh) * 2021-06-09 2021-09-03 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN113344973B (zh) * 2021-06-09 2023-11-24 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法

Similar Documents

Publication Publication Date Title
CN107578423B (zh) 多特征分层融合的相关滤波鲁棒跟踪方法
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN108776975B (zh) 一种基于半监督特征和滤波器联合学习的视觉跟踪方法
CN109741366B (zh) 一种融合多层卷积特征的相关滤波目标跟踪方法
CN108288282B (zh) 一种基于卷积神经网络的自适应特征选择目标跟踪方法
CN108154118A (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN102722714B (zh) 基于目标跟踪的人工神经网络扩张式学习方法
CN110135500A (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN104484890B (zh) 基于复合稀疏模型的视频目标跟踪方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN111080675A (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN110473231A (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN110246154B (zh) 一种基于ica-r多特征融合与自适应更新的视觉目标跟踪方法
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination