CN112686929A - 一种目标跟踪方法及系统 - Google Patents

一种目标跟踪方法及系统 Download PDF

Info

Publication number
CN112686929A
CN112686929A CN202110262401.4A CN202110262401A CN112686929A CN 112686929 A CN112686929 A CN 112686929A CN 202110262401 A CN202110262401 A CN 202110262401A CN 112686929 A CN112686929 A CN 112686929A
Authority
CN
China
Prior art keywords
target
image
map
frame image
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110262401.4A
Other languages
English (en)
Other versions
CN112686929B (zh
Inventor
张建明
袁婷玉
刘和华
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202110262401.4A priority Critical patent/CN112686929B/zh
Publication of CN112686929A publication Critical patent/CN112686929A/zh
Application granted granted Critical
Publication of CN112686929B publication Critical patent/CN112686929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法及系统，首先对当前帧图像提取特征得到特征图，以当前的滤波器对特征图处理，获得第一响应图，然后根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征以及对当前帧图像进行显著性检测得到显著性图，获得第二响应图，进而根据第一响应图和第二响应图获得当前帧图像的目标位置，进一步根据当前帧图像的目标位置以及显著性图，更新滤波器的空间权重图，并根据预设目标函数更新滤波器，其中预设目标函数包括对空间权重图的正则化约束，以及预设目标函数的岭回归项加入对背景区域信息的约束。本发明将目标的轮廓特征以及显著性特征作为约束来跟踪目标位置，能够提高目标跟踪的鲁棒性和准确性。

Description

一种目标跟踪方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种目标跟踪方法及系统。
背景技术
在计算机视觉领域中，基于视频的目标跟踪一直是一个研究热点课题。通过在连续的视频图像序列中估计目标的位置、形状或者所占区域，确定目标的运动速度、方向及轨迹等运动信息，实现对运动目标行为的分析和理解，以便完成更高级的任务。目标跟踪无论在民用安全方面，比如智能视频监控、人机交互、智能交通系统、医学诊断、视觉导航等，还是在军事国防方面，比如导弹制导、无人机侦查、飞行控制等，都具有重要的研究意义和广阔的应用前景。
经过了长期以来的研究，基于视频的目标跟踪已经有了许多突破性的进展，但是这项研究仍然存在来自两个主要方面的巨大挑战，具体体现在外界复杂环境的光照变化、遮挡、相似物体、背景模糊和目标本身的尺度变化、形态差异等不利因素。因此，提出一种可以应对各种挑战且具有鲁棒性和高速度的目标跟踪方法仍然是一个尚待解决的问题。
发明内容
鉴于以上所述，本发明的目的是提供一种目标跟踪方法及系统，能够提高目标跟踪的鲁棒性和准确性。
为实现上述目的，本发明提供如下技术方案：
一种目标跟踪方法，包括：
对当前帧图像提取特征得到特征图；
以当前的滤波器对所述特征图处理，获得反映当前帧图像的目标位置的第一响应图，所述滤波器使用的空间权重图根据图像中目标位置以及对图像中目标进行显著性检测得到的显著性图获得；
根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征，以及对当前帧图像进行显著性检测得到显著性图，根据得到的目标轮廓特征以及显著性图，获得第二响应图；
根据所述第一响应图和所述第二响应图，获得当前帧图像的目标位置；
根据当前帧图像的目标位置以及对当前帧图像中目标进行显著性检测得到的显著性图，更新所述滤波器的空间权重图，以及根据预设目标函数更新所述滤波器，所述预设目标函数包括对空间权重图的正则化约束，以及所述预设目标函数的岭回归项加入对背景区域信息的约束，其中根据前一帧图像的目标位置从当前帧图像获取背景区域信息。
优选的，对当前帧图像提取特征得到特征图包括：
对当前帧图像提取预设数量种尺度的梯度特征得到梯度特征图，以及对当前帧图像提取深度特征得到深度特征图，并将所述梯度特征图和所述深度特征图融合得到融合特征图；
以当前的滤波器对所述特征图处理，获得当前帧图像的目标位置包括：以当前的第一滤波器对所述融合特征图处理，获得当前帧图像的目标位置，以当前的第二滤波器对所述梯度特征图处理，获得当前帧图像中目标的尺度。
优选的，具体包括：使用第一网络模型对当前帧图像提取深度特征得到第一深度特征图，使用第二网络模型对当前帧图像提取深度特征得到第二深度特征图，并将所述梯度特征图、所述第一深度特征图和所述第二深度特征图融合得到融合特征图。
优选的，获得所述滤波器的空间权重图包括：
根据图像的目标位置获得该帧图像的基础空间权重图；
根据该帧图像的目标位置对该帧图像进行显著性检测，得到该帧图像的显著性图；
根据该帧图像的基础空间权重图和显著性图，得到所述滤波器的空间权重图。
优选的，根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征包括：根据第一响应图确定的目标位置，从当前帧图像中由该目标位置确定的目标区域内提取目标的轮廓特征。
优选的，所述预设目标函数表示为：
Figure 150705DEST_PATH_IMAGE001
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 68983DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 235522DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数。
优选的，根据所述预设目标函数求解得到的滤波器表示为：
Figure 906544DEST_PATH_IMAGE004
；
其中，
Figure 500336DEST_PATH_IMAGE005
表示标签y在傅里叶域中的表示，X表示图像第d通道特征图xd的总和，
Figure 640330DEST_PATH_IMAGE006
表示X在傅里叶域中的表示，γ表示预定义的参数，h表示滤波器，F表示正交的T×T矩阵。
优选的，所述预设目标函数表示为：
Figure 95714DEST_PATH_IMAGE007
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 903133DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 402247DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数，
Figure 544384DEST_PATH_IMAGE008
表示第t帧图像第d通道的滤波器，
Figure 52726DEST_PATH_IMAGE009
表示第t-1帧图像第d通道的滤波器，τ表示正则项的参数。
优选的，根据所述预设目标函数求解得到的滤波器表示为：
Figure 714652DEST_PATH_IMAGE010
；
其中，h表示滤波器，F表示正交的T×T矩阵，γ表示预定义的参数，
Figure 400979DEST_PATH_IMAGE011
表示s在傅里叶域中的表示，
Figure 515565DEST_PATH_IMAGE012
表示引入的辅助变量。
一种目标跟踪系统，用于执行以上所述的目标跟踪方法。
由上述技术方案可知，本发明所提供的一种目标跟踪方法及系统，首先对当前帧图像提取特征得到特征图，然后以当前的滤波器对特征图处理，获得反映当前帧图像的目标位置的第一响应图，其中滤波器使用的空间权重图根据图像中目标位置以及对图像中目标进行显著性检测得到的显著性图获得，然后根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征，以及对当前帧图像进行显著性检测得到显著性图，根据得到的目标轮廓特征以及显著性图，获得第二响应图，进而根据第一响应图和第二响应图，获得当前帧图像的目标位置，进一步根据当前帧图像的目标位置以及对当前帧图像中目标进行显著性检测得到的显著性图，更新滤波器的空间权重图，并根据预设目标函数更新滤波器，其中预设目标函数包括对空间权重图的正则化约束，以及预设目标函数的岭回归项加入对背景区域信息的约束，其中根据前一帧图像的目标位置从当前帧图像获取背景区域信息。
本发明的目标跟踪方法及系统，从图像获取目标位置所使用的滤波器的空间权重图根据图像的目标位置以及图像中目标的显著性图获得，并根据每一帧图像的显著性图更新滤波器的空间权重图并更新滤波器，利用显著性图将目标的变化信息纳入滤波器的空间权重图来更新滤波器，并且在更新滤波器的目标函数加入对背景区域信息的约束，从而实现基于显著性感知和背景感知的目标跟踪方法，并且将目标的轮廓特征以及显著性特征作为约束来跟踪目标位置，能够提高目标跟踪的鲁棒性和准确性。
本发明的目标跟踪方法及系统，从图像获取目标位置所使用的滤波器的空间权重图根据图像的目标位置以及图像中目标的显著性图获得，并根据每一帧图像的显著性图更新滤波器的空间权重图并更新滤波器，利用显著性图将目标的变化信息纳入滤波器的空间权重图来更新滤波器，并且在更新滤波器的目标函数加入对背景区域信息的约束。从而实现基于显著性感知和背景感知的目标跟踪方法，能够提高目标跟踪的鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标跟踪方法的流程图；
图2为本发明实施例中获得滤波器初始化的空间权重图的方法流程图；
图3为本发明实施例中获得滤波器初始化的空间权重图的示意图；
图4为本发明实施例中对首帧图像提取特征的方法流程图；
图5为本发明实施例中使用滤波器对图像处理以跟踪目标的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为本实施例提供的一种目标跟踪方法的流程图，由图可知，所述目标跟踪方法包括以下步骤：
S10：对当前帧图像提取特征得到特征图。
对于视频的图像序列，在当前帧图像中跟踪目标，首先对当前帧图像提取特征得到特征图。
S11：以当前的滤波器对所述特征图处理，获得反映当前帧图像的目标位置的第一响应图。
所述滤波器使用的空间权重图根据图像中目标位置以及对图像中目标进行显著性检测得到的显著性图获得。使用当前的滤波器对当前帧图像的特征图处理，获得反映当前帧图像的目标位置的第一响应图。
S12：根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征，以及对当前帧图像进行显著性检测得到显著性图，根据得到的目标轮廓特征以及显著性图，获得第二响应图。
根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征。以及根据第一响应图确定的目标位置，对当前帧图像中目标进行显著性检测，得到显著性图。进而根据得到的目标轮廓特征以及显著性图，获得第二响应图，通过目标的轮廓特征以及目标的显著性特征进行约束。
S13：根据所述第一响应图和所述第二响应图，获得当前帧图像的目标位置。
S14：根据当前帧图像的目标位置以及对当前帧图像中目标进行显著性检测得到的显著性图，更新所述滤波器的空间权重图，以及根据预设目标函数更新所述滤波器，所述预设目标函数包括对空间权重图的正则化约束，以及所述预设目标函数的岭回归项加入对背景区域信息的约束，其中根据前一帧图像的目标位置从当前帧图像获取背景区域信息。
根据获得的当前帧图像的目标位置，以及根据第一响应图确定的目标位置对当前帧图像进行显著性检测得到显著性图，更新滤波器的空间权重图。
根据更新后的空间权重图，根据预设目标函数更新滤波器，该预设目标函数包括范数对空间权重图的正则化约束，以及预设目标函数的岭回归项加入对背景区域信息的约束，其中根据前一帧图像预测出的目标位置，从当前帧图像获取背景区域信息。进而使用更新后的滤波器对下一帧图像预测目标位置，从而实现在视频的图像序列中跟踪目标。
本实施例的目标跟踪方法，从图像获取目标位置所使用的滤波器的空间权重图根据图像的目标位置以及图像中目标的显著性图获得，并根据每一帧图像的显著性图更新滤波器的空间权重图并更新滤波器，利用显著性图将目标的变化信息纳入滤波器的空间权重图来更新滤波器，并且在更新滤波器的目标函数加入对背景区域信息的约束，从而实现基于显著性感知和背景感知的目标跟踪方法。并且，将目标的轮廓特征以及显著性特征作为约束来跟踪目标位置，能够提高目标跟踪的鲁棒性和准确性。
下面结合具体实施方式对本目标跟踪方法进行详细说明。本实施例的目标跟踪方法中，可以根据视频的图像序列中任一帧图像初始化以及训练滤波器，比如使用第一帧图像训练滤波器。请参考图2，图2为本实施例中获得滤波器初始化的空间权重图的方法流程图，具体包括以下步骤：
S20：根据首帧图像的目标位置获得首帧图像的基础空间权重图。
在第一帧图像中获取目标位置，可选的，目标的位置数据包括目标边界框左上角的位置、目标边界框的宽度和高度以及目标边界框的中心位置。优选的，在实际图像处理中可以将每一帧图像按照像素划分块，以块为单位确定在图像中的位置以及长度、宽度。比如以4个像素为边长的正方形区域为一个块。
可选的，可以根据以下公式获得图像的基础空间权重图：
Figure 562019DEST_PATH_IMAGE013
；
其中，wSR(i,j)表示图像位置(i,j)的权重值，i∈{1,…,M}，j∈{1,…,N}，a、b分别表示两个预定义的系数，w、h分别表示目标边界框的宽度、高度。M、N分别表示图像的宽度、高度，如果先从图像分割出包含目标的候选区域，使用滤波器在图像候选区域内获取目标位置，那么M、N分别表示图像候选区域的宽度、高度。根据上述公式可得到图像对应的一个二维二次的正则化权重图。
S21：根据首帧图像的目标位置对首帧图像进行显著性检测，得到首帧图像的显著性图。
可以在图像中以目标边界框的中心为中心，以目标边界框扩大k倍的区域，选取该区域为显著性检测区域，对区域内进行显著性检测。相应得到显著性图S。k大于1。请参考图3，图3为本实施例中获得滤波器初始化的空间权重图的示意图，通过对样本图像x1进行显著性检测得到对应的显著性图S1。
S22：根据首帧图像的基础空间权重图和显著性图，得到滤波器初始化的空间权重图。
根据首帧图像的显著性图S和基础空间权重图wSR得到初始化的空间权重图，如图3所示，具体可以将显著性图S和基础空间权重图wSR相乘，表示为
Figure 593298DEST_PATH_IMAGE014
。
另外，根据第一帧图像训练滤波器还包括以下过程，包括步骤：
S30：对首帧图像的每一位置建立标签。具体可根据以下公式获得每一位置的标签：
Figure 699794DEST_PATH_IMAGE015
；
其中，y(m,n)表示图像位置(m,n)对应的标签，m∈{0,1,…,M-1}，n∈{0,1,…,N-1}，M、N分别表示图像的宽度、高度。其中y(m,n)满足高斯分布。如果使用滤波器在图像候选区域内获取目标位置，那么M、N分别表示图像候选区域的宽度、高度。
参数σ可根据以下公式计算：
Figure 567256DEST_PATH_IMAGE016
，cell_size表示
块的边长，w、h分别表示目标边界框的宽度、高度，σ表示输出因子，等式右边的σ表示前一步计算得到的σ。比如σ取值可以是1/16。
S31：对首帧图像的标签函数做傅里叶变换。可表示为：yf=fft2y。
进一步，对第一帧图像提取特征得到特征图，进而使用特征图以及初始化的空间权重图训练滤波器。请参考图4，图4为本实施例中对首帧图像提取特征的方法流程图，具体包括以下步骤：
S40：根据首帧图像的目标位置在首帧图像中采集目标正样本，并对目标正样本循环移位得到各个合成样本。
本方法对图像的每一通道分别训练滤波器，相应的，对图像提取特征时先对图像预处理，得到图像的各个通道图像，对各个通道图像分别提取特征来训练滤波器。若本实施例方法在图像处理中将每一帧图像按照像素划分块，相应对图像的各个通道图像也以相同尺寸划分块。
在实际应用中可以根据图像的目标位置，在图像的候选区域内采集目标正样本。另外优选的，由于合成样本是通过循环移位得到的，因此当目标中心移位到边界附近容易产生边界效应，针对此可以使用余弦窗口对图像进行平滑边界处理，从而抑制产生的边界效应。
S41：对合成样本提取预设数量种尺度的梯度特征得到梯度特征图，以及对合成样本提取深度特征得到深度特征图。
可以根据金字塔思想对合成样本进行预设数量种尺度的缩放，对样本宽度和高度的尺度缩放公式表示为：anw×anh，其中
Figure 902553DEST_PATH_IMAGE017
，s表示预设数量，a表示预定义的数值，w、h分别表示样本的宽度和高度。示例性的，a的取值可以为1.02。s取5会得到5个不同尺度的样本。
进一步可以使用插值方法对各个不同尺度的样本设置为统一大小，进而对样本提取梯度特征（HOG特征）。具体可使用双线性插值方法将不同尺度样本设置为统一大小。
可以使用预先训练好的网络模型对样本提取深度特征。在一具体实例中使用预先训练好的VGG-16网络模型对样本的Norm1深度特征提取，使用VGG-M网络模型对样本的Conv4-3深度特征进行提取。以下表1为本具体实例使用的VGG-16网络模型的网络结构，表2为本具体实例使用的VGG-M网络模型的网络结构。
表1
Figure 539071DEST_PATH_IMAGE018
表2
Figure 331315DEST_PATH_IMAGE019
S42：将合成样本的梯度特征图和深度特征图融合得到融合特征图。进而可以使用样本的融合特征图训练滤波器。
优选的，可以将特征图的大小统一按照最大特征图的尺寸分配，以便于后续的特征融合以及对应的响应融合，比如对于尺寸较大的目标，其特征占比可以为(HOG：Norm1：Conv4-3)=1：1：1，尺寸较小的目标特征占比可为(HOG：Norm1：Conv4-3)=0.1：0.5：0.5。
对于视频的图像序列各帧图像，在各帧图像中跟踪目标的过程包括以下步骤：
S10：对当前帧图像提取特征得到特征图。
具体可通过以下过程对当前帧图像提取特征：对当前帧图像提取预设数量种尺度的梯度特征得到梯度特征图，以及对当前帧图像提取深度特征得到深度特征图，并将所述梯度特征图和所述深度特征图融合得到融合特征图。
可以根据金字塔思想对图像中目标进行预设数量种尺度的缩放，进而对图像提取梯度特征（HOG特征）。比如对图像中目标进行5个不同尺度缩放，分别为前一帧图像目标的尺度，以及比前一帧尺度大的2个尺度和小的2个尺度。
优选的，可以使用第一网络模型对当前帧图像提取深度特征得到第一深度特征图，使用第二网络模型对当前帧图像提取深度特征得到第二深度特征图，并将所述梯度特征图、所述第一深度特征图和所述第二深度特征图融合得到融合特征图。本方法使用多种网络模型分别对图像提取深度特征，将多种网络模型提取的深度特征融合，以用于预测图像的目标位置，能够有效地提高跟踪的精度和速度。
可选的，在其它实施例中还可以使用三种或者其它数量种不同的网络模型分别对图像提取深度特征以及将得到的各种深度特征融合，也在本发明保护范围内。示例性的，可以使用预先训练好的VGG-16网络模型对样本的Norm1深度特征提取，使用VGG-M网络模型对样本的Conv4-3深度特征进行提取，而后可以将梯度特征图以及两种深度特征融合。 S11：以当前的滤波器对所述特征图处理，获得反映当前帧图像的目标位置的第一响应图。
优选的，分别建立第一滤波器用于预测目标位置，建立第二滤波器用于预测目标的尺度。具体的，以当前的第一滤波器对融合特征图处理，获得当前帧图像的目标位置，以当前的第二滤波器对所述梯度特征图处理，获得当前帧图像中目标的尺度。请参考图5，图5为本实施例中使用滤波器对图像处理以跟踪目标的示意图。
以当前的第一滤波器对融合特征图处理得到对应的响应图，根据响应图中最大响应值的位置确定图像的目标位置。在响应图中寻找最
大响应值表示为：
Figure 420494DEST_PATH_IMAGE020
，其中c(m,n)表示图像位置(m,n)的响应值。
以当前的第二滤波器对梯度特征图处理得到对应的响应图，根据最大响应值确定图像中目标的尺度。
S12：根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征，以及对当前帧图像进行显著性检测得到显著性图，根据得到的目标轮廓特征以及显著性图，获得第二响应图。
具体的，可将得到的目标轮廓特征和得到的显著性图相乘，得到第二响应图。优选的，为了减少非目标轮廓的干扰，可根据第一响应图确定的目标位置，从当前帧图像中由该目标位置确定的目标区域内提取目标的轮廓特征。如果先从图像分割出包含目标的候选区域即感兴趣区域，使用滤波器在图像候选区域内获取目标位置，那么可以根据第一响应图确定的目标位置，仅在由该目标位置确定的目标区域内提取目标的轮廓特征，对感兴趣区域的其它区域用零填充。同时，在感兴趣区域内进行显著性检测，得到显著性图。
可选的，可将得到的目标轮廓特征与显著性图进行点积操作，得到第二响应图。具体可根据以下公式获得第二响应图：
Figure 74329DEST_PATH_IMAGE021
；
其中，Bp表示一个边界框，它是通过将目标的边界框移到像素p的中心而得到的，|Bp|表示Bp内的像素数量，rt(p)表示第t帧图像感兴趣区域的像素p，fcon()表示提取目标的轮廓特征的操作，Ssal()表示进行显著性检测的操作。
S13：根据所述第一响应图和所述第二响应图，获得当前帧图像的目标位置。
可选的，具体可根据以下公式得到最终的响应图，表示为：
Figure 316086DEST_PATH_IMAGE022
；
其中，c1表示第一响应图，c2表示第二响应图，C1、C2分别表示系数。示例性的，C1可取1/2，C2可取1/2。
进而可以根据最终的响应图c，确定出当前帧图像的目标位置。
在实际应用中，目标会或多或少地发生形变，当目标的长宽比变化时，一些背景像素可能被错误地引入目标的边界框中，参与滤波训练，从而破坏跟踪模型。针对此，本目标跟踪方法通过将显著性特征作为约束引入原始的基于相关滤波的跟踪器中，使用显著性检测方法、多层元胞自动机(MCA)，来实现对目标形状和大小的精确检测。以及通过将轮廓特征作为约束引入原始的基于相关滤波的跟踪器中。目标轮廓和背景轮廓通常包含在一些跟踪边界框中。如果一个跟踪边界框完美地包围了目标，那么这个边界框内的轮廓像素的数量通常比包围背景或部分目标的其他包围框中的轮廓像素的数量大。因此本目标跟踪方法利用目标的轮廓特征生成轮廓响应图，来进行跟踪目标，能够提高对目标跟踪的精确性。
S14：根据当前帧图像的目标位置以及对当前帧图像中目标进行显著性检测得到的显著性图，更新所述滤波器的空间权重图，以及根据预设目标函数更新所述滤波器。
所述预设目标函数包括对空间权重图的正则化约束。该目标函数中范数对空间权重图的正则化约束可表示为：
Figure 764385DEST_PATH_IMAGE023
。其中，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 606439DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数。
可建立能量函数，根据能量函数求解获得滤波器新的空间权重图，可选的，能量函数包括第一部分
Figure 47653DEST_PATH_IMAGE024
，其中，S(i,j)表示图像位置(i,j)的显著性值，Ωfore、Ωback分别表示目标（前景）区域和背景区域，μfore、μback分别表示前一帧图像显著性图的目标区域的均值和前一帧图像显著性图的背景区域的均值，所述能量函数还包括第二部分
Figure 393184DEST_PATH_IMAGE025
，其中，wSR表示前一帧图像未纳入显著性信息的基础空间权重图，wSR´=MwE+mwE-wSR，Mw、mw分别表示wSR的最大值和最小值，E表示单位矩阵。所述能量函数的第一部分为当前帧图像的显著性检测部分，能量函数的第二部分是通过求解前一帧图像的反映目标跟踪结果的响应图来控制ρ的取值，实现对空间权重的求解。
进一步具体的，建立的能量函数具体可表示为：
Figure 28696DEST_PATH_IMAGE026
；
其中ρ的取值范围为{0,1}。
根据能量函数求解出新的空间权重图，求解得到新的空间权重图表示为：
Figure 826888DEST_PATH_IMAGE027
；
其中，
Figure 556946DEST_PATH_IMAGE028
表示对
Figure 756983DEST_PATH_IMAGE029
求偏导数，
Figure 61932DEST_PATH_IMAGE029
是一个赫维赛德阶跃函数，
表示形式为
Figure 347420DEST_PATH_IMAGE030
。
其中，目标（前景）区域和背景区域按照如下定义：
Figure 881169DEST_PATH_IMAGE031
，
Figure 952024DEST_PATH_IMAGE032
；
其中，ζ表示阈值，σ表示预定义的参数。示例性的ζ可设为3.1，σ可设为0.01。
对预设目标函数优化求解，得到的滤波器表示为：
Figure 913027DEST_PATH_IMAGE033
；
其中，h表示滤波器，F表示T×T大小的正交傅里叶变换矩阵，γ表示预定义的参数，
Figure 685811DEST_PATH_IMAGE011
表示s在傅里叶域中的表示。
Figure 6940DEST_PATH_IMAGE012
表示引入的辅助变量，令
Figure 447149DEST_PATH_IMAGE034
，其中F表示正交的T×T矩阵，它将T维矢量化信号映射到傅里叶域。B表示D×T二进制矩阵，它是一个背景剪裁矩阵，hd表示对应图像第d通道的滤波器。
可选的，可根据对当前帧图像处理得到的最终响应图c，获得用于衡量跟踪结果可靠性的评价指标得分，根据响应图的最大响应值以及评价指标得分的取值情况，确定ρ的取值。进而根据建立的能量函数求解获得滤波器新的空间权重图，进而更新滤波器。
可选的，用于衡量跟踪结果可靠性的评价指标可以是平均峰相关能（APCE）。具体可根据以下公式计算：
Figure 579053DEST_PATH_IMAGE035
；
其中，cmax、cmin分别表示响应图的最大响应值和最小响应值，cw,h表示响应图第w行第h列像素对应的响应值。APCE得分越高表示跟踪结果越可靠，反之，APCE得分越低表示跟踪结果越不可靠。
进一步具体的，ρ的取值可根据以下过程确定：若
Figure 589865DEST_PATH_IMAGE036
且
Figure 465417DEST_PATH_IMAGE037
，则ρ取1，否则ρ取0，其中
Figure 760132DEST_PATH_IMAGE038
表示当前帧之前各帧图像对应的响应图最大响应值的平均值，
Figure 312205DEST_PATH_IMAGE039
表示当前帧之前各帧图
像对应的评价指标得分平均值，τ1、τ2分别表示预定义的系数。
进一步优选的，更新滤波器使用的预设目标函数还包括对背景区域信息的约束，所述预设目标函数的岭回归项加入对背景区域信息的约束。使得本目标跟踪方法实现基于背景感知的目标跟踪，能够很好应对视频图像中光照变化、背景杂乱等各类具有挑战性的干扰因素，能够提高目标跟踪的鲁棒性和准确性。
预设目标函数可具体表示为：
Figure 59581DEST_PATH_IMAGE040
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d
通道的滤波器，
Figure 738824DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 638778DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数。
矩阵B是一个
Figure 112485DEST_PATH_IMAGE041
D×T的二值矩阵，B矩阵的中间部分是D个1，其余部分为0，将B左乘
Figure 799687DEST_PATH_IMAGE042
，用于把样本的中间部分也就是目标部分的内容提取出来。
其中使用裁剪算子从当前帧图像裁剪出目标区域信息，裁剪算子根据前一帧图像预测出的目标位置确定，裁剪算子可以是以前一帧图像预测出的目标边界框中心为中心以预设比例进行裁剪。使用裁剪算子对每一个移位图像的中心区域进行裁剪，被裁剪块的大小与目标或者滤波器的大小相同。在上述目标函数中使用矩阵B作为裁剪算子。
对预设目标函数的优化求解过程为：引入一个辅助变量
Figure 17042DEST_PATH_IMAGE012
，令
Figure 270038DEST_PATH_IMAGE043
，d=1,2,…,D。将预设目标函数转换到傅里叶域：
Figure 649066DEST_PATH_IMAGE044
；
采用交替方向乘子法（ADMM）使上述方程最小化，得到最优局部解。增广拉格朗日形式可以表示为：
Figure 652926DEST_PATH_IMAGE045
；
其中，
Figure 408392DEST_PATH_IMAGE046
表示傅里叶变换中的拉格朗日乘子, γ表示步长正则化参数。令
Figure 266627DEST_PATH_IMAGE047
，得到：
Figure 347715DEST_PATH_IMAGE048
。
相应的，求解得到加入背景信息后的滤波器（即
Figure 439472DEST_PATH_IMAGE049
）的解，表示为：
Figure 998629DEST_PATH_IMAGE050
。
其中，
Figure 976949DEST_PATH_IMAGE005
表示标签y在傅里叶域中的表示，X表示图像第d通道特征图xd的总和，
Figure 212627DEST_PATH_IMAGE006
表示X在傅里叶域中的表示，γ表示预定义的参数，h表示滤波器。
Figure 440346DEST_PATH_IMAGE051
表示引入的辅助变量，令
Figure 553927DEST_PATH_IMAGE043
，其中F表示正交的T×T矩阵，它将T维矢量化信号映射到傅里叶域。B表示D×T二进制矩阵，它是一个背景剪裁矩阵，hd表示对应图像第d通道的滤波器。
根据上式得到每个通道的滤波器。得到更新后的滤波器，可以使用更新后的滤波器对下一帧图像预测目标位置。
本实施例的目标跟踪方法，从图像获取目标位置所使用的滤波器的空间权重图根据图像的目标位置以及图像中目标的显著性图获得，并根据每一帧图像的显著性图更新滤波器的空间权重图并更新滤波器，利用显著性图将目标的变化信息纳入滤波器的空间权重图来更新滤波器。并且，在更新滤波器的目标函数岭回归项加入背景区域信息。使得本目标跟踪方法实现基于背景感知的目标跟踪，从而实现基于显著性感知和背景感知的目标跟踪方法，能够很好应对视频图像中出现的尺度变化、快速运动、目标遮挡、光照变化、背景杂乱等各类具有挑战性的干扰因素，能够提高目标跟踪的鲁棒性和准确性。
进一步优选的，更新滤波器使用的预设目标函数还加入了关于时间的正则化惩罚项，具体的预设目标函数可表示为：
Figure 386754DEST_PATH_IMAGE052
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 544066DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 39507DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数，
Figure 691199DEST_PATH_IMAGE008
表示第t帧图像第d通道的滤波器，
Figure 112953DEST_PATH_IMAGE009
表示第t-1帧图像第d通道的滤波器，τ表示正则项的参数。
相应的，根据所述预设目标函数求解得到的滤波器表示为：
Figure 706746DEST_PATH_IMAGE053
；
其中，h表示滤波器，F表示正交的T×T矩阵，γ表示预定义的参数，
Figure 158324DEST_PATH_IMAGE011
表示s在傅里叶域中的表示，
Figure 862975DEST_PATH_IMAGE012
表示引入的辅助变量。
本实施例的目标跟踪方法，更新滤波器使用的预设目标函数还加入了关于时间的正则化惩罚项，引入了时间信息，能够有效地把握前一帧对应的滤波器与当前帧滤波器的关系，防止畸变，能够提高目标跟踪的鲁棒性和准确性。
相应的，本发明实施例还提供一种目标跟踪系统，用于执行以上所述的目标跟踪方法。
本实施例的目标跟踪系统，从图像获取目标位置所使用的滤波器的空间权重图根据图像的目标位置以及图像中目标的显著性图获得，并根据每一帧图像的显著性图更新滤波器的空间权重图并更新滤波器，利用显著性图将目标的变化信息纳入滤波器的空间权重图来更新滤波器，并且在更新滤波器的目标函数加入对背景区域信息的约束，从而实现基于显著性感知和背景感知的目标跟踪方法，并且将目标的轮廓特征以及显著性特征作为约束来跟踪目标位置，能够提高目标跟踪的鲁棒性和准确性。
以上对本发明所提供的一种目标跟踪方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
对当前帧图像提取特征得到特征图；
以当前的滤波器对所述特征图处理，获得反映当前帧图像的目标位置的第一响应图，所述滤波器使用的空间权重图根据图像中目标位置以及对图像中目标进行显著性检测得到的显著性图获得；
根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征，以及对当前帧图像进行显著性检测得到显著性图，根据得到的目标轮廓特征以及显著性图，获得第二响应图；
根据所述第一响应图和所述第二响应图，获得当前帧图像的目标位置；
根据当前帧图像的目标位置以及对当前帧图像中目标进行显著性检测得到的显著性图，更新所述滤波器的空间权重图，以及根据预设目标函数更新所述滤波器，所述预设目标函数包括对空间权重图的正则化约束，以及所述预设目标函数的岭回归项加入对背景区域信息的约束，其中根据前一帧图像的目标位置从当前帧图像获取背景区域信息。
2.根据权利要求1所述的目标跟踪方法，其特征在于，对当前帧图像提取特征得到特征图包括：
对当前帧图像提取预设数量种尺度的梯度特征得到梯度特征图，以及对当前帧图像提取深度特征得到深度特征图，并将所述梯度特征图和所述深度特征图融合得到融合特征图；
以当前的滤波器对所述特征图处理，获得当前帧图像的目标位置包括：以当前的第一滤波器对所述融合特征图处理，获得当前帧图像的目标位置，以当前的第二滤波器对所述梯度特征图处理，获得当前帧图像中目标的尺度。
3.根据权利要求2所述的目标跟踪方法，其特征在于，具体包括：使用第一网络模型对当前帧图像提取深度特征得到第一深度特征图，使用第二网络模型对当前帧图像提取深度特征得到第二深度特征图，并将所述梯度特征图、所述第一深度特征图和所述第二深度特征图融合得到融合特征图。
4.根据权利要求1所述的目标跟踪方法，其特征在于，获得所述滤波器的空间权重图包括：
根据图像的目标位置获得该帧图像的基础空间权重图；
根据该帧图像的目标位置对该帧图像进行显著性检测，得到该帧图像的显著性图；
根据该帧图像的基础空间权重图和显著性图，得到所述滤波器的空间权重图。
5.根据权利要求1所述的目标跟踪方法，其特征在于，根据第一响应图确定的目标位置，从当前帧图像提取目标的轮廓特征包括：根据第一响应图确定的目标位置，从当前帧图像中由该目标位置确定的目标区域内提取目标的轮廓特征。
6.根据权利要求1-5任一项所述的目标跟踪方法，其特征在于，所述预设目标函数表示为：
Figure 711771DEST_PATH_IMAGE001
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 715499DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 632812DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数。
7.根据权利要求6所述的目标跟踪方法，其特征在于，根据所述预设目标函数求解得到的滤波器表示为：
Figure 89201DEST_PATH_IMAGE004
；
其中，
Figure 844667DEST_PATH_IMAGE005
表示标签y在傅里叶域中的表示，X表示图像第d通道特征图xd的总和，
Figure 437323DEST_PATH_IMAGE006
表示X在傅里叶域中的表示，γ表示预定义的参数，h表示滤波器，F表示正交的T×T矩阵。
8.根据权利要求1所述的目标跟踪方法，其特征在于，所述预设目标函数表示为：
Figure 3564DEST_PATH_IMAGE007
；
其中，j表示第j帧图像，t表示共包括t帧图像，y(j)表示图像信息，d表示图像的第d通道，D表示图像的通道数量，hd表示第d通道的滤波器，
Figure 947250DEST_PATH_IMAGE002
表示位移因子，xd表示图像第d通道的特征图，B表示D×T的裁剪矩阵，
Figure 771986DEST_PATH_IMAGE003
表示空间权重图，λ表示正则项的超参数，
Figure 484727DEST_PATH_IMAGE008
表示第t帧图像第d通道的滤波器，
Figure 454826DEST_PATH_IMAGE009
表示第t-1帧图像第d通道的滤波器，τ表示正则项的参数。
9.根据权利要求8所述的目标跟踪方法，其特征在于，根据所述预设目标函数求解得到的滤波器表示为：
Figure 885808DEST_PATH_IMAGE010
；
其中，h表示滤波器，F表示正交的T×T矩阵，γ表示预定义的参数，
Figure 983077DEST_PATH_IMAGE011
表示s在傅里叶域中的表示，
Figure 815903DEST_PATH_IMAGE012
表示引入的辅助变量。
10.一种目标跟踪系统，其特征在于，用于执行权利要求1-9任一项所述的目标跟踪方法。
CN202110262401.4A 2021-03-10 2021-03-10 一种目标跟踪方法及系统 Active CN112686929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110262401.4A CN112686929B (zh) 2021-03-10 2021-03-10 一种目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110262401.4A CN112686929B (zh) 2021-03-10 2021-03-10 一种目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN112686929A true CN112686929A (zh) 2021-04-20
CN112686929B CN112686929B (zh) 2021-06-25

Family

ID=75458333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110262401.4A Active CN112686929B (zh) 2021-03-10 2021-03-10 一种目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN112686929B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327272A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于相关滤波的鲁棒性长时跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
US20180260962A1 (en) * 2014-07-09 2018-09-13 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN109859246A (zh) * 2019-02-15 2019-06-07 哈尔滨工程大学 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法
CN111080675A (zh) * 2019-12-20 2020-04-28 电子科技大学 一种基于时空约束相关滤波的目标跟踪方法
CN111340838A (zh) * 2020-02-24 2020-06-26 长沙理工大学 一种基于多种特征融合的背景时空相关滤波跟踪方法
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
CN111968156A (zh) * 2020-07-28 2020-11-20 国网福建省电力有限公司 一种自适应超特征融合的视觉跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260962A1 (en) * 2014-07-09 2018-09-13 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN109859246A (zh) * 2019-02-15 2019-06-07 哈尔滨工程大学 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法
CN111080675A (zh) * 2019-12-20 2020-04-28 电子科技大学 一种基于时空约束相关滤波的目标跟踪方法
CN111340838A (zh) * 2020-02-24 2020-06-26 长沙理工大学 一种基于多种特征融合的背景时空相关滤波跟踪方法
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
CN111968156A (zh) * 2020-07-28 2020-11-20 国网福建省电力有限公司 一种自适应超特征融合的视觉跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANMING ZHANG ET AL.: "Dual Model Learning Combined With Multiple Feature Selection for Accurate Visual Tracking", 《DIGITAL OBJECT IDENTIFIER》 *
JIANMING ZHANG ET AL: "Spatially Attentive Visual Tracking Using Multi-Model Adaptive Response Fusion", 《DIGITAL OBJECT IDENTIFIER》 *
WEI FENG ET AL.: "Dynamic Saliency-Aware Regularization for Correlation Filter-Based Object Tracking", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327272A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于相关滤波的鲁棒性长时跟踪方法

Also Published As

Publication number Publication date
CN112686929B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110033003B (zh) 图像分割方法和图像处理装置
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
TWI766175B (zh) 單目圖像深度估計方法、設備及儲存介質
US10825187B2 (en) Method and system for object tracking
US9607228B2 (en) Parts based object tracking method and apparatus
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
JP2023509953A (ja) ターゲット追跡方法、装置、電子機器及び記憶媒体
CN110889464B (zh) 检测目标对象的神经网络训练、目标对象的检测方法及装置
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
Im et al. Unsupervised learning of optical flow with deep feature similarity
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN109300151B (zh) 图像处理方法和装置、电子设备
CN112257605A (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN116783620A (zh) 根据点云的高效三维对象检测
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN110706253B (zh) 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN112686929B (zh) 一种目标跟踪方法及系统
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN110751670B (zh) 一种基于融合的目标跟踪方法
Yao et al. Mask guided GAN for density estimation and crowd counting
CN110827327A (zh) 一种基于融合的长期目标跟踪方法
CN109492530B (zh) 基于深度多尺度时空特征的健壮性视觉物体跟踪方法
CN117011381A (zh) 基于深度学习和立体视觉的实时手术器械位姿估计方法与系统
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant