CN110705334A

CN110705334A - 目标追踪方法、装置、设备和介质

Info

Publication number: CN110705334A
Application number: CN201810747268.XA
Authority: CN
Inventors: 孙卓金
Original assignee: Yuneec Shanghai Electronic Technology Co Ltd
Current assignee: Yuneec Shanghai Electronic Technology Co Ltd
Priority date: 2018-07-09
Filing date: 2018-07-09
Publication date: 2020-01-17

Abstract

本发明公开了目标追踪方法、装置、设备和介质。该方法包括：从包含待追踪目标的视频流中选取当前帧图像，并确定当前帧图像中的目标候选区域；提取当前帧图像中的目标候选区域的图像特征；根据图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算当前帧图像的响应矩阵，其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的；在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域。根据本发明实施例提供的目标追踪方法、装置、设备和介质，目标跟踪精度高。

Description

目标追踪方法、装置、设备和介质

技术领域

本发明涉及计算机视觉研究领域，尤其涉及目标追踪方法、装置、设备和介质。

背景技术

目标跟踪技术是计算机视觉研究领域中的重要课题之一。目标跟踪是指：在给定第一帧图像中目标的状态信息(如目标的位置和目标的尺度)的条件下，能够在后续的连续的帧中自动估计目标物体的状态信息。

近年来，相关滤波技术开始逐步应用于目标追踪技术。传统的基于相关滤波器的目标跟踪方法是在当前帧图像中，以目标的图像区域为正样本，目标图像循环位移作为负样本训练一个相关滤波器。传统的基于相关滤波器的目标跟踪方法在相关滤波器的训练过程中训练效率高，相对于其他目标跟踪方法计算量较小，在实时性上具有较大的优势。但是该方法中的所有负样本都不是真实的负样本，而是由正样本循环位移而来。同时，在连续图像帧中，可能存在特征与目标特征较为相近的假目标，且目标产生变形或被遮挡的情况。此时，传统的基于相关滤波器的目标跟踪方法存在着将假目标误认为目标的可能性，极易跟踪失败。

发明内容

本发明实施例提供的目标追踪方法、装置、设备和介质，目标跟踪精度高。

本发明一实施例提供了一种目标追踪方法，包括：

从包含待追踪目标的视频流中选取当前帧图像，并确定当前帧图像中的目标候选区域；

提取当前帧图像中的目标候选区域的图像特征；

根据图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算当前帧图像的响应矩阵，其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，假目标区域是根据前一帧图像中的假目标响应值确定的，假目标响应值是从前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的；

在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域。

在一种可能的实施方式中，确定当前帧图像中的目标候选区域，包括：

将获取的前一帧图像的目标区域的位置信息作为当前帧图像的目标区域的位置信息；

根据当前帧图像的目标区域的位置信息，在当前帧图像中确定初始目标区域；

基于初始目标区域，在当前帧图像中确定当前帧图像的目标候选区域，其中，目标候选区域包含初始目标区域。

在一种可能的实施方式中，根据图像特征和以前一帧图像的假目标区域作为负样本所训练的当前帧图像的相关滤波器，计算当前帧图像的响应矩阵，包括：

利用所述当前帧图像的目标模型，训练当前帧图像的相关滤波器；

将图像特征代入当前帧图像的相关滤波器，计当前帧图像的响应矩阵。

在一种可能的实施方式中，在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域之后，还包括：

基于前一帧图像的目标区域确定前一帧图像的目标训练区域；

将前一帧图像的目标训练区域的外缘区域替换为前一帧图像的假目标区域；

基于替换后的前一帧图像的目标训练区域和前一帧图像的目标模型，计算当前帧图像的目标模型。

在一种可能的实施方式中，在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域，包括：

将当前帧图像的响应矩阵划分为多个子响应矩阵；

分别在每个子响应矩阵中筛选出子响应矩阵的最大响应值，并将子响应矩阵的最大响应值作为候选响应值，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应；

将响应值最大的候选响应值作为目标响应值，将目标响应值对应的像素点的位置信息作为目标的位置信息，并根据目标的位置信息确定当前帧图像的目标区域。

在一种可能的实施方式中，将响应值最大的候选响应值作为目标响应值，将目标响应值对应的像素点的位置信息作为目标的位置信息，并根据目标的位置信息确定当前帧图像的目标区域之后，还包括：

在候选响应值中除目标响应值之外的其他候选响应值中选取当前帧图像中的假目标响应值，并将被选取的假目标响应值对应的像素点的位置信息作为候选假目标的位置信息，并基于候选假目标的位置信息确定当前帧图像的假目标区域。

将当前帧图像的响应矩阵中的最大响应值对应的当前帧图像的目标候选区域的像素点的位置信息作为目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应；

基于多个候选目标尺度因子、当前帧图像的目标尺度和目标的位置信息，在当前帧图像中确定多个候选目标区域，并分别提取每个候选目标区域的图像特征；

在提取每个候选目标区域的图像特征后，将候选目标区域的图像特征代入当前帧图像的相关滤波器，得到候选目标区域的响应矩阵，并获取响应矩阵中的最大响应值，并将响应矩阵中的最大响应值作为待选取响应值；

将响应值最大的待选取响应值作为最优响应值，并将最优响应值对应的候选目标区域的尺度作为当前帧图像的目标区域的尺度；

根据目标的位置信息和当前帧图像的目标区域的尺度，确定当前帧图像的目标区域。

在一种可能的实施方式中在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于被选取的假目标响应值确定当前帧图像的假目标区域，包括：

获取目标区域的尺度，并将目标区域的尺度作为假目标区域的尺度；

在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值，并基于当前帧图像中的假目标响应值对应的像素点的位置信息，获取假目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应；

根据假目标区域的尺度和假目标的位置信息，确定当前帧图像的假目标区域。

在一种可能的实施方式中，在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于被选取的假目标响应值确定当前帧图像的假目标区域，包括：

在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值；

根据当前帧图像中的假目标响应值，确定当前帧图像中的候选假目标区域；

计算候选假目标区域与目标区域的重合度；

若候选假目标区域与目标区域的重合度不大于预先设定的重合度阈值，确定候选假目标区域为当前帧图像的假目标区域。

在当前帧图像中的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值；

将选取的假目标响应值和当前帧图像之前的多帧图像中的假目标响应值按照从大到小的顺序排序；

基于排序结果依次挑选多个假目标响应值，并基于多个假目标响应值确定当前帧图像的假目标区域。

本发明另一实施例提供了一种目标追踪装置，包括：

第一确定模块，用于从包含待追踪目标的视频流中选取当前帧图像，并确定当前帧图像中的目标候选区域；

提取模块，用于提取当前帧图像中的目标候选区域的图像特征；

计算模块，根据图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算当前帧图像的响应矩阵，其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，假目标区域是根据前一帧图像中的假目标响应值确定的，假目标响应值是从前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的；

第二确定模块，用于在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域。

在一种可能的实施方式中，第一确定模块，具体用于：

基于初始目标区域，在当前帧图像中确定当前帧图像的目标候选区域，其中，目标候选区域包括初始目标区域。

本发明再一实施例提供了一种目标追踪设备，包括：

存储器，用于存储程序；

处理器，用于运行存储器中存储的程序，以执行本发明一实施例提供的目标追踪方法。

本发明又一实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本发明一实施例提供的目标追踪方法。

根据本发明实施例中的目标追踪方法、装置、设备和介质，在目标追踪的过程中，基于当前帧图像的目标模型训练当前帧图像的相关滤波器，当前帧图像的目标模型是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，且前一帧图像的假目标区域可作为训练当前帧图像的相关滤波器的负样本。其中，前一帧图像的假目标区域包括前一帧图像的假目标，前一帧图像的假目标是与前一帧图像的目标较为相似的一个点或者一个区域。利用当前帧图像的目标模型训练当前帧图像的相关滤波器，就可以排除假目标区域对目标追踪的影响，目标跟踪精度高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出根据本发明一实施例的目标追踪方法的流程图；

图2是示出了本发明一实施例中的确定初始目标候选区域的示意图；

图3是示出了本发明一实施例中的选取候选响应值的示意图；

图4是示出了本发明一实施例中的确定假目标区域的示意图；

图5是示出本发明另一实施例提供的目标追踪方法的流程图；

图6是根据本发明一实施例的基于相关滤波器的目标追踪装置的结构示意图；

图7是示出了可以实现根据本发明实施例的目标追踪方法和装置的目标追踪设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供了一种目标追踪方法、装置、设备和介质，可应用于目标跟踪技术。目标跟踪技术在军事方面和民用方面都具有广泛的应用，例如，在军事方面，目标跟踪技术可用于无人飞行器、精确制导、空中预警、战场监视等；在民用方面，目标跟踪技术可用于智能机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等。

在目标追踪过程中，追踪目标可能是非静态时，追踪目标的运动状态会对追踪精度造成影响。例如，追踪目标相对于摄像头，可能随时会有一定角度的偏转。此时，在采集的图像帧中，追踪目标会产生一定的形变。又如，追踪目标与摄像头之间的距离不是固定不变的，因此，在不同的图像帧中追踪目标的大小也不同，若追踪目标过小，追踪精度也会受到影响。

同时，在目标追踪过程中，追踪目标的周围环境可能较为复杂，复杂的周围环境可能会对追踪精度造成影响。如果追踪目标和摄像头之间存在别的物体，可能会遮挡追踪目标，进而影响追踪精度。

如果追踪目标的周围环境中还存在着与追踪目标较为相像的假目标时，传统的目标追踪可能会误追踪与追踪目标较为相像的假目标，从而导致追踪失败。尤其是在追踪目标是非静态或周围环境较为复杂的情况下。

因此，需要一种对目标变形及遮挡具有一定鲁棒性、抗假目标干扰能力强、目标跟踪精度高的目标追踪方法。

为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的目标追踪方法、装置、设备和介质，应注意，这些实施例并不用来限制本发明公开的范围。

图1是示出根据本发明实施例的目标追踪方法的示意流程图。如图1所示，本实施例中的目标追踪方法100可以包括以下步骤：

S110，从包含待追踪目标的视频流中选取当前帧图像，并确定当前帧图像中的目标候选区域。

其中，包含待追踪目标的视频流可以是从手机、无人机等采用嵌入式系统的电子产品中获取的，也可以是从摄像头或其他视频终端中获取的。对于包含待追踪目标的视频流的获取方式以及视频终端的种类，本发明实施例不作限制。

包含待追踪目标的视频流可以是由视频采集装置拍摄的一组视频流或多组视频流。其中，每组视频流由多帧图像组成。

在一帧图像中完成目标追踪之后，可将该帧图像的后一帧图像选取为当前帧图像，直到在视频流的所有图像帧中完成目标追踪。

在本发明的一些实施例中，S110中的确定当前帧图像中的目标候选区域，具体可包括S111至S113：

S111，将获取的前一帧图像的目标区域的位置信息作为当前帧图像的目标区域的位置信息。

在本发明的一个实施例中，前一帧图像中的目标区域是指在前一帧图像中恰好能够包含住整个目标的区域。其中，目标区域的位置信息可包括目标区域内的一个参考点的位置信息和表征目标区域大小的几何参数。

在一个实施例中，目标区域的位置信息包括目标的位置信息和用以表征目标区域大小的目标区域的尺度。比如，目标区域的尺度可包括目标区域的长度和目标区域的宽度。

作一个示例，若前一帧图像的目标区域的位置信息包括：前一帧图像的目标的位置信息为(x₀,y₀)，前一帧图像的目标区域的长度为W₀，前一帧图像的目标区域的宽度为H₀。

相应地，当前帧图像的目标区域的位置信息包括：当前帧图像的目标的位置信息为(x₀,y₀)，当前帧图像的目标区域的长度为W₀，当前帧图像的目标区域的宽度为H₀。

S112，根据当前帧图像的目标区域的位置信息，在当前帧图像中确定初始目标区域。

在本发明的一个实施例中，当目标区域的尺度为目标区域的长度和目标区域的宽度时，初始目标区域可以是指以目标为中心，以目标区域的尺度中的目标区域的长度为一个边长的长度，以目标区域的尺度中的目标区域的宽度为另一边长的长度，所确定的一个矩形区域。

作一个示例，若当前帧图像的目标区域的位置信息包括：当前帧图像的目标的位置信息为(x₀,y₀)、当前帧图像的目标区域的长度为W₀和当前帧图像的目标区域的宽度为H₀。

在当前帧图像中，可以以位置坐标为(x₀,y₀)的点为中心，确定一个长度为W₀，宽度为H₀的矩形区域，并将该矩形区域作为当前帧图像的初始目标区域。

为了便于理解，本发明下述实施例中将以位置坐标为(x₀,y₀)的点为中心所确定的一个长度为W₀、宽度为H₀的矩形区域作为初始目标区域，对本发明技术方案中目标追踪方法、装置、设备和介质进行示例说明。

需要说明的是，本发明实施例中的初始目标区域是指在图像中确定的一个区域，目标区域的位置信息是指整个目标区域在图像中的位置信息。本发明实施例中的目标是在图像中选取的一点，目标的位置信息是指该点在图像中的位置坐标。

S113，基于初始目标区域，在当前帧图像中确定当前帧图像的目标候选区域。

其中，目标候选区域包括初始目标区域。

在本发明的一些实施例中，S110中当前帧图像中的目标候选区域可以是一整个当前帧图像。

在本发明的另一些实施例中，在确定初始目标区域之后，可以以初始目标区域为基准，在当前帧图像中截取部分区域，并将截取的区域作为当前帧图像的目标候选区域。其中，该截取的部分区域包含了整个初始目标区域。

在本发明的一个实施例中，可以依据初始目标区域和用以表征初始目标区域放大倍数的候选区域尺度因子在当前帧图像中确定当前帧图像的目标候选区域。

作一个具体的示例，候选区域尺度因子表示为search_scale。此时，在当前帧图像中，可以以位置坐标为(x₀,y₀)的点为中心，确定一个长度为search_scale*W₀、宽度为search_scale*H₀的矩形区域作为目标候选区域，其中search_scale≥1。

比如，search_scale的值可取5。

需要说明的是，可依据目标运动的速度，选择不同大小的候选区域尺度因子，例如，当目标运动速度较慢时，候选区域尺度因子可以取较小的值，相应地，目标候选区域也较小。当目标运动速度较快时，可以取较大的值，相应地，目标候选区域也较大。

在本发明的一个实施例中，若以位置坐标(x₀,y₀)的点为中心确定的目标候选区域的部分区域超出当前帧图像的边界，利用当前帧图像的部分边界上的像素点填补该部分区域内的像素点。其中，当前帧图像的部分边界是指在目标候选区域内的当前帧图像的边界。

通过上述实施例中的方法，利用初始目标区域和候选区域尺度因子，在当前帧图像中选取目标候选区域，其中，目标候选区域包含了目标可能存在的位置。由于目标候选区域只是当前帧图像的部分区域，利用目标候选区域确定目标的位置，可以减小计算量，提高目标追踪的效率。

S120，提取当前帧图像中的目标候选区域的图像特征。

在本发明的一些实施例中，所提取的目标候选区域的图像特征可以是方向梯度直方图(Histogram of Oriented Gradient，HOG)特征。

需要说明的是，本发明实施例中所提取的目标候选区域的图像特征不限于HOG特征，还可以是其他的图像特征，对此不作限制。

其中，为了便于理解，本发明下述实施例中的目标候选区域的图像特征将以HOG特征为例进行具体的说明。

S130，根据当前帧图像中的目标候选区域的图像特征和基于当前帧图像的目标模型所训练的相关滤波器，计算当前帧图像的响应矩阵。

其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域更新得到的，前一帧图像的假目标区域是根据前一帧图像中的假目标响应值确定的。假目标响应值是从前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的。

在本发明的一些实施例中，某一帧图像中的假目标是指与该帧图像中的目标较为相似的一个点或者一个区域。假目标区域是指在当前帧图像中能够包含住整个假目标，且与目标区域大小相同的区域。

其中，某一帧图像中的假目标与该帧图像中的目标的相似度可用该帧图像中的一个或多个参数衡量。比如，该帧图像的衡量参数可包括以下一个或多个：该帧图像的图像特征、该帧图像的目标候选区域的图像特征和该帧图像的响应矩阵。

在本发明的一些实施例中，S130中的根据图像特征和基于当前帧图像的目标模型所训练的相关滤波器，计算当前帧图像的目标候选区域的响应矩阵，具体可包括S131和S132：

S131，利用当前帧图像的目标模型，训练当前帧图像的相关滤波器。

其中，当前帧图像的相关滤波器是由当前帧图像的目标模型训练得到的，而当前帧图像的目标模型是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的。当前帧图像的相关滤波器可以前一帧图像的假目标区域作为负样本，以前一帧图像的目标训练区域作为正样本所训练的。

其中，正样本包含用于识别正确目标的训练数据。负样本包含用于识别错误目标的训练数据。在训练相关滤波器时，依据正样本中的训练数据和负样本中的训练数据可得到可靠的目标模型，进而得到正确的相关滤波器，并可排除错误目标对相关滤波器的影响。

在本发明的一个实施例中，当前帧图像的相关滤波器的复共轭

需要满足公式(1)：

其中，μ为惩罚因子，T为目标候选区域的面积，

为期望响应y的傅里叶变换，

为当前帧图像的目标模型的傅里叶变换，

为频域拉格朗日向量，

为分类器h的傅里叶变换，第一中间变量b满足

第二中间变量

满足

为

的复共轭，第三中间变量

满足

第四中间变量

满足

需要说明的是，在对第一帧图像进行目标跟踪时，

表示目标训练区域的图像特征。

具体地，分类器h的复共轭h^*满足公式(2)：

其中，λ为正则化参数，拉格朗日向量ζ满足

第五中间变量g满足

F表示T维的傅里叶系数，P表示D×T的二值矩阵，D为目标区域的面积，P^T表示P的转置矩阵，为克罗内克积，I_K是K×K的单位矩阵，K为特征通道数，

为第一相关滤波器。

在本发明的一个具体的实施例中，期望响应y可以为二维高斯期望响应y(x,y)，y(x,y)满足

其中，d为点(x,y)距离目标候选区域中心点

的距离，

c为图像特征单元格尺寸(cell size)。

在本发明的一个具体的实施例中，训练当前帧图像的相关滤波器

的步骤具体可包括：

第一步、获取当前帧图像的目标模型

前一帧图像的相关滤波器

和频域拉格朗日向量

和惩罚因子μ。

第二步、利用公式(2)计算分类器h的复共轭h^*和

第三步、将第二步计算得到的代入公式(1)，更新

第四步、基于第二步计算得到的

和更新后的

和第一步获取的更新

其中，

满足

并基于第一步获取的μ，更新μ，其中，μ＝min(beta·μ,μ_max)，其中，beta和μ_max分别可以任取一个定值。

需要注意的是，公式

中，等号左边的为更新后的等号右边的为第一步中获取的

公式μ＝min(beta·μ,μ_max)中，等号左边的μ为更新后的μ，等号右边的μ为第一步中获取的μ。

第五步、重复第一步至第四步多次后，获取更新后的

需要注意的是，

的初始值、

的初始值和的初始值可以设置为零，μ的初始值可以任意设置。

在本发明的一个可选的实施例中，beta的值可取10，μ_max的值可取10000，μ的初始值可取1。

在本发明的一个可选的实施例中，重复第一步至第四步的次数越多，更新后的

的准确度越高。但重复第一步至第四步的次数的增多，会导致计算量及占用资源的增加，从而影响目标追踪的速率。在一个示例中，为了平衡更新后的

的准确度和目标追踪的速率，可设置重复第一步至第四步两次之后，获取更新后的

在本发明的一些实施例中，在对后一帧图像进行目标追踪时，当前帧图像的相关滤波器，可用于训练后一帧图像的相关滤波器。

在本发明的一些实施例中，S130之前，目标追踪方法100还包括，获取当前帧图像的目标模型，当前帧图像的目标模型的获取方式包括下述第一步至第三步：

第一步，基于前一帧图像的目标区域确定前一帧图像的目标训练区域。

在一个实施例中，在确定了前一帧图像的目标区域之后，可以以所确定的目标区域为基准，在前一帧图像中截取部分区域，并将截取的区域作为前一帧图像的目标训练区域。其中，该截取的部分区域包含了整个前一帧图像的目标区域。

作一个示例，可以依据所确定的前一帧图像的目标区域和用以表征该前一帧图像的目标区域的放大倍数的训练区域尺度因子在前一帧图像中确定前一帧图像的目标训练区域。

比如，训练区域尺度因子表示为train_scale。此时，在前一帧图像中，可以以位置坐标为(x_-1,y_-1)的点为中心，确定一个长度为train_scale*W_-1、宽度为train_scale*H_-1的矩形区域作为前一帧图像的目标训练区域，其中，(x_-1,y_-1)表示前一帧图像的目标区域的位置信息，W_-1表示前一帧图像的目标区域的长度，H_-1表示前一帧图像的目标区域的长度，train_scale≥1。

作一个具体的示例，如图2所示，图2中的实心点表示前一帧图像中的目标，图2中的第一阴影区域表示以目标为中心确定的前一帧图像的目标区域，若训练区域尺度因子train_scale为5，则可以在前一帧图像中确定一个宽度为前一帧图像的目标区域的宽度的5倍、长度为前一帧图像的目标区域的长度的5倍的前一帧图像的目标训练区域(如图2中矩形区域M'N'P'Q'所示)。

第二步，将前一帧图像的目标训练区域的外缘区域替换为前一帧图像的假目标区域。

在一些实施例中，将所确定的前一帧图像的目标训练区域的外缘区域替换为前一帧图像的假目标区域。

其中，将该前一帧图像的目标训练区域中的目标区域作为正样本，将该前一帧图像的目标候选区域中除目标区域之外的其他区域作为负样本。

作一个示例，将前一帧图像的目标训练区域的外缘区域(图2中的第二阴影区域)的图像替换为前一帧图像的假目标区域的图像，并将替换后的目标训练区域作为新的前一帧图像的目标训练区域。然后，将前一帧图像的目标训练区域中的目标区域(图2中的第一阴影区域)作为正样本，将前一帧图像的目标训练区域中除目标区域之外的其他区域作为负样本(包括假目标区域和前一帧图像的背景区域)。

其中，前一帧图像的背景区域表示前一帧图像的目标训练区域中除目标区域之外的其他区域(例如图2中第一阴影区域和第二阴影区域之间的非阴影区域)。

第三步，基于替换后的前一帧图像的目标训练区域和前一帧图像的目标模型，得到当前帧图像的目标模型。

在一些实施例中，第三步中计算当前帧图像的目标模型的图像特征的傅里叶变换

的公式(3)为：

是第二步中利用前一帧图像的假目标区域，替换后前一帧图像的目标训练区域的图像特征的傅立叶变换，

为前一帧图像的目标模型的图像特征的傅里叶变换。

其中，lr表示学习速率，满足0<lr<1。比如，在本发明一个可选的实施例中，lr＝0.0138。

在初始化目标模型时，第一帧图像的目标模型的图像特征的傅立叶变换为第一帧图像的目标训练区域的图像特征的傅立叶变换，即

为了方便理解，本发明实施例中用下角标i表示当前帧图像，下角标i-1表示前一帧图像，下角标i+1表示后一帧图像。

S132，将当前帧图像的目标候选区域的图像特征代入当前帧图像的相关滤波器，计算当前帧图像的响应矩阵。

在本发明的一些实施例中，计算当前帧图像的响应矩阵的方法包括：基于当前帧图像的目标候选区域的图像特征的傅里叶变换

和当前帧图像的相关滤波器

计算当前帧图像的傅里叶响应矩阵

其中，傅里叶响应矩阵

满足公式

将的维度扩展为目标矩阵对

求傅里叶变换，得到当前帧图像的响应矩阵R。

具体地，目标矩阵

的维度是由目标候选区域决定的。示例性地，若

为n×m矩阵，目标候选区域的分辨率为N×M。则目标矩阵

为N×M矩阵，其中n、m、N和M皆为正整数。

在本发明的一个实施例中，目标矩阵满足公式(4)至(7)：

S140，在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域。

在本发明的一些实施例中，当前帧图像的响应矩阵中有多个响应值。当前帧图像的目标候选区域包含了多个像素点。其中，当前帧图像对应的多个响应值与当前帧图像的目标候选区域的多个像素点一一对应。

此时，在当前帧图像的响应矩阵中选取最大响应值之后，可以根据该最大响应值在响应矩阵中的位置坐标，可以确定与其对应的像素点。然后，基于该像素点在当前帧图像中的位置坐标，在当前帧图像中确定目标的位置信息。最后，基于目标的位置信息在当前帧图像中确定目标区域。

例如，在确定了目标的位置信息之后，可以以该目标的位置为中心，在当前帧图像中确定一个目标区域，其中，目标区域的大小可以目标区域的尺度表示。

在本发明的一些实施例中，S140包括S141至S143。

S141，将当前帧图像的响应矩阵划分为多个子响应矩阵。

S142，分别在每个子响应矩阵中筛选出子响应矩阵的最大响应值，并将子响应矩阵的最大响应值作为候选响应值。其中当前帧图像的目标候选区域的像素点一一对应。

S143，将响应值最大的候选响应值作为目标响应值，将目标响应值对应的像素点位置信息作为目标的位置信息，并根据目标的位置信息确定当前帧图像的目标区域。

在一个示例中，如图3所示，图3中矩形区域M₁N₁P₁Q₁表示当前帧图像的响应矩阵。将图3中的当前帧图像的响应矩阵分成25个大小相同的子响应矩阵。分别在每个子响应矩阵中确定一个候选响应值(如图3中的25个点A₁至A₂₅)。在确定的25个候选响应值中确定一个最大值(比如图3中的A₁)，将该最大值作为目标响应值。

在一些实施例中，根据目标的位置信息确定当前帧图像的目标区域的具体说明与上述实施例中根据目标的位置信息确定当前帧图像的目标区域的具体说明相同，在此不再赘述。

作一个示例，在确定A₁为目标响应值后，可以依据A₁对应的当前帧图像的目标候选区域的像素点的位置信息，在当前帧图像中确定目标的位置，并以目标的位置为中心，并根据目标区域的尺度在当前帧图像中确定当前帧图像的目标区域。

在本发明的一些实施例中，S140的具体实施方式可包括第一步至第五步：

第一步，将当前帧图像的响应矩阵中的最大响应值对应的当前帧图像的目标候选区域的像素点的位置信息作为目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应。

第二步，基于多个候选目标尺度因子、当前帧图像的目标区域的尺度和目标的位置信息，在当前帧图像中确定多个候选目标区域，并分别提取每个候选目标区域的图像特征。

其中，候选目标尺度因子用以表征对当前帧图像的目标区域的尺度的缩放比例。

在一些示例中，候选目标尺度因子中至少包括一个用以表征当前帧图像的目标区域的尺度的缩小比例的缩小目标尺度因子、用以表征当前帧图像的目标区域的原始尺度的原始目标尺度因子和用以表征当前帧图像的目标区域的尺度的放大比例的放大目标尺度因子。

其中，缩小目标尺度因子为一个小于1的正数，原始目标尺度因子为1，放大目标尺度因子为大于1的正数。

在一个示例中，若有j个缩小目标尺度因子，则第k个缩小目标尺度因子为a^k，其中a为小于1的正数。

若有j个放大目标尺度因子，则第k个缩小目标尺度因子为b^k，其中b为大于1的正数。

其中，k和j都为大于1的正整数，且满足k≤j。

在本发明的一个实施例中，确定候选目标区域的实施方式为：将当前帧图像的目标区域的尺度乘以候选目标尺度因子，得到当前帧图像的候选目标尺度。基于当前帧图像的候选目标尺度和目标的位置信息在当前帧图像中确定候选目标区域。

比如，当前帧图像的目标区域的尺度包括：目标区域的长度W₀和目标区域的宽度H₀。候选目标尺度因子为a、1和b。

此时，当前帧图像的第一候选目标尺度包括：目标区域的长度aW₀和目标区域的宽度aH₀。相应地，第一候选目标尺度对应的候选目标区域为以目标的位置为中心确定的一个长度为aW₀、宽度为aH₀的矩形区域。

当前帧图像的第二候选目标尺度包括：目标区域的长度W₀和目标区域的宽度H₀。相应地，第二候选目标尺度对应的候选目标区域为以目标的位置为中心确定的一个长度为W₀、宽度为H₀的矩形区域。

当前帧图像的第三候选目标尺度包括：目标区域的长度bW₀和目标区域的宽度bH₀。相应地，第三候选目标尺度对应的候选目标区域为以目标的位置为中心确定的一个长度为bW₀、宽度为bH₀的矩形区域。

第三步、在提取每个候选目标区域的图像特征后，将候选目标区域的图像特征代入当前帧图像的相关滤波器，得到候选目标区域的响应矩阵，并获取响应矩阵中的最大响应值，并将响应矩阵中的最大响应值作为待选取响应值。

在一些实施例中，第三步中得到候选目标区域的响应矩阵的方法与S132中计算当前帧图像的响应矩阵的方法相同，在此不再赘述。

第四步、将响应值最大的待选取响应值作为最优响应值，并将最优响应值对应的候选目标区域的尺度作为当前帧图像的目标区域的尺度。

作一个示例，若共有5个候选目标尺度因子(a、b、1、c和e)，5个候选目标尺度因子对应的待选取响应值分别为D_a、D_b、D₁、D_c和D_e。若D_b在D_a、D_b、D₁、D_c和D_e中响应值最大，则D_b为最优响应值。其中，a、b、c和e为正数。比如，0≤a<1，0≤c<1，b>1，e>1。

若候选目标尺度因子b对应的候选目标区域的尺度为：目标区域的长度bW₀和目标区域的宽度bH₀，则第四步中得到的当前帧图像的目标区域的尺度为：目标区域的长度bW₀和目标区域的宽度bH₀。

第五步、根据目标的位置信息和当前帧图像的目标区域的尺度，确定当前帧图像的目标区域。

在一些实施例中，第五步中确定当前帧图像的目标区域与S112中在当前帧图像中确定初始目标区域的方法相同，在此不再赘述。

通过多个候选目标尺度因子、当前帧图像的目标区域的尺度，重新确定当前帧图像的目标区域的尺度，进而重新确定当前帧图像的目标区域。在目标追踪的过程中，目标区域的尺度是不断更新的，因此能够提高目标追踪的准确度。

在本发明的另一个实施例中，确定候选目标区域可通过下面的第一步至第五步实现。

第一步，获取当前帧图像的目标区域的尺度以及三个候选目标尺度因子a、1和b。

其中，第一步的具体实施方式和上述实施例中的具体实施方式相同，在此不再赘述。

第二步，将当前帧图像的目标区域的尺度分别乘以三个候选目标尺度因子，得到当前帧图像的三个候选目标尺度。

其中，第二步的具体实施方式和上述实施例中的具体实施方式相同，在此不再赘述。

第三步，基于三个候选目标尺度在当前帧图像中确定三个候选目标区域，并提取每个候选目标区域的图像特征，并分别将三个候选目标区域的图像特征代入第二相关滤波器，得到三个响应矩阵，并分别获取每一响应矩阵中的最大响应值，并将每一响应矩阵中的最大响应值作为待选取响应值。

第四步，在三个待选取响应值中确定最大响应值，并将最大响应值对应的候选目标尺度作为当前帧图像的目标区域的尺度，并返回第一步，直到最大响应值对应的候选目标尺度因子为1。

在一些实施例中，获得响应矩阵的方法与上述实施例中计算当前帧图像的响应矩阵的方法相同，在此不再赘述。

作一个示例，若与候选因子a对应的待选取响应值为D_a，与候选响应因子1对应的待选取响应值为D₁，与候选响应因子b对应的待选取响应值为D_b。

在D_a、D₁和D_b中选取最大的响应值，若D_a或D_b为最大响应值，则将最大响应值对应的候选目标尺度作为当前帧图像的目标区域的尺度，并返回第一步，若D₁为最大响应值，则进行第五步。

第五步，将响应值最大的待选取响应值作为最优响应值，并将最优响应值对应的候选目标区域的尺度作为当前帧图像的目标区域的尺度，并依据当前帧图像的目标区域的尺度和目标的位置信息确定当前帧图像的目标区域。

通过上述实施例中的方法，通过多次循环迭代确定的当前帧图像的目标区域是当前帧图像的最优的目标区域。此时，当前帧图像的目标区域恰好完全包含了目标，且包含的背景图像最少。通过上述方法能够提高目标追踪的准确度和精确度。

在本发明的一些实施例中，为了增强本发明的目标追踪方法的抗假目标干扰能力，在追踪目标的同时，还需要在当前帧图像中确定与目标较相近的假目标，此时S140之后，目标追踪方法100还可以包括：

S150，在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于被选取的假目标响应值确定当前帧图像的假目标区域。

下面将分为三个实施例，对S150，做具体的说明。

需要注意的是，下面三个实施例可以独立实施以实现S150，也可以通过组合其中任意两个或三个实施例实施以实现S150。

在本发明的第一个实施例中，S150具体可实现为第一步至第三步。

第一步，获取目标区域的尺度，并将目标区域的尺度作为假目标区域的尺度。

作一个示例，若目标区域的尺度包括：目标区域的长度W₀和目标区域的宽度H₀。相应地，假目标的尺度也可以包括：假目标区域长度W₀和假目标区域宽度H₀。

第二步，在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值，并基于当前帧图像中的假目标响应值对应的像素点的位置信息，获取假目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应。

作一个示例，若当前帧图像的响应矩阵中有A₁、A₂、……、A₁₆一共16个响应值，若A₁为最大响应值，则可以在A₂至A₁₆中选取一个或多个响应值作为假目标响应值。

第三步，根据假目标区域的尺度和假目标的位置信息，确定当前帧图像的假目标区域。

在一些实施例中，根据假目标区域的尺度和假目标的位置信息，确定当前帧图像的假目标区域的方法和上述实施例中的根据目标区域的尺度和目标的位置信息，确定当前帧图像的目标区域的方法相同，在此不再赘述。

在一个示例中，在当前帧图像中，以假目标的位置信息对应的像素点为中心，根据假目标区域的尺度，在当前帧图像中可确定一个与目标区域相同大小的假目标区域。

作一个具体的示例，若假目标在当前帧图像中的位置信息为(x₁,y₁)，假目标的尺度包括假目标区域长度W₀和假目标区域宽度为H₀。则可以在当前帧图像中，以位置坐标为(x₁,y₁)的像素点为中心，确定一个长为W₀，宽为H₀的矩形区域作为假目标区域。

为了便于理解，本发明下述的部分实施例中将当前帧图像的响应矩阵中的最大响应值简称为当前帧图像的最大响应值，将当前帧图像的响应值矩阵中除最大响应值之外的其他响应值简称为当前帧图像的其他响应值。

通过上述实施例所述的方法，根据响应值确定与目标区域较为相似的假目标区域，利用假目标区域作为后一帧图像的相关滤波器的负样本。由于目标区域根据响应值确定，因此根据响应值确定假目标区域，能够进一步提高目标追踪方法的准确性。

在本发明的第二个实施例中，在当前帧图像的响应矩阵中，基于最大响应值附近的响应值确定的假目标区域包含了目标区域的部分图像信息，若将该假目标区域作为负样本以用于训练相关滤波器，会影响在后续多帧图像中目标的追踪精度。

此时，在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取响应值，基于被选取的响应值确定当前帧图像的假目标区域。具体实现方式可以包括第一步至第四步。

第一步，在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值。

在一些实施例中，该第一步中的选取假目标响应值的具体方式与上述实施例中的选取假目标响应值的具体方式相同，在此不再赘述。

第二步，根据当前帧图像中的假目标响应值，确定当前帧图像中的候选假目标区域。

在一些实施例中，该第二步中的确定候选假目标区域的具体方式与上述实施例中的依据当前帧图像中的假目标响应值确定当前帧图像的假目标区域的具体方式相同，在此不再赘述。

第三步，计算候选假目标区域与目标区域的重合度。

在一些实施例中，可以根据候选目标区域的面积和目标区域的面积计算候选目标区域与目标区域的重合度。比如，可以根据候选目标区域和目标区域交集的面积，以及候选目标区域和目标区域并集的面积计算候选目标区域与目标区域的重合度。

作一个示例，计算候选目标区域与目标区域的重合度的公式(8)为：

其中，IOU表示计算候选目标区域与目标区域的重合度，S₁表示候选目标区域的面积，S₂表示目标区域的面积，S₁∩S₂表示候选目标区域和目标区域交集的面积，S₁∪S₂表示候选目标区域和目标区域并集的面积。

需要说明的是，如果候选目标区域和目标区域有重合，则重合区域的面积作为候选目标区域和目标区域交集的面积，候选目标区域除重合区域之外的其他区域的面积、目标区域除重合区域之外的其他区域的面积和重合区域的面积之和作为候选目标区域和目标区域并集的面积。

如果候选目标区域和目标候选区域不重合，S₁∩S₂＝0，S₁∪S₂表示候选目标区域的面积和目标区域的面积之和。

作一个示例，如图4所示，图4中矩形区域MNPQ表示当前帧图像，若点A表示目标，矩形框11表示以点A为中心确定的假目标区域。在当前帧图像中选取3个与假目标响应值对应的像素点，分别为点B、点C和点D，区域21、区域31、区域41为3个假目标响应值确定的候选假目标区域。

由图4可知，候选假目标区域21和候选假目标31与目标区域11部分区域重合。其中，阴影区域12的面积为目标区域11和候选假目标区域21交集的面积，阴影区域13的面积为目标区域11和候选假目标区域31交集的面积。

第四步，若候选假目标区域与目标区域的重合度不大于预先设定的重合度阈值，确定该候选假目标区域为当前帧图像的假目标区域。

相应地，若某一候选假目标区域与目标区域的重合度大于预先设定的重合度阈值，则该候选目标区域不属于当前帧图像的假目标区域。

作一个示例，以图4为例，若候选目标区域31与目标区域11的重合度小于或等于重合阈值，则确定候选目标区域31是当前帧图像的假目标区域。

若候选目标区域21与目标区域11的重合度大于重合阈值，则候选目标区域21不是当前帧图像的假目标区域。

候选目标区域41与目标区域11不重合，候选目标区域41是当前帧图像的假目标区域。

比如，在一个示例中，重合度阈值为0.3。即当候选目标区域与目标区域的重合度小于或等于0.3时，将该候选目标区域确定为当前帧图像的假目标区域。

通过计算候选假目标区域与目标区域的重合度来确定当前帧图像的假目标区域，防止当前帧图像的假目标区域包含过多的目标区域。若负样本中包含过多的目标区域，会影响目标追踪的准确度和精确性。

在本发明的第三个实施例中，上述实施例中的在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取当前帧图像的假目标响应值，基于被选取的假目标响应值确定当前帧图像的假目标区域，具体可实现为第一步至第三步。

作一个示例，若当前帧图像的响应矩阵包括A₁、A₂、……、A₁₆一共16个响应值，若A₁为最大响应值，则在A₂至A₁₆中选取A₂、A₆、A₈和A₁₅响应值作为假目标响应值。

第二步，将选取的假目标响应值和当前帧图像之前的多帧图像中的假目标响应值按照从大到小的顺序排序。

作一个示例，若当前帧图像为包含待追踪目标的视频流中的第三帧图像，则当前帧图像之前还包括第一帧图像和第二帧图像。若第一帧图像的假目标响应值为B₁、B₆和B₁₃，第二帧图像的假目标响应值为C₉和C₁₁。

则，将当前帧图像的假目标响应值(A₂、A₆、A₈和A₁₅)、第一帧图像的假目标响应值(B₁、B₆和B₁₃)和第二帧图像的假目标响应值(C₉和C₁₁)按照响应值从大到小的顺序进行排序。其中，排序结果为C₁₁、A₆、A₂、B₁₃、C₉、A₁₅、B₆、A₈、B₁。具体地，C₁₁的响应值最大，排序结果中的任一响应值比排在其前面的响应值小，但是比排在其后的其余假目标响应值大。

在一些实施例中，假目标响应值是不断衰减的假目标响应值，假目标响应值的衰减公式(9)为：

R_k＝α^(i-k)R (9)

其中，R_k表示第k帧图像对应的衰减后的假目标响应值，α表示小于1的衰减系数，i表示当前帧图像的帧数(即当前帧图像是第几帧图像)，R为第k帧图像为当前帧图像时计算的未衰减的假目标响应值。

作一个示例，若在当前帧图像中进行目标追踪时，当前帧图像的假目标响应值为A₂。在后一帧图像中进行目标追踪时，当前帧图像的假目标响应值为αA₂。

第三步，基于排序结果依次挑选多个假目标响应值，并基于多个被挑选的假目标响应值确定当前帧图像的假目标区域。

作一个示例，若需要挑选5个响应值，可以从排序结果(C₁₁、A₆、A₂、B₁₃、C₉、A₁₅、B₆、A₈、B₁)中挑选前5个响应值(C₁₁、A₆、A₂、B₁₃和C₉)。

在一些实施例中，基于多个被挑选的假目标响应值确定当前帧图像的假目标区域的实现方式为：确定多个被挑选的假目标响应值分别对应的假目标区域，并将对应的假目标区域作为当前帧图像的假目标区域。

作一个示例，被挑选的5个响应值为C₁₁、A₆、A₂、B₁₃和C₉，C₁₁对应的是第二帧图像的假目标区域(在第二帧图像中，以C₁₁对应的第二帧图像的目标候选区域的像素点的位置信息作为假目标的位置信息，并基于该假目标的位置信息确定第二帧图像的假目标区域)，B₁₃对应的是第一帧图像的假目标区域，A₆和A₂分别对应的是当前帧图像(第三帧图像)的假目标区域，C₉对应的是第二帧图像的假目标区域。

将C₁₁对应的第二帧图像的假目标区域、A₆对应的当前帧图像的假目标区域、A₂对应的当前帧图像的假目标区域、B₁₃对应的第一帧图像的假目标区域和C₉对应的第二帧图像的假目标区域作为当前帧图像的假目标区域。

在本发明的一些实施例中，若S140包括S141至S143，对应的，S150的实施方式可为：在候选响应值中除目标响应值之外的其他候选响应值中选取当前帧图像中的假目标响应值，并将被选取的假目标响应值对应的像素点的位置信息作为候选假目标的位置信息，并基于候选假目标的位置信息确定当前帧图像的假目标区域。

作一个示例，如图3所示，候选响应值包括A₁至A₂₅，若A₁为目标响应值，则可以从除A₁之外的其他候选响应值A₂至A₂₅中选取假目标响应值。

通过上述实施例所述的方法，将当前帧图像的响应矩阵划分为多个子响应矩阵，然后将每个子响应矩阵的最大响应值作为候选响应值，最后依据候选响应值确定目标区域和假目标区域。由于当某一响应值较大时，其附近的响应值也较大，通过在候选响应值中确定假目标响应值，避免选取的假目标响应值集中于某一区域，保证了负样本中的用于识别错误目标的训练数据的多样性，从而保证目标追踪方法的准确性。

在一些实施例中，基于被选取的假目标响应值基于候选目标的位置信息确定当前帧图像的假目标区域的具体实现方式与S150中基于被选取的假目标响应值确定当前帧图像的假目标区域的具体实现方式相同，在此不再赘述。

在本发明的一些实施例中，在S150之后，目标追踪方法100还可包括：

S160，依据当前帧图像的目标区域，在当前帧图像中确定当前帧图像中的目标训练区域。

在一些实施例中，S160中确定当前帧图像对应的目标训练区域的具体实施方式与S1311中确定前一帧图像中的目标训练区域的具体实施方式相同，在此不再赘述。

图5是示出根据本发明一实施例的目标追踪方法100的详细流程图。如图5所示，本实施例中的目标追踪方法500可以包括以下步骤：

S501，从包含待追踪目标的视频流中选取当前帧图像。

S502，将获取的前一帧图像的目标区域的位置信息作为当前帧图像的目标区域的位置信息，并根据当前帧图像的目标区域的位置信息，在当前帧图像中确定初始目标区域。

S503，基于初始目标区域，在当前帧图像中确定当前帧图像的目标候选区域，并提取当前帧图像的目标候选区域的图像特征。

S504，基于当前帧图像的目标模型训练当前帧图像的相关滤波器。

其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的。假目标区域是根据前一帧图像中的假目标响应值确定的，假目标响应值是从前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的。

S505，将当前帧图像的目标候选区域的图像特征代入当前帧图像的相关滤波器，得到当前帧图像的响应矩阵，其中，响应矩阵中的响应值与当前帧图像的目标候选区域的像素点一一对应。

S506，在当前帧图像的响应矩阵中筛选出多个候选响应值。

S507，选取多个候选响应值中的最大响应值，依据最大响应值对应的像素点的位置信息更新当前帧图像的目标的位置信息。

S508，根据多个候选响应值中除最大响应值之外的其他候选响应值对应的像素点的位置信息确定当前帧图像的候选假目标的位置信息。

S509，基于多个候选目标尺度因子和当前帧图像的目标的位置信息，更新当前帧图像的目标区域的尺度。

S510，基于更新后的当前帧图像的目标区域的尺度、当前帧图像的目标的位置信息和候选假目标的位置信息，确定当前帧图像的目标区域和候选假目标区域。

S511，计算当前帧图像的目标区域和候选目标区域的重合度，并根据重合阈值筛选候选假目标区域。

S512，将筛选后的当前帧图像的候选假目标区域对应的响应值和筛选后的当前帧图像之前的所有帧图像的候选假目标区域对应的响应值进行排序，并基于排序结果确定当前帧图像的假目标区域。

S513，基于S510中确定的当前帧图像的目标区域，在当前帧图像中确定当前帧图像的目标训练区域。

需要说明的是，S501至S513的具体说明可参见上述实施例中的相关说明内容，在此不再赘述。

基于相同的发明构思，图6示出了根据本发明一实施例提供的目标追踪装置的结构示意图。如图6所示，目标追踪装置600包括：

第一确定模块610，用于从包含待追踪目标的视频流中选取当前帧图像，并确定当前帧图像中的目标候选区域。

提取模块620，用于提取当前帧图像中的目标候选区域的图像特征。

计算模块630，用于根据图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算当前帧图像的响应矩阵，其中，当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，假目标区域是根据前一帧图像中的假目标响应值确定的，假目标响应值是从前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的。

第二确定模块640，用于在当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于选取的最大响应值确定当前帧图像的目标区域。

在本发明的一些实施例中，第一确定模块610，具体用于：

将获取的前一帧图像的目标区域的位置信息作为当前帧图像的目标区域的位置信息。

根据当前帧图像的目标区域的位置信息，在当前帧图像中确定初始目标区域。

在本发明的一些实施例中，计算模块630，具体用于：

利用当前帧图像的目标模型，训练当前帧图像的相关滤波器；

将图像特征代入当前帧图像的相关滤波器，计算当前帧图像的响应矩阵。

在本发明的一些实施例中，目标追踪装置600，还包括：

第三确定模块650，用于在当前帧图像的响应矩阵中除最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于被选取的假目标响应值确定当前帧图像的假目标区域。

在本发明的一些实施例中，目标追踪装置600，还用于：

基于前一帧图像的目标区域确定前一帧图像的目标训练区域。

将前一帧图像的目标训练区域的外缘区域替换为前一帧图像的假目标区域。

基于替换后的前一帧图像的目标训练区域和前一帧图像的目标模型，得到当前帧图像的目标模型。

在本发明的一些实施例中，第二确定模块640，具体用于：

将当前帧图像的响应矩阵划分为多个子响应矩阵。

分别在每个子响应矩阵中筛选出子响应矩阵的最大响应值，并将子响应矩阵的最大响应值作为候选响应值，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应。

在本发明的一些实施例中，第二确定模块640，还具体用于：

在本发明的一些实施例中，第二确定模块640，具体用于：

将当前帧图像的响应矩阵中的最大响应值对应的当前帧图像的目标候选区域的像素点的位置信息作为目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应。

基于多个候选目标尺度因子、当前帧图像的目标尺度和目标的位置信息，在当前帧图像中确定多个候选目标区域，并分别提取每个候选目标区域的图像特征。

在提取每个候选目标区域的图像特征后，将候选目标区域的图像特征代入当前帧图像的相关滤波器，得到候选目标区域的响应矩阵，并获取响应矩阵中的最大响应值，并将响应矩阵中的最大响应值作为待选取响应值。

将响应值最大的待选取响应值作为最优响应值，并将最优响应值对应的候选目标区域的尺度作为当前帧图像的目标区域的尺度。

在本发明的一些实施例中，第三确定模块650，具体用于：

获取目标区域的尺度，并将目标区域的尺度作为假目标区域的尺度。

在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值，并基于当前帧图像中的假目标响应值对应的像素点的位置信息，获取假目标的位置信息，其中响应矩阵中的响应值和当前帧图像的目标候选区域的像素点一一对应。

在本发明的一些实施例中，第三确定模块650，具体用于：

在当前帧图像的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值。

根据当前帧图像中的假目标响应值，确定当前帧图像中的候选假目标区域。

计算候选假目标区域与目标区域的重合度。

在本发明的一些实施例中，第三确定模块650，具体用于：

在当前帧图像中的响应矩阵中除最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值。

将选取的假目标响应值和当前帧图像之前的多帧图像中的假目标响应值按照从大到小的顺序排序。

根据本发明实施例的目标追踪装置的其他细节与以上结合图1至图5描述的根据本发明实施例的方法类似，在此不再赘述。

图7是本发明实施例中目标追踪设备的示例性硬件架构的结构图。

如图7所示，目标追踪设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与目标追踪设备300的其他组件连接。

具体地，输入设备701接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到目标追踪设备700的外部供用户使用。

也就是说，图7所示的目标追踪设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图6描述的目标追踪设备的方法和装置。

在一个实施例中，图7所示的目标追踪设备700可以被实现为一种设备，该设备可以包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行本发明实施例的目标追踪方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

Claims

1.一种目标追踪方法，其特征在于，所述方法包括：

提取所述当前帧图像的目标候选区域的图像特征；

根据所述图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算所述当前帧图像的响应矩阵，其中，所述当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，所述假目标区域是根据所述前一帧图像中的假目标响应值确定的，所述假目标响应值是从所述前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，所述前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的；

在所述当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于所述选取的最大响应值确定所述当前帧图像的目标区域。

2.根据权利要求1所述的方法，其特征在于，所述确定当前帧图像中的目标候选区域，包括：

将获取的所述前一帧图像的目标区域的位置信息作为所述当前帧图像的目标区域的位置信息；

根据所述当前帧图像的目标区域的位置信息，在所述当前帧图像中确定初始目标区域；

基于所述初始目标区域，在所述当前帧图像中确定所述当前帧图像的目标候选区域，其中，所述目标候选区域包含所述初始目标区域。

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算所述当前帧图像的响应矩阵，具体包括：

利用所述当前帧图像的目标模型，训练所述当前帧图像的相关滤波器；

将所述图像特征代入所述当前帧图像的相关滤波器，计算所述当前帧图像的响应矩阵。

4.根据权利要求1所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于所述选取的最大响应值确定所述当前帧图像的目标区域之后，还包括：

在所述当前帧图像的响应矩阵中除所述最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于所述被选取的假目标响应值确定所述当前帧图像的假目标区域。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算所述当前帧图像的响应矩阵之前，所述目标追踪方法，还包括：

基于所述前一帧图像的目标区域确定所述前一帧图像的目标训练区域；

将所述前一帧图像的目标训练区域的外缘区域替换为所述前一帧图像的假目标区域；

6.根据权利要求1所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于所述选取的最大响应值确定所述当前帧图像的目标区域，包括：

将所述当前帧图像的响应矩阵划分为多个子响应矩阵；

分别在每个子响应矩阵中筛选出所述子响应矩阵的最大响应值，并将所述子响应矩阵的最大响应值作为候选响应值，其中所述响应矩阵中的响应值和所述当前帧图像的目标候选区域的像素点一一对应；

将响应值最大的所述候选响应值作为目标响应值，将所述目标响应值对应的像素点的位置信息作为目标的位置信息，并根据所述目标的位置信息确定所述当前帧图像的目标区域。

7.根据权利要求6所述的方法，其特征在于，所述将响应值最大的所述候选响应值作为目标响应值，将所述目标响应值对应的像素点的位置信息作为目标的位置信息，并根据所述目标的位置信息确定所述当前帧图像的目标区域之后，还包括：

在所述候选响应值中除所述目标响应值之外的其他候选响应值中选取当前帧图像中的假目标响应值，并将被选取的假目标响应值对应的像素点的位置信息作为候选假目标的位置信息，并基于所述候选假目标的位置信息确定所述当前帧图像的假目标区域。

8.根据权利要求3所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于所述选取的最大响应值确定所述当前帧图像的目标区域，包括：

将所述当前帧图像的响应矩阵中的最大响应值对应的当前帧图像的目标候选区域的像素点的位置信息作为目标的位置信息，其中所述响应矩阵中的响应值和所述当前帧图像的目标候选区域的像素点一一对应；

基于多个候选目标尺度因子、所述当前帧图像的目标尺度和所述目标的位置信息，在所述当前帧图像中确定多个候选目标区域，并分别提取每个候选目标区域的图像特征；

在提取每个候选目标区域的图像特征后，将所述候选目标区域的图像特征代入当前帧图像的相关滤波器，得到所述候选目标区域的响应矩阵，并获取所述响应矩阵中的最大响应值，并将所述响应矩阵中的最大响应值作为待选取响应值；

将响应值最大的所述待选取响应值作为最优响应值，并将所述最优响应值对应的候选目标区域的尺度作为当前帧图像的目标区域的尺度；

根据所述目标的位置信息和所述当前帧图像的目标区域的尺度，确定所述当前帧图像的目标区域。

9.根据权利要求4或8所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵中除所述最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于所述被选取的假目标响应值确定所述当前帧图像的假目标区域，包括：

获取目标区域的尺度，并将所述目标区域的尺度作为假目标区域的尺度；

在所述当前帧图像的响应矩阵中除所述最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值，并基于所述当前帧的假目标响应值对应的像素点的位置信息，获取假目标的位置信息，其中所述响应矩阵中的响应值和所述当前帧图像的目标候选区域的像素点一一对应；

根据所述假目标区域的尺度和所述假目标的位置信息，确定所述当前帧图像的假目标区域。

10.根据权利要求4所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵中除所述最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于所述被选取的假目标响应值确定所述当前帧图像的假目标区域，包括：

在所述当前帧图像的响应矩阵中除所述最大响应值之外的其他响应值中选取所述当前帧图像中的假目标响应值；

根据所述当前帧图像中的假目标响应值，确定所述当前帧图像中的候选假目标区域；

计算所述候选假目标区域与所述目标区域的重合度；

若所述候选假目标区域与所述目标区域的重合度不大于预先设定的重合度阈值，确定所述候选假目标区域为所述当前帧图像的假目标区域。

11.根据权利要求4所述的方法，其特征在于，所述在所述当前帧图像的响应矩阵中除所述最大响应值之外的响应值中选取当前帧图像中的假目标响应值，基于所述被选取的假目标响应值确定所述当前帧图像的假目标区域，包括：

在所述当前帧图像中的响应矩阵中除所述最大响应值之外的其他响应值中选取当前帧图像中的假目标响应值；

将选取的假目标响应值和所述当前帧图像之前的多帧图像中的假目标响应值按照从大到小的顺序排序；

基于排序结果依次挑选多个假目标响应值，并基于所述多个假目标响应值确定当前帧图像的假目标区域。

12.一种目标追踪装置，其特征在于，所述装置包括：

提取模块，用于提取所述当前帧图像中的目标候选区域的图像特征；

计算模块，根据所述图像特征和基于当前帧图像的目标模型所训练的当前帧图像的相关滤波器，计算所述当前帧图像的响应矩阵，其中，所述当前帧图像的目标模型，是基于前一帧图像的假目标区域和前一帧图像的目标训练区域得到的，所述假目标区域是根据所述前一帧图像中的假目标响应值确定的，所述假目标响应值是从所述前一帧图像的响应矩阵所包含的除最大响应值之外的其他响应值中选取的，所述前一帧图像的目标训练区域是根据前一帧图像的目标区域确定的；

第二确定模块，用于在所述当前帧图像的响应矩阵包含的响应值中选取最大响应值，基于所述选取的最大响应值确定所述当前帧图像的目标区域。

13.根据权利要求12所述的装置，其特征在于，所述第一确定模块，具体用于：

基于所述初始目标区域，在所述当前帧图像中确定所述当前帧图像的目标候选区域，其中，所述目标候选区域包括所述初始目标区域。

14.一种目标追踪设备，其特征在于，所述设备包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行如权利要求1至11任一权利要求所述的目标追踪方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1至11任一权利要求所述的目标追踪方法。