CN108805899A - 一种目标跟踪方法及装置 - Google Patents

Abstract

本发明提供了一种目标跟踪方法及装置。该方法包括：将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取目标模板图像与待处理图像中各个图像块的图像特征；根据目标模板图像与待处理图像中各个图像块的图像特征获取目标模板图像中各个大小为N×N的图像块的相关特征图；根据目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；根据不同尺度下的图像块的相关特征图获取目标模板图像中不同尺度的图像块与待处理图像中不同尺度的图像块的对应关系；根据目标模板图像中不同尺度的图像块与待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。本发明实施例提高了目标跟踪的精度。

Description

一种目标跟踪方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种目标跟踪方法及装置。

背景技术

计算机视觉领域的目标跟踪方法，以图像序列为数据，在每一帧图像中检测待跟踪目标的位置与尺寸，从而获取目标的连续运动轨迹，实现对目标的跟踪。目标跟踪方法广泛地应用在军事与民用领域中，其在智能安防监控、军事侦察、智能交通以及人机交互等诸多方面起到重要作用，因此研究目标跟踪方法具有非常重要的意义。

现有的目标跟踪方法主要分为两类，一类是基于边界框外观模型的目标跟踪方法，另一类是基于块结构外观模型的目标跟踪方法。

现有的基于边界框外观模型的目标跟踪方法，针对待追踪目标的整体边界框提取颜色、纹理或者运动等具有分辨能力的特征，从而构建待追踪目标的外观模型。在基于稀疏表达的外观模型中，利用L1范数从待追踪目标的整体边界框中学习稀疏表达字典，根据所述稀疏表达字典最小化目标重建误差。然而，当待追踪目标的外观发生严重的形变时，基于边界框的外观模型无法及时发现并更新局部形变信息，导致外观模型无法应对目标外观的变化，该目标跟踪方法难以获得可靠的跟踪结果。

现有的基于块结构外观模型的目标跟踪方法，将待追踪目标划分为多个图像块，从各个图像块中提取相应的特征，进而利用这些特征构建待追踪目标的外观模型。现有的基于块结构外观模型的目标跟踪方法中，可通过一个可靠性度量标准来检测可靠性高的图像块，在跟踪过程中，利用这些图像块的外观模型优化待追踪目标的位置与尺寸，并及时更新与维护图像块的可靠性。虽然基于块结构的外观模型能够更好地处理目标外观的变化，然而在复杂背景情况下，目标的部分块信息与背景信息可能更为相似，导致背景信息严重干扰跟踪方法，使得跟踪方法的精度下降甚至跟踪失败。

发明内容

本发明实施例提供一种目标跟踪方法及装置，用于解决现有的目标跟踪算法不能同时克服光照变化、目标姿态变化与复杂背景干扰的影响导致跟踪精度较低的问题。

本发明实施例提供了一种目标跟踪方法，包括：

将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率；

其中，N大于等于4且N为2的倍数。

可选地，根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图，包括：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

可选地，根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图，包括：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；M P表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

可选地，所述根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系，包括：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

可选地，根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

可选地，所述采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

可选地，所述方法还包括：

根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

本发明实施例提供一种目标跟踪装置，包括：

图像特征提取单元，用于将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

第一相关特征图获取单元，用于根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

第二相关特征图获取单元，用于根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

图像块对应关系获取单元，用于根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

目标跟踪单元，用于根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率；

其中，N大于等于4且N为2的倍数。

可选地，所述第一相关特征图获取单元进一步用于：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

可选地，所述第二相关特征图获取单元进一步用于：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；MP表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

可选地，所述图像块对应关系获取单元进一步用于：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

可选地，所述目标跟踪单元进一步用于：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

可选地，所述目标跟踪单元进一步用于：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

可选地，还包括：

可靠性确定单元，用于根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

目标模板图像更新单元，用于当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

本发明实施例提供一种电子设备，其特征在于，处理器、存储器和总线；其中，

处理器和存储器通过总线完成相互间的通信；

处理器用于调用存储器中的程序指令，以执行上述的目标跟踪方法。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的目标跟踪方法。

本发明实施例提供的目标跟踪方法及装置，通过获取不同尺度下目标模板图像的图像块与待处理图像的图像块的对应关系，利用较大尺度的图像块将待追踪目标从待处理图像的背景中分离处理，利用较小尺度的图像块逐步获取待追踪目标的精细位置和尺寸，融合了基于边界框外观模型与基于块结构外观模型的优势，有效地利用待追踪目标的空间信息克服光照变化、目标姿态变化与复杂背景的干扰，提高了目标跟踪的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的目标跟踪方法的流程示意图；

图2a和图2b是本发明一个实施例的目标跟踪方法与现有的目标跟踪方法的效果的比较示意图；

图3是本发明一个实施例的目标跟踪装置的结构示意图；

图4是本发明一个电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的目标跟踪方法的流程示意图。如图1所示，该实施例的方法包括：

S11：将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

需要说明的是，N大于等于4且N为2的倍数。

在实际应用中，分别提取所述目标图像与所述待处理图像中各个图像块的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性。

S12：根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

需要说明的是，本发明实施例的相关特征图指的是由目标模板图像的图像块与待处理图像中各个图像块的相似度组成的矩阵。

S13：根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

需要说明的是，由于尺度更大的图像块是由4个子图像块组成的，因此根据子图像块的多个相关特征图与相应的位置关系，可获取尺度更大的图像块之间的相关特征图。重复此过程直至图像块的尺寸达到设定的大小阈值(最大尺寸的大小根据待处理图像的大小确定)。至此，可获取不同尺度下(4×4、8×8、16×16…)的图像块的相关特征图。

S14：根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

需要说明的是，由于不同尺度下的图像块的对应关系包含了丰富的空间信息，能够有效地处理目标遮挡与形变等因素的影响，提高了目标跟踪的精度。

S15：根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

本发明实施例提供的目标跟踪方法，通过获取不同尺度下目标模板图像的图像块与待处理图像的图像块的对应关系，利用较大尺度的图像块将待追踪目标从待处理图像的背景中分离处理，利用较小尺度的图像块逐步获取待追踪目标的精细位置和尺寸，融合了基于边界框外观模型与基于块结构外观模型的优势，有效地利用待追踪目标的空间信息克服光照变化、目标姿态变化与复杂背景的干扰，提高了目标跟踪的精度。

在本发明实施例的一种可选的实施方式中，根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图，包括：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

进一步地，根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图，包括：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；M P表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

需要说明的是，大小为N×N的图像块是由四个大小为N/2×N/2的子图像块组成的，为了提高计算效率，大小为N×N的图像块的相关特征图可直接使用其子图像块的相关特征图计算。该过程使用了类似于卷积深度神经网络中池化层的方法，通过简单的计算过程代替了复杂的卷积运算，从而提高了获取相关特征图的效率。

进一步地，所述根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系，包括：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

需要说明的是，本发明实施例根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系(当图像块的尺寸最大时，可以通过查找相似度最高的区域即可获取目标模板图像与待处理图像之间的对应关系)，然后利用此对应关系恢复其子图像块之间的对应关系，重复此操作直至得到大小为4×4的块对应关系。尺寸较大的图像块的对应关系的判别性更高，而尺寸较小的图像块的对应关系保留的空间信息更丰富。因此在获取子图像块的对应关系过程中，其父图像块的高判别性信息会传递下去，剔除明显错误的子图像块的对应关系，使得其对应关系更加可靠、准确。

可理解的是，大小为N×N的图像块是由4个大小为N/2×N/2的子块组成的，因此根据大小为N×N的图像块与子图像块的空间位置关系，大小为N×N的图像块的对应关系可以传递并指导计算子图像块之间的对应关系。

因此，各个尺度下目标模板图像中图像块与待处理图像中图像块的对应关系可表示如下：

其中，MAX表示图像块的最大尺度层。

举例来说，当MAX＝3时，表示目标模板图像中大小为4×4的图像块与待处理图像中大小为4×4的图像块的对应关系、目标模板图像中大小为8×8的图像块与待处理图像中大小为8×8的图像块的对应关系、目标模板图像中大小为16×16的图像块与待处理图像中大小为16×16的图像块的对应关系的集合。

进一步地，根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

具体地，所述采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

在实际应用中，在不同尺度下求取待追踪目标的的中心位置与尺寸变换率，其尺度变化率可表示为：

其中，表示图像块的尺度层为L_i时的所述待追踪目标的尺度变化率；med表示取中值操作；表示各个尺度下目标模板图像中图像块与待处理图像中图像块的对应关系；(p_n,p_n′),(p_m,p_m′)表示其中两组不同的图像块对应关系，而p_n,p_m,p_n′,p_m′分别表示不同图像块的中心位置坐标。

然后利用尺度变化率和加权投票机制获取待追踪目标的中心位置：

其中，p^target表示目标模板图像的中心位置坐标，为图像块对应关系(p_n,p_n′)的权重。

其中,图像块对应关系(p_n,p_n′)的权重可以使用其相应的相似性得分来计算：

其中，s_n表示图像块对应关系(p_n,p_n′)的可靠性值，表示在图像块尺度为L_i时所有图像块对应关系的可靠性值总和。

进一步地，所述方法还包括：

根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

可理解的是，在较长的对待追踪目标的跟踪过程中，待追踪目标的外观可能会发生严重的变化，因此需要更新目标模板图像。

本发明实施例通过计算目标图像中与待处理图像中相关的图像块的数量确定目标模板图像的可靠性值。

在实际应用中，重复上述处理过程，直至处理完视频的所有帧(视频的所有待处理图像)，完成目标追踪。

以下通过仿真实验说明本发明实施例的目标跟踪方法的技术效果。

本实验是在中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存12G、WINDOWS 7操作系统上，主要使用MATLAB软件进行的仿真。其中图像块的对应关系采用C++代码进行并行加速优化。

实验中使用的图像序列来自广泛应用于跟踪领域的OTB100数据库，其中图像序列包含了目标跟踪过程所遇到的目标遮挡、目标形变、光照变化以及运动模糊等多种干扰因素，并且跟踪对象包括了行人、汽车、玩具等多种物体。

在OTB100数据库中挑选了33个具有代表性的图像序列，完成本仿真实验。本仿真实验选取了7种对比方法CNN-SVM、MEEM、TGPR、KCF、DSST、CXT与ASLA，将本发明实施例的方法的技术效果与上述7种方法的技术效果进行对比。其中CNN-SVM方法是基于深度学习的，KCF与DSST是基于相关滤波器的方法，其他的是传统的目标追踪方法。在平均中心位置偏差与边界框重叠率两个度量标准下，本发明实施例的方法与对比方法的如表1、表2和图2a和图2b。

选取12个图像序列的跟踪结果进行具体分析。表1和图2a是平均中心位置误差的对比，表2和图2b是边界框重叠率的对比。

表1 平均中心位置误差

表2 边界框重叠率

从表1和表2以及图2a和图2b的对比可知，本发明实施例的方法相对现有的方法可以更加鲁棒的跟踪目标，有效地克服跟踪中常见的干扰因素，能够充分地利用目标的空间信息，在跟踪过程中精确地区分目标与背景，该仿真实验验证了本发明实施例的先进性。

图3是本发明一个实施例的目标跟踪装置的结构示意图。如图3所示，本发明实施例的装置包括图像特征提取单元31、第一相关特征图获取单元32、第二相关特征图获取单元33、图像块对应关系获取单元34和目标跟踪单元35，具体地：

图像特征提取单元31，用于将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

第一相关特征图获取单元32，用于根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

第二相关特征图获取单元33，用于根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

图像块对应关系获取单元34，用于根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

目标跟踪单元35，用于根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率；

其中，N大于等于4且N为2的倍数。

本发明实施例提供的目标跟踪装置，通过获取不同尺度下目标模板图像的图像块与待处理图像的图像块的对应关系，利用较大尺度的图像块将待追踪目标从待处理图像的背景中分离处理，利用较小尺度的图像块逐步获取待追踪目标的精细位置和尺寸，融合了基于边界框外观模型与基于块结构外观模型的优势，有效地利用待追踪目标的空间信息克服光照变化、目标姿态变化与复杂背景的干扰，提高了目标跟踪的精度。

在本发明实施例的一种可选的实施方式中，第一相关特征图获取单元32进一步用于：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

第二相关特征图获取单元33进一步用于：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；MP表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

图像块对应关系获取单元34进一步用于：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

目标跟踪单元35进一步用于：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

目标跟踪单元35进一步用于：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

该目标跟踪装置还包括：

可靠性确定单元，用于根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

目标模板图像更新单元，用于当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

本发明实施例的目标跟踪装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

图4是本发明一个实施例的电子设备的结构示意图。

参照图4，电子设备包括：处理器(processor)41、存储器(memory)42和总线43；其中，

处理器41和存储器42通过总线43完成相互间的通信；

处理器41用于调用存储器42中的程序指令，以执行上述各方法实施例所提供的目标跟踪方法。

此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的目标跟踪方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的目标跟踪方法。

本发明实施例提供的目标追踪方法及装置，通过获取不同尺度下目标模板图像的图像块与待处理图像的图像块的对应关系，利用较大尺度的图像块将待追踪目标从待处理图像的背景中分离处理，利用较小尺度的图像块逐步获取待追踪目标的精细位置和尺寸，融合了基于边界框外观模型与基于块结构外观模型的优势，有效地利用待追踪目标的空间信息克服光照变化、目标姿态变化与复杂背景的干扰，提高了目标跟踪的精度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种目标跟踪方法，其特征在于，包括：

将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率；

其中，N大于等于4且N为2的倍数。

2.根据权利要求1所述的方法，其特征在于，根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图，包括：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

3.根据权利要求1所述的方法，其特征在于，根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图，包括：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；MP表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

4.根据权利要求1所述的方法，其特征在于，所述根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系，包括：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

5.根据权利要求1所述的方法，其特征在于，根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

6.根据权利要求5所述的方法，其特征在于，所述采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率，包括：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

8.一种目标跟踪装置，其特征在于，包括：

图像特征提取单元，用于将目标模板图像与待处理图像分割为多个大小为N×N的图像块，分别提取所述目标模板图像与所述待处理图像中各个图像块的图像特征；

第一相关特征图获取单元，用于根据所述目标模板图像与所述待处理图像中各个图像块的图像特征获取所述目标模板图像中各个大小为N×N的图像块的相关特征图；

第二相关特征图获取单元，用于根据所述目标模板图像中各个图像块的位置关系，获取不同尺度下的图像块的相关特征图；

图像块对应关系获取单元，用于根据不同尺度下的图像块的相关特征图获取所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系；

目标跟踪单元，用于根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率；

其中，N大于等于4且N为2的倍数。

9.根据权利要求8所述的装置，其特征在于，所述第一相关特征图获取单元进一步用于：

根据如下公式将所述目标模板图像中的各个图像块与所述待处理图像中各个图像块进行卷积操作，获取所述目标模板图像中各个大小为N×N的图像块的相关特征图：

其中，表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块在t时刻的相关特征图；I_N,p表示所述目标模板图像中中心位置坐标为p的大小为N×N的图像块；I'表示所述待处理图像。

10.根据权利要求8所述的装置，其特征在于，所述第二相关特征图获取单元进一步用于：

采用如下公式根据四个大小为N/2×N/2的子图像块的相关特征图获取大小为N×N的图像块的相关特征图：

其中，C表示相关特征图，t表示时刻，N表示图像块的大小，p表示大小为N×N图像块的中心位置坐标；R_λ表示矫正操作，R_λ:C^t(.)→C^t(.)^λ，λ为常数；T_z表示平移操作，T_z:C^t(p′)→C^t(p′-z)，z表示平移量；S表示采样操作，S:C^t(p′)→C^t(2p′)；MP表示最大池化操作，M P:C^t(p′)→maxC^t(p′+m)，m∈{-1,0,1}²；s_i表示大小为N/2×N/2的子图像块相对于大小为N×N图像块的中心位置偏移；p'表示大小为N/2×N/2图像块的中心位置坐标。

11.根据权利要求8所述的装置，其特征在于，所述图像块对应关系获取单元进一步用于：

根据所述最大尺度下的图像块的相关特征图获取所述目标模板图像中最大尺度的图像块与所述待处理图像中最大尺度的图像块的对应关系；

采用如下公式根据所述目标模板图像与所述待处理图像中大小为N×N的图像块的对应关系获取大小为N/2×N/2图像块的对应关系：

其中，H表示对应关系；p表示大小为N×N图像块的中心位置坐标；p'表示大小为N/2×N/2图像块的中心位置坐标；表示所述目标模板图像中的大小为N×N图像块与所述待处理图像中的大小为N×N图像块的相似度。

12.根据权利要求8所述的装置，其特征在于，所述目标跟踪单元进一步用于：

采用加权投票机制根据所述目标模板图像中不同尺度的图像块与所述待处理图像中不同尺度的图像块的对应关系获取待追踪目标的中心位置和尺度变化率。

13.根据权利要求12所述的装置，其特征在于，所述目标跟踪单元进一步用于：

根据如下公式获取待追踪目标的中心位置：

其中，P^t表示所述待追踪目标的中心位置；L_i表示图像块的尺度；MAX表示图像块的最大尺度层；

根据如下公式获取待追踪目标的尺度变换率：

其中，S^t表示所述待追踪目标的尺度变换率。

14.根据权利要求8所述的装置，其特征在于，还包括：

可靠性确定单元，用于根据所述不同尺度下的图像块的相关特征图确定所述目标模板图像的可靠性值；

目标模板图像更新单元，用于当所述目标模板图像的可靠性值小于预设阈值时，更新所述目标模板图像。

15.一种电子设备，其特征在于，包括：处理器、存储器和总线；其中，

处理器和存储器通过总线完成相互间的通信；

处理器用于调用存储器中的程序指令，以执行权利要求1-7任一项所述的目标跟踪方法。

16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-7任一项所述的目标跟踪方法。