CN109493367B - 一种对目标对象进行跟踪的方法和设备 - Google Patents

Abstract

本发明公开了一种对目标对象进行跟踪的方法和设备，用以解决现有技术中存在的对于快速运动的目标对象，目标对象的位置估计不准确的问题。本发明实施例，首先根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中确定目标对象在当前帧图像中的第一位置，再以该第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果确定目标区域，最后根据目标区域确定当前帧图像中目标对象的尺寸和位置。由于在当前帧的图像中确定目标对象的第一位置，然后在以第一位置为中心得到的多个区域进行核相关滤波目标检测，从而当目标对象快速运动时，使目标对象在当前帧图像中的位置估计更准确。

Description

一种对目标对象进行跟踪的方法和设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种对目标对象进行跟踪的方法和设备。

背景技术

目标跟踪是根据前帧或者历史帧图像中的目标信息确定当前帧图像中的目标对象的位置、外接包围盒、轨迹等信息，从而达到对目标对象的定位和预测的作用。

对目标对象进行跟踪是，采用目标跟踪算法对目标对象进行定位。核相关滤波算法是一种鲁棒的目标跟踪算法，通过傅里叶变换将时域的相关运算转换为频域的点积运算，加速了运算过程，同时采用多通道特征提升了目标跟踪算法的鲁棒性。

核相关滤波算法最大的优点就是保证高精度的同时实时性好，但核相关滤波算法也有自身的缺陷，对于快速运动的目标对象，目标对象的位置跳变较大，而核相关滤波跟踪器的搜索位置是以前一帧图像目标对象的位置为中心的2～3倍范围内，如果目标对象离搜索区域的位置较远，此时给搜索区域样本加余弦窗后会损失部分目标对象的信息，导致目标位置估计不准确，即产生边界效应。

发明内容

本发明提供一种对目标对象进行跟踪的方法和设备，用以解决现有技术中存在对于快速运动的目标对象，目标对象的位置估计不准确的问题。

第一方面，本发明实施例提供的一种对目标对象进行跟踪的方法，包括：

根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

上述方法，先从当前帧图像的搜索区域中的搜索位置处选择目标搜索位置，再根据选择的目标搜索位置确定该目标对象在当前帧图像中的第一位置，然后在当前帧图像中的该第一位置处进行核相关滤波目标检测，确定目标对象在当前帧图像中的位置，由于在当前图像中的第一位置处进行核相关滤波目标检测，确定目标对象的位置，从而当目标对象快速运动时，使目标对象在当前帧图像中的位置估计准确。

在一种可能的实现方式中，所述根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置，包括：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

在该方法中，首先提取任意一个搜索位置对应的区域的颜色特征，然后将该颜色特征与模板的颜色特征进行相似性度量，得到搜索位置对应的相似度，最后选择相似度大于阈值的前N个搜索位置，从而确定目标搜索位置。

在一种可能的实现方式中，所述根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置之前，还包括：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

在该方法中，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置之前，还需要根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域，再在当前帧图像的搜索区域中等间隔设置M个搜索位置，从而在M个搜索位置对应的区域中提取颜色特征。

在一种可能的实现方式中，所述根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置，包括：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前帧图像中的第一位置。

在该方法中，选择了目标搜索位置后，对选择的目标搜索位置进行线性加权处理，得到目标对象在当前帧图像中的第一位置，从而在第一位置处进行核相关滤波目标检测，确定目标对象在当前帧图像中的位置。

在一种可能的实现方式中，所述对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域，包括：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数以所述第一位置为中心对多个目标对象尺寸进行扩大处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量后，对所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域。

在该方法中，对以第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域，从而根据目标区域确定当前帧图像中目标对象的尺寸和位置。

在一种可能的实现方式中，所述对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量，包括：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

在该方法中，对2p维方向敏感特征向量进行归一化处理，对称性处理，阈值截取后降维处理，最后得到(3p+4)维特征向量，由于根据方向对称性对2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量，无需计算π范围内的p维特征向量，也无需对p维特征向量进行归一化处理，从而节省运算的时间。

在一种可能的实现方式中，所述根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置之后，还包括：

根据所述目标区域的检测响应图，确定APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象未被遮挡根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

在该方法中，首先确定目标对象是否被遮挡，如果未被遮挡，则更新颜色模板、核相关模型以及目标对象的位置和尺寸，如果被遮挡，则根据连续帧图像中的目标对象对应的图像判断当前帧图像中的目标对象对应的图像是否被完全遮挡，如果被完全遮挡，则丢弃该目标对象，如果不是被完全遮挡，则更新目标对象的位置和尺寸，从而使遮挡判断更加准确。

第二方面，本发明实施例还提供一种对目标对象进行跟踪的设备，该设备包括：至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

在一种可能的实现方式中，所述处理单元具体用于：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

在一种可能的实现方式中，所述处理单元还用于：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

在一种可能的实现方式中，所述处理单元具体用于：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置。

在一种可能的实现方式中，所述处理单元具体用于：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数对多个目标对象尺寸进行扩大处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征确定所述区域的(3p+5)维特征向量后，对所述区域的(3p+5)维向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域。

在一种可能的实现方式中，所述处理单元具体用于：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

在一种可能的实现方式中，所述处理单元还用于：

根据所述目标区域的检测响应图，确定APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象未被遮挡根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

第三方面，本发明实施例还提供一种对目标对象进行跟踪的设备，该设备包括：

选择模块：用于根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

第一确定模块：用于根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

检测模块：用于对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

第二确定模块：用于根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

第四方面，本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。

另外，第二方面至第四方面中任一一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种对目标对象进行跟踪的方法的流程示意图；

图2为本发明实施例提供的前一帧图像中目标对象的位置和尺寸的示意图；

图3为本发明实施例确定搜索区域的示意图；

图4为本发明实施例在搜索区域中等间隔设置的搜索位置的示意图；

图5为本发明实施例在当前帧图像中的搜索区域中确定的搜索位置对应的区域；

图6为本发明实施例以第一位置为中心，目标对象尺寸为大尺寸的示意图；

图7为本发明实施例以第一位置为中心，目标对象尺寸为中尺寸的示意图；

图8为本发明实施例以第一位置为中心，目标对象尺寸为小尺寸的示意图；

图9为本发明实施例目标对象尺寸为大尺寸时对应的区域的示意图；

图10为本发明实施例目标对象尺寸为中尺寸时对应的区域的示意图；

图11为本发明实施例目标对象尺寸为小尺寸时对应的区域的示意图；

图12为本发明实施例将目标对象尺寸为中尺寸时对应的区域划分为4*4个细胞单元的示意图；

图13为本发明实施例采用椭圆掩膜对残差能量图进行抑制的示意图；

图14本发明实施例提供的一种对目标对象进行跟踪的完整方法的流程示意图；

图15为本发明实施例提供的第一种对目标对象进行跟踪的设备的结构示意图；

图16为本发明实施例提供的第二种对目标对象进行跟踪的设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

目前，对目标对象进行跟踪时，需要根据前一帧图像中目标对象的位置和目标对象的尺寸，确定当前帧图像中目标对象的位置和目标对象的尺寸。在根据前一帧图像中目标对象的位置确定当前帧图像中目标对象的位置时，在前一帧图像中目标对象的位置处进行核相关滤波目标检测，从而确定目标对象在当前帧图像中的位置。

如果目标对象是快速运动的物体，则在前一帧图像中目标对象的位置处进行核相关滤波目标检测时，有可能会损失部分目标对象的信息，导致目标对象在当前帧图像中估计的位置不准确。

为了解决使快速运动的目标对象位置估计不准确的问题，本发明首先在当前帧图像中确定一个第一位置，然后在第一位置处进行核相关滤波目标检测，从而精确的确定出目标对象在当前帧图像中的位置和尺寸。

在当前帧图像中确定第一位置时，首先根据当前帧图像中的搜索区域在当前帧图像中选择目标搜索位置，再根据选择的目标位置在当前帧图像中确定第一位置。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

针对上述应用场景，本发明实施例提供一种对目标对象进行跟踪的方法，如图1所示，该方法具体包括如下步骤：

S100、根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

S101、根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

S102、对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

S103、根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

本发明实施例中，首先根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置，然后根据选择的目标搜索位置确定目标对象在当前帧图像中的第一位置，再以该第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域，最后根据目标区域确定当前帧图像中目标对象的尺寸和位置。由于先在当前帧的图像中确定目标对象的第一位置，然后在以第一位置为中心得到的多个区域中进行核相关滤波目标检测，从而当目标对象快速运动时，使目标对象在当前帧图像中的位置估计更准确。

在实施中，首先在前一帧图像中确定目标对象的位置和尺寸，如图2所示，为前一帧图像中目标对象的位置和尺寸的示意图，图2中，阴影区域为前一帧图像中目标对象的外接矩形，该外接矩形的长度和宽度为目标对象的尺寸，假设目标对象的尺寸为宽w，高h；阴影区域的中心表示目标对象在前一帧图像中的位置，(x1，y1)。

需要说明的是，本发明实施例中目标对象的尺寸可以为目标对象外接矩形的长和宽，目标对象的位置是目标对象外接矩形中心的位置。

在前一帧图像中确定了目标对象的位置和尺寸后，根据目标对象的位置和尺寸，在当前帧图像中确定搜索区域。

具体的，当前帧图像中的搜索区域为以目标对象在前一帧图像中的位置为中心，以前一帧图像中目标对象尺寸的2～3倍的延拓区域。也就是说，在当前帧图像中，以前一帧目标对象的位置为中心，向矩形的四个方向延伸目标对象的尺寸的2～3倍。下面结合图3进行说明。

本发明实施例中，搜索区域为目标对象尺寸的2倍为例进行说明。在具体实施中，可以根据实际需要确定倍数。

图3为本发明实施例确定搜索区域的示意图，图3中，目标对象的尺寸为宽w，高h，目标对象的位置为(x1，y1)，根据目标对象尺寸的2倍确定搜索区域，所以，以(x1，y1)为中心确定的搜索区域的宽为2w，高为2h。图3中虚线框为在当前图像中确定的以(x1，y1)为中心，宽为2w，高为2h的矩形，该矩形为搜索区域。

需要说明的是，图2为前一帧图像，图3为当前帧图像，前一帧图像和当前帧图像的背景可以相同，也可以不同。

在当前帧图像中确定了搜索区域后，在该搜索区域中等间隔设置M个搜索位置，其中M为正整数。

这里的在搜索区域中等间隔设置M个搜索位置，设置的M个搜索位置，两个搜索位置之间行间距相同，列间距相同，处于搜索区域边缘的搜索位置，各处于搜索区域边缘的搜索位置距离搜索区域行边缘距离相同，距离搜索区域列边缘的距离相同。

下面以图4为例对搜索区域中等间隔设置的搜索位置进行说明。

图4为本发明实施例搜索区域中等间隔设置的搜索位置的示意图。图4中，“×”代表一个搜索位置，在虚线框内共等间隔设置了16个搜索位置，其中每行有4个搜索位置，每列有4个搜索位置。在每行中，搜索位置和搜索位置之间的行距离相同，处于搜索区域边缘的两行中的8个搜索位置，每个搜索位置距离搜索区域的行边缘的距离相同，每个搜索位置距离搜索区域的列边缘的距离相同；在每列中，搜索位置和搜索位置之间的列距离相同，处于搜索区域边缘的两列中的8个搜索位置，每个搜索位置距离搜索区域的行边缘的距离相同，每个搜索位置距离搜索区域的列边缘的距离相同。

在当前帧图像中的搜索区域的搜索位置确定后，提取每个搜索位置对应的区域中的颜色特征，将提取的每个搜索位置对应的区域的颜色特征与模板的颜色特征进行相似性度量，根据每个搜索位置对应的区域的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中选择目标搜索位置。

需要说明的是，每个搜索位置对应的区域为以该位置为中心，以目标对象的尺寸为参考确定的区域。

比如，如图5所示，为在当前帧图像中的搜索区域中确定的搜索位置对应的区域，图5中，横线阴影区域为搜索位置(x2，y2)对应的区域，该区域与前一帧图像中目标对象的尺寸相同，宽为w，高为h的矩形。

这里的模板是根据本次进行目标跟踪之前确定的目标对象的尺寸和位置进行更新后的模板，每次进行目标跟踪后，如果确定的目标对象没有被遮挡，则根据确定的目标对象的尺寸和位置对模板进行更新。

具体的，在每个搜索位置处提取颜色直方图特征P_i，并将提取的颜色特征P_i与模板的颜色特征P_m进行比较，得到搜索位置对应的相似度。

在实施中，计算每个搜索位置处的相似度时可以根据下列公式进行计算：

sim_i＝1-D(P_i,P_m)

其中，sim_i为位置i处的相似度，P_i为i位置处提取的颜色特征，P_m为模板的颜色特征，D为直方图度量函数。

本发明实施例中直方图度量函数D可以采用欧式距离。

每个搜索位置处的相似度确定后，从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

比如在前一帧图像的搜索区域中有16个搜索位置，16个搜索位置的颜色特征与模板的颜色特征的相似度分别为0.2，0.2，0.2，0.2，0.3，0.3，0.3，0.4，0.4，0.5，0.5，0.7，0.7，0.7，0.8，0.8，假如阈值为0.6，则16个相似度中，大于阈值0.6的个数为5，分别为0.7，0.7，0.7，0.8，0.8。假设N为3，则取前3个相似度，分别为0.8，0.8，0.7。

如果大于阈值的相似度的个数为2个，而N为3，则从当前帧图像的搜索区域中的搜索位置选择相似度大于阈值的两个相似度对应的位置。

需要说明的是，本发明实施例中相似度大于阈值的搜索位置可能为0，比如在前一帧图像的搜索区域中有16个搜索位置，16个搜索位置的颜色特征与模板的颜色特征的相似度分别为0.2，0.2，0.2，0.2，0.3，0.3，0.3，0.4，0.4，0.5，0.5，0.7，0.7，0.7，0.8，0.8，假如阈值为0.9，则16个相似度中，没有大于阈值0.9的相似度，所以相似度大于阈值的搜索位置为0。

当相似度大于阈值的搜索位置为0时，则在当前帧图像中的搜索区域中进行核相关滤波目标检测。

如果相似度大于阈值的搜索位置不为0，则从当前帧图像的搜索区域的搜索位置选择目标搜索位置后，根据选择的目标搜索区域，在当前帧图像中确定第一位置。

在实施中，在当前帧图像中确定第一位置的方式可以为，将选择的目标搜索位置进行线性加权处理，得到目标对象在当前帧图像中的第一位置。

将选择的目标搜索位置进行线性加权处理时，首先根据下列公式计算加权系数：

其中，a_i为搜索位置i处的相似度与选择的所有目标搜索位置的相似度的和的比值，即加权系数；

为符合条件的搜索位置的相似度的和；

根据上式计算完加权系数后，根据下列公式计算第一位置：

其中，(x_m,y_m)为确定的第一位置，(x_i,y_i)为i处的位置。

在当前帧图像中确定了第一位置后，对以第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域。

具体的，根据前一帧图像中的目标对象的信息，以第一位置为中心得到多个目标对象的尺寸，其中前一帧图像中的目标对象的信息包括目标对象在前一帧图像中的尺寸和位置。

下面结合附图对目标对象的信息以及以第一位置为中心得到多个目标对象的尺寸进行说明。

图2为前一帧图像，在前一帧图像中，目标对象的位置为(x1,y1)，目标对象的尺寸为宽w，高h。

本发明实施例中，以3个目标对象的尺寸为例进行说明，3个目标对象的尺寸分别为大中小3个尺寸，之所以有3个目标对象的尺寸，是为了适应目标对象的尺寸变化，比如，相比前一帧图像中的目标对象，在当前帧或后续帧中，目标对象可能变大了，也可能变小了，目标对象的尺寸相对也变化了，但搜索区域仍然是目标对象的尺寸的2～3倍。当前帧中的目标对象是前一帧图像中的目标对象，当前帧中目标对象可能会发生三种变化，尺寸变大、不变和变小。

其中目标对象尺寸变大对应大尺寸的目标对象，大尺寸的目标对象为前一帧图像中的目标对象的尺寸扩大0.5倍；目标对象尺寸不变对应中尺寸的目标对象，中尺寸的目标对象为前一帧图像中的目标对象的尺寸；目标对象尺寸变小对应小尺寸的目标对象，小尺寸的目标对象为前一帧图像中的目标对象的尺寸缩小0.5倍。

需要说明的是，以上的0.5倍只是举例说明，在实施中扩大和缩小的倍数可以根据实际情况而定，本申请不做限制。

如图6所示为本发明实施例以第一位置为中心，目标对象尺寸为大尺寸的示意图。图6中的目标对象为图2中前一帧图像中的目标对象，在当前帧中，假设目标对象变大了，阴影区域的矩形框为预先设置的大尺寸的目标对象的尺寸。从图2中可以得到前一帧图像中目标对象为宽w，高h的矩形，由于大尺寸的目标对象为前一帧图像中目标对象的尺寸扩大0.5倍，所以图6中的目标对象，目标对象的位置为第一位置，(x3,y3)，目标对象的尺寸为图6中阴影矩形的尺寸，宽1.5w，高1.5h。

如图7所示为本发明实施例以第一位置为中心，目标对象尺寸为中尺寸的示意图。图7中的目标对象为图2中前一帧图像中的目标对象，在当前帧中，假设目标对象没有发生变化，阴影区域的矩形框为预先设置的中尺寸的目标对象的尺寸。从图2中可以得到前一帧图像中目标对象为宽w，高h的矩形，由于中尺寸的目标对象为前一帧图像中目标对象的尺寸，所以图7中的目标对象，目标对象的位置为第一位置，(x3,y3)，目标对象的尺寸为图7中阴影矩形的尺寸，即宽w，高h。

如图8所示为本发明实施例以第一位置为中心，目标对象尺寸为小尺寸的示意图。图8中的目标对象为图2中前一帧图像中的目标对象，在当前帧中，假设目标对象变小了，阴影区域的矩形框为预先设置的小尺寸的目标对象的尺寸。从图2中可以得到前一帧图像中目标对象为宽w，高h的矩形，由于小尺寸的目标对象为前一帧图像中目标对象的尺寸缩小0.5倍，所以图8中，目标对象的位置为第一位置，(x3,y3)，目标对象的尺寸图8中阴影矩形的尺寸，即宽0.5w，高0.5h。

以当前帧图像的第一位置为中心得到的3个目标对象尺寸后，根据设定的扩大倍数对多个目标对象尺寸进行扩大处理，得到多个区域。

其中，设定的扩大倍数可以是对应的目标对象尺寸的2～3倍，本发明实施例中的扩大倍数为2倍。

需要说明的是，以上扩大倍数为2倍只是举例说明，在实施中扩大倍数可以根据实际情况而定，本申请不做限制。

根据设定的扩大倍数对多个目标对象尺寸进行扩大处理，得到的多个区域是以第一位置为中心的区域。

下面根据附图对得到的多个区域进行说明。

图9为本发明实施例目标对象为大尺寸时对应的区域的示意图。图9中，目标对象的尺寸为宽1.5w，高1.5h，也就是图6中的目标对象的尺寸，若对图6中的目标对象的尺寸进行2倍的扩大处理，得到大尺寸目标对象对应的区域，则大尺寸目标对象对应的区域的为宽3w，高3h。图9中虚线框为目标对象尺寸为大尺寸时对应的区域，以第一位置(x3,y3)为中心，宽为3w，高为3h的矩形。

图10为本发明实施例目标对象尺寸为中尺寸时对应的区域的示意图。图10中，目标对象的尺寸为宽w，高h，也就是图7中的目标对象的尺寸，若对图7中的目标对象的尺寸进行2倍的扩大处理，得到中尺寸目标对象对应的区域，则中尺寸目标对象对应的区域的为宽2w，高2h。图10中虚线框为目标对象尺寸为中尺寸时对应的区域，以第一位置(x3,y3)为中心，宽为3w，高为3h的矩形。

图11为本发明实施例目标对象尺寸为小尺寸时对应的区域的示意图。图11中，目标对象的尺寸为宽0.5w，高0.5h，也就是图8中的目标对象的尺寸，若对图8中目标对象的尺寸进行2倍的扩大处理，得到小尺寸目标对象对应的区域，则小尺寸目标对象对应的区域的为宽w，高h。图11中虚线框为小尺寸目标对象对应的区域，以第一位置(x3,y3)为中心，宽为w，高为h的矩形。

得到多个区域后，由于要对多个区域进行方向投影，所以需要将多个区域进行归一化，得到归一化区域，然后再针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量。

本发明实施中，以3个区域为例进行说明，即大中小三个尺寸在当前图像中对应的区域。

为了计算梯度，采用差分算子[-1,0,1]和[-1,0，1]^T对图像进行滤波。

在实施中，分别计算每个区域中每个像素点的RGB三通道图像的梯度方向和梯度幅值，保留三通道中梯度幅值最大的梯度。将该像素点的梯度幅值最大的梯度对应的梯度方向进行方向投影。

对梯度幅值最大的梯度对应的梯度方向进行方向投影时，可以根据以下公式进行方向投影：

其中，B₁(x,y)为在(x,y)坐标处梯度方向量化值；round为四舍五入取整函数；p为预设的方向值，θ(x,y)为位置(x,y)处的梯度方向；mod为取余数函数。

需要说明的是，对每个像素的梯度方向进行投影时，预先设置投影方向为p，即在0～180度内将方向划分为p等分，每等分对应180/p度，将梯度方向在0～360度即2p范围内投影，得到量化后的梯度方向值。

得到每个区域中每个像素点的梯度方向量化值后，将每个区域划分为多个细胞单元cell，比如将区域划分为4*4个细胞单元或6*6个细胞单元。

本发明实施例将区域划分为4*4个细胞单元。如图12所示，为本发明实施例将目标对象尺寸为中尺寸时对应的区域划分为4*4个细胞单元，划分的16个细胞单元是相同大小的。

将每个区域划分为多个细胞单元后，将所述cell内的每个像素的梯度方向值和最大梯度幅值进行直方统计处理，得到2p维方向敏感特征向量。

为了加快梯度计算和方向投影计算，可以通过查表实现。

比如8位深的图像，其像素值的范围为0～255，通过差分后，x和y的差分值表示的范围为-255～255，共511个数，如梯度(-255,23)，对应的方向计算方法：angle＝arctan(23/(-255)),然后将angle按照此时

来量化，得到量化后的方向，幅值的计算m＝sqrt((-255)*(-255)+23*23)，需要乘方和开方运算，但由于每个梯度对应的幅值和方向是唯一的，且差分结果在有限范围内(即-255～255)，因此将-255～255范围内的所有梯度方向和幅值提前算好，写在表中，按照哈希查表法进行查表，定义二维数组maxBinLUT[511][511]为梯度方向查表，定义magnitudeLUT[256][256](这里之所以只有255个是因为(-255,23)、(-255,-23)、(255,-23)和(255,23)的开方结果都是一样的)为梯度幅值查表。

本发明实施例中，得到每个cell的2p维方向敏感特征向量后，为了增加梯度的抗扰性，将该2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量。

其中归一化因子定义为：

其中，N_δ,γ(i,j)为归一化因子；||C(i,j)||²为位置(i,j)处的特征值；||C(i+δ,j)||²为位置(i+δ,j)处的特征值；||C(i,j+γ)||²为位置(i,j+γ)处的特征值；||C(i+δ,j+γ)||²为位置(i+δ,j+γ)处的特征值。

得到2p*4维方向敏感特征向量后，根据方向对称性，将该2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量，再对2p*4维方向敏感特征向量和该p*4维方向不敏感特征向量分别进行阈值截取，得到(3p*4)维特征向量。

在实施中，为了抑制大梯度响应，对2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，截取公式如下：

其中，H(i,j)为(i,j)位置处归一化的特征向量；

为截取阈值。

通常

设为0.2。

得到(3p*4)维特征向量后，对(3p*4)维特征向量进行降维处理，得到3p维特征向量，再加4维梯度能量向量，得到(3p+4)维特征向量。

比如，p＝9，则3p*4＝108维特征向量，由于此时维数较高，且存在一定的冗余，在使用时不方便，所以可以按照PCA(Principal Component Analysis，主成分分析)的思想进行空间能量聚集，即将4个不同的归一化因子得到的特征向量进行加权求和，得到2p维方向敏感特征、p维方向不敏感特征以及4维梯度能量，即得到(3p+4)维特征向量。

由于梯度特征属于二阶特征，为了增强特征稳定性，对(3p+4)维向量进行特征稳定性处理，得到(3p+5)维向量，也就是在二阶特征的基础上再加一维一阶特征。

在实施中，采用RGB中的G分量作为一维一阶特征，因为人眼对G分量的敏感度最高。具体的提取方法为，在每个细胞单元的每个像素点中取G通道的最大值最为一维一阶特征，因此最后得到的特征维数为(3p+5)，若p设为9，则本发明实施例的特征维数为32维。

(3p+5)维向量确定后，根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量，再对所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据确定的检测响应图从多个区域中确定目标区域。

在实施中，比如有大中小三个尺寸的目标对象，每个尺寸的目标对象对应一个区域，根据得到的(3p+5)维特征向量对应的特征图确定三个区域的检测响应图，根据确定的三个检测响应图确定每个检测响应图中的最大响应值，假如大尺寸目标对象对应的检测响应图中的最大响应值为A，中尺寸目标对象对应的检测响应图中的最大响应值为B，小尺寸目标对象对应的检测响应图中的最大响应值为C，其中B>A>C，则中尺寸目标对象对应的检测响应图对应的响应值最大。

在中尺寸目标对象对应的检测响应图中确定最大值对应的位置，则该最大值对应的位置为目标对象在当前帧图像中的位置，中尺寸为目标对象在当前帧图像中的尺寸。

在当前帧图像中，目标对象的位置和尺寸确定后，还要判断确定的目标对象是否被遮挡。

在实施中，判断目标对象是否被遮挡，首先根据目标区域对应的检测响应图，确定APCE(Average Peak to Correlation Energy，平均峰值相关能量)。

在实施中，计算APCE可以根据以下公式：

其中，F_max为检测响应图的最大响应值，F_min为检测响应图的最小响应值，F_w,h为检测响应图中位置为(w，h)处的响应值，mean函数为平均值函数。

APCE确定后，判断APCE是否大于第一阈值，如果是，则判断该目标对象未被遮挡，根据所述APCE对颜色模型、核相关模型以及所述目标对象的位置和尺寸进行更新；

如果APCE不大于第一阈值，则判断该目标对象发生遮挡、形变、丢失等情况，进一步判断目标对象是否被遮挡。

其中，APCE可以反映检测响应图的震荡程度，当APCE突然减小时，表示跟踪的置信度降低，此时的目标对象可能发生遮挡、形变或丢失等情况。

由于目标对象发生遮挡、形变或丢失的情况都会使APCE突然减小，所以为了确定目标对象被遮挡，则还需要进一步确定。

当APCE小于第一阈值时，将目标对象的图像与目标模板进行差分，得到差分图，将得到的差分图进行分块后，统计每个块的残差能量，判断每个块的残差能量是否大于第二阈值，如果是，则确定该块对应的图像被遮挡。

需要说明的是，由于此时当前帧图像中目标对象已经确定，所以这里的目标对象的图像是根据确定的当前帧图像中的目标对象提取出来的，目标对象的图像只包含目标对象的目标区域，且不含背景图像；

为了抑制矩形模板变边角的噪声，本发明实施例采用椭圆掩膜对残差能量图进行抑制，具体如图13所示。

在图13中，首先将目标对象对应的图像和目标模板进行差分，得到的差分图采用椭圆掩膜进行抑制，最后得到分块的差分图。

判断每个块对应的图像是否被遮挡后，如果被遮挡的图像对应的块数大于第三阈值，则确定该目标对象对应的图像被遮挡。

比如，将差分图像进行分块，分为16块，如果残差能量大于阈值的块数有15块，假设第三阈值为7，此时残差能量大于预知的块数大于第三阈值，则判断该目标对象对应的图像被遮挡。

当前帧目标对象对应的图像被遮挡，还不能判定该目标对象对应的图像被完全遮挡，还需要判断在当前帧图像之前的连续K帧图像是否被遮挡，如果是，则确定当前帧图像中目标对象对应的图像被完全遮挡。

比如K为5，在当前帧图像中目标对象对应的图像被遮挡，且在当前帧之前的5帧图像中目标对象对应的图像都被遮挡，则确定当前帧图像中的目标对象对应的图像被完全遮挡。

如图14所示，为本发明实施例一种对目标对象进行跟踪的完整方法的流程示意图。

步骤1400、获取图像；

步骤1401、目标初始化，确定获取的图像中目标对象的位置和尺寸；

步骤1402、根据确定的图像中目标对象的位置和尺寸在当前帧图像中确定搜索区域；

步骤1403、在搜索区域内设置N*N个搜索位置；

步骤1404、提取搜索区域中每个位置对应的区域的颜色特征；

步骤1405、将提取的颜色特征与模板的颜色特征进行比较，得到搜索位置对应的相似度；

步骤1406、在搜索区域中的所有搜索位置中选择符合条件的搜索位置；

步骤1407、对符合条件的搜索位置进行线性加权，得到目标对象在当前帧图像中的第一位置；

步骤1408、在第一位置处确定多个区域，并进行核相关滤波目标检测；

步骤1409、得到多个区域的检测响应图；

步骤1410、针对任意一个区域的检测响应图，确定最大响应值；

步骤1411、在多个检测响应图中确定的多个最大响应值中确定最大值；

步骤1412、将确定的最大值对应的检测响应图中的尺寸和最大位置作为目标对象在当前帧图像中的尺寸和位置；

步骤1413、根据确定的目标对象的尺寸和位置确定目标对象在获取的图像中的当前帧中的图像；

步骤1414、计算确定的检测响应图对应的APCE，若APCE大于第一阈值，则执行步骤1415，否则执行步骤1417；

步骤1415、更新颜色模型；

步骤1416、更新核相关模型，执行1428；

步骤1417、将目标对象对应的图像与目标模板进行差分，得到差分图；

步骤1418、将差分图进行分块，统计每个块的差分能量；

步骤1419、判断差分能量是否大于第二阈值，若是，则执行步骤1421，否则执行步骤1420；

步骤1420、该块对应的图像被遮挡；

步骤1421、该块对应的图像未被遮挡；

步骤1422、确定被遮挡的图像的块数；

步骤1423、判断被遮挡的图像的块数大于第三阈值，若是，则执行步骤1424，否则执行步骤1415；

步骤1424、目标对象对应的图像被遮挡；

步骤1425、判断当前帧之前的连续K帧图像是否被遮挡，如果是，则执行步骤1426，否则执行步骤1428；

步骤1426、目标对象被完全遮挡；

步骤1427、丢弃该目标对象，结束；

步骤1428、更新目标对象的尺寸和位置；

步骤1429、判断是否是最后一帧图像，若是，则结束，否则，执行步骤1400。

基于同一发明构思，本发明实施例中还提供了一种对目标对象进行跟踪的设备，由于该设备对应的方法是本发明实施例一种对目标对象进行跟踪的方法，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图15所示，本发明实施例提供的第一种对目标对象进行跟踪的设备，包括：至少一个处理单元1500、以及至少一个存储单元1501，其中，所述存储单元1501存储有程序代码，当所述程序代码被所述处理单元1500执行时，使得所述处理单元1500执行下列过程：

根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

可选的，所述处理单元1100具体用于：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

可选的，所述处理单元1100还用于：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

可选的，所述处理单元1100具体用于：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置。

可选的，所述处理单元1100具体用于：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数以所述第一位置为中心对多个目标对象尺寸进行扩大处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量后，对所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域。

可选的，所述处理单元1100具体用于：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

可选的，所述处理单元1100还用于：

根据所述目标区域的检测响应图，确定APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象对应的图像未被遮挡，根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

基于同一发明构思，本发明实施例中还提供了一种对目标对象进行跟踪的设备，由于该设备对应的方法是本发明实施例一种对目标对象进行跟踪的方法，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图16所示，为本发明实施例提供的第二种对目标对象进行跟踪的设备，包括选择模块1600、位置确定模块1601、检测模块1602和目标确定模块1603；

选择模块1600：用于根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

位置确定模块1601：用于根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

检测模块1602：用于对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

目标确定模块1603：用于根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置。

可选的，所述选择模块1600具体用于：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

可选的，所述位置确定模块1601还用于：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

可选的，所述位置确定模块1601具体用于：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置。

可选的，所述检测模块1602具体用于：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数以所述第一位置为中心对多个目标对象尺寸进行扩大处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量后，对根据所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域。

可选的，所述检测模块1602具体用于：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

可选的，所述目标确定模块1603还用于：

根据所述目标区域的检测响应图，确定APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象对应的图像未被遮挡，根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

本发明实施例还提供一种进行同步的一种对目标对象进行跟踪的可读存储介质，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行对目标对象进行跟踪的方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种对目标对象进行跟踪的方法，其特征在于，该方法包括：

根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置；

其中，所述根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置，包括：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置；其中，根据下列公式计算加权系数：

其中，a_i为搜索位置i处的相似度与选择的所有目标搜索位置的相似度的和的比值，即加权系数；

为符合条件的搜索位置的相似度的和；

根据下列公式计算第一位置：

其中，(x_m,y_m)为确定的第一位置，(x_i,y_i)为i处的位置。

2.如权利要求1所述的方法，其特征在于，所述根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置，包括：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

3.如权利要求2所述的方法，其特征在于，所述根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置之前，还包括：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

4.如权利要求1～3任一所述的方法，其特征在于，所述对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域，包括：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数以所述第一位置为中心对多个目标对象尺寸进行扩大处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量后，对所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域；其中，p为预设的方向值。

5.如权利要求4所述的方法，其特征在于，所述对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量，包括：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

6.如权利要求4所述的方法，其特征在于，所述根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置之后，还包括：

根据所述目标区域的检测响应图，确定平均峰值相关能量APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象对应的图像未被遮挡，根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

7.一种对目标对象进行跟踪的设备，其特征在于，该设备包括：至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置；

所述处理单元具体用于：

将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置；其中，根据下列公式计算加权系数：

其中，a_i为搜索位置i处的相似度与选择的所有目标搜索位置的相似度的和的比值，即加权系数；

为符合条件的搜索位置的相似度的和；

根据下列公式计算第一位置：

其中，(x_m,y_m)为确定的第一位置，(x_i,y_i)为i处的位置。

8.如权利要求7所述的设备，其特征在于，所述处理单元具体用于：

针对任意一个搜索位置，在所述搜索位置对应的区域中提取颜色特征，并将提取的颜色特征与模板的颜色特征进行相似性度量，得到所述搜索位置对应的相似度；

从当前帧图像的搜索区域中的搜索位置选择对应的相似度大于阈值的前N个搜索位置。

9.如权利要求8所述的设备，其特征在于，所述处理单元还用于：

根据前一帧图像中目标对象的位置，在当前帧图像中确定所述当前帧图像的搜索区域；

从所述当前帧图像的搜索区域中等间隔设置M个搜索位置，其中M为正整数。

10.如权利要求7～9任一所述的设备，其特征在于，所述处理单元具体用于：

根据前一帧图像中的目标对象的尺寸，在当前帧图像中以所述第一位置为中心得到的多个目标对象尺寸；

根据设定的扩大倍数对多个目标对象尺寸进行处理，在当前帧图像中得到多个区域；

将当前帧图像中的所述多个区域进行归一化后，针对任意一个归一化后的区域，将所述归一化后的区域中每个像素点中梯度幅值最大的颜色通道对应的梯度方向在360度范围内按2p个投影方向进行量化，得到所述归一化后的区域的2p维方向敏感特征向量；

将每个所述归一化后的区域划分为多个细胞单元cell；

针对任意一个cell，根据所述cell对应的所述归一化后的区域的2p维方向敏感特征向量，得到所述cell的2p维方向敏感特征向量；

对所述2p维方向敏感特征向量进行归一化并降维处理，得到(3p+4)维特征向量；

将所述(3p+4)维特征向量增加一维G分量特征，得到(3p+5)维特征向量；

根据所述(3p+5)维特征向量确定所述区域的(3p+5)维特征向量后，对所述区域的(3p+5)维特征向量对应的特征图进行核相关滤波运算，得到所述区域对应的检测响应图，并根据所述检测响应图从多个区域中确定目标区域；其中，p为预设的方向值。

11.如权利要求10所述的设备，其特征在于，所述处理单元具体用于：

将所述2p维方向敏感特征向量根据4个不同的归一化因子进行归一化处理，得到2p*4维方向敏感特征向量；

根据方向对称性对所述2p*4维方向敏感特征向量进行对称性处理，得到p*4维方向不敏感特征向量；

将所述2p*4维方向敏感特征向量和p*4维方向不敏感特征向量进行阈值截取，得到3p*4维特征向量；

对得到的所述3p*4维特征向量进行降维处理，得到3p维特征向量后，再加4维梯度能量向量，得到(3p+4)维特征向量。

12.如权利要求10所述的设备，其特征在于，所述处理单元还用于：

根据所述目标区域的检测响应图，确定APCE；

判断所述APCE是否大于第一阈值，如果是，则确定所述目标对象对应的图像未被遮挡，根据所述APCE更新颜色模型、核相关模型以及所述目标对象的位置和尺寸；

否则，将所述目标对象对应的图像与目标模板进行差分得到差分图后，将所述差分图进行分块，统计每个块的残差能量，并判断所述残差能量是否大于第二阈值，如果是，则确定所述块对应的图像被遮挡；

如果确定的所述块对应的图像被遮挡的块数大于第三阈值，则确定所述目标对象对应的图像被遮挡；

如果当前帧中目标对象对应的图像被遮挡，且在所述当前帧图像之前的连续K帧图像中目标对象对应的图像被遮挡，则确定所述当前帧中所述目标对象对应的图像被完全遮挡，停止更新所述目标对象的位置和尺寸；

否则根据所述APCE更新所述目标对象的位置和尺寸。

13.一种对目标对象进行跟踪的设备，其特征在于，该设备包括：

选择模块：用于根据当前帧图像的搜索区域中的搜索位置的颜色特征与模板的颜色特征的相似度，从当前帧图像的搜索区域中的搜索位置选择目标搜索位置；

位置确定模块：用于根据选择的所述目标搜索位置确定所述目标对象在当前帧图像中的第一位置；

检测模块：用于对以所述第一位置为中心得到的多个区域进行核相关滤波目标检测，根据检测结果从多个区域中确定目标区域；

目标确定模块：用于根据所述目标区域确定当前帧图像中所述目标对象的尺寸和位置；

其中，位置确定模块：具体用于将选择的所述目标搜索位置进行线性加权处理，得到所述目标对象在当前图像中的第一位置；其中，根据下列公式计算加权系数：

其中，a_i为搜索位置i处的相似度与选择的所有目标搜索位置的相似度的和的比值，即加权系数；

为符合条件的搜索位置的相似度的和；

根据下列公式计算第一位置：

其中，(x_m,y_m)为确定的第一位置，(x_i,y_i)为i处的位置。

14.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6任一所述方法的步骤。

Images