CN104182993B - 一种目标跟踪的方法 - Google Patents

Abstract

本发明公开了一种目标跟踪的方法，属于计算机领域。所述方法包括：获取视频当前帧图像中的运动目标的外接目标框，所述外接目标框为包含所述运动目标的图像的最小矩形框；根据所述外接目标框，获取包含所述运动目标的角点的图像和包含所述运动目标的扫描图像；根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置；在跟踪目标时不受外部环境变化的影响，不会丢失目标，提高了跟踪目标的准确性。

Description

一种目标跟踪的方法

技术领域

本发明涉及计算机领域，特别涉及一种目标跟踪的方法。

背景技术

随着计算机技术的飞速发展，目标跟踪技术已成为计算机视觉领域研究的新课题，其目前广泛应用于交通管制、医疗诊断、人机交互以及军事侦察等领域；通过目标跟踪技术，系统可以自动且快速得获取目标在视频或图像中的位置、大小和形状等信息。

目前，现有技术提供了一种目标跟踪的方法，可以为：选取一帧无运动目标的图像作为背景图像，对于当前获取的一帧图像，将该帧图像与背景图像相减，得到该帧图像包括的每个像素点分别与在背景图像中对应的像素点之间的差值，获取差值大于预设阈值的像素点，然后由此来判定获取的像素点为出现在运动目标上的像素点，根据获取的像素点确定目标的位置、大小和形状等。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

该方法非常依赖背景图像的高准确性，当外部环境变化时，例如光照变化、背景图像中景物改变以及摄像机镜头抖动等，此时背景图像将发生变化，很可能丢失目标，因此无法有效、准确的跟踪目标。

发明内容

为了提高跟踪目标的效率，本发明提供了一种方法、装置及设备。所述技术方案如下：

第一方面，一种目标跟踪的方法，所述方法包括步骤：

获取视频当前帧图像中的运动目标的外接目标框，所述外接目标框为包含所述运动目标的图像的最小矩形框；

根据所述外接目标框，获取包含所述运动目标的角点的图像和包含所述运动目标的扫描图像；

根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置；

其中所述方法中，根据所述外接目标框获取包含所述运动目标的扫描图像，包括步骤：

生成扫描窗口，并根据所述扫描窗口在所述外接目标框中获取多个不同的扫描图像；

从所述多个不同的扫描图像中获取包含前景图像的扫描图像；

分别计算所述运动目标的目标模型与每个所述包含前景图像的扫描图像之间的第一相关相似度，所述目标模型包括所述目标在所述当前帧图像之前的每帧图像中的外接目标框，所述第一相关相似度用于表示所述目标模型包括的外接目标框与所述包含前景图像的扫描图像之间的相似程度；

将第一相关相似度大于预设第二阈值的扫描图像作为包含所述运动目标的扫描图像。

结合第一方面，在第一方面的第一种可能的实现方式中，根据所述外接目标框，获取包含所述运动目标的角点的图像，包括步骤：

获取所述运动目标在前一帧图像中的角点集合，并将所述角点集合中的每个角点在所述前一帧图像中的位置作为第一位置集合，所述角点为图像中任意两条互不平行的直线边相交的交点或图像中亮度变化剧烈的点；

分别获取所述角点集合中的每个角点在所述当前帧图像中对应的位置，并组成第二位置集合；

分别获取所述第二位置集合中的每个位置在所述前一帧图像中对应的位置，并组成第三位置集合；

根据所述第一位置集合和所述第三位置集合获取包含所述运动目标的角点的图像。

结合第一方面，在第一方面的第二种可能的实现方式中，根据所述第一位置集合和所述第三位置集合获取包含所述运动目标的角点的图像，包括步骤：

分别获取所述第三位置集合中的每个第三位置在所述第一位置集合中对应的第一位置；

分别将所述第三位置集合中的每个位置与其在所述第一集合中对应的位置组成位置对；

根据所述位置对获取包含所述运动目标的角点的图像。

结合第一方面，在第一方面的第三种可能的实现方式中，从所述多个不同的扫描图像中获取包含前景图像的扫描图像，包括步骤：

对所述多个不同的扫描图像中的每个扫描图像包括的每个像素点进行积分，得到所述每个扫描图像包括的每个像素点的积分值；

根据所述每个扫描图像包括的每个像素点的积分值，计算所述每个扫描图像的积分方差；

将积分方差小于预设第三阈值的扫描图像作为所述包含前景图像的扫描图像。

结合第一方面，在第一方面的第四种可能的实现方式中，分别计算所述运动目标的目标模型与每个所述包含前景图像的扫描图像之间的第一相关相似度，包括步骤：

对于任一包含前景图像的扫描图像，分别计算每个包含前景图像的扫描图像与所述目标模型包括的外接目标框中的所述运动目标的图像之间的第一相似度，以及分别计算所述每个包含前景图像的与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第二相似度；

根据所述第一相似度和所述第二相似度计算所述运动目标的目标模型与所述任一包含前景图像的扫描图像之间的第一相关相似度。

结合第一方面，在第一方面的第五种可能的实现方式中，根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置，包括步骤：

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度，所述第一保守相似度用于表示包含所述运动目标的角点的图像与所述目标模型中前一半的外界目标框的相似程度；

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度，所述第二保守相似度用于表示包含所述运动目标的扫描图像与所述目标模型中前一半的外界目标框的相似程度；

如果所述第一保守相似度大于所述第二保守相似度，则将所述包含所述运动目标的角点的图像的位置作为所述运动目标在所述当前帧图像中的位置；

如果所述第一保守相似度小于或等于所述第二保守相似度，则将所述包含所述运动目标的扫描图像的位置作为所述运动目标在所述当前帧图像中的位置。

结合第一方面，在第一方面的第六种可能的实现方式中，计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度，包括步骤：

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型包括的外接目标框中的所述运动目标的图像之间的第三相似度；

计算所述包含所述运动目标的角点的图像与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第四相似度；

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型包括的前一半的外接目标框中的所述运动目标的图像之间的第五相似度；

根据所述第三相似度、所述第四相似度和所述第五相似度，计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度。

结合第一方面，在第一方面的第七种可能的实现方式中，计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度，包括步骤：

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型包括的外接目标框中的所述运动目标的图像之间的第六相似度；

计算所述包含所述运动目标的扫描图像与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第七相似度；

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型包括的前一半外接目标框中的所述运动目标的图像之间的第八相似度；

根据所述第六相似度、所述第七相似度和所述第八相似度，计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度。

结合第一方面，在第一方面的第八种可能的实现方式中，根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置之后，还包括：

根据所述外接目标框，获取所述目标的图像，以及获取所述目标的图像对应的背景图像；

将所述目标的图像和所述目标的图像对应的背景图像添加至所述目标的目标模型中。

在本发明中，构造运动目标在当前帧图像的外接目标框，根据外接目标框，获取包含该运动目标的角点的图像和包含该运动目标的扫描图像；根据包含所述运动目标的角点的图像和包含运动目标的扫描图像可以确定运动目标在当前帧图像中的位置，不受外部环境变化的影响，不会丢失目标，提高了跟踪目标的准确性。

附图说明

图1是本发明实施例1提供的一种目标跟踪的方法流程图；

图2-1是本发明实施例2提供的一种目标跟踪的方法流程图；

图2-2是本发明实施例2提供的一种外接目标框示意图；

图2-3是本发明实施例2提供的一种运动目标的角点示意图；

图2-4是本发明实施例2提供的一种扫描窗口示意图；

图2-5是本发明实施例2提供的一种像素点灰度值示意图；

图3是本发明实施例3提供的一种目标跟踪的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本发明实施例提供了一种目标跟踪的方法，该方法包括：

步骤101：获取视频当前帧图像中的运动目标的外接目标框，外接目标框为包含运动目标的图像的最小矩形框；

步骤102：根据外接目标框，获取包含运动目标的角点的图像和包含运动目标的扫描图像；

步骤103：根据包含运动目标的角点的图像和包含运动目标的扫描图像确定运动目标在当前帧图像中的位置。

其中，根据外接目标框获取包含运动目标的扫描图像，具体包括以下步骤：生成扫描窗口，并根据扫描窗口在外接目标框中获取多个不同的扫描图像；从多个不同的扫描图像中获取包含前景图像的扫描图像；分别计算运动目标的目标模型与每个包含前景图像的扫描图像之间的第一相关相似度，目标模型包括目标在当前帧图像之前的每帧图像中的外接目标框，第一相关相似度用于表示目标模型包括的外接目标框与包含前景图像的扫描图像之间的相似程度；将第一相关相似度大于预设第二阈值的扫描图像作为包含运动目标的扫描图像。

在本发明实施例1中，构造运动目标在当前帧图像的外接目标框，根据外接目标框，获取包含该运动目标的角点的图像和包含该运动目标的扫描图像；根据包含所述运动目标的角点的图像和包含运动目标的扫描图像可以确定运动目标在当前帧图像中的位置，不受外部环境变化的影响，不会丢失目标，提高了跟踪目标的准确性。

实施例2

参见图2-1，与实施例1相对应地，本发明实施例2提供了一种目标跟踪的方法，该方法包括：

步骤201：获取视频当前帧图像中的运动目标的外接目标框，外接目标框为包含该运动目标的图像的最小矩形框；

其中，在当前帧图像中，构造该运动目标的外接目标框，外接目标框是当前帧图像中包括该运动目标的图像的最小矩形框。

例如，假设该运动目标是个汽车，则该运动目标的外接目标框如图2-2所示。

步骤202：根据该运动目标的外接目标框，获取包含该运动目标的角点的图像，角点为图像中任意两条互不平行的直线边相交的交点或图像中亮度变化剧烈的点；

具体地，本步骤可以通过如下2021至2024的流程实现，包括：

2021：获取该运动目标在前一帧图像中的角点集合，并将该角点集合中的每个角点在前一帧图像中的位置作为第一位置集合；

例如，获取该汽车在前一帧图像中的角点如图2-3所示。

2022：分别获取该角点集合中的每个角点在当前帧图像中对应的位置，并组成第二位置集合；

其中，可以利用光流法分别获取该角点集合中的每个角点在当前帧图像中对应的位置。

2023：分别获取第二位置集合中的每个位置在前一帧图像中对应的位置，并组成第三位置集合；

其中，可以利用光流法分别获取第二位置集合中的每个位置在前一帧图像中对应的位置。

2024：根据第一位置集合和第三位置集合获取包含运动目标的角点的图像。

具体地，分别获取第三位置集合中的每个第三位置在第一位置集合中对应的第一位置；对于第三位置集合中的任一第三位置，将该第三位置与其对应的第一位置组成位置对；对于第三位置集合中其他每个第三位置，同样将其与其对应的第一位置组成位置对；根据组成的位置对获取包含该运动目标的角点的图像。

其中，在步骤2024中，根据组成的位置对获取包含该运动目标的角点的图像，包括：

计算每个位置对中第一位置与第三位置之间的距离；确定计算出的距离的平均距离，或将计算出的距离进行排序得到距离序列，获取处于距离序列最中间的距离；如果处于距离序列最中间的距离小于预设第一阈值或确定出的平均距离小于预设第一阈值，则将包含角点的最小区域作为包含该运动目标的角点的图像。

例如，分别计算出16个位置对中的每个位置对包括的两个位置之间的距离，且计算出平均距离为5像素，假设预设第一阈值为7像素，如此平均距离5像素小于预设第一阈值7像素，则将包含该16个角点围成的最小区域作为该汽车的角点图像。

步骤203：根据该运动目标的外接目标框，获取包含该运动目标的扫描图像；

具体地，本步骤可以通过如下2031至2034的流程实现，包括：

2031：生成扫描窗口，并根据该扫描窗口在外接目标框中获取多个不同的扫描图像；

例如，生成如图2-4的扫描窗口。

2032：从多个不同的扫描图像中获取包含前景图像的扫描图像；

具体地，对多个不同的扫描图像中的任一扫描图像，对该扫描图像包括的每个像素点进行积分，得到该扫描图像包括的每个像素点的积分值；对于该多个不同的扫描图像中的其他扫描图像，同样执行上述操作，得到每个扫描图像包括的每个像素点的积分值；根据每个扫描图像包括的每个像素点的积分值，计算每个扫描图像的积分方差；将积分方差小于预设第三阈值的扫描图像作为包含前景图像的扫描图像。

其中，在步骤2032中，对该扫描图像包括的每个像素点进行积分，得到该扫描图像包括的每个像素点的积分值，包括：

对于该扫描图像包括的任一像素点，以该像素点为顶点，沿水平方向向左做一条直线，与该扫描图像的边界相交得到一交点，沿竖直方向向上做一条直线与该扫描图像的边界相交得到另一交点，将该像素点、该两个交点和该扫描图像左上方的顶点组成一图像区域，获取该区域包括的除该像素点以外的其他每个像素点的灰度值，将获取的灰度值相加得到一数值，并作为该像素点的积分值。对于该扫描图像包括的其他每个像素点，均执行上述操作，得到其他每个像素点的积分值。

例如，参见图2-5，假设I代表像素点的灰度值，则像素点(0，1)对应的积分值I(0，1)＝I(0，0)+I(0，1)；则像素点(1，1)对应的积分值I(0，1)＝I(0，0)+I(0，1)+I(1，0)；像素点(2，1)对应的积分值I(2，1)＝I(0，0)+I(0，1)+I(1，0)+I(1，1)+I(2，0)+I(2，1)。

2033：分别计算该运动目标的目标模型与每个包含前景图像的扫描图像之间的第一相关相似度，该目标模型包括该目标在当前帧图像之前的每帧图像中的外接目标框，第一相关相似度用于表示该运动目标的目标模型包括的外接目标框与包含前景图像的扫描图像之间的相似程度；

具体地，本步骤可以通过如下(A-1)至(A-4)的流程实现，包括：

(A-1)：对于任一包含前景图像的扫描图像，计算该扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第一相似度，第一相似度用于表示该扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的相似程度；

具体地，根据该扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像，按照如下公式(1)计算该扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第一相似度；

S1⁺＝MAX S(P1，Pi⁺)……(1)；

其中，在上述公式(1)中，S1⁺为第一相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P1为该扫描图像，Pi⁺为该运动目标的目标模型包括的第i个外接目标框中的运动目标的图像。

(A-2)：计算该扫描图像与该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像之间的第二相似度，第二相似度用于表示该扫描图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像之间的相似程度；

具体地，根据该扫描图像与该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像，按照如下公式(2)计算该扫描图像与该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像之间的第二相似度；

S1^-＝MAX S(P1，Pi^-)……(2)；

其中，在上述公式(2)中，S1^-为第二相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P1为该扫描图像，Pi^-为该运动目标的目标模型包括的第i个外接目标框中的除该运动目标以外的背景图像。

(A-3)：根据第一相似度和第二相似度计算该运动目标的目标模型与任一包含前景图像的扫描图像之间的第一相关相似度。

其中，根据第一相似度和第二相似度计算该运动目标的目标模型与任一包含前景图像的扫描图像之间的第一相关相似度，包括：

根据第一相似度和第二相似度，按照如下公式(3)计算出该运动目标的目标模型与任一包含前景图像的扫描图像之间的第一相关相似度；

其中，在上述公式(3)中，Sr为该运动目标的目标模型与任一包含前景图像的扫描图像之间的第一相关相似度；S1为第一相似度，S2为第二相似度。

2034：将第一相关相似度大于预设第二阈值的扫描图像作为包含该运动目标的扫描图像。

步骤204：计算包含该运动目标的角点的图像与该运动目标的目标模型之间的第一保守相似度，第一保守相似度用于表示包含该运动目标的角点的图像与目标模型中前一半的外界目标框之间的相似程度；

具体地，本步骤可以通过如下2041至2044的流程实现，包括：

2041：计算包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第三相似度，第三相似度用于表示包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的相似程度；

具体地，根据包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像，按照如下公式(5)计算包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第三相似度；

S2⁺＝MAX S(P2，Pi⁺)……(5)；

其中，在上述公式(5)中，S2⁺为第三相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P2为包含该运动目标的角点的图像，Pi⁺为该运动目标的目标模型包括的第i个外接目标框中的运动目标的图像。

2042：计算包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第四相似度，第四相似度用于表示包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像之间的相似程度；

具体地，根据包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像，按照如下公式(6)计算包含该运动目标的角点的图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第四相似度；

S2^-＝MAX S(P2，Pi^-)……(6)；

其中，在上述公式(6)中，S2^-为第四相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P2为包含该运动目标的角点的图像，Pi⁺为该运动目标的目标模型包括的外接目标框中的除该运动目标以外的背景图像。

2043：计算包含该运动目标的角点的图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的第五相似度，第五相似度用于表示包含该运动目标的角点的图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的相似程度；

具体地，根据包含该运动目标的角点的图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像，按照如下公式(7)计算包含该运动目标的角点的图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的第五相似度；

S3⁺＝MAX S(P2，Pk⁺)……(7)；

其中，在上述公式(7)中，S⁺为第三相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P2为包含该运动目标的角点的图像，Pk⁺为该运动目标的目标模型包括的前一半的第k个外接目标框中的运动目标的图像。

2044：根据第三相似度、第四相似度和第五相似度，计算包含运动目标的角点的图像与运动目标的目标模型之间的第一保守相似度。

具体地，根据第三相似度、第四相似度和第五相似度，按照如下公式(8)计算出包含运动目标的角点的图像与运动目标的目标模型之间的第一保守相似度：

其中，在上述公式(8)中，Sc为包含该运动目标的角点的图像与该运动目标的目标模型之间的第一保守相似度，S3为第三相似度，S4为第四相似度，S5为第五相似度。

步骤205：计算包含该运动目标的扫描图像与该运动目标的目标模型之间的第二保守相似度，第二保守相似度用于表示包含该运动目标的扫描图像与该运动目标的目标模型中前一半的外界目标框之间的相似程度；

具体地，本步骤可以通过如下2051至2054的流程实现，包括：

2051：计算包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第六相似度，第六相似度用于表示该扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的相似程度；

具体地，根据包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像，按照如下公式(9)计算包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第六相似度；

S4⁺＝MAX S(P3，Pi⁺)……(9)；

其中，在上述公式(9)中，S4⁺为第六相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P3为包含该运动目标的扫描图像，Pi⁺为该运动目标的目标模型包括的第i个外接目标框中的运动目标的图像。

2052：计算包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第七相似度，第七相似度用于表示该扫描图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像之间的相似程度；

具体地，根据包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像，按照如下公式(10)计算包含该运动目标的扫描图像与该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第六相似度；

S4^-＝MAX S(P3，Pi^-)……(10)；

其中，在上述公式(10)中，S4^-为第七相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P3为包含该运动目标的扫描图像，Pi^-为该运动目标的目标模型包括的外接目标框中的除运动目标以外的背景图像。

2053：计算包含该运动目标的扫描图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的第八相似度，第八相似度用于表示包含该运动目标的扫描图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的相似程度；

具体地，根据包含该运动目标的扫描图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像，按照如下公式(11)计算包含该运动目标的扫描图像与该运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的第八相似度；

S5⁺＝MAX S(P2，Pk⁺)……(11)；

其中，在上述公式(11)中，S5⁺为第八相似度，S(Pi，Pj)＝0.5(NCC(Pi，Pj)+1)，NCC(Pi，Pj)为Pi和Pj的归一化互相关函数，P2为包含该运动目标的扫描图像，Pk⁺为该运动目标的目标模型包括的前一半的第k个外接目标框中的运动目标的图像。

2054：根据第六相似度、第七相似度和第八相似度，计算包含该运动目标的扫描图像与该运动目标的目标模型之间的第二保守相似度。

具体地，根据第六相似度、第七相似度和第八相似度，按照如下公式(12)计算出包含该运动目标的扫描图像与该运动目标的目标模型之间的第二保守相似度：

其中，在上述公式(12)中，Sd为包含该运动目标的扫描图像与该运动目标的目标模型之间的第二保守相似度，S6为第六相似度，S7为第七相似度，S8为第八相似度。

步骤206：根据第一保守相似度和第二保守相似度，确定该运动目标在当前帧图像中的位置；

具体的，将第一保守相似度与第二保守相似度进行比较，如果第一保守相似度大于第二保守相似度，则将包含该运动目标的角点的图像的位置作为该运动目标在当前帧图像中的位置；如果第一保守相似度小于或等于第二保守相似度，则将包含该运动目标的扫描图像的位置作为该运动目标在当前帧图像中的位置。

步骤207：根据该运动目标的目标外接框，获取该运动目标的图像；

具体地，将该运动目标的目标外接框划分为预设N个网格，N为预设第一个数；对于划分的任一网格，分别对网格进行M次几何变换，生成M个子网格，M为第二预设个数；将生成的N×M个子网格组成的图像作为该运动目标的图像。

其中，N可以为10、12或14等，本发明对此不加以限定；M可以为20、25或30等，本发明对此不加以限定。

步骤208：根据该运动目标的目标外接框，获取该运动目标的图像对应的背景图像；

具体地，在该运动目标的目标外接框中删除该运动目标的图像包括的像素点，将该运动目标的目标外接框中剩余的像素点组成该运动目标的图像对应的背景图像。

步骤209：将该运动目标的图像和该运动目标的图像对应的背景图像添加至该运动目标的目标模型中。

具体地，本步骤可以通过如下2091至2095的流程实现，包括：

2091：计算该运动目标的图像与该运动目标的目标模型的第二相关相似度和第三保守相似度；

其中，计算第二相关相似度的方法与计算第一相关相似度的方法类似，在此不做详述；

计算第三保守相似度的方法与计算第一保守相似度或第二保守相似度的方法类似，在此不做详述。

2092：计算该运动目标的图像与添加了该运动目标的图像的目标模型的第三相关相似度和第四保守相似度；

其中，计算第三相关相似度的方法与计算第一相关相似度的方法类似，在此不做详述；

计算第四保守相似度的方法与计算第一保守相似度或第二保守相似度的方法类似，在此不做详述。

2093：将第二相关相似度和第三相关相似度分别与预设第四阈值进行比较，如果第二相关相似度和第三相关相似度均大于预设第四阈值，或第二相关相似度和第三相关相似度均等于预设第四阈值，或第二相关相似度和第三相关相似度均小于预设第四阈值，则设置第一初值，否则，设置第二初值；

2094：将第三保守相似度和第四保守相似度分别于预设第五阈值进行比较，如果第三保守相似度和第四保守相似度均大于预设第五阈值，或第三保守相似度和第四保守相似度均等于预设第五阈值，或第三保守相似度和第四保守相似度均小于预设第五阈值，则设置第一初值，否则，设置第二初值；

2095：如果步骤2093中设置的初值为第一初值且步骤2094中设置的初值为第二初值，或步骤2093中设置的初值为第二初值且步骤2094中设置的初值为第姨初值，则将该运动目标的图像和该运动目标的图像对应的背景图像添加至该运动目标的目标模型中。

在本发明实施例2中，构造运动目标在当前帧图像的外接目标框，根据外接目标框，获取包含该运动目标的角点的图像和包含该运动目标的扫描图像；根据包含所述运动目标的角点的图像和包含运动目标的扫描图像可以确定运动目标在当前帧图像中的位置，不受外部环境变化的影响，不会丢失目标，提高了跟踪目标的准确性。

实施例3

参见图3，本发明实施例3提供了一种目标跟踪的装置，该装置包括：

第一获取模块301，用于获取视频当前帧图像中的运动目标的外接目标框，外接目标框为包含运动目标的图像的最小矩形框；

第二获取模块302，用于根据外接目标框，获取包含运动目标的角点的图像；

第三获取模块303，用于根据外接目标框，获取包含运动目标的扫描图像；

确定模块304，用于根据包含运动目标的角点的图像和包含运动目标的扫描图像确定运动目标在当前帧图像中的位置。

优选地，第二获取模块302包括：

第一获取单元，用于获取运动目标在前一帧图像中的角点集合，并将角点集合中的每个角点在前一帧图像中的位置作为第一位置集合，角点为图像中任意两条互不平行的直线边相交的交点或图像中亮度变化剧烈的点；

第二获取单元，用于分别获取角点集合中的每个角点在当前帧图像中对应的位置，并组成第二位置集合；

第三获取单元，用于分别获取第二位置集合中的每个位置在前一帧图像中对应的位置，并组成第三位置集合；

第四获取单元，用于根据第一位置集合和第三位置集合获取包含运动目标的角点的图像。

优选地，第四获取单元包括：

第一获取子单元，用于分别获取第三位置集合中的每个第三位置在第一位置集合中对应的第一位置；

组成子单元，用于分别将第三位置集合中的每个位置与其在第一集合中对应的位置组成位置对；

第二获取子单元，用于根据位置对获取包含运动目标的角点的图像。

优选地，第三获取模块303包括：

生成单元，用于生成扫描窗口，并根据扫描窗口在外接目标框中获取多个不同的扫描图像；

第五获取单元，用于从多个不同的扫描图像中获取包含前景图像的扫描图像；

第一计算单元，用于分别计算运动目标的目标模型与每个包含前景图像的扫描图像之间的第一相关相似度，目标模型包括目标在当前帧图像之前的每帧图像中的外接目标框，第一相关相似度用于表示目标模型包括的外接目标框与包含前景图像的扫描图像的相似程度；

第一确定单元，用于将第一相关相似度大于预设第二阈值的扫描图像确定为包含运动目标的扫描图像。

优选地，第五获取单元，包括：

积分子单元，用于对多个不同的扫描图像中的每个扫描图像包括的每个像素点进行积分，得到每个扫描图像包括的每个像素点的积分值；

第一计算子单元，用于根据每个扫描图像包括的每个像素点的积分值，计算每个扫描图像的积分方差；

确定子单元，用于将积分方差小于预设第三阈值的扫描图像确定为包含前景图像的扫描图像。

优选地，第一计算单元包括：

第二计算子单元，用于对于任一包含前景图像的扫描图像，分别计算每个包含前景图像的扫描图像与目标模型包括的外接目标框中的运动目标的图像之间的第一相似度，以及分别计算每个包含前景图像的与目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第二相似度；

第三计算子单元，用于根据第一相似度和第二相似度计算运动目标的目标模型与任一包含前景图像的扫描图像之间的第一相关相似度。

优选地，确定模块304包括：

第二计算单元，用于计算包含运动目标的角点的图像与运动目标的目标模型之间的第一保守相似度，第一保守相似度用于表示包含运动目标的角点的图像与目标模型中前一半的外界目标框的相似程度；

第三计算单元，用于计算包含运动目标的扫描图像与运动目标的目标模型之间的第二保守相似度，第二保守相似度用于表示包含运动目标的扫描图像与目标模型中前一半的外界目标框的相似程度；

第二确定单元，用于如果第一保守相似度大于第二保守相似度，则将包含运动目标的角点的图像的位置确定为运动目标在当前帧图像中的位置；

第三确定单元，用于如果第一保守相似度小于或等于第二保守相似度，则将包含运动目标的扫描图像的位置确定为运动目标在当前帧图像中的位置。

优选地，第二计算单元包括：

第四计算子单元，用于计算包含运动目标的角点的图像与运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第三相似度；

第五计算子单元，用于计算包含运动目标的角点的图像与目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第四相似度；

第六计算子单元，用于计算包含运动目标的角点的图像与运动目标的目标模型包括的前一半的外接目标框中的运动目标的图像之间的第五相似度；

第七计算子单元，用于根据第三相似度、第四相似度和第五相似度，计算包含运动目标的角点的图像与运动目标的目标模型之间的第一保守相似度。

优选地，第三计算单元包括：

第八计算子单元，用于计算包含运动目标的扫描图像与运动目标的目标模型包括的外接目标框中的运动目标的图像之间的第六相似度；

第九计算子单元，用于计算包含运动目标的扫描图像与目标模型包括的外接目标框中的除运动目标以外的背景图像之间的第七相似度；

第十计算子单元，用于计算包含运动目标的扫描图像与运动目标的目标模型包括的前一半外接目标框中的运动目标的图像之间的第八相似度；

第十一计算子单元，用于根据第六相似度、第七相似度和第八相似度，计算包含运动目标的扫描图像与运动目标的目标模型之间的第二保守相似度。

进一步地，装置还包括：

第四获取模块，用于根据外接目标框，获取目标的图像，以及获取目标的图像对应的背景图像；

添加模块，用于将目标的图像和目标的图像对应的背景图像添加至目标的目标模型中。

在本发明实施例3中，构造运动目标在当前帧图像的外接目标框，根据外接目标框，获取包含该运动目标的角点的图像和包含该运动目标的扫描图像；根据包含运动目标的角点的图像和包含运动目标的扫描图像可以确定运动目标在当前帧图像中的位置，不受外部环境变化的影响，不会丢失目标，提高了跟踪目标的准确性。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种目标跟踪的方法，其特征在于，所述方法包括步骤：

获取视频当前帧图像中的运动目标的外接目标框，所述外接目标框为包含所述运动目标的图像的最小矩形框；

根据所述外接目标框，获取包含所述运动目标的角点的图像和包含所述运动目标的扫描图像；

根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置；

其中所述方法中，根据所述外接目标框获取包含所述运动目标的扫描图像，包括步骤：

生成扫描窗口，并根据所述扫描窗口在所述外接目标框中获取多个不同的扫描图像；

从所述多个不同的扫描图像中获取包含前景图像的扫描图像；

分别计算所述运动目标的目标模型与每个所述包含前景图像的扫描图像之间的第一相关相似度，所述目标模型包括所述目标在所述当前帧图像之前的每帧图像中的外接目标框，所述第一相关相似度用于表示所述目标模型包括的外接目标框与所述包含前景图像的扫描图像之间的相似程度；

将第一相关相似度大于预设第二阈值的扫描图像作为包含所述运动目标的扫描图像。

2.如权利要求1所述的方法，其特征在于，所述方法中，根据所述外接目标框，获取包含所述运动目标的角点的图像，包括步骤：

获取所述运动目标在前一帧图像中的角点集合，并将所述角点集合中的每个角点在所述前一帧图像中的位置作为第一位置集合，所述角点为图像中任意两条互不平行的直线边相交的交点或图像中亮度变化剧烈的点；

分别获取所述角点集合中的每个角点在所述当前帧图像中对应的位置，并组成第二位置集合；

分别获取所述第二位置集合中的每个位置在所述前一帧图像中对应的位置，并组成第三位置集合；

根据所述第一位置集合和所述第三位置集合获取包含所述运动目标的角点的图像。

3.如权利要求2所述的方法，其特征在于，所述方法中，根据所述第一位置集合和所述第三位置集合获取包含所述运动目标的角点的图像，包括步骤：

分别获取所述第三位置集合中的每个第三位置在所述第一位置集合中对应的第一位置；

分别将所述第三位置集合中的每个位置与其在所述第一位置集合中对应的位置组成位置对；

根据所述位置对获取包含所述运动目标的角点的图像。

4.如权利要求1所述的方法，其特征在于，在所述方法中，从所述多个不同的扫描图像中获取包含前景图像的扫描图像，包括步骤：

对所述多个不同的扫描图像中的每个扫描图像包括的每个像素点进行积分，得到所述每个扫描图像包括的每个像素点的积分值；

根据所述每个扫描图像包括的每个像素点的积分值，计算所述每个扫描图像的积分方差；

将积分方差小于预设第三阈值的扫描图像作为所述包含前景图像的扫描图像。

5.如权利要求1所述的方法，其特征在于，所述方法中，分别计算所述运动目标的目标模型与每个所述包含前景图像的扫描图像之间的第一相关相似度，包括步骤：

对于任一包含前景图像的扫描图像，分别计算每个包含前景图像的扫描图像与所述目标模型包括的外接目标框中的所述运动目标的图像之间的第一相似度，以及分别计算所述每个包含前景图像的与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第二相似度；

根据所述第一相似度和所述第二相似度计算所述运动目标的目标模型与所述任一包含前景图像的扫描图像之间的第一相关相似度。

6.如权利要求1所述的方法，其特征在于，所述方法中，根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置，包括步骤：

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度，所述第一保守相似度用于表示包含所述运动目标的角点的图像与所述目标模型中前一半的外界目标框之间的相似程度；

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度，所述第二保守相似度用于表示包含所述运动目标的扫描图像与所述目标模型中前一半的外界目标框之间的相似程度；

如果所述第一保守相似度大于所述第二保守相似度，则将所述包含所述运动目标的角点的图像的位置作为所述运动目标在所述当前帧图像中的位置；

如果所述第一保守相似度小于或等于所述第二保守相似度，则将所述包含所述运动目标的扫描图像的位置作为所述运动目标在所述当前帧图像中的位置。

7.如权利要求6所述的方法，其特征在于，所述方法中，计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度，包括步骤：

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型包括的外接目标框中的所述运动目标的图像之间的第三相似度；

计算所述包含所述运动目标的角点的图像与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第四相似度；

计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型包括的前一半的外接目标框中的所述运动目标的图像之间的第五相似度；

根据所述第三相似度、所述第四相似度和所述第五相似度，计算所述包含所述运动目标的角点的图像与所述运动目标的目标模型之间的第一保守相似度。

8.如权利要求6所述的方法，其特征在于，所述方法中，计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度，包括步骤：

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型包括的外接目标框中的所述运动目标的图像之间的第六相似度；

计算所述包含所述运动目标的扫描图像与所述目标模型包括的外接目标框中的除所述运动目标以外的背景图像之间的第七相似度；

计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型包括的前一半外接目标框中的所述运动目标的图像之间的第八相似度；

根据所述第六相似度、所述第七相似度和所述第八相似度，计算所述包含所述运动目标的扫描图像与所述运动目标的目标模型之间的第二保守相似度。

9.如权利要求1所述的方法，其特征在于，所述方法中，根据所述包含所述运动目标的角点的图像和所述包含所述运动目标的扫描图像确定所述运动目标在所述当前帧图像中的位置之后，还包括：

根据所述外接目标框，获取所述目标的图像，以及获取所述目标的图像对应的背景图像；

将所述目标的图像和所述目标的图像对应的背景图像添加至所述目标的目标模型中。