CN101945210B

CN101945210B - 运动跟踪预测方法

Info

Publication number: CN101945210B
Application number: CN2010102962633A
Authority: CN
Inventors: 高飞
Original assignee: Wuxi Vimicro Corp
Current assignee: Wuxi Zhonggan Microelectronics Co Ltd
Priority date: 2010-09-29
Filing date: 2010-09-29
Publication date: 2012-07-25
Anticipated expiration: 2030-09-29
Also published as: CN101945210A

Abstract

本发明提供一种运动跟踪预测方法，其包括选取不相邻的两帧图像；在所述不相邻的两帧图像中确定同一运动目标，并分别检测该运动目标在所述不相邻的两帧图像中的图像矢量；计算所述运动目标在所述不相邻的两帧图像中的图像矢量的差值；根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值，计算该运动目标在所述不相邻的两帧图像之间的各帧图像中的图像矢量。

Description

运动跟踪预测方法

【技术领域】

本发明涉及运动跟踪预测领域，特别是涉及一种运动跟踪预测方法。

【背景技术】

目前，在智能监控算法中对视频的检测和跟踪算法的复杂度较大，尤其是当图像尺寸越大时，计算量越大，从而难以实时进行。也就是说，如果在图像尺寸较大时对视频监控系统中每一帧图像都进行检测计算的话，则计算量将会非常大。一般在图像尺寸大的情况下，通常的处理方法为将原有图像的尺寸缩小以进行检测和跟踪，这样可以减少计算量，但这样带来的缺陷是可能会影响图像检测和跟踪的精度。

因此有必要提出一种新的技术方案来解决上述问题。

【发明内容】

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

本发明的目的在于提供一种运动跟踪预测方法，其能够减少运算的复杂度。

为了实现本发明的目的，本发明提供一种运动跟踪预测方法，其包括：选取不相邻的两帧图像；在所述不相邻的两帧图像中确定同一运动目标，并分别检测该运动目标在所述不相邻的两帧图像中的图像矢量；计算所述运动目标在所述不相邻的两帧图像中的图像矢量的差值；根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值，计算该运动目标在所述不相邻的两帧图像之间的各帧图像中的图像矢量。

进一步的，以第N帧图像及第N+n帧图像分别表示所述不相邻的两帧图像、以第N+i帧表示所述不相邻的两帧图像之间的某一帧图像时，根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值计算所述不相邻的两帧图像之间的各帧图像中的所述运动目标的图像矢量的差值的平均值，所述第N+i帧图像中的所述运动目标的图像矢量为第N帧图像中的所述运动目标的图像矢量与i倍的所述平均值之和，其中，N为自然数，n为大于1的自然数，i为小于n的自然数。

进一步的，所述的图像矢量包括所述运动目标在图像中的外接矩形的中心位置、宽度和高度。

进一步的，确定的第N帧图像中的运动目标k的外接矩形的中心位置为：(x_(N，k)，y_(N，k))，宽度为：Width_(N，k)，高度为：Heigh_(N，k)，确定的第N+n帧图像中的运动目标k的外接矩形的中心位置为：(x_(N+n，k)，y_(N+n，k))，宽度为：Width_(N+n，k)，高度为：Heigh_(N+n，k)，则所述位置的差值Dx、Dy，宽度的差值DWidth和高度的差值DHeigh分别为：

Dx＝x_(N+n，k)-x_(N，k)，

Dy＝y_(N+n，k)-y_(N，k)，

DWidth＝Width_(N+n，k)-Width_(N，k)，

DHeigh＝Heigh_(N+n，k)-Heigh_(N，k)，

则所述位置的差值Dx、Dy，宽度的差值DWidth和高度的差值DHeigh的平均值分别为：Dx/n，Dy/n，DWidth/n，DHeigh/n。

更进一步的，预测的第N+i帧图像中的运动目标的外接矩形的中心位置(x_(N+i，k)，y_(N+i，k))、宽度Width_(N+i，k)和高度High_(N+i，k)的值为分别为：

x_(N+i，k)＝x_(N，k)+(i*Dx)/n，

y_(N+i，k)＝y_(N，k)+(i*Dy)/n，

Width_(N+i，k)＝Width_(N，k)+(i*DWidth)/n，

Heigh_(N+i，k)＝Heigh_(N，k)+(i*DHeigh)/n。

进一步的，所述不相邻的两帧图像中的在前的一帧存在所述运动目标，而在后的一帧不存在所述运动目标时，进行所述运动目标的图像矢量的单向预测。

更进一步的，所述单向预测的预测顺序是从在前的一帧图像开始，每一帧图像均通过时间相邻的上一帧图像进行预测。

进一步的，所述运动目标的外接矩形中心位置、宽度和高度的定义均在同一个以x轴为横坐标、y轴为纵坐标的平面直角坐标系中定义。

进一步的，所述运动目标的外接矩形的宽度对应的边与x轴平行，高度对应的边与y轴平行。

与现有技术相比，本发明自定义一种监控系统中运动跟踪的预测方法，其只需要对两个不相邻的含有同一个运动目标的两帧图像进行所述运动目标的检测，就能由此预测出两帧图像之间各帧图像中所述运动目标的运动情况，而不需要对每一帧图像都进行跟踪检测，从而大大减少了跟踪检测运算时的计算复杂度。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明中一个实施例中的运动跟踪预测方法的示意图；和

图2为本发明中运动跟踪预测方法在一个具体实施例中的场景示意图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

本发明提供一种运动跟踪预测的方法，其只需要对不相邻的含有同一个运动目标的两帧图像进行所述运动目标的检测，就能根据上述检测获得的信息预测出两帧图像之间的各帧图像中的所述运动目标的运动矢量，而不需要对每一帧图像都进行跟踪检测，从而大大减少了跟踪检测运算时的计算复杂度。换句话说，本发明提供的方法可以通过在需要进行预测的某一帧或多个帧的之前和之后分别选取与所述需要进行预测的某一帧或多个帧最近邻的两帧图像，根据所述两帧图像中的同一个运动目标的外接矩形的中心位置、宽度和高度来预测其所述两帧图像之间的各帧图像中的所述运动目标。也就是说，首先将已检测到运动目标且不相邻的两帧图像中的所述运动目标的外接矩形的中心位置、宽度和高度进行线性差值，并分别计算所述线性差值的平均值；然后计算所述不相邻的两帧图像中所述运动目标的外接矩形中心位置、宽度和高度与对应的平均值的i倍的和以得到所述之前帧图像后的第i帧图像中所述运动目标的外接矩形中心位置、宽度和高度。也就是说，不需要对每一个帧图像都进行运动跟踪和检测，而只需对之前和之后最近邻的两帧图像进行同一个运动目标的跟踪检测，然后就可以根据上述运动目标在所述两帧图像中的外接矩形中心位置、宽度和高度来获得所述两帧图像之间任一帧图像中所述运动目标的运动情况。其具体过程可参见图1所示。

图1为本发明一个实施例中的运动跟踪预测方法100的示意图，所述运动跟踪预测方法100包括：

步骤110，选取不相邻的两帧图像；所述不相邻的两帧图像分别用第N帧图像及第N+n帧图像表示，其中N为自然数，n为大于1的自然数；检测运动目标在第N帧图像和第N+n帧图像中的图像矢量。所述的图像矢量包括所述运动目标在图像中的外接矩形中心位置、宽度和高度。即在本步骤中确定第N帧图像中运动目标k的外接矩形的中心位置(x_(N，k)，y_(N，k))、宽度Width_(N，k)及长度Heigh_(N，k)；并确定第N+n帧图像中所述运动目标k的外接矩形的中心位置(x_(N+n，k)，y_(N+n，k)、宽度Width_(N+n，k)及长度Heigh_(N+n，k)。

需要说明的是，为了方便描述所述线性差值，本说明书中的各个中心位置以及宽度、长度的定义均在同一个以x轴为横坐标、y轴为纵坐标的平面直角坐标系中进行的。也就是说，在不同的帧图像中，所述平面直角坐标系的原点均是同一个参考点。如在第N帧图像中，所述平面直角坐标系以一交通指示灯为坐标原点，则在所有的帧图像中均以同一个交通指示灯为所述平面直角坐标系中的坐标原点。其中，所述运动目标的外接矩形的宽边均与所述x轴平行，长边均与所述y轴平行。

从这里可以知道，下述步骤需要进行双向预测的帧图像N+i是所述第N帧图像和第N+n帧图像之间的n-1个帧图像的某一帧，也就是说，其中的i为大于0小于n的自然数。

在实际应用中，不同帧图像中对应的同一个运动目标的图像矢量是可能不同的，具体表现为所述运动目标在不同帧图像中的外接矩形的中心位置、宽度和高度的差异，因为所述运动目标不停地进行运动使得其外接矩形中心位置不同；而所述运动目标本身发生的变化或者运动目标与获取所述帧图像的摄像设备之间距离发生的变化，均可能导致所述运动目标的外接矩形的宽度或高度发生变化。图2为本发明中监控系统中运动跟踪的预测方法在一个具体实施例中的场景示意图。其中图2中的图像帧(1)和图像帧(3)分别为第N帧图像和第N+n帧图像的实际图像，均包含运动目标A和运动目标B，图2中的图像帧(2)和图像帧(4)分别利用虚线框对图像帧(1)和图像帧(3)中的运动目标A和运动目标B的外接矩形进行了标记。可以看出，运动目标B在图像帧(2)和图像帧(4)中的外接矩形是不相同的，因为运动目标B本身的姿势发生了变化，从而影响了外接矩形的大小。同样的，运动目标A在图像帧(2)和图像帧(4)中的外接矩形是不相同的，因为运动目标A与摄像设备的距离发生了变化，从而影响了外接矩形的大小。

步骤120，计算所述两帧图像中图像矢量的差值，即对所述运动目标k在第N帧图像和第N+n帧图像的图像矢量进行线性差值。具体来说，将所述运动目标的外接矩形的中心位置，即所述外接矩形的中心位置在x轴方向和y轴方向上的线性差值分别定义为：Dx和Dy，将所述外接矩形的宽度和长度的线性差值分别定义为DWidth和DHeigh，其具体为：

对所述运动目标k的外接矩形中心位置的线性差值则可记为：

Dx＝x_(N+n，k)-x_(N，k)，Dy＝y_(N+n，k)-y_(N，k)，

对所述运动目标k的外接矩形的宽度和长度的线性差值则可记为：

DWidth＝Width_(N+n，k)-Width_(N，k)，DHeigh＝Heigh_(N-n，k)-Heigh_(N，k)。

步骤130，根据所述图像矢量的差值计算该运动目标在所述两帧图像之间的各帧图像中的图像矢量。即根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值，计算该运动目标在所述不相邻的两帧图像之间的各帧图像中的图像矢量。

以第N+i帧图像中表示第N帧和第N+n帧图像之间的某一帧图像，计算得到所述运动目标k在第N+i帧图像中的外接矩形的中心位置、宽度和高度，其中i为大于0且小于n的自然数。其中所述运动目标k在第N+i帧图像中的外接矩形的中心位置为(x_(N+i，k)，y_(N+i，k))、宽度为Width_(N+i，k)和高度为Heigh_(N+i，k)，这里的x_(N+i，k)为所述运动目标k在第N+i帧图像中的外接矩形中心的横坐标，y_(N+i，k)为所述运动目标k在第N+i帧图像中的外接矩形中心的纵坐标。

根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值计算第N帧和第N+n帧图像之间的各帧图像中的所述运动目标的图像矢量的差值的平均值，也即计算得到所述运动目标k的外接矩形中心位置、宽度和高度的差值的平均值为：Dx/n，Dy/n，DWidth/n，DHeigh/n，则具体的计算所述运动目标k在第N+i帧图像中的外接矩形中心位置、宽度和高度的过程为：

计算所述运动目标k在第N+i帧图像中的外接矩形横坐标为：

x_(N+i，k)＝x_(N，k)+(i*Dx)/n，

计算所述运动目标k在第N+i帧图像中的外接矩形纵坐标为：

y_(N+i，k)＝y_(N，k)+(i*Dy)/n，

计算所述运动目标k在第N+i帧图像中的外接矩形的宽度为：

Width_(N+i，k)＝Width_(N，k)+(i*DWidth)/n，

计算所述运动目标k在第N+i帧图像中的外接矩形的高度为：

Heigh_(N+i，k)＝Heigh_(N，k)+(i*DHeigh)/n。

由此，经过第N帧图像和第N+n帧图像中检测到的运动目标k的外接矩形中心位置、宽度和高度计算出了第N+i帧图像中的运动目标k的外接矩形中心位置、宽度和高度。当i取大于0且小于n的任一值时，则得到在第N帧图像和第N+n帧图像中任一帧图像中运动目标k的图像矢量。

需要指出的是，对于第N帧图像存在运动目标k，而第N+n帧图像中不存在运动目标k时，则直接对第N+i(i为大于0小于n的自然数)帧图像进行单向预测，也就是说，对于第N+1帧图像则只需要通过第N帧图像进行单向预测就可以了，对第N+2帧图像则需要通过第N+1帧图像进行单向预测得到，以此类推。而对于第N帧图像中不存在运动目标k，而第N+n帧图像中存在所述运动目标k时，则不进行预测。当然，其中所述单向预测是本领域的所属技术人员都能够实现的，且不是本发明的新的方案，所以这里就不再详述。

综上所述，本发明通过在最相临的两帧图像中检测到的同一个运动目标来计算得到两帧图像之间任一帧图像的所述运动目标的运动情况，从而实现了双向预测，大大减少了对每一帧图像进行运动检测的计算量。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims

1.一种运动跟踪预测方法，其特征在于，其包括：

选取不相邻的两帧图像；

在所述不相邻的两帧图像中确定同一运动目标，并分别检测该运动目标在所述不相邻的两帧图像中的图像矢量；计算所述运动目标在所述不相邻的两帧图像中的图像矢量的差值；

以第N帧图像及第N+n帧图像分别表示所述不相邻的两帧图像、以第N+i帧表示所述不相邻的两帧图像之间的某一帧图像时，根据所述运动目标在所述不相邻的两帧图像中的图像矢量的差值计算所述不相邻的两帧图像之间的各帧图像中的所述运动目标的图像矢量的差值的平均值，所述第N+i帧图像中的所述运动目标的图像矢量为第N帧图像中的所述运动目标的图像矢量与i倍的所述平均值之和，其中，N为自然数，n为大于1的自然数，i为小于n的自然数，

其中，所述的图像矢量包括所述运动目标在图像中的外接矩形的中心位置、宽度和高度。

2.根据权利要求1所述的运动跟踪预测方法，其特征在于：确定的第N帧图像中的所述运动目标的外接矩形的中心位置为：(x_(N，k)，y_(N，k))，宽度为：Width_(N，k)，高度为：Heigh_(N，k)，确定的第N+n帧图像中的所述运动目标的外接矩形的中心位置为：(x_(N+n，k)，y_(N+n，k))，宽度为：Width_(N+n，k)，高度为：Heigh_(N+n，k)，则所述中心位置的差值Dx、Dy，宽度的差值DWidth和高度的差值DHeigh分别为：

Dx＝x_(N+n，k)-x_(N，k)，

Dy＝y_(N+n，k)-y_(N，k)，

DWidth＝Width_(N+n，k)-Width_(N，k)，

DHeigh＝Heigh_(N+n，k)-Heigh_(N，k)，

3.根据权利要求2所述的运动跟踪预测方法，其特征在于：预测的第N+i帧图像中的运动目标的外接矩形的中心位置(x_(N+i，k)，y_(N+i，k))、宽度Width_(N+i，k)和高度Heigh_(N+i，k)的值为分别为：

x_(N+i，k)＝x_(N，k)+(i*Dx)/n，

y_(N+i，k)＝y_(N，k)+(i*Dy)/n，

Width_(N+i，k)＝Width_(N，k)+(i*DWidth)/n，

Heigh_(N+i，k)＝Heigh_(N，k)+(i*DHeigh)/n。

4.根据权利要求1所述的运动跟踪预测方法，其特征在于：所述不相邻的两帧图像中的在前的一帧存在所述运动目标，而在后的一帧不存在所述运动目标时，进行所述运动目标的图像矢量的单向预测。

5.根据权利要求4所述的运动跟踪预测方法，其特征在于：所述单向预测的预测顺序是从在前的一帧图像开始，每一帧图像均通过时间相邻的上一帧图像进行预测。

6.根据权利要求1所述的运动跟踪预测方法，其特征在于：所述运动目标的外接矩形中心位置、宽度和高度的定义均在同一个以x轴为横坐标、y轴为纵坐标的平面直角坐标系中定义。

7.根据权利要求6所述的运动跟踪预测方法，其特征在于：所述运动目标的外接矩形的宽度对应的边与x轴平行，高度对应的边与y轴平行。