CN107977986A - 一种运动轨迹的预测方法及装置 - Google Patents

Abstract

本发明提供一种运动轨迹的预测方法及装置，所述方法包括：将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；基于视频中待预测帧次及参考帧次构建帧次矩阵；基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。本发明能够给出更加精确的轨迹预测，同时避免了大量的运算。

Description

一种运动轨迹的预测方法及装置

技术领域

本发明涉及视频图像技术领域，尤其涉及一种运动轨迹的预测方法及装置。

背景技术

目标跟踪及目标运动轨迹预测技术在国防工业、航空航天以及安防领域具有重要的应用。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。视频图像中的运动目标不但具有空间特征，还有目标相对于时间轴而形成的轨迹特征，基于视频图像进行目标跟踪及运动轨迹预测能够充分利用目标的空间分布特征和轨迹特征，从而能够提高跟踪及预测的质量。

视频图像处理中进行预测的目地是为了在检测中加快检测速度，所以预测算法不能复杂，并且能够达到比较好的预测程度。现有的基于视频图像的检测方法一是使用线性预测，直接使用最近的两点预测下一点的位置。方法二是采用高斯分布最小二乘法拟合的方法进行预测。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

线性预测的方法误差很大，方向也是直线型，方向误差也很大。采用使用高斯分布最小二乘法拟合进行预测的方法计算量大。

发明内容

本发明提供的一种运动轨迹的预测方法及装置，能够给出更加精确的轨迹预测，同时避免了大量的运算。

第一方面，本发明提供一种运动轨迹的预测方法，所述方法包括：

将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

基于视频中待预测帧次及参考帧次构建帧次矩阵；

基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

可选地，所述基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型包括：

将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

可选地，所述基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵包括：

将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

根据所述n个相对帧次构建矩阵T；

计算所述矩阵T的广义逆矩阵。

可选地：所述基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵包括：将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

可选地，所述基于视频中待预测帧次及参考帧次构建帧次矩阵包括：

将待预测侦次与参考帧次做差获得相对预测帧次；

基于所述相对预测帧次构建时间帧次矩阵。

第二方面，本发明提供一种运动轨迹的预测装置，所述装置包括：

选取单元，用于将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

第一构建单元，用于基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

第二构建单元，用于基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

第三构建单元，用于基于视频中待预测帧次及参考帧次构建帧次矩阵；

第四构建单元，用于基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

预测单元，用于根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

可选地，第四构建单元，用于将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

可选地，所述第一构建单元包括：

第一做差模块，用于将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

第一构建模块，用于根据所述n个相对帧次构建矩阵T；

计算模块，用于计算所述矩阵T的广义逆矩阵。

可选地：所述第二构建单元，用于将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

可选地，所述第三构建单元包括：

第二做差模块，用于将待预测侦次与参考帧次做差获得相对预测帧次；

第二构建模块，用于基于所述相对预测帧次构建时间帧次矩阵。

本发明实施例提供的运动轨迹的预测方法及装置，采用多点进行预测，在预测中使用拟合方法，采用前面数点信息，能够给出更加精确的预测，预测效果更好。同时拟合中没有迭代求解的运算，避免了大量的计算。

附图说明

图1为本发明一实施例运动轨迹的预测方法的流程图；

图2为本发明一实施例运动轨迹的预测方法中目标物体坐标示意图；

图3为本发明一实施例运动轨迹的预测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种运动轨迹的预测方法，如图1所示，所述方法包括：

S11、将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

S12、基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

S13、基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

S14、基于视频中待预测帧次及参考帧次构建帧次矩阵；

S15、基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

S16、根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

本发明实施例提供的运动轨迹的预测方法，采用多点进行预测，在预测中使用拟合方法，采用前面数点信息，能够给出更加精确的预测步长和预测方向，预测效果更好。同时拟合中没有迭代求解的运算，避免了大量的计算。

可选地，所述基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型包括：

将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

可选地，所述基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵包括：

将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

根据所述n个相对帧次构建矩阵T；

计算所述矩阵T的广义逆矩阵。

可选地：所述基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵包括：将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

可选地，所述基于视频中待预测帧次及参考帧次构建帧次矩阵包括：

将待预测侦次与参考帧次做差获得相对预测帧次；

基于所述相对预测帧次构建时间帧次矩阵。

本发明实施例提供的运动轨迹的预测方法的研究的物体是在低速运行下的运动物体(民用摄像头可以采集到的一般也是低速运动物体)，在几帧时间内，时间极短，物体的运动趋于平稳，没有太大的波动，同时假设物体为一个质点，故采用运动预测模型为三元一次函数的模型：

在预测运动物体轨迹时，一般情况是根据前面五个点t₀-t₄及对应的d₀-d₄通过拟合求解出四个参数a、b、c、e，然后将t₅带入模型函数，即可以求解出d₅。所以有如下方程组

公式中各个参数对应物体运动(一维运动)的示意图如图2所示。在图2中，t表示帧次，0帧、1帧等，在这里用五个点t₀-t₄及对应的d₀-d₄预测下一帧t₅时物体的位置，其中t₀-t₅相邻两帧之间的时间间隔大体相同，t₀前一帧及对应的位置作为参考帧次及参考坐标。f(t_i)即d_i表示第i帧物体的坐标与参考坐标的距离差(带有方向，正方向为正数，反方向为负数)，t_i表示第i帧与参考帧次的差值。

将公式(1)(2)转化为矩阵格式：

不妨设：

则方程组(1)为

(a b c e)＝(d₀ d₁ d₂ d₃ d₄)·T^(1～4) (6)

其中，T^(1～4)为T的广义逆(1～4)型矩阵，具有唯一性。

将(6)带入(4)得

最终模型为：

其中T为公式(5)。

本发明实施例提供的运动轨迹的预测方法，选用相对的参考坐标及参考帧次，例如还是采用临近的五个点来预测下一帧次的坐标，当用第1、2、3、4、5帧及对应的坐标来预测第6帧的坐标时，选用第0帧及对应的坐标作为参考侦测及参考坐标，与第1、2、3、4、5帧相对应的t₁、t₂、t₃、t₄、t₅分别为1、2、3、4、5，此时由t₁、t₂、t₃、t₄、t₅形成一个广义逆矩阵T^(1～4)。当第6帧预测完后，预测第7帧时，选用第1帧及对应的坐标作为参考侦测及参考坐标，通过第2、3、4、5、6帧及对应的坐标预测第7帧的坐标。与第2、3、4、5、6帧相对应的t₂、t₃、t₄、t₅、t₆仍然为1、2、3、4、5，从而由t₂、t₃、t₄、t₅、t₆仍然形成一个同样的广义逆矩阵T^(1～4)。与第7帧相对应的t₇表示第7帧与第1帧的帧差，等于6，即t₇＝6，在预测第6帧的坐标时，t₆表示第6帧与第0帧的帧差，即t₆＝6，即与第7帧相对应的t₇与在预测第6帧时的t₆也保持一致，为同样的值。因而在预测每一帧时，只需更新d_i，d_i等于帧次i的坐标与每次的参考坐标进行做差，容易计算，计算量较小。因而本发明实施例提供的运动轨迹的预测方法中，不需要迭代求解参数a、b、c、e。由于模型中T是个固定矩阵，T所对应的广义逆矩阵也是唯一的矩阵，我们使用maltab对固定矩阵T求解广义逆矩阵T^(1～4)，这样在计算中不再需要进行迭代求解参数，从而大大减小了计算量。

下面以一个具体的实例来介绍，使用连续五点预测下一点中，选用第1-5帧及对应的坐标预测第6帧的坐标，其中第0帧及对应的坐标为参考帧次及对应的坐标。其中t_i值分别如下：t₁＝1，t₂＝2，t₃＝3，t₄＝4，t₅＝5，T的矩阵为：

T的广义逆矩阵T^(1～4)(使用matlab求得)为

将T^(1～4)带入公式(8)，则有

其中，d_i表示第i帧物体的坐标与参考坐标、即第0帧坐标的差值，t_i表示第i帧与参考帧次、即第0帧的差值。当预测下一帧时，即预测第7帧时物体的坐标时，用第2-6帧进行预测，此时第1帧及对应的坐标为参考帧次及参考坐标。预测时因为公式(9)中的后两项保持不变，只需将第2-6帧物体的坐标与第1的坐标分别做差来更新公式(9)中第一项，即可预测到下一帧，即第7物体的坐标与参考坐标之间的差值，根据该差值及对应的参考坐标值即可求得第7帧时物体的坐标。本发明实施例提供的运动轨迹的预测方法是针对一维物体运动的情况，针对二维的情况，分别对x轴、y轴物体的坐标进行预测。

本发明实施例还提供一种运动轨迹的预测装置，如图3所示，所述装置包括：

选取单元31，用于将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

第一构建单元32，用于基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

第二构建单元33，用于基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

第三构建单元34，用于基于视频中待预测帧次及参考帧次构建帧次矩阵；

第四构建单元35，用于基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

预测单元36，用于根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

本发明实施例提供的运动轨迹的预测装置，采用多点进行预测，在预测中使用拟合方法，采用前面数点信息，能够给出更加精确的预测步长和预测方向，预测效果更好。同时拟合中没有迭代求解的运算，避免了大量的计算。

可选地，第四构建单元35，用于将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

可选地，所述第一构建单元32包括：

第一做差模块，用于将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

第一构建模块，用于根据所述n个相对帧次构建一矩阵T；

计算模块，用于计算所述矩阵T的广义逆矩阵。

可选地：所述第二构建单元33，用于将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

可选地，所述第三构建单元34包括：

第二做差模块，用于将待预测侦次与参考帧次做差获得相对预测帧次；

第二构建模块，用于基于所述相对预测帧次构建时间帧次矩阵。

本发明实施例提供的运动轨迹的预测装置的操作流程在所述运动轨迹的预测方法中已经详细描述，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种运动轨迹的预测方法，其特征在于，包括：

将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

基于视频中待预测帧次及参考帧次构建帧次矩阵；

基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

2.根据权利要求1所述的运动轨迹的预测方法，其特征在于，所述基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型包括：

将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

3.根据权利要求1所述的运动轨迹的预测方法，其特征在于，所述基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵包括：

将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

根据所述n个相对帧次构建矩阵T；

计算所述矩阵T的广义逆矩阵。

4.根据权利要求1所述的运动轨迹的预测方法，其特征在于：所述基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵包括：将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

5.根据权利要求1所述的运动轨迹的预测方法，其特征在于，所述基于视频中待预测帧次及参考帧次构建帧次矩阵包括：

将待预测侦次与参考帧次做差获得相对预测帧次；

基于所述相对预测帧次构建时间帧次矩阵。

6.一种运动轨迹的预测装置，其特征在于，包括：

选取单元，用于将视频中待预测帧次之前的第n+1个帧次及对应的目标坐标选取为参考帧次及参考坐标；

第一构建单元，用于基于视频中待预测帧次的前n个帧次及所述参考帧次构建广义逆矩阵；

第二构建单元，用于基于视频中待预测帧次的前n个帧次的对应坐标及所述参考坐标构建坐标矩阵；

第三构建单元，用于基于视频中待预测帧次及参考帧次构建帧次矩阵；

第四构建单元，用于基于所述广义逆矩阵、坐标矩阵及帧次矩阵构建目标轨迹预测模型；

预测单元，用于根据所述目标轨迹预测模型预测待预测帧图像中移动目标的坐标。

7.根据权利要求6所述的运动轨迹的预测装置，其特征在于，第四构建单元，用于将所述坐标矩阵、广义逆矩阵及帧次矩阵的倒置依次相乘形成所述目标轨迹预测模型。

8.根据权利要求6所述的运动轨迹的预测装置，其特征在于，所述第一构建单元包括：

第一做差模块，用于将待预测帧次的前n个帧次分别与所述参考帧次做差获得n个相对帧次；

第一构建模块，用于根据所述n个相对帧次构建矩阵T；

计算模块，用于计算所述矩阵T的广义逆矩阵。

9.根据权利要求6所述的运动轨迹的预测装置，其特征在于：所述第二构建单元，用于将待预测帧次的前n个帧次中目标的坐标与所述参考坐标做差获得所述坐标矩阵。

10.根据权利要求6所述的运动轨迹的预测装置，其特征在于，所述第三构建单元包括：

第二做差模块，用于将待预测侦次与参考帧次做差获得相对预测帧次；

第二构建模块，用于基于所述相对预测帧次构建时间帧次矩阵。