CN106470342B - 全局运动估计方法及装置 - Google Patents

Abstract

全局运动估计方法及装置，所述方法包括：计算前一帧图像的各个分块的运动矢量；对前一帧图像的各个分块进行聚类；分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出。上述的方案，可以提高计算得出的全局运动矢量的准确性，并节约计算资源。

Description

全局运动估计方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种全局运动估计方法及装置。

背景技术

运动估计方法，一般根据当前帧图像中采用周围分块的运动矢量，或者前一帧图像中相似位置处的分块的运动矢量，来对当前帧图像中的当前分块的运动矢量进行预测。周围分块的运动矢量和前一帧图像中相似位置处的分块的运动矢量仅仅代表了图像的局部运动，无法准确地反映出图像的全局运动。

为解决上述问题，现有技术中采用在周围分块的运动矢量和前一帧图像中相似位置处的分块的运动矢量的基础上加入全局运动估计的方式来加快运动估计的速度，使得预测得到的当前帧图像中的分块的运动矢量快速收敛至真实的运动矢量。

现有技术中，采用像素域的全局运动矢量估计和分层次的全局运动矢量估计来进行图像的全局运动估计，存在着计算量大或者计算得出的全局运动矢量不准确的问题。

发明内容

本发明实施例解决的技术问题是如何提高计算得出的全局运动矢量的准确性并节约计算资源。

为解决上述问题，本发明实施例提供了一种全局运动估计方法，所述全局运动估计方法，包括：

计算前一帧图像的各个分块的运动矢量；

对前一帧图像的各个分块进行聚类；

分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出。

可选地，所述对前一帧图像的各个分块进行聚类，包括：

遍历所述前一帧图像的各个分块；

分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类；

当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值小于等于预设的距离阈值时，将所述当前分块加入所述目标类，并重新计算所述目标类的质心；

当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值大于所述距离阈值时，创建一新类，并将所述当前分块加入所创建的新类中。

可选地，所述已有类在初始化时包括一个初始类，所述初始类中包括一个零运动矢量(0，0)。

可选地，在所述将所述多个类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出之前，还包括：当确定类中的分块的数量小于预设的阈值时，将所述类的质心去除。

本发明实施例还提供了一种全局运动估计装置，所述装置包括：

计算单元，适于计算前一帧图像的各个分块的运动矢量；

聚类单元，适于对前一帧图像的各个分块进行聚类；

输出单元，适于分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出。

可选地，所述聚类单元适于遍历所述前一帧图像的各个分块；分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类；当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值小于等于预设的距离阈值时，将所述当前分块加入所述目标类，并重新计算所述目标类的质心；当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值大于所述距离阈值时，创建一新类，并将所述当前分块加入所创建的新类中。

可选地，所述聚类单元在初始化时已有类包括一个初始类，所述初始类中包括一个零运动矢量(0，0)。

可选地，所述装置还包括：

判断单元，适于在将所述多个类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出之前，判断聚类得到的类中分块的数量是否小于预设的阈值；

筛选单元，当确定类中分块的数量小于预设的阈值时，将所述类的质心去除。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，通过对前一帧图像的各个分块的运动矢量进行聚类得到的多个类的质心对应的运动矢量作为当前帧图像的全局运动矢量并输出，而无需通过额外的块匹配来得到当前帧图像的全局运动矢量，因此，可以节约运算量。同时，采用聚类的方式得到的多个类的质心对应的运动矢量，可以反映出图像中的多个全局运动，可以避免在前后景边界区域出现误判的情况，因此，可以提高计算得出的全局运动矢量的准确性。

进一步地，当得到的类中的分块数量小于预设的阈值时，将所述类的质心从所述全局运动矢量中去除，可以仅保留图像的主要运动，而剔除一些局部运动的干扰，因此，可以进一步提高所得到的全局运动矢量的准确性。

附图说明

图1是本发明实施例中的一种全局运动估计方法的流程图；

图2是本发明实施例中的对前一帧图像中的各个分块进行聚类的流程图；

图3是本发明实施例中的全局运动估计装置的结构示意图。

具体实施方式

现有技术中，在进行全局运动估计时，通常采用像素域的全局运动估计方法或者分层次的全局运动估计方法进行。其中：

像素域的全局运动估计过程可以定义为寻找当前帧的图像中的各个像素点与参考图像中的预测点之间的差平方和最小值的过程。因此，在进行像素域的全局运动估计方法，当前帧图像中的全部像素均参与到运算中，存在着计算量大的问题。

在分层次的全局运动估计方法中，全局运动矢量和局部运动矢量的估计之间是相互独立进行的，即在局部运动矢量的计算之外，还需要进行全局运动矢量的估计，因此，也存在着运算量大的问题。同时，分层次的全局运动输出的全局运动矢量只有一个，当图像中存在多个全局运动时，输出的全局运动矢量将无法对图像的全局运动进行准确地描述，因此，存在着准确性低的问题。

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过对前一帧图像的各个分块的运动矢量进行聚类得到的多个类的质心对应的运动矢量作为当前帧图像的全局运动矢量并输出，可以节约运算量，并提高计算得出的全局运动矢量的准确性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1示出了本发明实施例中的一种全局运动估计方法的流程图。如图1所示的全局运动估计方法，可以包括：

步骤S101：计算前一帧图像的各个分块的运动矢量。

在具体实施中，首先将所述前一帧图像的各个分块分成N*N个分块，并对得到的各个分块的运动矢量进行估算。其中，N的数值可以根据实际的需要进行设置。

在本发明一实施例中，利用时空上的连续性，将待计算运动矢量的前一帧图像的当前分块周围的分块的运动矢量的预测值作为当前分块的运动矢量的预测值，即空域上的预测值:

MV_spatial＝{MV(x-1,y-1,n-1),MV(x,y-1,n-1),MV(x+1,y-1,n-1),MV(x-1,y,n-1)} (1)

其中，MV_spatial表示第n帧(当前帧)图像中坐标为(x,y)的分块对应的运动矢量的预测值，MV(x-1,y-1,n-1)表示n-1帧(前一帧)图像中坐标为(x-1,y-1)的分块的运动矢量的预测值，MV(x,y-1,n-1)表示n-1帧图像中坐标为(x,y-1)的分块的运动矢量的预测值，MV(x+1,y-1,n-1)表示n-1帧图像中坐标为(x,y-1)的分块的运动矢量的预测值，MV(x-1,y,n-1)表示n-1帧图像中坐标为(x-1,y)的分块的运动矢量的预测值。

本发明另一实施例中，利用时域上的连续性，将前一帧图像的前一帧图像中位置相似的分块的运动矢量的预测值作为前一帧图像的分块的运动矢量的预测值：

MV_temporal＝{MV(x,y,n-2),MV(x±1,y±1,n-2)} (2)

其中，MV_temporal表示第n帧(当前帧)图像中坐标为(x,y)的分块对应的运动矢量的预测值，MV(x,y,n-2)表示n-2帧(前一帧的前一帧)图像中坐标为(x,y)的分块的运动矢量的预测值，MV(x-1,y-1,n-2)表示n-2帧图像中坐标为(x-1,y-1)的分块的运动矢量的预测值，MV(x-1,y+1,n-2)表示n-2帧图像中坐标为(x-1,y+1)的分块的运动矢量的预测值，MV(x+1,y-1,n-1)表示n-2帧图像中坐标为(x+1,y-1)的分块的运动矢量的预测值，MV(x+1,y+1,n-2)表示n-2帧图像中坐标为(x+1,y+1)的分块的运动矢量的预测值。

本发明又一实施例中，在式(1)和(2)预测值的基础上，加入一定随机性扰动作为当前分块的运动矢量的预测值，以加快收敛速度：

MV_update＝{MV_spatial+U,MV_temporal+U} (3)

其中，U表示在一定范围内的随机扰动。

步骤S102：对前一帧图像的各个分块进行聚类。

在具体实施中，当得到前一帧图像的各个分块的运动矢量的预测值之后，便可以得到前一帧图像的运动矢量场。

在具体实施中，图像的运动信息与图像中真实物体具有对应关系。由于物体的尺寸远远大于块的尺寸，属于同一物体的多个分块包含的运动矢量之间具有一致性。这就使得前一帧图像的运动矢量场中包含有大量的冗余信息，但是，通过这些冗余信息可以对全局运动矢量进行估计，即可以通过对一帧图像中运动矢量进行聚类，来得到代表图像中的物体运动状态的全局运动矢量。

在具体实施中，本发明实施例中的全局运动估计方法还可以包括：

步骤S103：判断聚类得到的类中的分块的数量是否大于预设的阈值，当判断结果为是时，可以执行步骤S104，反之，则不执行任何的操作。

在具体实施中，当对前一帧图像中的各个分块聚类结束时，可以得到一个以上的类。其中，为了提高所得到的全局运动矢量的准确性，可以通过判断聚类得到的类中分块的数量是否大于预设的阈值来对各个类的质心进行筛选，以去除部分不重要的局部运动的干扰。

步骤S104：将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量输出。

在具体实施中，当确定聚类得到的类中的分块的数量大于预设的阈值时，可以则将所述类的质心作为全局运动矢量输出。

在具体实施中，当聚类得到的类的个数为两个或者两个以上时，输出的全局运动矢量也为两个或者两个以上。由于聚类得到的各个类的质心分别表征了一类运动，因此，可以找出两个或者两个以上的运动对应的全局运动矢量，因而，可以提高所输出的全局运动矢量的准确性。

在本发明一实施例中，前一帧图像和当前帧图像在时间上具有连续性，即前一帧图像的全局运动矢量与当前帧的全局运动矢量具有一致性。因此，可以将前一帧图像的全局运动矢量作为当前帧图像的全局运动矢量，以减少重新计算全局运动矢量所带来的额外的运算，节约运算资源，提高全局运动矢量估计的速度。

下面将结合图2对本发明实施中的全局运动估计方法中的对前一帧图像中的分块进行聚类进行详细的说明。

图2示出了本发明实施例中的对前一帧图像的各个分块进行聚类的流程图。如图2所示的对前一帧图像的各个分块进行聚类，可以包括：

步骤S201：初始化。

在具体实施中，当进行初始化时，设置初始类。在本发明一实施例中，为了进一步节约运算量，所述初始类的个数为一个，且所述初始类中仅包括一个零运动矢量(0，0)。

步骤S202：遍历所述前一帧图像的各个分块。

在具体实施中，通过遍历前一帧图像中的各个分块，并对每个分块分别执行步骤S203～S207，以将前一帧图像的各个分块归类至一个以上的类中。

步骤S203：分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类。

在具体实施中，当遍历至一个分块时，可以把遍历至的分块作为当前分块，分别计算当前分块与已有类的质心之间的距离，并将计算出距离进行比较，找出质心与当前分块之间的距离最小的已有类，作为目标类。

在具体实施中，各个类的质心为所述类的各个分块对应的运动矢量的中心。在本发明一实施例中，可以采用欧式距离来计算所述已有类的质心。本领域的技术人员可以理解的是，还可以采用其他的方法计算各个类的质心，在此不做限制。

步骤S204：分别计算所述当前分块与所述目标类中的分块之间的距离。

在具体实施中，当得到目标类时，分别计算当前分块与目标类中已经存在的分块之间的距离。

步骤S205：判断所述当前分块与所述目标类中的分块之间的距离的最大值是否小于或者等于预设的距离阈值，当判断结果为是时，可以执行步骤S206；反之，则可以执行步骤S207。

在具体实施中，所述预设的距离阈值可以根据实际的需要进行设置。

步骤S206：将所述当前分块加入所述目标类，并重新计算所述目标类的质心。

在具体实施中，当计算得出当前分块与所述目标类中的分块之间的距离之后，找出计算得出的距离的最大值，并将所述距离的最大值与预设的距离阈值进行比较。当确定所述距离的最大值小于或者等于预设的距离阈值时，则可以将当前分块归为所述目标类。

在具体实施中，当将当前分块归入所述目标类之后，重新计算加入当前分块之后的目标类的质心，以便于后续步骤中计算后续遍历至的各个分块与所述目标类的质心之间的距离，或者将所述类的质心作为全局运动矢量输出。

步骤S207：创建一新类，并将所述当前分块加入所创建的新类中。

在具体实施中，当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值大于所述距离阈值时，则在已有类之外再额外创建一个新类，并将所述分块加入所创建的新类中，并将当前分块的运动矢量作为所创建的新类的质心。

图3示出了本发明实施例中的一种全局运动估计装置的结构示意图。如图3所示的全局运动估计装置300，可以包括计算单元301、聚类单元302和输出单元303，其中：

计算单元301，适于计算前一帧图像的各个分块的运动矢量。

聚类单元302，适于对前一帧图像的各个分块进行聚类。

在具体实施中，所述聚类单元303适于遍历所述前一帧图像的各个分块；分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类；当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值小于等于预设的距离阈值时，将所述当前分块加入所述目标类，并重新计算所述目标类的质心；当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值大于所述距离阈值时，创建一新类，并将所述当前分块加入所创建的新类中。

在具体实施中，所述聚类单元302在初始化时已有类包括一个初始类，所述初始类中包括一个零运动矢量(0，0)。

输出单元303，适于分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出。

在具体实施中，所述全局运动估计装置300还可以包括判断单元304和筛选单元305，其中：

判断单元304，适于在将所述多个类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出之前，判断聚类得到的类中分块的数量是否小于预设的阈值；

筛选单元305，当确定类中分块的数量小于预设的阈值时，将所述类的质心对应的运动矢量从所述全局运动矢量中去除。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (8)

1.一种全局运动估计方法，其特征在于，包括：

计算前一帧图像的各个分块的运动矢量；

在得出前一帧图像的各个分块的局部运动矢量之后，在此基础上进一步通过下述方式得出当前帧图像的全局运动矢量；

对前一帧图像的各个分块进行聚类，包括：当确定当前分块与目标类中的各个分块之间的距离的最大值大于预设的距离阈值时，创建一新类，并将所述当前分块加入所创建的新类中，所述目标类为已有类中质心与当前分块之间的距离最小的类；

分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出，其中，采用聚类的方式得到多个类的质心对应的运动矢量，反映出图像中的多个全局运动，当聚类得到的类的个数为两个或两个以上时，输出的全局运动矢量也为两个或两个以上。

2.根据权利要求1所述的全局运动估计方法，其特征在于，所述对前一帧图像的各个分块进行聚类，还包括：

遍历所述前一帧图像的各个分块；

分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类；

当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值小于等于预设的距离阈值时，将所述当前分块加入所述目标类，并重新计算所述目标类的质心。

3.根据权利要求2所述的全局运动估计方法，其特征在于，所述已有类在初始化时包括一个初始类，所述初始类中包括一个零运动矢量(0，0)。

4.根据权利要求2所述的全局运动估计方法，其特征在于，在所述将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出之前，还包括：当确定类中的分块的数量小于预设的阈值时，将所述类的质心去除。

5.一种全局运动估计装置，其特征在于，包括：

计算单元，适于计算前一帧图像的各个分块的运动矢量；

在得出前一帧图像的各个分块的局部运动矢量之后，在此基础上进一步通过下述方式得出当前帧图像的全局运动矢量；

聚类单元，适于对前一帧图像的各个分块进行聚类，包括：当确定当前分块与目标类中的各个分块之间的距离的最大值大于预设的距离阈值时，创建一新类，并将所述当前分块加入所创建的新类中，所述目标类为已有类中质心与当前分块之间的距离最小的类；

输出单元，适于分别计算所述聚类得到的类的质心，并将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出，其中，采用聚类的方式得到多个类的质心对应的运动矢量，反映出图像中的多个全局运动，当聚类得到的类的个数为两个或两个以上时，输出的全局运动矢量也为两个或两个以上。

6.根据权利要求5所述的全局运动估计装置，其特征在于，所述聚类单元适于遍历所述前一帧图像的各个分块；分别计算遍历至的当前分块的运动矢量与已有类的质心之间的距离，并从所述已有类中找出质心与所述当前分块之间的距离最小的类作为目标类；当确定所述当前分块与所述目标类中的各个分块之间的距离的最大值小于等于预设的距离阈值时，将所述当前分块加入所述目标类，并重新计算所述目标类的质心。

7.根据权利要求6所述的全局运动估计装置，其特征在于，所述已有类在初始化时包括一个初始类，所述初始类中包括一个零运动矢量(0，0)。

8.根据权利要求6所述的全局运动估计装置，其特征在于，还包括：

判断单元，适于在将所述类的质心对应的运动矢量，作为当前帧图像的全局运动矢量进行输出之前，判断聚类得到的类中分块的数量是否小于预设的阈值；

筛选单元，当确定类中分块的数量小于预设的阈值时，将所述类的质心去除。

Images