CN106469456B

CN106469456B - 运动估计方法和运动估计装置

Info

Publication number: CN106469456B
Application number: CN201510490707.XA
Authority: CN
Inventors: 刘童; 师忠超; 任杰; 李静雯; 陈超
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-08-11
Filing date: 2015-08-11
Publication date: 2019-04-19
Anticipated expiration: 2035-08-11
Also published as: CN106469456A

Abstract

本发明提供了一种运动估计方法和运动估计装置，所述运动估计方法包括：获取包含多帧图像的图像序列；检测所述图像序列的每一帧图像中的特征点；确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

Description

运动估计方法和运动估计装置

技术领域

本发明涉及图像处理的领域，更具体地，本发明涉及一种运动估计方法和运动估计装置。

背景技术

在图像处理领域中，为了确定物体在多帧图像之间的变化，通常采用所谓的运动估计方法。在运动估计方法中，由于诸如图像噪声、遮挡、模糊、视角、光照变化等种种原因，在匹配的特征点中常常出现孤立点，即，错误关联在一起的特征点。孤立点的存在影响了运动估计的准确性，特别是图像帧的数目多的时候尤为明显。虽然目前存在一些用于去除孤立点的影响的方法，然而，这些方法由于噪声的影响，收敛速度较慢，并可能导致较大误差。

发明内容

有鉴于上述情况，本发明提供了一种运动估计方法和运动估计装置，其能够有效地去除运动估计中由于孤立点而导致的影响，从而改进运动估计的收敛速度，提高运动估计的精度。

根据本发明一实施例，提供了一种运动估计方法，包括：获取包含多帧图像的图像序列；检测所述图像序列的每一帧图像中的特征点；确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

根据本发明另一实施例，提供了一种运动估计装置，包括：获取单元，获取包含多帧图像的图像序列；检测单元，检测所述图像序列的每一帧图像中的特征点；确定单元，确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及估计单元，对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

根据本发明另一实施例，提供了一种运动估计装置，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，当所述计算机程序指令被所述处理器运行时，执行以下步骤；获取包含多帧图像的图像序列；检测所述图像序列的每一帧图像中的特征点；确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

根据本发明另一实施例，提供了一种计算机程序产品，其上存储有计算机程序指令，当所述计算机程序指令被计算机运行时，执行以下步骤：获取包含多帧图像的图像序列；检测所述图像序列的每一帧图像中的特征点；确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

在本发明实施例的运动估计方法和运动估计装置中，对作为匹配特征点对的采样点进行基于权重的迭代估计，由于在运动估计过程中对不同采样点施加了不同权重并基于不同权重进行迭代采样估计，因此，能够有效地去除孤立点的影响，从而提供较快的收敛速度。此外，由于有效地去除了孤立点的影响，因此即便所处理的图像帧数很多，本发明实施例的运动估计方法和运动估计装置也不会导致大的累积误差，从而保持相对高的精度。

附图说明

图1是图示根据本发明实施例的运动估计方法的流程图；

图2是图示根据本发明实施例的运动估计装置的主要配置的框图；以及

图3是图示根据本发明另一实施例的运动估计装置的主要配置的框图。

具体实施方式

以下将参考附图详细描述本发明实施例。

首先，参照图1描述根据本发明实施例的运动估计方法。

如图1所示，首先，在步骤S110，获取包含多帧图像的图像序列。具体地，例如，在本发明实施例的运动估计方法应用于诸如视觉测距等的领域中时，可以通过诸如车辆等运动物体上所安装的摄像头采集包含多帧图像的所述图像序列。

接下来，在步骤S120，检测所述图像序列的每一帧图像中的特征点。具体地，本领域技术人员可以采用图像处理领域已知的和未来开发的各种方法来检测每一帧图像中的特征点，在此不再详述。

在检测了各帧图像中的特征点之后，所述运动估计方法进行到步骤S130。在步骤S130，确定相邻帧图像之间的匹配特征点对，作为采样点集合。换言之，在此步骤中，确定相邻帧图像中的特征点之间的对应关系。具体地，在一示例中，可采用诸如特征点匹配等的方式，来确定所述匹配特征点对。在另一示例中，可采用诸如KLT(Kanade-Lucas-Tomasi)跟踪等的运动跟踪的方式，来确定所述匹配特征点对。当然，以上所述仅为示例。本领域技术人员可以采用图像处理领域已知的和未来开发的各种方法来确定相邻帧图像之间的匹配特征点对，在此不再详述。

在确定了所有匹配特征点对从而形成了采样点集合之后，所述运动估计方法进行到步骤S140。在步骤S140，对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

具体地，在一示例中，在迭代估计的过程中，首先，对于本次迭代估计，获得当前帧的运动估计参数(以下，称为初步估计参数)。所述初步估计参数例如可以为当前帧的运动参数所对应的估计参数，如图像特征变换T。具体地，可以根据历史帧的运动信息来预测当前帧的运动参数所对应的图像特征变换T。例如，所述运动信息可以为近几帧的速度和加速度。由此，可以基于近几帧的速度和加速度来预测运动趋势，从而获得当前帧的初步估计参数，例如，图像特征变换T。示例性地，对于初始若干帧，如第一帧，可以将其图像特征变换T设置为0。替代地，也可以对于初始若干帧(如第一帧)不进行上述估计。

在获得了当前帧的初步估计参数之后，可以基于所述初步估计参数，对所述采样点集合中的每个采样点分配权重。具体地，所述权重可以根据各种策略来进行分配。在一示例中，所述权重可以由本领域技术人员根据需要适当设置。

在另一示例中，可以首先计算所述初步估计参数所对应的置信度。例如，计算所述图像特征变换T所对应的置信度C。具体地，可以基于所述初步估计参数，确定所述采样点集合中的非孤立点。更具体地，可以以各种方式确定所述非孤立点。作为一示例，可以对于每个特征点，基于此特征点在当前帧图像中的位置(以下，为区别起见称为第一位置)以及所述图像特征变换T，预测此特征点在后一帧图像中国的位置(以下，为区别起见称为第二位置)。另一方面，确定所述特征点在所获取的后一帧图像中的实际的位置(以下，为区别起见称为第三位置)。此后，计算所述第三位置与所述第二位置之间的距离，并判断所述距离是否小于阈值。所述阈值可以由本领域技术人员根据设计精度和需要适当地设置，在此不作限定。当所述距离小于所述阈值时，将此特征点所对应的采样点确定为非孤立点。当所述距离不小于所述阈值时，将此特征点对应的采样点确定为孤立点。由此，可以确定所述采样点集合中全部的非孤立点，并计算出所述非孤立点的数目与所述采样点集合中的全部采样点的数目之间的比率，从而得到所述置信度。

在得到所述置信度C之后，基于所述图像特征变换T与所述置信度C，对每个采样点分配权重。

更具体地，首先，对于每个特征点，同样地，基于所述特征点在当前帧图像中的第一位置和所述图像特征变换T，预测所述特征点在后一帧图像中的第二位置，如下表达式(1)所示：

其中，对于每个特征点，T()为如上所述估计的图像特征变换，为所述特征点在第t帧的所预测的位置，L_t-1为所述特征点在第t-1帧的经检测或跟踪所得到的实际位置。

接下来，确定所述特征点在所获取的后一帧图像中的实际的第三位置，并计算所述第二位置与所述第三位置之间的距离，如下表达式(2)所示：

其中，L_t为所述特征点在第t帧的经检测或跟踪所得到的实际位置，D为两个位置之间的(二维)距离，在本发明实施例中也适当地称为投影误差。

接下来，基于所述距离和所述置信度，对每个特征点所对应的采样点分配权重。

在第一示例中，基于如下表达式(3)来对每个特征点所对应的采样点分配权重：

W(D)＝D^log(1-C) (3)

其中，对于每个特征点，D为如上所述的投影误差，C为如上所述的置信度，W()为对所述特征点所对应的采样点分配的权重。

由上述表达式(3)可以看出，如果置信度C接近1，那么log(1-C)为一个绝对值较大的负数，这导致当特征点的投影误差比较大时，它的权重会被压得很低；相反，如果置信度C接近0，那么log(1-C)会是一个绝对值比较小，接近0的负数，这意味着尽管大的投影误差会对应相对低的权重，但被压低的程度并不非常显著。换言之，置信度C越大，在如后所述的采样过程中权重D所起的影响越大。置信度C越小，在采样过程中权重D所起的影响越小。

在第二示例中，基于如下表达式(4)来对每个特征点所对应的采样点分配权重：

上述表达式(4)中各参数的含义已经在上面描述，在此不再重复。

需要指出的是，以上所述的权重分配的方式仅为示例。本领域技术人员完全可以基于其他方式来分配权重。

此外，需要指出的是，以上以图像特征变换T及其对应的置信度C为例进行了描述，然而，本发明不限于此。本领域技术人员可以基于其他估计参数而进行处理，只要能够对各个采样点适当地分配权重。

在对每个采样点都分配了权重之后，基于所述权重，对所述采样点集合进行采样，并基于所述采样的结果计算当前帧的运动估计参数(以下，称为迭代估计参数)。具体地，作为一示例，可以基于RANSAC(RANdom Sample Consensus)算法，通过对采样点集合中的各个采样点进行基于权重的采样/重采样。也就是说，一个特征点对(即，采样点)在运动估计时的采样/重采样过程中被选中的概率依赖于它的权重。权重越大，所述采样点越可能被采样到。权重越小，所述采样点越不可能被采样到。由此，基于所述采样的结果来计算当前帧的迭代估计参数，例如，图像特征变换T’及其对应的置信度C’。

接下来，判断是否满足迭代终止条件。在第一示例中，可以判断是否达到预设的迭代次数。所述迭代次数可以由本领域技术人员根据需要适当地设置，在此不作具体限定。在第二示例中，可以判断此时所获得的置信度C’是否大于置信度阈值。所述置信度阈值可以由本领域技术人员根据需要适当地设置，在此不作具体限定。当然，以上所述的迭代终止条件仅为示例。本领域技术人员可以根据需要设置其他迭代终止条件。

当判断不满足迭代终止条件时，将所述迭代估计参数作为所述初步估计参数，以进行下一次迭代估计。也就是说，设T＝T’，C＝C’，并由此开始新一轮的运动估计。

另一方面，当判断满足迭代终止条件时，将所述迭代估计参数确定为所述运动估计结果。即，将T’作为最终的图像特征变换结果输出。

以上，参照图1描述了本发明实施例的运动估计方法。

在本发明实施例的运动估计方法中，对作为匹配特征点对的采样点进行基于权重的迭代估计，由于在运动估计过程中对不同采样点施加了不同权重并基于不同权重进行迭代采样估计，因此，能够有效地去除孤立点的影响，从而提供较快的收敛速度。

此外，由于有效地去除了孤立点的影响，因此即便所处理的图像帧数很多，本发明实施例的运动估计方法也不会导致大的累积误差，从而保持相对高的精度。

而且，由于在分配权重的过程中考虑到了运动估计参数所对应的置信度，使得所分配的权重受到置信度的影响，从而使得权重的分配更加合理，并能够改进运动估计的精度。

以上，参照图1描述了本发明实施例的运动估计方法。

下面，将参照图2描述本发明实施例的运动估计装置。

如图2所示，本发明实施例的运动估计装置200主要包括：获取单元210、检测单元220、确定单元230和估计单元240。

所述获取单元210获取包含多帧图像的图像序列。所述检测单元220检测所述图像序列的每一帧图像中的特征点。所述确定单元230确定相邻帧图像之间的匹配特征点对，作为采样点集合。所述估计单元240对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果。

在一实施例中，所述估计单元240包括：初步估计参数获取单元，对于本次迭代估计，获得当前帧的初步估计参数；分配单元，基于所述初步估计参数，对所述采样点集合中的每个采样点分配权重；采样单元，基于所述权重，对所述采样点集合进行采样；迭代估计参数计算单元，基于所述采样的结果，计算当前帧的迭代估计参数；终止判断单元，判断是否满足迭代终止条件；以及迭代处理单元，当判断不满足迭代终止条件时，将所述迭代估计参数作为所述初步估计参数，以进行下一次迭代估计；当判断满足迭代终止条件时，将所述迭代估计参数确定为所述运动估计结果。

在另一实施例中，所述分配单元包括：置信度计算单元，计算所述初步估计参数所对应的置信度；以及子分配单元，基于所述初步估计参数与所述置信度，对每个采样点分配权重。

在另一实施例中，所述子分配单元包括：预测位置确定单元，对于每个特征点，基于所述特征点在当前帧图像中的第一位置和所述初步估计参数，预测所述特征点在后一帧图像中的第二位置；实际位置确定单元，确定所述特征点在所获取的后一帧图像中的实际的第三位置；距离计算单元，计算所述第二位置与所述第三位置之间的距离；以及权重分配单元，基于所述距离和所述置信度，对每个特征点所对应的采样点分配权重。

下面，将参照图3描述本发明另一实施例的运动估计装置。

如图3所示，本发明实施例的运动估计装置300主要包括：一个或多个处理器310和存储器320，这些组件通过总线系统330和/或其它形式的连接机构(未示出)互连。应当注意，图3所示的运动估计装置300的组件和结构只是示例性的，而非限制性的，根据需要，运动估计装置300也可以具有其他组件和结构。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制运动估计装置300中的其它组件以执行期望的功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器320可以运行所述程序指令，以实现本发明实施例的运动估计方法的功能以及/或者其它期望的功能。

此外，虽然没有示出，但是本发明实施例的运动估计装置300还可以适当地包括诸如输入单元和输出单元等的其他单元。

以上，参照图2和图3描述了本发明实施例的运动估计装置。

在本发明实施例的运动估计装置中，对作为匹配特征点对的采样点进行基于权重的迭代估计，由于在运动估计过程中对不同采样点施加了不同权重并基于不同权重进行迭代采样估计，因此，能够有效地去除孤立点的影响，从而提供较快的收敛速度。

以上，参照图1到图3描述了根据本发明实施例的运动估计方法和运动估计装置。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，需要说明的是，在本说明书中，类似“第一…单元”、“第二...单元”的表述仅为了在描述时方便区分，而并不意味着其必须实现为物理分离的两个或多个单元。事实上，根据需要，所述单元可以整体实现为一个单元，也可以实现为多个单元。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。

在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种运动估计方法，包括：

获取包含多帧图像的图像序列；

检测所述图像序列的每一帧图像中的特征点；

确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及

对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果，

其中，对所述采样点集合进行基于权重的迭代估计的步骤包括：

对于本次迭代估计，获得当前帧的初步估计参数；

基于所述初步估计参数，对所述采样点集合中的每个采样点分配权重；

基于所述权重，对所述采样点集合进行采样；

基于所述采样的结果，计算当前帧的迭代估计参数；

判断是否满足迭代终止条件；以及

当判断不满足迭代终止条件时，将所述迭代估计参数作为所述初步估计参数，以进行下一次迭代估计；当判断满足迭代终止条件时，将所述迭代估计参数确定为所述运动估计结果。

2.如权利要求1所述的运动估计方法，其中，对所述采样点集合中的每个采样点分配权重的步骤包括：

计算所述初步估计参数所对应的置信度；以及

基于所述初步估计参数与所述置信度，对每个采样点分配权重。

3.如权利要求2所述的运动估计方法，其中，计算所述初步估计参数所对应的置信度的步骤包括：

基于所述初步估计参数，确定所述采样点集合中的非孤立点；以及

通过计算所述非孤立点的数目与所述采样点集合中的全部采样点的数目之间的比率，得到所述置信度。

4.如权利要求3所述的运动估计方法，其中，确定所述采样点集合中的非孤立点的步骤包括：

对于每个特征点，基于所述特征点在当前帧图像中的第一位置和所述初步估计参数，预测所述特征点在后一帧图像中的第二位置；

确定所述特征点在所获取的后一帧图像中的实际的第三位置；以及

将所述第二位置与所述第三位置之间的距离小于阈值的特征点所对应的采样点确定为非孤立点。

5.如权利要求2所述的运动估计方法，其中，对每个采样点分配权重的步骤包括：

确定所述特征点在所获取的后一帧图像中的实际的第三位置；

计算所述第二位置与所述第三位置之间的距离；以及

基于所述距离和所述置信度，对每个特征点所对应的采样点分配权重。

6.一种运动估计装置，包括：

获取单元，获取包含多帧图像的图像序列；

检测单元，检测所述图像序列的每一帧图像中的特征点；

确定单元，确定相邻帧图像之间的匹配特征点对，作为采样点集合；以及

估计单元，对所述采样点集合进行基于权重的迭代估计，以得到运动估计参数作为运动估计结果，

其中，所述估计单元包括：

初步估计参数获取单元，对于本次迭代估计，获得当前帧的初步估计参数；

分配单元，基于所述初步估计参数，对所述采样点集合中的每个采样点分配权重；

采样单元，基于所述权重，对所述采样点集合进行采样；

迭代估计参数计算单元，基于所述采样的结果，计算当前帧的迭代估计参数；

终止判断单元，判断是否满足迭代终止条件；以及

迭代处理单元，当判断不满足迭代终止条件时，将所述迭代估计参数作为所述初步估计参数，以进行下一次迭代估计；当判断满足迭代终止条件时，将所述迭代估计参数确定为所述运动估计结果。

7.如权利要求6所述的运动估计装置，其中，所述分配单元包括：

置信度计算单元，计算所述初步估计参数所对应的置信度；以及

子分配单元，基于所述初步估计参数与所述置信度，对每个采样点分配权重。

8.如权利要求7所述的运动估计装置，其中，所述子分配单元包括：

预测位置确定单元，对于每个特征点，基于所述特征点在当前帧图像中的第一位置和所述初步估计参数，预测所述特征点在后一帧图像中的第二位置；

实际位置确定单元，确定所述特征点在所获取的后一帧图像中的实际的第三位置；

距离计算单元，计算所述第二位置与所述第三位置之间的距离；以及

权重分配单元，基于所述距离和所述置信度，对每个特征点所对应的采样点分配权重。