CN102999919B - 自运动估计系统和方法 - Google Patents

Abstract

本发明提供一种使用自运动估计系统来确定自运动参数的计算机实施方法。获得第一图像帧和第二图像帧。选择所述第一图像帧的第一部分和所述第二图像帧的第二部分来分别获得第一子图像和第二子图像。对所述第一子图像和所述第二子图像中的每一者执行变换，以分别获得第一透视图像和第二透视图像。以迭代方式调整所述第二透视图像以获得多个调整后的透视图像。确定分别对应于所述第一透视图像与所述调整后的透视图像之间的对应差别的多个差值。确定自运动参数的平移向量。所述平移向量对应于所述多个差值中的一者。

Description

自运动估计系统和方法

技术领域

本发明涉及自运动，更具体来说，涉及估计相机的运动参数。

背景技术

自运动是指相机在一个环境内的三维移动。自运动估计是指基于由相机捕获的一系列图像来估计相机在一个环境内的移动。自运动估计是计算机视觉领域，且尤其是在理解并重建三维场景时的重要任务。对于移动机器(诸如，车辆和自导机器人)的基于计算机视觉的操作来说，场景理解和重建很重要。

为了理解或重建场景，可以利用计算机视觉技术来对场景的图像帧进行分割。然而，当相机正在移动时，图像分割可能为一项艰巨的任务。图像分割技术必须考虑到相机的移动，可以通过估计自运动作为预备步骤来实现。

一种已知的自运动估计方法辨认、追踪并匹配一系列图像帧中的特征点。然而，特征跟踪可能在计算上的处理成本很高。

另一种已知自运动估计方法依赖于图像帧中的地标，诸如路面上的车道标记或文字。然而，在实践中，路面上的显著地标可能并不总是可用的。

一种用于估计自运动的额外技术使用立体视觉。这种技术使用至少两个相机来获得环境的图像帧。结果，所述立体视觉方法增加了自运动估计的硬件成本。

因此，需要一种精确、快速并且计算成本低的方法来估计自运动。

发明内容

提供一种使用自运动估计系统来确定自运动参数的计算机实施方法。获得第一图像帧和第二图像帧。选择所述第一图像帧的第一部分和第二图像帧的第二部分来分别获得第一子图像和第二子图像。对所述第一子图像和所述第二子图像中的每一者执行变换，以分别获得第一透视图像和第二透视图像。以迭代方式调整所述第二透视图像以获得多个调整后的透视图像。确定分别对应于所述第一透视图像与所述调整后的透视图像之间的对应差别的多个差值。确定自运动参数的平移向量。所述平移向量对应于所述多个差值中的一者。

还提供一种用于确定自运动参数的系统。图像处理模块接收第一图像帧和第二图像帧。图像分割模块选择所述第一图像帧的一部分和所述第二图像帧的一部分来分别获得第一子图像和第二子图像。图像变换模块对所述第一子图像和所述第二子图像执行对应变换，以分别获得第一透视图像和第二透视图像。运动补偿模块调整所述第二透视图像以获得调整后的透视图像。图像差别模块确定对应于所述第一透视图像与所述调整后的透视图像之间的差别的差值。自运动参数确定模块以迭代方式获得分别对应于所述第一透视图像与多个调整后的透视图像之间的对应差别的多个差值。所述自运动参数确定模块也确定自运动参数的平移向量。所述平移向量对应于所述多个差值中的一者。

附图说明

通过参考以下附图可以更好地理解本发明。附图中的组件未必是按比例绘制，而重点在于说明本发明的原理。在诸图中，相同参考数字贯穿不同视图指代相应部件。

图1是自运动估计系统的实施形式的实施例。

图2是图像帧对的实施例。

图3是图2的示例图像帧对的对应俯视透视图像。

图4是在尚未执行运动补偿的情况下图3的俯视透视图像的差别图像。

图5是在已执行运动补偿的情况下图3的俯视透视图像的差别图像。

图6是用于确定自运动参数的示例方法步骤的流程图。

具体实施方式

所描述的系统和方法可以用来确定相机的自运动参数。将在相机安装到车辆的背景下以举例方式描述所述系统和方法，所述相机捕获描绘车辆移动路径的图像帧。然而，应理解，此申请中的教示可以应用于以相对较低的速度移动的任何装备有相机的移动机器(例如，车辆、移动式机器人等)。在所示出的实施例中，相对较低的移动速度可以是大约10公里每小时(km/h)至20km/h，或大约6.2英里每小时(mph)至12.4mph。

自运动参数是指相机的行进距离和方向，即，相机沿着水平和垂直移动路径移动了多远以及在哪个方向上移动。所述水平和垂直移动路径可以分别对应于x轴和y轴。因此，在此实施例中，自运动参数包括平移向量(t_x,t_y)，该平移向量包括水平分量t_x和垂直分量t_y。水平分量t_x和垂直分量t_y分别界定沿着水平轴x和垂直轴y的平移(以图像像素为单位)。自运动参数也可以包括旋转角度θ。在计算机视觉应用中，可以估计自运动参数作为预备步骤，所述计算机视觉应用诸如相机辅助车辆导航(例如，停车、倒车、故障检测)、自导机器人导航、位姿估计和三维场景重建。

一般来说，并且如下文更详细地论述，自运动估计系统通过比较由相机捕获的图像帧之间的差别来操作。举例来说，对于装备有相机的车辆，自运动估计系统比较描绘车辆路径的一系列图像帧中的两个图像帧之间的差别，以便确定运动参数。在此实施例中，自运动估计系统使用相对较简单的算术运算(特别是加法和减法)来处理所述图像，这有利地使系统适合于使用专用硬件来实施，所述专用硬件诸如图形处理单元(GPU)和场可编程门阵列(FPGA)。在使用诸如这些硬件的专用硬件的实施形式中，可以相对快速地处理所述图像来确定运动参数。

参看图1，示出自运动估计系统100的实施形式的实施例。在所示出的实施例中，自运动估计系统100与图像捕获装置102和输出装置104进行信号通信。所述图像捕获装置102可以将图像帧传输至自运动估计系统100以供处理，以便确定自运动参数。输出装置104可以是(例如)向用户显示自运动参数的显示装置，或者是在某一应用中使用自运动参数的另一个系统(例如，使用自运动参数以用于对移动机器进行可控操作的驱动控制系统)。

自运动估计系统100可以处理由图像捕获装置102捕获的一对图像帧以确定运动参数。图像捕获装置102可以按预定的帧速率(例如，30帧每秒(fps))来捕获图像帧。在30fps下，连续图像帧之间的时间间隔是大约0.06秒(s)：2帧÷30帧每秒≈0.06s。因为在此实施例中自运动估计系统100确定以相对较低的速度(10km/h至20km/h)移动的图像捕获装置102的自运动参数，所以自运动估计系统可以假设移动机器的预定最大速度，诸如最大速度20km/h。基于所假设的最大速度和图像帧之间的时间，自运动估计系统100可以确定在连续图像帧之间移动机器可以行进的最大距离(以像素为单位)。

举例来说，如果图像捕获装置102在30fps下操作，从而使得连续图像帧之间的大约是0.06s，并且假设最大速度是20km/h，那么在连续图像帧之间移动机器可以行进的最大距离是大约0.3333米(m)：(20km/h÷3600s)×0.06s×1000m≈0.3333m。

在一些实施形式中，自运动估计系统100并不处理每一个图像帧，而且选择处理的帧可能取决于预定的图像帧间隔。举例来说，如果图像帧间隔设置为10，那么自运动估计系统100可以选择图像帧[1,10,20,30,…]来处理，其中图像帧[1,10]选为第一对，图像帧[10,20]选为第二对，等等。可以有选择地使用其它图像帧间隔。

因此，自运动估计系统100可以基于连续图像帧之间的帧间隔和最大距离来确定在一个选定图像帧与随后选定的图像帧之间图像捕获装置102可以行进的最大距离。使用上文的实施例，即图像帧间隔设置为10，以30fps捕获，并且假设最大速度是20km/h，选定图像帧之间的最大距离是大约3.333m：10×0.3333m≈3.333m。因此，图像帧对之间的最大距离可以对应于最大平移向量(T_x,T_y)，所述最大平移向量(T_x,T_y)包括最大水平分量T_x和最大垂直分量T_y。最大水平分量T_x和最大垂直分量T_y表示在选定的图像帧之间移动机器沿着水平轴和垂直轴分别可以行进的最大距离(以像素为单位)。在此实施例中，自运动估计系统100依赖于所述最大平移向量来确定自运动参数，如下文所更详细地解释。

图1中所示出的自运动估计系统100包括用于确定自运动参数的各种模块，包括：图像处理模块106，其用于处理从图像捕获装置接收到的图像帧；自运动参数确定模块108，其用于基于所处理的图像来确定自运动参数；以及具有一个或多个处理单元112的处理模块110，所述一个或多个处理单元112用于执行关于处理图像帧和确定自运动参数的指令。图1的自运动估计系统100还可以包括其它附加硬件(未示出)，诸如用于存储关于自运动参数的图像帧和数据的存储器单元。

在此实施例中，图像处理模块106包括用于处理从图像捕获装置接收到的图像帧的各种模块。在此实施例中，图像处理模块106包括：图像分割模块114，其用于将图像帧分割成对应子图像；图像变换模块116，其用于对所述子图像执行投影变换并获得透视图像；运动补偿模块118，其用于对透视图像执行几何平移以补偿图像捕获装置的移动；以及图像差别模块120，其用于计算所述透视图像之间的差别。

图像处理模块106处理一对选定图像帧。基于对所述图像帧的分析，自运动估计系统100可以确定自运动参数。图2示出选定图像帧对122的实施例。两个选定图像帧124和126描绘装备有图像捕获装置102的车辆的移动路径。当车辆正在移动时，图像捕获装置102捕获图2中所示出的示例图像帧124和126。由于在捕获图像帧124和126时车辆正在移动，因此后续图像帧126中的物体相对于其在前一个图像帧124中的位置来说略微发生位移。在此实施例中，自运动估计系统100在确定自运动参数时依赖于图像帧之间的位移物体，如下文更详细地论述。

图1中的图像分割模块114对图像帧进行分割(或划分)。接着，图像分割模块114选择每一个图像帧的一部分作为子图像。举例来说，图像分割模块114可以将一个图像帧分割成上部子图像124a和126a以及下部子图像124b和126b，如图2中举例所示出。在此实施例中，将具有大部分路面的子图像指定为目标子图像，并且对目标子图像执行后续的图像处理。通常，下部子图像将包括大部分路面，并且会被指定为目标子图像。如图2中所见，示例图像帧124和126已经被划分成对应上部子图像124a和126a以及下部子图像124b和126b，并且每一个下部子图像包括大部分路面。因此，在此实施例中，可以选择下部子图像124b和126b作为目标子图像。

图像变换模块116对目标子图像中的每一者执行透视变换。所述透视变换针对目标子图像124和126中的每一者产生对应俯视透视图像。参看图3，示出两个俯视透视图像128和130，其分别对应于图2中所示出的目标子图像124b和126b。

根据单应性理论，透视变换会使俯视透视图像中的一些(但非全部)物体发生变形。举例来说，透视变换可能不会使与路面共面的物体(例如，车道标记、油漆带、文字、阴影、光照等)发生变形。在图3的俯视透视图像中与路面共面的物体包括阴影132和光线134。相比之下，透视变换可能会使不共面的物体发生变形，所述不共面的物体就是与路面垂直并且从路面升起的物体(例如，柱、杆、锥形交通路标、树、人等)。在图3的俯视透视图像中不共面的物体包括锥形交通路标136和路边的灌木138。举例来说，从路面升起的物体可能由于所述透视变换而被拉长。此外，由于相机移动，透视变换可能导致非共面物体发生不同程度的变形。在确定自运动参数时，自运动估计系统100另外还依赖于这些单应现象，如下文更详细地论述。

图1中的自运动估计系统100还包括图像差别模块120，图像差别模块120计算所述俯视透视图像之间的差别。在此实施例中，透视图像是光栅图像，并且因此由像素网格组成，每一个像素具有相应的像素值。差别图像是指分别用一个图像中的每一个像素值(例如，红-绿-蓝(RGB)值)减去另一个图像中的相应像素值而得到的图像。因此，差别图像中的像素的像素值可以是两个图像的相应像素之间的差值。如果相应像素的像素值相同，那么像素值之间的所得差值为零，在差别图像中可能表现为黑色像素。因此，如果两个图像是相同的，那么所得差别图像将是完全黑色，因为两个图像中的每一个对应像素值都相同，从而导致差值为零。然而，如果两个图像略有不同，那么差别图像可能包括一些非黑色像素，因为两个图像中的相应像素之间的差值为非零。当相应像素值之间存在非零差别时，差别图像可能包括如非黑色像素的假影。

在此实施例中，由图像捕获装置捕获的选定图像帧可能由于图像捕获装置的运动而略有不同。如上文所提到，后续的图像帧中的一些物体将会发生位移。结果，选定的图像帧的差别图像可能包括如非黑色像素的假影。在图4中，示出图3的俯视透视图像128与130的差别图像140。如图4中所见，在差别图像140中，大部分路面142呈现出黑色。由于后续图像帧中的物体发生位移，因此图3的图像帧128和130中的其它物体在图4的差别图像中产生假影(例如，浅灰色像素)。在此实施例中，差别图像140包括共面和非共面物体两者的假影，包括：路上的锥形交通路标144、路边上的灌木146、路面上的阴影148，以及路面上的光线150。

也可以将图像之间的差别量化成单一值Img_diff。可以将两个图像之间的差别量化成图像中的相应像素的RGB值之间的绝对差的总和。两个图像(图像A与图像B)的像素之间的绝对差可如下来计算：

Px_diff＝|R_A-R_B|+|G_A-G_B|+|B_A-B_B| (1)

其中R_A和R_B分别是图像A和图像B中的相应像素的红色分量；G_A和G_B分别是图像A和图像B中的相应像素的绿色分量；并且B_A和B_B分别是图像A和图像B中的相应像素的蓝色分量。

可以对每一个像素值之间的绝对差Px_diff进行求和，以获得差别图像的总体差值Img_diff。因此，两个图像(图像A与图像B)之间的差别图像的总体值可如下来计算：

Img_diff＝∑Px_diff (2)

在此实施例中，自运动估计系统100可以通过补偿图像捕获装置在图像帧之间的移动来减小俯视透视图像之间的差别量，并且因此减小Img_diff值，从而使图像帧(和其相应像素)中的物体得以对准。补偿图像捕获装置的运动以及对准物体减小了俯视透视图像的差别图像中的假影量，并且因此减小了差值Img_diff，该差值量化图像之间的差别。

在此实施例中，自运动估计系统100包括运动补偿模块118，所述运动补偿模块调整俯视透视图像以便补偿图像捕获装置的移动以及对准俯视透视图像中的物体。在此实施例中，运动补偿模块118使用像素平移向量(p,q)。在此实施例中，p是界定水平方向(x轴)上的平移量的水平平移值，而q是界定垂直方向(y轴)上的平移量的垂直平移值。通过使用像素平移向量(p,q)，运动补偿模块118可以将俯视透视图像中的一者的像素在水平方向上平移p个像素，并且在垂直方向上平移q个像素。对俯视透视图像中的一者的像素的平移可以使所述俯视透视图像中的一些物体与相应俯视透视图像中的物体(特别是与路面共面的物体)对准。补偿图像捕获装置的运动以及对准俯视透视图像中的一些物体可能使得经过对准的物体在差别图像中变成黑色(如上文所论述)，即相应像素中的一些像素之间的差别可能为零，而且一些假影可能不会产生。

如上文所提到，俯视透视图像中的一些物体(特别是从路面升起的非共面物体)可能不会完全对准，因为物体由于透视变换而经历不同程度的变形。参看图5，示出在已执行运动补偿的情况下俯视透视图像的差别图像152。如图5中所见，即使在运动补偿之后，锥形交通路标144的假影和灌木146的假影(两者都是非共面物体)仍然在差别图像中。然而，与路面共面的物体像路面的其余部分一样变成黑色，并且在包括运动补偿的差别图像中无法看到。具体来说，在图4的无运动补偿的差别图像140中看到的大部分阴影148和光线150在图5中所示出的有运动补偿的差别图像152中变成黑色(并且融入黑色路面142)。因此，图4中的无运动补偿的差别图像140与图5中的有运动补偿的差别图像152之间的比较说明运动补偿可以最小化图像之间的差别；有运动补偿的差别图像152比无运动补偿的差别图像140包括更少的假影，并且因此将具有更小的总体差值Img_diff。因此，运动补偿模块118可以通过补偿图像捕获装置102的运动而最小化差值Img_diff。

因此得出结论，像素平移向量(p,q)的值存在某一组合，其能够产生最小总体差值Img_diff。换句话说，存在某一像素平移向量，其最小化一组俯视透视图像(分别对应于一组图像帧)的差别图像中的假影。可以将对应于最小差值Img_diff的像素平移向量(p,q)的值识别为对应于图像捕获装置在图像帧之间实际行进的物理距离的像素平移向量(t_x,t_y)。可以使用相机的固有参数(例如，焦距、图像传感器格式和主点)来确定对应于平移向量(t_x,t_y)的物理距离。

因此，为了确定像素平移向量(p,q)的哪些对应值引起了最小差值Img_diff，自运动估计系统100考虑达到对应最大像素平移量T_x和T_y的p和q值，所述T_x和T_y表示车辆在图像帧之间可能已行进的最大距离。

实质上，在此实施例中，自运动估计系统100使用蛮力式方法来识别平移向量(t_x,t_y)的值，具体是通过：使用p和q达到最大像素距离(T_x,T_y)的增量值来以迭代方式平移俯视透视图像中的一者的像素，以便补偿图像捕获装置在图像帧之间可能已行进的距离；确定每一个像素平移向量(p,q)的Img_diff值；以及确定哪一个像素平移向量(p,q)对应于最小Img_diff值。可以将对应于最小Img_diff值的像素平移向量(p,q)识别为对应于图像捕获装置在图像帧之间实际已行进的物理距离的平移向量(t_x,t_y)，该平移向量可以与相机的固有参数结合使用来计算图像捕获装置所行进的真实物理距离。

如图1中所见，在此实施例中，自运动估计系统100包括确定自运动参数的自运动参数确定模块108。自运动参数确定模块108对像素平移向量(p,q)的值进行迭代(如上文所提到)，并且使用运动补偿模块118和图像差别模块120来识别哪一特定像素平移向量最小化俯视透视图像的差值Img_diff。

在一个实施形式中，自运动参数确定模块108可以(例如)将区间[-T_x,T_x]中的每一个p值与区间[0,T_y]中的每一个q值配对。此示例实施形式可以表征为以下嵌套循环：

for(p＝-T_x；p≤T_x；p++)

for(q＝0；q≤T_y；q++)

argmin Img_diff

然而，在另一个示例实施形式中，自运动参数确定模块108可以使用并行处理来提高效率以及减少用来识别对应于最小图像差值Img_diff的像素平移向量(p,q)的值的处理时间。

在此替代性示例实施形式中，自运动参数确定模块108可以并行地对像素平移向量的每一个p值和q值进行迭代。举例来说，可以由单独的处理单元112来处理每一次迭代，以便并行地执行所述处理。

对于第一次迭代，自运动参数确定模块108将q值设置为零，并且在区间[-T_x,T_x]上以迭代方式使p值递增，以确定每一个像素平移向量(p,q＝0)的对应Img_diff值。对应于最小Img_diff值的p值就是对应于运动参数的水平分量t_x的值。在此实施例中，这种针对并行处理方法的第一次迭代的可以表征为以下循环：

for(p＝-T_x,q＝0；p≤T_x；p++)

argmin Img_diff

在第二次迭代中，自运动参数确定模块108将p值设置为零，并且在区间[0,T_y]上以迭代方式使q值递增，以确定每一个像素平移向量(p＝0,q)的对应Img_diff值。对应于最小Img_diff值的q值就是对应于运动参数的垂直分量t_y的值。在此实施例中，这种针对并行处理方法的第二次迭代可以表征为以下循环：

for(p＝0,q＝0；q≤T_y；q++)

argmin Img_diff

如在这些实施例中所见，自运动参数确定模块108在区间[-T_x,T_x]上对p进行迭代，而在区间[0,T_y]上对q进行迭代。这是由于图像帧(图2中的124和126)的参考系和图像捕获装置102的潜在移动。如上文所提到，图像捕获装置102可能安装至移动机器，并且捕获描绘所述移动机器的行进路径的图像。如果相对于所述图像帧标绘出x-y轴，那么可以看到，移动机器向左或向右移动都将会引起图像帧沿着水平轴相应地向左或向右移动。换句话说，沿着水平轴有两个行进方向。因此，在考虑所行进的最大距离时，移动机器可以最大限度地向左(-T_x)或向右(T_x)行进。因此，在此实施例中，自运动参数确定模块108在左水平方向和右水平方向这两个方向上(即，在区间[-T_x,T_x]上)寻找最小化差值Img_diff的像素平移向量(p,q)。相比之下，当移动机器沿着小路移动时，只有一个行进方向，要么向前要么向后。因此，自运动参数确定模块108仅在沿着垂直方向的一个方向上(即，在区间[0,T_y]上)寻找最小化差值Img_diff的像素平移向量(p,q)。

如图1中可见，可以在对应单独处理单元处并行地处理每一次迭代。另外，在此实施例中，如上文的等式(1)和(2)中所见，图像差别模块120和自运动参数确定模块108使用加法和减法运算来计算差值Img_diff。所以，可以使用设计用来进行相对快速的加法和减法运算的专用硬件(例如，GPU和FPGA)来执行Img_diff值的计算。

在已获得自运动参数的平移向量(t_x,t_y)的情况下，自运动参数确定模块108也可以确定由于图像捕获装置102的移动而产生的旋转角度θ。在此实施例中，自运动参数确定系统可以使用反正切反三角函数来确定旋转角度θ：

以此方式，自运动估计系统100可以产生描述图像捕获装置102的移动的自运动参数，包括平移向量(t_x,t_y)和旋转角度θ。随后可以在各种应用中使用所述运动参数，所述各种应用诸如相机辅助车辆导航(例如，停车、倒车、障碍物检测)、自导机器人导航、位姿估计和三维场景重建。

现在参看图6，示出用于确定自运动参数的示例方法步骤的流程图154。首先，图像捕获装置捕获一对图像帧(步骤156)。如上文所论述，图像帧间隔可以确定选择哪些图像帧来进行处理(例如，图像帧间隔为10)。基于图像帧速率(例如，30fps)和图像帧间隔(例如，10)，确定选定的图像帧之间的时间间隔(步骤158)。举例来说，在30fps(连续图像帧之间的间隔是0.06s)下并且帧间隔为10时，选定的图像帧之间的时间间隔是大约0.6s(0.06s×10≈0.6s)。基于选定图像帧之间的时间间隔和假设的最大速度(例如，20km/h)，确定图像捕获装置在选定的图像帧之间可能行进的最大距离(步骤160)。举例来说，在假设最大速度为20km/h并且选定图像帧之间的时间间隔为0.6s的情况下，最大距离是大约3.333m(0.6s×20km/h≈3.333m)。可以将最大平移向量(T_x,T_y)的水平分量和垂直分量设置成对应于所述最大距离的值。

接着可以将选定的图像帧分割成对应上部子图像和下部子图像(步骤162)。接着识别每一个图像帧中的目标对应子图像(步骤164)。如上文所论述，目标子图像就是具有大部分路面的子图像，通常是图像帧的下部子图像。进一步处理所述目标子图像以确定运动参数。

对每一个子图像执行透视变换以获得对应俯视透视图像(步骤166)。一旦已获得所述俯视透视图像，便可以执行迭代搜寻以确定可以使用像素平移向量(p,q)的哪些p值和q值来平移俯视透视图像中的一者的像素，以使得俯视透视图像之间的差值得以最小化。

如上文所论述，可以利用嵌套迭代来使得区间[-T_x,T_x]上的每一个p值与区间[0,T_y]上的每一个q值配对。也可以根据情况利用可能相对耗时更短或计算成本更低的替代方法。图6中所示出的示例步骤说明一个替代方法，在这个替代方法中，并行地处理每一次迭代以提高效率并且减少确定产生最小图像差值的像素平移向量(p,q)的值所需要的时间。在图3中，可以在(例如)单独的处理单元处并行地处理用来确定p值的步骤168至180和用来确定q值的步骤184至196。

可以并行处理的第一次迭代(步骤168至180)始于设置p＝-T_x并且设置q＝0(步骤168)。接着使用像素平移向量(p,q)来平移俯视透视图像中的一者的像素(步骤170)。如上文所提到，平移俯视透视图像中的一者的像素可以对准俯视透视图像中的一些物体。然而，基于p值和q值，可以或多或少地对准一些物体。结果，所得差别图像可能包括或多或少的假影，而且图像差值将会根据物体的对准程度而较高或较低。在此示例并行处理方法中，产生最小图像差值的p值就是对应于运动参数的平移向量(t_x,t_y)的正确水平分量t_x的值。

在已经使用像素平移向量(p,q)平移了俯视透视图像中的一者之后，接着根据上文的等式(1)和等式(2)来确定俯视透视图像的差值(步骤172)。如果当前像素平移向量(p,q)的差值是最小图像差值(步骤174)，那么将t_x设置成p(步骤176)。如果所述图像差值并不是最小图像差值，那么迭代移到下一个p值。如上文所提到，此实施例中的第一次迭代考虑在区间[-T_x,T_x]中的p值，其中T_x是图像捕获装置在选定的图像帧之间可能已经移动的最大距离(以像素为单位)。因此，确定p值是否小于或等于T_x(步骤178)。如果p小于T_x值，那么递增p值(步骤180)，而且可以重复步骤170至178以确定p的递增值是否引起更小的图像差值。如果p不小于T_x值，那么可以将迭代期间所设置的t_x值设置成运动参数的平移向量(t_x,t_y)的水平分量(步骤182)。

可以并行处理的第二次迭代(步骤184至196)始于设置p＝0并且设置q＝0(步骤184)。接着使用像素平移向量(p,q)来平移俯视透视图像中的一个的像素(步骤186)。在此示例并行处理方法中，产生最小图像差值的q值就是对应于运动参数的平移向量(t_x,t_y),的正确垂直分量t_y的值。

在已经使用像素平移向量(p,q)平移了俯视透视图像中的一者之后，接着根据上文的等式(1)和等式(2)来确定俯视透视图像的差值(步骤188)。如果当前像素平移向量(p,q)的差值是最小图像差值(步骤190)，那么将t_y设置成q(步骤192)。如果所述图像差值并不是最小图像差值，那么迭代移到下一个q值。如上文所提到，此实施例中的第一次迭代考虑在区间[0,T_y]中的q值，其中T_y是图像捕获装置在选定的图像帧之间可能已经移动的最大距离(以像素为单位)。因此，确定q值是否小于或等于T_y(步骤194)。如果q小于T_y值，那么递增q值(步骤196)，而且可以重复步骤186至194以确定q的递增值是否引起更小的图像差值。如果q不小于T_y值，那么可以将迭代期间所设置的t_y值设置成运动参数的平移向量(t_x,t_y)的垂直分量(步骤182)。

一旦已经确定了运动参数的平移向量(t_x,t_y)，便可以根据上文的等式(3)使用反正切反三角函数以及平移向量(t_x,t_y)的值来确定运动参数的旋转角度θ(步骤200)。平移向量(t_x,t_y)和旋转角度θ一起包括图像捕获装置的运动参数。接着可以(例如)将所述运动参数传输至输出装置(步骤202)以供显示或由某一外部系统使用。另外，可以将运动参数存储在存储器单元中留待将来使用。

在已经基于选定的一对图像帧(例如，图像帧10和图像帧20)而确定了运动参数(步骤200)之后，可以重复步骤156至200以基于一对新选定的图像帧(例如，图像帧20和图像帧30)来确定新的运动参数。以此方式，当图像捕获装置沿着一条移动路径行进时可以不断地确定运动参数。

应理解并了解，结合图1和图6而描述的过程、子过程和过程步骤中的一者或多者可以由一个或多个电子装置或数控装置上的硬件、软件或硬件与软件的组合来执行。软件可以驻留在合适的电子处理组件或系统中的软件存储器(未示出)中，所述电子处理组件或系统诸如图1中示意性地描绘的功能系统、装置、组件、模块或子模块中的一者或多者。软件存储器可以包括用于实施逻辑功能的可执行指令(即，可以通过数字形式(诸如数字电路或源代码)或模拟形式(诸如模拟源，例如模拟电信号、模拟声音信号或模拟视频信号)来实施的“逻辑”)的有序列表。所述指令可以在处理模块内执行，所述处理模块包括(例如)一个或多个微处理器、通用处理器、处理器组合、数字信号处理器(DSP)、场可编程门阵列(FPGA)或专用集成电路(ASIC)。另外，示意图描述了对具有物理(硬件和/或软件)实施形式的功能的逻辑划分，所述物理实施形式并不受到功能的架构或物理布局限制。此申请中描述的示例系统可以按各种配置来实施，并且可以操作为单个硬件/软件单元中或单独硬件/软件单元中的硬件/软件组件。

可执行指令可以实施为其中存储有指令的计算机程序产品，所述计算机程序产品在由电子系统(例如，图1中的自运动估计系统100)的处理模块执行时指导所述电子系统执行所述指令。计算机程序产品可以有选择地体现于供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的任何非暂时性计算机可读存储媒体中，所述指令执行系统、设备或装置诸如基于电子计算机的系统、含有处理器的系统，或可以有选择地从所述指令执行系统、设备或装置中取得指令并执行指令的其它系统。在此文档的背景下，计算机可读存储媒体是可以存储供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序的任何非暂时性构件。非暂时性计算机可读存储媒体可以有选择地是(例如)电子、磁性、光学、电磁、红外线或半导体系统、设备或装置。非暂时性计算机可读媒体的更具体实例的非详尽列表包括：具有一个或多个电线的电连接(电子)；便携式计算机磁盘(磁性)；随机存取存储器(电子)；只读存储器(电子)；可擦可编程式只读存储器，诸如闪速存储器(电子)；光盘存储器，诸如CD-ROM、CD-R、CD-RW(光学)；以及数字多功能光碟存储器，即DVD(光学)。注意，非暂时性计算机可读存储媒体甚至可以是上面印有程序的纸或另一合适媒体，因为程序可以通过(例如)对纸或其它媒体进行光学扫描而以电子方式捕获，接着进行编译、解译或在必要时以合适方式另外处理，并且接着存储在计算机存储器或机器存储器中。

还应理解，如这篇文档中使用的术语“通过信号进行通信”意指两个或两个以上系统、装置、组件、模块或子模块能够通过在某一类型的信号路径上行进的信号而彼此通信。所述信号可以是通信信号、电力信号、数据信号或能量信号，其可以沿着第一系统、装置、组件、模块或子模块与第二系统、装置、组件、模块或子模块之间的信号路径将信息、电力或能量从第一系统、装置、组件、模块或子模块传递到第二系统、装置、组件、模块或子模块。所述信号路径可以包括物理连接、电连接、磁性连接、电磁连接、电化学连接、光学连接、有线连接或无线连接。信号路径还可以包括介于第一系统、装置、组件、模块或子模块与第二系统、装置、组件、模块或子模块之间的额外系统、装置、组件、模块或子模块。

已经出于说明和描述的目的而呈现了前述实施形式描述。所述描述并不是详尽的，而且并非将所要求保护的本发明限于所公开的确切形式。根据上文的描述而作出的修改和变动是可能的，或者可以通过实践本发明来获取修改和变动。权利要求和其等效物界定了本发明的范围。

Claims (22)

1.一种用于使用自运动估计系统来确定自运动参数的计算机实施方法，所述计算机实施方法包括：

获得第一图像帧和第二图像帧；

选择所述第一图像帧的第一部分以获得第一子图像，并且选择所述第二图像帧的第二部分以获得第二子图像；

对所述第一子图像和所述第二子图像执行变换，以分别获得第一透视图像和第二透视图像；

使用增量值来以迭代方式平移所述第二透视图像以获得多个调整后的透视图像；

确定分别对应于所述第一透视图像与所述多个调整后的透视图像之间的对应差别的多个差值；以及

确定自运动参数的平移向量，所述平移向量对应于所述多个差值中的一个差值。

2.如权利要求1所述的计算机实施方法，其进一步包括使用所述平移向量来确定所述自运动参数的旋转角度。

3.如权利要求1所述的计算机实施方法，其中所述第一透视图像和所述多个调整后的透视图像分别包括多个像素，每一个像素具有相应的像素值，而且所述计算机实施方法进一步包括：

对所述第一透视图像和所述多个调整后的透视图像中的相应像素值之间的绝对差进行求和，以分别确定所述多个差值。

4.如权利要求1所述的计算机实施方法，其中所述平移向量包括水平分量和垂直分量，而且所述计算机实施方法进一步包括：

执行第一次迭代以获得第一多个差值，并且执行第二次迭代以获得第二多个差值；

确定对应于所述第一多个差值中的一个差值的水平平移值，并且确定对应于所述第二多个差值中的一个差值的垂直平移值；以及

将所述水平平移值识别为所述平移向量的所述水平分量，并且将所述垂直平移值识别为所述平移向量的所述垂直分量。

5.如权利要求4所述的计算机实施方法，其中并行地执行所述第一次迭代和所述第二次迭代。

6.如权利要求4所述的计算机实施方法，其中：

在第一区间上执行所述第一次迭代，所述第一区间是基于最大平移向量的最大水平分量；并且

在第二区间上执行所述第二次迭代，所述第二区间是基于最大平移向量的最大垂直分量。

7.如权利要求6所述的计算机实施方法，其进一步包括基于预定最大速度、预定图像帧速率和所述第一图像帧与所述第二图像帧之间的时间间隔来确定所述最大平移向量的所述最大水平分量和所述最大垂直分量。

8.如权利要求7所述的计算机实施方法，其进一步包括基于所述图像帧速率和预定图像帧间隔来确定所述第一图像帧与所述第二图像帧之间的时间间隔。

9.如权利要求1所述的计算机实施方法，其中在所述第一图像帧之后获得所述第二图像帧。

10.如权利要求1所述的计算机实施方法，其中所述平移向量对应于所述多个差值中的最小差值。

11.如权利要求1所述的计算机实施方法，其中：

通过安装至车辆的图像捕获装置来获得所述第一图像帧和所述第二图像帧；并且

所述第一图像帧和所述第二图像帧描绘所述车辆的移动路径。

12.一种用于确定自运动参数的系统，所述系统包括：

图像处理模块，其接收第一图像帧和第二图像帧；

图像分割模块，其选择所述第一图像帧的第一部分以获得第一子图像，并且选择所述第二图像帧的第二部分以获得第二子图像；

图像变换模块，其对所述第一子图像和所述第二子图像执行对应变换，以分别获得第一透视图像和第二透视图像；

运动补偿模块，其使用平移向量来平移所述第二透视图像以获得调整后的透视图像；

图像差别模块，其确定对应于所述第一透视图像与所述调整后的图像之间的差别的差值；以及

自运动参数确定模块，其使用增量值来并行地对平移像素平移向量中的每一个分量进行迭代，以获得分别对应于所述第一透视图像与多个调整后的透视图像之间的对应差别的多个差值，并且确定自运动参数的平移向量，所述平移向量对应于所述多个差值中的一个差值。

13.如权利要求12所述的系统，其中所述自运动参数确定模块使用所述平移向量来确定所述自运动参数的旋转角度。

14.如权利要求12所述的系统，其中：

所述第一透视图像和所述多个调整后的透视图像分别包括多个像素，每一个像素具有相应像素值；并且

所述图像差别模块对所述第一透视图像和所述调整后的透视图像中的相应像素值之间的绝对差进行求和，以确定所述差值。

15.如权利要求12所述的系统，其中：

所述平移向量包括水平分量和垂直分量；

所述自运动参数确定模块执行第一次迭代以获得第一多个差值，并且执行第二次迭代以获得第二多个差值；

所述自运动参数确定模块确定对应于所述第一多个差值中的一个差值的水平平移值，并且确定对应于所述第二多个差值中的一个差值的垂直平移值；并且

所述自运动参数确定模块将所述水平平移值识别为所述平移向量的所述水平分量，并且将所述垂直平移值识别为所述平移向量的所述垂直分量。

16.如权利要求15所述的系统，其中所述第一次迭代和所述第二次迭代是并行地执行。

17.如权利要求15所述的系统，其中：

所述自运动参数确定模块对于所述第一次迭代在第一区间上进行迭代，其中所述第一区间是基于最大平移向量的最大水平分量；并且

所述自运动参数确定模块对于所述第二次迭代在第二区间上进行迭代，其中所述第二区间是基于最大平移向量的最大垂直分量。

18.如权利要求17所述的系统，其中所述最大平移向量的所述最大水平分量和所述最大垂直分量是基于预定最大速度、预定图像帧速率和所述第一图像帧与所述第二图像帧之间的时间间隔。

19.如权利要求18所述的系统，其中所述第一图像帧与所述第二图像帧之间的所述时间间隔是基于所述图像帧速率和预定图像帧间隔。

20.如权利要求12所述的系统，其中所述第二图像帧是在所述第一图像帧之后获得的。

21.如权利要求12所述的系统，其中所述平移向量对应于所述多个差值中的最小差值。

22.如权利要求12所述的系统，其中：

所述图像处理模块与安装至车辆的图像捕获装置通过信号进行通信；

所述图像处理模块从所述图像捕获装置接收所述第一图像帧和所述第二图像帧；并且

所述第一图像帧和所述第二图像帧描绘所述车辆的移动路径。