CN112204614A - 来自非固定相机的视频中的运动分割 - Google Patents

Abstract

本发明涉及一种用于对由在背景环境中移动的相机获得的图像进行运动分割的数据处理设备(1)。该数据处理设备包括用于接收来自相机和处理器(3)的图像的时间序列的输入(2)。该处理器被适配成用于，对于由至少两个不同的相机在不同时间点处获得的所述图像的时间序列中的至少两个图像，确定极心，其定义归因于围绕该至少两个图像中的极心的视差的有限图像不均等性的对应图像区域，以及将运动分割算法应用于该对应图像区域。将扭曲应用于该对应图像区域，以补偿超出阈值的相机旋转和未对准。

Description

来自非固定相机的视频中的运动分割

发明领域

本发明涉及图像数据序列中的计算机执行的运动分割的领域。更具体地，本发明涉及一种用于检测和/或跟踪相对于视频数据中的背景环境正运动的对象的设备、系统和方法，该视频数据由相对于背景环境也正运动的多个相机获得。

发明背景

在诸如交通工具驾驶辅助和交通工具自动化等技术领域中，但不一定局限于此，存在对于用于在图像的时间序列中(例如，在视频序列中)通过标识移动对象的轮廓来标识所述移动对象的基于数字视觉的运动分割方法(也称为前景/背景分割)的需求。交通工具的辅助或自动驾驶技术在很大程度上取决于对驾驶环境中移动对象的精确和可靠的检测。雷达、激光雷达和相机的融合可被认为目前仍不足以稳健地保证安全性。激光雷达仍然非常昂贵，在机械上脆弱并且具有有限分辨率(例如，最大64光束)，而雷达也可能缺乏所需的空间分辨率。使用移动交通工具上的相机进行运动分割的现有技术解决方案可能过于缓慢，并且可具有高得不可接受的未命中率。因此，存在对于用于运动分割的便宜且可靠的系统的需求。

例如，一个示例性应用可能涉及自动紧急制动(AEB)和备用碰撞干预(BCI)。已知大多数的碰撞以低于40km/h发生。当较不常见的道路使用者(诸如小轮摩托车(scooter))没有被自动化系统检测到时(因为对这种类型的道路使用者的识别没有被该系统充分地训练)，此类应用中的典型问题可能会出现。当靠近相机的对象(诸如行人)由于局部遮挡而没有被检测到时，另一典型的问题可能会出现。此外，通过识别来检测的系统通常需要在若干个帧上跟踪对象，然后它才能决定哪些对象构成最高危险，而最高危险则产生于对象突然出现和/或紧邻出现的情景。

尽管这在图像序列由移动相机获取时可被认为是具有挑战性的任务(通常如在交通工具辅助或自动化任务中的情形那样)，但是对于由静态相机捕捉的视频序列，这种前景/背景分割可能相对容易。例如，当背景在不同的时间帧之间保持静态时，本领域已知的运动分割算法可以通过仅分析相对较短的图像时间序列来为每个像素或像素群构建详细的背景模型。此外，在本领域中还已知，例如对于此类静态地获取的图像的运动分割，可以应用各种统计技术和处理算法来计及(诸如由小的相机抖动、变化的照明和/或背景中的连续变化(例如，流动的水或摆动树叶)引起的)动态背景效果(或至少将动态效果视为非前景事件)。

关于由静态相机获得的图像序列中的运动分割的现有技术方法的概览可以在由Bouwmans发表在计算机科学评论11-12，补充C，第31-66页的“Traditional and recentapproaches in background modeling for foreground detection:An overview(针对前景检测的背景建模中的传统和最新办法：概览)”中找到。

对于由移动相机获取的图像的时间序列的运动分割而言，相对于参考环境(例如，相对于地面参考帧)静止的对象出现在图像序列中的不同位置处。当沿不同视线查看时，对象的这种表观位置中的位移或移位通常被称为视差。

上文提到的用于由静态相机获取的视频数据中的运动分割的办法通常只能在相机相对于其环境非常缓慢地移动时和/或在相机移动被局限于摇摄(panning)和/或倾斜移动而其投影中心保持固定时被应用以获得合理结果。例如，这样的摇摄或倾斜运动可被补偿。然而，补偿视差所造成的不均等性(disparity)可能要困难得多。

本领域已知，对于构建背景模型，归因于相机运动的视差必须被补偿，为了达到合理的准确度，这通常不仅需要关于相机运动的信息，而且还需要关于场景结构的信息。关于场景结构的此类信息可从视频帧中被推断出，但对于实际应用而言，这可能会付出高得出奇的计算成本。替代地，此类场景信息可通过将图像信息与由其他类型的传感器(诸如由激光成像检测和测距(LIDAR)传感器)获取的附加信息进行非平凡融合来直接获取，这可能是昂贵的并且可能需要复杂的数据处理。

即使用于简化的近似运动补偿而无需其他传感器信息的方法在本领域中已知，在补偿中即便是小的不准确性也可能迅速地使背景模型降级，从而例如导致无关的假阳性检测。

现有技术方法可涉及带运动补偿的前景/背景分割，其中后续图像之间的光流被分析以确定背景的光流。然而，此类办法可能具有背景模型在复杂环境(例如其中移动对象占据图像的很大份额或者当相机速度相对于帧速率很高的复杂环境)中受污染的缺点。

其他现有技术方法可涉及运动聚类，其中特征在不同视频帧上被跟踪并被聚类到不同运动模式中。然后，主导模式可被假定为表示背景运动，例如归因于相机运动，而少数模式可被假定为表示场景内的移动对象。

然而，其他现有技术方法可能涉及基于几何约束的方法，其中，不满足对极(epipolar)约束的特征点被假定为是移动对象的一部分，而满足这种对极约束的特征点被假定为属于背景。然而，满足对极约束的点不一定是背景的一部分，即使可以假定逆蕴涵是支持的。例如，一种重要的退化情形是当一辆车跟在另一辆车后面时，在此情形中，前方交通工具上的任何特征点的运动也将位于对极线(epipolar line)上。为了应付此类退化情形，可以使用附加的约束，代价是增加的计算负荷。

另一现有技术办法涉及在不依赖运动分割的情况下检测移动对象。特定类型的对象(诸如行人、自行车或汽车)被识别出，并且移动随后被跟踪。然而，这种办法的缺点在于，只有有限的已知对象类别(如由适当的算法习得或在适当的算法中被编纂的)可被检测到，并且可能难以确保对在不同条件下的对象进行正确的检测，例如，可能需要大型数据集和/或在对于用于学习识别模型的条件而言并非代表性的条件下的检测可能是困难的，例如，不同的照明条件、被另一对象(局部)遮挡和/或从图像帧中局部排除对象可能会使检测性能降级。此外，跟踪检测到的对象只有在使用这种办法时在若干个帧上进行跟踪时才可能变得可靠。

在下文中，还将参考Yi等人在IEEE计算机视觉和模式识别会议上发表的“detection of moving objects with non-stationary cameras in 5.8ms:bringingmotion detection to your mobile device(在5.8ms内利用非固定相机检测移动对象：将运动检测带到您的移动设备)”，2013年CVPR研讨会，第27-34页。

发明内容

本发明的各实施例的目的是提供一种良好且高效的手段和方法，用于在由多个移动相机获得的图像的时间序列中进行运动分割，例如用于检测和/或跟踪正相对于视频数据中的背景环境移动的一个或多个对象，该视频数据由也正相对于该背景环境移动的多个相机获得。

本发明的各实施例的优点在于，可以容易地在图像的时间序列中补偿在背景环境中基本保持静止的对象的视差，例如，归因于获取图像的相机的运动的视差。

本发明的各实施例的优点在于，可以将这种视差保持在可接受的水平，而不必要求复杂的模型来补偿视差。

本发明的各实施例的优点在于，可以将用于运动分割的各种现有技术办法应用于在由正在移动的多个相机获取的视频数据中准确地分割运动，包括已知不适用于对从移动相机获得的此类视频数据中的运动进行分割的现有技术办法，或已知在此类使用情形中提供不良准确度的办法。

本发明的各实施例的优点在于，来自运动的视差可以以可接受的水平被减少、补偿、控制和/或在对从多个移动相机获得的图像序列中的运动进行分割时被避免。

本发明的各实施例的优点在于，当与根据本发明的各实施例的方法或设备结合应用时，已知的运动补偿背景模型可以更加稳健。

本发明的各实施例的优点在于，使用从多个移动相机获得的图像序列中的对极或结构约束，区分静态和动态特征点可变得更容易。

本发明的各实施例的优点在于，可以将简单的运动分割算法应用于复杂的用例场景，例如，当与根据本发明的各实施例的设备或方法结合应用于从多个移动相机获得的图像序列时，具有非常有限的运动补偿的简单运动分割方法可能已经足够。

本发明的各实施例的优点在于，与至少某些现有技术办法相比，在通过移动相机获得的图像序列中的运动分割中，较少的计算能力和/或更便宜的硬件可能足以获得相当的质量，或甚至更好的质量。

以上目的由根据本发明的方法和设备来实现。

在第一方面，本发明涉及一种用于在由相对于背景环境移动的多个相机获得的图像中进行运动分割的数据处理设备。该数据处理设备包括：第一输入，用于从多个相机接收图像的时间序列；以及处理器，被适配成用于确定所述图像的时间序列中由至少两个不同的相机在不同的时间点处获得的至少两个图像的至少一对对应的极心。例如，处理器可被适配成用于为图像的时间序列中的至少三个图像确定至少两对对应的极心。例如，处理器可被适配成用于为图像的时间序列中的至少四个、五个、九个或更多个图像各自确定至少三对、四对、八对或更多对对应的极心。极心可位于图像中，但不必位于图像中。例如，当极心位于图像边界之外时，它也可以定义有意义的区域。

处理器还被适配成用于针对所述至少两个图像定义归因于围绕所述对应极心的视差的有限图像不均等性的对应图像区域，以及在不同的时间点处获得所述至少两个图像的所述至少两个相机中的至少一者的旋转和/或所述至少两个相机之间的未对准超过阈值的情况下，用于使所述对应图像区域扭曲以补偿所述旋转，并补偿所述未对准。

处理器还被适配成用于将运动分割算法应用于所述对应图像区域。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于：对于该至少两个图像，确定对应于所述至少两个图像的相机位置和/或取向之间的变换，以及用于通过将所述变换纳入考虑来在所述至少两个图像中确定所述对应极心。

根据本发明的各实施例的数据处理设备可以包括第二输入，用于接收相对于绑定至所述背景环境的世界坐标帧移动的移动参考帧的位置、速率、速度和/或加速度数据，并且所述多个相机被绑定到该移动参考帧。处理器可被适配成用于通过将由所述第二输入接收到的所述数据纳入考虑来确定所述变换。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于，针对所述图像的时间序列中的参考图像，确定与所述图像的时间序列中由至少两个不同的相机在相比参考图像的至少一个不同的时间点处获取的至少两个其他图像的极心相对应的多个极心，以及用于针对所述多个极心中的每一者，分别在参考图像和对应的其他图像中确定围绕所述极心的所述图像区域。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于通过使参考图像和/或至少两个其他图像扭曲以校正所述变换的横向移动分量来确定所述多个极心，以及用于通过将所述变换的纵向移动分量纳入考虑来确定所述多个极心。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于，针对定义所述对应图像区域中的每一者，确定所述图像区域中的每一者的边界，使得参考图像的每个图像像素被指派给最靠近所述极心的图像区域，或使得参考图像的每个图像像素被指派给用于参考图像的所述极心中的一极心的图像区域，以使得当与该图像像素相对于对应于其他极心的其他图像而言的图像不均等性相比，该图像像素相对于对应于所述极心的其他图像而言的图像不均等性是最低的。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于通过将所述经确定的变换纳入考虑而至少应用缩放来变换索引图，以确定所述参考图像中的所述图像区域。经变换的索引图可以定义从所述参考图像中的所述图像区域到所述至少两个其他图像中的所述图像区域的一对一函数。缩放可以统一。相机索引可以与参考图像的有界图像区域中的每一者相关联并且被存储在索引图中，相机索引发信令通知获取了参考图像的有界图像区域的对应图像区域的相机。

在根据本发明的各实施例的数据处理设备中，针对定义对应图像区域，可以确定每个图像区域的边界，以使得图像不均等性的上界低于所述图像区域的每一者中的预定阈值。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于将在对应的其他图像中定义的多个图像区域拼接在一起，以及用于将运动分割算法应用于参考图像和图像区域的经拼接图像。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于将与多个参考相机相关联的多个图像区域一起拼接成经拼接的参考图像，用于将与围绕经拼接的参考图像的极心定义的图像区域相对应的多个图像区域一起拼接成进一步经拼接的图像，以及用于将所述运动分割算法应用于所述经拼接的参考图像和所述进一步经拼接的图像。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于将运动分割算法分别应用于参考图像中的每个图像区域和另一图像中的对应图像区域。

在根据本发明的各实施例的数据处理设备中，处理器可被适配成用于将用于补偿随机运动的算法应用于图像和/或对应图像区域。

在第二方面，本发明还涉及一种用于在由能在操作中相对于背景环境移动的多个相机获得的图像中进行运动分割的系统。该系统包括根据本发明的第一方面的各实施例的数据处理设备和可操作地连接到第一输入的多个相机，该多个相机用于捕捉所述图像的时间序列并向所述数据处理设备提供所述图像的时间序列。

根据本发明的各实施例的系统可以包括位置、速率、速度和/或加速度传感器，以用于向数据处理设备提供系统相对于背景环境的位置、速率、速度和/或加速度。

根据本发明的各实施例的系统可以是交通工具。

在第三方面，本发明涉及一种用于在由正相对于背景环境移动的多个相机获得的图像中进行运动分割的计算机实现的方法。该方法包括：使用所述多个相机捕捉图像的时间序列，并且对于图像的时间序列中由至少两个不同的相机在不同时间点处获得的至少两个图像，确定一对对应的极心。该方法包括：在所述至少两个图像中定义归因于围绕所述一对对应的极心的视差的有限图像不均等性的对应图像区域，以及将运动分割算法应用于所述对应图像区域。根据该方法的一个步骤，当在不同的时间点处获得所述至少两个图像的所述至少两个相机中的至少一者的旋转或所述至少两个相机之间的未对准超过阈值的情况下，使所述对应图像区域扭曲以补偿所述旋转，并补偿所述未对准。

该方法可以包括以下附加步骤：根据索引图从所述多个相机中选择相机对，以及定义归因于围绕由每个所选相机对获得的图像的至少一对对应的极心的视差的有限图像不均等性的对应图像区域。

在所附独立和从属权利要求中阐述了本发明的特定和优选方面。

根据此后所描述的(诸)实施例，本发明的这些方面和其他方面将是显而易见的，并且参考这些实施例阐明了本发明的这些方面和其他方面。

附图简述

图1解说了根据本发明的各实施例的设备和系统。

图2为解说本发明的各实施例而解说了双相机系统，该双相机系统在两个时间点捕捉图像，并且其中相机的位置在这些时间点之间被平移。

图3解说了所示的根据本发明的各实施例的用于运动分割的示例性计算机实现的方法。

图4为解说本发明的各实施例而示意性地示出了相机位置，其中针孔相机模型被用来限定将点投影到两个像平面上。

图5为解说本发明的各实施例而示出了在两个采样时间点处由安装在移动交通工具上的单个相机拍摄的两个图像、以及其中这两个图像已彼此叠合的合并图像。

图6示出了包括三个相机的移动线性相机阵列在时间上的两个连贯位置。

图7为解说本发明的各实施例而示出了参考相机的图像中的诸区域，其中不均等性的x-分量和y-分量分别低于1、2、3、4和5个像素的阈值。

图8为解说本发明的各实施例而示出了五个相机的线性阵列，其中两个连贯快照在该阵列向前移动的同时由每个相机拍摄。

图9为解说本发明的各实施例而示出了与五个不同相机对相对应的、具有其相关联的不均等性的图像的不同子区域。

图10为解说本发明的各实施例而示出了沿着穿过图像中心的水平线的、作为像素x坐标的函数的有限不均等性。

图11为解说本发明的各实施例而示出了七个不同的相机子集，这些相机子集由它们的共用视线指示。

图12为解说本发明的各实施例而解说了其中各相机的像平面不平行的情形。

图13为解说本发明的各实施例而示出了在时间上的三个不同位置处的相机的5×3阵列。

图14为解说本发明的各实施例而在参考相机的图像中示出了关于对应的其他相机的不均等性在哪些点处为零。

图15为解说本发明的各实施例而示出了在三个时间点处拍摄快照的三个相机的三角形配置。

图16为解说本发明的各实施例而将区域边界的位置示为取决于到对象的距离。

图17为解说本发明的各实施例而将关于使得相机移动的不同速率值的区域示为针对预定距离处的对象来确定。

图18为解说本发明的各实施例而解说了多个图像对(例如，不仅仅包括单个共用参考图像的图像对)的组合。

图19为解说本发明的各实施例而解说了被用来在宽查看范围上获得有限不均等性的方向的多个参考相机。

图20为解说本发明的各实施例而示出了当比较来自左相机和右相机的具有图像采集之间的单个时间步长差的图像时，如何能够限定有限不均等性的诸区域。

图21为解说本发明的各实施例而示出了当比较左相机和右相机的具有三个时间步长的采集之间的时间差的图像时，如何能够限定有限不均等性的诸区域。

图22为解说本发明的各实施例而示出了当比较左相机和右相机的具有两个时间步长的时间差的图像时，如何能够限定有限不均等性的诸区域。

图23为解说本发明的各实施例而示意性地示出了其中行人穿过相机系统前方的街道的场景。

图24为解说本发明的各实施例而解说了行人在预定距离处沿着预定长度的轨迹行走的运动。

各附图仅是示意性的并且是非限制性的。在附图中，出于说明性目的，可将要素中的一些要素的尺寸放大且不按比例绘制。

权利要求中的任何附图标记不应被解释为限制范围。

在不同的附图中，相同的附图标记指代相同或相似的要素。

说明性实施例的详细描述

将就具体实施例并且参考特定附图来描述本发明，但是本发明不限于此而仅由权利要求书来限定。所描述的附图仅是示意性的且是非限制性的。在附图中，出于说明性目的，可将要素中的一些要素的尺寸放大且不按比例绘制。尺度和相对尺度并不与对本发明的实践的实际缩小相对应。

此外，说明书中和权利要求中的术语第一、第二等等用于在类似的要素之间进行区分，并且不一定用于在时间上、空间上、以排名或以任何其他方式描述顺序。应理解，如此使用的术语在适当的情况下是可互换的，并且本文中所描述的本发明的各实施例能够按除本文中所描述或解说外的其他顺序来进行操作。

此外，说明书和权利要求中的术语顶部、下方等等用于描述性目的并且不一定用于描述相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，并且本文中所描述的本发明的各实施例能够以除本文中所描述或解说的取向之外的取向进行操作。

要注意，权利要求中使用的术语“包括”不应被解释为限定于其后列出的装置；它并不排除其他要素或步骤。因此，该术语应被解读为指定如所提到的所陈述的特征、整数、步骤或组件的存在，但不排除一个或多个其他特征、整数、步骤或组件、或其群组的存在或添加。因此，表述“一种包括装置A和装置B的设备”的范围不应当限于仅由组件A和组件B组成的设备。它意指就本发明而言设备的唯一相关组件是A和B。

贯穿本说明书对“一个实施例”或“实施例”的引用意指结合该实施例所描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”贯穿本说明书在各个地方的出现并不一定全部指代同一实施例，而是可以指代同一实施例。此外，在一个或多个实施例中，如通过本公开将对本领域普通技术人员显而易见的，特定的特征、结构或特性能以任何适当的方式进行组合。

类似地，应当领会，在本发明的示例性实施例的描述中，出于精简本公开和辅助对各个发明性方面中的一个或多个的理解的目的，本发明的各个特征有时一起被编组在单个实施例、附图或其描述中。然而，该公开方法不应被解读为反映要求保护的发明要求比每一项权利要求中明确记载的特征更多的特征的意图。相反，如所附权利要求所反映，发明性方面存在于比单个前述公开的实施例的全部特征更少的特征中。因此，具体实施方式之后所附的权利要求由此被明确纳入本具体实施方式中，其中每一项权利要求本身代表本发明的单独实施例。

此外，如将由本领域技术人员所理解，尽管本文中所描述的一些实施例包括其他实施例中所包括的一些特征但不包括其他实施例中所包括的其他特征，但是不同实施例的特征的组合旨在处于本发明的范围内，并且形成不同实施例。例如，在所附权利要求中，任何要求保护的实施例均可以以任何组合来使用。

在本文中所提供的描述中，阐述了众多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本发明的各实施例。在其他实例中，公知的方法、结构和技术未被详细示出，以免混淆对本描述的理解。

在本发明的上下文中，术语(相机)图像和快照将可被互换使用。

在本发明公开的上下文中，除非另有说明，否则术语图像和像平面通常可被互换使用。相机所获取的有界图像与位于该相机前方的无界像平面直接对应。因此，在像平面的坐标系中表示的交点、线和对极点(epipolar point)具有在图像的坐标系中表示的其对应的交点、线和对极点，其中后一个坐标系通常使用标准化的相机坐标或像素坐标(例如，在数码相机中)。像平面和图像的坐标系通过坐标变换相联系，该坐标变换计及相机的成像属性，包括图像失真、图像放大率等等。

在本发明的上下文中，“参考图像”是指由单个相机在单个时刻获取的图像，或者是指通过将由两个或更多个相机在相同或不同时刻获取的多个图像合并、交叠或拼接而获得的虚像，但需对所获取的图像应用充足的矫正。对图像的矫正可计算为作用在与被矫正的图像相关联的像平面上的平面单应性(根据传感器/相机相对位置数据估计或导出)。

在本发明的上下文中，“参考相机”指定已被选择用于采集参考图像的相机。通常在多个相机中不存在指定为参考相机的特定相机，并且指定的改变伴随着所获取的参考图像的改变。如果参考图像是指从两个或更多个相机获得的虚像，则该两个或更多个相机都被指定为参考相机。

在第一方面，本发明涉及一种用于在由相对于限定世界坐标参考帧的背景环境移动的多个相机获得图像中(即在图像的时间序列中)进行运动分割的数据处理设备，例如用于检测和/或跟踪视频数据中相对于背景环境移动的一个或多个对象，该视频数据由也相对于该背景环境移动的多个相机获得。

数据处理设备包括用于接收来自多个相机和处理器的图像的时间序列的第一输入。处理器被适配成用于确定针对在不同时间点处获得的图像的时间序列中的至少两个图像的至少一对对应的极心(epipole)，即，极心点(epipole point)。例如，可以通过计算该至少两个图像中至少一个图像的对应极心的位置来确定该至少一对对应的极心。例如，可以为图像的时间序列中的n个图像确定对应极心的n元组(n>1)，例如通过为n个图像中的至少一者(例如，为n个图像中的每一者)计算对应极心的位置。例如，对于第一参考图像和n-1个其他图像，不同的n-1对极心可例如被确定用于参考图像与在和该参考图像不同的时间索引处获得的该n-1个其他图像中的每个图像的组合。

在本发明的各实施例中，为对应图像确定的对极点通常位于图像内。然而，本发明的各实施例不限于位于所获取的图像内的对应极心。例如，极心可以位于像平面上，使得它们的图像在被相机获取时位于图像边界之外。尽管如此，它们对它们周围的图像区域中的图像不均等性的影响具有如下性质：使得即使图像极心位于所获取的图像之外，仍可以在图像边缘处以令人满意的水平检测到减小的图像不均等性。此外，有可能至少在几何上检测位于无限远处的对应的对极点(例如，对于两个共面相机)，并且由两个共面相机获取的两个图像之间的不均等性仍可能是小的，只要这两个相机彼此间隔得紧密。

例如，第一参考图像C₀(t)可以由参考相机在时间索引t处获得，并且其他图像可以在另一时间索引(例如，t+1)处被获得。对于n个相机的阵列，可以将参考图像C₀(t)与n个图像C₀(t+1),C₁(t+1),…,C_n(t+1)相组合以形成n对(C₀(t),C₀(t+1)),(C₀(t),C₁(t+1)),…,(C₀(t),C_n(t+1))，其中对于每一对，对应的极心点可以分别在第一图像(参考图像)和第二图像中被确定。然而，本发明的各实施例不限于使用单个参考图像。例如，对于n个相机的阵列，每个相机可以(至少潜在地)被用来获得参考图像(例如，在时间索引t处)，并且可以针对该图像来与在另一时间索引(例如，t+1)处从阵列的同一相机或另一相机获得的另一图像相结合地确定一对对应的极心。因而，对于n个相机的阵列，二项式(n,2)＝n(n-1)/2个不同的图像对可被用来为该对确定对应的极心点。此外，各实施例不必限于仅相差单个时间步长的图像对，例如，还可以考虑Ci(t),Cj(t+k)对，其中k是大于1的整数，因而更甚一步扩展了潜在图像对的数目(相对于单个时间参考点t)。

该处理器被适配成用于限定具有归因于围绕该至少两个图像的对应极心的视差的有限图像不均等性(例如，其中图像不均等性低于预定阈值)的对应图像区域，并且用于将运动分割算法应用于对应图像区域。

例如，可以显式地确定一对对应的极心，并且对于每个极心，可以在该至少两个图像中限定对应图像区域，以限制这些对应图像区域之间的不均等性，例如，限制为低于预定阈值。然而，也可以通过直接确定围绕其中有限的不均等性被达成的此类对应的极心的区域来隐式地确定该对对应的极心，例如，使得该对对应的极心的位置被隐式地(例如，近似地)确定为位于对应区域内。

具体而言，处理器可以被适配成用于确定多对此类对应的图像区域，例如，每个图像区域包括在第一时刻拍摄的第一参考图像中的区域和在另一时刻拍摄的另一图像(例如，该多对中的每一对的一不同图像)中的区域，使得对于每一对对应区域，在该对对应区域之间达成了有限的图像不均等性。

在第二方面，本发明还涉及一种用于在由能相对于背景环境移动的多个相机获得的图像中进行运动分割的系统。该系统包括根据本发明的第一方面的各实施例的数据处理设备和可操作地连接到第一输入的多个相机，该多个相机用于捕捉图像的时间序列并向数据处理设备提供图像的时间序列。

参考图1，示意性地示出了根据本发明的各实施例的数据处理设备1。数据处理设备被适配成用于在由多个相机获得的图像中进行运动分割，该多个相机相对于限定世界坐标参考帧的背景环境移动。

数据处理设备1包括用于接收来自该多个相机的图像的时间序列的第一输入2。时间序列可以包括在至少两个不同的时间点处从第一相机获得的至少两个图像和在至少两个不同的时间点处(例如优选地在与从第一相机获得的该至少两个图像基本相同的时间点处)从第二相机获得的至少两个图像。然而，本发明的各实施例不一定限于此。例如，时间序列可以包括至少两个图像，它们是在至少两个不同的时间点并且是从至少两个不同的相机位置获得的。

图1还解说了用于在由根据本发明的各实施例的能相对于背景环境移动的多个相机获得的图像中进行运动分割的系统10。该系统包括根据本发明的第一方面的各实施例的数据处理设备1和可操作地连接到第一输入2的多个相机11，该多个相机11用于捕捉图像的时间序列并经由第一输入2将图像的时间序列提供给数据处理设备1。系统10可以是交通工具，诸如地面交通工具、航空器或水上交通工具。交通工具可以是轮式交通工具。轮式交通工具可以是汽车、公共巴士、卡车、摩托车或类似的运输工具。

应当指出，该多个相机11不一定对应于多个独立且不同的相机系统。例如，单个图像检测器可例如与平移扫描机构和/或多个光学元件(例如微透镜)结合使用，以获得与多个投影中心(例如，多个不同的主点或节点)相对应的图像。

该多个相机11可以形成相机阵列，诸如相机的线性阵列，例如相机的水平或竖直布置、十字形阵列，例如相机的水平和竖直阵列的组合，例如以笛卡尔或极坐标网格布置的相机的二维阵列，或者，一般地，像机的任何三维布置。

因而，相机可以沿直线、在平面中、以球形配置或任何其他几何布置安装。对于每对相机，都将存在一条公共视线，该公共视线在像平面中产生低不均等性的区域，其将根据本发明的各实施例被使用。

对于非线性和非平面配置，可以考虑两种模式操作：

-所有相机同时拍摄快照，即，t,t+1,…那么通常将不会存在共线三元组(triple)或任何更大的共线子集。因此，如在下文进一步描述的办法可局限于相机对。

-一些相机可能会稍有延迟，直到它们处于拍摄快照的正确位置处。以此方式，可以获得与针对线性或平面阵列相同的几何关系，例如，如图2中所解说。

因而，在交通工具上，相机被放置的位置可能不存在任何本质限制。例如，相机可被放置在后视镜附近，但仍根据本发明的各实施例可操作地与放置在头灯附近的相机组合在系统中。

相机可以相对于彼此基本固定在适当位置上，但可以例如通过固定地安装在交通工具上来贯穿背景环境共同地移动(或至少能够移动)。

相机的数目和规格(例如在分辨率和/或帧速率方面)可能因本发明的各实施例而不同。例如，更多的相机和/或更高的帧速率可能会有利地进一步减少视差。

相机通常按使得每个相机具有与多个相机中的另一相机的至少一个交叠的视锥的方式来被布置。多个相机的相互交叠的视锥可例如通过相对于彼此旋转和/或平移一个或多个相机来被动态地获得，并且在时间上可被限于足够长的时间区间，在该时间区间期间，各个相机所成的图像被获取作为图像的时间序列的一部分。

等同相机阵列内的最优相机间距可取决于多个参数以及取决于应用。如果应用要求，对于包括多个相机的整个相机阵列，水平视野至少覆盖θ弧度，则可以应用以下条件：

-相机的(实际)焦距f_mm和物理传感器宽度w可满足不等式tan(θ/2)≤w/(2f_mm)，

-相对于背景环境的移动的最大预期速度v、帧间区间Δ_t以及最左侧相机和最右侧相机之间的横向距离|X_right-X_left|可以满足不等式

其中

是相比可根据不均等性限制所计算的小的裕量。

对于竖直视野，不等式非常类似。第二关系可以确定相机的帧速率，其可被选择为足够高以容纳所需视野至多达该应用中所预期的最大速率。然而，高固定帧速率的缺点在于，在较低的速率下，N个连贯快照所提供的零不均等性点间隔得更开，并且许多理论上的零不均等性点可能落在任何相机的视野之外。在实践中，N可能随着交通工具的速度变化，或者相机可具有可变帧速率(例如，由距离间隔而不是时间区间触发)。

除了相机阵列视野之外，例如，如被相机阵列的跨度确定为限制条件，相机的数目可能也很重要。给定在距参考相机C₀的深度距离/z距离处的针对对象的最大允许不均等性，可以对相机的数目进行估算。考虑阵列中的两个毗邻相机C₁、C₂，可以看到相对于参考相机C₀，对于坐落于将C₁和C₂之间的线段平分的查看方向上的点而言，可能会发生最大水平不均等性。参考下面进一步提供的示例，可以示出，对于一点，为了在C₁和C₂(分别具有坐标(X_S1,Y_S,Z_S)和(X_S2,Y_S,Z_S))中具有相等的不均等性，可适用以下关系：X₀Z_S/d＝(X_S1+X_S2)/2。

对于满足此关系的点的最大水平不均等性由下式给出

其中f指代相机的焦距。

为了达成对该最大不均等性的某种限制，可以在该等式中的两个元素之间做出权衡：水平相机阵列间距X_S2-X_S1和参考相机Z_S可用的纵向距离，即在帧缓冲器中捕捉最旧快照时的较早时刻与捕捉最新近快照时的较晚时刻之间所驱动的距离。在下文中，术语“帧缓冲器”指代多个经存储图像的集合，例如存储在每个相机的存储器单元中的多个经排队图像，经存储图像的所述集合是由(诸)相机跨越至少两个不同的时间实例进行的对应图像采集集合获得的。尽管帧缓冲器可被任意取长以仅利用两个相机(例如，其间距被选择为满足如上面解释的视野要求)来达成任何不均等性限制，但在实践中，缓冲器中的最旧图像和最新图像之间的所流逝时间必须足够短，以允许良好的前景-背景分割。因此，缓冲器中的最旧图像和最新图像之间所驱动的距离由分割算法的时间限制来确定。因而，用于确定相机间距的策略可以如下：

-基于视野要求来确定水平阵列宽度，

-基于前景-背景算法来确定缓冲器中的第一图像和最后图像之间的最大可接受时间延迟，

-基于该最大时间延迟和最大速度要求来确定相机阵列中的最大水平间隙。

本发明的各实施例不一定限于以相对于彼此的固定配置布置的多个相机的共同移动。例如，多个相机中的每一个都可以贯穿背景环境独立地移动(或能够移动)，或者除了每个相机相对于其他相机的预定移动外，多个相机可以贯穿背景环境共同移动(或能够移动)，例如，诸如以在相对于背景环境移动(或能够移动)的联合参照帧中遵循预定的扫描模式。例如，处理器3可被适配成用于组合与系统在背景环境中(例如相对于地面参考帧)的共同移动以及每个(或至少一个)相机相对于系统10的移动参考帧的特定移动有关的信息。

虽然相机的一些校准可能例如在相对位置、取向和/或焦距方面是预定的，但是这样的相机校准可能相比本领域已知的使用移动图像(例如使用立体对成像)来进行运动分割的多相机系统所需的校准而言无需那么严格的方面具有有利性。

多个相机11在多个时间点处获取多个图像，例如诸如以获得图像帧的时间序列。例如，在每个时间点处，每个相机可以收集/获取图像。

多个相机11可相对于在背景环境中移动的参考帧(诸如绑定到移动交通工具(或者，通常，能够在设备可运行时移动的交通工具)的参考帧)固定。

例如，多个相机11可包括至少两个相机。图2解说了包括相机C₀和C₁的双相机系统，该系统分别在时间t和t+1处捕捉图像，并且其中相机的位置在这些时间点之间被平移。

数据处理设备包括处理器3。例如，处理器可以包括通用计算机、控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。处理器可以包括中央处理单元、数字数据存储存储器和/或程序代码存储存储器，诸如只读存储器、闪存或持久随机存取存储器。中央处理单元可以具有传统的中央处理单元架构，例如具有一个或数个(例如二、三、四、六、八或十六个)处理核心，但也可以包括具有高度并行处理架构的处理单元或者可替代地用其替代，诸如图形处理单元(GPU)、流处理和/或通用图形处理单元(GPGPU)和/或蜂窝宽带引擎架构微处理器。处理器可以包括计算机代码，该计算机代码可由处理器解读以用于执行如在下文中描述的功能。

处理器3可被适配成用于执行针对透镜失真的校正。例如，由于透镜失真，场景中的某一点将不会总是由不同透镜映射到相同像素上。为了避免由于透镜失真产生的不必要的不均等性，在执行下文进一步描述的处理之前，透镜失真的效果可被校正。这种透镜失真校正算法在本领域中是公知的，例如，已知在立体和多视点相机系统中，通过应用几何变换来校正每个获取的图像。

处理器3可被适配成用于，对于在不同时间点处获得的图像的时间序列中的至少两个图像，确定与该至少两个图像相对应的相机位置和/或取向之间的变换。该变换可以至少包括确定沿不同时间点之间的纵向方向的移位向量，其中纵向方向与相机的主移动方向对齐。此外，纵向方向还可以基本上与至少一个相机的查看方向对齐，例如，所有相机可以与纵向方向对齐，但是本发明的各实施例不限于此。该变换还可以包括垂直于纵向方向的一个或两个分量和/或例如对应于倾斜和/或偏航角的旋转分量。

数据处理设备1可以包括第二输入4，该第二输入4用于接收相对于世界坐标帧移动的移动参考帧的位置、速率、速度和/或加速度数据，并且多个相机被绑定到该移动参考帧。例如，移动参考帧可以对应于绑定至包括相机的移动交通工具的参考帧。因而，第二输入4可被适配成用于接收指示多个移动相机相对于背景环境的移动的移动数据。

第二输入可被适配成用于从量距系统接收数据，或可包括量距系统。第二输入可被适配成用于从定位系统(例如，地面定位系统，例如全球定位系统(GPS))接收数据，或者可以包括定位系统。第二输入可被适配成用于从加速度计接收数据，或可包括加速度计。

因而，第二输入4可以包括里程计、加速度计或位置传感器，以用于通过测量物理量或接收位置信标信息来确定移动数据。

第二输入4可被适配成用于从诸如外部传感器或接收机接收移动数据。

系统10可以包括位置、速率、速度和/或加速度传感器12，以用于例如经由第二输入4向设备1提供系统10相对于背景环境的位置、速率、速度和/或加速度。

例如，第二输入4可以接收外部量距数据，例如相机被安装在其上的交通工具的轮速。例如，可以从交通工具的车载诊断系统(OBDII)或交通工具通信总线(诸如CAN总线)接收这样的第二输入。替代地或附加地，第二输入4可从加速度计或定位传感器(例如GPS接收机)接收数据。

处理器可被适配成用于通过将从第二输入接收的数据纳入考虑来确定该变换。如本领域公知的，相对位置信息和/或相对取向信息可通过直接测量、速度数据的积分和/或加速度数据的双重积分和/或其组合来确定。

附加地或替代地，处理器可被适配成用于通过对至少两个图像应用运动检测算法(例如光流算法)来确定变换(或提高变换的准确度)。例如，尽管一种方式是例如使用外部量距输入(诸如来自车载诊断系统(OBDII)或交通工具CAN总线的轮速)来直接获得位置信息、速率、速度和/或加速度的，但也可以使用本领域已知的算法(诸如光流分析)来从图像本身确定相对位置和/或取向。这可能会以附加处理为代价，但可简化和/或降低硬件成本。

例如，可以使用本领域已知的“视觉SLAM”方法从图像中导出量距。例如，KITTIVision Benchmark Suite(KITTI视觉基准套件)可以包括用于从图像中得到量距的适当算法。

处理器3可被适配成用于在世界坐标中、在至少两个图像中的一个图像的坐标系中或在另一坐标系中确定与该至少两个图像相对应的相机位置和/或取向之间的变换。有利的是，该变换可在绑定至该至少两个图像中的一个图像(例如，参考图像)的坐标系中被确定，以简化计算。

处理器3被适配成用于例如通过将所确定的变换纳入考虑来确定该至少两个图像的至少一对对应的极心。对于该至少两个图像的每一对，该对的第一图像的极心和该对的第二图像的对应的极心可以通过以下来被确定：数值地确定通过与该对中的每一图像相关联的光学中心的位置的世界坐标的线与该对中的分别的第一图像和第二图像的像平面的交点。然而，一旦确定了第一图像的极心的位置，便可以在第二图像中隐式地确定该对对应的极心。此外，极心的位置不一定以几何方式被确定到例如上述交点的单像素精度内，而是也可以通过比较时间图像序列中的图像来确定(如在下文进一步讨论的)，例如，通过直接确定(例如，经由适当的图像处理算法(诸如，但不局限于光流))由两个不同相机在两个不同时间处获取的图像对(对应的极心针对其而被确定)的对应的低或零图像不均等性区域。

极心的这种数值确定可以将纵向位置中(例如，沿着光轴)的差异纳入考虑，可以将二维位置中的差异纳入考虑(例如沿纵向位置和垂直于纵向位置的横向位置两者，以及连同相机在世界坐标中的移动的主平面中的纵向方向一起)，和/或可以将三维位置中的差异纳入考虑。此外，这种数值确定可以将图像采集的取向中(例如，偏航、滚动和/或倾斜方向中)的差异纳入考虑。此外，这种数值确定可以将图像采集的焦距中的差异纳入考虑。在下文中进一步提供的示例提供了根据本发明的各实施例的用于确定可以由处理器使用的极心的示例性等式，本发明的各实施例不必限于此。

例如，相机可以主要沿着纵向方向移动，例如，当安装在主要向前直线行驶的交通工具上时。为了简化所应用的计算，当相机在其背景环境中共同转动时，例如当交通工具转弯时，视差将在与参考相机相关联的像平面中的一点处或在与整个相机阵列相关联的参考虚像平面中的一点处仍然为零。然而，归因于交通工具的显著旋转，在运动分割可被应用之前，诸图像之一必须被扭曲(warp)。用于运动分割的图像扭曲在本领域中是众所周知的，例如，如Yi等人在IEEE计算机视觉和模式识别会议上发表的“detection of moving objectswith non-stationary cameras in 5.8ms:bringing motion detection to your mobiledevice(在5.8ms内利用非固定相机检测移动对象：将运动检测带到您的移动设备)”中描述的，2013年CVPR研讨会，第27-34页。因而，在应用这种扭曲(一类特殊的平面单应性)以校正旋转之后，可以有利地将确定极心简化为将纵向移动纳入考虑。

例如，尽管在本发明的各实施例中，所有相机的像平面可以彼此平行，但是本发明的各实施例不必限于此。例如，至少一个相机可能未被安装成处于完全对齐，使得相机主轴中的小偏差将引起非平行的像平面。此外，相机的移动可能偏离纵轴。例如，其上安装有相机的交通工具可不始终向前直线行驶，例如交通工具可能会转弯。因此，虽然在时间t处拍摄快照的相机的像平面可能彼此平行，但是在与纵轴偏离的这种运动期间，它们可能不平行于在t+1,t+2,…处拍摄的快照的像平面。在这两种情形中，参考图像中仍将存在其中归因于视差的不均等性为零的点，并且这些点仍将与各对的极心重合。然而，为了减小围绕极心的区域中的不均等性，当至少一个相机与纵轴的偏差过大(例如，大于预定阈值)时，附加的矫正步骤可被执行。矫正可以包括图像的几何变换，其可以基于可以从相机的非固有校准导出的参数集。

矫正可取决于引起异常的原因：

--对于非完美安装的相机，可能会有预定的矫正，其使阵列的像平面成一直线，例如，使相机的主轴返回至平行于纵向方向。用于这种矫正的参数可以从相机的初始校准或重新校准中导出。

--当诸相机从纵轴联合转动时，可根据处理器先前确定的变换来计算矫正参数，例如，根据其上安装有相机的交通工具的里程计。例如，矫正参数可能会在交通工具转弯时变化。另外，如果相机没有被完美地安装，则该第二矫正可以与第一矫正相组合(例如，被添加至第一矫正)。

处理器还可被适配成用于确定极心，而无需显式地将变换纳入考虑。例如，可以在不计算获取图像的相机的相对位置的情况下，直接从图像中导出极心并因而导出低视差区域的位置，但是这可能需要一些附加的处理。例如，可以通过利用光流分析找到视差为零的位置来确定极心。靠近极心的点与从图像对确定的小光流向量重合。

估计极心的位置也可以用本领域已知的方法来完成。一种示例性办法是首先在一对图像的两个图像中找到一组自动选择的特征点之间的对应关系(例如，使用诸如SIFT或SURF等特征检测算法)。从这些对应关系中，可以确定基本矩阵(例如，如Hartley发表的“indefense of the eight-point algorithm(捍卫八点算法)”中所描述的，IEEE模式分析和机器智能汇刊，第19卷，第580-593页)和对应的对极线和极心。

处理器3被适配成用于限定归因于围绕至少两个图像中的一对对应的极心(或各对的n元组)的视差的有限图像不均等性的对应图像区域。

处理器3可被适配成用于，对于图像的时间序列的参考图像，确定与图像的时间序列中的至少两个其他图像中的极心相对应的多个极心。该至少两个其他图像可以在相比参考图像而言至少一个不同的时间点处被获取，但不必限于一个不同的时间点。处理器可被适配成用于为多个极心中的每一个定义分别在参考图像和对应的其他图像中的极心周围的对应图像区域。

处理器3可被适配成用于通过确定每个图像区域的边界来定义对应图像区域，使得参考图像的每个图像像素被指派给最靠近的极心的图像区域。

处理器3可被适配成用于通过确定每个图像区域的边界来定义对应图像区域，使得参考图像的每个图像像素被指派给极心的图像区域，使得当与该图像像素相对于其他图像的对应于其他极心的最大有界图像不均等性相比，该图像像素相对于其他图像的对应于该极心的最大有界图像不均等性是最低的，即最小的。

例如，对于场景中的每个点，可以选择不均等性最小的一对相机。有利地，该对的选择基本上不取决于相机和对象之间的距离。通过组合不同的相机对，可以获得参考图像中视差保持较小的不同子区域。此外，可以使用简单的方法来跨时间和跨产生良好(例如，最小)的不均等性的相机自动地选择图像区域。

处理器3可被适配成用于通过确定每个图像区域的边界来限定对应图像区域，使得图像不均等性的上界(即最大有界图像不均等性)低于或等于预定阈值。例如，当校正纵向移动分量时，例如在已经施加了扭曲以补偿横向和/或旋转分量之后，可以将预定阈值|Δ_x,th|,|Δ_y,th|应用于不均等性，并且可以通过应用阈值来定义由有限不均等性表征的图像区域的面积，例如在以下等式中施加|Δ_x|≤|Δ_x,th|,|Δ_y|≤|Δ_y,th|，其假定所选相机对中的各个相机不共面：

其中Z_S指代相机投影中心的纵向世界坐标，例如在其中考虑了对应极心的图像的相机中心之间的纵向距离，Z指代世界点p的纵向世界坐标，(x,y)指代世界点p投影到的像平面中的坐标，并且(e_x ^S,e_y ^S)指代极心的像平面坐标。因而，其中图像坐标x和y分别处于范围

至

以及范围

至

的区域可对应于有限图像不均等性的区域。

可以有利地用距离的下界来代替Z，针对该距离下界，不均等性将被控制在预定阈值(例如，背景对象的预定最小距离)内。还应当指出，假定Z>>Z_s，则分母Z-Z_s可以有利地简化为Z。可以容易地看出，对于相比此距离Z处于更大距离处的任何点，不均等性将更小，并且因此也将低于针对距离Z处的点所施加的阈值。

例如，对于在第一时间点获得的图像数据的时间序列中的第一图像(例如，参考图像)中的第一图像像素位置或第一图像区域，标识对应图像区域可以包括：评估为至少一个不同的时间点获得(例如通过相同和/或不同的相机在一个或多个不同的时间点处获得)的多个图像，以及在经评估的图像中相对于第一图像的不均等性低于预定阈值或在经评估的图像上最小的一个经评估的图像中选择第二图像像素位置或第二图像区域。例如，可以执行图像区域的许多组合的比较。然而，所需的处理能力仍可以有利地保持得较低，例如，因为每种组合可能只涉及小图像区域的比较。尽管如此，如将在下文中进一步解释的，可以使用参考图，例如查找参考图像或分析形式的参考图像的细分(tessellation)，例如对图像区域之间的多个边界的描述，例如索引图，来高效地执行该选择。

例如，处理器可被适配成用于使用离散二维参考图，使得可以通过简单的缩放变换和查找操作来为每个像素确定最合适的相机对。

例如，当相机以线性阵列布置时，视差可以沿着该阵列被布置的方向被控制为低于预定阈值，例如对于所考虑的对象的最小距离。例如，相机可以被水平地布置，以补偿水平查看方向上的视差。这可被扩展到相机的二维阵列，其中低视差可以在既在水平线周围又在水平线以下和水平线以上的水平条带中得到确保。例如，图13描绘了相机的5×3阵列。图14在参考相机C₀的图像中示出了，在哪些点处对应的其他相机的不均等性为零。由于时间t处的参考相机C₀(t)可以与t+1处的15个相机和t+2处的15个相机组合，因此图像中的不均等性为零的至多达30个点可被定义。然而，由于配置中存在3个共线相机三元组，因此图14中的某些点重合，这使不同点的数目减少到27。

图14还解说了可被用来将参考图像划分成不同区域(例如，细分)的竖直和水平线。对于每个区域，存在一个相机对，其在该区域内产生最小不均等性。然而，由于不均等性Δ_x和Δ_y彼此独立，因此为x分量提供最小不均等性的相机对可能与为y分量提供最小不均等性的相机对不同。实际上，这将发生在图14中的每个不包含不均等性为零的点的区域中。例如，对于该种类的区域，可以选择来自相邻区域的相机对之一。

在交通工具上，使用稍微向下倾斜的相机的阵列可能是有意义的，以使得它们覆盖道路的较大部分。倾斜相机将不会改变本发明的工作原理。然而，视差变为零的点将不再位于通过图像中心的水平线上，例如，如图14所示，但在图像中可能会稍微向上移位。

处理器还可被适配成用于变换参考图(例如，查找或索引图)，以确定参考图像中的区域。例如，在对参考图进行适当变换之后，参考图可以在参考图像中定义区域，使得每个区域指代在与参考图像不同的时刻拍摄的不同图像，例如其中该不同图像通过与参考图像相同或不同的相机获取。每个区域中的像素相对于由该区域参考的不同图像可能经受最小不均等性，例如，当与由其他区域参考的图像相比时。变换参考图可以包括应用缩放变换，其中缩放变换将例如对应于由如上文描述的处理器确定的变换(或从该变换导出)的在纵向方向(例如，主移动方向)上的行进距离和/或速度纳入考虑。此外，如上文已经描述的，例如，在使用由经变换的参考图定义的区域对应关系之前，可以对图像进行变换，以将相对于纵向方向的倾斜和/或偏航旋转纳入考虑。

由处理器执行的计算不必仅限于对相机对的操作。例如，对于给定的相机布置，共线相机的任何子集可以确定可被用于运动分割的低视差的区域，例如图像子区域。较大子集可为背景模型提供更多信息。

例如，处理器3被适配成用于标识图像数据的时间序列中的对应于不同的时间点并且由多个相机中的不同相机获得的图像的两个对应图像区域。这不排除处理器3被适配成用于标识图像数据的时间序列中的对应于不同的时间点并且由同一相机获得的图像的两个对应图像区域的情形。可以选择对应图像区域，以使得归因于两个图像区域之间的视差的不均等性较低，例如低于预定的不均等性阈值。例如，可以选择两个图像区域，使得归因于视差的不均等性最小。

为了简单起见，可以选择相机之一作为参考相机。因而，可以在不同的时间点处定义参考图像中的区域和其他图像中的对应区域，以使得参考图像中的区域与其他图像中的对应区域之间的低不均等性可以实现可靠、高效和/或简单的运动分割。然而，这种选择单个相机图像作为参考图像的缺点可能在于，这可能因像平面上的视差而导致低不均等性区域的非对称分布，如图2的右手侧所解说的。

如果图像区域的更加对称的分布是合需的，则替代方案可以是对于阵列式相机配置中的至少一个相机，考虑位于投影中心前方的平面的虚像上的低不均等性区域，例如，以相对于该至少一个相机的投影中心前方的平面中的虚像来评估每个图像。然后将该虚像选择作为新的参考图像。

此外，代替使用在时间t处由单个参考相机捕捉的参考图像C₀(t)，可以使用多对图像，例如阵列中的所有可用对，例如不单单包括单个公共图像作为参考的各对。图18解说了该概念。为了在更宽的视角范围内创建公共视线，在此示例中使用了三个不同的相机位置，即C₀(t)、C₀(t-1)和C₀(t-2)。因而，可以获得不均等性沿其将较低的附加方向，这是单相机参考图像无法实现的。例如，相机C₀(t-1)在与C₂(t+1)、C₁(t+1)、C_-1(t+1)和C_-2(t+1)结合时可以添加四个新方向。同样，当将C₀(t-1)添加为第三参考相机时，四个附加方向被获得。

在图19的示例中应用了相同的原理，其中有利地使用附加的参考相机来在更宽的查看范围内获得有限不均等性的方向。

没有单相机参考图像，显然也很难在单个图像中表示有限不均等性的区域。然而，可以通过用三维锥体替换有限不均等性的区域来可视化这种情景。给定相机对C_i(t)、C_j(t+k)和值

存在其中不均等性有界的金字塔形的被截锥体。锥体的顶点与C_i(t)重合。锥体被截以计及对象和相机之间的最小距离，例如3m，类似于上文提到的查看距离Z上的阈值。

对于被截锥体内部的每个点，不均等性将最多为

因此，多对相机图像生成有限不均等性的多个锥体。

为了可视化锥体的相对位置，我们可以在位于多个相机中的至少一个相机的投影中心前方的场景中引入虚平面。每个锥体与此虚平面的交集是一个可被投影到C₀(t)的像平面上的矩形区域。然后，所有经重投影的锥体交集的合成提供新的参考图像。替代地，例如，如果对于某些应用中较短的处理延迟，特定参考图像区域的变换或索引映射比整个参考图像的变换或索引映射更优选，则可以在单独的基础上考虑锥体交集的多个重投影，每个重投影定义分开的参考图像区域。

在这些锥体内，不均等性可能仍会以线性方式增加，如以下表达式所示。令X＝(X,Y,Z,1)^T为空间中的一点。令C_S＝(X_S,Y_S,Z_S,1)^T为相机之一的投影中心，并且令C_R＝(X_R,Y_R,Z_R,1)^T为参考相机的投影中心。虽然相机不在任意位置处，但是可以假定像平面彼此平行(如果不是的话，则可以被补偿，如已在上文讨论的)。直观的计算表明，不均等性向量的两个分量的更通用表达式是：

如果参考相机C_R位于原点，则根据上文先前讨论的等式，以上等式简化为(并且对于共面相机也适用)

并且在以下示例中也将详细呈现。

处理器3还被适配成用于将运动分割算法应用于对应图像区域。

处理器可被适配成用于使用本领域中已知的拼接算法来将对应图像区域拼接在一起，并且用于将运动分割算法应用于参考图像、或参考图像的图像区域的经拼接图像、以及对应图像区域的经拼接图像。替代地或附加地，处理器可被适配成用于将运动分割算法分别应用于参考图像中的每个图像区域和另一图像中的对应图像区域。

有利地，因为图像区域被选择成使得视差的影响较低，所以不管使用哪种运动分割方法，该视差影响都更易于补偿。例如，处理器可被适配成用于应用运动分割算法，该运动分割算法尤其适配成用于在由相对于其背景环境为静态的相机捕捉的图像数据中进行运动分割，即使本发明的各实施例涉及移动相机的配置。例如，通过本发明的各实施例，可以简化或避免由安装在移动交通工具上的一个或多个相机获得的视频序列中的运动分割的典型难点。

运动分割算法可以是本领域中已知的运动分割算法。通过控制归因于相机的运动的视差，即通过在不同的时间点处选择由归因于视差的低不均等性表征的对应图像区域，经运动补偿的背景模型可变得更加稳健，例如，使得使用对极或结构约束更容易区分静态和动态特征点，和/或可以应用更严格的流向量边界。实际上，由于视差很小，因此具有非常有限的运动补偿的简单运动分割方法可能足以达成运动分割的良好保真度，例如与现有技术解决方案相比，需要更少的处理能力和更便宜的硬件。

例如，运动分割算法可以包括图像减法。由于背景像素可具有基本恒定的强度和/或颜色，因此差异可以指示要检测的前景变化。运动分割算法可以包括高斯方法的混合，例如其中每个像素的强度和/或颜色被建模为高斯分布的混合。例如，静态背景区域可以对应于少量的窄高斯分布，而前景像素可以对应于更多和/或更宽的高斯分量。运动分割算法可以通过样本的集合而不是诸如高斯的混合之类的参数化模型来定义每个像素或像素区域的模型。代替或除了颜色和/或强度的变化之外，运动分割算法可以将局部图案和/或纹理(例如，局部二进制图案)纳入考虑。运动分割算法可包括自适应背景维持算法，例如，以动态地更新模型和/或调整背景模型的检测阈值。

运动分割算法可以包括具有运动补偿的前景/背景分割。例如，图像区域或经拼接图像之间的光流可以被确定为例如在局部平均之后指示背景的光流。这可以包括两步光流分析和/或双模单高斯模型，以减少背景模型的污染。运动分割算法可以包括运动聚类算法，以在时间上跨不同的时刻跟踪特征并将它们聚类为不同的运动模式。例如，可以假定主导模式来表示背景运动。运动分割算法可以包括多主体从运动恢复结构(multi-bodystructure-from-motion)算法，例如，其中近似地假定移动对象是刚性的。运动分割算法可以包括基于几何约束的方法。运动分割算法可以包括移动对象检测，其中通过对象识别来检测移动对象。例如，由于在标识出的对应图像区域中归因于相机运动的不均等性较小，因此标识在不同图像中识别出的移动对象可能更容易。

在另一示例中，可以训练神经网络，诸如卷积神经网络(CNN)，以检测感兴趣的对象，例如行人、自行车、汽车和/或在交通情景中可能相关的其他移动对象，其中神经网络接收由运动分割算法提供的数据作为输入，例如作为用于补充在其上进行由神经网络实现的对象检测操作的图像数据(和/或与检测到的图像特征有关的数据)的附加输入。因而，神经网络可以被训练来检测运动中的感兴趣的对象的(诸)特定类型。

处理器3还可被适配成用于将用于补偿随机运动的算法应用于图像或对应图像区域，例如，在应用运动分割算法之前。例如，当将相机安装在交通工具上时，归因于路面的不平整、交通工具的振动和/或风，随机相机抖动是不可避免的。因此，执行本领域中已知的某种形式的图像稳定可能是有利的。图像可以直接由相机稳定化(例如，基于透镜的稳定化、传感器移位稳定化)，或者在图像已被捕捉之后通过数字图像稳定被稳定化。然而，相对于系统(例如，交通工具)的主运动方向，相机的摇动主要包括摇摄和倾斜运动，其性质与视差不同。在本领域中已知的是，这种相机抖动，例如基本上限于在垂直于主运动方向的平面内的平移和/或旋转，比由视差引起的不均等性更容易补偿。

在第三方面，本发明涉及一种计算机实现的方法。参照图3，示出了根据本发明的各实施例的示例性计算机实现的方法100，该方法用于在由正相对于背景环境移动的多个相机获得的图像中进行运动分割。

方法100包括利用多个相机捕捉101图像的时间序列。该多个相机可以形成根据本发明的第二方面的各实施例的系统的一部分。

根据本发明的各实施例的方法可以包括测量多个相机相对于背景环境的位置、速度和/或加速度。

该方法可以包括，对于由多个相机中的至少两个不同相机在不同时间点处获得的图像的时间序列中的至少两个图像，确定102在对应于该至少两个图像的相机位置和/或取向之间的变换。

该方法包括例如通过将所确定的变换纳入考虑来确定103该至少两个图像中的至少一对对应的极心。

该方法包括定义104归因于围绕(例如至少包括)该至少两个图像中的对应极心的视差的有限图像不均等性的对应图像区域。

该方法还包括将运动分割算法应用于105所述对应图像区域。

根据本发明的各实施例的方法可以尤其包括处理器3尤其适配成用于的任何步骤，如以上关于本发明的第一和/或第二方面的各实施例所描述的。

在第一示例中，讨论了与本发明的各实施例有关的理论框架，以阐明本发明的诸方面并帮助本领域技术人员简化本发明的实践。然而，本发明的各实施例不一定限于此类考虑。

在该示例中，使用用于每个相机的简单的针孔模型并假定相机的焦距f相等，来讨论归因于视差的不均等性。

图5在最顶部的一行示出了由安装在移动交通工具上的单个相机在两个连贯采样时间点处拍摄的两帧。在这些帧下方，示出了合并图像，其中这两个帧已彼此叠合。由于交通工具向前移动，因此两个相机位置的公共视线，即连结两个投影中心的线，指向前方。作为结果，在图像的中心处的不均等性比在边界处的不均等性小得多。在立体视觉领域，这种公共视线可被称为立体对的基线。

为了确定任意一对相机位置的不均等性，在该第一示例中，将假定查看方向彼此平行，即，相机被平移但相对于彼此不旋转。非平行查看方向的更一般情形将在下面的另一个示例中讨论。

图4示出了相机位置的自顶向下示意图，其中针孔相机模型被用来定义点p在两个像平面上的投影。在该示例中，光轴40彼此平行。

令X＝(X,Y,Z,1)^T指代绑定至世界参考帧(例如背景环境的参考帧，例如地面参考帧)的三维空间中的点p的齐次坐标(homogeneous coordinates)。当从同一场景的两个不同相机位置获取两个图像帧时，例如，归因于相机在捕捉图像帧时的两个时刻之间的移动，p在分别称为p_R和p_S的两个像平面41上的投影将不会在这些像平面中完全位于同一位置处。尤其归因于视差，p的两个投影之间将会有很小的偏移或不均等性。

将计算具有投影中心C_S＝(X_S,Y_S,Z_S)^T的相机所看到的X的投影p_S的不均等性的x分量x_S和具有投影中心C_R的相机所看到的投影p_R的x分量x_R。为了方便且不失一般性，可以选择投影中心C_R作为三维坐标帧的原点。归因于视差的不均等性可被表示为向量(Δ_x,Δ_y)^T。不均等性的x分量是x_R和x_S之间的差异。其中公共视线与相应像平面交叉的两个点被称为极心。

对于(X,Y,Z,1)^T处的对象，即使对于两个共面相机，不均等性也可被表示为：

当XZ_S＝X_SZ且YZ_S＝Y_SZ时，不均等性为零。当X位于两个相机位置的公共视线42上时(即，对于具有形式(X,Y,Z)^T＝(kX_s,kY_S,kZ_s)^T的任何点)，两个等式均成立，只要k≠0且k≠1。因而，点在每个像平面41上的公共视线上的投影与极心重合。

仔细分析上述不均等性的表达式可以发现，

当Z固定时，不均等性向量的分量是X和Y的线性函数，并且不均等性的x分量独立于y坐标中的任何一个，且反之亦然。同样，当两个不同的对象位于同一视线(如从原点C_R处的相机看到的)时，最远处的对象的不均等性始终小于最近对象的不均等性。

上文的表达式表达了对象在位置(X,Y,Z,1)^T处的两个图像点之间的不均等性。该不均等性还可以被表示为(X,Y,Z,1)^T在像平面之一上的投影位置和对象的深度Z的函数。令

表示(X,Y,Z,1)^T在参考相机的像平面上的投影，即具有其在原点处的投影中心C_R。在上文的表达式中用xZ/f代替X且用yZ/f代替Y，假定相机彼此不共面，我们获得

或等价地，

其中

表示由C_R和C_S的公共视线定义的参考相机的像平面中的极心。

此外，对于Z＞＞Z_s，

因此，如果对象的深度远大于相机之间的深度差，则不均等性变得与对象的深度成反比。

令p_w,p_h表示像素的宽度和高度，则在位置(i,j)处的像素具有图像坐标(x,y)＝(ip_w,jp_h)。在上文的表达式中分别用ip_w和jp_h代替x和y，我们发现，投影到(i,j)上的(X,Y,Z,1)^T的不均等性等于

其中该不均等性现在由点p的图像在其上移位的像素的数目来表示。

由于当对象离得更远时不均等性减小，因此，如果原点处的相机位置和对象之间在z方向上的距离至少为d，其中d＞Z_S，则在锚定在C_R处的世界坐标系中被表达为，

这些边界表明，可以在参考相机的图像中限定有限不均等性的区域，其仅取决于所投影的对象点的像素坐标，就此而言，对象至少离参考相机位置预定距离远。这些边界也适用于共面相机。

为了进一步解说该示例，图6示出了在沿着方向61行驶的交通工具上的线性相机阵列的两个连贯位置的示意性俯视图，该线性相机阵列包括三个相机，分别具有作为时间的函数的投影中心C_-1,C₀,C₁。相机的投影中心的位置被表示为C_i(t),C_i(t+1),…。相机C₀在时刻t以及C₀在时刻t+1的公共视线62是穿过C₀(t)和C₀(t+1)的直线。同样，C₀(t),C₁(t+1)的公共视线63是穿过相应相机中心的第二直线。

图7示出了参考相机C₀的图像中不均等性的x分量和y分量保持为低于1、2、3、4和5个像素阈值的区域，分别由最小到最大的方形指示(更大的矩形表示图像框的边界)。在左侧的插图中针对相机对C₀(t),C₀(t+1)示出了诸区域，并且在右侧的插图中针对相机对C₀(t),C₁(t+1)示出了诸区域。该示例对应于以下相机配置：

-沿阵列的两个相邻相机中心之间的横向距离为10cm；

-交通工具的速度为15m/s；

-帧速率为每秒60帧(fps)；

-两个连贯快照(即t和t+1)之间的行进距离为25cm；

-每个相机的分辨率是768×432像素；

-每个相机的视角为92.6°，以及

-每个相机的焦距为2.948mm。

因而，该图在像素方面解说了两个不同相机对的不均等性。方形界定了其中|Δ_x|,|Δ_y|≤k的区域，其中针对最小到最大的方形，k的值为1、2、3、4和5。在每组同心方形的中心处，不均等性为零。这些中心与各个相机位置对的极心重合，其(如所定义的)为其中公共视线与像平面相会的图像点。例如，对于5米深度处的对象，

例如，在该解说中，根据上文提供的等式，在距极心右边85个像素处，不均等性|Δ_x|将为

个像素。

图8示出了与先前示例一致的进一步示例，其解说了安装在交通工具上的五个相机的线性阵列。在交通工具向前行驶的情况下，两个连贯快照由每个相机拍摄。

图9示出了针对5个不同的相机对指出的图像中具有其有限的不均等性的不同子区域。不均等性边界被表示为p的投影当与其在C_i(t+1)的像平面中的投影至C_o(t)的像平面中的投影相比时可能偏移的最大像素数。在每个方形区域中，不均等性向量的两个分量的绝对值最多为k，其中k＝1,2,3(图中所指示的数值是指这些值k)。还指示了五个大的矩形区域，它们表示整个图像帧的分区。每个区域对应于该区域中的每个像素的不均等性小于任何其他对的不均等性的一个相机对。

图10示出了沿着穿过图像中间的水平线(例如，如图9中的虚线所指示)、作为像素x坐标的函数的有限不均等性，例如Δ_x的绝对值。在每个子区域的中心处，对应的一对相机位置的视差为零。

在上文讨论的第一示例上进行扩展，在第二示例中，针对相机位置的大的共线子集，进一步阐述了与本发明的各实施例有关的理论框架。提供该实施例是为了阐明本发明的各方面，并帮助技术人员将本发明简化以实践。然而，本发明的各实施例不一定限于此类考虑。

快照的组合不限于相机对。在相机布置内，n个共线相机的任何子集确定低视差的子区域，并且可被用于运动分割。实际上，使用较大的相机子集可能较为有利，因为其为背景模型提供更多信息。

在图11中，已经通过它们的公共视线指示了七个不同的相机子集。四个子集包含3个相机，例如C₂(t+1),C₀(t),C_-2(t-1)，而三个子集包含5个相机，例如C₂(t+2),C₁(t+1),C₀(t),C_-1(t-1),C_-2(t-2)。为了获得此类更大的子集，不仅在中央相机前方的相机位置处拍摄的快照，而且还有在中央相机后面的位置处拍摄的快照都可被组合。

对于与公共视线相关联的每个子集，不均等性在参考相机的像平面中变为零的点对于所有相机都将是相同的。然而，离开这一点，与参考相机距离较远的相机的不均等性将比与之接近的相机的不均等性增加得更快。根据上文提供的不均等性等式，这是线性关系：对C₀(t),C₂(t+2)的不均等性的增长速度将是对C₀(t),C₁(t+1)的不均等性的两倍，因为C₂(t+2)距离参考相机C₀(t)更远两倍。

不均等性不同地变化的复杂性可能不会成为问题，只要不均等性足够小。此外，对于这样的更大的一组相机对，沿着公共视线的运动分割可以被进一步优化。例如，单个运动分割算法可被应用于在C₂(t+2),C₁(t+1),C₀(t),C_-1(t-1),C_-2(t-2)处拍摄的快照，而忽略C₂(t+2)和C_-2(t-2)的有点较大的不均等性。替代地，可以在公共视线组的不同对或三元组上分开地执行运动分割，例如以下三元组：

(i)C₂(t+2),C₁(t+1),C₀(t)

(ii)C₁(t+1),C₀(t),C_-1(t-1)

(iii)C₀(t),C_-1(t-1),C_-2(t-2).

这些个体运动分割的结果，例如归因于它们的共同参照帧c₀(t)，可于是被组合。

在进一步的示例中，本发明的各实施例不限于此，其中相机的像平面不平行的更一般情形被讨论，如图12中所解说的。通过相机位置C_S、C_R的线120表示公共视线。

令X＝(X,Y,Z,1)^T表示3D世界点(也被称为对象点)的齐次坐标。相机引起到由下式描述的齐次2D图像点x＝(x,y,1)^T的映射

3x4投影矩阵P取决于相机参数(例如，焦距)以及相机位置(尤其是相机中心的3D世界坐标)和相对于世界坐标轴的取向。其可以被分解为P＝K[R|t],其中[R|t]是将世界轴与相机轴对齐的旋转矩阵R，由世界轴的原点和用相机坐标表示的相机中心C之间的平移向量t进行增强。更具体而言，对于位于

处的相机，平移t等于

K是一个3x3矩阵，其包含对经归一化的传感器平面坐标和像素坐标之间的缩放和偏斜进行建模所必需的固有相机参数。例如，对于具有方形像素且没有偏斜的相机，其由下式给出

其中，f是用像素表示的焦距，即实际焦距除以一个像素的物理宽度，并且(x₀,y₀)是主点的像素坐标(即经过相机的投影中心并垂直于传感器平面的线的投影)。

一对相机的世界点的不均等性向量被定义为其在一个相机中的像素坐标与其在另一相机中的像素坐标之间的差异。令第一相机的投影矩阵(参见等式kx＝PX)由P_R表示并且第二相机的投影矩阵由P_S表示，则具有世界坐标(X,Y,Z,1)^T的点的不均等性满足(Δ_x,Δ_y)^T＝(x_S,y_S)^T-(x_R,y_R)^T,其中(x_R,y_R)^T和(x_S,y_S)^T是表示X的两个图像点的非齐次向量。使用相机的投影矩阵，这些点可以从下式导出

(kx_R,hy_R,k)^T＝P_RX,

(lx_S,ly_S,l)^T＝P_SX.

因而，根据这些等式，于是可以得出，不均等性的广义等式可被写为：

其中

和

分别表示P_R和P_S的行i和列j处的元素。

为了解说这一点，考虑了具有焦距f且主点位于(0,0)处并且完全平行于查看方向的两个等同相机的特定情形。在不失一般性的情况下，世界轴可以被选择成使得第一相机C_R位于原点处，并且第二相机的投影中心位于C_S＝(X_S,Y_S,Z_S,1)^T处。此外，相机轴可以与世界轴对齐，以使得两个相机的旋转矩阵R等于单位矩阵。然后，点X＝(X,Y,Z,1)^T的不均等性化简至

即化简至先前示例中的如在上文呈现的等式。

当考虑其中两个相机具有不同焦距(f_R,f_S)并且第二相机具有等于α的偏航角和等于β的倾斜角的情形时，表示第二相机的坐标帧的取向的旋转矩阵是

再次假定主点位于(0,0)处，则获得以下等式：

即使当第二相机被旋转时，对于位于公共视线上的点，视差仍将为零。然而，当比较两个图像时，这并不是立即显而易见的，因为相对于图像中心，第一相机的极心的位置(其中公共视线与像平面交叉)将与第二相机的极心的位置不同。使不均等性在极心处回到零的一种简单方法是通过平移来使每个图像移位，该平移将每个图像的中心移向其极心。等效地，第一图像可以保持在其原始位置处，并且第二图像可以通过平移向量差来被平移。

参考图12，参考相机的图像可以通过v_R来平移，而第二相机的图像可以通过v_S来平移。等效地，第一图像可以保持在其原始位置处，并且第二图像可以通过v_S-v_R来被平移。

回头参考其中两个相机具有不同焦距(f_R,f_S)并且第二相机具有等于α的偏航角和等于β的倾斜角的示例，可以获得以下等式：

以上平移取决于第二相机的非固有参数(位置和旋转角度)以及焦距f_R和f_s。

在平移第二图像之后，不均等性将为

其中(τ_x,τ_y)^T＝v_S-v_R。

先前示例的图像对齐(其将平移应用于图像之一)描述了一种确保不均等性在极心处为零的简单方式。第二种更复杂的方法是在比较图像之前对图像之一应用单应性，该单应性不仅确保在极心位置处的零不均等性，而且还确保给定距离处的任何静态对象的零不均等性。

所谓的无限单应性H_∞是在图像之间映射消失点的二维变换。在将其应用于图像之一之后，位于无限远处的所有点都将在两个图像中的相同图像位置处被看到。作为结果，它们的不均等性将变为零。对于所有其他点，可以从

找到新的不均等性

其中我们引入了图像点

其是由于将单应性H_∞应用于第二相机的图像而导致的。

再次考虑其中第二相机通过倾斜和偏航角被旋转的示例相机配置，以下2D单应性：

可被应用于第二相机的图像，其中

可以容易地表明，在应用H_∞之后，剩余的不均等性为

其与通过上文中的先前等式获得的不均等性完全相同。而且，可以注意到，

不取决于f_S。无限单应性不仅将第二相机的旋转纳入考虑，而且还将焦距中的差异纳入考虑。

因而，通过对第二图像应用单应性，相机的任何未对准以及焦距之间的差异可被纳入考虑。在这样的变换之后，图像或其部分可以被重新采样到相同的像素网格，以使得能够对图像或其区域进行高效的进一步处理，例如通过应用本领域已知的用于像素内插的方法。

因而已经证明，单应性可被用来使位于无限远处的所有点的不均等性变零。可以将相同的技术应用于场景中的任何平面。例如，可以计算单应性H_τ以使不均等性对于位于距参考相机一定深度处的所有点(即位于平面Z＝τ上的所有点)消失，其中τ为预定义深度。

作为另一示例，为了解说如上文先前所讨论的阵列的几何配置，考虑以下场景，本发明的各实施例不限于此。应用要求以至多达30m/s的速度的90度视野，其中前景-背景分割算法为不低于5Hz的帧速率提供良好的结果，并且可以补偿至多达3个像素的不均等性。低于10m/s的速度且针对距离交通工具10m内的障碍物，其他传感器处置紧急制动。便宜的640x480分辨率相机与产生所需视野(等效于320个像素的焦距)的透镜搭配。该相机可以以100Hz的最大帧速率运行。这产生30cm的水平阵列跨度。在5Hz和10m/s，虚拟阵列内的纵向距离为2m。3个像素的最大不均等性于是产生不超过15cm的水平相机间距。因此，此应用的阵列可以包括这些相机中的3个相机。

在接下来的示例中，本发明的各实施例不限于此，讨论了相机对索引图。考虑在以下位置处具有n+1个相机的相机阵列：C₀＝(0,0,0,1)^T,C₁＝(X₁,Y_i,Z_i,1)^T,…,C_n＝(X_n,Y_n,Z_n,1)^T，其中C₀被用作参考相机。首先，可以假定参考相机的视线与驱动方向重合，即其倾斜角和偏航角基本上为零。对于其他相机，可以假定它们要么与参考相机对齐，要么具有非零的倾斜角和偏航角，但是由此获得的图像被矫正，例如，通过如上文所阐述的无限单应性。

在交通工具向前移动的情况下，相机将在位置C_n+(0,0,kv(t)Δt),k＝0,1,…,m处拍摄m+1个快照，其中v(t)表示(例如，其上安装有相机的交通工具的)移动相机系统的速度，并且Δt表示两个随后获取的图像之间的时间。为了方便起见，还可以假定速度在Δt上几乎没有变化，即v(t+Δt)≈v(t)＝v，例如按照正常的驾驶行为。此外，Δs＝vΔt将表示两个后续图像采集之间所行进的距离。因而，第k个采集的相机位置是C_n+(0,0,kΔs),k＝0,1,…，m.

将显示出，可以定义一种简单的方法来针对v和Δt的给定值确定哪个相机对可被用于图像的哪一部分以获得最小可能的不均等性。考虑图像对中的不均等性

其先前在上文已被介绍。图像点

表示极心。在以下推导中，假定极心不在无限远处。如果需要的话，可以使用先前指出的广义表达式替换所有情形下(包括无限远处的极心)的更一般的不均等性公式。

在参考相机和在kΔt处拍摄快照的相机C_i之间的距离Z＝d处的对象的不均等性于是为

其中

是极心。此外，

可被定义为在所有可能的相机对{C₀,C_i}和时间实例kΔt上为图像中的每个点(x,y)提供最小不均等性向量的量值的函数。此外，令

表示相机索引图，其针对参考相机图像中的每个点指示哪个快照提供最低的不均等性。更具体而言，对于每个(x,y)，ω(x,y；d,Δs)产生一对{i,k}，其指示由相机C_i拍摄的第k个快照提供最低的不均等性。

为了解说这一点，图15示出了在t＝0,vΔt,2vΔt处拍摄快照的三个相机的三角形配置。五个不同相机位置的图像与参考相机的图像进行比较，如黑色箭头所指示。图16针对物距d的三个不同值(从左到右且从上到下分别为d＝0.5m、d＝2m和d＝20m)示出了μ(x,y；d,Δs)，。对于参考相机图像上的2×2mm区域，以mm为单位给出不均等性。在每种情形中，图像均由5个不同的区域覆盖，使得在每个区域中，最小不均等性是由于一个特定相机对引起的。例如，包含图像中心的区域始终对应于对{(0,0,0),(0,0,Δs)}。两个小的眼形区域对应于图15中的两个长箭头，对其而言，参考图像与在2处拍摄的快照进行比较。

如图16中所解说，边界的位置以及因此每个区域的形状都取决于d的值。然而，我们也注意到，d＝2m和d＝20m的区域边界基本上位于相同的位置。图17针对位于20m的距离处的对象示出了交通工具速度的不同值的区域，即从左到右且从上到下分别为v＝5m/s、v＝10m/s和v＝15m/s。可以看出，边界的相对位置及其形状基本上保持相同。实际上，改变速度与在固定细分上放大或缩小具有相同的效果，其通过根据索引(参考)图的不同相机对选择所索引的区域之间的边界来定义，其中参考图可以在至少参考相机的图像区域上被定义。

回头参考图16，其中观察到μ(x,y；d,Δs)对于d＝2m和d＝20m基本上相同。可以注意到，极心的位置不取决于d。此外，对于d＞＞Z_s，不均等性向量可近似为

这意味着，当针对均显著大于Z_s的两个不同距离d₁，d₂计算不均等性向量时，我们有

因而，对于图像中基本上所有的点，μ(x,y；d₁,Δs)将接近由恒定因子

缩放的μ(x,y；d₂,Δs)。因此，在ω(x,y；d₁,ΔS)中界定区域的边界将靠近ω(x,y；d₂,Δs)的边界。

由于索引图对于大的d都变得类似，因此可以定义一个限制

请注意，虽然

即不均等性对于大的d会变得无穷小，但定义ω_∞(x,y；Δs)仍然是有意义的。虽然在每个区域内不均等性可能会变得非常小，但这将不会改变区域的位置和形状。实际上，根据上文中的不均等性向量的近似，于是可以得出，对于d→∞，两个区域之间的边界由以下形式的等式定义

从该等式可以得出，索引图中不同区域之间的边界包括线段和圆弧段，因为该等式可以用以下形式重写：a₁(x²+y²)+a₂x+a₃y+a₄＝0.当a₁＝0时，该等式定义一条线。具体而言，这将在Z_i＝Z_j和k＝l时发生。一个简单的示例是相机的平面配置，其中仅将在k＝l＝1处拍摄的快照与参考相机进行比较。当a₁≠0时，该等式定义一个圆，因为x²和y²具有相同的系数。

假设在两个实验中使用了相同的相机配置，其中只有交通工具所行驶的距离是不同的，例如，归因于不同的交通工具速度和/或不同的快照定时。对于平面相机配置，可以表明

换言之，通过简单的缩放变换，可以变换索引图，以使得两个索引图变得彼此相等。

例如，可以注意到，对于平面相机配置，所有Zi均为零。如已经讨论的，可以将非平面相机配置变换为平面配置，例如，通过调整相机采集的定时偏移和/或所获取的图像的重采样。同样，相对于主运动方向(例如，纵向方向)的倾斜和偏航分量可以通过图像的预处理(例如，通过适当地扭曲图像)来被补偿。因此，区域之间的边界现在由以下形式的等式定义

在用上文等式中的

替换(x,y)后，可以消除Δs，这表明在经变换的索引图中，区域之间的边界与所行进的距离Δs无关。

因此，对于其中参考相机的视线与行驶方向重合的平面相机配置，计算出可被用于所有车速和快照定时的单个索引图就足够了。具体而言，可以针对相机配置和Δs的一个特定值预先计算相机索引图ω_∞(x,y；Δs)，其可被用来确定Δs的所有其他值的合适相机对。此外，如先前所讨论，在良好的近似中，ω_∞(x,y；Δs)也可被用作有限距离d的索引图，只要对象和参考相机之间的距离相比所行进的距离Δs足够得大。

图17已经演示了此缩放属性。虽然图17示出了d＝20m的有限距离的μ_∞(x,y；d,Δs)，但是很明显，对于不同的值，索引图直至一比例因子是非常类似的。

因此，通过缩放参考图(其将纵向方向(例如，主移动方向)上所行进的距离和/或速度纳入考虑)可以容易地构造一张图，所述图用于确定参考图像的区域并用于针对每个区域确定由相同或不同相机拍摄的在不同时刻的对应图像，以使得针对每个区域上的参考图像和对应图像的组合达成最小的不均等性。此外，如在上文已描述的，可以对图像进行变换以将相对于纵向方向的倾斜和/或偏航旋转纳入考虑。

在进一步示例中，通过对由安装在公共巴士上的相机配置捕捉的图像进行的实验证明了在上文讨论的理论上的考虑。四个相机基本上排成一排。虽然相机没有完全对齐并且没有时间同步，但它们已被校准以消除透镜失真。在这种配置中，相机略微向下倾斜。在图像采集期间未测量公共巴士的确切的量距和速度。

第一个实验表明，可根据对极线准确地计算出零不均等性的点，而无需事先了解交通工具的量距(速度和/或位置),例如，使用仅仅基于图像的计算上更昂贵的估计方法。发现不均等性在零不均等性的点附近很小。零不均等性的点的位置还取决于相机的相对位置。该原理也可被应用于倾斜的相机。

图20示出了当比较来自最左边的相机C_L与最右边的相机的图像时可如何限定有限不均等性的区域。图像201示出了由C_L在t处拍摄的快照，并且图像202示出了由C_L在t+5处拍摄的快照。图像203和204分别从左图像和右图像示出用于计算对极线的特征点。这些特征点由Shi等人在IEEE计算机视觉与模式识别会议论文集(1994年，第593-600页)中发表的“Good features to track(用以跟踪的良好特征)”中所描述的拐角检测器来自动选择。特征点由点表示，而线表示对极线。图像203还示出了左图像和右图像的特征点之间的不均等性向量。一些特征点被拒绝，因为不均等性向量与巴士的运动不一致，例如，当在左右图像之间找不到清晰的匹配时，例如图像强度过于均匀的情况或由于图像噪声的原因。

对极线是由Hartley在“捍卫八点算法”(IEEE模式分析和机器智能汇刊，第19卷，第580-593页)中描述的开创性算法自动确定的。这些线在其中不均等性为零的对极点(即极心)处相遇。图像205示出了最终结果：左图像的红色分量与右图像的绿色分量合并。交叉指示极心的位置。极心与沿道路的第三棵树重合。接近这一点，两个图像之间的不均等性非常小，这可以从合并图像中得到验证。需要注意，汽车的阴影表现为移动对象。

图21示出了其中C_L(t)的图像与C_R(t+3)进行比较的类似结果。低不均等性的区域已更多地向右移动。极心与沿道路的第二棵树的位置重合。在图22中，其中C_L(t)和C_R(t+2)进行比较，低不均等性的区域已甚至向右移动得更远，并以第一棵树为中心。如果我们比较这两个图像，很容易检测到靠近第一棵树的任何移动对象。

在进一步示例中，解说了根据本发明的各实施例的用于通过安装在交通工具上的系统来检测诸如行人之类的移动对象的应用。在该示例中，线性相机阵列被用来检测在距离参考相机距离d₀处横穿街道的行人。图23示意性地示出了一个场景，在该场景中，位置P处的行人在线性相机阵列系统前方以速度v_p横穿街道。线性阵列被安装于在由z轴指示的方向上行驶的交通工具上。交通工具的速度是v_c。交通工具的速度垂直于行人的速度。参考相机C_R在时间t处拍摄的图像与第二相机C_S在时间t+Δt处拍摄的图像进行比较。当第二图像被捕捉时，行人在位置P+(v_pΔt,0)处。

假定在汽车前方存在一个已知无对象的区域230。令d_F表示该区域相对于参考相机位置的深度。虽然该区域可能很小，但是通常其将具有大于零的面积，因为交通工具必须能够向前行驶而不会撞到对象，例如d_F≥v_cΔt。

在该示例中，还假定场景中的对象要么是静止的要么以最小v_p的速度横穿街道。

现在可以确定第二相机的位置c_S，以使得可以将由移动的行人引起的不均等性与由移动的交通工具引起的视差区分开。

如图23中所解说，存在无法进行这种区分的相机位置。例如，考虑位置c_T处的相机。位置B处的任何静态对象都将被投影到与移动的行人相同的两个图像点上。因此，基于相机对{C_R,T},无法查明在A处的静态对象和在P处以速度v_p移动的行人之间的差异。然而，对于位置C_S处的相机，为了解释图像投影，静态对象必须处于位置A处，这被排除在外，因为A位于被假定为没有对象的区域230中。

更一般而言，对于位于由顶点P′,G,H定义的三角形内的任何相机C_S，行人的运动只能由静态对象来解释，该静态对象位于起始于Q处并穿过C_R的半线上。由于这条半线上的每个点要么位于自由区230中要么位于相机后面的区域中(其无法被观察到)，因此可以得出，上述三角形内的任何相机都可以对由行人运动引起的不均等性和由相机的运动引起的视差进行区分。

该三角形包括两个部分。对于位于C_S处的相机，由P引起的不均等性向量将具有与静态对象的不均等性向量相同的方向。在C_R的图像中，P和A的投影移动离开极心。然而，P的不均等性向量的大小将大于任何静态对象的大小。对于位于C_U处的相机，P的不均等性向量的方向将与静态对象的方向相反。P的投影朝C_R的极心移动，其无法用静态对象引起的视差来解释。

三角形的宽度可以在C_S处被计算，因为这允许相机之间的最大间距被确定。令δ₁表示分段EM的长度且令δ₂表示分段MF的长度。简单的计算显示出

或

其中d_o是对象相对于参考相机的深度。

因而，可以确定线性阵列的相机之间的最大间距，使得可以有可能检测到移动的行人。首先，考虑其中自由区230具有最小尺寸的特殊情形。在该情形中，d_F＝v_cΔt且因此δ＝v_pΔt.

为了确保在时间t+Δt处，在E和F之间始终存在至少一个第二相机，相机之间的间距不应大于

换言之，相机之间的最大间距是行人在两次快照之间行进的距离的一半。

对于更一般的情形，在其中自由区不是最小的情况下，可以假定到对象的距离远大于交通工具所行进的距离，即d_o＞＞v_cΔt，并且δ可因而近似为

上文的表达式包含行人位置的深度d_o。然而，可以假定线性阵列被配置成使得其仅能检测处于不大于d_M的深度处的行人。在该情形中，相机之间的最大间距可被表示为

因而，

充当缩放因子：当被假定没有对象的区域变得更大时，可以增加相机之间的距离。例如，当

时，λ＝v_pΔt，这是相比其中d_F最小的情形的两倍大。

此外，在根据本发明的各实施例中，诸如雷达或激光雷达传感器之类的附加传感器可以提供附加深度信息，并且自由区域230可被确定以将通过该其他手段获取的附加信息纳入考虑。例如，可以有利地将根据本发明的各实施例的方法和/或系统与尤其适合于(例如尤其准确地用于)确定近距离处的移动对象的替代运动感测技术结合使用。在本发明的各实施例中，归因于对先前图像帧的分析，例如当可以假定对象处于较大的距离处时，自由区230也可以被认为没有具有足够大的确定性的移动对象，例如行人。

一旦相机之间的间距λ被确定，便可以确定用于覆盖场景中的预定范围的相机的数目。如图24中所解说，可能需要确定在距离d_o处沿着长度W的轨迹行走的行人的运动。令k表示覆盖整个道路交叉口所需的相机的数目。然后我们有

其中括号指示上取整至下一个整数运算。

在用其最大值替换λ后，找到

当d_F＝0时，出现一个特殊情形。在该情形中，需要

个相机。

举一个具体的例子，假设以5km/h(或1.39m/s)的速度移动的行人要沿着10m长的轨迹在20m的距离处被检测到，同时交通工具以30km/h(或8.33m/s)的速度行驶。相机帧速率为25Hz。在该示例中，由于我们对比20m更远的行人不感兴趣，因此我们令d_M＝d_o＝20m。

首先，假定关于交通工具前方对象的存在一无所知，使得d_F＝0。相机之间的最大间距于是为

同时

然而，如果已知在交通工具前方的前10m没有静态障碍物，我们有

和

在这两种情形中，相机阵列的宽度约为166mm，但是取决于对交通工具前方区域的了解，相机的数目和相机之间的间距可能会有所不同。

在以上示例中，在帧速率被固定的情况下计算相机之间的距离。这并不排除相机阵列设计的其他可能办法。例如，对于相机之间的固定间距，可以计算检测给定距离处的行人所需的适当帧速率。或者，对于固定的帧速率和固定的间距，可以计算汽车的最大速度，以使得可以在给定的距离范围内检测到行人。

与上文为过马路的行人所解说的分析类似的分析也可以被应用于其他移动的道路使用者，诸如沿着道路骑自行车的人、沿着人行道行走的行人、沿着任意方向行走的行人等等。如本领域技术人员将清楚的那样，该分析还可以被扩展到非线性阵列，扩展到在不止两个时刻处拍摄快照的相机，或者扩展到使用多个参考相机。

在进一步的示例中，根据本发明的各实施例，配备有全局快门的第一相机可以在时刻t＝0处获取单个参考图像。第二相机可以配备有沿其像平面在水平方向上移动的卷帘快门。当第二相机正相对于世界坐标系移动(例如安装在交通工具上且以与交通工具相同的速度移动)时，其投影中心的位置对于时间实例t>0持续地改变，并且其相对于由第一相机在t＝0处获取的参考图像的像平面中的极心位置也是如此。通过控制第二相机的卷帘快门的运动，例如通过控制和优化第二相机的曝光和读出时间，或通过任何其他更高级的像素列的受控读出手段，可以确保在任何时间实例t>0，由第二相机获取的像素列要么包含极心要么至少靠近极心，由此获取具有零不均等性或小的不均等性的像素列。例如，可以将多个像素列编群为与采集时间t>0相关联的第二相机的经裁剪图像，并且可以在第二相机的卷帘快门周期时间期间获取不止一个如此获取的经裁剪图像。在极端情形中，第二相机的经裁剪图像可对应于像素的单个列，例如一维图像条带。第二或其他相机的卷帘快门的更高级的运动控制手段可以允许快门速度与同第二或其他相机相关联的(诸)像平面中的(诸)对极点的位移速度的同步，例如通过使卷帘快门速度与行进距离Z_S的倒数成比例。

Claims (17)

1.-一种用于在由相对于背景环境移动的多个相机获得的图像中进行运动分割的数据处理系统(1)，所述数据处理设备包括：第一输入(2)，用于从所述多个相机接收图像的时间序列；以及处理器(3)，被适配成用于：

-确定所述图像的时间序列中由至少两个不同的相机在不同的时间点处获得的至少两个图像的至少一对对应的极心，

-在所述至少两个图像中定义归因于围绕所述对应极心的视差的有限图像不均等性的对应图像区域，

-在不同的时间点处获得所述至少两个图像的所述至少两个相机中的至少一者的旋转和/或所述至少两个相机之间的未对准超过阈值的情况下，使所述对应图像区域扭曲以补偿所述旋转，并补偿所述未对准，以及

-将运动分割算法应用于所述对应图像区域。

2.-根据权利要求1所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于：对于所述至少两个图像，确定对应于所述至少两个图像的相机位置和/或取向之间的变换，并且用于通过将所述变换纳入考虑来确定所述至少两个图像的所述极心。

3.-根据权利要求2所述的数据处理设备，其特征在于，包括第二输入(4)，用于接收相对于绑定至所述背景环境的世界坐标帧移动的移动参考帧的位置、速率、速度和/或加速度数据，并且所述多个相机被绑定到所述移动参考帧，其中所述处理器(3)被适配成用于通过将由所述第二输入接收到的所述数据纳入考虑来确定所述变换。

4.-根据前述权利要求中任一项所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于，针对所述图像的时间序列中的参考图像，确定与所述图像的时间序列中由至少一个不同的相机相比所述参考图像在至少一个不同的时间点处获取的至少两个其他图像的极心相对应的多个极心，以及用于针对所述多个极心中的每一者，分别在所述参考图像和所述对应的其他图像中确定围绕所述极心的所述图像区域。

5.-根据从属于权利要求2的权利要求4所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于通过使所述参考图像和/或所述至少两个其他图像扭曲以校正所述变换的横向移动分量来确定所述多个极心，以及用于通过将所述变换的纵向移动分量纳入考虑来确定所述多个极心。

6.-根据权利要求4或5所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于，针对定义所述对应图像区域中的每一者，确定所述图像区域的边界，使得所述参考图像的每个图像像素被指派给最靠近所述多个极心的图像区域，或使得所述参考图像的每个图像像素被指派给用于所述参考图像的所述多个极心中的一极心的图像区域，以使得当与该图像像素相对于其他图像的对应于其他极心的图像不均等性相比，该图像像素相对于所述其他图像的对应于所述极心的图像不均等性是最低的。

7.-根据从属于权利要求2的权利要求4、或权利要求5所述的数据处理设备，其特征在于，所述处理器被适配成用于通过至少将所述经确定的变换纳入考虑来变换索引图，以确定所述参考图像中的所述图像区域，其中所述经变换的索引图定义从所述参考图像中的所述图像区域到所述至少两个其他图像中的所述图像区域的一对一函数。

8.-根据权利要求4至7中任一项所述的数据处理设备，其特征在于，针对定义所述对应图像区域，所述图像区域中的每一者的边界被确定，以使得所述图像不均等性的上界低于所述图像区域的每一者中的预定阈值。

9.-根据权利要求4至8中任一项所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于将在所述对应的其他图像中定义的多个图像区域拼接在一起，以及用于将所述运动分割算法应用于所述参考图像和图像区域的经拼接图像。

10.-根据权利要求4至8中任一项所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于将与多个参考相机相关联的多个图像区域一起拼接成经拼接的参考图像，以及用于将与围绕所述经拼接的参考图像的极心定义的图像区域相对应的多个图像区域一起拼接成进一步经拼接的图像，以及用于将所述运动分割算法应用于所述经拼接的参考图像和所述进一步经拼接的图像。

11.-根据权利要求4至8中任一项所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于将所述运动分割算法分别应用于所述参考图像中的每个图像区域和另一图像中的所述对应图像区域。

12.-根据前述权利要求中任一项所述的数据处理设备，其特征在于，所述处理器(3)被适配成用于将用于补偿随机运动的算法应用于所述图像和/或所述对应图像区域。

13.-一种用于在由能在操作中相对于背景环境移动的多个相机获得的图像中进行运动分割的系统(10)，所述系统包括根据前述权利要求中任一项所述的数据处理设备(1)和可操作地连接到所述第一输入(2)的所述多个相机(11)，以用于捕捉所述图像的时间序列并向所述数据处理设备(1)提供所述图像的时间序列。

14.-根据权利要求13所述的系统，其特征在于，包括位置、速率、速度和/或加速度传感器(12)，以用于向所述数据处理设备(1)提供所述系统(10)相对于所述背景环境的位置、速率、速度和/或加速度。

15.-根据权利要求13或14所述的系统，其特征在于，所述系统是交通工具。

16.-一种用于在由正相对于背景环境移动的多个相机获得的图像中进行运动分割的计算机实现的方法(100)，所述方法包括：

-利用所述多个相机捕捉(101)图像的时间序列；

-对于所述图像的时间序列中由至少两个不同的相机在不同时间点处获得的至少两个图像，确定(103)一对对应的极心，

-在所述至少两个图像中定义(104)归因于围绕所述一对对应的极心的视差的有限图像不均等性的对应图像区域，

-在不同的时间点处获得所述至少两个图像的所述至少两个相机中的至少一者的旋转或所述至少两个相机之间的未对准超过阈值的情况下，使所述对应图像区域扭曲以补偿所述旋转，并补偿所述未对准，以及

-将运动分割算法应用于(105)所述对应图像区域。

17.-根据权利要求16所述的方法，其特征在于，进一步包括：

-根据索引图从所述多个相机中选择相机对，

-定义归因于围绕由每个所选相机对获得的图像的至少一对对应的极心的视差的有限图像不均等性的对应图像区域。

Images