CN102194239B

CN102194239B - 用于处理图像数据的方法和系统

Info

Publication number: CN102194239B
Application number: CN201110065746.7A
Authority: CN
Inventors: 丹尼斯·哈瑞斯; 克利斯汀·昂鲁
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-16
Filing date: 2011-03-16
Publication date: 2016-04-06
Anticipated expiration: 2031-03-16
Also published as: CN102194239A; US8406472B2; US20110228981A1; EP2372642B1; EP2372642A1

Abstract

本发明提供了用于处理图像数据的方法和系统。一种用于处理表示区段遮盖的图像数据的方法，包括：基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。从而，所述三维物体与相机位置之间的距离例如可被确定。

Description

用于处理图像数据的方法和系统

技术领域

本发明涉及用于处理图像数据的方法和系统以及对应的计算机程序产品。例如，该方法可构成检测移动物体(object)的方法的一部分。同样地，该系统可构成用于检测移动物体的系统的一部分。

背景技术

在汽车安全应用领域，正在开发对邻近车道中的车辆进行检测以发出车道变化警告的系统。例如，已开发出方法来检测车辆的盲点区域中的移动物体。

例如，EP-A-1988505和EP-A-1988488涉及用于检测车辆的盲点区域中的移动物体的方法。近来，变为也希望检测远落后于自我车辆(ego-vehicle)的车辆以使得可以非常早地警告驾驶员。

本发明的一个目的是提供改进的分别处理图像数据和检测移动物体的方法和系统。

以上目的是由独立权利要求所要求保护的主题来实现的。

另外的实施例在独立权利要求中定义。

附图被包括以提供对本发明实施例的进一步理解并且被包含在本说明书中并构成其一部分。附图图示出本发明的实施例并且与说明书一起用来说明原理。当本发明的其他实施例和许多预期优点参考以下详细说明得到更好理解时，它们将被容易地认识到。附图的元素不一定是彼此成比例的。相似的标号标示相对应的相似部件。

发明内容

根据本发明的一个方面，提供一种用于处理表示区段遮盖的图像数据的方法，包括：基于多个参数组生成三维物体的二维形状表示；使所述区段遮盖中的运动块与所述二维形状表示中的每一个相匹配以获得具有最适合的参数组的二维形状表示；将所述图像中的一个图像分割为多个分段；以及向布置在所述图像的各个分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。

根据本发明的另一个方面，提供一种用于处理表示区段遮盖的图像数据的系统，该系统包括适用于执行以下操作的组件：基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示中的每一个相匹配以获得具有最适合的参数组的二维形状表示。其中所述图像数据是从图像序列生成的，所述系统还包括适用于执行以下操作的组件：将所述图像中的一个分割为多个分段；以及向布置在图像的各个分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。

根据本发明的另一个方面，提供一种用于检测移动物体的系统，包括：适用于通过拍摄图像序列来生成图像数据的设备；以及上述系统。

附图说明

图1示出根据一个实施例的方法和系统的示意表示；

图2示出图像处理系统的各个子系统的示意图；

图3A和3B分别示出用于处理图像数据的方法和系统的表示；

图4A和4B示出原始图像和经处理的图像；

图5A和5B示出变换的示例；

图6图示出用于处理图像数据的方法和系统；

图7A图示出用于检测移动物体的方法；

图7B图示出用于检测移动物体的系统；

图8A图示出可被检测的物体的示例；

图8B示出区段遮盖(segmentationmask)的示例；

图8C示出有多个二维形状表示被覆盖的区段遮盖的示例；

图8D示出具有匹配的二维形状表示的示例的区段遮盖的示例；

图9示出检测多个物体的方法；以及

图10示出用于发出警告的系统的示例。

具体实施方式

在以下详细描述中参考了附图，附图构成了这里的一部分并且在附图中以图示方式图示出本发明可被实现于其中的特定实施例。在这点上，参考正在描述的附图的朝向来使用方向术语，例如“顶部”、“底部”、“正面”、“背面”、“前边缘”、“后边缘”，等等。因为可以以多种不同朝向来安置本发明实施例的组件，因此方向术语用于图示目的并且绝非限制性的。将会明白，在不脱离权利要求书所定义的范围的情况下，可以利用其它实施例并且可以做出结构或者逻辑改变。

图1示出根据一个实施例可被用于评估行驶情况并且在很可能发生碰撞的情况下发出警告的方法和系统的示意表示。在步骤S101中，视频图像的序列作为视频信号被输入到系统中。例如，相机110可被用于拍摄图像。图像也可被称作“帧”或者“场”。图像例如可由数码摄像机拍摄并且可被逐像素地存储在存储器中。相机可被布置在车辆的任何适当位置，例如布置在车辆前部的侧视镜处乃至车辆后部。如显然将会明白的，一组相机110、111可附着于车辆。具体而言，相对于自我车辆，第一相机110可拍摄来自左边车道的图像并且第二相机111可拍摄来自右边车道的图像。图像被供应给图像处理设备，该图像处理设备可在步骤S102执行各种处理步骤。在步骤S103，执行对先前图像处理S102的评估，并且如果存在碰撞威胁则发出警告。

图像处理系统112可包括下面将会说明的各种子系统。如将会描述的，图像处理系统112适合于在车道变化情形下从后面靠近的长距离车辆检测。因此，这些车辆可能在远离盲点区域的邻近车道上靠近。例如，该系统可检测多达约80m之外的多个靠近车辆，或者在高速公路情形下到达碰撞线之前有多达平均约7.2s的多个靠近车辆。因此，就检测精度、假警报处理和处理多个物体而言发生的问题需要被处理。

图2示出可构成图1所示图像处理系统112的一部分的各个子系统的示意图。在通过一个或多个预处理模块200之后，在步骤S201中，可由图像缩放系统201执行图像缩放。可选地，在步骤S202中，可由运动估计设备202执行运动估计(ME)。作为另一选项，此后在步骤S203中，可由移动物体检测设备203在步骤S203中检测移动物体。然后，可选地，可由用于检测群组中的多个物体的系统在步骤S203中检测群组中的多个物体。在步骤S202、S203、S204中的任一个期间，可由行驶情形检测设备205执行用于检测行驶情形的步骤S205。此后，可选的更多处理步骤S206可被执行。如显然将会明白的，根据本发明一个实施例的方法或设备可包括以上步骤S201至S205的任何组合或子组合，或者子系统201至205的任何组合或子组合。下面将说明所示出的子系统和步骤中的任何子系统和步骤的功能。

I.图像缩放

如图3A所示，用于处理图像的图像数据的方法可包括

－将图像分割为多个分段(segment)；

－向布置于图像的特定分段的图像数据应用缩放因数，其中不同的缩放因数被指派给图像的不同分段。

如在图3B中进一步示出，用于处理图像的图像数据的系统300可包括

－适用于将图像分割为多个分段的第一组件301；以及

－适用于向布置于图像的特定分段的图像数据应用缩放因数的第二组件302，其中不同的缩放因数被指派给图像的不同分段。

另外，本实施例提供了适用于执行以上方法的计算机程序产品。

图4A和4B示出了原始图像(图4A)和已根据该方法处理过的图像(图4B)。如图所示，距离相机近的图像401a的大小被减小，以产生变换后的物体401b。另外，距离相机远的物体402a的大小被放大，以产生变换后的物体402b。例如，近物体401a的框403a的大小由于该处理而被减小，从而产生变换后的框403b，并且包围远物体的框404a由于该处理而被放大，从而产生变换后的框404b。

图5示出该处理可被如何实现的示例。图像可沿着第一方向(例如x方向)被分割为多个分段50₁…50_n。此后，不同的缩放因数被指派给这些分段中的每一个。然后，像素大小被乘以这些具体缩放因数。根据一个实施例，分段可被沿着一个轴布置。作为修改，分段可被沿着彼此正交的两个不同轴布置。例如，缩放因数可沿着图像的一个方向(例如，x方向或者y方向)以单调方式减小。另外，缩放因数可以从大于一的值减小为小于一的值。在所示示例中，缩放因数在从左至右的方向上从大于1的值减小为小于1的值。例如，缩放因数可关于移动物体到自我车辆的距离以线性方式减小。

所描述的方法沿着每个轴以不断改变的缩放因数执行双线性插值。因此，多尺度的单个图像表示被得到。因此，遥远物品的大小被放大，而邻近部分缩小。相应地，图像的所有部分的表示可被得到，使得可在无需过多计算成本的情况下检测到物体及其运动。具体而言，如从图4B可以理解，由于各种尺度的存在，图像的所有相关部分可被检测到。结果，当所描述的方法被应用于车辆检测时，靠近的车辆可被非常早地检测到或者远距离地检测到。

如从以上描述明白的，系统可被实现为适用于处理相机已经接收到的图像数据的处理设备。或者，相机可包括适用于执行以上方法的特殊光学系统。另外，可能存在不构成相机一部分的特殊光学系统，例如镜子等，该特殊光学系统适用于执行以上方法。

II.运动估计

在传统系统中，计算由此得到的帧之间的运动场。因此，每个帧的至少一个像素应当发生运动以被检测到。基于图像分辨率和相机朝向，该运动可被变换为世界物体的实际运动。例如，如果考虑(例如以特定轨迹)从后面靠近的车辆，一个像素在(x,y)处具有速度的图像运动可被变换为以米为单位的真实世界距离S(x,y)和x方向上的速度v(x)＝dS(x)/dx。V(x)是每帧的以米为单位的最小可检测速度。因此，增加视频流的捕捉速率也将增加所要检测的物体的最小真实世界速度。一般而言，希望视频流的捕捉速率适应于所要检测的物体的最小真实世界速度。然而，如果所要检测的物体被布置在大范围的距离内，则可能存在大范围的真实世界速度。例如，对于图像中的真实世界高速运动接近相机、运动估计器由于高速x运动而难以在图像平面中找到匹配的区域(例如盲点)，高捕捉速率是希望的。在所有其他情况下，运动检测利用更低帧速率得到改善。例如，利用更低帧速率可以更早地检测到更慢的物体，从而得到增加的检测距离。如曾经发现的，这非常有助于远距离的车辆检测。

如图6所示，用于处理图像数据的方法可包括同时向以下两者提供图像数据

－第一运动估计器62，该第一运动估计器62适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及

－第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。

同样，用于处理图像数据的系统包括第一运动估计器62，该第一运动估计器62适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。

另外，该实施例提供了适用于执行以上方法的计算机程序产品。

在图6所示的示例中，图像数据首先被预处理块61处理。例如，预处理块61可包括各种处理设备，例如滤波设备、图像校正设备以及其他。此后，图像数据被提供给第一运动估计器62以及第二运动估计器63。可选地，图像数据也可被提供给第三运动估计器64，该第三运动估计器64识别在第三序列的连续图像之间进行了移动的移动项目，其中所述第三序列具有第三帧速率。例如，第一帧速率可以是第二帧速率的整数倍。

例如，第一运动估计器62的帧速率可以是30fps(帧每秒)，对应于连续图像之间的33ms距离。该帧速率对应于通常相机的帧速率。另外，第二帧速率可以是3fps，使得第一帧速率对应于第二帧速率的十倍。因此，当分析第一和第二帧速率的连续图像时，第二运动估计器63分析该序列的每第十个帧，而第一运动估计器62分析该序列的每一单个图像。因此，该布置覆盖了更高范围的可检测速度。更具体而言，图6所示的运动估计器检测低速度以及高速度。第一运动估计器62仍确保了对最有兴趣的高速靠近车辆的检测，并将它们的响应延迟保持为最小。另外，第二运动估计器63检测慢车辆和所有遥远车辆的慢像素运动。接近的慢车辆由于相机透视(perspective)和它们朝着相机的行驶方向而生成慢像素运动。每个运动估计器的估计运动场然后被归一化并被组合为最终结果。

可选地，第三运动估计器64可被提供以适用于特定的相机或者透镜设置。如显然将会明白的，另外的运动估计器可存在于根据所描述实施例的系统中。

III.模板匹配技术

模板匹配技术旨在从图像序列中检测移动物体，使得可以检测从相机到移动物体的距离。为了获得可靠的结果，希望从图像序列中精确地确定移动物体。

通常用于拍摄图像的单目相机是未被配置为提供深度信息的2D传感器。因此，需要另外的处理来评估所检测物体的距离信息。所检测物体通常由区段遮盖表示，区段遮盖描述图像中的哪些像素属于潜在物体。

如图7A所示，用于检测移动物体的方法可包括：

－基于多个参数组生成三维物体的二维形状表示(S710)；以及

－使区段遮盖中的运动块与二维形状表示相匹配(S712)以获得最适合的参数组。

例如，可使用多个参数组生成三维物体的二维形状表示，所述多个参数组包括三维物体的距离以及观看透视，例如观看角度。根据区段遮盖的运动块与这些二维形状表示的匹配，可获得最佳匹配的形状表示，从而获得最适合的参数组。例如，可根据该最适合的参数组来评估三维物体的距离(S714)。然而，如将容易明白的，诸如车辆型号或者物体大小之类的不同参数也可被用作参数并且基于该匹配方法来确定。

根据一个实施例，包括运动块的区段遮盖可通过以下步骤生成：

－拍摄图像序列(S700)；

－将该序列的每个图像分为块(S702)；以及

－从该序列中识别运动块。

根据一个实施例，识别运动块可包括：

－识别移动块；

－确定该移动块的移动的方向和距离；以及

－使方向和距离在预定间隔内的邻近移动块成组以构成运动块。

在步骤S700中，图像序列被拍摄。

例如，当识别移动块时，每个块可包括8x8或者16x16个像素，但是不仅方块是可能的，其他形状的块或者具有另一数目的像素的块也是可能的。另外，已经在序列的连续图像之间移动了的块可被识别。例如，这可以利用如上面已在II部分中描述的运动估计器来完成。可以通过计算用于可能的块位移的误差标准来检测块的移动。绝对差的和、相关性乘积或者其他方法例如可被用作匹配标准。

然后，可以例如通过比较连续图像中的移动块的位置来确定移动的距离和方向。“类似”方向上“类似”距离的移动也可以通过计算连续图像的块之间的运动向量并且比较运动向量来确定。在步骤S702中，已经为之确定方向在预定方向间隔内并且距离在预定距离间隔内的邻近块被成组在运动块中。预定的方向间隔和预定的距离间隔被用于检测基本相同方向、基本相同距离的移动。预定的间隔可以是固定的或者可以适用于例如移动块的实际方向或距离。因此，基本在相同方向上移动相同距离的移动块被成组在一起，以构成组成区段遮盖的运动块。

通常，区段遮盖表示所检测的物体，从而描述图像中的哪些像素属于所要检测的诸如车辆之类的潜在物体。区段遮盖可包含多个检测到的物体以及假警报。不相连的、毗邻的块可被隔离并被单独处理为可能的车辆候选。为了提高检测精度，实现将真实世界物体投射到像素坐标。从而，有效物体被变换为二维表示。

在步骤S710中，移动物体的二维形状表示被生成。例如，这可以通过基于多个参数组计算三维物体的多个图像来完成。为了计算图像，通过利用恒定相机校准参数、任何关于传感器上的光学成像的信息、相机高度以及诸如物体距离和相机透视之类的可变参数，例如可以使用透视变换。因此，对于多组参数，多个二维形状表示被生成。因此，试图利用图像所拍摄自的各种特定透视，将真实世界以及移动物体投射到像素坐标。

此后，在步骤S712中，区段遮盖的运动块被与二维形状表示相匹配，以获得最佳匹配。例如，可利用被计算为三个区域之比的匹配分数来评估最佳匹配。

分数＝(A-w₁B)/(A+w₂C)

在以上公式中，区域A被所考虑的运动块和形状表示两者覆盖。区域B在形状表示内部但是未被运动块覆盖。区域C在运动块内部但是在形状表示外部。w₁和w₂是权重。在完美匹配的情况下，B和C将是零，从而产生1.0的分数。在所有其他情况下，最终分数低于1.0，并且可被根据权重按优先级排序，以选择运动块和形状表示的最大内部重叠或者最小外部非重叠区域。该方法考虑到对运动块的确定可能是不准确的并且拓展到并非车辆的一些邻近图像区域。在找到最佳匹配的二维形状表示之后，例如包括距离和观看透视的最适合的参数组被得到。图7B示出用于检测移动物体的系统的一个实施例。该系统可包括相机702、处理器或处理设备704以及指示器706。相机702被配置为拍摄图像序列，如上面已说明的。例如，相机702可以是单目相机。处理器704可被配置为将所述序列的每个图像分为块，以识别在序列的连续图像之间进行了移动的移动块，以确定移动块的移动的方向和距离，并且将已为之确定方向在预定方向间隔之内并且距离在预定距离间隔之内的邻近移动块成组，以构成运动块。另外，处理器可被配置为以如上面参考步骤S710说明的方式生成三维物体的二维形状表示。处理器704还适用于使运动块与二维形状表示相匹配以获得最适合的参数组，如上面已说明的。本实施例还涉及适用于执行上面已说明的功能中的任何功能的计算机程序产品。例如，计算机程序产品可适用于执行如上面已说明的步骤S702至S714。另外，可能存在适用于例如以如上面已说明的方式生成区段遮盖并执行步骤S710至S714的若干计算机程序产品。然而，显然将会明白，可在不同的计算机程序产品中实现步骤的任何组合。

图8示出具有以上方法所应用于的不同区域的图像的示例。

图8A示出在道路811上行驶的车辆810的示例。图8B示出可从所拍摄的车辆810的图像序列中获得的区段遮盖。在图8B中示出的不同部分803、804和805图示出可从对图像序列的评估获得的各种块。例如，可能存在对应于道路811的环境的运动块804、对应于道路的运动块805以及对应于所要检测的潜在车辆的运动块803。806指的是道路的左边部分上的非移动部分。

根据图8C所示的实施例，车辆的多个二维形状表示802a、802b、802c被生成。如上面已经描述的，当生成该形状表示802时，在捕捉图像时已被用于形成区段遮盖的特定参数必须被考虑。另外，包括例如距离和观看透视的不同参数组被考虑。因此，具有框形状的各种形状表示802a、802b、802c被生成。根据如上所述的方法，运动块803被与形状表示802a、802b、802c中的每一个相匹配。作为该匹配过程的结果，最佳匹配的形状表示802a被得到。因此，如图8D所示，车辆的实际位置如形状表示802a所图示。根据已被用于生成形状表示802a的特定参数组，该特定物体的距离和观看透视可被评估。因此，区域803的剩余部分被认为不属于所要检测的物体。因此，如从图8D变得明显的，存在属于表示所要检测的潜在车辆的块803的图像的许多无效部分。根据这种无效部分评估移动车辆的位置将会产生假结果。

IV.成组车辆的检测

随着增加的检测范围，产生处理邻近车道上的交通的新挑战。具体而言，必须从多个物体的群组中检测到单个物体。另外，在通常的侧视透视中，车辆的姿态和外观在可检测范围内改变。例如，靠近的车辆在彼此接近时可能挡住后面的车辆或者表现为长车辆。更具体而言，当生成区段遮盖时，可确定包括相距不远的多个车辆的运动块。

图9示意性地图示出检测群组中的多个物体的方法。

例如，该方法可包括：

—生成包括运动块的区段遮盖；

—从运动块中检测最前端物体；以及

—从运动块中减去最前端物体的形状。

另外，用于处理图像数据的系统可包括适用于执行如上所述方法的组件。例如，系统可具有如图7B所示的构造。

参考图9，例如为了生成区段遮盖，在步骤S900中，图像序列可被以如上面参考图7描述的类似方式拍摄。在步骤S904中，运动块可被从序列中识别出。例如，这可以通过执行如上面参考图7描述的步骤来完成。为此，根据一个实施例，序列中的每个图像可被以如上面描述的类似方式分为块。另外，可以以如上面已参考图7描述的类似方式识别在序列的连续图像之间移动了的块。然后，可以以如图7中类似的方式确定移动的距离和方向。已为之确定方向在预定方向间隔内并且距离在预定距离间隔内的邻近块可被成组，以便以如上面已参考图7描述的类似方式形成运动块。然后在步骤S910中，最前端的物体可被从运动块中检测到。例如，这可以通过任何适合的方法实现。例如，可以通过执行如上面已在III部分中描述的匹配方法来检测最前端的物体。此后，在步骤S912中，最前端的物体被从图像中减去。例如，与最前端物体有关的像素可被从图像(例如相对应的运动块)中除去。这产生了一个或多个剩余运动块，这一个或多个剩余运动块被再次验证是否为潜在物体(步骤S904)。根据一个实施例，步骤S904至S912可被重复，直到图像中不存在另外的块为止。因此，基于运动向量将车辆的群组检测为根据区段遮盖的封闭分割区域。如果运动块未被良好分割，那么剩余运动块可产生假警报或者不准确的检测。因此，希望具有可靠的区段和距离估计方法。因此，如上面已经描述的方法适合于在执行本方法之前处理图像数据。

V.行驶情形检测

根据本实施例，可以根据车辆的具体行驶情形来调节如上面已经说明的方法中的任何方法的参数。例如，基于车辆控制器局域网总线(CAN-bus)上可以得到的信息(例如速度、转向角、当前档位)，系统可以在不同行驶情形之间进行区分，不同行驶情形例如是：

—停车/熄火

—城市/交通堵塞

—乡间

—高速公路

根据该实施例，模式选择可以基于在特定时间间隔内收集的控制器局域网(CAN)数据的统计(平均、方差、最大值)与每个类别的速度范围的结合。

模式	速度	转向角	档位
				停车/熄火	<10km/h	σ²高，最大值高	N,R
城市/交通堵塞	0-70km/h,σ²高	σ²高，最大值低－中	N,1-5
				乡间	50-100km/h	σ²低，最大值低	>4
高速公路	>60km/h	σ²极低，最大值极低	>4

在每种模式下，用于检测和候选者跟踪的参数可被修改以对应于实际的交通行为，例如车辆运动的线性度、有效检测范围、四种候选者创建的标准、验证和迁移、假警报概率，等等。

因此，假警报的可能性可被极大减小。

图10示出所描述的方法和系统的概览。在1001，图像序列(例如视频序列)被输入到系统中。在1002，如上面已经在I中描述的图像校正被执行。例如，用于处理图像的图像数据的系统1002可包括适用于将图像分割为多个分段的第一组件；以及适用于向布置在图像的特定分段内的图像数据应用缩放因数的第二组件，其中不同的缩放因数被指派给图像的不同分段。同样，在系统1002中执行的方法可包括将图像分割为多个分段，以及向布置在图像的特定分段内的图像数据应用缩放因数，其中不同的缩放因数被指派给图像的不同分段。因此，根据经系统1002处理过的图像数据，远距离的移动物体可被放大，并且因而可被非常早的检测到。

此后，根据第一选项，数据可被传递给低通滤波器1003。然后数据被传送到用于执行运动估计的系统1004。例如，系统1004可包括第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动块，第一序列具有第一帧速率；以及第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，第二序列具有第二帧速率。同样，系统1004所执行的方法可包括同时向第一运动估计器和第二运动估计器提供图像数据，第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动块，第一序列具有第一帧速率，第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，第二序列具有第二帧速率。

在运动估计1004期间获得的信息在1005处被融合，然后在1006处假移动车辆可被从该数据中除去。可选地，该步骤可在1002处的图像校正之后被立即执行。在1007处，根据所得到的数据生成区段遮盖，并且在1008处提取封闭区域。然后，对于每个区域，如已经在III中描述的模板匹配可被在1009处执行。对于该模板匹配，真实存在的车辆和世界可被建模并且由形状表示传递，如上面已经说明的。例如，这种用于检测移动物体的方法可包括基于多个参数组生成三维物体的二维表示；以及使区段遮盖的运动块与二维形状表示相匹配以获得最适合的参数组。用于执行模板匹配的系统1009可适用于使运动块与二维形状表示相匹配以获得最适合的参数组。二维形状表示是基于车辆和世界模型以及相机校准而在先生成的。

如上面已经说明的匹配可包括候选者指派和1010处的速度估计。可选地，在所有步骤期间，可利用关于具体交通情况的CAN信息来进一步提高检测的精度。另外，可以如上面已经在IV中说明地提取成组车辆以确定移动车辆群组的每单个车辆。因此，系统1111所执行的方法可包括生成包括运动块的区段遮盖；从运动块中检测最前端物体；以及从运动块中减去最前端物体的形状。

在任何阶段期间，对威胁进行估计(例如在1112处)，然后根据碰撞危险，在1113中给出警告。由于如图10所示的组件的组合，远距离的车辆可被早识别并且交通可被可靠地监视。

虽然上面已经描述了本发明的实施例，但是显然可以实现另外的实施例。因此，所附权利要求的精神和范围不应限于这里所包含的对实施例的描述。

Claims

1.一种用于处理表示区段遮盖的图像数据的方法，包括：

基于多个参数组生成三维物体的二维形状表示；

使所述区段遮盖中的运动块与所述二维形状表示中的每一个相匹配以获得具有最适合的参数组的二维形状表示；

将所述图像中的一个图像分割为多个分段；以及

向布置在所述图像的各个分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。

2.如权利要求1所述的方法，还包括：

根据所述最适合的参数组确定所述三维物体与相机位置之间的距离。

3.如权利要求1所述的方法，其中所述最适合的参数组包括生成了所述图像数据的相机相对于所述三维物体的距离和透视。

4.如权利要求1所述的方法，其中通过包括以下步骤的方法从图像序列生成所述区段遮盖：

将所述图像序列中的每个图像分为块；

识别移动块；

确定所述移动块的移动的方向和距离；

将方向和距离在预定间隔内的邻近移动块成组以构成运动块。

5.如权利要求1所述的方法，其中所述分段被沿着一个轴布置。

6.如权利要求1所述的方法，其中所述分段是沿着两个轴布置的，所述两个轴彼此正交。

7.如权利要求1所述的方法，其中所述缩放因数沿着轴从大于1的值减小为小于1的值。

8.如权利要求1所述的方法，其中所述图像数据是从图像序列生成的，所述方法还包括同时向以下两者提供所述图像序列的图像数据

第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及

第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。

9.如权利要求8所述的方法，其中所述第一帧速率是所述第二帧速率的整数倍。

10.如权利要求4所述的方法，其中通过同时向以下两者提供所述图像序列的图像数据来识别移动块

第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动项，所述第一序列具有第一帧速率；以及

第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动项，所述第二序列具有第二帧速率。

11.如权利要求1所述的方法，还包括：

从所述运动块中检测最前端的物体；以及

从所述运动块中减去所述最前端的物体。

12.一种用于检测移动物体的方法，包括：

通过拍摄图像序列来生成图像数据；以及

执行如权利要求1所述的方法。

13.一种用于处理表示区段遮盖的图像数据的系统，该系统包括适用于执行以下操作的组件：

基于多个参数组生成三维物体的二维形状表示；以及

使所述区段遮盖中的运动块与所述二维形状表示中的每一个相匹配以获得具有最适合的参数组的二维形状表示，

其中所述图像数据是从图像序列生成的，所述系统还包括适用于执行以下操作的组件：

将所述图像中的一个分割为多个分段；以及

向布置在图像的各个分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。

14.如权利要求13所述的系统，所述系统还包括适用于执行以下操作的组件：

确定所述三维物体与相机位置之间的距离。

15.如权利要求13所述的系统，其中所述图像数据是从图像序列生成的，所述系统还包括

第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率，

所述第一和第二运动估计器被布置使得所述图像数据能够被同时供应给所述第一和第二运动估计器。

16.如权利要求13所述的系统，还包括适用于执行以下操作的组件：

从所述运动块中检测最前端的物体；以及

从所述运动块中减去所述最前端的物体。

17.一种用于检测移动物体的系统，包括：

适用于通过拍摄图像序列来生成图像数据的设备；以及

如权利要求13所述的系统。