CN110073410B - 跟踪场景中的对象的方法 - Google Patents

Abstract

一种检测位于车辆周围的环境中的对象的方法，包括以下步骤：从安装在所述车辆上的图像捕获设备获取场景的2D图像；生成粒子的集合，每个粒子包括参数的集合，所述参数限定所述场景中可能存在的至少一个对象的状态；计算捕获的2D图像的每个像素的边缘强度和边缘方向；以及对于所述集合中的每个粒子：生成与所述粒子相关联的对象的3D概率模型，该模型限定所述对象的边缘的集合，所述模型中的每个边缘由至少一个似然函数限定，所述似然函数限定边缘的至少一个特性的概率分布；根据所述粒子的参数，将概率模型的似然函数映射到捕获图像的2D平面中；以及利用概率值来处理边缘强度和边缘方向值，以确定所述粒子限定所述环境中存在的对象的状态的似然性。

Description

跟踪场景中的对象的方法

技术领域

本发明涉及跟踪位于主对象周围的场景中的对象的方法，并且还可以涉及跟踪主对象周围的那些对象。当用于识别可能位于车辆的路径中的对象时，它可以用于自主车辆的控制。

背景技术

存在广泛的应用，其中识别对象并跟踪它们将是有益的或必要的。自主车辆的操作是一种应用，其中车辆必须能够在其沿着道路或越野行驶时识别并避开对象(诸如汽车和行人)。因为许多对象(诸如其它车辆)本身可以是移动的，因此能够跟踪这些对象允许自主车辆预测这些对象将来将处于的位置并且更好地规划通过环境的安全路线。

识别对象并跟踪它们是一项非常重要的工作，并且需要进行大量的信号处理。许多技术是已知的，但都需要数据馈送(诸如视频图像的集合)，所述数据馈送可被处理以跟踪对象以及然后识别它们的地点。这可以是安装在主车辆上的前向相机、或者相机的集合、或者可能是雷达或激光雷达系统。

用于在3D空间内确定对象的位置的一种已知技术是使用粒子滤波器来利用环境的映射处理关于车辆的速度的信息。在使用时，可以生成粒子的集合，每个粒子表示对车辆的地点的随机或伪随机的假设。测量数据(诸如在映射中识别出的特征的距离)被馈送到粒子滤波器中，并且这被用于为每个粒子分配概率。然后具有低概率的那些粒子被丢弃，并且在具有最高概率的那些粒子附近产生更多粒子。随着时间的推移，粒子滤波器在映射的环境中应该在主车辆的地点上收敛，直到一些概率测度指示对象在由粒子的状态限定的给定地点处。替代地，概率测度可以直接用于控制系统或更高水平的融合。在粒子滤波器中包含更高阶状态和运动模型允许粒子滤波器直接跟踪对象位置、速度、加速度等。

粒子滤波器的使用可被修改，以识别可能或可能不存在于主车辆周围的对象。这是通过将正在寻找的对象的模型馈送到粒子滤波器中来实现的。随机或伪随机地生成限定潜在对象的状态的粒子，并且然后使用每个粒子的状态来将对象的线框图像投影到图像平面中。使图像通过边缘检测器，并且保留图像中最强的边缘，以形成线框图像。然后所投影的线框模型被覆盖在边缘上，以看出它们匹配的程度。如果它们确实匹配，则粒子被保留为匹配，并且如果不匹配，则被拒绝。如果模型和边缘不匹配，则生成更多粒子，直到找到匹配为止。

在真实环境中，对象可以处于一系列的取向，并且为了适应这种情况，在匹配之前线框模型必须被操纵以与线框在图像帧中将看起来如何相对应。这必须针对许多不同的取向进行重复，其是计算密集型的。类似地，在存在要定位的许多不同对象的情况下，需要许多不同的线框。因为对象可以位于一系列的不同距离处，因此还需要缩放线框模型并重复针对不同的经缩放的线框的处理以看出2D图像中模型是否与对象匹配。考虑例如识别道路上的汽车的简单情况；由于存在许多不同的汽车，需要许多不同的线框模型，其可以例如对应于不同的车辆类型或甚至特定的制造商模型。

尽管需要大量计算，但申请人已经意识到粒子滤波可能是有利的，因为到已识别出对象时，对象相对于主车辆的行进的方向和移动的速度也将已被估计。

发明内容

本发明的目的是提供一种识别场景中的对象的地点的方法，该方法可以使用比现有技术(诸如粒子滤波的已知使用)更少的计算来执行。

根据第一方面，本发明提供了一种检测位于主对象周围的环境中的对象的方法，包括以下步骤：

(a)从安装在主对象上的图像捕获设备获取场景的至少一个2D图像，

(b)生成粒子的集合，每个粒子包括参数的集合，所述参数限定场景中可能存在的至少一个对象的状态，

(c)计算捕获的2D图像的每个像素的边缘强度和边缘方向；以及

对于该集合中的每个粒子：

(d)生成与该粒子相关联的对象的3D概率模型，该模型限定对象的边缘的集合，该模型中每个边缘由至少一个似然函数限定，所述似然函数限定该边缘的至少一个特性的概率分布，

(e)根据该粒子的参数，将概率模型的似然函数映射到捕获图像的2D平面中；以及

(f)利用在步骤(e)中映射的概率值来处理在步骤(c)中产生的边缘强度和边缘方向值，以确定该粒子限定环境中存在的对象的状态的似然性。

边缘强度和边缘方向值可以在步骤(c)中作为边缘图像存储在存储器中，用于步骤(f)中的后续处理。

似然函数可以包括边缘的地点的概率分布。因此，该函数在边缘可能存在于3D空间中的给定位置的概率的方面限定了模型中的边缘。

似然函数可以包括边缘的方向的概率分布。因此，该函数在边缘特征相对于集合中的一个或多个其它边缘在3D空间中存在有特定角度取向的概率的方面限定了模型中的边缘。

分配边缘方向和边缘强度的步骤(C)可以使用任何合适的边缘检测算法来执行。例如，边缘方向和边缘强度可以由边缘检测内核(kernel)给出，该边缘检测内核查看要向其分配值的像素周围的地区中的像素。例如，可以使用在当前像素周围具有一个像素边界的Sobel“掩蔽(mask)”，这意味着它使用与图像卷积的3×3像素掩蔽。存在用于垂直边缘强度的一个掩蔽和用于水平边缘强度的一个掩蔽。方向来自垂直和水平边缘强度的反正切(arctan)。这在图像处理中是众所周知的，并且存在其它边缘检测掩蔽。

这可以包括以要向其分配边缘方向的像素为中心的像素簇(cluster)。相同尺寸的簇可以用于每个像素，但是例如在图像的边缘处可以使用更小的尺寸。

分配边缘强度的步骤可以包括确定紧邻每个像素的频率内容或限定的区域。这可以是与用于确定边缘方向值相同的限定区域。

限定每个粒子的状态的参数可以包括对象在3D空间中相对于主对象的地点的总体地点、对象相对于空间或相对于主对象的通过3D空间的行进的取向和方向以及行进的速度、对象相对于主车辆的加速度的速率以及环境光条件(例如，夜晚、黑暗或日光)中的一个或多个。参数还可以识别由粒子限定的对象的模糊模型，即，对象是什么。

模糊模型中的每个边缘可以附加地由限定该边缘的强度的概率函数来限定。该强度可以绝对地或相对于对象的模型中的其它边缘的强度来限定。强度是指对象的边缘在跨边缘的颜色或强度的变化的方面在图像中出现的清晰程度。例如，当灯正在工作时，对应于制动灯的模型的边缘可以相对强，并且当不工作时可以相对较不强。

该方法可以在步骤(f)中处理在步骤(c)中获取的图像中位于与映射的2D模型相对应的地区或窗口内的所有边缘。通过使用所有识别出的边缘，不管强度如何而是反而为边缘分配指示强度的加权，该方法能够在弱光或可变光条件下，或者例如在其它环境(诸如天气)可能会降低某些边缘的强度的情况下，进行对象检测。边缘的较低权重将导致检测的确定性较低，但允许使用该方法的系统柔性地(gracefully)降低其检测对象的能力，而不是在某些条件下简单地停止工作。

当使用阈值化时，来自图像的信息必然丢失。另外，具有补偿可变光水平或其它环境因素的自适应阈值变得必要，该阈值需要调节。因此，本申请人注意到利用所有数据生产率更高。在利用并行处理系统的情况下，生产率得到额外提高，“决策”对处理能力来说是昂贵的，而每个像素的并行处理–以及依赖于低强度边缘的低权重-以相同的方式远远更高效。

当然，在本发明的范围的某些方面中，本发明可以应用一些低水平阈值化以从捕获图像中去除一些边缘，这可以适用于具有许多对象的特别嘈杂的环境。

通过使用对象的模糊模型，并且通过将这与图像的相关地区中的所有边缘一起处理而不是仅查看最强边缘，可以从该一个模糊模型识别场景中可能对象的范围，只要该对象具有由对象的边缘的相对地点限定的适合模型的特性即可，在所述模糊模型中每个边缘特征被限定为一个或多个概率函数，所述概率函数例如表示边缘相对于其它边缘特征的可能地点或取向或强度的范围以及边缘存在于该范围内的一点处的概率，而不是精确的线框模型。这减少了能够跟踪和识别不同对象所需的模型数量。尽管模型具有模糊性，通过多次重复该过程，可以以高概率识别对象的状态。

每个边缘可以被限定为具有中心位置或方向或强度和有最高概率的范围，并且其中该中心的任一侧具有一样高或更低的概率值的范围，直到达到该范围的其中概率可以被设置为零的边缘。对于模糊模型中的每个边缘，概率的该范围可以通过似然函数表达，所述似然函数将位置、方向或强度与中心值链接为X-Y图，其中中心值位于Y轴上。

可能存在与每个边缘相关联的多个似然函数，每个函数具有与边缘的对应部分特定相关联的概率分布。

模糊模型可以包括似然函数，所述似然函数限定其中在该边缘处适合模型的不同对象之间存在大量共性的较窄范围的可能地点、方向或强度，以及其中在适合模型的对象的集合之中的不同对象之间存在较少共性的边缘的较宽范围的可能地点、方向或强度。

生成模糊模型的步骤可以包括从电子存储器检索模型或无线地从远程服务器检索模型的步骤。

可以为各种不同的对象生成模型。例如，模糊模型可以包括车辆(诸如客车)的模型，并且可以包括具有将适合大量不同客车的相关联的似然函数的边缘。例如，该集合可以包括形成对应于车轮的圆圈的四个弯曲边缘。由于不同的汽车将具有不同的轮距和不同的车轮尺寸，因此分配给这些弯曲边缘的概率值将覆盖车轮尺寸和相对车轮位置的预期范围。因此，图像中限定在可能尺寸范围内并且相对于彼此位于可能轮距范围内的圆圈的任何边缘将产生对象是车辆的高概率。圆圈的中心值可以对应于约50cm-70cm的直径，这是相当常见的车轮尺寸，并且该范围可以以阶梯概率在该中心的任一侧变化10cm-20cm，以反映车辆上的车轮在有限数量的常见尺寸中是常见的。

在模型是车辆的模型的情况下，边缘可以包括车轮的周边、车顶的顶部、车槛(sill)的下边缘、最前面和最后面的边缘、前灯的轮廓和制动灯的轮廓、车身侧的边缘。该模型还可以包括与可能存在于场景中的对象下方的阴影的地点对应的一个或多个边缘。这是与对象相关联但不是对象的一部分但仍然可以构成模型的一部分的边缘的示例。

下车身侧和阴影的边缘可以有具有窄扩展的似然函数，这意味着不同客车对象之间的边缘地点将几乎不变，但是车顶线可以具有更宽的扩展。

根据粒子的状态将由模糊模型的似然函数限定的概率分布映射到捕获图像的2D平面中的步骤(e)可以包括将概率值的集合分配给图像中的每个像素，每个概率值都由模型的似然函数的集合限定。这些可以通过将函数映射到图像平面中并根据每个函数的中心值计算像素的垂直距离，以及然后查找该距离的地点似然值，以及从独立于该距离的每个边缘分配方向和强度似然值来计算。因此，在每个边缘使用三个不同函数的情况下，像素则将具有与分配给它的边缘相关联的三个似然值。这些集合可以通过对与相同特性的所有似然函数对应的所有概率求和来进行合并，例如，所有地点概率值可以组合以形成像素的一个值，并且所有方向概率值可以组合以形成该像素的另一个值。

可以以各种不同方式计算每个粒子的似然值。在一种布置中，可以如下面的伪代码所示进行计算：

·对于每个粒子

ο对于每个投影边缘特征

■对于每个像素位置

·基于边缘量值(magnitude)计算似然值“a”

·基于边缘取向计算似然值“b”

·基于边缘距离计算似然值“c”

·通过对a、b和c求积来计算组合像素似然值。

■通过对所有像素似然值求和来计算组合像素似然值

ο通过对边缘似然值求积来计算组合粒子似然值。

在一个修改的布置中，具有零边缘量值似然性的像素可以可选地从似然性计算中排除，因为它们将自动消除计算距离和取向似然性的需要，但这是优化并且不是必需的。

利用来自模型的概率值处理图像中的边缘的步骤(f)可以包括：对于边缘检测图像中的每个像素，分配边缘值中的一个或多个，并将每个值乘以对应于该像素的地点的概率值。

在使用时，如果像素位于预测边缘附近并且模型中边缘的地点的概率值对于该像素为高，则该方法将产生该像素的地点的高似然值。该方法可以针对取向和强度执行相同的操作以获得像素的两个另外的似然值，其中使用了那些似然函数。

该方法可以包括对为每个像素产生的所有似然值求和以产生总体组合像素似然值。该方法还可以包括对组合的像素似然值求积以给出指示粒子在场景中存在的概率的总体似然值。

该方法可以处理捕获图像中的所有像素，或者仅处理覆盖由映射粒子状态预测的图像地点周围的合适地区或窗口中的区域的子集。

对模型进行映射的步骤还可以包括取决于用于捕获图像的设备的属性将变换应用于模型。如果需要，这将使变形得到补偿。

可以使用从单个图像捕获设备捕获的图像来实现该方法。这可以包括输出彩色或单色或伪彩色图像的相机。

替代地，该方法可以包括从多于一个图像捕获设备捕获图像，每个图像捕获设备具有场景的不同视场(field of view)，并且可以针对每个相机对模型应用不同的变换，以使得能够将似然函数参数正确映射到每个图像捕获设备的图像空间中。这允许使用来自具有粒子的共同的集合(即，共享粒子的共同的集合)的多个图像捕获设备的图像。

在提供两个捕获设备的情况下，它们中的每个可以从不同的地点和取向捕获场景的视图，这两个视图重叠，使得预测的对象存在于来自两个捕获设备的捕获图像中，或者在一些情况下甚至可以不重叠。

该方法可以在确定与对象对应的粒子的概率的步骤中使用关于不同视场的信息，以相对于使用捕获设备之一提供增加的准确度。

捕获设备可以包括摄像机。

该方法可以包括监视每个捕获设备的状态，并且在一个设备出故障的情况下，仅使用来自非故障设备的图像来产生用于利用映射模糊模型进行处理的边缘检测图像。这允许在发生故障时具有弹性。

该方法可以包括，在处理每个粒子之后，在初始集合中的粒子的地区中生成被给予相对较高的似然性的粒子的新集合的另一个步骤，并且对于那些新粒子重复该方法。只要该方法正在运行以细化粒子，就可以重复这一过程。该方法将检测其在主对象周围的位置和运动对应于在最近时间由粒子预测的状态序列的对象。方法使用该递归过程时可以被认为用作具有新颖似然函数的传统粒子滤波器。

根据第二方面，本发明提供了一种用于在主对象周围的环境中定位至少一个对象的对象检测装置，包括：

(a)安装在主对象上的图像捕获设备，其在使用时获取环境的至少一个2D图像，

(b)处理部件，被布置为在使用时生成粒子的集合，每个粒子包括参数的集合，所述参数限定场景中可能存在的至少一个对象的状态，

(c)计算捕获的2D图像的每个像素的边缘强度和边缘方向，以产生边缘图像；并且其中处理设备还被布置为在使用时通过以下步骤处理集合中的每个粒子：

(d)生成与该粒子相关联的对象的3D概率模型，该模型限定对象的边缘的集合，该模型中的每个边缘由至少一个似然函数限定，所述似然函数限定该边缘的至少一个特性的概率分布，

(e)根据该粒子的参数，将概率模型的似然函数映射到捕获图像的2D平面中；以及

(f)利用在步骤(e)中映射的概率值来处理在步骤(c)中在图像中识别出的边缘，以确定该粒子限定环境中存在的对象的状态的似然性。

处理部件可以包括信号处理器，该信号处理器根据存储的参数的集合生成模型，或者从存储模型的电子存储器的区域中检索模型。该装置可以包括电子存储器，或者存储器可以被远程定位和无线访问。

附图说明

现在将参考附图并且如附图所图示的，仅通过示例的方式描述本发明的两个实施例，其中：

图1示出了能够执行本发明的第一方面的方法的对象检测装置的第一实施例；

图2是本发明的第一方面的方法的简单流程图；

图3是由相机捕获的包括对象(在这种情况下是客车)的场景的示例；

图4是从图3的图像中获取的边缘检测图像的描绘；

图5表示可能在所捕获的图像中如由三个粒子的集合所表示的对象的轮廓；

图6是客车的可以在本发明的示例中使用的模糊模型的表示，其示出了模型中的直边缘和应用于每个边缘的模糊性；

图7是模型的图像的另一个描绘，其示出了基于车轮的中心点的另一种形式的边缘以及给予其预测直径的模糊性；

图8是有具有宽扩展的概率分布的似然函数的示例；

图9是有具有窄扩展的概率分布的似然函数的示例；

图10(a)和(b)是可以在该方法中使用的方向的似然函数的示例，其示出了缺少阈值；

图11是边缘强度的似然函数的示例，其再次示出了缺少阈值；

图12(a)至(e)图示了由该方法执行的步骤，以达到每个粒子的单个似然值。

图13示出了对象检测装置的第二实施例，其包括两个相机；

图14描绘了当单个相机可操作时第二实施例的视场；

图15描绘了当两个相机都可操作时第二实施例的视场；

图16示出了第二实施例的两个相机的重叠区域，其示出了可得的冗余和准确度；以及

图17示出了对象检测装置的第三实施例，其包括具有不同焦距的三个相机。

具体实施方式

附图中的图1示出了能够执行本发明的第一方面的方法的对象检测装置的第一实施例100。

使用时，装置100被安装在移动通过环境的主对象(诸如汽车102)上，并且将识别汽车附近的场景106中的目标对象。这可以由安装到汽车的处理系统使用，以便自主地引导汽车通过环境，同时避免与这些对象碰撞。路上环境中的典型对象包括可能也在移动通过环境的其它汽车、卡车、骑自行车者和行人，以及固定的对象(诸如街道设施)。在越野环境中，也可能存在诸如岩石和树木之类的对象。

该装置包括摄像机104，在该示例中，所述摄像机104面向车辆102的前方并且具有足够宽的视场以捕获场景，所述场景包括当车辆在向前行进时可以移动到其中的环境中的所有地区，而不管是否应用转向锁。如此，由相机104捕获的图像将包括可能在主汽车的路径中的任何对象。在本发明的范围内的是相机仅捕获场景的一部分。可能存在用于跟踪场景的其它部分中的对象的二次系统，或者仅跟踪所选择的区域中的对象(例如，靠近车辆的对象)可能是足够的。

摄像机104的输出包括被馈送到信号处理器中的一系列2D图像。虽然处理器不需要处理由相机捕获的每个帧，但相机的帧速率决定了图像被刷新的频率。

此外，信号处理器接收关于通过环境的车辆的位置、取向和移动的信息。车轮速度传感器110可以用于提供关于主车辆的速度、加速度和加加速度(jerk)的信息，并且GPS或GLONASS信号可以用于从定位设备112提供位置信息。可以从安装到车辆的数字罗盘114获取取向。

该装置包括数字存储器116的区域，其中存储由处理器运行的程序指令，并且还存储与可能存在于环境中的对象的类型相对应的至少一个模糊模型。在该示例中，假设的是存储与掀背(hatchback)式道路汽车相对应的一个模型。本领域技术人员将理解，通过将处理器无线连接到位于远程的处理器和存储器，可以距离主车辆远程地执行本文后面将描述的模型和实际上的处理。

处理器使用所存储的模型以及作为输入的来自传感器的主车辆信息和所捕获的视频图像来执行附图的图2中示出的步骤。该方法的输出是确定环境中的对象的状态，其可以用于主车辆的自主控制。

在该方法的第一步骤中，捕获图像帧。这提供了在主车辆前方的环境的2D表示。图3是汽车的捕获图像的示例。该图像然后被处理以识别图像中的边缘的位置和取向。可以使用Sobel型滤波器来执行该处理功能。图4中示出了与图3相对应的边缘检测图像。

在下一个步骤中，生成粒子的集合。该步骤可以在捕获图像之前、与捕获图像并行或在捕获图像之后执行。最初，粒子在参数空间中的大量随机或伪随机地点处生成，或者在参数空间内有规律地散开。该参数空间可以具有如所期望的多个维度(或类别)。通常，这些维度可以包括地点(在三维X-Y-Z框架中)、X-Y-Z空间内的取向、速度v及其方向、加速度和加加速度和/或模糊模型可以从中进行缩放的维度。图5示出了粒子的三个示例以及由粒子的参数限定的车辆的对应地点。

该方法使用正在寻找的对象的模糊模型，在该示例中，假设的是该方法正在寻找客车。模糊模型由几何对象(包括3D空间中的直线和圆圈)的集合组成，其中每个几何对象在3D空间中具有相关联的概率分布或模糊性，以考虑以客车的不同类型、品牌或型号的这些对象的可变相对位置或方向或强度。实际上，这些形状限定了共同特征(诸如车轮和车顶线)以及这些形状的相对尺寸和地点的范围。例如，取决于轮距，车轮可以进一步更靠近在一起，并且从车轮中心到车顶线的垂直距离在跑车和运动型多用途车之间将有所不同。

每个边缘的概率分布或模糊性表示了位置的范围，如果存在客车，期望在所述位置找到图像中的几何特征的边缘。这可以在图6中看出关于车辆上的各种直边缘118的地点特性，并且可以在图7中看出车辆上的车轮或轮胎的边缘120。

在该示例中，可以看出的是车顶边缘具有由边缘上的宽阴影表示的大的宽度或高模糊性，因为很可能该车顶边缘可存在于图像中宽范围的位置中的任何一个位置中。这是因为客车的高度具有很大差异。具有宽范围的可能地点的边缘的似然函数的分布在图8中示出。该似然函数是概率分布，其可以通过绘制在边缘的图像中的X轴地点相对于在Y轴上其位于该地点的概率来可视化。中心值可以在X轴上的零值处看出，其对应于可在场景中发现的可能客车的集合之中相对于对象上的预定义的参考点(诸如该对象的几何中心)的最可能高度。

在下边缘的情况下，位置在不同车辆之间的变化小得多，并且因此该边缘具有窄得多的宽度或者可以被认为不那么模糊。这种类型边缘的似然函数在图9中可以看作不同的概率分布。

虽然附图示出了地点的模糊性(在此文本附带的平面图像中很容易示出)，但是3D模糊模型中的每个边缘也被分配与边缘的方向(即，空间中的取向)和边缘的强度相关的似然函数。这些将代替地点沿着似然函数的X轴来绘制。这些特性在宽度上完全独立，并且因此似然函数也将是独立的。对于所有客车而言，车顶边缘和下车身边缘通常都是水平的，并且因此对于那些边缘，方向似然函数将非常窄。另一方面，对应于车辆的尾部的边缘可以变化很大，并且因此将被分配模糊得多的似然函数。

基于粒子参数，模糊模型被投影到图像平面中由粒子参数指示的地点和取向处。参数可能需要该模型被缩放、旋转并且然后变形以适应相机的图像平面。该投影的结果是模型的模糊2D图像，其依据每个边缘的中心值以及每个边缘的由似然函数的集合限定的模糊性来表达。

当被映射到2D图像平面时，模型将为图像中的每个像素限定概率值的集合。如下文所解释的，这通过根据已知函数(例如正态分布曲线)计算或查找3D模型中每个映射线的每个像素地点处的似然值来完成。

似然值然后如以下伪代码中所示出的被组合：

·对于每个粒子

ο对于每个投影边缘特征

■对于每个像素位置

·基于边缘量值计算似然值“a”

·基于边缘取向计算似然值“b”

·基于边缘距离计算似然值“c”

·通过对a、b和c求积来计算组合像素似然值。

■通过对所有像素似然值求和来计算组合边缘似然值

ο通过对边缘似然值求积来计算组合粒子似然值。

具体而言，伪代码在被执行时使得处理器针对3D模糊模型的示例性2D图像中的每个像素计算如下三个概率值：

边缘地点值，其表示像素或像素周围的地区对应于由模型限定的边缘附近的地点的概率(因为每个边缘具有宽度，图像中将存在取决于空间中粒子的宽度和位置的从宽为一个像素到宽为多个像素的带，由此大概率该带中的边缘是正在被寻找的对象的边缘)；

边缘方向值，其表示对象中的边缘在图像中的该点处或在像素周围的地区中具有给定角度取向的概率；以及

边缘强度值，其指示图像中存在的边缘的可能强度。

一旦这些值已被映射到图像平面，就分析图像中的像素。分析的目的是生成信号，该信号表示粒子正确地表示对象的状态或接近对象的状态的概率，或者粒子是否具有非常低的表示识别对象的状态的概率。基于该概率，可以重复更新粒子的集合，直到形成仅真正表示对象的粒子的集合。

在已将3D模型映射到2D图像空间之后，该方法然后根据边缘检测图像确定每个像素的边缘值的集合。以下三个值被分配给图像空间中的每个图像像素(图像中的像素的边缘地点当然是已知的，但是需要相对于图像中的投影边缘位置确定似然值)：

地点值，其表示投影边缘模型和像素地点之间的距离。

边缘方向值，其表示投影边缘模型取向与边缘在该像素处的取向之间的角度取向的差异；以及

边缘强度值，其指示与该像素相关联的边缘的强度，其例如从图像的以该像素为中心的小地区中的高频内容的连续测度得到。

根据概率值和边缘值的2D网格，装置然后可以继续确定适应模型的对象存在的似然性。对于边缘检测图像中的每个像素，利用来自模糊模型的对应的映射概率值来处理三个边缘值(地点、方向和强度)中的每一个，以针对边缘方向、地点和强度中的每一个产生该像素的总体似然值。这是通过算出从该像素到每个模糊边缘的中心线的垂直距离并且然后查找每个边缘的似然函数来实现的。因此，对于距离，似然函数将限定根据垂直距离变化的概率，对于方向，它将限定随分配给该像素的方向而变化的概率函数，并且类似地对于边缘强度，该似然函数将限定随分配给每个像素的强度而变化的概率。在后两种情况下，从边缘到该像素的距离不会影响分配给该像素的概率。

然后对每个像素的三个似然值一起求积，以给出该像素的总体概率。较高的总体值指示了存在高可能性该像素是由特定粒子表示的对象的一个边缘(在该示例中，客车的边缘)的一部分。

然后将每个像素的似然值一起求和以给出预测边缘的似然值。对所有预测边缘的似然值一起求积，以给出已经被处理的图像的地区的最终似然值，该最终似然值给出了粒子对应于如由模糊模型限定的车辆的似然性的总体测度。

当然，本领域技术人员将认识到的是，似然值可以以许多不同方式组合以得到总体组合似然值，并且上述实现仅作为特别适合于数字信号处理技术的一种方法的示例给出。

如上文所提及的，对于集合中的每个粒子重复这些步骤。这将为每个粒子产生粒子状态对应于图像中对象的确切地点或接近对象的真实地点的似然性的测度。那些具有高概率的粒子被保留，并且具有低概率的粒子可以被拒绝。当然，本领域技术人员将理解的是，不必在每次更新时拒绝(或“重新采样”)粒子，并且粒子的整个集合可以在若干个更新之中存留，其中它们的权重不断被细化。当粒子不再有效时，可以触发拒绝。

然后，该方法计算由保留的集合获知的粒子的新集合。在这些保留的粒子周围生成粒子，并且原始粒子和新粒子偏移了基于主车辆通过环境的所测量的运动的量以及新粒子聚集在其周围的粒子的参数。例如，如果所测量的运动指示主车辆正在快速加速，则粒子可以在更宽的空间上偏移以表示主车辆位置和速度的增加的不确定性。

虽然已经描述了使用一个模糊模型的方法，但是在期望识别宽范围的不同对象的实际系统中，可以使用多于一个的模型。可以使用对应于行人的模型，或者可以使用对应于不同类型的车辆(诸如敞篷客车或卡车)的模型。

而且，本领域技术人员将理解的是，模型可以仅限定三个似然函数中的一个或两个，或者可以在模型中包括其它似然函数。

为了更好地理解映射和每个像素的似然值的确定，现在将参考附图更详细地解释可以在用于检测客车的示例性方法中使用的三个函数的示例。

地点似然函数

从像素到映射到图像中的预测边缘的距离被测量为在垂直于边缘取向的方向上距几何对象的距离，并且可以具有取决于期望的可变性的如图8和图9中所示出的宽或窄的似然函数。

例如，图8示出了车辆下将具有窄可变性的阴影的似然函数(对于所有汽车类型，汽车下的阴影的位置非常相似)。注意中心线，该中心线在模型中设置，并且与线对象的地点和取向对应，并且可以表示阴影的最常见地点。

另一方面，宽可变性将应用于汽车顶部的地点，这样取决于具体的车辆类型可能会有很大的不同。对于映射图像中的每个像素，概率将基于似然函数和距离模型中边缘的中心线的距离来分配。同样，中心线可被选择为标记汽车的顶部的边缘的最常见地点。

方向似然函数

除了地点之外，模型还包括限定3D空间中每个边缘的地点和取向以及强度的似然函数的集合。例如，汽车下方的阴影将形成一个边缘，其中在3D空间中强烈的暗到亮的转换在车辆的后部向下。当被投影到图像空间中时，这将对应于在图像帧中处于特定角度的边缘取向。由于对于预测取向中的车辆而言预测取向不太可能从该方向显著变化，因此方向的以特定角度为中心的非常窄的带将被分配给该边缘，如图10的似然函数中所示出的。模型的该边缘的映射将导致似然值被分配给图像中的每个像素。

边缘强度似然函数

代替使边缘图像阈值化，边缘量值也被用作利用边缘检测图像像素值对映射对象值进行处理的输入。这允许系统在可变照明条件下工作。边缘强度的似然函数的示例在图11中示出。

简化示例

为了更好地理解该方法，在图12(a)至12(e)中示出了非常简化的示例。如上文所解释的，该方法需要将从2D相机图像获取的边缘检测图像和3D模糊模型到相机2D图像平面中的投影作为输入。在该示例中使用了三角形的模型，因此该方法正在寻找三角形，并且将产生跟踪捕获的图像中的任何三角形的粒子。为简单起见，让我们假设我们只有一个粒子。

图12(a)示出了从捕获的2D图像获取的边缘检测图像的示例。黑色实线示出了该地区中不被跟踪的方形对象的图像，以及灰色实线示出了该地区中本方法试图跟踪的三角形对象的图像。

此上覆盖的是绿色三角形，其表示映射到2D图像空间中的三角形的模型。所述三角形的地点和取向由粒子的状态限定。对象的形状由三角形的模糊3D模型和到2D图像帧的映射来限定。如可以看出的，模型和实际对象不完全匹配。图12(a)还示出了图像的又更加放大的部分，其示出了通过10×10的像素网格的边缘。这示出了像素(红色箭头)与模型中的模糊边缘的中心线(绿线)的距离。

边缘检测图像中的每个像素被分配从该像素周围的像素的紧接窗口的频率内容导出的强度值。如果至少一个边缘通过该像素或该像素附近的地区，则该强度值将具有高值，以及如果像素或者直接周围区域中没有边缘，则该强度值将为零。由于未使用阈值化，因此该值会不断变化。

而且，图像中的每个像素将被分配与边缘通过它的角度相对应的方向值。同样，这将是未阈值化的连续测度。最后，将取决于像素或直接周围环境的频率内容来分配边缘的强度的值。

在下一个步骤中，对于每个像素和三个特性中的每个特性，将所分配的值乘以分配给2D映射模型中的对应像素的三个概率值。结果的三个集合在图12(b)至12(d)中示出。如在图12(b)中可以看出的，例如，对于地点，若干粒子被给予值1，因为存在边缘并且该像素处的地点的概率分布也是1。其它被给予较低的值，因为它们不十分匹配，并且还有一些其它值为零，因为图像中的边缘距离模型中的边缘如此远，以至于分配给该像素的概率已降至零，或者因为边缘的方向距离模型方向太远。

在下一个步骤中，对每个像素的三个计算出的概率值一起求积，以产生图12(e)中示出的单个网格值。然后对它们全部求平均，以给出粒子的总体概率值。注意的是，即使在图像中没有对象的边缘与模型边缘一致的情况下，由于所使用的模型的模糊性，仍可能存在产生的相对高的似然值。

对每个粒子和每条线重复这些步骤，并且从总似然值的集合中保留最高值并拒绝最低值。

用于利用像素值来处理映射值的该方法可以简单地总结如下：

对于每个粒子

对于每个几何对象

变换到图像空间中

对于每个像素

找到该像素落在上文的每个似然函数的x轴上何处查找三种似然性

对它们一起求积。

对所有像素值一起求平均，以得到该图像和该粒子的单一似然性

图13示出了第二实施例200，其中来自多个相机的图像被用于识别对象的方法。在这种情况下，两个相机204、204安装在主车辆202上，一个位于前左侧，一个位于右前侧，每个相机捕获具有到车辆的前方的视场230的图像。从两个相机捕获的图像被馈送到处理器208，如图13中所示出的。

当从其中一个相机获得图像时，使用对应的相机模型来将模糊模型投影到该图像中，并且可以基于根据该图像的似然计算来更新每个粒子的权重。

使用两个相机的系统与利用立体相机的系统相比具有许多优点。首先，相机没有必要精确对准或同步。相反，相机的视场可以部分重叠，这种重叠部分使得系统能够具有更高水平的准确度，如图16中所示出的。重叠还给予了重叠部分上的冗余，使得单个相机的故障仍然允许系统在该重叠区域和工作相机的视场的其余部分中工作。这种冗余是与已知的立体相机系统相比，其中在已知的立体相机系统中，单个相机的故障将导致整个系统的故障。

由于相机基本上是独立工作的，因此相机的帧速率、焦距或分辨率不必相等。也可以使用多于两个的相机，诸如在图17的实施例中。这里，具有不同焦距的三个相机提供了宽区域上的对象检测，组合视场的中心部分由长焦距相机查看。在该实施例中，过程可以被优化，使得仅对于提供最多信息的图像(即，长和中焦距相机)计算与被预测在所有三个相机的视场中可见的对象相关的粒子的似然性。相比之下，仅针对短焦距图像计算被预测处于仅由具有短焦距的广角相机可见的位置的粒子的似然性。

在处理能力较少受限的情况下，可能的是计算每个图像的每个粒子的似然性，而同时这将允许对象检测的更大的确定性，在大多数情况下将存在有限的处理能力，并且因此上述限制将是优选的。

多相机系统的同步被避免，因为可以独立地更新来自每个图像的粒子权重。

·从每个相机捕获的图像不需要时间同步，因为可以根据每个图像独立地更新粒子权重。在捕获图像的时间内计算图像中边缘特征的预测位置。

·如果一个相机出现故障，则系统提供柔性降级(与完全故障的传统立体视觉相机不同)。

ο当2个相机处于工作中时，系统将利用来自2个视点的信息来估计到对象的范围，并且可以提供范围的准确估计。(例如，系统利用对象缩放和特征“三角测量”的组合有效地操作。“三角测量”没有被明确计算，但实际上通过利用来自两个相机的信息更新粒子权重来执行)

ο当1个相机发生故障时，系统仍然可以使用来自剩余相机的信息，但关于对象的信息仅可从1个视点获得。这会降低范围准确度，但系统仍然可以检测和估计对象范围。(例如，系统有效地落回到使用仅关于对象缩放的信息)。

·这是在没有明确的“单落回”的情况下实现的-完全相同的系统进行操作，但“认识到”它是利用较不好的信息进行操作的，并且因此将产生“尽可能好”的跟踪结果，并且还提供关于任何准确度不足的信息(以目标周围更大的概率密度的形式)

与现有技术相比，本发明的方法可以提供以下优点中的一个或多个：

-不依赖于计算上昂贵的Hough变换来利用模板形状搜索图像空间，也不依赖于复杂的机器学习算法来识别形状

-不依赖于地平面假设(或关于对象存在的环境的结构的任何其它假设)。

-由于粒子的可选择的数量，在时序约束和处理能力/准确度之间可能有很好的权衡

-在开发期间不需要大量的“机器学习”过程

-可以容易地并行化粒子状态更新的计算

-更容易处理分析的形状(即，平面的或三维的)

-可容易扩展到更多相机，以增强鲁棒性或扩大视场，并在单个相机故障的情况下提供柔性的性能降级。

-能够包括更高阶的目标运动模型(其直接估计速度、加速度)，并且还能够直接估计对象的取向。

-由于高度并行性，更容易嵌入到低成本硬件(例如，FPGA、低成本DSP)中。

-在限定适当的似然函数之后，易于将跟踪系统与其它类型的传感器(例如，雷达、红外相机)进行组合来融合测量值

-可能将其扩展为一般(即，非分析的)形状

-对于更复杂的系统容易缩放

Claims (12)

1.一种检测位于主对象周围的环境中的对象的方法，包括以下步骤：

(a)从安装在所述主对象上的图像捕获设备获取场景的至少一个2D图像，

(b)生成粒子的集合，每个粒子包括参数的集合，所述参数限定所述场景中可能存在的至少一个对象的状态，

(c)计算捕获的2D图像的每个像素的边缘强度和边缘方向；以及

对于所述集合中的每个粒子：

(d)生成与所述粒子相关联的对象的3D概率模型，模型限定所述对象的边缘的集合，所述模型中的每个边缘由至少一个似然函数限定，所述似然函数限定所述边缘的至少一个特性的概率分布，

(e)根据所述粒子的参数，将概率模型的似然函数映射到捕获的图像的2D平面中；以及

(f)利用在步骤(e)中映射的概率值来处理在步骤(c)中产生的所述边缘强度和边缘方向值，以确定所述粒子限定所述环境中存在的对象的状态的似然性。

2.如权利要求1所述的方法，其中限定每个边缘的似然函数包括以下中的一个或多个：所述边缘的地点的概率分布、所述边缘的方向的概率分布以及边缘的强度的概率分布。

3.如权利要求1或权利要求2所述的方法，其中使用Sobel掩蔽来执行分配边缘方向和边缘强度的步骤(C)。

4.如权利要求1或权利要求2所述的方法，其中限定每个粒子的状态的参数包括以下中的一个或多个：所述对象的在3D空间中相对于所述主对象的地点的总体地点、所述对象相对于空间或相对于所述主对象的通过3D空间的行进的取向和方向以及行进的速度、所述对象相对于主车辆的加速度的速率以及环境光条件。

5.如权利要求1或权利要求2所述的方法，其中在步骤(f)中处理在步骤(c)中获取的图像中位于与映射的2D模型相对应的地区或窗口内的所有边缘。

6.如权利要求1或权利要求2所述的方法，其中根据粒子的状态将由模糊模型的似然函数限定的概率分布映射到捕获图像的2D平面中的步骤(e)包括将概率值的集合分配给图像中的每个像素，每个概率值由所述模型的似然函数的集合限定。

7.如权利要求1或权利要求2所述的方法，其中使用以伪代码表达的步骤的以下序列来计算每个粒子的似然值：

对于每个粒子，

对于每个投影边缘特征，

对于每个像素位置

基于边缘量值计算似然值“a”

基于边缘取向计算似然值“b”

基于边缘距离计算似然值“c”

通过对a、b和c求积来计算组合像素似然值

通过对所有像素似然值求和来计算组合像素似然值

通过对边缘似然值求积来计算组合粒子似然值。

8.如权利要求1或权利要求2所述的方法，其中捕获图像的序列从单个图像捕获设备捕获。

9.如权利要求1或权利要求2所述的方法，所述方法包括从多于一个图像捕获设备捕获图像，每个图像捕获设备具有场景的不同视场，并且包括针对每个图像捕获设备对3D模型应用不同的变换，以使得能够将似然函数参数正确映射到每个图像捕获设备的图像空间中。

10.如权利要求9所述的方法，其中在使用时每个图像捕获设备捕获场景的来自不同地点和取向的视图，两个视图重叠，使得预测的对象存在于来自两个捕获设备的捕获图像中。

11.如权利要求9所述的方法，所述方法包括监视每个捕获设备的状态，并且在一个捕获设备发生故障的情况下，仅使用来自非故障设备的图像来产生用于利用映射模糊模型进行处理的边缘检测图像。

12.一种用于在主对象周围的环境中定位至少一个对象的对象检测装置，包括：

(a)安装在所述主对象上的图像捕获设备，所述图像捕获设备在使用时获取环境的至少一个2D图像，

(b)处理部件，被布置为在使用时生成粒子的集合，每个粒子包括参数的集合，所述参数限定场景中可能存在的至少一个对象的状态，

(c)计算捕获的2D图像的每个像素的边缘强度和边缘方向，以产生边缘图像；并且其中处理设备还被布置为在使用时通过以下步骤处理所述集合中的每个粒子：

(d)生成与所述粒子相关联的对象的3D概率模型，模型限定所述对象的边缘的集合，所述模型中的每个边缘由至少一个似然函数限定，所述似然函数限定所述边缘的至少一个特性的概率分布，

(e)根据所述粒子的参数，将概率模型的似然函数映射到捕获的图像的2D平面中；以及

(f)利用在步骤(e)中映射的概率值来处理在步骤(c)中在图像中识别出的边缘，以确定所述粒子限定所述环境中存在的对象的状态的似然性。

Images