CN103150543A - 障碍物检测系统 - Google Patents

Abstract

本发明提供了一种检测车辆路径中的物体的计算机实现方法。获得描绘所述车辆路径的图像帧。产生对应于所述图像帧的边缘图像。还产生对应于所述边缘图像的二元图像。识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。

Description

障碍物检测系统

技术领域

本发明涉及障碍物检测系统且具体而言涉及基于相机的障碍物检测系统。

背景技术

车辆系统开发者在车辆安全系统领域中持续革新。一种类型的车辆安全系统警告驾驶员在周围环境中有障碍物。这些安全系统-称为障碍物检测系统-在车辆移动的前方或后方路径中检测障碍物。障碍物可以是例如行人、自行车、路障、其它车等等。

障碍物检测系统在车辆正在移动时监测所述车辆前方或后方的道路。如果所述车辆接近物体，那么障碍物检测系统将所述物体识别为障碍物且提醒驾驶员其存在。受到障碍物存在的警告后，驾驶员可接着警惕避免所述障碍物。因此，障碍物检测系统可减少碰撞障碍物的风险，从而改进车辆安全性。

已知障碍物检测系统可以使用雷达、超声波传感器或相机操作以监测物体至车辆的临近。常规基于相机的障碍物检测系统采集且分析图像序列以在车辆路径中检测物体且识别障碍物。然而，分析图像序列的过程可能在计算上是复杂的且可能需要补充信息，诸如例如从车辆传感器获得的运动参数。结果，已知基于相机的障碍物检测系统可能需要相对更多的硬件资源和处理时间。

因此，需要一种在车辆路径中检测物体且识别障碍物的简化方法。

发明内容

提供了一种检测车辆路径中的物体的计算机实现方法。获得描绘所述车辆路径的图像帧。产生对应于所述图像帧的边缘图像。还产生对应于所述边缘图像的二元图像。识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。

还提供了一种用于检测车辆路径中的物体的系统。图像分割模块产生对应于描绘所述车辆路径的图像帧的边缘图像。二元图像建立模块产生对应于所述边缘图像的二元图像。斑点分析模块识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。障碍物验证模块根据所述二元图像中的所述斑点的分析而确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。

附图说明

图1是障碍物检测系统的实现的实施例的示意图。

图2A是可被处理来检测车辆路径中的障碍物的车辆路径的灰度图像的实施例。

图2B是使用图2A的灰度图像产生的实施例边缘图像。

图2C是使用图2B的边缘图像产生的二元图像的实施例。

图2D是图像处理后的图2C的二元图像。

图2E是额外图像处理后的图2D的二元图像。

图2F是图2A的灰度图像，其包括用于所述图像中识别的组件的椭圆。

图3是图像分割程序期间的图像表示。

图4A是车辆路径的另一实施例图像，其包括用于所述图像中识别的组件的椭圆。

图4B是使用图4B的实施例图像产生的俯视图图像。

图5是用于检测车辆路径中的障碍物的实施例方法步骤的流程图。

图6是用于基于多尺度积分图像的分割程序的实施例方法步骤的流程图。

具体实施方式

提供了一种用于检测车辆路径中的障碍物的系统和方法。所述系统根据车辆的移动路径的图像帧检测物体且识别障碍物。所述系统对所述图像帧执行边缘检测程序以产生指示所述图像帧中的物体的边缘的边缘图像。如本申请中所使用，边缘图像指的是包含一组线的图像，所述线指示诸如例如数字照片的图像帧中的物体的各自边界、表面标志，或表面轮廓。所述系统接着将所述边缘图像转换成二元图像，其中所述图像帧的物体被描绘成二元图像中的斑点。二元图像是数字图像，其中像素可以是可分别对应于例如黑和白(尽管可使用任何两种颜色)的两个值例如0或1中的一个。如本申请中所使用，斑点指的是比周围区域更亮(或更暗)的二元图像区，即，数字图像中可视为二元图像中的单个组件的邻近或临近像素子组。黑与白二元图像中连接的白像素的群集群是斑点的一个例子。

所述系统接着对所述二元图像执行形态学操作以识别可能对应于车辆路径中的障碍物的关注斑点。对于所关注的每个物体斑点，所述系统确定围住所述斑点的椭圆。所述系统接着通过延长椭圆且将所述椭圆延长部分与图像的焦点相比较而确认哪个物体是车辆路径中的障碍物。下文将进一步详细讨论这个过程。如果所述系统检测到障碍物，那么所述系统可以产生可呈现给驾驶员的提醒信号，以警告驾驶员障碍物的存在。所述系统使用单个图像帧且不使用从车辆传感器获得的运动参数(例如，车辆速度)检测物体且识别障碍物。

参考图1，示出了用于检测且识别车辆路径中的障碍物的障碍物检测系统100的实现的实施例。所述障碍物检测系统100与图像采集装置102和输出装置104信号连通。所述图像采集装置102采集车辆路径的图像。所述输出装置104可以用来警告驾驶员所述车辆路径中存在障碍物。所述障碍物检测系统100包括与图像处理单元信号连通的图像处理单元106和存储单元108。所述图像处理单元106处理由图像采集装置102采集的图像以检测且识别所述车辆路径中的障碍物。在本实施例中，可在障碍物检测和识别过程期间利用所述存储单元108以存储图像和图像处理信息。

图像采集装置102可以是被构造来采集视频图像或摄影图像且将所述图像转换成电子信号的任何装置。举例而言，所述图像采集装置102可以是产生车辆路径的数字图像的数字相机。所述图像采集装置102可以安装至车辆的前部或后部。以此方式，所述图像采集装置102可以采集车辆路径在所述车辆的前面和后面的图像。因此，所述障碍物检测系统100可以在车辆正在向前或倒退移动时检测所述车辆路径中的障碍物。由图像采集装置102采集的图像可以是彩色或灰度的。在所示实施例中，障碍物检测系统100被构造来处理如下文进一步讨论的灰度图像。

输出装置104可以是被构造来响应接收提醒信号而警告驾驶员在车辆路径中存在障碍物的任何装置。举例而言，所述输出装置104可以是例如车辆音频系统的扬声器、安装在车辆中的娱乐单元的扬声器等等。所述输出装置104还可以是视觉装置，所述视觉装置使用例如闪光灯或视觉显示器在视觉上警告驾驶员障碍物的存在。所述输出装置104还可以是例如提供触觉提醒给驾驶员的触觉装置，例如在方向盘或座位中的振动元件。

图1中的障碍物检测系统100包括图像处理单元106和存储单元108。所述存储单元108可以存储由图像采集装置102采集的图像以及在障碍物识别和检测过程期间产生的其它信息和中间图像。如下文进一步阐述，存储单元108可以是任何适当计算机可读存储媒介。

在本实施例中，所述图像处理单元106包括用于在车辆路径的图像帧中识别物体且检测障碍物的各种模块110-120。图1的实施例中的模块110-120与执行由所述模块提供以检测且识别障碍物的指令的处理单元122信号连通。所述处理单元122可以是任何适当处理模块，其被构造来执行诸如例如指令或代码，诸如例如中央处理单元(CPU)、微控制器单元(MCU)、图形处理单元(GPU)和下文阐述的类似单元。

在所示实施例中，图像处理单元106的模块110-120包括：校正图像帧中的任何失真的失真校正模块110；将彩色图像帧变换成灰度图像帧的灰度变换模块112；从图像帧中产生边缘图像的图像分割模块114；从边缘图像中建立二元图像的二元图像建立模块116；将二元图像中的斑点识别为潜在障碍物的斑点分析模块118；和验证潜在障碍物为车辆路径中的实际障碍物的验证模块120。下文额外参考在每个阶段示出图像处理结果的图2A-F讨论所述图像处理模块110-120。

所述障碍物检测系统100从图像采集装置102接收图像帧。在一些情况中，图像帧可以包括源自图像采集装置102的镜头的失真。在镜头失真发生时，图像帧中的物体的垂直边缘由于镜头失真而无法在图像帧中真实地呈现为垂直。在本实施例中，所述物体检测系统100被构造来检测从道路表面升起的物体，即，具有与道路表面相对正交的垂直边缘的物体。结果，所述障碍物检测系统100包括失真校正模块110以校正由图像采集装置102的镜头造成的垂直边缘的任何失真。所述失真校正模块110使用与图像采集装置102相关的失真校正系数来校正任何失真。可以使用常规校准方法导出所述失真校正系数。

对于针孔相机模型，举例而言，可以使用用于将三维(3D)坐标投影至相对所述相机为固定的二维(2D)图像平面上的方程式来求解失真系数。以下透视变换可用来将3D坐标(x,y,z)投影至图像平面上： $\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccccc}& & X& & \\ R& \×& Y& I& t\\ & & Z& & \end{array}\right],$ 其中(X，Y,Z)是三维空间中的点的3D坐标。图像平面中的对应特征点(u,v)可由以下方程式给出：u＝f_xx′+c_x和τ＝f_yy′+c_x。在这些方程式中，f_x和f_y是像素有关单位的焦距；(c_x,c_y)是诸如例如图像的中心的主点；并且x′＝x/z且y′＝y/z。

径向失真和正切失真是可能发生的两种类型的镜头失真。为了说明径向和正切失真，可将以上方程式修改成包括径向失真系数和正切失真系数。其中k₁和k₂是径向失真系数且p₁和p₂是正切失真系数，以下实施例方程式可用于3D点至2D图像平面上的透视变换：u＝f_xx′+c_x且v＝f_yy′+c_x。在这些方程式中，x′＝x′(1+k₁r²+k₂r⁴)+2p₁x′y′+p₂(r²+2x′²)；y″＝y″(1+k₁r²+k₂r⁴)+p₁(r²+2y′²)+2p₂x′y′；r²＝x′²+y′²；x′＝x/z；且y′＝y/z。

在本实施例方程式中，如果3D坐标(x,y,z)和对应特征点(u,v)已知，那么可以求解失真系数(k₁,k₂)和(p₁,p₂)。举例而言，可以通过采集三维空间中的黑与白棋盘的图像，并且确定哪个3D点对应于图像平面中的特征点(例如，棋盘中的隅角)而获得图像平面中的三维点和对应特征点。

在所示实施例中，障碍物检测系统110还被构造来处理车辆路径的灰度图像帧。在一些情况中，图像采集装置102可以为障碍物检测系统100提供图像帧作为彩色图像帧。结果，图1的障碍物检测系统100包括将彩色图像帧变换成灰度图像帧的灰度变换模块112。应当了解所述灰度变换模块112可以将原始彩色图像帧转换成灰度图像帧，或是可选地，产生新的且对应于所述彩色图像帧的灰度图像帧。如本申请中所使用，灰度图像是由各种灰色阴影组成的单色(例如，黑与白)图像。所述灰度变换模块112通过将彩色像素信息转换成强度像素信息(例如，0-1，其中0表示全黑，1表示全白，且0与1之间的值对应于各个色调的灰)而从彩色图像帧中消除颜色，因此将所述彩色图像帧变换成灰度图像帧。一旦障碍物检测系统100获得车辆路径的灰度图像帧，所述障碍物检测系统就可以处理所述灰度图像以在所述图像中识别物体并且检测障碍物。图2A是校正任何镜头失真的实施例灰度图像帧200。如实施例图像帧200中所见，行人202、树木204和厢车206在图像帧中且表示车辆路径中的潜在障碍物。

所述障碍物检测系统100首先使用图像分割模块114将灰度图像200转换成边缘图像。所述图像分割模块114执行灰度图像帧200的基于多尺度积分图像的分割。参考图3，在本实施例中，图像300是像素302的二维栅格。在图像300中，对于每个像素P，图像分割模块114使具有高度和宽度h的正方形304定中心在像素P的周围。如图3所见，所述图像分割模块114将h×h正方形304分成两个矩形，矩形A和矩形B。每个矩形具有高度h和宽度1/2h。此外，矩形A和矩形B可对应于(x,y)坐标系统，使得每个矩形中的像素可以由(x′,y′)坐标对描述。因此，坐标x对应于矩形中沿其具有1/2h的最大值的宽度的点，且坐标y对应于所述矩形中沿其具有h的最大值的高度的点。在像素P靠近图像的边界使得正方形304落在图像边界外面的情况中，边缘图像中的对应像素在一些实现中可设置成零。

图像分割模块114计算矩形A中每个像素的值的和SA，以及矩形B中每个像素的值的和SB。应当了解灰度图像帧200可以具有像素映射，其中像素坐标从左边至右边增加(沿水平x轴)且从顶部至底部(沿垂直y轴)增加；然而，可以选择性采用其它惯例。

以下公式可以用来计算矩形A和矩形B中的值的和：

$S_A-\underset{y^{\′}\≤y}{\underset{x^{\′}\≤x}{\mathrm{\Σ}}}a(x^{\′},y^{\′})$ (方程式1)

$S_B-\underset{y^{\′}\≤y}{\underset{x^{\′}\≤x}{\mathrm{\Σ}}}b(x^{\′},y^{\′})$ (方程式2)

其中(x,y)表示灰度图像帧中的矩形的右底角，a(x′,y′)对应于矩形A中的像素，且b(x′,y′)对应于矩形B中的像素。

所述图像分割模块114可以使用积分图像(也已知为求和面积表)计算像素值S_A和S_B的和。所述积分图像可以用来快速计算栅格值中的矩形子组值的和。因此，可以采用本方法以快速计算矩形A和矩形B中的像素值。在本实施例中，积分图像为对应于灰度图像帧200的二维栅格(或表格)。积分图像中的每个点(x，y)是包括像素本身的值的灰度图像中的点(x,y)的上面和左边的全部像素值的和。

图像分割模块可以在灰度图像帧的像素映射上从单个迭代中产生积分图像。以下公式可以用来根据灰度图像帧200计算积分图像中的每个点的值：

I(x,y)＝I(x，y)+I(x-1,y)+I(x,y-1)+I(x-1,y-1)(方程式3)

其中i(x,y)是灰度图像帧中坐标(x,y)的像素的值且I(x,y)是所述灰度图像帧中(x,y)处像素的上面和左边的像素值(包括)的和。

一旦图像分割模块114产生积分图像，就可以对所关注的矩形使用积分图像和四个参考—R₁、R₂、R₃和R₄而快速确定计算灰度图像帧中的任何矩形A和矩形B中的像素的和。所述四个参考对应于所关注的矩形的隅角的坐标。在本实施例中，R₁对应于所关注的矩形的左顶角(xl,yl)；R₂对应于右顶角(x2,y2)；R₃对应于右底角(x3,y3)；且R₄对应于右顶角(x4,y4)。使用用于所关注的矩形的这些四个参考点，所述图像分割模块可以使用以下公式计算具有积分图像的矩形的像素S_R的和：

S_R＝I(R₁)+I(R₃)-I(R₂)-I(R₄)             (方程式4)

这在替代参考点的坐标时对应于以下公式：

S_R＝I(x₁,y₁)+I(x₃,y₃)-I(x₂,y₂)-I(x₄，y₄)(方程式5)

使用这个积分图像方法，所述图像分割模块114可以产生用于灰度图像帧的积分图像并且使用各自公式快速地计算任何矩形A和矩形B的像素值S_A和S_B的和：

$S_A=I(x_{A1},y_{A1})+I(x_{A3},y_{A3})-I(x_{A2},y_{A2})-I(x_{A4},y_{A4})$ (方程式6)

$S_B=I(x_{B1},y_{B1})+I(x_{B3},y_{B3})-I(x_{B2},y_{B2})-I(x_{B4},y_{B4})$ (方程式7)

其中(X_A1,y_A1)、(X_A2,y_A2)等和(x_B1,y_B1)、(x_B2，y_B2)等分别对应于矩形A和矩形B的参考点(即，隅角)。

一旦图像分割模块114计算矩形A和矩形B中的像素的和，所述图像分割模块就计算矩形A的平均像素值μ_A和矩形B的平均像素值μ_B。可以使用以下公式：

${\mathrm{\μ}}_A=\frac{S_A}{n_A}$ (方程式8)

${\mathrm{\μ}}_B=\begin{array}{c}{S}_B\\ n_B\end{array}$ (方程式9)

其中n_A是矩形A中像素的总数目且n_B是矩形B中的像素的总数目。

图像分割模块114使用平均像素值μ_A和μ_B以计算平均像素值的绝对差r。以下公式可以用来计算绝对差r：

r＝|μ_A-μ_B|        (方程式10)

图像分割模块114还使用平均像素值μ_A和μ_B以确定可使用以下函数计算的阈值T：

$T=\mathrm{\λ}\×\frac{({\mathrm{\μ}}_A+{\mathrm{\μ}}_B)}{2}$ (方程式11)

其中λ是可以根据边缘图像中的边缘区的希望大小而设置成预定值的恒定系数。所述恒定系数λ的值对应于所述边缘图像中的边缘区的大小且与其成正比。在一些实现中，举例而言，恒定系数λ可以在约0.20-0.35之间。其中λ相对大(例如，约0.35)，边缘图像可以展现相对更小的边缘区，且可以略去一些物体。因此，当λ相对小(例如，约0.20)时，边缘图像将展现相对更大的边缘区且假阳性可能导致诸如例如道路表面上的油漆或文字。本实施例中恒定系数λ的适当范围可在约0.27-0.32。

如上所提及，图像分割模块114执行灰度图像帧200的基于多尺度图像的分割。以不同尺度根据上述步骤多次处理灰度图像帧200中的每个像素。尺度k指的是图像分割过程期间使用的矩形的高度h。因此，尺度k还对应于平均像素值r_k的绝对差和阈值T_k。在本实施例中，图像分割模块114可以进行灰度图像帧200的三尺度图像分割，其中k＝4、k＝6和k＝8。因此，所述图像分割模块114执行具有各自高度为h=4、h=6和h=8的矩形的灰度图像帧200的图像分割。此外，图像分割模块114计算平均像素值中的对应绝对差—r₄、r₆和r₈—和对应阈值—T₄、T₆和T₈。在本实施例中，物体检测系统100使用具有不同大小的矩形以多尺度执行图像分割，从而识别可能具有不同大小的图像帧200中的物体。应当了解物体检测系统100可以被选择性构造成使用具有额外或替代大小的矩形的额外或替代的尺度。

上文还提及，图像分割模块114处理灰度图像帧200以产生边缘图像。所述图像分割模块114通过将每个尺度的平均像素值r_k中的绝对差与该尺度下的阈值T_k相比较，并且将P_out设置成r_k的最高值而确定边缘图像中像素的值P_out。P_out可表示为边缘响应。所述图像分割模块114将平均像素值中的绝对差r_k与阈值T_k相比较，并且如果所述平均像素值中的绝对差低于所述阈值，那么将r_k设置成零。可以使用以下分段公式：

(方程式12)

一旦图像分割模块114获得用于每个希望尺度(例如，r₄、r₆、r₈)下r_k的值，那么所述图像分割模块将P_out的值设置成r_k的最大值。可使用以下公式：

P_out＝MAX(r_k)                (方程式13)

参考图2B，示出了对应于图2A中的图像帧的边缘图像208。如图2B所见，边缘图像包括图2A中的实施例图像帧的物体—具体而言，行人202、树木204和厢车206的各自轮廓210、212和214。图2B的边缘图像中还可见，轮廓210、212和214将行人、树木和厢车分别描绘为各种灰度阴影。

在图像分割模块114产生边缘图像后，二元图像建立模块116从所述边缘图像中建立二元图像(图2C-E)。在本实施例中，所述二元图像建立模块116通过将所述边缘图像中每个像素的值与预定阈值相比较而建立二元图像。举例而言，如果边缘图像像素在阈值之上，那么所述二元图像建立模块116将对应二元图像像素设置为1；如果所述边缘图像像素低于所述阈值，那么所述二元图像建立模块116将对应二元图像像素设置为0。用于产生所述二元图像的阈值可以取决于各种环境因素，诸如例如道路表面的特性、照明的变化等等。用于产生二元图像的适当阈值可以为例如约五十(50)。所得二元图像可以包括在不同有色(例如黑)背景上对应于所述二元图像中的一个或多个有色(例如，白)斑点(多个斑点)的一个或多个群集二元数据。

图2C是可以使用上述方法从图2B所示的边缘图像208中产生的二元图像216。如图2C所见，二元图像208包括各种白斑点218-224。出于说明目的，图2C-E的二元图像中的斑点被虚线盒包围。斑点218中的一些对应于图2A的图像帧200中的行人202；斑点220中的一些对应于图像帧中的树木204；且斑点222中的一些对应于图像帧中的厢车206。图2C中还可见，二元图像216还包括隔开且相对较小的斑点224，其并未对应于所述图像帧中的任何物体。这些隔开的斑点224可能源自例如各种阴影、光、轮廓、道路标志等等，且并未对应于车辆路径中的潜在障碍物。这些隔开的斑点224可以视为二元图像216中的噪音，图像处理单元106如下文进一步讨论般从二元图像中滤除所述噪音。

所述障碍物检测系统包括处理二元图像以提取且识别所述二元图像中的斑点的斑点分析模块118。所述二元图像可以含有相对小的且隔开的斑点(诸如图2C中的斑点224)以及断开但是邻近的斑点(诸如例如，图2C中用于行人的斑点)。因此，在本实施例中，斑点分析模块118对所述二元图像执行形态学操作以清理所述二元图像。形态学操作对输入图像应用结构元素以产生类似大小的输出图像，其中所述输出图像的每个像素的值是基于所述输入图像中的对应像素与其相邻像素的比较。

在本实施例中，膨胀和腐蚀是所述障碍物检测系统可以用来处理二元图像的两种形态学操作。膨胀通过在孔中填充且连接不相交斑点而扩大斑点。如果二元图像中的斑点在黑背景上为白，举例而言，那么膨胀操作将所述黑像素中的一些变成白。另一方面，腐蚀通过在斑点的边界的侵蚀而缩小斑点。如果所述二元图像中的斑点在黑背景上为白，那么腐蚀操作将白像素中的一些变成黑。如本实施例中所使用，膨胀和腐蚀可通过用于黑背景上的白斑点的以下各自序列的步骤来完成。

对于膨胀，在本实施例中，斑点分析模块滑动结构元素滑动跨越图像使得所述结构元素的原点(例如，中心)位于所述二元图像中的每个像素。如果所述结构元素的原点对应于白像素，那么所述斑点分析模块118不会改变像素的颜色且将所述结构元素移动至下个像素。然而，如果所述结构元素的原点对应于黑像素且所述结构元素重叠至少一个白像素，那么所述斑点分析模块118将被所述结构元素重叠的全部黑像素变成白。以此方式，所述斑点分析模块扩大二元图像中的白斑点。

对于腐蚀，在本实施例中，斑点分析模块118还将结构元素滑动跨越图像且将所述结构元素的原点(例如中心)定位在二元图像中的每个像素。和膨胀类似，如果所述结构元素的原点对应于二元图像中的白像素，那么所述斑点分析模块118不会改变像素的颜色且将所述结构元素移动至下个像素。然而，如果所述结构元素的原点对应于二元图像中的白像素，那么所述斑点分析模块118将被所述结构元素重叠的全部白像素变成黑。以此方式，所述斑点分析模块缩小二元图像中的白斑点。

应当了解，可以通过调整结构元素的大小和形状(其确定形态学操作的结果)而选择性定制膨胀和腐蚀操作。在本实施例中，适当结构元素可以是参考点R在顶部上的1's信号列。举例而言，

R

1

1

1

1

在本实施例中，所述斑点分析模块118可以执行膨胀操作作为处理的部分以从二元图像中消除相对小且隔开的斑点。所述斑点分析模块118还可以执行膨胀操作以合并二元图像中断开但是邻近的斑点。在本实施例中，所述斑点分析模块118首先执行膨胀操作且接着执行腐蚀操作。图2D是修改的二元图像226，其示出了图2C的二元图像216的膨胀和腐蚀操作的结果。如图2D所见，修改的二元图像226中的斑点218-224多数扩大且合并在一起。具体而言，分别与图2A的图像帧200中的行人202、树木204和厢车206相关的斑点218-222的多数合并。如图2D还见到，修改的二元图像226仍然包括隔开的斑点224，该隔开的斑点与车辆路径中的潜在障碍物不相关。

二元图像中的一个以上斑点可以对应于图像帧中的单个物体。举例而言，在图2D所示的实施例二元图像226中，一个以上斑点分别对应于行人、树木和厢车。因此，所述斑点分析模块118执行连接组件标记操作(即，“斑点提取”操作或“斑点发现”操作)以分组对应于图像帧中的单个物体的邻近斑点且将分组的斑点标记为图像帧中的物体。连接组件标记扫描图像且根据像素连接性将其像素分组成多个组件。在本实施例中，像素连接性是因为像素彼此临近或者因为像素之间的一些其它关系。一旦斑点分析模块118将每个像素群识别为组件，那么可以根据像素分配的组件而标记每个像素。所述斑点分析模块118可以使用例如强度值或颜色值标记像素。以此方式，斑点分析模块识别二元图像中的一个或多个组件，其中每个组件可以包括一个或多个斑点。

在本实施例中，斑点分析模块118使用8连接像素方法标记二元图像中的像素，其中像素水平、垂直且对角地连接(即，接触像素的边缘或隅角的相邻像素)。至(x,y)处像素的8连接像素是具有以下坐标的像素：(x+1,y)、(x-1,y)、(x,y+l)、(x,y-l)、(x+1,y-l)、(x+1,y+l)、(x-1,y-l)和(x-1,y+l)。

在连接组件标记操作之后，斑点分析模块118将组件的大小(即，总像素面积)与预定像素面积阈值，例如四十像素乘四十像素(即，40px×40px)相比较。在本实施例中，一个组件的总像素面积等于所述组件的斑点的像素面积的和。所述斑点分析模块从二元图像中消除任何标记过且总像素面积低于像素面积阈值的组件的斑点。所述像素面积阈值的大小可以取决于且对应于视为障碍物的图像帧中的物体的大小。举例而言，在一些实现中，物体在道路表面上升高25厘米(即，约9.8英寸)可视为车辆路径中的障碍物。可以根据这个值确定对应像素面积阈值。斑点分析模块118可以通过例如将斑点的像素设置为黑而消除斑点。图2E是示出了连接组件标记操作的结果的另一修改二元图像228。在图2E所示的实施例修改二元图像228中，斑点分析模块118识别十五(15)个不同组件230a-o。具体而言，斑点分析组件118在二元图像228中识别用于树木的组件230m和用于行人的组件230n。图2E还见到，已经从图2E的修改二元图像228中消除图2D的二元图像226中隔开的斑点224。

一旦斑点分析模块118消除低于大小阈值的斑点，那么所述斑点分析模块确定用于所述二元图像中每个已经识别的组件的全部椭圆。在本实施例中，用于每个组件的椭圆是可以完全围住对应于所述组件的斑点或斑点群的轮廓的最小椭圆。因此，椭圆轴之一(例如，长轴)可以对应于斑点(或斑点群)沿所述斑点的垂直轴的最大长度，且另一椭圆轴(例如，短轴)可以对应于斑点沿所述斑点的水平轴的最大宽度。因此，所述斑点的垂直轴对应于所述图像帧中的垂直边缘。图2F是图2A的图像帧200，其中用于已经识别的组件的椭圆230-232被添加至所述图像。如图2F所见，图像帧200包括用于树木204的椭圆230和用于行人202的椭圆232。图2F还见到，所述图像帧200包括用于厢车206的各种表面特征和用于周边环境中的环境光的各种椭圆。因此已经识别的组件中的一些不会对应于车辆路径中的潜在障碍物。如下文进一步讨论，所述障碍物检测系统100使用用于已经识别的组件的椭圆来确定哪些组件对应于车辆路径中的真实障碍物。

在本实施例中，所述障碍物检测系统100还包括识别车辆路径中的真实障碍物的障碍物验证模块120。在本实施例中，所述障碍物验证模块120产生俯视图像以在所述图像帧中识别哪些被识别的组件是车辆路径中的障碍物。俯视图像也可以称为“鸟瞰”图像且是图像帧的变换，其转动相机透视以俯瞰在所述图像帧上。所述俯视图像可以从所述图像帧的反转透视映射(IPM)变换中产生。

障碍物验证模块120根据俯视图像识别图像帧中哪些物体是车辆路径中的障碍物。所述障碍物验证模块120将俯视图像中的垂直边缘的延长部分与用来产生俯视图像的相机透视的焦点相比较。在俯视图像中，图像帧中的物体的垂直边缘朝向焦点延长。如果垂直边缘的延长部分在焦点的附近通过，那么障碍物验证模块120将与垂直边缘相关的物体识别为车辆路径中的障碍物。

参考图4A，示出了车辆路径的实施例图像帧400。如图4A所见，已经在上述图像处理之后识别各个物体402-404。本实施例中的物体包括行人402a-b和交通锥标404a-f，其从道路表面升起且可能是车辆路径中的障碍物。障碍物检测系统100处理图像帧400以识别这些物体402-404并且确定用于这些物体的椭圆406。在图4B中，示出了图4A的图像帧400的俯视图像408。如图4B所见，俯视图像408从相机焦点F(即相机的投影点)向外投影。此外，图4A的图像帧400中识别的物体402-404在图4B的俯视图像408中延长。用于经过识别的物体402-404的垂直边缘在图4B中由虚白线描绘。用于垂直边缘的投影在图4B中由从垂直边缘延伸的实白线描绘。用于物体的垂直边缘的投影朝向焦点F投射。理论上而言，用于物体的垂直边缘的投影将在焦点F处相交。然而，实际上，投影可能并未精确地在焦点F，而是在焦点周围的小间隔相交。因此，所述障碍物验证模块120在焦点周围界定区域410以确定所述图像帧中的物体是否是车辆路径中的障碍物。如果物体的垂直边缘的投影落在焦点周围已经界定的区域410中，那么所述障碍物验证模块120确定与投影相关的物体是车辆路径中的障碍物。所述间隔可以是例如位于焦点F周围的圆410，使得所述焦点在如例如图4B所示的圆的中心。区域410的大小可取决于例如相机的固有参数且可相应地确定。圆410的适当半径可以是例如十个像素。如图4B的实施例俯视图像408所见，用于图像中的物体的全部投影落在焦点F周围界定的区域410中。因此，所述障碍物验证模块120可以确定这些物体是车辆路径中的真实障碍物。

响应将物体识别为车辆路径中的障碍物，在本实施例中，所述障碍物检测系统100产生提醒信号。所述障碍物检测系统100可以将提醒信号传输给可产生警告车辆驾驶员存在障碍物的提醒的输出装置104。所述警告可以是例如音频声音警告。可以选择性利用其它类型的警告以提醒和警告驾驶员在车辆路径中存在障碍物，诸如例如闪光灯、视觉显示器和其它视觉指示器以及振动或其它触觉指示器。

现在参考图5，示出了用于检测车辆路径中的障碍物的实施例方法步骤的流程图500。从图像采集装置获得车辆路径的图像(步骤502)。如果所述车辆正在向前行进，那么所述图像可以描绘车辆前方的路径，或者如果所述图像正在倒退行进，那么所述图像可以描绘车辆后方的路径。使用例如经由相机校准方法获得的失真校正系数校正图像的失真(步骤504)。如果所述图像帧不是灰度的(步骤506)，那么将所述图像帧转换成灰度图像(步骤508)。对于灰度图像中的每个像素，执行基于多尺度积分图像的分割以计算像素值P_out用于边缘图像中的对应像素(步骤510)。下文将参考图6进一步讨论用于执行灰度图像的基于多尺度积分图像的分割的实施例方法步骤。

根据P_out的值产生边缘图像(步骤512)。接着根据所述边缘图像产生二元图像(步骤514)。对于对应于二元图像中的唯一两种颜色(例如黑和白)的二元图像(例如0和1)的像素，所述二元图像仅仅具有两个可能的值。执行形态学操作以清理二元图像(步骤516)。举例而言，腐蚀可以用来消除二元图像中相对小且隔开的前景区，且膨胀可以用来合并二元图像中邻近且临近的前景区。在清理步骤之后，所述二元图像可以包括一个或多个组件。连接组件标记可以用来合并接近的组件，且可以消除低于预定大小阈值的组件。所述二元图像中的剩余组件可以识别为二元图像中的斑点(步骤518)。

接着确定用于每个斑点的椭圆(步骤520)。在本实施例中，用于斑点的椭圆是可以完全围住斑点的轮廓的最小椭圆。接着和用于二元图像中的斑点的椭圆的对应延长部分一起确定图像帧的俯视图像；将所述图像的焦点设置在中点，且根据预定阈值确定焦点周围的间隔(步骤522)。接着确定椭圆的主轴的各自延长部分是否落在俯视图像的焦点周围的间隔内(步骤524)。如果椭圆的主轴落在焦点周围的间隔内(步骤526)，那么将对应于椭圆的图像帧中的物体识别为车辆路径中的障碍物(步骤528)。响应于图像帧中的物体是车辆路径中的障碍物的确定，产生指示在车辆路径中存在障碍物的提醒信号(步骤530)。可以将提醒信号传输至输出装置，例如音频装置(步骤532)。响应于接收提醒信号，所述输出装置可以产生警告—例如，音频警告—提醒且警告驾驶员在车辆路径中存在障碍物(步骤534)。响应于察觉所述警告，驾驶员可以接着警惕避免车辆路径中的障碍物。如果确定物体不在车辆路径中，那么障碍物检测程序通过在步骤502获得车辆前方路径的新图像而再次开始。

参考图6，示出了用于基于执行多尺度积分图像的分割的实施例方法步骤的流程图。所述基于多尺度积分图像的分割是用来产生用于障碍物检测程序的边缘图像。获得描绘车辆路径的灰度图像帧(步骤602)。在所述灰度图像帧中选择一个点P用于处理(步骤604)。选择希望的尺度k用于所述基于积分图像的分割(步骤606)。在本实施例中，使用三个尺度来执行基于积分图像的分割：k＝4、k=6和k＝8。如上文所讨论，尺度k对应于用来执行灰度图像的分割的矩形的高度和宽度h_k。

具有高度和宽度h_k的矩形位于所选择的点P周围，其中P在矩形的中心(步骤608)。所述矩形的高度和宽度对应于当前选择的尺度k。因此，例如在k＝4时，所述矩形的高度和宽度为例如4像素×4像素。所述矩形接着分成每个具有高度h_k和宽度1/2h_k的两个子矩形—矩形A和矩形B(步骤610)。分别确定矩形A和矩形B中像素值(S_A和S_B)的和(步骤612)且分别确定矩形A和矩形B的平均像素值(μ_A和μ_B)(步骤614)。根据用于矩形A和矩形B的平均像素值确定平均像素值的绝对差r_k(步骤616)以及阈值T_k(步骤618)。可以使用上文提出的方程式1-2和等式8-11确定这些值。如果r_k小于T_k(步骤620)，那么将r_k设置为零(步骤622)。

在希望的尺度(例如，4、6和8)下执行用于灰度图像中的每个点P的步骤608-620。因此，如果存在在其下处理所述图像的多个尺度(步骤624)，那么增加所述尺度—例如从k＝4增加至k＝6—且将具有新增尺度下的高度和宽度的矩形定位在点P周围(步骤626)并且重复步骤608-624。如果已经在每个希望尺度—例如k＝4、k＝6和k＝8下处理灰度图像中的点P，那么根据每个尺度下用于r_k的值确定Pout。在本实施例中，将P_out设置成r_k的最大值—例如，r₄、r₆和r₈的最大值(步骤628)。如上文所讨论，P_out是边缘像素中对应于当前选择点P的像素的值。如果灰度图像中存在多个要处理的值(步骤630)，那么在所述灰度图像中选择新的点P用于多尺度处理(步骤604)且对新选的点P重复步骤606-630。然而，如果已经处理所述灰度图像中的全部点，那么根据P_out的各自值产生边缘图像(步骤632)。

应当了解且明白，可以由一个或多个电子器件或数字控制装置上的硬件、软件或硬件和软件的组合来执行结合图1和图5-6描述的一个或多个程序、子程序和程序步骤。所述软件可驻留在诸如例如图1示意性描绘的一个或多个功能系统、装置、组件、模块或子模块的适当电子处理组件或系统中的软件内存(未示出)中。所述软件内存可以包括有序列示且用于实施逻辑功能(即，可以数字形式实施的“逻辑”，诸如数字电路或源代码，或者模拟形式，诸如模拟源，诸如模拟电气、声音或视频信号)的可执行指令。所述指令可以在处理模块中执行，其包括例如一个或多个微处理器，通用处理器，处理器、数字信号处理器(DSP)、场可编程栅阵列(FPGA)或专用集成电路(ASIC)的组合。此外，示意图描述具有物理(硬件和/或软件)实现的功能的逻辑区分，所述物理实现不限于所述功能的架构或物理布局。本申请所述的实施例系统可以各种配置来实施且操作成单个硬件/软件单元中，或个别硬件/软件单元中的硬件/软件组件。

可执行指令可以实施为在其中存储指令的计算机程序产品，当由电子系统(例如，图1的障碍物检测系统10)的处理模块执行时，引导所述电子系统执行所述指令。所述计算机程序产品可以选择性嵌入在任何非暂时性计算机可读存储媒介中，用于由指令执行系统、设备或装置，诸如基于电子计算机的系统、含有处理器的系统、或可从所述指令执行系统、设备或装置选择性提取指令且执行所述指令的其它系统使用或与其结合。在本文件的内容中，计算机可读存储媒介是可以存储由指令执行系统、设备或装置使用或与其结合的程序的非暂时性构件。所述非暂时性计算机可读存储媒介可以选择性为例如电子、磁性、光学、电磁、红外或半导体系统、设备或装置。非暂时性计算机可读媒介的更具体实例的非详尽清单包括：具有一个或多个电线(电子)的电气连接；便携式计算机软盘(磁性)；随机存取存储器(电子)；只读存储器(电子)；可擦除可编程只读存储器，诸如例如，闪存(电子)；光盘存储器，诸如例如CD-ROM、CD-R、CD-RW(光学)；和数字多功能光盘存储器，即DVD(光学)。应当注意，非暂时性计算机可读存储媒介甚至可以是纸张或程序列印在其上的另一适当媒介，因为程序可以经由例如光学扫描纸张或其它媒介而电子地获取，接着如果需要以适当方式编译、解译、或是其它方式处理，且接着存储在计算机内存或机器存储器中。

同样应当了解，本文件中使用的术语“信号连通”指的是两个或两个以上的系统、装置、组件、模块或子模块能够经由在一些类型的信号路径中行进的信号而互相连通。信号可以是通信、电力、数据、或能量信号，其可以从第一系统、装置、组件、模块或子模块沿着第一系统与第二系统、装置、组件、模块或子模块之间的信号路径将信息、电力、或能源传递至第二系统、装置、组件、模块、或子系统。信号路径可以包括物理、电气、磁性、电磁、电化学、光学、有线或无线连通。所述信号路径还可以在所述第一系统与第二系统、装置、组件、模块或子模块之间包括额外的系统、装置、组件、模块或子模块。

已经出于说明和描述的目的呈现实现的上述描述。其并不详尽且并未将所主张的本发明限制在所公开的精确形式。根据以上描述各种修改和变更是可行的且可以在实践本发明时得到这些修改和变更。权利要求及其等效物界定本发明的范围。

Claims (20)

1.一种检测车辆路径中的物体的计算机实现方法，所述方法包括：

获得描绘所述车辆路径的图像帧；

产生对应于所述图像帧的边缘图像；

产生对应于所述边缘图像的二元图像；

识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点；和

根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。

2.根据权利要求1所述的计算机实现方法，其还包括响应所述障碍物在所述车辆路径中的确定而产生提醒信号，使得在输出装置接收所述提醒信号会造成所述输出装置输出警告。

3.根据权利要求1所述的计算机实现方法，其中所述图像帧是彩色图像帧且还包括产生对应于所述彩色图像帧的灰度图像帧。

4.根据权利要求1所述的计算机实现方法，其还包括执行所述图像帧的基于多尺度积分图像的分割以产生所述边缘图像。

5.根据权利要求4所述的计算机实现方法，其中所述边缘图像包括像素栅格，个别像素具有像素值且还包括将所述边缘图像中的所述个别像素的像素值与预定像素值阈值相比较以产生所述二元图像。

6.根据权利要求5所述的计算机实现方法，其还包括：

对所述二元图像执行腐蚀形态学操作以缩小所述二元图像中的至少一个斑点；和

对所述二元图像执行膨胀形态学操作以扩大所述二元图像中的至少一个所述斑点。

7.根据权利要求6所述的计算机实现方法，其还包括对所述二元图像执行标记操作以识别所述二元图像中的一个或多个组件，使得每个组件包括所述二元图像中的一个或多个所述斑点且每个组件分别对应于所述图像中的所述物体之一。

8.根据权利要求7所述的计算机实现方法，其中所述二元图像包括像素栅格且所述二元图像中的每个组件具有总像素面积，所述方法还包括：

将所述二元图像中的每个组件的总像素面积与预定像素面积阈值相比较；且

响应一个组件具有比所述预定像素面积阈值更小的总像素面积的确定而从所述二元图像中消除所述组件的斑点。

9.根据权利要求8所述的计算机实现方法，其还包括：

确定用于所述二元图像中的所述组件之一的椭圆使得所述椭圆的大小对应于所述组件的所述总像素面积；

产生对应于所述图像帧的俯视图像；

朝向俯视图像的焦点延长所述椭圆的轴以获得用于所述椭圆的延长部分；

确定所述延长部分通过所述焦点周围的预定区域；和

响应所述延长部分通过所述预定区域的确定而确定对应于用于所述椭圆的所述组件的所述图像帧中的所述物体是所述车辆路径中的障碍物。

10.根据权利要求1所述的计算机实现方法，其还包括调整所述图像帧以校正所述图像帧中的镜头失真。

11.一种用于检测车辆路径中的物体的系统，所述系统包括：

图像分割模块，其产生对应于图像帧的边缘图像，所述图像帧描绘所述车辆路径；

二元图像建立模块，其产生对应于所述边缘图像的二元图像；

斑点分析模块，其识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点；和

障碍物验证模块，其根据所述二元图像中的所述斑点的分析而确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。

12.根据权利要求11所述的系统，其中所述系统响应所述障碍物在所述车辆路径中的确定而产生提醒信号，使得在输出装置接收所述提醒信号会造成所述输出装置输出警告。

13.根据权利要求11所述的系统，其中所述图像帧是彩色图像帧且还包括产生对应于所述彩色图像帧的灰度图像帧的灰度变换模块。

14.根据权利要求11所述的系统，其中所述图像分割模块执行所述图像帧的基于多尺度积分图像的分割以产生所述边缘图像。

15.根据权利要求14所述的系统，其中：

所述边缘图像包括像素栅格，个别像素具有像素值；且

所述二元图像建立模块将所述边缘图像中的所述个别像素的像素值与预定像素值阈值相比较以产生所述二元图像。

16.根据权利要求15所述的系统，其还包括斑点分析模块，所述斑点分析模块对所述二元图像执行腐蚀形态学操作以缩小所述二元图像中的至少一个斑点，且对所述二元图像执行膨胀形态学操作以扩大所述二元图像中的至少一个所述斑点。

17.根据权利要求16所述的系统，其中所述斑点分析模块对所述二元图像执行标记操作以识别所述二元图像中的一个或多个组件，使得每个组件包括所述二元图像中的一个或多个所述斑点且每个组件分别对应于所述图像中的所述物体之一。

18.根据权利要求17所述的系统，其中：

所述二元图像包括像素栅格；

所述二元图像中的每个组件具有总像素面积；

所述斑点分析模块将所述二元图像中的每个组件的所述总像素面积与预定像素面积阈值相比较；且

响应所述组件之一具有比所述预定像素面积阈值更小的总像素面积的确定，所述斑点分析模块从所述二元图像中消除所述组件的斑点。

19.根据权利要求18所述的系统，其中：

所述斑点分析模块确定用于所述二元图像中的所述组件之一的椭圆使得所述椭圆的大小对应于所述组件的所述总像素面积；

所述障碍物验证模块产生对应于所述图像帧的俯视图像；

所述障碍物验证模块朝向所述俯视图像的焦点延长所述椭圆的轴以获得用于所述椭圆的延长部分；

所述障碍物验证模块确定所述延长部分通过所述焦点周围的预定区域；和

响应所述延长部分通过所述预定区域的确定而确定对应于用于所述椭圆的所述组件的所述图像帧中的所述物体是所述车辆路径中的障碍物。

20.根据权利要求10所述的系统，其还包括调整所述图像帧以校正所述图像帧中的镜头失真的失真校正模块。

Images