CN103123687A - 快速障碍物检测 - Google Patents

Abstract

使用位于在运动区域上运动，或在运动的移动区域上静止的一个装置上的单个相机用于检测障碍物的系统和方法。在实施例方法中，采集运动区域的图像的视频流。可以在进一步处理之前校正视频流中的图像的镜头失真。从所述视频流中的N个图像的序列中选择第N个图像帧。通过从所述第N个图像中减去N-1个先前图像中的每个而计算一组N-1差图像。将所述N-1差图像彼此相加以产生组合差图像。对所述组合差图像执行透视变换以产生变换图像。分析所述变换图像以检测所述变换图像中的障碍物的边缘。接着可以产生指示所述运动区域中的障碍物的检测的信号。

Description

快速障碍物检测

技术领域

本发明涉及具有移动结构的环境中的成像系统，且更具体地说，涉及用于检测障碍物的成像系统和方法。

背景技术

在涉及导航（如机器导航或传送机构）的移动结构如车辆和电动机器中使用成像系统来检测可能妨碍所希望的运动的障碍物。这类成像系统通常使用对准运动路径的一个或多个相机和分析所采集的图像以检测障碍物的图像处理系统。当检测到障碍物时，可以传达警报或其它适当通知以允许避开该障碍物。障碍物检测系统通过检测图像中指示障碍物的图案而操作。障碍物检测在结构正在移动且适当结果常常需要使用可能使障碍物检测在所希望的应用中过于昂贵的硬件和软件设备时可能有难处。

障碍物检测系统的一个实施例使用立体相机配置（右相机和左相机）来记录图像。使用立体反转透视映射（IPM）处理来自相机的图像以产生表示左图像与右图像之间的差的差图像。车辆应用中使用的立体IPM可由于由左相机和右相机同步采集图像而有效地滤除道路纹理、道路标志和通常呈现为道路表面上的平坦物体的阴影。通过执行一些滤波且在差图像上作标记而获得二元图像。二元图像可以含有可能是或可能不是可靠障碍物物体的一些斑点。针对每个斑点计算极直方图并且分析波峰。极直方图的强波峰可以解译为识别障碍物。然而有效的立体IPM需要使用两个相机，这会增加实现成本。实际问题在于，使用立体IPM障碍物检测的应用还必须考虑空间需要和第二相机的正确放置。

另一实施例检测系统在移动汽车中使用一个相机并且也采用IPM图像（俯视图）。单目相机在任何给定时间T获得一个帧且在一些时间间隔之间采集两个帧以获得可以用来产生IPM差图像的两个图像。由于车辆移动，道路表面上的平坦物体，如道路上涂有的文字、道路标志和阴影将产生假阳性。为了排除这种假阳性，单目相机系统识别地标（如车道标志）或表示道路环境中的主道纹理的物体且使用这些物体来计算用于记录两个图像的汽车移动。在基于单目相机的障碍物检测系统的另一实施例中，光流是用来计算车辆的运动参数。

单目相机障碍物检测系统可以仅仅使用一个相机检测障碍物。然而，这些系统通常需要计算车辆运动和运动参数以记录图像。新增的计算可能十分复杂而使系统变慢使其难以在有效时间帧中检测障碍物。

需要一种不需要一个以上相机且不需要计算车辆运动参数的障碍物检测系统。

发明内容

鉴于上文，提供了用于检测障碍物的系统和方法，所述系统和方法使用位于在运动区域上运动，或者在运动的移动区域上静止的装置上的单个相机。在实施例实现中，采集所述运动区域的图像视频流。可以在进一步处理之前校正所述视频流中的图像的镜头失真。从所述视频流中的N个图像的序列中选择第N个图像。通过从第N个图像中减去N-1个先前图像中的每个而计算一组N-1差图像。将所述N-1差图像彼此相加以产生组合差图像。对所述组合差图像执行反转透视变换以产生变换图像。分析所述变换图像以检测所述变换图像中的障碍物的边缘。接着可产生指示所述运动区域中的障碍物的检测的信号。

在检视以下图示和详细描述后，本发明的其它器件、装置、系统、方法、特征和优点对于所属领域技术人员而言将显而易见或将变得显而易见。期望全部这类额外系统、方法、特征和优点包括在本描述内，包括在本发明的范围内，并且受随附权利要求保护。

附图说明

通过参考以下附图可更好地理解以下描述。附图中的组件并不需要按比例绘制，而是强调说明本发明的原理。在附图中，不同视图各处的相同参考数字标示对应部件。

图1是实施例障碍物检测系统的方框图。

图2是说明用于检测障碍物的实施例方法的操作的流程图。

图3A至图3B是说明失真校正的操作的图像的示意性表示。

图4A至图4C是说明反转透视变换的图像的示意性表示。

图5A至图5B是说明反转透视映射差图像的障碍物物体分割的示意性表示。

图6A至图6B使用极直方图说明反转透视映射差图像的实施例分析。

具体实施方式

图1是使用单个相机106的实施例障碍物检测系统100的方框图。图1的障碍物检测系统100是在道路表面110上在所指示的移动方向上移动的车辆102中实施。相机106位于所述车辆102上以便在所述车辆102在区域150上移动之前收集所述区域150的视频图像。车辆102包括障碍物检测功能104，所述障碍物检测功能104被构造来从相机106接收图像数据且处理所述图像数据以确定在所述区域150上是否已经放置障碍物。图1展示在车辆102上操作的实施例障碍物检测系统100；然而，实施例障碍物检测系统100可以实施在任何类型的结构中，其中希望在所述结构正在其上移动的区域中检测障碍物。

所述障碍物检测功能104被构造来处理来自单个相机106的视频数据以确定车辆运动的区域中是否存在障碍物而无需计算任何车辆运动参数。在下文进一步描述的实施例中，从N个帧视频图像数据的序列中产生一系列差图像。将所述差图像相加以形成组合图像，其接着通过对所述组合图像执行反转透视变换来处理。在反转透视变换中，处理图像以近似不同透视的视野。在下文所述的实施例中，执行透视变换以从如图1中由相机106’所展示的运动区域的俯视视野中产生图像。接着使用例如从其中可以检测到障碍物的极直方图中分析变换差图像。

如果检测到障碍物，那么所述障碍物检测系统106可以发检测到障碍物的信号。可以将指示障碍物的检测的信号传达到被构造来采取所希望的行动的适当功能。举例而言，障碍物的指示可以用来自动地（亦即，没有用户动作）使车辆停止。障碍物的指示还可以在显示或不显示由相机106所采集的区域图像的情况下告知用户或驾驶员。可以根据使用障碍物检测系统100的特定应用以任何方式使用障碍物的检测。

图2是说明用于检测障碍物的实施例方法200的操作的流程图。可以使用图1所展示的障碍物检测系统100的实施例来执行图2所说明的实施例方法200。图2中所说明的障碍物检测的方法200可以在在运动方向上移动至运动区域中的车辆102中执行。在所述车辆102移动时，相机106如步骤202所指示般记录视频流。可以存储作为图像帧序列的视频流可包括由于相机镜头的一些失真。可以将步骤202中收集的视频流记录或转换成灰度图像供方法200处理。所述视频流还可以被记录为彩色图像且处理成彩色图像而不用转换成灰度。在步骤204，校正视频流中的图像的失真。在步骤206，选择视频流的第一N个帧用于处理。应当注意，“第一”N个帧可以是所收集的最新N个帧，这将使其在时间上成为“最后”N个帧。或者，“第一”N个帧可以是存储在含有多个N个帧序列的内存空间中的第一N个帧序列，这将在时间上使“第一”N个帧序列成为所收集的第一帧。

图2中引用的“N”值可以取决于正在实施障碍物检测方法200的应用。在一些实施例实现中，已发现约2与10之间的N值是适当的。N值可取决于诸多因素，如图像分辨率、图像大小；和所述方法200是否正在在如高速上相对快速地行进，或如在停车时缓慢倒车的车辆中使用。如果正在移动车辆中执行障碍物检测，且车辆的速度相对较快，那么N值应相对小，如例如2或3。但是，如果车辆的速度相对较慢，那么N值可相对大，如例如4~10。

在步骤208，通过从第N个图像帧中减去N-1个图像帧中的每个而产生一组N-1差图像。在步骤210，将N-1差图像相加以产生组合图像。在步骤212，对组合图像执行透视变换。可以使用反转透视映射（“IPM”）变换算法执行透视变换。组合图像的透视变换以突出显示所述图像可能归因于从运动区域110的表面向上投影的物体的异常或方面的方式来修改图像。举例而言，垂直投影至运动区域110的表面的物体可以呈现在变换图像上作为延伸通过相机的投影点的直线。IPM算法的实施例描述在EURASIP Journal on Advancesin Signal Processing，Volume 2010(2010)，Article ID 296598，Chin-Teng Lin、Tzu-Kuei Shen和Yu-Wen Shou，“Construction of Fisheye Lens InversePerspective Mapping Model and Its Applications of Obstacle Detection”，其以引用的方式并入本文。

在步骤214，分析变换图像以指示不属于运动区域110的表面的物体。步骤214中的分析可能涉及将延伸通过相机的投影点的延长线识别为指示可能是运动区域上的障碍物的物体的边缘的线。变换图像可以包括来自阴影、条纹、路标和属于运动区域的其它物体，或者至少并未表示车辆的障碍物的线。由并非是障碍物的物体造成的这些线不会延伸通过相机的投影点且因此不被视为物体的边缘。

在步骤216，计算极直方图以分割障碍物物体。通常是对二元图像执行极直方图。对灰度图像执行参考图2所述的实施例实现中的极直方图。因此，不需要为产生二元图像而将图像强度和任何阈值相比较。使用源自在变换图像中识别的投影点的每条直线计算极直方图。在一个实施例实现中，将位于源自投影点的每条线上的像素的强度值相加。接着归一化且低通滤波极直方图的值以减小噪音的影响。

接着在决策方块218分析所得直方图以识别障碍物。将直方图中的波峰视为对应于障碍物。可以通过应用一些规则在直方图中识别障碍物。下文参考图6A和图6B描述识别障碍物的极直方图分析的实施例。如果在决策方块218识别障碍物，那么在步骤220有指示在运动区域中已经检测到障碍物的信号。一些应用不只是执行发送警告信号。举例而言，指示已经检测到障碍物的信号可以用来在使移动至运动区域中的车辆停车时触发自动停车功能。如果在决策方块218未检测到障碍物，那么可对可在步骤222选择的另外N个帧重复所述过程。其后的N个帧可以是来自刚处理N个帧后接收的视频图像。其后的N个帧还可以是存储在具有更大区块的视频图像数据的内存存储区域中的帧。

只要车辆102正移动至运动区域110中，就可以连续执行图2的流程图所说明的实施例方法200。

如上文参考图2所述，可以对可能由于镜头失真而失真的视频图像执行障碍物检测功能。可以使用镜头失真系数校正视频图像中的失真。图3A至图3B是说明失真校正的实施例操作的图像的示意表示。图3A说明还未校正镜头失真的图像300。图像300在结构上将水平线（在302）和垂直线（在304）描绘为曲线。所述曲线可能影响障碍物检测的精度。图3B展示失真经过校正的图像350，其展示笔直，或较少弯曲、水平的线（在352）和垂直线（在354）。

失真校正通过消除图像中镜头的作用而修改图像。这个类型的校正在如何将世界坐标空间中的场景呈现在相机坐标空间中的图像中方面进行操作。在将所述场景转移至图像坐标空间时执行失真校正。下文描述用于使用透视变换将世界坐标空间中的三维点投影至基于像素的图像坐标空间中的图像平面中的针孔型相机模型的失真校正。在以下描述中假定：

●(X，Y，Z)是世界坐标空间中的三维点的坐标；

●(x，y，z)是相机坐标空间中的三维点的坐标；

●(u，v)是像素中的图像上的点投影的坐标(图像坐标)；

●(c_x，c_y)是原点(通常处于图像中心)；

●f_x，f_y是以像素有关单元表述的焦距；

●矩阵R是旋转矩阵；且

●矩阵t是转移矩阵。

R矩阵和t矩阵包括描述静止场景周围的相机运动，或者静态相机前面的物体的刚性运动的参数。矩阵R和矩阵t将点(X，Y，Z)的坐标转移至相对相机固定的相机坐标系统。所述转移在下文中由方程式l表示。

(x y z)＝R×(X Y Z)+t                    (方程式1)

可以根据图像坐标系统将相机坐标系统中的点(x，y，z)投影至图像平面上作为如方程式2和方程式3所展示的像素(u，v)而不用校正失真：

x′＝x/z                                方程式(2a)

y′＝y/z                                方程式(2b)

u＝f_xx′+c_x                             方程式(3a)

v＝f_yy′+_y                             方程式(3b)

以上计算可以将失真校正并入如下。实际镜头通常具有一些失真，所述失真具有两个主要分量：径向失真和轻度切向失真。用于透视变换的以上模型可以扩展为：

(x y z)=R×(X Y Z)+t                       方程式(4)

x′＝x/z                                   方程式(5a)

y′=y/z                                    方程式(5b)

方程式(6a)

方程式(6b)

方程式(7a)

方程式(7b)

其中：

●r²=x′²+y′²。

●k₁、k₂是径向失真系数；且

●p₁、p₂是切向失真系数。

在此处所述的实施例中，假定可以在无需使用更高量级的系数获得希望的校正精度。应当注意，失真系数并不取决于所观看的场景且保持相同而不管所采集的图像分辨率。失真系数可以和其它内部参数，如焦距(f_x，f_y)和固定焦距的原点(c_x，c_y)一起存储和使用。如果使用变焦镜头，那么内部参数可以存储为焦距的函数，或特定焦距的预设。

转动和转移矩阵(R&t)是内部参数，因为R矩阵和t矩阵是用来描述静止场景周围的相机运动，或者静态相机前面的物体的运动。在一项实现的实施例中，可以从已知校准模式的若干视野中估算内部相机参数和外部相机参数，每个视野是通过若干3D-2D点对应来描述。可使用的校准模式的一个例子是已知大小和方形尺寸且放置在已知世界空间坐标的空间中的白黑棋盘。举例而言，附接在扁平板上的扁平表面(如例如A3纸片)上的白黑棋盘，棋盘上的每个方形具有22 mm×22 mm的方形大小。举例而言，可以确定处于方形角落的3D点与2D图像点之间的对应并且在从世界空间坐标转换至相机坐标，且接着转换至上文参考方程式4至方程式7所述的图像坐标(以像素形式)时重新使用所述对应。

要处理的图像中的失真的校正可以改进系统使用反转透视变换来检测障碍物的能力。可以通过在由障碍物检测功能104输入视频流时对每个帧执行校正而校正图像。在上文参考图2所述的实施例方法中，接着使用经过校正的帧来计算差图像和组合图像。差图像是通过采用先前N个帧与第N个帧之间的差而获得的图像帧。将所述差图像相加以产生组合图像。接着使用反转透视映射（“IPM”）处理所述组合图像。

图4A至图4C是说明实施例失真校正图像上的反转透视变换图像的示意表示。图4A是在处理前为产生差图像和组合图像的失真校正图像400。图4A中的校正图像400可以是选择用于执行障碍物检测的N图像序列中的第N个图像。校正图像400还可以是N个图像序列的第一个。在此处所述实施例中，假定校正图像400是序列中的第N个图像。图4A中的校正图像400展示具有障碍物402、道路表面图案404、车辆406和面包车408的道路表面。图4A中展示的道路上的物体可以造成可在差图像已被组合且通过透视变换被处理后展示的可见图案。在实施例障碍物检测功能实现中，不大可能是障碍物的物体在变换图像中被缩小，或在分析变换图像时被排除。

图4B是通过使用先前N-1个图像计算差图像而产生的组合图像420的实施例。对于N=5，从第五个图像中各减去先前四个图像（N-1、N-2、N-3、N-4）以获得四个（N-1）差图像。可将图像帧N、N-1、N-2、N-3、N-4定义为在对应像素位置处含有灰度强度的矩阵|N|、|N-1|、|N-2|、|N-3|和|N-4|，其中N是选择用于分析的图像帧。接着可处理差图像的计算如下：

差图像Δ(N-1)=|N|-|N-1|                    方程式（8a）

差图像Δ(N-2)=|N|-|N-2|                    方程式（8b）

差图像Δ(N-3)=|N|-|N-3|                    方程式（8c）

差图像Δ(N-4)=|N|-|N-4|                    方程式（8d）

通过从帧|N|中的对应像素位置处的强度中减去一个帧（例如|N-1|）中的强度而执行方程式8中的差图像计算。接着将方程式8中计算的差图像相加以产生组合图像如下：

组合图像|C|=Δ(N-1)+Δ(N-2)+Δ(N-3)+Δ(N-4)   方程式（9）

通过矩阵相加每个差图像帧中的对应像素位置处的强度而执行差图像的加法。在图4B中展示用于图4A中所展示的图像400的组合图像420的实施例。图4B中的组合图像420说明差图像和组合图像的计算对图4A中的图像400中的物体的外观的影响，其通常将提取可能是潜在障碍物的物体的边缘。图4A中的障碍物402在图4B中展示为沿运动线稍有模糊的障碍物422。图4A中的道路表面图案404在图4B中的图案424处展示为原始图案的更为暗淡的表示，其包括沿运动线延伸的线。路缘408在图4B中的426处展示为暗淡的线。尽管已经有效滤除图像中不与障碍物的检测有关的大部分细节，然而图4B还展示了其它物体的轮廓。

应当注意，如果将N个图像的第一个选择作为用以获得差图像的校正图像，那么方程式（8a）及其下列和方程式（9）将仅在从第一图像中减去第一图像之后的图像上有所不同。

可以通过透视变换来变换图4B中的组合图像420，这将使用IPM来执行。IPM是用于将图像从一个透视映射至鸟瞰视野、或俯视视野的熟知技术，且无需更详细描述。图4C说明可通过对图4B的组合图像420执行IPM而产生的变换图像450的实施例。如上文所述，IPM产生从不同透视记录的图像的鸟瞰视野（或俯视视野）如例如一个角度的俯瞰视野。IPM变换具有延长可能是沿汇聚在投影点的线的障碍物的物体的边缘。投影点是表示相机的焦点且可能并未实际呈现在图像上的点。假定投影点大约在平行线段的中心且在长度上等于最靠近相机的图像的边缘。变换图像450展示由边缘形成的物体图像452呈现为朝投影点延伸。变换图像450还包括表示其它物体的线454，如图4A中的道路表面图案404。表示道路表面的线454并未呈现为朝投影点延伸且因此可与形成物体图像452的边缘区分开来。

图5A至图5B是说明反转透视映射差图像的物体分割的图像的示意表示。图5A展示失真校正后的原始图像500。图像500包括放置在运动区域504中的物体502，使得所述物体502将被视为在运动区域504中行进的车辆的障碍物。图5B展示使用IPM透视变换后的组合图像520。组合IPM图像520将来自图5A的原始物体502展示为IPM物体522。形成IPM物体522的边缘位于延伸成会聚在投影点且超出图像的最低边缘的延伸线530上。图5B中的组合IPM图像520说明可如何分析图像中的线以将可能呈现为障碍物的物体与在图像中出现为线但并不呈现为障碍物的物体或图案区分开来。图5B所说明的分析说明在例如图2的流程图中的步骤214中执行的分析。

还可以使用极直方图通过分割和分析进一步处理图5B中的组合IPM图像520。图6A至图6B说明使用极直方图的反转透视映射组合差图像的实施例分析。参考图6A，可以根据会聚在如图5B中的组合IPM图像520中所展示的投影点上的多条线如602所展示般分割组合IPM图像。图5B中的组合IPM图像520展示从图像520中识别的边缘延伸的线。如602所展示用于分割图像的多条线可以是形成为在多个角度下通过所述图像的线，投影点作为公共顶点。

如604处所展示，通过将形成每个角的线上的像素的像素强度值相加而形成极直方图。极直方图是如605处所展示的每个角处的总值的图。形成组合IPM图像中的物体的边缘的线在极直方图上以608处所展示的各自线的角度形成波峰。波峰的高度与由线指示的边缘的清晰度和长度大致相关，所述线是由沿可能是物体的某物的边缘的角度延伸。极直方图中划分的值可被归一化且可以如在606处使用例如低通高斯滤波器612对所述极直方图滤波以减小噪音的影响。接着可进一步分析606处的极直方图以更精确地识别障碍物。

如图6B所展示，可分析极直方图用于识别彼此靠近的波峰和波谷。基于如上文参考图2至图5B所述的图像的处理，极直方图的分析可能导致由根据所选标准来定位的波峰和波谷指示的障碍物的检测。可以通过确定例如极直方图中的两个波峰彼此有多靠近来组成物体的边缘，并且确定两个波峰之间的最小波峰应当是多少。亦即，如果两个波峰彼此靠近，那么其更有可能是可为障碍物的物体的边缘。随着波峰之间的距离增加，更有可能的是波峰不再表示相同物体的边缘。

参考图6B，极直方图中的波峰可识别为局部最大值622和局部最小值624，其中局部最小值624是波谷中的最小值。波谷可定义为彼此实质上接近的波峰之间的空间。接着可根据其彼此相对的位置而分析局部最大值622和最小值624。图6B中的630说明一个实施例，其是极直方图的扫描和扫描期间识别的分量的曲线图。如630所展示，可在640扫描极直方图以识别开始波峰sp。开始波峰sp和先前最小值之间的角度差可识别为对起始峰sv的开始上升sv（图6B中）。极直方图的扫描可继续通过经过识别的开始波峰sp至下个局部最小值，该下个局部最小值可被识别为中心波峰cp。扫描可继续通过中心波峰cp至结束波峰ep。开始波峰sp和结束波峰ep之间的角距离可被定义为中心波谷cv。扫描接着可继续至通过结束波峰ep的下个最小值以将结束上升ev确定为结束波峰ep和下个最小值之间的角度差。

一旦确定用于如上文所定义的sv、sp、cv、cp、ep、ev的一组波峰和波峰之间的角度差，便可应用条件以消除识别作为障碍物边缘的波峰，或者指示已经检测到障碍物。在实施例中，应用以下条件：

●如果sv+(ev-sv)(cp-sp)/(ep-sp)＞2cv，那么

○移除用来确定sv作为候选者障碍物边缘的局部波峰sp和最小值；

○设置sp＝ep；

○设置sv＝cp和ep之间的角距离；

○扫描新cv、ep和ev，并且重置(如果有)；

○如果未发现cv、ep和ev，那么重置sp、sv、cv、ep和ev且继续扫描极直方图。

●否则，识别将sp和ep识别为障碍物边缘。

●继续扫描直方图。

可以将候选者波峰识别为符合以上条件，其中650所展示的波峰对组可识别为用于表示障碍物的强候选者。一旦扫描极直方图，便可如图6B中的660所展示在扫描期间定位识别为候选者波峰的波峰以识别障碍物边缘。在定位波峰时，可以对极直方图中的波峰执行其它分析以更精确地识别障碍物边缘。举例而言，672的波峰可以使并未充分彼此接近的波峰幅值成为相同障碍物的边缘。可以对极直方图执行其它类型的分析以使障碍物检测更精确和精准。

应当注意，以上描述假定相机是在移动车辆中。所属领域技术人员将明白上述系统和方法不限于在车辆或移动结构中使用。如上所述的障碍物检测系统的实施例可以在移动表面上的静止结构中实现，且在可以使用障碍物检测的任何应用中实现。

应当了解且所属领域技术人员应当明白，结合图1至图6所述的一个或多个过程、子过程、或过程步骤可以由硬件和/或软件执行。如果所述过程由软件执行，那么所述软件可以驻留在适当电子处理组件或系统，如图1至图6示意性描绘的一个或多个功能组件或模块中的软件内存(未展示)中。软件内存中的软件可以包括用于实现逻辑功能（亦即，可以如数字电路或源代码的数字形式或以如模拟电路或如模拟电子、声音或视频信号的模拟源的模拟形式实现的“逻辑”）的可执行指令的有序清单，且可选择性嵌入任何计算机可读媒体中供指令执行系统、装置或器件，如基于计算机的系统、含处理器的系统或可以从所述指令执行系统、装置或器件选择性获取指令且执行所述指令的其它系统使用或与其结合。在本公开的内容中，“计算机可读媒体”是可能含有、存储或传达供指令执行系统、装置或器件使用或与其结合的程序的任何构件。计算机可读媒体可选择性为例如（但不限于）电子、磁、光学、电磁、红外或半导体系统、装置或器件。计算机可读媒体的更多实施例（但是并非详尽清单）将包括以下项：可携带计算机磁盘（磁）、RAM（电子）、只读存储器“ROM”（电子）、可擦除可编程只读存储器（EPROM或闪存）（电子）和可携带光碟只读存储器“CDROM”（光学）。应当注意，计算机可读媒体甚至可以是纸或在其上印刷程序的另一适当媒体，因为所述程序可以经由例如光学扫描纸或其它媒体而电子地采集，接着编译、解译或在需要时以适当方式另作处理，且接着存储在计算机存储器中。

已经出于说明和描述的目的呈现以上对实现的描述。本描述并不是详尽的且所主张的发明并不限于所公开的精确形式。修改和变动根据以上描述是可能的或者可从实践本发明时获取所述修改和变动。权利要求及其等效物界定本发明的范围。

Claims (23)

1.一种用于检测障碍物的系统，其包括：

一个相机，其位于装置上以采集所述装置正在其中移动的运动区域的图像的视频流；和

障碍物检测功能，其被构造来接收所述图像视频流，并且通过以下项来处理所述图像视频流：

从所述视频流中接收的N个图像的序列中选择第N个图像帧；

通过从所述第N个图像中减去N-1个先前图像中的每个而确定N-1差图像；

将所述N-1差图像相加以产生组合差图像；

对所述组合差图像执行透视变换以产生变换图像；

检测所述变换图像中的障碍物的边缘；和

产生指示所述运动区域中的障碍物的检测的信号。

2.根据权利要求1所述的系统，其中所述装置是在含有所述运动区域的道路表面上移动的车辆。

3.根据权利要求1所述的系统，其中所述装置从观察者看是静止的装置，其中所述装置位于含有所述运动区域的表面上，其中所述表面正相对于所述静止装置移动。

4.根据权利要求1所述的系统，其中所述图像帧N的数目在2与约10之间。

5.根据权利要求1所述的系统，其中所述障碍物检测功能被构造来：

在选择所述第N个图像帧之前校正所述图像视频流的镜头失真。

6.根据权利要求1所述的系统，其中所述障碍物检测功能被构造来使用反转透视映射（IPM）执行所述透视变换。

7.根据权利要求1所述的系统，其中所述障碍物检测功能被构造来分析所述变换图像，所述分析是通过识别沿并未延伸至所述变换图像的投影点的线形成的物体的边缘，并且不再对物体中经过识别的边缘作进一步处理而进行。

8.根据权利要求1所述的系统，其中所述障碍物检测功能被构造来通过将沿延伸至所述变换图像的投影点的线形成的物体的边缘识别为障碍物的边缘的候选者而分析所述变换图像。

9.根据权利要求1所述的系统，其中所述障碍物检测功能被构造来通过以下项而检测障碍物的边缘：

建构所述变换图像的极直方图；

根据用于属于障碍物的边缘的波峰的标准分析所述极直方图中形成的波峰。

10.根据权利要求9所述的系统，其中所述障碍物检测功能被构造来通过以下项而建构所述极直方图：

根据在由从投影点延伸的线形成的角度之间的区域分割所述变换图像；

将用于沿对应边缘线的角度形成潜在物体边缘的边缘线的像素的像素值相加；和

针对所述对应角度划分所述像素值。

11.根据权利要求10所述的系统，其中所述障碍物检测功能被构造来通过扫描所述极直方图而识别障碍物的边缘，且被构造来：

将波峰识别为值大于近角处的值的角处的值的局部最大值；

将波峰识别为值小于近角处的值的角处的值的局部最小值；

识别波峰和波峰之间的角距离为；

sp=开始局部最大值；

sv=先前局部最小值和sp之间的角距离；

cp=sp后的下个局部最小值；

ep=cp后的下个局部最大值；

cv=sp和ep之间的角距离；

ev=ep和ep后的下个局部最小值之间的角距离；

评估sv+(ev-sv)(cp-sp)/(ep-sp)>2cv，以将sp排除作为候选者波峰；

继续扫描额外的候选者波峰；

定位候选者波峰以指示检测到的障碍物。

12.一种使用位于装置上的单个相机而用于检测障碍物的方法，所述方法包括：

采集所述装置正在其中移动的运动区域的图像的视频流；

从所述视频流中接收的N个图像的序列中选择第N个图像帧；

通过从所述第N个图像中减去N-1个先前图像中的每个来确定N-1差图像；

将所述N-1差图像相加以产生组合差图像；

对所述组合差图像执行透视变换以产生变换图像；

检测所述变换图像中的障碍物的边缘；和

产生指示所述运动区域中的障碍物的检测的信号。

13.根据权利要求12所述的方法，其中所述装置是正在含有所述运动区域的道路表面上移动的车辆。

14.根据权利要求12所述的方法，其中所述装置由观察者看是静止的装置，其中所述装置位于含有所述运动区域的表面上，其中所述表面正相对于所述静止装置移动。

15.根据权利要求12所述的方法，其中图像帧N的数目在2与约10之间。

16.根据权利要求12所述的方法，其还包括：

在选择所述第N个图像帧之前校正所述图像视频流的镜头失真。

17.根据权利要求12所述的方法，其中使用反转透视映射（IPM）执行透视变换的步骤。

18.根据权利要求12所述的方法，其中检测障碍物的边缘的步骤包括：

识别沿并未延伸至所述变换图像的投影点的线形成的物体的边缘；和

不再对物体中经过识别的边缘作进一步处理。

19.根据权利要求12所述的方法，其中检测障碍物的边缘的步骤包括：

将沿线形成的物体的边缘识别为障碍物边缘的候选者，所述线延伸至所述变换图像的投影点。

20.根据权利要求12所述的方法，其中检测障碍物的边缘的步骤包括：

建构所述变换图像的极直方图；

根据用于属于障碍物的边缘的波峰的标准来分析所述极直方图中形成的波峰。

21.根据权利要求20所述的方法，其中建构所述极直方图的步骤包括：

根据由从投影点延伸的线形成的角度之间的区域分割所述变换图像；

将用于沿对应边缘线的角度形成潜在物体边缘的边缘线的像素的像素值相加；和

针对所述对应角度划分所述像素值。

22.根据权利要求21所述的方法，其中分析所述直方图中形成的波峰的步骤包括：

将波峰识别为值大于近角处的值的角处的值的局部最大值；

将波峰识别为值小于近角处的值的角处的值的局部最小值；

识别波峰和波峰之间的角距离为；

sp=开始局部最大值；

sv=先前局部最小值和sp之间的角距离；

cp=sp后的下个局部最小值；

ep=cp后的下个局部最大值；

cv=sp和ep之间的角距离；

ev=ep和ep后的下个局部最小值之间的角距离；

评估sv+(ev-sv)(cp-sp)/(ep-sp)>2cv，以将sp排除作为候选者波峰；

继续扫描额外的候选者波峰；

定位候选者波峰以指示检测到的障碍物。

23.根据权利要求22所述的方法，其中评估sv的步骤还包括：

移除用来确定sv作为候选者障碍物边缘的局部波峰sp和最小值；

设置sp=ep；

设置sv=cp和ep之间的角度差；

从cp中扫描所述极直方图以识别新组的cv、ep和ev；并且重新评估sv+(ev-sv)(cp-sp)/(ep-sp)>2cv。

Images