CN101303735A - 探测车辆盲点区域内运动物体的方法及盲点探测装置 - Google Patents

Abstract

本发明涉及探测车辆盲点区域内运动物体的方法及盲点探测装置。具体地，提供一种探测车辆盲点区域内运动物体的方法，包括：拍摄所述盲点区域的序列图像，将每个所述序列的所述图像分割成图块，识别在连续的所述序列图像之间进行运动的运动图块，确定所述运动图块的所述运动的方向和距离；分组相邻的运动图块，对于这些运动图块，其在预定方向间隔内的方向以及在预定距离间隔内的距离已经被确定，并且基于所述分组步骤确定所述运动物体。同时还提供一种相应的盲点探测装置。

Description

探测车辆盲点区域内运动物体的方法及盲点探测装置

技术领域

本发明涉及一种探测位于车辆盲点区域内运动物体的方法、一种盲点探测装置以及一种计算机程序产品。

背景技术

对于车辆，众所周知即使有后视镜，也不能容易地观察到位于车辆驾驶员背后的某个区域，也就是盲点区域。在车辆变换车道的情况下，当位于盲点区域中的运动物体，例如试图在附近车道上通过的另一辆车辆，未被车辆驾驶员观察到时，危险状况可能发生。

因此，汽车制造商普遍地研究安全应用程序以便向车辆引进盲点信息系统。这些盲点信息系统通常是基于诸如雷达、声速和激光雷达(激光扫描仪)之类主动式传感器。通常使用红外线的或立体摄像机，因为它们提供与深度相关的信息。录像也被考虑，但主要用于前视应用程序。

发明内容

本发明的目的是提供一种探测位于车辆盲点区域内运动物体的改进方法和装置。

分别通过根据权利要求1，17和21的方法、盲点探测装置和计算机程序产品可达到这个目的。

进一步的实施例由从属权利要求限定出。

本发明更多的细节参考附图和确定的说明将变得明显。

附图说明

图1所示为本发明实施例的主要步骤；

图2所示为根据包括错误警报探测和将图像分割区域的本发明的更进一步的实施例的步骤；

图3所示为根据本发明一个实施例的盲点探测装置；

图4所示为具有错误警报探测单元的盲点探测装置的另一个实施例；

图5所示为具有分割区域单元的盲点探测装置的更进一步的实施例；

图6所示为装备有根据本发明更进一步的实施例的盲点探测装置的车辆的顶视图；

图7所示为根据本发明另一个实施例的更详细步骤；

图8所示为图示错误警报的示例图；

图9所示为错误警报探测单元的实施例的框图；

图10所示为分割区域单元的实施例的框图；

图11所示为本发明更进一步的实施例的顶视图，图示了区域分割；

图12所示为示意图以在本发明更进一步的实施例中图示区域分割；

图13示意性地示出了根据本发明更进一步的实施例的不同区域中的不同比例化过程；

图14所示为本发明另一个实施例的详细框图。

具体实施方式

以下描述本发明的实施例。值得注意的是以下所有描述的实施例可以以任何方式组合。也就是，并不限制某些描述过的实施例可能不与其他实施例组合。

图1中，在步骤S100中，例如通过安装在车辆上的摄像机拍摄序列图像，以便拍摄到位于车辆附近的盲点区域的所述序列图像。所述图像可以称之为“帧”或“半帧”。

在步骤S102中，所述序列图像被分割成图块，如各具有8×8像素的图块或各具有16×16像素的图块，但是不同的图块尺寸或图块形状均在本发明的范围内。

在步骤S104中，在连续的所述序列图像之间运动的运动图块被识别。这可以通过估算来自图块的像素值与所述序列中的序列图像的相应图块比较的绝对误差的总和或估算其他已知的误差量度标准比如互相关或平均平方误差来实现。

在步骤S106中，运动的距离和方向是例如通过比较连续的图像中运动图块的位置决定的。

在步骤S108中，图像中相邻的图块分组在一起，以便确定其在预定方向间隔内的方向和预定距离间隔内的距离。预定方向间隔和预定距离间隔被用来探测在基本相同的方向经过基本相同的距离内的运动。预定间隔可以是固定的或，也可以是例如根据所述运动图块的实际方向或距离调节的。这种运动可以通过计算在连续图像的图块之间的运动向量和比较所述运动向量来确定。

这些分组的相邻图块被认为是在车辆所述盲点区域内的运动物体。在该说明书中也使用“分割”、“分段”或“聚类”替代“分组”用语。

在一个实施例中，至少一个错误警报在所述运动物体之中被确定，并且警报仅当所述运动物体中的至少一个不是错误警报的时候才发生。否则这些错误警报可能扰乱不再相信盲点探测装置的车辆驾驶员或可能导致事故和受伤。

在更进一步的实施例中，所述运动物体的物体尺寸被确定并且与预定尺寸比较。如果所述物体尺寸小于预定尺寸时产生错误警报。运动如果仅有这种小物体位于车辆的盲点区域中，小物体是不会被认为是运动车辆的危险的，以致于没有警报产生。预定尺寸之下的小物体也许是没有车辆。

在更进一步的实施例中，所述图像内的消失点被确定，所述预定尺寸取决于所述运动物体离所述消失点的距离。图像内的消失点通常被作为透视图内平行线会聚的一点。而且在成像过程中，这一点可以被确定。在图像消失点附近的物体比更靠近车辆的物体在图象中具有更小的尺寸。

靠近消失点的物体更小，因此成像不同。

在更进一步的实施例中，图像内的消失点被识别，确定运动物体的物体尺寸和确定运动物体离消失点的垂直距离。在车辆盲点区域内消失点之上又小又高的物体通常没有危险，因为这些物体不在车道附近而是在空中某处。

在更进一步的实施例中，计算、估算至少一个所述运动物体的直方图和/或边缘型统计方法，并且基于所述估算步骤产生错误警报。这种直方图和/或边缘型统计方法可能包括方差、四分位数间距(IQR)、平均值、中间数、能量、边缘能、均匀性、光顺性、第三势差和/或熵。这些统计方法可从描述图像得知，并且可以用来将运动物体分类。例如，路标通常在直方图中显示两个峰值，一个在低亮度值而另一个在高亮度值。路标不会被认为是车辆的威胁，导致产生相应的错误警报。

在更进一步的实施例中，估算所述运动物体的轨迹并基于所述估算步骤产生错误警报。通常噪声仅在短时间情况下出现，并且这种噪声没有轨迹。如果最后帧的轨迹点的数量已经被探测为运动物体并且这些帧的平均运动是正的，可以仅考虑运动物体的探测。

在更进一步的实施例中，确定运动物体的尺寸，如果所述尺寸大于预定尺寸，则计算所述运动物体在区域表面和凸包之间的差值。如果所述差值在预定差值之上，重新定义运动物体。如果运动物体的区域太大并具有太多凹入部分，就必须做进一步考虑，例如，可以划分为多个运动物体。

根据更进一步的实施例，所述序列的所述图像被分割为至少两个区域。通常在消失点附近有很小且具有低速运动的物体，而在另一方面，在图像前部或更靠近的位置有很大且具有高速的运动物体。因此图像的不同范围具有不同特性。通过将图像分割为至少两个区域而对每个区域进行适当地处理。分割位置分别依赖于摄像机安装角度或消失点。例如，当图像被分割成两个区域时，该位置可在图像宽度的中间与三分之一处之间的某个位置。这些区域可以稍微重叠，以避免边界问题和获得在区域之间更少的急剧变化。

如图2所描述的，在步骤S200中图像被分割成区域，在步骤S202中图块在区域内分组并在步骤S204中根据不同的区域调节错误警报探测。在该实施例中，运动的估算和使用的算法可更好地适应于区域内不同特性。运动估算的搜索范围可以适应于该区域以及匹配的图块尺寸。例如，具有消失点的区域内的搜索范围和匹配图块尺寸比没有消失点的区域内更低。

在更进一步的实施例中，因为观察点是变化的，在所有区域内分类的训练数据是不同的。具有消失点的区域内的障碍物可从前面观察，而右边区域，即，没有消失点的区域的障碍物可从侧面观察。

根据更进一步的实施例，不同区域可以修剪或重新采样为不同的分辨率，因此，在降低比例的情况下，即，使用较低的像素，可减少计算时间；并且在升高比例的情况下，即，计算像素值之间额外的像素值，允许亚像素精度。

图3描绘盲点探测装置300的实施例，其包括摄像机302，处理器304和指示器306。摄像机302配置为拍摄盲点区域的图像序列。单目摄像机可作为摄像机302用于提出的方法和系统。

处理器304配置为将每个所述序列的所述图像分割成为图块，以便识别在所述序列的连续图像之间的进行运动的运动图块，从而确定所述运动图块的所述运动的方向和距离，并分组相邻的运动图块，以便确定其在预定方向间隔内的方向和预定距离间隔内的距离并确定所述运动物体。

如果在所述盲点区域内的运动物体被探测，指示器306配置为指示危险情况。该指示器可以是警报声或光信号，例如，发光二极管(LED)，其闪烁或连续发光。

盲点探测装置可以包括基于雷达、激光雷达，GPS(全球定位系统)或超声波的有源传感器308(图3中示意地)以使用所述有源传感器识别盲点探测装置。

图4所示为盲点探测装置300更进一步的实施例，其中错误警报探测单元400附加地与处理器304和指示器306连接。错误警报探测单元配置为在所述运动物体中识别错误警报，指示器306进一步配置为如果至少一个所述运动物体不是错误警报时产生警报。

图5所示为盲点探测装置更进一步的实施例，其还包括与摄像机302和处理器304连接的分割区域单元500。该分割区域单元500配置为将所述序列图像分割成至少两个区域。

图6所示为车辆602的盲点区域600的顶视图，该车辆行驶在与左车道604以及右车道606一起的三车道路面的中间车道603上。左摄像机610安装在左后视镜612上，右摄像机613安装在右后视镜614上。左摄像机610具有左视角620，右摄像机613具有右视角622。第一车辆630和在所述第一车辆630后的第二车辆632行驶在左车道604。在右车道606上，第三车辆640接近盲点区600。还示出了“可探测区域”640。盲点区600和可探测区域640为左视角620和右视角640的部分。当车辆，如第一车辆630，进入盲点区域600内时，不管它速度如何都被视为一种威胁。一旦车辆，如第三车辆634，进入可探测区域640，其可通过盲点探测装置探测。第三车辆634如果其速度太高也会被视为一种威胁。

在可探测区域640之外的车辆，如第二车辆632，不会被归为一种威胁，但是也可以被跟踪。

盲点探测装置使用安装在本车602上的单个摄像机传感器探测处于盲点区域600中的车辆630，632，634。在左侧和右侧的盲点区域600操作相似。如果车辆如第一车辆630在盲点区域600内或其他车辆如第二车辆634以高速将要进入盲点区域600，如果驾驶员试图变换车道，通过光信号(例如发光二极管LED)或声信号向本车602的驾驶员发出警报。

图7中的框图所示为所提出的方法的处理步骤。摄像机610，612拍摄序列图像，其随后在步骤S702中预处理，例如通过滤波。在步骤S704中执行基于图块运动的估算，其为步骤S706的后处理。在相同方向上或具有相同运动矢量的图块在步骤S708中分割或分组成运动物体。在步骤S710中探测在运动物体中的错误警报。然后，箱式拟合(boxfitting)步骤S712的方块执行为适合的车辆的抽象模型以便为在步骤S714执行的角度/距离/速度估算查找与路面的接触点。然后，在步骤S716识别威胁或危险并发出相应的警报例如给出声信号。角度/距离/速度估算步骤S714帮助在不危险的距离内识别物体。

图8所示为具有分组的图块的图像。具有相同运动矢量的相邻的图块使用相同的数字标记(1，2，3)。不同区域各标记相应的数字。在该分组或分割步骤后，不知该区域是对于车辆802成功的探测，还是对于具有路标804的支柱840或人行横道标记806的错误警报。

图9所示为错误警报排除原理的框图。在包括正确或错误的分割的区域原始分割后，，基于区域尺寸和位置执行可能的检测900，其中阈值取决于到消失点的距离。基于结构测量或基于直方图特征的特征提取902和相应的分类904被用来探测错误警报，以仅获得作为运动物体的正确的分割区域，所述错误警报随后被排除。

基于局部图块的运动估算被用作运动物体的探测。探测到的运动物体被分割成描画物体的区域。由连接的图块组成的每个邻近的区域用不同的数字标记，其中，如果区域与4个(或8个)直接邻近的图块中的至少一个接触，则将图块与区域连起来。然后，穿过所有区域的回路被用来单独地考虑每个邻近的区域。然后决定这些区域中的哪个是错误警报。该决定是基于不同的可行性因素的。

具有少于某个阈值的图块的标记区域被排除。该阈值取决于到消失点的距离，该消失点处，汽车或车辆通常在自身障碍物之后没有被覆盖。由于如客车或货车的车辆具有最小的尺寸，在消失点上(背景/天空)又小又高的探测区域也被排除。在矢量场的后处理中，昂贵的滤波通过这种方法可被减少。

此外，对于这些区域计算直方图和基于边缘的统计纹理测度。基于这些测度，决定是否排除该区域或进一步考虑它。分类器被用于做决定。例如，在直方图中路标通常表示为两个峰值，一个以高亮度值，另一个以低亮度值。也可以使用Haar变换(通常用于人脸识别)或其他特征如方差、四分位数间距(IQR)、平均值、中间数、能量、边缘能量以及在所有直方图中的方差或平均值被用到。

此外，还用到了统计纹理测度的一致性、光顺性、第三势差和熵。光谱纹理特征可被用来探测周期并且FFT(快速傅里叶变换)不需要通过使用相位修正运动估算来再次不被计算。

灰度直方图的统计动差可以被用来描述图像纹理。如果z表示在范围[0，L-1]内代表灰度的离散随机变量，以及如果p(z_i)，i＝0，1……L-1是标准化直方图，那么可应用以下方程：

平均值m为：

$m=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{z}_{i}p\left(z_i\right)$

方差σ为：

$\mathrm{\σ}=\sqrt{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{(z_i-m)}^{2}p\left(z_i\right)}$

光顺性R为：

$R=1-\frac{1}{1+{\mathrm{\σ}}^2\left(z\right)}$

其中R接近0代表具有恒定亮度的区域(方差接近0)，R接近1代表具有大的亮度变化的区域(方差值较大)

第三势差μ₃为：

${\mathrm{\μ}}_3=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{(z_i-m)}^{2}p\left(z_i\right)$

并表示直方图的偏斜。

一致性U为：

$U=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}p{\left(z_i\right)}^2$

熵E为：

$E=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(z_i\right){\log }_{2}p\left(z_i\right)$

大多数其他错误警报通过保持其轨迹可以被抑制。通常噪声仅在短时间内发生并且没有轨迹。例如，如果最后帧的许多轨迹点已经被探测为障碍物并且帧的这些数量的平均运动是正的，则运动物体不会被认为是错误警报。在每秒30帧(fps)时，例如可测试最后三个帧的两个轨迹点是否已知。较长的历程可能会产生更好的决定但也会导致更低的系统反应时间。

如果区域太大且具有太多凹部，就得作进一步考虑。这很容易被测量为区域运行和凸包表面的不同。运动矢量的直方图被认为是这个区域并且调节阈值。

图10所示为区域分割原理的框图。通常序列图像是相似的。在消失点附近有低速运动的小汽车。亚像素精度在这里有很大的帮助，因为运动通常在零像素和一像素之间。在另一方面，在图像右手侧有大的快速运动的物体。因为所有物体随着距离变高(在消失点左侧)变得越小，所以方差增加。更近汽车的金属薄片具有更小的方差因为它们变得更大(每个块)。另外在图像左边的盲点附近有更多的纹理。因此图像被分割成至少两个区域，例如左区域1202和右区域1204，如图12所示。因此图像被分割成两个区域(远区域和近区域)。

图11所示为具有些微重叠区域1102和1104的交向摄像机的顶视图。分割位置(参见图12的线1206)分别取决于摄像机的安装角度或消失点1210。例如，可以是在图像中间宽度和三分之一宽度之间的某个位置。为了避免边界问题和获得较少的急剧变化，区域可以些微重叠。

因此，运动估算和所有算法可以更好地适应两个区域的不同特性。例如，运动估算的搜索范围可适应于该区域。搜索区域和匹配的图块尺寸在右区域1204中小于在左区域1202中。

由于观察的变化，用于分类的训练数据在区域内是不同的。在左区域1202内的作为运动物体的障碍物可从前面观察，而在右区域1204内的障碍物可从侧面观察。

如图13所示，被分割成两个区域1302和1304的图像1300可通过超抽样或亚抽样像素的数目而进一步处理。因此右区域1304的结构相当大，执行亚抽样以减少计算时间。而在左区域1302，执行升高比例以允许亚像素精度。这些区域的结果随后可以再次合并。

单目被动盲点探测装置是基于运动估算的(基于图块的)，而传统方法通常存在问题。通过提出的方法和装置，能够基于上述标准成功地排除错误报警，并且大范围搜索和与运动模型相关的问题可使用区域的分割来操控。因此可改善系统性能、精度和可信度。除了改善性能，区域的分割还能减少计算成本(搜索范围)。

单目摄像机只需要一个摄像机，而立体方法需要一个昂贵的第二摄像机和复杂的深度估算。提出的装置和方法是完全被动的，这使得其非常便宜并且与其他有源传感器没有干涉。该系统即可操控单色也可操控彩色图像。

图14所示为提出的方法的概括图。摄像机传感器S1402拍摄的序列图像随后在步骤S1404中预处理，例如滤波步骤。随后在步骤S1406中执行基于图块的运动估算，其中在步骤S1408中使用向前/向后的运动矢量组合，在下一步骤S1410中应用中值滤波器。边界运动矢量在下一步骤S1412中得到抑制，并且在下一步骤S1414中执行笛卡尔坐标到极坐标的变换。在下一步骤S1416中不可信的运动矢量被抑制且随后在下一步骤S 1418中执行具有相似运动矢量的图块的分割或分组。在步骤S1420中物体关闭且在步骤S1422中标记相应的区域。在步骤S1424中执行在由摄像机S1402拍摄的序列图像上的特征提取，并且在下一步骤S1426中借助于训练数据对特征进行分类。在步骤S1426分类的结果和在步骤S1422标记区域的结果结合在一起，所以对于所有标记，执行在错误警报排除步骤S1432，并且因此在步骤S1430中考虑区域轨迹。然后为所有标记执行步骤S1430中的箱式拟合和步骤S1432中的距离计算，以便随后在步骤S1434中可执行正确的决定。

Claims (21)

1.一种探测车辆盲点区域内运动物体的方法，包括：

拍摄所述盲点区域的序列图像；

将每个所述序列的所述图像分割成图块；

识别在连续的所述序列图像之间进行运动的运动图块；

确定所述运动图块的所述运动的方向和距离；

分组相邻的运动图块，对于这些运动图块，其在预定方向间隔内的方向以及在预定距离间隔内的距离已经被确定；和

基于所述分组步骤确定所述运动物体。

2.如权利要求1所述的方法，其特征在于，还包括：

确定所述运动物体中的至少一个错误报警；和

如果所述运动物体的至少一个错误警报不是错误警报，产生警报。

3.如权利要求2所述的方法，其特征在于，包括：

确定所述运动物体的物体尺寸；

将所述物体尺寸和预定尺寸进行比较；和

如果所述物体尺寸小于预定尺寸，产生所述错误警报。

4.如权利要求3所述的方法，其特征在于，还包括：

确定所述图像内的消失点，其中所述预定尺寸取决于所述运动物体离所述消失点的距离。

5.如权利要求2所述的方法，其特征在于，还包括：

识别在所述图像内的消失点，

确定所述运动物体的物体尺寸；

确定所述运动物体离所述消失点的垂直距离；和

如果所述物体尺寸在预定尺寸之下和所述垂直距离在预定距离之上，产生所述错误警报。

6.如权利要求2至5中任一项所述的方法，其特征在于，还包括：

计算至少一个所述运动物体的直方图和/或基于边缘的统计测度；

估算所述直方图和/或基于边界的统计测度；和

基于所述估算步骤产生所述错误警报。

7.如权利要求6所述的方法，其特征在于，所述统计测度是方差、四分位数间距、平均值、中间数、能量、边缘能、一致性、光顺性、第三势差和/或熵。

8.如权利要求2至7中任一项所述的方法，其特征在于，还包括：

估算所述运动物体的轨迹；和

基于所述估算步骤产生所述错误警报。

9.如权利要求2至8中任一项所述的方法，其特征在于，还包括：

确定所述运动物体的尺寸；

如果所述尺寸大于预定尺寸，计算区域表面和凸包之间的差值；和

如果所述差值在预定差值之上，重新确定所述运动物体。

10.如权利要求1至9中任一项所述的方法，其特征在于，还包括：

将所述序列的所述图像分割成至少两个区域。

11.如权利要求10所述的方法，其特征在于，还包括：

在分组所述相邻图块的所述步骤中在所述至少两个区域内使用不同的标准。

12.如权利要求11所述的方法，其特征在于，不同的搜索区域和/或不同的匹配图块尺寸被用作不同的标准。

13.如权利要求10至12中任一项所述的方法，其特征在于，还包括：

使用不同的训练数据以便在所述至少两个区域内识别运动物体。

14.如权利要求10至13中任一项所述的方法，其特征在于，还包括：

在所述至少两个区域内不同地粗化或细化图像。

15.如权利要求2至9中任一项所述的方法，其特征在于，还包括：

将所述序列的所述图像分割成至少两个区域；和

使用不同的阈值以便在不同的区域识别错误警报。

16.如权利要求10至15中任一项所述的方法，其特征在于，还包括：

将所述序列的所述图像分割成两个区域。

17.用于车辆的盲点探测装置，包括：

摄像机，配置为拍摄所述盲点区域的序列图像；

处理器，配置为将每个所述序列的所述图像分割成图块；识别在连续的所述序列图像之间进行运动的运动图块；确定所述运动图块的所述运动的方向和距离，对已经确定其在预定方向间隔内的方向和预定距离间隔内的距离的运动图块，分组相邻的运动图块，；且还配置为确定所述运动物体；和

指示器，其配置为在探测到所述盲点内的运动物体的情况下指示危险状况。

18.如权利要求17所述的盲点探测装置，其特征在于，还包括：

连接到所述处理器和所述指示器的错误警报排除单元，所述错误警报排除单元配置为识别在所述运动物体中的错误警报；其中所述指示器进一步配置为如果至少一个所述运动物体不是错误警报，产生警报。

19.如权利要求17至18中任一项所述的盲点探测装置，其特征在于，还包括：

分割区域单元，配置为将所述序列的所述图像分割成至少两个区域。

20.如权利要求17至19中任一项所述的盲点探测装置，其特征在于，还包括：

有源传感器，配置为确定至少所述运动物体的距离。

21.计算机程序产品，包括计算机程序代码，当将该代码装入处理器时，可执行如权利要求1至16中任一项所述的方法。

Images