CN103359119A - 驾驶辅助装置 - Google Patents

Abstract

本发明在检测到烟状物体的情况下，也能根据其状态进行适当的驾驶辅助。识别控制器(4)针对在物体检测单元(50)中进行对拍摄图像的处理而检测到的物体在烟状物体判定单元(51)中判定是否为烟状物体，当判定为烟状物体时，检查烟状物体区域内的距离分布而添加“浓度”的属性信息，发送到操纵控制器(5)。操纵控制器(5)针对所检测到的烟状物体，在辅助动作等级确定单元(60)中基于烟状物体的属性信息而确定预碰撞制动控制的实施与否以及动作强度。由此，在检测到烟状物体的情况下，也能进行对应该状态的适当的驾驶辅助处理。

Description

驾驶辅助装置

技术领域

本发明涉及一种通过处理拍摄图像来识别行驶环境，从而给驾驶员提供驾驶辅助的驾驶辅助装置。

背景技术

近些年，在汽车等车辆中开发了如下技术，即，针对摄像机所拍摄的图像或雷达装置所发射的电波的反射波等进行分析，检测出车辆周围存在的物体，根据所检测的物体信息判断出本车辆与其他物体之间是否有碰撞可能性，当有碰撞可能性时，以鸣警报来唤起驾驶员的注意或者进行自动转向或制动控制以避免碰撞等方式进行驾驶辅助控制。

例如，专利文献1中公开了如下技术：检测出行进方向前方存在的物体，基于对物体的检测结果和预定的接触判定条件，进行本车辆与物体的接触相关的判定，根据该判定结果使油门传动机构、制动传动装置、转向传动机构、警示装置等在适当的时刻运行。

现有技术文献

专利文献

专利文献1：日本特开2010-260504号公报

然而，在特别寒冷的地带或海拔较高的地方等容易发生如下现象：例如道路上方悬浮着水蒸气块儿或者从前行车辆的排气管排出的废气就地停留而成为白色的烟状物。此时可能存在以未必适当的状态进行驾驶辅助的情况，例如这种水蒸气块或废气被检测为物体时，一概地进行刹车而使车辆停止在水蒸气块或废气跟前等，这会让驾驶员感到别扭。

发明内容

本发明是鉴于上述问题而提出的，其目的在于提供一种在检测出烟状物体的情况下，也能根据其状态进行适当的驾驶辅助的驾驶辅助装置。

本发明所提供的驾驶辅助装置，通过处理由搭载在车辆上的立体摄像机拍摄的拍摄图像而识别行驶环境，对驾驶员提供驾驶辅助，该驾驶辅助装置包含：物体检测单元，用于对在所述拍摄图像中相邻的距离信息进行群组化而检测出物体；烟状物体判定单元，用于判定所述检测到的物体是否为烟状物体，当判定为是烟状物体时，添加基于所述烟状物体的区域内的距离信息的分布的属性信息；辅助动作等级确定单元，基于所述烟状物体的属性信息，确定针对所述烟状物体的驾驶辅助的动作等级。

根据本发明，在检测到烟状物体的情况下，也能根据其状态进行适当的驾驶辅助。

附图说明

图1是驾驶辅助装置的整体构成图。

图2是表示基准图像和距离图像的一个例子的说明图。

图3是针对烟状物体的驾驶辅助处理的流程图。

图4是表示分割距离图像的各区块的说明图。

图5是表示用于提取图4的各区块中的物体距离的柱状图的一个例子的说明图。

图6是标绘在实际空间中的表示各点的群组化的说明图。

图7是表示在基准图像上被矩形框线包围而检测出的各物体的说明图。

图8是表示废气连同前行车辆一起被检测出的基准图像的说明图。

图9是表示当检测到废气时距离偏差较大的各点的说明图。

图10是表示烟状物体的说明图。

图11是表示烟状物体的框线区域内的距离信息的区块的说明图。

符号说明：

1为驾驶辅助装置，2为立体摄像机，3为图像处理引擎，4为识别控制器，5为操纵控制器，30为立体处理单元，50为物体检测单元，51为烟状物体判定单元，60为辅助动作等级确定单元，61为辅助控制单元。

具体实施方式

以下，参照附图来说明本发明的实施方式。

图1中示出的驾驶辅助装置1是被搭载在未图示的汽车等车辆中，通过处理用摄像机2拍摄的图像来识别外部的行驶环境，针对驾驶员提供各种驾驶辅助的装置。具体来讲，驾驶辅助装置1包含用于处理摄像机2的拍摄图像的图像处理引擎3、基于图像处理引擎3所处理的图像信息识别外部环境且由微型计算机构成的识别控制器4、基于外部环境的识别结果对用于给驾驶员提供驾驶辅助的各操纵动作进行综合处理的操纵控制器5。

操纵控制器5上连接有发动机控制、变速器控制、车体动作控制(包含制动控制)等各种车辆操纵用控制器(未图示)。操纵控制器5基于由识别控制器4进行的外部环境的识别结果，向车辆控制用各控制器输出操纵指令，执行如下的各种驾驶辅助：例如预测危险性而避免碰撞或减轻碰撞损失的预碰撞制动控制、在全车速范围具有追踪功能的巡航控制、监视本车辆在车道内的摇摆不定或脱离车道的情况而给驾驶员发出警报的警报控制等。

在本实施方式中，用于拍摄车外情况的摄像机2是从不同视角拍摄同一个物体的立体摄像机，下面将摄像机2适宜地记载为立体摄像机2。具体来讲，立体摄像机2由设置成光轴彼此平行的左右两台摄像机2a、2b构成，这两台摄像机2a、2b以预定的基线长度(光轴间隔)被机械地固定。各摄像机2a、2b是具有CCD或CMOS图像传感器等摄像器件的彩色摄像用摄像单元，并连同图像处理引擎3和识别控制器4一起作为立体摄像单元而构成为一体，并设置在例如车室内上部的前方窗口内侧。

在此，摄像机2a、2b可以改变快门速度，可实现彼此同步，而且一侧摄像机(左侧摄像机)2a被用作拍摄进行立体处理时的基准图像的主摄像机，另一侧摄像机(右侧摄像机)2b被用作拍摄进行立体处理时的比较图像的副摄像机。

图像处理引擎3读取在立体摄像机2中拍摄的左右一对图像，通过进行检索两个图像的对应点的立体匹配来检测出针对同一个物体的视差，并根据基于该视差的三角测量原理进行测距。为此，图像处理引擎3包含分别对左右摄像机2a、2b的拍摄信号进行前处理的前处理单元10a、10b、用于存储完成前处理的左右拍摄图像的输入图像存储单元15、针对输入图像存储单元15中所存储的拍摄图像进行各种校正处理的图像校正单元20、针对来自图像校正单元20的输出进行立体匹配处理并生成对距离信息进行图像化的距离图像的立体处理单元30、用于存储立体处理单元30中所生成的距离图像和在左右摄像机2a、2b中所拍摄的图像(进行前处理和校正处理之后的左右侧原图像)的输出图像存储单元40。

在本实施方式中，各摄像机2a、2b构成为摄像单元，该摄像单元内置有放大来自摄像器件的模拟拍摄信号的放大器和将模拟拍摄信号变换为预定位数的数字信号的A/D变换器等各种电路。因此，前处理单元10a、10b进行针对摄像机2a、2b的电子快门控制、对放大器的增益、偏移的控制和调整、包含根据查找表(LUT：Look Up Table)的γ校正等的亮度校正、色差校正等。并且，前处理单元10a、10b进行在输入图像存储单元15中记录数据时的地址控制，在输入图像存储单元15的预定的地址中存储左右拍摄图像(数字图像)。

图像校正单元20进行图像处理坐标的设定、图像大小的调整、进行地址控制等中的各种参数的设定、用于校正包含透镜歪曲变形的光学位置偏移的位置校正处理、用于进行噪音去除等的滤波校正处理等。详细地讲，针对从输入图像存储单元15读取的图像数据进行由各摄像机2a、2b的透镜歪曲变形、各摄像机2a、2b的安装位置偏移和焦距的偏差、甚至各摄像机的拍摄面偏移等引起的光学位置偏移的校正处理。

光学位置偏移校正是指使用仿射变换校正表对各摄像机2a、2b所拍摄的图像中的旋转偏移、并进偏移等进行几何校正，同时通过非线性校正表对透镜歪曲变形等非线性失真进行校正的方式，据此可对各摄像机2a、2b的光学位置进行等价的精密调整。并且，滤波校正处理使用例如3×3滤波器等空间滤波器来去除存储在输入图像存储单元中的左右数字图像(色阶图像)中所包含的噪音。该噪音去除处理针对通过仿射校正来进行了包含透镜歪曲变形校正的几何校正的图像数据，切换对应的滤波值来应用。

从上述的图像校正单元20输出的左右图像数据输入到立体处理单元30。立体处理单元30通过立体匹配处理从利用立体摄像机2拍摄的本车辆外部的周边环境的一对图像(基准图像和比较图像)求出对应位置的偏移量(视差)，并将基于该偏移量的距离信息以图像形态存储到输出图像存储单元40中。

作为立体匹配处理可以采用在基准图像内的某一点周围设定小区域(称为块或窗口，下面记载为块)，并在比较图像内的某一点周围设定相同大小的块后搜索对应点的公知的区域搜索法。在根据该区域搜索法的对应点的搜索处理中，在比较图像上移动块的同时进行与基准图像的块的相关运算，计算出相关值最大的块的坐标偏移量。该偏移量被置换成图像坐标系的对应位置的亮度值，作为图像形态的距离图像进行保存。例如，针对图2(a)中示例性示出的基准图像To的i、j坐标上的各块分配对应于偏移量的亮度值，由此形成如图2(b)中示出的距离图像Tz。

识别控制器4使用通过图像处理引擎3进行测距的物体的三维位置对本车辆周围所存在的物体进行检测处理。通过该识别控制器4进行的物体检测处理并不局限于建筑物和车辆等这种形状不发生变化的固定物体，还将飘游在空间中的颗粒群的块(水蒸气和废气)等烟状物体也作为检测处理对象。

当检测到这种水蒸气和废气等烟状物体时，识别控制器4检查该烟状物体区域内的距离的分布，作为“浓度”的属性信息进行添加，并发送到操纵控制器5。针对通过识别控制器4检测出的烟状物体，操纵控制器5基于其属性信息确定驾驶辅助的辅助动作等级。在本实施方式中，作为驾驶辅助的辅助动作等级，确定预碰撞制动控制的实施与否以及动作强度。

即，当检测到水蒸气和废气等烟状物体时，如果优先考虑安全而一概地启动预碰撞制动，则在水蒸气较薄而可以观察到前方的情况下导致执行有悖于驾驶员的判断的驾驶辅助，可能使驾驶员感到厌烦。另外，如果为了避免驾驶员感到厌烦而一概地禁止预碰撞制动，则在本车辆前方出现无法观察到前方的较浓的水蒸气等的情况下，水蒸气中或者水蒸气紧前方可能存在前行车辆，在确保安全方面可能发生阻碍。

因此，如图1所示，识别控制器4具有物体检测单元50、烟状物体判定单元51，操纵控制器5具有辅助动作等级确定单元60、辅助控制单元61，因此在检测到烟状物体的情况下，也能根据其状态进行合理的驾驶辅助处理。这种针对烟状物体的驾驶辅助处理可以按照图3的流程图中示出的顺序执行。下面，按照图3的流程图说明针对烟状物体的驾驶辅助处理。

最初的步骤S1为物体检测单元50的处理，基于来自图像处理引擎3的距离信息对彼此相邻的距离信息进行群组化而检测出物体。具体来讲，物体检测单元50从输出图像存储单元40读取前述的距离图像，并如图4所示那样，将距离图像Tz分割为以预定的像素宽度沿垂直方向延伸的长条状的区块Dn。并且，对于分配到属于长条状的各区块Dn的像素块的距离Z，如图5所示那样制作柱状图Hn，将频率Fn为最大的等级的等级值作为该长条状区块Dn中物体的距离Zn。在所有的区块Dn中进行该步骤。

针对每个区块Dn获得的距离Zn被标绘在实际空间中，并如图6所示那样，基于被标绘的各点之间的距离和方向性将彼此相邻的各点分别集中到群组G1、G2、G3...中进行群组化。在本实施方式中，使属于各群组的各点分别逼近直线，将各群组内的各点排列成大致平行于本车辆的车宽方向即X轴方向的群组标记为“物体”，将各点排列成大致平行于本车辆的长度方向即Z轴方向的群组标记为“侧壁”而进行分类。并且，同一个物体的可以看作为“物体”和“侧壁”之交点的地方标记为“拐角点”。并且，基于各标记的相邻关系，将各标记组合成一个物体进行检测。

并且，基于所检测到的各物体的信息，如图7所示那样，通过在基准图像上设定包围所拍摄的各物体的矩形框线，从而设定拍摄到各物体的各区域而在基准图像上检测出各物体。图7的例子中示出针对各标记将“侧壁S1”、“物体O1”、“侧壁S2”、“物体O2和拐角点C和侧壁S3”、“侧壁S4”、“物体O3”、“物体O4”、“侧壁S5和拐角点C和物体O5”、“物体O6”、“侧壁S6”分别作为一个物体进行检测的例子。据此检测到的各物体的信息，即属于物体的距离信息、群组的近似直线的端点和中点的坐标、基准图像中的各框线的顶点坐标等分别被存储到存储单元中。

下一个步骤S2、S3是烟状物体判定单元51的处理。具体来讲，步骤S2是判定检测到的物体是否为道路上的水蒸气和废气等烟状物体的处理，步骤S3是当判定为烟状物体时，添加基于烟状物体区域内的距离信息分布的属性信息的处理。

关于是否为烟状物体的判定，例如下面的公式(1)至(3)所示，计算出属于物体的距离Zn的各信息的平均值Zave，然后可以使用作为相对于该平均值的偏差量的平均偏差Zdif、属于物体的距离Zn的信息与相邻信息的距离Znadj之差的绝对值的平均值(距离差平均)ΔZave进行判定。

Zave＝∑Zn/ndet    ...(1)

Zdif＝∑|Zn-Zave|/ndet    ...(2)

ΔZave＝∑|Zn-Znadj|/ndet    ...(3)

在此，各式中的ndet表示在拍摄到各物体的基准图像上的矩形框线区域中的所有区块Dn中，有效地检测到距离Zn的区块Dn的总数，各式的分子中的总和针对该有效地检测到的距离Zn进行。

例如，如图8所示，在连同前行车辆Vah一起检测到从排气管排出的废气EG的情况下，若将至物体(即，废气EG和前行车辆Vah)的距离Zn的各信息标绘到实际空间中，则如图9所示，可以认为是对应于前行车辆Vah的距离Zn的各信息的各点会排列成直线状，但认为是对应于废气EG的距离Zn的各信息的各点之间距离Zn偏差较大，并且出现多处距离Zn的各信息之间的差较大的地方。因此，通过上述的公式(2)计算出的距离Zn的平均偏差Zdif成为较大的值，而且通过式(3)计算出的距离差平均ΔZave也成为较大的值。

平均偏差Zdif和距离差平均ΔZave分别预先设有阈值，通过分别将平均偏差Zdif、距离差平均ΔZave与阈值进行比较来判定是否为烟状物体。当平均偏差Zdif和距离差平均ΔZave这两者均大于各自的阈值时，将所检测到的物体判定为水蒸气和废气等烟状物体，除此之外的情况下，将所检测到的物体判定为车辆等的形状不发生变化的固定物体。

在此，利用平均偏差Zdif和距离差平均ΔZave这两个条件进行判断的理由是为了应对例如前方车辆等转弯而导致平均偏差Zdif大于阈值等情况，在这种情况下，距离差平均ΔZave会在阈值以下而可以准确地判断不是烟状物体，能够防止错误判断。

并且，根据上述判定，在判定为不是烟状物体而是一般的形状不会变化的物体的情况下，由辅助控制单元61执行一般的预碰撞制动控制(步骤S5)。在该预碰撞制动控制中，基于根据物体的距离信息等的本车辆与物体的相对速度(包含相对移动方向)，判断物体与本车辆之间的碰撞可能性。并且，当存在碰撞可能性时，运行未图示的制动传动装置而控制制动压力，避免与该物体的碰撞。

另外，当检测到的物体为烟状物体时，判断烟状物体的“浓度”而添加属性信息(步骤S3)。例如，如图10所示，当检测到形状不发生变化的物体O的基础上还检测到浮游在道路上方的作为烟状物体Omst的废气和水蒸气块等时，如图11所示，在包围烟状物体Omst的矩形框线区域内，检查距离信息的区块(长条状区块)Dmst，检查各长条状区块Dmst中比代表烟状物体Omst的距离还处于远方的距离信息占多少。

在本实施方式中，作为烟状物体的属性信息，将烟状物体的浓度划分为N1、N2、N3、N4这四个阶段设定属性。属性N1指烟状物体的浓度“浓”的状态，表示很难观察到前方。属性N2指烟状物体的浓度为“中间程度”，表示某种程度上能够观察到前方的状态。属性N3指烟状物体的浓度“薄”的状态，表示能够观察到前方。属性N4指烟状物体的浓度“非常薄”的状态，表示能够无障碍地观察到前方。

例如，在物体的框线区域内的各长条状区块中，当比物体还处于远方的距离信息所占的比例为30％以下时设定属性N1(浓)，占30％～50％以下时设定为属性N2(中间程度)，占50％以上时设定为属性N3(薄)，占70％以上时设定为属性N4(非常薄)。并且，针对添加了该属性信息的烟状物体执行基于属性信息的预碰撞制动控制(步骤S4)。

在基于该烟状物体的属性信息的预碰撞制动控制中，首先，作为辅助动作等级确定单元60的处理，基于烟状物体的属性信息确定预碰撞制动控制的实施与否以及动作强度。作为实施预碰撞制动控制时的动作强度，假设有警报、碰撞可能性判断、碰撞判断这三个阶段的等级，如下所述，通过基于N1～N4的属性设定动作等级，从而在由辅助控制单元61进行的预碰撞制动控制中允许制动动作而产生对应于各等级的减速度。

N1(浓)：

允许警报制动、碰撞可能性判断制动以及碰撞判断制动动作

N2(中间程度)：

允许警报制动和碰撞可能性判断制动动作

N3(薄)：

仅允许警报制动

N4(非常薄)：

禁止针对烟状物体的预碰撞制动

这里，警报制动是减速度较小的警报性制动，最多可以在碰撞之前的2.2秒开始动作。并且，碰撞可能性判断制动是碰撞的可能性高的情况下进行的制动，最多可以在碰撞之前的1.4秒开始动作。此外，碰撞判断制动是为了避免碰撞或减轻损失而产生最大的减速度的制动，是最多可以在碰撞之前的0.6秒开始动作的制动。

综上所述，在本实施方式中，当检测到水蒸气和废气等烟状物体时，区分其浓度而设定属性信息，基于所设定的属性信息确定作为针对烟状物体的驾驶辅助的预碰撞制动控制的实施与否以及动作强度。由此，可以防止预碰撞制动的无谓的运行，可以实现预碰撞制动的有效运行。

Claims (3)

1.一种驾驶辅助装置，通过处理由搭载在车辆上的立体摄像机拍摄的拍摄图像而识别行驶环境，对驾驶员提供驾驶辅助，其特征在于，包含：

物体检测单元，用于对在所述拍摄图像中相邻的距离信息进行群组化而检测出物体；

烟状物体判定单元，用于判定所述检测到的物体是否为烟状物体，当判定为是烟状物体时，添加基于所述烟状物体的区域内的距离信息的分布的属性信息；

辅助动作等级确定单元，基于所述烟状物体的属性信息，确定针对所述烟状物体的驾驶辅助的动作等级。

2.根据权利要求1所述的驾驶辅助装置，其特征在于，所述烟状物体判定单元基于所述距离信息的分布区分所述烟状物体的浓度，并将其设定为所述属性信息。

3.根据权利要求1或2所述的驾驶辅助装置，其特征在于，所述辅助动作等级确定单元基于所述属性信息，确定针对所述烟状物体的预碰撞制动控制的实施与否以及动作强度。

Images