CN102341273A - 障碍检测装置、具有该障碍检测装置的障碍检测系统、以及障碍检测方法 - Google Patents

Abstract

提供了一种即使在低照度环境中也能够在不需要除了成像装置之外的传感器的情况下检测出现在车辆后方的障碍的障碍检测装置。障碍检测装置(20)在车辆后退时从所述车辆的后方区域的图像检测障碍。所述障碍检测装置(20)包括：差分图像创建单元(23)，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定单元(26)，基于由差分图像创建单元(23)获得的所述差分图像中差分发生在图像中的位置，来判定是否存在障碍。

Description

障碍检测装置、具有该障碍检测装置的障碍检测系统、以及障碍检测方法

交叉引用

本申请要求2010年3月2日在日本提交的专利申请No.2010-045290的权益，通过引用将其内容合并于此。

技术领域

本发明涉及一种检测障碍的障碍检测装置、包括该障碍检测装置的障碍检测系统、以及障碍检测方法。更具体地，本发明涉及一种用于在低照度环境中检测出现在车辆后方的障碍的障碍检测装置、包括该障碍检测装置的障碍检测系统、以及障碍检测方法。

背景技术

近年来，已经广泛地使用了车载摄像头。车载摄像摄像头安装在车辆上，用于支持安全驾驶的目的。特别地，在车辆后退时，如果驾驶员在视觉上检查车辆的后方区域，则驾驶员处于不自然的姿势，这使他/她难以进行驾驶操作。因此，广泛地采用后视系统，在后视系统中，当车辆后退时，利用车载摄像头对车辆的后方区域进行摄影，并且将视频显示在驾驶员座位处的显示器上。通过由后视系统向驾驶员提供由车载摄像头获得的车辆后方区域的视频，驾驶员还可以检查从驾驶员的座位不能在视觉上检查的范围中的情况。如此，通过后视系统，在车辆后退时，驾驶员可以以舒服的姿势通过显示器在视觉上判定是否存在出现在车辆后方的诸如行人或立体物的障碍。

然而，在后视系统中，存在这样的可能：在低照度环境中(尤其是在夜间，等等)，不能充分发挥车载摄像头的性能，因此仅能呈现不清晰的视频。因此，仅呈现车辆的后方区域的视频不足以使驾驶员判定是否存在障碍，从而导致驾驶员忽略障碍的存在的可能性。

关于这种问题，专利文件1介绍了如下技术：在对车辆的后方区域进行摄影的摄像头之外，还使用利用超声波、无线电波、激光等的传感器，从而，在夜间，使用传感器信息而非摄像头视频来进行关于是否存在障碍的判定，并利用视频呈现是否存在障碍。

专利文件1：日本专利国内公表公报特表No.2002-029345

发明内容

本发明所要解决的问题

然而，在传统技术中，因为在摄像头之外还需要传感器，所以存在成本增加以及车辆安装变得麻烦的问题。此外，近年来，已经存在着如下趋势：摄像头使用鱼眼透镜等来呈现广角图像。因此，存在这样的问题：为了利用激光传感器等在宽视角的全范围内进行扫描来检测障碍，需要使用多个传感器。

做出本发明来解决传统技术中的问题，并且本发明的目的在于提供一种即使在低照度环境中也能够检测出现在车辆后方的障碍并且除了摄像头之外不需要传感器的障碍检测装置，并且提供一种包括该障碍检测装置的障碍检测系统、以及障碍检测方法。

解决问题的手段

在车辆后退时从车辆的后方区域的图像检测障碍的障碍检测装置包括：差分图像创建单元，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定单元，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

在上述障碍检测装置中，当图像差分发生在图像中的水平线位置上方的部分中时，所述障碍判定单元可以判定存在障碍。

在上述障碍检测装置中，所述障碍判定单元可以从所述车辆获得所述车辆的舵角(rudder angle)信息，并以图像中所述车辆可能行进的车辆行进区域为目标，根据所述舵角信息判定是否存在障碍。

上述障碍检测装置可以从所述车辆获得有关所述车辆的刹车灯的开/关状态的信息，并且，基于所述有关所述刹车灯的开/关状态的信息，所述差分图像创建单元可以创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像。

在上述障碍检测装置中，所述差分图像创建单元可以创建表示图像中的红色成分的差分的差分图像。

上述障碍检测装置还可以包括块划分单元，其将图像划分为多个块，并为每个块确定代表值，并且，所述差分图像创建单元可以获得所述车辆的刹车灯开启时拍摄的图像中的每个块的代表值与所述车辆的刹车灯关闭时拍摄的图像中的每个块的代表值之间的差分，作为所述差分图像，所述代表值由所述块划分单元确定。

障碍检测系统包括：成像装置，在车辆后退时对车辆的后方区域进行摄影；以及上述障碍检测装置，从利用所述成像装置拍摄的图像检测障碍。

在上述障碍检测系统中，所述成像装置可以包括曝光控制机构，所述曝光控制机构控制所述成像装置的曝光条件，以使得刹车灯开启时获得的图像与所述刹车灯关闭时获得的图像具有相同的曝光条件，所述图像在差分图像创建单元中创建差分图像。

用于在车辆后退时从所述车辆的后方区域的图像检测障碍的障碍检测方法包括：差分图像创建步骤，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定步骤，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

一种障碍检测程序使得在车辆后退时从所述车辆的后方区域的图像检测障碍的障碍检测装置执行：差分图像创建步骤，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定步骤，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

本发明的有益效果

根据本发明，为了检测出现在车辆后方的障碍，使用成像装置和原始安装在车辆中的刹车灯。因此，提供了如下极佳的效果：即使在低照度环境中，也能够检测出现在车辆后方的障碍，而不需要除了成像装置之外的附加传感器。

如下面将描述的，本发明具有其它方面。因此，本发明的公开意在提供本发明的一部分，而不意在限制这里所描述和要求权利的本发明的范围。

附图说明

图1是示出本发明的第一实施例的障碍检测系统的示意结构的框图。

图2是示出在本发明的实施例中、当红色是特定颜色时提取特定颜色的方法的图。

图3是示出本发明的实施例中的块划分的示例的图。

图4A是示出本发明的实施例中划分为块的当前帧的图，图4B是示出本发明的实施例中划分为块的前一帧的图，图4C是示出本发明的实施例中的差分图像的图。

图5A是示出本发明的实施例中的差分图像的图，图5B是示出本发明的实施例中的差分阈值处理的结果的图。

图6A是示出在本发明的实施例中当刹车灯关闭时获得的视频帧的示例的图，图6B是示出在本发明的实施例中当刹车灯开启时获得的视频帧的示例的图，图6C是示出本发明的实施例中具有差分的块的图，图6D是示出本发明的实施例中具有差分的块的提取结果的图。

图7是本发明的实施例中的障碍检测装置的操作流程图。

图8是本发明的第二实施例的障碍检测系统的示意结构的框图。

图9A是示出在本发明的实施例中用于直线后退时的提取目标区域的图，图9B是示出在本发明的实施例中用于在方向盘向左转的情况下后退时的提取目标区域的图，图9C是示出在本发明的实施例中用于在方向盘向右转的情况下后退时的提取目标区域的图。

具体实施方式

下面提供本发明的详细描述。下面描述的实施例仅仅是本发明的示例，因此本发明可以以各种方式修改。因此，下面所公开的具体结构和功能并不限定权利要求的范围。

在车辆后退时从车辆的后方区域的图像检测障碍的障碍检测装置包括：差分图像创建单元，创建车辆的刹车灯开启时拍摄的图像与车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定单元，基于差分图像中差分发生在图像中的位置来判定是否存在障碍。通过此结构，因为使用成像装置和原始安装在车辆中的刹车灯来检测出现在车辆后方的障碍，所以，即使在低照度环境中，也可以在不需要除了成像装置之外的附加传感器的情况下检测出现在车辆后方的障碍。

在上述障碍检测装置中，当图像的差分发生在图像中的水平线位置上方的部分中时，障碍判定单元可以判定存在障碍。通过此结构，可以检测到出现在马路上高于某一高度的障碍。

在上述障碍检测装置中，障碍判定单元可以从车辆获得车辆的舵角信息，并仅以图像中车辆可能行进的车辆行进区域为目标，根据该舵角信息判定是否存在障碍。通过此结构，在利用成像装置拍摄的图像中仅仅可以检测到具有碰撞风险的障碍，并且可以警告驾驶员。

上述障碍检测装置可以从车辆获得有关车辆的刹车灯的开/关状态的信息，并且，基于有关刹车灯的开/关状态的信息，差分图像创建单元可以创建车辆的刹车灯开启时拍摄的图像与车辆的刹车灯关闭时拍摄的图像之间的差分图像。通过此结构，可以确定在摄影期间分别在刹车灯开启和关闭时获得的视频帧。

在上述障碍检测装置中，差分图像创建单元可以创建表示图像中红色成分的差分的差分图像。通过此结构，可以防止将随着车辆的移动而发生的图像差分创建为差分图像，并且可以将由于刹车灯的开和关之间的差分而导致的图像差分创建为差分图像。

上述障碍检测装置还可以包括块划分单元，其将图像划分为多个块，并为每个块确定代表值，并且，差分图像创建单元可以获得车辆的刹车灯开启时拍摄的图像中的每个块的代表值与车辆的刹车灯关闭时拍摄的图像中的每个块的代表值之间的差分，作为差分图像，所述代表值由块划分单元确定。通过此结构，不需要存储视频中的所有像素值，而仅需要存储各个块的代表值。因此，可以节约存储器存储容量，并且可以防止将图像中的诸如噪声成分的偶然差分创建为差分图像。

障碍检测系统包括：成像装置，在车辆后退时对车辆的后方区域进行摄影；以及上述障碍检测装置，从利用成像装置拍摄的图像检测障碍。通过此结构，因为使用成像装置和原始安装在车辆中的刹车灯来检测出现在车辆后方的障碍，所以，即使在低照度环境中，也可以检测出现在车辆后方的障碍，而不需要除了成像装置之外的附加传感器。上述障碍检测装置的各种结构也可以应用到障碍检测系统。

在上述障碍检测系统中，成像装置可以包括曝光控制机构，所述曝光控制机构控制成像装置的曝光条件，以使得刹车灯开启时获得的图像与刹车灯关闭时获得的图像具有相同的曝光条件，所述图像在差分图像创建单元中创建差分图像。通过此结构，可以将由于刹车灯的照射而导致发生的图像差分创建为差分图像。

用于在车辆后退时从车辆的后方区域的图像检测障碍的障碍检测方法包括：差分图像创建步骤，创建车辆的刹车灯开启时拍摄的图像与车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定步骤，基于差分图像中差分发生在图像中的位置来判定是否存在障碍。通过此结构，因为使用车辆的后方区域的图像以及原始安装在车辆中的刹车灯来检测出现在车辆后方的障碍，所以，即使在低照度环境中，也可以检测到出现在车辆后方的障碍，而不需要除了成像装置之外的附加传感器。上述障碍检测装置的各种结构也可以应用到障碍检测方法。

障碍检测程序使得在车辆后退时从车辆的后方区域的图像检测障碍的障碍检测装置执行：差分图像创建步骤，创建车辆的刹车灯开启时拍摄的图像与车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及障碍判定步骤，基于差分图像中差分发生在图像中的位置来判定是否存在障碍。

下面参照附图说明本发明的实施例的障碍检测系统。

(第一实施例)

图1是示出第一实施例的障碍检测系统的结构的图。障碍检测系统1包括摄像头10，用作拍摄对象并输出视频信号的成像装置；以及障碍检测装置20，检测障碍。在车辆后方车号牌附近的预定位置处并以预定角度安装摄像头10，从而摄像头10可以对车辆的后方区域进行摄影。

摄像头10包括透镜11、成像器件12、A/D转换器13、以及摄像头信号处理单元14，并对出现在车辆后方的对象进行摄影，从而产生视频信号。透镜11根据从对象到成像器件12上的光而形成像。成像器件12对形成的像进行光电转换，并输出模拟信号。A/D转换器13将从成像器件12输出的模拟信号转换为数字信号。摄像头信号处理单元14对经A/D转换的数字信号进行摄像头信号处理，以产生视频信号。除了包括照度信号的产生、颜色信号的产生、孔径(aperture)信号的产生等的信号处理之外，摄像头信号处理单元14还进行一般的信号处理，包括OB减法、白平衡调节、噪声降低等。注意，在本实施例中，摄像头10输出由水平640个像素乘垂直480个像素组成的视频信号。

障碍检测装置20包括特定颜色提取单元21、块划分单元22、差分图像创建单元23、差分阈值处理单元24、具有差分的块提取单元25、障碍判定单元26、刹车状态改变判定单元27、倒档(reverse)判定单元28、前一帧视频数据存储存储器29、以及前一帧刹车状态存储存储器30。障碍检测装置20基于从摄像头10输入的视频信号以及从车辆输入的驾驶状态信息，执行障碍的检测。这里，驾驶状态信息包括刹车压下信息和档位(gear)选择信息。刹车压下信息是指示刹车灯是否通过驾驶员踩下刹车踏板而开启的信息。档位选择信息是指示所选的档位位置的信息。障碍检测装置20通过诸如LIN(局部互连网)或CAN(控制器区域网络)的车内网络来获得这些驾驶状态信息。

特定颜色提取单元21判定从摄像头10输出的视频信号中的图像中的颜色，并从图像中仅仅提取特定颜色的对象。在本实施例中，因为刹车灯是红的，所以特定颜色提取单元21提取红色的对象。当视频信号是YUV信号时，特定颜色提取单元21通过判定作为颜色成分的UV信号值是否出现在特定颜色范围中而判定特定颜色。

图2是示出通过UV信号值判定红色成分的方法的示例。特定颜色提取单元21设置阈值th1和th2，它们划分出UV颜色空间中的红色区域。如果目标像素的UV值出现在由th1和th2包围的红色区域中，则特定颜色提取单元21判定目标像素是红色像素。如果目标像素的UV值不出现在红色区域中，则目标像素不是红色像素，因此使视频中的像素值无效(例如，将像素值设为0)。通过此，视频信号中仅仅红色成分可以保留。

图3是示出基于块而划分图像的示例。块划分单元22基于块而划分图像，每个块具有预定数量的像素，并且，块划分单元22为每个块计算代表值。如图3所示，块划分单元22将从摄像头10输出的由水平640个像素乘垂直480个像素组成的图像划分为多个块，每个块总共具有64个像素，水平8个像素乘垂直8个像素。通过块划分，将一帧的图像划分为4800个块。

块划分单元22为每个块从包含在该块中的像素计算一个代表值。这里计算的代表值用在块划分单元22之后执行的处理中。对于代表值，可以使用包含在每个块中的像素的平均值或最频值(mode value)。特别地，当使用平均值时，因为它们提供去除包含在图像中的噪声成分的效果，所以对于低照度环境(诸如夜间)中的噪声非常有效，这导致提高了检测性能。

块划分单元22计算的每个块的代表值输入到差分图像创建单元23以及前一帧视频数据存储存储器29。前一帧视频数据存储存储器29保存一帧视频中的各个块的代表值。

图4A至图4C是用于描述差分图像的创建的图。如图4A至图4C所示，差分图像创建单元23为每个块确定由块划分单元22计算的每个块的代表值(图4A)与存储在前一帧视频数据存储存储器29中的过去帧(前一帧)中的每个块的代表值(图4B)之间的差分，并由此创建差分图像(图4C)。即，要被确定的不同帧之间的代表值的差分的数量与块的数量相同。通过获取不同帧之间的差分而创建差分图像，可以获知两个帧之间的图像改变。

差分图像创建单元23不对所有帧都创建帧间的差分图像，而是仅当刹车状态已经改变时才创建帧间的差分图像。为了这么做，障碍检测装置20从车辆获得刹车压下信息，并将刹车压下信息输入到刹车状态改变判定单元27，并将刹车压下信息存储在前一帧刹车状态存储存储器30中。刹车状态改变判定单元27通过将从车辆获得的当前刹车状态与存储在前一帧刹车状态存储存储器30中的过去刹车状态进行比较而判定是否存在刹车状态的改变。具体地，当状态从驾驶员压下刹车踏板的状态改变到刹车踏板未被压下的状态时，以及相反地，当状态从刹车踏板未被压下的状态改变到刹车踏板被压下的状态时，刹车状态改变判定单元27判定已经存在刹车状态的改变。当已经存在刹车状态的改变时，刹车状态改变判定单元27通知差分图像创建单元23。

当差分图像创建单元23接收到已经存在刹车状态的改变的通知时，差分图像创建单元23以上述方式创建从块划分单元22输入的当前帧与存储在前一帧视频数据存储存储器29中的过去帧之间的差分图像。这里，前一帧视频数据存储存储器29和前一帧刹车状态存储存储器30分别存储同一帧的视频数据和刹车状态。因此，前一帧刹车状态存储存储器30为存储在前一帧视频数据存储存储器29中的帧，存储有关是在刹车被压下的情况下(刹车灯开启)进行了摄影、还是在刹车未被压下的情况下(刹车灯关闭)进行了摄影的信息。通过此，差分图像创建单元23可以计算由于刹车灯的照射状态而导致发生的图像差分，并可以防止在不存在障碍的情形中错误地检测障碍，这是因为，差分图像创建单元23不将由于车体的移动或对象的移动而导致发生的图像差分考虑为处理目标，而与车灯的状态无关。

差分阈值处理单元24对由差分图像创建单元23创建的差分图像执行差分阈值处理。具体地，差分阈值处理单元24为差分图像的每个块执行对差分值的差分阈值处理。这里，差分阈值处理是这样的处理：判定每个块的差分值大于还是小于预定阈值diffTH，并且如果差分值大于或等于阈值diffTH，则将该块判定为具有差分的块(有差分的块)，而如果差分值小于阈值diffTH，则判定该块为不具有差分的块(没有差分的块)。

图5A和图5B是用于描述差分阈值处理的具体示例的示意图。当对所计算的各个块的差分值(如图5A中所示)执行具有阈值diffTH＝150的差分阈值处理时，在具有差分的块和不具有差分的块之间区别差分图像中的块，如图5B中所示。例如，通过适当地调节阈值diffTH，可以消除由于图像中的噪声成分而导致发生的非常小的差分、或者帧间的通过驾驶车辆而引起的对象位移而导致的非常小的差分。因此，可以合适地提取由于刹车灯的照射改变而导致发生的图像差分。

具有差分的块提取单元25根据由差分阈值处理单元24执行的阈值处理的结果来提取具有差分的块，其中，仅仅将视频帧中需要检测障碍的区域设置为提取目标区域。在本实施例中，因为目的是检测出现在马路上的高于某一高度的障碍，所以具有差分的块提取单元25检测图像中的水平线，并将作为在水平线位置上方的部分的区域设置为提取目标区域。

图6A至图6D是用于描述由具有差分的块提取单元25执行的具有差分的块的提取处理的图。图6A至图6D示出了在马路R上出现行人P(障碍)的情形下提取具有差分的块的示例。图6A示出了在刹车灯关闭时所摄影的视频帧，图6B示出了在刹车灯开启时所摄影的视频帧。图6B中的阴影部分表示通过刹车灯的开启而已经改变亮度的区域。在图6B的示例中，刹车灯照射道路R的一部分以及行人P。

图6C示出了通过将视频帧划分为块并接着获取图6A中的视频帧与图6B中的视频帧之间的差分而执行的差分阈值处理的结果。如图6C中所示，通过切换刹车灯的开启和关闭，在不是障碍的道路R的区域中也发生差分。因此，具有差分的块提取单元25从图6C中所示的结果中仅仅提取出现在水平线H上方的区域(提取目标区域)中的那些具有差分的块，而不考虑视频中在水平线H下方的区域，即，排除出现在水平线H下方的区域中的那些具有差分的块。图6D中示出了提取的结果，并且仅仅保留具有由于作为障碍的行人P(的头部)而导致发生的差分的那些块。假设行人P未出现在图6A至图6D中的情况。在图6C中，所有具有差分的块都出现在水平线H下方的区域中，从而导致最终未提取到具有差分的块。

障碍判定单元26基于由具有差分的块提取单元25所获得的提取结果以及来自倒档判定单元28的输出，进行关于是否存在障碍的最终判定。倒档判定单元28从车辆获得当前的档位选择信息，以判定档位是否处于倒档。在当前选择的档位处于倒档并且由具有差分的块提取单元25获得的提取结果有具有差分的块时，障碍判定单元26判定存在障碍。

将使用图7描述以上述方式构成的障碍检测系统1中的障碍检测装置20的操作。障碍检测装置20从摄像头10逐帧地接受视频信号作为输入(步骤S70)。特定颜色提取单元21从帧图像中提取红色的对象(步骤S71)。然后，块划分单元22将一帧的视频信号划分为预定大小的块，并计算包含在每个块中的像素的红色成分的平均值，作为每个块的代表值(步骤S72)。接着，将一帧中的各个块的代表值输入到差分图像创建单元23，并将它们保存在前一帧视频数据存储存储器29中(步骤S73)。

对从摄像头10输入的每个一帧的视频信号执行这些处理，直到刹车状态发生改变为止。具体地，判定刹车状态是否已改变(步骤S74)。如果没有改变(步骤S74中的“否”)，则处理返回到步骤S70，并且为下一帧的视频信号重复步骤S70至S73。

如果已经存在刹车状态的改变(步骤S74中的“是”)，则为每个块确定刹车状态改变后所获得的帧与存储在前一帧视频数据存储存储器29中的刹车状态改变前所获得的帧之间的差分值(即，创建差分图像)(步骤S75)。接着，对每个块执行差分阈值处理，其中，将具有大于或等于预定阈值的差分值的块判定为具有差分的块，而将具有小于预定阈值的差分值的块判定为不具有差分的块(步骤S76)。

接着，通过从图像中水平线H上方的区域(提取目标区域)提取具有差分的块，判定在提取目标区域中是否存在具有差分的块(步骤S77)。如果在提取目标区域中存在具有差分的块(步骤S77中的“是”)，则基于档位选择信息判定档位是否处于倒档(步骤S78)。在步骤S78，如果档位处于倒档(步骤S78中的“是”)，则输出指示存在障碍的检测结果(步骤S79)。在步骤S77如果在提取目标区域中不存在具有差分的块(步骤S77中的“否”)，并且在步骤S78如果档位不处于倒档(步骤S78中的“否”)，则不输出障碍检测结果。

根据第一实施例的这种障碍检测系统，通过使用刹车灯开启时与刹车灯关闭时之间的图像差分检测夜间出现在车辆后方的障碍。当车辆后退时，输出车辆后方区域的视频，并且同时，向驾驶员展示视频中呈现的障碍的存在与否。

(第二实施例)

下面将参照附图描述本发明的第二实施例的障碍检测系统。

图8是示出第二实施例的障碍检测系统的结构的图。障碍检测系统2包括：摄像头100，用作拍摄对象并从而产生视频信号的成像装置；以及障碍检测装置200，检测障碍。在车辆后方车号牌附近的预定位置处并以预定角度安装摄像头100。在本实施例的障碍检测系统2中，用与第一实施例的障碍检测系统1中的元素相同的附图标记表示的元素具有与第一实施例的障碍检测系统1的对应元素相同的结构。

摄像头100包括透镜11、光圈15、成像器件12、A/D转换器13、摄像头信号处理单元14、曝光参数计算单元16、曝光参数选择单元17、曝光条件调节单元18、以及前一帧曝光参数存储存储器19。摄像头100对在车辆后方的对象进行摄影，并由此产生视频信号。通过光圈15调节已经穿过透镜11的光量，并在成像器件12上形成像。成像器件12对形成的像进行光电转换，并输出模拟信号。A/D转换器13将从成像器件12输出的模拟信号转换为数字信号。摄像头信号处理单元14对经A/D转换的数字信号执行摄像头信号处理，以产生视频信号。

障碍检测装置200包括特定颜色提取单元21、块划分单元22、差分图像创建单元23、差分阈值处理单元24、具有差分的块提取单元25、障碍判定单元26、刹车状态改变判定单元27、倒档判定单元28、前一帧视频数据存储存储器29、以及前一帧刹车状态存储存储器30。障碍检测装置200基于从摄像头100输出的视频信号以及驾驶状态信息，执行障碍的检测。本实施例的驾驶状态信息除了包括刹车压下信息和档位选择信息之外，还包括舵角信息。舵角信息是指示方向盘或轮胎的转向角的信息，并且是指示车辆的行进方向的信息。

在本实施例中，下面将特别描述与第一实施例不同的部分。与第一实施例相比，本实施例的特征在于：与障碍检测装置200对障碍的检测协力地控制摄像头100的曝光条件，以及，根据车辆的舵角，从中提取具有差分的块的区域是可变的，下面将顺序描述它们。

本实施例的障碍检测系统2具有用于与障碍检测装置200对障碍的检测协力地控制摄像头100的曝光条件的结构(曝光控制机构)。首先，将描述曝光控制。曝光控制是指对成像装置的曝光条件进行的调节，以便获得由成像器件12接收的来自对象的适当光量。在曝光控制中，例如，以一帧中所有像素的像素值的平均值或出现在屏幕中心的像素的像素值的平均值作为曝光量，调节曝光条件以使得曝光量具有适当的值。

在曝光控制中，预先确定预定的曝光量作为目标值。如果用于当前视频帧的曝光量小于目标值，则调节曝光条件以增加曝光量。相反，如果曝光量大于目标值，则调节曝光量以降低曝光量。可以通过调节光圈15的孔径大小或调节光量在成像器件12中的放大增益，来进行对曝光条件的调节。具体地，当图像太暗时，张开光圈15以及/或者提高光量在成像器件12中的放大增益，以使图像变亮。相反，当图像太亮时，使光圈15变窄以及/或者降低光量在成像器件12中的放大增益，以使图像变暗。

在本发明的障碍检测系统2中，摄像头100作为曝光控制机构包括曝光参数计算单元16、曝光参数选择单元17、曝光条件调节单元18、以及前一帧曝光参数存储存储器19。通过摄像头100执行上述曝光控制，摄像头100向驾驶员提供可舒适地观看的视频。然而，当创建刹车灯开启时拍摄的图像与刹车灯关闭时拍摄的图像之间的差分图像时，不期望执行诸如上述的曝光控制。这是因为，当在刹车灯开启时获得的帧与刹车灯关闭时获得的帧之间执行曝光控制时，根据对曝光条件的调节量，相对大的差分也可能发生在未被刹车灯照射的对象部分中，因此，可能将不是障碍的对象错误地检测为障碍。因此，在本实施例中，在常规时间执行诸如上述的曝光控制，而在创建差分图像时不执行诸如上述的曝光控制。即，在刹车灯开启时获得的帧与刹车灯关闭时获得的帧之间创建差分图像，但在刹车灯开启时获得的帧与刹车灯关闭时获得的帧之间不执行曝光控制，使得这两个帧具有相同的曝光条件。下面将描述用于此的结构。

曝光参数计算单元16基于经A/D转换的数字信号确定曝光参数，从而以适当的亮度拍摄对象。这里，曝光参数是用于确定摄像头100的曝光条件的参数。曝光参数包括用于光圈15的孔径大小的参数、以及用于光量在成像器件12中的放大增益量的参数。注意，曝光参数可以仅包括用于光圈15的孔径大小的参数，或者可以仅包括用于光量在成像器件12中的放大增益的参数。将由曝光参数计算单元16确定的曝光参数发送到曝光参数选择单元17和前一帧曝光参数存储存储器19。前一帧曝光参数存储存储器19基于一帧视频信号而存储曝光参数。

从刹车状态改变判定单元27向曝光参数选择单元17通知刹车状态的改变。基于从刹车状态改变判定单元27通知的有关刹车状态的改变的信息，曝光参数选择单元17选择从曝光参数计算单元16输入的曝光参数(即，在当前帧中确定的曝光参数)与从前一帧曝光参数存储存储器19输入的曝光参数(即，在过去的帧中确定的曝光参数)中的一个。具体地，当刹车状态改变判定单元27判定刹车状态已经改变、并且曝光参数选择单元17接收到有关刹车状态改变的通知时，曝光参数选择单元17选择来自前一帧曝光参数存储存储器19的曝光参数。否则，曝光参数选择单元17选择来自曝光参数计算单元16的曝光参数。即，当刹车灯的开/关状态已经改变时，曝光参数选择单元17为改变后的视频帧选择与改变前的视频帧相同的曝光参数。曝光参数选择单元17将所选择的曝光参数输出到曝光条件调节单元18。

曝光条件调节单元18基于由曝光参数选择单元17选择的曝光参数，通过增大或减小光圈15的孔径大小或者光量在成像器件12中的放大增益量，来调节曝光量。通过此，可以在刹车灯的开/关状态已经改变之前和之后固定曝光参数。因此，不出现由于曝光调节而导致发生的视频帧之间的差分，这使得更易于恰当地确定由于刹车灯的照射的改变而导致发生的视频帧之间的差分。

注意，存储在前一帧曝光参数存储存储器19中的曝光参数与保存在前一帧视频数据存储存储器29中的视频帧以及存储在前一帧刹车状态存储存储器30中的有关刹车状态的信息相关联，因此存储在这三个存储存储器中的信息是同一帧的信息。上面已经描述了与对障碍的检测协力地执行对曝光量的控制。

下面，将描述根据舵角改变用于具有差分的块的提取目标区域。在本实施例中，将舵角信息从车辆输入到具有差分的块提取单元25。具有差分的块提取单元25基于舵角信息，改变从中提取具有差分的块的区域(提取目标区域)。虽然在第一实施例中水平线H上方的区域是提取目标区域，但在本实施例中，进一步将提取目标区域缩小到特定提取区域。具体地，在本实施例中，通过使用舵角信息，具有差分的块提取单元25根据车辆的行进方向，在水平线H上方的区域中仅仅设置局部区域作为用于具有差分的块的提取目标区域。注意，如与刹车压下信息和档位选择信息同样地，将舵角信息作为一种驾驶状态信息而通过车内网络(诸如LIN或CAN)输入到具有差分的块提取单元25。

图9A至图9C是示出根据方向盘的舵角改变提取目标区域的示例的图。图9A是示出用于直线后退(舵角为0°)时的提取目标区域的图。当未转动方向盘时，具有差分的块提取单元25设置在水平线H上方并在水平中心附近的区域，作为用于具有差分的块的提取目标区域EA。图9B是示出用于在方向盘向左转的情况下后退(舵角为逆时针方向上的x°)时的提取目标区域的图。当方向盘向左转时，具有差分的块提取单元25设置在水平线H上方并在水平中心右侧的区域，作为用于具有差分的块的提取目标区域EA。这里，因为车辆的后方区域的视频是镜面反转视频，所以，当方向盘向左转时，车辆后退时的行进方向在屏幕的右侧。

图9C是示出用于在方向盘向右转的情况下后退(舵角为顺时针方向上的x°)时的提取目标区域的图。当方向盘向右转时，具有差分的块提取单元25设置在水平线H上方并在水平中心左侧的区域，作为用于具有差分的块的提取目标区域EA。当方向盘向右转时，车辆后退时的行进方向在屏幕的左侧。根据舵角，具有差分的块提取单元25改变用于具有差分的块的提取目标区域EA向右或向左偏移的量。通过此结构，因为可以仅仅以车辆根据当前车辆舵角而行进的方向来检测障碍，所以能够实现更精确的障碍检测。

如上所述，根据包括第二实施例的障碍检测装置的障碍检测系统，在常规时间调节曝光量以使得可以向驾驶员提供可舒适地观看的视频，并且当刹车灯的点亮状态改变并且创建差分图像时，在其间获取差分的视频帧之间不改变曝光参数，因此，可以减少由于对曝光量的调节而导致将不是障碍的对象检测为障碍的错误检测。此外，在第二实施例的曝光检测系统中，根据车辆舵角改变用于具有差分的块的提取目标区域，以便在不存在车辆碰撞的可能性的区域中不检测障碍。因此，可以防止在不存在车辆碰撞的可能性的区域中检测障碍，从而实现更精确的障碍检测。

虽然上面描述了本发明的第一和第二实施例，但本发明不限于这些实施例。

例如，虽然上述实施例描述了从视频帧的图像中提取红色成分的示例，但不一定需要提取红色。例如，当成像装置不具有阻挡红外光的IR(红外)截止滤光片时，由于红外光的影响而导致刹车灯不总是以红色拍摄，而在某些情况下以白色拍摄。在此情况下，如果仅以红色成分为目标，则可能不能恰当地确定由于刹车灯而导致发生的差分。因此，按需指定要提取的颜色成分是有效的。

此外，虽然在上述实施例中，块划分的数量是水平80个区域乘垂直60个区域，但划分的数量不限于此。划分的数量越大，更有可能检测到小的障碍。

此外，在上述实施例中，前一帧视频数据的存储不需要每帧都更新。根据成像装置的帧速率，刹车灯开启和关闭的切换可能不在一帧时段中完成，因此，利用具有一帧差分的差分图像可能不能充分地确定差分。在此情况下，代替在一帧的基础上存储视频数据，可以每几个帧地存储视频数据。此时，依据视频数据，也每几个帧地存储前一帧刹车状态。

此外，虽然在上述实施例中，具有差分的块提取单元25检测图像中的水平线并确定提取目标区域，但提取目标区域可以是固定的，而与图像无关。此外，仅仅当水平线未显示在图像中并因此不能提取水平线时，才可以采用固定的水平线。假设车辆在没有障碍的水平马路上，则刹车灯在达马路上所达到的范围是受限的。还考虑上述实施例的差分阈值处理，在夜间将拍摄刹车灯从马路反射的光的块判定为具有差分的块的距离是受限的。因此，可以考虑刹车灯的照射角和照射强度、假定的夜间黑度、差分阈值处理中使用的阈值，来设置固定水平线的位置。

因为本发明的目的在于在车辆后退时检测出现在车辆后方的障碍，所以仅仅当选择倒档时才使用检测障碍的方法。然而，当需要在所有时间都检测出现在车辆后方的障碍时，可以采用不使用由倒档判定单元28获得的信息的结构。相对比地，可以在初始阶段执行倒档判定。具体地，成像装置可以引用档位选择信息，并仅在选择倒档时允许摄像头和障碍检测装置工作，并且在未选择倒档时完全不允许摄像头和障碍检测装置工作。

此外，虽然在上述实施例中，通过检测是否存在刹车踏板的压下来间接地判定刹车灯的状态改变，但可以直接地检测刹车灯的状态改变，而不是通过检测是否存在刹车踏板的压下。在此情况下，当已经存在刹车灯的状态改变时，即，当刹车灯已经从开启变为关闭或从关闭变为开启时，差分图像创建单元23计算在刹车灯的各个状态中获得的视频帧之间的差分。

此外，虽然在上述实施例中，将成像装置和障碍检测装置构成为分离单元并整体上组成障碍检测系统，但可以将成像装置和障碍检测装置构成为单个单元。在本申请中，由成像装置和障碍检测装置组成的这样的单个单元也称为障碍检测系统。

虽然已经描述了此时被认为是本发明的优选实施例的内容，但应当理解，在不偏离本发明的真正精神和范围的情况下可以进行各种修改，并且意在在所附权利要求中覆盖所有这样的修改。

工业实用性

如上所述，根据本发明的障碍检测系统使用成像装置和原始安装在车辆中的刹车灯来检测出现在车辆后方的障碍。因此，障碍检测系统具有如下有益效果：即使在低照度环境中，也能够在不需要除了成像装置之外的附加传感器的情况下检测出现在车辆后方的障碍。因此，所述障碍检测系统作为在低照度环境中检测出现在车辆后方的障碍的障碍检测系统等是有用的。

附图标记说明

1、2：障碍检测系统

10、100：摄像头

11：透镜

12：成像器件

13：A/D转换器

14：摄像头信号处理单元

15：光圈

16：曝光参数计算单元

17：曝光参数选择单元

18：曝光条件调节单元

19：前一帧曝光参数存储存储器

20和200：障碍检测装置

21：特定颜色提取单元

22：块划分单元

23：差分图像创建单元

24：差分阈值处理单元

25：具有差分的块提取单元

26：障碍判定单元

27：刹车状态改变判定单元

28：倒档判定单元

29：前一帧视频数据存储存储器

30：前一帧刹车状态存储存储器

Claims (10)

1.障碍检测装置，在车辆后退时从所述车辆的后方区域的图像检测障碍，所述障碍检测装置包括：

差分图像创建单元，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及

障碍判定单元，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

2.如权利要求1所述的障碍检测装置，当图像差分发生在图像中水平线的位置上方的部分中时，所述障碍判定单元判定存在障碍。

3.如权利要求1或2所述的障碍检测装置，所述障碍判定单元从所述车辆获得所述车辆的舵角信息，并以图像中所述车辆可能行进的车辆行进区域为目标，根据所述舵角信息判定是否存在障碍。

4.如权利要求1至3中的任一项所述的障碍检测装置，

所述障碍检测装置从所述车辆获得有关所述车辆的刹车灯的开/关状态的信息，并且

基于有关所述刹车灯的开/关状态的信息，所述差分图像创建单元创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像。

5.如权利要求1至4中的任一项所述的障碍检测装置，所述差分图像创建单元创建表示图像中的红色成分的差分的差分图像。

6.如权利要求1至5中的任一项所述的障碍检测装置，还包括块划分单元，将图像划分为多个块，并为每个块确定代表值，

所述差分图像创建单元获得所述车辆的刹车灯开启时拍摄的图像中的每个块的代表值、与所述车辆的刹车灯关闭时拍摄的图像中的每个块的代表值之间的差分，作为所述差分图像，所述代表值由所述块划分单元确定。

7.障碍检测系统，包括：

成像装置，在车辆后退时对所述车辆的后方区域进行摄影；以及

根据权利要求1至6中的任一项所述的障碍检测装置，从利用所述成像装置拍摄的图像检测障碍。

8.如权利要求7所述的障碍检测系统，所述成像装置包括曝光控制机构，所述曝光控制机构控制所述成像装置的曝光条件，以使得刹车灯开启时获得的图像与所述刹车灯关闭时获得的图像具有相同的曝光条件，所述图像在差分图像创建单元中创建差分图像。

9.障碍检测方法，在车辆后退时从所述车辆的后方区域的图像检测障碍，所述方法包括：

差分图像创建步骤，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及

障碍判定步骤，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

10.障碍检测程序，使得在车辆后退时从所述车辆的后方区域的图像检测障碍的障碍检测装置执行：

差分图像创建步骤，创建所述车辆的刹车灯开启时拍摄的图像与所述车辆的刹车灯关闭时拍摄的图像之间的差分图像；以及

障碍判定步骤，基于所述差分图像中差分发生在图像中的位置，判定是否存在障碍。

Images