CN102145693B - 停车线识别装置 - Google Patents

Abstract

本发明涉及一种停车线识别装置，其不会产生过度的运算负荷，可以精确地识别对本车辆进行控制所需的停车线。图像处理单元(4)，识别本车辆行驶路线前方的信号机，在识别出本车辆行驶路线的正前方的信号机存在于设定距离L2以内的位置上，并且该信号机当前为红色信号时，转换至停车线识别模式，执行停车线识别处理。由此，可以可靠地排除在不必要情况下的停车线识别处理的执行。因此，不会产生过度的运算负荷，可以精确识别出对本车辆(1)进行控制所需的停车线。

Description

停车线识别装置

技术领域

本发明涉及一种停车线识别装置，其识别行驶路线前方的停车线。

背景技术

近年来，作为ITS(Intelligent Transport System)的一环，开发了各种各样的车辆用驾驶辅助装置。例如，在专利文献1中，公开了一种进行驾驶辅助的技术，其用于通过对CCD照相机拍摄的图像信号实施模板匹配等图像识别处理，提取出表示本车辆应该停止的特定对象物，并基于提取的特定对象物使车辆停止。在这里，在专利文献1的技术中，作为特定对象物，检测表示前行车辆当前正在执行制动器操作的发光的制动灯、成为红色信号的信号机、指示暂时停止的道路标志等，进而识别出停车线的位置等。

专利文献1：日本特开2005-170154号公报

发明内容

但是，在对车辆执行停止控制等的驾驶辅助时，在道路上设置的停车线，一般只作为交叉路口等停车时的标识而使用，因为不是如前行车辆及信号灯等这种直接用于判定是否有必要使本车辆停止的对象，所以没有必要总是识别。

因此，在以与前行车辆及信号机等同等的水平而总是执行停车线识别处理的情况下，会增大不必要的运算负荷，其结果，有可能导致驾驶辅助控制自身的处理时间延长等。

另外，例如，在本车辆行驶路线上有很多林荫树的树荫横穿等情况下，由该树荫在道路上形成的明暗花纹在图像上有被误识别为停车线的可能性等，总是进行停车线识别处理，会成为降低停车线识别精度的主要原因。

本发明鉴于上述问题，其目的在于提供一种停车线识别装置，其不会产生过度的运算负荷，可以精确识别出本车辆的控制所需的停车线。

本发明具有：摄像单元，其拍摄包含本车辆行驶路线在内的前方的车外环境；停车线识别单元，其基于由所述摄像单元拍摄的图像，识别在本车辆行驶路线上存在的停车线；信号机识别单元，其对本车辆行驶路线前方的信号机进行识别；以及许可判定单元，其在由所述信号机识别单元识别出本车辆行驶路线上正前方的信号机是红色信号时，对于所述停车线识别单元许可执行停车线识别处理，所述摄像单元是拍摄彩色图像的摄像单元，所述信号机识别单元基于由所述摄像单元拍摄的彩色图像，识别本车辆行驶路线上正前方的信号机，所述停车线识别单元在图像上设定停车线识别框，并基于所述停车线识别框内的亮度按照时间顺序的变化，识别停车线，所述停车线识别框在本车辆前方沿着车辆宽度方向延伸，并且其车辆宽度方向位置与由所述信号机识别单元识别出的信号机在图像上的车辆宽度方向位置对应而可变。

发明的效果

根据本发明的停车线识别装置，不会产生过度的运算负荷，可以精确识别出本车辆的控制所需的停车线。

附图说明

图1涉及本发明的第1实施方式，是表示车辆用驾驶辅助装置的概略构成图。

图2同上，是表示停车线识别程序的流程图。

图3同上，是表示信号机识别子程序的流程图。

图4同上，是表示信号机及停车线的各种识别框的说明图。

图5同上，是表示在图像上设定的停车线识别框的一个例子的说明图。

图6涉及本发明的第2实施方式，是表示停车线识别程序的流程图。

图7同上，是表示在图像上设定的停止线识别框的一个例子的说明图。

具体实施方式

以下，基于附图对本发明的实施方式进行说明。附图涉及本发明的第1实施方式，图1是车辆用驾驶辅助装置的概略构成图，图2是表示停车线识别程序的流程图，图3是表示信号机识别子程序的流程图，图4是表示信号机及停车线的各种识别框的说明图，图5是表示在图像上设定的停车线识别框的一个例子的说明图。

在图1中，在汽车等车辆(本车辆)1上搭载的车辆用驾驶辅助装置2，主要具有摄像光学系统3、图像处理单元4、行驶控制单元5而构成。

摄像光学系统3，例如，主要以固定设置在驾驶室内前部的顶棚上的作为摄像单元的单眼照相机3a为中心而构成，拍摄包含本车辆行驶路线在内的前方的车外环境。在这里，本实施方式的照相机3a，例如，由搭载了彩色CCD的彩色照相机构成，其摄像范围及光轴等设定为，使本车辆行驶路线位于拍摄的彩色图像上的下部区域，并且在本车辆行驶路线上存在信号机等的情况下使该信号机等位于彩色图像上的上部区域。

图像处理单元4，按照后述的停车线识别程序，识别道路上的停车线。在该停车线识别处理中，图像处理单元4首先对本车辆行驶前方的信号机(交通信号机)进行识别，在识别出本车辆行驶路线上存在信号机、并且本车辆行驶路线正前方的信号机是红色信号时，转换至停车线识别模式。

并且，如果转换至停车线识别模式，则图像处理单元4在由摄像光学系统3输出的图像上的下部区域，设定在车辆宽度方向延伸的停车线识别框R1(参照图4)，并基于该停车线识别框R1内亮度的按照时间顺序的变化，识别停车线。在此情况下，停车线识别框R1，例如由在车辆宽度方向上相连续的6个小区域Ra、Rb、Rc、Rd、Re、Rf形成的细长观察框构成，在本车辆行驶路线为平坦的水平路的情况下，与图像上的下述区域对应而配置，即，表示距离本车辆1为设定距离L1的前方(例如10m前方)的路面的区域。并且，图像处理单元4，例如在6个小区域Ra～Rf中连续的至少3个的小区域，即Ra、Rb、Rc、或Rb、Rc、Rd、或Rc、Rd、Re、或Rd、Re、Rf的任意一组的平均亮度，由低状态变高，其后再变低的情况下，判定存在停车线。在这里，之所以没有将在全部6个区域Ra～Rf同时发生亮度变化时作为判定停车线的条件，是为了应对长度短的停车线，另外，即使停车线的长度长，如果本车辆1相对于停车线不是大致垂直地进入，则两端的小区域的某一端有从停止线上超出的可能性。此外，作为判断6个小区域Ra～Rf中连续的3个小区域的平均亮度变大或者变小的比较基准的阈值(亮度差判定阈值)，根据行驶环境的状况而可变。例如，在白天的向阳处，阈值设定为比较大的值，在白天的背阴处(例如，停车线识别框R1整体的平均亮度低，并且，头灯为OFF状态的情况下)，阈值设定为低的值，在夜间的情况下，阈值设定为大的值。

在这里，例如如图1中的虚线所示，在搭载可以与道路附属设施等进行路车间通信或与其他车辆进行车辆间通信等的无线电机7的情况下，图像处理单元4，基于通过无线电机7收集的各种车外信息，可以识别在本车辆行驶道路上的信号机，但在由摄像光学系统3取得彩色图像的本实施方式中，在图像上的上部区域设定信号机识别框R2(参照图4)，并基于对该信号机识别框R2的模式匹配(模板匹配)等处理，进行红色信号的识别。

这样，在本实施方式中，图像处理单元4具有作为停车线识别单元、信号机识别单元以及许可判定单元的各功能。

行驶控制单元5，例如与在组合仪表上配置的警报灯18或警报蜂鸣器19等连接。并且，行驶控制单元5，例如在由图像处理单元4检测出停车线时(即本车辆行驶路线的正前方的信号为红色信号，并且在距离本车辆1为设定距离L1的前方(例如10m前方)检测出停车线时)，根据需要，通过警报灯18或警报蜂鸣器19进行警报输出。此外，也可以在这种警报输出的基础上，行驶控制单元5相对于停车线，例如通过节流阀控制或制动器介入而适当地进行制动控制等。

下面，对于由图像处理单元4执行的停车线识别控制，按照如图2所示的停车线识别程序的流程图进行说明。该程序是每隔设定时间而重复执行的，如果程序启动，则图像处理单元4首先在步骤S101中，读入由摄像光学系统3拍摄的本车辆前方的图像信号。

然后，在步骤S102中，图像处理单元4基于读取的图像信号进行信号机识别。该信号机识别，例如是按照如图3所示的信号机识别子程序的流程图执行的，如果该子程序启动，则图像处理单元4在步骤S201中，在图像上的上部区域设定信号机识别框R2(参照图4)。

如果从步骤S201进入步骤S202，则图像处理单元4，对信号机识别框R2内的像素群进行模式匹配等，进行信号机的提取处理后，进入步骤S203。

并且，在步骤S203中，图像处理单元4调查在本车辆行驶路线上是否提取出了信号机，在判定没有提取出信号机的情况下，直接退出子程序。在这里，图像处理单元4，例如基于由车速传感器11检测出的本车速V，及由偏行率传感器12检测出的偏行率γ，推断本车辆1的行进方向，并基于该本车辆行驶方向，可以推定图像上的本车辆行驶路线。或者，图像处理单元4例如可以使用众所周知的模式匹配等进行图像上的白线识别，并基于识别的白线推定本车辆行驶路线。

另一方面，在步骤S203中判定在本车辆行驶路线上提取出了信号机的情况下，图像处理单元4进入步骤S204，调查在本车辆行驶路线上是否提取出了多个信号机。

并且，图像处理单元4在步骤S204中判定只提取出了一个信号机的情况下，进入步骤S206，在判定提取出了多个信号机的情况下，进入步骤S205。

如果从步骤S204进入步骤S205，则图像处理单元4从本车辆行驶路线上的信号机中选择距离本车辆1最近的信号机后，进入步骤S205。在这里，一般来说，因为在道路上配备的信号机的尺寸大致为统一的，所以图像处理单元4可以基于在图像上提取的信号机的大小，计算出从本车辆1至各个信号机之间的距离。

并且，如果从步骤S204或步骤S205进入步骤S206，则图像处理单元4调查在本车辆行驶路线上提取出的正前方的信号机是否存在于距离本车辆1为设定距离L2(L2＞L1)以内的位置上。

并且，在步骤S206中，在判定本车辆行驶路线的正前方的信号机存在于距离本车辆1大于或等于设定距离L2的位置上的情况下，图像处理单元4直接退出子程序。

另一方面，在步骤S206中，在判定本车辆行驶路线的正前方的信号机存在于距离本车辆1为设定距离L2以内的位置上的情况下，图像处理单元4进入步骤S207，在判定本车辆行驶路线的正前方的信号灯的亮灯颜色(即判定是否为红色信号)后，退出子程序。

在图2的主程序中，如果从步骤S102进入步骤S103，则图像处理单元4调查当前的控制状态是否是停车线识别模式，在判定不是停车线识别模式的情况下，进入步骤S104，在判定是停车线识别模式的情况下进入步骤S107。

如果从步骤S103进入步骤S104，则图像处理单元4调查在上述的步骤S102的处理中，在本车辆行驶路线的正前方是否检测出红色信号(即是否在本车辆行驶路线上的设定距离L2以内的位置上检测出正前方的信号机、并且其信号机为红色信号)。

并且，在步骤S104中，判定在本车辆行驶路线的正前方没有检测出红色信号的情况下(即判定在本车辆行驶路线上的设定距离L2以内的位置上不存在正前方的信号机的情况下，或虽然在本车辆行驶路线上的设定距离L2以内的位置上存在正前方的信号机，但该信号机不为红色信号的情况下)，图像处理单元4直接退出程序。

另一方面，在步骤S104中，判定在本车辆行驶路线上的正前方检测出红色信号的情况下，图像处理单元4进入步骤S105，将控制状态转换至停车线识别模式，并且在步骤S106中，通过从警报灯18或警报蜂鸣器发出光线或声音，将转换至停车线识别模式的信息向驾驶员发出警告后，进入步骤S110。

另外，如果从步骤S103进入步骤S107，则图像处理单元4调查在上述的步骤S102的处理中，是否在本车辆行驶路线上的正前方检测出绿色信号(即是否在本车辆行驶路线上设定距离L2以内的位置上检测出信号灯、并且其信号机为绿色信号)。

并且，在步骤S107中，判定在本车辆行驶路线上的正前方检测出绿色信号的情况下，图像处理单元4进入步骤S109。

另一方面，在步骤S107中，在判定在本车辆行驶路线上的正前方没有检测出绿色信号的情况下(即在本车辆行驶路线上的设定距离L2以内的位置上没有检测出信号机的情况下，或在本车辆行驶路线上的设定距离L2以内的位置上检测出信号机，且其信号机为红色信号的情况下等)，图像处理单元4进入步骤S108，调查转换至停车线识别模式后的经过时间是否大于或等于设定时间。

并且，图像处理单元4在步骤S108中，在判定转换至停车线识别模式后的经过时间大于或等于设定时间的情况下，进入步骤S109，在判定转换至停车线识别模式后的经过时间不足设定时间的情况下，进入步骤S110。

并且，如果从步骤S107或步骤S108进入步骤S109，则图像处理单元4解除停车线识别模式后，退出程序。即，由于步骤S107中检测出绿色信号的情况，具体来说，是之前为红色信号的本车辆行驶路线上的正前方的信号灯，变化到绿色信号的情况，这种情况下，因为可以判断使本车辆1在停车线处停止的必要性已被解除，所以图像处理单元4解除停车线识别模式。另外，由于步骤S108中转换至停车线识别模式后的经过时间超过设定时间的情况，具体来说，是驾驶员与本车辆行驶路线上的正前方的红色信号对应而已经使本车辆1停止的情况、或进行用于停止的减速的情况、或已经完成停车线识别的情况，所以图像处理单元4解除停车线识别模式。

另一方面，如果从步骤S106或步骤S108进入步骤S110，则图像处理单元4在由步骤S101获取的图像上设定停车线识别框R1(参照图5)。

然后在步骤S111中，图像处理单元4计算出停车线识别框R1的各小区域Ra～Rf内的各平均亮度，并对各小区域Ra～Rf内的各平均亮度的按照时间顺序的亮度变化进行检测处理。

并且，如果进入步骤S112，则图像处理单元4调查在步骤S111中是否检测出按照时间顺序的特定的亮度变化(即是否在预先设定的判定时间T内，连续的至少3个小区域的平均亮度在时间顺序上由低状态变高，然后又变低)，在判定没有检测出按照时间顺序的特定的亮度变化的情况下，直接退出程序。在这里，判定时间T优选与由车速传感器11检测出的本车速V相对应进行可变设定，具体地说，优选本车速V越高则其设定的越短。

另一方面，在步骤S112中，在判定按照时间顺序检测出特定的亮度变化的情况下，图像处理单元4进入步骤S113，判定在与按照时间顺序的特定的亮度变化的小区域相对应的图像的位置上存在停车线后，退出程序。

根据本实施方式，对本车辆行驶路线前方的信号机进行识别，在识别出在本车辆行驶路线上的正前方的信号机存在于设定距离L2以内的位置上、且该信号机是红色信号时，转换至停车线识别模式而执行停止线的识别处理，从而可以可靠地排除不必要情况下的停车线识别处理的执行。因此，不会发生过度的运算负荷，可以精确识别出本车辆1进行控制所需的停车线。即，只有在本车辆行驶路线上的正前方的信号灯是红色信号的情况下，才进行停车线识别处理，由此可以排除不必要情况下的停车线识别处理。另外，因为在本车辆行驶路线上的正前方不存在信号机的情况下，不进行停车线识别处理，所以可以防止在本来就不存在停车线的道路上进行停车线的误识别等，可以提高停车线识别精度。

在此情况下，以由彩色照相机组成的单眼照相机3a为中心构成摄像光学系统3，通过对拍摄的彩色图像的上部区域进行模式匹配等处理，可以不另外追加新的装置等，就可以实现对存在于本车辆行驶路线上的信号机的识别。

下面，图6、7涉及本发明的第2实施方式，图6是表示停车线识别程序的流程图，图7是表示在图像上设定的停车线识别框的一个例子的说明图。此外，本实施方式与上述的第1实施方式的主要不同点在于，可以与在本车辆行驶路线上的正前方检测出的信号机的位置相对应，对在图像上的停车线识别框R1的沿着车辆宽度方向的位置进行可变设定。另外，关于与上述的第1实施方式同样的构成及同样的处理等，省略其说明。

在本实施方式中，在图像处理单元4中执行的停车线识别控制，按照如图6所示的停车线识别程序的流程图，每隔规定时间而重复执行，如果该程序启动，则图像处理单元4在步骤S301～S309中，执行与上述的第1实施方式的步骤S101～S109同样的处理。

并且，如果从步骤S306或步骤S308进入步骤S310，则图像处理单元4，计算在图像上从车辆宽度方向中心至信号机(本车辆行驶路线正前方的红色信号)的中心之间的距离，并将其作为信号机横向位置Xsig(参照图7)。

并且，如果从步骤S310进入步骤S311，则图像处理单元4通过对信号机横向位置Xsig与预先设定的增益Gx进行乘法运算，计算出停车线识别框R1的横向位置偏移量Xofset，然后在步骤S312中，在相对于图像中心沿车辆宽度方向偏移了Xofset的位置上设定停车线识别框R1(参照图7)。

并且，图像处理单元4使用在步骤S312中设定的停车线识别框R1，在步骤S313～步骤S315中，执行与上述的第1实施方式的步骤S111～步骤S113同样的处理后，退出程序。

根据本实施方式，通过与本车辆行驶路线上的正前方的信号机的车辆宽度方向的位置相对应，设定停车线识别框R1，从而可以在与本车辆前方的弯道等相对应的适当的位置上设定停车线识别框R1，可以进一步提高停车线识别精度。在此情况下，特别地，因为基于在同一图像上识别的本车辆行驶路线上的正前方的红色信号的车辆宽度方向的位置，可以对停车线识别框R1的位置进行可变设定，所以可以高精度地连接起信号机与停车线识别框R1之间的关系。

Claims (6)

1.一种停车线识别装置，其特征在于，具有：

摄像单元，其拍摄包含本车辆行驶路线在内的前方的车外环境；

停车线识别单元，其基于由所述摄像单元拍摄的图像，识别在本车辆行驶路线上存在的停车线；

信号机识别单元，其对本车辆行驶路线前方的信号机进行识别；以及

许可判定单元，其在由所述信号机识别单元识别出本车辆行驶路线正前方的信号机是红色信号时，对于所述停车线识别单元许可执行停车线识别处理，

所述摄像单元是拍摄彩色图像的摄像单元，

所述信号机识别单元基于由所述摄像单元拍摄的彩色图像，识别本车辆行驶路线上正前方的信号机，

所述停车线识别单元在图像上设定停车线识别框，并基于所述停车线识别框内的亮度按照时间顺序的变化，识别停车线，所述停车线识别框在本车辆前方沿着车辆宽度方向延伸，并且其车辆宽度方向位置与由所述信号机识别单元识别出的信号机在图像上的车辆宽度方向位置对应而可变。

2.根据权利要求1所述的停车线识别装置，其特征在于，

所述停车线识别单元，在图像上设定在本车辆前方沿着车辆宽度方向延伸的停车线识别框，基于所述停车线识别框内的亮度按照时间顺序的变化，识别停车线。

3.根据权利要求1所述的停车线识别装置，其特征在于，

所述停车线识别装置，在所述停车线识别框内的亮度在判定时间内，按照时间顺序由小于或等于设定亮度的状态向大于或等于设定亮度变化，并再次变化到小于或等于设定亮度的状态时，判定停车线存在于所述停车线识别框内的亮度变化到大于或等于设定亮度的图像上的区域中。

4.根据权利要求3所述的停车线识别装置，其特征在于，

所述判定时间被可变设定为，本车辆的车辆速度越高其越短。

5.根据权利要求1至4中的任意一项所述的停车线识别装置，其特征在于，

所述许可判定单元，在对所述停车线识别单元许可执行停止线识别处理后，在本车辆行驶路线的正前方的信号灯变化到绿色信号时，解除所述执行许可。

6.根据权利要求1至4中的任意一项所述的停车线识别装置，其特征在于，

所述许可判定单元，在对所述停车线识别单元许可执行停车线识别处理后，在经过了设定时间时，解除所述执行许可。