CN109509362A - 信号识别装置、信号识别方法以及驾驶辅助系统 - Google Patents

Abstract

本发明的实施方式提供即使日照环境等变化，也更稳定地识别信号机的点亮颜色的信号识别装置、信号识别方法以及驾驶辅助系统。本实施方式涉及的信号识别装置具备信号机提取部、点亮区域提取部、以及识别部。信号机提取部提取拍摄图像内的信号机的区域。点亮区域提取部提取拍摄图像内的点亮区域。识别部进行基于点亮区域在信号机的区域内的位置来识别信号机的点亮颜色的处理。

Description

信号识别装置、信号识别方法以及驾驶辅助系统

相关申请的交叉引用

本申请将日本专利申请2017－178306号(申请日：2017年9月15日)作为基础申请来主张优先权。本申请通过参照该基础申请而包括基础申请的全部内容。

技术领域

本发明的实施方式涉及信号识别装置、信号识别方法以及驾驶辅助系统。

背景技术

公知有通过图像处理从车载照相机拍摄到的拍摄图像中识别信号灯的方法。在这些基于图像处理的识别方法中，一般基于信号机的灯光的颜色来识别信号灯。

然而，如果日照环境等变化，则导致拍摄图像中的信号灯的颜色变化。另外，夜间的拍摄图像中的信号灯区域的大多数部分饱和，难以进行颜色的识别。因此，存在图像中的信号灯的识别精度因日照环境等的变化而降低的担心。

发明内容

本发明的实施方式提供即使产生日照环境等的变化，也更稳定地识别信号机的点亮颜色的信号识别装置、信号识别方法以及驾驶辅助系统。

本实施方式涉及的信号识别装置具备信号机提取部、点亮区域提取部、以及识别部。信号机提取部提取拍摄图像内的信号机的区域。点亮区域提取部提取拍摄图像内的点亮区域。识别部进行基于信号机的区域内的点亮区域的位置识别信号机的点亮颜色的处理。

附图说明

图1是表示第1实施方式涉及的驾驶辅助系统的整体构成的框图。

图2是表示由拍摄装置拍摄到的多个图像的图。

图3(A)～(C)是表示成为信号识别装置的识别对象的信号机的一个例子的图。

图4是表示信号识别装置的构成例的框图。

图5是表示信号机的区域与灯区域的区域的图。

图6(A)～(D)是表示识别部所进行的点亮颜色的识别处理的例子的图。

图7是表示信号识别装置的处理例的流程图。

图8是表示第2实施方式涉及的信号机提取部、点亮区域提取部、识别部的构成的框图。

图9(A)～(C)是表示信号处理区域的例子的图。

图10(A)～(C)是表示亮度梯度方向共生直方图的计算例的图。

图11(A)～(D)是示意地表示街道路灯的亮度分布与信号灯的亮度分布的图。

图12(A)～(C)是表示针对点亮区域的亮度梯度方向共生直方图的计算例的图。

图13(A)～(C)是表示除了背景区域和饱和区域以外的图像区域、以及实施了色处理的图像区域的图。

图14(A)以及(B)是示意地表示短曝光图像以及长曝光图像的亮度分布的图。

图15是表示第2实施方式涉及的信号识别装置的处理例的流程图。

图16是表示第2实施方式涉及的识别部的色处理的例子的流程图。

图17(A)～(C)是表示颜色梯度方向共生直方图的计算例的图。

图18(A)～(C)是表示颜色直方图的计算例的图。

图19是表示第1特征量计算部计算出的特征量的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式涉及的驾驶辅助系统详细进行说明。其中，以下所示的实施方式只是本发明的实施方式的一个例子，本发明不被解释限定为这些实施方式。另外，在本实施方式所参照的附图中，存在对相同部分或者具有相同功能的部分赋予相同的附图标记或者类似的附图标记，而省略其反复的说明的情况。另外，存在附图的尺寸比率为了便于说明而与实际的比率不同的情况、构成的一部分被从附图省略的情况。

(第1实施方式)

图1是表示第1实施方式涉及的驾驶辅助系统1的整体构成的框图。如该图1所示，驾驶辅助系统1是根据拍摄图像识别信号灯，对车辆的驾驶进行辅助的系统。更具体而言，该驾驶辅助系统1构成为具备拍摄装置10、信号识别装置20、驾驶辅助装置30、显示装置40、声音装置50、以及制动装置60。

拍摄装置10例如被搭载于车辆，拍摄曝光时间不同的多个图像。该拍摄装置10例如是将像素配置为二维的平面状的图像传感器，各像素由4个拍摄元件构成。这4个拍摄元件是相同的构造，4个拍摄元件各自的曝光时间不同。即，该拍摄装置10按曝光时间从短到长的顺序，拍摄短曝光的拍摄图像、中曝光1的拍摄图像、中曝光2的拍摄图像、长曝光的拍摄图像。

图2是表示由拍摄装置10拍摄到的曝光时间不同的多个拍摄图像的图。这些图像是在夜间拍摄到的图像。如该图2所示，从上到下按顺序表示了短曝光的拍摄图像、中曝光1的拍摄图像、中曝光2的拍摄图像、长曝光的拍摄图像。根据这些拍摄图像可知，在长曝光的拍摄图像中，即便是夜间也能够清楚地拍摄物体的边缘等。

如图1所示，信号识别装置20使用由拍摄装置10拍摄到的拍摄图像来识别信号机的点亮颜色。该信号识别装置20的详细的构成将后述。

图3是表示成为信号识别装置20的识别对象的信号机的一个例子的图，图3(A)是绿色(G)点亮的例子，图3(B)是黄色(Y)点亮的例子，图3(C)是红色(R)点亮的例子。如该图3所示，信号识别装置20的识别对象例如是车辆用的交通信号机。该交通信号机是具有绿色(G)、黄色(Y)、红色(R)这三个灯的照明设备的例子。图3的左侧是横长的交通信号机，右侧是纵长的交通信号机。此外，在本实施方式中，例如以车辆用的交通信号机为例来进行说明，但并不局限于此，如行人用的信号机、道口信号机等那样具有二个灯的照明设备的信号机等也包含在识别对象中。

如图1所示，驾驶辅助装置30根据信号识别装置20的输出信号来辅助车辆的驾驶。在驾驶辅助装置30上连接有显示装置40、声音装置50、制动装置60等。

显示装置40例如是显示器，配置在从车辆内的驾驶席能够视觉辨认的位置。驾驶辅助装置30基于信号识别装置20的输出信号，例如使显示装置40显示信号机的示意图。更详细而言，在信号识别装置20将信号灯的颜色识别为绿色的情况下，显示装置40进行将信号机的示意图内的绿色灯区域的亮度提高的处理。同样，在信号识别装置20将信号灯的颜色识别为黄色的情况下，显示装置40进行将信号机的示意图内的黄色灯区域的亮度提高的处理。同样，在信号识别装置20将信号灯的颜色识别为红色的情况下，显示装置40进行将信号机的示意图内的红色灯区域的亮度提高的处理。由此，即便在例如因逆光等而难以识别信号机的情况下，驾驶员等也能够通过视觉辨认显示装置40而容易地识别信号机的点亮颜色。

声音装置50例如是扬声器，配置在从车辆内的驾驶席能够听取到的位置。驾驶辅助装置30基于信号识别装置20的输出信号，例如使声音装置50产生“信号机是红色”等声音。由此，例如即使在驾驶员的注意力降低的情况下，也能够通过听取声音而容易地识别信号机的点亮颜色。

制动装置60例如是辅助刹车器，基于驾驶辅助装置30的指示信号来制动车辆。驾驶辅助装置30例如在信号识别装置20将信号机的点亮颜色识别为红色的情况下，使制动装置60对车辆进行制动。

图4是表示信号识别装置20的详细的构成例的框图。如该图4所示，信号识别装置20构成为具备存储部202、位置检测部204、信号机提取部206、点亮区域提取部208、以及识别部210。

存储部202例如由RAM(Random Access Memory)、闪存等半导体存储器元件、硬盘、光盘等实现。该存储部202存储由拍摄装置10拍摄到的拍摄图像。另外，存储部202存储有记录了本实施方式涉及的信号机的位置信息的地图信息。

位置检测部204被搭载于车辆，检测车辆的位置和行进方向。该位置检测部204例如具有陀螺仪和GPS接收机，使用陀螺仪以及GPS接收机的输出信号来检测车辆的位置和行进方向。

信号机提取部206提取拍摄图像内的信号机的区域。本实施方式涉及的信号机提取部206具有第1区域提取部2060。第1区域提取部2060提取拍摄图像内的横长的长方形的区域、以及纵长的长方形的区域作为信号机的区域。信号机提取部206例如通过将直线状的边缘的提取处理与霍夫变换处理进行组合而得到的四边形的提取处理来提取长方形的区域。第1区域提取部2060中的四边形的提取处理并不局限于此，也可以使用提取图像处理中的一般的四边形的区域的处理。另外，信号机提取部206例如使用存储于存储部202的中曝光2或者长曝光的拍摄图像，来提取拍摄图像内的信号机的区域。由此，即便是夜间也能够抑制边缘的提取精度的降低。此外，在拍摄图像内的信号机的区域与后述的点亮区域提取部208提取出的点亮区域不重叠的情况下，信号机提取部206可以预先从提取对象中将与点亮区域提取部208提取出的点亮区域不重叠的信号机的区域除去。

点亮区域提取部208提取拍摄图像内的点亮区域。本实施方式涉及的点亮区域提取部208具有第2区域提取部2080。第2区域提取部2080提取拍摄图像内的高亮度区域作为点亮区域。信号机提取部206例如使像素值的阈值处理与标记(labeling)处理组合，提取独立的高亮度区域且规定的面积范围的区域作为点亮区域。第2区域提取部2080中的点亮区域的提取处理并不局限于此，也可以通过一般公知的图像处理来提取点亮区域。另外，点亮区域提取部208例如使用存储于存储部202的短曝光或者中曝光1的拍摄图像，来提取拍摄图像内的点亮区域。此外，在拍摄图像内的点亮区域与信号机提取部206提取出的信号机的区域不重叠的情况下，点亮区域提取部208也可以预先从提取对象中将与信号机提取部206提取出的信号机的区域不重叠的点亮区域除去。

这样，信号机提取部206从第1曝光时间的拍摄图像例如中曝光2或者长曝光的拍摄图像中提取信号机的区域，点亮区域提取部208从曝光时间比第1曝光时间短的第2曝光时间的拍摄图像例如短曝光或者中曝光1的拍摄图像中提取点亮区域。由此，即便是傍晚时或夜间，信号机提取部206也能够抑制信号机的区域提取精度的降低。另一方面，信号机提取部206通过使用曝光时间较短的拍摄图像，能够抑制点亮区域的像素饱和、产生光晕等。由上述可知，通过使用适合于信号机提取部206以及点亮区域提取部208各自的处理的曝光时间的拍摄图像，可抑制各自的提取精度降低。

图5是表示信号机提取部206提取出的信号机的区域、和点亮区域提取部208提取出的点亮区域的区域的图。如该图5所示，信号机提取部206提取四边形80、82作为信号机的区域。另一方面，点亮区域提取部208提取点亮区域84、86、88。这样，存在如下可能性，即：在点亮区域提取部208提取的点亮区域中包括街道路灯等，在信号机提取部206提取的信号机的区域中也包括信号机的区域以外的区域。

如图4所示，识别部210基于信号机提取部206提取出的信号机的区域内的由点亮区域提取部208提取出的点亮区域的位置，识别信号机的点亮颜色。即，在点亮区域提取部208提取出的点亮区域进入由信号机提取部206提取出的信号机的区域内的情况下，识别部210将这些信号机的区域与点亮区域的组合识别为信号机。另一方面，在信号机提取部206提取出的信号机的区域内不包括由点亮区域提取部208提取出的点亮区域的情况下，识别部210识别为点亮区域提取部208提取出的点亮区域不是信号灯。另外，在点亮区域提取部208提取出的点亮区域不进入由信号机提取部206提取出的信号机的区域内的情况下，识别部210将信号机提取部206提取出的信号机的区域从信号机的区域除去。

基于图6对更具体的例子进行说明。图6是表示识别部210进行的点亮颜色的识别处理的例子的图，图6(A)是绿色(G)点亮的例子，图6(B)是黄色(Y)点亮的例子，图6(C)是红色(R)点亮的例子，图6(D)是不是信号机的例子。这里，虚线表示点亮区域，最外框的矩形表示信号机的区域。如该图6所示，识别部210将信号机提取部206提取出的信号机的区域划分为多个区域，基于这些多个区域中的包含有由点亮区域提取部208提取出的点亮区域的区域，来识别信号机的点亮颜色。

更详细而言，识别部210将信号机的区域内划分为3个区域，根据点亮区域的位置是位于3个区域中的哪一个，来输出与绿色对应的第1输出信号、与黄色对应的第2输出信号、与红色对应的第3输出信号中的至少一个输出信号。例如，如图6的(A)所示，在点亮区域位于左端的区域的情况下，输出与绿色对应的第1输出信号。同样，如图6的(B)所示，在点亮区域位于中央部的区域的情况下，输出与黄色对应的第2输出信号。同样，如图6的(C)所示，在点亮区域位于右端的区域的情况下，输出与红色对应的第3输出信号。另一方面，如图6的(D)所示，识别部210识别为，不包含在信号机提取部206提取出的信号机的区域内的点亮区域是街道路灯等而不是信号机。

此外，存在在信号灯闪烁时、或因闪光(flicker)的影响而无法提取点亮区域的情况。因此，可以从按时间序列拍摄到的数帧大小的图像中提取点亮区域。另外，识别部210也可以输出表示没灯的输出信号。

在纵型的信号机的情况下也同样，识别部210在点亮区域位于下端的区域的情况下，输出与绿色对应的第1输出信号，在点亮区域位于中央部的区域的情况下，输出与黄色对应的第2输出信号，在点亮区域位于上端的区域的情况下，输出与红色对应的第3输出信号。另外，识别部210在2灯灯光型的信号的情况下，将区域划分为两个，根据点亮区域的位置位于2个区域中的哪一个，来输出与绿色对应的第1输出信号、与红色对应的第3输出信号中的至少一个输出信号。

识别部210基于位置检测部204(图2)检测出的车辆的位置和行进方向、以及存储于存储部202(图2)的信号机的位置信息，来识别从当前位置的车辆应该拍摄到拍摄图像上的信号机的种类。由此，识别部210确定信号机的候选区域内的分割数与信号的排列。

图7是表示信号识别装置20的处理例的流程图。如该图7所示，信号机提取部206例如提取长曝光的拍摄图像内的信号机的区域(步骤S100)。识别部210判定信号机的候选区域与点亮区域提取部208提取出的点亮区域是否重叠(步骤S102)。在重叠的情况下(步骤S102的“是”)，识别部210维持信号机的区域(步骤S104)。例如，在点亮区域提取部208提取出的点亮区域的80％以上包含于信号机的候选区域的情况下，识别部210维持信号机的区域。而且，识别部210基于信号机提取部206提取出的信号机的区域内的信号灯区域的位置，来识别信号机的点亮颜色(步骤S106)。

另一方面，点亮区域提取部208从例如中曝光1的拍摄图像内提取点亮区域(步骤S108)。而且，在信号机提取部206提取出的信号机的区域与点亮区域提取部208提取出的点亮区域重叠的情况下(步骤S102的“是”)，识别部210维持点亮区域(步骤S110)。

另外，在信号机提取部206提取出的信号机的区域与点亮区域提取部208提取出的点亮区域不重叠的情况下(步骤S102的“否”)，识别部210将信号机提取部206提取出的信号机的区域从信号机的区域除去，将点亮区域提取部208提取出的点亮区域从点亮区域除去(步骤S112)，结束整体的处理。此外，步骤S100与步骤S108的处理可以同时进行，或者，也可以在进行了步骤S108的处理之后进行步骤S100的处理。这样，在信号机提取部206提取出的信号机的区域与点亮区域重叠的情况下，识别部210基于信号机的区域内的点亮区域的位置来识别信号机的点亮颜色。

综上所述，根据本实施方式，识别部210基于信号机提取部206提取出的信号机的区域内的由点亮区域提取部208提取出的点亮区域的位置，来识别信号机的点亮颜色。点亮区域不进行彩色处理等也被稳定地提取，所以不会受到因日照环境等变化引起的拍摄图像的颜色变化的影响，能够更稳定地识别信号机的点亮颜色。

(第2实施方式)

第2实施方式是对识别处理追加彩色处理来使信号灯的识别精度提高的方式。以下，对与第1实施方式不同的点进行说明。

图8是表示第2实施方式涉及的信号机提取部206、点亮区域提取部208、识别部210的构成的框图。如该图8所示，点亮区域提取部208具有第1区域提取部2060、第1区域除去部2062、第1特征量计算部2064、以及第1识别部2066。另外，点亮区域提取部208具有第2区域提取部2080、第2区域除去部2082、第2特征量计算部2084、以及第2识别部2086。识别部210具有点亮区域位置决定部2100、饱和像素除去部2102、色处理部2104、色识别部2106、以及图像选择部2108。此外，第2实施方式涉及的拍摄图像是RGB的彩色图像。

第1区域提取部2060提取拍摄图像内的横长的长方形的区域以及纵长的长方形的区域作为信号机的候选区域。此外，第2实施方式涉及的信号机提取部206从第1区域提取部2060提取出的长方形的区域中选择信号机区域，由此将第1区域提取部2060提取出的长方形的区域称为信号机的第1候选区域。

第1区域除去部2062基于车辆的位置和朝向、信号机的位置信息、以及拍摄图像，从第1区域提取部2060提取出的第1候选区域中提取第2候选区域。更具体而言，第1区域除去部2062基于位置检测部204(图2)检测出的车辆的位置和行进方向、以及存储于存储部202(图2)的信号机的位置信息，对从当前位置的车辆应该拍摄到拍摄图像上的信号机的拍摄图像内的位置进行运算。接着，第1区域除去部2062将从应该被拍摄的信号机的拍摄图像内的位置起未进入规定范围内的第1候选区域除去。换言之，第1区域除去部2062提取从应该被拍摄的信号机的拍摄图像内的位置起进入规定范围内的第1候选区域作为第2候选区域。

第1特征量计算部2064提取包括由第1区域除去部2062提取出的第2候选区域在内的信号处理区域，基于该信号处理区域来计算特征量。

图9是表示信号处理区域的例子的图，图9(A)是绿色(G)点亮的例子，图9(B)是黄色(Y)点亮的例子，图9(C)是红色(R)点亮的例子。如该图9所示，首先，第1特征量计算部2064提取第2候选区域作为信号处理区域，该第2候选区域是以信号机区域的纵与横的长度成为特定的长度的方式对拍摄图像进行标准化而包含标准化后的信号机区域的图像区域。该情况下，信号处理区域的纵与横的长度分别被设定为信号机区域的例如2倍。另外，纵长的信号机区域旋转90度而与横型的信号机区域同样地设定信号处理区域。

如图8所示，第1特征量计算部2064基于信号处理区域内的拍摄图像来计算特征量。例如特征量使用亮度梯度方向共生直方图，但并不局限于此，也可以是Haar－like特征等。此外，也存在位置检测部204(图2)无法接收GPS信号的情况，第1特征量计算部2064也可以不进行第1区域除去部2062的处理而对第1区域提取部2060提取出的第1候选区域计算特征量。

图10是表示亮度梯度方向共生直方图(CoHOG)的计算例的图。如该图10所示，第1特征量计算部2064运算亮度梯度矢量，计算出亮度梯度矢量的组合的出现频度，作为亮度梯度方向共生直方图。更具体而言，将信号处理区域例如分割为8个单元，将按每个单元计算出的亮度梯度方向共生直方图按顺序排列而作为特征量。针对处于被表示为共生对的位置关系的矢量间的组合，求取亮度梯度方向共生直方图，与通常的亮度梯度方向直方图(HOG)相比，能够更详细地表现物体的构造信息。

如图8所示，第1识别部2066例如是识别器，基于第1特征量计算部2064计算出的特征量，来识别第2候选区域是否是信号机的区域。该识别器将基于实际的信号机从拍摄图像计算出的特征量作为正模式(pattern)，例如将基于挡风玻璃、建筑物的构造部等长方形的区域从拍摄图像计算出的特征量作为负模式，进行学习。即，在由第1特征量计算部2064基于信号处理区域计算出的特征量满足规定的条件的情况下，第1识别部2066将第2候选区域识别为信号机的区域。而且，信号机提取部206最终提取第1识别部2066识别为信号机的区域的候选区域作为信号机的区域。这样，信号机提取部206通过追加识别处理，能够提取反映了拍摄图像的边缘构造等质地(texture)信息的信号机区域，信号机的区域的提取精度更加提高。

第2区域提取部2080提取规定的大小的高亮度区域作为点亮区域的候选区域。此外，由于第2实施方式涉及的信号机提取部206从第2区域提取部2080提取出的点亮区域中选择点亮区域，所以将第2区域提取部2080提取出的点亮区域称为点亮区域的第1候选区域。

第2区域除去部2082与第1区域除去部2062同样，基于位置检测部204(图2)检测出的车辆的位置和行进方向、以及存储于存储部202(图2)的信号机的位置信息，来运算从当前位置的车辆应该拍摄到拍摄图像上的信号机的拍摄图像内的位置。接着，第1区域除去部2062将从应该被拍摄的信号机的拍摄图像内的位置起未进入规定范围内的第1候选区域除去。换言之，第2区域除去部2082提取从应该被拍摄的信号机的拍摄图像内的位置起进入规定范围内的第1候选区域作为第2候选区域。

图11是示意地表示街道路灯的亮度分布和信号灯的亮度分布的图。该图11(A)是示意地表示朝向下的街道的灯亮度分布的图，图11(B)是表示从朝向下的街道的灯亮度分布除去了高亮度区域例如饱和像素后的区域的图。图11(C)是示意地表示信号灯的灯亮度分布的图，图11(D)是表示从信号灯的灯亮度分布除去了高亮度区域例如饱和像素后的区域的图。

如该图11(A)所示，街道路灯等朝向一个方向，例如下方向照射光。这样的朝向一个方向照射光的光源的亮度分布存在在光源朝向的方向上扩展的趋势。因此，例如，图11(A)所示的街道路灯的亮度分布的重心存在偏离图11(B)所示的饱和区域的趋势。

另一方面，如图11(C)所示，由于信号灯向多个方向照射光，所以亮度分布近似为圆形。因此，例如图11(A)所示的街道路灯的亮度分布的重心存在从图11(B)所示的饱和区域偏离的趋势。另一方面，图11(C)所示的信号灯的亮度分布的重心存在位于饱和区域内的趋势。第2区域除去部2082基于这样的特性，进行将亮度分布的重心从点亮区域内的高亮度区域例如饱和区域偏离的第1候选区域从第2区域提取部2080提取出的第1候选区域中除去的处理。换言之，第2区域除去部2082提取具有规定的亮度分布的第1候选区域作为第2候选区域。

第2特征量计算部2084与第1特征量计算部2064同样，提取包括第2区域除去部2082提取出的第2候选区域在内的信号处理区域，基于该信号处理区域来计算特征量。该情况下，按照点亮区域的第1候选区域的纵横比相同的方式进行标准化，信号处理区域的纵与横的长度相等，分别被设定为第1候选区域的2倍。

如图8所示，第2特征量计算部2084与第1特征量计算部2064同样，基于信号处理区域内的拍摄图像来计算特征量。图12是表示针对点亮区域的亮度梯度方向共生直方图(CoHOG)的计算例的图。如该图12所示，第2特征量计算部2084运算亮度梯度矢量，计算亮度梯度矢量的组合的出现频度，作为亮度梯度方向共生直方图。更具体而言，将信号处理区域例如分割为4个单元，将按每个单元计算出的亮度梯度方向共生直方图按顺序排列而作为特征量。由此，针对点亮区域的单元数比针对信号机的候选区域的单元数减少。

如图8所示，第2识别部2086与第1识别部2066同样，例如是识别器，基于第2特征量计算部2084计算出的特征量，来识别第2候选区域是否是基于信号灯的点亮区域。该识别器将基于实际的信号灯从拍摄图像计算出的特征量作为正模式，例如将基于街道路灯、汽车的尾灯等高亮度区域从拍摄图像计算出的特征量作为负模式，进行学习。即，在由第2特征量计算部2084基于信号处理区域计算出的特征量满足规定的条件的情况下，第2识别部2086将第2候选区域识别为基于信号灯的点亮区域。而且，点亮区域提取部208最终提取由第2识别部2086识别为基于信号灯的点亮区域的候选区域，作为点亮区域。这样，点亮区域提取部208通过追加识别处理，能够提取反映了拍摄图像的边缘构造等质地信息的点亮区域。

如图8所示，点亮区域位置决定部2100决定由信号机提取部206提取出的信号机的区域内的由点亮区域提取部208提取出的点亮区域的位置。例如如图6所示，点亮区域位置决定部2100将信号机提取部206提取出的信号机的区域例如3等份，决定点亮区域位于左端的区域、中央的区域、以及右端的区域中的哪一个。由此，识别部210实施与信号机的区域内的点亮区域的位置对应的色处理。

点亮区域位置决定部2100基于位置检测部204(图2)检测出的车辆的位置和行进方向、以及存储于存储部202(图2)的信号机的位置信息，来识别从当前位置的车辆应该拍摄到拍摄图像上的信号机的种类。由此，点亮区域位置决定部2100确定信号机的区域内的分割数和信号的排列。

图13是表示从点亮区域除去了背景区域和饱和区域后的图像区域、以及实施了色处理的图像区域的图。该图13的(A)行表示红色灯1的例子，(B)行表示红色灯2的例子，(C)行表示黄色灯的例子。另外，中列的图像分别表示除去了饱和像素和背景区域后的图像例，右列的图像分别表示对除去了饱和像素和背景区域后的图像进一步进行了色处理的图像。红色灯1与红色灯2的不同在于点亮区域中的绿色成分的比例。即，红色灯1的约20％的区域是绿色成分，红色灯2的约60％的区域是绿色成分。此外，该色处理的详细情况将后述。

饱和像素除去部2102进行例如如图13的中列的图像所示从点亮区域提取部208提取出的点亮区域中将饱和像素和规定值以下的像素值即背景区域除去的处理。由此，能够从点亮区域中将与信号灯的色成分无关的区域除去。

色处理部2104对于由饱和像素除去部2102除去了点亮区域内的饱和像素之后剩余的像素，实施与由点亮区域位置决定部2100决定的点亮区域的位置相对应的色处理。更具体而言，色处理部2104针对除去了点亮区域内的饱和像素之后剩余的像素，变换为HSV式的色系，实施与灯区域的位置相对应的色处理。例如，如果点亮区域位置决定部2100所决定的点亮区域为左端，则将与绿色相当的像素以外的像素除去。更详细而言，色处理部2104进行将H的值为150以下的像素以及H的值为200以上的像素除去的处理。

同样，如果点亮区域位置决定部2100决定的点亮区域为中央部，则将与黄色相当的像素以外的像素除去。更详细而言，如果点亮区域为中央部，则色处理部2104进行将H的值为9以下的像素以及H的值为30以上的像素除去的处理。

同样，如果点亮区域位置决定部2100所决定的点亮区域为右端，则将与红色相当的像素以外的像素除去。更详细而言，如果点亮区域位置决定部2100所决定的点亮区域为右端，则色处理部2104进行将8以上的像素除去的处理。由此，如果点亮区域为左端，则仅残留相当于绿色的像素，如果点亮区域为中央部，则仅残留相当于黄色的像素，如果点亮区域为右端，则仅残留相当于红色的像素。

色识别部2106基于点亮区域位置决定部2100所决定的信号机的区域内的点亮区域的位置，提取规定的色成分，输出与提取出的规定的色成分对应的信号。即，如果点亮区域位置决定部2100所决定的点亮区域为左端，则只要在色处理部2104处理了的图像区域中残留规定量以上的相当于绿色的像素，色识别部2106就输出与绿色对应的第1输出信号。同样，如果点亮区域位置决定部2100所决定的点亮区域为中央部，则只要在色处理部2104处理了的图像区域中残留规定量以上的相当于黄色的像素，色识别部2106就输出与黄色对应的第2输出信号。同样，如果点亮区域位置决定部2100所决定的点亮区域为右端，则只要在色处理部2104处理了的图像区域中残留规定量以上的相当于红色的像素，色识别部2106就输出与红色对应的第3输出信号。若如以往那样根据信号机内的亮度区域内的色成分来识别信号机，则红色灯2被识别为绿色，但由于预先实施了与信号机的区域内的点亮区域的位置对应的色处理，所以能够抑制这样的误识别。

图像选择部2108基于用不同的曝光时间拍摄到的多个图像各自中的信号灯的区域的亮度分布的状态，来选择特定的曝光时间的图像。更具体而言，图像选择部2108从短曝光的拍摄图像、中曝光1的拍摄图像、中曝光2的拍摄图像、长曝光的拍摄图像中，选择分别适合于信号机提取部206以及点亮区域提取部208的拍摄图像。

图14是示意地表示短曝光图像以及长曝光图像的亮度分布的图，基于该图14，对图像选择部2108的处理例进行说明。图14(A)的上侧的图表示短曝光的红色灯的图像，下侧的图表示红色灯的亮度分布范围90和高亮度区域92。图14(B)的上侧的图表示与图14(A)的上侧的图同一范围的长曝光的红色灯的图像，下侧的图表示红色灯的亮度分布范围94和高亮度区域96。

根据这些图可知，亮度分布范围90与高亮度区域92的比例、亮度分布范围94与高亮度区域96的比例根据曝光时间而变化。图像选择部2108基于这些特性，根据亮度分布范围与高亮度区域的比例，从短曝光的拍摄图像、中曝光1的拍摄图像、中曝光2的拍摄图像、长曝光的拍摄图像中，选择分别适合于信号机提取部206以及点亮区域提取部208的拍摄图像。例如，对于用于信号机提取部206的拍摄图像而言，由于边缘信息是重要的，所以选择亮度分布范围相对于高亮度区域的比例具有第1规定值的拍摄图像。与此相对，对于用于点亮区域提取部208的拍摄图像而言，由于点亮区域的范围以及饱和区域的范围更少是重要的，所以选择亮度分布范围相对于高亮度区域的比例具有第2规定值的拍摄图像。即，用于信号机的提取的第1规定值比用于点亮区域的提取的第2规定值大。由此，能够选择与白天、傍晚时、夜间等日照环境对应的曝光时间的拍摄图像，可降低日照环境的影响。

图15是表示第2实施方式涉及的信号识别装置的处理例的流程图。对与第1实施方式涉及的信号识别装置20的处理例不同的部分进行说明。如图15所示，第1区域除去部2062基于车辆的位置和朝向、信号机的位置信息、以及拍摄图像，从第1区域提取部2060提取出的第1候选区域中提取第2候选区域(步骤S200)。

接下来，第1特征量计算部2064提取包括第1区域除去部2062提取出的第2候选区域在内的信号处理区域，基于该信号处理区域计算特征量(步骤S202)。接下来，第1识别部2066基于第1特征量计算部2064计算出的特征量，识别候选区域是否是信号机的区域(步骤S204)。

另一方面，第2区域除去部2082基于车辆的位置和朝向、信号机的位置信息、以及拍摄图像，从第2区域提取部2080提取出的第1候选区域中提取第2候选区域(步骤S206)。另外，第2区域除去部2082使用2候选区域的亮度分布，进行将亮度分布不满足规定的条件的点亮区域从2候选区域中除去的处理(步骤S208)。

接下来，第2特征量计算部2084提取包括第2区域除去部2082提取出的第2候选区域在内的信号处理区域，基于该信号处理区域计算特征量(步骤S210)。接下来，第2识别部2086基于第2特征量计算部2084计算出的特征量，识别第2候选区域是否是基于信号灯的点亮区域(步骤S212)。然后，点亮区域提取部208最终提取由第2识别部2086识别为基于信号灯的点亮区域的候选区域作为点亮区域。这样，信号机提取部206以及点亮区域提取部208通过识别处理来提取信号机区域。

图16是表示第2实施方式涉及的识别部210的色处理的例子的流程图。如该图16所示，饱和像素除去部2102进行从点亮区域提取部208提取出的点亮区域中将背景区域和饱和像素除去的处理(步骤S300、步骤S302)。

接下来，色处理部2104对于饱和像素除去部2102除去了点亮区域内的饱和像素之后剩余的像素，变换为HSV式的色系(步骤S304)。接着，色处理部2104针对变换为HSV式的色系后的像素，将与点亮区域位置决定部2100所决定的点亮区域的位置对应的色范围外的像素除去(步骤S306)。

然后，色识别部2106基于由点亮区域位置决定部2100决定的信号机的区域内的点亮区域的位置，提取规定的色成分，输出与提取出的规定的色成分对应的信号(步骤S308)。这样，对于识别部210而言，实施与信号机的区域内的点亮区域的位置对应的色处理，来进行点亮区域的识别处理。

综上所述，根据本实施方式，识别部210实施与由信号机提取部206提取出的信号机的区域内的由点亮区域提取部208提取出的点亮区域的位置相对应的色处理，并识别信号机的点亮颜色。由此，能够通过应该在信号机的点亮位置存在的色成分的量来识别信号灯的颜色，识别精度更加提高。

(第2实施方式的变形例)

在第2实施方式的变形例中，第1特征量计算部2064作为特征量而追加了颜色梯度方向共生直方图以及颜色直方图作为特征量。

图17是表示颜色梯度方向共生直方图的计算例的图。如该图17所示，第1特征量计算部2064运算颜色梯度矢量，计算颜色梯度矢量的组合的出现频度作为颜色梯度方向共生直方图。

图18是表示颜色直方图的计算例的图。如该图18所示，第1特征量计算部2064运算颜色梯度矢量，计算颜色梯度矢量的组合的出现频度作为颜色梯度方向共生直方图。

图19是表示第1特征量计算部2064计算出的特征量的例子的图。如该图19所示，第1特征量计算部2064除了亮度梯度方向共生直方图以外，还运算颜色梯度方向共生直方图和颜色直方图作为特征量。

同样，第2特征量计算部2084也作为特征量，除了亮度梯度方向共生直方图以外，还运算颜色梯度方向共生直方图和颜色直方图作为特征量。

综上所述，根据本实施方式，第1特征量计算部2064以及第2特征量计算部2084分别追加了颜色梯度方向共生直方图以及颜色直方图作为特征量。由此，能够还使用颜色梯度的信息等来提取信号机区域以及点亮区域，信号机区域以及点亮区域的提取精度进一步提高。

以上，对本发明的几个实施方式进行了说明，但这些实施方式只是例示，不意图限定发明的范围。这些新的实施方式能够通过其他的各种方式实施，在不脱离发明主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形例包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明及其等同的范围中。

Claims (16)

1.一种信号识别装置，其中，具备：

信号机提取部，提取拍摄图像内的信号机的区域；

点亮区域提取部，提取拍摄图像内的点亮区域；以及

识别部，进行基于上述点亮区域在上述信号机的区域内的位置来识别信号机的点亮颜色的处理。

2.根据权利要求1所述的信号识别装置，其中，

在上述信号机的区域中包含上述点亮区域的情况下，上述识别部识别上述信号机的点亮颜色。

3.根据权利要求1所述的信号识别装置，其中，

在上述信号机的区域内不包含上述点亮区域的情况下，上述识别部识别为上述点亮区域不是信号灯。

4.根据权利要求1所述的信号识别装置，其中，

上述识别部将上述信号机的区域划分为多个区域，基于上述多个区域中的包括上述点亮区域的区域，识别上述信号机的点亮颜色。

5.根据权利要求1所述的信号识别装置，其中，

上述识别部将上述信号机的区域内划分为3个区域，根据上述点亮区域的位置位于上述3个区域中的哪一个，输出与绿色对应的第1输出信号、与黄色对应的第2输出信号、和与红色对应的第3输出信号中的至少一个输出信号。

6.根据权利要求1所述的信号识别装置，其中，

上述信号机提取部从第1曝光时间的拍摄图像中提取信号机的区域，

上述点亮区域提取部从曝光时间比上述第1曝光时间短的第2曝光时间的拍摄图像中提取点亮区域。

7.根据权利要求1所述的信号识别装置，其中，

上述识别部实施与上述点亮区域在上述信号机的区域内的位置相对应的色处理。

8.根据权利要求7所述的信号识别装置，其中，

上述识别部针对上述点亮区域内的除去饱和像素之后剩余的像素，实施与上述点亮区域的位置相对应的色处理。

9.根据权利要求7或8所述的信号识别装置，其中，

上述识别部基于上述点亮区域在上述信号机的区域内的位置来提取规定的色成分，输出与提取出的上述规定的色成分相对应的信号。

10.根据权利要求1所述的信号识别装置，其中，

上述识别部基于以不同的曝光时间拍摄到的多个图像各自中的上述点亮区域的亮度分布的状态，选择特定的曝光时间的图像。

11.根据权利要求1所述的信号识别装置，其中，

上述信号机提取部在提取包括上述信号机的候选区域在内的信号处理区域且基于上述信号处理区域计算出的特征量满足规定的条件的情况下，提取上述候选区域作为信号机的区域。

12.根据权利要求1所述的信号识别装置，其中，

关于点亮区域，在提取高亮度的图像区域且基于上述高亮度的图像区域计算出的特征量满足规定的条件的情况下，提取上述高亮度的区域作为上述点亮区域。

13.根据权利要求11或12所述的信号识别装置，其中，

上述特征量是将2点间的边缘方向的组合进行直方图化的亮度梯度方向共生直方图、将2点间的颜色梯度的组合进行直方图化的颜色梯度方向共生直方图、以及将量化了的颜色进行直方图化的颜色直方图中的至少亮度梯度方向共生直方图。

14.根据权利要求11所述的信号识别装置，其中，还具备：

位置检测部，被搭载于车辆，检测上述车辆的位置和行进方向；以及

存储部，存储信号机的位置信息，

信号机提取部基于上述车辆的位置和朝向、上述信号机的位置信息、以及上述拍摄图像，提取上述候选区域。

15.一种信号识别方法，其中，

提取图像内的信号机的区域，

提取图像内的点亮区域，

基于上述点亮区域在上述信号机的区域内的位置，识别信号机的点亮颜色。

16.一种驾驶辅助系统，其中，具备：

拍摄装置，被搭载于车辆，对拍摄图像进行拍摄；

信号识别装置，使用上述拍摄图像来识别信号机的点亮颜色；以及

驾驶辅助装置，根据上述信号识别装置的输出信号来辅助上述车辆的驾驶，

上述信号识别装置具有：

信号机提取部，提取由上述拍摄装置拍摄到的拍摄图像内的信号机的区域；

点亮区域提取部，提取由上述拍摄装置拍摄到的拍摄图像内的点亮区域；以及

识别部，进行基于上述点亮区域在上述信号机的区域内的位置来识别信号机的点亮颜色的处理。