CN114730520A - 信号机识别方法及信号机识别装置 - Google Patents

Abstract

本发明的信号机识别方法及信号机识别装置，获取由基于拍摄车辆的行进方向的多张图像判定信号机的显示状态而得到的时间序列顺序的多个判定结果构成的结果序列，在从车辆的位置到与信号机对应的停止线的位置的第一距离为距离阈值以上的情况下，将第一阈值设定为个数阈值，在第一距离小于距离阈值的情况下，将比第一阈值小的第二阈值设定为个数阈值，在构成结果序列的判定结果中的与最新的判定结果相同的判定结果的个数比个数阈值多的情况下，输出判定结果。

Description

信号机识别方法及信号机识别装置

技术领域

本发明涉及一种信号机识别方法及信号机识别装置。

背景技术

根据专利文献1，提出了如下技术：为了在没有配备基础设施的交通环境中实施驾驶辅助，在判定了基于本车辆周围的车辆状况或图像识别的信号机的点亮颜色(灯光显示)之后，基于本车辆至停止位置的距离、车速来开始本车辆的制动。

现有技术文献

专利文献

专利文献1：(日本)特许5936258号公报

发明要解决的课题

但是，根据专利文献1记载的技术，为了提高图像识别的精度，在参照以时间序列排列的多个图像判定信号机的显示状态的情况下，在信号机的灯光显示从“绿信号”(表示“可以行进”的意思的颜色信号)变换到“绿信号”以外的颜色信号时，从灯光显示变换到实际开始车辆的制动会产生延迟时间，车辆的空走距离有可能变长。其结果是，用于使车辆在停止位置停止的减速加速度变大，有可能给乘员带来不适感。

发明内容

本发明是鉴于上述问题而完成的，其目的在于提供一种信号机识别方法及信号机识别装置，其能够在抑制车辆的空走距离变长的同时，参照按时间序列排列的多个图像来判定信号机的显示状态，并进行信号机的识别。

为了解决上述问题，本发明的一方式的信号机识别方法及信号机识别装置，获取由基于拍摄车辆的行进方向的多张图像判定信号机的显示状态而得到的时间序列顺序的多个判定结果构成的结果序列，在从车辆的位置到与信号机对应的停止线的位置的第一距离为距离阈值以上的情况下，将第一阈值设定为个数阈值，在第一距离小于距离阈值的情况下，将比第一阈值小的第二阈值设定为个数阈值，在构成结果序列的判定结果中的与最新的判定结果相同的判定结果的个数比个数阈值多的情况下，输出判定结果。

发明效果

根据本发明，能够抑制车辆的空走距离变长的同时，参照按时间序列排列的多个图像来判定信号机的显示状态，并进行信号机的识别。

附图说明

图1是表示本发明的一实施方式的信号机识别装置的结构的块图。

图2是表示本发明的一实施方式的信号机识别装置的处理顺序的流程图。

图3是表示车辆与信号机之间的位置关系的例子的示意图。

图4是表示由时间序列顺序的多个判定结果构成的结果序列的例子的图。

图5A是表示与结果序列对应的输出值的变化的第一例的图。

图5B是表示与结果序列对应的输出值的变化的第二例的图。

图6是表示本发明的一实施方式的信号机识别装置的处理顺序的变形例的流程图。

具体实施方式

接着，参照附图详细说明本发明的实施方式。在说明中，对相同的部分标注相同的符号并省略重复说明。

(信号灯识别装置的结构)

图1是表示本实施方式的信号机识别装置的结构的块图。如图1所示，本实施方式的信号机识别装置具备摄像部71和控制器100，控制器100通过有线或无线的通信路径与摄像部71、车载传感器73、地图信息获取部75、车辆控制装置400连接。

在此，摄像部71、车载传感器73、车辆控制装置400搭载于未图示的车辆上，但地图信息获取部75、控制器100可以搭载于车辆上，也可以设置在车辆的外部。

摄像部71拍摄车辆的行进方向的图像。例如，摄像部71是具备CCD、CMOS等固体拍摄元件的数码相机，拍摄车辆的周围而获取周边区域的数字图像。摄像部71通过设定焦距、透镜的视场角、摄像机的垂直方向及水平方向的角度等，对车辆周围的规定范围进行拍摄。

另外，由摄像部71拍摄的拍摄图像被输出到控制器100，在规定的期间内被存储到未图示的存储部。例如，摄像部71以规定的时间间隔获取拍摄图像，并将以规定的时间间隔获取的拍摄图像作为历史图像存储到存储部。历史图像也可以在从该历史图像的拍摄时刻起经过了规定的期间之后删除。

车载传感器73由搭载于车辆的激光雷达、毫米波雷达、摄像机等检测存在于车辆周围的物体的物体检测传感器等构成。车载传感器73也可以具备多个不同类型的物体检测传感器。

车载传感器73检测车辆周围的环境。例如，车载传感器73检测包括其他车辆、摩托车、自行车、行人的移动物体、以及包括停止车辆的静止物体，也可以检测移动物体以及静止物体相对于车辆的位置、姿态、大小、速度、加速度、减速度、横摆率等。车载传感器73也可以输出例如从车辆上方的空中观察的俯瞰图(也称为平面图)中的二维物体的行为作为检测结果。另外，车载传感器73也可以检测存在于车辆周围的标识(道路标识或路面显示的标识)或导轨等。此外，车载传感器73也可以检测车辆具备的车轮的转速或转速差，检测车辆行驶的车道的路面的易滑性。

另外，除了车辆周围的环境之外，车载传感器73还检测车辆的状态。例如，车载传感器73也可以检测车辆的移动速度(前后方向、左右方向的移动速度、转弯速度)、以及车辆所具备的车轮的转向角、转向角的变化速度。

此外，车载传感器73也可以包括使用GPS(全球定位系统)或测距仪等测量车辆的绝对位置的位置检测传感器等测量车辆的绝对位置的位置检测传感器来测量车辆的绝对位置，即车辆相对于规定的基准点的位置、姿态以及速度的传感器。

地图信息获取部75获取表示车辆行驶的道路的结构的地图信息。在地图信息获取部75获取的地图信息中包含车道的绝对位置、车道的连接关系、相对位置关系等道路结构的信息。另外，在地图信息获取部75获取的地图信息中也可以包含停车场、加油站等设施信息。此外，在地图信息中可以包含信号机的位置信息、信号机的类型、与信号机对应的停止线的位置等。地图信息获取部75可以具有存储地图信息的地图数据库，或者也可以通过云计算从外部地图数据服务器获取地图信息。另外，地图信息获取部75也可以使用车车间通信、路车间通信来获取地图信息。

车辆控制装置400基于由控制器100得到的信号机的识别结果，控制未图示的车辆。例如，车辆控制装置400可以是按照规定的行驶路径通过自动驾驶使车辆行驶的装置，也可以是辅助车辆的乘员的驾驶操作的装置。此外，车辆控制装置400也可以是将信号机的识别结果通知给车辆的乘员的通报装置。

控制器100(控制部或处理部的一例)是具备CPU(中央处理装置)、存储器及输入输出部的通用的微型计算机。在控制器100中安装有用于作为信号机识别装置的一部分发挥功能的计算机程序(信号机识别程序)。通过执行计算机程序，控制器100作为信号机识别装置所具备的多个信息处理电路(110、120、130、150、155、160、180、190)发挥功能。

另外，在此表示通过软件实现信号机识别装置所具备的多个信息处理电路(110、120、130、150、155、160、180、190)的例子。然而，也可以通过准备用于执行以下所示的各信息处理的专用硬件来构成信息处理电路(110、120、130、150、155、160、180、190)。另外，也可以由单独的硬件构成多个信息处理电路(110、120、130、150、155、160、180、190)。另外，信息处理电路(110、120、130、150、155、160、180、190)也可以兼用用于与车辆有关的其他控制的电子控制单元(ECU)。

控制器100具备：自身位置获取部110、停止位置获取部120、计算部130、判定部150、判定结果存储部155、阈值设定部180、输出决定部190、输出部160作为多个信息处理电路(110、120、130、150、155、160、180、190)。

自身位置获取部110经由车载传感器73获取车辆的绝对位置、即车辆相对于预定的基准点的当前位置。此外，自身位置获取部110也可以经由车载传感器73获取车辆的当前速度、加速度和姿态。

停止位置获取部120基于由自身位置获取部110获取的车辆的当前的位置、姿态，检索地图信息获取部75所获取的地图信息，提取位于车辆的行进方向的信号机。然后，停止位置获取部120从地图信息中获取与所提取的信号机对应的停止线的位置。另外，停止位置获取部120也可以提取处于摄像部71可拍摄的范围内的信号机。

计算部130计算从车辆的位置到停止线的位置的距离D(第一距离)。

另外，在此，在上述中示出了根据自身位置获取部110所获取的车辆的当前位置、和停止位置获取部120基于地图信息所获取的与信号机对应的停止线的位置，计算从上述车辆的位置到停止线的位置的距离D(第一距离)的例子，但不限于此。

例如，停止位置获取部120也可以从由摄像部71拍摄的图像中提取位于车辆的行进方向上的信号机，并且提取距提取出的信号机规定距离内或最近的停止线作为与信号机对应的停止线，基于提取出的停止线在图像上的位置来计算从车辆的位置到停止线的位置的距离D(第一距离)。从车辆的位置到停止线的位置的距离D(第一距离)的计算方法可以适当变更，没有限定。

另外，计算部130也可以基于停止位置获取部120所获取的停止线的位置，推定车辆是否能够以规定减速加速度减速并在停止线跟前停车。具体而言，计算部130对提取出的每个信号机计算车辆的当前位置与停止线的位置之间的距离D。然后，计算部130通过将车辆的当前速度V的平方除以距离D的2倍，来计算车辆在停止线停止时的减速加速度α的大小。

即，减速加速度α的大小能够通过以下的式(1)进行评价。

α＝V^2/2D (1)

而且，计算部130也可以在计算出的减速加速度α的大小比规定减速加速度β的大小大的情况下，推定为车辆以规定减速加速度β减速而不能在停止线的跟前停车。

另外，计算部130也可以代替计算减速加速度α来推定可否停车，而计算以规定减速加速度β减速停车时的预想停止位置，在停止线位于预想停止位置与车辆之间的情况下，推定为车辆不能在停止线的跟前停车。具体而言，计算部130也可以通过将车辆的当前速度V的平方除以规定减速加速度β的2倍，来计算车辆以规定减速加速度β减速直至停车为止移动的制动距离D_B。

即，制动距离D_B可由下式(2)来评价。

D_B＝V^2/2β (2)

而且，计算部130也可以将从车辆的当前位置向车辆的行进方向前进了仅制动距离D_B的位置作为预想停止位置，在停止线位于预想停止位置与车辆之间的情况下，推定为车辆不能在停止线的跟前停车。即，从车辆来看，在沿着车辆的行进方向预想停止位置比停止线远的情况下，也可以推定为车辆不能在停止线的跟前停车。

另外，计算部130也可以计算车辆的空走距离D_F。具体而言，也可以将规定周期(在后述的判定部150中，成为判定对象的图像的拍摄周期)、个数阈值NC(在后述的阈值设定部180中设定，在后述的输出决定部190中使用的值)、和车辆的速度相乘，而计算出空走距离D_F。

计算部130也可以基于制动距离D_B来设定在后述的阈值设定部180中使用的距离阈值D_H。具体而言，可以将制动距离D_B设定为距离阈值D_H，或者也可以将制动距离D_B与空走距离D_F之和设定为距离阈值D_H。

阈值设定部180基于距离D(第一距离)设定在后述的输出决定部190中使用的值、即个数阈值NC(阈值设定处理)。另外，个数阈值NC在控制器100的初次起动时被设定为规定的初始值，之后由阈值设定部180更新。

具体而言，阈值设定部180比较距离D和距离阈值D_H，阈值设定部180在距离D为距离阈值D_H以上的情况下，将第一阈值设定为个数阈值NC，在距离D小于距离阈值D_H的情况下，将比第一阈值小的第二阈值设定为个数阈值NC。即，阈值设定部180在距离D小于距离阈值D_H的情况下设定的个数阈值NC小于在距离D为距离阈值D_H以上的情况下设置的个数阈值NC。

另外，第一阈值和第二阈值也可以基于摄像部71的性能、后述的判定结果存储部155中保持的结果序列的长度、规定周期等来决定。

使用图3说明由阈值设定部180设定的个数阈值NC。图3是表示车辆与信号机之间的位置关系的例子的示意图。

假设制动距离D_B被设定为距离阈值D_H。在该情况下，在图3中，在由位置PS和位置P2夹着的区间中，第一阈值被设定为个数阈值NC。另一方面，在由位置P2和位置PE夹着的区间中，第二阈值被设定为个数阈值NC。

假设制动距离D_B与空走距离D_F之和被设定为距离阈值D_H。在该情况下，在图3中，在由位置PS和位置P1夹着的区间中，第一阈值被设定为个数阈值NC。另一方面，在由位置P1和位置PE夹着的区间中，第二阈值被设定为个数阈值NC。

另外，即使在距离D小于距离阈值D_H的情况下，当车辆在停止线的跟前停止时的减速加速度大于规定减速加速度时，阈值设定部180也可以将第一阈值设定为个数阈值NC。即，在无法避免车辆在停止线的跟前停止时的减速加速度大于规定减速加速度的情况下，以尽可能高地维持信号机的识别精度为目的，将第一阈值设定为个数阈值NC。

此外，阈值设定部180也可以从距离D减去距离阈值D_H而计算出可空走距离D_CF(第二距离)，将可空走距离D_CF除以规定周期与车辆的速度之积来计算候选值，并在候选值小于已经设定的个数阈值NC的情况下，将候选值设定为个数阈值NC。由此，个数阈值NC基于距离D以及车辆的速度这两者来设定。特别是，距离D越小，则个数阈值NC被设定得越小。另外，车辆的速度越小，则个数阈值NC被设定得越大。

进而，阈值设定部180也可以在由后述的判定部150判定为信号机未点亮的情况下(判定部150的最新的判定结果为显示状态为不清楚的判定结果的情况下)，不设定个数阈值NC，而维持已经设定的个数阈值NC的值。

另外，阈值设定部180在车辆通过了与作为对象的信号机对应的停止线之后，将个数阈值NC复位为初始值。

判定部150在由摄像部71拍摄的图像上设定与信号机对应的检测区域。在此，“检测区域”是指在图像内推定为有信号机的区域。能够基于摄像部71的拍摄方向、拍摄时的车辆的位置、姿态、信号机的位置来推定映入拍摄范围内的信号机在图像内的位置。判定部150例如将作为所拍摄的图像的一部分区域、且其包含在图像内推定的信号机的位置的区域设定为检测区域。

然后，判定部150对检测区域执行图像处理，检测出检测区域内的信号机，并判定信号机的显示状态。判定部150例如通过模板匹配来检测信号机。模板匹配将标准的信号机的图像作为模板，一边将其一个像素一个像素地错开，一边扫描检测区域，例如计算亮度分布的相关性。然后，当相关性达到最高值时，检测为在模板所在的图像上的位置处存在信号机。

在信号机表示的“颜色信号”中包含“绿信号”、“黄信号”、“红信号”。“颜色信号”所表示的意思由车辆应遵循的交通法规等决定，例如，“绿信号”表示“可以行进”的意思，“红信号”表示“在停止位置停止”的意思，“黄信号”表示“除了由于接近停止位置而不能安全停止的情况以外，在停止位置停止”的意思。

这样的“绿信号”、“黄信号”、“红信号”的识别也可以在3个“颜色信号”中亮度等级最高的“颜色信号”点亮的情况下进行。

此外，信号机不仅可以是“颜色信号”，也可以是表示在设置有信号机的交叉路口表示对车辆允许的方向的“箭头信号”。列举有：“右转信号”、“直行信号”、“左转信号”等。

“箭头信号”不限于“右转信号”、“直行信号”、“左转信号”，可以根据设置有信号机的交叉路口的结构考虑各种变形。“箭头信号”表示的意思由车辆应遵循的交通法规等决定。

判定部150对检测区域执行图像处理，作为信号机的显示状态，判定信号机的“颜色信号”或“箭头信号”的点亮状态。

另外，判定部150中的信号机检测的图像处理也可以利用支持向量机或神经网络等机械学习。在检测信号机时，预先具备存储有大小不同的信号机的模板的学习数据库，通过根据到信号机的距离分开使用参照的学习数据库，实现识别率的提高。

判定结果存储部155存储由判定部150判定的信号机的显示状态。具体而言，判定部150对由摄像部71获取的时间序列顺序的多个图像依次进行判定，判定结果存储部155从判定部150依次获取所得到的判定结果。然后，判定结果存储部155将时间序列顺序的多个判定结果作为结果序列进行存储。

使用图4说明由判定结果存储部155存储的结果序列的结构。图4是表示由时间序列顺序的多个判定结果构成的结果序列的例子的图。以下为了简化说明，假设由判定部150得到的判定结果为“绿信号”、“黄信号”、“红信号”、“不清楚”(表示状态不清楚的判定结果)这4种。在图4中，作为判定结果的“绿信号”、“黄信号”、“红信号”、“不清楚”分别用记号“G”、“Y”、“R”、“－”表示。

另外，作为判定部150的判定结果为“不清楚”的理由，例如，列举由于闪烁现象(在信号机灯是如LED灯那样周期性地闪烁的灯的情况下，拍摄图像中的亮度依赖于摄像部71的拍摄时刻而发生变化的现象)、或者滚动快门现象(起因于摄像部71中的拍摄方式，拍摄图像中的每个位置的拍摄时刻错开的现象)等而存在信号机闪烁的情况。

预先设定由判定结果存储部155存储的判定结果的个数N。即，构成结果序列的判定结果的个数N被预先设定为比个数阈值NC多的规定个数。

对由判定结果存储部155存储的N个判定结果分别附加从0到N－1的字符。在此，字符0的判定结果是通过判定部150得到的最新的判定结果，意味着随着对判定结果附加的字符增大，依次是旧的判定结果。

若向判定结果存储部155输入一个新的判定结果，则判定结果存储部155使对判定结果附加的字符仅增加1，对输入到判定结果存储部155的新的判定结果附加字符0。删除字符为N的判断结果。

这样，在判定结果存储部155中，附加了从0到N－1的字符的判定结果作为结果序列存储。

此外，判定结果存储部155也可以具备判定结果的补充功能。具体而言，在构成判定结果存储部155中存储的结果序列的判定结果中包含“不清楚”的情况下，可以根据该“不清楚”之前的判定结果和该“不清楚”之后的判定结果，置换该“不清楚”的判定结果。

例如，在图4所示的结果序列中，字符2的判定结果为“不清楚”。在该情况下，判定结果存储部155参照位于字符2的判定结果之前的字符3的判定结果和位于字符2的判定结果之后的字符1的判定结果。字符1的判定结果和字符3的判定结果两者都是“黄信号”。因此，字符2的判定结果也可以不是“不清楚”，而是位于字符2的判定结果之前的字符3的判定结果即“黄信号”。

这样，判定结果存储部155从构成结果序列的判定结果中提取显示状态为不清楚的判定结果作为第一判定结果，从构成结果序列的判定结果中除去显示状态为不清楚的判定结果后的判定结果中，分别提取第一判定结果之前的判定结果和第一判定结果之后的判定结果作为第二判定结果和第三判定结果，在第二判定结果和第三判定结果相同的情况下，也可以用第二判定结果置换结果序列内的第一判定结果。

在由于信号机的闪烁而产生无法由判定部150判定信号机的显示状态的情况的状况下，上述判定结果存储部155的判定结果的补充功能对提高信号机的识别精度是有效的。

在上述说明中，说明了判定结果存储部155中存储的判定结果为N个的情况，但不限于此。

例如，判定结果存储部155也可以代替判定结果的个数，而基于成为判定结果的基础的图像的拍摄时刻，决定是否存储判定结果。更具体地说，判定结果存储部155也可以删除与从拍摄开始经过了规定时间以上的拍摄图像对应的判定结果，判定结果存储部155中存储的判定结果仅是与从当前到规定时间过去为止拍摄的图像对应的判定结果。

在由摄像部71以规定周期拍摄图像时，在基于个数N限制判定结果存储部155中存储的判定结果的个数的情况下，与基于规定时间限制的情况下的结果相同。

另一方面，在由摄像部71以不是规定周期的不特定的时刻拍摄图像时，在基于个数N进行限制的情况和基于规定时间进行限制的情况下，结果会发生变化。但是，在基于个数N限制和基于规定时间限制所存储的判定结果的个数的情况中的任一种情况下，都能够采用作为判定结果存储部155的结构。

输出决定部190基于由阈值设定部180设定的个数阈值NC和判定结果存储部155中存储的结果序列，决定输出值。具体而言，输出决定部190在构成结果序列的判定结果中的与最新的判定结果(字符0的判定结果)相同的判定结果的个数多于个数阈值NC的情况下，将字符0的判定结果作为输出值。

另外，输出决定部190也可以在构成结果序列的判定结果中的与最新的判定结果(字符0的判定结果)相同的判定结果的个数为个数阈值NC以下的情况下，维持上次的输出值不变而维持输出值。

使用图5A说明由输出决定部190决定输出值的情况。图5A是表示与结果序列对应的输出值的变化的第一例的图。

在图5A中，设构成结果序列的判定结果的个数N为8，个数阈值NC为4。另外，由摄像部71获取的图像按照时间序列顺序为帧F001～帧F010，针对各帧得到判定部150的判定结果。另外，在图5A所示的例子中，判定结果存储部155的判定结果的补充功能成为无效。

在图5A中，例如当参照帧F001的行时，位于结果序列的左侧的“G”的显示意味着针对帧F001的判定部150的判定结果是“绿信号”。另外，位于结果序列的右侧的“G”的显示意味着在帧F001的判定结果被输入到结果序列的时刻，输出决定部190所决定的输出值是“绿信号”。以相同的方式显示其它帧F002～F010。

假设信号机的显示状态在帧F004的拍摄时刻是绿信号，而在帧F005的拍摄时刻变为黄信号。在该情况下，如图5A的帧F005的行所示，在结果序列中与判定结果“Y”相同的判定结果的个数为1，为个数阈值NC以下的值。因此，输出决定部190将输出值维持为之前的输出值即“绿信号”。

在图5A中，由输出决定部190决定的输出值从“绿信号”变化为“黄信号”的是帧F010的时刻。参照图5A的帧F010的行，结果序列中与判定结果“Y”相同的判定结果的个数为5，是比个数阈值NC大的值。因此，输出决定部190在帧F010的时刻将输出值设为“黄信号”。

在图5A所示的例子中，从信号机的显示状态实际发生变化起，到输出决定部190的输出值发生变化为止，产生了5帧的时间延迟。在时间延迟期间车辆行驶的距离成为车辆的空走距离。

使用图5B说明所设定的个数阈值NC越小，则从信号机的显示状态实际发生变化起到输出值发生变化为止的时间延迟越小的情况。图5B是表示与结果序列对应的输出值的变化的第二例的图。

在图5B所示的例子中，与图5A所示的例子不同，个数阈值NC设为2。在图5B中，由输出决定部190决定的输出值从“绿信号”变化为“黄信号”的是帧F008的时刻。在该情况下，从信号机的显示状态实际发生变化起到输出值发生变化为止的时间延迟为3帧。

进而，在图5B中，若判定结果存储部155的判定结果的补充功能成为有效，则在对帧F007的判定结果被存储到判定结果存储部155的时刻，进行字符1的判定结果的补充，字符1的判定结果从“不清楚”变为“黄信号”。其结果是，由输出决定部190决定的输出值从“绿信号”变化为“黄信号”的是帧F007的时刻。在该情况下，从信号机的显示状态实际发生变化起到输出值发生变化为止的时间延迟为2帧。

这样，为了减小从信号机的显示状态实际发生变化起到输出值发生变化的时间延迟以缩短空走距离，优选减小个数阈值NC。另一方面，为了提高信号机的识别精度，优选增大个数阈值NC。即，在提高信号机的识别精度和减小时间延迟以缩短空走距离之间存在折衷的关系。

因此，与车辆远离停止线的情况相比，在车辆接近停止线的情况下，为了缩短空走距离，优选阈值设定部180将个数阈值NC设定得较小。另外，与信号灯的显示状态为绿信号的情况相比，在信号灯的显示状态为黄信号或红信号的情况下，为了缩短空走距离，优选阈值设定部180将个数阈值NC设定得较小。

输出部160将由输出决定部190决定的输出值作为信号机的显示状态输出。例如，信号机的显示状态从输出部160输出给车辆控制装置400，用于车辆的控制。此外，也可以从输出部160向未图示的通报装置输出信号机的显示状态，并经由通报装置通知给乘员。

(信号机识别装置的处理顺序)

接着，参照图2和图6的流程图说明本实施方式的信号机识别装置进行的信号机识别的处理顺序。图2是表示本实施方式的信号机识别装置的处理顺序的流程图。图6是表示本实施方式的信号机识别装置的处理顺序的变形例的流程图。

图2和图6所示的信号机识别的处理，可以在每次由摄像部71获取图像时执行，也可以在由摄像部71获取图像之后，在对检测区域执行图像处理的每个周期执行。

在图2中，在步骤S101中，自身位置获取部110经由车载传感器73获取车辆的绝对位置。

在步骤S103中，停止位置获取部120基于由自身位置获取部110获取的车辆的当前的位置、姿态检索地图信息获取部75所获取的地图信息，并提取位于车辆的行进方向的信号机。然后，停止位置获取部120从地图信息中获取与所提取的信号机对应的停止线的位置。

在步骤S105中，计算部130计算从车辆的位置到停止线的位置的距离D(第一距离)。此外，计算部130计算距离阈值D_H。

在步骤S107中，判定部150基于由摄像部71拍摄的图像判定信号机的显示状态。

在步骤S109中，判定结果存储部155存储由判定部150判定的信号机的显示状态。

在步骤S141中，阈值设定部180判定信号机是否点亮。具体而言，参照判定结果存储部155中存储的结果序列中的字符0的判定结果，判定信号机是否点亮。

在信号机未点亮的情况下(在步骤S141中“否”的情况)，在步骤S145中，阈值设定部180维持个数阈值NC。在信号机点亮的情况下(在步骤S141中“是”的情况)，进入步骤S143。

在步骤S143中，阈值设定部180判定距离D是否小于距离阈值D_H。

在距离D为距离阈值D_H以上的情况下(步骤S143中“否”的情况)，在步骤S146中，阈值设定部180将第一阈值设定为个数阈值NC。在距离D小于距离阈值D_H的情况下(在步骤S143中“是”的情况)，在步骤S147中，将比第一阈值小的第二阈值设定为个数阈值NC。

在步骤S145、步骤S146、步骤S147中个数阈值NC的设定结束之后，在步骤S171中，输出决定部190基于判定结果存储部155中存储的结果序列，决定输出值。

在步骤S173中，输出部160输出由输出决定部190决定的信号机的显示状态。输出的信号机的显示状态例如在车辆控制装置400中使用。

另外，代替上述的步骤S141、S143、S145、S146、S147，如图6的流程图所示，阈值设定部180也可以通过计算可空走距离D_CF来设定个数阈值NC。

在图6中，在步骤S151中，阈值设定部180从距离D减去距离阈值D_H来计算可空走距离D_CF(第二距离)。

在步骤S153中，阈值设定部180将可空走距离D_CF除以规定周期与车辆的速度之积来计算出候补值，在候补值比已经设定的个数阈值NC小的情况下，将候补值设定为个数阈值NC。

通过反复执行图2和图6的流程图所示的处理，依次更新个数阈值NC。

(实施方式的效果)

如以上详细说明的那样，本实施方式的信号机识别方法及信号机识别装置，获取由基于拍摄车辆的行进方向的多张图像判定信号机的显示状态而得到的时间序列顺序的多个判定结果构成的结果序列，在从车辆的位置到与信号机对应的停止线的位置的第一距离为距离阈值以上的情况下，将第一阈值设定为个数阈值，在第一距离小于距离阈值的情况下，将比第一阈值小的第二阈值设定为个数阈值，在构成结果序列的判定结果中的与最新的判定结果相同的判定结果的个数多于个数阈值的情况下，输出判定结果。

由此，能够在抑制车辆的空走距离变长的同时，参照按时间序列排列的多个图像来判定信号机的显示状态，并进行信号机的识别。特别是，在到与信号机对应的停止线的车辆的距离比距离阈值短的情况下，能够提前实施信号机的显示状态的输出，能够降低车辆的空走距离。

另外，本实施方式的信号机识别方法及信号机识别装置，也可以在车辆以规定减速加速度减速的情况下，计算出直至停止为止行驶的制动距离，并基于制动距离来设定距离阈值。由此，能够基于车辆的当前速度和距信号灯的停止线的距离，来决定对信号灯的显示状态进行决定时的个数阈值，从而能够在抑制车辆的空走距离变长的同时进行信号灯的识别。

进而，本实施方式的信号机识别方法和信号机识别装置可以通过将拍摄多个图像的规定周期、个数阈值与车辆速度相乘而计算出空走距离，并将空走距离与制动距离之和设定为距离阈值。基于根据车辆的当前速度推定出的车辆的空走距离，能够决定对信号机的显示状态决定时的个数阈值，能够可靠地抑制车辆的空走距离变长，并且能够进行信号机的识别。

另外，本实施方式的信号机识别方法及信号机识别装置，在基于第一距离设定个数阈值时，也可以在第一距离小于距离阈值，且构成结果序列的判定结果中的最新的判定结果是显示状态为不清楚的判定结果以外、且显示状态是表示允许通过停止线的允许显示的判定结果以外的情况下，将第二阈值设定为个数阈值。由此，在信号机的显示状态从绿信号变换为黄信号的情况下，通过减小个数阈值NC，能够提前输出信号机的显示状态，从而能够缩短因图像识别处理的延迟而产生的空走距离。

进而，本实施方式的信号机识别方法及信号机识别装置，也可以在基于第一距离设定个数阈值时，在第一距离小于距离阈值，且车辆在停止线的跟前停止时的减速加速度为规定减速加速度以下的情况下，将第二阈值设定为个数阈值。由此，在车辆接近停止线直到以规定减速加速度无法停止的位置的情况下，将第一阈值设定为个数阈值，在除此以外的情况下，将比第一阈值小的第二阈值设定为个数阈值，能够越过作为对象的停止线而预先设定在下一个停止线中使用的个数阈值NC。

另外，本实施方式的信号机识别方法和信号机识别装置可以通过从第一距离减去距离阈值而计算出第二距离，将第二距离除以拍摄多个图像时的规定周期与车辆的速度之乘积计算出候选值，并在候选值小于设定的个数阈值的情况下，将候选值设定为个数阈值。由此，在图像识别的精度变低的远离停止线的位置，通过设定大的个数阈值，能够提高图像识别的精度，另一方面，在图像识别的精度变高的接近停止线的位置，通过设定大的个数阈值，能够缩短空走距离。

进而，本实施方式的信号机识别方法和信号机识别装置中，结果序列可以由比个数阈值多的规定个数的判定结果构成。由此，能够存储用于决定输出值所需的个数的判定结果，能够可靠地提高信号机的识别精度。

另外，本实施方式的信号机识别方法及信号机识别装置，也可以提取构成结果序列的判定结果中的显示状态为不清楚的判定结果作为第一判定结果，从构成结果序列的判定结果中除去显示状态为不清楚的判定结果后的判定结果中，提取第一判定结果之前的判定结果及第一判定结果之后的判定结果分别作为第二判定结果及第三判定结果，在第二判定结果和第三判定结果相同的情况下，用第二判定结果置换结果序列内的第一判定结果。

由此，即使在由于信号灯的闪烁而产生无法判定信号机的显示状态的情况的状况下，也能够抑制从信号机的显示状态实际发生变化起到输出值发生变化为止的时间延迟，其结果是，能够减少车辆的空走距离。

上述实施方式所示的各功能可通过一个或多个处理电路来安装。处理电路中包括被编程的处理器、电路等，还包括面向特定用途的集成电路(ASIC)那样的装置、或者为了执行所记载的功能而配置的电路构成要素等。

以上，按照实施方式对本发明的内容进行了说明，但本发明并不限定于这些记载，本领域技术人员能够进行各种变形及改良是显而易见的。不应该理解为构成该公开的一部分的论述以及附图限定本发明。根据该公开，本领域技术人员能够明确各种代替实施方式、实施例以及运用技术。

本发明当然包括在此没有记载的各种实施方式等。因此，本发明的技术范围根据上述说明仅由适当的权利请求范围所涉及的发明特定事项决定。

符号说明

71：摄像部

73：车载传感器

75：地图信息获取部

100：控制器

110：自身位置获取部

120：停止位置获取部

130：计算部

150：判定部

155：判定结果存储部

160：输出部

180：阈值设定部

190：输出决定部

400：车辆控制装置

Claims (9)

1.一种信号机识别方法，其特征在于，

使用搭载于车辆的摄像部多次拍摄位于所述车辆的行进方向上的信号机，获取多个图像，

获取由对每个所述图像判定所述信号机的显示状态而得到的时间序列顺序的多个判定结果构成的结果序列，

获取与所述信号机对应的停止线的位置，

计算从所述车辆的位置到所述停止线的位置的第一距离，

在基于所述第一距离设定个数阈值时，

在所述第一距离为距离阈值以上的情况下，将第一阈值设定为所述个数阈值，

在所述第一距离小于距离阈值的情况下，将比所述第一阈值小的第二阈值设定为所述个数阈值，

在构成所述结果序列的判定结果中的与最新的判定结果相同的判定结果的个数比所述个数阈值多的情况下，输出所述判定结果。

2.如权利要求1所述的信号机识别方法，其特征在于，

计算在所述车辆以规定减速加速度减速的情况下直至停止为止行驶的制动距离，

基于所述制动距离设定所述距离阈值。

3.如权利要求2所述的信号机识别方法，其特征在于，

所述多个图像是每隔规定周期拍摄的图像，

将所述规定周期、所述个数阈值和所述车辆的速度相乘而计算出空走距离，

将所述空走距离与所述制动距离之和设定为所述距离阈值。

4.如权利要求1～3中任一项所述的信号机识别方法，其特征在于，

在基于所述第一距离设定所述个数阈值时，

在所述第一距离小于距离阈值，并且、

在构成所述结果序列的判定结果中的最新的判定结果为所述显示状态为不清楚的判定结果以外、且所述显示状态是允许通过所述停止线的允许表示的判定结果以外的情况下，

将所述第二阈值设定为所述个数阈值。

5.如权利要求1～4中任一项所述的信号机识别方法，其特征在于，

在基于所述第一距离设定所述个数阈值时，

在所述第一距离小于距离阈值，并且、

在所述车辆在所述停止线的跟前停止时的减速加速度为规定减速加速度以下的情况下，

将所述第二阈值设定为所述个数阈值。

6.如权利要求1～5中任一项所述的信号机识别方法，其特征在于，

所述多个图像是每隔规定周期拍摄的图像，

从所述第一距离中减去所述距离阈值而计算出第二距离，

将所述第二距离除以所述规定周期与所述车辆的速度的乘积而计算出候选值，

在所述候选值小于所设定的所述个数阈值的情况下，将所述候选值设定为所述个数阈值。

7.如权利要求1～6中任一项所述的信号机识别方法，其特征在于，

所述结果序列由比所述个数阈值多的规定个数的判定结果构成。

8.如权利要求1～7中任一项所述的信号机识别方法，其特征在于，

提取构成所述结果序列的判定结果中的、所述显示状态为不清楚的判定结果作为第一判定结果，

从构成所述结果序列的判定结果中的、除去所述显示状态为不清楚的判定结果后的判定结果中，提取所述第一判定结果之前的判定结果和所述第一判定结果之后的判定结果，并分别作为第二判定结果和第三判定结果，

在所述第二判定结果和所述第三判定结果相同的情况下，用所述第二判定结果置换所述结果序列内的所述第一判定结果。

9.一种信号机识别装置，具备：搭载于车辆上的摄像部、控制器，其特征在于，

所述控制器进行如下的控制：

使用所述摄像部多次拍摄位于所述车辆的行进方向上的信号机，获取多个图像，

获取由对每个所述图像判定所述信号机的显示状态而得到的时间序列顺序的多个判定结果构成的结果序列，

获取与所述信号机对应的停止线的位置，

计算从所述车辆的位置到所述停止线的位置的第一距离，

在基于所述第一距离设定个数阈值时，

在所述第一距离为距离阈值以上的情况下，将第一阈值设定为所述个数阈值，

在所述第一距离小于距离阈值的情况下，将比所述第一阈值小的第二阈值设定为所述个数阈值，

在构成所述结果序列的判定结果中的与最新的判定结果相同的判定结果的个数比所述个数阈值多的情况下，输出所述判定结果。

Images