CN106463051B

CN106463051B - 信号机识别装置以及信号机识别方法

Info

Publication number: CN106463051B
Application number: CN201480078856.9A
Authority: CN
Inventors: 山井大贵; 安藤敏之; 西内秀和; 松尾治夫; 佐藤宏
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2014-05-20
Filing date: 2014-05-20
Publication date: 2020-03-03
Anticipated expiration: 2034-05-20
Also published as: US9779315B2; WO2015177864A1; BR112016027098B1; EP3147884B1; EP3147884A1; JPWO2015177864A1; US20170103275A1; JP6337961B2; CN106463051A; EP3147884A4; BR112016027098A2; MX2016014885A; RU2639851C1; MX352401B

Abstract

信号机识别装置(100)拍摄车辆的周围，获取图像数据(D08)(11)，检测车辆的自身位置(12)，从图像检测车辆周围的信号机。从包含信号机的位置信息的地图信息(D02)和自身位置信息(D05)，确定被预测映入在图像中的2个以上的信号机(23)。根据信号机被遮蔽的可能性，设定2个以上的信号机之间的优先顺序(24)。然后，在确定了2个以上的信号机的情况下，从图像检测2个以上的信号机中优先顺序最高的信号机(15)。

Description

信号机识别装置以及信号机识别方法

技术领域

本发明涉及信号机识别装置以及信号机识别方法。

背景技术

以往，已知从拍摄了车辆的行进方向的图像来识别信号机或者暂时停止标识的车外识别装置(专利文献1)。在图像中存在多个信号机或者暂时停止标识的情况下，在专利文献1中，判定沿着车辆的行进方向的配置顺序，根据在最接近车辆的位置存在的信号机或者暂时停止标识，控制车辆的行驶状态。

现有技术文献

专利文献

专利文献1:日本专利特开2007－257299号公报

发明内容

但是，在专利文献1中，在从多个信号机中选择成为行驶控制的基准的信号机时，考虑从车辆至信号机的距离，但未考虑信号机被遮蔽的可能性。存在信号机由于前方车辆、行道树、施工等从地图信息不能获得的原因而被隐藏，不能从车辆进行视觉识别的情况。

本发明是鉴于上述课题而完成的，目的是提供可以提高被预测2个以上的信号机映入在图像中的情况下的信号机的检测概率的信号机识别装置以及信号机识别方法。

本发明的一个方式的信号机识别装置拍摄车辆的周围，获取图像，检测车辆的自身位置，从图像检测车辆周围的信号机。从包含信号机的位置信息的地图信息和自身位置，确定被预测映入在图像中的2个以上的信号机。根据信号机被遮蔽的可能性，设定2个以上的信号机之间的优先顺序。然后，在确定了2个以上的信号机的情况下，从图像检测2个以上的信号机中优先顺序最高的信号机。

附图说明

图1是表示被输入输出至实施方式的信号机识别装置100的信息的方框图。

图2是表示第1实施方式的信号机识别装置100的结构以及数据流程的方框图。

图3是表示图2的检测区域设定单元14的结构以及数据流程的方框图。

图4是表示由图3的优先顺序设定单元24设定的优先顺序的一例的俯瞰图。

图5是表示使用了信号机识别装置100的信号机识别方法的一例的流程图。

图6是表示第1实施方式的、图5的步骤S13的详细的步骤的流程图。

图7是表示第2实施方式的、图5的步骤S13的详细的步骤的流程图。

图8是表示第3实施方式的优先顺序设定单元24b的结构的方框图。

图9是表示由图8的优先顺序设定单元24b设定的优先顺序的一例的俯瞰图。

图10是表示第4实施方式的优先顺序设定单元24c的结构的方框图。

图11是表示第4实施方式的图5的步骤S07的详细的步骤的流程图。

图12是表示由图10的优先顺序设定单元24c设定的优先顺序的一例的俯瞰图。

具体实施方式

以下，根据附图说明本发明的实施方式。对同一构件附加同一标号，省略再次的说明。

(第1实施方式)

参照图1，说明被输入输出至实施方式的信号机识别装置100的信息。信号机识别装置100从车辆上安装的摄像单元(摄像机)所拍摄的图像，识别在车辆行驶的道路周边设置的信号机。

在信号机识别装置100中输入地图信息D02、路标信息D01、和摄像机信息D03。在地图信息D02中预先包含实际环境和地图之间相对应的信号机的位置信息。路标信息D01用于计算实际环境上的车辆的自身位置。在路标中包含在地上设置的特征物(地上路标)、以及发送车辆可接收的GPS信号的GPS卫星。在实施方式中，以地上路标为例进行说明。在路标信息D01中，例如包含地上路标的位置信息。摄像机信息D03用于从摄像单元提取车辆的周围(例如前方)的影像。信号机识别装置100根据这些信息D01～D03，输出信号机的识别结果作为信号机信息D04。

参照图2，说明第1实施方式的信号机识别装置100的结构以及数据流程。信号机识别装置100包括：摄像单元11；自身位置检测单元12；信号机位置估计单元13；检测区域设定单元14；以及信号机检测单元15。

摄像单元11被安装在车辆上，拍摄车辆的周围，获取图像。摄像单元11是具有固体摄像元件，例如CCD以及CMOS的摄像机，获取可进行图像处理的图像。摄像单元11根据摄像机信息D03，设定镜头的视角、摄像机的垂直方向以及水平方向的角度，输出获取的图像作为图像数据D08。

自身位置检测单元12根据路标信息D01检测车辆的自身位置。路标信息D01例如是，车辆相对由车载的摄像机或者激光雷达等传感装置检测到的地上路标(店铺、名胜、观光点)的相对位置的信息。在地图信息D02中，预先注册地上路标的位置信息。通过核对路标信息D01和地上路标的相对位置的信息，可以检测车辆的自身位置。这里，在“位置”中包含座标以及姿态。具体地说，在地上路标的位置中包含地上路标的座标以及姿态，在车辆的位置中，包含车辆的座标以及姿态。自身位置检测单元12输出作为基准的座标系中的座标(x,y,z)，以及作为各座标轴的旋转方向的姿态(俯仰、偏摆、滚动)作为自身位置信息D05。

例如，自身位置检测单元12使用路标信息D01检测车辆的初始位置。初始位置是可以从路标信息D01直接求出的车辆的位置，即座标以及姿态。然后，通过对初始位置累积加上车辆的移动量，计算车辆51的自身位置。自身位置检测单元12使用里程计、雷达装置、陀螺传感器、偏摆率传感器、舵角传感器，可以估计每单位时间的车辆的移动量，即，座标以及姿态的变化量。

信号机位置估计单元13从地图信息D02和自身位置信息D05，估计信号机相对车辆的相对位置。在地图信息D02中，预先注册信号机的位置信息(座标信息)。从信号机的座标和车辆的座标以及姿态，可以求出信号机相对车辆的相对座标。信号机位置估计单元13输出估计出的信号机的相对座标作为相对位置信息D06。而且，由信号机位置估计单元13估计的信号机是对车辆提示信号的信号机。

检测区域设定单元14从信号机的相对位置，设定图像中的信号机的检测区域。因为摄像单元11被固定在车辆上，所以若摄像单元11拍摄的视角以及方向被确定，则在图像中，可以确定信号机在图像中被拍摄的位置。检测区域设定单元14在该图像上的位置，设定图像中的信号机的检测区域。

在存在2个以上的信号机的情况下，信号机检测单元15从图像检测2个以上的信号机中优先顺序最高的信号机。具体地说，对于在与优先顺序最高的信号机对应的检测区域中包含的图像数据D08，实施用于检测信号机的图像处理。图像处理的方法未特别限定。例如，可以使用基于商用电源的交流周期的同步检波处理、或者色相以及形状的类似判定处理，检测信号机具有的信号灯。此外，可以适用用于检测信号机的已知的图像处理。可以通过不是对于图像数据D08全体，而是对其一部分(检测区域)实施图像处理，减轻用于信号机检测的信息处理负担，可以提前检测信号机。信号机检测单元15输出信号机的检测结果作为信号机信息D04。

而且，自身位置检测单元12、信号机位置估计单元13、检测区域设定单元14、以及信号机检测单元15可以使用具有CPU、存储器、以及输入输出单元的微控制器来实现。具体地说，CPU通过执行被预先安装的计算机程序，构成微控制器具有的多个信息处理单元(12～15)。微控制器具有的存储器的一部分构成存储地图信息D02的地图数据库。而且，微控制器也可以与车辆有关的其它控制(例如，自动驾驶控制)中使用的ECU兼用。

参照图3，说明图2的检测区域设定单元14的结构以及数据流程。检测区域设定单元14具有信号机确定单元23；优先顺序设定单元24；以及区域决定单元25。

信号机确定单元23从信号机的相对座标(相对位置信息D06)，确定被预测映入在图像中的2个以上的信号机。因为从摄像机信息D03确定图像的视角、以及上下以及左右方向，所以信号机确定单元23可以确定收敛在图像的帧框内的信号机。其中，在由信号机确定单元23确定的信号机中，还包含虽然收敛在图像的帧框中，但是如后所述那样，由于不能从地图信息得到的因素而被遮蔽、未映入在图像中的信号机。

优先顺序设定单元24根据地图信息D02中包含的信号机被遮蔽的可能性，设定由信号机确定单元23确定的2个以上的信号机间的优先顺序。按照信号机相对道路的位置以及信号机相对车辆的位置，在信号机映入图像的容易度，即，信号机由于车辆周围的障碍物而被遮蔽的可能性上存在不同。细节参照图4在后叙述。因此，在预测在图像中映入2个以上的信号机的情况下，优先顺序设定单元24设定2个以上的信号机间的优先顺序。

区域决定单元25设定图像中的信号机的检测区域。若确定摄像单元11拍摄的视角以及方向，则可以根据信号机的相对座标(相对位置信息D06)，确定应拍摄信号机的图像上的位置。区域决定单元25将信号机的相对座标变换为拍摄了信号机的图像上的座标。具体地说，区域决定单元25输入相对位置信息D06，根据摄像单元11具有的镜头光学系统，进行将信号机的三维座标(x,y,z)变换为图像上的二维座标(xl,yl)的座标变换处理。座标变换方法未特别限定，可以使用已知的方法。区域决定单元25设定包含变换后的图像上的座标(xl,yl)的规定的区域，作为图像中的信号机的检测区域。

这样，检测区域设定单元14确定收敛在图像的帧框中的2个以上的信号机，对于确定的2个以上的信号机设定优先顺序以及各自的检测区域。

参照图4，说明由优先顺序设定单元24设定的优先顺序的一例。这里，例示信号机确定单元23确定了在十字路口Crs中，在道路RD上行驶的车辆51应遵守的三个信号机(Ts1、Ts2、Ts3)的情况。作为十字路口Crs，例示车辆51进入的最跟前的十字路口。当然，也可以确定由十字路口Crs远离的其它十字路口，例如，在十字路口Crs之后车辆51第2个、第3个···进入的十字路口中的信号机。

从地图信息D02中包含的信号机的位置信息，确定信号机Ts1位于对面车道(PL)侧，信号机Ts2、Ts3位于本车道(WL)侧。进而，确定信号机Ts2与十字路口Crs相比位于跟前侧，信号机Ts3与十字路口Crs相比位于纵深侧。

优先顺序设定单元24按照以下所示的(R1)以及(R2)的基本规则，对三个信号机(Ts1、Ts2、Ts3)设定优先顺序。

(R1)与位于车辆51行驶的本车道(WL)侧的信号机相比，将位于对面车道(PL)侧的信号机的优先顺序设定得高。

(R2)与离车辆51远的信号机相比，将离车辆51近的信号机的优先顺序设定得高。

根据以下的理由设置基本规则(R1)。与位于对面车道(PL)侧的信号机相比，位于本车道(WL)侧的信号机由于前方车辆、路肩上种植的行道树、或者施工等地图信息以外的因素而被遮蔽的可能性高。而且，存在位于对面车道(PL)侧的信号机被对面车辆遮蔽的可能性。但是，位于对面车道(PL)侧的信号机仅在与对面车辆擦肩而过的瞬间被遮蔽。另一方面，相对于位于对面车道(PL)侧的信号机被遮蔽的时间，位于本车道(WL)侧的信号机由于地图信息以外的因素被遮蔽的时间更长。例如，在车辆跟随大型车辆的后方行驶的情况下，位于本车道(WL)侧的信号机由于大型车辆而被持续遮蔽。因此，与位于车辆行驶的本车道(WL)侧的信号机相比，将位于对面车道(PL)侧的信号机的优先顺序设定得高。由此，可以优先检测被遮蔽的可能性低，并且被遮蔽的时间短的信号机。

设定了基本规则(R2)的理由是，在观察位于相同的车道(本车道WL或者对面车道PL)侧的多个信号机的情况下，与离车辆远的信号机相比，离车辆近的信号机被遮蔽的可能性低，且较大地映入图像，所以可以稳定识别。

按照基本规则(R1)以及(R2)，图4的三个信号机(Ts1、Ts2、Ts3)，从优先顺序高的起，为信号机Ts1、信号机Ts2、信号机Ts3的顺序。

信号机确定单元23有确定预告信号机，作为预测映入图像的2个以上的信号机的情况。一般来说，即使道路状况是通常的信号机被遮蔽的位置，预告信号机为了尽快传递信号机的状态而设置，被遮蔽的可能性低。因此，在该情况下，与其它的信号机相比，优先顺序设定单元24将预告信号机的优先顺序设定得高。由此，可以更早地检测信号机。

在实施方式中，示出在十字路口Crs中确定了三个信号机的情况，但是不言而喻，在2个或者4个以上的情况下，也能够按照上述的(R1)以及(R2)的基本规则附加优先顺序。而且，信号机不限于被配置在十字路口的信号机，而包含在车辆行驶的道路上应遵守的全部的信号机。例如，还包含道路RD上的人行横道中的信号机。

参照图5，说明使用了信号机识别装置100的信号机识别方法的一例。图5所示的流程基于预定的周期被反复实施。

首先，在步骤S01中，摄像单元11根据摄像机信息D03拍摄车辆51的周围，获取图像。进至步骤S03，自身位置检测单元12使用路标信息D01检测车辆51的自身位置，输出被检测到的自身位置作为自身位置信息D05。

进至步骤S05，信号机位置估计单元13从地图信息D02和自身位置信息D05，估计信号机相对于车辆51的相对座标。

进至步骤S07，信号机确定单元23从信号机的相对座标(相对位置信息D06)确定被预测映入在图像中的2个以上的信号机。然后，优先顺序设定单元24根据从地图信息D02中包含的信号机的位置信息而信号机被遮蔽的可能性，设定由信号机确定单元23确定出的2个以上的信号机之间的优先顺序。具体地说，优先顺序设定单元24按照基本规则(R1)以及(R2)，设定2个以上的信号机之间的优先顺序。

进至步骤S09，区域决定单元25将信号机的相对座标(x,y,z)变换为图像上的座标(xl,yl)，根据图像上的座标决定检测区域的中心座标。检测区域具有预定的大小及形状。由此，对2个以上的信号机的每一个，决定检测区域(步骤S11)。

进至步骤S13，在存在2个以上的信号机的情况下，信号机检测单元15按照设定的优先顺序，对于检测区域中包含的图像数据D08，实施用于检测信号机的图像处理。

参照图6，说明图5的步骤S13的详细的步骤。这里，说明在图5的步骤S07中确定了N个信号机的情况。首先，在步骤S21中，提取与N个信号机的各个信号机对应的检测区域的图像数据。进至步骤S23，将在图5的步骤S07中信号机之间设定的优先顺序(i)与被提取的检测区域相对应。而且“i”为1～N的自然数，初始设定是i＝1。

进至步骤S25，从与N个信号机的中优先顺序最高(i＝1)的信号机对应的检测区域，尝试信号机的检测。在可检测出信号机的情况下(S25中为“是”)，进至步骤S27，输出信号机信息D04。之后，不变更优先顺序(步骤S29)，返回步骤S25。由此，在信号机的检测中成功的情况下(S25中为“是”)，可以从相同的检测区域继续检测信号机。

另一方面，在未能检测出信号机的情况下(S25中为“否”)，进至步骤S31，判断当前的优先顺序(i)是否为N，即优先顺序是否为最低值。如果当前的优先顺序(i)不为N(S31中为“否”)，则残存尚未尝试检测的检测区域。因此，使当前的优先顺序(i)增加(加)1(步骤S35)，也就是使当前的优先顺序下降1个，返回步骤S25。另一方面，如果当前的优先顺序(i)为N(S31中为“是”)，则已对全部的检测区域尝试了检测。因此，再次将当前的优先顺序(i)设定为最高的优先顺序(步骤S33)，返回步骤S25。

如以上说明的那样，按照第1实施方式，能够得到以下的作用效果。

有信号机因前方车辆、行道树、施工等不能从地图信息确定的因素而被隐藏，不能从车辆进行视觉识别的情况。而且，在车辆上安装的摄像单元11获取图像的情况下，由于信号机相对道路的位置，信号机被映入图像的容易度，即，信号机被车辆周围的障碍物遮蔽的可能性上存在不同。因此在从地图信息D02以及自身位置信息D05预测在图像中映入2个以上的信号机的情况下，设定2个以上的信号机之间的优先顺序(i)。然后，从图像检测优先顺序(i)最高的信号机。由此，可以提高被预测在图像中映入2个以上的信号机的情况下的信号机的检测概率。而且，可以早期地检测信号机，并且减轻运算处理负担。

如在基本规则(R1)中叙述的那样，与位于车辆行驶的本车道(WL)侧的信号机相比，优先顺序设定单元24将位于对面车道(PL)侧的信号机的优先顺序设定得高。由此，可以优先地检测被遮蔽的可能性低、并且遮蔽的时间短的信号机。

一般来说，预告信号机是为了即使在通常的信号机被遮蔽的位置，也尽快地将交通状况传递信号机的状态而设置的，被遮蔽的可能性低。因此，在作为被预测映入在图像中的2个以上的信号机，信号机确定单元23确定了预告信号机的情况下，与其它信号机相比，优先顺序设定单元24将预告信号机的优先顺序设定得高。由此，可以更早期地检测信号机。

如图6所示，在可以检测出优先顺序最高的信号机的情况下(S25中为“是”)，信号机检测单元15继续检测该信号机。由此，可以稳定地继续检测信号机。

与等待检测优先顺序最高的信号机相比，有可以先检测下一个优先顺序高的信号机的情况。因此，如图6所示，信号机检测单元15在不能检测优先顺序最高的信号机的情况下(S25中为“否”)，检测下一个优先顺序高的信号机。由此，可以早期地检测信号机。进而，在图6的流程中，继续检测下一个优先顺序高的信号机。由此，可以稳定地继续检测信号机。

(第2实施方式)

在图6的流程中，限于可以检测优先顺序高的信号机，继续该信号机的检测，不将优先顺序低的信号机作为检测的对象。在第2实施方式中，说明与是否可以检测到信号机无关，从优先顺序高的一方依次检测由信号机确定单元23确定的2个以上的信号机的信号机识别装置以及信号机识别方法。

具体地说，虽然图5的步骤S13的详细的步骤与图6不同，但是图2所示的信号机识别装置100的结构以及图5的步骤S01～S11的步骤与第1实施方式相同，所以省略说明。

参照图7，说明图5的步骤S13的详细的步骤。首先，与图6同样，在步骤S21以及S23中，提取与N个信号机的每一个对应的检测区域的图像数据，将在信号机之间设定的优先顺序(i)与提取的检测区域相对应。

进至步骤S25，与图6同样，从与优先顺序最高(i＝1)的信号机对应的检测区域，尝试信号机的检测。在不能检测到信号机的情况下(S25中为“否”)，进至步骤S31。另一方面，在可以检测信号机的情况下(S25中为“是”)，进至步骤S27，输出信号机信息D04。之后，与图6不同，进至步骤S31。

步骤S31中，与图6同样，判断当前的优先顺序(i)是否为N。如果当前的优先顺序(i)不为N(S31中为“否”)，则使当前的优先顺序(i)增加(增加)1(步骤S35)，返回步骤S25。另一方面，如果当前的优先顺序(i)为N(S31中为“是”)，则再次将当前的优先顺序(i)设定为最高的优先顺序(步骤S33)，返回步骤S25。

这样，在信号机的检测中成功的情况下(S25中为“是”)，不是从相同的检测区域继续检测信号机，而是尝试下一个信号机的检测。即，与是否可以检测到信号机无关，信号机检测单元15从优先顺序高的一方依次检测2个以上的信号机。通过使用确定的全部信号机的检测结果来识别信号，可以抑制信号的误识别。因此，与是否可以检测到信号机无关，从优先顺序高的一方依次检测2个以上的信号机。由此，信号的识别精度提高。

(第3实施方式)

信号机被遮蔽的可能性由于包含车辆行驶的道路的形状(直线道路、弯道、坡度形状)和行道树以及施工等障碍物的存在的地理信息而变化。在第3实施方式中，说明考虑地理信息而设定优先顺序的信号机识别装置以及信号机识别方法。

具体地说，优先顺序设定单元24b的结构、图5的步骤S07与第1实施方式不同，但信号机识别装置100的其它的结构以及图5的其它的步骤与第1实施方式相同，所以省略说明。

参照图8，说明第3实施方式的优先顺序设定单元24b的结构。优先顺序设定单元24b具有基本顺序设定单元31和第1顺序变更单元32。基本顺序设定单元31实施与图3的优先顺序设定单元24相同的运算处理。即，基本顺序设定单元31按照(R1)以及(R2)所示的基本规则，设定由信号机确定单元23确定的2个以上的信号机之间的优先顺序。将基本顺序设定单元31设定的优先顺序称为“基本优先顺序”。

第1顺序变更单元32根据地理信息变更基本优先顺序。变更后的优先顺序被输出作为由优先顺序设定单元24b设定的优先顺序。具体地说，如图9所示，第1顺序变更单元32判断从车辆51的当前位置(自身位置)至被设置成为检测对象的信号机的十字路口Crs为止的道路RD的形状。例如，第1顺序变更单元32参照地图信息D02，判断车辆51行驶的道路RD的形状是否为从车辆51朝向行进方向DD，向对面车道(PL)侧转弯的弯道。

在判断为是向对面车道(PL)侧弯曲的弯道的情况下，第1顺序变更单元32按照以下所示的变更规则(V1)变更基本优先顺序。

(V1)与位于对面车道(PL)侧的信号机相比，将位于车辆51行驶的本车道(WL)侧的信号机的优先顺序设定得高。

在本车道(WL)侧以及对面车道(PL)侧中，与位于车辆51的转弯方向侧的信号机相比，位于车辆51的转弯方向的相反侧的信号机可以在从十字路口离开的位置进行检测。在向对面车道(PL)侧弯曲的弯道的情况下，与对面车道(PL)侧相比，可以早期地检测本车道(WL)侧的信号机。因此，为了使基本规则(R1)的优劣关系反转，适用变更规则(V1)。

按照上述的变更规则(V1)，图9的三个信号机(Ts1、Ts2、Ts3)从优先顺序高的信号机开始，为信号机Ts2、信号机Ts3、信号机Ts1的顺序。即，与位于对面车道(PL)侧的信号机Ts1相比，位于本车道(WL)侧的信号机Ts2、信号机Ts3的优先顺序被设定得高。而且，即使适用变更规则(V1)，基本规则(R2)也被维持。由此，与位于十字路口Crs进深侧的信号机Ts3相比，位于十字路口Crs的跟前侧的信号机Ts2的优先顺序被设定得高。

而且，第1顺序变更单元32考虑的地理信息也可以是弯道以外的道路的形状(坡度)，或者行道树或施工等障碍物。在该情况下，信号机识别装置100由行驶数据等，学习道路的坡度信息以及障碍物信息，作为地图信息D02的一部分进行追加。第1顺序变更单元32由坡度信息以及障碍物信息，预先预测哪个信号机被遮蔽的可能性低，变更基本优先顺序即可。而且，在图9的例子中，示出了左侧通行中的右弯道的例子，但是不用说，也可以适用于右侧通行中的左弯道。

这样，在车辆51行驶的道路RD的形状是从车辆51看向对面车道PL侧弯曲的弯道的情况下，与位于对面车道PL侧的信号机Ts1相比，优先顺序设定单元24b将位于本车道WL侧的信号机(Ts2、Ts3)的优先顺序设定得高。由此，可以根据道路的形状设定合适的优先顺序。

(第4实施方式)

在第4实施方式中，说明在设定优先顺序之前预先尝试信号机的检测，设定检测到的信号机之间的优先顺序的信号机识别装置以及信号机识别方法。

具体地说，优先顺序设定单元24c的结构、图5的步骤S07与第1实施方式不同，但是信号机识别装置100的其它结构以及图5的其它步骤与第1实施方式相同，省略说明。

参照图8，说明第4实施方式的优先顺序设定单元24c的结构。优先顺序设定单元24c包括：基本顺序设定单元31和第2顺序变更单元33。基本顺序设定单元31实施与图3的优先顺序设定单元24相同的运算处理。即，基本顺序设定单元31按照基本规则(R1)以及(R2)，设定由信号机确定单元23确定的2个以上的信号机之间的基本优先顺序。

第2顺序变更单元33根据信号机检测单元15的信号机的检测结果，变更基本优先顺序。变更后的优先顺序被作为由优先顺序设定单元24c设定的优先顺序输出。仅从信号机的位置信息难以预测因交通环境以及道路状况等地图信息以外的因素而被遮蔽的信号机。希望尝试由信号机确定单元23确定的全部的信号机的检测，将该检测结果反馈到优先顺序。因此，信号机检测单元15预先尝试全部的信号机的检测，第2顺序变更单元33设定在检测中成功的信号机之间的优先顺序。

参照图11，说明图5的步骤S07的详细的步骤。首先，在步骤S21以及S23中，提取与N个信号机的每一个对应的检测区域的图像数据，将在信号机之间设定的优先顺序(i)与提取的检测区域相对应。

进至步骤S25，从与优先顺序最高(i＝1)的信号机对应的检测区域开始，尝试信号机的检测。在可以检测到信号机的情况下(S25中为“是”)，进至步骤S39，对该信号机附加表示可以检测到的标志。由此，可以学习能够检测的情况。另一方面，在不能检测到信号机的情况下(S25中为“否”)，进至步骤S37，不附加表示可以检测到的标志。由此，可以学习不能检测的情况。

之后，进至步骤S31，判断当前的优先顺序(i)是否为N。如果当前的优先顺序(i)不为N(S31中为“否”)，则使当前的优先顺序(i)增加1(增加)(步骤S35)，返回步骤S25。另一方面，如果当前的优先顺序(i)为N(S31中为“是”)，则尝试了全部的信号机的检测，所以进至步骤S41。在步骤S41中，在附加了标志的信号机之间，设定优先顺序。由此，从由基本顺序设定单元31设定了基本优先顺序的信号机中，提取能够检测的信号机，可以设定优先顺序。

例如，图12是表示一例因为道路RD为向右方向的弯道，信号机Ts1的一部分被行道树OBT遮蔽，从车辆51不能视觉识别信号机Ts1的一部分的道路状况。在该状况下，基本顺序设定单元31按照基本规则(R1)以及(R2)，以信号机Ts1、信号机Ts2、信号机Ts3的顺序设定由低到高的基本优先顺序。相对于此，第2顺序变更单元33得到对信号机Ts2、信号机Ts3附加标志、而对信号机Ts1不附加标志的检测结果。然后，根据该检测结果，对信号机Ts2以及信号机Ts3设定优先顺序，而不对信号机Ts1设定优先顺序。作为设定优先顺序时的规则，第2顺序变更单元33可以适用基本规则(R1)以及(R2)，而且也可以还考虑变更规则(V1)。

仅从信号机的位置信息难以预测由于交通环境以及道路状况等地图信息以外的因素而被遮蔽的信号机。希望尝试全部的信号机的检测，将该检测结果反馈到优先顺序中。因此，信号机检测单元尝试全部的信号机的检测，优先顺序设定单元设定在检测上成功的信号机之间的优先顺序。由此，可以从优先顺序的设定对象排除在检测上失败的信号机，所以可以早期地检测能够检测的信号机。

以上，按照实施例说明了本发明的内容，但是本发明不限于这些记载，能够有各种变形以及改良，这对于本领域的技术人员来说是不言而喻的。

例如，在第1实施方式中，对与其它信号机相比，将预告信号机的优先顺序设定得高这样的基本规则进行了叙述。该基本规则是也能够适用于其它的实施方式中的规则。即，与预告信号机为对面车道侧还是本车道侧无关，与其它信号机相比，第1顺序变更单元32将预告信号机的优先顺序设定得高。而且，只在对预告信号机附加标志下，与其它信号机相比，第2顺序变更单元33将预告信号机的优先顺序设定得高。

标号说明

11 摄像单元

12 自身位置检测单元

13 信号机位置估计单元

23 信号机确定单元

24 优先顺序设定单元

15 信号机检测单元

100 信号机识别装置

D02 地图信息

PL 对面车道

RD 道路

Ts1、Ts2、Ts3 信号机

WL 本车道

Claims

1.一种信号机识别装置，其特征在于，包括：

摄像单元，被安装在车辆上，拍摄所述车辆的周围，获取图像；

自身位置检测单元，检测所述车辆的自身位置；

信号机检测单元，从所述图像检测所述车辆周围的信号机；

信号机确定单元，从包含所述车辆周围的信号机的位置信息的地图信息和所述自身位置，确定被预测映入在所述图像中的2个以上的所述信号机；以及

优先顺序设定单元，根据所述信号机被遮蔽的可能性，设定由所述信号机确定单元确定的2个以上的所述信号机之间的优先顺序，

在由所述信号机确定单元确定了2个以上的所述信号机的情况下，所述信号机检测单元从所述图像检测2个以上的所述信号机中所述优先顺序最高的所述信号机，所述信号机检测单元在检测到优先顺序最高的信号机的情况下，继续检测该信号机，对与优先顺序最高的信号机对应的检测区域中包含的图像数据实施用于检测信号机的图像处理。

2.如权利要求1所述的信号机识别装置，其特征在于，

与位于所述车辆行驶的本车道侧的信号机相比，所述优先顺序设定单元将位于对面车道侧的信号机的所述优先顺序设定得高。

3.如权利要求1所述的信号机识别装置，其特征在于，

在从所述车辆看，所述车辆行驶的道路的形状是向对面车道侧弯曲的弯道的情况下，与位于所述对面车道侧的信号机相比，所述优先顺序设定单元将位于所述车辆行驶的本车道侧的信号机的所述优先顺序设定得高。

4.如权利要求1至3的任意一项所述的信号机识别装置，其特征在于，

在所述信号机确定单元确定了预告信号机，作为预测映入所述图像的2个以上的所述信号机的情况下，与其它信号机相比，所述优先顺序设定单元将所述预告信号机的所述优先顺序设定得高。

5.如权利要求1至3的任意一项所述的信号机识别装置，其特征在于，

所述信号机检测单元在能够检测到所述优先顺序最高的所述信号机的情况下，继续检测该信号机。

6.如权利要求1至3的任意一项所述的信号机识别装置，其特征在于，

所述信号机检测单元在不能检测到所述优先顺序最高的所述信号机的情况下，检测下一个所述优先顺序高的信号机。

7.如权利要求1至3的任意一项所述的信号机识别装置，其特征在于，

与是否能够检测到所述信号机无关，所述信号机检测单元从所述优先顺序高的一方起依次检测所述2个以上的信号机。

8.如权利要求1至3的任意一项所述的信号机识别装置，其特征在于，

所述信号机检测单元在所述优先顺序设定单元设定优先顺序之前，预先尝试由所述信号机确定单元确定的全部的所述信号机的检测，所述优先顺序设定单元在由所述信号机确定单元确定的、并且在所述信号机的检测上成功的所述信号机之间，设定所述优先顺序。

9.一种信号机识别方法，其特征在于，包括以下步骤：

使用被安装在车辆上的摄像单元，拍摄所述车辆的周围，获取图像；

检测所述车辆的自身位置；

从所述图像检测所述车辆周围的信号机；

从包含所述车辆周围的信号机的位置信息的地图信息和所述自身位置，确定被预测映入在所述图像中的2个以上的所述信号机；

根据所述信号机被遮蔽的可能性，设定被确定的2个以上的所述信号机之间的优先顺序；以及

在2个以上的所述信号机被确定的情况下，从所述图像检测2个以上的所述信号机中所述优先顺序最高的所述信号机，所述信号机检测单元在检测到优先顺序最高的信号机的情况下，继续检测该信号机，对与优先顺序最高的信号机对应的检测区域中包含的图像数据实施用于检测信号机的图像处理。