CN107430818A - 信号机检测装置以及信号机检测方法 - Google Patents

Abstract

信号机检测装置使用被搭载于车辆的摄像单元，从对车辆的周围进行了拍摄的图像之中，提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素(DA1～DA3)，从同步像素之中检测信号机。信号机检测装置包括：位置变动计算单元，计算同步像素的被连续提取出的位置的位置变动量(G1～G3、g1～g3)；以及信号灯判定单元，将位置变动量为阈值以下的同步像素判定为信号灯候补。

Description

信号机检测装置以及信号机检测方法

技术领域

本发明涉及信号机检测装置以及信号机检测方法。

背景技术

以往，已知从摄像机拍摄的图像中检测信号机的信号机检测装置(参照专利文献1)。在专利文献1中，从图像之中，基于信号灯的颜色以及形状来检测信号灯候补，判断信号灯候补是否正以规定的周期闪烁。

现有技术文献

专利文献

专利文献1：日本特开2005－301518号公报

发明内容

发明要解决的课题

若搭载摄像机的车辆正在移动，则移动中拍摄的图像所包含的亮度边缘的位置也移动。由此，在亮度边缘移动了的区域中产生亮度的阶跃响应，发生具有宽的频率分量的噪声。在将亮度正在以预先确定的周期变动的像素作为信号灯提取的情况下，有时将具有宽的频率分量的噪声误识为信号灯。

本发明是鉴于上述课题提出的，其目的在于，提供即使亮度边缘移动，也能够抑制将亮度的阶跃响应误检测为信号灯、高精度地检测信号灯的信号机检测装置以及信号机检测方法。

本发明的一方式的信号机检测装置使用被搭载于车辆的摄像单元，对车辆的周围进行拍摄，获取摄像图像，从摄像图像之中提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素，从同步像素之中检测信号机。信号机检测装置包括：位置变动计算单元，计算同步像素的被连续提取出的位置的位置变动量；以及信号灯判定单元，将位置变动量为阈值以下的同步像素判定为信号灯候补。

附图说明

图1是表示第1实施方式的信号机检测装置的整体结构的框图。

图2是表示图1所示的同步图像生成单元15的详细的结构的框图。

图3是表示图1所示的信号机检测单元18a的详细的结构的框图。

图4(a)、(b)、(c)是表示向X轴方向移动的信号灯的重复部分DA被作为同步像素提取的情况的概念图，图4(d)、(e)、(f)是表示其它灯光中从明亮向暗淡的阶跃响应、和从暗淡到明亮的阶跃响应被交替地作为同步像素提取的情况的概念图。

图5(a)、(c)、(d)分别是表示在同步图像生成循环内，高亮度区域的位置从区域ST起到区域EN为止向右方向移动的情况的概念图，图5(b)是表示与提供给信号机的电力的相位同步了的基准信号的上升时刻t1以及下降时刻t2的图表。

图6是表示使用了图1所示的信号机检测装置的信号机检测方法的一例的流程图。

图7是表示第2实施方式的信号机检测装置的整体结构的框图。

图8是表示图7所示的信号机检测单元18b的详细的结构的框图。

图9是表示使用了图7所示的信号机检测装置的信号机检测方法的一例的流程图。

具体实施方式

(第1实施方式)

接着，参照附图，详细说明本发明的实施方式。

参照图1，说明第1实施方式的信号机检测装置的整体结构。信号机检测装置被搭载于车辆，包括：摄像单元11，拍摄车辆的周围，获取图像；以及图像处理单元12，从由摄像单元11获取到的图像中检测信号机。

摄像单元11是包括固体摄像元件、例如CCD或CMOS的摄像机，获取可进行图像处理的彩色图像。摄像单元11以规定的时间间隔反复对车辆的前方进行拍摄，获取连续的多个图像(帧)。摄像单元11在被提供给信号机的电力的1交流周期之间进行多次拍摄。

图像处理单元12接收由摄像单元11获取到的图像，从图像之中检测信号机。检测出的信号机的信息例如被转发到包含用于实现车辆的自动驾驶的控制器在内的、被搭载于车辆的其它处理运算装置(车辆ECU13)。图像处理单元12例如由包括CPU、存储器25、以及输入输出单元的微型控制器构成，通过执行预先安装的计算机程序，构成信号机检测装置所具有的多个信息处理单元。图像处理单元12以连续的多个摄像图像(帧)单位，反复执行从图像检测信号机的一系列的信息处理循环(包含同步图像生成处理)。图像处理单元12也可以与有关车辆的其它控制中使用的ECU兼用。

存储器25同时存储由摄像单元11拍摄的多个摄像图像(帧)28。例如，存储在被提供给信号机的电力的1～3交流周期之间被拍摄的多个摄像图像28。在预先存储的多个摄像图像28单位实施同步图像生成处理。

在由图像处理单元12构成的多个信息处理单元中，包含同步图像生成单元15、同步像素组设定单元14和信号机检测单元18a。

同步图像生成单元15获取包含信号机在内的车辆周边的电力系统的相位信息。然后，使用电力系统的相位信息，从摄像图像之中提取亮度与电力的交流周期同步地变化的同步像素。然后，生成由提取出的同步像素构成的同步图像。具体而言，如图2所示，同步图像生成单元15包括基准信号生成单元17、乘法运算单元30和低通滤波器(LPF)20。

基准信号生成单元17使用电力系统(商用电源)的相位信息，生成与被提供给信号机的电力的相位同步的基准信号。乘法运算单元30对从存储器25读出的摄像图像(帧)28的各像素的亮度信号和基准信号进行乘法运算。乘法运算单元30对同时存储到存储器25中的多个摄像图像的每一个实施上述的乘法运算处理。LPF20从通过乘法运算单元30得到的乘法运算结果中，使比规定的截止频率高的频率分量降低，仅取出低频分量，输出由同步像素构成的同步图像。

被提供给信号机的电力是对商用电源的电力进行了全波整流的交流电力。从商用电源接受电力的供给而点灯的信号灯的亮度以与进行了全波整流的交流电力的周期(例如100Hz)相同的周期变化。因此，从摄像图像28之中提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素。

同步像素组设定单元14将在预先确定的区域内检测到的多个同步像素设定为1个同步像素组。即，将多个同步像素的集合识别作为1个同步像素组。具体而言，将邻接的多个同步像素设定为1个同步像素组。即，将多个同步像素的聚集(clot)识别作为1个同步像素组。例如，将同步像素的密度比规定的基准值高的区域中包含的多个同步像素设定为1个同步像素组。

信号机检测单元18a从同步像素之中提取点灯中的信号灯，检测包含该信号灯在内的信号机。如图3所示，信号机检测单元18a至少包括：位置变动计算单元21，计算同步像素被连续提取出的位置的位置变动量；以及信号灯判定单元22，将位置变动量为阈值以下的同步像素判定为信号灯候补。

位置变动计算单元21计算由同步像素组设定单元14设定的同步像素组的重心位置，计算该连续地提取出的重心位置的移动量，作为位置变动量。信号灯判定单元22将位置变动量为阈值以下的同步像素组判定为信号灯候补。信号灯判定单元22根据同步像素组的面积调整阈值。具体而言，同步像素组的面积越大，则将阈值设定得越大。进一步，在位置变动量为阈值以下的同步像素组连续阈值时间以上被同步图像生成单元15生成的情况下，信号灯判定单元22将该同步像素组判定为信号灯候补。例如，作为阈值时间，设定为被提供给信号机的电力的一周期即可。

此外，信号机检测单元18a判断由信号灯判定单元22判定出的信号灯候补的色调是否与信号颜色的色调类似，进一步判断信号灯候补的圆形度。在从商用电源接受电力的供给而点灯的电灯中，除信号机所具有的信号灯以外，还包含街灯、自动售货机、路牌等、在道路上正在点灯的其它的电灯。在信号灯候补中，可能还包含这些其它的电灯。信号机检测单元18a在信号灯候补和信号颜色之间判断色调的类似性，进一步判断信号灯候补的圆形度程度，从而能够从信号灯候补之中排除上述的其它的电灯，检测信号灯以及包含该信号灯在内的信号机。

接着，参照图4及图5，说明能够将位置变动量为阈值以下的同步像素组判定为信号灯候补的理由。

若搭载摄像单元11的本车辆正在移动，则在移动中被拍摄了的图像所包含的高亮度区域的位置也移动。在高亮度区域中，除灯光中的信号灯以外，例如还包含前行车辆的尾灯(制动灯、转向灯)、对面车辆的前照灯。此外，即使本车辆停止，若周围的其它车辆移动，则前行车辆的尾灯、对面车辆的前照灯的位置也会移动。

与高亮度区域的位置的移动相伴，亮度边缘的位置也移动。由此，在亮度边缘移动了的区域(ST、EN)中产生亮度的阶跃响应，发生具有宽的频率分量的噪声。在提取亮度以预先确定的周期变动的像素作为同步像素的情况下，错误地提取具有宽的频率分量的噪声作为同步像素。

在同步图像生成单元15生成同步图像的同步图像生成循环内高亮度区域的位置变动的情况下，基于高亮度区域的亮度是否以预先确定的周期变动，被作为同步像素提取的像素的位置变化。

图5(a)、(c)、(d)分别表示在同步图像生成循环内高亮度区域的位置从区域ST起至区域EN为止向右方向移动的情况。图5(a)表示高亮度区域是其亮度以预先确定的周期(商用电源的交流周期)变动的信号灯的情况。图5(c)、(d)分别表示高亮度区域是其亮度不以预先确定的周期变动的其它的灯光的情况。在“其它的灯光”中，例如包含前行车辆的尾灯、对面车辆的前照灯。在图5(a)的情况下，高亮度区域本身的亮度以商用电源的交流周期变动，所以区域ST和区域EN的重复部分DA被作为同步像素提取。另一方面，在图5(c)、(d)的情况下，区域ST和区域EN的重复部分DA的亮度不周期性地变动，所以重复部分DA不会被提取。但是，从区域ST及区域EN除了重复部分DA以外的部分是亮度边缘移动了的部分，所以产生亮度的阶跃响应，发生具有宽的频率分量的噪声。由此，从区域ST及区域EN除重复部分DA以外的部分被错误地作为以商用电源的交流周期变动的同步像素提取。

进一步，如图5(b)所示，在与被提供给信号机的电力的相位同步的基准信号的上升时刻t1，从暗淡向明亮的阶跃响应被作为同步像素提取。从暗淡向明亮的阶跃响应发生于从区域EN除了重复部分DA以外的部分。但是，从明亮向暗淡的阶跃响应不会被作为同步像素提取。由此，如图5(c)所示，在时刻t1，将从区域EN除重复部分DA以外的部分错误地作为以商用电源的交流周期变动的同步像素提取。

另一方面，在基准信号的下降时刻t2，从明亮向暗淡的阶跃响应被作为同步像素提取。从明亮向暗淡的阶跃响应发生于从区域ST除重复部分DA以外的部分。但是，从暗淡向明亮的阶跃响应不会被作为同步像素提取。由此，如图5(d)所示，在时刻t2，错误地将从区域ST除重复部分DA以外的部分作为以商用电源的交流周期变动的同步像素提取。

因此，在其亮度不以预先确定的周期变动的其它的灯光在同一方向上持续移动的情况下，交替地反复提取图5(c)及图5(d)所示的同步像素。由此，在高亮度区域是其亮度不以预先确定的周期在变动的其它的灯光的情况下，同步像素被连续提取出的位置变动大，所以不稳定、不一致。另一方面，在高亮度区域是其亮度以商用电源的交流周期变动的信号灯的情况下，重复部分DA被作为同步像素提取，所以同步像素被连续提取出的位置变动小，是稳定的、一致的。

图4(a)、(b)、(c)表示向X轴方向移动的信号灯的重复部分DA被作为同步像素提取的情况。图4(d)、(e)、(f)表示在其它的灯光中，从明亮向暗淡的阶跃响应、和从暗淡向明亮的阶跃响应被交替地作为同步像素提取的情况。图4(a)～图4(f)的格子框(FL)表示由矩阵状地排列的多个像素构成的帧，各格子框表示摄像元件的像素。X轴方向6像素和Y轴方向6像素的区域相当于信号灯或者其它的灯光。

在图4(a)所示的同步图像生成循环中，信号灯不移动。由此，信号灯整体成为重复部分DA1，信号灯整体被作为同步像素提取。将重复部分DA1的重心设为G1。然后，在图4(b)所示的同步图像生成循环中，信号灯在X轴方向上移动相当2像素。由此，该重复部分DA2成为X轴方向4像素和Y轴方向6像素的区域。然后，本次提取的重复部分DA2的重心(G2)从上次提取的重心(G1)起在X轴方向上移动相当1像素。然后，在图4(c)所示的同步图像生成循环中也同样地，信号灯在X轴方向上移动相当2像素。由此，该重复部分DA3成为X轴方向4像素和Y轴方向6像素的区域。然后，本次提取的重复部分DA3的重心(G3)从上次提取的重心(G2)起在X轴方向上移动相当2像素。

另一方面，在图4(d)所示的同步图像生成循环中，其它的灯光在X轴方向上移动相当2像素。然后，图4(d)所示的同步图像生成循环与基准信号的上升时刻t1同步。由此，产生从暗淡向明亮的阶跃响应的部分、即从区域EN1除重复部分DA1以外的部分被作为同步像素提取。从区域EN1除重复部分DA1以外的部分成为X轴方向2像素和Y轴方向6像素的区域，将其重心设为g1。在图4(e)所示的同步图像生成循环中，其它的灯光在X轴方向上移动相当2像素。然后，图4(e)所示的同步图像生成循环与基准信号的下降时刻t2同步。由此，产生从明亮向暗淡的阶跃响应的部分、即从区域ST2除重复部分DA2以外的部分被作为同步像素提取。从区域ST2除重复部分DA2以外的部分成为X轴方向2像素和Y轴方向6像素的区域，本次提取的重心(g2)从上次提取的重心(g1)起在X轴方向上移动相当4像素。在图4(f)所示的同步图像生成循环中，其它的灯光在X轴方向上移动相当2像素。然后，图4(f)所示的同步图像生成循环与基准信号的上升时刻t1同步。由此，与图4(d)同样地，将从区域EN3除重复部分DA3以外的部分作为同步像素提取。从区域EN3除重复部分DA3以外的部分成为X轴方向2像素和Y轴方向6像素的区域，本次提取的重心(g3)从上次提取的重心(g2)起在X轴方向上移动相当8像素。

如上述，根据同步像素是信号灯还是其它的灯光，同步像素的图像上的位置变动量产生较大的差异。具体而言，在同步像素是信号灯的情况下，在连续的同步图像生成循环之间，同步像素的被连续提取出的重心(G1～G3)的位置变动量小。在同步像素是其它的灯光的情况下，在连续的同步图像生成循环之间，同步像素的被连续提取出的重心(G1～G3)的位置变动量大。因此，关于同步像素(或者同步像素组的重心)的连续的提取位置的位置变动量，若能够适当地规定阈值，则能够从同步像素之中排除其它的灯光，高精度地判定信号灯候补。

根据同步像素组的面积调整阈值。例如，将提取出的同步像素组的尺寸的一半设为阈值即可。在图4(b)及(c)的例子中，由X轴方向4像素和Y轴方向6像素构成的矩形状的区域被作为同步像素组提取。将X轴及Y轴的长度的一半、即X轴方向2像素和Y轴方向3像素设为阈值即可。由此，图4(b)及(c)的同步像素组(DA2、DA3)被判定为信号灯候补。另一方面，在图4(d)～(f)的例子中，由X轴方向2像素和Y轴方向6像素构成的矩形状的区域被作为同步像素组提取。将X轴及Y轴的长度的一半、即X轴方向1像素和Y轴方向3像素设为阈值即可。由此，图4(d)～(f)的同步像素组被从信号灯候补除外。如上述，同步像素组的面积越大，则将阈值设定得越大即可。

参照图6，说明使用了图1所示的信号机检测装置的信号机检测方法的一例。具体而言，说明由图1的图像处理单元12执行的、从图像检测信号机的一系列的信息处理循环的一例。图6的流程图所示的信息处理循环与车辆的点火开关变为接通状态、信号机检测装置起动同时开始，直至信号机检测装置停止为止，被以规定的周期反复执行。

首先，在步骤S01中，图像处理单元12基于在上次的信息处理循环中设定了的偏移量、即将摄像图像错开的方向以及错开量，调整摄像图像间的位置关系。由此，校正摄像图像间的模糊(blur)。

进到步骤S03，图像处理单元12将位置调整后的摄像图像存储到存储器25中。进到步骤S05，同步图像生成单元15使用电力系统的相位信息，从位置调整后的摄像图像之中，提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素，然后，生成由提取出的同步像素构成的同步图像。

进到步骤S07，同步像素组设定单元14将多个同步像素的集合设定为同步像素组。当然，在1个同步图像之中，也可以设定多个同步像素组。进到步骤S09，位置变动计算单元21计算由同步像素组设定单元14设定的同步像素组的重心位置(G1～G3、g1～g3)，计算该被连续提取出的重心位置(G1～G3、g1～g3)的移动量，作为位置变动量。换言之，计算同步图像生成循环间的同步像素的重心位置的移动量，作为位移量。

进到步骤S11，如参照图4说明的那样，信号灯判定单元22根据同步像素组的面积调整阈值。进到步骤S13，信号灯判定单元22判断同步像素组的位置变动量是否为阈值以下。若为阈值以下(S13为“是”)则进到步骤S14。另一方面，若非阈值以下(S13为“否”)则进到步骤S17，信号灯判定单元22将同步像素组从信号灯候补除外。然后进到步骤S19。

在步骤S14中，信号灯判定单元22判断位置变动量为阈值以下的同步像素是否连续了被提供给信号机的电力的一周期以上由同步图像生成单元15生成。若连续一周期以上(S14为“是”)，则能够判断为该同步像素组在时间上被稳定地检测到。由此，进到步骤S15，信号灯判定单元22将同步像素组判定为信号灯候补。然后，进到步骤S19。另一方面，若未连续一周期以上(S14为“否”)，则该同步像素组在时间上未被稳定地检测到，所以进到步骤S17，从信号灯候补除外。

在步骤S19中，判断是否判定了S07中设定的全部的同步像素组。若没有判定全部的同步像素组(S19为“否”)，则返回到步骤S09，对剩下的同步像素组实施上述的判定处理。若判定了全部的同步像素组(S19为“是”)，则图6的流程结束。然后，信号机检测单元18a在信号灯候补和信号颜色之间判断色调的类似性，进一步判断信号灯候补的圆形度程度，从而从信号灯候补之中排除上述的其它的电灯，检测信号灯以及包含该信号灯在内的信号机。

如以上说明所述，根据第1实施方式，得到以下的作用效果。

在亮度边缘移动了的区域产生亮度的阶跃响应，发生具有宽的频率分量的噪声。因此，同步图像生成单元15有时将亮度边缘的移动部分作为同步像素提取。在由同步图像生成单元15提取的同步像素是亮度边缘的移动部分的情况下，同步像素的图像上的位置不稳定，同步图像间(同步图像提取循环)的变动量较大。与此相对，在由同步图像生成单元15提取的同步像素是信号灯的情况下，同步像素的图像上的位置稳定，同步图像提取循环间的变动量较小。因此，信号灯判定单元22将位置变动量为阈值以下的同步像素作为信号灯候补提取。由此，位置变动量比阈值大的同步像素被从信号灯候补除外，所以前行车辆的尾灯、对面车辆的前照灯等的亮度边缘即使在摄像图像上移动，将亮度的阶跃响应错误地作为信号灯候补提取的情况也受到抑制，能够高精度地检测信号灯。

同步像素组设定单元14将在预先确定的区域内检测到的多个同步像素设定为1个同步像素组。位置变动计算单元21计算同步像素组的重心位置的变动量，作为位置变动量。由此，能够正确地求得位置变动量。

同步像素组设定单元14将邻接的多个同步像素设定为1个同步像素组。由此，能够将多个同步像素的聚集识别为1个同步像素组，所以能够高精度地检测信号灯。

信号灯判定单元22根据同步像素组的面积调整阈值。由此，能够根据同步像素组的大小设定适当的阈值。

在位置变动量为阈值以下的同步像素连续阈值时间以上被同步图像生成单元15生成的情况下，信号灯判定单元22将该同步像素判定为信号灯候补。在至少一交流周期的长度以上被连续提取出的情况下，将该同步像素判定为信号灯候补。由此，能够将时间上被稳定地提取的同步像素设为信号灯候补，所以能够高精度地检测信号灯。

(第2实施方式)

参照图7，说明第2实施方式的信号机检测装置的整体结构。图7的信号机检测装置与图1相比还包括地图数据库16及本车位置测量单元19。再者，信号机检测单元18b的功能存在差异，将参照图8后述。在地图数据库16中，存储有作为检测对象的信号机的位置信息。在信号机的位置信息中，除2维坐标信息以外，也可以还包含距地高度的信息。本车位置测量单元19例如是接收来自GPS(全球定位网)卫星的信号而检测车辆的当前位置的GPS接收机。信号机的位置信息以及车辆的当前位置的信息被转发到信号机检测单元18b。另外，摄像单元11、存储器25、同步图像生成单元15、同步像素组设定单元14、以及车辆ECU13与图1中的它们相同，省略说明。

信号机检测单元18b从同步像素之中提取点灯中的信号灯，检测包含该信号灯在内的信号机。如图8所示，信号机检测单元18b与图3相比还包括：距离计算单元24，基于由位置变动计算单元21算出的位置变动量，计算从车辆起至与同步像素(或者同步像素组)对应的实空间上的位置为止的距离；以及距离估计单元26，基于地图上的车辆的估计位置和信号机的位置，估计从车辆起至信号机为止的距离。此外，信号灯判定单元22还包括检测区域设定单元27。

距离计算单元24根据同步像素的位置变动量，使用运动视觉(motion stereo)法，计算到与同步像素对应的实空间上的位置为止的距离。运动视觉法是通过根据连续图像求得光学流程而进行距离估计的方法。在1台摄像机移动时，基于在以微小的时间间隔被摄影了的连续图像上移动的被摄体的“画面上的运动”和“摄影位置的位移量”，能够计算到被摄体为止的距离。

作为地图上的车辆的估计位置和信号机的位置，距离估计单元26使用从地图数据库16及本车位置测量单元19转发的信号机的位置信息以及车辆的当前位置的信息。例如，若在交叉路口有多个信号机，则能够对各信号机估计距离。但是，为了信息处理的简化，也可以对属于1个交叉路口的多个信号机设定单一的距离。此外，信号机假定为在本车行驶的车线上存在的与本车最近的信号机。

信号灯判定单元22从由距离计算单元24算出的距离比由距离估计单元26估计出的距离远的同步像素之中判定所述信号灯候补。在由同步图像生成单元15生成的同步像素是亮度边缘的移动部分的情况下，同步像素的被连续提取出的位置不稳定，同步图像间(同步图像提取循环)的变动量较大。若变动量大则视差也变大，所以距离计算单元24将到与同步像素对应的实空间上的位置为止的距离计算得比实际短。由此，在到与同步像素对应的实空间上的位置为止的距离比到地图上的信号机为止的距离短的情况下，能够判断为同步像素是亮度边缘的移动部分，所以能够从信号灯候补除外。

进一步，信号灯判定单元22也可以从与可由距离计算单元24计算的距离相比位于远方的同步像素之中判定信号灯候补。

信号灯判定单元22在同步图像内包括设定用于判定信号灯候补的检测区域的检测区域设定单元27。信号灯判定单元22从位于设定出的检测区域的同步像素之中判定信号灯候补。

例如，检测区域设定单元27基于由距离估计单元26估计出的距离以及信号机的信号灯部分的距地高度，设定图像上的阈值高度。信号灯判定单元22从同步图像内的阈值高度以上的检测区域中，判定信号灯候补。通过对作为提取对象的同步图像的范围施加高度方向的限制，信号灯候补的判定效率提高，能够高速地检测信号机。

进一步，距离计算单元24也可以计算从车辆向与所述同步像素对应的实空间上的位置的方位。在该情况下，检测区域设定单元27能够基于由距离计算单元24算出的方位，在同步图像内设定检测区域。信号灯判定单元22能够从设定出的检测区域中检测信号机。

参照图9，说明使用了图7所示的信号机检测装置的信号机检测方法的一例。具体而言，说明由图7的图像处理单元12执行的、从图像检测信号机的一系列的信息处理循环的一例。图9的流程图所示的信息处理循环与车辆的点火开关变为接通状态、信号机检测装置起动同时开始，直至信号机检测装置停止为止，被以规定的周期反复执行。以与图6的不同点为中心进行说明。

步骤S01～S09为止执行与图6相同的处理。然后，进到步骤S21，距离计算单元24根据同步像素的位置变动量，使用运动视觉法，计算从车辆起到与同步像素组对应的实空间上的位置为止的距离。进到步骤S23，距离估计单元26基于地图上的车辆的估计位置和信号机的位置，估计从车辆起到信号机为止的距离。

进到步骤S25，信号灯判定单元22判断由距离计算单元24算出的距离与由距离估计单元26估计出的距离相比是否位于远方。在位于远方的情况下(S25为“是”)，存在该同步像素组是信号灯的可能性，所以进到步骤S11。在不是远方的情况下(S25为“否”)，能够判断为该同步像素组是亮度边缘的移动部分，所以进到步骤S17，从信号灯候补除外。然后，进到步骤S19。

步骤S11～S17执行与图6相同的处理。

如以上说明所述，根据第2实施方式，得到以下的作用效果。

在由同步图像生成单元15生成的同步像素是亮度边缘的移动部分的情况下，同步像素的被连续提取出的位置不稳定，同步图像间(同步图像提取循环)的变动量较大。若变动量大，则距离计算单元24将到与同步像素对应的实空间上的位置为止的距离计算得比实际短。由此，在到与同步像素对应的实空间上的位置为止的距离比地图上的到信号机为止的距离短的情况下，能够判断为同步像素是亮度边缘的移动部分，所以同步像素能够从信号灯候补除外。由此，能够高精度地检测信号灯。

信号灯判定单元22从与可由距离计算单元24计算的距离相比位于远方的同步像素之中判定信号灯候补。由此，将亮度边缘的移动部分错误地判定为信号灯的情况得以抑制。

信号灯判定单元22也可以基于由距离估计单元26估计出的距离以及信号机的信号灯部分的距地高度，设定同步图像上的阈值高度，从同步图像内的阈值高度以上的检测区域中判定信号灯候补。由此，通过对作为提取对象的同步图像的范围施加高度方向的限制，信号灯候补的判定效率提高，能够高速地检测信号机。

信号机检测单元18b也可以基于由距离计算单元24算出的方位，在同步图像内设定检测区域，从检测区域中检测信号机。通过对作为提取对象的同步图像的范围施加方位的限制，同步像素的提取效率提高，能够高效地检测信号机。

如上述，记载了本发明的实施方式，不应理解为本发明限定于成为本公开的一部分的论述及附图。根据本公开，本领域普通技术人员清楚各种替代实施方式、实施例以及运用技术。

标号说明

11 摄像单元

12 图像处理单元

14 同步像素组设定单元

15 同步图像生成单元(同步像素提取单元)

16 地图数据库

19 本车位置测量单元

18a、18b 信号机检测单元

21 位置变动计算单元

22 信号灯判定单元

23 阈值设定单元

24 距离计算单元

26 距离估计单元

27 检测区域设定单元

28 摄像图像(帧)

Claims (10)

1.一种信号机检测装置，其特征在于，包括：

摄像单元，搭载在车辆上，拍摄所述车辆的周围而获取图像；

同步像素提取单元，从所述图像之中，提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素；以及

信号机检测单元，从所述同步像素之中检测信号机，

所述信号机检测单元包括：

位置变动计算单元，计算所述同步像素的被连续提取出的位置的位置变动量；以及

信号灯判定单元，将所述位置变动量为阈值以下的所述同步像素判定为信号灯候补。

2.如权利要求1所述的信号机检测装置，其特征在于，

还包括将在预先确定的区域内检测到的多个同步像素设定为1个同步像素组的同步像素组设定单元，

所述位置变动计算单元计算所述同步像素组的重心位置的变动量，作为所述位置变动量。

3.如权利要求2所述的信号机检测装置，其特征在于，

所述同步像素组设定单元将邻接的多个同步像素设定为所述1个同步像素组。

4.如权利要求2或3所述的信号机检测装置，其特征在于，

所述信号灯判定单元根据所述同步像素组的面积调整所述阈值。

5.如权利要求1至4的任意一项所述的信号机检测装置，其特征在于，

在所述位置变动量为所述阈值以下的所述同步像素连续阈值时间以上被所述同步像素提取单元提取出的情况下，所述信号灯判定单元将该同步像素判定为信号灯候补。

6.如权利要求1至5的任意一项所述的信号机检测装置，其特征在于，

所述信号机检测单元还包括：

距离计算单元，基于由所述位置变动计算单元算出的所述位置变动量，计算从所述车辆起至与所述同步像素对应的实空间上的位置为止的距离；以及

距离估计单元，基于地图上的所述车辆的估计位置和所述信号机的位置，估计从所述车辆起至信号机为止的距离，

所述信号灯判定单元从由所述距离计算单元算出的距离比由所述距离估计单元估计出的距离远的所述同步像素之中判定所述信号灯候补。

7.如权利要求6所述的信号机检测装置，其特征在于，

所述信号灯判定单元从距离比可由所述距离计算单元计算的距离远的所述同步像素之中判定所述信号灯候补。

8.如权利要求6或7所述的信号机检测装置，其特征在于，

所述信号灯判定单元基于由所述距离估计单元估计出的距离以及所述信号机的信号灯部分的距地高度，设定图像上的阈值高度，从图像内的阈值高度以上的检测区域判定所述信号灯候补。

9.如权利要求6或7所述的信号机检测装置，其特征在于，

所述距离计算单元计算从所述车辆起至与所述同步像素对应的实空间上的位置的方位，

所述信号机检测单元基于由所述距离计算单元算出的方位，在所述图像内设定检测区域，从所述检测区域检测信号机。

10.一种信号机检测方法，其特征在于，

使用搭载在车辆上的摄像单元，拍摄所述车辆的周围而获取图像；

从所述图像之中，提取亮度与被提供给信号机的电力的交流周期同步地变化的同步像素；

计算所述同步像素的被连续提取出的位置的位置变动量；

提取所述位置变动量为阈值以下的所述同步像素作为信号灯候补；以及

从所述信号灯候补之中检测信号机。