CN106068531A - 信号机检测装置以及信号机检测方法 - Google Patents

Abstract

信号机检测装置包括：反复拍摄车辆的行进方向，获取连续的多个图像(28)的摄像单元(11)；以及从图像(28)中检测信号机(32，33)的信号机检测单元(12)。信号机检测单元(12)根据连续的多个图像中的亮度变化的周期，检测包含信号机的车辆周边的电力系统的相位信息，使用电力系统的相位信息，从图像(28)中，提取亮度与对信号机(32，33)供给的电力的交流周期同步地变化的同步像素。信号机检测装置由同步像素判断信号机是否存在。

Description

信号机检测装置以及信号机检测方法

技术领域

本发明涉及信号机检测装置以及信号机检测方法。

背景技术

以往，已知从摄像机拍摄的图像中检测信号机的信号机检测装置(参照专利文献1)。在专利文献1中，从图像中提取成为信号灯的颜色的部分，计算表示提取出的部分到底有多少接近圆形的圆形度，检测圆形度高的部分作为信号灯候选。

现有技术文献

专利文献

专利文献1:日本专利特开2005－301518号公报

发明内容

为了被检测作为信号灯候选，提取出的部分的图像尺寸必须大到能够判定圆形度的程度。由此，在专利文献1中，难以高精度地检测图像尺寸小至不能判定圆形度的远方的信号机。

本发明鉴于上述课题而完成，其目的是提供即使是远方的信号机，也可以高精度地进行检测的信号机检测装置以及信号机检测方法。

本发明的一个方式的信号机检测装置包括：反复拍摄车辆的周围，获取连续的多个图像的摄像单元；以及从图像中检测信号机的信号机检测单元。信号机检测单元由连续的多个图像中的亮度变化的周期，检测包含信号机的车辆周边的电力系统的相位信息，使用电力系统的相位信息，从图像中提取亮度与提供给信号机的电力的交流周期同步地变化的同步像素。信号机检测装置由同步像素判断是否存在信号机。

附图说明

图1是表示本发明的实施方式的信号机检测装置的整体结构的方框图。

图2是表示图1所示的同步图像生成单元15的详细的结构的方框图。

图3(a)是表示与离车辆的距离相应的亮度变化的幅度的不同的曲线图，图3(b)是作为位于车辆近旁的其它的电灯的例子，示出路灯31a、自动售货机31b、广告牌31c，示出离车辆位于远方的信号机32、33的摄像机图像的一个例子。

图4是表示相位检测单元19的变形例的方框图。

图5是表示车辆在隧道中行驶时拍摄的摄像机图像的一个例子的图。

图6是表示使用了图1所示的信号机检测装置的信号机检测方法的一个例子的流程图。

图7(a)是表示由圆形度检测信号灯的候选的情况下所需要的像素群53a的尺寸的图，图7(b)是表示在实施方式中能够检测的同步像素53b的数的图。

图8表示基准信号的相位的同步或者非同步产生的相关值的不同，图8(a)表示基准信号的相位与电力的相位同步的状态，图8(b)表示基准信号的相位与电力的相位反相的状态。

具体实施方式

参照附图，说明实施方式。在附图的记载中对同一部分附加同一标号，省略说明。

参照图1，说明实施方式的信号机检测装置的整体结构。信号机检测装置包括：被安装在车辆上，以规定的时间间隔反复拍摄车辆的周围，获取连续的多个图像(帧)的摄像单元11；以及从摄像单元11拍摄的图像中检测信号机的信号机检测单元12。

摄像单元11是使用了固体摄像元件，例如CCD或者CMOS的数字摄像机，获取可进行图像处理的数字图像。数字摄像机具有画角宽的广角镜头。在摄像单元11的摄像范围(画角)中，包含从车辆的行进方向向左右方向直至车辆近旁的路肩。

信号机检测单元12接收由摄像单元11获取的图像(以后，称为“摄像机图像”)，检测摄像机图像中的信号机的位置。检测到的信号机的位置信息被转发至例如包含用于实现车辆的自动驾驶的控制器的、车辆上安装的其它的处理运算装置(车辆CPU13)。信号机检测单元12例如由具有CPU、存储器25、以及输入输出单元的微控制器构成，通过执行预先安装的计算机程序，构成信号机检测装置具有的多个信息处理单元。信号机检测单元12对连续的多个摄像机图像(帧)的每一个反复执行从摄像机图像检测信号机的位置的一连串的信息处理。信号机检测单元12也可以与和车辆有关的其它控制中使用的ECU兼用。

在由信号机检测单元12构成的多个信息处理单元中，包含：相位检测单元19；同步图像生成单元15；以及信号机判断单元18。

存储器25同时存储连续的多个摄像机图像(帧)28。例如，同时存储在提供给信号机的电力的1个交流周期的期间拍摄的多个摄像机图像28。

相位检测单元19由连续的多个摄像机图像28中的亮度变化的周期，检测包含信号机的车辆周边的电力系统的相位信息。信号机周边的电力系统的相位信息在信号灯和位于其周围的其它电灯之间大致共同。即，对位于信号机周边的其它的电灯供给的电力的相位与对信号机供给的电力的相位大致一致。因此，相位检测单元19可以由摄像机图像28中的亮度变化的周期，检测对信号机供给的电力的相位信息。而且，所谓“电力系统的相位信息”，表示商用电源的相位信息。

例如，图3(a)是表示对应于离车辆的距离的亮度变化的幅度的不同的曲线图，图3(b)是作为位于车辆近旁的其它的电灯的例子，示出路灯31a、自动售货机31b、广告牌31c，并示出离车辆位于远方的信号机32、33的图。图3(a)表示图3(b)的路灯31a、以及信号机32、33的亮度变化。位于车辆近旁的其它的电灯(路灯31a、自动售货机31b、广告牌31c)的亮度变化的幅度比远方的信号机(32、33)的幅度大。而且，亮度变化的幅度越大，相位信息的检测精度越提高。因此，可以由位于车辆近旁的其它的电灯(31a～31c)的亮度变化的周期，高精度地检测对远方的信号机(32，33)供给的电力的相位信息。

而且，相位检测单元19也可以从摄像机图像的各像素中，选择亮度变化的幅度最大的像素，使用选择出的像素检测电力系统的相位信息。由此，可以最大地提高相位信息的检测精度。进而，也可以将亮度变化的幅度比较大的像素进行累积，检测电力系统的相位信息。

而且，参照图4在后叙述由车辆的当前位置以及车辆周边的地图信息，高效地检测位于车辆近旁的其它的电灯(31a～31c)的亮度变化的相位检测单元19的变形例。

同步图像生成单元15使用通过相位检测单元19检测出的电力系统的相位信息，从摄像机图像中提取亮度与对信号机供给的电力的交流周期同步地变化的同步像素，生成由提取出的同步像素构成的同步图像。例如，同步图像生成单元15使用电力系统的相位信息，生成与对信号机供给的电力的相位同步的基准信号，进行将基准信号与摄像机图像的各像素的亮度信号相乘的同步检波处理。由此，提取亮度与对信号机供给的电力的交流周期同步地变化的同步像素。

对信号机供给的电力是将商用电源的电力全波整流后的交流电力。从商用电源接受电力的供给而点亮的信号灯的亮度以与全波整流后的交流电力的周期(例如，100Hz)相同的周期变化。因此，通过从摄像机图像中提取亮度与对信号机供给的电力的交流周期同步地变化的同步像素，可以检测从商用电源接受电力的供给而点亮的信号灯。具体的处理内容参照图2以及图8在后叙述。

在通过同步图像生成单元15提取的同步像素的色调与信号色的色调类似的情况下，信号机判断单元18判断为在同步像素的位置存在信号机。在从商用电源接受电力的供给而点亮的电灯中，除了信号机具有的信号灯之外，如图3(b)所示，还包含路灯31a、自动售货机31b、广告牌31c等在路上点亮的其它电灯。在通过同步图像生成单元15提取的同步像素中，存在还包含这些其它电灯的可能性。通过信号机判断单元18在同步像素和信号色之间判断色调的类似性，可以从同步图像生成单元15的提取结果中排除这些其它的电灯。

而且，信号机判断单元18也可以不使用判断同步像素的色调是否与信号色的色调类似的色调判断单元，而使用同步像素的图像上的位置和亮度，判断是否存在信号机。通过由车辆的周围的地图信息求图像上的信号机的位置，与同步像素的位置核对，可以排除上述的其它电灯。进而，可以由车辆至信号机的距离设想图像上的亮度，判断为在设想亮度内的同步像素中存在信号机。

信号机检测单元12将信号机判断单元18判断出存在信号机的像素群的位置信息输出到车辆CPU13。

接着，参照图2以及图8，说明同步图像生成单元15的细节。首先，参照图2，说明同步图像生成单元15的详细的结构。同步图像生成单元15包括：乘法单元26；低通滤波器(LPF)20；以及基准信号生成单元17。

基准信号生成单元17使用电力系统(商用电源)的相位信息，生成与对信号机供给的电力的相位同步的基准信号。乘法单元26将从存储器25读出的摄像机图像(帧)28的各像素的亮度信号与基准信号相乘。乘法单元26对于存储器25中同时存储的多个摄像机图像的各个图像实施上述的相乘处理。LPF20在乘法单元26的相乘结果中，使高于规定的截止频率的频率成分降低而仅取出低频率成分，输出同步像素构成的同步图像。

参照图8(a)以及图8(b)，说明基准信号的相位的匹配性。图8(a)表示基准信号的相位与对信号机供给的电力的相位匹配的状态。在该状态中，各像素的1)亮度信号和2)基准信号相乘，3)相乘后的信号，即同步像素的亮度，以及同步像素的亮度的平均值(相关值G1)成为最大的值。

另一方面，图8(b)表示基准信号的相位与对信号机供给的电力的相位反相的状态。在该状态中，通过将各像素的1)亮度信号和2)基准信号相乘，3)相乘后的信号，即同步像素的亮度，以及同步像素的亮度的平均值(相关值G2)成为最小的值。

如图3所示，从车辆至信号机(32，33)的距离越远，通过摄像单元11检测到的信号灯的亮度越小，亮度的变化幅度也越小。因此，通过使基准信号的相位与信号灯的亮度变化的相位，即对信号机供给的电力的相位接近，可以得到高相关值(G1)，进而可以高精度地检测远方的信号机。

在实施方式中，相位检测单元19使用包含信号机的车辆周边的电力系统的相位信息，高精度地检测对信号机供给的电力的相位。由此，可以使基准信号的相位接近信号灯的亮度变化的相位，即对信号机供给的电力的相位。

参照图4，说明相位检测单元19的变形例。相位检测单元19包括：行驶道路判断单元35；图像区域设定单元36；以及相位提取单元37。

行驶道路判断单元35根据使用GPS功能以及地图数据库从车外或者车内获取的本车位置信息以及周边地图信息，判定行驶道路的状况。例如，行驶道路判断单元35判断车辆的行进方向的道路形状是图3(b)所示的直线，或者是向右或者向左的曲线。或者，判断是否如图5所示车辆行驶在隧道中。

图像区域设定单元36根据由行驶道路判断单元35判断的行驶道路的状况，在摄像机图像内设定图像区域。例如，如图3(b)所示，在道路形状为直线的情况下，在摄像机图像中，设定道路的路肩被拍摄的区域(R2、R3)作为图像区域。由此，在图像区域中，包含被配置在道路的路肩上的其它的电灯(31a、31b、31c)。而且，如图5所示，在行驶在隧道中的情况下，在摄像机图像中，设定在隧道内壁设置的照明灯34被拍摄的区域R4作为图像区域。

相位提取单元37从通过图像区域设定单元36设定的图像区域(R2～R4)中，提取电力系统的相位信息。由于可以根据行驶道路的状况，确定推测存在亮度变化大的电灯的图像区域，所以可以高效地检测位于车辆近旁的其它的电灯(31a～31c，34)的亮度变化。

接着，参照图6，说明使用了图1所示的信号机检测装置的信号机检测方法。图6的流程图所示的信号机检测装置的动作与车辆的点火开关成为接通状态、信号机检测装置起动的同时开始，直至信号机检测装置停止，被反复执行。

在步骤S01中，摄像单元11反复拍摄车辆的周围，获取连续的多个摄像机图像。在对信号机供给的电力的1个交流周期的期间，进行多次的摄像。获取的图像数据被转发到同步图像生成单元15，暂时存储在存储器25中。

在步骤S03～S07中，相位检测单元19从连续的多个摄像机图像28中的亮度变化的周期，检测包含信号机的车辆周边的电力系统的相位信息。作为一个例子，相位检测单元19根据摄像机图像28中包含的像素的亮度变化的幅度(ΔD)是否比规定的阈值(Th)宽，检测电力系统的相位信息。当然，与图4所示的变形例有关的相位检测单元19也可以对于由图像区域设定单元36设定的图像区域(R2～R4)，判断亮度变化的幅度(ΔD)是否比规定的阈值(Th)宽。

首先，在步骤S03中，相位检测单元19从摄像机图像28任意地选择像素，判断该像素的亮度变化的幅度(ΔD)是否比规定的阈值(Th)宽。在比规定的阈值(Th)宽的情况下(S03中“是”)，可以从摄像机图像28高精度地检测相位信息。因此，进至步骤S05，相位检测单元19对选择的像素的亮度变化的相位进行计测。设定测量的相位(步骤S07)。

另一方面，在不比规定的阈值(Th)宽的情况下(S03中“否”)，不能从摄像机图像28高精度地检测相位信息。因此，进至步骤S09，设定预先确定的基准相位。作为预先确定的基准相位，可以使用前次或者2次以上之前的控制循环中的步骤S05中计测的相位。

进至步骤S11，基准信号生成单元17根据设定的相位(S07)或者基准信号(S09)生成基准信号。进至步骤S13，乘法单元26进行将基准信号和摄像机图像的各像素的亮度信号相乘的同步检波处理。然后，通过LPF20滤波低周期的信号，提取同步像素。

进至步骤S15，信号机判断单元18判断通过同步图像生成单元15提取的同步像素的色调是否与信号色的色调类似。在与信号色的色调类似的情况下，可以判断为在同步像素的位置存在信号机。因此，进至步骤S17，信号机判断单元18将同步像素标记为信号机。另一方面，在不与信号色的色调类似的情况下(S15中“否”)，可以判断为在同步像素的位置不是信号灯，而存在其它的电灯。因此，进至步骤S19，信号机判断单元18将同步像素标记作为其它的电灯。

进至步骤S21，信号机判断单元18判断是否已对在步骤S13中提取的全部同步像素判断了是否为信号机。在判断未结束的情况下(S21中“否”)，返回步骤S15，对剩余的同步像素实施色调的判断处理(S15～S19)。在判断结束的情况下(S21中“是”)，图6的流程图结束。

如以上说明的那样，按照实施方式，获得以下的作用效果。

在专利文献1中，从摄像机图像中提取与信号灯的色调类似的区域，由提取出的区域的圆形度检测信号灯的候选。在由圆形度判断信号灯的情况下，在区域(像素群53a)中包含的像素的数需要图7(a)所示的程度的数。相对于此，在实施方式的信号机检测装置中，如上所述，对于信号机的亮度变化的幅度小、难以检测相位周期的位于远方的信号机，可以提取亮度与对信号机供给的电力的交流周期同步地变化的同步像素作为信号灯的候选。由此，如图7(b)所示，即使同步像素53b的数为不能判断圆形度的程度的数，也可以判断是否为信号灯。即，实施方式的信号机检测装置可以高精度地检测远方的信号机。

通过从摄像机图像中，提取亮度与对信号机供给的电力的交流周期同步地变化的同步像素，可以不考虑信号灯的大小以其形状地检测信号机。由此，即使是图像尺寸小至不能判定圆形度的远方的信号机，也可以高精度地检测。

车辆周边的电力系统的相位信息在信号灯与位于其周围的其它的电灯之间大致相同。因此，通过相位检测单元19高精度地检测对信号机供给的交流电力的相位信息，同步图像生成单元15可以高灵敏度地提取亮度变化小的同步像素。由此，即使是亮度变化小的远方的信号机，信号机检测装置也可以高精度地检测。

亮度变化的幅度越大，可以检测越正确的相位信息。因此，相位检测单元19可以在构成摄像机图像的像素中，使用亮度变化的幅度最大的像素来检测电力系统的相位信息。由此，可以从摄像机图像中，高精度地检测对信号灯供给的交流电力的相位信息。

如图3(b)所示，与远方的信号机(32，33)相比，包含位于道路的路肩的广告牌31c、自动售货机31b、路灯31a的其它的电灯的亮度变化的幅度大。因此，相位检测单元19也可以在连续的多个摄像机图像中，从道路的路肩被拍摄的区域(R2，R3)检测电力系统的相位信息。由此，可以使用亮度变化的幅度大的像素来检测电力系统的相位信息。

如图5所示，当车辆行驶在隧道内的情况下，一般来说，在道路的路肩上不存在包含广告牌、自动售货机、路灯的电灯，取而代之，存在隧道内壁上设置的照明灯34。因此，相位检测单元19也可以在连续的多个摄像机图像中，由隧道内壁上设置的照明灯34被拍摄的区域R4检测电力系统的相位信息。由此，可以使用亮度变化的幅度大的像素检测电力系统的相位信息。

如上述那样记载了本发明的实施方式，但是构成本公开的一部分的论述以及附图不应理解为限定本发明。对本领域的技术人员来说，由本公开可以明了各种代替实施的方式、实施例以及运用技术。

在图3(b)中，示出了车辆前方的道路形状为直线的情况下的图像区域(R2，R3)，但是在车辆前方的道路形状为向右或者向左的曲线的情况下，路肩被拍摄的区域，与曲线侧相比，与曲线方向相反侧变宽。也可以根据曲线的方向，使左右的图像区域(R2，R3)的尺寸以及形状变化。或者，也可以将图5的图像区域R4适用于隧道以外。例如，位于车辆近旁的信号机存在在图5的图像区域R4中被拍摄的可能性。因此，在隧道以外的行驶状况中，也可以适用图像区域R4。进而，也可以同时设定图5的图像区域R4和图3(b)的图像区域(R2，R3)。

标号说明

11 摄像单元

12 信号机检测单元

15 同步图像生成单元(同步像素提取单元)

17 基准信号生成单元

18 信号机判断单元

28 摄像机图像(图像)

33，32 信号机

53b 同步像素

R2～R4 图像区域

Claims (6)

1.一种信号机检测装置，其特征在于，包括：

摄像单元，被安装在车辆上，反复拍摄所述车辆的周围，获取连续的多个图像；以及

信号机检测单元，从所述图像中检测信号机，

所述信号机检测单元包括：

相位检测单元，由连续的多个图像中的亮度变化的周期，检测包含所述信号机的车辆周边的电力系统的相位信息；

同步像素提取单元，使用所述电力系统的相位信息，从所述图像中提取亮度与对所述信号机供给的电力的交流周期同步地变化的同步像素；以及

信号机判断单元，由所述同步像素判断所述信号机是否存在。

2.如权利要求1所述的信号机检测装置，其特征在于，

所述相位检测单元使用亮度变化的幅度最大的像素，检测所述电力系统的相位信息。

3.如权利要求1或2所述的信号机检测装置，其特征在于，

所述相位检测单元在所述连续的多个图像中，从所述道路的路肩被拍摄的区域，检测所述电力系统的相位信息。

4.如权利要求1或2所述的信号机检测装置，其特征在于，

当所述车辆行驶在隧道内的情况下，所述相位检测单元在所述连续的多个图像中，从在隧道内壁上设置的照明灯被拍摄的区域中，检测所述电力系统的相位信息。

5.如权利要求1至4的任意一项所述的信号机检测装置，其特征在于，

所述信号机判断单元具有判断该同步像素的色调是否与信号色的色调类似的色调判断单元，

在所述同步像素的色调与信号色的色调类似的情况下，所述信号机判断单元判断为在所述同步像素的位置存在所述信号机。

6.一种信号机检测方法，包括以下步骤：

反复拍摄车辆的周围，获取连续的多个图像；

由连续的多个图像中的亮度变化的周期，检测包含信号机的车辆周边的电力系统的相位信息；

使用所述电力系统的相位信息，从所述图像中，提取亮度与所述电力系统的交流周期同步地变化的同步像素；以及

由所述同步像素判断所述信号机是否存在。