CN106062851B - 信号机检测装置以及信号机检测方法 - Google Patents

Abstract

信号机检测装置包括：拍摄车辆的周围，获取图像的摄像单元(11)；以及从图像中检测信号机的信号机检测单元(12)。信号机检测单元(12)提取亮度与提供给信号机的电力的交流周期同步地变化的同步像素(51)，设定包含同步像素(51)的规定范围作为像素群(50)。然后，在规定的判定期间，连续地从像素群(50)中提取同步像素(51)的情况下，由同步像素(51)判断是否存在信号机。

Description

信号机检测装置以及信号机检测方法

技术领域

本发明涉及信号机检测装置以及信号机检测方法。

背景技术

以往，已知从摄像机拍摄的图像中检测信号机的信号机检测装置(参照专利文献1)。在专利文献1中，从图像中提取成为信号灯的颜色的部分，计算表示提取出的部分到底有多少接近圆形的圆形度，检测圆形度高的部分作为信号灯候选。

现有技术文献

专利文献

专利文献1:日本专利特开2005－301518号公报

发明内容

为了被检测作为信号灯候选，提取出的部分的图像尺寸必须大到能够判定圆形度的程度。由此，在专利文献1中，越不能判定圆形度，越难以高精度地检测图像尺寸变小的远方的信号机。

本发明鉴于上述课题而完成，其目的是提供即使是远方的信号机，也可以高精度地进行检测的信号机检测装置以及信号机检测方法。

本发明的一个方式的信号机检测装置包括：摄像单元，拍摄车辆的周围，获取图像；以及信号机检测单元，从图像中检测信号机。信号机检测单元提取亮度与提供给信号机的电力的交流周期同步地变化的同步像素，设定包含同步像素的规定范围作为像素群。然后，在规定的判定期间，连续地从像素群中提取同步像素的情况下，由同步像素判断是否存在信号机。

附图说明

图1是表示本发明的实施方式的信号机检测装置的整体结构的方框图。

图2是表示图1所示的同步图像生成单元15的详细的结构的方框图。

图3表示基于基准信号的相位的同步或者非同步的相关值的不同，图3(a)表示基准信号的相位与电力的相位同步的状态，图3(b)表示基准信号的相位与电力的相位反相的状态。

图4是表示在包含同步像素51的规定范围中设定的像素群50的示意图，图4(a)表示包含对于同步像素51在水平方向以及垂直方向上相邻的周边像素52的像素群50，图4(b)表示在垂直方向上相邻的周边像素52的宽度比在水平方向上相邻的周边像素52的宽度更宽的像素群50，图4(c)表示根据同步像素51的大小，增大周边像素52的宽度的例子。

图5是表示使用了图1所示的信号机检测装置的信号机检测方法的一个例子的流程图。

图6(a)是表示在从圆形度检测信号灯的候选的情况下所需要的像素群53a的大小的图，图6(b)是表示在实施方式中能够检测的同步像素53b的数的图。

图7(a)～图7(d)是表示由于行驶中的车辆振动等，同步像素的位置(51a，51b)变化的状况的图。

图8是表示在三个像素(pix1，pix2，pix3)之间，周期性的亮度变化不断移动的状况的曲线图。

图9是比较LED灯和白炽灯的亮度变动幅度的曲线图，图9(a)表示亮度的时间变化，图9(b)表示FFT解析的频率解析结果。

具体实施方式

参照附图，说明实施方式。在附图的记载中对同一部分附加同一标号，省略说明。

参照图1，说明实施方式的信号机检测装置的整体结构。信号机检测装置包括：被安装在车辆上，拍摄车辆的周围，获取图像的摄像单元11；以及从摄像单元11获取的图像中检测信号机的信号机检测单元12。

摄像单元11是使用了固体摄像元件，例如CCD或者CMOS的数字摄像机，获取可进行图像处理的数字图像。数字摄像机具有画角宽的广角镜头。在摄像单元11的摄像范围(画角)中，包含从车辆的行进方向向左右方向直至车辆近旁的路肩。摄像单元11以规定的时间间隔反复拍摄，获取连续的多个的图像(帧)。

信号机检测单元12接收由摄像单元11获取的图像(以后，称为“摄像机图像”)，检测摄像机图像中的信号机的位置。检测到的信号机的位置信息被转发至例如包含用于实现车辆的自动运转的控制器的、车辆上安装的其它的处理运算装置(车辆CPU13)。信号机检测单元12例如由具有CPU、存储器、以及输入输出单元的微控制器构成，通过执行预先安装的计算机程序，构成信号机检测装置具有的多个信息处理单元。信号机检测单元12对连续的多个摄像机图像(帧)的每一个反复执行从摄像机图像检测信号机的位置的一连串的信息处理。信号机检测单元12也可以与和车辆有关的其它控制中使用的ECU兼用。

在由信号机检测单元12构成的多个信息处理单元中，包含同步图像生成单元15、像素群设定单元38、和信号机判断单元18。在信号机判断单元18中包含稳定性判断单元39和色相判断单元40。

同步图像生成单元15从摄像机图像中，提取亮度与对信号机提供的电力的交流周期同步地变化的同步像素，生成被提取出的同步像素所构成的同步图像。例如，同步图像生成单元15生成与对信号机提供的电力的相位同步的基准信号，进行将基准信号和摄像机图像的各像素的亮度信号相乘的同步检波处理。由此，提取亮度与电力的交流周期同步地变化的同步像素。

对信号机提供的电力是将商用电源的电力进行全波整流后的交流电力。从商用电源接受电力的供给而点亮的信号灯的亮度，以与全波整流后的交流电力的周期(例如，100Hz)相同的周期进行变化。因此，通过从摄像机图像中提取亮度与对信号机提供的电力的交流周期同步地变化的同步像素，可以检测从商用电源接受电力的供给而点亮的信号灯。具体的处理内容参照图2以及图3在后面叙述。

像素群设定单元38设定包含同步像素的规定范围作为像素群。像素群由同步像素以及与同步像素的周围相邻的1个或者2个以上的周边像素构成。细节参照图4在后面叙述。

信号机判断单元18根据同步像素的检测稳定性以及色相，判断在包含由像素群设定单元38设定的同步像素的像素群的位置是否存在信号机。在拍摄远方的信号机的情况下，由于行驶中的车辆振动等，测量对象(信号机)的观测位置发生变动。因此，稳定性判断单元39判断是否在规定的判定期间、连续地从像素群中提取同步像素。在提取的同步像素的位置在像素群的范围内发生变动的情况下，稳定性判断单元39判断为稳定地检测着同步像素。

色相判断单元40判断同步像素的色相是否与信号颜色的色相类似。因为测量对象(信号机)的观测位置由于车辆振动等发生变动，所以色相判断单元40也可以判断将像素群中的各同步像素的色相合成后的色相是否与信号颜色的色相类似。在至少在规定的判定期间、连续地从像素群中提取同步像素的情况下，信号机判断单元18判断为在像素群的位置存在信号机。而且，在规定的判定期间、连续地从像素群中提取同步像素，并且将像素群中的各同步像素的色相合成后的色相与信号颜色的色相类似的情况下，信号机判断单元18也可以判断为在像素群的位置存在信号机。

在从商用电源接受电力的供给而点亮的电灯中，除了信号机所具有的信号灯之外，还包含路灯、自动售货机、广告牌等在路上点亮的其它电灯。在由同步图像生成单元15提取的同步像素中，存在还包含这些其它电灯的可能性。通过色相判断单元40判断同步像素与信号颜色之间色相的类似性，可以从稳定性判断单元39的判断结果中排除这些其它的电灯。

而且，信号机判断单元18也可以不使用色相判断单元40，而由稳定性判断单元39的判断结果，使用同步像素在图像上的位置和亮度，判断是否存在信号机。通过由车辆的周围的地图信息求出图像上的信号机的位置，与同步像素的位置核对，可以排除上述其它的电灯。进而，根据从车辆至信号机的距离设想图像上的亮度，可以判断为在设想亮度内的同步像素中存在信号机。

信号机检测单元12将信号机判断单元18判断为存在信号机的像素群的位置信息输出到车辆CPU13。

接着，参照图2以及图3，说明同步图像生成单元15的细节。参照图2，说明同步图像生成单元15的详细的结构。同步图像生成单元15包括：存储器25；乘法单元26；低通滤波器(LPF)20；相位判断单元41；以及基准信号生成单元17。

存储器25同时存储连续的多个摄像机图像(帧)28。例如，同时存储在对信号机提供的电力的1交流周期期间所拍摄的多个摄像机图像28。乘法单元26将从存储器25读出的摄像机图像的各像素的亮度信号与基准信号相乘。乘法单元26对于存储器25中同时存储的多个摄像机图像的每一个，实施上述的相乘处理。

LPF20在乘法单元26的相乘结果中，使高于规定的截止频率的频率成分降低而仅取出低频成分，输出由同步像素构成的同步图像。相位判断单元41判断从LPF20输出的同步像素的亮度是否为规定基准值以上。如果亮度不为规定基准值以上，则相位判断单元41对基准信号生成单元17指示调整基准信号的相位。如果亮度为规定基准值以上，则可以判断为基准信号的相位与对信号机提供的电力的相位匹配。由此，不需要相位调整，同步图像生成单元15将从LPF20输出的同步图像输出到图1的像素群设定单元38。

基准信号生成单元17根据相位判断单元41的判断结果调整基准信号的相位。乘法单元26将调整相位后的基准信号与亮度信号相乘。这样，同步图像生成单元15反复实施调整相位的PLL处理，直至亮度为规定基准值以上。

参照图3(a)以及图3(b)，说明基准信号的相位的匹配性。图3(a)表示基准信号的相位与对信号机提供的电力的相位匹配的状态。在该状态中，通过将各像素的1)亮度信号与2)基准信号相乘，3)相乘后的信号，即同步像素的亮度以及同步像素的亮度的平均值(相关值G1)成为最大的值。

另一方面，图3(b)表示基准信号的相位与对信号机提供的电力的相位反相的状态。在该状态中，通过将各像素的1)亮度信号与2)基准信号相乘，3)相乘后的信号，即同步像素的亮度以及同步像素的亮度的平均值(相关值G2)成为最小的值。

从车辆至信号机的距离越远，由摄像单元11检测到的信号灯的亮度越小，亮度的变化幅度也越小。由此，通过将基准信号的相位接近信号灯的亮度变化的相位，即对信号机提供的电力的相位，可以得到高的相关值(G1)，最终可以高精度地检测远方的信号机。

接着，参照图4，说明像素群的设定。图4(a)、图4(b)、图4(c)的每一个，表示对包含同步像素51的规定范围设定的像素群50的例子。排列为矩阵状的各方框表示像素。图4(a)表示包含对于一个同步像素51，在水平方向以及垂直方向相邻的一个周边像素52的像素群50。图4(b)表示与从同步像素51在水平方向上相邻的周边像素52的宽度相比，从同步像素51在垂直方向上相邻的周边像素52的宽度更宽的像素群50的例子。在水平方向上一个周边像素52相邻，另一方面，在垂直方向上两个周边像素52相邻。图4(b)的像素群50是与车辆的垂直方向的振动对应的例子。图4(c)是表示与同步像素51的大小相应，增大周边像素52的宽度的例子。对于2×2的共计4个同步像素51，像素群设定单元38在水平方向以及垂直方向的各个方向，设定相邻的两个周边像素52。

像素群设定单元38为了确保亮度变动的连续性，也可以将同步像素51的亮度值重叠在周边像素52上。即使同步像素51的位置向周边像素52移动，也可以维持移动前后的亮度变动的连续性。参照图8在后叙述细节。

接着，参照图5，说明使用了图1所示的信号机检测装置的信号机检测方法。图5的流程图所示的信号机检测装置的动作，从车辆的点火开关成为接通状态、信号机检测装置起动的同时开始，直至信号机检测装置停止为止，被反复执行。

在步骤S01中，摄像单元11反复拍摄车辆的前方，获取连续的多个摄像机图像。在对信号机提供的电力的1个交流周期期间，进行多次摄像。获取的图像数据被转发至同步图像生成单元15，暂时地存储在存储器25中。

进至步骤S03，乘法单元26进行将基准信号和摄像机图像的各像素的亮度信号相乘的同步检波处理。进至步骤S05，相位判断单元41判断图3所示的相关值(G1，G2)是否为极大值。在为极大值的情况下(S05中为“是”)进至步骤S09，在不为极大值的情况下(S05中为“否”)进至步骤S07。而且，取代极大值，在步骤S05中，相位判断单元41也可以判断相关值(G1，G2)是否为规定基准值以上。在步骤S07中，基准信号生成单元17调整基准信号的相位，并且返回步骤S03。这样，直至相关值(G1，G2)为极大值为止，信号机检测装置反复实施同步检波处理以及相位调整处理。

在步骤S09中，如图4所示，像素群设定单元38设定包含同步像素51的规定范围作为像素群50。进至步骤S11，稳定性判断单元39判断是否在对信号机提供的电力的1交流周期以上、连续从像素群50中提取同步像素51。在连续提取同步像素51的情况下(S11中为“是”)，因为同步像素51有可能是信号灯，所以进至步骤S13。另一方面，在不连续提取同步像素51的情况下(S11中为“否”)，因为可以判断为同步像素51不是信号灯，所以进至步骤S19。在步骤S19中，信号机判断单元18从信号机的候选删除同步像素51。

在步骤S13中，色相判断单元40判断将像素群50中的各同步像素51的色相合成后的色相是否与信号颜色的色相类似。在与信号颜色的色相类似的情况下(S13中为“是”)，可以判断为像素群50中的各同步像素51是信号灯。由此，进至步骤S15，信号机判断单元18将同步像素51标记作为信号机。在不与信号颜色的色相类似的情况下(S13中为“否”)，可以判断像素群50中的各同步像素51不是信号灯，而是其它的电灯。由此，进至步骤S17，信号机判断单元18将同步像素51标记作为其它的电灯。

进至步骤S21，信号机判断单元18判断是否对于在步骤S09中设定的全部像素群50判断了是否为信号机。在判断未结束的情况下(S21中为“否”)，返回步骤S11，对于剩余的像素群50实施步骤S11～S17的处理。在判断结束的情况下(S21中为“是”)，图5的流程图结束。

如以上说明的那样，按照实施方式，能够获得以下的作用效果。

在专利文献1中，从摄像机图像中提取与信号灯的色相类似的区域(像素群53a)，从区域(像素群53a)的圆形度检测信号灯的候选。在从圆形度判断信号灯的情况下，在区域(像素群53a)中包含的像素的数，需要图6(a)所示的程度的数。相对于此，在实施方式的信号机检测装置中，提取亮度与对信号机提供的电力的交流周期同步地变化的同步像素作为信号灯的候选。由此，如图6(b)所示，即使同步像素53b的数是不能判断圆形度的程度的数，也可以判断是否为信号灯。即，实施方式的信号机检测装置可以高精度地检测远方的信号机。

通过从摄像机图像中，提取亮度与对信号机提供的电力的交流周期同步地变化的同步像素，可以不需要考虑信号灯的大小及其形状而检测信号机。因此，即使是图像尺寸小到不能判断圆形度的程度的远方的信号机，也可以高精度地进行检测。

而且，在拍摄远方的信号机的情况下，由于行驶中的车辆振动等，测量对象的观测位置变动。图7(a)以及图7(b)表示在图5所示的每个处理循环中，同步像素(51a，51b)的位置变化的状况。由于行驶中的车辆振动等，难以在规定的判定期间(例如，1交流周期)以上、相同的位置(像素)连续地检测同步像素。因此，如图4所示，设定包含同步像素的规定范围作为像素群，在规定的判定期间，连续从像素群中提取同步像素的情况下，判断为存在信号机。由此，可以继续与电力的交流周期同步的信号灯的检测，可以稳定地检测信号机的位置。例如，如图7(c)以及图7(d)所示，即使在像素群50的范围中同步像素(51a，51b)的位置变化，稳定性判断单元39也可以连续地检测同步像素。

图8是表示在三个像素(pix1，pix2，pix3)之间，周期性的亮度变动随时间同时移动的状况的曲线图。首先，与电力的交流周期同步的亮度变动在像素(pix1)中被观测，之后，移动至像素(pix2)，最后，移动至像素(pix3)。同步像素的位置也随之同样地变化。

因此，为了确保亮度变动的连续性，像素群设定单元38也可以将同步像素51的亮度值与周边像素52重叠。由此，在图8的例子中，在三个像素(pix1，pix2，pix3)之间，重叠亮度变动。由此，不引起图8所示那样的亮度变动的移动，可以连续检测三个像素(pix1，pix2，pix3)作为同步像素。

图9(a)以及图9(b)是比较LED灯和白炽灯的亮度变动幅度的曲线图。在信号机的信号灯中，有使用了LED灯的情况和使用了白炽灯的情况。LED灯和白炽灯，亮度以相同的周期变动。但是，两者亮度的变动幅度大不相同。即，与LED灯相比，白炽灯对于信号机的亮度的图像干扰(S/N比)差，所以难以捕捉亮度变化。

因此，信号机判断单元也可以根据同步像素的亮度变化幅度，使规定的判定期间变化。具体地说，在步骤S11中，同步像素的亮度变化的幅度越大，稳定性判断单元39越缩短地设定规定的判定期间。例如，在LED灯的情况下，因为亮度变化的幅度大，所以将规定的判定期间设定为对信号机提供的电力的1交流周期。在白炽灯的情况下，亮度变化的幅度小，所以将规定的判定期间设定为对信号机提供的电力的10周期。或者，也可以至信号机的距离越远，同步像素的亮度变化的幅度越小，将规定的判定期间设定得越长。因此，因为在亮度变化的幅度小的情况下，将规定的判定期间设定得长，所以规定的判定期间越长，重叠像素群的次数越增加，可以改善S/N比。这样，可以根据信号灯的种类或者至信号机的距离，设定适当的判定期间。换言之，通过设定适当的判定期间，使用将在判定时间内存在的多个亮度变化波形累积后的合成波形，进行与电力的交流周期的同步判定，可以提高检测灵敏度。

如图4(a)～(c)所示，像素群50由与同步像素51以及同步像素51的周围相邻的1个或者2个以上的周边像素52构成。由此，即使由于行驶中的车辆振动等，同步像素51的观测位置变动，也可以在像素群50的范围内稳定地检测同步像素51。

如图4(b)所示，也可以与从同步像素51在水平方向上相邻的周边像素52的宽度相比，从同步像素51在垂直方向上相邻的周边像素52的宽度更宽。由此，即使由于行驶中的车辆的振动，观测位置在垂直方向上变动，也可以在像素群50的范围内稳定地检测同步像素51。

如图4(c)所示，也可以一个像素群50中的同步像素51的数越多，像素群设定单元38使该一个像素群50中的周边像素52的宽度越宽。由此，可以根据同步像素51的大小，在适当的范围内设定像素群50。

如图5所示，也可以在规定的判定期间，连续从像素群50中提取同步像素51(S11中为“是”)，并且同步像素51的色相与信号颜色的色相类似的情况下(S13中为“是”)，信号机判断单元18判断为在同步像素51的位置存在信号机。通过判断同步像素51的色相，进一步提高信号机的检测精度。

色相判断单元40也可以判断将像素群50中的各同步像素51的色相合成后的色相是否与信号颜色的色相类似。即使摄像对象的位置由于车辆振动等变动，也可以进行正确的色相判断。

如上述那样记载了本发明的实施方式，但是构成本公开的一部的论述以及附图不应理解为限定本发明。对于本领域的技术人员来说显然可以从本公开知晓各种代替实施方式、实施例以及运用技术。

在图5的流程图中，信号机判断单元18判断了同步像素的提取稳定性以及色相的两方(S11、S13)，但是也可以仅判断同步像素的提取稳定性(S11)。在该情况下，也可以在交流电力的1周期以上检测到同步像素的情况下(S11中为“是”)进至S15，标记作为信号灯。

标号说明

11 摄像单元

12 信号机检测单元

15 同步图像生成单元(同步像素提取单元)

17 基准信号生成单元

18 信号机判断单元

38 像素群设定单元

40 色相判断单元

50 像素群

51，51a，51b 同步像素

52 周边像素

Claims (9)

1.一种信号机检测装置，其特征在于，包括：

摄像单元，被安装在车辆上，拍摄所述车辆的周围，获取图像；以及

信号机检测单元，从所述图像中检测信号机，

所述信号机检测单元包括：

同步像素提取单元，从所述图像中，提取对所述信号机提供的电力的交流周期和各像素的亮度信号同步地变化的同步像素；

像素群设定单元，设定包含所述同步像素和所述同步像素的周边像素的规定范围作为像素群；以及

信号机判断单元，在规定的判定期间、连续地从所述像素群中提取的同步像素的位置在所述像素群的范围内变动的情况下，由所述像素群的范围内的同步像素判断为存在所述信号机。

2.如权利要求1所述的信号机检测装置，其特征在于，

所述像素群由所述同步像素以及与所述同步像素的周围相邻的1个或者2个以上的周边像素构成。

3.如权利要求2所述的信号机检测装置，其特征在于，

与从所述同步像素在水平方向上相邻的周边像素的宽度相比，从所述同步像素在垂直方向上相邻的所述周边像素的宽度更宽。

4.如权利要求2或3所述的信号机检测装置，其特征在于，

一个像素群中的所述同步像素的数越多，所述像素群设定单元越加宽该一个像素群中的所述周边像素的宽度。

5.如权利要求1～3的任意一项所述的信号机检测装置，其特征在于，

所述信号机判断单元包括：色相判断单元，判断该同步像素的色相是否与信号颜色的色相类似，

在规定的期间、连续地提取所述像素群的范围内的所述同步像素，并且该同步像素的色相与信号颜色的色相类似的情况下，所述信号机判断单元判断在所述像素群的范围内的同步像素的位置存在所述信号机。

6.如权利要求1～3的任意一项所述的信号机检测装置，其特征在于，

所述信号机判断单元根据所述同步像素的亮度变化的宽度，使所述规定的判定期间变化。

7.如权利要求5所述的信号机检测装置，其特征在于，

所述色相判断单元判断将所述像素群中的各同步像素的色相合成后的色相是否与信号颜色的色相类似。

8.如权利要求2所述的信号机检测装置，其特征在于，

所述像素群设定单元将所述同步像素的亮度值重叠在所述周边像素上。

9.一种信号机检测方法，其特征在于，包括以下步骤：

拍摄车辆的周围，获取图像，

从所述图像中，提取对信号机提供的电力的交流周期和各像素的亮度信号同步地变化的同步像素，

设定包含所述同步像素和所述同步像素的周边像素的规定范围作为像素群，

在规定的期间、连续地从所述像素群中提取的同步像素位置在所述像素群的范围内变动的情况下，由所述像素群的范围内的同步像素判断为存在所述信号机。