CN106062850B - 信号机检测装置以及信号机检测方法 - Google Patents

信号机检测装置以及信号机检测方法 Download PDF

Info

Publication number
CN106062850B
CN106062850B CN201480076611.2A CN201480076611A CN106062850B CN 106062850 B CN106062850 B CN 106062850B CN 201480076611 A CN201480076611 A CN 201480076611A CN 106062850 B CN106062850 B CN 106062850B
Authority
CN
China
Prior art keywords
semaphore
phase
signal
reference signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480076611.2A
Other languages
English (en)
Other versions
CN106062850A (zh
Inventor
冲孝彦
西内秀和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN106062850A publication Critical patent/CN106062850A/zh
Application granted granted Critical
Publication of CN106062850B publication Critical patent/CN106062850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Abstract

信号机检测装置包括:拍摄车辆的行进方向,获取图像的摄像单元(11);以及从图像中检测信号机的信号机检测单元(12)。信号机检测单元(12)设定相位偏离了将对信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号(L01~L03),将最接近交流电力的相位的基准信号(L01)的相位与交流电力的相位匹配。信号机检测单元(12)从图像中,提取亮度与和交流电力的相位匹配的基准信号(L01)同步地变化的同步像素(53b),判断为在同步像素的位置存在信号机。

Description

信号机检测装置以及信号机检测方法
技术领域
本发明涉及信号机检测装置以及信号机检测方法。
背景技术
以往,已知从摄像机拍摄的图像中检测信号机的信号机检测装置(参照专利文献1)。在专利文献1中,从图像中提取成为信号灯的颜色的部分,计算表示提取出的部分到底有多少接近圆形的圆形度,检测圆形度高的部分作为信号灯候选。
现有技术文献
专利文献
专利文献1:日本专利特开2005-301518号公报
发明内容
为了被检测作为信号灯候选,提取出的部分的图像尺寸必须大到能够判定圆形度的程度。由此,在专利文献1中,越不能判定圆形度,越难以高精度地检测图像尺寸变小的远方的信号机。
本发明鉴于上述课题而完成,其目的是提供即使是远方的信号机也可以高精度地进行检测的信号机检测装置以及信号机检测方法。
本发明的一个方式的信号机检测装置,包括:摄像单元,拍摄车辆的行进方向,获取图像;以及信号机检测单元,从图像中检测信号机。信号机检测单元包括:基准信号生成单元,设定相当于相位偏离了将对信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号;以及相位调整单元,在3的倍数的基准信号中,将与交流电力的相位最接近的基准信号的相位与交流电力的相位匹配。信号机检测单元从图像中,提取亮度与和交流电力的相位匹配的基准信号同步地变化的同步像素,判断为在同步像素的位置存在信号机。
附图说明
图1是表示本发明的实施方式的信号机检测装置的整体结构的方框图。
图2是表示基准信号生成单元17、同步图像生成单元15以及相位调整单元16的详细的结构的方框图。
图3是表示由基准信号生成单元17设定的三个基准信号(L01、L02、L03)的例子的曲线图。
图4是表示同步图像(G01、G02、G03)的亮度变化的曲线图,图4(a)表示被选择的基准信号的相位从对信号机提供的交流电力的相位偏离的情况,图4(b)表示被选择的基准信号的相位与对信号机提供的交流电力的相位匹配的情况。
图5是表示一例使用了图1所示的信号机检测装置的信号机检测方法的流程图。
图6(a)是表示在由圆形度检测信号灯的候选的情况下所需要的像素群53a的大小的图,图6(b)是表示可通过实施方式检测的同步像素53b的数的图。
图7是表示一例从6个基准信号的每一个得到的6个同步图像(G01~G06)的检波输出值的曲线图。
图8(a)是表示与离车辆的距离相应的、亮度变化的幅度不同的曲线图,图8(b)是作为位于车辆近旁的电灯的例子,表示路灯31a、自动售货机31b、广告牌31c,并表示离车辆位于远方的信号机32、33的图。
图9是表示一例车辆在隧道行驶时拍摄的摄像机图像的图。
具体实施方式
参照附图,说明实施方式。对于附图的记载中同一部分附加同一标号,省略说明。
参照图1,说明实施方式的信号机检测装置的整体结构。信号机检测装置被安装在车辆上,包括:拍摄车辆的行进方向,获取图像的摄像单元11;以及从摄像单元11获取的图像中检测信号机的信号机检测单元12。
摄像单元11是使用固体摄像元件,例如CCD或者CMOS的数字摄像机,获取可进行图像处理的数字图像。数字摄像机具有视场角宽的广角镜头。在摄像单元11的摄像范围(视场角)中,从车辆的行进方向至左右方向直至包含车辆近旁的路肩。摄像单元11以规定的时间间隔反复拍摄,获取连续的多个的图像(帧)。
信号机检测单元12接收由摄像单元11获取的图像(以后,称为“摄像机图像”),检测摄像机图像中的信号机的位置。检测的信号机的位置信息被转发到例如包含用于实现车辆的自动驾驶的控制器的、在车辆上安装的其它的处理运算装置(车辆CPU13)。信号机检测单元12例如由具有CPU、存储器、以及输入输出单元的微控制器构成,通过执行预先安装的计算机程序,构成信号机检测装置具有的多个信息处理单元。信号机检测单元12对于连续的多个摄像机图像(帧)的每一个反复执行从摄像机图像检测信号机的位置的一连串的信息处理。信号机检测单元12也可以与和车辆有关的其它控制中使用的ECU兼用。
在由信号机检测单元12构成的多个信息处理单元中包含:同步图像生成单元15;相位调整单元16;基准信号生成单元17;以及信号机判断单元18。基准信号生成单元17设定相当于相位偏离了将对信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号。相位调整单元16将3的倍数的基准信号中最接近交流电力的相位的基准信号的相位与交流电力的相位匹配。基准信号生成单元17以及相位调整单元16的细节,参照图2~图4在后叙述。
同步图像生成单元15从摄像机图像中,提取亮度和与交流电力的相位匹配的基准信号同步地变化的同步像素,生成由被提取的同步像素构成的同步图像。例如,同步图像生成单元15进行将与交流电力的相位匹配的基准信号和摄像机图像的各像素的亮度信号相乘的同步检波处理。由此,提取亮度与对信号机提供的交流电力的周期同步地变化的同步像素。
对信号机提供的交流电力是将商用电源的电力进行全波整流后的交流电力。从商用电源接受电力的供给而点亮的信号灯的亮度以与全波整流后的交流电力的周期(例如,100Hz)相同的周期变化。因此,通过从摄像机图像中提取亮度与对信号机提供的交流电力的周期同步地变化的同步像素,可以检测从商用电源接受电力的供给而点亮的信号灯。同步图像生成单元15的细节参照图2在后叙述。
信号机判断单元18根据同步像素的色调,判断在由同步图像生成单元15提取的同步像素的位置是否存在信号机。具体地说,信号机判断单元18判断同步像素的色调是否与信号颜色的色调类似。在同步像素的色调与信号颜色的色调类似的情况下,信号机判断单元18判断为在同步像素的位置存在信号机。
在从商用电源接受电力的供给而点亮的电灯中,除了信号机具有的信号灯之外,还包括路灯31a、自动售货机31b、广告牌31c等在路上点灯的其它电灯。在由同步图像生成单元15提取的同步像素中,有可能还包含这些其它的电灯。信号机判断单元18通过判断同步像素和信号颜色之间色调的类似性,可以从同步图像生成单元15的提取结果中排除这些其它的电灯。
而且,信号机判断单元18也可以构成为不使用判断同步像素的色调是否与信号颜色的色调类似的色调判断单元,而使用同步像素的图像上的位置和亮度,判断是否存在信号机。通过由车辆的周围的地图信息求出信号机在图像上的位置,与同步像素的位置核对,可以排除上述其它的电灯。进而,可以根据从车辆至信号机的距离设想图像上的亮度,判断为在设想亮度内的同步像素上存在信号机。
信号机检测单元12将信号机判断单元18判断为存在信号机时的同步像素的位置信息输出到车辆CPU13。
参照图2,说明基准信号生成单元17、同步图像生成单元15以及相位调整单元16的详细的结构。基准信号生成单元17设定例如偏离了将对信号机提供的交流电力的周期除以3后的时间的三个基准信号(L01、L02、L03)。基准信号(L01、L02、L03)的周期与对信号机提供的交流电力的周期相等、相位不同。对于基准信号L01,基准信号L02的相位偏离120°,基准信号L03的相位偏离240°。图3表示基准信号(L01、L02、L03)的一个例子。
同步图像生成单元15具有存储器25和乘法单元(26a、26b、26c)。存储器25同时存储连续的多个摄像机图像(帧)28。例如,同时存储在对信号机提供的电力的1交流周期期间拍摄的多个摄像机图像28。乘法单元(26a、26b、26c)将从存储器25读出的摄像机图像的各像素的亮度信号、与基准信号(L01、L02、L03)每一个相乘,生成三个同步图像(G01、G02、G03)。乘法单元26对在存储器25中同时存储的多个摄像机图像的每一个,实施上述的相乘处理。
相位调整单元16具有在与基准信号(L01、L02、L03)的每一个相乘而生成的三个同步图像(G01、G02、G03)中,判定其检波输出值最大的同步图像的同步图像判定单元27。检波输出值例如是同步像素的亮度的平均值。
在基准信号的相位与对信号机提供的交流电力的相位匹配的情况下,同步像素的亮度值、以及同步像素的亮度的平均值(检波输出值)为最大值。相对于此,基准信号的相位与对信号机提供的电力的相位越偏离,同步像素的亮度值、以及同步像素的亮度的平均值(检波输出值)越小。因此,可以判断为使用具有与对信号机提供的电力的相位最接近的相位的基准信号生成三个同步图像(G01、G02、G03)中检波输出值最大的同步图像。
因此,通过同步图像判定单元27在三个同步图像(G01、G02、G03)中判定检波输出值最大的同步图像,相位调整单元16可以在三个基准信号(L01、L02、L03)中,选择与交流电力的相位最接近的基准信号L01。例如,图4(a)表示一例同步图像(G01、G02、G03)的亮度变化。在三个同步图像(G01、G02、G03)中,同步图像G01的检波输出值大于其它同步图像(G02、G03)。在该情况下,作为检波输出值最大的同步图像,同步图像判定单元27选择同步图像G01。可以判断对信号机提供的交流电力的相位位于图3的区域R1。
相位调整单元16使三个基准信号的相位匹配,使得使用了相当于从选择的基准信号向正方向以及负方向偏离了相等的相位的其它的基准信号的每一个的同步图像的检波输出值相等。由此,可以使选择的基准信号的相位与交流电力的相位匹配。
在实施方式中,作为3的倍数的基准信号的一个例子,设定三个基准信号(L01、L02、L03),选择基准信号L01。从基准信号L01向正方向以及负方向偏离了相等的相位的其它的基准信号成为基准信号(L02、L03)。使用基准信号(L02、L03)对摄像机图像检波而得到的同步图像是两个同步图像(G02、G03)。
因此,相位调整单元16将三个基准信号(L01、L02、L03)的各相位偏离相同的时间,使得未被选择的两个同步图像(G02、G03)的检波输出值相等。由此,相位调整单元16可以使选择的基准信号L01的相位与对信号机提供的交流电力的相位匹配。由此,使用基准信号L01检波的同步图像G01的检波输出值为最大值,同步图像G01的亮度的变化幅度也为最大值。
例如,在图4(a)所示的例子中,未被选择的两个同步图像(G02、G03)的检波输出值不同。相位调整单元16使基准信号(L01、L02、L03)的相位前移40°。之后,乘法单元(26a、26b、26c)再次使用相位调整后的基准信号(L01、L02、L03)实施同步检波处理。图4(b)表示其结果。图4(b)中表示的例子中,未被选择的两个同步图像(G02、G03)的检波输出值相等。这时,选择的基准信号L01的相位与对信号机提供的交流电力的相位一致,使用基准信号L01检波的同步图像G01的检波输出值、以及同步图像G01的亮度的变化幅度为最大值。
从车辆至信号机的距离越远,由摄像单元11检测的信号灯的亮度越小,亮度的变化幅度也越小。因此,通过使基准信号的相位接近信号灯的亮度变化的相位,即对信号机提供的电力的相位,可以得到较高的检波输出值,进而可以高精度地检测远方的信号机。
接着,参照图8以及图9,说明相位调整单元16的变形例。作为在相位调整时使用的同步图像(G02、G03)的检波输出值,也可以使用对在摄像机图像中亮度变化的幅度最大的区域检波所得到的检波输出值。
图8(a)是表示与离车辆的距离相应的、亮度变化的幅度的不同的曲线图,图8(b)是作为位于车辆近旁的电灯的例子,表示路灯31a、自动售货机31b、广告牌31c,并表示离车辆位于远方的信号机32、33的图。图8(a)表示图8(b)的路灯31a、以及信号机32、33的亮度变化。位于车辆近旁的电灯(路灯31a、自动售货机31b、广告牌31c)的亮度变化的幅度,比远方的信号机(32、33)的幅度大。而且,亮度变化的幅度越大,相移导致的检波输出值的变化幅度越大,所以相位调整的精度提高。因此,相位调整单元16也可以使用对摄像机图像中亮度变化的幅度最大的区域进行检波而得到的检波输出值。
例如,相位调整单元16根据从GPS或地图数据库得到的车辆的当前位置以及车辆周边的地图信息,判断行驶道路的状况。例如,相位调整单元16判断车辆的行进方向的道路形状是图8(b)所示那样的直线,或者是向右或者向左的曲线。或者,判断图9所示车辆是否在隧道中行驶。
相位调整单元16根据判断的行驶道路的状况,在摄像机图像内设定图像区域。例如,如图8(b)所示,在道路形状为直线的情况下,在摄像机图像中,设定拍摄道路的路肩的区域(R2、R3)作为图像区域。由此,在图像区域中,包含被配置在道路的路肩上的电灯(31a、31b、31c)。而且,如图9所示,在隧道中行驶的情况下,在摄像机图像中,设定拍摄在隧道内壁设置的照明灯34的区域R4作为图像区域。
然后,相位调整单元16也可以使用在摄像机图像中对图像区域(R2~R4)检波得到的检波输出值,进行上述的相位调整。可以高精度地调整基准信号的相位。这样,通过预先确定进行同步检波处理的图像区域(R2~R4),同步检波处理的运算负载被减轻,处理速度提高。
或者,相位调整单元16也可以在摄像机图像的各像素中,选择亮度变化的幅度最大的像素,使用对选择的像素进行检波而得到的检波输出值。可以不确定图像区域而高精度地调整基准信号的相位。
这样,相位调整单元16也可以使用对图像中亮度变化的幅度最大的区域进行检波得到的检波输出值。这里,在“图像中亮度变化的幅度最大的区域”中,包含上述的图像区域(R2~R4)以及由相位调整单元16选择的像素。
接着,参照图5,说明一例使用图1所示的信号机检测装置的信号机检测方法。图5的流程图所示的信号机检测装置的动作,在车辆的点火开关为接通状态、信号机检测装置起动的同时开始,直至信号机检测装置停止,被反复执行。
在步骤S01中,摄像单元11反复拍摄车辆的周围,获取连续的多个摄像机图像。在对信号机提供的交流电力的1周期期间,进行多次摄像。获取的图像数据被转发至同步图像生成单元15,暂时存储在存储器25中。
在步骤S03中,如图3所示,基准信号生成单元17设定相位相当于偏离了将对信号机提供的交流电力的周期除以3后的时间的三个基准信号(L01、L02、L03)。
在步骤S05中,同步图像生成单元15进行将在步骤S03中设定的三个基准信号(L01、L02、L03)的每一个与摄像机图像的各像素的亮度信号相乘的同步检波处理。由此,生成与基准信号(L01、L02、L03)的每一个同步的同步图像(G01、G02、G03)。
在步骤S07中,同步图像判定单元27在三个同步图像(G01、G02、G03)中,选择检波输出值最大的同步图像(G01)。然后,判断剩余的两个同步图像(G02、G03)的检波输出值的差(ΔD)是否小于规定的阈值(Th)。在检波输出值的差(ΔD)小于规定的阈值(Th)的情况下(S07中为“是”),因为基准信号L01的相位与交流电力的相位一致,所以判断为不需要相位的调整,进至步骤S15。
另一方面,在检波输出值的差(ΔD)为规定的阈值(Th)以上的情况下(S07中为“否”),因为基准信号L01的相位从交流电力的相位偏离,所以判断为需要相位的调整,进至步骤S09。相位调整单元16比较未被选择的两个同步图像(G02、G03)的检波输出值,决定相位调整方向。进至步骤S11,相位调整单元16将基准信号(L01、L02、L03)的各自的相位向相位调整方向偏移预先确定的偏移量(Δθ)。进至步骤S13,与步骤S07同样,判断检波输出值的差(ΔD)是否小于规定的阈值(Th)。反复进行将相位偏离的处理,直至检波输出值的差(ΔD)小于规定的阈值(Th)(S11、S13)。
具体地说,通过将相位从被选择的基准信号L01向未被选择的两个基准信号(L02、L03)中检波输出值变大的基准信号偏移,可以使未被选择的同步图像的检波输出值相等。在图4(a)的例子中,同步图像G03的检波输出值大于同步图像G02的检波输出值。因此,通过将相位从基准信号L01向基准信号L03偏移,如图4(b)所示可以使检波输出值的差(ΔD)小于规定的阈值(Th)。
这样,在实施方式中,使用未被选择的两个同步图像(G02、G03)的检波输出值,使被选择的基准信号L01的相位与信号灯的亮度变化的相位一致。
在相位调整结束后,进至步骤S15,同步图像生成单元15实施将相位调整后的基准信号L01与摄像机图像相乘的同步检波处理。由此,从摄像机图像中可以高灵敏度地提取亮度与匹配于交流电力的相位的基准信号同步地变化的同步像素。
进至步骤S17,信号机判断单元18判断由同步图像生成单元15提取的同步像素的色调是否与信号颜色的色调类似。在与信号颜色的色调类似的情况下,可以判断为在同步像素的位置存在信号机。因此,进至步骤S21,信号机判断单元18标记同步像素作为信号机。另一方面,在不与信号颜色的色调类似的情况下(S17中为“否”),可以判断在同步像素的位置没有信号灯,而存在其它的电灯。因此,进至步骤S19,信号机判断单元18标记同步像素作为其它的电灯。
进至步骤S23,信号机判断单元18判断是否已对步骤S15中提取的全部同步像素判断了是否为信号机。在判断未结束的情况下(S23中为“否”),返回步骤S17,对剩余的同步像素实施色调的判断处理(S17~S21)。在判断结束的情况下(S23中为“是”),图5的流程图结束。
如以上说明的那样,按照实施方式,得到以下的作用效果。
在专利文献1,从摄像机图像中提取与信号灯的色调类似的区域,从提取的区域的圆形度检测信号灯的候选。在从圆形度判断信号灯的情况下,区域(像素群53a)中包含的像素的数需要图6(a)所示的程度的数。相对于此,在实施方式的信号机检测装置中,如上所述,对于信号机的亮度变化的幅度小、难以检测其相位和周期的位于远方的信号机,设定3的倍数的基准信号,选择与交流电力的相位最接近的基准信号的相位,使其与电力的交流周期匹配,可以很快地提取亮度与对信号机提供的电力的交流周期同步地变化的同步像素作为信号灯的候选。由此,如图6(b)所示,即使同步像素53b的数为不能判断圆形度的程度的数,也可以判断是否为信号灯。即,实施方式的信号机检测装置可以高精度地检测远方的信号机。
通过从摄像机图像中提取亮度与对信号机提供的交流电力的周期同步地变化的同步像素,可以不考虑信号灯的大小及其形状而检测信号机。因此,即使是图像尺寸小到不能判定圆形度的远方的信号机,也可以对其进行高精度地检测。
而且,因为对信号机提供的交流电力为3相的交流电力,交流电力的相位根据变电设备而变化。因此,设定相位偏离了相当于将交流电力的周期除以3的倍数的时间的、3的倍数的基准信号,选择与交流电力的相位最接近的基准信号的相位,与交流电力的相位匹配。由此,使用与对信号机提供的交流电力的相位匹配的基准信号,可以高灵敏度地提取亮度变化小的同步像素。由此,即使是亮度变化小的远方的信号机,也可以高精度地检测。
根据变电设备等的环境,3相的交流电力的相位有可能偏移相当于将交流电力的周期除以3后的时间。在实施方式中,基准信号生成单元17选定偏离了将交流电力的周期除以3的倍数后的时间的、3的倍数的基准信号。在由于车辆的行驶,对车辆周边的信号机提供的交流电力的相位变化了的情况下,基准信号生成单元17在设定的3的倍数的基准信号中切换基准信号。由此,可以不进行相位调整单元16的相位调整地选择与变化后的交流电力的相位一致的基准信号。
相位调整单元16将三个基准信号(L01、L02、L03)的各个相位偏离相同的时间,使得使用从选择出的基准信号L01向正方向以及负方向偏离了相等的相位的其它的基准信号(L02、L03)的每一个对摄像机图像检波而得到的检波输出值相等。由此,可以使选择出的基准信号L01的相位与交流电力的相位匹配。由此,使用基准信号L01检波的同步图像G01的检波输出值为最大值,同步图像G01的亮度的变化幅度也为最大值。
相位调整单元16也可以使用对摄像机图像中亮度变化的幅度最大的区域进行检波而得到的检波输出值,进行相位调整。亮度变化的幅度越大,相移导致的检波输出值的变化幅度也越大,所以相位调整的精度提高。
相位调整单元16也可以使用对摄像机图像中拍摄道路的路肩的区域进行检波而得到的检波输出值。与远方的信号机相比,位于道路的路肩的、包括广告牌、自动售货机、路灯的电灯的亮度变化的幅度大。因此,相位调整单元16使用对在摄像机图像中拍摄道路的路肩的区域(R2、R3)进行检波而得到的检波输出值。由此,可以使选择的基准信号的相位与交流电力的相位高精度地匹配。
当车辆在隧道内行驶的情况下,一般来说,可知在道路的路肩上不存在包含广告牌、自动售货机、路灯的电灯,存在设置在隧道内壁的照明灯。因此,相位调整单元16也可以使用在摄像机图像中,对拍摄在隧道内壁上设置的照明灯34的区域R4进行检波而得到的检波输出值。由此,可以使选择的基准信号的相位与交流电力的相位高精度地匹配。
如上所述,记载了本发明的实施方式,但是构成本公开的一部分的论述以及附图不应理解为限定本发明。对本领域的技术人员来说,从本公开可以明了各种代替实施方式、实施例以及运用技术。
作为“相位偏离相当于将对信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号”,例示了相位偏离了相当于将交流电力的周期除以3的时间的三个基准信号(L01、L02、L03)。当然,基准信号的数不限于3,也可以是6、9、12、···。
图7表示一例从6个基准信号的各个信号得到的6个同步图像(G01~G06)的检波输出值。在6个同步图像中,同步图像G03的检波输出值最大。然后,与从对应于同步图像G03的基准信号向正方向以及负方向偏离了相等的相位的其它的基准信号的各个信号对应的检波输出值基本上一致。具体地说G02和G04的检波输出值基本上一致,G01和G05的检波输出值基本上一致。由此,在图7的例子中,可以判断与同步图像G03对应的基准信号与交流电力的相位匹配。
标号说明
11 摄像单元
12 信号机检测单元
15 同步图像生成单元(同步像素提取单元)
16 相位调整单元
17 基准信号生成单元
18 信号机判断单元
28 摄像机图像(图像)
33,32 信号机
53b 同步像素
R2~R4 图像区域
L01、L02、L03 基准信号

Claims (7)

1.一种信号机检测装置,其特征在于,包括:
摄像单元,被安装在车辆上,拍摄所述车辆的周围,获取图像;以及
信号机检测单元,从所述图像中检测信号机,
所述信号机检测单元包括:
基准信号生成单元,设定相位偏离了相当于将对所述信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号;
相位调整单元,在所述3的倍数的基准信号中,将与所述交流电力的相位最接近的基准信号的相位与所述交流电力的相位匹配;
同步像素提取单元,从所述图像中,提取亮度与和所述交流电力的相位匹配的基准信号同步地变化的同步像素;以及
信号机判断单元,由所述同步像素判断是否存在所述信号机。
2.如权利要求1所述的信号机检测装置,其特征在于,
同步像素提取单元提取使用了从所述选择的基准信号向正方向以及负方向偏离了相等的相位的其它的基准信号的各个信号的同步图像,
所述相位调整单元使所述3的倍数的基准信号的相位匹配,使得使用了所述其它的基准信号的各个信号的同步图像的检波输出值相等。
3.如权利要求2所述的信号机检测装置,其特征在于,
所述相位调整单元对所述图像中亮度变化的幅度最大的区域进行检波,得到所述检波输出值。
4.如权利要求2或3所述的信号机检测装置,其特征在于,
所述相位调整单元对所述图像中拍摄道路的路肩的区域进行检波,得到所述检波输出值。
5.如权利要求2或3所述的信号机检测装置,其特征在于,
在所述车辆在隧道内行驶的情况下,所述相位调整单元在所述图像中,对拍摄隧道内壁上设置的照明灯的区域进行检波,得到所述检波输出值。
6.如权利要求1至3的任意一项所述的信号机检测装置,其特征在于,
所述信号机判断单元包括:色调判断单元,判断该同步像素的色调是否与信号颜色的色调类似,
在所述同步像素的色调与信号颜色的色调类似情况下,所述信号机判断单元判断为在所述同步像素的位置存在所述信号机。
7.一种信号机检测方法,其特征在于,包括以下步骤:
拍摄车辆的行进方向,获取图像;
设定相位偏离了相当于将对所述信号机提供的交流电力的周期除以3的倍数的时间的、3的倍数的基准信号;
在所述3的倍数的基准信号中,将与所述交流电力的相位最接近的基准信号的相位与所述交流电力的相位匹配;
从所述图像中,提取亮度与和所述交流电力的相位匹配的基准信号同步地变化的同步像素;以及
由所述同步像素判断是否存在所述信号机。
CN201480076611.2A 2014-03-10 2014-03-10 信号机检测装置以及信号机检测方法 Active CN106062850B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/056196 WO2015136602A1 (ja) 2014-03-10 2014-03-10 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
CN106062850A CN106062850A (zh) 2016-10-26
CN106062850B true CN106062850B (zh) 2018-04-06

Family

ID=54071082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480076611.2A Active CN106062850B (zh) 2014-03-10 2014-03-10 信号机检测装置以及信号机检测方法

Country Status (8)

Country Link
US (1) US9811747B2 (zh)
EP (1) EP3118832B1 (zh)
JP (1) JP6233501B2 (zh)
CN (1) CN106062850B (zh)
BR (1) BR112016020973B1 (zh)
MX (1) MX350450B (zh)
RU (1) RU2628023C1 (zh)
WO (1) WO2015136602A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX364013B (es) * 2015-07-08 2019-04-11 Nissan Motor Dispositivo de deteccion de lampara y metodo de deteccion de lampara.
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286943A (ja) * 2006-04-18 2007-11-01 Fujifilm Corp 信号灯検出装置
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
CN101977284A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN101977285A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
CN202713477U (zh) * 2012-09-03 2013-01-30 杭州藏愚科技有限公司 一种摄像机信号灯电流相位补偿系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (ja) 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
DE102005063083A1 (de) * 2005-12-29 2007-07-05 Robert Bosch Gmbh Verfahren zur optischen Fahrwerksvermessung
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
CA2782180C (en) * 2009-12-22 2015-05-05 Leddartech Inc. Active 3d monitoring system for traffic detection
JP2013534332A (ja) * 2010-07-19 2013-09-02 ヘラ・カーゲーアーアー・ヒュック・ウント・コンパニー 光源認識方法および装置
JP5803402B2 (ja) * 2011-08-08 2015-11-04 株式会社ソシオネクスト 画像処理装置、撮像装置、撮像システム、及びデータ処理方法
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
US9129532B2 (en) * 2012-04-24 2015-09-08 Zetta Research and Development LLC, ForC series Hybrid protocol transceiver for V2V communication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286943A (ja) * 2006-04-18 2007-11-01 Fujifilm Corp 信号灯検出装置
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
CN101977284A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN101977285A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN202713477U (zh) * 2012-09-03 2013-01-30 杭州藏愚科技有限公司 一种摄像机信号灯电流相位补偿系统

Also Published As

Publication number Publication date
MX350450B (es) 2017-09-07
US9811747B2 (en) 2017-11-07
EP3118832A4 (en) 2017-04-26
JPWO2015136602A1 (ja) 2017-04-06
RU2628023C1 (ru) 2017-08-14
MX2016011270A (es) 2016-11-25
BR112016020973B1 (pt) 2022-01-04
US20170103274A1 (en) 2017-04-13
EP3118832B1 (en) 2018-07-11
CN106062850A (zh) 2016-10-26
WO2015136602A1 (ja) 2015-09-17
EP3118832A1 (en) 2017-01-18
BR112016020973A2 (zh) 2017-08-15
JP6233501B2 (ja) 2017-11-22

Similar Documents

Publication Publication Date Title
CN106068531B (zh) 信号机检测装置以及信号机检测方法
CN106062851B (zh) 信号机检测装置以及信号机检测方法
CN106062850B (zh) 信号机检测装置以及信号机检测方法
CN107430818B (zh) 信号机检测装置以及信号机检测方法
EP2698982B1 (en) Image processing device
CN106991690B (zh) 一种基于运动目标时序信息的视频序列同步方法
CN104751465A (zh) 一种基于lk光流约束的orb图像特征配准方法
WO2014193670A4 (en) Reconstruction of images from an in vivo multi-camera capsule
JP2012173879A (ja) 信号機検出装置及びプログラム
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
WO2016203616A1 (ja) 信号機検出装置及び信号機検出方法
JP6625734B2 (ja) 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス
WO2016190783A1 (ru) Способ визуализации объекта
JP5200861B2 (ja) 標識判定装置および標識判定方法
TW201309519A (zh) 車道定位系統與方法
WO2022209583A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2004289764A (ja) 画像表示システム、画像処理装置、及び画像記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant