CN107851382A - 灯具检测装置及灯具检测方法 - Google Patents

灯具检测装置及灯具检测方法 Download PDF

Info

Publication number
CN107851382A
CN107851382A CN201580081528.9A CN201580081528A CN107851382A CN 107851382 A CN107851382 A CN 107851382A CN 201580081528 A CN201580081528 A CN 201580081528A CN 107851382 A CN107851382 A CN 107851382A
Authority
CN
China
Prior art keywords
light fixture
edge part
brightness
synchronous
camera review
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580081528.9A
Other languages
English (en)
Other versions
CN107851382B (zh
Inventor
冲孝彦
松尾治夫
山井大贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN107851382A publication Critical patent/CN107851382A/zh
Application granted granted Critical
Publication of CN107851382B publication Critical patent/CN107851382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

灯具检测装置从摄像机图像中检测具有规定值以上的亮度差的边缘部(31a、31b)(21)，调小边缘部的亮度差，生成平滑图像(22)。而且，从平滑图像中提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素(24)，从同步像素中检测灯具(26)。

Description

灯具检测装置及灯具检测方法
技术领域
本发明涉及灯具检测装置及灯具检测方法。
背景技术
一直以来，公知有从用摄像机拍摄的图像中检测信号灯的信号检测器(参照专利文献1)。专利文献1中，基于信号灯的颜色及形状，从图像中检测候选信号灯，判断候选信号灯是否按规定周期进行闪烁。
先行技术文献
专利文献
专利文献1:(日本)特开2005－301518号公报
发明所要解决的课题
当搭载摄像机的车辆移动时，包含于移动中所拍摄的图像的、具有规定值以上的亮度差的边缘(edge)部的位置也就会进行移动。由此，在边缘部移动的区域产生亮度的阶跃响应，产生具有宽的频率成分的噪音。作为灯具而提取亮度按预先决定的周期变动的像素时，有时会将具有宽的频率成分的噪音错误地识别为灯具。
发明内容
本发明是鉴于上述课题而创立的，其目的在于，提供即使边缘部移动也可抑制将亮度的阶跃响应错误识别为灯具的情况，可稳定地检测灯具的灯具检测装置及灯具检测方法。
用于解决课题的技术方案
本发明一方式的灯具检测装置从摄像机图像中检测具有规定值以上的亮度差的边缘部，将边缘部(edge part)的亮度差调小，生成平滑图像。而且，从平滑图像中，提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素，从同步像素中检测灯具。
发明效果
根据本发明的一方式，由于边缘部的邻接的像素之间的亮度差即亮度斜度变得平缓，所以，边缘部在图像上的位置移动而造成的像素的亮度的阶跃响应的亮度差变小，由此，电力频带的噪音强度变小，能抑制像素的亮度的阶跃响应产生的噪音错误检测为灯具的情况，能够稳定地检测灯具。
附图说明
图1是表示第一实施方式的灯具检测装置的整体构成的块图；
图2A(a)表示摄像机图像，图2A(b)表示从图2A(a)检测到的边缘部，图2A(c)表示调节图2A(b)的边缘部的亮度而生成的平滑图像；
图2B(a)表示摄像机图像，图2B(b)表示从图2B(a)检测到的、在水平方向上连续的边缘部，图2B(c)表示调节图2B(b)的边缘部的亮度而生成的平滑图像；
图3A是表示使用周围的8像素的亮度调节中央的像素的亮度的平滑处理的一个例子的图；
图3B(a)及(b)是表示使用周围的6像素的亮度调节中央的像素的亮度的平滑处理的图及表示纵向延伸的边缘部的平滑化处理的例子的图；
图3C(a)及(b)是表示使用周围的6像素的亮度调节中央的像素的亮度的平滑处理的图及表示横向延伸的边缘部的平滑化处理的例子的图；
图4是表示同步图像生成电路24及基准信号设定电路23的详细的构成的块图；
图5是表示使用图1的灯具检测装置的灯具检测方法的一个例子的流程图；
图6是表示第二实施方式的灯具检测装置的整体构成的块图；
图7是表示使用图6的灯具检测装置的灯具检测方法的一个例子的流程图。
具体实施方式
(第一实施方式)
接着，参照附图，详细地说明本发明的实施方式。
参照图1，说明第一实施方式的灯具检测装置的整体构成。信号检测装置具备：搭载于车辆上并拍摄车辆的周围而取得摄像机图像的摄像部11、使用通过摄像部11取得的摄像机图像而检测灯具的图像处理部12、地图数据库。
摄像部11是具备固体摄像元件(图像传感器)例如CCD或CMOS的数码摄像机，取得可进行图像处理的摄像机图像。摄像部11以规定的时间间隔反复地拍摄车辆的例如前方，取得连续的多个摄像机图像。摄像部11在向灯具供给的系统电源的1交流周期期间进行多次拍摄。摄像部11能够将车辆的前方存在的灯具拍照到各摄像机图像中。简言之，图像传感器至少具有能够检测灯具的程度的灵敏度。
在此，“灯具”是供给系统电源并发光的人工光源，包括：交通信号机的信号灯、自发光式的道路标识、其它电灯(自发光式的看板、自动售货机等的发光部)。
图像处理部12接收由摄像部11取得的摄像机图像的数据，检测摄像机图像中包含的灯具的类别。检测到的灯具的信息被传送给包括用于实现例如车辆的自动驾驶的控制器的、搭载于车辆上的其他处理运算装置(车辆CPU16)。图像处理部12例如由具备CPU、存储器及输入输出部的微控制器构成，通过执行预先安装好的计算机程序而构成灯具检测装置具备的多个信息处理电路。图像处理部12对连续的多个彩色图像的每一个图像反复执行从摄像机图像检测灯具的一系列的信息处理循环(包括：边缘检测处理、边缘平滑化处理及电力同步处理)。图像处理部12也可以兼用于与车辆有关的其他控制的ECU。
在由图像处理部12构成的多个信息处理电路中包含：边缘检测电路21、边缘平滑电路22、基准信号设定电路23、同步图像生成电路24、灯具检测电路26。
边缘检测电路21从摄像机图像中检测邻接的像素之间的亮度差为规定值以上的边缘部。例如，边缘检测电路21从图2A(a)所示的摄像机图像，检测出图2A(b)所示的边缘部31a。图2A(a)中的(0)和(255)分别表示亮度值(8比特)。(0)表示黑，(255)表示白。图2A(a)中的格子表示像素。边缘检测电路21检测在邻接的像素之间生成预先决定的阈值以上的亮度差的部分，并将其作为边缘部31a。图2A(a)中的亮度(0)和(255)相邻接的部分被检测为边缘部31a。图2A(b)所示的边缘部31a由以纵向4像素及横向4像素的方形状连续的合计16像素构成。当边缘部的高亮度区域在摄像机图像上移动时，边缘部移动后的像素的辉以阶跃响应式进行变化，因此在宽的频带，亮度值作为噪音而产生。当向灯具供给的电力交流周期的频带产生噪音时，噪音也会同步地被作为亮度变化的同步像素来提取。因此，基于产生会被作为同步图像而提取的噪音的边缘部的亮度差，设定作为预先决定的阈值的规定值。
具体的边缘检测方法没有特别要求，可以使用现有的技术。例如，可以使用索贝尔算子(Sobel operator)、普鲁伊特算子(Prewitt operator)、坎尼法(Canny法)。
边缘平滑电路22将摄像机图像中的边缘部31a的亮度差调小，生成平滑图像。例如，边缘平滑电路22强制地将图2A(a)所示的摄像机图像中的边缘部31a的亮度差调小，生成图2A(c)所示的平滑图像。这时，强制地调节亮度差，使图2A(b)的摄像机图像中的、边缘部31a中的邻接的像素之间的亮度差即亮度斜度变得平缓。作为其一个例子，边缘平滑电路22通过下面所示的平滑处理，调节图2A(b)所示的、构成边缘部31a的合计16像素的各亮度。将该各亮度调小，使其成为不会产生会被作为同步图像而提取的噪音的边缘部31a的亮度差。
在图3A中，标记为“0”的中央的像素相当于构成边缘部31a的像素。用图3A的方法将该像素的亮度调节为其周围的8像素的亮度的平均值。对构成边缘部31a的16像素的各像素实施该处理。由此，如图2A(c)所示，形成边缘部31a的4边的8像素的亮度被调节为(192)，形成边缘部31a的4角的4像素的亮度被调节为(96)。这样，图2A(a)的摄像机图像的亮度差被调小，使得其边缘部31a中的邻接的像素之间的亮度差即亮度斜度变得平缓，生成了图2A(c)的平滑图像。被调节了亮度的8个像素所包围的像素的亮度未调节的、由纵向2像素及横向2像素构成的像素群构成用于检测灯具的区域32a。
除此之外，图3B(a)、(b)表示对纵向延伸的边缘部进行平滑处理的例子，图3C(a)、(b)表示对横向延伸的边缘部进行平滑处理的例子。即，也可以对图2A(b)的边缘部31a中向垂直方向延伸的边缘部和向水平方向延伸的边缘部，用不同的方法实施平滑处理。或者，如后所述，也可以根据图像的移动方向，只对向水平方向或垂直方向延伸的边缘部进行平滑处理。
同步图像生成电路24(同步像素提取电路)从平滑图像中提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素，生成由同步像素构成的同步图像。基准信号设定电路23设定提取同步像素时使用的基准信号。
如图4所示，同步图像生成电路24具备图像存储器35、乘法运算电路36、平均处理电路37。基准信号设定电路23具备基准信号生成电路38和相位判定电路39。首先，基准信号生成电路38使用图1所示的本车位置信息14取得车辆周边的系统电源(商用电源)的频率信息，生成强度以对系统电源进行全波整流后的交流电力的周期(例如、100Hz)进行变动的基准信号。此外，本车位置信息14可以根据GPS信号等定位信号、或照在摄像机图像上的陆标的位置信息而求得。
乘法运算电路36读出储存在图像存储器35中的平滑图像，通过将基准信号进行乘法运算而提取同步像素。乘法运算电路36对于同时储存在图像存储器35中的多个平滑图像的各图像实施上述的乘法运算处理。平均处理电路37求得乘法运算电路30算出的每个平滑图像的乘法运算结果的平均值，将其作为由同步像素构成的同步图像而输出。
此外，相位判定电路39判断基准信号的相位与平滑图像的亮度变动的相位是否同步，将其判断结果反馈给基准信号生成电路38。基准信号生成电路38接受该反馈，调节基准信号的相位，使基准信号的相位与平滑图像的亮度变动同步。具体地说，调节基准信号的相位，使乘法运算电路36的乘法运算结果取最大值，换言之，使同步像素的亮度取最大值。通过该反馈控制，可以提高同步图像的亮度。
向灯具供给的电力是对商用电源的电力进行了全波整流的交流电力。从商用电源接受电力的供给而点亮的灯具的亮度以与进行了全波整流的交流电力的周期(例如、100Hz)相同的周期进行变化。可以从平滑图像中提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素。
实施方式中，调小边缘部的亮度差，使边缘部中的邻接的像素之间的亮度差即亮度斜度变得平缓之后，提取亮度与电力的交流周期同步地变化的同步像素。由此，即使在高亮度区域进行了空间移动的状况下，空间频率也不易混入到时间频率的同步检测中，能够减小同步图像中包含的噪音。
灯具检测电路26从同步图像中判定亮度比预先确定的亮度阈值高的同步像素，并将其作为灯具，检测同步图像上的灯具的位置。而且，使用同步图像、边缘图像、或者摄像机图像的至少一个，检测灯具的类别。例如，灯具检测电路26使用模式匹配，判断灯具的形状与自发光式的道路标识是否类似。而且，灯具检测电路26判断与灯具的位置相对应的摄像机图像的位置的色调与交通信号机的灯色是否类似。利用这些判断功能，能够判断灯具是交通信号机的信号灯、自发光式的道路标识、或者其他的电灯。
参照图5的流程图，说明使用图1的灯具检测装置的灯具检测方法的一个例子。
首先，在步骤S01中，摄像部11连续地取得摄像机图像。所取得的多个摄像机图像被储存于存储器。在系统电源的1交流周期期间，取得例如6枚摄像机图像后，进入步骤S03。边缘检测电路21使用例如索贝尔算子(Sobel operator)、普鲁伊特算子(Prewittoperator)，从摄像机图像(图2A(a))中检测具有规定值以上的亮度差的边缘部31a(图2A(b))。
接着，进入步骤S05，如参照图2A、图3A～图3C进行了说明的那样，边缘平滑电路22将摄像机图像的亮度差调小，以使边缘部31a中的邻接的像素之间的亮度差即亮度斜度变平缓，生成平滑图像(图2A(c))。
进入步骤S07，同步图像生成电路24从平滑图像中提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素，生成由同步像素构成的同步图像。进入步骤S09，相位判定电路39参照同步图像，判断基准信号的相位与平滑图像的亮度变动是否同步。例如，在同步图像整体的平均亮度值不足规定值的情况下，判断为不同步(在步骤S09为否)，相位判定电路39将其判断结果反馈给基准信号生成电路38。基准信号生成电路38接受该反馈，调节基准信号的相位，使基准信号的相位与平滑图像的亮度变动同步(步骤S10)。
在判断为同步的情况下(步骤S09中为是)，则进入步骤S11，灯具检测电路26从同步图像中判定亮度比预先决定的亮度阈值高的同步像素的集合(像素群)，将其作为灯具，检测同步图像上的灯具的位置。灯具检测电路26使用模式匹配，判断灯具(像素群)的形状与自发光式的道路标识是否类似。在与自发光式的道路标识类似的情况下(步骤S11中为是)，灯具检测电路26将灯具(像素群)标记为自发光式的道路标识(步骤S15)，并进入步骤S21。
在与自发光式的道路标识不类似的情况下(步骤S11中为否)，灯具检测电路26则判断与灯具的位置相对应的摄像机图像的位置的色调与交通信号机的灯色是否类似(步骤S13)。在与交通信号机的灯色类似的情况下(S13中为是)，灯具检测电路26则将灯具(像素群)标记为交通信号机的信号灯(步骤S17)，进入步骤S21。在与交通信号机的灯色不类似的情况下(S13中为否)，灯具检测电路26将灯具(像素群)标记为其他电灯(步骤S19)，进入步骤S21。
如果从同步图像中判定为灯具的所有像素群的类别判断没有完成(步骤S21中为否)，则返回步骤S11，对于未进行判断的像素群(灯具)实施类别判断。对于所有像素群(灯具)完成了类别判断后(步骤S21中为是)，灯具检测装置将所检测出的灯具的信息传送给车辆CPU16。
如以上说明的那样，根据第一实施方式，可获得以下的作用效果。
在第一实施方式中，以边缘部中的邻接的像素之间的亮度差即亮度斜度变得平缓的方式，强制地将边缘部的亮度调小之后(S05)，提取亮度与电力的交流周期同步变化的同步像素(S07)。边缘部的邻接的像素之间的亮度差即亮度斜度变得平缓。当边缘部的高亮度区域在摄像机图像上移动时，边缘部移动后的像素的亮度以阶跃响应进行变化，因此，在宽的频带作为噪音产生亮度值。移动造成的亮度变化越大，且移动速度越快，噪音量越变大。若在向灯具供给的电力交流周期的频带产生噪音，噪音也会作为亮度同步地变化的同步像素而提取。因此，通过以边缘部中的邻接的像素之间的亮度差即亮度斜度变平缓的方式将边缘部的亮度差调小，抑制了将边缘部在图像上的位置移动造成的像素的亮度的阶跃响应引起的噪音错误地检测为同步像素的情况，所以，同步图像中包含的噪音减少，能够稳定地检测灯具。
(变形例)
第一实施方式(图2A)中，对于边缘检测及作为平滑处理的对象的边缘部，没有限定其延设的方向(水平、垂直)。在车辆行驶的实际行驶环境中，由于车身上下振动，边缘部的移动量在垂直方向比在水平方向多。于是，为了建减轻图像处理负担而有效地去除噪音，也可以只对边缘部中、在水平方向连续的边缘部调节其亮度差，使亮度差较小。
例如，图1的边缘平滑电路22也可以只对由边缘检测电路21检测到的图2A(b)所示的边缘部31a中、在水平方向连续的边缘部31a，实施使邻接的像素之间的亮度差即亮度斜度变得平缓那样的减小亮度差的调节。例如，通过使用图3C的矩阵，能够只对边缘部31a中在水平方向连续的边缘部31a进行平滑化处理。由此，能够生成如图2B(c)所示的平滑图像。
或者，也可以是，图1的边缘检测电路21从图2B(a)的摄像机图像中，只检测在水平方向连续的边缘部31b。该情况下，边缘平滑电路22能够对由边缘检测电路21检测到的所有边缘部31b实施平滑化处理。能够生成如图2B(c)所示的平滑图像。在图2B(c)中，亮度未调节、由纵向2像素及横向4像素构成的像素群，构成用于检测灯具的区域32b。与将水平及垂直方向的两边缘进行平滑化的图2A(c)的检测区域32A相比，图2B(c)的检测区域32b较宽。这是因为在垂直方向延伸设置的边缘部未被平滑化而保持不变保留摄像机图像。
使边缘部中在水平方向连续的边缘部中的邻接的像素之间的亮度差即亮度斜度平缓。由此，垂直方向连续的边缘部不必平滑化，可以将其作为用于检测灯具的区域而保留。因此，有效地减小了边缘部的噪音，同时，即使是距离车辆较远而亮度较小的灯具也能够灵敏度高地检测出。另外，减轻了边缘检测或者边缘平滑化的图像处理负担。
(第二实施方式)
若摄像机图像中的边缘部的位置变动的速度加快，则在边缘部移动过的区域容易产生噪音。若摄像机图像中的边缘部的位置变动的速度变慢，则不易产生噪音，因此，理想的是，不必使边缘部平滑化而是保持不变进行保留，以确保宽的检测区域。第二实施方式中，对根据摄像机图像中的边缘部的变动速度，判断抑制噪音的必要性的灯具检测装置及灯具检测方法进行说明。
如图6所示，第二实施方式的灯具检测装置与图1相比，其不同点在于，还具备车辆动作判断电路13。车辆动作判断电路13与图像处理部12同样，例如由微控制器构成，通过执行预先安装好的计算机程序，构成车辆动作判断电路13。
车辆动作判断电路13判断摄像机图像中的边缘部的位置变动的速度是否为基准值以上。基准值是作为判断边缘部的平滑化处理的必要性的有无的基准的值，是预先确定的值。车辆动作判断电路13基于通过CAN通信从防侧滑装置(ESC)获得的车辆的俯仰信息或悬架行程信息，能够推定摄像机图像中的边缘部的位置变动的速度。
图7表示使用图6的灯具检测装置的灯具检测方法的一个例子。如果摄像机图像中的边缘部的位置变动的速度为基准值以上(步骤S02中为是)，则与第一实施方式同样地实施边缘的检测(S03)及平滑化(S05)。另一方面，如果边缘部的位置变动的速度不足(未满)基准值(步骤S02中为否)，则不必实施边缘的检测及平滑化，同步图像生成电路24从摄像机图像直接生成同步图像即可(步骤S07)。其他顺序与图5相同。
若摄像机图像中的边缘部的位置变动的速度加快时，则容易产生噪音。于是，摄像机图像中的边缘部的位置变动的速度为基准值以上时，为了抑制噪音的产生，从平滑图像中提取同步像素。另一方面，如果速度不足基准值，则几乎不会产生噪音，因此，从摄像机图像中提取同步像素。这样，根据摄像机图像中的边缘部的位置变动的速度，判断噪音抑制的必要性。因此，能够减轻从摄像机图像向平滑图像的图像处理负担，且能够有效地抑制边缘部产生的噪音。
如上所述，记载了本发明的实施方式，但对该公开的一部分所做的论述及附图不应理解为是限定该发明。作为本领域技术人员，根据该公开的内容可知各种各样的替代实施方式、实施例及应用技术。
符号说明
11 摄像部
13 车辆动作判断电路
21 边缘检测电路
22 边缘平滑电路
23 基准信号设定电路
24 同步图像生成电路(同步像素提取电路)
26 灯具检测电路
31a、31b 边缘部

Claims (4)

1.一种灯具检测装置，其特征在于，具备：
摄像部，其搭载于车辆，拍摄所述车辆的周围而取得摄像机图像；
边缘检测电路，其从所述摄像机图像中检测具有规定值以上的亮度差的边缘部；
边缘平滑电路，其调小所述摄像机图像中的所述边缘部的亮度差，生成平滑图像；
同步像素提取电路，其从所述平滑图像中提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素；
灯具检测电路，其从所述同步像素中检测所述灯具。
2.如权利要求1所述的灯具检测装置，其特征在于，
所述边缘平滑电路将所述边缘部中、在水平方向上连续的边缘部的亮度差调小。
3.如权利要求1或2所述的灯具检测装置，其特征在于，
还具备车辆动作判断电路，该车辆动作判断电路判断所述摄像机图像中的所述边缘部的位置变动的速度是否为基准值以上，
在所述边缘部的位置变动的速度为基准值以上的情况下，所述同步像素提取电路从所述平滑图像中提取亮度与向交通信号机供给的电力的交流周期同步地变化的同步像素，
在所述边缘部的位置变动的速度不足基准值的情况下，同步像素提取电路从所述摄像机图像中提取亮度与向所述灯具供给的电力的交流周期同步地变化的同步像素。
4.一种灯具检测方法，其特征在于，
使用搭载于车辆的摄像部拍摄所述车辆的周围，取得摄像机图像，
从所述摄像机图像中检测具有规定值以上的亮度差的边缘部，
调小所述摄像机图像中的所述边缘部的亮度差，生成平滑图像，
从所述平滑图像中，提取亮度与向灯具供给的电力的交流周期同步地变化的同步像素，
从所述同步像素中，检测所述灯具。
CN201580081528.9A 2015-07-08 2015-07-08 灯具检测装置及灯具检测方法 Active CN107851382B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069599 WO2017006451A1 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法

Publications (2)

Publication Number Publication Date
CN107851382A true CN107851382A (zh) 2018-03-27
CN107851382B CN107851382B (zh) 2019-04-09

Family

ID=57685055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081528.9A Active CN107851382B (zh) 2015-07-08 2015-07-08 灯具检测装置及灯具检测方法

Country Status (10)

Country Link
US (1) US10074022B2 (zh)
EP (1) EP3321911B1 (zh)
JP (1) JP6455596B2 (zh)
KR (1) KR101920186B1 (zh)
CN (1) CN107851382B (zh)
BR (1) BR112018000133B1 (zh)
CA (1) CA2991471C (zh)
MX (1) MX364013B (zh)
RU (1) RU2668885C1 (zh)
WO (1) WO2017006451A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
US11681780B2 (en) * 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
CN112700410A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 信号灯位置确定方法、装置、存储介质、程序、路侧设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03217807A (ja) * 1990-01-23 1991-09-25 Dainippon Screen Mfg Co Ltd 合焦点条件検出方法
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2005301518A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
CN101266684A (zh) * 2007-03-16 2008-09-17 株式会社东芝 图像处理装置和方法
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
EP2439716A2 (en) * 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
EP2669844A2 (en) * 2012-05-31 2013-12-04 Ricoh Company, Ltd. Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System
CN104285431A (zh) * 2012-05-16 2015-01-14 夏普株式会社 图像处理装置、动态图像处理装置、视频处理装置、图像处理方法、视频处理方法、电视接收机、程序、以及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
EP2539197B1 (en) * 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP2013097676A (ja) 2011-11-02 2013-05-20 Honda Elesys Co Ltd 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
JP5925314B2 (ja) * 2012-07-03 2016-05-25 クラリオン株式会社 車両周囲監視装置
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
CN103345766B (zh) * 2013-06-21 2016-03-30 东软集团股份有限公司 一种信号灯识别方法及装置
EP3118832B1 (en) * 2014-03-10 2018-07-11 Nissan Motor Co., Ltd Traffic light detection device and traffic light detection method
BR112016020898B1 (pt) * 2014-03-10 2022-09-06 Nissan Motor Co. Ltd Dispositivo de detecção de sinal de trânsito e método de detecção de sinal de trânsito

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03217807A (ja) * 1990-01-23 1991-09-25 Dainippon Screen Mfg Co Ltd 合焦点条件検出方法
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2005301518A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
CN101266684A (zh) * 2007-03-16 2008-09-17 株式会社东芝 图像处理装置和方法
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
EP2439716A2 (en) * 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
CN104285431A (zh) * 2012-05-16 2015-01-14 夏普株式会社 图像处理装置、动态图像处理装置、视频处理装置、图像处理方法、视频处理方法、电视接收机、程序、以及存储介质
EP2669844A2 (en) * 2012-05-31 2013-12-04 Ricoh Company, Ltd. Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System

Also Published As

Publication number Publication date
JP6455596B2 (ja) 2019-01-23
BR112018000133A2 (pt) 2018-09-04
US20180197026A1 (en) 2018-07-12
MX2018000029A (es) 2018-03-15
EP3321911A4 (en) 2018-07-18
RU2668885C1 (ru) 2018-10-04
BR112018000133B1 (pt) 2023-01-17
WO2017006451A1 (ja) 2017-01-12
JPWO2017006451A1 (ja) 2018-04-19
EP3321911A1 (en) 2018-05-16
EP3321911B1 (en) 2019-09-11
US10074022B2 (en) 2018-09-11
MX364013B (es) 2019-04-11
CA2991471A1 (en) 2017-01-12
CN107851382B (zh) 2019-04-09
KR101920186B1 (ko) 2018-11-19
CA2991471C (en) 2018-08-07
KR20180016564A (ko) 2018-02-14

Similar Documents

Publication Publication Date Title
US10347002B2 (en) Electronic tracking device, electronic tracking system and electronic tracking method
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
CN107851382A (zh) 灯具检测装置及灯具检测方法
US9679207B2 (en) Traffic light detecting device and traffic light detecting method
CN107430818A (zh) 信号机检测装置以及信号机检测方法
JP6236039B2 (ja) 車外環境認識装置
JP6701253B2 (ja) 車外環境認識装置
CN113490316B (zh) 一种补光系统及补光灯
CN112513677A (zh) 纵深取得装置、纵深取得方法以及程序
JP6228492B2 (ja) 車外環境認識装置
US9811747B2 (en) Traffic light detecting device and traffic light detecting method
CN105365659A (zh) 照射系统
JP6935815B2 (ja) 照明撮像装置
JP2006048238A (ja) 画像処理装置及び画像処理プログラム
JP2010152900A (ja) 画像処理装置及び画像処理プログラム
JP2006252363A (ja) 車両周囲物体検出装置、および車両周囲物体検出方法
JP2008002827A (ja) 乗員検知装置
JP7104123B2 (ja) カメラ設置支援プログラム、カメラ設置支援方法およびカメラ設置支援システム
US20200174620A1 (en) Manipulation detection device, manipulation detection method, and video display system
JP2017097689A (ja) 物体検出装置、物体検出方法、及びコンピュータプログラム
JP2006074460A (ja) 物体検出装置および方法
JP2016024677A (ja) 撮像装置及び判定方法
WO2019044434A1 (ja) 物体検出システム
KR101774603B1 (ko) 차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant