CN107615351B - 信号机检测装置及信号机检测方法 - Google Patents

信号机检测装置及信号机检测方法 Download PDF

Info

Publication number
CN107615351B
CN107615351B CN201580080664.6A CN201580080664A CN107615351B CN 107615351 B CN107615351 B CN 107615351B CN 201580080664 A CN201580080664 A CN 201580080664A CN 107615351 B CN107615351 B CN 107615351B
Authority
CN
China
Prior art keywords
semaphore
vehicle
angle
wide angle
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580080664.6A
Other languages
English (en)
Other versions
CN107615351A (zh
Inventor
山井大贵
松尾治夫
冲孝彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN107615351A publication Critical patent/CN107615351A/zh
Application granted granted Critical
Publication of CN107615351B publication Critical patent/CN107615351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

信号机检测装置具备：窄角摄像机(11)、具有比窄角摄像机(11)宽的视角的广角摄像机(12)、根据通过窄角摄像机(11)拍摄的窄角图像及通过广角摄像机(12)拍摄的广角图像的至少任一图像检测信号机的信号机检测部(4)，信号机检测部(4)基于根据信号机相对于车辆(5)的位置和车辆(5)的速度计算出的、为了车辆(5)停止在相对于信号机的停止位置而车辆(5)应该开始减速的减速开始区域，选择根据窄角图像检测出的信号机及根据广角图像检测出的信号机的任一个作为检测结果。

Description

信号机检测装置及信号机检测方法
技术领域
本发明涉及检测交通信号机的信号机检测装置及信号机检测方法。
背景技术
提案有通过选择由具有宽的视角的广角摄像机拍摄的广角图像及由具有 窄的视角的窄角摄像机拍摄的窄角图像的任一种的检测结果，能够连续监视 车辆前方的物体的装置(参照专利文献1)。在这种装置中，在直至物体的距 离超过通过广角图像以希望的精度可检测到的距离的情况下，选择窄角图像， 在物体为窄角摄像机的视野外的情况，选择广角图像。
现有技术文献
专利文献
专利文献1:(日本)特开2011－121398号公报
然而，专利文献1记载的技术对于因切换检测结果时产生的识别的延迟 时间或不确认等而车辆控制的判断延迟的可能性并没有提及。当使车辆停止 的判断延迟时，可能需要大的减速度。
发明内容
鉴于上述问题点，本发明的目的在于，提供能够抑制因切换检测结果中 的延迟时间或不确认等引起的对车辆控制的影响的信号机检测装置及信号机 检测方法。
信号机检测装置通过考虑为了车辆停止而应该开始减速的区域，以在检 测结果切换中减少对车辆控制的影响的方式来切换窄角摄像机及广角摄像机 对信号机(信号灯)的检测结果。
附图说明
图1是说明本发明的实施方式的信号机检测装置的基本的结构的示意性 块图；
图2是说明本发明的实施方式的信号机检测装置的结构及数据流的块图；
图3是说明通过窄角摄像机及广角摄像机可检测信号机的区域、减速开 始区域、及可切换区域的图；
图4(a)～图4(c)是说明窄角摄像机及广角摄像机的视角区域的图；
图5是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开 始区域、及可切换区域(W1侧)的图；
图6是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开 始区域、及可切换区域(N2侧)的图；
图7是说明本发明的实施方式的信号机检测装置的信号机检测方法的一 例的流程图。
具体实施方式
参照附图，说明本发明的实施方式。在附图的记载中，在相同或类似的 部分附加相同或类似的符号，省略重复的说明。
(信号机检测装置)
如图1所示，本实施方式的信号机检测装置具备包括窄角摄像机11及广 角摄像机12的摄像部1、具有摄像机选择部2及图像处理部3的信号机检测 部4、车速传感器10。车速传感器10检测车辆5的速度，并将检测出的速度 作为速度信息Dv向摄像机选择部2输出。信号机检测部4根据通过摄像部1 拍摄的图像，检测设置于车辆5行驶的道路周边且存在于车辆5的前方的信 号机，并将作为检测结果的信号机信息Dt向外部输出。车辆5例如是基于信号机检测部4的信号机信息Dt等，沿着预设定的行驶路径自动行驶的自动驾 驶车辆。
窄角摄像机11及广角摄像机12分别搭载于车辆5，拍摄车辆5的前方。 窄角摄像机11及广角摄像机12分别具备CCD、CMOS等固体摄像元件，输 出可进行图像处理的数字图像。广角摄像机12具有比窄角摄像机11宽的视 角(视场角)。因此，广角摄像机12以相同的析像度拍摄离开相同的距离的 对象的情况下，与窄角摄像机11相比，其分辨率低。窄角摄像机11将拍摄 出的窄角图像作为窄角图像信息Dn向信号机检测部4输出。广角摄像机12 将拍摄出的广角图像作为广角图像信息Dw向信号机检测部4输出。
摄像机选择部2及图像处理部3例如使用具备中央运算处理装置(CPU)、 存储器、及输入输出部的微控制器能够实现。该情况下，CPU通过执行在微 控制器预先安装的计算机程序，构成摄像机选择部2及图像处理部3。微控制 器例如也可以兼用为用于自动驾驶控制等的车辆5的其它的控制的电子控制 单元(ECU)。
图像处理部3根据通过窄角摄像机11拍摄的窄角图像及通过广角摄像机 12拍摄的广角图像的至少任一图像，并通过图像处理检测出信号机。图像处 理部3基于摄像机选择部2的决定，将根据窄角图像检测出的信号机及根据 广角图像检测出的信号机的任一个作为信号机信息Dt输出。图像处理部3根 据窄角图像及广角图像的任一个检测信号机，由此，能够降低处理负荷。该 情况下，图像处理部3在切换用于信号机的检测的窄角图像和广角图像时， 检测中会产生延迟时间。
图像处理部3分别对通过窄角摄像机11拍摄的窄角图像及通过广角摄像 机12拍摄的广角图像实施用于检测信号机的图像处理。例如，图像处理部3 根据生成同步图像检测在基于工业用电源的交流周期的特定的周期进行闪烁 的信号机所具有的信号灯。或者，图像处理部3使用色调及形状的类似判定 处理，能够检测信号机。这样，图像处理部3使用各种图像处理方法或它们 的组合能够检测信号机及信号机的颜色。
此外，图像处理部3在图像上不是设定窄角图像信息Dn、广角图像信息 Dw表示的各图像的整个区域，而是设定一部分检测区域，通过只对检测区域 实施图像处理，能够降低用于信号机检测的处理负荷及处理时间。基于从包 括道路形状及信号机的位置的地图信息、车辆5的位置信息等推定的信号机 的位置，检测区域被设定在图像上。
如图2所示，摄像机选择部2具备可检测区域计算部21、减速开始区域 计算部22、可切换区域计算部23、延迟距离计算部24、切换区域决定部25、 摄像机决定部26。摄像机选择部2基于速度信息Dv等，向图像处理部3输 出在图像处理部3指定将从窄角图像检测出的信号机及从广角图像检测出的 信号机的哪个作为信号机信息Dt输出的选择摄像机信息Ds。
可检测区域计算部21基于表示在窄角摄像机11及广角摄像机12的所设 定的视角、垂直及水平方向的角度、析像度的摄像机信息Dc，计算出能够检 测信号机的可检测区域，作为可检测区域信息D01输出。可检测区域计算部 21对窄角摄像机11及广角摄像机12分别计算出信号机的检测率超过规定的 阈值的区域、信号机未偏离视角的区域。可检测区域计算部21根据对窄角摄 像机11及广角摄像机12分别计算出的区域，计算出窄角摄像机11及广角摄 像机12任一个都能够检测信号机的区域作为可检测区域。
此外，基于检测对象和车辆5之间的距离，预测由窄角摄像机11及广角 摄像机12取得的图像上的像素数量，信号机的检测率超过规定的阈值的区域 通过预测的像素数量是否超过在过去的检测数据中成为阈值的检测对象的像 素而计算出。信号机未偏离视角的区域基于沿着车辆5的行进方向的信号机 从窄角摄像机11及广角摄像机12的光轴的偏离而计算出。
如图3所示，将从车辆5至信号机的距离设为X时，通过窄角摄像机11 可检测信号机的区域是由右上的阴影所示的区域，在信号机T1和T2所在的 区域，在车辆的前后方向的距离是N21＜X＜N1的区域。另外，通过广角摄 像机12可检测信号机的区域是由左上阴影所示的区域，在信号机T2和T3 所在的区域，在车辆的前后方向的距离是W2＜X＜W1的区域。此外，车辆 的车宽方向表示未偏离窄角摄像机11及广角摄像机12的横向的视角的区域， 车辆的前后方向的距离越近就越窄。
N1及W1分别指窄角摄像机11及广角摄像机12对信号机的检测率超过 规定的阈值的距离，是基于根据各图像可检测信号机的距离而设定的规定值。 窄角摄像机11对信号机的检测率超过规定的阈值的距离区域是X＜N1，广角 摄像机12对信号机的检测率超过规定的阈值的距离区域是X＜W1。N2及 W2分别是信号机偏离窄角摄像机11及广角摄像机12的视角的位置中基于车 辆的前后方向的位置而设定的规定值。信号机偏离窄角摄像机11的视角的区 域在车辆的前后方向中是X＜N2，信号机偏离广角摄像机12的视角的区域在 车辆的前后方向中是X＜W2。由于N2＜W1，所以窄角摄像机11及广角摄像 机12任一个都能够检测信号机的区域在信号机T2所在的区域，在车辆的前 后方向是N2＜X＜W1。可检测区域计算部21将N2＜X＜W1作为可检测区 域信息D01并输出。
图4(a)～(c)是表示从车辆5向前进方向捕获信号机的由窄角摄像机 11及广角摄像机12取得的图像的图。图4(a)～(c)表示图3的信号机T1～ T3分别所在的状态。窄角摄像机11的视角范围位于广角摄像机12的视角范 围的内侧。图4(a)表示位于仅通过窄角摄像机11可检测的区域的信号机 T1。广角摄像机12对信号机的检测率为规定的阈值以下的距离区域为X≥ W1。图4(b)表示位于窄角摄像机11及广角摄像机12任一个都能够检测信 号机的区域的信号机T2。图4(c)表示位于仅通过广角摄像机12可检测的 区域的信号机T2。信号机偏离窄角摄像机11的视角的区域是X＜N2。
减速开始区域计算部22基于车辆5减速时作为目标的减速度的目标减速 度Dr和速度信息Dv，计算出为了使车辆5停止在相对于各信号机的停止位 置而车辆5应该减速的减速开始区域，并作为减速开始区域信息D02输出。 目标减速度Dr也可以是作为目标的减速度的范围。
目标减速度Dr表示的减速度的范围设为a0～a1(a0＜a1)，速度信息Dv 表示的车辆5的速度设为v，从信号机至信号机的停止线的距离设为α时，减 速开始区域的自车辆的前后方向的距离能够如下式(1)所示。
v2/(2×a0)－α～v2/(2×a1)－α (1)
在图3所示的例子中，C1相当于v2/(2×a1)－α，C2相当于v2/(2×a0) －α。即，减速开始区域信息D02是指只要在至信号机的距离X为C2≤X≤ C1的期间开始减速，则车辆5就能够以减速度a0～a1停止在停止位置。考虑 乘客的乘坐感觉等，减速度也可以调整大小及范围(a0～a1)。
可切换区域计算部23基于可检测区域信息D01及减速开始区域信息 D02，以车辆控制不与开始减速的时刻重合的方式计算出图像处理部3能够从 窄角图像切换为广角图像的可切换区域，并作为可切换区域信息D03输出。 图3所示的例子中，可切换区域信息D03所示的区域是从可检测区域信息D01 除去减速开始区域信息D02的区域。
假如，X在减速开始区域内时，如果图像处理部3从窄角图像切换为广 角图像，则用于停止的判断延迟，车辆5有可能需要比目标减速度Dr大的减 速度。通过判断在X为可切换区域内的位置是否为了停止而减速，开始减速 控制，车辆5以目标减速度Dr内的减速度在相对于各信号机的停止位置能够 停止。
延迟距离计算部24基于将图像处理部3用于信号机的检测的窄角图像切 换为广角图像时的规定的延迟时间t、速度信息Dv表示的车辆5的速度v， 计算出在延迟时间t车辆5移动的延迟距离，并作为延迟距离信息D04输出。 t可以预先设定。在图3所示的例子中，在延迟时间t，X从D1至变为D2， 车辆5以速度v移动时，延迟距离|D1－D2|为vt。
切换区域决定部25基于可切换区域信息D03和延迟距离信息D04，决定表示图像处理部3从窄角图像切换为广角图像的区域的切换区域，并作为切换区域信息D05输出。
切换区域决定部25决定延迟距离收敛在可切换区域内的区域作为切换区 域。另外，切换区域在信号机位于可切换区域时，即使产生延迟距离，以能 够将根据分辨率高的窄角图像检测出的信号机作为尽可能长的时间检测结果 而决定。即，切换区域决定部25将延迟距离|D1－D2|接近N2，且收敛在 可切换区域(除了C2≤X≤C1的N2＜X＜W1)的区域作为切换区域而决定。
在图5所示的例子中，切换区域信息D05所示的区域(E2≤X≤E1)因 延迟距离未收敛在比减速开始区域靠N2侧，所以决定为W1侧的区域中尽可 能接近C1的区域。此外，E1及E2与D1及D2对应。即，图像处理部3在 信号机经过E1时，从窄角图像切换为广角图像进行信号机的检测。信号机进 入减速开始区域前，能够从窄角图像切换为广角图像，抑制对车辆控制的影 响，能够切换信号机的检测结果。另外，在图6所示的例子中，切换区域信 息D05所示的区域(E2≤X≤E1)由于延迟距离收敛在C2和N2之间，所以 决定在尽可能接近N2的区域。直至信号机通过减速开始区域，利用图像处理 部3根据窄角摄像机11的窄角图像能够检测信号机。抑制对车辆控制的影响， 切换信号机的检测结果，同时，并通过长期使用析像度高的窄角图像，能够 延长更高精度的信号机的检测。
摄像机决定部26基于可切换区域信息D03、信号机的相对位置信息Dp、 选择摄像机履历信息Dh、速度信息Dv，输出表示在信号机的检测中使用窄 角摄像机11及广角摄像机12哪一个的选择摄像机信息Ds。选择摄像机履历 信息Dh是拍摄用于前一个的信号机的检测的图像的摄像机及表示前一个的 信号机的检测结果的信息。选择摄像机信息Ds是在图像处理部3指定将根据 窄角图像检测出的信号机及根据广角图像检测出的信号机的哪一个作为信号 机信息Dt输出的信息。
相对位置信息Dp是表示各信号机相对于车辆5的相对位置的信息。相对 位置信息Dp根据包含道路形状及信号机的位置的地图信息、车辆5的位置信 息来推定。车辆5的位置信息从全球定位系统(GPS)接收机等测位装置、 搭载于车辆5的加速度传感器、舵角传感器及车速传感器10取得。此外，表 示相对位置信息Dp的信号机是对车辆5提示信号的信号机，即车辆应该遵守 的信号机。
(摄像机决定部的动作)
以下，参照图7的流程图，说明本实施方式的信号机检测装置的信号机 检测方法的一例。以下所示的处理通过摄像机决定部26针对向车辆5提示信 号的信号机的每一个执行。
在步骤S1，摄像机决定部26判定信号机的位置是否处于通过窄角摄像机 11可检测的区域。即，从车辆5至信号机的距离X为通过可检测区域计算部 21计算出的N2以上，且判定是否是不偏离窄角摄像机11的横向的视角的区 域。摄像机决定部26在信号机的位置处于通过窄角摄像机11可检测的区域 的情况下，向步骤S2进行处理，信号机的位置不在通过窄角摄像机11可检 测的区域的情况下，不能根据窄角图像检测出信号机，所以，在步骤S7选择 广角摄像机12。
在步骤S2，摄像机决定部26判定信号机的位置是否处于通过广角摄像机 12可检测的区域。此外，广角摄像机12的横向的视角因比窄角摄像机11的 横向的视角宽，所以在步骤S2，信号机处于不偏离广角摄像机12的横向的视 角的区域。即，判定从车辆5至信号机的距离X是否为通过可检测区域计算 部21计算出的W1以下。车辆5朝向信号机前进的情况下，摄像机决定部26 判定在图像处理部3通过窄角摄像机11的窄角图像检测出的信号机是否进入 通过广角摄像机12可检测的区域。摄像机决定部26在信号机的位置处于通 过广角摄像机12可检测的区域的情况下，向步骤S3进行处理，在信号机的 位置不在通过广角摄像机12可检测的区域的情况下，因信号机不能根据广角 图像检测，所以，在步骤S8选择窄角摄像机11。
在步骤S3，摄像机决定部26判定通过图像处理部3检测出的信号机是否 为绿色信号。摄像机决定部26在信号机不是绿色信号的情况下，向步骤S4 进行处理。摄像机决定部26在信号机是绿色信号的情况下，向步骤S5进行 处理。
在步骤S4，摄像机决定部26判定信号机的位置是否通过减速开始区域。 即，判定从车辆5至信号机的距离X是否进入通过减速开始区域计算部22 计算出的X≤C1的区域。在信号机的位置未通过减速开始区域的情况下，向 步骤S5进行处理。摄像机决定部26在信号机不是绿色信号，或未检测出信 号机的情况，在信号机的位置通过减速开始区域的情况下，车辆5已开始减 速，在检测信号机的图像的切换时即使产生延迟，信号机变化为绿色信号， 或检测有绿色信号的情况下，只在中止车辆的减速控制的时刻产生延迟，影 响少，所以，在步骤S9选择广角摄像机12。由此，摄像机决定部26在信号 机为绿色信号期间，能够不易产生因检测结果的切换而引起的延迟。
在步骤S5，摄像机决定部26根据选择摄像机履历信息Dh判定前一个的 信号机的检测结果是否是窄角摄像机11的检测结果。摄像机决定部26在前 一个处理中选择窄角摄像机11的情况下，向步骤S7进行处理。摄像机决定 部26在前一个的处理中选择广角摄像机12的情况下，向步骤S6进行处理。
在步骤S6，摄像机决定部26基于对于前一个的处理，从车辆5的位置信 息等推定的交叉路口(信号机)的位置，判定车辆5是否通过交叉路口(信 号机)。摄像机决定部26在判定出车辆5通过交叉路口(信号机)的情况下， 向步骤S7进行处理。摄像机决定部26在判定出车辆5未通过交叉路口(信 号机)的情况下，进入步骤S9，由于将检测结果的切换设为最低限度，所以， 直至判定出车辆5通过交叉路口(信号机)为止，继续选择广角摄像机12。
在步骤S7，摄像机决定部26基于切换区域信息D05，判定检测出的信号 机的位置是否处于通过切换区域决定部25决定的切换区域。即，判定从车辆 5至信号机的距离X是否为E2≤X≤E1。摄像机决定部26在信号机的位置处 于切换区域的情况下，在步骤S9，选择广角摄像机12。摄像机决定部26在 信号机的位置不在切换区域的情况下，在步骤S8，继续选择窄角摄像机11。
摄像机决定部26生成在图像处理部3指定将根据步骤S8或步骤S9中选 择的摄像机的图像检测出的信号机作为信号机信息Dt输出的选择摄像机信息 Ds，向图像处理部3输出。
根据本实施方式的信号机检测装置，在信号机位于决定为避开减速开始 区域的切换区域内时，将检测结果从根据窄角图像检测出的信号机切换为根 据广角图像检测出的信号机。由此，本实施方式的信号机检测装置抑制对车 辆控制的影响，能够切换信号机的检测结果，能够进行车辆5的顺畅的减速 控制。
另外，根据本实施方式的信号机检测装置，切换区域基于信号机从窄角 摄像机11的视角偏离的距离而设定，所以，能够长时间选择分辨率高的窄角 摄像机11的检测结果。因此，本实施方式的信号机检测装置能够提高信号机 的检测精度。
另外，根据本发明的实施方式的信号机检测装置，检测的信号机是绿色 信号的情况下，基于信号机从窄角摄像机11的视角偏离的距离，将检测结果 切换为广角摄像机12的检测结果。由此，本实施方式的信号机检测装置能够 长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测精 度。
另外，根据本实施方式的信号机检测装置，因切换区域基于根据广角图 像可检测信号机的距离来设定，所以，在广角摄像机12的检测精度低的位置， 继续选择窄角摄像机11的检测结果。因此，本实施方式的信号机检测装置能 够长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测 精度。
另外，根据本实施方式的信号机检测装置，在检测出的信号机不是绿色 信号，或不能检测信号机的情况，且通过减速开始区域的情况下，车辆5已 开始减速，所以，选择根据广角图像检测出的信号机作为检测结果。由此， 本实施方式的信号机检测装置在信号机为绿色信号期间，能够难以产生因检 测结果的切换而引起的延迟。
另外，根据本实施方式的信号机检测装置，在选择广角摄像机12的检测 结果的情况下，直至车辆5通过交叉路口为止，继续选择广角摄像机12。由 此，本实施方式的信号机检测装置降低不需要的检测结果的切换，能够将检 测结果的切换抑制在最低限度。
(其它的实施方式)
如上述，通过上述实施方式描述了本发明，但不应该理解为构成本公开 的一部分的论述及附图限定本发明。根据本公开的内容，各种代替实施方式、 实施例及运用技术对于本领域技术人员来说是显而易见的。
例如，在已论述的实施方式中，图6的流程图的步骤S3及步骤S4的处 理的顺序可以相反。其它，不用说，包含彼此应用上述各构成的构成等，本 发明在此未描述的各种实施方式等。因此，本发明的技术的范围仅根据上述 的说明并通过适当的请求保护范围的发明特定事项来确定。
产业上的可利用性
根据本发明，可提供通过考虑车辆应该开始减速的减速开始区域进行检 测结果的切换，能够减少切换引起的对车辆控制的影响的信号机检测装置及 信号机检测方法。
符号说明
4 信号机检测部
5 车辆
10 车速传感器
11 窄角摄像机
12 广角摄像机

Claims (7)

1.一种信号机检测装置，其特征在于，具备：
窄角摄像机，其拍摄车辆的前方；
广角摄像机，其拍摄所述车辆的前方，并具有比所述窄角摄像机宽的视角；
信号机检测部，其根据通过所述窄角摄像机拍摄的窄角图像及通过所述广角摄像机拍摄的广角图像的至少一个图像检测信号机，
所述信号机检测部基于根据信号机相对于所述车辆的位置和所述车辆的速度计算出的、为了使所述车辆停止在相对于所述信号机的停止位置而所述车辆应该开始减速的减速开始区域，选择根据所述窄角图像检测出的信号机及根据所述广角图像检测出的信号机的任一个作为检测结果。
2.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在所述信号机相对于所述车辆的位置处于所述信号机从所述窄角摄像机的视角偏离的区域的情况下，选择根据广角图像检测出的信号机作为检测结果。
3.如权利要求2所述的信号机检测装置，其特征在于，
所述信号机检测部在所述信号机相对于所述车辆的位置不是基于所述信号机从所述窄角摄像机的视角偏离的距离而设定的规定值以上的情况，且检测出的信号机是绿色信号的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
4.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在从所述车辆至所述信号机的距离处于根据所述广角图像可检测信号机的距离区域的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
5.如权利要求4所述的信号机检测装置，其特征在于，
所述信号机检测部在检测出的信号机不是绿色信号，或不能检测出信号机的情况，且从所述车辆至所述信号机的距离处于根据所述广角图像可检测信号机的距离区域的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
6.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在选择根据所述广角图像检测出的信号机作为检测结果的情况下，直至判断出所述车辆通过交叉路口为止，继续选择从所述广角图像检测出的信号机作为检测结果。
7.一种信号机检测方法，其特征在于，包含下述步骤：
根据通过拍摄车辆的前方的窄角摄像机拍摄的窄角图像及通过拍摄所述车辆的前方并具有比所述窄角摄像机宽的视角的广角摄像机拍摄的广角图像的至少一个图像，检测信号机；
根据信号机相对于所述车辆的位置和所述车辆的速度，计算出为了使所述车辆停止在相对于所述信号机的停止位置，所述车辆应该开始减速的减速开始区域；
基于所述减速开始区域，选择根据所述窄角图像检测出的信号机及根据所述广角图像检测的信号机的任一个。
CN201580080664.6A 2015-06-05 2015-06-05 信号机检测装置及信号机检测方法 Active CN107615351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066364 WO2016194228A1 (ja) 2015-06-05 2015-06-05 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
CN107615351A CN107615351A (zh) 2018-01-19
CN107615351B true CN107615351B (zh) 2018-10-30

Family

ID=57440767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080664.6A Active CN107615351B (zh) 2015-06-05 2015-06-05 信号机检测装置及信号机检测方法

Country Status (10)

Country Link
US (1) US10055656B2 (zh)
EP (1) EP3306589B1 (zh)
JP (1) JP6447722B2 (zh)
KR (1) KR101942214B1 (zh)
CN (1) CN107615351B (zh)
BR (1) BR112017026218B1 (zh)
CA (1) CA2988303C (zh)
MX (1) MX361912B (zh)
RU (1) RU2668782C1 (zh)
WO (1) WO2016194228A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652514B (zh) * 2017-01-22 2021-08-03 斑马信息科技有限公司 提高交通网络中车辆通行能力的系统和方法
JP7184591B2 (ja) 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7261588B2 (ja) * 2019-01-04 2023-04-20 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7245653B2 (ja) * 2019-01-04 2023-03-24 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7115420B2 (ja) * 2019-05-23 2022-08-09 株式会社デンソー 画像処理装置
JP7167880B2 (ja) * 2019-08-27 2022-11-09 トヨタ自動車株式会社 停止線位置推定装置及び車両制御システム
US11769337B2 (en) * 2019-11-12 2023-09-26 Nissan Motor Co., Ltd. Traffic signal recognition method and traffic signal recognition device
CN114728657A (zh) 2019-11-15 2022-07-08 日产自动车株式会社 车辆控制方法及车辆控制装置
JP2023021834A (ja) * 2021-08-02 2023-02-14 株式会社デンソー 車両制御装置
WO2024024114A1 (ja) * 2022-07-29 2024-02-01 日本電信電話株式会社 物体検知率算出装置、物体検知率算出方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244737A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 監視システム
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
JP2009219000A (ja) * 2008-03-12 2009-09-24 Pioneer Electronic Corp カメラ装置および撮像システム
JP2010026618A (ja) * 2008-07-16 2010-02-04 Alpine Electronics Inc 車載用ナビゲーション装置及び交差点進入案内方法
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
JP4622928B2 (ja) * 2006-04-14 2011-02-02 トヨタ自動車株式会社 車載カメラ制御装置および車載カメラ制御方法。
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP2010225075A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転支援装置
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
JP2013093013A (ja) 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP5761109B2 (ja) * 2012-04-10 2015-08-12 トヨタ自動車株式会社 運転支援装置
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства
RU2634852C1 (ru) * 2014-07-08 2017-11-07 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофора и способ обнаружения светофора
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244737A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 監視システム
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
JP2009219000A (ja) * 2008-03-12 2009-09-24 Pioneer Electronic Corp カメラ装置および撮像システム
JP2010026618A (ja) * 2008-07-16 2010-02-04 Alpine Electronics Inc 車載用ナビゲーション装置及び交差点進入案内方法
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法

Also Published As

Publication number Publication date
EP3306589A1 (en) 2018-04-11
MX2017015442A (es) 2018-03-07
CA2988303C (en) 2018-11-13
MX361912B (es) 2018-12-19
US20180150705A1 (en) 2018-05-31
BR112017026218B1 (pt) 2021-01-05
EP3306589A4 (en) 2018-05-02
CA2988303A1 (en) 2016-12-08
KR20180008727A (ko) 2018-01-24
WO2016194228A1 (ja) 2016-12-08
RU2668782C1 (ru) 2018-10-02
KR101942214B1 (ko) 2019-01-24
US10055656B2 (en) 2018-08-21
CN107615351A (zh) 2018-01-19
JPWO2016194228A1 (ja) 2018-03-29
EP3306589B1 (en) 2019-01-09
JP6447722B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
CN107615351B (zh) 信号机检测装置及信号机检测方法
JP4603970B2 (ja) 道路区画線検出装置
JP5421072B2 (ja) 接近物体検知システム
KR920001616B1 (ko) 물체판별장치와 그 판별방법
CN107851387A (zh) 信号机识别装置及信号机识别方法
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2003259358A (ja) カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2008052517A (ja) 交通量計測方法および交通量計測装置
WO2014199817A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2007208865A (ja) カメラ状態検知システム
JP3562250B2 (ja) 先行車両検出装置
JP6379774B2 (ja) 交通量計測装置、交通量計測方法、および交通量計測プログラム
US20180349717A1 (en) Traffic Signal Detection Device and Traffic Signal Detection Method
US9827906B2 (en) Image processing apparatus
JP5109074B2 (ja) 車両速度判定装置および車両速度判定方法
JP7261588B2 (ja) 信号機認識方法及び信号機認識装置
JPH0552562A (ja) 先行車追尾用車間距離検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP3875889B2 (ja) 画像式速度検知システム及び画像式速度検知方法
JP2000163691A (ja) 交通流計測装置
JP2014010771A (ja) 車両検知装置
JP7344776B2 (ja) 信号機認識方法及び信号機認識装置
US9430707B2 (en) Filtering device and environment recognition system
US20200074195A1 (en) Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle
JPH0752480B2 (ja) 車両検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant