CN107851387A - 信号机识别装置及信号机识别方法 - Google Patents

信号机识别装置及信号机识别方法 Download PDF

Info

Publication number
CN107851387A
CN107851387A CN201580081578.7A CN201580081578A CN107851387A CN 107851387 A CN107851387 A CN 107851387A CN 201580081578 A CN201580081578 A CN 201580081578A CN 107851387 A CN107851387 A CN 107851387A
Authority
CN
China
Prior art keywords
semaphore
image
shooting direction
vehicle
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580081578.7A
Other languages
English (en)
Other versions
CN107851387B (zh
Inventor
山井大贵
松尾治夫
冲孝彦
铃木章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN107851387A publication Critical patent/CN107851387A/zh
Application granted granted Critical
Publication of CN107851387B publication Critical patent/CN107851387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

具备：拍摄车辆周围的图像的摄像机(11)、取得车辆周围的地图信息的地图信息取得部(17)、检测车辆在地图上的当前位置的车辆当前位置检测部(12)、基于车辆当前位置和上述地图信息推定上述信号机在图像上的位置的信号机位置推定部(21)。还具备：基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像机的摄像方向的摄像姿势设定部(23)、将摄像机的摄像方向变更为由摄像方向设定部设定的摄像方向的摄像机姿势控制部(24)、根据摄像机在摄像方向拍摄的图像识别信号机的信号机识别部(14)。能够不影响摄像机的姿势地高精度地检测信号机的点亮状态。

Description

信号机识别装置及信号机识别方法
技术领域
本发明涉及搭载于车辆并识别信号机的信号机识别装置及信号机识别方法。
背景技术
例如，在搭载有自动驾驶功能的车辆中，通过识别设于车辆的行驶路径的信号机，检测信号机的点灯颜色等的点亮状态，而控制停止、行驶等的驾驶。
作为现有的信号机识别装置，例如已知有专利文献1(JP特开平11－306489号公报)所公开的装置。该引用文献1中，在车辆上搭载摄像机来拍摄前方的信号机。此时，以信号机位于由摄像机拍摄的图像中心的方式，控制摄像机的水平方向的角度及垂直方向的角度。并且，以信号机的图像成为期望的大小的方式，控制扩大率。
现有技术文献
专利文献
专利文献1：日本特开平11－306489号公报
但是，专利文献1所公开的现有例中，在变更摄像机的摄像方向的期间，由该摄像机拍摄的图像产生模糊(混乱)而难以进行图像识别。其结果，在变更摄像机的摄像方向的期间，信号机的点亮状态的检测精度可能降低。
发明内容
本发明是为了解决这种现有的课题而创立的，其目的在于，提供一种信号机识别装置，其在车辆接近信号机时，不需要变更摄像部的摄像方向，或能够降低摄像方向的变更次数。
本发明的一方式的信号机识别装置具有：摄像部；地图信息取得部，其取得地图信息；车辆当前位置检测部，其检测车辆在地图上的当前位置；信号机位置推定部，其推定信号机在图像上的位置。还具备：摄像方向设定部，其基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像部的摄像方向；摄像方向变更部，其将摄像部的摄像方向变更为由摄像方向设定部设定的摄像方向；信号机识别部，其根据摄像部在摄像方向拍摄的图像识别信号机。
本发明的一方式的信号机识别方法，利用摄像部拍摄车辆周围的图像，取得车辆周围的地图信息，检测车辆在地图上的当前位置，基于车辆当前位置和地图信息，推定信号机在图像上的位置。还基于信号机在图像上的位置和信号机在图像上的将来的移动方向，设定摄像部的摄像方向，将摄像部的摄像方向变更为由摄像方向设定部设定的摄像方向，并根据摄像部在摄像方向拍摄的图像识别信号机。
附图说明
图1是表示本发明实施方式的信号机识别装置及其周边设备的构成的块图；
图2是表示本发明实施方式的信号机识别装置的详细构成的块图；
图3是表示第一实施方式的摄像姿势设定部的详细构成的块图；
图4是表示第一实施方式的信号机识别装置的处理顺序的流程图；
图5是表示存在于图像中的信号机的当前的位置坐标的说明图；
图6是表示存在于图像中的信号机的以往的位置坐标及当前的位置坐标的说明图；
图7是表示变更摄像机的摄像方向，信号机的位置坐标向图像的左下方移动的情形的说明图；
图8是表示第一实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像；
图9是表示第二实施方式的摄像姿势设定部的详细构成的块图；
图10是表示第二实施方式的信号机识别装置的处理顺序的流程图；
图11是表示第二实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像；
图12是表示车辆在弯道上行驶时的信号机在图像上的移动轨迹的说明图；
图13是表示未采用第二实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)、(d)表示摄像方向变更后的图像；
图14是表示第三实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像；
图15是表示未采用第三实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像；
图16是表示第三实施方式的变形例的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像；
图17是表示第四实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)、(d)、(e)表示摄像方向变更后的图像；
图18是表示第五实施方式的信号机识别装置的摄像方向的变更时间的说明图，(a)表示车辆的行驶路径，(b)表示摄像方向变更前的图像，(c)表示摄像方向变更后的图像。
具体实施方式
以下，参照附图说明本发明的实施方式。
[第一实施方式的说明]
图1是表示本发明的第一实施方式的信号机识别装置及其周边设备的构成的块图。另外，图2是详细表示图1所示的信号机识别装置100的块图。如图1所示，信号机识别装置100搭载于车辆51，从搭载于该车辆51的各种设备输入地图信息D02、摄像机信息D03、车辆当前位置信息D05及图像数据D07。而且，将由该信号机识别装置100识别的信息即信号机信息D04向后面的装置输出。
摄像机信息D03是涉及摄像机11(参照图2)相对于车辆51的设置位置的信息。当取得表示车辆51在地图上的朝向的三维信息时，能够基于摄像机信息D03推定摄像机11对车辆周围的拍摄区域。
地图信息D02是由包含车辆行驶的行驶路径的地图数据(车辆周围的地图信息)的地图数据库赋予的信息，包含存在于行驶路径上的地上路标等的物体目标的位置信息及信号机的位置信息等。
如图2所示，信号机识别装置100具备：摄像机11(摄像部)、车辆当前位置检测部12、地图信息取得部17、摄像方向设定部13、信号机识别部14及路标信息取得部18。
摄像机11是例如具备CCD、CMOS等的固体拍摄元件的摄像机，设置于车辆51，拍摄行驶路径的周围，取得周边区域的数字图像。摄像机11将拍摄到的图像作为图像数据D07向信号机识别部14输出。另外，摄像机11储存与摄像机11相对于车辆51的设置位置相关的信息，并作为摄像机信息D03向摄像方向设定部13输出。对于与摄像机11的设置位置相关的信息，能够通过将例如校准用的标记等相对于车辆51设置在已知的位置，并根据由摄像机11拍摄的图像上的位置计算出设置位置。进而，摄像机11经由相对于车辆51在水平(pan)、倾斜(tilt)方向上转动自如的机构而设置，具有驱动水平、倾斜方向的旋转角度的驱动机构，并通过驱动水平、倾斜方向的旋转角度，由此，能够以将摄像机11成为期望的摄像方向的方式，控制摄像机11的姿势。
地图信息取得部17从包含车辆行驶的行驶路径的地图信息(车辆周围的地图信息)的地图数据库，取得存在于行驶路径周边的地上路标等的物体目标的位置信息及信号机的位置信息等。将该地图信息作为地图信息D02向车辆当前位置检测部12和摄像方向设定部13输出。
路标信息取得部18为例如车载的传感用摄像机或激光雷达等，识别地上路标(路面标记(车道标志、停车线、文字)、路边石、信号机、标识等)，取得相对于车辆51的相对位置的信息。将取得的信息作为路标信息D01向车辆当前位置检测部12输出。
车辆当前位置检测部12取得路标信息D01及地图信息D02，基于这些信息，检测车辆51在地图上的当前位置，并其作为车辆当前位置信息D05进行输出。如上述，路标信息D01中包含表示相对于地上路标的车辆51的相对位置关系的信息。因此，通过对照该路标信息D01的位置信息和地图信息D02所包含的地上路标的位置信息，能够检测车辆51在地图上的当前位置。在此，“位置”包含坐标及姿势。具体而言，地上路标的位置中包含其坐标及姿势，车辆51的位置中包含其坐标及姿势。车辆当前位置检测部12将成为基准的坐标系中的坐标(x，y，z)及作为各坐标轴的旋转方向的姿势(偏航，俯仰、滚动)作为车辆当前位置信息D05输出。
摄像方向设定部13基于车辆当前位置信息D05和地图信息D02，以存在于车辆51的行驶路径的信号机进入摄像机11的拍摄区域内的方式，姿势控制摄像机11的摄像方向。具体而言，通过以成为将摄像机11的水平、倾斜方向的旋转角度设为目标的摄像方向的方式驱动，能够控制摄像机11的姿势。而且，根据在该摄像方向拍摄的图像，设定推定为信号机存在的检测区域，并作为检测区域信息D06输出。即，如果摄像机11的姿势被确定，且设定拍摄的区域，则能够在由摄像机11拍摄的图像上特定信号机存在的位置，因此，能够将包含该位置的区域设定为检测区域。该检测区域信息D06向信号机识别部14输出。此时，检测区域设定成即使信号机在车辆动作及车辆当前位置信息中产生误差时，各信号机也不会脱离检测区域内的大小。摄像方向设定部13具备基于车辆51的位置、信号机位置、信号机位置的变化量，确定摄像机11的摄像方向的功能。对于摄像方向设定部13的详细内容，参照图3后面进行叙述。
信号机识别部14根据由摄像机11拍摄的图像数据D07，并基于上述的检测区域信息D06识别信号机。具体而言，基于由摄像机11输出的图像数据D07、及由摄像方向设定部13设定的检测区域信息D06，对检测区域实施用于识别信号机的图像处理。作为图像处理的方法，例如能够使用将信号机具有的信号灯与工业用电源的交流周期同步的闪烁光进行检测的方法，或使用进行红、绿、黄的色调及圆形形状等的特征的类似判定的方法等进行检测。除此之外，还能够应用用于检测信号机的已知的图像处理。信号机的识别处理不对由摄像机11拍摄的图像数据D07的整体，而对作为其一部分设定的检测区域进行实施，由此，能够减轻用于信号机检测的信息处理的负荷，并迅速地检测信号机。而且，信号机识别部14将信号机的识别结果作为信号机信息D04进行输出。此外，信号机的识别处理不限定于上述的方法，也能够采用其它方法。
图3是表示摄像方向设定部13的详细构成的块图。如图3所示，摄像方向设定部13具备：信号机位置推定部21、位置变化量计算部22、摄像姿势设定部23、摄像机姿势控制部24、及检测区域计算部25。
信号机位置推定部21以地图信息D02和车辆当前位置信息D05为输入，并输出检测位置信息D08。地图信息D02中包含各信号机的坐标，因此，信号机位置推定部21能够基于各信号机的坐标和车辆51的坐标、及摄像机11的姿势，求得信号机相对于车辆51的相对坐标。因此，如果摄像机11拍摄周围时的姿势被确定，则能够特定拍摄的图像上的信号机在要拍摄的图像上的位置。例如，如图5所示，能够在图像R1内设定信号机的推定位置(x2，y2)。即，信号机位置推定部21具备基于车辆51周围的地图信息，推定信号机的位置的功能。
位置变化量计算部22计算出信号机位置在图像R1内的变化量。即，如图6所示，在图像R1内，取得以往的检测位置坐标(x1，y1)和当前的检测位置坐标(x3，y3)，计算出信号机在图像上的位置变化量。而且，将运算出的信号机在图像上的位置变化量作为检测位置变化信息D09进行输出。具体而言，运算x坐标的差值(x3－x1)＝dx、及y坐标的差值(y3－y1)＝dy，并求得变化量(dx，dy)。此时，在以往的检测时和当前的检测时，摄像机11的姿势相同成为条件。另外，作为以往的检测位置坐标，能够使用检测周期的一个周期前的坐标。或如果未附有噪声，则也可以使用两个周期以上前的坐标。即，位置变化量计算部22具备计算出伴随着信号机位置推定部21中推定的信号机位置的时间经过的变化量的功能。
摄像姿势设定部23参照上述的变化量(dx，dy)，根据该变化量推定信号机在图像R1内的移动方向。而且，以基于推定的移动方向，信号机不会脱离图像R1内的方式，确定摄像机11的摄像方向。具体而言，根据上述的变化量(dx，dy)求得信号机在图像R1内的变化方向，且以信号机位于成为该变化方向的相反方向的侧的图像R1内的适当部位的方式，确定摄像机11的摄像方向。即，摄像姿势设定部23具备基于车辆51的位置、信号机位置推定部21中推定的信号机位置、信号机位置的变化量，确定摄像机11的摄像方向并作为摄像方向设定部的功能。
如上述的图5所示，信号机存在于图像R1内的右侧的符号q1的地点，还如图6所示，在该信号机的移动方向为右上方向的情况下，即在dx为正的值(dx＞0)，dy为负的值(dy＜0)的情况下，推定为在图像R1内的信号机向右上方向移动。因此，如图7所示，以信号机位于图像R1内的左下的符号q2的位置的方式确定摄像机11的摄像方向。在此，在这种情况下，即使假定直到车辆通过信号机的地点的期间，车辆动作或车辆当前位置信息中产生误差时，也判断为推定位置(x2，y2)存在于信号机不会脱离的位置的情况下，不变更摄像机11的摄像方向而维持当前的状态。
摄像机姿势控制部24基于从摄像姿势设定部23输出的摄像姿势信息D10，以信号机不会脱离图像R1内的方式，姿势控制摄像机11的摄像方向。具体而言，通过以成为将摄像机11的水平、倾斜方向的旋转角度设为目标的摄像方向的方式进行驱动，能够控制摄像机11的姿势。而且，输出通过姿势控制设定的摄像机11的姿势信息D11。另外，摄像姿势信息D10在此次的运算时和一个周期前的运算时不变化的情况下，不进行摄像机11的摄像方向的变更而维持当前的摄像方向。摄像机姿势控制部24具备作为摄像方向变更部的功能，该摄像方向变更部以由摄像机11进行的摄像方向成为摄像姿势设定部23中设定的摄像方向的方式变更摄像方向。
检测区域计算部25基于上述的摄像机11的姿势信息D11和地图信息D02、及车辆当前位置信息D05，并根据由摄像机11拍摄的图像R1设定用于检测信号机的检测区域。地图信息D02中，信号机的位置作为地图上的坐标被预先注册。能够基于地图上的信号机的位置的坐标和地图上的车辆51的当前位置的坐标及姿势，求得信号机相对于车辆51的相对位置。而且，基于该相对位置和摄像机11的相对于车辆51的姿势信息D11，求得由摄像机11拍摄的图像R1的图像上的信号机的位置，进一步基于该图像上的信号机的位置，在图像R1内设定检测区域。检测区域设定成即使在车辆动作及车辆当前位置信息中产生误差时，信号机也不会脱离的大小。而且，输出设定的检测区域信息D06。如图2所示，该检测区域信息D06向信号机识别部14输出。
此外，上述的车辆当前位置检测部12、摄像方向设定部13、信号机识别部14能够使用具备CPU、存储器及输入输出部的微控制器实现。具体而言，CPU通过执行预先安装的计算机程序，构成微控制器具备的多个信息处理部(12，13，14)。微控制器具备的存储器的一部分构成储存地图信息D02的地图数据库。此外，微控制器也可以兼用作用于与车辆相关的其它控制(例如，自动驾驶控制)的ECU。
接着，参照图4所示的流程图说明上述的第一实施方式的信号机识别装置100的作用。首先，步骤S11中，图3所示的信号机位置推定部21基于地图信息D02和车辆当前位置信息D05，在由摄像机11拍摄的图像R1内计算出信号机位置。具体而言，计算出图5所示的符号q1的位置。该处理以规定的运算周期执行。
步骤S12中，位置变化量计算部22计算出信号机位置在图像R1内的变化量。如图6所示，在信号机的位置坐标从(x1，y1)向(x3，y3)移动的情况下，计算出此时的变化量(dx，dy)。
步骤S13中，摄像姿势设定部23推定图像R1内的信号机是否脱离该图像R1。该处理中，如图6所示，基于信号机的推定位置坐标(x2，y2)及变化量(dx，dy)，推定信号机是否脱离图像R1。
而且，在推定为脱离的情况下(步骤S13中是)，步骤S14中，摄像机姿势控制部24即使在信号机以不脱离图像R1的方式或不可避免地脱离的情况下，也以将摄像方向的变更次数限定为最小限度的方式设定摄像机11的摄像方向并进行姿势控制。例如，如图6所示，在推定为在图像R1内的信号机存在于坐标(x2，y2)，且该信号机向右上方移动的情况下，在该状态下推测信号机脱离图像R1。因此，如图7所示，以信号机位于图像R1内的左下所示的符号q2的位置的方式，设定摄像机11的摄像方向。步骤S15中，摄像机姿势控制部24以成为所设定的摄像方向的方式，控制摄像机11的姿势。
另一方面，在推定为不脱离的情况下(步骤S13中否)，将处理进入步骤S16。然后，步骤S16中，检测区域计算部25根据由摄像机11拍摄的图像R1，设定用于检测信号机的检测区域。其结果，在车辆51接近设置信号机的交叉路口时，能够避免该信号机从图像R1脱离。
接着，说明车辆51接近信号机时的、信号机位置在图像R1内的变化。图8是示意性地表示车辆51在直线的行驶路径X1上行驶且向信号机P1接近的情形的说明图。图8(a)表示车辆与信号机P1的位置关系，(b)表示变更摄像机11的摄像方向之前的图像R1，(c)表示变更摄像机11的摄像方向之后的图像R1。
图8(a)所示的地点Z1是车辆51充分远离信号机P1，且从由摄像机11拍摄的图像能够确认信号机P1的地点。另外，地点Z2是车辆51接近信号机P1的地点。地点Z3是设定有停车线的地点。因此，地点Z2～Z3的区域是车辆51进行制动的区域，即判断停止或行驶，且在判断为停止的情况下，使车辆51减速，且以车辆51停止的方式进行制动的区域。因此，由地点Z2～Z3表示的区域是需要高精度地识别信号机P1的点亮状态的变化的区域。
如图8(a)所示，在车辆51在地点Z1行驶的情况下，如图8(b)的符号b1所示，信号机P1存在于由摄像机11拍摄的图像R1内的右下方。
之后，当车辆51到达地点Z2时，如符号b2所示，信号机P1向图像R1内的右上方向移动。此时，随着车辆51的接近，信号机P1较大地显示。因此，在该状态下，信号机P1从图像R1脱离。
本实施方式中，在车辆51到达行驶路径的地点Z2的时间点，变更摄像机11的摄像方向。具体而言，使摄像机11的拍摄区域向右上方向移动。据此，如图8(c)的符号c1所示，信号机P1向图像R1内的左下移动。因此，在车辆51进一步行进并到达地点Z3的时间点，如符号c2所示，信号机P1不会从图像R1脱离而可靠地显示。即，在需要高精度地识别信号机P1的点亮状态的地点Z2～Z3的区域中，不变更摄像机11的摄像方向，就能够将信号机P1停留于图像R1内。而且，通过在该图像R1内设定检测区域，能够进行高精度的信号机识别。
这样，第一实施方式的信号机识别装置100中，在检测存在于由摄像机11拍摄的图像R1内的信号机P1时，基于信号机P1在图像R1内的移动方向，推定该信号机P1是否脱离。而且，在推定为脱离的情况下，预先以图像R1内的信号机P1的位置成为不脱离的位置的方式，变更摄像机11的摄像方向。
因此，车辆51向图8(a)所示的信号机P1接近且到达地点Z2之后，不进行摄像机11的摄像方向的姿势控制，就能够避免信号机P1从图像R1脱离。即，在检测信号机P1的点亮状态时成为最重要的地点Z2～Z3的区域中，不需要摄像机11的摄像方向的变更，或降低摄像方向的变更的次数，因此，能够避免由摄像机11拍摄的图像中产生模糊。因此，能够可靠地检测信号机P1的点亮状态而用于自动驾驶等。
另外，摄像方向设定部13根据信号机在图像上的位置和信号机在图像上的将来的移动范围，计算出摄像方向的变更量，并基于摄像机11的摄像范围和摄像方向的变更量设定摄像方向，因此，能够可靠地避免信号机P1从图像R1脱离的情况。
[第一实施方式的变形例的说明]
接着，说明第一实施方式的信号机识别装置100的变形例。上述的第一实施方式中设为如下构成，基于车辆的车辆当前位置信息D05及地图信息D02(参照图3)，推定存在于图像R1内的信号机P1的位置，并基于该信号机P1的移动方向进行摄像机11的摄像方向的姿势控制。
与之相对，在变形例的信号机识别装置中，图3所示的信号机位置推定部21通过对图像R1内的图像进行实际图像处理，来识别信号机P1的位置。而且，位置变化量计算部22通过图像处理检测以往识别的信号机P1的位置(x1，y1)和当前识别的信号机P1的位置(x2，y2)，并根据检测的位置信息求得检测位置变化信息D09。
这样，在变形例的信号机识别装置中，通过图像处理识别存在于图像R1内的图像内的信号机P1，并基于该信号机P1的移动方向进行摄像机11的摄像方向的姿势控制，因此，能够进行更高精度的摄像机11的摄像方向的姿势控制。
[第二实施方式的说明]
接着，说明本发明的第二实施方式。第二实施方式的信号机识别装置的整体构成与上述的图1相同，摄像方向设定部13的构成不同。以下，参照图9所示的块图，说明第二实施方式的摄像方向设定部13的构成。
如图9所示，摄像方向设定部13具备：行驶路径确定部26、信号机位置推定部21、摄像姿势设定部23、摄像机姿势控制部24、及检测区域计算部25。在代替图3所示的“位置变化量计算部22”，而设置“行驶路径确定部26”的点上，与上述的第一实施方式不同。对于与图3相同的构成要素，标注相同的符号并省略构成说明。
向行驶路径确定部26中输入地图信息D02及车辆当前位置信息D05，使用这些信息，求得车辆51行驶的路径。例如，基于地图信息D02检测车辆51当前行驶的行驶路径，进一步根据车辆当前位置信息D05检测车辆51在该行驶路径上的哪个位置行驶。而且，根据该检测结果推定车辆51今后行驶的路径，并作为行驶路径信息D12输出。例如，在推定为车辆51在弯道之前行驶，之后进入该弯道的情况下(参照后述的图11(a)的车辆51)，将该弯道的转弯方向(左或右方向)及曲率半径的信息作为行驶路径信息D12输出。
摄像姿势设定部23基于由行驶路径信息D12及信号机位置推定部21输出的检测位置信息D08，确定摄像机11的摄像方向。具体而言，摄像姿势设定部23根据车辆51的行驶状况预测摄像机11拍摄信号机P1时的摄像方向的变化，即使在摄像方向上产生变化的情况下，也以信号机P1不从图像R1脱离的方式，确定摄像机11的摄像方向。
接着，参照图10所示的流程图说明第二实施方式的信号机识别装置的作用。首先，步骤S31中，图9所示的信号机位置推定部21基于地图信息D02和车辆当前位置信息D05，在由摄像机11拍摄的图像R1内计算出信号机位置。该处理以规定的运算周期执行。
步骤S32中，行驶路径确定部26从地图信息D02取得推定为车辆51将来行驶的路径，进一步基于车辆51的车辆当前位置信息D05，预测图像R1内的信号机的动作。
步骤S33中，摄像姿势设定部23推定图像R1内的信号机是否从该图像R1脱离。该处理中，基于车辆51的行驶路径的状况，并根据该车辆51向设置信号机的交叉路口接近时的车辆51的行驶方向等的信息，推定信号机是否从图像脱离。
而且，在推定为脱离的情况下(步骤S33中是)，步骤S34中，摄像机姿势控制部24即使在信号机以不脱离图像R1的方式或不可避免地脱离的情况下，也以将摄像方向的变更次数限定为最小限度的方式设定摄像机11的摄像方向并进行姿势控制。对于摄像机11的摄像方向的姿势控制，参照图11～图13后面叙述。步骤S35中，摄像机姿势控制部24以成为设定的摄像方向的方式，进行摄像机11的摄像方向的姿势控制。然后，将处理进入步骤S36。
另一方面，在推定为不脱离的情况下(步骤S33中否)，将处理进入步骤S36。步骤S36中，检测区域计算部25根据由摄像机11拍摄的图像R1，设定用于检测信号机的检测区域。根据这种设定，能够避免在车辆51向设置信号机的交叉路口接近时，该信号机从图像R1内脱离。
接着，参照图11～图13说明上述的步骤S34的处理的详细内容。例如，如图11(a)所示，举例说明车辆51在向右方向转弯的弯道X2上行驶，且朝向设置有信号机P1的交叉路口的情况。如图11(a)所示，车辆51向地点Z1、Z2、Z3、Z4行进。
当前，在图11(a)所示的地点Z1，如图11(b)的符号b1所示，信号机P1存在于图像R1的左下方。图12中表示该扩大图。而且，通过车辆51在弯道X2上行驶，信号机P1相对于图12所示的图像R1如曲线L1那样移动。此外，图12所示的Z1～Z4与图11(a)所示的地点Z1～Z4对应。因此，如果改变摄像机11的摄像方向而不使图像R1移动，则信号机P1从图像R1脱离。
在图像R1内，信号机P1随着曲线L1所示的移动轨迹进行移动是能够从地图信息D02及车辆的车辆当前位置信息D05预先取得的信息。于是，摄像机姿势控制部24推定信号机P1如图12所示的曲线L1那样变化，且即使在产生曲线L1那样的变化的情况下，也以信号机P1不会从图像R1脱离的方式，进行摄像机11的摄像方向的姿势控制。
具体而言，在车辆51到达图11(a)所示的地点Z1的时间点，如图11(b)的符号b1所示，在信号机存在于图像R1的左下方的情况下，如图11(c)的符号c1所示，以信号机位于图像R1的中央的偏左的方式进行摄像机11的摄像方向的姿势控制。
于是，在车辆51到达地点Z2时，如符号c2所示，信号机P1位于图像R1的左端部。进而，车辆51到达地点Z3、Z4时，信号机P1如符号c3、c4所示，信号机P1位于图像R1内。即，在车辆51到达地点Z1的时间点，基于车辆51的将来的行驶路径及车辆51的车辆当前位置信息D05，预测信号机在图像R1内的动作，基于该预测预先进行摄像机11的摄像方向的姿势控制，由此，通过地点Z1后，不进行摄像机11的摄像方向的姿势控制，就能够在图像R1内捕捉信号机P1。
接着，为了与图11所示的摄像机11的摄像方向的姿势控制进行对比，参照图13说明仅基于信号机P1在图像R1内的移动方向变更摄像机11的摄像方向的情况，即不推定车辆51的行驶路径而变更摄像机11的摄像方向的情况。图13(a)表示车辆51的位置和作为该车辆51的行驶路径的弯道X2，是与图11(a)相同的图。而且，如图13(b)的符号b1所示，在信号机P1存在于图像R1内的左下方，且该信号机P1向左方向移动的情况下，如图13(c)的符号c1所示，以信号机P1位于图像R1的右侧的方式，变更摄像机11的摄像方向。
之后，当车辆51到达地点Z2时，这次如符号c2所示，信号机P1向右上方向移动。因此，当车辆51到达地点Z3时，如符号c3所示，信号机P1从图像R1内脱离的可能性变高。因此，在车辆51到达地点Z3的时间点，如图13(d)的符号d1所示，以信号机P1位于图像R1的左侧的方式变更摄像机11的摄像方向。而且，在车辆51到达地点Z4的时间点，如图13(d)的符号d2所示，信号机P1位于图像R1的大致中央。
这样，在图13所示的例子中，能够避免信号机P1从图像R1内脱离的情况，但在车辆51从地点Z1到达地点Z4的期间进行两次摄像方向的变更。其结果，摄像机11的摄像方向的姿势控制的时间增加，存在信号机P1的点亮状态的检测精度降低的可能性。
与之相对，第二实施方式的信号机识别装置中，基于作为车辆51的行驶路径的弯道X2，姿势控制摄像机11的摄像方向，因此，如图11所示，在到达充分远离信号机P1的地点即地点Z1的时间点，变更摄像机11的摄像方向时，之后，信号机P1不会从图像R1脱离。因此，在车辆51接近信号机P1之后的摄像机11的摄像方向的变更消失。
这样，第二实施方式的信号机识别装置100中，摄像方向设定部13具备行驶路径确定部26，利用该行驶路径确定部26预先推定车辆51的行驶路径，由此，预测信号机P1在图像R1内的移动范围。即，预测信号机在图像上的将来的移动范围。而且，基于该移动范围，以信号机不会脱离的方式，变更摄像机11的摄像方向。
因此，即使是车辆51在弯道上行驶的情况等，信号机P1在图像R1内复杂地移动的情况下，通过必要最小限度的摄像方向的变更能够避免信号机P1的脱离。其结果，不需要在接近信号机P1的地点Z2～Z4的摄像机11的摄像方向的变更，因此，能够可靠地检测信号机P1的点亮状态的变化，并可靠地判断是在交叉路口停止，还是进行行驶。
[第三实施方式的说明]
接着，说明本发明的第三实施方式。上述的第一实施方式及第二实施方式中，表示如下的情况，即在充分远离信号机P1存在的交叉路口的地点即地点Z1变更摄像机11的摄像方向，之后，不需要摄像机11的摄像方向的变更。
第三实施方式中，设为车辆51进行自动驾驶，且在信号机P1的跟前设定限制摄像机的摄像方向的变更的区域(以下称为“变更限制区域”)。而且，在该变更限制区域内不变更摄像机11的摄像方向，并以信号机P1不从图像R1内脱离的方式控制。以下，参照图14、图15进行详细地说明。此外，装置构成与第一实施方式中表示的图1～图3一样，因此，省略说明。
图14(a)是表示在信号机P1的跟前设定的变更限制区域Q1的说明图。在自动驾驶的车辆51向信号机P1接近的情况下，监视该信号机P1的点亮状态(红色，绿色的点亮状态等)，根据该点亮状态，判断是否使车辆51停止，或是否以该状态继续行驶。将需要该判断的区域设定为上述的变更限制区域Q1。即，当变更摄像机11的摄像方向时，点亮状态的检测精度降低，因此，在需要该判断的区域中，以能够高精度地检测信号机P1的点亮状态的方式，设定为变更限制区域Q1。在此，变更限制区域Q1能够基于相对于信号机P1设定的停止位置、车辆51的行驶速度、车辆当前位置信息D05、地图信息D02进行设定。
例如，如图14(a)所示，在未到达变更限制区域Q1的地点即地点Z1，从车辆51至信号机P1具有充分的距离，因此，即使变更摄像机11的摄像方向，也不影响信号机P1的点亮状态检测。另外，在穿过变更限制区域Q1的地点Z2，车辆51是否停止，或是否继续行驶的判断已经结束，因此，摄像机11的摄像方向的变更不会对车辆51的自动驾驶的行驶控制造成较大的影响。
因此，第三实施方式中，设定变更限制区域Q1，并在该变更限制区域Q1以外的地点以变更摄像机11的摄像方向的方式控制摄像机11的姿势。
具体而言，如图14(b)的符号b1所示，在地点Z1，存在于图像R1的信号机P1存在于中央稍靠右侧，因此，在该时间点判断为信号机P1不会脱离。但是，车辆51到达变更限制区域Q1的之前的地点Z1起，在该时间点变更摄像机11的摄像方向。其结果，如图14(c)的符号c1所示，以信号机P1位于图像R1内的左下方的方式被控制。之后，在车辆51通过变更限制区域Q1内并直到到达地点Z2的期间，如图14(c)的符号c2、c3所示，信号机P1不会从图像R1内脱离而能够被捕捉。
与之相对，在未设定变更限制区域Q1的情况下，如图15所示，在变更限制区域Q1内变更摄像机11的摄像方向。即，图15(a)中，在车辆51到达地点Z1的时间点，如图15(b)的符号b1所示，信号机P1存在于图像R1的中央稍靠右侧，因此，不能判断为该信号机P1从图像R1内脱离。而且，如符号b2所示，在信号机P1位于图像R1的右端部的时间点(图15(a)中，车辆51在变更限制区域Q1内的位置)，判断为脱离，因此，在该时间点变更摄像机11的摄像方向。
其结果，如图15(c)的符号c1所示，以信号机P1来到图像R1的左下方的方式被控制。另外，车辆51进行行驶时，在到达地点Z2的时间点，如图15(c)的符号c2所示，信号机P1位于图像R1内的中央稍靠右侧。在该情况下，在需要信号机P1的点亮状态的识别结果的变更限制区域Q1内，变更摄像机11的摄像方向。
因此，在需要进行车辆51根据信号机P1的点亮状态是否停止，或是否继续行驶的判断的区域内，变更摄像机11的摄像方向，由于该摄像方向的变更，存在信号机P1的检测精度降低的可能性。
第三实施方式的信号机识别装置100中，如图14所示，在信号机P1的跟前设定变更限制区域Q1，禁止在该变更限制区域Q1内的摄像机11的摄像方向的变更，因此，能够防止信号机P1从图像R1内脱离，且高精度地检测信号机P1的点亮状态。其结果，能够适当地判断是否将车辆51停止，或者行驶。
另外，变更限制区域Q1根据车速、减速G、直到停车线的距离进行变化。通过根据该变化设定变更限制区域Q1，能够将需要信号机P1的识别结果的时间和变更摄像机11的摄像方向的时间可靠地错开。
[第三实施方式的变形例的说明]
上述的第三实施方式中，在信号机P1的跟前设定禁止摄像机11的摄像方向的变更的变更限制区域Q1，并在车辆51到达该变更限制区域Q1之前的时间点变更摄像机11的摄像方向，由此，以避免信号机P1从图像R1内脱离的方式进行控制。
信号机P1的点亮状态的检测在规定的每个运算周期执行，由摄像机11拍摄的图像中，有时仅使用例如运算周期的开始时间点的图像。在这种情况下，在该运算周期内，即使在不使用由摄像机11拍摄的图像的时间段(时域)，变更摄像机11的摄像方向，也不影响信号机P1的点亮状态的检测。
于是，在变形例的信号机识别装置中，车辆51在变更限制区域Q1内行驶时，划分成使用由摄像机11拍摄的图像的时间段(以下，称为“图像使用时间段”)和能够变更不使用由摄像机11拍摄的图像的摄像机11的摄像方向的时间段(以下，称为“变更时间段”)，仅在图像使用时间段，以禁止摄像方向的变更的方式设定变更禁止区域。
具体而言，如图16(a)所示，在变更限制区域Q1内设定与图像使用时间段对应的区域Qa、及与变更时间段对应的区域Qb。这些区域Qa、Qb能够基于车辆51的行驶速度及信号机识别部14的运算周期进行设定。而且，对于区域Qb，允许摄像机11的摄像方向的变更。
因此，例如变更限制区域Q1内的地点Z2在区域Qb内，因此，能够变更摄像机11的摄像方向。因此，如图16(b)所示，在车辆51在地点Z1行驶的情况下，如图16(b)的符号b1所示，信号机P1不会脱离，因此，不变更摄像机11的摄像方向。而且，在车辆51到达地点Z2的时间点，如符号b2所示，判断为信号机P1从图像R1脱离，因此，变更摄像机11的摄像方向。其结果，如图16(c)的符号c1所示，使信号机P1位于图像R1内的左下，之后，在车辆51到达地点Z3时，也如图16的符号c2所示，信号机P1不会从图像R1脱离。
这样，第三实施方式的变形例的信号机识别装置100中，基于信号机识别部14的运算周期，设定与图像使用时间段对应的区域Qa和与变更时间段对应的区域Qb，对于区域Qb，允许摄像机11的摄像方向的变更。因此，即使在车辆51进入变更限制区域Q1内的情况下，在区域Qb内的行驶时，能够变更摄像机11的摄像方向，能够进一步可靠地避免信号机P1从图像R1内脱离的情况。
[第四实施方式的说明]
接着，说明本发明的第四实施方式。此外，装置构成与第一实施方式中表示的图1～图3一样，因此，省略说明。
第四实施方式中，在成为监视对象的信号机存在两个的情况下，以双方的信号机不从图像脱离的方式，进行摄像机11的摄像方向的姿势控制。以下，参照图17进行详细地说明。如图17(a)所示，在车辆51的行驶路径X3上存在两个信号机P1、P2且双方都能够被拍摄的情况下，以双方的信号机P1、P2不从图像R1脱离的方式进行摄像机11的摄像方向的姿势控制。
因此，车辆51到达地点Z1时，如图17(b)的符号b1所示，得到存在两个信号机P1、P2的图像R1。之后，到达地点Z2时，如符号b2所示，判断为信号机P2从图像R1脱离。在该情况下，在该地点Z2变更摄像机11的摄像方向。其结果，如图17(c)的符号c1所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。即，以两个信号机P1、P2中，左侧的信号机P1位于图像R1的左侧的方式，且双方的信号机P1、P2不脱离的方式进行控制。
进而，车辆51到达地点Z3时，如图17(c)的符号c2所示，判断为信号机P2从图像R1脱离。在该情况下，在该地点Z3变更摄像机11的摄像方向。其结果，如图17(d)的符号d1所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。
之后，车辆51到达地点Z4时，如图17(d)的符号d2所示，判断为信号机P2从图像R1内脱离。在该情况下，在该地点Z4变更摄像机11的摄像方向。其结果，如图17(e)的符号e1所示，以信号机P1、P2位于图像R1内的左侧的方式设定摄像机11的摄像方向并进行姿势控制。而且，在车辆51到达地点Z5的时间点，双方的信号机P1、P2不会从图像R1内脱离而被捕捉。
这样，在第四实施方式的信号机识别装置100中，即使存在两个信号机P1、P2的情况下，各信号机P1、P2也不会从图像R1脱离而能够继续显示。在此，图17所示的例子中，在图17(a)所示的地点Z2、Z3、Z4的3个部位进行摄像机11的摄像方向的姿势控制。这种摄像机11的摄像方向的姿势控制如上述的图16所示，通过在成为不使用由摄像机11拍摄的图像的期间的区域Qb执行信号识别处理，能够不对信号机状态的检测精度造成影响地变更摄像机11的摄像方向。
此外，上述的第四实施方式中，说明了在存在两个信号机P1、P2的情况下，以这些信号机P1、P2不从图像R1脱离的方式设定摄像机11的摄像方向并进行姿势控制的例子，但本发明不限定于两个信号机，在存在3个以上的信号机的情况下也能够同样适用。
[第五实施方式的说明]
接着，说明本发明的第五实施方式。此外，装置构成与第一实施方式中表示的图1～图3一样，因此，省略说明。
第五实施方式中，在成为监视对象的信号机存在两个，且双方的信号机同步动作的情况下，以将其中在图像R1内的移动量较小的一方优先不使其脱离的方式设定摄像机11的摄像方向并进行姿势控制。以下，参照图18进行详细地说明。如图18(a)所示，在车辆51的行驶路径上存在两个信号机P1、P2的情况下，由摄像机11在地点Z1拍摄的图像R1如图18(b)的符号b1所示，在图像R1的中央部捕捉到各信号机P1、P2。而且，在各信号机P1、P2同步动作的情况下，即在点灯颜色的变化相同的情况下，以各信号机P1、P2中推定为在图像R1内的移动量较小的信号机P1不从图像R1脱离的方式，进行摄像机11的摄像方向的姿势控制。
即，在车辆51到达地点Z2的时间点，如图18(b)的符号b2所示，即使在判断为信号机P2脱离的情况下，也不进行摄像机11的摄像方向的姿势控制。而且，在车辆51到达地点Z3的时间点，如符号b3所示，在判断为信号机P1脱离的情况下，进行摄像机11的摄像方向的姿势控制，如图18(c)的符号c1所示，信号机P1位于图像R1的左侧。之后，车辆51到达地点Z4、Z5时，分别如符号c2、c3所示，信号机P1不会从图像R1脱离而被捕捉。其结果，能够可靠地识别信号机P1的点亮状态。当然，信号机P2与信号机P1同步地动作，因此，即使不能够检测点亮状态，也不会产生问题。
另外，在地点Z3的摄像机11的摄像方向的姿势控制如上述的图16所示，通过在成为不使用由摄像机11拍摄的图像的期间的区域Qb执行信号识别处理，能够不对信号机状态的检测精度造成影响地变更摄像机11的摄像方向。
这样，第五实施方式的信号机识别装置中，在由摄像机11拍摄的图像R1内，存在相互同步动作的两个信号机P1、P2的情况下，以其中一信号机(上述的例子中，信号机P1)不从图像R1脱离的方式进行控制，因此，能够降低摄像机11的摄像方向的变更的次数，且可靠地检测信号机的点亮状态。
以上，基于图示的实施方式说明本发明的信号机识别装置及信号机识别方法，但本发明不限定于此，各部分的构成能够置换成具有相同功能的任意的构成。
符号说明
11 摄像机(摄像部)
12 车辆当前位置检测部
13 摄像方向设定部
14 信号机识别部
21 信号机位置推定部
22 位置变化量计算部
23 摄像姿势设定部
24 摄像机姿势控制部
25 检测区域计算部
26 行驶路径确定部
51 车辆
100 信号机识别装置
D01 路标信息
D02 地图信息
D03 摄像机信息
D04 信号机信息
D05 车辆当前位置信息
D06 检测区域信息
D07 图像数据
D08 检测位置信息
D09 检测位置变化信息
D10 摄像姿势信息
D11 姿势信息
D12 行驶路径信息
P1、P2 信号机
Q1 变更限制区域
R1 图像
X1 行驶路径
X2 弯道
X3 行驶路径

Claims (9)

1.一种信号机识别装置，其特征在于，具备：
摄像部，其搭载于车辆，拍摄所述车辆周围的图像；
地图信息取得部，其取得所述车辆周围的地图信息；
车辆当前位置检测部，其检测所述车辆在地图上的当前位置；
信号机位置推定部，其基于所述车辆当前位置和所述地图信息，推定信号机在图像上的位置；
摄像方向设定部，其基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，设定所述摄像部的摄像方向；
摄像方向变更部，其将所述摄像部的摄像方向变更为由所述摄像方向设定部设定的摄像方向；
信号机识别部，其根据所述摄像部在所述摄像方向拍摄的图像，识别信号机。
2.如权利要求1所述的信号机识别装置，其特征在于，
所述摄像方向设定部基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动范围，设定所述摄像部的摄像方向。
3.如权利要求2所述的信号机识别装置，其特征在于，
摄像方向设定部根据所述信号机在图像上的位置和所述信号机在图像上的将来的移动范围，计算出摄像方向的变更量，基于所述摄像部的摄像范围和所述变更量设定摄像方向。
4.如权利要求2或3所述的信号机识别装置，其特征在于，
所述摄像方向设定部基于所述车辆的将来的行驶路径，预测所述信号机在图像上的将来的移动范围。
5.如权利要求1～4中任一项所述的信号机识别装置，其特征在于，
在多个信号机能够利用所述摄像部拍摄的情况下，所述摄像方向设定部以所述多个信号机包含在图像上的方式，设定所述摄像部的摄像方向。
6.如权利要求1～5中任一项所述的信号机识别装置，其特征在于，
在同步动作的多个信号机能够利用所述摄像部拍摄的情况下，所述摄像方向设定部基于所述同步动作的多个信号机中、在图像上的移动量最小的信号机的移动方向，设定所述摄像部的摄像方向。
7.如权利要求1～6中任一项所述的信号机识别装置，其特征在于，
所述摄像方向设定部基于从相对于所述信号机设置的停止位置至所述车辆的距离、及所述车辆的行驶速度，设定对所述摄像部的摄像方向的变更进行限制的变更限制区域，并在进入该变更限制区域内之前变更所述摄像部的摄像方向。
8.如权利要求1～6中任一项所述的信号机识别装置，其特征在于，
所述摄像方向设定部基于从相对于所述信号机设置的停止位置至车辆的距离、车辆的行驶速度、及所述信号机识别部进行的信号机识别的运算周期，设定所述摄像部的摄像方向的变更时间段，
所述摄像方向变更部在所述变更时间段变更所述摄像部的摄像方向。
9.一种信号机识别方法，其特征在于，具备如下的步骤：
利用摄像部拍摄车辆周围的图像；
取得车辆周围的地图信息；
检测车辆在地图上的当前位置；
基于车辆当前位置和所述地图信息，推定所述信号机在图像上的位置；
基于所述信号机在图像上的位置和所述信号机在图像上的将来的移动方向，设定所述摄像部的摄像方向；
将所述摄像部的摄像方向变更为设定的摄像方向；
所述摄像部根据在所述摄像方向拍摄的图像，识别信号机。
CN201580081578.7A 2015-07-13 2015-07-13 信号机识别装置及信号机识别方法 Active CN107851387B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/070041 WO2017009933A1 (ja) 2015-07-13 2015-07-13 信号機認識装置及び信号機認識方法

Publications (2)

Publication Number Publication Date
CN107851387A true CN107851387A (zh) 2018-03-27
CN107851387B CN107851387B (zh) 2021-04-27

Family

ID=57757866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081578.7A Active CN107851387B (zh) 2015-07-13 2015-07-13 信号机识别装置及信号机识别方法

Country Status (10)

Country Link
US (1) US10339805B2 (zh)
EP (1) EP3324383B1 (zh)
JP (1) JP6447729B2 (zh)
KR (1) KR101988811B1 (zh)
CN (1) CN107851387B (zh)
BR (1) BR112018000191B1 (zh)
CA (1) CA2992080C (zh)
MX (1) MX361911B (zh)
RU (1) RU2693419C1 (zh)
WO (1) WO2017009933A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897345A (zh) * 2018-07-18 2018-11-27 北京小马智行科技有限公司 一种控制无人车摄像头旋转的方法及系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180245A1 (ja) * 2017-03-28 2018-10-04 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
JP6552064B2 (ja) * 2017-03-31 2019-07-31 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
US10567724B2 (en) * 2018-04-10 2020-02-18 GM Global Technology Operations LLC Dynamic demosaicing of camera pixels
US10339400B1 (en) * 2018-12-18 2019-07-02 Chongqing Jinkang New Energy Automobile Co., Ltd. Traffic light detection using multiple cameras
DE102018133441A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
CN110647605B (zh) * 2018-12-29 2022-04-29 北京奇虎科技有限公司 一种基于轨迹数据挖掘红绿灯数据的方法及装置
US10930145B2 (en) * 2019-03-06 2021-02-23 Avanti R&D, Inc. Traffic system for predicting and providing traffic signal switching timing
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
JP6979438B2 (ja) * 2019-11-05 2021-12-15 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
JP6965325B2 (ja) * 2019-11-05 2021-11-10 三菱スペース・ソフトウエア株式会社 自動検出システムおよび自動検出プログラム
JP7226583B2 (ja) 2019-11-12 2023-02-21 日産自動車株式会社 信号機認識方法及び信号機認識装置
CN112489466B (zh) * 2020-11-27 2022-02-22 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
JP2022147209A (ja) * 2021-03-23 2022-10-06 トヨタ自動車株式会社 車両制御装置
CN114332815B (zh) * 2021-12-24 2023-08-29 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003151042A (ja) * 2001-11-13 2003-05-23 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
CN103718225A (zh) * 2011-08-02 2014-04-09 日产自动车株式会社 行驶辅助装置以及行驶辅助方法
WO2014162797A1 (ja) * 2013-04-04 2014-10-09 日産自動車株式会社 信号認識装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306489A (ja) 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd カメラシステム
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
US20150235094A1 (en) * 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP5427203B2 (ja) * 2011-03-30 2014-02-26 富士重工業株式会社 車両用運転支援装置
US8989914B1 (en) * 2011-12-19 2015-03-24 Lytx, Inc. Driver identification based on driving maneuver signature
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
JP5761109B2 (ja) * 2012-04-10 2015-08-12 トヨタ自動車株式会社 運転支援装置
US9176500B1 (en) * 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
US20130335579A1 (en) * 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
US8988574B2 (en) * 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
JP5886799B2 (ja) * 2013-08-05 2016-03-16 富士重工業株式会社 車外環境認識装置
GB2517788B (en) * 2013-09-03 2016-06-08 Jaguar Land Rover Ltd Water depth estimation apparatus and method
JP6180968B2 (ja) * 2014-03-10 2017-08-16 日立オートモティブシステムズ株式会社 車両制御装置
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства
JP2016081359A (ja) * 2014-10-20 2016-05-16 クラリオン株式会社 情報提示装置
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
JP6361567B2 (ja) * 2015-04-27 2018-07-25 トヨタ自動車株式会社 自動運転車両システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003151042A (ja) * 2001-11-13 2003-05-23 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
CN103718225A (zh) * 2011-08-02 2014-04-09 日产自动车株式会社 行驶辅助装置以及行驶辅助方法
WO2014162797A1 (ja) * 2013-04-04 2014-10-09 日産自動車株式会社 信号認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897345A (zh) * 2018-07-18 2018-11-27 北京小马智行科技有限公司 一种控制无人车摄像头旋转的方法及系统

Also Published As

Publication number Publication date
JP6447729B2 (ja) 2019-01-16
EP3324383B1 (en) 2021-05-19
WO2017009933A1 (ja) 2017-01-19
KR101988811B1 (ko) 2019-06-12
BR112018000191A2 (pt) 2018-09-11
CN107851387B (zh) 2021-04-27
MX361911B (es) 2018-12-19
EP3324383A4 (en) 2018-12-05
BR112018000191B1 (pt) 2023-02-14
MX2018000377A (es) 2018-03-14
EP3324383A1 (en) 2018-05-23
KR20180018732A (ko) 2018-02-21
RU2693419C1 (ru) 2019-07-02
CA2992080C (en) 2020-01-28
US20180365991A1 (en) 2018-12-20
CA2992080A1 (en) 2017-01-19
US10339805B2 (en) 2019-07-02
JPWO2017009933A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
CN107851387A (zh) 信号机识别装置及信号机识别方法
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
CN107836017B (zh) 信号机识别装置及信号机识别方法
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
EP3057063B1 (en) Object detection device and vehicle using same
KR102485480B1 (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
JP2019505034A (ja) 車両のレーン割込みの自動予測及び利他的応答
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
CN104508708B (zh) 道路环境识别装置
CN107615351B (zh) 信号机检测装置及信号机检测方法
JP2011180982A (ja) 区画線検出装置
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP2016018371A (ja) 車載システム、情報処理装置、及びプログラム
JP6834401B2 (ja) 自己位置推定方法及び自己位置推定装置
JP2018055222A (ja) 走路検出方法及び走路検出装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2007278869A (ja) 測距装置、車両の周辺監視装置、測距方法、および測距用プログラム
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP5891802B2 (ja) 車両位置算出装置
CN108885837A (zh) 移动轨迹检测装置、移动物体检测装置、移动轨迹检测方法
RU2779798C1 (ru) Способ распознавания светофора и устройство распознавания светофора
JP2020076714A (ja) 位置姿勢推定装置
JP7344776B2 (ja) 信号機認識方法及び信号機認識装置
JP2008070332A (ja) 車両から信号機までの距離測定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant