CN110033629A - 信号灯识别装置以及自动驾驶系统 - Google Patents

信号灯识别装置以及自动驾驶系统 Download PDF

Info

Publication number
CN110033629A
CN110033629A CN201910015623.9A CN201910015623A CN110033629A CN 110033629 A CN110033629 A CN 110033629A CN 201910015623 A CN201910015623 A CN 201910015623A CN 110033629 A CN110033629 A CN 110033629A
Authority
CN
China
Prior art keywords
vehicle
signal lamp
region
identification
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910015623.9A
Other languages
English (en)
Other versions
CN110033629B (zh
Inventor
林勇介
镰田展秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110033629A publication Critical patent/CN110033629A/zh
Application granted granted Critical
Publication of CN110033629B publication Critical patent/CN110033629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种信号灯识别装置以及自动驾驶系统。信号灯识别装置具备：信号灯识别部，其基于照相机的拍摄结果而执行信号灯的识别处理；外部状况识别部，其识别周边车辆的大小以及位置；以及遮挡环境判定部，其判定本车辆的前方的区域是否是从照相机朝向信号灯的视线被周边车辆遮挡的信号灯遮挡环境。信号灯识别部在困难区域内不执行信号灯的识别处理，并且在判定为本车辆的前方的区域是信号灯遮挡环境的情况下，不执行信号灯的识别处理。

Description

信号灯识别装置以及自动驾驶系统
技术领域
本公开涉及信号灯识别装置以及具备信号灯识别装置的自动驾驶系统。
背景技术
例如，如下述的专利文献1所记载的那样，存在对本车辆的前方的信号灯进行识别的信号灯识别装置。该信号灯识别装置基于本车辆的位置、地图信息所包含的信号灯的设置位置、以及拍摄部的拍摄结果来识别信号灯。
专利文献1：日本特开2016-042226号公报
例如，存在信号灯被存在于信号灯附近的树木覆盖的情况等、难以从本车辆识别信号灯的情况。在这样的情况下，即使信号灯识别装置执行信号灯的识别处理，也无法实现信号灯的识别。因此，在本技术领域中，优选高效地执行信号灯的识别处理。
发明内容
本公开是对本车辆的前方的信号灯进行识别的信号灯识别装置，其中，具备：地图存储部，其存储包含信号灯的设置位置、和从行驶车道上观察时难以确认信号灯的困难区域的位置信息在内的地图信息；车辆位置识别部，其对本车辆的地图上的位置进行识别；拍摄部，其对本车辆的前方进行拍摄；信号灯识别部，其基于拍摄部的拍摄结果而执行信号灯的识别处理；周边车辆识别部，其对本车辆周围的周边车辆的大小以及相对于本车辆的位置进行识别；以及遮挡环境判定部，其判定本车辆的前方的区域是否是当本车辆在该区域行驶时从拍摄部朝向信号灯的视线被周边车辆遮挡的信号灯遮挡环境，遮挡环境判定部基于信号灯的设置位置、由周边车辆识别部识别出的周边车辆的大小以及位置，预测当本车辆在本车辆的前方的区域行驶时，周边车辆是否遮挡从拍摄部朝向信号灯的视线，并基于预测结果而判定是否是信号灯遮挡环境，信号灯识别部在由车辆位置识别部识别出的本车辆的位置在困难区域内的情况下，不执行信号灯的识别处理，并且在遮挡环境判定部中判定为本车辆的前方的区域是信号灯遮挡环境的情况下，不执行信号灯的识别处理。由此，信号灯识别装置能够高效地执行信号灯的识别处理。
信号灯识别装置还具备识别区域设定部，该识别区域设定部在行驶车道上且在信号灯的近前的位置设定应该执行信号灯的识别处理的识别区域，当由车辆位置识别部识别出的本车辆的位置在识别区域内的情况下，信号灯识别部执行信号灯的识别处理，遮挡环境判定部判定识别区域中的困难区域以外的区域内是否是信号灯遮挡环境，并且信号灯识别部在识别区域中的困难区域内不执行信号灯的识别处理，且在遮挡环境判定部中判定为识别区域中的困难区域以外的区域内是信号灯遮挡环境的情况下，在识别区域中的困难区域以外的区域内不执行信号灯的识别处理。在该信号灯识别装置中，信号灯识别部使用地图信息所包含的困难区域，在识别区域中的除去困难区域的区域内执行信号灯的识别处理。因此，信号灯识别装置能够基于地图信息所包含的困难区域，在将从一开始就难以进行信号灯的识别的区域除去的区域内执行信号灯的识别处理。另外，信号灯识别部在识别区域中的除去困难区域的区域内执行信号灯的识别处理时，在因被周边车辆遮挡而判定为处于无法识别信号灯的信号灯遮挡环境的情况下，在该区域内不执行信号灯的识别处理。由此，信号灯识别装置能够在识别区域内，高效地执行信号灯的识别处理。
本公开是执行本车辆的自动驾驶控制的自动驾驶系统，其中，具备：上述的信号灯识别装置；行驶计划生成部，其生成自动驾驶控制中的行驶计划；以及车辆控制部，其基于行驶计划而执行本车辆的自动驾驶控制，遮挡环境判定部在本车辆基于行驶计划而行驶的情况下，预测周边车辆是否遮挡从拍摄部朝向信号灯的视线，行驶计划生成部在遮挡环境判定部中判定为本车辆的前方的区域是信号灯遮挡环境的情况下，生成在遮挡环境判定部中本车辆的前方的区域不被判定是信号灯遮挡环境的新的行驶计划。
该自动驾驶系统具备上述的信号灯识别装置，从而能够高效地执行信号灯的识别处理。另外，自动驾驶系统在判定为本车辆的前方的区域处于信号灯遮挡环境的情况下生成新的行驶计划，从而能够提高拍摄部能够确认信号灯的可能性。
自动驾驶系统也可以进一步具备在由行驶计划生成部开始上述新的行驶计划的生成的情况下进行报告的报告部。在该情况下，本车辆的乘员能够识别出存在行驶计划被变更的可能性。
根据各种公开，能够高效地执行信号灯的识别处理。
附图说明
图1是表示实施方式所涉及的自动驾驶系统的概略结构的图。
图2中，(a)是表示利用照相机对本车辆的前方的周边车辆进行拍摄的拍摄图像的图，(b)是表示利用照相机对本车辆的前方的周边车辆进行拍摄的拍摄图像的图。
图3中，(a)是表示周边车辆正在本车辆的斜前方行驶的样子的图，(b)是表示周边车辆正在本车辆的斜后方行驶的样子的图，(c)是表示周边车辆正在本车辆的侧方行驶的样子的图。
图4是表示在信号灯的近前设定的识别区域的图。
图5是表示对信号灯和周边车辆进行投影而成的投影图像的图。
图6是表示自动驾驶系统基于信号灯是否被周边车辆遮挡而变更行驶计划的处理的流程的流程图。
图7是表示由外部状况识别部进行的识别周边车辆的大小的处理的流程的一个例子的流程图。
图8是表示在遮挡环境判定部中进行的判定是否是信号灯遮挡环境的处理的流程的一个例子的流程图。
图9是表示由行驶计划生成部进行的生成新的行驶计划的处理的流程的一个例子的流程图。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。此外，在附图的说明中，对于相同的要素标注相同的附图标记并省略重复的说明。
图1所示的自动驾驶系统100搭载于乘用车等本车辆V，执行本车辆V的自动驾驶控制。自动驾驶系统100在由乘员进行了自动驾驶控制的开始操作(按下自动驾驶的开始按钮的操作等)的情况下，开始本车辆V的自动驾驶控制。
自动驾驶控制是使本车辆V朝向预先设定的目的地自动地行驶的车辆控制。在自动驾驶控制中，驾驶员无需进行驾驶操作，本车辆V自动地行驶。
如图1所示，自动驾驶系统100具备对装置进行统一管理的ECU[ElectronicControl Unit：电子控制单元]10。ECU10是具有CPU[Central Processing Unit：中央处理器]、ROM[Read Only Memory：只读存储器]、RAM[Random Access Memory：随机存取存储器]等的电子控制单元。在ECU10中，例如将存储于ROM的程序加载于RAM，由CPU执行加载于RAM的程序来实现各种功能。ECU10也可以由多个电子单元构成。
在ECU10连接有GPS接收部1、外部传感器2、内部传感器3、地图数据库(地图存储部)4、导航系统5、促动器6、以及HMI[Human Machine Interface：人机接口]7。
GPS接收部1从三个以上的GPS卫星接收信号，从而测定本车辆V的位置(例如本车辆V的纬度以及经度)。GPS接收部1将测定出的本车辆V的位置信息向ECU10发送。
外部传感器2是对本车辆V的周边的状况进行检测的检测设备。外部传感器2包括用于识别信号灯的照相机(拍摄部)2a。外部传感器2也可以在照相机2a的基础上，还包含雷达传感器等其他的传感器。照相机2a是除了本车辆V的前方的信号灯之外，还对本车辆V的周围进行拍摄的拍摄设备。照相机2a将本车辆V的周围的拍摄信息(拍摄图像的信息)向ECU10发送。照相机2a可以是单眼照相机，也可以是立体照相机。立体照相机具有以再现两眼视差的方式配置的两个拍摄部。在立体照相机的拍摄信息中，也可以包含进深方向的信息。
雷达传感器是利用电波(例如毫米波)或者光来检测本车辆V的周边的障碍物的检测设备。雷达传感器例如包括毫米波雷达或者激光雷达[LIDAR：Light Detection andRanging]。雷达传感器将电波或者光向本车辆V的周边发送，并接收由障碍物反射的电波或者光，从而对障碍物进行检测。雷达传感器将检测到的障碍物信息向ECU10发送。
内部传感器3是对本车辆V的行驶状态进行检测的检测设备。内部传感器3包括车速传感器、加速度传感器、以及偏航率传感器。车速传感器是对本车辆V的车速进行检测的检测器。作为车速传感器，例如使用相对于本车辆V的车轮或者与车轮一体旋转的驱动轴等设置，并对车轮的旋转速度进行检测的车轮速传感器。车速传感器将所检测到的车速信息(车轮速信息)发送至ECU10。
加速度传感器是对本车辆V的加速度进行检测的检测器。加速度传感器例如也可以包括对本车辆V的前后方向的加速度进行检测的前后加速度传感器、以及对本车辆V的横向加速度进行检测的横向加速度传感器。加速度传感器例如将本车辆V的加速度信息发送至ECU10。偏航率传感器是对本车辆V的围绕重心的铅直轴的偏航率(旋转角速度)进行检测的检测器。作为偏航率传感器，例如能够使用陀螺仪传感器。偏航率传感器将检测到的本车辆V的偏航率信息向ECU10发送。
地图数据库4是存储地图信息的数据库。地图数据库形成在搭载于车辆的HDD[Hard Disk Drive：硬盘驱动器]内。地图信息包含道路的位置信息、道路形状的信息(例如弯道、直道的种类、弯道的曲率等)、交叉点以及分支点的位置信息、设定于道路的限制车速、以及建筑物的位置信息等。此外，地图数据库也可以存储于能够与车辆进行通信的信息处理中心等施设的计算机。
地图信息包含信号灯的设置位置的位置信息。在该信号灯的设置位置的位置信息中包含信号灯的发光部(设置有灯泡等发光体的部位)的高度位置。在地图信息中包含设置于信号灯的近前侧的停止线的位置信息。
在地图信息中还包含从行驶车道上观察时难以确认信号灯(发光部)的困难区域的位置信息。例如，困难区域也可以是被存在于信号灯的附近的树木的枝叶、广告牌、标志、或者道路构造物等遮挡，而难以确认信号灯的发光部的区域。例如，困难区域也可以是照相机2a的拍摄图像因背光而过度曝光，从而难以从照相机2a的拍摄图像中识别信号灯的发光部的区域。例如，困难区域也可以是因道路坡度而导致无法确认信号灯的发光部的区域。例如，困难区域也可以是因顺光而使得照相机2a的拍摄图像中的信号灯的发光部的全部发光体均发光，从而难以识别是哪一发光体正在发光的区域。在因该背光以及顺光而使得信号灯的发光部的识别变得困难的困难区域的位置信息，也可以关联有处于背光或者顺光的时间段的信息。例如，困难区域也可以是在周围建有高大的建筑物等因此太阳光被遮挡而变暗，从而难以确认信号灯的发光部的区域。另外，在信号灯的发光部安装有视觉限制装置的情况下，只能从特定的位置确认信号灯的发光部的发光。在设置有这样的信号灯的情况下，例如在信号灯的附近，也可以将能够确认信号灯的发光部的特定的位置以外的区域设定为困难区域。
导航系统5是进行本车辆V的驾驶员的引导直至预先设定的目的地的系统。导航系统5基于GPS接收部1的测定出的本车辆V的位置和地图数据库4的地图信息，生成从本车辆V的当前的位置到目的地为止的路径。导航系统5通过后述的HMI7的图像显示以及声音输出而对驾驶员进行该路径的引导。导航系统5将与本车辆V的目的地以及本车辆V的路径有关的信息发送至ECU10。此外，自动驾驶系统100也可以不必具备导航系统5。本车辆V的路径的生成也可以通过ECU10进行。目的地可以由乘员设定，也可以通过导航系统5等以公知的手法自动地设定。
促动器6是用于本车辆V的控制的设备。促动器6至少包括驱动促动器、制动促动器、以及转向操纵促动器。驱动促动器与来自ECU10的控制信号对应地控制空气相对于发动机的供给量(例如节气门开度)，从而控制本车辆V的驱动力。此外，在本车辆V为混合动力车的情况下，除了空气相对于发动机的供给量之外，还对作为动力源的马达输入来自ECU10的控制信号来控制该驱动力。在本车辆V为电动汽车的情况下，向作为动力源的马达输入来自ECU10的控制信号而对该驱动力进行控制。上述情况下的作为动力源的马达构成促动器6。
制动促动器根据来自ECU10的控制信号而控制制动系统，并控制对本车辆V的车轮赋予的制动力。作为制动系统，例如能够使用液压制动系统。转向操纵促动器根据来自ECU10的控制信号，对电动助力转向系统中的控制转向操纵扭矩的辅助马达的驱动进行控制。由此，转向操纵促动器控制本车辆V的转向操纵扭矩。
HMI7是用于在自动驾驶系统100与本车辆V的乘员之间进行信息的输入输出的接口。HMI7例如具备显示器、扬声器等。HMI7根据来自ECU10的控制信号，进行显示器的图像输出以及来自扬声器的声音输出。另外，HMI7具备用于供乘员进行输入操作的输入按钮、触摸面板、声音输入装置等输入部。
接下来，对ECU10的功能的结构进行说明。ECU10具有车辆位置识别部11、外部状况识别部(周边车辆识别部)12、行驶状态识别部13、行驶计划生成部14、识别区域设定部15、遮挡环境判定部16、信号灯识别部17、报告部18、以及车辆控制部19。ECU10的功能的一部分也可以在能够与本车辆V进行通信的服务器中被执行。
此外，利用照相机2a、地图数据库4、车辆位置识别部11、外部状况识别部12、识别区域设定部15、遮挡环境判定部16、以及信号灯识别部17，构成对本车辆V的前方的信号灯进行识别的信号灯识别装置。即，自动驾驶系统100具备对本车辆V的前方的信号灯进行识别的信号灯识别装置。
车辆位置识别部11基于GPS接收部1的位置信息以及地图数据库4的地图信息，识别本车辆V的地图上的位置。另外，车辆位置识别部11利用地图数据库4的地图信息所包含的电线杆等固定障碍物的位置信息以及外部传感器2的检测结果，通过SLAM[SimultaneousLocalization and Mapping：同时定位与地图构建]技术来识别本车辆V的位置。车辆位置识别部11另外也可以通过公知的手法来识别车辆的地图上的位置。
外部状况识别部12对本车辆V的周围的道路状况进行识别。外部状况识别部12例如基于外部传感器2的检测结果，识别障碍物相对于本车辆V的位置(障碍物相对于本车辆V的方向以及本车辆V与障碍物的相对距离)、以及本车辆V与障碍物的相对速度。外部状况识别部12例如基于外部传感器2的照相机2a的拍摄信息，识别本车辆V的行驶车道以及邻接车道的白线(车道边界线)。外部状况识别部12也可以基于照相机2a的拍摄信息，识别白线的线种(连续线、虚线等)。外部状况识别部12例如基于白线的识别结果，对本车辆V所行驶的行驶车道进行识别。在外部状况识别部12所识别的障碍物中，包括在本车辆V的周围移动的行人，自行车、以及周边车辆等移动障碍物。另外，在障碍物中也包括护栏、建筑物等固定障碍物。
另外，外部状况识别部12除了周边车辆相对于本车辆V的位置之外，还识别周边车辆的大小。外部状况识别部12基于外部传感器2的检测结果，通过公知的手法来识别周边车辆的大小。这里，外部状况识别部12作为周边车辆的大小而识别周边车辆的宽度(横向宽度)、高度、以及全长。
首先，对外部状况识别部12根据照相机2a的拍摄图像来识别在本车辆V的前方行驶的周边车辆V1的大小的情况进行说明。在照相机2a的拍摄图像中，如图2中的(a)所示地描绘有周边车辆V1的后部。例如，当对在本车辆V的前方行驶的周边车辆V1的大小进行识别的情况下，外部状况识别部12基于拍摄图像而识别周边车辆V1的宽度W以及高度H。外部状况识别部12难以从拍摄图像中直接识别出周边车辆V1的全长L。因此，外部状况识别部12基于识别出的周边车辆V1的宽度W以及高度H，推断周边车辆V1的种类(乘用车、大型卡车等种类)。此外，外部状况识别部12也可以根据拍摄图像所包含的周边车辆V1的形状等特征，推断周边车辆V1的种类。这里，外部状况识别部12以车辆的种类为单位，预先存储有车辆的全长L的代表值。作为一个例子，在乘用车的情况下，外部状况识别部12作为全长L的代表值而存储有4m。作为一个例子，在大型卡车的情况下，外部状况识别部12作为全长L的代表值而存储有12m。外部状况识别部12根据预先存储的每种车辆的全长L的代表值，选择与识别出的周边车辆V1的种类对应的全长L的代表值。外部状况识别部12将选择出的全长L的代表值作为在本车辆V的前方行驶的周边车辆V1的全长L来采用。
接下来，对外部状况识别部12根据照相机2a的拍摄图像而识别在本车辆V的侧方行驶的周边车辆V1的大小的情况进行说明。在照相机2a的拍摄图像中，如图2中的(b)所示地描绘有周边车辆V1的侧部。例如，当对在本车辆V的侧方行驶的周边车辆V1的大小进行识别的情况下，外部状况识别部12基于拍摄图像来识别周边车辆V1的全长L以及高度H。外部状况识别部12难以从拍摄图像中直接识别出周边车辆V1的宽度W。因此，外部状况识别部12如上述那样地推断周边车辆V1的种类。这里，外部状况识别部12以车辆的种类为单位，预先存储有车辆的宽度W的代表值。外部状况识别部12根据预先存储的每种车辆的宽度W的代表值，选择与识别出的周边车辆V1的种类对应的宽度W的代表值。外部状况识别部12将选择出的宽度W的代表值作为在本车辆V的侧方行驶的周边车辆V1的宽度W来采用。
另外，外部状况识别部12也可以从在相互不同的时机拍摄到的多个拍摄图像中分别识别周边车辆的宽度、高度、以及全长的至少一个，并将识别的结果加以组合来识别周边车辆的大小(宽度、高度、全长)。例如，当如图3中的(a)或者(b)所示地周边车辆V1在本车辆V的斜前方或者斜后方行驶的情况下，外部状况识别部12基于照相机2a的拍摄图像，识别周边车辆V1的宽度W以及高度H。而且，外部状况识别部12如图3中的(c)所示地，基于周边车辆V1成为在周边车辆V1的侧方行驶的状态时拍摄到的照相机2a的拍摄图像，识别周边车辆V1的全长L。外部状况识别部12也可以对上述的识别结果进行组合，来识别周边车辆V1的大小(宽度、高度、全长)。
另外，例如当如图3中的(c)所示地周边车辆V1在本车辆V的侧方行驶的情况下，基于照相机2a的拍摄图像，识别周边车辆V1的高度H以及全长L。而且，外部状况识别部12如图3中的(a)或者(b)所示地，基于周边车辆V1成为在本车辆V的斜前方或者斜后方行驶的状态时拍摄到的照相机2a的拍摄图像，识别周边车辆V1的宽度W。外部状况识别部12也可以对上述识别结果进行组合，来识别周边车辆V1的大小(宽度、高度、全长)。
此外，外部状况识别部12也可以在照相机2a的拍摄图像的基础上，还基于由外部传感器2的雷达传感器检测到的障碍物信息，识别周边车辆的大小。例如，外部状况识别部12也可以基于作为激光雷达的检测结果的点群信息，通过公知的手法来识别周边车辆的大小。此外，外部状况识别部12在使用激光雷达的点群信息的情况下，也可以与使用照相机2a的拍摄信息的情况相同地，使用以车辆的种类为单位存储的全长L或者宽度W来识别周边车辆的大小。另外，外部状况识别部12在使用激光雷达的点群信息的情况下，也可以与使用照相机2a的拍摄信息的情况相同地，从在相互不同的时机检测到的点群信息中分别识别周边车辆的宽度、高度、以及全长中的至少一个，并对识别出的结果进行组合来识别周边车辆的大小(宽度、高度、全长)。
行驶状态识别部13基于内部传感器3的检测结果，识别本车辆V的行驶状态。在行驶状态中包含本车辆V的车速、本车辆V的加速度、以及本车辆V的偏航率。具体而言，行驶状态识别部13基于车速传感器的车速信息，识别本车辆V的车速。行驶状态识别部13基于加速度传感器的车速信息，识别本车辆V的加速度。行驶状态识别部13基于偏航率传感器的偏航率信息，识别本车辆V的朝向。
行驶计划生成部14基于由导航系统5设定的目标路线、地图数据库4的地图信息、由外部状况识别部12识别出的本车辆V的周围的道路状况、由行驶状态识别部13识别出的本车辆V的行驶状态、以及信号灯识别部17中的信号灯的识别结果，生成在执行本车辆V的自动驾驶控制时使用的行驶计划。行驶计划生成部14在驾驶员进行了自动驾驶控制的开始操作的情况下，开始行驶计划的生成。行驶计划生成部14以规定时间为单位反复生成行驶计划。该行驶计划是本车辆V从本车辆V的当前的位置到达预先设定的目的地为止的行驶计划。
在行驶计划中包含与本车辆V的目标路线上的位置对应的本车辆V的控制目标值。目标路线上的位置是地图上目标路线的延伸方向上的位置。目标路线上的位置是指在目标路线的延伸方向上以规定间隔(例如1m)为单位设定的设定纵向位置。控制目标值是在行驶计划中成为车辆的控制目标的值。在控制目标值中包含目标车速与目标轨迹。目标车速是在通常用行驶计划中成为本车辆V的车速的控制目标的值。目标轨迹是成为本车辆V行驶的轨迹的控制目标的值。根据目标轨迹来运算本车辆V的转向操纵角的控制目标亦即目标转向操纵角。
目标车速与本车辆V通过自动驾驶控制而行驶的路径上的位置对应地被设定。车辆通过自动驾驶控制而行驶的路径是将预先设定的目的地和当前的本车辆V的地图上的位置连结起来的自动驾驶控制的目标路线。路径上的位置在地图上是路径的延伸方向的位置。具体地，路径上的位置可以是在路径的延伸方向上以规定间隔(例如1m)为单位被设定的设定纵向位置。设定纵向位置的设定方法并不限定于上述的方法。在通常用行驶计划中，在每个设定纵向位置设定有目标车速。
此外，也可以代替目标车速地使用目标加速度或者目标加加速度。另外，也可以在目标轨迹的基础上，还在每个设定纵向位置设定目标转向操纵角、目标转向操纵角速度、目标转向操纵扭矩或者目标横位置(成为本车辆V的目标的道路的宽度方向上的位置)。此外，也可以对控制目标值添加与车辆控制有关的公知的参数。
例如，作为生成行驶计划时的条件，预先决定有在本车辆V的周围行驶的周边车辆与本车辆V的车间距离的条件亦即车间距离条件。行驶计划生成部14预测在本车辆V的周围行驶的周边车辆的位置，以满足预先决定的车间距离条件的方式生成对本车辆V的行驶位置进行了调整的行驶计划。
在后面详细叙述的遮挡环境判定部16中，判定为残留识别区域S1内处于信号灯遮挡环境的情况下，行驶计划生成部14生成遮挡环境判定部16中不被判定为信号灯遮挡环境的新的行驶计划。例如，行驶计划生成部14生成相对于前次生成的行驶计划变更了周边车辆与本车辆V的车间距离的变更后的行驶计划。另外，行驶计划生成部14生成相对于前次生成的行驶计划添加了车道变更的变更后的行驶计划。此外，这里的添加了车道变更的变更后的行驶计划是即便进行车道变更，也能够再次回到驶向目的地的车道(车道变更)的行驶计划。
行驶计划生成部14生成变更了车间距离或者添加了车道变更的变更后的行驶计划，直至遮挡环境判定部16使用变更后的行驶计划进行了残留识别区域S1内是否处于信号灯遮挡环境的判定时不再判定为信号灯遮挡环境为止。行驶计划生成部14将不再判定为信号灯遮挡环境的变更后的行驶计划作为在遮挡环境判定部16中不被判定为信号灯遮挡环境的新的行驶计划来采用(生成)。当即便变更行驶计划，在遮挡环境判定部16中也判定为残留识别区域S1内处于信号灯遮挡环境的情况下(无法生成新的行驶计划的情况下)，行驶计划生成部14判定为需要将本车辆V的驾驶状态从自动驾驶切换为由驾驶员进行的手动驾驶的切换处理。
例如，在判定为残留识别区域S1内处于信号灯遮挡环境的情况下，行驶计划生成部14生成在预先决定的车间距离条件下变更了与前方的周边车辆的车间距离的变更后的行驶计划。例如，行驶计划生成部14作为变更了车间距离的变更后的行驶计划，生成相对于前次生成的行驶计划中的车间距离添加了规定的增加量的行驶计划。当基于变更后的行驶计划而在遮挡环境判定部16中再次判定为信号灯遮挡环境的情况下，行驶计划生成部14生成在预先决定的车间距离条件下再次变更了车间距离的变更后的行驶计划。
当即便在预先决定的车间距离条件下变更车间距离，也判定为残留识别区域S1内处于信号灯遮挡环境的情况下，行驶计划生成部14将相对于前次生成的行驶计划添加了车道变更的行驶计划作为变更后的行驶计划来生成。此外，行驶计划生成部14在相对于前次生成的行驶计划添加了车道变更时，基于预先设定的基准来判定是否能够进行车道变更。例如，作为车道变更中的预先决定的基准，例如存在车道变更目的地的空闲区域的大小的阈值等。当即便添加车道变更，在遮挡环境判定部16中也判定为残留识别区域S1内处于信号灯遮挡环境的情况下，行驶计划生成部14判定为需要进行切换。
此外，当本车辆V正在难以确认信号灯(发光部)的困难区域内行驶的情况下，信号灯识别部17难以进行信号灯的识别。在该情况下，例如，行驶计划生成部14也可以基于周边车辆的移动来推断信号灯所示的指示内容，并基于推断结果来生成行驶计划。另外，行驶计划生成部14在本车辆V正在困难区域内行驶的情况下，也可以判定为需要进行切换。
如图4所示，识别区域设定部15在本车辆V的行驶车道R上且在信号灯A的近前的位置设定应该执行信号灯A的识别处理的识别区域S。例如，识别区域设定部15基于由车辆位置识别部11识别的本车辆V的位置信息、以及存储于地图数据库4的地图信息，在朝向信号灯A行驶的本车辆V与信号灯A的距离处于规定距离以内的情况下，设定识别区域S。识别区域设定部15在行驶车道R上设定识别开始位置P2与识别结束位置P1。识别开始位置P2与识别结束位置P1之间的区域成为识别区域S。
首先，对识别区域设定部15设定识别结束位置P1的顺序的一个例子进行说明。例如，识别区域设定部15在设定识别结束位置P1时，使用行驶车道R的设定车速、本车辆V的制动能力、以及制动时所允许的允许制动加速度。识别区域设定部15从地图数据库4所存储的地图信息中取得行驶车道R的设定车速。本车辆V的制动能力以及允许制动加速度被预先设定。识别区域设定部15基于上述的设定车速等，将本车辆V以设定车速行驶时在不超过允许制动加速度的范围内能够停止于停止线T的最后的位置(最接近停止线T的位置)设定为识别结束位置P1。
接下来，对识别区域设定部15设定识别开始位置P2的顺序的一个例子进行说明。例如，识别区域设定部15在设定识别开始位置P2时使用行驶车道R的设定车速以及显示迁移时间，其中该显示迁移时间是信号灯A的显示从表示“可以行驶”的显示迁移至表示“停止”的显示为止所需要的时间。该显示迁移时间例如是信号灯A从绿灯迁移至红灯所需要的时间。该显示迁移时间可以是预先设定的恒定的时间，也可以针对每个信号灯在不同的情况下包含于地图信息。识别区域设定部15将相比停止线T提前本车辆V以设定车速行驶显示迁移时间时的行驶距离的位置设定为识别开始位置P2。
此外，识别区域设定部15也可以基于其他方法来设定识别结束位置P1以及识别开始位置P2。例如，识别区域设定部15也可以将相比停止线T提前预先决定的距离一侧的位置设定为识别结束位置P1。另外，识别区域设定部15也可以将相比停止线T或者识别结束位置P1提前预先决定的距离一侧的位置设定为识别开始位置P2。
遮挡环境判定部16设定识别区域S中的困难区域N以外的区域。以下，将识别区域S中的困难区域N以外的区域称为“残留识别区域S1”。例如，遮挡环境判定部16如图4所示从识别区域S除去困难区域N，将剩下的区域设定为残留识别区域S1。针对因背光或者顺光变得难以识别信号灯的困难区域，遮挡环境判定部16考虑当前的时间而从识别区域S除去困难区域N。
另外，遮挡环境判定部16判定残留识别区域S1内是否处于本车辆V在该区域内行驶时从照相机2a朝向信号灯A的发光部A1的视线被周边车辆遮挡的信号灯遮挡环境。即，遮挡环境判定部16针对残留识别区域S1执行对是否是信号灯遮挡环境进行判定的处理，针对困难区域N不执行处理。遮挡环境判定部16在本车辆V到达识别开始位置P2前进行该判定。但是，判定是否是信号灯遮挡环境的处理也可以在本车辆到达识别开始位置P2后，在残留识别区域S1内行驶的过程中被执行。
具体而言，遮挡环境判定部16基于信号灯A的设置位置(发光部A1的设置位置以及高度)、和由外部状况识别部12识别出的周边车辆的大小以及位置，预测当本车辆V在残留识别区域S1内行驶时，周边车辆是否会遮挡从照相机2a朝向信号灯A的视线。遮挡环境判定部16从地图数据库4所存储的地图信息中取得信号灯A的设置位置。遮挡环境判定部16在预测出周边车辆会遮挡从照相机2a朝向信号灯A的视线的情况下，判定为残留识别区域S1内处于信号灯遮挡环境。
另外，作为本车辆V在残留识别区域S1内行驶时的本车辆V的位置，遮挡环境判定部16使用本车辆V基于由行驶计划生成部14生成的行驶计划而行驶的情况下的位置。遮挡环境判定部16在本车辆V基于行驶计划而行驶的情况下，预测朝向信号灯A的发光部A1的视线是否会被周边车辆遮挡。
并且，作为周边车辆在残留识别区域S1内行驶时的位置，遮挡环境判定部16使用基于由外部状况识别部12识别出的周边车辆的位置等而预测出的位置。例如，遮挡环境判定部16也可以根据周边车辆的行进方向的车速以及加速度，预测当周边车辆在残留识别区域S1内行驶时是否在本车辆V的前方行驶或者在后方行驶等。例如，遮挡环境判定部16也可以基于周边车辆的横向(车宽方向)的加速度而预测周边车辆是否会进行车道变更，并预测在本车辆V的侧方行驶的周边车辆在残留识别区域S1内是否位于本车辆V的前方等。此外，遮挡环境判定部16也可以使用由行驶计划生成部14预测出的周边车辆的位置。
遮挡环境判定部16在本车辆V基于行驶计划从识别开始位置P2朝向识别结束位置P1行驶时的残留识别区域S1内的各行驶位置，预测周边车辆是否会遮挡朝向信号灯A的视线。这里的本车辆V在残留识别区域S1内行驶时的各行驶位置也可以是沿着行驶车道的每规定距离的位置。另外，作为周边车辆的位置，遮挡环境判定部16使用当本车辆V正在残留识别区域S1的各行驶位置行驶时预测出周边车辆正在行驶的位置。
接下来，对由遮挡环境判定部16进行的判定残留识别区域S1内是否处于信号灯遮挡环境的处理的一个例子进行说明。首先，对当本车辆V正在残留识别区域S1内的规定的行驶位置行驶时，判定周边车辆的图像是否相对于信号灯A的发光部A1的图像重叠的处理进行说明。首先，如图5所示，遮挡环境判定部16生成与照相机2a相同的分辨率的空白图像B(例如用0填写的图像)。遮挡环境判定部16基于本车辆V在残留识别区域S1内行驶时的规定的行驶位置与信号灯A的设置位置，向空白图像B投影信号灯A的图像。投影于空白图像B的信号灯A的图像的位置是本车辆V正在残留识别区域S1内的规定的行驶位置行驶时由照相机2a拍摄的位置。本车辆V正在规定的行驶位置行驶时的本车辆V的车宽方向的位置基于行驶计划来得到。此外，在遮挡环境判定部16，预先设定有本车辆V的照相机2a的拍摄范围等信息。
接下来，遮挡环境判定部16基于由外部状况识别部12识别出的周边车辆V1的大小以及相对于本车辆V的位置，将周边车辆V1的图像投影于空白图像B。这里的周边车辆V1的位置是当本车辆V正在规定的行驶位置行驶时预测出周边车辆V1正在行驶的位置。遮挡环境判定部16基于相对于空白图像B投影了信号灯A以及周边车辆V1的图像而成的投影图像B1，判定周边车辆V1的图像是否相对于信号灯A的发光部A1的图像重叠。遮挡环境判定部16在本车辆V基于行驶计划从识别开始位置P2朝向识别结束位置P1行驶时的残留识别区域S1内的各行驶位置，进行将信号灯A以及周边车辆V1的图像投影于空白图像B而生成投影图像B1的处理。
遮挡环境判定部16基于周边车辆V1的图像是否相对于信号灯A的发光部A1的图像重叠，来判定残留识别区域S1内是否处于信号灯遮挡环境。例如，遮挡环境判定部16相对于本车辆V在残留识别区域S1内行驶时的各行驶位置而生成投影图像B1，并推断发光部A1与周边车辆V1不重叠的时间、即能够确认信号灯A的时间。遮挡环境判定部16在能够确认的时间超过预先决定的阈值的情况下，判定为残留识别区域S1内不处于信号灯遮挡环境。另外，遮挡环境判定部16在能够确认的时间处于预先决定的阈值以下的情况下，判定为残留识别区域S1内处于信号灯遮挡环境。
并不限定于此，例如，遮挡环境判定部16也可以在生成了投影图像B1时，在发光部A1与周边车辆V1重叠哪怕一次的情况下，判定为残留识别区域S1内处于信号灯遮挡环境。例如，遮挡环境判定部16也可以在生成了多个投影图像B1时，在判定为发光部A1与周边车辆V1重叠的比例或者次数超过预先决定的阈值的情况下，判定为残留识别区域S1内处于信号灯遮挡环境。此外，用于该判定的阈值例如也可以分别基于本车辆V的车速、识别区域S的长度等而变更。根据基于投影图像B1得到的发光部A1与周边车辆V1是否重叠的判定结果，遮挡环境判定部16能够使用各种方法来判定残留识别区域S1内处于信号灯遮挡环境。
另外，遮挡环境判定部16并不限定于相对于本车辆V基于行驶计划从识别开始位置P2朝向识别结束位置P1在残留识别区域S1内行驶时的各行驶位置而生成投影图像B1。例如，遮挡环境判定部16也可以针对本车辆V在残留识别区域S1内行驶时的一个行驶位置仅生成一次投影图像B1，并基于所生成的投影图像B1而判定残留识别区域S1内是否处于信号灯遮挡环境。
此外，遮挡环境判定部16在行驶计划生成部14中生成了变更后的行驶计划的情况下，基于变更后的行驶计划，再次判定残留识别区域S1内是否处于信号灯遮挡环境。
信号灯识别部17在由车辆位置识别部11识别出的本车辆V的位置处于识别区域S内的情况下，基于照相机2a的拍摄结果(拍摄图像)来执行信号灯A的识别处理。这里，信号灯识别部17作为信号灯A的识别处理，基于照相机2a的拍摄图像，通过公知的技术来识别发光部A1所表示的指示内容。
此外，信号灯识别部17在识别区域S中的困难区域N内不执行信号灯A的识别处理。这样，信号灯识别部17在因树木的枝叶等而难以进行信号灯A的发光部A1的识别的情况下，不执行信号灯A的识别处理。并且，在遮挡环境判定部16中判定为残留识别区域S1内处于信号灯遮挡环境的情况下，信号灯识别部17在识别区域S中的残留识别区域S1内不执行信号灯的识别处理。这样，信号灯识别部17在从照相机2a朝向信号灯A的发光部A1的视线被周边车辆V1遮挡的情况下，不执行信号灯A的识别处理。
报告部18在由行驶计划生成部14开始新行驶计划的生成的情况下，对本车辆V的乘员进行报告。此外，如上所述，由行驶计划生成部14开始新行驶计划的生成的情况是在遮挡环境判定部16中判定为残留识别区域S1内处于信号灯遮挡环境的情况。即，该情况是行驶计划被变更的情况。报告部18例如使用HMI7通过声音或者光等报告存在行驶计划变更的可能性。另外，报告部18也可以通过使设置在供本车辆V的乘员就座的座椅等的振动源振动，从而进行报告。
另外，报告部18在因如上述那样无法生成新的行驶计划从而在行驶计划生成部14中判定为需要进行切换的情况下，通过HMI7对本车辆V的驾驶员报告进行切换。
车辆控制部19基于行驶计划生成部14所生成的行驶计划，执行本车辆V的自动驾驶控制。车辆控制部19通过向促动器6发送控制信号来执行车辆的自动驾驶控制。即，车辆控制部19基于行驶计划使本车辆V自动地行驶。
接下来，使用图6的流程图对自动驾驶系统100基于信号灯是否会被周边车辆遮挡而变更行驶计划的处理的流程进行说明。此外，图6所示的处理是在基于行驶计划正执行本车辆V的自动驾驶控制的状态下，朝向信号灯A行驶的本车辆V与信号灯A的距离成为规定距离以内的情况下开始的。图6所示的处理以规定时间为单位被反复执行。
如图6所示，若本车辆V与信号灯A的距离成为规定距离以内，则识别区域设定部15设定应该执行信号灯A的识别处理的识别区域S(S101)。接下来，遮挡环境判定部16从识别区域S除去困难区域N，并设定残留识别区域S1(S102)。
外部状况识别部12基于外部传感器2的检测结果，识别本车辆V的周围的周边车辆的大小以及位置(S103)。遮挡环境判定部16判定残留识别区域S1内是否处于从照相机2a朝向信号灯A的发光部A1的视线被周边车辆遮挡的信号灯遮挡环境(S104)。当残留识别区域S1内不是信号灯遮挡环境、即能够确认信号灯A的情况下(S105：是)，自动驾驶系统100不执行基于信号灯A是否被遮挡而进行的行驶计划的变更。车辆控制部19基于在行驶计划生成部14中原本生成的行驶计划而控制本车辆V的行驶。之后，自动驾驶系统100再次执行S101的处理。
当残留识别区域S1内是信号灯遮挡环境、即无法确认信号灯A的情况下(S105：否)，报告部18报告存在行驶计划变更的可能性(S106)。行驶计划生成部14执行生成在遮挡环境判定部16中不被判定为信号灯遮挡环境的新的行驶计划的处理(S107)。在行驶计划生成部14中生成了新的行驶计划的情况下(S108：是)，车辆控制部19将执行自动驾驶控制时使用的行驶计划变更为新的行驶计划，并基于新的行驶计划而控制本车辆V的行驶(S109)。
另一方面，在行驶计划生成部14中无法生成新的行驶计划的情况、即在行驶计划生成部14中判定为需要进行切换的情况下(S108：否)，报告部18通过HMI7对本车辆V的驾驶员报告进行切换(S110)。之后，车辆控制部19停止本车辆V的自动驾驶控制，将本车辆V的行驶状态切换为基于驾驶员的手动驾驶(S111)。
接下来，对图6的S103中由外部状况识别部12进行的识别周边车辆的大小的处理的流程的一个例子进行说明。此外，图7所示的处理是对在本车辆V的周围行驶的全部的周边车辆执行的处理。
如图7所示，外部状况识别部12判定在本车辆V的周围行驶的车辆中是否有一大小的识别对象的周边车辆正在本车辆V的前方或者后方行驶(S201)。当识别对象的周边车辆正在本车辆V的前方或者后方行驶的情况下(S201：是)，外部状况识别部12从照相机2a的拍摄图像中对识别对象的周边车辆的宽度以及高度进行识别(S202)。外部状况识别部12判定识别对象的周边车辆过去是否通过了本车辆V的侧方(S203)。外部状况识别部12例如能够基于过去识别的周边车辆的位置而进行该判定。当识别对象的周边车辆过去通过了本车辆V的侧方的情况下(S203：是)，外部状况识别部12使用识别对象的周边车辆过去通过本车辆V的侧方时检测到的全长而作为识别对象的周边车辆的全长(S204)。外部状况识别部12对这些识别结果进行组合，识别在本车辆V的前方或者后方行驶的识别对象的周边车辆的大小(宽度、高度、全长)。
此外，外部状况识别部12在周边车辆通过了本车辆V的侧方时，基于照相机2a的拍摄图像而识别周边车辆的全长，将识别出的全长与作为识别对象的周边车辆建立关联地存储起来。同样地，当周边车辆正在本车辆V的前方或者后方行驶时，外部状况识别部12基于照相机2a的拍摄图像来识别周边车辆的宽度以及高度，将识别出的宽度以及高度与作为识别对象的周边车辆建立关联地存储起来。外部状况识别部12能够将所存储的周边车辆的全长、或者宽度以及高度用作过去的识别结果。
当识别对象的周边车辆过去未通过本车辆V的侧方的情况下(S203：否)，外部状况识别部12基于照相机2a的拍摄图像来推断识别对象的周边车辆的种类(S205)。外部状况识别部12从预先存储的每种车辆的全长的代表值中，选择与识别出的周边车辆的种类对应的全长的代表值。外部状况识别部12将选择出的全长的代表值作为识别对象的周边车辆的全长来使用(S206)。外部状况识别部12对这些识别结果进行组合，从而识别在本车辆V的前方或者后方行驶的识别对象的周边车辆的大小(宽度、高度、全长)。
另一方面，当识别对象的周边车辆未在本车辆V的前方或者后方行驶的情况(S201：是)、即周边车辆正在本车辆V的侧方行驶的情况下，外部状况识别部12从照相机2a的拍摄图像中识别识别对象的周边车辆的高度以及全长(S207)。外部状况识别部12判定识别对象的周边车辆过去是否在本车辆V的前方或者后方行驶(S208)。外部状况识别部12例如能够基于过去识别出的周边车辆的位置来进行该判定。当识别对象的周边车辆过去在本车辆V的前方或者后方行驶的情况下(S208：是)，外部状况识别部12使用识别对象的周边车辆过去在本车辆V的前方或者后方行驶时检测到的宽度作为识别对象的周边车辆的宽度(S209)。外部状况识别部12对这些识别结果进行组合，从而识别在本车辆V的侧方行驶的识别对象的周边车辆的大小(宽度、高度、全长)。
当识别对象的周边车辆过去未在本车辆V的前方或者后方行驶的情况下(S208：否)，外部状况识别部12基于照相机2a的拍摄图像来推断识别对象的周边车辆的种类(S210)。外部状况识别部12从预先存储的每种车辆的宽度的代表值中，选择与识别出的周边车辆的种类对应的宽度的代表值。外部状况识别部12将选择出的宽度的代表值作为识别对象的周边车辆的宽度来使用(S211)。外部状况识别部12对这些识别结果进行组合，识别在本车辆V的侧方行驶的识别对象的周边车辆的大小(宽度、高度、全长)。
接下来，对在遮挡环境判定部16中进行的判定残留识别区域S1内是否处于信号灯遮挡环境的处理的流程的一个例子进行说明。此外，本处理在图6的S104中被执行。另外，本处理在行驶计划生成部14中生成了变更后的行驶计划后(图9的S403以及S407)被执行。
如图8所示，遮挡环境判定部16取得由行驶计划生成部14生成的行驶计划(S301)。此外，遮挡环境判定部16在行驶计划生成部14中生成了变更后的行驶计划的情况下，取得变更后的行驶计划。遮挡环境判定部16取得信号灯A的设置位置(S302)。以下，遮挡环境判定部16针对本车辆V基于行驶计划从识别开始位置P2朝向识别结束位置P1行驶时的残留识别区域S1内的各行驶位置的全部位置，分别执行S303～S308的处理。
具体而言，遮挡环境判定部16生成图5所示的空白图像B(S303)。遮挡环境判定部16基于本车辆V在残留识别区域S1内行驶时的规定的行驶位置与信号灯A的设置位置，将信号灯A的图像投影于空白图像B(S304)。遮挡环境判定部16基于本车辆V在规定的行驶位置行驶时的周边车辆V1的大小以及位置，将周边车辆V1的图像投影于空白图像B(S305)。遮挡环境判定部16判定周边车辆V1的图像是否相对于信号灯A的发光部A1的图像重叠(S306)。在图像未重叠的情况下(S306：否)，遮挡环境判定部16增加能够确认信号灯A的时间(S307)。
在图像重叠的情况(S306：是)或者S307的处理之后，遮挡环境判定部16判定是否在残留识别区域S1内的各行驶位置的全部位置结束了信号灯A以及周边车辆V1的投影(S308)。在投影未相对于各行驶位置的全部位置结束的情况下(S308：否)，遮挡环境判定部16针对投影未结束的行驶位置执行上述的S303～S307的处理。
在投影相对于各行驶位置的全部位置结束的情况下(S308：是)，遮挡环境判定部16判定能够确认信号灯A的时间是否超过预先决定的阈值(S309)。在能够确认的时间超过阈值的情况下(S309：是)，遮挡环境判定部16判定为残留识别区域S1内未处于信号灯遮挡环境(S310)。在能够确认的时间未超过阈值的情况下(S309：否)，遮挡环境判定部16判定为残留识别区域S1内处于信号灯遮挡环境(S311)。
接下来，对在图6的S107中由行驶计划生成部14进行的生成新的行驶计划的处理的流程的一个例子进行说明。如图9所示，行驶计划生成部14判定是否能够相对于前次生成的行驶计划在预先决定的车间距离条件下使与前方的周边车辆的车间距离增加规定距离(S401)。在若使车间距离增加规定距离则不满足车间距离条件的情况下(S401：否)，行驶计划生成部14执行S405的处理。
当能够在预先决定的车间距离条件下使车间距离增加规定距离的情况下(S401：是)，行驶计划生成部14生成相对于前次生成的行驶计划使与前方的周边车辆的车间距离增加规定距离的变更后的行驶计划(S402)。遮挡环境判定部16基于在S402中生成的变更后的行驶计划，如上述那样进行残留识别区域S1内是否处于信号灯遮挡环境的判定(S403)。在残留识别区域S1内不是信号灯遮挡环境的情况下(S403：否)，行驶计划生成部14将在S402中生成的变更后的行驶计划作为新的行驶计划而加以采用(S408)。
在残留识别区域S1内是信号灯遮挡环境的情况下(S403：是)，行驶计划生成部14判定是否能够相对于前次生成的行驶计划在预先决定的车间距离条件下使与前方的周边车辆的车间距离进一步增加规定距离(S404)。在能够使车间距离进一步增加的情况下(S404：是)，行驶计划生成部14生成相对于前次生成的变更后的行驶计划使与前方的周边车辆的车间距离进一步增加规定距离的变更后的行驶计划(S402)。而且，基于车间距离进一步被变更的变更后的行驶计划，遮挡环境判定部16进行残留识别区域S1内是否处于信号灯遮挡环境的判定(S403)。
当在预先决定的车间距离条件下无法使与前方的周边车辆的车间距离进一步增加规定距离的情况下(S404：否)，行驶计划生成部14判定是否能够生成相对于前次生成的行驶计划添加了车道变更的行驶计划(S405)。当能够生成添加了车道变更的行驶计划的情况下(S405：是)，行驶计划生成部14生成相对于前次生成的行驶计划添加了车道变更的变更后的行驶计划(S406)。遮挡环境判定部16基于在S406中生成的变更后的行驶计划，如上述那样进行残留识别区域S1内是否处于信号灯遮挡环境的判定(S407)。当残留识别区域S1内不是信号灯遮挡环境的情况下(S407：否)，行驶计划生成部14将在S406中生成的变更后的行驶计划作为新的行驶计划而加以采用(S408)。
在S405中判定为无法生成添加了车道变更的行驶计划的情况(S405：否)、或者在S407中判定为残留识别区域S1内是信号灯遮挡环境的情况下(S407：是)，行驶计划生成部14判定为需要进行将本车辆V的驾驶状态从自动驾驶切换为基于驾驶员的手动驾驶的切换(S409)。
如以上那样，在该自动驾驶系统100中，信号灯识别部17使用地图信息所包含的困难区域N，在识别区域S中的除去困难区域N的残留识别区域S1内执行信号灯A的识别处理。因此，自动驾驶系统100能够基于地图信息所包含的困难区域N，在将从一开始就难以进行信号灯A的识别的区域除去后的残留识别区域S1内，执行信号灯A的识别处理。另外，信号灯识别部17在识别区域S中的除去困难区域N的残留识别区域S1内执行信号灯A的识别处理时，在因被周边车辆遮挡而判定为残留识别区域S1内是无法识别信号灯A的信号灯遮挡环境的情况下，在该残留识别区域S1内不执行信号灯A的识别处理。由此，自动驾驶系统100能够在识别区域S内高效地执行信号灯A的识别处理。
另外，自动驾驶系统100在判定为残留识别区域S1内处于信号灯遮挡环境的情况下生成新的行驶计划，从而可提高照相机2a能够确认信号灯A的可能性。
报告部18在由行驶计划生成部14开始新的行驶计划的生成的情况下进行报告。在该情况下，本车辆V的乘员能够识别出存在行驶计划被变更的可能性。
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述实施方式。例如，信号灯识别装置虽然装入于执行本车辆V的自动驾驶控制的自动驾驶系统100，但例如也可以装入于对本车辆V的驾驶进行辅助的驾驶辅助装置等其他的控制装置。在信号灯识别装置装入于自动驾驶系统100以外的装置且未生成行驶计划的情况下，遮挡环境判定部16例如基于本车辆V的当前的车速等来预测本车辆V的行驶状态。而且，遮挡环境判定部16也可以基于预测出的本车辆V的行驶状态，判定当本车辆V在残留识别区域S1内行驶时从照相机2a朝向信号灯A的视线是否被周边车辆遮挡。另外，信号灯识别装置并不限定于装入于自动驾驶系统100等，也可以作为对信号灯A进行识别的装置以单体的形式被使用。
自动驾驶系统100也可以不具备在由行驶计划生成部14开始新的行驶计划的生成的情况下进行报告的报告部18。自动驾驶系统100也可以不进行基于报告部18的报告地，生成新的行驶计划。
另外，自动驾驶系统100的ECU10也可以不具有对应该执行信号灯A的识别处理的识别区域S进行设定的功能(识别区域设定部15)。在该情况下，遮挡环境判定部16基于信号灯A的设置位置、和由外部状况识别部12识别出的周边车辆的大小以及位置，预测在本车辆V行驶时，周边车辆是否会遮挡从照相机2a朝向信号灯A的视线。遮挡环境判定部16在预测出周边车辆会遮挡从照相机2a朝向信号灯A的视线的情况下，判定为本车辆V的前方的区域是信号灯遮挡环境。而且，信号灯识别部17与上述的实施方式不同，不论本车辆V的位置是否在识别区域S内，都基于照相机2a的拍摄结果(拍摄图像)而始终执行信号灯A的识别处理。但是，信号灯识别部17在本车辆V的位置处于困难区域N内的情况下，不执行信号灯A的识别处理。另外，信号灯识别部17在遮挡环境判定部16中判定为本车辆V的前方的区域处于信号灯遮挡环境的情况下，不执行信号灯A的识别处理。即使在该情况下，自动驾驶系统100也能够高效地执行信号灯A的识别处理。

Claims (4)

1.一种信号灯识别装置，对本车辆的前方的信号灯进行识别，其中，具备：
地图存储部，其存储包含所述信号灯的设置位置、和从行驶车道上观察时难以确认所述信号灯的困难区域的位置信息在内的地图信息，
车辆位置识别部，其对所述本车辆的地图上的位置进行识别；
拍摄部，其对所述本车辆的前方进行拍摄；
信号灯识别部，其基于所述拍摄部的拍摄结果来执行所述信号灯的识别处理；
周边车辆识别部，其对所述本车辆周围的周边车辆的大小以及相对于所述本车辆的位置进行识别；以及
遮挡环境判定部，其判定所述本车辆的前方的区域是否是当所述本车辆在该区域行驶时从所述拍摄部朝向所述信号灯的视线被所述周边车辆遮挡的信号灯遮挡环境，
所述遮挡环境判定部基于所述信号灯的设置位置、由所述周边车辆识别部识别出的所述周边车辆的大小以及位置，预测当所述本车辆在所述本车辆的前方的区域行驶时，所述周边车辆是否遮挡从所述拍摄部朝向所述信号灯的视线，并基于预测结果而判定是否是所述信号灯遮挡环境，
所述信号灯识别部在由所述车辆位置识别部识别出的所述本车辆的位置在所述困难区域内的情况下，不执行所述信号灯的识别处理，并且在所述遮挡环境判定部中判定为所述本车辆的前方的区域是所述信号灯遮挡环境的情况下，不执行所述信号灯的识别处理。
2.根据权利要求1所述的信号灯识别装置，其中，
还具备识别区域设定部，该识别区域设定部在所述行驶车道上且在所述信号灯的近前的位置设定应该执行所述信号灯的识别处理的识别区域，
当由所述车辆位置识别部识别出的所述本车辆的位置在所述识别区域内的情况下，所述信号灯识别部执行所述信号灯的识别处理，
所述遮挡环境判定部判定所述识别区域中的所述困难区域以外的区域内是否是所述信号灯遮挡环境，
并且，所述信号灯识别部在所述识别区域中的所述困难区域内不执行所述信号灯的识别处理，且在所述遮挡环境判定部中判定为所述识别区域中的所述困难区域以外的区域内是所述信号灯遮挡环境的情况下，在所述识别区域中的所述困难区域以外的区域内不执行所述信号灯的识别处理。
3.一种自动驾驶系统，执行本车辆的自动驾驶控制，其中，具备：
权利要求1或2所述的信号灯识别装置；
行驶计划生成部，其生成所述自动驾驶控制中的行驶计划；以及
车辆控制部，其基于所述行驶计划而执行所述本车辆的自动驾驶控制，
所述遮挡环境判定部在所述本车辆基于所述行驶计划而行驶的情况下，预测所述周边车辆是否遮挡从所述拍摄部朝向所述信号灯的视线，
所述行驶计划生成部在所述遮挡环境判定部中判定为所述本车辆的前方的区域是所述信号灯遮挡环境的情况下，生成在所述遮挡环境判定部中所述本车辆的前方的区域不被判定是所述信号灯遮挡环境的新的所述行驶计划。
4.根据权利要求3所述的自动驾驶系统，其中，
还具备在由所述行驶计划生成部开始所述新的行驶计划的生成的情况下进行报告的报告部。
CN201910015623.9A 2018-01-11 2019-01-08 信号灯识别装置以及自动驾驶系统 Active CN110033629B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-002520 2018-01-11
JP2018002520A JP7067067B2 (ja) 2018-01-11 2018-01-11 信号機認識装置、及び自動運転システム

Publications (2)

Publication Number Publication Date
CN110033629A true CN110033629A (zh) 2019-07-19
CN110033629B CN110033629B (zh) 2021-12-31

Family

ID=66995317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910015623.9A Active CN110033629B (zh) 2018-01-11 2019-01-08 信号灯识别装置以及自动驾驶系统

Country Status (4)

Country Link
US (1) US11010624B2 (zh)
JP (1) JP7067067B2 (zh)
CN (1) CN110033629B (zh)
DE (1) DE102018129197B4 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390829A (zh) * 2019-07-30 2019-10-29 北京百度网讯科技有限公司 交通信号灯识别的方法及装置
CN110517484A (zh) * 2019-08-06 2019-11-29 南通大学 菱形立交区域平面交叉标志遮挡预测模型构建方法
CN110598563A (zh) * 2019-08-15 2019-12-20 北京致行慕远科技有限公司 可移动设备行进的处理方法、装置及存储介质
CN110956835A (zh) * 2019-10-22 2020-04-03 深圳市元征科技股份有限公司 一种车辆通行辅助方法、装置及车载设备
CN112799412A (zh) * 2021-04-12 2021-05-14 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN112802354A (zh) * 2019-11-14 2021-05-14 奥迪股份公司 临时交通信号的信息发布系统和方法
CN112859884A (zh) * 2021-04-25 2021-05-28 北京三快在线科技有限公司 一种控制无人驾驶设备的方法及装置
CN114373321A (zh) * 2021-12-01 2022-04-19 北京天兵科技有限公司 一种用于个人单次出行的路径优化方法和系统及设备和介质
CN114730520A (zh) * 2019-11-12 2022-07-08 日产自动车株式会社 信号机识别方法及信号机识别装置
CN116142092A (zh) * 2023-01-31 2023-05-23 江苏天一航空工业股份有限公司 无人驾驶交通信号灯识别方法及散装货物车蓄能装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020104738A (ja) 2018-12-27 2020-07-09 トヨタ自動車株式会社 報知装置
DE102019216671A1 (de) * 2019-10-29 2021-04-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Kartierungsverfahrens
JPWO2021153051A1 (zh) * 2020-01-29 2021-08-05
CN114633749A (zh) * 2021-01-11 2022-06-17 广东科学技术职业学院 一种无人驾驶车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045856A (ja) * 2014-08-26 2016-04-04 株式会社ゼンリン 自動運転システム、データ構造
JP2016049933A (ja) * 2014-09-02 2016-04-11 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
CN106205170A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种用于自动驾驶的路口精确停车装置与方法
JP2016207063A (ja) * 2015-04-27 2016-12-08 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
CN106537271A (zh) * 2014-07-31 2017-03-22 谷歌公司 自主车辆的交通信号响应

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7696903B2 (en) * 2003-03-20 2010-04-13 Gentex Corporation Imaging system for detecting vehicle and human movement
US8589014B2 (en) 2011-06-01 2013-11-19 Google Inc. Sensor field selection
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
JP5590747B2 (ja) * 2012-11-29 2014-09-17 株式会社ホンダアクセス 運転者危険運転報知装置
JP6152673B2 (ja) 2013-03-21 2017-06-28 トヨタ自動車株式会社 車線変更支援装置
MX352401B (es) * 2014-05-20 2017-11-23 Nissan Motor Aparato de reconocimiento de señales de tráfico y método de reconocimiento de señales de tráfico.
BR112017000267B1 (pt) 2014-07-08 2021-12-28 Nissan Motor Co., Ltd Dispositivo de detecção de sinal de tráfego e método para detecção de sinal de tráfego
JP6365103B2 (ja) 2014-08-14 2018-08-01 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP6399100B2 (ja) 2014-10-22 2018-10-03 日産自動車株式会社 走行経路演算装置
JP2016112984A (ja) 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2017045272A (ja) 2015-08-26 2017-03-02 トヨタ自動車株式会社 信号通過支援装置
DE102015015676A1 (de) 2015-12-03 2016-07-21 Daimler Ag Verfahren zum automatischen Aufschalten eines Umgebungsbildes auf eine Anzeigeeinheit eines Fahrzeuges
JP2017182297A (ja) 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 車両制御装置および車両制御方法
JP6812147B2 (ja) 2016-06-30 2021-01-13 Hoya株式会社 光学ガラス、光学素子ブランク、および光学素子
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
DE102017203654A1 (de) 2017-03-07 2018-09-13 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug auf einer Straße und Fahrerassistenzsystem
DE102017205534A1 (de) 2017-03-31 2018-10-04 Continental Automotive Gmbh Verfahren und Einrichtung zum Aufzeichnen von Verkehrszeichen
DE102017206847B4 (de) 2017-04-24 2020-08-13 Robert Bosch Gmbh Verfahren zum automatischen Erstellen und Aktualisieren eines Datensatzes für ein autonomes Fahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537271A (zh) * 2014-07-31 2017-03-22 谷歌公司 自主车辆的交通信号响应
JP2016045856A (ja) * 2014-08-26 2016-04-04 株式会社ゼンリン 自動運転システム、データ構造
JP2016049933A (ja) * 2014-09-02 2016-04-11 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP2016207063A (ja) * 2015-04-27 2016-12-08 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
CN106205170A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种用于自动驾驶的路口精确停车装置与方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390829A (zh) * 2019-07-30 2019-10-29 北京百度网讯科技有限公司 交通信号灯识别的方法及装置
CN110517484A (zh) * 2019-08-06 2019-11-29 南通大学 菱形立交区域平面交叉标志遮挡预测模型构建方法
CN110598563A (zh) * 2019-08-15 2019-12-20 北京致行慕远科技有限公司 可移动设备行进的处理方法、装置及存储介质
CN110956835A (zh) * 2019-10-22 2020-04-03 深圳市元征科技股份有限公司 一种车辆通行辅助方法、装置及车载设备
CN114730520A (zh) * 2019-11-12 2022-07-08 日产自动车株式会社 信号机识别方法及信号机识别装置
CN112802354A (zh) * 2019-11-14 2021-05-14 奥迪股份公司 临时交通信号的信息发布系统和方法
CN112799412A (zh) * 2021-04-12 2021-05-14 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN112859884A (zh) * 2021-04-25 2021-05-28 北京三快在线科技有限公司 一种控制无人驾驶设备的方法及装置
CN114373321A (zh) * 2021-12-01 2022-04-19 北京天兵科技有限公司 一种用于个人单次出行的路径优化方法和系统及设备和介质
CN114373321B (zh) * 2021-12-01 2023-08-25 北京天兵科技有限公司 一种用于个人单次出行的路径优化方法和系统及设备和介质
CN116142092A (zh) * 2023-01-31 2023-05-23 江苏天一航空工业股份有限公司 无人驾驶交通信号灯识别方法及散装货物车蓄能装置
CN116142092B (zh) * 2023-01-31 2023-08-29 江苏天一航空工业股份有限公司 无人驾驶交通信号灯识别方法及散装货物车蓄能装置

Also Published As

Publication number Publication date
US11010624B2 (en) 2021-05-18
JP2019121307A (ja) 2019-07-22
CN110033629B (zh) 2021-12-31
DE102018129197A1 (de) 2019-07-11
DE102018129197B4 (de) 2023-06-01
US20200026935A1 (en) 2020-01-23
JP7067067B2 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
CN110033629A (zh) 信号灯识别装置以及自动驾驶系统
US10845809B2 (en) Automatic driving device
US10005391B2 (en) Information presentation system
CN106338988B (zh) 自动驾驶车辆的控制装置
US10202123B2 (en) Vehicle control system
CN107807634B (zh) 用于车辆的驾驶辅助装置
JP7086798B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN105835886B (zh) 驾驶辅助装置
CN106097774A (zh) 车道变更支援装置
CN105807763A (zh) 车辆系统
US20160304126A1 (en) Vehicle control device
US20160325750A1 (en) Travel control apparatus
CN110182209A (zh) 车辆控制装置和车辆控制方法
CN106541946B (zh) 车速控制装置
US11584375B2 (en) Vehicle control device, vehicle control method, and storage medium
CN107735302A (zh) 车辆控制装置、车辆控制方法及车辆控制程序
JP2019182305A (ja) 車両制御装置、車両制御方法、およびプログラム
US11605289B2 (en) Notification device
JP7152339B2 (ja) 走行制御装置、走行制御方法、およびプログラム
CN112622908A (zh) 车辆控制装置、车辆控制方法及存储介质
CN109017769A (zh) 车外报告装置
CN112874513A (zh) 驾驶支援装置
JP2020157831A (ja) 走行制御装置、走行制御方法、およびプログラム
JP6303403B2 (ja) 車両用走行案内装置および方法
US11073833B2 (en) Vehicle control apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant