CN114973644B - 道路信息生成装置 - Google Patents

道路信息生成装置 Download PDF

Info

Publication number
CN114973644B
CN114973644B CN202210130026.2A CN202210130026A CN114973644B CN 114973644 B CN114973644 B CN 114973644B CN 202210130026 A CN202210130026 A CN 202210130026A CN 114973644 B CN114973644 B CN 114973644B
Authority
CN
China
Prior art keywords
vehicle
intersection
traffic signal
lane
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210130026.2A
Other languages
English (en)
Other versions
CN114973644A (zh
Inventor
小西裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN114973644A publication Critical patent/CN114973644A/zh
Application granted granted Critical
Publication of CN114973644B publication Critical patent/CN114973644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供一种道路信息生成装置(50)，具备：相机(1a)，其检测本车辆的周围状况；本车位置识别部(13)，其当根据由相机(1a)检测出的检测数据而在本车辆的行进方向前方识别出交叉路口时，根据检测数据和由本车位置识别部(13)识别出的本车辆的位置，在本车辆进入交叉路口之前，识别本车辆的行驶车道和设置于交叉路口的与本车辆的行驶车道相对应的信号机；以及信息生成部(143)，其生成将由信号机识别部(142)识别出的信号机与本车辆的行驶车道建立了关联的道路信息。

Description

道路信息生成装置
技术领域
本发明涉及一种生成车辆行驶的道路的信息的道路信息生成装置。
背景技术
作为这种装置，以往已知有如下装置：利用搭载于行驶中的车辆上的相机对车辆前方进行拍摄，并存积拍摄图像，根据所存积的拍摄图像，生成将车道和与该车道对应的信号机建立了关联的道路信息(例如参见专利文献1)。
但是，如果如专利文献1中记载的装置那样，根据所存积的拍摄图像生成如上所述的道路信息，则在至生成道路信息为止的期间，需要预先存储拍摄图像，可能占据存储装置的较大容量。
现有技术文献
专利文献
专利文献1：日本特开2018-005629号公报(JP2018-005629A1)。
发明内容
作为本发明的一技术方案的道路信息生成装置，具备：车载检测器，其检测本车辆的周围状况；本车位置识别部，其识别本车辆的位置；信号机识别部，其当根据由车载检测器检测出的检测数据在本车辆的行进方向前方识别出交叉路口时，根据检测数据和由本车位置识别部识别出的本车辆的位置，在本车辆进入交叉路口之前，识别本车辆的行驶车道和设置于交叉路口的与本车辆的行驶车道相对应的信号机；以及信息生成部，其生成将由信号机识别部识别出的信号机与本车辆的行驶车道建立了关联的道路信息。
附图说明
本发明的目的、特征以及优点通过与附图相关的以下实施方式的说明进一步阐明。
图1是概略地示出本发明的实施方式的车辆控制系统的整体结构的框图。
图2A是示出交叉路口的一例的图。
图2B是示出由车载相机取得的图2A的交叉路口的拍摄图像的一例的图。
图3是示出本发明的实施方式的道路信息生成装置的主要部分结构的框图。
图4是示出由图3的控制器的CPU执行的处理的一例的流程图。
具体实施方式
以下，参照图1到图4对本发明的实施方式进行说明。本发明的实施方式的道路信息生成装置能够适用于具有自动驾驶功能的车辆，即自动驾驶车辆。需要说明的是，有时将应用本实施方式的道路信息生成装置的车辆与其他车辆相区分而称之为本车辆。本车辆可以是具有内燃机(发动机)作为行驶驱动源的发动机车辆、具有行驶马达作为行驶驱动源的电动汽车、具有发动机和行驶马达作为行驶驱动源的混合动力车辆中的任一种。本车辆不仅能够以不需要驾驶员的驾驶操作的自动驾驶模式行驶，还能够以基于驾驶员的驾驶操作的手动驾驶模式行驶。
首先，对自动驾驶的概略结构进行说明。图1是概略地示出具有本发明的实施方式的道路信息生成装置的车辆控制系统100的整体结构的框图。如图1所示，车辆控制系统100主要具有控制器10以及分别与控制器10可通信地连接的外部传感器组1、内部传感器组2、输入输出装置3、定位单元4、地图数据库5、导航装置6、通信单元7以及行驶用的执行器AC。
外部传感器组1是检测作为本车辆的周边信息的外部状况的多个传感器(外部传感器)的总称。例如，外部传感器组1包括激光雷达、雷达和相机等，所述激光雷达测定对应本车辆的全方位的照射光的散射光来测定从本车辆到周边的障碍物的距离；所述雷达照射电磁波并检测反射波来检测本车辆周边的其他车辆、障碍物等；所述相机等搭载于本车辆上，具有CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等拍摄元件，拍摄本车辆周边(前方、后方和侧方)。
内部传感器组2是检测本车辆的行驶状态的多个传感器(内部传感器)的总称。例如，内部传感器组2包括车速传感器、加速度传感器、转速传感器、横摆率传感器等，所述车速传感器检测本车辆的车速；所述加速度传感器分别检测本车辆的前后方向的加速度和左右方向的加速度(横向加速度)；所述转速传感器检测行驶驱动源的转速；所述横摆率传感器检测本车辆的重心绕铅垂轴的旋转角速度。检测驾驶员在手动驾驶模式下的驾驶操作，例如对加速踏板的操作、对制动踏板的操作、对方向盘的操作等的传感器也包含于内部传感器组2中。
输入输出装置3是从驾驶员输入指令、向驾驶员输出信息的装置的总称。例如，输入输出装置3包括供驾驶员通过对操作部件的操作来输入各种指令的各种开关、供驾驶员用语音输入指令的麦克、借助显示图像向驾驶员提供信息的显示器、通过语音向驾驶员提供信息的扬声器等。
定位单元(GNSS单元)4具有接收从定位卫星发送的定位用信号的定位传感器。定位卫星是GPS卫星、准天顶卫星等人造卫星。定位单元4利用定位传感器接收到的定位信息，测定本车辆的当前位置(纬度、经度、高度)。
地图数据库5是存储用于导航装置6的一般的地图信息的装置，例如由硬盘、半导体元件构成。地图信息包括道路的位置信息、道路形状(曲率等)的信息、交叉路口、岔路口的位置信息。另外，存储于地图数据库5中的地图信息与存储于控制器10的存储部12中的高精度的地图信息不同。
导航装置6是搜索到达由驾驶员输入的目的地的道路上的目标路径并进行按照目标路径的引导的装置。通过输入输出装置3进行目的地的输入和按照目标路径的引导。目标路径是根据由定位单元4测定出的本车辆的当前位置和存储于地图数据库5中的地图信息来运算的。也能够使用外部传感器组1的检测值来测定本车辆的当前位置，也可以基于该当前位置和存储于存储部12中的高精度的地图信息来运算目标路径。
通信单元7经由包括以互联网、移动电话网等为代表的无线通信网的网络与未图示的各种服务器通信，定期地或者在任意时机从服务器取得地图信息、行驶履历信息和交通信息等。网络不仅包括公共无线通信网，还包括针对每个规定的管理地域设置的封闭的通信网，例如无线LAN、Wi－Fi(注册商标)、Bluetooth(注册商标)等。所取得的地图信息被输出到地图数据库5、存储部12，更新地图信息。
执行器AC是用于控制本车辆101的行驶的行驶用执行器。在行驶驱动源是发动机的情况下，执行器AC包括调整发动机的节气门阀的开度(节气门开度)的节气门用执行器。在行驶驱动源是行驶马达的情况下，行驶马达包含于执行器AC中。使本车辆的制动装置工作的制动用执行器和驱动转向装置的转向用执行器也包含于执行器AC中。
控制器10由电子控制单元(ECU)构成。更具体而言，控制器10包括具有CPU(微处理器)等运算部11、ROM(只读存储器)、RAM(随机存取存储器)等存储部12、I/O(输入/输出)接口等未图示的其他周边电路的计算机而构成。需要说明的是，能够分别设置发动机控制用ECU、行驶马达控制用ECU、制动装置用ECU等功能不同的多个ECU，但为了方便起见，在图1中，示出控制器10为这些ECU的集合。
在存储部12中存储高精度的详细地图信息(称为高精度地图信息)。在高精度地图信息包括道路的位置信息、道路形状(曲率等)的信息、道路的坡度的信息、交叉路口或岔路口的位置信息、车道数的信息、车道的宽度和每个车道的位置信息(车道的中央位置、车道位置的边界线的信息)、作为地图上的标记的地标(信号机、标识、建筑物等)的位置信息、路面的凹凸等的路面概况的信息。存储于存储部12的高精度地图信息包括经由通信单元7取得的从本车辆的外部取得的地图信息、例如经由云服务器取得的地图(称为云地图)的信息和使用外部传感器组1的检测值由本车辆自身制作的地图、例如由使用SLAM(SimultaneousLocalization and Mapping：同步定位与地图构建)等技术通过映射生成的点云数据构成的地图(称为环境地图)的信息。在存储部12中还存储各种控制程序、与程序中使用的阈值等信息相关的信息。
运算部11具有本车位置识别部13、外界识别部14、行动计划生成部15、行驶控制部16和地图生成部17作为功能性结构。
本车位置识别部13基于由定位单元4得到的本车辆的位置信息和地图数据库5的地图信息，识别本车辆在地图上的位置(本车位置)。也可以使用存储于存储部12中的地图信息和外部传感器组1检测出的本车辆的周边信息来识别本车位置，由此能够高精度地识别本车位置。需要说明的是，在能够用设置于道路上、道路旁边这些外部的传感器测定本车位置时，也能够通过经由通信单元7与该传感器进行通信，来识别本车位置。
外界识别部14基于来自激光雷达、雷达、相机等外部传感器组1的信号，识别本车辆周围的外部状况。例如，识别在本车辆周边行驶的周边车辆(前方车辆、后方车辆)的位置、速度、加速度、在本车辆周围停车或驻车着的周边车辆的位置和其他物体的位置、状态等。其他物体包括标识、信号机、道路的划分线、停止线等标示、建筑物、护栏、电线杆、招牌、行人、自行车等。其他物体的状态包括信号机的颜色(红、绿、黄)、行人或自行车的移动速度、方向等。
行动计划生成部15例如基于由导航装置6运算出的目标路径、由本车位置识别部13识别出的本车位置和由外界识别部14识别出的外部状况，生成从当前时间点开始经过规定时间T为止的本车辆的行驶轨迹(目标轨迹)。当在目标路径上存在成为目标轨迹的候补的多个轨迹时，行动计划生成部件15从其中选择遵守法令且满足高效安全地行驶等基准的最佳轨迹，将所选择的轨迹作为目标轨迹。然后，行动计划生成部15生成与所生成的目标轨迹相对应的行动计划。行动计划生成部15生成与用于超越前方车辆的超车行驶、变更行驶车道的车道变更行驶、跟随前方车辆的跟随行驶、不偏离行驶车道而保持车道的车道保持行驶、减速行驶、加速行驶等行驶方式相对应的各种行动计划。在生成目标轨迹时，行动计划生成部15首先决定行驶方式，并基于行驶方式生成目标轨迹。
在自动驾驶模式中，行驶控制单元16控制各执行器AC，使本车辆沿着由行动计划生成部15生成的目标轨迹行驶。更具体而言，行驶控制部16考虑在自动驾驶模式下由道路坡度等决定的行驶阻力，计算用于得到由行动计划生成部15计算出的每单位时间的目标加速度的要求驱动力。并且，对执行器AC进行反馈控制，使例如由内部传感器组2检测出的实际加速度成为目标加速度。即，控制执行器AC，使本车辆以目标车速和目标加速度行驶。需要说明的是，在手动驾驶模式下，行驶控制部16根据由内部传感器组2取得的来自驾驶员的行驶指令(转向操作等)来控制各执行器AC。
地图生成部17一边以手动驾驶模式行驶一边使用由外部传感器组1检测出的检测值，生成由三维点云数据构成的环境地图。具体而言，从由相机取得的拍摄图像中，基于每个像素的亮度、颜色的信息来提取表示物体轮廓的边缘，并且使用该边缘信息来提取特征点。特征点例如是边缘的交点，对应于建筑物的角、道路标识的角等。地图生成部17将提取出的特征点依次绘制在环境地图上，由此生成本车辆行驶过的道路周边的环境地图。也可以代替相机，使用由雷达或激光雷达取得的数据来提取本车辆周围的物体的特征点，生成环境地图。
本车位置识别部13与地图生成部17的地图制作处理并行地进行本车辆的位置推定处理。即，基于特征点的位置随着时间经过而产生的变化，推定本车辆的位置。例如，根据SLAM算法同时执行地图制作处理和位置推定处理。地图生成部17不仅在以手动驾驶模式行驶时，在以自动驾驶模式行驶时也能够同样地生成环境地图。在已经生成环境地图并存储于存储部12中的情况下，地图生成部17也可以根据新得到的特征点更新环境地图。
但是，在本车辆101进入交叉路口时，本车辆101按照与行驶车道相对应的信号机的显示方式来判定是通过停止线还是在停止线上停止等，并基于该判定结果来生成行动计划。但是，在如图2A的交叉路口IS那样设置有多个信号机的交叉路口IS，有时在本车辆101的车载相机的视场角内包括与行驶车道相对应的信号机以外的信号机。如图所示，在交叉路口IS，左侧通行的单侧1车道的2条道路(具有车道LN1、LN2的道路和具有车道LN3、LN4的道路)交叉，与各车道相对应地设置有信号机SG1、SG2、SG3、SG4。需要说明的是，信号机SG1、SG2、SG3、SG4是构成为至少能够将显示方式切换为表示允许行进的第1显示方式(绿灯)和示出在停止线上的停止指示的第2显示方式(红灯)的信号机。另外，以下，有时将本车辆101的行驶车道与其他车道相区分而称之为本车道。
图2B是示出本车辆101进入交叉路口IS时由车载相机取得的拍摄图像的一例的图。如图2B所示，当车载相机的拍摄图像中包括多个信号机SG1、SG3、SG4时，本车辆101有可能错误识别信号机。即，本车辆101有可能错误地识别与本车辆101的车道LN1相对应的信号机SG1之外的信号机(例如，信号机SG3)。特别是，在如图2A的交叉路口IS那样2条道路倾斜交叉的交叉路口、五叉路等多叉路的交叉路口，误识别信号机的可能性提高。这样，当误识别信号机时，本车辆101无法生成适当的行动计划。
关于这一点，有如下方法：根据本车辆101过去通过了交叉路口IS时的车载相机的拍摄图像，生成将车道和与该车道相对应的信号机建立了关联的道路信息，在下次进入交叉路口IS时，根据该道路信息，识别与本车道对应的信号机。但是，在这样的方法中，需要存积车载相机的过去的拍摄图像，有可能占据存储部12的较大容量。因此，为了应对这样的问题，在本实施方式中，如下构成道路信息生成装置。
图3是示出本发明的实施方式的道路信息生成装置50的主要部分结构的框图。该道路信息生成装置50生成将车道和与该车道相对应的信号机建立了关联的道路信息，构成图1的车辆控制系统100的一部分。如图3所示，道路信息生成装置50具有控制器10和相机1a(以下也称为拍摄部)。
相机1a是具有CCD、CMOS等拍摄元件(图像传感器)的单眼相机，构成图1的外部传感器组1的一部分。相机1a可以是立体相机。相机1a拍摄本车辆101的周围。相机1a例如安装于本车辆101的前部的规定位置，连续拍摄本车辆101的前方空间，取得对象物的图像(拍摄图像)。
道路信息生成装置50具有本车位识别部13、交叉路口识别部141、信号机识别部142以及信息生成部143，作为运算部11所承担的功能性结构。交叉路口识别部141、信号机识别部142以及信息生成部143例如由图1的外界识别部14构成。如后所述，在存储部12中存储基于由相机1a取得的从当前时点起回溯了规定时间PT的规定时间点为止的拍摄图像而识别出的物体的识别结果。
交叉路口识别部141取得相机1a的拍摄图像。交叉路口识别部141根据相机1a的拍摄图像，识别本车辆101的行进方向前方的交叉路口。更具体而言，交叉路口识别部141通过模板匹配等图像分析来识别映入在视场角内的道路的结构，判定交叉路口是否包括在视场角内。需要说明的是，也可以通过使用了机器学习的图像识别来判定交叉路口是否包括在视场角内，交叉路口的识别也可以使用其他方法。
当由交叉路口识别部141识别出交叉路口时，信号机识别部142根据相机1a的拍摄图像和由本车位置识别部13识别出的本车辆101的当前位置，在本车辆101进入该交叉路口之前(更详细而言，在通过该交叉路口(停止线)的规定距离跟前处之前)，识别本车辆101的行驶车道(本车道)和设置于交叉路口的与本车道相对应的信号机。
具体而言，首先，信号机识别部142基于由本车位置识别部13识别出的本车辆101的当前位置和基于拍摄图像识别出的道路的划分线来识别本车道。接下来，信号机识别单元142基于相机1a的拍摄图像，通过模板匹配等图像分析来识别在视场角内映入的信号机。接下来，信号机识别部142基于本车道的延伸方向和信号机的朝向，识别与本车道相对应的信号机。此时，在本车道的延伸方向与信号机的正面方向大致平行时，即，在本车道的延伸方向与信号机的正面方向所成的角度在规定角度以内时，该信号机被识别为与本车道相对应的信号机。因此，在图2B所示的例子中，设置为相对于本车道LN1朝向正面的信号机SG1被识别为与本车道LN1相对应的信号机。另一方面，设置为相对于本车道LN2朝向倾斜方向的、与其他车道LN3、LN4相对应的信号机SG3、SG4不被识别为与本车道LN1相对应的信号机。需要说明的是，也可以使用预先对车道和与车道相对应的信号机之间的位置关系进行机器学习(例如DNN(Deep Neural Network：深度神经网络)或CNN(Convolutional NeuralNetwork：卷积神经网络))而得到的学习数据，根据拍摄图像来识别与本车道相对应的信号机。由此，例如在单侧多车道的道路上在各车道上分别设置有悬垂型信号机时等能够从同一视场角内能够识别出多个相对于本车道的延伸方向在规定角度内设置的信号机的状况下，也能够高精度地识别与本车道相对应的信号机。在上述机器学习中，也可以对本车辆101应该作为识别对象的信号机进行加权等，以便进一步提高与本车道相对应的信号机的识别精度。
信息生成单元143生成将由信号机识别单元142识别出的行驶车道与信号机建立了相关联的信息(道路信息)。信息生成部143将所生成的道路信息作为高精度地图信息的一部分存储于存储部12。更详细而言，信息生成部143将所生成的道路信息作为地标(信号机、停止线等)的信息，储存于在存储部12中存储的高精度地图信息(环境地图等)中。
图4是示出按照预定的程序由图3的控制器10执行的处理的一例的流程图。该流程图所示的处理例如在控制器10接通电源时开始。
首先，在步骤S11中，取得由相机1a取得的本车辆101的行进方向前方的拍摄图像。更具体而言，取得从相机1a对控制器10输出的拍摄图像。在步骤S12中，根据在步骤S11中取得的拍摄图像，判定是否识别出交叉路口。当步骤S12为否定(S12：否)时，在存储部12中存储从在步骤S11中取得的拍摄图像识别出的物体的识别结果，结束处理。在存储部12中，至少存储由相机1a取得的、从当前时间点起回溯了规定时间PT的规定时间点为止的期间内的拍摄图像的识别结果即可。因此，在存储部12中已经存积(存储)了规定时间PT量的识别结果时，也可以从存储部12中删除最旧的识别结果。识别结果包括将表示基于拍摄图像而识别出的物体(道路的划分线、停止线、信号机等)的状态(位置、朝向等)的信息编码而得到的信息(编码信息)或文本化而得到的信息(文本信息)。所谓规定时间点，例如是本车辆101根据相机1a的拍摄图像能够识别出交叉路口的时间点，即步骤S12为肯定(S12：是)的时间点。需要说明的是，也可以根据存储于地图数据库5中的地图信息等，预先计算预测本车辆101能够识别出交叉路口的时间点，根据该计算结果对每个交叉路口设定规定时间点。即，规定时间PT也可以对每个交叉路口设定不同的时间。
当步骤S12为肯定(S12：是)时，在步骤S13中，基于在步骤S11中取得的拍摄图像，判定是否识别出本车道(图2A中的车道LN1)和与本车道相对应的信号机(图2A中的信号机SG1)，或者当在后述的步骤S15中取得了最新的拍摄图像时，基于该拍摄图像，判定是否识别出本车道(图2A中的车道LN1)和与本车道相对应的信号机(图2A中的信号机SG1)。具体而言，基于拍摄图像和由本车位置识别部13识别出的本车辆101的当前位置，判定是否能够识别本车道和与本车道相对应的信号机。当步骤S13为肯定(S13：是)时，进入步骤S18。
但是，在本车辆101的前方存在其他车辆(前方车辆)时，有时会出现道路的划分线被前方车辆掩盖的状态，即会出现所谓的遮挡。还有时因日照变化引起的路面反射光等使得道路的划分线与道路的颜色同化。还有时因涂装的劣化使得道路的划分线模糊或消失。在这种情况下，由于无法识别道路的划分线，因此无法识别本车道。另外，在交叉路口的信号机被前方车辆遮挡的情况下、在本车辆101要进入的交叉路口没有设置信号机的情况下，无法识别与本车道相对应的信号机。这样，在无法识别本车道和与本车道相对应的信号机时，步骤S13为否定(S13：否)，进入步骤S14。
在步骤S14中，判定本车辆101是否到达了交叉路口的规定距离跟前之处。具体而言，判定本车辆101是否到达了停止线(图2A的停止线SL)的规定距离跟前之处。当步骤S14为否定(S14：否)时，在步骤S15中，从相机1a取得最新的拍摄图像。此时，也可以在空开规定的时间间隔之后进入步骤S15。然后，将上次取得的拍摄图像的识别结果存储于存储部12中，返回步骤S13。此时，在存储部12中存积(存储)有规定时间PT量的识别结果时，如上所述，也可以从存储部12中删除最旧的识别结果。
当步骤S14为肯定(S14：是)时，在步骤S16中，从存储部12读入与从当前时间点起回溯了规定时间PT的规定时间点为止所取得的拍摄图像相关联的识别结果。在步骤S17中，基于在步骤S16中读入的识别结果，判定能否识别出本车道和与本车道相对应的信号机。此时，基于在步骤S16中读入的识别结果，识别本车道和与本车道相对应的信号机。在步骤S16中读入的识别结果分别为在无法识别出本车道和与本车道相对应的信号机中的任一者或两者时存储于存储部12的识别结果，是不足以识别本车道和与本车道相对应的信号机这两者的信息。但是，通过集中处理这些识别结果，例如通过根据这些识别结果由使用了机器学习的图像识别来识别在视场角内包括的道路的划分线、信号机，由此能够识别本车道和与本车道相对应的信号机。当步骤S17为否定(S17：否)时，结束处理。当步骤S17为肯定(S17：是)时，进入步骤S18。
在步骤S18中，生成将在步骤S13或步骤S17中识别出的本车道和与本车道相对应的信号机建立了关联的道路信息。在步骤S19中，将所生成的道路信息作为高精度地图信息的一部分存储于存储部12，结束处理。当处理结束时，空开预定时间间隔重复从步骤S11开始的处理。需要说明的是，图3的流程图所示的处理至少在本车辆101包含在交叉路口的期间不执行。
根据本发明的实施方式，能够起到如下作用效果。
(1)道路信息生成装置50具有：相机1a，其检测本车辆101的周围状况；本车位置识别部13，其识别本车辆101的位置；信号机识别部142，其当根据由相机1a检测出的检测数据而在本车辆的行进方向前方识别出交叉路口时，根据检测数据和由本车位置识别部13识别出的本车辆的位置，在本车辆进入交叉路口之前，识别本车辆的行驶车道和设置于交叉路口的与本车辆的行驶车道相对应的信号机；以及信息生成部143，其生成将由信号机识别部142识别出的信号机与本车辆的行驶车道建立了关联的道路信息。信号机识别部142例如根据由相机1a检测出的检测数据，将设置于交叉路口的信号机中的、正面方向与本车辆的行驶车道的延伸方向在规定角度以内的信号机识别为与本车辆的行驶车道相对应的信号机。另外，在由本车位置识别部13检测出的本车辆101的位置包括在交叉路口内时，信号机识别部142不进行对本车辆的行驶车道和设置于交叉路口的与本车辆的行驶车道相对应的信号机的识别。由此，能够生成道路信息而不会占据存储部12的较大容量。另外，在本车辆下次进入交叉路口时，通过参照上述道路信息，能够抑制信号机的误识别，能够生成适合于信号机的显示方式的行动计划。而且，由于根据本车辆进入交叉路口时实际取得的拍摄图像来生成道路信息，因此能够生成不易受交叉路口的道路结构的变化影响的道路信息，即具有更高的鲁棒性的道路信息。
(2)道路信息生成装置50还具备存储部12，该存储部12存储与从当前时间点起回溯了规定时间PT的规定时间点为止的期间的相机1a的检测数据相关联了的识别结果。当信号机识别部142基于相机1a的检测数据识别出本车辆101的行进方向前方的物体时，将包括示出该物体的位置和朝向的信息的识别结果存储于存储部12。在没有识别出与本车辆101的行驶车道相对应的信号机时，信号机识别部142在本车辆101进入交叉路口之前，根据存储于存储部12的识别结果来识别与行驶车道相对应的信号机。由此，即使在根据相机1a的当前的检测数据未识别出与本车道相对应的信号机时，也能够识别出与本车道相对应的信号机。另外，由于将从当前时间点起回溯了规定时间的规定时间点为止的识别结果(编码信息、文本信息)存储于存储部12，因此能够抑制不必要地占据存储部12的容量。
(3)信号机识别部142在未识别出本车辆101的行驶车道时，在本车辆101进入交叉路口之前，根据存储于存储部12的识别结果来识别本车辆的行驶车道。由此，即使在根据相机1a的当前的检测数据未识别出本车辆的行驶车道时，也能够识别与本车道相对应的信号机。另外，由于将从当前时间点起回溯了规定时间的规定时间点为止的检测数据存储于存储部12，因此能够抑制不必要地占据存储部12的容量。
上述实施方式能够变形为各种方式。以下，对几个变形例进行说明。在上述实施方式中，通过相机1a拍摄本车辆101的前方空间，但车载检测器的结构不限于上述结构。例如，车载检测器也可以拍摄本车辆101的左右方向、后方的空间。另外，在上述实施方式中，以使用由相机1a取得的拍摄图像来识别本车辆的行驶车道、与行驶车道相对应的信号机的构成为例，但也可以使用由雷达、激光雷达取得的检测数据(三维点云数据)来识别行驶车道、信号机。即，车载检测器也可以是雷达、激光雷达等相机1a以外的检测器。另外，相机1a可以由窄角相机构成，也可以由广角相机构成。即，相机1a由窄角相机和广角相机中的至少一者构成。
另外，在上述实施方式中，以本车辆进入单侧1车道的道路交叉的交叉路口的情况为例进行了说明，但在本车辆进入单侧多车道的道路交叉的交叉路口的情况下，也同样能够识别与本车辆相对应的信号机。需要说明的是，在单侧多车道的道路的各车道上分别设置有信号机(悬垂型信号机等)的交叉路口，在识别出多个相对于本车道的延伸方向在规定角度以内设置的信号机时，如上所述，通过使用DNN等机械学习，能够识别与本车道相对应的信号机。
另外，在上述实施方式中，在没有识别出与本车道相对应的信号机时，根据存储于存储部12的、与由相机1a取得的拍摄图像相关联的识别结果来识别本车辆的行驶车道，但信号机识别部的结构不限于此。在相机1a具有变焦功能时，在步骤S14为否定(S14：否)时，信号机识别部也可以向相机1a输出控制信号，以拉远画面直到信号机映入相机1a的视场角内。另外，在相机1a具有视场角调整功能时，在步骤S14为否定(S14：否)时，信号机识别部也可以向相机1a输出扩大视场角的控制信号，以使相机1a的视场角内包括道路的划分线和信号机。由此，在本车辆进入交叉路口之前更容易识别本车道和与本车道相对应的信号机。
本发明能够作为道路信息生成方法使用，该道路信息生成方法包括如下步骤：识别本车辆的位置；当根据由检测本车辆的周围状况的车载检测器检测出的检测数据在本车辆的行进方向前方识别出交叉路口时，根据所述检测数据和所述识别出的本车辆的位置，在本车辆进入交叉路口之前，识别本车辆的行驶车道和设置于交叉路口的与本车辆的行驶车道相对应的信号机；生成将所述识别出的信号机与本车辆的行驶车道建立了关联的道路信息。
可以任意组合上述实施方式和变形例中的一个或多个，也可以组合变形例彼此。
根据本发明，能够生成将车道和与车道相对应的信号机建立了关联的信息，而不会占据存储装置的较大容量。
以上，结合本发明的优选实施方式说明了本发明，但本领域技术人员应该理解，在不脱离后述的权利要求书的公开范围的情况下能够进行各种修改和变更。

Claims (6)

1.一种道路信息生成装置，其特征在于，具备：
车载检测器，其检测本车辆(101)的周围状况；
本车位置识别部(13)，其识别本车辆(101)的位置；
存储部(12)，在所述存储部(12)存储与从当前时间点起回溯了规定时间的规定时间点为止的期间的检测数据相关联的识别结果；所述规定时间点是本车辆(101)根据相机(1a)的拍摄图像能够识别出交叉路口的时间点；
信号机识别部(142)，其当根据由所述车载检测器检测出的检测数据而在本车辆(101)的行进方向前方识别出交叉路口时，根据所述检测数据和由所述本车位置识别部(13)识别出的本车辆(101)的位置，在本车辆(101)进入交叉路口之前，识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机；在无法识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机时，判定本车辆(101)是否到达了交叉路口的规定距离跟前之处；在判定本车辆(101)到达了交叉路口的规定距离跟前之处时，从存储部(12)读入与从当前时间点起回溯了规定时间PT的规定时间点为止所取得的拍摄图像相关联的识别结果；基于读入的识别结果，识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机；
信息生成部(143)，其生成将由所述信号机识别部(142)识别出的信号机与本车辆(101)的行驶车道建立了关联的道路信息。
2.根据权利要求1所述的道路信息生成装置，其特征在于，
所述信号机识别部(142)根据由所述车载检测器检测出的检测数据，将设置于交叉路口的信号机中的、正面方向与本车辆(101)的行驶车道的延伸方向在规定角度以内的信号机，识别为与本车辆(101)的行驶车道相对应的信号机。
3.根据权利要求1或2所述的道路信息生成装置，其特征在于，
所述信号机识别部(142)还在根据由所述车载检测器检测出的检测数据识别出本车辆(101)的行进方向前方的物体时，将该识别结果存储于所述存储部(12)。
4.根据权利要求3所述的道路信息生成装置，其特征在于，
所述信号机识别部(142)将所述识别结果存储于所述存储部(12)中，所述识别结果包括示出根据由所述车载检测器检测出的检测数据而识别出的物体的位置和朝向的信息。
5.根据权利要求1所述的道路信息生成装置，其特征在于，
所述信号机识别部(142)根据所述检测数据和由所述本车位置识别部(13)识别出的本车辆的位置，在本车辆(101)的位置包括在交叉路口内时，不进行对本车辆(101)的行驶车道和设置于该交叉路口的与本车辆(101)的行驶车道相对应的信号机的识别。
6.一种道路信息生成方法，其特征在于，包括如下步骤：
识别本车辆(101)的位置；
当根据由检测本车辆的周围状况的车载检测器检测出的检测数据在本车辆(101)的行进方向前方识别出交叉路口时，根据所述检测数据和识别出的本车辆(101)的位置，在本车辆(101)进入交叉路口之前，识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机；并存储与从当前时间点起回溯了规定时间的规定时间点为止的期间的所述检测数据相关联的识别结果；所述规定时间点是本车辆(101)根据相机(1a)的拍摄图像能够识别出交叉路口的时间点；
在无法识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机时，判定本车辆(101)是否到达了交叉路口的规定距离跟前之处；在判定本车辆(101)到达了交叉路口的规定距离跟前之处时，读入存储的与从当前时间点起回溯了规定时间PT的规定时间点为止所取得的拍摄图像相关联的识别结果；基于读入的识别结果，识别本车辆(101)的行驶车道和设置于交叉路口的与本车辆(101)的行驶车道相对应的信号机；
生成将识别出的所述信号机与本车辆(101)的行驶车道建立了关联的道路信息。
CN202210130026.2A 2021-02-24 2022-02-11 道路信息生成装置 Active CN114973644B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-027083 2021-02-24
JP2021027083A JP2022128712A (ja) 2021-02-24 2021-02-24 道路情報生成装置

Publications (2)

Publication Number Publication Date
CN114973644A CN114973644A (zh) 2022-08-30
CN114973644B true CN114973644B (zh) 2024-03-15

Family

ID=82900346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210130026.2A Active CN114973644B (zh) 2021-02-24 2022-02-11 道路信息生成装置

Country Status (3)

Country Link
US (1) US20220266824A1 (zh)
JP (1) JP2022128712A (zh)
CN (1) CN114973644B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005629A (ja) * 2016-07-04 2018-01-11 株式会社日立製作所 道路情報生成装置
CN110473414A (zh) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 一种车辆行驶路径确定方法、装置及系统
CN111223315A (zh) * 2018-11-27 2020-06-02 本田技研工业株式会社 交通引导物识别装置、交通引导物识别方法及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
JP2022124652A (ja) * 2021-02-16 2022-08-26 本田技研工業株式会社 地図生成装置および車両制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005629A (ja) * 2016-07-04 2018-01-11 株式会社日立製作所 道路情報生成装置
CN111223315A (zh) * 2018-11-27 2020-06-02 本田技研工业株式会社 交通引导物识别装置、交通引导物识别方法及存储介质
CN110473414A (zh) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 一种车辆行驶路径确定方法、装置及系统

Also Published As

Publication number Publication date
CN114973644A (zh) 2022-08-30
US20220266824A1 (en) 2022-08-25
JP2022128712A (ja) 2022-09-05

Similar Documents

Publication Publication Date Title
US11130492B2 (en) Vehicle control device, vehicle control method, and storage medium
CN114194186B (zh) 车辆行驶控制装置
CN114973644B (zh) 道路信息生成装置
CN114944073B (zh) 地图生成装置和车辆控制装置
CN114987529A (zh) 地图生成装置
CN115050203B (zh) 地图生成装置以及车辆位置识别装置
CN115050205B (zh) 地图生成装置以及位置识别装置
JP7301897B2 (ja) 地図生成装置
CN114194187B (zh) 车辆行驶控制装置
JP7141477B2 (ja) 地図生成装置
US20220254056A1 (en) Distance calculation apparatus and vehicle position estimation apparatus
US20230174069A1 (en) Driving control apparatus
US20220307861A1 (en) Map generation apparatus
US11867526B2 (en) Map generation apparatus
JP7141480B2 (ja) 地図生成装置
US20220306150A1 (en) Control device, control method, and storage medium
CN114987530A (zh) 地图生成装置
JP2024013451A (ja) 車両用検出装置
CN118116186A (zh) 车道推定装置和地图生成装置
CN116892919A (zh) 地图生成装置
CN116890846A (zh) 地图生成装置
JP2022121836A (ja) 車両制御装置
JP2024078845A (ja) 車線推定装置および地図生成装置
CN116890845A (zh) 地图生成装置
JP2022152051A (ja) 走行制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant