CN116894871A - 地图生成装置 - Google Patents
地图生成装置 Download PDFInfo
- Publication number
- CN116894871A CN116894871A CN202310251537.4A CN202310251537A CN116894871A CN 116894871 A CN116894871 A CN 116894871A CN 202310251537 A CN202310251537 A CN 202310251537A CN 116894871 A CN116894871 A CN 116894871A
- Authority
- CN
- China
- Prior art keywords
- map
- unit
- information
- feature points
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 23
- 230000036544 posture Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
本发明提供一种地图生成装置(60),具备:提取部(171),其从由检测本车辆的周围的状况的车载检测器(1a)检测出的检测信息中提取特征点;选择部(172),其从提取出的多个特征点中选择用于在计算部(173)进行计算的特征点;计算部(173),其根据多个检测信息,使用车载检测器(1a)的位置和姿势,针对选择出的多个不同的特征点分别计算多个检测信息中所包含的相同的特征点的三维位置;以及生成部(174),其使用计算出的多个不同的特征点的三维位置,生成包括各三维位置的信息在内的地图。选择部(172)根据对多个物体的每一个预先设定的优先级信息,选择检测信息中所包含的多个物体中优先级设定得高的物体上的特征点。
Description
技术领域
本发明涉及一种生成用于推定本车辆的位置的地图的地图生成装置。
背景技术
作为这种装置,以往已知有如下装置:使用从由搭载于行驶中的车辆上的相机取得的拍摄图像中提取出的特征点来制作地图(参见例如专利文献1)。
在现有技术中,存在与用于环境地图的制作的特征点相对应的地物的构造发生变化,地图信息与现实不符的情况。
现有技术文献
专利文献
专利文献1:日本特开2020-153956号公报。
发明内容
本发明的一技术方案的地图生成装置具备:提取部,其从由检测本车辆的周围的状况的车载检测器检测出的检测信息中提取特征点;选择部,其从由提取部提取出的多个特征点中选择用于在后述计算部进行计算的特征点;计算部,其根据多个检测信息,使用车载检测器的位置和姿势,针对由选择部选择出的多个不同的特征点分别计算多个检测信息中所包含的相同的特征点的三维位置;以及生成部,其使用由计算部计算出的多个不同的特征点的三维位置,生成包括各三维位置的信息在内的地图,选择部根据对多个物体的每一个预先设定的优先级信息,选择检测信息中所包含的多个物体中优先级设定得高的物体上的特征点。
附图说明
本发明的目的、特征以及优点,通过与附图相关的以下实施方式的说明进一步阐明。
图1是概略地示出发明的实施方式的车辆控制系统的整体构成的框图。
图2是示出实施方式的地图生成装置的主要部分构成的框图。
图3A是示出相机图像的一例的图。
图3B是示例所提取出的特征点的图。
图4A是说明由控制器执行的程序的处理的一例的流程图。
图4B是说明由控制器执行的程序的处理的一例的流程图。
图4C是详细示出图4A的步骤S30的图。
图4D是详细示出图4B的步骤S240的图。
具体实施方式
以下,参照附图对发明的实施方式进行说明。
发明的实施方式的地图生成装置能够应用在具有自动驾驶功能的车辆,即自动驾驶车辆。需要说明的是,有时区别于其他车辆,将应用本实施方式的地图生成装置的车辆称为本车辆。本车辆可以是具有内燃机(发动机)作为行驶驱动源的发动机车辆、具有行驶电动机作为行驶驱动源的电动汽车、具有发动机和行驶电动机作为行驶驱动源的混合动力车辆中的任一种。本车辆不仅能够在不需要驾驶员的驾驶操作的自动驾驶模式下行驶,也能够在由驾驶员进行驾驶操作的手动驾驶模式下行驶。
首先,对自动驾驶的本车辆的概略构成进行说明。图1是概略地示出具有实施方式的地图生成装置的本车辆的车辆控制系统100的整体构成的框图。如图1所示,车辆控制系统100主要具有控制器10和分别与控制器10可通信地连接的外部传感器组1、内部传感器组2、输入输出装置3、定位单元4、地图数据库5、导航装置6、通信单元7、行驶用的执行器AC。
外部传感器组1是检测本车辆的周边信息即外部状况的多个传感器(外部传感器)的总称。例如外部传感器组1包括:测定本车辆的全方位的针对照射光的散射光从而测定从本车辆至周围的障碍物的距离的激光雷达、通过照射电磁波并检测反射波来检测本车辆周边的其他车辆、障碍物等的雷达、以及搭载于本车辆,具有CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等摄像元件(图像传感器),拍摄本车辆的周边(前方、后方以及侧方)的相机等。
内部传感器组2是检测本车辆的行驶状态的多个传感器(内部传感器)的总称。例如内部传感器组2包括:检测本车辆的车速的车速传感器、分别检测本车辆的前后方向的加速度和左右方向的加速度(横向加速度)的加速度传感器、检测行驶驱动源的转速的转速传感器、检测本车辆的重心绕铅垂轴旋转的旋转角速度的横摆率传感器等。检测手动驾驶模式下的驾驶员的驾驶操作,例如对加速踏板的操作、对制动踏板的操作、对方向盘的操作等的传感器也包括在内部传感器组2中。
输入输出装置3是从驾驶员输入指令、向驾驶员输出信息的装置的总称。例如输入输出装置3包括:供驾驶员通过对操作构件的操作来输入各种指令的各种开关、供驾驶员通过语音输入指令的麦克、借助显示图像向驾驶员提供信息的显示器、通过语音向驾驶员提供信息的扬声器等。
定位单元(GNSS单元)4具有接收从定位卫星发送的定位用信号的定位传感器。定位卫星是GPS卫星、准天顶卫星等人造卫星。定位单元4利用定位传感器接收到的定位信息,测定本车辆的当前位置(纬度、经度、高度)。
地图数据库5是存储在导航装置6中使用的一般性地图信息的装置,例如由硬盘、半导体元件构成。地图信息包括:道路的位置信息、道路形状(曲率等)的信息、交叉路口、岔路口的位置信息。需要说明的是,存储于地图数据库5中的地图信息与存储于控制器10的存储部12中的高精度地图信息不同。
导航装置6是搜索到达由驾驶员输入的目的地的道路上的目标路径并进行沿目标路径的引导的装置。通过输入输出装置3进行目的地的输入和沿目标路径的引导。基于由定位单元4测定出的本车辆的当前位置和存储于地图数据库5中的地图信息来运算目标路径。也能够使用外部传感器组1的检测值测定本车辆的当前位置,还可以基于该当前位置和存储于存储部12中的高精度的地图信息来运算目标路径。
通信单元7通过包括以互联网、移动电话网等为代表的无线通信网的网络与未图示的各种服务器进行通信,定期或者在任意时机从服务器取得地图信息、行驶记录信息以及交通信息等。不仅取得行驶记录信息,还可以通过通信单元7向服务器发送本车辆的行驶记录信息。网络不仅包括公用无线通信网,还包括在每一规定的管理区域设置的封闭式通信网,例如无线LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)等。所取得的地图信息被输出到地图数据库5、存储部12,地图信息被更新(update)。
执行器AC是用于控制本车辆的行驶的行驶用执行器。在行驶驱动源为发动机的情况下,执行器AC包括调整发动机的节流阀的开度(节气门开度)的节气门用执行器。在行驶驱动源为行驶电动机的情况下,行驶电动机包括在执行器AC中。使本车辆的制动装置工作的制动用执行器和驱动转向装置的转向用执行器也包括在执行器AC中。
控制器10由电子控制单元(ECU)构成。更具体而言,控制器10包括具有CPU(微处理器)等运算部11、ROM(只读存储器)、RAM(随机存取存储器)等存储部12、I/O(输入/输出)接口等未图示的其他外围电路的计算机而构成。需要说明的是,能够将发动机控制用ECU、行驶电动机控制用ECU、制动装置用ECU等功能不同的多个ECU分开设置,但方便起见,在图1中示出控制器10作为这些ECU的集合。
在存储部12中存储高精度的详细的地图信息(称为高精度地图信息)。高精度地图信息包括:道路的位置信息、道路形状(曲率等)的信息、道路的坡度的信息、交叉路口、岔路口的位置信息、白线等道路划线的类别及其位置信息、车道数的信息、车道的宽度以及每一车道的位置信息(车道的中央位置、车道位置的边界线的信息)、作为地图上的标记的地标(建筑物、信号机、标识等)的位置信息、路面的凹凸等路面概况的信息。在实施方式中,将中心线、车道边界线、车道外侧线等统称为道路划线。
存储于存储部12的高精度地图信息包括:通过通信单元7从本车辆的外部取得的地图信息(称为外部地图信息)和使用外部传感器组1的检测值或外部传感器组1与内部传感器组2的检测值由本车辆自己制作的地图(称为内部地图信息)。
外部地图信息是经由例如云服务器取得的地图(称为云地图)的信息,内部地图信息是由使用例如SLAM(Simultaneous Localization and Mapping:同步定位与地图构建)等技术通过映射生成三维点云数据构成的地图(称为环境地图)的信息。外部地图信息由本车辆和其他车辆共享,与此相对,内部地图信息是本车辆独有的地图信息(例如由本车辆单独所有的地图信息)。在本车辆未行驶过的道路、新设的道路上等,由本车辆自己制作环境地图。需要说明的是,还可以通过通信单元7将内部地图信息提供给服务器装置、其他车辆。
存储部12除上述的高精度地图信息外,还存储本车辆的行驶轨迹信息、各种控制程序以及程序中使用的阈值等信息。
运算部11具有本车位置识别部13、外界识别部14、行动计划生成部15、行驶控制部16、地图生成部17作为功能性结构。
本车位置识别部13基于由定位单元4获取的本车辆的位置信息和地图数据库5的地图信息来识别(也可以称为推定)地图上的本车辆的位置(本车位置)。
还可以使用存储于存储部12的高精度地图信息和外部传感器组1检测出的本车辆的周边信息来识别(推定)本车位置,由此能够高精度地识别本车位置。
也能够基于内部传感器组2的检测值计算本车辆的移动信息(移动方向、移动距离),由此识别本车位置。需要说明的是,在能够用设置在道路上、道路旁边的外部的传感器测定本车位置时,也能够通过借助通信单元7与该传感器进行通信来识别本车位置。
外界识别部14基于来自激光雷达、雷达、相机等外部传感器组1的信号识别本车辆周围的外部状况。例如识别在本车辆的周边行驶的周边车辆(前方车辆、后方车辆)的位置、速度、加速度、在本车辆的周围停车或驻车着的周边车辆的位置以及其他物体的位置、状态等。其他物体包括:标识、信号机、道路划线或停止线等标示、建筑物、护栏、电线杆、广告牌、行人、自行车等。其他物体的状态包括:信号机的颜色(红、绿、黄)、行人、自行车的移动速度、朝向等。其他物体中的静止的物体的一部分构成成为地图上的位置的标志的地标,外界识别部14也识别地标的位置和类别。
行动计划生成部15根据例如由导航装置6运算出的目标路径、存储于存储部12的高精度地图信息、由本车位置识别部13识别出的本车位置、由外界识别部14识别出的外部状况,生成从当前时间点开始经过规定时间为止的本车辆的行驶轨迹(目标轨迹)。当目标路径上存在作为目标轨迹的候选的多个轨迹时,行动计划生成部15从其中选择遵守法律且满足高效、安全地行驶等基准的最佳轨迹,并将所选择的轨迹作为目标轨迹。然后,行动计划生成部15生成与所生成的目标轨迹相应的行动计划。行动计划生成部15生成与用于超越先行车辆的超车行驶、变更行驶车道的车道变更行驶、跟随先行车辆的跟随行驶、不偏离行驶车道而保持车道的车道保持行驶、减速行驶或加速行驶等相对应的各种行动计划。行动计划生成部15在生成目标轨迹时首先决定行驶方式,根据行驶方式生成目标轨迹。
在自动驾驶模式下,行驶控制部16对各执行器AC进行控制,以使本车辆沿着由行动计划生成部15生成的目标轨迹行驶。更具体而言,行驶控制部16在自动驾驶模式下考虑由道路坡度等决定的行驶阻力,计算用于得到由行动计划生成部15计算出的每单位时间的目标加速度的要求驱动力。然后,例如对执行器AC进行反馈控制,以使由内部传感器组2检测出的实际加速度成为目标加速度。即,对执行器AC进行控制,以使本车辆以目标车速和目标加速度行驶。需要说明的是,在手动驾驶模式下,行驶控制部16根据由内部传感器组2取得的来自驾驶员的行驶指令(转向操作等)对各执行器AC进行控制。
地图生成部17在以手动驾驶模式行驶的同时,使用由外部传感器组1检测出的检测值生成本车辆行驶过的道路周边的环境地图作为内部地图信息。例如从由相机取得的多帧的相机图像中,提取基于每一像素的亮度、颜色的信息示出物体的轮廓的边缘,并且使用该边缘信息提取特征点。特征点例如是边缘的交点,与建筑物的角、道路标识的角等相对应。地图生成部17按照SLAM技术的算法,一边以在多帧的相机图像之间相同的特征点汇聚于一点的方式推定相机的位置和姿势,一边关于该特征点计算三维位置。通过对多个特征点分别进行该计算处理,由此生成由三维点云数据构成的环境地图。
需要说明的是,还可以代替相机,使用由雷达、激光雷达取得的数据来提取本车辆周围的物体的特征点,生成环境地图。
另外,地图生成部17在生成环境地图时,当通过模板匹配处理等判定具有未用于上述三维位置的计算的特征点的规定的地物(例如道路划线、信号机、标识等)包含在相机图像中时,将与基于相机图像的地物的特征点相对应的点的位置信息追加到环境地图上,并存储于存储部12。
本车位置识别部13与地图生成部17的地图制作处理并行地进行本车辆的位置识别处理。即,根据特征点的位置随着时间经过的变化,推定本车辆的位置。按照SLAM技术的算法同时进行地图制作处理和位置识别(推定)处理。地图生成部17不仅在以手动驾驶模式行驶时生成环境地图,在以自动驾驶模式行驶时也能够同样地生成环境地图。在已经生成环境地图并存储在存储部12中的情况下,地图生成部17还可以基于新取得的从相机图像中新提取出的特征点(也可以称为新特征点)来更新环境地图。
然而,使用利用SLAM技术生成的环境地图的信息推定本车位置时,当在环境地图的生成时与本车位置的推定时之间存在时间差(例如2~3个月或者半年至1年)时,因道路施工、道路周边的建筑物的新建、改建、拆毁、行道树等的季节变化等,有环境构造(例如道路以及道路周边的地物的构造等)发生变化的情况。
因此,构成环境地图的特征点与在进行本车位置推定时从相机图像提取出的特征点不匹配,难以正确地推定本车位置。
在实施方式中,按照SLAM技术的算法在多帧相机图像之间追踪相同的特征点,关于该特征点在计算三维位置之前,选择难以受环境变化的影响的特征点。进而,根据生成了环境地图后的环境变化,更新构成环境地图的特征点的信息。
更详细地说明实施上述处理的地图生成装置。
图2是示出实施方式的地图生成装置60的主要部分构成的框图。地图生成装置60是用于控制本车辆的行驶动作的装置,构成图1的车辆控制系统100的一部分。如图2所示,地图生成装置60具有控制器10、相机1a、雷达1b、激光雷达1c。
相机1a构成图1的外部传感器组1的一部分。相机1a既可以是单眼相机,也可以是立体相机,拍摄本车辆的周围。相机1a例如安装于本车辆的前部的规定位置,以规定的帧率连续地拍摄本车辆的前方空间,并依次将作为检测信息的帧图像数据(简称为相机图像)向控制器10输出。
图3A是示出由相机1a取得的某一帧的相机图像的一例的图。相机图像IM中包括在本车辆的前方行驶的其他车辆V1、在本车辆的右侧车道行驶的其他车辆V2、本车辆的周边的信号机SG、行人PE、交通标识TS1、TS2、本车辆的周边的建筑物BL1、BL2、BL3、车道外侧线OL、车道边界线SL等。
图2的雷达1b搭载于本车辆,通过照射电磁波并检测反射波来检测本车辆的周边的其他车辆、障碍物等。雷达1b将作为检测信息的检测值(检测数据)向控制器10输出。激光雷达1c搭载于本车辆,测定本车辆的全方位的针对照射光的散射光来检测从本车辆至周边障碍物的距离。激光雷达1c将作为检测信息的检测值(检测数据)向控制器10输出。
控制器10包括运算部11和存储部12。运算部11具有信息取得部141、提取部171、选择部172、计算部173、生成部174、本车位置识别部13作为功能性结构。
信息取得部141包含于例如图1的外界识别部14中。提取部171、选择部172、计算部173以及生成部174包含于例如图1的地图生成部17中。
另外,存储部12包括地图存储部121和轨迹存储部122。
信息取得部141从存储部12(地图存储部121)取得用于控制本车辆的行驶动作的信息。更详细而言,信息取得部141从地图存储部121读出环境地图中所包括的地标信息,进而从地标信息取得示出本车辆所行驶的道路的道路划线的位置和那些道路划线的延伸方向的信息(以下称为道路划线信息)。
需要说明的是,在道路划线信息中不包括示出道路划线的延伸方向的信息时,信息取得部141还可以根据道路划线的位置计算那些道路划线的延伸方向。另外,还可以从存储于地图存储部121的道路地图信息、白线地图(示出白色、黄色等道路划线的位置的信息)等中,取得示出本车辆所行驶的道路的道路划线的位置和延伸方向的信息。
提取部171从由相机1a取得的相机图像IM(图3A中的示例)中提取示出物体的轮廓的边缘,并使用该边缘信息提取特征点。如上所述,特征点例如是边缘的交点。图3B是示例基于图3A的相机图像IM由提取部171提取出的特征点的图。图中的黑点示出特征点。
选择部172从由提取部171提取出的特征点中选择计算三维位置的特征点。在实施方式中,选择容易区别于其他特征点的独特的特征点。
首先,选择部172使用机器学习(DNN(Deep Neural Network:深度神经网路)等)技术,进行分割(segmentation),该分割将相机图像IM分割成映现在相机图像IM中的各物体的区域。例如将相机图像IM分类成(1)道路、(2)其他车辆、(3)行人、(4)施工标识等(标识、路障(pylon)等)、(5)交通标识/信号机、(6)护栏/挡板、(7)建筑物、(8)行道树/植栽、(9)云朵、(10)天空的区域。需要说明的是,在图3A示例的相机图像IM中,示例这些物体的一部分。
在实施方式中,针对所示例的10种各区域的物体,预先决定示出易随时间变化的程度的顺序。例如(2)其他车辆、(3)行人、(4)施工标识等(标识、路障等)以及(9)云朵在短时期内容易变化,因此示出易随时间变化的程度的顺序是第一位。(10)天空也是同样的。
接着,(8)行道树/植栽易随着季节(例如3个月)变化,因此示出易随时间变化的程度的顺序是第二位。
然后,(1)道路、(5)交通标识/信号机、(6)护栏/挡板以及(7)建筑物与其他物体相比较不易发生变化,因此示出易随时间变化的程度的顺序是第三位。
选择部172在从由提取部171提取出的特征点中选择用于计算三维位置的特征点的情况下,优先选择上述分类的区域中的不易发生变化的物体(上述顺序是第三位)的区域中所包含的特征点。因此,对于基于(1)道路、(5)交通标识/信号机、(6)护栏/挡板以及(7)建筑物的边缘信息的特征点,设定为较高的优先级,比起其他特征点优先地进行选择。
关于基于季节性变化的(8)行道树/植栽的边缘信息的特征点,选择部172在地图制作时以及从地图制作时起规定期间(例如3个月)内,将该特征点作为基于上述不易变化的物体的边缘信息的特征点之后的选择对象。因此,对于基于(8)行道树/植栽的边缘信息的特征点,设定为中等优先级(在上述较高优先级与后述较低优先级的中间),在基于(1)道路、(5)交通标识/信号机、(6)护栏/挡板以及(7)建筑物的边缘信息的特征点之后选择。
关于季节变换之后的(8)行道树/植栽的边缘信息的特征点,选择部172将选择的优先级降低,实质上不进行选择。因为在季节变换之后,因植物的生长或叶落等,植物的姿态发生变化的可能性较高。
另外,选择部172不选择包括在易随时间变化的物体(上述顺序为第一位)的区域中的特征点。因此,对于(2)其他车辆、(3)行人、(4)施工标识等(标识、路障等)、(9)云朵以及(10)天空的边缘信息的特征点,设定为较低的优先级,不选择它们。
需要说明的是,在不选择相对于其他物体明显远处的特征点这一点上,也优选不选择(9)云朵以及(10)天空的区域的特征点。通过不选择与其他特征点相比明显远处的特征点,能够防止三维位置的计算精度的降低。
计算部173一边以将多帧的相机图像IM之间相同的特征点汇聚于一点的方式推定相机1a的位置和姿势,一边关于该特征点计算三维位置。计算部173分别计算由选择部172选择出的多个不同的特征点的三维位置。
生成部174使用由计算部173计算出的多个不同的特征点的三维位置,生成由包括各三维位置的信息在内的三维点云数据构成的环境地图。
本车位置识别部13根据存储于地图存储部121的环境地图,推定环境地图上的本车位置。
首先,本车位置识别部13推定本车辆在车宽方向上的位置。详细而言,本车位置识别部13使用机器学习技术,识别由相机1a新取得的相机图像IM中所包含的道路的道路划线。本车位置识别部13根据从存储于地图存储部121的环境地图中所包含的地标信息中取得的道路划线信息,识别相机图像IM中所包含的道路划线在环境地图上的位置、延伸方向。然后,本车位置识别部13根据道路划线在环境地图上的位置、延伸方向,推定本车辆与道路划线在车宽方向上的相对的位置关系(环境地图上的位置关系)。这样推定出环境地图上的本车辆在车宽方向上的位置。
接着,本车位置识别部13推定本车辆在行进方向上的位置。详细而言,本车位置识别部13通过模板匹配等处理从由相机1a新取得的相机图像IM(图3A)中识别地标(例如建筑物BL1),并且从由提取部171提取出的特征点中识别该地标上的特征点。进而,本车位置识别部13根据在相机图像IM上映现的地标的特征点的位置,推定行进方向上的从本车辆至地标的距离。需要说明的是,从本车辆至地标的距离还可以根据雷达1b、激光雷达1c的检测值来计算。
本车位置识别部13在存储于地图存储部121的环境地图中,搜索与上述地标相对应的特征点。换言之,在从构成环境地图的多个特征点(点云数据)中识别与从新取得的相机图像IM中识别出的地标的特征点匹配的特征点。
接着,本车位置识别部13根据环境地图上的与地标的特征点相对应的特征点的位置和行进方向上的从本车辆至地标的距离,推定环境地图上的本车辆在行进方向上的位置。
如以上说明,本车位置识别部13根据环境地图上的本车辆在车宽方向以及行进方向上的推定位置,识别环境地图上的本车辆的位置。
地图存储部121存储由生成部174生成的环境地图的信息。
轨迹存储部122存储示出本车辆的行驶轨迹的信息。行驶轨迹例如被表示为由本车位置识别部13在行驶过程中识别出的、环境地图上的本车位置。
<流程图的说明>
参照图4A和图4B的流程图,对于按照预先决定的程序由图2的控制器10执行的处理的一例进行说明。图4A是示出制作环境地图之前的处理的图,例如在手动驾驶模式下开始,以规定周期反复执行。图4B示出与图4A的地图制作处理并行地进行的处理。另外,图4B在环境地图制作之后,例如在自动驾驶模式下开始,以规定周期反复执行。图4C示出图4A的步骤S30的详细步骤。图4D示出图4B的步骤S240的详细步骤。
在图4A的步骤S10中,控制器10从相机1a取得作为检测信息的相机图像IM,进入步骤S20。
在步骤S20中,控制器10通过提取部171从相机图像IM中提取特征点,进入步骤S30。
在步骤S30中,控制器10按照以下顺序由选择部172选择特征点。
在图4C的步骤S31中,选择部172进行分割,将相机图像IM分割成映现在相机图像IM中的各物体的区域,进入步骤S32。
在步骤S32中,选择部172将由提取部171提取出的特征点与各区域建立对应关系,进入步骤S33。
在步骤S33中,选择部172按照10种各区域的特征点的优先级顺序,选择特征点,并结束图4C的处理。
通过以上选择处理,能够优先选择基于不易随时间发生变化的物体的边缘信息的特征点。
在步骤S40中,控制器10通过计算部173分别计算多个不同特征点的三维位置,进入步骤S50。
在步骤S50中,控制器10通过生成部174生成由包括多个不同的特征点的各三维位置的信息在内的三维点云数据构成的环境地图,进入步骤S60。
在步骤S60中,控制器10在识别为本车辆所行驶的位置位于过去的行驶轨迹上的情况下,通过闭环(Loop Closing)处理,修正环境地图中所包含的三维位置的信息,进入步骤S70。
简单说明闭环处理。通常,在SLAM技术中,因为在本车辆移动的同时识别本车位置,因此会累积误差。例如本车辆在环状道路等环形道路上绕行时,因累积误差导致起点和终点的位置不一致。因此,在识别为本车辆所行驶的位置位于过去的行驶轨迹上的情况下,进行闭环处理,闭环处理将使用从在与过去相同的行驶地点新取得的相机图像中提取出的特征点(称为新特征点)识别出的本车辆的位置和使用从在过去行驶时取得的相机图像中提取出的特征点在过去识别出的本车辆的位置作为相同的坐标。
在步骤S70中,控制器10将环境地图的信息记录在存储部12的地图存储部121中,结束图4A的处理。
在图4B的步骤S210中,控制器10从相机1a取得作为检测信息的相机图像IM,进入步骤S220。
在步骤S220中,控制器10通过提取部171从相机图像IM中提取新的特征点,进入步骤S230。需要说明的是,在图4B的处理中提取出的特征点即使是与在图4A的处理中提取出的特征点相同的物体上的点时,也称为新特征点。
在步骤S230中,控制器10通过选择部172选择新特征点,进入步骤S240。在步骤S230中,与步骤S30同样,优先选择基于不易随时间发生变化的物体的边缘信息的新特征点。
在步骤S240中,控制器10按照以下步骤由本车位置识别部13根据环境地图识别(推定)本车位置。
在图4D的步骤S241中,控制器10通过本车位置识别部13在构成存储于存储部12的地图存储部121中的环境地图的多个特征点(点云数据)中,搜索与由选择部172选择出的新特征点相对应的特征点的信息,进入步骤S242。
在步骤S242中,当在环境地图内有匹配的特征点的情况下,换言之,在构成环境地图的多个特征点中有与新特征点相对应的特征点的情况下,本车位置识别部13判定步骤S242为肯定(S24:是),进入步骤S243。控制器10当在环境地图内无匹配的特征点的情况下,换言之,在构成环境地图的多个特征点中无与新特征点相对应的特征点的情况下,判定步骤S242为否定(S24:否),进入步骤S246。
在步骤S243中,本车位置识别部13根据匹配的特征点识别(推定)环境地图上的本车辆的位置,进入步骤S244。
在步骤S244中,控制器10在对于在步骤S241的处理中匹配的特征点,换言之在环境地图内与新特征点相对应的特征点的评价值加1,进入步骤S245。评价值被记录于地图存储部121,作为环境地图的信息的一部分。
在实施方式中,在环境地图内在识别(推定)本车辆的位置时匹配的特征点,设为在其评价值加1。另一方面,在识别(推定)本车辆的位置时没匹配的特征点,设为从其评价值减1。控制器10在评价值变为零且经过了规定期间的情况下,将该点的信息从环境地图中删除。环境地图内在识别(推定)本车辆的位置时匹配的次数多的特征点,因为其评价值的值大,因此假设即使有暂时不匹配的期间,在评价值变为零且经过规定期间为止的期间,也能够在环境地图上留存其信息。
在步骤S245中,控制器10从对于在步骤S241的处理中不匹配的特征点,换言之在环境地图内与新特征点不对应的特征点的评价值中减去1,结束图4D的处理。需要说明的是,评价值的最小值设为零。
在判定步骤S242为否定(S242:否)而进入的步骤S246中,本车位置识别部13根据新特征点的位置信息,识别(推定)环境地图上的本车辆的位置,进入步骤S245。新特征点的位置信息是例如根据在相机图像IM中映现的物体的位置,推定从本车辆至物体的距离而得到的。需要说明的是,从本车辆至物体的距离还可以根据雷达1b、激光雷达1c的检测值取得。
在图4B的步骤S250中,控制器10在环境地图中追加信息。控制器10将与在步骤S246(图4D)中推定出的环境地图上的本车辆的位置信息相对应的新特征点的信息追加到环境地图中,进入步骤S260。
因为这样构成,能够将因道路环境的变化而成为新存在的新地标等新特征点的信息收入于环境地图中。
需要说明的是,控制器10将对所追加的特征点的评价值设为1(初始值)。在实施方式中,对于首次在环境地图中记录信息的特征点设定为1。
在步骤S260中,控制器10从环境地图中删除信息。在构成环境地图的多个特征点中,关于例如评价值0持续了规定期间(例如半年)的特征点,控制器10将其信息从环境地图中删除。因为这样构成,能够将因道路环境的变化而变得不存在了的旧地标等的特征点的信息从环境地图中删除。
在步骤S270中,将通过步骤S250和步骤S260更新后的环境地图的信息记录在地图存储部121,结束图4B的处理。
采用以上说明的实施方式,得到如下的作用效果。
(1)地图生成装置60具备:提取部171,其从由相机1a检测出的检测信息的相机图像IM中提取特征点,相机作为检测本车辆的周围的状况的车载检测器;选择部172,其从由提取部171提取出的多个特征点中,选择用于在计算部173进行计算的特征点;计算部173,其根据多帧相机图像IM,使用相机1a的位置和姿势,针对由选择部172选择出的多个不同的特征点分别计算多帧相机图像IM中所包含的相同特征点的三维位置;以及生成部174,使用由计算部173计算出的多个不同特征点的三维位置,生成包括各三维位置的信息在内的环境地图,选择部172根据针对多个物体的每一个预先设定的优先级信息,选择相机图像IM中所包含的多个物体中优先级设定得高的物体上的特征点。
因为这样构成,通过优先选择预先设定的优先级高的物体(例如道路、交通标识等)的特征点,并且避免选择预先设定的优先级低的物体(例如其他车辆等)的特征点,由此能够抑制用于环境地图生成的特征点的数量,同时能够将对识别(推定)本车位置有用的物体的信息包括在环境地图中。
这样,能够适当地生成安全的车辆控制所必须的环境地图。
(2)在上述(1)中,优先级信息设定为,随着时间经过而变化的可能性越低的物体其优先级越高。
因为这样构成,即使在环境地图生成后经过了时间,对本车位置的识别(推定)有用的物体的信息留存在环境地图内的可能性增大。也就是说,能够适当地生成包括不易受环境变化的影响的特征点的信息在内的环境地图。
(3)在上述(1)的地图生成装置60中,还具备:地图存储部121,其存储所生成的环境地图;和本车位置识别部13,其作为位置推定部,将由提取部171从由相机1a新检测出的相机图像IM中提取出的新特征点与存储于地图存储部121中的环境地图内的特征点进行对照,由此推定本车辆的位置。本车位置识别部13将分别与环境地图内的多个特征点建立对应关系并示出对照结果的评价值存储于环境地图中,生成部174从环境地图中删除环境地图内的多个特征点的信息中评价值低于规定值的特征点的信息。本车位置识别部13使环境地图内的多个特征点中与新特征点匹配的特征点的评价值增加(递增1),使环境地图内的多个特征点中与新特征点不匹配的特征点的评价值减少(递减1),从地图中删除评价值低于规定值的特征点,更详细而言是评价值低于规定值的状态持续了规定期间的特征点。
因为这样构成,能够从环境地图中删除对本车位置的识别(推定)无用的物体的信息。能够从环境地图中除去例如在环境地图的生成时存在,但因环境的变化而成为不存在了的旧地标等的特征点的信息。
(4)在上述(1)的地图生成装置60中,还具备:地图存储部121,其存储所生成的环境地图;和本车位置识别部13,其作为位置推定部,将由提取部171从由相机1a新检测出的相机图像IM中提取出的新特征点与存储于地图存储部121中的环境地图内的特征点进行对照,由此推定本车辆的位置,生成部174在与新特征点匹配的信息不包括在环境地图中的情况下,将与新特征点相对应的特征点的信息追加在环境地图中。
因为这样构成,能够在之后将对本车位置的识别(推定)有用的物体的信息追加到环境地图中。能够将例如在环境地图生成时不存在,但因道路环境的变化而成为新存在的新地标等的新特征点的信息收入于环境地图中。
上述实施方式能够变形成各种方式。以下说明变形例。
(变形例1)
说明了选择部172通过分割将相机图像IM分为10种物体的区域的例子,但物体的种类是示例,可以适当地变化。另外,说明了将选择部172所选择的物体上的特征点的优先级根据包括其特征点的物体的类别分为高、中、低三个等级的例子,但还可以进一步细分示出优先级的等级。
(变形例2)
在实施方式中,为了简明易懂地说明,方便起见将图4A所示的处理作为生成环境地图之前的处理进行了说明。但是,在制作了环境地图之后,也可以与图4B的本车位置识别处理并行地进行图4A所示的处理。通过在环境地图完成后也执行,例如道路环境发生了变化的情况下等,能够将该信息适当地反映在环境地图。
以上说明归根结底为一例,只要不破坏本发明的特征,上述实施方式和变形例就不限定本发明。
既能够将上述实施方式与变形例的一个或多个任意组合,也能够将变形例彼此进行组合。
采用本发明,能够适当地生成不易受环境变化的影响的地图。
上文结合优选实施方式对本发明进行了说明,但本领域技术人员应理解,在不脱离后述权利要求书的公开范围的情况下能够进行各种修改和变更。
Claims (6)
1.一种地图生成装置,其特征在于,具备:
提取部(171),其从由检测本车辆的周围的状况的车载检测器检测出的检测信息中提取特征点;
选择部(172),其从由所述提取部(171)提取出的多个所述特征点中选择用于在后述计算部(173)进行计算的特征点;
计算部(173),其根据多个所述检测信息,使用所述车载检测器的位置和姿势,针对由所述选择部(172)选择出的多个不同的所述特征点分别计算多个所述检测信息中所包含的相同的所述特征点的三维位置;以及
生成部(174),其使用由所述计算部(173)计算出的多个不同的所述特征点的三维位置,生成包括各所述三维位置的信息在内的地图,
所述选择部(172)根据对多个物体的每一个预先设定的优先级信息,选择所述检测信息中所包含的多个物体中优先级设定得高的物体上的所述特征点。
2.根据权利要求1所述的地图生成装置,其特征在于,
所述优先级信息设定为随着时间经过而变化的可能性越低的物体,所述优先级设定得越高。
3.根据权利要求1所述的地图生成装置,其特征在于,具备:
地图存储部(121),其存储所述生成了的地图;和
位置推定部(13),其通过将由所述提取部(171)从由所述车载检测器(1a)新检测出的检测信息中提取出的新特征点与存储于所述地图存储部(121)的所述地图内的所述特征点进行对照,推定所述本车辆的位置,
所述位置推定部(13)将分别与所述地图内的多个所述特征点建立对应关系并示出所述对照的结果的评价值存储于所述地图,
所述生成部(174)从所述地图中删除所述地图内的多个所述特征点的信息中所述评价值低于规定值的所述特征点的信息。
4.根据权利要求3所述的地图生成装置,其特征在于,
所述位置推定部(13)使所述地图内的多个所述特征点中与所述新特征点匹配的所述特征点的评价值增加,使所述地图内的多个所述特征点中与所述新特征点不匹配的所述特征点的评价值减少,从所述地图中删除所述评价值低于规定值的所述特征点。
5.根据权利要求4所述的地图生成装置,其特征在于,
所述位置推定部(13)从所述地图中删除所述评价值低于规定值的状态持续了规定期间的所述特征点。
6.根据权利要求1所述的地图生成装置,其特征在于,具备:
地图存储部(121),其存储所述生成了的地图;和
位置推定部(13),其通过将由所述提取部(171)从由所述车载检测器(1a)新检测出的检测信息中提取出的新特征点与存储于所述地图存储部(121)的所述地图内的所述特征点进行对照,推定所述本车辆的位置,
所述生成部(174)在与所述新特征点匹配的信息不包含在所述地图中的情况下,在所述地图中追加所述新特征点的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-056150 | 2022-03-30 | ||
JP2022056150A JP2023148239A (ja) | 2022-03-30 | 2022-03-30 | 地図生成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116894871A true CN116894871A (zh) | 2023-10-17 |
Family
ID=88193837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310251537.4A Pending CN116894871A (zh) | 2022-03-30 | 2023-03-15 | 地图生成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230314163A1 (zh) |
JP (1) | JP2023148239A (zh) |
CN (1) | CN116894871A (zh) |
-
2022
- 2022-03-30 JP JP2022056150A patent/JP2023148239A/ja active Pending
-
2023
- 2023-03-15 CN CN202310251537.4A patent/CN116894871A/zh active Pending
- 2023-03-21 US US18/124,506 patent/US20230314163A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230314163A1 (en) | 2023-10-05 |
JP2023148239A (ja) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220250619A1 (en) | Traveling assist apparatus | |
US20220266824A1 (en) | Road information generation apparatus | |
US11874135B2 (en) | Map generation apparatus | |
CN115112130A (zh) | 本车位置推定装置 | |
CN115158322A (zh) | 地图信息生成装置及本车位置推定装置 | |
CN116894871A (zh) | 地图生成装置 | |
CN115050205B (zh) | 地图生成装置以及位置识别装置 | |
WO2023188262A1 (ja) | 地図生成装置 | |
US11867526B2 (en) | Map generation apparatus | |
CN115050203B (zh) | 地图生成装置以及车辆位置识别装置 | |
US20220291014A1 (en) | Map generation apparatus | |
CN114926805B (zh) | 划分线识别装置 | |
US20230314162A1 (en) | Map generation apparatus | |
US20220307861A1 (en) | Map generation apparatus | |
US20220254056A1 (en) | Distance calculation apparatus and vehicle position estimation apparatus | |
CN116890846A (zh) | 地图生成装置 | |
CN116890845A (zh) | 地图生成装置 | |
CN118209093A (zh) | 地图评价装置和车辆控制系统 | |
CN114987530A (zh) | 地图生成装置 | |
CN114987528A (zh) | 地图生成装置 | |
JP2022123988A (ja) | 区画線認識装置 | |
CN114987532A (zh) | 地图生成装置 | |
CN118116186A (zh) | 车道推定装置和地图生成装置 | |
CN116892919A (zh) | 地图生成装置 | |
CN114954508A (zh) | 车辆控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |