CN116890846A - 地图生成装置 - Google Patents
地图生成装置 Download PDFInfo
- Publication number
- CN116890846A CN116890846A CN202310224421.1A CN202310224421A CN116890846A CN 116890846 A CN116890846 A CN 116890846A CN 202310224421 A CN202310224421 A CN 202310224421A CN 116890846 A CN116890846 A CN 116890846A
- Authority
- CN
- China
- Prior art keywords
- map
- time point
- road marking
- road
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3822—Road feature data, e.g. slope data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Image Analysis (AREA)
Abstract
地图生成装置具备:道路划线检测部,检测本车辆的周围的路面上的道路划线;第一地图生成部,生成包括检测出的道路划线的位置信息在内的地图;特征点检测部,检测本车辆的周围的特征点;第二地图生成部,生成包括检测出的特征点的位置信息在内的地图;存储部,存储包括在第一时间点检测出的道路划线的第一时间点第一地图和包括在第一时间点检测出的特征点的第一时间点第二地图;判定部,根据第一时间点第一地图与包括在第一时间点之后的第二时间点检测出的道路划线的第二时间点第一地图的差异,判定路面上的道路划线的位置是否发生了变化。判定部在第一时间点第一地图与第二时间点第一地图的差异程度为第一规定程度以上,且第一时间点第二地图与包括在第二时间点检测出的特征点的第二时间点第二地图的差异程度为第二规定程度以上时,判定为路面上的道路划线的位置发生了变化。
Description
技术领域
本发明涉及一种生成包括道路地图的地图的地图生成装置。
背景技术
作为这种装置,以往已知有使用由搭载于车辆的相机拍摄到的图像识别道路划线(白线),将道路划线的识别结果用于车辆的行驶控制的装置。那样的装置例如记载于专利文献1中。在专利文献1记载的装置中,提取所拍摄的图像的亮度的变化为阈值以上的边缘点,并根据边缘点识别道路划线。
然而,在专利文献1记载的装置中,使用相机图像识别道路划线,因此有可能误检测道路划线。因此,尽管实际上所识别出的道路划线的位置偏移,也有可能误判定为位置没有偏移。
现有技术文献
专利文献
专利文献1:日本特开2014-104853号公报(JP2014-104853A)。
发明内容
本发明的一技术方案的地图生成装置具备:道路划线检测部,其检测本车辆的周围的路面上的道路划线;第一地图生成部,其生成包括由道路划线检测部检测出的道路划线的位置信息在内的地图;特征点检测部,其检测本车辆的周围的物体的特征点;第二地图生成部,其生成包括由特征点检测部检测出的特征点的位置信息在内的地图;存储部,其存储包括在第一时间点由道路划线检测部检测出的道路划线的、由第一地图生成部生成的第一时间点第一地图和包括在第一时间点由特征点检测部检测出的特征点的、由第二地图生成部生成的第一时间点第二地图;以及判定部,其根据存储于存储部的第一时间点第一地图与包括在第一时间点之后的第二时间点由道路划线检测部检测出的道路划线的、由第一地图生成部生成的第二时间点第一地图的差异,判定路面上的道路划线的位置是否发生了变化。判定部在第一时间点第一地图与第二时间点第一地图的差异程度为第一规定程度以上,且存储于存储部的第一时间点第二地图与包括在第二时间点由特征点检测部检测出的特征点的、由第二地图生成部生成的第二时间点第二地图的差异程度为第二规定程度以上时,判定为路面上的道路划线的位置发生了变化。
附图说明
本发明的目的、特征以及优点,通过与附图相关的以下实施方式的说明进一步阐明。
图1是概略地示出具有本发明的实施方式的地图生成装置的车辆控制系统的整体构成的框图。
图2A是示出应用本发明的实施方式的地图生成装置的道路构造的一例的图。
图2B是示出应用本发明的实施方式的地图生成装置的道路构造的另一例的图。
图3是示出本发明的实施方式的地图生成装置的主要部分构成的框图。
图4A是示出将特征点重叠在图2A上的合成地图的一例的图。
图4B是示出将特征点重叠在图2B上的合成地图的另一例的图。
图5是示出由图3的控制器执行的处理的一例的流程图。
具体实施方式
以下参照图1~图5对本发明的实施方式进行说明。本发明的实施方式的地图生成装置构成为,生成在例如具有自动驾驶功能的车辆(自动驾驶车辆)行驶时所使用的地图。需要说明的是,有时区别于其他车辆,将设置有本实施方式的地图生成装置的车辆称为本车辆。
由地图生成装置实施的地图的生成在驾驶员手动驾驶本车辆时执行。因此,地图生成装置能够设置在不具有自动驾驶功能的车辆(手动驾驶车辆)。地图生成装置不仅能够设置于手动驾驶车辆,也能够设置于自动驾驶车辆,自动驾驶车辆能够从不需要驾驶员的驾驶操作的自动驾驶模式向需要驾驶员的驾驶操作的手动驾驶模式切换。以下,作为在自动驾驶车辆设置地图生成装置的情况,对地图生成装置进行说明。
首先,对自动驾驶车辆的构成进行说明。本车辆可以是具有内燃机(发动机)作为行驶驱动源的发动机车辆、具有行驶电动机作为行驶驱动源的电动汽车、具有发动机和行驶电动机作为行驶驱动源的混合动力车辆中的任一种。图1是概略地示出具有本发明的实施方式的地图生成装置的车辆控制系统100的整体构成的框图。
如图1所示,车辆控制系统100主要具有控制器10和通过CAN通信线等分别与控制器10可通信地连接的外部传感器组1、内部传感器组2、输入输出装置3、定位单元4、地图数据库5、导航装置6、通信单元7、行驶用的执行器AC。
外部传感器组1是检测本车辆的周边信息即外部状况的多个传感器(外部传感器)的总称。例如外部传感器组1包括:通过照射激光并检测反射光来检测本车辆周边的物体的位置(距离本车辆的距离、方向)的激光雷达、通过照射电磁波并检测反射波来检测本车辆周边的物体的位置的雷达、以及具有CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等摄像元件,拍摄本车辆的周边(前方、后方以及侧方)的相机等。
内部传感器组2是检测本车辆的行驶状态的多个传感器(内部传感器)的总称。例如内部传感器组2包括:检测本车辆的车速的车速传感器、分别检测本车辆的前后方向和左右方向的加速度的加速度传感器、检测行驶驱动源的转速的转速传感器等。检测手动驾驶模式下的驾驶员的驾驶操作,例如对加速踏板的操作、对制动踏板的操作、对方向盘的操作等的传感器也包括在内部传感器组2中。
输入输出装置3是从驾驶员输入指令、向驾驶员输出信息的装置的总称。例如输入输出装置3包括:供驾驶员通过对操作构件的操作来输入各种指令的各种开关、供驾驶员通过语音输入指令的麦克、借助显示图像向驾驶员提供信息的显示器、通过语音向驾驶员提供信息的扬声器等。
定位单元(GNSS单元)4具有接收从定位卫星发送的定位用信号的定位传感器。也能够将定位传感器包括在内部传感器组2中。定位卫星是GPS卫星、准天顶卫星等人造卫星。定位单元4利用定位传感器接收到的定位信息,测定本车辆的当前位置(纬度、经度、高度)。
地图数据库5是存储在导航装置6中使用的一般性地图信息的装置,例如由硬盘、半导体元件构成。地图信息包括:道路的位置信息、道路形状(曲率等)的信息、交叉路口、岔路口的位置信息。需要说明的是,存储于地图数据库5中的地图信息与存储于控制器10的存储部12中的高精度地图信息不同。
导航装置6是搜索到达由驾驶员输入的目的地的道路上的目标路径并进行沿目标路径的引导的装置。通过输入输出装置3进行目的地的输入和沿目标路径的引导。基于由定位单元4测定出的本车辆的当前位置和存储于地图数据库5中的地图信息来运算目标路径。也能够使用外部传感器组1的检测值测定本车辆的当前位置,还可以基于该当前位置和存储于存储部12中的高精度的地图信息来运算目标路径。
通信单元7通过包括以互联网、移动电话网等为代表的无线通信网的网络与未图示的各种服务器进行通信,定期或者在任意时机从服务器取得地图信息、行驶记录信息以及交通信息等。网络不仅包括公用无线通信网,还包括在每一规定的管理区域设置的封闭式通信网,例如无线LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)等。所取得的地图信息被输出到地图数据库5、存储部12,地图信息被更新。也能够通过通信单元7与其他车辆进行通信。
执行器AC是用于控制本车辆的行驶的行驶用执行器。在行驶驱动源为发动机的情况下,执行器AC包括调整发动机的节流阀的开度(节气门开度)的节气门用执行器。在行驶驱动源为行驶电动机的情况下,行驶电动机包括在执行器AC中。使本车辆的制动装置工作的制动用执行器和驱动转向装置的转向用执行器也包括在执行器AC中。
控制器10由电子控制单元(ECU)构成。更具体而言,控制器10包括具有CPU(微处理器)等运算部11、ROM(只读存储器)、RAM(随机存取存储器)等存储部12、I/O(输入/输出)接口等未图示的其他外围电路的计算机而构成。需要说明的是,能够将发动机控制用ECU、行驶电动机控制用ECU、制动装置用ECU等功能不同的多个ECU分开设置,但方便起见,在图1中示出控制器10作为这些ECU的集合。
在存储部12中存储高精度的道路地图信息。该道路地图信息包括:道路的位置信息、道路形状(曲率等)的信息、道路的坡度的信息、交叉路口、岔路口的位置信息、车道数的信息、车道的宽度以及每一车道的位置信息(车道的中央位置、车道位置的边界线的信息)、作为地图上的标记的地标(信号机、标识、建筑物等)的位置信息、路面的凹凸等路面概况的信息。存储于存储部12的地图信息包括:通过通信单元7从本车辆的外部取得的地图信息和使用外部传感器组1的检测值或外部传感器组1与内部传感器组2的检测值由本车辆自己制作的地图信息。
运算部11具有本车位置识别部13、外界识别部14、行动计划生成部15、行驶控制部16、地图生成部17作为功能性结构。
本车位置识别部13基于由定位单元4获取的本车辆的位置信息和地图数据库5的地图信息来识别地图上的本车辆的位置(本车位置)。还可以使用存储于存储部12的地图信息和外部传感器组1检测出的本车辆的周边信息来识别本车位置,由此能够高精度地识别本车位置。需要说明的是,在能够用设置在道路上、道路旁边的外部的传感器测定本车位置时,也能够通过借助通信单元7与该传感器进行通信来识别本车位置。
外界识别部14基于来自激光雷达、雷达、相机等外部传感器组1的信号识别本车辆周围的外部状况。例如识别在本车辆的周边行驶的周边车辆(前方车辆、后方车辆)的位置、速度、加速度、在本车辆的周围停车或驻车着的周边车辆的位置以及其他物体的位置、状态等。其他物体包括:标识、信号机、道路划线或停止线等标示、建筑物、护栏、电线杆、广告牌、行人、自行车等。其他物体的状态包括:信号机的颜色(红、绿、黄)、行人、自行车的移动速度、朝向等。
行动计划生成部15根据例如由导航装置6运算出的目标路径、存储于存储部12的地图信息、由本车位置识别部13识别出的本车位置、由外界识别部14识别出的外部状况,生成从当前时间点开始经过规定时间为止的本车辆的行驶轨迹(目标轨迹)。当目标路径上存在作为目标轨迹的候选的多个轨迹时,行动计划生成部15从其中选择遵守法律且满足高效、安全地行驶等基准的最佳轨迹,并将所选择的轨迹作为目标轨迹。然后,行动计划生成部15生成与所生成的目标轨迹相应的行动计划。行动计划生成部15生成与用于超越先行车辆的超车行驶、变更行驶车道的车道变更行驶、跟随先行车辆的跟随行驶、不偏离行驶车道而保持车道的车道保持行驶、减速行驶或加速行驶等相对应的各种行动计划。行动计划生成部15在生成目标轨迹时首先决定行驶方式,根据行驶方式生成目标轨迹。
在自动驾驶模式下,行驶控制部16对各执行器AC进行控制,以使本车辆沿着由行动计划生成部15生成的目标轨迹行驶。更具体而言,行驶控制部16在自动驾驶模式下考虑由道路坡度等决定的行驶阻力,计算用于得到由行动计划生成部15计算出的每单位时间的目标加速度的要求驱动力。然后,例如对执行器AC进行反馈控制,以使由内部传感器组2检测出的实际加速度成为目标加速度。即,对执行器AC进行控制,以使本车辆以目标车速和目标加速度行驶。需要说明的是,在驾驶模式是手动驾驶模式时,行驶控制部16根据由内部传感器组2取得的来自驾驶员的行驶指令(转向操作等)对各执行器AC进行控制。
地图生成部17在以手动驾驶模式行驶的同时,使用由外部传感器组1检测出的检测值生成由三维点云数据构成的地图。具体而言,从由相机取得的相机图像中,基于每一像素的亮度、颜色的信息提取示出物体的轮廓的边缘,并且使用该边缘信息提取特征点。特征点例如是边缘上的点、边缘的交点,与路面上的道路划线、建筑物的角、道路标识的角等相对应。地图生成部17求取至提取出的特征点的距离,将特征点依次绘制在地图上,由此生成本车辆行驶过的道路周边的地图。还可以代替相机,使用由雷达、激光雷达取得的数据来提取本车辆周围的物体的特征点,生成地图。
本车位置识别部13与地图生成部17的地图生成处理并行地进行本车辆的位置推定处理。即,根据特征点的位置随着时间经过的变化,推定本车辆的位置。使用来自例如相机、激光雷达的信号按照SLAM(Simultaneous Localization and Mapping:同步定位与地图构建)算法同时进行地图制作处理和位置推定处理。地图生成部17不仅在以手动驾驶模式行驶时生成地图,在以自动驾驶模式行驶时也能够同样地生成地图。在已经生成地图并存储在存储部12中的情况下,地图生成部17还可以根据新得到的特征点来更新地图。
接着,对本实施方式的地图生成装置,即作为车辆控制系统100的地图生成装置的构成进行说明。图2A、图2B是示出应用本实施方式的地图生成装置的道路构造的一例的图。图2A、图2B是由车载相机取得的同一地点的道路周边的图像(相机图像)。尤其是,图2A是在第一时间点T1(例如数月之前的过去时间点)拍摄的图像,图2B是在第一时间点T1之后的第二时间点T2(例如当前时间点)拍摄的图像。
如图2A所示,相机图像包括规定行驶车道200的左右一对道路划线201、202作为对象物。需要说明的是,道路划线201、202是白线、道路与人行道之间的边界线。道路划线201、202在本车辆的行进方向上延伸,通过识别相机图像中的沿着本车辆的行进方向延伸的线状的边缘图像,能够识别道路划线201、202,并能够计算道路划线201、202相对于本车位置的位置。需要说明的是,方便起见,在图2A中,强调显示道路划线201、202。
图2B示出在道路与人行道的边界部正在进行道路施工的状态。在道路的端部设置大致圆锥形的多个障碍物(路障),通过将多个障碍物连结起来的棒状构件(锥形变幅杆)规定道路的边界。因此,图2B的人行道侧的道路划线201(由棒状构件规定的道路划线)从图2A的位置(虚线)偏离(实线)。由地图生成部17生成的地图与通过通信单元7从本车辆的外部取得的地图不同,能够以地图生成为目的,每当本车辆行驶就更新。因此,能够生成反应了如图2B所示的道路构造的变化的最新的道路地图,能够使用最新的地图进行自动驾驶。
然而,根据相机图像的位置计算有时会因天气气候等影响而存在误差。因此,如图2B所示,在道路划线201的位置从虚线向实线变化了的情况下,有可能因该变化有误而判定为是误差。即,尽管道路划线201的位置实际上发生变化,也有可能因相机的误检测而误识别为道路划线201的位置偏移了。其结果是,错误地计算道路划线的位置,难以良好地进行自动驾驶。考虑到这一点,本实施方式如下构成地图生成装置,以便能够生成反映了道路划线的位置偏移的正确的地图。
图3是示出本实施方式的地图生成装置50的主要部分构成的框图。地图生成装置50包括在图1的车辆控制系统100。如图3所示,地图生成装置50具有相机1a、传感器2a、控制器10。
相机1a是具有CCD、CMOS等摄像元件(图像传感器)的单眼相机,构成图1的外部传感器组1的一部分。相机1a也可以是立体相机。相机1a安装在本车辆的前部的规定位置,连续地拍摄本车辆的前方空间,取得对象物的图像(相机图像)。能够基于该相机图像识别道路划线等路面上的对象物。在这里,由相机1a检测出的道路划线包括如图2A所示在路面上标示出的道路划线201、202和如图2B以实线所示由路面上的障碍物(路面的上方的棒状构件)所规定的道路划线201。
还能够由相机图像检测本车辆的周围的特征点。即,根据相机图像,提取示出本车辆的周围的物体的轮廓的边缘,并能够使用该边缘信息检测特征点。物体包括其他车辆、自行车、行人等移动体和建筑物、护栏、信号机等静止体,根据相机图像能够检测移动体和静止体二者的特征点。需要说明的是,还可以使用激光雷达等检测器代替相机1a,或者和相机1a一起识别路面上的对象物,或者检测特征点。
传感器2a是用于计算本车辆的移动量和移动方向的检测器。传感器2a是内部传感器组2的一部分,例如由车速传感器和横摆率传感器构成。即,控制器10(本车位置识别部13)对由车速传感器检测出的车速进行积分,计算本车辆的移动量,并对由横摆率传感器检测出的横摆率进行积分,计算偏航角,在制作地图时利用测程法推定本车辆的位置。需要说明的是,传感器2a的构成不限于此,还可以使用其他的传感器的信息推定本车位置。
图3的控制器10作为运算部11(图1)所承当的功能性结构,除出存储部12和地图生成部17外,还具有地图合成部21和判定部22。地图合成部21和判定部22具有地图生成的功能,因此也能够将它们包括在地图生成部17中。地图生成部17具有第一地图生成部171和第二地图生成部172。
第一地图生成部171生成包括由相机1a检测出的道路划线的位置信息在内的地图。即,从相机图像中提取沿着本车辆的行进方向延伸成线状的边缘图像从而识别道路划线,并且计算道路划线相对于本车位置的位置,由此生成地图。需要说明的是,道路划线中不仅包括画在路面上的白线,也包括路面和人行道之间的边界线。由第一地图生成部171生成的地图(称为道路划线地图)存储于存储部12。
第二地图生成部172根据相机图像检测本车辆的周围的物体的特征点,并且计算从本车辆至特征点的距离,生成包括特征点的位置信息在内的地图。具体而言,生成由使用VisualSLAM等技术通过映射生成的点云数据构成的地图。此时,判定物体是否是移动体,并将判定为是移动体的物体除外,仅使用静止体的表面的生成特征点组的地图。需要说明的是,能够通过判定特征点的位置是否在规定时间内移动了来进行是否是移动体的判定。由第二地图生成部172生成的地图(称为特征点地图)存储于存储部12。
第一地图生成部171和第二地图生成部172同时生成道路划线地图和特征点地图。因此,根据同一时间点的相机图像得到的道路划线地图和特征点地图存储于存储部12。
地图合成部21将由第一地图生成部171生成的道路划线地图和由第二地图生成部172生成的特征点地图合成,生成合成地图。所谓将地图合成是指将道路划线地图的坐标位置和特征点地图的坐标位置合并重叠。地图合成部21生成的合成地图存储于存储部12。
图4A是示出根据在第一时间点T1得到的相机图像生成的合成地图的一例的图,图4B是示出根据在第二时间点T2得到的相机图像生成的合成地图的一例的图。这些图4A、图4B分别是与图2A、图2B同一时间点的地图,通过将特征点追加在图2A、图2B上得到图4A、图4B的合成地图。
如图4A所示,第一时间点T1的合成地图中包括道路划线201、202和多个特征点211。特征点211对应道路与人行道之间的边界上的路缘石、护栏、行道树、建筑物等。需要说明的是,方便起见,在图4A中强调示出特征点211。如图4A所示包括道路划线201、202和特征点211的位置信息的合成地图暂时存储于存储部12。
如图4B所示,第二时间点T2的合成地图中包括道路划线201、202和多个特征点211。在图4B示出与图4A相同的特征点211。如阴影线所示,还包括图4A中未包括的新的特征点211a。多个特征点211a存在于从道路划线201开始的规定范围内的虚线所示的区域210,这些特征点211a对应示出道路施工中的道路划线201的障碍物、棒状构件。需要说明的是,虽然省略图示,但是有时图4A和图4B在区域210的外侧的特征点(例如与行道树相对应的特征点)彼此不同。
判定部22判定第一时间点T1的合成地图与第二时间点T2的合成地图的差异程度是否为规定程度以上。例如判定部22通过将在不同的两个时间点T1、T2得到的同一地点的多个合成地图进行重叠而比较,求得二者的差异程度。具体而言,判定部22首先判定第一时间点T1的道路划线地图中包括的道路划线的位置和第二时间点T2的道路划线地图中包括的道路划线的位置是否偏移规定值α以上。规定值α例如是几厘米或几十厘米。
当判定为道路划线的位置偏移规定值α以上时,判定部22判定第一时间点T1的特征点地图中包括的特征点和第二时间点T2的特征点地图中包括的特征点的差异是否为规定值以上。更具体而言,判定被判定为发生规定值α以上的偏移的道路划线(例如图4B的道路划线201)的周围的规定范围内的区域210中的特征点211的数量在第一时间点T1和第二时间点T2是否相差规定值β以上。该判定不仅包括区域210内的特征点是否增加规定值β以上的判定,还包括区域内的特征点是否减少规定值β以上的判定。需要说明的是,还可以不根据第一时间点T1和第二时间点T2的特征点的数量的变化,而是根据特征点的位置的变化来判定特征点的差异是否为规定值以上。即,还可以在区域210内的特征点的位置偏移规定值以上时,判定为差异程度是规定程度以上。
当由判定部22判定为第一时间点T1的合成地图与第二时间点T2的合成地图的差异程度为规定程度以上时,第一地图生成部171将第二时间点T2的道路划线地图存储于存储部12作为新的道路划线地图。由此,考虑了因道路施工等导致的道路划线的位置偏移的、最新的道路地图信息被存储于存储部12,本车辆能够使用该地图信息在自动驾驶模式下良好地行驶。
即使在第二时间点T2检测出道路划线的位置偏移,其有可能是因相机1a的误检测而被检测出的。另一方面,在道路划线的位置实际偏移了的情况下,道路划线的周围的道路构造应该发生变化。考虑到这一点,在本实施方式中,如上所述,在检测出了道路划线的位置偏移的情况下,根据该道路划线的周围的特征点的变化程度,判定道路划线的位置偏移的有无。由此能够精确地识别道路构造的变化。
图5是示出按照预先决定的程序由图3的控制器10(CPU)执行的处理的一例的流程图。该流程图所示的处理在预先于存储部12存储了基于第一时间点T1的相机图像生成的道路划线地图和特征点地图的合成地图的状态下,本车辆以手动驾驶模式在该合成地图上的地点行驶时开始,以规定周期反复执行。
首先,在S1(S:处理步骤)中,控制器10读入来自相机1a和传感器2a的信号。接着在S2中,控制器10根据相机图像识别道路划线,并且计算道路划线相对于本车位置的位置,生成道路划线地图。接着,在S3中,控制器10判定在S2中生成的道路划线地图与对应该道路划线地图的、预先存储的合成地图内的道路划线地图,即预先生成的在同一地点的道路划线地图的差异程度是否为规定程度以上。例如判定道路划线的位置是否偏移规定值α以上。当S3为肯定(S3:是)时进入S4,当为否定(S3:否)时结束处理。
在S4中,控制器10根据相机图像检测本车辆的周围的物体的特征点,并计算从本车辆至特征点的距离,生成特征点地图。此时,控制器10判定物体是否为移动体,去除移动体表面的特征点,生成特征点地图。接着,在S5中,控制器10判定在S4中生成的特征点地图与对应该特征点地图的、预先存储的合成地图内的特征点地图,即预先生成的同一地点的特征点地图的差异程度是否为规定程度以上。具体而言,控制器10判定在S3中判定为存在规定程度以上的位置偏移的道路划线的周围的规定范围内的区域,与预先存储的特征点的差异(例如数量的不同)是否为规定值β以上。
当S5为肯定(S5:是)时进入S6。在S6中,控制器10将预先存储的道路划线地图改写成在S2中生成的道路划线地图,结束处理。即,对存储于存储部12的道路划线地图的地图信息进行更新。由此,在存储部12中存储S2中生成的道路划线地图(根据第二时间点T2的相机图像生成的道路划线地图),代替根据第一时间点T1的相机图像生成的道路划线地图。需要说明的是,在S5为否定(S5:否)的情况下,有可能由相机1a误检测道路划线的位置,因此不更新道路划线地图的地图信息,结束处理。
更具体地说明本实施方式的地图生成装置50的动作。在本车辆在第一时间点T1以地图生成为目的通过手动驾驶模式行驶时,在存储部12中存储如图4A所示的包括路面上的道路划线201、202和其周围的特征点211在内的合成地图。之后,本车辆在第二时间点T2再次在第一时间点T1行驶过的地点行驶了时,实现如下的动作。
此时,如图4B所示,当因道路施工等导致道路划线201的位置偏移规定值α以上,且在道路划线201近旁的区域210内检测出在第一时间点T1未检测出的新的特征点211a时,判定为存在道路划线201的位置偏移(S3~S6)。因此,道路划线的位置信息变更,道路划线地图被改写。这样,在判定为存在道路划线的位置偏移的情况下,通过一并判定有无其周围的特征点的变化,能够正确地辨别实际上是否存在道路划线的位置偏移。其结果是,即使在没有通过通信单元7从本车辆的外部取得新的地图信息的情况下,也能够使用最新的道路划线地图良好地进行以自动驾驶模式的行驶。
采用本实施方式,能够起到如下的作用效果。
(1)地图生成装置50具备:相机1a,其检测本车辆的周围的路面上的道路划线201、202;第一地图生成部171,其生成包括由相机1a检测出的道路划线201、202的位置信息在内的地图;相机1a,其检测本车辆的周围的物体的特征点;第二地图生成部172,其生成包括由相机1a检测出的特征点的位置信息在内的地图;存储部12,其存储包括在第一时间点T1由相机1a检测出的道路划线201、202的由第一地图生成部171生成的道路划线地图和包括在第一时间点T1由相机1a检测出的特征点211的由第二地图生成部172生成的特征点地图;以及判定部22,其根据存储于存储部12的道路划线地图与包括在第一时间点T1之后的第二时间点T2由相机1a检测出的道路划线201、202的由第一地图生成部171生成的道路划线地图的差异,判定路面上的道路划线201、202的位置是否发生了变化(图3)。判定部22在第一时间点T1的道路划线地图与第二时间点T2的道路划线地图的差异程度为规定程度以上,且存储于存储部12的特征点地图与包括在第二时间点T2由相机1a检测出的特征点211、211a的由第二地图生成部172生成的特征点地图的差异程度为规定程度以上时,判定为路面上的道路划线201、202的位置发生了变化(图5)。
由此,在道路划线201的位置在第一时间点T1和第二时间点T2实际偏移的情况下,能够正确地判定该位置偏移。即,能够防止位置偏移被误判定为是因相机1a的误检测导致的。由此,能够容易且精确地将预先存储于存储部12的地图更新成反映了道路施工等的地图。还有,本车辆以地图生成为目的行驶,由此能够不从外部取得地图信息而频繁地更新地图。
(2)判定部22判定从第二时间点T2的道路划线地图中包括的道路划线201开始的规定范围内的区域210中的、第一时间点T1的特征点地图与第二时间点T2的特征点地图的差异程度是否为规定程度以上。由此,能够在与道路构造的变化无关的场所存在特征点的变化的情况下无视该变化,能够精确地判定道路划线的位置偏移等道路构造的变化的有无。
(3)判定部22在第一时间点T1的特征点地图中包括的规定范围内的区域210中的特征点211的数量与第二时间点T2的特征点地图中包括的规定范围内的区域210中的特征点211、211a的数量的差异为规定值β以上时,或者特征点的位置的变化量是规定值以上时,判定为差异程度是规定程度以上。由此能够容易地判定在第一时间点T1和第二时间点T2的特征点的变化的有无。
(4)由相机1a检测出的特征点211中包括移动体的特征点和静止体的特征点。第二地图生成部172生成包括由相机1a检测出的特征点211中去除了移动体的特征点后的特征点的位置信息在内的地图。由此能够生成对判定道路构造的变化有用的特征点地图。
上述实施方式能够变形成各种方式。在上述实施方式中,由相机1a等外部传感器组1检测本车辆的周围的路面上的道路划线201、202,但还可以由激光雷达等检测道路划线,道路划线检测部的构成不限于以上所述。在上述实施方式中,由相机1a检测本车辆的周围的物体的特征点211、211a,但还可以由激光雷达等检测特征点,特征点检测部的构成不限于以上所述。在上述实施方式中,由同一个相机1a检测道路划线201、202和特征点211、211a,但还可以由彼此不同的相机来检测。还可以由相机检测道路划线201、202和特征点211、211a的一方,由激光雷达检测另一方。
在上述实施方式中,由第一地图生成部171生成包括在第一时间点T1检测出的道路划线201、202的道路划线地图(第一时间点第一地图)和包括在第二时间点T2检测出的道路划线201、202的道路划线地图(第二时间点第一地图),但只要生成由道路划线检测部检测出的道路划线的位置信息在内的地图,第一地图生成部的构成就可以是任何方式。在上述实施方式中,由第二地图生成部172生成包括在第一时间点T1检测出的特征点211的特征点地图(第一时间点第二地图)和包括在第二时间点T2检测出的特征点211、211a的特征点地图(第二时间点第二地图),但只要生成包括由特征点检测部检测出的特征点的位置信息在内的地图,第二地图生成部的构成就可以是任何方式。
在上述实施方式中,判定部22在第一时间点T1的道路划线地图与第二时间点T2的道路划线地图的差异程度为第一规定程度(例如规定值α)以上,且从第二时间点T2的道路划线地图中包括的道路划线201开始的规定范围内的、第一时间点T1的特征点地图与第二时间点T2的特征点地图的差异程度为第二规定程度(例如特征点的数量的差是规定值β以上)以上时,判定为路面上的道路划线的位置发生了变化,但判定部的构成不限于以上所述。上述实施方式说明了将地图生成装置50应用于左右一对道路划线201、202中的一方的道路划线201发生了位置偏移的情况的例子,但在双方的道路划线均发生了位置偏移的情况下也能够同样地应用本发明。需要说明的是,生成了新的道路划线的情况、既有的道路划线消失了的情况也包括在发生了道路划线的位置偏移的情况中。
在上述实施方式中,本车辆行驶的同时由地图生成部17生成地图,但还可以将在本车辆的行驶过程中根据相机图像得到的数据存储于存储部12,在本车辆的行驶结束后,使用所存储的数据生成地图。因此,也可以不在行驶的同时生成地图。
在上述实施方式中,说明了具有自动驾驶功能的本车辆作为地图生成装置50发挥功能的例子,但也可以由不具有自动驾驶功能的本车辆作为地图生成装置发挥功能。在该情况下,还可以与其他车辆之间共享由地图生成装置50生成的地图信息,使用地图信息辅助其他车辆(例如自动驾驶车辆)的驾驶。即,本车辆也可以仅具有作为地图生成装置50的功能。
本发明也能够作为地图生成方法使用,该方法包括:检测本车辆的周围的路面上的道路划线的步骤;生成包括检测出的道路划线的位置信息在内的地图的步骤;检测本车辆的周围的物体的特征点的步骤;生成包括检测出的特征点的位置信息的地图的步骤;存储包括在第一时间点检测出的道路划线的第一时间点第一地图和包括在第一时间点检测出的特征点的第一时间点第二地图的步骤;根据第一时间点第一地图与包括在第一时间点之后的第二时间点检测出的道路划线的第二时间点第一地图的差异,判定路面上的道路划线的位置是否发生了变化的步骤,判定的步骤包括在第一时间点第一地图与第二时间点第一地图的差异程度为第一规定程度以上,且第一时间点第二地图与包括在第二时间点检测出的特征点的第二时间点第二地图的差异程度为第二规定程度以上时,判定为路面上的道路划线的位置发生了变化。
既能够任意组合上述实施方式和变形例的一个或者多个,也能够将各变形例彼此进行组合。
采用本发明,能够精确地判定地图生成时的道路划线的位置偏移。
上文结合优选实施方式对本发明进行了说明,但本领域技术人员应理解,在不脱离后述权利要求书的公开范围的情况下能够进行各种修改和变更。
Claims (8)
1.一种地图生成装置,其特征在于,具备:
道路划线检测部,其检测本车辆的周围的路面上的道路划线;
第一地图生成部(171),其生成包括由所述道路划线检测部检测出的道路划线的位置信息在内的地图;
特征点检测部,其检测本车辆的周围的物体的特征点;
第二地图生成部(172),其生成包括由所述特征点检测部检测出的特征点的位置信息在内的地图;
存储部(12),其存储包括在第一时间点由所述道路划线检测部检测出的道路划线的、由所述第一地图生成部(171)生成的第一时间点第一地图和包括在所述第一时间点由所述特征点检测部检测出的特征点的、由所述第二地图生成部(172)生成的第一时间点第二地图;
判定部(22),其根据存储于所述存储部(12)的所述第一时间点第一地图与包括在所述第一时间点之后的第二时间点由所述道路划线检测部检测出的道路划线的、由所述第一地图生成部(171)生成的第二时间点第一地图的差异,判定路面上的道路划线的位置是否发生了变化,
所述判定部(22)在所述第一时间点第一地图与所述第二时间点第一地图的差异程度为第一规定程度以上,且存储于所述存储部(12)的所述第一时间点第二地图与包括在所述第二时间点由所述特征点检测部检测出的特征点的、由所述第二地图生成部(172)生成的第二时间点第二地图的差异程度为第二规定程度以上时,判定为路面上的道路划线的位置发生了变化。
2.根据权利要求1所述的地图生成装置,其特征在于,
所述判定部(22)判定从所述第二时间点第一地图中包括的道路划线开始的规定范围(210)内的所述第一时间点第二地图与所述第二时间点第二地图的差异程度是否为所述第二规定程度以上。
3.根据权利要求2所述的地图生成装置,其特征在于,
所述判定部(22)在所述第一时间点第二地图中包括的所述规定范围(210)内的特征点的数量与所述第二时间点第二地图中包括的所述规定范围(210)内的特征点的数量的差异为规定值以上时,或者所述第一时间点第二地图中包括的所述规定范围(210)内的特征点的位置与所述第二时间点第二地图中包括的所述规定范围(210)内的特征点的位置的差异为规定值以上时,判定为所述差异程度为所述第二规定程度以上。
4.根据权利要求1至3中任一项所述的地图生成装置,其特征在于,
由所述特征点检测部检测出的特征点中包括移动体的特征点和静止体的特征点,
所述第二地图生成部(172)生成包括由所述特征点检测部检测出的特征点中去除了所述移动体的特征点后的特征点的位置信息在内的地图。
5.根据权利要求1至3中任一项所述的地图生成装置,其特征在于,
当由所述判定部(22)判定为路面上的道路划线的位置发生了变化时,所述存储部(12)存储所述第二时间点第一地图代替所述第一时间点第一地图。
6.根据权利要求1至3中任一项所述的地图生成装置,其特征在于,
所述道路划线检测部和所述特征点检测部由搭载于所述本车辆的同一相机(1a)构成。
7.根据权利要求1至3中任一项所述的地图生成装置,其特征在于,
所述道路划线检测部构成为,检测在所述路面上标示的道路划线和由所述路面上的障碍物所规定的道路划线。
8.一种地图生成方法,其特征在于,包括:
检测本车辆的周围的路面上的道路划线的步骤;
生成包括检测出的道路划线的位置信息在内的地图的步骤;
检测本车辆的周围的物体的特征点的步骤;
生成包括检测出的特征点的位置信息在内的地图的步骤;
存储包括在第一时间点检测出的道路划线的第一时间点第一地图和包括在所述第一时间点检测出的特征点的第一时间点第二地图的步骤;以及
根据所述第一时间点第一地图与包括在所述第一时间点之后的第二时间点检测出的道路划线的第二时间点第一地图的差异,判定路面上的道路划线的位置是否发生了变化的步骤,
所述判定的步骤包括在所述第一时间点第一地图与所述第二时间点第一地图的差异程度为第一规定程度以上,且所述第一时间点第二地图与包括在所述第二时间点检测出的特征点的第二时间点第二地图的差异程度为第二规定程度以上时,判定为路面上的道路划线的位置发生了变化。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022055151A JP2023147576A (ja) | 2022-03-30 | 2022-03-30 | 地図生成装置 |
JP2022-055151 | 2022-03-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116890846A true CN116890846A (zh) | 2023-10-17 |
Family
ID=88193838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310224421.1A Pending CN116890846A (zh) | 2022-03-30 | 2023-03-09 | 地图生成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230314165A1 (zh) |
JP (1) | JP2023147576A (zh) |
CN (1) | CN116890846A (zh) |
-
2022
- 2022-03-30 JP JP2022055151A patent/JP2023147576A/ja active Pending
-
2023
- 2023-03-09 CN CN202310224421.1A patent/CN116890846A/zh active Pending
- 2023-03-21 US US18/124,501 patent/US20230314165A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023147576A (ja) | 2023-10-13 |
US20230314165A1 (en) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114940172A (zh) | 驾驶辅助装置 | |
US11874135B2 (en) | Map generation apparatus | |
US20220266824A1 (en) | Road information generation apparatus | |
CN114944073B (zh) | 地图生成装置和车辆控制装置 | |
CN115112130A (zh) | 本车位置推定装置 | |
US11867526B2 (en) | Map generation apparatus | |
CN116890846A (zh) | 地图生成装置 | |
CN114926805B (zh) | 划分线识别装置 | |
CN115050205B (zh) | 地图生成装置以及位置识别装置 | |
CN115050203B (zh) | 地图生成装置以及车辆位置识别装置 | |
JP7141479B2 (ja) | 地図生成装置 | |
JP7141477B2 (ja) | 地図生成装置 | |
JP7141478B2 (ja) | 地図生成装置 | |
US20220268587A1 (en) | Vehicle position recognition apparatus | |
WO2023188262A1 (ja) | 地図生成装置 | |
JP7141480B2 (ja) | 地図生成装置 | |
US20240199069A1 (en) | Map evaluation apparatus | |
US20220291016A1 (en) | Vehicle position recognition apparatus | |
CN116892919A (zh) | 地图生成装置 | |
CN114954510A (zh) | 划分线识别装置 | |
CN116892906A (zh) | 地图可靠度判定装置和驾驶辅助装置 | |
JP2023149511A (ja) | 地図生成装置 | |
CN116890845A (zh) | 地图生成装置 | |
CN118116186A (zh) | 车道推定装置和地图生成装置 | |
CN115959145A (zh) | 车辆控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |