CN114954510A - 划分线识别装置 - Google Patents
划分线识别装置 Download PDFInfo
- Publication number
- CN114954510A CN114954510A CN202210129055.7A CN202210129055A CN114954510A CN 114954510 A CN114954510 A CN 114954510A CN 202210129055 A CN202210129055 A CN 202210129055A CN 114954510 A CN114954510 A CN 114954510A
- Authority
- CN
- China
- Prior art keywords
- dividing line
- recognized
- linear pattern
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003909 pattern recognition Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/114—Yaw movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种划分线识别装置,具备:检测部(1a),其检测本车辆的周围的外部状况;图形识别部(141),其基于由检测部(1a)检测出的外部状况,识别路面上的线状图形;划分线判定部(142),其基于由图形识别部(141)识别出的线状图形的连续性,判定线状图形是否为规定车道的划分线。
Description
技术领域
本发明涉及一种识别道路的划分线的划分线识别装置。
背景技术
作为这种装置,以往已知有如下装置:利用由搭载于车辆的相机拍摄到的图像识别车道、停车场框的白线,并将这些白线的识别结果用于对车辆的行驶控制、驻车辅助。那样的装置例如记载于专利文献1中。在专利文献1记载的装置中,提取拍摄到的图像的亮度的变化为阈值以上的边缘点,基于边缘点来识别白线。
然而,如专利文献1记载的装置那样对白线进行识别,在例如路面上有裂缝的情况、重画白线而路面上仍残留着之前的白线的情况下,有可能误将那些识别为白线。
现有技术文献
专利文献
专利文献1:日本特开2014-104853号公报(JP2014-104853A)。
发明内容
本发明的一技术方案的划分线识别装置,具备:检测部,其检测本车辆的周围的外部状况;图形识别部,其基于由检测部检测出的外部状况,识别路面上的线状图形;以及划分线判定部,其基于由图形识别部识别出的线状图形的连续性,判定线状图形是否为规定车道的划分线。
附图说明
本发明的目的、特征以及优点,通过与附图相关的以下实施方式的说明进一步阐明。
图1是概略地示出具有本发明的实施方式的划分线识别装置的车辆控制系统的整体构成的框图。的照射光相对的散射光,从而测定从本车辆到周边的障碍物的距离的激光雷达、通过照射电磁波并检测反射波来检测本车辆的周边的其他车辆、障碍物等的雷达、以及搭载于本车辆,具有CCD、CMOS等摄像元件,拍摄本车辆的周边(前方、后方以及侧方)的相机等。
内部传感器组2是检测本车辆的行驶状态的多个传感器(内部传感器)的总称。例如内部传感器组2包括:检测本车辆的车速的车速传感器、分别检测本车辆的前后方向的加速度和左右方向的加速度(横向加速度)的加速度传感器、检测行驶驱动源的转速的转速传感器、检测本车辆的重心绕铅垂轴旋转的旋转角速度的横摆率传感器等。检测手动驾驶模式下的驾驶员的驾驶操作,例如对加速踏板的操作、对制动踏板的操作、对方向盘的操作等的传感器也包括在内部传感器组2中。
输入输出装置3是从驾驶员输入指令、向驾驶员输出信息的装置的总称。例如输入输出装置3包括供驾驶员通过对操作构件的操作来输入各种指令的各种开关、供驾驶员通过语音输入指令的麦克、借助显示图像向驾驶员提供信息的显示器、通过语音向驾驶员提供信息的扬声器等。
定位单元(GNSS单元)4具有接收从定位卫星发送的定位用信号的定位传感器。定位卫星为GPS卫星、准天顶卫星等人造卫星。定位单元4利用定位传感器接收到的定位信息,测定本车辆的当前位置(纬度、经度、高度)。
地图数据库5是存储在导航装置6中使用的一般性地图信息的装置,例如由硬盘、半导体元件构成。地图信息包括:道路的位置信息、道路形状(曲率等)的信息、交叉路口、岔路口的位置信息。需要说明的是,存储于地图数据库5中的地图信息与存储于控制器10的存储部12中的高精度地图信息不同。
导航装置6是搜索到达由驾驶员输入的目的地的道路上的目标路线并进行沿目标路线的引导的装置。通过输入输出装置3进行目的地的输入和沿目标路线的引导。基于由定位单元4测定出的本车辆的当前位置和存储于地图数据库5中的地图信息来计算目标路线。也能够使用外部传感器组1的检测值测定本车辆的当前位置,可以基于该当前位置和存储于存储部12中的高精度的地图信息计算目标路线。
通信单元7利用包含以互联网、移动电话网等为代表的无线通信网的网络与未图示的各种服务器进行通信,定期或者在任意时机从服务器取得地图信息、行驶记录信息以及交通信息等。不仅取得行驶记录信息还可以通过通信单元7将本车辆的行驶记录信息向服务器发送。网络不仅包括公用无线通信网,还包括在每一规定的管理区域设置的封闭式通信网,例如无线局域网、Wi-Fi(注册商标)、Bluetooth(注册商标)等。所取得的地图信息被输出到地图数据库5、存储部12,地图信息被更新。
执行器AC是用于控制本车辆的行驶的行驶用执行器。在行驶驱动源为发动机的情况下,执行器AC包括调整发动机的节气门阀的开度(节气门开度)的节气门用执行器。在行驶驱动源为行驶马达的情况下,执行器AC包括行驶马达。使本车辆的制动装置工作的制动用执行器和驱动转向装置的转向用执行器也包含在执行器AC中。
控制器10由电子控制单元(ECU)构成。更具体而言,控制器10包含具有CPU(微处理器)等运算部11、ROM、RAM等存储部12、I/O接口等未图示的其他外围电路的计算机而构成。需要说明的是,能够将发动机控制用ECU、行驶马达控制用ECU、制动装置用ECU等功能不同的多个ECU分开设置,但方便起见,在图1中示出控制器10作为这些ECU的集合。
在存储部12中存储自动行驶用的高精度的详细的道路地图信息。道路地图信息包括:道路的位置信息、道路形状(曲率等)的信息、道路的坡度的信息、交叉路口、岔路口的位置信息、白线等划分线的类别和其位置信息、车道数的信息、车道的宽度以及每一车道的位置信息(车道的中央位置、车道位置的分界线的信息)、作为地图上的标记的地标(信号机、标识、建筑物等)的位置信息、路面的凹凸等路面概况的信息。在存储于存储部12的地图信息中包括:利用通信单元7从本车辆的外部取得的地图信息(称为外部地图信息)、由本车辆自身使用外部传感器组1的检测值或外部传感器组1和内部传感器组2的检测值制作的地图信息(称为内部地图信息)。
外部地图信息为例如利用云服务器取得的地图(称为云地图)的信息,内部地图信息为例如由使用SLAM(Simultaneous Localization and Mapping:同步定位与地图构建)等技术通过映射生成的点云数据构成的地图(称为环境地图)的信息。相对于外部地图信息是本车辆和其他车辆共享的地图信息,内部地图信息是本车辆独自的地图信息(例如本车辆单独所有的地图信息)。在新设的道路等不存在外部地图信息的区域,由本车辆自己制作环境地图。需要说明的是,还可以通过通信单元7将内部地图信息提供给服务器装置、其他车辆。在存储部12还存储关于各种控制的程序、在程序中使用的阈值等信息的信息。
运算部11具有本车位置识别部13、外界识别部14、行动计划生成部15、行驶控制部16、地图生成部17作为功能性构成。
本车位置识别部13基于由定位单元4得到的本车辆的位置信息和地图数据库5的地图信息来识别地图上的本车辆的位置(本车位置)。还可以使用存储于存储部12的地图信息和由外部传感器组1检测出的本车辆的周边信息来识别本车位置,由此能够高精度地识别本车位置。基于内部传感器组2的检测值计算本车辆的移动信息(移动方向、移动距离),由此也能够识别本车辆的位置。需要说明的是,在能够用设置在道路上、道路旁边的外部的传感器测定本车位置时,也能够通过借助通信单元7与该传感器进行通信,来识别本车位置。
外界识别部14基于来自激光雷达、雷达、相机等外部传感器组1的信号识别本车辆的周围的外部状况。例如识别在本车辆的周边行驶的周边车辆(前方车辆、后方车辆)的位置、速度、加速度、在本车辆的周围停车或驻车着的周边车辆的位置以及其他物体的位置、状态等。其他物体包括:标识、信号机、道路的划分线(白线等)及停止线等标示、建筑物、栏杆、电线杆、广告牌、行人、自行车等。其他物体的状态包括:信号机的颜色(红、绿、黄)、行人、自行车的移动速度、朝向等。其他物体中的静止的物体的一部分构成为地图上的位置的标志的地标,外界识别部14还识别地标的位置和类别。
行动计划生成部15例如基于由导航装置6运算出的目标路线、存储于存储部12中的地图信息、由本车位置识别部13识别出的本车位置、由外界识别部14识别出的外部状况,生成从当前时间点开始经过规定时间为止的本车辆的行驶轨迹(目标轨迹)。当目标路线上存在作为目标轨迹的候补的多个轨迹时,行动计划生成部15从中选择遵守法律且满足高效、安全地行驶等基准的最佳轨迹,并将所选择的轨迹作为目标轨迹。然后,行动计划生成部15生成与所生成的目标轨迹相对应的行动计划。行动计划生成部15生成与用于超过先行车辆的超车行驶、变更行驶车道的车道变更行驶、跟随先行车辆的跟随行驶、不偏离行驶车道而保持车道的车道保持行驶、减速行驶或加速行驶等相对应的各种行动计划。行动计划生成部15在生成目标轨迹时,首先决定行驶方式,并基于行驶方式生成目标轨迹。
行驶控制部16对各执行器AC进行控制,以使在自动驾驶模式下本车辆沿着由行动计划生成部15生成的目标轨迹行驶。更具体而言,行驶控制部16考虑在自动驾驶模式下由道路坡度等决定的行驶阻力,计算用于得到由行动计划生成部15计算出的每单位时间的目标加速度的要求驱动力。然后,例如对执行器AC进行反馈控制,以使由内部传感器组2检测出的实际加速度成为目标加速度。即,对执行器AC进行控制,以使本车辆以目标车速和目标加速度行驶。需要说明的是,在手动驾驶模式下,行驶控制部16根据由内部传感器组2取得的来自驾驶员的行驶指令(转向操作等)对各执行器AC进行控制。
地图生成部17在以手动驾驶模式行驶的同时使用由外部传感器组1检测出的检测值生成由三维点云数据构成的环境地图。具体而言,从由相机取得的相机图像中,基于每一像素的亮度、颜色的信息来提取表示物体的轮廓的边缘,并且使用该边缘信息来提取特征点。特征点为例如边缘的交点,与建筑物的角、道路标识的角等相对应。地图生成部17求取至所提取出的特征点为止的距离,并将特征点依次在环境地图上绘制出来,由此生成本车辆行驶过的道路周边的环境地图。还可以代替相机,使用由雷达、激光雷达取得的数据来提取本车辆周围的物体的特征点,生成环境地图。
本车位置识别部13与地图生成部17的地图生成处理并行地进行本车辆的位置推定处理。即,基于特征点的位置随着时间经过的变化,推定本车辆的位置。地图制作处理和位置推定处理是按照例如SLAM的算法同时进行的。地图生成部17不仅在以手动驾驶模式行驶时,在以自动驾驶模式行驶时也能够同样地生成环境地图。在已经生成环境地图并存储在存储部12中的情况下,地图生成部17还可以根据新得到的特征点更新环境地图。
对本实施方式划分线识别装置的构成进行说明。图2A是示出应用划分线识别装置50的行驶场景的一例的图,示出在手动驾驶模式下生成环境地图的同时,本车辆101行驶的场景、即示出在由左右划分线L1、L2规定的车道LN行驶的场景。如图2A所示,在本车辆101的前部搭载相机1a。相机1a具有由相机自身的性能决定的固有的视场角θ和最大检测距离r。以相机1a为中心的半径r且中心角θ的扇形的范围AR1的内侧成为能够由相机1a检测出的外部空间的范围,即可检测范围AR1。在该可检测范围AR1包括例如多条划分线(例如白线)L1、L2。需要说明的是,在相机1a的视场角的一部分因配置于相机1a周围的零件的存在而被遮挡的情况下,考虑这一点来决定可检测范围AR1。
示出可检测范围AR1的扇形的边界线与划分线L1、L2的交点P10、P11和P20、P21是由相机自身的检测性能决定的界限点。因此,通过从相机图像提取边缘点,能够检测从界限点P10至界限点P11的区域的划分线L1和从界限点P20至界限点P21的区域的划分线L2。需要说明的是,图2A是在初期时刻T0的行驶场景的一例,用L1(t0)、L2(t0)表示在初期时刻T0检测出的划分线、即由被边缘包围起来的线状图形构成的划分线L1、L2(粗线)。在图2A的划分线L1(t0)、L2(t0)的延长线上的划分线L1a、L2a(虚线)是在时刻T0尚未由相机1a检测出的未确定的划分线。
然而,路面上可能存在产生裂缝的地方。还有,有时重画在路面上所标示的划分线,在该情况下,有残留着部分重画前的旧划分线的情况。这样的路面的裂缝、重画前的划分线是与规范的划分线不同的线状图形,以下将这些称为非划分线。在图2A中示出位于本车辆101的前方的车道LN上的线状的非划分线Lb(虚线)的一例。当非划分线Lb为线状时,控制器10有可能误识别为非划分线Lb是划分线。因此,为了防止对划分线的误识别,本实施方式如下构成划分线识别装置。
图3是示出本实施方式的划分线识别装置50的主要部分构成的框图。该划分线识别装置50构成图1的车辆控制系统100的一部分。如图3所示,划分线识别装置50具有控制器10、相机1a、车速传感器2a、横摆率传感器2b。
相机1a为具有CCD、CMOS等摄像元件(图像传感器)的单目相机,构成图1的外部传感器组1的一部分。相机1a也可以是立体相机。相机1a安装在例如本车辆101的前部的规定位置(图2A),连续地拍摄本车辆101的前方空间,取得对象物的图像(相机图像)。对象物包括道路上的划分线(例如图2A的划分线L1、L2)。需要说明的是,还可以由激光雷达等代替相机1a,或者和相机1a一起检测对象物。
车速传感器2a和横摆率传感器2b是内部传感器组2的一部分,用于计算本车辆101的移动量和移动方向。即,控制器10(例如图1的本车位置识别部13)对由车速传感器2a检测出的车速进行积分从而计算本车辆101的移动量,并且对由横摆率传感器2b检测出的横摆率进行积分从而计算偏航角,利用测程法推定本车辆101的位置。例如在手动驾驶模式下行驶时,在制作环境地图时利用测程法推定本车位置。需要说明的是,还可以使用其他传感器的信息推定自身位置。
图3的控制器10除了地图生成部17外还具有图形识别部141、划分线判定部142作为运算部11(图1)承担的功能性构成。图形识别部141和划分线判定部142具有识别外界的功能,这些构成图1的外界识别部14的一部分。图形识别部141和划分线判定部142还具有生成地图的功能,因此这些的全部或一部分也能够包含于地图生成部17。
在手动驾驶模式下行驶时,地图生成部17基于由相机1a取得的相机图像提取本车辆101的周围的物体的特征点,生成环境地图。所生成的环境地图被存储于存储部12。地图生成部17如后述那样,识别由划分线判定部142判定为划分线的划分线位置,将划分线的信息包含于地图信息(例如内部地图信息)中进行存储。识别出的划分线为相机1a的可检测范围AR1内的划分线。需要说明的是,存储的划分线信息中包括划分线的颜色(白色、黄色)和种类(实线、虚线)的信息。
图形识别部141基于由相机1a取得的相机图像识别路面上的线状图形。更详细而言,从相机图像中提取每一像素的亮度、颜色的变化为规定值以上的边缘点,识别将所提取出的边缘点绘制在了环境地图上时所得到的线状的图形。线状的图形包括图2A的划分线L1、L2和非划分线Lb。图形识别部141对线状图形的识别是以每规定时间Δt、即规定周期进行的。
图2B是示出在从图2A的初期时刻T0起经过规定时间Δt后的第1时刻T1的行驶场景,图2C是示出在从图2B的第1时刻T1起经过规定时间Δt后的第2时刻T2的行驶场景。如图2B、图2C所示,随着本车辆101的移动,可检测范围AR1也移动。如图2B所示,在第1时刻T1,可检测范围AR1中包括划分线L1(t1)、L2(t1),在第2时刻T2,可检测范围AR1中包括划分线L1(t2)、L2(t2)和非划分线Lb。图形识别部141在各时刻T0、T1、T2分别识别线状图形(划分线、非划分线)。
划分线判定部142判定由图形识别部141识别出的线状图形是否构成划分线L1、L2,或者构成非划分线Lb。划分线判定部142具有以相互不同的方式识别划分线的第1划分线判定部142a和第2划分线判定部142b。
第1划分线判定部142a判定由图形识别部141识别出的线状图形在相互连续的2个时刻是否连续。然后,当判定为连续时,判定为所识别出的线状图形为划分线。另一方面,当判定为不连续时,判定为所识别出的线状图形为非划分线。具体而言,如图2B所示,当判定为在第1时刻T1识别出的线状图形(划分线L1(t1)、L2(t1))与在其紧前的初期时刻T0识别出的线状图形(划分线L1(t0)、L2(t0))连续时,判定为在第1时刻T1识别出的线状图形为划分线L1、L2。
还有,如图2C所示,当判定为在第2时刻T2识别出的线状图形(划分线L1(t2)、L2(t2))与在其紧前的第1时刻T1识别出的线状图形(划分线L1(t1)、L2(t1))连续时,判定为在第2时刻T2识别出的线状图形为划分线L1、L2。需要说明的是,图2B的阴影区域ΔL11、ΔL21示出初期时刻T0的划分线L1(t0)、L2(t0)与第1时刻T1的划分线L1(t1)、L2(t1)重叠的区域,图2C的阴影区域ΔL12、ΔL22示出第1时刻T1的划分线L1(t1)、L2(t2)与第2时刻T2的划分线L1(t2)、L2(t2)重叠的区域。
线状图形连续是指,如阴影区域ΔL11、ΔL21和ΔL12、ΔL22所示,在连续的时刻的线状图形的一部分的位置重叠,即示出划分线L1、L2的边界的边缘点的位置在划分线L1、L2的长度方向上连续地一致在规定长度以上。该情况下的一致并不是严格意义上的一致,例如线状图形在车道宽度方向的位置偏移量在规定值(例如几厘米左右)以内即可。在第2时刻T2识别出的线状图形Lb在第1时刻T1没有被识别出时,在连续两个时刻T1、T2线状图形Lb不连续,因此第1划分线判定部142a判定线状图形Lb(图2C)为非划分线。
需要说明的是,有时因用于识别线状图形的时间间隔(规定时间Δt)较长等理由,线状图形彼此的重叠未被识别出。在该情况下,还可以判定是否存在将已经识别出的划分线L1、L2延长了的延长线与在可检测范围AR1内识别出的线状图形的重叠,由此判定线状图形是否为划分线。
第1划分线判定部142a判定线状图形是否为划分线时,基于来自车速传感器2a和横摆率传感器2b的信号推定自身位置。然后,使用该推定结果,将识别出的线状图形绘制在环境地图上,判定线状图形的连续性。由此,即使正在在车道LN的中央行驶的本车辆101向划分线L1、L2的一侧偏移的情况下,也能够精确地判断划分线的连续性。
图4A、图4B是示出与图2A~图2C不同的行驶场景的一例的图。尤其是图4A示出在第3时刻T3的行驶场景,图4B示出在从第3时刻T3起经过规定时间Δt后的第4时刻T4的行驶场景。在图4A中,在相机1a的可检测范围AR1未识别出线状图形,划分线判定部142判定为在时刻T3没有划分线。之后,如图4B所示,当在时刻T4在可检测范围AR1识别出线状图形时,划分线判定部142识别为线状图形是划分线L1(t4)、L2(t4)。即,第1划分线判定部142a在判定为在紧前的时刻T3没有划分线时,不进行对线状图形的连续性的判定,即使不存在线状图形的连续性,也将线状图形判定为划分线。
通过以上的处理,当由第1划分线判定部142a判定为线状图形是划分线时,地图生成部17在地图信息中加入划分线信息并存储于存储部12。由此,本车辆101能够一边由本车位置识别部13(图1)识别本车位置,一边确定由划分线L1、L2规定的行驶车道LN的位置。
第2划分线判定部142b例如在自动驾驶模式下行驶时,基于存储于存储部12的地图信息(划分线信息),识别本车辆101行驶的车道(本车道)。还识别与本车道相邻的他车道。图5是示出识别出的本车道LN1与他车道LN2的一例的图。在图5中,本车道LN1是由划分线L1、L2规定的,他车道LN2是由划分线L2、L3规定的。在对本车道LN1和他车道LN2的识别中能够使用深度神经网络DNN(Deep Neural Network)等方法。
第2划分线判定部142b判定是否由图形识别部141基于相机图像在识别出的本车道LN1或他车道LN2中识别出了线状图形。然后,当识别出线状图形时,判定为该线状图形是非划分线,不将其包含在划分线信息中而忽略掉。例如如图5所示,判定他车道LN2的线状图形为非划分线Lb。车道LN1、LN2内的线状图形为非连续的。因此,对在车道LN1、LN2内是否有线状图形的判定也基于线状图形的连续性来进行。
第2划分线判定部142b还可以在手动驾驶模式下行驶时,一边生成环境地图,一边使用深度神经网络DNN等方法识别(预测)车道LN1、LN2所占的区域和其周围的划分线L1~L3,并且在车道区域内识别出了线状图形时,判定为那是非划分线。由此,第2划分线判定部142b即使不使用存储于存储部12的划分线信息,也能够在一边基于相机图像行驶一边预测车道区域的基础上,将非划分线Lb与划分线L1~L3区别开。
图6是示出按照预先决定的程序由图3的控制器10执行的处理的一例的流程图。该流程图所示的处理主要是示出在第1划分线判定部142a的处理,例如以手动驾驶模式开始以规定周期反复进行。需要说明的是,关于在第2划分线判定部142b的处理省略流程图的说明。
如图6所示,首先在S1(S:处理步骤)中,读入来自相机1a、车速传感器2a、横摆率传感器2b的信号。接下来,在S2中,基于相机图像判定是否在路面上的可检测范围AR1内识别出了线状图形。当S2为肯定(S2:是)时进入S3,当为否定(S2:否)时在S10中将标志重置为0结束处理。标志表示是否识别出了线状图形,在该情况下标志被重置为0。
在S3中,暂时将识别出的线状图形存储于存储部12。接下来,在S4中,判定标志是否为1。在前次处理中没有识别出线状图形时标志为0,在该情况下,在S4中为否定(S4:否)并进入S8,将标志重置为1进入S6。
另一方面,当S4为肯定(S4:是)时进入S5。判定在前次处理中识别出的线状图形与本次处理中识别出的线状图形是否连续。当S5为肯定(S5:是)时进入S6,识别为在S2中识别出的线状图形是划分线。接下来,在S7中,将识别出的划分线的信息存储于存储部12作为地图信息的一部分,结束处理。另一方面,当S5为否定(S5:否)时进入S9,识别为在S2中识别出的线状图形是非划分线,结束处理。
如下总结本实施方式的划分线识别装置50的动作。假设在手动驾驶模式下,本车辆101一边基于相机图像制作环境地图一边行驶的场景。此时,当如图2A所示识别出线状图形(L1(t0)、L2(t0))后,如图2B所示识别出线状图形(L1(t1)、L2(t1))时,线状图形的一部分(ΔL11、ΔL21)重叠并连续着,因此识别为线状图形(L1(t1)、L2(t1))是划分线L1、L2(S6)。之后,当如图2C所示识别出线状图形(L1(t2)、L2(t2))时,线状图形的一部(ΔL12,ΔL22)重叠并连续着,因此识别为线状图形(L1(t2)、L2(t2))也是划分线L1、L2(S6)。
另一方面,由于图2C的线状图形Lb在前次处理中没有被识别出,因此线状图形Lb被识别为是非连续性的,是非划分线(S9)。由此,能够防止将路面上因裂缝等产生的线状图形误识别为划分线。因此,能够精确地识别划分线,能够使用划分线信息良好地实施自动驾驶模式下的行驶。
在以自动驾驶模式行驶时,基于相机图像识别本车道LN1和他车道LN2。此时,如图5所示,当在他车道LN2的区域内识别出线状图形Lb时,线状图形Lb作为非划分线而被忽略。由此在以自动驾驶模式行驶中,即使识别出了因裂缝等的线状图形,也能够实施稳定的自动驾驶模式下的行驶。
采用本实施方式能够起到如下的作用效果。
(1)划分线识别装置50具备:相机1a,其检测本车辆101的周围的外部状况;图形识别部141,其基于由相机1a检测出的外部状况,识别路面上的线状图形;以及划分线判定部142,其基于由图形识别部141识别出的线状图形的连续性,判定线状图形是否为规定车道LN的划分线L1、L2(图3)。由此,能够精确地识别路面上的划分线L1、L2,能够防止误将路面的裂缝、划分线重画前的旧划分线识别成规范的划分线。
(2)图形识别部141分别在连续的两个时刻、即初期时刻T0和第1时刻T1以及第1时刻T1和第2时刻T2识别路面上的线状图形(图2A~图2C)。划分线判定部142(第1划分线判定部142a)判定在时刻T0或T1识别出的线状图形和在下一时刻T1或T2识别出的线状图形是否连续,当判定为连续时,判定为所识别出的线状图形为划分线(图6)。由此,
图2A是示出应用本发明的实施方式的划分线识别装置的行驶场景的一例的图。
图2B是示出继图2A之后的行驶场景的一例的图。
图2C是示出继图2B之后的行驶场景的一例的图。
图3是示出本发明的实施方式的划分线识别装置的主要部分构成的框图。
图4A是示出应用本发明的实施方式的划分线识别装置的行驶场景的另一例的图。
图4B是示出继图4A之后的行驶场景的另一例的图。
图5是示出应用本发明的实施方式的划分线识别装置的行驶场景的又一例的图。
图6是示出由图3的控制器执行的处理的一例的流程图。
具体实施方式
以下参照图1~图6对本发明的实施方式进行说明。本发明的实施方式的划分线识别装置搭载于例如具有自动驾驶功能的车辆,即自动驾驶车辆。需要说明的是,有时区别于其他车辆将搭载有本实施方式的划分线识别装置的车辆称为本车辆。本车辆可以是具有内燃机(发动机)作为行驶驱动源的发动机车辆、具有行驶马达作为行驶驱动源的电动汽车、具有发动机和行驶马达作为行驶驱动源的混合动力车辆中的任一者。本车辆不仅能够以不需要驾驶员进行驾驶操作的自动驾驶模式行驶,还能够以通过驾驶员的驾驶操作的手动驾驶模式行驶。
首先对与自动驾驶相关的本车辆的概略构成进行说明。图1是概略地示出具有本发明的实施方式的划分线识别装置的本车辆的车辆控制系统100的整体构成的框图。如图1所示,车辆控制系统100主要具有控制器10以及分别与控制器10可通信地连接的外部传感器组1、内部传感器组2、输入输出装置3、定位单元4、地图数据库5、导航装置6、通信单元7、行驶用的执行器AC。
外部传感器组1是检测本车辆的周边信息、即外部状况的多个传感器(外部传感器)的总称。例如外部传感器组1包括测定本车辆的与全方位能够在生成环境地图的同时得到高精度的划分线信息。
(3)划分线识别装置50具有用于由作为本车位置识别部13的测程法识别本车辆101的位置的车速传感器2a和横摆率传感器2b(图1、图3)。划分线判定部142(第1划分线判定部142a)基于由本车位置识别部13识别出的本车辆101的位置变化来判定在连续的两个时刻识别出的线状图形是否连续(图6)。由此,考虑到本车辆101的位置变化从而对线形图形的连续性进行判断,因此即使在行驶在车道LN的中央的本车辆101偏向划分线L1、L2的一侧的情况下,也能够精确地对划分线和非划分线进行区别。
(4)划分线识别装置50还具备存储部12,该存储部12存储由划分线判定部142判定为是划分线的划分线的信息(图3)。当由图形识别部141在由存储于存储部12的划分线规定的车道LN2的内侧识别出线状图形Lb时,划分线判定部142(第2划分线判定部142b)判定所识别出的线状图形Lb不是划分线(图5)。由此,在以自动驾驶模式行驶在存储了划分线信息的道路上时识别出了线状图形的情况下,能够适当地继续实施自动驾驶模式下的行驶。
上述实施方式能够变形成各种方式。以下对若干变形例进行说明。在上述实施方式中,由相机1a等外部传感器组1检测本车辆的周围的外部状况,但只要是构成为能够检测路面上的线状图形,还能够使用激光雷达等除相机1a以外的检测部。在上述实施方式中,基于相机图像连续地识别路面上的线状图形,但图形识别部的构成并不局限于此。
在上述实施方式中,第1划分线判定部142a判定在连续的两个时刻(第1时刻、第2时刻)识别出的线状图形是否连续,第2划分线判定部142b判定是否在所识别出的车道LN的内侧的区域识别出线状图形。即,基于由图形识别部141识别出的线状图形的连续性来判定线状图形是否为规定车道LN的划分线L1~L3,但划分线判定部的构成不局限于以上所述。例如不仅判定在两个时刻识别出的线状图形是否连续,还可以判定线状图形是否连续规定长度以上,在连续规定长度以上的情况下判定为是划分线。
本发明还能够作为划分线识别方法使用,包括:基于由相机1a等检测部检测出的本车辆的周围的外部状况,识别路面上的线状图形的步骤;基于识别出的线状图形的连续性,判定线状图形是否为规定车道的划分线的步骤。
既能够任意组合上述实施方式和变形例的一个或者多个,也能够将各变形例彼此进行组合。
采用本发明能够防止误将路面上的线状图形识别为划分线。
上文结合优选实施方式对本发明进行了说明,本领域技术人员应理解为能够在不脱离后述权利要求书的公开范围的情况下进行各种修改和变更。
Claims (7)
1.一种划分线识别装置,其特征在于,具备:
检测部(1a),其检测本车辆的周围的外部状况;
图形识别部(141),其基于由所述检测部(1a)检测出的外部状况,识别路面上的线状图形;以及
划分线判定部(142),其基于由所述图形识别部(141)识别出的线状图形的连续性,判定线状图形是否为规定车道的划分线。
2.根据权利要求1所述的划分线识别装置,其特征在于,
所述图形识别部(141)在连续的第1时刻和第2时刻识别路面上的线状图形,
所述划分线判定部(142)判定在所述第1时刻识别出的线状图形和在所述第2时刻识别出的线状图形是否连续,当判定为连续时,判定为所识别出的线状图形是所述划分线。
3.根据权利要求2所述的划分线识别装置,其特征在于,还具备:本车位置识别部(13),所述本车位置识别部(13)识别本车辆的位置,
所述划分线判定部(142)基于由所述本车位置识别部(13)识别出的本车辆的位置变化,判定在所述第1时刻识别出的线状图形和在所述第2时刻识别出的线状图形是否连续。
4.根据权利要求3所述的划分线识别装置,其特征在于,还具备:地图生成部(17),所述地图生成部(17)基于由所述检测部(1a)检测出的外部状况生成包括划分线的信息的地图,
所述划分线判定部(142)以由所述本车位置识别部(13)识别出的本车辆的位置为基准,在由所述地图生成部(17)生成的地图上绘制由所述图形识别部(141)识别出的线状图形,判定在所述第1时刻识别出的线状图形和在所述第2时刻识别出的线状图形是否连续。
5.根据权利要求2至4中任一项所述的划分线识别装置,其特征在于,
所述划分线判定部(142)判定将在所述第1时刻识别出的线状图形延长了的延长线与在所述第2时刻识别出的线状图形是否连续,当判定为连续时,判定为所识别出的线状图形是所述划分线。
6.根据权利要求1至4中任一项所述的划分线识别装置,其特征在于,还具备存储部(12),所述存储部(12)存储由所述划分线判定部(142)判定为是所述划分线的划分线的信息,
当由所述图形识别部(141)在由存储于所述存储部(12)的划分线规定的车道的内侧识别出线状图形时,所述划分线判定部(142)判定所识别出的线状图形不是所述划分线。
7.一种划分线识别方法,其特征在于,包括:
基于由检测部(1a)检测出的本车辆的周围的外部状况,识别路面上的线状图形的步骤;和
基于所识别出的线状图形的连续性,判定线状图形是否为规定车道的划分线的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-021492 | 2021-02-15 | ||
JP2021021492A JP2022123988A (ja) | 2021-02-15 | 2021-02-15 | 区画線認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114954510A true CN114954510A (zh) | 2022-08-30 |
Family
ID=82801396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210129055.7A Pending CN114954510A (zh) | 2021-02-15 | 2022-02-11 | 划分线识别装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220262138A1 (zh) |
JP (1) | JP2022123988A (zh) |
CN (1) | CN114954510A (zh) |
-
2021
- 2021-02-15 JP JP2021021492A patent/JP2022123988A/ja active Pending
-
2022
- 2022-02-10 US US17/669,340 patent/US20220262138A1/en active Pending
- 2022-02-11 CN CN202210129055.7A patent/CN114954510A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220262138A1 (en) | 2022-08-18 |
JP2022123988A (ja) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114944073B (zh) | 地图生成装置和车辆控制装置 | |
US11874135B2 (en) | Map generation apparatus | |
US20220266824A1 (en) | Road information generation apparatus | |
CN114954510A (zh) | 划分线识别装置 | |
JP7141479B2 (ja) | 地図生成装置 | |
US11867526B2 (en) | Map generation apparatus | |
US20220291013A1 (en) | Map generation apparatus and position recognition apparatus | |
JP7141477B2 (ja) | 地図生成装置 | |
JP7141478B2 (ja) | 地図生成装置 | |
JP7141480B2 (ja) | 地図生成装置 | |
US20220268587A1 (en) | Vehicle position recognition apparatus | |
US20220291015A1 (en) | Map generation apparatus and vehicle position recognition apparatus | |
WO2023188262A1 (ja) | 地図生成装置 | |
US20220254056A1 (en) | Distance calculation apparatus and vehicle position estimation apparatus | |
US20230314164A1 (en) | Map generation apparatus | |
US20230314162A1 (en) | Map generation apparatus | |
CN114926805A (zh) | 划分线识别装置 | |
CN116890846A (zh) | 地图生成装置 | |
CN114926804A (zh) | 划分线识别装置 | |
JP2023146579A (ja) | 地図生成装置 | |
CN118116186A (zh) | 车道推定装置和地图生成装置 | |
CN115107798A (zh) | 车辆位置识别装置 | |
JP2022151012A (ja) | 地図生成装置 | |
CN114954508A (zh) | 车辆控制装置 | |
CN115959145A (zh) | 车辆控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |