CN116238515A - 移动体控制装置、移动体控制方法及存储介质 - Google Patents
移动体控制装置、移动体控制方法及存储介质 Download PDFInfo
- Publication number
- CN116238515A CN116238515A CN202211497625.4A CN202211497625A CN116238515A CN 116238515 A CN116238515 A CN 116238515A CN 202211497625 A CN202211497625 A CN 202211497625A CN 116238515 A CN116238515 A CN 116238515A
- Authority
- CN
- China
- Prior art keywords
- dividing line
- line
- dividing
- moving body
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 102100026205 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase gamma-1 Human genes 0.000 description 7
- 101000691599 Homo sapiens 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase gamma-1 Proteins 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100408464 Caenorhabditis elegans plc-1 gene Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/24—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Abstract
本发明提供能够更准确地识别将本车辆行驶的行驶道划分的划分线的移动体控制装置、移动体控制方法及存储介质。实施方式的移动体控制装置具备:划分线候补识别部,其从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;假想线设定部,其在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置至少设定一条以上的假想线;以及划分线搜索部,其基于由所述划分线候补识别部识别出的划分线候补、以及所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
Description
技术领域
本发明涉及移动体控制装置、移动体控制方法及存储介质。
背景技术
近年来,与自动地控制车辆的行驶的自动驾驶相关的研究日益进展。与此相关联,已知有如下技术:基于由检测车辆的周围的状况的传感器识别出的车辆的周围的行车道、以及根据车辆的位置及姿势而从地图数据取得的车辆的周围的行车道,来调整行车道的配置(例如,日本特开2018-55414号公报)。
发明内容
然而,在由于通过检测车辆的周围的状况的传感器进行的识别不稳定而在识别中的划分线的附近识别到与划分线类似的形状的线的情况下,有可能将该线误识别为划分本车辆的行驶道的划分线。
本发明的方案是考虑这样的情况而完成的,其目的之一在于提供能够更准确地识别将本车辆行驶的行驶道划分的划分线的移动体控制装置、移动体控制方法及存储介质。
本发明的移动体控制装置、移动体控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的移动体控制装置具备:划分线候补识别部,其从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;假想线设定部,其在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及划分线搜索部,其基于由所述划分线候补识别部识别出的划分线候补、以及所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
(2):在上述(1)的方案中,所述假想线设定部在预测为包含所述移动体的当前的行驶道在内的道路的边界所存在的位置设定所述假想线。
(3):在上述(1)的方案中,所述假想线设定部在从作为过去划分所述行驶道的划分线而识别出的划分线离开规定距离的位置设定假想线。
(4):在上述(1)的方案中,所述划分线搜索部将所述划分线候补中的与所述过去划分所述行驶道的划分线最接近的划分线候补决定为划分所述移动体的当前的行驶道的划分线。
(5):在上述(1)的方案中,所述划分线搜索部不将所述划分线候补中的与所述假想线之间的距离处于规定距离以内的划分线候补决定为划分所述移动体的当前的行驶道的划分线。
(6):在上述(1)的方案中,所述划分线搜索部将所述划分线候补中的与所述假想线之间的距离处于规定距离以内的划分线候补识别为划分所述移动体的当前的行驶道的划分线以外的边界线。
(7):在上述(1)的方案中,还具备驾驶控制部,该驾驶控制部控制所述移动体的速度及转向中的一方或双方,以使所述移动体沿着由所述划分线搜索部决定出的划分所述移动体的行驶道的划分线行驶。
(8):本发明的一方案的移动体控制方法使移动体控制装置的计算机进行如下处理:从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及基于识别到的所述划分线的候补、以及设定出的所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
(9):本发明的一方案的存储介质存储有程序,其中,所述程序使移动体控制装置的计算机进行如下处理:从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及基于识别出的所述划分线的候补、以及设定出的所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
根据上述(1)~(9)的方案,能够更准确地识别将本车辆行驶的行驶道划分的划分线。
附图说明
图1是利用了实施方式的移动体控制装置的车辆系统的结构图。
图2是第一控制部及第二控制部的功能结构图。
图3是用于说明假想线设定部的功能的图。
图4是用于说明划分线搜索部的功能的一例的图。
图5是用于说明划分线候补与假想线之间的距离的导出的图。
图6是表示由实施方式的自动驾驶控制装置执行的处理的流程的一例的流程图。
具体实施方式
以下,参照附图来说明本发明的移动体控制装置、移动体控制方法及存储介质的实施方式。移动体控制装置是进行移动体的移动控制的装置。所谓移动体,包括三轮或四轮等的车辆、二轮车辆、微型移动体等,也可以包括例如供人(乘员)搭乘并能够在行驶道等存在行驶道的路面等上移动的所有移动体。在以下的说明中,移动体设为是四轮车辆,并称作“本车辆M”。以下,说明本车辆M主要为自动驾驶车辆的情况。自动驾驶是指,例如执行自动地控制本车辆M的转向及速度中的一方或双方的驾驶控制。本车辆M的驾驶控制中例如包括LKAS(Lane Keeping Assistance System),该LKAS是本车辆M不会脱离本车辆M行驶的本车道(行驶道)而行驶的驾驶支援控制。另外,驾驶控制可以包括ALC(Auto Lane Changing)、ACC(Adaptive Cruise Control)这样的各种驾驶支援控制。自动驾驶车辆也可以通过乘员(驾驶员)的手动驾驶来控制驾驶。或者,本车辆M的驱动源例如是柴油发动机、汽油发动机等内燃机、电动机、或它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或二次电池、燃料电池的放电电力来动作。
[整体结构]
图1是利用了实施方式的移动体控制装置的车辆系统1的结构图。车辆系统1例如具备相机10、雷达装置12、物体识别装置16、通信装置20、HMI(Human Machine Interface)30、车辆传感器40、导航装置50、MPU(Map Positioning Unit)60、驾驶操作件80、自动驾驶控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图1所示的结构只是一例,可以省略结构的一部分,也可以还追加别的结构。相机10是“摄像部”的一例。自动驾驶控制装置100是“移动体控制装置”的一例。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于搭载车辆系统1的本车辆M的任意部位。在对前方进行拍摄的情况下,相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体相机。
雷达装置12向本车辆M的周边放射毫米波等电波,并且检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12安装于本车辆M的任意部位。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。
物体识别装置16对由相机10拍摄出的表示本车辆M的前方状况的图像进行分析,并提取需要的信息。而且,物体识别装置16对相机10及雷达装置12的检测结果进行传感器融合处理,来识别物体的位置、种类、速度等,并将识别结果向自动驾驶控制装置100输出。在本发明中可以省略雷达装置12,在该情况下,物体识别装置16也可以仅具有分析图像的功能。也可以不进行传感器融合处理而将雷达装置12的检测结果直接向自动驾驶控制装置100输出。物体识别装置16的功能也可以包含于自动驾驶控制装置100(更具体而言,后述的识别部130)。在该情况下,也可以从车辆系统1中省略物体识别装置16。
通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等与存在于本车辆M的周边的其他车辆进行通信,或者经由无线基站而与各种服务器装置通信。
HMI30通过HMI控制部170的控制而对本车辆M的乘员输出各种信息。HMI30也可以作为接受由乘员进行的输入操作的接受部来发挥功能。HMI30例如包括显示装置、扬声器、话筒、蜂鸣器、按键、指示灯等。显示装置例如是LCD(Liquid Crystal Display)、有机EL(Electro Luminescence)显示装置等。
车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。车辆传感器40也可以包括取得本车辆M的位置的位置传感器。位置传感器例如是从GPS(Global Positioning System)装置取得位置信息(经度、纬度信息)的传感器。位置传感器也可以是使用导航装置50的GNSS(Global Navigation Satellite System)接收机51来取得位置信息的传感器。
导航装置50例如具备GNSS接收机51、导航HMI52及路径决定部53。导航装置50在HDD(Hard Disk Drive)、闪存器等存储装置中保持有第一地图信息54。GNSS接收机51基于从GNSS卫星接收到的信号,来确定本车辆M的位置。本车辆M的位置也可以通过利用了车辆传感器40的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI52也可以一部分或全部与前述的HMI30共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定的本车辆M的位置(或被输入的任意的位置)到由乘员使用导航HMI52而输入的目的地的路径(以下称作地图上路径)。第一地图信息54例如是通过表示道路的路段和由路段连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point OfInterest)信息等。地图上路径向MPU60输出。导航装置50也可以基于地图上路径,来进行使用了导航HMI52的路径引导。导航装置50例如也可以通过乘员所持有的智能手机、平板终端等终端装置的功能来实现。导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地,并从导航服务器取得与地图上路径同等的路径。
MPU60例如包括推荐车道决定部61,并在HDD、闪存器等存储装置中保持有第二地图信息62。推荐车道决定部61将从导航装置50提供的地图上路径分割(例如在车辆行进方向上每隔100[m]进行分割)为多个区块,并参照第二地图信息62按每个区块来决定推荐车道。例如,推荐车道决定部61在当前行驶着的车道或不远的将来要行驶的道路为多个车道的情况下,进行在从左数第几车道上行驶这样的决定。推荐车道决定部61在地图上路径存在分支部位的情况下,决定推荐车道,以使本车辆M能够在用于向分支目的地行进的合理的路径上行驶。
第二地图信息62是精度比第一地图信息54高的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界(例如道路划分线、路肩、缘石、中央隔离带、护栏)的信息等。第二地图信息62可以包括道路信息(道路类别)、道路的车道数、分支或汇合的有无、法定速度(限制速度、最高速度、最低速度)、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。第二地图信息62可以通过通信装置20与其他装置通信而随时被更新。
驾驶操作件80例如包括转向盘、油门踏板、制动踏板、换挡杆、以及其他操作件。在驾驶操作件80安装有检测操作量或者有无操作的传感器,其检测结果向自动驾驶控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
接着,在说明自动驾驶控制装置100之前,先说明行驶驱动力输出装置200、制动装置210、转向装置220。行驶驱动力输出装置200将用于供本车辆M行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及控制它们的ECU(Electronic Control Unit)。ECU按照从自动驾驶控制装置100(具体而言,后述的第二控制部160)输入的信息、或者从驾驶操作件80输入的信息,来控制上述的结构。
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来控制电动马达,以使与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构作为备用。制动装置210不限于上述说明的结构,也可以是按照从第二控制部160输入的信息来控制致动器而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部160输入的信息、或者从驾驶操作件80的转向盘82输入的信息来驱动电动马达,使转向轮的朝向变更。
接着,说明自动驾驶控制装置100。自动驾驶控制装置100例如具备第一控制部120、第二控制部160、HMI控制部170及存储部180。第一控制部120、第二控制部160及HMI控制部170分别例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序可以预先保存于自动驾驶控制装置100的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装卸的存储介质,并通过存储介质(非暂时性的存储介质)装配于驱动装置而安装于自动驾驶控制装置100的HDD、闪存器。将行动计划生成部140与第二控制部160合起来是“驾驶控制部”的一例。
存储部180也可以通过上述的各种存储装置、或SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、或RAM(Random Access Memory)等来实现。存储部180中例如保存图像信息182、划分线信息184、为了执行本实施方式中的各种处理而需要的信息、程序、以及其他各种信息等。图像信息182是由相机10拍摄出的本车辆M的周边图像(至少包括本车辆M的行进方向的图像)的信息。以下,将由相机10拍摄出的图像称作“相机图像”。也可以是,在图像信息182中,由相机10拍摄的拍摄时间和拍摄时的本车辆M的位置、方向与相机图像建立了对应关系。图像信息182中保存规定时间前(规定图像帧前)的相机图像。该情况下的规定时间可以是固定时间,也可以是与本车辆M的速度、道路形状相应的可变时间。以下,将规定时间前的相机图像称作“过去的相机图像”。过去的相机图像是“第二图像”的一例。划分线信息184是在规定时间前由识别部130识别出的将道路上的行车道划分的道路划分线(以下,仅称作“划分线”)的信息。划分线信息184中例如也可以包括从过去的相机图像的分析结果得到的本车辆M行驶的行车道(以下称作“本车行车道”)的位置信息。在该情况下,存储部180中保持过去的相机图像中的将本车行车道划分的划分线。存储部180中也可以保存有地图信息(第一地图信息54、第二地图信息62)。
图2是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130和行动计划生成部140。第一控制部120例如并行实现基于AI(ArtificialIntelligence:人工智能)的功能和基于预先给出的模型的功能。例如,“识别交叉路口”的功能可以通过“并行执行基于深度学习等的交叉路口的识别和基于预先给出的条件(存在能够进行图案匹配的信号、道路标示等)的识别,并对双方进行评分而综合地评价”来实现。由此,确保自动驾驶的可靠性。
识别部130基于从相机10及雷达装置12经由物体识别装置16而输入的信息,来识别处于本车辆M的周边的物体(例如,其他车辆、其他障碍物)的位置(相对位置)、速度(相对速度)、加速度等状态。物体的位置例如被识别为以本车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标(本车中心坐标系)上的位置,并被使用于控制。物体的位置也可以由该物体的重心、角部等代表点表示,也可以由区域表示。所谓物体的“状态”,在物体为其他车辆等移动体的情况下,也可以包括其他车辆的加速度、加加速度、或者“行动状态”(例如是否正在进行或者是否正要进行车道变更)。
识别部130例如至少基于从相机10输入的信息,来识别本车行车道。具体而言,识别部130例如具备假想线设定部132、点群取得部134、划分线候补识别部136及划分线搜索部138。通过各功能来识别将本车行车道划分的划分线、本车行车道自身、或除了划分线以外的边界线(例如,道路边界线)等。关于各自的功能的详细情况,见后述。
识别部130利用假想线设定部132、点群取得部134、划分线候补识别部136、及划分线搜索部138的功能来识别本车行车道,并除此之外还(或代替此而)通过将从第二地图信息62得到的划分线的图案(例如实线与虚线的排列)与从由相机10拍摄出的图像识别的本车辆M的周边的划分线的图案进行比较,来识别将本车行车道划分的划分线、本车行车道自身。识别部130不限于识别划分线,也可以识别包括路肩、缘石、中央隔离带、护栏等的行驶路边界(道路边界)。在该识别中,也可以将从导航装置50取得的本车辆M的位置、由INS处理的处理结果加入考虑。另外,识别部130识别暂时停止线、障碍物、红灯、收费站、道路标识、以及其他道路现象。识别部130也可以识别与本车行车道相邻的相邻车道、与本车行车道相向的相向车道。相邻车道例如是能够沿与本车行车道行驶车道同一方向行进的车道。
识别部130在识别到本车行车道的情况下,也可以识别本车辆M相对于本车行车道的位置、姿势。识别部130例如也可以将本车辆M的基准点从行车道中央的偏离、以及本车辆M的行进方向相对于将行车道中央相连的线所成的角度识别为本车辆M相对于本车行车道的相对位置及姿势。代替于此,识别部130也可以将本车辆M的基准点相对于本车行车道任意侧端部(例如,划分线或道路边界)的位置等识别为本车辆M相对于行驶道的相对位置。在此,所谓本车辆M的基准点,可以是本车辆M的中心,也可以是重心。所谓基准点,可以是本车辆M的端部(前端部、后端部),也可以是本车辆M所具备的多个车轮中的一个车轮所存在的位置。
行动计划生成部140以原则上在由推荐车道决定部61决定的推荐车道上行驶,并且能够应对车辆M的周边状况的方式基于由识别部130识别的识别结果等来生成车辆M自动地(不依赖于驾驶员的操作地)将来行驶的目标轨道。目标轨道例如包含有速度要素。例如,目标轨道表现为将车辆M应该到达的地点(轨道点)依次排列而得到的轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如数[m]程度)的车辆M应该到达的地点,有别于此,每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。轨道点也可以是每隔规定的采样时间的、在该采样时刻下车辆M应该到达的位置。在该情况下,目标速度、目标加速度的信息由轨道点的间隔来表现。行动计划生成部140也可以在决定出车辆M的预先设定速度的情况下,在能够行驶的范围内生成车辆M的速度成为设定速度那样的目标轨道。
行动计划生成部140在生成目标轨道时,可以设定自动驾驶的事件(功能)。自动驾驶的事件中存在定速行驶事件、低速追随行驶事件、车道变更事件、分支事件、汇合事件、接管事件等。行动计划生成部140生成与所起动了的事件相应的目标轨道。行动计划生成部140也可以在执行车辆M的驾驶控制、规定的事件等的情况下,根据后述的车辆M的驾驶模式来向乘员提议(建议)驾驶控制、事件的执行,并在该提议被承认了的情况下生成对应的目标轨道。
第二控制部160控制行驶驱动力输出装置200、制动装置210及转向装置220,以使车辆M按预定的时刻通过由行动计划生成部140生成的目标轨道。
第二控制部160例如具备取得部162、速度控制部164及转向控制部166。取得部162取得由行动计划生成部140生成的目标轨道(轨道点)的信息,并使该信息存储于存储器(未图示)。速度控制部164基于存储于存储器的目标轨道所附带的速度要素,来控制行驶驱动力输出装置200或制动装置210。转向控制部166根据存储于存储器的目标轨道的弯曲情况,来控制转向装置220。速度控制部164及转向控制部166的处理例如通过前馈控制与反馈控制的组合来实现。作为一例,转向控制部166将与车辆M的前方的道路的曲率相应的前馈控制与基于从目标轨道的偏离的反馈控制组合来执行。
HMI控制部170利用HMI30向本车辆M的乘员(驾驶员)通知规定的信息。规定的信息中例如包括驾驶支援信息。例如,HMI控制部170可以生成包括上述的规定的信息的图像,并使所生成的图像显示于HMI30的显示装置,也可以生成表示规定的信息的声音,并使所生成的声音从HMI30的扬声器输出。HMI控制部170例如也可以将由HMI30接受到的信息向通信装置20、导航装置50、第一控制部120等输出。
[假想线设定部、点群取得部、划分线候补识别部及划分线搜索部]
以下,说明假想线设定部132、点群取得部134、划分线候补识别部136及划分线搜索部138的功能的详细情况。假想线设定部132以存储于存储部180中的划分线信息184所包含的过去识别为是将本车辆M的行驶道划分的划分线的划分线的位置为基准而设定假想线。图3是用于说明假想线设定部132的功能的图。在图3的例子中,设为本车辆M以速度VM沿X轴方向行进着。划分线LL、LR是如下划分线:由划分线搜索部138基于过去的相机图像(第二图像)而决定为将本车辆M的行驶道L1划分的划分线。
例如,包含本车辆M行驶的行驶道(以下,称作本车行车道)的道路中,除了划分本车行车道的划分线以外,还存在能够沿与本车行车道同一方向行进的其他行车道、用于将相向车辆所行驶的相向车道划分的划分线、路肩、缘石、人行道等。它们大多沿着本车行车道延伸,因此通过图像分析而提取出的线段有时被识别为本车行车道的划分线。于是,假想线设定部132以过去的划分线的位置为基准,在将本车行车道以外的行车道划分的划分线、从相机图像中预测根据路肩、缘石、人行道等道路边界的边缘部分等来提取线状或非线状的线段的位置设定假想线。例如,假想线设定部132以从过去的相机图像中识别出的本车行车道的划分线为基准,在从本车辆M观察时比划分线向外侧(远方)分离开规定距离的位置设定一条以上的假想线。在设定多条假想线的情况下,也可以以规定间隔来设定。
上述规定距离例如可以是固定距离,也可以是基于从车辆传感器40得到的本车辆M的位置信息参照地图信息(第一地图信息54、第二地图信息62)而取得本车辆M的周围的道路信息,并与本车行车道以外的划分线、路肩等道路边界线所存在的位置建立了对应关系的距离。上述规定距离也可以是与本车行车道L1的行车道宽度同样的长度。由此,能够在存在将相向车道、相邻车道划分的划分线的可能性高的位置设定假想线。关于假想线的数量,可以是固定数量,也可以根据道路形状(例如,从地图信息得到的供本车辆M行驶的道路的车道数、人行道的有无等)而可变地设定。也可以针对本车行车道L1的左右的划分线LL、LR分别设定不同的数量的假想线。
在图3的例子中,以将本车行车道L1划分的左侧的划分线LL为基准,在从本车辆M观察时比划分线LL离开距离D1的位置设定假想线VL1,而且在离开比距离D1长的距离D2的位置设定有假想线VL2。在图3的例子中,以划分本车行车道L1的右侧的划分线LR为基准,在从本车辆M观察时比划分线LR离开距离D3的位置设定有假想线VL3。
点群取得部134从相机10取得当前的相机图像(表示本车辆M的前方状况的图像),并取得所取得的相机图像中包含的物体的点群。当前的相机图像是“第一图像”的一例。例如,点群取得部134通过现有的图像分析处理对相机图像(第一图像)提取边缘点,并将所提取的边缘点中的规定间隔以内的点汇总而作为物体的点群取得。此时取得的点群例如是在将相机图像向从上方观察本车辆M而得到的二维坐标系(俯瞰坐标系)进行图像变换而得到的图像中定义的点群。该情况的二维坐标的基准位置(原点)例如是本车辆M的代表点。点群取得部134也可以将从相机10的取得的相机图像作为存储部180的图像信息182而保存。
划分线候补识别部136根据由点群取得部134取得的点群中的、沿同一方向(包含容许角度范围)以规定的距离以内的间隔排列的点群而形成点列,并将所形成的点列与预先决定的点列图案进行比较来识别划分线的候补。例如,划分线候补识别部136在点列以线状延伸了规定距离以上的情况下或虽为非线状但以规定的曲率延伸了规定距离以上的情况下,将该点列识别为划分线候补。
划分线候补识别部136通过向例如以点群数据为输入并以与点群数据对应的划分线的候补为输出的方式进行学习而得到的DNN(deep neural network)等学习完毕模型中输入由点群取得部134取得的点群数据,来取得在当前时间点的划分线的候补。划分线候补识别部136也可以通过向以相机图像为输入并以与图像对应的划分线的候补为输出的方式进行学习而得到的DNN等学习完毕模型中输入相机图像,来取得在当前时间点的划分线的候补。在该情况下,可以从识别部130中省略点群取得部134。上述的学习完毕模型可以存储于存储部180,也可以通过经由通信装置20的通信而从外部装置取得。
划分线搜索部138决定由划分线候补识别部136识别出的划分线候补中的将本车行车道划分的划分线。图4是用于说明划分线搜索部138的功能的一例的图。在图4的例子中,示出了基于从过去(规定时间前)的相机图像(第二图像)中识别出的本车行车道L1的左右的划分线LL、LR(过去的划分线)、由假想线设定部132设定出的假想线VL1~VL3、以及基于当前的相机图像(第一图像)而由划分线候补识别部136识别出的划分线候补LC1~LC3。取得划分线LL、LR及假想线VL1~VL3的第二图像是过去的相机图像,拍摄时期与由划分线候补识别部136识别到划分线候补LC1~LC3的第一图像不同。因此,划分线搜索部138将第一图像和第二图像向从上方观察本车辆M而得到的二维图像进行变换,并使各个图像与以本车辆M的位置为基准的二维坐标系(本车中心坐标系)重合,来取得图4所示那样的划分线LL、LR及假想线VL1~VL3与划分线候补LC1~LC3之间的位置关系。划分线搜索部138也可以基于由相机10从拍摄第一图像起到拍摄第二图像为止的本车辆M的移动量、移动方向、或者道路形状中的一方或双方,来修正划分线LL、LR及假想线VL1~VL3的位置、形状、或从第二图像取得的划分线候补LC1~LC3的位置、形状。
例如,在本车辆M在过去的相机图像的拍摄时之后进行了转弯行驶的情况下,划分线搜索部138在当前的相机图像(第一图像)和过去的相机图像(第二图像)中,以使本车辆的朝向(移动方向)相同的方式进行定位,并与该朝向对应地修正从第二图像得到的划分线LL、LR及假想线VL1~VL3的位置。在本车辆M过去的相机图像的拍摄时之后道路的倾斜角度、曲率发生了变化的情况下,根据倾斜角度、曲率来修正划分线LL、LR及假想线VL1~VL3的位置。由此,能够更准确地取得划分线LL、LR及假想线VL1~VL3与划分线候补LC1~LC3之间的位置关系。
划分线搜索部138根据图4所示的划分线LL、LR及假想线VL1~VL3与划分线候补LC1~LC3之间的位置关系,来搜索与划分线候补LC1~LC3各自最接近的线((例如,最附近的划分线或假想线)。“最接近”是指,例如距离最接近。也可以是,除了距离以外还(或代替距离而)包括以本车辆的行进方向为基准时的线的倾斜度、规定区间中的线的形状、线的粗细、线的颜色、线种类等最接近中的至少一个。以下,作为一例来说明搜索划分线LL、LR及假想线VL1~VL3的各线中的与划分线候补LC1最接近的线的例子。
例如,划分线搜索部138将存在于距本车辆M的位置(例如,代表点)第一规定距离的划分线候补LC1上的基准点PLC1与存在于以本车辆M的位置为基准的规定位置的划分线LL、LR上的基准点PLL、PLR、以及假想线VL1~VL3上的各个基准点PV1~PV3之间的区间截取,并导出所截取的区间中的距离。第一规定距离例如是基于相机信息(相机10的参数信息)而决定的值。参数信息中例如包括视角、可拍摄距离(界限距离)等。例如,基于相机信息在至少不超过可拍摄距离的范围内设定基准点PLC1,由此能够抑制识别误差而进行更准确的线的比较。第一规定距离例如可以是根据相机图像识别为在道路宽度方向上存在的规定位置PLL、PLR、及假想线VL1~VL3所存在的最长距离(距本车辆M最远的位置),也可以是固定距离(第一固定距离)。基准点PLL、PLR、PV1~PV3例如是与本车辆M的代表点(例如,本车辆的前端部)的横向位置方向对应的点,但也可以以其他点为基准。以下,说明划分线候补LC1和假想线VL1的截取区间中的距离的导出,但划分线候补LC1与划分线LL、LR及假想线VL2、VL3各自之间的距离的导出也进行同样的处理。
图5是用于说明划分线候补LC1与假想线VL1之间的距离的导出的图。在图5的例子中,划分线搜索部138以划分线候补LC1的基准点PLC1为搜索起点而在划分线候补LC1上设定规定数量的从基准点PLC1向假想线VL1的基准点PV1所存在的方向每隔规定间隔△I而错开的各点,并导出从所设定的各点起到沿着图像的横向(Y轴方向)延伸而得到的线(或相对于划分线候补LC1的延伸方向而沿垂直方向延伸的线)与假想线VL1相接的地点为止的各个距离。规定间隔△I例如可以是预先决定的固定间隔,也可以是基于由车辆传感器40检测出的本车辆M的速度、道路形状等得到的可变间隔。规定数量例如可以是预先决定的固定数量,也可以是基于本车辆M的速度、道路形状等得到的可变量。在图5的例子中,设定有4个搜索点PO1~PO4。划分线搜索部138基于从基准点PLC1及搜索点PO1~PO4的各点到图像的横向位置方向上的假想线VL1的差,来导出各点处的距离。在图5的例子中,由于在基准点PLC1的横向不存在假想线VL1,因此不导出距该点的距离,导出与搜索点PO1~PO4对应的距离D11~D14。而且,划分线搜索部138基于各距离D11~D14,来导出假想线VL1与划分线候补LC1之间的距离。距离例如通过求取各距离D11~D14的均方值来导出。距离也可以通过距离D11~D14的加法计算值、平均值、或向规定的函数代入距离D11~D14的值而导出。距离可以是向从上方观察本车辆M而得到的图进行变换而得到的图像(本车中心坐标系图像)上的距离,也可以是基于相机图像的拍摄信息而调整后的实际的距离。
划分线搜索部138针对划分线候补LC1也相对于其他假想线VL2、VL3及划分线LL、LR而导出距离。而且,划分线搜索部138导出最接近的划分线。例如,划分线搜索部138在存在于划分线候补LC1最近处的线是过去的划分线LL或LR的情况下,决定为划分线候补LC1是本车行车道L1的划分线。划分线搜索部138在存在于划分线候补LC1最近处的线是假想线VL1~VL3的情况下,也可以决定为划分线候补LC1不是将本车行车道L1划分的划分线(或划分线候补LC1是将行驶道划分的划分线以外的边界线)。通过决定不是行驶道L1的划分线的划分线候补,能够更准确地提取当前的本车行车道的划分线。
划分线搜索部138在决定出划分线候补LC1是将行驶道划分的划分线以外的边界线的情况下,也可以在该划分线候补LC1被划分线候补识别部136识别出的期间,从搜索本车行车道L1的划分线的处理中排除。由此,能够减轻用于决定本车行车道L1的划分线的处理负荷。
划分线搜索部138也可以在划分线LL、LR及假想线VL1~VL3中的与划分线候补LC1最接近的线和划分线候补LC1之间的距离为阈值以上的情况下,不将该线决定为划分线。在该情况下,划分线搜索部138将过去搜索到的过去的本车行车道的划分线继续利用为将当前的本车行车道划分的划分线。由此,即便在由于本车辆M的周边环境、描绘于路面的划分线的状态而暂时不能从相机图像识别出划分线候补的情况下,也能够基于作为过去(例如刚才)的搜索结果的行驶道的划分线的位置,继续进行LKAS等驾驶支援。划分线搜索部138在过去的划分线LL、LR中的任一方不能根据划分线LL、LR及假想线VL1~VL3而搜索出的情况下,也可以仅输出所搜索出的另一方的划分线的位置信息。由此,能够基于作为搜索结果而得到的一方的划分线的信息,来使本车辆M行驶。
在图4的例子中,与划分线候补LC1最接近的线是假想线VL1,与划分线候补LC2最接近的线是划分线LR,与划分线候补LC3最接近的线是假想线VL3。因此,划分线搜索部138将划分线候补LC2决定为相对于行驶道L1的行进方向而言右侧的划分线LR,并决定为划分线候补LC1、LC3不是行驶道L1的划分线。
在上述的例子中,划分线搜索部138设定了用于从划分线候补LC1的基准点PLC1朝向基准点PV1侧(换言之,本车辆M的跟前侧)以规定间隔导出距离的各点,但也可以以基准点PV1为起点朝向基准点PLC1而在假想线VL1上以规定间隔△I设定规定数量的各点。划分线搜索部138也可以以能够从基准点PLC1起提取规定数量的点的方式设定规定间隔△I。
划分线搜索部138也可以在划分线候补的横向不存在划分线LL、LR及假想线VL1~VL3的情况下,或在划分线LL、LR及假想线VL1~VL3的长度短的情况下,使划分线候补LC1~LC3、或者划分线LL、LR、假想线VL1~VL3沿着延伸方向延伸,以便能够导出基于规定数量的搜索点的距离。通过设定规定数量的搜索点,从而不是仅1点的距离,能够更准确地导出也包含在规定区间中的形状在内的线彼此的接近程度。
划分线搜索部138将通过本次的搜索而得到的与本车行车道的划分线相关的信息(例如,以本车辆M的位置为基准的划分线的位置信息等)、由划分线划分的本车行车道自身的信息保存于存储部180的划分线信息184,并在下次的搜索将本车行车道划分的划分线时利用。
识别部130将包含由划分线搜索部138决定的行驶道的划分线信息在内的识别结果向行动计划生成部140输出。行动计划生成部140基于识别结果,以本车辆M朝向由导航装置50设定的目的地而行驶的方式生成本车辆M的目标轨道,并执行驾驶控制以使本车辆M沿着所生成的目标轨道而行驶。
[处理流程]
图6是表示由实施方式的自动驾驶控制装置100执行的处理的流程的一例的流程图。以下,主要以由自动驾驶控制装置100执行的处理中的、搜索将本车辆M的行驶道划分的划分线并基于作为搜索结果而得到的划分线等信息来执行本车辆M的驾驶控制的处理为中心进行说明。图6的处理可以在执行着针对本车辆M的驾驶控制的期间,以规定间隔反复执行。
在图6的例子中,假想线设定部132从存储部180等取得过去的划分线的信息(步骤S100),并基于所取得的信息来设定以过去的划分线的位置为基准的一条以上的假想线(步骤S102)。
接着,点群取得部134取得由相机10拍摄出的包含当前的本车辆M的前方的相机图像(步骤S104),针对所取得的相机图像变换为从上方观察本车辆M而得到的图像(步骤S106)。接着,点群取得部134分析进行了坐标变换后的图像,并取得点群数据(步骤S108)。接着,划分线候补识别部136基于由点群取得部134取得的点群数据,来识别将本车行车道划分的划分线的候补(步骤S110)。
接着,划分线搜索部138导出过去的划分线及假想线与划分线候补之间的距离(步骤S112)。接着,划分线搜索部138判定是否存在与过去的划分线之间的距离小于阈值的划分线候补(步骤S114)。在判定为存在与过去的划分线之间的距离小于阈值的划分线候补的情况下,划分线搜索部138将该划分线候补决定为将当前的本车行车道划分的划分线(步骤S116)。
在步骤S114的处理中判定为不存在与过去的划分线之间的距离小于阈值的划分线候补的情况下,划分线搜索部138判定是否存在与过去的划分线之间的距离小于阈值的假想线(步骤S118)。在判定为存在与过去的划分线之间的距离小于阈值的假想线的情况下,划分线搜索部138将该划分线候补识别为不是划分当前的本车行车道的划分线(步骤S120)。
在步骤S120的处理后或在步骤S118的处理中判定为不存在与过去的划分线之间的距离小于阈值的假想线的情况下,划分线搜索部138继续使用过去所识别出的划分线的信息,并将过去的划分线决定为划分当前的本车行车道的划分线(步骤S122)。
在步骤S116或步骤S122的处理后,划分线搜索部138将与所决定出的划分线相关的信息存储于存储部180(步骤S124)。在步骤124的处理中,也可以存储与识别为不是划分本车行车道的划分线的划分线候补相关的信息。
接着,行动计划生成部140生成用于使本车辆M沿着由决定出的划分线划分出的本车行车道而在本车行车道的中央行驶的目标轨道(步骤S126)。接着,第二控制部160执行控制速度及转向中的一方或双方的驾驶控制,以使本车辆M沿着目标轨道行驶(步骤S128)。由此,本流程图的处理结束。
<变形例>
在上述的车辆系统1中也可以设置有LIDAR(Light Detection and Ranging)。LIDAR向本车辆M的周边照射光(或者波长与光接近的电磁波),并测定散射光。LIDAR基于从发光到受光的时间,来检测距对象的距离。照射的光例如是脉冲状的激光。LIDAR安装于本车辆M的任意部位。例如,物体识别装置16也可以除了相机10及雷达装置12之外还接受来自LIDAR的输入,并根据基于来自它们各自的输入的信息得到的传感器融合处理的结果,来识别周边的物体(包括划分线)。
在上述的实施方式中,在未设定基于导航装置50的目的地而本车辆M通过驾驶员的操作而行驶着的情况下,也可以使用上述的划分线搜索部138所搜索到的本车行车道的划分线的信息,来进行支援本车辆M的转向及速度中的一部分驾驶的驾驶控制。
划分线搜索部138也可以在从过去的划分线及假想线中搜索与划分线候补最接近的线的情况下,例如使用现有的匹配算法来导出最接近的(例如,一致程度最高的)线。划分线信息184中也可以将由假想线设定部132设定出的假想线的信息与过去的划分线的信息建立对应关系而保存。划分线搜索部138中在搜索时所使用的与过去的划分线(上次搜索到的划分线)相关的信息也可以代替从划分线信息184取得而从保存于图像信息182的图像中取得。
根据上述的实施方式,在自动驾驶控制装置(移动体控制装置的一例)中,具备:划分线候补识别部136,其从由相机(摄像部的一例)拍摄出的包含本车辆(移动体的一例)M的周边在内的图像中识别划分本车辆M行驶的行驶道的划分线的候补;假想线设定部132,其在从本车辆M观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及划分线搜索部138,其基于由划分线候补识别部136识别出的划分线候补、以及一条以上的假想线,来搜索划分本车辆M的当前的行驶道的划分线,由此能够更准确地识别划分本车辆行驶的行驶道的划分线。
具体而言,根据上述的实施方式,通过假定在本车行车道的划分线的外侧存在本车行车道以外的线段而搜索划分线,能够抑制将本车行车道的划分线以外的划分线误识别为本车行车道的划分线这一情况。根据上述的实施方式,也能够掌握将本车行车道划分的划分线以外的道路边界。基于由本实施方式的搜索处理得到的本车辆M的左右的划分线而使本车辆M行驶或进行驾驶支援,由此能够执行耐用性更高的驾驶控制。根据上述的实施方式,通过增加假想线的数量,能够在广的搜索范围搜索边界线,因此也能够应用于本车辆M所行驶的道路的车道数判定等。
上述说明的实施方式能够如以下这样表现。
一种移动体控制装置,其构成为具备:
存储装置,其存储有程序;以及
硬件处理器,
通过所述硬件处理器执行存储于所述存储装置的程序来进行如下处理:
从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;
在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;
基于识别到的所述划分线候补、以及设定出的所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
Claims (9)
1.一种移动体控制装置,其中,
所述移动体控制装置具备:
划分线候补识别部,其从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;
假想线设定部,其在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及
划分线搜索部,其基于由所述划分线候补识别部识别出的划分线候补、以及所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
2.根据权利要求1所述的移动体控制装置,其中,
所述假想线设定部在预测为包含所述移动体的当前的行驶道在内的道路的边界所存在的位置设定所述假想线。
3.根据权利要求1所述的移动体控制装置,其中,
所述假想线设定部在从作为过去划分所述行驶道的划分线而识别出的划分线离开规定距离的位置设定假想线。
4.根据权利要求1所述的移动体控制装置,其中,
所述划分线搜索部将所述划分线候补中的与所述过去划分所述行驶道的划分线最接近的划分线候补决定为划分所述移动体的当前的行驶道的划分线。
5.根据权利要求1所述的移动体控制装置,其中,
所述划分线搜索部不将所述划分线候补中的与所述假想线之间的距离处于规定距离以内的划分线候补决定为划分所述移动体的当前的行驶道的划分线。
6.根据权利要求1所述的移动体控制装置,其中,
所述划分线搜索部将所述划分线候补中的与所述假想线之间的距离处于规定距离以内的划分线候补识别为划分所述移动体的当前的行驶道的划分线以外的边界线。
7.根据权利要求1所述的移动体控制装置,其中,
所述移动体控制装置还具备驾驶控制部,该驾驶控制部控制所述移动体的速度及转向中的一方或双方,以使所述移动体沿着由所述划分线搜索部决定出的划分所述移动体的行驶道的划分线行驶。
8.一种移动体控制方法,其中,
所述移动体控制方法使移动体控制装置的计算机进行如下处理:
从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;
在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及
基于识别到的所述划分线的候补、以及设定出的所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
9.一种存储介质,其存储有程序,其中,
所述程序使移动体控制装置的计算机进行如下处理:
从由摄像部拍摄出的包含移动体的周边在内的图像中识别划分所述移动体行驶的行驶道的划分线的候补;
在从所述移动体观察时处于比作为过去划分所述行驶道的划分线而识别出的划分线靠外侧的位置设定至少一条以上的假想线;以及
基于识别出的所述划分线的候补、以及设定出的所述一条以上的假想线,来搜索划分所述移动体的当前的行驶道的划分线。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-198523 | 2021-12-07 | ||
JP2021198523A JP2023084371A (ja) | 2021-12-07 | 2021-12-07 | 移動体制御装置、移動体制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116238515A true CN116238515A (zh) | 2023-06-09 |
Family
ID=86607836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211497625.4A Pending CN116238515A (zh) | 2021-12-07 | 2022-11-25 | 移动体控制装置、移动体控制方法及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230177846A1 (zh) |
JP (1) | JP2023084371A (zh) |
CN (1) | CN116238515A (zh) |
-
2021
- 2021-12-07 JP JP2021198523A patent/JP2023084371A/ja active Pending
-
2022
- 2022-11-25 CN CN202211497625.4A patent/CN116238515A/zh active Pending
- 2022-11-29 US US18/070,625 patent/US20230177846A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230177846A1 (en) | 2023-06-08 |
JP2023084371A (ja) | 2023-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109484404B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN112677965B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN110194166B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
US11814082B2 (en) | Mobile object control method, mobile object control device, and storage medium | |
CN112462751B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111942379A (zh) | 车辆控制装置及车辆控制方法 | |
CN112677967B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN110194153B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN116513194A (zh) | 移动体控制装置、移动体控制方法及存储介质 | |
CN116788252A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN113899307B (zh) | 处理装置、处理方法及存储介质 | |
CN113479204B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN112550263B (zh) | 信息处理装置、车辆系统、信息处理方法及存储介质 | |
CN114954511A (zh) | 车辆控制装置、车辆控制方法以及存储介质 | |
CN115140083A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN115123206A (zh) | 移动体的控制装置、移动体的控制方法及存储介质 | |
CN116238515A (zh) | 移动体控制装置、移动体控制方法及存储介质 | |
CN116238514A (zh) | 移动体控制装置、移动体控制方法及存储介质 | |
CN114684191B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US20240182024A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN113511220B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US11840222B2 (en) | Vehicle control method, vehicle control device, and storage medium | |
US20230242150A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
CN116890838A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN117681899A (zh) | 移动体控制装置、移动体控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |