JP2023084371A - 移動体制御装置、移動体制御方法、およびプログラム - Google Patents
移動体制御装置、移動体制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2023084371A JP2023084371A JP2021198523A JP2021198523A JP2023084371A JP 2023084371 A JP2023084371 A JP 2023084371A JP 2021198523 A JP2021198523 A JP 2021198523A JP 2021198523 A JP2021198523 A JP 2021198523A JP 2023084371 A JP2023084371 A JP 2023084371A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- marking
- line
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 102100026205 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase gamma-1 Human genes 0.000 description 9
- 101000691599 Homo sapiens 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase gamma-1 Proteins 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/24—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】自車両が走行する走行レーンを区画する区画線をより正確に認識することができる移動体制御装置、移動体制御方法、およびプログラムを提供する。【解決手段】実施形態の移動体制御装置は、撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識する区画線候補認識部と、過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定する仮想線設定部と、前記区画線候補認識部により認識された区画線候補と、前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する区画線探索部と、を備える。【選択図】図2
Description
本発明は、移動体制御装置、移動体制御方法、およびプログラムに関する。
近年、車両の走行を自動的に制御する自動運転に関する研究が進められている。これに関連して、車両の周囲の状況を検出するセンサにより認識された車両の周囲のレーンと、車両の位置および姿勢に基づいて地図データから取得した車両の周囲のレーンとに基づいて、レーンの配置を調整する技術が知られている(例えば、特許文献1参照)。
しかしながら、車両の周囲の状況を検出するセンサによる認識の不安定さにより、認識中の区画線の近傍に区画線に類似した形状の線が認識された場合に、その線を自車両の走行レーンを区画する区画線と誤認識する可能性があった。
本発明の態様は、このような事情を考慮してなされたものであり、自車両が走行する走行レーンを区画する区画線をより正確に認識することができる移動体制御装置、移動体制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る移動体制御装置、移動体制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る移動体制御装置は、撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識する区画線候補認識部と、過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定する仮想線設定部と、前記区画線候補認識部により認識された区画線候補と、前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する区画線探索部と、を備える移動体制御装置である。
(1):この発明の一態様に係る移動体制御装置は、撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識する区画線候補認識部と、過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定する仮想線設定部と、前記区画線候補認識部により認識された区画線候補と、前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する区画線探索部と、を備える移動体制御装置である。
(2):上記(1)の態様において、前記仮想線設定部は、前記移動体の現在の走行レーンを含む道路の境界が存在すると予測される位置に前記仮想線を設定するものである。
(3):上記(1)または(2)の態様において、前記仮想線設定部は、過去に前記走行レーンを区画する区画線として認識された区画線から所定距離だけ離れた位置に仮想線を設定するものである。
(4):上記(1)~(3)のうち何れか一つの態様において、前記区画線探索部は、前記区画線候補のうち、前記過去に前記走行レーンを区画する区画線と最も近い区画線候補を前記移動体の現在の走行レーンを区画する区画線として決定するものである。
(5):上記(1)~(4)のうち何れか一つの態様において、前記区画線探索部は、前記区画線候補のうち、前記仮想線との距離が所定距離以内にある区画線候補を前記移動体の現在の走行レーンを区画する区画線として決定しないものである。
(6):上記(1)~(4)のうち何れか一つの態様において、前記区画線探索部は、前記区画線候補のうち、前記仮想線との距離が所定距離以内にある区画線候補を前記移動体の現在の走行レーンを区画する区画線以外の境界線として認識するものである。
(7):上記(1)~(6)のうち何れか一つの態様において、前記区画線探索部により決定された前記移動体の走行レーンを区画する区画線に沿って前記移動体が走行するように、前記移動体の速度または操舵のうち一方または双方を制御する運転制御部を更に備えるものである。
(8):この発明の一態様に係る運転支援方法は、移動体制御装置のコンピュータが、撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識し、過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定し、認識した前記区画線の候補と、設定した前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する、移動体制御方法である。
(9):この発明の一態様に係るプログラムは、移動体制御装置のコンピュータに、撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識させ、過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定させ、認識された前記区画線の候補と、設定された前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索させる、プログラムである。
上記(1)~(9)の態様によれば、自車両が走行する走行レーンを区画する区画線をより正確に認識することができる。
以下、図面を参照し、本発明の移動体制御装置、移動体制御方法、およびプログラムの実施形態について説明する。移動体制御装置は、移動体の移動制御を行う装置である。移動体とは、三輪または四輪等の車両、二輪車両、マイクロモビリティ等を含み、例えば人(乗員)が搭乗し、走行レーン等の走行レーンが存在する路面等を移動可能なあらゆる移動体を含んでよい。以下の説明では、移動体は四輪車両であるものとし、「自車両M」と称する。また、以下において、自車両Mは、主に自動運転車両であるものとして説明する。自動運転とは、例えば、自動的に自車両Mの操舵または速度のうち、一方または双方を制御する運転制御を実行することである。自車両Mの運転制御には、例えば、自車両Mが走行する自車線(走行レーン)を自車両Mが逸脱することなく走行する運転支援制御であるLKAS(Lane Keeping Assistance System)が含まれる。また、運転制御には、ALC(Auto Lane Changing)やACC(Adaptive Cruise Control)といった種々の運転支援制御が含まれてよい。また自動運転車両は、乗員(運転者)の手動運転によって運転が制御されることがあってもよい。または、自車両Mの駆動源は、例えば、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
[全体構成]
図1は、実施形態に係る移動体制御装置を利用した車両システム1の構成図である。車両システム1は、例えば、カメラ10と、レーダ装置12と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ10は、「撮像部」の一例である。自動運転制御装置100は、「移動体制御装置」の一例である。
図1は、実施形態に係る移動体制御装置を利用した車両システム1の構成図である。車両システム1は、例えば、カメラ10と、レーダ装置12と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ10は、「撮像部」の一例である。自動運転制御装置100は、「移動体制御装置」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される自車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
物体認識装置16は、カメラ10によって撮像された自車両Mの前方状況を表す画像を解析し、必要な情報を抽出する。そして、物体認識装置16は、カメラ10およびレーダ装置12の検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識し、認識結果を自動運転制御装置100に出力する。本発明においてレーダ装置12は省略されてよく、その場合、物体認識装置16は、画像を解析する機能のみ有してもよい。また、センサフュージョン処理を行わず、レーダ装置12の検出結果をそのまま自動運転制御装置100に出力してもよい。また、物体認識装置16の機能は、自動運転制御装置100(より具体的には後述する認識部130)に含まれてもよい。この場合、車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、HMI制御部170の制御により自車両Mの乗員に対して各種情報を出力する。また、HMI30は、乗員による入力操作を受け付ける受付部として機能してもよい。HMI30は、例えば、表示装置と、スピーカ、マイク、ブザー、キー、インジケータランプ等が含まれる。表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等である。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。また、車両センサ40には、自車両Mの位置を取得する位置センサが含まれてよい。位置センサは、例えば、GPS(Global Positioning System)装置から位置情報(経度・緯度情報)を取得するセンサである。また、位置センサは、ナビゲーション装置50のGNSS(Global Navigation Satellite System)受信機51を用いて位置情報を取得するセンサであってもよい。
ナビゲーション装置50は、例えば、GNSS受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。例えば、推奨車線決定部61は、現在走行している車線または近い将来走行する道路が複数車線である場合に、左から何番目の車線を走行するといった決定を行う。また、推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界(例えば道路区画線、路肩、縁石、中央分離帯、ガードレール)の情報等を含んでいる。また、第2地図情報62には、道路情報(道路種別)、道路の車線数、分岐、合流の有無、法定速度(制限速度、最高速度、最低速度)、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、ステアリングホイール、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
次に、自動運転制御装置100の説明に先立って、走行駆動力出力装置200、ブレーキ装置210、ステアリング装置220について説明する。走行駆動力出力装置200は、自車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、自動運転制御装置100(具体的には後述する第2制御部160)から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80のステアリングホイール82から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
次に、自動運転制御装置100について説明する。自動運転制御装置100は、例えば、第1制御部120と、第2制御部160と、HMI制御部170と、記憶部180とを備える。第1制御部120と、第2制御部160と、HMI制御部170とは、それぞれ、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。行動計画生成部140と第2制御部160とを合わせたものが「運転制御部」の一例である。
記憶部180は、上記の各種記憶装置、或いはSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read ONLy Memory)、ROM(Read ONLy Memory)、またはRAM(Random Access Memory)等により実現されてもよい。記憶部180には、例えば、画像情報182、区画線情報184、本実施形態における各種処理を実行するために必要な情報、プログラム、その他の各種情報等が格納される。画像情報182は、カメラ10により撮像された自車両Mの周辺画像(少なくとも自車両Mの進行方向を含む画像)の情報である。以下、カメラ10により撮像された画像を「カメラ画像」と称する。また、画像情報182には、カメラ10による撮像時間と撮影時の自車両Mの位置、方向とが、カメラ画像に対応付けられていてもよい。画像情報182には、所定時間前(所定画像フレーム前)のカメラ画像が格納される。この場合の所定時間は、固定時間でもよく、自車両Mの速度や道路形状に応じた可変時間でもよい。以下、所定時間前のカメラ画像を、「過去のカメラ画像」と称する。過去のカメラ画像は「第2画像」の一例である。区画線情報184は、所定時間前に認識部130により認識された道路上のレーンを区画する道路区画線(以下、単に「区画線」と称する)の情報である。区画線情報184には、例えば、過去のカメラ画像の解析結果から得らえた自車両Mが走行するレーン(以下、「自車レーン」と称する)の位置情報が含まれてよい。この場合、記憶部180には、過去のカメラ画像における自車レーンを区画する区画線が保持される。また、記憶部180には、地図情報(第1地図情報54、第2地図情報62)が格納されていてもよい。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示等がある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10およびレーダ装置12から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺にある物体(例えば、他車両、その他の障害物)の位置(相対位置)、および速度(相対速度)、加速度等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心等)を原点とした絶対座標(自車中心座標系)上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、物体が他車両等の移動体である場合には、他車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、少なくともカメラ10から入力された情報に基づいて、自車レーンを認識する。具体的には、認識部130は、例えば、仮想線設定部132と、点群取得部134と、区画線候補認識部136と、区画線探索部138とを備える。各機能によって自車レーンを区画する区画線や自車レーン自体、または区画線以外の境界線(例えば、道路境界線)等を認識する。それぞれの機能の詳細については後述する。
また、認識部130は、仮想線設定部132、点群取得部134、区画線候補認識部136、および区画線探索部138の機能によって自車レーンを認識することに加えて(または代えて)、第2地図情報62から得られる区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の区画線のパターンとを比較することで、自車レーンを区画する区画線や自車レーン自体を認識してもよい。また、認識部130は、区画線に限らず、路肩、縁石、中央分離帯、ガードレール等を含む走路境界(道路境界)を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、道路標識、その他の道路事象を認識する。また、認識部130は、自車レーンに隣接する隣接車線や自車レーンに対向する対向車線を認識してもよい。隣接車線は、例えば、自車レーン走行車線と同一方向に進行可能な車線である。
また、認識部130は、自車レーンを認識した場合に、自車レーンに対する自車両Mの位置や姿勢を認識してもよい。認識部130は、例えば、自車両Mの基準点のレーン中央からの乖離、および自車両Mの進行方向のレーン中央を連ねた線に対してなす角度を、自車レーンに対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、自車レーンのいずれかの側端部(例えば、区画線または道路境界)に対する自車両Mの基準点の位置等を、走行レーンに対する自車両Mの相対位置として認識してもよい。ここで、自車両Mの基準点とは、自車両Mの中心でもよく、重心でもよい。また、基準点とは、自車両Mの端部(前端部、後端部)でもよく、自車両Mが備える複数の車輪うちの一つが存在する位置であってもよい。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、車両Mの周辺状況に対応できるように、認識部130による認識結果等に基づいて車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。また、行動計画生成部140は、車両Mの予め設定速度が決められている場合に、走行可能な範囲内で車両Mの速度が設定速度となるような目標軌道を生成してもよい。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベント(機能)を設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント等がある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。また、行動計画生成部140は、車両Mの運転制御や所定のイベント等を実行する場合には、後述する車両Mの運転モードに応じて運転制御やイベントの実行を乗員に提案(リコメンド)し、その提案が承認された場合に対応する目標軌道を生成してもよい。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
HMI制御部170は、HMI30により、自車両Mの乗員(運転者)に所定の情報を通知する。所定の情報には、例えば、運転支援情報が含まれる。例えば、HMI制御部170は、上述した所定の情報を含む画像を生成し、生成した画像をHMI30の表示装置に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をHMI30のスピーカから出力させてもよい。また、HMI制御部170は、例えば、HMI30により受け付けられた情報を通信装置20、ナビゲーション装置50、第1制御部120等に出力してもよい。
[仮想線設定部、点群取得部、区画線候補認識部、および区画線探索部]
以下、仮想線設定部132と、点群取得部134、区画線候補認識部136、および区画線探索部138の機能の詳細について説明する。仮想線設定部132は、記憶部180に記憶された区画線情報184に含まれる過去に自車両Mの走行レーンを区画する区画線であると認識された区画線の位置を基準として仮想線を設定する。図3は、仮想線設定部132の機能について説明するための図である。図3の例において、自車両Mは、速度VMでX軸方向に進行しているものとする。また、区画線LL、LRは、区画線探索部138により過去のカメラ画像(第2画像)に基づいて自車両Mの走行レーンL1を区画する区画線として決定された区画線である。
以下、仮想線設定部132と、点群取得部134、区画線候補認識部136、および区画線探索部138の機能の詳細について説明する。仮想線設定部132は、記憶部180に記憶された区画線情報184に含まれる過去に自車両Mの走行レーンを区画する区画線であると認識された区画線の位置を基準として仮想線を設定する。図3は、仮想線設定部132の機能について説明するための図である。図3の例において、自車両Mは、速度VMでX軸方向に進行しているものとする。また、区画線LL、LRは、区画線探索部138により過去のカメラ画像(第2画像)に基づいて自車両Mの走行レーンL1を区画する区画線として決定された区画線である。
例えば、自車両Mが走行する走行レーン(以下、自車レーンと称する)を含む道路には、自車レーンを区画する区画線の他に、自車レーンと同一方向に進行可能な他のレーンや対向車両が走行する対向車線を区画するための区画線や、路肩、縁石、歩道等が存在する。これらは、自車レーンに沿って延伸していることが多いため、画像解析によって抽出された線分が自車レーンの区画線として認識される場合がある。そこで、仮想線設定部132は、過去の区画線の位置を基準として、自車レーン以外のレーンを区画する区画線や、カメラ画像から路肩や縁石、歩道等の道路境界のエッジ部分等によって線形または非線形の線分が抽出されると予測される位置に仮想線を設定する。例えば、仮想線設定部132は、過去のカメラ画像から認識された自車レーンの区画線を基準として、自車両Mからみて区画線よりも外側(遠方)に所定距離だけ離れた位置に一以上の仮想線を設定する。複数の仮想線を設定する場合には、所定間隔で設定してもよい。
上記所定距離は、例えば、固定距離でもよく、車両センサ40から得られる自車両Mの位置情報に基づいて地図情報(第1地図情報54、第2地図情報62)を参照し、自車両Mの周囲の道路情報を取得して、自車レーン以外の区画線や路肩等の道路境界線が存在する位置に対応付けた距離でもよい。また、上記所定距離は、自車レーンL1のレーン幅と同様の長さにしてもよい。これにより、対向車線や隣接車線を区画する区画線が存在する可能性の高い位置に仮想線を設定することができる。また、仮想線の数については、固定数でもよく、道路形状(例えば、地図情報から得られる自車両Mが走行する道路の車線数や歩道の有無等)によって可変に設定されてもよい。また、自車レーンL1の左右の区画線LL、LRのそれぞれに対して異なる数の仮想線が設定されてもよい。
図3の例では、自車レーンL1を区画する左側の区画線LLを基準として、自車両Mからみて区画線LLよりも距離D1だけ離れた位置に仮想線VL1が設定され、更に距離D1より長い距離D2だけ離れた位置に仮想線VL2が設定されている。また、図3の例では、自車レーンL1を区画する右側の区画線LRを基準として、自車両Mからみて区画線LRよりも距離D3だけ離れた位置に仮想線VL1が設定されている。
点群取得部134は、カメラ10から現在のカメラ画像(自車両Mの前方状況を表す画像)を取得し、取得したカメラ画像に含まれる物体の点群を取得する。現在のカメラ画像は、「第1画像」の一例である。例えば、点群取得部134は、カメラ画像(第1画像)に対して、既存の画像解析処理によりエッジ点を抽出し、抽出したエッジ点のうち所定間隔以内の点をまとめて物体の点群として取得する。このとき取得される点群は、例えば、カメラ画像を、自車両Mを上からみた二次元座標系(俯瞰座標系)に画像変換した画像において定義される点群である。この場合の二次元座標の基準位置(原点)は、例えば、自車両Mの代表点である。なお、点群取得部134は、カメラ10から取得したカメラ画像を記憶部180の画像情報182として格納してもよい。
区画線候補認識部136は、点群取得部134により取得された点群のうち、同一方向(許容角度範囲を含む)に所定の距離以内の間隔で配列されている点群から点列を形成し、形成された点列と、予め決められた点列パターンとを比較して区画線の候補を認識する。例えば、区画線候補認識部136は、点列が線形で所定距離以上延伸している場合または非線形ではあるが所定の曲率で所定距離以上延伸している場合に、その点列を区画線候補として認識する。
また、区画線候補認識部136は、例えば点群データを入力とし、点群データに対応した区画線の候補を出力とするように学習したDNN(deep neural network)などの学習済みモデルに、点群取得部134により取得された点群データを入力することによって、現時点における区画線の候補を取得する。また、区画線候補認識部136は、カメラ画像を入力とし、画像に対応した区画線の候補を出力とするように学習したDNN等の学習済モデルに、カメラ画像を入力することによって、現時点における区画線の候補を取得してもよい。この場合には、点群取得部134は認識部130から省略されてよい。上述の学習済みモデルは、記憶部180に記憶されていてもよく、通信装置20を介した通信によって、外部装置から取得してもよい。
区画線探索部138は、区画線候補認識部136により認識された区画線候補のうち、自車レーンを区画する区画線を決定する。図4は、区画線探索部138の機能の一例について説明するための図である。図4の例では、過去(所定時間前)のカメラ画像(第2画像)から認識された自車レーンL1の左右の区画線LL、LR(過去の区画線)と、仮想線設定部132により設定された仮想線VL1~VL3と、現在のカメラ画像(第1画像)に基づき区画線候補認識部136により認識された区画線候補LC1~LC3が示されている。なお、区画線LL、LRおよび仮想線VL1~VL3を取得した第2画像は、過去のカメラ画像であり、区画線候補認識部136により区画線候補LC1~LC3を認識した第1画像とは、撮影時期が異なる。そのため、区画線探索部138は、第1画像と第2画像とを、自車両Mを上から見た二次元画像に変換し、それぞれの画像を自車両Mの位置を基準とした二次元座標系(自車中心座標系)に重ね合わせて、図4に示すような区画線LL、LRおよび仮想線VL1~VL3と、区画線候補LC1~LC3との位置関係を取得する。また、区画線探索部138は、カメラ10により第1画像が撮影されてから第2画像が撮影されるまでの自車両Mの移動量や移動方向、または道路形状のうち一方または双方に基づいて、区画線LL、LRおよび仮想線VL1~VL3の位置や形状、または、第2画像から取得した区画線候補LC1~LC3の位置や形状を補正してもよい。
例えば、自車両Mが過去のカメラ画像の撮影時から旋回走行している場合、区画線探索部138は、現在のカメラ画像(第1画像)と過去のカメラ画像(第2画像)とにおいて、自車両の向き(移動方向)が同一になるように位置付け、その向きに対応させて第2画像から得られた区画線LL、LRおよび仮想線VL1~VL3の位置を補正する。また、自車両Mが過去のカメラ画像の撮影時から道路の傾斜角度や曲率が変化している場合には、傾斜角度や曲率に応じて区画線LL、LRおよび仮想線VL1~VL3の位置を補正する。これにより、区画線LL、LRおよび仮想線VL1~VL3と、区画線候補LC1~LC3との位置関係をより正確に取得することができる。
区画線探索部138は、図4に示す区画線LL、LRおよび仮想線VL1~VL3と、区画線候補LC1~LC3との位置関係から、区画線候補LC1~LC3のそれぞれから最も近い線((例えば、最近傍の区画線または仮想線)を探索する。「最も近い」とは、例えば、距離が最も近いことである。また、距離に加えて(または代えて)、自車両の進行方向を基準としたときの線の傾きや、所定区間における線の形状、線の太さ、線の色、線種等が最も近いことのうち少なくとも一つが含まれてもよい。以下では、一例として区画線LL、LRおよび仮想線VL1~VL3の各線のうち、区画線候補LC1から最も近い線を探索する例について説明する。
例えば、区画線探索部138は、自車両Mの位置(例えば、代表点)から第1所定距離に存在する区画線候補LC1上の基準点PLC1と、自車両Mの位置を基準とした所定位置に存在する区画線LL、LR上の基準点PLL、PLR、および仮想線VL1~VL3上のそれぞれの基準点PV1~PV3との間の区間を切り出し、切り出した区間における距離を導出する。第1所定距離は、例えば、カメラ情報(カメラ10のパラメータ情報)に基づいて決定される値である。パラメータ情報には、例えば、画角や撮影可能距離(限界距離)等が含まれる。例えば、カメラ情報に基づいて少なくとも撮影可能距離を超えない範囲に基準点PLC1を設定することで、認識誤差を抑制してより正確な線の比較を行うことができる。また、第1所定距離は、例えば、カメラ画像によって道路幅方向に存在する所定位置PLL、PLR、および仮想線VL1~VL3が存在すると認識される最長距離(自車両Mから最も遠い位置)でもよく、固定距離(第1固定距離)でもよい。また、基準点PLL、PLR、PV1~PV3は、例えば、自車両Mの代表点(例えば、自車両の先端部)の横位置方向に対応する点であるが、他の点を基準にしてもよい。以下では、区画線候補LC1と仮想線VL1との切り出し区間における距離の導出について説明するが、区画線候補LC1と、区画線LL、LR、および仮想線VL2、VL3のそれぞれとの距離の導出についても同様の処理が行われる。
図5は、区画線候補LC1と仮想線VL1との距離の導出について説明するための図である。図5の例において、区画線探索部138は、区画線候補LC1の基準点PLC1を探索始点として、区画線候補LC1上に、基準点PLC1から仮想線VL1の基準点PV1が存在する方向に所定間隔△Iごとにずらした各点を所定数設定し、設定した各点から、画像の横方向(Y軸方向)に延ばした線(または区画線候補LC1の延伸方向に対して鉛直方向に延ばした線)が仮想線VL1と接した地点までのそれぞれの距離を導出する。所定間隔△Iは、例えば予め決められた固定間隔でもよく、車両センサ40により検出された自車両Mの速度、道路形状等に基づく可変間隔でもよい。また、所定数は、例えば、予め決められた固定間隔でもよく、自車両Mの速度、道路形状等に基づく可変数でもよい。図5の例では、4つの探索点PO1~PO4が設定されている。区画線探索部138は、基準点PLC1および探索点PO1~PO4の各点から画像の横位置方向における仮想線VL1との差に基づいて各点における距離を導出する。なお、図5の例では、基準点PLC1の横方向に仮想線VL1が存在しないため、この点からの距離は導出されず、探索点PO1~PO4に対応する距離D11~D14が導出されている。そして、区画線探索部138は、各距離D11~D14に基づいて、仮想線VL1と区画線候補LC1との距離を導出する。距離は、例えば、各距離D11~D14の二乗平均値に求めることで導出される。また、距離は、距離D11~D14の加算値や平均値、または所定の関数に距離D11~D14の値を代入することで導出されてもよい。また、距離は、自車両Mを上から見た図に変換された画像(自車中心座標系画像)上の距離でもよく、カメラ画像の撮影情報に基づいて調整された実際の距離でもよい。
区画線探索部138は、区画線候補LC1に対し、他の仮想線VL2、VL3および区画線LL、LRに対しても距離を導出する。そして、区画線探索部138は、最も近い区画線を導出する。例えば、区画線探索部138は、区画線候補LC1の最も近くに存在する線が、過去の区画線LLまたはLRである場合、区画線候補LC1は自車レーンL1の区画線と決定する。また、区画線探索部138は、区画線候補LC1の最も近くに存在する線が仮想線VL1~VL3である場合、区画線候補LC1は、自車レーンL1を区画する区画線ではない(または区画線候補LC1が走行レーンを区画する区画線以外の境界線である)と決定してもよい。走行レーンL1の区画線ではない区画線候補を決定することで、より正確に現在の自車レーンの区画線を抽出することができる。
また、区画線探索部138は、区画線候補LC1が走行レーンを区画する区画線以外の境界線であることを決定した場合には、その区画線候補LC1が区画線候補認識部136で認識されている間は、自車レーンL1の区画線を探索する処理から除外してもよい。これにより、自車レーンL1の区画線を決定するための処理負荷を軽減することができる。
また、区画線探索部138は、区画線LL、LRおよび仮想線VL1~VL3のうち、区画線候補LC1と最も近い線との距離が閾値以上である場合、その線を区画線として決定しないようにしてもよい。この場合、区画線探索部138は、過去に探索された過去の自車レーンの区画線を現在の自車レーンを区画する区画線として継続して利用する。これにより、自車両Mの周辺環境や路面に描画された区画線の状態により、カメラ画像から一時的に区画線候補が認識できなかった場合であっても、過去(例えば、直前)の探索結果である走行レーンの区画線の位置に基づいて、LKAS等の運転支援を継続することができる。また、区画線探索部138は、過去の区画線LL、LRのうち、何れか一方が区画線LL、LRおよび仮想線VL1~VL3から探索できなかった場合、探索された他方の区画線の位置情報のみを出力してもよい。これにより、探索結果として得られた一方の区画線の情報に基づいて、自車両Mを走行させることができる。
図4の例において、区画線候補LC1に最も近い線は仮想線VL1であり、区画線候補LC2に最も近い線は区画線LRであり、区画線候補LC3に最も近い線は仮想線VL3である。したがって、区画線探索部138は、区画線候補LC2を走行レーンL1の進行方向に対して右側の区画線LRであると決定し、区画線候補LC1、LC3は、走行レーンL1の区画線ではないと決定する。
なお、上述の例において、区画線探索部138は、区画線候補LC1の基準点PLC1から基準点PV1側(言い換えると自車両Mの手前側)に向かって所定間隔で距離を導出するための各点を設定したが、基準点PV1を始点として基準点PLC1に向かって仮想線VL1上に所定間隔△Iで所定数の各点を設定してもよい。また、区画線探索部138は、基準点PLC1から所定数の点が抽出できるように所定間隔△Iを設定してもよい。
また、区画線探索部138は、区画線候補の横方向に区画線LL、LRおよび仮想線VL1~VL3が存在しない場合、または区画線LL、LRおよび仮想線VL1~VL3の長さが短い場合に、区画線候補LC1~LC3または、区画線LL、LR、仮想線VL1~VL3を延伸方向に延ばして所定数の探索点による距離が導出できるようにしてもよい。所定数の探索点を設定することで、1点のみの距離ではなく、所定区間における形状も含めた線同士の近さをより正確に導出することができる。
区画線探索部138は、今回の探索によって得られた自車レーンの区画線に関する情報(例えば、自車両Mの位置を基準とした区画線の位置情報等)や区画線によって区画される自車レーン自体の情報を、記憶部180の区画線情報184に格納し、次回の自車レーンを区画する区画線の探索時に利用する。
認識部130は、区画線探索部138により決定された走行レーンの区画線情報を含む認識結果を行動計画生成部140に出力する。行動計画生成部140は、認識結果に基づいて、自車両Mがナビゲーション装置50によって設定された目的地に向かって走行するように、自車両Mの目標軌道を生成し、生成した目標軌道に沿って自車両Mが走行するように運転制御を実行する。
[処理フロー]
図6は、実施形態の自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。以下では、自動運転制御装置100により実行される処理のうち、主に自車両Mの走行レーンを区画する区画線を探索し、探索結果として得られた区画線等の情報に基づいて自車両Mの運転制御を実行する処理を中心として説明する。図6の処理は、自車両Mに対する運転制御が実行中の間、所定間隔で繰り返し実行されてよい。
図6は、実施形態の自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。以下では、自動運転制御装置100により実行される処理のうち、主に自車両Mの走行レーンを区画する区画線を探索し、探索結果として得られた区画線等の情報に基づいて自車両Mの運転制御を実行する処理を中心として説明する。図6の処理は、自車両Mに対する運転制御が実行中の間、所定間隔で繰り返し実行されてよい。
図6の例において、仮想線設定部132は、記憶部180等から過去の区画線の情報を取得し(ステップS100)、取得した情報に基づいて過去の区画線の位置を基準とした一以上の仮想線を設定する(ステップS102)。
次に、点群取得部134は、カメラ10により撮像された現在の自車両Mの前方を含むカメラ画像を取得し(ステップS104)、取得したカメラ画像に対して自車両Mを上から見た画像に変換する(ステップS106)。次に、点群取得部134は、座標変換した画像を解析し、点群データを取得する(ステップS108)。次に、区画線候補認識部136は、点群取得部134により取得された点群データに基づいて、自車レーンを区画する区画線の候補を認識する(ステックS110)。
次に、区画線探索部138は、過去の区画線および仮想線と、区画線候補との距離を導出する(ステップS112)。次に、区画線探索部138は、過去の区画線との距離が閾値未満の区画線候補が存在するか否かを判定する(ステップS114)。過去の区画線との距離が閾値未満の区画線候補が存在すると判定した場合、区画線探索部138は、その区画線候補を現在の自車レーンを区画する区画線に決定する(ステップS116)。
また、ステップS114の処理において、過去の区画線との距離が閾値未満の区画線候補が存在しないと判定した場合、区画線探索部138は、過去の区画線との距離が閾値未満の仮想線が存在するか否かを判定する(ステップS118)。過去の区画線との距離が閾値未満の仮想線が存在すると判定した場合、区画線探索部138は、その区画線候補を現在の自車レーンを区画する区画線ではないと認識する(ステップS120)。
ステップS120の処理後、またはステップS118の処理において、過去の区画線との距離が閾値未満の仮想線が存在しないと判定した場合、区画線探索部138は、過去に認識された区画線の情報を継続して使用し、過去の区画線を現在の自車レーンを区画する区画線に決定する(ステップS122)。
ステップS116またはステップS122の処理後、区画線探索部138は、決定した区画線に関する情報を記憶部180に記憶する(ステップS124)。なお、ステップ124の処理では、自車レーンを区画する区画線ではないと認識された区画線候補に関する情報を記憶してもよい。
次に、行動計画生成部140は、決定した区画線によって区画された自車レーンに沿って自車レーンの中央を自車両Mが走行するための目標軌道を生成する(ステップS126)。次に、第2制御部160は、目標軌道に沿って自車両Mが走行するように、速度または操舵のうち一方または双方を制御する運転制御を実行する(ステップS128)。これにより、本フローチャートの処理は、終了する。
<変形例>
上述した車両システム1には、LIDAR(Light Detection and Ranging)が設けられていてもよい。LIDARは、自車両Mの周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDARは、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDARは、自車両Mの任意の箇所に取り付けられる。例えば、物体認識装置16は、カメラ10およびレーダ装置12に加えて、LIDERからの入力を受け付けて、それぞれからの入力された情報に基づくセンサフュージョン処理の結果から、周辺の物体(区画線を含む)を認識してもよい。
上述した車両システム1には、LIDAR(Light Detection and Ranging)が設けられていてもよい。LIDARは、自車両Mの周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDARは、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDARは、自車両Mの任意の箇所に取り付けられる。例えば、物体認識装置16は、カメラ10およびレーダ装置12に加えて、LIDERからの入力を受け付けて、それぞれからの入力された情報に基づくセンサフュージョン処理の結果から、周辺の物体(区画線を含む)を認識してもよい。
また、上述の実施形態において、ナビゲーション装置50による目的地が設定されておらず、運転者の操作によって自車両Mが走行している場合には、上述した区画線探索部138によって、探索された自車レーンの区画線の情報を用いて、自車両Mの操舵および速度のうち一部の運転を支援する運転制御が行われてもよい。
また、区画線探索部138は、過去の区画線および仮想線から区画線候補に最も近い線を探索する場合に、例えば、既存のマッチングアルゴリズムを用いて最も近い(例えば、最も合致度合が高い)線を導出してもよい。また、区画線情報184には、仮想線設定部132で設定された仮想線の情報が過去の区画線の情報に対応付けられて格納されてもよい。また、区画線探索部138において探索時に使用される過去の区画線(前回探索した区画線)に関する情報は、区画線情報184に代えて、画像情報182に格納された画像から取得してもよい。
上述した実施形態によれば、自動運転制御装置(移動体制御装置の一例)において、カメラ(撮像部の一例)により撮像された自車両(移動体の一例)Mの周辺を含む画像から自車両Mが走行する走行レーンを区画する区画線の候補を認識する区画線候補認識部136と、過去に前記走行レーンを区画する区画線として認識された区画線よりも自車両Mからみて外側に少なくとも一以上の仮想線を設定する仮想線設定部132と、区画線候補認識部136により認識された区画線候補と、一以上の仮想線とに基づいて、自車両Mの現在の走行レーンを区画する区画線を探索する区画線探索部138と、を備えることにより、自車両が走行する走行レーンを区画する区画線をより正確に認識することができる。
具体的には、上述した実施形態によれば、自車レーンの区画線の外側に自車レーン以外の線分が存在すると仮定して区画線を探索することで、自車レーンの区画線以外の区画線を自車レーンの区画線と誤認識することを抑制することができる。また、上述した実施形態によれば、自車レーンを区画する区画線以外の道路境界も把握することができる。本実施形態の探索処理で得られた自車両Mの左右の区画線に基づいて自車両Mを走行させる、または運転支援を行うことで、ロバスト性がより高い運転制御を実行することができる。また、上述した実施形態によれば、仮想線の数を増やすことで、広い探索範囲で境界線を探索することできるため、自車両Mが走行する道路の車線数判定等にも応用することができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識し、
過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定し、
認識した前記区画線候補と、設定した前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する、
ように構成されている、移動体制御装置。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識し、
過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定し、
認識した前記区画線候補と、設定した前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する、
ように構成されている、移動体制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、16…物体認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、100…自動運転制御装置、120…第1制御部、130…認識部、132…仮想線設定部、134…点群取得部、136…区画線候補認識部、138…区画線探索部、140…行動計画生成部、160…第2制御部、162…取得部、164…速度制御部、166…操舵制御部、170…HMI制御部、180…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置
Claims (9)
- 撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識する区画線候補認識部と、
過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定する仮想線設定部と、
前記区画線候補認識部により認識された区画線候補と、前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する区画線探索部と、
を備える移動体制御装置。 - 前記仮想線設定部は、前記移動体の現在の走行レーンを含む道路の境界が存在すると予測される位置に前記仮想線を設定する、
請求項1に記載の移動体制御装置。 - 前記仮想線設定部は、過去に前記走行レーンを区画する区画線として認識された区画線から所定距離だけ離れた位置に仮想線を設定する、
請求項1または2に記載の移動体制御装置。 - 前記区画線探索部は、前記区画線候補のうち、前記過去に前記走行レーンを区画する区画線と最も近い区画線候補を前記移動体の現在の走行レーンを区画する区画線として決定する、
請求項1から3のうち何れか1項に記載の移動体制御装置。 - 前記区画線探索部は、前記区画線候補のうち、前記仮想線との距離が所定距離以内にある区画線候補を前記移動体の現在の走行レーンを区画する区画線として決定しない、
請求項1から4のうち何れか1項に記載の移動体制御装置。 - 前記区画線探索部は、前記区画線候補のうち、前記仮想線との距離が所定距離以内にある区画線候補を前記移動体の現在の走行レーンを区画する区画線以外の境界線として認識する、
請求項1から4のうち何れか1項に記載の移動体制御装置。 - 前記区画線探索部により決定された前記移動体の走行レーンを区画する区画線に沿って前記移動体が走行するように、前記移動体の速度または操舵のうち一方または双方を制御する運転制御部を更に備える、
請求項1から6のうち何れか1項に記載の移動体制御装置。 - 移動体制御装置のコンピュータが、
撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識し、
過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定し、
認識した前記区画線の候補と、設定した前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索する、
移動体制御方法。 - 移動体制御装置のコンピュータに、
撮像部により撮像された移動体の周辺を含む画像から前記移動体が走行する走行レーンを区画する区画線の候補を認識させ、
過去に前記走行レーンを区画する区画線として認識された区画線よりも前記移動体からみて外側に少なくとも一以上の仮想線を設定させ、
認識された前記区画線の候補と、設定された前記一以上の仮想線とに基づいて、前記移動体の現在の走行レーンを区画する区画線を探索させる、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021198523A JP2023084371A (ja) | 2021-12-07 | 2021-12-07 | 移動体制御装置、移動体制御方法、およびプログラム |
CN202211497625.4A CN116238515A (zh) | 2021-12-07 | 2022-11-25 | 移动体控制装置、移动体控制方法及存储介质 |
US18/070,625 US20230177846A1 (en) | 2021-12-07 | 2022-11-29 | Mobile object control device, mobile object control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021198523A JP2023084371A (ja) | 2021-12-07 | 2021-12-07 | 移動体制御装置、移動体制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023084371A true JP2023084371A (ja) | 2023-06-19 |
Family
ID=86607836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021198523A Pending JP2023084371A (ja) | 2021-12-07 | 2021-12-07 | 移動体制御装置、移動体制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230177846A1 (ja) |
JP (1) | JP2023084371A (ja) |
CN (1) | CN116238515A (ja) |
-
2021
- 2021-12-07 JP JP2021198523A patent/JP2023084371A/ja active Pending
-
2022
- 2022-11-25 CN CN202211497625.4A patent/CN116238515A/zh active Pending
- 2022-11-29 US US18/070,625 patent/US20230177846A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230177846A1 (en) | 2023-06-08 |
CN116238515A (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019048570A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN109795500B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US11814082B2 (en) | Mobile object control method, mobile object control device, and storage medium | |
US20190294174A1 (en) | Vehicle control system, vehicle control method, and storage medium | |
US11628862B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7444962B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN110194153B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN116513194A (zh) | 移动体控制装置、移动体控制方法及存储介质 | |
US11932283B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20220315039A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US11836993B2 (en) | Method for controlling vehicle, vehicle control device, and storage medium | |
JP7141421B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US20210086787A1 (en) | Information processing apparatus, vehicle system, information processing method, and storage medium | |
CN113899307A (zh) | 处理装置、处理方法及存储介质 | |
JP2023084371A (ja) | 移動体制御装置、移動体制御方法、およびプログラム | |
JP2023084370A (ja) | 移動体制御装置、移動体制御方法、およびプログラム | |
US11801838B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN114684191B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US11840222B2 (en) | Vehicle control method, vehicle control device, and storage medium | |
US20240182024A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7348942B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US20220289025A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US20230242150A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US20220204024A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20240166210A1 (en) | Vehicle control device and vehicle control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |