JP2022139009A - 運転支援装置、運転支援方法及びプログラム - Google Patents

運転支援装置、運転支援方法及びプログラム Download PDF

Info

Publication number
JP2022139009A
JP2022139009A JP2021039207A JP2021039207A JP2022139009A JP 2022139009 A JP2022139009 A JP 2022139009A JP 2021039207 A JP2021039207 A JP 2021039207A JP 2021039207 A JP2021039207 A JP 2021039207A JP 2022139009 A JP2022139009 A JP 2022139009A
Authority
JP
Japan
Prior art keywords
lane
information
vehicle
unit
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021039207A
Other languages
English (en)
Inventor
傑 木林
Takeshi Kibayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021039207A priority Critical patent/JP2022139009A/ja
Priority to CN202210142001.4A priority patent/CN115123232A/zh
Priority to US17/674,869 priority patent/US20220292847A1/en
Publication of JP2022139009A publication Critical patent/JP2022139009A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18145Cornering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Abstract

Figure 2022139009000001
【課題】より適切な運転支援を行うこと。
【解決手段】運転支援装置は、両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定する標示認識部と、前記車両の車線変更を検知する検知部と、前記標示認識部によって特定された、前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記検知部によって前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する情報管理部とを備える。
【選択図】図2

Description

本発明は、運転支援装置、運転支援方法及びプログラムに関する。
車両の運転支援や自動運転を行う車両制御技術においては、道路標示や道路区画線などの路面標示、道路標識、交通信号機を正確に認識することが重要となる。従来、走行中に撮像された画像から路面標示や道路標識を認識する際に、例えば車両が走行する道路が高速道路であるか又は一般道路であるかといった走行環境を考慮することで、認識精度を向上させる技術がある(例えば、特許文献1参照)。
特開2018-25898号公報
しかしながら、上記の従来技術では、例えば車両が車線変更することによって走行車線が変わった場合には、あらためて道路標示を認識し直す必要がある。そのため、道路標示が認識されていない状態で車両が走行する状況が多く発生する可能性があった。これにより、上記の従来技術では、乗員に対して適切な運転支援ができない可能性があった。
本発明は、このような事情を考慮してなされたものであり、より適切な運転支援を行うことができる運転支援装置、運転支援方法及びプログラムを提供することを目的の一つとする。
この発明に係る運転支援装置、運転支援方法及びプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る運転支援装置は、車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定する標示認識部と、前記車両の車線変更を検知する検知部と、前記標示認識部によって特定された、前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記検知部によって前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する情報管理部と、を備える運転支援装置である。
(2):上記(1)の態様において、前記標示認識部は、他方の隣接車線の進行可能方向をさらに認識して、前記他方の隣接車線の進行可能方向をさらに特定し、前記情報管理部は、前記標示認識部によって認識された前記他方の隣接車線の進行可能方向を示す第3情報を前記記憶部にさらに記憶させ、前記検知部によって前記一方の隣接車線への前記車線変更が検知された場合、前記情報管理部に記憶された前記第3情報を無効化させるものである。
(3):上記(1)又は(2)の態様において、前記情報管理部は、前記標示認識部によって前記道路標示が認識されなかった車線がある場合、前記車線の進行可能方向が、前記記憶部に直前に記憶された情報に基づく前記車線の進行可能方向と同一であるものとみなし、前記車線の前記道路標示が認識されなかった地点において前記車線の進行可能方向を示す道路標示が認識されたものとみなすものである。
(4):上記(1)から(3)のうちいずれかの態様において、前記車両が、右左折を行うこと、交差点を通過すること、又は前記標示認識部によって進行可能方向が認識されてから所定の距離を走行することのうち、いずれかが行われるという条件が満たされたか否かを判定する判定部をさらに備え、前記情報管理部は、前記判定部によって前記条件が満たされたと判定された場合、前記記憶部に記憶された進行可能方向を示す情報を無効化させるものである。
(5):上記(1)から(4)のうちいずれかの態様において、交通信号機の表示状態を認識し、進行可能方向を特定する信号状態認識部と、前記信号状態認識部によって認識された前記進行可能方向と、前記記憶部に記憶された情報に基づく前記自車線の進行可能方向とが不一致である場合、前記車両の乗員に報知する報知部と、をさらに備えるものである。
(6):上記(1)から(5)のうちいずれかの態様において、前記画像から認識された道路区画線に基づいて前記自車線と前記隣接車線とを特定する車線認識部と、認識されなかった前記道路区画線がある場合、前記車両の進行方向を基準として推定された道路区画線によって補間する補間部と、をさらに備えるものである。
(7):上記(6)の態様において、前記情報管理部は、推定された道路区画線に基づいて特定された自車線の進行可能方向と、新たな画像から認識された道路標示に基づく隣接車線の進行可能方向とが一致する場合、前記記憶部に記憶された前記自車線の進行可能方向を示す情報を無効化するものである。
(8):この発明の一態様に係る運転支援方法は、コンピュータが、車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定し、前記車両の車線変更を検知し、前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する運転支援方法である。
(9):この発明の一態様に係るプログラムは、コンピュータに、車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識させ、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定させ、前記車両の車線変更を検知させ、前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新させるプログラムである。
(1)~(9)の態様によれば、より適切な運転支援を行うことができる。
実施形態に係る運転支援装置を利用した車両システム1の構成図である。 第1制御部120及び第2制御部160の機能構成図である。 認識部130による運転支援制御について説明するための図である。 認識部130による運転支援制御について説明するための図である。 第1の運転支援パターンにおける認識部130の処理について説明するための図である。 第1の運転支援パターンにおける認識部130の処理について説明するための図である。 第1の運転支援パターンにおける認識部130の処理について説明するための図である。 第1の運転支援パターンにおける認識部130の処理について説明するための図である。 第1の運転支援パターンにおける認識部130の処理について説明するための図である。 自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。 第2の運転支援パターンにおける認識部130の処理について説明するための図である。 第2の運転支援パターンにおける認識部130の処理について説明するための図である。 第3の運転支援パターンにおける認識部130の処理について説明するための図である。 第4の運転支援パターンにおける認識部130の処理について説明するための図である。 第4の運転支援パターンにおける認識部130の処理について説明するための図である。 第4の運転支援パターンにおける認識部130の処理について説明するための図である。 第4の運転支援パターンにおける認識部130の処理について説明するための図である。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の運転支援装置、運転支援方法及びプログラムの実施形態について説明する。実施形態の運転支援装置は、自動運転車両に搭載される。実施形態の運転支援装置は、車両の運転制御を支援する装置である。ここでいう運転制御とは、例えば、所望の進行方向に応じて適切な車線へ車両を移動させる制御、及び走行中の車線と交通信号機の表示状態とに応じて適切に車両を発進及び停止させる制御などである。実施形態の運転支援装置は、例えば車線や道路標示などに関する情報を管理し、他の装置へ情報を提供することによって車両の運転制御を支援する。例えば、実施形態の運転支援装置は、ナビゲーションシステムによって探索された走行経路に応じて推奨する車線を決定するMPU(Map Positioning Unit)に対して、車線や道路標示などに関する情報を適切に提供する。これにより、実施形態の運転支援装置は、MPUによる車線の選択を確実にさせることができる。
但し、本発明の運転支援装置が搭載される車両は、自動運転車両に限られるものではなく、運転者によって手動で運転操作がなされる車両であってもよい。なお、運転者によって手動で運転操作がなされる車両においては、本発明の運転支援装置は、例えば、乗員に対して情報提供を行うHMI(Human Machine Interface)に対して、車線や道路標示などに関する情報を適切に提供する。これにより、本発明の運転支援装置は、例えば走行中の車線において車両が進行可能な方向とウインカが指す方向とが相違している場合などに、HMIによる乗員への報知を行わせることができる。
[全体構成]
図1は、第1の実施形態に係る運転支援装置を利用した車両システム1の構成図である。車両システム1が搭載される車両(以下、「自車両M」という。)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI30と、車両センサ40と、ナビゲーション装置50と、MPU60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。なお、自動運転制御装置100は、「運転支援装置」の一例である。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、自車両Mの任意の箇所に取り付けられる。例えば、自車両Mの前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。また、自車両Mの後方を撮像する場合、カメラ10は、リアウィンドシールド上部等に取り付けられる。また、自車両Mの右側方または左側方を撮像する場合、カメラ10は、車体やドアミラーの右側面または左側面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
また、カメラ10は、自車両Mが走行及び停止している時に、路面を撮像することができる。カメラ10は、例えば自車両Mの前方の路面を撮像する。カメラ10は、例えば、撮像された画像に、自車両Mが走行している走行車線(以下、「自車線」という。)、及び自車線と並行して存在する他の走行車線(以下、「他車線」という。)の道路区画線が含まれるように撮像する。ここでいう他車線には、少なくとも自車線に平行して隣接する他車線(以下、「隣接車線」という。)が含まれる。
また、カメラ10は、自車両Mが走行及び停止している時に、交通信号機(車両用信号機)を撮像することができる。カメラ10は、例えば自車両Mの前方のやや上方を撮像することで交通信号機を撮像する。カメラ10は、例えば、撮像された画像に、交通信号機の3灯灯器及び矢印灯器が含まれるように撮像する。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
また、物体認識装置16は、カメラ10によって撮像された画像から、例えば、道路区画線及び道路標示を認識する。また、物体認識装置16は、カメラ10によって撮像された画像から、例えば、3灯灯器、及び矢印灯器を認識する。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他の車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員(例えば運転者)に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、例えば、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キー等を含む。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きや進行方向を検出する方位センサ等を含む。車両センサ40により検出される各情報は、例えば、ナビゲーション装置50や自動運転制御装置100に出力される。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100(運転支援装置)は、例えば、第1制御部120と、第2制御部160と、記憶部170と、通知制御部180とを備える。第1制御部120と、第2制御部160と、通知制御部180とは、それぞれ、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示等がある)に基づく認識とが、並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、自車両Mの周囲の環境を認識する。例えば、認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺にある物体(例えば、周辺車両や物標)の位置、および速度、加速度、進行方向等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心等)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心や中心、コーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体が車両である場合、物体の「状態」には、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば自車及び他車線を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線(以下、停止線と称する)、信号機、障害物、料金所、その他の道路事象を認識する。
認識部130は、走行車線を認識する際に、走行車線に対する自車両Mの位置や姿勢を認識する。認識部130は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角を、走行車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、走行車線に対する自車両Mの相対位置として認識してもよい。
認識部130は、カメラ10によって撮像された画像から認識される自車両Mの周辺車両と、カメラ10により撮像された画像、ナビゲーション装置50により取得された自車両Mの周辺の渋滞情報、または第2地図情報62から得られる位置情報に基づいて、周辺車両の位置に関する情報を認識する。
なお、認識部130は、車車間通信により自車両Mの周囲を走行する車両等から受信した各種情報を、通信装置20を介して取得し、その情報に基づいて自車両Mの周辺を認識してもよい。また、認識部130は、例えば、車線認識部131と、標示認識部132と、標示情報管理部133(「情報管理部」の一例)と、車線変更検知部134(「検知部」の一例)と、リセット判定部135(「判定部」の一例)と、信号状態認識部136と、車線補間部137(「補間部」の一例)とを備える。これらの構成要素を含む認識部130の機能の詳細については後述する。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、自車両Mの周辺状況に対応できるように、自車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、例えば、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント等がある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
通知制御部180は、HMI30により、乗員に所定の情報を通知する。なお、通知制御部180及びHMI130は、「報知部」の一例である。所定の情報とは、例えば、認識部130により認識された情報や、自動運転制御装置100により実行される自動運転(運転支援)の状態、その他の車両制御に関する情報等である。また、所定の情報には、ナビゲーション装置50により取得される情報や、テレビ番組、DVD等の記憶媒体に記憶されたコンテンツ(例えば、映画)等の情報が含まれてもよい。また、通知制御部180は、HMI30により受け付けられた情報を、例えば、通信装置20、ナビゲーション装置50、第1制御部120等に出力する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。
電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
以下、実施形態に係る認識部130の機能と、認識部130による認識結果に基づく運転支援制御の内容について具体的に説明する。以下では、場面ごとの運転支援制御パターンについて説明するものとする。
<第1の運転支援制御パターン>
図3及び図4は、認識部130による運転制御について説明するための図である。図3には、道路RDと、車道中央線CLと、2本の車道境界線BLと、車道外側線OLと、A地点に表示された道路標示RMaと、C地点に表示された道路標示RMcとが示されている。また、図3には、A地点、B地点、及びC地点を通過しようとする自車両Mがそれぞれ示されている。すなわち、図3は、自車両Mが、A地点、B地点、C地点の順に通過しながら道路RDを走行する様子を示す。
自車両Mに搭載された自動運転制御装置100の車線認識部131は、物体認識装置16から出力された情報に基づいて、自車線と、自車線の左側に隣接する隣接車線(以下、「左車線」という。)と、自車線の右側に隣接する隣接車線(以下、「右車線」という。)と、を認識する。ここでいう物体認識装置16から出力される情報とは、自車両Mからカメラ10によって撮像された路面の画像から物体認識装置16によって認識された、車道中央線CLと、車道境界線BLと、車道外側線OLとを示す情報である。
自車両Mに搭載された自動運転制御装置100の標示認識部132は、物体認識装置16から出力された情報に基づいて、自車線及び隣接車線に表示された道路標示をそれぞれ認識する。標示認識部132は、認識された自車線及び隣接車線に表示された道路標示に基づいて、自車線及び隣接車線の進行可能な方向(以下、「進行可能方向」という。)をそれぞれ特定する。ここでいう物体認識装置16から出力される情報とは、自車両Mからカメラ10によって撮像された路面の画像から物体認識装置16によって認識された、道路標示RMaと、道路標示RMcとを示す情報である。図3に示すように、道路標示RMa及び道路標示RMcには、自車線の道路標示と隣接車線の道路標示とが含まれる。
自車両MがA地点を通過しようとするときに、標示認識部132は、道路標示RMaを示す情報を取得し、自車線の道路標示と、隣接車線(左車線)の道路標示とを認識する。標示認識部132は、認識結果に基づいて、自車線の進行可能方向が直進方向及び右折方向であり、左車線の進行可能方向が直進方向及び左折方向であることを特定する。標示認識部132は、特定結果を示す情報を標示情報管理部133へ出力する。標示情報管理部133は、標示認識部132から出力された情報を取得する。標示情報管理部133は、取得した情報を標示情報171として記憶部170に記憶させる。
図4は、各地点を自車両Mが通過した時点における、記憶部170が記憶する標示情報171を表形式で図示したものである。図4に示すように、A地点における標示情報171では、左車線の進行可能方向が左折方向及び直進方向であり、自車線の進行可能方向が直進方向及び右折方向である。なお、図3に示すように、A地点では右車線は存在しないため、右車線の道路標示は認識されないことから、図4に示すように、A地点における標示情報171では、右車線の進行可能方向は未検出となる。なお、進行可能方向が未検出である場合には、全方向に進行可能であるものと見なされる。
B地点は、自車線の右隣りに新たに右車線が追加される地点である。自車両MがB地点を通過しようとするときに、車線認識部131は右車線を認識する。図3に示すように、B地点では、右車線の道路標示はまだ表示されていないことから、図4に示すように、標示情報管理部133は、標示情報171の更新を行わず、右車線は全方向に進行可能であるままとする。
次に、自車両MがC地点を通過しようとするときに、標示認識部132は、道路標示RMcを示す情報を取得し、自車線の道路標示と、隣接車線(左車線及び右車線)の道路標示とを認識する。標示認識部132は、認識結果に基づいて、自車線の進行可能方向が直進方向のみであり、左車線の進行可能方向が直進方向及び左折方向であり、右車線の進行可能方向が直進方向及び右折方向であることを特定する。標示認識部132は、特定結果を示す情報を標示情報管理部133へ出力する。標示情報管理部133は、標示認識部132から出力された情報を取得する。標示情報管理部133は、取得した情報を標示情報171として記憶部170に記憶させる。
図4に示すように、C地点における標示情報171は、B地点における標示情報171から更新され、左車線の進行可能方向が左折方向及び直進方向であり、自車線の進行可能方向が直進方向のみであり、右車線の進行可能方向が右折方向のみとなる。このように、標示情報管理部133は、自車両Mの走行に伴って道路標示が新たに認識されるたびに、記憶部170に記憶された標示情報171を更新する。
第1の運転支援パターンでは、自動運転制御装置100は、自車両Mが車線変更を行った場合に、当該車線変更に応じた運転支援を行う。図5は、第1の運転支援パターンにおける認識部130の処理について説明するための図である。図5に示すように、自車両Mは、道路標示RMdが表示されたD地点を通過した後、E地点において左車線へ車線変更している。
自車両MがD地点を通過しようとするときに、標示認識部132は、道路標示RMdを示す情報を取得し、自車線の道路標示と、隣接車線(左車線)の道路標示とを認識する。なお、D地点において右車線は存在しないため、右車線の道路標示は認識されない。標示認識部132は、認識結果に基づいて、自車線の進行可能方向が直進方向及び右折方向であり、左車線の進行可能方向が直進方向及び左折方向であることを特定する。標示認識部132は、特定結果を示す情報を標示情報管理部133へ出力する。標示情報管理部133は、標示認識部132から出力された情報を取得する。標示情報管理部133は、取得した情報を標示情報171として記憶部170に記憶させる。
図6は、各地点を自車両Mが通過した時点における、記憶部170が記憶する標示情報171を表形式で図示したものである。図6に示すように、D地点における標示情報171では、左車線の進行可能方向が左折方向及び直進方向であり、自車線の進行可能方向が直進方向及び右折方向である。なお、図5に示すように、D地点では右車線は存在しないため、道路標示が認識されないことから、図6に示すように、D地点における標示情報171では、右車線の進行可能方向は未検出となる。なお、前述の通り、進行可能方向が未検出である場合には、全方向に進行可能であるものと見なされる。
E地点は、自車両Mが左車線へ車線変更した地点である。車線変更検知部134は、自車両Mの車線変更を検知する。車線変更検知部134によって車線変更が検知されると、標示情報管理部133は、記憶部170に記憶された標示情報171を車線ごとにスライド移動させるように、データの置き換えを行う。具体的には、図6に示すように、標示情報管理部133は、自車両Mの変更先の車線(図5では、左車線)の進行可能方向を、自車両Mの進行可能方向とするように、記憶部170に記憶された標示情報171を更新する。また、標示情報管理部133は、自車両Mの変更元の車線の進行可能方向を、車線変更した方向とは逆側の車線(図5では、右車線)の進行可能方向とするように、記憶部170に記憶された標示情報171を更新する。なお、図5に示すように、車線変更後の自車線には左車線が存在しないため、図6に示すように、E地点における標示情報171では、左車線の進行可能方向は未検出となる。なお、前述の通り、進行可能方向が未検出である場合には、全方向に進行可能であるものと見なされる。
なお、標示情報管理部133は、車線変更によって2つ隣になった車線の進行可能方向を示す標示情報171を無効化(又は削除)するようにしてもよい。例えば、3車線の道路において自車両Mが中央の車線から一方の隣接車線(例えば左車線)へ車線変更した場合、他方の隣接車線(例えば車線変更前の車線の右車線)の進行可能方向を示す標示情報171は無効化(又は削除)される構成であってもよい。これにより、記憶部170に必要なデータ記憶容量を削減することができ、装置コスト等を削減することができる。
リセット判定部135は、所定の条件が満たされた場合には、記憶部170に記憶された全ての標示情報171を無効化(又は削除)する。ここでいう所定の条件とは、例えば、自車両Mが右左折を行うこと、自車両Mが交差点を通過すること、及び道路標示が認識されてから自車両Mが所定の距離(例えば、800[m]などの長距離)を走行すること、のうちいずれか1つを満たすことである。なぜならば、上記の条件が満たされる場合とは、一般的には、それまでに認識されていた進行可能方向が意味をなさなくなる状況になっているためである。
自車両Mが右左折を行った場合、自車両Mが走行する道路そのものが変わるため、それまでに記憶されていた標示情報171は無効化される。また、一般的に進行可能方向を示す道路標示は、次の交差点までの車線ごとの進行可能方向を示すものであるため、自車両Mが交差点を通過した場合、それまでに記憶されていた標示情報171は無効化される。また、道路標示が認識されてからその後に他の道路標示が検出されないまま自車両Mがある程度の距離を走行した場合、途中に表示されていた道路標示が見逃されていたり、交差点の通過が見逃されていたりする可能性が高い。そのため、道路標示が認識されてから次の道路標示が認識されないまま自車両Mが所定の距離を走行した場合、それまでに記憶されていた標示情報171は無効化される。
図7は、自車両Mが交差点を通過する様子を示す図である。標示認識部132は、F地点において道路標示を認識し、標示情報171を記憶部170に記憶させる。その後、自車両Mは、G地点にある交差点ISを通過する。また、図8は、道路標示が認識されてから自車両Mが所定の距離を走行する様子を示す図である。標示認識部132は、H地点において道路標示を認識し、標示情報171を記憶部170に記憶させる。その後、自車両Mは、H地点から所定の距離だけ離れたI地点に到達する。なお、リセット判定部135は、道路標示が認識されてから自車両Mが走行した距離を計測する。
図9は、各地点を自車両Mが通過した時点における、記憶部170が記憶する標示情報171を表形式で図示したものである。このように、リセット判定部135は、G地点又はI地点を通過すると、記憶部170に記憶された全ての標示情報171を無効化(又は削除)する。
(自動運転制御装置の動作)
以下、自動運転制御装置100の動作の一例について説明する。図10は、本発明の実施形態に係る自動運転制御装置100の動作を示すフローチャートである。
車線認識部131は、物体認識装置16から出力された情報に基づいて、自車線と隣接車線とを認識する(ステップS010)。次に、標示認識部132が、認識された自車線及び隣接車線に表示された道路標示に基づいて、自車線及び隣接車線の進行可能方向をそれぞれ特定した場合(ステップS020)、標示情報管理部133は、特定された進行可能方向を示す情報を標示情報171として記憶部170に記憶させる。また、リセット判定部135は、道路標示が認識されてから自車両Mが走行した距離の計測を開始する(ステップS030)。
次に、車線変更検知部134は、自車両Mの車線変更を検知した場合(ステップS040)、標示情報管理部133は、図6に示すように記憶部170に記憶された標示情報171を車線ごとにスライド移動させるように、データの置き換えを行う(ステップS050)。次に、標示認識部132が、認識された自車線及び隣接車線に表示された道路標示に基づいて、自車線及び隣接車線の進行可能方向をそれぞれ特定した場合(ステップS060)、標示情報管理部133は、特定された進行可能方向を示す情報によって記憶部170に記憶された標示情報171を更新する。また、リセット判定部135は、道路標示が認識されてから自車両Mが走行した距離の計測をリセットする(ステップS070)。
所定の条件が満たされた場合に(ステップS080)、リセット判定部135は、記憶部170に記憶された全ての標示情報171の無効化(又は削除)を実行する(ステップS090)。ここでいう所定の条件とは、前述の通り、例えば、自車両Mが右左折を行うこと、自車両Mが交差点を通過すること、及び道路標示が認識されてから自車両Mが所定の距離を走行すること、のうちいずれか1つを満たすことである。
自車両Mの走行が終了するまで、自動運転制御装置100は、上記のステップS040以降の動作を繰り返す(ステップS100)。以上で、図10のフローチャートが示す自動運転制御装置100の動作が終了する。
以上説明したように、実施形態に係る自動運転制御装置100は、自車両Mから撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識する。自動運転制御装置100は、自車線の進行可能方向と一方の隣接車線の進行可能方向とを特定する。自動運転制御装置100は、自車線の進行可能方向を示す第1情報と一方の隣接車線の進行可能方向を示す第2情報とを記憶する。自動運転制御装置100は、一方の隣接車線への車線変更が検知された場合、第2情報を自車線の進行可能方向とし、第1情報を他方の隣接車線の進行可能方向とするように情報を更新する。また、以上説明したように、自動運転制御装置100は、他方の隣接車線の進行可能方向をさらに認識して、他方の隣接車線の進行可能方向をさらに特定するようにしてもよい。この場合、自動運転制御装置100は、他方の隣接車線の進行可能方向を示す第3情報を記憶部にさらに記憶する。自動運転制御装置100は、一方の隣接車線への車線変更が検知された場合、第3情報を無効化させる。また、以上説明したように、自動運転制御装置100は、自車両Mが、右左折を行うこと、交差点を通過すること、又は進行可能方向が認識されてから所定の距離を走行することのうち、いずれかが行われるという条件が満たされたと判定された場合、上記記憶された進行可能方向を示す情報を無効化するようにしてもよい。
このような構成を備えることで、自動運転制御装置100は、車線変更が行われた直後から、車線変更先の隣接車線の進行可能方向を示す第2情報をその後の自車線の進行可能方向を示す情報として用いることができるため、より適切な運転支援を行うことができる。例えば、自動運転制御装置100は、車線変更が行われた時点で車線変更後の各車線の進行可能方向を示す情報をMPU60に提供することができる。
<第2の運転支援制御パターン>
第2の運転支援パターンでは、例えば道路標示の上に他の車両(以下、「他車両」という。)が停止している場合など、標示認識部132が道路標示を認識することができない車線が存在する場合に、標示情報管理部133は、当該車線については標示情報171を更新しないようにする。
図11は、第2の運転支援パターンにおける認識部130の処理について説明するための図である。図11には、道路RDと、車道中央線CLと、2本の車道境界線BLと、車道外側線OLと、J地点に表示された道路標示RMjと、K地点に表示された道路標示RMkとが示されている。また、図11には、J地点及びK地点を通過しようとする自車両Mと、他車両m1~m3とがそれぞれ示されている。すなわち、図11は、自車両Mが、J地点、K地点の順に通過しながら道路RDを走行する様子を示す。
図11に示すように、自車両Mが、J地点を通過しようとするときに道路標示RMjを認識した後、さらにK地点を通過しようとするとき、左車線を走行する他車両m3が、K地点に表示された道路標示RMkの上に停止している状態である。これにより、自車両Mの標示認識部132は、左車線の道路標示RMkを認識することができず、左車線の進行可能方向を特定することができない。このような場合、標示認識部132は、左車線については、直前の(1つ前の)J地点に表示された道路標示RMjに基づく左車線の進行可能方向を示す標示情報171を更新せずに、そのまま保持させるようにする。すなわち、標示認識部132は、左車線については、1つ前のJ地点に表示された道路標示RMjに基づく左車線の進行可能方向である直進方向及び左折方向を示す道路標示が、K地点にも同様に表示されているものと見なす。そのため、道路標識RMjに基づく左車線の進行可能方向を示す標示情報171に関しては、自車両MがJ地点から所定の距離を走行したことにより無効化されるのではなく、自車両MがK地点から所定の距離を走行するまでは保持されうる。
なお、標示認識部132は、少なくとも1つの車線の道路標示を認識した場合には、同じ地点の他の車線にも道路標示が表示されていると推測する。一般的に各車線の道路標示は、一か所にまとめて表示されていることが多いからである。図12は、自車両Mが各地点を通過した時点における、記憶部170が記憶する標示情報171を表形式で図示したものである。図12に示すように、J地点で特定された左車線の進行可能方向を示す情報が、左車線の道路標示が認識されなかった次のK地点における左車線の進行可能方向として引き継がれる。
以上説明したように、実施形態に係る自動運転制御装置100は、道路標示が認識されなかった車線の進行可能方向を示す情報を更新しない。このような構成を備えることで、自動運転制御装置100は、道路標示が認識されなかった車線についても、以前に認識された道路標示に基づく進行可能方向を示す情報を用いることができるため、より適切な運転支援を行うことができる。例えば、自動運転制御装置100は、道路標示が認識されなかった車線が存在する場合に、以前に認識された当該車線の進行可能方向を示す情報をMPU60に提供することができる。
<第3の運転支援制御パターン>
第3の運転支援パターンでは、記憶部170に記憶された標示情報171に基づく進行可能方向と、交通信号機が示す進行可能方向とが不一致である場合、通知制御部180は、自車両Mの乗員に対して警告を示す報知を行う。
図13は、第3の運転支援パターンにおける認識部130の処理について説明するための図である。図13には、道路RDと、車道中央線CLと、車道境界線BLと、車道外側線OLと、L地点に表示された道路標示RMlと、交通信号機Sと、自車両Mとが示されている。図13は、自車両MがL地点を通過した後、交通信号機Sが設置された交差点へ向かって走行する様子を示す。
図13に示すように、自車両MがL地点を通過することで、記憶部170に記憶された標示情報171では、自車線の進行可能方向は直進方向及び左折方向になる。しかしながら、図13に示すように、交通信号機Sが示す進行可能方向は右折方向である。このように、記憶部170に記憶された標示情報171に基づく進行可能方向と、交通信号機Sが示す進行可能方向とが不一致である場合、通知制御部180は、HMI130を制御し、自車両Mの乗員に対して報知を行う。なお、報知の方法は、例えば、音声に報知、画像の表示による報知、警告灯の点灯による報知、又は振動を発生させることによる報知など、どのような方法が用いられてもよい。
なお、通知制御部180は、記憶部170に記憶された標示情報171に基づく進行可能方向と、交通信号機Sが示す進行可能方向とが部分的に一致している場合には、報知を行わない構成であってもよい。例えば、記憶部170に記憶された標示情報171に基づく進行可能方向が直進方向及び左折方向であり、交通信号機Sが示す進行可能方向が直進方向及び右折方向である場合には、直進方向が進行可能方向であることについては両者で共通している。この場合、通知制御部180は、報知を行わないようにしてもよい。なぜならば、自車両Mが直進方向へ走行する予定であり、正しい車線を自車両Mが走行している可能性があるからである。
なお、交通信号機Sが矢印灯器を備えていない場合、あるいは、矢印灯器が点灯していない場合には、通知制御部180は、3灯灯器の表示状態を用いて報知を行うか否かを判定すればよい。この場合、例えば、通知制御部180は、交通信号機Sの3灯灯器において、青色又は黄色の灯器が点灯している場合には全方向が進行可能方向であるとみなし、赤色の灯器が点灯している場合には全方向が進行可能方向ではないとみなせばよい。
以上説明したように、実施形態に係る自動運転制御装置100は、交通信号機Sの表示状態を認識し、進行可能方向を特定する。自動運転制御装置100は、交通信号機Sの表示状態に基づく進行可能方向と、道路標示に基づいて記憶された自車線の進行可能方向とが不一致である場合、自車両Mの乗員に報知する。このような構成を備えることで、例えば自車両Mが走行しようとする方向にそぐわない車線を走行している場合などにおいて、自動運転制御装置100は、乗員に対して例えばHMI30を用いて報知することができるため、周囲のリスクに対して早期に乗員に認識させることができ、より適切な運転支援を行うことができる。
<第4の運転支援制御パターン>
第4の運転支援パターンでは、少なくとも1つの道路区画線が未検出である場合、車線補間部137は、推定された(仮想の)道路区画線によって未検出の道路区画線を補間する。これにより、車線認識部131による車線の認識が可能になる。また、車線補間部137は、道路区画線が未検出である状態が計測している場合に、新たに道路標示が認識されることに応じて、推定された道路区画線を適宜補正する。
図14~図16は、第4の運転支援パターンにおける認識部130の処理について説明するための図である。図14は、自車両Mが走行する自車線の左側道路区画線BLは認識されているが、右側道路区画線が未検出である場合を示している。この場合、車線補間部137は、仮想的な道路区画線である右側道路区画線VLrの位置を決定する。車線補間部137は、例えば、自車両Mの位置から左側道路区画線BLの位置までの距離に基づいて右側道路区画線VLrの位置を決定する。例えば、車線補間部137は、自車両Mの進行方向の右側に、自車両Mの走行ラインから左側道路区画線BLの位置までの距離と同一の距離だけ離れた位置を右側道路区画線VLrの位置とする。すなわち、車線補間部137は、例えば自車両Mが、自車線の中央を走行しているものと見なす。
また、図15は、自車両Mが走行する自車線の左側道路区画線及び右側道路区画線がともに未検出である場合を示している。この場合、車線補間部137は、仮想的な道路区画線である左側道路区画線VLlの位置と右側道路区画線VLrの位置とをそれぞれ決定する。車線補間部137は、例えば、自車両Mの進行方向の両側に、自車両Mの走行ラインから所定の距離(例えば、2[m])だけ離れた位置を、左側道路区画線VLlの位置及び右側道路区画線VLrの位置とする。すなわち、車線補間部137は、例えば自車線の幅が4[m](=2[m]×2)であり、自車両Mが自車線の中央を走行しているものと見なす。
図16は、推定された道路区画線の補正処理を示している。図16には、道路RDと、車道中央線CLと、2本の車道境界線BLと、車道外側線OLと、M地点に表示された道路標示RMmと、N地点に表示された道路標示RMnとが示されている。ここで、車道中央線CL、2本の車道境界線BL、及び車道外側線OLは、例えば塗装の劣化や積雪などによって認識が困難な状態になっているものとする。
また、図16には、M地点及びN地点を通過しようとする自車両Mがそれぞれ示されている。すなわち、図3は、自車両Mが、M地点、N地点の順に通過しながら道路RDを走行する様子を示す。また、図16には、M地点を通過しようとするときに車線補間部137によって推定された左側道路区画線VLl-1及び右側道路区画線VLr-1と、N地点を通過しようとするときに車線補間部137によって推定された左側道路区画線VLl-2及び右側道路区画線VLr-2とがそれぞれ示されている。
図16に示すように、自車両MがM地点を通過しようとするときに車線補間部137によって推定された左側道路区画線VLl-1及び右側道路区画線VLr-1から、車線認識部131は、実際の自車線とは異なる、図の右下方向に傾いた車線を自車線として認識したものとする。これにより、標示認識部132は、道路標示RMmが自車線の道路標示であると誤認識することになる。しかしながら、次に、自車両MがN地点を通過しようとするときに車線補間部137によって推定された左側道路区画線VLl-2及び右側道路区画線VLr-2から、車線認識部131が、実際の自車線に近似する車線を自車線として認識したものとする。これにより、標示認識部132は、道路標示RMnが右側隣接車線の道路標示であると認識する。
このとき、M地点で認識された道路標示RMmが示す進行可能方向と、N地点で認識された道路標示RMnが示す進行可能方向とが一致する場合(すなわち、道路標示RMmと道路標示RMnとが同一の道路標示である場合)には、標示情報管理部133は、地点Mにおける左側道路区画線VLl-1及び右側道路区画線VLr-1の推定が誤った推定であったものと見なし、自車線の進行可能方向を示す情報を無効化(削除)するように記憶部170に記憶された標示情報171を更新する。
図17は、各地点を自車両Mが通過した時点における、記憶部170が記憶する標示情報171を表形式で図示したものである。図17に示すように、標示情報管理部133は、M地点で記憶部170に記憶された自車線の進行可能方向を示す情報を、N地点において無効化(又は削除)し、未検出の状態とするように標示情報171を更新する。なお、前述の通り、進行可能方向が未検出である場合には、全方向に進行可能であるものと見なされる。また、標示情報管理部133は、N地点において認識された道路標示RMnに基づいて、右車線の進行可能方向を示す情報を更新させるように標示情報171を更新する。
以上説明したように、実施形態に係る自動運転制御装置100は、画像から認識された道路区画線に基づいて自車線と隣接車線とを特定し、認識されなかった道路区画線がある場合には、自車両Mの進行方向を基準として推定された仮想の道路区画線によって未検出の道路区画線を補間する。このような構成を備えることで、自動運転制御装置100は、道路区画線を正しく認識することができない場合であっても、自車線及び隣接車線を推定して、進行可能方向を示す情報を用いることができるため、より適切な運転支援を行うことができる。例えば、自動運転制御装置100は、道路区画線が認識されない場合であっても、仮想の道路区画線に基づく車線を推定し、推定された車線の進行可能方向を示す情報をMPU60に提供することができる。
また、仮想の道路区画線に基づいて自車両Mの制御が行われる場合において、自動運転制御装置100は、自車両Mの進行方向を基準として推定された道路区画線に基づいて特定されている自車線の進行可能方向と、新たな画像から認識された道路標示に基づく隣接車線の進行可能方向とが一致する場合には、自車線の進行可能方向を示す情報を無効化し、隣接車線の進行可能方向を示す情報を更新する。このような構成を備えることで、自動運転制御装置100は、自車両Mの走行に伴って道路標示が認識されることに応じて車線の推定精度をより高め、自車線の進行可能方向を示す情報を補正していくことができるため、より適切な運転支援を行うことができる。
[ハードウェア構成]
図18は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM(Random Access Memory)100-3、ブートプログラム等を格納するROM(Read Only Memory)100-4、フラッシュメモリやHDD(Hard Disk Drive)等の記憶装置100-5、ドライブ装置100-6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100-3に展開されて、CPU100-2によって実行される。これによって、第1制御部120、第2制御部160、および通知制御部180のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定し、
前記車両の車線変更を検知し、
前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する
ように構成されている、運転支援装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1 車両システム
2 両側
10 カメラ
12 レーダ装置
14 ファインダ
16 物体認識装置
20 通信装置
40 車両センサ
50 ナビゲーション装置
51 GNSS受信機
53 経路決定部
54 第1地図情報
61 推奨車線決定部
62 第2地図情報
80 運転操作子
100 自動運転制御装置
100-1 通信コントローラ
100-5 記憶装置
100-5a プログラム
100-6 ドライブ装置
120 第1制御部
130 認識部
131 車線認識部
132 標示認識部
133 標示情報管理部
134 車線変更検知部
135 リセット判定部
136 信号状態認識部
137 車線補間部
140 行動計画生成部
160 第2制御部
162 取得部
164 速度制御部
166 操舵制御部
170 記憶部
171 標示情報
180 通知制御部
200 走行駆動力出力装置
210 ブレーキ装置
220 ステアリング装置

Claims (9)

  1. 車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定する標示認識部と、
    前記車両の車線変更を検知する検知部と、
    前記標示認識部によって特定された、前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記検知部によって前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する情報管理部と、
    を備える運転支援装置。
  2. 前記標示認識部は、他方の隣接車線の進行可能方向をさらに認識して、前記他方の隣接車線の進行可能方向をさらに特定し、
    前記情報管理部は、前記標示認識部によって認識された前記他方の隣接車線の進行可能方向を示す第3情報を前記記憶部にさらに記憶させ、前記検知部によって前記一方の隣接車線への前記車線変更が検知された場合、前記情報管理部に記憶された前記第3情報を無効化させる
    請求項1に記載の運転支援装置。
  3. 前記情報管理部は、前記標示認識部によって前記道路標示が認識されなかった車線がある場合、前記車線の進行可能方向が、前記記憶部に直前に記憶された情報に基づく前記車線の進行可能方向と同一であるものとみなし、前記車線の前記道路標示が認識されなかった地点において前記車線の進行可能方向を示す道路標示が認識されたとものみなす
    請求項1又は2に記載の運転支援装置。
  4. 前記車両が、右左折を行うこと、交差点を通過すること、又は前記標示認識部によって進行可能方向が認識されてから所定の距離を走行することのうち、いずれかが行われるという条件が満たされたか否かを判定する判定部
    をさらに備え、
    前記情報管理部は、前記判定部によって前記条件が満たされたと判定された場合、前記記憶部に記憶された進行可能方向を示す情報を無効化する
    請求項1から3のうちいずれか一項に記載の運転支援装置。
  5. 交通信号機の表示状態を認識し、進行可能方向を特定する信号状態認識部と、
    前記信号状態認識部によって認識された前記進行可能方向と、前記記憶部に記憶された情報に基づく前記自車線の進行可能方向とが不一致である場合、前記車両の乗員に報知する報知部と、
    をさらに備える請求項1から4のうちいずれか一項に記載の運転支援装置。
  6. 前記画像から認識された道路区画線に基づいて前記自車線と前記隣接車線とを特定する車線認識部と、
    認識されなかった前記道路区画線がある場合、前記車両の進行方向を基準として推定された道路区画線によって補間する補間部と、
    をさらに備える請求項1から5のうちいずれか一項に記載の運転支援装置。
  7. 前記情報管理部は、推定された道路区画線に基づいて特定された自車線の進行可能方向と、新たな画像から認識された道路標示に基づく隣接車線の進行可能方向とが一致する場合、前記記憶部に記憶された前記自車線の進行可能方向を示す情報を無効化する
    請求項6に記載の運転支援装置。
  8. コンピュータが、
    車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識し、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定し、
    前記車両の車線変更を検知し、
    前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新する
    運転支援方法。
  9. コンピュータに、
    車両から撮像された路面の画像から自車線の道路標示と一方の隣接車線の道路標示とを認識させ、前記自車線の進行可能方向と前記一方の隣接車線の進行可能方向とを特定させ、
    前記車両の車線変更を検知させ、
    前記自車線の進行可能方向を示す第1情報と前記一方の隣接車線の進行可能方向を示す第2情報とを記憶部に記憶させ、前記一方の隣接車線への前記車線変更が検知された場合、前記第2情報を前記自車線の進行可能方向とし、前記第1情報を他方の隣接車線の進行可能方向とするように前記記憶部に記憶された情報を更新させる
    プログラム。
JP2021039207A 2021-03-11 2021-03-11 運転支援装置、運転支援方法及びプログラム Pending JP2022139009A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021039207A JP2022139009A (ja) 2021-03-11 2021-03-11 運転支援装置、運転支援方法及びプログラム
CN202210142001.4A CN115123232A (zh) 2021-03-11 2022-02-16 驾驶支援装置、驾驶支援方法以及存储介质
US17/674,869 US20220292847A1 (en) 2021-03-11 2022-02-18 Drive assist device, drive assist method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021039207A JP2022139009A (ja) 2021-03-11 2021-03-11 運転支援装置、運転支援方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022139009A true JP2022139009A (ja) 2022-09-26

Family

ID=83193949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021039207A Pending JP2022139009A (ja) 2021-03-11 2021-03-11 運転支援装置、運転支援方法及びプログラム

Country Status (3)

Country Link
US (1) US20220292847A1 (ja)
JP (1) JP2022139009A (ja)
CN (1) CN115123232A (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243600B2 (ja) * 2019-11-29 2023-03-22 トヨタ自動車株式会社 車両用運転支援装置

Also Published As

Publication number Publication date
CN115123232A (zh) 2022-09-30
US20220292847A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20190315348A1 (en) Vehicle control device, vehicle control method, and storage medium
CN110087964B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6601696B2 (ja) 予測装置、予測方法、およびプログラム
JP6710710B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6641583B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20190276027A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7098366B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US11106206B2 (en) Vehicle control device, vehicle control method, and storage medium
US20190278286A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2019095210A (ja) 車両制御装置、車両制御方法、およびプログラム
US11273825B2 (en) Vehicle control device, vehicle control method, and storage medium
CN110194153B (zh) 车辆控制装置、车辆控制方法及存储介质
US11932283B2 (en) Vehicle control device, vehicle control method, and storage medium
US20210086787A1 (en) Information processing apparatus, vehicle system, information processing method, and storage medium
JP7141421B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022154840A (ja) 検出装置、車両システム、検出方法、およびプログラム
JP2022014172A (ja) 処理装置、処理方法、およびプログラム
JP2022139009A (ja) 運転支援装置、運転支援方法及びプログラム
JP2019214319A (ja) 認識処理装置、車両制御装置、認識処理方法、およびプログラム
US11840222B2 (en) Vehicle control method, vehicle control device, and storage medium
US11495029B2 (en) Estimation device, estimation method, and storage medium
JP7431081B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20190094881A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2023112396A (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2022104429A (ja) 車両用認識システムおよび認識方法