JP2020044988A - 表示システム、表示方法、およびプログラム - Google Patents

表示システム、表示方法、およびプログラム Download PDF

Info

Publication number
JP2020044988A
JP2020044988A JP2018175010A JP2018175010A JP2020044988A JP 2020044988 A JP2020044988 A JP 2020044988A JP 2018175010 A JP2018175010 A JP 2018175010A JP 2018175010 A JP2018175010 A JP 2018175010A JP 2020044988 A JP2020044988 A JP 2020044988A
Authority
JP
Japan
Prior art keywords
image
lane
display
vehicle
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018175010A
Other languages
English (en)
Other versions
JP7023817B2 (ja
Inventor
雅也 池田
Masaya Ikeda
雅也 池田
顕司 杉山
Kenji Sugiyama
顕司 杉山
嘉崇 味村
Yoshitaka Ajimura
嘉崇 味村
崇 渡邊
Takashi Watanabe
崇 渡邊
太一 十河
Taichi Togawa
太一 十河
雅幸 ▲高▼橋
雅幸 ▲高▼橋
Masayuki Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018175010A priority Critical patent/JP7023817B2/ja
Priority to CN201910873503.2A priority patent/CN110920521B/zh
Priority to US16/571,238 priority patent/US11338821B2/en
Publication of JP2020044988A publication Critical patent/JP2020044988A/ja
Application granted granted Critical
Publication of JP7023817B2 publication Critical patent/JP7023817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Abstract

【課題】より乗員に安心感を与える表示制御を行うことができる表示システム、表示方法、およびプログラムを提供すること。【解決手段】自車両が走行する道路に擬した第1画像を表示する表示部(32)と、前記表示部に、前記自車両の運転制御を行う制御部(120、160)に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させる表示制御部と、を備え、前記表示制御部は、前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、表示システム。【選択図】図1

Description

本発明は、表示システム、表示方法、およびプログラムに関する。
近年、車両の運転を自動的に制御すること(以下、自動運転と称する)について研究が進められている。これに関連して、自車両付近の車線と、自車両および他車両を示すアイコンとを画面に表示するとともに、車線変更する方向と車線変更時の車両の走行経路を表示する技術が知られている(例えば、特許文献1参照)。
米国特許第8346426号明細書
しかしながら、従来の技術では、車線変更の詳細な情報が表示されなかったため、自車両の運転制御中に乗員が不安を感じる場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、より乗員に安心感を与える表示制御を行うことができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示システム、表示方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示システムは、自車両が走行する道路に擬した第1画像を表示する表示部と、前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させる表示制御部と、を備え、前記表示制御部は、前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、表示システムである。
(2):上記(1)の態様において、前記第2画像は、前記推奨車線に対応する領域の略全域が所定色で色付けされた画像を含むものである。
(3):上記(2)の態様において、前記第3画像は、前記推奨車線に対応する領域よりも狭い領域の画像である。
(4):上記(1)〜(3)のうち何れか一つの態様において、前記表示制御部は、前記制御部により、前記自車両に前走車両を追い越すための車線変更を実行させ、前記前走車両を追い越した後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させるものである。
(5):上記(1)〜(4)のうち何れか一つの態様において、前記表示制御部は、前記制御部により、前記自車両の乗員による車線変更の指示を受け付けて前記自車両の車線変更が実行される場合に、前記第2画像の表示位置を車線変更先の車線の位置に変化させるとともに、前記車線変更を予告する第4画像を表示させるものである。
(6):この発明の一態様に係る表示方法は、画像を表示する表示部を備える自車両に搭載されたコンピュータが、前記自車両が走行する道路に擬した第1画像を前記表示部に表示し、前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示し、前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化する、表示方法である。
(7):この発明の一態様に係るプログラムは、画像を表示する表示部を備える自車両に搭載されたコンピュータに、前記自車両が走行する道路に擬した第1画像を前記表示部に表示させ、前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させ、前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、プログラムである。
(1)〜(7)によれば、より乗員に安心感を与える表示制御を行うことができる。
実施形態に係る表示システムを備えた車両システム1の構成図である。 自車両Mの車室内の様子を模式的に示す図である。 第1制御部120、第2制御部160、および第3制御部170の機能構成図である。 第1の場面において、HMI制御部174により生成される画像IM1の一例を示す図である。 第2の場面において、HMI制御部174により生成される画像IM2の一例を示す図である。 第3の場面において、HMI制御部174により生成される画像IM3の一例を示す図である。 第4の場面において、HMI制御部174により生成される画像IM4の一例を示す図である。 第5の場面において、HMI制御部174により生成される画像IM5の一例を示す図である。 第6の場面において、HMI制御部174により生成される画像IM6の一例を示す図である。 第7の場面において、HMI制御部174により生成される画像IM7の一例を示す図である。 第8の場面において、HMI制御部174により生成される画像IM8の一例を示す図である。 表示システムによる一連の処理の流れの一例を示すフローチャートである。 実施形態の運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の表示システム、表示方法、およびプログラムの実施形態について説明する。実施形態では、乗員の運転操作を支援する運転制御が実行可能な車両において、車両の周辺の認識結果を車両に搭載された表示装置に表示させる表示システムについて説明する。運転制御とは、車両の操舵または速度のうち一方または双方を制御することである。運転制御は、ACC(Adaptive Cruise Control System)やLKAS(Lane Keeping Assistance System)、ALC(Auto Lane Changing)、LCA(Lane Change Assist)等の運転制御が実行可能である。ACCは、例えば、自車両Mを前走車両に追従して走行させる運転制御である。LKASは、例えば、自車両Mが走行する車線を維持する運転制御である。ALCは、例えば、乗員からの車線変更指示を受け付けたか否かに係わらず、ナビゲーション装置による経路設定に基づいて車線変更を行う運転制御である。ALCには、例えば、自動追い越し制御における車線変更と、分岐における車線変更とが含まれる。また、LCAは、乗員からの車線変更指示に基づいて、指示した方向に車線変更を行う運転制御である。
[全体構成]
図1は、実施形態に係る表示システムを備えた車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせを含む。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。HMI30と、ナビゲーション装置50と、MPU60と、後述する第3制御部とを組み合わせたものが「表示システム」の一例である。また、後述する第1制御部と第2制御部とを組み合わせたものが「制御部」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、自車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他車両と通信(車車間通信)し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、例えば、表示部32、スイッチ、スピーカ、ブザー、タッチパネル、キー等を備える。表示部32は、例えば、第1表示部32Aと、第2表示部32Bとを備える。また、スイッチには、ウインカスイッチ(方向指示器)34が含まれる。
図2は、自車両Mの車室内の様子を模式的に示す図である。例えば、第1表示部32Aは、インストルメントパネルIPにおける運転席(例えばステアリングホイールSWに最も近い座席)の正面付近に設けられ、乗員がステアリングホイールSWの間隙から、或いはステアリングホイールSW越しに視認可能な位置に設置される。第1表示部32Aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等である。第1表示部32Aには、自車両Mの手動運転時または運転制御時の走行に必要な情報が画像として表示される。手動運転時の自車両Mの走行に必要な情報とは、例えば、自車両Mの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。運転制御時における自車両Mの走行に必要な情報とは、例えば、車線(区画線)、ナビゲーション装置50等のシステム側で推奨される目的地までの経路(推奨車線)、自車両Mの将来の軌道(目標軌道)、他車両等の情報である。また、運転制御時における自車両Mの走行に必要な情報には、手動運転時の自車両Mの走行に必要な情報の一部または全部が含まれてよい。
第2表示部32Bは、例えば、インストルメントパネルIPの中央付近に設置される。第2表示部32Bは、例えば、第1表示部32Aと同様に、LCDや有機EL表示装置等である。第2表示部32Bは、例えば、ナビゲーション装置50により実行されるナビゲーション処理に対応する画像等を表示する。また、第2表示部32Bは、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。また、表示部32には、第1表示部32Aおよび第2表示部32Bに代えて(または加えて)、HUD(Head-Up Display)装置が含まれてもよい。HUD装置は、風景に重畳させて画像を視認させる装置であり、一例として、自車両Mのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。
ウインカスイッチ34は、例えば、ステアリングコラム、またはステアリングホイールSWに設けられる。ウインカスイッチ34は、乗員がウインカの作動を指示するためのスイッチであり、乗員による自車両Mの車線変更または右左折の指示を受け付ける操作部の一例である。ウインカは、例えば、自車両Mの側方における前端部から後端部までの左右それぞれの所定の箇所に配設される。ウインカスイッチ34が操作されることで、指示された方向に対応する左右一方のウインカの点滅を開始または終了する。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。
GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。
ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。
経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。地図上経路は、MPU60に出力される。
ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報、車線の種別の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールSW、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
運転制御装置100は、例えば、第1制御部120と、第2制御部160と、第3制御部170と、記憶部180とを備える。第1制御部120、第2制御部160、および第3制御部170は、例えば、CPU(Central Processing Unit)等のコンピュータプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転制御装置100の記憶部180に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部180にインストールされてもよい。
記憶部180は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現される。記憶部180は、例えば、プロセッサによって読み出されて実行されるプログラム等を格納する。
図3は、第1制御部120、第2制御部160、および第3制御部170の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示等がある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自車両Mに対する運転制御の信頼性が担保される。
認識部130は、自車両Mの周辺状況を認識する。例えば、認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺に存在する物体を認識する。認識部130により認識される物体は、例えば、自転車、オートバイク、および四輪自動車等の他車両である。また、物体は、歩行者、道路標識、道路標示、区画線、電柱、ガードレール、落下物等を含む。また、認識部130は、物体の位置や、速度、加速度、操舵角、自車両Mの向き等の自車両Mの状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心等)を原点とした相対座標上の位置(すなわち自車両Mに対する相対位置)として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体が他車両等の移動体である場合に、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、自車両Mの周辺の道路形状を認識する。例えば、認識部130は、自車両Mが走行している自車線や、自車線に隣接した隣接車線を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、自車線や隣接車線を認識する。
また、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレール等を含む走路境界(道路境界)を認識することで、自車線や隣接車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、自車線を認識する際に、自車線に対する自車両Mの相対位置や姿勢を認識する。認識部130は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角度を、自車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、自車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置等を、自車線に対する自車両Mの相対位置として認識してもよい。
行動計画生成部140は、例えば、イベント決定部142と、目標軌道生成部144とを備える。イベント決定部142は、推奨車線が決定された経路において運転制御のイベントを決定する。イベントは、自車両Mの走行態様を規定した情報である。
イベントには、例えば、自車両Mを一定の速度で同じ車線を走行させる定速走行イベント、自車両Mの前方の所定距離以内(例えば100[m]以内)に存在し、自車両Mに最も近い他車両(以下、必要に応じて前走車両と称する)に自車両Mを追従させる追従走行イベント、自車両Mを自車線から隣接車線へと車線変更させる車線変更イベント、自車両Mを一旦隣接車線に車線変更させて前走車両を隣接車線において追い越してから再び元の車線へと車線変更させる追い越しイベント、道路の分岐地点で自車両Mを目的側の車線に分岐させる分岐イベント、合流地点で自車両Mを本線に合流させる合流イベント等が含まれる。「追従」とは、例えば、自車両Mと前走車両との車間距離(相対距離)を一定に維持させる走行態様であってもよいし、自車両Mと前走車両との車間距離を一定に維持させることに加えて、自車両Mを自車線の中央で走行させる走行態様であってもよい。また、イベントには、例えば、運転制御による自動運転を終了して手動運転に切り替えるためのテイクオーバーイベント、自車両Mの前方に存在する障害物を回避するために自車両Mに制動および操舵の少なくとも一方を行わせる回避イベント等が含まれてよい。
また、イベント決定部142は、例えば、自車両Mの走行時に認識部130により認識された周辺の状況に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。
また、イベント決定部142は、乗員の車載機器に対する操作に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。例えば、イベント決定部142は、乗員によってウインカスイッチ34が操作された場合、現在の区間に対して既に決定したイベントを車線変更イベントに変更したり、現在の区間に対して新たに車線変更イベントを決定したりしてよい。
目標軌道生成部144は、原則的には推奨車線決定部61により決定された推奨車線を自車両Mが走行し、更に、自車両Mが推奨車線を走行する際に周辺の状況に対応するため、イベントにより規定された走行態様で自車両Mを自動的に(運転者の操作に依らずに)走行させる将来の目標軌道を生成する。目標軌道には、例えば、将来の自車両Mの位置を定めた位置要素と、将来の自車両Mの速度等を定めた速度要素とが含まれる。
例えば、目標軌道生成部144は、自車両Mが順に到達すべき複数の地点(軌道点)を、目標軌道の位置要素として決定する。軌道点は、所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点である。所定の走行距離は、例えば、経路に沿って進んだときの道なり距離によって計算されてよい。
また、目標軌道生成部144は、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度を、目標軌道の速度要素として決定する。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度は、サンプリング時間および軌道点の間隔によって決定される。目標軌道生成部144は、生成した目標軌道を示す情報を、第2制御部160に出力する。
第2制御部160は、目標軌道生成部144によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第2制御部160は、例えば、第1取得部162と、速度制御部164と、操舵制御部166とを備える。第1取得部162は、目標軌道生成部144から目標軌道(軌道点)の情報を取得し、記憶部180のメモリに記憶させる。
速度制御部164は、メモリに記憶された目標軌道に含まれる速度要素(例えば目標速度や目標加速度等)に基づいて、走行駆動力出力装置200およびブレーキ装置210の一方または双方を制御する。
操舵制御部166は、メモリに記憶された目標軌道に含まれる位置要素(例えば目標軌道の曲り具合を表す曲率等)に応じて、ステアリング装置220を制御する。実施形態における運転制御とは、例えば、走行駆動力出力装置200およびブレーキ装置210と、ステアリング装置220との一方または双方を制御するものである。
速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーECU(Electronic Control Unit)とを備える。パワーECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
第3制御部170は、例えば、第2取得部172と、HMI制御部174とを備える。HMI制御部174は、「表示制御部」の一例である。
第2取得部172は、認識部130による認識結果の情報を取得する。また、第2取得部172は、目標軌道生成部144により生成された目標軌道の情報を取得する。また、第2取得部172は、ナビゲーション装置50またはMPU60から、自車両Mの周辺の地図情報や目的地までの地図情報を取得する。また、第2取得部172は、推奨車線決定部61により決定された推奨車線の情報を取得する。
HMI制御部174は、第2取得部172によって取得された情報に基づいてHMI30に各種情報を出力させる。例えば、HMI制御部174は、第2取得部172により取得された情報に対応する画像を生成し、生成した画像を表示部32に表示させる。例えば、HMI制御部174は、第1表示部32Aまたは第2表示部32Bのうち、乗員により指定された一方または双方に、生成した画像を表示させる。また、HMI制御部174は、自車両Mの走行態様(例えば、運転制御におけるイベント)に対応付けられた表示部に生成した画像を表示させてもよい。
また、HMI制御部174は、第2取得部172により取得された情報に基づいて、第2制御部160により所定の運転制御が実行されるか否かを判定し、所定の運転制御が実行される場合に、生成される画像の表示態様を変更してもよい。所定の運転制御とは、例えば、自車両Mに車線変更を行わせた後に元の車線に戻す運転制御である。また、所定の運転制御には、追い越しイベントによる運転制御が含まれる。また、表示態様には、表示位置または表示内容が含まれる。
[各場面におけるHMI制御部の処理]
以下、運転制御によって自車両Mが走行する各場面におけるHMI制御部174の処理について説明する。また、以下の説明において、時刻t1〜t5、ta〜tcは、「t1<t2<t3<t4<t5」および「t1<ta<tb<tc」の関係が成り立つものする。また、以下の説明において、HMI制御部174によって生成される画像は、第1表示部32Aに表示されるものとする。また、第1表示部32Aに表示される画像には、エンジンの回転数を示すタコメータや、自車両Mの速度を示すスピードメータ等も含まれもよいが、以下では、これらの説明を省略するものとする。
<第1の場面(時刻t1)>
第1の場面(時刻t1)は、運転制御装置100が、追従走行イベントを実行している場面である。図4は、第1の場面において、HMI制御部174により生成される画像IM1の一例を示す図である。第1の場面において、自車両Mは、三車線L1〜L3のうち、車線L1を走行し、自車両Mの前走車両である他車両m1を追従しているものとする。また、第1の場面において、推奨車線は、車線L1であるものとする。また、画像IM1は、第1表示部32Aにおける画像の表示領域に対応した画像であるものとする。以降の画像IM2〜IM8についても同様とする。
この場面において、HMI制御部174は、例えば、認識部130により認識された自車両Mの周辺の道路に擬した道路画像(第1画像の一例)ROを生成する。道路画像ROには、例えば、車線L1〜L3に擬した画像が含まれる。図4の例では、画像IM1の中央(例えば、幅方向の中央)付近に自車両Mが走行する車線L1を位置付けた道路画像ROが示されている。また、HMI制御部174は、車線変更が可能な車線間の区画線と、車線変更が不可能な車線間の区画線を異なる表示態様(例えば、実線と点線等)で表示させてもよい。車線変更が可能か否かは、例えば、地図情報(第1地図情報54、第2地図情報62)を参照することで取得できる。図4の例において、画像IM1には、車線L1〜L3のそれぞれの車線間が、車線変更が可能な区画線(点線)で示されている。
また、HMI制御部174は、自車両Mに擬した画像(以下、自車両画像MIと称する)と、認識部130により認識された他車両m1に擬した画像(以下、他車両画像m1Iと称する)とを生成し、生成した自車両画像MIおよび他車両画像m1Iを、道路画像RO上のそれぞれが存在する位置に重畳表示させてもよい。この場合、HMI制御部174は、自車両画像MIおよび他車両画像m1Iのそれぞれを区別可能に乗員に視認されるように、色や模様、形状等を異ならせてもよい。また、HMI制御部174は、自車両画像MIおよび他車両画像m1Iのそれぞれの形状の大きさを、道路画像ROにおける車線の大きさに対応付けて調整してもよい。
また、HMI制御部174は、第2取得部172によって取得された推奨車線に擬した推奨車線画像(第2画像の一例)RE1を生成する。推奨車線画像RE1は、例えば、推奨車線に対応する車線の領域の略全域が所定色で色付けされた画像を含む。所定色とは、例えば、予め決められた色でもよく、自車両Mの走行態様に対応付けられた色でもよい。また、所定色は、模様や輝度、明度、彩度の色調や明暗等の調整により乗員に視認可能な色でもよく、所定の透過率により透過された色でもよい。また、HMI制御部174は、推奨車線画像RE1を、道路画像ROに対応付けた位置に表示させる。この場合の道路画像ROに対応付けた位置とは、例えば、道路画像ROに含まれる車線L1〜L3のうち、推奨車線に相当する車線の表示位置に対応付けた位置である。図4の例において、画像IM1は、道路画像ROに含まれる車線L1の領域の略全域に、推奨車線画像RE1が重畳されている。
また、HMI制御部174は、第2取得部172によって取得された目標軌道に擬した目標軌道画像(第3画像の一例)TA1を生成する。目標軌道画像TA1は、例えば、推奨車線に対応する領域よりも狭い領域の画像である。この領域は、例えば、乗員が他の領域と区別して視認することができる色で色付けられる。表示制御部174は、生成した目標軌道画像TA1を、道路画像ROに対応付けた位置に表示させる。この場合の道路画像ROに対応付けた位置とは、例えば、道路画像ROに含まれる車線L1〜L3のうち、車線L1上の自車両Mの位置に対応付けた位置である。図4の例において、画像IM1は、道路画像RO上の自車両画像MIを始点とし、他車両画像m1Iを終点とした位置に、目標軌道画像TA1が位置付けられている。また、画像IM1は、目標軌道画像TA1が、道路画像ROおよび推奨車線画像RE1に重畳されている。
また、HMI制御部174は、運転制御において、他車両m1が追従対象の車両(ロックオン車両)として認識されていることを示すロックオン画像LOを生成し、生成した画像を、他車両画像m1Iに対応付けた位置に表示させてもよい。図4の例において、画像IM1には、他車両画像m1Iの後方(直下)にコの字型(U-shaped)のロックオン画像LOが示されている。これにより、乗員に自車両Mの運転制御の状態を画像IM1から視認させ易くすることができる。
<第2の場面(時刻t2)>
第2の場面(時刻t2)は、時刻t1から所定時間が経過した時刻t2において、自車両Mと他車両m1との距離が所定距離以内となり、自車両Mが他車両m1を追い越すための追い越しイベントが実行される場面である。また、時刻t2は、自車両の走行態様が追従走行から追い越し走行に切り替わった時刻である。以下の説明では、追い越しイベントとして、自車両Mに車線L1から車線L2に車線変更を行わせ、加速制御により他車両m1を追い越させた後に、元の車線L1に戻す運転制御が実行されるものとする。この場合、目標軌道生成部144は、追い越しイベントとして、上記の運転制御を実行するための目標軌道を生成する。
図5は、第2の場面において、HMI制御部174により生成される画像IM2の一例を示す図である。以下では、画像IM1と異なる部分について説明する。以降の各画像についても、直前に表示されていた画像と異なる部分について説明するものとする。
第2の場面において、HMI制御部174は、運転制御によって自車両Mが車線変更することを示すレーンチェンジ画像(第4画像の一例)LCを生成する。レーンチェンジ画像LCは、例えば、自車両Mの車線変更先の車線が視認可能な図形や矢印等により形成される画像である。また、HMI制御部174は、自車両Mの車線変更先の車線への移動(横移動、幅方向への移動)の開始前に、車線変更を予告する画像として、レーンチェンジ画像LCを生成してもよい。この場合、HMI制御部174は、例えば、自車両Mの車線変更先の車線への移動の開始前と、開始後とで、レーンチェンジ画像LCの表示態様を異ならせる。具体的には、HMI制御部174は、車線変更先の車線への移動の開始前の場合に、車線変更の方向を示す図形等の外枠(輪郭)のみ(中抜き形状)のレーンチェンジ画像LC1を生成し、開始後の場合に、図形の外枠内を所定色で塗りつぶしたレーンチェンジ画像LC2を生成する。また、HMI制御部174は、車線変更の開始前および開始後を含めて、段階的または流動的に、レーンチェンジ画像LC1からレーンチェンジ画像LC2へ切り替わるアニメーション画像を生成してもよい。また、HMI制御部174は、レーンチェンジ画像LC1またはLC2とともに、自車両Mの右側のウインカを点滅させる画像を生成し、生成した画像を自車両画像MI1に重畳して表示させてもよい。図5の例において、画像IM2には、自車両画像MIの右側(変更先の車線側)に、車線変更先の車線への移動の開始前のレーンチェンジ画像LC1が示されている。
また、HMI制御部174は、第2取得部172により取得された目標軌道に基づいて、第2制御部160により所定の運転制御が実行されるか否かを判定する。第2の場面に目標軌道は、自車両Mに車線L1から車線L2に車線変更を行わせ、加速制御により他車両m1を追い越させた後に、元の車線L1に戻す運転制御を実行する目標軌道であるため、HMI制御部174は、所定の運転制御が実行されると判定する。所定の運転制御が実行されると判定された場合、HMI制御部174は、例えば、推奨車線画像RE1の表示態様を変化させずに、目標軌道画像TA1の表示態様を変化させる。
<第3の場面(時刻t3)>
第3の場面(時刻t3)は、追い越しイベントでの車線変更による自車両Mの移動が開始される場面である。図6は、第3の場面において、HMI制御部174により生成される画像IM3の一例を示す図である。第3の場面において、HMI制御部174は、第1の場面で生成した推奨車線画像RE1の表示位置を車線L2側に変化させずに、車線L1上に表示させた状態を継続する。また、HMI制御部174は、車線変更の目標軌道に擬した目標軌道画像TA2を生成し、生成した目標軌道画像TA2を道路画像ROに重畳して表示させる。図6の例において、画像IM3には、車線L1上に推奨車線画像RE1が示され、目標軌道画像TA2が自車両画像MIの表示位置に対応付けられた位置(自車両Mの進行方向)に示されている。
また、第3の場面において、HMI制御部174は、車線変更先の車線への移動が開始された後に、車線変更の方向を示す図形の外枠内を所定色で塗りつぶしたレーンチェンジ画像LC2を生成し、生成したレーンチェンジ画像LC2を自車両画像MIの表示位置に対応付けた位置に表示させる。図6の例において、画像IM3には、自車両画像MIの右側に、車線変更先の車線への移動の開始後のレーンチェンジ画像LC2が示されている。
<第4の場面(時刻t4)>
第4の場面(時刻t4)は、追い越しイベントにおいて車線L1から車線L2への車線変更が完了した後、加速制御により自車両Mを走行させている場面である。図7は、第4の場面において、HMI制御部174により生成される画像IM4の一例を示す図である。第4の場面において、HMI制御部174は、生成した道路画像ROのうち自車両Mが走行する車線L2を、画像IM4の中央付近に位置付けて表示させる。また、HMI制御部174は、走行車線である車線L2とその隣接車線である車線L1を擬した画像のみを生成し、車線L2の隣接車線よりも離れた車線(図7の例では、車線L3)を擬した画像を生成しなくてもよい。このように、自車両Mへの影響が少ない車線の情報を省略することで、画像生成における処理負荷を軽減させることができる。また、乗員が視認する必要性が低い情報を減らすことができるため、必要な情報を確実に視認させ易くすることができ、結果として、乗員に安心感を与える表示制御を行うことができる。
また、第4の場面において、自車両Mは、追い越しイベントの加速制御により、車線L2の延伸方向に沿って走行するため、HMI制御部174は、車線L2を直進する目標軌道画像TA3を生成し、生成した目標軌道画像TA3を、車線L2上に表示させる。図7の例において、画像IM4には、目標軌道画像TA3が、自車両画像MIの表示位置を基準として、車線L2の延伸方向に沿った位置に示されている。また、第4の場面においても、推奨車線画像RE1の表示態様は変化をさせず、車線L1上に表示させる表示態様を継続させる。
<第5の場面(時刻t5)>
第5の場面(時刻t5)は、追い越しイベントにおいて、他車両m1を追い越した自車両Mに対して、車線L2から車線L1に戻す運転制御が実行される場面である。図8は、第5の場面において、HMI制御部174により生成される画像IM5の一例を示す図である。第5の場面において、HMI制御部174は、車線L2から車線L1への車線変更の目標軌道に対応する目標軌道画像TA4を生成し、生成した目標軌道画像TA4を道路画像ROの表示位置に対応付けた位置に表示させる。また、第5の場面において、HMI制御部174は、車線変更先の車線への移動が開始された後に、車線変更の方向を示す図形の外枠内を所定色で塗りつぶしたレーンチェンジ画像LC2を生成し、生成したレーンチェンジ画像LC2を自車両画像MIの表示位置に対応付けた位置に表示させる。
図8の例において、画像IM5には、目標軌道画像TA4が自車両画像MIの表示位置に対応付けられた位置(自車両Mの進行方向)に示されている。また、画像IM5には、自車両画像MIの左側に、車線変更先の車線への移動の開始後のレーンチェンジ画像LC2が示されている。図8に示す画像IMが表示された状態で、自車両Mを車線L1に戻す運転制御が実行され、車線L1への車線変更が完了した時点で、追い越しイベントによる運転制御が終了する。
このように、実施形態では、上述した第1の場面から第5の場面(時刻t1〜t5)までの時間経過において、推奨車線画像RE1を変化させないことで、自車両Mの車線変更が、近い将来に元の車線に戻ることを前提にした車線変更であること、言い換えると前方に存在する他車両や物体を追い越すための車線変更であることを乗員に把握させ易くすることができる。これにより、より乗員に安心感を与える運転制御を行うことができる。
<第6の場面(時刻ta)>
第6の場面(時刻ta)は、第1の場面(時刻t1)の後に、自車両Mの乗員による車線変更指示を受け付けて、LCAによる運転制御により、指示された方向への車線変更を行う場面である。図9は、第6の場面において、HMI制御部174により生成される画像IM6の一例を示す図である。第6の場面において、HMI制御部174は、第2取得部172により取得された情報に基づいて、自車両Mの乗員による車線変更指示を受け付けたか否かを判定する。例えば、HMI制御部174は、ウインカスイッチ34により指示された方向に対応するウインカの点滅が開始された場合に、自車両Mの乗員による車線変更指示を受け付けたと判定する。また、HMI制御部174は、LCAに基づく目標軌道が実行される場合に、自車両Mの乗員による車線変更指示を受け付けたと判定してもよい。以下では、自車線L1の左側の車線L3に車線変更する指示を受け付けたものとする。
自車両Mの乗員による車線変更指示を受け付けたと判定された場合、HMI制御部174は、推奨車線画像RE1の表示位置を変化させて、車線L3上に重畳して表示させる推奨車線画像RE2を生成する。また、HMI制御部174は、推奨車線画像RE2とともに、車線変更先の車線への移動の開始前の状態を示すレーンチェンジ画像LC1を生成する。
図9の例において、画像IM6には、推奨車線画像RE2が、道路画像ROに含まれる車線L3の表示位置に重畳して示されるとともに、レーンチェンジ画像LC1が、自車両画像MIの左側に示されている。
<第7の場面(時刻tb)>
第7の場面(時刻tb)は、第6の場面の後に、LCAに基づく車線変更による自車両Mの移動が開始される場面である。図10は、第7の場面において、HMI制御部174により生成される画像IM7の一例を示す図である。第7の場面において、HMI制御部174は、車線変更の目標軌道に擬した目標軌道画像TA5を生成し、生成した目標軌道画像TA5を道路画像ROに重畳して表示させる。図10の例において、画像IM7には、目標軌道画像TA5が自車両画像MIの表示位置に対応付けられた位置(自車両Mの進行方向)に示されている。
また、第7の場面において、HMI制御部174は、車線変更先の車線への移動が開始された後に、車線変更の方向を示す図形の外枠内を所定色で塗りつぶしたレーンチェンジ画像LC2を生成し、生成したレーンチェンジ画像LC2を自車両画像MIの表示位置に対応付けた位置に表示させる。図10の例において、画像IM7には、自車両画像MIの左側に、車線変更先の車線への移動の開始後のレーンチェンジ画像LC2が示されている。
<第8の場面(時刻tc)>
第8の場面(時刻tc)は、LCAに基づく車線L1から車線L3への車線変更が完了した場面である。図11は、第8の場面において、HMI制御部174により生成される画像IM8の一例を示す図である。第8の場面において、HMI制御部174は、生成した道路画像ROのうち自車両Mが走行する車線L3を、画像IM8の中央付近に位置付けて表示させる。また、HMI制御部174は、走行車線である車線L3とその隣接車線である車線L1を擬した画像のみを生成し、車線L3の隣接車線よりも離れた車線(図11の例では、車線L2)を擬した画像を生成しなくてもよい。
また、第8の場面において、自車両Mは、車線L3の延伸方向に沿って走行するため、HMI制御部174は、車線L3を直進する目標軌道画像TA6を生成し、生成した目標軌道画像TA6を、車線L3の表示位置に位置付けて表示させる。図11の例において、画像IM8には、目標軌道画像TA6が、自車両画像MIの表示位置を基準として、車線L3の延伸方向に沿った位置に示されている。
このように、実施形態では、上述した第1の場面、および第6の場面から第8の場面(時刻t1、ta〜tc)までの時間経過において、乗員からの操作指示による車線変更の運転制御に対応付けて、推奨車線画像の表示態様を変化させることで、自車両Mの運転制御が乗員の指示に基づいて実行されていることを乗員に認識させ易くすることができる。
なお、本実施形態では、上述した第1〜第8の場面のそれぞれで説明した処理の一部または全部を他の場面での処理内容に含めてもよい。例えば、HMI制御部174は、追い越しイベントの実行途中において、乗員による車線変更指示を受け付けたか否かを判定し、車線変更指示を受け付けた場合に、指示内容に基づいて推奨車線画像の表示態様を変化させてもよい。
[処理フロー]
以下、実施形態の表示システムによる一連の処理の流れを、フローチャートを用いて説明する。図12は、表示システムによる一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、ナビゲーション装置50により設定された目的地までの自車両Mに対する運転制御において、所定の周期で繰り返し実行されてよい。
まず、HMI制御部174は、認識部130等により認識された自車両Mの周辺状況に基づいて、自車両Mの周辺の道路画像を生成し、生成した画像を表示部32に表示させる(ステップS100)。次に、HMI制御部174は、目的地までの運転制御に基づいて、推奨車線画像および目標軌道画像を生成し、生成した推奨車線画像および目標軌道画像を道路画像の表示位置に対応付けられた位置に表示させる(ステップS102)。
次に、HMI制御部174は、第2取得部172により取得された情報に基づいて運転制御により自車両Mの車線変更を実行するか否かを判定する(ステップS104)。自車両Mの車線変更を実行する場合、HMI制御部174は、第2取得部172により取得された情報に基づいて、乗員による車線変更指示があったか否かを判定する(ステップS106)。乗員による車線変更指示があった場合、HMI制御部174は、運転制御の内容に対応付けて推奨車線画像および目標軌道画像を変化させて、推奨車線画像の表示位置に対応付けられた位置に表示させる(ステップS108)。また、HMI制御部174は、ステップS106の処理において、乗員による車線変更指示がなかった場合、推奨車線画像を変化させずに目標軌道画像を変化させて表示させる(ステップS110)。これにより、本フローチャートの処理は、終了する。また、ステップS104の処理において、車線変更を行わせた後に元の車線に戻す運転制御が実行されない場合に、本フローチャートの処理は終了する。
以上説明した実施形態によれば、より乗員に安心感を与える表示制御を行うことができる。より具体的には、実施形態によれば、自車両Mが目的地に向かうための運転制御において、運転制御装置100で生成された目標軌道画像や推奨車線画像等を表示する場合に、目的地に向かうための車線変更と、前走車両等の物体を追い越すための車線変更とで、推奨車線画像等の表示態様を異ならせる。また、実施形態によれば、運転者がウインカスイッチ操作等よる車線変更の意思を示した後に行う車線変更の制御と、運転者の意思とは関係なく実行される自動追い越し制御での車線変更の制御とで、推奨車線画像の表示態様を異ならせる。これにより、自車両Mが車線変更を行う目的や運転制御の状態を、より明確に、乗員に把握させることができ、より乗員に安心感を与える表示制御を行うことができる。
[ハードウェア構成]
図13は、実施形態の運転制御装置100のハードウェア構成の一例を示す図である。図示するように、運転制御装置100は、通信コントローラ100−1、CPU100−2、ワーキングメモリとして使用されるRAM100−3、ブートプログラム等を格納するROM100−4、フラッシュメモリやHDD等の記憶装置100−5、ドライブ装置100−6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100−1は、運転制御装置100以外の構成要素との通信を行う。記憶装置100−5には、CPU100−2が実行するプログラム100−5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100−3に展開されて、CPU100−2によって実行される。これによって、第1制御部120、第2制御部160、および第3制御部170のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
画像を表示する表示部と、
プログラムを記憶するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
前記表示部に、自車両が走行する道路に擬した第1画像を表示させ、
前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させ、
前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、
ように構成されている、表示システム。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、32…表示部、34…ウインカスイッチ、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、100…運転制御装置、120…第1制御部、130…認識部、140…行動計画生成部、142…イベント決定部、144…目標軌道生成部、160…第2制御部、162…第1取得部、164…速度制御部、166…操舵制御部、170…第3制御部、172…第2取得部、174…HMI制御部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置

Claims (7)

  1. 自車両が走行する道路に擬した第1画像を表示する表示部と、
    前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させる表示制御部と、を備え、
    前記表示制御部は、前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、
    表示システム。
  2. 前記第2画像は、前記推奨車線に対応する領域の略全域が所定色で色付けされた画像を含む、
    請求項1に記載の表示システム。
  3. 前記第3画像は、前記推奨車線に対応する領域よりも狭い領域の画像である、
    請求項2に記載の表示システム。
  4. 前記表示制御部は、前記制御部により、前記自車両に前走車両を追い越すための車線変更を実行させ、前記前走車両を追い越した後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、
    請求項1から3のうち何れか1項に記載の表示システム。
  5. 前記表示制御部は、前記制御部により、前記自車両の乗員による車線変更の指示を受け付けて前記自車両の車線変更が実行される場合に、前記第2画像の表示位置を車線変更先の車線の位置に変化させるとともに、前記車線変更を予告する第4画像を表示させる、
    請求項1から4のうち何れか1項に記載の表示システム。
  6. 画像を表示する表示部を備える自車両に搭載されたコンピュータが、
    前記自車両が走行する道路に擬した第1画像を前記表示部に表示し、
    前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示し、
    前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化する、
    表示方法。
  7. 画像を表示する表示部を備える自車両に搭載されたコンピュータに、
    前記自車両が走行する道路に擬した第1画像を前記表示部に表示させ、
    前記表示部に、前記自車両の運転制御を行う制御部に与えられる推奨車線に擬した第2画像を前記第1画像に対応付けた位置に表示させるとともに、前記自車両の運転制御を行う制御部によって生成される目標軌道に擬した第3画像を前記第1画像に対応付けた位置に表示させ、
    前記制御部により、前記自車両に車線変更を行わせた後に元の車線に戻す運転制御が実行される場合に、前記第2画像の表示位置を変化させずに、前記第3画像を前記車線変更の目標軌道に擬した画像に変化させる、
    プログラム。
JP2018175010A 2018-09-19 2018-09-19 表示システム、表示方法、およびプログラム Active JP7023817B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018175010A JP7023817B2 (ja) 2018-09-19 2018-09-19 表示システム、表示方法、およびプログラム
CN201910873503.2A CN110920521B (zh) 2018-09-19 2019-09-12 显示系统、显示方法及存储介质
US16/571,238 US11338821B2 (en) 2018-09-19 2019-09-16 Display system, display method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018175010A JP7023817B2 (ja) 2018-09-19 2018-09-19 表示システム、表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020044988A true JP2020044988A (ja) 2020-03-26
JP7023817B2 JP7023817B2 (ja) 2022-02-22

Family

ID=69772641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018175010A Active JP7023817B2 (ja) 2018-09-19 2018-09-19 表示システム、表示方法、およびプログラム

Country Status (3)

Country Link
US (1) US11338821B2 (ja)
JP (1) JP7023817B2 (ja)
CN (1) CN110920521B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041288A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム
JP7455693B2 (ja) 2020-07-27 2024-03-26 東京瓦斯株式会社 移動支援装置、ガス検知装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200327812A1 (en) * 2019-04-09 2020-10-15 Cavh Llc Systems and methods for connected and automated vehicle highway systems dedicated lane management and control
KR20220036424A (ko) * 2020-09-15 2022-03-23 현대자동차주식회사 전기 모터를 구비한 자동차 및 그를 위한 경고 출력 방법
JP7136874B2 (ja) * 2020-11-26 2022-09-13 本田技研工業株式会社 画像処理装置、運転支援装置および車両
CN112883058A (zh) * 2021-03-23 2021-06-01 北京车和家信息技术有限公司 用于车辆定位的标定方法、装置、设备、车辆和介质
JP2022149451A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム
CN116381946B (zh) * 2023-04-14 2024-02-09 江苏泽景汽车电子股份有限公司 行驶图像显示方法、存储介质和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139148A (ja) * 2006-12-01 2008-06-19 Denso Corp 通信型ナビゲーションシステム、車両ナビゲーション装置及びセンター装置
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2016182891A (ja) * 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置
JP2017030723A (ja) * 2016-03-16 2017-02-09 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2017068585A (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 情報表示装置及び情報表示方法
JP2017210034A (ja) * 2016-05-23 2017-11-30 本田技研工業株式会社 走行制御装置
WO2018087883A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
AU2002305392A1 (en) * 2001-05-02 2002-11-11 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
AU2002360198A1 (en) * 2001-12-11 2003-07-09 C2Cure Inc. Apparatus, method and system for intravascular photographic imaging
US20080172704A1 (en) * 2007-01-16 2008-07-17 Montazemi Peyman T Interactive audiovisual editing system
WO2008139354A2 (en) * 2007-05-10 2008-11-20 Koninklijke Philips Electronics N. V. Targeting method, targeting device, computer readable medium and program element
US8887050B1 (en) * 2009-11-17 2014-11-11 LHS Productions Video mapping, storage, and retrieval system and method
US9552334B1 (en) * 2011-05-10 2017-01-24 Myplanit Inc. Geotemporal web and mobile service system and methods
US20150029214A1 (en) * 2012-01-19 2015-01-29 Pioneer Corporation Display device, control method, program and storage medium
JP2013210321A (ja) * 2012-03-30 2013-10-10 Aisin Aw Co Ltd レーン案内表示システム、方法およびプログラム
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US10459615B2 (en) * 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
FR3034539B1 (fr) * 2015-04-02 2017-03-24 Eric Didier Jean Claude Provost Procede de selection d'element parmi un groupe d'elements affichables sur une petite surface de saisie
KR20170011583A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 컨텐츠 탐색 기능 운용 방법 및 이를 지원하는 전자 장치
US10070118B2 (en) * 2015-09-17 2018-09-04 Lumii, Inc. Multi-view displays and associated systems and methods
DE102016205153A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers
WO2017169656A1 (ja) * 2016-03-31 2017-10-05 パナソニックIpマネジメント株式会社 撮像装置
JP6691032B2 (ja) * 2016-10-12 2020-04-28 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6513069B2 (ja) * 2016-12-27 2019-05-15 本田技研工業株式会社 運転支援装置および運転支援方法
CN110191832A (zh) * 2017-01-24 2019-08-30 本田技研工业株式会社 车辆控制装置、车辆控制方法及车辆控制程序
CN110662681B (zh) * 2017-06-02 2022-12-30 本田技研工业株式会社 车辆控制系统及车辆控制方法
WO2019030802A1 (ja) * 2017-08-07 2019-02-14 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
CN111033590B (zh) * 2017-08-18 2022-09-09 索尼公司 车辆行驶控制设备、车辆行驶控制方法以及程序
JP2020051902A (ja) * 2018-09-27 2020-04-02 本田技研工業株式会社 表示システム、表示方法、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139148A (ja) * 2006-12-01 2008-06-19 Denso Corp 通信型ナビゲーションシステム、車両ナビゲーション装置及びセンター装置
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2016182891A (ja) * 2015-03-26 2016-10-20 修一 田山 車輌用画像表示システム及び方法
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置
JP2017068585A (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 情報表示装置及び情報表示方法
JP2017030723A (ja) * 2016-03-16 2017-02-09 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2017210034A (ja) * 2016-05-23 2017-11-30 本田技研工業株式会社 走行制御装置
WO2018087883A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455693B2 (ja) 2020-07-27 2024-03-26 東京瓦斯株式会社 移動支援装置、ガス検知装置
JP2022041288A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
US20200086890A1 (en) 2020-03-19
JP7023817B2 (ja) 2022-02-22
US11338821B2 (en) 2022-05-24
CN110920521A (zh) 2020-03-27
CN110920521B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
JP7086798B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7048398B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7023817B2 (ja) 表示システム、表示方法、およびプログラム
JP7043450B2 (ja) 車両制御装置、車両制御方法、及びプログラム
US10589752B2 (en) Display system, display method, and storage medium
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019156265A (ja) 表示システム、表示方法、およびプログラム
US11548443B2 (en) Display system, display method, and program for indicating a peripheral situation of a vehicle
US11137264B2 (en) Display system, display method, and storage medium
WO2019069425A1 (ja) 車両制御装置、車両制御方法、およびプログラム
US11200806B2 (en) Display device, display control method, and storage medium
JP2020052559A (ja) 車両制御装置、車両制御方法、及びプログラム
CN111824141B (zh) 显示控制装置、显示控制方法及存储介质
WO2018123346A1 (ja) 車両制御装置、車両制御方法、及びプログラム
US11183069B2 (en) Display control device, display control method, and storage medium
JP6995720B2 (ja) 表示システム、表示制御方法、およびプログラム
JP7228549B2 (ja) 制御装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R150 Certificate of patent or registration of utility model

Ref document number: 7023817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150