JP2020051902A - 表示システム、表示方法、およびプログラム - Google Patents

表示システム、表示方法、およびプログラム Download PDF

Info

Publication number
JP2020051902A
JP2020051902A JP2018181659A JP2018181659A JP2020051902A JP 2020051902 A JP2020051902 A JP 2020051902A JP 2018181659 A JP2018181659 A JP 2018181659A JP 2018181659 A JP2018181659 A JP 2018181659A JP 2020051902 A JP2020051902 A JP 2020051902A
Authority
JP
Japan
Prior art keywords
image
vehicle
display
control unit
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018181659A
Other languages
English (en)
Inventor
雅也 池田
Masaya Ikeda
雅也 池田
顕司 杉山
Kenji Sugiyama
顕司 杉山
嘉崇 味村
Yoshitaka Ajimura
嘉崇 味村
崇 渡邊
Takashi Watanabe
崇 渡邊
太一 十河
Taichi Togawa
太一 十河
雅幸 ▲高▼橋
雅幸 ▲高▼橋
Masayuki Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018181659A priority Critical patent/JP2020051902A/ja
Priority to CN201910880064.8A priority patent/CN110954126A/zh
Priority to US16/575,459 priority patent/US11137264B2/en
Publication of JP2020051902A publication Critical patent/JP2020051902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/22
    • B60K35/28
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3655Timing of guidance instructions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • B60K2360/166
    • B60K2360/177
    • B60K2360/188
    • B60K2360/21
    • B60K35/29
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Abstract

【課題】より乗員に分かりやすい経路案内を行うことができる表示システム、表示方法、およびプログラムを提供すること。【解決手段】画像を表示する表示部と、車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、表示システム。【選択図】図1

Description

本発明は、表示システム、表示方法、およびプログラムに関する。
従来、目的地までの経路案内を表示する表示システムにおいて、車両が進路変更すべき分岐地点(例えば、交差点)までの距離が、所定距離以下になると、分岐地点を通過するまでの間、ナビ画面にターンバイターン(Turn by turn)画像を表示する技術が存在する(例えば、特許文献1参照)。特許文献1では、ターンバイターン画像として、現在位置から分岐までの地図画像に、現在位置を示すマークや、進路方向を示す矢印、分岐までの距離を表すメモリが表示される。
国際公開第2017/104330号
しかしながら、従来技術では、ターンバイターン画像が表示されてから分岐地点までの間のどのタイミングで進路変更を行ったらよいのかが分かりにくい場合や、進路変更すべき分岐地点付近に他の分岐地点がある際に、どの分岐地点で分岐するのかが分かりにくい場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、より乗員に分かりやすい経路案内を行うことができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示システム、表示方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示システムは、画像を表示する表示部と、車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、表示システムである。
(2):上記(1)の態様において、前記表示制御部は、前記第3画像の表示の開始および終了に同期させて、前記第2画像を表示させるものである。
(3):上記(1)または(2)の態様において、前記表示制御部は、前記車両が前記第2地点よりも前記第1地点に近い第3地点に到達した場合に、前記第2画像を、進路変更後の車線に重畳して表示させるものである。
(4):上記(3)の態様において、前記表示制御部は、前記進路変更後の車線が複数ある場合に、複数の進路変更後の車線のそれぞれに前記第2画像を重畳して表示させるものである。
(5):上記(1)〜(4)のうち何れか一つの態様において、前記表示制御部は、前記車両の走行態様に関する画像を表示部に表示させるとともに、前記第2画像を前記走行態様に関する画像の色に対応付けられた色で、前記表示部に表示させるものである。
(6):この発明の一態様に係る表示方法は、画像を表示する表示部を備える車両に搭載されたコンピュータが、前記車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させ、前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、表示方法である。
(7):この発明の一態様に係るプログラムは、画像を表示する表示部を備える車両に搭載されたコンピュータに、前記車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させ、前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、プログラムである。
(1)〜(7)によれば、より乗員に分かりやすい経路案内を行うことができる。
実施形態に係る表示システムを備えた車両システム1の構成図である。 自車両Mの車室内の様子を模式的に示す図である。 第1制御部120、第2制御部160、および第3制御部170の機能構成図である。 各場面を説明するための自車両Mの周辺状況の一例を示す図である。 第1の場面において、HMI制御部174により生成される自車両周辺画像IM1の一例を示す図である。 第2の場面において、HMI制御部174により生成されるターンバイターン画像IM2aの一例を示す図である。 第2の場面において、HMI制御部174により生成される自車両周辺画像IM2bの一例を示す図である。 第3の場面において、HMI制御部174により生成されるターンバイターン画像IM3aの一例を示す図である。 第3の場面において、HMI制御部174により生成される自車両周辺画像IM3bの一例を示す図である。 第4の場面において、HMI制御部174により生成されるターンバイターン画像IM4aの一例を示す図である。 第4の場面において、HMI制御部174により生成される自車両周辺画像IM4bの一例を示す図である。 第5の場面において、HMI制御部174により生成されるターンバイターン画像IM5aの一例を示す図である。 第5の場面において、HMI制御部174により生成される自車両周辺画像IM5bの一例を示す図である。 HMI制御部174により生成される自車両周辺画像IM6bの一例を示す図である。 表示システムによる一連の処理の流れの一例を示すフローチャートである。 実施形態の表示システムを備えた車両システム1における運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の表示システム、表示方法、およびプログラムの実施形態について説明する。実施形態では、乗員の運転操作を支援する運転制御が実行可能な車両において、車両の周辺の認識結果を車両に搭載された表示装置に表示させる表示システムについて説明する。運転制御とは、例えば、車両の操舵または速度のうち一方または双方を制御することである。運転制御は、ACC(Adaptive Cruise Control System)やLKAS(Lane Keeping Assistance System)、ALC(Auto Lane Changing)、LCA(Lane Change Assist)等の運転制御が実行可能である。ACCは、例えば、車両を前走車両に追従して走行させる運転制御である。LKASは、例えば、車両が走行する車線を維持する運転制御である。ALCは、例えば、乗員からの車線変更指示を受け付けたか否かに係わらず、ナビゲーション装置による経路設定に基づいて車線変更を行う運転制御である。ALCには、例えば、自動追い越し制御における車線変更と、分岐における車線変更とが含まれる。また、LCAは、乗員からの車線変更指示に基づいて、指示した方向に車線変更を行う運転制御である。
[全体構成]
図1は、実施形態に係る表示システムを備えた車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせを含む。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。HMI30と、後述する第3制御部とを組み合わせたものが「表示システム」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、自車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他車両と通信(車車間通信)し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。HMI30は、例えば、表示部32、スイッチ、スピーカ、ブザー、タッチパネル、キー等を備える。表示部32は、例えば、第1表示部32Aと、第2表示部32Bとを備える。
図2は、自車両Mの車室内の様子を模式的に示す図である。例えば、第1表示部32Aは、インストルメントパネルIPにおける運転席(例えばステアリングホイールSWに最も近い座席)の正面付近に設けられ、乗員がステアリングホイールSWの間隙から、或いはステアリングホイールSW越しに視認可能な位置に設置される。第1表示部32Aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等である。第1表示部32Aには、自車両Mの手動運転時または運転制御時の走行に必要な情報が画像として表示される。手動運転時の自車両Mの走行に必要な情報とは、例えば、自車両Mの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。運転制御時における自車両Mの走行に必要な情報とは、例えば、車線(区画線)、ナビゲーション装置50等のシステム側で推奨される目的地までの経路(推奨車線)、自車両Mの将来の軌道(目標軌道)、他車両等の情報である。また、運転制御時における自車両Mの走行に必要な情報には、手動運転時の自車両Mの走行に必要な情報の一部または全部が含まれてよい。
第2表示部32Bは、例えば、インストルメントパネルIPの中央付近に設置される。第2表示部32Bは、例えば、第1表示部32Aと同様に、LCDや有機EL表示装置等である。第2表示部32Bは、例えば、ナビゲーション装置50により実行されるナビゲーション処理に対応する画像等を表示する。また、第2表示部32Bは、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。また、表示部32には、第1表示部32Aおよび第2表示部32Bに代えて(または加えて)、HUD(Head-Up Display)装置が含まれてもよい。HUD装置は、風景に重畳させて画像を視認させる装置であり、一例として、自車両Mのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。
GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。
ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。
経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。地図上経路は、MPU60に出力される。
ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報、車線の種別の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、ステアリングホイールSW、アクセルペダル、ブレーキペダル、シフトレバー、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
運転制御装置100は、例えば、第1制御部120と、第2制御部160と、第3制御部170と、記憶部180とを備える。第1制御部120、第2制御部160、および第3制御部170は、例えば、CPU(Central Processing Unit)等のコンピュータプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転制御装置100の記憶部180に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部180にインストールされてもよい。
記憶部180は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現される。記憶部180は、例えば、プロセッサによって読み出されて実行されるプログラム等を格納する。
図3は、第1制御部120、第2制御部160、および第3制御部170の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示等がある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自車両Mに対する運転制御の信頼性が担保される。
認識部130は、自車両Mの周辺状況を認識する。例えば、認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺に存在する物体を認識する。認識部130により認識される物体は、例えば、自転車、オートバイク、および四輪自動車等の他車両である。また、物体は、歩行者、道路標識、道路標示、区画線、電柱、ガードレール、落下物等を含む。また、認識部130は、物体の位置や、速度、加速度、操舵角、自車両Mの向き等の自車両Mの状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心等)を原点とした相対座標上の位置(すなわち自車両Mに対する相対位置)として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体が他車両等の移動体である場合に、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、自車両Mの周辺の道路形状を認識する。例えば、認識部130は、自車両Mが走行している自車線や、自車線に隣接した隣接車線を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、自車線や隣接車線を認識する。
また、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレール等を含む走路境界(道路境界)を認識することで、自車線や隣接車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、自車線を認識する際に、自車線に対する自車両Mの相対位置や姿勢を認識する。認識部130は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角度を、自車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、自車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置等を、自車線に対する自車両Mの相対位置として認識してもよい。
行動計画生成部140は、例えば、イベント決定部142と、目標軌道生成部144とを備える。イベント決定部142は、推奨車線が決定された経路において運転制御のイベントを決定する。イベントは、自車両Mの走行態様を規定した情報である。
イベントには、例えば、自車両Mを一定の速度で同じ車線を走行させる定速走行イベント、自車両Mの前方の所定距離以内(例えば100[m]以内)に存在し、自車両Mに最も近い他車両(以下、必要に応じて前走車両と称する)に自車両Mを追従させる追従走行イベント、自車両Mを自車線から隣接車線へと車線変更させる車線変更イベント、自車両Mを一旦隣接車線に車線変更させて前走車両を隣接車線において追い越してから再び元の車線へと車線変更させる追い越しイベント、道路の分岐地点で自車両Mを目的側の車線に分岐させる分岐イベント、合流地点で自車両Mを本線に合流させる合流イベント等が含まれる。「追従」とは、例えば、自車両Mと前走車両との車間距離(相対距離)を一定に維持させる走行態様であってもよいし、自車両Mと前走車両との車間距離を一定に維持させることに加えて、自車両Mを自車線の中央で走行させる走行態様であってもよい。また、イベントには、例えば、運転制御による自動運転を終了して手動運転に切り替えるためのテイクオーバーイベント、自車両Mの前方に存在する障害物を回避するために自車両Mに制動および操舵の少なくとも一方を行わせる回避イベント等が含まれてよい。
また、イベント決定部142は、例えば、自車両Mの走行時に認識部130により認識された周辺の状況に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。
また、イベント決定部142は、乗員の車載機器に対する操作に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。例えば、イベント決定部142は、乗員によってウインカスイッチ等が操作された場合、現在の区間に対して既に決定したイベントを車線変更イベントに変更したり、現在の区間に対して新たに車線変更イベントを決定したりしてよい。
目標軌道生成部144は、原則的には推奨車線決定部61により決定された推奨車線を自車両Mが走行し、更に、自車両Mが推奨車線を走行する際に周辺の状況に対応するため、イベントにより規定された走行態様で自車両Mを自動的に(運転者の操作に依らずに)走行させる将来の目標軌道を生成する。目標軌道には、例えば、将来の自車両Mの位置を定めた位置要素と、将来の自車両Mの速度等を定めた速度要素とが含まれる。
例えば、目標軌道生成部144は、自車両Mが順に到達すべき複数の地点(軌道点)を、目標軌道の位置要素として決定する。軌道点は、所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点である。所定の走行距離は、例えば、経路に沿って進んだときの道なり距離によって計算されてよい。
また、目標軌道生成部144は、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度を、目標軌道の速度要素として決定する。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度は、サンプリング時間および軌道点の間隔によって決定される。目標軌道生成部144は、生成した目標軌道を示す情報を、第2制御部160に出力する。
第2制御部160は、目標軌道生成部144によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
第2制御部160は、例えば、第1取得部162と、速度制御部164と、操舵制御部166とを備える。第1取得部162は、目標軌道生成部144から目標軌道(軌道点)の情報を取得し、記憶部180のメモリに記憶させる。
速度制御部164は、メモリに記憶された目標軌道に含まれる速度要素(例えば目標速度や目標加速度等)に基づいて、走行駆動力出力装置200およびブレーキ装置210の一方または双方を制御する。
操舵制御部166は、メモリに記憶された目標軌道に含まれる位置要素(例えば目標軌道の曲り具合を表す曲率等)に応じて、ステアリング装置220を制御する。実施形態における運転制御とは、例えば、走行駆動力出力装置200およびブレーキ装置210と、ステアリング装置220との一方または双方を制御するものである。
速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーECU(Electronic Control Unit)とを備える。パワーECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
第3制御部170は、例えば、第2取得部172と、HMI制御部174とを備える。HMI制御部174は、「表示制御部」の一例である。
第2取得部172は、認識部130による認識結果の情報を取得する。また、第2取得部172は、目標軌道生成部144により生成された目標軌道の情報を取得する。また、第2取得部172は、ナビゲーション装置50またはMPU60から、自車両Mの周辺の地図情報や目的地までの地図情報を取得する。また、第2取得部172は、推奨車線決定部61により決定された推奨車線の情報を取得する。
HMI制御部174は、第2取得部172によって取得された情報に基づいてHMI30に各種情報を出力させる。例えば、HMI制御部174は、第2取得部172により取得された情報に対応する画像を生成し、生成した画像を表示部32に表示させる。例えば、HMI制御部174は、第1表示部32Aまたは第2表示部32Bのうち、乗員により指定された一方または双方に、生成した画像を表示させる。また、HMI制御部174は、自車両Mの走行態様(例えば、運転制御におけるイベント)に対応付けられた表示部に生成した画像を表示させてもよい。
[各場面におけるHMI制御部の処理]
以下、自車両Mが走行する各場面におけるHMI制御部174の処理について説明する。なお、以下では、主に、乗員による自車両Mの運転操作(手動運転)により、進路変更を行う例について説明する。図4は、各場面を説明するための自車両Mの周辺状況の一例を示す図である。図4の例において、自車両Mは、図4のX方向に延伸する車線L1およびL2のうち、車線NL1を走行しているものとし、車線L1には、分岐車線L3およびL4が存在するものとする。また、以下の例では、ナビゲーション装置50により設定された目的地方面に進行するために、車線L1から車線L1への進路変更が必要であるものとする。また、以下の説明において、自車両Mが地点Pに到達するとは、図4に示す地点P1〜P3のそれぞれから車線L1およびL2の車幅方向(図4のY方向)に延ばした線に到達することと同等であるものとする。
また、以下の説明において、時刻t1〜t5は、「t1<t2<t3<t4<t5」の関係が成り立つものとし、それぞれの時刻における車両の位置を自車両M(T)と称するものとする。また、以下の説明において、HMI制御部174によって生成される画像は、第1表示部32Aに表示されるものとする。また、第1表示部32Aに表示される画像には、エンジンの回転数を示すタコメータや、自車両Mの速度を示すスピードメータ等も含まれもよいが、以下では、これらの説明を省略するものとする。また、HMI制御部174によって生成される画像の種類や、配置等のレイアウトについては、以下に示す画像に限定されるものではない。
<第1の場面(時刻t1)>
第1の場面(時刻t1)は、運転制御装置100が、車線L1を走行している場面である。図5は、第1の場面において、HMI制御部174により生成される自車両周辺画像IM1の一例を示す図である。画像IM1は、第1表示部32Aにおける画像の表示領域の大きさに対応した大きさの画像であるものとする。以降の各画像IMについても同様とする。
この場面において、HMI制御部174は、例えば、認識部130により認識された自車両Mの周辺の道路に擬した道路画像(第1画像の一例)ROを生成する。道路画像ROには、例えば、車線L1およびL2に擬した画像が含まれる。図5の例では、自車両周辺画像IM1の中央(例えば、幅方向の中央)付近に自車両Mが走行する車線L1を位置付けた道路画像ROが示されている。また、HMI制御部174は、車線変更が可能な車線間の区画線と、車線変更が不可能な車線間の区画線を異なる表示態様(例えば、実線と点線等)で表示させてもよい。車線変更が可能か否かは、例えば、地図情報(第1地図情報54、第2地図情報62)を参照することで取得できる。図5の例において、自車両周辺画像IM1には、車線L1およびL2の車線間において、車線変更が可能な区画線(点線)が示されている。
また、HMI制御部174は、自車両Mに擬した画像(以下、自車両画像MI(t1)と称する)を生成し、生成した自車両画像MI(t1)を、道路画像RO上の存在する位置に重畳表示させてもよい。この場合、HMI制御部174は、自車両画像MI(t1)の大きさを、道路画像ROにおける車線の大きさに対応付けて調整してもよい。また、HMI制御部174は、認識部130により認識された他車両mに擬した画像(以下、他車両画像mIと称する)を生成し、生成した他車両画像mIを、道路画像RO上の存在する位置に重畳表示させてもよい。この場合、HMI制御部174は、自車両画像MI(t1)および他車両画像mIのそれぞれを区別可能に乗員に視認されるように、色や模様、形状等を異ならせてもよい。
<第2の場面(時刻t2)>
第2の場面(時刻t2)は、目的地までの経路において、自車両Mが進路変更すべき第1地点P1よりも所定距離D1だけ手前の第2地点P2に到達した場面を示している。地点P1は、例えば、自車両Mが目的地方面に進行するために、車線変更すべき地点である。車線変更すべき地点とは、例えば、車線L1と車線L4との分岐の開始地点あるいは開始地点付近の地点である。また、車線変更すべき地点とは、乗員による車線変更のための操舵操作が開始される地点でもよく、LCAによる運転制御が実行される地点でもよい。所定距離D1は、予め決められた固定距離であるが、道路形状(例えば、車線数、車幅、道路の曲率)や自車両Mの車速等に基づいて可変に設定される距離でもよい。以下では、車線L1およびL2を高速道路とし、所定距離D1を2[km]として説明する。
第2の場面において、HMI制御部174は、第2地点P2に到達した場合に、第2取得部172によって取得された推奨車線に擬した推奨車線画像(第2画像の一例)を生成する。また、HMI制御部174は、第2地点P2に到達した場合に、自車両Mの進路を案内する案内図形に関するターンバイターン画像(第3画像の一例)を生成する。
図6は、第2の場面において、HMI制御部174により生成されるターンバイターン画像IM2aの一例を示す図である。図7は、第2の場面において、HMI制御部174により生成される自車両周辺画像IM2bの一例を示す図である。以下では、自車両周辺画像IM1と異なる部分について説明する。以降のターンバイターン画像および自車両周辺画像についても他の画像と異なる部分について説明するものとする。
ターンバイターン画像IM2aには、例えば、文字情報に関するオブジェクト画像CO1と、進路変更すべき地点P1までの残距離を示すメモリに擬したオブジェクト画像MO1と、進路変更の方向を示すオブジェクト画像DO1とが含まれる。文字情報には、例えば、地点P1までの残距離に関する文字情報や、運転制御に関する文字情報等が含まれる。オブジェクト画像CO1、MO1、およびDO1は、第1の所定色で示された画像である。第1の所定色とは、例えば、予め決められた色でもよく、自車両Mの走行態様に関する画像の色に対応付けられた色でもよい。自車両Mの走行態様に関する画像の色に対応付けられた色とは、例えば、走行態様において、ACCやLKAS等の運転制御が実行される場合において、それぞれの走行態様に応じた色が設定されている場合に、その色に対応付けられた色のことである。また、第1の所定色は、他の表示部に表示された自車両の走行態様に対応付けられた画像の色と同系色の色でもよい。また、第1の所定色は、模様や輝度、明度、彩度の色調や明暗等の調整により乗員に視認可能な色でもよく、所定の透過率により透過された色でもよい。
HMI制御部174は、上述したターンバイターン画像IM2aを、自車両周辺画像IM2bと同じ第1表示部32Aに表示させてもよく、第1表示部32Aとは異なる表示部(例えば、第2表示部32BまたはHUD装置)に表示させてもよい。
また、HMI制御部174は、ターンバイターン画像IM2aを表示させるタイミングで、生成した推奨車線画像RE1を、道路画像RO上に重畳表示させる。推奨車線画像RE1は、例えば、推奨車線に対応する車線の領域の略全域が第2の所定色で色付けされた画像を含む。第2の所定色とは、例えば、予め決められた色でもよく、自車両Mの走行態様に関する画像の色に対応付けられた色でもよい。また、第2の所定色は、第1の所定色と同系色の色でもよい。また、第2の所定色は、模様や輝度、明度、彩度の色調や明暗等の調整により乗員に視認可能な色でもよく、所定の透過率により透過された色でもよい。
HMI制御部174は、推奨車線画像RE1を、道路画像ROに対応付けた位置に表示させる。道路画像ROに対応付けた位置とは、例えば、道路画像ROに含まれる車線L1およびL2のうち、推奨車線に相当する車線の表示位置に対応付けた位置である。推奨車線に相当する車線の一例としては、進路変更先の車線L4に、現時点で隣接する車線、または近い将来隣接する車線があるが、これに限定されるものではない。図7の例では、自車両周辺画像IM2bは、道路画像ROに含まれる、将来的に車線L4の隣接車線となる車線L1の領域の略全域に、推奨車線画像RE1が重畳表示されている。
これにより、HMI制御部174は、乗員に、近い将来に進路変更を行う必要があること、および現時点で進路変更を行う必要がないことを、より正確に認識させることができる。
<第3の場面(時刻t3)>
第3の場面(時刻t3)は、時刻t2から所定時間が経過し、車線L3を含む道路画像ROが第1表示部32Aに表示される場面である。具体的には、第3の場面は、地点P1からの残距離が1.5[km]の地点を自車両Mが走行している場面を示している。
図8は、第3の場面において、HMI制御部174により生成されるターンバイターン画像IM3aの一例を示す図である。図9は、第3の場面において、HMI制御部174により生成される自車両周辺画像IM3bの一例を示す図である。第3の場面において、HMI制御部174は、図8のターンバイターン画像IM3aに示すように、地点P1までの残距離が1.5[km]であることを示すオブジェクト画像CO2と、残距離に対応してメモリの残量を調整したオブジェクト画像MO2と、進路変更の方向を示すオブジェクト画像DO2とを生成する。オブジェクト画像DO2は、オブジェクト画像DO1と同様の画像である。したがって、HMI制御部174は、変更がないオブジェクト画像については、新たに画像を生成せずに、前回生成したオブジェクト画像DO1をそのまま流用してもよい。
また、第3の場面において、HMI制御部174は、車線L1から分岐する車線L3を含む道路画像ROを生成する。また、HMI制御部174は、推奨車線画像RE1を生成し、生成した推奨車線画像RE1を、図9の自車両周辺画像IM3bに示すように、車線L1上に表示させる。これにより、乗員は、ターンバイターン画像IM3aにより、誤って車線L3に進路変更することなく、車線L1を走行し続けることができる。
<第4の場面(時刻t4)>
第4の場面(時刻t4)は、時刻t3から所定時間が経過し、地点P1からの残距離が800[m]の場面を示している。
図10は、第4の場面において、HMI制御部174により生成されるターンバイターン画像IM4aの一例を示す図である。図11は、第4の場面において、HMI制御部174により生成される自車両周辺画像IM4bの一例を示す図である。第4の場面において、HMI制御部174は、図10のターンバイターン画像IM4aに示すように、地点P1までの残距離が800[m]であることを示すオブジェクト画像CO3と、残距離に対応してメモリの残量を調整したオブジェクト画像MO3と、進路変更の方向を示すオブジェクト画像DO3とを生成する。オブジェクト画像DO3は、オブジェクト画像DO1と同様の画像である。したがって、HMI制御部174は、オブジェクト画像DO1をそのまま流用してもよい。
また、第4の場面において、HMI制御部174は、車線L3の道路形状に合わせて車線L3が車線L1から分岐した形状の道路画像ROを生成する。このような場面においても、推奨車線画像RE1は、図11の自車両周辺画像IM4bに示すように、車線L1上に表示されるため、乗員は、焦ることなく車線L1に沿った運転を継続させることができる。
<第5の場面(時刻t5)>
第5の場面(時刻t5)は、時刻t4から所定時間が経過し、自車両Mが、第2地点P2よりも第1地点P1に近い第3地点P3に到達した場面である。地点P3は、自車両Mに対して、地点P1からの距離D2だけ手前の地点である。距離D2は、例えば、30[m]である。
図12は、第5の場面において、HMI制御部174により生成されるターンバイターン画像IM5aの一例を示す図である。図13は、第5の場面において、HMI制御部174により生成される自車両周辺画像IM5bの一例を示す図である。第5の場面において、HMI制御部174は、図12のターンバイターン画像IM5aに示すように、地点P1までの残距離が30[m]であることを示すオブジェクト画像CO4と、残距離に対応してメモリの残量を調整したオブジェクト画像MO4と、進路変更の方向を示すオブジェクト画像DO4とを生成する。オブジェクト画像DO4は、オブジェクト画像DO1と同様の画像であるため、HMI制御部174は、変更がないオブジェクト画像については、新たに画像を生成せずに、前回生成したオブジェクト画像DO1をそのまま流用してもよい。
また、第5の場面において、HMI制御部174は、車線L1から分岐する車線L4を含む道路画像ROを生成する。また、HMI制御部174は、第5の場面において、乗員により進路変更を実行させるために、進路変更先の車線L4に重畳して表示させる推奨車線画像RE2を生成する。これにより、乗員は、ターンバイターン画像IM5aにより表示された情報が車線L4に対する進路変更であることを、より正確に把握することができる。
また、HMI制御部174は、自車両Mの車線L4へ進路変更が完了した時点で、ターンバイターン画像および推奨車線画像の表示を終了する。自車両Mの車線L4へ進路変更が完了した時点とは、例えば、車線L1から車線L4への車線変更により、自車両Mの所定の位置(例えば、重心)が、車線L4の幅方向の中央付近に存在する場合、または自車両Mの全体が車線L4内に存在すると推測される時点である。
上述したように、HMI制御部174は、ターンバイターン画像の表示の開始または終了に同期させて、推奨車線画像を表示させる。これにより、HMI制御部174は、近い将来に進路変更を行う必要があることをターンバイターン画像により、事前に乗員に把握させることができるとともに、進路変更(例えば、車線変更)を行うタイミングを推奨車線画像の表示位置の変化によって乗員に把握させることができる。また、乗員に、現在の車線が目的地方向へ進行する車線であるか否かを、より正確に把握させることができる。したがって、より乗員に分かりやすい経路案内を行うことができる。
<変形例>
HMI制御部174による画像の表示態様の変形例について説明する。例えば、HMI制御部174は、目的地方面へ進行可能な車線が複数車線ある場合に、複数の進路変更後の車線のそれぞれに推奨車線画像を重畳して表示させてもよい。図14は、HMI制御部174により生成される自車両周辺画像IM6bの一例を示す図である。図14の例では、車線L1〜L3のうち、車線L3から分岐する車線L1およびL2が目的地方面に進行可能な車線であるものとする。
HMI制御部174は、道路画像ROに対して、車線L1およびL2のそれぞれに重畳する推奨車線画像RE3を生成し、生成した推奨車線画像RE3を道路画像ROに含まれる車線L1およびL2に擬した画像上に重畳表示させる。これにより、HMI制御部174は、乗員に、車線L1およびL2の何れかの車線上を走行することで、目的地方面へ進行することができることを容易に把握させることができる。
また、HMI制御部174は、自車両Mに対する走行態様を示す画像を生成し、生成した画像を道路画像ROに重畳表示させてもよい。図14の例において、自車両周辺画像IM6bには、LKASによる運転制御が実行されていることを示す画像の一例として、車線L1を区画する左右の区画線を車両システム側(認識部130等)で認識していることを示す画像BLおよびBRが、車線L1の自車両M付近の左右の区画線に沿って重畳表示されている。
また、HMI制御部174は、LKAS以外の走行態様(例えば、ACC、LCA)等に関する走行態様に対応付けられた画像を生成し、生成した画像を道路画像ROに重畳表示させてもよい。例えば、ACCが実行されている場合、HMI制御部174は、前走車両に対応する他車両画像mや、追従走行における目標軌道に擬した画像、追従対象の前走車両をシステム側で認識していることを示すロックオン画像等を生成し、生成した画像を道路画像に対応付けて重畳表示させる。これにより、乗員に、自車両Mの走行態様(運転制御の状態)を、より詳細に把握させることができる。
[処理フロー]
以下、実施形態の表示システムによる一連の処理の流れを、フローチャートを用いて説明する。図15は、表示システムによる一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、ナビゲーション装置50により設定された目的地までの自車両Mの走行において、所定の周期で繰り返し実行されてよい。
まず、HMI制御部174は、認識部130等により認識された自車両Mの周辺状況に基づいて、自車両Mの周辺の道路画像を生成し、生成した画像を表示部32に表示させる(ステップS100)。次に、HMI制御部174は、第2取得部172により取得された情報に基づいて、自車両Mが進路変更を行うべき第1地点P1よりも所定距離手前の第2地点P2に到達したか否かを判定する(ステップS102)。
自車両Mが第2地点P2に到達したと判定された場合、HMI制御部174は、第2取得部172により取得された情報に基づいて、自車両Mが第2地点P2よりも第1地点P1に近い、第3地点P3に到達しているか否かを判定する(ステップS104)。第3地点P3に到達していると判定された場合、HMI制御部174は、進路変更先に対応するターンバイターン画像および推奨車線画像を生成し、生成したターンバイターン画像を表示するとともに、推奨車線画像を道路画像に含まれる進路変更先の車線に重畳表示させる(ステップS106)。また、ステップS104の処理において、第3地点P3に到達していないと判定された場合、HMI制御部174は、進路変更先に対応するターンバイターン画像および推奨車線画像を生成し、生成したターンバイターン画像を表示するとともに、推奨車線画像を、推奨車線に重畳表示させる(ステップS108)。
次に、HMI制御部174は、自車両Mの進路変更が終了したか否かを判定する(ステップS110)。自車両Mの進路変更が終了していないと判定された場合、ステップS104の処理に戻る。また、自車両Mの進路変更が終了していると判定された場合、HMI制御部174は、ターンバイターン画像および推奨車線画像の表示を終了する(ステップS112)。これにより、本フローチャートの処理は、終了する。また、ステップS102の処理において、自車両Mが第2地点P2に到達していないと判定された場合にも、本フローチャートの処理は、終了する。
以上説明した実施形態によれば、より乗員に分かりやすい経路案内を行うことができる。より具体的には、実施形態によれば、乗員に対し、目的地方面に進行するために、近い将来に進路変更を行う必要があることをターンバイターン画像により予告表示することができるとともに、道路画像上に重畳される推奨車線画像の表示位置を変化させることで、進路変更すべき分岐地点付近であること、および進路変更を行うタイミングであることを、より正確に把握させることができる。これにより、表示システムは、より乗員に安心感を与える表示制御を行うことができる。
[ハードウェア構成]
図16は、実施形態の表示システムを備えた車両システム1における運転制御装置100のハードウェア構成の一例を示す図である。図示するように、運転制御装置100は、通信コントローラ100−1、CPU100−2、ワーキングメモリとして使用されるRAM100−3、ブートプログラム等を格納するROM100−4、フラッシュメモリやHDD等の記憶装置100−5、ドライブ装置100−6等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100−1は、運転制御装置100以外の構成要素との通信を行う。記憶装置100−5には、CPU100−2が実行するプログラム100−5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)等によってRAM100−3に展開されて、CPU100−2によって実行される。これによって、第1制御部120、第2制御部160、および第3制御部170のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
画像を表示する表示部と、
プログラムを記憶するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
前記車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させ、
前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、
ように構成されている、表示システム。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、32…表示部、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、100…運転制御装置、120…第1制御部、130…認識部、140…行動計画生成部、142…イベント決定部、144…目標軌道生成部、160…第2制御部、162…第1取得部、164…速度制御部、166…操舵制御部、170…第3制御部、172…第2取得部、174…HMI制御部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置

Claims (7)

  1. 画像を表示する表示部と、
    車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、
    表示システム。
  2. 前記表示制御部は、前記第3画像の表示の開始および終了に同期させて、前記第2画像を表示させる、
    請求項1に記載の表示システム。
  3. 前記表示制御部は、前記車両が前記第2地点よりも前記第1地点に近い第3地点に到達した場合に、前記第2画像を、進路変更後の車線に重畳して表示させる、
    請求項1または2に記載の表示システム。
  4. 前記表示制御部は、前記進路変更後の車線が複数ある場合に、複数の進路変更後の車線のそれぞれに前記第2画像を重畳して表示させる、
    請求項3に記載の表示システム。
  5. 前記表示制御部は、前記車両の走行態様に関する画像を表示部に表示させるとともに、前記第2画像を前記走行態様に関する画像の色に対応付けられた色で、前記表示部に表示させる、
    請求項1から4のうち、何れか1項に記載の表示システム。
  6. 画像を表示する表示部を備える車両に搭載されたコンピュータが、
    前記車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させ、
    前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、
    表示方法。
  7. 画像を表示する表示部を備える車両に搭載されたコンピュータに、
    前記車両の周辺の道路に擬した第1画像と、前記周辺の道路のうち、前記車両に設定された目的地までの経路に基づいて決定される推奨車線に擬した第2画像とを、前記表示部に表示させ、
    前記目的地までの経路において、前記車両が進路変更すべき第1地点よりも所定距離手前の第2地点に到達した場合に、前記表示部に、前記車両の進路を案内する第3画像と、前記第2画像とを表示させる、
    プログラム。
JP2018181659A 2018-09-27 2018-09-27 表示システム、表示方法、およびプログラム Pending JP2020051902A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018181659A JP2020051902A (ja) 2018-09-27 2018-09-27 表示システム、表示方法、およびプログラム
CN201910880064.8A CN110954126A (zh) 2018-09-27 2019-09-18 显示系统、显示方法及存储介质
US16/575,459 US11137264B2 (en) 2018-09-27 2019-09-19 Display system, display method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018181659A JP2020051902A (ja) 2018-09-27 2018-09-27 表示システム、表示方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2020051902A true JP2020051902A (ja) 2020-04-02

Family

ID=69945763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018181659A Pending JP2020051902A (ja) 2018-09-27 2018-09-27 表示システム、表示方法、およびプログラム

Country Status (3)

Country Link
US (1) US11137264B2 (ja)
JP (1) JP2020051902A (ja)
CN (1) CN110954126A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11338821B2 (en) * 2018-09-19 2022-05-24 Honda Motor Co., Ltd. Display system, display method, and storage medium
JP2022084442A (ja) * 2020-11-26 2022-06-07 本田技研工業株式会社 画像処理装置、運転支援装置および車両
JP2022121178A (ja) * 2021-02-08 2022-08-19 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム
JP7427556B2 (ja) 2020-07-27 2024-02-05 株式会社東芝 運転制御装置、運転制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340826A (ja) * 2003-05-16 2004-12-02 Xanavi Informatics Corp ナビゲーション装置
JP2007127416A (ja) * 2005-10-31 2007-05-24 Aisin Aw Co Ltd 経路案内システム及び経路案内方法
JP2016145783A (ja) * 2015-02-09 2016-08-12 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP2017109633A (ja) * 2015-12-17 2017-06-22 三菱自動車工業株式会社 電動車の制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340825A (ja) * 2003-05-16 2004-12-02 Xanavi Informatics Corp ナビゲーション装置
US8451108B2 (en) * 2007-10-12 2013-05-28 Mitsubishi Electric Corporation On-vehicle information providing device
JP5708449B2 (ja) * 2011-11-08 2015-04-30 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
DE102014209751A1 (de) * 2014-05-22 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Anzeige von Manöverhinweisen für eine Fahrtroute
US10579055B2 (en) * 2014-12-29 2020-03-03 Robert Bosch Gmbh Drive state indicator for an autonomous vehicle
JP6614573B2 (ja) 2015-12-18 2019-12-04 日立オートモティブシステムズ株式会社 自動運転制御装置および自動運転制御方法
JP6493923B2 (ja) * 2016-11-08 2019-04-03 本田技研工業株式会社 情報表示装置、情報表示方法、および情報表示プログラム
JP6532170B2 (ja) * 2016-11-22 2019-06-19 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340826A (ja) * 2003-05-16 2004-12-02 Xanavi Informatics Corp ナビゲーション装置
JP2007127416A (ja) * 2005-10-31 2007-05-24 Aisin Aw Co Ltd 経路案内システム及び経路案内方法
JP2016145783A (ja) * 2015-02-09 2016-08-12 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP2017109633A (ja) * 2015-12-17 2017-06-22 三菱自動車工業株式会社 電動車の制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11338821B2 (en) * 2018-09-19 2022-05-24 Honda Motor Co., Ltd. Display system, display method, and storage medium
JP7427556B2 (ja) 2020-07-27 2024-02-05 株式会社東芝 運転制御装置、運転制御方法及びプログラム
JP2022084442A (ja) * 2020-11-26 2022-06-07 本田技研工業株式会社 画像処理装置、運転支援装置および車両
JP2022121178A (ja) * 2021-02-08 2022-08-19 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム
JP7252993B2 (ja) 2021-02-08 2023-04-05 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム

Also Published As

Publication number Publication date
US20200103248A1 (en) 2020-04-02
US11137264B2 (en) 2021-10-05
CN110954126A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
JP7086798B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN110371114B (zh) 车辆控制装置、车辆控制方法及存储介质
US10589752B2 (en) Display system, display method, and storage medium
US11008016B2 (en) Display system, display method, and storage medium
JP7043450B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP6254554B2 (ja) 情報提示システム
US11338821B2 (en) Display system, display method, and storage medium
CN111279689B (zh) 显示系统、显示方法及存储介质
US11137264B2 (en) Display system, display method, and storage medium
US11200806B2 (en) Display device, display control method, and storage medium
WO2018123346A1 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2020052559A (ja) 車両制御装置、車両制御方法、及びプログラム
CN111824141B (zh) 显示控制装置、显示控制方法及存储介质
US11183069B2 (en) Display control device, display control method, and storage medium
CN110888432B (zh) 显示系统、显示控制方法及存储介质
JP7228549B2 (ja) 制御装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220712