JP2020183192A - 表示制御装置及び表示制御プログラム - Google Patents

表示制御装置及び表示制御プログラム Download PDF

Info

Publication number
JP2020183192A
JP2020183192A JP2019088607A JP2019088607A JP2020183192A JP 2020183192 A JP2020183192 A JP 2020183192A JP 2019088607 A JP2019088607 A JP 2019088607A JP 2019088607 A JP2019088607 A JP 2019088607A JP 2020183192 A JP2020183192 A JP 2020183192A
Authority
JP
Japan
Prior art keywords
lane
display
content
lca
ltc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019088607A
Other languages
English (en)
Other versions
JP7188271B2 (ja
Inventor
清水 泰博
Yasuhiro Shimizu
泰博 清水
明彦 柳生
Akihiko Yagyu
明彦 柳生
大祐 竹森
Daisuke Takemori
大祐 竹森
一輝 小島
Kazuteru Kojima
一輝 小島
しおり 間根山
Shiori MANEYAMA
しおり 間根山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019088607A priority Critical patent/JP7188271B2/ja
Publication of JP2020183192A publication Critical patent/JP2020183192A/ja
Application granted granted Critical
Publication of JP7188271B2 publication Critical patent/JP7188271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】車線内走行及び車線変更に関する案内を分り易く提示可能な表示制御装置を提供する。【解決手段】HCU100は、車両に用いられ、ヘッドアップディスプレイ20による表示を制御する表示制御装置の機能を有している。HCU100は、車両の車線変更を制御する車線変更制御部52から取得するLCA情報に基づき、車線変更の予想軌跡を示すLCA実行コンテンツを重畳対象としての路面に重畳表示させる。加えてHCU100は、車両の車線内走行を制御する車線維持制御部51から車線変更の完了後の運転制御に関するLTC情報を取得する。この場合、HCU100は、取得したLTC情報に基づき、車線変更後における車線内走行の実行予定を示すLTC予告コンテンツをLCA実行コンテンツと共に表示させる。【選択図】図3

Description

この明細書による開示は、ヘッドアップディスプレイによる表示を制御する表示制御装置及び表示制御プログラムに関する。
従来、例えば特許文献1には、車線変更の軌道を自動的に生成し、生成した軌道に応じて車線変更先に自車を自動誘導する走行制御装置が記載されている。特許文献1の走行制御装置は、自動誘導に基づく車線変更の開始位置及び終了位置を案内する表示と、車線変更の開始位置までの車線内走行を案内する表示とを、自車の前景を撮像したリアル画像に重ねて、メータ又はナビゲーション装置等の表示器に表示させる。
特許第6387369号公報
特許文献1には、車線変更及びレーン維持の各案内を表示させる表示器として、ヘッドアップディスプレイを採用可能であることが記載されている。しかし、通常の表示器の画面表示を、ヘッドアップディスプレイを用いて虚像表示させても、車線変更及び車線内走行の案内は、分かり易くならない虞があった。
本開示は、車線内走行及び車線変更に関する案内を分り易く提示可能な表示制御装置及び表示制御プログラムの提供を目的とする。
上記目的を達成するため、開示された一つの態様は、車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、車両の車線内走行を制御する車線維持制御部(51)から、運転制御に関する運転制御情報を取得する制御情報取得部(73)と、車両の車線変更を制御する車線変更制御部(52)から、車線変更に関する車線変更情報を取得する変更情報取得部(74)と、車線変更情報に基づき、車線変更の予想軌跡を示す車線変更コンテンツ(CTc)を、重畳対象としての路面に重畳表示させる表示制御部(75)と、を備え、表示制御部は、車線変更の完了後の運転制御に関する運転制御情報が取得された場合に、運転制御情報に基づき、車線変更後における車線内走行の実行予定を示す制御予告コンテンツ(CTpt)を、車線変更コンテンツと共に表示させる表示制御装置とされる。
また開示された一つの態様は、車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、少なくとも一つの処理部(11)に、車両の車線変更を制御する車線変更制御部(52)から、車線変更に関する車線変更情報を取得し(S107,S108)、車線変更情報に基づき、車線変更の予想軌跡を示す車線変更コンテンツ(CTc)を、重畳対象としての路面に重畳表示させ(S116)、車両の車線内走行を制御する車線維持制御部(51)から、車線変更の完了後の運転制御に関する運転制御情報を取得し(S117)、運転制御情報に基づき、車線変更後における車線内走行の実行予定を示す制御予告コンテンツ(CTpt)を、車線変更コンテンツと共に表示させる(S121,S122)、ことを含む処理を実行させる表示制御プログラムとされる。
これらの態様では、車線変更制御部による車線変更から車線維持制御部による車線内走行に移行する場合、車線変更後における車線内走行の実行予定を示す制御予告コンテンツが、路面に重畳表示された車線変更コンテンツに加えて表示される。以上のように、車線変更コンテンツ及び制御予告コンテンツのうちに、重畳対象を特定された重畳コンテンツが含まれていれば、ドライバは、通常の視認行動を通じて認識する表示の変化から、制御の遷移予定を把握できる。したがって、車線内走行及び車線変更に関する案内の分り易い提示が可能となる。
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
本開示の第一実施形態によるHCUを含む車載ネットワークの全体像を示す図である。 車両に搭載されるヘッドアップディスプレイの一例を示す図である。 HCUの概略的な構成の一例を示す図である。 表示生成部にて実施される表示レイアウトのシミュレーションの一例を、可視化して示す図である。 表示生成部にて実施される表示レイアウトのシミュレーションの一例を、可視化して示す図である。 LTC実行表示を示す図である。 LCA受付表示を示す図である。 LC実行区間が画角内にない場合のLCA待機表示を示す図である。 LC実行区間が画角内にある場合のLCA待機表示を示す図である。 LCA実行表示を示す図である。 移動先車線が画角内にない場合のLCA待機表示及びLCA実行表示を示す図である。 LTC移行表示を示す図である。 LTC待機表示を示す図である。 LCA機能による車線変更の完了後におけるLTC実行表示を示す図である。 第一実施形態の表示制御方法を実現する処理の詳細を、図16及び図17と共に示すフローチャートである。 第一実施形態の表示制御方法を実現する処理の詳細を、図15及び図17と共に示すフローチャートである。 第一実施形態の表示制御方法を実現する処理の詳細を、図15及び図16と共に示すフローチャートである。 第二実施形態のLTC実行表示を示す図である。 第二実施形態のLCA受付表示を示す図である。 第二実施形態のLCA待機表示であって、LC実行区間が画角内にない場合のLCA待機表示を示す図である。 第二実施形態のLCA待機表示であって、LC実行区間が画角内にある場合のLCA待機表示を示す図である。 第二実施形態のLCA実行表示を示す図である。 第二実施形態において、移動先車線が画角内にない場合のLCA待機表示及びLCA実行表示を示す図である。 第二実施形態のLTC移行表示を示す図である。 第二実施形態のLTC待機表示を示す図である。 LCA機能による車線変更の完了後におけるLTC実行表示を示す図である。 第三実施形態のLCA受付表示を示す図である。 第三実施形態のLCA待機表示を示す図である。 第三実施形態のLTC移行表示を示す図である。 変形例1におけるLCA受付表示、LCA待機表示及びLCA実行表示の遷移を示す図である。 変形例2のLCA待機表示を示す図である。 変形例2のLTC移行表示を示す図である。 変形例3のLCA待機表示を示す図である。 変形例4のLCA待機表示を示す図である。 変形例5のLCA受付表示を示す図である。 変形例6のLTC移行表示を示す図である。 移動先車線が画角外である場合の変形例7のLCA待機表示を示す図である。 変形例8のLTC待機表示を示す図である。 変形例9のLCA待機表示及びLTC移行表示を示す図である。
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本開示の第一実施形態による表示制御装置の機能は、図1及び図2に示すHCU(Human Machine Interface Control Unit)100によって実現されている。HCU100は、車両Aにおいて用いられるHMI(Human Machine Interface)システム10を、ヘッドアップディスプレイ(以下、「HUD」)20等と共に構成している。HMIシステム10には、操作デバイス26及びDSM(Driver Status Monitor)27等がさらに含まれている。HMIシステム10は、車両Aの乗員(例えばドライバ等)によるユーザ操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。
HMIシステム10は、車両Aに搭載された車載ネットワーク1の通信バス99に通信可能に接続されている。HMIシステム10は、車載ネットワーク1に設けられた複数のノードのうちの一つである。車載ネットワーク1の通信バス99には、周辺監視センサ30、ロケータ40、DCM(Data Communication Module)49等がノードとして接続されている。さらに通信バス99には、運転支援ECU(Electronic Control Unit)50及びボディECU55等がノードとして接続されている。通信バス99に接続されたこれらのノードは、相互に通信可能である。
周辺監視センサ30は、車両Aの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、及び他車両等の移動物体、さらに路上の落下物、ガードレール、縁石、道路標識、走行区画線等の路面表示、及び道路脇にある構造物等の静止物体、を検出可能である。周辺監視センサ30は、車両Aの周囲の物体を検出した検出情報を、通信バス99を通じて、運転支援ECU50等に提供する。
周辺監視センサ30は、物体検出のための検出構成として、フロントカメラ31及びミリ波レーダ32を有している。フロントカメラ31は、車両Aの前方範囲を撮影した撮像データ、及び撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ32は、例えば車両Aの前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ32は、ミリ波又は準ミリ波を、車両Aの前方範囲、前側方範囲、後方範囲及び後側方範囲等へ向けて照射する。ミリ波レーダ32は、移動物体及び静止物体等で反射された反射波を受信する処理により、検出情報を生成する。尚、ライダ及びソナー等の検出構成が、周辺監視センサ30に含まれていてもよい。
ロケータ40は、複数の取得情報を組み合わせる複合測位により、車両Aの高精度な位置情報等を生成する。ロケータ40は、例えば複数車線のうちで、車両Aが走行する車線を特定可能である。ロケータ40は、GNSS(Global Navigation Satellite System)受信器41、慣性センサ42、高精度地図データベース(以下、「高精度地図DB」)43、及びロケータECU44を含む構成である。ロケータ40は、電子コンパス等の他のセンサ構成を含んでいてもよい。
GNSS受信器41は、複数の人工衛星(測位衛星)から送信された測位信号を受信する。GNSS受信器41は、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等の衛星測位システムのうちで、少なくとも一つの衛星測位システムの各測位衛星から、測位信号を受信可能である。
慣性センサ42は、例えばジャイロセンサ及び加速度センサを有している。高精度地図DB43は、不揮発性メモリを主体に構成されており、ナビゲーションに用いられる通常の地図データよりも高精度な地図データ(以下、「高精度地図データ」)を記憶している。高精度地図データは、少なくとも高さ(z)方向の情報について、詳細な情報を保持している。高精度地図データには、道路の三次元形状情報、レーン数情報、各レーンに許容された進行方向を示す情報等、高度運転支援及び自動運転に利用可能な情報が含まれている。
ロケータECU44は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータECU44は、GNSS受信器41で受信する測位信号、慣性センサ42の計測結果、及び通信バス99に出力された車速情報等を組み合わせ、車両Aの自車位置及び進行方向等を逐次測位する。ロケータECU44は、測位結果に基づく車両Aの位置情報及び方角情報を、通信バス99を通じて、運転支援ECU50及びHCU100等に提供する。加えてロケータECU44は、運転支援ECU50及びHCU100等からの要求に応じて、該当する高精度地図データを高精度地図DB43から読み出し、要求元となるECUに提供する。
DCM49は、車両Aに搭載される通信モジュールである。DCM49は、LTE(Long Term Evolution)及び5G等の通信規格に沿った無線通信により、車両Aの周囲の基地局との間で電波を送受信する。DCM49の搭載により、車両Aは、インターネットに接続可能なコネクテッドカーとなる。DCM49は、クラウド上に設けられたプローブサーバから、最新の高精度地図データを取得可能である。DCM49は、ロケータECU44と連携して、高精度地図DB43に格納された高精度地図データを、最新の情報に更新する。
運転支援ECU50は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ECU50は、ドライバの運転操作を支援する運転支援機能を備えている。運転支援ECU50は、米国自動車技術会の規定する自動運転レベルにおいて、レベル2以下の部分的な自動走行制御(高度運転支援)を可能にする。
運転支援ECU50は、周辺監視センサ30から取得する検出情報に基づき、後述の運転制御のために、車両Aの周囲の走行環境を認識する。運転支援ECU50は、走行環境認識にて実施した検出情報の解析の結果を、解析済みの検出情報として、HCU100に提供する。運転支援ECU50は、車両Aが現在走行する車線(以下、「自車車線Lns」,図6参照)の左右の区画線(又は道路端)の相対位置及び形状を示す情報(以下、「境界情報」)を、HCU100に提供可能である。尚、左右の方向は、水平面上に静止した車両Aの幅方向と一致する方向であり、車両Aの進行方向を基準として設定される。
運転支援ECU50は、プロセッサによるプログラムの実行により、高度運転支援を実現する複数の機能部を有する。具体的に、運転支援ECU50は、ACC(Adaptive Cruise Control)制御部、車線維持制御部51及び車線変更制御部52を有する。ACC制御部は、目標車速で車両Aを定速走行させるか、又は前走車との車間距離を維持しつつ車両Aを追従走行させるACCの機能を実現する機能部である。ACC制御部は、ACC機能の作動状態を示すACCステータス情報を、HCU100に逐次提供する。
車線維持制御部51は、車両の車線内走行を制御するLTC(Lane Trace Control)の機能を実現する機能部である。車線維持制御部51は、フロントカメラ31の撮像データ等から抽出された境界情報に基づき、車両Aの操舵輪の舵角を制御する。車線維持制御部51は、自車車線Lns(図6参照)の中央を車両Aが走行するように、当該自車車線Lnsに沿う形状の予定走行ラインPRL(図4及び図5参照)を生成する。車線維持制御部51は、ACC制御部と連携し、予定走行ラインPRLに従い、車両Aを自車車線Lns内で走行(以下「車線内走行」)させる運転制御を行う。
車線維持制御部51は、例えば操作デバイス26へのユーザ操作に基づきLTC機能を起動させると、車線内走行の運転制御に関する運転制御情報(以下、「LTC情報」)を、HCU100に逐次提供する。LTC情報には、ステータス情報及びライン形状情報が少なくとも含まれている。
ステータス情報は、LTC機能の作動状態が、待機状態、実行状態及び実行可能状態のいずれであるかを示す情報である。待機状態では、区画線又は道路端の探索が継続的に実施される。一方で、車線内走行を行う運転制御は、待機状態においては実行(開始)されない。実行状態は、区画線又は道路端を認識しており、運転制御を実施している状態である。実行可能状態は、車線変更制御部52にて後述の車線変更が実施されるため、車線内走行を行う運転制御を一時的に中断した状態である。実行可能状態では、区画線又は道路端が認識されている。故に、実行可能状態であれば、車線変更の完了後に、車線内走行を行う運転制御は、再開可能となる。実行可能状態を示すステータス情報は、車線変更完了後の運転制御に関するLTC情報となる。
ライン形状情報は、予定走行ラインPRLの形状を示す情報である。ライン形状情報に基づき、HCU100は、予定走行ラインPRLの形状を復元できる。一例として、ライン形状情報は、予定走行ラインPRLの形状を規定する複数の特定点の三次元座標、並びに各特定点を接続する仮想線の長さ及び曲率半径等を少なくとも含むデータ形式であってよい。また別の一例として、ライン形状情報は、予定走行ラインPRL上に並ぶポイントを、所定の間隔で規定する多数の座標情報を含むデータ形式であってよい。
車線変更制御部52は、車両の車線変更を制御するLCA(Lane Change Assist)の機能を実現する機能部である。車線変更制御部52は、運転支援機能による車線変更の実施を指示するオン操作(後述する)がドライバによって入力されると、LCA機能を起動させる。LCA機能は、LTC機能が作動状態にある場合に限り、使用可能となる。車線変更制御部52は、車両Aの操舵輪の舵角を自動制御することにより、自車車線Lnsから隣接車線へと車両Aを移動させる。このとき車線変更制御部52は、車線維持制御部51におけるLTC機能を一時的に待機状態(又は実行可能状態)へと遷移させ、車線内走行を行う運転制御を一時的に中断させることで、自車車線Lnsからの離脱を伴う隣接車線への移動を可能にする。車線変更制御部52は、車線変更を完了すると、オフ状態へと遷移する。その結果、車線維持制御部51は、実行可能状態から実行状態へと遷移し、車線内走行を行う運転制御を再開させる。
車線変更制御部52は、自車車線Lnsから、車線変更での移動先となる隣接車線(以下、「移動先車線Lnd」,図6参照)へ向かう予定走行ラインPRL(図4及び図5参照)を生成する。車線変更制御部52は、予定走行ラインPRLに従って、自車車線Lnsから移動先車線Lndへの車線変更を実行する。車線変更のための予定走行ラインPRLは、車線維持制御部51にて生成される車線内走行のための予定走行ラインPRLと連続する形状に生成される。
尚、車線変更制御部52による自動車線変更では、横方向の加速度又は移動速度に上限が設定されている。故に、軌跡形状情報の示す予定走行ラインPRLの形状は、車速情報の示す走行速度が高くなるほど、道路の延伸方向に沿って長くなる。そのため、車線変更に必要とされる距離(後述の「LC実行区間SLc」,図4及び図5参照)も長くなる。
車線変更制御部52は、オン操作に基づいてLCA機能を起動させると、車線変更に関する車線変更情報(以下、「LCA情報」)を、HCU100に逐次提供する。LCA情報にも、LTC情報と同様に、ライン形状情報に加えて、ステータス情報が少なくとも含まれている。
ステータス情報は、LCA機能の作動状態が、起動開始状態、待機状態及び実行状態のいずれであるかを示す情報である。起動開始状態は、オン操作を受け付けた直後の状態である。起動開始状態では、検出情報に基づき、車線変更での移動先となる移動先車線Lnd(図6参照)に、他車両が存在するか否かの確認(以下、「周辺チェック」)が実施される。周辺チェックにて検出対象とされる他車両は、移動先車線Lndを走行中の車両に限定されず、移動先車線Lndを挟んで自車車線Lnsの反対側に位置する車線から、移動先車線Lndに車線変更可能な車両を含んでいてもよい。周辺チェックが完了すると、LCA機能の作動状態は、待機状態及び実行状態のいずれかに設定される。周辺チェックの結果、自車の車線変更を妨げる他車両が存在している場合、LCA機能は、待機状態となる。一方で、自車の車線変更を妨げるような他車両が存在しない場合、LCA機能は、起動開始状態又は待機状態から、車線変更を開始する実行状態へと、作動状態を遷移させる。
ボディECU55は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたマイクロコントローラを主体として含む構成である。ボディECU55は、前照灯及び方向指示器等、車両Aに搭載された灯火装置の作動を制御する機能を少なくとも有している。ボディECU55は、方向指示スイッチ56と電気的に接続されている。
方向指示スイッチ56は、ステアリングコラム部8に設けられたレバー状の操作部である。ボディECU55は、方向指示スイッチ56へ入力されるユーザ操作の検知に基づき、操作方向に対応した左右いずれかの方向指示器の点滅を開始させる。方向指示スイッチ56には、手動運転の状態にて方向指示器の点滅作動を開始させる通常のユーザ操作に加えて、LTC機能が作動した状態にて、車線変更制御部52に車線変更制御の実施を指示するオン操作が入力される。一例として、方向指示スイッチ56を所定時間(例えば1〜3秒程度)半押し状態とするユーザ操作が、LCA機能のオン操作とされている。ボディECU55は、LCA機能のオン操作の入力を検知すると、運転支援ECU50へ向けてオン操作情報を出力する。オン操作情報では、オン操作の入力があったこと及びオン操作の左右の入力方向が、オン操作に関する情報として通知される。
次に、HMIシステム10に含まれる操作デバイス26、DSM27、HUD20及びHCU100の各詳細を順に説明する。
操作デバイス26は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス26には、例えば運転支援機能等について、起動及び停止の切り替えを行うユーザ操作が入力される。具体的には、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部8に設けられた操作レバー、及びドライバの発話を検出する音声入力装置等が、操作デバイス26に含まれる。
DSM27は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。DSM27は、運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部8の上面又はインスツルメントパネル9の上面等に設置されている。DSM27は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、アイポイントEPの位置及び視線方向等の情報を撮像画像から抽出し、抽出した状態情報をHCU100へ向けて逐次出力する。
HUD20は、メータディスプレイ及びセンタインフォメーションディスプレイ等と共に、複数の車載表示デバイスの一つとして、車両Aに搭載されている。HUD20は、HCU100と電気的に接続されており、HCU100によって生成された映像データを逐次取得する。HUD20は、映像データに基づき、例えばルート情報、標識情報、及び各車載機能の制御情報等、車両Aに関連する種々の情報を、虚像Viを用いてドライバに提示する。
HUD20は、ウィンドシールドWSの下方にて、インスツルメントパネル9内の収容空間に収容されている。HUD20は、虚像Viとして結像される光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSに投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景に、虚像Viが重畳された表示を視認する。
HUD20は、プロジェクタ21及び拡大光学系22を備えている。プロジェクタ21は、LCD(Liquid Crystal Display)パネル及びバックライトを有している。プロジェクタ21は、LCDパネルの表示面を拡大光学系22へ向けた姿勢にて、HUD20の筐体に固定されている。プロジェクタ21は、映像データの各フレーム画像をLCDパネルの表示面に表示し、当該表示面をバックライトによって透過照明することで、虚像Viとして結像される光を拡大光学系22へ向けて射出する。拡大光学系22は、合成樹脂又はガラス等からなる基材の表面にアルミニウム等の金属を蒸着させた凹面鏡を、少なくとも一つ含む構成である。拡大光学系22は、プロジェクタ21から射出された光を反射によって広げつつ、上方の投影範囲PAに投影する。
以上のHUD20には、画角VAが設定される。HUD20にて虚像Viを結像可能な空間中の仮想範囲を結像面ISとすると、画角VAは、運転者のアイポイントEPと結像面ISの外縁とを結ぶ仮想線に基づき規定される視野角である。画角VAは、アイポイントEPから見て、運転者が虚像Viを視認できる角度範囲となる。HUD20では、垂直方向における垂直画角よりも、水平方向における水平画角の方が大きくされている。アイポイントEPから見たとき、結像面ISと重なる前方範囲が画角VA内の範囲となる。
HUD20は、重畳コンテンツCTs(図6等参照)及び非重畳コンテンツCTn(図7等参照)を、虚像Viとして表示する。重畳コンテンツCTsは、拡張現実(Augmented Reality,以下「AR」)表示に用いられるAR表示物である。重畳コンテンツCTsの表示位置は、例えば路面の特定位置、前方車両、歩行者及び道路標識等、前景に存在する特定の重畳対象に関連付けられている。重畳コンテンツCTsは、前景中にある特定の重畳対象に重畳表示され、当該重畳対象に相対固定されているように、重畳対象を追って、ドライバの見た目上で移動可能である。即ち、ドライバのアイポイントEPと、前景中の重畳対象と、重畳コンテンツCTsとの相対的な位置関係は、継続的に維持される。そのため、重畳コンテンツCTsの形状は、重畳対象の相対位置及び形状に合わせて、所定の周期で継続的に更新されてよい。重畳コンテンツCTsは、非重畳コンテンツCTnよりも水平に近い姿勢で表示され、例えばドライバから見た奥行き方向(進行方向)に延伸した表示形状とされる。
非重畳コンテンツCTnは、前景に重畳表示される表示物のうちで、重畳コンテンツCTsを除いた非AR表示物である。非重畳コンテンツCTnは、重畳コンテンツCTsとは異なり、重畳対象を特定されないで、前景に重畳表示される。非重畳コンテンツCTnの表示位置は、特定の重畳対象に関連付けられていない。非重畳コンテンツCTnの表示位置は、投影範囲PA(後述の画角VA)内の決まった位置とされる。故に、非重畳コンテンツCTnは、ウィンドシールドWS等の車両構成に相対固定されているように表示される。また非重畳コンテンツCTnの形状は、実質的に一定とされてよい。尚、アイポイントEPと重畳対象との位置関係に起因し、重畳コンテンツCTsの重畳対象に非重畳コンテンツCTnが偶発的に重畳されてもよい。
HCU100は、HMIシステム10において、HUD20を含む複数の車載表示デバイスによる表示を統合的に制御する電子制御装置である。HCU100は、処理部11、RAM12、記憶部13、入出力インターフェース14、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部11は、RAM12と結合された演算処理のためのハードウェアである。処理部11は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部11は、FPGA(Field-Programmable Gate Array)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。RAM12は、映像生成のためのビデオRAMを含む構成であってよい。処理部11は、RAM12へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部13は、不揮発性の記憶媒体を含む構成である。記憶部13には、処理部11によって実行される種々のプログラム(表示制御プログラム等)が格納されている。
図1〜図3に示すHCU100は、記憶部13に記憶された表示制御プログラムを処理部11によって実行することで、HUD20によるコンテンツの重畳表示を制御するための複数の機能部を有する。具体的に、HCU100には、視点位置特定部71、ロケータ情報取得部72、LTC情報取得部73、LCA情報取得部74、及び表示生成部75等の機能部が構築される。
視点位置特定部71は、DSM27から取得する状態情報に基づき、運転席に着座しているドライバのアイポイントEPの位置を特定する。視点位置特定部71は、アイポイントEPの位置を示す三次元の座標(以下、「アイポイント座標」)を生成し、生成したアイポイント座標を、表示生成部75に逐次提供する。
ロケータ情報取得部72は、車両Aについての最新の位置情報及び方角情報を、自車位置情報としてロケータECU44から取得する。加えてロケータ情報取得部72は、車両Aの周辺範囲の高精度地図データを、ロケータECU44から取得する。ロケータ情報取得部72は、取得した自車位置情報及び高精度地図データを、表示生成部75に逐次提供する。
LTC情報取得部73は、通信バス99に出力されるACCステータス情報及びLTC情報を取得する。LTC情報は、上述したように、車線維持制御部51によって通信バス99に出力される車線内走行の運転制御に関する運転制御情報である。LTC情報のステータス情報は、車線変更の完了後に、車線維持制御部51にて車線内走行が実行可能か否かを示す情報を含んでいる。加えてLTC情報取得部73は、運転支援ECU50から、自車車線Lns(図6参照)の境界情報を取得する。LTC情報取得部73は、LTC情報に含まれるステータス情報及びライン形状情報と、境界情報とを表示生成部75に逐次提供する。
尚、LTC情報取得部73は、運転支援ECU50から取得する解析結果としての境界情報に替えて、フロントカメラ31の撮像データを取得してもよい。この場合、LTC情報取得部73は、自車車線Lnsの左右の区画線又は道路端を、撮像データから抽出する処理により、境界情報を取得する。
LCA情報取得部74は、通信バス99に出力されるLCA情報を取得する。LCA情報は、上述したように、車線変更制御部52によって通信バス99に出力される車線変更に関する運転制御情報である。LCA情報のライン形状情報は、車両Aが車線変更によって移動する移動先車線Lnd(図7参照)に関する情報として、車線変更の開始地点及び終了地点、並びに車線変更での移動方向を示す情報を含んでいる。LCA情報取得部74は、LCA情報に含まれるステータス情報及びライン形状情報を表示生成部75に逐次提供する。
表示生成部75は、HUD20に逐次出力される映像データを生成することで、HUD20によるドライバへの情報提示を制御する。表示生成部75は、虚像Viとして表示される各コンテンツの元画像を、映像データを構成する個々のフレーム画像に描画する。表示生成部75は、重畳コンテンツCTs(図6等参照)の元画像をフレーム画像に描画する場合、アイポイントEP及び重畳対象の各位置に応じて、フレーム画像における元画像の描画位置及び描画形状を補正する。以上により、重畳コンテンツCTsは、アイポイントEPから見たとき、重畳対象に正しく重畳される位置及び形状で表示されるようになる。
表示生成部75は、上述の映像データの生成機能を実現するため、仮想レイアウト機能及びコンテンツ選定機能をさらに有している。仮想レイアウト機能は、表示生成部75に提供される種々の情報に基づき、重畳コンテンツCTsの表示レイアウトをシミュレーションする機能である。表示生成部75は、自車位置情報、高精度地図データ及び検出情報等に基づき、車両Aの現在の走行環境を仮想空間中に再現する。
詳記すると、図2〜図5に示すように、表示生成部75は、仮想の三次元空間の基準位置に自車オブジェクトAOを設定する。表示生成部75は、高精度地図データの示す形状の道路モデルを、自車位置情報に基づき、自車オブジェクトAOに関連付けて、三次元空間にマッピングする。表示生成部75は、境界情報を参照しつつ、ライン形状情報に基づく形状の予定走行ラインPRLを、道路モデル上に設定する。
表示生成部75は、自車オブジェクトAOに関連付けて、仮想カメラ位置CP及び重畳範囲SAを設定する。仮想カメラ位置CPは、運転者のアイポイントEPに対応する仮想位置である。表示生成部75は、視点位置特定部71にて取得される最新のアイポイント座標に基づき、自車オブジェクトAOに対する仮想カメラ位置CPを逐次補正する。重畳範囲SAは、虚像Viの重畳表示が可能となる範囲である。表示生成部75は、仮想カメラ位置CPと、記憶部13(図1参照)等に予め記憶された結像面ISの外縁位置(座標)情報とに基づき、仮想カメラ位置CPから前方を見たときに結像面ISの内側となる前方範囲を、重畳範囲SAとして設定する。重畳範囲SAは、HUD20の画角VAに対応している。
表示生成部75は、三次元空間の道路モデルの路面上に、第一仮想オブジェクトVO1及び第二仮想オブジェクトVO2を配置可能である。第一仮想オブジェクトVO1は、後述するLTC実行コンテンツCTt(図6参照)及びLTC予告コンテンツCTpt(図12参照)の位置及び形状を規定する仮想オブジェクトである。第一仮想オブジェクトVO1は、これらコンテンツCTt,CTptを虚像表示させる場合に、仮想空間中に設定される。第一仮想オブジェクトVO1は、仮想空間中にて、LTC実行区間SLt1,SLt2に対応する仮想路面に配置される。LTC実行区間SLt1,SLt2は、LTC機能が実行状態とされて、車両Aが車線内走行を行う制御予定区間である。第一仮想オブジェクトVO1は、自車車線の仮想路面の中央に配置された予定走行ラインPRL上を細帯状に延伸する形状とされる。
第二仮想オブジェクトVO2は、後述するLCA待機コンテンツCTwc(図8参照)、LCA予告コンテンツCTpc(図9参照)、及びLCA実行コンテンツCTc(図10参照)の位置及び形状を規定する仮想オブジェクトである。第二仮想オブジェクトVO2は、各コンテンツCTwc,CTpc,CTcを虚像表示させる場合に、仮想空間中に設定される。第二仮想オブジェクトVO2は、仮想空間中にて、LC実行区間SLcに対応する仮想路面に配置される。LC実行区間SLcは、LCA機能が実行状態とされ、車両Aが車線変更を行う制御予定区間である。第二仮想オブジェクトVO2は、移動先車線の仮想路面を平面的に覆う形状とされる。以上の各仮想オブジェクトVO1,VO2を仮想カメラ位置CPから見た形状が、アイポイントEPから視認される各重畳コンテンツCTsの虚像形状となる。
コンテンツ選定機能は、情報提示に用いるコンテンツを選定する機能である。表示生成部75は、各情報取得部73,74にて取得されるLTC情報及びLCA情報等と、表示レイアウトのシミュレーション結果とに基づき、映像データに描画するコンテンツを選択する。表示生成部75は、重畳コンテンツCTs及び非重畳コンテンツCTnを使い分け、車線維持制御及び車線変更制御に関連する情報をドライバに提示する。
具体的に、表示生成部75は、LTC実行表示(図6及び図14参照)、LCA受付表示(図7参照)、LCA待機表示(図8及び図9参照)、LCA実行表示(図10参照)、LTC移行表示(図12参照)、及びLTC待機表示(図13参照)等を提示する。これらの表示には、LTC関連の通知を行うコンテンツとして、LTC実行コンテンツCTt、LTC予告コンテンツCTpt、及びLTC待機コンテンツCTwtが含まれている。さらに、各表示には、LCA関連の通知を行うコンテンツとして、応答通知コンテンツCTa、LCA待機コンテンツCTwc、LCA予告コンテンツCTpc、及びLCA実行コンテンツCTcが含まれている。以下、各表示の詳細を、図6〜図14に基づき、図3〜図5を参照しつつ、順に説明する。
図6に示すLTC実行表示は、車線維持制御部51にてLTC機能が実行状態であることをドライバに示す表示である。LTC実行表示には、LTC実行コンテンツCTtが含まれている。LTC実行コンテンツCTtは、前景中の自車車線Lnsの路面の中央に重畳表示される重畳コンテンツCTsである。LTC実行コンテンツCTtは、LTC機能による車線内走行の予想軌跡を示す。加えてLTC実行コンテンツCTtは、車線維持制御部51が車両Aの走行位置を自車車線Lnsの中央に制御していることを示す。
LTC実行コンテンツCTtは、上述の第一仮想オブジェクトVO1に基づき、描画形状を決定される。LTC実行コンテンツCTtは、路面に沿った姿勢にて、路面に貼り付くように表示される。LTC実行コンテンツCTtは、自車車線Lnsが直線状である場合には直線状となり、自車車線Lnsがカーブ状である場合には、カーブ形状に沿った湾曲形状となる。LTC実行コンテンツCTtは、車両Aの走行に合わせて、アイポイントEP(図2参照)から見える路面形状に適合するように、所定の更新周期で描画形状を更新される。
図7に示すLCA受付表示は、方向指示スイッチ56へのオン操作の入力が受け付けられて、LCA機能が起動したことをドライバに通知する表示である。LCA受付表示には、LTC実行コンテンツCTtに加えて、応答通知コンテンツCTaが含まれている。
応答通知コンテンツCTaは、車線変更制御部52によるオン操作の受け付けを通知するコンテンツである。応答通知コンテンツCTaの表示は、起動開始状態を示すステータス情報がLCA情報取得部74にて取得されたことに基づき開始される。応答通知コンテンツCTaの表示は、車線変更制御部52にて周辺チェックが完了し、LCA機能の待機状態又は実行状態を示すステータス情報がLCA情報取得部74にて取得されるまで、継続される。
応答通知コンテンツCTaは、非重畳コンテンツCTnであり、表示開始から表示終了まで、所定の形状を維持し続ける。応答通知コンテンツCTaは、車線変更での移動先車線Lndの路面に重畳されるように、オン操作情報又はLCA情報等に基づき、LTC実行コンテンツCTtに対し、車線変更での移動方向となる側に表示される。応答通知コンテンツCTaは、後述するLCA予告コンテンツCTpc(図9参照)と関連する表示色又は表示形状に描画される。尚、応答通知コンテンツCTaは、非重畳コンテンツCTnであるため、道路のカーブ形状及び勾配等に起因して、移動先車線Lndに正確に重畳されなくてもよい。
図8に示すLCA待機表示は、LCA機能が待機状態にあること、及び車線変更が所定時間(例えば3秒)以内に開始されないことを、ドライバに通知する表示である。所定時間は、HUD20の画角VAに基づき設定され、具体的には、LC実行区間SLcが画角VA内に入る直前となるような時間に設定される。LCA待機表示には、LTC実行コンテンツCTtに加えて、LCA待機コンテンツCTwcが含まれている。
LCA待機コンテンツCTwcは、LC実行区間SLcが画角VA内でない場合に、LCA機能が車線変更を行おうとしていることを示すコンテンツである。換言すれば、LCA待機コンテンツCTwcは、移動先車線Lndへの移動が可能な状態でないことを示すコンテンツでもある。LCA待機コンテンツCTwcは、LCA機能の待機状態を示すステータス情報の取得に基づき、応答通知コンテンツCTa(図7参照)に替えて表示される。LCA待機コンテンツCTwcは、重畳コンテンツCTsであって、LTC実行コンテンツCTtと重ならない位置に重畳表示される。例えばLCA待機コンテンツCTwcは、画角VA内に含まれる移動先車線Lndの路面全体に重畳表示される。またLCA待機コンテンツCTwcは、LC実行区間SLcが画角VA内でない場合のLCA予告コンテンツCTpc(図9参照)とは異なる様態で表示される。例えばLCA待機コンテンツCTwcは、LCA予告コンテンツCTpcよりも低い輝度で表示される。
LCA待機コンテンツCTwcは、上述の第二仮想オブジェクトVO2に基づき、描画形状を決定される。LCA待機コンテンツCTwcは、路面に沿った姿勢にて、路面に貼り付くように表示される。LCA待機コンテンツCTwcは、車両Aの走行に合わせて、アイポイントEP(図2参照)から見える路面形状に適合するように、所定の更新周期で描画形状を更新される。
図9に示すLCA待機表示は、LCA機能が待機状態にあること、及び所定時間以内に車線変更が開始予定であることを、ドライバに通知する表示である。この場合のLCA待機表示には、LTC実行コンテンツCTtに加えて、LCA予告コンテンツCTpcが含まれている。
LTC実行コンテンツCTtは、自車車線Lnsの路面のうちで、LTC実行区間SLt1となる範囲、換言すれば、LC実行区間SLcよりも手前(自車)側となる範囲に重畳される。故に、車両Aの走行に伴い、LTC実行区間SLt1からLC実行区間SLcに移行する地点(以下、「LC移行地点Pcs」)が車両Aに接近するに従い、LTC実行コンテンツCTtは、徐々に短くなっていく。
LCA予告コンテンツCTpcは、LC実行区間SLcが画角VA内である場合に、移動先車線Lndの路面に重畳され、当該路面のうちでLC実行区間SLcとなる範囲を塗り潰すように表示される。LCA予告コンテンツCTpcは、LTC実行コンテンツCTtと重ならない位置に表示される。具体的に、LCA予告コンテンツCTpcは、LTC実行コンテンツCTtに対して奥側(上側)且つ移動先車線Lnd側に視認される位置に表示される。LCA予告コンテンツCTpcは、LC移行地点Pcsが車両Aに接近するに従い、LTC実行コンテンツCTtの収縮に合わせて、徐々に拡大されていく。
LCA予告コンテンツCTpcは、LCA待機コンテンツCTwc(図8参照)と同様に、上述の第二仮想オブジェクトVO2に基づき、描画形状を決定される。LCA予告コンテンツCTpcは、路面に沿った姿勢にて、路面に貼り付くように表示される。LCA予告コンテンツCTpcは、アイポイントEP(図2参照)から見える路面形状に適合するように、所定の更新周期で描画形状を更新される。
図10に示すLCA実行表示は、LCA機能が実行状態であることをドライバに通知する表示である。LAC機能の作動状態が、起動開始状態から実行状態へと直接的に遷移した場合、表示生成部75は、LCA受付表示(図7参照)からLCA実行表示へと遷移させる。LCA実行表示には、LCA実行コンテンツCTcが含まれている。LCA機能が待機状態から実行状態へ遷移するタイミングでは、LTC実行区間SLt1は、既に画角VA外となっている。そのためLTC実行コンテンツCTt(図9参照)は、LCA実行表示において、非表示となっている。
LCA実行コンテンツCTcは、LC実行区間SLcが画角VA内にある場合のLCA予告コンテンツCTpc(図9参照)と実質的に同一の様態で表示される。LCA実行コンテンツCTcは、重畳コンテンツCTsであって、移動先車線Lndの路面のうちで画角VAと重なる範囲の全体を塗り潰す様態とされる。LCA実行コンテンツCTcは、LCA予告コンテンツCTpcと同様に、上述の第二仮想オブジェクトVO2に基づき、描画形状を決定される。そのため、LCA予告コンテンツCTpcからLCA実行コンテンツCTcへの表示遷移は、連続的に実施される。
図11に示すLCA待機表示及びLCA実行表示は、移動先車線Lndの路面が画角VAに入らないような走行シーンにて選択される表示である。表示生成部75は、表示レイアウトのシミュレーション結果に基づき、重畳範囲SAに含まれる移動先車線Lndの路面の面積が所定値未満となる場合に、移動先車線Lndが画角VA外であると判定する。一例として、進行方向の道路がカーブ形状である場合、移動先車線Lndの路面は、画角VAから外れるようになる。こうした走行シーンでのLCA待機表示及びLCA実行表示では、LCA予告コンテンツCTpc及びLCA実行コンテンツCTcとして、LCAアイコンCTciが用いられる。
LCAアイコンCTciは、矢印状画像部及び外周画像部を含む表示物である。矢印状画像部は、移動先車線Lnd側に屈曲しつつ、進行方向(上方)を指し示す矢印形状を呈している。外周画像部は、矢印形画像部の周囲を円環状に囲んでいる。LCAアイコンCTciは、自車車線Lnsの路面に重畳表示される重畳コンテンツCTsである。LCAアイコンCTciは、LC移行地点Pcsの路面を重畳対象とされている。LCAアイコンCTciは、移動先車線Lndに望む自車車線Lnsの区画線近傍に重畳される。LCAアイコンCTciは、LC移行地点Pcsの接近に伴い、画角VA内を移動する。LCAアイコンCTciの描画形状は、一定に維持されてもよく、又はLC移行地点Pcsの接近に伴って大きくされてもよい。
図12に示すLTC移行表示は、LCA機能による車線変更の完了後に、移動先車線Lndでの車線内走行の開始が予定されていることをドライバに通知する表示である。LTC移行表示は、LTC実行表示への遷移後、LTC機能の実行可能状態を示すステータス情報がLTC情報取得部73にて取得された場合に、表示される。LCA移行表示には、LCA実行コンテンツCTcに加えて、LTC予告コンテンツCTptが含まれている。
LTC予告コンテンツCTptは、車線変更後における車線内走行の実行予定を示すコンテンツである。LTC予告コンテンツCTptは、実行可能状態を示すステータス情報が取得されている場合に、ライン形状情報に基づき、描画される。LTC予告コンテンツCTptの様態は、LC実行区間SLcからLTC実行区間SLt2に移行する地点(以下、「LTC移行地点Pce」)が画角VA内であるか否かに基づき、変更される。LTC移行地点Pceが画角VA外である場合、LTC予告コンテンツCTptとして、LTCアイコンCTtiが表示される。
LTCアイコンCTtiは、画角VA内のうちで、LCA実行コンテンツCTcと重ならない位置に表示される非重畳コンテンツCTnである。LTCアイコンCTtiは、LTC移行地点Pceが画角VA内である場合の通常のLTC予告コンテンツCTptとは異なる様態で表示される。具体的に、LTCアイコンCTtiは、中央画像部及び外周画像部を含む表示物である。中央画像部は、区画線とステアリングホイールとを模った各描画物を有している。外周画像部は、中央画像部の周囲を円環状に囲んでいる。LTCアイコンCTtiは、LTC移行地点Pceが画角VA内に入るまでの期間、予め規定された描画形状にて、LCA実行コンテンツCTcの近傍に表示され続ける。
一方、LTC移行地点Pceが画角VA内である場合、通常のLTC予告コンテンツCTptが表示される。LTC予告コンテンツCTptは、自車車線となった移動先車線Lndの路面を重畳対象とする重畳コンテンツCTsである。LTC予告コンテンツCTptは、LTC実行コンテンツCTt(図9参照)と実質的に同一の様態で表示される。LTC予告コンテンツCTptは、移動先車線Lndの路面中央に重畳され、車線変更の完了後に開始される車線内走行での予定軌跡を示す。
LTC予告コンテンツCTptは、LCA実行コンテンツCTcと重ならない位置に表示される。具体的に、LTC予告コンテンツCTptは、LCA実行コンテンツCTcに対して奥側(上側)に視認される位置に配置されて、LTC移行地点Pceよりも先の路面に重畳表示される。
LTC予告コンテンツCTptは、LCA実行コンテンツCTcと連続する様態で表示され、システム側にて生成される車両Aの連続的な予定軌跡を、LCA実行コンテンツCTcと共に示すことができる。LTC予告コンテンツCTptは、LTC移行地点Pceが車両Aに接近するに従い、LCA実行コンテンツCTcの収縮に合わせて、徐々に下方(自車側)に拡大されていく。
図13に示すLTC待機表示は、車線変更の完了後に、移動先車線Lndでの車線内走行を再開できない可能性があることをドライバに通知する表示である。LTC待機表示は、例えば、LCA実行表示への遷移後、車両Aが区画線を跨いだタイミングで、LTC機能が実行可能状態となっていない場合に、表示される。LTC待機表示には、LCA実行コンテンツCTc加えて、LTC待機コンテンツCTwtが含まれている。
LTC待機コンテンツCTwtは、車線変更後の車線内走行が可能でない場合に表示される。LTC待機コンテンツCTwtは、運転制御を中断している車線維持制御部51において、LTC機能が待機状態であることを示している。LTC待機コンテンツCTwtは、例えば、移動先車線Lndの区画線(又は道路端)の検出を完了するまでの期間、表示される。移動先車線Lndの区画線等が検出できた場合、LTC待機コンテンツCTwtは、LTC予告コンテンツCTpt(図12参照)に入れ替えられる。一方で、移動先車線Lndの区画線等が検出できない場合、LTC待機コンテンツCTwtの表示は、LCA実行コンテンツCTcの表示終了まで、継続される。
LTC待機コンテンツCTwtは、LTCアイコンCTti(図12参照)と関連する描画形状の非重畳コンテンツCTnである。LTC待機コンテンツCTwtの描画形状は、否定を示す「×」をLTCアイコンCTtiに重ねた態様とされている。LTC待機コンテンツCTwtは、LTCアイコンCTtiとは異なる表示色であり、具体的には、注意喚起を促すアンバー等の表示色にて表示される。また、LCA機能がオフ状態に遷移する直前において、LTC待機コンテンツCTwtは、点滅表示されてよい。
図14に示すLTC実行表示は、車線変更が完了するタイミングにて、LCA機能のオフ状態への遷移と、LTC機能の実行状態への遷移とを、ドライバに通知する表示である。LTC実行表示は、LTC実行コンテンツCTtを含む表示である。LTC実行コンテンツCTtは、自車車線Lnsとなった路面の中央に重畳され、LTC機能による車線内走行の予想軌跡を示す重畳コンテンツCTsである。LTC実行コンテンツCTtは、LTC移行表示のLTC予告コンテンツCTpt(図12参照)及び車線変更を実施する前のLTC実行コンテンツCTt(図6参照)と実質的に同一の描画形状とされる。
次に、表示制御プログラムに基づき、車線維持制御及び車線変更制御に関連した各表示を制御する表示制御方法の詳細を、図15〜図17に示すフローチャートに基づき、図3及び図6〜図14を参照しつつ、以下説明する。図15〜図17に示す表示制御処理は、例えば車両電源のオン状態への切り替えにより、起動処理等を終えたHCU100によって開始される。
S101では、LTC情報取得部73にて取得されるACCステータス情報に基づき、運転支援ECU50にてACC機能が実行状態にあるか否かを判定する。S101にて、ACC機能が実行状態に無いと判定した場合、S101の判定を繰り返し、ACC機能が実行状態に遷移するのを待機する。そして、ACC機能が実行状態に遷移した場合、S102に進む。S102では、ACC機能の実行状態を示すACC実行表示をHUD20によって表示させ、S103に進む。
S103では、車線維持制御部51から通信バス99に出力され、LTC情報取得部73にて取得されるLTC情報を参照する。そして、S103では、LTC機能のステータス情報に基づき、車線維持制御部51においてLTC機能が実行状態にあるか否かを判定する。S103にて、LTC機能が実行状態に無いと判定した場合、S101に戻り、ACC実行表示を継続させる。一方、LTC機能が実行状態に遷移した場合、S104に進む。S104では、LTC実行表示(図6参照)を開始させ、S105に進む。S104によれば、最新のLTC情報に基づき、車線内走行の予想軌跡を示すLTC実行コンテンツCTtが、重畳対象としての自車車線Lnsの路面に重畳表示される。
S105では、LCA情報取得部74にて取得されるLCA機能のステータス情報に基づき、車線変更制御部52を起動させるオン操作が方向指示スイッチ56に入力されたか否かを判定する。S105にて、オン操作の入力がないと判定した場合、S101に戻り、LTC実行表示を継続させる。一方、オン操作の入力があったと判定した場合、S106に進む。S106では、LCA受付表示(図7参照)を開始させ、S107に進む。
S107では、車線変更制御部52から通信バス99に出力され、LCA情報取得部74にて取得されるLCA情報を参照する。そして、S107では、LCA機能についてのステータス情報に基づき、自車周囲についての周辺チェックが完了したか否かを判定し、こうした周辺チェックの完了を待機する。S107では、待機状態又は実行状態を示すステータス情報がLCA情報取得部74に取得された場合に、周辺チェックが完了したと判定し、S108に進む。尚、S106にて開始されたLCA受付表示は、周辺チェックの完了判定がS107にて実施されるまで、継続される。
S108では、LCA情報取得部74にて取得されるLCA情報、具体的には、LCA機能の最新のステータス情報を参照する。そして、S108では、ステータス情報に基づき、車線変更が直ちに実行可能か否かを判定する。S108にて、待機状態を示すステータス情報を取得していた場合、S109に進む(図16参照)。このとき、車線変更制御部52のLCA機能が待機状態である一方で、車線維持制御部51のLTC機能は、実行状態を維持する。
S109では、S108にて取得したLCA情報に基づき、所定時間(例えば3秒)以内に車線変更が開始可能か否かを判定する。S109にて、所定時間以内での車線変更の開始が不可能であると判定した場合、S110に進む。S110では、LCA待機コンテンツCTwcを含むLCA待機表示(図8参照)を開始させ、S111に進む。
S111では、オン操作に基づく車線変更がタイムアウトとなったか否かを判定する。S111にて、車線変更がタイムアウトとなっていないと判定した場合、S109に戻る。一方で、S111にて、車線変更がタイムアウトとなったと判定した場合、S112に進む。このとき、車線変更制御部52のLCA機能がオフ状態に遷移する一方で、車線維持制御部51のLTC機能は、実行状態を維持する。そのためS112では、LCA実行表示(図6参照)へと表示を遷移させて、一連の表示制御処理を一旦終了する。
またS109にて、所定時間以内での車線変更の開始が可能であると判定した場合、S113に進む。S113では、LC移行地点Pcsが画角VA内である場合のLCA待機表示(図9参照)を開始させ、S108に戻る。S113によれば、LCA情報に含まれる最新のライン形状情報に基づき、車線変更の予想軌跡を示すLCA予告コンテンツCTpcが、LTC実行コンテンツCTtと共に表示される。尚、移動先車線Lndが画角VA外である場合、LCA待機表示は、LCAアイコンCTciを用いた表示とされてよい(図11参照)。
またS108にて、実行状態を示すステータス情報を取得していた場合、S114に進む(図17参照)。このとき、車線変更制御部52のLCA機能が実行状態となる一方で、車線維持制御部51のLTC機能は、待機状態に遷移する。S114では、移動先車線Lndが画角VA内であるか否かを判定する。S114にて、移動先車線Lndが画角VA外であると判定した場合、S115に進む。S115では、LCAアイコンCTciを用いたLCA実行表示(図11参照)を開始させて、S114に戻る。このLCA実行表示は、移動先車線Lndが画角VA内に移動するまで継続される。
一方、S114にて、移動先車線Lndが画角VA内にあると判定した場合、S116に進む。S116では、通常のLCA実行表示(図10参照)を開始させて、S117に進む。S116によれば、LCA情報に含まれる最新のライン形状情報に基づき、車線変更の予想軌跡を示すLCA実行コンテンツCTcが、重畳対象としての移動先車線Lndの路面に重畳表示される。
S117では、LTC情報取得部73にて取得されるLTC情報のうちで、車線変更の完了後の運転制御に関する情報を参照する。そして、S117では、LTC機能についてのステータス情報に基づき、車線変更の完了後において、車線内走行が再開可能か否かを判定する。S117にて、車線内走行の再開が可能ではないと判定した場合、S118に進む。
S118では、LTC待機コンテンツCTwtを含むLTC待機表示(図13参照)を開始させ、S119に進む。S119では、車線変更後の車線内走行が実行されてないことの確定判定を行う。S119にて、車線内走行の再開がないと確定判定した場合、一連の表示制御処理を一旦終了する。対して、S119にて、車線内走行を再開する可能があると判定した場合、S117に戻る。以上により、例えば移動先車線Lndの区画線等が検出されるまで、LTC待機表示が継続される。
一方、S117にて、車線変更の完了後に、LTC機能による車線内走行が再開可能であると判定した場合、S120に進む。S120では、LTC移行地点Pceが画角VA内か否かを判定する。S120にて、LTC移行地点Pceが画角VA外であると判定した場合、S121に進む。S121では、LTCアイコンCTtiを含むLTC移行表示(図12 上段参照)を開始させて、S123に進む。対して、S120にて、LTC移行地点Pceが画角VA内であると判定した場合、S122に進む。S122では、LTC予告コンテンツCTptを含むLTC移行表示(図12 下段参照)を開始させて、S123に進む。以上のS121及びS122によれば、LTC情報に含まれる最新のライン形状情報に基づき、車線変更後における車線内走行の実行予定を示すLTC予告コンテンツCTptが、LCA実行コンテンツCTcと共に表示される。
S123では、LC実行区間SLcが画角VA外となったか否かを判定する。S123にて、LC実行区間SLcの一部が画角VA内に残っていると判定した場合、S120に戻る。以上により、LTC移行表示が継続される。一方で、S123にて、LC実行区間SLcの全体が画角VA外となったと判定した場合、S124に進む。このとき、車線変更制御部52のLCA機能がオフ状態へと遷移する一方で、車線維持制御部51のLTC機能は、実行可能状態から実行状態へと遷移する。以上の状態遷移に合わせるように、S124では、LTC移行表示からLTC実行表示(図14参照)へと表示を遷移させて、一連の表示制御処理を一旦終了する。
ここまで説明した第一実施形態では、車線変更制御部52による車線変更から車線維持制御部51による車線内走行に移行する場合、車線変更後の車線内走行の実行予定を示すLTC予告コンテンツCTptが、LCA実行コンテンツCTcに加えて表示される。このLCA実行コンテンツCTcは、路面に重畳表示された重畳コンテンツCTsである。以上のように、LCA実行コンテンツCTc及びLTC予告コンテンツCTptのうちに、重畳対象を特定された重畳コンテンツCTsが含まれていれば、ドライバは、通常の視認行動を通じて認識する表示の変化から、制御の遷移予定を把握できる。したがって、車線内走行及び車線変更に関する案内の分り易い提示が可能となる。
加えて第一実施形態のLTC予告コンテンツCTptは、LCA実行コンテンツCTcと重ならない位置に表示される。以上によれば、LTC予告コンテンツCTpt及びLCA実行コンテンツCTcは、車線変更から車線内走行への制御遷移の予定に加えて、制御が切り替わるタイミング及び位置についても、ドライバに伝えることができる。その結果、コンテンツ表示は、車線内走行及び車線変更に関する案内を、いっそう分り易く提示可能な内容となる。
また第一実施形態のLTC予告コンテンツCTptは、LCA実行コンテンツCTcに対して奥側に視認される位置に表示される。このような位置関係によれば、LCA実行コンテンツCTc及びLTC予告コンテンツCTptは、車線変更から車線内走行へと制御が切り替わる位置を明示できる。その結果、車線内走行及び車線変更に関する案内は、いっそう分り易く提示される。
さらに第一実施形態のLTC予告コンテンツCTptは、車線変更後における車線内走行の予定軌跡を示すコンテンツとされる。故に、車線変更から車線内走行へと制御が切り替わったとしても、車両Aの運転制御が継続的に実施されることを、LTC予告コンテンツCTptは、LCA実行コンテンツCTcと共に、ドライバに示し得る。以上によれば、自動での車線変更制御及び車線内走行制御に対するドライバの安心感が醸成可能となる。
加えて第一実施形態のLTC予告コンテンツCTptは、LCA実行コンテンツCTcと連続する様態で表示され、LCA実行コンテンツCTcと共に車両Aの予定軌跡を示している。こうしたコンテンツの一体的な表示によれば、車線変更から車線内走行への制御の遷移が切れ目なく実施されることを、ドライバは、認識できる。その結果、ドライバの不安は、いっそう惹起され難くなる。
また第一実施形態では、車線変更から車線内走行へと移行するLTC移行地点Pceが画角VA内である場合に、移行地点よりも先の路面に、LCA予告コンテンツCTpcが重畳表示される。以上によれば、ドライバは、虚像Viを用いたコンテンツ表示を視認することで、車線内走行へと制御が遷移する地点を、より正確に把握できる。
さらに第一実施形態では、LTC移行地点Pceが画角VA内でない場合に、LTC移行地点Pceが画角VA内でない場合とは異なる様態のLTCアイコンCTtiが表示される。こうしたLTCアイコンCTtiの表示によれば、HUD20の画角VAが制限されていても、LTC機能が車線内走行を再開可能であることを、車線変更中の早期のタイミングで、ドライバに報知することが可能になる。その結果、LTC機能に対するドライバの不安は、さらに低減され易くなる。
加えて第一実施形態では、LCA機能による車線変更の実施中に、車線変更後の車線内走行が可能でない場合、車線内走行の待機状態を示すLTC待機コンテンツCTwtが表示される。こうしたLTC待機コンテンツCTwtの表示によれば、車線内走行を再開しようとするLTC機能の作動が、ドライバに通知される。その結果、LTC機能に対するドライバの不安低減が可能になる。さらに、LTC待機コンテンツCTwtの表示によれば、車線内走行の再開が困難な場合にて、操舵操作の移譲の可能性を、ドライバに早期に伝えることが可能になる。
尚、第一実施形態において、LTC情報取得部73が「制御情報取得部」に相当し、LCA情報取得部74が「変更情報取得部」に相当し、表示生成部75が「表示制御部」に相当し、HCU100が「表示制御装置」に相当する。また、LCA実行コンテンツCTcが「車線変更コンテンツ」に相当し、LTC予告コンテンツCTptが「制御予告コンテンツ」に相当し、LTC待機コンテンツCTwtが「待機通知コンテンツ」に相当する。そして、LTC移行地点Pceが「(車線内走行への)移行地点」に相当する。
(第二実施形態)
図18〜図26に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、車線維持制御及び車線変更制御に関連する各表示の内容が第一実施形態と異なっている。以下、第二実施形態での各パターンの表示の詳細を、図3〜図5を参照しつつ、順に説明する。
図18に示すLTC実行表示にて用いられる第二実施形態のLTC実行コンテンツCTtは、左境界ラインCTtl及び右境界ラインCTtrを含んでいる。左境界ラインCTtl及び右境界ラインCTtrは、自車車線Lnsの左右の区画線の内側に配置され、各区画線に沿って細帯状に延伸する形状である。LTC実行コンテンツCTtは、LTC機能による車線内走行の予想軌跡を示すと共に、車線維持制御部51にて走行可能と認識されている範囲(以下、「走行可能範囲」)を示すことができる。
図19に示すLCA受付表示には、上述のLTC実行コンテンツCTtに加えて、応答通知コンテンツCTaが含まれている。第二実施形態の応答通知コンテンツCTaは、アイコン状の非重畳コンテンツCTnである。応答通知コンテンツCTaは、第一実施形態のLCAアイコンCTci(図11参照)と同様に、矢印状画像部及び外周画像部を含む表示物である。応答通知コンテンツCTaは、各境界ラインCTtl,CTtrと重ならず、これら境界ラインCTtl,CTtrの間に表示されるように、表示位置を予め規定されている。応答通知コンテンツCTaは、車線変更制御部52での周辺チェックの完了まで、自車車線Lnsの路面に重畳されるように、画角VAの概ね中央に表示され続ける。
図20に示すLCA待機表示は、LC実行区間SLcが画角VA外である場合のLCA待機表示である。このLCA待機表示には、LCA待機コンテンツCTwc及びLTC実行コンテンツCTtが含まれている。LCA待機コンテンツCTwcは、車線変更を行おうとしているLCA機能の作動を、ドライバに通知する重畳コンテンツCTsである。LCA待機コンテンツCTwcは、後述するLCA実行コンテンツCTc(図22参照)と関連のある形状であって、LCA実行コンテンツCTcよりも誘目性の低い様態に描画される。例えばLCA待機コンテンツCTwcの表示輝度は、LCA実行コンテンツCTcの表示輝度よりも低くされる。
LCA待機コンテンツCTwcは、自車車線Lnsから移動先車線Lndへと延伸する矢印形状を呈している。右側車線への車線変更が指示された場合、自車車線Lnsから右前方向に延伸する矢印形状のLCA待機コンテンツCTwcが表示される。対して、左側車線への車線変更が指示された場合、自車車線Lnsから左前方向に延伸する矢印形状のLCA待機コンテンツCTwcが表示される。
LTC実行コンテンツCTtは、LCA待機コンテンツCTwcと重ならないように、形状を変更される。LCA待機コンテンツCTwcが右側に延伸する場合、右境界ラインCTtrの中間部分は、非表示とされる。同様に、LCA待機コンテンツCTwcが左側に延伸する場合、左境界ラインCTtlの中間部分は、非表示とされる。
図21に示すLCA待機表示は、LC実行区間SLcが画角VA内である場合のLCA待機表示である。このLCA待機表示には、LTC実行コンテンツCTt及びLCA予告コンテンツCTpcが含まれている。第二実施形態でも、LTC実行コンテンツCTtは、LC移行地点Pcsが車両Aに接近するに従い、各境界ラインCTtl,CTtrを徐々に短くしていく。
LCA予告コンテンツCTpcは、自車車線Lnsから移動先車線Lndへと延伸する矢印形状を呈している。LCA予告コンテンツCTpcは、LTC実行コンテンツCTtの奥側に位置し、LTC実行コンテンツCTtと重ならない配置にて、表示される。LCA予告コンテンツCTpcの基端部分は、それぞれ各境界ラインCTtl,CTtrの先端部分と連続している。LC移行地点Pcsが画角VAの上縁近傍である場合、LCA予告コンテンツCTpcは、進行方向を指し示す先端部分(二点差線参照)が画角VAから見切れた描画形状とされる。そして、LC移行地点Pcsが画角VAの中央付近に位置すると、LCA予告コンテンツCTpcの概ね全体が表示される。
図22に示すLCA実行表示には、LCA実行コンテンツCTcが含まれている。第二実施形態のLCA実行表示でも、LTC実行コンテンツCTt(図21参照)は、非表示となっている。LCA実行コンテンツCTcは、LC実行区間SLcが画角VA内にある場合のLCA予告コンテンツCTpc(図21参照)と実質的に同一の様態で表示され、自車車線Lnsから移動先車線Lndへと延伸する矢印形状を呈している。その結果、LCA予告コンテンツCTpcからLCA実行コンテンツCTcへと円滑な表示遷移が実施される。
図23に示すLCA待機表示及びLCA実行表示は、移動先車線Lndの路面が画角VAに入らないような走行シーンにて選択される表示である。こうした走行シーンでの各表示において、LCA予告コンテンツCTpc及びLCA実行コンテンツCTcは、画角VA内となる自車車線Lnsの路面に主に重畳され、先端部分にて移動先車線Lndの方向を指し示す矢印形状とされる。そのため、各コンテンツCTpc,CTcは、重畳される路面範囲が制限されても、車線変更の実行予定及び予想軌跡を示す機能を発揮する。
図24に示すLTC移行表示には、上述のLCA実行コンテンツCTcに加えて、LTC予告コンテンツCTptが含まれている。LTC移行地点Pceが画角VA外である場合、第一実施形態と同様に、LTC予告コンテンツCTptとして、LTCアイコンCTtiが表示される。LTCアイコンCTtiは、LCA実行コンテンツCTcの側方に、LCA実行コンテンツCTcと重ならない配置にて、表示される。
一方で、LTC移行地点Pceが画角VA内である場合、LTC予告コンテンツCTptが、重畳コンテンツCTsとして表示される。LTC予告コンテンツCTptは、LTC実行コンテンツCTt(図18参照)と実質的に同一の様態で表示され、各境界ラインCTtl,CTtrを含んでいる。各境界ラインCTtl,CTtrは、LCA実行コンテンツCTcの奥側に位置し、LCA実行コンテンツCTcと重ならない配置にて、表示される。各境界ラインCTtl,CTtrは、車線変更完了後の車線内走行での予定軌跡を示す。各境界ラインCTtl,CTtrは、LTC移行地点Pceが車両Aに接近するに従い、LCA実行コンテンツCTcが縮むのに合わせて、徐々に下方(自車側)に伸びていく。
図25に示すLTC待機表示には、上述のLCA実行コンテンツCTcに加えて、第一実施形態と実質同一の描画形状とされたLTC待機コンテンツCTwtが含まれている。LTC待機コンテンツCTwtは、LCA実行コンテンツCTcと並ぶようにして、画角VA内のLCA実行コンテンツCTcと重ならない位置に表示される。
図26に示す車線変更後のLTC実行表示は、車線変更前のLTC実行表示(図18参照)と同様に、LTC実行コンテンツCTtを含んでいる。LTC実行コンテンツCTtは、LTC予告コンテンツCTpt(図24参照)と共通する各境界ラインCTtl,CTtrを有している。即ち、各境界ラインCTtl,CTtrが画角VAの下縁近傍まで延伸することにより、LTC予告コンテンツCTptからLTC実行コンテンツCTtへの表示遷移が実施される。
ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏する。その結果、ドライバは、通常の視認行動を通じて認識する表示の変化から、制御の遷移予定を把握できる。したがって、車線内走行及び車線変更に関する案内の分り易い提示が可能となる。
(第三実施形態)
図27〜図29に示す本開示の第三実施形態は、第一実施形態の別の変形例である。第三実施形態でも、各コンテンツの描画形状が上記の第一,第二実施形態とは異なっている。以下、第三実施形態での各パターンの表示の詳細を、図3〜図5を参照しつつ、順に説明する。尚、第三実施形態のLTC実行表示は、第一実施形態と実質的に同一となる。
図27に示すLCA受付表示には、LTC実行コンテンツCTt及び応答通知コンテンツCTaが含まれている。LTC実行コンテンツCTtは、第一実施形態と実質同一の重畳コンテンツCTsであって、自車車線Lnsの中央に重畳表示される。
応答通知コンテンツCTaは、非重畳コンテンツCTnであって、自車車線Lns及び移動先車線Lndの両方に跨って重畳されるように、画角VA内での描画形状及び描画サイズが予め規定されている。応答通知コンテンツCTaは、後述するLCA予告コンテンツCTpc(図28参照)及びLCA実行コンテンツCTc(図29参照)と同様に、オン操作の入力方向に対応する隣接車線へ向けて、自車車線Lnsから延伸する矢印形状を呈している。応答通知コンテンツCTaは、LTC実行コンテンツCTtよりも誘目性の低い様態で表示される。一例として、応答通知コンテンツCTaは、LTC実行コンテンツCTtよりも低い表示輝度にて表示される。また応答通知コンテンツCTaは、輪郭又は全体が破線状に描画されてもよい。
図28に示すLCA待機表示は、LC実行区間SLcが画角VA内である場合のLCA待機表示である。このLCA待機表示には、LTC実行コンテンツCTt及びLCA予告コンテンツCTpcが含まれている。LTC実行コンテンツCTtは、LC移行地点Pcsの手前側まで、細帯状に延伸する。
LCA予告コンテンツCTpcは、矢印形状を呈する重畳コンテンツCTsであり、自車車線Lnsから移動先車線Lndへと、湾曲しつつ延伸する。LCA予告コンテンツCTpcの基端部分は、LC移行地点Pcsに位置しており、このLC移行地点Pcsにて、LTC実行コンテンツCTtの先端部分と連続している。LCA予告コンテンツCTpcの先端部分は、移動先車線Lndの路面に重畳されており、車両Aの進行方向を指し示している。
LCA予告コンテンツCTpcは、LTC実行コンテンツCTtと一体で、車両Aの予想軌跡を示している。LCA予告コンテンツCTpc及びLTC実行コンテンツCTtの連結部分は、前景中でのLC移行地点Pcsの移動に合わせて、画角VA内を下方(手前側)に移動する。その結果、車両Aの走行に合わせて、LTC実行コンテンツCTtが縮む表示変化と、LCA予告コンテンツCTpcが伸びる表示変化とが、共に実施される。
図29に示すLTC移行表示には、LCA実行コンテンツCTc及びLTC予告コンテンツCTptが含まれている。LCA実行コンテンツCTcは、上述のLCA予告コンテンツCTpc(図28参照)と同様に、矢印形状を呈する重畳コンテンツCTsである。LCA実行コンテンツCTcは、予定走行ラインPRLに沿って、LTC移行地点Pceの手前側まで、帯状に延伸している。
LTC予告コンテンツCTptは、上述のLTC実行コンテンツCTt(図27参照)と同様に、細帯状を呈する重畳コンテンツCTsであり、予定走行ラインPRLに沿って、LTC移行地点Pceから奥側へ向けて延伸している。LTC予告コンテンツCTptの基端部分は、LTC移行地点Pceにて、LCA実行コンテンツCTcの先端部分と連続している。
LTC予告コンテンツCTpt及びLCA実行コンテンツCTcの連結部分は、前景中でのLTC移行地点Pceの移動に合わせて、画角VA内を下方(手前側)に移動する。その結果、車両Aの走行に合わせて、LTC予告コンテンツCTptが縮む表示変化と、LCA実行コンテンツCTcが伸びる表示変化とが、共に実施される。
尚、第三実施形態のLCA実行表示では、上述のLCA実行コンテンツCTcが自車車線Lns及び移動先車線Lndに跨って重畳表示される。また、第三実施形態のLTC待機表示では、上述のLCA実行コンテンツCTcの近傍に、第二実施形態と実質的に同一のアイコン状のLTC待機コンテンツCTwt(図25参照)が表示される。
ここまで説明した第三実施形態でも、第一実施形態と同様の効果を奏し、ドライバは、通常の視認行動を通じて認識する表示の変化から、制御の遷移予定を把握できる。したがって、車線内走行及び車線変更に関する案内の分り易い提示が可能となる。
(他の実施形態)
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
図30に示す上記第二実施形態の変形例1では、車線内走行制御から車線変更制御へと移行する過程において、LTC関連のコンテンツをフェードアウトさせつつ、LCA関連のコンテンツをフェードインさせる表示制御が実施される。
詳記すると、変形例1のLCA受付表示では、各境界ラインCTtl,CTtrよりなるLTC実行コンテンツCTtが、通常の表示状態、即ち、表示輝度を確保された状態で表示されている。一方で、LCA受付表示において、応答通知コンテンツCTaは、各境界ラインCTtl,CTtrよりも誘目性の低い表示状態、即ち、表示輝度の低い状態で表示される。尚、変形例1の応答通知コンテンツCTaの描画形状は、第三実施形態と実質同一の矢印形状とされている。
そして、LCA受付表示からLCA待機表示への遷移により、応答通知コンテンツCTaの表示特徴を踏襲した矢印形状の重畳コンテンツCTsが、LCA予告コンテンツCTpcとして表示される。LCA予告コンテンツCTpcの表示輝度は、応答通知コンテンツCTaと同程度か、又は応答通知コンテンツCTaよりも僅かに高くされている。一方で、LCA待機表示では、各境界ラインCTtl,CTtrの表示輝度が、LCA受付表示よりも低くされる。例えば、各境界ラインCTtl,CTtrの表示輝度は、LCA予告コンテンツCTpcの表示輝度と同程度とされる。
さらに、LCA待機表示からLCA実行表示への遷移により、各境界ラインCTtl,CTtrは、表示輝度を徐々に低くされて、非表示の状態となる。一方で、LCA予告コンテンツCTpcは、表示輝度を徐々に高められて、車線変更での予想軌跡を示したLCA実行コンテンツCTcとなる。LCA実行コンテンツCTcの表示輝度は、LCA受付表示での各境界ラインCTtl,CTtrと同程度とされる。
図31及び図32に示す上記第一実施形態の変形例2では、LTC実行コンテンツCTt及びLTC予告コンテンツCTptの描画形状が、第一実施形態とは異なっている。変形例2の各コンテンツCTt,CTptは、第二実施形態と同様に、二本の境界ラインCTtl,CTtrを含んでいる。
図31に示すLCA待機表示では、自車車線Lnsの路面のうちで、LC移行地点Pcsよりも手前側(自車側)となるLTC実行区間SLt1の範囲に、各境界ラインCTtl,CTtrが、LTC実行コンテンツCTtとして重畳表示される。加えてLCA待機表示では、移動先車線Lndの路面のうちで、LC移行地点Pcsよりも奥側となるLC実行区間SLcの範囲に、路面を塗り潰すような様態のLCA予告コンテンツCTpcが重畳表示される。
また図32に示すLTC移行表示では、自車車線となった旧移動先車線Lndの路面のうちで、LTC移行地点Pceよりも手前側となるLC実行区間SLcの範囲に、路面を塗り潰すような様態のLCA実行コンテンツCTcが重畳表示される。加えてLTC移行表示では、旧移動先車線Lndの路面のうちで、LTC移行地点Pceよりも奥側となるLTC実行区間SLt2の範囲に、各境界ラインCTtl,CTtrが、LTC予告コンテンツCTptとして重畳表示される。
図33に示す上記第一実施形態の変形例3では、LCA予告コンテンツCTpcの描画形状が、第一実施形態とは異なっている。変形例3のLCA予告コンテンツCTpcは、LCA待機コンテンツCTwc(図8参照)と同様に、移動先車線Lndの路面のうちで、画角VAと重なる範囲の全体に重畳表示される。即ち、LCA予告コンテンツCTpcの重畳範囲は、LC実行区間SLcに限定されない。故に、変形例3のLCA待機表示において、LC移行地点Pcsの接近は、LTC実行コンテンツCTtが短くなることによってドライバに通知される。
以上のように、LCA予告コンテンツCTpcは、LTC実行コンテンツCTtと重ならなければ、LTC実行コンテンツCTtに対して奥側に位置していなくてもよい。LCA予告コンテンツCTpcは、LTC実行コンテンツCTtと横方向に並ぶ表示であってよい。こうした描画形状であれば、LC移行地点Pcsが車両Aから遠くても、LCA予告コンテンツCTpcの表示面積は、十分に確保され得る。故に、車線変更の予定をより早いタイミングでドライバに認識させることが可能になる。
図34に示す上記第一実施形態の変形例4では、LTC実行コンテンツCTtの描画形状が、第一実施形態とは異なっている。LTC実行コンテンツCTtは、LCA予告コンテンツCTpc等と同様に、走路を塗り潰すような様態の重畳コンテンツCTsとされている。LTC実行コンテンツCTtは、自車車線Lnsの路面のうちで、LC移行地点Pcsよりも手前側となるLTC実行区間SLt1の範囲に、重畳表示される。尚、変形例4では、LTC予告コンテンツも、LCA実行コンテンツの奥側にて、LTC実行区間の路面を塗り潰すように重畳表示されてよい。
図35に示す上記第三実施形態の変形例5のLCA受付表示では、LTC実行コンテンツCTt(図30等参照)が一時的に非表示とされる。その結果、画角VA内には、矢印形状の非重畳コンテンツCTnが、応答通知コンテンツCTaとして表示される。応答通知コンテンツCTaの表示輝度は、LTC実行コンテンツCTtと同程度とされてよい。尚、LTC実行コンテンツCTtは、LCA待機表示への表示遷移後、再度表示されてよい。
図36に示す上記第二実施形態の変形例6のLTC移行表示では、LTC予告コンテンツCTptの描画形状が、第二実施形態とは異なっている。LTC予告コンテンツCTptの重畳範囲は、LTC実行区間SLt2の路面に限定されない。LTC予告コンテンツCTptは、画角VA内に含まれる自車車線(旧移動先車線Lnd)の路面に重畳されてよい。
詳記すると、LTC移行地点Pceが画角VA外である場合、画角VAと重なる範囲は、全てLC実行区間SLcとなる。この場合、LTC予告コンテンツCTptの各境界ラインCTtl,CTtrは、移動先車線Lndの路面に、誘目性の低い表示状態で重畳される。例えば、各境界ラインCTtl,CTtrは、LCA実行コンテンツCTcの両側に、LCA実行コンテンツCTcよりも低い表示輝度で表示される。
LTC移行地点Pceが画角VA内である場合、各境界ラインCTtl,CTtrは、LTC実行区間SLt2に重畳される部分(以下、「実行区間部分」)と、LC実行区間SLcに重畳される部分(以下、「待機区間部分」)とで、異なる表示状態とされる。LCA実行コンテンツCTcの奥側に位置する実行区間部分は、LCA実行コンテンツCTcと同程度の表示輝度にて表示される。一方で、LCA実行コンテンツCTcの奥側に位置する待機区間部分は、実行区間部分及びLCA実行コンテンツCTcよりも低い表示輝度にて表示される。
図37に示す上記第二実施形態の変形例7のLCA待機表示では、第一実施形態と同様に、LCAアイコンCTciが、LCA予告コンテンツCTpcとして表示される。変形例7のLCAアイコンCTciは、非重畳コンテンツCTnであり、画角VAの概ね中央に表示される。尚、変形例7のLCAアイコンCTciは、LCA実行コンテンツとして、移動先車線Lndの路面が画角VA内に入るまで、表示を継続されてよい。
図38に示す上記第二実施形態の変形例8のLTC待機表示において、LTC待機コンテンツCTwtは、LCA実行コンテンツCTcと重ならない位置であって、LCA実行コンテンツCTcの奥側に表示される。こうした表示レイアウトにより、LTC待機コンテンツCTwtは、システム側にて予想軌跡が消失しており、運転制御の解除の可能性があることを、ドライバにより明確に示すことができる。LTC待機コンテンツCTwtの描画形状は、否定を示す「×」を、ステアリングホイールを模った描画物に重ねた態様とされる。
図39に示す上記第二実施形態の変形例9では、LCA予告コンテンツCTpc及びLCA実行コンテンツCTcの描画形状が、第二実施形態と異なっている。変形例9の各コンテンツCTpc,CTcは、左境界ラインCTcl及び右境界ラインCTcrを含んでいる。各境界ラインCTcl,CTcrは、LTC予告コンテンツCTpt又はLTC実行コンテンツCTtの各境界ラインCTtl,CTtrと連続するように描画される。
具体的に、変形例9のLCA待機表示において、LTC実行コンテンツCTtの各境界ラインCTtl,CTtrは、各先端部分を、LCA予告コンテンツCTpcの各境界ラインCTcl,CTcrの各基端部分と、それぞれ連続させている。同様に、LCA待機表示において、LCA実行コンテンツCTcの各境界ラインCTcl,CTcrは、各先端部分を、LTC予告コンテンツCTptの各境界ラインCTtl,CTtrの各基端部分と、それぞれ連続させている。
上記実施形態の変形例10では、LTC予告コンテンツCTptとLCA実行コンテンツCTcとが、部分的に重なって表示される。LTC予告コンテンツCTptは、一部がLCA実行コンテンツCTcの奥側に位置している。
上記実施形態の変形例11では、LTC移行地点Pceが画角VA内である場合にも、非重畳コンテンツCTnであるLTCアイコンCTtiが表示される。LTCアイコンCTtiの表示位置は、例えば画角VAの上縁近傍に予め規定されている。こうした変形例11のように、車線内走行の予想軌跡を明示しないLTCアイコンCTtiが用いられてもよい。
上記実施形態の変形例12では、LTC移行地点Pceが画角VA内にあるか否かにかかわらず、共通した描画形状となるLTC予告コンテンツCTptが表示される。例えばLTC予告コンテンツCTptは、二本の境界ラインCTtr,CTtr(図36参照)を含むコンテンツとされる。
上記実施形態の変形例13では、車線変更の実施中にて、車線内走行の待機状態を示すLTC待機表示が省略される。即ち、LTC待機コンテンツCTwtの表示は、実施されない。変形例13では、車線維持制御部51のステータス情報が実行可能状態となったタイミングで、LCA実行表示からLTC移行表示への表示遷移が実施される。
上記実施形態及び変形例にて、各コンテンツを異なる様態で表示させる場合、表示色、表示輝度、基準となる表示形状等の静的な要素の少なくとも一つがドライバによって区別可能な程度に異なっていればよい。また、点滅の有無、点滅の周期、アニメーションの有無、及びアニメーションの動作等、動的な要素の少なくとも一つがドライバによって区別可能な程度に異なっていても、異なる様態での表示とみなすことができる。
上記実施形態及び変形例の説明にて情報提示を例示した走行シーンは、一例である。HCUは、上記のものとは異なる走行シーンにて、非重畳コンテンツ及び重畳コンテンツを併用した情報提示を実施できる。さらに、各コンテンツの形状、表示位置、表示色、表示輝度、及びアニメーションの有無等は、適宜変更されてよく、例えばドライバの嗜好に応じて変更可能であってもよい。
上記実施形態のHCUは、ドライバから見て重畳対象に重畳コンテンツがずれなく重畳されるように、DSMにて検出されるアイポイントの位置情報を用いて、重畳コンテンツCTsとして結像される虚像光の投影形状及び投影位置を逐次制御していた。しかし、上記実施形態の変形例14のHCUは、DSMの検出情報を用いることなく、予め設定された基準アイポイント中心の設定情報を用いて、重畳コンテンツとして結像される虚像光の投影形状及び投影位置を制御する。
変形例15のHUD20のプロジェクタ21には、LCDパネル及びバックライトに替えて、EL(Electro Luminescence)パネルが設けられている。さらに、ELパネルに替えて、プラズマディスプレイパネル、ブラウン管及びLED等の表示器を用いたプロジェクタがHUD20には採用可能である。
変形例16のHUD20には、LCD及びバックライトに替えて、レーザモジュール(以下「LSM」)及びスクリーンが設けられている。LSMは、例えばレーザ光源及びMEMS(Micro Electro Mechanical Systems)スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。こうしたHUD20では、LSMから照射されるレーザ光の走査により、スクリーンに表示像が描画される。HUD20は、スクリーンに描画された表示像を、拡大光学素子によってウィンドシールドに投影し、虚像Viを空中表示させる。
また変形例17のHUD20には、DLP(Digital Light Processing,登録商標)プロジェクタが設けられている。DLPプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス(以下、「DMD」)と、DMDに向けて光を投射する投射光源とを有している。DLPプロジェクタは、DMD及び投射光源を連携させた制御により、表示像をスクリーンに描画する。
さらに、変形例18のHUD20では、LCOS(Liquid Crystal On Silicon)を用いたプロジェクタが採用されている。またさらに、変形例19のHUD20には、虚像Viを空中表示させる光学系の一つに、ホログラフィック光学素子が採用されている。
上記実施形態の変形例20では、HCUとHUDとが一体的に構成されている。即ち、HUDの制御回路には、HCUの処理機能が実装されている。
上記実施形態の変形例21では、フロントカメラ31の撮像データであって、自車の前景を撮像した撮像データを取得するカメラ画像取得部が、HCU100に設けられている。表示生成部75は、撮像データに基づく前景のリアル画像に、LTC関連の各コンテンツCTt,CTptやLCA関連の各コンテンツCTwc,CTpc,CTc等の元画像を重ねてなる映像データを生成する。こうした映像データに基づき、HUD20は、リアル画像に各コンテンツを重ねた表示を、前景に虚像として投影する。以上の変形例21のように、HUD20の画角が十分でない場合、ARコンテンツが画角VAからは外れるシーン等において、AR表示に用いられるコンテンツ等の元画像をリアル画像に重ねた虚像表示が実施されてもよい。
上記実施形態にて、HCUによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
また、上記の表示制御方法を実現可能なプログラム等を記憶する記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、HCUの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、HCUへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
HMIシステムを搭載する車両は、一般的な自家用の乗用車に限定されず、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。さらに、モビリティサービスに用いられるドライバーレス車両に、HCUを含むHMIシステムが搭載されてもよい。
HMIシステムを搭載する車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。さらに、車両が走行する交通環境は、左側通行を前提とした交通環境であってもよく、右側通行を前提とした交通環境であってもよい。本開示による車線維持制御及びその関連表示は、それぞれの国及び地域の道路交通法、さらに車両のハンドル位置等に応じて適宜最適化される。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
A 車両、CTc LCA実行コンテンツ(車線変更コンテンツ)、CTpt LTC予告コンテンツ(制御予告コンテンツ)、CTwt LTC待機コンテンツ(待機通知コンテンツ)、Pce LTC移行地点(車線内走行への移行地点)、VA 画角、11 処理部、20 HUD(ヘッドアップディスプレイ)、51 車線維持制御部、52 車線変更制御部、73 LTC情報取得部(制御情報取得部)、74 LCA情報取得部(変更情報取得部)、75 表示生成部(表示制御部)、100 HCU(表示制御装置)

Claims (9)

  1. 車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、
    前記車両の車線内走行を制御する車線維持制御部(51)から、運転制御に関する運転制御情報を取得する制御情報取得部(73)と、
    前記車両の車線変更を制御する車線変更制御部(52)から、車線変更に関する車線変更情報を取得する変更情報取得部(74)と、
    前記車線変更情報に基づき、車線変更の予想軌跡を示す車線変更コンテンツ(CTc)を、重畳対象としての路面に重畳表示させる表示制御部(75)と、を備え、
    前記表示制御部は、車線変更の完了後の運転制御に関する前記運転制御情報が取得された場合に、前記運転制御情報に基づき、車線変更後における車線内走行の実行予定を示す制御予告コンテンツ(CTpt)を、前記車線変更コンテンツと共に表示させる表示制御装置。
  2. 前記表示制御部は、前記車線変更コンテンツと重ならない位置に前記制御予告コンテンツを表示させる請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記車線変更コンテンツに対して奥側に視認される位置に、前記制御予告コンテンツを表示させる請求項1又は2に記載の表示制御装置。
  4. 前記表示制御部は、車線変更後における車線内走行の予定軌跡を示す前記制御予告コンテンツを表示させる請求項1〜3のいずれか一項に記載の表示制御装置。
  5. 前記制御予告コンテンツは、前記車線変更コンテンツと連続する様態で表示され、前記車線変更コンテンツと共に前記車両の予定軌跡を示す請求項4に記載の表示制御装置。
  6. 前記表示制御部は、前記車線維持制御部による車線内走行への移行地点(Pce)が前記ヘッドアップディスプレイの画角(VA)内である場合に、前記移行地点よりも先の路面に、前記制御予告コンテンツを重畳表示させる請求項4又は5に記載の表示制御装置。
  7. 前記表示制御部は、前記移行地点が前記画角内でない場合に、前記移行地点が前記画角内である場合とは異なる様態の前記制御予告コンテンツを表示させる請求項6に記載の表示制御装置。
  8. 前記運転制御情報には、車線変更の完了後に前記車線維持制御部にて車線内走行が実行可能か否かを示す情報が含まれており、
    前記表示制御部は、車線変更後の車線内走行が可能でない場合に、車線内走行の待機状態を示す待機通知コンテンツ(CTwt)を表示させる請求項1〜7のいずれか一項に記載の表示制御装置。
  9. 車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、
    少なくとも一つの処理部(11)に、
    前記車両の車線変更を制御する車線変更制御部(52)から、車線変更に関する車線変更情報を取得し(S107,S108)、
    前記車線変更情報に基づき、車線変更の予想軌跡を示す車線変更コンテンツ(CTc)を、重畳対象としての路面に重畳表示させ(S116)、
    前記車両の車線内走行を制御する車線維持制御部(51)から、車線変更の完了後の運転制御に関する運転制御情報を取得し(S117)、
    前記運転制御情報に基づき、車線変更後における車線内走行の実行予定を示す制御予告コンテンツ(CTpt)を、前記車線変更コンテンツと共に表示させる(S121,S122)、
    ことを含む処理を実行させる表示制御プログラム。
JP2019088607A 2019-05-08 2019-05-08 表示制御装置及び表示制御プログラム Active JP7188271B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019088607A JP7188271B2 (ja) 2019-05-08 2019-05-08 表示制御装置及び表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019088607A JP7188271B2 (ja) 2019-05-08 2019-05-08 表示制御装置及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2020183192A true JP2020183192A (ja) 2020-11-12
JP7188271B2 JP7188271B2 (ja) 2022-12-13

Family

ID=73045131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019088607A Active JP7188271B2 (ja) 2019-05-08 2019-05-08 表示制御装置及び表示制御プログラム

Country Status (1)

Country Link
JP (1) JP7188271B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114655222A (zh) * 2022-04-18 2022-06-24 重庆长安汽车股份有限公司 一种目标车辆实时显示的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074918A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 報知管理装置及び報知管理方法
JP2018173717A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置
JP2018203007A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074918A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 報知管理装置及び報知管理方法
JP2018173717A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置
JP2018203007A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114655222A (zh) * 2022-04-18 2022-06-24 重庆长安汽车股份有限公司 一种目标车辆实时显示的方法及系统

Also Published As

Publication number Publication date
JP7188271B2 (ja) 2022-12-13

Similar Documents

Publication Publication Date Title
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
WO2021002081A1 (ja) 表示制御装置及び表示制御プログラム
WO2021039198A1 (ja) 表示制御装置及び表示制御プログラム
US11850940B2 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
JP7338735B2 (ja) 表示制御装置及び表示制御プログラム
US20220058998A1 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
JP7243660B2 (ja) 表示制御装置及び表示制御プログラム
JP7215466B2 (ja) 表示制御装置及び表示制御プログラム
JP7092158B2 (ja) 表示制御装置及び表示制御プログラム
JP2021006805A (ja) 表示制御装置及び表示制御プログラム
JP7188271B2 (ja) 表示制御装置及び表示制御プログラム
JP7259802B2 (ja) 表示制御装置、表示制御プログラム及び車載システム
JP7173078B2 (ja) 表示制御装置及び表示制御プログラム
WO2020203066A1 (ja) 表示制御装置及び表示制御プログラム
JP7111121B2 (ja) 表示制御装置及び表示制御プログラム
JP2021094965A (ja) 表示制御装置、および表示制御プログラム
JP2021037895A (ja) 表示制御システム、表示制御装置、および表示制御プログラム
JP7302702B2 (ja) 表示制御装置及び表示制御プログラム
JP2020185830A (ja) 表示制御装置及び表示制御プログラム
JP7063345B2 (ja) 表示制御装置及び表示制御プログラム
JP7255443B2 (ja) 表示制御装置及び表示制御プログラム
JP7420165B2 (ja) 表示制御装置、および表示制御プログラム
JP7014206B2 (ja) 表示制御装置および表示制御プログラム
JP2021066197A (ja) 表示制御装置、表示制御プログラム及び車載システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R151 Written notification of patent or utility model registration

Ref document number: 7188271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151