JP2023083117A - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JP2023083117A
JP2023083117A JP2021197289A JP2021197289A JP2023083117A JP 2023083117 A JP2023083117 A JP 2023083117A JP 2021197289 A JP2021197289 A JP 2021197289A JP 2021197289 A JP2021197289 A JP 2021197289A JP 2023083117 A JP2023083117 A JP 2023083117A
Authority
JP
Japan
Prior art keywords
display
display device
information
head
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021197289A
Other languages
English (en)
Inventor
望 下田
Nozomu Shimoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2021197289A priority Critical patent/JP2023083117A/ja
Publication of JP2023083117A publication Critical patent/JP2023083117A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ヘッドアップディスプレイ装置の技術に関して、より好適な使い勝手などを実現できる技術を提供する。本発明によれば、持続可能な開発目標の「3すべての人に健康と福祉を」に貢献する。【解決手段】実施の形態のヘッドアップディスプレイ装置(HUD装置)1は、映像光の投射に基づいて表示領域105に虚像106を表示するものであって、映像光を生成するための光源装置、メイン表示装置、および光学系が収容された筐体102と、筐体102の外側に設けられたサブ表示装置(サブLCD2)と、メイン表示装置への映像情報の表示と、サブ表示装置への映像情報の表示とを制御する制御装置と、を備える。【選択図】図1

Description

本発明は、ヘッドアップディスプレイ装置(Head Up Display:HUDと記載する場合がある)の技術に関する。
例えば、国際公開第2018/229961号(特許文献1)には、小型・軽量で、光利用率が高く、モジュール化されて面状の光源として容易に利用可能な光源装置、およびそれを搭載したヘッドアップディスプレイ装置が記載されている。
特許文献1のようなヘッドアップディスプレイ装置は、車載の場合、車速やエンジン回転数などの走行情報やナビゲーション情報などの各種の情報を、車両のウィンドシールド(言い換えるとフロントガラス)などに虚像として表示することができる。HUDを用いることで、運転者は、ダッシュボードに組み込まれた計器盤などに視線を移動する必要無く、運転に必要な情報を得られる。このため、HUDは、自動車等の安全運転に寄与している。
国際公開第2018/229961号
従来のヘッドアップディスプレイ装置は、光源装置からの光に基づいて、映像表示装置(表示パネル)で表示する映像に基づいて生成した映像光を、ウィンドシールド等の所定の領域(表示領域と記載する場合がある)に対し投射し、これによって、運転者に対し虚像を提供する。虚像により、実景に対し各種の映像情報を重畳する拡張現実(AR)などの機能を実現できる。このような機能を有するヘッドアップディスプレイ装置は、AR-HUDとも呼ばれる。
特許文献1のような従来技術例のヘッドアップディスプレイ装置における虚像は、指向性を有する。すなわち、運転者は、予め定められた視点位置(それを含むアイボックス)からウィンドシールドの表示領域を見る場合のみ、虚像を好適に視認可能である。AR-HUDの表示領域の虚像は、このような特性を有するので、運転者などのユーザにとって、視認しにくい場合がある等、使い勝手などの観点で改善余地がある。
本発明の目的は、ヘッドアップディスプレイ装置の技術に関して、より好適な使い勝手などを実現できる技術を提供することである。
本開示のうち代表的な実施の形態は以下に示す構成を有する。実施の形態のヘッドアップディスプレイ装置は、映像光の投射に基づいて表示領域に虚像を表示するヘッドアップディスプレイ装置であって、前記映像光を生成するための光源装置、メイン表示装置、および光学系が収容された筐体と、前記筐体の外側に設けられたサブ表示装置と、前記メイン表示装置への映像情報の表示と、前記サブ表示装置への映像情報の表示とを制御する制御装置と、を備える。
本開示のうち代表的な実施の形態によれば、ヘッドアップディスプレイ装置の技術に関して、より好適な使い勝手などを実現できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。
一実施の形態のHUD装置を車両内の運転者が利用する際のイメージを示す。 一実施の形態のHUD装置を搭載した車両、およびそのHUD装置の構成例を示す。 一実施の形態のHUD装置を搭載した車両、およびそのHUD装置の内部の構成例を示す。 一実施の形態のHUD装置のハードウェアとしての外観構成例を示す。 一実施の形態のHUD装置の機能ブロック構成例を示す。 一実施の形態のHUD装置のMCU411の機能ブロック構成例を示す。 一実施の形態のHUD装置における、2種類のディスプレイの制御に関する機能ブロック構成例を示す。 変形例のHUD装置における、2種類のディスプレイの制御に関する機能ブロック構成例を示す。 変形例のHUD装置における、2種類のディスプレイの制御に関する機能ブロック構成例を示す。 一実施の形態のHUD装置における、起動時の動作フローを示す。 一実施の形態のHUD装置における、映像表示装置の構成例を示す。 一実施の形態のHUD装置における、2種類のディスプレイの表示例を示す。 一実施の形態のHUD装置における、種類や情報量を考慮した、2種類のディスプレイの表示制御例の処理フローを示す。 一実施の形態のHUD装置における、種類や情報量を考慮した、2種類のディスプレイの表示例を示す。 一実施の形態のHUD装置における、初期設定の調整時の2種類のディスプレイの表示例を示す。 一実施の形態のHUD装置における、初期設定時の処理フローを示す。 一実施の形態のHUD装置における、初期設定の調整時の他の表示例を示す。 一実施の形態のHUD装置における、エラー状態の時の表示例を示す。 一実施の形態のHUD装置における、エラー状態の時の処理フローを示す。 一実施の形態のHUD装置における、場面に応じた表示例を示す。 一実施の形態のHUD装置における、2種類のディスプレイの表示方式のユーザ設定に関する表示例を示す。 一実施の形態のHUD装置における、2種類のディスプレイの表示方式のユーザ設定に関する他の表示例を示す。 一実施の形態のHUD装置における、場面に応じた輝度変更制御の表示例を示す。 一実施の形態のHUD装置における、歪み補正に関する説明図を示す。 一実施の形態のHUD装置における、ピッチング補正に関する説明図を示す。 一実施の形態のHUD装置における、デバッグモードの時の表示例を示す。 一実施の形態のHUD装置における、二重表示に関する説明図を示す。 一実施の形態のHUD装置における、二重表示に関する処理フローを示す。 一実施の形態のHUD装置における、移動先変更制御の第1例に関する説明図を示す。 一実施の形態のHUD装置における、移動先変更制御の第2例に関する説明図を示す。 一実施の形態のHUD装置における、移動先変更制御の第3例に関する説明図を示す。 一実施の形態のHUD装置における、移動先変更制御に関する処理フローを示す。
以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合がある。
説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばCPUやGPU等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、FPGA、ASIC、CPLD等が適用可能である。
プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体(例えばメモリカード)でもよい。プログラムは、複数のモジュールから構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ID、名、番号等の表現は互いに置換可能である。
<実施の形態1>
図1~図29を用いて、本開示の一実施の形態として、実施の形態1のヘッドアップディスプレイ装置について説明する。なお、説明上、適宜に、方向、座標系として、図1等の(X,Y,Z)のような記号を用いる場合がある。Z方向は鉛直方向であり、X方向およびY方向は水平面を構成する直交する2つの方向である。X方向は、表示領域105やサブLCD2における横方向、運転者から見た左右方向である。Z方向は、表示領域105やサブLCD2における縦方向、運転者から見た上下方向である。Y方向は、運転者から見た前後方向である。
図1等に示される実施の形態1のHUD装置1は、図2等の筐体102内の映像表示装置403から、ミラー3a等の光学系を通じて、車両100のウィンドシールド103の表示領域105に対し、映像光を投射することで、運転者の視点108に対し、拡張現実(AR)等に対応した虚像106(それに対応する映像)を形成・表示する、いわゆるAR-HUDである。
実施の形態1のHUD装置1は、映像表示装置403(特に表示パネル4)に基づいて虚像106が形成される表示領域105をメインディスプレイとした上で、筐体102にサブディスプレイとしてサブLCD2が設けられている。本実施の形態1におけるメインディスプレイはメイン表示画面であり、サブディスプレイまたはサブLCD2はサブ表示装置である。実施の形態1のHUD装置1は、AR-HUDによる虚像表示と、サブディスプレイによる映像表示とによって、運転者の運転を支援する。
実施の形態1のHUD装置1は、筐体102にサブディスプレイとして物理的な表示画面20を有するサブLCD2を設ける構造や設置などの工夫を有する。また、HUD装置1は、AR-HUDとサブディスプレイとの両方を駆動制御する回路などの工夫を有する。また、HUD装置1は、AR-HUDとサブディスプレイとの2種類のディスプレイの使い分け等を制御するソフトウェアの工夫を有する。
[利用イメージ]
図1は、車両内における実施の形態1のHUD装置1の設置例や利用イメージを示す。図1の車両は左側にハンドル104がある車両の例であり、ダッシュボード101内にHUD装置1の筐体102の大部分が収容されている。筐体102の一部である開口部を含む部分(図2での凸状の一部、図4での筐体部102B)はダッシュボード101外に上に出ており、その筐体102の一部には、サブディスプレイ(言い換えるとサブ表示装置)であるサブLCD2(LCD:液晶ディスプレイ)が設けられている。サブLCD2は、ダッシュボード101上、ハンドル104の前方において、表示画面20が運転者の方に向いた状態で配置されている。表示領域105(言い換えるとHUD領域)は、車両のウィンドシールド103における虚像106が形成・表示される領域を示す。表示領域105内には、運転者の視点から視認できるように虚像106が表示される。
HUD装置1の筐体102にサブLCD2が取り付けられている。言い換えると、HUD装置1の筐体102がサブLCD2の筐体を兼ねている。従来のHUD装置は、筐体全体がダッシュボード102内に収容されている。一方、このHUD装置1は、筐体102の一部がダッシュボード102内に収容され、他の一部がダッシュボード102外に出て、サブLCD2が設けられている(図2~図4)。このHUD装置1の設置位置は、運転者の視点(それを含むアイボックス)から表示領域105の虚像106が正しく見えるという条件を満たす、従来とほぼ同様の位置である。サブLCD2の設置位置は、運転者に対し正対する向きとなる位置であり、表示領域105に対し下辺付近の位置である。
AR-HUDの表示領域105には、虚像106として、実景と重畳するAR等の映像が必要に応じて表示される。サブLCD2には、運転を補助するための情報が実像として例えば常時に表示される。ARの映像の例は、衝突防止などの警告のためのアイコンや、他車両や人などへの注意のためのアイコンや、ナビゲーション(経路案内)のための矢印画像など、各種が挙げられる。サブLCD2に表示する情報の例は、車速、右左折情報、運転のガイド、キャラクター画像など、各種が挙げられる。
なお、虚像106の表示領域105を形成するための映像光の投射先は、ウィンドシールド103に限定されず、それ以外の物、例えばコンバイナ(投影板)などでもよい。
[車両およびHUD装置(1)]
図2は、車両100におけるHUD装置1の搭載例、およびHUD装置1の構成例を示す。図2で、HUD装置1は、筐体102内に、映像表示装置403(後述の図5A)、およびミラー3a,3b等の光学系が、所定の位置関係で配置・固定されている。図2に示すように、映像表示装置403は、筐体102内に取り付けられており、筐体102の外周の一部に取り付けられてもよい。図2での筐体102は、形状の例として、凸状であり、その凸状の一部がダッシュボード101上に出ている。筐体102の外側で、ダッシュボード101から上側に出る凸状の部分の手前側(運転者に向いた側)には、サブLCD2が固定されている。映像表示装置403からの映像光は、ミラー3a,3bで反射されて、凸状の部分に設けられた開口部を経由して、筐体102外に出射される。その映像光は、表示領域105で反射されて、運転者の視点108に向かい、運転者から見て虚像106が形成される。
[車両およびHUD装置(2)]
図3は、図2の詳細構成例として、車両100におけるHUD装置1の搭載例、およびHUD装置1の内部の構成例概要などを示す。HUD装置1は、筐体102内に、光源装置5、表示パネル4、およびミラー3a,3b等の光学系が、所定の位置関係で配置・固定されている。ミラー3bは、例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等により構成され、ここでは反射ミラーである。図3の例では、筐体102は、概略的に直方体形状である(後述の図4)。筐体102の外側で、ダッシュボード101から上側に出る筐体部102B(図4)におけるY方向で手前側(運転者に向いた側)には、サブLCD2が固定されている。光源装置5と表示パネル4は、図5Aの映像表示装置403を構成する。映像表示装置403(光源装置5と表示パネル4)とミラー3a,3b等の光学系は、図5Aの映像表示ユニット402を構成する。映像表示装置403は、光源装置5から出射される光(言い換えると光源光)を用いて、表示パネル4に形成された映像を投射する、投射型映像表示装置である。
光源装置5は、光源として、半導体光源素子、代表的にはLED(Light Emitting Diode)光源を含んで構成される。表示パネル4は、代表的には液晶パネル(Liquid Crystal Display:LCD)である。表示パネル4は、光源装置5からの光に基づいて、映像光を出射する。表示パネル4は、制御装置(図5A)からの映像情報に基づいて映像を作成し、当該表示パネル4の表示画面に表示する。表示パネル4は、映像情報に応じて、光源装置5からの光の透過率を画素毎に変調することで、表示領域105へ投影するための映像を形成し、映像光として出射する。
表示パネル4からの映像光は、ミラー3aおよび反射ミラー3bを含む光学系を経由して、筐体102の上側の開口部から出射する。ミラー3aは、表示パネル4からの映像光を反射ミラー3bへ向けて反射する。反射ミラー3bは、例えば凹面鏡である。反射ミラー3bは、ミラー3aからの映像光を、設定された角度の方向で筐体102の開口部へ向けて拡大して反射する。筐体102の開口部から出射した映像光は、ウィンドシールド103の表示領域105の面で反射され、運転者の視点108へ向かう。
これにより、運転者の視点108(所定のアイボックス内の視点108)から前方を見ると、表示領域105において、ウィンドシールド103の前方の実景(例えば道路、車両、人など)に対し、映像光により形成された虚像106が重畳された状態で視認できる。虚像106は、実景の対象物に対して位置を合わせて重畳表示される映像情報や、実景の対象物に対して独立に表示される映像情報などがある。虚像106となる映像情報は、例えば、車速情報、警告、注意、経路案内情報など、様々なものがある。虚像106により、拡張現実(AR)などの機能が実現される。
なお、図5Aの映像表示ユニット402の構成例では、反射ミラー3bに、モータ等の駆動機構404が設けられている。駆動機構404により、反射ミラー3b(図3)の角度を調整できる。これにより、反射ミラー3bから映像光をウィンドシールド103の表示領域105へ投射する向きを調整できる。すなわち、虚像106が形成される表示領域105の位置を調整できる。駆動機構404は、制御装置401からの制御に基づいて、あるいは、ユーザの手動操作に基づいて、反射ミラー3bの角度を変更する。これにより、後述の初期設定時に、運転者から見た表示領域105の高さ位置等を好適に調整できる。
[筐体]
図4は、HUD装置1の筐体102におけるサブLCD2の構成例を示す。図4の(A)はHUD装置1の使用時、(B)は非使用時の状態を示す。筐体102は、ダッシュボード101内に収容される筐体部102Aと、その上のダッシュボード101外に出る筐体部102Bとを有する。筐体部102Bは、上面に開口部107を有する。開口部107は、映像光が表示領域105へ向けて透過する部分であり、グレアトラップ等が設けられている。筐体部102Bの手前の面に、図示しない取り付け器具等を介してサブLCD2が取り付けられている。なお、変形例としては、筐体部102BにサブLCD2が埋め込まれるようにして実装されていてもよい。
本例では、サブLCD2は、筐体部102Bの横幅よりも大きい横長のLCDとしており、横長の表示画面20を有する。この横長のサブLCD2の表示画面20は、図1のように、AR-HUDの表示領域105に対し下辺付近に対応させて配置されるように設計されている。サブLCD2は、配線を通じて、筐体102内の制御装置(後述の図5A)に対し接続されている。サブLCD2の上辺は、筐体部102Bの上面と同程度の位置か、あるいはその上面よりも上側に出ていてもよい。サブLCD2の配置は、運転者の視点から見てサブLCD2によって筐体部102Bの開口部107が隠れる程度とするとよい。使用時、運転者の視点からは、主にサブLCD2が見えるので、ダッシュボード101上に出ている筐体部102Bは目立たない。なお、変形例としては、サブLCD2の横幅を筐体部102Bの横幅以下としてもよい。
このHUD装置1は、筐体102のすべてをダッシュボード101内に収容する構成ではなく、一部である筐体部102Bがダッシュボード101外に出る構成である。そのため、筐体部102Bの分、ダッシュボード101内の筐体部102Bの体積は抑えることができ、ダッシュボード101内のスペースが比較的狭い場合でもダッシュボード101内に収容しやすい。これにより、このHUD装置1は、様々な車種の車両に搭載しやすくなる。
また、筐体部102Bがダッシュボード101外に出てもよいので、筐体102の寸法や形状などの構造の自由度が高くなる。HUD装置は、一般に虚像の形成のための光学的距離を筐体内に確保する必要がある。そのため、筐体内には光学系として反射ミラー等が設けられる。このHUD装置1は、筐体部102Aを無理に小型化する必要が無いので、筐体102内における光路の距離を稼ぐための光学系(反射ミラー等の光学部品)を削減できる可能性も生じる。あるいは、このHUD装置1は、筐体部102Aを従来と同じ体積とした場合でも、ダッシュボード101外に出る筐体部102Bの分、筐体102内の光学系によって光路をより長く確保でき、より遠方への虚像表示が可能となる。
図4の(B)で、HUD装置1は、非使用時に所定の機構によってサブLCD2の配置状態を変更することで開口部107を隠すシャッターにすることも可能となっている。本例では、サブLCD2の上辺付近と、筐体部102Bの上面の手前側の一辺との間にヒンジ部102Cが設けられており、ヒンジ部102Cを回転軸としてサブLCD2が回転可能な回転機構を有する。非使用時には、図示のようにサブLCD2の回転により、サブLCD2の表示画面20が筐体部102Bの開口部107と対向するようにして配置される。これにより、開口部107はサブLCD2によって隠され、サブLCD2の背面側が上面として配置される。サブLCD2の背面には例えば外光反射抑制のための膜(言い換えると遮光膜)が形成されていてもよい。これにより、非使用時には、サブLCD2をシャッターとして、開口部107への太陽光などの外光の入射による内部パネル焼けや、埃堆積などが防止または低減できる。
また、非使用時に、開口部107にサブLCD2の表示画面20が接触することは、部品の傷つき等の可能性が有るので、好ましくない。よって、上記回転機構は、両者が接触しないように接触手前の位置で停止させる機構とするか、あるいは、開口部107とサブLCD2の表示画面20との間にスペーサを設けた構成とする。例えば、筐体部102Bの上面において開口部102の4つの角の外側付近にスペーサを有する。非使用時には、サブLCD2の表示画面20の一部がそのスペーサによって支持されることで、開口部107と表示画面20とが接触しない。
また、使用時に、ヒンジ部102C等の機構を用いて、回転角度を変更することで、運転者に合わせてサブLCD2の表示画面20の向きを調節可能としてもよい。
上記のようなサブLCD2の可動は、ユーザの手動操作で行えるようにしてもよいし、モータなどの駆動機構を設けることで、HUD装置1が起動時や終了時などに自動的にサブLCD2を可動させるようにしてもよい。例えばHUD装置1の起動時に、駆動により、サブLCD2が(B)の状態から(A)の状態に動かされる。HUD装置1の終了時に、駆動により、サブLCD2が(A)の状態から(B)の状態に動かされる。
なお、(B)で、サブLCD2によって開口部107のすべてが隠れない場合でも、少なくとも一部でも隠れる部分については、外光入射防止などの効果が得られる。
開口部107をサブLCD2によって隠すことができる構成について、上記(B)のような機構に限らずに可能である。変形例としては、筐体102にサブLCD2を例えばY方向に平行移動などでスライド可能な機構を設けてもよい。また、他の変形例としては、サブLCD2自体が折り畳み可能なディスプレイで構成されてもよい。
上記(B)のように開口部107をサブLCD2によって塞ぐことができる機構を設ける場合、筐体102内に設ける外光入射防止のための機構、例えば反射ミラーを回転させる機構等を削減することもできる。
図4の(C)は、筐体102に関する変形例を示す。筐体部102Bの手前面に、サブLCD2を取り付けたスライド機構102Dが設けられている。スライド機構102DによってサブLCD2を例えばZ方向に平行移動するようにスライドできる。これにより、サブLCD2の高さ位置を調節可能である。他の変形例としては、さらに回転角度調整機構を追加して設けることで、サブLCD2の向き(表示画面20の光軸方向)を変更可能としてもよい。
[HUD装置の機能ブロック構成例(1)]
図5Aは、HUD装置1の機能ブロック構成例を示す。HUD装置1は、制御装置401、映像表示ユニット402、サブLCD2、スピーカ405、センサ409等を有する。制御装置401は、例えば電子制御ユニット(Electronic Control Unit:ECU)で構成される。映像表示ユニット402は、前述の図2または図3のような構成を有する。
制御装置401は、HUD装置1の全体および各部を制御するコントローラに相当し、主にHUD装置1の映像表示制御や音声出力制御などを行う。制御装置401は、例えば、配線基板などによって構成されている。制御装置401は、例えば図2または図3の筐体102内に搭載されている。なお、制御装置401は、筐体102内での実装に限らず、筐体102外に実装されてもよい。制御装置401は、車両情報取得部407、通信部408、センサ409(なお制御装置401外や筐体102外にあってもよい)、マイクロコントローラ(MCU)411、不揮発性メモリ211、揮発性メモリ212、表示用ドライバ223、音声用ドライバ324等を備える。
HUD装置1は、車両情報取得部407を通じて、車両100(図2)の各部に設置された各種センサなど(言い換えると情報取得デバイス)から、車両情報406を取得する。各種センサは、車両100の内部や外部における走行状況などの状況に係わるパラメータを例えば定期的に検出する。各種センサの一例としては、図3の車両100に設置されたカメラ109(車外カメラや車内カメラ)が挙げられる。HUD装置1は、車両情報取得部407を通じて、各種センサの検出情報を取得し、検出情報に基づいて、車両100に係わる各種のイベントを検出や判断できる。また、HUD装置1は、HUD装置1に設置されたセンサ409から検出情報を取得してもよい。HUD装置1は、センサ409の検出情報に基づいて、HUD装置1の状態やHUD装置1の近傍の状態を検出・判断してもよい。
車両情報取得部407は、例えば、CAN(Controller Area Network)インタフェースやLIN(Local Interconnect Network)インタフェースなどに対応した通信プロトコルに基づいて、車両情報406を取得する。
車両情報406は、車両100の走行などの状況に係わる情報の総称である。車両情報406は、例えば、車両100の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンON/OFF情報、カメラ映像情報、加速度ジャイロ情報、GPS(Global Positioning System)情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれる。カメラ映像情報は、カメラ109等による映像情報であり、車内カメラ映像情報や車外カメラ映像情報がある。GPS情報の中には緯度および経度の他に現在時刻情報なども含まれる。
車両100またはHUD装置1に設置される各種センサ(情報取得デバイス)の一例を以下に示す。各種センサ(情報取得デバイス)としては、車速センサ、シフトポジションセンサ、ハンドル操舵角センサ、ヘッドライトセンサ、照度センサ、色度センサ、測距センサ、赤外線センサ、エンジン始動センサ、加速度センサ、ジャイロセンサ、温度センサ、車内用カメラ、車外用カメラ、路車間通信用無線送受信機、車車間通信用無線送受信機、GPS受信機、VICS(Vehicle Information and Communication System、登録商標)受信機などがある。各種センサは、これらに限らず、追加、削除、置換などが可能である。
車速センサは、車両100の速度(車速とも記載)を検出し、検出結果となる速度情報を生成する。シフトポジションセンサは、現在のギアを検出し、検出結果となるギア情報を生成する。ハンドル操舵角センサは、現在のハンドル操舵角を検出し、検出結果となるハンドル操舵角情報を生成する。ヘッドライトセンサは、ヘッドライトのON/OFFを検出し、検出結果となるランプ点灯情報を生成する。照度センサおよび色度センサは、外光を検出し、検出結果となる外光情報を生成する。
測距センサは、車両100と外部の物体との間の距離を検出し、検出結果となる距離情報を生成する。赤外線センサは、車両100の近距離における物体の有無や距離などを検出し、検出結果となる赤外線情報を生成する。エンジン始動センサは、エンジンのON/OFFを検出し、検出結果となるON/OFF情報を生成する。加速度センサおよびジャイロセンサは、車両100の加速度および角速度を検出し、検出結果として、車両100の姿勢や挙動を表す加速度ジャイロ情報を生成する。温度センサは、車内外の温度を検出し、検出結果となる温度情報を生成する。
車内カメラは、車両100内を撮影することで、車両内カメラ映像情報を生成する。車外カメラは、車両100外を撮影することで、車外カメラ映像情報を生成する。具体例では、図3のカメラ109は、車内カメラにより、例えば運転者の姿勢、眼の位置、動きなどを撮影し、DMS(Driver Monitoring System)を構成する。車内カメラにより撮像された映像を解析することで、運転者の疲労状況や視線の位置などが把握可能である。また、車外カメラは、例えば、車両100の前方や後方などの周囲の状況を撮影する。車外カメラにより撮像された映像を解析することで、車両100の周辺に存在する他車両や人などの有無、建物や地形、雨や積雪、凍結、凹凸などといった路面状況、および道路標識などを把握可能である。また、車外カメラには、走行中の状況を映像で記録するドライブレコーダなども含まれる。
路車間通信用無線送受信機は、車両100と、道路、標識、信号等との間の路車間通信によって、路車間通信情報を生成する。車車間通信用無線送受信機は、車両100と周辺の他車両との間の車車間通信によって、車車間通信情報を生成する。GPS受信機は、GPS衛星からのGPS信号を受信することでGPS情報を生成する。例えばGPS情報として現在時刻、緯度および経度を取得可能である。VICS受信機は、VICS信号を受信することで得られるVICS情報を生成する。GPS受信機やVICS受信機は、ナビゲーションシステムの一部として設けられてもよい。
HUD装置1の制御装置401は、車両情報406などに基づいて、映像表示ユニット402の表示を制御し、表示領域105に映像光による虚像106を形成する。また、HUD装置1の制御装置401は、車両情報406などに基づいて、サブLCD2の表示も制御する。
MCU411は、CPU(Central Processing Unit)のようなプロセッサや、メモリに加え、各種周辺機能を備えている。また、制御装置401内のMCU411は図5Bに示すような構成でもよい。図5Bでは、MCU411により実現される機能ブロックとして、映像データ生成部412、歪み補正部413、ピッチング補正部414、光源調整部415、ミラー調整部416、および音声データ生成部417を有する。これらの各部は、主に、不揮発性メモリ421または揮発性メモリ422に格納されているプログラムをMCU411のCPUが読み出して実行することで実現される。制御装置401は、MCU411を用いた実装に限定されず、ECUや他の半導体デバイスを用いた実装でもよい。
MCU411は、車両情報取得部407を介して車両情報406を受信・取得する。MCU411は、車両情報406などに基づいて、映像表示装置403に向けた映像情報(映像データ)やスピーカ405に向けた音声データなどを生成する。
図5Bの構成の場合において、映像データ生成部412は、車両情報406などに基づいて、表示領域105に虚像106を形成するために表示パネル4に表示する映像の内容を定める映像データ(後述の元画像)を生成する。歪み補正部413は、映像データ生成部412からの映像データに対し、後述の歪み補正処理を行い、補正後の映像データを生成する。歪み補正は、映像表示装置403からの映像光をウィンドシールド103に投影した場合にウィンドシールド103の曲率に応じて生じる映像の歪みを補正するものである。また、ピッチング補正部414は、映像データ生成部412からの映像データに対し、後述のピッチング補正処理を行い、補正後の映像データを生成する。実施の形態1では、映像データに対し、歪み補正とピッチング補正との両方が行われる。
表示用ドライバ423は、歪み補正およびピッチング補正の補正後の映像データに基づいて、映像表示装置403の表示パネル4の表示素子を駆動する。これにより、表示パネル4は、表示画面に、表示領域105へ投影するための映像を作成・表示する。
光源調整部415は、映像表示装置403の光源装置5の後述のLED素子の輝度などを制御する。
ミラー調整部416は、表示領域105の位置を調整する場合に、映像表示ユニット403の反射ミラー3bに設けられた駆動機構404を制御して、反射ミラー3bの角度を変更する。
音声データ生成部417は、必要に応じて、車両情報406などに基づいた音声データを生成する。音声データは、例えば、ナビゲーションシステムの音声案内を行う場合や、AR機能によって運転者に警告を発する場合などに生成される。音声用ドライバ424は、音声データに基づいて、スピーカ405を駆動し、スピーカ405に音声を出力させる。
図5Aで、不揮発性メモリ421は、主に、MCU411内のCPUで実行されるプログラムや、MCU411内の各部の処理で使用する設定パラメータや、規定の映像データや音声データなどを予め記憶する。揮発性メモリ422は、主に、取得された車両情報406や、MCU411内の各部の処理過程で使用される各種データを適宜に記憶する。
通信部408は、通信インタフェースが実装された装置であり、HUD装置1の外部との間で、CANやLINなどに従った通信プロトコルに基づいて通信を行う。なお、通信部408と車両情報取得部407とが一体でもよい。図5Aの制御装置401の各部は、FPGA(Field Programmable Gate Array)などの専用回路によって実装されてもよい。
[HUD装置の機能ブロック構成例(2)]
図6Aは、図5Aに基づいた、HUD装置1における2種類のディスプレイ(AR-HUDとサブLCD2)を制御するための機能ブロック構成例を示す。実施の形態1の図6Aの構成例では、制御装置401に1つのMCU411を有し、この1つのMCU411が、表示パネル4とサブLCD2との両方を制御する。表示パネル4は、例えばLCDで構成されたメイン表示装置であり、サブLCD2は、サブ表示装置である。
図6Bは、図6Aの構成の変形例であり、制御装置401に1つの制御マイコン503を有し、この1つの制御マイコン503が、表示パネル4とサブLCD2との両方を制御する。
図6AのMCU411(図6Bの制御マイコン503の場合も同様)は、機能ブロックとして、表示制御部500、第1映像データ生成部501、第2映像データ生成部502等を有する。映像制御部500は、車両情報406等に基づいて発生した、表示対象の映像データについて、2種類の表示先を含め、どのように表示すべきかを判断する(例えば後述の図10)。そして、映像制御部500は、判断に基づいて、第1映像データ生成部501および第2映像データ生成部502等を制御する。
第1映像データ生成部501は、表示先がAR-HUDである場合の表示パネル4に表示するための第1映像データを生成し、第1表示ドライバ511を駆動制御する。第2映像データ生成部502は、表示先がサブLCD2である場合のサブLCD2に表示するための第2映像データを生成し、第2表示ドライバ512を駆動制御する。第1表示ドライバ511は、第1映像データに基づいて表示パネル4を駆動する。第2表示ドライバ512は、第2映像データに基づいてサブLCD2を駆動する。
MCU411は、MCU411の内部または外部に有するメモリ520に、映像データ(第1映像データおよび第2映像データ)等を読み書きする。メモリ520は、図5Aでの不揮発性メモリ421等でもよい。図6Aの例では、同じメモリ520内に、表示パネル4側に与えるための第1映像データ521と、サブLCD2側に与えるための第2映像データ522との両方を記憶する構成例を示している。
また、図6Aの例では、第1映像データ521は、詳しくは、画像データ(例えば第1画像データd11)と文字データ(例えば第1文字データd12)とに分けて記憶・管理されている。同様に、第2映像データ522は、画像データ(例えば第1画像データd21)と文字データ(例えば第1文字データd22)とに分けて記憶・管理されている。ここでの画像データとは、ビットマップ等の形式での2次元や3次元の画像(静止画や動画)のデータである。ここでの文字データとは、文字画像の生成元となる文字コードや文字フォントや拡大/縮小率等の文字情報を有するデータである。
また、吹き出しには、映像データの詳細データ構造例を例示している。例えば第1画像データd11は、IDと、イベント情報と、表示先と、表示条件と、属性と、映像データ本体とを有する。IDは、映像データの識別情報である。イベント情報は、映像データの発生の契機となったイベント等を示す情報である。表示先は、映像データの表示先(2種類のディスプレイ)が決定された場合のその表示先を示す情報(例えばメインである表示パネル4を0、サブであるサブLCD2を1とする等)である。表示条件は、映像データの表示先への表示の仕方に条件(例えば表示時間や表示終了条件)や方式など(例えば後述の二重表示や移動表示)がある場合のその条件や方式などを示す情報である。映像データの属性は、種類、優先度または重要度、データ量、情報量、サイズ(表示の大きさ)といった各種の属性情報である。種類は、例えば、警告、注意、経路案内、車速、施設情報といった映像情報の区分などの情報である。
図6Cは、図6Aに対する変形例における制御装置401の機能ブロック構成例を示す。この変形例では、制御装置401は、2つの制御マイコン(601,602)が独立に並列で設けられており、制御マイコン601が表示パネル4を制御し、制御マイコン602がサブLCD2を制御する。制御装置401は、バス630に対し、制御マイコン601、制御マイコン602、車両情報取得部407、通信部408などが相互接続されている。
制御マイコン601は、機能ブロックとして、表示制御部610と、第1映像データ生成部501とを有する。表示制御部610は、表示対象の映像データについて、2種類の表示先を含め、どのように表示すべきかを判断し、表示先を表示パネル4とする場合には、第1映像データ生成部501を制御する。表示制御部610は、表示対象の映像データについて、表示先をサブLCD2とする場合には、制御マイコン602と通信し、表示制御部620に指示などを与える。表示制御部620は、表示対象の映像データについて、表示先をサブLCD2とする場合に、第2映像データ生成部502を制御する。
また、図6Cの構成例では、メモリの構成例として、制御マイコン601が使用するメモリ641と、制御マイコン602が使用するメモリ642とが独立で並列に設けられている。制御マイコン601は、メモリ641にアクセスして第1映像データ521を読み書きする。制御マイコン602は、メモリ642にアクセスして第2映像データ522を読み書きする。
なお、他のメモリ構成例としては、制御マイコン601が使用するメモリと制御マイコン602が使用するメモリとを1つの共通のメモリとし、図6Aのメモリ520と同様にその共通のメモリ内に第1映像データ521および第2映像データ522が記憶されるようにしてもよい。
図6Bの構成例は、1つの制御マイコン503によって2系統(2種類の表示先)の映像出力を制御する構成例である。この構成例の場合、制御マイコンが1つであるため、省スペース、低コストである。ただし、この1つの制御マイコンは、2系統の映像出力を制御してそれらを遅延無く同期して出力させることができる性能が要求される。2種類のディスプレイの映像表示を同期させる場合などには、この1つの制御マイコンの構成例によって、容易に対応可能である。
図6Cの構成例は、2つの制御マイコン(601,602)によって、それぞれの系統の映像出力を制御する構成例である。それぞれの制御マイコンは、基本的には対応する1種類の映像出力を制御すればよい。ただし、2系統の映像出力を同期させる場合などには、2つの制御マイコン間で通信によって連携して同期する必要がある。
図6Bのメモリ構成例は、1つの制御マイコン503に対し1つのメモリ520を有する構成において、データ配置としては、メモリ520内で表示パネル4用の第1映像データ521とサブLCD2用の第2映像データ522とでそれぞれ別アドレスに分けて配置・格納するものである。全データを分けずに1つの塊で格納してもよいが、このように表示先に応じて分けてデータを格納しておくことで、また、画像データと文字データとで二分しておくことで、利点が大きい。例えば、サブLCD2用の第2映像データ522のみを差し替える等更新したい場合に、その第2映像データ522のみを効率的に更新できる。混在する全データの塊が大きい場合、更新の必要の無いデータも書き換えるため、更新に時間がかかる。
図6Cのメモリ構成例は、2つの制御マイコン(601,602)に対し、それぞれのメモリ(641,642)を有する構成において、データ配置としては、メモリ641に表示パネル4用の第1映像データ521を配置し、メモリ642にサブLCD2用の第2映像データ522を配置するものである。このように表示先に応じて分けてデータを格納しておくことで、また、画像データと文字データとで二分しておくことで、利点が大きい。
[HUD装置の起動時]
図7は、HUD装置1の起動時の動作フロー例である。ステップS1で、HUD装置1の制御装置401は、まず、サブLCD2の表示準備を開始する。次に、ステップS2で、HUD装置1の制御装置401は、AR-HUDに対応した表示パネル4を含む映像表示ユニット402の表示準備を開始する。ステップS3で、HUD装置1は、サブLCD2の表示準備が完了するまで待つ。ステップS4で、HUD装置1は、サブLCD2への表示を開始する。ステップS5で、HUD装置1は、AR-HUDの表示準備が完了するまで待つ。ステップS6で、HUD装置1は、AR-HUDに対応した表示パネル4への表示を開始する。
ステップS7で、HUD装置1は、HUD装置1のオフ状態またはスリープ状態への遷移の条件を満たしたかを確認する。条件は、例えば、ユーザが電源オフボタンを押した場合や、表示変化が無いまま一定時間が経過した場合である。条件を満たした場合、ステップS8で、HUD装置1は、まずサブLCD2の表示を停止させる。次に、ステップS9で、HUD装置1は、AR-HUDに対応した表示パネル4の表示を停止させる。ステップS10で、HUD装置1は、AR-HUDの表示終了処理を開始する。ステップS11で、HUD装置1は、サブLCD2の表示終了処理を開始する。ステップS12で、HUD装置1は、サブLCD2の表示終了処理が完了するまで待つ。ステップS13で、HUD装置1は、AR-HUDの表示終了処理が完了するまで待つ。それらの表示終了処理が完了後、ステップS14で、HUD装置1は、オフ状態またはスリープ状態に遷移する。
なお、一般に、サブLCD2よりもAR-HUDに係わる準備などの方が時間を要するため、上記のようなフローとしている。
[HUD装置の内部構成例]
図8は、HUD装置1の映像表示装置403(図5A)の構成例として、表示パネル4および光源装置5の部分を示す。図8は、Y-Z面での模式断面図を示している。筐体部102A(図4)内に、光源装置5(図8で表示パネル4以外の部分)と表示パネル4とが配置されている。
光源装置5は、光源側から順に、LED基板801と、コリメータ802と、偏光変換素子803と、導光体804と、拡散板805とを備える。拡散板805の後ろ(出射側)には表示パネル4が配置されている。表示パネル4の後ろには図3の反射ミラー3aが配置されている。本構成例では、図示のように、Y方向に沿って、LED基板801、コリメータ802、偏光変換素子803、導光体804が配置されており、導光体804からZ方向に沿って、拡散板805、表示パネル4が配置されている。なお、このような光源装置5は一例であり、これに限定するものではない。
LED基板801は、半導体光源素子として複数のLED素子801Aを有する基板である。なお、図8はY-Z断面であるため、1個のLED素子801Aおよび1個のコリメータ素子のみが図示されているが、LED基板801の主面(X-Z面)ではX方向に複数のLED素子801Aが同様に設けられており、それに対応してコリメータ802ではX方向に複数のコリメータ素子が同様に設けられている。
LED基板801のLED素子801Aからの光の出射側(Y方向)には、コリメータ802が設けられている。コリメータ802は、光の進行方向を制御する素子であり、LED素子801Aからの光を略平行光に変換して出射する。コリメータ802からの光の出射側(Y方向)には、偏光変換素子803が設けられている。偏光変換素子803は、偏光特性を揃える素子であり、コリメータ802からの略平行光としてランダム偏光を有する光を、直線偏光を有する光に変換する。偏光変換素子803は、偏光変換プリズムと波長板とを組み合わせて構成されている。
偏光変換素子803からの光の出射側(Y方向)には、導光体804が設けられている。導光体804は、偏光変換素子803からのY方向での直線偏光の光を、入射部から入射し、反射部によって、Y方向とは異なるZ方向、すなわち表示パネル4がある方向へ向けて反射させながら配光制御を行い、出射部から出射する。導光体804は、反射および配光制御を行う反射部を備えている。反射部は、反射面と連接面とが交互に繰り返して形成されている。出射部の出射面は、例えば配光制御のための自由曲面形状を有する。
導光体804の出射部から出射した光は、概略的にZ方向の上方、本例ではやや斜め右上方向に向かう。導光体804から光の出射側には、拡散板805が設けられている。導光体804からの光は、拡散板805によって拡散され、表示パネル4の背面側に入射する。表示パネル4は、この入射光をバックライトとして映像光を生成する。この表示パネル4からの映像光は、指向性を有する映像光である。
[2種類のディスプレイ]
実施の形態1のHUD装置1において、AR-HUDの表示領域105とサブLCD2との2種類のディスプレイについての基本的な特性は以下である。
表示パネル4に基づいてAR-HUDの表示領域105に表示される虚像106は、指向性を有する映像であるため、図3の車両100の運転席に着座した運転者の運転姿勢での、設定されたアイボックス内の視点108からのみ正確に視認可能な映像である。表示領域105の虚像106は、車両内の同乗者からは容易に視認できない。
虚像106は、サブLCD2の実像に比べると、映像の鮮明度や解像度の観点では劣る。逆に、サブLCD2の映像は、虚像106に比べると鮮明である。また、虚像106は、周辺の明るさや実景の内容に応じても見えやすさが左右されやすい。また、ウィンドシールド103は曲率の曲面を有しているため、ウィンドシールド103に投射された映像はその曲率に応じて歪みが生じる。この歪みは、何らかの補正(例えば前述の歪み補正)が必要であり、その補正によって解消される。しかし、この歪みは、完全に解消されるとは限らず、特に虚像106での文字画像などの細かい表示内容は視認しにくい場合がある。
サブLCD2の表示画面20は、図1等のように運転席の運転者に対し例えば正対する位置に配置される。このサブLCD2の映像は、拡散する映像であるため、空間内で運転者の視点位置が移動した場合でも視認可能である。運転者が所定の運転姿勢でない時でもこの映像を視認可能である。また、車両内の同乗者もサブLCD2の映像を視認可能である。サブLCD2の映像は、当然ながら実景への重畳表示によるAR等の効果は実現できない。サブLCD2の映像は、虚像106に比べ、表示可能になるまでの時間が早い。サブLCD2の映像は、虚像106に比べ、表示開始までの準備時間が短い。サブLCD2の映像は、文字などの細かい表示をした場合でも、視認性が落ちにくい。
実施の形態1のHUD装置1は、上記のような2種類のディスプレイの特性を踏まえて、2種類のディスプレイの使い分け等を制御する機能を有する。この制御を例えば図6Bの表示制御部500あるいは図6Cの表示制御部610が行う。
[使い分け(1)]
上記2種類のディスプレイの使い分けの制御例を以下に説明する。表示パネル4に基づいた表示領域105での虚像106の表示は、AR専用またはAR重視の表示に用いる。この虚像106の表示は、3次元での立体的な映像表現に用いることが効果的である。AR以外の映像情報を表示する場合、2次元の映像表現とする。2次元の映像情報の表示は、表示領域105またはサブLCD2を用いる。一時的に必要な映像情報は、主に表示領域105の虚像106を用いる。常時に表示が必要な映像情報は、主にサブLCD2を用いる。
サブLCD2では、非ARの映像情報として2次元の映像情報を表示する。サブLCD2では、運転者に対し常時に表示しておきたい映像情報を表示する。サブLCD2では、例えば黒背景として、2次元の映像情報(例えば文字画像)をカラーで鮮明に表示する。
[表示例(1)]
図9は、実施の形態1のHUD装置1における、2種類のディスプレイの使い分けの表示例を示す。図9の(A)は、運転者から見た表示領域105を含む、ウィンドシールド103越しの実景を含む映像と、サブLCD2の表示画面20の映像とを示している。表示領域105において、道路などの実景上に重畳した状態で、ARの虚像901が表示されている。このARの虚像901は、例えば右折の経路をナビゲーションする経路案内情報(例えば複数の三角形から成る画像)である。一方、サブLCD2では、現在の車速(「40km/h」)や右折地点までの距離(右折案内)などの文字画像を含む映像情報902が主に表示されている。なお、映像情報902は、表示画面20において例えば黒背景上に白色などの指定色で表示されるが、本図面では文字を黒色で図示している。表示画面20の表示内容はこれに限らず様々に可能である。
図9の(B)は、別の表示例を示す。表示領域105において、自車線上に先行車両が検出された場合に、その先行車両への注意を促すためのARの虚像903(例えばリング状の画像)が表示されている。一方、サブLCD2では、車速、道路名、「前方車両有り」といった文字画像を含む映像情報904が表示されている。
なお、図9の(A)等では、表示領域105とサブLCD2との間に、上下方向(Z方向)での隙間の領域900を図示している。運転者の運転姿勢の視点から前方を視認した場合に、このような隙間の領域900があってもよい。この隙間の領域900は、サブLCD2を含むHUD装置1自体の実装構成や、図1等の車両内でのHUD装置1の搭載の構成等に応じて生じる。隙間の領域900がある形態に限らず、隙間の領域900が無い形態とすることも可能である。
[使い分け(2)]
HUD装置1は、ある映像情報を表示する際に、その映像情報の種類などに応じて、表示先とするディスプレイを決める。例えば、HUD装置1は、ある表示対象の映像情報について、AR-HUDの表示領域105での虚像106の表示と、サブLCD2での映像表示とのいずれの形態も可能である場合には、その映像情報の種類や情報量などの観点を考慮して、表示先として、表示領域105での表示と、サブLCD2での表示とを使い分ける。HUD装置1は、その時の走行状況や、運転者の視界の表示領域105や表示画面20の情報量などの判断に基づいて、ある映像情報の表示先を、表示領域105とするかサブLCD2とするかを選択・決定する。このような制御例を以下に説明する。
従来の1つのディスプレイ(AR-HUD)しかないHUD装置において、情報量として100の映像をそのディスプレイに表示するとする。これに対し、実施の形態1のHUD装置は、その情報量として100の映像を、表示領域105とサブLCD2との2種類のディスプレイに振り分けて表示可能である。なお、ここでの情報量とは、抽象的な概念であるが、運転者にとって認知などの処理に必要な負荷の大きさと対応付けられた量である。実施の形態1では、100の情報量の映像について、例えば、表示領域105に60の情報量の虚像106として表示し、サブLCD2に40の情報量の映像として表示する、といった分担が可能である。この制御では、表示領域106に虚像106として表示する映像の情報量を、ある情報量以下までに制限することができる。
これにより、運転者の視界として表示領域105等を含む視界において、安全運転に必要な視野を確保しつつ、あまり負担にならない程度に虚像106およびサブLCD2による支援を提供でき、運転者の酔い、めまい、疲れ等の影響を低減できる。
[情報量を考慮した制御例]
図10は、上記情報量などを考慮した制御例に関するHUD装置1の処理フローを示す。ステップS101で、例えば図6Bの制御装置401は、車両情報406等に基づいた、様々な契機で、時点ごとに、表示対象の映像情報を受け取る。制御装置401は、車両情報406などから、車両や周囲の状況を把握できる。制御装置401は、表示対象の映像情報について、種類、データ量、サイズ、優先度または重要度などの情報を得る。これらの情報は、前述の図6Bの例のように、映像情報に属性情報等の態様で付属している情報や関連付けられて記憶されている情報を利用してもよいし、制御装置401が新たに生成する情報でもよい。制御装置401は、例えば映像情報の情報量を計算してもよい。
「種類」は、例えば、その映像情報がARなのか非ARなのか、3次元(立体)の画像か2次元(平面)の画像か、文字情報か否か、GUI(メニュー等のグラフィカル・ユーザ・インタフェース)か否か、といった種類などを表す情報である。「種類」は、警告、注意、経路案内、車速、施設情報や広告情報、といった区分でもよい。「種類」は、表示領域105に虚像106として表示すべき種類か、サブLCD2に表示すべき種類か、あるいは、2種類のディスプレイのいずれに表示しても構わないという種類かを表す情報でもよい。「種類」の1つとして、文字情報とは、例えば、文字コード等で表されるものである。文字情報を元データとして、AR-HUDまたはサブLCD2に表示するための文字画像(例えば2次元の画素値を有するビットマップのような文字画像)が作成される。
「データ量」は、その映像情報のメモリ上のデータ量である。「サイズ」は、表示領域105やサブLCD2の表示画面20にその映像を表示する際の表示の大きさ、縦横寸法等である。優先度または重要度は、必須ではないが、設ける場合には、その映像情報が全映像情報においてどの程度の優先度または重要度を持つかを表す情報である。例えば、緊急時の警告などの映像情報は、優先度が最も高い値とされる。車両周囲に存在する物体への注意喚起のための映像情報は、警告よりも優先度が低い値とされる。経路案内情報は、優先度がより低い値とされる。施設情報や広告情報などは優先度がより低い値とされる。
ステップS102で、制御装置401は、ある時点において受け付けている、表示対象の映像情報ごとに、ステップS101の各種情報を用いて、表示先(2種類のディスプレイのいずれか)を判断する。まず、映像情報の種類として、表示先が予め1種類に決められているものについては、制御装置401は、その表示先に仮決定する。すなわち、制御装置401は、AR等の所定の種類の映像情報については、表示先を表示パネル4(それに対応する表示領域105)として仮決定する。制御装置401は、文字情報等の所定の種類の映像情報については、表示先をサブLCD2として仮決定する。
ステップS103で、制御装置401は、複数の表示対象の映像情報がある場合には、それらの中から、実際に表示する映像情報を順に決定してゆく。この際、制御装置401は、例えば種類または優先度などの順に1つずつ表示する映像情報および表示先を決定してゆく。制御装置401は、例えば優先度が高い順に1つずつ映像情報の表示先を決定してゆく。また、この際、制御装置401は、表示パネル4に基づいた表示領域105と、サブLCD2とで、それぞれ、表示情報量をカウントする。この表示情報量は、例えば表示領域105での表示情報量としては、表示領域105内での1つ以上の虚像106についての各情報量を総合(例えば加算)した量である。同様に、サブLCD2での表示情報量としては、表示画面20内での1つ以上の映像情報についての各情報量を総合(例えば加算)した量である。また、制御装置401は、表示先がいずれのディスプレイでもよい種類の映像情報については、表示パネル4とサブLCD2とのそれぞれの表示情報量が所定量以下となる制限を満たすように、表示パネル4またはサブLCD2を表示先として選択する。
ステップS103に関して、制御装置401が映像情報の情報量を計算する際には、映像情報のデータ量やサイズを考慮してもよい。あるいは、予め、映像情報ごとに情報量が設定されていてもよい。例えば、映像情報のデータ量またはサイズが大きいほど、情報量を大きくしてもよい。上記情報量や表示情報量は、運転者が映像情報や画面を視認や認知する際の負荷の大きさや容易さ/難しさなどを表しており、負荷量や指標値などと言い換えることもできる。
図11は、図10の制御例に従った表示例を示す。ある時、表示領域105には、先行車両への注意を表すARの虚像1101と、車間距離に関する警告を促すARの虚像1102とが表示されている。制御装置401は、表示領域105内の表示情報量が所定量以下となる範囲で、このような1つ以上の虚像106を表示する。この時、同時に、制御装置401は、表示対象の映像情報として、図9の(A)と同様な、右折の経路案内情報も受け付けたとする。しかし、制御装置401は、この時、その右折の経路案内情報を表示領域105にARとして表示する場合に、表示領域105の表示情報量が所定量を超えること、および、優先度として、警告、注意、経路案内の順であることから、虚像1101,1102の表示を優先してそのまま表示とし、右折の経路案内のARについては表示しないように決定する。
一方、制御装置401は、この時、サブLCD2の表示画面20では、サブLCD2の表示情報量の制限範囲内で、文字画像による映像情報1103,1104を表示している。映像情報1104は車速である。制御装置401は、右折の経路案内情報については、サブLCD2の方に非ARによる映像情報1103(50m先右折を表す画像)として表示するように決定して表示している。このように、実施の形態1のHUD装置1は、2種類のディスプレイを使い分けて好適な表示による運転支援が可能である。
[使い分け:初期設定]
図12は、2種類のディスプレイの使い分けの制御例として、HUD装置1の表示領域105の初期設定時の表示例を示す。ある運転者がHUD装置1を初回に使用する際には、その運転者の運転姿勢および目の位置(それを含むアイボックス)に合わせて表示領域105の高さ等を好適に初期設定するための調整(キャリブレーション等とも呼ばれる)が行われる。なお、HUD装置1は、この調整を、車両の停車中の安全な状態で許可し、走行中では許可しないようにする。AR-HUDでは、このような運転者ごとの表示領域105の調整は必須である。この調整を怠ると、運転者から表示領域105の虚像106が適切に視認できない。例えば、実景の車両や人などの対象物の上にARの虚像106を適切に位置合わせして重畳表示することはできない。より深刻な場合、そもそも運転者から虚像106が一切視認できない。
そのため、従来のHUD装置は、AR-HUDの表示領域の調整の際に、表示領域に、表示領域(虚像を含む)の位置を調整するための映像情報を表示し、ユーザの操作入力に応じて、表示領域(虚像を含む)の位置を調整してもらう。しかしながら、その調整用の映像情報自体がARの虚像として表示領域に表示されているため、その映像情報自体が運転者から視認できない場合などがある。その場合、調整に手間がかかる。
そこで、実施の形態1のHUD装置1では、初期設定の調整時に、表示領域105に調整用の映像情報を表示するのみならず、サブLCD2にも、調整のガイド・支援のための映像情報を表示する。言い換えると、HUD装置1は、2種類のディスプレイを用いて、ユーザである運転者に対し、表示領域105の調整およびガイド・支援のための映像情報を表示する。それらの映像情報に従って、ユーザに調整の操作をしてもらう。
図12の例では、まず表示領域105には、調整用の虚像1201,1202が表示されている。虚像1201は、矩形の枠の4つの角を表す画像であり、虚像1202は格子の画像である。従来では、運転者の視点から見て、枠の虚像1201内に格子の虚像1202が収まる状態となるように、表示領域105が調整される。調整の操作は、例えばHUD装置1に付属するリモコンの操作などが適用できる。
実施の形態1のHUD装置1は、さらに、サブLCD2の表示画面20に、調整のガイド・支援のための映像情報1203を表示する。映像情報1203は、例えば、「前方の枠内に格子が収まっていますか? Yes/No」といったガイドメッセージの文字画像、あるいは「前方の枠内に格子が収まるように高さを調整してください」といったものや、他のGUI部品である。ユーザは、表示領域105内の調整用の映像(虚像1201,1202)がよく見えない場合でも、サブLCD2の映像情報1203は見えるので、その映像情報1203によるガイダンスに従って、調整をより容易に行うことができる。運転者は、虚像1201に対し虚像1202を合わせるように調整した後、例えばリモコンの操作により調整を終了する。HUD装置1は、調整後の表示領域105の状態を保存・設定する。
なお、サブLCD2は、タッチパネルを用いてもよく、その場合、ユーザによる表示画面20へのタッチ入力操作も可能である。例えば、ユーザは、表示画面20で映像情報1203の「Yes/No」から選択してタッチ操作することによっても、調整決定が可能である。
また、車両のハンドル104(図1)などに設置されている操作用インタフェース(例えばボタン、スイッチ、キーなど)を介してユーザがHUD装置1を操作することもできる。その操作を上記調整に用いることもできる。この場合、その操作用インタフェースから操作された情報を受け取るのは、HUD装置1の上位のコントローラ(例えば車両のECU)であり、HUD装置1は、その上位のコントローラからCAN通信などにより操作情報を受け取って動作する。この場合での処理の流れは、例えば以下のようになる。車両のコントロールパネルなどに表示されたメニュー画面においてユーザ操作によって調整が選択されると、HUD装置1は、その操作の操作情報を上位のコントローラから受け取って調整モードに移行し、調整に係わる虚像表示を開始する。ユーザは、調整のために操作用インタフェースで例えば上下左右などの操作を行う。HUD装置1は、その操作の操作情報を上位のコントローラから受け取り、その操作に従って表示領域105(虚像1201等)の表示を調整する。調整が完了した場合、ユーザは決定操作を行う。HUD装置1は、上位のコントローラから決定操作の操作情報を受け取り、調整結果を反映・保存し、調整モードを終了する。
図13は、上記初期設定の調整時の処理フローを示す。ステップS201で、HUD装置1は、例えば起動時などに、AR-HUDの表示領域105に関する調整を行うか否かを判断する。行う場合にはステップS202およびステップS203に進み、行わない場合にはステップS206およびステップS207に進む。ステップS202およびステップS203では、HUD装置1は、AR-HUDの表示領域105に図12のような表示領域102の調整用の虚像106を表示し、サブLCD2に調整支援用の映像情報を表示する。次に、ステップS204で、HUD装置1は、運転者による調整操作に従って、表示領域105を調整する。ステップS205で、HUD装置1は、再調整を行うか(Y)、調整完了か(N)を確認する。例えば運転者による調整完了の操作入力が無い場合には、再調整とし、ステップS202およびステップS203に戻って同様の繰り返しとする。調整完了(N)の場合にはステップS206およびステップS207に進む。ステップS206およびステップS207では、HUD装置1は、調整後のAR-HUDの表示領域105での虚像106の通常表示を開始し、サブLCD2での映像の通常表示を開始する。
[サブLCDを用いた調整]
図14は、上記初期設定時の調整に関して、サブLCD2を用いた調整支援に関する他の制御例および表示例を示す。実施の形態1のHUD装置1は、サブLCD2を用いて、AR-HUDの表示領域105の高さ位置など(言い換えるとAR表示位置)の調整を支援する。図14の(A)は、調整中の状態の表示例である。HUD装置1は、この機能を用いた初期設定の場合、(A)のように、表示領域105に、図12と同様の表示領域105の調整用の映像情報(例えば枠の虚像1201と格子の虚像1202)を表示しつつ、サブLCD2の表示画面20に、表示領域105の調整支援用の映像情報1401を表示する。なお図14ではサブLCD2を拡大して図示している。
この映像情報1401は、内容例としては、AR-HUDの調整モード(初期設定時の調整を行うモード)であることを表す情報と、メニューやガイドメッセージやカーソル等の情報とを有する。ガイドメッセージの例としては、「↑枠内に格子が収まるように調整してください」といったように、表示領域105の調整用の映像(虚像1201,1202)を調整する操作を促す文字画像がある。また、本例では、HUD装置1は、サブLCD2に、表示領域105の調整用の映像(虚像1201,1202)として今表示している内容を表す映像情報1402も表示する。また、HUD装置1は、ガイドメッセージとして「←今AR-HUDに表示している調整用映像」、「※見えない場合は姿勢などを調整してください」といったように、今AR-HUDの表示領域105に表示している内容を表す文字画像や、見えない場合の対処の促しの文字画像も表示している。
HUD装置1の制御装置401は、運転者による調整操作入力に応じて、表示領域105の調整用の映像情報(虚像1201,1202)の表示状態を更新して調整結果を反映するとともに、サブLCD2の対応する映像情報1401,1402も更新する。運転者は、サブLCD2の調整支援の映像情報1401,1402に従いながら、運転姿勢での視点から見て、表示領域105の枠の虚像1201内に格子の虚像1202が収まるように調整を行う。運転者は、表示領域105の映像情報(虚像1201,1202)が好適な状態に調整された後、調整完了を表す入力を行う。HUD装置1は、その入力に応じて、その時の表示領域105の調整状態を保存し、調整モードを終了する。
これにより、運転者が表示領域105の調整用の映像(虚像1201,1202)をよく見えない場合でも、サブLCD2の調整支援の映像情報1401,1402を見ることで、調整をより容易にできる。運転者に表示領域105の調整用の映像が全く見えていない場合でも、運転者は、サブLCD2の映像情報1402を見ることで、齟齬を認識でき、調整の要否などを判断しやすい。運転者は、表示領域105の映像情報が良く見えない場合でも、サブLCD2の映像情報1401,1402に従って、座席や姿勢などを調整することで、表示領域105の映像情報が見える状態にすることができる。
図14の(B)は、(A)に関連する調整支援の他の表示例を示す。HUD装置1の制御装置401は、表示領域105にARの虚像106の例(本例では経路案内のARオブジェクトに対応する虚像1403)を表示するとともに、サブLCD2に、表示領域105のARの虚像106に関する調整用の映像情報1404を表示する。運転者は、調整対象のARを選択できる。表示領域105に複数のARの虚像を表示してそれぞれを調整可能としてもよい。
サブLCD2の映像情報1404で調整・変更できる内容の例としては、表示されているARの虚像1403の色(または輝度)、サイズ、形状、傾き、位置などが挙げられる。サブLCD2に、色などの調整可能項目ごとにGUI部品が表示される。GUI部品は、例えば色(または輝度)を可変するためのバーやパレット、サイズや比率を可変するためのボタン、形状(例えば三角、矢印など)を選択するためのリストボックス、傾き(水平面に対する傾き等)を可変するためのボタン、位置を可変するためのボタンなどが挙げられる。運転者は、リモコンの操作などによって、調整可能項目ごとに虚像1403の調整をすることができる。制御装置401は、調整操作入力に応じて、そのARの虚像1403の表示状態を更新するとともに、決定された調整状態を保存する。
上記機能を用いる場合、従来のようにAR-HUDの表示領域のみに調整用の映像情報が表示される場合と比べて、サブLCD2を用いて調整支援映像情報を提供するので、その分調整用画面領域を広く使用でき、調整が容易かつ詳細に可能となる。
[使い分け:エラー時]
図15は、他の使い分けの例として、エラー時の使い分けの表示例を示す。HUD装置1は、2種類のディスプレイ(表示領域105とサブLCD2)において、一方のディスプレイが表示不可や表示不良のエラー状態になった場合に、他方のディスプレイの表示を用いてユーザに対しエラー状態である旨を通知する。
図15の(A)の例は、AR-HUDの表示領域105の表示がエラー状態になった場合に、制御装置401は、サブLCD2に、表示領域105の表示がエラー状態になった旨の通知の映像情報1501を表示している。映像情報1501は、例えば「通信状態が悪く、HUDの表示が行えません。通信状態が回復すると表示します」といった文字画像である。
制御装置401は、各種の事情・原因により表示領域105での虚像106の表示が正しく行えない状態であるエラー状態を検出する。事情・原因は、例えば、AR-HUDの表示に関わる部品の故障の場合、太陽光保護機能が働き表示を停止した場合、CAN通信不良によりADAS情報(ADAS:advanced driving assistant system)が取得できず表示が更新できない場合などが挙げられる。
制御装置401は、エラー状態の時には、上記のような各場合(事情・原因)でエラー状態であるためAR-HUDの虚像表示が正しく行えない旨を、サブLCD2での表示を用いて通知する。また、HUD装置1は、エラー状態の詳細、エラー状態からの回復の見込みや対処法などがわかる場合には、その旨もサブLCD2での表示を用いて通知する。
図15の(B)の例は、断線などの原因によりサブLCD2の表示画面20の表示がエラー状態になった場合に、AR-HUDの表示領域105に、そのサブLCD2のエラー状態の旨を虚像1502として表示・通知する場合を示す。虚像1502は、例えば「断線によりサブLCDの表示が行えません 接続を確認してください」といった文字画像のARである。制御装置401は、サブLCD2のエラー状態を検出した場合、AR-HUDの表示領域105に、サブLCD2でのエラー状態の旨や原因や対処法などの通知の虚像1501を表示する。なお、このようなAR-HUDでの表示は例えば車両停止中のみに行われる。
上記のような機能により、2種類のディスプレイの一方がエラー状態の時にも、他方のディスプレイを用いて、エラー状態をユーザに伝えることができるので、ユーザの利便性が高くなる。
図16は、上記エラー時の処理フローを示す。ステップS301で、HUD装置1は、AR-HUDの表示領域105の表示がエラー状態かを判断・検出する。エラー状態である場合にはステップS302、正常である場合にはステップS305へ進む。ステップS302では、HUD装置1は、サブLCD2の表示がエラー状態かを判断・検出する。エラー状態である場合にはステップS303、正常である場合にはステップS304へ進む。ステップS305では、HUD装置1は、サブLCD2の表示がエラー状態かを判断・検出する。エラー状態である場合にはステップS306、正常である場合にはフロー終了へ進む。
ステップS303へ進んだ場合は、2種類のディスプレイの両方がエラー状態である場合に該当する。この場合、HUD装置1は、いずれのディスプレイにも表示ができないので、HUD装置1に対しての上位のコントローラ、例えば車両の電子制御ユニット(ECU)へ、通信を通じて、HUD装置1の2種類のディスプレイの両方がエラー状態であるため表示ができない状態である旨を通知する。
ステップS304へ進んだ場合は、AR-HUDのみがエラー状態である場合に該当する。この場合、HUD装置1は、図15の(A)の例のように、サブLCD2に、AR-HUDがエラー状態である旨を表示・通知する。
ステップS306へ進んだ場合は、サブLCD2のみがエラー状態である場合に該当する。この場合、HUD装置1は、図15の(B)の例のように、AR-HUDの表示領域105に、サブLCD2がエラー状態である旨を表示・通知する。
[使い分け:場面]
図17は、他の使い分けの例として、場面ごとの使い分けの表示例を示す。HUD装置1は、車両の走行状況や周囲状況など(総称して場面と記載する場合がある)に応じて、映像情報の表示先(2種類のディスプレイ)や表示内容を変えるように制御する。
場面としては、市街地や高速道路などの走行路の違いが挙げられる。例えば、市街地の一般道などの場面では、車両が比較的低速での走行であり、運転で注意すべきポイントが多数あるため、AR表示を活かしやすい。一方、高速道路の場面では、車両が比較的高速での走行であり、運転者が集中を欠くと大きな事故につながる。そのため、高速道路の場面では、一般道ほどには、AR表示を活かしにくい。
また、AR-HUDの表示領域105にARの虚像106を多く表示し過ぎると、運転者の視界を遮り、情報量の多さから認知を混乱させる可能性もある。それを原因として事故を引き起こすことは避けなければならない。一般道に比べ、高速道路では、AR-HUDの表示領域105に表示するARの量を抑えることが好ましい。
そこで、実施の形態1のHUD装置1は、例えば、一般道の場面では、AR-HUDの表示領域105に、警告のARの虚像106の表示を最優先とし、優先度が低い経路案内などのARについては表示しないようにするか、もしくは、所定の表示情報量の制限内で表示するようにする。また、HUD装置1は、優先度が低い映像情報、例えば経路案内や施設情報などがある場合には、主にサブLCD2に表示する。
また、HUD装置1は、例えば、高速道路の場面では、AR-HUDの表示領域105に、警告のARの虚像106の表示を最優先、かつ最低限とし、優先度が低い他のARについては表示しないようにするか、もしくは所定の制限内で限定的に表示する。HUD装置1は、優先度が低い映像情報については、主にサブLCD2に表示する。高速道路上でも経路案内情報があると便利であるが、AR表示としては、高速道路を下りる出口付近になった時に表示する等、限定的な表示で十分である。HUD装置1は、通常時にはサブLCD2に経路案内情報を表示する。
HUD装置1は、上記のような各種の場面と、前述のような映像情報の種類、優先度、情報量などとに応じて、表示先や表示内容を制御する。
HUD装置1は、車両情報406に基づいて、登録された行き先情報や、車両の現在の走行地点や車速などの情報を得る。HUD装置1は、それらの情報に基づいて、車両の現在位置と目的地(例えば右折地点、高速道路出口など)との距離や、予測到達時間などを判断・計算する。例えば、HUD装置1は、車両が次の目的地(例えば高速道路出口)まで所定の距離以内に近づいた場合に、AR-HUDの表示領域105での経路案内情報などのARの表示を開始する。
また、他車両への注意のためのARの表示は、自車両の前方や周囲に他車両が近づいた時のみでよい。後方からの車両の接近については、ARの表示、またはサブLCD2の表示によって通知するとよい。
図17の例は、高速道路上の場面であり、(A)は、第1時点、直進中の表示例、(B)は、その後の第2時点、高速道路出口に近付いた時の表示例を示す。(A)で、HUD装置1は、運転者の視界を確保する目的で、AR-HUDの表示領域105での虚像106の表示を最低限とし、通常時には何も表示せず、緊急時には警告のARを表示する。HUD装置1は、サブLCD2には、所定の各種の情報、例えば車速などを表示する。
(B)で、HUD装置1は、次の目的地である高速道路出口に近付いた場合、例えば、自車の現在位置とその目的地との距離が所定の距離以下になった時、表示領域105での経路案内のARの虚像1701(例えば左折を促す複数の三角の画像)の表示を開始する。また、HUD装置1は、その虚像1701の表示と対応させて、サブLCD2にも、経路案内のための文字画像の映像情報1702(例えば「200m先出口」)の表示を開始する。HUD装置1は、車両が目的地に到達した場合には虚像1701の表示およびサブLCD2での映像情報1702の表示を終了する。
他の場面の例として、渋滞時が挙げられる。渋滞時には、車両が低速または停止中であるため、AR-HUDのAR表示に加え、サブLCD2の表示を活かしやすい。HUD装置1は、渋滞時の場面では、表示領域105およびサブLCD2を用いて、渋滞に係わる映像情報を表示する。例えば、HUD装置1は、渋滞状況、渋滞の長さの目安、迂回路の提案、休憩場所までの距離や時間などの映像情報を表示する。HUD装置1は、それらの映像情報を、AR-HUDの表示領域105に優先して表示し、表示領域105に表示しきれない情報についてはサブLCD2に表示する。ARでの前方車両への注意の表示については、渋滞で前方車両が近過ぎる場合には、活かしにくいので、そのARの表示を無効化するのもよい。
他の場面の例として、天気が挙げられる。例えば、雪や霧などの時には、AR-HUDの表示領域105の視認性が低下する。HUD装置1は、車両情報406に基づいて、天気等を判断し、表示領域105でARの虚像106を表示する場合の視認性が十分ではないと判断した時には、ARを表示せず、サブLCD2のみに代替の映像情報を表示する。
また、HUD装置1は、行き先に応じて、2種類の表示先を使い分けてもよい。例えば、普段、駅までの家族の送り迎えなどの場面(行き先が既知の駅の場合)では、運転者が経路をわかっているので、AR-HUDの表示領域105において、経路案内のARを省略し、警告のARの表示をメインにする。HUD装置1は、サブLCD2には、到着予定の電車の情報や、家族からのメールなどの情報を表示する。行き先が未知の場合、HUD装置1は、AR-HUDの表示領域105に経路案内のARを表示する。
[表示先のユーザ選択]
実施の形態1のHUD装置1は、AR-HUDの表示領域105での虚像106の表示のオン/オフと、サブLCD2での映像表示のオン/オフとを、ユーザが選択・設定できる機能を有する。その選択・設定に応じて、2種類のディスプレイの表示状態が制御される。また、AR-HUDとサブLCD2とのそれぞれに、どのような種類の情報を表示するかについても、ユーザが選択・設定できるようにしてもよい。
図18は、この機能に関する表示例を示す。まず、(A)は、AR-HUDの表示のオン/オフなどについて、サブLCD2のメニューで表示し、ユーザが選択操作できる例を示す。サブLCD2の表示画面20に、機能のメニューの映像情報1801が表示されている。このメニューでは、AR-HUD表示について、選択肢として、「あり」、「あり(一部のみ)」、「なし」があり、ユーザが選択肢から選択できる。選択操作は、前述のようにタッチ入力でもよいし、リモコンなどを用いてもよい。例えば「あり」が選択された場合、表示領域105での虚像106の表示がオン状態になり、「なし」が選択された場合、表示領域105での虚像106の表示がオフ状態になる。「あり(一部のみ)」が選択された場合、設定された一部の種類の情報のみ、虚像106の表示がオン状態になる。一部の種類の情報の設定は、遷移される他のメニューでユーザが設定することもできる。
(B)は、サブLCD2の表示のオン/オフなどについて、AR-HUDのメニューで表示し、ユーザが選択操作できる例を示す。表示領域105に、虚像1802の態様で、機能のメニューが表示されている。このメニューでは、サブLCD2の表示について、選択肢として、「オン」、「オフ」があり、ユーザが選択肢から選択できる。選択操作は、リモコンや音声入力などが適用できる。例えば「オン」が選択された場合、サブLCD2での表示がオン状態になる。
また、上記のような機能に関して、予め、ユーザに対し推奨する組み合わせを規定しておき、メニューで提示し、ユーザによる選択を可能としてもよい。図19は、この機能に関する表示例を示す。図19の例では、表示領域105に表示方式設定のメニューが表示されており、設定に関する複数の組み合わせからユーザが選択できる。同様に、サブLCD2にも、表示方式設定のメニューが表示されている。ユーザは、AR-HUD側でも、サブLCD2側でも、好きな方で操作して設定可能である。
表示方式に関する組み合わせの例として、第1組合せは、AR表示をオン状態、サブLCD表示をオン状態とし、行き先案内をAR表示、車速をサブLCD表示、といったものである。第2組合せは、AR表示をオン状態、サブLCD表示をオフ状態とし、行き先案内をAR表示、車速をAR表示、といったものである。第3組合せは、AR表示をオフ状態、サブLCD表示をオン状態とし、行き先案内をサブLCD表示、車速をサブLCD表示、といったものである。組み合わせごとに詳細設定も可能である。詳細設定では、表示先に表示対象とする映像情報の種類や優先度などを設定可能である。例えば、AR-HUDでの表示対象の映像情報の種類として、行き先案内のオン/オフ、車速のオン/オフや、各種類の優先度を順位付けて設定する、といったことが可能である。
なお、HUD装置1の入力デバイス、操作入力手段として、AR-HUD入力用のリモコンと、サブLCD2入力用のリモコンとが用意されていてもよい。あるいは、AR-HUDとサブLCD2との共通入力用の1つのリモコンしか無くてもよい。その場合、その1つのリモコンを、AR-HUDの入力操作と、サブLCD2の入力操作とのいずれに使用するかについて、適宜にユーザが選択操作できるようにしてもよい。あるいは、HUD装置1が、状況などから、その1つのリモコンをいずれのディスプレイへの入力として使用するかを自動的に判断してもよい。例えば、HUD装置1は、第2組合せのように、AR-HUD表示のみがオン状態の時には、リモコンの入力先をAR-HUDとするように制御し、第3組合せのようにサブLCD2表示のみがオン状態の時には、リモコンの入力先をサブLCD2とするように制御してもよい。リモコンに限らず、前述の操作用インタフェース等に関しても、上記2種類の入力の制御を同様に適用してもよい。また、車両のハンドルなどに設置されている操作用IFを介してHUD装置1が操作されてもよい。
[使い分け:輝度制御]
他の使い分けの例として、HUD装置1は、AR-HUD側とサブLCD2側とで個別に表示の輝度を制御・設定可能とする。この設定は、自動設定または手動設定も可能とする。AR-HUDの表示領域105での虚像106は、図3のように、運転者の視点から見ると、ウィンドシールド103を介して車両の前方の所定の位置に対応させて形成される。この虚像106の輝度は、虚像106の表示位置(例えば車両の前方10m地点)の明るさに応じて動的に変えるとよい。なお、このような虚像表示位置の明るさ情報は、例えば車両情報406の1つとして得られる。あるいは、HUD装置1がセンサ409によって虚像表示位置の明るさ情報を取得してもよい。
また、HUD装置1は、車両情報406からヘッドライトON/OFF情報を取得し、夜間やトンネル内などの場面でヘッドライトをON(点灯)にした時にAR-HUDの虚像106の輝度を高くする等としてもよい。
一方、サブLCD2は、そのような動的な輝度の変更の必要性は低いが、HUD装置1は、その変更を行ってもよい。行う場合、HUD装置1は、例えば、車両情報406またはセンサ409からわかるサブLCD2の周辺(例えば車内)の明るさに応じて、サブLCD2の表示画面20の輝度を変える。
図20は、上記のような表示輝度変化制御の表示例を示す。(A)は、車両の前方を含む周囲が比較的明るい、昼などの場合である。(B)は、車両の前方を含む周囲が比較的暗い、夜などの場合である。(A)では、HUD装置1は、AR-HUDの表示領域105での虚像2001の表示について、虚像2001の輝度が相対的に(例えば夜時に比べて)高くなるように制御する。これにより、虚像2001の視認性が高められる。(B)では、HUD装置1は、AR-HUDの表示領域105での虚像2002の表示について、虚像2002の輝度が相対的に(例えば昼時に比べて)低くなるように制御する。これにより、虚像2002の視認性を確保しつつも、眩しさを低減する。
また、図20の例では、HUD装置1は、サブLCD2側についても、(A)の昼時は(B)の夜時に比べて表示画面20での輝度が高くなるように制御している(図面ではより白く表現されている)。
上記機能では、HUD装置1は、AR-HUDの表示領域105と、サブLCD2の表示画面20との関係性で、全体として視認性がなるべく良くなるように、それぞれの表示輝度を制御する。HUD装置1は、表示領域105の輝度と、表示画面20の輝度とが、所定の輝度の関係を有するように制御する。
また、上記機能とも関連して、HUD装置1は、AR-HUDの虚像106の表示と、サブLCD2の表示とにおいて、表示のテイストを統一するとよい。テイストを構成する要素は、例えば、色(例えば暖色系/寒色系)、フォント、GUIデザイン等が挙げられる。運転者が表示領域105と表示画面20とで視線を行き来する際に、テイストが統一されていた方が、違和感が少ない。ユーザ設定で、AR-HUDの表示とサブLCD2の表示とのテイストを複数のテーマなどから選択設定可能としてもよい。
[歪み補正]
HUD装置1は、AR-HUDの虚像106の表示に関して、所定のハードウェアやソフトウェア、例えば前述の図5Bの歪み補正部413を用いて、歪み補正を行う。図21は、歪み補正に関する表示例を示す。歪み補正は、車両のウィンドシールド103(図1)の曲率に応じて生じてしまう虚像106の歪みを、歪みが低減するように補正することである。HUD装置1は、ウィンドシールド103の表示領域105へ映像光を直接的に投射するものであるため、好適な虚像106を提示するためには、このような歪み補正が必要である。ウィンドシールド103は、曲率として、例えば水平方向と鉛直方向とで異なる曲率を持っている。そのため、表示対象の映像情報をそのまま表示領域105に投射した場合、その曲率に応じて映像に歪みが生じてしまう。例えば、表示対象の映像情報として元画像2100(例えば正方形領域内の星画像)がある場合、その元画像2100に基づいて、そのまま投射表示した場合、虚像2101のような歪みが生じる。
HUD装置1の制御装置401は、例えば、表示対象の映像情報の元画像2100について、ウィンドシールド103の曲率を考慮した補正処理2102(曲率に応じた歪みを打ち消すための補正処理)を行う。その補正後の画像2103に対応する映像光が表示領域105に投射される。これにより、運転者の視点から見て、補正後の画像2103に対応する虚像2104は、歪みが無く元画像2100に近い状態として視認できる。
一方、サブLCD2側では、上記のような歪み補正を不要とする。実施の形態1では、サブLCD2の表示画面20は平面であり、曲率を持たない。そのため、歪み補正が不要である。サブLCD2に元画像2100を表示する場合、そのまま表示すれば、元画像2100に近い画像2105となる。
変形例として、サブLCD2は、表示画面20が所定の曲率を持つ曲面型ディスプレイであってもよい。その場合、HUD装置1は、サブLCD2に表示する映像情報について、表示画面20の曲率を考慮した歪み補正を行ってもよい。
[ピッチング補正]
HUD装置1は、AR-HUDの虚像106の表示に関して、所定のハードウェアやソフトウェア、例えば前述の図5Bのピッチング補正部414を用いて、ピッチング補正を行う。図22は、ピッチング補正に関する表示例を示す。ピッチング補正は、走行時の車両の揺れに応じて、表示領域105の虚像106の表示位置を上下方向で補正することである。揺れがある場合、表示領域105の虚像106は、例えば破線で示す画像(リング状の画像)のように、対象である前方車両の位置に対しずれて表示される。本例では破線で示す画像は、対象前方車両の位置に対し下側にずれている場合を示している。ピッチング補正により、実物と虚像106との重畳のズレを低減できる。HUD装置1は、車両情報406に基づいて、車両の揺れを把握し、その揺れに合わせて、表示対象の映像情報における表示領域105内の表示位置を補正する。
HUD装置1の制御装置401は、例えば、表示対象の映像情報の元画像2200について、車両の揺れの状態を考慮したピッチング補正処理2202を行う。元画像2200は、表示領域205における表示位置(例えば点p1)を有する。ピッチング補正処理2202では、表示位置が修正され(例えば点p2になる)、さらには必要に応じてサイズや傾き等が修正されてもよい。本例では、ARの画像を対象前方車両の位置に近付けるように、すなわちより上側にするように、補正後の表示位置は、点p1に対し上側にある点p2に修正されている。補正後の画像2203に対応する映像光が表示領域105に投射される。これにより、運転者の視点から見て、補正後の画像2203に対応する虚像2201は、対象である前方車両の位置に合わせて重畳表示された状態として視認できる。
一方、サブLCD2側では、上記のようなピッチング補正を不要とする。車両の揺れに伴い運転者およびサブLCD2も揺れるため、また非ARであるため、ピッチング補正を行わなくても、運転者はサブLCD2の映像情報を視認できる。図22の例では、サブLCD2の表示画面20内の映像情報は所定の表示位置とされている。
[使い分け:デバッグモード]
他の使い分けの例として、HUD装置1のデバッグモードに対応した表示も可能である。HUD装置1は、所定の操作に応じて、モードを通常モードからデバッグモードに遷移させる。デバッグモードは、HUD装置1の事業者側の、開発者や保守者などの人が、HUD装置1のデバッグや保守等を行うためのモードである。HUD装置1は、デバッグモードでは、車両からCAN通信を介して車両情報406として受信したCAN情報などのログや、ソフトウェアの動作ログ、エラーコードなど、開発者や保守者にとって有益な情報(デバッグ用情報、保守用情報)を、2種類のディスプレイの少なくとも一方に表示する。従来のHUD装置の場合、サブLCD2は無いので、そのような情報を表示させるとしても、AR-HUDでの表示となるか、あるいは、HUD装置に外部接続された機器での表示となる。
HUD装置1は、例えばエラーが発生した場合のエラーコードを記憶しておく。HUD装置1は、例えば、過去数回分のエラーコードを、日時情報などと関連付けて、不揮発性記憶メモリ421などに記憶しておくとよい。HUD装置1は、デバッグモードにおいて、そのエラーコードを含む情報を、2種類のディスプレイのうち、選択した表示先に表示する。
図23は、デバッグモードの表示例を示す。(A)は、実際の走行試験中に、AR-HUDの表示領域105にエラーコードを表示する場合を示す。(B)は、実際の走行試験中に、サブLCD2にエラーコードを表示する場合を示す。(A)では、表示領域105にエラーコードの虚像2301が表示されている。(A)のようにエラーコードを虚像2301として表示させることもできるが、この虚像2301は運転者のアイボックス内の視点からでないと視認できない。そのため、この表示方式は、精細な表示、特に文字情報の表示にはあまり適していない。そこで、HUD装置1は、(B)のように、サブLCD2の表示画面20に、エラーコードの映像情報2302を表示する。これにより、開発者や保守者は、AR-HUDの表示に不具合がある場合でも、サブLCD2の精細なエラーコードの映像情報2302を見ることで、効率的なデバッグ等の作業が可能であり、開発や保守の効率を高めることができる。
図23のデバッグモードの表示は、前述の図15のエラー状態の通知の制御例と類似の制御となる。
[二重表示]
実施の形態1のHUD装置1は、2種類のディスプレイに関して、同じような情報を二重に表示させる機能も有する。この機能は、例えば開発者向けのデモモードとしても利用できるし、一般ユーザの通常使用時にも利用できる。HUD装置1は、ユーザによるモード指定入力などの所定の契機で、二重表示のモードに遷移する。あるいは、HUD装置1は、表示対象の映像情報の種類等に応じて、自動的に二重表示を行う。
図24は、二重表示の表示例を示す。HUD装置1は、例えば二重表示のモードである場合、AR-HUDの表示領域105に表示するARの虚像106と同様の情報を、サブLCD2の表示画面20にも表示する。図24の例では、表示領域105に、経路案内の虚像2401や虚像2402が表示されている。虚像2401は右折を表す三角の画像、虚像2402は「100m先右折」を表す文字画像である。一方、サブLCD2の表示画面20には、虚像2401に対応した映像情報2403と、虚像2402に対応した映像情報2404とが表示されている。
なお、表示領域105の大きさや輝度等の特性と、表示画面20の大きさや輝度等の特性とは基本的に異なっており、虚像106と厳密に同じ態様での映像を表示画面20に表示することはできない。よって、HUD装置1は、元画像に基づいて、ARの虚像106を作成するとともに、サブLCD2に表示するための概略的に同じまたは類似の映像を作成する。制御装置401は、2種類のディスプレイの特性の違いを考慮して、概略的に同じ2種類の映像を表示させる。
制御装置401は、例えば、元画像2400に基づいて、例えば図6Bの第1映像データ生成部501と第2映像データ生成部502とを用いて、表示領域105用の映像情報2411と、サブLCD2用の映像情報2412とを作成する。映像情報2411は、表示領域105内の表示位置(例えば点q1)やサイズ等を有するデータである。映像情報2412は、表示画面20内の表示位置(例えば点q2)やサイズ等を有するデータである。制御装置401は、それらのデータに基づいて、各表示先にタイミングを合わせて各映像情報を表示する。
AR-HUD側の虚像2401等は、指向性を有するので、運転席の運転姿勢の運転者の視点からのみ視認でき、同乗者などは視認できない。一方、サブLCD2側の映像情報2403等は、運転者以外の同乗者などの人の視点からも視認できる。
例えば開発時や保守時のデモモードの時に、このような二重表示を利用できる。これにより、運転者以外の人の視点位置からも、AR-HUDに表示されている虚像106と概略的に同じ内容の映像を、サブLCD2の映像として認識可能である。例えば、同乗者としての開発者などの人は、今AR-HUDにどのような虚像106が表示されているかを、サブLCD2の映像を見ることで容易に認識できる。これにより、開発効率などを高めることができる。
また、この二重表示の機能は、一般ユーザが通常利用する場合にも、様々な利用が可能である。同じく図24の例を用いて説明する。例えば、運転者が目的地を指定し、HUD装置1が目的地への経路に関する経路案内のARを表示領域105に表示するとする。HUD装置1は、車両の現在位置と目的地との距離の関係などに応じて、AR-HUDの表示領域105に、例えば虚像2401,2402を表示する。運転者は、その虚像を視認できる。一方、同乗者は、その虚像については見えないが、サブLCD2の映像情報2403,2404を見ることで、今HUD装置1が運転者に提示している経路案内などの内容を認識できる。
ここで、同乗者から見て、その提示されている経路案内などの内容が、間違っている場合や非効率な経路である場合、あるいは、同乗者が目的地を変更したくなった場合などがあり得る。これらの場合に、同乗者は、すぐにその旨を運転者に伝えることができる。これにより、同乗者を起点とした迅速な経路変更などが可能となり、利便性を向上できる。
HUD装置1は、AR-HUDの虚像106と同様の映像をサブLCD2に表示する際には、元画像に基づいて加工などの画像処理を行うことで、表示画面20の大きさ等の特性に合わせた映像(例えば映像情報2412)を作成し表示させてもよい。加工の例としては、画像の拡大/縮小、縦横比率の変更、トリミング等が挙げられる。2種類のディスプレイに二重表示する映像が同じではなくても、映像の意味内容が人に伝わるものであれば、効果がある。また、サブLCD2に、虚像106の意味内容を表す文字画像(例えば「今AR-HUDには経路案内が表示されています」等)を表示してもよい。
図25は、上記二重表示の機能に関連して、映像情報の表示先を、AR-HUDのみ、サブLCDのみ、または両方の二重表示から選択する制御に関するHUD装置1の処理フローを示す。ステップS401で、HUD装置1の制御装置401は、車両情報406に基づいて、イベントの発生を把握し、イベントに応じた表示対象の映像情報を得る。ステップS402で、HUD装置1は、イベントや場面、映像情報の種類などを判断し、映像情報の表示先などを決定する。ステップS403は表示先に応じた分岐であり、AR-HUDのみの場合にはステップS404、サブLCD2のみの場合はステップS405、AR-HUDとサブLCD2との両方(二重表示)の場合はステップS406へ進む。
ステップS404では、HUD装置1は、第1映像データ生成部501で生成した映像情報に基づいて、AR-HUDの表示領域105に虚像106を表示する。ステップS405では、HUD装置1は、第2映像データ生成部502で生成した映像情報に基づいて、サブLCD2に映像情報を表示する。ステップS406では、HUD装置1は、第1映像データ生成部501で生成した映像情報に基づいて、AR-HUDの表示領域105に虚像106を表示するとともに、第2映像データ生成部502で生成した映像情報に基づいて、サブLCD2に映像情報を表示する。
ステップS407で、HUD装置1は、AR-HUDの表示領域105に表示している虚像106(映像情報)に応じた所定の表示終了条件が成立したかを判断する。この条件は、例えば、図24の経路案内であれば、車両の現在位置が目的地に到達したかどうかである。条件が成立した場合、HUD装置1は、ステップS408で、AR-HUDの表示領域105での虚像106の表示を終了する。
ステップS409で、HUD装置1は、サブLCD2に表示している映像情報に応じた所定の表示終了条件が成立したかを判断する。この条件は、例えば、ステップS407の虚像側の条件と同じである。条件が成立した場合、HUD装置1は、ステップS410で、サブLCD2での映像情報の表示を終了する。
ステップS411で、HUD装置1は、AR-HUDの虚像106とサブLCD2の映像情報との両方についての所定の表示終了条件が成立したかを判断する。この条件は、例えば、ステップS407の条件と同じである。条件が成立した場合、HUD装置1は、ステップS412で、AR-HUDとサブLCD2との両方の映像情報の表示を終了する。
上記制御例では、二重表示に関して、AR-HUDの虚像106とサブLCD2の映像とで、表示の開始と終了のタイミングを同じとし、それらで表示終了条件を同じとした。これに限らず、以下の変形例も可能である。すなわち、表示対象の映像情報の種類や場面等に応じて、AR-HUDの虚像106とサブLCD2の映像とで、表示の開始と終了のタイミングを異ならせてもよい。例えば、HUD装置1は、ある映像情報について、同じタイミングで、2種類の表示先に、対応する内容の映像情報を表示開始し、表示先ごとに異なる表示終了条件で、それぞれの映像情報を異なるタイミングで表示終了させてもよい。また、他の例では、HUD装置1は、ある映像情報について、異なる表示開始条件の異なるタイミングで、2種類の表示先に、対応する内容の映像情報を表示開始し、それぞれの映像情報を同じタイミングで表示終了させてもよい。2種類の表示先の対応する内容の映像情報について、少なくとも一定期間、二重表示の状態となればよい。
[表示先変更(1)]
実施の形態1のHUD装置1は、2種類のディスプレイを利用して、映像情報の表示先を一方から他方へと遷移、変化、移動等させるように制御する機能も有する。このような表示を、表示先変更制御、移動表示とも記載する。HUD装置1は、映像情報の種類や場面等に応じて、このような移動表示を制御する。
図26は、ある映像情報の表示先をAR-HUDからサブLCD2へと変更、移動させる場合の表示例を示す。(A)は、第1時点で、通知の映像情報、例えば右折案内を、AR-HUDの表示領域105に虚像106として表示している状態を示す。(B)は、第2時点で、通知の映像情報、例えば右折案内を、サブLCD2に表示している状態を示す。
例えば、運転者に何かを通知したい何かのイベントが発生したとする。一例として、イベントは、車両が目的地に近付いたことであり、通知は、車両が目的地に近付いたことの通知である。仮に、その通知の映像情報が、非ARの態様(例えば文字画像)で表現するものであったとする。その場合でも、HUD装置1は、その通知の映像情報を、まず、運転者の視野に入りやすく視点移動なく視認できるAR-HUDの表示領域105に、ARの虚像106として表示する。
HUD装置1は、まず第1時点では、表示パネル4の方にその映像情報を表示する。これにより、AR-HUDの表示領域105に、ARの虚像106が表示される。その後、一定時間が経過した場合、あるいは、センサ等(例えば図3のカメラ109)に基づいて、運転者がそのARの虚像106を視認したことを確認できた場合などの、所定の条件を満たした場合、HUD装置1は、第2時点で、サブLCD2の方に、虚像106と同じ内容の映像情報を表示させる。この際、HUD装置1は、表示パネル4の方の映像情報を消去することで、ARの虚像106の方を消去させる。これにより、例えば通知の映像情報は、図26の例のように、表示先がAR-HUDの表示領域105からサブLCD2へ変化、移動するような視覚効果が運転者にもたらされる。
図26で詳細な例を説明する。(A)では、AR-HUDの表示領域105内に、虚像2601として、右折を案内するための、例えば「300m先右折」といった映像情報(詳しくは文字画像と矢印画像との組み合わせ)が表示されている。この虚像2601は、車両の現在位置が目的地(例えば右折地点)に対し所定の第1距離以内に近付いたことを契機として発生している。HUD装置1は、この契機で、この映像情報についての表示先(第1表示先)としてまずAR-HUDを選択し、表示パネル4にその映像情報を表示する。これにより、第1時点からの第1期間では、AR-HUDの表示領域105に虚像2601が表示される。
本制御例において、第1表示先をAR-HUDとする理由は、基本的にAR-HUDに表示する方が、運転者の視界に入りやすく、運転者がこの映像に気が付きやすいためであり、運転者の視線移動を抑えるためである。運転者は、表示領域105内に現れたこの虚像2601を視認することで、「300m先右折」の旨を認知できる。
次に、(B)では、(A)から時間が経過した後の第2時点で、AR-HUDの表示領域105内での虚像2601の表示は消去され、サブLCD2の表示画面20に、虚像2601に対応した内容を有する映像情報2603が表示されている。HUD装置1は、AR-HUDの虚像2601について、所定の契機で、領域2602に示すように、表示を終了させて、表示領域105から消去する。所定の契機は、所定の時間経過や、所定の距離の走行である。例えば、車両の現在位置が目的地(右折地点)に対し所定の第2距離(前述の第1距離よりも短い)以内に近付いた場合が条件として挙げられる。
上記消去とともに、HUD装置1は、虚像2601に対応した内容を有する映像情報2603(詳しくは文字画像と矢印画像との組み合わせ)を、サブLCD2の表示画面20内に表示する。言い換えると、HUD装置1は、この右折案内の映像情報についての表示先を、第1表示先から第2表示先に変更する。言い換えると、HUD装置1は、この右折案内の映像を、第1表示先から第2表示先に移動させる。
(B)の第2時点では、(A)の第1時点よりも車両が目的地に近付いているため、右折案内の映像情報は運転者にとっての重要性が低下している。加えて、右折や左折をする際には、付近に注意を払うべき点が多数あるため視野を確保しておく方が安全に運転することができる。この際に表示領域105にAR表示などがあると、視野が妨げられる可能性があり、運転者が見たいものや見なければならないものが見づらい可能性がある。そのため、本例では、この映像情報の表示先をサブLCD2に変更し、サブLCD2の方に映像情報を移動させておくことが効果的であり、AR-HUDの表示領域105に表示される映像の数を減らして表示情報量を低減させている。
第2時点からの第2期間では、サブLCD2で映像情報2603による右折案内が継続される。運転者は、適宜にサブLCD2に視線を移して映像情報2601を見て確認できる。HUD装置1は、サブLCD2での映像情報2603の表示を、所定の契機で終了させる。所定の契機は、例えば、第2時点からの所定の時間経過や、所定の距離の走行である。例えば、車両の現在位置が目的地に到達した場合が条件として挙げられる。
なお、図26の例での右折案内の映像情報(虚像2601と映像情報2603)は、車両の現在位置と目的地との距離の関係に応じて定められる情報である。この映像情報は、表示上、静的な画像としてもよいし、時間で変化する映像としてもよい。例えば、この映像情報は、距離に応じて、「300m先」「200m先」「100m先」といったように順に変化するものでもよい。図26の例では、虚像2601に対し、映像情報2603は、走行距離に応じて文字が「100m先」に更新されている。
なお、上記移動表示の制御では、前述の二重表示の制御と同様に、AR-HUDとサブLCD2とで基本的に特性が異なるため、両者で概略的に同じ内容や関連した内容の映像情報の表示とすればよい。
また、変形例として、HUD装置1は、右左折などの完了後に、ARなどの移動表示を、元の状態に戻すように制御してもよい。例えば、HUD装置1は、右折前の第1時点では、ある映像情報を表示領域105にARとして表示し、右折中の第2時点では、その映像情報をサブLCD2に移動させて表示し、右折後の第3時点では、その映像情報を再び表示領域105にARとして表示する。言い換えると、HUD装置1は、映像情報について、所定の条件(例えば右折)を満たす場合および時のみに、通常の第1表示先から、一時的に第2表示先へ変更するように制御してもよい。
上記例のように、第1表示先としてAR-HUDの表示領域105に表示した映像情報を第2表示先としてサブLCD2にいつ移動させるか、あるいは第2表示先に表示した映像情報をいつまで表示させるか等の契機や条件については、映像情報の種類や場面などに応じて制御可能である。例えば、イベントの発生から一定時間後としてもよい。また例えば、シートベルト未装着状態の検知のイベントに応じて、警告の表示を、第1表示先をAR-HUD、第2表示先をサブLCD2として行い、その後、シートベルト装着の検知に応じて、その警告の表示を終了させてもよい。他の例では、AR-HUDやサブLCD2がオフ状態になるまで映像情報の表示を基本的に継続させてもよい。あるいは、AR-HUDやサブLCD2において、新規の映像情報が発生したら古い方の映像情報を終了させてもよい。あるいは、AR-HUDやサブLCD2において、それぞれの表示情報量を満たす範囲内で複数の映像情報を表示継続させてもよい。
また、上記移動表示の制御の際に、2種類のディスプレイで、対応する映像情報が、一時的に両方に表示される時間が生じてもよいし、一時的に両方に表示されない時間が生じてもよい。いずれであっても、ある映像情報の表示先が変化する視覚効果を実現できる。
上記移動表示の変形例として、映像情報の種類などに応じて、第1表示先をサブLCD2とし、第2表示先をAR-HUDとすることも可能である。
図27は、ある映像情報の表示先をサブLCD2からAR-HUDへ変更、移動させる場合の表示例を示す。(A)は、第1時点で、第1表示先であるサブLCD2に、「500m先右折」の映像情報2701が表示されている。(B)は、第2時点で、第2表示先であるAR-HUDの表示領域105に、「300m先右折」の虚像2702が表示されている。第2時点の表示内容は図26の(A)の例と同様である。図27の制御例は、考え方として、最初に第1時点では、目的地まで遠く、右折案内の重要性がまだ低いことから、サブLCD2に映像情報を表示している。第2時点では、右折案内の重要性が高まったことから、AR-HUDに映像情報を表示している。
[表示先変更(2)]
図28は、図26、図27の表示先変更制御に関する変形例での表示例を示す。HUD装置1は、ある表示対象の映像情報(本例では星形状の画像)について、最初、(A)の第1時点で、第1表示先としてAR-HUDの表示領域105内に虚像2801として表示する。虚像2801は、所定の機能を有するARであるが、本例では抽象化して図示している。対象の映像情報の例としては、前述の図27の右折案内も同様に適用できる。
HUD装置1は、所定の契機で、この映像情報(虚像2801)の表示先を、第2表示先としてサブLCD2へ変化させる。その際、HUD装置1は、(B)の第2時点で示すように、その映像情報(虚像2801)を、表示上、サブLCD2の方(下方向)へ向かって連続的に移動させる。すなわち、時間軸上、表示領域105内で虚像2801の表示位置が下方向へ移動する。(B)では、その映像情報(虚像2801)の表示位置が表示領域105の下辺に達し、下辺を超えてフレームアウトしてゆく途中の状態の例を示している。同時に、HUD装置1は、この映像情報を、サブLCD2の表示画面20内に連続的に移動させる。(B)では、この映像情報が、表示画面20の四角形において上辺からフレームインしている。この映像情報は、表示画面20内に表示されている部分2802については当然ながら非ARの画像とされている。
そして、(C)は、第3時点で、この映像情報がサブLCD2の表示画面20内の所定の位置まで移動した後の状態を示している。この映像情報は、サブLCD2の表示画面20内で、映像情報2803として表示されている。
上記のように、HUD装置1は、映像情報の表示先を第1表示先の第1表示位置から第2表示先の第2表示位置まで連続的に移動させるように、表示を制御する。この移動の際に、映像情報の態様は、虚像106から、虚像106ではない映像に変化する。この制御例の場合、運転者の視点から見て、対象の映像情報が連続的に移動するので、映像情報の表示先の変化が認識しやすい。映像情報の表示先をサブLCD2から表示領域105へ連続的に移動させることも同様に可能である。
図29は、図26等の移動表示の制御を行う場合のHUD装置1の処理フローを示す。ステップS501で、HUD装置1の制御装置401は、車両情報406等に基づいて、イベントの情報や対象の映像情報を得る。ステップS502で、HUD装置1は、イベント、場面、映像情報の種類等を判断し、移動表示を行う場合の映像情報の第1表示先および第2表示先を決定する。ステップS503で、HUD装置1は、第1映像データ生成部501(図6A)を用いて、第1表示先に表示するための第1映像情報を作成し、第1表示先(例えばAR-HUD)に第1映像情報(例えば虚像106)を表示する。ステップS504で、HUD装置1は、第1表示先の第1映像情報について、第2表示先への移動の条件を判断する。条件を満たした場合、ステップS505で、HUD装置1は、第2映像データ生成部502(図6A)を用いて、第2表示先に表示するための第2映像情報を作成し、第2表示先(例えばサブLCD2)に第2映像情報を表示するとともに、第1表示先での第1映像情報を消去する。なお、図28の連続的な移動表示を行う場合、ステップS505の処理内容は、第1表示先から第2表示先への連続的な移動の表示制御とされる。
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態を組み合わせた形態も可能である。
本実施例に係る技術では、フロントガラス等に投射された行き先や速度などのナビゲーション情報表示の他に、対向車や歩行者を検知した際のアラート情報表示などの走行に必要な情報の映像を好適に視認でき、運転者などのユーザにとって、使い勝手などを実現し、運転者の視点移動を軽減して安全運転の支援に寄与する情報表示装置(ヘッドアップディスプレイ装置)を提供することにより、交通事故を防止することが可能となる。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3すべての人に健康と福祉を」に貢献する。
1…HUD装置、2…サブLCD、20…表示画面、101…ダッシュボード、102…筐体、103…ウィンドシールド、104…ハンドル、105…表示領域、106…虚像。

Claims (14)

  1. 映像光の投射に基づいて表示領域に虚像を表示するヘッドアップディスプレイ装置であって、
    前記映像光を生成するための光源装置、メイン表示装置、および光学系が収容された筐体と、
    前記筐体の外側に設けられたサブ表示装置と、
    前記メイン表示装置への映像情報の表示と、前記サブ表示装置への映像情報の表示とを制御する制御装置と、
    を備える、
    ヘッドアップディスプレイ装置。
  2. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、表示対象の映像情報について、前記ヘッドアップディスプレイ装置の周囲の状況、前記映像情報の種類、データ量、情報量、表示サイズ、または優先度のうち少なくとも1つに基づいて、表示先として前記メイン表示装置と前記サブ表示装置との少なくとも一方を決定する、
    ヘッドアップディスプレイ装置。
  3. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、表示対象の映像情報について、前記メイン表示装置での表示情報量と前記サブ表示装置での表示情報量とに基づいて、表示先として前記メイン表示装置と前記サブ表示装置との少なくとも一方を決定する、
    ヘッドアップディスプレイ装置。
  4. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、初期設定で前記表示領域の位置を調整する際に、前記メイン表示装置に調整用の映像情報を表示し、前記サブ表示装置に調整支援用の映像情報を表示する、
    ヘッドアップディスプレイ装置。
  5. 請求項4記載のヘッドアップディスプレイ装置において、
    前記制御装置は、前記メイン表示装置に前記調整用の映像情報として、ARの画像を表示し、前記サブ表示装置に調整支援用の映像情報として、前記ARの画像の色、サイズ、形状、傾き、または位置のうち少なくとも1つを調整するための映像情報を表示する、
    ヘッドアップディスプレイ装置。
  6. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、前記メイン表示装置に基づいた前記表示領域の表示がエラー状態である場合には、前記サブ表示装置に前記表示領域がエラー状態であることを表す映像情報を表示し、前記サブ表示装置の表示がエラー状態である場合には、前記メイン表示装置に前記サブ表示装置がエラー状態であることを表す映像情報を表示する、
    ヘッドアップディスプレイ装置。
  7. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、表示対象の映像情報について、前記ヘッドアップディスプレイ装置を搭載した車両の周囲の状況を含む場面に応じて、表示先として前記メイン表示装置と前記サブ表示装置との少なくとも一方を決定する、
    ヘッドアップディスプレイ装置。
  8. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、前記メイン表示装置に基づいた前記表示領域での表示のオン/オフを含む表示方式のユーザ設定のための映像情報を、前記サブ表示装置に表示し、前記サブ表示装置の表示のオン/オフを含む表示方式のユーザ設定のための映像情報を、前記メイン表示装置に表示する、
    ヘッドアップディスプレイ装置。
  9. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、前記ヘッドアップディスプレイ装置を搭載した車両の周囲の状況を含む場面と前記車両内の状況とに応じて、前記メイン表示装置の表示の輝度と前記サブ表示装置の表示の輝度とを調整する、
    ヘッドアップディスプレイ装置。
  10. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、表示対象の映像情報について、前記ヘッドアップディスプレイ装置の周囲の状況、または前記映像情報の種類に基づいて、表示先を前記メイン表示装置と前記サブ表示装置との両方での二重表示として決定する、
    ヘッドアップディスプレイ装置。
  11. 請求項1記載のヘッドアップディスプレイ装置において、
    前記制御装置は、表示対象の映像情報について、前記ヘッドアップディスプレイ装置の周囲の状況、または前記映像情報の種類に基づいて、第1表示先として前記メイン表示装置と前記サブ表示装置との一方に決定し、第2表示先として前記メイン表示装置と前記サブ表示装置との他方に決定し、時間軸上、先に前記第1表示先に第1映像情報を表示させ、次に前記第2表示先に前記第1映像情報と対応した内容を有する第2映像情報を表示させる、
    ヘッドアップディスプレイ装置。
  12. 請求項11記載のヘッドアップディスプレイ装置において、
    前記制御装置は、前記表示対象の映像情報について、前記第1表示先の第1表示位置に表示させ、前記第1表示位置から前記第2表示先の第2表示位置まで連続的に移動させるように表示させる、
    ヘッドアップディスプレイ装置。
  13. 請求項1記載のヘッドアップディスプレイ装置において、
    前記筐体は、前記ヘッドアップディスプレイ装置を搭載する車両のダッシュボード内に収容される第1筐体部と、前記ダッシュボード外に出る第2筐体部とを有し、
    前記第2筐体部に前記サブ表示装置が設けられている、
    ヘッドアップディスプレイ装置。
  14. 請求項13記載のヘッドアップディスプレイ装置において、
    前記第2筐体部は、前記映像光が出射される開口部を有し、
    前記筐体は、前記ヘッドアップディスプレイ装置の非使用時に前記サブ表示装置が前記第2筐体部の前記開口部の少なくとも一部を隠すように前記サブ表示装置の配置状態を変更する機構を有する、
    ヘッドアップディスプレイ装置。
JP2021197289A 2021-12-03 2021-12-03 ヘッドアップディスプレイ装置 Pending JP2023083117A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021197289A JP2023083117A (ja) 2021-12-03 2021-12-03 ヘッドアップディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021197289A JP2023083117A (ja) 2021-12-03 2021-12-03 ヘッドアップディスプレイ装置

Publications (1)

Publication Number Publication Date
JP2023083117A true JP2023083117A (ja) 2023-06-15

Family

ID=86728983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021197289A Pending JP2023083117A (ja) 2021-12-03 2021-12-03 ヘッドアップディスプレイ装置

Country Status (1)

Country Link
JP (1) JP2023083117A (ja)

Similar Documents

Publication Publication Date Title
US11752870B2 (en) Vehicle
US11247605B2 (en) Image projection apparatus configured to project an image on a road surface
WO2018070193A1 (ja) ヘッドアップディスプレイ装置
US7561966B2 (en) Vehicle information display system
JP2019059248A (ja) ヘッドアップディスプレイ装置
US10018841B1 (en) Multi-display head-up display device
JP4692595B2 (ja) 車両用情報表示システム
JP2019113809A (ja) ヘッドアップディスプレイ装置
JP6866875B2 (ja) 表示制御装置、及び表示制御プログラム
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
JP2005189725A (ja) 車両用情報表示システム
JP2019059247A (ja) ヘッドアップディスプレイ装置
JP2020071415A (ja) ヘッドアップディスプレイシステム
US20210116710A1 (en) Vehicular display device
US10916223B2 (en) Display device, and display control method
JP2007186016A (ja) 車両用ヘッドアップディスプレイ装置
JP2023083117A (ja) ヘッドアップディスプレイ装置
US10914948B2 (en) Display device, display control method, and storage medium
US20200047686A1 (en) Display device, display control method, and storage medium
WO2024105899A1 (ja) ヘッドアップディスプレイ装置および乗り物
WO2023243213A1 (ja) ヘッドアップディスプレイ装置
WO2023218773A1 (ja) ヘッドアップディスプレイ装置
CN113219658B (zh) 一种分视角智能显示的车辆平视显示系统
JP7429875B2 (ja) 表示制御装置、表示装置、表示制御方法、及びプログラム
JP2024054397A (ja) 表示装置、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240514