JP2020071415A - ヘッドアップディスプレイシステム - Google Patents

Abstract

【課題】運転席に着座する運転者だけではなく助手席の同乗者にも情報を表示することが可能で、安全な運転を可能にするヘッドアップディスプレイシステムを提供する。【解決手段】乗り物のウィンドシールドまたはコンバイナに画像光を投影して反射することで虚像を表示するヘッドアップディスプレイシステムでは、前記乗り物の運転席に着座する運転者に対して虚像を表示する運転席ＨＵＤと、前記乗り物の助手席に着座する同乗者に対して虚像を表示する助手席ＨＵＤと、前記運転席ＨＵＤと前記助手席ＨＵＤにより表示する情報を制御するための制御部とを備え、前記運転席ＨＵＤによるアイボックスの範囲は、前記助手席ＨＵＤによるアイボックスの範囲よりも狭く設定されている。【選択図】図１

Description

本発明は、透明なガラス等に画像を投影・反射して虚像を表示するヘッドアップディスプレイの技術に関し、特に、拡張現実（Augmented Reality）（以下、単に、「ＡＲ」と言う）などを用いて虚像を表示するヘッドアップディスプレイシステムに関する。

自動車等の車両においては、通常、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれ若しくはダッシュボード上に設置されたディスプレイに表示される。運転者がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）等に投射して表示するヘッドアップディスプレイ（Head Up Display、以下では「ＨＵＤ」と記載する場合がある）装置が知られている。

このようなＨＵＤに関連する技術として、例えば、以下の特許文献１には、ヘッドアップディスプレイにおいて、運転者に対して、誘導情報を表示手段の表示領域外に誘導するものとして表示する技術が開示されている。より具体的には、車の走行データ、運転者の視線情報などにより車内に複数のディスプレイに注意喚起のサインを表示し、運転者の視線を安全なところに誘導するシステムに関する。

また、以下の特許文献２には、検知された運転者の視線方向および車速に応じて、特定対象物に関する情報を表すＡＲ画像を表示するための表示対象範囲を決定し、その決定した表示対象範囲に含まれる特定対象物にのみＡＲ画像を付加することができる技術が開示されている。

特許第４２８１４６２号公報 特開２０１５−７７８７６号公報

上述した従来技術のヘッドアップディスプレイは、一般的なヘッドアップディスプレイをも含め、通常、車両の運転席に着座する運転者に対して運転操作に必要な情報を虚像として表示するものであり、助手席に同乗している同乗者に対して必要な情報を表示することについては考慮がされていなかった。

本発明目的は、運転席に着座している運転者だけではなく、助手席の同乗者に対しても必要な情報を表示することで、より安全な運転を可能にするヘッドアップディスプレイシステムを提供することにある。

本発明のうち、代表的なものの概要を簡単に説明すれば、以下の請求項にも記載されるとおりであり、本発明によれば、一例として、乗り物のウィンドシールドまたはコンバイナに画像光を投影して反射することで虚像を表示するヘッドアップディスプレイシステムであって、前記乗り物の運転席に着座する運転者に対して虚像を表示する運転席ＨＵＤと、
前記乗り物の助手席に着座する同乗者に対して虚像を表示する助手席ＨＵＤと、前記運転席ＨＵＤと前記助手席ＨＵＤにより表示する情報を制御するための制御部とを備えており、前記運転席ＨＵＤによるアイボックスの範囲は、前記助手席ＨＵＤによるアイボックスの範囲よりも狭く設定されているヘッドアップディスプレイシステムが提供される。

本発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。すなわち、本発明の代表的な実施の形態によれば、上述した従来技術における課題を解消して、運転席に着座している運転者だけではなく、助手席の同乗者に対しても必要な情報を表示することが可能であり、助手席の同乗者と運転席の運転者とが協働して安全な運転を可能にする、実用的にも優れたヘッドアップディスプレイシステムを提供することが可能となる。

本発明の実施の形態に係るヘッドアップディスプレイ（ＨＵＤ）システムの構成の一例を示した概要図である。 ヘッドアップディスプレイ（ＨＵＤ）システムのより詳細な構成を示すための助手席ＨＵＤと運転席ＨＵＤを示した断面図である。 本発明の実施の形態に係るヘッドアップディスプレイシステムの車両全体における構成例について概要を示した機能ブロック図である。 本発明の実施の形態に係るヘッドアップディスプレイシステムにおける車両情報の取得に係るハードウェア構成の例について概要を示した図である。 本発明の一実施の形態に係るヘッドアップディスプレイシステムの構成例について詳細を示した機能ブロック図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤと運転席ＨＵＤのアイボックスを示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤと運転席ＨＵＤの配置関係を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤと運転席ＨＵＤの配置の設定を説明する図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤの表示の一例（モード１）を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤの表示の一例（モード２）を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤの表示の一例（モード３）を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤの表示の一例（モード４）を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムの助手席ＨＵＤの表示の一例（停車モード）を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）システムにおけるインタラクティブ機能を実現するための構成について説明する正面図である。 ヘッドアップディスプレイ（ＨＵＤ）システムにおけるインタラクティブ機能を実現するための構成について説明する側面図である。 インタラクティブ機能を実現するための空間センシング装置の基本原理を示す図である。 空間センシング装置による虚像表示範囲での指の位置の計測を説明する図である。 インタラクティブ機能による助手席ＨＵＤと運転席ＨＵＤとの間の情報交換時の助手席ＨＵＤの表示画面（モード２）を示す図である。 インタラクティブ機能による助手席ＨＵＤと運転席ＨＵＤとの間の情報交換時の助手席ＨＵＤの表示画面（モード２）を示す図である。 インタラクティブ機能による助手席ＨＵＤと運転席ＨＵＤとの間の情報交換時の助手席ＨＵＤの表示画面（モード２）を示す図である。 インタラクティブ機能による助手席ＨＵＤと運転席ＨＵＤとの間の情報交換時の運転席ＨＵＤの表示画面を示す図である。 インタラクティブ機能による助手席ＨＵＤと運転席ＨＵＤとの間の情報交換時の運転席ＨＵＤの表示画面を示す図である。 インタラクティブ機能におけるジェスチャー操作の判定の詳細を示すフローチャート図である。 本発明のその他の実施例について説明する概念図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。また、以下に示す各実施例では、ヘッドアップディスプレイ（ＨＵＤ）システムが自動車等の車両に設置される場合を例として説明するが、電車や航空機等の他の乗り物にも適用可能である。

図１は、本発明の一実施の形態に係るヘッドアップディスプレイ（ＨＵＤ）システムの構成の一例について概要を示した図である。図からも明らかなように、このＨＵＤシステムは、運転席に着座する運転者に対して情報を表示する運転者用のヘッドアップディスプレイ（以下、運転席ＨＵＤとも言う）１’と共に、助手席の同乗者に対して情報を表示する同乗者用のヘッドアップディスプレイ（以下、助手席ＨＵＤとも言う）１を含んでいる。これらの助手席ＨＵＤ１と運転席ＨＵＤ１’は、それぞれ、車両のダッシュボードの内部に収納されて映像光（図の矢印を参照）を、ウィンドシールド３（または、フロントガラス）を介して同乗者と運転者に対して投射して虚像による情報の表示を行う。また、図の符号２０は、後にも説明するが、これら助手席ＨＵＤ１と運転席ＨＵＤ１’の双方を制御するための制御部である。

図２にも示すように、これらの助手席ＨＵＤ１と運転席ＨＵＤ１’は、互いに同様な構成を有している。例えば、助手席ＨＵＤ１は、図２（Ａ）に示すように、筐体５３内に配置された光源からの光を変調して投射する映像表示装置３０からの映像光を、反射面などを含む光学素子５１を介し、更には、凹面ミラー５２により反射させて、車両２のウィンドシールド３に投射して観察者（運転者）５の視点へ入射することにより、所望の投射画像を観察者の視点の位置に対応して表示する。運転席ＨＵＤ１’も、図２（Ｂ）に示すように、同様の要素により構成されており、各要素は、それぞれ、同じ符号に「’」を付して示している。

なお、ここで、被投射部材はウィンドシールド３に限らず、映像が投射される部材であれば、コンバイナなど他の部材にしてもよい。また、映像表示装置３０、３０’は、例えば、バックライトを有するプロジェクタやＬＣＤ（Liquid Crystal Display）等により構成される。また、映像表示装置３０、３０’は、自発光型のＶＦＤ（Vacuum Fluorescent Display）等であってもよく、あるいは、投射装置によりスクリーンに映像を表示するものであってもよい。

凹面ミラー５２、５２’は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等により構成される。より具体的には、凹面ミラー５２、５２’の形状は、虚像の歪みを低減するために、例えば、その上部の領域（すなわち、ここで反射した光線はウィンドシールド３の下方で反射するため、相対的に同乗者５や運転者５’の視点との距離が短くなる）では、拡大率が大きくなるように相対的に曲率半径を小さくする。一方、凹面ミラー５２、５２’の下部の領域（すなわち、ここで反射した光線はウィンドシールド３の上方で反射するため、相対的に同乗者５や運転者５’の視点との距離が長くなる）では、拡大率が小さくなるように相対的に曲率半径を大きくする。映像表示装置３０、３０’を凹面ミラー５２、５２’の光軸に対して傾斜させて配置することで、上記のような像倍率の違いを補正して、発生する歪みそのものを低減するようにしてもよい。

同乗者５や運転者５’は、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認するが、その際、以下にも述べるように、凹面ミラー５２、５２’の傾斜角度を調整することで映像をウィンドシールド３に投射する位置を調整することにより、同乗者５や運転者５’が見る位置に対して、虚像の表示位置を上下方向に調整可能となっている。

なお、虚像として表示する画像の内容は特に限定されないが、車両情報である車速やナビゲーションの地図表示、更には、アイコンを利用した表示（以下、「通常表示」または「非ＡＲ表示」とも言う）に加え、運転者への補助や警告・注意を促すため、人が知覚する現実環境をコンピュータにより拡張して表示するＡＲ表示をも含んでいる。なお、このＡＲ表示とは、例えば、ナビゲーションによる車両の進行方向（「行先」または「進路案内」とも言う）を路面上に矢印等のオブジェクトで示し、あるいは、ここでは図示しないカメラ映像（監視カメラやアラウンドビュアー等）で撮影した前方の風景の映像などを基にして作成され、運転者に警告・注意を促すために前方の物体（特に、人間）に対して重畳表示されるＡＲオブジェクトを含んでいる。

図３は、本発明の一実施の形態に係るヘッドアップディスプレイシステムの車両全体における構成例について概要を示した機能ブロック図である。車両２に搭載された助手席ＨＵＤ１と運転席ＨＵＤ１’を含むＨＵＤシステムは、例えば、車両情報取得部１０、制御部２０、映像表示装置３０、ミラー駆動部５０、５０’、凹面ミラー５２、５２’、およびスピーカ６０からなる。なお、図３の例では、車両２の形状を乗用車のように表示しているが、特にこれに限られることなく、車両全般に、適宜、適用することができる。

車両情報取得部１０は、車両２の各部に設置された後述するような各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報４を取得して出力する。車両情報４には、図示するように、例えば、車両２の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンＯＮ／ＯＦＦ情報、カメラ映像情報（車内／車外）、加速度ジャイロ情報、ＧＰＳ（Global Positioning System）情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれ得る。

制御部２０は、助手席ＨＵＤ１と運転席ＨＵＤ１’の動作を制御する機能を有し、例えば、ＣＰＵ（Central Processing Unit）とこれにより実行されるソフトウェアにより実装される。マイコンやＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されていてもよい。制御部２０は、図３にも示したように、車両情報取得部１０から取得した車両情報４等に基づいて、虚像として表示する映像を、映像表示装置３０を駆動することにより形成し、これを凹面ミラー５２等によって適宜反射させることでウィンドシールド３に投射する。そして、後述するような手法により、虚像の表示領域の表示位置を調整する等の制御を行う。

映像表示装置３０は、上述したように、例えば、プロジェクタやＬＣＤにより構成されるデバイスであり、制御部２０からの指示に基づいて虚像を表示するための映像を形成してこれを投射したり表示したりする。

ミラー駆動部５０、５０’は、制御部２０からの指示に基づいて凹面ミラー５２、５２’の傾斜角度を調整し、虚像の表示領域の位置を上下方向に調整する。虚像の表示領域の位置の調整については後述する。スピーカ６０は、助手席ＨＵＤ１と運転席ＨＵＤ１’に係る音声出力を行う。例えば、運転席ＨＵＤ１’のＡＲ機能によって行き先を示すオブジェクトを表示するのと連動して音声案内を行うことや、ＡＲ機能によって運転者５’に警告等を通知する際に所定の警告音を出力する等を行うことができる。なお、本実施の形態のヘッドアップディスプレイシステムは、一般的なＨＵＤのように速度の情報などを虚像として表示する機能を備えるだけでなく、実際の風景や人物に虚像を重畳して表示するＡＲ機能も備えており、このようなヘッドアップディスプレイシステムはＡＲヘッドアップディスプレイシステム（ＡＲ−ＨＵＤ）などと呼ばれることもある。

図４は、本発明の一実施の形態に係るヘッドアップディスプレイシステムにおける車両情報４の取得に係るハードウェア構成の例について概要を示した図である。ここでは主に車両情報取得部１０および制御部２０の一部のハードウェア構成について示す。車両情報４の取得は、例えば、ＥＣＵ（Electronic Control Unit）２１の制御の下、ＥＣＵ２１に接続された各種のセンサ等の情報取得デバイスにより行われる。

これらの情報取得デバイスとして、例えば、車速センサ１０１、シフトポジションセンサ１０２、ハンドル操舵角センサ１０３、ヘッドライトセンサ１０４、照度センサ１０５、色度センサ１０６、測距センサ１０７、赤外線センサ１０８、エンジン始動センサ１０９、加速度センサ１１０、ジャイロセンサ１１１、温度センサ１１２、路車間通信用無線送受信機１１３、車車間通信用無線送受信機１１４、カメラ（車内）１１５、カメラ（車外）１１６、ＧＰＳ受信機１１７、およびＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標（以下同様））受信機１１８などの各デバイスを有する。必ずしもこれら全てのデバイスを備えている必要はなく、また、他の種類のデバイスを備えていてもよい。また、備えているデバイスによって取得できる車両情報４を適宜用いることができる。

車速センサ１０１は、車両２の速度情報を取得する。シフトポジションセンサ１０２は、車両２の現在のギア情報を取得する。ハンドル操舵角センサ１０３は、ハンドル操舵角情報を取得する。ヘッドライトセンサ１０４は、ヘッドライトのＯＮ／ＯＦＦに係るランプ点灯情報を取得する。照度センサ１０５および色度センサ１０６は、外光情報を取得する。測距センサ１０７は、車両２と外部の物体との間の距離情報を取得する。赤外線センサ１０８は、車両２の近距離における物体の有無や距離等に係る赤外線情報を取得する。エンジン始動センサ１０９は、エンジンＯＮ／ＯＦＦ情報を検知する。

加速度センサ１１０およびジャイロセンサ１１１は、車両２の姿勢や挙動の情報として、加速度や角速度からなる加速度ジャイロ情報を取得する。温度センサ１１２は車内外の温度情報を取得する。路車間通信用無線送受信機１１３および車車間通信用無線送受信機１１４は、それぞれ、車両２と道路や標識、信号等との間の路車間通信により受信した路車間通信情報、および車両２と周辺の他の車両との間の車車間通信により受信した車車間通信情報を取得する。

カメラ（車内）１１５およびカメラ（車外）１１６は、それぞれ、車内および車外の状況の動画像を撮影してカメラ映像情報（車内／車外）を取得する。カメラ（車内）１１５では、例えば、同乗者５や運転者５’の姿勢や、眼の位置、動き等を撮影する。得られた動画像を解析することにより、例えば、運転者５の疲労状況や視線の位置などを把握することが可能である。また、カメラ（車外）１１６では、車両２の前方や後方等の周囲の状況を撮影する。得られた動画像を解析することにより、例えば、周辺の他の車両や人等の移動物の有無、建物や地形、路面状況（雨や積雪、凍結、凹凸等）などを把握することが可能である。

ＧＰＳ受信機１１７およびＶＩＣＳ受信機１１８は、それぞれ、ＧＰＳ信号を受信して得られるＧＰＳ情報およびＶＩＣＳ信号を受信して得られるＶＩＣＳ情報を取得する。これらの情報を取得して利用するカーナビゲーションシステムの一部として実装されていてもよい。

図５は、本発明の一実施の形態に係るヘッドアップディスプレイシステムの構成例について詳細を示した機能ブロック図である。制御部２０は、より詳細には、ＥＣＵ２１、音声出力部２２、不揮発性メモリ２３、メモリ２４、光源調整部２５、歪み補正部２６、およびミラー調整部２９などの各部を有する。ＥＣＵ２１は、図３に示したように、車両情報取得部１０を介して車両情報４を取得するとともに、取得した情報を必要に応じて不揮発性メモリ２３やメモリ２４に記録、格納したり読み出したりする。不揮発性メモリ２３には、各種制御のための設定値やパラメータなどの設定情報が格納されていてもよい。また、ＥＣＵ２１は、専用のプログラムを実行させる等により、助手席側ＨＵＤ１と運転席側ＨＵＤ１’としてそれぞれ表示する虚像に係る映像データを生成する。

音声出力部２２は、必要に応じてスピーカ６０を介して音声情報を出力する。光源調整部２５は、映像表示装置３０、３０’の備える光源の発光量を調整する。光源が複数ある場合にはそれぞれ個別に制御するようにしてもよい。歪み補正部２６は、ＥＣＵ２１が生成した映像について、映像表示装置３０、３０’によって車両２のウィンドシールド３に投射した場合に、ウィンドシールド３の曲率によって生じる映像の歪みを画像処理により補正し、補正後の映像データを映像表示装置３０、３０’に送り、映像を表示する。

また、車両前方の状況や地図の情報は、車両情報４としてＥＣＵ２１に入力され、それらの情報に基づいて、検知した物体が何であるかを判別する検知物体判定部２８１や虚像表示決定部２８２において、行先案内や障害物への警告など、何を虚像として表示するか、その虚像はＡＲとして表示するか、どこに表示するかなどを決定する。更に、なお、これら虚像表示決定部２８２や検知物体判定部２８１は、ここでは、ＥＣＵの外にあるものとして説明したが、これらは、共に、ＥＣＵの内部にあっても構わない。

続いて、上記にその構成の詳細について述べたヘッドアップディスプレイ（ＨＵＤ）システムにおける助手席ＨＵＤ１と運転席ＨＵＤ１’の設定について以下に説明する。

＜助手席ＨＵＤと運転席ＨＵＤのアイボックスや配置の設定＞
運転席に着座して車両の運転・操作を行う運転者は、特に走行中においては車両２前方の路面における走行車両や歩行者に視線を集中するため、運転席ＨＵＤ１’により虚像が視認される範囲であるアイボックスは比較的狭く設定することが可能となる。他方、助手席に着座する同乗者は、車両の運転・操作を行わず、その座り方も固定されないことなどから、助手席ＨＵＤ１のアイボックスは、運転席ＨＵＤ１’のそれに比較して広くすることで表示情報を見やすくすることが好ましい。また、表示する内容についても、それぞれ、異なっており、例えば、運転者に対しては、安全な運転に必要な情報の表示(スピード表示、ナビ情報、アラート情報)が重視され、他方、助手席の同乗者に対しては、店や駐車場を探すなどの便利さを提供することができる。

本発明は上述した発明者等の知見に基づいてなされたものであり、図６にも示すように、助手席側ＨＵＤ１により得られるアイボックスＥＢを、運転席ＨＵＤ１’により得られるアイボックスＥＢ’に比較して、より広く（大きく）設定している（助手席ＨＵＤ１のアイボックス＞運転席ＨＵＤ１’のアイボックス）。

それに加え、助手席ＨＵＤ１の設置位置も、助手席ＨＵＤ１の表示範囲が運転席ＨＵＤ１’の表示範囲と概ね同様の方向・位置に表示されるように設定する。より具体的には、図７に矢印で示すように、構造的に助手席ＨＵＤ１の表示位置を調整するか若しくは映像表示装置３０の有効画素範囲の中で画像の表示範囲を調整して、助手席ＨＵＤ１の表示位置が運転席ＨＵＤ１’の表示位置と合致させる。これによれば、助手席と運転席の位置の違いによって助手席ＨＵＤ１と運転席ＨＵＤ１’の表示が異なることが解消される。即ち、同乗者も運転者と概ね同じ位置にＨＵＤ表示が得られ、同じ表示感覚を共有することが可能となる。

より詳細に説明すれば、図８に示すように、運転者と同乗者の視点（目）は、互いに、例えば80cmだけ離れており、かつ、両者が20m先の対象物に対して向けられている場合を考える。この場合には、両者の視線は約2.3度異なるため、それに合わせて助手席側ＨＵＤ１の設置位置を調整することとなる。

更に、実際に設定された助手席ＨＵＤ１と運転席ＨＵＤ１’の各種の仕様についての一例を以下の表１に示す。

この表１の例では、実景に情報を合わせて表示することが理想なので、助手席ＨＵＤ１、運転席ＨＵＤ１’双方の虚像表示位置を遠方にする。また、助手席の同乗者は様々な姿勢を取るため、アイボックスは運転席側に比べ広くする必要があり、本例では２倍に設定した。それ以外の仕様は、双方とも同様にする。なお、以下にも示すように、地図情報などを実景とは無関係に表示する場合は、虚像距離をもっと短く、かつ、虚像サイズを小さく設定することも可能である。

続いて、上で述べたヘッドアップディスプレイ（ＨＵＤ）システムにおける助手席ＨＵＤ１と運転席ＨＵＤ１’による表示の内容について、以下の表２を参照しながら説明する。

この表２からも明らかなように、運転席ＨＵＤ１’の表示内容としては、その効果として運転者に対する安全支援につながる情報であり、より具体的には、スピード情報、ナビ情報、アラート情報を含んだ運転支援情報が、そして、ドライバ監視情報等が考えられる。他方、助手席ＨＵＤ１の表示内容としては、基本的には、運転席と同じ情報を表示して同乗者に安心感を与えるのに加え、更には、ドライバ監視情報を表示し、運転手の状態を把握し、居眠り運転やよそ見運転などを防止することなどが考えられる。また、助手席ＨＵＤ１にはジェスチャー操作を設け、運転席側に情報を伝達すること（いわゆる、インタラクティブ機能）も考えられ、その場合のこれらの助手席ＨＵＤ１の表示内容については以下に詳述する。

＜助手席ＨＵＤの表示内容＞
助手席ＨＵＤ１により同乗者へ表示される情報の内容として、上記の表２にも示すように、モード１〜モード４、停車モードなどが考えられ、以下に各々について説明する。なお、表中のジェスチャー操作については後述する。

＜モード１＞
同乗者の安心と運転者の安全支援をその効果として、運転席ＨＵＤ１’と同様に、
・スピード（走行速度）情報
・ナビ情報
・アラート情報
を表示することに加え、運転者の監視情報として、
・居眠り
・視線(よそ見)
などを含む運転者の状態を表示する。これにより、助手席の同乗者が運転席の運転者の居眠り運転やよそ見運転などを把握して注意を促して防止することができる。

一例として、図９（Ａ）にも示すように、基本的には、運転席と同じ情報と共に、表示領域（図の破線を参照）の左上角部に「〇」で運転者の監視情報を表示する。より具体的には、この〇が緑色であれば、運転者は居眠りしていない状態を示しており、運転者の状態に特に異常（例えば、居眠り）が生じている場合には、図９（Ｂ）にも示すように、この〇を赤色にすると共に点滅を行って同乗者に対して注意喚起を促す。また、領域内の眼のマークは、運転者の視線を実景に合わせてＡＲ表示したものである。この例では、運転者の視線が、手前の歩行者から前方の歩行者に移っている状況を示しており、運転者の状態に特に異常がないことを示す。また、表示領域の右下角部には、車両の現在の走行速度が表示されている。これらの情報により、助手席にいる同乗者は、運転者の状態と視線を確認できることで、事前の危険度を察知することが可能となる。

表示領域の右上角部には、現在表示されているモードの状態（本例では、モード１）が示されており、このモード状態表示は、後にも述べるインタラクティブ機能により、モード切替えアイコンなどをタッチすると毎に（本例では、モード１からモード２へ）その表示が変化する。また、この例では、表示領域の右下角部にスピード（走行速度）表示を行い、また、ナビ情報として車両の進行方向を矢印で指示すると共に、アラート情報として歩行者検出情報等をＡＲ表示している。

＜モード２＞
このモード２の表示内容は、図１０にも示すように、助手席ＨＵＤ１独自の情報を表示するものであり、例えば、車両が走行中の場所周囲の店（Shop 1, Shop 2）、駐車場（P1, P2）、カフェ（Cafe 1, Cafe 2）、レストラン等を表示領域（図の破線を参照）内に表示する。その際、虚像の表示距離を前方や遠方の異なる位置に、即ち、三次元的に表示可能とすることによれば、これらの情報を実景に合わせて表示することが可能となり、より好適であろう。

＜モード３＞
このモード３の表示内容は、図１１（Ａ）〜（Ｂ）にも示すように、表示領域（図の破線を参照）の左右上角部に運転者監視情報とモード状態表示を行うと共に、その中央部に、運転者による操作の状態を表示する（表示領域内の実線を参照）。より具体的には、例えば、アクセルの踏込（Accelerator）、ブレーキの踏込（Brake）、運転モード（シフト(Shift)の状態）、ステアリング（Steering）の状態等を表示している。図１１（Ａ）の例では、アクセルが踏み込まれ、運転モードが運転（Ｄ）の状態であり、ステアリングが右（Ｒ）に10度切られていることを示しており、図１１（Ｂ）の例では、ブレーキが踏み込まれ、運転モードが後退（Ｒ）の状態であり、ステアリングが左（Ｌ）に30度切られていることを示している。

このモード３は、例えば、教習所での教習生の操作状態を助手席側の教官が確認するのに、あるいは、仮免許運転中の教習生による操作状態を助手席側の免許取得者が確認する用途に好適であろう。

＜モード４＞
このモード４は、助手席の同乗者が安全確認することを目的に、左右のサイドカメラ映像やリアカメラ映像を、表示領域（図１２の破線を参照）の中央部に表示する。これによれば、助手席の同乗者は、頭を後ろに回して車両後方の状況を確認することなく、車両後方の状況を把握して運転者に伝えることで、助手席の同乗者による運転者への安全確認の支援が可能となる。なお、ここでは、表示領域の中央部において、上側の左右に左右のサイドカメラの映像を、下側にリアカメラの映像を表示する例を示したが、本発明はこれに限定さえることなく、これらの映像他の配置で表示することも可能である。また、このモード４でも、表示領域の左上角部には運転者監視情報を、そして、右上角部にはモード状態が示されている。

＜停車モード＞
このモードは、車両が停止して同乗者がドアを開ける際、ドアの外部の状態を表示することにより、同乗者が安全に降車することを支援するものである。より具体的には、例えば、図１３に示すように、表示領域（図の破線を参照）には、外部において車両に接近して来る人物、自転車、更には、オートバイ、自動車等の障害物を車載カメラが検知して助手席ＨＵＤ１に表示する。その際、例えば、緑色の点灯で表示することにより、当該障害物は存在しないこと（安全）を表示する。他方、赤色の点滅で表示することにより、同乗者に対して危険度（注意）を知らせるなど、当該障害物の接近に注意して降車するように促す。即ち、表示形態の変更によってその危険度を区別して表示することもできる。なお、この停車モードでも、表示領域の右上角部にはモード状態が示されている。

＜ジェスチャー操作（インタラクティブ機能）＞
次に、上記にも述べた助手席ＨＵＤ１のジェスチャー操作による運転席側への情報の伝達（いわゆる、インタラクティブ機能）について説明するが、それに先立ち、このインタラクティブ機能を実現するための構成について、以下に図を参照しながら説明する。

図１４や図１５にも示すように、上記に説明した各種の構成に加え、棒状の空間センシング装置３００を、図に示すように、助手席前方のウィンドシールド３の上方に、または、ダッシュボードに取り付ける。この設置した空間センシング装置３００は、レーザー光線３１０による目に見えない光のフィールドを投影し、助手席の同乗者の手の指先やペンを認識することにより、いわゆる、タッチパネルに似た動作を実現する。即ち、空間センシング装置３００の機能により、助手席の同乗者は、助手席ＨＵＤ１により表示される虚像の位置に対して所望の位置を指示することによってインタラクティブ操作を行うことが可能となり、ＨＵＤの表示情報にアクセスできる。また、これにより、運転者側の視野の中において指やペンによる操作を実現する。

図１６は、上記空間センシング装置の基本原理を示したものである。使用者（例えば同乗者）の指が図面の左から右に移動した場合に、まず、図１６（Ａ）に示すように、第一の光源３６０からの光束φ１はコンデンサ光学素子３６１により略平行光束とし移動する使用者の指で反射し反射光束φ３となって集光レンズ素子３６５により集光されて第一の受光部３６４に到達する。この時、第一の光源３６０の発光時間と第一の受光部３６４が受光した時間との時間的な差Δｔ１によりＹ軸方向の指までの距離情報を、同時に、第一の光源３６０の発光時間と第一の受光部３６４と絶対的な位置座標によりＸ軸方向の位置情報を得る。ついで同図に示すように、使用者の指が図面の左から右に更に移動した場合には、まず、第三の光源３６８からの光束φ４はコンデンサ光学素子３６９により略平行光束となり移動する使用者の指で反射し反射光束φ６となって集光レンズ素子３７３により集光されて第三の受光部３７２に到達する。

この時、第三の光源３６８の発光時間と第三の受光部３７２が受光した時間との時間的な差Δｔ２によりＹ軸方向の指までの距離情報を、同時に第三の光源３６８の発光時間と第三の光源３６８の絶対的な位置座標によりＸ軸方向の位置情報を得る。

次に、Ｚ軸方向の位置情報を取得する方法について、図１６（Ｂ）を用いて説明する。図１６（Ａ）で説明したＸ軸方向およびＹ軸方向の位置情報をセンシングするユニット８０を、複数、Ｚ軸方向（座席からウィンドシールド３に向かう奥行き方向）に並べて配置する（図中、８０,８１,８２で表示）。

この空間センシング装置３００に対して使用者（同乗者）の指が図面の左から右に向かって更に移動した場合には、まず、第一ユニット８０の特定光源３６０からの光束φ８はコンデンサ光学素子３６１により略平行光束となり移動して使用者の指で反射し反射光束φ７となって集光レンズ素子（図示せず）によって集光されて受光部（図示せず）に到達する。この時、上述したユニットの動作により第一ユニット８０を通過した時間（絶対時間Ｔ１）とＸＹ座標が明らかになる。使用者の指が更に左から右に移動すれば、第二ユニット８１でも同様に、第二ユニット８１を通過した時間（絶対時間Ｔ２）とＸＹ座標が明らかになる。また、第三ユニット８２の光束φ１１は図１６（Ｂ）に示したように、使用者の指を遮らないことから、Ｚ軸方向の指の位置も特定できる。

更に、上述した絶対時間Ｔ１と絶対時間Ｔ２の時間差と第二ユニット８１のセンシング出力（ＸＹ座標と受光部で指からの反射光を得た絶対時間）から、空間軸のＺ座標方向の指の移動速度と加速度を割り出すことができる。同様に、第一ユニット８０と第二ユニット８１からのセンシング情報からも指の移動方向と加速度を算出し、単なる位置情報だけでなく、使用者の意志（加速度が高ければ意志が強いなど）をシステムの情報表示の量、速度、位置などに反映できる。

このように、上述した空間センシング装置３００によれば、図１７にも示すように、空間センシング装置３００から発信されているレーザー光線３１０に対し指で光線を遮った部分からの反射光を受信して、助手席ＨＵＤ１により虚像が表示される範囲における同乗者の指の位置を計測することができる。本実施例では、センサ部から平行にレーザー光線が照射されている場合を示しているが、点光源から放射状に照射されるレーザー光線に対しても同様の原理で位置を計測できる。

続いて、その構成について上記で説明したジェスチャー操作による運転席側への情報の伝達（いわゆる、インタラクティブ機能）の具体的な例について、以下に述べる。

＜インタラクティブ機能＞
図１８は、助手席ＨＵＤ１と運転席ＨＵＤ１’との間の情報交換を示しており、図１８（Ａ）は、実景に合わせた対象物上で情報が欲しい対象へ指でタッチして状態を、図１８（Ｂ）は、表示した地図(ナビ)情報上で情報が欲しい対象へ指でタッチして選択した状態を示している。なお、指によるタッチ(ジェスチャー)操作は同様であり、また、表示画面は上記図１０のモード２に対応している。

その結果、図１９に示すように、指でのタッチで選択された対象の詳細情報（本例では、Shop 1の詳細な情報）が表示される。なお、この画面においてReturnボタンをタッチすると、元の画面へ戻る。

その後、助手席の同乗者によって選択された情報を運転席の運転者に知らせるため、同乗者は、図２０に示すように、当該選択した対象物を指でスライド(ジェスチャー動作)する。

その結果、図２１にも示すように、助手席からの情報を表示領域（図の破線を参照）の左下に点滅する●で表示する。また、例えば、Shop 1の場所に従って、矢印を伴うナビ表示を行ってもよい。

なお、上述したジェスチャー操作は、運転者側での注意を喚起することから、対向車の有無や車両近傍の歩行者や自転車やオートバイなどの障害物がいない場合など、即ち、危険度が低い場合に限定されるべきであり、例えば図２２に示すように運転席ＨＵＤ1’に歩行者などを検出したアラート情報が表示されている場合は、助手席ＨＵＤ１からの操作は受けつけず、ＨＵＤ１’の表示内容は変化しない。即ち、ジェスチャー操作による運転席ＨＵＤ１’への表示は、以下にも述べる運転者に対する危険度を検出した結果に基づいて行うことが好ましい。

＜ジェスチャー操作の判定＞
続いて、上述した運転者に対する危険度に基づくジェスチャー操作の運転席ＨＵＤ１’への表示の可否は、図２３にその一例を示すフローチャートによって実行することができる。なお、このフローチャートを実行するプログラムは、図５にも示した不揮発性メモリ２３のような記憶装置内に予め格納しておき、演算装置であるＥＣＵ２１により実行することにより実現されることは、当業者であれば明らかであろう。

ジェスチャー動作が開始されると、ＥＣＵ２１は、助手席の操作者の指が表示された対象へタッチしたことを確認し（ステップＳ０１）、タッチされた対象の詳細を助手席ＨＵＤ１に表示する（ステップＳ０２：上記図１９を参照）。また、ＥＣＵ２１は、戻るボタンのタッチにより、助手席ＨＵＤ１の表示を全体画面表示へ戻す（ステップＳ０３：上記の図１８を参照）。

その後、操作者が対象情報を指でスライド(運転席側への情報伝達)した場合（ステップＳ０４）、ＥＣＵ２１は、運転席ＨＵＤ１’に表示した場合の危険度が低いか否かを判定する（ステップＳ０５）。具体的には、車載カメラやレーダーなどのセンサが検知した障害物を基に判定を行う。その結果、危険度が低い（Ｙｅｓ）と判断された場合には、ＥＣＵ２１は、上記対象情報の運転席ＨＵＤ１’への表示を行い（ステップＳ０７）、一連の動作を終了する。他方、判定の結果、危険度が高い（Ｎｏ）と判断された場合には、ＥＣＵ２１は、危険度情報を確認し（ステップＳ０６）、再度、上記の判定ステップへ戻る。

即ち、上記のジェスチャー操作の判定によれば、ジェスチャー操作による運転席ＨＵＤ１’への表示は危険度が低い場合にのみ行われることから、運転者による安全な運転を確保することができる。

上記の実施例では、助手席ＨＵＤ１に表示する情報として、主に、同乗者の安心と運転者の安全の支援を目的としたスピード（走行速度）情報、ナビ情報、アラート情報、また、運転者の監視情報として、居眠りや視線(よそ見)などを含む運転者の状態について説明したが、本発明はこれらにのみ限定されることなく、その他の情報を表示してもよい。

＜その他の表示情報＞
例えば、図２４にも示すように、車内ネットワークを介して上述した指の検出信号を利用やナビ情報と共に、スマートフォンにも接続することを可能にすることによれば、車外との通信により多岐にわたる情報を得て、これらの情報を助手席ＨＵＤ１に表示することも可能である。あるいは、通信ユニットを介して車外との通信を行って交通インフラの情報を得てこれらの情報を助手席ＨＵＤ１に表示する、または、上述したセンサにより自動車周辺の状態を検出し、その検出信号を表示することも可能であろう。

以上に詳細に述べたように、本発明の実施例になるヘッドアップディスプレイ（ＨＵＤ）システムによれば、運転席に着座している運転者だけではなく、助手席の同乗者に対しても必要な各種の情報を表示することが可能となり、同乗者の安心と共に、運転者による安全運転の支援も可能となるシステムが実現される。

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は上記の実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

本発明は、透明なガラス板等に画像を投影するヘッドアップディスプレイに利用可能である。

１…助手席ＨＵＤ、１’…運転席ＨＵＤ、２…車両、３…ウィンドシールド、１０…車両情報取得部、１０１…車速センサ、１１５…カメラ（車内）、１１６…カメラ（車外）、２０…制御部、２１…ＥＣＵ、２２…不揮発性メモリ、２３…メモリ、ＥＢ、ＥＢ’…アイボックス、３００…空間センシング装置、３１０…レーザー光線。

Claims (8)

1. 乗り物のウィンドシールドまたはコンバイナに画像光を投影して反射することで虚像を表示するヘッドアップディスプレイシステムであって、
   前記乗り物の運転席に着座する運転者に対して虚像を表示する運転席ＨＵＤと、
   前記乗り物の助手席に着座する同乗者に対して虚像を表示する助手席ＨＵＤと、
   前記運転席ＨＵＤと前記助手席ＨＵＤにより表示する情報を制御するための制御部とを備え、
   前記運転席ＨＵＤによるアイボックスの範囲は、前記助手席ＨＵＤによるアイボックスの範囲よりも狭く設定されている、ヘッドアップディスプレイシステム。
2. 請求項１に記載のヘッドアップディスプレイシステムにおいて、
   前記助手席ＨＵＤは、その表示範囲が前記運転席ＨＵＤの表示範囲と同様の方向・位置に表示されるように設定されている、ヘッドアップディスプレイシステム。
3. 請求項１に記載のヘッドアップディスプレイシステムにおいて、
   更に、前記同乗者による操作を検出する空間センシング装置を前記乗り物の助手席側に備えている、ヘッドアップディスプレイシステム。
4. 請求項３に記載のヘッドアップディスプレイシステムにおいて、
   前記制御部は、前記空間センシング装置からの検出信号に基づいて、前記助手席ＨＵＤにより表示する情報の一部を前記運転席ＨＵＤの表示範囲の一部に表示する機能を備えている、ヘッドアップディスプレイシステム。
5. 請求項４に記載のヘッドアップディスプレイシステムにおいて、
   前記制御部は、更に、前記助手席ＨＵＤにより表示する情報の一部を前記運転席ＨＵＤの表示範囲の一部に表示する際、前記操作の可否を判定する機能を備えている、ヘッドアップディスプレイシステム。
6. 請求項５に記載のヘッドアップディスプレイシステムにおいて、
   前記助手席ＨＵＤの表示範囲内に虚像で表示する情報は、前記乗り物の走行速度情報、ステアリング情報、ブレーキの踏込情報、運転モード情報、ナビ情報、運転者の監視情報、外部のアラート情報の少なくとも１つまたは複数を含んでいる、ヘッドアップディスプレイシステム。
7. 請求項６に記載のヘッドアップディスプレイシステムにおいて、
   前記助手席ＨＵＤの表示範囲内に虚像で表示する情報は、更に、スマートフォンを介して得られる情報を含んでいる、ヘッドアップディスプレイシステム。
8. 請求項６または７に記載のヘッドアップディスプレイシステムにおいて、
   前記助手席ＨＵＤの表示範囲内に虚像で表示する情報は、変更可能である、ヘッドアップディスプレイシステム。