JP2020111202A - 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法 - Google Patents

Abstract

【課題】車両の乗員の注意資源に基づいて情報を表示することができる表示制御装置を提供すること。【解決手段】移動体９に搭載された表示装置１０に情報を表示する表示制御装置２０であって、乗員の注意資源に影響を与える入力情報を取得する情報取得手段２２，２３，２４，２５と、前記入力情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成する表示画像生成手段２８と、を有することを特徴とする。【選択図】図１

Description

本発明は、表示制御装置、表示装置、表示システム、移動体、プログラム、及び、画像生成方法に関する。

従来から車速、残燃料、シフトレバー位置、総走行距離、区間走行距離、方向指示表示灯状態、及び、水温など、車両から取得できる各種の車両情報を車載された表示装置が表示して運転者など移動体の乗員に提供することが行われている。移動体の一例である車両の乗員は運転中でもこれら車両情報を随時確認することができる。

また、近年では車両の運転操作を支援するＡＤＡＳ（Advanced Driver Assistance System）の実装が進んでおり、レーダー及びカメラなどの各種センサが車載されるようになっている。表示装置はセンサが検出した情報、この情報に基づく各種制御の状態、車両の乗員の好ましい操作などを表示する。車両の乗員はこれらの情報を確認して、制御状態を確認したり運転操作したりすることが可能になる。

また、表示装置は外部から取得した情報を表示することも可能である。例えば、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）受信装置が受信した渋滞情報や事故情報を表示できる。

更に、車両の乗員の心身状態などを推定するため車両の乗員から乗員状態情報を検出して、休憩などを促す情報を表示装置が表示することも実用化されつつある。また、心身状態に応じて、自車両に関する情報の表示態様を変化させる技術が考案されている（例えば、特許文献１参照。）。特許文献１には、運転者の生体情報に応じて自車両アイコンの表示態様を変化させることで運転者の心身の状態を分かりやすく提供する情報提示装置が開示されている。

しかしながら、従来の技術では、車両の乗員の注意資源に基づいて情報を表示することができないという問題がある。車両の乗員はその時の注意資源を運転操作と表示装置が表示する情報の視認に割り振るが、走行時間、乗員状態情報、走行環境情報、又は、表示画像履歴によって、注意資源が変動することが知られている。例えば、これらには疲労に相関する情報が含まれており、疲労によって注意資源が変動する場合がある。

また、視認性がよい情報と悪い情報が表示された場合を比較すると、視認性が悪い情報が表示された方が、運転操作に割り振れる注意資源が減少することも知られている。したがって、少ない注意資源で視認可能な情報を表示することで、運転操作に割り振ることができる注意資源が増えるが、従来は、車両の乗員の注意資源に基づいて情報を表示することは行われていなかった。

本発明は、上記課題に鑑み、車両の乗員の注意資源に基づいて情報を表示することができる表示制御装置を提供することを目的とする。

本発明は、上記課題に鑑み、移動体に搭載された表示装置に情報を表示する表示制御装置であって、乗員の注意資源に影響を与える入力情報を取得する情報取得手段と、前記入力情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成する表示画像生成手段と、を有することを特徴とする。

車両の乗員の注意資源に基づいて情報を表示することができる表示制御装置を提供することができる。

表示制御部が車両の乗員の注意資源に応じて決定した表示装置に表示される情報の表示態様の一例を示す図である。 車載システムの概略構成図の一例である。 表示装置の構成を示す図の一例である。 表示システムが搭載された車載システムの構成図の一例である。 車載システムのうち情報入力部の構成例を示す図である。 表示制御部のハードウェア構成図の一例である。 表示制御部の機能をブロック状に示す機能ブロック図の一例である。 表示装置が表示する表示画像の一例である。 文字のサイズや太さ、輝度、又は、補色の関係を利用した表示態様の変更の一例を示す図である。 彩度、虚像までの距離、又は、点滅を利用した表示態様の変更の一例を示す図である。 表示制御部が走行時間に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。 表示制御部が走行環境情報に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。 表示装置が走行環境情報と同時に表示する走行環境情報以外の表示情報の示す図の一例である。 表示制御部が乗員状態情報に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。 表示制御部が表示画像の履歴に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。 表示制御部が走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。 表示制御部が推奨操作を取得してから推奨操作で指定される操作情報が入力されるまでの遅延時間に基づいて表示情報の表示態様を変更する手順をフローチャート図の一例である。 車両とサーバを有する情報処理システムの概略構成図である。

以下、本発明を実施するための形態の一例として、表示システムと表示システムが行う画像生成方法について図面を参照しながら説明する。

＜本実施形態の情報の表示の概略＞
まず、図１を用いて、本実施形態における情報の画像生成方法の概略を説明する。図１は、表示制御部２０が車両の乗員の注意資源に応じて決定した表示装置１０に表示される情報の表示態様の一例を示す。本実施形態では、表示制御部２０がＨＵＤ（Head Up Display）を表示装置１０として情報を表示する形態を説明する。ただし、液晶ディスプレイなどその他の表示装置への適用を制限しない。

（１）表示制御部２０は車両などの移動体に搭載されることが想定され、車両が有するセンサから走行時間（運転時間ともいう）、心拍数などの乗員状態情報、物体に対する制御状態などの走行環境情報、及び、表示装置１０に表示される各種の情報の表示画像履歴（以下、これらの全て又は一部を入力情報という）の少なくとも１つが表示制御部２０に入力される。入力情報は車両の乗員の注意資源に影響を与える情報であり、一部は疲労度などの心身状態と相関する。

（２）表示制御部２０は入力情報に基づいて表示装置１０が表示する表示画像の表示態様を決定する。例えば、走行時間が一定以上となったとすると、図１では、現在の車速である「７０ｋｍ/ｈ」という情報を、より少ない注意資源で視認できるよう、より大きなサイズで表示している。

このように、本実施形態の表示装置１０は、注意資源に影響を与える入力情報に応じて、より少ない注意資源で視認できる情報の表示態様を決定するので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。また、少ない注意資源で情報を視認できるので、疲労の蓄積を緩和できる。

＜用語について＞
注意資源とは脳が活動をするときに使うリソースをいう。注意資源がＡという作業に割り振られると、Ｂという作業には残りの注意資源で取り組まなければならない。乗員が有するトータルの注意資源は疲労により減少する。乗員はトータルの注意資源を運転操作と情報の視認に割り振るが、比率は状況によって変動する。

より少ない注意資源で視認できる表示態様とは、表示態様の刺激を強くすること、強調することなどをいう。より見やすい情報はより少ない注意資源で視認でき、より見にくい情報は視認により多くの注意資源を必要とする。

入力情報とは表示制御部に入力され、移動体への乗車中に乗員の注意資源に何からの関わりがある情報を言う。例えば、注意資源を減少したり増大したりする影響があるものをいう。本実施形態では走行時間、心拍数などの乗員状態情報、物体に対する制御状態などの走行環境情報、及び、表示装置１０に表示される各種の情報の表示画像履歴を一例として用いる。なお、入力情報の一部又は全部は表示システム１が表示装置に表示する表示情報となる。

車両の乗員とは、表示装置１０の情報を視認する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。

移動体とは乗員が乗車して陸上、空中、海上、又は、海中を移動するものであればよい。本実施形態では一例として車両を例にして説明する。例えば、航空機、船舶、産業用ロボット等に搭載され得る。

表示情報とは表示装置が表示する情報であり、表示画像は表示情報が画像データとなったものである。表示画像は１つ以上の表示情報に基づいて生成される。表示画像に含まれる表示情報をコンテンツという。

表示装置１０が表示する表示情報は、車両情報、走行環境情報、乗員状態情報、又は、これらを加工して得られる情報である。定性的には移動体の運転に有用な情報である。その情報が実際に運転に反映されるかどうかは問わない。本実施形態では以下を例とするがこれらに限るものではない。

車両情報…車速、残燃料、シフトレバー位置、総走行距離、区間走行距離、方向指示表示灯状態、及び、水温など、車両から取得できる各種の情報。

走行環境情報…レーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態、車両の乗員の好ましい操作、ＶＩＣＳ受信装置が受信した渋滞情報、事故情報、天候情報など走行に関する環境の情報。ナビゲーション装置から提供される進行方向、道路標識などの情報が含まれてよい。

乗員状態情報…車両の乗員の心電情報、心拍数、血圧、体温、脈拍、呼吸数、発汗量、瞬き・瞳孔（覚醒レベル）、脳波、筋電位など、又は、これらから判断された心身の状態に関する情報。

＜構成例＞
図２は、車載システム２の概略を示す図の一例である。車載システム２は、車両９に搭載されており、情報入力部３０及び表示システム１を有している。更に、表示システム１は表示制御部２０と表示装置１０を有している。まず、情報入力部３０は上記の入力情報を取得して表示システム１に送出する。詳細は後述される。

表示システム１はダッシュボードの内部に埋め込まれており、表示システム１の上面に設けられ射出窓８からフロントウィンドウシールド９１に向けて映像を投影する。投影された映像はフロントウィンドウシールド９１よりも前方に虚像Ｉとして表示される。車両の乗員Ｖは視線を前方の車両や路面に保ったまま（少ない視線移動で）運転に有用な情報を目視できる。なお、表示システム１はフロントウィンドウシールド９１に映像を投影できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。

表示システム１は、汎用的な情報処理端末である場合とＨＵＤ専用端末の場合がある。ＨＵＤ専用端末は単にヘッドアップディスプレイ装置と呼ばれる他、ナビゲーション装置と一体である場合にはナビゲーション装置と呼ばれる場合がある。また、ＰＮＤ（Portable Navigation Device）とも呼ばれる。あるいはディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれてもよい。ディスプレイオーディオとは、ナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。

汎用的な情報処理端末は、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などである。汎用的な情報処理端末はこれらに限定されるものではなく、一般的な情報処理装置の機能を有していればよい。汎用的な情報処理端末は、普段は各種のアプリケーションを実行する情報処理装置として利用されるが、例えば表示システムのためのアプリケーションソフトウェアを実行する場合に、ＨＵＤ専用端末と同様、運転に有用な情報を表示する。

本実施形態の表示システム１は、汎用的な情報処理端末とＨＵＤ専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってよい。

図２に示すように、表示システム１は、主要な構成要素として、表示装置１０と、表示制御部２０とを有している。表示装置１０の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像（後述するスクリーンに投影される実像）を形成する方式である。パネル方式は、液晶パネル、ＤＭＤパネル（デジタルミラーデバイスパネル）、蛍光表示管（ＶＦＤ）等のイメージングデバイスで中間像を形成する方式である。

レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる点で好適である。高コントラストであることは視認性に優れるため、パネル方式のＨＵＤよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。

特に、パネル方式では情報がない領域でも遮光しきれない光が投影され、ＨＵＤが画像を表示できる範囲に表示枠が投影されてしまう（この現象をポストカードという）。レーザ操作方式ではこのような現象がなく、コンテンツのみを投影できる。特に、ＡＲ（Augmented Reality）において、実在する風景に生成した映像を重ねて表示する際のリアリティが向上する。なお、ＡＲとは「拡張現実」と訳され、実在する風景に実在しないオブジェクトの映像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術である。ただし、パネル方式のＨＵＤであってもより少ない注意資源で視認できる態様で情報を表示できるＨＵＤであればよい。

図３は、表示装置１０の構成を示す図の一例である。表示装置１０は、主に、光源部１０１と、光偏向器１０２と、ミラー１０３と、スクリーン１０４と、凹面ミラー１０５とを有している。なお、図３は主要な構成要素を示したに過ぎず、図示する以外の構成要素を有していてもよいし、図示する構成要素の一部を有していなくてもよい。

光源部１０１は、例えば、ＲＧＢに対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器１０２の反射面に向かって導く。光偏向器１０２の反射面に導かれたレーザビームは、光偏向器１０２により２次元的に偏向される。

光偏向器１０２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器１０２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器１０２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。光偏向器１０２として、ガルバノミラーやポリゴンミラー等を用いてもよい。

光偏向器１０２により２次元的に偏向されたレーザビームはミラー１０３に入射し、ミラー１０３により折り返され、スクリーン１０４の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー１０３としては、例えば凹面鏡を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器１０２とミラー１０３でレーザビームの方向を偏向することで、表示装置１０の小型化又は構成要素の配置を柔軟に変更できる。

スクリーン１０４としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。

スクリーン１０４から射出されたレーザビームは、凹面ミラー１０５で反射され、フロントウィンドウシールド９１に投影される。凹面ミラー１０５はレンズと似た働きを有し、所定の焦点距離に像を結像させる機能を有する。このため、凹面ミラー１０５がレンズであるとすると物体に相当するスクリーン１０４上の像は凹面ミラー１０５の焦点距離によって定まる距離Ｌ２の位置に像を結ぶ。したがって、車両の乗員から見た場合、フロントウィンドウシールド９１から距離Ｌ１＋Ｌ２の位置に虚像Ｉが表示される。車両の乗員からフロントウィンドウシールド９１までの距離をＬ３とすると、図３では車両の乗員Ｖの視点Ｅから距離Ｌ（＝Ｌ１＋Ｌ２＋Ｌ３）の位置に虚像Ｉが表示される（結像する）。

フロントウィンドウシールド９１への光束の少なくとも一部は車両の乗員Ｖの視点Ｅに向けて反射される。この結果、車両の乗員Ｖはフロントウィンドウシールド９１を介してスクリーン１０４の中間像が拡大された虚像Ｉを視認可能となる。すなわち、車両の乗員Ｖから見てフロントウィンドウシールド９１越しに中間像が拡大表示された虚像Ｉが表示される。

なお、通常、フロントウィンドウシールド９１は平面ではなく僅かに湾曲している。このため、凹面ミラー１０５の焦点距離だけでなくフロントウィンドウシールド９１の曲面によっても虚像Ｉの結像位置が決定されるが、距離Ｌは上記のようにほぼ距離Ｌ１＋Ｌ２によって定まる。視線移動が少なくて済むように虚像Ｉを遠方に結像させるには、距離Ｌ１又はＬ２を長くする。距離Ｌ１を長くする方法としてはミラーで光路を折り返す方法があり、距離Ｌ２を長くする方法としては凹面ミラー１０５の焦点距離を調整する方法がある。

なお、フロントウィンドウシールド９１の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー１０３及び凹面ミラー１０５の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。

また、フロントウィンドウシールド９１よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー１０５からの光を照射するようにしても、フロントウィンドウシールド９１に凹面ミラー１０５からの光を照射した場合と同様に、虚像Ｉを表示することができる。

＜表示システムが搭載される車載システムの構成例＞
続いて、図４を用いて、表示システム１が移動体に搭載された場合の構成例を説明する。図４は表示システム１が移動体に搭載された車載システム２の構成図の一例である。車載システム２はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１、エンジンＥＣＵ（Electronic Control Unit）１２、表示システム１、ブレーキＥＣＵ１３、ステアリングＥＣＵ１４、及び、情報入力部３０を有している。

カーナビゲーションシステム１１は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両９に送信したり経路検索を行ったりすることができる。

エンジンＥＣＵ１２は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンＥＣＵ１２はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。

ブレーキＥＣＵ１３は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。

ステアリングＥＣＵ１４は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。

情報入力部３０については図５にて説明する。表示システム１は情報入力部３０からの入力情報を取得できる。また、表示システム１は車載ネットワークＮＷからではなく外部のネットワークからの情報を取得してもよい。

＜情報入力部の構成例＞
続いて、図５を用いて、情報入力部３０の構成と情報入力部３０が入力する入力情報について説明する。図５は、車載システム２のうち情報入力部３０の構成例を示す図である。情報入力部３０は、上記の入力情報を取得して表示装置１０に入力する。情報入力部３０は、走行時間を取得するための車速センサ３１と顔カメラ３２、表示装置１０が表示する車両情報を取得する車両情報センサ３３、走行環境情報に関して物体を検出するレーダセンサ３４と前方カメラ３５、物体に関して運転を支援する制御を行う運転支援ＥＣＵ３６、外部から走行環境情報を受信するＶＩＣＳ受信装置３７と外部通信装置３８、及び、乗員状態情報を取得する乗員状態情報センサ３９、乗員状態情報に基づいて乗員を監視する乗員監視ＥＣＵ４０を有している。なお、走行時間、走行環境情報、及び、乗員状態情報は表示装置１０が表示する表示画像の表示態様を決定するために使用されるだけでなく、表示装置１０が表示する表示情報となる場合がある。

車速センサ３１は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。顔カメラ３２は車両の乗員の顔を撮像して顔認証を行い、車両の乗員を特定又は識別する。これにより、表示システム１は車両の乗員ごとに走行時間を測定できる。なお、車速センサ３１は車両情報センサ３３の１つでもある。

車両情報センサ３３は、車速センサ３１以外の車両情報を検出する１つ以上のセンサを有している。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び、水温センサなどである。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。シフトレバー位置センサは車両の乗員が操作したシフトレバー位置を検出する。オドメータは車両の走行距離を累積して総走行距離を提供する。トリップメータは車両の乗員が初期化してから現在までの区間走行距離を提供する。ウィンカセンサは車両の乗員が操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、車両から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量なども取得できる。

レーダセンサ３４は車両の前方など車両の周囲にレーダーを送信し、物体で反射して戻ってくるレーダーを受信する。送信から受信までの時間により物体までの距離を検出すると共に、レーダーの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Fright）がある。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。

前方カメラ３５は車両の前方を撮像する撮像装置である。取り付け場所は前方を撮像できる場所であればよいが、例えばルームミラーの裏側やその近くに取り付けられてよい。前方カメラ３５が撮像した画像データから、運転支援ＥＣＵ３６は、歩行者、先行車両、道路標識、及び、白線などの道路ペイントなどを認識する。前方カメラ３５は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ３４がなくてもよい。しかし、距離情報を取得できる前方カメラ３５に加え、レーダセンサ３４があることで、前方カメラ３５の距離情報とレーダセンサ３４の距離情報をフュージョンし，互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ３４と前方カメラ３５の他にソニックセンサ（超音波センサ）などを有していてもよい。また、前方カメラ３５の他に、後方カメラ又は側方カメラを有していてもよい。

運転支援ＥＣＵ３６はレーダセンサ３４又は前方カメラ３５の少なくとも一方が検出する物体の距離情報に基づいてエンジンＥＣＵ１２、ブレーキＥＣＵ１３及びステアリングＥＣＵ１４と連携して各種の運転支援を行う。例えば、上記した、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、障害物の回避操舵等を行う。追従走行時の加減速制御では、運転支援ＥＣＵ３６は車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、ＴＴＣに応じて、注意喚起のための警告、ブレーキペダルの押下を促す表示、衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ＥＣＵ３６は撮像された画像データから白線（走行区分線）を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。障害物の回避操舵では、制動では衝突を回避できないと判断した場合に、障害物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。

この他、運転支援ＥＣＵ３６は、先行車両が発進したことを検出して、発進を促す警告音や画像を表示したり、ハンドルを長時間操作していないことを検出してハンドルを把持する旨の警告音や画像を表示したりする。

運転支援ＥＣＵ３６はこれらの制御に伴って例えば、各種の画像（アイコン）及び文字の少なくとも一方の出力を表示しシステム１に指示する。表示例については図８にて説明する。なお、警告音を指示する場合もある。

ＶＩＣＳ受信装置３７はＶＩＣＳが配信する電波を受信する。なお、ＶＩＣＳは渋滞や交通規制などの道路交通情報を、ＦＭ多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置３８は３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、及び、無線ＬＡＮなどのネットワークを介してインターネットなどに接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。また、ニュース、音楽、動画などを受信してもよい。また、外部通信装置３８は、例えば信号機の状態情報と信号が変わるまでの時間などを取得できる。このように、ＶＩＣＳ受信装置３７と外部通信装置３８は路車間通信を行う場合がある。この他、外部通信装置３８は車車間通信で他車両が検出した情報を取得してもよい。

乗員状態情報センサ３９は車両の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。乗員状態情報センサ３９は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサなどである。乗員状態情報センサ３９としては例えば、腕時計型のウェアラブル端末（スマートウォッチ）を車両の乗員が装着する形態がある。ウェアラブル端末の背面と背面以外にそれぞれ電極が配置されており、ユーザが背面以外の電極に一定時間触れた場合の電流を検出する。電流には心筋の活動が反映されているので、これを解析して心電情報が得られる。また、心電情報からは心拍数が分かり、電極間のインピーダンス (電気の流れ難さ)が呼吸で変化することを利用して呼吸数を求める。また、ウェアラブル端末にＬＥＤ光源とフォトダイオードが配置されており、ＬＥＤで照射された血管からの反射光をフォトダイオードが受信する。心拍の脈動により赤血球の密度が変化するのでこの変化を解析して心拍数情報及び脈拍情報が得られる。血圧情報は、心拍数と血液の流れを元に割り出すことができる。体温情報は温度センサにより検出でき、発汗情報は水分又は湿度などとして検出される。筋電位は筋肉の動きに係る皮膚表面の電位の変化であり、所定の筋肉に貼付された電極の信号を解析して得られる。瞬き情報と瞳孔情報は顔カメラ３２が撮像する顔画像を解析することで検出される。顔のうち目の部分を監視して目の開度を監視することで眠気を推定できる。また、目の中心の黒い部分を瞳孔として検出し、眠気（覚醒レベル）を推定できる。脳波については、内側に複数の電極が配置されたヘッドバンドタイプ又はヘルメットタイプのセンサにより非侵襲に脳波を検出できる。

乗員状態情報センサ３９はBluetooth（登録商標）のような無線で表示システム１と通信してもよいし、ＵＳＢケーブルなどの有線で通信してもよい。なお、乗員状態情報及び乗員状態情報センサ３９はこれらに限定されない。また、乗員状態情報の解析方法は一例に過ぎず、解析方法はどのようなものでもよい。

乗員監視ＥＣＵ４０は乗員状態情報に基づいて車両の乗員の監視結果を表示システム１に出力する。例えば、心電情報から心室細動の徴候が見られる場合、心拍数、脈拍、呼吸数が閾値以上に高い場合、血圧が閾値以上に高い又は低い場合、体温が閾値以上に高い場合、発汗量が閾値以上に多い場合、覚醒レベルが低いと判断した場合、脳波に異常が見られる場合、筋肉が疲れていると判断される場合、例えば、「すぐに運転を中止しましょう」「休憩を取りましょう」などのメッセージ又は画像の少なくとも一方の出力を表示しシステム１に指示する。乗員状態情報そのものを表示することもできる。なお、警告音を指示する場合もある。

＜表示制御部のハードウェア構成例＞
続いて、図６を用いて、表示制御部２０のハード的な構成例について説明する。図６は、表示制御部２０のハードウェア構成図の一例である。表示制御部２０は、ＦＰＧＡ２０１と、ＣＰＵ２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、Ｉ／Ｆ２０５と、バスライン２０６と、ＬＤドライバ２０７と、ＭＥＭＳコントローラ２０８とを有している。ＦＰＧＡ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、及びＩ／Ｆ２０５は、バスライン２０６を介して相互に接続されている。

ＣＰＵ２０２は、表示制御部２０の各機能を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が、表示制御部２０の各機能を制御するために実行するプログラム２０３ｐを記憶している。ＲＡＭ２０４にはプログラム２０３ｐが展開され、ＣＰＵ２０２がプログラム２０３ｐを実行するためのワークエリアとして使用される。また、ＲＡＭ２０４は画像メモリ２０９を有している。画像メモリ２０９は虚像Ｉとして投影される画像の生成に使用される。Ｉ／Ｆ２０５は、情報入力部３０と通信するためのインターフェイスであり、例えば車両９のＣＡＮ（Controller Area Network）バス又はイーサネット（登録商標）等に接続される。

ＦＰＧＡ２０１は、ＣＰＵ２０２が作成した画像に基づいてＬＤドライバ２０７を制御する。ＬＤドライバ２０７は表示装置１０の光源部１０１のＬＤを駆動することで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ２０１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ２０８を介して表示装置１０の光偏向器１０２を動作させる。

＜表示制御部の機能について＞
続いて、図７を用いて、表示制御部２０が有する機能について説明する。図７は、表示制御部２０の機能をブロック状に示す機能ブロック図の一例である。表示制御部２０は表示情報取得部２１、走行時間測定部２２、乗員状態情報取得部２３、走行環境情報取得部２４、表示画像履歴記録部２５、判断部２６、操作フィードバック取得部２７、表示画像生成部２８、及び、画像表示部２９を有している。表示制御部２０が有するこれらの機能は、表示制御部２０のＲＯＭ２０３からＲＡＭ２０４に展開されたプログラム２０３ｐをＣＰＵ２０２が実行することにより実現される機能又は手段である。

表示情報取得部２１は情報入力部３０から、入力情報のうち、表示装置１０が表示する表示情報を取得する。したがって、表示情報は入力情報と同じかその一部である。例えば、車速、車両情報の１つ以上、走行環境情報、又は、乗員状態情報そのもの若しくは乗員状態情報から判断されたメッセージなどである。ただし、全てを表示する必要はない。

走行時間測定部２２は車速センサ３１の車速を取得して、車速がゼロ以上の時間を累積することで走行開始からの走行時間を測定する。走行開始とは例えばＩＧ−ＯＮ（又は電気モータを動力とする車両ではシステムＯＮ）した時をいう。ＩＧ−ＯＮのたびに走行時間を初期化するのでなく、１日の走行時間を累積してもよい。また、走行時間測定部２２は例えば顔カメラ３２により識別された車両の所有者ごとに走行時間を測定する。天候などに応じて走行時間を重み付けして累積してもよい。

走行環境情報取得部２４は走行環境情報を取得する。走行環境情報をそのまま判断部２６に送出してもよいし、何らかの加工を施してもよい。加工の一例として、例えば、走行環境情報をグループに分類してグループＩＤを判断部２６に送出する。
グループ１：車両の所有者の運転操作に関する注意資源に影響を与えないもの
グループ２：車両の所有者の運転操作に関する注意資源を減らすもの
グループ３：車両の所有者の運転操作に関する注意資源が不十分であると推定されるもの
グループ１は車両の所有者が特に運転操作を行う必要がない走行環境情報であり、例えば先行車に追従しているマークや走行レーンのアイコン（図や絵柄で内容を表したもの）などである。グループ２は車両の所有者が何らかの運転操作を行うべき走行環境情報のうち、軽微なものをいう。例えば、ハンドルを把持すること、先行車両の発進を知らせる警告などがある。グループ３は車両の所有者が何らかの運転操作を行うべき走行環境情報のうち、重要なものをいう。例えば、ブレーキペダルの押下を促す表示、走行レーンを逸脱するおそれがある旨の警告、衝突回避制動が作動した旨の警告などがある。

走行環境情報取得部２４はグループ１〜３のそれぞれの回数を累積しておき、それぞれの回数を判断部２６に送出する。また、走行環境情報取得部２４はグループ２，３の走行環境情報のうち車両の乗員が操作すべき推奨操作（発進、ハンドルの把持、操舵、ブレーキペダルの押下等）を操作フィードバック取得部２７に通知する。

操作フィードバック取得部２７は、情報入力部３０から車両の乗員による操作情報を取得する。例えば、車速、ブレーキペダルの押下、ハンドルの把持、ハンドルの操舵などである。操作フィードバック取得部２７は、推奨操作を取得してから推奨操作で指定される操作情報が入力されるまでの遅延時間を測定し、車両の乗員の注意資源の状態を判断する。つまり、この遅延時間が長いほど、車両の乗員が表示画像を視認してから実際に運転操作するまでに時間がかかることを意味するので、表示画像を視認する注意資源又は運転操作の注意資源が減少していると推定できる。したがって、操作フィードバック取得部２７は遅延時間を判断部２６に送出する。

乗員状態情報取得部２３は上記の乗員状態情報を取得する。乗員状態情報取得部２３は乗員状態情報を注意資源の減少量に換算するとよい。乗員状態情報は心身状態や体調に影響されるので、注意資源の残量と相関すると考えられる。例えば心拍数が高い場合は緊張しており、注意資源が低下していると推定される。乗員状態情報取得部２３は、例えば、下式等の関数で乗員状態情報を注意資源の減少量に変換する。
注意資源の減少量 ＝ ａ×心室細動の有無＋ｂ×心拍数＋ｃ×血圧＋ｄ×体温＋ｆ×脈拍数＋ｇ×呼吸数＋ｈ×発汗量＋ｉ×覚醒レベル＋ｊ×脳波の特徴量＋ｋ×筋電位
表示画像生成部２８は表示情報取得部２１が取得した表示情報に基づいて表示装置１０が表示するための表示画像を生成する。例えば、車速又は車両情報であれば、数値、文字の他、予め決まったアイコンなどを生成する。走行環境情報の場合は、レーダー及びカメラなどの各種センサが検出した距離情報に基づいて先行車に追従しているマーク、走行レーンのアイコン、走行レーンを逸脱するおそれがある旨の文字・アイコン、注意喚起の警告のための文字・アイコン、車両の乗員の好ましい操作としてブレーキペダルの押下を促す文字・アイコン、衝突回避制動が作動した旨の文字・アイコン、ハンドルを把持することを促す文字・アイコン、先行車両の発進を知らせる文字・アイコンなどがある。乗員状態情報の場合、「すぐに運転を中止しましょう」「休憩を取りましょう」などのメッセージがある。

画像表示部２９はＬＤドライバ２０７及びＭＥＭＳコントローラ２０８を制御して、表示画像を表示装置１０に表示させる。

表示画像履歴記録部２５は、表示画像生成部２８が生成した表示画像の履歴を記録する。すなわち、表示画像生成部２８が入力情報に応じて数値、文字、又はアイコンなどを生成して画像表示部２９に表示させるが、表示された表示画像の履歴を記録する。人の性質として画像を視認するにつれて注意資源が低下する。これは疲労だけでなく同じ刺激に対する慣れなども影響するためである。表示画像履歴記録部２５は、表示画像の履歴を注意資源の消費量に変換して判断部２６に送出する。詳細は後述する。

判断部２６は、走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴の１つ以上に基づいて、表示態様を変更する必要があるか否かを判断する。すなわち、トータルの注意資源が低下しているか否かの判断を行う（情報の視認に振り分ける注意資源が低下していると見なすこともできる。）。換言すると、より少ない注意資源で視認できる表示態様で表示すべきかどうかを判断する。判断部２６は、判断結果と表示態様をどの位の度合いで変更するかを示す変更量を表示画像生成部２８に送出する。

これにより、表示制御部２０は変更量に応じて表示装置１０に表示する表示画像の表示態様を決定する。すなわち、より少ない注意資源で視認できる表示態様で情報を表示する。図１のように文字のサイズや太さを変更する他、輝度を上げる、補色の関係がある背景色を表示する、彩度を上げる、虚像までの距離を長くする、点滅させる、等の方法がある。

＜表示画像履歴の注意資源の消費量への変換＞
表１を用いて表示画像履歴記録部２５が行う、表示画像履歴から注意資源の消費量への変換について説明する。

表１（ａ）は表示画像履歴記録部２５が記録する表示画像の履歴の一例である。表示画像の履歴では、表示画像ＩＤに対応付けて表示回数が記録されている。表示画像ＩＤは表示画像生成部２８が生成する表示画像を一意に識別又は測定するための識別情報である。表示画像ＩＤにより表示画像履歴記録部２５は例えば車速や追従マークが表示されたことを特定できる。表示回数は各表示画像が表示された回数である。車速のように継続して表示される情報に関しては、一定時間ごとに表示回数をカウントアップする。あるいは表示時間を測定してもよい。なお、表示回数は、走行時間と同様に車両の所有者ごとに走行開始からカウントされる。

表示画像履歴記録部２５は表１（ｂ）に示す、表示画像の履歴を注意資源の消費量へ変換する変換テーブルを保持している。変換テーブルには、表示画像ＩＤに対応付けて表示画像の色、輝度、サイズ、場所、及び、種類の点数が対応付けられている。色、輝度、サイズ、場所、及び、種類は注意資源の消費に影響する表示画像の要素であり、表示画像ごとに予め決まっている。色については赤などの注意喚起性が高い色ほど注意資源の消費量が少なく、輝度に関しては高いほど注意資源の消費量が少なく、サイズに関しては大きいほど注意資源の消費量が少なく、場所に関しては表示画像の中央部又は視線方向に近いほど注意資源の消費量が少なく、種類に関してはアイコンの方が注意資源の消費量が少ない。

表示画像履歴記録部２５は、例えば以下の式で表示画像の履歴を注意資源の消費量へ変換する。
注意資源の消費量＝表示回数×（色＋輝度＋サイズ＋場所＋種類）
こうすることで、表示画像履歴を注意資源の消費量に変換することができる。なお、変換式は一例にすぎない。

＜表示画像の例＞
図８を用いていくつかの表示画像の例を説明する。図８は、表示装置１０が表示する表示画像の一例である。

まず、図８（ａ）はレーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態を示す表示画像の一例として先行車に追従しているマーク３０１を示す。先行車両を指し示すマーク３０１により先行車両に追従する制御中であることが示されている。

図８（ｂ）は走行レーンのアイコン３０２と走行レーンを逸脱するおそれがある旨の文字・アイコンの一例を示す。走行レーンのアイコン３０２に対し、車両のアイコン３０３ａが傾き、「はみ出し注意」というメッセージ３０３ｂが表示されていることから走行レーンを逸脱するおそれがあることが示されている。

図８（ｃ）は物体とのＴＴＣにおいて表示された注意喚起の警告のための文字・アイコンの一例を示す。先行車両のアイコン３０４と「前方注意」というメッセージ３０５により、物体との距離に注意すべきことが示されている。

図８（ｄ）は車両の乗員の好ましい操作の一例であるブレーキペダルの押下を促す文字・アイコンの一例を示す。「ＢＲＥＡＫ」というメッセージ３０６によりブレーキペダルを押下すべきことが示されている。

図８（ｅ）はハンドルを把持することを促す文字・アイコンの一例である。「ハンドルを操作してください」というメッセージ３０７によりハンドルを把持することが示されている。

図８（ｆ）は先行車両の発進を知らせる文字・アイコンの一例である。「先行車の発進を検知しました」というメッセージ３０８により先行者が発進したことが示されている。

表示画像生成部２８はこれらの表示画像の表示態様を判断部２６からの判断結果と変更量に応じて変更する。なお、いずれの表示画像においても、アニメーションのように動きがあったり、点滅したりしてもよい。例えば、アニメーションで動く歩行者や他車両で接近方向を知らせたり、白線を点滅して表示したりする。また、適宜、警告音が出力される場合がある。なお、いずれの表示画像は静止画でも動画でもよい。

＜表示態様の変更例＞
続いて、図９，図１０を用いて少ない注意資源で視認できる表示態様の変更の一例を説明する。図９は文字のサイズや太さ、輝度、又は、補色の関係を利用した表示態様の一例を示す。図９（ａ−１）はサイズと太さに関して変更前の表示画像の表示態様を示し、図９（ａ−２）は変更後の表示画像の表示態様を示す。図９（ａ−２）では文字のサイズが大きくなり、太さが太くなっているため、車両の乗員が少ない注意資源で視認できる。

図９（ｂ−１）は輝度に関して変更前の表示画像の表示態様を示し、図９（ａ−２）は変更後の表示画像の表示態様を示す。図９（ｂ−２）では表示画像の輝度が高くなっているため、車両の乗員が少ない注意資源で視認できる。

図９（ｃ−１）は補色に関して変更前の表示画像の表示態様を示し、図９（ｃ−２）は変更後の表示画像の表示態様を示す。図９（ｃ−２）では表示画像の背景の色が、表示画像のコンテンツ（ここでは車速）の色と補色関係にあるため、車両の乗員が少ない注意資源で視認できる。なお、補色とは色相環で正反対に位置する関係の色の組合せをいい、互いの色を目立たせることができる。例えば、黄色と紫などの関係である。

図１０は彩度、虚像までの距離、又は、点滅を利用した表示態様の変更の一例を示す。図１０（ａ−１）は彩度に関して変更前の表示画像の表示態様を示し、図１０（ａ−２）は変更後の表示画像の表示態様を示す。図１０（ａ−２）では文字の彩度が上がったため、車両の乗員が少ない注意資源で視認できる。

図１０（ｂ−１）は虚像までの距離に関して変更前の表示画像の表示態様を示し、図１０（ｂ−２）は変更後の表示画像の表示態様を示す。図１０（ｂ−２）では虚像までの距離が長くなったため、車両の乗員からは虚像が大きく見え、車両の乗員が少ない注意資源で視認できる。なお、虚像までの距離を長くするためには、凹面ミラー１０５からフロントウィンドウシールド９１までの光路長を長くする方法があり、例えば、複数のミラーで光を折り返す方法などがある。

図１０（ｃ−１）は点滅する前の表示画像の表示態様を示し、図１０（ｃ−２）は点滅後の表示画像の表示態様を示す。図１０（ｃ−２）では表示画像が点滅するため、表示画像が目立ち、車両の乗員が少ない注意資源で視認できる。

なお、これらの表示態様の変更は適宜組み合わせて実行されてよい。また、図９，図１０では表示態様の変更例を示したが、判断結果が出力する表示態様をどの位の度合いで変更するかを示す変更量に応じて、表示態様は変更される。例えば、文字のサイズや太さは、変更量が大きいほど大きく又は太くする。輝度は変更量が大きいほど高くする。補色の関係については背景部分の輝度を変更量が大きいほど高くすることが考えられる。彩度については変更量が大きいほど高くする。虚像までの距離については変更量が大きいほど長くする。点滅については変更量が大きいほど点滅を早くする。

＜処理手順＞
以下では、走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴の１つ以上に基づいて、表示システム１が表示態様を変更する処理について説明する。

（走行時間）
図１１は、表示制御部２０が走行時間に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。なお、図１１の処理は車両の走行中、定期的に実行される。

走行時間測定部２２は、情報入力部３０から取得した車速に基づいて走行時間を累積している（Ｓ１）。

判断部２６は、走行時間に基づいて表示情報の表示態様の変更が必要か判断する（Ｓ２）。例えば、走行時間がＡ[s]以上の場合は変更要、Ｂ[s]未満の場合は変更不要と判断する。なお、判断条件はこれに限らず、走行時間から疲労度を算出して判断してもよい。走行時間が長いほど車両の乗員は疲労すると考えられ、走行時間は疲労と相関するとしてよい。また、閾値ＡとＢは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ３のＹｅｓ）、判断部２６は走行時間とＡとの差異に応じて変更量を算出する（Ｓ４）。例えば、表示態様のサイズを変更する場合は、変更量に応じて表示画像を拡大する拡大率（パラメータ）を決定する。変更量と拡大率は予め対応付けられている。

次に、表示画像生成部２８は表示画像を生成する（Ｓ５）。ステップＳ３で変更不要と判断された場合、拡大率１で表示画像を生成し、ステップＳ３で変更要と判断された場合、ステップＳ４で決定された拡大率で表示画像を生成する。

画像表示部２９は表示画像生成部２８が生成した表示画像を表示装置１０に表示させる（Ｓ６）。

図１１の処理により、走行時間が長くなり車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。

（走行環境情報）
図１２は、表示制御部２０が走行環境情報に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。なお、図１２の説明では主に図１１との差異を説明する。

ステップＳ１１では、走行環境情報取得部２４が走行環境情報を取得する（Ｓ１１）。走行環境情報取得部２４は走行環境情報をグループ１〜３に分類して、グループごとに回数をカウントアップし、グループ１〜３のそれぞれの回数を判断部２６に送出する。

判断部２６は、走行環境情報のグループ１〜３の回数に基づいて、表示情報の表示態様の変更が必要か判断する（Ｓ１２）。例えば、グループ１〜３の回数を重み付けして合計することで数値化し閾値Ｃ以上の場合は変更要、閾値Ｄ未満の場合は変更不要と判断する。なお、数値化された値は疲労度と一致するとは限らないが、これを疲労度と見なしてもよいし、数値化された値に比例する値を疲労度としてもよい。また、閾値ＣとＤは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ１３のＹｅｓ）、判断部２６は数値化された走行環境情報と閾値Ｃの差異に応じて変更量を算出する（Ｓ１４）。以降の処理は図１１と同様でよい。

図１２の処理により、走行環境情報に基づいて車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。

なお、グループ１〜３の回数は増大する一方とするのではなく、減少する機会があるとよい。例えば、グループ２，３の走行環境情報が一定時間、出力されない場合、一定時間ごとに、グループ２，３の走行環境情報が出力された回数をカウントダウンする（グループ１の走行環境情報は常に表示されるためカウントダウンの対象外となる）。これにより、疲労ではなく単なる注意不足で走行環境情報が出力された場合には、回数が減るので表示情報の表示態様が変更されたままとなることを防止できる。一方、疲労の場合は時間と共に蓄積するので、グループ２，３の走行環境情報が出力された回数が増大し、少ない注意資源で視認できる表示画像を表示できる。

図１２の説明では、表示態様を変更するか否かが判断される元となる走行環境情報と、表示される走行環境情報とが同じであった。例えば、自車両が物体と異常接近する恐れがあると判断された場合にブレーキペダルの押下を促す文字・アイコンを表示するが、この文字・アイコンの表示態様が変更された。

しかし、表示装置１０は走行環境情報以外にも、車速、車両情報の１つ以上、又は、乗員状態情報から判断されたメッセージ若しくは乗員状態情報そのものを表示する場合があり、走行環境情報と同時に走行環境情報以外の表示情報を表示する場合がある。

図１３は表示装置１０が走行環境情報と同時に表示する走行環境情報以外の表示情報を示す図の一例である。図１３（ａ）では走行環境情報として、車両の乗員の好ましい操作を示す「ＢＲＥＡＫ」というメッセージ３０６が表示され、走行環境情報以外の表示情報の一例として車速３０９が表示されている。このような場合は、走行環境情報以外の表示情報をより多い注意資源で視認できる表示態様に変更してもよい（刺激性を低下させる）。つまり、図１３（ｂ）に示すように、車速３０９を目立たなくする。例えば、文字のサイズを小さくする、太さを細くする輝度を下げる、補色の関係にない背景色を表示する、彩度を下げる、虚像までの距離を短くする等の方法がある。

こうすることで、相対的にメッセージ３０６の走行環境情報の刺激が高まり、車両の乗員はメッセージ３０６を少ない注意資源で視認できる。

なお、この場合、走行環境情報取得部２４が取得した走行環境情報であるメッセージ３０６については表示態様を変更しなくてもよいし、少ない注意資源で視認できる表示態様に変更してもよい。また、走行環境情報以外の表示情報である車速３０９については消去してもよい。

また、図１３のような制御は、グループ２，３の走行環境情報が出力された回数をカウントしなくても可能である。回数がカウントされない場合、変更量に基づく制御が困難になるが、この場合、走行環境情報以外の表示情報を予め決まった表示態様に変更する。また、走行時間や走行環境情報が取得された回数と異なり、時間的な経過（例えば疲労の蓄積）がなくても表示態様を変更できる。

（乗員状態情報）
図１４は、表示制御部２０が乗員状態情報に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。なお、図１４の説明では主に図１１との差異を説明する。

ステップＳ１１では、乗員状態情報取得部２３が乗員状態情報を取得する（Ｓ２１）。乗員状態情報取得部２３は乗員状態情報を注意資源の減少量に変換して判断部２６に送出する。

判断部２６は、注意資源の減少量に基づいて、表示情報の表示態様の変更が必要か判断する（Ｓ２２）。例えば、注意資源の減少量が閾値Ｅ以上の場合は変更要、閾値Ｆ未満の場合は変更不要と判断する。なお、判断方法はこれに限らず、疲労度を算出して判断してもよい。例えば、注意資源の減少量又はこれに比例する値を疲労度とする。また、閾値ＥとＦは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ２３のＹｅｓ）、判断部２６は注意資源の減少量と閾値Ｅの差異に応じて変更量を算出する（Ｓ２４）。以降の処理は図１１と同様でよい。

図１４の処理により、乗員状態情報に基づいて車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。

図１４の処理では、渋滞や他車両の存在などで一時的に注意資源が消費されても、注意資源を消費する要因が解消されれば注意資源の減少量が減るので、表示態様が変更されたままとなることを防止できる。また、覚醒レベルのように蓄積しやすい要因は疲労と考えられ、この場合は注意資源の減少量が増大傾向になり、表示態様を変更したままとすることもできる。

（表示画像の履歴）
図１５は、表示制御部２０が表示画像の履歴に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。なお、図１５の説明では主に図１１との差異を説明する。

ステップＳ１１では、表示画像履歴記録部２５が表示画像の履歴を記録する（Ｓ３１）。表示画像履歴記録部２５は表示画像の履歴を注意資源の消費量に変換して判断部２６に送出する。

判断部２６は、注意資源の消費量に基づいて、表示情報の表示態様の変更が必要か判断する（Ｓ３２）。例えば、注意資源の消費量が閾値Ｇ以上の場合は変更要、閾値Ｈ未満の場合は変更不要と判断する。なお、判断方法はこれに限らず、疲労度を算出して判断してもよい。例えば、注意資源の消費量又はこれに比例する値を疲労度とする。また、閾値ＧとＨは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ３３のＹｅｓ）、判断部２６は注意資源の消費量と閾値Ｇの差異に応じて変更量を算出する（Ｓ３４）。以降の処理は図１１と同様でよい。

図１５の処理により、表示画像の履歴に基づいて車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。表示画像を視認するほど、車両の乗員は疲労すると考えられ、表示画像の履歴が多くなるほど少ない注意資源で視認できる表示態様に変更できる。

（走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴）
図１６は、表示制御部２０が走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴に基づいて表示情報の表示態様を変更する手順を示すフローチャート図の一例である。なお、図１６の説明では主に図１１との差異を説明する。

ステップＳ４１〜Ｓ４４では、走行時間測定部２２が走行時間を取得し、走行環境情報取得部２４が走行環境情報を取得し、乗員状態情報取得部２３が乗員状態情報を取得し、表示画像履歴記録部２５が表示画像の履歴を記録する（Ｓ４１〜Ｓ４４）。走行時間、走行環境情報に基づくグループ１〜３のそれぞれの回数、乗員状態情報に基づく注意資源の減少量、及び、表示画像履歴に基づく注意資源の消費量が判断部２６に送出される。

判断部２６は、これら全てに基づいて、表示情報の表示態様の変更が必要か判断する（Ｓ４５）。例えば、走行時間、グループ１〜３のそれぞれの回数、乗員状態情報に基づく注意資源の減少量、及び、表示画像履歴に基づく注意資源の消費量をそれぞれ重み付けして数値化し、閾値Ｉ以上の場合は変更要、閾値Ｊ未満の場合は変更不要と判断する。なお、判断方法はこれに限らず、疲労度を算出して判断してもよい。また、閾値ＩとＪは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ４６のＹｅｓ）、判断部２６は数値化された値と閾値Ｉの差異に応じて変更量を算出する（Ｓ４７）。以降の処理は図１１と同様でよい。

図１６の処理により、走行時間、走行環境情報、乗員状態情報、及び、表示画像履歴を総合して、車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。

（遅延時間）
図１７は、表示制御部２０が推奨操作を取得してから推奨操作で指定される操作情報が入力されるまでの遅延時間に基づいて表示情報の表示態様を変更する手順を示す一例のフローチャート図である。なお、図１７の説明では主に図１１との差異を説明する。

ステップＳ１１では、操作フィードバック取得部２７が遅延時間を取得する（Ｓ５１）。操作フィードバック取得部２７は遅延時間を判断部２６に送出する。

判断部２６は、遅延時間に基づいて、表示情報の表示態様の変更が必要か判断する（Ｓ５２）。例えば、遅延時間が閾値Ｋ以上の場合は変更要、閾値Ｌ未満の場合は変更不要と判断する。なお、判断方法はこれに限らず、疲労度を算出して判断してもよい。例えば、遅延時間又はこれに比例する値を疲労度とする。また、閾値ＫとＬは同じ値でも異なる値でもよい。

表示態様の変更が必要な場合（ステップＳ５３のＹｅｓ）、判断部２６は遅延時間と閾値Ｋの差異に応じて変更量を算出する（Ｓ５４）。以降の処理は図１１と同様でよい。

図１７の処理により、遅延時間に基づいて車両の乗員の注意資源が低下していると推定される場合、少ない注意資源で視認できるように表示画像のサイズを大きくするので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。

車両の乗員の運転に集中するなどして遅延時間が短くなれば、表示態様が変更されたままとなることを防止できる。また、疲労などで遅延時間が長くなった場合は注意資源の減少量が増大傾向になり、表示態様を変更したままとすることもできる。

＜まとめ＞
以上説明したように、本実施形態の表示装置１０は、注意資源に影響を与える入力情報に応じて、より少ない注意資源で視認できる情報の表示態様を決定するので、車両の乗員は情報を視認しやすくなり、運転操作に割り振ることができる注意資源を確保しやすくなる。また、少ない注意資源で情報を視認できるので、疲労の蓄積を緩和できる。

＜サーバクライアント型の処理＞
本実施形態の処理は車両の車載システム２により実現されるが、図１８に示すように、サーバクライアント型の情報処理システムにも適用できる。図１８は、車両９とサーバ５０を有する情報処理システム３の概略構成図である。各車両９はプローブカーとして自身の情報入力部３０が入力する一部又は全部の入力情報をサーバ５０に送信する。サーバ５０は走行時間測定部２２，乗員状態情報取得部２３，走行環境情報取得部２４、及び、判断部２６の機能を有し、判断結果と変更量を車両９に送信する。

また、例えば、遠方で渋滞が発生していたり、天候が悪化したりしている場合に、その情報をプローブカーでシェアする。車両の表示制御部２０は目的地までの経路上において、注意資源が消費されやすい状況であると判断する場合は、予め、注意資源を消費しにくい表示態様で表示画像を表示する。すなわち、刺激が少ない表示画像とする。このように、注意資源の消費を予測することで表示態様を変更しておき、注意資源を温存することができる。

＜その他の好適例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、入力情報に基づいて表示装置１０に表示する情報を決定してもよい。例えば、走行時間そのもの、乗員状態、表示画像履歴を表示する。

また、虚像Ｉをぶれ補正して表示してもよいし、虚像Ｉを車線に沿って表示するなどＡＲ的に表示してもよい。

また、表示装置１０は液晶ディスプレイなどでもよい。また、表示制御部２０と表示装置１０は別々に流通するなど、筐体が分かれていてもよい。例えば、スマートフォンを表示制御部２０としてスマートフォンが内蔵するディスプレイに情報を表示してもよいし、虚像をコンバイナに表示してもよい。

なお、走行時間測定部２２、乗員状態情報取得部２３、走行環境情報取得部２４、表示画像履歴記録部２５は情報取得手段の一例であり、表示画像生成部２８は表示画像生成手段の一例であり、表示制御部２０は表示制御装置の一例である。

１ 表示システム
２ 車載システム
９ 車両
１０ 表示装置
１１ カーナビゲーションシステム
２０ 表示制御部
３０ 情報入力部

特開２０１７‐６８７６１号公報

Claims (18)

1. 移動体に搭載された表示装置に情報を表示する表示制御装置であって、
   乗員の注意資源に関わる入力情報を取得する情報取得手段と、
   前記入力情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成する表示画像生成手段と、
   を有することを特徴とする表示制御装置。
2. 前記情報取得手段は前記入力情報として前記移動体の走行時間を取得し、
   前記表示画像生成手段は、前記走行時間に基づいて決定された態様で、前記表示装置に表示される表示画像を生成することを特徴とする請求項１に記載の表示制御装置。
3. 前記情報取得手段は前記入力情報として前記移動体の乗員の状態に関する乗員状態情報を取得し、
   前記表示画像生成手段は、前記乗員状態情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記情報取得手段は前記入力情報として前記移動体の走行環境に関する走行環境情報を取得し、
   前記表示画像生成手段は、前記走行環境情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の表示制御装置。
5. 前記情報取得手段は前記入力情報として前記表示装置において前記表示画像が表示された表示画像履歴を記録し、
   前記表示画像生成手段は、前記表示画像が表示された表示画像履歴に基づいて決定された態様で、前記表示装置に表示される前記表示画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記表示画像生成手段は、前記移動体の走行時間、前記移動体の乗員の状態に関する乗員状態情報、前記移動体の走行環境に関する走行環境情報、及び、前記表示画像が表示された表示画像履歴の少なくとも１つ以上から変換された前記乗員の疲労度に基づいて、前記表示装置に表示される表示画像の態様を決定することを特徴とする請求項５に記載の表示制御装置。
7. 前記情報取得手段は前記入力情報として前記移動体の走行環境に関する走行環境情報を取得し、
   前記表示画像生成手段は、前記情報取得手段が取得した前記走行環境情報に基づいて決定された態様で、前記情報取得手段が取得した前記走行環境情報の表示画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の表示制御装置。
8. 前記表示画像生成手段は、前記情報取得手段が取得した前記走行環境情報に基づいて決定された態様で、前記情報取得手段が取得した前記走行環境情報以外に該走行環境情報と共に前記表示装置に表示される前記表示画像を生成することを特徴とする請求項７に記載の表示制御装置。
9. 前記表示画像生成手段は、前記移動体の乗員が操作すべき推奨操作が前記表示装置に表示されてから、前記移動体の乗員の操作が検出されるまでの遅延時間に基づいて決定された態様で、前記表示装置に表示される表示画像を生成することを特徴とする請求項７又は８に記載の表示制御装置。
10. 前記移動体の乗員の状態に関する乗員状態情報は、心電情報、心拍数、血圧、体温、脈拍、呼吸数、発汗量、覚醒レベル、脳波、又は、筋電位の少なくとも1つであることを特徴とする請求項３に記載の表示制御装置。
11. 前記移動体の走行環境に関する走行環境情報は、レーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態、車両の乗員の好ましい操作、ＶＩＣＳ受信装置が受信した渋滞情報、事故情報、又は、天候情報の少なくとも1つであることを特徴とする請求項４に記載の表示制御装置。
12. 前記表示装置に表示される情報は、車速、残燃料、シフトレバー位置、総走行距離、区間走行距離、方向指示表示灯状態、又は、水温の、車両から取得できる車両情報、
    レーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態、車両の乗員の好ましい操作、ＶＩＣＳ受信装置が受信した渋滞情報、事故情報、又は、天候情報の走行環境情報、
    車両の乗員の心電情報、心拍数、血圧、体温、脈拍、呼吸数、発汗量、覚醒レベル、脳波、筋電位、又は、これらから判断された心身の状態に関する情報であることを特徴とする請求項１〜１１のいずれか１項に記載の表示制御装置。
13. 請求項１〜１２のいずれか１項に記載の表示制御装置から前記表示画像を取得して、
    前記表示画像をフロントウィンドウシールドに投影することで、前記フロントウィンドウシールドの前方に前記表示画像の虚像を乗員に対し視認させることを特徴とする表示装置。
14. レーザ光で形成された前記表示画像をフロントウィンドウシールドに投影することを特徴とする請求項１３に記載の表示装置。
15. 請求項１〜１２のいずれか１項に記載の表示制御装置と、
    前記表示制御装置から前記表示画像を取得して、前記表示画像をフロントウィンドウシールドに投影することで、前記フロントウィンドウシールドの前方に前記表示画像の虚像を視認させる表示装置と、
    を有することを特徴とする表示システム。
16. 請求項１５に記載の表示システムが搭載された移動体。
17. 移動体に搭載された表示装置に情報を表示する表示制御装置を、
    乗員の注意資源に影響を与える入力情報を取得する情報取得手段と、
    前記入力情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成する表示画像生成手段、
    として機能させるためのプログラム。
18. 移動体に搭載された表示装置に情報を表示する表示制御装置が行う画像生成方法であって、
    情報取得手段が、乗員の注意資源に影響を与える入力情報を取得するステップと、
    表示画像生成手段が、前記入力情報に基づいて決定された態様で、前記表示装置に表示される表示画像を生成するステップと、
    を有することを特徴とする画像生成方法。

Images