JP2020160094A - 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム - Google Patents

Abstract

【課題】乗り物の安全な運転を支援することのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供する。【解決手段】ＨＵＤ１は、光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を投写面５Ａ，６Ａ，７Ａに投写する投写表示部２０Ｕ，３０Ｕ，４０Ｕと、運転者の視線に基づいて投写表示部２０Ｕ，３０Ｕ，４０Ｕを制御する制御部６０と、を備える。制御部６０は、運転者の視線と交わる投写面を画像光の投写対象とする投写表示部から画像光を投写させる視線追従制御を行い、更に、運転者の視線が投写面の１つである第一投写面と交わる状態から投写面の１つである第二投写面と交わる状態に変化した場合においては、視線追従制御と、第一投写面を画像光の投写対象とする投写表示部による画像光の投写を継続させる投写継続制御とを行う。【選択図】図１０

Description

本発明は、投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラムに関する。

自動車、電車、船舶、建設機械、航空機、又は農作用機械等の乗り物のウインドシールド、或いはウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させるＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている（特許文献１−３参照）。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又はスクリーン前方において虚像として、運転者に視認させることができる。

特許文献１には、自動車の死角となる領域の撮像画像を、自動車のフロントウインドシールドの左右の位置に投写するＨＵＤが記載されている。このＨＵＤは、運転者の視線が右を向いているときには、フロントウインドシールドの右の位置に、車体右側の死角の撮像画像を投写し、運転者の視線が左を向いているときには、フロントウインドシールドの左の位置に、車体左側の死角の撮像画像を投写することで、運転支援を行っている。

特許文献２には、運転者の視線の向きが、運転者の正面方向に対して所定角度未満の範囲にある状態では、画像を運転者の正面に表示させ、運転者の視線の向きが、この正面方向に対して所定角度以上となる状態では、画像の表示位置を視線の向いている側に移動させる自動車用のＨＵＤが記載されている。

特許文献３には、運転者の視線が表示可能領域外と交わる状態では、表示可能領域において画像の表示を維持する自動車用のＨＵＤが記載されている。

特開２００６−２７３００２号公報 特開２００９−２４８８１２号公報 特開２０１７−９５２３６４号公報

特許文献１に記載されたＨＵＤのように、運転者の視線に合わせて虚像の表示位置を変更する技術は、視線の移動が広範囲にわたる乗り物（例えば重機、建設機械、船舶、航空機、又は農作用機械等）において特に有効となる。

しかし、視線の移動が頻繁に行われる乗り物において、視線が移動するたびに画像の表示位置が変更される場合には、画像の表示のオンオフが頻繁に繰り返されることになる。このような表示のオンオフはちらつきとして運転者に認識される。このようなちらつきがあると、乗り物の運転の妨げとなる可能性がある。

特許文献２に記載されたＨＵＤは、運転者の視線の移動が大きい場合にのみ画像の表示位置を変更するものである。しかし、画像の表示位置が変更された状態で視線が正面に戻った際には、もともと表示されていた画像が非表示となり、その後、正面に画像が再表示されることになる。このため、表示のオンオフがなされることにかわりはなく、上述したちらつきを防ぐことができない。

特許文献３に記載されたＨＵＤは、運転者の視線に合わせて画像の表示位置を変更するものではなく、上述したちらつきを防ぐことについては考慮していない。

本発明は、上記事情に鑑みてなされたものであり、乗り物の安全な運転を支援することのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供することを目的とする。

本発明の投写型表示装置は、乗り物に搭載される投写型表示装置であって、光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を上記乗り物における異なる投写面に投写する複数の投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、上記視線に基づいて上記複数の投写表示部を制御する制御部と、を備え、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御部は、上記視線検出部により検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記制御部は、上記視線検出部により検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行うものである。

本発明の投写型表示装置の制御方法は、光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記視線に基づいて上記複数の投写表示部を制御する制御ステップと、を備え、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御ステップでは、上記視線検出ステップにより検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記視線検出ステップにより検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行うものである。

本発明の投写型表示装置の制御プログラムは、光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記視線に基づいて上記複数の投写表示部を制御する制御ステップと、をコンピュータに実行させるためのプログラムであり、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御ステップでは、上記視線検出ステップにより検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記視線検出ステップにより検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行うものである。

本発明によれば、乗り物の安全な運転を支援することのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤを搭載する建設機械１００の外観構成を示す模式図である。 図１に示す建設機械１００における運転室１０Ａの内部構成例を示す模式図である。 図２に示す運転室１０Ａを運転席ＳＴの上方に設定されるアイボックスから見た状態を示す模式図である。 図２に示すＨＵＤ１におけるユニット２の内部構成を示す模式図である。 図２に示すＨＵＤ１におけるユニット３の内部構成を示す模式図である。 図２に示すＨＵＤ１におけるユニット４の内部構成を示す模式図である。 運転者の視線が投写面５Ａと交わっている状態におけるＨＵＤ１による画像の表示例を示す図である。 図７に示す状態から運転者の視線が投写面６Ａと交わる状態に変化したときのＨＵＤ１による画像の表示例を示す図である。 図８に示す状態から運転者の視線が投写面５Ａ、投写面７Ａの順に交わる状態に変化したときのＨＵＤ１による画像の表示例を示す図である。 図４に示す制御部６０の動作を説明するためのフローチャートである。 図４に示す制御部６０の動作の変形例を説明するためのフローチャートである。 図９に示す状態において、運転者の視線が投写面７Ａと交わる状態が時間Ｔ１継続した場合のＨＵＤ１による画像の表示例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤを搭載する建設機械１００の外観構成を示す模式図である。

建設機械１００は、油圧ショベルであり、本体部１０と、走行体２０と、作業機３０と、を備える。建設機械１００は作業用機械の１つである。

走行体２０は、金属製又はゴム製のクローラ、或いは複数の車輪等の走行機構と、この走行機構を駆動する駆動部と、を有する。この走行機構が動作することで、建設機械１００は前進又は後進等の走行を行うことができる。

本体部１０は、走行体２０に支持されており、走行体２０に対し回動自在に構成されている。本体部１０は、走行体２０の走行方向に対し垂直な方向（図１における上下方向）に延びる軸の周りに回動可能となっている。

本体部１０は、建設機械１００の運転を行う運転者が着座するための運転席ＳＴを含む運転室１０Ａを有する。

作業機３０は、本体部１０に対して移動自在に構成されており、本体部１０に回動自在に支持されたアーム３０Ｃと、アーム３０Ｃに回動自在に支持されたブーム３０Ｂと、ブーム３０Ｂに回動自在に支持されたバケット３０Ａと、を備える。

バケット３０Ａは、地面又は搬出物等の作業対象物に対して直接接触可能な部分である。バケット３０Ａに代えて、鉄骨切断機、コンクリート圧砕機、つかみ機、又は打撃式破砕具等の他のアクセサリがブーム３０Ｂに装着された構成であってもよい。

図２は、図１に示す建設機械１００における運転室１０Ａの内部構成例を示す模式図である。図３は、図２に示す運転室１０Ａを運転席ＳＴの上方に設定されるアイボックスから見た状態を示す模式図である。

運転室１０Ａは、作業機３０のアーム３０Ｃ、ブーム３０Ｂ、及びバケット３０Ａの回動操作、及び本体部１０の走行体２０に対する回動操作等を行うための操作部９Ｌ，９Ｒを運転席ＳＴの周りに備える。建設機械１００を統括制御する図示省略の運転制御部は、操作部９Ｌ，９Ｒから入力される操作信号を受けて、作業機３０の姿勢を制御したり、本体部１０を回動させたりする。

運転室１０Ａは、運転席ＳＴに対面するフロントウインドシールド５と、運転席ＳＴの左側方に位置する左サイドウインドシールド６と、運転席ＳＴの右側方に位置する右サイドウインドシールド７と、を備える。

フロントウインドシールド５には、後述するＨＵＤ１のユニット２から投写される画像光を反射する加工が施された投写面５Ａが形成されている。

左サイドウインドシールド６には、後述するＨＵＤ１のユニット３から投写される画像光を反射する加工が施された投写面６Ａが形成されている。

右サイドウインドシールド７には、後述するＨＵＤ１のユニット４から投写される画像光を反射する加工が施された投写面７Ａが形成されている。

フロントウインドシールド５、左サイドウインドシールド６、及び右サイドウインドシールド７は、それぞれ、運転室１０Ａの窓を構成している。フロントウインドシールド５、左サイドウインドシールド６、及び右サイドウインドシールド７は、ピラーによって分離されている。したがって、投写面５Ａ、投写面６Ａ、及び投写面７Ａは、互いに重複しない構成となっている。

投写面５Ａ、投写面６Ａ、及び投写面７Ａは、それぞれ平面である。そして、投写面５Ａ、投写面６Ａ、及び投写面７Ａのうちの隣接する２つの投写面（投写面５Ａ及び投写面６Ａの２つ、或いは、投写面５Ａ及び投写面７Ａの２つ）は、互いに交差している。２つの投写面が交差するとは、この２つの投写面の各々に平行な２方向のなす角度が０°より大きく１８０°より小さい状態を言う。

建設機械１００においては、投写面５Ａに平行な方向と、投写面６Ａに平行な方向とのなす角度が９０°程度となっている。また、投写面５Ａに平行な方向と、投写面７Ａに平行な方向とのなす角度が９０°程度となっている。

図２に示すように、運転室１０Ａには、本発明の投写型表示装置の一実施形態であるＨＵＤ１が設けられている。

ＨＵＤ１は、運転室１０Ａ内の異なる位置に設置されたユニット２、ユニット３、及びユニット４を備える。

ユニット２は、運転者が運転席ＳＴに着座した状態で、運転者の後方に設けられている。ユニット２は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光をフロントウインドシールド５の投写面５Ａに投写する。

建設機械１００の運転者は、ユニット２から投写され投写面５Ａで反射された画像光を見ることで、建設機械１００による作業を支援するためのアイコン又は文字等の情報を、虚像又は実像として視認することができる。

ユニット３とユニット４は、それぞれ、運転席ＳＴの前方かつ下方に設けられている。

ユニット３は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光を左サイドウインドシールド６の投写面６Ａに投写する。

建設機械１００の運転者は、ユニット３から投写され投写面６Ａで反射された画像光を見ることで、建設機械１００による作業を支援するためのアイコン又は文字等の情報を、虚像又は実像として視認することができる。

ユニット４は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光を右サイドウインドシールド７の投写面７Ａに投写する。

建設機械１００の運転者は、ユニット４から投写され投写面７Ａで反射された画像光を見ることで、建設機械１００による作業を支援するためのアイコン又は文字等の情報を、虚像又は実像として視認することができる。

運転室１０Ａのフロントウインドシールド５と右サイドウインドシールド７との間に設けられたピラーには、撮像装置８が固定されている。

撮像装置８は、運転席ＳＴの上方に設定されるアイボックス（運転者の眼が入ると想定されるエリア）を含む範囲を撮像範囲として被写体を撮像する撮像素子と、この撮像素子から出力される撮像画像信号を処理して撮像画像データを生成する画像処理部と、を含む。画像処理部で生成された撮像画像データは、ユニット２の後述する制御部６０に転送される。

図４は、図２に示すＨＵＤ１におけるユニット２の内部構成を示す模式図である。

ユニット２は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光をフロントウインドシールド５の投写面５Ａに投写する投写表示部２０Ｕと、ＨＵＤ１を統括制御する制御部６０と、を備える。

投写表示部２０Ｕは、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、拡散板４７と、反射ミラー４８と、拡大鏡４９と、を備える。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、光源を構成する。本実施形態では、投写表示部２０Ｕの光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は４つ以上であってもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像情報に基づいて空間変調し、空間変調した画像光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることができる。

駆動部４５は、制御部６０から入力される画像情報に基づいて光変調素子４４を駆動し、画像情報に応じた画像光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。

画像情報には、例えば作業支援情報と関連情報が含まれる。作業支援情報は、例えば、バケット３０Ａによる掘削方向を示す情報、掘削量（○○ｍ）を示す情報、又は人物等の障害物に注意が必要なことを通知するための警告情報、施工計画の情報等である。関連情報は、例えば、現在の日付を示す情報、現在時刻を示す情報、天気予報の情報、又は建設機械１００の燃料の量を示す情報等である。

投写光学系４６は、光源ユニット４０の光変調素子４４から出射された光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７で拡散させて面光源化してもよい。

反射ミラー４８は、拡散板４７で拡散された光を拡大鏡４９側に反射させる。

拡大鏡４９は、反射ミラー４８で反射されてきた光に基づく像を拡大させて投写面５Ａに投写する。

投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９は、投写面５Ａに投写された画像光に基づく画像が、投写面５Ａの前方の位置において虚像として視認可能となるように光学設計がなされている。投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９は、投写面５Ａに投写された画像光に基づく画像が、投写面５Ａにおいて実像として視認可能となるように光学設計がなされていてもよい。

制御部６０は、ハードウェア的な構造は、投写型表示装置の制御プログラムを含むプログラムを実行して後述する処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

制御部６０は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

制御部６０は、撮像装置８と接続されており、撮像装置８から転送されてくる撮像画像データを受信する。

制御部６０は、撮像装置８から受信した撮像画像データを解析し、運転席ＳＴに着座する運転者の視線を検出する。制御部６０は、視線検出部として機能する。

制御部６０は、上述の解析処理で検出した運転者の視線に基づいて、投写表示部２０Ｕ、後述する投写表示部３０Ｕ、及び後述する投写表示部４０Ｕを制御する。制御部６０による制御の内容の詳細については後述する。

図５は、図２に示すＨＵＤ１におけるユニット３の内部構成を示す模式図である。

ユニット３は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光を左サイドウインドシールド６の投写面６Ａに投写する投写表示部３０Ｕと、全体を統括制御するシステム制御部６１と、を備える。

投写表示部３０Ｕの内部構成は、図３に示す投写表示部２０Ｕと同じである。ただし、投写表示部３０Ｕの拡大鏡４９は、光変調素子４４で空間変調して得られた画像光を投写面６Ａに投写する点が、投写表示部２０Ｕとは異なる。

システム制御部６１は、各種のプロセッサにより構成されており、ユニット２の制御部６０からの指令に基づいて、投写表示部３０Ｕの駆動部４５及び光源制御部４０Ａを制御する。

システム制御部６１は、制御部６０から画像光の投写を行う指令を受けると、駆動部４５及び光源制御部４０Ａを制御して、投写表示部３０Ｕから画像光を投写面６Ａに投写させる。また、システム制御部６１は、制御部６０から画像光の投写を停止する指令を受けると、駆動部４５及び光源制御部４０Ａを制御して、投写表示部３０Ｕによる画像光の投写を停止させる。

図６は、図２に示すＨＵＤ１におけるユニット４の内部構成を示す模式図である。

ユニット４は、光源から出射される光を画像情報に基づいて空間変調し、この空間変調された画像光を右サイドウインドシールド７の投写面７Ａに投写する投写表示部４０Ｕと、全体を統括制御するシステム制御部６２と、を備える。

投写表示部４０Ｕの内部構成は、図３に示す投写表示部２０Ｕと同じである。ただし、投写表示部４０Ｕの拡大鏡４９は、光変調素子４４で空間変調して得られた画像光を投写面７Ａに投写する点が、投写表示部２０Ｕとは異なる。

システム制御部６２は、各種のプロセッサにより構成されており、ユニット２の制御部６０からの指令に基づいて、投写表示部４０Ｕの駆動部４５及び光源制御部４０Ａを制御する。

システム制御部６２は、制御部６０から画像光の投写を行う指令を受けると、駆動部４５及び光源制御部４０Ａを制御して、投写表示部４０Ｕから画像光を投写面７Ａに投写させる。また、システム制御部６２は、制御部６０から画像光の投写を停止する指令を受けると、駆動部４５及び光源制御部４０Ａを制御して、投写表示部４０Ｕによる画像光の投写を停止させる。

以下では、投写面５Ａ、投写面６Ａ、及び投写面７Ａを総称して投写面とも言う。また、投写表示部２０Ｕ、投写表示部３０Ｕ、及び投写表示部４０Ｕを総称して投写表示部ともいう。

ユニット２の制御部６０は、投写面５Ａ、投写面６Ａ、及び投写面７Ａのうちのいずれかに運転者の視線が交わっている状態では、その視線が交わる投写面を画像光の投写対象とする投写表示部から画像光を投写させる視線追従制御を行う。

例えば、運転者の視線が投写面５Ａと交わっている状態であれば、制御部６０は、投写表示部２０Ｕから投写面５Ａに画像光を投写させる。

または、運転者の視線が投写面６Ａと交わっている状態であれば、制御部６０は、投写表示部３０Ｕから投写面６Ａに画像光を投写させる。

或いは、運転者の視線が投写面７Ａと交わっている状態であれば、制御部６０は、投写表示部４０Ｕから投写面７Ａに画像光を投写させる。

更に、制御部６０は、運転者の視線が投写面５Ａ、投写面６Ａ、及び投写面７Ａのいずれかの投写面である第一投写面と交わる状態から、投写面５Ａ、投写面６Ａ、及び投写面７Ａのうちの第一投写面以外の投写面である第二投写面と交わる状態に変化した場合においては、上記の視線追従制御（第二投写面を画像光の投写対象とする投写表示部に画像光を投写させる制御）に加えて、第一投写面を画像光の投写対象とする投写表示部による画像光の投写を継続させる投写継続制御を行う。

図７は、運転者の視線が投写面５Ａと交わっている状態におけるＨＵＤ１による画像の表示例を示す図である。図８は、図７に示す状態から運転者の視線が投写面６Ａと交わる状態に変化したときのＨＵＤ１による画像の表示例を示す図である。

図７に示すように、ＨＵＤ１が起動した直後、運転者の視線が投写面５Ａと交わっている状態では、制御部６０によって視線追従制御が行われる。そして、ユニット２の投写表示部２０Ｕから投写面５Ａに画像光が投写され、この画像光に基づく星形の画像Ｖ１及び菱形の画像Ｖ２が、投写面５Ａの前方に表示される。

図７に示す状態から、運転者が投写面６Ａに視線を移すと、制御部６０によって視線追従制御が行われる。そして、ユニット３の投写表示部３０Ｕから投写面６Ａに画像光が投写され、この画像光に基づく画像Ｖ１，Ｖ２が、投写面６Ａの前方に表示される（図８）。

また、制御部６０によって投写継続制御が行われ、ユニット２の投写表示部２０Ｕから投写面５Ａへの画像光の投写は継続される。したがって、投写面５Ａの前方における画像Ｖ１，Ｖ２の表示は継続される（図８）。

制御部６０は、視線追従制御と投写継続制御の両方を行う場合には、図８に示すように、視線追従制御によって表示させる画像Ｖ１，Ｖ２と、投写継続制御によって表示させる画像Ｖ１，Ｖ２とを一致させる。

なお、制御部６０は、投写表示部２０Ｕ、投写表示部３０Ｕ、及び投写表示部４０Ｕのうち、同時に画像光を投写させる投写表示部の数を最大で２つに制限する。

したがって、図８に示す状態から、運転者の視線が投写面５Ａと交わる状態に変化し、その後、運転者の視線が投写面７Ａと交わる状態に変化した場合には、図９に示すように、投写面５Ａの前方と、投写面７Ａの前方とに、画像Ｖ１，Ｖ２が表示され、投写面６Ａの前方の画像は非表示となる。

図１０は、図４に示す制御部６０の動作を説明するためのフローチャートである。

ＨＵＤ１の電源がオンされると、制御部６０が撮像装置８から撮像画像データの受信を開始し、受信した撮像画像データを解析して建設機械１００の運転者の視線を検出する。そして、制御部６０は、検出した視線と交わる投写面を判定する（ステップＳ１）。

ユニット２に内蔵されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）には、運転席ＳＴに着座する運転者の視線の向きと、投写面５Ａ、投写面６Ａ、及び投写面７Ａのいずれかと、を対応付けたデータが予め記憶されている。制御部６０は、このデータと、検出した運転者の視線とに基づいて、検出した視線が交わる投写面を判定する。

なお、運転者の視線を検出する方法は、撮像画像データを解析する方法に限らない。例えば、運転者が装着するヘルメットに加速度センサを固定しておき、この加速度センサによって検出される運転者の頭部の動きに基づいて、運転者の視線を検出してもよい。

制御部６０は、ステップＳ１にて投写面を判定すると、この投写面を画像光の投写対象とする投写表示部によって画像光を投写させる視線追従制御を行い、この投写面の前方に画像を表示させる（ステップＳ２）。

次に、制御部６０は、運転者の視線を再度検出し、検出した運転者の視線と上記のデータとに基づいて、検出した視線が交わる投写面を判定する。そして、制御部６０は、判定した投写面が、ステップＳ１で判定した投写面とは別の投写面に変更されたか否かを判定する（ステップＳ３）。

運転者の視線と交わる投写面が別の投写面に変更されていない場合（ステップＳ３：ＮＯ）には、ステップＳ３の処理が繰り返し行われる。

一方、運転者の視線と交わる投写面が別の投写面に変更された場合（ステップＳ３：ＹＥＳ）には、制御部６０は、変更直前の投写面を画像光の投写対象とする投写表示部によって画像光の投写を継続させる投写継続制御を行い、この投写面の前方における画像の表示を維持する（ステップＳ４）。

更に、制御部６０は、変更後の投写面を画像光の投写対象とする投写表示部によって画像光を投写させる視線追従制御を行い、この投写面の前方に画像を表示させる（ステップＳ５）。

次に、制御部６０は、運転者の視線を再度検出し、検出した運転者の視線と上記のデータとに基づいて、検出した視線が交わる投写面を判定する。そして、制御部６０は、判定した投写面が、ステップＳ５で画像光を投写させている投写面とは別の投写面に変更されたか否かを判定する（ステップＳ６）。

ステップＳ６の判定がＮＯの場合には、ステップＳ６の処理が繰り返し行われる。一方、ステップＳ６の判定がＹＥＳの場合には、ステップＳ４に処理が戻る。ステップＳ４〜ステップＳ６の処理は、ＨＵＤ１の電源がオフにされるまで繰り返し行われる。

ＨＵＤ１の起動後、最初にステップＳ６の処理が行われて以降は、ステップＳ４とステップＳ５の処理で画像を表示する投写表示部以外の投写表示部については、制御部６０の指令によって画像光の投写が停止される。画像光の投写の停止は、駆動部４５への画像情報の入力を停止したり、投写表示部の光源を停止させたりすることで行われる。

以上のように、ＨＵＤ１によれば、運転者が例えば投写面５Ａに視線を向けている状態から投写面６Ａ（又は投写面７Ａ）に視線を移動させた場合には、投写面５Ａの前方と投写面６Ａ（又は投写面７Ａ）の前方とに画像が表示される。

このため、運転者は、視線を大きく移動させた場合でも、投写面６Ａ（又は投写面７Ａ）の前方の画像によって作業支援を受けることができる。また、投写面５Ａの前方には画像が継続して表示される。このため、運転者の視線が投写面５Ａに戻された場合でも、投写面５Ａの前方の画像が非表示から表示に切り替わることはなく、画像のちらつきを防ぐことができ、作業効率の低下を防ぐことができる。

また、ＨＵＤ１では、図７及び図８に示すように、制御部６０が、視線追従制御において投写表示部から投写させる画像光に基づく画像と、投写継続制御において投写表示部から投写させる画像光に基づく画像とを一致させている。

このため、運転者が、例えば投写面５Ａに視線を向けている状態から投写面６Ａに視線を移動させ、その後すぐに、投写面５Ａに視線を戻した場合でも、同一の画像を運転者に視認させることができる。したがって、運転者は、視線の移動によらずに同一の画像によって作業支援を受けることができ、作業効率を向上させることができる。

また、ＨＵＤ１によれば、画像の表示を行う投写表示部の数が最大で２つに制限されている。このため、３つの投写表示部が同時に画像を表示することはなく、消費電力を低減することができる。

なお、ＨＵＤ１の制御部６０は、図１０に示したステップＳ４にて行う投写継続制御によって投写表示部に投写させる画像光の輝度を、図１０に示したステップＳ２及びステップＳ５にて行う視線追従制御によって投写表示部に投写させる画像光の輝度よりも低くすることが好ましい。

投写継続制御によって投写表示部に投写させる画像光の輝度の最小値は、上述したちらつきを抑制する効果が得られる程度としておく必要があり、０よりは大きい値とされる。

制御部６０は、投写表示部の駆動部４５に入力する画像情報の輝度を制御したり、投写表示部の光源の発光強度を制御したりすることで、この投写表示部から投写させる画像光の輝度を制御する。

視線追従制御によって表示される画像は運転者の視線の先にあり、投写継続制御によって表示される画像は運転者の視線の先にはない。このため、投写継続制御によって表示される画像の輝度が相対的に低くなっていても、作業支援には影響がない。

また、投写継続制御によって表示される画像が運転者の視界に入ってしまう場合でも、この画像の輝度が低下していることで、視線を向けている先の周辺の状況を運転者が把握しやすくなり、作業の安全性を向上させることができる。

制御部６０は、投写継続制御において投写表示部から投写させる画像光の輝度を、視線追従制御において投写表示部から投写させる画像光の輝度よりも低くする方法として、投写継続制御において投写表示部から投写させる画像光の輝度を時間と共に漸減させる方法を採用してもよい。

例えば、投写継続制御を開始してからの経過時間に１つ以上の閾値を設定しておく。そして、制御部６０は、投写継続制御において投写表示部から投写させる画像光の輝度を、この経過時間が、最小の閾値未満の状態では、視線追従制御において投写表示部から投写させる画像光の輝度よりも僅かに小さいな値とし、その後、経過時間が閾値に達するたびに、この輝度を所定量低下させる。

このような構成によれば、投写継続制御によって表示される画像が運転者の視界に入ってしまう場合でも、この画像の視認性がゆっくりと低下されていくため、運転者に違和感を与えにくくなるという効果を奏する。

以上の説明では、視線追従制御と投写継続制御の両方が行われる場合に、視線追従制御によって表示される画像と、投写継続制御によって表示される画像とが一致しているが、これら２つの画像は異なっていてもよい。つまり、制御部６０は、視線追従制御と投写継続制御の両方を行う場合には、視線追従制御によって表示させる画像と、投写継続制御によって表示させる画像とを異ならせてもよい。

例えば、図８又は図９に示す状態であれば、投写面５Ａの前方には、バケット３０Ａの操作を支援するための画像（掘削量と掘削方向を指示するための画像等）を表示させ、投写面６Ａ（又は投写面７Ａ）の前方には、施工図面の画像を表示させる。

運転者が投写面６Ａ又は投写面７Ａに視線を向ける状況は、本体部１０を左又は右に回動させる状況であると想定される。このような状況では、本体部１０の回動後に行う作業内容を示す施工図面の画像を、その回動方向側の投写面の前方に事前に表示することで、作業効率を向上させることができる。

なお、この施工図面の画像の代わりに、例えば運転席ＳＴから死角となる範囲の撮像画像を表示させてもよい。

本体部１０を左又は右に回動させる状況では、運転室１０Ａの右斜め後方又は左斜め後方が運転者から死角となる。このため、この死角の部分を撮像する撮像装置を建設機械１００に搭載しておき、この撮像装置によって撮像された死角の撮像画像を表示させることで、本体部１０を回動させる場合の安全性を向上させることができる。

図１１は、図４に示す制御部６０の動作の変形例を説明するためのフローチャートである。図１１において図１０と同じ処理には同一符号を付して説明を省略する。図１１に示すフローチャートは、図１０に示すフローチャートにおけるステップＳ６の後に、ステップＳ７〜ステップＳ１１が追加されたものである。

ステップＳ６の判定がＮＯの場合に、制御部６０は、ステップＳ３の判定がＹＥＳとなってから予め決められた時間Ｔ１が経過したか否かを判定する（ステップＳ７）。

時間Ｔ１が経過していない場合（ステップＳ７：ＮＯ）には、ステップＳ６に処理が戻る。時間Ｔ１が経過した場合（ステップＳ７：ＹＥＳ）には、制御部６０は、現在実行中の投写継続制御を終了する（ステップＳ８）。これにより、運転者の視線と交わっている投写面の前方にのみ画像が表示された状態となる。

その後、制御部６０は、運転者の視線を再度検出し、検出した視線と上記のデータとに基づいて、検出した視線が交わる投写面を判定する。そして、制御部６０は、判定した投写面が、現在実行中の視線追従制御によって画像光を投写させている投写面とは別の投写面に変更されたか否かを判定する（ステップＳ９）。

ステップＳ９の判定がＮＯの場合には、ステップＳ９の処理が再び行われる。一方、ステップＳ９の判定がＹＥＳの場合には、制御部６０は、変更直前の投写面を画像光の投写対象とする投写表示部によって画像光の投写を継続させる投写継続制御を行い、この投写面の前方における画像の表示を維持する（ステップＳ１０）。

更に、制御部６０は、変更後の投写面を画像光の投写対象とする投写表示部によって画像光を投写させる視線追従制御を行い、この投写面の前方に画像を表示させる（ステップＳ１１）。

制御部６０は、このステップＳ１１における視線追従制御によって表示させる画像の表示位置を、ステップＳ８で終了した投写継続制御によって表示させていた画像の表示位置と同じに制御する。

ステップＳ１１の後は、ステップＳ６に処理が戻る。

以上の動作を、図９及び図１２を参照して補足説明する。

図９に示す状態において、運転者の視線が投写面７Ａと交わる状態が時間Ｔ１継続した場合を例にする。この場合には、図１１のステップＳ８の処理によって投写面５Ａに対する画像光の投写が停止されて、図１２に示す状態となる。

そして、図１２に示す状態から、運転者の視線が投写面５Ａに移動すると、図１１のステップＳ１０の処理によって投写面７Ａの前方に画像Ｖ１，Ｖ２の表示された状態が維持され、且つ図１１のステップＳ１１の処理によって投写面５Ａの前方に画像Ｖ１，Ｖ２が表示された状態へと変化する。

また、このとき、投写面５Ａの前方に表示される画像Ｖ１，Ｖ２の表示位置は、図９の状態にて投写面５Ａの前方に表示されていた画像Ｖ１，Ｖ２の表示位置と同じになる。

このように、図１１に示す変形例の動作によれば、運転者の視線が長い間にわたって同じ方向を向いている場合には、その視線と交わる投写面の前方にのみ画像が表示されるようになる。このため、運転室１０Ａの周囲の視界を良好なものとすることができ、作業効率を向上させることができる。

また、図１１に示す変形例の動作では、図９に示す状態から図１２に示す状態に画像の表示が変化し、その後、運転者の視線が投写面５Ａに戻った場合でも、投写面５Ａの前方に表示される画像Ｖ１，Ｖ２の表示位置は、図９に示す状態からは変化しない。この構成によれば、画像Ｖ１，Ｖ２の表示位置の変化がなくなることで、運転者に違和感を与えにくくすることができる。

ここまでの説明では、ＨＵＤ１が投写表示部を３つ有するものとしたが、投写表示部の数は２つ又は４つ以上であってもよい。

また、ＨＵＤ１の制御部６０は、上記の視線追従制御及び上記の投写継続制御を行う第一のモードと、上記の視線追従制御のみを行う第二のモード（画像光を投写させる投写表示部を１つに制限するモード）とのいずれかで、投写表示部２０Ｕ、投写表示部３０Ｕ、及び投写表示部４０Ｕを制御してもよい。

例えば、制御部６０は、建設機械１００に設けられたボタン等の操作部から第一のモードでの動作を指示する信号を受信した場合には、第一のモードで投写表示部を制御し、この操作部から第二のモードでの動作を指示する信号を受信した場合には、第二のモードで投写表示部を制御する。この構成によれば、運転者の好みに応じた表示制御が可能となり、ＨＵＤ１の使い勝手を向上させることができる。

または、制御部６０は、建設機械１００の運転制御部から受信した情報（操作部９Ｌ，９Ｒから入力される操作信号等）に基づいて、作業機３０の操作がなされているか否かを判定し、作業機３０の操作がなされている状態では第一のモードで投写表示部を制御し、作業機３０の操作がなされていない状態では第二のモードで投写表示部を制御してもよい。

この構成によれば、運転者が作業機３０を利用して作業を行っていないときには、１つの投写表示部だけが動作することになるため、ＨＵＤ１の消費電力を低減することができる。一方で、運転者が作業機３０を利用して作業を行っているときには、運転者に提供される情報量が増加するため、作業支援として有効となる。

なお、ＨＵＤ１は、例えば、他の作業用機械（ホイールローダー、ブルドーザ、モーターグレーダー、又はフォークリフト等）、自動車、電車、航空機、又は船舶等にも搭載することができる。

本発明の投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムによれば、乗り物の安全な運転を支援することができる。

以上のように、本明細書には以下の事項が開示されている。

（１） 乗り物に搭載される投写型表示装置であって、光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を上記乗り物における異なる投写面に投写する複数の投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、上記視線に基づいて上記複数の投写表示部を制御する制御部と、を備え、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御部は、上記視線検出部により検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記制御部は、上記視線検出部により検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行う投写型表示装置。

（２） （１）記載の投写型表示装置であって、上記複数の上記投写面のうちの隣接する２つの上記投写面は、それぞれに平行な方向が互いに交差している投写型表示装置。

（３） （１）又は（２）記載の投写型表示装置であって、上記複数の上記投写面は、上記乗り物の運転室に設けられた異なる窓にある投写型表示装置。

（４） （１）〜（３）のいずれか１つに記載の投写型表示装置であって、上記制御部は、上記投写継続制御において上記投写表示部から投写させる上記画像光の輝度を、上記視線追従制御において上記投写表示部から投写させる上記画像光の輝度よりも低くする投写型表示装置。

（５） （４）記載の投写型表示装置であって、上記制御部は、上記投写継続制御において上記投写表示部から投写させる上記画像光の上記輝度を時間と共に漸減させる投写型表示装置。

（６） （１）〜（３）のいずれか１つに記載の投写型表示装置であって、上記制御部は、上記視線が上記第一投写面と交わる状態から上記第二投写面と交わる状態に変化し、且つ上記第二投写面と交わる状態が予め決められた時間続いた場合に、上記投写継続制御を終了する投写型表示装置。

（７） （６）記載の投写型表示装置であって、上記制御部は、上記投写継続制御が終了された状態から、上記視線が上記第一投写面と交わる状態に変化した場合には、上記視線追従制御によって表示させる画像の表示位置を、上記投写継続制御の終了直前にその投写継続制御によって表示させていた画像の表示位置と同じに制御する投写型表示装置。

（８） （１）〜（７）のいずれか１つに記載の投写型表示装置であって、上記制御部は、上記視線追従制御において上記投写表示部から投写させる上記画像光に基づく画像と、上記投写継続制御において上記投写表示部から投写させる上記画像光に基づく画像とを一致させる投写型表示装置。

（９） （１）〜（７）のいずれか１つに記載の投写型表示装置であって、上記制御部は、上記視線追従制御において上記投写表示部から投写させる上記画像光に基づく画像と、上記投写継続制御において上記投写表示部から投写させる上記画像光に基づく画像とを異ならせる投写型表示装置。

（１０） （１）〜（９）のいずれか１つに記載の投写型表示装置であって、３つ以上の上記投写表示部を備え、上記制御部は、上記画像光を同時に投写させる上記投写表示部の数を最大で２つに制御する投写型表示装置。

（１１） （１）〜（９）のいずれか１つに記載の投写型表示装置であって、上記制御部は、上記視線追従制御及び上記投写継続制御を行う第一のモードと、上記視線追従制御のみを行う第二のモードとのいずれかで上記複数の投写表示部を制御する投写型表示装置。

（１２） （１１）記載の投写型表示装置であって、上記乗り物は、運転室を含む本体部と、上記本体部に対して移動自在に設けられた作業機とを有する作業用機械であり、上記制御部は、上記作業機の操作がなされている状態では上記第一のモードで上記複数の投写表示部を制御し、上記作業機が非操作の状態では上記第二のモードで上記複数の投写表示部を制御する投写型表示装置。

（１３） 光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記視線に基づいて上記複数の投写表示部を制御する制御ステップと、を備え、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御ステップでは、上記視線検出ステップにより検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記視線検出ステップにより検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行う投写型表示装置の制御方法。

（１４） （１３）記載の投写型表示装置の制御方法であって、上記複数の上記投写面のうちの隣接する２つの上記投写面は、それぞれに平行な方向が互いに交差している投写型表示装置の制御方法。

（１５） （１３）又は（１４）記載の投写型表示装置の制御方法であって、上記複数の上記投写面は、上記乗り物の運転室に設けられた異なる窓にある投写型表示装置の制御方法。

（１６） （１３）〜（１５）のいずれか１つに記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記投写継続制御において上記投写表示部から投写させる上記画像光の輝度を、上記視線追従制御において上記投写表示部から投写させる上記画像光の輝度よりも低くする投写型表示装置の制御方法。

（１７） （１６）記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記投写継続制御において上記投写表示部から投写させる上記画像光の上記輝度を時間と共に漸減させる投写型表示装置の制御方法。

（１８） （１３）〜（１５）のいずれか１つに記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記視線が上記第一投写面と交わる状態から上記第二投写面と交わる状態に変化し、且つ上記第二投写面と交わる状態が予め決められた時間続いた場合に、上記投写継続制御を終了する投写型表示装置の制御方法。

（１９） （１８）記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記投写継続制御が終了された状態から、上記視線が上記第一投写面と交わる状態に変化した場合には、上記視線追従制御によって表示させる画像の表示位置を、上記投写継続制御の終了直前にその投写継続制御によって表示させていた画像の表示位置と同じに制御する投写型表示装置の制御方法。

（２０） （１３）〜（１９）のいずれか１つに記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記視線追従制御において上記投写表示部から投写させる上記画像光に基づく画像と、上記投写継続制御において上記投写表示部から投写させる上記画像光に基づく画像とを一致させる投写型表示装置の制御方法。

（２１） （１３）〜（１９）のいずれか１つに記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記視線追従制御において上記投写表示部から投写させる上記画像光に基づく画像と、上記投写継続制御において上記投写表示部から投写させる上記画像光に基づく画像とを異ならせる投写型表示装置の制御方法。

（２２） （１３）〜（２１）のいずれか１つに記載の投写型表示装置の制御方法であって、上記投写型表示装置は、３つ以上の上記投写表示部を備え、上記制御ステップでは、上記画像光を同時に投写させる上記投写表示部の数を最大で２つに制御する投写型表示装置の制御方法。

（２３） （１３）〜（２１）のいずれか１つに記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記視線追従制御及び上記投写継続制御を行う第一のモードと、上記視線追従制御のみを行う第二のモードとのいずれかで上記複数の投写表示部を制御する投写型表示装置の制御方法。

（２４） （２３）記載の投写型表示装置の制御方法であって、上記乗り物は、運転室を含む本体部と、上記本体部に対して移動自在に設けられた作業機とを有する作業用機械であり、上記制御ステップでは、上記作業機の操作がなされている状態では上記第一のモードで上記複数の投写表示部を制御し、上記作業機が非操作の状態では上記第二のモードで上記複数の投写表示部を制御する投写型表示装置の制御方法。

（２５） 光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記視線に基づいて上記複数の投写表示部を制御する制御ステップと、をコンピュータに実行させるためのプログラムであり、上記複数の投写表示部が上記画像光を投写する複数の上記投写面は、互いに重複しておらず、上記制御ステップでは、上記視線検出ステップにより検出された上記視線と交わる上記投写面を上記画像光の投写対象とする上記投写表示部から上記画像光を投写させる視線追従制御を行い、更に、上記視線検出ステップにより検出された上記視線が上記投写面の１つである第一投写面と交わる状態から上記投写面の１つである第二投写面と交わる状態に変化した場合においては、上記視線追従制御と、上記第一投写面を上記画像光の投写対象とする上記投写表示部による上記画像光の投写を継続させる投写継続制御とを行う投写型表示装置の制御プログラム。

１００ 建設機械
１０ 本体部
１０Ａ 運転室
２０ 走行体
３０ 作業機
３０Ａ バケット
３０Ｂ ブーム
３０Ｃ アーム
ＳＴ 運転席
５ フロントウインドシールド
５Ａ 投写面
６ 左サイドウインドシールド
６Ａ 投写面
７ 右サイドウインドシールド
７Ａ 投写面
８ 撮像装置
９Ｒ，９Ｌ 操作部
１ ＨＵＤ
２，３，４ ユニット
２０Ｕ，３０Ｕ，４０Ｕ 投写表示部
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
４６ 投写光学系
４７ 拡散板
４８ 反射ミラー
４９ 拡大鏡
６０ 制御部
６１，６２ システム制御部
Ｖ１，Ｖ２ 画像

Claims (25)

1. 乗り物に搭載される投写型表示装置であって、
   光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を前記乗り物における異なる投写面に投写する複数の投写表示部と、
   前記乗り物の運転者の視線を検出する視線検出部と、
   前記視線に基づいて前記複数の投写表示部を制御する制御部と、を備え、
   前記複数の投写表示部が前記画像光を投写する複数の前記投写面は、互いに重複しておらず、
   前記制御部は、前記視線検出部により検出された前記視線と交わる前記投写面を前記画像光の投写対象とする前記投写表示部から前記画像光を投写させる視線追従制御を行い、
   更に、前記制御部は、前記視線検出部により検出された前記視線が前記投写面の１つである第一投写面と交わる状態から前記投写面の１つである第二投写面と交わる状態に変化した場合においては、前記視線追従制御と、前記第一投写面を前記画像光の投写対象とする前記投写表示部による前記画像光の投写を継続させる投写継続制御とを行う投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記複数の前記投写面のうちの隣接する２つの前記投写面は、それぞれに平行な方向が互いに交差している投写型表示装置。
3. 請求項１又は２記載の投写型表示装置であって、
   前記複数の前記投写面は、前記乗り物の運転室に設けられた異なる窓にある投写型表示装置。
4. 請求項１〜３のいずれか１項記載の投写型表示装置であって、
   前記制御部は、前記投写継続制御において前記投写表示部から投写させる前記画像光の輝度を、前記視線追従制御において前記投写表示部から投写させる前記画像光の輝度よりも低くする投写型表示装置。
5. 請求項４記載の投写型表示装置であって、
   前記制御部は、前記投写継続制御において前記投写表示部から投写させる前記画像光の前記輝度を時間と共に漸減させる投写型表示装置。
6. 請求項１〜３のいずれか１項記載の投写型表示装置であって、
   前記制御部は、前記視線が前記第一投写面と交わる状態から前記第二投写面と交わる状態に変化し、且つ前記第二投写面と交わる状態が予め決められた時間続いた場合に、前記投写継続制御を終了する投写型表示装置。
7. 請求項６記載の投写型表示装置であって、
   前記制御部は、前記投写継続制御が終了された状態から、前記視線が前記第一投写面と交わる状態に変化した場合には、前記視線追従制御によって表示させる画像の表示位置を、前記投写継続制御の終了直前に当該投写継続制御によって表示させていた画像の表示位置と同じに制御する投写型表示装置。
8. 請求項１〜７のいずれか１項記載の投写型表示装置であって、
   前記制御部は、前記視線追従制御において前記投写表示部から投写させる前記画像光に基づく画像と、前記投写継続制御において前記投写表示部から投写させる前記画像光に基づく画像とを一致させる投写型表示装置。
9. 請求項１〜７のいずれか１項記載の投写型表示装置であって、
   前記制御部は、前記視線追従制御において前記投写表示部から投写させる前記画像光に基づく画像と、前記投写継続制御において前記投写表示部から投写させる前記画像光に基づく画像とを異ならせる投写型表示装置。
10. 請求項１〜９のいずれか１項記載の投写型表示装置であって、
    ３つ以上の前記投写表示部を備え、
    前記制御部は、前記画像光を同時に投写させる前記投写表示部の数を最大で２つに制御する投写型表示装置。
11. 請求項１〜９のいずれか１項記載の投写型表示装置であって、
    前記制御部は、前記視線追従制御及び前記投写継続制御を行う第一のモードと、前記視線追従制御のみを行う第二のモードとのいずれかで前記複数の投写表示部を制御する投写型表示装置。
12. 請求項１１記載の投写型表示装置であって、
    前記乗り物は、運転室を含む本体部と、前記本体部に対して移動自在に設けられた作業機とを有する作業用機械であり、
    前記制御部は、前記作業機の操作がなされている状態では前記第一のモードで前記複数の投写表示部を制御し、前記作業機が非操作の状態では前記第二のモードで前記複数の投写表示部を制御する投写型表示装置。
13. 光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御方法であって、
    前記乗り物の運転者の視線を検出する視線検出ステップと、
    前記視線に基づいて前記複数の投写表示部を制御する制御ステップと、を備え、
    前記複数の投写表示部が前記画像光を投写する複数の前記投写面は、互いに重複しておらず、
    前記制御ステップでは、前記視線検出ステップにより検出された前記視線と交わる前記投写面を前記画像光の投写対象とする前記投写表示部から前記画像光を投写させる視線追従制御を行い、
    更に、前記視線検出ステップにより検出された前記視線が前記投写面の１つである第一投写面と交わる状態から前記投写面の１つである第二投写面と交わる状態に変化した場合においては、前記視線追従制御と、前記第一投写面を前記画像光の投写対象とする前記投写表示部による前記画像光の投写を継続させる投写継続制御とを行う投写型表示装置の制御方法。
14. 請求項１３記載の投写型表示装置の制御方法であって、
    前記複数の前記投写面のうちの隣接する２つの前記投写面は、それぞれに平行な方向が互いに交差している投写型表示装置の制御方法。
15. 請求項１３又は１４記載の投写型表示装置の制御方法であって、
    前記複数の前記投写面は、前記乗り物の運転室に設けられた異なる窓にある投写型表示装置の制御方法。
16. 請求項１３〜１５のいずれか１項記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記投写継続制御において前記投写表示部から投写させる前記画像光の輝度を、前記視線追従制御において前記投写表示部から投写させる前記画像光の輝度よりも低くする投写型表示装置の制御方法。
17. 請求項１６記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記投写継続制御において前記投写表示部から投写させる前記画像光の前記輝度を時間と共に漸減させる投写型表示装置の制御方法。
18. 請求項１３〜１５のいずれか１項記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記視線が前記第一投写面と交わる状態から前記第二投写面と交わる状態に変化し、且つ前記第二投写面と交わる状態が予め決められた時間続いた場合に、前記投写継続制御を終了する投写型表示装置の制御方法。
19. 請求項１８記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記投写継続制御が終了された状態から、前記視線が前記第一投写面と交わる状態に変化した場合には、前記視線追従制御によって表示させる画像の表示位置を、前記投写継続制御の終了直前に当該投写継続制御によって表示させていた画像の表示位置と同じに制御する投写型表示装置の制御方法。
20. 請求項１３〜１９のいずれか１項記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記視線追従制御において前記投写表示部から投写させる前記画像光に基づく画像と、前記投写継続制御において前記投写表示部から投写させる前記画像光に基づく画像とを一致させる投写型表示装置の制御方法。
21. 請求項１３〜１９のいずれか１項記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記視線追従制御において前記投写表示部から投写させる前記画像光に基づく画像と、前記投写継続制御において前記投写表示部から投写させる前記画像光に基づく画像とを異ならせる投写型表示装置の制御方法。
22. 請求項１３〜２１のいずれか１項記載の投写型表示装置の制御方法であって、
    前記投写型表示装置は、３つ以上の前記投写表示部を備え、
    前記制御ステップでは、前記画像光を同時に投写させる前記投写表示部の数を最大で２つに制御する投写型表示装置の制御方法。
23. 請求項１３〜２１のいずれか１項記載の投写型表示装置の制御方法であって、
    前記制御ステップでは、前記視線追従制御及び前記投写継続制御を行う第一のモードと、前記視線追従制御のみを行う第二のモードとのいずれかで前記複数の投写表示部を制御する投写型表示装置の制御方法。
24. 請求項２３記載の投写型表示装置の制御方法であって、
    前記乗り物は、運転室を含む本体部と、前記本体部に対して移動自在に設けられた作業機とを有する作業用機械であり、
    前記制御ステップでは、前記作業機の操作がなされている状態では前記第一のモードで前記複数の投写表示部を制御し、前記作業機が非操作の状態では前記第二のモードで前記複数の投写表示部を制御する投写型表示装置の制御方法。
25. 光源から出射される光を画像情報に基づいて空間変調し、空間変調された画像光を乗り物の異なる投写面に投写する複数の投写表示部を有する投写型表示装置の制御プログラムであって、
    前記乗り物の運転者の視線を検出する視線検出ステップと、
    前記視線に基づいて前記複数の投写表示部を制御する制御ステップと、をコンピュータに実行させるためのプログラムであり、
    前記複数の投写表示部が前記画像光を投写する複数の前記投写面は、互いに重複しておらず、
    前記制御ステップでは、前記視線検出ステップにより検出された前記視線と交わる前記投写面を前記画像光の投写対象とする前記投写表示部から前記画像光を投写させる視線追従制御を行い、
    更に、前記視線検出ステップにより検出された前記視線が前記投写面の１つである第一投写面と交わる状態から前記投写面の１つである第二投写面と交わる状態に変化した場合においては、前記視線追従制御と、前記第一投写面を前記画像光の投写対象とする前記投写表示部による前記画像光の投写を継続させる投写継続制御とを行う投写型表示装置の制御プログラム。

Images