JP2020157779A - 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム - Google Patents

Abstract

【課題】作業用機械における作業効率向上と安全性向上を両立させることのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供する。【解決手段】建設機械１００に搭載されるＨＵＤ２は、光源から出射される光を画像情報に基づいて空間変調する光変調素子４４を有し、光変調素子４４によって空間変調された画像光を運転室１０Ａの投写面５Ａに投写してこの画像光に基づく画像を表示する投写表示部２０Ｕと、作業機３０の姿勢に関する姿勢情報と本体部１０の回動状態に関する回動状態情報とを受信し、この姿勢情報に基づいて作業機３０の姿勢を判定し、この回動状態情報に基づいて本体部１０の回動状態を判定し、判定した姿勢と回動状態とに基づいて、投写表示部２０Ｕが表示する画像の透明度を制御するシステム制御部６０と、を備える。【選択図】図７

Description

本発明は、投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラムに関する。

自動車、電車、船舶、重機、建設機械、航空機、又は農作用機械等の乗り物のウインドシールド、或いはウインドシールドの手前付近に配置されるコンバイナに光を投写して画像を表示させるＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている（例えば特許文献１、２参照）。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、実像又は虚像として運転者に視認させることができる。

例えば、特許文献１には、自動車のルームミラー付近に設置されたコンバイナに光を投写して画像を表示させるＨＵＤが記載されている。このＨＵＤは、自動車の左旋回時には、運転者が左前方を確認することから、この左前方の景色が遮られないように、運転席に対して左前方に位置するコンバイナにおける虚像の表示をオフにしたり、この虚像の視認性を低下させたりしている。

特開２０１４−０２６１７７号公報

重機又は建設機械等の作業用機械には、運転室を含む本体部と、本体部に支持されたバケット及びアーム等からなる作業機と、本体部を回動自在に支持するクローラ等を含む走行体と、を備えるものがある。

このような作業用機械では、掘削、整地、又は物体の搬送等の作業を行いながら本体部を旋回させることが行われる。このような作業中において本体部を旋回させる場合には、安全性の観点から、周囲の視界を十分に確保できるようにすることが好ましい。一方、作業機を使用しない状態で本体部を旋回させることもあり、このような状況では、周囲の視界よりも、運転者に十分な量の情報を提供できることが好ましい。つまり、作業用機械においては、作業機の状態と旋回の状態とを考慮してＨＵＤの表示を制御する必要がある。

特許文献１に記載のＨＵＤは、運転室を含む本体部が走行体に対して旋回自在な作業用機械に搭載されるものではなく、上述した課題については考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、作業用機械における作業効率向上と安全性向上を両立させることのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供することを目的とする。

本発明の投写型表示装置は、運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置であって、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信部と、上記通信部で受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定部と、上記通信部で受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定部と、上記姿勢判定部によって判定された上記姿勢と、上記回動判定部によって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御部と、を備えるものである。

本発明の投写型表示装置の制御方法は、運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部を有し、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、上記通信ステップで受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定ステップと、上記通信ステップで受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定ステップと、上記姿勢判定ステップによって判定された上記姿勢と、上記回動判定ステップによって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御ステップと、を備えるものである。

本発明の投写型表示装置の制御プログラムは、運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部を有し、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、上記通信ステップで受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定ステップと、上記通信ステップで受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定ステップと、上記姿勢判定ステップによって判定された上記姿勢と、上記回動判定ステップによって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御ステップと、をコンピュータに実行させるためのものである。

本発明によれば、作業用機械における作業効率向上と安全性向上を両立させることのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤ２を搭載する建設機械１００の外観構成を示す模式図である。 図１に示す建設機械１００における運転室１０Ａの内部構成例を示す模式図である。 図１に示す建設機械１００の構成を示す模式図である。 図１に示す建設機械１００における運転室１０Ａ内の構成例を示す模式図である。 図１に示すＨＵＤ２の内部構成を示す模式図である。 図５に示すシステム制御部６０の機能ブロック図である。 図５に示すシステム制御部６０の動作を説明するためのフローチャートである。 本体部１０が回動していない状態での画像の表示例を示す図である。 図８に示す状況から、作業機３０が基準の姿勢以外の姿勢にある状態で本体部１０が回動し、その後、本体部１０が停止した状態での画像の表示例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ２を搭載する建設機械１００の外観構成を示す模式図である。図２は、図１に示す建設機械１００における運転室１０Ａの内部構成例を示す模式図である。

建設機械１００は、油圧ショベルであり、本体部１０と、走行体２０と、作業機３０と、を備える。

走行体２０は、金属製又はゴム製のクローラ、或いは複数の車輪等の走行機構と、この走行機構を駆動する駆動部と、を有する。この走行機構が動作することで、建設機械１００は前進又は後進等の走行を行うことができる。

本体部１０は、走行体２０に支持されており、走行体２０に対し回動自在に構成されている。本体部１０は、走行体２０の走行方向に対し垂直な方向（図１における上下方向）に延びる軸の周りに回動可能となっている。

本体部１０は、建設機械１００の運転を行う運転者が着座するための運転席１を含む運転室１０Ａを有する。

運転室１０Ａには、運転席１の前方にフロントウインドシールド５が設けられており、このフロントウインドシールド５の一部は、後述する画像光を反射させる加工がなされた領域となっている。そして、この領域に、ＨＵＤ２から画像光が投写されることで、運転席１上方のアイボックスＥＢ（図２参照）から、虚像Ｖの視認が可能となっている。図１及び図２には、運転席１とフロントウインドシールド５とが並ぶ方向が方向Ｘとして示されている。

図１に示すように、作業機３０は、本体部１０に回動自在に支持されたアーム３０Ｃと、アーム３０Ｃに回動自在に支持されたブーム３０Ｂと、ブーム３０Ｂに回動自在に支持されたバケット３０Ａと、を備える。

バケット３０Ａは、地面又は搬出物等の作業対象物に対して直接接触可能な部分である。バケット３０Ａに代えて、鉄骨切断機、コンクリート圧砕機、つかみ機、又は打撃式破砕具等の他のアクセサリがブーム３０Ｂに装着された構成であってもよい。

図３は、図１に示す建設機械１００の構成を示す模式図である。

建設機械１００の本体部１０は、走行体２０に設けられた回動軸Ｊ４の回りに回動可能となっている。回動軸Ｊ４は、方向Ｘに垂直な方向に延びる軸である。

作業機３０は、バケット３０Ａ、ブーム３０Ｂ、及びアーム３０Ｃに加えて、本体部１０とアーム３０Ｃとを連結する関節Ｊ１と、アーム３０Ｃとブーム３０Ｂとを連結する関節Ｊ２と、ブーム３０Ｂとバケット３０Ａとを連結する関節Ｊ３と、を備える。

関節Ｊ１は、アーム３０Ｃの関節Ｊ１側の端部を支点として、モータ等のアクチュエータによってアーム３０Ｃを回動させる。アーム３０Ｃは、回動軸Ｊ４の延びる方向と方向Ｘとに直交する方向（図３の紙面に垂直な方向）に延びる回動軸の回りに、角度θ１の範囲で回動可能となっている。

関節Ｊ２は、ブーム３０Ｂの関節Ｊ２側の端部を支点として、モータ等のアクチュエータによってブーム３０Ｂを回動させる。ブーム３０Ｂは、アーム３０Ｃの回動軸と平行な回動軸の回りに、角度θ２の範囲で回動可能となっている。

関節Ｊ３は、バケット３０Ａの関節Ｊ３側の端部を支点として、モータ等のアクチュエータによってバケット３０Ａを回動させる。バケット３０Ａは、アーム３０Ｃの回動軸と平行な回動軸の回りに、角度θ３の範囲で回動可能となっている。

このように、作業機３０は、３つの関節Ｊ１，Ｊ２，Ｊ３を有し、この３つの関節Ｊ１，Ｊ２，Ｊ３の動きによって姿勢が変わるものである。なお、作業機３０は、２つの関節又は４つ以上の関節を有し、これらの関節の動きによって姿勢が変わるものであってもよい。

図３では、作業機３０の姿勢が、予め決められた基準の姿勢となっている状態を示している。基準の姿勢とは、作業機３０の最も先端側に位置する関節Ｊ３、よりも作業機３０の先端側に位置する作業機３０の先端部（図３のバケット３０Ａ）が本体部１０に最も近付いている状態の姿勢をいう。

具体的には、回動軸Ｊ４の延びる方向において、関節Ｊ２が走行体２０から最も離れた状態で、回動軸Ｊ４の延びる方向において、関節Ｊ３が走行体２０に最も近づいた位置にあり、且つバケット３０Ａが方向Ｘにおいて本体部１０に最も近づいた位置にあることで、バケット３０Ａが本体部１０に最も近付いた状態となる。

言い換えると、アーム３０Ｃと方向Ｘとのなす角度が最大となり、アーム３０Ｃとブーム３０Ｂとのなす角度が最小となり、ブーム３０Ｂとバケット３０Ａとのなす角度が最小となっている姿勢が、作業機３０の基準の姿勢とされている。この基準の姿勢は、作業機３０が使用されていないと判断できる姿勢であり、作業の終了時には、作業機３０がこの基準の姿勢にセットされた状態で建設機械１００が停止される。

図４は、図１に示す建設機械１００における運転室１０Ａ内の構成例を示す模式図である。

運転室１０Ａは、フロントウインドシールド５、右サイドウインドシールド５１、及び左サイドウインドシールド５２に取り囲まれている。運転室１０Ａは、作業機３０のアーム３０Ｃ、ブーム３０Ｂ、及びバケット３０Ａの回動操作、及び本体部１０の走行体２０に対する回動操作等を行うための操作部１３（１３Ａ，１３Ｂ，１３Ｃ）を運転席１の周りに備える。

フロントウインドシールド５には、ＨＵＤ２から出射された画像光が投写される投写面５Ａがあり、この投写面５Ａが画像光を反射すると同時に、外部（外界）からの光を透過する。

図５は、図１に示すＨＵＤ２の内部構成を示す模式図である。

ＨＵＤ２は、投写表示部２０Ｕと、全体を統括制御するシステム制御部６０と、を備える。

投写表示部２０Ｕは、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、拡散板４７と、反射ミラー４８と、拡大鏡４９と、を備える。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、投写表示部２０Ｕの光源を構成する。本実施形態では、投写表示部２０Ｕの光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は４つ以上であってもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像情報に基づいて空間変調し、空間変調した画像光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６０から入力される画像情報に基づいて光変調素子４４を駆動し、画像情報に応じた画像光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。

画像情報には、例えば作業支援情報と関連情報が含まれる。作業支援情報は、例えば、バケット３０Ａによる掘削方向を示す情報、掘削量（○○ｍ）を示す情報、又は人物等の障害物に注意が必要なことを通知するための警告情報等である。関連情報は、例えば、現在の日付を示す情報、現在時刻を示す情報、又は建設機械１００の燃料の量を示す情報等である。

投写光学系４６は、光源ユニット４０の光変調素子４４から出射された光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７で拡散させて面光源化してもよい。

反射ミラー４８は、拡散板４７で拡散された光を拡大鏡４９側に反射させる。

拡大鏡４９は、反射ミラー４８で反射されてきた光に基づく像を拡大させて投写面５Ａに投写する。

投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９は、投写面５Ａに投写された画像光に基づく画像が、フロントウインドシールド５の前方の位置において虚像として視認可能となるように光学設計がなされている。投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９は、投写面５Ａに投写された画像光に基づく画像が、フロントウインドシールド５において実像として視認可能となるように光学設計がなされていてもよい。

このように、投写表示部２０Ｕは、光源と、光源から出射される光を画像情報に基づいて空間変調する光変調素子４４と、光変調素子４４で空間変調した画像光を投写面５Ａに投写して、この画像光に基づく画像（虚像又は実像）を表示するものである。

システム制御部６０は、ＨＵＤ２全体を統括制御するものであり、ハードウェア的な構造は、制御プログラムを含むプログラムを実行して後述する処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部６０は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

図５には、建設機械１００を統括制御する運転制御部８が図示されている。運転制御部８は、操作部１３の操作に応じた操作信号を受けて作業機３０の姿勢を変更する姿勢制御、操作部１３の操作に応じた操作信号を受けて本体部１０を走行体２０に対して回動させる旋回制御、走行体２０を用いた走行制御、及びＨＵＤ２のシステム制御部６０の制御等を行う。

運転制御部８は、作業機３０の姿勢に関する情報として、作業機３０をどのような姿勢に制御しているかを示す姿勢情報をシステム制御部６０に送信する。

また、運転制御部８は、本体部１０の回動状態に関する情報として、本体部１０を回動させているか否かを示す回動状態情報をシステム制御部６０に送信する。

図６は、図５に示すシステム制御部６０の機能ブロック図である。

システム制御部６０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶された制御プログラムを含むプログラムを実行することで、通信部６０Ａと、姿勢判定部６０Ｂと、回動判定部６０Ｃと、制御部６０Ｄと、して機能する。

通信部６０Ａは、運転制御部８から姿勢情報と回動状態情報を受信する。

姿勢判定部６０Ｂは、通信部６０Ａで受信した姿勢情報に基づいて、作業機３０の姿勢を判定する。

回動判定部６０Ｃは、通信部６０Ａで受信した回動状態情報に基づいて、本体部１０の回動状態を判定する。

制御部６０Ｄは、姿勢判定部６０Ｂによって判定された作業機３０の姿勢と、回動判定部６０Ｃによって判定された本体部１０の回動状態とに基づいて、投写表示部２０Ｕが表示する画像の透明度を制御する。

投写表示部２０Ｕが表示する画像の透明度は、画像の視認性を示す指標であり、その値が大きいほど、視認性は低下する。制御部６０Ｄは、例えば、駆動部４５に入力する画像情報のコントラスト値、階調値、又は明るさ等を変更することで、画像の透明度を制御する。画像情報のコントラスト値、階調値、又は明るさが低下すると、画像の透明度は高くなり、視認性は低下する。

または、制御部６０Ｄは、投写表示部２０Ｕの光源からの光の出射を停止したり（光出射停止制御）、駆動部４５への画像情報の入力を停止したり（画像入力停止制御）、光出射停止制御と画像入力停止制御の両方を行ったり、駆動部４５に黒一色のベタ画像を入力したりして、投写表示部２０Ｕによって表示する画像の透明度を最大値（完全に透明な状態）に制御する。

図７は、図５に示すシステム制御部６０の動作を説明するためのフローチャートである。

ＨＵＤ２が起動すると、システム制御部６０の通信部６０Ａは、運転制御部８から回動状態情報と姿勢情報を受信する（ステップＳ１）。

システム制御部６０の回動判定部６０Ｃは、ステップＳ１で受信した回動状態情報に基づき、本体部１０が回動している状態か否かを判定する（ステップＳ２）。

本体部１０が回動していない非回動の状態であると判定された場合（ステップＳ２：ＮＯ）には、システム制御部６０の制御部６０Ｄは、投写表示部２０Ｕが表示する画像の透明度を第一の透明度に制御する（ステップＳ３）。第一の透明度は、画像の視認性が十分に高くなるよう設定されている値である。ステップＳ２の判定がＮＯとなる状況は第一の状況を構成する。ステップＳ３は、制御ステップを構成する。

本体部１０が回動している状態であると判定された場合（ステップＳ２：ＹＥＳ）には、システム制御部６０の姿勢判定部６０Ｂは、ステップＳ１で受信した姿勢情報に基づき、作業機３０の姿勢が基準の姿勢となっているか否かを判定する（ステップＳ４）。

なお、本体部１０を回動させるための操作信号の入力があり、運転制御部８がこの操作信号を受けて本体部１０の回動を開始するまでには僅かなタイムラグがある。本体部１０が回動している状態とは、この操作信号を運転制御部８が受けているものの本体部１０の回動が未だ開始されていない状態も含む。

作業機３０の姿勢が基準の姿勢であると判定された場合（ステップＳ４：ＹＥＳ）には、システム制御部６０の制御部６０Ｄは、ステップＳ３の処理を行う。ステップＳ４の判定がＹＥＳとなる状況は第二の状況を構成する。

作業機３０の姿勢が基準の姿勢以外であると判定された場合（ステップＳ４：ＮＯ）には、システム制御部６０の制御部６０Ｄは、投写表示部２０Ｕが表示する画像の透明度を第二の透明度に制御する（ステップＳ５）。第二の透明度は、第一の透明度より高い値（例えば最大値）であり、画像の視認性が十分に低くなるよう設定されている値である。ステップＳ４の判定がＮＯとなる状況は第三の状況を構成する。ステップＳ５は、制御ステップを構成する。

ステップＳ３とステップＳ５の後は、ステップＳ１に処理が戻り、以上の処理が繰り返し行われる。

以上のように、ＨＵＤ２によれば、作業機３０を用いた作業中において本体部１０を旋回させている第三の状況では、投写表示部２０Ｕによって表示される画像の透明度が第二の透明度に制御され、この画像の視認性が低下する。このため、周囲の視界を十分に確保することができ、作業の安全性を向上させることができる。

一方、作業機３０が基準の姿勢となっており、且つ本体部１０が回動している第二の状況と、本体部１０が回動していない第一の状況では、投写表示部２０Ｕによって表示される画像の透明度が第一の透明度に制御され、この画像の視認性が十分に確保される。

第一の状況では、本体部１０が回動していないことから、画像の視認性が高くても作業の安全性への懸念はない。また、第二の状況では、本体部１０が回動しているものの、作業機３０が基準の姿勢にあって作業が行われていない状況であることから、画像の視認性が高くても作業の安全性への懸念はない。このように、第一の状況と第二の状況では、画像の視認性を高くすることで、運転者に十分な量の情報を提供することができ、作業支援として有効となる。

ＨＵＤ２において、システム制御部６０の制御部６０Ｄは、上記の第三の状況から上記の第一の状況に遷移した場合には、投写表示部２０Ｕを制御して、この第三の状況において本体部１０が回転していた回転方向と反対の方向に画像を移動させながら表示させることが好ましい。なお、この場合の第二の透明度は最大値に設定される。

図８は、本体部１０が回動していない状態での画像の表示例を示す図である。図９は、図８に示す状況から、作業機３０が基準の姿勢以外の姿勢にある状態で本体部１０が回動し、その後、本体部１０が停止した状態での画像の表示例を示す図である。

図８に示す状態は上記の第一の状況に相当するため、投写面５Ａには第一の透明度で画像ＶＩが表示されている。

図８に示す状態から作業機３０が基準の姿勢以外の姿勢にある状態で本体部１０が回動すると、上記の第三の状況となるため、本体部１０の回動中は、画像ＶＩは非表示となる。

そして、本体部１０の回動が終了すると、再び第一の状況となり、画像ＶＩの表示が再開される。図９では、図８に示す状態から本体部１０が左回り（投写面５Ａの右端から左端に向かう方向）に回動した例を示している。このため、この第一の状況では、画像ＶＩは、投写面５Ａを左端から右端に向かって移動しながら表示されて、図８と同じ表示に戻る。

このように、本体部１０の回動方向と反対の方向に向かって画像ＶＩを移動させながら表示を行うことで、映像酔いを防ぐことができ、作業効率の低下を防ぐことができる。

以上の説明では、システム制御部６０の通信部６０Ａが、運転制御部８から姿勢情報及び回動状態情報を受信するものとした。この変形例としては、作業機３０に、アーム３０Ｃの回動位置、ブーム３０Ｂの回動位置、及びバケット３０Ａの回動位置を検出するための角速度センサ及び３軸加速度センサ等のセンサ群を設けておき、このセンサ群により検出される情報を姿勢情報として通信部６０Ａが受信してもよい。また、本体部１０に角速度センサ及び３軸加速度センサ等のセンサ群を設けておき、このセンサ群により検出される情報を回動状態情報として通信部６０Ａが受信してもよい。

ＨＵＤ２は、建設機械１００に搭載されているが、作業機と、作業機を支持する本体部と、本体部を回動自在に支持する走行体とを有する作業用機械であれば搭載可能である。

本発明は、作業用機械における作業効率向上と安全性向上を両立させることのできる投写型表示装置、投写型表示装置の制御方法、及び投写型表示装置の制御プログラムを提供することができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１） 運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置であって、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信部と、上記通信部で受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定部と、上記通信部で受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定部と、上記姿勢判定部によって判定された上記姿勢と、上記回動判定部によって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御部と、を備える投写型表示装置。

（２） （１）記載の投写型表示装置であって、上記制御部は、上記回動判定部によって上記本体部が非回動の状態であると判定された第一の状況と、上記姿勢が予め決められた基準の姿勢であると判定され且つ上記回動判定部によって上記本体部が回動している状態であると判定された第二の状況とでは、それぞれ上記画像の透明度を第一の透明度に制御し、上記姿勢が上記基準の姿勢以外の姿勢であると判定され且つ上記回動判定部によって上記本体部が回動している状態であると判定された第三の状況では、上記画像の透明度を上記第一の透明度よりも高い第二の透明度に制御する投写型表示装置。

（３） （２）記載の投写型表示装置であって、上記制御部は、上記光源からの光の出射を停止させる処理、又は上記光変調素子に対する上記画像情報の入力を停止する処理の少なくとも一方を行って、上記画像の透明度を上記第二の透明度に制御する投写型表示装置。

（４） （３）記載の投写型表示装置であって、上記制御部は、上記第三の状況から上記第一の状況に遷移した場合には、上記第三の状況において上記本体部が回転していた回転方向と反対の方向に上記画像を移動させながら表示させる投写型表示装置。

（５） （２）〜（４）のいずれか１つに記載の投写型表示装置であって、上記作業機は、複数の関節を有し、上記複数の関節の動きによって姿勢が変わるものであり、上記基準の姿勢は、上記作業機の最も先端側に位置する上記関節、よりも上記作業機の先端側に位置する上記作業機の先端部が上記本体部に最も近付いている状態である投写型表示装置。

（６） 運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部を有し、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、上記通信ステップで受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定ステップと、上記通信ステップで受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定ステップと、上記姿勢判定ステップによって判定された上記姿勢と、上記回動判定ステップによって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御ステップと、を備える投写型表示装置の制御方法。

（７） （６）記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記回動判定ステップによって上記本体部が非回動の状態であると判定された第一の状況と、上記姿勢が予め決められた基準の姿勢であると判定され且つ上記回動判定ステップによって上記本体部が回動している状態であると判定された第二の状況とでは、それぞれ上記画像の透明度を第一の透明度に制御し、上記姿勢が上記基準の姿勢以外の姿勢であると判定され且つ上記回動判定ステップによって上記本体部が回動している状態であると判定された第三の状況では、上記画像の透明度を上記第一の透明度よりも高い第二の透明度に制御する投写型表示装置の制御方法。

（８） （７）記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記光源からの光の出射を停止させる処理、又は上記光変調素子に対する上記画像情報の入力を停止する処理の少なくとも一方を行って、上記画像の透明度を上記第二の透明度に制御する投写型表示装置の制御方法。

（９） （８）記載の投写型表示装置の制御方法であって、上記制御ステップでは、上記第三の状況から上記第一の状況に遷移した場合には、上記第三の状況において上記本体部が回転していた回転方向と反対の方向に上記画像を移動させながら表示させる投写型表示装置の制御方法。

（１０） （７）〜（９）のいずれか１つに記載の投写型表示装置の制御方法であって、上記作業機は、複数の関節を有し、上記複数の関節の動きによって姿勢が変わるものであり、上記基準の姿勢は、上記作業機の最も先端側に位置する上記関節、よりも上記作業機の先端側に位置する上記作業機の先端部が上記本体部に最も近付いている状態である投写型表示装置の制御方法。

（１１） 運転室を含む本体部と、上記本体部に支持された作業機と、走行体と、を有し、上記本体部が上記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、光源と、上記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、上記光変調素子によって空間変調された画像光を上記運転室に設けられた投写面に投写して上記画像光に基づく画像を表示する投写表示部を有し、上記作業機の姿勢に関する姿勢情報と上記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、上記通信ステップで受信した上記姿勢情報に基づいて、上記作業機の姿勢を判定する姿勢判定ステップと、上記通信ステップで受信した上記回動状態情報に基づいて、上記本体部の回動状態を判定する回動判定ステップと、上記姿勢判定ステップによって判定された上記姿勢と、上記回動判定ステップによって判定された上記回動状態とに基づいて、上記投写表示部が表示する上記画像の透明度を制御する制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。

１００ 建設機械
１０ 本体部
１０Ａ 運転室
１ 運転席
２ ＨＵＤ
５ フロントウインドシールド
５１ 右サイドウインドシールド
５２ 左サイドウインドシールド
５Ａ 投写面
１３（１３Ａ，１３Ｂ，１３Ｃ） 操作部
ＥＢ アイボックス
Ｖ 虚像
２０ 走行体
３０ 作業機
３０Ａ バケット
３０Ｂ ブーム
３０Ｃ アーム
Ｊ１，Ｊ２，Ｊ３ 関節
θ１，θ２，θ３ 角度
Ｊ４ 回動軸
２０ 投写表示部
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
４６ 投写光学系
４７ 拡散板
４８ 反射ミラー
４９ 拡大鏡
６０ システム制御部
６０Ａ 通信部
６０Ｂ 姿勢判定部
６０Ｃ 回動判定部
６０Ｄ 制御部
８ 運転制御部
ＶＩ 画像

Claims (11)

1. 運転室を含む本体部と、前記本体部に支持された作業機と、走行体と、を有し、前記本体部が前記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置であって、
   光源と、前記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、前記光変調素子によって空間変調された画像光を前記運転室に設けられた投写面に投写して前記画像光に基づく画像を表示する投写表示部と、
   前記作業機の姿勢に関する姿勢情報と前記本体部の回動状態に関する回動状態情報とを受信する通信部と、
   前記通信部で受信した前記姿勢情報に基づいて、前記作業機の姿勢を判定する姿勢判定部と、
   前記通信部で受信した前記回動状態情報に基づいて、前記本体部の回動状態を判定する回動判定部と、
   前記姿勢判定部によって判定された前記姿勢と、前記回動判定部によって判定された前記回動状態とに基づいて、前記投写表示部が表示する前記画像の透明度を制御する制御部と、を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記制御部は、前記回動判定部によって前記本体部が非回動の状態であると判定された第一の状況と、前記姿勢が予め決められた基準の姿勢であると判定され且つ前記回動判定部によって前記本体部が回動している状態であると判定された第二の状況とでは、それぞれ前記画像の透明度を第一の透明度に制御し、前記姿勢が前記基準の姿勢以外の姿勢であると判定され且つ前記回動判定部によって前記本体部が回動している状態であると判定された第三の状況では、前記画像の透明度を前記第一の透明度よりも高い第二の透明度に制御する投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記制御部は、前記光源からの光の出射を停止させる処理、又は前記光変調素子に対する前記画像情報の入力を停止する処理の少なくとも一方を行って、前記画像の透明度を前記第二の透明度に制御する投写型表示装置。
4. 請求項３記載の投写型表示装置であって、
   前記制御部は、前記第三の状況から前記第一の状況に遷移した場合には、前記第三の状況において前記本体部が回転していた回転方向と反対の方向に前記画像を移動させながら表示させる投写型表示装置。
5. 請求項２〜４のいずれか１項記載の投写型表示装置であって、
   前記作業機は、複数の関節を有し、前記複数の関節の動きによって姿勢が変わるものであり、
   前記基準の姿勢は、前記作業機の最も先端側に位置する前記関節、よりも前記作業機の先端側に位置する前記作業機の先端部が前記本体部に最も近付いている状態である投写型表示装置。
6. 運転室を含む本体部と、前記本体部に支持された作業機と、走行体と、を有し、前記本体部が前記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御方法であって、
   前記投写型表示装置は、光源と、前記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、前記光変調素子によって空間変調された画像光を前記運転室に設けられた投写面に投写して前記画像光に基づく画像を表示する投写表示部を有し、
   前記作業機の姿勢に関する姿勢情報と前記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、
   前記通信ステップで受信した前記姿勢情報に基づいて、前記作業機の姿勢を判定する姿勢判定ステップと、
   前記通信ステップで受信した前記回動状態情報に基づいて、前記本体部の回動状態を判定する回動判定ステップと、
   前記姿勢判定ステップによって判定された前記姿勢と、前記回動判定ステップによって判定された前記回動状態とに基づいて、前記投写表示部が表示する前記画像の透明度を制御する制御ステップと、を備える投写型表示装置の制御方法。
7. 請求項６記載の投写型表示装置の制御方法であって、
   前記制御ステップでは、前記回動判定ステップによって前記本体部が非回動の状態であると判定された第一の状況と、前記姿勢が予め決められた基準の姿勢であると判定され且つ前記回動判定ステップによって前記本体部が回動している状態であると判定された第二の状況とでは、それぞれ前記画像の透明度を第一の透明度に制御し、前記姿勢が前記基準の姿勢以外の姿勢であると判定され且つ前記回動判定ステップによって前記本体部が回動している状態であると判定された第三の状況では、前記画像の透明度を前記第一の透明度よりも高い第二の透明度に制御する投写型表示装置の制御方法。
8. 請求項７記載の投写型表示装置の制御方法であって、
   前記制御ステップでは、前記光源からの光の出射を停止させる処理、又は前記光変調素子に対する前記画像情報の入力を停止する処理の少なくとも一方を行って、前記画像の透明度を前記第二の透明度に制御する投写型表示装置の制御方法。
9. 請求項８記載の投写型表示装置の制御方法であって、
   前記制御ステップでは、前記第三の状況から前記第一の状況に遷移した場合には、前記第三の状況において前記本体部が回転していた回転方向と反対の方向に前記画像を移動させながら表示させる投写型表示装置の制御方法。
10. 請求項７〜９のいずれか１項記載の投写型表示装置の制御方法であって、
    前記作業機は、複数の関節を有し、前記複数の関節の動きによって姿勢が変わるものであり、
    前記基準の姿勢は、前記作業機の最も先端側に位置する前記関節、よりも前記作業機の先端側に位置する前記作業機の先端部が前記本体部に最も近付いている状態である投写型表示装置の制御方法。
11. 運転室を含む本体部と、前記本体部に支持された作業機と、走行体と、を有し、前記本体部が前記走行体に対し回動自在に構成された作業用機械に搭載される投写型表示装置の制御プログラムであって、
    前記投写型表示装置は、光源と、前記光源から出射される光を画像情報に基づいて空間変調する光変調素子とを有し、前記光変調素子によって空間変調された画像光を前記運転室に設けられた投写面に投写して前記画像光に基づく画像を表示する投写表示部を有し、
    前記作業機の姿勢に関する姿勢情報と前記本体部の回動状態に関する回動状態情報とを受信する通信ステップと、
    前記通信ステップで受信した前記姿勢情報に基づいて、前記作業機の姿勢を判定する姿勢判定ステップと、
    前記通信ステップで受信した前記回動状態情報に基づいて、前記本体部の回動状態を判定する回動判定ステップと、
    前記姿勢判定ステップによって判定された前記姿勢と、前記回動判定ステップによって判定された前記回動状態とに基づいて、前記投写表示部が表示する前記画像の透明度を制御する制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。

Images