JP2018180129A - 表示装置 - Google Patents

Abstract

【課題】透過型ＨＭＤを装着したままで外部モニタ画面の視認性を改善することができる表示装置を提供すること。【解決手段】情報表示領域に情報を表示する透過型のヘッドマウントディスプレイを備える表示装置において、前記ヘッドマウントディスプレイを透過して視認できる視野範囲を撮像する撮像手段と、前記撮像手段によって得られる画像から外部のモニタ画面を検出する検出手段と、前記外部のモニタ画面の前記視野範囲に占める領域を算出する第一の算出手段と、前記領域と前記ヘッドマウントディスプレイの前記情報表示領域との重なり範囲を算出する第二の算出手段と、前記重なり範囲が所定以上のとき、前記情報表示領域への表示を切り換える切り換え手段と、を備える。【選択図】図４

Description

本発明は、使用者の頭部などに装着され、画像などの情報を映像として表示して観察させる透過型（シースルー型）のヘッドマウントディスプレイ（以降、ＨＭＤと記す）を備える表示装置に関する。

透過型（シースルー型）のＨＭＤは、ＨＭＤの表示映像と眼前の風景とを重畳して観察させるため、ＨＭＤの表示映像の位置や色、大きさ、明るさによっては風景像と干渉してＨＭＤの表示映像が見辛かった。同じように、ＨＭＤの表示映像が邪魔になって風景が見辛いこともあった。

このことに対応して、特許文献１では、外景中で情報をオーバーラップして表示する部分の状態を視野撮像手段で検出し、その結果に基づいて情報の表示状態を制御する技術が開示されている。具体的には、外景の状態に応じて、情報の表示色、表示位置を制御するものである。

特開平０９−１０１４７７号公報

上記の特許文献１によれば、風景の状態に応じて表示映像を視認し易いシースルー型ＨＭＤが提供される。

しかしながら、風景に注目したい時にＨＭＤの表示映像が邪魔になって見辛いことには対処されていない。風景中で注目したい物として、ＨＭＤとは別のモニタ画面（外部モニタ画面）がある。

高精細な外部モニタ画面には、画面上に様々な情報が表示され、それが逐次更新されていく場合もある。ＨＭＤを装着した状態のままでは、ＨＭＤ表示映像と外部モニタ画面の二つが重なる部分が生じると見辛い。

ＨＭＤ表示映像と外部モニタ画面の重なりを避けようとすれば、外部モニタ画面を大きく見ることが出来ない不都合がある。ＨＭＤを装着した状態でも、煩雑な操作を要することなく、外部モニタ画面を大きく見られることが望まれている。

本発明の目的は、透過型ＨＭＤを装着したままで外部モニタ画面の視認性を改善することができる表示装置を提供することにある。

上記の目的を達成するために、本発明に係る表示装置は、
情報表示領域に情報を表示する透過型のヘッドマウントディスプレイを備える表示装置において、前記ヘッドマウントディスプレイを透過して視認できる視野範囲を撮像する撮像手段と、前記撮像手段によって得られる画像から外部のモニタ画面を検出する検出手段と、前記外部のモニタ画面の前記視野範囲に占める領域を算出する第一の算出手段と、前記領域と前記ヘッドマウントディスプレイの前記情報表示領域との重なり範囲を算出する第二の算出手段と、前記重なり範囲が所定以上のとき、前記情報表示領域への表示を切り換える切り換え手段と、を備えることを特徴とする。

また、本発明に係る他の表示装置は、情報表示領域に情報を表示する透過型のヘッドマウントディスプレイを備える表示装置において、前記ヘッドマウントディスプレイを透過して視認できる視野範囲を撮像する撮像手段と、前記撮像手段によって得られる画像から外部のモニタ画面を検出する検出手段と、前記外部のモニタ画面の前記視野範囲に占める領域を算出する第一の算出手段と、前記領域と前記ヘッドマウントディスプレイの前記情報表示領域との重なり範囲を算出する第二の算出手段と、前記重なり範囲が所定以上である経過時間を計測する計測手段と、前記重なり範囲と前記経過時間とが所定以上のとき、前記情報表示領域への表示を切り換える切り換え手段と、を備えることを特徴とする。

本発明に係る表示装置によれば、外部のモニタ画面と透過型ＨＭＤの情報表示領域との重なり範囲が所定以上のとき、情報表示領域への表示を切り換えて外部モニタ画面を見易くできる。

本発明の実施形態に係るＨＭＤの構造を説明する模式図である。 本発明の実施形態に係るＨＭＤを着用した使用者が観察するＨＭＤ表示の様子を説明する図である。 本発明の実施形態に係るＨＭＤのブロック図である。 本発明の実施形態に係るＨＭＤの動作を説明するフローチャートである。 本発明の実施形態に係るＨＭＤを装着した使用者と外部モニタ画面との位置関係を示す図である。 本発明の実施形態に係るＨＭＤを通して、使用者が観察できる外部モニタ画面とＨＭＤ表示映像の様子を表す図である。 本発明の実施形態に係るＨＭＤを通して、使用者が観察できる外部モニタ画面とＨＭＤ表示映像の様子を表す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

《第１の実施形態》
図１は、本発明の実施形態に係るＨＭＤ１００（本ＨＭＤ１００）の構造を説明する模式図であり、図２は本ＨＭＤ１００を着用した使用者１０１が観察するＨＭＤ表示の様子を説明する図である。また、図３は本ＨＭＤ１００のブロック図である。図１乃至図３を参照して、本ＨＭＤ１００の構成を説明する。

図１（ａ）は、ＨＭＤ１００を装着した使用者１０１の頭部を上方より見た図であり、図１（ｂ）は、ＨＭＤ１００の構造を示す模式図である。

本ＨＭＤ１００はメガネ型フレーム１０２に映像表示部１０３とカメラ部１０４を取り付けている。映像表示部１０３は使用者１０１の右目前方に配置され、ＬＣＤやＯＬＥＤのような表示素子１０５から射出された映像を、曲率を持って形成されパワーを有するハーフミラー１０６で折り返して使用者１０１の右目へ導く表示光学系を成している（以降、ハーフミラー１０６で折り返した映像をＨＭＤ表示映像と記す）。

表示素子１０５およびハーフミラー１０６は透明樹脂で形成されたプリズム１０７に封止されており、プリズム１０７全体は光線を透過するので、使用者１０１はプリズム１０７を通して眼前の風景を観察することができる。つまり、使用者１０１は眼前の風景とＨＭＤ表示映像を重畳して観察することが出来る。

図２を参照して、本ＨＭＤ１００を通して使用者１０１が観察するＨＭＤ表示について説明する。図２（ａ）は使用者１０１がＨＭＤ１００を通して観察できる風景２０１を表し、この風景２０１にＨＭＤ表示映像２０２が重畳されて図２（ｂ）のように観察できる。便宜上、ＨＭＤ１００を通して観察できる風景２０１の範囲を枠線２０３を用いて示し、以降、この範囲を観察視野２０４と記す。この観察視野２０４は後述するカメラ部１０４の撮像画角と略合致している。

また、本実施形態においては、ＨＭＤ表示映像２０２を図２（ｂ）のように観察視野２０４の右上に配置するが、ＨＭＤ表示映像２０２の表示位置や表示サイズがこれに限らないことはもちろんである。表示素子１０５やハーフミラー１０６を使用者１０１の視界を十分に広くカバーする大きさにすれば、制御部３０１により表示素子１０５の一部分を駆動することで、任意の位置に任意のサイズでＨＭＤ表示映像２０２を投射することができる。

ＨＭＤ表示映像２０２は、メモリ３０２に格納されたデータを基に制御部３０１が生成した映像、または送受信部３０３を介して外部から入手したデータを基に制御部３０１が生成した映像を表示可能である。また、操作部３０４の操作によって、使用者１０１の任意にＨＭＤ表示映像２０２の表示内容の切替や表示位置移動、表示サイズ変更が可能であっても良い。

なお、ＨＭＤ表示映像２０２はハーフミラー１０６を利用しているために半透過映像となるが、説明の便宜のため図中では不透過映像として表す。

さて、本ＨＭＤ１００は使用者１０１の右側頭部にカメラ部１０４を備えている。カメラ部１０４は、レンズ３０５を通して撮像素子３０６により図２（ａ）に示す観察視野２０４中の風景像を撮像するよう配置されている。カメラ部１０４で撮像された映像は、画像処理部３０７にて所定の画像処理を経て制御部３０１へ送られる。また、制御部３０１からの信号に基づいて、カメラ制御部３０８がカメラ部１０４の撮像動作制御を行う。例えば、観察視野２０４を撮像するタイミングや周期が制御される。

次に、図４および図５、図６、図７を参照してＨＭＤ表示制御の詳細を説明する。図４は、本ＨＭＤ１００の動作を説明するフローチャートである。図５（ａ）から図５（ｃ）は本ＨＭＤ１００を装着した使用者１０１と外部モニタ画面５０１との位置関係を示す図である。また、図６は、使用者１０１が本ＨＭＤ１００を通して観察できる外部モニタ画面５０１とＨＭＤ表示映像２０２の様子を表す図である。

後述するように、使用者１０１が観察できる像は使用者１０１と外部モニタ画面５０１との位置関係によって変化する。そこで、図６（ａ）は図５（ａ）、図６（ｂ）は図５（ｂ）、図７（ｃ）および図７（ｄ）は図５（ｃ）の位置関係に対応した観察像を示す。

図４のフローチャートに沿って説明する。

電源スイッチ３０９を操作して電源がＯＮとなり、本ＨＭＤ１００の動作が開始すると（Ｓ４０１）、ＨＭＤ１００全体の初期動作を行う（Ｓ４０２）。この時、後述する重なり時間ｔのカウンタ値を初期化する。

ＨＭＤ１００の準備が完了すると、表示素子１０５に映像表示を開始する（Ｓ４０３）。電源スイッチ３０９を操作して電源ＯＦＦとすると（Ｓ４０４）、表示素子１０５の映像表示を終了し（Ｓ４０５）、ＨＭＤ１００全体の終了処理を行う（Ｓ４０６）。ＨＭＤ１００が電源ＯＮの状態で動作している間、カメラ部１０４は制御部３０１からの信号に基づいた所定の時間間隔で観察視野２０４を撮像し（Ｓ４０７）、撮像した画像から外部モニタ画面５０１の有無を検出する（Ｓ４０８）。

ここで、外部モニタ画面５０１の検出は、撮像した観察視野２０４の画像中の輝度分布を評価して、周囲と所定値以上の輝度差を有する四辺形領域を抽出して行われる。例えば、図５（ａ）のように使用者１０１が外部モニタ画面５０１の斜め前方に位置する時、使用者１０１のＨＭＤ１００を通した観察視野２０４には図６（ａ）のようにＨＭＤ表示映像２０２と外部モニタ画面５０１が見えている。制御部３０１は、観察視野２０４を撮像し所定の処理が施された画像から、所定以上の輝度変化を持つエッジを４つ検出し、それらのエッジで閉じる四辺形を抽出する。

図６（ａ）では、四辺６０５、６０６、６０７、６０８がエッジ検出され、外部モニタ画面５０１の領域が四辺形として抽出される。外部モニタ画面５０１領域の四辺形が検出されると、制御部３０１は観察視野２０４における四辺形の各頂点６０１、６０２、６０３、６０４の座標を算出する。

なお、外部モニタ画面５０１の検出は、輝度情報のみならず、外部モニタ画面５０１の表示する画像の色や動きを評価することでも可能である。または、カメラ部１０４が外部モニタ画面５０１から発せられる光の特定波長を検知する方式でも良い。さらには、これらを組み合わせることで、より高い精度で外部モニタ画面５０１を検出することも可能である。

観察視野２０４内におけるＨＭＤ表示映像２０２の位置やサイズは制御部３０１で制御されていて既知であるので、外部モニタ画面５０１領域の各頂点座標６０１、６０２、６０３、６０４が算出できると、当該四辺形とＨＭＤ表示映像２０２の重なる範囲が特定できる。制御部３０１は、その重なる範囲の面積を算出する。算出された面積を、以降、重なり量Ｓと記す。図６（ａ）の場合、ＨＭＤ表示映像２０２と外部モニタ画面５０１は重なるところが無い。すなわち、重なり量Ｓはゼロとなる。重なり量Ｓは、ＨＭＤ１００を装着した使用者１０１と外部モニタ画面５０１との相対位置関係によって変化する。

次に、Ｓ４０９において、重なり量Ｓをあらかじめ定めた重なり量の閾値Ｓ１と比較評価する。図６（ａ）の場合、重なり量Ｓはゼロであり閾値Ｓ１より小さいことが明白であるので、Ｓ４１０に進み、重なり時間ｔのカウンタ値を初期化する。重なり時間ｔは、重なり量Ｓが閾値Ｓ１より大きい状態にある時間を積算するカウンタである。

Ｓ４１１に進み、現在は図６（ａ）のごとくＨＭＤ表示映像２０２を表示しているので、Ｓ４０４に戻り、電源がＯＮであれば観察視野２０４の次の撮像を行う（Ｓ４０７）。このサイクルは、Ｓ４０４において電源がＯＦＦとなるまで繰り返し行われる。

さて、使用者１０１が移動して図５（ｂ）のように外部モニタ画面５０１の正面側に回り込んだ時、使用者のＨＭＤ１００を通した観察視野２０４には、図６（ｂ）のようにＨＭＤ表示映像２０２と外部モニタ画面５０１が一部重なって見えている。ＨＭＤ表示映像２０２と外部モニタ画面５０１の重なり部をハッチング領域６０５で示す。この時の重なり量Ｓはあらかじめ定めた重なり量の閾値Ｓ１より小さいとする。従って、Ｓ４１０に進み、重なり時間ｔのカウンタ値を初期化する。Ｓ４１１に進み、図６（ｂ）のごとくＨＭＤ表示映像２０２を表示しているので、Ｓ４０４に戻り、電源がＯＮであれば観察視野２０４の次の撮像を行う（Ｓ４０７）。

使用者１０１がさらに移動して図５（ｃ）のように外部モニタ画面５０１に近づき、かつ正対位置に近づくにつれ、外部モニタ画面５０１の観察視野２０４に占める割合が増える。この時、使用者１０１のＨＭＤ１００を通した観察視野２０４には、図７（ｃ）のようにＨＭＤ表示映像２０２と外部モニタ画面５０１が一部重なって見えている。この場合のＨＭＤ表示映像２０２と外部モニタ画面５０１の画面領域の重なり部をハッチング領域６０６で示す。この重なり量Ｓはあらかじめ定めた重なり量の閾値Ｓ１より大きいとする。すると、Ｓ４１３に進み、重なり時間ｔのカウンタ値に所定値を加算する。

次に、Ｓ４１４にて重なり時間ｔの値をあらかじめ定めた重なり時間の閾値ｔ１と比較する。この時の重なり時間ｔはあらかじめ定めた重なり時間の閾値ｔ１より小さいとすると、Ｓ４０４に戻り、電源がＯＮであれば観察視野２０４の次の撮像を行う（Ｓ４０７）。再度、外部モニタ画面５０１の有無を検出し（Ｓ４０８）、図７（ｃ）と同様の閾値Ｓ１より大きい重なり量Ｓが検出されると（Ｓ４０９）、再びＳ４１３に進み、重なり時間ｔのカウンタ値に所定値を加算する。

重なり時間ｔの加算が繰り返された結果、Ｓ４１４にて重なり時間ｔの値があらかじめ定めた重なり時間の閾値ｔ１より大きくなった場合、Ｓ４１５に進み、ＨＭＤ１００は表示素子１０５の映像表示を停止する（消す）。すなわち、使用者１０１のＨＭＤ１００を通した観察視野２０４には、図７（ｄ）のように外部モニタ画面５０１全面が見えるようになる。ＨＭＤ表示映像２０２を消すことで、ＨＭＤ表示映像２０２と外部モニタ画面５０１の重なり部が無くなり、外部モニタ画面５０１の視認性が改善する。

ユーザ操作が無い限り（Ｓ４１６）、Ｓ４０４に戻り、先述と同様に観察視野２０４の次の撮像を行い（Ｓ４０７）、外部モニタ画面５０１の有無を検出する（Ｓ４０８）。Ｓ４０９において、重なり量Ｓが閾値Ｓ１より大きい状態が継続していれば、Ｓ４１３に進み、重なり時間ｔのカウンタ値に所定値を加算する。Ｓ４１４において重なり時間ｔの値は閾値ｔ１より大きいままであるから、Ｓ４１５に進み、ＨＭＤ１００は表示素子１０５の映像表示の停止を継続する。

または、Ｓ４０９において、使用者１０１が別の場所に移動するなどして重なり量Ｓが閾値Ｓ１より小さい状態に変化していれば、Ｓ４１０に進み、重なり時間ｔのカウンタ値を初期化する。Ｓ４１１に進み、現在は先にＳ４１５にてＨＭＤ表示映像２０２を停止した状態であるので、Ｓ４１２に進んでＨＭＤ表示を開始する。次にＳ４０４に戻って、電源がＯＮであれば観察視野２０４の次の撮像を行う（Ｓ４０７）。

再びＳ４０９に進み、重なり量Ｓが閾値Ｓ１より大きい状態に変化していた場合は、Ｓ４１３に進んで重なり時間ｔのカウンタ値に所定値を加算する。そして、Ｓ４１４において重なり時間ｔの値が閾値ｔ１より大きくなれば、Ｓ４１５に進んで表示素子１０５の映像表示を停止する。

このように、Ｓ４０９において重なり量Ｓが閾値Ｓ１より大きい状態が所定時間継続し、Ｓ４１３にて重なり時間ｔの加算を繰り返して閾値ｔ１より大きくなった場合、表示素子１０５の映像表示を停止する。

さらには、Ｓ４１５において表示素子１０５の映像表示を停止した後、Ｓ４１６にてユーザ操作に基づいてＨＭＤ表示を開始（再開）しても良い（Ｓ４１７）。この場合も、Ｓ４１８において重なり時間ｔを初期化してＳ４０４に戻る。

なお、重なり量の閾値Ｓ１に特段の限定はない。外部モニタ画面５０１とＨＭＤ表示映像２０２の重なりをどの程度許容するかによって適切に定めてよい。

同様に、重なり時間の閾値ｔ１にも特段の限定はない。閾値ｔ１を小さく定めれば、外部モニタ画面５０１とＨＭＤ表示映像２０２の重なりが発生した後の、ＨＭＤ表示映像２０２が消えるまでの時間が早くなる。逆に、閾値ｔ１を大きく定めれば、ＨＭＤ表示映像２０２が消えるまでの時間が長くなる。使い勝手を鑑みて適切に設定すればよい。

また、上述した実施形態において、重なり時間ｔの値が閾値ｔ１より大きくなった場合にＨＭＤ１００は表示素子１０５の映像表示を停止しＨＭＤ表示映像２０２を消すようにしているが、本発明においてＨＭＤ１００の動作はこれに限るものではない。例えば、ＨＭＤ表示映像２０２のうち、外部モニタ画面５０１の重なり部６０５、６０６の部分のみ映像を消しても良い。あるいは、重なり部６０５、６０６が無くなるように、ＨＭＤ表示映像２０２の移動または縮小を行ってもよい。このように、外部モニタ画面５０１の視認性を改善するという本発明の目的が達せられるために、ＨＭＤ表示映像２０２の表示の切り換え方は変形が可能である。

１００ ＨＭＤ、１０１ 使用者、１０３ 映像表示部、１０４ カメラ部、
１０５ 表示素子、１０６ ハーフミラー、２０２ ＨＭＤ表示映像、
２０４ 観察視野、３０１ 制御部、３０２ メモリ、３０３ 送受信部、
３０４ 操作部、３０５ レンズ、３０６ 撮像素子、３０７ 画像処理部、
３０８ カメラ制御部、３０９ 電源スイッチ、５０１ 外部モニタ画面、
６０５，６０６ 重なり部

Claims (2)

1. 情報表示領域に情報を表示する透過型のヘッドマウントディスプレイを備える表示装置において、
   前記ヘッドマウントディスプレイを透過して視認できる視野範囲を撮像する撮像手段と、
   前記撮像手段によって得られる画像から外部のモニタ画面を検出する検出手段と、
   前記外部のモニタ画面の前記視野範囲に占める領域を算出する第一の算出手段と、
   前記領域と前記ヘッドマウントディスプレイの前記情報表示領域との重なり範囲を算出する第二の算出手段と、
   前記重なり範囲が所定以上のとき、前記情報表示領域への表示を切り換える切り換え手段と、
   を備えることを特徴とする表示装置。
2. 情報表示領域に情報を表示する透過型のヘッドマウントディスプレイを備える表示装置において、
   前記ヘッドマウントディスプレイを透過して視認できる視野範囲を撮像する撮像手段と、
   前記撮像手段によって得られる画像から外部のモニタ画面を検出する検出手段と、
   前記外部のモニタ画面の前記視野範囲に占める領域を算出する第一の算出手段と、
   前記領域と前記ヘッドマウントディスプレイの前記情報表示領域との重なり範囲を算出する第二の算出手段と、
   前記重なり範囲が所定以上である経過時間を計測する計測手段と、
   前記重なり範囲と前記経過時間とが所定以上のとき、前記情報表示領域への表示を切り換える切り換え手段と、
   を備えることを特徴とする表示装置。