JP2020106587A - ヘッドマウントディスプレイ、表示方法、及び表示システム - Google Patents

Abstract

【課題】前方の景色と表示画像を適切に重畳することができるヘッドマウントディスプレイ、表示方法，及び表示システムを提供する。【解決手段】本実施の形態にかかるヘッドマウントディスプレイ１００は、表示画像を形成するための表示光と、ユーザの前方からの外光とを合成する第１ミラー１２１Ｌ、１２１Ｒと、第１ミラー１２１Ｌ、１２１Ｒの前方に配置され、外光を遮光する遮光領域と外光を透過する透過領域とを形成する遮光シャッタ１２０と、ユーザの頭部の動きを検出するヘッドトラッキング部１６０と、ヘッドトラッキング部１６０での検出結果に応じて、遮光領域と透過領域とを制御する遮光制御部１５４と、を備えたものである。【選択図】図４

Description

本発明は、ヘッドマウントディスプレイ、表示方法、及び表示システムに関する。

特許文献１には、第１及び第２アクティブシャッタを備えたヘッドマウントディスプレイが開示されている。第１モードでは、第１アクティブシャッタがオンし、第２アクティブシャッタがオフし、第２モードでは、第１アクティブシャッタがオフし、第２アクティブシャッタがオンする。第１及び第２アクティブシャッタはオンしたときに透過状態となり、オフしたときに非透過状態となる。そして、コントローラが第１モードと第２モードとを交互に切換えている。第１及び第２アクティブシャッタは液晶層を有している。

特許文献２には、慣性センサを用いて、頭部の動きを追跡するヘッドマウントディスプレイが開示されている。そして、頭部の動きに応じて、ディスプレイは、仮想現実シーンの表示を変化させている。慣性センサとしてはジャイロセンサなどが用いられている。

特表２０１８−５１７１５９号公報 特表２０１８−５０８８０５号公報

このようなヘッドマウントディスプレイでは、前方の景色に表示画像を適切に重畳することが望まれる。しかしながら、ユーザがヘッドマウントディスプレイを使用している使用環境においては、視認することが望ましい物体と望ましくない物体が混在している場合がある。このような場合、適切な表示を行うことができないおそれがある。

本開示は上記の点に鑑みなされたものであり、前方の景色と表示画像を適切に重畳することができるヘッドマウントディスプレイ、表示方法、及び表示システムを提供することを目的とする。

本実施形態にかかるヘッドマウントディスプレイは、表示画像を形成するための表示光と、ユーザの前方からの外光とを合成するコンバイナと、前記コンバイナの前方に配置され、前記外光を遮光する遮光領域と前記外光を透過する透過領域とを形成する可変遮光手段と、前記ユーザの頭部の動きを検出するヘッドトラッキング部と、前記ヘッドトラッキング部での検出結果に応じて、前記遮光領域と前記透過領域とを制御する遮光制御部と、を備えている。

表示画像を形成するための表示光と、ユーザの前方からの外光とを合成するコンバイナと、前記コンバイナの前方に配置され、前記外光を遮光する遮光領域と前記外光を透過する透過領域とを形成する可変遮光手段と、前記ユーザの頭部の動きを検出するヘッドトラッキング部と、を備えたヘッドマウントディスプレイによる表示方法であって、前記ヘッドトラッキング部での検出結果に応じて、前記遮光領域と前記透過領域とを制御するステップと、を備えている。

本開示によれば、前方の景色と表示画像を適切に重畳することができるヘッドマウントディスプレイ、表示方法、及び表示システムを提供することを目的とする。

本実施の形態にかかるヘッドマウントディスプレイの一部の構成を示す図である。 本実施の形態１にかかるヘッドマウントディスプレイの一部の機能ブロックを示す図である。 ヘッドマウントディスプレイの光学系の構成を模式的に示す図である。 実施の形態１にかかるヘッドマウントディスプレイの制御系を示す機能ブロック図である。 ヘッドトラッキングによる遮光領域と透過領域の変化を説明するための図である。 ヘッドマウントディスプレイを用いた表示システムを模式的に示す図である。 ユーザが視認する重畳画像を説明するための図である。 頭部の向きを変えた場合の重畳画像の変化を説明するための図である。 遮光領域と透過領域を一定とした場合の重畳画像を説明するための図である。 実施の形態２にかかるヘッドマウントディスプレイの制御系を示す機能ブロック図である。

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

実施の形態１．
本実施の形態にかかるヘッドマウントディスプレイ、及びその表示方法について、図を参照して説明する。図１はヘッドマウントディスプレイ１００の一部の構成を模式的に示す斜視図である。図２はヘッドマウントディスプレイ１００の一部の機能ブロックを示す図である。図１、図２では、主として、ヘッドマウントディスプレイ１００の画像表示に関する構成が示されている。なお、ヘッドマウントディスプレイ１００は、図１，２に示す構成の他に、遮光シャッタやヘッドトラッキング部等を有しているが、その説明については後述する。図１では、ヘッドマウントディスプレイ１００の内部構成が示されており、実際には、図１に示す各構成要素がカバーなどで覆われていてもよい。

以下、説明の明確化のため、ＸＹＺ３次元直交座標系を用いて説明を行う。ユーザを基準として、前後方向（奥行方向）をＺ方向、左右方向（水平方向）をＸ方向、上下方向（鉛直方向）をＹ方向とする。前方向が＋Ｚ方向、後ろ方向が−Ｚ方向、右方向を＋Ｘ方向、左方向を−Ｘ方向、上方向を＋Ｙ方向、下方向を−Ｙ方向とする。

図示しないユーザが、ヘッドマウントディスプレイ１００を装着している。ヘッドマウントディスプレイ１００は、表示素子部１０１と、フレーム１０２と、左眼用光学系１０３Ｌと、右眼用光学系１０３Ｒと、制御部１０５を備えている。制御部１０５は、制御部１０５Ｌと制御部１０５Ｒとを備えている。

フレーム１０２はゴーグル形状や眼鏡形状を有しており、図示しないヘッドバンドなどによりユーザの頭部に装着される。フレーム１０２には、表示素子部１０１、左眼用光学系１０３Ｌ、右眼用光学系１０３Ｒ、制御部１０５Ｌ、制御部１０５Ｒが取り付けられている。なお、図１では、没入型で両眼式のヘッドマウントディスプレイ１００が図示されているが、眼鏡形状を有する非没入型のヘッドマウントディスプレイや、単眼式のヘッドマウントディスプレイであってもよい。

表示素子部１０１は、左眼用表示素子１０１Ｌと右眼用表示素子１０１Ｒを備えている。左眼用表示素子１０１Ｌは、左眼用の表示画像を生成する。右眼用表示素子１０１Ｒは、右眼用の表示画像を生成する。左眼用表示素子１０１Ｌ、及び右眼用表示素子１０１Ｒはそれぞれ液晶モニタや有機ＥＬ（Electro-Luminescence）モニタなどのフラットパネルディスプレイを備えている。左眼用表示素子１０１Ｌ、及び右眼用表示素子１０１Ｒは曲面形状が可能なディスプレイでもよい。左眼用表示素子１０１Ｌと右眼用表示素子１０１Ｒは、それぞれアレイ状に配置された複数の画素を備えている。ここでアレイ状の配置とは、２次元行列の配置だけでなく、ペンタイル配列などでもよい。左眼用表示素子１０１Ｌは右眼用表示素子１０１Ｒの左側（−Ｘ側）に配置されている。

表示素子部１０１の上方（＋Ｙ側）には、制御部１０５が設けられている。制御部１０５には、外部からの映像信号、制御信号、電源が供給されている。例えは、ＨＤＭＩ（登録商標）などの有線接続、又はＷｉＦｉ（登録商標）やＢｌｕｅＴｏｏｔｈ（登録商標）等の無線接続によって、映像信号等が制御部１０５に入力される。ヘッドマウントディスプレイ１００は、映像信号を生成する映像生成部（図示せず）を備えていてもよく、制御部１０５には、映像生成部が生成した映像信号等が入力されてもよい。

制御部１０５Ｌ、制御部１０５Ｒはそれぞれ、ディスプレイの駆動回路等を備えている。制御部１０５Ｌは、映像信号、制御信号等に基づいて、左眼用画像の表示信号を生成して、左眼用表示素子１０１Ｌに出力する。これにより、左眼用表示素子１０１Ｌは、左眼用画像を表示するための表示光を出力する。制御部１０５Ｒは、映像信号、制御信号等に基づいて、右眼用画像の表示信号を生成して、右眼用表示素子１０１Ｒに出力する。これにより、右眼用表示素子１０１Ｒは、右眼用の表示画像を表示するための表示光を出力する。つまり、制御部１０５は表示信号を表示素子部１０１に出力する。

なお、表示素子部１０１は、左眼用表示素子１０１Ｌと右眼用表示素子１０１Ｒを別々の表示素子とする構成に限らず、単一の表示素子とする構成としてもよい。単一の表示素子が、左眼用の表示画像と右眼用の表示画像とを生成してもよい。この場合、表示素子部１０１は、ディスプレイの表示領域の片側の一部を用いて、左眼用画像を生成し、反対側の一部を用いて、右眼用画像を生成する。

表示素子部１０１、制御部１０５等の一部又は全部は、フレーム１０２に固定されている構成に限らず、フレーム１０２に対して脱着可能に設けられていてもよい。例えば、スマートホン又はタブレットコンピュータ等をフレーム１０２に対して取り付けることで、表示素子部１０１、制御部１０５等を実現してもよい。この場合、スマートホン等にヘッドマウントディスプレイ用の表示画像を生成するアプリケーションプログラム（アプリ）を予めインストールしておけばよい。

左眼用光学系１０３Ｌは、左眼用表示素子１０１Ｌが出力した表示光を、左眼用画像ＰＬとしてユーザの左眼ＥＬに導く。右眼用光学系１０３Ｒは、右眼用表示素子１０１Ｒが出力した表示光を、右眼用画像ＰＲとしてユーザの右眼ＥＲに導く。左眼用光学系１０３Ｌは右眼用光学系１０３Ｒの左側（−Ｘ側）に配置されている。左眼用光学系１０３Ｌは、ユーザの左眼ＥＬの前方（＋Ｚ方向）に配置されている。右眼用光学系１０３Ｒは、ユーザの右眼ＥＲの前方（＋Ｚ方向）に配置されている。ユーザは、表示素子部１０１が生成した表示画像の虚像を正面前方（＋Ｚ方向）に視認することができる。

本実施の形態にかかるヘッドマウントディスプレイ１００は、半透過型のヘッドマウントディスプレイ１００である。従って、左眼用光学系１０３Ｌ、及び右眼用光学系１０３Ｒは、後述するコンバイナを備えている。半透過型のヘッドマウントディスプレイ１００では、ユーザは表示素子部１０１からの表示光と、外光とが、左眼ＥＬ及び右眼ＥＲに入射する。よって、ユーザは、前方（＋Ｚ方向）の景色に表示画像が重畳した重畳画像を視認することができる。

ヘッドマウントディスプレイ１００は、ヘッドトラッキング等を行うために、後述するヘッドトラッキング部１６０を備えている。ヘッドトラッキング部１６０は、３軸センサや６軸センサ等の姿勢状態を検知するセンサを有している。さらに、ヘッドトラッキング部１６０は、センサ出力から移動量を推定する回路を備えている。ヘッドトラッキング部１６０は、各軸の検出結果に応じた移動量信号を制御部１０５に出力する。ヘッドトラッキング部１６０によって、ユーザの頭部の位置や向きを検出することで、表示画像を変えることができる。ヘッドマウントディスプレイ１００は、ゲーム用、エンターテインメント用、産業用、医療用、フライトシミュレータ用などの様々な用途に適用可能である。ヘッドマウントディスプレイ１００は、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）ヘッドマウントディスプレイである。

以下、左眼用光学系１０３Ｌと右眼用光学系１０３Ｒ（以下、まとめて単に光学系と称する）の例について説明する。図３は、光学系を模式的に示す図である。なお、左眼用光学系１０３Ｌと右眼用光学系１０３Ｒとは同様の構成となっているため、図３においては、左眼用光学系１０３Ｌについてのみ説明を行う。

左眼用光学系１０３Ｌは、第１ミラー１２１Ｌと第２ミラー１２２Ｌとを備えている。さらに、左眼用光学系１０３Ｌの前方（＋Ｚ方向）には遮光シャッタ１２０Ｌが配置されている。遮光シャッタ１２０Ｌは、例えば、図１で示したフレーム１０２に固定されている。前方向（＋Ｚ方向）から見て、遮光シャッタ１２０Ｌは、左眼用光学系１０３Ｌを覆うように配置されている。

第１ミラー１２１Ｌは凹面鏡となっており、第２ミラー１２２Ｌは平面鏡となっている。第１ミラー１２１Ｌ、及び第２ミラー１２２Ｌはハーフミラー等のビームスプリッタであり、入射光の一部を反射して、一部を透過する。第１ミラー１２１Ｌと第２ミラー１２２Ｌは、ユーザの左眼ＥＬの正面前方（＋Ｚ方向）に配置されている。また、第１ミラー１２１Ｌは、第２ミラー１２２Ｌの前方（＋Ｚ方向）に配置されている。第１ミラー１２１Ｌの前方（＋Ｚ方向）に遮光シャッタ１２０Ｌが配置されている。

まず、左眼用表示素子１０１Ｌからの表示光Ｌ１について説明する。左眼用表示素子１０１Ｌの表示面は、鉛直下方（−Ｙ方向）に向いている。したがって、左眼用表示素子１０１Ｌからの表示光Ｌ１は、−Ｙ方向に出射される。左眼用表示素子１０１Ｌの下方（−Ｙ方向）には、第２ミラー１２２Ｌが傾斜して配置されている。よって、第２ミラー１２２Ｌで反射した表示光Ｌ１は、前方（＋Ｚ方向）に反射される。第２ミラー１２２Ｌで反射した表示光Ｌ１は、第１ミラー１２１Ｌで反射される。

第１ミラー１２１Ｌは、後方（−Ｚ方向）に表示光Ｌ１を反射する。さらに、第１ミラー１２１Ｌは凹面鏡であり、表示光Ｌ１を左眼ＥＬに向けて集光するように、表示光Ｌ１を反射する。左眼用光学系１０３Ｌが、左眼用表示素子１０１Ｌからの表示光Ｌ１を、ユーザの左眼ＥＬに導く。光学系により、ユーザの前方（＋Ｚ方向）に虚像を表示させることができる。

ヘッドマウントディスプレイ１００が半透過型であるため、第１ミラー１２１Ｌは、外光Ｌ２と左眼用表示素子１０１Ｌからの表示光Ｌ１を合成するコンバイナとなる。第１ミラー１２１Ｌとして、ハーフミラー等のビームスプリッタを用いる。ビームスプリッタは、一部の光を反射して、一部の光を透過する。このように、コンバイナとして機能する第１ミラー１２１Ｌを設けることで、ヘッドマウントディスプレイ１００を光学シースルー方式とすることができる。図３は、光学系の一例を示すものであり、光学系は、図３の構成に限られるものではない。光学系は、表示素子部１０１からの表示光Ｌ１と外光Ｌ２とを、左眼ＥＬ及び右眼ＥＲに導くことができるものであればよい。

次に、ヘッドマウントディスプレイ１００の外部から遮光シャッタ１２０Ｌに入射する外光Ｌ２について説明する。ユーザの前方（＋Ｚ方向）からの外光Ｌ２は、遮光シャッタ１２０Ｌを通過して、第１ミラー１２１Ｌに入射する。外光Ｌ２の一部が第１ミラー１２１Ｌ、及び第２ミラー１２２Ｌを透過して、左眼ＥＬに入射する。上記のように、表示光Ｌ１の一部が第１ミラー１２１Ｌで反射して、第２ミラー１２２Ｌを介して、左眼ＥＬに入射している。したがって、コンバイナである第１ミラー１２１Ｌは、外光Ｌ２と表示光Ｌ１とを合成する。このように外光Ｌ２が遮光シャッタ１２０Ｌ、及び左眼用光学系１０３Ｌを通過して左眼ＥＬに入射する。よって、前方（＋Ｚ方向）の景色に表示画像が重畳された重畳画像をユーザが視認することができる。

遮光シャッタ１２０Ｌは、外光Ｌ２を部分的に遮光することができる。すなわち、遮光シャッタ１２０Ｌは、外光Ｌ２を遮光する遮光領域と、外光Ｌ２を透過する透過領域とを形成する。遮光シャッタ１２０Ｌの遮光領域は左眼ＥＬの視界の一部を遮る。遮光シャッタ１２０Ｌは、遮光制御信号に基づいて動作して、外光Ｌ２を遮光する。遮光シャッタ１２０Ｌは、遮光領域、及び透過領域を任意の形状に変えることができる可変遮光手段となる。

例えば、遮光シャッタ１２０Ｌは、液晶パネル等の空間変調素子であり、複数の画素を有している。遮光シャッタ１２０Ｌは、バックライト光源及びカラーフィルタがない液晶ディスプレイと同様の構成となっている。液晶パネルは、遮光制御信号に基づいて光の偏光状態を制御することで、画素毎に光を透過又は遮光することが可能となる。ここで、左眼用表示素子１０１Ｌの画素数と、遮光シャッタ１２０Ｌである液晶パネルの画素数は同じでも違っていてもよい。

具体的には、遮光シャッタ１２０Ｌでは、偏光フィルム付きの透明基板、及び液晶層等を備えている。一対の透明基板に液晶層が挟持されている。一方の透明基板の液晶層側（＋Ｚ側）の面には、透明な画素電極がアレイ状に配置されている。他方の透明基板の液晶層側（−Ｚ側）の面には透明な対向電極が配置されている。それぞれの画素の画素電極には、遮光制御信号に応じた電圧が印加される。遮光領域に対応する画素と、透過領域に対応する画素とで、遮光制御信号の電圧が異なっている。遮光制御信号に基づいて、遮光シャッタ１２０Ｌの各画素が外光Ｌ２を遮光又は透過する。

遮光領域では、外光Ｌ２が遮光シャッタ１２０Ｌで遮光されるため、表示光Ｌ１のみが左眼ＥＬに入射する。一方、透過領域では外光Ｌ２が遮光シャッタ１２０Ｌを通過するため、表示光Ｌ１と外光Ｌ２とが左眼ＥＬに入射する。なお、以下の説明では、遮光シャッタ１２０Ｌ、及び遮光シャッタ１２０Ｒをまとめて、遮光シャッタ１２０と称する。

左眼用の遮光シャッタ１２０Ｌと、右眼用の遮光シャッタ１２０Ｒとは、共通のシャッタ装置であってもよく、別々に設けられていてもよい。左眼用の遮光シャッタ１２０Ｌと、右眼用の遮光シャッタ１２０Ｒとを共通にする場合、第１ミラー１２１Ｌ、及び１２１Ｒよりも大きな１枚の液晶パネルを遮光シャッタ１２０として用いる。そして、液晶パネルを第１ミラー１２１Ｌ、１２１Ｒの前側（＋Ｚ側）に配置する。つまり、１枚の液晶パネルが、第１ミラー１２１Ｌ、１２１Ｒの全体を覆うように配置される。液晶パネルの左側（−Ｘ側）半分が遮光シャッタ１２０Ｌとなって左眼ＥＬの視界を遮る遮光シャッタ１２０Ｌとなり、右側（＋Ｘ側）半分が遮光シャッタ１２０Ｒとなって右眼ＥＲの視界を遮る遮光シャッタ１２０Ｒとなる。

左眼用の遮光シャッタ１２０Ｌと、右眼用の遮光シャッタ１２０Ｒを別々にする場合、２つの液晶パネルを用いる。一方の液晶パネルを遮光シャッタ１２０Ｌとして、第１ミラー１２１Ｌの前側（＋Ｚ側）に配置し、他方の液晶パネルを遮光シャッタ１２０Ｒとして第１ミラー１２１Ｒの前側（＋Ｚ側）に配置する。

遮光シャッタ１２０は、さらに、２ビット以上の遮光制御信号を用いることで、透過率を制御してもよい。例えば、遮光制御信号を多ビットとすることで、０％〜１００％の間で段階的に透過率を調整することができるようになる。よって、透過領域から遮光領域に向けて徐々に透過率が減少するようにすることで、遮光領域と透過領域との間の境界部分にグラデーションを設けることができる。また、遮光領域及び透過領域以外に、透過率が０％及び１００％以外となる領域を設けてもよい。

遮光シャッタ１２０は、ヘッドトラッキング部１６０のセンサにより検出された頭部の動きに基づいて動作する。具体的には、遮光シャッタ１２０の透過領域と遮光領域の位置、及び形状は、頭部の動きに基づいて可変となっている。

図４を用いて、ヘッドマウントディスプレイ１００を制御する制御系について説明する。図４は、ヘッドマウントディスプレイ１００の制御系を示す機能ブロック図である。なお、図４では、制御部１０５Ｌ、１０５Ｒをまとめて制御部１０５として図示している。つまり、制御部１０５Ｌ、１０５Ｒは同様の処理を行っているため、以下、まとめて説明を行う。

ヘッドマウントディスプレイ１００は、表示素子部１０１と、遮光シャッタ１２０と、ヘッドトラッキング部１６０と、制御部１０５と、を備えている。制御部１０５は、画像生成部１５１と、画像処理部１５２と、アドレス生成部１５３と、遮光制御部１５４とを備えている。画像生成部１５１、画像処理部１５２、アドレス生成部１５３、及び遮光制御部１５４，ヘッドトラッキング部１６０のそれぞれは、ハードウェア回路、ソフトウェアモジュール、あるいはこれらの組み合わせにより実現可能である

ヘッドトラッキング部１６０は、ユーザの頭部の動きを検出する６軸センサなどを有している。さらに、ヘッドトラッキング部１６０は、センサ出力から移動量を推定する回路を備えている。ヘッドトラッキング部１６０は、頭部の動きの検出結果に応じた移動量信号を生成する。移動量信号は、例えば、頭部の傾き角度及び移動距離等を示す値を含んでいる。ヘッドトラッキング部１６０は、移動量信号を画像生成部１５１、及びアドレス生成部１５３に出力する。ヘッドトラッキング部１６０は、一定のサンプリング時間で、頭部の動きを検出している。ヘッドトラッキング部１６０のサンプリング時間は、表示素子部１０１のフレーム周期よりも短い時間であることが望ましい。

画像生成部１５１は、移動量信号と、外部などから入力される映像信号とに基づいて、表示画像を生成する。これにより、頭部の動きに応じて、表示画像を変えることができる。画像生成部１５１は、ユーザの頭部の向き等に応じて、適切な表示画像を生成することができる。例えば、画像生成部１５１は、映像信号に基づいて表示する領域よりも十分に広い空間の全体画像を生成、又は保存している。画像生成部１５１は、移動量信号に基づいて、頭部の位置やユーザが見ている方向を特定する。画像生成部１５１は、全体画像からユーザが見ている方向の画像を切り出して、表示画像とする。画像生成部１５１は、他の公知の技術を用いて、移動量信号に基づいた表示画像を生成してもよい。

画像生成部１５１は、表示画像を画像処理部１５２に出力する。さらに、画像生成部１５１は、表示画像の同期信号をアドレス生成部１５３、及び画像処理部１５２に出力する。同期信号は、表示画像の表示タイミングを示す垂直同期信号Ｖｓｙｎｃ、又は水平同期信号Ｈｓｙｎｃである。

画像処理部１５２は、表示画像に基づいて、表示信号を生成して、表示素子部１０１に出力する。具体的には、画像処理部１５２は、表示素子部１０１の各表示画素の階調値に対する表示信号を生成する。表示素子部１０１が、表示信号に基づいて、表示光Ｌ１を発生させる。表示素子部１０１の各表示画素が、表示画像に応じた階調表示を行うことができる。これにより、ユーザが表示画像を視認することができる。

アドレス生成部１５３には、移動量信号と同期信号とが入力されている。アドレス生成部１５３は、遮光シャッタ１２０における各画素アドレスが、透過領域であるか又は遮光領域であるかを示すアドレス信号を生成する。アドレス生成部１５３は、アドレス信号を遮光制御部１５４に出力する。

アドレス生成部１５３は、遮光領域と透過領域とを制御する。例えば、アドレス生成部１５３は、初期状態における遮光領域と透過領域の画素アドレスを、ＳＲＡＭ（Static Random Access Memory）等に格納する。そして、アドレス生成部１５３は、遮光領域と透過領域を移動量信号に基づいて、変化させる。

遮光制御部１５４は、アドレス信号に基づいて遮光制御信号を生成し、遮光シャッタ１２０に出力する。例えば、遮光制御部１５４は、アドレス信号が示す画素アドレスが透過領域であれば透過を示す制御信号を、遮光領域であれば遮光を示す制御信号を、遮光制御信号として生成する。遮光シャッタ１２０は、遮光制御信号に応じた電圧を各画素電極に印加する。遮光シャッタ１２０は、透過領域では、外光Ｌ２を透過し、遮光領域では、外光Ｌ２を遮光する。さらに、遮光領域と透過領域を示す画素アドレスが、移動量信号に応じて、変化している。具体的には、アドレス生成部１５３は、移動量信号が示す実空間での移動距離や角度を、遮光シャッタ１２０の画素アドレスに変換する。例えば、両眼から遮光シャッタ１２０までの距離、遮光シャッタ１２０の大きさ、画素ピッチなどから画素アドレスを求めることができる。これにより、遮光領域と透過領域を適切に設定することができる。頭部の動きに基づいて、遮光領域と透過領域との位置や大きさを変化させることができる。なお、アドレス生成部１５３，及び遮光制御部１５４は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）により構成されていてもよい。

画像生成部１５１は、ヘッドマウントディスプレイ１００の外部に設けられてもよい。例えばヘッドマウントディスプレイ１００と有線接続、又は無線接続された外部機器に画像生成部が設けられているとする。この場合、ヘッドトラッキング部１６０は移動量信号を外部機器に設けられた画像生成部に出力する。外部機器に設けられた画像生成部は、移動量信号に基づいて表示画像を生成し、ヘッドマウントディスプレイ１００に備えられた画像処理部１５２に出力する。さらに、外部機器に設けられた画像生成部は、表示画像の同期信号をヘッドマウントディスプレイ１００に備えられたアドレス生成部１５３、及び画像処理部１５２に出力する。また、アドレス生成部１５３も同様にヘッドマウントディスプレイ１００の外部に設けられてもよい。

図５を用いて、移動量信号に応じた遮光領域と透過領域の変化について説明する。図５は、ユーザＵが正面（＋Ｚ方向）を向いている状態を初期状態として、左方向（−Ｘ方向）を向く様子を、左方向を向いた状態として示している。なお、図５では、初期状態におけるユーザ正面の絶対方向を方向Ａとしている。また、遮光領域、及び透過領域は、左眼用光学系１０３Ｌ用の遮光シャッタ１２０Ｌと、右眼用光学系１０３Ｒ用の遮光シャッタ１２０Ｒのそれぞれについて設定されるが、図では１つの遮光シャッタ１２０として簡略化して示している。

ユーザＵが正面を向いている初期状態では、遮光シャッタ１２０の中央に透過領域Ｓ１が配置され、それ以外が遮光領域Ｓ２となっている。透過領域Ｓ１は視認したい物体（後述する図６，図７の計器類１３１、操作機器１３２、及びテーブル１３４等）に応じた形状となっている。透過領域Ｓ１には、ユーザＵが視認したい物体があり、遮光領域Ｓ２には、ユーザＵが視認したくない物体（後述する図６，図７等の観葉植物１３３）がある。

ユーザＵが左方向（−Ｘ方向）を向くと、ヘッドトラッキング部１６０がその角度を検出する。そして、アドレス生成部１５３が、透過領域Ｓ１が右方向（＋Ｘ方向）に移動するようにアドレス信号を生成し、遮光制御部１５４がアドレス信号に基づいた遮光制御信号を遮光シャッタ１２０に出力する。つまり、頭部が左方向（−Ｘ方向）に傾いた分だけ、遮光シャッタ１２０上で透過領域Ｓ１が移動する。これにより、頭部の動きに関わらず、透過領域Ｓ１を方向Ａに対して一定とすることができる。遮光シャッタ１２０は、視認したくない物体を常時遮ることができる。ユーザＵは、視認したい物体のみを常時視認することができる。

このような制御を行うために、アドレス生成部１５３は、初期状態における透過領域Ｓ１及び遮光領域Ｓ２の画素アドレスを初期アドレスとしてメモリに格納している。なお、初期アドレスは、遮光シャッタ１２０において、透過領域Ｓ１と遮光領域Ｓ２の画素の位置を示す画素アドレスである。そして、アドレス生成部１５３は、移動量信号に応じて、透過領域Ｓ１及び遮光領域Ｓ２の画素アドレスを初期アドレスから変化させる。つまり、頭部の動きを打ち消す分だけ画素アドレスを変化させる。例えば、ユーザＵが向いた方向と反対方向に、透過領域Ｓ１及び遮光領域Ｓ２の画素アドレスを移動させる。また、頭部の移動に応じて、物体との距離が変わる場合、透過領域Ｓ１を拡大又は縮小してもよい。このようにすることで、遮光シャッタ１２０は、視認したくない物体からの外光Ｌ２を常時遮光することができる。よって、ユーザＵが視認したい物体のみを視認することが可能となる。

アドレス生成部１５３は、遮光領域Ｓ２と透過領域Ｓ１の初期アドレスを、各種センサを用いて、検出することができる。例えば、図示しないステレオカメラ等の光学センサにより、ユーザＵの周囲にある物体を撮像する。そして、撮像画像中において、ユーザが視認したい物体、及び視認したくない物体を特定する。視認したくない物体又は視認したい物体の位置や大きさに応じて、透過領域Ｓ１及び遮光領域Ｓ２の初期アドレスを設定することができる。さらには、ユーザＵが初期アドレスを指定してもよい。この場合、ユーザＵが図示しないタッチパネルや専用コントローラなどの入力機器を操作することで、初期アドレスを指定することができる。あるいは、ユーザの動作を検出する図示しないモーションセンサなどにより、初期アドレスを指定してもよい。このようにアドレス生成部１５３は、種々の手法を用いて、遮光領域Ｓ２と透過領域Ｓ１の初期アドレスを指定することができる。各物体とユーザＵの位置関係が定まっている環境では、予め初期アドレスをメモリに格納しておけばよい。

アドレス生成部１５３は、移動量信号に基づいて、遮光領域Ｓ２と透過領域Ｓ１とを随時更新していく。さらに、画像生成部１５１は、移動量信号に基づいて、表示画像を随時更新していく。このようにすることで、ヘッドマウントディスプレイ１００は、ユーザＵに適切な重畳画像を視認させることができる。ユーザＵは、所望の重畳画像を視認しながら、フライト訓練を行うことができる。

ヘッドマウントディスプレイ１００の使用環境と、ユーザが視認する画像について、図６、図７を用いて説明する。図６は、ユーザＵがヘッドマウントディスプレイ１００を用いた表示システムと、その使用環境を模式的に示す側面図である。図７は、遮光シャッタ１２０を用いた場合にユーザＵに視認される重畳画像を説明するための図である。図７は、ユーザＵが正面を向いた状態、つまり図５の初期状態に対応している。

ここでは、ヘッドマウントディスプレイ１００がフライトシミュレータとして利用される例について説明する。ヘッドマウントディスプレイ１００は、飛行機の操縦室の窓から見える景色を表示画像として表示する。なお、フライトシミュレータは、パイロット訓練用であってもよく、ゲーム用であってもよい。そのため、フライトシミュレータ用の表示システムは、計器類１３１、及び操作機器１３２を備えている。

図６に示すように、使用環境において、ユーザＵの前方（＋Ｚ方向）には、計器類１３１と、操作機器１３２と、観葉植物１３３と、テーブル１３４とが配置されている。テーブル１３４の上には、計器類１３１と操作機器１３２とが配置されている。計器類１３１は、飛行機の操縦室にある速度計や角度計などの計器類を模したものである。操作機器１３２は、飛行機を操縦するための操作レバー、スイッチ、及びボタンを模したものである。

ユーザＵは、計器類１３１を見ながら、操作機器１３２を操作することができる。ユーザＵの操作により、飛行機の方向や位置が変わるため、ヘッドマウントディスプレイ１００の表示画像が変化する。さらに、使用環境はフライトシミュレータ専用の部屋ではないため、テーブル１３４のさらに前方（＋Ｚ方向）には、観葉植物１３３が存在している。このような観葉植物１３３は、ユーザＵが視認することが望ましくない物体（視認不要物体）である。一方、計器類１３１、操作機器１３２、及びテーブル１３４は、ユーザが視認することが望ましい物体（視認要物体）である。

遮光シャッタ１２０は、計器類１３１、操作機器１３２、及びテーブル１３４に対応する領域を透過領域Ｓ１とし、それ以外の領域を遮光領域Ｓ２としている。つまり、遮光シャッタ１２０は、視認したい物体がある領域以外を遮光領域Ｓ２とする。透過領域Ｓ１の輪郭は、計器類１３１、操作機器１３２、及びテーブル１３４の輪郭に一致するのが望ましいが、必ずしも一致しなくてもよい。図５の遮光シャッタ１２０はテーブル１３４の脚と脚の間のわずかな領域までも遮光領域Ｓ２としており、透過領域Ｓ１の輪郭とテーブル１３４の輪郭とを一致させている。しかし遮光シャッタ１２０は、透過領域Ｓ１の輪郭を、テーブル１３４の輪郭よりも一回り拡大したものとしてもよい。ここで一回りとは、例えばテーブル１３４の輪郭を数画素ずつ広げたものとする。

初期状態において、ユーザＵが視認する重畳画像Ｖ１は図７のようになる。図７では、表示素子部１０１による表示画像を表示画像Ｐ１としている。また、ユーザＵの前方の景色、つまり、現実の景色を景色Ｒ１として示している。遮光シャッタ１２０の透過領域Ｓ１と遮光領域Ｓ２は、図５で示した初期状態と同様である。景色Ｒ１に表示画像Ｐ１を重畳した重畳画像Ｖ１をユーザＵが視認する。ユーザＵは、観葉植物１３３を排除した状態の重畳画像Ｖ１を視認することができる。ユーザＵは、観葉植物１３３を視認することなく、計器類１３１、操作機器１３２、及びテーブル１３４を視認することができる。

さらに、図７に示す初期状態から、ユーザＵが左方向を向いた状態について、図８を用いて説明する。図８では、初期状態の重畳画像を重畳画像Ｖ１とし、左方向を向いた状態の重畳画像を重畳画像Ｖ２としている。左方向（−Ｘ方向）を向いた場合、図５で示したように、透過領域Ｓ１と遮光領域Ｓ２の位置が、移動量信号に基づいて、右方向（＋Ｘ方向）に移動している。ユーザＵが頭部の向きを変えた場合でも、ユーザＵは、観葉植物１３３を視認することなく、計器類１３１、操作機器１３２、及びテーブル１３４を視認することができる。

これに対して、透過領域Ｓ１と遮光領域Ｓ２の位置が一定の場合の重畳画像を図９に示す。図９では、初期状態の重畳画像を重畳画像Ｖ１とし、左方向を向いた状態の重畳画像を重畳画像Ｖ３としている。重畳画像Ｖ１は、図８と同様になっている。しかしながら、透過領域Ｓ１と遮光領域Ｓ２の位置が一定となっているため、ユーザＵが左方向（−Ｘ方向）を向くと、計器類１３１、操作機器１３２、及びテーブル１３４が遮光領域Ｓ２に入る。ユーザＵが計器類１３１、操作機器１３２、及びテーブル１３４を視認することができなくなってしまう。さらに、遮光領域Ｓ２と透過領域Ｓ１とで、表示画像の見え方が異なる。つまり、遮光領域Ｓ２では外光Ｌ２が入射しないが、透過領域Ｓ１では外光Ｌ２が入射する。透過領域Ｓ１では現実の景色に応じて、外光Ｌ２の輝度や色が変化してしまう。このため、重畳画像Ｖ３に違和感が生じてしまう。

上記のように、アドレス生成部１５３は移動量信号に基づいて、アドレス信号を変化させ、遮光制御部１５４はアドレス信号に基づいて、遮光シャッタ１２０における透過領域Ｓ１と遮光領域Ｓ２を変化させている。現実の景色の座標空間上において、常に同じ位置を遮光することができる。これにより、視認不要物体が視認されない状態とし、かつ、視認要物体を表示画像に重畳して視認させることが可能となる。現実の景色で見せたい領域に透過領域Ｓ１を対応させ、見せたくない領域に遮光領域Ｓ２を対応させることができる。ヘッドマウントディスプレイ１００において、一部ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、一部ＡＲとする表示方法が可能となる。前方の景色と表示画像とを適切に重畳された重畳画像を表示させることができる。

さらに、本実施の形態では、遮光シャッタ１２０として液晶パネルが用いられている。遮光制御部１５４は、液晶パネルの画素毎に供給する遮光制御信号を制御しているため、透過領域Ｓ１及び遮光領域Ｓ２を任意の形状に設定することができる。これにより、使用環境に応じた領域設定が可能となる。また、ヘッドトラッキング部１６０で検出された移動量に応じて、アドレス生成部１５３が透過領域Ｓ１及び遮光領域Ｓ２の画素アドレスを変更している。よって、頭部が動いた場合でも適切な領域設定が可能となる。

表示画像の表示タイミングを示す同期信号に同期して、アドレス生成部１５３が、遮光領域Ｓ２及び透過領域Ｓ１を変化させていてもよい。遮光シャッタ１２０が透過領域Ｓ１、及び遮光領域Ｓ２を更新するタイミングが、表示画像の更新タイミングと一致している。例えば、遮光シャッタ１２０である液晶パネルのフレーム周期を、表示素子部１０１のフレーム周期と同期させることができる。これにより、透過領域Ｓ１と遮光領域Ｓ２の位置や大きさが、表示画像と同期して更新される。よって、表示における違和感を軽減することができる。もちろん、表示素子部１０１と、遮光シャッタ１２０との動作は、同期していなくてもよい。

なお、上記の説明では、透過領域Ｓ１、及び遮光領域Ｓ２を変えることができる可変遮光手段が液晶パネルを有する遮光シャッタ１２０となっていたが、可変遮光手段は、これに限定されるものではない。例えば、角度、位置、大きさの少なくとも一つが可変の遮光板を可変遮光手段として用いることができる。この場合も、アドレス生成部１５３が、移動量信号に基づいて、遮光板の角度，位置、大きさの１つ以上を変えればよい。

可変遮光手段は、物理的な遮光板を複数個備えていて、任意の遮光板を遮光状態にし、それ以外の遮光板を透過状態にできる構成であってもよい。例えば、可変遮光手段は、第１ミラー１２１Ｌ、及び第１ミラー１２１Ｒの右側（＋Ｘ側）半分をそれぞれ遮光する遮光板と、第１ミラー１２１Ｌ、及び第１ミラー１２１Ｒの左側（−Ｘ側）半分をそれぞれ遮光する遮光板との、計４個の遮光板を備える。この場合、アドレス生成部１５３は、右側（＋Ｘ側）領域と、左側（−Ｘ側）領域の各領域が、透過状態又は遮光状態を示す信号をアドレス信号とすればよい。遮光制御部１５４は、アドレス信号が遮光状態を示す場合に各領域に対応する遮光板を遮光状態に、アドレス信号が透過状態を示す場合に各領域に対応する遮光板を透過状態に制御する信号を遮光制御信号とすればよい。

アドレス生成部１５３は、視認要物体の少なくとも一部が対応する領域を透過状態とし、それ以外の領域を遮光状態とすればよい。つまり図５における初期状態においてアドレス生成部１５３は、すべての領域を遮光状態とするアドレス信号を生成し、遮光制御部１５４はすべての遮光板を遮光状態とする遮光制御信号を生成する。図５における左を向いた状態においてアドレス生成部１５３は、右側（＋Ｘ側）領域を透過状態とし、左側（−Ｘ側）領域を遮光状態とするアドレス信号を生成する。遮光制御部１５４はアドレス信号に基づいて、第１ミラー１２１Ｌ、及び第１ミラー１２１Ｒの右側（＋Ｘ側）半分を遮光する遮光板を透過状態とし、第１ミラー１２１Ｌ、及び第１ミラー１２１Ｒの左側（−Ｘ側）半分を遮光する遮光板を遮光状態とする。

実施の形態２．
実施の形態２にかかるヘッドマウントディスプレイ１００の制御系について、図１０を用いて説明する。図１０は、実施の形態２にかかるヘッドマウントディスプレイ１００の制御系を示す制御ブロック図である。実施の形態２では、ヘッドトラッキング部１６０が設けられていない点で実施の形態１と相違している。なお、ヘッドトラッキング部１６０が設けられていない点以外は、実施の形態１と同様であるため、説明を省略する。

本実施の形態では、ユーザＵが頭部を動かさないことを前提として、ヘッドマウントディスプレイを用いている。従って、遮光シャッタ１２０における透過領域Ｓ１と遮光領域Ｓ２とが一定となっている。遮光制御部１５４は、遮光シャッタ１２０において、透過領域Ｓ１に対応する画素と、遮光領域Ｓ２に対応する画素を一定としている。

図７で示したように、ユーザＵが正面を向いている場合、計器類１３１、操作機器１３２、及びテーブル１３４が透過領域Ｓ１に対応し、観葉植物１３３が遮光領域Ｓ２に対応する。ユーザＵは、観葉植物１３３を視認することなく、計器類１３１、操作機器１３２、及びテーブル１３４を視認することができる。これに対して、遮光シャッタ１２０が設けられていない場合、ユーザＵが計器類１３１、操作機器１３２、及びテーブル１３４だけでなく、観葉植物１３３を視認してしまう。

このように、本実施の形態において、視認不要物体が視認されない状態とし、かつ、視認要物体を表示画像に重畳して視認させることが可能となる。現実の景色で見せたい領域に透過領域Ｓ１を対応させ、見せたくない領域に遮光領域Ｓ２を対応させることができる。一部ＶＲ、一部ＡＲとする表示方法が可能となる。前方（＋Ｚ方向）の景色と表示画像とを適切に重畳された重畳画像を表示させることができる。

実施形態１、２における上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態１、２に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

ＥＬ 左眼
ＥＲ 右眼
１００ ヘッドマウントディスプレイ
１０１ 表示素子部
１０１Ｌ 左眼用表示素子
１０１Ｒ 右眼用表示素子
１０２ フレーム
１０３Ｌ 左眼用光学系
１０３Ｒ 右眼用光学系
１０５、１０５Ｌ、１０５Ｒ 制御部
１２０Ｌ、１２０Ｒ 遮光シャッタ
１２１Ｌ、１２１Ｒ 第１ミラー
１２２Ｌ、１２２Ｒ 第２ミラー
１５１ 画像生成部
１５２ 画像処理部
１５３ アドレス生成部
１５４ 遮光制御部
１６０ ヘッドトラッキング部

Claims (5)

1. 表示画像を形成するための表示光と、ユーザの前方からの外光とを合成するコンバイナと、
   前記コンバイナの前方に配置され、前記外光を遮光する遮光領域と前記外光を透過する透過領域とを形成する可変遮光手段と、
   前記ユーザの頭部の動きを検出するヘッドトラッキング部と、
   前記ヘッドトラッキング部での検出結果に応じて、前記遮光領域と前記透過領域とを制御する遮光制御部と、を備えたヘッドマウントディスプレイ。
2. 前記可変遮光手段が液晶パネルを備えている請求項１に記載のヘッドマウントディスプレイ。
3. 前記遮光制御部が、前記表示画像の表示タイミングを示す同期信号に同期して、前記遮光領域と前記透過領域とを変化させる請求項２に記載のヘッドマウントディスプレイ。
4. 請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイと、
   前記ヘッドマウントディスプレイが表示する前記表示画像に重畳される視認要物体と、を有する表示システム。
5. 表示画像を形成するための表示光と、ユーザの前方からの外光とを合成するコンバイナと、
   前記コンバイナの前方に配置され、前記外光を遮光する遮光領域と前記外光を透過する透過領域とを形成する可変遮光手段と、
   前記ユーザの頭部の動きを検出するヘッドトラッキング部と、を備えたヘッドマウントディスプレイによる表示方法であって、
   前記ヘッドトラッキング部での検出結果に応じて、前記遮光領域と前記透過領域とを制御するステップを備えたヘッドマウントディスプレイの表示方法。