JP2018040822A - ヘッドマウントディスプレイ、制御プログラムおよび制御方法 - Google Patents

Abstract

【構成】 ＨＭＤ１０は、ＬＣＤ１４、動きセンサ１６、映像メモリ２６および表示位置演算部３０および画像補間部３２を含み、動きセンサの出力に基づいて算出されたＨＭＤ１０の位置および向きに応じて、仮想空間におけるユーザの視点、ＬＣＤ１４および仮想ディスプレイ１００の位置関係を算出する。表示位置演算部は、視点とＬＣＤ１４の各画素１４０を通る直線Ｌが交差する仮想ディスプレイ上の各対応位置１１０を算出し、各対応位置を含む画素１００ａの各々に表示された画像データに補間処理を施して、当該画素１００ａに対応するＬＣＤ上の画素に表示（出力）する。【効果】 通常のＰＣモニタに代えてＨＭＤ１０を用いることができ、ＰＣモニタを載置するための机上などのスペースを有効に使用することができる。【選択図】 図３

Description

この発明は、ヘッドマウントディスプレイ、制御プログラムおよび制御方法に関し、特にたとえば、仮想空間にオブジェクトを表示させる、ヘッドマウントディスプレイ、制御プログラムおよび制御方法に関する。

背景技術の一例が特許文献１に開示される。この特許文献１に開示されるヘッドマウントディスプレイでは、映像メモリから高精細映像信号を読み出す際に、動き検出センサからの検知結果に応じて高精細映像信号からの一部領域の読み出し位置を移動させる。

特開平９−９３０１号公報

しかし、この背景技術のヘッドマウントディスプレイでは、視野の垂直方向の相対的な動きを検知するとともに、視野の水平方向の相対的な動きを検知して、高精細映像信号の読み出し位置を移動させるだけである。また、背景技術のヘッドマウントディスプレイでは、ユーザが前後方向に移動した場合または頭部が回転した場合にも、垂直方向または／および水平方向の相対的な動きに応じて、高精細映像信号の読み出し位置が移動されるだけである。つまり、平面的な動きにしか対応することができない。

たとえば、このような不都合を改善するために、ヘッドマウントディスプレイの前後方向の移動および回転についても検出可能な動き検出センサを設けるとともに、ヘッドマウントディスプレイに接続されたコンピュータにおいて、動き検出センサの出力に基づいて仮想カメラ（視点）の位置および方向を制御して３次元の画像処理を実行することが考えられる。この場合、たとえば、仮想空間に仮想のモニタが配置され、当該仮想のモニタに高精細映像信号に対応する映像が表示される様子が仮想カメラで撮影された（視点から見た）画像がヘッドマウントディスプレイの映像表示部に表示される。

しかしながら、このような３次元の画像処理を実行する場合には、３次元グラフィックス専用のＧＰＵを搭載する必要がある。また、背景技術のような高精細映像信号を処理する場合には、高性能なＧＰＵを用いる必要がある。いずれの場合であっても、ヘッドマウントディスプレイを含む表示システムが高価、大型になってしまうという問題がある。

それゆえに、この発明の主たる目的は、新規な、ヘッドマウントディスプレイ、制御プログラムおよび制御方法を提供することである。

この発明の他の目的は、使用者の目の前に表示装置が置かれている状況を仮想空間において再現することが可能であって、小型かつ安価で消費電力が小さい、ヘッドマウントディスプレイ、制御プログラムおよび制御方法を提供することである。

第１の発明は、ユーザの頭部に装着されるヘッドマウントディスプレイであって、表示部、動きセンサおよび表示位置演算部を備える。表示部は、たとえばＬＣＤである。ＬＣＤには、ＰＣなどの信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像が表示される。ただし、ＬＣＤに代えて、ＥＬ（Electro-Luminescence）ディスプレイが設けられていても良い。動きセンサは、基準位置および基準方向に対するヘッドマウントディスプレイの位置および方向を検出するためのセンサである。ただし、ヘッドマウントディスプレイはユーザの頭部に装着されるため、ユーザの視点の位置および向きを検出するためのセンサとも言える。たとえば、動きセンサは、加速度センサおよびジャイロセンサを含む。表示位置演算部は、ヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および表示部の各第１画素を通る直線が仮想ディスプレイと交差する各交差位置（対応位置）を算出する。そして、表示部は、表示位置演算部によって算出された各交差位置を含む各第２画素に表示された画像の各々を、対応する第１画素の各々に表示する。

第１の発明によれば、表示位置演算部によって算出された各交差位置を含む各第２画素に表示された画像の各々を、対応する第１画素の各々に表示するので、ユーザの動きに応じて、ユーザの視点およびＬＣＤの位置および向きを変化させることにより、ユーザの目の前に表示装置が置かれている状況を再現することができる。したがって、ＰＣモニタを載置するための机上などのスペースを有効に使用することができる。また、第１の発明によれば、ヘッドマウントディスプレイを小型かつ安価で構成するとともに、演算量が少ないので、ヘッドマウントディスプレイの消費電力を低減できる。

第２の発明は、第１の発明に従属するヘッドマウントディスプレイであって、表示位置演算部によって算出された各交差位置に対応する各第２画素を周囲の第２画素を用いて補間する画像補間部をさらに備える。

第２の発明によれば、各交差位置に対応する各第２画素を周囲の第２画素を用いて補間するので、ＬＣＤに仮想ディスプレイの画像を適切に表示させることができる。

第３の発明は、第１の発明に従属するヘッドマウントディスプレイであって、信号出力機器から複数の映像信号が入力され、仮想空間には、複数の映像信号に対応する複数の映像をそれぞれ表示する複数の仮想ディスプレイが配置される。

第３の発明によれば、仮想空間に複数の仮想ディスプレイが配置されるので、複数のモニタを配置して作業を行っている状況を再現することができる。このため、複数のモニタを載置するための机上などのスペースを有効に使用することができる。

第４の発明は、第３の発明に従属するヘッドマウントディスプレイであって、動きセンサの出力に基づいて、複数の映像信号に対応する複数の映像のうち、ＬＣＤに表示させる一部の映像を選択する映像選択部をさらに備える。

第４の発明によれば、ＬＣＤに表示させる一部の映像を選択することができるので、ユーザが所望の画像を見ることができる。

第５の発明は、第３または第４の発明に従属するヘッドマウントディスプレイであって、表示部は、視点から見た場合に、複数の仮想ディスプレイが重なるとき、視点に近い仮想ディスプレイの画像を表示する。

第５の発明によれば、複数の仮想ディスプレイが重なるとき、視点に近い仮想ディスプレイの画像を表示するので、実際に複数のモニタが配置されている状況と同じように表示することができる。

第６の発明は、第３の発明に従属するヘッドマウントディスプレイであって、信号出力機器は、ヘッドマウントディスプレイの前方を撮像するカメラを含み、複数の映像信号のうちの一つが、カメラによって撮像された映像に対応する画像信号である。

第６の発明によれば、ＬＣＤに表示される映像と同時に、カメラで撮像した画像をＬＣＤに表示するので、たとえば、仮想ディスプレイに表示された資料とともに、ユーザの周辺に置かれた他の資料などを参照することができる。

第７の発明は、第６の発明に従属するヘッドマウントディスプレイであって、表示部は、カメラによって撮影された画像を仮想ディスプレイの画像の背景画像として表示する。

第７の発明によれば、カメラで撮像した画像を背景画像としてＬＣＤに表示するので、ヘッドマウントディスプレイを装着した状態でも、周囲の状況を視認することができる。したがって、ユーザが移動する場合にも安全である。

第８の発明は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御プログラムであって、ヘッドマウントディスプレイのコンピュータを、信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像を表示する表示部、基準位置および基準方向に対するヘッドマウントディスプレイの位置および方向を検出するための動きセンサ、および動きセンサで検出されたヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および表示部の各第１画素を通る直線が仮想ディスプレイと交差する各交差位置を算出する表示位置演算部として機能させ、表示部は、表示位置演算部によって算出された各交差位置を含む各第２画素に表示された画像の各々を、対応する第１画素の各々に表示する。

第９の発明は、表示部を備え、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、ヘッドマウントディスプレイのコンピュータは、（ａ）信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像を表示部に表示させ、（ｂ）基準位置および基準方向に対するヘッドマウントディスプレイの位置および方向を検出し、そして（ｃ）ステップ（ｂ）で検出されたヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および表示部の各第１画素を通る直線が仮想ディスプレイと交差する各交差位置を算出し、ステップ（ａ）は、ステップ（ｃ）によって算出された各交差位置を含む各第２画素に表示された画像の各々を、対応する第１画素の各々に表示させる。

第８および第９の各発明においても、第１の発明と同様に、ＰＣモニタを載置するための机上などのスペースを有効に使用することができる。

この発明によれば、使用者の目の前に表示装置が置かれている状況を仮想空間において再現することが可能であって、小型かつ安価で消費電力が小さいヘッドマウントディスプレイを提供することができる。

図１はこの発明の一実施例であるＨＭＤを装着したユーザを上から見た平面図である。 図２は図１に示すＬＣＤの構成を示す正面図である。 図３は図１に示すＨＭＤの電気的な構成を示すブロック図である。 図４は表示装置に入力される映像信号の一例を示す図である。 図５は映像メモリに格納されるデータの一部の例を示す図である。 図６は仮想空間を上側から見た場合のユーザの視点、ＬＣＤおよび仮想ディスプレイの位置関係を示す図解図である。 図７は仮想空間を右側から見た場合のユーザの視点、ＬＣＤおよび仮想ディスプレイの位置関係を示す図解図である。 図８は視点、ＬＣＤ上の或る画素およびこの画素に対応する仮想ディスプレイ上の画素の関係を示す図解図である。 図９は画像補間部における補間処理を説明するための図解図である。 図１０は第２実施例におけるＨＭＤの電気的な構成を示すブロック図である。 図１１は第２実施例の映像メモリにおけるデータの書込みおよび読出しのタイミングを示す図である。 図１２は第２実施例のＬＣＤの表示例を示す図である。 図１３は第３実施例におけるＨＭＤを装着したユーザを上から見た平面図である。 図１４は第３実施例におけるＨＭＤの電気的な構成を示すブロック図である。 図１５は第４実施例におけるＨＭＤの電気的な構成を示すブロック図である。

［第１実施例］
図１はこの発明の一実施例であるヘッドマウントディスプレイ（以下、「ＨＭＤ」という）１０およびこのＨＭＤ１０を装着したユーザを上から見た平面図である。図１を参照して、ＨＭＤ１０は、使用者（ユーザ）の頭部に装着される。

ＨＭＤ１０は、筐体１２、ＬＣＤ１４、動きセンサ１６および制御部２０を備える。また、図示は省略するが、ＨＭＤ１０は、ＰＣなどの外部の信号出力機器と通信するための通信手段を備える。ＨＭＤ１０の通信手段としては、通信ケーブルのような有線接続手段を用いても良いし、Ｗｉ−Ｆｉ等を利用した無線ＬＡＮあるいは近距離無線通信のような無線接続手段を用いてもよい。

筐体１２は、動きセンサ１６、制御部２０および通信手段などのＨＭＤ１０の各コンポーネントを収容する部材である。また、図示は省略するが、筐体１２には、ＨＭＤ１０をユーザの頭部に固定するためのヘッドバンドなどの固定用部材が設けられる。この固定用部材によって、ＨＭＤ１０がユーザの頭部に固定される。さらに、筐体１２には、ＨＭＤ１０の主電源をオン／オフするための主電源ボタンが設けられる。

ＬＣＤ１４は、ＨＭＤ１０を装着したユーザの目の前方に配置され、ＨＭＤ１０の表示部として機能する。このＬＣＤ１４に代えて、ＥＬ（Electro-Luminescence）ディスプレイがＨＭＤ１０に設けられていても良い。ＬＣＤ１４は、平板状であり、正面から見た場合に矩形形状に形成される。ただし、ＬＣＤ１４は曲面状のものを用いることもできる。また、ＬＣＤ１４の表示面（表示領域）の大きさは、ＨＭＤ１０に搭載可能な大きさであり、たとえば２〜６インチ程度である。また、ＬＣＤ１４では、解像度に応じた複数の画素１４０が格子状に配列される。

図示は省略するが、一般的には、ＬＣＤ１４の表示面（表示領域）は、ユーザの左右の目に対応して、左右の２つの領域（左目の領域と右目の領域）に分離される。そして、ＬＣＤ１４に映像ないし画像を表示する場合には、各領域についての画像データが生成および出力される。ただし、この第１実施例では、ＬＣＤ１４の表示面（表示領域）の全体を単眼で見ている場合について説明する。

図２は図１に示すＬＣＤ１４の表示面（表示領域）を示す正面図である。第１実施例では、ＬＣＤ１４のアスペクト比は４：３である。たとえば、ＬＣＤ１４では、縦方向（上下方向）にｈｖ個の画素１４０が配列されるとともに、横方向（左右方向）にｈｈ個の画素１４０が配列される。ただし、この第１実施例では、各画素１４０の縦の長さはｐｖであり、横の長さはｐｈである。

動きセンサ１６は、ＨＭＤ１０に内蔵され、ＨＭＤ１０の位置および向きの変化を検出するためのセンサである。ただし、動きセンサ１６は、ユーザの頭部に装着されるため、ユーザの視点の位置および視線の向きを検出するためのセンサとも言える。具体的には、動きセンサは、ユーザの頭部（ＨＭＤ１０）の左右方向、上下方向および前後方向の移動およびユーザの頭部（ＨＭＤ１０）の向きを検出（算出）する。ただし、ユーザの頭部（ＨＭＤ１０）の基準の位置および基準の方向は、仮想空間において予め設定されている。この基準の位置からの移動量および基準の方向に対する回転量が動きセンサ１６の出力に基づいて算出される。

たとえば、動きセンサ１６は、加速度センサおよびジャイロセンサを含む。加速度センサとしては、静電容量式の加速度センサを用いることができる。この第１実施例では、加速度センサは、ＨＭＤ１０の左右の軸方向の加速度、上下の軸方向の加速度および前後の軸方向の加速度のそれぞれを検出する３軸の加速度センサである。また、ジャイロセンサとしては、圧電振動型のジャイロセンサを用いることができる。この第１実施例では、ジャイロセンサは、ＨＭＤ１０の左右方向の軸周りの角速度、上下方向の軸周りに角速度および前後方向の軸周りの角速度のそれぞれを検出する３軸のジャイロセンサである。

また、加速度センサに代えて、ビーコンまたは無線ＬＡＮを用いて、ユーザの頭部（ＨＭＤ１０）の移動量が算出（検出）されるようにしても良い。たとえば、無線ＬＡＮを用いる場合には、複数のアクセスポイントと通信する際の電波強度（信号強度）に応じてＨＭＤ１０と複数のアクセスポイントとの距離が算出され、各アクセスポイントとの距離に基づいてＨＭＤ１０の位置が算出される。

図示は省略するが、制御部２０は、たとえば、汎用のマイクロコンピュータと不揮発性メモリを有する。この不揮発性メモリまたはＨＭＤ１０の記憶部(図示せず)には、ＨＭＤ１０が表示可能な映像信号の種類(解像度など)を示す固有情報が記憶される。信号出力機器は、ＨＭＤ１０から固有情報を取得し、ＨＭＤ１０が表示可能な映像信号を出力する。

図３は図１に示すＨＭＤ１０の電気的な構成を示すブロック図である。図３を参照して、ＨＭＤ１０の制御部２０は、たとえば、マイクロコンピュータであり、同期分離部２２、書込み制御部２４、映像メモリ２６、読出し制御部２８、表示位置演算部３０、画像補間部３２および同期生成部３４を含む。

同期分離部２２は、信号出力機器から入力された映像信号に含まれる連続したフレームのデータから、画像データ（映像データ）と、その画像データのフレーム、垂直位置および水平位置を示す同期信号とを分離する。図４はＨＭＤ１０に入力される映像信号の一例を示す図である。ただし、図４では、１６００×１２００のＵＸＧＡの映像信号が入力される場合を示す。図４に示すように、同期分離部２２に入力される映像信号には、画像データの存在範囲を示すデータイネーブル信号および画像データの水平方向のライン毎のデータに対応する信号が含まれる。図４に示す例では、映像信号は、ＵＸＧＡ（１６００×１２００画素）の解像度であり、０ライン目（最も上側のライン）から１１９９ライン目（最も下側のライン）までのデータに対応する信号が含まれる。また、各ラインのデータには、水平方向の画素毎のデータが含まれる。図４に示す例では、各ラインのデータには、０番目の画素（最も左側の画素）から１５９９番目の画素（最も右側の画素）までのデータが含まれる。

なお、図４に示す映像信号は一例であり、映像信号の解像度は、仮想空間に設けるモニタで表示可能な解像度であれば、他の解像度であっても構わない。

同期分離部２２で分離された画像データは、その画像データを構成する画素のデータ毎に映像メモリ２６に入力される。また、同期分離部２２で分離された同期信号は、書込み制御部２４に入力される。

図３に戻って、書込み制御部２４は、同期分離部２２で分離された同期信号に応じて、画像データの各画素のデータが映像メモリに格納される位置を示すメモリアドレス（図５参照）を画像データの各画素のデータについて生成する。

映像メモリ２６は、同期分離部２２で分離された画素のデータを、書込み制御部２４で生成されたその画素のデータに対応するメモリアドレスが示す位置に格納する。ただし、各画素の色毎のデータにメモリアドレスが割り当てられる。図５は映像メモリ２６に格納されるデータの一部の例を示す図である。この図５に示すデータは、各画素の色毎のデータであり、各データにメモリアドレスが割り当てられる。

ただし、各データにおいて左側に記載されるアルファベットは、それぞれ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のデータであることを示す。また、括弧内の左側の数字は、フレーム番号を示す。括弧内の中央の数字は、何番目の水平ラインかを示す。括弧内の右側の数字は、何番目の垂直ラインかを示す。たとえば、Ｒ（０、１、０）のデータは、フレーム０、１番目の水平ライン、０番目の垂直ラインの画素の赤色のデータを示す。このように、メモリアドレスが指定されることによって、指定されたメモリアドレスに対応する画素のデータが指定される。

また、映像メモリ２６は、ループカウンタを使用して複数フレームのデータを格納できるようにしてある。さらに、読出し制御部２８からの要求に基づき、指定されたメモリアドレスのデータが映像メモリ２６から読み出される。映像メモリ２６から読み出されたデータは、画像補間部３２に出力される。

図３に戻って、読出し制御部２８は、後述する表示位置演算部３０の演算結果に応じて、必要なデータのメモリアドレスを生成して、映像メモリ２６に出力する。ただし、読出し制御部２８は、後述する同期生成部３４で生成された同期信号に応じて、映像メモリ２６からデータが読み出されるタイミングを制御する。

表示位置演算部３０は、動きセンサ１６の出力に基づいて、ヘッドマウントディスプレイ１０のＬＣＤ１４のどの画素１４０（表示位置）に、映像信号に含まれるどの画像データ（画素１００ａのデータ）を表示するかを計算する。つまり、映像信号に含まれる各画素１００ａのデータのＬＣＤ１４における表示位置の情報（位置情報）が計算される。なお、表示位置（位置情報）を計算する方法については、後で詳細に説明する。

画像補間部３２は、表示位置演算部３０で計算された位置情報を取得し、取得した位置情報に対応する画像データ（各画素１００ａのデータ）であって、映像メモリ２６から出力される画像データに補間処理を施す。なお、補間処理については、後で詳細に説明する。

同期生成部３４は、映像メモリ２６から出力される画像データをＬＣＤ１４に出力（表示）する場合の同期信号を生成して、読出し制御部２８および画像補間部３２に出力する。

ここで、第１実施例で想定される仮想ディスプレイ１００およびＬＣＤ１４の各画素１４０に表示されるデータについて説明する。図６はこの第１実施例で想定される仮想ディスプレイ１００と、ユーザの視点およびＬＣＤ１４との位置関係を上側から見た図解図である。図７はこの第１実施例で想定される仮想ディスプレイ１００と、ユーザの視点およびＬＣＤ１４との位置関係を右側から見た図解図である。ただし、視点、ＬＣＤ１４および仮想ディスプレイ１００は、３次元の仮想空間に配置され、仮想空間における３次元座標で管理される。また、図６および図７は、後述するように、視点、ＬＣＤ１４の中心Ｐ１および仮想ディスプレイ１００の中心Ｐ２が一直線上に並び、視点とＬＣＤ１４との距離が第１所定距離であり、視点と仮想ディスプレイ１００との距離が第２所定距離の場合について示してある。以下、この位置関係を「基準の位置関係」と呼ぶことがある。

図６および図７に示すように、ユーザの視点の前方に、第１所定距離ｄ１（たとえば、数ｃｍ）を隔てて、ＨＭＤ１０のＬＣＤ１４が設けられる。第１実施例では、ユーザが視線を正面に向けている場合において、ユーザの視線（以下、「基準の視線」ということがある）がＬＣＤ１４の中心Ｐ１を通ると仮定してある。ユーザはＨＭＤ１０を装着するので、ユーザが移動したり、頭部を動かしたりした場合であっても、この第１所定距離ｄ１は固定である。

また、図６および図７に示すように、ユーザが正面を向いている場合に、ユーザの視点の前方に、第１所定距離ｄ１よりも長い第２所定距離ｄ２（たとえば、７０〜８０ｃｍ）を隔てて、仮想ディスプレイ１００が設置される。この第１実施例では、ユーザの基準の視線が仮想ディスプレイ１００の中心Ｐ２を通るように、仮想ディスプレイ１００の上下方向および左右方向の位置が決定される。

ただし、仮想ディスプレイ１００が配置される位置は一例であり、限定されるべきでない。視点との関係で適宜設定可能である。

たとえば、成人のユーザがＨＭＤ１０を使用することを想定し、ＬＣＤ１４の表示面の大きさおよび第１所定距離ｄ１は設定される。一般的な成人の水平方向の視界（視野角θ）は１５０°であり、垂直方向の視界（視野角α）は１２０°である。したがって、第１実施例では、視野角θが１５０°に設定されるとともに、視野角αが１２０°に設定されるように、ＬＣＤ１４の表示面の大きさ（一方の領域の大きさ）および第１所定距離ｄ１が設定される。

第１実施例では、仮想ディスプレイ１００に、信号出力機器から入力された映像信号に対応する映像（画像）が表示されると仮定し、その場合に、ユーザの視界に相当する範囲の画像をＨＭＤ１０のＬＣＤ１４に表示するようにしてある。

したがって、ＨＭＤ１０を装着したユーザが正面を見ている場合には、仮想ディスプレイ１００に表示された映像（画像）を見ることができる。ただし、仮想ディスプレイ１００は、３次元の仮想空間において表示される映像の位置および大きさを規定するためのものである。したがって、仮想空間において仮想ディスプレイ１００に実際に映像が表示されている訳ではなく、仮想ディスプレイ１００に相当する範囲に信号出力機器から入力された映像信号に対応する映像（画像）が表示される。

また、ＨＭＤ１０の使用を開始するとき（リセットしたときも同じ）には、ユーザが正面を向いた状態が仮定される。このとき、ユーザの視点、ＬＣＤ１４の中心Ｐ１および仮想ディスプレイ１００の中心Ｐ２が一直線に並ぶ(基準の位置関係になる）状態が仮定される。その後は、ＨＭＤ１０に搭載された動きセンサ１６の出力に応じて、視点およびＨＭＤ１０（ＬＣＤ１４）の位置および向きが変化され、その変化（視線の移動）に応じて、ＬＣＤ１４に表示される画像も変化される。ただし、ここでは、ユーザの視界の変化によって、ユーザが見える範囲の画像が変化されることを意味し、仮想ディスプレイ１００に表示される映像信号に含まれる映像ないし画像の内容が変化されるという意味ではない。

なお、図６に示すように、水平方向においては、範囲Ｈの外側については、仮想ディスプレイ１００の範囲外となり、図７に示すように、垂直方向においては、範囲Ｖの外側については、仮想ディスプレイ１００の範囲外となる。このため、第１実施例では、仮想ディスプレイ１００の範囲外については、青色や黒色などの単色の背景画像を表示するようにしてある。

ただし、ＨＭＤ１０を装着したユーザが移動した場合、仮想空間におけるユーザの視点が移動する。この場合、仮想空間におけるユーザの視点と仮想ディスプレイ１００との位置関係が変化する。たとえば、仮想空間における仮想ディスプレイ１００の位置がユーザの視点に近くなると、ＬＣＤ１４上の仮想ディスプレイ１００は大きく表示される。また、仮想空間における仮想ディスプレイ１００の位置がユーザの視点から遠くなると、ＬＣＤ１４上の仮想ディスプレイ１００は小さく表示される。つまり、ＬＣＤ１４に表示される仮想ディスプレイ１００の水平方向の大きさ（範囲Ｈ）および仮想ディスプレイ１００の垂直方向の大きさ（範囲Ｖ）が変化する。

また、仮想空間における仮想ディスプレイ１００の位置によっては、ＬＣＤ１４上の仮想ディスプレイ１００の一部がＬＣＤ１４の表示領域からはみ出すことがある。この場合、図示は省略するが、ＬＣＤ１４の表示領域からはみ出した部分は、ユーザの視界の外であるため、ユーザから見えなくてもよい。

なお、仮想ディスプレイ１００のサイズは、予め設定されており、たとえば、１７〜２４インチである。ただし、仮想ディスプレイ１００のサイズは、変更可能にされている。たとえば、ＨＭＤ１０の筐体１２に仮想ディスプレイ１００のサイズを変更するためのボタン（サイズ変更ボタン）が設けられる。この場合、ユーザによってサイズ変更ボタンが操作されると、仮想ディスプレイ１００のサイズが段階的に変更される。たとえば、仮想ディスプレイ１００のサイズは、映像信号の解像度に応じて変更される。したがって、映像信号の解像度を自動的に検知して、仮想ディスプレイ１００のサイズを自動的に変更してもよい。

ここで、上述したように、視点の前方にＬＣＤ１４が配置され、ＬＣＤ１４のさらに前方に仮想ディスプレイ１００が配置されるため、基本的には、ＬＣＤ１４の一画素１４０に対応する仮想ディスプレイ１００の画素１００ａは複数である。つまり、視点からＬＣＤ１４の一画素１４０を通して仮想ディスプレイ１００を見た場合、複数の画素１００ａが含まれる。また、この第１実施例では、ユーザが前後方向に移動したことに応じて、視点と仮想ディスプレイ１００との距離が変化する。したがって、ＨＭＤ１０のＬＣＤ１４に表示される仮想ディスプレイ１００の大きさが拡大または縮小される。

このため、この第１実施例では、バイキュービック法により、画素１４０に表示する画素１００ａの輝度を補間（補正）するようにしてある。

簡単に説明すると、まず、ユーザの視点、ＬＣＤ１４および仮想ディスプレイ１００の位置関係に応じて、ＬＣＤ１４の各画素１４０に対応する仮想ディスプレイ１００上の各位置（対応位置）１１０の位置座標（位置情報）が演算される。

ただし、上述したように、動きセンサ１６の出力に基づいて、視点およびＬＣＤ１４の位置および向きが変化され、ユーザの視点、ＬＣＤ１４および仮想ディスプレイ１００の位置関係は、視点およびＬＣＤ１４の位置および向きが変化されることに応じて、基準の位置関係から変化される。また、各対応位置１１０は、ユーザの視点とＬＣＤ１４の各画素１４０とを通る直線Ｌが交差する仮想ディスプレイ１００上の各位置（画素１００ａ）である。ただし、視点の向きは視線の向きを意味する。以下、この明細書において同じである。

次に、各対応位置１１０を含む仮想ディスプレイ１００の各画素１００ａと、各画素１００ａの周囲の画素１００ａを用いて補間処理が実行され、ＬＣＤ１４の各画素１４０に表示する画像の階調が算出される。以下に、詳細な処理方法を説明する。

まず、ＬＣＤ１４の各画素１４０に対応する仮想ディスプレイ１００の各対応位置１１０を求める方法を説明する。

図８はＬＣＤ１４の或る画素１４０に対応する仮想ディスプレイ１００上の位置を示す図解図である。図８に示す場合において、ＬＣＤ１４が矩形形状の場合には、仮想空間におけるユーザの視点の座標を(x_eye,y_eye,z_eye)と表現し、視点からＬＣＤ１４を見た場合において、ＬＣＤ１４の表示面の左上の点（画素）Ａの座標を(x_luh,y_luh,z_luh)と表現し、ＬＣＤ１４の表示面の右上の点Ｂの座標を(x_ruh,y_ruh,z_ruh)と表現し、ＬＣＤ１４の表示面の左下の点Ｃの座標を(x_ldh,y_ldh,z_ldh)と表現する。この場合、ＬＣＤ１４の表示面の右下の点Ｄの座標は(x_ruh+x_ldh-x_luh,y_ruh+y_ldh-y_luh,z_ruh+z_ldh-z_luh)と表現することができる。

また、ＬＣＤ１４の水平の解像度（画素数）をH_ppih、垂直の解像度をV_ppihとすると、ＬＣＤ１４の或る画素１４０(h_pixh,v_pixh)の仮想空間における座標(X_pixh(h_pixh,v_pixh), Y_pixh(h_pixh,v_pixh), Z_pixh(h_pixh,v_pixh))は、以下の数１の方程式で求められる。

［数１］
X_pixh(h_pixh,v_pixh)=(h_pixh+0.5)*(x_ruh-x_luh)/H_ppih+(v_pixh+0.5)*(x_ldh-x_luh)/V_ppih+x_luh
Y_pixh(h_pixh,v_pixh)=(h_pixh+0.5)*(y_ruh-y_luh)/H_ppih+(v_pixh+0.5)*(y_ldh-y_luh)/V_ppih+y_luh
Z_pixh(h_pixh,v_pixh)=(h_pixh+0.5)*(x_ruh-x_luh)/H_ppih+(v_pixh+0.5)*(x_ldh-x_luh)/V_ppih+x_luh
ただし、数１では、ＬＣＤ１４の或る画素１４０において、輝度（画素）の中心と座標のグリッドがずれているため、画素１４０の値に０．５を加算してある。なお、仮想空間においては、画素１４０の横の長さｐｈがＸ軸方向における長さ「１」に相当し、画素１４０の縦の長さｐｖがＹ軸方向における長さ「１」に相当する。

上述したユーザの視点の座標と、数１で定義されるＬＣＤ１４の画素１４０の空間座標に基づいて、ユーザの視点とＬＣＤ１４の各画素１４０とを結ぶ直線Ｌ（図６〜図８参照）の方程式は、数２で表すことができる。

［数２］
(x-x_eye)/(X_pixh(h_pixh,v_pixh)-x_eye)
=(y-y_eye)/(Y_pixh(h_pixh,v_pixh)-y_eye)
=(z-z_eye)/(Z_pixh(h_pixh,v_pixh)-z_eye)
また、視点から見た場合において、仮想ディスプレイ１００の左上の点（画素）Ｒの座標を(x_lud,y_lud,z_lud)と表現し、仮想ディスプレイ１００の右上の点Ｓの座標を(x_rud,y_rud,z_rud)と表現し、仮想ディスプレイ１００の左下の点Ｔの座標を(x_ldd,y_ldd,z_ldd)と表現する。この場合、仮想ディスプレイ１００の右下の点Ｕの座標は(x_rud+x_ldd-x_lud,y_rud+y_ldd-y_lud,z_rud+z_ldd-z_lud)と表現することができる。このとき、仮想ディスプレイ１００の平面の方程式は、下記の数３で示される。

［数３］
a_disp*x+B_disp*y+C_disp*z+D_disp=0
a_disp=(y_rud-y_lud)(z_ldd-z_lud)-(y_ldd-y_lud)(z_rud-z_lud)
B_disp=(z_rud-z_lud)(x_ldd-x_lud)-(z_ldd-z_lud)(x_rud-x_lud)
C_disp=(x_rud-x_lud)(y_ldd-y_lud)-(x_ldd-x_lud)(y_rud-y_lud)
D_disp=-(a_disp*x_lud+B_disp*y_lud+C_disp*z_lud)
上記の数２および数３から、視点と各画素１４０を結ぶ直線Ｌの各々が仮想ディスプレイ１００と交差する点を算出することにより、ＬＣＤ１４の各画素１４０に対応する仮想ディスプレイ１００上の各対応位置１１０が求められる。第１実施例では、ＬＣＤ１４の各画素１４０には、対応位置１１０を含む画素１００ａに表示される画像が表示される。

なお、仮想空間における視点およびＬＣＤ１４の位置及び向きの算出処理および各対応位置１１０の算出処理は、表示位置演算部３０で実行される。

次に、画像補間部３２で実行されるバイキュービック法を用いた補間処理について説明する。図９は画像補間部３２における補間処理を説明するための図解図である。バイキュービック法による補間処理では、求める位置(x,y)の周辺の４×４画素（１６画素）を使って、求める位置(x,y)すなわち対応位置１１０の輝度値が３次式で補間される。

図９に示すように、説明の都合上、対応位置１１０を含む周辺の画素１００ａのそれぞれの中心点（輝度の中心）に、座標(0,0)〜(3,3)が割り当てられる。ただし、図９は視点から見た場合の仮想ディスプレイ１００の一部であり、横方向にＸ軸が設定され、縦方向にＹ軸が設定される。また、図９においては、右方向がＸ軸のプラス方向に設定され、下方向がＹ軸のプラス方向に設定される。

また、図９においては、仮想ディスプレイ１００の各画素１００ａの中心点と対応位置１１０との仮想ディスプレイ１００上におけるｘ方向の距離（差分）をｄｘとし、ｙ方向の距離（差分）をｄｙとする。

このように設定した場合、対応位置１００を含む画素１１０ａすなわち求める位置(x,y)の輝度の階調tone(x,y)は下記の数４で求められる。

また、この数４に用いられる重みweightは、下記の数５で求められる。ただし、数５で求められる重みweightは、たとえばＬＣＤ１４のシャープネスの設定が変更されることなどによって変化する。また、数５における“ｄ”は、上記の“ｄｘ”または“ｄｙ”である。

この補間処理は、ＬＣＤ１４の全ての画素１４０の対応位置１１０を含む画素１００ａについて行われる。ただし、上述した補間処理は、単色の場合を示す。このため、画素１００ａが複数の色で構成される場合には、色ごとに上記の補間処理が行われる。

なお、上述したように、ユーザの視点とＬＣＤ１４の画素１４０を通る直線Ｌが仮想ディスプレイ１００と交差しない場合には、当該画素１４０には、仮想ディスプレイ１００の背景画像が表示される。

この第１実施例によれば、ユーザの動きに応じて、ユーザの視点およびＬＣＤ１４の位置および向きを変化させることにより、ユーザの視点、ＬＣＤ１４および仮想ディスプレイ１００の位置関係を更新し、ユーザの視点とＬＣＤ１４の画素１４０を通る直線Ｌが交差する仮想ディスプレイ１００上の対応位置１１０を含む画素１１０ａを当該画素１４０に表示し、この処理を各画素１４０について実行するだけなので、通常のＰＣモニタに代えてＨＭＤ１０を用いることができる。したがって、ＰＣモニタを載置するための机上などのスペースを有効に使用することができる。

また、第１実施例によれば、大型かつ高性能で消費電力の大きいＧＰＵをＨＭＤ１０に搭載したり、そのような高性能なＧＰＵを搭載するＰＣを用いたりする必要が無い。このため、ＨＭＤ１０を小型かつ安価で構成することができる。また、演算量が少ないので、ＨＭＤ１０の消費電力が低減される。

さらに、第１実施例によれば、ＨＭＤ１０の通信手段として無線接続手段を用いたことによって、ＨＭＤ１０を携行することができる。このため、信号出力機器から離れた場所であっても、ＨＭＤ１０およびそれを用いた表示システムを利用することが可能になる。

なお、第１実施例では、ＬＣＤ１４の表示面が平面である場合を例に挙げて説明したが、これに限定される必要は無く、ＬＣＤ１４の表示面は、曲面であっても良い。また、ＬＣＤ１４の画素１４０が格子状に配置された場合を例に挙げて説明したが、これに限定される必要は無く、ＬＣＤ１４の画素１４０がデルタ配列されても良い。これらの場合、仮想ディスプレイ１００の平面の方程式と、補間処理の方法とを変えることによって、ＬＣＤ１４の表示面が曲面である場合または画素１４０がデルタ配列される場合などに上述した処理と同様の処理を行うことができる。

また、第１実施例では、ユーザの視点およびＬＣＤ１４の位置および向きの変化を検出するために、動きセンサ１６が、加速度センサおよび角速度センサを含むようにしたが、これに限定される必要は無い。たとえば、動きセンサ１６が、加速度センサまたは角速度センサで構成され、ユーザの視点の位置の変化に応じて、または、ユーザの向きに応じて、ＬＣＤ１４に表示される画像の範囲が変化されてもよい。

さらに、第１実施例では、信号出力機器が外部機器である場合を例に挙げて説明したが、これに限定される必要は無い。たとえば、ＨＭＤ１０に内蔵されるＳＳＤが信号出力機器として機能するようにしても良い。この場合、ＳＳＤに記憶される映像ないし画像に対応する映像信号が、ＳＳＤから同期分離部２２に入力される。

なお、第１実施例では、説明の便宜上、ＬＣＤ１４の表示面の全体を単眼で見ている場合を例に挙げてについて説明したが、ＨＭＤ１０を両眼で使用することもできる。たとえば、右眼用および左目用の画像のそれぞれに同じ処理を行い、ＬＣＤ１４に右眼用および左眼用の画像として同じ画像を表示させても良い。また、右眼用および左眼用の画像のそれぞれに個別に処理を行い、ＬＣＤ１４に右眼用および左眼用の画像として個別の画像を表示させても良い。この場合、右眼用と左眼用の二種類のＬＣＤ１４および制御部２０が設けられる。このようにすれば、左右視差を再現できるためより自然な画像をＬＣＤ１４に表示させることができる。
［第２実施例］
第２実施例のＨＭＤ１０では、複数の映像信号が入力され、複数の映像信号の各々に対応する複数の仮想ディスプレイ１００が仮想空間に配置されるようにした以外は第１実施例のＨＭＤ１０と同じであるため、異なる内容について詳細に説明し、重複する内容については説明を省略する、または、簡単に説明することにする。

図１０は第２実施例におけるＨＭＤ１０の電気的な構成を示すブロック図である。図１０に示すように、第２実施例のＨＭＤ１０は、二つの制御部（第１制御部２０Ａおよび第２制御部２０Ｂ）を含む。

第１制御部２０Ａおよび第２制御部２０Ｂは、それぞれ、第１実施例で示した同期分離部２２、書込み制御部２４、映像メモリ２６、読出し制御部２８、表示位置演算部３０および画像補間部３２を有する。

また、第２実施例では、ＨＭＤ１０に、映像信号１と、映像信号２との２つの映像信号が入力される。

映像信号１は、第１制御部２０Ａの同期分離部２２Ａに入力され、第１制御部２０Ａの各部で処理される。この場合、第１制御部２０Ａの画像補間部３２Ａからは、映像信号１に対応する画像データＡが出力される。また、映像信号２は、第２制御部２０Ｂの同期分離部２２Ｂに入力され、第２制御部２０Ｂの各部で処理される。この場合、第２制御部２０Ｂの画像補間部３２Ｂからは、映像信号２に対応する画像データＢが出力される。

同期生成部３４は、第１制御部２０Ａの映像メモリ２６Ａおよび第２制御部２０Ｂの映像メモリ２６Ｂにおいて、或るフレームのデータの書き込みの終わりのタイミングを、そのフレームのデータの読み出しの終わりのタイミングが追い越さないように同期信号を生成する。同期生成部３４は、生成した同期信号を、第１制御部２０Ａの読出し制御部２８Ａおよび第２制御部２０Ｂの読出し制御部２８Ｂに入力する。

図１１は第２実施例の映像メモリ２６におけるデータの書込みおよび読出しのタイミングを示す図である。図１１に示すように、同期生成部３４は、フレームのデータの読み出し周波数よりもフレームのデータの書き込み周波数が大きい場合、データの読み出しの際にフレームの間引きを行うように同期信号を生成する。つまり、フレームのデータの書き込み時間がフレームのデータの読み出し時間よりも短い場合、フレームの間引きが行われる。

また、同期生成部３４は、フレームのデータの読み出し周波数よりもフレームのデータの書き込み周波数が小さい場合、データの読み出しの際に同じフレームを続けて読み出すように同期信号を生成する。つまり、フレームのデータの書き込み時間がフレームのデータの読み出し時間よりも長い場合、フレームの間引きが行われる。

なお、同期分離部２２から画像補間部３２までの処理内容のうち、説明していない部分については第１実施例と同じである。

図１０に戻って、画像統合部４０には、第１制御部２０Ａの画像補間部３２Ａから出力される画像データＡおよび第２制御部２０Ｂの画像補間部３２Ｂから出力される画像データＢが入力される。また、画像統合部４０には、第１制御部２０Ａの表示位置演算部３０Ａから出力される仮想ディスプレイ１００Ａ上の各対応位置１１０の位置情報と、第２制御部２０Ｂの表示位置演算部３０Ｂから出力される仮想ディスプレイ１００Ｂ上の各対応位置１１０の位置情報とが入力される。画像統合部４０は、画像データＡおよび画像データＢを統合（結合）して、ＬＣＤ１４に出力する。

ただし、映像統合部４０に、仮想ディスプレイ１００Ａおよび仮想ディスプレイ１００Ｂ上の各対応位置１１０の位置情報を入力するのは、仮想ディスプレイ１００Ａおよび仮想ディスプレイ１００Ｂの配置の仕方によっては、視点から見た場合に仮想ディスプレイ１００Ａおよび仮想ディスプレイ１００Ｂ上の対応位置１１０を含む画素１００ａが重なる場合があるからである。かかる場合には、視点に近い方の画素１００ａの画像データがＬＣＤ１４に出力される。

図１２は第２実施例のＬＣＤ１４の表示例を示す図である。図１２に示すように、ＬＣＤ１４には、仮想ディスプレイ１００Ａおよび仮想ディスプレイ１００Ｂが表示される。ただし、仮想ディスプレイ１００Ａの一部と仮想ディスプレイ１００Ｂの一部とが重なって表示される。図１２に示す例では、仮想ディスプレイ１００Ａは、仮想ディスプレイ１００Ｂよりもユーザの視点に近い位置に配置されるため、重なる位置において、仮想ディスプレイ１００Ａに表示される画像がＬＣＤ１４に表示される。

この第２実施例によれば、仮想空間に複数の仮想ディスプレイ１００が配置されるので、複数のモニタを配置して作業を行っている状況を再現することができる。このため、複数のモニタを実際に配置する必要がなくなるので、作業スペースを広くとることができる。

なお、第２実施例では、２台の仮想ディスプレイ１００Ａおよび仮想ディスプレイ１００Ｂが設けられる場合について説明したが、３台以上の仮想ディスプレイが設けられ、各仮想ディスプレイに異なる映像信号が出力されるようにしてもよい。かかる場合には、仮想ディスプレイの数に応じて制御部２０が設けられ、映像統合部４０は、位置情報に基づいて、仮想ディスプレイが重なる部分についてＬＣＤ１４に出力する画像データを選択する。
［第３実施例］
第３実施例のＨＭＤ１０は、第２制御部２０Ｂに代えて、カメラ５０を備え、第１制御部２０Ａから出力される画像データＡとカメラ５０で撮像された画像に対応する画像データを結合してＬＣＤ１４に表示させるようにした以外は、第２実施例と同じであるため、異なる内容について説明し、重複した説明については省略する、または簡単に説明することにする。

図１３は第３実施例のＨＭＤ１０を装着したユーザを上から見た平面図である。図１３に示すように、第３実施例のＨＭＤ１０は、カメラ５０を備える。カメラ５０は、筐体１２の前面に設けられ、ＨＭＤ１０の前方を撮像する。このカメラ５０は、撮像素子（イメージセンサ）および位置の調節が可能なフォーカスレンズを有し、撮像素子から取り込んだ可視光としての撮像光を、電気信号へと変換することにより撮像を行う。この撮像素子の例としては、ＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子が挙げられる。

図１４は第３実施例におけるＨＭＤ１０の電気的な構成を示すブロック図である。図１４に示すように、第３実施例の画像統合部４０には、第２実施例で説明した第２制御部２０Ｂに代えて、カメラ５０が接続される。このため、画像統合部４０には、第２制御部２０Ｂから出力される画像データＢに代えて、カメラ５０で撮像した画像（静止画像または動画像）に対応する画像データが入力される。

ただし、第３実施例では、第１制御部２０Ａから出力される画像データＡに対応する仮想ディスプレイ１００Ａが、カメラ５０で撮像した画像の手前（前面）側に表示されるようにしてある。このため、カメラ５０で撮像した画像は、仮想ディスプレイ１００Ａよりも奥（背面）側に表示される。つまり、カメラ５０で撮像した映像は、背景画像として表示される。

また、カメラ５０で撮像した画像の解像度は、ＬＣＤ１４の解像度と同じ解像度に設定されている。このため、カメラ５０で撮像した画像は、補間処理を実行せずに、ＬＣＤ１４の全表示領域に表示（全画面表示）させることができる。

この第３実施例によれば、第２実施例の効果に加えて、カメラ５０で撮像した画像を背景画像としてＬＣＤ１４に表示するので、ＨＭＤ１０を装着した状態でも周囲の状況を視認することができる。したがって、ユーザが移動する場合にも安全である。

また、第３実施例によれば、カメラ５０で撮像した画像を背景画像としてＬＣＤ１４に表示するので、たとえば、仮想ディスプレイ１００Ａに表示された資料とともに、ユーザの周辺に置かれた他の資料などを参照することができる。
［第４実施例］
第４実施例のＨＭＤ１０では、複数の映像信号が入力され、仮想ディスプレイ１００に表示させる一部の映像信号を選択するようにした以外は第２実施例のＨＭＤ１０と同じであるため、異なる内容について詳細に説明し、重複する内容については説明を省略する、または、簡単に説明することにする。

図１５は第４実施例におけるＨＭＤ１０の電気的な構成を示すブロック図である。図１５に示すように、第４実施例のＨＭＤ１０は、スイッチ６０と、映像選択部６２とを備える。

スイッチ６０は、映像信号が入力される複数の入力ポートと、映像信号を出力する複数の出力ポートとを有する。たとえば、スイッチ６０は、５つの入力ポートと、２つの出力ポートとを有する。

スイッチ６０の５つの入力ポートには、それぞれ、異なる映像信号（映像信号１〜映像信号５）が入力される。また、スイッチ６０は、映像選択部６２から出力される映像選択信号に応じて、入力ポートに入力された５つの映像信号１〜５のうち、出力ポートから出力する２つの映像信号を選択する。

また、スイッチ６０の一方の出力ポートには、第１制御部２０Ａの同期分離部２２Ａが接続される。スイッチ６０の他方の出力ポートには、第２制御部２０Ｂの同期分離部２２Ｂが接続される。このため、スイッチ６０の一方の出力ポートからは、第１制御部２０Ａの同期分離部２２Ａに映像信号が出力される。スイッチ６０の他方の出力ポートからは、第２制御部２０Ｂの同期分離部２２Ｂに映像信号が出力される。

映像選択部６２には、動きセンサ１６が接続され、動きセンサ１６の出力が入力される。映像選択部６２は、動きセンサ１６の出力に基づいて、ユーザの視点およびＬＣＤ１４の位置および向きを算出し、スイッチ６０に入力された複数の映像信号のうち、いずれの映像信号を出力するかを選択するための映像選択信号をスイッチ６０に出力する。

図示は省略するが、第４実施例では、５つの映像信号１〜５（入力ポート）に対応して５つの仮想ディスプレイ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅが仮想空間に配置される。たとえば、仮想ディスプレイ１００Ａ〜１００Ｅは横方向に一列に並べて配置される。また、映像信号１は仮想ディスプレイ１００Ａに表示され、映像信号２は仮想ディスプレイ１００Ｂに表示され、映像信号３は仮想ディスプレイ１００Ｃに表示され、映像信号４は仮想ディスプレイ１００Ｄに表示され、そして、映像信号５は仮想ディスプレイ１００Ｅに表示される。

映像選択部６２は、動きセンサ１６の出力に基づいて、ユーザの視点およびＬＣＤ１４の位置および向きを検出（算出）し、ユーザの視界に入る２つの仮想ディスプレイを決定する。そして、決定した仮想ディスプレイに表示される映像信号を選択するための映像選択信号をスイッチ６０に出力する。

したがって、ユーザが移動したり、頭部の向きを変化したりすると、これに応じて、映像選択部６２は、映像選択信号をスイッチ６０に出力する。したがって、ユーザの視点およびＬＣＤ１４の位置および向きに応じた映像信号が選択され、選択された映像信号が仮想ディスプレイに表示される様子がＬＣＤ１４に表示される。

この第４実施例によれば、第２実施例の効果に加えて、複数の映像信号のうち、ユーザの視点およびＬＣＤ１４の位置および向きに応じた一部の映像信号を選択するので、ユーザが所望の映像を見ることができる。

また、第４実施例によれば、選択した一部の映像信号について表示すれば良いため、すべての映像信号を仮想ディスプレイ１００に表示するような無駄を省くことができる。

なお、第４実施例では、仮想ディスプレイ１００Ａ〜１００Ｅを横一列に配置するようにしたが、これに限定されるべきでない。たとえば、仮想ディスプレイ１００Ａ〜１００Ｅを２段に並べてもよい。この場合、仮想ディスプレイ１００Ａおよび１００Ｂを上段に配置し、仮想ディスプレイ１００Ｃ〜１００Ｅを下段に配置し、下段の仮想ディスプレイ１００Ｃ〜１００Ｅのうち、２つの仮想ディスプレイに表示する映像信号を選択するようにしてもよい。また、たとえば、６つの映像信号を入力可能な構成として、６つの仮想ディスプレイを縦（上下）方向に２列に並べるようにしてもよい。かかる場合には、上段の２つの仮想ディスプレイ、中段の２つの仮想ディスプレイ、下段の２つの仮想ディスプレイに表示する映像信号を選択するようにしてもよい。

また、第４実施例に示した態様は、第３実施例にも組み合わせて採用することが可能である。

さらに、上述の各実施例では、映像メモリ２６から読み出す画像データに補間処理を施すようにしたが、表示品質を考慮しない場合には、補間処理は施されなくてもよい。

さらにまた、上述の各実施例で挙げた具体的な数値等は一例であり、実際の製品に応じて適宜変更することが可能である。

１０ …ＨＭＤ
１２ …筐体
１４ …ディスプレイ
１６ …動きセンサ
３０ …表示位置演算部
３２ …画像補間部

Claims (9)

1. ユーザの頭部に装着されるヘッドマウントディスプレイであって、
   信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像を表示する表示部、
   基準位置および基準方向に対する前記ヘッドマウントディスプレイの位置および方向を検出するための動きセンサ、および
   前記動きセンサで検出された前記ヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および前記表示部の各第１画素を通る直線が前記仮想ディスプレイと交差する各交差位置を算出する表示位置演算部を備え、
   前記表示部は、前記表示位置演算部によって算出された前記各交差位置を含む各第２画素に表示された画像の各々を、対応する前記第１画素の各々に表示する、ヘッドマウントディスプレイ。
2. 前記表示位置演算部によって算出された各交差位置に対応する各第２画素を周囲の第２画素を用いて補間する画像補間部をさらに備える、請求項１記載のヘッドマウントディスプレイ。
3. 前記信号出力機器から複数の前記映像信号が入力され、
   前記仮想空間には、前記複数の映像信号に対応する複数の映像をそれぞれ表示する複数の前記仮想ディスプレイが配置される、請求項１記載のヘッドマウントディスプレイ。
4. 前記動きセンサの出力に基づいて、前記複数の前記映像信号に対応する前記複数の映像のうち、前記表示部に表示させる一部の前記映像を選択する映像選択部をさらに備える、請求項３記載のヘッドマウントディスプレイ。
5. 前記表示部は、前記視点から見た場合に、前記複数の仮想ディスプレイが重なるとき、前記視点に近い前記仮想ディスプレイの画像を表示する、請求項３または４記載のヘッドマウントディスプレイ。
6. 前記信号出力機器は、前記ヘッドマウントディスプレイの前方を撮像するカメラを含み、
   前記複数の映像信号のうちの一つが、前記カメラによって撮像された画像に対応する画像信号である、請求項３記載のヘッドマウントディスプレイ。
7. 前記表示部は、前記カメラによって撮影された画像を前記仮想ディスプレイの画像の背景画像として表示する、請求項６記載のヘッドマウントディスプレイ。
8. ユーザの頭部に装着されるヘッドマウントディスプレイの制御プログラムであって、
   前記ヘッドマウントディスプレイのコンピュータを、
   信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像を表示する表示部、
   基準位置および基準方向に対する前記ヘッドマウントディスプレイの位置および方向を検出するための動きセンサ、および
   前記動きセンサで検出された前記ヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および前記表示部の各第１画素を通る直線が前記仮想ディスプレイと交差する各交差位置を算出する表示位置演算部として機能させ、
   前記表示部は、前記表示位置演算部によって算出された前記各交差位置を含む各第２画素に表示された画像の各々を、対応する前記第１画素の各々に表示する、ヘッドマウントディスプレイの制御プログラム。
9. 表示部を備え、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、
   前記ヘッドマウントディスプレイのコンピュータは、
   （ａ）信号出力機器から入力された映像信号に対応する映像が表示された仮想ディスプレイを含む画像を表示部に表示させ、
   （ｂ）基準位置および基準方向に対する前記ヘッドマウントディスプレイの位置および方向を検出し、そして
   （ｃ）前記ステップ（ｂ）で検出された前記ヘッドマウントディスプレイの位置および方向に応じて、仮想空間における視点および前記表示部の各第１画素を通る直線が前記仮想ディスプレイと交差する各交差位置を算出し、
   前記ステップ（ａ）は、前記ステップ（ｃ）によって算出された前記各交差位置を含む各第２画素に表示された画像の各々を、対応する前記第１画素の各々に表示させる、ヘッドマウントディスプレイの制御方法。