JP2004304296A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】簡素な機構で頭部と画像出力部との相対的な位置関係の変化を検出し、その相対的な位置変化を相殺するように画像を変位できるヘッドマウントディスプレイを提供する。
【解決手段】ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、画像を表示する画像出力部と、前記画像出力部を前記ユーザの眼前の位置に支持する支持部と、前記ユーザの頭部の存在が想定される空間に検出域を有するセンサと、前記センサからの信号を処理する信号処理部と、前記信号処理部からの出力に応じて前記画像の位置を変位させる変位手段とを備える。
前記信号処理部は、前記ユーザと前記画像出力部との相対的な位置関係の変化量を検出し、前記画像の位置を変位させて前記変化量を相殺する相殺量を算出する。前記変位手段は、前記画像の位置を前記相殺量だけ変位させる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行うヘッドマウントディスプレイに関する。
【０００２】
【従来の技術】
ヘッドマウントディスプレイ（以下、ＨＭＤと略称する）は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行う。この種のＨＭＤには２種類あり、ゴーグル型と称される、両眼を完全に覆って、ユーザの視野には、ＨＭＤの表示のみが見えるようにしたものと、片眼の眼前に画像出力部が配置される片眼タイプのものとがある。
【０００３】
片眼タイプのＨＭＤにおいては、画像出力部からの画像と、外部の景色とが同時に視野に入る。したがって、片眼タイプのＨＭＤは、画像から特定の情報を得つつ、外部の景色を見ながら作業ができるなどの利点がある。
【０００４】
しかし、この種の片眼タイプのＨＭＤにおいては、本体（固定部）を頭部に固定し、アームに保持された画像出力部を眼前に固定することになる。ユーザの動作等により本体あるいは画像出力部が、画像を観察するのに適した位置からずれた場合、ユーザの意図しない動き（例えば映像のブレ）をする映像が提示され、目の疲れや気分の悪さとなってその影響が現れる可能性がある。
【０００５】
映像のブレなどの振動による影響を避けるために、例えば、特許文献１では、ユーザと情報表示装置との双方に振動センサを取り付け、双方の相対位置変化から表示画像のブレを検出し、表示のブレを打ち消すように表示をずらすことが提案されている。
【０００６】
【特許文献１】
特開平７−２６１７２７号公報「情報表示装置」
【０００７】
【発明が解決しようとしている課題】
しかし、特許文献１では、ユーザと情報表示装置との２つの独立した系の相対位置変位による画像表示の問題に対して、解決策を示したに過ぎない。この解決策は、画像表示部とユーザとが連結された１つの系であるヘッドマウントディスプレイに対して、有効なものとはいえない。また、特許文献１の手段は、振動センサを用いているため、ユーザと情報表示装置とのずれの絶対量を得ることが難しい。ヘッドマウントディスプレイの場合は、振動そのものよりも、表示位置が映像をはっきり見える位置からずれることにより映像が正しく見られないことが問題となる。従って、ユーザと情報表示装置とのずれの絶対量を得ることが難しい特許文献１の方法の適用は難しい。したがって、ヘッドマウントディスプレイにおける画像表示部とユーザとの相対位置変位による画像表示の問題は、固有の解決策が求められている。
【０００８】
本発明の課題は、簡素な機構でユーザと画像出力部との相対的な位置関係の変化を検出し、その相対的な位置変化を相殺するように画像を変位できるヘッドマウントディスプレイを提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するためになされたもので、請求項１に記載の発明は、ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、画像を表示する画像出力部と、前記画像出力部を前記ユーザの眼前の位置に支持する支持部と、前記ユーザの頭部の存在が想定される空間に検出域を有するセンサと、前記センサからの信号を処理する信号処理部と、前記信号処理部からの出力に応じて前記画像の位置を変位させる変位手段とを備え、前記信号処理部は、前記信号を基に前記ユーザと前記画像出力部との相対的な位置関係の変化量を検出し、前記画像の位置を変位させて前記変化量を相殺する相殺量を算出し、前記変位手段は、前記画像の位置を前記相殺量だけ変位させることを特徴とするヘッドマウントディスプレイである。
【００１０】
請求項２に記載の発明は、ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、画像を表示する画像出力部と、前記画像出力部を前記ユーザの眼前の位置に支持する支持部と、前記支持部を前記ユーザの頭部に固定する固定部と前記固定部の特定部位を検出域内に望むセンサと、前記センサからの信号を処理する信号処理部と、前記信号処理部からの出力に応じて前記画像の位置を変位させる変位手段とを備え、前記信号処理部は、前記信号を基に前記固定部と前記画像出力部との相対的な位置関係の変化量を検出し、前記画像の位置を変位させて前記変化量を相殺する相殺量を算出し、前記変位手段は、前記画像の位置を前記相殺量だけ変位させることを特徴とするヘッドマウントディスプレイである。
【００１１】
請求項３に記載の発明は、前記変位手段は、前記画像出力部内における前記画像の表示位置を変位することで、前記画像の位置を変位することを特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイである。
【００１２】
請求項４に記載の発明は、前記変位手段は、前記画像出力部の位置を変位することで、前記画像の位置を変位することを特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイである。
【００１３】
請求項５に記載の発明は、前記変位手段は、前記画像出力部内において前記画像の表示位置を変位させること及び前記画像出力部の位置を変位させることの両方の手段によって前記画像の位置を変位することを特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイである。
【００１４】
請求項６に記載の発明は、請求項１または２のいずれか１項に記載のヘッドマウントディスプレイであって、前記画像出力部は、画像表示素子を有し、前記変位手段は、前記画像表示素子上で前記画像の表示位置を変位させること、あるいは前記画像表示素子を変位させることの何れかであることを特徴とするヘッドマウントディスプレイである。
【００１５】
請求項７に記載の発明は、請求項４または５に記載のヘッドマウントディスプレイであって、前記変位手段は、回動機構およびスライド機構、或いはその何れか一方を有し、前記回動機構および前記スライド機構、或いはその何れか一方は、前記画像出力部の位置を変位させることを特徴とするヘッドマウントディスプレイである。
【００１６】
請求項８に記載の発明は、請求項１乃至７のいずれか１項に記載のヘッドマウントディスプレイであって、更に、前記画像の位置の変位を行なうか否かを、選択する選択手段を有することを特徴とするヘッドマウントディスプレイである。
【００１７】
請求項９に記載の発明は、請求項１乃至８のいずれか１項に記載のヘッドマウントディスプレイであって、音響を出力する音響出力部と、前記音響の出力、前記画像の出力および電源とを制御する制御手段とをさらに有し、前記信号処理部は、前記相対的な位置関係の変化を検出し、前記制御手段は、前記相対的な位置関係が所定範囲外である場合に、前記電源を制御し、出力されている前記音声と前記画像の出力を停止し、一定時間、前記音声および前記画像、或いはその一方による警告メッセージを出力し、その後前記音声および前記画像の出力を停止するディレイオフ制御を行なうことを特徴とするヘッドマウントディスプレイである。
【００１８】
請求項１０に記載の発明は、請求項９に記載のヘッドマウントディスプレイであって、更に、前記ディレイオフ制御を行なうか否かを選択する第２の選択手段を有することを特徴とするヘッドマウントディスプレイである。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２０】
（第１実施形態）
図１は、本発明の第１実施形態に係るヘッドマウントディプレイの概略構成を示す上面図（Ａ）、側面図（Ｂ）および一部断面図（Ｃ）である。
【００２１】
図１に示すように、ＨＭＤは、ユーザＵに対して画像を出力するための機能を有する画像出力部１００と、音声、音楽、効果音等の音響を発生させる機能を有する音響出力部２００と、画像出力部１００および音響出力部２００を一体的に連結すると共に、これらをユーザＵの頭部１に着脱自在に装着するための支持部３００と、ケーブル８００を介して接続され画像表示信号、音響出力信号およびモータ制御信号を出力する駆動ユニットＤと、センサ１８１を有する。
【００２２】
以下にＨＭＤの各構成要素について説明する。
【００２３】
画像出力部１００は、図２（Ａ）に示すように、画像を現す画像表示信号を光信号に変換して画像を形成する電気‐光変換器１１０と、形成された画像を拡大する光学系１２０と、該光学系１２０を収容する鏡筒１３０と、これら全体的に収容するケース１４０とを有する。
【００２４】
また、画像出力部１００には、センサ１８１が装着される。センサ１８１は、ユーザＵの頭部の存在が想定される空間に検出域を持つ。このセンサ１８１として、画像出力部１００とユーザＵの顔面部、特に眼部付近を撮影するカメラが使われる。
【００２５】
本実施形態において用いられる電気‐光変換器１１０は、ビットマップイメージの画像を形成する表示素子により構成することができるものである。この種の電気‐光変換器１１０には、大別して、２種類ある。
【００２６】
第１のものは、画像出力信号に応じて透過率または反射率が変化するセルを、ビットマップの各画素に対応して配置し、他の光源からの光について各画素の透過率または反射率を変化させることによって画像を形成する形式のデバイスである。
【００２７】
第２のものは、自らが発光する素子をビットマップの各画素に対応して配置し、画像出力信号に応じて各素子の発光輝度を変化させることによって画像を形成する形式のデバイスである。
【００２８】
前者の形式のデバイスとしては、例えば、透過率または反射率を変化させることができる液晶セルを二次元的に配置した液晶表示素子が挙げられる。
【００２９】
後者の形式でのデバイスとしては、例えば、電気信号によりそれ自身が発光する発光素子を二次元的に配置した有機ＥＬ素子が挙げられる。本発明では、いずれの形式のデバイスを用いてもよい。
【００３０】
また、電気‐光変換器１１０では、例えば、情報処理装置のディスプレイ画面のように画面を形成することができる。もちろん、動画を表示することも可能である。
【００３１】
光学系１２０は、電気‐光変換器１１０によって形成される画像を拡大する。具体的には、虚像を形成する。この虚像をユーザの肉眼が網膜上に結像させることにより、例えば、ユーザがあたかもその視野の全体にわたって画像を見ているように表示することが可能となる。
【００３２】
鏡筒１３０は、前述した光学系１２０を収容するレンズ収容部１３１と、電気‐光変換器１１０を収容する変換器収容部１３２と、電気‐光変換器１１０との距離を一定に保つと共に、外光が入射しないように遮断する遮光部１３３とを有する。鏡筒１３０は、遮光性材料により形成される。
【００３３】
ケース１４０は、例えば、遮光性のプラスチックにより形成される。ケース１４０のユーザＵとの対向面に開口部１４２が設けられている。この開口部１４２内に、光学系１２０が収容される。また、ケース１４０の一端は、画像出力部接続部１９０との連結部となっている。
【００３４】
また、図２（Ｂ）で示すように、電気‐光変換器１１０を光学系１２０の光軸ｂｘに垂直な平面内で直交する２軸（Ｘ軸、Ｙ軸と呼ぶ）方向に変位させるための変換器移動系１７０を、変換器収容部１３２に設ける。
【００３５】
変換器移動系１７０は、電気‐光変換器１１０を保持し、Ｘ軸およびＹ軸方向に移動させる第１ステージ１７１と、Ｘ軸移動系１７２と、Ｙ軸移動系１７３とを有する。
【００３６】
Ｘ軸移動系１７２は、Ｙ軸移動系１７３によってＹ軸方向に移動可能に保持された第２ステージ１７４と、両端が第２ステージ１７４に固定されＸ軸方向と平行に第１ステージ１７１を貫く２本の補助材１７５と、一端を第１ステージ１７１の側面部に固定し、他端は第２ステージ１７４の側面部を螺合して貫通しているＸ方向移動軸１７６と、Ｘ方向移動軸１７６の端部に固定され、Ｘ方向移動軸１７６を螺動させるＸ軸モータ１７７とを有している。
【００３７】
Ｙ軸移動系１７３は、変換器収容部１３２に固定された第３ステージ１７８と、両端を第３ステージ１７８に固定されＹ軸方向と平行に第２ステージ１７４を貫く２本の補助材１７５と、一端を第２ステージ１７４の側面部に固定し、他端は第３ステージ１７８の側面部を螺合して貫通しているＹ方向移動軸１７９と、Ｙ方向移動軸１７９の端部に固定され、Ｙ方向移動軸１７９を螺動させるＹ軸モータ１８０とを有している。
【００３８】
また、Ｘ軸モータ１７７およびＹ軸モータ１８０には、両軸の回転数を計測する回転角センサ４０２が取り付けられており、その計測された各軸の回動角によって第１ステージ１７１の相対位置が検出される。
【００３９】
Ｘ軸モータ１７７およびＹ軸モータ１８０は、駆動ユニットＤの支持アーム駆動制御装置８５９（図８参照）にある図示していないＸ軸駆動モータコントローラおよびＹ軸駆動モータコントローラに制御される。
【００４０】
センサ１８１は、図１（Ａ）、（Ｂ）に示すように、画像出力部１００の、ユーザＵとの対向面に設置され、その検知域はユーザＵの頭部が存在すべき空間、特に眼部が位置することが想定される付近である。センサ１８１の出力は、ケーブル８００を介して駆動ユニットＤの記憶装置８５３あるいは状態検出装置８５５（図８参照）に送られる。
【００４１】
センサ１８１としては、例えば、撮像素子にＣＭＯＳを用いた超小型カメラが利用できる。
【００４２】
音響出力部２００は、音響出力信号を音響に変換するものである。本実施形態では、左音響出力部２００Ｌと、右音響出力部２００Ｒとが設けられている。
【００４３】
音響出力部２００は、通常、ヘッドホンとして製品化されているものを用いることができる。音響出力部２００Ｌ，２００Ｒは、後述するように、支持部３００により、互いに近接する方向に付勢される。また、音響出力部２００は、本実施形態では、その構造上、後述する支持部３００と共に、当該ＨＭＤをユーザＵの頭部１に装着させる際の、耳への当接部としても機能する。
【００４４】
なお、本実施形態では、音響出力部２００Ｌ側に、ケーブル８００と内部配線とを接続する接続部（図示せず）が設けられている。
【００４５】
支持部３００は、図１に示すように、左右の音響出力部２００Ｌと２００Ｒとを連結するバンド３１０と、バンド３１０の一端側に設けられた第１の支持アーム３２０ａと、を有する。第１の支持アーム３２０ａは、バンド３１０の一端で連結固定されている。
【００４６】
バンド３１０は、ユーザＵの頭部１を後方から挟むことができるように湾曲した形状を持っている。そして、両端に音響出力部２００Ｌと２００Ｒとが連結固定されている。
【００４７】
また、バンド３１０には、駆動ユニットＤからのケーブル８００に接続される配線（図示せず）が設けられている。これら配線のうち一部は、画像出力部１００に通じ、電気−光変換器１１０と変換器移動系１７０に給電を行なう。他の一部は、左右の音響出力部２００Ｌ，２００Ｒに通じ、音響出力信号の供給を行なう。画像出力部１００に通じる配線は、第１の支持アーム３２０ａの内に設けられた配線と接続されている。
【００４８】
バンド３１０の左端には、開口部３１２ｂが設けられている。第１の支持アーム３２０ａは、この開口部３１２ｂに挿入され、固定されている。
【００４９】
第１の支持アーム３２０ａは、支持アーム可動部３９０ａによって、第２の支持アーム３２０ｂと、回動可能に接続している。
【００５０】
支持アーム可動部３９０ａは、上下駆動モータ３９４と、上下駆動モータ軸３９５とを有している。この支持アーム可動部３９０ａには、回動角センサ４００が備えられている。
【００５１】
上下駆動モータ３９４は、駆動ユニットＤの支持アーム制御装置８５９にある上下駆動モータコントローラ４１０に制御される。
【００５２】
上下駆動モータ軸３９５は、支持アーム可動部３９０ａの回動軸である。したがって、モータ３９４には、回動軸（上下駆動モータ軸３９５）を直接ドライブする、ダイレクトドライブモータを用いることができる。なお、上下駆動モータ３９４は、ステッピングモータを用いることができる。また、上下駆動モータ軸３９５には回動角センサ４００が設けられており、モータ回転軸３９５の回動角を検出する。
【００５３】
この回動角センサ４００は、駆動ユニットＤの状態検出装置８５５に接続され、検出結果を状態検出装置８５５に送信する。
【００５４】
第１の支持アーム３２０ａに対する第２の支持アーム３２０ｂの回動方向は、上下駆動モータ軸３９５の方向（図１（Ｃ）の矢印Ａ）を回動軸として、図１（Ｂ）の両矢印の方向Ｂである。
【００５５】
画像出力部微動部３９６は、左右駆動モータ３９７と、左右駆動モータの駆動量を検出する左右駆動センサ４０１とを有する。
【００５６】
左右駆動モータ３９７は、画像出力部微動部３９６にスライド可能に接続された画像出力部接続部１９０を介して、図１（Ａ）の両矢印Ｃの方向に、画像出力部１００を変位させる。左右駆動モータ３９７は、例えばリニア駆動のモータであってもよい。
【００５７】
これらの回転機構やスライド機構は顔面のそばにあるため、機構を駆動する動力（上下駆動モータ３９４および左右駆動モータ３９７）には、低騒音の動力源を用いることが望ましい。例えば、超音波モータを用いることができる。
【００５８】
左右駆動センサ４０１は、画像出力部接続部１９０の端部の位置を測定するセンサで、画像出力部接続部１９０の端部が画像出力部微動部３９６の内部にスライドして停止した、つまり、左側への待避動作が終了したことを検知するセンサにもなる。
【００５９】
このセンサも、駆動ユニットＤの状態検出装置８５５に接続され、検出結果を状態検出装置８５５に送信する。
【００６０】
駆動ユニットＤの支持アーム駆動制御装置８５９にある左右駆動モータコントローラ４１１は、左右駆動モータ３９７に接続され、左右駆動モータ３９７を制御する（図３参照）。
【００６１】
画像出力部１００は、支持アーム可動部３９０ａによる上下方向の動き（正確には、上下駆動モータ軸３９５を中心とした弧を描く）と、画像出力部微動部３９６による左右の動きとの、２自由度をもつ動きが行なえる。
【００６２】
画像出力部１００は、センサ１８１を有している。センサ１８１は、画像出力部１００の開口方向と略同方向に指向している。センサ１８１は、顔面部および頭部を撮影し、その情報を駆動ユニットＤの記憶装置８５３に記憶する。
（駆動ユニット等）
本実施形態のＨＭＤは、画像表示信号および音響出力信号と、上下駆動モータ３９４、左右駆動モータ３９７、Ｘ軸モータ１７７およびＹ軸モータ１８０に対する制御信号とを出力する駆動ユニットＤとケーブル８００を介して接続されることにより動作するものである。
【００６３】
駆動ユニットＤには、図８で示すように、画像出力部１００に画像表示信号を送るため、当該画像表示信号を処理する画像出力信号処理装置８５１と、音響出力部２００に音響出力信号を送るための音響出力信号処理装置８５２と、記憶装置８５３と、駆動ユニット全体を管理する中央制御装置８５４と、上下駆動モータコントローラ４１０、左右駆動モータコントローラ４１１、図示していないＸ軸駆動モータコントローラおよびＹ軸駆動モータコントローラを制御する支持アーム駆動制御装置８５９と、電源のオンオフおよび節電モードの制御を行うための電源制御回路８５６と、電池８５７とを有する。また、センサ１８１および各モータ軸に取り付けられたセンサから検出結果を受け取る状態検出装置８５５を有する。また、ＨＭＤ本体と情報、信号等の授受をする入出力インタフェース８５８を有する。また、電源のオンオフを行うためのメインスイッチＳＷを有する。さらに、ＨＭＤと信号を授受するためのケーブル８００のプラグ８１０を接続するためのコネクタが設けられている。また、電源として、充電可能な電池８５７と、電源制御回路８５６とが用意されている。
【００６４】
電源制御回路８５６には、以下のような遅延回路が備わっている。電源制御回路８５６は、中央制御装置８５４に備わったタイマに連動し、予め定めた時間の後、画像出力部１００および音声出力部２００への給電を停止する。
【００６５】
コネクタは、画像出力信号、音響出力信号、調光制御信号、光センサ検出信号等を接続するため、多ピン構造と成っている。また、コネクタの形状についても、断面円形に限られない。角型で、ピンがシングルインライン、デュアルインライン等の配列となっているものであってもよい。なお、各信号をパケット等により伝送する場合には、高周波数に対応することができるピンであればよい。その場合には、一定の通信プロトコルに従って、種々の信号をデータとして送ることとなる。この場合には、通信制御装置がさらに設けられる。
【００６６】
記憶装置８５３には、プログラムのほか、画像表示信号および音響出力信号を生成する基となる画像情報、音響情報等が格納される。また、センサ１８１から送られた画像を保存する。記憶装置８５３としては、例えば、ハードディスク装置が用いられる。もちろん、これに限定されない。他の記憶媒体を用いることもできる。
【００６７】
状態検出装置８５５は、センサ１８１から送られ記憶装置８５３に保存された複数の画像に基づいて、センサ１８１から見たユーザＵの眼部の位置のずれを計算し、その結果を中央制御装置８５４に送る。
【００６８】
次に第１実施形態の動作を説明する。
【００６９】
本実施形態において、画像出力部１００に備えられたセンサ１８１によってユーザＵの眼部付近の画像を随時撮影する。
【００７０】
撮影された画像変化を検出して、眼部の位置が画像出力部１００（あるいはセンサ１８１）から見て予め定めた値を越えて移動している場合、中央制御装置８５４は、ユーザＵが画像を見づらくなっていると認識する。そして、中央制御装置８５４は、この状況を改善するため、眼部の位置の変位を相殺するように、画像形成位置を変位させる制御を行なう。
【００７１】
画像の位置を変位するには、画像出力部１００の位置を２つのモータ（上下駆動モータ３９４および左右駆動モータ３９７）を駆動し変位させる場合と、画像出力部１００内で画像９００の表示位置を変更する場合とがある。また、それらを組み合わせた場合がある。
【００７２】
まず、ユーザＵは、ＨＭＤの利用を開始するため、ＨＭＤ本体を頭部１に装着する。次に、ユーザＵは駆動ユニットＤに備えられた電源スイッチＳＷをオンにする。上下駆動モータ３９４によって第２の支持アーム３２０ｂが回動し、左右駆動モータ３９７によって画像出力部接続部１９０が変位する。そして、その先端部の画像出力部１００が眼前に固定され、画像出力部１００に画像の表示が開始される。
【００７３】
画像の表示と共に、画像出力部１００に取り付けられたセンサ１８１がユーザＵの顔面部、特に眼部付近のモニタを開始する。
【００７４】
次に、ＨＭＤが、このモニタされた画像を用いて、どのように眼部の位置のずれを測定するかを説明する。
【００７５】
ずれの測定に利用できる情報は、ユーザＵの眼とその近傍の形態情報である。この形態情報を用いてずれの測定をする例を図３〜４を用いて説明する。
【００７６】
まず、予め定めた時間間隔で眼部付近の２画像を取得する。その時間間隔で２回撮影をしてもよいし、連続撮影或いは動画から予め定めた時間間隔で２画像を取得してもよい。
【００７７】
その２画像を、ケーブル８００、入出力インタフェース８５８を介して、駆動ユニットＤの記憶装置８５３に送信し、保存する（図１および図８参照）。
【００７８】
次に、状態検出装置８５５は、記憶装置８５３から呼び出した両画像を画像処理した後に比較し、その画像重心の位置のずれから眼部の位置のずれを推定する。
【００７９】
画像比較にあたって、比較の基準となる眼部付近の画像を登録しておくようにしてもよい。この基準画像は、途中で再登録することができるようにしてもよい。
【００８０】
図３に、処理の概要を示す。
【００８１】
センサ１８１が眼部付近の撮影をし、ケーブル８００、入出力インタフェース８５８を介して、駆動ユニットＤの記憶装置８５３のフレームメモリ２にその画像を送る（ステップ１）。フレームメモリ２は、その画像を、保持している。
【００８２】
予め定めた時間後に、再びセンサ１８１が眼部の撮影をし、同様に記憶装置８５３のフレームメモリ１に２回目の画像を送る（ステップ２）。フレームメモリ１は、２回目の画像を、保持している。
【００８３】
次に、状態検出装置８５５の比較回路は、フレームメモリ１から２回目の画像とフレームメモリ２から１回目の画像（基準画像）とを取得し、それぞれに２値化の処理（後述）を行なう（ステップ３）。
【００８４】
更に、比較回路は、２値化されたそれぞれの画像から、画像の重心検出（後述）を行なう（ステップ４）。
【００８５】
比較回路は、２画像の重心から、重心位置の差を示す移動ベクトル（後述）を取得し（ステップ５）、その結果を中央制御装置８５４に送信する。この移動ベクトルが、センサ１８１から見たユーザＵの眼部の位置のずれに相当する。
【００８６】
図４に、上記の画像処理を、簡潔に示す。
【００８７】
図４のＡ−１およびＢ−１は、センサ１８１に撮影された２値化前の通常の眼部付近の形態（Ｓ１、Ｓ２）の画像である。
【００８８】
比較回路は、この両画像に、２値化の処理を行なう（Ａ−２およびＢ−２参照）。この処理は、眼部付近の形態（Ｓ１、Ｓ２）の特徴を抽出する目的の処理である。まず、画像のピクセル毎の輝度を計算し、その画像全体の輝度分布から適当な境界値を設ける。そして、その境界値によって、各ピクセルの輝度を予め定めた二つの画素値（例えば、１および０（黒および白））に分類する。こうすることで、画像が２値化した眼部付近の形態（Ｓ３、Ｓ４）の画像となり、通常の眼部付近の形態（Ｓ１、Ｓ２）の特徴が抽出される。
【００８９】
次に、２値化した２画像から、それぞれ画像重心（Ｍ１、Ｍ２）を検出する（図４Ａ−３およびＢ−３）。この画像重心（Ｍ１、Ｍ２）は、いわゆる剛体の質量中心の概念を、画像に用いたもので、各質点での質量を各ピクセルでの画素値に置きなおしたものである。したがって、画像重心（Ｍ１、Ｍ２）は公知の簡単な計算式で得られる。
【００９０】
さらに、比較回路は画像重心（Ｍ１、Ｍ２）からその移動ベクトル（差ベクトル）を計算する。そして、移動ベクトルを直交する２成分に投影し、移動ベクトルの２つの成分ベクトルを定める。
【００９１】
移動ベクトルの長さ（眼部の位置の移動距離）が、予め定めた長さより大きくなった場合に、中央制御装置８５４は、ユーザＵが画像９００を見づらくなっていると判断する。
【００９２】
第１実施形態では、この状態を解消するために、以下の２つの動作を取る。
【００９３】
第１に、中央制御装置８５４は、駆動ユニットＤの支持アーム駆動制御装置８５９を制御し、上下駆動モータ３９４および左右駆動モータ３９７を駆動し、眼部の画像出力部１００に対する位置の変位を相殺するように画像出力部１００を変位させる。
【００９４】
第２に、中央制御装置８５４は、駆動ユニットＤの支持アーム駆動制御装置８５９または画像出力信号処理装置８５１を制御し、電気−光変換器１１０を変位させ、あるいは画像出力部１００内の表示画面１５０上の画像９００を変位させ、眼部の画像出力部１００に対する位置の変位を相殺する。
【００９５】
第１と第２の動作は時間的に前後しているとよい。また、その順序は逆であってもよい。
【００９６】
また、眼部の画像出力部１００に対する位置の移動を相殺する動作は、画像出力部１００を変位させる粗動動作と、電気−光変換器１１０を変位させる微動動作との組み合わせであってもよい。
【００９７】
第１の動作を、より詳細に述べる。
【００９８】
状態検出装置８５５は、移動ベクトルを検出し（図３のステップ５）、その値を中央制御装置８５４に送信する。中央制御装置８５４は、支持アーム駆動制御装置８５９を介して、移動ベクトルの値と左右駆動モータ３９７および上下駆動モータ３９４を駆動する指示を、左右駆動モータコントローラ４１１および上下駆動モータコントローラ４１０に送る（図３のステップ６および７）。左右駆動モータコントローラ４１１および上下駆動モータコントローラ４１０は、表示出力部１００を移動ベクトル量だけ変位させるため、左右駆動モータ３９７および上下駆動モータ３９４を駆動する。その結果、画像出力部１００は移動ベクトル量だけスライドおよび回動し、画像出力部１００の位置を、眼部の位置変位を相殺するように、変位する（以下、位置補正とも呼ぶ）。
【００９９】
以下の場合は、画像出力部１００の変位を中止させるようにしてもよい。
【０１００】
まず、移動ベクトル量だけ位置補正したときの表示出力部１００の位置が、予め定められた表示出力部１００の変位可能域を越える場合は、画像出力部１００の変位を中央制御装置８５４が中止させるようにしてもよい。また、ユーザＵが画像出力部１００の変位を中止させる選択をできるようにしてもよい。
【０１０１】
また、画像出力部１００の変位が、画像出力部接続部１９０の端部の変位限界値あるいは第２支持アーム３２０ｂの回動角の回動限界角に達した場合は、画像出力部１００の変位を中央制御装置８５４が中止させるようにしてもよい。また、ユーザＵが画像出力部１００の変位を中止させる選択をできるようにしてもよい。
【０１０２】
なお、画像出力部１００の変位量および回動角は、画像出力部接続部１９０の端部の位置を測定するセンサおよび第２支持アーム３２０ｂの回動角を測定する図示していないエンコーダによって随時モニタされている。
【０１０３】
次に、第２の動作（画像出力部１００内で、画像９００を変位させる動作）の詳細を説明する（図５参照）。
【０１０４】
第１の動作と同様に、まず状態検出装置８５５は、眼部の位置の変位量を検出し（ステップ５）、その値を中央制御装置８５４に送信する。中央制御装置８５４は、送られた眼部の位置のずれ値から、画像出力部１００内の表示画面１５０において出力画像９００をずらす量（相殺量）を計算する。中央制御装置８５４は、画像出力信号処理装置８５１に、その相殺量だけ出力画像の表示位置を変更する指示を送る。画像出力信号処理装置８５１は、その相殺量を用いて、出力画像の表示位置を変更し（ステップ６）、画像出力部１００へ出力する（ステップ７）。
【０１０５】
図６は、出力画像９００を変位させることで眼部の画像出力部１００に対する位置の変位を相殺する過程、およびその表示の状態を示す。
【０１０６】
図６は、電気−光変換器１１０、光学系１２０、光学系１２０の軸ｂｘと平行な軸ｃｘ、眼球Ｅｂ、眼球Ｅｂの視線方向の軸ａｘの位置関係を示す断面図である。図６（ａ）の状態では、視線方向の軸ａｘと光学系１２０の軸ｂｘとは一致している。図６（ｂ）は、この状態でユーザＵが見ることのできる、表示画面１５０に出力される出力画像９００である。
【０１０７】
図６（ｃ）は、ユーザＵの眼部（あるいは画像出力部１００）の相対位置が変位した状態の、電気−光変換器１１０、光学系１２０、光学系１２０の軸ｂｘと平行な軸ｃｘ、眼球Ｅｂ、眼球Ｅｂの視線方向の軸ａｘの位置関係を示している。ユーザＵの眼部（あるいは画像出力部１００）が変位したため、眼球Ｅｂと電気−光変換器１１０との位置関係が変わり、視線方向の軸ａｘと軸ｃｘとの間にずれ角ｄができている。これは、眼球Ｅｂの視線方向が変わったためである。
【０１０８】
図６（ｄ）は、図６（ｃ）におけるずれ角ｄをゼロとするように、出力画像９００の出力位置を補正したものである。これによって、視線方向の軸ａｘと軸ｃｘとが一致しているのが分かる。図６（ｅ）は、その際画像出力部１００の表示画面１５０に出力される出力画像９００である。出力画像９００の出力位置を補正したため、画像の一部がけられていて、表示されていないことが分かる。
【０１０９】
一方、電気‐光変換器１１０を変位させる場合は、画像出力信号処理装置８５１が出力画像９００を表示画面１５０上で変位させる代わりに、電気‐光変換器１１０の位置を画像出力部１００のなかで変更する。出力画像９００の表示位置を変位させる場合と同様に、中央制御装置８５４は、送られた眼部の位置の変位量から、電気‐光変換器１１０の位置の変位量（相殺量）を計算する。その相殺量から、支持アーム駆動制御装置８５９に備わったＸ軸駆動モータコントローラおよびＹ軸駆動モータコントローラは、Ｘ軸モータ１７７およびＹ軸モータ１８０を駆動させる。Ｘ軸モータ１７７およびＹ軸モータ１８０は、電気‐光変換器１１０の位置を、眼部の変位に対して相殺するように変位させる。
【０１１０】
また、画像出力部１００を変位させる第１の動作と同様に、第２の動作であっても、以下のような場合、その動作を中止してもよい。
【０１１１】
画像９００を表示画面１５０上で変位させる場合では、まず、表示画面１５０上で変位されて表示されている画像９００と表示画面１５０との面積比を求める（図６（ｅ）参照）。この面積比が、予め定めた面積比を下回った場合（つまり、変位量が大きく画像９００の表示面積が小さくなりすぎた場合）、画像９００の変位を、中央制御装置８５４が中止させるようにしてもよい。また、ユーザＵが画像９００の変位を中止させる選択をできるようにしてもよい。
【０１１２】
電気‐光変換器１１０の位置を変位させる場合には、まず、Ｘ軸モータ１７７およびＹ軸モータ１８０に備えられた回転角センサ４０２によって各軸の回転数が計測され、第１ステージ１７１の相対位置が検出される。第１ステージ１７１が、予め求められた第１ステージ１７１の変位可能域を超えて、位置補正をしようとする場合は、第１ステージ１７１の変位を中央制御装置８５４が中止させるようにしてもよい。また、ユーザＵが第１ステージ１７１の変位を中止させる選択をできるようにしてもよい。
【０１１３】
また、第１実施形態では、画像出力部１００の位置変位と画像出力部１００の中での画像９００の変位とを組み合わせている。この組み合わせは、時間的に前後することが望ましい。また、その順序は、どちらが先に来ることも考えられる。
【０１１４】
例えば、図６（ｅ）で示したように表示画面１５０上で画像９００を変位させる場合には、画像９００がけられる場合がある。この場合、次に画像出力部１００の位置変位を行なえば、けられた画像を、更に補正することができる。
【０１１５】
もちろん、画像出力部１００の位置変位のみで、ユーザＵの眼部の位置変位を相殺させてもよい。また、画像出力部１００の中で画像９００を変位させるだけで、ユーザＵの眼部の位置変位を相殺させてもよい。
【０１１６】
また、ユーザＵの眼部の位置変位が予め定めた値を越えた場合に、画像出力部１００の位置変位と画像出力部１００の中での画像９００の変位との何れも行なわない選択もありうる。この選択は、駆動ユニットＤの中央制御装置８５４によってなされてもよいし、ユーザＵが選択をできるようにしてもよい。
【０１１７】
第１実施形態の効果を以下に述べる。
【０１１８】
画像出力部１００の位置は、上下、左右の２自由度を持つ２つ駆動機構で自動的に変更できる。したがって、広い範囲で、ユーザＵの眼部とセンサ１８１との位置のずれに対応できる。
【０１１９】
また、画像出力部１００の中で画像９００の位置を変位させるには、駆動ユニットＤの記憶装置８５３に新たな信号処理用のソフトウエアを追加するだけでよい。
【０１２０】
さらに、画像出力部１００の電気‐光変換器１１０の位置の微動だけで、画像表示位置の補正に対処できる。
【０１２１】
また、画像出力部１００の位置変位と画像９００の位置の変位とを組み合わせることで、効率のよい画像表示位置の補正が可能となる。
【０１２２】
以上、第１実施形態を説明した。
【０１２３】
尚、本発明は、上記の実施形態に限定されるのもではない。その要旨の範囲内で数々の変形が可能である。
【０１２４】
第１実施形態の変形例として、センサ１８１とユーザＵの眼部との位置関係ではなく、センサ１８１と、ＨＭＤを頭部に固定している音響出力部２００との相対的な位置関係の変化を取得してもよい。この位置関係を得るには、例えば図７に示すようにセンサ１８１を音響出力部２００に、マーカ９０１を画像出力部１００に設け、マーカ９０１をセンサ１８１で撮影すればよい。この場合頭部への固定がずれた場合には対応できないが、同じＨＭＤ上にある特定の形（模様／色等）を持つマーカ９０１のみを撮影すればよいため、ロバストネスの向上、装置の単純化を図ることができる。この場合のデータ処理は、ユーザＵの眼部を撮影した場合と同じでよい。
【０１２５】
また、センサ１８１を画像出力部１００に、マーカ９０１を音響出力部２００に設けてもよい。
【０１２６】
また、第１実施形態に、音響或いは画像の通常の出力を停止し、音響或いは画像の警告を出力した後、画像出力部１００および音響出力部２００への給電を停止する機能を付け加えた態様も可能である。
【０１２７】
例えば、画像出力部１００が短周期（例えば１秒以下の周期）で振動し、かつ振動が継続した場合、ユーザＵの眼部（付近）の位置のずれも短周期かつ継続して現れることが予想される。この場合、画像出力部１００内での画像９００の位置変位および２つのモータによる画像出力部１００の変位では対処が難しい場合があり、警告の後給電を停止する本態様による対処法が可能である。
【０１２８】
したがって、給電を停止する条件として、眼部の位置変化（移動ベクトルの変化）の継続時間が、予め定めた時間を越えた場合とすることでも良い。また、この条件を、第１実施形態の相殺動作を開始する条件に加えても良い。つまり、眼部の画像出力部１００に対する位置変化（移動ベクトルの変化）の継続時間が、予め定めた時間を越えた場合と、眼部の位置変化の距離（移動ベクトルの長さ）が、予め定めた値を越えた場合と、の何れかが満たされたとき、本態様のＨＤＭが動作を停止すればよい。
【０１２９】
給電停止機能を有した本態様の構成は、駆動ユニットＤ（図８参照）の記憶装置８５３に警告用の画像と音声メッセージとを保存しておく以外には、第１実施形態の構成と同じである。
【０１３０】
その動作は、図９に示すように駆動ユニットＤの状態検出装置８５５が、ユーザＵの眼部の変位（移動ベクトル）からその変位量を検出するまでは、第１実施形態と全く同様である（図９のステップ５）。本態様では、更に、状態検出装置８５５は、中央制御装置８５４に備わったタイマに連動し、ユーザＵの眼部の変位（移動ベクトル）の変化が継続する時間をモニタしている。この継続時間が予め定めた時間を越えた場合、中央制御装置８５４は、変位（移動ベクトル）の変化が継続することで、画像９００がユーザＵにとって見づらい画像になっていると判断する。この状況を解消する動作として、本態様のＨＭＤは、それまで継続してきた音響或いは画像の出力を停止し、音響或いは画像による警告の後、画像出力部１００および音響出力部２００への給電を停止する動作を取ることができる（ステップ６〜８）。
【０１３１】
駆動ユニットＤの電源制御回路８５６には、以下のような遅延回路が備わっている。電源制御回路８５６は、中央制御装置８５４に備わったタイマに連動し、予め定めた時間の後、画像出力部１００および音声出力部２００への給電を停止する。
【０１３２】
したがって、中央制御装置８５４は、まず、予め定めた時間の後に画像出力部１００および音声出力部２００への給電を停止させるように、遅延回路を制御する。次に、それまで継続してきた音響或いは画像の出力を停止し、予め定めた時間、警告用の画像メッセージ及び音声メッセージ、またはその何れか一方を出力するように、画像出力信号処理装置８５１および音響出力信号処理装置８５２を制御する。これらの制御によって、本態様のＨＤＭは、それまで継続してきた音響或いは画像の出力を停止する。次に、予め定めた時間、画像出力装置１００および音響出力装置２００、またはその何れか一方は、警告用のメッセージを出力する。そして、画像出力部１００および音声出力部２００への給電が停止される。
【０１３３】
本態様では、眼部の変位の変化継続時間が予め定めた時間を越えた場合であっても、特別な動作をしない選択があってもよい。つまり、警告用のメッセージを出力せず、かつ画像出力部１００および音声出力部２００への給電を継続する選択肢を設けてもよい。この選択は、中央制御装置８５４によってなされてもよいし、ユーザＵが選択できるようにしてもよい。
【０１３４】
【発明の効果】
簡素な機構で画像出力部とユーザの頭部との相対的な位置関係を検知し、その相対的な位置変化を相殺するように画像を変位できるヘッドマウントディスプレイを提供することができる。
【図面の簡単な説明】
【図１】第１実施形態に係るヘッドマウントディスプレイの外観を示す上面図（Ａ）および側面図（Ｂ）と、一部断面図（Ｃ）である。
【図２】第１実施形態において用いられる画像出力部の構成を示す一部破断平面図（Ａ）と、一部斜視図（Ｂ）である。
【図３】第１実施形態において用いられる画像処理のフローチャート（１）である。
【図４】第１実施形態において用いられる画像処理を示す説明図である。
【図５】第１実施形態において用いられる画像処理のフローチャート（２）である。
【図６】第１実施形態における出力画像と視線の関係を示す説明図である。
【図７】第１実施形態の変形例に係るヘッドマウントディスプレイの外観を示す斜視図である。
【図８】各実施形態において適用可能なＨＭＤ駆動ユニットの構成要素を表すブロック図である。
【図９】第１実施形態の変形例において用いられる画像処理のフローチャートである。
【符号の説明】
Ｈ…ヘッドマウントディスプレイ（ＨＭＤ）
Ｄ…駆動ユニット、ＣＮ…コネクタ、
Ｍ１…画像重心、Ｍ２…画像重心、
Ｓ１…通常の眼部付近の形態、Ｓ２…通常の眼部付近の形態、Ｓ３…２値化した眼部付近の形態、Ｓ４…２値化した眼部付近の形態、ＳＷ…電源スイッチ、
Ｕ…ユーザ、Ｅｂ…眼球、
ａｘ…眼球の視線の軸、ｂｘ…光学系１２０の軸、ｃｘ…光学系１２０の軸と平行な軸、ｄ…ずれ角、
１…頭部、
１００…画像出力部、１１０…電気‐光変換器、１２０…光学系、１２１…レンズ系、１３０…鏡筒、１３１…レンズ収容部、１３２…変換器収容部、１３３…遮光部、１４０…ケース、１４１…覆い板、１４２…開口部、１４３…連結部、１５０…表示画面、１５１…オフディレイ設定ウィンドウ、１５２…オフ対象選択ウィンドウ、１５９…矢印アイコン、１７０…変換器移動系、１７１…第１ステージ、１７２…Ｘ軸移動系、１７３…Ｙ軸移動系、１７４…第２ステージ、１７５…補助材、１７６…Ｘ方向移動軸、１７７…Ｘ軸モータ、１７８…第３ステージ、１７９…Ｙ方向移動軸、１８０…Ｙ軸モータ、１８１…センサ、１９０…画像出力部接続部、
２００（２００Ｌ，２００Ｒ）…音響出力部、
３００…支持部、３１０…バンド、第１の支持アーム３２０ａ、第２の支持アーム３２０ｂ、３４０…支持アーム支持部、３９４…上下駆動モータ、３９５…上下駆動モータ軸、３９６…画像出力部アクチュエータ、３９７…左右駆動モータ、
４００…回動角センサ、４０１…左右駆動センサ、４０２…回動角センサ、４１０…上下駆動モータコントローラ、４１１…左右駆動モータコントローラ、
８００…ケーブル、８１０…プラグ、８５１…画像信号処理装置、８５２…音響出力信号処理装置、８５３…記憶装置、８５４…中央制御装置、８５５…状態検出装置、８５６…電源制御回路、８５７…電池、８５８…入出力インタフェース、８５９…支持アーム駆動制御装置、
９００…出力画像、９０１…マーカ。

Claims (10)

1. ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、
   画像を表示する画像出力部と、
   前記画像出力部を前記ユーザの眼前の位置に支持する支持部と、
   前記ユーザの頭部の存在が想定される空間に検出域を有するセンサと、
   前記センサからの信号を処理する信号処理部と、
   前記信号処理部からの出力に応じて前記画像の位置を変位させる変位手段とを備え、
   前記信号処理部は、前記信号を基に前記ユーザと前記画像出力部との相対的な位置関係の変化量を検出し、前記画像の位置を変位させて前記変化量を相殺する相殺量を算出し、
   前記変位手段は、前記画像の位置を前記相殺量だけ変位させること
   を特徴とするヘッドマウントディスプレイ。
2. ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、
   画像を表示する画像出力部と、
   前記画像出力部を前記ユーザの眼前の位置に支持する支持部と、
   前記支持部を前記ユーザの頭部に固定する固定部と
   前記固定部の特定部位を検出域内に望むセンサと、
   前記センサからの信号を処理する信号処理部と、
   前記信号処理部からの出力に応じて前記画像の位置を変位させる変位手段とを備え、
   前記信号処理部は、前記信号を基に前記固定部と前記画像出力部との相対的な位置関係の変化量を検出し、前記画像の位置を変位させて前記変化量を相殺する相殺量を算出し、
   前記変位手段は、前記画像の位置を前記相殺量だけ変位させること
   を特徴とするヘッドマウントディスプレイ。
3. 前記変位手段は、
   前記画像出力部内における前記画像の表示位置を変位することで、前記画像の位置を変位すること
   を特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイ。
4. 前記変位手段は、
   前記画像出力部の位置を変位することで、前記画像の位置を変位すること
   を特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイ。
5. 前記変位手段は、
   前記画像出力部内において前記画像の表示位置を変位させること及び前記画像出力部の位置を変位させることの両方の手段によって前記画像の位置を変位すること
   を特徴とする請求項１または２のいずれか１項に記載のヘッドマウントディスプレイ。
6. 請求項１または２のいずれか１項に記載のヘッドマウントディスプレイであって、
   前記画像出力部は、画像表示素子を有し、
   前記変位手段は、
   前記画像表示素子上で前記画像の表示位置を変位させること、あるいは前記画像表示素子を変位させることの何れかであること
   を特徴とするヘッドマウントディスプレイ。
7. 請求項４または５に記載のヘッドマウントディスプレイであって、
   前記変位手段は、回動機構およびスライド機構、或いはその何れか一方を有し、
   前記回動機構および前記スライド機構、或いはその何れか一方は、前記画像出力部の位置を変位させること
   を特徴とするヘッドマウントディスプレイ。
8. 請求項１乃至７のいずれか１項に記載のヘッドマウントディスプレイであって、
   更に、前記画像の位置の変位を行なうか否かを、選択する選択手段を有すること
   を特徴とするヘッドマウントディスプレイ。
9. 請求項１乃至８のいずれか１項に記載のヘッドマウントディスプレイであって、
   音響を出力する音響出力部と、
   前記音響の出力、前記画像の出力および電源とを制御する制御手段とをさらに有し、
   前記信号処理部は、前記相対的な位置関係の変化を検出し、
   前記制御手段は、前記相対的な位置関係が所定範囲外である場合に、前記電源を制御し、出力されている前記音声と前記画像の出力を停止し、一定時間、前記音声および前記画像、或いはその一方による警告メッセージを出力し、その後前記音声および前記画像の出力を停止するディレイオフ制御を行なうこと
   を特徴とするヘッドマウントディスプレイ。
10. 請求項９に記載のヘッドマウントディスプレイであって、
    更に、前記ディレイオフ制御を行なうか否かを選択する第２の選択手段を有すること
    を特徴とするヘッドマウントディスプレイ。

Images