JP2010134152A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】足の動きで操作可能なヘッドマウントディスプレイの提供。
【解決手段】ヘッドマウントディスプレイ１は、足入力操作モードがＯＮになっているときにユーザの足の動きを検出すると、検出した足の動きに応じて、ユーザの網膜に投影される画像（表示コンテンツ）を制御する。これにより、ユーザは、両手がふさがっている状態であっても表示コンテンツを操作でき、作業効率を高めることができる。
【選択図】図６

Description

本発明は、足の動きで操作可能なヘッドマウントディスプレイに関するものである。

従来、所定のデバイスを足で操作する技術が種々提案されている。例えば、下記特許文献１では、コンピュータへの座標入力を足で行う座標入力装置が記載されている。

特開平７−８４７２２号公報

上記特許文献１に記載された座標入力装置は、いわゆる「２ボタンマウス装置」と同等の機能を果たすことができるものの（特許文献１の［００２３］参照）、特殊な構造を有するデバイスであるため汎用的ではなく、また、製造コストを必要とする。また、この座標入力装置をヘッドマウントディスプレイに適用する場合、ヘッドマウントディスプレイと座標入力装置とを接続するための配線が必要であり、その配線が邪魔となって、ヘッドマウントディスプレイを装着したユーザの動きを制約するおそれがある。

本発明は、上述した問題点を解決するためになされたものであり、特殊なデバイスを用いることなく簡易な構成により実現できる足の動きで操作可能なヘッドマウントディスプレイを提供することを目的とする。

請求項１に係る発明は、ユーザに装着されるヘッドマウントディスプレイであって、表示画像を表示する表示手段と、前記ユーザの足元周辺の画像を撮像する撮像手段と、前記撮像された画像に基いて、前記ユーザの足元の動きを認識する画像認識手段と、前記認識された動きに基いて、前記表示画像の表示態様を制御する制御手段とを有することを特徴とする。

上記ヘッドマウントディスプレイによれば、足の動きによって表示画像を制御することができる。これにより、ヘッドマウントディスプレイを装着しているユーザは、両手がふさがっている状態であっても表示画像を操作できるので、作業効率を高めることができる。また、足元周辺の画像を撮像するので、撮像範囲をユーザの足元に限定することができ、作業対象、作業に伴う手の動き、及び他の作業者の身体等が撮像されることがなくなるため、確実かつ信頼性の高い表示画像の表示態様の制御を行うことができる。

請求項２に係る発明は、請求項１のヘッドマウントディスプレイであって、前記撮像手段は、前記ユーザの一方の足元周辺の画像を撮像することを特徴とする。

上記ヘッドマウントディスプレイによれば、ユーザの一方の足の動きに基いて表示画像を制御することができる。これにより、両足の動きに基づく表示画像の制御と比較して画像処理に係る計算量を削減することができる。

請求項３に係る発明は、請求項１または請求項２のヘッドマウントディスプレイであって、前記制御手段は、前記認識された動きが第１の所定動作であったときに、前記表示態様の制御を開始し、前記認識された動きが第２の所定動作であったときに、前記表示態様の制御を終了することを特徴とする。

上記ヘッドマウントディスプレイによれば、足の動きに基いて表示画像の表示開始及び表示終了を制御することができる。これにより、足の動きで表示画像に関する全ての操作が可能となるので、作業効率をより高めることができる。

請求項４に係る発明は、請求項１乃至請求項３のいずれかのヘッドマウントディスプレイであって、前記表示手段は、前記表示画像を外界からの光線に重畳させて前記ユーザの網膜上に投影表示することを特徴とする。

上記ヘッドマウントディスプレイによれば、光学シースルー型のヘッドマウントディスプレイであるので、ユーザは外光を認識することができる。これにより、ヘッドマウントディスプレイを装着した状態で作業対象を視認できるとともに、ヘッドマウントディスプレイの表示画像を見ながら手による作業を行うことができる。また、表示画像の制御を足の動きで行うので、当該制御時に手による作業を中断する必要がなく、作業性及び利便性を向上させることができる。

請求項５に係る発明は、請求項１乃至請求項４のいずれかのヘッドマウントディスプレイであって、前記撮像手段の撮像方向を変化させる変化手段を有し、前記撮像手段は、前記変化手段の動作により、前記ユーザの足元周辺以外の画像を撮像可能であることを特徴とする。

上記ヘッドマウントディスプレイによれば、足元周辺以外の画像を撮像することができる。これにより、例えば、ユーザの正面方向の画像を撮像して外部に出力することができる。

本発明によれば、特殊なデバイスを用いることなく簡易な構成によって、足で操作可能なヘッドマウントディスプレイを実現することができる。

以下、本発明の一実施形態に係るヘッドマウンドディスプレイについて、図面を参照しつつ詳細に説明する。図１及び図２は、本実施形態のヘッドマウントディスプレイがユーザに装着された状態を示している。なお、図１及び図２に示されるヘッドマウントディスプレイの外観は単なる一例であり、本発明は、当該外観を有するヘッドマウントディスプレイに限定されるものではない。

なお、以下の説明では、本発明を網膜走査ディスプレイに適用した実施形態について説明するが、本発明は、液晶や有機ＥＬ等を用いて画像を表示する種々のヘッドマウントディスプレイに適用することができる。また、本発明は、光学シースルー型のヘッドマウントディスプレイのみならず、ビデオシースルー型のヘッドマウントディスプレイにも適用することができる。

ヘッドマウントディスプレイ１は、表示されるコンテンツに応じて変調された画像光（ビーム光）を走査しながら出射させ、ユーザの少なくとも一方の眼の網膜に画像を投影する。以下、網膜に投影される画像を、「表示コンテンツ」という。
また、ヘッドマウントディスプレイ１は、ユーザの視野の一部のみに表示コンテンツを投影するため、ユーザは、その部分以外の視野で外界を視認することができる。

ヘッドマウントディスプレイ１は、図１及び図２に示すように、表示コンテンツに応じた画像光Ｚ２を出射する出射装置１１と、画像光Ｚ２をユーザの眼に向かって反射させるプリズム１６と、ＣＣＤセンサ１３と、ＬＥＤ１４と、輝度センサ１５と、これらの部材を支持する支持部材１２とから基本的に構成される。なお、図２では、ＣＣＤセンサ１３、ＬＥＤ１４、輝度センサ１５を省略している。

プリズム１６は、不図示のビームスプリッタ部を備えており、外界からの外光Ｚ１を透過させ、透過された外光Ｚ１は、ユーザにより視認される。これにより、ユーザは、表示コンテンツを外光に重畳して視認することができる。

ＣＣＤセンサ１３には、不図示の撮像方向変化部材が備えられており、撮像方向変化部材の回動角度を変えることでＣＣＤセンサ１３の撮像方向を調整することができる。これにより、ＣＣＤセンサ１３は、ユーザの足元周辺や正面方向を撮像することができる。また、ＣＣＤセンサ１３の撮像方向に関する情報は、後述の「足入力操作モード」のＯＮ／ＯＦＦ制御に用いられる。また、ＣＣＤセンサ１３の撮像方向は、後述の撮像方向検出器１７により検出される。

また、ＣＣＤセンサ１３が撮像した足の画像（動画像）は、ＣＰＵ１０１（後述）によって画像処理され、画像処理の結果に基いて表示コンテンツが制御される。これにより、ユーザは、足を動かすことにより、対象物４００を扱いつつ手を用いることなく表示コンテンツを操作することができる（図１参照）。

ＬＥＤ１４は、ＣＣＤセンサ１３の撮像領域を照らすことができる。輝度センサ１５は、外界の明るさを検出し、外界の明るさが所定値を下回ったときに、ＬＥＤ１４は、ＣＣＤセンサ１３の撮像領域を照らす。

（ヘッドマウントディスプレイ１の電気的構成）
次に、ヘッドマウントディスプレイ１の電気的構成について説明する。図３は、ヘッドマウントディスプレイ１の電気的構成を示すブロック図である。

制御部１００は、ＣＰＵ１０１と、フラッシュメモリ１０２と、ＲＡＭ１０３とから構成され、各構成要素はバスで接続されている。
ＣＰＵ１０１は、ヘッドマウントディスプレイ１全体を制御し、本実施形態を実現するために必要な各種プログラムの実行及び画像処理を行う。

フラッシュメモリ１０２には、上記各種プログラム及び表示コンテンツの基となる各種コンテンツデータが記憶されている。ここで、各種コンテンツデータには、作業手順書（文書ファイル）、表計算ファイル、動画ファイル等が含まれる。
また、上記各種プログラムの一部または全部を、読み出し専用のＲＯＭ（不図示）に記憶するように構成してもよい。

ＲＡＭ１０３には、ＣＰＵ１０１による各種プログラムの実行の際に、種々の一時的なデータの読み込み／書き込みが行われる。また、ＲＡＭ１０３には、ＣＣＤセンサ１３が撮像した画像信号が記憶される画像エリアが確保されている。ここで、画像エリアは、少なくとも１フレーム分の画像信号が記憶できるだけの大きさを必要とする。また、画像エリアを２フレーム分確保し、一方の画像エリアにＣＣＤセンサ１３からの画像信号を書き込んでいるときに、もう一方の画像エリアの画像信号を処理するダブルバッファリングを用いてもよい。

ビデオＲＡＭ１１０は、画像信号を一時的に記憶する。ビデオＲＡＭ１１０に記憶された画像信号は、出射装置１１に出力され、表示コンテンツとしてユーザの網膜に投影される。ＣＰＵ１０１は、表示コンテンツに対応する画像信号をフラッシュメモリ１０２から読み出し、読み出した画像信号をビデオＲＡＭ１１０に書き込むことによって、表示コンテンツを制御することができる。出射装置１１の詳細については後述する。

操作部１２１は、ユーザがヘッドマウントディスプレイ１を操作するためのボタン群やスイッチ群であり、操作部１２１が操作されると、操作されたボタンやスイッチに対応する制御信号が、入力制御回路１２２を介して制御部１００に入力される。

ＣＣＤセンサ１３で撮像された画像信号は、ＣＣＤコントローラ１３２を介して、ＲＡＭ１０３の画像エリアに書き込まれる。また、ＣＣＤセンサ１３で撮像された画像信号は、後述する外部接続モジュール１６１及び外部接続制御回路１６２を介して、外部に出力することができる。

輝度センサ１５が検出した明るさの情報は、入力制御回路１５２を介して制御部１００に出力される。制御部１００は、受信した情報に基いた所定の制御信号をＬＥＤコントローラ１４２に送信する。ＬＥＤコントローラ１４２は、受信した制御信号に基いて、ＬＥＤ１４を制御する。これにより、外界の明るさが所定値を下回ったときに、ＬＥＤ１４は、ＣＣＤセンサ１３の撮像領域を照らすことができる。なお、制御部１００を介することなく、入力制御回路１５２とＬＥＤコントローラ１４２との間で情報の送受信を行うように構成してもよい。

撮像方向検出器１７は、撮像方向変化部材の角度を検出するものであり、これによりＣＣＤセンサ１３の撮像方向を検出することができる。また、ＣＣＤセンサ１３の撮像方向（角度）は、ユーザの手により変化できるように構成することができる。
撮像方向検出器１７は、例えば、ＣＣＤセンサ１３が下方に向いているときに「閉」、水平方向に向いているときに「開」となるスイッチとして実現してもよい。そして、スイッチの状態を示す信号は、入力制御回路１７２を介して制御部１００に出力され、後述の「足入力操作モード」のＯＮ／ＯＦＦ制御に用いられる。

また、角度センサを用い、ＣＣＤセンサ１３の角度が、ヘッドマウントディスプレイ１の鉛直下方に対し±３０°の範囲内であれば、後述の「足入力操作モード」をＯＮとするための信号を、入力制御回路１７２を介して制御部１００に出力し、また、±３０°の範囲外であれば、後述の「足入力操作モード」をＯＦＦとするための信号を、入力制御回路１７２を介して制御部１００に出力するように構成してもよい。なお、検出したＣＣＤセンサ１３の角度を、入力制御回路１７２を介して制御部１００に出力し、制御部１００側で後述の「足入力操作モード」のＯＮ／ＯＦＦを判断するように構成してもよい。

さらに、リモコンやヘッドマウントディスプレイ１のスイッチ操作に基いて撮像方向変化部材の角度（ＣＣＤセンサ１３の角度）を変化させてもよく、モータ等を駆動回路で駆動し、撮像方向変化部材の角度を変化させることができる。この場合、スイッチ操作や駆動回路による回転角によって撮像方向変化部材の角度を検出することができる。

外部接続モジュール１６１は、外部機器（例えば、パーソナルコンピュータ）と接続し、コンテンツデータを取得する。コンテンツデータは、外部接続制御回路１６２を介して、フラッシュメモリ１０２に記憶される。
また、ＣＣＤセンサ１３で撮像した画像信号は、外部接続モジュール１６１及び外部接続制御回路１６２を介して、外部に出力することができる。
なお、外部接続モジュール１６１と外部機器との接続は、有線／無線のいずれでもよい。

なお、上述したヘッドマウントディスプレイ１の電気的構成は、単なる一例にすぎない。また、画像処理を行うための専用のプロセッサ及び／またはメモリを備えてもよい。

（出射装置１１の電気的構成）
次に、出射装置１１の電気的及び光学的構成について説明する。図４は、出射装置１１の電気的及び光学的構成のブロック図である。

図４に示すように、出射装置１１は、ビデオＲＡＭ１１０からの画像信号に応じた画像光を生成する画像光生成部２０と、生成された画像光を平行光化するコリメート光学系６１と、平行光化された画像光を水平方向に往復走査する水平走査部７０と、水平方向に走査された画像光を垂直方向（水平方向と略直交する方向）に往復走査する垂直走査部８０と、水平方向及び垂直方向に走査（２次元的に走査）された画像光をユーザの眼Ｅの瞳孔Ｅａへ出射するリレー光学系９０とを備えている。

また、画像光生成部２０とコリメート光学系６１とは、光ファイバ５１を介して接続され、水平走査部７０と垂直走査部８０との間には、リレー光学系７５が設けられ、リレー光学系９０と瞳孔Ｅａとの間には、プリズム１６が設けられている。

次に、画像光生成部２０の詳細について説明する。
画像光生成部２０には、ビデオＲＡＭ１１０からの画像信号に基いて制御信号２２ａ〜２２ｃを出力する信号処理回路２１と、各制御信号に基いてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各画像光を出力する光源部３０と、各画像光を１つの画像光に結合する光結合部４０を備えている。

信号処理回路２１は、ビデオＲＡＭ１１０からの画像信号に基いて、ドットクロック毎に各制御信号２２ａ〜２２ｃを、光源部３０に出力する。

光源部３０は、Ｒレーザドライバ３１と、Ｇレーザドライバ３２と、Ｂレーザドライバ３３と、Ｒレーザ３４と、Ｇレーザ３５と、Ｂレーザ３６とから構成されている。

Ｒレーザドライバ３１は、制御信号２２ａに基いてＲレーザ３４を制御し、赤色の画像光を出力する。Ｇレーザドライバ３２は、制御信号２２ｂに基いてＧレーザ３５を制御し、緑色の画像光を出力する。Ｂレーザドライバ３３は、制御信号２２ｃに基いてＢレーザ３６を制御し、青色の画像光を出力する。

なお、各レーザ３４〜３６は、例えば、半導体レーザや高調波発生機構付き固体レーザにより構成することができる。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行い、また、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う。

光結合部４０は、コリメート光学系４１〜４３と、ダイクロイックミラー４４〜４６と、結合光学系４７とを備えている。

各レーザ３４〜３６から出力された各画像光は、コリメート光学系４１〜４３によって平行化され、ダイクロイックミラー４４〜４６に出力される。出力された各画像光は、ダイクロイックミラー４４〜４６により波長に応じて選択的に反射・透過され、１つの画像光として結合光学系４７に到達する。

結合光学系４７に到達した画像光は、光ファイバ５１を介してコリメート光学系６１に伝送される。コリメート光学系６１は、伝送された画像光を平行光化し、平行光化した画像光を水平走査部７０に出力する。

水平走査部７０は、画像光を水平方向に走査する共振型偏向素子７１と、共振型偏向素子７１を揺動させる水平走査駆動回路７２と、共振型偏向素子７１の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを備えている。

水平走査部７０と垂直走査部８０との間に設けられているリレー光学系７５は、水平走査部７０で水平方向に走査された画像光を、垂直走査部８０の偏向素子８１に収束させる。

垂直走査部８０は、画像光を垂直方向に走査する偏向素子８１と、偏向素子８１を駆動させる垂直走査制御回路８２と、偏向素子８１の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。

ここで、水平走査駆動回路７２は、信号処理回路２１から出力される水平駆動信号２３に基いて駆動し、垂直走査制御回路８２は、信号処理回路２１から出力される垂直駆動信号２４に基いて駆動する。また、信号処理回路２１は、ＣＰＵ１０１からの制御信号に基いて、水平駆動信号２３及び垂直駆動信号２４を出力する。

水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号７４をＣＰＵ１０１に出力し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号８４をＣＰＵ１０１に出力する。

ＣＰＵ１０１は、受信した信号７４及び信号８４に基いて、信号処理回路２１に出力する制御信号を決定する。これにより、共振型偏向素子７１及び偏向素子８１の状態は、ＣＰＵ１０１によりフィードバック制御されることになる。
なお、信号７４及び信号８４を信号処理回路２１に出力するように構成し、信号処理回路２１が、信号７４及び信号８４に基いて水平駆動信号２３及び垂直駆動信号２４を決定するように構成してもよい。すなわち、共振型偏向素子７１及び偏向素子８１の状態を、信号処理回路２１によってフィードバック制御してもよい。

水平走査部７０及び垂直走査部８０により２次元的に走査された画像光は、リレー光学系９０に出力され、リレー光学系９０は、画像光をユーザの瞳孔Ｅａに入射させる。

なお、本実施形態においては、光結合部４０から伝送された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査しているが、水平走査部７０と垂直走査部８０との位置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するように構成してもよい。

（足入力操作モード）
次に、足入力操作モードについて説明する。足入力操作モードがＯＮとなると、ユーザは、足の動きによって表示コンテンツを操作することができる。ＣＣＤセンサ１３の撮像方向がユーザの足元周辺となっている場合に、足入力操作モードはＯＮとなる。また、ＣＣＤセンサ１３の撮像方向は、例えば、撮像方向変化部材の角度に基いて認識することができる。

図５は、ＣＣＤセンサ１３の向きと足入力操作モードのＯＮ／ＯＦＦ状態との関係を示している。
ＣＣＤセンサ１３が足元周辺以外の方向を撮像しているときは（図５（Ａ））、足入力操作モードはＯＦＦとなる。また、この状態で撮像された画像信号は、外部接続制御回路１６２及び外部接続モジュール１６１を介して、外部機器に出力することができる。
また、ＣＣＤセンサ１３が足元周辺を撮像しているときは（図５（Ｂ）または（Ｃ））、足入力操作モードはＯＮとなる。

（コンテンツ表示制御処理）
次に、コンテンツ表示制御処理について説明する。コンテンツ表示制御処理のプログラムは、フラッシュメモリ１０２に記憶されている。

コンテンツ表示制御処理は、足入力操作モードがＯＮとなっているときに、ＣＰＵ１０１により繰り返し実行される。また、足入力操作モードがＯＦＦとなると、コンテンツ表示制御処理は終了する。また、コンテンツ表示制御処理が開始されると、ＣＣＤセンサ１３が撮像した画像信号は、ＲＡＭ１０３の画像エリアに所定のフレームレートで書き込まれる。

なお、表示制御対象となるコンテンツデータは、予めフラッシュメモリ１０２に記憶されているものとする。また、複数のコンテンツデータがフラッシュメモリ１０２に記憶されている場合は、どのコンテンツデータを表示するのかについて予め設定されているものとする。

図６は、コンテンツ表示制御処理のフローチャートである。
Ｓ１１において、表示開始を指示する足の動きを検出したか否かを判断する。図７は、表示開始を指示する足の動きの一例を示している。図７に示すように、「Ｓ字」を描くような動きを検出したときに、Ｓ１１で「ＹＥＳ」と判断することができる。また、動き検出には、公知の動き検出法（例えば、マッチング法、勾配法）を用いることができる。

図８は、表示開始を指示する足の動きの他の一例を示している。図８に示すように、ユーザの足がカメラ視野に入ったときに、Ｓ１１で「ＹＥＳ」と判断してもよい。
なお、図７、図８、及び後述する図９〜図１２では、素足での動きを示しているが、靴や靴下を履いた状態であっても本発明は実現可能である。また、画像処理を容易にするために、所定の色マーク等を靴や靴下に付してもよい。

表示開始を指示する足の動きを検出していないと判断した場合は（Ｓ１１：ＮＯ）、Ｓ１１に戻る。これにより、表示開始を指示する足の動きを検出するまでの間、処理はＳ１１で待機することになる。一方、表示開始を指示する足の動きを検出したと判断した場合は（Ｓ１１：ＹＥＳ）、Ｓ１２に移行する。

Ｓ１２において、コンテンツデータの表示を開始する。表示するコンテンツデータが文書データである場合は、文書の最初のページを表示することができる。また、表示するコンテンツデータが表計算ファイルである場合は、表計算ファイルの最初の部分を表示することができる。また、表示するコンテンツデータが動画像ファイルである場合は、動画像ファイルの最初から再生を開始することができる。

Ｓ１３において、足の動きを検出したか否かを判断する。足の動きを検出していないと判断した場合は（Ｓ１３：ＮＯ）、Ｓ１３に戻る。これにより、足の動きを検出するまでの間、処理はＳ１３で待機することになる。
一方、足の動きを検出したと判断した場合は（Ｓ１３：ＹＥＳ）、Ｓ１４に移行する。

ここで、Ｓ１３で検出する足の動きは、例えば、図９〜図１２に示すように、
（１）前に移動（図９）
（２）後ろに移動（図９）
（３）左に移動（図９）
（４）右に移動（図９）
（５）踵を支点にして左回転（図１０）
（６）踵を支点にして右回転（図１０）
（７）×印を描くように移動（図１１）
（８）カメラ視野から外れる（図１２）
（９）その他
のいずれか１つとすることができる。

Ｓ１４において、Ｓ１３で検出した足の動きが表示終了を指示する動きであるか否かを判断する。図１１のように、「×印」を描くような動きを検出したときに、Ｓ１４で「ＹＥＳ」と判断することができる。また、図１２のように、ユーザの足がカメラ視野から外れたときに、Ｓ１４で「ＹＥＳ」と判断してもよい。

表示終了を指示する動きであると判断した場合は（Ｓ１４：ＹＥＳ）、Ｓ１５に移行する。Ｓ１５において、コンテンツデータの表示を終了し、Ｓ１１に戻る。一方、表示終了を指示する動きではないと判断した場合は（Ｓ１４：ＮＯ）、Ｓ１６に移行する。

Ｓ１６において、Ｓ１３で検出した足の動きが表示中のコンテンツデータに対して有効な動きであるか否かを判断する。ここで、有効な動きであるか否かは、制御テーブルを参照して判断することができる。
図１３は、制御テーブルの内容の一例を示している。図１３に示すように、コンテンツデータごとに、有効な足の動きと制御内容が定義されている。

例えば、表示中のコンテンツデータが「作業手順書」の場合、「足が前に移動した」ことを検出したときは、有効な動きであると判断される。一方、表示中のコンテンツデータが「作業手順書」の場合、「足が踵を支点に左回転した」ことを検出したときは、コンテンツデータに対する制御内容が定義されていないため、無効な動きであると判断される。

無効な動きであると判断した場合は（Ｓ１６：ＮＯ）、Ｓ１３に戻る。一方、有効な動きであると判断した場合は（Ｓ１６：ＹＥＳ）、Ｓ１７に移行する。
Ｓ１７において、制御テーブルの内容に基いて表示コンテンツを制御する。例えば、表示中のコンテンツデータが「作業手順書」の場合、「足が左に移動した」ことを検出したときは、制御テーブルに基いて、表示中のコンテンツデータに対して「頁戻し」を行う。

また、表示中のコンテンツデータが「表計算ファイル」の場合、「足が前に移動した」ことを検出したときは、制御テーブルに基いて、表示中のコンテンツデータに対して「上スクロール」を行う。なお、スクロール量は、所定の行数／列数とすることができる。また、動きの速度を認識し、認識した速度に応じてスクロール量を決定してもよい。

また、表示中のコンテンツデータが「動画像ファイル」の場合、「踵を支点に左回転した」ことを検出したときは、制御テーブルに基いて、動画像ファイルの再生位置を戻す。なお、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、３０ｓｅｃ）分とすることができる。また、左／右回転時の速度を認識し、認識した速度に応じて戻し／進み量を決定してもよい。

図１４は、足の動きと表示されるコンテンツ（作業手順書）との関係を示している。なお、図１４では、見開きページ表示（２ページ分の表示）としているが、単一ページ表示としてもよいことはいうまでもない。

図１４に示すように、２ページ目と３ページ目とが表示されている状態で、足が右に移動されると、４ページ目と５ページ目とが表示される。また、４ページ目と５ページ目とが表示されている状態で、足が左に移動されると、２ページ目と３ページ目とが表示される。

図１５は、足の動きと表示されるコンテンツ（作業手順書）との関係を示している。図１５に示すように、３ページ目全体が表示されている状態で、足が後ろに移動されると、３ページ目の後半部分と４ページ目の前半部分とが表示される。また、３ページ目の後半部分と４ページ目の前半部分とが表示されている状態で、足が前に移動されると、３ページ目全体が表示される。

以上説明したとおり、本実施形態のヘッドマウントディスプレイ１は、足入力操作モードがＯＮになっているときにユーザの足の動きを検出すると、検出した足の動きに応じて、ユーザの網膜に投影される画像（表示コンテンツ）を制御する。これにより、ユーザは、両手がふさがっている状態であっても表示コンテンツを操作でき、作業効率を高めることができる。例えば、図１において、対象物４００に関する作業説明書をヘッドマウントディスプレイ１に表示している場合、両手で対象物４００を扱いつつ、足の動きで作業説明書の所定のページを表示させることができる。

なお、上述したフローチャートは単なる一例であり、該フローチャートの処理と同等の結果を得ることができるものであれば、他の処理によって本発明を実現してもよい。

また、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態に対して種々の改良、変形したヘッドマウントディスプレイとして実現可能であることはいうまでもない。

例えば、両足を撮像し、両足の動きに基いて表示コンテンツを制御するように構成してもよい。このとき、複数のＣＣＤセンサを有する構成としてもよい。また、右足の動きと左足の動きの組合せに基いて表示コンテンツを制御することができる。

また、表示コンテンツ以外についても足の動きで操作するように構成してもよい。例えば、ＬＥＤ１４の明るさや、操作ボタン群１２１の操作対象の一部または全部を、足の動きでも操作できるように構成してもよい。

また、ヘッドマウントディスプレイ１にミラーを設け、ミラーの向きによってＣＣＤセンサ１３の撮像方向を調整するように構成してもよい。

なお、上述した実施形態において、出射装置１１は表示手段の一例、ＣＣＤセンサ１３は撮像手段の一例、撮像方向変化部材は変化手段の一例である。また、ＣＰＵ１０１は、コンテンツ表示制御処理のプログラムを実行することにより、画像認識手段及び制御手段として機能する。

また、上述したヘッドマウントディスプレイに係る方法、該方法をコンピュータに実行させるためのプログラム、該プログラムを記録した記録媒体等としても本発明は実現可能である。

すなわち、本発明は、例えば、
ユーザに装着されるヘッドマウントディスプレイの表示画像を制御する表示制御方法であって、
前記ユーザの足元周辺の画像を撮像し、
前記撮像された画像に基いて、前記ユーザの足元の動きを認識し、
前記認識された動きに基いて、前記表示画像の表示態様を制御する、
表示制御方法。
としても実現することができる。

また、本発明は、例えば、
ユーザに装着されるヘッドマウントディスプレイの表示画像を制御する表示制御プログラムであって、
コンピュータに、
前記ユーザの足元周辺の画像を撮像するステップ、
前記撮像された画像に基いて、前記ユーザの足元の動きを認識するステップ、
前記認識された動きに基いて、前記表示画像の表示態様を制御するステップ、
を実行させるための表示制御プログラム。
としても実現することができる。

また、本発明は、例えば、
ユーザに装着されるヘッドマウントディスプレイの表示画像を制御する表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
前記ユーザの足元周辺の画像を撮像するステップ、
前記撮像された画像に基いて、前記ユーザの足元の動きを認識するステップ、
前記認識された動きに基いて、前記表示画像の表示態様を制御するステップ、
を実行させるための表示制御プログラムを記録した記録媒体。
としても実現することができる。

本発明の一実施形態におけるヘッドマウントディスプレイがユーザに装着された状態を示す説明図である。 本発明の一実施形態におけるヘッドマウントディスプレイがユーザに装着された状態を示す説明図である。 本発明の一実施形態におけるヘッドマウントディスプレイの電気的構成を示すブロック図である。 本発明の一実施形態における出射装置の電気的及び光学的構成を示すブロック図である。 本発明の一実施形態におけるＣＣＤセンサの向きと足入力操作モードのＯＮ／ＯＦＦ状態との関係を示す説明図である。 本発明の一実施形態におけるコンテンツ表示制御処理のフローチャートである。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態において検出される足の動きの一例を示す説明図である。 本発明の一実施形態における制御テーブルの内容の一例を示す説明図である。 本発明の一実施形態における足の動きと表示コンテンツとの関係を示す説明図である。 本発明の一実施形態における足の動きと表示コンテンツとの関係を示す説明図である。

符号の説明

１ ヘッドマウントディスプレイ
１１ 出射装置
１３ ＣＣＤセンサ
１０１ ＣＰＵ
１０２ フラッシュメモリ
１０３ ＲＡＭ
１１０ ビデオＲＡＭ

Claims (5)

1. ユーザに装着されるヘッドマウントディスプレイであって、
   表示画像を表示する表示手段と、
   前記ユーザの足元周辺の画像を撮像する撮像手段と、
   前記撮像された画像に基いて、前記ユーザの足元の動きを認識する画像認識手段と、
   前記認識された動きに基いて、前記表示画像の表示態様を制御する制御手段と、
   を有することを特徴とするヘッドマウントディスプレイ。
2. 前記撮像手段は、前記ユーザの一方の足元周辺の画像を撮像する、
   ことを特徴とする請求項１のヘッドマウントディスプレイ。
3. 前記制御手段は、前記認識された動きが第１の所定動作であったときに、前記表示態様の制御を開始し、前記認識された動きが第２の所定動作であったときに、前記表示態様の制御を終了する、
   ことを特徴とする請求項１または請求項２のヘッドマウントディスプレイ。
4. 前記表示手段は、前記表示画像を外界からの光線に重畳させて前記ユーザの網膜上に投影表示する、
   ことを特徴とする請求項１乃至請求項３いずれかのヘッドマウントディスプレイ。
5. 前記撮像手段の撮像方向を変化させる変化手段を有し、
   前記撮像手段は、前記変化手段の動作により、前記ユーザの足元周辺以外の画像を撮像可能である、
   ことを特徴とする請求項１乃至請求項４いずれかのヘッドマウントディスプレイ。

Images