JP2010152443A - ヘッドマウントディスプレイ - Google Patents
ヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP2010152443A JP2010152443A JP2008326991A JP2008326991A JP2010152443A JP 2010152443 A JP2010152443 A JP 2010152443A JP 2008326991 A JP2008326991 A JP 2008326991A JP 2008326991 A JP2008326991 A JP 2008326991A JP 2010152443 A JP2010152443 A JP 2010152443A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- display
- eyelid
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Abstract
【課題】表示された画像の表示状態の変更を眼の動作で正確に操作でき、誤動作を防止することが可能となるヘッドマウントディスプレイを提供する。
【解決手段】ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａの動作を検出する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが閉じられている場合には、ＣＣＤセンサ１６を介して検出された左眼５の眼球５Ａの眼球運動に従って左眼５に表示されるコンテンツ（画像）の表示制御を行う。
【選択図】図５
【解決手段】ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａの動作を検出する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが閉じられている場合には、ＣＣＤセンサ１６を介して検出された左眼５の眼球５Ａの眼球運動に従って左眼５に表示されるコンテンツ（画像）の表示制御を行う。
【選択図】図５
Description
本発明は、ヘッドマウントディスプレイに関するものである。
従来より、利用者の頭部に装着されて、画像を投影表示するヘッドマウントディスプレイに関して種々提案されている。
例えば、眼球運動検出用の撮像手段によって観察者の眼の瞬き運動を検出するように映像表示装置を構成する。そして、この撮像手段によって得られた観察者の眼の瞬き回数が、予め規定された基準値以下である場合には、通常の画像データによる映像が、特定の画像データによる映像に切り換えられるように構成された映像表示装置がある（例えば、特許文献１参照。）。
特開２０００−２２１９５３号公報（段落（００２０）〜（００２９）、図１）
例えば、眼球運動検出用の撮像手段によって観察者の眼の瞬き運動を検出するように映像表示装置を構成する。そして、この撮像手段によって得られた観察者の眼の瞬き回数が、予め規定された基準値以下である場合には、通常の画像データによる映像が、特定の画像データによる映像に切り換えられるように構成された映像表示装置がある（例えば、特許文献１参照。）。
しかしながら、上述した特許文献１に記載される構成の映像表示装置では、映像の切り換えを眼の瞬き回数で操作する場合には、当該操作を行うための瞬き動作と生理的に行う瞬きとの区別が困難であるため、誤動作が生じる虞がある。
そこで、本発明は、上述した問題点を解決するためになされたものであり、表示された画像の表示状態の変更を眼の動作で正確に操作でき、誤動作を防止することが可能となるヘッドマウントディスプレイを提供することを目的とする。
前記目的を達成するため請求項１に係るヘッドマウントディスプレイは、表示情報の画像をユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの前記一方の眼を撮像する投射側撮像手段と、前記ユーザの他方の眼を撮像する他方側撮像手段と、前記投射側撮像手段と前記他方側撮像手段のうちの少なくとも片方を介して前記ユーザの少なくとも片側の眼の眼球運動を検出する眼球運動検出手段と、前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、を備えたことを特徴とする。
また、請求項２に係るヘッドマウントディスプレイは、請求項１に記載のヘッドマウントディスプレイにおいて、前記眼球運動検出手段は、前記投射側撮像手段と前記他方側撮像手段のうちの一方を介して前記ユーザの片側の眼の眼球運動を検出することを特徴とする。
また、請求項３に係るヘッドマウントディスプレイは、表示情報の画像をユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの他方の眼を撮像する他方側撮像手段と、前記他方側撮像手段を介して前記ユーザの前記他方の眼の眼球運動を検出する眼球運動検出手段と、前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、を備えたことを特徴とする。
また、請求項４に係るヘッドマウントディスプレイは、請求項１乃至請求項３のいずれかに記載のヘッドマウントディスプレイにおいて、前記所定の瞼の動作は、前記他方の眼の瞼を所定時間以上閉じた後開ける動作であることを特徴とする。
更に、請求項５に係るヘッドマウントディスプレイは、請求項１又は請求項２に記載のヘッドマウントディスプレイにおいて、前記所定の瞼の動作は、前記他方の眼の瞼を閉じる動作であって、前記眼球運動検出手段は、前記投射側撮像手段を介して前記ユーザの前記一方の眼の眼球運動を検出して、前記表示制御手段は、前記瞼動作検出手段を介して前記他方の眼の瞼が閉じられていることを検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された前記ユーザの前記一方の眼の眼球運動に従って変更させるように前記表示手段を制御し、該瞼動作検出手段を介して該他方の眼の瞼が開けられていることを検出した場合には、該画像の表示状態の変更を停止させるように該表示手段を制御することを特徴とする。
請求項１に係るヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作をすることによって、画像が投射されている一方の眼の視線方向又は他方の眼の視線方向のうちの少なくとも片方の視線方向を変えることによって、視認している画像の表示状態を変更させることが可能となる。
例えば、ユーザは画像が投射されている一方の眼と他方の眼のうちの片側の眼の視線方向、又は、両方の眼の視線方向を左方向又は右方向に動かすことによって、眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させことが可能となる。また、ユーザは、画像が投射されている一方の眼と他方の眼のうちの片側の眼の視線方向、又は、両方の眼の視線方向を上方向又は下方向に動かすことによって、眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。これにより、画像を見ていない方の眼で瞼の操作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということを防止できる。
また、請求項２に係るヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作をすることによって、装着側の眼で絶えず表示画像を確認しながら片側の眼の視線方向を変えることによって、視認している画像の表示状態を変更させることが可能となる。例えば、ユーザは片側の眼の視線方向を左方向又は右方向に動かすことによって、眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させることが可能となる。
また、ユーザは、片側の眼の視線を上方向又は下方向に動かすことによって、眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。これにより、画像を見ていない方の眼で瞼の操作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということ確実に防止することができる。
また、請求項３に係るヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作をすることによって、この他方の眼の視線方向を変えることによって、視認している画像の表示状態を変更させることが可能となる。例えば、ユーザは画像が投射されていない他方の眼の視線方向を左方向又は右方向に動かすことによって、眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させことが可能となる。また、ユーザは、画像が投射されていない他方の眼の視線方向を上方向又は下方向に動かすことによって、眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。
これにより、画像を見ていない方の眼の眼球と瞼の動作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということもなくなる。例えば、装着側の眼で画面を見ながら、所定時間以上非装着側の瞼を閉じたままでタイミングを計り、操作タイミングで瞼を開けて視線入力を行うことで、生理的な眼の動きによる誤検出のない確実な操作を行うことができる。
また、請求項４に係るヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼を所定時間以上閉じた後開ける動作をした場合に、視認している画像の表示状態を視線方向の変更によって操作することが可能となる。これにより、画像が投射されていない他方の眼の瞼の動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイの誤動作を防止することが可能となる。
更に、請求項５に係るヘッドマウントディスプレイでは、画像が投射されていない他方の眼の瞼が閉じられている間だけ、画像が投射されている一方の眼の視線方向の変更によって、視認している画像の表示状態を操作することが可能となる。これにより、画像が投射されていない他方の眼の瞼の動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイの誤動作を防止することが可能となる。また、画像を見ていない方の眼で瞼を閉じる動作を行うので、装着側の眼の眼球運動で連続スクロール中の画面を止めたり、動画操作など画像を見ながら操作を行う場合にも生理的な瞬きによる誤動作をなくすことが可能となる。
以下、本発明に係るヘッドマウントディスプレイについて具体化した実施例１乃至実施例４に基づき図面を参照しつつ詳細に説明する。
［ヘッドマウントディスプレイ１の概略構成］
先ず、実施例１に係るヘッドマウントディスプレイ１の概略構成について図１及び図２に基づいて説明する。図１は実施例１に係るヘッドマウントディスプレイ１がユーザ２に装着されている状態を示す図である。図２はヘッドマウントディスプレイ１の外観を示す平面図である。
先ず、実施例１に係るヘッドマウントディスプレイ１の概略構成について図１及び図２に基づいて説明する。図１は実施例１に係るヘッドマウントディスプレイ１がユーザ２に装着されている状態を示す図である。図２はヘッドマウントディスプレイ１の外観を示す平面図である。
尚、図１及び図２に示されるヘッドマウントディスプレイ１の外観は単なる一例であり、本発明は、当該外観を有するヘッドマウントディスプレイ１に限定されるものではない。また、以下の説明では、本発明を網膜走査ディスプレイに適用した実施形態について説明するが、本発明は、液晶素子や有機ＥＬ素子等を用いて画像表示を行う種々のヘッドマウントディスプレイに適用できる。また、以下の説明では、本発明を光学シースルー型のヘッドマウントディスプレイに適用した実施例について説明するが、本発明は、ユーザの一方の眼に画像を表示するヘッドマウントディスプレイであれば、ビデオシースルー型、外界非透過型のヘッドマウントディスプレイにも適用することができる。
図１に示すように、ヘッドマウントディスプレイ１は、外部から入力された動画ファイル、静止画ファイル、文書ファイル（例えば、作業手順書や表計算ファイル等である。）等の各種コンテンツ情報を画像信号に変換し、この画像信号に応じて変調されたビーム光（以下、「画像光」という。）をユーザ２の左眼５（図４、図６参照）の網膜上に走査させることにより、ユーザ２にコンテンツ情報に対応する画像（以下、「コンテンツ」という。）を視認させることができるように構成されている（図４参照）。
また、このヘッドマウントディスプレイ１は、コンテンツを表示している最中であっても、ユーザ２の視野の中で、そのコンテンツを表示している領域外の領域では、外界の対象物３や風景等を視認できるように構成されている。即ち、このヘッドマウントディスプレイ１は、外光を透過しつつ、つまり、外界が視認可能な状態で、画像光をユーザ２の左目５に投射するシースルー型のヘッドマウントディスプレイである。
そして、図１及び図２に示すように、このヘッドマウントディスプレイ１は、ユーザ２の左眼５を撮像するＣＣＤカメラ７と、ユーザ２の右眼６（図６参照）を撮像するＣＣＤカメラ８と、ユーザ２の左眼５に画像光Ｚ１を出射する出射装置１１と、この画像光Ｚ１をユーザ２の左眼５に向かって反射させるプリズム１２と、これらを支持する支持部材１３とから基本的に構成されている。
また、このプリズム１２は、不図示のビームスプリッタ部を備えており、外界からの外光Ｚ２を透過させ、ユーザ２の左眼５に導く。このように、プリズム１２は、ユーザ２の側方から入射された画像光Ｚ１をユーザ２の左眼５に入射させると共に、外界からの外光Ｚ２をユーザ２の左眼５に入射させる光学系であるため、ユーザ２はコンテンツを外界の風景に重畳させて視認することができる。
尚、プリズム１２に代えてハーフミラーを用いることもできる。すなわち、出射装置１１からの画像光Ｚ１は、ハーフミラーに反射されてユーザ２の左眼５に入射すると共に、外光Ｚ２はハーフミラーを透過してユーザ２の眼に入射するのである。
また、ＣＣＤカメラ７は、ＣＣＤカメラ７の全体を制御する各ＣＣＤコントローラ１５（図３参照）と、ＣＣＤカメラ７に対向する左眼５を撮像するＣＣＤセンサ１６（図３参照）とを備えている。また、ＣＣＤカメラ８は、ＣＣＤカメラ８の全体を制御する各ＣＣＤコントローラ１７（図３参照）と、ＣＣＤカメラ８に対向する右眼６を撮像するＣＣＤセンサ１８（図３参照）とを備えている。
そして、ＣＣＤコントローラ１５は、ＣＣＤセンサ１６によって撮像された画像を制御部３６のＲＡＭ５３の左眼画像記憶領域へ記憶する。ＲＡＭ５３の左眼画像記憶領域へ記憶された画像は、ＣＰＵ５１によって画像処理され、後述のようにこの画像処理結果に基づいてコンテンツが表示制御される（図５参照）。また、ＣＣＤコントローラ１７は、ＣＣＤセンサ１８によって撮像された画像を制御部３６のＲＡＭ５３の右眼画像記憶領域へ記憶する。ＲＡＭ５３の右眼画像記憶領域へ記憶された画像は、ＣＰＵ５１によって画像処理され、後述のようにこの画像処理結果に基づいてコンテンツの表示の開始と終了、即ち、コンテンツの表示のオン、オフが制御される（図５参照）。
［ヘッドマウントディスプレイ１の電気的構成］
次に、ヘッドマウントディスプレイ１の電気的構成について図３に基づいて説明する。図３はヘッドマウントディスプレイ１の電気的構成を示すブロック図である。
次に、ヘッドマウントディスプレイ１の電気的構成について図３に基づいて説明する。図３はヘッドマウントディスプレイ１の電気的構成を示すブロック図である。
図３に示すように、ヘッドマウントディスプレイ１は、ユーザ２の左眼５を撮像するＣＣＤカメラ７と、ユーザ２の右眼６を撮像するＣＣＤカメラ８と、ユーザ２の左眼５に画像光を出射する出射装置１１と、各種操作やデータの入力を行うための入力部３１と、外部からのコンテンツ情報が入力される外部接続部３２と、出射装置１１によって表示するコンテンツやテキスト等のイメージデータを格納するビデオＲＡＭ３４と、出射装置１１によって表示するテキストのフォントデータを格納するフォントＲＯＭ３５と、ヘッドマウントディスプレイ１の全体を制御する制御部３６と、電源部３７等とから構成されている。尚、出射装置１１の詳細については、図４に基づいて後述する。
ＣＣＤカメラ７は、ＣＣＤコントローラ１５とＣＣＤセンサ１６等から構成され、ＣＣＤコントローラ１５は、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を制御部３６のＲＡＭ５３の左眼画像記憶領域へ記憶する。また、ＣＣＤカメラ８は、ＣＣＤコントローラ１１７とＣＣＤセンサ１８等から構成され、ＣＣＤコントローラ１７は、ＣＣＤセンサ１８によって撮像された、右眼６の撮像画像を制御部３６のＲＡＭ５３の右眼画像記憶領域へ記憶する。
また、入力部３１は、各種機能キー等からなる操作ボタン群４１と、入力制御回路４２とから構成されている。この入力制御回路４２は、操作ボタン群４１のキー操作がされたことを検出して、操作されたキーに対応する制御信号を制御部３６に出力する。例えば、不図示のアイマウス開始キーが操作された場合には、入力制御回路４２は、後述の「コンテンツ表示制御処理１」のプログラム（図５参照）を実行するように指示する制御信号を制御部３６に出力する。また、不図示のアイマウス停止キーが操作された場合には、入力制御回路４２は、後述の「コンテンツ表示制御処理１」のプログラムの実行を終了するように指示する制御信号を制御部３６に出力する。
また、外部接続部３２は、外部機器（例えば、パーソナルコンピュータである。）に接続されてコンテンツ情報を取得する外部接続モジュール４５と、外部接続制御回路４６とから構成されている。そして、外部接続制御回路４６は外部接続モジュール４５から入力されたコンテンツ情報を制御部３６に出力し、当該コンテンツ情報はフラッシュメモリ５２に記憶される。
また、制御部３６は、ＣＰＵ５１、フラッシュメモリ５２、ＲＡＭ５３等とから構成され、これらは不図示のバス線により相互に接続されて、相互にデータのやり取りが行われる。
また、ＣＰＵ５１は、ヘッドマウントディスプレイ１の全体を制御し、ヘッドマウントディスプレイ１の動作に関する全てのデータを管理する演算処理装置である。また、ＣＰＵ５１は、各種コンテンツ情報を画像信号に変換してビデオＲＡＭ３４に記憶する。また、後述のように、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶される各ＣＣＤセンサ１６、１８によって撮像されたユーザ２の両眼５、６の撮像画像を画像処理して、それぞれの瞼の動きや眼球運動を検出し、この検出結果に従ってユーザ２の左眼５に投射するコンテンツを表示制御する（図５参照）。
また、ＣＰＵ５１は、ヘッドマウントディスプレイ１の全体を制御し、ヘッドマウントディスプレイ１の動作に関する全てのデータを管理する演算処理装置である。また、ＣＰＵ５１は、各種コンテンツ情報を画像信号に変換してビデオＲＡＭ３４に記憶する。また、後述のように、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶される各ＣＣＤセンサ１６、１８によって撮像されたユーザ２の両眼５、６の撮像画像を画像処理して、それぞれの瞼の動きや眼球運動を検出し、この検出結果に従ってユーザ２の左眼５に投射するコンテンツを表示制御する（図５参照）。
また、フラッシュメモリ５２は、後述のヘッドマウントディスプレイ１により表示するコンテンツを左眼５又は右眼６の眼球運動に従って左頁戻し、右頁戻し、上スクロール、下スクロール等の表示制御を行う際に、出射装置１１を駆動制御するための制御処理プログラム等、ＣＰＵ５１によって実行される各種プログラムを記憶している。また、フラッシュメモリ５２には、外部接続制御回路４６から入力されたコンテンツ情報等が記憶される。
ここで、各種コンテンツ情報には、作業手順書（文書ファイル）、表計算ファイル、動画ファイル等が含まれる。また、上記各種プログラムの一部または全部を、読み出し専用のＲＯＭ（不図示）に記憶するように構成してもよい。
また、ＲＡＭ５３は、各ＣＣＤセンサ１６、１８によって撮像された撮像画像を一時的に記憶し、ＣＰＵ５１が種々の制御を実行する際に、各種データを一時的に記憶するものである。
また、ＲＡＭ５３は、各ＣＣＤセンサ１６、１８によって撮像された撮像画像を一時的に記憶し、ＣＰＵ５１が種々の制御を実行する際に、各種データを一時的に記憶するものである。
また、ビデオＲＡＭ３４は、画像信号を一時的に記憶する。そして、このビデオＲＡＭ３４に記憶された画像信号は、出射装置１１の映像信号処理回路６３に出力されて、コンテンツとしてユーザの網膜に投影される。従って、ＣＰＵ５１は、コンテンツ情報をフラッシュメモリ５２から読み出し、読み出したコンテンツ情報を画像信号に変換してビデオＲＡＭ３４に書き込むことによって、表示するコンテンツを制御することができる。
また、電源部３７は、ヘッドマウントディスプレイ１を駆動させるための電源となる電池５６と、電池５６の電力をヘッドマウントディスプレイ１に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５６へ供給して電池５６の充電を行う充電制御回路５７とを備えている。
［出射装置１１の電気的及び光学的構成］
次に、出射装置１１の電気的及び光学的構成について図３及び図４に基づいて説明する。図４は出射装置１１の電気的構成及び光学的構成を示すブロック図である。
図３及び図４に示すように、出射装置１１には、ビデオＲＡＭ３４から入力される画像信号に基づいて、画像光を生成すると共に、ＣＰＵ５１から入力された走査制御信号に基づいて画像光の水平方向と垂直方向の走査制御を行う光源ユニット部６１が設けられている。
次に、出射装置１１の電気的及び光学的構成について図３及び図４に基づいて説明する。図４は出射装置１１の電気的構成及び光学的構成を示すブロック図である。
図３及び図４に示すように、出射装置１１には、ビデオＲＡＭ３４から入力される画像信号に基づいて、画像光を生成すると共に、ＣＰＵ５１から入力された走査制御信号に基づいて画像光の水平方向と垂直方向の走査制御を行う光源ユニット部６１が設けられている。
また、光源ユニット部６１には、ビデオＲＡＭ３４から画像信号が入力されると共に、ＣＰＵ５１から走査制御信号が入力されて、それに応じた映像を合成するための要素となる各信号を発生する映像信号処理回路６３が設けられ、この映像信号処理回路６３から、各画素毎の青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各出力制御信号６５Ａ〜６５Ｃ、水平同期信号６６、及び垂直同期信号６７が出力される。
また、光源ユニット部６１には、映像信号処理回路６３からドットクロック毎に出力される３つの出力制御信号６５Ａ〜６５Ｃをそれぞれ画像光にする画像光出力部として機能する光源部７１と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部７２とを備えている。
光源部７１は、青色の画像光を発生させるＢレーザ７４及び出力制御信号６５Ａに従ってＢレーザ７４を駆動するＢレーザドライバ７５と、緑色の画像光を発生させるＧレーザ７６及び出力制御信号６５Ｂに従ってＧレーザ７６を駆動するＧレーザドライバ７７と、赤色の画像光を発生させるＲレーザ７８及び出力制御信号６５Ｃに従ってＲレーザ７８を駆動するＲレーザドライバ７９とを備えている。
尚、各レーザ７４、７６、７８は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
また、光合成部７２は、光源部７１から入射する３つの画像光をそれぞれ平行光にコリメートするように設けられた各コリメート光学系８１、８２、８３と、このコリメートされた３つの画像光を合成するための各ダイクロイックミラー８４、８５、８６と、合成された画像光を光ファイバ８８に導く結合光学系８７とを備えている。
そして、各レーザ７４、７６、７８から出射したレーザ光は、各コリメート光学系８１、８２、８３によってそれぞれ平行化された後に、各ダイクロイックミラー８４、８５、８６に入射される。その後、これらのダイクロイックミラー８４、８５、８６により、各画像光が波長に関して選択的に反射・透過されて結合光学系８７に達し、集光されて光ファイバ８８へ入射される。
また、出射装置１１には、光源ユニット部６１で生成され、光ファイバ８８を介して出射される画像光を平行光にコリメートするコリメート光学系８９と、コリメートされた画像光を水平方向に往復走査する水平走査部９２と、水平走査部９２によって水平方向に往復走査された画像光を垂直方向に走査する垂直走査部９３と、水平走査部９２と垂直走査部９３との間に設けられたリレー光学系９４と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光をユーザ２の左眼５の瞳孔９５へ出射するためのリレー光学系９６とが設けられている。また、プリズム１２は、リレー光学系９６とユーザ２の瞳孔９５との間に配置され、出射装置１１から出射された画像光を全反射させる等してユーザ２の瞳孔９５に導くこととなる。
また、水平走査部９２には、画像光を水平方向に往復走査するための反射面１０１Ａを有する共振型偏向素子１０１と、映像信号処理回路６３から入力された水平同期信号６６に基づいて、この共振型偏向素子１０１を共振駆動して反射面１０１Ａを揺動させるように駆動制御する水平走査制御回路１０２と、共振型偏向素子１０１の揺動角度や揺動周波数等の揺動状態を検出する水平走査角検出回路１０３とが設けられている。
また、垂直走査部９３には、画像光を垂直方向に走査するための反射面１０５Ａを有する偏向素子１０５と、映像信号処理回路６３から入力された垂直同期信号６７に基づいて、この偏向素子１０５を駆動して反射面１０５Ａを揺動させるように駆動制御する垂直走査制御回路１０６と、偏向素子１０５の揺動角度や揺動周波数等の揺動状態を検出する垂直走査角検出回路１０７とが設けられている。
ここで、水平走査角検出回路１０３は、検出した共振型偏向素子１０１の揺動状態を示す揺動信号１０４をＣＰＵ５１に出力し、垂直走査角検出回路１０７は、検出した偏向素子１０５の揺動状態を示す揺動信号１０８をＣＰＵ５１に出力する。そして、ＣＰＵ５１は、受信した各揺動信号１０４、１０８に基いて、映像信号処理回路６３に出力する走査制御信号を決定する。これにより、共振型偏向素子１０１及び偏向素子１０５の駆動状態は、ＣＰＵ５１によりフィードバック制御されることになる。
尚、各揺動信号１０４、１０８を映像信号処理回路６３に出力するように構成し、映像信号処理回路６３が、各揺動信号１０４、１０８に基いて水平同期信号６６及び垂直同期信号６７を出力するように構成してもよい。すなわち、共振型偏向素子１０１及び偏向素子１０５の駆動状態を、映像信号処理回路６３によってフィードバック制御するようにしてもよい。
また、共振型偏向素子１０１によって水平方向に走査された光は、水平走査部９２と垂直走査部９３との間に設けられたリレー光学系９４によって偏向素子１０５の反射面１０５Ａに収束され、偏向素子１０５によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９６へ出射される。また、リレー光学系９６は、垂直走査部９３から出射された表示用の走査画像光を、それぞれほぼ平行な画像光に変換すると共に、これらの画像光の中心線をユーザ２の瞳孔９５に収束するように変換する。
尚、水平走査部９２と垂直走査部９３との配置を入れ替え、光ファイバ８８から入射された画像光を、垂直走査部９３によって垂直方向に走査した後、水平走査部９２で水平方向に走査するようにしてもよい。
［コンテンツ表示制御処理１］
次に、上記のように構成されたヘッドマウントディスプレイ１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理１」について図５乃至図９に基づいて説明する。
次に、上記のように構成されたヘッドマウントディスプレイ１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理１」について図５乃至図９に基づいて説明する。
図５は出射装置１１によって表示されるコンテンツをユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理１」を示すフローチャートである。尚、図５にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図５にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
また、「コンテンツ表示制御処理１」の実行が開始されると、各ＣＣＤセンサ１６、１８が撮像した画像信号は、ＲＡＭ５３の左眼画像記憶領域、右眼画像記憶領域に、それぞれ所定のフレームレート（例えば、１秒間に約３０フレームである。）で書き込まれる。尚、表示制御対象となるコンテンツ情報は、予めフラッシュメモリ５２に記憶されているものとする。また、複数のコンテンツ情報がフラッシュメモリ５２に記憶されている場合には、どのコンテンツ情報を表示するのかについて予め設定されているものとする。
図５に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ５１は、外部接続制御回路４６から入力されてフラッシュメモリ５２に記憶された作業手順書（文書ファイル）等のコンテンツ情報がある場合には、当該コンテンツ情報を読み出して画像信号に変換してビデオＲＡＭ３４に記憶する。これにより、ビデオＲＡＭ３４から映像信号処理部６３へ画像信号が入力されて、当該コンテンツ情報に対応するコンテンツ（画像）が、出射装置１１を介してユーザ２の左眼５に表示される。
例えば、コンテンツ情報が作業手順書（文書ファイル）の場合には、その第１頁目に対応するコンテンツ（図８参照）や、見開き状態の第１頁及び第２頁（図９参照）が、出射装置１１を介してユーザ２の左眼５に表示される。
そして、Ｓ１２において、ＣＰＵ５１は、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データを所定フレーム数（例えば、約３０フレームである。）画像認識し、ユーザ２の右眼６、つまり、出射装置１１が装着されていない側の右眼６の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。この画像認識では、眼球の白眼と黒目（瞳の色である。）の領域が検出された場合には、瞼は閉じられていないと認識され、一方、眼球の白眼と黒目の領域が検出されず、主として肌色が検出された場合には、瞼が閉じられていると認識される。
続いて、Ｓ１３において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の瞼６Ａ（図６参照）が連続して閉じられているか否かを判定する判定処理を実行する。具体的には、ＣＰＵ５１は、右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の眼球が検出されない、即ち、主として肌色が検出された場合は、瞼６Ａが閉じられていると判定する。
そして、右眼６の所定フレーム数分の画像認識データにおいて、右眼６の瞼６Ａが連続して閉じられていない場合、つまり、右眼６が開いて、白眼や瞳の色が認識されている場合には（Ｓ１３：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１以降の処理を実行する。
一方、右眼６の所定フレーム数分の画像認識データにおいて、右眼６の瞼６Ａが連続して閉じられて、白眼や瞳の色が認識されず、主として肌色が検出されている場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ５１は、Ｓ１４の処理に移行する。
一方、右眼６の所定フレーム数分の画像認識データにおいて、右眼６の瞼６Ａが連続して閉じられて、白眼や瞳の色が認識されず、主として肌色が検出されている場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ５１は、Ｓ１４の処理に移行する。
Ｓ１４において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データを所定フレーム数（例えば、約３０フレームである。）画像認識し、ユーザ２の左眼５、つまり、出射装置１１が装着されている側の左眼５の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
続いて、Ｓ１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の左眼５の所定フレーム数分の画像認識データを読み出し、左眼５の眼球５Ａ（図６参照）が移動したか否かを判定する判定処理を実行する。
ここで、ユーザ２の左眼５の所定フレーム数分の画像認識データから検出される眼球５Ａの移動方向の一例について図６に基づいて説明する。図６は左眼５の所定フレーム数分の画像認識データから検出される眼球５Ａの移動方向の一例を示す図である。
図６に示すように、ＣＰＵ５１は、ＣＣＤカメラ７によって撮像された左眼５の所定フレーム数分の画像認識データから、眼球５Ａの移動方向、つまり、眼球５Ａの瞳の移動方向を検出する。
図６に示すように、ＣＰＵ５１は、ＣＣＤカメラ７によって撮像された左眼５の所定フレーム数分の画像認識データから、眼球５Ａの移動方向、つまり、眼球５Ａの瞳の移動方向を検出する。
そして、眼球５Ａの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、眼球５Ａがその方向に移動したと判定し、この移動方向を眼球５Ａの移動方向としてＲＡＭ５３に記憶する。尚、ＣＰＵ５１は、眼球５Ａの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球５Ａが移動したと判定する。
一方、眼球５Ａの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球５Ａは移動していないと判定する。
一方、眼球５Ａの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球５Ａは移動していないと判定する。
そして、図５に示すように、Ｓ１５において、左眼５の眼球５Ａは移動していないと判定した場合には（Ｓ１５：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１以降の処理を実行する。
一方、Ｓ１５において、眼球５Ａが移動したと判定した場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ１６の処理に移行する。Ｓ１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、再度Ｓ１２以降の処理を実行する。
一方、Ｓ１５において、眼球５Ａが移動したと判定した場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ１６の処理に移行する。Ｓ１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、再度Ｓ１２以降の処理を実行する。
ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７乃至図９に基づいて説明する。図７は眼球運動とコンテンツ（画像）の制御との関係を示す制御テーブル１３１の一例を示す図である。図８及び図９は左眼５の眼球５Ａの移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。尚、図９では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ１５で左眼５の眼球５Ａが上方向１２１に移動した場合、つまり、「上に移動」した場合には、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ１５で左眼５の眼球５Ａが下方向１２２に移動した場合、つまり、「下に移動」した場合には、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
例えば、図８に示すように、３頁目全体が表示されている状態で、左眼５の眼球５Ａが下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、左眼５の眼球５Ａが上方向１２１に移動されると、３頁目全体が表示される。
尚、スクロール量は、所定の行数／列数とすることができる。また、眼球５Ａの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
尚、スクロール量は、所定の行数／列数とすることができる。また、眼球５Ａの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ１５で左眼５の眼球５Ａが左方向１２３に移動した場合、つまり、「左に移動」した場合には、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ１５で左眼５の眼球５Ａが右方向１２４に移動した場合、つまり、「右に移動」した場合には、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
例えば、図９に示すように、２頁目と３頁目とが表示されている状態で、左眼５の眼球５Ａが右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、左眼５の眼球５Ａが左方向１２３に移動されると、２頁目と３頁目とが表示される。
また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ１５で左眼５の眼球５Ａが上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ１５で左眼５の眼球５Ａが左方向１２３に移動した場合、つまり、「左に移動」した場合には、動画像ファイルの再生位置を戻し、左眼５の眼球５Ａが右方向１２４に移動した場合、つまり、「右に移動」した場合には、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、眼球５Ａの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、操作を開始するため非装着側の右眼６を閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
ここで、出射装置１１、ビデオＲＡＭ３４は、表示手段の一例を構成する。また、ＣＣＤカメラ７は、投射側撮像手段の一例として機能する。また、ＣＣＤカメラ８は、他方側撮像手段の一例として機能する。また、ＣＰＵ５１、ＲＡＭ５３は、眼球運動検出手段、瞼動作検出手段の一例を構成する。また、ＣＰＵ５１、フラッシュメモリ５２、ビデオＲＡＭ３４は、表示制御手段の一例として機能する。
以上説明した通り、実施例１に係るヘッドマウントディスプレイ１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが閉じられている場合には、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を画像認識して、コンテンツ（画像）が投射されている眼球５Ａの移動方向を検出する。
そして、ＣＰＵ５１は、眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、コンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
また、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが開かれた場合には、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
また、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが開かれた場合には、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
従って、ユーザ２は、コンテンツが投射されていない右眼６を閉じることによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを閉じて、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かすことによって、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１に表示している場合、両手で対象物３を扱いつつ、左眼５の視線を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
また、右眼６の瞼６Ａが閉じられている間だけ、左眼５の視線を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となり、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１の誤動作を防止することが可能となる。また、左眼５の生理的な動きと操作のために眼球５Ａを動かしたときの動きとを、右眼６の瞼６Ａの開閉で区別できるので、左眼５の生理的な動きによるヘッドマウントディスプレイ１の誤動作も防止できる。
次に、実施例２に係るヘッドマウントディスプレイ１５１について図１０に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
実施例２に係るヘッドマウントディスプレイ１５１の概略構成は、実施例１に係るヘッドマウントディスプレイ１と同じ構成である。また、ヘッドマウントディスプレイ１５１の各種制御処理も実施例１に係るヘッドマウントディスプレイ１とほぼ同じ制御処理である。但し、ヘッドマウントディスプレイ１５１のＣＰＵ５１は、上記「コンテンツ表示制御処理１」（Ｓ１１〜Ｓ１６）に替えて、後述の「コンテンツ表示制御処理２」を実行する点で異なっている。
［コンテンツ表示制御処理２］
ここで、実施例２に係るヘッドマウントディスプレイ１５１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理２」について図１０に基づいて説明する。
ここで、実施例２に係るヘッドマウントディスプレイ１５１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理２」について図１０に基づいて説明する。
図１０は出射装置１１によって表示されるコンテンツをユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理２」を示すフローチャートである。尚、図１０にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１０にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
図１０に示すように、Ｓ１１１乃至Ｓ１１２において、ＣＰＵ５１は、上記Ｓ１１乃至Ｓ１２と同様の処理（図５参照）を実行する。但し、Ｓ１１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
その後、Ｓ１１３において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分（例えば、約６０フレーム分である。）の画像認識データを読み出して、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定する判定処理を実行する。
そして、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ１１３：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１１以降の処理を実行する。
一方、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ１１３：ＹＥＳ）、ＣＰＵ５１は、Ｓ１１４の処理に移行する。Ｓ１１４乃至Ｓ１１５において、ＣＰＵ５１は、上記Ｓ１４乃至Ｓ１５と同様の処理（図５参照）を実行する。
そして、Ｓ１１５において、ＣＰＵ５１は、眼球５Ａは移動していないと判定した場合には（Ｓ１１５：ＮＯ）、後述のＳ１１７の処理に移行する。
一方、Ｓ１１５において、ＣＰＵ５１は、眼球５Ａが移動したと判定した場合には（Ｓ１１５：ＹＥＳ）、Ｓ１１６の処理に移行する。Ｓ１１６において、ＣＰＵ５１は、上記Ｓ１６と同様の処理（図５参照）を実行する、つまり、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ１１７の処理に移行する。
一方、Ｓ１１５において、ＣＰＵ５１は、眼球５Ａが移動したと判定した場合には（Ｓ１１５：ＹＥＳ）、Ｓ１１６の処理に移行する。Ｓ１１６において、ＣＰＵ５１は、上記Ｓ１６と同様の処理（図５参照）を実行する、つまり、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ１１７の処理に移行する。
Ｓ１１７乃至Ｓ１１８において、ＣＰＵ５１は、上記Ｓ１１２乃至Ｓ１１３と同様の処理を実行する。
そして、Ｓ１１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれていない場合、つまり、右眼６の瞼６Ａが閉じられていない場合や、瞬きで閉じられた場合には（Ｓ１１８：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１４以降の処理を実行する。
そして、Ｓ１１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれていない場合、つまり、右眼６の瞼６Ａが閉じられていない場合や、瞬きで閉じられた場合には（Ｓ１１８：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１４以降の処理を実行する。
一方、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ１１８：ＹＥＳ）、ＣＰＵ５１は、再度Ｓ１１１以降の処理を実行する。
以上説明した通り、実施例２に係るヘッドマウントディスプレイ１５１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を画像認識して、コンテンツ（画像）が投射されている眼球５Ａの移動方向を検出する。尚、ＣＰＵ５１は、眼球５Ａの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球５Ａが移動したと判定する。
そして、ＣＰＵ５１は、眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、コンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。このため、ユーザ２の不必要な左眼５の視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かすことによって、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１５１に表示している場合、両手で対象物３を扱いつつ、左眼５の視線方向を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
また、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となり、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１５１の誤動作を防止することが可能となる。
次に、実施例３に係るヘッドマウントディスプレイ１６１について図１１乃至図１４に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
実施例３に係るヘッドマウントディスプレイ１６１の概略構成は、実施例１に係るヘッドマウントディスプレイ１と同じ構成である。また、ヘッドマウントディスプレイ１６１の各種制御処理は、実施例２に係るヘッドマウントディスプレイ１５１とほぼ同じ制御処理である。但し、ヘッドマウントディスプレイ１６１のＣＰＵ５１は、上記「コンテンツ表示制御処理２」（Ｓ１１１〜Ｓ１１８）に替えて、後述のコンテンツ（画像）をユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」を実行する点で異なっている。
［コンテンツ表示制御処理３］
ここで、実施例３に係るヘッドマウントディスプレイ１６１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」について図１１乃至図１４に基づいて説明する。
ここで、実施例３に係るヘッドマウントディスプレイ１６１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」について図１１乃至図１４に基づいて説明する。
図１１は出射装置１１によって表示されるコンテンツをユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」を示すフローチャートである。尚、図１１にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１１にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
図１１に示すように、Ｓ２１１乃至Ｓ２１３において、ＣＰＵ５１は、上記Ｓ１１１乃至Ｓ１１３と同様の処理（図１０参照）を実行する。そして、Ｓ２１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ２１３：ＮＯ）、再度Ｓ２１１以降の処理を実行する。尚、Ｓ２１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
一方、Ｓ２１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ２１３：ＹＥＳ）、Ｓ２１４の処理に移行する。
Ｓ２１４において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶されている同じタイミングの各画像データをそれぞれ所定フレーム数（例えば、約３０フレームである。）画像認識し、ユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
Ｓ２１４において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶されている同じタイミングの各画像データをそれぞれ所定フレーム数（例えば、約３０フレームである。）画像認識し、ユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
続いて、Ｓ２１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データを読み出し、両眼５、６の各眼球５Ａ、６Ｂ（図１２参照）が同時に移動したか否かを判定する判定処理を実行する。
ここで、ユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データから検出される各眼球５Ａ、６Ｂの移動方向の一例について図１２に基づいて説明する。図１２は両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データから検出される各眼球５Ａ、６Ｂの移動方向の一例を示す図である。
図１２に示すように、ＣＰＵ５１は、各ＣＣＤカメラ７、８によって撮像された両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データから、各眼球５Ａ、６Ｂの移動方向、つまり、各眼球５Ａ、６Ｂの瞳の移動方向を検出する。尚、ＣＰＵ５１は、各眼球５Ａ、６Ｂの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に各眼球５Ａ、６Ｂが移動したと判定する。
そして、各眼球５Ａ、６Ｂの瞳が、ほぼ同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂが、同時にその方向に移動したと判定し、この移動方向を各眼球５Ａ、６Ｂの移動方向としてＲＡＭ５３に記憶する。
一方、各眼球５Ａ、６Ｂの瞳が、ほぼ同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂは同時に移動していないと判定する。
そして、図１１に示すように、Ｓ２１５において、各眼球５Ａ、６Ｂは同時に移動していないと判定した場合には（Ｓ２１５）、ＣＰＵ５１は、後述のＳ２１７の処理に移行する。
一方、Ｓ２１５において、各眼球５Ａ、６Ｂが同時に移動したと判定した場合には（Ｓ２１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ２１６の処理に移行する。Ｓ２１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ２１７の処理に移行する。
ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７、図１３及び図１４に基づいて説明する。図１３及び図１４は両眼５、６の各眼球５Ａ、６Ｂの移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。尚、図１４では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１に移動した場合、つまり、「上に移動」した場合には、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に下方向１２２に移動した場合、つまり、「下に移動」した場合には、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
例えば、図１３に示すように、３頁目全体が表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１に移動されると、３頁目全体が表示される。
尚、スクロール量は、所定の行数／列数とすることができる。また、各眼球５Ａ、６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
尚、スクロール量は、所定の行数／列数とすることができる。また、各眼球５Ａ、６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動した場合、つまり、「左に移動」した場合には、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動した場合、つまり、「右に移動」した場合には、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
例えば、図１４に示すように、２頁目と３頁目とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動されると、２頁目と３頁目とが表示される。
また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動した場合、つまり、「左に移動」した場合には、動画像ファイルの再生位置を戻し、両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動した場合、つまり、「右に移動」した場合には、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、各眼球５Ａ、６Ｂの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、操作を開始するため非装着側の右眼６を一定時間閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
続いて、図１１に示すように、Ｓ２１７乃至Ｓ２１８において、ＣＰＵ５１は、上記Ｓ２１２乃至Ｓ２１３と同様の処理を実行する。
そして、Ｓ２１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ２１８：ＮＯ）、再度Ｓ２１４以降の処理を実行する。
そして、Ｓ２１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ２１８：ＮＯ）、再度Ｓ２１４以降の処理を実行する。
一方、Ｓ２１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ２１８：ＹＥＳ）、再度Ｓ２１１以降の処理を実行する。
以上説明した通り、実施例３に係るヘッドマウントディスプレイ１６１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、各ＣＣＤセンサ１６、１８によって撮像された両眼５、６の撮像画像を画像認識して、両眼５、６の各眼球５Ａ、６Ｂの移動方向を検出する。
そして、ＣＰＵ５１は、各眼球５Ａ、６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、左眼５に投射されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂの移動方向の検出を終了し、コンテンツ（画像）の各眼球５Ａ、６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂの移動方向の検出を終了し、コンテンツ（画像）の各眼球５Ａ、６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。このため、ユーザ２の不必要な視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かすことによって、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１６１に表示している場合、両手で対象物３を扱いつつ、両眼５、６の視線方向を同時に上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
また、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となり、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１６１の誤動作を防止することが可能となる。
次に、実施例４に係るヘッドマウントディスプレイ１７１について図１５乃至図２０に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
［ヘッドマウントディスプレイ１７１の概略構成、電気的構成］
先ず、実施例４に係るヘッドマウントディスプレイ１７１の概略構成と電気的構成を図１５及び図１６に基づいて説明する。図１５は実施例４に係るヘッドマウントディスプレイ１７１がユーザ２に装着されている状態を示す図である。図１６はヘッドマウントディスプレイ１７１の電気的構成を示すブロック図である。
先ず、実施例４に係るヘッドマウントディスプレイ１７１の概略構成と電気的構成を図１５及び図１６に基づいて説明する。図１５は実施例４に係るヘッドマウントディスプレイ１７１がユーザ２に装着されている状態を示す図である。図１６はヘッドマウントディスプレイ１７１の電気的構成を示すブロック図である。
図１５に示すように、実施例４に係るヘッドマウントディスプレイ１７１の概略構成は、実施例１に係るヘッドマウントディスプレイ１（図１参照）とほぼ同じ構成である。
但し、ヘッドマウントディスプレイ１７１は、ユーザ２の左眼５を撮像するＣＣＤカメラ７が設けられていない点で、実施例１に係るヘッドマウントディスプレイ１と異なっている。
但し、ヘッドマウントディスプレイ１７１は、ユーザ２の左眼５を撮像するＣＣＤカメラ７が設けられていない点で、実施例１に係るヘッドマウントディスプレイ１と異なっている。
従って、図１６に示すように、ヘッドマウントディスプレイ１７１は、ユーザ２の右眼６を撮像するＣＣＤカメラ８と、ユーザ２の左眼５に画像光を出射する出射装置１１と、各種操作やデータの入力を行うための入力部３１と、外部からのコンテンツ情報が入力される外部接続部３２と、出射装置１１によって表示するコンテンツやテキスト等のイメージデータを格納するビデオＲＡＭ３４と、出射装置１１によって表示するテキストのフォントデータを格納するフォントＲＯＭ３５と、ヘッドマウントディスプレイ１の全体を制御する制御部３６と、電源部３７等とから構成されている。
また、ヘッドマウントディスプレイ１７１の各種制御処理は、実施例２に係るヘッドマウントディスプレイ１５１とほぼ同じ制御処理である。
但し、ヘッドマウントディスプレイ１７１のＣＰＵ５１は、上記「コンテンツ表示制御処理２」（Ｓ１１１〜Ｓ１１８）に替えて、後述のコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」を実行する点で異なっている。
但し、ヘッドマウントディスプレイ１７１のＣＰＵ５１は、上記「コンテンツ表示制御処理２」（Ｓ１１１〜Ｓ１１８）に替えて、後述のコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」を実行する点で異なっている。
［コンテンツ表示制御処理４］
次に、実施例４に係るヘッドマウントディスプレイ１７１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」について図１７乃至図２０に基づいて説明する。
次に、実施例４に係るヘッドマウントディスプレイ１７１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」について図１７乃至図２０に基づいて説明する。
図１７は出射装置１１によって表示されるコンテンツをユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」を示すフローチャートである。尚、図１７にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１７にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
図１７に示すように、Ｓ３１１乃至Ｓ３１３において、ＣＰＵ５１は、上記Ｓ１１１乃至Ｓ１１３と同様の処理（図１０参照）を実行する。
そして、Ｓ３１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１３：ＮＯ）、再度Ｓ３１１以降の処理を実行する。尚、Ｓ３１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
そして、Ｓ３１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１３：ＮＯ）、再度Ｓ３１１以降の処理を実行する。尚、Ｓ３１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
一方、Ｓ３１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ３１３：ＹＥＳ）、Ｓ３１４の処理に移行する。
Ｓ３１４において、ＣＰＵ５１は、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データを所定フレーム数（例えば、約３０フレームである。）ずつ画像認識し、ユーザ２の右眼６、つまり、出射装置１１が装着されていない側の右眼６の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
Ｓ３１４において、ＣＰＵ５１は、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データを所定フレーム数（例えば、約３０フレームである。）ずつ画像認識し、ユーザ２の右眼６、つまり、出射装置１１が装着されていない側の右眼６の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
続いて、Ｓ３１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の眼球６Ｂ（図１８参照）が移動したか否かを判定する判定処理を実行する。尚、ＣＰＵ５１は、眼球６Ｂの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球６Ｂが移動したと判定する。
ここで、ユーザ２の右眼６の所定フレーム数分の画像認識データから検出される眼球６Ｂの移動方向の一例について図１８に基づいて説明する。図１８は右眼６の所定フレーム数分の画像認識データから検出される眼球６Ｂの移動方向の一例を示す図である。
図１８に示すように、ＣＰＵ５１は、ＣＣＤカメラ８によって撮像された右眼６の所定フレーム数分の画像認識データから、眼球６Ｂの移動方向、つまり、眼球６Ｂの瞳の移動方向を検出する。
図１８に示すように、ＣＰＵ５１は、ＣＣＤカメラ８によって撮像された右眼６の所定フレーム数分の画像認識データから、眼球６Ｂの移動方向、つまり、眼球６Ｂの瞳の移動方向を検出する。
そして、眼球６Ｂの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、眼球６Ｂがその方向に移動したと判定し、この移動方向を眼球６Ｂの移動方向としてＲＡＭ５３に記憶する。
一方、眼球６Ｂの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球６Ｂは移動していないと判定する。
一方、眼球６Ｂの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球６Ｂは移動していないと判定する。
そして、図１７に示すように、Ｓ３１５において、右眼６の眼球６Ｂは移動していないと判定した場合には（Ｓ３１５：ＮＯ）、ＣＰＵ５１は、後述のＳ３１７の処理に移行する。
一方、Ｓ３１５において、右眼６の眼球６Ｂが移動したと判定した場合には（Ｓ３１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ３１６の処理に移行する。Ｓ３１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ３１７の処理に移行する。
ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７、図１９及び図２０に基づいて説明する。図１９及び図２０は右眼６の眼球６Ｂの移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。尚、図２０では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが上方向１２１に移動した場合、つまり、「上に移動」した場合には、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ３１５で右眼６の眼球６Ｂが下方向１２２に移動した場合、つまり、「下に移動」した場合には、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
例えば、図１９に示すように、３頁目全体が表示されている状態で、右眼６の眼球６Ｂが下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、右眼６の眼球６Ｂが上方向１２１に移動されると、３頁目全体が表示される。
尚、スクロール量は、所定の行数／列数とすることができる。また、眼球６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
尚、スクロール量は、所定の行数／列数とすることができる。また、眼球６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが左方向１２３に移動した場合、つまり、「左に移動」した場合には、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ３１５で右眼６の眼球６Ｂが右方向１２４に移動した場合、つまり、「右に移動」した場合には、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
例えば、図２０に示すように、２頁目と３頁目とが表示されている状態で、右眼６の眼球６Ｂが右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、右眼６の眼球６Ｂが左方向１２３に移動されると、２頁目と３頁目とが表示される。
また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが左方向１２３に移動した場合、つまり、「左に移動」した場合には、動画像ファイルの再生位置を戻し、右眼６の眼球６Ｂが右方向１２４に移動した場合、つまり、「右に移動」した場合には、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、眼球６Ｂの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、操作を開始するため非装着側の右眼６を一定時間閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
続いて、図１７に示すように、Ｓ３１７乃至Ｓ３１８において、ＣＰＵ５１は、上記Ｓ３１２乃至Ｓ３１３と同様の処理を実行する。
そして、Ｓ３１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１８：ＮＯ）、再度Ｓ３１４以降の処理を実行する。
そして、Ｓ３１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１８：ＮＯ）、再度Ｓ３１４以降の処理を実行する。
一方、Ｓ３１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ３１８：ＹＥＳ）、再度Ｓ３１１以降の処理を実行する。
ここで、出射装置１１、ビデオＲＡＭ３４は、表示手段の一例を構成する。また、ＣＣＤカメラ８は、他方側撮像手段の一例として機能する。また、ＣＰＵ５１、ＲＡＭ５３は、眼球運動検出手段、瞼動作検出手段の一例を構成する。また、ＣＰＵ５１、フラッシュメモリ５２、ビデオＲＡＭ３４は、表示制御手段の一例として機能する。
以上説明した通り、実施例４に係るヘッドマウントディスプレイ１７１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識して、右眼６の眼球６Ｂの移動方向を検出する。
そして、ＣＰＵ５１は、眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、左眼５に投射されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、右眼６の眼球６Ｂの移動方向の検出を終了し、左眼５に投射されるコンテンツ（画像）の眼球６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、右眼６の眼球６Ｂの移動方向の検出を終了し、左眼５に投射されるコンテンツ（画像）の眼球６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。このため、ユーザ２の不必要な右眼６の視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かすことによって、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１５において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１７１に表示している場合、両手で対象物３を扱いつつ、右眼６の視線方向を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
また、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となり、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１７１の誤動作を防止することが可能となる。
尚、本発明は前記実施例１乃至実施例４に限定されることはなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、以下のようにしてもよい。
（Ａ）上記実施例１において、ヘッドマウントディスプレイ１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ１２乃至Ｓ１３において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が閉じられているか否かを判定するようにしてもよい。
そして、上記Ｓ１４乃至Ｓ１６において、ＣＰＵ５１は、左眼５の瞼が閉じられている場合には、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データに基づいて、右眼６の眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
（Ｂ）また、上記実施例２において、ヘッドマウントディスプレイ１５１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ１１２乃至Ｓ１１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。尚、Ｓ１１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
そして、上記Ｓ１１４乃至Ｓ１１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データから、右眼６の眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
また、上記Ｓ１１７乃至Ｓ１１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、右眼６の眼球６Ｂの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の眼球６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。
（Ｃ）また、上記実施例３において、ヘッドマウントディスプレイ１６１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ２１２乃至Ｓ２１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。尚、Ｓ２１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
そして、上記Ｓ２１４乃至Ｓ２１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶されている画像データから、両眼５、６の各眼球５Ａ、６Ｂの同じタイミングでの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
また、上記Ｓ２１７乃至Ｓ２１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、両眼５、６の各眼球５Ａ、６Ｂの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の各眼球５Ａ、６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。
（Ｄ）また、上記実施例４において、ヘッドマウントディスプレイ１７１の出射装置１１を右眼６側に装着してもよい。また、ユーザ２の左眼５を撮像するＣＣＤカメラ７だけを設け、右眼６を撮像するＣＣＤカメラ８を設けないようにしてもよい。
この場合には、上記Ｓ３１２乃至Ｓ３１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。但し、Ｓ３１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
そして、上記Ｓ３１４乃至Ｓ３１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
また、上記Ｓ３１７乃至Ｓ３１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、左眼５の眼球５Ａの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。
１、１５１、１６１、１７１ ヘッドマウントディスプレイ
５ 左眼
５Ａ、６Ｂ 眼球
６ 右眼
６Ａ 瞼
７、８ ＣＣＤカメラ
１１ 出射装置
１５、１７ ＣＣＤコントローラ
１６、１８ ＣＣＤセンサ
３４ ビデオＲＡＭ
５１ ＣＰＵ
５２ フラッシュメモリ
５３ ＲＡＭ
１３１ 制御テーブル
５ 左眼
５Ａ、６Ｂ 眼球
６ 右眼
６Ａ 瞼
７、８ ＣＣＤカメラ
１１ 出射装置
１５、１７ ＣＣＤコントローラ
１６、１８ ＣＣＤセンサ
３４ ビデオＲＡＭ
５１ ＣＰＵ
５２ フラッシュメモリ
５３ ＲＡＭ
１３１ 制御テーブル
Claims (5)
- 表示情報の画像をユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの前記一方の眼を撮像する投射側撮像手段と、
前記ユーザの他方の眼を撮像する他方側撮像手段と、
前記投射側撮像手段と前記他方側撮像手段のうちの少なくとも片方を介して前記ユーザの少なくとも片側の眼の眼球運動を検出する眼球運動検出手段と、
前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、
前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、
を備えたことを特徴とするヘッドマウントディスプレイ。 - 前記眼球運動検出手段は、前記投射側撮像手段と前記他方側撮像手段のうちの一方を介して前記ユーザの片側の眼の眼球運動を検出することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
- 表示情報の画像をユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、
前記ユーザの他方の眼を撮像する他方側撮像手段と、
前記他方側撮像手段を介して前記ユーザの前記他方の眼の眼球運動を検出する眼球運動検出手段と、
前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、
前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、
を備えたことを特徴とするヘッドマウントディスプレイ。 - 前記所定の瞼の動作は、前記他方の眼の瞼を所定時間以上閉じた後開ける動作であることを特徴とする請求項１乃至請求項３のいずれかに記載のヘッドマウントディスプレイ。
- 前記所定の瞼の動作は、前記他方の眼の瞼を閉じる動作であって、
前記眼球運動検出手段は、前記投射側撮像手段を介して前記ユーザの前記一方の眼の眼球運動を検出して、
前記表示制御手段は、前記瞼動作検出手段を介して前記他方の眼の瞼が閉じられていることを検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された前記ユーザの前記一方の眼の眼球運動に従って変更させるように前記表示手段を制御し、該瞼動作検出手段を介して該他方の眼の瞼が開けられていることを検出した場合には、該画像の表示状態の変更を停止させるように該表示手段を制御することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008326991A JP2010152443A (ja) | 2008-12-24 | 2008-12-24 | ヘッドマウントディスプレイ |
| PCT/JP2009/070151 WO2010073879A1 (ja) | 2008-12-24 | 2009-12-01 | ヘッドマウントディスプレイ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008326991A JP2010152443A (ja) | 2008-12-24 | 2008-12-24 | ヘッドマウントディスプレイ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010152443A true JP2010152443A (ja) | 2010-07-08 |
Family
ID=42287497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008326991A Pending JP2010152443A (ja) | 2008-12-24 | 2008-12-24 | ヘッドマウントディスプレイ |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2010152443A (ja) |
| WO (1) | WO2010073879A1 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012063899A (ja) * | 2010-09-15 | 2012-03-29 | Nec Casio Mobile Communications Ltd | 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置 |
| US8836641B1 (en) | 2013-08-28 | 2014-09-16 | Lg Electronics Inc. | Head mounted display and method of controlling therefor |
| EP2784632A2 (en) | 2013-03-25 | 2014-10-01 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2014187574A (ja) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2014191386A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 |
| JP2015088177A (ja) * | 2013-09-04 | 2015-05-07 | ジョンソン・アンド・ジョンソン・ビジョン・ケア・インコーポレイテッドＪｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｖｉｓｉｏｎ Ｃａｒｅ， Ｉｎｃ． | 外部デバイスとインターフェイス接続可能な眼用レンズシステム |
| US9389683B2 (en) | 2013-08-28 | 2016-07-12 | Lg Electronics Inc. | Wearable display and method of controlling therefor |
| JP2016136351A (ja) * | 2015-01-23 | 2016-07-28 | 京セラ株式会社 | 電子機器及び制御方法 |
| JP2016177819A (ja) * | 2016-04-26 | 2016-10-06 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
| JP2016181264A (ja) * | 2016-04-26 | 2016-10-13 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
| JP2017009986A (ja) * | 2015-06-25 | 2017-01-12 | 株式会社Ｑｄレーザ | 画像投影装置 |
| JP2017016599A (ja) * | 2015-07-07 | 2017-01-19 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| WO2017119213A1 (ja) * | 2016-01-05 | 2017-07-13 | 株式会社Ｑｄレーザ | 画像投影装置 |
| JPWO2016113951A1 (ja) * | 2015-01-15 | 2017-09-07 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
| JP2020103907A (ja) * | 2014-03-19 | 2020-07-09 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 立体ビューワのための視線追跡を統合する医療装置、システム、及び方法 |
| US11147640B2 (en) | 2014-03-19 | 2021-10-19 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455746B (zh) * | 2013-09-10 | 2016-10-05 | 百度在线网络技术（北京）有限公司 | 头戴式显示设备 |
| CN106484107A (zh) * | 2016-09-29 | 2017-03-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种信息交互的方法及虚拟现实眼镜 |
| EP4113464A1 (en) | 2021-06-30 | 2023-01-04 | Tobii AB | An eye tracking system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100903A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 視線検出機能搭載装置 |
| JP2003230539A (ja) * | 2002-02-07 | 2003-08-19 | Minolta Co Ltd | 視線検出装置 |
-
2008
- 2008-12-24 JP JP2008326991A patent/JP2010152443A/ja active Pending
-
2009
- 2009-12-01 WO PCT/JP2009/070151 patent/WO2010073879A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100903A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 視線検出機能搭載装置 |
| JP2003230539A (ja) * | 2002-02-07 | 2003-08-19 | Minolta Co Ltd | 視線検出装置 |
Non-Patent Citations (1)
| Title |
|---|
| 新井 康平，外１名: "視線入力による会話支援システム", 電気学会論文誌Ｃ, vol. 第１２８巻，第１１号, JPN6012040702, 1 November 2008 (2008-11-01), JP, pages 1679 - 1686, ISSN: 0002297408 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8866860B2 (en) | 2010-09-15 | 2014-10-21 | Nec Casio Mobile Communications Ltd. | Screen display device, screen display control method, screen display control program, and information terminal device |
| JP2012063899A (ja) * | 2010-09-15 | 2012-03-29 | Nec Casio Mobile Communications Ltd | 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置 |
| US9335547B2 (en) | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| US9921646B2 (en) | 2013-03-25 | 2018-03-20 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| EP2784632A2 (en) | 2013-03-25 | 2014-10-01 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2014187574A (ja) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2014191386A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 |
| WO2015030306A1 (en) * | 2013-08-28 | 2015-03-05 | Lg Electronics Inc. | Head mounted display and method of controlling therefor |
| US9389683B2 (en) | 2013-08-28 | 2016-07-12 | Lg Electronics Inc. | Wearable display and method of controlling therefor |
| US8836641B1 (en) | 2013-08-28 | 2014-09-16 | Lg Electronics Inc. | Head mounted display and method of controlling therefor |
| JP2015088177A (ja) * | 2013-09-04 | 2015-05-07 | ジョンソン・アンド・ジョンソン・ビジョン・ケア・インコーポレイテッドＪｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｖｉｓｉｏｎ Ｃａｒｅ， Ｉｎｃ． | 外部デバイスとインターフェイス接続可能な眼用レンズシステム |
| JP2020103907A (ja) * | 2014-03-19 | 2020-07-09 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 立体ビューワのための視線追跡を統合する医療装置、システム、及び方法 |
| US11792386B2 (en) | 2014-03-19 | 2023-10-17 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking for stereo viewer |
| US11438572B2 (en) | 2014-03-19 | 2022-09-06 | Intuitive Surgical Operations, Inc. | Medical devices, systems and methods using eye gaze tracking for stereo viewer |
| US11147640B2 (en) | 2014-03-19 | 2021-10-19 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking |
| JP7080915B2 (ja) | 2014-03-19 | 2022-06-06 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 立体ビューワのための視線追跡を統合する医療装置、システム、及び方法 |
| JPWO2016113951A1 (ja) * | 2015-01-15 | 2017-09-07 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
| US10591735B2 (en) | 2015-01-15 | 2020-03-17 | Sony Interactive Entertainment Inc. | Head-mounted display device and image display system |
| JP2016136351A (ja) * | 2015-01-23 | 2016-07-28 | 京セラ株式会社 | 電子機器及び制御方法 |
| JP2017009986A (ja) * | 2015-06-25 | 2017-01-12 | 株式会社Ｑｄレーザ | 画像投影装置 |
| US10444519B2 (en) | 2015-06-25 | 2019-10-15 | Qd Laser, Inc. | Image projection device |
| JP2017016599A (ja) * | 2015-07-07 | 2017-01-19 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| JP2017122775A (ja) * | 2016-01-05 | 2017-07-13 | 株式会社Ｑｄレーザ | 画像投影装置 |
| US10761329B2 (en) | 2016-01-05 | 2020-09-01 | Qd Laser, Inc. | Image projection device |
| WO2017119213A1 (ja) * | 2016-01-05 | 2017-07-13 | 株式会社Ｑｄレーザ | 画像投影装置 |
| JP2016181264A (ja) * | 2016-04-26 | 2016-10-13 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
| JP2016177819A (ja) * | 2016-04-26 | 2016-10-06 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010073879A1 (ja) | 2010-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010073879A1 (ja) | ヘッドマウントディスプレイ | |
| US8514148B2 (en) | Head mount display | |
| US8494212B2 (en) | Head mounted display | |
| EP2163937A1 (en) | Head mount display | |
| WO2010071110A1 (ja) | ヘッドマウントディスプレイ | |
| JP5272827B2 (ja) | ヘッドマウントディスプレイ | |
| JP5195537B2 (ja) | ヘッドマウントディスプレイ | |
| JP2010139901A (ja) | ヘッドマウントディスプレイ | |
| US20110267321A1 (en) | Head mounted display and drive method thereof | |
| EP2107414A1 (en) | Head mount display and head mount display system | |
| US9261959B1 (en) | Input detection | |
| JP2011091789A (ja) | ヘッドマウントディスプレイ | |
| JP6231541B2 (ja) | 画像投影装置 | |
| US20110316763A1 (en) | Head-mounted display apparatus, image control method and image control program | |
| JP2011075956A (ja) | ヘッドマウントディスプレイ | |
| JP2010139711A (ja) | ヘッドマウントディスプレイ | |
| JP2010067154A (ja) | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ | |
| JP2006017991A (ja) | 映像表示装置 | |
| JP5251813B2 (ja) | 作業支援システム、ヘッドマウントディスプレイ及びプログラム | |
| JP5109952B2 (ja) | ヘッドマウントディスプレイ | |
| JP5163535B2 (ja) | ヘッドマウントディスプレイ | |
| JP6394165B2 (ja) | 虚像表示装置及び方法 | |
| WO2016208266A1 (ja) | 画像投影装置 | |
| JP5163534B2 (ja) | ヘッドマウントディスプレイ | |
| JP2010134152A (ja) | ヘッドマウントディスプレイ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130108 |