JP2010145861A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】仮想操作パネルの表示位置とユーザの操作位置とのずれを防止することができるヘッドマウントディスプレイを提供する。
【解決手段】ヘッドマウントディスプレイは、ユーザの視野範囲のうち少なくとも一部を撮像し、解析された結果に基づいて、ユーザの手を検知する。ヘッドマウントディスプレイは、検知されたユーザの手の位置に基づいて、ユーザに視認される手と関連した位置を、ユーザの手の位置に追随する仮想操作パネルの表示位置として仮想操作パネルの操作部の位置を決定し、表示させる制御を行う。ヘッドマウントディスプレイは、タッチパネルによって検知されたユーザの指の接触位置に基づいて、仮想操作パネルが操作されたか否かを判定し、仮想操作パネルが操作されたと判定された場合には、仮想操作パネルへの操作位置に対応する制御を行う。
【選択図】図４

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射してユーザに画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイに関するものである。

従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。

この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。

この表示情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、ユーザが頭部に装着した状態で画像を視認することができるヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある）等も開発されてきていた。

また、このようなＨＭＤにおいては、外光をも透過するシースルー型のＨＭＤがあり、コンテンツ情報を画像として表示している最中であっても、コンテンツ情報を視認させながら、ユーザが外界を視認できるように構成している。

ところで、上述したようなディスプレイにおいては、例えば、特許文献１に示すように、仮想操作パネルを固定して表示させるものが開示されており、その表示させた仮想操作パネルにおけるユーザの指の位置やその動作を検出することによって、仮想操作パネルの操作位置に対応する入力が行われる。
特開２０００−２４２３９４号公報

ところが、上記従来の装置では、表示された仮想操作パネルにおいて所定の操作入力が行われるが、仮想操作パネルの表示位置が固定されているため、シースルー型のＨＭＤに用いる場合には、ＨＭＤを装着した頭を動かした際に、仮想操作パネルの表示位置とユーザの操作位置とにずれが生じるおそれがあり、誤入力の原因となってしまう。

これは、通常、仮想操作パネルは異なった入力が割り当てられた複数の仮想キーからなり、これらの複数の仮想キーは近接して配置されるのが一般的である。このため、例えば、ユーザが頭をわずかに動かしただけであっても、キーの位置が動き、所望の操作キーとは別の操作キーを操作してしまい、誤入力が頻繁に発生するおそれがあった。また、操作キーの入力の際中に、誤入力が発生しないようユーザに頭を固定するよう強いることは、ユーザに苦痛を与えかねない。

本発明は、上述したような課題に鑑みてなされたものであり、仮想操作パネルの表示位置とユーザの操作位置とのずれを防止することができるヘッドマウントディスプレイを提供することを目的とする。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。

すなわち、請求項１記載の本発明では、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析する画像解析手段と、前記画像解析手段によって解析された結果に基づいて、ユーザの手を検知する手検知手段と、ユーザの手の接触を検知するタッチパネルと、前記手検知手段によって検知されたユーザの手の位置に基づいて、ユーザの手の特定部分を基準位置とし、前記表示手段による表示領域のうち、前記表示手段を透過して前記ユーザに視認される手と関連し、当該基準位置と常に所定の位置関係となる位置を、当該ユーザの手の位置に追随する仮想操作パネルの表示位置として決定する仮想操作パネル位置決定手段と、前記仮想操作パネル位置決定手段により決定した表示位置に仮想操作パネルを前記表示手段により表示させる制御を行う表示制御手段と、前記タッチパネルによって検知されたユーザの指の接触位置に基づいて、前記仮想操作パネルが操作されたか否かを判定する操作判定手段と、前記操作判定手段によって前記仮想操作パネルが操作されたと判定された場合には、当該仮想操作パネルへの操作位置に対応する制御を行う操作対応制御手段と、を備えたことを特徴とするものである。

すなわち、請求項２記載の本発明では、請求項１に記載の発明において、前記操作判定手段は、前記基準位置となるユーザの手の特定部分とは異なる第２の特定部分が前記タッチパネルに接触した位置に基づいて、前記仮想操作パネルが操作されたか否かを判定することを特徴とするものである。

すなわち、請求項３記載の本発明では、請求項１又は２に記載の発明において、前記手検知手段は、前記ユーザの手の位置に加えて、ユーザの手のサイズを検知し、前記手検知手段によって検出された前記ユーザの手のサイズに基づいて、仮想操作パネルのサイズを選択する仮想操作パネルサイズ選択手段を備え、前記仮想操作パネル位置決定手段は、前記仮想操作パネルサイズ選択手段によって選択された仮想操作パネルのサイズに基づいて、前記仮想操作パネルの表示位置を決定することを特徴とするものである。

すなわち、請求項４記載の本発明では、請求項３に記載の発明において、ユーザの手のサイズと、当該ユーザの手のサイズに応じた仮想操作パネルのサイズが対応付けられたサイズ情報が記憶されたサイズ情報記憶手段を備え、前記仮想操作パネルサイズ選択手段は、前記手検知手段によって検出された前記ユーザの手のサイズと、前記サイズ情報記憶手段に記憶されたサイズ情報とに基づいて、当該ユーザの手のサイズに対応して仮想操作パネルのサイズを選択することを特徴とするものである。

すなわち、請求項５記載の本発明では、請求項１から４のいずれかに記載の発明において、複数の前記仮想操作パネルから前記ユーザの手に追随させる仮想操作パネルを選択するための選択用仮想操作パネルを所定の表示位置に設定する選択用仮想操作パネル位置設定手段を備え、前記表示制御手段は、前記選択用仮想操作パネルを前記表示手段により表示させる制御を行うことを特徴とするものである。

すなわち、請求項６記載の本発明では、請求項５に記載の発明において、前記仮想操作パネル位置決定手段は、重複する位置に複数の仮想操作パネルが設定されている場合には、当該重複する複数の仮想操作パネルのうち、ユーザの手の位置に追随すると最新に選択された仮想操作パネルを優先して設定することを特徴とするものである。

本発明によれば、仮想操作パネルの表示位置とユーザの操作位置とのずれを防止することができる。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１及び図３は、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある）を示す説明図であり、図２は、ＨＭＤ本体２を示す外観図である。

［ＨＭＤ概観］
図１に示すように、本実施形態に係るＨＭＤ１は、ユーザＰが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報や後述する仮想操作パネルを画像としてそのユーザＰに視認可能に表示するＨＭＤ本体２と、そのＨＭＤ本体２に対して画像信号を供給する処理を主に行うコントローラ３と、ユーザＰの視野範囲の少なくとも一部を撮像するＣＣＤ（Charge Coupled Devices）カメラ４と、ユーザＰの接触操作を検知するタッチパネル５と、通信可能な制御ボックス１５０と、を備えている。

ＨＭＤ本体２は、各色（Ｒ，Ｇ，Ｂ）毎に強度変調された光（以下、「画像光」という）をユーザＰの網膜上で２次元方向に走査させることにより、ユーザＰにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という）を視認させる網膜走査ディスプレイ（Retinal Imaging Display）である。

尚、本実施形態においては、ＨＭＤ本体２として網膜走査ディスプレイを採用したが、これに限らず、例えば、ＬＣＤ（liquid crystal display）を透過又は反射させて生成した光（画像光）をユーザＰの眼Ｙに投射して、ユーザＰにコンテンツを視認させるディスプレイを用いてもよい。

このＨＭＤ本体２は、コンテンツを表示している最中であっても、ユーザＰの視野範囲の中で、そのコンテンツを表示している領域以外の領域では、ユーザＰが外界を視認できるように構成している。

ＨＭＤ本体２は、図２に示すように、略眼鏡形状とした支持部材２ａと、使用者に認識させるための画像を形成する画像形成部２ｂとを備えている。画像形成部２ｂは、ユーザＰの眼前にハーフミラー２ｃを設けており、外光Ｌａはハーフミラー２ｃを透過させてユーザＰの眼Ｙに入射させ、コンテンツ情報に応じた画像光Ｌｂはハーフミラー２ｃで反射させてユーザＰの眼Ｙに入射させるようにしている。このようにＨＭＤ１は、外光Ｌａを透過しつつ、コンテンツ情報に応じた画像光をユーザＰの眼Ｙに投射するシースルー型のヘッドマウントディスプレイとしている。

コントローラ３は、ＨＭＤ本体２、ＣＣＤカメラ４、タッチパネル５、制御ボックス１５０等と通信可能に接続されており、ＨＭＤ１全体を制御する後述の制御部１０（図５参照）等が内蔵されている。

ＣＣＤカメラ４は、ユーザＰの視野範囲のうち少なくとも後述する表示領域６（図３及び図４参照）を撮像する撮像手段２０１（図７参照）として機能し、ユーザＰの視野範囲の画像をサンプリングするように構成されている。

このような構成において、ＨＭＤ１では、図３に示すように、ユーザＰの視野範囲のうち少なくとも一部に表示領域６が設定されており、ユーザＰは視野範囲内の表示領域６に画像を視認できる。特に、この表示領域６には、仮想操作パネルが表示され、ユーザＰの操作に応じた操作が可能となる。また、このＨＭＤ１は、シースルー型であるため、外界を視認しつつ、これらの仮想操作パネルが視認可能である。

尚、本実施形態においては、図３に示すように、仮想操作パネルとして、表示領域６の固定された位置に表示される仮想メニューバー７、ユーザＰの手に追随して移動可能な追随仮想キーボード８，９を一例に挙げて説明する。

タッチパネル５は、ユーザＰの指等による接触を検知する。また、このタッチパネル５は、ＨＭＤ本体２の表示領域６（ＣＣＤカメラ４の撮像領域内にある）に配置されることを条件に、その接触操作が有効となる。

また、このタッチパネル５は、ユーザＰの手を二箇所接触させることによって操作可能である。具体的には、タッチパネル５は、ユーザＰの手の基準位置（親指位置）が接触され、更に基準位置とは別の第二の位置が接触されることによって、第二の位置に対応する操作を認識可能とする。

ユーザＰによる仮想メニューバー７や追随仮想キーボード８，９へのキー操作は、ＣＣＤカメラ４で撮像した画像やタッチパネル５からの接触情報に基づいて検知される。

具体的には、ＨＭＤ本体２の表示領域６にユーザＰの手が入ってくると、ＣＣＤカメラ４によってそのユーザＰの手が検知される。そして、ユーザＰの手の基準位置（親指位置）がタッチパネル５に接触すると、ＣＣＤカメラ４によって撮像された画像が解析されてユーザＰの手の基準位置が検知され、更にタッチパネル５から接触した接触位置座標が検知される。このように検知された基準位置に応じて、タッチパネル５とＣＣＤカメラ４との位置関係が認識可能となる。即ち、タッチパネル５とＨＭＤ本体２の表示領域６との位置関係が認識可能となる。そして、ユーザＰの手の基準位置以外の第二の接触が検出されると、タッチパネル５における基準位置との位置関係から、ＨＭＤ本体２の表示領域６において表示されている仮想操作パネルが操作されたと認識可能となる。

このように、コントローラ３は、ＣＣＤカメラ４で撮像した画像や、タッチパネル５からの接触情報に基づいて、ユーザＰの指によって操作される位置や、その位置にある仮想操作パネルのキーが操作されたと認識する。

［表示画面］
ここで、本実施形態に係るＨＭＤ１における表示画面について、図４を参照して説明する。図４は、本実施形態に係るＨＭＤ１の表示画面を示す説明図である。

図４に示すように、ＨＭＤ１の表示領域６内には、各種の仮想操作パネル７〜９が表示されている。この表示領域６は、ユーザＰの視野範囲のうち少なくとも一部に表示されるように設定されている。また、このＨＭＤ１は、シースルー型であるため、外界を視認しつつ、仮想操作パネル７〜９が視認可能である。具体的には、外界にある装置等が視認可能である。

また、各種の仮想操作パネルには、仮想メニューバー７や、追随仮想キーボード８，９等が含まれている。

仮想メニューバー７には、複数のメニューボタンが設定されており、具体的には、キーボード（Ｋ／Ｂ）表示キー７ａ、スクロールキー７ｂ、拡大／縮小キー７ｃが設定されている。Ｋ／Ｂ表示キー７ａは、ユーザＰの手に追随仮想キーボード８，９を表示するためのキーである。スクロールキー７ｂは、ユーザＰの手に追随するスクロールキーを表示するためのキーである。拡大／縮小キー７ｃは、ユーザＰの手に追随する拡大／縮小キーを表示するためのキーである。

このような仮想メニューバー７の操作は、ＣＣＤカメラ４で撮像した画像や、タッチパネル５の接触に基づいて行われる。即ち、コントローラ３は、ＣＣＤカメラ４で撮像した画像を解析し、更にタッチパネル５による接触位置の検出することによって、ユーザＰの手の接触操作を検知する。

具体的には、表示領域６にユーザＰの手が入ってくると、ＣＣＤカメラ４で撮像した画像が解析された結果、ユーザＰの手の輪郭や色が検出され、ユーザＰの手の位置が検出される。これによって、表示領域６にユーザＰの手が入ってきたことが認識可能となり、ＣＣＤカメラ４とユーザＰの手との位置関係が認識可能となる。

また、このようにユーザＰの手が検出された場合において、ユーザＰの手の基準位置がタッチパネル５に接触すると、そのタッチパネル５からの接触情報に基づいて接触位置座標が検出される。また、画像の解析の結果に基づいて、ユーザＰの手の基準位置が検知される。これによって、タッチパネル５とＣＣＤカメラ４との位置関係が認識可能となる。また、上述したようにＣＣＤカメラ４がＨＭＤ本体２の表示領域６の少なくとも一部を撮像しているため、タッチパネル５とＨＭＤ本体２の表示領域６との位置関係が認識可能となる。

また、ユーザＰの手の基準位置とは別に、タッチパネル５に接触した場合には、そのタッチパネル５においてユーザＰの手の基準位置との位置関係によって、表示領域６において操作された位置が認識可能となる。

また、追随仮想キーボード８は、コンテンツ（例えば、文書ファイル）の頁を変更するためのスクロールキーボードであり、ユーザＰの手に追随して移動可能となっている。

追随仮想キーボード８には、キーボード（Ｋ／Ｂ）固定追随（固／追）キー８ａ、キーボード（Ｋ／Ｂ）非表示キー８ｂ、操作入力キー（前頁キー８ｃ、次頁キー８ｄ）が設定される。Ｋ／Ｂ固定追随キー８ａは、ユーザＰの手に追随させずに固定表示させるかユーザＰの手に追随して移動させるかを切り替えるためのキーである。Ｋ／Ｂ非表示キー８ｂは、キーボードを非表示とするためのキーである。前頁キー８ｃは、表示させる画面を前頁に変更するためのキーである。次頁キー８ｄは、表示させる画面を次頁に変更するためのキーである。

また、追随仮想キーボード９も同じように、Ｋ／Ｂ固定追随キー９ａ、Ｋ／Ｂ非表示キー９ｂなどが含まれており、それ以外に操作入力キーとしてテンキー９ｅなどが含まれている。

追随仮想キーボード８，９は、Ｋ／Ｂ固定追随キー８ａ，９ａへの操作により追随設定されているときには、ユーザＰの手に追随して移動し、一方、Ｋ／Ｂ固定追随キー８ａ，９ａへの操作により固定設定されたときには、ユーザＰの手が移動しても移動しない。従って、例えば、図５に示すように、追随仮想キーボード８が固定設定され、追随仮想キーボード９が追随設定されているとき、固定設定されている追随仮想キーボード８はユーザＰの手に追随して移動しないが、追随設定されている追随仮想キーボード９はユーザＰの手に追随して移動することになる。

また、このように固定設定も可能とすることにより、複数の追随仮想キーボード８，９を用いることができる。１つの手で操作できる操作キーの数には限界がある。特に追随仮想キーボード８，９では、手の検出誤差による誤操作を防ぐため、操作キーは指に対して大きくせざるを得ず、小さな操作キーを密集させて配置することはできない。そこで、複数の追随仮想キーボード８，９を利用可能とし、必要に応じてそのうち１つを選択して手に追随させれば、より多くの操作を追随仮想キーボード８，９で行うことができる。

追随仮想キーボード８，９の追随処理は、ＣＣＤカメラ４で撮像した画像や、タッチパネル５の接触に基づいて行われる。即ち、コントローラ３は、ＣＣＤカメラ４で撮像した画像を解析し、更にタッチパネル５による接触位置の検出することによって、追随するユーザＰの手の位置を検知する。

具体的には、上述したように表示領域６にユーザＰの手が入ってくると、ＣＣＤカメラ４で撮像した画像が解析された結果に基づいて、ユーザＰの手の位置が検出される。更に画像の解析の結果に基づいて、ユーザＰの手の基準位置が検知される。そして、その基準位置を基準として常に一定の位置関係となるよう追随仮想キーボード８、９の表示位置が決定され、表示される。これによって、手や頭が動いて、撮像領域内の基準位置が移動すると、それに合わせて追随仮想キーボード８、９の表示位置が移動するのでその基準位置のある手に追随して追随仮想キーボード８，９が移動することとなる。

また、追随仮想キーボード８，９が追随設定された状態において、ユーザＰの手の基準位置がタッチパネル５に接触されると、そのタッチパネル５からの接触情報に基づいて接触位置座標が検出され、タッチパネル５における基準位置の座標が取得される。

更に、ユーザＰの手の基準位置とは異なる位置でタッチパネル５が接触されると、その座標に基づく新たな接触位置と基準位置との関係から、上述したようにタッチパネル５の基準位置とＨＭＤ本体２の表示領域６内の基準位置との位置関係に基づいて、その接触位置座標に対応する追随仮想キーボード８，９の操作位置が検出され、その操作に対応する制御が行われることとなる。

このように、コントローラ３は、表示領域６のうち、ＨＭＤ本体２のハーフミラー２ｃを透過してユーザＰに視認される手と関連し、基準位置と常に所定の位置関係となる位置を、そのユーザＰの手の位置に追随する追随仮想キーボード８，９の表示位置として決定して、追随仮想キーボード８，９の画像データに応じた画像信号をＨＭＤ本体２に供給する。これにより、追随仮想キーボード８，９は、ユーザＰの手に追随して移動する。なお、「ユーザＰに視認される手と関連した位置」とは、ＨＭＤ本体２を介してユーザＰに視認されるユーザＰの手で追随仮想キーボード８，９が操作できる位置を意味する。

このように、ユーザＰの手に追随して追随仮想キーボード８，９が移動することによって、手や頭が動いても追随仮想キーボード８，９の表示位置とユーザＰの操作位置とのずれを防止することができる。即ち、操作時にユーザＰが自然に頭や手を動かしても、仮想操作パネル８の表示位置がユーザＰの手の操作位置に追随していくので、安定した操作入力を行うことができる。

また、コントローラ３は、所定の動作（例えば、Ｋ／Ｂ固定追随キー８ａ，９ａへの操作など）により、追随仮想キーボード８，９の位置をユーザＰの手の位置に追随させずに固定させることができる。従って、不要となった追随仮想キーボード８，９を追随させず、固定させることによって、操作性を向上させることができ、簡便である。

更に、コントローラ３は、所定の動作（例えば、Ｋ／Ｂ表示キー７ａやＫ／Ｂ非表示キー８ｂ，９ｂへの操作など）に応じて、各追随仮想キーボード８，９の表示を有効とするか無効とするかを決定する。具体的には、コントローラ３は、ユーザＰによるＫ／Ｂ表示キー７ａへの操作によって有効とされたときに追随仮想キーボード８，９を表示させ、ユーザＰによるＫ／Ｂ非表示キー８ｂ，９ｂへの操作によって無効とされたときに追随仮想キーボード８，９を表示させない。従って、不要となった追随仮想キーボード８，９を非表示とすることによって、視認性を向上させることができ、簡便である。

また、複数の追随仮想キーボード８，９からユーザＰの手に追随させる追随仮想キーボードを選択するための仮想メニューバー７を表示させる。従って、仮想操作パネルの種類が多種多様となり、簡便である。

［ＨＭＤの電気的構成］
本実施形態におけるＨＭＤ１の電気的構成などについて図５を用いて説明する。

図５に示すように、このＨＭＤ１は、上述したようなＨＭＤ本体２と、そのＨＭＤ本体２等を制御するコントローラ３と、ＣＣＤカメラ４と、タッチパネル５と、周辺機器３４と、制御ボックス１５０とを備えている。

コントローラ３は、当該ＨＭＤ１全体の動作を統括制御する制御部１０と、タッチパネルコントローラ２０と、ＣＣＤカメラコントローラ２２と、ＣＣＤカメラＶＲＡＭ２４と、ＨＭＤインターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」ということがある）コントローラ２６と、ＨＭＤ ＶＲＡＭ２８と、周辺機器Ｉ／Ｆ３０と、接続Ｉ／Ｆコントローラ３２と、を備えている。

制御部１０は、ＣＰＵ（Central Processing Unit）１２と、不揮発性メモリであるプログラムＲＯＭ（Read Only Memory）１４と、フラッシュＲＯＭ（フラッシュメモリ）１６と、ＲＡＭ（Random Access Memory）１８と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

ＣＰＵ１２は、プログラムＲＯＭ１４に記憶されている各種情報処理プログラムを実行することにより、制御部１０としてＨＭＤ１を構成する各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

フラッシュＲＯＭ１６は、制御部１０がＣＣＤカメラ４により撮像した画像や、制御ボックス１５０などの他の装置から供給される画像を記憶する。

タッチパネルコントローラ２０は、制御部１０からの制御に基づいて、タッチパネル５からの接触信号を受け取り、その接触信号に基づく接触情報を制御部１０に供給する。これによって、制御部１０は、タッチパネル５に対するユーザＰの各指の動作を認識可能となる。

ＣＣＤカメラコントローラ２２は、ＣＣＤカメラ４を制御し、ＣＣＤカメラＶＲＡＭ２４は、ＣＣＤカメラ４からの画像を一時的に記憶する。制御部１０は、ユーザＰの手や指の位置を認識するために、ＣＣＤカメラコントローラ２２を介してＣＣＤカメラ４を制御し、ＣＣＤカメラ４によって撮像された画像データをＣＣＤカメラＶＲＡＭ２４から取得する。これによって、制御部１０は、ＣＣＤカメラ４によって撮像された画像を取得することができ、詳しく後述するが、その画像を解析することによって、ユーザＰの手を認識可能となる。

ＨＭＤ Ｉ／Ｆコントローラ２６は、制御部１０からの要求に応じてＨＭＤ本体２を制御し、制御部１０によりＨＭＤ ＶＲＡＭ２８に記憶された画像データに基づいた画像信号をＨＭＤ本体２に供給する。これによって、制御部１０は、画像を表示させる制御を行う。

ＨＭＤ本体２は、ＨＭＤ Ｉ／Ｆコントローラ２６から画像信号が入力されると、この画像信号に基づいて画像を生成するための要素となる各信号（Ｒ，Ｇ，Ｂの３原色の信号）を発生する。また、発生した各信号に基づくレーザ光を出射して合波し、そのレーザ光を２次元に走査する。２次元に走査された光は、その中心線がユーザＰの瞳孔に収束するように変換され、ユーザＰの眼Ｙの網膜に投影される。ＨＭＤ本体２の一般的な構成及び動作については、周知であり（例えば、特開２００７−１７８９４１号公報参照）、ここでは具体的な説明は省略する。

周辺機器Ｉ／Ｆ３０は、電源スイッチやランプ類等（図示せず）の周辺機器３４をコントローラ３に接続するためのインターフェースである。例えば、電源スイッチやランプ類が周辺機器Ｉ／Ｆ３０に接続されたとき、制御部１０は、電源スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３０から受け取り、周辺機器Ｉ／Ｆ３０を介してランプ類の点灯情報をランプ類に供給する。

接続Ｉ／Ｆコントローラ３２は、コントローラ３と制御ボックス１５０とを通信可能に制御する。制御部１０は、接続Ｉ／Ｆコントローラ３２を介して画像データの供給を制御ボックス１５０に要求し、制御ボックス１５０から接続Ｉ／Ｆコントローラ３２を介して供給された画像データをＨＭＤ本体２に供給する。また、制御部１０は、タッチパネル５からの情報や周辺機器３４からの情報を接続Ｉ／Ｆコントローラ３２を介して制御ボックス１５０に供給する。

制御ボックス１５０は、ＨＭＤ１の画像表示を主に統括制御する制御部１６０と、コントローラ３や他の装置との通信を制御する通信Ｉ／Ｆコントローラ１７０と、を備えている。

制御部１６０は、ＣＰＵ（Central Processing Unit）１６２と、不揮発性メモリであるプログラムＲＯＭ（Read Only Memory）１６４と、ハードディスク装置（ＨＤＤ）１６６と、ＲＡＭ（Random Access Memory）１６８と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

ＣＰＵ１６２は、プログラムＲＯＭ１６４に記憶されている各種情報処理プログラムを実行することにより、制御部１６０として、制御ボックス１５０を構成する各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

［サイズテーブル］
上述したような構成のＨＭＤ１におけるフラッシュＲＯＭ１６に記憶されているサイズテーブルについて図６を用いて説明する。図６は、サイズテーブルを示す説明図である。

フラッシュＲＯＭ１６に記憶されたサイズテーブルは、追随仮想キーボード８，９のサイズを決定するためのテーブルである。このサイズテーブルには、図６に示すように、ユーザＰの見かけの手のサイズと、追随仮想キーボード８，９の表示サイズとが対応付けられている。

例えば、ユーザＰの見かけの手のサイズがＢ（ピクセル）以上Ａ（ピクセル）未満のときには、追随仮想キーボード８，９の表示サイズをＸＬサイズとし、ユーザＰの見かけの手のサイズがＤ（ピクセル）以上Ｃ（ピクセル）未満のときには、追随仮想キーボード８，９の表示サイズをＭサイズとする。尚、ここでは、ユーザＰの見かけの手のサイズは、ユーザＰの親指から各指までの距離によって決定するようにしている。

このようなサイズテーブルの参照によって、ユーザＰの見かけの手のサイズに対応した追随仮想キーボード８，９が選択可能となり、ユーザＰによる追随仮想キーボード８，９の操作性を向上させることができ、またその操作も容易である。尚、このようなフラッシュＲＯＭ１６は、後述するサイズ情報記憶手段２０４（図７参照）として機能する。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図７を参照して説明する。図７は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図７に示すように、このＨＭＤ１におけるＣＣＤカメラ４は、ユーザＰの視野範囲を撮像して画像データを生成し、制御部１０にその画像データを供給する撮像手段２０１として機能する。

また、このＨＭＤ１におけるＨＭＤ本体２は、表示手段２１０として機能する。この表示手段２１０は、外光Ｌａを透過しつつ、画像情報（表示情報）に応じた画像光をユーザＰの眼Ｙに投射してそのユーザＰに画像光に応じた画像を視認させる。

ＨＭＤ１における制御部１０は、後述のＣＰＵ１２が所定の情報処理プログラムを実行することによって、画像解析手段２０２、手検知手段２０３、仮想操作パネルサイズ選択手段２０５、仮想操作パネル位置決定手段２０６、表示決定手段２０７、選択用仮想操作パネル位置設定手段２０８、表示制御手段２０９、焦点設定手段２１１、操作判定手段２１３、操作対応制御手段２１４として機能することとなる。

画像解析手段２０２は、撮像手段２０１によって撮像された画像データを解析する。特に、画像解析手段２０２は、撮像手段２０１から出力される画像データを解析して、撮像手段２０１によって撮像された画像の輪郭検出、色検出などを行う。

手検知手段２０３は、画像解析手段２０２によって解析された結果に基づいて、ユーザＰの手を検知する。特に、この手検知手段２０３は、ユーザＰの手の位置に加えて、ユーザＰの手のサイズを検知する。

サイズ情報記憶手段２０４は、上述したフラッシュＲＯＭ１６が相当する。このサイズ情報記憶手段２０４には、ユーザＰの手のサイズと、そのユーザＰの手のサイズに応じて追随仮想キーボード８，９のサイズが対応付けられたサイズ情報であるサイズテーブル（図６参照）が記憶されている。

仮想操作パネルサイズ選択手段２０５は、手検知手段２０３によって検出されたユーザＰの手のサイズと、サイズ情報記憶手段２０４に記憶されたサイズ情報とに基づいて、そのユーザＰの手のサイズに対応して追随仮想キーボード８，９のサイズを選択する。

仮想操作パネル位置決定手段２０６は、手検知手段２０３によって検知されたユーザＰの手の位置に基づいて、表示手段２１０による表示領域のうち、表示手段２１０を透過してユーザＰに視認される手と関連した位置を、そのユーザＰの手の位置に追随する追随仮想キーボード８，９の表示位置として決定する。即ち、仮想操作パネル位置決定手段２０６は、ユーザＰに視認される追随仮想キーボード８，９がＨＭＤ本体２を介してユーザＰに視認されるユーザＰの手で操作できる位置を追随仮想キーボード８，９の表示位置として決定する。

特に、ユーザＰのサイズに応じて、ユーザＰが操作し易い追随仮想キーボード８，９のサイズも異なり、それに伴い追随仮想キーボード８，９の表示位置も適切に配置する必要があることから、仮想操作パネル位置決定手段２０６は、仮想操作パネルサイズ選択手段２０５によって選択された追随仮想キーボード８，９のサイズに基づいて、追随仮想キーボード８，９の表示位置を決定する。

また、仮想操作パネル位置決定手段２０６は、所定の動作（例えば、ユーザＰによるＫ／Ｂ固定追随キー８ａ，９ａの操作など）に応じて、追随仮想キーボード８，９の位置をユーザＰの手の位置に追随させずに固定させる。例えば、ユーザＰによりＫ／Ｂ固定追随キー８ａ，９ａが操作されて、追随仮想キーボード８，９が固定設定されているとき、仮想操作パネル位置決定手段２０６は、制御ボックス１５０に対して、追随仮想キーボード８，９の位置を変更した画像データを要求しない。

また、仮想操作パネル位置決定手段２０６は、重複する位置に複数の仮想操作パネル（例えば、仮想メニューバー７や追随仮想キーボード８，９などを含む）が設定されている場合には、その重複する複数の追随仮想キーボード８，９のうち、ユーザＰの手の位置に追随すると最新に選択された追随仮想キーボードを優先して、追随移動させる決定を行う。

表示決定手段２０７は、所定の動作（例えば、ユーザＰによるＫ／Ｂ表示キー７ａやＫ／Ｂ非表示キー８ｂ，９ｂへの操作など）に応じて、追随仮想キーボード８，９の表示を有効とするか無効とするかを決定する。ここで、追随仮想キーボード８，９の表示を有効にするとは、追随仮想キーボード８，９を表示領域６に表示することであり、追随仮想キーボード８，９の表示を無効にするとは、追随仮想キーボード８，９を表示領域６に表示しないことである。

選択用仮想操作パネル位置設定手段２０８は、複数の仮想操作パネルからユーザＰの手に追随させる追随仮想キーボード８，９を選択するための仮想メニューバー７（選択用仮想操作パネル）を表示領域６内の所定の表示位置（例えば、左側方など）に設定する。

表示制御手段２０９は、仮想操作パネル位置決定手段２０６により決定した表示位置に仮想操作パネル（仮想メニューバー７や追随仮想キーボード８，９）を表示手段２１０により表示させる制御を行う。また、表示制御手段２０９は、表示決定手段２０７によって有効に設定された追随仮想キーボード８，９を表示手段２１０により表示させる制御を行い、表示決定手段２０７によって無効に設定された追随仮想キーボード８，９を表示手段２１０により表示させない制御を行う。

焦点設定手段２１１は、表示決定手段２０７によって追随仮想キーボード８，９を有効に設定された場合には、撮像手段２０１による焦点距離を特定の焦点距離に設定する。尚、特定の焦点距離はユーザＰの手が存在する標準的な距離として予めフラッシュＲＯＭ１６に記憶されているが、ユーザＰによる操作で距離を設定することもできる。

タッチパネル５は、ユーザＰの手の接触を検知し、ユーザＰの指による動作を検知する。

操作判定手段２１３は、タッチパネル５によって検知された指の接触位置に基づいて、仮想操作パネルが操作されたか否かを判定する。

即ち、操作判定手段２１３は、タッチパネル５から出力される接触信号に基づいて、ユーザＰが操作された位置座標を判定する。更に、操作判定手段２１３は、その操作された位置座標が、仮想操作パネル（仮想メニューバー７や追随仮想キーボード８，９）上のキーの座標と一致するか否かによって、仮想操作パネルが操作されたか否かを判定する。このとき、基準位置に対する相対座標、あるいは基準位置を原点として操作された位置座標を判定すればよい。例えば、操作された位置座標が、追随仮想キーボード８，９上のＫ／Ｂ非表示キー８ｂの座標と一致するとき、Ｋ／Ｂ非表示キー８ｂが操作されたと判定することになる。

操作対応制御手段２１４は、操作判定手段２１３によって仮想操作パネルが操作されたと判定された場合には、その仮想操作パネルへの操作位置に対応する制御を行う。

例えば、仮想メニューバー７の表示キー７ａが操作されたとき、表示領域６に追随仮想キーボード８，９を表示する制御を行い、追随仮想キーボード８，９の非表示キー８ｂ，９ｂが操作されたとき、表示領域６から追随仮想キーボード８，９を消去する制御を行う。また、追随仮想キーボード８，９が追随設定されているときには、ユーザＰの手の位置に応じて表示領域６内で、追随設定されている追随仮想キーボード８，９を移動させる制御を行う。

本実施形態においては、追随仮想キーボード８，９の表示、移動、消去は、制御ボックス１５０へ要求を行うことによって行われる。即ち、操作対応制御手段２１４は、追随仮想キーボード８，９を表示した画像データ、追随仮想キーボード８，９の表示位置を移動した画像データ、追随仮想キーボード８，９を消去した画像データを制御ボックス１５０に要求し、この要求に応じて制御ボックス１５０から取得した画像データをＨＭＤ本体２で表示させる。追随仮想キーボード８，９の表示又は移動するとき、制御ボックス１５０は、追随仮想キーボード８，９を表示又は移動した画像をコンテンツの画像に合成した画像データをコントローラ３に送信する。尚、追随仮想キーボード８，９の画像は、コントローラ３内で制御ボックス１５０から取得した画像と合成するようにしてもよい。

［制御動作］
次に、図８から図１３のフローチャートを参照して、ＨＭＤ１の動作について説明する。図８から図１３は、ＨＭＤ１において実行される処理の動作を示すフローチャートである。特に、図８に示すメイン処理は、ＨＭＤ１の電源がオンされた際に、コントローラ３における制御部１０によって実行され、その実行によってコントローラ３の制御部１０が上記各手段として機能する。また、図１２に示すメイン処理は、制御ボックス１５０の所定のアプリケーション起動操作が行われてから制御部１６０によって実行され、その実行によって制御ボックス１５０の制御部１６０が上記各手段として機能する。尚、以下の説明においては、追随仮想キーボード８，９を代表して追随仮想キーボード８について主に説明する。

［メイン処理］
最初に、図８に示すように、ＨＭＤ１に電源が投入されると、制御部１０は、初期設定を行う（ステップＳ１０）。この処理において、制御部１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。この処理が終了した場合には、ステップＳ１１に処理を移す。

ステップＳ１１において、制御部１０は、制御ボックス１５０に画像データの要求を行う。そして、制御部１０は、制御ボックス１５０から画像データの入力があるか否かを判定する（ステップＳ１２）。

制御部１０は、制御ボックス１５０から画像データの入力があると判定すると（ステップＳ１２：ＹＥＳ）、ステップＳ１３に処理を移す。

一方、制御部１０は、制御ボックス１５０から画像データの入力がないと判定すると（ステップＳ１２：ＮＯ）、再度ステップＳ１２に処理を移し、映像入力があるまでステップＳ１２を繰り返し行うこととなる。

ステップＳ１３において、制御部１０は、制御ボックス１５０から入力された画像データを画像信号としてＨＭＤ本体２に出力する。制御ボックス１５０から入力される画像データは、初期設定されているコンテンツの最初の頁の画像と仮想メニューバー７の画像とが含まれる画像データである。これによって、ＨＭＤ本体２は、最初の頁の画像と仮想メニューバー７の画像とを含む画像をユーザＰに視認可能に表示する。この処理が終了した場合には、ステップＳ１４に処理を移す。尚、本実施形態において、このような処理を実行する制御部１０は、選択用仮想操作パネル位置設定手段２０８、表示制御手段２０９として機能する。

ステップＳ１４において、制御部１０は、新たな画像データの入力が制御ボックス１５０からあり、その画像データに基づく画像信号を出力するか否かを判定する。

制御部１０は、新たな画像データが制御ボックス１５０からあり、その画像データに基づく画像信号を出力すると判定すると（ステップＳ１４：ＹＥＳ）、制御ボックス１５０から入力された画像データを画像信号としてＨＭＤ本体２に出力し（ステップＳ１５）、ステップＳ１６に処理を移す。

一方、制御部１０は、新たな画像データが制御ボックス１５０からなく、その画像データに基づく画像信号を出力しないと判定すると（ステップＳ１４：ＮＯ）、ステップＳ１５を実行することなく、ステップＳ１６に処理を移す。

ステップＳ１６において、制御部１０は、カメラ画像が入力されたか否かを判定する。この処理において、制御部１０は、ＣＤＤカメラ４からの画像データが記憶されるＣＣＤカメラＶＲＡＭ２４から画像データを読み出し、画像データが更新されているか否かによって、カメラ画像入力されたか否かを判定する。

制御部１０は、カメラ画像が入力されたと判定すると（ステップＳ１６：ＹＥＳ）、詳しく図９から図１１を用いて後述するが、ＣＣＤカメラ４から入力された画像に基づく解析や、その解析結果に基づく制御等を行うカメラ受信画像処理を実行し（ステップＳ１７）、ステップＳ１８に処理を移す。

一方、制御部１０は、カメラ画像が入力されていないと判定すると（ステップＳ１６：ＮＯ）、ステップＳ１７を実行することなく、ステップＳ１８に処理を移す。

ステップＳ１８において、制御部１０は、ユーザＰによって追随仮想キーボード８の表示、移動、操作、消去などのアクションがあるか否かを判定する。例えば、制御部１０は、後述するステップＳ４２、ステップＳ６３において追随仮想キーボード８の表示設定が行われたときに「表示」のアクションがあったと判定する。また、制御部１０は、後述するステップＳ４６、ステップＳ６３で追随仮想キーボード８の移動設定が行われたときに「移動」のアクションがあったと判定する。また、制御部１０は、後述するステップＳ６４でキー入力出力が設定されたとき「操作」のアクションがあったと判定する。また、制御部１０は、後述するステップＳ３６で追随仮想キーボード８の消去が設定されたとき「消去」のアクションがあったと判定する。また、制御部１０は、後述するステップＳ６４、ステップＳ７２で操作入力キーの出力設定がされたとき「操作入力キーの操作」があったと判定する。

制御部１０は、アクションがあったと判定すると（ステップＳ１８：ＹＥＳ）、ステップＳ１９に処理を移す。一方、制御部１０は、アクションがなかったと判定すると（ステップＳ１８：ＮＯ）、再度、ステップＳ１４に処理を移す。

ステップＳ１９において、制御部１０は、画像判断出力処理を実行する。この処理において、制御部１０は、追随仮想キーボード８の表示、移動、操作、消去、固定などのアクションの内容を示す画像判断を制御ボックス１５０に出力する。この画像判断は、追随仮想キーボード８の表示はＫ／Ｂ表示要求として、追随仮想キーボード８の移動はＫ／Ｂ表示位置移動要求として、追随仮想キーボード８の消去はＫ／Ｂ表示消去要求として、追随仮想キーボード８の操作はキーボード操作情報として、制御ボックス１５０に出力される。この処理が終了した場合には、ステップＳ２０に処理を移す。

ステップＳ２０において、制御部１０は、電源オフであるか否かを判定する。この処理において、制御部１０は、電源スイッチの操作等に応じて、電源オフであるか否かを判定することとなる。制御部１０は、電源オフであると判定すると（ステップＳ２０：ＹＥＳ）、メイン処理を終了する。一方、制御部１０は、電源オフではないと判定すると（ステップＳ２０：ＮＯ）、再度、ステップＳ１４に処理を移す。これによって、制御部１０は、電源オフとなるまで、ステップＳ１４からステップＳ２０を繰り返し実行することとなる。

［カメラ受信画像処理］
図８のステップＳ１７において実行されるサブルーチンについて図９から図１１を用いて説明する。

最初に、図９に示すように、制御部１０は、ＣＣＤカメラＶＲＡＭ２４から画像データを読み出す（ステップＳ３１）。そして、制御部１０は、以前の画像データと同じであるか否かを比較し、その結果、画像データに変化があるか否かを判定する（ステップＳ３２）。この処理において、制御部１０は、画像データに変化があると判定すると（ステップＳ３２：ＹＥＳ）、ステップＳ３３に処理を移す。一方、制御部１０は、画像データに変化がないと判定すると（ステップＳ３２：ＮＯ）、図１０のステップＳ５１に処理を移す。

ステップＳ３３において、制御部１０は、変化した画像データの輪郭検出、色検出を行う。つまり、制御部１０は、ＣＣＤカメラ４による撮像領域にある画像を解析することとなる。

そして、制御部１０は、この輪郭検出、色検出の結果に基づいて、ユーザＰの手の輪郭を検知する処理を行う。例えば、制御部１０は、肌色の部分のみを抽出して、その外形から画像処理を行い、輪郭を検出する。そして、制御部１０は、画面内にユーザＰの手があるか否かを判定する（ステップＳ３４）。例えば、制御部１０は、検出した輪郭が所定範囲の大きさであり、その輪郭の形状が所定の形状（代表的な手の形状が予め登録されている）との相関性が高い、あるいは下方部に対して上方部が複数に枝分かれしているような形状となっているかを判断することでユーザＰの手があると判定できる。この処理において、制御部１０は、表示領域６内にユーザＰの手があると判定すると（ステップＳ３４：ＹＥＳ）、ステップＳ３７に処理を移す。一方、制御部１０は、表示領域６内にユーザＰの手がないと判定すると（ステップＳ３４：ＮＯ）、ステップＳ３５に処理を移す。

ステップＳ３５において、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８があるか否かを判定する。この処理において、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８があると判定した場合には（ステップＳ３５：ＹＥＳ）、ユーザＰの手が撮像範囲内になく、追随設定された追随仮想キーボード８が表示されているため、追随キーボードを消去し（ステップＳ３６）、本サブルーチンを終了する。

一方、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８がないと判定した場合には（ステップＳ３５：ＮＯ）、ユーザＰの手が撮像範囲内になく、追随設定された追随仮想キーボード８が表示されていないため、ステップＳ３６を実行することなく、本サブルーチンを終了する。

このように、制御部１０は、ユーザＰの手がＣＣＤカメラ４の撮像範囲内にない場合には、追随仮想キーボード８を消去することとなる。

一方、ステップＳ３７において、制御部１０は、ＨＭＤ本体２の表示領域６内に追随仮想キーボード８があるか否かを判定する。この処理においては、固定設定されているか追随設定されているかに拘わらず、ＨＭＤ本体２の表示領域６内に追随仮想キーボード８があるか否かが判定される。

この処理において、制御部１０は、ＨＭＤ本体２の表示領域６内に追随仮想キーボード８があると判定した場合には（ステップＳ３７：ＹＥＳ）、ステップＳ４３に処理を移す。一方、制御部１０は、ＨＭＤ本体２の表示領域６内に追随仮想キーボード８がないと判定した場合には（ステップＳ３７：ＮＯ）、ステップＳ３８に処理を移す。

ステップＳ３８において、制御部１０は、基準座標判定処理を実行する。この処理において、制御部１０は、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手における親指の位置を基準座標として判定し、その判定したユーザＰの基準座標（親指位置）を取得する（ステップＳ３９）。例えば、制御部１０は、検出したユーザＰの手の輪郭の上方部において、４つの枝分かれより下方で左右のどちらかにある枝分かれを親指と判断する。そして、制御部１０は、その親指位置における先端の座標を基準座標として取得する。この親指位置を基準座標とすることにより親指はタッチパネル５に接触したままに固定されるので、キー操作を行うためにユーザＰが他の指を動かしても、これらの指の動きには仮想パネルの表示位置が追随せず、安定した確実な操作を行うことができる。尚、親指が左右どちらかにあるかも検出されるので、キーは他の指がある側に表示される。もちろん。小指などの他の指を基準座標としてもよい。

特に、本実施形態において、制御部１０は、撮像された画像解析の結果に基づいて、ユーザＰの手を検知し、かつ、ユーザＰの親指を追随の基準位置として決定することとなる。

そして、制御部１０は、その基準座標から各指までの距離を取得し（ステップＳ４０）、更に、各指の先端座標を取得する（ステップＳ４１）。即ち、制御部１０は、検出した輪郭の上方部の枝分かれ部分の各先端を各指の先端と判断し、基準座標からの距離や座標を取得することができる。これによって、制御部１０は、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手を検知し、ユーザＰの手の位置に加えて、ユーザＰの手のサイズを検知する。例えば、制御部１０は、基準座標から各指までの距離のうち最大のものをユーザＰの見かけの手のサイズとしてもよい。また、制御部１０は、親指以外の指先の座標から最も離れた２つの座標の距離をユーザＰの見かけの手のサイズとしてもよい。このとき、制御部１０は、親指から、最も近い指までの距離も検出できるので、基準位置からこの距離だけ離れた位置にユーザＰの見かけの手のサイズに応じたサイズの追随仮想キーボード８を表示すればよい。

そして、制御部１０は、サイズテーブル（図６参照）を参照し、ユーザＰの手のサイズに基づいて、追随仮想キーボード８のサイズを決定する（ステップＳ４２）。そして、制御部１０は、ユーザＰの手に追随する追随仮想キーボード８の表示設定を行う。制御部１０は、図４に示すように、ユーザＰの親指位置を基準位置とし、ユーザＰの手の輪郭のうち、手首から最も遠い指先と手首までの範囲のうちの親指の先端を通る水平線から上の領域、即ち指のある領域に表示するのが望ましい。また、４つの指の根元、即ち輪郭が枝分かれする根元部分より上側に表示するようにしてもよい。

そして、制御部１０は、表示設定の結果、上述したステップ１９において、Ｋ／Ｂ表示要求を制御ボックス１５０に出力する。このＫ／Ｂ表示要求は、追随仮想キーボード８のサイズや、ユーザＰの親指の位置に対応する追随仮想キーボード８の座標位置などを含む。これによって、制御ボックス１５０において、追随仮想キーボード８を表示させる画像データが生成され、コントローラ３に出力される。

つまり、制御部１０は、ステップＳ４１において検出されたユーザＰの手のサイズと、フラッシュＲＯＭ１６に記憶されたサイズテーブルとに基づいて、そのユーザＰの手のサイズに対応して追随仮想キーボード８のサイズを選択することとなる。

また、制御部１０は、追随設定がされている追随仮想キーボード８を最上位に表示させ、優先して操作を検知することとなる。つまり、制御部１０は、重複する位置に複数の仮想操作パネル（仮想メニューバー７や追随仮想キーボード８，９）が設定されている場合には、それら重複する複数の仮想操作パネルのうち、ユーザＰの手の位置に追随すると最新に選択された追随仮想キーボードを優先して設定することとなる。この処理が終了した場合には、本サブルーチンを終了する。

一方、ステップＳ４３において、制御部１０は、追随設定された追随仮想キーボード８があるか否かを判定する。この処理において、制御部１０は、追随設定された追随仮想キーボード８があると判定した場合には（ステップＳ４３：ＹＥＳ）、ステップＳ４４に処理を移す。一方、制御部１０は、追随設定された追随仮想キーボード８がないと判定した場合には（ステップＳ４３：ＮＯ）、ステップＳ４４からステップＳ４６を実行することなく、本サブルーチンを終了する。

ステップＳ４４において、制御部１０は、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手における親指の位置を基準座標として判定し、その判定したユーザＰの基準座標（親指位置）を取得する（ステップＳ４５）。このように、制御部１０は、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手を検知し、ユーザＰの手の位置を検知する。

そして、制御部１０は、基準座標に基づき追随仮想キーボード８の追随移動の設定を行う（ステップＳ４６）。そして、制御部１０は、追随移動設定の結果、上述したステップ１９において、Ｋ／Ｂ表示位置移動要求を制御ボックス１５０に出力する。このＫ／Ｂ表示位置移動要求は、ユーザＰの親指の位置に対応する追随仮想キーボード８の座標位置などを含む。これによって、制御ボックス１５０において、追随仮想キーボード８をユーザＰの手に追随表示させる画像データが生成され、コントローラ３に出力される。

また、制御部１０は、追随設定がされている追随仮想キーボード８を最上位に表示させ、優先して操作を検知することとなる。つまり、制御部１０は、重複する位置に複数の仮想操作パネル（仮想メニューバー７や追随仮想キーボード８，９）が設定されている場合には、それら重複する複数の仮想操作パネルのうち、ユーザＰの手の位置に追随すると最新に選択された追随仮想キーボードを優先して設定することとなる。この処理が終了した場合には、本サブルーチンを終了する。

図１０のステップＳ５１において、制御部１０は、タッチパネル５によって検知されたユーザＰの指の接触位置情報が出力されたか否かを判定する。この処理において、制御部１０は、最初に接触された接触状態が保たれているユーザＰの手の基準位置とは異なる接触位置が検知されることによって、タッチパネル５によって検知されたユーザＰの指の接触位置情報が出力されたと判定することとなる。

尚、制御部１０は、追随仮想キーボードを操作する場合には、タッチパネル５によって最初に一箇所（ひとつのまとまり）の接触位置座標を検知したときに、この接触位置座標を親指の位置として検知し、その最初の接触状態が保たれている状態において二箇所目（ひとつのまとまり）の接触位置座標を検知した場合には、その接触位置座標に対応する位置が操作されたと認識することとなる。

つまり、制御部１０は、基準位置となるユーザの手の親指（特定部分）とは異なる第２の特定部分（例えば人差し指など）がタッチパネル５に接触した位置に基づいて、追随仮想キーボード８が操作されたか否かを判定することとなる。

制御部１０は、タッチパネル５によって検知されたユーザＰの指の接触位置情報が出力されたと判定すると（ステップＳ５１：ＹＥＳ）、ステップＳ５２に処理を移す。一方、制御部１０は、タッチパネル５によって検知されたユーザＰの指の接触位置情報が出力されていないと判定すると（ステップＳ５１：ＮＯ）、本サブルーチンを終了する。

そして、制御部１０は、上述した輪郭検出、色検出の結果に基づいて、ユーザＰの手の輪郭を検知し、表示領域６（画面）内にユーザＰの手があるか否かを判定する（ステップＳ５２）。この処理において、制御部１０は、表示領域６内にユーザＰの手があると判定すると（ステップＳ５２：ＹＥＳ）、ステップＳ５３に処理を移す。一方、制御部１０は、表示領域６内にユーザＰの手がないと判定すると（ステップＳ５２：ＮＯ）、本サブルーチンを終了する。

一方、ステップＳ５３において、制御部１０は、タッチパネル５によって検知されたユーザＰの指の接触位置座標（接触位置情報）を取得する。そして、制御部１０は、ユーザＰの手の基準位置となる基準座標に基づいて、タッチ位置座標を取得する（ステップＳ５４）。この処理において、制御部１０は、ユーザＰの手の基準位置と、取得した接触位置座標との位置関係から、接触位置座標に対応するタッチ位置座標を取得する。このタッチ位置座標は、ＨＭＤ本体２における表示領域６における座標であり、どの位置が操作されたか否かが認識可能となる。

そして、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８があるか否かを判定する（ステップＳ５６）。この処理において、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８があると判定した場合には（ステップＳ５６：ＹＥＳ）、図１１のステップＳ７１に処理を移す。一方、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８がないと判定した場合には（ステップＳ５６：ＮＯ）、ステップＳ５７に処理を移す。

ステップＳ５７において、制御部１０は、撮像したユーザＰの指の接触位置座標が仮想メニューバー７のＫ／Ｂ表示キー７ａの位置座標と一致するか否かを判定する。この処理において、制御部１０は、タッチパネル５によるユーザＰの指の接触位置座標に基づいて、仮想メニューバー７が操作されたか否かを判定する。この仮想メニューバー７は、複数の追随仮想キーボード８からユーザＰの手に追随させる追随仮想キーボードを選択するための選択用仮想操作パネルである。尚、ユーザＰがＫ／Ｂ表示キー７ａを操作するたびに、追随仮想キーボード８が増加することになる。尚、仮想メニューバー７は、仮想操作パネルのキーより十分大きく表示されており、仮想操作パネルの種類を選択する最初の操作を行うためだけなので、細かなキー操作を行う必要がなく、表示画面内に固定されていても操作性は損なわれない。また、この仮想メニューバー７は、追随しないので、タッチパネル５は単に接触したかどうかだけ検出すればよい。

この処理において、制御部１０は、タッチパネル５によるユーザＰの指の接触位置座標が仮想メニューバー７のＫ／Ｂ表示キー７ａの位置座標と一致すると判定すると（ステップＳ５７：ＹＥＳ）、ＣＣＤカメラ４の焦点距離をユーザＰの手が存在する標準的な距離に設定し、ステップＳ５９に処理を移す。一方、制御部１０は、撮像したユーザＰの指の位置座標が仮想メニューバー７のＫ／Ｂ表示キー７ａの位置座標と一致しないと判定すると（ステップＳ５７：ＮＯ）、ステップＳ５８に処理を移す。

ステップＳ５８において、制御部１０は、撮像されたユーザＰの手の位置座標が、固定設定されている追随仮想キーボード８の位置座標に近いか否かを判定する。つまり、制御部１０は、追随仮想キーボード８の位置が固定されている場合において、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手の位置がその追随仮想キーボード８の位置まで所定距離以内となったときには、追随仮想キーボード８の位置を、そのユーザＰの手の位置に追随する追随仮想キーボード８の表示位置として決定してもよい。このようにすることで、追随させる追随仮想キーボードの選択が容易となり、簡便である。

制御部１０は、撮像されたユーザＰの手の座標が、固定設定されている追随仮想キーボード８の位置座標と近いと判定すると（ステップＳ５８：ＹＥＳ）、ＣＣＤカメラ４の焦点距離をユーザＰの手が存在する標準的な距離に設定し、ステップＳ５９に処理を移す。一方、制御部１０は、撮像されたユーザＰの手の座標が、固定設定されている追随仮想キーボード８の位置座標と近くないと判定すると（ステップＳ５８：ＮＯ）、本サブルーチンを終了する。

ステップＳ５９において、制御部１０は、ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手における親指の位置を基準座標として判定し、その判定したユーザＰの基準座標（親指位置）を取得する（ステップＳ６０）。

尚、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８がある場合において、タッチパネル５によって三箇所（三つのまとまり）以上の接触位置座標を検知したときには、この親指以外の動作したユーザＰの指の操作を検知せず、タッチパネル５によって二箇所（二つのまとまり）の接触位置座標を検知したときには、親指と、この親指以外の動作したユーザＰの指の操作を検知することとなる。

そして、制御部１０は、その基準座標から各指までの距離を取得し（ステップＳ６１）、更に、各指の先端座標を取得する（ステップＳ６２）。これによって、制御部１０は、
ＣＣＤカメラ４から出力される画像データを解析した結果に基づいて、ユーザＰの手を検知し、ユーザＰの手の位置に加えて、ユーザＰの手のサイズを検知する。

そして、制御部１０は、サイズテーブル（図６参照）を参照し、ユーザＰの手のサイズに基づいて、追随仮想キーボード８のサイズを決定する（ステップＳ６２）。そして、制御部１０は、ユーザＰの手に追随する追随仮想キーボード８の表示設定を行う（ステップＳ６３）。制御部１０は、追随仮想キーボード８が表示されていないときには追随仮想キーボード８の表示を設定し、固定設定された追随仮想キーボード８が表示されるときには追随仮想キーボード８の移動を設定する。

そして、制御部１０は、表示設定の結果、上述したステップ１９において、Ｋ／Ｂ表示要求を制御ボックス１５０に出力する。このＫ／Ｂ表示要求は、追随仮想キーボード８のサイズや、ユーザＰの親指の位置に対応する追随仮想キーボード８の座標位置などを含む。これによって、制御ボックス１５０において、追随仮想キーボード８を表示させる画像データが生成され、コントローラ３に出力される。

つまり、制御部１０は、ステップＳ６２において検出されたユーザＰの手のサイズと、フラッシュＲＯＭ１６に記憶されたサイズテーブルとに基づいて、そのユーザＰの手のサイズに対応して追随仮想キーボード８のサイズを選択することとなる。

また、制御部１０は、Ｋ／Ｂ表示キー７ａが１回操作された場合には、前頁キー８ｃ、次頁キー８ｄが含まれる追随仮想キーボード８を表示させ、Ｋ／Ｂ表示キー７ａが２回操作された場合には、テンキー９ｅが含まれる追随仮想キーボード９を表示させるようにしてもよい。

また、制御部１０は、追随設定がされている追随仮想キーボード８を最上位に表示させ、優先して操作を検知することとなる。つまり、制御部１０は、重複する位置に複数の仮想操作パネル（仮想メニューバー７や追随仮想キーボード８，９）が設定されている場合には、それら重複する複数の仮想操作パネルのうち、ユーザＰの手の位置に追随すると最新に選択された追随仮想キーボードを優先して設定することとなる。この処理が終了した場合には、本サブルーチンを終了する。

図１１のステップＳ７１において、制御部１０は、タッチパネル５によるユーザＰの指の接触位置座標に基づいて、追随設定された追随仮想キーボード８の操作入力キー（例えば、前頁キー８ｃ、次頁キー８ｄなど）が選択されたか否かを判定する。

尚、制御部１０は、ＨＭＤ本体２の表示領域６内に追随設定された追随仮想キーボード８がある場合において、タッチパネル５によって三箇所（三つのまとまり）以上の接触位置座標を検知したときには、この親指以外の動作したユーザＰの指の操作を検知せず、タッチパネル５によって二箇所（二つのまとまり）の接触位置座標を検知したときには、親指と、この親指以外の動作したユーザＰの指の操作を検知することとなる。

制御部１０は、操作入力キーが選択されたと判定されると（ステップＳ７１：ＹＥＳ）、その操作入力キーを制御ボックス１５０に出力する設定を行い（ステップＳ７２）、本サブルーチンを終了する。一方、制御部１０は、操作入力キーが選択されていないと判定されると（ステップＳ７１：ＮＯ）、ステップＳ７３に処理を移す。

ステップＳ７３においては、制御部１０は、タッチパネル５によるユーザＰの指の接触位置座標に基づいて、追随可能な追随仮想キーボード８のうち、Ｋ／Ｂ非表示キー８ｂが選択されたか否かを判定する。制御部１０は、Ｋ／Ｂ非表示キー８ｂが選択されたと判定されると（ステップＳ７３：ＹＥＳ）、その選択されたＫ／Ｂ非表示キー８ｂがある追随仮想キーボード８を消去する設定を行う（ステップＳ７４）。

そして、制御部１０は、消去設定の結果、上述したステップ１９において、Ｋ／Ｂ表示消去要求を制御ボックス１５０に出力する。このＫ／Ｂ表示消去要求は、追随仮想キーボード８の表示を消去させる旨の情報などを含む。これによって、制御ボックス１５０において、追随仮想キーボード８の表示を消去させた画像データが生成され、コントローラ３に出力される。この処理が終了した場合には、本サブルーチンを終了する。

一方、制御部１０は、Ｋ／Ｂ非表示キー８ｂが選択されていないと判定されると（ステップＳ７３：ＮＯ）、ステップＳ７５に処理を移す。

ステップＳ７５においては、制御部１０は、タッチパネル５によるユーザＰの指の接触位置座標に基づいて、追随可能な追随仮想キーボード８のうち、Ｋ／Ｂ固定追随キー８ａが選択されたか否かを判定する。制御部１０は、Ｋ／Ｂ固定追随キー８ａが選択されたと判定されると（ステップＳ７５：ＹＥＳ）、今現在のユーザＰの手の基準座標に基づいて、その選択されたＫ／Ｂ固定追随キー８ａがある追随仮想キーボード８を固定させる設定を行い（ステップＳ７６）、本サブルーチンを終了する。一方、制御部１０は、Ｋ／Ｂ固定追随キー８ａが選択されていないと判定されると（ステップＳ７５：ＮＯ）、本サブルーチンを終了する。

このように、ユーザＰの手に追随して追随仮想キーボード８が移動することによって、追随仮想キーボード８の表示位置とユーザＰの操作位置とのずれを防止することができる。これによりユーザＰに対し、操作中に頭や手の固定を強いることなく、操作中の自然な頭や手の動きを許容し、かつ安定した、確実な操作を行うことができる。

また、ユーザＰによるＫ／Ｂ固定追随キー８ａへの操作といった所定の動作に応じて、追随仮想キーボード８の位置をユーザＰの手の位置に追随させずに固定させることができるので、不要となった追随仮想キーボード８を追随させず、固定させることによって、操作性を向上させることができ、簡便である。

また、ユーザＰによるＫ／Ｂ非表示キー８ｂへの操作といった所定の動作に応じて、追随仮想キーボード８の表示を有効とするか無効とするかを決定し、有効に設定された追随仮想キーボード８を表示させ、無効に設定された追随仮想キーボード８を表示させない。従って、不要となった追随仮想キーボード８を非表示とすることによって、視認性を向上させることができ、簡便である。

［アプリケーション］
制御ボックス１５０において実行されるアプリケーションについて図１２及び図１３を用いて説明する。

最初に、図１２に示すように、制御ボックス１５０の制御部１６０は、初期設定を行う（ステップＳ１０１）。この処理において、制御部１６０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。この処理が終了した場合には、ステップＳ１０２に処理を移す。

ステップＳ１０２において、制御部１６０は、通信Ｉ／Ｆコントローラ１７０を介して、コントローラ３から信号入力があるか否かを判定する。この処理において、制御部１６０は、画像の要求を示す信号や、アクションを示す信号などの信号入力がコントローラ３からあるか否かを判定することとなる。

制御部１６０は、信号入力があると判定すると（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３に処理を移す。一方、制御部１６０は、信号入力がないと判定すると（ステップＳ１０２：ＮＯ）、再度ステップＳ１０２に処理を移し、繰り返し信号入力があるか否かを判定することとなる。

ステップＳ１０３において、制御部１６０は、受信した信号入力が画像要求であるか否かを判定する。この処理において、制御部１６０は、受信した信号入力が画像要求であると判定すると（ステップＳ１０３：ＹＥＳ）、ステップＳ１０４に処理を移す。一方、制御部１６０は、受信した信号入力が画像要求ではないと判定すると（ステップＳ１０３：ＮＯ）、ステップＳ１０５に処理を移す。

ステップＳ１０４において、制御部１６０は、画像要求に応じた要求画像データを生成し、ＲＡＭ１６８にセットする。この処理が終了した場合には、図１３のステップＳ１１３に処理を移す。

ステップＳ１０５において、制御部１６０は、受信した信号入力がＫ／Ｂ表示要求であるか否かを判定する。この処理において、制御部１６０は、受信した信号入力がＫ／Ｂ表示要求であると判定すると（ステップＳ１０５：ＹＥＳ）、ステップＳ１０６に処理を移す。一方、制御部１６０は、受信した信号入力がＫ／Ｂ表示要求ではないと判定すると（ステップＳ１０５：ＮＯ）、ステップＳ１０７に処理を移す。

ステップＳ１０６において、制御部１６０は、Ｋ／Ｂ表示要求に含まれる位置情報に基づいて、追随仮想キーボード８をＨＭＤ本体２の表示領域６に表示させる位置を決定して、この決定した位置に追随仮想キーボード８が表示される画像データを生成し、ＲＡＭ１６８にセットする。この処理が終了した場合には、図１３のステップＳ１１３に処理を移す。

ステップＳ１０７において、制御部１６０は、受信した信号入力がＫ／Ｂ表示位置移動要求であるか否かを判定する。この処理において、制御部１６０は、受信した信号入力がＫ／Ｂ表示位置移動要求であると判定すると（ステップＳ１０７：ＹＥＳ）、ステップＳ１０８に処理を移す。一方、制御部１６０は、受信した信号入力がＫ／Ｂ表示位置移動要求ではないと判定すると（ステップＳ１０７：ＮＯ）、ステップＳ１０９に処理を移す。

ステップＳ１０８において、制御部１６０は、Ｋ／Ｂ表示位置移動要求に含まれる位置情報に基づいて、移動した追随仮想キーボード８をＨＭＤ本体２の表示領域６に表示させる位置を決定して、この決定した位置に追随仮想キーボード８が表示される画像データを生成し、ＲＡＭ１６８にセットする。この処理が終了した場合には、図１３のステップＳ１１３に処理を移す。

ステップＳ１０９において、制御部１６０は、受信した信号入力がＫ／Ｂ表示消去要求であるか否かを判定する。この処理において、制御部１６０は、受信した信号入力がＫ／Ｂ表示消去要求であると判定すると（ステップＳ１０９：ＹＥＳ）、ステップＳ１１０に処理を移す。一方、制御部１６０は、受信した信号入力がＫ／Ｂ表示消去要求ではないと判定すると（ステップＳ１０９：ＮＯ）、図１３のステップＳ１１１に処理を移す。

ステップＳ１１０において、制御部１６０は、ＨＭＤ本体２の表示領域６に追随仮想キーボード８を表示しない画像データを生成し、ＲＡＭ１６８にセットする。この処理が終了した場合には、図１３のステップＳ１１３に処理を移す。

図１３のステップＳ１１１において、制御部１６０は、受信した信号入力がＫ／Ｂ操作情報であると判定し、Ｋ／Ｂ操作情報に応じたコンテンツの画像データを生成し、ＲＡＭ１６８にセットする。制御部１６０は、例えば、Ｋ／Ｂ操作情報が次頁キー８ｄの操作情報であるときには、現在表示しているコンテンツ画像の次頁の画像データを生成し、Ｋ／Ｂ操作情報が前頁キー８ｃの操作情報であるときには、現在表示している画像の前頁の画像データを生成する。この処理が終了した場合には、ステップＳ１１２に処理を移す。

ステップＳ１１２において、制御部１６０は、上述したように生成され、ＲＡＭ１６８にセットされた画像データを通信Ｉ／Ｆコントローラ１７０を介してコントローラ３に出力する。この処理が終了した場合には、ステップＳ１１３に処理を移す。

ステップＳ１１３において、制御部１６０は、各種の操作等に応じて、アプリケーションが終了であるか否かを判定する。制御部１６０は、アプリケーションが終了であると判定すると（ステップＳ１１３：ＹＥＳ）、アプリケーションを終了する。一方、制御部１０は、アプリケーションが終了ではないと判定すると（ステップＳ１１３：ＮＯ）、再度、ステップＳ１０２に処理を移す。これによって、制御部１０は、アプリケーションが終了となるまで、ステップＳ１０１からステップＳ１１２を繰り返し実行することとなる。

このように、制御ボックス１５０における制御部１６０は、コントローラ３からの信号に応じた画像データを生成し、コントローラ３に出力することによって、ＨＭＤ本体２の表示領域６に表示させる画像を制御することとなる。

［その他の実施形態］
尚、上述した実施形態において、制御部１０は、タッチパネル５に拘わらず、撮像された画像の解析結果に基づいて、追随仮想キーボード８の追随移動を行ったが、これに限らず、例えば、タッチパネル５に、ユーザＰの手の基準位置（例えば、親指など）を接触させた状態で移動させることによって、追随仮想キーボード８の追随移動を行ってもよい。

この場合においては、ユーザＰの手の一部分を基準位置としているため、タッチパネル５に基準位置が接触した状態でユーザＰの手が移動した場合には、そのユーザＰの手に追随して追随仮想キーボード８を移動させることとなる。また、タッチパネル５から基準位置を一度離し、再度タッチパネル５に接触することによっても、そのユーザＰの手の基準位置に追随して追随仮想キーボード８を移動させることとなる。

また、上述した実施形態において、制御部１０は、撮像された画像解析の結果やタッチパネル５からの接触信号に基づいて、ユーザＰの手を検知し、更に、ユーザＰの親指がタッチパネル５に接触することによって、その接触した箇所を追随の基準位置として決定したが、これに限らず、例えば、タッチパネル５からの接触信号に拘わらず、撮像された画像解析の結果のみに基づいて、ユーザＰの手を検知してもよい。また、例えば、タッチパネル５からの接触信号に拘わらず、撮像された画像解析の結果のみに基づいて、追随の基準位置として決定してもよく、この場合には、制御部１０は、タッチパネル５に対してユーザＰの親指などで基準位置を指し示すことなく、ユーザＰの手の輪郭や色を検出し、そのユーザＰの手に追随するように追随仮想キーボード８を移動させることとなる。

また、上述した実施形態においては、ＣＣＤカメラ４の撮像範囲内にユーザＰの手が入ったら、追随設定された追随仮想キーボード８を表示させ、撮像範囲外にユーザＰの手が出たら、追随設定された追随仮想キーボード８を非表示させたが、これに限らず、例えば、撮像範囲外にユーザＰの手が出ても、所定期間（例えば、１分など）あるいはＫ／Ｂ非表示キー８ｂが操作されるまでは追随設定された追随仮想キーボード８を表示させてもよい。また、例えば、ＣＣＤカメラ４の撮像範囲外から撮像範囲内にユーザＰの手が入っても所定時間経過していなければ表示させなくてもよい。

また、追随仮想キーボード８の追随設定と固定設定は、固定設定された追随仮想キーボード８からユーザＰの手までの距離を計数し、その計数結果が所定範囲内である場合に、追随仮想キーボード８を固定設定から追随設定に設定変更したが、これに限らず、例えば、Ｋ／Ｂ固定追随キー８ａ近傍での選択操作に応じて、追随仮想キーボード８を固定設定から追随設定に設定変更してもよい。つまり、制御部１０は、タッチパネル５によって検知された指による動作に基づいて、追随仮想キーボード８の位置をユーザＰの手の位置に追随させる操作が行われたか否かを判定することとなる。

また、上述した実施形態において、追随仮想キーボード８を選択するための仮想メニューバー７を表示させるように設定したが、これに限らず、例えば、仮想メニューバー７を表示させず、追随仮想キーボード８を表示、選択するために別途物理的な操作部を設けるようにしてもよい。

また、上述した実施形態において、複数種類の追随仮想キーボード８を同時に表示可能としたが、これに限らず、例えば、一種類の追随仮想キーボードだけが一度に表示可能としてもよい。

また、上述した実施形態において、制御部１０は、ユーザＰの手のうち親指の位置を基準座標として、各指先までの距離を測定し、ユーザＰの手のサイズを認識したが、これに限らず、例えば、制御部１０は、各指のうちのある指（中指や小指）までの距離を測定し、ユーザＰの手のサイズを認識してもよい。また、例えば、制御部１０は、ユーザＰの手のうち手首等のある位置を基準座標として、各指までの距離を測定し、ユーザＰの手のサイズを認識してもよい。

また、上述した実施形態においては、ユーザＰの手のサイズと、サイズテーブルとに基づいて、追随仮想キーボード８のサイズを決定したが、これに限らず、例えば、ユーザＰの手のサイズに応じて追随仮想キーボード８のサイズを演算して導き出すようにしてもよい。また、追随仮想キーボード８の縦横比は固定であってもよく、設定に応じて変更可能にしてもよい。もちろん、追随仮想キーボード８のサイズを変更可能としなくてもよい。

また、上述した実施形態においては、ＨＭＤ本体２、コントローラ３、制御ボックス１５０を別々に構成したが、これに限らず、例えば、コントローラ３と制御ボックス１５０とを一体に構成してもよく、ＨＭＤ本体２とコントローラ３とを一体に構成してもよい。もちろん、それら全てを一体に構成してもよく、更に別体に構成してもよい。

本発明の一実施形態に係るＨＭＤを示す説明図である。 本発明の一実施形態に係るＨＭＤ本体を示す外観図である。 本発明の一実施形態に係るＨＭＤを示す説明図である。 本発明の一実施形態に係るＨＭＤの表示画面を示す説明図である。 本発明の一実施形態に係るＨＭＤの電気的構成を示す説明図である。 本発明の一実施形態に係るＨＭＤにおけるサイズテーブルを示す説明図である。 本発明の一実施形態に係るＨＭＤの機能構成を示す説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。

符号の説明

１ ＨＭＤ
４ ＣＣＤカメラ
５ タッチパネル
１０ 制御部

Claims (6)

1. 外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
   前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を解析する画像解析手段と、
   前記画像解析手段によって解析された結果に基づいて、ユーザの手を検知する手検知手段と、
   ユーザの手の接触を検知するタッチパネルと、
   前記手検知手段によって検知されたユーザの手の位置に基づいて、ユーザの手の特定部分を基準位置とし、前記表示手段による表示領域のうち、前記表示手段を透過して前記ユーザに視認される手と関連し、当該基準位置と常に所定の位置関係となる位置を、当該ユーザの手の位置に追随する仮想操作パネルの表示位置として決定する仮想操作パネル位置決定手段と、
   前記仮想操作パネル位置決定手段により決定した表示位置に仮想操作パネルを前記表示手段により表示させる制御を行う表示制御手段と、
   前記タッチパネルによって検知されたユーザの指の接触位置に基づいて、前記仮想操作パネルが操作されたか否かを判定する操作判定手段と、
   前記操作判定手段によって前記仮想操作パネルが操作されたと判定された場合には、当該仮想操作パネルへの操作位置に対応する制御を行う操作対応制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記操作判定手段は、前記基準位置となるユーザの手の特定部分とは異なる第２の特定部分が前記タッチパネルに接触した位置に基づいて、前記仮想操作パネルが操作されたか否かを判定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記手検知手段は、前記ユーザの手の位置に加えて、ユーザの手のサイズを検知し、
   前記手検知手段によって検出された前記ユーザの手のサイズに基づいて、仮想操作パネルのサイズを選択する仮想操作パネルサイズ選択手段を備え、
   前記仮想操作パネル位置決定手段は、前記仮想操作パネルサイズ選択手段によって選択された仮想操作パネルのサイズに基づいて、前記仮想操作パネルの表示位置を決定することを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
4. ユーザの手のサイズと、当該ユーザの手のサイズに応じた仮想操作パネルのサイズが対応付けられたサイズ情報が記憶されたサイズ情報記憶手段を備え、
   前記仮想操作パネルサイズ選択手段は、前記手検知手段によって検出された前記ユーザの手のサイズと、前記サイズ情報記憶手段に記憶されたサイズ情報とに基づいて、当該ユーザの手のサイズに対応して仮想操作パネルのサイズを選択することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 複数の前記仮想操作パネルから前記ユーザの手に追随させる仮想操作パネルを選択するための選択用仮想操作パネルを所定の表示位置に設定する選択用仮想操作パネル位置設定手段を備え、
   前記表示制御手段は、前記選択用仮想操作パネルを前記表示手段により表示させる制御を行うことを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記仮想操作パネル位置決定手段は、重複する位置に複数の仮想操作パネルが設定されている場合には、当該重複する複数の仮想操作パネルのうち、ユーザの手の位置に追随すると最新に選択された仮想操作パネルを優先して設定することを特徴とする請求項５に記載のヘッドマウントディスプレイ。

Images