JP2009104428A - ヘッドマウントディスプレイ装置及び携帯装置 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイ装置を使用しているときのキーボードの操作を容易にする。
【解決手段】キーボード配列表示部１２に表示されたキーボード像５０と手元像取得部１３で取得された操作検出用グローブ部２０の像とをハーフミラーＭ１で合成し、合成像を得る。合成像をハーフミラーＭ４で分岐させる。ハーフミラーＭ４で反射された合成像をビデオカメラ部１４で撮像し、画像信号に応じた電圧信号をコントローラ部３０へ送信する。ハーフミラーＭ４を透過した合成像をハーフミラーＭ５で分岐させ、使用者Ｍの右目ＥＲ及び左目ＥＬに導く。コントローラ部３０では画像入力部３２に入力した画像信号と加速度検出部３４に入力した操作検出用グローブ部２０の指先の加速度である加速度信号とに基づいて打鍵されたキーを判定する。
【選択図】図２

Description

この発明はヘッドマウントディスプレイ装置及び携帯装置に関する。

従来、頭部に装着されるヘッドマウントディスプレイ装置と携帯可能なコンピュータ本体とを有するウエアラブルコンピュータ（携帯装置）が知られている（下記特許文献参照）。
特開２０００−２９６２１号公報

上記ヘッドマウントディスプレイ装置を頭部に装着しているとき、周囲が見渡し難く、キーボード操作等を行ない難いという問題がある。特に、ゴーグル型としたヘッドマウントディスプレイ装置の使用中にこの問題が顕著となる。

この発明はこのような事情に鑑みてなされたもので、その課題はヘッドマウントディスプレイ装置を使用しているときのキーボードの操作を容易にすることである。

上記課題を解決するため請求項１記載の発明は、使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、キーボード画像を表示するキーボード像表示手段と、前記使用者の手元の像と前記キーボード画像とを撮像する撮像手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載のヘッドマウントディスプレイ装置において、前記使用者の手元の像を取得する手元像取得手段と、前記キーボード画像と前記手元の像とを合成する合成手段とを備えていることを特徴とする。

請求項３記載の発明は、請求項１又は２記載のヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置を制御する制御部と、前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、前記制御部は、前記撮像手段で撮像した画像を前記表示手段に表示する表示制御手段と、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段とを有することを特徴とする。

請求項４記載の発明は、請求項３記載の携帯装置において、前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする。

請求項５記載の発明は、請求項３又は４記載の携帯装置において、前記表示制御手段は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする。

この発明によれば、ヘッドマウントディスプレイ装置を使用しているときのキーボードの操作を容易にすることができる。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明に係る携帯装置の使用方法を説明する図である。

図１は使用者Ｍが携帯装置１を装着した状態を示す。コントローラ部（制御部）３０が例えばベルト（図示せず）を用いて使用者Ｍの腰に装着され、ヘッドマウントディスプレイ装置１０が使用者Ｍの頭部に装着され、操作検出用グローブ部２０がキーボード（手元）観察領域Ｒ２に置かれた手（図示せず）にはめられている。

ヘッドマウントディスプレイ装置１０は眼鏡型である。フレーム部４１とテンプル部４２とは一体に形成されている。なお、眼鏡型の他にゴーグル型がある。

操作検出用グローブ部２０には指先検出用のＬＥＤ（マーキング手段）２１が装着されている。

ヘッドマウントディスプレイ装置１０とコントローラ部３０とは伝送ケーブルＣＡ１で接続されている。また、操作検出用グローブ部２０とコントローラ部３０とは伝送ケーブルＣＡ２で接続されている。なお、コントローラ部３０とヘッドマウントディスプレイ装置１０とを伝送ケーブルＣＡ１で接続する代わりに、無線でコントローラ部３０とヘッドマウントディスプレイ装置１０との間で信号の送受信を行わせるようにしてもよい。

図２はこの発明の一実施形態に係る携帯装置のブロック図である。

携帯装置１はヘッドマウントディスプレイ装置１０と操作検出用グローブ部２０とコントローラ部３０とを備えている。

ヘッドマウントディスプレイ装置１０は、ディスプレイ部（表示手段）１１Ａ，１１Ｂとキーボード配列表示部（キーボード像表示手段）１２と手元像取得部（手元像取得手段）１３とハーフミラー（合成手段）Ｍ１と全反射ミラーＭ２，Ｍ３とハーフミラーＭ４，Ｍ５とミラー部Ｍ６Ａ，Ｍ６Ｂとビデオカメラ部（撮像手段）１４とを有する。ディスプレイ部１１Ａ，１１Ｂ、キーボード配列表示部１２、ハーフミラーＭ１、全反射ミラーＭ２，Ｍ３、ハーフミラーＭ４，Ｍ５、ミラー部Ｍ６Ａ，Ｍ６Ｂ及びビデオカメラ部１４は眼鏡型のヘッドマウントディスプレイ装置１０のフレーム部４１（図１参照）に支持されている。手元像取得部１３は例えばフレーム部４１に形成された開口である。

ディスプレイ部１１Ａ，１１Ｂは例えば液晶表示素子であり、使用者Ｍの眼ＥＲ，ＥＬの前に配置される。

キーボード配列表示部１２はキーボード像５０（図３参照）を表示する。キーボード配列表示部１２は例えば液晶表示素子で構成されたり、キーボード像５０が蒸着された透明フィルムと光源とで構成されたりする。キーボード配列表示部１２をキーボード像５０と透明フィルムで構成した場合、透明フィルムを光源とハーフミラーＭ５との間の光路上に配置してもよい。

手元像取得部１３は操作検出用グローブ部２０（使用者Ｍの手元）の像を取得するための開口である。

ハーフミラーＭ１は全反射ミラーＭ２で反射されたキーボード像５０と手元像取得部１３で取得された操作検出用グローブ部２０の像とを合成し、合成像を得る。

ハーフミラーＭ４は合成像を分岐させる。

ビデオカメラ部１４はハーフミラーＭ４で反射された合成像を撮像し、画像信号に応じた電圧信号をコントローラ部３０へ送信する。

ハーフミラーＭ４を透過した合成像はハーフミラーＭ５で分岐される。ハーフミラーＭ５を透過した合成像はミラー部Ｍ６Ａの下部に形成された穴（図示せず）を介して使用者Ｍの右目ＥＲに達する。

ハーフミラーＭ５で反射された合成像は全反射ミラーＭ３で反射され、ミラー部Ｍ６Ｂの下部に形成された穴（図示せず）を介して使用者Ｍの左目ＥＬに達する。ミラー部Ｍ６Ａ，Ｍ６Ｂの穴は合成像を透過できる大きさである。

なお、合成像を透過できるものであれば穴に限るものではなく、例えばハーフミラーであってもよい。

ミラー部Ｍ６Ａ，Ｍ６Ｂはディスプレイ部１１Ａ，１１Ｂ上に表示された画像を反射させて例えば使用者Ｍの眼ＥＲ，ＥＬの前６０ｃｍの空間位置の仮想スクリーン上に拡大された虚像を結像させる。合成像とディスプレイ部１１Ａ，１１Ｂの画像とが使用者Ｍによって同時に観察される。その結果、使用者Ｍはディスプレイ表示領域Ｒ１内のキーボード像５０及び操作検出用グローブ部２０の像とを見ながら入力操作することができる（図３参照）。

操作検出用グローブ部２０はグローブ部本体ＨとＬＥＤ２１と加速度検出センサ（検出部）２２とを有する。なお、マーキング手段としては反射率の高い反射板等を指先に取り付けるようにしてもよい。

ＬＥＤ２１はヘッドマウントディスプレイ装置１０を装着した状態で観察可能な位置、例えばグローブ部本体Ｈのそれぞれの指の指先から第１関節の間にそれぞれ装着される。

加速度検出センサ２２は指先の加速度を検知し易いようにグローブ部本体Ｈの指先に近い部分に装着される。加速度検出センサ２２は指先の加速度を検出し、加速度に応じた電圧信号をコントローラ部３０へ出力する。

コントローラ部３０は画像入力部３２と画像出力部３３と加速度検出部３４とＣＰＵ（キー特定手段、表示制御手段）３１とを有する。

ＣＰＵ３１はインタフェースである画像入力部３２を介してビデオカメラ１４に接続されている。画像入力部３２は電圧信号をデジタル信号に変換し、画像信号としてＣＰＵ３１に供給する。

ＣＰＵ３１はインタフェースである画像出力部３３を介してディスプレイ部１１Ａ，１１Ｂに接続されている。画像出力部３３はＣＰＵ３１で生成された画像信号をアナログ信号に変換し、ディスプレイ部１１Ａ，１１Ｂに供給する。

ＣＰＵ３１はインタフェースである加速度検出部３４を介して加速度検出センサ２２に接続されている。加速度検出部３４は電圧信号をデジタル変換し、加速度信号としてＣＰＵ３１に供給する。

ＣＰＵ３１は画像入力部３２に入力した画像信号と加速度検出部３４に入力した加速度信号とに基づいて打鍵されたキー５０ａを判定し、画像を生成する。このとき、ＣＰＵ３１はキー特定手段として機能する。また、ＣＰＵ３１はヘッドマウントディスプレイ装置１０の全体動作を制御する。例えば、ＣＰＵ３１に外部記憶媒体である例えばフラッシュメモリから情報を取り込み、ディスプレイ部１１Ａ，１１Ｂへの使用者からの操作情報を入力したり、画像を再生してディスプレイ部１１Ａ，１１Ｂへ表示させる。

なお、上記実施形態では、複眼視のヘッドマウントディスプレイ装置で説明したが、単眼視のヘッドマウントディスプレイ装置でもよいことはもちろんである。

図３はヘッドマウントディスプレイ装置の表示の一例を示す図である。

ディスプレイ部１１Ａ，１１Ｂにはディスプレイ表示領域Ｒ１内にキーボード（手元）観察領域Ｒ２が配置されている。ＣＰＵ３１の表示制御手段としての機能によって、指が掛かっていると認識された箇所の枠線５０ｂを太線としている。なお、指が掛かっていると認識される箇所の枠線５０ｂや枠内に色（例えばオレンジ色）を付けたり、指が押していると認識されたキーの枠線５０ｂの太さや枠内の色（例えば赤色）を変更したりしてもよい。また、キーボード配列表示部１２が液晶表示素子等で表示可能な場合、上記枠線５０ｂをキーボード配列表示部１２側で行ってもよい。

図４はヘッドマウントディスプレイ装置の表示の他の例を示す図である。

ディスプレイ部１１にはディスプレイ表示領域Ｒ１とキーボード像・手元表示領域Ｒ２とが所定の間隔をおいて上下方向に配置されている。この場合も、ＣＰＵ３１の表示制御手段としての機能によって、指が掛かっていると認識された箇所の枠線５０ｂを太線としたり、指が掛かっていると認識される箇所の枠線５０ｂや枠内に色（例えばオレンジ色）を付けたり、指が押していると認識されたキーの枠線５０ｂの太さや枠内の色（例えば赤色）を変更したりしてもよい。なお、ディスプレイ表示領域Ｒ１とキーボード（手元）観察領域Ｒ２とを図４に示すように間隔をあけて上下に配置してもよいし、上下に配置しなくてもよい。このようにすることで、キーボード（手元）観察領域Ｒ２がディスプレイ表示領域Ｒ１に重ならないので、ディスプレイ表示領域Ｒ１を図３に示した場合より広くできる。

この実施形態によれば、使用者Ｍはディスプレイ表示領域Ｒ１内のキーボード像５０及び操作検出用グローブ部２０を見ながら入力操作することができるため、周辺が見渡し難いヘッドマウントディスプレイ装置１０を使用しているとき、容易にキーボード操作を行うことができる。

なお、ビデオカメラ１４で取得した手（操作検出用グローブ部２０）の動きに基づいて、キーボード像５０と操作検出用グローブ部２０の像とをＧＵＩを用いてグラフィック表示する方法もあるが、画像生成のためにＣＰＵ３１の負荷が大きくなり、操作状況の確認にタイムラグが発生し、手元の周辺を確認できないことから周囲に置かれたものに手をぶつける等の事故を起こす可能性がある。

また、ミラー部Ｍ６ＡとハーフミラーＭ５との間及びミラー部Ｍ６ＢとハーフミラーＭ３との間の光路にシャッタ（図示せず）等を配置し、キーボード像５０を使用しないときにはキーボード像が見えないようにしてもよい。

更に、使用者Ｍの指の動きでマウスのような操作を行なえるようにしてもよい。例えば、操作検出用グローブ部２０の指先を上下左右に動かしたときディスプレイ部１１Ａ，１１Ｂの表示がスクロールし、指先を右方向へ回転させたとき表示が拡大し、指先を左方向へ回転させたとき表示が縮小する等である。

また、加速度検出センサ２２が装着された操作検出用グローブ部２０の指先で机を押したときの衝撃時の加速度を検出する代わりに動きの大きい指によって押されたキー５０ａを打鍵されたキー５０ａとして検出するようにしてもよい。これにより、指先で机を押すことなく空中で指を動かすだけでキー入力を行うことができる。なお、指の上下方向の振幅は使用者Ｍによって異なるため、予め（初回使用時）使用者Ｍの指の動きをデータとして取得しておけばよい。

更に、指先の認識方法は上記実施形態の方法に限られるものではなく、例えばステレオカメラを利用して指の水平方向および垂直方向の動きを検出することによって押されたキーを特定するようにしてもよい。このようにすれば、加速度検出センサ２２を不要にできるので、操作検出用グローブ部２０を用いる代わりに両手の１０本の指にそれぞれＬＥＤ２１を装着した指輪を用いることができる。なお、コントローラ部３０に加速度に応じた電圧信号を送信するための送信する送信手段は有線であっても無線であってもよい。

図１はこの発明に係る携帯装置の使用方法を説明する図である。 図２はこの発明の一実施形態に係る携帯装置のブロック図である。 図３はヘッドマウントディスプレイ装置の表示の一例を示す図である。 図４はヘッドマウントディスプレイ装置の表示の他の例を示す図である。

符号の説明

１０：ヘッドマウントディスプレイ装置、１１Ａ，１１Ｂ：ディスプレイ部（表示手段）、１２：キーボード配列表示部（キーボード像表示手段）、１３：手元像取得部（手元像取得手段）、１４：ビデオカメラ部（撮像手段）、２１：ＬＥＤ（マーキング手段）、２２：加速度検出センサ（検出部）、３０：コントローラ部（制御部）、３１：ＣＰＵ（キー特定手段、表示制御手段）、５０：キーボード像、５０ａ：キー、Ｍ：使用者。

Claims (5)

1. 使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、
   キーボード画像を表示するキーボード像表示手段と、
   前記使用者の手元の像と前記キーボード画像とを撮像する撮像手段と
   を備えていることを特徴とするヘッドマウントディスプレイ装置。
2. 前記使用者の手元の像を取得する手元像取得手段と、
   前記キーボード画像と前記手元の像とを合成する合成手段と
   を備えていることを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
3. 請求項１又は２記載のヘッドマウントディスプレイ装置と、
   前記ヘッドマウントディスプレイ装置を制御する制御部と、
   前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、
   前記制御部は、前記撮像手段で撮像した画像を前記表示手段に表示する表示制御手段と、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段とを有する
   ことを特徴とする携帯装置。
4. 前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする請求項３記載の携帯装置。
5. 前記表示制御手段は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする請求項３又は４記載の携帯装置。

Images