JP2013114375A - 表示システム、及び操作入力方法 - Google Patents

Abstract

【課題】操作性及び携帯性が高い表示システム、及び操作入力方法を提供する。
【解決手段】表示システムは、予め定められた物体に接触した指示体の位置を検出するセンサーユニット４００と、物体にキー配置を定め、キー配置と指示体の位置との相対位置に基づいて、指示体により操作されたキーを認識する制御装置２００と、操作されたキーによる操作入力を受け付ける表示装置１００とを備える。
【選択図】図１

Description

本発明は、表示システム、及び操作入力方法に関する。

特許文献１に開示されているヘッドマウントディスプレイ（表示システム）には、入力装置として、ハードウェアキーボードが装備されている。

特開２０００−１７２３７１号公報

しかしながら、大きさ、重さ、及び持ち運び易さ等の点で、ハードウェアキーボードには携帯性に難点がある。また、スマートフォン、携帯電話等の携帯端末（表示システム）には、入力装置として、タッチパネル又は専用キーが装備されている。しかしながら、携帯端末であるがゆえに、タッチパネル及び専用キーには難点がある。すなわち、操作性を高くするには入力装置は適度に大きくなければならず、一方、携帯性を高くするには入力装置は適度に小さくなければならないという問題がある。

本発明は、前記の点に鑑みてなされたものであり、操作性及び携帯性が高い表示システム、及び操作入力方法を提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、予め定められた物体に接触した指示体の位置を検出するセンサーユニットと、前記物体にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置と、ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置と、を備えることを特徴とする表示システムである。

この構成により、制御装置は、物体にキー配置を定め、キー配置と指示体の位置との相対位置に基づいて、指示体により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。

また、本発明は、前記表示装置が、画像取り出しエリアを有する画像取り出し部を備え、前記画像取り出し部が、前記画像取り出しエリアに所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させることを特徴とする表示システムである。
これにより、ユーザーは、物体の光学像を画像取り出しエリアに見ることができる。

また、本発明は、前記表示装置が、前記画像取り出しエリアを透過した前記物体の光学像に、前記物体と自装置との相対位置に基づいて、前記所定画像光による前記キー配置を示すキー画像を重ねて表示することを特徴とする表示システムである。
これにより、ユーザーは、表示されたキー画像によりキー配置を確認しながら、操作入力することができる。

また、本発明は、前記表示装置が、前記キー配置を示すキー画像と重ならないよう、他の画像を前記画像取り出しエリアに表示することを特徴とする表示システムである。
これにより、表示装置は、ユーザーが頭を動かした場合でも、表示画像（操作入力画像）とキー画像が重ならないようにすることができる。

また、本発明は、前記表示装置が、前記キー配置を示すキー画像の大きさを調整して表示することを特徴とする表示システムである。
これにより、表示装置は、表示画像（操作入力画像）とキー画像とが重ならないように、見やすい表示にすることができる。

また、本発明は、前記制御装置が、前記物体に予め接触した前記指示体の位置に基づいて、前記キー配置を定めることを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体に、適切な大きさのキー配置を定めることができる。

また、本発明は、前記制御装置が、ユーザーによる選択に基づいて、前記キー配置を定めることを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体に定めるキー配置を選択することができる。

また、本発明は、前記センサーユニットが、赤外線及び超音波の少なくとも一方を前記指示体に投射し、前記指示体からの反射に基づいて前記指示体の位置を検出することを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体をタイピングする指により、操作入力することができる。

また、本発明は、前記センサーユニットが、前記指示体を撮像し、撮像した前記指示体の画像に基づいて、前記指示体の位置を検出することを特徴とする表示システムである。
これにより、センサーユニットは、画像に基づいて、指示体の位置を検出することができる。

また、本発明は、前記表示装置が、前記所定画像光を出力する画像出力部と、前記画像出力部が出力した前記所定画像光を投射する投射光学系と、前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、を備えることを特徴とする表示システムである。
この構成により、表示装置が、前記操作入力を受け付ける。これにより、表示装置を頭部に装着したユーザーは、入力装置にする物体に対して、指示体により操作入力することができる。

また、本発明は、表示システムにおける操作入力方法であって、制御装置が、予め定められた物体にキー配置を定めるステップと、センサーユニットが、前記物体に接触したユーザーの指の位置を検出するステップと、制御装置が、前記キー配置と前記指の位置との相対位置に基づいて、前記指により操作されたキーを認識するステップと、ユーザーの頭部に装着可能である表示装置が、前記操作されたキーによる操作入力を受け付けるステップと、を有することを特徴とする操作入力方法である。

この方法により、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。

本発明によれば、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、操作性及び携帯性を高くすることができる。

本発明の一実施形態における、表示システムの構成例を示すブロック図である。 本発明の一実施形態における、表示装置及び制御装置の外観図である。 本発明の一実施形態における、表示装置の構成例を示す平面図である。 本発明の一実施形態における、センサーユニットの外観図である。 本発明の一実施形態における、入力装置にする物体を認識する場合の表示例である。 本発明の一実施形態における、どのような種類の入力装置としてキーボード体を使用するかを選択させるための表示例である。 本発明の一実施形態における、センサーユニットが取り付けられた、キーボード体の外観図である。 本発明の一実施形態における、キーボード体の位置合わせをするための表示例である。 本発明の一実施形態における、キーボード体の光学像にキー画像を重畳した場合の表示例である。

本発明の一実施形態について図面を参照して詳細に説明する。図１には、表示システムの構成例が、ブロック図により示されている。また、図２には、表示装置及び制御装置の外観図が示されている。表示システムは、表示装置１００（シースルータイプ・ヘッドマウントディスプレイ、透過型表示装置）と、制御装置２００（コントローラー）と、センサーユニット４００とを備える。

ユーザーは、表示装置１００（眼鏡型）を頭部に装着することにより、表示装置１００の画像取り出し部の画像取り出しエリアに表示（提示）された所定画像（例えば、メニュー画像、アイコン画像）を見ることができる。表示装置１００の画像取り出し部の画像取り出しエリアは、入射光の少なくとも一部が透過するように構成されている。これにより、ユーザーは、表示装置１００を頭部に装着したまま、表示装置１００の画像取り出し部の画像取り出しエリアを通して制御装置２００を見ることができる。つまり、ユーザーは、入射光による光学像と、表示された所定画像とを同時に観察可能である。

まず、表示装置の構成例を説明する。
表示装置１００は、左眼用画像出力部１１０Ａと、右眼用画像出力部１１０Ｂと、センサー１２０とを備える。左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、画像取り出し部２１Ａとを備える。左眼用画像形成部１０Ａは、装着時にユーザーの頭部左側に位置するよう、表示装置１００の左側テンプル部に備えられる。左眼用画像形成部１０Ａには、制御装置２００から画像信号が入力される。左眼用画像形成部１０Ａは、ユーザーの左眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ａの画像取り出しエリアに出力する。

画像取り出し部２１Ａの画像取り出しエリアには、ユーザーの左眼用に所定画像が表示される。画像取り出し部２１Ａは、装着時にユーザーの左眼前に位置するよう、表示装置１００の左側リム部に備えられる。画像取り出し部２１Ａの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの左眼には、入射光による光学像が導かれる。

右眼用画像出力部１１０Ｂは、右眼用画像形成部１０Ｂと、画像取り出し部２１Ｂとを備える。右眼用画像形成部１０Ｂは、装着時にユーザーの頭部右側に位置するよう、表示装置１００の右側テンプル部に備えられる。右眼用画像形成部１０Ｂには、制御装置２００から画像信号が入力される。右眼用画像形成部１０Ｂは、ユーザーの右眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ｂの画像取り出しエリアに出力する。

画像取り出し部２１Ｂの画像取り出しエリアには、ユーザーの右眼用に所定画像が表示される。画像取り出し部２１Ｂは、装着時にユーザーの右眼前に位置するよう、表示装置１００の右側リム部に備えられる。画像取り出し部２１Ｂの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの右眼には、入射光による光学像が導かれる。

図３には、表示装置の構成例が、平面図により示されている。左眼用画像出力部１１０Ａと右眼用画像出力部１１０Ｂとは互いに左右対称の構成を有するため、ここでは、左眼用画像出力部１１０Ａの構成例についてのみ説明する。

左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、左眼用導光部２０Ａとを備える。左眼用画像形成部１０Ａは、画像生成部１１Ａと、投射光学系１２Ａ（投射レンズ）とを有する。画像生成部１１Ａは、発光色毎の光源（例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ））と、光変調素子（例えば、液晶表示デバイス）とを備える。

画像生成部１１Ａには、制御装置２００から画像信号が入力される。画像生成部１１Ａは、光源から射出された赤色光、緑色光及び青色光を光学系により拡散させて、光変調素子に投射する。光変調素子は、制御装置２００から入力された画像信号に応じて、赤色光、緑色光及び青色光を空間変調することにより、画像信号に応じた画像光を射出する。投射光学系１２は、光変調素子から射出された画像光を、平行な状態の光束にする。

左眼用導光部２０Ａは、投射光学系１２により平行な状態の光束となった画像光を、左眼用導光部２０Ａが有する画像取り出し部２１Ａ（例えば、三角プリズム）の面に形成されている画像取り出しエリアに投射する。ここで、画像取り出し部２１Ａの面の表裏のうち、装着時にユーザーの左眼３１０Ａに向く側（画像取り出しエリア）には、ミラー層等の反射コーティングが施されている。画像取り出し部２１Ａの画像取り出しエリアに投射された画像光は、この反射コーティングされた面により、ユーザーの左眼３１０Ａに向けて全反射される。これにより、画像取り出し部２１Ａの画像取り出しエリア上には、所定画像（例えば、メニュー画像、キー画像）が表示される。一方、画像取り出し部２１Ａの画像取り出しエリアに外界から入射する光の少なくとも一部は、画像取り出し部２１Ａの画像取り出しエリアを透過し、ユーザーの左眼３１０Ａに導かれる。これにより、ユーザーには、左眼用画像形成部１０Ａにより形成された所定画像と、入射光による光学像とが画像取り出し部２１Ａの画像取り出しエリア上に重畳されて見える。

図１及び図２に戻り、表示システムの構成例及び外観の説明を続ける。以下、画像取り出し部２１Ａと画像取り出し部２１Ｂとに共通する事項については、符号のローマ字を省略して、「画像取り出し部２１」と表記する。

センサー１２０は、表示装置１００の外界に在る物体を撮像する撮像装置である。センサー１２０は、装着時にユーザーの頭部正面に位置するよう、表示装置１００のリム部又はブリッジ部に備えられる。例えば、装着時にユーザーの顔が物体に向いていれば、センサー１２０は、その物体の外観を撮像し、撮像された画像の画像信号を出力することができる。

なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、表示装置１００の外界に在る物体を、複数方向から撮像することができる。

次に、センサーユニットの構成例を説明する。
センサーユニット４００は、入力装置としてユーザーにより予め定められた物体（以下、「キーボード体」という）に、予め取り付けられる。このキーボード体が、例えば、長方形の板状物である場合、センサーユニット４００は、その板状物のいずれかの隅に取り付けられてもよい。なお、キーボード体の形状は、長方形に限らなくてもよい。

センサーユニット４００は、振動検出部４１０と、位置検出部４２０と、振動部４３０と、姿勢検出部４４０と、通信部４５０と、電源（不図示）とを備える。電源は、各部に電力を供給する。

振動検出部４１０は、キーボード体に加えられた振動の強さを検出し、その振動の強さを示す信号を位置検出部４２０に出力する。例えば、振動検出部４１０は、キーボード体が、ユーザーの指、タッチペン又は筆記用具などの指示体によりタイピングされたことによる振動と、その振動の強さとを検出する。ここで、振動検出部４１０は、芯先が出されていないタッチペン（指示棒）等によりキーボード体に加えられた振動の強さを検出してもよい。

位置検出部４２０は、振動を検出したことを示す信号が入力された場合、センサーユニット４００に対する、キーボード体に接触したユーザーの指、タッチペン又は筆記用具などの指示体の相対位置を検出する。以下、一例として、指示体はユーザーの指であるものとして説明を続ける。ここで、位置検出部４２０は、ユーザーの指に赤外線（ＩｎｆｒａＲｅｄ：ＩＲ）を投射し、その指からの反射光に基づいて指の位置を検出する。例えば、位置検出部４２０は、複数本の赤外線を指に投射することにより、三角測量に基づいて指の位置を検出してもよい。また、例えば、位置検出部４２０（撮像センサー）は、ユーザーの指を撮像し、撮像した画像に基づいて指の位置を検出してもよい。また、例えば、位置検出部４２０（超音波センサー）は、ユーザーの指に超音波を投射し、その指からの反射光に基づいて指の位置を検出してもよい。なお、位置検出部４２０は、これら複数の検出結果を組み合わせてもよい。

ここで、位置検出部４２０は、キーボード体の位置合わせ（図８を用いて後述する）の際、検出したユーザーの指の位置を、キーボード体上の座標の基準点（例えば、原点）とする。また、位置合わせ以降、位置検出部４２０は、検出したユーザーの指の位置と、座標の基準点との相対位置を示す信号（以下、「指位置信号」という）を、通信部４５０に出力する。また、位置検出部４２０は、振動を検出したことを示す信号が入力された場合、振動の強さを示す信号に応じて、振動部４３０を振動させる。

振動部４３０は、位置検出部４２０により制御された振動の大きさで振動する。これにより、振動部４３０は、キーボード体に接触したユーザーの指に、タイピングによる振動の強さに応じたクリック感を与えることができる。

姿勢検出部４４０は、センサーユニット４００の姿勢を検出し、検出した姿勢を示す信号（以下、「姿勢信号」という）を、通信部４５０に出力する。キーボード体にセンサーユニット４００が取り付けられている場合、姿勢検出部４４０は、そのキーボード体の姿勢を検出することになる。姿勢検出部４４０は、例えば、ジャイロセンサー及び加速度センサーである。

通信部４５０には、指位置信号及び姿勢信号が入力される。通信部４５０は、指位置信号及び姿勢信号を、制御装置２００に転送する。ここで、転送には、Ｂｌｕｅｔｏｏｔｈ（登録商標）が用いられてもよい。

図４には、センサーユニットの外観図が示されている。図４では、センサーユニット４００の形状は、一例として、六面体である。ここで、位置検出部４２０及び振動検出部４１０は、一例として、センサーユニット４００の同一面に配置される。センサーユニット４００がキーボード体に取り付けられる際、位置検出部４２０及び振動検出部４１０は、指示体の方向に共に向けられる。一方、振動部４３０は、振動検出部４１０が配置されている面とは異なる面に配置されてもよい。これにより、振動検出部４１０は、振動部４３０から離され、振動部４３０による振動を検出しないようにして、指示体による振動のみを検出することができる。

次に、制御装置の構成例を説明する。
制御装置２００は、外界に在るキーボード体に仮想的にキー配置を定める。つまり、制御装置２００は、キーボード体上の座標と、各キーの座標とを対応付けて記憶する。制御装置２００は、指位置信号が示す基準点からの指の相対位置と、各キーの座標（キー配置）とに基づいて、ユーザーの指により操作されたキーを認識する。

また、制御装置２００は、操作されたキーに応じた操作入力信号に基づいて、表示装置１００を制御する。制御装置２００は、操作部２１０と、認識部２２０と、制御部２３０と、記憶部２４０と、操作ボタン部２５０と、通信部２７０とを備える。

操作部２１０は、その操作面に対して操作入力をするユーザーの指が触れている位置を、操作面上の絶対座標で検出し、検出した絶対座標を示す信号（以下、「座標信号」という）を、制御部２３０に出力する。操作部２１０は、例えば、トラックパッドである。

記憶部２４０は、キー画像（キーボード画像）を、入力装置の種類に対応付けて予め記憶する。ここで、キー画像には、例えば、テンキー（ＴｅｎＫｅｙ）画像と、携帯端末用キー（携帯Ｋｅｙ：例えば、数字、記号及びローマ字キーの４×３キー配置）画像と、ゲーム端末用キー（ＧａｍｅＣＴＬ：例えば、方向キー及び確定（ＥＮＴＥＲ）キー配置）画像と、ＱＷＥＲＴＹキーボード（ＱＷＥＲＴＹ）画像とがある。

操作ボタン部２５０は、操作ボタン群を備える。各操作ボタンは、ユーザーに押下されることにより、押下された操作ボタンに予め対応付けられた処理を示す信号を、制御部２３０に出力する。ここで、予め対応付けられた処理とは、例えば、画像取り出し部２１（図２を参照）の画像取り出しエリアに投射されている画像の輝度を調整する処理である。

通信部２７０は、指位置信号及び姿勢信号をセンサーユニット４００から受信し、認識部２２０に転送する。

認識部２２０には、指位置信号及び姿勢信号が、通信部２７０から入力される。また、認識部２２０には、撮像された画像の画像信号が、センサー１２０から入力される。認識部２２０は、撮像された画像の画像信号に基づいて、キーボード体の大きさ及び形状等を認識する。

認識部２２０には、記憶部２４０が予め記憶しているキー画像に対応付けられている入力装置の種類のうち、ユーザーにより選択された入力装置の種類を示す信号が、制御部２３０から入力される。認識部２２０は、選択された入力装置の種類を示す信号に基づいて、選択された入力装置のキー画像を、記憶部２４０から取得する。

認識部２２０は、キーボード体の光学像の大きさ及び形状と、記憶部２４０から取得したキー画像の大きさ及び形状とが、画像取り出し部２１の画像取り出しエリア上で一致するように、キーボード体の画像の画像信号に基づいて、キー画像を必要に応じて変形させる。

さらに、認識部２２０は、キーボード体の光学像の表示位置と、記憶部２４０から取得したキー画像の表示位置とが、画像取り出し部２１の画像取り出しエリア上で一致するように、キーボード体の画像の画像信号と、姿勢信号とに基づいて、画像取り出し部２１の画像取り出しエリア上のキー画像の位置を補正する。認識部２２０は、変形及び補正されたキー画像（変形及び補正がされない場合は元のキー画像）を示す画像信号を、制御部２３０に出力する。これにより、例えば、ユーザーが上を向いた場合、これに応じて、ユーザーにはキー画像が下に移動して見える。また、例えば、キーボード体がユーザーの視界から完全に外れた場合、キー画像は、画像取り出し部２１の画像取り出しエリアに投射されない。

認識部２２０は、指位置信号が示す基準点からの指の相対位置と、各キーの座標とに基づいて、ユーザーの指により操作されたキーを認識する。また、認識部２２０は、操作されたキーを示す識別情報を、制御部２３０に通知する。

制御部２３０は、表示装置１００の左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに、画像信号を出力する。この画像信号により、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂには、メニュー画像等が表示される。なお、左眼用画像出力部１１０Ａに出力される画像信号と、右眼用画像出力部１１０Ｂに出力される画像信号とは、その内容（例えば、画像の視差）が異なっていてもよい。例えば、左右の画像に視差がある場合、その画像は、３次元画像となる。

制御部２３０は、変形及び補正されたキー画像（変形及び補正がされない場合は元のキー画像）を示す画像信号を、認識部２２０から受信して表示装置１００に転送する。これにより、キーボード体の光学像にキー画像が重畳されるよう、画像取り出し部２１の画像取り出しエリアにキー画像が投射される。

制御部２３０には、操作されたキーを示す識別情報が、認識部２２０から転送される。制御部２３０は、操作されたキーを示す識別情報に予め対応付けられた処理（例えば、表示装置１００に文字を表示させる処理）を実行する。

制御部２３０には、押下された操作ボタンに予め対応付けられた処理を示す信号が、押下された操作ボタン毎に、操作ボタン部２５０から入力される。制御部２３０は、押下された操作ボタンに予め対応付けられた処理を示す信号に基づいて、その対応付けられた処理（例えば、画像の輝度を調整する処理）を実行する。

制御部２３０には、座標信号が操作部２１０から入力される。制御部２３０は、入力された座標信号に基づいて、その座標信号が示す絶対座標に予め対応付けられた処理（例えば、画像取り出し部２１の画像取り出しエリア上のカーソル画像を移動させる処理）を実行する。

制御部２３０は、ユーザーにより入力装置の種類が選択された場合、選択された入力装置の種類を示す信号を、認識部２２０に転送する。

次に、表示システムの動作手順を説明する。
図５には、入力装置にする物体を認識する場合の表示例が示されている。まず、長方形のキーボード体５００が、入力装置としてユーザーにより予め用意されたとする。この板状物５００の光学像は、表示装置１００の画像取り出し部２１の画像取り出しエリアを透過して、ユーザーの目に届く。これにより、ユーザーは、表示装置１００を頭部に装着したまま、画像取り出し部２１の画像取り出しエリアを通してキーボード体５００の光学像を見ることができる。

表示装置１００のセンサー１２０は、キーボード体５００の外観を撮像し、撮像された画像の画像信号を、制御装置２００の認識部２２０に出力する。認識部２２０は、撮像された画像の画像信号に基づいて、キーボード体５００の位置、大きさ及び形状等を認識する。また、認識部２２０は、通信部２７０から入力された姿勢信号に基づいて、キーボード体５００の姿勢を認識する。ここで、認識部２２０は、キーボード体５００の形状（例えば、隅の位置）を示すマーカー画像６００−１〜６００−４を、画像取り出し部２１の画像取り出しエリアに投射させてもよい。

図６には、どのような種類の入力装置としてキーボード体を使用するかを選択させるための表示例が示されている。制御部２３０は、メニューの一覧を示す画像信号を表示装置１００に出力することにより、画像取り出し部２１の画像取り出しエリアにメニュー一覧画像７００を表示させる。図６では、入力装置の種類をユーザーに選択させるためのメニュー一覧画像７００として、メニュー画像７１０（ＴｅｎＫｅｙ）と、メニュー画像７２０（携帯Ｋｅｙ）と、メニュー画像７３０（ＧａｍｅＣＴＬ）と、メニュー画像７４０（ＱＷＥＲＴＹ）とが表示されている。

ユーザーは、操作部２１０又は操作ボタン部２５０を操作することにより、メニュー画像７１０〜７４０を選択することができる。ここで、各メニュー画像には、それぞれに対応付けられている入力装置の種類がある。制御部２３０は、操作部２１０又は操作ボタン部２５０から操作入力信号を受信し、受信した操作入力信号を認識部２２０に転送する。認識部２２０は、操作入力信号が示す入力装置の種類に対応付けられたキー画像を、記憶部２４０から取得する。

図７には、センサーユニットが取り付けられた、キーボード体の外観図が示されている。以下では、センサーユニット４００は、一例として、キーボード体５００の左上の隅に、ユーザーによって取り付けられているものとする。

図８には、キーボード体の位置合わせ（キャリブレーション）をするための表示例が示されている。図６に示すメニュー画像７４０が選択されたことにより、図８では、メニュー画像７４０と、メニュー画像７４０に対応付けられたキー配置を示すキー画像８００とが、画像取り出し部２１の画像取り出しエリアに投射されている。また、キー画像８００を構成するキーのうち、予め定められた一つ以上のキー（図８では、「Ｑ」、「ＥＮＴＥＲ」）の配置が、枠により示されている。これにより、ユーザーは、枠により示されている各キーを、キーボード体５００上のどの位置（座標の基準点）にそれぞれ対応させるかを、指定することができる。

より具体的には、画像取り出し部２１の画像取り出しエリアを見ているユーザーは、画像取り出し部２１の画像取り出しエリア上でキーボード体５００の光学像の左上の隅にキー「Ｑ」を表示させるために、キーボード体５００の左上の隅に指を触れたとする。さらに、ユーザーは、画像取り出し部２１の画像取り出しエリア上でキーボード体５００の光学像の右下の隅にキー「ＥＮＴＥＲ」を表示させるために、キーボード体５００の右下の隅に指を触れたとする。なお、予め定められたキーは、３個以上であってもよい。

この状態で、センサーユニット４００は、キーボード体５００に触れている指に赤外線を投射し、指からの反射光に基づいて、その指の位置（座標の基準点）を検出する。また、センサーユニット４００は、指位置信号及び姿勢信号を、制御装置２００（図１を参照）に送信する。

制御装置２００の通信部２７０は、指位置信号を認識部２２０に転送する。認識部２２０は、指位置信号に基づいて、キーボード体５００に仮想的にキー配置を定める。ここで、認識部２２０は、ユーザーの指が触れられているキーボード体５００の左上の隅をキー「Ｑ」の位置とし、ユーザーの指が触れられているキーボード体５００の右上の隅をキー「ＥＮＴＥＲ」の位置と定める（位置合わせ）。さらに、認識部２２０は、指位置信号に基づいて定めたキー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。

なお、認識部２２０は、指位置信号に基づかずに、キーボード体５００の画像の画像信号、及び姿勢信号に基づいて、キーボード体５００の左上の隅をキー「Ｑ」の位置とし、キーボード体５００の右下の隅をキー「ＥＮＴＥＲ」の位置と定めてもよい（位置合わせ）。さらに、認識部２２０は、定めたキー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。

なお、表示装置１００は、キー配置を示すキー画像と重ならないよう、他の画像（例えば、操作入力された文字列を表示するための領域を示す画像）を画像取り出し部２１の画像取り出しエリアに投射してもよい。また、表示装置１００は、ユーザーによる操作入力（モード指定）に基づいて、キー画像の大きさを調整して投射してもよい。

図９には、キーボード体の光学像にキー画像を重畳した場合の表示例が示されている。認識部２２０は、選択された入力装置の種類を示す信号に基づいて、その選択された入力装置のキー画像を、記憶部２４０から取得する。

制御装置２００の通信部２７０は、姿勢信号を認識部２２０に転送する。認識部２２０は、キーボード体５００の光学像の大きさ及び形状と、記憶部２４０から取得したキー画像８１０の大きさ及び形状とが、画像取り出し部２１の画像取り出しエリア上で一致するように、キーボード体５００の画像の画像信号と、姿勢信号とに基づいて、キー画像８１０を必要に応じて変形させる。例えば、認識部２２０は、斜視図となるようにキー画像８１０を変形させてもよい。

さらに、認識部２２０は、キーボード体５００の光学像の表示位置と、記憶部２４０から取得したキー画像の表示位置とが、画像取り出し部２１の画像取り出しエリア上で一致するように、キーボード体５００の画像の画像信号と、姿勢信号とに基づいて、画像取り出し部２１の画像取り出しエリア上でのキー画像の位置を補正する。認識部２２０は、変形及び補正されたキー画像８１０（変形及び補正がされない場合は元のキー画像）を示す画像信号を、制御部２３０に出力する。

制御部２３０は、変形及び補正されたキー画像８１０（変形及び補正がされない場合は元のキー画像）を示す画像信号を、認識部２２０から受信して表示装置１００に転送する。表示装置１００の左眼用画像出力部１１０Ａ（図１を参照）は、制御部２３０から入力された画像信号に基づいて、画像取り出し部２１の画像取り出しエリアにおけるキーボード体５００の光学像の位置に、キー画像８１０を表示する。表示装置１００の右眼用画像出力部１１０Ｂについても同様である。これにより、キー画像８１０は、画像取り出し部２１の画像取り出しエリアにおいてキーボード体５００の光学像に重畳される。なお、表示装置１００は、操作入力された文字列を表示するための領域を示す画像（操作入力画像）を表示してもよい。

センサーユニット４００は、キーボード体５００に触れている（タイピングしている）指に赤外線を投射し、指からの反射光に基づいて、その指の位置を検出する。また、センサーユニット４００は、指位置信号及び姿勢信号を、継続的に制御装置２００に送信する。

認識部２２０は、指位置信号が示す基準点からの指の相対位置と、各キーの座標とに基づいて、ユーザーの指により操作（タイピング）されたキーを認識する。また、認識部２２０は、操作されたキーを示す識別情報を、制御部２３０に転送する。

制御部２３０は、操作されたキーを示す識別情報に予め対応付けられた処理を実行する。例えば、制御部２３０は、操作されたキーに対応付けられた文字を、表示装置１００の半画像取り出し部２１の画像取り出しエリアに投射させる。すなわち、表示装置１００は、操作されたキーによる操作入力を受け付ける。

図９では、ユーザーがキー「Ｅ」を操作したことにより、操作入力された文字「Ｅ」が操作入力画像９００に表示されている状態が示されている。例えば、制御部２３０は、このようにして操作入力された文字列を、コンピューターネットワーク上で検索（Ｓｅａｒｃｈ）してもよい。

以上のように、表示システムは、キーボード体５００に接触した指示体（例えば、ユーザーの指、タッチペン）の位置を検出するセンサーユニット４００と、キーボード体５００にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置２００と、ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置１００と、を備える。

この構成により、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。

つまり、表示システムは、ユーザーが用意した物体を入力装置にすることで、入力装置を簡略化することができる。ユーザーは、ＴＷＩＴＴＥＲ（登録商標）、メールなど文字入力が必要な場合、熟練度によらず簡単に文字入力することが可能であり、且つ、表示システムの持ち運びにも不便がない。

表示装置がシースルータイプ・ヘッドマウントディスプレイ（透過型表示装置）である場合、入力装置は、大きい装置である必要がない。これにより、ユーザーは、透過型表示装置により両手が空くという特徴を、最大限に生かすことができる。また、入力装置が必要となった場合に、センサーユニット４００を取り付けた物体を、簡単に入力装置にすることができるため、ユーザーは、表示システムを簡便に利用することができる。

また、表示システムは、キーボード体５００を操作するキー入力を、ヘッドマウントディスプレイに表示されるソフトウェア・キーボードに反映させながら、文字入力を可能にさせる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、センサーユニット４００は、ユーザーの指に装着されてもよい。また、例えば、操作部２１０は、ユーザーの指が触れた操作面上の位置を、操作面上の相対座標で検出してもよい。また、例えば、表示装置１００は、ヘッドアップディスプレイ（透過型表示装置）でもよい。

また、例えば、認識部２２０は、机のような広い平面の一部を仮想的に切り取って、その仮想的に切り取った範囲をキーボード体５００としてもよい。

また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、瞳分割方式シースルー光学系を備えていてもよいし、半透過鏡方式シースルー光学系を備えていてもよい。また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、画像表示装置（特開２００８−２０７７０号公報）、頭部装着型ディスプレイ（特許第４６３６１６４号公報）、ビーム走査型表示装置（国際公開第２００９／０４１０５５号）、又は、表示装置（特許第４０５５２８３号公報）が備える光学系を備えていてもよい。

なお、以上に説明した表示システムを実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１０Ａ…左眼用画像形成部、１０Ｂ…右眼用画像形成部、１１Ａ…画像生成部、１１Ｂ…画像生成部、１２Ａ…投射光学系、１２Ｂ…投射光学系、２０Ａ…左眼用導光部、２１Ａ…画像取り出し部、２１Ｂ…画像取り出し部、１００…表示装置、１１０Ａ…左眼用画像出力部、１１０Ｂ…右眼用画像出力部、１２０…センサー、２００…制御装置（コントローラー）、２１０…操作部、２２０…認識部、２３０…制御部、２４０…記憶部、２５０…操作ボタン、２７０…通信部、３１０Ａ…ユーザーの左眼、４００…センサーユニット、４１０…振動検出部、４２０…位置検出部、４３０…振動部、４４０…姿勢検出部、４５０…通信部、５００…キーボード体、６００…マーカー画像、７００…メニュー一覧画像、７１０…メニュー画像、７２０…メニュー画像、７３０…メニュー画像、７４０…メニュー画像、８００…キー画像、８１０…キー画像、９００…操作入力画像

Claims (11)

1. 予め定められた物体に接触した指示体の位置を検出するセンサーユニットと、
   前記物体にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置と、
   ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置と、
   を備えることを特徴とする表示システム。
2. 前記表示装置は、画像取り出しエリアを有する画像取り出し部を備え、
   前記画像取り出し部は、前記画像取り出しエリアに所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させることを特徴とする請求項１に記載の表示システム。
3. 前記表示装置は、前記画像取り出しエリアを透過した前記物体の光学像に、前記物体と自装置との相対位置に基づいて、前記所定画像光による前記キー配置を示すキー画像を重ねて表示することを特徴とする請求項２に記載の表示システム。
4. 前記表示装置は、前記キー配置を示すキー画像と重ならないよう、他の画像を前記画像取り出しエリアに表示することを特徴とする請求項２に記載の表示システム。
5. 前記表示装置は、前記キー画像の大きさを調整して表示することを特徴とする請求項３又は請求項４に記載の表示システム。
6. 前記制御装置は、前記物体に予め接触した前記指示体の位置に基づいて、前記キー配置を定めることを特徴とする請求項１から請求項５のいずれか一項に記載の表示システム。
7. 前記制御装置は、ユーザーによる選択に基づいて、前記キー配置を定めることを特徴とする請求項１から請求項６のいずれか一項に記載の表示システム。
8. 前記センサーユニットは、赤外線及び超音波の少なくとも一方を前記指示体に投射し、前記指示体からの反射に基づいて前記指示体の位置を検出することを特徴とする請求項１から請求項７のいずれか一項に記載の表示システム。
9. 前記センサーユニットは、前記指示体を撮像し、撮像した前記指示体の画像に基づいて、前記指示体の位置を検出することを特徴とする請求項１から請求項８のいずれか一項に記載の表示システム。
10. 前記表示装置は、
    前記所定画像光を出力する画像出力部と、
    前記画像出力部が出力した前記所定画像光を投射する投射光学系と、
    前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、
    を備えることを特徴とする請求項２から請求項９のいずれか一項に記載の表示システム。
11. 表示システムにおける操作入力方法であって、
    制御装置が、予め定められた物体にキー配置を定めるステップと、
    センサーユニットが、前記物体に接触した指示体の位置を検出するステップと、
    制御装置が、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識するステップと、
    ユーザーの頭部に装着可能である表示装置が、前記操作されたキーによる操作入力を受け付けるステップと、
    を有することを特徴とする操作入力方法。

Images