JP2012146236A - ジェスチャ入力装置 - Google Patents

Abstract

【課題】本発明は、撮像装置からの撮像画像に基づいてジェスチャが認識される場合において、ジェスチャの誤認識を低減することが可能なジェスチャ入力装置を提供することを目的とする。
【解決手段】ユーザの身体に装着される撮像部１１と、撮像部１１により撮像されるユーザの手指の撮像画像に基づいて、ユーザにより行われる手指のジェスチャを認識するジェスチャ認識部１２と、ジェスチャ認識部１２により認識されるジェスチャに対応する動作制御指示を出力する指示出力部１４と、ユーザの手指の撮像画像に基づいて実空間におけるユーザの手指の位置を求め、実空間において予め設定されるジェスチャ認識領域内にユーザの手指が存在するときのみ、指示出力部１４から動作制御指示が出力されることを許可する指示出力許可部１３とを備えてジェスチャ入力装置１０を構成する。
【選択図】図１

Description

本発明は、ユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置に関する。

ジェスチャ入力装置として、例えば、ユーザの頭部に装着される撮像装置によりマーカや背景を撮像し、その撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果によりパーソナルコンピュータなどの外部装置のＧＵＩの表示や非表示の判定を行うものがある（例えば、特許文献１参照）。

また、他のジェスチャ入力装置として、例えば、撮像装置によりユーザの手を撮像し、その撮像画像に基づいてユーザの手形状を認識し、その認識した手形状の特徴に応じて選択メニューを表示するものがある（例えば、特許文献２参照）。

特開２００９−２５１１５４号公報 特許３７７７６５０号公報

上述のように、撮像装置からの撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置では、撮像装置の撮像範囲内において特定のジェスチャに類似した動作がユーザにより行われると、その動作を特定のジェスチャとして誤認識してしまう可能性がある。

例えば、「手のひらを開いて左右に振る」という動作が特定のジェスチャの１つとして登録されている場合、撮像装置の撮像範囲内において「さようなら」の挨拶のために手を振る動作がユーザにより行われると、ジェスチャ入力装置は、その動作を特定のジェスチャとして誤認識してしまう可能性がある。

そこで、本発明は、撮像装置からの撮像画像に基づいてジェスチャが認識される場合において、ジェスチャの誤認識を低減することが可能なジェスチャ入力装置を提供することを目的とする。

本発明のジェスチャ入力装置は、撮像手段と、認識手段と、指示出力手段と、指示出力許可手段とを備える。

前記撮像手段は、ユーザの身体に装着される。

前記認識手段は、前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する。

前記指示出力手段は、前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する。

前記指示出力許可手段は、前記ユーザの手指の撮像画像に基づいて実空間における前記ユーザの手指の位置を求め、前記実空間において予め設定されるジェスチャ認識領域内に前記ユーザの手指が存在するときのみ、前記指示出力手段から動作制御指示が出力されることを許可する。

本発明によれば、撮像装置からの撮像画像に基づいてジェスチャを認識するジェスチャ入力装置において、ジェスチャの誤認識を低減することができる。

本発明の実施形態のジェスチャ入力装置を示す図である。 本発明の第１実施形態のジェスチャ入力装置を示す図である。 ジェスチャ入力装置がメガネ型治具に取り付けられた例を示す図である。 メガネ型治具に取り付けられたジェスチャ入力装置がユーザの身体に装着された例を示す図である。 ジェスチャ入力装置がペンダント型に構成された例を示す図である。 ペンダント型のジェスチャ入力装置がユーザの身体に装着された例を示す図である。 撮像装置により手指マーカｈ、基準マーカＡ、及び基準マーカＢが撮像されているときの撮像画像の一例を示す図である。 撮像画像に対応する２次元座標と実空間に対応する３次元座標との関係を示す図である。 ３次元座標における手指マーカｈとその手指マーカｈを外包する球との関係を示す図である。 第１実施形態におけるジェスチャ認識領域の一例を示す図である。 図８に示すジェスチャ認識領域の斜視図である。 ３次元座標のｘ−ｚ軸における撮像装置の画角Φで示されるジェスチャ認識領域を示す図である。 ３次元座標のｙ−ｚ軸における撮像装置の画角θで示されるジェスチャ認識領域を示す図である。 撮像画像における手指マーカｈ及び基準マーカＡのそれぞれの大きさを示す図である。 撮像画像における手指及び基準マーカＡのそれぞれの大きさを示す図である。 第１実施形態におけるジェスチャ認識領域の他の例を示す図である。 本発明の第２実施形態のジェスチャ入力装置を示す図である。 第２実施形態におけるジェスチャ認識領域の一例を示す図である。 ３次元座標のｘ−ｚ軸における図１５に示すジェスチャ認識領域を示す図である。 表示画像生成装置の動作を示すフローチャートである。 画像切出し枠の位置調整動作を説明するための図である（その１）。 画像切出し枠の位置調整動作を説明するための図である（その２）。 画像切出し枠の位置調整動作を説明するための図である（その３）。 画像切出し枠の位置調整動作を説明するための図である（その４）。 画像切出し枠の位置調整動作を説明するための図である（その５）。 画像切出し枠の位置調整動作を説明するための図である（その６）。 画像切出し枠の表示倍率を３倍にしたときのジェスチャ認識領域を示す図である。

図１は、本発明の実施形態のジェスチャ入力装置を示す図である。

図１に示すジェスチャ入力装置１０は、撮像部１１（撮像手段）と、ジェスチャ認識部１２（認識手段）と、指示出力許可部１３（指示出力許可手段）と、指示出力部１４（指示出力手段）とを備える。

撮像部１１は、ユーザの手指の形状や動作、すなわち、ジェスチャを撮像することが可能なようにユーザの身体に装着される小型カメラなどにより構成されるものであって、撮像画像をジェスチャ認識部１２及び指示出力許可部１３にそれぞれ出力する。

ジェスチャ認識部１２は、撮像画像に基づいて、ユーザの手指のジェスチャを認識する。ジェスチャ認識部１２は、予め登録されている特定のジェスチャがユーザにより行われていることを認識すると、その認識結果を指示出力部１４に出力する。特定のジェスチャとしては、例えば、手を左右や上下に振る動作や数を数えるときに指を折っていく動作など、ユーザが比較的容易に動作可能なものが考えられる。また、パーソナルコンピュータにおいて使用されるマウスを操作する際の手指の動きを模した動作なども特定のジェスチャとして設定されてもよい。

指示出力許可部１３は、ユーザの手指の撮像画像に基づいて撮像部１１を基準とする３次元空間（以下、実空間という）におけるユーザの手指の位置を求め、実空間に設定されるジェスチャ認識領域内にユーザの手指が存在しているか否かの判定を行い、その判定結果を指示出力部１４に出力する。

指示出力部１４は、ジェスチャ認識領域内にユーザの手指が存在している旨の判定結果が指示出力許可部１３から出力されると、ジェスチャ認識部１２から出力される認識結果に対応する動作制御指示をパーソナルコンピュータや携帯電話などの外部装置１５に出力する。一方、指示出力部１４は、ジェスチャ認識領域内にユーザの手指が存在していない旨の判定結果が指示出力許可部１３から出力されると、ジェスチャ認識部１２から出力される認識結果に対応する動作制御指示を外部装置１５に出力しない。外部装置１５は、指示出力部１４から出力される動作制御指示に応じた動作を実行する。また、指示出力部１４は、外部装置１５から出力される動作制御指示が入力されると、その動作制御指示に応じた動作を実行する。

このように、本実施形態のジェスチャ入力装置１０は、ジェスチャ認識領域内にユーザの手指が存在しているときのみ、ジェスチャの認識結果に対応する動作制御指示が外部装置１５に出力される構成である。そのため、ある動作制御指示に対応する特定のジェスチャが撮像部１１の画角の中で行われてしまっても、ユーザの手指がジェスチャ認識領域内に存在していなければ、動作制御指示が外部装置１５に出力されない。これにより、撮像部１１からの撮像画像に基づいてジェスチャを認識するジェスチャ入力装置１０において、ジェスチャの誤認識を低減することができる。

＜第１実施形態＞

図２は、本発明の第１実施形態のジェスチャ入力装置を示す図である。

図２に示すジェスチャ入力装置２０は、撮像装置２１（撮像手段）と、画像認識装置２２（認識手段）と、空間座標設定装置２３（空間座標設定手段）と、ジェスチャ認識領域内外判定装置２４と、ジェスチャ認識領域記憶装置２５（ジェスチャ認識領域記憶手段）と、認識制御装置２６（認識制御手段）と、コマンド認識装置２７（指示出力手段）と、通信装置２８とを備える。

すなわち、撮像装置２１は、画像認識装置２２に接続される。画像認識装置２２は、空間座標設定装置２３、ジェスチャ認識領域内外判定装置２４、及びコマンド認識装置２７に接続される。ジェスチャ認識領域内外判定装置２４は、認識制御装置２６及び通信装置２８に接続される。コマンド認識装置２７は、ジェスチャ認識領域内外判定装置２４に接続される。また、コマンド認識装置２７は、無線通信又は有線通信を行う通信装置２８を介して外部装置２９に接続される。

なお、ジェスチャ入力装置２０は、例えば、パーソナルコンピュータや携帯電話などの外部装置２９のマウス、キーボード、又はタッチパネルなどに相当する入力装置として利用されるものであって、外部装置２９の動作を制御するためのコマンド（動作制御指示）を出力する。また、図３Ａに示すように、ジェスチャ入力装置２０は、片眼ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのメガネ型治具３０に取り付けられていてもよい。このようにジェスチャ入力装置２０がメガネ型治具３０に取り付けられる場合、図３Ｂに示すように、撮像装置２１の画角（撮像範囲）とユーザの視野とを互いに同じ方向に向けることができる。また、図４Ａに示すように、ジェスチャ入力装置２０は、ペンダント型に構成してもよい。このようにジェスチャ入力装置２０をペンダント型に構成する場合、図４Ｂに示すように、撮像装置２１の画角とユーザの視野とを互いに同じ方向に向けることができる。すなわち、ジェスチャ入力装置２０がユーザの身体に装着されたとき、撮像装置２１の画角とユーザの視野とが互いに同じ方向になるのであれば、ジェスチャ入力装置２０の形態やユーザの身体への装着場所は特に限定されない。

撮像装置２１は、結像レンズ、撮像素子、及び画像処理エンジンなどを備え、主にユーザの手指の画像を撮像し、その撮像画像を画像認識装置２２に出力する。また、撮像装置２１は、カメラ撮影パラメータ・サムネイル画像データを通信装置２８を介して外部装置２９に出力する。

画像認識装置２２は、入力される撮像画像に基づいて、ユーザの手指の形や動作すなわちジェスチャを認識し、その認識結果を出力する。撮像画像からユーザの手指のジェスチャを認識する技術は、予めユーザの手指に付けられる１以上のマーカの撮像画像に基づいてジェスチャ認識を行うなど、種々の既存の技術を利用することができる。例えば、特開２００６−１５５２４４号公報や特許４０１３１００号公報などに記載されている技術を利用することができる。また、画像認識装置２２は、入力される撮像画像に基づいて、実空間において予め任意の位置に配置される基準マーカやユーザの手指に付けられる手指マーカのそれぞれの撮像画像上の位置や大きさなどを求め、それらを位置データとして出力する。例えば、図５に示すように、外部装置２９に備えられる表示装置３１が載る机の上に２次元マトリックスコードが描かれた矩形状の基準マーカＡが配置され、表示装置３１に２次元マトリックスコードが描かれた矩形状の基準マーカＢが表示されてもよい。また、例えば、図５に示すように、ユーザの親指の付け根付近に楕円状の手指マーカｈが取り付けられてもよい。なお、手指マーカｈの取り付け位置は、親指の爪など、特に限定されない。また、手指マーカｈの色や形状や大きさも特に限定されない。基準マーカや手指マーカを検出する技術は、例えば、特許４４５５２９４号公報などに記載されている技術を利用することができる。

空間座標設定装置２３は、画像認識装置２２から出力される位置データに基づいて、撮像装置２１を基準とする３次元座標（以下、単に３次元座標という）における基準マーカや手指マーカの位置を求め、それらをジェスチャ空間座標データとして出力する。すなわち、空間座標設定装置２３は、撮像画像に対応する２次元座標（以下、単に２次元座標という）で示される基準マーカや手指マーカの位置を、撮像装置２１を基準とする３次元座標に変換する。

ジェスチャ認識領域内外判定装置２４は、空間座標設定装置２３から出力されるジェスチャ空間座標データに基づいて、３次元座標におけるジェスチャ認識領域を求め、そのジェスチャ認識領域内にユーザの手指が存在するか否かを判定し、その判定結果を認識制御装置２６に出力する。また、ジェスチャ認識領域内外判定装置２４は、ジェスチャ認識領域を示すジェスチャ認識領域データをジェスチャ認識領域記憶装置２５に記憶させておき、次回以降の判定に使用する。なお、ジェスチャ認識領域データは、外部装置２９から通信装置２８及びコマンド認識装置２７を介してジェスチャ認識領域内外判定装置２４に入力されるようにしてもよいし、ジェスチャ認識領域記憶装置２５に予め記憶されていてもよい。

認識制御装置２６は、ジェスチャ認識領域内にユーザの手指が存在している旨の判定結果がジェスチャ認識領域内外判定装置２４から出力されると、画像認識装置２２から出力される認識結果に対応するコマンドを出力することを許可する旨の許可・不許可データを出力する。一方、認識制御装置２６は、ジェスチャ認識領域にユーザの手指が存在していない旨の判定結果がジェスチャ認識領域内外判定装置２４から出力されると、画像認識装置２２から出力される認識結果に対応するコマンドを出力することを許可しない旨の許可・不許可データを出力する。

コマンド認識装置２７は、コマンド出力を許可する旨の許可・不許可データが入力されると、画像認識装置２２から出力される認識結果に対応するコマンドを通信装置２８を介して外部装置２９に出力する。一方、コマンド認識装置２７は、コマンド出力を許可しない旨の許可・不許可データが入力されると、画像認識装置２２から出力される認識結果に対応するコマンドを外部装置２９に出力しない。外部装置２９は、コマンド認識装置２７から出力されるコマンドに応じた動作（マウスカーソルの移動、クリック、画像の再生や停止など）を実行する。また、コマンド認識装置２７は、外部装置２９から出力されるコマンドが入力されると、そのコマンドに応じた動作を実行する。

ここで、例えば、２次元座標おける楕円状の手指マーカｈの中心位置（位置データ）に基づいて、３次元座標における手指マーカｈの中心位置（ジェスチャ空間座標データ）を求める方法の一例を説明する。

例えば、図６に示すように、撮像装置２１の焦点距離をｆ、３次元座標の原点をＯｃとし、３次元座標のｘ軸が２次元座標のｕ軸と平行であり、３次元座標のｙ軸が２次元座標のｖ軸と平行であり、３次元座標のｚ軸が２次元座標における撮像画像の中心位置（ｕ_０，ｖ_０）を通る場合を想定する。

このような場合、３次元座標における手指マーカｈの中心位置Ｐ（ｘ， ｙ， ｚ）と、その中心位置Ｐ（ｘ，ｙ，ｚ）に対応する２次元座標における手指マーカｈの中心位置Ｑ （ｕ，ｖ）との間には下記数１又は数２の関係が成り立つ。

また、図７に示すように、２次元座標のｖ軸における手指マーカｈの長軸の長さをｒとし、３次元座標のｙ−ｚ軸における手指マーカｈを外包する球の半径をＲ（近似値）とすると、撮像装置２１の光軸（３次元座標のｚ軸）と直線ＯＰ（原点Ｏｃと手指マーカｈの中心位置Ｐとを結ぶ直線）とが成す角度をθとすると、下記数３の関係が成り立つ。

すなわち、上記数３は下記数４となる。

また、下記数５又は数６の関係も成り立つ。

そして、上記数４と上記数６により、下記数７を求めることができる。

すなわち、空間座標設定装置２３は、上記数７に、撮像装置２１の焦点距離をｆ、２次元座標における手指マーカｈの長軸の長さｒ、３次元座標における手指マーカｈを外包する球の半径Ｒ、２次元座標における撮像画像の中心位置（ｕ_０，ｖ_０）、２次元座標における手指マーカｈの中心位置Ｑ （ｕ，ｖ）を代入することにより、３次元座標における手指マーカｈのｚ座標を求める。

同様にして、空間座標設定装置２３は、下記数８により、３次元座標における手指マーカｈのｘ座標を求める。

また、同様にして、空間座標設定装置２３は、下記数９により、３次元座標における手指マーカｈのｙ座標を求める。

なお、矩形状の基準マーカの撮像画像における位置に基づいて、矩形状の基準マーカの３次元座標における位置を求める方法としては、例えば、特許４２４２５２９号公報や「歴本純一、２次元マトリックスコードを利用した拡張現実感の構成手法、ＷＩＳＳ９６、第４回インタラクティブシステムとソフトウェアに関するワークショップ論文誌、１９９６」などに記載されている技術を利用することができる。基準マーカの形状は矩形に限定されない。例えば、特開２０００−２２７３０９号公報に記載されるマーカのように、楕円状の基準マーカを利用してもよい。また、例えば、特開２０００−２２７３０９号公報に記載されるように、複数の基準マーカを利用してもよい。

次に、ジェスチャ認識領域内にユーザの手指が存在するか否かの判定方法の一例について説明する。

例えば、図５に示す基準マーカＡの中心位置と基準マーカＢの中心位置と距離ΔＤとに基づいて、図８や図９に示すようなジェスチャ認識領域を求め、そのジェスチャ認識領域内に手指マーカｈを検出したとき、ジェスチャ認識領域内にユーザの手指が存在すると判定する場合を想定する。なお、３次元座標における基準マーカＢの中心位置を（ｘａ，ｙａ，ｚａ）、３次元座標における基準マーカＢの中心位置を（ｘｂ，ｙｂ，ｚｂ）とする。

図１０は、３次元座標のｘ−ｚ軸における撮像装置の画角Φで示されるジェスチャ認識領域を示す図である。図１０において、画角Φと同じパラメータで示されるときの手指マーカｈの中心位置をΦｈ、画角Φと同じパラメータで示されるときのジェスチャ認識領域の範囲をΦ１〜Φ２とする。

また、図１１は、３次元座標のｙ−ｚ軸における撮像装置の画角θで示されるジェスチャ認識領域を示す図である。図１１において、画角θと同じパラメータで示されるときの手指マーカｈの中心位置をθｈ、画角θと同じパラメータで示されるときのジェスチャ認識領域の範囲をθ１〜θ２とする。

このような場合において、ジェスチャ認識領域内外判定装置２４は、Ｌ１≦Ｌｈ（撮像装置２１から手指マーカｈまでの距離）≦Ｌ２、Φ１≦Φｈ≦Φ２、及びθ１≦θｈ≦θ２であるとき、ジェスチャ認識領域内に手指マーカｈが存在していることを検出し、ジェスチャ認識領域内にユーザの手指が存在していると判定する。

例えば、ジェスチャ認識領域内外判定装置２４は、「Ｌｈ」を３次元座標における手指マーカｈの中心位置（ｘｈ、ｙｈ、ｚｈ）と下記数１０とにより求め、「Ｌ２」を基準マーカＡの中心位置又は基準マーカＢの中心位置と下記数１０とにより求め、「Ｌ１」をＬ２から距離ΔＤを減算することにより求める。

また、例えば、ジェスチャ認識領域内外判定装置２４は、「Φｈ」を３次元座標における手指マーカｈの中心位置のｘｈ及びｚｈと下記数１１とにより求め、「Φ１」を基準マーカＢの中心位置のｘｂ及びｚｂと下記数１１とにより求め、Φ２は基準マーカＡの中心位置のｘａ及びｚａと下記数１１とにより求める。

また、例えば、ジェスチャ認識領域内外判定装置２４は、「θｈ」を３次元座標における手指マーカｈの中心位置ｙｈ及びｚｈと下記数１２とにより求め、「θ１」を基準マーカＡの中心位置のｙａ及びｚａと下記数１２とにより求め、「θ２」を基準マーカＢの中心位置のｙｂ及びｚｂと下記数１２とにより求める。

また、ジェスチャ認識領域内外判定装置２４は、図１２Ａに示すように、撮像画像における基準マーカＡの大きさＷａや手指マーカｈの大きさＷｈに基づいて、撮像装置２１から基準マーカＡまでの距離や撮像装置２１から手指マーカｈまでの距離を推定し、手指マーカｈの大きさＷｈの変動量に対応する手指マーカｈの移動距離が距離ΔＤよりも大きくなると、ジェスチャ認識領域内にユーザの手指が存在しないと判定してもよい。

また、ジェスチャ認識領域内外判定装置２４は、図１２Ｂに示すように、撮像画像における基準マーカＡの大きさＷａやユーザの手指の大きさＷｈｈに基づいて、撮像装置２１から基準マーカＡまでの距離や撮像装置２１からユーザの手指までの距離を推定し、撮像画像における手指の大きさＷｈｈの変動量に対応する手指の移動距離が距離ΔＤよりも大きくなると、ジェスチャ認識領域内にユーザの手指が存在しないと判定してもよい。

また、ジェスチャ認識領域内外判定装置２４は、図１３に示すように、撮像画像における基準マーカＡ（又は基準マーカＢ）の幾何変形に基づいて、基準マーカＡ（又は基準マーカＢ）の平面認識を行い、その認識した平面から距離ΔＤ離れた領域をジェスチャ認識領域として定義してもよい。

また、ジェスチャ認識領域内外判定装置２４は、ユーザの手や腕の関節の可動範囲をさらに考慮してジェスチャ認識領域を求めてもよい。
さらに、本実施例では、マーカの認識によりジェスチャ認識領域に手指があるかを判定したが、マーカに変えて基準位置、たとえば机の表面や、画面の表面、もしくは撮像装置２１や操作者の頭部からの距離を測定する距離センサーを手指に装着してその距離を測定し、その距離範囲内か否かをジェスチャ認識領域内外判定装置２４が判定するよう構成しても良く逆に、撮像装置２１や操作者の頭部や胸部、机上、外部装置の画面などに距離センサーを配置し、手指そのものや貼付したマーカの距離を計測し、ジェスチャ認識領域内外判定装置２４の判定パラメータとしてもよい。

＜第２実施形態＞

図１４は、本発明の第２実施形態のジェスチャ入力装置を示す図である。なお、図２に示す構成と同じ構成には同じ符号を付している。

図１４に示す第２実施形態のジェスチャ入力装置３２において、図２に示す第１実施形態のジェスチャ入力装置２０と異なる点は、表示画像生成装置３３（表示画像生成手段）と、表示装置３４（表示手段）とをさらに備えている点である。なお、表示装置３４は、図３Ａに示すように、ユーザの片方の瞳と向かい合うようにメガネ型治具３０に取り付けられているものとする。また、第２実施形態のジェスチャ入力装置３２において、ジェスチャ認識領域は、撮像画像のうち所定の画角で規定された領域とし、その領域は、表示装置３４によって表示させる撮像画像の一部の領域とほぼ一致するものとする。また、ジェスチャ認識領域は、ユーザの視野のうちユーザが表示装置３４を見ている領域及びその延長領域に基づいて設定される領域とし、その領域は、表示装置３４によって表示させる撮像画像の一部の領域とほぼ一致するものとする。すなわち、図１５や図１６に示すように、撮像装置２１の画角のうち、撮像装置２１の撮像画像の一部を切り出すための画像切出し枠の大きさに相当する画角と、ユーザ視野のうちユーザが表示装置３４を見ている領域及びその延長領域とがほぼ一致する領域をジェスチャ認識領域として設定する。このとき設定されるジェスチャ認識領域の距離ΔＤは、例えば、ユーザの腕の長さを考慮して設定されることが望ましい。

第２実施形態のジェスチャ入力装置３２では、画像切出し枠内の撮像画像を表示装置３４によりユーザに表示させ、実空間における表示装置３４の表示画面の虚像と実空間における画像切出し枠とが一致するように、撮像画像内に設定される画像切出し枠の位置を調整する。

これにより、ユーザ視野のうちユーザが表示装置３４を見ている領域及びその延長領域とジェスチャ認識領域とを一致させることができるため、ユーザは、自然で負担の無いジェスチャを表示装置３４により確認しながら行うことができる。また、ユーザは、表示装置３４に表示される、限られたジェスチャ認識領域において効率よくジェスチャを行うことができるので、すなわち、ジェスチャ認識領域外で無駄なジェスチャを行うことがなくなるので、ジェスチャを行う際のユーザの疲労を軽減することができる。
ここでは、ジェスチャ認識領域は、ユーザの視野のうちユーザが表示装置３４を見ている領域及びその延長領域に基づいて設定されるものとしたが、ユーザの視野とは関係の無い領域を撮影し、その撮影画像の少なくとも一部または全部を表示装置３４に表示して、その表示された画像に対応した撮影される領域をジェスチャ認識領域としてもよい。この場合にも、表示された画像を参考にユーザがジェスチャ認識領域を認識できるため、同様にジェスチャ認識領域外で無駄なジェスチャを行うことがなくなり、ジェスチャを行う際のユーザの疲労を軽減することができる。

図１７は、実空間における表示装置３４の表示画面の虚像と実空間における画像切出し枠とを一致させる際の表示画像生成装置３３の動作を示すフローチャートである。

まず、表示画像生成装置３３は、撮像画像を入力する（Ｓ１）。

次に、表示画像生成装置３３は、入力した撮像画像内に手指マーカｈを検出する（Ｓ２）。例えば、表示画像生成装置３３は、図１８Ａに示すような撮像画像において、手指マーカｈを検出する。なお、図１８Ａ〜図１８Ｆの撮像画像には、ユーザが見ている表示装置３４の表示画面の虚像も示している。また、初期状態において、画像切出し枠は撮像画像の中心部に位置しているものとする。その後、表示画像生成装置３３は、図１８Ｂに示すように、手指マーカｈの位置に基づいて画像切出し枠をユーザの手指に移動させ、画像切出し枠内の撮像画像を表示装置３４に表示させる。そして、表示装置３４に手指マーカｈが表示されると、ユーザは、図１８Ｃに示すように、表示装置３４の表示画面の虚像により示される手指マーカｈと、実際の手指マーカｈとが一致するように手指を移動させる。このとき、表示画像生成装置３３は、画像切出し枠を、移動する手指マーカｈに追従させる。

次に、表示画像生成装置３３は、表示装置３４の表示画面の虚像の４隅にそれぞれガイドマーカを表示させ、１つのガイドマーカと手指マーカｈとが一致するようにユーザにより手指の移動が行われると、その１つのガイドマーカと手指マーカｈとが一致したときの実空間における手指マーカｈの位置を不図示の記憶部に記憶する（Ｓ４）。例えば、表示画像生成装置３３は、図１８Ｄに示すように、表示装置３４の表示倍率を下げた後、表示装置３４の表示画面の虚像の４隅にそれぞれガイドマーカを表示させる。なお、ガイドマーカは２つ又は３つでもよい。

次に、表示画像生成装置３３は、全てのガイドマーカにおいて、それぞれ、実空間における手指マーカｈの位置の記憶が終了したか否かを判断する（Ｓ５）。例えば、ユーザは、図１８Ｅに示すように、反時計回りに手指を移動させて、順番に各ガイドマーカと手指マーカｈとを一致させていく。

全てのガイドマーカにおいて、それぞれ、実空間における手指マーカｈの位置の記憶が終了していないと判断した場合（Ｓ５がＮｏ）、表示画像生成装置３３は、Ｓ１に戻る。

一方、全てのガイドマーカにおいて、それぞれ、実空間における手指マーカｈの位置の記憶が終了していると判断した場合（Ｓ５がＹｅｓ）、表示画像生成装置３３は、記憶部に記憶されている各手指マーカｈの位置に基づいて、実空間における画像切出し枠の位置や表示倍率を調整し（Ｓ６）、その調整後の画像切出し枠内の撮像画像を表示装置３４に表示させる（Ｓ７）。例えば、画像切出し枠の位置を調整した後、図１８Ｆに示すように、画像切出し枠の表示倍率を表示装置３４の表示倍率と等しくする。

これにより、あたかも実空間のある領域が切り取られたかのような撮像画像を表示装置３４に表示させることができる。

なお、画像切出し枠の表示倍率を上げるとともに、その画像切出し枠内の撮像画像を縮小して表示装置３４に表示させるようにしてもよい。例えば、図１９に示すように、画像切出し枠の表示倍率を３倍に上げるとともに、その画像切出し枠内の撮像画像を１／３倍に縮小して表示装置３４に表示する場合、図１６に示すジェスチャ認識領域（画像切出し枠の表示倍率と表示装置３４の表示倍率とが等しい場合）に比べて、ジェスチャ認識領域を大きくすることができる。このように、ユーザは、ジェスチャ認識領域を任意の大きさに調整することができる。

また、各ガイドマーカとユーザの手指とを一致させることにより、画像切出し枠の位置調整を行うようにしてもよい。

上記第１実施形態のジェスチャ入力装置２０や第２実施形態のジェスチャ入力装置３２では、ジェスチャ認識領域にユーザの手指が存在するか否かによりコマンド出力可否制御を行う構成であるが、ユーザの手指の移動量の連続的な変化や画像切出し枠の追尾量の連続的な変化に基づいてコマンド出力可否制御を行うように構成してもよい。

上記第１実施形態のジェスチャ入力装置２０や第２実施形態のジェスチャ入力装置３２において、コマンド生成認識装置２７にコマンド出力を許可する旨の許可・不許可データが入力されると、ジェスチャによる外部装置２９の動作制御が可能である旨を外部装置２９に備えられる表示装置３１や表示装置３４において文字やアイコンなどで表示させるようにしてもよい。これにより、ユーザに対して外部装置２９が制御可能である旨を伝えることができ、現在の姿勢を維持することをユーザに促すことができる。

また、上記第１実施形態のジェスチャ入力装置２０や第２実施形態のジェスチャ入力装置３２において、コマンド生成認識装置３にコマンド出力を許可しない旨の許可・不許可データが入力されると、ジェスチャによる外部装置２９の動作制御が不可能であり、外部装置２９の動作制御が可能になるように手指を移動させる旨を外部装置２９の表示装置３１や表示装置３４において文字やアイコンなどで表示させるようにしてもよい。これにより、ユーザに対して外部装置２９が制御不能である旨を伝えることができ、外部装置２９が制御可能になるように手指を移動させることをユーザに促すことができる。また、外部装置２９が制御可能になる姿勢をユーザが取ることができない場合、外部装置２９が誤動作しないように、わざと手指から視線（撮像装置２１の画角）を外すことをユーザに促すことができる。なお、外部装置２９が制御可能である旨や外部装置２９が制御不可能である旨をユーザに伝える際、音声を利用してもよい。

１０ ジェスチャ入力装置
１１ 撮像部
１２ ジェスチャ認識部
１３ 指示出力許可部
１４ 指示出力部
１５ 外部装置
２０ ジェスチャ入力装置
２１ 撮像装置
２２ 画像認識装置
２３ 空間座標設定装置
２４ ジェスチャ認識領域内外判定装置
２５ ジェスチャ認識領域記憶装置
２６ 認識制御装置
２７ コマンド認識装置
２８ 通信装置
２９ 外部装置
３０ メガネ型治具
３１ 表示装置
３２ ジェスチャ入力装置
３３ 表示画像生成装置
３４ 表示装置

Claims (8)

1. ユーザの身体に装着される撮像手段と、
   前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する認識手段と、
   前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する指示出力手段と、
   前記ユーザの手指の撮像画像に基づいて実空間における前記ユーザの手指の位置を求め、前記実空間において予め設定されるジェスチャ認識領域内に前記ユーザの手指が存在するときのみ、前記指示出力手段から動作制御指示が出力されることを許可する指示出力許可手段と、
   を備えることを特徴とするジェスチャ入力装置。
2. 請求項１に記載のジェスチャ入力装置であって、
   前記指示出力許可手段は、
   前記撮像画像に対応する２次元座標で示される、前記ユーザの手指に付けられる手指マーカの位置を、前記実空間に対応する３次元座標に変換する空間座標設定手段と、
   前記ジェスチャ認識領域を記憶するジェスチャ認識領域記憶手段と、
   前記ジェスチャ認識領域記憶手段に記憶されるジェスチャ認識領域内に、前記空間座標設定手段により座標変換される前記手指マーカが存在するとき、前記ジェスチャ認識領域内に前記ユーザの手指が存在すると判定するジェスチャ認識領域内外判定手段と、
   前記ジェスチャ認識領域内外判定手段により前記ジェスチャ認識領域内に前記ユーザの手指が存在すると判定されると、前記指示出力手段から動作制御指示が出力されることを許可する認識制御手段と、
   を備えることを特徴とするジェスチャ入力装置。
3. 請求項２に記載のジェスチャ入力装置であって、
   前記空間座標設定手段は、前記２次元座標で示される、前記実空間の所定箇所に配置される基準マーカの位置を、前記３次元座標に変換し、
   前記ジェスチャ認識領域内外判定手段は、前記空間座標設定手段により座標変換される前記基準マーカの位置から所定距離までの領域を前記ジェスチャ認識領域として設定して前記ジェスチャ認識領域記憶手段に記憶させる
   ことを特徴とするジェスチャ入力装置。
4. 請求項１に記載のジェスチャ入力装置であって、
   前記ジェスチャ認識領域は、前記撮像画像のうち所定の画角で規定された領域とする
   ことを特徴とするジェスチャ入力装置。
5. 請求項４に記載のジェスチャ入力装置であって、
   前記ユーザの身体に装着され、前記ユーザの視野内に前記撮像画像の一部を表示させる表示手段をさらに備え、
   前記撮像画像のうち所定の画角で規定された領域は、前記表示手段によって表示させる前記撮像画像の一部の領域とほぼ一致する
   ことを特徴とするジェスチャ入力装置。
6. 請求項１に記載のジェスチャ入力装置であって、
   前記ユーザの身体に装着され、前記ユーザの視野内に前記撮像画像の一部を表示させる表示手段をさらに備え、
   前記ジェスチャ認識領域は、前記ユーザの視野のうち前記ユーザが前記表示手段を見ている領域及びその延長領域に基づいて設定される
   ことを特徴とするジェスチャ入力装置。
7. 請求項６に記載のジェスチャ入力装置であって、
   前記ユーザの視野のうち前記ユーザが前記表示手段を見ている領域及びその延長領域は、前記表示手段によって表示させる前記撮像画像の一部の領域とほぼ一致する
   ことを特徴とするジェスチャ入力装置。
8. 請求項４〜７の何れか１項に記載のジェスチャ入力装置であって、
   前記撮像画像から前記撮像画像の一部を切り出す画像切出し枠内の撮像画像を前記表示手段に表示させる表示画像生成手段をさらに備え、
   前記表示画像生成手段は、前記実空間における前記表示手段の表示画面の虚像の隅に表示される各ガイドマーカと、前記実空間における前記ユーザの手指又は前記手指マーカとがそれぞれ互いに一致するように、前記画像切出し枠の位置を調整する
   ことを特徴とするジェスチャ入力装置。