JP2015172887A - ジェスチャ認識装置およびジェスチャ認識装置の制御方法 - Google Patents

Abstract

【課題】利用者が対象部位を移動させることで行ったジェスチャを認識するジェスチャ認識装置において、利用者の意図通りにジェスチャを認識する。【解決手段】取得した画像からジェスチャを検出し、当該ジェスチャに対応した、対象機器に対する命令を生成するジェスチャ認識装置であって、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出手段と、前記抽出した対象部位の形状を特定する対象部位形状特定手段と、前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定手段と、前記代表点の動きに基づいてジェスチャを認識するジェスチャ認識手段と、前記認識したジェスチャに対応する命令を生成するコマンド生成手段と、を有し、前記代表点決定手段は、前記対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する。【選択図】図１

Description

本発明は、ジェスチャによる入力操作を認識するジェスチャ認識装置に関する。

コンピュータや電子機器に対して、ジェスチャによって入力を行うことができる装置が普及の兆しを見せている。

例えば、特許文献１には、利用者が空間上で行ったジェスチャをカメラなどによって撮像し、当該ジェスチャを入力コマンドに変換する入力装置が記載されている。当該装置は、特定のジェスチャと特定の入力コマンドを関連付けて記憶しており、ジェスチャを認識する手段と、認識したジェスチャを入力コマンドに変換する手段を有している。これにより利用者は、機器の前でジェスチャ動作をするだけで、入力デバイスを直接操作することなく任意のコマンドを入力することができる。

特開２０１２−１２３６０８号公報

ジェスチャを認識する入力装置では、一般的に、ジェスチャを行う部位の画像から、当該部位の位置を代表する点（以下、代表点）を抽出し、抽出した代表点の動きを追跡することで、どのようなジェスチャが行われたのかを判別している。例えば、利用者が手のひらを開いて図形を描画するジェスチャを行う場合、手の中心点を検出して、当該中心点の軌跡を追跡することで、ジェスチャによって描画された図形の形状を認識する。

しかし、手を用いてジェスチャを行う場合、代表点を手の中心に設定することが必ずしも良いとは限らない。例えば、人差し指を立ててジェスチャを行う場合、人差し指の先端を追跡したほうが、利用者にとって、より自然な認識結果を得ることができる。このような場合、代表点を手の中心に設定してしまうと、手を大きく動かさずに指先のみを動かしたような場合に、入力が正しく行われないおそれがある。
このように、身体の一部を用いてジェスチャを行う場合、従来のジェスチャ認識装置では、代表点がどこにあるかを適切に判別することができず、結果として、ジェスチャによって表現された軌跡を利用者の意図通りに認識することができないケースがあった。

本発明は上記の課題を考慮してなされたものであり、利用者が対象部位を移動させることで行ったジェスチャを認識するジェスチャ認識装置において、利用者の意図通りにジェスチャを認識する技術を提供することを目的とする。

上記課題を解決するために、本発明に係るジェスチャ認識装置は、ジェスチャを行う身体部位である対象部位の形状を判定し、当該形状を考慮して代表点の位置を決定するという構成をとった。

具体的には、本発明に係るジェスチャ認識装置は、
取得した画像からジェスチャを検出し、当該ジェスチャに対応した、対象機器に対する命令を生成するジェスチャ認識装置であって、画像を取得する画像取得手段と、前記取得
した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出手段と、前記抽出した対象部位の形状を特定する対象部位形状特定手段と、前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定手段と、前記代表点の動きに基づいてジェスチャを認識するジェスチャ認識手段と、前記認識したジェスチャに対応する命令を生成するコマンド生成手段と、を有し、前記代表点決定手段は、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定することを特徴とする。

対象部位とは、利用者がジェスチャを行う部位であり、典型的には人間の手であるが、人体全体であってもよいし、利用者が保持している入力用のマーカー等であってもよい。入力されたジェスチャは、対象部位に対応する代表点の動きを追跡することで認識することができるが、本発明に係るジェスチャ認識装置では、対象部位における代表点の位置を、当該対象部位の形状を用いて決定する。
本発明に係るジェスチャ認識装置は、このように対象部位の形状を考慮して代表点の位置を設定することで、対象部位を移動させることで入力されたジェスチャを、利用者の意図通りに認識することができる。

また、前記代表点決定手段は、前記対象部位形状認識手段が特定した対象部位の形状が、突出した部位を含む形状である場合に、当該突出した部位の先端に代表点を設定することを特徴としてもよい。

対象部位の一部が突出した形状である場合、当該突出した部位の動きによってジェスチャ入力を行おうとしている可能性が高い。例えば、利用者が一部の指を立てている場合や、棒状の入力用マーカーを保持している場合などである。このような場合は、当該部位の先端に代表点を設定するようにすることが好ましい。

また、前記対象部位は、人間の手であり、前記代表点決定手段は、前記対象部位形状認識手段が特定した対象部位の形状が、第一の形状であるか、前記第一の形状とは異なる第二の形状であるかを判定し、前記対象部位の形状が第一の形状である場合に、指先に対応する位置に代表点を設定し、前記対象部位の形状が第二の形状である場合に、手の中心に対応する位置に代表点を設定することを特徴としてもよい。

対象部位が人の手である場合、指先を用いてジェスチャを行う場合と、手全体を用いてジェスチャを行う場合の二通りのパターンが考えられる。従って、代表点の位置は、指先か、手の中心のいずれかとすることが好ましい。
手全体ではなく指先を用いてジェスチャを行っていると推定できる場合、指先に対応する位置に代表点を設定する。これにより、指先の小さな動きでジェスチャを行う場合であっても、当該ジェスチャを利用者の意図通りに認識することができる。

また、前記代表点決定手段は、前記対象部位形状認識手段が特定した、対象部位である手の形状が、一部の指が伸展している形状である場合に、第一の形状であると判定し、全ての指が伸展している形状または全ての指が屈曲している形状である場合に、第二の形状であると判定することを特徴としてもよい。また、対象部位である手の形状が、一本の指のみが伸展している形状である場合に、第一の形状であると判定することを特徴としてもよい。

五本の指のうちの一部が伸展している場合、指先を用いてジェスチャを行っていると推定できる。また、全ての指が伸展している場合や、全ての指が屈曲している場合、手全体を動かすことでジェスチャを行っていると推定できる。また、伸展している指を一本のみ検出した場合、指先を用いてジェスチャを行っていると推定することができる。なお、一
部の指が伸展している状態とは、指を全て開いた状態は含まない。

また、前記代表点決定手段は、前記手の中心に対応する位置として、前記対象部位抽出手段によって抽出された、当該手に対応する領域の重心を用いることを特徴としてもよい。

手の中心に対応する位置としては、計算が容易である重心を用いることが好ましい。

また、本発明に係るジェスチャ認識装置は、設定された代表点の位置を利用者に通知する通知手段をさらに有することを特徴としてもよい。

通知手段とは、例えば表示装置や音声出力装置などである。例えば、代表点がどこに設定されているかを画面上に表示してもよい。このように構成することで、利用者は、ジェスチャ認識装置が追跡している点がどこにあるかを知ることができ、よりユーザビリティを向上させることができる。

なお、本発明は、上記手段の少なくとも一部を含むジェスチャ認識装置として特定することができる。また、前記ジェスチャ認識装置の制御方法や、前記ジェスチャ認識装置を動作させるためのプログラム、当該プログラムが記録された記録媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、利用者が対象部位を移動させることで行ったジェスチャを認識するジェスチャ認識装置において、利用者の意図通りにジェスチャを認識することができる。

第一の実施形態に係るジェスチャ認識システムの構成図である。 ジェスチャ定義データの例を説明する図である。 対象部位の抽出例を説明する図である。 対象部位の形状の違いを説明する図である。 第一の実施形態においてジェスチャ認識装置が行う処理を表すフローチャート図である。 第一の実施形態においてジェスチャ認識装置が行う処理を表すフローチャート図である。 第二の実施形態における通知画面の例である。

（第一の実施形態）
第一の実施形態に係るジェスチャ認識システムの概要について、システム構成図である図１を参照しながら説明する。第一の実施形態に係るジェスチャ認識システムは、ジェスチャ認識装置１００および対象機器２００からなるシステムである。

ジェスチャ認識装置１００は、利用者が行ったジェスチャを、カメラを用いて認識するとともに、当該ジェスチャに対応するコマンドを生成し、対象機器２００に送信する装置である。
また、対象機器２００は、ジェスチャ認識装置１００からコマンドを受信する装置（制御対象の機器）であり、典型的には、テレビ、ビデオレコーダ、コンピュータ、エアコン、テレビ会議システムなどの電気製品である。対象機器２００は、有線または無線によって、ジェスチャ認識装置１００からコマンドを受信することができれば、どのような機器
であってもよい。本実施形態では、対象機器２００はテレビ受信機であり、ジェスチャ認識装置１００は、当該テレビに内蔵された装置であるものとする。

ジェスチャ認識装置１００について詳細に説明する。ジェスチャ認識装置１００は、画像取得部１０１、ジェスチャ抽出部１０２、ジェスチャ認識部１０３、コマンド生成部１０４を有する。

画像取得部１０１は、外部から画像を取得する手段である。本実施形態では、テレビ画面の正面上部に取り付けられたカメラ（不図示）を用いて利用者を撮像する。画像取得部１０１が用いるカメラは、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。また、画像は必ずしもカメラによって取得される必要はなく、例えば、距離センサが生成した、距離の分布を表す画像（距離画像）であってもよい。また、距離センサとカメラの組み合わせ等であってもよい。
画像取得部１０１が取得する画像（以下、カメラ画像）は、利用者が行ったジェスチャの動きと、当該ジェスチャを行った身体部位の形状を取得することができれば、どのような画像であってもよい。また、カメラ画像の画角は、テレビの視野角と略同一であればよい。

ジェスチャ抽出部１０２は、画像取得部１０１が取得したカメラ画像から、ジェスチャを行う身体部位（以下、対象部位）を検出する手段である。本実施形態の場合、利用者は手を用いてジェスチャを行うものとする。ジェスチャ抽出部１０２は、例えば、カメラ画像の中から、人の手を表す領域を検出する。
また、ジェスチャ抽出部１０２は、検出した対象部位に対して、当該対象部位の位置を代表する点である代表点を設定し、当該代表点の動きを追跡する。これにより、ジェスチャによって表現された動きを抽出することができる。
対象部位の形状および代表点については、後ほど詳しく説明する。

ジェスチャ認識部１０３は、ジェスチャ抽出部１０２が抽出した代表点の動きに基づいて、ジェスチャの内容を特定する手段である。例えば、図２に示したような、代表点の動きとジェスチャの内容を関連付けるデータ（ジェスチャ定義データ）を記憶しており、ジェスチャによって表現された命令の特定を行う。ジェスチャによって表現された命令は、図２に示したように、一連のジェスチャ動作が単独の命令に対応するものであってもよいし、代表点の移動量および移動方向に基づいて、画面に表示されたポインタを移動させる命令であってもよい。

コマンド生成部１０４は、ジェスチャ認識部１０３が特定したジェスチャに対応するコマンドを生成する手段である。コマンドとは、対象機器２００を制御するための信号であり、電気信号であってもよいし、無線によって変調された信号や、パルス変調された赤外線信号などであってもよい。

ジェスチャ認識装置１００は、プロセッサ、主記憶装置、補助記憶装置を有するコンピュータであり、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、プロセッサによって実行されることによって、前述した各手段が機能する（プロセッサ、主記憶装置、補助記憶装置はいずれも不図示）。

次に、ジェスチャの認識処理について詳しく説明する。
図３は、画像取得部１０１が取得した画像の例である。すなわち、テレビ画面に正対する利用者を、画面側から見た図である。
ジェスチャの認識処理は、ジェスチャを行う対象部位を画像から検出する処理と、検出した対象部位に対応する代表点を設定する処理と、当該代表点の動きを追跡してジェスチ
ャの内容を特定する処理と、からなる。

まず、対象部位の検出について説明する。
ジェスチャ抽出部１０２は、取得した画像の中から、人の手が含まれる領域（符号３１）を検出する。人の手が含まれる領域は、例えば色彩や形状によって判定してもよいし、特徴点を検出することで判定してもよい。また、予め記憶されたモデルやテンプレート等と比較することで判定してもよい。手の検出には公知の技術を用いることができるため、詳細な説明は省略する。

次に、代表点について説明する。
代表点は、対象部位の位置を代表する点であり、一つの対象部位に対して一つが設定される。例えば、対象部位が人の手である場合、手のひらの中心を表す点（符号３２）を代表点とすることができる。
対象部位に対して代表点を設定し、代表点の動きを追跡することで、手の動きによって表されるジェスチャを取得することができる。例えば、「手全体を動かして方向を示す」、「図形を描画する」といったジェスチャを取得することができる。

ここで、図４を参照しながら、従来技術の問題点を説明する。
図４は、カメラ画像の例である（対象部位以外は図示を省略する）。図４（Ａ）は、人差し指の指先を移動するジェスチャを表し、図４（Ｂ）は、手のひらを平行に移動するジェスチャを表す。
当該二つのジェスチャは、どちらも「左方向への移動」を意味するものであるが、指を立ててジェスチャを行う場合、指先の細かな動きによってジェスチャを行おうとする場合が多く、手を開いてジェスチャを行う場合、腕全体の大きな動きによってジェスチャを行おうとする場合が多い。従って、対象部位のどの部分に代表点を設定するかで、ジェスチャの認識精度が変わってしまう。
例えば、図４（Ａ）の場合、人差し指の指先に代表点を設定すると、移動距離は符号４１で示した距離となるが、手のひらの中心に代表点を設定すると、移動距離は符号４２で示した距離となる。すなわち、移動距離によって異なるコマンドが割り当たっていた場合、所望のコマンドと異なるコマンドが入力されてしまうおそれがある。また、移動距離に応じてポインタを移動させたい場合、利用者が所望する移動量が得られないおそれがある。

そこで、本実施形態に係るジェスチャ認識装置では、対象部位の形状を用いて代表点の位置を決定することでジェスチャの認識精度を向上させる。

本実施形態では、対象部位の形状を、立っている指の本数によって識別する。例えば、図４（Ａ）のケースの場合、立っている指の数は１本であり、図４（Ｂ）のケースの場合、立っている指の数は５本であると判定する。以降の説明において、指を１本立てた状態を「形状１」と称し、手を開いて指を５本立てた状態を「形状５」と称する。また、「形状ｎ」とは、立っている指がｎ本あることを意味するものとする。

立っている指の数は、例えば、検出した手の周辺において、指と思われる尖った形状（あるいは突出した部位）を探索することで判定してもよいし、テンプレート画像や、手の骨格モデル等を用いてマッチングを行うことで判定してもよい。指の数の判定には、既知の手法を用いることができるため、詳細な説明は省略する。

本実施形態では、ジェスチャ抽出部１０２が手の形状を判定し、指先でジェスチャを行っていると判定できる形状であった場合に、指先に対応する位置に代表点を設定する。それ以外の場合は、検出した手の重心に代表点を設定する。指先でジェスチャを行っている
と判定できる形状とは、例えば、立っている指の数が１本である場合（対象部位の形状が「形状１」である場合）とすることができる。

次に、本実施形態に係るジェスチャ認識装置１００が行う処理の全体を、処理フローチャートである図５および図６を参照しながら説明する。
図５に示した処理は、画像取得部１０１およびジェスチャ抽出部１０２が行う処理である。当該処理は、入力開始を表す操作があった場合（例えば、ジェスチャ入力が必要な機能を対象機器側で起動した際など）に開始してもよいし、対象機器の電源が投入された際に開始してもよい。

まず、画像取得部１０１がカメラ画像を取得する（ステップＳ１１）。本ステップでは、例えばテレビ画面の正面上部に備えられたカメラを用いて、ＲＧＢカラー画像を取得する。
次に、ジェスチャ抽出部１０２が、取得したカメラ画像から、対象部位（手）の検出を試みる（ステップＳ１２）。対象部位の検出は、前述したように、色や形状を基準として行ってもよいし、パターンマッチング等によって行ってもよい。ここで、対象部位が検出されなかった場合は、所定の時間だけ待機した後に新たに画像を取得し、同様の処理を繰り返す。

次に、ジェスチャ抽出部１０２が、検出した対象部位の形状を判定する（ステップＳ１３）。本例では、対象部位の形状が形状１であるか、それ以外であるかを判定するものとする。もし、対象部位の形状が、予め定義されたもの以外であった場合は、処理を中断してステップＳ１１へ戻ってもよいし、「該当なし」として処理を続けてもよい。
次に、検出した対象部位の形状が、前回実行時から変化しているかを判定する（ステップＳ１４）。ステップＳ１４が初めて実行された場合は、「変化あり」と判断する。
ステップＳ１４で「変化あり」と判断した場合、ステップＳ１５へ遷移し、ジェスチャ抽出部１０２が、検出した対象部位に代表点を設定する。具体的には、ステップＳ１３で判定した対象部位の形状が形状１であった場合、伸展している指の先端に代表点を設定し、それ以外の場合、手の重心点に代表点を設定する。
ステップＳ１４で「変化なし」と判断した場合、ステップＳ１６へ遷移する。

次に、ジェスチャ抽出部１０２が、カメラ画像中における代表点の座標を取得し、ジェスチャ認識部１０３へ送信する（ステップＳ１６）。
ステップＳ１１〜Ｓ１６の処理は繰り返し実行され、代表点の座標が、ジェスチャ認識部１０３へ逐次送信される。

図６に示した処理は、ジェスチャ認識部１０３およびコマンド生成部１０４が行う処理である。当該処理は、図５に示した処理と同時に開始される。
ステップＳ２１は、ジェスチャ認識部１０３が、取得した代表点の座標に基づいてジェスチャを認識する処理である。例えば、図２に示したジェスチャ定義データがあった場合で、代表点の座標が右方向へ１００ピクセル以上移動していることを検出した場合、「音量ＵＰ」を表すジェスチャがなされたものと判定する。

なお、ジェスチャ抽出部１０２からジェスチャ認識部１０３へ送信される情報は、代表点の移動方向および移動量を表すことができれば、必ずしもカメラ画像における座標でなくてもよい。例えば、代表点の座標を、利用者を原点とする座標系に変換したものであってもよいし、移動方向や移動量を表す他のデータであってもよい。
また、カメラ画像中における対象部位の大きさを表す情報を同時に送信するようにしてもよい。ジェスチャ認識装置が取得する対象部位の移動量は、利用者と装置との距離に応じて変わるため、このようにすることで、対象部位の大きさに応じて移動量を補正するこ
とができる。

次に、コマンド生成部１０４が、認識したジェスチャに対応する制御信号を生成して、対象機器２００に送信する（ステップＳ２２）。前述した例では、例えば「音量ＵＰ」という命令に対応付いた制御信号（音量を一段階上げる信号）を生成し、対象機器２００に送信する。

図５および図６に示した処理は周期的に実行され、入力終了を表す操作があった場合（例えば、ジェスチャ入力を用いた操作を対象機器側で終えた際など）に終了する。

以上説明したように、第一の実施形態に係るジェスチャ認識装置は、ジェスチャを行った対象部位の形状によって、代表点の位置を異なる位置に設定する。これにより、ジェスチャが指先を用いて行われている場合であっても、手全体を用いて行われている場合であっても、当該ジェスチャを正確に認識することができる。

なお、実施形態の説明では、ステップＳ１３にて対象部位の形状を判定しているが、当該ステップは、対象部位を検出した後の一回のみ実行し、ジェスチャが開始された後はスキップするようにしてもよい。このようにすることで、処理量を抑えることができる。
ただし、ジェスチャが終了し、続けて異なるジェスチャが開始される場合もあるため、このような場合は、当該ステップを再度実行するようにしてもよい。例えば、対象部位の形状や大きさが著しく変化した場合や、対象部位が画像からフレームアウトして再度フレームインした場合などは、異なるジェスチャが開始されたと判断し、ステップＳ１３を再度実行するようにしてもよい。また、明示的な操作によって再実行してもよい。

（第二の実施形態）
第二の実施形態は、第一の実施形態に係るジェスチャ認識システムに、代表点の位置を利用者に通知する手段を追加した実施形態である。第二の実施形態に係るジェスチャ認識システムの構成は、以下に説明する点を除き、第一の実施形態と同様である。

第二の実施形態に係るジェスチャ認識装置１００が行う処理のフローチャートは、図５および図６と同様であるが、ステップＳ１５で対象部位を設定した場合に、ジェスチャ抽出部１０２が、対象機器２００が有する画面（本例ではテレビ画面）を通して、代表点を設定した位置を利用者に通知するという点において相違する。
図７は、対象機器であるテレビ画面に表示される画像の例である。例えば、検出した対象部位の形状が形状１であった場合、指先を動かすことでジェスチャを行える旨を通知し、それ以外の形状であった場合、手全体を動かすことでジェスチャを行える旨を通知する。
なお、利用者に対して通知を行う方法は、これ以外の方法であってもよい。例えば、文章のみで案内を表示してもよいし、通常の操作画面に案内用のウインドウを追加し、図形や文章を表示してもよい。また、音声等によって通知してもよい。

第二の実施形態によると、システムが追跡する代表点がどこにあるかを利用者が認識することができるため、より直感的なジェスチャ入力を行うことができる。

（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、実施形態の説明では、ジェスチャ認識装置１００を、対象機器２００に組み込まれた装置であるとしたが、ジェスチャ認識装置１００は独立した装置であってもよい。
また、ジェスチャ認識装置１００は、対象機器２００上で動作するプログラムとして実
装されてもよい。プログラムとして実装する場合は、メモリに記憶されたプログラムをプロセッサが実行するように構成してもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実行されるように構成してもよい。

また、実施形態の説明では、カメラを用いて画像を取得する例を挙げたが、ジェスチャを取得し、かつ、対象部位の形状を識別することができれば、例えばネットワーク経由で画像を受信するなど、例示した方法以外によって画像を取得するようにしてもよい。
また、対象部位は、必ずしも人の手でなくてもよい。例えば、他の身体部位であってもよいし、ジェスチャ入力用のマーカー等であってもよい。マーカーを用いる場合、ジェスチャ抽出部１０２が、マーカーの存在を検出し、当該マーカーの先端に代表点を設定するようにすればよい。

また、本発明における「対象部位の形状」とは、ジェスチャ認識装置が画像を通して認識した形状を意味し、必ずしも対象部位を物理的に変形させたものである必要はない。

また、実施形態の説明では、対象部位の形状について、「形状１」と「それ以外の形状」の二種類を識別するものとしたが、他の形状を識別するようにしてもよい。他の形状とは、例えば、握った状態の手であってもよいし、指が２本立っている状態であってもよい。また、三種類以上の形状を識別するようにしてもよい。いずれの場合も、識別した形状に基づいて代表点の位置を決定し、前述した方法によって処理を行えばよい。
例えば、代表点を設定する位置を下記のようにしてもよい。

形状０である場合：拳の重心を代表点とする
形状１である場合：立っている指の指先を代表点とする
形状２である場合：立っている二本の指先の中点を代表点とする
形状３である場合：立っている三本の指のうち、真ん中の指の指先を代表点とする
形状４および５である場合：手のひらの重心を代表点とする

また、各実施形態の説明では、ステップＳ１２にてカメラ画像から対象部位を検出したのちに、ステップＳ１３にて当該対象部位の形状を識別したが、テンプレートマッチング等によってこれらの処理を同時に実行するようにしてもよい。対象部位が存在する位置と、当該対象部位の形状を取得することができれば、処理の内容および処理順序は特に限定されない。

１００・・・ジェスチャ認識装置
１０１・・・画像取得部
１０２・・・ジェスチャ抽出部
１０３・・・ジェスチャ認識部
１０４・・・コマンド生成部
２００・・・対象機器

Claims (10)

1. 取得した画像からジェスチャを検出し、当該ジェスチャに対応した、対象機器に対する命令を生成するジェスチャ認識装置であって、
   画像を取得する画像取得手段と、
   前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出手段と、
   前記抽出した対象部位の形状を特定する対象部位形状特定手段と、
   前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定手段と、
   前記代表点の動きに基づいてジェスチャを認識するジェスチャ認識手段と、
   前記認識したジェスチャに対応する命令を生成するコマンド生成手段と、
   を有し、
   前記代表点決定手段は、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する
   ことを特徴とする、ジェスチャ認識装置。
2. 前記代表点決定手段は、前記対象部位形状認識手段が特定した対象部位の形状が、突出した部位を含む形状である場合に、当該突出した部位の先端に代表点を設定する
   ことを特徴とする、請求項１に記載のジェスチャ認識装置。
3. 前記対象部位は、人間の手であり、
   前記代表点決定手段は、前記対象部位形状認識手段が特定した対象部位の形状が、第一の形状であるか、前記第一の形状とは異なる第二の形状であるかを判定し、前記対象部位の形状が第一の形状である場合に、指先に対応する位置に代表点を設定し、前記対象部位の形状が第二の形状である場合に、手の中心に対応する位置に代表点を設定する
   ことを特徴とする、請求項１に記載のジェスチャ認識装置。
4. 前記代表点決定手段は、前記対象部位形状認識手段が特定した、対象部位である手の形状が、一部の指が伸展している形状である場合に、第一の形状であると判定し、全ての指が伸展している形状または全ての指が屈曲している形状である場合に、第二の形状であると判定する
   ことを特徴とする、請求項３に記載のジェスチャ認識装置。
5. 前記代表点決定手段は、前記対象部位形状認識手段が特定した、対象部位である手の形状が、一本の指のみが伸展している形状である場合に、第一の形状であると判定する
   ことを特徴とする、請求項３に記載のジェスチャ認識装置。
6. 前記代表点決定手段は、前記手の中心に対応する位置として、前記対象部位抽出手段によって抽出された、当該手に対応する領域の重心を用いる
   ことを特徴とする、請求項３から５のいずれかに記載のジェスチャ認識装置。
7. 設定された代表点の位置を利用者に通知する通知手段をさらに有する
   ことを特徴とする、請求項１から６のいずれかに記載のジェスチャ認識装置。
8. 取得した画像からジェスチャを検出し、当該ジェスチャに対応した、対象機器に対する命令を生成するジェスチャ認識装置の制御方法であって、
   画像を取得する画像取得ステップと、
   前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出ステップと、
   前記抽出した対象部位の形状を特定する対象部位形状特定ステップと、
   前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定ステップと、
   前記代表点の動きに基づいてジェスチャを認識するジェスチャ認識ステップと、
   前記認識したジェスチャに対応する命令を生成するコマンド生成ステップと、
   を含み、
   前記代表点決定ステップでは、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する
   ことを特徴とする、ジェスチャ認識装置の制御方法。
9. 取得した画像からジェスチャを検出し、当該ジェスチャに対応した、対象機器に対する命令を生成するジェスチャ認識装置に、
   画像を取得する画像取得ステップと、
   前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出ステップと、
   前記抽出した対象部位の形状を特定する対象部位形状特定ステップと、
   前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定ステップと、
   前記代表点の動きに基づいてジェスチャを認識するジェスチャ認識ステップと、
   前記認識したジェスチャに対応する命令を生成するコマンド生成ステップと、
   を実行させ、
   前記代表点決定ステップでは、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する
   ことを特徴とする、ジェスチャ認識プログラム。
10. 請求項９に記載のジェスチャ認識プログラムが記録された記録媒体。

Images