JP2015116308A - ジェスチャ登録装置 - Google Patents

Abstract

【課題】本発明は、ユーザの意図に沿ったジェスチャを定義して登録することが可能なジェスチャ登録装置の提供を目的とする。
【解決手段】ジェスチャ登録装置１０１は、各ポーズ時およびポーズ間遷移時におけるジェスチャの特徴を表すパラメータの制約条件を示す特徴データを算出する特徴解析部２２と、人体動作モデルデータベース３と、一部のパラメータの制約条件を満たしつつその他のパラメータを変更し、人体動作モデルデータベースに基づき候補ジェスチャを生成する候補ジェスチャ生成部４と、候補ジェスチャをユーザに提示しユーザの操作を受け付ける入出力部６と、ジェスチャ定義登録部７とを備える。候補ジェスチャを拒否するユーザの操作を受け付けると、候補ジェスチャ生成部４は新たな候補ジェスチャを生成する。また、候補ジェスチャ生成部４は、候補ジェスチャに対するユーザの操作に基づき、前記その他のパラメータの制約条件を決定する。
【選択図】図１

Description

本発明は、人間が実施したジェスチャを装置が認識するために必要となるジェスチャ定義を生成し登録するジェスチャ登録装置に関するものである。

人体を撮影した映像から、人体の構成を特徴付ける身体部位の位置やその関係（骨格）をリアルタイムに算出することができるモーションキャプチャシステムにより、人体の姿勢の時系列データを得ることが可能である。このような人体の動きを取得可能なシステムの登場により、身体の姿勢データを計算機への入力として利用し、何らかの制御処理を行うようなアプリケーションの開発が容易となった。例えば、予め人間の腕や足の一連の動きをジェスチャとして計算機上に定義し、ある制御処理と関連付けておくことで、アプリケーション実行時に人間の行動の中から特定の動きを識別し、それに対応する制御処理を実行することができる。ジェスチャの認識は、入力される時系列の姿勢データと、予め登録されたジェスチャ定義データとのパターンマッチングにより行われる。

ジェスチャは、複数の姿勢（ポーズ）の連続により表すことができる。ジェスチャ定義は、動きの中でキーとなる複数のポーズ（姿勢を構成する身体部位の条件）と、ポーズ間の遷移条件から構成される。これらを予め定義しておくことで、アプリケーション実行時に行われた動作があるジェスチャ定義に含まれる条件をすべて満たした場合、そのジェスチャとして識別することができる。モーションキャプチャシステムは既知の画像処理技術により、人間の複数の特徴的な身体部位（例えば手、肘、肩、頭など）を弁別し、各部位の３次元座標を取得することが可能である。１つのポーズは、各身体部位の３次元座標や、各３次元座標から算出される骨格同士（関節）の角度などを用いて定義される。ポーズは必ずしも全身の情報から定義される必要はなく、１つ以上の部分的な身体部位の情報から定義されても良い。ポーズは、身体部位同士の位置関係を用いて定義することができる。右腕を下ろしている状態をポーズとして定義するには、例えば右手の位置が右足の付け根の位置よりも下方に位置するという関係性を条件として設定できる。また、あるポーズから次のポーズへと身体を動かす際の遷移条件を設けることもできる。遷移条件の例としては、各身体部位の移動方向、移動速度、移動中の関節角度などが挙げられる。ジェスチャ認識時に、ポーズ間の遷移条件を満たす動きが行われた場合には認識を続行する。

アプリケーションのインタフェースとしてジェスチャ認識を利用する場合には、アプリケーション開発者などのジェスチャ登録者がその機能に応じた適切なジェスチャを定義・登録することが必要となる。従来技術としては、ジェスチャ登録者が実際に行った動作を、機器の特定の制御処理に対応させてジェスチャとして登録する手法が提案されている。例えば特許文献１の手法では、ジェスチャ登録時には、まずユーザ入力認識部が撮影映像から左右の腕、肘、手、および各指などの部位の移動方向と移動量とを含むジェスチャ特徴情報を周期的に抽出してジェスチャ定義として記録する。ジェスチャ認識時には、同じように撮影映像からジェスチャ特徴情報を抽出し、事前に定義されたジェスチャ特徴情報とマッチングを行い、ジェスチャを認識する。開発者はこのように機能に応じて検討したジェスチャを自ら例示することでジェスチャの登録ができる。

特開２０１２−１８１８０９号公報

人間の自然な振る舞いを計算機への入力として利用する場合、人間の動作の中から、意図して行ったと思われる動作のみをジェスチャとして認識することが重要である。これを実現するために、アプリケーション開発者は、適切に動作をフィルタする制約条件を有したジェスチャ定義を設計することが必要となる。身体部位同士の位置関係を用いたジェスチャ定義においては、認識に利用する身体部位、関節角度などのパラメータがポーズの制約条件となり、身体部位の移動速度、関節角度などのパラメータがポーズ間遷移における制約条件の例となる。そして、開発者は、アプリケーションの内容に応じて適切な認識範囲（制約として設定するパラメータの種類、パラメータ値の範囲など）の制約条件を設けることが必要である。

しかし実際には、開発者が意図したとおりのジェスチャを定義することは難しく、評価時に定義の修正を繰り返し行うことが多い。例えば、開発者がユーザに行ってほしいジェスチャを意図して設計したとしても、実際には認識の範囲となる制約条件が広すぎる、範囲が厳しすぎる、範囲に漏れがある等の理由で、意図通りに認識しないことがある。具体的には、認識の制約条件が広すぎると、開発者が想定していなかったユーザの動きまでもジェスチャとして認識することがある。逆に制約条件が狭すぎると、開発者が意図に近い動きをユーザが行っていてもジェスチャとして認識できないことがある。これらの原因は、開発者側にとっては自らが設計したジェスチャの計算機上での認識状態が分かりづらく、逆に計算機側は開発者がジェスチャの特徴として着目しているパラメータが何か正しく判断できないことにある。このような開発者と計算機の認識を近づけ、適切な範囲の制約条件をもつジェスチャを定義できるようにすることが求められている。

この点、特許文献１では、ジェスチャ登録者の身体部位の移動方向や移動量のパラメータを制約条件としてジェスチャを登録することができる。しかし、制約条件の広さが適切に設定されたジェスチャは登録することができない。

この発明は、上述の課題に鑑みてなされたものであり、開発者の意図に沿ったジェスチャを定義して登録することが可能なジェスチャ登録装置の提供を目的とする。

本発明のジェスチャ登録装置は、ジェスチャのモーションデータを取得するモーションデータ取得部と、モーションデータに基づき、ジェスチャを構成する各ポーズにおける各身体特徴点の３次元座標を示すポーズデータを生成するジェスチャ解析部と、ポーズデータに基づき、各ポーズ時およびポーズ間遷移時におけるジェスチャの特徴を表すパラメータの制約条件を示す特徴データを算出する特徴解析部と、人体を構成する骨格の可動範囲を定義した人体動作モデルデータベースと、一部のパラメータの制約条件を満たしつつその他のパラメータを変更し、人体動作モデルデータベースに基づき骨格の可動範囲内の候補ジェスチャを生成する候補ジェスチャ生成部と、候補ジェスチャをユーザに提示し、かつ候補ジェスチャに対するユーザの操作を受け付ける入出力部と、を備え、候補ジェスチャ生成部は、入出力部において候補ジェスチャを拒否するユーザの操作を受け付けると、新たな候補ジェスチャを生成し、かつ、候補ジェスチャに対するユーザの操作に基づき、前記その他のパラメータの制約条件を決定し、ジェスチャにおける各パラメータの制約条件を示すジェスチャ定義データをジェスチャ定義データベースに登録するジェスチャ定義登録部をさらに備える。

本発明のジェスチャ登録装置は、ジェスチャのモーションデータを取得するモーションデータ取得部と、モーションデータに基づき、ジェスチャを構成する各ポーズにおける各身体特徴点の３次元座標を示すポーズデータを生成するジェスチャ解析部と、ポーズデータに基づき、各ポーズ時およびポーズ間遷移時におけるジェスチャの特徴を表すパラメータの制約条件を示す特徴データを算出する特徴解析部と、人体を構成する骨格の可動範囲を定義した人体動作モデルデータベースと、一部のパラメータの制約条件を満たしつつその他のパラメータを変更し、人体動作モデルデータベースに基づき骨格の可動範囲内の候補ジェスチャを生成する候補ジェスチャ生成部と、候補ジェスチャをユーザに提示し、かつ候補ジェスチャに対するユーザの操作を受け付ける入出力部と、を備える。候補ジェスチャ生成部は、入出力部において候補ジェスチャを拒否するユーザの操作を受け付けると新たな候補ジェスチャを生成し、かつ、候補ジェスチャに対するユーザの操作に基づき、前記その他のパラメータの制約条件を決定する。本発明のジェスチャ登録装置は、ジェスチャにおける各パラメータの制約条件を示すジェスチャ定義データをジェスチャ定義データベースに登録するジェスチャ定義登録部をさらに備える。これにより、ユーザが示したジェスチャを一部変形した様々なジェスチャを候補ジェスチャとしてユーザに提示し、それらに対するユーザ操作に基づき各パラメータの制約条件を決定することによって、ユーザが各パラメータの制約条件を漏れなく検討することができ、意図に沿った適切なジェスチャ定義を容易に登録することが出来る。

実施の形態１によるジェスチャ登録装置の構成を例示するブロック図である。 実施の形態１による身体構造テーブルに格納されるデータを例示する図である。 実施の形態１による身体可動範囲テーブルに格納されるデータを例示する図である。 実施の形態１によるジェスチャ解析部によって解析される身体特徴点を例示する図である。 実施の形態１によるジェスチャ解析部で身体特徴点の３次元座標を取得する際の座標系を例示する図である。 実施の形態１によるジェスチャ解析部が生成するポーズデータを例示する図である。 実施の形態１によるジェスチャ解析部で解析されるポーズを例示する図である。 実施の形態１によるジェスチャ解析部で解析されるポーズを例示する図である。 実施の形態１による特徴解析部が生成する特徴データを例示する図である。 実施の形態１による入出力部における候補ジェスチャの表示例を示す図である。 実施の形態１による候補ジェスチャ生成部の動作を示すフローチャートである。 実施の形態１によるジェスチャ定義データベースに格納されるジェスチャ定義データを例示する図である。 実施の形態２によるジェスチャ解析部で生成されるポーズデータを例示する図である。 実施の形態２によるジェスチャ解析部で生成されるポーズデータを例示する図である。 実施の形態３によるジェスチャ登録装置の構成を例示するブロック図である。 実施の形態３による候補ジェスチャ生成部の動作を示すフローチャートである。 実施の形態３によるジェスチャ解析部で解析されるポーズを例示する図である。 実施の形態３によるジェスチャ解析部で解析されるポーズを例示する図である。 実施の形態４によるジェスチャ登録装置の構成を例示するブロック図である。 実施の形態４による候補ジェスチャ生成部の動作を示すフローチャートである。

＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、本発明の実施の形態１によるジェスチャ登録装置の構成の一例を示すブロック図である。図１に示すように、本実施の形態１によるジェスチャ登録装置は、モーション入力部１と、ジェスチャ解析部２１と特徴解析部２２とを有するモーション解析部２と、人体動作モデルデータベース３と、候補ジェスチャ生成部４と、ジェスチャ提示部５と、入出力部６と、ジェスチャ定義登録部７と、ジェスチャ定義データベース８を備える。

モーション入力部１は、各種画像センサを用いて、ジェスチャとして定義したい人間の動きを撮影した１つの動画データを受け付け、モーション解析部２内のジェスチャ解析部２１へと入力する。動画データの例としては、ＲＧＢ画像や距離画像の時系列データが挙げられる。

人体動作モデルデータベース３には、図２に示すような人体を構成する部位の構造に関する身体構造テーブル３１と、図３に示すような関節の可動範囲に関する身体可動範囲テーブル３２が格納されている。身体のある部分が動く際には、関連する部位が同時に動く。例えば、手を移動させようとすると、手首、肘、肩も連動して移動する。このような身体の連動性から、身体は大きく６つの部位（頭部、胴体部、右腕部、左腕部、右脚部、左足部）に分けることができる。身体構造テーブル３１には、部位３１１と、部位に対応した身体特徴点３１２（後に説明するさらに詳細な部位）、各身体特徴点の接続先を示した接続先身体特徴点３１３、各部位内での身体特徴点の親子関係３１４が登録されている。身体可動範囲テーブル３２の具体的な内容は後に説明する。

モーション解析部２は、ジェスチャ解析部２１と、特徴解析部２２を有しており、それぞれ人体動作モデルデータベース３を参照しながら各種処理を行う。

＜Ａ−２．ジェスチャ解析＞
ジェスチャ解析部２１は、入力された動画データの全フレームに対して、既存の画像処理技術を用いて人間の特徴的な部位（身体特徴点）を弁別し、その３次元座標を取得する。例えば、人体構造の学習データなどを用いて、入力されたＲＧＢ画像や距離画像から身体特徴点を弁別してそれぞれの３次元座標を得る手法など、その方法は問わない。ここで判別する身体特徴点は、図２の身体特徴点３１２と一致するものである。実施の形態１では、例として図４に示すような頭から足まで１６点の身体特徴点ＦＰ１〜ＦＰ１６を弁別し、その３次元座標を取得する。図４は、動画データのとあるフレーム画像に対して身体特徴点を解析した例である。３次元座標の座標系は、図５に示す画像センサＣ１を中心とした座標系である。なお、弁別する身体特徴点の種類や数はこの例の限りではない。今後、この処理で得られた身体特徴点と３次元座標の時系列データをモーションデータＭＤと呼ぶ。すなわち、ジェスチャ解析部２１は、動画データからモーションデータを取得するモーションデータ取得部として動作する。なお、上記でモーション入力部１は動画データを受け付けたが、モーションデータを受け付けても良い。この場合、ジェスチャ解析部２１は、モーション入力部１からモーションデータを取得する。

ジェスチャ解析部２１ではさらに、弁別した身体特徴点の３次元座標の動きから、ジェスチャを構成するポーズを解析および抽出する。ジェスチャは、それを特徴づける数個のポーズを順にとることで表される。ここでジェスチャには、左腕を動かすものなど１つの部位の動きから成るものもあれば、右腕と左腕の両方を動かすものなど複数の部位が関係するものもある。特に複数部位が動く場合、ジェスチャはそれぞれの部位の動き（サブジェスチャ）の組み合わせで表される。そこで、ポーズを抽出するにあたり、モーションデータＭＤの解析は部位ごとに行う。具体的には、身体構造テーブル３１を参照し、それに記載された部位ごとの身体特徴点の動きを追い、顕著な動きが見られる部位に対して解析を行う。

ジェスチャは、開始ポーズ、終了ポーズ、および中間ポーズにより構成される。開始ポーズは、ジェスチャ又はサブジェスチャの開始時のポーズとして定義され、モーションデータＭＤ内である部位が動き始めた際のポーズとして検出できる。終了ポーズは、ジェスチャ又はサブジェスチャの終了時のポーズとして定義され、モーションデータＭＤ内である部位の動きが止まった際のポーズとして検出できる。中間ポーズは、ジェスチャの開始時から終了時の間の特徴的な時点のポーズとして定義される。特徴的な時点とは、例えばジェスチャまたはサブジェスチャが複数の移動方向を含む動きから構成される場合に、骨格の動く方向が変化する時点である。

ジェスチャ解析部２１は、モーションデータＭＤからポーズデータＰＤを作成する。図６に、ポーズデータＰＤを例示する。ポーズデータＰＤは、各身体特徴点の３次元座標ＰＤＴ１と、モーションデータＭＤ内のフレーム位置ＰＤＴ２、ジェスチャに関与する部位（ジェスチャ部位）ＰＤＴ３から構成される。例えば、開始ポーズＰ１のポーズデータＰＤ１として、ジェスチャ部位の動き始めにおける各身体特徴点の３次元座標、フレーム位置、現在解析しているジェスチャ部位を抽出する。また、終了ポーズＰ２のポーズデータＰＤ２として、ジェスチャ部位の動き終わりにおける各身体特徴点の３次元座標、フレーム位置、現在解析しているジェスチャ部位を抽出する。骨格の移動方向が変化する時点のポーズを中間ポーズとする場合、中間ポーズのポーズデータとして、３次元座標の変化量が少ないフレームのフレーム位置と、当該フレームにおける各身体特徴点の３次元座標を抽出することができる。なぜなら、骨格の移動方向が変化するときには、身体部位の動きが少なくなる傾向にあるためである。３次元座標の変化量が少ないフレームを検出するには、例えば各フレーム前後の各３次元座標の変化量を算出し、変化量が少ない数フレームのうち代表的なフレーム（例えば中間）のフレームを検出すればよい。

なお、移動方向が急激に変化する点のフレームを中間ポーズのフレームとしても良い。また、ジェスチャ解析部２１によるポーズデータＰＤの取得方法は上述の方法に限られない。

図７はジェスチャ例を示している。このジェスチャは、下した状態の左腕を、腕をのばしたまま前方向を経由して上にまっすぐ挙げるというものである。図７（ａ）はこのジェスチャの開始ポーズＰ１における身体特徴点とフレーム位置を、図７（ｂ）は終了ポーズＰ２における身体特徴点とフレーム位置をそれぞれ示している。ジェスチャ解析部２１は上記のジェスチャを示すモーションデータＭＤを解析し、ポーズデータＰＤ１，ＰＤ２を生成する。ポーズデータＰＤ１は、開始ポーズＰ１における各身体特徴点の３次元座標、フレーム位置、およびジェスチャ部位であり、ポーズデータＰＤ２は、終了ポーズＰ２における各身体特徴点の３次元座標、フレーム位置、およびジェスチャ部位である。なお、ジェスチャ部位としては、顕著に動作する部位として身体可動範囲テーブル３２から「左腕部」という部位を取得する。

図８は、別のジェスチャを示している。このジェスチャは、下した状態の左腕を体前方に伸ばし、その後左方向へ移動するというものである。図８（ａ）は開始ポーズＰ３における身体特徴点とフレーム位置を、図８（ｂ）は中間ポーズＰ４における身体特徴点とフレーム位置を、図８（ｃ）は終了ポーズＰ５における身体特徴点とフレーム位置を、それぞれ示している。ジェスチャ解析部２１は上記のジェスチャを示すモーションデータＭＤを解析し、各ポーズＰ３〜Ｐ５に対応するポーズデータＰＤ３〜ＰＤ５を生成する。

図７，８では一つの部位が移動するジェスチャを例示した。しかし、例えば右腕と左腕を同時に動かすジェスチャの場合は、右腕と左腕のそれぞれに属する身体特徴点に着目してモーションデータＭＤを解析し、各部位の動き始め、動き終わり、および途中の姿勢のポーズデータＰＤを抽出する。

＜Ａ−３．特徴解析＞
特徴解析部２２は、ジェスチャ解析部２１からモーションデータＭＤとポーズデータＰＤを取得し、これらに基づきジェスチャを特徴付ける特徴データＦＤを算出する。特徴データＦＤの例を図９に示す。図９に示す特徴データＦＤは、ジェスチャ部位ＦＤ１，主な移動方向ＦＤ２，重要身体特徴点ＦＤ３，重要身体特徴点の配置特徴ＦＤ４，ポーズ間遷移時の関節角度ＦＤ５，移動速度ＦＤ６の６項目を有している。ジェスチャ部位ＦＤ１は、ジェスチャに関与する人体の部位を示す。主な移動方向ＦＤ２は、ジェスチャにおいてジェスチャ部位が移動する主な方向を示す。重要身体特徴点ＦＤ３は、ジェスチャを特徴づける身体特徴点を示し、詳しくは後述する。なお、複数部位のポーズデータが存在する場合には、各部位のポーズが発生するタイミングも特徴データの１項目とすることができる。

このような特徴データを後に説明する候補ジェスチャの生成処理に用いることで、ユーザが入力したジェスチャの特徴から大きく外れない範囲で、一部のパラメータが異なる候補ジェスチャを作成することができる。なお、特徴データＦＤの項目はこの限りでなくともよい。

以下、図７に示すポーズのポーズデータＰＤを取得した例を用い、特徴データＦＤの算出方法について説明する。

ジェスチャ部位ＦＤ１は、ポーズデータＰＤのジェスチャ部位ＰＤＴ３から取得する。図７の例でのジェスチャ部位ＦＤ１は左腕部となる。以下、同一のジェスチャ部位ＦＤ１を持ち、かつ連続した２つのポーズデータごとに処理を行う。

まず、２つのポーズ間においてジェスチャ部位ＦＤ１の移動が発生する空間（移動空間）を求める。各ポーズ間のモーションデータＭＤを参照し、ジェスチャ部位を構成する各身体特徴点の座標の最大値および最小値を、ｘ，ｙ，ｚ軸のそれぞれについて求める。そして、その範囲を満たす直方体領域を身体特徴点の移動空間とし、さらに全ての身体特徴点の移動区間を満たす領域をジェスチャ部位の移動空間とする。

次に、ジェスチャ部位の主要な移動方向ＦＤ２を算出する。ジェスチャ部位のうち、最も移動量が大きな身体特徴点を求め、その身体特徴点の移動方向の主成分（第１成分）を算出する。具体的に、例えば移動量が大きな身体特徴点は、各ポーズ間のモーションデータＭＤを用いて各身体特徴点の移動量を算出した中で、それが最も大きなものとする。例えば、図７の例では、左手が最も移動量の大きな身体特徴点となる。ただし、関節の曲げが発生せず２つ以上の部位が平行移動する動作の場合など、ほぼ同じ移動量の身体特徴点が２つ以上ある場合は、それら全てを算出対象とする。移動方向は、最も移動量の大きな身体特徴点の動きを基準として算出する。具体的には、その身体特徴点の移動空間を構成する各軸の範囲と、連続した２つのポーズのうち最初のポーズにおける当該身体特徴点の３次元座標の差分を計算することで、連続した２つのポーズのうち最初のポーズの座標を基準に、ｘ，ｙ，ｚ軸正負の６方向のうち最も大きく移動した方向を移動方向の主成分として算出する。例えば、図７ではｙ軸正方向が移動方向の主成分（第１成分）となる。また、２番目、３番目に主要な方向も同様に求め、２番目（第２成分）はｚ軸負方向、３番目（第３成分）はｘ軸負方向となる。

次に、ジェスチャ部位のうち、人間が特に意識して動かしていると考えられる身体特徴点（重要身体特徴点ＦＤ３）を推定する。人間がジェスチャを行う際、意識的に動かそうとした部位は大きく動くことが多い。例えば関節の曲げを伴うジェスチャ（伸ばした腕を曲げるなど）では、その部位の端点（手）が大きく動く。そこで、最も移動量が大きな身体特徴点が一意に求まった場合、それを重要身体特徴点ＦＤ３とする。図７の例では、「左手」が重要身体特徴点ＦＤ３となる。ただし、例えば、２つの身体特徴点をその２点から成る骨格と同じ方向へ平行移動させるジェスチャなどの場合には、複数の身体特徴点の移動量がほぼ同一になる。このように、移動量が大きな身体特徴点が２点以上ある場合、移動方向の主成分の方向により近い身体特徴点を重要身体特徴点ＦＤ３とする。

次に、連続した２つのポーズのうち最初のポーズと最後のポーズに対して、重要身体的特徴点の配置特徴ＦＤ４を算出する。具体的には、重要身体特徴点ＦＤ３と、ジェスチャ部位ＦＤ１内で最も親となる身体特徴点（身体構造テーブル３１の親子関係３１４で親のない身体特徴点）との相対位置を、重要身体的特徴点の配置特徴ＦＤ４とする。図７に示したポーズＰ１，Ｐ２の例では、重要身体特徴点ＦＤ３が左手で、最も親となる身体特徴点が肩である。したがって、左手と肩の３次元座標の差分を取り、３軸のうち最も差分が大きい順に、重要身体的特徴点の配置特徴ＦＤ４の第１成分、第２成分、第３成分を決定する。ポーズＰ１，Ｐ２の例では、第１成分がｙ軸、第２成分がｚ軸、第３成分がｘ軸となる。また、重要身体特徴点ＦＤ３とジェスチャ部位ＦＤ１内の他の身体特徴点との上記第１〜第３成分に関する相対位置方向も、重要身体的特徴点の配置特徴ＦＤ４として算出する。開始ポーズＰ１の場合、重要身体的特徴点の配置特徴ＦＤ４の第１成分はｙ軸、第２成分はｚ軸、第３成分はｘ軸であるので、左手と肘に対してｙ軸、ｚ軸、ｘ軸に関する座標の差分を計算する。この結果、左手は肘と肩に対してｙ軸負方向、ｚ軸負方向およびｘ軸負方向にあるとのデータを得る。

次に、関節角度ＦＤ５を、連続した２つのポーズの各ポーズ時や、各ポーズ間の遷移時について算出する。関節は骨格（並んだ２つの身体特徴点を結んだ線分）同士が繋がる点であり、関節角度は骨格間の角度として定義される。骨格方向は、方向ベクトルとして２点の身体特徴点の３次元座標から算出され、２つの骨格方向の方向ベクトルから関節角度が算出される。各ポーズ時の関節角度は上記の方法で求める。ポーズ間遷移時の関節角度については、ポーズ間のモーションデータＭＤ内の全てのフレームについてジェスチャ部位の関節角度を求めた上で、連続する２フレームごとにその差分を計算し、最大関節角度と最小関節角度を求める。

ポーズ遷移時の移動速度ＦＤ６は、例えば連続した２つのポーズの間のモーションデータＭＤのフレーム数とする。

このように特徴データＦＤの算出方法を示したが、特徴データＦＤを構成する各種パラメータの算出方法に関してはこの限りではない。

＜Ａ−４．候補ジェスチャの生成からジェスチャ定義登録まで＞
次に、候補ジェスチャ生成部４、ジェスチャ提示部５、入出力部６、ジェスチャ定義登録部７、ジェスチャ定義データベース８について説明する。

候補ジェスチャ生成部４は、特徴解析部２２にて算出した特徴データＦＤを用いて、ジェスチャの基本的な特徴は残しつつも、入力されたモーションデータＭＤを構成する一部パラメータの制約条件の範囲を変更した候補ジェスチャの定義データを生成する。このとき、人体動作モデルデータベース３の身体可動範囲テーブル３２を参照し、人間の身体が実行可能な候補ジェスチャを生成する。生成した候補ジェスチャの定義データは、ジェスチャ提示部５に送信する。また、候補ジェスチャに対するユーザの反応を反映し、新たな候補ジェスチャを作成する。

ここで、図３に示す身体可動範囲テーブル３２について説明する。身体可動範囲テーブル３２には、各関節の可動範囲が記録されている。具体的には部位３２１と各部位に含まれる関節３２２、関節を構成する身体特徴点３２３、関節の動作３２４、動作ごとの可動範囲３２５が登録されている。可動範囲３２５は、人間の自然な姿勢の状態から＋方向および−方向に関節を動かすことができる限界の角度を示している。

ジェスチャ提示部５は、候補ジェスチャ生成部４で生成した候補ジェスチャ定義データの内容を、開発者などのユーザが把握しやすい形の描画データに変換し、入出力部６に送信する。さらに、候補ジェスチャに対する反応をユーザに促す表示も作成し、入出力部６に送信する。また、入出力部６からのユーザの入力を受け付け、その内容を候補ジェスチャ生成部４に送信する。

入出力部６は、開発者などのユーザに対し候補ジェスチャの内容を表示し、かつユーザによる入力（候補ジェスチャに対する選択操作など）を受け付ける。入出力部６によるユーザへの表示例を、図１０に示す。図１０では、出力画面６１上に候補ジェスチャ提示エリア６２とユーザ操作エリア６３が設けられている。候補ジェスチャ提示エリア６２にはポーズＰ１，Ｐ２の候補とポーズ間遷移条件の候補がそれぞれ表示されている。図１０は、開始ポーズＰ１の左手の位置に関する候補を表示しているときの例であり、左腕の候補の様子６２１とその座標６２２、変更前の左手の位置６２３を表示している。候補の表示内容に関しては、図１０のように候補を１つずつ表示してもよいし、候補を一度に複数表示してもよい。またユーザ操作エリア６３には、例えばユーザの反応をシステムへ入力するよう促すメッセージ６３１や、入力ボタン６３２が表示されているものとする。候補ジェスチャに対する操作の例としては、図１０のように提示された候補ジェスチャの許容可否を選択させるものの他、許容できるジェスチャのパラメータの範囲を選択させるもの、複数候補からどれが良いかを選択させるものなどでもよく、この限りではない。

このように、候補ジェスチャを入出力部６でユーザに提示し、候補ジェスチャに対するユーザの反応に基づき、制約条件を変えた候補ジェスチャを作成するという流れを繰り返すことによって、ジェスチャの制約条件を１つずつ決定し、ジェスチャ定義を生成する。

最終的にジェスチャ定義が決定すれば、ジェスチャ提示部５がそのジェスチャ定義データをジェスチャ定義登録部７に送信する。

ジェスチャ定義登録部７は、受け取ったジェスチャ定義データを、ジェスチャ定義データベース８に登録する。ジェスチャ定義データベース８に登録された内容は、ジェスチャ認識アプリケーションを備えた装置などが、ジェスチャ認識時に参照することができる。

＜Ａ−５．候補ジェスチャの生成＞
以下、候補ジェスチャ生成部４による候補ジェスチャの定義データの生成について具体的に説明する。

同じような動きを行うジェスチャであっても、開発者のジェスチャに対するイメージによって、ジェスチャ認識条件は変化する。例えば、図７のジェスチャの例は、肘をほとんど曲げず左手をまっすぐ上に挙げるジェスチャを示しているが、この通りにしなければ「左手を上に上げる」ジェスチャとして認識させないようにしたいと開発者が考える場合がある。他方、真っ直ぐに手を上げてはいるが肘が曲がっている場合や、肘は曲がっていないが手が肩の斜め上方向に上げるジェスチャも、「手を上に上げる」ジェスチャとして認識して良いと開発者が考える場合もある。もし、単純に手が肩より上部に上がっていれば良いと開発者が考えるなら、肘の角度や、手の細かな位置に対する制約条件は設けなくても良い。その中間で、ある一定の範囲内の位置に手が存在すればよい、一定範囲内であれば肘が曲がっていても良いという条件で、ジェスチャを検討する場合もある。このように、ジェスチャを構成する各パラメータの制約条件には、制約が最も強い「特定値」、中間の「一定範囲」、最も弱い「自由」の３段階の強さが考えられる。実施の形態１での候補ジェスチャ生成部４は、人体動作モデルデータベース３の身体可動範囲テーブル３２を参照し、人体が動ける範囲内で、ジェスチャを構成するポーズのパラメータ、およびポーズ間遷移中のパラメータを変更し、候補ジェスチャを生成する。

図１１は、候補ジェスチャ生成処理のフローチャートである。以下、図１１に沿って候補ジェスチャ生成処理を説明する。まず、候補ジェスチャ生成部４は特徴解析部２２から、ジェスチャデータとしてジェスチャの特徴データＦＤやポーズデータＰＤを取得する（ステップＳ１）。以下、図６に示すポーズデータＰＤと図９に示す特徴データＦＤを取得したものとして、説明を行う。

その後、候補ジェスチャ生成部４は、ジェスチャの本質を示す基本制約条件ＢＲを算出する（ステップＳ２）。これは、パラメータを変更した結果、本来のジェスチャの特徴から大きく外れてしまわないように、最低限守るべきパラメータの制約条件を算出することを意味する。基本制約条件ＢＲは、各ポーズにおける重要身体特徴点の位置に関する制約条件ＢＲ１と、ポーズ間遷移時の重要身体特徴点の移動方向に関する制約条件ＢＲ２の２種類から成る。これを算出するにあたり、２つの連続するポーズごとに、それら２つのポーズデータＰＤと特徴データＦＤを用いて、以下の処理を行う。

重要身体特徴点ＦＤ３の位置に関する制約条件ＢＲ１は、特徴データＦＤ内の各ポーズにおける重要身体的特徴点の配置特徴ＦＤ４の第１成分とする。ここで、開始ポーズＰ１の第１成分はｙ軸負方向である。なお、第２成分はｚ軸負方向、第３成分はｘ軸負方向である。また、終了ポーズＰ２の第１成分はｙ軸正方向である。なお、第２成分はｚ軸負方向、第３成分はｘ軸負方向である。すなわち、開始ポーズＰ１で左手が肘や肩よりｙ軸負方向の位置にあることと、終了ポーズＰ２で左手が肘や肩よりｙ軸正方向の位置にあることが、制約条件ＢＲ１となる。言い換えれば、重要身体特徴点の他の身体特徴点に対する配置特徴が、制約条件を有する固定パラメータとなる。

重要身体特徴点ＦＤ３の移動方向に関する制約条件ＢＲ２は、特徴データＦＤ内の遷移中の主要な移動方向ＦＤ２（第１成分、第２成分、第３成分）とする。この例では、第１成分はｙ軸正方向、第２成分はｚ軸負方向、第３成分はｘ軸負方向である。言い換えれば、ポーズ間遷移時に最も移動距離の長い身体特徴点の移動方向が、制約条件を有する固定パラメータとなる。

したがって、図９に示す特徴データＦＤの例において基本制約条件ＢＲは、左手が、肘や肩よりｙ軸負方向の開始ポーズＰ１の位置から、大きくｙ軸正方向へｚ軸負方向への移動を伴って遷移し、肘や肩よりｙ軸正方向の終了ポーズＰ２の位置にたどり着くという内容になる。なお、基本制約条件ＢＲの算出方法は、この限りではない。

次に、候補ジェスチャ生成部４は、ステップＳ２で求めた基本制約条件ＢＲを満たす範囲で、ポーズとポーズ間遷移時のパラメータをそれぞれ変更し、候補ジェスチャを生成する（ステップＳ３）。但し、人体動作モデルデータベース３の身体可動範囲テーブル３２の可動範囲３２５を参照し、人体が動作可能な範囲でパラメータを変更する。ここで変更する変動パラメータとしては、ポーズのパラメータとしてジェスチャ部位の関節角度、ポーズ間遷移時のパラメータとして移動中の関節角度、移動速度が挙げられる。

以下、パラメータの変更方法を具体的に説明する。まず、各ポーズのパラメータについては、ジェスチャ部位の関節角度を変更し、ポーズの定義を生成する。ここで、関節角度は実質的に関節を構成する３点の身体特徴点の座標により決まる。そこで、候補ジェスチャ生成部４は、重要身体特徴点ＦＤ３および他の身体特徴点の座標を３次元座標軸ごとに変更する。なお、変更は重要身体特徴点から他の身体特徴点に対して順に行い、各身体特徴点においては重要身体的特徴点の配置特徴ＦＤ４の第１成分の軸から順に行う。図９の特徴データＦＤの例では、左手のｙ軸方向のパラメータを最初に変更する。基本的には身体可動範囲テーブル３２の可動範囲３２５を満たすようにパラメータを変更するが、重要身体特徴点ＦＤ３に関しては、さらに先に求めた基本制約条件ＢＲも同時に満たすようにする。

制約条件を決定するため、最初に基本制約条件ＢＲや可動範囲３２５の限界まで大きくパラメータを変更し、ユーザの入力に基づき徐々にその変更幅を絞る。図９の特徴データＦＤの例において、重要身体特徴点ＦＤ３である左手は、左肩および左肘よりｙ軸負方向にあるという基本制約条件ＢＲがある。そこで、まず左手の３次元座標のｙ軸成分を、部位の中で最もｙ座標値が大きな左肩のｙ軸成分に限界まで近づけた座標に設定する。左手の親である左肘の座標は、左手の位置から逆にその位置を算出するインバースキネマティクス技術などにより求められる。

このようにして候補ジェスチャ生成部４は身体特徴点の座標を変化したポーズデータを、候補ジェスチャデータとしてジェスチャ提示部５に送信する（ステップＳ４）。ジェスチャ提示部５は候補ジェスチャデータを図１０に例示する態様で入出力部６を通してユーザに提示する。

入出力部６を通じてユーザによる候補ジェスチャ選択操作が入力されると、候補ジェスチャ生成部４は、その入力結果をジェスチャ提示部５から受信する（ステップＳ５）。ここでは、ユーザが候補ジェスチャ選択操作の一例として、候補ジェスチャがユーザにとって許容できるか否かを選択するものとする。候補ジェスチャ生成部４は、候補ジェスチャの許容可否を判断する（ステップＳ６）。候補ジェスチャを許容できるとの入力結果であれば（ステップＳ６でＹｅｓ）、ステップＳ７へ進む。ステップＳ７では、全てのパラメータに関する処理を行ったか否かを判断する。ここでは、まだ重要身体的特徴点の配置特徴ＦＤ４の第１成分であるｙ軸成分しか変更処理を行っていない（ステップＳ７でＮｏ）。そこで、ステップＳ３に戻り、第２成分、第３成分であるｚ軸、ｘ軸についても順に変更を行う。

ユーザの入力結果が、候補ジェスチャを許容できないとのものであれば、ステップＳ３に戻り、左手のｙ軸成分のｙ座標を、従来のジェスチャデータの左手の座標に近づくように設定する。例えば、左肘のｙ軸成分に限界まで近づけた座標に設定する。そして、当該ポーズデータをジェスチャ提示部５に送信する（ステップＳ４）。これを、ユーザが候補ジェスチャを許容できると入力するまで繰り返す。

ｘ，ｙ，ｚ軸成分の全てについて変更後の座標が確定すれば、左手に対する位置の制約条件（取り得る位置の範囲）が求まる。次は、左手に接続する左肘の座標を変更した候補ジェスチャを作成する処理を行う。左肘は、先に求めた左手の位置の制約条件の範囲内で、可動範囲３２５に基づいて座標を変更した候補のポーズデータを作成し、同様に位置の制約条件を生成する。そして、左手と左肘、左肩の位置の配置特徴を定めた重要身体的特徴点の配置特徴ＦＤ４から、ポーズ全体の制約条件（定義）について決定する。ある身体特徴点について、可動範囲３２５以外の新たな制約条件が生まれなかった場合（変更したパラメータが全てユーザに受け入れられた場合）、その身体特徴点の制約条件の制約強度は「自由」となり、ジェスチャ定義におけるポーズの定義としては考慮しない。ある身体特徴点に位置の制約条件（位置の範囲）が加わった場合、制約条件の制約強度は「一定範囲」となり、その座標がとりうる範囲をジェスチャ定義におけるポーズ定義として設定する。一方ジェスチャ部位の全ての座標が元のパラメータ変更前と同じとなる場合（ユーザに候補のポーズを提示したが全て受け入れられなかった場合）、制約条件の制約強度は最も強い「特定値」となり、その座標をジェスチャ定義におけるポーズ定義として設定する。各身体特徴点の制約条件（座標や座標の範囲）を定義として設定する際、他の近い位置にある身体特徴点を基準とした相対位置を算出し設定する（例えば開始ポーズＰ１の左手の場合は左臀部を基準とする）。ただしこの限りではなく、３次元空間における絶対位置を設定してもよい。

次に、ステップＳ３に戻り、ポーズのパラメータと同様に、ポーズ間遷移時のパラメータである移動時の関節角度、移動速度を変更する。移動時の関節角度は、基本制約条件ＢＲの主要な移動方向を踏まえたうえで変更する。関節角度の制約条件についても、関節角度を考慮しない「自由」、関節角度に範囲を設ける「一定範囲」、移動中は前後のポーズでの関節角度を維持する「特定値」の３段階が考えられる。

そこで候補ジェスチャ生成部４は、上記で求めた移動前後のポーズの制約条件も加味しつつ、その範囲内で各関節角度を１つずつ変更する。まず前後のポーズで同じ関節角度を取れるか否かを計算する。同じ関節角度を取れないものであれば、制約条件は「一定範囲」または「自由」となる。候補ジェスチャ生成部４は、例えば可動範囲３２５を考慮してジェスチャ部位の各関節が取り得る最大角度と最小角度を算出し、それを候補ジェスチャデータとしてジェスチャ提示部５に送信する（ステップＳ４）。

ジェスチャ提示部５は、候補ジェスチャデータから得られた関節角度のデータを基に、ポーズ間を移動するジェスチャ部位の身体特徴点の座標を計算する。その結果はユーザが分かりやすい形（例えば動画データなど）に変換され、遷移中の動きの候補として、入出力部６へと送信される。ポーズの場合と同様、ユーザは候補を許容するか否かを選択入力し、入力結果は入出力部６からジェスチャ提示部５を介して候補ジェスチャ生成部４が受信する（ステップＳ５）。

初めてのステップＳ６で候補ジェスチャデータが許容されれば（ステップＳ６でＹｅｓ）、関節角度はどのような範囲でも良い「自由」と設定される。すなわち、関節角度は遷移中のパラメータとして定義されない。一方、許容されなければ、ステップＳ３に戻って、候補ジェスチャがユーザに許容されるまで、関節の最大角度または最小角度を変更する。ユーザが許容した関節角度の最大角度と最小角度が、「一定範囲」としてポーズ遷移時の制約条件となる。

関節角度の特定値のみがユーザに許容される場合は、当該「特定値」がポーズ遷移時の制約条件となる。このような場合は、遷移前後のポーズで関節角度が同じであり、関節角度が一定値のまま移動を行うこととなる。

また、ポーズ遷移の移動速度に関しては、特徴データＦＤの移動速度ＦＤ６を基に、速度の倍率を変更した候補ジェスチャを作成する（ステップＳ３）。なお、候補ジェスチャ生成部４には予め、速度の倍率の最大値および最小値が登録されており、最大倍率および最小倍率で速度を変更した２パターンの候補ジェスチャを作成する。当該候補ジェスチャは候補ジェスチャ生成部４からジェスチャ提示部５へ送信され（ステップＳ４）、描画データに変換される。ジェスチャ提示部５は、候補ジェスチャを作成する元となったモーションデータＭＤを用いる等して、上記倍率に速度を変更した動画を作成し、入出力部６にて表示する。

ユーザは候補ジェスチャを許容するか否かを選択入力し、入力結果は入出力部６からジェスチャ提示部５を介して候補ジェスチャ生成部４が受信する（ステップＳ５）。

ここで、候補ジェスチャは速度の倍率を最大値と最小値で変更したものである。ポーズ遷移の移動速度に関する初めてのステップＳ６で、当該候補ジェスチャがユーザに許容されれば（ステップＳ６でＹｅｓ）、移動速度はどのような範囲でも良い「自由」と設定される。すなわち、移動角度は遷移中のパラメータとして定義されない。候補ジェスチャが許容されなかった場合（ステップＳ６でＮｏ）、ステップＳ３に戻り、倍率を変更した候補ジェスチャの生成とユーザへの提示を、ユーザが候補ジェスチャを許容するまで繰り返す。そして、移動速度がある範囲で許容されれば「一定範囲」として、当該範囲を移動速度の制約条件として定義する。一方、倍率を変更した結果、元の特徴データＦＤの移動速度まで収束した場合、「特定値」として当該移動速度を制約条件として定義する。

なお、上述の各種パラメータ変更方法は一例であり、これ以外の方法を用いても良い。

上述の処理が全てのパラメータについて行われると（ステップＳ７でＹｅｓ）、各ポーズおよびポーズ間遷移時の各種パラメータに対する制約条件が設定され、ジェスチャ定義が生成される（ステップＳ８）。

図１２は、図７に示すジェスチャ（左腕を降ろした状態から、腕をのばした状態で前方向を経由し、上にまっすぐに挙げるジェスチャ）に対し、ユーザの入力に応じて生成したジェスチャ定義データを示している。ジェスチャ定義データは、ジェスチャ番号８１と、ポーズ８２、ジェスチャ部位８３、および制約条件８４を含んでいる。なお、ユーザの入力内容は、各ポーズで左手の位置はｙ軸方向に一定の認識幅を持たせてもよく、左肘の位置は自由で、ポーズ遷移中の関節角度や移動速度は、ｙ軸正方向かつｚ軸負方向に動いていれば自由で良い、というものとする。

＜Ａ−６．変形例＞
なお、上述したジェスチャ定義方法は、ユーザに対して候補ジェスチャの可否を選択させる例であったが、他の方法でジェスチャの定義を行っても良い。例えば、候補ジェスチャに対して直接的にユーザがパラメータの範囲を入力しても良い。また、パラメータごとに、変更をしない、あるいはパラメータを考慮しない旨をユーザが入力できるようにし、それを基にジェスチャ定義を生成してもよい。

また、上述の例では、１つずつ順番に変更するパラメータを提示していたが、ユーザが自由にパラメータを選択してパラメータの制約条件を設定できるようにしてもよい。このような場合、ユーザが所望のパラメータの制約条件を設定した後、ジェスチャ定義登録部７に送信するジェスチャ定義データを決定するためのボタンなどの入力手段をユーザ操作エリア６３（図１０参照）に設けても良い。また、制約条件として「特定値」が設定された場合、認識しやすさを考慮して、その値の前後でも認識できるようにする一定範囲を設けても良い。

また、複数部位のポーズデータＰＤが存在する場合、特徴解析部２２にて各ポーズのフレーム位置から、各部位の移動タイミングの特徴を抽出し、ジェスチャの制約条件に加えても良い。すなわち、各部位が同時に動き始めるか、ある部位が他の部位より先に動くか後に動くかなどの順番を制約条件とする。そして、候補ジェスチャ生成部４では各部位のポーズの順序を守った、あるいは変更したジェスチャ定義を生成する。

＜Ａ−７．効果＞
実施の形態１に係るジェスチャ登録装置１０１は、ジェスチャ解析部２１、特徴解析部２２、人体動作モデルデータベース３、候補ジェスチャ生成部４、入出力部６およびジェスチャ定義登録部７を備えている。ジェスチャ解析部２１は、ジェスチャのモーションデータを取得するモーションデータ取得部として動作する。また、ジェスチャ解析部２１は、モーションデータに基づき、ジェスチャを構成する各ポーズにおける各身体特徴点の３次元座標を示すポーズデータを生成する。特徴解析部２２は、ポーズデータに基づき、各ポーズ時およびポーズ間遷移時におけるジェスチャの特徴を表すパラメータの制約条件を示す特徴データを算出する。人体動作モデルデータベース３は、人体を構成する骨格の可動範囲を定義する。候補ジェスチャ生成部４は、一部のパラメータの制約条件を満たしつつその他のパラメータを変更し候補ジェスチャを生成する。また、入出力部６において候補ジェスチャを拒否するユーザの操作を受け付けると、新たな候補ジェスチャを生成し、候補ジェスチャに対するユーザの操作に基づき、前記その他のパラメータの制約条件を決定する。入出力部６は、候補ジェスチャをユーザに提示し、かつ候補ジェスチャに対するユーザの操作を受け付ける。ジェスチャ定義登録部７は、ジェスチャにおける各パラメータの制約条件を示すジェスチャ定義データをジェスチャ定義データベース８に登録する。以上の構成によれば、ユーザ（ジェスチャ登録者）が１つのモーションデータをジェスチャ登録装置１０１に入力すると、特徴解析部２２で解析したモーションデータの基本的な特徴を残しつつ、他のパラメータを変更した候補ジェスチャがユーザに提示される。そして、候補ジェスチャに対するユーザの反応を踏まえて各パラメータの制約条件が決定されるので、ユーザは各パラメータの制約条件を漏れなく検討することができる。したがって、意図に沿った適切なジェスチャ定義を容易に登録することが出来る。

また、候補ジェスチャ生成部４は、人体動作モデルデータベース３に基づき骨格の可動範囲内の候補ジェスチャを生成するため、実際に人体が動作可能なジェスチャ定義を登録することが出来る。

また、候補ジェスチャ生成部４は、ジェスチャを定義するパラメータを固定パラメータと変動パラメータに分け、固定パラメータの制約条件（基本制約条件ＢＲ）を満たしつつ、変動パラメータを変更して候補ジェスチャを生成する。そして、各ポーズ時における固定パラメータは、ジェスチャにおいて最も移動距離の長い身体特徴点の他の身体特徴点に対する配置特徴や、ジェスチャにおいて最も移動距離の長い前記身体特徴点の移動方向を含む。したがって、モーションデータの基本的な特徴を残しつつ、他のパラメータを変更した候補ジェスチャを生成することができる。

＜Ｂ．実施の形態２＞
実施の形態１では、ユーザが１つの動画データを通してモーションデータを入力すると、ジェスチャ登録装置１０１はそれに対する候補ジェスチャをユーザに提示し、ユーザの反応を基にジェスチャ定義を作成した。実施の形態２では、ジェスチャ登録装置１０１の別のジェスチャ定義作成方法を説明する。すなわち、ジェスチャ登録装置１０１は複数の動画データを通して複数のモーションデータを受けると、当該複数のモーションデータが満たすジェスチャの制約条件を算出し、それを基に候補ジェスチャをユーザに提示する。ユーザは、登録したいジェスチャ定義に関し、考え得る複数個のモーションデータをジェスチャ登録装置に例示することで、意図した候補ジェスチャが提示され、簡単にジェスチャ定義を作成することができる。

＜Ｂ−１．動作＞
モーション入力部１は、複数の動画データあるいは複数のモーションデータの入力を受け付け、ジェスチャ解析部２１に送信する。本実施の形態では、２種類のモーションデータＭＤ１，ＭＤ２が入力されるとして説明を行う。

図１３はモーションデータＭＤ１のジェスチャを、図１４はモーションデータＭＤ２のジェスチャを示している。モーションデータＭＤ１のジェスチャは、図７に示すジェスチャと同様、左腕を下にまっすぐ降ろした状態から、腕を伸ばした状態を保って前方向を経由して上部に移動させるジェスチャに関する。モーションデータＭＤ２は、右臀部の近くへ斜めに下した左腕を、前方向を経由して左上部へ移動させるジェスチャに関する。

モーション解析部２のジェスチャ解析部２１と特徴解析部２２は、複数のモーションデータに対し、それぞれ実施の形態１と同様の処理を行って特徴データＦＤ１１、ＦＤ１２を生成する。特徴データＦＤ１１は実施の形態１の特徴データＦＤと同じである。特徴データＦＤ１２では、ジェスチャ部位ＦＤ１が左腕部、主要な移動方向ＦＤ２の第１成分がｙ軸正方向、第２成分がｘ軸負方向、第３成分がｚ軸負方向、重要身体特徴点ＦＤ３は左手となる。また、重要身体的特徴点の配置特徴ＦＤ４として、ポーズＰ２１の第１〜第３成分はそれぞれｙ軸、ｘ軸、ｚ軸、ポーズＰ２２の第１〜第３成分はｙ軸、ｘ軸、ｚ軸、遷移時の関節角度ＦＤ５は最大値および最小値共に１７０、移動速度ＦＤ６は７０となる。

候補ジェスチャ生成部４は、特徴データＦＤ１１とＦＤ１２を含む複数のジェスチャデータを受け取り、そこから各特徴を満たすパラメータの制約条件を生成する。

図１１のフローチャートに沿って、以下候補ジェスチャ生成部４の候補ジェスチャ生成処理を説明する。まず、特徴解析部２２から複数のジェスチャデータを受信し（ステップＳ１）、複数のモーションデータの特徴を満たす統一基本制約条件ＢＲＣを生成する（ステップＳ２）。

統一基本制約条件ＢＲＣは、モーションデータごとの基本制約条件ＢＲの和である。基本制約条件ＢＲは、各ポーズにおける重要身体特徴点の位置に関する制約条件ＢＲ１と、ポーズ間遷移時における重要身体特徴点の移動方向に関する制約条件ＢＲ２の２種類からなる。この例でモーションデータＭＤ２の基本制約条件ＢＲは、重要身体部位である左手が、肘や肩より主にｙ軸負方向の開始ポーズＰ２１の位置から、大きくｙ軸正方向へｘ軸負方向への移動を伴って遷移し、肘や肩よりｙ軸正方向の終了ポーズＰ２２にたどり着くという内容を示す。これをモーションデータＭＤ１の基本制約条件ＢＲとあわせて、統一基本制約条件ＢＲＣが得られる。その内容は、重要身体部位である左手が、肘や肩より主にｙ軸負方向であって開始ポーズＰ１１から開始ポーズＰ２１の範囲の位置を起点とし、大きくｙ軸正方向へｚ軸負方向およびｘ軸負方向への移動を伴って遷移し、肘や肩よりｙ軸正方向であって終了ポーズＰ１２から終了ポーズＰ２２の範囲の位置にたどり着く、というものである。

次に、候補ジェスチャ生成部４は上記で求めた統一基本制約条件ＢＲＣを基に、まず複数モーションデータの特徴を満たす、ポーズとポーズ間遷移時のパラメータの制約条件を候補ジェスチャとして生成する（ステップＳ３）。パラメータの制約条件には、各ポーズにおけるジェスチャ部位の関節角度、ポーズ間遷移時におけるジェスチャ部位の関節角度、移動速度がある。

各ポーズにおけるジェスチャ部位の関節角度に関する制約条件は、実施の形態１と同様、各身体特徴点の座標を基に算出する。例えば、左手に関する制約条件は、ポーズＰ１１、Ｐ２１における各左手のｘ、ｙ、ｚ座標それぞれの範囲（一定範囲）とする。

ポーズ間遷移時におけるジェスチャ部位の関節角度に関する制約条件は、それぞれの特徴データの遷移時の関節角度ＦＤ５を参照し、その最大値および最小値からなる範囲の和を制約条件とする。この例では、全て１７０度であるため、関節角度は１７０度を保って動くという「特定値」の制約条件となる。

ポーズ間遷移時の移動速度に関する制約条件は、それぞれの特徴データＦＤ１１，１２における移動速度の範囲の和とする。ここでは、特徴データＦＤ１１の移動速度が６０、特徴データＦＤ１２の移動速度が７０であるので、移動速度６０〜７０の「一定範囲」が制約条件となる。

候補ジェスチャ生成部４は、このように求めた制約条件を記載した候補ジェスチャの定義データを、ジェスチャ提示部５に送信する（ステップＳ４）。

ジェスチャ提示部５では、各ポーズの制約条件やポーズ間遷移中の制約条件を、ユーザにとって分かりやすい表示形態に変換して、入出力部６の候補ジェスチャ提示エリア６２に表示する。ここで、ユーザ操作エリア６３には、現在の候補ジェスチャの制約条件がユーザにとって許容できるか否かの選択操作を促すような表示や、変更したいパラメータを選択して変更内容を入力できるような表示がなされる。

ユーザが入出力部６に対し、例えば現在の候補ジェスチャの制約条件がユーザにとって許容できるか否かの選択操作を行う。候補ジェスチャ生成部４は、その入力結果をジェスチャ提示部５を介して受信する（ステップＳ５）。

ユーザが現在の候補ジェスチャを許容しなければ（ステップＳ６でＮｏ）、ステップＳ３に戻り、パラメータを変更した候補ジェスチャの生成とユーザへの提示を、ユーザが候補ジェスチャを許容するまで繰り返す。なお、新たな候補ジェスチャの生成は、実施の形態１と同様に、設定されている制約条件や身体の可動範囲３２５を参照しながら行う。あるいは、新たなモーションデータの入力をモーション入力部１で受け付け、新たなモーションデータの特徴データも加味した制約条件をもつ候補ジェスチャを生成しても良い。

ユーザが候補ジェスチャを許容すれば（ステップＳ６）、当該候補ジェスチャの中で変更したパラメータの制約条件が確定する。候補ジェスチャの全てのパラメータについて制約条件が確定すれば（ステップＳ７でＹｅｓ）、ジェスチャ定義が生成される（ステップＳ８）。すなわち、ジェスチャ定義登録部７がジェスチャ定義データベース８にジェスチャ定義データを登録する。

なお、実施の形態１と実施の形態２のどちらの処理を行うかどうかは、最初にモーション入力部１に入力されるモーションデータＭＤの個数に応じて決定しても良い。例えば、モーションデータＭＤの入力数が１であれば実施の形態１の動作を行い、２以上であれば実施の形態２の動作を行っても良い。また、候補ジェスチャ生成部４にどちらの処理を行うかのモードを持たせ、その設定に従って受け付けるモーションデータの個数を制御してもよい。

＜Ｂ−２．効果＞
実施の形態２に係るジェスチャ登録装置１０１において、ジェスチャ解析部２１は、ジェスチャのモーションデータを複数取得するモーションデータ取得部として動作する。また、ジェスチャ解析部２１はモーションデータ毎にポーズデータを生成する。また、特徴解析部２２は、ポーズデータ毎にパラメータの制約条件を示す特徴データを算出する。そして、候補ジェスチャ生成部４は、全てのポーズデータにおける固定パラメータの制約条件の和を満たしつつ、変動パラメータを変更して候補ジェスチャのデータを生成する。以上の構成によれば、ユーザ（ジェスチャ登録者）が複数のモーションデータをジェスチャ登録装置１０２に入力すると、特徴解析部２２で解析した各モーションデータの基本的な特徴をあわせ持ちながら、一部のパラメータを変更した候補ジェスチャがユーザに提示される。そして、候補ジェスチャに対するユーザの反応を踏まえて各パラメータの制約条件が決定されるので、ユーザは各パラメータの制約条件を漏れなく検討することができる。したがって、意図に沿った適切なジェスチャ定義を容易に登録することが出来る。また、予めユーザが複数のモーションデータを登録することにより、ユーザの意図に沿ったジェスチャ定義を容易に登録することができる。

＜Ｃ．実施の形態３＞
開発者が複数のジェスチャを登録する場合には、それらが正しく区別されて認識されるように検討したうえで、それぞれのジェスチャ定義を設定することが必要となる。ジェスチャ同士の定義が被っていると、意図しないタイミングでジェスチャが認識されたり、認識されない場合が発生するからである。前者が発生するのは、あるジェスチャの開始ポーズまたは終了ポーズの定義（制約条件）が、他のジェスチャの終了ポーズまたは開始ポーズの定義（制約条件）と重複する場合である。例えば、あるジェスチャの終了ポーズと、他のジェスチャの開始ポーズとで制約条件が重複していれば、あるジェスチャが終了したと同時に他のジェスチャが開始してしまう。また、あるジェスチャの定義が他のジェスチャの定義の範囲に包含されてしまうことで、ジェスチャが認識されない場合が発生する。

こうした問題を解決するため、実施の形態３では、ユーザが入力したジェスチャが登録済みのジェスチャ定義と重複するか否か、すなわちジェスチャの整合性を判断する。

＜Ｃ−１．構成＞
図１５は、実施の形態３に係るジェスチャ登録装置１０２の構成を例示するブロック図である。ジェスチャ登録装置１０２は、実施の形態１，２に係るジェスチャ登録装置１０１の構成に加えて、整合性判定部９を備える。

＜Ｃ−２．動作＞
図１６は、ジェスチャ登録装置１０２におけるジェスチャ定義登録処理のフローチャートである。以下、図１６に沿って候補ジェスチャ生成処理を説明する。但し、ステップＳ２Ａ以外の工程は図１１に示すジェスチャ登録装置１０１のフローチャートと同様であるため、説明を省略する。

候補ジェスチャ生成部４は、モーションデータＭＤのポーズデータＰＤと特徴データＦＤから基本制約条件ＢＲを生成すると（ステップＳ２）、整合性判定部９にポーズデータＰＤ、特徴データＦＤおよび基本制約条件ＢＲを送信する。

整合性判定部９は、ジェスチャ定義データベース８に登録されている各ジェスチャ定義データを参照しながら、現在入力されているモーションデータと各ジェスチャ定義との整合性を判定する（ステップＳ２Ａ）。

具体的には、まず、モーションデータのジェスチャ部位が、ジェスチャ定義データベース８に登録されたジェスチャ定義データのジェスチャ部位８３と一致するか否かを判断する。ここで、モーションデータのジェスチャ部位とは、ポーズデータＰＤのジェスチャ部位ＰＤＴ３のことである。一致するジェスチャ定義データがあれば、モーションデータの開始ポーズ及び終了ポーズを、ジェスチャ定義データベースの開始ポーズ及び終了ポーズの制約条件と比較し、整合性を判断する。この比較は、（１）モーションデータとジェスチャ定義データの開始ポーズ同士、（２）モーションデータとジェスチャ定義データの終了ポーズ同士、（３）モーションデータの開始ポーズとジェスチャ定義データの終了ポーズ、（４）モーションデータの終了ポーズとジェスチャ定義データの開始ポーズ、の４パターンで行われる。

ジェスチャ定義データ側の比較対象は制約条件８４とし、モーションデータ側の比較対象は、ポーズデータＰＤ内のジェスチャ部位ＰＤＴ３に含まれる身体特徴点の３次元座標ＰＤＴ１とする。ジェスチャ定義の制約条件８４に記述がない身体特徴点は、３次元座標がどのような値となっていても良い「自由」の制約条件であるため、その身体特徴点に関しては整合性を考慮せず、制約条件として記載されている身体特徴点同士のみを比較する。具体的には、モーションデータ側の３次元座標ＰＤＴ１が、制約条件８４を満たすか否かを判断する。

上記パターン（３）、（４）の比較において、３次元座標ＰＤＴ１が制約条件８４を満たすと判断した場合、当該ジェスチャは別のジェスチャと連続して、意図しないタイミングで認識されるものとなる。したがって、整合性に問題があると判断する。

上記パターン（１）、（２）の比較において、３次元座標ＰＤＴ１が制約条件８４を満たすと判断した場合、開始ポーズおよび終了ポーズを除いたポーズ数を比較する。もし、ポーズ数が同じであれば、それらのポーズに関しても、３次元座標ＰＤＴ１と制約条件８４を比較する。そして、開始ポーズ及び終了ポーズを含め、全てのポーズにおいて３次元座標ＰＤＴ１が制約条件８４を満たすと判断されれば、整合性に問題があると判断する。なぜなら、当該モーションデータは以前に登録されたジェスチャ定義と非常に似ているものであるとして、登録しても認識されないためである。

整合性なしと判断した場合（ステップＳ２ＡでＮｏ）、整合性判定部９はジェスチャ提示部５にその旨を示す信号を送る。そして、整合性がない旨の表示をジェスチャ提示部５が生成し、入出力部６で表示される（ステップＳ９）。図１１に示すステップＳ３以降の処理は中断され、当該モーションデータから候補ジェスチャは生成されない。そして、モーション入力部１において別のモーションデータの入力の受付を可能とする。

整合性に問題がないと判断した場合（ステップＳ２ＡでＹｅｓ）、実施の形態１，２と同様にステップＳ３以降の処理が行われ、ジェスチャ定義が登録される。

上記の処理を、図１７，１８に示すジェスチャのモーションデータが入力された場合を例として説明する。例えばジェスチャ定義データベース８には、図１２に示すジェスチャ定義が予め登録されているとする。なお、図１２に示すジェスチャ定義は、図７のモーションデータに対応している。

図１７に示すジェスチャの場合、開始ポーズＰ１の左手のｘ座標やｚ座標は図７のジェスチャと変わらないが、ｙ座標は頭部ｙ座標＋３０に位置している（図１７（ａ））。同じく終了ポーズＰ２では、左手のｘ座標やｚ座標は図７のジェスチャと変わらないが、ｙ座標のみ左臀部−５に位置している（図１７（ｂ））。すなわち、モーションデータの終了ポーズＰ２において、左手の３次元座標はジェスチャ定義データの開始ポーズの制約条件８４を満たしている。また、モーションデータの開始ポーズＰ１において、左手の３次元座標はジェスチャ定義データの終了ポーズの制約条件８４を満たしている。したがって、図１７に示すジェスチャのモーションデータは、整合性に問題があると判断される。

図１８に示すジェスチャの場合、開始ポーズＰ１では少し左肘を曲げており、左手が図７のジェスチャよりもｙ軸正方向（左臀部ｙ座標＋１０）に位置している（図１８（ａ））。左手のｘ座標やｚ座標は図７のジェスチャと変わらない。同じく終了ポーズＰ２の左手は、図７よりもｙ軸負方向（頭部ｙ座標＋２０）に位置している（図１８（ｂ））。左手のｘ座標やｚ座標は図７のジェスチャと変わらない。すなわち、モーションデータの開始ポーズＰ１の３次元座標は、ジェスチャ定義データの開始ポーズの制約条件を満たし、モーションデータの終了ポーズＰ２の３次元座標は、ジェスチャ定義データの終了ポーズの制約条件を満たしている。図１８に示すジェスチャのモーションデータには、開始ポーズＰ１および終了ポーズＰ２以外のポーズが存在しないため、整合性に問題があると判断される。

なお、整合性判定部９が、入力されたモーションデータに対し整合性に問題があると判断した場合、当該モーションデータについての候補ジェスチャの生成をやめるのではなく、整合性に問題がなくなるようにパラメータを変更した候補ジェスチャを生成しても良い。

また、ジェスチャ定義データベース８にジェスチャ定義データの他、候補ジェスチャ作成時に利用したモーションデータやポーズデータ、特徴データを併せて登録しても良い。そして、入力されたモーションデータがジェスチャと整合性がない場合に、候補ジェスチャ生成部４が登録済のジェスチャ定義データを変更してもよい。

＜Ｃ−３．効果＞
実施の形態３に係るジェスチャ登録装置１０２は、ジェスチャ登録装置１０１の構成に加えて整合性判定部９を備える。整合性判定部９は、ジェスチャ定義データベース８に登録されたジェスチャ定義データと、ジェスチャ解析部２１（モーションデータ取得部）が取得したモーションデータのジェスチャとが重複するか否かを判断する。また、候補ジェスチャ生成部４は、整合性判定部９が重複しないと判断したモーションデータに対してのみ候補ジェスチャを生成する。これにより、重複するジェスチャ定義が登録され、ジェスチャが意図しないタイミングで認識され、または認識されないという問題を避けることができる。

＜Ｄ．実施の形態４＞
ユーザが複数のジェスチャを登録する際に、登録済みのジェスチャ定義データと整合性がとれなかった場合、他のジェスチャを登録しなおす必要がある。このとき、他の候補となるジェスチャとしては、登録しようとしていたジェスチャのパラメータを修正する方法も考えられるが、同じ身体部位を用いて全く異なる動きを行うジェスチャや、他の身体部位を用いたジェスチャを登録することも考えられる。本実施の形態では、ジェスチャ同士の整合性がとれなかった場合に、後者のような候補ジェスチャを生成する方法について説明する。

＜Ｄ−１．構成＞
図１９は、実施の形態４に係るジェスチャ登録装置１０３の構成を例示するブロック図である。ジェスチャ登録装置１０３は、実施の形態３のジェスチャ登録装置１０２の構成に加えて、ジェスチャルールデータベース１０を備える。

ジェスチャルールデータベース１０には、候補ジェスチャ生成ルールと、汎用ジェスチャ定義データが、部位ごとに複数個登録されている。候補ジェスチャ生成ルールとは、登録しようとしたジェスチャがジェスチャ定義データと整合性がとれなかったときに、代替となる候補ジェスチャを生成するためのルールである。また汎用ジェスチャ定義データとは、一般的に用いられ得るジェスチャの定義データである。

候補ジェスチャ生成ルールの例としては、腕部や足部など身体的に左右一対となった部位の一方を用いたジェスチャが登録できない場合に、（１）他方の部位を用いて同じ動きを行う候補ジェスチャを生成する、（２）両方の部位を用いた候補ジェスチャを生成する、（３）ジェスチャルールデータベース１０に登録されている同じ部位のジェスチャを候補ジェスチャとして生成する、などがある。候補ジェスチャ生成ルールは、身体部位の特性や、ジェスチャ定義データベース８へのジェスチャの登録状況、候補ジェスチャを提示した際のユーザの反応に応じて処理内容が分岐される。

汎用ジェスチャ定義データとしては、ジェスチャ定義を区別する番号、ポーズデータ、ジェスチャ部位、制約条件などが登録されている。他にも、他の部位のジェスチャ定義と併用しても良いかの条件や、併用可能なジェスチャ定義の番号などが登録されていてもよい。

＜Ｄ−２．動作＞
図２０は、ジェスチャ登録装置１０３におけるジェスチャ定義登録処理のフローチャートである。以下、図２０に沿ってジェスチャ定義登録処理を説明する。但し、ステップＳ２Ａ，Ｓ９，１０以外の工程は図１１に示すジェスチャ登録装置１０１のフローチャートと同様であるため、説明を省略する。

整合性判定部９は、ジェスチャ定義データベース８に登録されている各ジェスチャ定義データを参照しながら、現在入力されているモーションデータと各ジェスチャ定義との整合性を判定する（ステップＳ２Ａ）。整合性がある場合には、実施の形態１と同様にステップＳ３以下の処理を行い、ジェスチャ定義を登録する（ステップＳ８）。

ステップＳ２Ａで整合性がない場合、整合性判定部９は候補ジェスチャ生成部４にその内容を示す信号を送る。候補ジェスチャ生成部４は、ジェスチャルールデータベース１０を参照して、そのルールに基づいて候補ジェスチャを生成する（ステップＳ９）。

図７に示す、左手を下から上にあげるジェスチャのモーションデータが入力され、それが既に登録されたジェスチャ定義と不整合である場合を例として、ステップＳ９の処理を説明する。ジェスチャルールデータベース１０に、「ジェスチャ部位に対となる部位があり、かつその部位を用いた同じ動きを行うジェスチャが登録されていなければ、対となる部位で同じ動きを行う」と記述されているとする。候補ジェスチャ生成部４は、身体可動範囲テーブル３２の部位３２１を参照して対となる部位（右腕部）を取得し、右手を下から上に挙げるジェスチャがジェスチャ定義データベース８に登録されているかを確認する。登録されていなければ、当該ジェスチャを候補ジェスチャとして生成し（ステップＳ１０）、ジェスチャ提示部５へ送信する（ステップＳ１１）。候補ジェスチャは、入出力部６を通してユーザに提示される。入出力部６を通じてユーザによる候補ジェスチャ選択操作が入力されると、候補ジェスチャ生成部４は、その入力結果をジェスチャ提示部５から受信する（ステップＳ１２）。候補ジェスチャ生成部４は、候補ジェスチャの許容可否を判断する（ステップＳ１３）。候補ジェスチャを許容できるとの入力結果であれば（ステップＳ１３でＹｅｓ）、当該候補ジェスチャをジェスチャ定義として登録する（ステップＳ８）。

ステップＳ１３で候補ジェスチャがユーザに許容されなかった場合は、ステップＳ１０に戻り、ジェスチャルールデータベース１０をさらに参照して、ユーザに許容されるまで新たな候補ジェスチャを生成する。例えば、ルールに応じて汎用ジェスチャ定義データのうち、左腕部を用いたジェスチャ定義を参照して、左から右方向に左腕を動かす候補ジェスチャを生成したり、左腕部や右腕部を併用して動かす候補ジェスチャを生成する。

＜Ｄ−３．効果＞
実施の形態４に係るジェスチャ登録装置１０３は、ジェスチャ登録装置１０２の構成に加えて、ジェスチャ定義データベースに登録済みのジェスチャを代替する代替ジェスチャの生成ルールと、各身体部位を用いたジェスチャの定義とが登録された、ジェスチャルールデータベース１０を備える。そして、候補ジェスチャ生成部４は、ジェスチャ解析部２１が取得したモーションデータのジェスチャが、登録済みのジェスチャと重複すると整合性判定部９により判断された場合、候補ジェスチャに代えてジェスチャルールデータベースに基づく代替候補ジェスチャを生成する。取得したモーションデータが登録済みのジェスチャ定義と重複する場合には、代替候補ジェスチャを生成してユーザに提示するので、利便性の良いジェスチャ登録装置となる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１ モーション入力部、２ モーション解析部、３ 人体動作モデルデータベース、４ 候補ジェスチャ生成部、５ ジェスチャ提示部、６ 入出力部、７ ジェスチャ定義登録部、８ ジェスチャ定義データベース、９ 整合性判定部、１０ ジェスチャルールデータベース、２１ ジェスチャ解析部、２２ 特徴解析部、１０１，１０２，１０３ ジェスチャ登録装置。

Claims (6)

1. ジェスチャのモーションデータを取得するモーションデータ取得部と、
   前記モーションデータに基づき、前記ジェスチャを構成する各ポーズにおける各身体特徴点の３次元座標を示すポーズデータを生成するジェスチャ解析部と、
   前記ポーズデータに基づき、各前記ポーズ時および前記各ポーズ間の遷移時における前記ジェスチャの特徴を表すパラメータの制約条件を示す特徴データを算出する特徴解析部と、
   人体を構成する骨格の可動範囲を定義した人体動作モデルデータベースと、
   一部の前記パラメータの前記制約条件を満たしつつその他の前記パラメータを変更し、前記人体動作モデルデータベースに基づき骨格の可動範囲内の候補ジェスチャを生成する候補ジェスチャ生成部と、
   前記候補ジェスチャをユーザに提示し、かつ前記候補ジェスチャに対する前記ユーザの操作を受け付ける入出力部と、を備え、
   前記候補ジェスチャ生成部は、前記入出力部において前記候補ジェスチャを拒否する前記ユーザの操作を受け付けると新たな前記候補ジェスチャを生成し、かつ、前記候補ジェスチャに対する前記ユーザの操作に基づき、前記その他のパラメータの前記制約条件を決定し、
   前記ジェスチャにおける各前記パラメータの前記制約条件を示すジェスチャ定義データをジェスチャ定義データベースに登録するジェスチャ定義登録部をさらに備える、
   ジェスチャ登録装置。
2. 前記モーションデータ取得部は、前記ジェスチャの前記モーションデータを複数取得し、
   前記ジェスチャ解析部は、前記モーションデータ毎に前記ポーズデータを生成し、
   前記特徴解析部は、前記ポーズデータ毎に前記パラメータの前記制約条件を示す前記特徴データを算出し、
   前記候補ジェスチャ生成部は、全ての前記ポーズデータにおける前記一部のパラメータの前記制約条件の和を満たしつつ、前記その他のパラメータを変更して前記候補ジェスチャを生成する、
   請求項１に記載のジェスチャ登録装置。
3. 前記候補ジェスチャ生成部は、前記パラメータを固定パラメータと変動パラメータとに分け、前記固定パラメータの前記制約条件を満たしつつ、前記変動パラメータを変更して前記候補ジェスチャを生成し、
   各前記ポーズ時における前記固定パラメータは、前記ジェスチャにおいて最も移動距離の長い前記身体特徴点の他の前記身体特徴点に対する配置特徴を含む、
   請求項１又は２に記載のジェスチャ登録装置。
4. 前記候補ジェスチャ生成部は、前記パラメータを固定パラメータと変動パラメータとに分け、前記固定パラメータの前記制約条件を満たしつつ、前記変動パラメータを変更して前記候補ジェスチャを生成し、
   前記各ポーズ間の遷移時における前記固定パラメータは、前記ジェスチャにおいて最も移動距離の長い前記身体特徴点の移動方向を含む、
   請求項１から３のいずれかに記載のジェスチャ登録装置。
5. 前記ジェスチャ定義データベースに登録された前記ジェスチャ定義データと、前記モーションデータ取得部が取得した前記モーションデータの前記ジェスチャとが重複するか否かを判断する整合性判定部をさらに備え、
   前記候補ジェスチャ生成部は、前記整合性判定部が重複しないと判断した前記モーションデータに対してのみ前記候補ジェスチャを生成する、
   請求項１から４のいずれかに記載のジェスチャ登録装置。
6. 前記ジェスチャ定義データベースに登録済みの前記ジェスチャを代替する代替ジェスチャの生成ルールと、各身体部位を用いた前記ジェスチャの定義とが登録された、ジェスチャルールデータベースをさらに備え、
   前記候補ジェスチャ生成部は、前記モーションデータ取得部が取得した前記モーションデータの前記ジェスチャが、登録済みの前記ジェスチャと重複すると前記整合性判定部により判断された場合、前記候補ジェスチャに代えて前記ジェスチャルールデータベースに基づく代替候補ジェスチャを生成する、
   請求項５に記載のジェスチャ登録装置。

Images