JP2000149025A

JP2000149025A - ジェスチャ認識装置及び方法

Info

Publication number: JP2000149025A
Application number: JP10323039A
Authority: JP
Inventors: Yuichi Nino; 裕一仁野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-11-13
Filing date: 1998-11-13
Publication date: 2000-05-30
Anticipated expiration: 2018-11-13
Also published as: JP3144400B2

Abstract

(57)【要約】【課題】ユーザが位置／姿勢変化を行なう状況下でも高
速に認識可能なジェスチャ認識装置の提供。【解決手段】人物の手足の動きの特徴を示す点の３次元
座標を計測する特徴点位置計測部１と、抽出された特徴
点のうち手以外の特徴点を利用しこれら３次元座標から
人物の３次元位置／姿勢を推定する人物位置姿勢推定部
３と、推定されたユーザの３次元位置を基準点としユー
ザ姿勢に応じて各座標軸が一意に定まるユーザ座標系を
構成しユーザの手足の特徴点を該ユーザ座標系に変換す
ることでユーザの位置／姿勢に依存しない特徴量を抽出
しその時系列変化を解析する人物動作解析部４と、その
時系列変化と予めジェスチャモデル記憶部６に格納した
ジェスチャモデルとのマッチングをとり、人物の行なっ
たジェスチャを推定するジェスチャ推定部５を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ジェスチャ認識装
置に関し、特に、自由に位置／姿勢が変化するユーザの
ジェスチャを認識し、仮想空間内のＣＧ（コンピュータ
グラフィック）物体の操作等に用いて好適とされるジェ
スチャ認識装置に関する。

【０００２】

【従来の技術】ジェスチャ認識装置として、これまで、
いくつかの手法が提案・開発されており、このうち典型
的な手法について概説すると、例えば文献（１）（特開
平６−１２４９３号公報）には、マウスやペンの時系列
の動きからＤＰ（ダイナミックプログラミング；動的計
画法）マッチングを用いてジェスチャを検出し、該ジェ
スチャに対応したコマンドを実行させるコンピュータの
ユーザインタフェースが提案されており、また文献
（２）（特開平１０−１６２１５１号公報）等には、被
写体のジェスチャーを撮像した画像から時間差分画像を
取得して２値化し、差分画像の特徴量から、連続ＤＰを
用いて特徴パターン用の特徴ベクトルを取得する、ジェ
スチャ認識方法が提案されている。また文献（３）（電
子情報通信学会誌、１９９３年８月号、１８０５−１８
１２頁）には、石井らによる、ステレオ画像を用いて３
次元的な手の動きを抽出し、動作モデルとのマッチング
によりジェスチャを検出する方法が記載されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の各種方法は、以下のような問題点を有してい
る。

【０００４】すなわち、上記文献１（１）、（２）に記
載された方法は、手の２次元的な動きからジェスチャを
推定している。したがって、ジェスチャ認識には、ユー
ザと、ユーザを撮影するカメラと、の位置関係が限定
（拘束）されてしまうことになり、このため、ユーザは
自由に位置／姿勢を変化することができない。

【０００５】また、上記文献（３）に記載された方法
は、ユーザが自由な位置及び姿勢変化を行なうことはで
きるものの、モデルが複雑すぎ、高速な処理が困難であ
る。

【０００６】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、ユーザが位置及び
姿勢変化を行なっても、高速に認識可能なジェスチャ認
識装置及び方法を提供することにある。

【０００７】

【課題を解決するための手段】前記目的を達成する本発
明のジェスチャ認識装置は、ユーザに装着したセンサの
出力、又は画像情報から、前記ユーザの手足の動きの特
徴を示す点の空間中の３次元座標を計測する特徴点位置
計測手段と、前記抽出された特徴点のうち前記ユーザの
手以外の特徴点の３次元座標から、前記ユーザの３次元
位置及び姿勢を推定する人物位置姿勢推定手段と、前記
推定された前記ユーザの３次元位置を基準点として、前
記ユーザの姿勢に応じて各座標軸が一意に定められるユ
ーザ座標系を構成し、前記ユーザの手足の特徴点を前記
ユーザ座標系に変換することにより、前記ユーザの位置
及び姿勢に依存しない特徴量を抽出し、前記ユーザの位
置及び姿勢に依存しない前記特徴量の時系列変化を解析
する人物動作解析手段と、前記時系列変化と、予め作成
されたジェスチャモデルを記憶するジェスチャモデル記
憶部に格納されたジェスチャモデルとのマッチングをと
り、前記ユーザの行なったジェスチャを推定するジェス
チャ推定手段と、を含む。本発明において、前記ジェス
チャ推定手段において、絶対値が同じであり、互いに逆
極性の２つの閾値を設け、前記特徴量の１つの時系列変
化について、その値が正の閾値よりも大きくなるフレー
ムと、負の閾値よりも小さくなるフレームとが交互に存
在し、前記フレームが、所定時間に、予め定められた所
定の割合よりも多く存在する場合に、反復動作のジェス
チャであると推定する、ように構成してもよい。

【０００８】

【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明のジェスチャ認識装置は、その好ま
しい実施の形態において、特徴点位置計測手段（図１の
１）と、人物位置姿勢推定手段（図１の２）と、人物動
作解析手段（図１の３）と、ジェスチャ推定手段（図１
の４）と、ジェスチャモデル記憶手段（図１の５）と、
を備えて構成されている。このうち、特徴点位置計測手
段（図１の１）は、ユーザの手足などの特徴点の世界座
標系における位置を計測する。

【０００９】人物位置姿勢推定手段（図１の２）は、ユ
ーザの手以外の、ある特徴点の３次元座標からユーザの
３次元位置／姿勢を推定する。

【００１０】人物動作解析手段（図１の３）は、推定さ
れたユーザの３次元位置の一つの点を基準点とし、且
つ、ユーザ姿勢に応じて各座標軸が一意に定まるユーザ
座標系を構成し、ユーザの手足の特徴点をユーザ座標系
に変換することにより、ユーザの位置／姿勢に依存しな
い特徴量を抽出し、さらにその時系列変化を解析する。

【００１１】ジェスチャ推定手段（図１の４）は、上記
特徴点の時系列変化と、事前に作成されジェスチャモデ
ル記憶手段（図１の５）に格納されているジェスチャモ
デルとのマッチングをとり、ユーザの行なったジェスチ
ャを推定する。

【００１２】また、本発明のジェスチャ認識装置は、そ
の好ましい実施の形態において、ジェスチャ推定手段に
おいて、上記特徴量の１つの時系列変化を見たとき、そ
の値が非常に大きくなるフレームと非常に小さくなるフ
レームとが交互に存在し、フレームが短時間に多く存在
する場合に、反復動作のジェスチャであるものと推定す
る。

【００１３】また本発明のジェスチャ認識方法は、以下
のステップよりなる。

【００１４】ステップ１：ユーザに装着したセンサの出
力情報、又はユーザを撮像した画像情報から、ユーザの
手足の動きの特徴を示す点の空間中の３次元座標を計測
する。

【００１５】ステップ２：前記抽出された特徴点のうち
前記ユーザの手以外の特徴点の３次元座標から、前記ユ
ーザの３次元位置及び姿勢を推定する。

【００１６】ステップ３：前記推定された前記ユーザの
３次元位置の一つを基準点として、前記ユーザの姿勢に
応じて各座標軸が一意に定められるユーザ座標系を構成
し、前記ユーザの手足の特徴点を前記ユーザ座標系に変
換することにより、前記ユーザの位置及び姿勢に依存し
ない特徴量を抽出し、前記ユーザの位置及び姿勢に依存
しない前記特徴量の時系列変化を解析する。

【００１７】ステップ４：前記時系列変化と、予め作成
されたジェスチャモデルを記憶するジェスチャモデル記
憶部に格納されたジェスチャモデルとのマッチングをと
り、前記ユーザの行なったジェスチャを推定する。

【００１８】上記ステップ１〜５の各ステップは、デー
タ処理装置で実行されるプログラム制御によってその処
理機能を実現するようにしてもよく、これらの手段の機
能・処理を実現するプログラムを記憶した記憶媒体から
データ処理装置が、該プログラムを読み出して実行する
ことで、本発明を実施することができる。以下実施例に
即して詳説する。

【００１９】

【実施例】図１は、本発明のジェスチャ認識装置の一実
施例の装置構成を示すブロック図である。図１を参照す
ると、本発明の一実施例は、特徴点位置計測部１と、人
物位置姿勢推定部２と、人物動作解析部３と、ジェスチ
ャ推定部４と、ジェスチャ記憶部５とを備えて構成され
ており、このうち特徴点位置計測部１では、人物の手／
足／胴体の特徴点の一部又は全てに装着した磁気センサ
を利用して、これらの特徴点について例えば計測機器に
よって決定される世界座標系における３次元座標を求め
る。

【００２０】この場合、計測された特徴点の位置は、計
測機器の基準位置を原点とした世界座標系で記述された
め、ユーザが同一のジェスチャを行っても、ユーザの位
置／向きが異なると、計測される位置は、異なる値をと
ることになる。そこで、本発明の一実施例では、人物位
置姿勢推定部２において、ユーザの位置／姿勢を推定
し、人物動作解析部３において、ユーザの位置／姿勢に
影響しない特徴量を構成する。

【００２１】まず、人物位置姿勢推定部２の動作を説明
するが、説明の前提として、ユーザの位置／姿勢の推定
においては、ユーザの手以外に、２つ以上の特徴点の世
界座標系における３次元位置が分かっている必要があ
る。これを、図２の説明図を用いて説明する。図２にお
いて、鉛直上向きが世界座標系でのある軸上と一致する
ことが前提とされており、姿勢は、鉛直上向きを軸（ｙ
軸）と回転中心とした回転動作のみで表されるものとす
る。

【００２２】図２に示した例では、ユーザ（人物）の位
置として、右膝の位置、姿勢は、右膝から左膝を結んだ
ベクトル（図のｘ軸方向）、および鉛直上向きへのベク
トル（図のｙ軸方向）に対して、垂直な方向ということ
で求まる。

【００２３】人物動作解析部３において、ユーザの手足
の特徴点について、その位置をユーザの向き／位置に依
存しないユーザ座標系の値に変換する。この座標系は、
例えば図２に示すように、ユーザの右膝の３次元位置を
基準点とし、鉛直上向きをｙ軸の正方向、ユーザの向き
の反対方向（正面から背面方向）をｚ軸の正方向とした
左手系である。なお、これとは別に、右手系としてもよ
いが、説明の都合上、左手系で説明する。

【００２４】このユーザ座標系で記述すると、例えば上
下左右の位置指示の動作が、ｘ／ｙの座標のみから推定
することができ、ジェスチャの推定には、都合がよい。
さらにこのようにして変換した値の、時系列変化も求め
ておく。

【００２５】その後、ジェスチャ推定部４では、ジェス
チャモデル記憶部５のジェスチャモデルの値を参照しな
がら、ジェスチャを推定する。

【００２６】例えば、上下左右の指示動作の推定は、図
３に示すように、予めモデル化されたものを利用する。

【００２７】図３において、ＰＵ（ＸＵ、ＹＵ）、ＰＤ
（ＸＤ、ＹＤ）、ＰＬ（ＸＬ、ＹＬ）、ＰＲ（ＸＲ、Ｙ
Ｒ）は、それぞれ上、下、左、右の位置指示の基準とな
る点であり、ＰＵ、ＰＤ、ＰＬ、ＰＲを中心とした４つ
の点線で囲んだ円は、各指示動作を推定する領域の範囲
である。

【００２８】またｒＵ、ｒＤ、ｒＬ、ｒＲは、各領域を
円とみなした場合の円の半径である。

【００２９】各フレームでは、人物動作解析部３で推定
される右手の位置と、各点とのユークリッド距離を計算
する。

【００３０】そして、このユークリッド距離が、指示動
作を推定するための領域内に存在する場合、該当する指
示動作を行ったものと推定する。例えば、図２のユーザ
の右手と、図３におけるＰＵとのユークリッド距離をｄ
とすると、ｄ＜ｒＵのとき、上指示動作を行なったもの
と推定する。

【００３１】ただし、このままでは、ユーザが別の動作
をするときに、偶然、その領域を通過した場合にも、該
位置指示と誤認識されてしまうことから、この誤認識を
避けるために、予め定められた一定時間Ｔｔｈ以上右手
の位置が、各領域に留まった場合についてのみ、位置指
示を認識することとする。

【００３２】そして、図３の、ＸＵ、ＹＵ、ＸＤ、Ｙ
Ｄ、ＸＬ、ＹＬ、ＸＲ、ＹＲ、ｒＵ、ｒＤ、ｒＬ、ｒ
Ｒ、Ｔｔｈは、ユーザの手の長さ／感覚に依存する値で
あるため、ジェスチャモデル記憶部５に、事前に、ジェ
スチャの推定対象のユーザに応じた値を、設定記憶して
おき、ジェスチャモデル記憶部５の格納値を参照しなが
ら、ユーザのジェスチャを推定する。なお、右手でジェ
スチャを行なった例について説明したが、左手でのジェ
スチャも同様の処理で認識することができる。

【００３３】次に本発明の第２の実施例について説明す
る。本発明の第２の実施例は、第１の実施例において、
特徴点位置計測部１が、ステレオ画像処理を行なうもの
である。この場合、ユーザは、図４に示すように、手足
４箇所に特殊な蛍光色をしたマーカーを装着する。蛍光
色を利用するのは、光のあたり具合／マーカーとカメラ
間の距離によって色の検出精度が落ちてしまうことを防
ぐためである。なお、このマーカーの色は色空間で離れ
た赤／青／黄／緑を使用すると効果的である。また、色
を使わない方法として、例えば文献（４）（特開平９−
２４３３２５号公報）に提案されているように、特殊光
を発光するマーカーなどを、上記位置に使用してもよ
い。

【００３４】さらに、ステレオ画像処理を行なうにあた
り、被写体を撮像する左右２つののカメラの、相対的な
位置／姿勢を予め求めておく必要がある。ここでは、空
間中のそれぞれの相対位置が分かっている５点以上の点
の各画像中に撮影されている位置を利用して、例えば文
献（５）（Ｌｉｕ、「Ｄｅｔｅｒｍｉｎａｔｉｏｎｏｆ
ＣａｍｅｒａＬｏｃａｔｉｏｎｆｒｏｍ２−Ｄ
ｔｏ３−ＤＬｉｎｅａｎｄＰｏｉｎｔＣｏ
ｒｒｅｓｐｏｎｄｅｎｃｅ」、ＩＥＥＥＴｒａｎｓａ
ｃｔｉｏｎＰＡＭＩ（アイトリプルイ−トランザクシ
ョンパタンアナリシスアンドマシンインテリジェ
ンス）、１９９０年、第１２号、第２８−３７頁）に記
載されている手法により、予め求めておく。なお、この
手法で求まるのは、左カメラのレンズ中心を原点として
光軸方向をＺ軸とした左手系（図５（ｂ）参照、以下、
この座標系を「左カメラ座標系」と呼ぶ）を基準とし
て、右カメラのレンズ中心を原点として光軸方向をｚ軸
とした左手系（図５（ｃ）参照、以下、この座標系を
「右カメラ座標系」と呼ぶ）に変換する際の回転行列
Ｒ、並進ベクトルｈ￣である。

【００３５】ここでＲ、ｈ￣は以下のように表せる。

【００３６】

【００３７】なお便宜上、本実施例では、世界座標系を
左カメラ座標系としているが、世界座標系は右カメラ座
標系であってもよい。

【００３８】以下では、具体的な処理内容について説明
する。まず、ユーザが撮影されたステレオ画像を入力す
る。そして、色情報によって、４種類のそれぞれのマー
カー領域を抽出する。

【００３９】次に、それぞれのマーカー領域の重心位置
をそれぞれのステレオ画像において求める。各画像にお
いて重心位置を求め、その位置を基に、世界座標系での
各マーカーの３次元位置を計測する。

【００４０】左右画像中のマーカーの重心位置をそれぞ
れＰＬ（ｘ_l，ｙ_l）、ＰＲ（ｘ_r，ｙ_r）とすると、ＰＬ
の左カメラ座標系での位置ベクトルは、ｘ_l￣＝（ｘ_l，ｙ_l，ｆ_l）^T と表され、ＰＲの右カメラ座標系での位置ベクトルは、ｘ_l￣＝（ｘ_r，ｙ_r，ｆ_r）^T と表される。但し肩のＴは転置（Transpose）を表す。

【００４１】ここで、注意すべき事項として、マーカー
の一部が身体で隠れてしまうので、左右画像においてマ
ーカーの撮影されている領域が異なってしまう。したが
って、マーカー領域の重心位置を示すＰＬ、ＰＲは、通
常、エピポーラー拘束を満たさない。ゆえに、直線ＣＬ
ＰＬと直線ＣＲＰＲは通常一点Ｍで交わらない。

【００４２】したがって、図５（ａ）に拡大図として示
すように、Ｍを、直線Ｃ_LＰ_Lと直線Ｃ_RＰ_Rのいずれから
も等距離で、しかも、その距離が最小になる位置に、定
義する。

【００４３】このとき、Ｍを通って、直線Ｃ_LＰ_Lと直線
Ｃ_RＰ_Rに対する垂線の足をＭＬ、ＭＲとし、Ｃ_LＭ_L￣＝
ｔｘ_L￣、Ｃ_RＭ_R￣＝ｓｘ_R￣とすると、

【００４４】

【００４５】上式（２）、（３）の連立方程式を解く
と、

【００４６】

【００４７】そして、上式（４）により、ｔ、ｓを求め
ると、世界座標系での点Ｍの位置ベクトルｘ_M￣は次式
（５）として求まる。

【００４８】

【００４９】以上が、フレーム画像処理を行う特徴点位
置計測部２の動作である。

【００５０】なお、人物位置姿勢推定部２以降の動作
は、前記第１の実施例と同じである。

【００５１】次に、本発明の第３の実施例について説明
する。本発明の第３の実施例は、前記第１の実施例のジ
ェスチャ推定部４において、「手招き」／「ばいばい」
などの反復動作の推定を行なうようにしたものである。
これは、人物動作解析部３の座標変換によって、「ばい
ばい」のような動作をユーザが行なった場合、該ユーザ
の手の特徴点の座標変化が、ｘ軸方向に現れたり、「手
招き」のような動作をユーザが行なった場合手の特徴点
の座標変化がｚ軸方向に現れたりすることを利用してい
る。

【００５２】図６は、反復動作の特徴をモデル化した図
であり、ユーザが「ばいばい」の動作をした場合の、フ
レーム番号と特徴点のユーザ座標系における座標変化の
関係を示す図である。以下、「ばいばい」について説明
するが、「手招き」の場合も同様である。

【００５３】まず、認識にあたり、過去数フレームの情
報を記載した配列Ｐｉ［ｊ］（ただし、ｉ＝０、１、
ｊ＝０、…、ｎ_max-1）を用意する。

【００５４】このＰ０［ｊ］、Ｐ１［ｊ］は、それぞれ
「手招き」／「ばいばい」の認識に必要な情報を格納す
るためものであり、ジェスチャに応じて別々に用意す
る。

【００５５】図６において、横軸のフレーム番号は、キ
ャプチャを始めてからの画像のフレーム数を示す。Ｐｉ
［ｊ］は、初期設定ではすべてのインデクスｉ、ｊにつ
いて、値を０に設定しておき、フレーム番号をｎ_maxで
割った余りを、ｊの値にしながら、現在のフレームか
ら、ｎ_maxフレーム前までの情報を記録する。

【００５６】次に、毎フレームの処理では、まず座標変
換した各軸方向について座標変化の絶対値を求める。

【００５７】そして、それらの座標変化のうち、ｘ軸の
変化が予め定められた閾値ＴＨ０を超える場合、あるい
は、該閾値と極性を反転した負値である閾値−ＴＨ０を
下回る場合には、「ばいばい」の動作を一部おこなって
いるものとみなして、Ｐ１［ｊ₀］＝１（ｊ０は当該フレームでのｊの値）とする。

【００５８】また、ｘ軸の変化が閾値−ＴＨ０を下回る
場合は、Ｐ１［ｊ０］＝−１（ｊ０は当該フレームでのｊの値）とする。

【００５９】ただし、上記以外の場合は、Ｐ１［ｊ］＝
０とする。

【００６０】同様に、ｚ軸の変化が予め定められた閾値
ＴＨ１を超える場合、あるいは閾値−ＴＨ１を下回る場
合も、「手招き」の動作を一部おこなっているものとみ
なして、それぞれ、Ｐ０［ｊ］＝１、Ｐ０［ｊ］＝−１（ただし、ｊはフレーム番号）とする。それ以外の場合は、Ｐ０［ｊ］＝０とする。

【００６１】このように、Ｐｉ［ｊ］が書き換えられた
後、Ｐｉ［０］からＰｉ［ｎ_max-1］までのうち、１あ
るいは−１をとる値をとるものをカウントする。このカ
ウントされた値をｄ１とする。

【００６２】また、Ｐｉ［０］からＰｉ［ｎ_max-1］の
総和を求め、その総和をｄ２とする。

【００６３】ｄ１が一定値ｍ_i（ただしｉ＝０、１）を
超え、かつ、ｄ２が０、１、−１のいずれかの値をとる
場合、そのジェスチャが行われたものと推定する。

【００６４】ｄ１がｍ_i（ただしｉ＝０、１）を超えた
ということは、特定軸において激しい移動が高頻度でお
こなわれたということを意味し、ｄ２が０、１、−１の
いずれかの値をとったということは、その激しい運動の
向きが正負反対にほぼ同頻度で行われたことを意味して
いる。

【００６５】ただし、ＴＨ０、ＴＨ１、ｎ_max、ｍ_iは、
システムの処理速度、ユーザの手を動かす速さに依存す
るものであることから、システムの処理速度、ユーザの
手を動かす速さに合った値を、予めジェスチャモデル記
憶部６に設定記憶しておき、毎フレームではその値を参
照することにする。

【００６６】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【００６７】本発明の第１の効果は、ユーザの位置／姿
勢に依存しないジェスチャ推定を行なうことができる、
ということである。

【００６８】その理由は、本発明においては、ユーザの
特徴点を世界座標系から、ユーザ姿勢に対し一意でかつ
ユーザのある特徴点を基準としたユーザ座標系に変換す
る構成としたことによる。

【００６９】本発明の第２の効果は、ユーザが行う反復
動作を高速に推定するできる、ということである。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の一実施例を説明するための図であり、
ユーザ座標系を示す図である。

【図３】本発明の一実施例を説明するための図であり、
上下左右の指示動作の特徴をモデル化した図である。

【図４】本発明の一実施例を説明するための図であり、
ユーザのマーカー使用例を示した図である。

【図５】本発明の別の実施例を説明するための図であ
り、（ａ）はマーカー位置推定、（ｂ）は左カメラ座標
系、（ｃ）は右カメラ座標系を説明する図である。

【図６】本発明の別の実施例を説明するための図であ
り、反復動作の特徴をモデル化した図である。

【符号の説明】

１特徴点位置計測部２人物位置姿勢推定部３人物動作解析部４ジェスチャ推定部５ジェスチャモデル記憶部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA17 AA37 BB30 CC16 DD06 FF01 FF05 FF67 JJ03 JJ05 JJ19 JJ26 QQ06 QQ17 QQ38 RR03 2F112 AC06 BA05 CA12 FA38 5B057 BA02 BA06 CA01 CA02 CA12 CA13 CA16 CD03 CD20 DA20 DB02 DB05 DB06 DC08

Claims

【特許請求の範囲】

【請求項１】ユーザに装着したセンサの出力情報、又は
前記ユーザを撮像した画像情報から、前記ユーザの手足
の動きの特徴を示す点の空間中の３次元座標を計測する
特徴点位置計測手段と、前記計測された特徴点のうち前記ユーザの手以外の特徴
点の３次元座標から、前記ユーザの３次元位置及び姿勢
を推定する人物位置姿勢推定手段と、前記推定された前記ユーザの３次元位置点を基準点とし
て、前記ユーザの姿勢に応じて各座標軸が一意に定めら
れるユーザ座標系を構成し、前記ユーザの手足の特徴点
を前記ユーザ座標系に変換することにより、前記ユーザ
の位置及び姿勢に依存しない特徴量を抽出し、前記ユー
ザの位置及び姿勢に依存しない前記特徴量の時系列変化
を解析する人物動作解析手段と、予め作成されたジェスチャモデルを記憶するジェスチャ
モデル記憶手段と、前記特徴量の時系列変化と、前記ジェスチャモデル記憶
手段に記憶されているジェスチャモデルとのマッチング
をとり、前記ユーザの行なったジェスチャを推定するジ
ェスチャ推定手段と、を含むことを特徴とするジェスチャ認識装置。
【請求項２】前記ジェスチャ推定手段において、絶対値
が同じであり、互いに逆極性の２つの閾値を設け、前記
特徴量の１つの時系列変化について、その値が正の前記
閾値よりも大きくなるフレームと、負の前記閾値よりも
小さくなるフレームとが交互に存在し、且つ、このよう
なフレームが、予め定められた所定時間内に、予め定め
られた所定の割合よりも多く存在する場合に、反復動作
のジェスチャであるものと推定する、ことを特徴とする
請求項１記載のジェスチャ認識装置。
【請求項３】前記ジェスチャ記憶手段には、ジェスチャ
モデルとして、前記ユーザ座標における指示動作の基準
点を含み各指示動作を推定するための領域の範囲が格納
されており、前記ジェスチャ推定手段は、前記人物動作解析手段で推
定した特徴点が、前記指示動作を推定するための領域内
に所定時間以上留まって存在する場合に、前記領域に対
応する指示動作を行ったものと推定する、ことを特徴と
する請求項１記載のジェスチャ認識装置。
【請求項４】指示動作を推定する対象に装着したセンサ
の出力、又は前記対象を撮像した画像情報から、前記対
象の１又は複数の所定の部位の動きの特徴を示す点の空
間中での３次元座標を特徴点として計測する手段と、前記計測された特徴点のうち前記対象のうち予め定めら
れた所定部位の特徴点の３次元座標から、前記対象の３
次元位置、及び、姿勢を推定する手段と、前記推定された前記対象の特徴点の３次元位置の一つを
基準点として、前記対象の姿勢に応じて各座標軸が一意
に定められる座標系を構成し、前記対象の前記１又は複
数の所定の部位の特徴点を、前記座標系に変換すること
で、前記対象の位置及び姿勢に依存しない特徴量を抽出
し、前記対象の位置及び姿勢に依存しない前記特徴量の
時系列変化を解析する手段と、前記特徴量について、その時系列変化と、予め記憶部に
格納された動作モデルとのマッチングをとり、前記対象
の指示動作を推定する手段と、を含むことを特徴とする指示動作認識装置。
【請求項５】前記対象の指示動作を推定する手段が、前
記特徴量の１つの時系列変化について、前記特徴量の値
が、予め定められた互いに極性の異なる第１、第２の閾
値を超えて交互に移動するフレームの出現頻度が所定値
以上である場合、反復動作の指示動作であるものと推定
する、ことを特徴とする請求項４記載の指示動作認識装
置。
【請求項６】（ａ）ユーザに装着したセンサの出力情
報、又は前記ユーザを撮像した画像情報から、前記ユー
ザの手足の動きの特徴を示す点の空間中の３次元座標を
計測するステップと、（ｂ）前記抽出された特徴点のうち前記ユーザの手以外
の特徴点の３次元座標から、前記ユーザの３次元位置及
び姿勢を推定するステップと、（ｃ）前記推定された前記ユーザの３次元位置の一つを
基準点として、前記ユーザの姿勢に応じて各座標軸が一
意に定められるユーザ座標系を構成し、前記ユーザの手
足の特徴点を前記ユーザ座標系に変換することにより、
前記ユーザの位置及び姿勢に依存しない特徴量を抽出
し、前記ユーザの位置及び姿勢に依存しない前記特徴量
の時系列変化を解析するステップと、（ｄ）前記時系列変化と、予め作成されたジェスチャモ
デルを記憶するジェスチャモデル記憶部に格納されてい
るジェスチャモデルとのマッチングをとり、前記ユーザ
の行なったジェスチャを推定するステップと、を含むことを特徴とするジェスチャ認識方法。
【請求項７】前記ステップ（ｄ）において、絶対値が同
じであり、互いに逆極性の２つの閾値を設け、前記特徴
量の１つの時系列変化について、その値が正の閾値より
も大きくなるフレームと、負の閾値よりも小さくなるフ
レームとが交互に存在し、且つ、これらのフレームが、
所定時間に、予め定められた所定の割合よりも多く存在
する場合に、反復動作のジェスチャであると推定する、
ことを特徴とする請求項３記載のジェスチャ認識方法。
【請求項８】前記センサとして磁気センサを用いること
をことを特徴とする請求項１記載のジェスチャ認識装
置。
【請求項９】前記特徴点位置計測手段が、二つのカメラ
で撮像された画像情報から、ステレオ画像処理を行い、
前記ユーザの手足の動きの特徴を示す点の空間中の３次
元座標を計測することを特徴とする請求項１記載のジェ
スチャ認識装置。
【請求項１０】（ａ）ユーザに装着したセンサの出力情
報、又は前記ユーザの画像情報から、前記ユーザの手足
の動きの特徴を示す点の空間中の３次元座標を計測する
処理と、（ｂ）前記抽出された特徴点のうち前記ユーザの手以外
の特徴点の３次元座標から、前記ユーザの３次元位置及
び姿勢を推定するステップと、（ｃ）前記推定された前記ユーザの３次元位置の一つを
基準点として、前記ユーザの姿勢に応じて各座標軸が一
意に定められるユーザ座標系を構成し、前記ユーザの手
足の特徴点を前記ユーザ座標系に変換することにより、
前記ユーザの位置及び姿勢に依存しない特徴量を抽出
し、前記ユーザの位置及び姿勢に依存しない前記特徴量
の時系列変化を解析する処理と、（ｄ）前記時系列変化と、予め作成されたジェスチャモ
デルを記憶するジェスチャモデル記憶部に格納されてい
るジェスチャモデルとのマッチングをとり、前記ユーザ
の行なったジェスチャを推定する処理と、の（ａ）〜（ｄ）の各処理をコンピュータで実行させる
ためのプログラムを記録した記録媒体。