JP2004302992A - ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム - Google Patents
ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム Download PDFInfo
- Publication number
- JP2004302992A JP2004302992A JP2003096271A JP2003096271A JP2004302992A JP 2004302992 A JP2004302992 A JP 2004302992A JP 2003096271 A JP2003096271 A JP 2003096271A JP 2003096271 A JP2003096271 A JP 2003096271A JP 2004302992 A JP2004302992 A JP 2004302992A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- posture
- hand
- face
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】ポスチャ認識処理又はジェスチャ認識処理に要する計算量を減らすことのできるジェスチャ認識装置を提供する。
【解決手段】ジェスチャ認識装置４は、対象人物の実空間上における顔位置及び手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。ポスチャ・ジェスチャ認識手段４２は、「実空間上における顔位置」及び「実空間上における手先位置」から、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変位」を検出し、その検出結果と、ポスチャ・ジェスチャデータ記憶部１２Ａに記憶されているポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【選択図】 図１
【解決手段】ジェスチャ認識装置４は、対象人物の実空間上における顔位置及び手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。ポスチャ・ジェスチャ認識手段４２は、「実空間上における顔位置」及び「実空間上における手先位置」から、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変位」を検出し、その検出結果と、ポスチャ・ジェスチャデータ記憶部１２Ａに記憶されているポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラによって対象人物を撮像した画像から、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するための装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
従来、カメラによって対象人物を撮像した画像から、対象人物の動きの特徴を示す点（特徴点）を検出し、その特徴点に基づいて対象人物のジェスチャを推定するジェスチャ認識手法が数多く提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１４９０２５号公報（第３−６頁、第１図）
【０００４】
【発明が解決しようとする課題】
しかし、従来のジェスチャ認識手法では、対象人物のジェスチャを認識する際に、前記特徴点を一々検出する必要があるため、ポスチャ認識処理又はジェスチャ認識処理に要する計算量が多くなるという問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、ポスチャ認識処理又はジェスチャ認識処理に要する計算量を減らすことのできるジェスチャ認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載のジェスチャ認識装置は、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段とを備えたことを特徴とする。
【０００７】
この装置は、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置とを検出する。次に、ポスチャ・ジェスチャ認識手段によって、「顔位置及び手先位置から、顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」を検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【０００８】
なお、ポスチャ・ジェスチャ認識手段が調べる「顔位置と手先位置との相対的な位置関係」とは、具体的には、「顔位置及び手先位置の高さ」及び「顔位置及び手先位置のカメラからの距離」のことである（請求項２）。このように構成すると、「顔位置の高さ」と「手先位置の高さ」との比較、及び「顔位置のカメラからの距離」と「手先位置のカメラからの距離」との比較により、「顔位置と手先位置との相対的な位置関係」を容易に検出することができる。また、ポスチャ・ジェスチャ認識手段は、「画像上における顔位置及び手先位置の水平方向のずれ」を調べることにより、「顔位置と手先位置との相対的な位置関係」を検出することもできる。
【０００９】
また、ポスチャ・ジェスチャ認識手段は、対象人物のポスチャ又はジェスチャを認識する際に、パターンマッチング法を用いることもできる（請求項３）。このように構成すると、「顔位置と手先位置との相対的な位置関係」と「顔位置を基準とした際の手先位置の変動」とからなる「入力パターン」を、予め記憶しておいたポスチャデータ又はジェスチャデータと重ね合わせて、最も似ているパターンを探すことにより、対象人物のポスチャ又はジェスチャを容易に認識することができる。
【００１０】
また、ポスチャ・ジェスチャ認識手段は、対象人物の手が入る大きさの判定領域を設定し、手の面積と判定領域の面積とを比較することにより、顔位置と手先位置との相対的な位置関係が類似しているポスチャ又はジェスチャを区別することができる（請求項４）。このように構成すると、例えば、共に手先位置の高さが顔位置の高さよりも低く、カメラから手先位置までの距離がカメラから顔位置までの距離よりも短いため、互いに区別しづらい、「ＨＡＮＤＳＨＡＫＥ」というポスチャ（図９（ｄ）参照）と、「ＣＯＭＥ ＨＥＲＥ」というジェスチャ（図１０（ｃ）参照）とを区別することが可能となる。具体的には、手先の面積が判定領域である判定円の面積の１／２よりも大きい場合は「ＣＯＭＥ ＨＥＲＥ」であると判定し、手先の面積が判定円の面積の１／２以下である場合は「ＨＡＮＤＳＨＡＫＥ」であると判定することにより、両者を区別する。
【００１１】
請求項５に記載のジェスチャ認識方法は、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための方法であって、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出ステップと、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識ステップとを含むことを特徴とする。
【００１２】
この方法は、まず、顔・手先位置検出ステップにおいて、画像から生成した対象人物の輪郭情報と肌色領域情報とに基づいて、対象人物の実空間上における顔位置と手先位置とを検出する。次に、ポスチャ・ジェスチャ認識ステップにおいて、「顔位置及び手先位置から顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【００１３】
請求項６に記載のジェスチャ認識プログラムは、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段、として機能させることを特徴とする。
【００１４】
このプログラムは、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識手段によって、「顔位置及び手先位置から顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」を検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係るジェスチャ認識装置を含むジェスチャ認識システムの構成について図１〜図１９を参照して説明し、その後、ジェスチャ認識システムの動作について図２０及び図２１を参照して説明する。
【００１６】
（ジェスチャ認識システムＡの構成）
まず、本発明に係るジェスチャ認識装置４を含むジェスチャ認識システムＡの全体構成について図１を参照して説明する。図１はジェスチャ認識システムＡの全体構成を示すブロック図である。
【００１７】
図１に示すように、ジェスチャ認識システムＡは、図示しない対象人物を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３と、撮像画像解析装置２で生成された各種情報と、輪郭抽出装置３で抽出された対象人物の輪郭（輪郭情報）に基づいて、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するジェスチャ認識装置４とから構成されている。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３、ジェスチャ認識装置４について、順に説明する。
【００１８】
（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。
【００１９】
なお、カメラ１ａ，１ｂで撮像した画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。
【００２０】
（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」、「肌色領域情報」を生成する装置である（図１参照）。
【００２１】
図２は、図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。図２に示すように、撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３と、「肌色領域情報」を生成する肌色領域情報生成部２４とから構成されている。
【００２２】
（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素についてカメラ１からの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とからブロック相関法を用いて視差を求め、その視差から三角法を用いて、カメラ１から「各画素に撮像された物」までの距離を求める。そして、求めた距離を第１の撮像画像の各画素に対応付けて、距離を画素値で表現した距離画像Ｄ１（図３（ａ）参照）を生成する。この距離画像Ｄ１が距離情報となる。図３（ａ）の例では、同一の距離に対象人物Ｃが存在している。
【００２３】
なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば８×３画素）を比較し、第１の撮像画像と第２の撮像画像とでブロック内の被写体が何画素分ずれているかを調べることにより視差を検出する方法である。
【００２４】
（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した「時刻ｔ」における「撮像画像（ｔ）」と、「時刻ｔ＋Δｔ」における「撮像画像（ｔ＋Δｔ）」との差分に基づいて、対象人物の動きを検出する。具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋Δｔ）」との差分をとり、各画素の変位を調べる。そして、調べた変位に基づいて変位ベクトルを求め、求めた変位ベクトルを画素値で表わした差分画像Ｄ２（図３（ｂ）参照）を生成する。この差分画像Ｄ２が動き情報となる。図３（ｂ）の例では、対象人物Ｃの左腕に動きが検出されている。
【００２５】
（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出したエッジ画像を生成する。具体的には、撮像画像における各画素の輝度に基づいて、輝度が大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像Ｄ３（図３（ｃ）参照）を生成する。このエッジ画像Ｄ３がエッジ情報となる。
【００２６】
エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。
【００２７】
（肌色領域情報生成部２４）
肌色領域情報生成部２４は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する（図３（ｄ）参照）。図３（ｄ）の例では、対象人物Ｃの顔が肌色領域Ｒ１として抽出され、手が肌色領域Ｒ２として抽出されている。この肌色領域Ｒ１，Ｒ２が肌色領域情報となる。
【００２８】
撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」は、輪郭抽出装置３に入力される。また、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」と「肌色領域情報（肌色領域Ｒ１，Ｒ２）」は、ジェスチャ認識装置４に入力される。
【００２９】
（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」に基づいて、対象人物の輪郭を抽出する装置である（図１参照）。
【００３０】
図２に示すように、輪郭抽出装置３は、対象人物が存在する距離である「対象距離」を設定する対象距離設定部３１と、「対象距離」に基づいた「対象距離画像」を生成する対象距離画像生成部３２と、「対象距離画像内」における「対象領域」を設定する対象領域設定部３３と、「対象領域内」から「対象人物の輪郭」を抽出する輪郭抽出部３４とから構成されている。
【００３１】
（対象距離設定部３１）
対象距離設定部３１は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）と、差分画像Ｄ２（図３（ｂ）参照）とに基づいて、対象人物が存在する距離である「対象距離」を設定する。具体的には、距離画像Ｄ１における同一の画素値を有する画素を一群（画素群）として、差分画像Ｄ２における前記画素群の画素値を累計する。そして、画素値の累計値が所定値よりも大きい、かつ、カメラ１に最も近い距離にある領域に、最も動き量の多い移動物体、即ち対象人物が存在しているとみなし、その距離を対象距離とする（図４（ａ）参照）。図４（ａ）の例では、対象距離は２．２ｍに設定されている。対象距離設定部３１で設定された対象距離は、対象距離画像生成部３２に入力される。
【００３２】
（対象距離画像生成部３２）
対象距離画像生成部３２は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）を参照し、対象距離設定部３１で設定された対象距離±αｍに存在する画素に対応する画素をエッジ画像Ｄ３（図３（ｃ）参照）から抽出した「対象距離画像」を生成する。具体的には、距離画像Ｄ１における対象距離設定部３１から入力された対象距離±αｍに対応する画素を求める。そして、求められた画素のみをエッジ情報生成部２３で生成されたエッジ画像Ｄ３から抽出し、対象距離画像Ｄ４（図４（ｂ）参照）を生成する。したがって、対象距離画像Ｄ４は、対象距離に存在する対象人物をエッジで表現した画像になる。対象距離画像生成部３２で生成された対象距離画像Ｄ４は、対象領域設定部３３と輪郭抽出部３４に入力される。
【００３３】
（対象領域設定部３３）
対象領域設定部３３は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図３（ｂ）参照）内における「対象領域」を設定する。具体的には、対象距離画像Ｄ４の縦方向の画素値を累計したヒストグラムＨを生成し、ヒストグラムＨにおける度数が最大となる位置を、対象人物Ｃの水平方向における中心位置として特定する（図５（ａ）参照）。そして、特定された中心位置の左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔとして設定する（図５（ｂ）参照）。なお、対象領域Ｔの縦方向の範囲は、特定の大きさ（例えば２ｍ）に設定される。また、対象領域Ｔを設定する際は、カメラ１のチルト角や高さ等のカメラパラメータを参照して、対象領域Ｔの設定範囲を補正する。対象領域設定部３３で設定された対象領域Ｔは、輪郭抽出部３４に入力される。
【００３４】
（輪郭抽出部３４）
輪郭抽出部３４は、対象距離画像生成部３２で生成された対象領域画像Ｄ４（図４（ｂ）参照）において、対象領域設定部３３で設定された対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する（図５（ｃ）参照）。具体的には、対象人物Ｃの輪郭Ｏを抽出する際は、「Ｓｎａｋｅｓ」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法（以下、「スネーク手法」という）を用いる。なお、スネーク手法とは、動的輪郭モデルである「Ｓｎａｋｅｓ」を、予め定義されたエネルギ関数が最小となるように収縮変形させることにより、対象物の輪郭を抽出する手法である。輪郭抽出部３４で抽出された対象人物Ｃの輪郭Ｏは、「輪郭情報」としてジェスチャ認識装置４に入力される（図１参照）。
【００３５】
ジェスチャ認識装置４は、撮像画像解析装置２で生成された「距離情報」及び「肌色領域情報」と、輪郭抽出装置３で生成された「輪郭情報」とに基づいて、対象人物のポスチャ又はジェスチャを認識し、その認識結果を出力する装置である（図１参照）。
【００３６】
図６は、図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。図６に示すように、ジェスチャ認識装置４は、対象人物Ｃの実空間上における顔位置と手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。
【００３７】
顔・手先位置検出手段４１は、実空間上における対象人物の「頭頂部の位置（頭頂部位置）」を検出する頭位置検出部４１Ａと、対象人物の「顔の位置（顔位置）」を検出する顔位置検出部４１Ｂと、対象人物の「手の位置（手位置）」を検出する手位置検出部４１Ｃと、対象人物の「手先の位置（手先位置）」を検出する手先位置検出部４１Ｄとから構成されている。なお、ここでいう「手」とは、腕（ａｒｍ）と手（Ｈａｎｄ）とからなる部位のことであり、「手先」とは、手（Ｈａｎｄ）の指先のことである。
【００３８】
（頭位置検出部４１Ａ）
頭位置検出部４１Ａは、輪郭抽出装置３で生成された輪郭情報に基づいて、対象人物Ｃの「頭頂部位置」を検出する。頭頂部位置の検出方法について図７（ａ）を参照して説明すると、まず、輪郭Ｏで囲まれた領域における重心Ｇを求める（１）。次に、頭頂部位置を探索するための領域（頭頂部位置探索領域）Ｆ１を設定する（２）。頭頂部位置探索領域Ｆ１の横幅（Ｘ軸方向の幅）は、重心ＧのＸ座標を中心にして、予め設定されている人間の平均肩幅Ｗとなるようにする。なお、人間の平均肩幅Ｗは、撮像画像解析装置２で生成された距離情報を参照して設定される。また、頭頂部位置探索領域Ｆ１の縦幅（Ｙ軸方向の幅）は、輪郭Ｏを覆うことができるような幅に設定される。そして、頭頂部位置探索領域Ｆ１内における輪郭Ｏの上端点を、頭頂部位置ｍ１とする（３）。頭位置検出部４１Ａで検出された頭頂部位置ｍ１は、顔位置検出部４１Ｂに入力される。
【００３９】
（顔位置検出部４１Ｂ）
顔位置検出部４１Ｂは、頭位置検出部４１Ａで検出された頭頂部位置ｍ１と、撮像画像解析装置２で生成された肌色領域情報とに基づいて、対象人物Ｃの「顔位置」を検出する。顔位置の検出方法について図７（ｂ）を参照して説明すると、まず、顔位置を探索するための領域（顔位置探索領域）Ｆ２を設定する（４）。顔位置探索領域Ｆ２の範囲は、頭頂部位置ｍ１を基準にして、予め設定されている「おおよそ人間の頭部を覆う大きさ」となるようにする。なお、顔位置探索領域Ｆ２の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４０】
次に、顔位置探索領域Ｆ２内における肌色領域Ｒ１の重心を、画像上における顔位置ｍ２とする（５）。肌色領域Ｒ１については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）を求める。
【００４１】
顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」は、手位置検出部４１Ｃと手先位置検出部４１Ｄに入力される。また、顔位置検出部４１Ｂで検出された「実空間上における顔位置ｍ２ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４２】
（手位置検出部４１Ｃ）
手位置検出部４１Ｃは、撮像画像解析装置２で生成された肌色領域情報と、輪郭抽出装置３で生成された輪郭情報とに基づいて、対象人物Ｃの「手位置」を検出する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。手位置の検出方法について図８（ａ）を参照して説明すると、まず、手位置を探索するための領域（手位置探索領域）Ｆ３（Ｆ３Ｒ，Ｆ３Ｌ）を設定する（６）。手位置探索領域Ｆ３は、顔位置検出部４１Ｂで検出された顔位置ｍ２を基準にして、予め設定されている「手が届く範囲（左右の手の届く範囲）」となるようにする。なお、手位置探索領域Ｆ３の大きさは、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４３】
次に、手位置探索領域Ｆ３内における肌色領域Ｒ２の重心を、画像上における手位置ｍ３とする（７）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。図８（ａ）の例では、肌色領域は手位置探索領域Ｆ３（Ｌ）においてのみ存在しているので、手位置ｍ３は手位置探索領域Ｆ３（Ｌ）においてのみ検出される。また、図８（ａ）の例では、対象人物は長袖の服を着ており、手首より先しか露出していないので、手（ＨＡＮＤ）の位置が手位置ｍ３となる。手位置検出部４１Ｃで検出された「画像上における手位置ｍ３」は、手先位置検出部４１Ｄに入力される。
【００４４】
（手先位置検出部４１Ｄ）
手先位置検出部４１Ｄは、顔位置検出部４１Ｂで検出された顔位置ｍ２と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、対象人物Ｃの「手先位置」を検出する。手先位置の検出方法について図８（ｂ）を参照して説明すると、まず、手位置探索領域Ｆ３Ｌ内において、手先位置を探索するための領域（手先位置探索範囲）Ｆ４を設定する（８）。手先位置探索範囲Ｆ４は、手位置ｍ３を中心にして、予め設定されている「おおよそ手を覆う大きさ」となるようにする。なお、手先位置探索範囲Ｆ４の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４５】
続いて、手先位置探索範囲Ｆ４における肌色領域Ｒ２の上下左右の端点ｍ４ａ〜ｍ４ｄを検出する（９）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、上下端点間（ｍ４ａ、ｍ４ｂ間）の垂直方向距離ｄ１と、左右端点間（ｍ４ｃ、ｍ４ｄ間）の水平方向距離ｄ２とを比較し、距離が長い方を手が伸びている方向と判断する（１０）。図８（ｂ）の例では、垂直方向距離ｄ１の方が水平方向距離ｄ２よりも距離が長いので、手先は上下方向に伸びていると判断される。
【００４６】
次に、画像上における顔位置ｍ２と、画像上における手位置ｍ３との位置関係に基づいて、上下端点ｍ４ａ，ｍ４ｂのどちら（もしくは左右端点ｍ４ｃ，ｍ４ｄのどちらか）が手先位置であるかを判断する。具体的には、手位置ｍ３が顔位置ｍ２から遠い場合は、手は伸びているとみなし、顔位置ｍ２から遠い方の端点を手先位置（画像上における手先位置）ｍ４と判断する。逆に、手位置ｍ３が顔位置ｍ２に近い場合は、肘を曲げているとみなし、顔位置ｍ２に近い方の端点を手先位置ｍ４と判断する。図８（ｂ）の例では、手位置ｍ３が顔位置ｍ２から遠く、上端点ｍ４ａが下端点ｍ４ｂよりも顔位置ｍ２から遠いので、上端点ｍ４ａが手先位置ｍ４であると判断する（１１）。
【００４７】
そして、画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）を求める。手先位置検出部４１Ｄで検出された「実空間上における手先位置ｍ４ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４８】
（ポスチャ・ジェスチャ認識手段４２）
ポスチャ・ジェスチャ認識手段４２は、ポスチャデータ及びジェスチャデータを記憶するポスチャ・ジェスチャデータ記憶部４２Ａと、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」及び「実空間上における手先位置ｍ４ｔ」に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識部４２Ｂとから構成されている（図６参照）。
【００４９】
（ポスチャ・ジェスチャデータ記憶部４２Ａ）
ポスチャ・ジェスチャデータ記憶部４２Ａは、ポスチャデータＰ１〜Ｐ６（図９参照）とジェスチャデータＪ１〜Ｊ４（図１０参照）を記憶している。ポスチャデータＰ１〜Ｐ６とジェスチャデータＪ１〜Ｊ４は、「実空間上における顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したデータである。なお、「顔位置と手先位置との相対的な位置関係」とは、具体的には、「顔位置及び手先位置の高さ」と、「顔位置及び手先位置のカメラ１からの距離」とのことである。また、ポスチャ・ジェスチャ認識手段４２Ａは、「画像上における顔位置及び手先位置の水平方向のずれ」を調べることにより、「顔位置と手先位置との相対的な位置関係」を検出することもできる。ポスチャデータＰ１〜Ｐ６とジェスチャデータＪ１〜Ｊ４は、ポスチャ・ジェスチャ認識部４２Ｂにおいて対象人物のポスチャ又はジェスチャを認識する際に使用される。
【００５０】
ポスチャデータＰ１〜Ｐ６について図９を参照して説明すると、図９（ａ）に示す「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」は「こんにちは」、図９（ｂ）に示す「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」は「追従開始」、図９（ｃ）に示す「ポスチャＰ３：ＳＴＯＰ」は「止まれ」、図９（ｄ）に示す「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」は「握手」、図９（ｅ）に示す「ポスチャＰ５：ＳＩＤＥ ＨＡＮＤ」は「手の方向を見よ」、図９（ｆ）に示す「ポスチャＰ６：ＬＯＷ ＨＡＮＤ」は「手の方向に曲がれ」を意味するポスチャである。
【００５１】
また、ジェスチャＪ１〜Ｊ４について図１０を参照して説明すると、図１０（ａ）に示す「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」は「注意せよ」、図１０（ｂ）に示す「ジェスチャＪ２：ＢＹＥ ＢＹＥ」は「さようなら」、図１０（ｃ）に示す「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は「接近せよ」、図１０（ｄ）に示す「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は「旋回せよ」を意味するジェスチャである。
【００５２】
なお、本実施の形態では、ポスチャ・ジェスチャデータ記憶部４２Ａ（図６参照）は、ポスチャデータＰ１〜Ｐ６（図９参照）とジェスチャデータＪ１〜Ｊ４（図１０参照）を記憶しているが、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶させるポスチャデータとジェスチャデータは任意に設定することができる。また、各ポスチャと各ジェスチャの意味も任意に設定することができる。
【００５３】
ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」及び「実空間上における手先位置ｍ４ｔ」から、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶されているポスチャデータＰ１〜Ｐ６（図９参照）又はジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識する。なお、ポスチャ・ジェスチャ認識部４２Ｂでの認識結果は履歴として保存される。
【００５４】
次に、図１１〜図１４に示すフローチャートを参照して、ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法について詳しく説明する。ここでは、まず、図１１に示すフローチャートを参照してポスチャ・ジェスチャ認識部４２Ｂでの処理の概略について説明し、その後、図１２に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明し、図１３及び図１４に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明する。
【００５５】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略）
図１１は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。図１１に示すフローチャートを参照して、まず、ステップＳ１では、ポスチャＰ１〜Ｐ４（図９参照）の認識を試みる。続いて、ステップＳ２では、ステップＳ１においてポスチャを認識できたかどうかを判断する。ここで、ポスチャを認識できたと判断された場合はステップＳ３に進み、ポスチャを認識できなかったと判断された場合はステップＳ４に進む。そして、ステップＳ３では、ステップＳ１において認識されたポスチャを認識結果として出力し、処理を終了する。
【００５６】
ステップＳ４では、ポスチャＰ５，Ｐ６（図９参照）又はジェスチャＪ１〜Ｊ４（図１０参照）の認識を試みる。次に、ステップＳ５では、ステップＳ４においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ６に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ８に進む。
【００５７】
ステップＳ６では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ７に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ８に進む。
【００５８】
そして、ステップＳ７では、ステップＳ４において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ８では、ポスチャ又はジェスチャを認識できなかった、即ち認識不能であると出力し、処理を終了する。
【００５９】
（ステップＳ１：ポスチャ認識処理）
図１２は、図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明するためのフローチャートである。図１２に示すフローチャートを参照して、まず、ステップＳ１１では、顔・手先位置検出手段４１から対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ（以降、「入力情報」という）が入力される。続いて、ステップＳ１２では、顔位置ｍ２ｔ及び手先位置ｍ４ｔに基づいて、カメラ１から手先までの距離（以降、「手先距離」という）と、カメラ１から顔までの距離（以降、「顔距離」という）とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じ距離であると判断された場合はステップＳ１３に進み、両者がほぼ同じではないと判断された場合はステップＳ１８に進む。
【００６０】
ステップＳ１３では、手先の高さ（以降、「手先高さ」という）と、顔の高さ（以降、「顔高さ」という）とを比較し、手先高さと顔高さとがほぼ同じであるかどうか、つまり手先高さと顔高さとの差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ１４に進み、両者がほぼ同じではないと判断された場合はステップＳ１５に進む。ステップＳ１４では、入力情報に対応するポスチャは、「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」（図９（ａ）参照）であるという認識結果を出力し、処理を終了する。
【００６１】
ステップＳ１５では、手先高さと顔高さとを比較し、手先高さが顔高さよりも高いかどうかを判断する。ここで、手先高さが顔高さよりも高いと判断された場合はステップＳ１６に進み、手先高さが顔高さよりも高くはないと判断された場合はステップＳ１７に進む。そして、ステップＳ１６では、入力情報に対応するポスチャは、「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」（図９（ｂ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ１７では、入力情報に対応するポスチャは「無し」という認識結果を出力し、処理を終了する。
【００６２】
ステップＳ１８では、手先高さと顔高さとを比較し、手先高さと顔高さとがほぼ同じであるかどうか、つまり手先高さと顔高さとの差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ１９に進み、両者がほぼ同じではないと判断された場合はステップＳ２０に進む。そして、ステップＳ１９では、入力情報に対応するポスチャは、「ポスチャＰ３：ＳＴＯＰ」（図９（ｃ）参照）であるという認識結果を出力し、処理を終了する。
【００６３】
ステップＳ２０では、手先高さと顔高さとを比較し、手先高さが顔高さよりも低いかどうかを判断する。ここで、手先高さが顔高さよりも低くはないと判断された場合はステップＳ２１に進み、手先高さが顔高さよりも高いと判断された場合はステップＳ２２に進む。そして、ステップＳ２１では、入力情報に対応するポスチャは「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ２２では、入力情報に対応するポスチャは「無し」という認識結果を出力し、処理を終了する。
【００６４】
（ステップＳ４：ポスチャ・ジェスチャ認識処理）
図１３は、図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第１のフローチャートである。図１３に示すフローチャートを参照して、まず、ステップＳ３１では、入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）が入力される。続いて、ステップＳ３２では、顔位置ｍ２ｔを基準とした場合の手先位置ｍ４ｔの標準偏差を求め、求めた標準偏差に基づいて、手の動きの有無を判断する。具体的には、手先位置ｍ４ｔの標準偏差が所定値以下の場合は手の動きが無いと判断し、所定値よりも大きい場合は手の動きが有ると判断する。ここで、手の動きが無いと判断された場合はステップＳ３３に進み、手の動きが有ると判断された場合はステップＳ３６に進む。
【００６５】
ステップＳ３３では、手先高さが顔高さのすぐ下であるかどうかを判断する。ここで、手先高さが顔高さのすぐ下であると判断された場合はステップＳ３４に進み、手先高さが顔高さのすぐ下ではないと判断された場合はステップＳ３５に進む。そして、ステップＳ３４では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ５：ＳＩＤＥ ＨＡＮＤ」（図９（ｅ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ３５では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ６：ＬＯＷ ＨＡＮＤ」（図９（ｆ）参照）であるという認識結果を出力し、処理を終了する。
【００６６】
ステップＳ３６では、手先高さと顔高さとを比較し、手先高さが顔高さよりも高いかどうかを判断する。ここで、手先高さが顔高さよりも高いと判断された場合はステップＳ３７に進み、手先高さが顔高さよりも高くはないと判断された場合はステップＳ４１（図１４参照）に進む。そして、ステップＳ３７では、手先距離と顔距離とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ３８に進み、両者がほぼ同じではないと判断された場合はステップＳ４０に進む。
【００６７】
ステップＳ３８では、手先が左右に振れているかどうかを判断する。ここで、２フレーム間における左右方向のずれから、手先が左右に振れていると判断された場合はステップＳ３９に進み、手先が左右に振れていないと判断された場合はステップＳ４０に進む。そして、ステップＳ３９では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ４１では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００６８】
図１４は、図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第２のフローチャートである。図１４に示すフローチャートを参照して、ステップＳ４１では、手先距離と顔距離とを比較し、手先距離が顔距離よりも短いかどうかを判断する。ここで、手先距離が顔距離よりも短いと判断された場合はステップＳ４２に進み、手先距離が顔距離よりも短くはないと判断された場合はステップＳ４７に進む。
【００６９】
ステップＳ４２では、手先が左右に振れているかどうかを判断する。ここで、２フレーム間における左右方向のずれから、手先が左右に振れていると判断された場合はステップＳ４３に進み、手先が左右に振れていないと判断された場合はステップＳ４４に進む。そして、ステップＳ４３では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ２：ＢＹＥ ＢＹＥ」（図１０（ｂ）参照）であるという認識結果を出力し、処理を終了する。
【００７０】
ステップＳ４４では、手先が上下に振れているかどうかを判断する。ここで、２フレーム間における上下方向のずれから、手先が上下に振れていると判断された場合はステップＳ４５に進み、手先が上下に振れていないと判断された場合はステップＳ４６に進む。そして、ステップＳ４５では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ４６では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００７１】
ステップＳ４７では、手先距離と顔距離とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ４８に進み、両者がほぼ同じではないと判断された場合はステップＳ５０に進む。ステップＳ４８では、手先が左右に振れているかどうかを判断する。ここで、手先が左右に振れていると判断された場合はステップＳ４９に進み、手先が左右に振れていないと判断された場合はステップＳ５０に進む。
【００７２】
そして、ステップＳ４９では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」（図１０（ｄ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ５０では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００７３】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１から入力された入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）から、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１〜Ｐ６（図９参照）及びジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００７４】
なお、ポスチャ・ジェスチャ認識部４２Ｂでは前記した方法以外にも、次の変形例１及び変形例２の方法によっても対象人物のポスチャ又はジェスチャを認識することができる。以下、図１５〜図１７を参照して「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１」について説明し、図１８及び図１９を参照して「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２」について説明する。
【００７５】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１）
変形例１では、対象人物のポスチャ又はジェスチャを認識する際に、パターンマッチング法を用いている。図１５は、「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１」について説明するためのフローチャートである。図１５に示すフローチャートを参照して、まず、ステップＳ６１では、ポスチャ又はジェスチャの認識を試みる。このとき、ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１から入力された入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）と「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」とからなる「入力パターン」を、ポスチャ・ジェスチャ記憶部４２Ａに記憶されているポスチャＰ１１〜Ｐ１６（図１６参照）又はジェスチャデータＪ１１〜Ｊ１４（図１７参照）と重ね合わせて、最も似ているパターンを探すことにより、対象人物のポスチャ又はジェスチャを認識する。なお、ポスチャ・ジェスチャ記憶部４２Ａには、予めパターンマッチング用のポスチャデータＰ１１〜Ｐ１６（図１６参照）とジェスチャデータＪ１１〜Ｊ１４（図１７参照）とを記憶させておく。
【００７６】
続いて、ステップＳ６２では、ステップＳ６１においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ６３に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ６５に進む。
【００７７】
ステップＳ６３では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ６４に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ６５に進む。
【００７８】
そして、ステップＳ６４では、ステップＳ６１において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ６５では、ポスチャ又はジェスチャを認識することができなかった、即ち認識不能であると出力し、処理を終了する。
【００７９】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、パターンマッチング法を用いて、顔・手先位置検出手段４１から入力された入力情報と「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」とからなる「入力パターン」を、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１１〜Ｐ１６（図１６参照）及びジェスチャデータＪ１１〜Ｊ１４（図１７参照）とパターンマッチングさせることにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００８０】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２）
変形例２では、対象人物の手先が入る大きさの判定円Ｅを設定し、手先の面積と判定円の面積とを比較することにより、顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係が類似している「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）と「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）とを区別している。なお、「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」と「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は、共に手先位置の高さが顔位置の高さよりも低く、カメラから手先位置までの距離がカメラから顔位置までの距離よりも短いため、互いに区別しづらい。
【００８１】
図１８は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２について説明するためのフローチャートである。図１８に示すフローチャートを参照して、まず、ステップＳ７１では、手位置ｍ３を中心とする判定円（判定領域）Ｅを設定する（図１９参照）。判定円Ｅの大きさは、判定円Ｅ内に手が入るような大きさに設定される。なお、判定円Ｅの大きさ（直径）は、撮像画像解析装置２で生成された距離情報を参照して設定される。図１９の例では、判定円Ｅの直径は２０ｃｍに設定されている。
【００８２】
続いて、ステップＳ７２では、判定円Ｅ内における肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上かどうかを判断する。なお、肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。ここで、肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上と判断された場合（図１９（ｂ）参照）はステップＳ７３に進み、肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上ではない、即ち１／２よりも小さいと判断された場合（図１９（ｃ）参照）はステップＳ７４に進む。
【００８３】
ステップＳ７３では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であるという判定結果を出力し、処理を終了する。また、ステップＳ７３では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）であるという判定結果を出力し、処理を終了する。
【００８４】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、対象人物の手先が入る大きさの判定円Ｅを設定し、判定円Ｅ内における肌色領域Ｒ２の面積Ｓｈと判定円Ｅの面積とを比較し、手先の面積が判定円の面積の１／２よりも大きい場合は「ＣＯＭＥ ＨＥＲＥ」であると判定し、手先の面積が判定円の面積の１／２以下である場合は「ＨＡＮＤＳＨＡＫＥ」であると判定することにより、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」と「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」とを区別することができる。
【００８５】
（ジェスチャ認識システムＡの動作）
次に、ジェスチャ認識システムＡの動作について図１に示すジェスチャ認識システムＡの全体構成を示すブロック図と、図２０及び図２１に示すフローチャートを参照して説明する。図２０は、ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートであり、図２１は、ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【００８６】
＜撮像画像解析ステップ＞
図２０に示すフローチャートを参照して、撮像画像解析装置２では、カメラ１ａ，１ｂから撮像画像が入力されると（ステップＳ１０１）、距離情報生成部２１において、撮像画像から距離情報である距離画像Ｄ１（図３（ａ）参照）を生成し（ステップＳ１０２）、動き情報生成部２２において、撮像画像から動き情報である差分画像Ｄ２（図３（ｂ）参照）を生成する（ステップＳ１０３）。また、エッジ情報生成部２３において、撮像画像からエッジ情報であるエッジ画像Ｄ３（図３（ｃ）参照）を生成し（ステップＳ１０４）、肌色領域情報生成部２４において、撮像画像から肌色領域情報である肌色領域Ｒ１，Ｒ２（図３（ｄ）参照）を抽出する（ステップＳ１０５）。
【００８７】
＜輪郭抽出ステップ＞
引き続き図２０に示すフローチャートを参照して、輪郭抽出装置３では、まず、対象距離設定部３１において、ステップＳ１０２とステップＳ１０３で生成された距離画像Ｄ１と差分画像Ｄ２から、対象人物が存在する距離である対象距離を設定する（ステップＳ１０６）。続いて、対象距離画像生成部３２において、ステップＳ１０４で生成されたエッジ画像Ｄ３からステップＳ１０６で設定された対象距離に存在する画素を抽出した対象距離画像Ｄ４（図４（ｂ）参照）を生成する（ステップＳ１０７）。
【００８８】
次に、対象領域設定部３３において、ステップＳ１０７で生成された対象距離画像Ｄ４内における対象領域Ｔ（図５（ｂ）参照）を設定する（ステップＳ１０８）。そして、輪郭抽出部３４において、ステップＳ１０８で設定された対象領域Ｔ内から、対象人物Ｃの輪郭Ｏ（図５（ｃ）参照）を抽出する（ステップＳ１０９）。
【００８９】
＜顔・手先位置検出ステップ＞
図２１に示すフローチャートを参照して、ジェスチャ認識装置４の顔・手先位置検出手段４１では、まず、頭位置検出部４１Ａにおいて、ステップＳ１０９で生成された輪郭情報に基づいて、対象人物Ｃの頭頂部位置ｍ１（図７（ａ）参照）を検出する（ステップＳ１１０）。
【００９０】
続いて、顔位置検出部４１Ｂにおいて、ステップＳ１１０で検出された頭頂部位置ｍ１と、ステップＳ１０５で生成された肌色領域情報とに基づいて、「画像上における顔位置ｍ２」（図７（ｂ）参照）を検出し、検出された「画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」を求める（ステップＳ１１１）。
【００９１】
次に、手位置検出部４１Ｃにおいて、ステップＳ１１１で検出された「画像上における顔位置ｍ２」から、「画像上における手位置ｍ３」（図８（ａ）参照）を検出する（ステップＳ１１２）。
【００９２】
そして、手先位置検出部４１Ｄにおいて、顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、「画像上における手先位置ｍ４」（図８（ｂ）参照）を検出し、検出された「画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」を求める（ステップＳ１１３）。
【００９３】
＜ポスチャ・ジェスチャ認識ステップ＞
引き続き図１８に示すフローチャートを参照して、ジェスチャ認識装置４のポスチャ・ジェスチャ認識手段４２では、ポスチャ・ジェスチャ認識部４２Ｂにおいて、ステップＳ１１１及びステップＳ１１３で求められた「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」と「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」とから、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１〜Ｐ６（図９参照）及びジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識する（ステップＳ１１４）。ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法の詳細については、前記したのでここでは省略する。
【００９４】
以上、ジェスチャ認識システムＡについて説明したが、このジェスチャ認識システムＡに含まれるジェスチャ認識装置４は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合してジェスチャ認識プログラムとして動作させることも可能である。
【００９５】
また、このジェスチャ認識システムＡは、例えば自律ロボットに適用することができる。その場合、自律ロボットは、例えば人が手を差し出すとそのポスチャ「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）と認識することや、人が手を振るとそのジェスチャを「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）と認識することが可能となる。
【００９６】
なお、ポスチャやジェスチャによる指示は、音声による指示と比べて、周囲の騒音により左右されない、音声が届かないような状況でも指示が可能である、言葉では表現が難しい（又は冗長になる）指示を簡潔に行うことができる、という利点がある。
【００９７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、対象人物のジェスチャを認識する際に、特徴点（対象人物の動きの特徴を示す点）を一々検出する必要が無いため、ポスチャ認識処理又はジェスチャ認識処理に要する計算量を減らすことができる。
【図面の簡単な説明】
【図１】ジェスチャ認識システムＡの全体構成を示すブロック図である。
【図２】図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。
【図３】（ａ）は距離画像Ｄ１、（ｂ）は差分画像Ｄ２、（ｃ）はエッジ画像Ｄ３、（ｄ）は肌色領域Ｒ１，Ｒ２を示す図である。
【図４】対象距離を設定する方法を説明するための図である。
【図５】対象領域Ｔを設定する方法と、対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する方法を説明するための図である。
【図６】図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。
【図７】（ａ）は頭頂部位置ｍ１の検出方法を説明するための図であり、（ｂ）は顔位置ｍ２の検出方法を説明するための図である。
【図８】（ａ）は手位置ｍ３の検出方法を説明するための図であり、（ｂ）は手先位置ｍ４の検出方法を説明するための図である。
【図９】ポスチャデータＰ１〜Ｐ６を示す図である。
【図１０】ジェスチャデータＪ１〜Ｊ４を示す図である。
【図１１】ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。
【図１２】図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明するためのフローチャートである。
【図１３】図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第１のフローチャートである。
【図１４】図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第２のフローチャートである。
【図１５】ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１について説明するためのフローチャートである。
【図１６】ポスチャデータＰ１１〜Ｐ１６を示す図である。
【図１７】ジェスチャデータＪ１１〜Ｊ１４を示す図である。
【図１８】ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２について説明するためのフローチャートである。
【図１９】（ａ）は判定円Ｅの設定方法を説明するための図である。また、（ｂ）は肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２よりも大きい場合を示す図であり、（ｃ）は肌色領域Ｒ２の面積Ｓ２が判定円Ｅの面積２の１／２以下である場合を示す図である。
【図２０】ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートである。
【図２１】ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【符号の説明】
Ａ ジェスチャ認識システム
１ カメラ
２ 撮像画像解析装置
３ 輪郭抽出装置
４ ジェスチャ認識装置
４１ 顔・手先位置検出手段
４１Ａ 頭位置検出部
４１Ｂ 顔位置検出部
４１Ｃ 手位置検出部
４１Ｄ 手先位置検出部
４２ ポスチャ・ジェスチャ認識手段
４２Ａ ポスチャ・ジェスチャデータ記憶部
４２Ｂ ポスチャ・ジェスチャ認識部
【発明の属する技術分野】
本発明は、カメラによって対象人物を撮像した画像から、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するための装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
従来、カメラによって対象人物を撮像した画像から、対象人物の動きの特徴を示す点（特徴点）を検出し、その特徴点に基づいて対象人物のジェスチャを推定するジェスチャ認識手法が数多く提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１４９０２５号公報（第３−６頁、第１図）
【０００４】
【発明が解決しようとする課題】
しかし、従来のジェスチャ認識手法では、対象人物のジェスチャを認識する際に、前記特徴点を一々検出する必要があるため、ポスチャ認識処理又はジェスチャ認識処理に要する計算量が多くなるという問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、ポスチャ認識処理又はジェスチャ認識処理に要する計算量を減らすことのできるジェスチャ認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載のジェスチャ認識装置は、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段とを備えたことを特徴とする。
【０００７】
この装置は、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置とを検出する。次に、ポスチャ・ジェスチャ認識手段によって、「顔位置及び手先位置から、顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」を検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【０００８】
なお、ポスチャ・ジェスチャ認識手段が調べる「顔位置と手先位置との相対的な位置関係」とは、具体的には、「顔位置及び手先位置の高さ」及び「顔位置及び手先位置のカメラからの距離」のことである（請求項２）。このように構成すると、「顔位置の高さ」と「手先位置の高さ」との比較、及び「顔位置のカメラからの距離」と「手先位置のカメラからの距離」との比較により、「顔位置と手先位置との相対的な位置関係」を容易に検出することができる。また、ポスチャ・ジェスチャ認識手段は、「画像上における顔位置及び手先位置の水平方向のずれ」を調べることにより、「顔位置と手先位置との相対的な位置関係」を検出することもできる。
【０００９】
また、ポスチャ・ジェスチャ認識手段は、対象人物のポスチャ又はジェスチャを認識する際に、パターンマッチング法を用いることもできる（請求項３）。このように構成すると、「顔位置と手先位置との相対的な位置関係」と「顔位置を基準とした際の手先位置の変動」とからなる「入力パターン」を、予め記憶しておいたポスチャデータ又はジェスチャデータと重ね合わせて、最も似ているパターンを探すことにより、対象人物のポスチャ又はジェスチャを容易に認識することができる。
【００１０】
また、ポスチャ・ジェスチャ認識手段は、対象人物の手が入る大きさの判定領域を設定し、手の面積と判定領域の面積とを比較することにより、顔位置と手先位置との相対的な位置関係が類似しているポスチャ又はジェスチャを区別することができる（請求項４）。このように構成すると、例えば、共に手先位置の高さが顔位置の高さよりも低く、カメラから手先位置までの距離がカメラから顔位置までの距離よりも短いため、互いに区別しづらい、「ＨＡＮＤＳＨＡＫＥ」というポスチャ（図９（ｄ）参照）と、「ＣＯＭＥ ＨＥＲＥ」というジェスチャ（図１０（ｃ）参照）とを区別することが可能となる。具体的には、手先の面積が判定領域である判定円の面積の１／２よりも大きい場合は「ＣＯＭＥ ＨＥＲＥ」であると判定し、手先の面積が判定円の面積の１／２以下である場合は「ＨＡＮＤＳＨＡＫＥ」であると判定することにより、両者を区別する。
【００１１】
請求項５に記載のジェスチャ認識方法は、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための方法であって、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出ステップと、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識ステップとを含むことを特徴とする。
【００１２】
この方法は、まず、顔・手先位置検出ステップにおいて、画像から生成した対象人物の輪郭情報と肌色領域情報とに基づいて、対象人物の実空間上における顔位置と手先位置とを検出する。次に、ポスチャ・ジェスチャ認識ステップにおいて、「顔位置及び手先位置から顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【００１３】
請求項６に記載のジェスチャ認識プログラムは、カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段、として機能させることを特徴とする。
【００１４】
このプログラムは、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識手段によって、「顔位置及び手先位置から顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」を検出する。そして、その検出結果と、「顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、対象人物のポスチャ又はジェスチャを認識する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係るジェスチャ認識装置を含むジェスチャ認識システムの構成について図１〜図１９を参照して説明し、その後、ジェスチャ認識システムの動作について図２０及び図２１を参照して説明する。
【００１６】
（ジェスチャ認識システムＡの構成）
まず、本発明に係るジェスチャ認識装置４を含むジェスチャ認識システムＡの全体構成について図１を参照して説明する。図１はジェスチャ認識システムＡの全体構成を示すブロック図である。
【００１７】
図１に示すように、ジェスチャ認識システムＡは、図示しない対象人物を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３と、撮像画像解析装置２で生成された各種情報と、輪郭抽出装置３で抽出された対象人物の輪郭（輪郭情報）に基づいて、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するジェスチャ認識装置４とから構成されている。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３、ジェスチャ認識装置４について、順に説明する。
【００１８】
（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。
【００１９】
なお、カメラ１ａ，１ｂで撮像した画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。
【００２０】
（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」、「肌色領域情報」を生成する装置である（図１参照）。
【００２１】
図２は、図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。図２に示すように、撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３と、「肌色領域情報」を生成する肌色領域情報生成部２４とから構成されている。
【００２２】
（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素についてカメラ１からの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とからブロック相関法を用いて視差を求め、その視差から三角法を用いて、カメラ１から「各画素に撮像された物」までの距離を求める。そして、求めた距離を第１の撮像画像の各画素に対応付けて、距離を画素値で表現した距離画像Ｄ１（図３（ａ）参照）を生成する。この距離画像Ｄ１が距離情報となる。図３（ａ）の例では、同一の距離に対象人物Ｃが存在している。
【００２３】
なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば８×３画素）を比較し、第１の撮像画像と第２の撮像画像とでブロック内の被写体が何画素分ずれているかを調べることにより視差を検出する方法である。
【００２４】
（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した「時刻ｔ」における「撮像画像（ｔ）」と、「時刻ｔ＋Δｔ」における「撮像画像（ｔ＋Δｔ）」との差分に基づいて、対象人物の動きを検出する。具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋Δｔ）」との差分をとり、各画素の変位を調べる。そして、調べた変位に基づいて変位ベクトルを求め、求めた変位ベクトルを画素値で表わした差分画像Ｄ２（図３（ｂ）参照）を生成する。この差分画像Ｄ２が動き情報となる。図３（ｂ）の例では、対象人物Ｃの左腕に動きが検出されている。
【００２５】
（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出したエッジ画像を生成する。具体的には、撮像画像における各画素の輝度に基づいて、輝度が大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像Ｄ３（図３（ｃ）参照）を生成する。このエッジ画像Ｄ３がエッジ情報となる。
【００２６】
エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。
【００２７】
（肌色領域情報生成部２４）
肌色領域情報生成部２４は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する（図３（ｄ）参照）。図３（ｄ）の例では、対象人物Ｃの顔が肌色領域Ｒ１として抽出され、手が肌色領域Ｒ２として抽出されている。この肌色領域Ｒ１，Ｒ２が肌色領域情報となる。
【００２８】
撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」は、輪郭抽出装置３に入力される。また、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」と「肌色領域情報（肌色領域Ｒ１，Ｒ２）」は、ジェスチャ認識装置４に入力される。
【００２９】
（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」に基づいて、対象人物の輪郭を抽出する装置である（図１参照）。
【００３０】
図２に示すように、輪郭抽出装置３は、対象人物が存在する距離である「対象距離」を設定する対象距離設定部３１と、「対象距離」に基づいた「対象距離画像」を生成する対象距離画像生成部３２と、「対象距離画像内」における「対象領域」を設定する対象領域設定部３３と、「対象領域内」から「対象人物の輪郭」を抽出する輪郭抽出部３４とから構成されている。
【００３１】
（対象距離設定部３１）
対象距離設定部３１は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）と、差分画像Ｄ２（図３（ｂ）参照）とに基づいて、対象人物が存在する距離である「対象距離」を設定する。具体的には、距離画像Ｄ１における同一の画素値を有する画素を一群（画素群）として、差分画像Ｄ２における前記画素群の画素値を累計する。そして、画素値の累計値が所定値よりも大きい、かつ、カメラ１に最も近い距離にある領域に、最も動き量の多い移動物体、即ち対象人物が存在しているとみなし、その距離を対象距離とする（図４（ａ）参照）。図４（ａ）の例では、対象距離は２．２ｍに設定されている。対象距離設定部３１で設定された対象距離は、対象距離画像生成部３２に入力される。
【００３２】
（対象距離画像生成部３２）
対象距離画像生成部３２は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）を参照し、対象距離設定部３１で設定された対象距離±αｍに存在する画素に対応する画素をエッジ画像Ｄ３（図３（ｃ）参照）から抽出した「対象距離画像」を生成する。具体的には、距離画像Ｄ１における対象距離設定部３１から入力された対象距離±αｍに対応する画素を求める。そして、求められた画素のみをエッジ情報生成部２３で生成されたエッジ画像Ｄ３から抽出し、対象距離画像Ｄ４（図４（ｂ）参照）を生成する。したがって、対象距離画像Ｄ４は、対象距離に存在する対象人物をエッジで表現した画像になる。対象距離画像生成部３２で生成された対象距離画像Ｄ４は、対象領域設定部３３と輪郭抽出部３４に入力される。
【００３３】
（対象領域設定部３３）
対象領域設定部３３は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図３（ｂ）参照）内における「対象領域」を設定する。具体的には、対象距離画像Ｄ４の縦方向の画素値を累計したヒストグラムＨを生成し、ヒストグラムＨにおける度数が最大となる位置を、対象人物Ｃの水平方向における中心位置として特定する（図５（ａ）参照）。そして、特定された中心位置の左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔとして設定する（図５（ｂ）参照）。なお、対象領域Ｔの縦方向の範囲は、特定の大きさ（例えば２ｍ）に設定される。また、対象領域Ｔを設定する際は、カメラ１のチルト角や高さ等のカメラパラメータを参照して、対象領域Ｔの設定範囲を補正する。対象領域設定部３３で設定された対象領域Ｔは、輪郭抽出部３４に入力される。
【００３４】
（輪郭抽出部３４）
輪郭抽出部３４は、対象距離画像生成部３２で生成された対象領域画像Ｄ４（図４（ｂ）参照）において、対象領域設定部３３で設定された対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する（図５（ｃ）参照）。具体的には、対象人物Ｃの輪郭Ｏを抽出する際は、「Ｓｎａｋｅｓ」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法（以下、「スネーク手法」という）を用いる。なお、スネーク手法とは、動的輪郭モデルである「Ｓｎａｋｅｓ」を、予め定義されたエネルギ関数が最小となるように収縮変形させることにより、対象物の輪郭を抽出する手法である。輪郭抽出部３４で抽出された対象人物Ｃの輪郭Ｏは、「輪郭情報」としてジェスチャ認識装置４に入力される（図１参照）。
【００３５】
ジェスチャ認識装置４は、撮像画像解析装置２で生成された「距離情報」及び「肌色領域情報」と、輪郭抽出装置３で生成された「輪郭情報」とに基づいて、対象人物のポスチャ又はジェスチャを認識し、その認識結果を出力する装置である（図１参照）。
【００３６】
図６は、図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。図６に示すように、ジェスチャ認識装置４は、対象人物Ｃの実空間上における顔位置と手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。
【００３７】
顔・手先位置検出手段４１は、実空間上における対象人物の「頭頂部の位置（頭頂部位置）」を検出する頭位置検出部４１Ａと、対象人物の「顔の位置（顔位置）」を検出する顔位置検出部４１Ｂと、対象人物の「手の位置（手位置）」を検出する手位置検出部４１Ｃと、対象人物の「手先の位置（手先位置）」を検出する手先位置検出部４１Ｄとから構成されている。なお、ここでいう「手」とは、腕（ａｒｍ）と手（Ｈａｎｄ）とからなる部位のことであり、「手先」とは、手（Ｈａｎｄ）の指先のことである。
【００３８】
（頭位置検出部４１Ａ）
頭位置検出部４１Ａは、輪郭抽出装置３で生成された輪郭情報に基づいて、対象人物Ｃの「頭頂部位置」を検出する。頭頂部位置の検出方法について図７（ａ）を参照して説明すると、まず、輪郭Ｏで囲まれた領域における重心Ｇを求める（１）。次に、頭頂部位置を探索するための領域（頭頂部位置探索領域）Ｆ１を設定する（２）。頭頂部位置探索領域Ｆ１の横幅（Ｘ軸方向の幅）は、重心ＧのＸ座標を中心にして、予め設定されている人間の平均肩幅Ｗとなるようにする。なお、人間の平均肩幅Ｗは、撮像画像解析装置２で生成された距離情報を参照して設定される。また、頭頂部位置探索領域Ｆ１の縦幅（Ｙ軸方向の幅）は、輪郭Ｏを覆うことができるような幅に設定される。そして、頭頂部位置探索領域Ｆ１内における輪郭Ｏの上端点を、頭頂部位置ｍ１とする（３）。頭位置検出部４１Ａで検出された頭頂部位置ｍ１は、顔位置検出部４１Ｂに入力される。
【００３９】
（顔位置検出部４１Ｂ）
顔位置検出部４１Ｂは、頭位置検出部４１Ａで検出された頭頂部位置ｍ１と、撮像画像解析装置２で生成された肌色領域情報とに基づいて、対象人物Ｃの「顔位置」を検出する。顔位置の検出方法について図７（ｂ）を参照して説明すると、まず、顔位置を探索するための領域（顔位置探索領域）Ｆ２を設定する（４）。顔位置探索領域Ｆ２の範囲は、頭頂部位置ｍ１を基準にして、予め設定されている「おおよそ人間の頭部を覆う大きさ」となるようにする。なお、顔位置探索領域Ｆ２の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４０】
次に、顔位置探索領域Ｆ２内における肌色領域Ｒ１の重心を、画像上における顔位置ｍ２とする（５）。肌色領域Ｒ１については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）を求める。
【００４１】
顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」は、手位置検出部４１Ｃと手先位置検出部４１Ｄに入力される。また、顔位置検出部４１Ｂで検出された「実空間上における顔位置ｍ２ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４２】
（手位置検出部４１Ｃ）
手位置検出部４１Ｃは、撮像画像解析装置２で生成された肌色領域情報と、輪郭抽出装置３で生成された輪郭情報とに基づいて、対象人物Ｃの「手位置」を検出する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。手位置の検出方法について図８（ａ）を参照して説明すると、まず、手位置を探索するための領域（手位置探索領域）Ｆ３（Ｆ３Ｒ，Ｆ３Ｌ）を設定する（６）。手位置探索領域Ｆ３は、顔位置検出部４１Ｂで検出された顔位置ｍ２を基準にして、予め設定されている「手が届く範囲（左右の手の届く範囲）」となるようにする。なお、手位置探索領域Ｆ３の大きさは、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４３】
次に、手位置探索領域Ｆ３内における肌色領域Ｒ２の重心を、画像上における手位置ｍ３とする（７）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。図８（ａ）の例では、肌色領域は手位置探索領域Ｆ３（Ｌ）においてのみ存在しているので、手位置ｍ３は手位置探索領域Ｆ３（Ｌ）においてのみ検出される。また、図８（ａ）の例では、対象人物は長袖の服を着ており、手首より先しか露出していないので、手（ＨＡＮＤ）の位置が手位置ｍ３となる。手位置検出部４１Ｃで検出された「画像上における手位置ｍ３」は、手先位置検出部４１Ｄに入力される。
【００４４】
（手先位置検出部４１Ｄ）
手先位置検出部４１Ｄは、顔位置検出部４１Ｂで検出された顔位置ｍ２と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、対象人物Ｃの「手先位置」を検出する。手先位置の検出方法について図８（ｂ）を参照して説明すると、まず、手位置探索領域Ｆ３Ｌ内において、手先位置を探索するための領域（手先位置探索範囲）Ｆ４を設定する（８）。手先位置探索範囲Ｆ４は、手位置ｍ３を中心にして、予め設定されている「おおよそ手を覆う大きさ」となるようにする。なお、手先位置探索範囲Ｆ４の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４５】
続いて、手先位置探索範囲Ｆ４における肌色領域Ｒ２の上下左右の端点ｍ４ａ〜ｍ４ｄを検出する（９）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、上下端点間（ｍ４ａ、ｍ４ｂ間）の垂直方向距離ｄ１と、左右端点間（ｍ４ｃ、ｍ４ｄ間）の水平方向距離ｄ２とを比較し、距離が長い方を手が伸びている方向と判断する（１０）。図８（ｂ）の例では、垂直方向距離ｄ１の方が水平方向距離ｄ２よりも距離が長いので、手先は上下方向に伸びていると判断される。
【００４６】
次に、画像上における顔位置ｍ２と、画像上における手位置ｍ３との位置関係に基づいて、上下端点ｍ４ａ，ｍ４ｂのどちら（もしくは左右端点ｍ４ｃ，ｍ４ｄのどちらか）が手先位置であるかを判断する。具体的には、手位置ｍ３が顔位置ｍ２から遠い場合は、手は伸びているとみなし、顔位置ｍ２から遠い方の端点を手先位置（画像上における手先位置）ｍ４と判断する。逆に、手位置ｍ３が顔位置ｍ２に近い場合は、肘を曲げているとみなし、顔位置ｍ２に近い方の端点を手先位置ｍ４と判断する。図８（ｂ）の例では、手位置ｍ３が顔位置ｍ２から遠く、上端点ｍ４ａが下端点ｍ４ｂよりも顔位置ｍ２から遠いので、上端点ｍ４ａが手先位置ｍ４であると判断する（１１）。
【００４７】
そして、画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）を求める。手先位置検出部４１Ｄで検出された「実空間上における手先位置ｍ４ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４８】
（ポスチャ・ジェスチャ認識手段４２）
ポスチャ・ジェスチャ認識手段４２は、ポスチャデータ及びジェスチャデータを記憶するポスチャ・ジェスチャデータ記憶部４２Ａと、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」及び「実空間上における手先位置ｍ４ｔ」に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識部４２Ｂとから構成されている（図６参照）。
【００４９】
（ポスチャ・ジェスチャデータ記憶部４２Ａ）
ポスチャ・ジェスチャデータ記憶部４２Ａは、ポスチャデータＰ１〜Ｐ６（図９参照）とジェスチャデータＪ１〜Ｊ４（図１０参照）を記憶している。ポスチャデータＰ１〜Ｐ６とジェスチャデータＪ１〜Ｊ４は、「実空間上における顔位置と手先位置との相対的な位置関係」及び「顔位置を基準とした際の手先位置の変動」に対応するポスチャ又はジェスチャを記したデータである。なお、「顔位置と手先位置との相対的な位置関係」とは、具体的には、「顔位置及び手先位置の高さ」と、「顔位置及び手先位置のカメラ１からの距離」とのことである。また、ポスチャ・ジェスチャ認識手段４２Ａは、「画像上における顔位置及び手先位置の水平方向のずれ」を調べることにより、「顔位置と手先位置との相対的な位置関係」を検出することもできる。ポスチャデータＰ１〜Ｐ６とジェスチャデータＪ１〜Ｊ４は、ポスチャ・ジェスチャ認識部４２Ｂにおいて対象人物のポスチャ又はジェスチャを認識する際に使用される。
【００５０】
ポスチャデータＰ１〜Ｐ６について図９を参照して説明すると、図９（ａ）に示す「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」は「こんにちは」、図９（ｂ）に示す「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」は「追従開始」、図９（ｃ）に示す「ポスチャＰ３：ＳＴＯＰ」は「止まれ」、図９（ｄ）に示す「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」は「握手」、図９（ｅ）に示す「ポスチャＰ５：ＳＩＤＥ ＨＡＮＤ」は「手の方向を見よ」、図９（ｆ）に示す「ポスチャＰ６：ＬＯＷ ＨＡＮＤ」は「手の方向に曲がれ」を意味するポスチャである。
【００５１】
また、ジェスチャＪ１〜Ｊ４について図１０を参照して説明すると、図１０（ａ）に示す「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」は「注意せよ」、図１０（ｂ）に示す「ジェスチャＪ２：ＢＹＥ ＢＹＥ」は「さようなら」、図１０（ｃ）に示す「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は「接近せよ」、図１０（ｄ）に示す「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は「旋回せよ」を意味するジェスチャである。
【００５２】
なお、本実施の形態では、ポスチャ・ジェスチャデータ記憶部４２Ａ（図６参照）は、ポスチャデータＰ１〜Ｐ６（図９参照）とジェスチャデータＪ１〜Ｊ４（図１０参照）を記憶しているが、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶させるポスチャデータとジェスチャデータは任意に設定することができる。また、各ポスチャと各ジェスチャの意味も任意に設定することができる。
【００５３】
ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」及び「実空間上における手先位置ｍ４ｔ」から、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶されているポスチャデータＰ１〜Ｐ６（図９参照）又はジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識する。なお、ポスチャ・ジェスチャ認識部４２Ｂでの認識結果は履歴として保存される。
【００５４】
次に、図１１〜図１４に示すフローチャートを参照して、ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法について詳しく説明する。ここでは、まず、図１１に示すフローチャートを参照してポスチャ・ジェスチャ認識部４２Ｂでの処理の概略について説明し、その後、図１２に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明し、図１３及び図１４に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明する。
【００５５】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略）
図１１は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。図１１に示すフローチャートを参照して、まず、ステップＳ１では、ポスチャＰ１〜Ｐ４（図９参照）の認識を試みる。続いて、ステップＳ２では、ステップＳ１においてポスチャを認識できたかどうかを判断する。ここで、ポスチャを認識できたと判断された場合はステップＳ３に進み、ポスチャを認識できなかったと判断された場合はステップＳ４に進む。そして、ステップＳ３では、ステップＳ１において認識されたポスチャを認識結果として出力し、処理を終了する。
【００５６】
ステップＳ４では、ポスチャＰ５，Ｐ６（図９参照）又はジェスチャＪ１〜Ｊ４（図１０参照）の認識を試みる。次に、ステップＳ５では、ステップＳ４においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ６に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ８に進む。
【００５７】
ステップＳ６では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ７に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ８に進む。
【００５８】
そして、ステップＳ７では、ステップＳ４において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ８では、ポスチャ又はジェスチャを認識できなかった、即ち認識不能であると出力し、処理を終了する。
【００５９】
（ステップＳ１：ポスチャ認識処理）
図１２は、図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明するためのフローチャートである。図１２に示すフローチャートを参照して、まず、ステップＳ１１では、顔・手先位置検出手段４１から対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ（以降、「入力情報」という）が入力される。続いて、ステップＳ１２では、顔位置ｍ２ｔ及び手先位置ｍ４ｔに基づいて、カメラ１から手先までの距離（以降、「手先距離」という）と、カメラ１から顔までの距離（以降、「顔距離」という）とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じ距離であると判断された場合はステップＳ１３に進み、両者がほぼ同じではないと判断された場合はステップＳ１８に進む。
【００６０】
ステップＳ１３では、手先の高さ（以降、「手先高さ」という）と、顔の高さ（以降、「顔高さ」という）とを比較し、手先高さと顔高さとがほぼ同じであるかどうか、つまり手先高さと顔高さとの差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ１４に進み、両者がほぼ同じではないと判断された場合はステップＳ１５に進む。ステップＳ１４では、入力情報に対応するポスチャは、「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」（図９（ａ）参照）であるという認識結果を出力し、処理を終了する。
【００６１】
ステップＳ１５では、手先高さと顔高さとを比較し、手先高さが顔高さよりも高いかどうかを判断する。ここで、手先高さが顔高さよりも高いと判断された場合はステップＳ１６に進み、手先高さが顔高さよりも高くはないと判断された場合はステップＳ１７に進む。そして、ステップＳ１６では、入力情報に対応するポスチャは、「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」（図９（ｂ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ１７では、入力情報に対応するポスチャは「無し」という認識結果を出力し、処理を終了する。
【００６２】
ステップＳ１８では、手先高さと顔高さとを比較し、手先高さと顔高さとがほぼ同じであるかどうか、つまり手先高さと顔高さとの差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ１９に進み、両者がほぼ同じではないと判断された場合はステップＳ２０に進む。そして、ステップＳ１９では、入力情報に対応するポスチャは、「ポスチャＰ３：ＳＴＯＰ」（図９（ｃ）参照）であるという認識結果を出力し、処理を終了する。
【００６３】
ステップＳ２０では、手先高さと顔高さとを比較し、手先高さが顔高さよりも低いかどうかを判断する。ここで、手先高さが顔高さよりも低くはないと判断された場合はステップＳ２１に進み、手先高さが顔高さよりも高いと判断された場合はステップＳ２２に進む。そして、ステップＳ２１では、入力情報に対応するポスチャは「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ２２では、入力情報に対応するポスチャは「無し」という認識結果を出力し、処理を終了する。
【００６４】
（ステップＳ４：ポスチャ・ジェスチャ認識処理）
図１３は、図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第１のフローチャートである。図１３に示すフローチャートを参照して、まず、ステップＳ３１では、入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）が入力される。続いて、ステップＳ３２では、顔位置ｍ２ｔを基準とした場合の手先位置ｍ４ｔの標準偏差を求め、求めた標準偏差に基づいて、手の動きの有無を判断する。具体的には、手先位置ｍ４ｔの標準偏差が所定値以下の場合は手の動きが無いと判断し、所定値よりも大きい場合は手の動きが有ると判断する。ここで、手の動きが無いと判断された場合はステップＳ３３に進み、手の動きが有ると判断された場合はステップＳ３６に進む。
【００６５】
ステップＳ３３では、手先高さが顔高さのすぐ下であるかどうかを判断する。ここで、手先高さが顔高さのすぐ下であると判断された場合はステップＳ３４に進み、手先高さが顔高さのすぐ下ではないと判断された場合はステップＳ３５に進む。そして、ステップＳ３４では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ５：ＳＩＤＥ ＨＡＮＤ」（図９（ｅ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ３５では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ６：ＬＯＷ ＨＡＮＤ」（図９（ｆ）参照）であるという認識結果を出力し、処理を終了する。
【００６６】
ステップＳ３６では、手先高さと顔高さとを比較し、手先高さが顔高さよりも高いかどうかを判断する。ここで、手先高さが顔高さよりも高いと判断された場合はステップＳ３７に進み、手先高さが顔高さよりも高くはないと判断された場合はステップＳ４１（図１４参照）に進む。そして、ステップＳ３７では、手先距離と顔距離とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ３８に進み、両者がほぼ同じではないと判断された場合はステップＳ４０に進む。
【００６７】
ステップＳ３８では、手先が左右に振れているかどうかを判断する。ここで、２フレーム間における左右方向のずれから、手先が左右に振れていると判断された場合はステップＳ３９に進み、手先が左右に振れていないと判断された場合はステップＳ４０に進む。そして、ステップＳ３９では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ４１では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００６８】
図１４は、図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第２のフローチャートである。図１４に示すフローチャートを参照して、ステップＳ４１では、手先距離と顔距離とを比較し、手先距離が顔距離よりも短いかどうかを判断する。ここで、手先距離が顔距離よりも短いと判断された場合はステップＳ４２に進み、手先距離が顔距離よりも短くはないと判断された場合はステップＳ４７に進む。
【００６９】
ステップＳ４２では、手先が左右に振れているかどうかを判断する。ここで、２フレーム間における左右方向のずれから、手先が左右に振れていると判断された場合はステップＳ４３に進み、手先が左右に振れていないと判断された場合はステップＳ４４に進む。そして、ステップＳ４３では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ２：ＢＹＥ ＢＹＥ」（図１０（ｂ）参照）であるという認識結果を出力し、処理を終了する。
【００７０】
ステップＳ４４では、手先が上下に振れているかどうかを判断する。ここで、２フレーム間における上下方向のずれから、手先が上下に振れていると判断された場合はステップＳ４５に進み、手先が上下に振れていないと判断された場合はステップＳ４６に進む。そして、ステップＳ４５では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ４６では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００７１】
ステップＳ４７では、手先距離と顔距離とを比較し、手先距離と顔距離とがほぼ同じであるかどうか、つまり手先距離と顔距離との差が所定値以下であるかどうかを判断する。ここで、両者がほぼ同じであると判断された場合はステップＳ４８に進み、両者がほぼ同じではないと判断された場合はステップＳ５０に進む。ステップＳ４８では、手先が左右に振れているかどうかを判断する。ここで、手先が左右に振れていると判断された場合はステップＳ４９に進み、手先が左右に振れていないと判断された場合はステップＳ５０に進む。
【００７２】
そして、ステップＳ４９では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」（図１０（ｄ）参照）であるという認識結果を出力し、処理を終了する。また、ステップＳ５０では、入力情報に対応するポスチャ又はジェスチャは「無し」という認識結果を出力して処理を終了する。
【００７３】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１から入力された入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）から、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１〜Ｐ６（図９参照）及びジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００７４】
なお、ポスチャ・ジェスチャ認識部４２Ｂでは前記した方法以外にも、次の変形例１及び変形例２の方法によっても対象人物のポスチャ又はジェスチャを認識することができる。以下、図１５〜図１７を参照して「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１」について説明し、図１８及び図１９を参照して「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２」について説明する。
【００７５】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１）
変形例１では、対象人物のポスチャ又はジェスチャを認識する際に、パターンマッチング法を用いている。図１５は、「ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１」について説明するためのフローチャートである。図１５に示すフローチャートを参照して、まず、ステップＳ６１では、ポスチャ又はジェスチャの認識を試みる。このとき、ポスチャ・ジェスチャ認識部４２Ｂは、顔・手先位置検出手段４１から入力された入力情報（対象人物の実空間上における顔位置ｍ２ｔ及び手先位置ｍ４ｔ）と「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」とからなる「入力パターン」を、ポスチャ・ジェスチャ記憶部４２Ａに記憶されているポスチャＰ１１〜Ｐ１６（図１６参照）又はジェスチャデータＪ１１〜Ｊ１４（図１７参照）と重ね合わせて、最も似ているパターンを探すことにより、対象人物のポスチャ又はジェスチャを認識する。なお、ポスチャ・ジェスチャ記憶部４２Ａには、予めパターンマッチング用のポスチャデータＰ１１〜Ｐ１６（図１６参照）とジェスチャデータＪ１１〜Ｊ１４（図１７参照）とを記憶させておく。
【００７６】
続いて、ステップＳ６２では、ステップＳ６１においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ６３に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ６５に進む。
【００７７】
ステップＳ６３では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ６４に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ６５に進む。
【００７８】
そして、ステップＳ６４では、ステップＳ６１において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ６５では、ポスチャ又はジェスチャを認識することができなかった、即ち認識不能であると出力し、処理を終了する。
【００７９】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、パターンマッチング法を用いて、顔・手先位置検出手段４１から入力された入力情報と「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」とからなる「入力パターン」を、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１１〜Ｐ１６（図１６参照）及びジェスチャデータＪ１１〜Ｊ１４（図１７参照）とパターンマッチングさせることにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００８０】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２）
変形例２では、対象人物の手先が入る大きさの判定円Ｅを設定し、手先の面積と判定円の面積とを比較することにより、顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係が類似している「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）と「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）とを区別している。なお、「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」と「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は、共に手先位置の高さが顔位置の高さよりも低く、カメラから手先位置までの距離がカメラから顔位置までの距離よりも短いため、互いに区別しづらい。
【００８１】
図１８は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２について説明するためのフローチャートである。図１８に示すフローチャートを参照して、まず、ステップＳ７１では、手位置ｍ３を中心とする判定円（判定領域）Ｅを設定する（図１９参照）。判定円Ｅの大きさは、判定円Ｅ内に手が入るような大きさに設定される。なお、判定円Ｅの大きさ（直径）は、撮像画像解析装置２で生成された距離情報を参照して設定される。図１９の例では、判定円Ｅの直径は２０ｃｍに設定されている。
【００８２】
続いて、ステップＳ７２では、判定円Ｅ内における肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上かどうかを判断する。なお、肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。ここで、肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上と判断された場合（図１９（ｂ）参照）はステップＳ７３に進み、肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２以上ではない、即ち１／２よりも小さいと判断された場合（図１９（ｃ）参照）はステップＳ７４に進む。
【００８３】
ステップＳ７３では、入力情報に対応するポスチャ又はジェスチャは、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であるという判定結果を出力し、処理を終了する。また、ステップＳ７３では、入力情報に対応するポスチャ又はジェスチャは、「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）であるという判定結果を出力し、処理を終了する。
【００８４】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、対象人物の手先が入る大きさの判定円Ｅを設定し、判定円Ｅ内における肌色領域Ｒ２の面積Ｓｈと判定円Ｅの面積とを比較し、手先の面積が判定円の面積の１／２よりも大きい場合は「ＣＯＭＥ ＨＥＲＥ」であると判定し、手先の面積が判定円の面積の１／２以下である場合は「ＨＡＮＤＳＨＡＫＥ」であると判定することにより、「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」と「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」とを区別することができる。
【００８５】
（ジェスチャ認識システムＡの動作）
次に、ジェスチャ認識システムＡの動作について図１に示すジェスチャ認識システムＡの全体構成を示すブロック図と、図２０及び図２１に示すフローチャートを参照して説明する。図２０は、ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートであり、図２１は、ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【００８６】
＜撮像画像解析ステップ＞
図２０に示すフローチャートを参照して、撮像画像解析装置２では、カメラ１ａ，１ｂから撮像画像が入力されると（ステップＳ１０１）、距離情報生成部２１において、撮像画像から距離情報である距離画像Ｄ１（図３（ａ）参照）を生成し（ステップＳ１０２）、動き情報生成部２２において、撮像画像から動き情報である差分画像Ｄ２（図３（ｂ）参照）を生成する（ステップＳ１０３）。また、エッジ情報生成部２３において、撮像画像からエッジ情報であるエッジ画像Ｄ３（図３（ｃ）参照）を生成し（ステップＳ１０４）、肌色領域情報生成部２４において、撮像画像から肌色領域情報である肌色領域Ｒ１，Ｒ２（図３（ｄ）参照）を抽出する（ステップＳ１０５）。
【００８７】
＜輪郭抽出ステップ＞
引き続き図２０に示すフローチャートを参照して、輪郭抽出装置３では、まず、対象距離設定部３１において、ステップＳ１０２とステップＳ１０３で生成された距離画像Ｄ１と差分画像Ｄ２から、対象人物が存在する距離である対象距離を設定する（ステップＳ１０６）。続いて、対象距離画像生成部３２において、ステップＳ１０４で生成されたエッジ画像Ｄ３からステップＳ１０６で設定された対象距離に存在する画素を抽出した対象距離画像Ｄ４（図４（ｂ）参照）を生成する（ステップＳ１０７）。
【００８８】
次に、対象領域設定部３３において、ステップＳ１０７で生成された対象距離画像Ｄ４内における対象領域Ｔ（図５（ｂ）参照）を設定する（ステップＳ１０８）。そして、輪郭抽出部３４において、ステップＳ１０８で設定された対象領域Ｔ内から、対象人物Ｃの輪郭Ｏ（図５（ｃ）参照）を抽出する（ステップＳ１０９）。
【００８９】
＜顔・手先位置検出ステップ＞
図２１に示すフローチャートを参照して、ジェスチャ認識装置４の顔・手先位置検出手段４１では、まず、頭位置検出部４１Ａにおいて、ステップＳ１０９で生成された輪郭情報に基づいて、対象人物Ｃの頭頂部位置ｍ１（図７（ａ）参照）を検出する（ステップＳ１１０）。
【００９０】
続いて、顔位置検出部４１Ｂにおいて、ステップＳ１１０で検出された頭頂部位置ｍ１と、ステップＳ１０５で生成された肌色領域情報とに基づいて、「画像上における顔位置ｍ２」（図７（ｂ）参照）を検出し、検出された「画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」を求める（ステップＳ１１１）。
【００９１】
次に、手位置検出部４１Ｃにおいて、ステップＳ１１１で検出された「画像上における顔位置ｍ２」から、「画像上における手位置ｍ３」（図８（ａ）参照）を検出する（ステップＳ１１２）。
【００９２】
そして、手先位置検出部４１Ｄにおいて、顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、「画像上における手先位置ｍ４」（図８（ｂ）参照）を検出し、検出された「画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」を求める（ステップＳ１１３）。
【００９３】
＜ポスチャ・ジェスチャ認識ステップ＞
引き続き図１８に示すフローチャートを参照して、ジェスチャ認識装置４のポスチャ・ジェスチャ認識手段４２では、ポスチャ・ジェスチャ認識部４２Ｂにおいて、ステップＳ１１１及びステップＳ１１３で求められた「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」と「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」とから、「顔位置ｍ２ｔと手先位置ｍ４ｔとの相対的な位置関係」及び「顔位置ｍ２ｔを基準とした際の手先位置ｍ４ｔの変動」を検出し、その検出結果と、ポスチャ・ジェスチャ記憶部４２Ａに記憶されたポスチャＰ１〜Ｐ６（図９参照）及びジェスチャデータＪ１〜Ｊ４（図１０参照）とを比較することにより、対象人物のポスチャ又はジェスチャを認識する（ステップＳ１１４）。ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法の詳細については、前記したのでここでは省略する。
【００９４】
以上、ジェスチャ認識システムＡについて説明したが、このジェスチャ認識システムＡに含まれるジェスチャ認識装置４は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合してジェスチャ認識プログラムとして動作させることも可能である。
【００９５】
また、このジェスチャ認識システムＡは、例えば自律ロボットに適用することができる。その場合、自律ロボットは、例えば人が手を差し出すとそのポスチャ「ポスチャＰ４：ＨＡＮＤＳＨＡＫＥ」（図９（ｄ）参照）と認識することや、人が手を振るとそのジェスチャを「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）と認識することが可能となる。
【００９６】
なお、ポスチャやジェスチャによる指示は、音声による指示と比べて、周囲の騒音により左右されない、音声が届かないような状況でも指示が可能である、言葉では表現が難しい（又は冗長になる）指示を簡潔に行うことができる、という利点がある。
【００９７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、対象人物のジェスチャを認識する際に、特徴点（対象人物の動きの特徴を示す点）を一々検出する必要が無いため、ポスチャ認識処理又はジェスチャ認識処理に要する計算量を減らすことができる。
【図面の簡単な説明】
【図１】ジェスチャ認識システムＡの全体構成を示すブロック図である。
【図２】図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。
【図３】（ａ）は距離画像Ｄ１、（ｂ）は差分画像Ｄ２、（ｃ）はエッジ画像Ｄ３、（ｄ）は肌色領域Ｒ１，Ｒ２を示す図である。
【図４】対象距離を設定する方法を説明するための図である。
【図５】対象領域Ｔを設定する方法と、対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する方法を説明するための図である。
【図６】図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。
【図７】（ａ）は頭頂部位置ｍ１の検出方法を説明するための図であり、（ｂ）は顔位置ｍ２の検出方法を説明するための図である。
【図８】（ａ）は手位置ｍ３の検出方法を説明するための図であり、（ｂ）は手先位置ｍ４の検出方法を説明するための図である。
【図９】ポスチャデータＰ１〜Ｐ６を示す図である。
【図１０】ジェスチャデータＪ１〜Ｊ４を示す図である。
【図１１】ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。
【図１２】図１１に示したフローチャートにおける「ステップＳ１：ポスチャ認識処理」について説明するためのフローチャートである。
【図１３】図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第１のフローチャートである。
【図１４】図１１に示したフローチャートにおける「ステップＳ４：ポスチャ・ジェスチャ認識処理」について説明するための第２のフローチャートである。
【図１５】ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例１について説明するためのフローチャートである。
【図１６】ポスチャデータＰ１１〜Ｐ１６を示す図である。
【図１７】ジェスチャデータＪ１１〜Ｊ１４を示す図である。
【図１８】ポスチャ・ジェスチャ認識部４２Ｂでの処理の変形例２について説明するためのフローチャートである。
【図１９】（ａ）は判定円Ｅの設定方法を説明するための図である。また、（ｂ）は肌色領域Ｒ２の面積Ｓｈが判定円Ｅの面積Ｓの１／２よりも大きい場合を示す図であり、（ｃ）は肌色領域Ｒ２の面積Ｓ２が判定円Ｅの面積２の１／２以下である場合を示す図である。
【図２０】ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートである。
【図２１】ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【符号の説明】
Ａ ジェスチャ認識システム
１ カメラ
２ 撮像画像解析装置
３ 輪郭抽出装置
４ ジェスチャ認識装置
４１ 顔・手先位置検出手段
４１Ａ 頭位置検出部
４１Ｂ 顔位置検出部
４１Ｃ 手位置検出部
４１Ｄ 手先位置検出部
４２ ポスチャ・ジェスチャ認識手段
４２Ａ ポスチャ・ジェスチャデータ記憶部
４２Ｂ ポスチャ・ジェスチャ認識部
Claims (6)
- カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、
前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、
前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段と
を備えたことを特徴とするジェスチャ認識装置。 - 前記顔位置と前記手先位置との相対的な位置関係は、高さ及び前記カメラからの距離を比較することより検出することを特徴とする請求項１に記載のジェスチャ認識装置。
- 前記ポスチャ・ジェスチャ認識手段は、パターンマッチング法を用いて前記対象人物のポスチャ又はジェスチャを認識することを特徴とする請求項１又は請求項２に記載のジェスチャ認識装置。
- 前記ポスチャ・ジェスチャ認識手段は、前記対象人物の手が入る大きさの判定領域を設定し、前記手の面積と前記判定領域の面積とを比較することにより、前記顔位置と前記手先位置との相対的な位置関係が類似しているポスチャ又はジェスチャを区別することを特徴とする請求項１又は請求項２に記載のジェスチャ認識装置。
- カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するための方法であって、
前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出ステップと、
前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識ステップと
を含むことを特徴とするジェスチャ認識方法。 - カメラによって対象人物を撮像した画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、
前記画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、
前記顔位置と手先位置から、前記顔位置と前記手先位置との相対的な位置関係及び前記顔位置を基準とした際の前記手先位置の変動を検出し、その検出結果と、顔位置と手先位置との相対的な位置関係及び顔位置を基準とした際の手先位置の変動に対応するポスチャ又はジェスチャを記したポスチャデータ又はジェスチャデータとを比較することにより、前記対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段、
として機能させることを特徴とするジェスチャ認識プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096271A JP4153818B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
| DE602004006190T DE602004006190T8 (de) | 2003-03-31 | 2004-03-19 | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
| EP04006728A EP1477924B1 (en) | 2003-03-31 | 2004-03-19 | Gesture recognition apparatus, method and program |
| US10/805,392 US7593552B2 (en) | 2003-03-31 | 2004-03-22 | Gesture recognition apparatus, gesture recognition method, and gesture recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096271A JP4153818B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004302992A true JP2004302992A (ja) | 2004-10-28 |
| JP4153818B2 JP4153818B2 (ja) | 2008-09-24 |
Family
ID=33408391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003096271A Expired - Fee Related JP4153818B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4153818B2 (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
| KR100826878B1 (ko) * | 2006-09-28 | 2008-05-06 | 한국전자통신연구원 | 손 모양을 인식하는 방법 및 이를 위한 장치 |
| JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
| JP2011103561A (ja) * | 2009-11-11 | 2011-05-26 | Sony Corp | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
| JP2011192090A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
| JP2012058884A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、および情報処理方法 |
| JP2012058928A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、および情報処理方法 |
| JP2012123608A (ja) * | 2010-12-08 | 2012-06-28 | Nippon Syst Wear Kk | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
| JP2012516507A (ja) * | 2009-01-30 | 2012-07-19 | マイクロソフト コーポレーション | 標準的なジェスチャー |
| JP2012137899A (ja) * | 2010-12-27 | 2012-07-19 | Hitachi Consumer Electronics Co Ltd | 映像処理装置及び映像表示装置 |
| JP2013012158A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 電子機器および制御方法 |
| JP2013034168A (ja) * | 2011-08-01 | 2013-02-14 | Fuji Xerox Co Ltd | 画像投影装置ならびに画像投影制御装置およびプログラム |
| JP2013137822A (ja) * | 2013-03-07 | 2013-07-11 | Fujitsu Ten Ltd | ディスプレイ装置 |
| JP2013242844A (ja) * | 2012-04-26 | 2013-12-05 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置、電子機器およびプログラム |
| WO2014030442A1 (ja) * | 2012-08-22 | 2014-02-27 | 日本電気株式会社 | 入力装置、入力方法、プログラム、及び、電子看板 |
| JP2014505949A (ja) * | 2011-02-04 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | 絶対的な基準系を作成するのに固有受容性を使用するジェスチャ制御可能システム |
| JP2014512060A (ja) * | 2011-04-20 | 2014-05-19 | コーニンクレッカ フィリップス エヌ ヴェ | ジェスチャーに基づく要素又はアイテムの制御 |
| JP2014164695A (ja) * | 2013-02-27 | 2014-09-08 | Casio Comput Co Ltd | データ処理装置及びプログラム |
| JP2015195020A (ja) * | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| JPWO2021186710A1 (ja) * | 2020-03-19 | 2021-09-23 | ||
| CN114245542A (zh) * | 2021-12-17 | 2022-03-25 | 深圳市恒佳盛电子有限公司 | 一种雷达感应灯及其控制方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
-
2003
- 2003-03-31 JP JP2003096271A patent/JP4153818B2/ja not_active Expired - Fee Related
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4711885B2 (ja) * | 2006-05-25 | 2011-06-29 | 三菱電機株式会社 | 遠隔操作装置及び方法 |
| JP2007316882A (ja) * | 2006-05-25 | 2007-12-06 | Mitsubishi Electric Corp | 遠隔操作装置及び方法 |
| KR100826878B1 (ko) * | 2006-09-28 | 2008-05-06 | 한국전자통신연구원 | 손 모양을 인식하는 방법 및 이를 위한 장치 |
| KR101679442B1 (ko) * | 2009-01-30 | 2016-11-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 표준 제스처 |
| JP2012516507A (ja) * | 2009-01-30 | 2012-07-19 | マイクロソフト コーポレーション | 標準的なジェスチャー |
| JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
| JP2011103561A (ja) * | 2009-11-11 | 2011-05-26 | Sony Corp | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
| US9547791B2 (en) | 2009-11-11 | 2017-01-17 | Sony Corporation | Image processing system, image processing apparatus, image processing method, and program |
| US9020210B2 (en) | 2009-11-11 | 2015-04-28 | Sony Corporation | Image processing system, image processing apparatus, image processing method, and program |
| JP2011192090A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
| JP2012058884A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、および情報処理方法 |
| JP2012058928A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、および情報処理方法 |
| US9513712B2 (en) | 2010-09-07 | 2016-12-06 | Sony Corporation | Information processing device and information processing method |
| US8744137B2 (en) | 2010-09-07 | 2014-06-03 | Sony Corporation | Information processing device and information processing method |
| US8842890B2 (en) | 2010-09-07 | 2014-09-23 | Sony Corporation | Method and device for detecting a gesture from a user and for performing desired processing in accordance with the detected gesture |
| JP2012123608A (ja) * | 2010-12-08 | 2012-06-28 | Nippon Syst Wear Kk | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
| US9086726B2 (en) | 2010-12-27 | 2015-07-21 | Hitachi Maxell, Ltd. | Image processing device and image display device |
| US9746931B2 (en) | 2010-12-27 | 2017-08-29 | Hitachi Maxell, Ltd. | Image processing device and image display device |
| JP2012137899A (ja) * | 2010-12-27 | 2012-07-19 | Hitachi Consumer Electronics Co Ltd | 映像処理装置及び映像表示装置 |
| JP2014505949A (ja) * | 2011-02-04 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | 絶対的な基準系を作成するのに固有受容性を使用するジェスチャ制御可能システム |
| JP2014512060A (ja) * | 2011-04-20 | 2014-05-19 | コーニンクレッカ フィリップス エヌ ヴェ | ジェスチャーに基づく要素又はアイテムの制御 |
| JP2013012158A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 電子機器および制御方法 |
| JP2013034168A (ja) * | 2011-08-01 | 2013-02-14 | Fuji Xerox Co Ltd | 画像投影装置ならびに画像投影制御装置およびプログラム |
| JP2014032646A (ja) * | 2012-04-26 | 2014-02-20 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置、電子機器およびプログラム |
| JP2013242845A (ja) * | 2012-04-26 | 2013-12-05 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置、電子機器およびプログラム |
| JP2013242844A (ja) * | 2012-04-26 | 2013-12-05 | Bank Of Tokyo-Mitsubishi Ufj Ltd | 情報処理装置、電子機器およびプログラム |
| WO2014030442A1 (ja) * | 2012-08-22 | 2014-02-27 | 日本電気株式会社 | 入力装置、入力方法、プログラム、及び、電子看板 |
| JP2014164695A (ja) * | 2013-02-27 | 2014-09-08 | Casio Comput Co Ltd | データ処理装置及びプログラム |
| JP2013137822A (ja) * | 2013-03-07 | 2013-07-11 | Fujitsu Ten Ltd | ディスプレイ装置 |
| JP2015195020A (ja) * | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| JPWO2021186710A1 (ja) * | 2020-03-19 | 2021-09-23 | ||
| WO2021186710A1 (ja) * | 2020-03-19 | 2021-09-23 | 三菱電機株式会社 | ジェスチャ検出装置及びジェスチャ検出方法 |
| JP7106031B2 (ja) | 2020-03-19 | 2022-07-25 | 三菱電機株式会社 | ジェスチャ検出装置及びジェスチャ検出方法 |
| CN114245542A (zh) * | 2021-12-17 | 2022-03-25 | 深圳市恒佳盛电子有限公司 | 一种雷达感应灯及其控制方法 |
| CN114245542B (zh) * | 2021-12-17 | 2024-03-22 | 深圳市恒佳盛电子有限公司 | 一种雷达感应灯及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4153818B2 (ja) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4153818B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| EP1477924B1 (en) | Gesture recognition apparatus, method and program | |
| JP4317465B2 (ja) | 顔識別装置、顔識別方法及び顔識別プログラム | |
| JP4516516B2 (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
| JP4153819B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| WO2013180151A1 (ja) | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム | |
| JP4008282B2 (ja) | 瞳孔・虹彩円検出装置 | |
| JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| JP2004094288A (ja) | 指示位置検出装置及び自律ロボット | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP2006155563A (ja) | 動作分析装置 | |
| JP6579950B2 (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP5174492B2 (ja) | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム | |
| JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
| KR102216124B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| JP3025133B2 (ja) | 人物認識装置 | |
| JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
| JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP7426922B2 (ja) | 人の顔に装着物が着用された新たな教師画像を人工的に生成するプログラム、装置及び方法 | |
| WO2021192295A1 (ja) | 画像処理システム、撮像システム、画像処理方法および非一時的なコンピュータ可読媒体 | |
| JP2021043914A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080704 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4153818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140711 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |