JP2001056861A - 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 - Google Patents

手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体

Info

Publication number
JP2001056861A
JP2001056861A JP11321580A JP32158099A JP2001056861A JP 2001056861 A JP2001056861 A JP 2001056861A JP 11321580 A JP11321580 A JP 11321580A JP 32158099 A JP32158099 A JP 32158099A JP 2001056861 A JP2001056861 A JP 2001056861A
Authority
JP
Japan
Prior art keywords
hand
image
shape
cluster
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11321580A
Other languages
English (en)
Other versions
JP2001056861A5 (ja
JP4332649B2 (ja
Inventor
Kazuyuki Imagawa
和幸 今川
Hideaki Matsuo
英明 松尾
Seiji Inoki
誠二 猪木
San Ro
山 呂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communications Research Laboratory
Panasonic Holdings Corp
Original Assignee
Communications Research Laboratory
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communications Research Laboratory, Matsushita Electric Industrial Co Ltd filed Critical Communications Research Laboratory
Priority to JP32158099A priority Critical patent/JP4332649B2/ja
Priority to EP00111803A priority patent/EP1059608A2/en
Priority to US09/588,948 priority patent/US6819782B1/en
Priority to CNB001183400A priority patent/CN1191536C/zh
Publication of JP2001056861A publication Critical patent/JP2001056861A/ja
Publication of JP2001056861A5 publication Critical patent/JP2001056861A5/ja
Application granted granted Critical
Publication of JP4332649B2 publication Critical patent/JP4332649B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 複雑な手形状の画像に対しても、形状と姿勢
を認識する手の形状と姿勢の認識装置および認識方法並
びにプログラム記録媒体を提供する。 【解決手段】 手画像正規化部１１は、様々な形状／姿
勢を持つ複数の画像から手首領域を削除して、手の方向
と大きさを正規化した手形状画像を生成する。固有空間
計算部１３は、固有空間法による解析を行い、手形状画
像から固有値と固有ベクトルを求める。固有空間投影部
１５は、手形状画像を固有ベクトルを基底とする固有空
間に投影して、固有空間内での投影座標を求める。手画
像正規化部２１は、入力手画像から手首領域を削除し、
大きさや明るさを手形状画像と同等のものに正規化した
入力手形状画像を生成する。固有空間投影部２２は、入
力手形状画像を固有ベクトルを基底とする固有空間に投
影して、固有空間内での投影座標を求める。手形状画像
選択部２３は、投影座標と固有空間投影座標を比較し、
入力手形状画像に最も近い手形状画像を求める。形状・
姿勢出力部２４は、求めた最も近い手形状画像の形状情
報と姿勢情報を出力する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、手の形状と姿勢の
認識装置および手の形状と姿勢の認識方法並びに当該方
法を実行するプログラムを記録した記録媒体に関し、よ
り特定的には、データグローブなどのケーブル等をつけ
た手袋を用いることなく人間の手の形状と姿勢推定の認
識を行い、当該認識結果に基づいて人間と機器との間の
インタフェース装置や手話認識装置等に利用可能な手の
形状と姿勢の認識装置およびその方法並びに当該方法を
実行するプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】現在、新たなヒューマンインタフェース
の手法として、人間の手の形状を認識し、手を用いて人
間が提示する情報を取得する装置の研究開発が盛んに行
われている。また、聴覚障害者と健常者との間のコミュ
ニケーション支援を目指して、手話動作中で提示される
手の形状と姿勢を認識する研究も盛んに行われている。
【０００３】一般に、人間の手の形を取得する方法とし
て、手にデータグローブ等のセンサを付けて各状態を測
定する手法、例えば、電気学会計測研究会資料（１９９
４第４９項〜第５６項）（以下、第１の文献という）が
有名である。この第１の文献には、指に沿ってグローブ
光ファイバを設置し、ファイバが伸びているときと曲が
っているときの綱領の変化を利用して、指関節の角度を
推定する手法が述べられている。
【０００４】また、上記第１の文献に述べられているよ
うにセンサ付き手袋を用いない手法としては、カメラを
用いて手の形状を認識する方法、例えば、渡辺，岩井，
八木，谷内田による論文「カラーグローブを用いた指文
字の認識」（電子情報通信学会誌 Ｖｏｌ．Ｊ８０−Ｄ
−２，Ｎｏ．１０，第２７１３頁〜第２７２２頁）（以
下、第２の文献という）が存在する。この第２の文献に
は、複数の色を付けた手袋（マーカ）を手に装着して、
この手袋の画像から手の形状を認識する手法が述べられ
ている。
【０００５】一方、手に手袋等のマーカを装着しないで
カメラによって手の形状と姿勢を認識する手法として
は、例えば、特開平８−２６３６２９号公報「物体の形
状・姿勢検出装置」（以下、第３の文献という）に開示
されているものが存在する。この第３の文献には、少な
くとも３台のカメラを用いて手を撮影し、手を平面とみ
なして、その手がどのカメラに対して向いているかを判
別し、正面に向いているカメラの画像から形状を認識
し、姿勢を推定する手法が記載されている。
【０００６】さらに、正面に向いているカメラの画像か
ら形状を認識する手法として、石淵，岩崎，竹村，岸野
による論文「画像処理を用いた実時間手振り推定とヒュ
ーマンインタフェースへの応用」（電子情報通信学会論
文誌 Ｖｏｌ．Ｊ７９−Ｄ−２，Ｎｏ．７，第１２１８
項〜第１２２９項）（以下、第４の文献という）が存在
する。この第４の文献には、複数のカメラから得られる
手の画像から手首−中指方向（以下、掌主軸と呼ぶ）を
求め、同時に伸びている指先の位置を求めて伸展指が何
本あるかを認識する手法が述べられている。
【０００７】さて、一般に顔や車などの物体の姿勢と種
類を認識するために、近年、見かけの画像を用いた手法
と固有空間法とを組み合わせた画像認識法が注目されて
いる。ここで、見かけの画像に基づく手法とは、予め取
得した三次元物体の二次元の見かけ画像のみを用いて、
物体の姿勢や種類を認識するものである。一方、固有空
間法とは、古くから行われている手法で、画像集合の共
分散行列（または、自己相関行列）の固有ベクトルから
構成される固有空間を用いるものであり、主成分分析若
しくはＫＬ展開による手法を用いるものが有名である。
以下、上記主成分分析を画像について適用する手法を、
簡単に述べる。
【０００８】主成分分析は、多次元空間上の特徴点を、
より見やすく、あるいは扱いやすくするために、固有空
間を利用して少ない次元で表現しようとする統計手法
で、多変量解析の一手法としてよく使われている。原理
は、多次元空間上の特徴点を分散の大きい少数の低次元
の直交部分空間に線形射影するというものである。この
主成分分析手法を画像に適用する場合、まず、ｎ×ｍ画
素の画像をラスタスキャンして得た列ベクトルをＵと
し、ｐ個の画像が属する画像群を、 ｛Ｕ1 ，Ｕ2 ，Ｕ3 ，…，Ｕp ｝ で表現する。次に、この画像群の各要素から画像集合の
平均画像ｃの要素を引いた列ベクトルからなるｎｍ×ｐ
行列をＡとすると、行列Ａ Ａ＝［Ｕ1−ｃ，Ｕ2−ｃ，Ｕ3−ｃ，…，Ｕp−ｃ］ によって、画像集合の共分散行列Ｑは、下記式（１）で
計算される。なお、行列ＡT は、行列Ａの転置行列を表
す。 Ｑ＝ＡＡT …（１） そして、この共分散行列Ｑを用いて、下記式（２）の固
有方程式を解く。 λi ＝Ｑｅi …（２）
【０００９】ここで、求めるべき部分空間は、その次元
をｋとすれば、ｋ個の大きな固有値に対応する固有ベク
トル ｅ1 ，ｅ2 ，…，ｅk （λ1≧λ2≧ … ≧λk≧ …
≧λp） を基底ベクトルとすることにより得られる部分空間とな
る。従って、ある画像ｘを、下記式（３）に従って固有
ベクトルによる部分空間に線形射影することにより、ｎ
×ｍ次元の画像をｋ次元特徴ベクトルｙに次元圧縮する
ことができる。 ｙ＝［ｅ1 ，ｅ2 ，…，ｅk ］T ｘ …（３）
【００１０】一方、主成分分析若しくはＫＬ展開を用い
て、人間の顔の様な複雑で多種多様な実体を検出認識す
る手法としては、例えば、特開平８−３３９４４５号公
報「確率的固有空間解析を用いた複雑な対象物の検出、
認識、および符号化方法および装置」（以下、第５の文
献という）に開示されているものが存在する。この第５
の文献では、従来から行われている上記手法を複雑な対
象物、特に顔に対して適用していることに特徴がある。
上記第５の文献には、複雑な対象物の例として手の形状
の認識に適用した実施例が示されており、以下にその手
法を説明する。
【００１１】まず、手振り若しくはジェスチャーで用い
られる手の画像集合を、黒の背景に対して撮影する。次
に、手の二次元輪郭を、Ｃａｎｎｙのエッジ・オペレー
タを用いて抽出する。そして、得られたエッジ画像集合
に対してＫＬ展開を行って部分空間を求めるわけだが、
２値のエッジマップをそのまま使用すると、画像間で互
いにほとんど相関がなく、それにより非常に部分空間の
次元ｋをかなり大きくしなければならなかった。そこ
で、上記第５の文献に記載されている実施例では、２値
のエッジマップ上で、拡散処理を介してエッジをぼかし
て部分空間を求めることにより、部分空間の次元を押さ
えることを提案している。また、入力画像から手の位置
を求めるために、全画像を、ある一定の大きさで探索す
ることにより手の位置を求め、認識を行っている。
【００１２】
【発明が解決しようとする課題】しかしながら、人の手
の形状を認識しようとするとき、上記第１の文献に述べ
られているような、手にデータグローブを装着して手形
状認識を行う場合、手にコードをつけるため動作が制約
されたり、装着感に課題が残る。
【００１３】また、カメラを用いて手の形状を認識する
場合でも、上記第２の文献に述べられているような、手
袋などのマーカを装着することを前提とする場合、手袋
がないときには手形状認識ができない上、装着時の違和
感が問題となっている。さらに、上記第３の文献に記載
されているような、手袋やマーカを装着しないで複数カ
メラにより手の形状と姿勢を認識する場合、手を平面と
みなして、その手がどのカメラに対して向いているかに
より姿勢を判別するが、実際に手は様々な形状を表現す
ることが可能であり、その中には平面に近似できない形
状も多数存在する。従って、認識対象として伸展指の本
数などの単純な形状には対処できるが、より複雑な形状
（例えば、親指と人差指を接触させて穴をつくった形
状）などには適用不可能である。
【００１４】一方、上記第４の文献に述べられているよ
うな、より一般的な固有空間解析に基づいた手法では、
手のみの正規化された画像をどのようにして取得するの
かが明らかでない。固有空間解析に基づいた手法では、
認識する対象物体の画像領域をいかに切り出して正規化
をするかということが重要である。一般に、剛体で認識
する対象物体が明らかに違う場合、この正規化は大きさ
や明るさの正規化だけで十分であるが、手や顔といった
複雑な物体の場合、その部分を切り出す処理が重要であ
る。例えば、顔の認識にこの方法を用いる場合は、目、
鼻の位置をある一定の位置に移動させ、顎（あご）や髪
の毛を削除する手法がよく使われている。一方、手の場
合、手首の領域を何らかの手法で削除し、手を一定の位
置に移動させ正規化を行う必要があり、その処理をしな
いで複数の手の形状と姿勢の認識に固有空間解析に基づ
く手法を用いても認識率が悪いという課題がある。
【００１５】また、上記第５の文献に述べられているよ
うな、実際に手の画像に固有空間解析を適用する場合
も、手の画像のエッジによる輪郭を求め、さらにエッジ
をぼかす必要があった。そのため、指１本が伸展してい
る画像と指２本を接触させた形で伸展させた画像では、
その違いが画像上区別できなくなり、結果として、より
複雑な形状などには適用不可能であった。
【００１６】それ故、本発明の目的は、予め認識すべき
手形状に対して、様々な姿勢を示す画像から手首領域を
削除して正規化し、正規化した画像に対して固有空間解
析に基づく方法を適用することにより、より複雑な手形
状の画像に対してもその形状と姿勢を認識する手の形状
と姿勢の認識装置および手の形状と姿勢の認識方法並び
に当該方法を実行するプログラムを記録した記録媒体を
提供することである。
【００１７】
【課題を解決するための手段および発明の効果】第１の
発明は、光学的読取手段によって取得された手の画像
（以下、入力手画像という）の形状および姿勢を認識す
る装置であって、予め様々な形状と姿勢の手を撮影した
複数の画像を入力し、当該画像の手首領域を削除した後
予め定めた画像形態（手の方向，画像の大きさ，画像の
明るさ）に正規化した手形状画像を、それぞれ生成する
第１の手画像正規化手段と、手形状画像を、当該手形状
画像に関する形状情報および姿勢情報と共に、それぞれ
格納する手形状画像情報記憶手段と、固有空間法による
解析を行って、手形状画像から固有値と固有ベクトルと
を、それぞれ計算する固有空間計算手段と、固有ベクト
ルの集合を格納する固有ベクトル記憶手段と、手形状画
像を固有ベクトルを基底とする固有空間に投影して、当
該固有空間内での投影座標をそれぞれ求め、手形状画像
情報記憶手段に格納する第１の固有空間投影手段と、入
力手画像を入力し、当該入力手画像の手首領域を削除し
た後手形状画像と同等の画像形態となるように正規化し
た入力手形状画像を、生成する第２の手画像正規化手段
と、入力手形状画像を固有ベクトルを基底とする固有空
間に投影して、当該固有空間内での投影座標を求める第
２の固有空間投影手段と、第２の固有空間投影手段が求
めた投影座標と、手形状画像情報記憶手段に格納した投
影座標とをそれぞれ比較し、入力手形状画像に最も近い
手形状画像を求める手形状画像選択手段と、最も近い手
形状画像の形状情報と姿勢情報とを、手形状画像情報記
憶手段から取得して出力する形状・姿勢出力手段とを備
える。
【００１８】上記のように、第１の発明によれば、様々
な手形状と手姿勢とを持つ複数の手の画像と認識対象で
ある入力手画像の両方から手首領域を削除するため、単
純に大きさと明るさを正規化するよりも精密に手画像の
正規化を行うことができる。これにより、固有空間に基
づく手法を手の形状および姿勢の認識に用いても、十分
に精度の高い結果を得ることが可能になる。また、固有
空間に基づく手法を手の形状および姿勢の認識に用いる
ことにより、伸展指の個数を数えるなどの幾何的な特徴
による手法により、幾何的な特徴がとれにくい、より複
雑な手の形状に対しても認識が可能である。
【００１９】第２の発明は、光学的読取手段によって取
得された入力手画像の形状および姿勢を認識する装置で
あって、予め様々な形状と姿勢の手を撮影した複数の画
像を入力し、当該画像の手首領域を削除した後予め定め
た画像形態に正規化した手形状画像を、それぞれ生成す
る第１の手画像正規化手段と、手形状画像を、当該手形
状画像に関する形状情報および姿勢情報と共に、それぞ
れ格納する手形状画像情報記憶手段と、固有空間法によ
る解析を行って、手形状画像から固有値と固有ベクトル
とを、それぞれ計算する固有空間計算手段と、固有ベク
トルの集合を格納する固有ベクトル記憶手段と、手形状
画像を固有ベクトルを基底とする固有空間に投影して、
当該固有空間内での投影座標をそれぞれ求め、手形状画
像情報記憶手段に格納する第１の固有空間投影手段と、
投影座標を、クラスタ分析によりそれぞれグループ分け
し、各手形状画像がどのクラスタに属するかを求めて手
形状画像情報記憶手段に格納すると共に、各クラスタに
関する統計情報を求めるクラスタ分析手段と、統計情報
を、対応するクラスタと共に、それぞれ格納するクラス
タ情報記憶手段と、入力手画像を入力し、当該入力手画
像の手首領域を削除した後手形状画像と同等の画像形態
となるように正規化した入力手形状画像を、生成する第
２の手画像正規化手段と、入力手形状画像を固有ベクト
ルを基底とする固有空間に投影して、当該固有空間内で
の投影座標を求める第２の固有空間投影手段と、第２の
固有空間投影手段が求めた投影座標と、クラスタ情報記
憶手段に記憶した統計情報とをそれぞれ比較し、最も近
いクラスタを求める最尤クラスタ判別手段と、最も近い
クラスタに属する手形状画像と入力手形状画像とをそれ
ぞれ比較し、当該入力手形状画像に最も近い手形状画像
を求める画像比較手段と、最も近い手形状画像の形状情
報と姿勢情報とを、手形状画像情報記憶手段から取得し
て出力する形状・姿勢出力手段とを備える。
【００２０】上記のように、第２の発明によれば、手形
状画像情報記憶手段に記憶した複数の手形状画像を固有
空間内におけるクラスタ分析によりグループ化し、入力
手画像を認識するときに、最初にどのグループに属する
かを求め、そのグループ内でどの手形状画像に最も近い
かを求める。これにより、画像比較回数を減らすことが
でき、さらに高速に処理を行うことが可能となる。ま
た、違う形状でも似た画像が存在する場合でも正確に手
の形状および姿勢を求めることが可能になる。
【００２１】第３の発明は、第２の発明に従属する発明
であって、画像比較手段は、最尤クラスタ判別手段が求
めたクラスタに属する手形状画像と、第２の手画像正規
化手段が生成した入力手形状画像とを比較する際に、手
形状画像を同一クラスタ内の同一形状ごとにグループ化
する同一形状分類手段と、グループを表現する統計量を
求める形状グループ統計量計算手段と、入力手形状画像
と統計量との距離を計算し、最も近いグループに属する
形状を出力する最尤形状判別手段とで構成されることを
特徴とする。
【００２２】上記のように、第３の発明によれば、第２
の発明において、姿勢まで出力する必要がない場合に、
姿勢と形状の両方を認識する場合よりも正確に手の形状
を求めることが可能になる。
【００２３】第４の発明は、第２の発明に従属する発明
であって、クラスタ分析手段は、各クラスタに対する手
形状画像と形状情報とを手形状画像情報記憶手段から取
得し、各手形状画像を判別するための部分領域をそれぞ
れ計算してクラスタ情報記憶手段に格納し、画像比較手
段は、最尤クラスタ判別手段で求めたクラスタに属する
手形状画像と、第２の手画像正規化手段が生成した入力
手形状画像とを比較する際に、クラスタに対応する部分
領域内のみで比較することを特徴とする。
【００２４】上記のように、第４の発明によれば、第２
の発明において、画像を判別するための部分領域を予め
定めておき、この部分領域内のみで手形状画像と入力手
形状画像とを比較する。これにより、第４の発明に比
べ、画像比較回数を減らすことができると共に、認識対
象となる手の画像を認識するときに、違う形状でも似た
画像が存在する場合でも正確かつ高速に手の形状および
姿勢を求めることが可能となる。
【００２５】第５の発明は、第２の発明に従属する発明
であって、入力手画像が、認識対象となる手を複数の視
点から撮影した複数の画像である場合、第２の手画像正
規化手段は、複数の入力手画像のそれぞれについて入力
手形状画像を生成し、第２の固有空間投影手段は、第２
の手画像正規化手段が生成した複数の入力手形状画像に
ついて固有空間内での投影座標をそれぞれ求め、最尤ク
ラスタ判別手段は、第２の固有空間投影手段が求めた各
投影座標と統計情報とを比較して、最も近いクラスタを
それぞれ求め、画像比較手段は、最尤クラスタ判別手段
が求めた複数の最も近いクラスタを統合し、各クラスタ
に属する手形状画像の形状情報および姿勢情報から矛盾
しない形状・姿勢を推定することを特徴とする。
【００２６】上記のように、第５の発明によれば、第２
の発明において、複数の視点から撮影した入力手画像か
ら求めたクラスタに基づき、最も近いクラスタを統合し
て、入力手画像の形状および姿勢を求める。これによ
り、１方向からの画像だけでは形状および姿勢が決定で
きないような場合（例えば、横方向の手の画像など）で
も、正確に手の形状および姿勢を求めることが可能とな
る。
【００２７】第６の発明は、光学的読取手段によって取
得された一連の意味ある動作を行う連続した手の画像
（以下、手振り動作画像という）の意味を認識する装置
であって、予め様々な形状と姿勢の手を撮影した複数の
画像を入力し、当該画像の手首領域を削除した後予め定
めた画像形態に正規化した手形状画像を、それぞれ生成
する第１の手画像正規化手段と、手形状画像を、当該手
形状画像に関する形状情報および姿勢情報と共に、それ
ぞれ格納する手形状画像情報記憶手段と、固有空間法に
よる解析を行って、手形状画像から固有値と固有ベクト
ルとを、それぞれ計算する固有空間計算手段と、固有ベ
クトルの集合を格納する固有ベクトル記憶手段と、手形
状画像を固有ベクトルを基底とする固有空間に投影し
て、当該固有空間内での投影座標をそれぞれ求め、手形
状画像情報記憶手段に格納する第１の固有空間投影手段
と、投影座標を、クラスタ分析によりそれぞれグループ
分けし、各手形状画像がどのクラスタに属するかを求め
て手形状画像情報記憶手段に格納すると共に、各クラス
タに関する統計情報を求めるクラスタ分析手段と、統計
情報を、対応するクラスタと共に、それぞれ格納するク
ラスタ情報記憶手段と、手振り動作画像を入力し、当該
手振り動作画像の各画像の中から手領域をそれぞれ検出
する手領域検出手段と、検出した手領域において手振り
動作画像の手の動きをそれぞれ求め、手の動きに従い手
動作の分節点を求める手動作分節手段と、手振り動作画
像中の手動作分節点である画像から、検出した手領域の
部分を切り出す手画像切出手段と、手画像切出手段にお
いて手振り動作画像から切り出された１つ以上の手画像
（以下、手画像系列という）について、当該手画像の手
首領域を削除した後手形状画像と同等の画像形態となる
ように正規化した入力手形状画像を、それぞれ生成する
第２の手画像正規化手段と、入力手形状画像を固有ベク
トルを基底とする固有空間に投影して、当該固有空間内
での投影座標をそれぞれ求める第２の固有空間投影手段
と、第２の固有空間投影手段が求めた投影座標と、クラ
スタ情報記憶手段に記憶した統計情報とをそれぞれ比較
し、最も近いクラスタを求め、当該クラスタを特定する
シンボルをそれぞれ出力する最尤クラスタ判別手段と、
最尤クラスタ判別手段が出力する手画像系列に対応した
シンボル（以下、シンボル系列という）を、当該手画像
系列の元となる手振り動作画像の意味と共に系列識別辞
書手段に登録する系列登録手段と、手振り動作画像の意
味と対応するシンボル系列とを記憶する系列識別辞書手
段と、最尤クラスタ判別手段が出力するシンボル系列に
該当する意味を、系列識別辞書手段から取得して出力す
る識別演算手段とを備える。
【００２８】上記のように、第６の発明によれば、ジェ
スチャー単語や手話単語等のような一連の意味ある手振
り動作画像に対して、手動作の分節点となる画像のクラ
スタ系列をその意味と共に予め記憶し、手振り動作画像
を認識するときに、求めたクラスタ系列に基づいて記憶
している意味を出力する。これにより、ジェスチャー単
語や手話単語等のような一連の意味ある動作に対して、
より誤認識を減らし、正確に意味を求めることが可能と
なる。
【００２９】第７の発明は、第６の発明に従属する発明
であって、手振り動作画像を入力し、当該画像の動作主
体の動きと位置とから意味の候補を出力する大局動作認
識手段と、一連の意味ある動作に基づいて、入力された
手振り動作画像の意味を制約する制約条件を予め記憶す
る制約条件記憶手段とをさらに備え、識別演算手段は、
最尤クラスタ判別手段が出力するシンボル系列に該当す
る意味を、制約条件に従いつつ系列識別辞書手段から取
得して出力することを特徴とする。
【００３０】上記のように、第７の発明によれば、第６
の発明において、手の大局的動作の特徴に基づく制約条
件をさらに加えて、手振り動作画像の意味を導き出す。
これにより、手振り動作画像の誤認識を減らすことがで
きる。
【００３１】第８の発明は、第６，第７の発明に従属す
る発明であって、手領域検出手段は、入力する手振り動
作画像の各画像の中から、手領域の候補となる領域をそ
れぞれ切り出す領域候補切出手段と、手画像の候補とな
る領域だけを矩形領域から抜き出すための領域マスクを
記憶する領域マスク記憶手段と、手振り動作画像から切
り出された手領域候補の領域に、領域マスクを付加し、
さらに固有ベクトルを計算する時に用いた手画像と同等
の画像形態となるように正規化した画像をそれぞれ生成
する手領域画像正規化手段と、手領域候補の領域を正規
化した画像を固有ベクトルを基底とする固有空間に投影
して、当該固有空間内での投影座標をそれぞれ求める手
領域固有空間投影手段と、手領域固有空間投影手段が求
めた投影座標と、クラスタ情報記憶手段に記憶した統計
情報とをそれぞれ比較し、最も近いクラスタを求め、当
該クラスタを特定するシンボルと比較対象のクラスタと
の近さを示す評価値とをそれぞれ出力する手領域最尤ク
ラスタ判別手段と、評価値に基づいて、最も高い評価値
を持つ手領域候補の位置情報とそのクラスタとを出力す
る領域決定手段とで構成されることを特徴とする。
【００３２】上記のように、第８の発明によれば、第
６，第７の発明において、手領域を検出するときに手領
域候補の領域を固有空間へ投影して、該当クラスタを求
めることによって手領域を検出する。このため、手領域
を検出すると同時にその手領域の該当クラスタを求める
ことができるので、手領域検出と手の形状と姿勢の認
識、若しくは手領域検出と手振り動作認識処理を一つの
処理として統合することが可能となる。
【００３３】第９の発明は、第１，第２，第６の発明に
従属する発明であって、第１の手画像正規化手段および
第２の手画像正規化手段は、それぞれ、入力する手の画
像から抽出すべき手領域を、色分布として予め記憶する
色分布記憶手段と、色分布に従い、入力する手の画像か
ら手領域を抽出する手領域抽出手段と、手首方向を求
め、当該手首方向に従い手領域から手首領域を削除する
手首領域削除手段と、手首領域を削除した手領域を、画
像上の予め定義した位置に移動させる領域移動手段と、
手領域内の手が、予め定めた一定方向に向くように回転
角を求める回転角計算手段と、回転角に従い、手が一定
方向に向くように手領域を回転させる領域回転手段と、
回転させた手領域の大きさを、予め定めた一定の大きさ
に正規化する大きさ正規化手段とで構成されることを特
徴とする。
【００３４】上記のように、第９の発明によれば、第
１，第２，第６の発明において、手画像を正規化する際
に、手首領域を削除するだけではなく、肌色により手領
域を抽出する。これにより、一般的で自然な背景で撮影
した手の画像から手領域を抽出することができ、さら
に、正確に手の形状および姿勢を認識することが可能と
なる。
【００３５】第１０の発明は、第１の発明に従属する発
明であって、形状情報および姿勢情報に対応する命令を
それぞれ格納する命令記憶手段と、形状・姿勢出力手段
が出力する形状情報および姿勢情報を入力し、当該形状
情報および当該姿勢情報に対応する命令を命令記憶手段
から取得して出力する命令出力手段とをさらに備える。
【００３６】上記のように、第１０の発明によれば、第
１の発明の認識装置を、求めた手の形状および姿勢に従
い、他の機器の制御を行うインタフェースとして機能さ
せることができる。
【００３７】第１１の発明は、光学的読取手段によって
取得された入力手画像の形状および姿勢を認識する方法
であって、予め様々な形状と姿勢の手を撮影した複数の
画像を入力し、当該画像の手首領域を削除した後予め定
めた画像形態に正規化した手形状画像を、それぞれ生成
する第１の正規化ステップと、固有空間法による解析を
行って、手形状画像から固有値と固有ベクトルとを、そ
れぞれ計算する解析ステップと、手形状画像を固有ベク
トルを基底とする固有空間に投影して、当該固有空間内
での投影座標をそれぞれ求める第１の投影ステップと、
入力手画像を入力し、当該入力手画像の手首領域を削除
した後手形状画像と同等の画像形態となるように正規化
した入力手形状画像を、生成する第２の正規化ステップ
と、入力手形状画像を固有ベクトルを基底とする固有空
間に投影して、当該固有空間内での投影座標を求める第
２の投影ステップと、手形状画像について求めた投影座
標と、入力手形状画像について求めた投影座標とをそれ
ぞれ比較し、入力手形状画像に最も近い手形状画像を求
める比較ステップと、最も近い手形状画像の形状情報と
姿勢情報とを出力するステップとを備える。
【００３８】上記のように、第１１の発明によれば、様
々な手形状と手姿勢とを持つ複数の手の画像と認識対象
である入力手画像の両方から手首領域を削除するため、
単純に大きさと明るさを正規化するよりも精密に手画像
の正規化を行うことができる。これにより、固有空間に
基づく手法を手の形状および姿勢の認識に用いても、十
分に精度の高い結果を得ることが可能になる。また、固
有空間に基づく手法を手の形状および姿勢の認識に用い
ることにより、伸展指の個数を数えるなどの幾何的な特
徴による手法により、幾何的な特徴がとれにくい、より
複雑な手の形状に対しても認識が可能である。
【００３９】第１２の発明は、光学的読取手段によって
取得された入力手画像の形状および姿勢を認識する方法
であって、予め様々な形状と姿勢の手を撮影した複数の
画像を入力し、当該画像の手首領域を削除した後予め定
めた画像形態に正規化した手形状画像を、それぞれ生成
する第１の正規化ステップと、固有空間法による解析を
行って、手形状画像から固有値と固有ベクトルとを、そ
れぞれ計算する解析ステップと、手形状画像を固有ベク
トルを基底とする固有空間に投影して、当該固有空間内
での投影座標をそれぞれ求める第１の投影ステップと、
投影座標を、クラスタ分析によりそれぞれグループ分け
し、各手形状画像がどのクラスタに属するかと、各クラ
スタに関する統計情報とを求める分析ステップと、入力
手画像を入力し、当該入力手画像の手首領域を削除した
後手形状画像と同等の画像形態となるように正規化した
入力手形状画像を、生成する第２の正規化ステップと、
入力手形状画像を固有ベクトルを基底とする固有空間に
投影して、当該固有空間内での投影座標を求める第２の
投影ステップと、入力手形状画像について求めた投影座
標と、統計情報とをそれぞれ比較し、最も近いクラスタ
を求める判別ステップと、最も近いクラスタに属する手
形状画像と入力手形状画像とをそれぞれ比較し、当該入
力手形状画像に最も近い手形状画像を求める比較ステッ
プと、最も近い手形状画像の形状情報と姿勢情報とを出
力するステップとを備える。
【００４０】上記のように、第１２の発明によれば、複
数の手形状画像を固有空間内におけるクラスタ分析によ
りグループ化し、入力手画像を認識するときに、最初に
どのグループに属するかを求め、そのグループ内でどの
手形状画像に最も近いかを求める。これにより、画像比
較回数を減らすことができ、さらに高速に処理を行うこ
とが可能となる。また、違う形状でも似た画像が存在す
る場合でも正確に手の形状および姿勢を求めることが可
能になる。
【００４１】第１３の発明は、第１２の発明に従属する
発明であって、比較ステップは、判別ステップが求めた
クラスタに属する手形状画像と、第２の正規化ステップ
が生成した入力手形状画像とを比較する際に、手形状画
像を同一クラスタ内の同一形状ごとにグループ化するス
テップと、グループを表現する統計量を求めるステップ
と、入力手形状画像と統計量との距離を計算し、最も近
いグループに属する形状を出力するステップとを含むこ
とを特徴とする。
【００４２】上記のように、第１３の発明によれば、第
１２の発明において、姿勢まで出力する必要がない場合
に、姿勢と形状の両方を認識する場合よりも正確に手の
形状を求めることが可能になる。
【００４３】第１４の発明は、第１２の発明に従属する
発明であって、分析ステップは、各クラスタに対する手
形状画像と形状情報とに基づいて、各手形状画像を判別
するための部分領域をそれぞれ計算し、比較ステップ
は、判別ステップで求めたクラスタに属する手形状画像
と、第２の正規化ステップが生成した入力手形状画像と
を比較する際に、クラスタに対応する部分領域内のみで
比較することを特徴とする。
【００４４】上記のように、第１４の発明によれば、第
１２の発明において、画像を判別するための部分領域を
予め定めておき、この部分領域内のみで手形状画像と入
力手形状画像とを比較する。これにより、第２３の発明
に比べ、画像比較回数を減らすことができると共に、認
識対象となる手の画像を認識するときに、違う形状でも
似た画像が存在する場合でも正確かつ高速に手の形状お
よび姿勢を求めることが可能となる。
【００４５】第１５の発明は、第１２の発明に従属する
発明であって、入力手画像が、認識対象となる手を複数
の視点から撮影した複数の画像である場合、第２の正規
化ステップは、複数の入力手画像のそれぞれについて入
力手形状画像を生成し、第２の投影ステップは、第２の
正規化ステップが生成した複数の入力手形状画像につい
て固有空間内での投影座標をそれぞれ求め、判別ステッ
プは、第２の投影ステップが求めた各投影座標と統計情
報とを比較して、最も近いクラスタをそれぞれ求め、比
較ステップは、判別ステップが求めた複数の最も近いク
ラスタを統合し、各クラスタに属する手形状画像の形状
情報および姿勢情報から矛盾しない形状・姿勢を推定す
ることを特徴とする。
【００４６】上記のように、第１５の発明によれば、第
１２の発明において、複数の視点から撮影した入力手画
像から求めたクラスタに基づき、最も近いクラスタを統
合して、入力手画像の形状および姿勢を求める。これに
より、１方向からの画像だけでは形状および姿勢が決定
できないような場合でも、正確に手の形状および姿勢を
求めることが可能となる。
【００４７】第１６の発明は、光学的読取手段によって
取得された手振り動作画像の意味を認識する方法であっ
て、予め様々な形状と姿勢の手を撮影した複数の画像を
入力し、当該画像の手首領域を削除した後予め定めた画
像形態に正規化した手形状画像を、それぞれ生成する第
１の正規化ステップと、固有空間法による解析を行っ
て、手形状画像から固有値と固有ベクトルとを、それぞ
れ計算する解析ステップと、手形状画像を固有ベクトル
を基底とする固有空間に投影して、当該固有空間内での
投影座標をそれぞれ求める第１の投影ステップと、投影
座標を、クラスタ分析によりそれぞれグループ分けし、
各手形状画像がどのクラスタに属するかと、各クラスタ
に関する統計情報とを求める分析ステップと、手振り動
作画像を入力し、当該手振り動作画像の各画像の中から
手領域をそれぞれ検出する検出ステップと、検出した手
領域において手振り動作画像の手の動きをそれぞれ求
め、手の動きに従い手動作の分節点を求める分節ステッ
プと、手振り動作画像中の手動作分節点である画像か
ら、検出した手領域の部分を切り出す切出ステップと、
手振り動作画像から切り出された手画像系列について、
当該手画像の手首領域を削除した後手形状画像と同等の
画像形態となるように正規化した入力手形状画像を、そ
れぞれ生成する第２の正規化ステップと、入力手形状画
像を固有ベクトルを基底とする固有空間に投影して、当
該固有空間内での投影座標をそれぞれ求める第２の投影
ステップと、入力手形状画像について求めた投影座標
と、統計情報とをそれぞれ比較し、最も近いクラスタを
求め、当該クラスタを特定するシンボルをそれぞれ出力
する判別ステップと、判別した手画像系列に対応したシ
ンボル系列を、当該手画像系列の元となる手振り動作画
像の意味と共に記憶するステップと、入力する手振り動
作画像を識別する場合、判別したシンボル系列に該当す
る意味を、記憶しているシンボル系列とその意味とに基
づいて出力する識別ステップとを備える。
【００４８】上記のように、第１６の発明によれば、ジ
ェスチャー単語や手話単語等のような一連の意味ある手
振り動作画像に対して、手動作の分節点となる画像のク
ラスタ系列をその意味と共に予め記憶し、手振り動作画
像を認識するときに、求めたクラスタ系列に基づいて記
憶している意味を出力する。これにより、ジェスチャー
単語や手話単語等のような一連の意味ある動作に対し
て、より誤認識を減らし、正確に意味を求めることが可
能となる。
【００４９】第１７の発明は、第１６の発明に従属する
発明であって、手振り動作画像を入力し、当該画像の動
作主体の動きと位置とから意味の候補を出力する認識ス
テップと、一連の意味ある動作に基づいて、入力された
手振り動作画像の意味を制約する制約条件を予め記憶す
る記憶ステップとをさらに備え、識別ステップは、判別
したシンボル系列に該当する意味を、制約条件に従いつ
つ記憶しているシンボル系列とその意味とに基づいて出
力することを特徴とする。
【００５０】上記のように、第１７の発明によれば、第
１６の発明において、手の大局的動作の特徴に基づく制
約条件をさらに加えて、手振り動作画像の意味を導き出
す。これにより、手振り動作画像の誤認識を減らすこと
ができる。
【００５１】第１８の発明は、第１６，第１７の発明に
従属する発明であって、検出ステップは、入力する手振
り動作画像の各画像の中から、手領域の候補となる領域
をそれぞれ切り出す切出ステップと、手画像の候補とな
る領域だけを矩形領域から抜き出すための領域マスクを
記憶する記憶ステップと、手振り動作画像から切り出さ
れた手領域候補の領域に、領域マスクを付加し、さらに
固有ベクトルを計算する時に用いた手画像と同等の画像
形態となるように正規化した画像をそれぞれ生成する正
規化ステップと、手領域候補の領域を正規化した画像を
固有ベクトルを基底とする固有空間に投影して、当該固
有空間内での投影座標をそれぞれ求める投影ステップ
と、投影座標と統計情報とをそれぞれ比較し、最も近い
クラスタを求め、当該クラスタを特定するシンボルと比
較対象のクラスタとの近さを示す評価値とをそれぞれ出
力する判別ステップと、評価値に基づいて、最も高い評
価値を持つ手領域候補の位置情報とそのクラスタとを出
力する決定ステップとを含むことを特徴とする。
【００５２】上記のように、第１８の発明によれば、第
１６，第１７の発明において、手領域を検出するときに
手領域候補の領域を固有空間へ投影して、該当クラスタ
を求めることによって手領域を検出する。このため、手
領域を検出すると同時にその手領域の該当クラスタを求
めることができるので、手領域検出と手の形状と姿勢の
認識、若しくは手領域検出と手振り動作認識処理を一つ
の処理として統合することが可能となる。
【００５３】第１９の発明は、第１１，第１２，第１６
の発明に従属する発明であって、第１の正規化ステップ
および第２の正規化ステップは、それぞれ、入力する手
の画像から抽出すべき手領域を、色分布として予め記憶
する色記憶ステップと、色分布に従い、入力する手の画
像から手領域を抽出するステップと、手首方向を求め、
当該手首方向に従い手領域から手首領域を削除するステ
ップと、手首領域を削除した手領域を、画像上の予め定
義した位置に移動させるステップと、手領域内の手が、
予め定めた一定方向に向くように回転角を求めるステッ
プと、回転角に従い、手が一定方向に向くように手領域
を回転させるステップと、回転させた手領域の大きさ
を、予め定めた一定の大きさに正規化するステップとを
含むことを特徴とする。
【００５４】上記のように、第１９の発明によれば、第
１１，第１２，第１６の発明において、手画像を正規化
する際に、手首領域を削除するだけではなく、肌色によ
り手領域を抽出する。これにより、一般的で自然な背景
で撮影した手の画像から手領域を抽出することができ、
さらに、正確に手の形状および姿勢を認識することが可
能となる。
【００５５】第２０の発明は、第１１の発明に従属する
発明であって、形状情報および姿勢情報に対応する命令
をそれぞれ格納する命令記憶ステップと、出力するステ
ップが出力する形状情報および姿勢情報を入力し、当該
形状情報および当該姿勢情報に対応する命令を命令記憶
ステップから取得して出力するステップとをさらに備え
る。
【００５６】上記のように、第２０の発明によれば、第
１１の発明の認識装置を、求めた手の形状および姿勢に
従い、他の機器の制御を行うインタフェースとして機能
させることができる。
【００５７】第２１の発明は、光学的読取手段によって
取得された入力手画像の形状および姿勢を認識する方法
を、コンピュータ装置において実行するためのプログラ
ムを記録した記録媒体であって、予め様々な形状と姿勢
の手を撮影した複数の画像を入力し、当該画像の手首領
域を削除した後予め定めた画像形態に正規化した手形状
画像を、それぞれ生成する第１の正規化ステップと、固
有空間法による解析を行って、手形状画像から固有値と
固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影
して、当該固有空間内での投影座標をそれぞれ求める第
１の投影ステップと、入力手画像を入力し、当該入力手
画像の手首領域を削除した後手形状画像と同等の画像形
態となるように正規化した入力手形状画像を、生成する
第２の正規化ステップと、入力手形状画像を固有ベクト
ルを基底とする固有空間に投影して、当該固有空間内で
の投影座標を求める第２の投影ステップと、手形状画像
について求めた投影座標と、入力手形状画像について求
めた投影座標とをそれぞれ比較し、入力手形状画像に最
も近い手形状画像を求める比較ステップと、最も近い手
形状画像の形状情報と姿勢情報とを出力するステップと
を含む動作環境を、コンピュータ装置上で実現するため
のプログラムを記録している。
【００５８】第２２の発明は、光学的読取手段によって
取得された入力手画像の形状および姿勢を認識する方法
を、コンピュータ装置において実行するためのプログラ
ムを記録した記録媒体であって、予め様々な形状と姿勢
の手を撮影した複数の画像を入力し、当該画像の手首領
域を削除した後予め定めた画像形態に正規化した手形状
画像を、それぞれ生成する第１の正規化ステップと、固
有空間法による解析を行って、手形状画像から固有値と
固有ベクトルとを、それぞれ計算する解析ステップと、
手形状画像を固有ベクトルを基底とする固有空間に投影
して、当該固有空間内での投影座標をそれぞれ求める第
１の投影ステップと、投影座標を、クラスタ分析により
それぞれグループ分けし、各手形状画像がどのクラスタ
に属するかと、各クラスタに関する統計情報とを求める
分析ステップと、入力手画像を入力し、当該入力手画像
の手首領域を削除した後手形状画像と同等の画像形態と
なるように正規化した入力手形状画像を、生成する第２
の正規化ステップと、入力手形状画像を固有ベクトルを
基底とする固有空間に投影して、当該固有空間内での投
影座標を求める第２の投影ステップと、入力手形状画像
について求めた投影座標と、統計情報とをそれぞれ比較
し、最も近いクラスタを求める判別ステップと、最も近
いクラスタに属する手形状画像と入力手形状画像とをそ
れぞれ比較し、当該入力手形状画像に最も近い手形状画
像を求める比較ステップと、最も近い手形状画像の形状
情報と姿勢情報とを出力するステップとを含む動作環境
を、コンピュータ装置上で実現するためのプログラムを
記録している。
【００５９】第２３の発明は、第２２の発明に従属する
発明であって、比較ステップは、判別ステップが求めた
クラスタに属する手形状画像と、第２の正規化ステップ
が生成した入力手形状画像とを比較する際に、手形状画
像を同一クラスタ内の同一形状ごとにグループ化するス
テップと、グループを表現する統計量を求めるステップ
と、入力手形状画像と統計量との距離を計算し、最も近
いグループに属する形状を出力するステップとを含むこ
とを特徴とする。
【００６０】第２４の発明は、第２２の発明に従属する
発明であって、分析ステップは、各クラスタに対する手
形状画像と形状情報とに基づいて、各手形状画像を判別
するための部分領域をそれぞれ計算し、比較ステップ
は、判別ステップで求めたクラスタに属する手形状画像
と、第２の正規化ステップが生成した入力手形状画像と
を比較する際に、クラスタに対応する部分領域内のみで
比較することを特徴とする。
【００６１】第２５の発明は、第２２の発明に従属する
発明であって、入力手画像が、認識対象となる手を複数
の視点から撮影した複数の画像である場合、第２の正規
化ステップは、複数の入力手画像のそれぞれについて入
力手形状画像を生成し、第２の投影ステップは、第２の
正規化ステップが生成した複数の入力手形状画像につい
て固有空間内での投影座標をそれぞれ求め、判別ステッ
プは、第２の投影ステップが求めた各投影座標と統計情
報とを比較して、最も近いクラスタをそれぞれ求め、比
較ステップは、判別ステップが求めた複数の最も近いク
ラスタを統合し、各クラスタに属する手形状画像の形状
情報および姿勢情報から矛盾しない形状・姿勢を推定す
ることを特徴とする。
【００６２】第２６の発明は、光学的読取手段によって
取得された手振り動作画像の意味を認識する方法を、コ
ンピュータ装置において実行するためのプログラムを記
録した記録媒体であって、予め様々な形状と姿勢の手を
撮影した複数の画像を入力し、当該画像の手首領域を削
除した後予め定めた画像形態に正規化した手形状画像
を、それぞれ生成する第１の正規化ステップと、固有空
間法による解析を行って、手形状画像から固有値と固有
ベクトルとを、それぞれ計算する解析ステップと、手形
状画像を固有ベクトルを基底とする固有空間に投影し
て、当該固有空間内での投影座標をそれぞれ求める第１
の投影ステップと、投影座標を、クラスタ分析によりそ
れぞれグループ分けし、各手形状画像がどのクラスタに
属するかと、各クラスタに関する統計情報とを求める分
析ステップと、手振り動作画像を入力し、当該手振り動
作画像の各画像の中から手領域をそれぞれ検出する検出
ステップと、検出した手領域において手振り動作画像の
手の動きをそれぞれ求め、手の動きに従い手動作の分節
点を求める分節ステップと、手振り動作画像中の手動作
分節点である画像から、検出した手領域の部分を切り出
す切出ステップと、手振り動作画像から切り出された手
画像系列について、当該手画像の手首領域を削除した後
手形状画像と同等の画像形態となるように正規化した入
力手形状画像を、それぞれ生成する第２の正規化ステッ
プと、入力手形状画像を固有ベクトルを基底とする固有
空間に投影して、当該固有空間内での投影座標をそれぞ
れ求める第２の投影ステップと、入力手形状画像につい
て求めた投影座標と、統計情報とをそれぞれ比較し、最
も近いクラスタを求め、当該クラスタを特定するシンボ
ルをそれぞれ出力する判別ステップと、判別した手画像
系列に対応したシンボル系列を、当該手画像系列の元と
なる手振り動作画像の意味と共に記憶するステップと、
入力する手振り動作画像を識別する場合、判別したシン
ボル系列に該当する意味を、記憶しているシンボル系列
とその意味とに基づいて出力する識別ステップとを含む
動作環境を、コンピュータ装置上で実現するためのプロ
グラムを記録している。
【００６３】第２７の発明は、第２６の発明に従属する
発明であって、手振り動作画像を入力し、当該画像の動
作主体の動きと位置とから意味の候補を出力する認識ス
テップと、一連の意味ある動作に基づいて、入力された
手振り動作画像の意味を制約する制約条件を予め記憶す
る記憶ステップとをさらに含み、識別ステップは、判別
したシンボル系列に該当する意味を、制約条件に従いつ
つ記憶しているシンボル系列とその意味とに基づいて出
力することを特徴とする。
【００６４】第２８の発明は、第２６，第２７の発明に
従属する発明であって、検出ステップは、入力する手振
り動作画像の各画像の中から、手領域の候補となる領域
をそれぞれ切り出す切出ステップと、手画像の候補とな
る領域だけを矩形領域から抜き出すための領域マスクを
記憶する記憶ステップと、手振り動作画像から切り出さ
れた手領域候補の領域に、領域マスクを付加し、さらに
固有ベクトルを計算する時に用いた手画像と同等の画像
形態となるように正規化した画像をそれぞれ生成する正
規化ステップと、手領域候補の領域を正規化した画像を
固有ベクトルを基底とする固有空間に投影して、当該固
有空間内での投影座標をそれぞれ求める投影ステップ
と、投影座標と統計情報とをそれぞれ比較し、最も近い
クラスタを求め、当該クラスタを特定するシンボルと比
較対象のクラスタとの近さを示す評価値とをそれぞれ出
力する判別ステップと、評価値に基づいて、最も高い評
価値を持つ手領域候補の位置情報とそのクラスタとを出
力する決定ステップとを含むことを特徴とする。
【００６５】第２９の発明は、第２１，第２２，第２６
の発明に従属する発明であって、第１の正規化ステップ
および第２の正規化ステップは、それぞれ、入力する手
の画像から抽出すべき手領域を、色分布として予め記憶
する色記憶ステップと、色分布に従い、入力する手の画
像から手領域を抽出するステップと、手首方向を求め、
当該手首方向に従い手領域から手首領域を削除するステ
ップと、手首領域を削除した手領域を、画像上の予め定
義した位置に移動させるステップと、手領域内の手が、
予め定めた一定方向に向くように回転角を求めるステッ
プと、回転角に従い、手が一定方向に向くように手領域
を回転させるステップと、回転させた手領域の大きさ
を、予め定めた一定の大きさに正規化するステップとを
含むことを特徴とする。
【００６６】第３０の発明は、第２１の発明に従属する
発明であって、形状情報および姿勢情報に対応する命令
をそれぞれ格納する命令記憶ステップと、出力するステ
ップが出力する形状情報および姿勢情報を入力し、当該
形状情報および当該姿勢情報に対応する命令を命令記憶
ステップから取得して出力するステップとをさらに含
む。
【００６７】上記のように、第２１〜第３０の発明は、
上記第１１〜第２０の発明の手の形状と姿勢の認識方法
を実行するためのプログラムを記録した記録媒体であ
る。これは、既存の装置に対し、上記第１１〜第２０の
発明の手の形状と姿勢の認識方法を、ソフトウエアの形
態で供給することに対応させたものである。
【００６８】
【発明の実施の形態】以下、本発明の各実施形態を説明
するに先立ち、説明内で用いる「手形状」および「手姿
勢」という用語についての定義を行う。
【００６９】人間がジェスチャーや手話等のように、手
に何らかの意味を持たせて提示する場合、指と掌による
関節の曲げ角によって決められる手のポーズ（例えば、
「グー」，「チョキ」，「パー」等）と、手首および腕
関節によって決められる手の方向（例えば、指差しの方
向等）との２つの意味が含まれている。そこで、本発明
の各実施形態の説明においては、指と掌による関節の曲
げ角によって決められる手のポーズを「手形状」と呼
び、手首および腕関節によって決められる手の方向を
「手姿勢」と呼ぶ。
【００７０】ここで、手姿勢を厳密に定義する場合、例
えば、図３７のように定義することができる。まず、あ
る形状を示す手が存在する三次元空間において、手の手
首断面中心から中指先端中心へ伸ばした方向をＸi 軸
（掌主軸）と、Ｘi 軸と直交して手のひら平面に対して
垂直方向をＹi 軸と、Ｘi 軸およびＹi 軸の双方に直交
する方向をＺi 軸としたローカル座標系ｉを定義する
（図３７（ａ））。一方、カメラにおいて手の画像を取
り込んで投影するカメラ座標系ｃ（Ｘc 軸，Ｙc 軸，Ｚ
c 軸。なお、各軸は相互に直交する）を、予め設定する
（図３７（ｂ））。なお、以下、カメラ座標系ｃのＺc
軸を光軸と表現する。そして、カメラ座標系ｃ上に投影
された手の画像に対して、手のローカル座標系ｉの各軸
とカメラ座標系ｃの各軸との差を、次のように定義する
（図３７（ｃ））。 θ：Ｘc 軸を中心とする回転角度 φ：Ｘc 軸−Ｚc 軸平面における回転角度 ψ：Ｘc 軸−Ｙc 軸平面における回転角度 これらの回転角度θ，φ，ψにより、手姿勢を定義す
る。
【００７１】なお、手姿勢の表現は、このように厳密に
定義することも可能だが、例えば、手の平がカメラに対
してどの程度傾いているかを「カメラに対して正面、カ
メラに対して左に向いている」等の定性的な表現で定義
することも可能である。本発明では、これらのいずれに
おいても対応可能であるが、以下に示す各実施形態で
は、わかりやすく説明するために、定性的な表現で姿勢
を定義する場合を一例に挙げて説明することにする。
【００７２】以下、図面を参照して、本発明の各実施形
態を詳細に説明する。 （第１の実施形態）本発明の第１の実施形態は、予め記
憶する様々な手形状と手姿勢とを持つ複数の画像と、入
力される認識対象である手の画像とを、固有空間法に基
づき認識を行う場合に、用意する手の画像から手首領域
を削除することによって正規化をすることにより、より
複雑な形状の手画像に対しても手形状と手姿勢とを認識
する装置および方法を提供するものである。
【００７３】図１は、本発明の第１の実施形態に係る手
の形状と姿勢の認識装置の構成を示すブロック図であ
る。図１において、第１の実施形態に係る手の形状と姿
勢の認識装置は、記憶部構築系１と、姿勢・形状認識系
２とで構成される。記憶部構築系１は、様々な手形状と
手姿勢を示す複数の手形状画像とその形状情報と姿勢情
報とから、認識するために必要な情報を予め構築する。
姿勢・形状認識系２は、入力される認識対象となる手の
画像（以下、入力手画像という）に対し、記憶部構築系
１により構築された記憶部に格納されている情報を用い
て、当該入力手画像の手形状および手姿勢を求める。
【００７４】まず、記憶部構築系１および姿勢・形状認
識系２の各構成を、それぞれ説明する。図１において、
記憶部構築系１は、手画像正規化部１１と、手形状画像
情報記憶部１２Ａと、固有空間計算部１３と、固有ベク
トル記憶部１４と、固有空間投影部１５とを備える。姿
勢・形状認識系２は、手画像正規化部２１と、固有空間
投影部２２と、手形状画像選択部２３と、形状・姿勢出
力部２４とを備える。
【００７５】手画像正規化部１１は、様々な手形状と手
姿勢とを持つ複数の手画像を入力し、当該手画像から手
首領域を削除して予め定めた正規化を施した手形状画像
をそれぞれ生成する。手形状画像情報記憶部１２Ａは、
手画像正規化部１１が生成した複数の手形状画像を、別
途与えられる当該手形状画像の形状情報および姿勢情報
と、手形状画像を固有空間へ投影した固有空間投影座標
と共にそれぞれ格納する。固有空間計算部１３は、手形
状画像情報記憶部１２Ａが格納した手形状画像から、固
有空間法による解析を行って固有値と固有ベクトルとを
求める。ここで、固有空間計算部１３が行う固有空間解
析の手法としては、例えば、手形状画像情報記憶部１２
Ａに記憶した手形状画像から主成分分析を行って固有空
間を求める手法、手形状画像情報記憶部１２Ａに記憶し
た手形状画像と形状情報とから判別分析を行ってその分
析結果から手形状判別空間を求める手法等、種々の手法
が考えられるが、第１の実施形態では、前者の手法で以
降の動作を説明することにする。固有ベクトル記憶部１
４は、固有空間計算部１３が求めた固有ベクトルを格納
する。固有空間投影部１５は、手形状画像情報記憶部１
２Ａに格納した手形状画像を、固有ベクトル記憶部１４
に格納した固有ベクトルを基底とする固有空間に投影し
て、当該固有空間内での投影座標を求め、手形状画像情
報記憶部１２Ａに格納する。
【００７６】手画像正規化部２１は、入力手画像を入力
し、当該入力画像が手形状画像情報記憶部１２Ａに予め
記憶している手形状画像と同等のものとなるように、当
該入力手画像から手首領域を削除して予め定めた正規化
を施した入力手形状画像を生成する。固有空間投影部２
２は、手画像正規化部２１が生成した入力手形状画像
を、固有ベクトル記憶部１４に格納した固有ベクトルを
基底とする固有空間に投影して、当該固有空間内での投
影座標を求める。手形状画像選択部２３は、固有空間投
影部２２が求めた投影座標と、手形状画像情報記憶部１
２Ａに予め記憶している固有空間投影座標とを比較し、
入力手形状画像に最も近い手形状画像を求める。形状・
姿勢出力部２４は、手形状画像選択部２３が求めた最も
近い手形状画像の形状情報と姿勢情報とを出力する。
【００７７】次に、図２〜図５を用いて、第１の実施形
態に係る手の形状と姿勢の認識装置が行う手形状／手姿
勢の認識方法を、処理の順に説明する。図２は、図１の
手画像正規化部１１が行う処理の概略を説明する図であ
る。図３は、図１の手形状画像情報記憶部１２Ａが有す
る格納テーブルの一例を示す図である。図４は、図１の
固有空間計算部１３において、固有空間を求める手法の
一例の概略を説明する図である。なお、図４において
は、上述した主成分分析による手法を用いた場合を一例
として記載している。図５は、図１の固有空間投影部１
５において、固有空間投影座標を求める手法の概略を説
明する図である。
【００７８】最初に、記憶部構築系１が行う処理を説明
する。記憶部構築系１は、上述したように、姿勢・形状
認識系２に入力される入力手画像と比較するための手形
状画像を、様々な手形状と手姿勢とを持つ複数の手画像
を用いて予め構築する。ここで、記憶部構築系１は、手
形状画像に対する固有空間を求めるため、手画像の正規
化を行う。
【００７９】図２を参照して、手画像正規化部１１は、
まず、与えられた手画像から手首方向を求める（図２
（ｂ））。次に、手画像正規化部１１は、手首側の端か
ら掌側に向けて手首と背景との境界線に従い直線を引
き、その直線との距離が予め定めたしきい値以上になっ
た地点を手首領域の終点（手首切出点）として求める
（図２（ｃ））。次に、手画像正規化部１１は、手画像
から求めた手首切出点までの手首領域を削除する（図２
（ｄ））。次に、手画像正規化部１１は、手首領域を削
除した画像から手の部分だけを抜き出し、手首−中指方
向が、ある一定方向に向くように回転する（図２
（ｅ））。なお、本実施例では、その一定方向が真下で
あると仮定している。そして、手画像正規化部１１は、
回転した手画像の大きさと全体の明るさとを、予め定め
た値に正規化することで手形状画像を生成し（図２
（ｆ））、この手形状画像の指の状態を示す形状情報
（図２の例では、伸展３本指）および手画像の掌の向き
を示す姿勢情報（図２の例では、掌方向：後）と共に、
手形状画像情報記憶部１２Ａに記憶する。なお、図２の
例では、姿勢情報として言葉で表現したものを用いた
が、その他にも光軸に対する角度で表現してもかまわな
い。手画像正規化部１１は、上記正規化処理を様々な手
形状と手姿勢とを持つ複数の手画像に対してそれぞれ行
い、図３に示すように、複数の手形状画像を手形状画像
情報記憶部１２Ａに記憶する。なお、手形状画像情報記
憶部１２Ａにおける固有空間投影座標は、固有空間投影
部１５によって求められた結果を格納するため、この時
点では何も格納されていない。
【００８０】次に、固有空間計算部１３は、手形状画像
情報記憶部１２Ａに格納されたそれぞれの手形状画像の
固有空間を求める。図４を参照して、まず、固有空間計
算部１３は、手形状画像情報記憶部１２Ａに記憶されて
いる全ての手形状画像の平均画像ｃを求める（ステップ
Ｓ１）。次に、固有空間計算部１３は、各手形状画像ご
とに、手形状画像から平均画像ｃを引いた画像をラスタ
スキャンして一次元ベクトルで表現し（ステップＳ
２）、全ての画像の一次元ベクトルを列ベクトルとして
並べた行列Ａを求める（ステップＳ３）。次に、固有空
間計算部１３は、行列Ａから画像集合の共分散行列Ｑを
求め（ステップＳ４）、この共分散行列Ｑの固有値と固
有ベクトルとを求める（ステップＳ５）。最後に、固有
空間計算部１３は、予め別途定義したｋ個の大きい固有
値に対応する固有ベクトル（ｅ1 ，ｅ2 ，…，ｅk ）を
基底ベクトルとする固有空間を求める（ステップＳ
６）。以上の処理により、固有空間計算部１３は、固有
空間基底ベクトルを計算し、固有ベクトル記憶部１４に
固有ベクトルの集合を格納する。
【００８１】次に、固有空間投影部１５は、手形状画像
情報記憶部１２Ａに格納されたそれぞれの手形状画像に
対し、各手形状画像を固有空間へ投影した固有空間投影
座標を求める。図５を参照して、固有空間投影部１５
は、手形状画像情報記憶部１２Ａに記憶されている各手
形状画像ごとに、画像をラスタスキャンして一次元ベク
トルを求め、当該一次元ベクトルと固有ベクトル記憶部
１４に格納された固有ベクトルとの掛け算を行って固有
空間投影座標を求める。そして、固有空間投影部１５
は、この求めた各固有空間投影座標を、手形状画像情報
記憶部１２Ａにそれぞれ格納する。以上の処理によっ
て、記憶部構築系１で予め行う処理が終了し、手形状画
像情報記憶部１２Ａおよび固有ベクトル記憶部１４に全
ての情報が格納される。
【００８２】次に、姿勢・形状認識系２が行う処理を説
明する。認識対象となる入力手画像は、手画像正規化部
２１に入力される。手画像正規化部２１は、入力手画像
に対し、手画像正規化部１１と同様の手法で正規化した
入力手形状画像を生成する。固有空間投影部２２は、手
画像正規化部２１において生成された入力手形状画像に
ついて、固有空間投影部１５と同様に、固有ベクトル記
憶部１４に記憶された固有ベクトルを用いて固有空間投
影座標を求める。次に、手形状画像選択部２３は、固有
空間投影部２２が求めた入力手形状画像に関する固有空
間投影座標と、手形状画像情報記憶部１２Ａに予め記憶
している各手形状画像の固有空間投影座標との距離（例
えば、ユークリッド距離）をそれぞれ求め、入力手形状
画像に最も近い手形状画像を求める。そして、形状・姿
勢出力部２４は、求めた最も近い手形状画像の形状情報
および姿勢情報を出力する。以上の結果、入力手画像の
手形状と手姿勢とを同時に求めることができる。
【００８３】なお、典型的なハードウェア環境では、上
記第１の実施形態に係る手の形状と姿勢の認識装置は、
所定のプログラムデータが格納された記憶装置（ＲＯ
Ｍ，ＲＡＭ，ハードディスク等）とＣＰＵ（セントラル
・プロセッシング・ユニット）と入出力装置とによって
構成される。図６に、本第１の実施形態に係る手の形状
と姿勢の認識装置を実現するハードウェア構成の一例を
示す。図６において、記憶装置５０は、例えば、ハード
ディスク等であって、手形状画像情報記憶部１２Ａおよ
び固有ベクトル記憶部１４の機能を持つ。ＣＰＵ５１
は、各部の動作を制御する中央演算装置である。メモリ
５２は、各部が動作するときに一時データを保存する。
画像入力装置５３は、例えば、ビデオキャプチャーカー
ド等であって、認識対象である入力手画像を入力する。
入力装置５４は、様々な手形状と手姿勢とを持つ複数の
手形状画像とその形状情報および姿勢情報を入力する。
出力装置５５は、認識した手形状と手姿勢とを示すデー
タを出力する。これらのハードウェア構成をとることに
より、第１の実施形態に係る手の形状と姿勢の認識装置
を実現することができる。なお、このような場合、第１
の実施形態に係る手の形状と姿勢の認識装置が行う各処
理は、独立したプログラムデータの形態で提供される。
このプログラムデータは、ＣＤ−ＲＯＭやフロッピーデ
ィスク等の記録媒体を介して導入されてもよい。
【００８４】また、上記第１の実施形態に係る手の形状
と姿勢の認識装置を、他の機器へのインタフェースとし
て使用する場合、次の機能を有する構成を付加すればよ
い。その構成とは、形状情報および姿勢情報に対する命
令を記憶する命令記憶部と、当該命令を出力する命令出
力部である。命令記憶部は、例えば、図７に示すよう
な、形状情報および姿勢情報に対応する他の機器への命
令を記憶している。図７は、オーディオ機器に対する命
令が記憶されている一例を示す。そして、命令出力部
は、形状・姿勢出力部２４が求めた形状情報・姿勢情報
に従い、命令記憶部から形状情報・姿勢情報に対応する
命令を他の機器に出力する。例えば、図７において、形
状・姿勢出力部２４が「伸展５本指」の形状情報、か
つ、「全姿勢」の姿勢情報を求めた場合には、命令出力
部は、オーディオ機器を「スタート」する命令を出力す
るのである。このようにして、他の機器のインタフェー
スとして、上記第１の実施形態に係る手の形状と姿勢の
認識装置を用いることが可能になる。
【００８５】以上のように、本発明の第１の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、様々な手形状と手姿勢とを持つ複数の手画像と認識
対象である入力手画像の両方から手首領域を削除するた
め、単純に大きさと明るさを正規化するよりも精密に手
画像の正規化を行うことができる。これにより、固有空
間に基づく手法を手形状と手姿勢との認識に用いても、
十分に精度の高い結果を得ることが可能になる。また、
固有空間に基づく手法を手形状と手姿勢との認識に用い
ることにより、伸展指の個数を数えるなどの幾何的な特
徴による手法により、幾何的な特徴がとれにくい、より
複雑な手の形状に対しても対処が可能である。さらに、
複数の手形状画像と入力手形状画像とを比較する場合、
全ての手形状画像とのマッチングを行おうとすると、画
像数が膨大になることが考えられる。しかし、本第１の
実施形態のように、手画像を正規化して固有空間内への
投影してその投影座標を予め求めておき、その固有空間
内で入力手形状画像と比較することにより、画像自体を
比較するよりも計算量が減り、高速に処理を行うことが
できる。このため、様々な手形状と手姿勢とを示す複数
の手形状画像のように膨大な量の手形状画像が考えられ
る場合には、非常に実用的な手法となる。
【００８６】なお、上記第１の実施形態では、様々な手
形状と手姿勢とを持つ複数の手形状画像として、実際の
手画像を格納していることを仮定していたが、複数視点
の画像を何らかの理由で撮影できない場合が考えられ
る。例えば、手の形状を認識する場合、手はいろいろな
姿勢をとるため、予め様々な手姿勢で提示する手画像を
用意する必要がある。実際の手をターンテーブルの上に
載せて撮影することは不可能であり、また、人間にある
姿勢を保つように命令し、その姿勢を撮影する場合、人
間が示す姿勢の精度には限界があるため、実際には手の
周囲を覆うような形で撮影する特別な機材を用意する必
要があると考えられる。そこで、予め、ＣＡＤやＣＧな
どで使われる三次元モデルとして手のモデルを用意し、
そのモデルの複数視点の投影像を格納することにより、
より、精度良く手形状画像とその時の手形状および手姿
勢との関係を定義することができる。また、マネキン等
で使われているような実際の手のモデル等を用いても、
同等に定義することが可能である。なお、本第１の実施
形態においては、三次元モデルの投影像を用意した場合
でも実際の手画像を用意した場合でも、全く同じ構成お
よび手法を用いることにより実現が可能である。
【００８７】また、上記第１の実施形態は、手形状と手
姿勢を１つだけ出力することを基本にしていたが、画像
の解像度などの関係で、区別がつかないほど似ている場
合等には、１つに絞れない場合があり得る。その場合
は、複数の手形状と手姿勢の候補を出力することも考え
られる。その場合も、上記第１の実施形態と全く同じ構
成および手法を用いることにより実現が可能である。さ
らに、上記第１の実施形態は、手形状画像および入力手
形状画像の両方に対し、濃淡画像を仮定したが、これら
の画像がシルエット画像であっても、カラー画像であっ
ても、上記第１の実施形態と全く同じ構成および手法を
用いることにより実現が可能である。
【００８８】（第２の実施形態）一般に、手形状と手姿
勢とが与えられている複数の手の画像を分類する場合、
手形状ごとに、若しくは、手姿勢ごとに分類することが
考えられる。しかしながら、手の画像の場合、「手形状
は違うが似た画像（例えば、指を１本、若しくは２本出
した形状を横から見た場合）」、「手姿勢は違うが似た
画像（例えば、握った形状）」等が考えられる。そのた
め、手形状や手姿勢に従って分類すると、手形状と手姿
勢を認識する場合に不都合な場合が多い。
【００８９】そこで、本発明の第２の実施形態は、上記
第１の実施形態で述べた固有空間法に基づく手の形状と
姿勢の認識装置および方法において、手形状画像情報記
憶部１２Ａに記憶した全ての手形状画像の固有空間投影
座標をクラスタ分析により自動的にグループ分けし、認
識対象である入力手画像が与えられたときに、最初にど
のグループに属するかを求め、そして、そのグループ内
のどの手形状画像に近いかを求めることにより、比較回
数を減らし高速に処理を行う装置および方法を提供する
ものである。
【００９０】図８は、本発明の第２の実施形態に係る手
の形状と姿勢の認識装置の構成を示すブロック図であ
る。図８において、第２の実施形態に係る手の形状と姿
勢の認識装置は、上記第１の実施形態に係る手の形状と
姿勢の認識装置と同様、記憶部構築系１と、姿勢・形状
認識系２とで構成される。図８において、記憶部構築系
１は、手画像正規化部１１と、手形状画像情報記憶部１
２Ｂと、固有空間計算部１３と、固有ベクトル記憶部１
４と、固有空間投影部１５と、クラスタ分析部１６と、
クラスタ情報記憶部１７Ａとを備える。姿勢・形状認識
系２は、手画像正規化部２１と、固有空間投影部２２
と、最尤クラスタ判別部２５と、画像比較部２６と、形
状・姿勢出力部２４とを備える。
【００９１】図８に示すように、第２の実施形態に係る
手の形状と姿勢の認識装置は、上記第１の実施形態に係
る手の形状と姿勢の認識装置に対し、記憶部構築系１に
おいて、手形状画像情報記憶部１２Ａを手形状画像情報
記憶部１２Ｂに代えて、クラスタ分析部１６とクラスタ
情報記憶部１７Ａとをさらに加えた構成であり、姿勢・
形状認識系２において、手形状画像選択部２３を、最尤
クラスタ判別部２５および画像比較部２６に代えた構成
である。なお、第２の実施形態に係る手の形状と姿勢の
認識装置におけるその他の構成は、上記第１の実施形態
に係る手の形状と姿勢の認識装置の構成と同様であり、
当該構成については、同一の参照番号を付してその説明
を省略する。
【００９２】まず、第２の実施形態における記憶部構築
系１および姿勢・形状認識系２の各構成を、上記第１の
実施形態と異なる部分を中心に説明する。手形状画像情
報記憶部１２Ｂは、手画像正規化部１１が生成した複数
の手形状画像を、その形状情報および姿勢情報と手形状
画像を固有空間へ投影した固有空間投影座標と共にそれ
ぞれ格納する。ここで、手形状画像情報記憶部１２Ｂ
は、上記第１の実施形態で述べた手形状画像情報記憶部
１２Ａと異なり、複数の手形状画像を自動的にクラスタ
リングしたときのクラスタインデックス（以下、クラス
タＩＤという）を格納する。クラスタ分析部１６は、手
形状画像情報記憶部１２Ｂに格納された固有空間投影座
標をクラスタ分析によりクラスタ化し、各手形状画像が
どのクラスタに属するかを求め、クラスタを特定するク
ラスタＩＤを手形状画像情報記憶部１２Ｂに格納すると
共に、各クラスタに関する統計情報を求める。クラスタ
情報記憶部１７Ａは、クラスタ分析部１６が求めたクラ
スタＩＤおよび統計情報を格納する。
【００９３】最尤クラスタ判別部２５は、固有空間投影
部２２が求めた固有空間投影座標に最も近い投影座標を
有するクラスタを取得する。画像比較部２６は、最尤ク
ラスタ判別部２５が取得したクラスタに属する手形状画
像情報記憶部１２Ｂに記憶された手形状画像から、手画
像正規化部２１が生成した入力手形状画像に最も近い手
形状画像を求める。
【００９４】次に、図９〜図１１を用いて、第２の実施
形態に係る手の形状と姿勢の認識装置が行う手形状／手
姿勢の認識方法を、処理の順に説明する。図９は、図８
の手形状画像情報記憶部１２Ｂが有する格納テーブルの
一例を示す図である。図１０は、図８のクラスタ分析部
１６が行う処理手順の一例を示すフローチャートであ
る。なお、図１０においては、クラスタ分析の一手法で
あるＩＳＯＤＡＴＡ法を用いた場合を挙げて説明してい
る。図１１は、図８の画像比較部２６において行う比較
手法の概念の一例を示す図である。なお、図１１におい
ては、単純なパターンマッチングによる比較手法を用い
た場合を挙げて説明している。
【００９５】最初に、記憶部構築系１が行う処理を説明
する。まず、手画像正規化部１１は、上記第１の実施形
態と同様に、様々な姿勢を示す複数の手の画像から手首
領域を削除して正規化を行うことで手形状画像をそれぞ
れ生成し、図９に示すように、複数の手形状画像、形状
情報および姿勢情報を手形状画像情報記憶部１２Ｂに記
憶する。なお、手形状画像情報記憶部１２Ｂにおける固
有空間投影座標とクラスタＩＤとについては、固有空間
投影部１５およびクラスタ分析部１６によって求められ
た投影座標とクラスタＩＤとを格納するため、この時点
では何も格納されていない。次に、固有空間計算部１
３、固有ベクトル記憶部１４および固有空間投影部１５
が、上記第１の実施形態と同様に固有空間法に基づいて
固有空間を求め、固有空間へ手形状画像情報記憶部１２
Ｂに記憶した手形状画像を投影し、投影によって求めた
固有空間投影座標を手形状画像情報記憶部１２Ｂにそれ
ぞれ格納する。
【００９６】次に、クラスタ分析部１６は、手形状画像
情報記憶部１２Ｂに格納された固有空間投影座標につい
てクラスタ分析を行い、手形状画像が近いもの同士を同
一グループに分類されるようにグループ分けを行う。こ
のクラスタ分析部１６で行うクラスタ分析の手法には、
単純な再配置法（ｋ−平均法）やＩＳＯＤＡＴＡ法等の
様々な手法が存在するが、ここでは、ＩＳＯＤＡＴＡ法
によるクラスタリングの手法を一例に挙げて説明する。
【００９７】ＩＳＯＤＡＴＡ法は、非階層的クラスタリ
ングの中では代表的な手法で、再配置法によるクラスタ
リングに加えて、クラスタの分割と統合の手続からなっ
ている。図１０を参照して、クラスタ分析部１６は、ま
ず、初期パラメータを設定する（ステップＳ１０１）。
初期パラメータとしては、例えば、最終クラスタの数、
再配置の収束条件、微少クラスタ・孤立データの判定条
件、分裂・融合の分岐条件、反復計算の終了条件といっ
たものがある。次に、クラスタ分析部１６は、初期クラ
スタの中心を決定する（ステップＳ１０２）。この初期
クラスタは、手形状画像の投影座標集合に対し、適当に
初期クラスタの中心となる画像を選択して決定すること
で代用できる。
【００９８】次に、クラスタ分析部１６は、再配置法に
よりクラスタリングを行う。まず、クラスタ分析部１６
は、固有空間内での各手形状画像とクラスタとの距離を
計算し、それぞれの画像を距離が最小となるクラスタに
配置する（ステップＳ１０３）。次に、クラスタ分析部
１６は、再配置された画像の固有空間投影座標に従い、
各クラスタの中心を再計算する（ステップＳ１０４）。
そして、クラスタ分析部１６は、所属するクラスタを変
えた画像数が、予め定めたしきい値以下である（収束し
た）か否かを判断する（ステップＳ１０５）。このステ
ップＳ１０５の判断において、所属するクラスタを変え
た画像数があるしきい値以下であれば、クラスタ分析部
１６は、再配置法によるクラスタリング処理を終了し、
それ以外の場合は、上記ステップＳ１０３に戻って処理
を繰り返す。
【００９９】上記ステップＳ１０５の判断において、収
束したと判定した場合、クラスタ分析部１６は、個体の
数が著しく少ないクラスタと、他の個体から著しく離れ
た個体とを、以後のクラスタリングから除外する（ステ
ップＳ１０６）。次に、クラスタ分析部１６は、クラス
タの数が最終クラスタ数を中心とする一定の範囲内にあ
り、クラスタ中心間の距離の最小値が予め定めたしきい
値以下であるか否かを判断する（ステップＳ１０７）。
このステップＳ１０７の判断において、クラスタ中心間
の距離の最小値が予め定めたしきい値以下である場合、
クラスタ分析部１６は、クラスタリングは収束したとし
て、各クラスタの情報（クラスタＩＤ、固有空間におけ
るクラスタの平均値、分散などの統計情報）をクラスタ
情報記憶部１７Ａに記憶し、各手形状画像がどのクラス
タに属するかを示すクラスタＩＤを手形状画像情報記憶
部１２Ｂに記憶する（ステップＳ１０８）。一方、上記
ステップＳ１０７の判断において、クラスタ中心間の距
離の最小値が予め定めたしきい値以下でない場合、クラ
スタ分析部１６は、クラスタの分裂または融合を行う
（ステップＳ１０９）。このステップＳ１０９では、ク
ラスタ分析部１６は、クラスタ数が最終クラスタに対し
一定の範囲を越えて大きいときは、クラスタの分裂を行
い、小さいときは融合を行う。クラスタ数が一定の範囲
にあるときは、反復回数が偶数なら融合を行い、奇数な
ら分裂を行う。
【０１００】クラスタ分析部１６は、クラスタの融合で
は、クラスタ中心間の距離の最小値が予め定めたしきい
値以下なら、そのクラスタ対を融合し新しいクラスタ中
心を求める。次に、クラスタ分析部１６は、再び中心間
距離を計算し、最小値がしきい値以上となるまで融合を
続ける。一方、クラスタ分析部１６は、クラスタの分裂
では、クラスタの分散の最大値が予め定めたしきい値以
上なら、そのクラスタを第１主成分に沿って２分し、新
しいクラスタ中心と分散とを計算する。分散の最大値が
しきい値以下となるまで分裂を繰り返す。そして、クラ
スタ分析部１６は、上記ステップＳ１０９による分裂ま
たは融合が終了すると、再びステップＳ１０３に戻って
処理を繰り返す。
【０１０１】上記処理を行うことにより、クラスタ分析
が終了し、各クラスタの情報であるクラスタＩＤ、固有
空間におけるクラスタの平均値，分散等の統計情報がク
ラスタ情報記憶部１７Ａに、各手形状画像がどのクラス
タに属するかを示すクラスタＩＤが手形状画像情報記憶
部１２Ｂに格納される。なお、上記パラメータについ
て、実験などにより、最適なパラメータを随時選択する
ことも考えられるが、それ以外に、ある情報量基準（例
えば、ＡＩＣ，ＭＤＬ等）に従い、最終クラスタの数、
クラスタの分割・統合基準を指定することも可能であ
る。なお、本実施例では、ＩＳＯＤＡＴＡ法によるクラ
スタ分析について説明したが、単純な再配置法によるク
ラスタ分析であっても、しきい値等のパラメータを適切
に設定することで、ＩＳＯＤＡＴＡ法と同等の効果を奏
する。以上の処理によって、記憶部構築系１で予め行う
処理が終了し、手形状画像情報記憶部１２Ｂ、固有ベク
トル記憶部１４およびクラスタ情報記憶部１７Ａに全て
の情報が格納される。
【０１０２】次に、姿勢・形状認識系２が行う処理を説
明する。認識対象となる入力手画像は、手画像正規化部
２１に入力される。手画像正規化部２１および固有空間
投影部２２は、上記第１の実施形態と同様に、正規化し
た入力手形状画像および固有空間投影座標を求める。最
尤クラスタ判別部２５は、固有空間投影部２２が求めた
固有空間投影座標とクラスタ情報記憶部１７Ａに記憶さ
れているクラスタ情報との距離を求め、入力手形状画像
に最も近い手形状画像が属するクラスタを求める。な
お、最も近いクラスタを求める手法としては、各クラス
タの平均とのユークリッド距離による手法、各クラスタ
とのマハラノビス距離による手法、最尤法により各クラ
スタと尤度を求め最も尤度が高いクラスタを近いクラス
タとする手法等が考えられるが、ここでは、最尤法によ
り最近クラスタを求める手法を一例に挙げて説明する。
【０１０３】まず、最尤クラスタ判別部２５は、クラス
タの統計情報として、クラスタ情報記憶部１７Ａにある
クラスタに属する画像の固有空間投影座標ｕから平均μ
を求め、クラスタ中心座標とする。さらに、最尤クラス
タ判別部２５は、各画像の固有空間投影座標ｕとクラス
タ中心座標とから共分散行列Σを求め、これらの値から
下記式（４）に従って、クラスタｉに関する尤度関数Ｇ
i （ｕ）を定義する。なお、下記式（４）中のχ2 は、
画像の固有空間投影座標ｕとクラスタｉとのマハラノビ
ス距離を示す。
【数１】 この尤度関数Ｇi （ｕ）により、最も尤度が高いクラス
タを求める。なお、これ以外の前述した手法（ユークリ
ッド距離による手法、マハラノビス距離による手法）に
おいても、登録している形状の数が少ない場合には、同
等の効果を奏することができる。
【０１０４】次に、画像比較部２６は、手形状画像情報
記憶部１２Ｂに格納されているクラスタＩＤを参照し
て、最尤クラスタ判別部２５が求めたクラスタに属する
手形状画像のみと、手画像正規化部２１が生成した入力
手形状画像とを比較し、入力手形状画像に最も近い手形
状画像を求める。なお、画像比較部２６において行う入
力手形状画像と手形状画像との比較手法として各種考え
られるが、例えば、単純なパターンマッチングによる手
法で比較すればよい。そして、形状・姿勢出力部２４
は、画像比較部２６が求めた手形状画像の形状情報およ
び姿勢情報を出力する。
【０１０５】以上のように、本発明の第２の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、記憶部構築系１において、手形状画像情報記憶部１
２Ｂに記憶した複数の手形状画像を固有空間内における
クラスタ分析によりグループ化し、姿勢・形状認識系２
では、入力手画像を認識するときに、まず、最初にどの
グループに属するかを求め、そして、そのグループ内で
どの手形状画像に最も近いかを求めることにより、画像
比較回数を減らすことができ、さらに高速に処理を行う
ことが可能となる。また、固有空間内でのグループ分け
のときに、手形状ごと若しくは手姿勢ごとといったグル
ープ分けでなく、固有空間内で近い画像、すなわち似て
いる画像が同一グループとなるようにクラスタリングす
るので、異なる形状だが似た画像が存在する場合でも、
正確にその手形状と手姿勢を求めることが可能になる。
【０１０６】なお、上記第２の実施形態では、様々な手
形状と手姿勢とを示す複数の手形状画像として、実際の
手画像を格納していることを仮定していたが、上記第１
の実施形態と同様に、予めＣＡＤやＣＧなどで使われる
三次元モデルとして手のモデルを用意し、そのモデルの
複数視点の投影像を格納することも考えられる。その場
合、精度良く、投影像を取得したときのモデルの手姿勢
を定義することができる。また、マネキン等で使われて
いるような実際の手のモデル等を用いても、同等に定義
することが可能である。また、上記第２の実施形態は、
手形状と手姿勢を１つだけ出力することを基本にしてい
たが、画像の解像度などの関係で、区別がつかないほど
似ている場合等には、１つに絞れない場合があり得る。
その場合は、複数の手形状と手姿勢の候補を出力するこ
とも考えられる。その場合も、上記第２の実施形態と全
く同じ構成および方法を用いることにより実現が可能で
ある。さらに、上記第２の実施形態は、似た画像を分類
するために画像比較部２６を用いたが、状況により手形
状まで出力すれば十分な場合もあり得る。その場合は、
クラスタに属する手形状ごとに平均画像や、分散画像な
どの統計量に基づく手形状画像を求め、それらの画像と
入力手形状画像とを比較することにより、手形状だけを
求めることも可能である。また、第２の実施形態に係る
手の形状と姿勢の認識装置をハードウェアで実現する場
合には、上記図６で示したものと同等の構成を用いれば
よい。
【０１０７】また、上記第２の実施形態に係る手の形状
と姿勢の認識装置の画像比較部２６を、最尤クラスタ判
別部２５が求めたクラスタに属する手形状画像情報記憶
部１２Ｂに記憶した手形状画像と、手画像正規化部２１
が生成した入力手形状画像とを比較する際に、手形状画
像を同一クラスタ内の同一手形状ごとにグループ化する
同一形状分類部と、分類した各グループを表現する統計
量を求める形状グループ統計量計算部と、入力手形状画
像と形状グループ統計量計算部が求めた統計量との距離
を計算し、最も近いグループに属する手形状を出力する
最尤形状判別部とからなる構成に置き換えてもよい。こ
のようにすれば、さらに画像比較回数を減らすことがで
き、より高速に処理を行うことが可能となる。
【０１０８】（第３の実施形態）さて、上記第２の実施
形態に述べたように、分析した各クラスタには、手形状
や手姿勢によって分類された画像ではなく、似た画像が
同一クラスタに分類されている。従って、例えば、図１
３に示すような人差指と中指の２本の指を並べて立てる
手画像と、人差指と中指の２本の指を重ねて立てる手画
像とは、同一クラスタに分類される。このような手形状
の違いは、例えば、現実的に手話の指文字を区別する場
合に存在する。これらの手形状を判別する場合、上記第
２の実施形態で述べたように画像の全体で違いを判別す
るのではなく、異なっている部分だけを抽出して判別す
る必要がある。
【０１０９】そこで、本発明の第３の実施形態は、上記
第２の実施形態における画像比較部２６が、入力手形状
画像と手形状画像情報記憶部１２Ｂに格納されている手
形状画像とをパターンマッチングにより直接全体比較す
るのではなく、予め各クラスタにおける判別枠を求めて
おき、この判別枠内で手形状を判別する手法を提供する
ものである。
【０１１０】図１２は、本発明の第３の実施形態に係る
手の形状と姿勢の認識装置の構成を示すブロック図であ
る。図１２において、第３の実施形態に係る手の形状と
姿勢の認識装置は、上記第２の実施形態に係る手の形状
と姿勢の認識装置と同様、記憶部構築系１と、姿勢・形
状認識系２とで構成される。図１２において、記憶部構
築系１は、手画像正規化部１１と、手形状画像情報記憶
部１２Ｂと、固有空間計算部１３と、固有ベクトル記憶
部１４と、固有空間投影部１５と、クラスタ分析／枠判
別部１８と、クラスタ情報記憶部１７Ｂとを備える。姿
勢・形状認識系２は、手画像正規化部２１と、固有空間
投影部２２と、最尤クラスタ判別部２５と、画像比較部
２７と、形状・姿勢出力部２４とを備える。
【０１１１】図１２に示すように、第３の実施形態に係
る手の形状と姿勢の認識装置は、上記第２の実施形態に
係る手の形状と姿勢の認識装置に対し、記憶部構築系１
において、クラスタ分析部１６をクラスタ分析／枠判別
部１８に代え、クラスタ情報記憶部１７Ａをクラスタ情
報記憶部１７Ｂに代え、姿勢・形状認識系２において、
画像比較部２６を画像比較部２７に代えた構成である。
なお、第３の実施形態に係る手の形状と姿勢の認識装置
におけるその他の構成は、上記第２の実施形態に係る手
の形状と姿勢の認識装置の構成と同様であり、当該構成
については、同一の参照番号を付してその説明を省略す
る。
【０１１２】以下、第３の実施形態における記憶部構築
系１および姿勢・形状認識系２の各構成および処理動作
を、図１２および図１４を参照して、上記第２の実施形
態と異なる部分を中心に説明する。図１４は、図１２の
クラスタ分析／枠判別部１８が行う形状判別枠位置の算
出方法の一例を示す図である。
【０１１３】クラスタ分析／枠判別部１８は、まず、手
形状画像情報記憶部１２Ｂに格納された固有空間投影座
標についてクラスタ分析を行い、手形状画像が近いもの
同士を同一グループに分類されるようにグループ分けを
行う。この処理は、上記第１の実施形態で述べたクラス
タ分析部１６と同じである。次に、クラスタ分析／枠判
別部１８は、各クラスタに対して、形状判別枠の位置を
算出する。図１４を参照して、クラスタ分析／枠判別部
１８は、まず、１つのクラスタ内に存在する同一手形状
の手形状画像を複数抽出して平均化し、それぞれの手形
状の平均画像を求める。次に、クラスタ分析／枠判別部
１８は、予め定めた一定の枠（枠の形状は、任意に定め
ることができる。なお、図１４では、方形枠を用いてい
る）を用い、それぞれの平均画像上で枠を移動させなが
ら、枠内における双方の平均画像間の差を順次求め、最
も差が大きい位置を形状判別枠の位置とする。そして、
クラスタ分析／枠判別部１８は、この求めた形状判別枠
の位置をクラスタ情報記憶部１７Ｂに記憶する。
【０１１４】画像比較部２７は、まず、手形状画像情報
記憶部１２Ｂに格納されているクラスタＩＤを参照し
て、最尤クラスタ判別部２５が求めたクラスタに属する
手形状画像のみと、手画像正規化部２１が生成した入力
手形状画像とを取得する。一方、画像比較部２７は、ク
ラスタ情報記憶部１７Ｂから、最尤クラスタ判別部２５
が求めたクラスタに対応する形状判別枠の位置を取得す
る。そして、画像比較部２７は、形状判別枠の位置内の
みにおいて、取得した手形状画像と入力手形状画像とを
比較し、入力手形状画像に最も近い手形状画像を求め
る。
【０１１５】以上のように、本発明の第３の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、形状判別枠位置を予め定めておき、この形状判別枠
内のみで手形状画像と入力手形状画像とを比較する。こ
れにより、上記第２の実施形態に比べ、画像比較回数を
減らすことができ、さらに高速かつ正確に処理を行うこ
とが可能となる。
【０１１６】（第４の実施形態）本発明の第４の実施形
態は、上記第２の実施形態において、最尤クラスタ判別
部２５が求めたクラスタから、手形状と手姿勢を求める
ときに、画像比較部２６によって、手形状画像情報記憶
部１２Ｂに記憶している手形状画像と、入力手形状画像
とを直接比較する代わりに、ある手形状と手姿勢とを示
す手を複数のカメラを用いて複数の視点から撮影し、そ
れぞれのカメラで撮影した手画像から最尤クラスタ判別
部２５が求めたクラスタの中の形状情報を統合すること
により、手形状と手姿勢とを求める手法を提供するもの
である。
【０１１７】なお、本発明の第４の実施形態に係る手の
形状と姿勢の認識装置の構成は、上記第２の実施形態に
係る手の形状と姿勢の認識装置の構成と同様であるため
図面を省略する。また、第４の実施形態における姿勢・
形状認識系２の各構成および処理動作を、図８および図
１５を参照して、上記第２の実施形態と異なる部分を中
心に説明する。図１５は、本発明の第４の実施形態に係
る手の形状と姿勢の認識装置において、複数台のカメラ
の入力手画像から手形状画像を求める概念の一例を説明
する図である。なお、図１５においては、３台のカメラ
を用いた場合を一例に挙げて説明している。
【０１１８】まず、前提として、図１５に示すように、
ある手形状と手姿勢とを示す手を、３台のカメラを用い
て異なる３方向から撮影し、３つの入力手画像を得る。
この３方向から撮影した３つの入力手画像は、手画像正
規化部２１，固有空間投影部２２および最尤クラスタ判
別部２５によって各々処理され、対応する最も近いクラ
スタがそれぞれ求められる。これに対し、画像比較部２
６は、３台のカメラの入力手画像から得られた３つのク
ラスタと、当該３つのクラスタに属する３つの手形状画
像の形状情報および姿勢情報とから、以下の条件
（１），（２）に従い、３つの入力手画像について最も
近い手形状画像を求める。 （１）同一手形状であること （２）カメラの位置関係と姿勢とが矛盾しないこと
【０１１９】すなわち、画像比較部２６は、まず上記条
件（１）に従って、３つのクラスタに属する手形状の中
で、全てのクラスタに属する手形状（図１５に示す例で
は、伸展１本指となる）を抽出する。次に、画像比較部
２６は、上記条件（２）に従って、それぞれ抽出した手
形状に対応する手姿勢から、各カメラの位置関係に従っ
て矛盾しない手形状画像を導き出す（統合する）。図１
５に示す例では、第１カメラで手の甲側の画像を選択し
た場合、第２カメラでは掌が下向きの画像、第３カメラ
では手が手前を向いている画像を選択すれば矛盾しなく
なる。上記の処理を行うことで、それぞれのカメラから
の入力手画像に従い、最も条件に合う手形状画像が選択
され、認識対象である入力手画像に対する手形状と手姿
勢とを導くことができる。
【０１２０】以上のように、本発明の第４の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、複数カメラからの入力手画像から求めたクラスタに
基づき、各クラスタに属する手形状画像の形状情報と姿
勢情報とをカメラの位置関係を用いて統合して、入力手
画像の手形状および手姿勢を求める。これにより、１方
向からの画像だけでは、手形状および手姿勢が決定でき
ないような場合（例えば、横方向の手の画像など）で
も、正確に手形状および手姿勢を求めることが可能とな
る。
【０１２１】なお、上記第４の実施形態では、各カメラ
の画像から求めたクラスタにおいて、全てが矛盾しない
ように統合するように説明したが、各カメラからの結果
に従い、多数決等によって一部のカメラのクラスタ選択
することで、最も可能性が高い手形状および手姿勢を出
力することも可能である。また、上記第４の実施形態で
は、３台のカメラを用いた場合を一例に説明したが、他
の複数台のカメラを用いた場合であっても、上記と同様
に実施することができる。
【０１２２】（第５の実施形態）上記第２の実施形態で
は、認識対象の手画像が静止画像（例えば、人差指を１
本だけ伸ばして数字「１」を表現するだけの場合）であ
ることを前提に、入力手画像に対応する手形状および手
姿勢を出力する手の形状と姿勢の認識装置について述べ
た。しかし、ジェスチャーや手話等で行われる手振り動
作には、動画像としての一連の動作を完了することで１
つの意味を表す場合がある（例えば、人に行き先を教え
るとき等によく用いられる人差指を１本だけ伸ばして指
差す方向を変化させるような場合である）。このような
動画像である手振り動作に関しては、上記第２の実施形
態に係る手の形状と姿勢の認識装置では、手振り動作の
意味を求めることができない。
【０１２３】そこで、本発明の第５の実施形態に係る手
の形状と姿勢の認識装置は、認識対象の手画像が一連の
意味ある手振り動作を行う手を撮影した動画像（以下、
手振り動作画像という）である場合に対応するものであ
り、様々な手振り動作について各々特徴点を抽出してそ
の意味と共に予め記憶し、入力する手振り動作画像の特
徴点と記憶する特徴点とを比較することにより、手振り
動作の意味を求める手法を提供するものである。以下、
第５の実施形態においては、手振りを行う人物の上半身
若しくは全身が撮影されている手振り動作画像が入力さ
れる場合を想定して説明する。なお、人物を撮影する方
向としては、正面，斜め上，横等の様々な方向が考えら
れるが、第５の実施形態では、そのいずれの方向から撮
影した画像に対しても有用な効果を奏することが可能で
ある。
【０１２４】図１６は、本発明の第５の実施形態に係る
手の形状と姿勢の認識装置の構成を示すブロック図であ
る。図１６において、第５の実施形態に係る手の形状と
姿勢の認識装置は、上記第２の実施形態に係る手の形状
と姿勢の認識装置と同様、記憶部構築系１と、姿勢・形
状認識系２とで構成される。図１６において、記憶部構
築系１は、手画像正規化部１１と、固有ベクトル記憶部
１４と、固有空間計算部１３と、手形状画像情報記憶部
１２Ｂと、固有空間投影部１５と、クラスタ情報記憶部
１７Ａと、クラスタ分析部１６とを備える。また、姿勢
・形状認識系２は、手領域検出部２８と、手動作分節部
２９と、手画像切出部３０と、手画像正規化部２１と、
固有空間投影部２２と、最尤クラスタ判別部２５と、識
別演算部３３Ａと、系列登録部３１と、系列識別辞書３
２と、データ経路制御部３４Ａとを備える。
【０１２５】図１６に示すように、第５の実施形態に係
る手の形状と姿勢の認識装置は、上記第２の実施形態に
係る手の形状と姿勢の認識装置に対し、姿勢・形状認識
系２において、手領域検出部２８、手動作分節部２９お
よび手画像切出部３０を手画像正規化部２１の前段に加
え、画像比較部２６を系列登録部３１、系列識別辞書３
２、識別演算部３３Ａおよびデータ経路制御部３４Ａに
代えた構成である。なお、第５の実施形態に係る手の形
状と姿勢の認識装置におけるその他の構成は、上記第２
の実施形態に係る手の形状と姿勢の認識装置の構成と同
様であり、当該構成については、同一の参照番号を付し
てその説明を省略する。ここで、第５の実施形態で言う
記憶部構築系１とは、上記第２の実施形態に係る手の形
状と姿勢の認識装置に関する記憶部構築系１を意味し、
系列識別辞書３２が記憶部構築系１側に含まれない形で
構成される。しかし、第５の実施形態において用いる
「記憶部構築系１」および「姿勢・形状認識系２」とい
う系の名称は、あくまでも上記第２の実施形態との関連
性を示すためにのみ存在するものであり、実際の内部処
理、例えば姿勢・形状認識系２において辞書（系列識別
辞書３２）を作成することについて拘束するものではな
いことをここに明記する。
【０１２６】まず、第５の実施形態における姿勢・形状
認識系２の各構成を、上記第２の実施形態と異なる部分
を中心に説明する。手領域検出部２８は、手振り動作画
像を入力し、各々の画像から手領域をそれぞれ検出す
る。手動作分節部２９は、手振り動作画像から手形状と
手姿勢の変化点を求め、変化点を含む１つまたは２つ以
上の画像のみで構成される手振り動作画像系列を作成す
る。手画像切出部３０は、手動作分節部２９が作成した
手振り動作画像系列から手が含まれる周辺領域をそれぞ
れ切り出して手画像系列を作成し、手画像正規化部２１
に出力する。系列登録部３１は、手振り動作画像（手振
り動作画像系列）を登録する場合において、最尤クラス
タ判別部２５が出力する手画像系列に対応するクラスタ
系列を、その手振り動作画像の意味と共に系列識別辞書
３２に登録する。系列識別辞書３２は、系列登録部３１
が出力するクラスタ系列を、対応して与えられる手振り
動作画像の意味と共に格納する。識別演算部３３Ａは、
手振り動作画像を認識する場合において、最尤クラスタ
判別部２５が出力するクラスタ系列と、系列識別辞書３
２に登録されているクラスタ系列とを比較することで、
手振り動作画像の意味を認識する。データ経路制御部３
４Ａは、最尤クラスタ判別部２５から出力されるクラス
タ系列が、登録する場合には系列登録部３１へ、認識す
る場合には識別演算部３３Ａへ出力されるように制御す
る。
【０１２７】次に、図１７〜図２０を用いて、第５の実
施形態に係る手の形状と姿勢の認識装置が行う認識方法
を、処理の順に説明する。図１７は、図１６の手領域検
出部２８、手動作分節部２９および手画像切出部３０が
行う処理の概念を示す図である。図１８は、図１６の手
画像系列および当該手画像系列から求められるクラスタ
系列の一例を示す図である。図１９および図２０は、図
１６の系列識別辞書３２が有する記憶形態の一例を示す
図である。なお、図１９においては、単純なテーブル形
式における記憶形態の例を示し、図２０においては、隠
れマルコフモデルに基づいた記憶形態の例を示してい
る。
【０１２８】第５の実施形態において、記憶部構築系１
は、上記第２の実施形態に係る手の姿勢と形状の認識装
置と同一の処理を行うため、ここでの説明を省略する。
姿勢・形状認識系２は、以下に述べる２つのモードの処
理を行う。 １．登録モード（第１の登録モード） 入力される手振り動作画像から得られるクラスタ系列
を、その意味と共に系列識別辞書３２へ登録するモード
である。 ２．認識モード 入力される手振り動作画像から得られるクラスタ系列に
基づいて、その意味を認識するモードである。この認識
モードは、上記第２の実施形態で行う姿勢・形状認識に
該当する処理であり、固有ベクトル記憶部１４およびク
ラスタ情報記憶部１７Ａおよび系列識別辞書３２を用い
て、手振り動作の意味を認識する。これらの各モード
は、データ経路制御部３４Ａに対して、どちらのモード
を選択するかを入力することにより切り替えることがで
きる。以下、それぞれのモードに従い、順を追って説明
する。
【０１２９】最初に、各モードにおいて共通に行われる
手領域検出部２８、手動作分節部２９、手画像切出部３
０および手画像正規化部２１の動作について説明する。
複数の画像から構成される手振り動作画像（図１７
（ａ））は、手領域検出部２８に入力される。手領域検
出部２８は、入力される手振り動作画像に対して、画像
中で手が存在する領域（手領域）をそれぞれ検出する。
ここでは、撮影される手振り動作画像が、背景から手領
域を分離しやすい画像であると仮定し、単純に画像を二
値化し、手の領域に近い面積を持つ領域を手領域として
検出する。
【０１３０】手動作分節部２９は、手領域検出部２８が
出力する手振り動作画像に対して、手形状と手姿勢に関
してキーとなる画像（以下、キーフレームと呼ぶ）を求
める。ここでいうキーフレームとは、手形状と手姿勢と
を人間が認識できる画像を指す。一般に手振り動作の場
合、手が動いている間は、残像などの影響で人間は手形
状と手姿勢とを認識していない。そこで、手動作分節部
２９では、相対的に手の動きが小さな画像（フレーム）
を求め、その画像をキーフレームとする。手動作分節部
２９が求めた１つまたは２つ以上のキーフレームは、手
振り動作画像系列（図１７（ｂ））として、手画像切出
部３０に出力される。なお、上記相対的な手の動きを求
める手法としては、例えば、手領域検出部２８によって
得られた手領域の手振り動作画像中における変位量や手
領域内部の変動を求める手法や、手領域から手振り動作
画像中における手の位置を追跡して手の軌跡から手が相
対的に止まっている点（これには手の動作軌跡における
曲率が相対的に大きなフレームも含まれる）を求める手
法や、手振り動作画像から時間差分画像を求め、その時
間差分画像の情報から手が相対的に止まっている点を求
める手法等が考えられる。また、手振り動作画像の全て
の画像をキーフレームとする場合もある。
【０１３１】手画像切出部３０は、手動作分節部２９が
求めた手振り動作画像系列の各キーフレームから、手領
域検出部２８が求めた手領域部分をそれぞれ切り出し
て、手の部分が含まれる手画像系列（図１７（ｃ），図
１８（ａ））を作成する。この手画像系列を構成する個
々の手画像は、上記第２の実施形態において入力される
手画像と同等の画像である。この手画像切出部３０が作
成した手画像系列は、手画像正規化部２１へ出力され
る。
【０１３２】そして、手画像正規化部２１，固有空間投
影部２２および最尤クラスタ判別部２５は、手画像系列
を構成する各キーフレームに対し、上記第２の実施形態
で述べた各処理を行ってキーフレームに対応する最も近
いクラスタをそれぞれ求め、クラスタ系列（図１８
（ｂ））として出力する。以上の処理が、各モードの前
処理部として共通に行われ、手振り動作画像から対応す
るクラスタ系列が求められる。
【０１３３】次に、各モード個別の処理について説明す
る。まず、登録モードにおける処理について説明する。
この登録モードでは、最尤クラスタ判別部２５が出力す
るクラスタ系列が、手振り動作を特徴づける系列である
と定義して、手振り動作が示す意味とともに系列識別辞
書３２に登録（格納）する処理を行う。
【０１３４】登録モードでは、データ経路制御部３４Ａ
は、最尤クラスタ判別部２５が出力するクラスタ系列が
系列登録部３１に入力されるように、経路を切り換え
る。系列登録部３１は、最尤クラスタ判別部２５から入
力するクラスタ系列を、別途与えられる当該クラスタ系
列に対応する手振り動作の意味と共に、系列識別辞書３
２に登録する。系列識別辞書３２にデータを登録する場
合の記憶形式としては幾つかの手法が存在するが、図１
９および図２０の場合の２通りを一例に挙げて説明す
る。図１９は、最尤クラスタ判別部２５で得られたクラ
スタ系列に対し、そのクラスタ系列を意味と共にそのま
ま登録した例である。なお、図１９のように、１つの意
味に対して複数のクラスタ系列が存在するのは、同じ意
味の手振り動作でも実行する人間によって速度や形状等
が微妙に異なっているためであり、同じ意味の手振り動
作に対して登録処理を複数回行うことで作成される。図
２０は、状態遷移モデルの一例として隠れマルコフモデ
ル（ＨＭＭ）の形で登録した例である。この隠れマルコ
フモデルとは、音声認識の分野等で知られている技術で
あり、図１９に示したような１つの意味に対して複数存
在するクラスタ系列を、１つの状態遷移モデルに統合し
た形で表すものである。隠れマルコフモデルに関する詳
細な技術内容は、例えば、技術文献“中川著「確立モデ
ルによる音声認識」コロナ社、電子情報通信学会編”に
記載されており、図２０はこの文献に準じて書き表した
ものである。なお、図２０中、スカラ値はＳ１〜Ｓ３へ
の状態遷移確率を、ベクトル値はクラスタ１〜５の状態
遷移による条件付きの出力確率を示している。
【０１３５】なお、系列識別辞書３２の構築方法とし
て、画像から得られた手形状と手姿勢とをそのまま登録
する場合が一般的である。しかしながら、その場合、上
記第２の実施形態で述べたように、手の画像には「手形
状は違うが似た画像」、「手姿勢は違うが似た画像」が
あるため、上記第３および第４の実施形態のように画像
を比較したり、複数のカメラからの画像を用いなけれ
ば、誤認識が生じやすい。そこで、第５の実施形態で
は、そのような手法とは違い、見た目が近い画像を同一
クラスタとしたクラスタ系列を系列識別辞書３２に登録
することにより、誤認識がより少ない形で認識できるよ
うにしている。
【０１３６】次に、認識モードにおける処理について説
明する。この認識モードでは、入力された手振り動作画
像に対して、系列識別辞書３２を用いて実際にその意味
を求める処理を行う。認識モードでは、データ経路制御
部３４Ａは、最尤クラスタ判別部２５が出力するクラス
タ系列が識別演算部３３Ａに入力されるように、経路を
切り換える。識別演算部３３Ａは、最尤クラスタ判別部
２５から入力するクラスタ系列と、系列識別辞書３２に
登録されている複数のクラスタ系列とを比較し、同一ま
たは最も近いクラスタ系列を判断する。そして、識別演
算部３３Ａは、同一または最も近いと判断したクラスタ
系列の意味を系列識別辞書３２から抽出して、出力す
る。
【０１３７】以上のように、本発明の第５の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、上記第２の実施形態と同様のクラスタ情報を用いる
にあたり、ジェスチャー単語や手話単語等のような一連
の意味ある手振り動作画像に対して、手動作の分節点と
なる画像のクラスタ系列をその意味と共に予め記憶し、
手振り動作画像を認識するときに、求めたクラスタ系列
に基づいて記憶している意味を出力する。これにより、
ジェスチャー単語や手話単語等のような一連の意味ある
動作に対して、より誤認識を減らし、正確に意味を求め
ることが可能となる。
【０１３８】なお、上記第５の実施形態では、キーフレ
ームにおける手画像を認識する方法を記載した。しか
し、本発明の第５の実施形態は、この他にも、全てのフ
レームをキーフレームにした場合、一定間隔にサンプリ
ングしたフレームをキーフレームにした場合、手振り動
作の開始時と終了時のフレームのみをキーフレームにし
た場合等においても、上記処理を行うことで同様の効果
を奏することができる。
【０１３９】（第６の実施形態）本発明の第６の実施形
態は、上記第５の実施形態の記憶部構築系１において、
手形状画像情報記憶部１２Ｂに、予め様々な姿勢と形状
の手画像を記憶する代わりに、手振り動作画像から得ら
れる手画像系列の各画像とその意味とを記憶するように
したものである。
【０１４０】図２１は、本発明の第６の実施形態に係る
手の形状と姿勢の認識装置の構成を示すブロック図であ
る。図２１において、第６の実施形態に係る手の形状と
姿勢の認識装置は、上記第５の実施形態に係る手の形状
と姿勢の認識装置のように記憶部構築系１と姿勢・形状
認識系２とを区別することなく一つの統合された形で構
成される。図２１において、第６の実施形態に係る手の
形状と姿勢の認識装置は、手領域検出部２８と、手動作
分節部２９と、手画像切出部３０と、手画像正規化部２
１と、固有空間投影部２２と、最尤クラスタ判別部２５
と、識別演算部３３Ａと、系列識別辞書３２と、データ
経路制御部３４Ｂと、手画像登録部３５と、系列再構成
部３６と、固有空間計算部１３と、固有ベクトル記憶部
１４と、手形状画像情報記憶部１２Ｃと、クラスタ分析
部１６と、クラスタ情報記憶部１７Ａとを備える。
【０１４１】図２１に示すように、第６の実施形態に係
る手の形状と姿勢の認識装置は、上記第５の実施形態に
係る手の形状と姿勢の認識装置に対し、記憶部構築系１
と姿勢・形状認識系２を統合するため、図１６におい
て、手画像正規化部１１と手画像正規化部２１、固有空
間投影部１５と固有空間投影部２２をそれぞれ統合し、
手形状画像情報記憶部１２Ｂを手形状画像情報記憶部１
２Ｃに、データ経路制御部３４Ａをデータ経路制御部３
４Ｂに、さらに系列登録部３１を手画像登録部３５およ
び系列再構成部３６にそれぞれ代えた構成である。な
お、第６の実施形態に係る手の形状と姿勢の認識装置に
おけるその他の構成は、上記第５の実施形態に係る手の
形状と姿勢の認識装置の構成と同様であり、当該構成に
ついては、同一の参照番号を付してその説明を省略す
る。
【０１４２】まず、第６の実施形態に係る手の形状と姿
勢の認識装置の各構成を、上記第５の実施形態と異なる
部分を中心に説明する。手画像登録部３５は、手画像正
規化部２１から与えられる手振り動作画像に対応する手
画像系列を、その系列の意味と共に手形状画像情報記憶
部１２Ｃに登録する。手形状画像情報記憶部１２Ｃは、
登録する手振り動作画像に対応する手形状画像系列（手
画像系列）を、その系列の意味と共にそれぞれ格納す
る。また、手形状画像情報記憶部１２Ｃは、上記第５の
実施形態における手形状画像情報記憶部１２Ｂと同様、
各々の手形状画像を固有空間へ投影した投影座標および
クラスタＩＤをそれぞれ格納する。系列再構成部３６
は、手形状画像情報記憶部１２Ｃに格納した情報に基づ
いて、格納したそれぞれの手形状画像系列に対応するク
ラスタ系列とその意味を系列識別辞書３２に登録する。
データ経路制御部３４Ｂは、手画像正規化部２１から出
力される手画像系列が、登録する場合には手画像登録部
３５へ、認識する場合には固有空間投影部２２へ出力さ
れるように制御する。
【０１４３】次に、図２２を用いて、第６の実施形態に
係る手の形状と姿勢の認識装置が行う認識方法を、処理
の順に説明する。図２２は、図２１の手形状画像情報記
憶部１２Ｃが有する格納テーブルの一例を示す図であ
る。
【０１４４】第６の実施形態に係る手の姿勢と形状の認
識装置は、以下に述べる２つのモードの処理を行う。 １．登録モード（第２の登録モード） 入力される手振り動作画像から得られるクラスタ系列
を、その意味と共に系列識別辞書３２へ登録するモード
である。この登録モードは、手形状画像情報記憶部１２
Ｃ、固有ベクトル記憶部１４およびクラスタ情報記憶部
１７Ａを構築するモードであり、上記第２の実施形態に
係る記憶部構築系１に該当する処理である。すなわち、
入力される手振り動作画像から得られる手画像系列（手
形状画像系列）をその意味と共に手形状画像情報記憶部
１２Ｃに格納し、格納した手形状画像をもとに固有空間
の計算およびクラスタ分析を行う。そして、求めたクラ
スタ系列とその意味とを系列識別辞書３２へ登録する。 ２．認識モード：手振り認識 入力される手振り動作画像から得られるクラスタ系列に
基づいて、その意味を認識するモードである。この認識
モードは、上記第５の実施形態で説明した認識モードと
同様、上記第２の実施形態で行う姿勢・形状認識に該当
する処理であり、固有ベクトル記憶部１４およびクラス
タ情報記憶部１７Ａおよび系列識別辞書３２を用いて、
手振り動作の意味を認識する。これらの各モードは、デ
ータ経路制御部３４Ｂに対して、どちらのモードを選択
するかを入力することにより切り替えることができる。
以下、それぞれのモードに従い、順を追って説明する。
【０１４５】まず、登録モードにおける処理について説
明する。上述したように、手領域検出部２８、手動作分
節部２９、手画像切出部３０および手画像正規化部２１
が、上記第５の実施形態と同等の処理で入力する手振り
動作画像に対応する手画像系列を求める。一方、データ
経路制御部３４Ｂは、手画像正規化部２１が出力する手
画像系列が手画像登録部３５に入力されるように、経路
を切り換える。次に、手画像登録部３５は、手画像正規
化部２１から入力する手画像系列を、別途与えられる当
該手画像系列に対応する手振り動作の意味と共に、手形
状画像情報記憶部１２Ｃに格納する。図２２に、手形状
画像情報記憶部１２Ｃが有する格納テーブルの一例を示
す。図２２に示すように、手形状画像情報記憶部１２Ｃ
には、上記第２の実施形態における手形状画像情報記憶
部１２Ｂの形状情報および姿勢情報の代わりに、手画像
系列の番号、手画像系列に対応する手振り動作画像の意
味、系列中の手形状画像が何番目に位置する画像である
かという情報（ステップ）がそれぞれ格納される。な
お、両手が接触しているような画像の場合、両手が接触
している画像を１つの手形状画像として登録する。
【０１４６】固有空間計算部１３、固有ベクトル記憶部
１４、固有空間投影部２２およびクラスタ分析部１６
は、手形状画像情報記憶部１２Ｃに格納した各々の手形
状画像について上記第２の実施形態で述べた処理を行
い、固有ベクトル記憶部１４およびクラスタ情報記憶部
１７Ａに対応する情報を格納すると共に、手形状画像情
報記憶部１２Ｃに固有空間投影座標およびクラスタＩＤ
を格納する。系列再構成部３６は、手形状画像情報記憶
部１２Ｃへの情報格納がされると、格納されている手画
像系列毎にクラスタ系列とその意味を、系列識別辞書３
２に登録する。
【０１４７】次に、認識モードにおける処理について説
明する。認識モードでは、識別演算部３３Ａは、最尤ク
ラスタ判別部２５から入力するクラスタ系列と、系列識
別辞書３２に登録されている複数のクラスタ系列とを比
較し、同一または最も近いクラスタ系列を判断する。そ
して、識別演算部３３Ａは、同一または最も近いと判断
したクラスタ系列の意味を系列識別辞書３２から抽出し
て、出力する。
【０１４８】以上のように、本発明の第６の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、手形状画像情報記憶部１２Ｃに記憶する画像を実際
の認識時と同じ画像を使うことができるため、別の画像
をわざわざ取得する必要もなく、また、同一の環境で画
像を取得することが保証されるため、画像の誤認識を減
らすことができる。
【０１４９】なお、上記第６の実施形態に係る手の形状
と姿勢の認識装置に、上記第５の実施形態で述べた系列
登録部３１およびデータ経路制御部３４Ａの構成をさら
に加え、系列識別辞書３２へのクラスタ系列とその意味
の登録を、第１の登録モードまたは第２の登録モードの
いずれを用いてもできるようにしてもよい。このような
構成にすることで、手形状画像情報記憶部１２Ｃが固定
的なデータベースとして用いられているような場合であ
っても、第１の登録モードによって新たな手振り動作画
像に関するデータ登録（系列識別辞書３２の更新）を行
うことが可能となる。
【０１５０】（第７の実施形態）本発明の第７の実施形
態は、上記第５または第６の実施形態において、認識対
象の手画像がジェスチャーや手話などの一連の意味ある
動作を行う手を撮影した手画像である場合、第５または
第６の実施形態による認識装置をジェスチャーや手話を
認識するための装置の１モジュールとして用いることに
より、動作の意味を求める手法を提供するものである。
【０１５１】例えば、手話の認識のために本発明を用い
る場合を考える。手話の場合、手の形状の他に手の空間
位置、手の動き、手形状、手姿勢といったい幾つかの構
成要素から、その意味が成り立っているといわれてい
る。さらに、手形状では、手話単語の開始時の形状と終
了時の形状（右手のみ、左手のみ、左手右手両方）とを
構成要素として挙げることができる。図２３に、幾つか
の手話単語を構成要素で記述した一例を示す。図２３に
おいて、「言う」という意味の手話単語の場合、右手を
用い、人差指を伸ばした手形状を、まず口元若しくは口
の前に持っていき、その後その手形状のまま前方に出す
という動作で表現される。一方、「好き」という意味の
手話単語の場合、右手を用い、まず親指と人差指を伸ば
した手形状をあごの部位に持っていき、次に指を閉じな
がら下方に引くという動作で表現される。
【０１５２】そこで、第７の実施形態に係る手の形状と
姿勢の認識装置では、手話やジェスチャーといった動作
に対し、手の空間位置や動きといった手の大局的動作に
関する特徴による認識部の制約条件を加えることによっ
て、手画像の誤認識を減らすものである。
【０１５３】図２４は、本発明の第７の実施形態に係る
手の形状と姿勢の認識装置の構成を示すブロック図であ
る。図２４において、第７の実施形態に係る手の形状と
姿勢の認識装置は、手画像登録部３５と、固有ベクトル
記憶部１４と、固有空間計算部１３と、手形状画像情報
記憶部１２Ｃと、クラスタ情報記憶部１７Ａと、クラス
タ分析部１６と、系列再構成部３６と、手領域検出部２
８と、手動作分節部２９と、手画像切出部３０と、手画
像正規化部２１と、固有空間投影部２２と、最尤クラス
タ判別部２５と、識別演算部３３Ｂと、系列識別辞書３
２と、データ経路制御部３４Ｂと、大局動作認識部３７
と、制約条件記憶部３８とを備える。図２４に示す第７
の実施形態に係る手の形状と姿勢の認識装置は、上記第
６の実施形態に係る手の形状と姿勢の認識装置に、大局
動作認識部３７および制約条件記憶部３８を加え、識別
演算部３３Ａを識別演算部３３Ｂに代えた構成である。
なお、第７の実施形態に係る手の形状と姿勢の認識装置
におけるその他の構成は、上記第６の実施形態に係る手
の形状と姿勢の認識装置の構成と同様であり、当該構成
については、同一の参照番号を付してその説明を省略す
る。
【０１５４】まず、制約条件記憶部３８には、手話単語
のような意味ある動作に基づいて手形状と手姿勢とを制
約する制約条件が、予め記憶されている。この制約条件
とは、例えば、図２３に示す手話単語「言う」の場合、
開始の手形状と終了の手形状との双方共、人差指を伸ば
した形状に、また、手姿勢，位置および動作を上述した
内容のように記憶する。なお、手話単語「言う」の動作
は、右手のみで行われるため、図２３の例では左手に関
する条件が記載されていない。
【０１５５】手振り動作画像は、大局動作認識部３７お
よび手領域検出部２８にそれぞれ入力される。大局動作
認識部３７は、入力する手振り動作画像に対して、手領
域検出部２８と同様に手領域を抽出し、当該手領域にお
ける手の軌跡と身体に対する手の位置とを求め、手の軌
跡と手の位置の情報を識別演算部３３Ｂへ出力する。こ
の大局動作認識部３７は、例えば、本願発明者等が先に
出願した「手動作認識装置」（特開平１１−１７４９４
８号）に記載された手法に従って、手の軌跡と手の位置
とを求める。一方、手領域検出部２８に入力される手振
り動作画像に対しては、上記第６の実施形態で述べた処
理が手動作分節部２９、手画像切出部３０、手画像正規
化部２１、固有空間投影部２２および最尤クラスタ判別
部２５において各々行われ、手振り動作画像に対応する
クラスタ系列が最尤クラスタ判別部２５から識別演算部
３３Ｂへ出力される。
【０１５６】識別演算部３３Ｂは、まず、制約条件記憶
部３８に記憶されたデータを検索して、大局動作認識部
３７から与えられる手振り認識結果（手の軌跡と手の位
置の情報）と同一の動作データの手話／ジェスチャー単
語を、１つ以上抽出する。次に、識別演算部３３Ｂは、
最尤クラスタ判別部２５から入力するクラスタ系列と、
系列識別辞書３２に登録されている複数のクラスタ系列
とを比較し、同一または最も近いクラスタ系列を判断し
て、当該判断したクラスタ系列の意味を系列識別辞書３
２から１つ以上抽出する。そして、識別演算部３３Ｂ
は、１つ以上抽出した手話／ジェスチャー単語と、１つ
以上抽出した意味とに基づいて、入力した手振り動作画
像について最も近い意味を出力する。
【０１５７】以上のように、本発明の第７の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、手の大局的動作の特徴に基づく制約条件をさらに加
えて、手振り動作画像の意味を導き出す。これにより、
手振り動作画像の誤認識を減らすことができる。
【０１５８】なお、上記第７の実施形態では、大局動作
認識部３７、制約条件記憶部３８および識別演算部３３
Ｂを、上記第６の実施形態に係る手の形状と姿勢の認識
装置に対して構成した場合を説明したが、上記第５の実
施形態に係る手の形状と姿勢の認識装置に対して構成し
てもよいし、上記第６の実施形態のなお書きで述べたよ
うに第５の実施形態と第６の実施形態とを合成した手の
形状と姿勢の認識装置に対して構成してもよい。
【０１５９】（第８の実施形態）本発明の第８の実施形
態は、上記第５〜第７の実施形態の手領域検出部２８に
おいて、手領域に関してもクラスタ情報を利用すること
によって、より高精度に画像中の手領域を検出する手法
を提供するものである。
【０１６０】図２５は、本発明の第８の実施形態に係る
手の形状と姿勢の認識装置を構成する手領域検出部の詳
細な構成を示すブロック図である。図２５において、第
８の実施形態に係る手の形状と姿勢の認識装置を構成す
る手領域検出部４８は、領域候補切出部３９と、領域マ
スク記憶部４０と、画像正規化部４１と、固有空間投影
部２２と、最尤クラスタ判別部２５と、領域決定部４２
とを備える。なお、第８の実施形態に係る手の形状と姿
勢の認識装置におけるその他の構成は、上記第５〜第７
の実施形態に係る手の形状と姿勢の認識装置の構成とそ
れぞれ同様であり、当該構成については、同一の参照番
号を付してその説明を省略する。
【０１６１】まず、第８の実施形態に係る手の形状と姿
勢の認識装置を構成する手領域検出部４８の各構成を説
明する。領域候補切出部３９は、入力する手振り動作画
像から手領域の候補となる画像範囲をそれぞれ切り出
す。また、領域候補切出部３９は、切り出した手領域の
位置情報を領域決定部４２へ出力する。領域マスク記憶
部４０は、領域候補切出部３９が切り出した候補手領域
から、予め定めた領域のみを抜き出すためのマスクを記
憶する。画像正規化部４１は、領域候補切出部３９が切
り出した候補手領域に対し、大きさを正規化して領域マ
スク記憶部４０に記憶したマスク領域を付加した後、明
るさを正規化することで手領域候補画像を得る。固有空
間投影部２２は、上記第５〜第７の実施形態で述べたよ
うに、画像正規化部４１によって得られる手領域候補画
像を固有空間へ展開する。最尤クラスタ判別部２５は、
上記第５〜第７の実施形態で述べたように、固有空間投
影部２２が求めた固有空間投影座標に最も近い投影座標
を有するクラスタを取得する。領域決定部４２は、最尤
クラスタ判別部２５がクラスタを取得したときの尤度
を、全ての手領域候補画像に対して比較し、最も高い尤
度を持つ手領域候補画像の位置とその時のクラスタイン
デックスを出力する。
【０１６２】次に、図２６〜図２８を用いて、第８の実
施形態に係る手の形状と姿勢の認識装置を構成する手領
域検出部４８が行う手領域検出方法を、処理の順に説明
する。図２６は、図２５の領域候補切出部３９が行う手
領域候補を求める手法の一例を説明する図である。な
お、図２６においては、単純にスキャンを行う手法、色
情報他の知識により手領域候補を切り出す手法、およ
び、前時刻の手領域検出結果に従い現時刻の手領域位置
を予測して手領域を切り出す手法の３つについて説明し
ている。図２７は、図２５の画像正規化部４１における
処理の概要を示す図である。図２８は、図２５の領域マ
スク記憶部４０に記憶されているマスク領域の一例を示
す図である。
【０１６３】まず、領域候補切出部３９は、手領域候補
を求めて、入力する手振り動作画像から求めた手領域候
補に対応する矩形領域を切り出す。この手領域候補を求
める手法としては、例えば図２６に示す３つの手法が考
えられる。第１の手法は、最も単純な手法であり、手領
域候補として切り出す領域の大きさを予め決めておき、
切り出す矩形領域を手振り動作画像上でスキャンさせ
て、スキャンによって順次得られる全ての領域を手領域
候補とする手法である（図２６（ａ））。なお、この手
法の場合、手振り動作画像上の手の距離によって、スキ
ャンさせる大きさを可変してもよい。第２の手法は、色
情報（例えば、肌色情報）などを用いることにより、手
振り動作画像から、その色に対応する領域の前後のみを
スキャンさせる対象として、手領域候補の矩形領域を切
り出す手法である。この手法の場合、肌色情報を用いる
ことにより、手と顔の周辺領域の画像のみを手領域候補
とすることができる（図２６（ｂ））。第３の手法は、
前時刻の手領域の位置情報（領域決定部４２からフィー
ドバックされる情報）から現時刻の手領域の位置を予測
し、予測した手領域の位置の周辺をスキャンすることに
よって手領域候補を切り出す手法である。この手法の場
合、例えば、前時刻の手の位置に前時刻の手の速度を足
し合せることによって現時刻の手領域を予測する手法、
また、予測の時にカルマンフィルタを用いて手の位置を
求める手法等がある（図２６（ｃ））。
【０１６４】次に、画像正規化部４１は、図２７に示す
ように、領域候補切出部３９が切り出した手領域候補に
対し、大きさを正規化し、領域マスク記憶部４０に記憶
した手領域マスクを重ね合せ、明るさを正規化する。手
領域候補に対してマスク処理を行うのは、処理対象が掌
や顔といった矩形領域ではない部位だからである。この
ため、領域マスク記憶部４０に記憶されている手領域マ
スクの一例としては、図２８（ａ）に示すような幾何形
状マスク（単純な幾何形状（円、楕円など）を用いたマ
スク）や、図２８（ｂ）に示すような学習画像から作成
したマスク（過去に得られた画像群を重ね合せてＯＲ演
算をしたマスク）等が好ましい。このように、画像正規
化部４１は、上記手領域マスクと手領域候補の画像とを
重ね合せ、明るさの正規化を行うことにより、手領域候
補画像を生成する。
【０１６５】その後は、上記第５〜第７の実施形態と同
様に、固有空間投影部２２は、画像正規化部４１が出力
する各手領域候補画像を、固有ベクトル記憶部１４に従
って固有空間へ投影して投影座標をそれぞれ求める。そ
して、最尤クラスタ判別部２５は、固有空間投影部２２
が求めた投影座標がクラスタ情報記憶部１７Ａに記憶し
ているどのクラスタに属するかを判断し、各手領域候補
画像ごとに該当クラスタとそのときの尤度を領域決定部
４２へ出力する。
【０１６６】そして、領域決定部４２は、最尤クラスタ
判別部２５が出力する各手領域候補画像に対応する尤度
から、最も尤度の高いときの手領域候補を求め、その時
の手領域の位置（領域候補切出部３９から与えられる）
と大きさとを手領域検出結果として、手動作分節部２９
へ出力する。
【０１６７】以上のように、本発明の第８の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、手領域を検出するときに手領域候補の領域を固有空
間へ投影して、該当クラスタを求めることによって手領
域を検出する。このため、手領域を検出すると同時にそ
の手領域の該当クラスタを求めることができるので、手
領域検出と手の形状と姿勢の認識、若しくは手領域検出
と手振り動作認識処理を一つの処理として統合すること
が可能となる。
【０１６８】なお、第８の実施形態では、手振り動作画
像に対して上記手法を適用したが、一般の動作画像に対
しても上記手法を用いることにより、動作主体の検出を
行うことは可能であり、同等の効果を奏することができ
る。
【０１６９】（第９の実施形態）本発明の第９の実施形
態は、上記第８の実施形態に係る手の形状と姿勢の認識
装置を構成する手領域検出部４８の画像正規化部４１お
よび領域決定部４２において、前時刻のクラスタ情報を
利用することにより、現時刻の手領域検出をより高精度
に行う手法を提供するものである。
【０１７０】図２９は、本発明の第９の実施形態に係る
手の形状と姿勢の認識装置を構成する手領域検出部の詳
細な構成を示すブロック図である。図２９において、第
９の実施形態に係る手の形状と姿勢の認識装置を構成す
る手領域検出部５８は、領域候補切出部３９と、領域マ
スク記憶部４５と、画像正規化部４１と、固有空間投影
部２２と、最尤クラスタ判別部２５と、領域決定部４２
と、クラスタ遷移情報記憶部４３と、クラスタ遷移情報
登録部４４とを備える。図２９に示すように、第９の実
施形態に係る手の形状と姿勢の認識装置を構成する手領
域検出部５８は、上記第８の実施形態に係る手の形状と
姿勢の認識装置を構成する手領域検出部４８に、クラス
タ遷移情報記憶部４３およびクラスタ遷移情報登録部４
４を付加し、領域マスク記憶部４０を領域マスク記憶部
４５に代えた構成である。なお、第９の実施形態に係る
手の形状と姿勢の認識装置におけるその他の構成は、上
記第８の実施形態に係る手の形状と姿勢の認識装置の構
成と同様であり、当該構成については、同一の参照番号
を付してその説明を省略する。
【０１７１】以下、図３０〜図３１を用いて、第９の実
施形態に係る手の形状と姿勢の認識装置を構成する手領
域検出部５８が行う手領域検出方法を、処理の順に説明
する。図３０は、図２９のクラスタ遷移情報記憶部４３
に記憶されるクラスタ遷移情報の一例を示す図である。
図３０に示すように、クラスタ遷移情報記憶部４３に
は、ある時刻ｔのクラスタが与えられたとき、次の時刻
ｔ＋１にどのクラスタに遷移しやすいかを示すクラスタ
遷移の頻度を記載した遷移度マップが格納されている。
なお、ここではクラスタ遷移の度合いをクラスタ遷移度
と呼ぶ。図３１は、図２９の領域マスク記憶部４５に記
憶されているマスク領域の一例を示す図である。図３１
に示すように、領域マスク記憶部４５には、予め学習画
像から作成したマスクが各クラスタごとに別々に登録さ
れている。
【０１７２】まず、領域候補切出部３９は、上記第８の
実施形態と同様、入力する手振り動作画像から手領域候
補を求め、求めた候補に対応する矩形領域を切り出す。
次に、画像正規化部４１は、領域候補切出部３９によっ
て得られた手領域候補の大きさを正規化し、領域マスク
記憶部４５に記憶した手領域マスクを重ね合せて明るさ
を正規化する。このとき、画像正規化部４１は、前時刻
の該当クラスタをもとに、クラスタ遷移情報記憶部４３
を参照して遷移度の高いクラスタを複数個選び、それぞ
れのクラスタに該当するマスクを領域マスク記憶部４５
から抜き出す。そして、画像正規化部４１は、抜き出し
た複数個のマスクを重ね合せＯＲ演算をすることにより
新たなマスクを作成し、当該作成したマスクを得られた
手領域候補に重ね合せ、明るさの正規化を行うことによ
り、手領域候補画像を生成する。
【０１７３】その後は、上記第８の実施形態と同様に、
固有空間投影部２２は、画像正規化部４１が出力する各
手領域候補画像を、固有ベクトル記憶部１４に従って固
有空間へ投影して投影座標をそれぞれ求める。そして、
最尤クラスタ判別部２５は、固有空間投影部２２が求め
た投影座標がクラスタ情報記憶部１７Ａに記憶している
どのクラスタに属するかを判断し、各手領域候補画像ご
とに該当クラスタとそのときの尤度を領域決定部４２へ
出力する。
【０１７４】そして、領域決定部４２は、クラスタ遷移
情報記憶部４３に記憶されている遷移度マップを参照し
て、最尤クラスタ判別部２５が出力する各手領域候補画
像に対応するクラスタおよび尤度に基づいて、ある値よ
り高い遷移度のクラスタのうち、最も高い尤度を持つク
ラスタの手領域候補を求め、その時の手領域の位置（領
域候補切出部３９から与えられる）と大きさとを手領域
検出結果として、手動作分節部２９へ出力する。また、
領域決定部４２は、検出した手領域のクラスタをクラス
タ遷移情報登録部４４へ出力する。
【０１７５】クラスタ遷移情報登録部４４は、領域決定
部４２における手領域検出結果に従い、クラスタ遷移情
報記憶部４３を更新することを要求する指示がある場合
にのみ動作する。この指示は、このシステムを用いるユ
ーザ、若しくはこのシステムを構築する管理者によって
入力される。そして、更新することを要求する指示があ
った場合に、クラスタ遷移情報登録部４４は、検出した
クラスタと前時刻のクラスタとに従い、クラスタ遷移情
報記憶部４３のクラスタ遷移情報を更新する。例えば、
単純に遷移度マップの該当する場所の値をある値だけ増
やすことにより更新することができる。
【０１７６】以上のように、本発明の第９の実施形態に
係る手の形状と姿勢の認識装置および認識方法によれ
ば、上記第１０の実施形態に係る手の形状と姿勢の認識
装置に対し、手領域の決定時にクラスタの遷移情報を用
いる。このため、手領域の決定をより正確に行うことが
できる。
【０１７７】なお、第９の実施形態では、手振り動作画
像に対して上記手法を適用したが、一般の動作画像に対
しても上記手法を用いることにより、動作主体の検出を
行うことは可能であり、同等の効果を奏することができ
る。
【０１７８】（第１０の実施形態）本発明の第１０の実
施形態は、上記第１〜第７の実施形態の手画像正規化部
１１，２１において、手画像を正規化する際に、手首領
域を削除するだけではなく、肌色により手領域を抽出し
たり、正規化した手画像からさらに指の特徴を強調する
ような手法を加えることによって、一般的で自然な背景
で撮影した手画像から手領域を抽出することを可能に
し、さらに、より正確に手形状と手姿勢とを認識する手
法を提供するものである。
【０１７９】図３２は、本発明の第１０の実施形態に係
る手の形状と姿勢の認識装置を構成する手画像正規化部
１１，２１のさらに詳細な構成を示すブロック図であ
る。図３２において、第１０の実施形態に係る手の形状
と姿勢の認識装置を構成する手画像正規化部１１，２１
は、色分布記憶部６１と、手領域抽出部６２と、手首領
域削除部６３と、領域移動部６４と、回転角計算部６５
と、領域回転部６６と、大きさ正規化部６７と、指特徴
強調部６８とを備える。なお、第１０の実施形態に係る
手の形状と姿勢の認識装置におけるその他の構成は、上
記第１〜第７の実施形態に係る手の形状と姿勢の認識装
置の構成とそれぞれ同様であり、当該構成については、
同一の参照番号を付してその説明を省略する。
【０１８０】まず、第１０の実施形態に係る手の形状と
姿勢の認識装置を構成する手画像正規化部１１，２１の
各構成を説明する。色分布記憶部６１は、入力手画像か
ら抽出すべき手領域を、色分布として予め記憶する。手
領域抽出部６２は、色分布記憶部６１が記憶する色分布
に従い、手領域を抽出する。手首領域削除部６３は、手
領域抽出部６２が抽出した領域から手首方向を求め、求
めた手首方向に従って当該抽出した領域から手首領域を
削除する。領域移動部６４は、手首領域削除部６３によ
り手首領域を削除した手領域を画像上の予め定義した位
置に移動させる。回転角計算部６５は、手領域から光軸
に対して垂直な手の回転角を求める。領域回転部６６
は、回転角に従い手が一定方向に向くように回転変換を
施す。大きさ正規化部６７は、回転させた手領域の大き
さを予め定めた一定の大きさに正規化する。指特徴強調
部６８は、正規化した手画像から指以外の一定領域を削
除し、指の特徴を強調する。
【０１８１】次に、図３３〜図３５を用いて、第１０の
実施形態に係る手の形状と姿勢の認識装置を構成する手
画像正規化部１１，２１が行う手画像の正規化方法を、
処理の順に説明する。図３３は、図３２の色分布記憶部
６１が有する格納テーブルの構造の一例を示す図であ
る。なお、図３３においては、格納テーブルが、ＲＧＢ
色空間の三次元ルックアップテーブル（ＬＵＴ）である
場合を一例に挙げている。図３４は、図３２の回転角計
算部６５が行う処理の概略を説明する図である。図３５
は、図３２の指特徴強調部６８が行う処理の一例を説明
する図である。
【０１８２】最初に、色分布記憶部６１に、自然な背景
の画像から手領域を抜き出すために必要な肌色領域を設
定する。色分布記憶部６１は、図３３に示すような、Ｒ
ＧＢ色空間の三次元ＬＵＴを有している。この三次元Ｌ
ＵＴは、各々離散値をとる３つの色値Ｒ，Ｇ，Ｂで構成
された三次元色空間ＣＳを、各色を軸として、それぞれ
の軸に対しｄ１，ｄ２，ｄ３の幅で分割し、この分割し
た結果得られる個々の分割空間ＤＳの重心位置（格子
点）の色に対応するデータ値を保持することにより、得
られるテーブルである。換言すれば、三次元ＬＵＴは、
各格子点の三次元座標（ｒ，ｇ，ｂ）をパラメータとす
る関数の値ｃ｛＝ｆ（ｒ，ｇ，ｂ）｝を記憶するもので
ある。第１０の実施形態で説明する例では、この色分布
記憶部６１の手の色領域、すなわち肌色領域部分に正の
値を、それ以外の色領域部分に“０”の値を設定する。
【０１８３】まず、手領域抽出部６２は、入力される画
像をスキャンし、得られた画素の色と色分布記憶部６１
に記憶されている三次元ＬＵＴの格子点の色との間で、
最も近い距離にある格子点のデータ値を求める。これに
より、画素の色が肌色であれば正の値が出力され、それ
以外の色であれば“０”が出力されるので、肌色領域を
抽出することができる。なお、最も近い距離にある格子
点として得られた画素の色の近傍にある６つの格子点か
らの補間演算による値を、上述した関数ｆとして定義し
ても同等の効果を奏する。そして、手領域抽出部６２
は、抽出した肌色領域のうち、手の大きさに最も近い領
域を手領域とし、それ以外の領域をノイズとみなし削除
した手画像を、手首領域削除部６３に出力する。なお、
肌色領域を色分布記憶部６１に設定する手法としては、
上述した手法以外にも、例えば、肌色領域を全て一定の
値（例えば、２５５ビット）に設定する手法（この場
合、手領域抽出部６２が出力する画像は、シルエット画
像となる）や、肌色領域のうち、影の領域を暗い値に、
反射が強い領域を明るい値となるように三次元ＬＵＴを
設定する手法や、手の画像の持つ色の度数分布を、その
まま三次元ＬＵＴに設定する手法等を用いることが可能
である。
【０１８４】次に、手首領域削除部６３は、手領域抽出
部６２が抽出した手画像から手首方向を求め、求めた手
首方向に従って手首領域を削除する。この手首領域の削
除は、図２で示した手法で実現することが可能である。
領域移動部６４は、手首領域削除部６３によって手首領
域が削除された手画像を入力し、残った手領域の重心点
が手画像の中心になるように移動変換を行う。そして、
回転角計算部６５は、図３４で示すように、手領域のモ
ーメント主軸（手という図形が伸びている方向、すなわ
ち、手首−中指方向）と画像上のある軸（例えば、ｘ
軸）との角度を計算する。
【０１８５】今、手の画像をｆ（ｘ，ｙ）と、手の重心
座標を（ｘg ，ｙg ）とし、下記式（５）に従って、Ｍ
11，Ｍ20，Ｍ02を求める。
【数２】 この結果、モーメント主軸とｘ軸とのなす角θは、下記
式（６）により求めることができる。
【数３】
【０１８６】上記の角度計算の後、領域回転部６６は、
モーメント主軸がｙ軸と同じ方向を向くように回転変換
を施す。最後に、大きさ正規化部６７は、回転変換を施
した手領域が予め定めた一定の大きさになるように手画
像を正規化する。この手首領域削除部６３，領域移動部
６４，回転角計算部６５，領域回転部６６および大きさ
正規化部６７は、上記第１〜第７の実施形態における手
画像正規化部１１，２１の典型的な構成例を詳細に説明
したものであるが、第１０の実施形態においては、より
正確に画像認識を行うために、最後に、指特徴強調部６
８が、正規化した手画像から指以外の一定領域を削除し
て、指の特徴を強調する処理を行う。以下、図３５を参
照して、指特徴強調部６８が行う処理の一例を説明す
る。
【０１８７】図３５において、［例１］では、手領域の
重心点（すなわち、画像の中心点）から、−ｙ方向（モ
ーメント主軸の手首方向）に±Ａ度の角度をなす扇形形
状を手画像から削除することにより、指領域を強調す
る。［例２］では、手領域の重心点から、−ｙ方向に対
して距離Ｄより以遠にある手首側を手画像から削除する
ことにより、指領域を強調する。［例３］では、より簡
単に、手画像の手首側を一定距離分だけ削除することに
より、指領域を強調する。［例４］では、手画像に対し
て極座標変換を行うことにより、指領域を強調する。
【０１８８】以上のように、本発明の第１０の実施形態
に係る手の形状と姿勢の認識装置および認識方法によれ
ば、手画像を正規化する際に、手首領域を削除するだけ
ではなく、肌色により手領域を抽出したり、正規化した
手画像からさらに指の特徴を強調する。これにより、一
般的で自然な背景で撮影した手の画像から手領域を抽出
することができ、さらに、より正確に手形状と手姿勢と
を認識することが可能となる。
【０１８９】（第１１の実施形態）本発明の第１１の実
施形態は、上記第１〜第１０の実施形態において、手形
状画像情報記憶部１２Ａ〜１２Ｃに格納された手形状画
像が、掌主軸周りの回転に対する手形状画像しか格納し
ていない場合に、認識対象となる手を複数の視点のカメ
ラから撮影し、その撮影した入力手画像から手の方向を
求め、手の方向に対しても正規化することにより、実際
には、手形状画像として格納されていない手の方向の画
像においても、手形状と手姿勢とを認識する手法を提供
するものである。
【０１９０】この第１１の実施形態は、上記第１〜第１
０の実施形態における手画像正規化部２１に、複数台の
カメラから与えられる入力手画像の各々に対し、モーメ
ント主軸を求めることで手の方向を求め、その方向に対
して正規化する手法を付加することにより実現できる。
なお、本発明の第１１の実施形態に係る手の形状と姿勢
の認識装置を構成する手画像正規化部２１は、上記第１
〜第１０の実施形態で述べた手画像正規化部２１と同様
の構成であるため、その図面を省略する。図３６に、複
数台のカメラから手の方向を求め、正規化する手法の概
念の一例を示す。なお、図３６においては、３台のカメ
ラを用いた場合を一例に挙げて説明している。
【０１９１】今、３台のカメラが図３６に示す位置で手
を撮影するとする。まず、手画像正規化部２１は、上記
各実施形態で述べたと同様の手法で各入力手画像の手首
領域を削除する。次に、手画像正規化部２１は、手首領
域を削除した入力手画像の手領域を画像の中心に移動さ
せ、手領域のモーメント主軸の方向を求める（上記第１
０の実施形態の領域移動部６４および回転角計算部６５
で述べた手法と同様である）。次に、手画像正規化部２
１は、求めたモーメント主軸から三次元空間における主
軸の方向をベクトル値として求め、求めた主軸の方向が
各カメラに対して光軸に垂直な一定方向を向くような変
換行列を求める。そして、手画像正規化部２１は、求め
た変換行列に従い、各カメラの撮影によって入力した入
力手画像を変形させる。なお、入力手画像の変形に対し
ては、例えば、一般に行われているアフィン変換を用い
た変形手法を用いることができる。
【０１９２】以上のように、本発明の第１１の実施形態
に係る手の形状と姿勢の認識装置および認識方法によれ
ば、手形状画像記憶部１２Ａ〜１２Ｃに、掌主軸周りの
回転に対する手形状画像しか格納していない場合でも、
実際には、手形状画像として格納されていない手の方向
の画像に対して、手形状と手姿勢とを認識することが可
能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る手の形状と姿勢
の認識装置の構成を示すブロック図である。
【図２】図１の手画像正規化部１１が行う処理の概略を
説明する図である。
【図３】図１の手形状画像情報記憶部１２Ａが有する格
納テーブルの一例を示す図である。
【図４】固有空間計算部１３において固有空間を求める
手法の一例の概略を説明する図である。
【図５】図１の固有空間投影部１５が行う処理の概略を
説明する図である。
【図６】本発明の第１の実施形態に係る手の形状と姿勢
の認識装置を実現するためのハードウェア構成の一例を
示す図である。
【図７】形状情報および姿勢情報に対する命令を記憶す
る命令記憶部に、オーディオ機器に対する命令が記憶さ
れている一例を示す。
【図８】本発明の第２の実施形態に係る手の形状と姿勢
の認識装置の構成を示すブロック図である。
【図９】図８の手形状画像情報記憶部１２Ｂが有する格
納テーブルの一例を示す図である。
【図１０】図８のクラスタ分析部１６が行う処理の一例
を示すフローチャートである。
【図１１】図８の画像比較部２６において行う比較手法
の概念の一例を示す図である。
【図１２】本発明の第３の実施形態に係る手の形状と姿
勢の認識装置の構成を示すブロック図である。
【図１３】図８のクラスタ分析部１６により同一グルー
プに分類される似た画像の一例を示す図である。
【図１４】図１２のクラスタ分析／枠判別部１８が行う
処理概念の一例を示す図である。
【図１５】本発明の第４の実施形態に係る手の形状と姿
勢の認識装置において、複数台のカメラの入力手画像か
ら手形状画像を求める概念の一例を説明する図である。
【図１６】本発明の第５の実施形態に係る手の形状と姿
勢の認識装置の構成を示すブロック図である。
【図１７】図１６の手領域検出部２８、手動作分節部２
９および手画像切出部３０が行う処理の概念を示す図で
ある。
【図１８】図１６の手画像系列および当該手画像系列か
ら求められるクラスタ系列の一例を示す図である。
【図１９】図１６の系列識別辞書３２が有する記憶形態
の一例を示す図である。
【図２０】図１６の系列識別辞書３２が有する記憶形態
の一例を示す図である。
【図２１】本発明の第６の実施形態に係る手の形状と姿
勢の認識装置の構成を示すブロック図である。
【図２２】図２１の手形状画像情報記憶部１２Ｃが有す
る格納テーブルの一例を示す図である。
【図２３】手姿勢を定義する方法の一例の概略を説明す
る図である。
【図２４】本発明の第７の実施形態に係る手の形状と姿
勢の認識装置の構成を示すブロック図である。
【図２５】本発明の第８の実施形態に係る手の形状と姿
勢の認識装置を構成する手領域検出部の詳細な構成を示
すブロック図である。
【図２６】図２５の領域候補切出部３９における処理の
一例を示す図である。
【図２７】図２５の画像正規化部４１における処理の概
要を示す図である。
【図２８】図２５の領域マスク記憶部４０に記憶されて
いるマスク領域の一例を示す図である。
【図２９】本発明の第９の実施形態に係る手の形状と姿
勢の認識装置を構成する手領域検出部の詳細な構成を示
すブロック図である。
【図３０】図２９のクラスタ遷移情報記憶部４３に記憶
されるクラスタ遷移情報の一例を示す図である。
【図３１】図２９の領域マスク記憶部４５に記憶されて
いるマスク領域の一例を示す図である。
【図３２】本発明の第１０の実施形態に係る手の形状と
姿勢の認識装置を構成する手画像正規化部１１，２１の
さらに詳細な構成を示すブロック図である。
【図３３】図３２の色分布記憶部６１が有する格納テー
ブルの構造の一例を示す図である。
【図３４】図３２の回転角計算部６５が行う処理の概略
を説明する図である。
【図３５】図３２の指特徴強調部６８が行う処理の一例
を説明する図である。
【図３６】本発明の第１１の実施形態に係る手の形状と
姿勢の認識装置において、複数台のカメラの入力手画像
から手の方向を求め正規化する概念の一例を示す図であ
る。
【図３７】手姿勢を定義する方法の一例の概略を説明す
る図である。
【符号の説明】
１…記憶部構築系 ２…姿勢・形状認識系 １１，２１…手画像正規化部 １２Ａ，１２Ｂ，１２Ｃ…手形状画像情報記憶部 １３…固有空間計算部 １４…固有ベクトル記憶部 １５，２２…固有空間投影部 １６…クラスタ分析部 １７Ａ，１７Ｂ…クラスタ情報記憶部 １８…クラスタ分析／枠判別部 ２３…手形状画像選択部 ２４…形状・姿勢出力部 ２５…最尤クラスタ判別部 ２６，２７…画像比較部 ２８，４８，５８…手領域検出部 ２９…手動作分節部 ３０…手画像切出部 ３１…系列登録部 ３２…系列識別辞書 ３３Ａ，３３Ｂ…識別演算部 ３４Ａ，３４Ｂ…データ経路制御部 ３５…手画像登録部 ３６…系列再構成部 ３７…大局動作認識部 ３８…制約条件記憶部 ３９…領域候補切出部 ４０，４５…領域マスク記憶部 ４１…画像正規化部 ４２…領域決定部 ４３…クラスタ遷移情報記憶部 ４４…クラスタ遷移情報登録部 ５０…記憶装置 ５１…ＣＰＵ ５２…メモリ ５３…画像入力装置 ５４…入力装置 ５５…出力装置 ６１…色分布記憶部 ６２…手領域抽出部 ６３…手首領域削除部 ６４…領域移動部 ６５…回転角計算部 ６６…領域回転部 ６７…大きさ正規化部 ６８…指特徴強調部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松尾 英明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 猪木 誠二 東京都小金井市貫井北町４丁目２番１号 郵政省通信総合研究所内 (72)発明者 呂 山 東京都小金井市貫井北町４丁目２番１号 郵政省通信総合研究所内 Ｆターム(参考） 2F065 AA37 AA51 BB05 CC16 FF00 FF04 FF61 JJ03 JJ05 JJ19 JJ26 MM22 QQ00 QQ17 QQ18 QQ21 QQ23 QQ24 QQ25 QQ28 QQ41 QQ42 5B057 AA05 BA02 DC08 DC09 DC19 5L096 BA05 BA18 CA04 CA05 EA12 EA13 EA14 FA19 FA38 FA55 FA67 GA17 HA03 HA04 HA09 JA11 JA22 MA07 9A001 DZ11 HH20 HH21

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】 光学的読取手段によって取得された手の
    画像（以下、入力手画像という）の形状および姿勢を認
    識する装置であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の手画像正規
    化手段と、 前記手形状画像を、当該手形状画像に関する形状情報お
    よび姿勢情報と共に、それぞれ格納する手形状画像情報
    記憶手段と、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する固有空間計
    算手段と、 前記固有ベクトルの集合を格納する固有ベクトル記憶手
    段と、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求め、前記手形状画像情報記憶手段に格納する第１の固
    有空間投影手段と、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の手画像
    正規化手段と、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の固有空間投影手段と、 前記第２の固有空間投影手段が求めた前記投影座標と、
    前記手形状画像情報記憶手段に格納した前記投影座標と
    をそれぞれ比較し、前記入力手形状画像に最も近い前記
    手形状画像を求める手形状画像選択手段と、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを、前記手形状画像情報記憶手段から取得して出力す
    る形状・姿勢出力手段とを備える、手の形状と姿勢の認
    識装置。
  2. 【請求項２】 光学的読取手段によって取得された手の
    画像（以下、入力手画像という）の形状および姿勢を認
    識する装置であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の手画像正規
    化手段と、 前記手形状画像を、当該手形状画像に関する形状情報お
    よび姿勢情報と共に、それぞれ格納する手形状画像情報
    記憶手段と、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する固有空間計
    算手段と、 前記固有ベクトルの集合を格納する固有ベクトル記憶手
    段と、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求め、前記手形状画像情報記憶手段に格納する第１の固
    有空間投影手段と、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するかを
    求めて前記手形状画像情報記憶手段に格納すると共に、
    各クラスタに関する統計情報を求めるクラスタ分析手段
    と、 前記統計情報を、対応するクラスタと共に、それぞれ格
    納するクラスタ情報記憶手段と、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の手画像
    正規化手段と、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の固有空間投影手段と、 前記第２の固有空間投影手段が求めた前記投影座標と、
    前記クラスタ情報記憶手段に記憶した前記統計情報とを
    それぞれ比較し、最も近いクラスタを求める最尤クラス
    タ判別手段と、 前記最も近いクラスタに属する前記手形状画像と前記入
    力手形状画像とをそれぞれ比較し、当該入力手形状画像
    に最も近い前記手形状画像を求める画像比較手段と、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを、前記手形状画像情報記憶手段から取得して出力す
    る形状・姿勢出力手段とを備える、手の形状と姿勢の認
    識装置。
  3. 【請求項３】 画像比較手段は、前記最尤クラスタ判別
    手段が求めたクラスタに属する前記手形状画像と、前記
    第２の手画像正規化手段が生成した前記入力手形状画像
    とを比較する際に、前記手形状画像を同一クラスタ内の
    同一形状ごとにグループ化する同一形状分類手段と、 前記グループを表現する統計量を求める形状グループ統
    計量計算手段と、 前記入力手形状画像と前記統計量との距離を計算し、最
    も近いグループに属する形状を出力する最尤形状判別手
    段とで構成されることを特徴とする、請求項２に記載の
    手の形状と姿勢の認識装置。
  4. 【請求項４】 前記クラスタ分析手段は、各クラスタに
    対する前記手形状画像と前記形状情報とを前記手形状画
    像情報記憶手段から取得し、各前記手形状画像を判別す
    るための部分領域をそれぞれ計算して前記クラスタ情報
    記憶手段に格納し、 前記画像比較手段は、前記最尤クラスタ判別手段で求め
    たクラスタに属する前記手形状画像と、前記第２の手画
    像正規化手段が生成した入力手形状画像とを比較する際
    に、前記クラスタに対応する前記部分領域内のみで比較
    することを特徴とする、請求項２に記載の手の形状と姿
    勢の認識装置。
  5. 【請求項５】 前記入力手画像が、認識対象となる手を
    複数の視点から撮影した複数の画像である場合、 前記第２の手画像正規化手段は、複数の前記入力手画像
    のそれぞれについて前記入力手形状画像を生成し、 前記第２の固有空間投影手段は、前記第２の手画像正規
    化手段が生成した複数の前記入力手形状画像について固
    有空間内での投影座標をそれぞれ求め、 前記最尤クラスタ判別手段は、前記第２の固有空間投影
    手段が求めた各前記投影座標と前記統計情報とを比較し
    て、最も近いクラスタをそれぞれ求め、 前記画像比較手段は、前記最尤クラスタ判別手段が求め
    た複数の前記最も近いクラスタを統合し、各クラスタに
    属する前記手形状画像の前記形状情報および前記姿勢情
    報から矛盾しない形状・姿勢を推定することを特徴とす
    る、請求項２に記載の手の形状と姿勢の認識装置。
  6. 【請求項６】 光学的読取手段によって取得された一連
    の意味ある動作を行う連続した手の画像（以下、手振り
    動作画像という）の意味を認識する装置であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の手画像正規
    化手段と、 前記手形状画像を、当該手形状画像に関する形状情報お
    よび姿勢情報と共に、それぞれ格納する手形状画像情報
    記憶手段と、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する固有空間計
    算手段と、 前記固有ベクトルの集合を格納する固有ベクトル記憶手
    段と、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求め、前記手形状画像情報記憶手段に格納する第１の固
    有空間投影手段と、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するかを
    求めて前記手形状画像情報記憶手段に格納すると共に、
    各クラスタに関する統計情報を求めるクラスタ分析手段
    と、 前記統計情報を、対応するクラスタと共に、それぞれ格
    納するクラスタ情報記憶手段と、 前記手振り動作画像を入力し、当該手振り動作画像の各
    画像の中から手領域をそれぞれ検出する手領域検出手段
    と、 前記検出した手領域において前記手振り動作画像の手の
    動きをそれぞれ求め、手の動きに従い手動作の分節点を
    求める手動作分節手段と、 前記手振り動作画像中の手動作分節点である画像から、
    前記検出した手領域の部分を切り出す手画像切出手段
    と、 前記手画像切出手段において前記手振り動作画像から切
    り出された１つ以上の手画像（以下、手画像系列とい
    う）について、当該手画像の手首領域を削除した後前記
    手形状画像と同等の画像形態となるように正規化した入
    力手形状画像を、それぞれ生成する第２の手画像正規化
    手段と、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標をそれ
    ぞれ求める第２の固有空間投影手段と、 前記第２の固有空間投影手段が求めた前記投影座標と、
    前記クラスタ情報記憶手段に記憶した前記統計情報とを
    それぞれ比較し、最も近いクラスタを求め、当該クラス
    タを特定するシンボルをそれぞれ出力する最尤クラスタ
    判別手段と、 前記最尤クラスタ判別手段が出力する前記手画像系列に
    対応したシンボル（以下、シンボル系列という）を、当
    該手画像系列の元となる前記手振り動作画像の意味と共
    に系列識別辞書手段に登録する系列登録手段と、 前記手振り動作画像の意味と対応する前記シンボル系列
    とを記憶する前記系列識別辞書手段と、 前記最尤クラスタ判別手段が出力する前記シンボル系列
    に該当する意味を、前記系列識別辞書手段から取得して
    出力する識別演算手段とを備える、手の形状と姿勢の認
    識装置。
  7. 【請求項７】 前記手振り動作画像を入力し、当該画像
    の動作主体の動きと位置とから意味の候補を出力する大
    局動作認識手段と、 一連の意味ある動作に基づいて、入力された前記手振り
    動作画像の意味を制約する制約条件を予め記憶する制約
    条件記憶手段とをさらに備え、 前記識別演算手段は、前記最尤クラスタ判別手段が出力
    する前記シンボル系列に該当する意味を、前記制約条件
    に従いつつ前記系列識別辞書手段から取得して出力する
    ことを特徴とする、請求項６に記載の手の形状と姿勢の
    認識装置。
  8. 【請求項８】 前記手領域検出手段は、 入力する前記手振り動作画像の各画像の中から、手領域
    の候補となる領域をそれぞれ切り出す領域候補切出手段
    と、 手画像の候補となる領域だけを矩形領域から抜き出すた
    めの領域マスクを記憶する領域マスク記憶手段と、 前記手振り動作画像から切り出された手領域候補の領域
    に、前記領域マスクを付加し、さらに前記固有ベクトル
    を計算する時に用いた手画像と同等の画像形態となるよ
    うに正規化した画像をそれぞれ生成する手領域画像正規
    化手段と、 前記手領域候補の領域を正規化した画像を前記固有ベク
    トルを基底とする固有空間に投影して、当該固有空間内
    での投影座標をそれぞれ求める手領域固有空間投影手段
    と、 前記手領域固有空間投影手段が求めた前記投影座標と、
    前記クラスタ情報記憶手段に記憶した前記統計情報とを
    それぞれ比較し、最も近いクラスタを求め、当該クラス
    タを特定するシンボルと比較対象のクラスタとの近さを
    示す評価値とをそれぞれ出力する手領域最尤クラスタ判
    別手段と、 前記評価値に基づいて、最も高い前記評価値を持つ前記
    手領域候補の位置情報とそのクラスタとを出力する領域
    決定手段とで構成されることを特徴とする、請求項６ま
    たは７に記載の手の形状と姿勢の認識装置。
  9. 【請求項９】 前記第１の手画像正規化手段および前記
    第２の手画像正規化手段は、それぞれ、 入力する手の画像から抽出すべき前記手領域を、色分布
    として予め記憶する色分布記憶手段と、 前記色分布に従い、入力する手の画像から手領域を抽出
    する手領域抽出手段と、 手首方向を求め、当該手首方向に従い前記手領域から手
    首領域を削除する手首領域削除手段と、 前記手首領域を削除した前記手領域を、画像上の予め定
    義した位置に移動させる領域移動手段と、 前記手領域内の手が、予め定めた一定方向に向くように
    回転角を求める回転角計算手段と、 前記回転角に従い、手が一定方向に向くように前記手領
    域を回転させる領域回転手段と、 回転させた前記手領域の大きさを、予め定めた一定の大
    きさに正規化する大きさ正規化手段とで構成されること
    を特徴とする、請求項１，２または６に記載の手の形状
    と姿勢の認識装置。
  10. 【請求項１０】 前記形状情報および前記姿勢情報に対
    応する命令をそれぞれ格納する命令記憶手段と、 前記形状・姿勢出力手段が出力する前記形状情報および
    前記姿勢情報を入力し、当該形状情報および当該姿勢情
    報に対応する命令を前記命令記憶手段から取得して出力
    する命令出力手段とをさらに備える、請求項１に記載の
    手の形状と姿勢の認識装置。
  11. 【請求項１１】 光学的読取手段によって取得された手
    の画像（以下、入力手画像という）の形状および姿勢を
    認識する方法であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の正規化
    ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の投影ステップと、 前記手形状画像について求めた前記投影座標と、前記入
    力手形状画像について求めた前記投影座標とをそれぞれ
    比較し、前記入力手形状画像に最も近い前記手形状画像
    を求める比較ステップと、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを出力するステップとを備える、手の形状と姿勢の認
    識方法。
  12. 【請求項１２】 光学的読取手段によって取得された手
    の画像（以下、入力手画像という）の形状および姿勢を
    認識する方法であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するか
    と、各クラスタに関する統計情報とを求める分析ステッ
    プと、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の正規化
    ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の投影ステップと、 前記入力手形状画像について求めた前記投影座標と、前
    記統計情報とをそれぞれ比較し、最も近いクラスタを求
    める判別ステップと、 前記最も近いクラスタに属する前記手形状画像と前記入
    力手形状画像とをそれぞれ比較し、当該入力手形状画像
    に最も近い前記手形状画像を求める比較ステップと、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを出力するステップとを備える、手の形状と姿勢の認
    識方法。
  13. 【請求項１３】 前記比較ステップは、 前記判別ステップが求めたクラスタに属する前記手形状
    画像と、前記第２の正規化ステップが生成した前記入力
    手形状画像とを比較する際に、前記手形状画像を同一ク
    ラスタ内の同一形状ごとにグループ化するステップと、 前記グループを表現する統計量を求めるステップと、 前記入力手形状画像と前記統計量との距離を計算し、最
    も近いグループに属する形状を出力するステップとを含
    むことを特徴とする、請求項１２に記載の手の形状と姿
    勢の認識方法。
  14. 【請求項１４】 前記分析ステップは、各クラスタに対
    する前記手形状画像と前記形状情報とに基づいて、各前
    記手形状画像を判別するための部分領域をそれぞれ計算
    し、 前記比較ステップは、前記判別ステップで求めたクラス
    タに属する前記手形状画像と、前記第２の正規化ステッ
    プが生成した前記入力手形状画像とを比較する際に、前
    記クラスタに対応する前記部分領域内のみで比較するこ
    とを特徴とする、請求項１２に記載の手の形状と姿勢の
    認識方法。
  15. 【請求項１５】 前記入力手画像が、認識対象となる手
    を複数の視点から撮影した複数の画像である場合、 前記前記第２の正規化ステップは、複数の前記入力手画
    像のそれぞれについて前記入力手形状画像を生成し、 前記第２の投影ステップは、前記第２の正規化ステップ
    が生成した複数の前記入力手形状画像について固有空間
    内での投影座標をそれぞれ求め、 前記判別ステップは、前記第２の投影ステップが求めた
    各前記投影座標と前記統計情報とを比較して、最も近い
    クラスタをそれぞれ求め、 前記比較ステップは、前記判別ステップが求めた複数の
    前記最も近いクラスタを統合し、各クラスタに属する前
    記手形状画像の前記形状情報および前記姿勢情報から矛
    盾しない形状・姿勢を推定することを特徴とする、請求
    項１２に記載の手の形状と姿勢の認識方法。
  16. 【請求項１６】 光学的読取手段によって取得された一
    連の意味ある動作を行う連続した手の画像（以下、手振
    り動作画像という）の意味を認識する方法であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するか
    と、各クラスタに関する統計情報とを求める分析ステッ
    プと、 前記手振り動作画像を入力し、当該手振り動作画像の各
    画像の中から手領域をそれぞれ検出する検出ステップ
    と、 前記検出した手領域において前記手振り動作画像の手の
    動きをそれぞれ求め、手の動きに従い手動作の分節点を
    求める分節ステップと、 前記手振り動作画像中の手動作分節点である画像から、
    前記検出した手領域の部分を切り出す切出ステップと、 前記手振り動作画像から切り出された１つ以上の手画像
    （以下、手画像系列という）について、当該手画像の手
    首領域を削除した後前記手形状画像と同等の画像形態と
    なるように正規化した入力手形状画像を、それぞれ生成
    する第２の正規化ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標をそれ
    ぞれ求める第２の投影ステップと、 前記入力手形状画像について求めた前記投影座標と、前
    記統計情報とをそれぞれ比較し、最も近いクラスタを求
    め、当該クラスタを特定するシンボルをそれぞれ出力す
    る判別ステップと、 判別した前記手画像系列に対応したシンボル（以下、シ
    ンボル系列という）を、当該手画像系列の元となる前記
    手振り動作画像の意味と共に記憶するステップと、 入力する前記手振り動作画像を識別する場合、判別した
    前記シンボル系列に該当する意味を、記憶している前記
    シンボル系列とその意味とに基づいて出力する識別ステ
    ップとを備える、手の形状と姿勢の認識方法。
  17. 【請求項１７】 前記手振り動作画像を入力し、当該画
    像の動作主体の動きと位置とから意味の候補を出力する
    認識ステップと、 一連の意味ある動作に基づいて、入力された前記手振り
    動作画像の意味を制約する制約条件を予め記憶する記憶
    ステップとをさらに備え、 前記識別ステップは、判別した前記シンボル系列に該当
    する意味を、前記制約条件に従いつつ記憶している前記
    シンボル系列とその意味とに基づいて出力することを特
    徴とする、請求項１６に記載の手の形状と姿勢の認識方
    法。
  18. 【請求項１８】 前記検出ステップは、 入力する前記手振り動作画像の各画像の中から、手領域
    の候補となる領域をそれぞれ切り出す切出ステップと、 手画像の候補となる領域だけを矩形領域から抜き出すた
    めの領域マスクを記憶する記憶ステップと、 前記手振り動作画像から切り出された手領域候補の領域
    に、前記領域マスクを付加し、さらに前記固有ベクトル
    を計算する時に用いた手画像と同等の画像形態となるよ
    うに正規化した画像をそれぞれ生成する正規化ステップ
    と、 前記手領域候補の領域を正規化した画像を前記固有ベク
    トルを基底とする固有空間に投影して、当該固有空間内
    での投影座標をそれぞれ求める投影ステップと、 前記投影座標と前記統計情報とをそれぞれ比較し、最も
    近いクラスタを求め、当該クラスタを特定するシンボル
    と比較対象のクラスタとの近さを示す評価値とをそれぞ
    れ出力する判別ステップと、 前記評価値に基づいて、最も高い前記評価値を持つ前記
    手領域候補の位置情報とそのクラスタとを出力する決定
    ステップとを含むことを特徴とする、請求項１６または
    １７に記載の手の形状と姿勢の認識方法。
  19. 【請求項１９】 前記第１の正規化ステップおよび前記
    第２の正規化ステップは、それぞれ、 入力する手の画像から抽出すべき前記手領域を、色分布
    として予め記憶する色記憶ステップと、 前記色分布に従い、入力する手の画像から手領域を抽出
    するステップと、 手首方向を求め、当該手首方向に従い前記手領域から手
    首領域を削除するステップと、 前記手首領域を削除した前記手領域を、画像上の予め定
    義した位置に移動させるステップと、 前記手領域内の手が、予め定めた一定方向に向くように
    回転角を求めるステップと、 前記回転角に従い、手が一定方向に向くように前記手領
    域を回転させるステップと、 回転させた前記手領域の大きさを、予め定めた一定の大
    きさに正規化するステップとを含むことを特徴とする、
    請求項１１，１２または１６に記載の手の形状と姿勢の
    認識方法。
  20. 【請求項２０】 前記形状情報および前記姿勢情報に対
    応する命令をそれぞれ格納する命令記憶ステップと、 前記出力するステップが出力する前記形状情報および前
    記姿勢情報を入力し、当該形状情報および当該姿勢情報
    に対応する命令を前記命令記憶ステップから取得して出
    力するステップとをさらに備える、請求項１１に記載の
    手の形状と姿勢の認識方法。
  21. 【請求項２１】 光学的読取手段によって取得された手
    の画像（以下、入力手画像という）の形状および姿勢を
    認識する方法を、コンピュータ装置において実行するた
    めのプログラムを記録した記録媒体であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の正規化
    ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の投影ステップと、 前記手形状画像について求めた前記投影座標と、前記入
    力手形状画像について求めた前記投影座標とをそれぞれ
    比較し、前記入力手形状画像に最も近い前記手形状画像
    を求める比較ステップと、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを出力するステップとを含む動作環境を、前記コンピ
    ュータ装置上で実現するためのプログラムを記録した、
    記録媒体。
  22. 【請求項２２】 光学的読取手段によって取得された手
    の画像（以下、入力手画像という）の形状および姿勢を
    認識する方法を、コンピュータ装置において実行するた
    めのプログラムを記録した記録媒体であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するか
    と、各クラスタに関する統計情報とを求める分析ステッ
    プと、 前記入力手画像を入力し、当該入力手画像の手首領域を
    削除した後前記手形状画像と同等の画像形態となるよう
    に正規化した入力手形状画像を、生成する第２の正規化
    ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標を求め
    る第２の投影ステップと、 前記入力手形状画像について求めた前記投影座標と、前
    記統計情報とをそれぞれ比較し、最も近いクラスタを求
    める判別ステップと、 前記最も近いクラスタに属する前記手形状画像と前記入
    力手形状画像とをそれぞれ比較し、当該入力手形状画像
    に最も近い前記手形状画像を求める比較ステップと、 前記最も近い手形状画像の前記形状情報と前記姿勢情報
    とを出力するステップとを含む動作環境を、前記コンピ
    ュータ装置上で実現するためのプログラムを記録した、
    記録媒体。
  23. 【請求項２３】 前記比較ステップは、 前記判別ステップが求めたクラスタに属する前記手形状
    画像と、前記第２の正規化ステップが生成した前記入力
    手形状画像とを比較する際に、前記手形状画像を同一ク
    ラスタ内の同一形状ごとにグループ化するステップと、 前記グループを表現する統計量を求めるステップと、 前記入力手形状画像と前記統計量との距離を計算し、最
    も近いグループに属する形状を出力するステップとを含
    むことを特徴とする、請求項２２に記載の記録媒体。
  24. 【請求項２４】 前記分析ステップは、各クラスタに対
    する前記手形状画像と前記形状情報とに基づいて、各前
    記手形状画像を判別するための部分領域をそれぞれ計算
    し、 前記比較ステップは、前記判別ステップで求めたクラス
    タに属する前記手形状画像と、前記第２の正規化ステッ
    プが生成した前記入力手形状画像とを比較する際に、前
    記クラスタに対応する前記部分領域内のみで比較するこ
    とを特徴とする、請求項２２に記載の記録媒体。
  25. 【請求項２５】 前記入力手画像が、認識対象となる手
    を複数の視点から撮影した複数の画像である場合、 前記前記第２の正規化ステップは、複数の前記入力手画
    像のそれぞれについて前記入力手形状画像を生成し、 前記第２の投影ステップは、前記第２の正規化ステップ
    が生成した複数の前記入力手形状画像について固有空間
    内での投影座標をそれぞれ求め、 前記判別ステップは、前記第２の投影ステップが求めた
    各前記投影座標と前記統計情報とを比較して、最も近い
    クラスタをそれぞれ求め、 前記比較ステップは、前記判別ステップが求めた複数の
    前記最も近いクラスタを統合し、各クラスタに属する前
    記手形状画像の前記形状情報および前記姿勢情報から矛
    盾しない形状・姿勢を推定することを特徴とする、請求
    項２２に記載の記録媒体。
  26. 【請求項２６】 光学的読取手段によって取得された一
    連の意味ある動作を行う連続した手の画像（以下、手振
    り動作画像という）の意味を認識する方法を、コンピュ
    ータ装置において実行するためのプログラムを記録した
    記録媒体であって、 予め様々な形状と姿勢の手を撮影した複数の画像を入力
    し、当該画像の手首領域を削除した後予め定めた画像形
    態（手の方向，画像の大きさ，画像の明るさ）に正規化
    した手形状画像を、それぞれ生成する第１の正規化ステ
    ップと、 固有空間法による解析を行って、前記手形状画像から固
    有値と固有ベクトルとを、それぞれ計算する解析ステッ
    プと、 前記手形状画像を前記固有ベクトルを基底とする固有空
    間に投影して、当該固有空間内での投影座標をそれぞれ
    求める第１の投影ステップと、 前記投影座標を、クラスタ分析によりそれぞれグループ
    分けし、各前記手形状画像がどのクラスタに属するか
    と、各クラスタに関する統計情報とを求める分析ステッ
    プと、 前記手振り動作画像を入力し、当該手振り動作画像の各
    画像の中から手領域をそれぞれ検出する検出ステップ
    と、 前記検出した手領域において前記手振り動作画像の手の
    動きをそれぞれ求め、手の動きに従い手動作の分節点を
    求める分節ステップと、 前記手振り動作画像中の手動作分節点である画像から、
    前記検出した手領域の部分を切り出す切出ステップと、 前記手振り動作画像から切り出された１つ以上の手画像
    （以下、手画像系列という）について、当該手画像の手
    首領域を削除した後前記手形状画像と同等の画像形態と
    なるように正規化した入力手形状画像を、それぞれ生成
    する第２の正規化ステップと、 前記入力手形状画像を前記固有ベクトルを基底とする固
    有空間に投影して、当該固有空間内での投影座標をそれ
    ぞれ求める第２の投影ステップと、 前記入力手形状画像について求めた前記投影座標と、前
    記統計情報とをそれぞれ比較し、最も近いクラスタを求
    め、当該クラスタを特定するシンボルをそれぞれ出力す
    る判別ステップと、 判別した前記手画像系列に対応したシンボル（以下、シ
    ンボル系列という）を、当該手画像系列の元となる前記
    手振り動作画像の意味と共に記憶するステップと、 入力する前記手振り動作画像を識別する場合、判別した
    前記シンボル系列に該当する意味を、記憶している前記
    シンボル系列とその意味とに基づいて出力する識別ステ
    ップとを含む動作環境を、前記コンピュータ装置上で実
    現するためのプログラムを記録した、記録媒体。
  27. 【請求項２７】 前記手振り動作画像を入力し、当該画
    像の動作主体の動きと位置とから意味の候補を出力する
    認識ステップと、 一連の意味ある動作に基づいて、入力された前記手振り
    動作画像の意味を制約する制約条件を予め記憶する記憶
    ステップとをさらに含み、 前記識別ステップは、判別した前記シンボル系列に該当
    する意味を、前記制約条件に従いつつ記憶している前記
    シンボル系列とその意味とに基づいて出力することを特
    徴とする、請求項２６に記載の記録媒体。
  28. 【請求項２８】 前記検出ステップは、 入力する前記手振り動作画像の各画像の中から、手領域
    の候補となる領域をそれぞれ切り出す切出ステップと、 手画像の候補となる領域だけを矩形領域から抜き出すた
    めの領域マスクを記憶する記憶ステップと、 前記手振り動作画像から切り出された手領域候補の領域
    に、前記領域マスクを付加し、さらに前記固有ベクトル
    を計算する時に用いた手画像と同等の画像形態となるよ
    うに正規化した画像をそれぞれ生成する正規化ステップ
    と、 前記手領域候補の領域を正規化した画像を前記固有ベク
    トルを基底とする固有空間に投影して、当該固有空間内
    での投影座標をそれぞれ求める投影ステップと、 前記投影座標と前記統計情報とをそれぞれ比較し、最も
    近いクラスタを求め、当該クラスタを特定するシンボル
    と比較対象のクラスタとの近さを示す評価値とをそれぞ
    れ出力する判別ステップと、 前記評価値に基づいて、最も高い前記評価値を持つ前記
    手領域候補の位置情報とそのクラスタとを出力する決定
    ステップとを含むことを特徴とする、請求項２６または
    ２７に記載の記録媒体。
  29. 【請求項２９】 前記第１の正規化ステップおよび前記
    第２の正規化ステップは、それぞれ、 入力する手の画像から抽出すべき前記手領域を、色分布
    として予め記憶する色記憶ステップと、 前記色分布に従い、入力する手の画像から手領域を抽出
    するステップと、 手首方向を求め、当該手首方向に従い前記手領域から手
    首領域を削除するステップと、 前記手首領域を削除した前記手領域を、画像上の予め定
    義した位置に移動させるステップと、 前記手領域内の手が、予め定めた一定方向に向くように
    回転角を求めるステップと、 前記回転角に従い、手が一定方向に向くように前記手領
    域を回転させるステップと、 回転させた前記手領域の大きさを、予め定めた一定の大
    きさに正規化するステップとを含むことを特徴とする、
    請求項２１，２２または２６に記載の記録媒体。
  30. 【請求項３０】 前記形状情報および前記姿勢情報に対
    応する命令をそれぞれ格納する命令記憶ステップと、 前記出力するステップが出力する前記形状情報および前
    記姿勢情報を入力し、当該形状情報および当該姿勢情報
    に対応する命令を前記命令記憶ステップから取得して出
    力するステップとをさらに含む、請求項２１に記載の記
    録媒体。
JP32158099A 1999-06-08 1999-11-11 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 Expired - Fee Related JP4332649B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32158099A JP4332649B2 (ja) 1999-06-08 1999-11-11 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
EP00111803A EP1059608A2 (en) 1999-06-08 2000-06-06 Device using eigenspace method for recognizing hand shape and position
US09/588,948 US6819782B1 (en) 1999-06-08 2000-06-08 Device and method for recognizing hand shape and position, and recording medium having program for carrying out the method recorded thereon
CNB001183400A CN1191536C (zh) 1999-06-08 2000-06-08 手形手势识别装置及识别方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP16155799 1999-06-08
JP11-161557 1999-06-08
JP32158099A JP4332649B2 (ja) 1999-06-08 1999-11-11 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2001056861A true JP2001056861A (ja) 2001-02-27
JP2001056861A5 JP2001056861A5 (ja) 2006-10-12
JP4332649B2 JP4332649B2 (ja) 2009-09-16

Family

ID=26487647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32158099A Expired - Fee Related JP4332649B2 (ja) 1999-06-08 1999-11-11 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US6819782B1 (ja)
EP (1) EP1059608A2 (ja)
JP (1) JP4332649B2 (ja)
CN (1) CN1191536C (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
KR100575504B1 (ko) 2003-08-11 2006-05-03 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
WO2007010893A1 (ja) * 2005-07-19 2007-01-25 Nec Corporation 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JP2007065766A (ja) * 2005-08-29 2007-03-15 Sony Corp 画像処理装置および方法、並びにプログラム
WO2007138885A1 (ja) * 2006-05-26 2007-12-06 The University Of Tokyo 運動データのデータベースの構造および設計法、データベースシステム
WO2008102410A1 (ja) * 2007-02-19 2008-08-28 Sony Computer Entertainment Inc. クラスタリング装置、その方法、コンピュータ、プログラムおよび記録媒体
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
US7460687B2 (en) 2002-07-12 2008-12-02 Honda Motor Co., Ltd. Watermarking scheme for digital video
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング
US7719569B2 (en) 2008-05-28 2010-05-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2010211732A (ja) * 2009-03-12 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置および方法
US7940960B2 (en) * 2006-10-27 2011-05-10 Kabushiki Kaisha Toshiba Pose estimating device and pose estimating method
JP2011154632A (ja) * 2010-01-28 2011-08-11 Toshiba Information Systems (Japan) Corp 画像処理装置、画像処理方法及び画像処理用プログラム
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
CN102193632A (zh) * 2011-05-11 2011-09-21 苏州佳世达电通有限公司 电子装置及其手势操作方法
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
JP2012506579A (ja) * 2008-10-23 2012-03-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 画像内のジェスチャを認識するための装置、方法およびコンピュータ・プログラムと、デバイスを制御するための装置、方法およびコンピュータ・プログラム
CN102810239A (zh) * 2011-05-31 2012-12-05 鸿富锦精密工业（深圳）有限公司 意外防止系统及方法
JP2012242901A (ja) * 2011-05-16 2012-12-10 Panasonic Corp 操作入力装置、プログラム
JP2014522495A (ja) * 2011-06-09 2014-09-04 ジェ．エム．エール．フィ 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
JP2014235698A (ja) * 2013-06-05 2014-12-15 キヤノン株式会社 情報処理装置及びその制御方法
JP2014238727A (ja) * 2013-06-07 2014-12-18 キヤノン株式会社 情報処理装置およびその方法
WO2015015843A1 (ja) * 2013-08-02 2015-02-05 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
JP2015125766A (ja) * 2013-12-27 2015-07-06 株式会社Ｎｔｔドコモ 画像認識装置、及び画像認識方法
JP2015170206A (ja) * 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法
JP2015184743A (ja) * 2014-03-20 2015-10-22 日本ユニシス株式会社 画像処理装置および物体認識方法
CN105866574A (zh) * 2016-03-29 2016-08-17 东莞华贝电子科技有限公司 自动化测试辅助识别方法和辅助识别系统
JP2017227687A (ja) * 2016-06-20 2017-12-28 聖 星野 カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2019164665A (ja) * 2018-03-20 2019-09-26 株式会社日立ソリューションズ・クリエイト 人物特定システム及び人物特定方法
JP2021043730A (ja) * 2019-09-11 2021-03-18 株式会社ミクシィ 静止判定システム及びコンピュータプログラム
WO2021090777A1 (ja) * 2019-11-05 2021-05-14 日本電信電話株式会社 行動認識学習装置、行動認識学習方法、行動認識装置、及びプログラム
JP2021517281A (ja) * 2019-02-26 2021-07-15 南京郵電大学Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｐｏｓｔｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ スマートホームシーン向けのマルチジェスチャー精分割方法
JP7485454B2 (ja) 2022-08-05 2024-05-16 Ｎｅｃソリューションイノベータ株式会社 手話翻訳処理装置、手話翻訳処理システム、手話翻訳処理方法、プログラム、及び記録媒体

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370605B2 (ja) * 1998-07-14 2003-01-27 富士通株式会社 ３次元モデルの最適化装置および方法
DE59912687D1 (de) * 1999-07-06 2005-11-24 Swisscom Mobile Ag Verfahren zum prüfen von fahrkarten von benutzern öffentlicher verkehrsmittel
EP1089214A3 (en) * 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
JP3708768B2 (ja) * 1999-11-22 2005-10-19 シャープ株式会社 読取り装置及びデータ処理システム
JP4570764B2 (ja) * 2000-12-01 2010-10-27 本田技研工業株式会社 運動情報認識システム
DE10100616A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Authentisierung einer Person mittels Handerkennung
JP4393720B2 (ja) * 2001-01-31 2010-01-06 富士通株式会社 パターン認識装置および方法
US7542586B2 (en) * 2001-03-13 2009-06-02 Johnson Raymond C Touchless identification system for monitoring hand washing or application of a disinfectant
DE10145608B4 (de) * 2001-09-15 2006-01-26 Eads Deutschland Gmbh Modellbasierte Objektklassifikation und Zielerkennung
US7466846B2 (en) * 2002-09-25 2008-12-16 The Hong Kong Polytechnic University Method for analyzing a palm print for the identification of an individual using gabor analysis
US7295711B1 (en) * 2002-10-23 2007-11-13 Altera Corporation Method and apparatus for merging related image segments
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) * 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
FR2864874A1 (fr) * 2004-01-06 2005-07-08 Thomson Licensing Sa Procede et dispositif de detection de l'orientation d'une image
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
JP2005242694A (ja) 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
CN100573548C (zh) * 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US20070237417A1 (en) * 2004-10-14 2007-10-11 Motilal Agrawal Method and apparatus for determining camera focal length
EP3693889A3 (en) * 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
CN1315024C (zh) * 2005-03-11 2007-05-09 西北工业大学 一种视频识别输入系统的输入方法
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7983451B2 (en) * 2006-06-30 2011-07-19 Motorola Mobility, Inc. Recognition method using hand biometrics with anti-counterfeiting
US20100023314A1 (en) * 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
US20080036737A1 (en) * 2006-08-13 2008-02-14 Hernandez-Rebollar Jose L Arm Skeleton for Capturing Arm Position and Movement
CN100426200C (zh) * 2006-10-13 2008-10-15 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入编码方法
US8135181B2 (en) * 2007-03-26 2012-03-13 The Hong Kong Polytechnic University Method of multi-modal biometric recognition using hand-shape and palmprint
WO2008134452A2 (en) 2007-04-24 2008-11-06 Oblong Industries, Inc. Proteins, pools, and slawx in processing environments
US8432572B2 (en) 2007-06-29 2013-04-30 Konica Minolta Laboratory U.S.A., Inc. Systems and methods of trapping for print devices
DE102007034273A1 (de) * 2007-07-19 2009-01-22 Volkswagen Ag Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
CN101470800B (zh) * 2007-12-30 2011-05-04 沈阳工业大学 手形识别方法
US7903286B2 (en) * 2008-03-27 2011-03-08 Konica Minolta Systems Laboratory, Inc. Systems and methods for color conversion
US8570340B2 (en) 2008-03-31 2013-10-29 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for data compression
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US20090295712A1 (en) * 2008-05-29 2009-12-03 Sony Ericsson Mobile Communications Ab Portable projector and method of operating a portable projector
EP2302581A4 (en) * 2008-06-04 2013-05-22 Univ Tsukuba Nat University Corp FINGER SHAPE ESTIMATING DEVICE AND FINGER SHAPE ESTIMATING METHOD AND PROGRAM
US8699042B2 (en) 2008-06-12 2014-04-15 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for multi-mode color blending
CZ305065B6 (cs) * 2008-07-21 2015-04-22 Vysoké Učení Technické V Brně Způsob biometrické identifikace osob podle ruky a zařízení pro biometrickou identifikaci osob podle ruky
US8270670B2 (en) * 2008-12-25 2012-09-18 Topseed Technology Corp. Method for recognizing and tracing gesture
US8379987B2 (en) * 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US9207766B1 (en) * 2009-01-30 2015-12-08 Cyber Silence Technologies, Inc. Method and apparatus for hand imaging device
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8655084B2 (en) * 2009-06-23 2014-02-18 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Hand-based gender classification
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
CN102044128A (zh) * 2009-10-23 2011-05-04 鸿富锦精密工业（深圳）有限公司 紧急事件报警系统及方法
CN101719015B (zh) * 2009-11-03 2011-08-31 上海大学 指示手势的手指尖定位方法
US8600166B2 (en) 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
CN102081918B (zh) * 2010-09-28 2013-02-20 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
US9952671B2 (en) 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion
US8610831B2 (en) * 2010-10-12 2013-12-17 Nokia Corporation Method and apparatus for determining motion
JP2012098988A (ja) * 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US8724861B1 (en) * 2010-12-06 2014-05-13 University Of South Florida Fingertip force, location, and orientation sensor
US8543833B2 (en) 2010-12-29 2013-09-24 Microsoft Corporation User identification with biokinematic input
KR101742826B1 (ko) * 2011-01-24 2017-06-01 삼성전자주식회사 손 회전인식 장치 및 방법
US20120224040A1 (en) * 2011-03-03 2012-09-06 Hand Held Products, Inc. Imager reader with hand gesture interface
CN102156859B (zh) * 2011-04-21 2012-10-03 刘津甦 手部姿态与空间位置的感知方法
CN102253804A (zh) * 2011-07-07 2011-11-23 苏州创捷传媒展览有限公司 皮肤识别式手翻书装置
US20130150718A1 (en) * 2011-12-07 2013-06-13 General Electric Company Ultrasound imaging system and method for imaging an endometrium
CN102521579B (zh) * 2011-12-21 2014-06-25 Tcl集团股份有限公司 一种基于二维平面摄像头推的动作识别方法及系统
KR20130109817A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9349207B2 (en) 2012-05-31 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for parsing human body image
CN103778405B (zh) * 2012-10-17 2017-07-04 原相科技股份有限公司 以自然影像进行的手势辨识方法
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
CN103186241B (zh) * 2013-04-03 2016-07-06 中国科学院软件研究所 一种交互桌面触点左右手识别方法
CN103167340B (zh) * 2013-04-03 2016-02-03 青岛歌尔声学科技有限公司 智能电视手势识别系统及其识别方法
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
CN105407371A (zh) * 2014-09-16 2016-03-16 洪永川 一种电视系统
CN105487646A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控智能终端系统
CN105491426A (zh) * 2014-09-16 2016-04-13 洪永川 一种手势遥控电视系统
CN104766055A (zh) * 2015-03-26 2015-07-08 济南大学 一种手势识别中的手腕图像去除方法
CN104835231B (zh) * 2015-05-25 2018-02-27 安恒世通（北京）网络科技有限公司 一种人脸识别锁具
CN105574161B (zh) * 2015-12-15 2017-09-26 徐庆 一种商标图形要素识别方法、装置和系统
KR102450803B1 (ko) * 2016-02-11 2022-10-05 한국전자통신연구원 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
US9999405B2 (en) 2016-02-16 2018-06-19 General Electric Company Method and system for enhanced visualization of a curved structure by automatically displaying a rendered view of a curved image slice
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
US20180110497A1 (en) * 2016-10-25 2018-04-26 General Electric Company Customized handle for ultrasound probe
CN108108649B (zh) * 2016-11-24 2020-04-07 腾讯科技（深圳）有限公司 身份验证方法及装置
CN107702161A (zh) * 2017-08-23 2018-02-16 信利光电股份有限公司 一种电磁炉控制方法、装置及电磁炉
CN113229961A (zh) * 2017-09-04 2021-08-10 梶田大树 照相机系统
CN108917593B (zh) * 2018-05-14 2020-01-24 南京工业大学 一种基于待测工件基元组态的智能测量系统及方法
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
CN113366529A (zh) * 2019-01-11 2021-09-07 珊克莱株式会社 护理记录装置、护理记录系统、护理记录程序及护理记录方法
CN112767300B (zh) * 2019-10-18 2024-07-09 宏达国际电子股份有限公司 自动生成手部的标注数据的方法和计算骨骼长度的方法
EP3958212A1 (en) * 2020-07-07 2022-02-23 Rakuten Group, Inc. Region extraction device, region extraction method, and region extraction program
CN114708648B (zh) * 2022-03-07 2024-07-02 杭州易视通科技有限公司 基于人工智能的手语识别方法及系统
WO2024063280A1 (ko) * 2022-09-22 2024-03-28 삼성전자 주식회사 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법
CN117648035A (zh) * 2023-12-14 2024-03-05 深圳灿和兄弟网络科技有限公司 一种虚拟手势的控制方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2832333B2 (ja) 1995-03-22 1998-12-09 株式会社エイ・ティ・アール通信システム研究所 物体の形状・姿勢検出装置
US5710833A (en) 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4611575B2 (ja) * 2001-06-20 2011-01-12 セコム株式会社 本人認証用の顔画像照合装置
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
US7460687B2 (en) 2002-07-12 2008-12-02 Honda Motor Co., Ltd. Watermarking scheme for digital video
KR100575504B1 (ko) 2003-08-11 2006-05-03 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
WO2007010893A1 (ja) * 2005-07-19 2007-01-25 Nec Corporation 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JP4930854B2 (ja) * 2005-07-19 2012-05-16 日本電気株式会社 関節物体位置姿勢推定装置及びその方法ならびにプログラム
US8135209B2 (en) 2005-07-19 2012-03-13 Nec Corporation Articulated object position and posture estimation device, method and program
JP2007065766A (ja) * 2005-08-29 2007-03-15 Sony Corp 画像処理装置および方法、並びにプログラム
US8249310B2 (en) 2005-08-29 2012-08-21 Sony Corporation Image processing apparatus and method and program
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング
WO2007138885A1 (ja) * 2006-05-26 2007-12-06 The University Of Tokyo 運動データのデータベースの構造および設計法、データベースシステム
JPWO2007138885A1 (ja) * 2006-05-26 2009-10-01 国立大学法人 東京大学 運動データのデータベースの構造および設計法、データベースシステム
US7940960B2 (en) * 2006-10-27 2011-05-10 Kabushiki Kaisha Toshiba Pose estimating device and pose estimating method
WO2008102410A1 (ja) * 2007-02-19 2008-08-28 Sony Computer Entertainment Inc. クラスタリング装置、その方法、コンピュータ、プログラムおよび記録媒体
US7719569B2 (en) 2008-05-28 2010-05-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US8013890B2 (en) 2008-05-28 2011-09-06 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method for recognizing an object with color
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
JP2012506579A (ja) * 2008-10-23 2012-03-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 画像内のジェスチャを認識するための装置、方法およびコンピュータ・プログラムと、デバイスを制御するための装置、方法およびコンピュータ・プログラム
US8570383B2 (en) 2008-10-23 2013-10-29 Fraunhofer-Gesellschaft zur Foerderung der Angewandten Forschun e.V. Apparatus, method and computer program for recognizing a gesture in a picture, and apparatus, method and computer program for controlling a device
JP2010211732A (ja) * 2009-03-12 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置および方法
JP2011154632A (ja) * 2010-01-28 2011-08-11 Toshiba Information Systems (Japan) Corp 画像処理装置、画像処理方法及び画像処理用プログラム
CN102193632A (zh) * 2011-05-11 2011-09-21 苏州佳世达电通有限公司 电子装置及其手势操作方法
JP2012242901A (ja) * 2011-05-16 2012-12-10 Panasonic Corp 操作入力装置、プログラム
CN102810239A (zh) * 2011-05-31 2012-12-05 鸿富锦精密工业（深圳）有限公司 意外防止系统及方法
JP2014522495A (ja) * 2011-06-09 2014-09-04 ジェ．エム．エール．フィ 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
JP2014235698A (ja) * 2013-06-05 2014-12-15 キヤノン株式会社 情報処理装置及びその制御方法
JP2014238727A (ja) * 2013-06-07 2014-12-18 キヤノン株式会社 情報処理装置およびその方法
WO2015015843A1 (ja) * 2013-08-02 2015-02-05 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
JPWO2015015843A1 (ja) * 2013-08-02 2017-03-02 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
JP2015125766A (ja) * 2013-12-27 2015-07-06 株式会社Ｎｔｔドコモ 画像認識装置、及び画像認識方法
JP2015170206A (ja) * 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法
JP2015184743A (ja) * 2014-03-20 2015-10-22 日本ユニシス株式会社 画像処理装置および物体認識方法
CN105866574A (zh) * 2016-03-29 2016-08-17 东莞华贝电子科技有限公司 自动化测试辅助识别方法和辅助识别系统
JP2017227687A (ja) * 2016-06-20 2017-12-28 聖 星野 カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2019164665A (ja) * 2018-03-20 2019-09-26 株式会社日立ソリューションズ・クリエイト 人物特定システム及び人物特定方法
JP2021517281A (ja) * 2019-02-26 2021-07-15 南京郵電大学Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｐｏｓｔｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ スマートホームシーン向けのマルチジェスチャー精分割方法
JP2021043730A (ja) * 2019-09-11 2021-03-18 株式会社ミクシィ 静止判定システム及びコンピュータプログラム
JP7397282B2 (ja) 2019-09-11 2023-12-13 株式会社Mixi 静止判定システム及びコンピュータプログラム
WO2021090777A1 (ja) * 2019-11-05 2021-05-14 日本電信電話株式会社 行動認識学習装置、行動認識学習方法、行動認識装置、及びプログラム
JP2021076903A (ja) * 2019-11-05 2021-05-20 日本電信電話株式会社 行動認識学習装置、行動認識学習方法、行動認識装置、及びプログラム
JP7188359B2 (ja) 2019-11-05 2022-12-13 日本電信電話株式会社 行動認識学習装置、行動認識学習方法、行動認識装置、及びプログラム
JP7485454B2 (ja) 2022-08-05 2024-05-16 Ｎｅｃソリューションイノベータ株式会社 手話翻訳処理装置、手話翻訳処理システム、手話翻訳処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
CN1191536C (zh) 2005-03-02
EP1059608A2 (en) 2000-12-13
US6819782B1 (en) 2004-11-16
CN1276572A (zh) 2000-12-13
JP4332649B2 (ja) 2009-09-16

Similar Documents

Publication Publication Date Title
JP4332649B2 (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US8620024B2 (en) System and method for dynamic gesture recognition using geometric classification
Jiang et al. Multi-layered gesture recognition with Kinect.
JP4625074B2 (ja) サインに基づく人間−機械相互作用
Yang et al. Face detection and gesture recognition for human-computer interaction
Li Gesture recognition based on fuzzy c-means clustering algorithm
JP4372051B2 (ja) 手形状認識装置及びその方法
Malassiotis et al. A gesture recognition system using 3D data
JP2003346162A (ja) 手の画像認識による入力システム
Bhuyan et al. Hand pose recognition using geometric features
Krejov et al. Multi-touchless: Real-time fingertip detection and tracking using geodesic maxima
JP2009211178A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
Bhuyan et al. Hand pose identification from monocular image for sign language recognition
Hussain et al. Hand gesture recognition system with real-time palm tracking
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
Yousefi et al. 3D gesture-based interaction for immersive experience in mobile VR
CN112381047A (zh) 一种人脸表情图像的增强识别方法
CN110516638B (zh) 一种基于轨迹和随机森林的手语识别方法
Favorskaya et al. Localization and Recognition of Dynamic Hand Gestures Based on Hierarchy of Manifold Classifiers
Aran et al. Recognizing two handed gestures with generative, discriminative and ensemble methods via Fisher kernels
Keskin et al. STARS: Sign tracking and recognition system using input–output HMMs
Panduranga et al. Dynamic hand gesture recognition system: a short survey
CN112183155B (zh) 动作姿态库建立、动作姿态生成、识别方法及装置
Farouk Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090603

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees