JP2006350434A - 手形状認識装置及びその方法 - Google Patents

Abstract

【課題】複雑な背景の画像や、照明条件の異なる画像に対しても、これに含まれる手の形状を高精度に認識できる手形状認識装置及びその方法を提供する。
【解決手段】類似度算出部４１は、手候補領域画像とテンプレート画像について類似度を算出する。一致確率算出部４２及び不一致確率算出部６１は、それぞれテンプレート画像と手候補領域画像の手形状が一致する場合及び一致しない場合の類似度の確率分布を用いて、各テンプレート画像と手候補領域画像の手形状一致確率及び不一致確率を算出する。手形状決定部は、手形状毎に算出した前記一致確率及び不一致確率より、前記手候補領域画像に最も類似した手形状を決定し、認識結果として出力する。
【選択図】 図１

Description

本発明は、手形状認識に関し、特に、画像処理により手形状を認識することができるようにした手形状認識装置及びその方法に関する。

従来、キーボードやマウス等に代わるコンピュータ等の機器における新たなヒューマンインターフェース技術として、身振りや手振りによって機器に指示を与えるジェスチャ認識技術に関する研究開発が行われてきている。

特に近年では、データグローブ等の装置を用いることによるユーザーの負担をなくすことを目的として、ビデオカメラ等によって撮影された画像に対して画像処理を行うことにより、ビデオカメラの視野に入っているユーザーの手の形状を認識する技術に関する研究開発が盛んに行われている。

例えば、特許文献１では、カメラ画像から肌色領域等の情報を用いて手の位置を検出し、手の位置及びその周辺画素の動きからユーザーの手の握り動作や振り動作を認識する技術が開示されている。

また、例えば、特許文献２では、与えられた手画像から手首より手先側の手領域画像を切り出し、これを固有空間法に基づき学習画像から生成した固有空間に投影することにより、最も類似した手形状を求める技術が開示されている。
特開２００１−３０７１０７公報 特開２００１−５６８６１公報

しかしながら、特許文献１で開示されている技術では、ジェスチャの識別に画素の動きのみを用いているため、認識可能なジェスチャの種類は手の握りや振りなど動きの変化から判別できるものに限られ、手形状の違いを識別することができない。

また、特許文献２で開示されている技術では、固有空間法を用いることにより手形状の違いを識別することができるが、入力画像から認識対象の手領域を適切に抽出できない場合については述べられていない。手の周囲及び背後に別の物体が存在する場合や、照明条件によって手の色が変化して見える場合等、認識対象となる手領域を適切に抽出することが困難な場合、手領域の画像を固有空間に投影した時に適切な位置に投影されず、誤認識が発生する可能性が高いと考えられる。

そこで、本発明は、上記問題点に鑑みなされたもので、手の周囲及び背後に物体が存在する場合や、照明条件によって手の色が変化して見える場合等、認識対象の手領域を適切に抽出することが困難な場合にも、手形状を高い精度で認識可能な手形状認識装置、及びその方法を提供する。

本発明は、人間の手の形状を認識するための手形状認識装置において、前記手を含む画像を撮像する画像入力手段と、前記入力画像から手候補領域画像を検出する手候補領域検出手段と、複数の手形状に関するテンプレート画像のそれぞれについて、当該テンプレート画像と手形状が同じで背景または照明条件が異なる複数枚の学習用手領域画像との間で第１類似度を算出すると共に、これら第１類似度の分布から当該テンプレート画像に対応する一致確率分布を求め、前記各テンプレート画像と前記各テンプレート画像に対応する一致確率分布とを蓄積するテンプレート生成・蓄積手段と、前記手候補領域画像と前記一の手形状に関するテンプレート画像との第２類似度を算出し、前記第２類似度が前記一の手形状に関するテンプレート画像に対応する一致確率分布に含まれる一致確率を算出し、前記一致確率を複数の手形状に関するテンプレート画像についてそれぞれ算出し、前記複数の一致確率に基づいて前記手候補領域画像に最も類似した手形状を求める手形状認識手段と、を備えることを特徴とする手形状認識装置である。

本発明によれば、手の周囲及び背後に物体が存在する場合や、照明条件によって手の色が変化して見える場合等、認識対象の手領域を適切に抽出することが困難な場合にも、手形状を認識可能な手形状認識装置を実現できる。

以下、本発明の実施形態である手形状認識装置について図面に基づいて説明する。

［第１の実施形態］
以下、第１の実施形態である手形状認識装置について図１〜図１２に基づいて説明する。

［１］手形状認識装置の構成
図１は、第１の実施形態に係る手形状認識装置の構成を示すブロック図である。

画像入力部１は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像装置を用いて、ユーザーの手を含む画像を撮像し、これを手候補領域検出部２に供給する。

手候補領域検出部２は、画像入力部１において撮像された画像から、手が含まれると思われる領域（以下、「手候補領域」という）を検出し、手候補領域の画像（以下、「手候補領域画像」という）を抽出する。

テンプレート生成・蓄積部３は、認識する各手形状に対応するテンプレートを生成し、蓄積する。

ジェスチャ認識部４は、手候補領域検出部１２によって生成された手候補領域画像について、テンプレート生成・蓄積部３に蓄積された各手形状に対応するテンプレートを用いて手候補領域画像に最も類似した手形状を決定し、認識結果として出力する。

なお、上記で説明した手形状認識装置の各部１〜４の機能は、コンピュータに記憶されたプログラムによって実現できる。

［２］手候補領域検出部２
［２−１］手候補領域検出部２の第１の例
手候補領域検出部２について、図２に基づいて説明する。図２は、手候補領域検出部２の構成の第１の例である。

特徴抽出部２１は、画像入力部１より供給された画像に対して、少なくとも１種類以上の画像処理を行うことにより、ｍ種類の特徴画像（ｍ＞＝１）を生成し、手候補領域決定部２２に供給する。抽出される特徴としては、画像処理等において一般的に用いられる様々な特徴を用いてよい。ここでは例として、特徴として「肌色領域情報」及び「動き情報」を用いる場合について説明する。

「肌色領域情報」は、入力画像を構成する各画素について、画素値をＹＵＶ色空間にマッピングし、その色差成分であるＵ値及びＶ値を用いてそれが肌色である確率を算出することにより求められる。前記確率の算出にあたっては、予め肌色領域が既知である学習用画像から、あるＵ値及びＶ値が観測されたときにそれが肌色である確率を算出する。

「動き情報」は、画素毎に現在のフレームにおける画像と前のフレームにおける画像のフレーム間差分値を計算し、その絶対値差分の大きさよりその画素において動きがある確率を算出することにより求められる。

手候補領域決定部２２は、特徴抽出部２１によって生成されたｍ種類の特徴画像から、手が存在する可能性が高い領域を手候補領域と決定し、入力画像から手候補領域内の画像を抽出して手候補領域画像として出力する。

手が存在する可能性が高い領域の決定にあたっては、例えば先程述べた例のように特徴を確率として求めた場合には、これらの混合正規分布を求め、これに基づき手が存在する可能性の評価を行い、確率が閾値以上となる領域を求めればよい。また、ここで述べた手法に限られることなく、例えば肌色領域として抽出された領域を手候補領域とする方法を用いても良い。この「肌色領域」は、色成分が予め定めた肌色の基準範囲内に含まれる領域から抽出できる。

［２−２］手候補領域検出部２の第２の例
図３は、手候補領域検出部２の第２の例である。図３の構成では、手候補領域記憶部２３が追加されている点が図２の第１の例と異なる。

手候補領域記憶部２３は、手候補領域決定部２２において決定された手候補領域の座標値を記憶し、次のフレームにおいて手候補領域決定部２２に前記座標値を供給する。

ここで記憶された前フレームにおける手候補領域の位置は、手候補領域の位置を算出するにあたり、特徴抽出部２１において全ての特徴が適切に抽出できなかった場合などに有効である。一般に、手の位置はフレーム間でそれほど大きく変化することはないため、前フレームにおける手候補領域の位置を活用することにより、手候補領域の位置検出精度を高めることができる。

［３］テンプレート生成・蓄積部３
図４は、テンプレート生成・蓄積部３の構成の一例である。

［３−１］テンプレート生成・蓄積部３の構成
画像蓄積部３１は、手形状毎に、対応するテンプレート画像を蓄積する。ここで「テンプレート画像」は、適度な照度であり、かつ、背景に模様等がない環境において対応する形状の手を撮像した画像であるものとする。

類似度算出部３２は、テンプレート画像と、背景に物体などがある一般的な環境において撮像された手形状が既知である画像（以下、「学習用手領域画像」という）について、その類似性を評価し、結果を類似度として出力する。なお、ここで学習用手領域画像は、手形状毎に少なくとも１枚以上である任意の枚数存在するものとし、そのそれぞれについて対応するテンプレート画像との類似度が算出されるものとする。また、学習用手領域画像は、テンプレート画像と同一のサイズに正規化されているものとする。さらに詳しく説明すると、学習用手領域画像は、同じ手形状のものでもその背景がそれぞれ異なった画像が複数枚存在し、テンプレート画像と同じ手形状の学習用手領域画像であっても背景がそれぞれ異なるために、テンプレート画像との類似度が異なってくることに着目している。

一致確率分布生成部３３は、手形状毎に、類似度算出部３２において算出されたテンプレート画像と学習用手領域画像の類似度より、手領域画像の手形状がテンプレート画像の手形状と一致している場合に類似度算出部３２が出力する類似度の確率分布（以下、「一致確率分布」という）を生成する。

一致確率分布蓄積部３４は、一致確率分布生成部３３において生成された各手形状に対応する一致確率分布を、テンプレート一致確率分布として蓄積する。

［３−２］類似度算出部３２
図５は、類似度算出部３２の構成の一例である。

特徴抽出部３２１は、入力として与えられた第１の画像に対して、少なくとも２種類以上の画像処理を行うことにより、ｎ種類の特徴画像（ｎ＞＝２）を生成し、特徴距離算出部３２３に供給する。

特徴抽出部３２２は、入力として与えられた第２の画像に対して、少なくとも２種類以上の画像処理を行うことにより、ｎ種類の特徴画像（ｎ＞＝２）を生成し、特徴距離算出部３２３に供給する。ここで、生成する特徴情報の種類は特徴抽出部３２１と同一であるものとする。

特徴距離算出部３２３は、特徴抽出部３２１及び３２２において生成された特徴画像について、特徴の種類毎にその相違を距離値として算出し、これらｎ個の距離値を要素とする類似度を出力する。

［４］ジェスチャ認識部４
図６は、ジェスチャ認識部４の構成の一例である。

類似度算出部４１は、手候補領域検出部２において抽出された手候補領域画像と、手形状毎にテンプレート生成・蓄積部３に保存されたテンプレート画像について、それぞれ類似度を算出する。なお、類似度算出部４１は、テンプレート生成・蓄積部３を構成する類似度算出部３２と同一の機能を有するものとする。

一致確率算出部４２は、類似度算出部４１において算出した類似度及びテンプレート生成・蓄積部３に保存されたテンプレート一致確率分布より、手候補領域画像に各手形状が含まれる確率を算出する。

手形状決定部４３は、一致確率算出部４２において算出した手形状毎の確率から、最も確率の高いものを選出し、対応する手形状を認識結果として出力する。

［５］テンプレート生成・蓄積処理
次に、図７のフローチャートを参照して、テンプレート生成・蓄積部３が実行するテンプレート生成・蓄積処理について説明する。なお、図７において、認識する手形状の種類の数をｇ、第ｉの手形状に対応する学習用手領域画像の枚数をｅ_ｉ（１＝＜ｉ＝＜ｇ）とする。すなわち、同じ手形状ｉのものでも、その背景がそれぞれ異なった画像をｅ_ｉ枚準備する。

［５−１］ステップＳ３１〜Ｓ３４
ステップＳ３１において、テンプレート生成・蓄積部３は手形状ｉに対応するテンプレート画像を取得し、画像蓄積部３１に蓄積する。同時に、取得したテンプレート画像を類似度算出部３２における第１の画像として供給する。

ステップＳ３２において、テンプレート生成・蓄積部３は手形状ｉであることが予め分かっている学習用手領域画像を１枚取得し、類似度算出部３２における第２の画像として供給する。

ステップＳ３３において、類似度算出部３２は供給された２枚の画像について、その類似度ｄを算出する。

以上のステップＳ３２〜Ｓ３３の処理を、ｅ_ｉ枚の学習用手領域画像のそれぞれについて行うことにより、ｅ_ｉ個の類似度値を得る。すなわち、同じ手形状ｉのものでも、その背景がそれぞれ異なれば類似度も異なるからである。

［５−２］類似度算出処理
ここで、図８のフローチャートを参照して、類似度算出部３２が実行する類似度算出処理について説明する。

［５−２−１］ステップＳ３３１〜Ｓ３３４
ステップＳ３３１において、特徴抽出部３２１は、第ｋの特徴について第１の画像（テンプレート画像）から特徴抽出処理を行い、手の第ｋの特徴を表す画像を特徴距離算出部３２３に供給する。

ステップＳ３３２において、特徴抽出部３２２は、第ｋの特徴について第２の画像（学習用手領域画像）から特徴抽出処理を行い、手の第ｋの特徴を表す画像を特徴距離算出部３２３に供給する。

ステップＳ３３３において、特徴距離算出部３２３は、第ｋの特徴について得られた２枚の処理結果画像について、その相違を第ｋの特徴についての距離値ｄ_ｋとして算出する。

以上のステップＳ３３１〜ステップＳ３３３の処理を、第１〜第ｎの特徴に対して行うことにより、ｎ個の距離値｛ｄ_１，・・・，ｄ_ｎ｝を算出する。

ステップＳ３３４において、以上で算出したテンプレート画像と学習用手領域画像における第１〜第ｎの特徴についての距離値を要素とする類似度ｄ＝｛ｄ_１，・・・，ｄ_ｎ｝を出力し、類似度算出処理を終了する。

［５−２−２］類似度算出処理
類似度算出処理において用いる特徴は、画像処理等において一般的に用いられる様々な特徴を用いてよい。ここでは一例として、特徴として手の模様及び輪郭を用いる場合について説明する。

手の模様を表す特徴画像は、ステップＳ３３１及びステップＳ３３２において、第１の画像及び第２の画像のそれぞれについてエッジ抽出処理を行うことにより生成する。ここで、エッジ抽出の手法としては、例えば、非特許文献１（D ｍartin et al, "Learning to detect natural iｍage boundaries using local brightness, color, and texture cues," IEEE Trans. Pattern Analysis and ｍachine Intelligence, 26(5), 530-549, 2004）に記載されているOriented Edge Energyに基づく手法を用いることにより、様々な環境下において安定して画像の模様を抽出することができるが、上記手法に限定されることなく、一般に用いられている様々なエッジ抽出手法を用いることができる。

手の輪郭を表す特徴画像は、ステップＳ３３１及びステップＳ３３２において、第１の画像（テンプレート画像）及び第２の画像（学習用手領域画像）のそれぞれについて肌色領域抽出処理を行うことにより生成する。ここで、肌色領域抽出処理の方法としては、例えば画像を構成する各画素のＲＧＢ値をＹＵＶ値に変換し、その色差成分であるＵ値及びＶ値から肌色と思われる画素を画素値１、その他の画素を画素値０としたモノクロ画像を生成する方法などが考えられる。この「肌色と思われる画素」の判定には、例えば上述した確率が閾値以上となる領域を肌色と判定する手法や、ＹＵＶ値が予め定めた肌色の基準の範囲内である画素を肌色と判定する手法が考えられる。

手の模様を表す特徴画像についての距離値の算出は、ステップＳ３３３において次の手順により行われる。まず、テンプレート画像及び学習用手領域画像の画素数をｍｘｎ画素であるとすると、これを図９に示すようにラスタスキャンを行うことにより、それぞれ次元数ｍ・ｎのベクトルｕ^Ｅ、ｖ^Ｅを生成する。次に、式（１）を用いることにより距離値ｄ^Ｅを算出する。

手の輪郭を表す特徴画像についての距離値の算出は、ステップＳ３３３において次の手順により行われる。まず、テンプレート画像及び学習用手領域画像の画素数をｍｘｎ画素であるとすると、これを図１０に示すようにラスタスキャンを行うことにより、それぞれ次元数ｍ・ｎのベクトルｕ^Ｅ、ｖ^Ｅを生成する。次に、式（２）を用いることにより距離値ｄ^Ｃを算出する。

以上のようにして得られた２個の距離値を要素として、ステップＳ３３４においてテンプレート画像と学習用手領域画像における類似度ｄ＝｛ｄ^Ｅ，ｄ^Ｃ｝が出力される。

［５−３］ステップＳ３５
再び図７のフローチャートに戻り、テンプレート生成・蓄積処理の説明を続ける。

ステップＳ３５において、一致確率分布生成部３３は、類似度算出部３２によって算出されたｅ_ｉ個の類似度より、手領域画像が手形状ｉである場合における、手領域画像と手形状ｉのテンプレート画像の類似度の確率分布をｎ次元の正規分布Ｎ_ｉ＝（μ_ｉ，Σ_ｉ）として算出する。図１１は、先の例で説明した手の模様及び輪郭の２種類の特徴を用いた場合において算出された類似度の分布を表わすグラフである。これらの類似度の分布より、２次元正規分布Ｎ_ｉを算出する。求めた正規分布Ｎ_ｉは、手形状ｉのテンプレート画像に対応する一致確率分布Ｎ_ｉとして、一致確率分布蓄積部３４に蓄積される。

以上のステップＳ３１〜ステップＳ３５の処理を、手形状１〜手形状ｇに対して行うことにより、各手形状に対応する一致確率分布｛Ｎ_１，・・・，Ｎ_ｇ｝を算出し、これを一致確率分布蓄積部３４に蓄積する。

［６］ジェスチャ認識処理
次に、図１２のフローチャートを参照して、ジェスチャ認識部４が実行するジェスチャ認識処理について説明する。

ステップＳ４１において、ジェスチャ認識部４は、手候補領域画像を手候補領域検出部２より取得し、これをテンプレート画像のサイズに正規化した上で、第２の画像として類似度算出部４１に供給する。

ステップＳ４２において、ジェスチャ認識部４は、手形状ｉに対応するテンプレート画像をテンプレート画像生成・蓄積部３より取得し、これを第１の画像として類似度算出部４１に供給する。

ステップＳ４３において、類似度算出部４１は、供給された２枚の画像（手候補領域画像とテンプレート画像）について、その類似性を評価し、結果を類似度ｄ_ｉとして出力する。ここで、類似度算出処理は、テンプレート生成・蓄積部３における類似度算出処理と同様の特徴を用いて、図８のフローチャートに記載した方法により行う。

ステップＳ４４において、一致確率算出部４２は、手形状ｉに対応するテンプレート一致確率分布Ｎ_ｉ＝（μ_ｉ，Σ_ｉ）をテンプレート生成・蓄積部３より取得し、類似度算出部４１において算出した類似度ｄ_ｉから、式（３）の確率密度関数を用いて手候補領域画像に含まれる手形状が手形状ｉである一致確率ｐ_ｉを算出する。

以上に述べたステップＳ４２〜ステップＳ４４の処理を、手形状１〜手形状ｇに対して行うことにより、手候補領域画像に含まれる手形状がそれぞれの手形状である一致確率｛ｐ_１，・・・，ｐ_ｇ｝を算出する。

ステップＳ４５において、手形状決定部４３は、一致確率算出部４２において算出された各手形状に対応する一致確率から、最も高い確率である手形状を選択し、これを認識結果として出力する。

すなわち、このジェスチャ認識処理では、まず、入力した１枚の手候補領域画像と手形状１のテンプレート画像との類似度ｄ_１をそれぞれ計算する。次に、類似度ｄ_１がテンプレート一致確率分布Ｎ_１＝（μ_１，Σ_１）に含まれる確率ｐ_１を計算する。そして、この処理を１枚の手候補領域画像に対して手形状２〜手形状ｇのテンプレート画像で同じ計算を行い、確率｛ｐ_１，・・・，ｐ_ｇ｝を算出する。最後に、この中で最も高い確率ｐに対応する手形状を認識結果として出力する。

［７］本実施形態の効果
以上のように、第１の実施形態に係る手形状認識装置においては、２種類以上の特徴に基づいた一致確率分布を用いてジェスチャの認識を行うことにより、照度や背景などの環境の変化によって特徴の一つを適切に抽出できない場合にも、抽出できた他の特徴により手候補領域画像とテンプレート画像との類似性を適切に評価することができるため、環境の変化に対して高い認識性能を実現できる。

［第２の実施形態］
以下、第２の実施形態である手形状認識装置について図１３〜図１８に基づいて説明する。

［１］第２の実施形態の目的
第１の実施形態に係る手形状認識装置においては、２種類以上の特徴に基づく一致確率分布を用いてジェスチャの認識を行うことにより高い認識性能を実現しているが、手形状が一致する確率のみに基づき手形状を決定するため、手形状が一致する場合と一致しない場合における類似度の違いが小さい場合、誤認識する可能性が高くなってしまう。

そこで、第２の実施形態に係る手形状認識装置においては、手候補領域画像に含まれる手形状とテンプレート画像の手形状が一致する一致確率に加えて、手形状が一致しない不一致確率も算出し、これらの確率を用いて手形状を決定することにより、高い認識性能を実現する。

［２］手形状認識装置の構成
図１３は、第２の実施形態に係る手形状認識装置の構成を示すブロック図である。

図１３に示すように、本実施形態においては、テンプレート生成・蓄積部５及びジェスチャ認識部６の機能が変更されたことが第１の実施形態と異なっている。以後の説明において、第１の実施形態と同一の構成及び機能のブロックについては同一符号を記し、説明を省略する。

［３］テンプレート生成・蓄積部５
図１４は、テンプレート生成・蓄積部５の構成を示すブロック図である。本実施形態は、図４のテンプレート生成・蓄積部３に対して、不一致確率分布生成部５１及び不一致確率分布蓄積部５２が追加されている点が異なる。

画像蓄積部３１、類似度算出部３２、一致確率分布生成部３３及び一致確率分布蓄積部３４は、機能が図４のものと同一であることから、ここでの説明は省略する。

不一致確率分布生成部５１は、手形状毎に、類似度算出部３２において算出されたテンプレート画像と学習用手領域画像の類似度より、手領域画像の手形状がテンプレート画像の手形状と一致していない場合に類似度算出部３２が出力する類似度の確率分布（以下、「不一致確率分布」という）を生成する。

不一致確率分布蓄積部５２は、不一致確率分布生成部５１において生成された各手形状に対応する不一致確率分布を、テンプレート不一致確率分布として蓄積する。

［４］ジェスチャ認識部６
図１５は、ジェスチャ認識部６の構成を示すブロック図である。本実施形態は、図６のジェスチャ認識部４に対して、不一致確率算出部６１が追加されている点及び手形状決定部６２の機能が変更されている点が異なる。

類似度算出部４１及び一致確率算出部４２は、機能が図６のものと同一であることから、ここでの説明は省略する。

不一致確率算出部６１は、類似度算出部４１において算出した類似度及びテンプレート生成・蓄積部５に保存されたテンプレート不一致確率分布より、手候補領域画像に含まれる手形状が各テンプレートの手形状と一致しない確率を算出する。

手形状決定部６２は、一致確率算出部４２において算出した一致確率及び不一致確率算出部６１において算出した不一致確率の値から、不一致確率に対する一致確率の比率が最も高い手形状を、手候補領域画像の手形状であると決定し、認識結果として出力する。

［５］テンプレート生成・蓄積処理
次に、図１６のフローチャートを参照して、テンプレート生成・蓄積部５が実行するテンプレート生成・蓄積処理について説明する。なお、図１６において、生成するテンプレートの数をｇ、学習用手形状画像の総数をｅとする。

ステップＳ５１において、テンプレート生成・蓄積部５は手形状ｉに対応するテンプレート画像を取得し、画像蓄積部３１に保存する。同時に、取得したテンプレート画像を類似度算出部３２における第１の画像として供給する。

ステップＳ５２において、テンプレート生成・蓄積部５は学習用手形状画像を１枚取得し、類似度算出部３２における第２の画像として供給する。ここでは、図７におけるステップＳ３２の処理と異なり、その手形状に関係なく全ての学習用手形状画像を処理対象とする。

ステップＳ５３において、類似度算出部３２は供給された２枚の画像について、その類似度を算出する。類似度算出処理の内容は第１の実施形態と同様であるから、ここでの説明は省略する。

以上のステップＳ５２〜Ｓ５３の処理をｅ枚の学習用手形状画像に対して行うことにより、第１の手形状に対応するテンプレート画像と、ｅ枚の学習用手形状画像のそれぞれの類似度を得る。

ステップＳ５４において、一致確率分布生成部３３は、類似度算出部３２によって算出されたｅ個の類似度の値のうち、手形状ｉである学習用手形状画像に対応するもののみを用いて、手領域画像が手形状ｉである場合における、手領域画像と手形状ｉのテンプレート画像の類似度の確率分布をｎ次元の正規分布Ｎ_ｉ＝（μ_ｉ，Σ_ｉ）として算出し、これを一致確率分布蓄積部３４に蓄積する。

ステップＳ５５において、不一致確率分布生成部５１は、類似度算出部３２によって算出されたｅ個の類似度の値のうち、手形状ｉではない学習用手形状画像に対応するもののみを用いて、手領域画像が手形状ｉではない場合における、手領域画像と手形状ｉのテンプレート画像の類似度の確率分布をｎ次元の正規分布Ｎ_ｉＦ＝（μ_ｉＦ，Σ_ｉＦ）として算出し、これを不一致確率分布蓄積部５２に蓄積する。

図１７は、図８の類似度算出処理の説明において例として取り上げた、手の模様及び輪郭の２種類の特徴を用いた場合において得られる類似度の２次元分布である。これらの類似度の分布より、２次元正規分布Ｎ_ｉ及びＮ_ｉＦを算出し、これらを一致確率分布及び不一致確率分布としてそれぞれ一致確率分布蓄積部３４及び不一致確率分布蓄積部５２に蓄積する。

以上のステップＳ５１〜Ｓ５５の処理を、手形状１〜手形状ｇに対して行うことにより、各手形状に対応するテンプレートを作成する。

［６］ジェスチャ認識処理
次に、図１８のフローチャートを参照して、ジェスチャ認識部６が実行するジェスチャ認識処理について説明する。

ステップＳ４１〜Ｓ４４の処理は、図１２で説明したジェスチャ認識処理と同一であることから、ここでの説明は省略する。

ステップＳ６５において、不一致確率算出部６１は手形状ｉに対応するテンプレート不一致確率分布Ｎ_ｉＦ＝（μ_ｉＦ，Σ_ｉＦ）をテンプレート生成・蓄積部５より取得し、類似度算出部４１において算出した類似度ｄ_ｉから、式（４）の確率密度関数を用いて手候補領域画像に含まれる手形状が手形状ｉではない不一致確率ｐ_ｉＦを算出する。

以上に述べたステップＳ４２〜Ｓ４４及びステップＳ６５の処理を、手形状１〜手形状ｇに対して行うことにより、手候補領域画像に含まれる手形状がそれぞれの手形状と一致しない不一致確率｛ｐ_１F，・・・，ｐ_ｇＦ｝を算出する。

ステップＳ６６において、手形状決定部６２は、各手形状について、一致確率算出部４２及び不一致確率算出部６１において算出された一致確率及び不一致確率の値から、手候補領域画像に含まれる手形状として最も確からしい手形状を選択し、これを認識結果として出力する。確からしさの判断方法としては、例えば、手形状毎に一致確率ｐ_ｉと不一致確率ｐ_ｉＦの差を求め、最も差の大きい手形状を求める手形状とする手法や、一致確率ｐ_ｉを不一致確率ｐ_ｉＦで除算した値が最も大きい手形状を求める手法など、一致確率ｐ_ｉと不一致確率ｐ_ｉＦとの大きさの違いに着目する手法が考えられる。

［７］本実施形態の効果
以上のように、第２の実施形態に係る手形状認識装置においては、一致確率に加えて不一致確率も用いてジェスチャの認識を行うことにより、テンプレート画像と手候補領域画像の手形状が一致する時と一致しない時の類似度に大きな違いが生じない場合においても、高い認識性能を実現できる。

［第３の実施形態］
以下、第３の実施形態である手形状認識装置について図１９〜図２２に基づいて説明する。

［１］第３の実施形態の目的
上記各実施形態では、テンプレート画像と手候補領域画像を比較することにより手形状の識別を行っている。そして、ジェスチャ認識処理を行う際、手候補領域画像の大きさをテンプレート画像の大きさに正規化することにより、画像入力装置と手の距離によらず手形状を認識することができる。

しかしながら、手候補領域検出処理において、処理に用いる特徴が照明や背景等の環境の影響により適切に検出できない場合や、手候補領域における手の向きがテンプレート画像における手の向きと異なる場合には、上記の正規化を行っても適切な手形状を決定できない場合がある。

そこで、第３の実施形態に係る手形状認識装置においては、テンプレート画像の変形を行う画像変形部を備えることにより、手候補領域が適切に切り出せない場合や、手候補領域画像における手の向きがテンプレート画像における手の向きと異なる場合にも、手形状の識別を実現する。

［２］手形状認識装置の構成
図１９は、第３の実施形態に係る手形状認識装置の構成を示すブロック図である。

図１９に示すように、本実施形態においては、ジェスチャ認識部７の機能が変更されたことが第１の実施形態と異なっている。以後の説明において、第１の実施形態と同一の構成及び機能のブロックについては同一符号を記し、説明を省略する。

［３］ジェスチャ認識部７
図２０は、ジェスチャ認識部７の構成を示すブロック図である。本実施形態は、図６のジェスチャ認識部４に対して、画像変形部７１が新たに追加されている点が異なる。

類似度算出部４１、一致確率算出部４２及び手形状決定部４３は、図６のものと機能が同一であるため、ここでの説明を省略する。

画像変形部７１は、図２１に示すように入力画像を回転、拡大／縮小、平行移動及びこれらの組み合わせによって変形させる機能を有する。

［４］ジェスチャ認識処理
次に、図２２のフローチャートを参照して、ジェスチャ認識部７が実行するジェスチャ認識処理について説明する。

ステップＳ４１において、ジェスチャ認識部７は、手候補領域画像を取得し、これをテンプレート画像の大きさに正規化した上で類似度算出部４１における第２の画像として供給する。

ステップＳ７１において、ジェスチャ認識部７は、第１の手形状に対応するテンプレート画像を取得し、これを画像変形部７１に供給する。

ステップＳ７２において、画像変形部７１は、入力として与えられたテンプレート画像について、回転、拡大／縮小、平行移動及びこれらを組み合わせることにより変形を行った画像を生成し、これを類似度算出部４１における第１の画像として供給する。

画像の変形は、例えば以下のような行列を用いることにより行う。

式（５）において、θ、ｓ、ｔｘ、ｔｙはそれぞれ回転角、拡大率、Ｘ方向及びＹ方向の移動量を表わす。

上記変形を行ったテンプレート画像と、入力された手候補領域画像について、ステップＳ４３及びＳ４４の処理を行うことにより、２枚の画像の手形状一致確率を算出する。これらのステップにおける処理の内容は図１２における該当ステップと同一であるから、ここでの説明は省略する。

ステップＳ４５において用いる手形状の一致確率は、手形状毎にテンプレートをｔ通りのパラメータを用いて変形を行ってそれぞれ一致確率を算出し、これらの中から最大のものを用いるものとする。

［５］本実施形態の効果
以上のように、第３の実施形態に係る手形状認識装置においては、テンプレート画像の変形を行う画像変形部を備えることにより、手候補領域が適切に切り出せない場合や、手候補領域画像における手の向きがテンプレート画像における手の向きと異なる場合であっても、それがある一定の範囲内であれば、適切な手形状を選択して出力することができる。

［変更例］
上記各実施形態は本発明を実施するための一例であり、本発明は上記各実施形態に限られるものではない。本発明の主旨を逸脱しない限り、上記各実施形態を種々に変更することができる。

例えば、第１の実施形態では一致確率分布のみを用いて判断し、第２の実施形態では一致確率分布と不一致確率分布を用いて判断したが、変更例として不一致確率分布のみを用いて判断してもよい。

本発明の第１の実施形態の手認識装置のブロック図である。 手候補領域検出部２の構成を示すブロック図である。 手候補領域検出部２の他の構成を示すブロック図である。 テンプレート生成・蓄積部３の構成を示すブロック図である。 類似度算出部３２の構成を示すブロック図である。 ジェスチャ認識部４の構成を示すブロック図である。 テンプレート生成・蓄積処理を説明するフローチャートである。 図７のステップＳ３３の類似度算出処理を説明するフローチャートである。 模様画像からのベクトル作成を説明する図である。 輪郭画像からのベクトル作成を説明する図である。 一致確率分布生成部３３において生成される一致確率分布の一例である。 ジェスチャ認識処理を説明するフローチャートである。 第２の実施形態の手認識装置のブロック図である。 テンプレート生成・蓄積部５の構成を示すブロック図である。 ジェスチャ認識部６の構成を示すブロック図である。 テンプレート生成・蓄積部５において行われるテンプレート生成・蓄積処理を説明するフローチャートである。 手の模様及び輪郭の２種類の特徴を用いた場合において得られる類似度の２次元分布である。 ジェスチャ認識部６において行われるジェスチャ認識処理を説明するフローチャートである。 第３の実施形態の手認識装置のブロック図である。 ジェスチャ認識部７の構成を示すブロック図である。 テンプレートの変形について説明する図である。 ジェスチャ認識部７において行われるジェスチャ認識処理を説明するフローチャートである。

符号の説明

１ 画像入力部
２ 手候補領域検出部
３ テンプレート生成・蓄積部
４ ジェスチャ認識部
５ テンプレート生成・蓄積部
６ ジェスチャ認識部
７ ジェスチャ認識部
２１ 第１〜第ｍ特徴抽出部
２２ 手候補領域決定部
２３ 手候補領域記憶部
３１ 画像蓄積部
３２ 類似度算出部
３３ 一致確率分布生成部
３４ 一致確率分布蓄積部
４１ 類似度算出部
４２ 一致確率算出部
４３ 手形状決定部
５１ 不一致確率分布生成部
５２ 不一致確率分布蓄積部
６１ 不一致確率算出部
６２ 手形状決定部
７１ 画像変形部
３２１ 第１〜第ｎ特徴抽出部
３２２ 第１〜第ｎ特徴抽出部
３２３ 第１〜第ｎ特徴距離算出部

Claims (9)

1. 人間の手の形状を認識するための手形状認識装置において、
   前記手を含む画像を撮像する画像入力手段と、
   前記入力画像から手候補領域画像を検出する手候補領域検出手段と、
   複数の手形状に関するテンプレート画像のそれぞれについて、当該テンプレート画像と手形状が同じで背景または照明条件が異なる複数枚の学習用手領域画像との間で第１類似度を算出すると共に、これら第１類似度の分布から当該テンプレート画像に対応する一致確率分布を求め、前記各テンプレート画像と前記各テンプレート画像に対応する一致確率分布とを蓄積するテンプレート生成・蓄積手段と、
   前記手候補領域画像と前記一の手形状に関するテンプレート画像との第２類似度を算出し、前記第２類似度が前記一の手形状に関するテンプレート画像に対応する一致確率分布に含まれる一致確率を算出し、前記一致確率を複数の手形状に関するテンプレート画像についてそれぞれ算出し、前記複数の一致確率に基づいて前記手候補領域画像に最も類似した手形状を求める手形状認識手段と、
   を備える
   ことを特徴とする手形状認識装置。
2. 前記手形状認識手段は、前記複数の一致確率の中で最も高い確率のテンプレート画像に対応する手形状を前記手候補領域画像に最も類似した手形状とする
   ことを特徴とする請求項１記載の手形状認識装置。
3. 前記テンプレート生成・蓄積手段は、任意の手形状を予め撮像したテンプレート画像と、前記任意の手形状とは異なる手形状が背景と共に予め撮像され、かつ、前記背景や照明条件のみが異なる複数枚の学習用手領域画像とについて第３類似度をそれぞれ算出し、これら第３類似度の分布を不一致確率分布として算出し、前記不一致確率分布を複数の手形状に関するテンプレート画像毎にそれぞれ求め、前記各テンプレート画像及び前記各テンプレート画像に対応する一致確率分布と共に蓄積し、
   前記手形状認識手段は、前記一の手形状に関するテンプレート画像に対応する不一致確率分布に含まれる不一致確率を算出し、前記類似度が前記不一致確率を複数の手形状に関するテンプレート画像についてそれぞれ算出し、前記複数の一致確率と前記複数の不一致確率に基づいて前記手候補領域画像に最も類似した手形状を求める
   ことを特徴とする請求項１記載の手形状認識装置。
4. 前記手形状認識手段は、前記複数の一致確率と前記複数の不一致確率とを手形状毎に差し引き、最も差の大きい手形状を前記手候補領域画像に最も類似した手形状とする
   ことを特徴とする請求項３記載の手形状認識装置。
5. 前記第１類似度、前記第２類似度、または、前記第３類似度を求める類似度算出手段を有し、
   前記類似度算出手段は、
   一の画像についてｎ種類の特徴画像を生成し、
   前記一の画像と比較する他の画像についてｎ種類の特徴画像を生成し、
   前記種類毎に前記一の画像の特徴画像と前記他の画像の特徴画像を比較して両者の距離値をｎ個算出し、
   前記ｎ個の距離値を前記第１類似度、前記第２類似度、または、前記第３類似度とする
   ことを特徴とする請求項１〜４の中で少なくとも一項に記載の手形状認識装置。
6. 前記入力画像に対して回転、拡縮、平行移動、または、これらを組み合わせた操作を施すことにより変形させた画像を生成する画像変形手段をさらに有し、
   前記手形状認識手段は、前記一致確率が最大となるように、前記画像変形手段を用いてテンプレート画像もしくは手候補領域の画像を変形させる
   ことを特徴とする請求項１記載の手形状認識装置。
7. 前記手候補領域検出手段は、前記入力画像より抽出された少なくとも１種類以上の特徴情報及び過去のフレームにおける手候補領域の位置より、手候補領域である可能性に関する混合正規分布を求め、これに基づき現在のフレームにおける手候補領域画像を決定する
   ことを特徴とする請求項１記載の手形状認識装置。
8. 人間の手の形状を認識するための手形状認識方法において、
   前記手を含む画像を撮像する画像入力ステップと、
   前記入力画像から手候補領域画像を検出する手候補領域検出ステップと、
   複数の手形状に関するテンプレート画像のそれぞれについて、当該テンプレート画像と手形状が同じで背景または照明条件が異なる複数枚の学習用手領域画像との間で第１類似度を算出すると共に、これら第１類似度の分布から当該テンプレート画像に対応する一致確率分布を求め、前記各テンプレート画像と前記各テンプレート画像に対応する一致確率分布とを蓄積するテンプレート生成・蓄積ステップと、
   前記手候補領域画像と前記一の手形状に関するテンプレート画像との第２類似度を算出し、前記第２類似度が前記一の手形状に関するテンプレート画像に対応する一致確率分布に含まれる一致確率を算出し、前記一致確率を複数の手形状に関するテンプレート画像についてそれぞれ算出し、前記複数の一致確率に基づいて前記手候補領域画像に最も類似した手形状を求める手形状認識ステップと、
   を備える
   ことを特徴とする手形状認識方法。
9. 人間の手の形状を認識するための手形状認識プログラムにおいて、
   前記手を含む画像を撮像する画像入力機能と、
   前記入力画像から手候補領域画像を検出する手候補領域検出機能と、
   複数の手形状に関するテンプレート画像のそれぞれについて、当該テンプレート画像と手形状が同じで背景または照明条件が異なる複数枚の学習用手領域画像との間で第１類似度を算出すると共に、これら第１類似度の分布から当該テンプレート画像に対応する一致確率分布を求め、前記各テンプレート画像と前記各テンプレート画像に対応する一致確率分布とを蓄積するテンプレート生成・蓄積機能と、
   前記手候補領域画像と前記一の手形状に関するテンプレート画像との第２類似度を算出し、前記第２類似度が前記一の手形状に関するテンプレート画像に対応する一致確率分布に含まれる一致確率を算出し、前記一致確率を複数の手形状に関するテンプレート画像についてそれぞれ算出し、前記複数の一致確率に基づいて前記手候補領域画像に最も類似した手形状を求める手形状認識機能と、
   をコンピュータによって実現する
   ことを特徴とする手形状認識プログラム。
   

Images