JP2009080539A - ジェスチャ認識装置及びその方法 - Google Patents

Abstract

【課題】認識対象範囲を狭めたりすることなく、離れた位置で行われるジェスチャを認識できるジェスチャ認識装置を提供する。
【解決手段】画像入力部１、オブジェクト検出部２、制御部３、ジェスチャ認識部４から構成され、低解像度で検出部位が検出されないときに代わりに補助部位を検出し、補助部位の位置に基づき補助部位の位置を推定してその近辺を高解像度の画像から切り出すことにより、オブジェクト検出部２に単位時間当たりに入力される画像の枚数を削減することなく高解像度の画像を用いて検出部位を検出できる。
【選択図】 図１

Description

本発明は、操作者の体の一部または全体を含む画像を撮影し、体の部位の位置及び姿勢を画像処理によって認識するジェスチャ認識装置及びその方法に関する。

現在、テレビやコンピュータ等の機器を操作するためのインターフェース装置としては、リモコンやキーボード、マウスなどの指示装置を用いて操作を行うものが一般的である。しかしながら、これらのインターフェース装置では、指示装置を介しての操作を行うために必ずしも直感的でわかりやすいものとはなっていない。また、指示装置を紛失してしまうとインターフェース装置を利用できなくなってしまう。

そこで、上記問題点を解決するためのインターフェース装置の一つとして、操作者が体の一部または全体を動かしたり姿勢を変化させたりなどすることにより、指示装置を用いることなく機器の操作を実現する、ジェスチャユーザーインターフェース装置に関する技術が提案されてきた。

例えば、特許文献１では、ディスプレイに内蔵されたＣＣＤカメラによって撮影した操作者を含む画像から、操作者の手の形状及び動き（ハンドジェスチャ）を認識し、これに基づき画面に表示されている指示アイコンの形状及び位置を変化させるといった表示制御を行うことにより、ハンドジェスチャによる指示を可能にしたインターフェース装置が開示されている。

一般に、上記特許文献１のように入力画像からジェスチャを認識する装置において、操作者のジェスチャを認識するためには、入力画像上において操作者の体の部位に対応する画像領域が所定の大きさ以上である必要がある。このため、装置が認識するジェスチャの最大距離は、装置に入力される画像の解像度に依存する。従って、装置に入力される画像の解像度を高めることにより、装置からより離れた位置で行われるジェスチャを認識できるようになる。
特開２００４−７８９７７公報

しかしながら、一般には装置に対して単位時間当たり入力できるデータ量に制限がある。入力画像が含む撮像領域を変更せずに解像度を高めた場合、入力画像を構成する画素数は増大するため、単位時間当たり入力できる画像の枚数は減少してしまう。これにより、ジェスチャ認識に基づくインターフェース装置では、操作者のジェスチャに対して装置が即座に応答できなくなり、操作性が損なわれてしまうという問題点がある。

一方、入力画像を構成する画素数を一定に保ちながら解像度を高めるためには、入力画像が含む撮像領域を狭める必要がある。これにより、ジェスチャ認識装置が認識する手の水平方向及び垂直方向の認識対象範囲が狭まってしまうため、やはり操作性が損なわれてしまうという問題点がある。

そこで本発明は、上記問題点に鑑みなされたもので、装置に入力される画像の単位時間当たりの枚数を減らしたり、認識対象範囲を狭めたりすることなく、装置からより離れた位置で行われるジェスチャを認識できるジェスチャ認識装置及びその方法を提供することを目的とする。

本発明は、一または数フレーム毎に解像度を切り替えて、動画像を撮像できる撮像部と、前記動画像の中の第１解像度で撮像された第１画像から、ジェスチャを示す操作者の体の部位である検出部位を含む検出領域を検出する第１検出部と、前記検出領域が検出できないときに、前記検出部位を検出するために用いる補助部位を含む補助領域を前記第１解像度で撮像した第２画像から検出する第２検出部と、前記補助領域を検出したときに、前記第１解像度より高い第２解像度によって前記撮像部を用いて第３画像を撮像するように制御する制御部と、前記検出領域と前記補助領域の予め定められた位置関係に基づいて、前記検出領域を前記第３画像から検出する第３検出部と、前記第１画像の全体領域、または、前記第３画像の中の前記検出領域に基づいて、前記ジェスチャを認識するジェスチャ認識部と、を備えるジェスチャ認識装置である。

本発明によれば、ジェスチャ認識の応答性及び水平、垂直方向の認識対象範囲を犠牲にすることなく、装置からより離れた位置で行われるジェスチャを認識できる。

以下、本発明の実施の一形態であるジェスチャ認識装置について、図１〜図８に基づいて説明する。

（１）ジェスチャ認識装置の構成
図１は、第１の実施形態にかかるジェスチャ認識装置の構成を示すブロック図である。

ジェスチャ認識装置は、画像入力部１、オブジェクト検出部２、制御部３、ジェスチャ認識部４から構成される。

画像入力部１は、例えばＣＣＤビデオカメラなどの撮像装置を用いて、操作者の体の一部または全体を含む動画像を撮像し、これをオブジェクト検出部２に供給する。

オブジェクト検出部２は、入力された動画像から、任意の個数の検出部位及び補助部位を検出し、検出したそれぞれの部位を含む領域を検出領域及び補助領域として出力する。ここで、検出部位は、ジェスチャ認識装置において認識対象としている操作者の体の部位であり、補助部位は、検出部位を検出するために用いる操作者の体の別の部位であるものとする。例えば、検出部位として操作者の手を、補助部位として操作者の顔を用いることにより、操作者の手を検出できないときに、操作者の顔を検出することによって操作者の手の位置及び大きさを推定するといったことが考えられる。

制御部３は、オブジェクト検出部２が出力する検出結果に基づいて、画像入力部１が入力する画像の解像度及び撮像領域の制御を行う。

ジェスチャ認識部４は、検出された検出部位に基づいてジェスチャの認識を行う。

各部１〜４の機能は、コンピュータに格納されたプログラムによっても実施可能である。

（２）画像入力部１
図２は、画像入力部１の構成例である。

撮像部１１は、例えばＣＣＤカメラなどの撮像装置を用いて、操作者を含む画像を撮像する。ここで、撮像部１１は、例えば低解像度と高解像度の２種類の解像度で撮像する機能を有するものとする。

撮像画像切り出し部１２は、撮像部１１が出力する画像について、その任意の領域を切り出して出力する。

（３）オブジェクト検出部２
オブジェクト検出部２の構成例として、例えば、米国特許出願公開第２００２／０１０２０２４号に記載されている対象物評価装置を参考にして説明する。

図３は、オブジェクト検出部２のブロック図である。図３に示すように、オブジェクト検出部２は、部分領域画像生成部２１と対象物検出部２２と辞書格納部２３から構成される。

（３−１）部分領域画像生成部２１
部分領域画像生成部２１は、入力画像上のさまざまな位置にさまざまな大きさの部分領域を設定し、この部分領域内の画像を切り出して対象物検出部２２に供給する。ここで部分領域は、例えば図４に示すように、ｎ種類のウィンドウサイズを用意し、そのそれぞれについて画面を走査させることによって設定する。

（３−２）対象物検出部２２
対象物検出部２２は、入力として与えられた部分領域画像を所定のサイズに正規化を行った上で、辞書格納部２３に格納された辞書データを用いることにより、対象物かどうか判定を行う。

対象物であるかどうかの判定は、図５のように直列にｍ個接続された強識別器Ｓ（１），・・・，Ｓ（ｍ）によって行われる。これらの強識別器Ｓは、それぞれｎ（ｍ）個の弱識別器Ｗ（１），・・・，Ｗ（ｎ）によって構成されており、各弱識別器Ｗは、正規化された入力画像中の特定部分を評価することにより、対象物であるかどうかを判定する。

各強識別器Ｓは、構成するｎ（ｍ）個の弱識別器Ｗの判定結果を総合的に評価し、対象物であるかどうかを決定する。直列に接続された全ての強識別器Ｓが対象物であると決定した場合のみ、対象物検出部２２は、入力画像を対象物として決定する。

（３−２−１）弱識別器Ｗ
弱識別器Ｗによる入力画像の評価方法について、図６を用いて説明する。

入力として与えられた部分領域画像は、Ｎ×Ｎの大きさに正規化された後、強識別器ｉを構成する各弱識別器Ｗ（ｉ，１），・・・，Ｗ（ｉ，ｎ（ｉ））において対象物かどうか判定される。

対象物判定は、弱識別器Ｗ毎に定義されている領域Ａ及び領域Ｂについて、それぞれ領域内の全画素の輝度値の和ＳＡ及びＳＢを求め、その差を対象物判定閾値Ｔと比較することにより行う。ここで、領域Ａ及び領域Ｂは、それぞれ図６に示すような１または２個の矩形領域によって表わされる。具体的な領域Ａ及び領域Ｂの位置や形状及び対象物判定閾値Ｔについては、予め対象物画像及び非対象物画像を用いた学習により、対象物と非対象物を効果的に判別できるようなものを選んでおく。

これら弱識別器Ｗによる判定結果ｈ（ｉ，ｊ，ｘ）は、以下の（１）式によって求められる。

但し、ＳＡ（ｉ，ｊ，ｘ）、ＳＢ（ｉ，ｊ，ｘ）、Ｔ（ｉ，ｊ）は、それぞれ強識別器Ｓｉを構成する弱識別器Ｗｊにおいて、入力画像ｘが与えられたときの領域Ａ及び領域Ｂの輝度値の和及び対象物判定閾値である。

また、ｐ（ｉ，ｊ）＝｛１，−１｝はパリティを意味し、ｐ（ｉ，ｊ）＝−１の時は、ＳＡ（ｉ，ｊ，ｘ）−ＳＢ（ｉ，ｊ，ｘ）がＴ（ｉ，ｊ）より小さいときに対象物として判定される。

（３−２−２）強識別器ｉ
強識別器ｉによる判定について説明する。

強識別器ｉの判定結果Ｈ（ｉ，ｘ）は、各弱識別器Ｗによる評価結果ｈ（ｉ，ｊ，ｘ）から以下の（２）式によって得られる。

ここでα（ｉ，ｊ）は、弱識別器Ｗ（ｉ，ｊ）の信頼性を表わしており、これは学習用画像における正答率に基づき決定される。

（３−２−３）最終的判定
対象物検出部２２における最終的な判定結果Ｃ（ｘ）は、以下の（３）式によって表わされる。

そして、Ｃ（ｘ）が１のときに対象物として判定される。

複数種類の対象物について対象物か否かを判定する場合は、対象物毎に識別器を用意してそれぞれの対象物について上記の判定処理を行う。

（３−２−４）その他
なお、上記はジェスチャ認識手法の一例として示したものであり、上記手法に限定されることを意味しない。例えば、入力画像から生成した輪郭画像に対して模範画像との類似性を評価する方法や、入力画像における肌色領域のパターン類似性を評価する方法などを用いることも可能である。

（４）制御部３
制御部３は、オブジェクト検出部２によって検出された検出部位及び補助部位の位置及び大きさに基づき、画像入力部１が入力する画像の解像度及び撮像領域の制御を行う。

（４−１）構成
ここでは、図７を用いて制御部３が行う制御の一例について説明する。図７に示すように、制御部３は、制御状態記憶部３１、基準領域選択部３２、撮像パラメータ決定部３３から構成される。

制御状態記憶部３１は、現在のフレームにおける画像入力部１の制御状態を記憶する。ここで、この制御状態としては、例えば画像解像度及び撮像領域を含むものとする。

基準領域選択部３２は、オブジェクト検出部２において検出された検出部位及び補助部位から、次のフレームにおける画像入力部１の撮像パラメータを決定する上で基準となる領域を、制御状態記憶部３１が記憶している現在のフレームにおける制御状態に応じて選択する。

撮像パラメータ決定部３３は、基準領域選択部３２によって選択された基準領域の大きさ及び分類名に基づき、次のフレームにおける撮像パラメータを決定し、画像入力部１に対して前記撮像パラメータを出力する。

（４−２）動作
制御部３の動作について、図８を用いて説明する。ここでは、検出部位及び補助部位がそれぞれ操作者の手及び顔である場合を例として説明する。図８は制御部３の状態遷移図である。

図８中の各状態において、Ｍ及びＳは次フレームにおいて基準領域選択部３２が選択する領域の種類を表わしており、Ｍの状態では検出領域を、Ｓの状態では補助領域を基準領域として選択する。Ｌ及びＨは撮像パラメータ決定部３３が出力する次フレームにおける画像入力部１の解像度を表わしており、Ｌは低解像度、Ｈは高解像度である。

ジェスチャ認識装置の動作開始時、制御部３は状態７１となっている。

（４−２−１）状態７１
制御部３が状態７１であるとき、撮像部１１は解像度を低解像度に設定して撮像することにより画像を生成する。この画像を第１画像という。撮像画像切り出し部１２は切り出しを行わず第１画像を第１入力画像として用いる。

オブジェクト検出部２は、第１入力画像から検出部位（手）を検出し、検出された検出部位のそれぞれについて、これを含む領域を検出領域として出力する。基準領域選択部３２は、検出領域から第１基準に基づいて第１基準領域を選択する。この第１基準領域として手を含む領域を選択する。

基準領域選択部３２における第１基準としては、例えば、各検出領域が対象物である確率を前記オブジェクト検出部２が出力するように構成しておき、最も確率の高い領域を選択したり、前のフレームにおいて検出領域を検出できたときはその検出領域に最も近い領域を選択したりすることが考えられる。なお、第１入力画像をそのまま第１基準領域としてもよい。

撮像パラメータ決定部３３は、基準領域選択部３２が選択した手を含む領域について、その大きさが所定の閾値より大きいかどうか判定する。この閾値より大きい時は、次のフレームにおいても低解像度画像で手を検出できると判断し、制御部３は状態７１を継続する。これにより撮像パラメータ決定部３３は、次フレームにおける解像度を低解像度に設定する。

手を含む領域が前記閾値より小さいときは、次のフレームでは低解像度画像で手を検出することが困難と判断し、制御部３は状態７３に移行する。これにより撮像パラメータ決定部３３は、次フレームにおける解像度を高解像度に設定する。

一方、オブジェクト検出部２が手を検出しなかった場合、検出領域が存在しないため基準領域選択部３２は第１基準領域を選択できない。

手が検出されない原因としては、撮像部１１の撮像領域内に手が存在しないか、手が撮像部１１から遠く離れているために低解像度の第１画像上での手を含む領域が小さすぎることが考えられる。

後者の場合、例えば操作者の顔のように手よりも大きく、かつその位置が手の位置と相関関係にある部位を検出することにより手のおおよその位置を推定後、撮像領域をその周辺領域に限定して高解像度で撮像した画像を用いて手を検出することにより、手を検出できる可能性がある。そして、撮像領域を手の推定位置の周辺に限定することにより、入力画像のデータサイズを制限できるため、単位時間当たり入力できる画像の枚数を削減することなく、より遠くにある手を検出することができる。

そこで、制御部３は、顔を検出するために状態７２に移行する。

（４−２−２）状態７２
制御部３が状態７２に移行したとき、撮像部１１は解像度を低解像度に設定して撮像することにより第２画像を生成する。この第２画像は、第１画像の次のフレームである。撮像画像切り出し部１２は切り出しを行わず、この第２画像を第２入力画像として用いる。

オブジェクト検出部２は、第２入力画像から補助部位（顔）を検出し、検出された補助部位のそれぞれについて、これを含む領域を補助領域として出力する。基準領域選択部３２は、この補助領域から第２基準に基づいて第２基準領域を選択する。

基準領域選択部３２における第２基準とは、例えば、各検出領域が対象物である確率を前記オブジェクト検出部２が出力するように構成しておき、最も確率の高い領域を選択したりすることが考えられる。なお、補助領域をそのまま第２基準領域としてもよい。

基準領域選択部３２によって基準領域（顔を含む領域）が選択された場合、基準領域のサイズが所定の閾値ＷＳより小さいかどうかを判定する。基準領域のサイズがＷＳより小さければ、手を含む領域のサイズが低解像度画像では検出できないほど小さいと判断し、制御部３は状態７３に移行する。すなわち、撮像パラメータ決定部３３は、次のフレームにおける解像度を高解像度に設定すると共に、画像切り出し範囲を基準領域の位置に基づき手が存在する可能性のある領域を含む一定範囲に制限する。

基準領域のサイズがＷＳより大きい場合、及び基準領域が選択されなかった場合、撮像部１１の撮像領域内に手が存在しないと判断し、制御部３は状態７１に戻る。なお、基準領域のサイズがＷＳより大きい場合とは、例えば、画像全体に顔が写っている場合などが考えられる。そして、撮像パラメータ決定部３３は、次のフレームにおける解像度を低解像度に設定すると共に、画像切り出し範囲を撮像領域全体に設定する。

（４−２−３）状態７３
制御部３が状態７３であるとき、撮像部１１は解像度を高解像度に設定して撮像することにより第３画像を生成する。この第３画像は、第２画像の次のフレームである。撮像画像切り出し部１２はこの第３画像から撮像パラメータ決定部３３によって決定された撮像領域を切り出すことにより第３入力画像を生成する。オブジェクト検出部２は、第３入力画像から検出部位（手）を検出し、検出された検出部位のそれぞれについて、これを含む領域を検出領域として出力する。

ここで、状態７２から移行した場合には、顔の領域と相関関係にある部位を検出することにより手のおおよその位置を推定後、撮像領域をその周辺領域に限定して検出領域とする。

基準領域選択部３２は、高解像度の第３画像の検出領域から所定の第３基準に基づいて第３基準領域を選択する。基準領域選択部３２における第３基準とは、例えば、各検出領域が対象物である確率を前記オブジェクト検出部２が出力するように構成しておき、最も確率の高い領域を選択したり、前のフレームにおいて検出領域を検出できたときはその検出領域に最も近い領域を選択したりすることが考えられる。なお、検出領域をそのまま第３基準領域としてもよい。

また、基準領域選択部３２によって第３基準領域（手を含む領域）が選択された場合、第３基準領域のサイズが所定の閾値ＷＨより小さいかどうかを判定する。

第３基準領域のサイズがＷＨより大きい場合、検出部位は低解像度画像からでも検出できると判断し、制御部３は状態７１に戻る。すなわち、撮像パラメータ決定部３３は、次のフレームにおける解像度を低解像度に設定すると共に、画像切り出し範囲を撮像領域全体に設定する。

第３基準領域のサイズがＷＨより小さい場合、検出部位は高解像度画像でなければ検出できないと判断し、制御部３は状態７３を維持する。すなわち、撮像パラメータ決定部３３は、次のフレームにおける解像度を高解像度に設定すると共に、画像切り出し範囲を第３基準領域の位置に基づき手が存在する可能性のある領域を含む一定範囲に制限する。

第３基準領域が選択されなかった場合、撮像部１１の撮像領域内に手が存在しないと判断し、制御部３は状態７１に戻る。

（５）ジェスチャ認識部４
ジェスチャ認識部４は、制御部３によって制御されて検出された検出部位である手の動きに基づいてジェスチャの認識を行う。

すなわち、状態７１で手が認識された場合には、オブジェクト検出部２から低解像度の第１画像がそのまま入力して、その低解像度の第１画像から手の領域を再度認識して、その認識した手の形からジェスチャの認識を行う。このジェスチャの認識は、例えば、特許文献１に記載されている認識方法を用いることができる。

また、状態７３で手が認識された場合には、オブジェクト検出部２から高解像度の第３画像の中から切り出された第３基準領域が入力して、その高解像度の第３基準領域から手の領域を再度認識して、その認識した手の形からジェスチャの認識を行う。このジェスチャの認識は、同じく特許文献１に記載されている認識方法を用いることができる。

（６）効果
以上のように、本実施形態にかかるジェスチャ認識装置においては、低解像度で検出部位が検出されないときに代わりに補助部位を検出し、補助部位の位置に基づき補助部位の位置を推定してその近辺を高解像度の画像から切り出すことにより、オブジェクト検出部２に単位時間当たりに入力される画像の枚数を削減することなく高解像度の画像を用いて検出部位を検出できる。

これにより、処理速度を犠牲にすることなく、ジェスチャ認識装置からより離れた位置にあるジェスチャを認識することができる。

（７）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

上記実施形態では、２段階の解像度で説明したが、これに限らず３段階以上の解像度で撮影できる撮像部１１を用いてもよい。

例えば、低解像度、中解像度、高解像度の３段階の場合について説明する。このときは、状態７２において低解像度で顔領域が検出できないときは、状態７１に戻るのでなく、中解像度で顔領域を検出し、その検出ができたときは、状態７３において、高解像度で手の領域を検出するものである。

また、上記実施形態では、制御部３では、次のフレームで解像度を切り替えていたが、制御部３の処理速度が遅く遅延する場合には、その遅延分を考慮したｋフレーム先で解像度を切り替えてもよい。但し、ｋ＞１である。この場合には、撮像部１１は、１フレーム毎に解像度を切り替えるのでなく、ｋフレーム毎に解像度を切り替える。

また、上記実施形態では、状態７２で用いる第２画像は、第１画像の次のフレームの画像を用いた。しかし、同じ低解像度の画像で検出するため、第１画像をそのまま用いてもよい。

本発明の一実施形態のジェスチャ認識装置の構成例である。 画像入力部の構成例を示すブロック図である。 オブジェクト検出部の構成例を示すブロック図である。 部分領域生成部が生成する部分領域を説明する図である。 対象物検出部における対象物検出方法について説明するための図である。 対象物検出部における対象物検出方法について説明するための図である。 制御部の構成例を示すブロック図である。 制御部によって行われる制御について説明するための図である。

符号の説明

１ 画像入力部
２ オブジェクト検出部
３ 制御部
１１ 撮像部
１２ 撮像画像切り出し部
２１ 部分領域生成部
２２ 対象物検出部
２３ 辞書格納部
３１ 制御状態記憶部
３２ 基準領域選択部
３３ 撮像パラメータ決定部

Claims (12)

1. 一または数フレーム毎に解像度を切り替えて、動画像を撮像できる撮像部と、
   前記動画像の中の第１解像度で撮像された第１画像から、ジェスチャを示す操作者の体の部位である検出部位を含む検出領域を検出する第１検出部と、
   前記検出領域が検出できないときに、前記検出部位を検出するために用いる補助部位を含む補助領域を前記第１解像度で撮像した第２画像から検出する第２検出部と、
   前記補助領域を検出したときに、前記第１解像度より高い第２解像度によって前記撮像部を用いて第３画像を撮像するように制御する制御部と、
   前記検出領域と前記補助領域の予め定められた位置関係に基づいて、前記検出領域を前記第３画像から検出する第３検出部と、
   前記第１画像の全体領域、または、前記第３画像の中の前記検出領域に基づいて、前記ジェスチャを認識するジェスチャ認識部と、
   を備えるジェスチャ認識装置。
2. 前記制御部は、前記第１検出部において検出した前記検出領域のサイズが閾値より小さいときは、前記第３検出部において前記検出領域を検出させ、前記ジェスチャ認識部に、第３画像の検出領域に基づいてジェスチャを認識させる、
   請求項１記載のジェスチャ認識装置。
3. 前記制御部は、前記第１検出部において検出した前記検出領域のサイズが閾値より大きいときは、前記第１画像の次のフレームの画像も前記第１解像度で撮像するように前記撮像部を制御する、
   請求項１または２記載のジェスチャ認識装置。
4. 前記制御部は、前記第３検出部において前記検出領域が検出できないとき、または、検出した前記検出領域のサイズが閾値より大きいときは、前記第３画像の次のフレームの画像を前記第１解像度で撮像するように前記撮像部を制御する、
   請求項１記載のジェスチャ認識装置。
5. 前記制御部は、前記第３検出部において検出した前記検出領域のサイズが閾値より小さいときは、前記第３画像の次のフレームの画像を前記第２解像度で撮像するように前記撮像部を制御する、
   請求項１記載のジェスチャ認識装置。
6. 前記制御部は、前記第２検出部において前記補助領域が検出できないとき、または、前記補助領域のサイズが閾値より大きいときは、前記第１検出部において前記第２画像の次のフレームの画像から前記検出領域を検出するように制御する、
   請求項１記載のジェスチャ認識装置。
7. 前記第２検出部で用いる前記第２画像は、前記第１画像の次のフレームの画像、または、前記第１画像と同じ画像である、
   請求項１記載のジェスチャ認識装置。
8. 前記第３検出部で用いる前記第３画像は、前記第２画像の次のフレームの画像である、
   請求項１記載のジェスチャ認識装置。
9. 前記第２検出部で検出する補助領域は、前記検出領域よりサイズが大きい領域である、
   請求項１記載のジェスチャ認識装置。
10. 前記検出部位は前記操作者の手であり、前記補助部位は前記操作者の顔である、
    請求項１記載のジェスチャ認識装置。
11. 一または数フレーム毎に解像度を切り替え可能な撮像装置から入力した第１解像度で撮像された第１画像から、ジェスチャを示す操作者の体の部位である検出部位を含む検出領域を検出する第１検出ステップと、
    前記検出領域が検出できないときに、前記検出ステップ位を検出するために用いる補助位を含む補助領域を前記第１解像度で撮像した第２画像から検出する第２検出ステップと、
    前記補助領域を検出したときに、前記第１解像度より高い第２解像度によって前記撮像装置を用いて第３画像を撮像するように制御する制御ステップと、
    前記検出領域と前記補助領域の予め定められた位置関係に基づいて、前記検出領域を前記第３画像から検出する第３検出ステップと、
    前記第１画像の全体領域、または、前記第３画像の中の前記検出領域に基づいて、前記ジェスチャを認識するジェスチャ認識ステップと、
    を備えるジェスチャ認識方法。
12. 一または数フレーム毎に解像度を切り替え可能な撮像装置から入力した第１解像度で撮像された第１画像から、ジェスチャを示す操作者の体の部位である検出部位を含む検出領域を検出する第１検出機能と、
    前記検出領域が検出できないときに、前記検出部位を検出するために用いる補助部位を含む補助領域を前記第１解像度で撮像した第２画像から検出する第２検出機能と、
    前記補助領域を検出したときに、前記第１解像度より高い第２解像度によって前記撮像装置を用いて第３画像を撮像するように制御する制御機能と、
    前記検出領域と前記補助領域の予め定められた位置関係に基づいて、前記検出領域を前記第３画像から検出する第３検出機能と、
    前記第１画像の全体領域、または、前記第３画像の中の前記検出領域に基づいて、前記ジェスチャを認識するジェスチャ認識機能と、
    をコンピュータによって実現するジェスチャ認識プログラム。

Images