JP2014048937A - ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム - Google Patents

Abstract

【課題】所定の動作を行った動作者を正確に特定することができるジェスチャ認識装置を提供する。
【解決手段】形状識別手段１２３は、動画において顔検出手段によって検出された手が、右手であるかまたは左手であるかを識別し、動作者特定手段１２４は、識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定する。
【選択図】図１

Description

本発明は、認識対象物の動作からジェスチャを認識するジェスチャ認識装置、その制御方法、表示機器、および制御プログラムに関する。

近年、テレビジョン受像機、パーソナルコンピュータ、またはタブレット端末などの表示装置に、操作者が操作する認識対象物のジェスチャを認識するジェスチャ認識装置を組み合わせた表示機器が登場してきている。このような表示機器では、操作者がデータグローブ等の特殊な装具を装着する必要がなく、また操作者が自然かつスムーズに当該表示機器の操作を行えるよう、操作者の手や指などを用いて行うジェスチャを認識するジェスチャ認識装置が望まれている。

ここで、図８を用いて、従来のジェスチャ認識装置におけるジェスチャ認識の流れを説明しておく。同図に示すとおり、従来のジェスチャ認識では、まず操作者の特定／決定が行われる。すなわち、ジェスチャ認識装置は、認識した複数の人物のうちいずれの人物を操作者とするか否か判断したり、または、認識した人物が予め登録された操作者リストに含まれているか判断したりする。次に、操作者が、ジェスチャを開始することをジェスチャ認識装置に伝達する。具体的には、操作者が、例えば手を挙げるなどの開始動作を行うと、ジェスチャ認識装置が、上記開始動作を認識して、認識対象物（例えば操作者の手、ポインタなど）のジェスチャ認識を行うことができる状態になる。その後、ジェスチャ認識装置は、上記開始動作の後に操作者が認識対象物を用いて行うジェスチャを認識する。

さて、従来のジェスチャ認識装置における操作者の特定／決定方法では、操作者の顔の特徴に関するデータを予め当該ジェスチャ認識装置に登録しておき、画像に写る人物を顔認証することによって、データが登録されている人物を操作者として決定していた。しかしながら、このような操作者の特定／決定方法では、ジェスチャ認識装置を操作するためには、予め、当該ジェスチャ認識装置に操作者としてデータを登録しておく必要があるので、ユーザにとって不便である。そこで、予め登録した人物以外の人物を操作者として認定する方法が望まれる。

このような方法として、特許文献１には、テレビなどの機器の制御方法において、複数の人の属性を監視し、監視した人の属性に基づいて、当該機器の操作者を選択する制御方法が開示されている。上記人の属性としては、人の位置、人の表情、および人の付帯物などが挙げられている。そして、上記制御方法では、監視した人のうち、予め定めた位置に最も近い位置に存在する人や、予め定めた姿勢や動作（例えば挙手）を行った人などを操作者として選択することが、同文献に記載されている。

また、特許文献２にも、同様に、監視した所定の人の属性に基づいて、テレビなどの機器の操作者を選択する制御方法が記載されている。

特開２００４−３０３２５１号公報（２００４年１０月２８日公開） 特開平１１−３２７７５３号公報 （１９９９年１１月３０日公開）

しかしながら、上記の特許文献１および２に開示されたように、予め定めた開始動作を行った人物を操作者として決定する場合、その所定の開始動作を行った人物すなわち動作者を特定することは困難である。特に、特許文献１および２には、挙手を行った人物を操作者として選択することが記載されているが、挙手した人物を特定する方法は開示されていない。従って、例えば、挙げられた手の左右にそれぞれ人物が存在する場合、どちらの人物が挙手を行った動作者であるかを特定することはできない。ゆえに、特許文献１および２に開示された制御方法では、動作者を正確に識別することができないという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、所定の動作を行った動作者を正確に特定することができるジェスチャ認識装置を提供することにある。

本発明に係るジェスチャ認識装置は、上記の課題を解決するために、ユーザの手の動作を撮影した動画から、上記手によるジェスチャを認識するジェスチャ認識装置において、上記ユーザの顔を検出する顔検出手段と、上記手が、右手であるかまたは左手であるかを識別する形状識別手段と、識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定する動作者特定手段とを備えたことを特徴としている。

また、本発明に係るジェスチャ認識装置の制御方法は、上記の課題を解決するために、ユーザの手の動作を撮影した動画から、上記手によるジェスチャを認識するジェスチャ認識装置の制御方法であって、上記ユーザの顔を検出し、動画において検出した手が、右手であるかまたは左手であるかを識別した後、識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定することを特徴としている。

上記構成または上記方法によれば、動画においてユーザの顔を検出し、さらにジェスチャを行う手が右手であるかまたは左手であるかを識別し、その識別結果に基づいて、上記ユーザの中から動作者を特定する。ここで、上記手の形状は、例えば、手のひらを所定の方向に向け、全ての指を延ばした形、人差し指と中指とを延ばした形、または人差し指のみを延ばした形であってよい。従って、動作者が特別な動作を行うことなしに、手で上記のような簡単な形状を作るだけで、動作者の顔が特定される。

さらに、上記構成によれば、識別された手が右手（左手）であった場合、その手の右側に位置し、かつその手に最も近い人物を動作者として特定する。

ここで、前述のように、手のひらを動画撮影部の方向に向けている場合、右手（左手）で全ての指を延ばした形状を作った手を撮影した動画においては、その手の右端部（左端部）に親指が位置する。あるいは、右手（左手）で指差しをする形を作った手を撮影した動画においては、その手の右寄りに人差し指が位置する。また、動作者が手を挙げる動作を行う際、動作者とその手との間には、他の人は存在しないことが通常である。

従って、上記構成によれば、形状識別手段により識別された手を挙手した人物である動作者を特定することができる。

また、本発明に係るジェスチャ認識装置において、上記手の形状は、全ての指を延ばした形状であり、上記形状識別手段は、上記手の親指がその手の右端部に位置している場合、その手は右手であると識別する一方、上記手の親指がその手の左端部に位置している場合、その手は左手であると識別する構成であってもよい。

上記構成によれば、動作者が、全ての指を延ばした形状を作った手を挙手すると、その手の親指がその手の右端部に位置しているか、または、その手の左端部に位置しているかに基づき、手を識別する。すなわち、手のひらを動画撮影部の方向に向けている場合、全ての指を延ばした形状とした右手（左手）を撮影した動画においては、その手の右端部（左端部）に親指が位置することになるので、これに基づき、手を識別する。従って、前述のように、動作者が特異な動作を行うことなしに、上記形状の手を挙手するという簡単な動作によって、動作者の手を識別し、自然に動作者を特定することができる。

また、本発明に係るジェスチャ認識装置において、上記形状識別手段は、上記手の先端部を抽出し、抽出された先端部のうち、動画の上下方向について、その位置が最も低い先端部を親指とする構成であってもよい。

上記構成によれば、動作者が、全ての指を延ばした形状を作った手を挙手する場合、先端部を抽出することによって、５本の指が抽出されることになる。これらの５本の指のうち、一番低い位置の先端部は親指である。従って、上記先端部のうち、動画の上下方向について、その位置が最も低い先端部を選出すると、親指が選出されることになる。このように、上記構成によれば、親指を選出することができるので、その親指が左右どちらの端部に位置しているかによって、手を識別することができる。

また、本発明に係るジェスチャ認識装置において、上記手の形状は、人差し指のみを延ばした形状であり、上記形状識別手段は、上記手の人差し指がその手の右寄りに位置している場合、その手は右手であると識別する一方、上記手の親指がその手の左寄りに位置している場合、その手は左手であると識別する構成であってもよい。

上記構成によれば、動作者が、人差し指を延ばした形状、すなわち指差しをする形を作った手を挙手すると、その手の人差し指が手の右寄りに位置しているか、または、その手の左寄りに位置しているかに基づき、手を識別する。従って、前述のように、動作者が特異な動作を行うことなしに、指差しをする形を作った手を挙手するという簡単な動作によって、動作者の手を識別し、自然に動作者を特定することができる。なお、上記手の右寄りの位置とは、手の左右方向の中心線に対して右側の領域に含まれる位置のことであり、上記手の左寄りの位置とは、上記中心線に対して左側の領域に含まれる位置のことである。

また、本発明に係るジェスチャ認識装置は、上記ジェスチャを受け付ける人物である操作者の顔の特徴量をリスト化した操作者リストを記憶するとともに、上記操作者毎に認識するジェスチャと実行する処理内容との対応関係を示す、上記操作者毎のジェスチャ−処理テーブルを記憶した記憶部と、上記動作者の顔の特徴量と上記操作者リストの特徴量との類似度を判定することにより、上記動作者の顔認証を行う顔認証手段と、上記顔認証の結果に基づいて該動作者に対応する操作者を特定し、該操作者に適用される上記ジェスチャ−処理テーブルを参照することによって、上記ジェスチャに対応する処理を実行する処理実行手段とをさらに備えた構成であってもよい。

上記構成によれば、まず、動作者の顔の特徴量に基づいて顔認証が行われることにより、該動作者に対応する操作者が特定される。ここで、該動作者に対応する操作者とは、操作者判定手段によって、該動作者と同一人物であると判定される操作者のことである。その後、該操作者に適用されるジェスチャ−処理テーブルに基づき、ジェスチャに対応する処理が実行される。このとき、上記ジェスチャ−処理テーブルは、操作者が自分で設定することも可能である。従って、動作者すなわち操作者は、自身に適用される上記ジェスチャ−処理テーブルを、自分の望むとおりにカスタマイズすることにより、快適な操作を行うことができる。

また、本発明に係るジェスチャ認識装置において、上記処理実行手段は、上記顔認証手段により判定された上記類似度が所定値よりも小さい場合、上記動作者の顔の特徴量を上記操作者リストに追加して、上記動作者を操作者として認定する構成であってもよい。

上記構成によれば、動作者特定手段が特定した動作者が操作者リストに追加され、操作者として認定される。これにより、例えば、まだ操作者として登録されていない人物は、全ての指を延ばした形状などを作った手を挙手するという、上述のような簡単な動作を行うことによって、簡単に操作者としての登録を行うことができる。

また、本発明に係るジェスチャ認識装置において、上記処理実行手段は、上記操作者を特定または認定した後、所定の時間、該操作者以外のジェスチャを受け付けない構成であってもよい。

上記構成によれば、動作者を特定した後の所定時間、該動作者以外の人物によるジェスチャは受け付けられない。従って、動作者の周囲に、動作者以外の人物が存在する場合であっても、当該ジェスチャ認識装置は、動作者によるジェスチャのみ受け付けるので、動作者は、自分以外のジェスチャが当該ジェスチャ認識装置に受け付けられることによって操作を中断させられることなく、快適な操作を行うことができる。

また、本発明に係るジェスチャ認識装置は、所定の条件に基づき、上記手によるジェスチャを開始しようとしているか否かを判定するジェスチャ開始判定手段をさらに備え、
上記形状識別手段は、上記手によるジェスチャを開始しようとしていると上記ジェスチャ開始判定手段が判定した場合に、上記手の識別を行う構成であってもよい。

上記構成によれば、ユーザがジェスチャを開始しようとしていると判定された場合に、手の識別以降の各処理が行われる。そのため、ユーザは、上記所定の条件を満たすことにより、当該ジェスチャ認識装置に対して、ジェスチャを開始する意図を伝達することができる。また、反対に、上記所定の条件を満たさなければ、当該ジェスチャ認識装置は手の識別以降の各処理を行わないので、ユーザがジェスチャを行わない場合は、処理負荷の低減ひいては省電力化を図ることができる。

また、本発明に係るジェスチャ認識装置において、上記所定の条件は、上記ユーザが手を振る動作である構成であってもよい。

上記構成によれば、ユーザが手を振る開始動作を行うと、当該ジェスチャ認識装置によって、ユーザがジェスチャ開始の意図を有していると判定される。従って、ユーザは、手を振るという簡単な動作を行うことによって、当該ジェスチャ認識装置に、ユーザがジェスチャ開始の意図を有していることを伝達することができる。

また、本発明に係るジェスチャ認識装置において、上記所定の条件は、一定時間、所定の方向とユーザの視線方向との為す角度が所定値よりも小さい構成であってもよい。

上記構成によれば、ユーザが、一定時間、視線を所定の方向、例えば当該ジェスチャ認識装置が備えた動画撮影部の方向に向けることにより、当該ジェスチャ認識装置によって、ユーザがジェスチャ開始の意図を有していると判定される。したがって、ユーザは、特別な動作をすることなく、単に視線を上記所定の方向に向けるだけで、当該ジェスチャ認識装置に、ユーザがジェスチャ開始の意図を有していることを伝達することができる。

また、本発明に係るジェスチャ認識装置は、外部の機器に対して、上記ジェスチャに対応する処理を実行するように指示する機器制御手段をさらに備えた構成であってもよい。

上記構成によれば、上述したようなジェスチャに対応する処理が、外部の機器において実行される。上記外部の機器とは、例えば表示装置を備えた表示機器である。これにより、ユーザは、上記表示機器などの外部の機器を、ジェスチャで操作することができる。

なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラムも、本発明の範疇に入る。

また、上記ジェスチャ認識装置と、上記ジェスチャ認識装置が保持する各種情報をユーザに表示するための表示装置とを備え、上記ジェスチャ認識装置によって動作制御が行われる表示機器も本発明の範囲に含まれる。

以上のように、本発明に係るジェスチャ認識装置は、ユーザの顔を検出する顔検出手段と、ジェスチャを行う手が、右手であるかまたは左手であるかを識別する形状識別手段と、識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定する動作者特定手段とを備えている。

また、本発明に係るジェスチャ認識装置の制御方法は、ユーザの顔を検出し、動画において検出した手が、右手であるかまたは左手であるかを識別した後、識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定する。

これにより、所定の動作を行った動作者を正確に特定することができるという効果を奏する。

本発明の一実施形態に係るジェスチャ認識装置の構成を示すブロック図である。 （ａ）は手を振る開始動作を行う操作者を示す模式図であり、（ｂ）は（ａ）にＺで示す領域において操作者の開始動作を撮影した画像の差分を累積した累積値を示している。 認識領域内において手を挙げる動作を行う動作者の、顔位置と親指との位置関係を示す説明図である。 図１に示すジェスチャ認識装置の動作を示すフローチャートである。 本発明の他の一実施形態に係るジェスチャ認識装置の構成を示すブロック図である。 図５に示すジェスチャ認識装置の動作を示すフローチャートである。 図１に示すジェスチャ認識装置が適用された表示機器を示す外観図である。 一般的なジェスチャ認識の流れを説明する説明図である。

以下、本発明の実施の形態について、詳細に説明する。なお、以下の説明において、「右」や「左」は、動画像を視認する者から見た方向をあらわすものとする。

〔実施形態１〕
本発明のジェスチャ認識装置１に関する実施の一形態について図１〜図４に基づいて説明すれば以下のとおりである。

（ジェスチャ認識装置１の構成）
まず、ジェスチャ認識装置１の構成について、図１を用いて説明する。同図は、ジェスチャ認識装置１の構成を示すブロック図である。

図１に示すように、ジェスチャ認識装置１は、動画撮影部１１、制御手段１２、および記憶部１３を備えている。以下に、上記の各部材の詳細をそれぞれ説明する。

（１．動画撮影部１１）
動画撮影部１１は、操作者を含む空間の画像を撮影するものである。動画撮影部１１は、より詳細には、ジェスチャを行う主体となる操作者、および、ジェスチャ認識の対象となる認識対象物（ユーザの手）を撮像し、動画データを生成する。また、動画撮影部１１は、所定の時間（例えば１／１５秒）ごとに撮影したフレーム画像を、制御手段１２に出力する。

（２．制御手段１２）
制御手段１２は、ジェスチャ認識装置１が備える各部を統括制御するものであり、ジェスチャ開始判定手段１２１、認識領域設定手段１２２、形状識別手段１２３、動作者特定手段１２４、ジェスチャ認識手段１２５、および表示機器制御手段（処理実行手段）１２６を含む構成である。なお、制御手段１２に含まれる各手段については、その詳細を後述する。

（３．記憶部１３）
記憶部１３は、ジェスチャ認識装置１が扱う各種データを記憶するものであり、データを揮発的に記憶する一時記憶部と、データを不揮発的に記憶する記憶装置とを含む。上記一時記憶部は、ジェスチャ認識装置１が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭなどで構成される。また、上記記憶装置は、制御手段１２が実行する制御プログラムおよびＯＳプログラム、ならびに、ジェスチャ認識装置１が有する各種機能を実行するときに読み出す各種データを記憶するものであり、ＲＯＭなどで構成される。

（制御手段１２の詳細な構成）
ここでは、制御手段１２の詳細な構成について、図１〜図３を用いて説明する。なお、以下の説明で、「動作者」は、開始動作あるいは手を挙げる動作を行った人物を意味しており、「操作者」は、ジェスチャ認識装置１がジェスチャ認識を受け付けることを認定した人物を意味している。

（１．ジェスチャ開始判定手段１２１）
ジェスチャ開始判定手段１２１は、開始動作を検出した場合に、その開始動作を実行した動作者が、ジェスチャ開始の意図を有していると判定するものである。ここで、上記開始動作とは、図２の（ａ）に示すように、動作者が顔の横に手を挙げ、その位置で手を振る動作である。詳細には、全ての指を延ばした手のひらをジェスチャ認識装置１（動画撮影部１１）に向けた状態で、操作者が手を左右に振る開始動作を行うと、ジェスチャ開始判定手段１２１は、動作者がジェスチャ開始の意図を有していると判定する。ただし、本発明において、開始動作は上記のものに限定されない。例えば、手を所定の形状とするなど、ジェスチャ開始判定手段１２１が、形状、変位、速度などに基づいて、その他の動作と区別して検出することが可能な開始動作であればよい。

動作者が手を振る開始動作を検出する際、ジェスチャ開始判定手段１２１は、まず、上記開始動作を撮影した画像について、画像間の差分を抽出する。このように画像間の差分を抽出する処理を、例えば３０フレーム分の画像に亘って行い、抽出された各差分を累積する。これにより、上記開始動作を行っている動作者の手の位置の差分が累積されることになる。このようにして、手を振る開始動作を撮影し、上記開始動作を撮影した画像間の差分を累積した例を、図２の（ｂ）に示す。ここで、図２の（ｂ）においては、白色が強い領域ほど、差分の累積値が高いことを示している。なお、図２の（ｂ）は、図２の（ａ）において、Ｚで示す領域を拡大したものである。ジェスチャ開始判定手段１２１は、画像間差分の累積値が所定値よりも大きい領域を動作領域として抽出し、上記動作領域を抽出することができた場合、手を振る開始動作を検出したと判断する。

（２．認識領域設定手段１２２）
認識領域設定手段１２２は、ジェスチャ開始判定手段１２１が開始動作を検出した後、動画像全体の領域において、ジェスチャ認識手段１２５によってジェスチャが認識される領域である認識領域ＯＥを設定するものである。

認識領域ＯＥを設定する際、認識領域設定手段１２２は、例えば、動画像から所定の形状および色を有する領域を抽出して、抽出された領域に対して所定の位置関係を持つ位置に、認識領域ＯＥを設定する。例えば、認識領域設定手段１２２は、顔の形状および肌色を有する領域を抽出することによって動作者の顔の位置を抽出して、その顔位置の横側に認識領域ＯＥを設定する。認識領域ＯＥの形状および大きさは、例えば、認識領域設定手段１２２によって抽出された顔位置領域の１．５倍の大きさを有する正方形であってよい。

なお、本発明において、認識領域ＯＥの設定は必須ではない。すなわち、認識領域ＯＥを設定せずに、ジェスチャ認識手段１２５は、動画像全体においてジェスチャ認識を行う構成としてもよい。この場合、認識領域設定手段１２２は不要となる。

（３．形状識別手段１２３）
形状識別手段１２３は、動作者が開始動作を実行している間に、認識領域ＯＥ内に存在する手を検出し、その手が右手であるかまたは左手であるかを識別するものである。あるいは、形状識別手段１２３は、手を振る開始動作を終えた動作者に対し、表示または音声を用いて、開いた手を認識領域ＯＥ内に移動させるように指示を出してもよい。この場合、形状識別手段１２３は、例えば、図２の（ａ）に示すように、顔の横へ手を移動させるように指示する。

なお、認識領域ＯＥにおいて手を検出する処理は、認識領域ＯＥ内において、連続するフレーム画像の背景差分を行い、画像の前景となる領域を抽出することによって実行される。すなわち、動作者がジェスチャを実行しようとするとき、動作者とジェスチャ認識装置１（動画撮影部１１）との間には何も存在しないと考えられる。従って、認識領域ＯＥにおいて画像の前景を抽出することにより、動作者の手が検出されることになる。

（手の識別について）
認識領域ＯＥにおいて検出された手が右手であるか、または左手であるかを識別する処理は、以下のようにして実行される。

形状識別手段１２３は、まず、検出された手において、先端部（より正確には上端部）を抽出する。ここで、前述のように開始動作は手を振る動作であるから、検出された手は全ての指を延ばした形状に開かれており、また手のひらはジェスチャ認識装置１（動画撮影部１１）の方向に向いている。従って、検出された手の先端部を抽出することによって、各指の先端が抽出されることになる。続いて、抽出された先端部（すなわち各指の先端）の中から、ｙ座標すなわち画像の上下方向について、位置が最も低い先端部を選出する。すると、一般的に親指が選出されることになる。その後、形状識別手段１２３は、選出された先端部（親指）が、手の領域において右端部に位置するか、または左端部に位置するかを判定する。あるいは、単純に、選出された先端部が、手の右端部により近い（右寄り）か、または手の左端部により近い（左寄り）かを判定してもよい。これにより、検出された手が右手であるか、または左手であるかを判定することができる。具体的には、形状識別手段１２３は、親指が手の右端部に位置している場合、その手は右手であると判定する一方、親指が手の左端部に位置している場合、その手は左手であると判定する。ここで、手の位置と動作者との位置関係の一例を、図３に示す。図３において、人物Ａ、および人物Ａの挙げた手は、図２の（ａ）に示す人物と同様、ジェスチャ認識装置１（動画撮影部１１）の方向すなわち紙面上側の方向を向いている。また、人物Ａは、指を延ばした左手の手のひらを前に向けて挙げている。このとき、図３から分かるように、人物Ａの左手は、人物Ａの顔位置ＦＥの右側（認識領域ＯＥ内）に位置している。言い換えれば、人物Ａの左手の左側に、人物Ａの顔位置ＦＥが位置している。また、人物Ａが挙げた左手の親指ＢＦは、その他の指に対して、人物Ａの顔に一番近い位置、すなわち左手の左端部に位置している。図３では、人物Ａの右横に、人物Ａの左手を挟んで人物Ｂが存在しているが、人物Ａの左手は、人物Ｂの顔位置ＦＥ´の左側に位置している。なお、図示しないが、人物Ａが右手を挙げた場合、その右手の右側に、人物Ａの顔位置ＦＥが位置することも、同様に理解できるであろう。このように、動作者が挙げた手が、右手であるかまたは左手であるかを把握することにより、該動作者が、その手に対して左右のいずれの側に位置しているかを知ることができる。

なお、形状識別手段１２３は、全ての指を延ばした形状に開いた手でなく、人差し指のみを延ばした手であっても、その手が右手か、または左手かを識別することができる。その識別方法は、以下のようである。まず、形状識別手段１２３が、手の先端部（より正確には上端部）を抽出する。人差し指のみを伸ばした手を検出した場合は、人差し指のみが、先端部として抽出されることになる。次に、抽出された先端部が、手の右端部により近い（右寄り）か、または手の左端部により近い（左寄り）か判定する。このとき、検出された手が左手であった場合、抽出された先端部（すなわち人差し指）は、手について左寄りになる一方、検出された手が右手であった場合、抽出された先端部は、手につい右寄りになる。従って、形状識別手段１２３は、抽出された先端部（人差し指）が手の右寄りに位置している場合、その手は右手であると判定する一方、親指が手の左寄りに位置している場合、その手は左手であると判定する。

この他に、人差し指および中指のみを延ばした形の手についても、２つの先端部のうち画像における高さが低い方（すなわち人差し指）を選出すれば、上記の説明と同様にして、手を識別することができる。

（４．動作者特定手段１２４）
動作者特定手段１２４は、形状識別手段１２３が検出した手が右手であるか、または左手であるかに基づいて、動作者の位置を特定することにより、該動作者を特定するものである。

詳細には、動作者特定手段１２４は、形状識別手段１２３により検出された手が右手（左手）であった場合、その手の右側（左側）の領域において、その手に最も近い位置に存在する人物の顔を、動作者の顔として検出する。そして、動作者特定手段１２４は、各フレーム画像において検出した顔の位置を示す顔位置ＦＥを、記憶部１３に記憶する。

ここで、画像中から人間の顔を検出するためには、画像中から肌色の領域を抽出してもよいし、また、テンプレートマッチングなど、周知の顔検出技術をこれに併用してもよい。なお、本実施形態では、動作者特定手段１２４は、まずテンプレートマッチングを併用して肌色領域を抽出し、次に上記肌色領域における色の変化に基づいて眉および口の位置を推定し、推定した眉・口を含みかつ画像の縦横方向と平行な辺を有する最小の正方形の領域を顔位置ＦＥとして設定する。

（テンプレートマッチングについて）
テンプレートマッチングとは、入力画像などのサンプルについて、予め準備したモデルとの一致（マッチング）の程度を計算する方法のことである。

以下に、テンプレートマッチング処理の流れを簡単に説明する。なお、テンプレートマッチングのため、顔形状のテンプレートを予め記憶部１３に記憶しておく。

まず、形状識別手段１２３が検出した手に最も近い位置に存在する肌色領域の部分と、記憶部１３に準備した顔形状のテンプレートとを比較する。そして、上記肌色領域と、上記テンプレートとの類似度が所定値よりも低い場合は、人間の顔には相当しないと判定する。その後、手の親指に２番目に近い位置に存在する肌色領域について、上記テンプレートとの類似度を計算する。これを繰り返し、上記テンプレートとの類似度が所定値以上である肌色領域が発見されたならば、当該肌色領域を人間の顔であると判定して、処理を終了する。なお、テンプレートマッチング処理を行うテンプレートとして、互いに異なる複数のテンプレートが存在することが望ましい。この場合、テンプレートマッチング処理では、各テンプレートについてサンプルとのマッチングが計算されて、サンプルとの類似度が所定値以上であるテンプレートが存在すれば、このサンプルは人間の顔に相当すると判定されることになる。

このように、テンプレートマッチングを併用することによって、単に肌色領域を顔であると判定するよりも、正確な顔検出を行うことができる。

（５．ジェスチャ認識手段１２５）
ジェスチャ認識手段１２５は、認識領域ＯＥ内において、手またはそれ以外の認識対象物の位置、形状、および変位を認識することによってジェスチャ認識を行う。なお、ジェスチャ認識の方法としては、ＨＭＭ（Hidden Markov Model；隠れマルコフモデル）あるいは連続ＤＰ（Continuous Dynamic Programming）などを使用することができる。

（ジェスチャ認識について）
ジェスチャ認識を行うためには、ＨＭＭを用いた方法を使用することができる。ＨＭＭを用いた方法では、予め、ジェスチャ認識装置１が認識するジェスチャの種類毎のモデルを、データベースにして記憶部１３に記憶しておく。その後、ジェスチャ認識装置１に入力された画像に対して、ジェスチャ認識手段１２５は、上記データベースに含まれる各モデルの尤度を計算する。その結果、入力画像に対する尤度値が所定値以上である１つまたは複数のモデルが発見された場合、ジェスチャ認識手段１２５は、それらのモデルのうち尤度が最も高いモデルに対応するジェスチャを、入力画像から認識したジェスチャとして出力する。

なお、ジェスチャ認識手段１２５は、上述のようにＨＭＭを用いたジェスチャ認識を行う他に、人差し指先端Ｆの変位測定を行う。これにより、後述するように、表示機器１０００に表示したポインタＰ（図５参照）を、人差し指先端Ｆの動作に連動させる構成を実現することができる。

（６．表示機器制御手段１２６）
表示機器制御手段１２６は、ジェスチャ認識装置１外部の表示機器において、ジェスチャ認識手段１２５によるジェスチャ認識の結果に対応する処理を実行するものである。詳細には、表示機器制御手段１２６は、ジェスチャの種類毎に対応する処理内容を示す、記憶部１３に記憶されたジェスチャ−処理テーブルを参照し、上記表示機器において、ジェスチャ認識手段１２５によるジェスチャの認識結果に対応する処理を実行する。

図７を参照して、表示機器制御手段１２６による表示機器１０００の制御を説明すると、表示機器制御手段１２６は、まず、ジェスチャ認識結果に基づいて決定した処理内容を指示する制御信号を、表示機器１０００が備えた制御機能部（図示せず）に送信する。すると、上記制御機能部は、表示機器制御手段１２６の送信した制御信号を受信して、上記処理内容を実行する。上記処理内容とは、例えば、認識対象物の変位の認識結果に基づき、表示装置２に表示されたポインタＰを移動させる処理である。あるいは、操作者が手で所定の形状を作るジェスチャを行ったことを認識した場合に、上記ポインタＰと重なる位置に表示されているアイコンが選択される処理であってもよい。このように、操作者は、表示装置２の画面に接触することなく、認識対象物を用いた簡単な操作によって、表示機器１０００の操作を行うことができる。

（ジェスチャ認識処理Ｘの流れ）
ここでは、制御手段１２によって実行されるジェスチャ認識処理Ｘの流れについて、図４に示すフローチャートを用いて説明する。ジェスチャ認識処理Ｘでは、開始動作に基づいてジェスチャ開始の意図を判定する。認識領域ＯＥ内で検出した手が右手であるかまたは左手であるかを識別して、その識別結果に基づき、動作者すなわち検出された手の持ち主を特定する。そして、動作者が操作者として認定される場合に、認識対象物のジェスチャ認識を開始する。以下に、ジェスチャ認識処理Ｘについて詳細に説明する。なお、以下の説明において、認識対象物は手であるとするが、本発明はこれに限られない。すなわち、認識対象物は、ポインタやリモコンなどであってもよい。

まず、ジェスチャ開始判定手段１２１は、動作者による開始動作を検出する（Ｓ１０１）。また、ジェスチャ開始判定手段１２１は、検出された開始動作に基づき動作領域を設定する。

次に、認識領域設定手段１２２は、上記動作領域に基づき認識領域を設定する（Ｓ１０２）。

続いて、形状識別手段１２３は、認識領域ＯＥ内において手を検出し、検出された手が右手であるか、または左手であるかを識別する（Ｓ１０３）。

形状識別手段１２３による手の識別が完了した後、動作者特定手段１２４は、検出された手が右手（左手）であった場合、手の右側（左側）の領域において、その手に最も近い人物を上記動作者として特定する（Ｓ１０４）。

その後、ジェスチャ認識手段１２５は、認識領域ＯＥにおいてジェスチャ認識を行う（Ｓ１０５）。

ジェスチャ認識手段１２５によるジェスチャ認識が行われた後、表示機器制御手段１２６は、表示機器が備えた制御機能部と協働することにより、該表示機器において、ジェスチャ認識の結果に対応する処理を実行する。このとき、表示機器制御手段１２６は、以下で例を挙げて説明するように、動作者の特徴に基づき、表示機器の制御方法を変更してもよい。

以上で、ジェスチャ認識処理Ｘが終了する。

〔表示機器の制御方法を変更する実施例〕
表示機器制御手段１２６が、動作者の特徴に基づいて、表示機器の制御を変更する例として、以下に３つの実施例を挙げる。

まず、第１の実施例では、各操作者について、あるジェスチャと、そのジェスチャに対応する処理との対応を示す上記ジェスチャ−処理テーブルが記憶部１３に記憶される。本実施例のジェスチャ認識処理Ｙでは、制御手段１２がさらに備えた顔認証手段が、動作者の顔認証結果を行う。その後、表示機器制御手段１２６は、上記顔認証手段による顔認証の結果から、動作者に対応する操作者を判定する。そして、表示機器制御手段１２６は、該操作者に適用される上記ジェスチャ−処理テーブルに基づき、ジェスチャ認識手段１２５によって認識されたジェスチャに対応する処理内容で、上記表示機器を制御する。このとき、上記ジェスチャ−処理テーブルは、操作者毎に設定されるから、あるジェスチャが行われた場合における上記処理内容を、操作者毎に異なるものとすることができる。従って、操作者は、上記ジェスチャ−処理テーブルを所望の設定とすることにより、自分用にカスタマイズされたリモコンを操作する感覚で、ジェスチャによる表示機器の操作を行うことができる。

（顔認証について）
顔認証手段による顔認証は、以下のように実行される。まず、顔認証手段は、動作者特定手段１２４により検出された顔、すなわち動作者の顔の特徴を示す特徴量を抽出して、記憶部１３に記憶された操作者リストに含まれる操作者の顔の特徴量と一致する程度を示す類似度を算出する。上記操作者リストには、操作者として受け付ける人物の顔の特徴量がリスト化されている。なお、上記顔の特徴量とは、顔の各パーツ（目・鼻・口）の位置関係や顔の色、顔の形状などを数値化した情報のことである。顔認証手段によって、動作者と各操作者との類似度が算出された後、表示機器制御手段１２６は、操作者リストに含まれる操作者のうち、動作者との類似度が最も高い類似人物について、その類似度が所定値以上であるか否か判定する。その類似度が所定値以上であった場合、動作者と類似人物とは同一人物であると判定する一方、その類似度が所定値よりも小さい場合、動作者と類似人物とは同一人物ではないと判定する。

なお、顔認証、言い換えれば顔の特徴量に基づいて操作者を決定する代わりに、手の特徴を示す特徴量に基づいて操作者の判定を行ってもよい。この構成の場合、制御手段１２は、動作者の手の認証を行う手認証手段をさらに備える。この構成では、操作者毎の手の特徴量をリスト化した操作者リストαが記憶部１３に記憶される。そして、ジェスチャ認識処理Ｙにおいて、上記手認証手段は、上記操作者リストαを参照し、動作者の手の手認証を行う。次に、上記手認証手段による手認証結果に基づき、表示機器制御手段１２６が、操作者を判定する。

第２の実施例では、動作者の特徴、特に動作者の顔の特徴量に基づいて推定される、動作者の性別、年齢、またはその組み合わせに応じて、表示機器制御手段１２６が、上記ジェスチャ−処理テーブル、表示装置の表示方法および／または表示機器の操作方法を変更する。ここで、動作者の顔の特徴量とは、例えば、顔の大きさ、目の大きさ、顔の長さと幅との比などを数値化した情報である。本実施例では、上記ジェスチャ−処理テーブルは、操作者毎ではなく、操作者の性別、年齢、またはその組み合わせに基づいて設定される。一例を挙げると、表示機器制御手段１２６は、動作者が女性かつ／または高齢者であると判定した場合、インターネットブラウザやテレビ画面を立ち上げるためのアイコンを上記表示装置に表示するＵＩを提供する。これにより、操作者は、認識対象物をアイコンの位置まで変位させるという簡単な操作により、上記表示機器を操作することができる。一方、表示機器制御手段１２６は、動作者が男性かつ／または若年者であると判定した場合、様々な手の形状および動作に、ショートカット操作やその他の操作をそれぞれ対応させた上記ジェスチャ−処理テーブルを提供する。この場合、操作者は、手の形状および動作のみで、様々な操作を行うことができる。このように、本実施例では、動作者の性別および／または年齢に応じて、上記ジェスチャ−処理テーブル、表示装置の表示方法および／または表示機器の操作方法を変更する。これにより、異なる性別および／または年齢の複数の操作者が、各々、自分に合ったやり方で、上記表示機器の操作を行うことができる。

第３の実施例として、動作者と上記操作者リストに含まれる操作者との類似度が所定値よりも小さい場合、表示機器制御手段１２６は、上記操作者リストに動作者を追加登録する構成としてもよい。この構成によれば、操作者として新規で登録されようとする人物は、手を挙げるという簡単な動作によって、操作者として登録を行うことができる。

さらに別の実施例として、動作者以外の人物による操作が、開始動作後の一定時間だけ受け付けられない状態となる構成としてもよい。これにより、動画撮影部１１の前に複数の人物が存在する場合であっても、開始動作を行った動作者以外の人物によるジェスチャは、開始動作後の一定時間、ジェスチャ認識装置１によって受け付けられなくなる。これにより、動作者は他人のジェスチャに邪魔をされることなく、操作を行うことができる。また、動作者以外の人物によるジェスチャではない動作が誤って認識されることがないという効果も奏する。

〔実施形態２〕
本発明に係る別のジェスチャ認識装置１ａについて、図５および図６を用いて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１で説明した図面と同じ機能を有する部材については、同じ符号を付記して、その説明を省略することとする。

前記実施形態１では、動作者の開始動作を検出して、その開始動作を行った人物を動作者としたが、本実施形態では、視線方向の推定を行い、視線方向が静止している人物を操作者として受け付ける。

本実施形態では、下記ジェスチャ認識処理Ｚにおいて、制御手段２２が含む各手段、特にジェスチャ開始判定手段１２１ａの実行する処理が、ジェスチャ開始判定手段１２１の行う処理とは異なる。具体的には、前記実施形態１において、ジェスチャ開始判定手段１２１は、開始動作を検出することにより動作者を決定した。一方、本実施形態では、ジェスチャ開始判定手段１２１ａは、視線方向の静止、および顔位置の静止／顔方向の静止に基づいて、ジェスチャ開始の意図を有する操作者を推定する。また、本実施形態では、制御手段２２は、ジェスチャ開始判定手段１２１ａが判定した操作者と、動作者特定手段１２４により特定された動作者とが異なる人物である場合に、動作者によるジェスチャを受け付けないことを決定する、ジェスチャ受付判定手段１２７をさらに備える。

以下に、ジェスチャ開始判定手段１２１ａおよびジェスチャ受付判定手段１２７の詳細を説明する。

（１．ジェスチャ開始判定手段１２１ａ）
ジェスチャ開始判定手段１２１ａは、視線方向推定手段と顔検出手段とを含む構成である。以下に、ジェスチャ開始判定手段１２１ａが備えた各手段の詳細をそれぞれ説明する。

（Ａ．顔検出手段）
顔検出手段は、動画撮影部１１が撮影した画像を取得し、その画像中から人間の顔および顔位置ＦＥ（すなわち画像中において顔が占有する領域；図３参照）を検出するものである。そして、顔検出手段は、各フレーム画像において推定した顔位置ＦＥを、記憶部１３に記憶する。画像中から人間の顔を抽出するには、周知の顔検出技術を利用すればよい。例えば、まずテンプレートマッチングを併用して肌色領域を抽出し、次に上記肌色領域における色の変化に基づいて眉および口の位置を推定し、推定した眉・口を含みかつ画像の縦横方向と平行な辺を有する最小の正方形の領域を、顔位置ＦＥとして設定してもよい。

（テンプレートマッチングについて）
上記テンプレートマッチングとは、入力画像などのサンプルについて、予め準備したモデルとの一致（マッチング）の程度を計算する方法のことである。

以下に、テンプレートマッチング処理の流れを簡単に説明する。なお、テンプレートマッチングのため、顔形状のテンプレートを予め記憶部１３に記憶しておく。

まず、画像から抽出した肌色領域の部分と、記憶部１３に準備した顔形状のテンプレートとを比較する。そして、上記肌色領域のうち、上記テンプレートとの類似度が所定値よりも小さい部分は、人間の顔には相当しないと判定して除外する。その後、残った肌色領域、すなわち上記テンプレートとの類似度が所定値以上の領域について、後述するジェスチャ認識処理が行われることになる。なお、テンプレートとして、互いに異なる複数のテンプレートが存在することが望ましい。この場合、テンプレートマッチング処理では、各テンプレートについてサンプルとのマッチングが計算されて、サンプルとの類似度が所定値以上であるテンプレートが存在すれば、このサンプルは人間の顔に相当すると判定されることになる。

（Ｂ．視線方向推定手段）
視線方向推定手段は、操作者の視線方向ＬＶ（図４の（ａ）および（ｂ）参照）を推定するものである。また、視線方向推定手段は、動画撮影部１１が撮影した全てのフレーム画像毎、あるいは所定の枚数のフレーム画像毎に推定した視線方向を記憶部１３に記憶する。

（視線方向推定について）
視線方向の推定は、以下のようにして実現してもよい。

視線方向推定手段は、まず、顔位置ＦＥに対応する画像領域において、目の位置を抽出する。顔位置ＦＥから目を抽出するためには、顔位置ＦＥの中から、最も輝度が高い領域を抽出すればよい。これにより、一般的には白目の領域が抽出される。抽出された白目の輪郭によって囲われる領域が、目の領域となる。続いて、視線方向推定手段は、虹彩を抽出する。なお、虹彩は、輝度が高い領域である白目を周辺領域とする領域であって、かつ輝度が低い領域を抽出することによって発見することができる。このように、目および虹彩を抽出した後、視線方向推定手段は、目の領域における虹彩の左右方向の偏りから、視線方向を推定する。

（ジェスチャ開始判定の詳細）
続いて、ジェスチャ開始判定手段１２１ａによるジェスチャ開始判定の詳細を説明する。

ジェスチャ開始判定手段１２１ａは、顔位置ＦＥおよび視線方向ＬＶを記憶部１３から取得する。ジェスチャ開始判定手段１２１ａは、詳細には、連続する複数のフレーム画像（例えば３０フレーム画像）における顔位置ＦＥおよび視線方向ＬＶを取得する。そして、ジェスチャ開始判定手段１２１ａは、取得したフレーム画像間における顔位置ＦＥの変化量に基づいて、操作者の顔の位置が静止しているかを判定し、また、フレーム画像間における視線方向ＬＶの変化量に基づいて、操作者の視線方向が静止しているか否かを判定する。ここで、操作者は、ジェスチャ認識装置１にジェスチャを認識させたい場合、動画撮影部１１すなわちカメラを凝視する。そのため、操作者がジェスチャ開始を意図している場合、操作者の顔の位置は静止し、かつ、操作者の視線方向は動画撮影部１１を向いて静止する。そこで、ジェスチャ開始判定手段１２１ａは、所定期間において、所定の方向と視線方向ＬＶとの為す角度が所定値よりも小さく（条件Ａ）、かつ、顔位置ＦＥの変化量が所定値よりも小さい（条件Ｂ）場合に、操作者がジェスチャの開始を意図していると判定する。

詳細には、ジェスチャ開始判定手段１２１ａは、以下の２つの意図判定条件がどちらも満たされる場合に、操作者がジェスチャの意図を有すると判定する。
条件Ａ．視線方向が、連続する３０フレーム画像において、動画撮影部１１と正対する方向に対して１０°の角度範囲内に存在する。すなわち、視線方向が、連続する３０フレーム画像において、虹彩の中心を頂点とし、虹彩の中心と動画撮影部１１とを結ぶ基準直線の周りに１０°の角度で拡がる円錐に含まれる。
条件Ｂ．顔位置ＦＥの中心（または重心など所定の一点）が、連続する３０フレーム画像において、顔位置ＦＥの幅（左右長さ）の１０％の長さを径とする１つの円に含まれる。

ただし、ジェスチャ開始判定手段１２１ａが、操作者によるジェスチャ開始の意図を判定する条件はこれに限られない。例えば、上記条件Ａにおいて、操作者の視線が、動画撮影部１１の代わりに、その他の所定方向または複数の所定方向のうちいずれかの方向に、操作者の視線が静止していることを、ジェスチャ開始判定の条件としてもよい。また、上記条件ＡおよびＢにおいて、円錐の角度／円の径の大きさは、操作者の視線方向／顔位置が静止しているとみなせる範囲内で変更してもかまわない。なお、円錐の角度／円の径を大きくするほど、操作者の視線方向／顔位置が大きく動いており、操作者がジェスチャ開始の意図を有するとは考え難い場合であっても、ジェスチャ認識装置１によるジェスチャ認識が開始されることになる。逆に、上記円錐の角度または上記円の径を狭めるほど、操作者の視線方向または顔位置がほとんど動いていない場合にのみ、ジェスチャ認識装置１によるジェスチャ認識処理が開始されることになる。

（別のジェスチャ開始判定の詳細）
ここでは、上記ジェスチャ開始判定の変形例を説明する。

本変形例では、ジェスチャ開始判定手段１２１ａが、視線方向推定手段および顔検出手段に加えて、操作者の顔方向を推定する顔方向推定手段をさらに含んでいる。この顔方向推定手段は、顔検出手段から取得した顔位置ＦＥ内において、操作者の顔方向を推定するものである。なお、顔方向を推定する方法は下記の通りである。本変形例では、操作者の顔位置が静止しているか否かが判定される代わりに、顔方向が静止しているか否かが判定される。

なお、本変形例は、以下の考察に基づいている。操作者が、ジェスチャ認識装置１にジェスチャを認識させるため、動画撮影部１１を凝視するとき、操作者の視線方向が動画撮影部１１を向いて静止するとともに、操作者の顔の向きは、動画撮影部１１に正対して静止する。そこで、顔検出手段によって検出された顔の位置ＦＥの変化量が所定値よりも小さく、かつ、顔方向推定手段によって推定された顔の向きと所定の方向との為す角度が所定値よりも小さい場合、操作者はジェスチャの開始を意図していると考えられる。

すなわち、本変形例では、前記実施形態１のように顔位置ＦＥが静止していることを上記意図判定条件の１つとする代わりに、顔方向が所定の方向で静止していることを上記意図判定条件の１つとしている。ここで、顔方向の上記所定の方向とは、具体的には動画撮影部１１に正対する方向であってもよい。

前記実施形態１では、操作者の顔が所定の方向、例えば動画撮影部１１の方向を向いていない状態で、その顔の位置が静止している場合であっても、ジェスチャ開始を意図していると判定される可能性があった。一方、本変形例では、顔の方向が所定の方向で静止していることに基づいて、操作者がジェスチャ開始を意図していることを判定するので、より正確に操作者のジェスチャ開始の意図を判定することができる。

（顔方向の推定について）
人の顔の向き（言い換えれば頭の向き）を推定するためには、前述した視線方向の推定を応用することができる。詳細には、動画像から前述のように抽出した両目が、顔位置ＦＥの横方向の中心線に対して対称な位置にある場合、顔の向きはジェスチャ認識装置１（正確にいえば動画撮影部１１）に対して正対していると判断する。一方、抽出した目の位置が、上記中心線に対して非対称な位置にある場合、顔の向きはジェスチャ認識装置１に対して正対していない、すなわち操作者は横を向いていると判断する。

（２．ジェスチャ受付判定手段１２７）
ジェスチャ受付判定手段１２７は、ジェスチャ開始判定手段１２１ａが判定した操作者と、形状識別手段１２３が検出した動作者の手との位置関係に基づいて、動作者によるジェスチャを受け付けるか否かを決定する。詳細には、ジェスチャ受付判定手段１２７は、動作者の手が右手（左手）である場合、操作者がその手の親指に対して右側（左側）かつ最も近くに位置するならば、操作者と動作者とは一致すると判断し、動作者の手によるジェスチャを受け付けることを決定する。

一方、動作者の手がそれ以外の場所に位置するならば、操作者と動作者とは異なる人物であると判断し、動作者の手によるジェスチャを受け付けないことを決定する。これにより、操作者ではない人物（動作者）の手が、形状識別手段１２３により検出された場合に、その人物のジェスチャが誤って認識されることがない。

（ジェスチャ認識処理Ｚの流れ）
ここでは、制御手段２２によって実行されるジェスチャ認識処理Ｚの流れについて、図６を用いて説明する。ジェスチャ認識処理Ｚでは、視線方向が静止していることに基づいて、ジェスチャ開始の意図を判定するとともに、ジェスチャ開始の意図を有すると判定された人物を、操作者として決定する。また、認識領域ＯＥ内で検出した手が右手であるかまたは左手であるかを識別して、その識別結果に基づき、動作者すなわち検出された手の持ち主を特定する。そして、上記動作者と上記操作者とが同一人物である場合に、該動作者によるジェスチャ認識を受け付ける。以下に、図６に示すフローチャートに従って、ジェスチャ認識処理Ｚの詳細を説明する。

まず、視線方向推定手段１２８は、顔を検出した人物の視線方向が静止していることに基づき、該人物はジェスチャを開始することを意図していると推定する（Ｓ２０１）。これにより、視線方向の静止している人物が、操作者として認定される。

次に、認識領域設定手段１２２は、操作者の顔位置ＦＥに基づき認識領域ＯＥを設定する（Ｓ２０２）。認識領域設定手段１２２は、具体的には、顔位置ＦＥの左右または左か右の一方の位置に、顔位置ＦＥの１．５倍の大きさの正方形として、認識領域ＯＥを設定する。

続いて、形状識別手段１２３は、認識領域ＯＥ内において手を検出し、検出された手が右手であるか、または左手であるかを識別する（Ｓ２０３）。

形状識別手段１２３による手の識別が完了した後、動作者特定手段１２４は、検出された手が右手（左手）であった場合、手の右側（左側）の画像領域において、その手に最も近い人物を、動作を行った人物すなわち動作者として特定する（Ｓ２０４）。

続いて、表示機器制御手段１２６は、視線方向推定手段１２８が決定した操作者と、動作者特定手段１２４が特定した動作者とが一致するか否かを判定する（Ｓ２０５）。

操作者と動作者とが一致しない場合（Ｓ２０５でｎｏ）、視線方向推定手段１２８が視線方向に基づいてジェスチャ開始の意図を推定するステップＳ２０１に戻る。一方、操作者と動作者とが一致する場合（Ｓ２０５でｙｅｓ）、ジェスチャ認識手段１２５は、形状識別手段１２３が検出した手のジェスチャを認識し（Ｓ２０６）、ジェスチャ認識処理を終了する。

〔実施形態３〕
本発明に係る表示機器１０００について、図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１または２で説明した図面と同じ機能を有する部材については、同じ符号を付記して、その説明を省略することとする。

（表示機器１０００の構成）
図７に外観を示す表示機器１０００は、ジェスチャ認識装置１および表示装置２を備えたものである。なお、表示機器１０００において、ジェスチャ認識装置１の代わりに、前記変形例のジェスチャ認識装置１ａを適用することもできる。また、表示機器１０００は、具体的にはパーソナルコンピュータである。しかしながら、本発明はこれに限られず、表示機器１０００は、テレビジョン受像機、インターネットテレビ、またはタブレット端末など、制御機能および表示機能を備えた各種表示機器であってもよい。

ここで、図７では、ジェスチャ認識装置１が表示装置２の上側に設置されているが、ジェスチャ認識装置１が設置される位置について特に制限はなく、表示装置２の下側・左側・右側に設置されてもよいし、または表示装置２と一体となった構成であってもよい。

ジェスチャ認識装置１と表示装置２とが一体となった構成としては、例えば、表示装置２の画面の周りを囲うフレームに、動画撮影部１１が埋め込まれた構成としてもよい。さらに、表示装置２がウェブカメラを備えている場合には、このウェブカメラを動画撮影部１１の代用とすることができる。この場合、ジェスチャ認識装置１の全体がソフトウェア的に実現されることになる。

（表示機器制御手段１２６について）
本実施形態における表示機器制御手段１２６は、ジェスチャ認識手段１２５から取得したジェスチャ認識結果に基づいて、表示装置２における表示を制御する。表示機器制御手段１２６は、例えば、上記表示機器１０００がさらに備えた制御機能部（図示せず）と協働することによって、表示装置２に表示されたポインタＰを制御する。このポインタＰは、ジェスチャ認識装置１が認識対象物のジェスチャを認識した結果に基づき、認識対象物のジェスチャに対応する動作を行う。すなわち、操作者が認識領域ＯＥ内において認識対象物を動作させると、表示装置２の画面内において、ポインタＰが認識対象物の動作に連動する。そのため、操作者は、表示装置２の画面に接触したり、あるいはリモコンなどの道具を使用したりすることなく、画面に表示されたポインタＰの操作を行うことができる。

次に、表示機器１０００の使用例を説明する。まず、認識領域ＯＥ内で、操作者が認識対象物（手）を用いたジェスチャを行う。認識対象物のジェスチャは動画撮影部１１によって撮影されて、ジェスチャ認識手段１２５によって認識された後、表示機器制御手段１２６に入力される。すると、表示機器制御手段１２６は、ジェスチャの認識結果に基づいて決定したポインタＰの制御内容を、表示装置２が備えた上記制御機能部に送信する。そして、上記制御機能部は、表示機器制御手段１２６と協働することにより、表示装置２に表示されたポインタＰを制御する。なお、単にポインタＰの変位を制御するのみでなく、認識対象物の形状に対応する処理内容を上記制御機能部に実行させることができる構成であってもよい。これにより、例えば、操作者が手を握る動作を行った場合、表示機器制御手段１２６は、ポインタＰと重なる位置に表示されているアイコンが選択されるよう制御するといったことが可能となる。

なお、本発明は上述した各実施形態１〜３に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態１〜３にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、ジェスチャ認識装置１、１ａの各ブロック、特に制御手段１２、２２に含まれる各手段は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、ジェスチャ認識装置１、１ａは、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１、１ａの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１、２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、ジェスチャ認識装置１、１ａを通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、表示装置を備えた各種表示機器、特にテレビジョン受像機、パーソナルコンピュータ、およびタブレット端末などに利用することができる。

１、１ａ ジェスチャ認識装置
２ 表示装置
１０００ 表示機器
１３ 記憶部
１２１ ジェスチャ開始判定手段
１２３ 形状識別手段
１２４ 動作者特定手段
１２６ 表示機器制御手段（処理実行手段）

Claims (14)

1. ユーザの手の動作を撮影した動画から、上記手によるジェスチャを認識するジェスチャ認識装置において、
   上記ユーザの顔を検出する顔検出手段と、
   上記手が、右手であるかまたは左手であるかを識別する形状識別手段と、
   識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定する動作者特定手段とを備えたことを特徴とするジェスチャ認識装置。
2. 上記手の形状は、全ての指を延ばした形状であり、
   上記形状識別手段は、上記手の親指がその手の右端部に位置している場合、その手は右手であると識別する一方、上記手の親指がその手の左端部に位置している場合、その手は左手であると識別することを特徴とする請求項１記載のジェスチャ認識装置。
3. 上記形状識別手段は、上記手の先端部を抽出し、抽出された先端部のうち、動画の上下方向について、その位置が最も低い先端部を親指とすることを特徴とする請求項２記載のジェスチャ認識装置。
4. 上記手の形状は、人差し指のみを延ばした形状であり、
   上記形状識別手段は、上記手の人差し指がその手の右寄りに位置している場合、その手は右手であると識別する一方、上記手の親指がその手の左寄りに位置している場合、その手は左手であると識別することを特徴とする請求項１記載のジェスチャ認識装置。
5. 上記ジェスチャを受け付ける人物である操作者の顔の特徴量をリスト化した操作者リストを記憶するとともに、上記操作者毎に認識するジェスチャと実行する処理内容との対応関係を示す、上記操作者毎のジェスチャ−処理テーブルを記憶した記憶部と、
   上記動作者の顔の特徴量と上記操作者リストの特徴量との類似度を判定することにより、上記動作者の顔認証を行う顔認証手段と、
   上記顔認証の結果に基づいて該動作者に対応する操作者を特定し、該操作者に適用される上記ジェスチャ−処理テーブルを参照することによって、上記ジェスチャに対応する処理を実行する処理実行手段とをさらに備えたことを特徴とする請求項１〜４のいずれか１項に記載のジェスチャ認識装置。
6. 上記処理実行手段は、上記顔認証手段により判定された上記類似度が所定値よりも小さい場合、上記動作者の顔の特徴量を上記操作者リストに追加して、上記動作者を操作者として認定することを特徴とする請求項５記載のジェスチャ認識装置。
7. 上記処理実行手段は、上記操作者を特定または認定した後、所定の時間、該操作者以外のジェスチャを受け付けないことを特徴とする請求項５または６記載のジェスチャ認識装置。
8. 所定の条件に基づき、上記手によるジェスチャを開始しようとしているか否かを判定するジェスチャ開始判定手段をさらに備え、
   上記形状識別手段は、上記手によるジェスチャを開始しようとしていると上記ジェスチャ開始判定手段が判定した場合に、上記手の識別を行うことを特徴とする請求項１〜７のいずれか１項に記載のジェスチャ認識装置。
9. 上記所定の条件は、上記ユーザが手を振る動作であることを特徴とする請求項８記載のジェスチャ認識装置。
10. 上記所定の条件は、一定時間、所定の方向とユーザの視線方向との為す角度が所定値よりも小さいことを特徴とする請求項８記載のジェスチャ認識装置。
11. 外部の機器に対して、上記ジェスチャに対応する処理を実行するように指示する機器制御手段をさらに備えたことを特徴とする請求項１〜１０のいずれか一項に記載のジェスチャ認識装置。
12. 請求項１１記載のジェスチャ認識装置と、上記ジェスチャ認識装置によって動作制御が行われる表示装置とを備えた表示機器。
13. ユーザの手の動作を撮影した動画から、上記手によるジェスチャを認識するジェスチャ認識装置の制御方法であって、
    上記ユーザの顔を検出し、
    動画において検出した手が、右手であるかまたは左手であるかを識別した後、
    識別された上記手が右手であった場合、上記ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を上記ジェスチャの動作者として特定する一方、識別された上記手が左手であった場合、上記ユーザの顔が上記左手の左側に位置し、かつその手に最も近い人物を、上記ジェスチャの動作者として特定することを特徴とするジェスチャ認識装置の制御方法。
14. 請求項１３に記載のジェスチャ認識装置の制御方法の各処理をコンピュータに実行させるための制御プログラム。

Images