JP2007316882A - 遠隔操作装置及び方法 - Google Patents

Abstract

【課題】家庭用電化製品などにも適用できるような簡単な処理で、ユーザのジェスチャによる遠隔操作を実現する。
【解決手段】遠隔操作装置は、ユーザを撮影する撮像部１０と、撮像画像からユーザの特徴点を検出する特徴点検出部１５と、特徴点の位置情報に基づきユーザのジェスチャを推定するジェスチャ推定部１６と、ジェスチャに対応する操作信号を送信する操作信号送信部１７とを有する。特徴点検出部１５は、撮像画像の第１の領域では高精度で計算量が多い検出処理を行い、第２の領域では低精度で計算量が少ない検出処理を行い、両方の処理結果を統合することにより、特徴点を検出する。
【選択図】図１

Description

本発明は、操作対象の機器に対し、離れた位置からジェスチャにより遠隔操作を行う遠隔操作方法、及びそれを実現する遠隔操作装置に関する。

一般に、操作対象機器を遠隔操作するためには、赤外線を利用したリモートコントローラ（リモコン）が用いられる。しかしながら、従来のリモコンには、以下のような問題がある。

まず、ユーザが、リモコンを紛失しやすいという問題がある。また、近年では、ユーザが複数の機器に対応した複数のリモコンを所有している場合が多いため、リモコンを取り違え易いという問題もある。

また、リモコンの操作ボタンは、一般に小さく構成されているため、ユーザが間違った操作ボタンを押し易いという問題がある。さらに、リモコンは、一般に電池で駆動されるため、定期的に電池を取り替えなければならないという問題もある。

これらの問題を解決するため、ビデオカメラによりユーザのジェスチャを読み取ることにより遠隔操作を行う方法が提案されている（例えば、特許文献１参照）。また、ユーザのジェスチャを認識するための技術としては、撮像画像から肌色部分を抽出してテンプレートマッチングにより顔領域を特定し、さらにパターンマッチングにより動作を認識することが提案されている（例えば、特許文献２参照）。

特開２００３−１８６５９６（第６頁、図１） 特開２００３−２１６９５５（第１１頁、図１）

しかしながら、特許文献１には、ユーザのジェスチャを読み取る方法の詳細は開示されていない。また、特許文献２では、処理能力の高いパーソナルコンピュータを用いることを想定して、テンプレートマッチングのような高精度で複雑な処理を行っているため、例えば家庭用電化製品への適用が難しいという問題がある。

本発明は、上記の課題を解決するためになされたものであり、家庭用電化製品などにも適用できるような簡単な処理で、ユーザのジェスチャによる遠隔操作を実現することを目的とする。

この発明に係る遠隔操作装置は、ユーザの像を含む撮像画像を取得する撮像手段と、撮像画像から特徴点を検出する特徴点検出手段と、検出された特徴点に基づきユーザのジェスチャを推定するジェスチャ推定手段と、ジェスチャに対応する操作信号を生成し遠隔操作対象機器に送信する操作信号送信手段とを備える。特徴点検出手段は、撮像画像における第１の領域では第１の検出処理を行い、第２の領域では第１の検出処理よりも精度は低いが計算量が少ない第２の検出処理を行い、両検出処理の結果を統合することにより特徴点の検出を行う。

この発明に係る遠隔操作方法は、ユーザの像を含む撮像画像を取得する撮像ステップと、撮像画像から特徴点を検出する特徴点検出ステップと、検出された特徴点に基づきユーザのジェスチャを推定するジェスチャ推定ステップと、ジェスチャに対応する操作信号を生成し遠隔操作対象機器に送信する操作信号送信ステップとを含む。特徴点検出ステップでは、撮像画像における第１の領域では第１の検出処理を行い、第２の領域では第１の検出処理よりも精度は低いが計算量が少ない第２の検出処理を行い、両検出処理の結果を統合することにより特徴点の検出を行う。

本発明によれば、撮像画像において、高精度で計算量が多い（従って処理負荷が大きい）検出処理を行う領域を第１の領域に限定することにより、遠隔操作処理の全体の負荷を軽減することができる。これにより、ジェスチャ入力による遠隔操作処理を、比較的処理能力の高くない制御装置を備えた機器、例えば家庭用電化製品でも実現することが可能になる。

本発明は、撮像画像の全体に亘って高精度で複雑な検出処理を行っていた従来技術に対して、高精度で計算量が多い検出処理を行う領域を限定する（すなわち、複数の特徴点を含む可能性のある領域でのみ高精度で計算量が多い検出処理を行う）ことで、ジェスチャの推定に要する処理の負荷を軽減できることに着目したものである。すなわち、遠隔操作処理を、比較的処理能力の高くない制御装置を備えた機器（例えば家庭用電化製品）で実現できるようにしたものである。

以下、本発明の各実施の形態について、添付図面を参照して説明する。

実施の形態１．
図１は、本発明の実施の形態１におけるジェスチャ入力を用いた遠隔操作装置の構成を示すブロック図である。この遠隔操作装置は、ユーザの像を含む撮像画像を取得するカメラ等の撮像部１０と、撮像部１０により取得した撮像画像からジェスチャを読み取るジェスチャ認識部１とを備えている。ジェスチャ認識部１は、撮像部１０による撮像画像から特徴点を検出する画像処理部１１と、画像処理部１１において検出した特徴点の位置の変化からジェスチャを推定し、ジェスチャに対応する操作信号を遠隔操作対象機器１３に送信する認識処理部１２とを備えている。遠隔操作対象機器１３の機器制御部１３ａは、遠隔操作装置からの操作信号を受信し、受信した操作信号に応じた操作を行う。

遠隔操作装置の画像処理部１１は、撮像画像において特徴点が存在する可能性のある範囲を推定する特徴点存在範囲推定部１４と、この特徴点存在範囲において特徴点を検出する特徴点検出部１５とを備えている。遠隔操作装置の認識処理部１２は、特徴点に基づいてジェスチャを推定するジェスチャ推定部１６と、推定されたジェスチャに対応する操作信号を生成し、遠隔操作対象機器１３に対して送信する操作信号送信部１７とを備えている。

図２は、本発明の実施の形態１における撮像画像の例を示す図である。特徴点存在範囲推定部１４（図１）は、撮像画像の中から、ジェスチャ推定に必要な特徴点の存在する可能性の高い領域を、過去の数フレームとの間の画像の変化、及び、前フレームでの特徴点の位置に基づいて決定する。なお、特徴点とは、撮像画像中に存在する「ある特徴を持った部分」をいい、ここでは、ユーザの手や頭をいう。

特徴点が存在する可能性のある領域は、撮像画像中のユーザが含まれている領域である。例えば、図２に示す撮像画像では、内側にユーザの像が含まれるような領域境界２０を規定すると、その領域境界２０の内側は、特徴点が存在する可能性のある領域２１となり、領域境界２０の外側は、特徴点が存在する可能性の低い領域２２となる。なお、図２に示した領域境界２０は矩形状であるが、他の形状、例えば楕円形等であってもよい。

特徴点を検出する際には、撮像画像の全体を検出対象とするのではなく、過去の数フレームの間に撮像画像に変化があった領域のうち、特徴点が存在する可能性のある領域を「特徴点存在範囲」と推定し、この特徴点存在範囲のみを検出対象とする。撮像画像に変化がなかった領域は、特徴点の存在する可能性が低いため、検出対象から除外する。

特徴点存在範囲推定部１４は、複数の特徴点存在範囲が重なり合う領域と、重なり合わない領域とを区分することで、特徴点が全く含まれない領域、特徴点が一つだけ含まれる可能性のある領域、複数の特徴点が含まれる可能性のある領域というように、撮像画像を分割している。

図３は、撮像画像を上記のように分割した例を示す図である。特徴点１（例えば、ユーザの頭）の存在範囲３０は、内部に特徴点１が存在している可能性がある領域である。特徴点２（例えば、ユーザの右手）の存在範囲３１は、内部に特徴点２が存在している可能性がある領域である。これら２つの領域（特徴点存在範囲３０，３１）の重なり合い状態によって、多くても特徴点１のみしか含まない領域３２と、多くても特徴点２のみしか含まない領域３３と、特徴点１，２の両方を含む可能性がある領域３４とに分割することができる。

図４は、撮像画像の分割方法の一例を模式的に示す図である。図４のように、特徴点存在範囲推定部１４によって、ユーザの頭である特徴点１を含むように特徴点存在範囲３０が推定され、また、ユーザの右手である特徴点２を含むように特徴点存在範囲３１が推定された場合には、両特徴点存在領域３０，３１が重なり合う部分が生じる。この重なり合い部分を、「特徴点存在範囲が重なり合う領域３４」とする。なお、図４では、特徴点存在範囲が重なり合う領域を分かり易く説明するため、特徴点存在範囲を大きく図示している。

特徴点存在範囲３０，３１が重なり合う領域３４は、重なり合っている領域の数だけ特徴点が含まれている可能性がある。例えば、特徴点１の特徴点存在範囲３０と特徴点２の特徴点存在範囲３１とが重なり合っている領域３４内には、特徴点１及び特徴点２の両方が含まれている可能性がある。特徴点検出部１５（図１）は、この重なり合った領域３４内において、高精度で計算量が多い（従って負荷の大きい）特徴点検出処理を行うことで、複数の画素の塊（クラスタ）をそれぞれ区別して検出し、これらを複数の「特徴点候補点」とする。

一方、特徴点存在範囲３０，３１が重なり合わない領域３２，３３では、互いに接近した特徴点が存在せず、多くても１つの特徴点しか含まれない可能性が高いため、複数の特徴点を区別して検出する必要性が少ない。そのため、この領域３２，３３では、低精度で計算量が少ない（従って負荷の軽い）特徴点検出処理を行って、ただ１つの画素の塊を検出し、これを「特徴点候補点」とする。なお、この領域３２，３３において、仮に複数の画素の塊が検出された場合は、特徴点候補点である可能性が最も高いもの、例えば面積が最大のもの（最大尤度の特徴点候補点とする。）を採用する。

図５は、特徴点存在範囲３０，３１が重なり合う領域３４と、重なり合わない領域３２とをまたぐように特徴点が存在する場合を示す図である。特徴点存在範囲が重なり合う領域３４で高精度の検出処理により検出された画素の塊Ｃ１と、重なり合わない領域３２で低精度の検出処理により検出された画素の塊Ｃ２とが境界線を挟んで連続している場合には、これらを合わせて一つの特徴点（図５では特徴点１）と判断する。また、他と連続してない画素の塊Ｃ３は、それだけで一つの特徴点（図５では特徴点２）と判断する。領域３４，３２で検出された画素の塊の連続性を判断することを、「検出結果の統合」という。

ジェスチャ推定部１６（図１）は、特徴点検出部１５で検出された各特徴点の数フレームの間の位置変化に基づき、特徴点の現在の動きベクトルを検出し、予め動きベクトルの列として登録しておいたジェスチャパターン列と比較することで、ユーザのジェスチャを推定する。

操作信号送信部１７（図１）は、ジェスチャ推定部１６により推定されたユーザのジェスチャに対応する操作信号を生成し、遠隔操作対象機器１３（例えば家庭用電化製品）の機器制御部１３ａに送信し、操作信号に対応した操作を遠隔操作対象機器１３に行わせ、これによりジェスチャによる遠隔操作を実現する。

図６は、この実施の形態１における遠隔操作処理の全体の流れを示すフローチャートである。図６に示した遠隔操作処理のうち、特徴点存在範囲の推定処理（ステップＳ１１）から検出結果の統合処理（ステップＳ１８）までは、画像処理部１１によって行われる。また、ジェスチャの推定処理（ステップＳ１９）から操作信号の送信処理（ステップＳ２１）までは、認識処理部１２によって行われる。

この遠隔操作処理では、まず、カメラの撮像部１０により撮像を行い、ユーザの像を含む撮像画像を取得する（ステップＳ１０）。

次に、画像処理部１１の存在範囲推定部１４が、撮像部１０により撮像された撮像画像の数フレームの履歴等に基づき、撮像画像のうち変化があった部分の中から、特徴点存在範囲を推定する（ステップＳ１１）。撮像画像に全く変化がなく、特徴点存在範囲を推定できなかった場合には（ステップＳ１２）、ステップＳ１０に戻って撮像部１０による画像の撮像を行う。

次に、ステップＳ１１で推定した特徴点存在範囲に基づき、複数の特徴点存在範囲が重なり合う領域があるか否かを判断する（ステップＳ１３）。

特徴点存在範囲が重なり合う領域がある場合には、その重なり合う領域において、特徴点検出部１５が高精度で計算量が多い検出処理を行い、複数の画素の塊を区別して検出して、複数の「特徴点候補点」を得る（ステップＳ１４）。この検出処理は、例えばラベリング処理である。

特徴点存在範囲が重なり合う領域があれば、必ず、重なり合わない領域も存在するため（図３参照）、その重なり合わない領域においては、低精度で計算量が少ない検出処理を行い、一つの画素の塊を検出して、一つの「特徴点候補点」を得る（ステップＳ１５）。この検出処理は、例えば色ヒストグラムを用いた検出処理（色ヒストグラム法）など、簡単な処理であるため、比較的高速で行うことができる。なお、ステップＳ１４，Ｓ１５の順序は、逆であってもよい。

さらに、高精度で計算量が多い検出処理（ステップＳ１４）と低精度で計算量が少ない検出処理（ステップＳ１５）の検出結果を統合する（ステップＳ１６）。すなわち、高精度で計算量が多い検出処理で検出された特徴点候補点と、低精度で計算量が少ない検出処理で検出された特徴点候補点とが連続するかどうかを判断し、連続している場合には、これらをまとめて一つの「特徴点」とする（図５参照）。また、特徴点候補点が連続していない場合には、それぞれの別々の「特徴点」とする。

一方、上述したステップＳ１３において、特徴点存在範囲の重なり合う領域がなかった場合には、低精度で計算量が少ない検出処理のみを行い、一つの「特徴点候補点」を得る（ステップＳ１７）。この低精度で計算量が少ない検出処理は、ステップＳ１５と同様、例えば色ヒストグラムを用いた検出処理である。

続いて、特徴点が検出されたか否かを判断し（ステップＳ１８）、特徴点が検出されていない場合には、ステップＳ１０に戻って撮像部１０による画像の撮像を行う。

特徴点が検出された場合には、ジェスチャ推定部１６が、特徴点の位置情報をもとにユーザのジェスチャを推定する（ステップＳ１９）。ここでは、例えば、複数フレームに亘る撮像画像の変化に基づき、特徴点１（ユーザの頭）の位置に対して、特徴点２（ユーザの手）の位置が上下に変化していると判断した場合には、ユーザが右手を上下に動かしている等のジェスチャを推定する。

なお、「頭」とは、人間の首より上の部分であって、顔も含むものとする。また、ユーザの手の動きを判断する基準にできる部分であれば、ユーザの頭の代わりに、他の部分を特徴点として用いてもよい。

次に、ジェスチャが推定されたか否かを判断し（ステップＳ２０）、ジェスチャが推定された場合には、操作信号送信部１７が、ジェスチャに対応する操作信号を生成し、遠隔操作対象機器１３に送信する（ステップＳ２１）。ジェスチャをまだ推定できていない場合、及び、操作情報の送信が完了した場合には、ステップＳ１０に戻って撮像部１０による画像の撮像を行い、上述した各処理（ステップＳ１０〜Ｓ２１）を繰り返す。

遠隔操作対象機器１３の機器制御部１３ａは、受信した操作情報に対応した動作を実行するよう遠隔操作対象機器１３を制御する。このようにして、遠隔操作対象機器１３の遠隔操作が実現される。

以上説明したように、この実施の形態１では、特徴点存在範囲３０，３１の重なり合う領域３４については、高精度で計算量が多い（負荷が大きい）検出処理を行い、特徴点存在範囲３０，３１の重なり合わない領域３２，３３については、低精度で計算量が少ない（負荷が小さい）検出処理を行っている。このように、高精度で計算量が多い検出処理を行う領域を限定することにより、簡単な処理で遠隔操作を実現することができる。

このように、簡単な処理でジェスチャによる遠隔操作を行うことができるため、例えば家庭用電化製品のように比較的ハードウェアリソースの少ない機器でも、遠隔操作装置を実現することが可能になる。

また、特徴点存在範囲３０，３１の重なり合う領域３４では、高精度で計算量が多い検出処理を行うようにしたため、複数の特徴点が接近して存在している場合であっても、これらを正確に区別して認識することができ、その結果、ユーザのジェスチャを正確に読み取ることができる。

また、特徴点としてユーザの手と頭とを用いることにより、ユーザの手を動かすジェスチャを頭の位置を基準として推定することが容易になる。

実施の形態２．
図７は、本発明の実施の形態２における特徴点存在範囲の推定処理の流れを示すフローチャートである。この実施の形態２における特徴点存在範囲の推定処理は、実施の形態１で説明した特徴点存在範囲推定部１４（図１）により実行される特徴点存在範囲の推定処理（図６のステップＳ１１）の一具体例に関するものである。

特徴点存在範囲の推定処理では、まず、撮像画像と、背景画像又は数フレーム前の画像との差分をとることにより、撮像画像のうち変化のあった部分を特定する（ステップＳ３０）。さらに、その中から、前フレームの撮像画像において特徴点が存在していた位置の近傍を検索する（ステップＳ３１）。フレームの時間間隔は、例えば６０ｍｓ程度と短く、ジェスチャの最中であったとしても１フレーム間における特徴点の位置の変化は僅かである。そのため、前フレームの撮像画像において特徴点が存在していた位置の近傍には、現フレームでも特徴点が存在すると考えることができる。すなわち、撮像画像の変化のあった部分から、特徴点の存在する可能性の有る部分を絞り込むことができる。そこで、「撮像画像の変化のあった部分であって、前フレームでの特徴点の位置の近傍部分」を、特徴点存在範囲として推定する（ステップＳ３２）。

ステップＳ３０において撮像画像との差分をとる対象としては、予め撮影してある背景画像、又は、数フレーム前の撮像画像を用いることができる。差分を求める際には、各画素におけるＲＧＢ空間の値の差分を求めてもよいし、ＲＧＢ空間を別の色空間、例えばＨＳＶ空間の値に変換した値による差分を求めてもよい。

背景画像との差分（以下、背景差分とする。）を用いた場合には、撮像画像を背景部分と前景部分とに区別することができる。さらに、背景部分は画像がほとんど変化していない部分であり、この部分に特徴点が含まれている可能性は低いため、ステップＳ３２において特徴点存在範囲を推定する際に、特徴点存在範囲を撮像画像内の前景部分のみに絞り込むことができる。

なお、背景画像は、遠隔操作装置の起動時に撮像部１０が自動撮影した背景画像であってもよいし、ユーザが装置本体のボタンなどを操作することにより撮像部１０が撮影した背景画像であってもよい。但し、前景画像候補であるユーザが背景画像に含まれないように撮影する必要がある。

背景画像は、時間経過による照明変化の影響を軽減するために、逐次更新する（ステップＳ３３）。更新は、一定周期で行われるものであってもよいし、急激な照明変化を検出した際に行われるものであってもよい。なお、照明変化が少ない場合の更新は、背景画像全体を一度に更新する代わりに、数フレームに分けて局所的に更新することにより（例えば、画像全体を１ブロック４×４のブロックで分割し、１フレームにつき各ブロック内の１画素のみを更新することにより）、処理を軽減することができる。

一方、ステップＳ３０において、数フレーム前の撮像画像との差分（以下、フレーム間差分）を用いた場合には、この数フレームの間に生じた変化、主に撮影対象の動きを求めることができるため、ステップＳ３２において、特徴点存在範囲を、動きのあった部分の周辺に絞り込むことが可能になる。なお、フレーム間差分を用いる場合は、１フレーム目の処理を行うことができないが、その場合には１フレーム目のみ背景差分を用い、２フレーム目からはフレーム間差分を行うことも可能である。

なお、２フレーム目以降では、背景差分とフレーム間差分の両方を用いるようにしてもよい。このようにすれば、特徴点存在範囲を、前景部分の中で特に動きのある部分として、さらに絞り込むことが可能になる。

ステップＳ３０において、背景差分及びフレーム間差分を求める際には、１画素ずつ差分を求めてもよいし、複数の画素、例えば２×２の矩形領域の差分をまとめて求めてもよい。１画素ずつの差分を求める場合は、その１画素ずつの差分値に対して閾値処理を行うことで、前景部分及び動きのある部分を切り出すことができる。複数の画素の差分をまとめて求める場合は、複数の画素、例えば２×２の矩形領域同士の類似度を求め、その矩形領域の類似度に対して閾値処理を行うことで、前景部分及び動きのある部分を切り出すことができる。複数の画素の類似度としては、各１画素ずつの差分の平均値を用いてもよいし、例えば正規化相関のようなパターンマッチングを行うことで得られる相関値を用いてもよい。

特徴点存在範囲の形状は、矩形であってもよいし、検出対象の特徴点の形状特徴に応じて定義した形状、例えば楕円形であってもよい。なお、１フレーム目若しくは前フレームで特徴点が検出されなかった場合には、上記ステップＳ３２において特徴点存在範囲を推定することができないため、撮像画像の全画素を対象として特徴点の検出処理を行う必要があるが、撮像部１０の視野外から侵入してくる検出対象に対しては、例えば撮像画像の外周から数画素までの領域に限定して検出処理を行うことで対処することができる。

このように、実施の形態２によれば、撮像画像における特徴点存在範囲を推定することにより、後工程の特徴点検出処理において、特徴点存在範囲が重なり合う領域と重なり合わない領域とで検出処理の精度を分けることが可能になり、処理負担を軽減しつつ、ジェスチャによる遠隔操作を実現することができる。

特に、実施の形態２においては、撮像部１０により取得した撮像画像と、背景画像又は数フレーム前の画像との差分から、撮像画像の変化した部分を求め、さらに前フレームでの特徴点位置に基づいて特徴点存在範囲を推定するようにしたので、撮像画像に含まれるノイズの影響を低減することができる。また、差分を求めるに際して、数画素をまとめて処理することにより、処理時間を短縮することが可能になる。

実施の形態３．
図８は、遠隔操作装置において読み取りの対象となるジェスチャの例を示す図である。ここでは、例えば、ユーザが右腕を左右に振るジェスチャ（Ａ）、右腕を上下に振るジェスチャ（Ｂ）、及び、右腕を回転させるジェスチャ（Ｃ）などが考えられる。これらのジェスチャは、ユーザの両手２，３を特徴点として用いることで検出することができるが、実際に両手２，３のみを特徴点として用いたのでは、腕の振りと体全体の動きとが区別できない場合がある。そこで、ユーザの体の位置を推定するために、さらにユーザの頭（顔も含む）１を特徴点として用いる。

上記の特徴点１，２，３は、いずれも「肌色」という特徴があるため、特徴点を検出する際には、まず、上述した特徴点存在範囲内において、撮像画像中から肌色部分を検出する。肌色の検出は、ＲＧＢ空間上で閾値処理を行ってもよいし、ＲＧＢ空間を変換した別の色空間、例えば正規化色空間と呼ばれる色空間上で閾値処理を行ってもよい。さらに、肌色検出の結果を用い、肌色画素の塊を認識することで、特徴点候補点を検出する。

図９は、本発明の実施の形態３における特徴点検出処理の流れを示すフローチャートである。このフローチャートは、実施の形態１で説明した特徴点検出部１５（図１）により実行されるステップＳ１３〜Ｓ１７（図６）の処理の一具体例である。

特徴点検出処理では、まず、実施の形態１で説明したように、特徴点存在範囲の重なり合いの有無を検出する（ステップＳ１３）。特徴点存在範囲が重なり合う領域がある場合には、その重なり合う領域について、ラベリング法による高精度で計算量が多い検出処理を行い、複数の画素の塊をそれぞれ区別して検出し（ステップＳ５０）、複数の「特徴点候補点」を得る（ステップＳ５１）。なお、ラベリング法による検出処理は、同じ連結図形に属する画素には同じラベルを割り当て、異なった連結図形に属する画素には異なったラベルを割り当てるという処理であり、検出精度は高いが、計算量が多いため処理の負荷が大きいという特徴がある。

一方、特徴点存在範囲の重なり合っていない領域では、低精度で計算量が少ない色ヒストグラム法による検出処理を行い（ステップＳ５２）、一つの画素の塊を検出する。画素の塊が一つのみ検出された場合には、その画素の塊を「特徴点候補点」とする。２つ以上の画素の塊が検出された場合には、例えば面積が最大のものを選択して、一つの「最大尤度特徴点候補点」とする（ステップＳ５３）。なお、色ヒストグラム法による検出処理は、撮像画像における肌色画素の分布から特徴点存在範囲を特定する処理であり、計算量が少ないため処理の負荷は小さいが、検出精度はラベリング法よりも劣るものである。

さらに、ステップＳ５１で得られた特徴点候補点と、ステップＳ５３で得られた特徴点候補点（最大尤度特徴点候補点）とが連続するか否かを判断し、連続している場合には、これらを合わせて一つの「特徴点」とし、連続していない場合には、別々の「特徴点」とする（ステップＳ５４）。

また、ステップＳ１３において特徴点存在範囲の重なり合う領域が無かった場合には、低精度で計算量が少ない色ヒストグラム法による検出処理のみを行い、一つの画素の塊を検出し、これにより一つの「特徴点候補点」を得る（ステップＳ５６）。２つ以上の画素の塊が検出された場合には、例えば面積が最大のものを選択して、「最大尤度特徴点候補点」を得る（ステップＳ５７）。

色ヒストグラム法による検出処理のみを行った場合には、特徴点候補点の統合（ステップＳ５４）は不要であるため、ステップＳ５６〜５７で取得した特徴点候補点（最大尤度特徴点候補点）を、そのまま「特徴点」とする。

ここでは、肌色情報を用いる特徴点検出処理について説明したが、肌色情報の他に、形状情報（輪郭線等）を用いる特徴点検出処理も可能である。すなわち、例えば、前景領域において輪郭線を抽出し、その中から楕円形のような単純な図形を当てはめることで、特徴点存在範囲を単純な図形内部として推定することができる。

この輪郭線を用いた検出処理では、特徴点存在範囲の重なり合う領域において、輪郭線を検出することにより、それぞれ輪郭線で外周を規定された複数の「特徴点候補点」を得る。特徴点存在範囲が重なり合わない領域では、輪郭線で外周を規定された一つの「特徴点候補点」を得て、また、複数の画素の塊が検出された場合には面積の最大のものを選択する等して一つの「最大尤度特徴点候補点」を得る。これにより、単純な図形の輪郭線で外周を規定された部分を特徴点候補点として近似することができる。この場合も、高精度で計算量が多い検出処理で得られた特徴点候補点と、低精度で計算量が少ない検出処理で得られた特徴点候補点（最大尤度特徴点候補点）とを統合することで、「特徴点」を得る。

また、この実施の形態３における特徴点の検出処理においては、頭や両手といった特徴点の重心位置に関する情報を、特徴点の検出に利用することができる。すなわち、特徴点の重心位置についての情報を予め記憶しておき、頭、右手、左手といった特徴点を相互に区別するために用いることができる。前フレームで特徴点存在範囲における各特徴点の区別が正しく行われていれば、それ以降の特徴点候補点の区別も正しく行われる。これに対し、前フレームの検出されていない特徴点については、例えば、頭は両手の上に存在することが多い、右手は頭や左手に対して右側に存在することが多い、左手は頭や右手に対して左側に存在することが多い、といった情報を予め記憶しておき、この情報に基づいて頭、右手、左手を判別することができる。

また、特徴点の重心位置に関する情報のほかに、特徴点候補点に接する図形（例えば楕円、矩形など）を用い、この図形の中心位置、形状、傾き等を、特徴点の位置及び姿勢の検出に利用することができる。例えば、特徴点候補領域に接する矩形を用いた場合には、その矩形の形状の変化によって、特徴点の位置だけでなく、手を広げているか閉じているかを検出することもできる。このようにすれば、ジェスチャ入力の種類を多様化することができる。また、特徴点の位置情報だけでは読み取り誤差が生じてしまうような場合に、図形の形状や傾きの情報を誤差の低減に利用することもできる。

以上説明したように、この実施の形態３によれば、色情報や形状情報（例えば輪郭線）を用いることにより、テンプレートマッチングのような複雑な処理を行わなくとも、特徴点としての両手や頭を検出することが可能となる。

また、特徴点の検出に、重心位置や特徴点に接する図形を利用することにより、ジェスチャ入力の種類を多様化することができ、また、特徴点の位置情報に含まれる誤差を軽減することができる。

実施の形態４．
図１０は、実施の形態４に係るジェスチャ推定処理の流れを示すフローチャートである。この実施の形態４は、実施の形態１で説明したジェスチャ推定部１６（図１）によるジェスチャ推定処理（図６のステップＳ１９）の一具体例に関するものである。図１１は、図１０に示した処理で用いられる動きベクトルの一例を示す図である。

図１０に示すジェスチャ推定処理では、まず、特徴点の検出処理（図６のステップＳ１８）で検出された特徴点の位置情報に基づき、特徴点の動きを検出する（ステップＳ６０）。特徴点の動きが検出されなかった場合には（ステップＳ６１）、特徴点の動きを検出する処理（ステップＳ６０）に戻る。特徴点の動きが検出された場合には、その動きに対応するジェスチャを推定する（ステップＳ６２）。その後の処理は、図６（ステップＳ２０，Ｓ２１）を参照して説明したとおりである。

上述したステップＳ６２において、特徴点の動きに対応するジェスチャを推定する際には、図１１のように、特徴点のフレーム毎の動きベクトル８０として、上（１）、左上（２）、左（３）、左下（４）、下（５）、右下（６）、右（７）、右上（８）の８方向の単位ベクトルで定義される「動きＩＤ８１」を用い、この動きＩＤを用いて特徴点の動きを近似して表現する。ジェスチャ推定部１６（図１）は、これらの動きＩＤ８１をフレーム毎に組み合わせたものを、ユーザのジェスチャパターンに対応させて登録している。

図１２（Ａ）及び（Ｂ）は、ジェスチャ推定部１６に記憶された、動きＩＤ８１を組み合わせたジェスチャパターン列の例を示す図である。例えば、ユーザが手を上下に２度繰り返し動かすジェスチャＡは、特徴点の動きが「上，下，上，下」となるため、図１２（Ａ）に示す１，５，１，５のジェスチャパターン列８２と対応付けられる。また、ユーザが手を上下左右に動かすジェスチャＢは、特徴点の動きが「上，下，左，右」となるため、図１２（Ｂ）に示す１，５，３，７のジェスチャパターン列８３が対応付けられる。

このジェスチャ推定処理では、特徴点の動きベクトルを、予め登録したジェスチャパターン列８２，８３と比較することで、ユーザのジェスチャの推定を行う。このジェスチャ推定処理においては、フレーム毎の特徴点の動きベクトルと、ジェスチャパターン列とを比較し、適当でないものをジェスチャパターンの選択肢から順次削除していくことが好ましい。

例えば、最初のフレームでの特徴点の動きベクトルが１（上）で、２フレーム目での特徴点の動きベクトルが５（下）であった場合には、ジェスチャＡ，Ｂの両方の可能性があるが、３フレーム目での特徴点の動きベクトルが１（上）であった場合には、ジェスチャＢ（３フレーム目は３）の可能性がなくなるため、この３フレーム目においてジェスチャＢを選択肢から除外する。４フレーム目で特徴点の動きベクトルが５の場合には、ジェスチャＡのパターン（１，５，１，５）と一致することが確認されるため、ユーザのジェスチャがジェスチャＡであると判断する。このようにすれば、選択肢が徐々に狭まっていくため、ジェスチャ推定処理を簡単に行うことができる。

なお、図１２（Ｃ）に示すように、ジェスチャパターン列に、ジェスチャの動きの速さの情報を加えることもできる。ジェスチャの動きの速さは、例えば、前フレームと現フレームとの間の変位の大きさを検出し、予め設定した基準値と比較することで、低速か高速かを判断する。この場合、例えば、ジェスチャパターン列の動きＩＤに続けて、低速及び高速を示す符号Ｈ，Ｌを付すことができる。一例として、ユーザが素早く上下に手を振るジェスチャには、１，Ｈ，５，Ｈ，１，Ｈ，５，Ｈというジェスチャパターン列を対応付けることができる。このようにすれば、定義可能なジェスチャパターンの種類を増やすことができる。

また、ユーザの手の動きが曖昧な場合もあるため、ジェスチャパターン列毎にに優先度を設定することが好ましい。例えば、ユーザの手の挙げ方が中途半端で、特徴点の動きが「上，下，上，下」か「右上，下，右上，下」かが曖昧な場合には、ジェスチャパターン列の「１，５，１，５」及び「１，２，１，２」の優先度を比較し、優先度の高い方を選択するようにすることが好ましい。

また、特徴点の動きベクトルとジェスチャパターンとの比較を随時行うためには、ユーザのジェスチャの開始時点を判別する必要がある。そこで、ユーザの手が一旦静止したことを確認してからジェスチャの推定を行うものとする。

このように、この実施の形態４によると、複数通りの方向を向いた単位ベクトル（動きベクトル）を用いることにより、特徴点の動きの方向を検出するだけで特徴点の動きを判断することができるため、ジェスチャの推定に要する計算量やメモリ消費量を小さくすることができる。

また、前フレームからの変位の大きさと基準値とを比較し、動きの速さに基づくジェスチャ推定を行うことにより、より多様なジェスチャパターンに対応した遠隔操作を実現することができる。

本発明の活用例として、既存の家庭用デジタル電化製品（デジタル家電）に適用することで、既存の赤外線リモコンを用いずその操作が可能になる。

この発明の実施の形態１に係る遠隔操作装置の構成を示すブロック図である。 この発明の実施の形態１における撮像画像の一例を示す図である。 この発明の実施の形態１における撮像画像の分割例を示す図である。 この発明の実施の形態１における撮像画像の分割方法を説明するための模式図である。 この発明の実施の形態１に係る特徴点存在範囲の統合を説明するための模式図である。 この発明の実施の形態１に係る遠隔操作処理の全体の流れを示すフローチャートである。 この発明の実施の形態２に係る特徴点存在範囲の推定処理を示すフローチャートである。 この発明の実施の形態３に係るジェスチャの一例を示す図である。 この発明の実施の形態３に係る特徴点検出処理の流れを示すフローチャートである。 この発明の実施の形態４に係るジェスチャ推定処理の流れを示すフローチャートである。 この発明の実施の形態４に係るジェスチャ推定処理で用いられる動きベクトルを示す図である。 この発明の実施の形態４に係るジェスチャ推定処理で用いられるジェスチャパターン列の一例を示す図である。

符号の説明

１ ジェスチャ認識部、 １０ 撮像部、 １１ 画像処理部、 １２ 認識処理部、 １３ 対象機器制御部、 １４ 特徴点存在範囲推定部、 １５ 特徴点検出部、 １６ ジェスチャ推定部、 １７ 操作信号送信部、 ２０ 領域境界、 ２１ 特徴点の存在する可能性のある領域、 ２２ 特徴点の存在する可能性のない領域、 ３０ 特徴点１の存在領域、 ３１ 特徴点２の存在領域、 ３２ 特徴点１のみが存在する可能性のある領域、 ３３ 特徴点２のみが存在する可能性のある領域、 ３４ 特徴点１，２が存在する可能性のある領域、 ８０ 動きベクトル、 ８１ 動きＩＤ、 ８２，８３ ジェスチャパターン列。

Claims (24)

1. ユーザの像を含む撮像画像を取得する撮像手段と、
   前記撮像画像から特徴点を検出する特徴点検出手段と、
   検出された前記特徴点に基づき、前記ユーザのジェスチャを推定するジェスチャ推定手段と、
   前記ジェスチャに対応する操作信号を生成し、遠隔操作対象機器に送信する操作信号送信手段と
   を備え、
   前記特徴点検出手段は、前記撮像画像における第１の領域では第１の検出処理を行い、第２の領域では前記第１の検出処理よりも精度は低いが計算量が少ない第２の検出処理を行い、両検出処理の結果を統合することにより前記特徴点の検出を行う
   ことを特徴とする遠隔操作装置。
2. 前記撮像画像において、前記特徴点が複数存在する可能性がある領域を前記第１の領域と推定し、前記特徴点が一つのみ存在する可能性がある領域を前記第２の領域と推定する特徴点存在範囲推定手段を更に備えたことを特徴とする請求項１に記載の遠隔操作装置。
3. 前記特徴点検出手段は、前記特徴点として、ユーザの頭及び手を用いることを特徴とする請求項１又は２に記載の遠隔操作装置。
4. 前記特徴点検出手段は、色情報に基づいて前記特徴点の検出を行うことを特徴とする請求項１から３までのいずれか１項に記載の遠隔操作装置。
5. 前記特徴点検出手段は、輪郭線の情報に基づいて前記特徴点の検出を行うことを特徴とする請求項１から３までのいずれか１項に記載の遠隔操作装置。
6. 前記特徴点検出手段は、前記特徴点の重心位置の情報を利用して、前記特徴点の検出を行うことを特徴とする請求項１から５までのいずれか１項に記載の遠隔操作装置。
7. 前記特徴点検出手段は、前記特徴点に接する図形を利用して、前記特徴点の検出を行うことを特徴とする請求項１から５までのいずれか１項に記載の遠隔操作装置。
8. 前記ジェスチャ推定手段は、前記特徴点の動きを、複数通りの方向を向いた単位ベクトルである動きベクトルを用いて表すことを特徴とする請求項１から７までのいずれか１項に記載の遠隔操作装置。
9. 前記ジェスチャ推定手段は、前記動きベクトルの列で構成したパターンを用いて、推定対象のジェスチャを定義することを特徴とする請求項８に記載の遠隔操作装置。
10. 前記ジェスチャ推定手段は、前記特徴点の動きを、複数通りの方向を向いた単位ベクトルである動きベクトルを用いて表し、前記特徴点の動きの速さを、基準値との比較結果により表すことを特徴とする請求項１から７までのいずれか１項に記載の遠隔操作装置。
11. 前記ジェスチャ推定手段は、前記動きベクトルの列と、前記特徴点の動きの速さの前記基準値との比較結果とを組み合わせることにより、推定対象のジェスチャを定義することを特徴とする請求項１０に記載の遠隔操作装置。
12. 前記ジェスチャ推定手段は、ジェスチャの選択肢から、前記特徴点に基づいて不適合な選択肢を順次除外することにより、前記ジェスチャの推定を行うことを特徴とする請求項１から１１までのいずれか１項に記載の遠隔操作装置。
13. ユーザの像を含む撮像画像を取得する撮像ステップと、
    前記撮像画像から特徴点を検出する特徴点検出ステップと、
    検出された前記特徴点に基づき、前記ユーザのジェスチャを推定するジェスチャ推定ステップと、
    前記ジェスチャに対応する操作信号を生成し、遠隔操作対象機器に送信する操作信号送信ステップと
    を含み、
    前記特徴点検出ステップでは、前記撮像画像における第１の領域では第１の検出処理を行い、第２の領域では前記第１の検出処理よりも精度は低いが計算量が少ない第２の検出処理を行い、両検出処理の結果を統合することにより前記特徴点の検出を行う
    ことを特徴とする遠隔操作方法。
14. 前記撮像画像において、前記特徴点が複数存在する可能性がある領域を前記第１の領域と推定し、前記特徴点が一つのみ存在する可能性がある領域を前記第２の領域と推定する特徴点存在範囲推定ステップを更に含むことを特徴とする請求項１３に記載の遠隔操作方法。
15. 前記特徴点検出ステップでは、前記特徴点として、ユーザの頭及び手を用いることを特徴とする請求項１３又は１４に記載の遠隔操作方法。
16. 前記特徴点検出ステップでは、色情報に基づいて前記特徴点の検出を行うことを特徴とする請求項１３から１５までのいずれか１項に記載の遠隔操作方法。
17. 前記特徴点検出ステップでは、輪郭線の情報に基づいて前記特徴点の検出を行うことを特徴とする請求項１３から１５までのいずれか１項に記載の遠隔操作方法。
18. 前記特徴点検出ステップでは、前記特徴点の重心位置の情報を利用して、前記特徴点の検出を行うことを特徴とする請求項１３から１７までのいずれか１項に記載の遠隔操作方法。
19. 前記特徴点検出ステップでは、前記特徴点に接する図形を利用して、前記特徴点の検出を行うことを特徴とする請求項１３から１７までのいずれか１項に記載の遠隔操作方法。
20. 前記ジェスチャ推定ステップでは、前記特徴点の動きを、複数通りの方向を向いた単位ベクトルである動きベクトルを用いて表すことを特徴とする請求項１３から１９までのいずれか１項に記載の遠隔操作方法。
21. 前記ジェスチャ推定ステップでは、前記動きベクトルの列で構成したパターンを用いて、推定対象のジェスチャを定義することを特徴とする請求項２０に記載の遠隔操作方法。
22. 前記ジェスチャ推定ステップでは、前記特徴点の動きを、複数通りの方向を向いた単位ベクトルである動きベクトルを用いて表し、前記特徴点の動きの速さを、基準値との比較結果により表すことを特徴とする請求項１３から１９までのいずれか１項に記載の遠隔操作方法。
23. 前記ジェスチャ推定ステップでは、前記動きベクトルの列と、前記特徴点の動きの速さの前記基準値との比較結果とを組み合わせることにより、推定対象のジェスチャを定義することを特徴とする請求項２２に記載の遠隔操作方法。
24. 前記ジェスチャ推定ステップでは、ジェスチャの選択肢から、前記特徴点に基づいて不適合な選択肢を順次除外することで、前記ジェスチャを推定することを特徴とする請求項１３から２３までのいずれか１項に記載の遠隔操作方法。

Images