JP2011085966A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】物体の動きを用いた操作入力の精度を高める。
【解決手段】特定対象物情報記憶部３００は、物体が特定対象物であるかを判定するための判定情報を複数記憶する。動き検出部２２０は、対象動画に含まれる物体の動きを検出する。特定対象物情報選択部２３０は、検出された物体の動きの向きに基づいて、特定対象物情報記憶部３００から１または複数の判定情報を選択する。特定対象物判定部２４０は、その選択された判定情報を用いて、動きが検出された物体が特定対象物であるか否かを判定する。評価値算出部２５０は、動きが検出された物体について、特定対象物であることが判定されてから、その判定がされなくなるまでの間の時間軸における長さに応じた所定の演算処理により評価値を算出する。制御信号生成部２７０は、その算出された評価値に基づいて、電子機器を制御するための制御信号を生成する。
【選択図】図２

Description

本発明は、情報処理装置に関し、特に、画像を解析して各種情報を生成する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、テレビジョン等の電子機器をユーザが操作する場合には、その電子機器に備えられている操作部材やリモコン（リモートコントローラ）を用いて、ユーザが所望の操作入力を行う。また、近年では、画像に含まれるユーザの手の動き等を認識し、これらの認識結果に基づいて、所望の電子機器を操作するための制御信号を生成するハンドジェスチャー認識技術が提案されている。このように、ユーザの手の動き等の認識結果に基づいて生成された制御信号により所望の電子機器を操作することができるため、ユーザ自身によるジェスチャーにより操作入力を行うことができる。

このように、ジェスチャーによるユーザインターフェース（ＵＩ）は、リモコン等を用いずに、ユーザの手指等のジェスチャーのみにより電子機器を操作することができるため、研究や開発が盛んに行われている。

例えば、人物を撮像した画像における所定領域の画像データを特定し、この所定領域の画像データにのみ基づいて認識対象の動きを認識し、この認識結果に基づいて所定の処理（頁送り／戻し等）を行う情報処理装置が提案されている（例えば、特許文献１参照。）。

特開２００２−８３３０２号公報（図５）

上述の従来技術では、認識対象（例えば、ユーザの手）の動きを認識する場合に、所定領域の画像データのみを用いて認識対象の動きを認識する。このため、例えば、所定領域の画像データに含まれるユーザの手の動き以外の動き（例えば、手の背景に存在する物体の動き）を誤認識するおそれがある。

また、上述の従来技術では、ユーザが手でジェスチャーを行う場合には、表示画面を見ながら、所定領域の画像データにその手が含まれるように行う必要がある。しかしながら、例えば、ユーザの手が所定領域の画像データに適切に含まれない場合には、その手のジェスチャーを適切に認識することができないおそれがある。

本発明はこのような状況に鑑みてなされたものであり、物体の動きを用いた操作入力の精度を高めることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、対象動画に含まれる物体の動きを検出する動き検出部と、上記動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定する特定対象物判定部と、上記動きが検出された物体について上記特定対象物であることが判定されてから上記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、対象動画に含まれる物体の動きを検出し、この動きが検出された物体が特定対象物であるかを判定し、動きが検出された物体について、特定対象物であることが判定されてからその判定がされなくなるまでの間の時間軸における長さに基づいて、所定の電子機器を制御するための制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記特定対象物判定部は、上記動きが検出された物体が複数の上記特定対象物のうちの何れかの特定対象物であるかを判定し、上記制御信号生成部は、上記特定対象物判定部により判定された特定対象物の種類と上記時間軸における長さとに基づいて上記制御信号を生成するようにしてもよい。これにより、動きが検出された物体が、複数の特定対象物のうちの何れかの特定対象物であるかを判定し、この判定された特定対象物の種類と、その時間軸における長さとに基づいて、制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記動きが検出された物体について上記特定対象物であることが判定されてから上記特定対象物であることが判定されなくなるまでの間の時間軸における長さに応じた所定の演算処理により上記制御信号を生成するための評価値を算出する評価値算出部をさらに具備し、上記制御信号生成部は、上記算出された評価値に基づいて上記制御信号を生成するようにしてもよい。これにより、動きが検出された物体について、その時間軸における長さに応じた所定の演算処理により評価値を算出し、この算出された評価値に基づいて制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記評価値算出部は、上記動きが検出された物体が所定の規則に応じた複数の動作を行っている場合には上記複数の動作毎に上記評価値を算出し、上記制御信号生成部は、上記複数の動作毎に算出された評価値に基づいて上記制御信号を生成するようにしてもよい。これにより、動きが検出された物体が、所定の規則に応じた複数の動作を行っている場合には、その複数の動作毎に評価値を算出し、その複数の動作毎に算出された評価値に基づいて制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記所定の規則に応じた複数の動作は、手話であり、
上記制御信号生成部は、上記手話について算出された評価値に基づいて上記手話を表す画像を表示させるための上記制御信号を生成するようにしてもよい。これにより、手話について算出された評価値に基づいて、手話を表す画像を表示させるための制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記特定対象物判定部は、上記動きが検出された物体について上記特定対象物であることが判定された後に上記動き検出部による動きの検出がされなくなった場合には当該物体が上記特定対象物であることが判定されなくなるまで当該物体について上記判定を継続して行うようにしてもよい。これにより、動きが検出された物体について、特定対象物であることが判定された後に、その動きの検出がされなくなった場合には、その物体が特定対象物であることが判定されなくなるまでその物体について判定処理を継続して行うという作用をもたらす。

また、この第１の側面において、上記動きが検出された物体が上記特定対象物であるかを判定するための判定情報を複数記憶する記憶部と、上記検出された物体の動きの向きに基づいて上記複数の判定情報の中から１または複数の判定情報を選択する選択部とをさらに具備し、上記特定対象物判定部は、上記選択された判定情報を用いて上記動きが検出された物体が上記特定対象物であるかを判定するようにしてもよい。これにより、検出された物体の動きの向きに基づいて判定情報を選択し、この選択された判定情報を用いて、動きが検出された物体が特定対象物であるかを判定するという作用をもたらす。

また、この第１の側面において、上記動きが検出された物体が所定の規則に応じた一連の動作を行っているかを判定する一連動作判定部をさらに具備し、上記制御信号生成部は、上記所定の規則に応じた一連の動作を行っている物体について上記所定の規則に応じた上記特定対象物であることが判定されてから上記所定の規則に応じた上記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて上記制御信号を生成するようにしてもよい。これにより、動きが検出された物体が、所定の規則に応じた一連の動作を行っているかを判定し、所定の規則に応じた一連の動作を行っている物体について、所定の規則に応じた特定対象物であることが判定されてから、その判定がされなくなるまでの間の時間軸における長さに基づいて制御信号を生成するという作用をもたらす。

また、この第１の側面において、上記動きが検出された物体が上記所定の規則に応じた上記特定対象物であるかを判定するための判定情報を上記特定対象物毎に複数記憶する記憶部と、上記検出された物体の動きの向きおよび上記一連の動作に基づいて上記複数の判定情報の中から１または複数の判定情報を選択する選択部とをさらに具備し、上記特定対象物判定部は、上記選択された判定情報を用いて上記動きが検出された物体が上記所定の規則に応じた上記特定対象物であるかを判定するようにしてもよい。これにより、検出された物体の動きの向きおよび一連の動作に基づいて判定情報を選択し、この選択された判定情報を用いて、動きが検出された物体が、所定の規則に応じた特定対象物であるかを判定するという作用をもたらす。

また、この第１の側面において、上記制御信号生成部は、上記制御信号として、向き、大きさ、バイナリ値および位置の少なくとも１つに関する制御信号を生成するようにしてもよい。これにより、向き、大きさ、バイナリ値および位置の少なくとも１つに関する制御信号を生成するという作用をもたらす。

また、この第１の側面において、被写体を撮像して上記対象動画を生成する撮像部をさらに具備するようにしてもよい。これにより、被写体を撮像して対象動画を生成するという作用をもたらす。

また、この第１の側面において、上記電子機器は、上記情報処理装置であり、上記制御信号生成部は、上記情報処理装置が特定の処理を行うための上記制御信号を生成するようにしてもよい。これにより、情報処理装置が特定の処理を行うための制御信号を生成するという作用をもたらす。

また、本発明の第２の側面は、動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定するための判定情報を上記特定対象物毎に複数記憶する記憶部と、対象動画に含まれる物体の動きを検出する動き検出部と、上記検出された物体の動きの向きに基づいて上記複数の判定情報の中から１または複数の判定情報を選択する選択部と、上記選択された判定情報を用いて上記動きが検出された物体が上記特定対象物であるかを判定する特定対象物判定部と、上記特定対象物判定部による判定結果に基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、対象動画に含まれる物体の動きを検出し、この検出された物体の動きの向きに基づいて判定情報を選択し、この選択された判定情報を用いて、動きが検出された物体が特定対象物であるかを判定し、この判定結果に基づいて所定の電子機器を制御するための制御信号を生成するという作用をもたらす。

本発明によれば、物体の動きを用いた操作入力の精度を高めることができるという優れた効果を奏し得る。

本発明の第１の実施の形態における情報処理システム１００の全体構成例を示す図である。 本発明の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における特定対象物情報記憶部３００の記憶内容を模式的に示す図である。 本発明の第１の実施の形態における特定対象物判定部２４０による特定対象物の判定処理の対象となる特定対象物の例を模式的に示す図である。 本発明の第１の実施の形態における評価値保持部２６０の保持内容を模式的に示す図である。 本発明の第１の実施の形態における画像入力部２１０に入力された画像と、この画像において動きが検出された特定対象物との関係を示す図である。 本発明の第１の実施の形態における動き検出部２２０による動きベクトル検出処理の対象となる領域（対象領域）の設定方法の概略を示す図である。 本発明の第１の実施の形態における動き検出部２２０により動きを検出する動き検出方法を模式的に示す図である。 本発明の第１の実施の形態における特定対象物情報選択部２３０による特定対象物情報の選択方法および特定対象物判定部２４０による特定対象物の判定方法の流れを模式的に示す図である。 本発明の第１の実施の形態における特定対象物判定部２４０による判定処理の対象となる対象画像（現フレーム）に含まれる被写体の遷移例を示す図である。 本発明の第１の実施の形態における評価値算出部２５０による評価値算出の流れを示すシーケンスチャートである。 本発明の第１の実施の形態における制御信号生成部２７０による制御信号の生成方法を模式的に示す図である。 本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順のうちの評価値算出処理を示すフローチャートである。 本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順のうちの制御信号生成処理を示すフローチャートである。 本発明の第１の実施の形態における情報処理システム１００をテレビジョン８０１およびテレビゲーム装置８０３に適用する場合の例を模式的に示す図である。 本発明の第１の実施の形態における情報処理システム１００を照明装置８０６およびクレーンゲーム装置８０９に適用する場合の例を模式的に示す図である。 本発明の第１の実施の形態における情報処理システム１００をデジタルスチルカメラ８１２およびロボット装置８１３に適用する場合の例を模式的に示す図である。 肩を中心として人間の手を回転させる場合における手の動きの例を示す図である。 本発明の第２の実施の形態における情報処理装置５００の機能構成例を示すブロック図である。 本発明の第２の実施の形態における特定対象物情報記憶部３１０の記憶内容を模式的に示す図である。 本発明の第２の実施の形態における向き相関情報記憶部６００の記憶内容を模式的に示す図である。 本発明の第２の実施の形態における情報処理装置２００による制御信号生成処理の処理手順を示すフローチャートである。 本発明の第３の実施の形態における情報処理装置７００の機能構成例を示すブロック図である。 本発明の第３の実施の形態における手話解析結果保持部７２０の保持内容を模式的に示す図である。 本発明の第３の実施の形態における手話解析情報記憶部７３０の記憶内容を模式的に示す図である。 本発明の第３の実施の形態における情報処理装置７００による手話解析の対象となる人間の手の動きと、この手の動きに対応する文字との関係を模式的に示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（制御信号の生成制御：特定対象物（例えば、手）に基づいて制御信号を生成する例）
２．第２の実施の形態（制御信号の生成制御：所定の規則により行われる一連の動作に基づいて制御信号を生成する例）
３．第３の実施の形態（制御信号の生成制御：手話を解析して解析結果を表示する例）

＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、本発明の第１の実施の形態における情報処理システム１００の全体構成例を示す図である。情報処理システム１００は、撮像装置１１０と、電子機器１２０と、情報処理装置２００とを備える。また、情報処理システム１００において、撮像装置１１０および情報処理装置２００は信号線１３１を介して接続され、電子機器１２０および情報処理装置２００は信号線１３２を介して接続される。なお、撮像装置１１０および情報処理装置２００と、電子機器１２０および情報処理装置２００とのそれぞれは、無線回線および有線回線の何れにより接続されるようにしてもよい。

撮像装置１１０は、被写体を撮像して画像データ（ビデオデータ）を生成するものであり、生成された画像データを信号線１３１を介して情報処理装置２００に順次出力する。具体的には、撮像装置１１０は、光学ユニット、撮像素子および信号処理部を備える。この撮像装置１１０において、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより画像データ（撮像画像）が生成される。そして、生成された画像データが、信号線１３１を介して、所定のフレームレートで情報処理装置２００に順次出力される。撮像装置１１０は、例えば、生成された画像データを外部装置に出力するための外部出力端子を備えるデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等により実現される。また、撮像装置１１０は、例えば、単眼カメラにより実現することができる。なお、撮像装置１１０は、特許請求の範囲に記載の撮像部の一例である。

電子機器１２０は、情報処理装置２００から出力された制御信号に基づいて、各種制御が行われる電子機器である。電子機器１２０は、例えば、外部装置からの操作信号に基づいて、各種操作が行われるテレビジョン等の映像視聴装置である。

情報処理装置２００は、撮像装置１１０から出力された画像データに基づいて、電子機器１２０を制御するための制御信号を生成するものであり、生成された制御信号を信号線１３２を介して電子機器１２０に出力する。なお、情報処理装置２００の構成については、図２を参照して詳細に説明する。

ここで、情報処理システム１００は、例えば、撮像装置１１０の撮像範囲内に位置する人物１４０が、特定のジェスチャーを行うことにより電子機器１２０を操作することが可能なシステムである。例えば、人物１４０がその左手を撮像装置１１０の前で移動させることにより、情報処理装置２００が、その左手の状態および移動量等に基づいて制御信号を生成し、この制御信号に基づいて電子機器１２０が制御される。例えば、電子機器１２０がテレビジョンである場合には、電源のオン／オフ、チャネルの切替、音量調整、画質調整等の操作を行うことができる。なお、情報処理システム１００の適用例については、図１６乃至図１８を参照して詳細に説明する。

［情報処理装置の構成例］
図２は、本発明の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。情報処理装置２００は、画像入力部２１０と、動き検出部２２０と、特定対象物情報選択部２３０と、特定対象物判定部２４０と、評価値算出部２５０と、評価値保持部２６０とを備える。また、情報処理装置２００は、制御信号生成部２７０と、制御信号出力部２８０と、特定対象物情報記憶部３００とを備える。情報処理装置２００は、例えば、画像解析により画像データから各特徴量を抽出し、この抽出された各特徴量を用いて各種情報処理を施すことが可能なパーソナルコンピュータ等の情報処理装置により実現することができる。

画像入力部２１０は、撮像装置１１０により生成された画像データを入力するものであり、入力された画像データを動き検出部２２０および特定対象物判定部２４０に順次出力する。

動き検出部２２０は、画像入力部２１０から出力された画像データを解析して、その画像データに含まれる被写体の動きを検出するものである。そして、動き検出部２２０は、検出された被写体の動きに関する情報（動き情報）を特定対象物情報選択部２３０、評価値算出部２５０および制御信号生成部２７０に出力する。動き検出部２２０は、例えば、画像入力部２１０から出力された画像データ（対象画像）に含まれる被写体のうち、所定範囲の領域（対象領域）に含まれる被写体の動きを対象領域毎に検出する。また、動き情報には、例えば、検出された動きの対象画像における向きおよび大きさと、動きが検出された対象領域の対象画像における位置および大きさとが含まれる。なお、対象画像に含まれる被写体の動きを検出する検出方法として、例えば、勾配法やブロックマッチング方法等の動きベクトル検出方法を用いることができる。また、以下では、「対象画像」と記載した場合には、対象画像そのものと、その対象画像を表示するための画像データとの双方の意味を含むものとして説明する。なお、この動きベクトル検出方法については、図７および図８を参照して詳細に説明する。

特定対象物情報記憶部３００は、特定対象物の判定処理および制御信号の生成処理に用いられる複数の特定対象物情報を記憶するものであり、記憶されている特定対象物情報を特定対象物情報選択部２３０および制御信号生成部２７０に供給する。ここで、特定対象物情報は、特定対象物が対象領域に含まれるか否かを判定するための特定対象物判定情報３０３（図３に示す）と、この判定結果に基づいて制御信号を生成するための制御信号生成情報３０４（図３に示す）とを含む。特定対象物は、例えば、図３および図４に示すように、特定の姿勢とされた人間の手である。なお、特定対象物情報記憶部３００に記憶されている特定対象物情報については、図３を参照して詳細に説明する。また、特定対象物情報記憶部３００は、特許請求の範囲に記載の記憶部の一例である。

特定対象物情報選択部２３０は、特定対象物情報記憶部３００に記憶されている複数の特定対象物情報の中から、特定対象物判定部２４０による判定処理に用いられる特定対象物判定情報３０３（図３に示す）を選択するものである。具体的には、特定対象物情報選択部２３０は、動き検出部２２０により動きが検出された場合には、その動き情報に基づいて特定対象物判定情報を選択する。また、特定対象物情報選択部２３０は、動きが検出された対象領域において、その検出後に動きが検出されなくなった場合には、その対象領域に関連付けて評価値保持部２６０に保持されている向き情報に基づいて特定対象物判定情報を選択する。そして、特定対象物情報選択部２３０は、選択された特定対象物判定情報を特定対象物判定部２４０に出力する。なお、この特定対象物判定情報の選択方法については、図９を参照して詳細に説明する。また、特定対象物情報選択部２３０は、特許請求の範囲に記載の選択部の一例である。

特定対象物判定部２４０は、特定対象物情報選択部２３０から出力された特定対象物判定情報を用いて、画像入力部２１０から出力された対象画像に特定対象物が含まれるか否かを判定するものである。具体的には、特定対象物判定部２４０は、画像入力部２１０から出力された対象画像において、動き検出部２２０により動きが検出された対象領域に特定対象物が含まれるか否かを判定する。この特定対象物の判定方法として、例えば、特定対象物の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる判定方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、特定対象物が人間の手である場合には、対象領域に含まれる肌色の部分や人間の手の特徴量に基づいた判定方法を用いることができる。例えば、特定対象物判定情報として記憶されている特徴量と、対象領域に含まれる画像から抽出された特徴量とを比較して、これらの特徴量の類似度を算出し、この算出された類似度が閾値を超えた場合に、その対象領域に特定対象物が含まれると判定する。また、手を含む画像（サンプル画像）について、このサンプル画像上の２画素間の輝度差を学習し、この学習により得られた特徴量を基準データとして予め保持しておく。そして、この基準データを用いて、対象領域に含まれる画像について、弱判別器による特定対象物の判定処理を行う判定方法を用いることができる（例えば、特開２００８−３０５３４２号参照。）。このような学習を行う学習器として、例えば、ニューラルネットワーク、ＳＶＭ（Support vector machine）、ブースティング（Ｂｏｏｓｔｉｎｇ）等を用いることができる。そして、特定対象物判定部２４０は、その判定結果を評価値算出部２５０に出力する。なお、特定対象物の判定処理については、図９を参照して詳細に説明する。

評価値算出部２５０は、特定対象物判定部２４０から出力された判定結果に基づいて、制御信号を生成するための評価値を算出するものである。具体的には、評価値算出部２５０は、特定対象物判定部２４０から出力された判定結果と、評価値保持部２６０に保持されている評価値とに基づいて、動きが検出された対象領域に対する新たな評価値を算出する。そして、評価値算出部２５０は、新たに算出された評価値、この評価値の算出対象となった対象領域の位置および大きさ、この対象領域において動き検出部２２０により検出された動きの向き等を評価値保持部２６０に保持させる。また、評価値算出部２５０は、動きが検出された対象領域において、その検出後に動きが検出されなくなった場合については、その対象領域から同一の特定対象物の検出がされなくなるまで、その対象領域に対する新たな評価値を算出する。なお、動きが検出された対象領域から同一の特定対象物が検出されなくなった場合には、評価値算出部２５０は、その対象領域に関する評価値の算出処理を終了し、その旨を制御信号生成部２７０に通知する。これにより、評価値保持部２６０に保持されているその対象領域に関する直前までの評価値が制御信号生成部２７０に供給され、その評価値が評価値保持部２６０から消去される。なお、評価値の算出方法については、図１０および図１１を参照して詳細に説明する。

評価値保持部２６０は、評価値算出部２５０により算出された評価値と、これに関する各情報とを保持するものであり、保持されている評価値と、これに関連付けて保持されている対象領域に関する各情報とを評価値算出部２５０に供給する。また、評価値保持部２６０は、保持されている評価値と、この評価値に対応する特定対象物に関する情報とを制御信号生成部２７０に供給する。また、評価値保持部２６０は、保持されている対象領域に関する各情報と、その対象領域に関連付けて保持されている動きの向きを特定対象物情報選択部２３０に供給する。なお、評価値保持部２６０における保持内容については、図５を参照して詳細に説明する。

制御信号生成部２７０は、動き検出部２２０から出力された動き情報と、評価値保持部２６０における保持内容と、特定対象物情報記憶部３００における記憶内容とに基づいて、電子機器１２０を制御するための制御信号を生成するものである。そして、制御信号生成部２７０は、生成された制御信号を制御信号出力部２８０に出力する。この制御信号の生成については、図１２を参照して詳細に説明する。

制御信号出力部２８０は、制御信号生成部２７０から出力された制御信号を、電子機器１２０に出力するものである。

［特定対象物情報記憶部の記憶内容例］
図３は、本発明の第１の実施の形態における特定対象物情報記憶部３００の記憶内容を模式的に示す図である。特定対象物情報記憶部３００には、対象領域の動きの向き情報３０１と、特定対象物識別情報３０２と、特定対象物判定情報３０３と、制御信号生成情報３０４とが関連付けて記憶されている。ここで、以下で示す人物の左右に関する表記については、ジェスチャーを行う人物を基準とした場合における左右を示すものとする。このため、人物の動作等に関する説明では、図面における左右と、説明に用いる左右とが異なる場合もある。

対象領域の動きの向き情報３０１には、対象領域において検出された動きの向きを示す情報が格納される。この動きの向きは、動き検出部２２０により検出される動きの向きに対応するものであり、例えば、動きベクトルにより特定される向きである。ここで、本発明の第１の実施の形態では、説明の容易のため、動き検出部２２０による検出対象となる向きを、上下左右の４つの向きとする例について説明する。このため、図３に示す例では、上下左右の４つの向きのみを示す。ただし、例えば、上下左右以外に、右上、右下、左上、左下の８つの向きとするようにしてもよく、さらに細かく１６つの向き、３２つの向き等とするようにしてもよい。

特定対象物識別情報３０２には、特定対象物を識別するための識別情報が格納される。特定対象物識別情報３０２には、例えば、特定対象物の種類に応じて＃１、＃２等が格納される。

特定対象物判定情報３０３には、特定対象物判定部２４０により行われる特定対象物の判定処理に用いられる特定対象物判定情報が格納される。この特定対象物判定情報は、動き検出部２２０により動きが検出された対象領域に、特定対象物が含まれるか否かを判定するために用いられる判定情報である。例えば、特定対象物を人間の手とする場合には、その手の輝度分布情報が記録されているテンプレートや、手の指等の各部の位置関係や形状を認識するための手画像の特徴や特性を示すデータ（特徴量）が格納される。また、例えば、弱判別器による特定対象物の判定処理を行う場合には、サンプル画像上の２画素間の輝度差により得られた特徴量を含む基準データが格納される。なお、図３に示す特定対象物判定情報３０３の各欄には、それぞれに対応する形態を示す図形を模式的に示す。

制御信号生成情報３０４には、制御対象となる電子機器１２０の制御信号を生成するための情報（制御信号生成情報）が格納される。この制御信号生成情報は、特定対象物の判定処理に用いられる特定対象物判定情報毎に関連付けて格納される。例えば、特定対象物識別情報３０２の「＃１」に対応する特定対象物が、一定時間検出されている場合には、電子機器１２０の電源をオンする制御信号が生成される。

ここで、図３に示すように、本発明の第１の実施の形態における特定対象物は、同一形態であっても、その向きに応じて異なる特定対象物として、特定対象物情報記憶部３００に記憶されている。例えば、特定対象物識別情報３０２の「＃１」、「＃１１」、「＃２１」、「＃３１」に関連付けて格納されている右手は、その形態は同一であるが向きが異なる。すなわち、ユーザが所望する複数の操作を同一姿勢とする手の動きの向きに応じて行うことができる。

また、図３では、特定対象物のうちの一部のみを例示するが、例えば、手以外の人間の体の一部（例えば、顔、足、腕全体）や他の部材（例えば、ペットボトル、珈琲カップ）等を特定対象物とするようにしてもよい。図４では、図３に示す姿勢以外の姿勢の手を特定対象物とする場合における手の姿勢の例を示す。

［特定対象物の他の例］
図４は、本発明の第１の実施の形態における特定対象物判定部２４０による特定対象物の判定処理の対象となる特定対象物の例を模式的に示す図である。なお、図４では、各特定対象物について１つの向きの姿勢のみを代表して示す。また、これらの各特定対象物を、特定対象物判定部２４０による特定対象物の判定処理の対象とする場合には、各特定対象物に対応する特定対象物情報が、特定対象物情報記憶部３００に記憶される。このように、特定対象物として、図３に示す手の姿勢以外に、各種の手の姿勢を用いることができる。

また、特定対象物情報記憶部３００の記憶内容は、ユーザにより変更可能とするようにしてもよい。例えば、図１に示す撮像装置１１０によりユーザの所望の特定対象物（例えば、所望の姿勢をした手）を撮像してその特定対象物の画像を生成し、情報処理装置２００がその画像に基づいて特定対象物判定情報を生成する。このように生成された特定対象物判定情報を特定対象物判定情報３０３に記憶するとともに、この特定対象物判定情報に対応する制御信号生成情報（例えば、ボリューム調整）をユーザが設定するようにしてもよい。これにより、ユーザの好みに応じて、電子機器１２０をさらに容易に操作することができる。

［評価値保持部の保持内容例］
図５は、本発明の第１の実施の形態における評価値保持部２６０の保持内容を模式的に示す図である。評価値保持部２６０には、対象領域情報２６１と、対象領域の動きの向き情報２６４と、特定対象物識別情報２６５と、評価値２６６とが関連付けて保持される。

対象領域情報２６１には、動き検出部２２０により動きが検出された対象領域に関する情報として、位置情報２６２およびサイズ情報２６３が保持される。位置情報２６２には、対象画像における対象領域の位置が保持される。この対象領域の位置として、例えば、対象領域に対応する矩形の左上隅の位置が保持される。サイズ情報２６３には、対象画像における対象領域の大きさが保持される。この対象領域の大きさとして、例えば、対象領域に対応する矩形の水平方向および垂直方向の長さ（例えば、その矩形の水平方向および垂直方向の各画素数）が保持される。この対象領域の位置およびサイズにより、対象画像における対象領域を特定することができる。なお、図５では、位置情報２６２およびサイズ情報２６３に保持される各情報の図示を省略する。

対象領域の動きの向き情報２６４には、対象領域において検出された動きの向きが保持される。また、動きが検出されなくなった対象領域については、その対象領域に特定対象物が含まれている間は、最後に検出された動きの向きが対象領域の動きの向き情報２６４に保持される。

対象領域の動きの向き情報２６４には、対象領域において検出された動きの向きを示す情報が格納される。この動きの向きは、図３に示す対象領域の動きの向き情報３０１に対応するものである。すなわち、この動きの向きは、動き検出部２２０により検出される動きの向きに対応するものであり、例えば、動きベクトルにより特定される向きである。

特定対象物識別情報２６５には、対象領域において動きが検出された特定対象物を識別するための識別情報が保持される。この特定対象物識別情報は、図３に示す特定対象物識別情報３０２に対応するものであり、例えば、対象領域において動きが検出された特定対象物の種類に応じて＃１、＃２２等が保持される。

評価値２６６には、対象領域において特定対象物の動きが最初に検出されてから、その対象領域にその特定対象物が含まれることが判定され続けている間に、所定の演算処理によりその対象領域について算出された評価値が保持される。この評価値については、評価値算出部２５０に順次供給され、評価値の算出処理に用いられる。なお、図５では、評価値２６６に保持される各評価値の図示を省略する。

ここで、例えば、１人が左右の手を用いてジェスチャーを行う場合や、複数人がそれぞれの手を用いてジェスチャーを行う場合が想定される。このため、本発明の第１の実施の形態では、対象画像における複数の対象領域において特定対象物の動きが検出された場合には、各対象領域に関する評価値等を評価値保持部２６０に保持させる。

［特定対象物の検出例］
図６は、本発明の第１の実施の形態における画像入力部２１０に入力された画像と、この画像において動きが検出された特定対象物との関係を示す図である。図６（ａ）には、撮像装置１１０により生成されて画像入力部２１０に入力された画像４００を示す。画像４００には、特定の姿勢をした状態で手を移動させている人物４０１が含まれている。

図６（ｂ）には、画像４００に含まれる人物４０１の手が、特定対象物として検出された状態を模式的に示す。図６（ｂ）に示す例では、特定対象物として検出された人物４０１の手を太線の枠４０２で囲んだ状態を示す。この枠４０２は、対象領域に対応するものとする。以下では、特定対象物の検出方法について説明する。

［動きベクトルの検出例］
図７は、本発明の第１の実施の形態における動き検出部２２０による動きベクトル検出処理の対象となる領域（対象領域）の設定方法の概略を示す図である。なお、動きベクトル検出処理により動きが検出された対象領域については、その位置および大きさが評価値保持部２６０に保持される。

図７（ａ）乃至（ｄ）には、図６（ａ）に示す画像４００について、対象領域４１１乃至４１４を設定する場合における遷移を示す。図７（ａ）乃至（ｄ）の左側の画像では、対象領域４１１乃至４１４の動きベクトル検出処理における開始時の設定位置を太い実線で示す。また、図６（ａ）乃至（ｄ）の右側の画像では、対象領域４１１乃至４１４の動きベクトル検出処理における終了時の設定位置を太い実線で示す。なお、１つの対象領域について動きベクトル検出処理の終了後には、図６（ａ）乃至（ｄ）に示すように、一定の規則により拡大させた対象領域を用いて、新たな動きベクトル検出処理が開始される。そして、対象領域が一定の大きさに拡大されるまで、動きベクトル検出処理が行われる。

図６（ａ）に示す画像４００について、動きベクトル検出の処理対象となる画像を特定する場合には、図７（ａ）に示すように、動き検出部２２０が画像４００の左上隅に対象領域４１１を設定する。続いて、動き検出部２２０が、対象領域４１１に含まれる画像について動きベクトル検出処理を行う。この動きベクトル検出処理については、図８を参照して詳細に説明する。

続いて、動き検出部２２０が、対象領域４１１を右側方向（矢印４２１方向）に所定数の画素分（例えば、ｓ画素分）だけシフトさせて、対象領域４１１内に含まれる画像について動きベクトル検出処理を行う。以降も同様にして、対象領域４１１が所定数の画素分だけ右側方向に順次シフトされて、対象領域４１１内に含まれる画像について動きベクトル検出処理が行われる。なお、図７（ａ）では、対象領域４１１を矢印４２１方向にｓ画素分だけシフトさせた場合における位置４３１と、この位置４３１を矢印４２１方向にｓ画素分だけシフトさせた場合における位置４３２とのそれぞれに対応する矩形を点線で示す。

そして、画像４００の右端の位置４１５に対象領域４１１がシフトされて対象領域に含まれる画像について動きベクトル検出処理が行われると、対象領域４１１が所定数の画素分（例えば、ｒ画素分）だけ下側にシフトされるとともに画像４００の左端に設定される。すなわち、対象領域４１１が矢印４２２方向にシフトされる。なお、所定数ｓおよびｒについては、同一の値とするようにしてもよく、異なる値とするようにしてもよい。

続いて、画像４００の左端に設定直後の対象領域４１１に含まれる画像について動きベクトル検出処理が行われる。この処理後に、対象領域４１１が所定数の画素分だけ右側方向に順次シフトされて、対象領域４１１に含まれる画像について動きベクトル検出処理が順次行われる。

以下、同様に対象領域４１１に含まれる画像について動きベクトル検出処理が順次行われる。そして、画像４００の左端および下端の位置４１６に対象領域４１１が設定されて対象領域４１１に含まれる画像について動きベクトル検出処理が行われる。続いて、画像４００の右端および下端の位置４１７にシフトされて対象領域４１１に含まれる画像について動きベクトル検出処理が行われると、対象領域４１１に関する動きベクトル検出処理を終了する。

また、図７（ｂ）乃至（ｄ）に示すように、対象領域４１２乃至４１４についても同様に、対象領域４１２乃至４１４に含まれる画像について動きベクトル検出処理が順次行われる。すなわち、画像４００の右端および下端の位置にシフトされて対象領域に含まれる画像について動きベクトル検出処理が行われると、その対象領域に関する動きベクトル検出処理を終了し、次の対象領域に関する動きベクトル検出処理を開始する。ここで、対象領域４１２乃至４１４を右側方向にシフトさせる画素の所定数については、例えば、対象領域４１１と同一の値とするようにしてもよく、各大きさに応じて変更するようにしてもよい。同様に、対象領域４１２乃至４１４を下側方向にシフトさせる画素の所定数についても、例えば、対象領域４１１と同一の値とするようにしてもよく、各大きさに応じて変更するようにしてもよい。

なお、この例では、対象画像において対象領域の大きさを変更しながら、動きベクトルを検出する例を示した。ただし、例えば、撮像装置１１０と人物１４０との距離が一定であり、特定対象物が一定の大きさとなることが想定される場合には、対象領域の大きさを一定として動きベクトルを検出するようにしてもよい。また、この例では、対象画像において対象領域を重複させながら、動きベクトルを検出する例を示したが、対象領域が重複しないようにして、動きベクトルを検出するようにしてもよい。このようにすることにより、動きベクトル検出処理を迅速に行うことができる。

図８は、本発明の第１の実施の形態における動き検出部２２０により動きを検出する動き検出方法を模式的に示す図である。この例では、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法について説明する。このブロックマッチング法による動きベクトル検出方法は、動画を構成する対象画像および参照画像を比較することにより、対象画像における対象領域の動きベクトルを検出する方法である。具体的には、現フレーム（対象画像）と、時間軸において現フレームよりも前に位置する参照フレーム（参照画像）とを比較することにより、現フレームにおける対象領域の動きベクトルを検出する。すなわち、現フレームにおける対象領域と似ている領域が参照フレームのどこにあるかを探索することにより、現フレームにおける対象領域の動きベクトルを検出する。

図８（ａ）には、動きベクトルの検出対象となる現フレーム（対象画像）４３０と、時間軸において現フレームよりも前に位置する参照フレーム（参照画像）４４０とを示す。この参照フレーム４４０は、例えば、動画を構成する時間的に連続するフレームのうち、時間軸において現フレームから所定数前に位置するフレームである。また、図８（ａ）では、現フレーム４３０における対象領域４３１について、動きベクトルを検出する場合を例にして説明する。なお、対象領域４３１は、図７に示す対象領域の設定方法により設定されるものとする。

例えば、動き検出部２２０が、現フレーム４３０における対象領域４３１について動きベクトル検出処理を行う場合には、参照フレーム４４０において、対象領域４３１に対して想定される最大の動き量の大きさに対応する領域（サーチ領域４４２）を設定する。なお、図８（ａ）では、参照フレーム４４０において、現フレーム４３０における対象領域４３１の位置に対応する領域４４１と、サーチ領域４４２とを太線の矩形で示す。

そして、動き検出部２２０が、対象領域４３１に含まれる画像と、サーチ領域４４２に含まれる画像とを比較することにより、対象領域４３１の動きベクトルを算出する。例えば、動き検出部２２０が、サーチ領域４４２において、対象領域４３１と同じ大きさの領域（探索領域）を設定する。例えば、図８（ａ）に示すように、サーチ領域４４２において、点線の矩形で示す探索領域４４３乃至４４７が設定される。そして、動き検出部２２０が、設定された探索領域に含まれる画像と、対象領域４３１に含まれる画像とを順次比較することにより、対象領域４３１に含まれる画像と最も相関の高い探索領域を検出する。例えば、サーチ領域４４２において、対象領域４３１に含まれる画像と最も相関の高い探索領域を探索領域４４５とする。この場合には、参照フレーム４４０における探索領域４４５に含まれる被写体が、現フレーム４３０における対象領域４３１の位置に動いたと推定することができる。

そして、動き検出部２２０が、参照フレーム４４０における探索領域４４５と、現フレーム４３０における対象領域４３１との位置関係に基づいて、動きベクトルを算出する。このように算出された動きベクトル４５１を図８（ｂ）に示す。

図８（ｂ）には、現フレーム４３０における対象領域４３１について検出された動きベクトル４５１を示す。なお、図８（ｂ）では、現フレーム４３０において、図８（ａ）に示す参照フレーム４４０におけるサーチ領域４４２および探索領域４４５に対応する領域を点線の矩形４４２および４４５で示す。

このように、ブロックマッチング法による動きベクトルの検出方法では、１つの対象領域について１つの動きベクトルを算出する。つまり、対象領域単位で、フレーム間の相関判定（マッチング判定）処理を行い、対象領域毎に動きベクトルが算出される。

なお、これらの動きベクトルの検出処理については、動画を構成する各フレームについて行うようにしてもよく、一定間隔毎のフレームについてのみ行うようにしてもよい。

［特定対象物の判定例］
図９は、本発明の第１の実施の形態における特定対象物情報選択部２３０による特定対象物情報の選択方法および特定対象物判定部２４０による特定対象物の判定方法の流れを模式的に示す図である。この例では、図３に示す特定対象物判定情報３０３に記憶されている８つの特定対象物情報のうちから、動き検出部２２０により検出された動きベクトルに基づいて、判定処理に用いられる特定対象物情報を選択する例を示す。また、このように選択された特定対象物情報を用いて、対象領域に特定対象物が含まれるか否かを判定する例を示す。

図９（ａ）には、動き検出部２２０により検出された動きベクトルを模式的に示す。図９（ａ）に示す現フレーム４３０と、対象領域４３１と、動きベクトル４５１とは、図８（ｂ）に示すものと同一であるため、同一の符号を付して説明する。

ここで、対象領域において動きベクトルが検出された場合には、特定対象物情報選択部２３０が、その検出された動きベクトルの大きさが閾値以上であるか否かを判断する。そして、その検出された動きベクトルの大きさが閾値以上である場合には、特定対象物情報選択部２３０が、その検出された動きベクトルの向きに基づいて、判定処理に用いられる特定対象物情報を特定対象物情報記憶部３００から選択する。なお、その検出された動きベクトルの大きさが閾値未満である場合には、その動きベクトルが検出された対象領域については、判定処理が行われないため、特定対象物情報選択部２３０による特定対象物情報の選択処理が行われない。

図９（ｂ）には、特定対象物情報選択部２３０により選択された特定対象物情報の例を示す。なお、対象領域４３１について検出された動きベクトルの大きさは、閾値以上であるものとする。また、図９（ａ）に示すように、対象領域４３１について検出された動きベクトル４５１の向きは左向き（図面では右向き）である。このため、特定対象物情報選択部２３０が、図３に示す特定対象物情報記憶部３００に格納されている８つの特定対象物判定情報のうちから、対象領域の動きの向き情報３０１の「左」に対応する２つの特定対象物判定情報を選択する。図９（ｂ）では、選択された２つの特定対象物判定情報４５３および４５４を点線の矩形４５２で囲んで示す。

図９（ｃ）には、特定対象物情報選択部２３０により選択された特定対象物判定情報を用いて、特定対象物判定部２４０により行われる判定処理を模式的に示す。図９（ｃ）に示すように、特定対象物情報選択部２３０により選択された２つの特定対象物判定情報４５３および４５４と、この選択処理の基準となった動きベクトルが検出された対象領域４３１に含まれる画像とが判定処理の対象となる。すなわち、特定対象物判定部２４０が、２つの特定対象物判定情報４５３および４５４と、対象領域４３１に含まれる画像とのそれぞれについて判定処理を行う。すなわち、特定対象物判定部２４０が、対象領域４３１に含まれる画像に、特定対象物判定情報４５３および４５４に対応する特定対象物の何れかが含まれるか否かを判定する。

図９（ｄ）には、特定対象物判定部２４０による判定処理の判定結果を模式的に示す。例えば、図９（ｄ）に示すように、特定対象物判定部２４０が、対象領域４３１に含まれる画像に、特定対象物判定情報４５４に対応する特定対象物が含まれると判定する。このように対象領域に含まれる画像に特定対象物が含まれると判定された場合には、特定対象物判定部２４０が、その判定結果を評価値算出部２５０に出力する。そして、評価値算出部２５０が、その判定結果に基づいて、対象領域４３１に関する評価値を算出する。

なお、対象領域に含まれる画像に特定対象物の何れも含まれていないと判定された場合についても、その判定結果が評価値算出部２５０に出力される。この場合には、評価値算出部２５０が、対象領域４３１に関する評価値の算出処理を終了する。

以上では、各対象領域について動きベクトルの検出処理を行い、一定の大きさの動きベクトルが検出された各対象領域について判定処理を行う例を示した。しかしながら、同一フレームにおける重複する複数の対象領域において動きベクトルが検出されることも想定される。この場合には、これらの動きベクトルのうち、大きさの値が最も大きい動きベクトルが検出された対象領域のみについて判定処理を行うようにしてもよい。または、これらの動きベクトルの各対象領域について判定処理を順次行い、各判定処理のうち、最も特定対象物に近いと判定された対象領域のみについて評価値を算出するようにしてもよい。これにより、同一の特定対象物について、複数の評価値が算出されることを防止することができる。

［評価値の算出例］
図１０は、本発明の第１の実施の形態における特定対象物判定部２４０による判定処理の対象となる対象画像（現フレーム）に含まれる被写体の遷移例を示す図である。図１０（ａ）乃至（ｃ）には、右手４６０の親指を水平方向に立てた状態で、そのユーザの左側（図１０では右側）に右手４６０を移動させている状態の遷移を示す。図１０（ｄ）には、図１０（ｃ）に示す位置に移動させた後に、その位置で右手４６０を停止させた状態を示す。図１０（ｅ）には、図１０（ｄ）に示す状態を一定時間維持した後に、右手４６０を開いた状態を示す。なお、図１０（ａ）乃至（ｅ）に示す横軸（Ｈ１乃至Ｈ５）は、右手４６０の現フレームにおける水平方向の位置を示す。また、図１０（ａ）乃至（ｅ）の遷移に要する時間は、時刻Ｔ＝ｔ１乃至ｔ５までの時間であるものとする。

最初に、図１０（ａ）に示すように、右手４６０の親指を水平方向に立てた状態で、ユーザの左側に右手４６０を移動させる（Ｔ＝ｔ１）。すなわち、親指を水平方向に立てた右手４６０を位置Ｈ１から位置Ｈ３まで矢印４６１の方向に移動させる。このように、移動させることにより、動き検出部２２０により、右手４６０の動きが検出される。この検出された動きベクトルの大きさは、閾値以上であるものとする。このように、動き検出部２２０により動きが検出された場合には、この検出された動きの向きに応じた特定対象物判定情報が特定対象物情報選択部２３０により選択される。例えば、図９（ｂ）に示すように、特定対象物判定情報が選択される。続いて、特定対象物判定部２４０が、選択された特定対象物判定情報を用いて、動きが検出された対象領域に特定対象物が含まれるか否かを判定する。この場合には、図１０（ａ）に示す右手４６０に対応する特定対象物が含まれることが判定されるものとする。

続いて、図１０（ｂ）に示すように、右手４６０の親指を水平方向に立てた状態で、ユーザの左側に右手４６０を移動させる（Ｔ＝ｔ２）。すなわち、親指を水平方向に立てた右手４６０を位置Ｈ３から位置Ｈ５まで矢印４６２の方向に移動させる。このように、右手４６０の移動を継続して行うことにより、図１０（ａ）と同様に、動き検出部２２０により右手４６０の動きが順次検出され、この検出された動きの向きに応じた特定対象物判定情報が特定対象物情報選択部２３０により順次選択される。この検出された動きベクトルの大きさは、閾値以上であるものとする。続いて、特定対象物判定部２４０が、選択された特定対象物判定情報を用いて、動きが検出された対象領域に特定対象物が含まれるか否かを判定する。この場合についても、図１０（ｂ）に示す右手４６０に対応する特定対象物が含まれることが判定されるものとする。

続いて、図１０（ｃ）に示すように、位置Ｈ５まで移動させた後に、親指を水平方向に立てた状態で右手４６０をユーザが停止させる（Ｔ＝ｔ３）。この場合における右手４６０は、図１０（ａ）および（ｂ）に示す状態と同一とする。なお、図１０（ａ）乃至（ｃ）に示す移動については、その速度を一定とするようにしてもよく、一定としなくてもよい。ただし、その移動の開始時において、検出された動きベクトルの大きさが閾値以上となるようにする必要がある。

続いて、図１０（ｄ）に示すように、位置Ｈ５で、右手４６０を停止させた状態を維持する（Ｔ＝ｔ４）。この場合における右手４６０は、図１０（ａ）乃至（ｃ）に示す状態と同一とする。

このように、右手４６０の移動が停止することにより、動き検出部２２０により右手４６０の動きが検出されない。このように動きが検出されない場合には、その動きが検出された対象領域について、時間軸における前に検出された動きの向きに応じた特定対象物判定情報が特定対象物情報選択部２３０により選択される。すなわち、特定対象物情報選択部２３０が、その動きが検出された対象領域に対応して評価値保持部２６０の対象領域の動きの向き情報２６４に保持されている向きを取得し、この向きに応じた特定対象物判定情報を特定対象物情報記憶部３００から選択する。なお、その動きが検出された対象領域に対応して評価値保持部２６０の評価値２６６に保持されている評価値が閾値未満である場合には、特定対象物判定情報の選択処理を行わず、その対象領域に関する評価値の算出処理を終了するようにしてもよい。

続いて、特定対象物判定部２４０が、選択された特定対象物判定情報を用いて、時間軸における前に動きが検出された対象領域に特定対象物が含まれるか否かを判定する。この場合についても、図１０（ａ）に示す右手４６０に対応する特定対象物が含まれることが判定されるものとする。

続いて、図１０（ｅ）に示すように、位置Ｈ５で、右手４６０の状態を変化させる（Ｔ＝ｔ５）。例えば、図１０（ｅ）に示すように、右手４６０を開いた状態とする。

この場合についても同様に、特定対象物判定部２４０が、選択された特定対象物判定情報を用いて、時間軸における前に動きが検出された対象領域に特定対象物が含まれるか否かを判定する。この場合には、図１０（ａ）乃至（ｄ）に示す右手４６０に対応する特定対象物と同一の特定対象物が、含まれないことが判定される。

図１１は、本発明の第１の実施の形態における評価値算出部２５０による評価値算出の流れを示すシーケンスチャートである。図１１に示す例では、動き検出部２２０と、特定対象物判定部２４０と、評価値算出部２５０と、評価値保持部２６０との関係を概略的に示す。また、図１１において、縦軸は時間軸を示す。なお、図１１に示すシーケンスチャートは、図１０に対応するものであり、図１１に示す時刻ｔ１乃至ｔ５が、図１０に示す時刻ｔ１乃至ｔ５に対応する。

図１０（ａ）乃至（ｃ）に示すように、時刻ｔ１において、動き検出部２２０により動きが検出された後、時刻ｔ３まで継続して動き検出部２２０により動きが検出される。この場合には、動きが検出された対象領域に特定対象物が含まれることが特定対象物判定部２４０により判定される。すなわち、動きが検出された対象領域から特定対象物が検出され続ける。このように、動きが検出された対象領域から特定対象物が検出され続ける場合には、この特定対象物の検出時間に応じて、評価値算出部２５０が、その対象領域に関する評価値の算出処理を行い、この算出処理の結果を評価値保持部２６０に順次保持させる。この評価値の算出処理では、直前の判定処理により同一の特定対象物が含まれると判定された対象領域について算出された評価値を用いて、現在の判定処理に関する評価値の算出が行われる。すなわち、評価値算出部２５０が、算出処理の結果を評価値保持部２６０に順次保持させ、次の算出処理では、評価値保持部２６０に保持された直前までの評価値を用いた算出処理が行われる。この場合に、評価値保持部２６０の対象領域情報２６１に基づいて、同一の特定対象物が含まれる対象領域に関する評価値が取得され、この取得された評価値が用いられる。

ここで、図１０（ａ）乃至（ｃ）に示すように、動き検出部２２０により動きが検出されている場合には、同一の特定対象物が含まれる対象領域が移動する。このため、直前の評価値算出処理により保持された評価値保持部２６０の対象領域情報２６１が、現在の評価値算出処理に係る対象領域に関する情報とは異なる。そこで、動き検出部２２０により動きが検出されている場合には、この検出された動きの大きさおよび向きを考慮して、同一の特定対象物が含まれる対象領域に関する評価値が評価値保持部２６０から取得され、この取得された評価値が用いられる。

例えば、図８（ｂ）に示すように、動きベクトル４５１が検出され、対象領域４３１について評価値の算出処理を行う場合には、動きベクトル４５１の大きさおよび向きだけ戻った位置に対応する対象領域に関する評価値が評価値保持部２６０から取得される。すなわち、図８（ａ）に示す参照フレームにおける点線の矩形４４５の位置に対応する対象領域に関する評価値が評価値保持部２６０から取得される。そして、この取得された評価値が、対象領域４３１に関する評価値の算出処理に用いられる。なお、検出された動きベクトルに誤差が生じて、動きベクトルの大きさおよび向きだけ戻った位置に対応する対象領域に関する評価値が評価値保持部２６０に保持されていない場合が想定される。この場合には、その動きベクトルの大きさおよび向きだけ戻った位置に最も近い位置に対応する対象領域に関する評価値が取得される。

ここで、評価値算出部２５０により算出される評価値Ｅは、例えば、評価値保持部２６０に保持されている評価値を評価値Ｅ１とし、単位時間当たり加算される所定値を値Ｐ１とする場合には、次の式で求めることができる。
評価値Ｅ＝Ｅ１＋Ｐ１＝ｔ×Ｐ１
ここで、ｔは、同一の特定対象物が検出され続けた時間を示す。

また、評価値Ｅは、例えば、評価値保持部２６０に保持されている評価値を評価値Ｅ１とし、所定値を値Ｐ２とし、特定対象物判定部２４０による判定処理の際に算出された相関値を相関値Ｃ１とする場合には、次の式で求めることができる。
評価値Ｅ＝Ｅ１＋Ｐ２×Ｃ１
ここで、相関値は、例えば、特定対象物判定部２４０による判定処理の際に算出される類似度の程度を示す値である。

このように評価値算出部２５０により算出された評価値は、評価値保持部２６０に保持される。そして、評価値保持部２６０に保持されている評価値が、制御信号生成部２７０に順次供給される。

また、図１０（ｃ）および（ｄ）に示すように、時刻ｔ３以降は、動き検出部２２０により動きが検出されない。しかしながら、時刻ｔ３まで動きが検出された対象領域については、特定対象物判定部２４０による判定処理が継続して行われる。また、この判定処理において、時刻ｔ５までの間、特定対象物が継続して検出される。このように、動きが検出された対象領域から特定対象物が検出され続ける場合には、この特定対象物の検出時間に応じて、評価値算出部２５０が、その対象領域に関する評価値の算出処理を行い、この演算処理の結果を評価値保持部２６０に順次保持させる。なお、動きが検出されなくなった対象領域については、その対象領域に関する直前までの評価値（評価値保持部２６０に保持されている）が閾値未満である場合には、評価値算出部２５０が、その対象領域に関する評価値の算出処理を終了するようにしてもよい。

また、図１０（ｅ）に示すように、時刻ｔ５において、時刻ｔ３まで動きが検出された対象領域から同一の特定対象物の検出がされなくなる。このように、動きが検出された対象領域から同一の特定対象物が検出されなくなった場合には、評価値算出部２５０が、その対象領域に関する評価値の算出処理を終了する。このように評価値の算出処理が終了した場合には、評価値算出部２５０がその旨を制御信号生成部２７０に通知し、評価値保持部２６０に保持されているその対象領域に関する直前までの評価値が制御信号生成部２７０に供給される（矢印４７１）。そして、評価値算出部２５０が、その対象領域に関する評価値を評価値保持部２６０から消去する。

［制御信号の生成例］
図１２は、本発明の第１の実施の形態における制御信号生成部２７０による制御信号の生成方法を模式的に示す図である。図１２では、図３に示す特定対象物情報記憶部３００の特定対象物判定情報３０３のうち、４つの特定対象物判定情報（＃１、＃２、＃３１、＃３２）を例にして説明する。

図１２（ａ）乃至（ｄ）には、各特定対象物判定情報を用いた判定処理の判定結果に基づいて評価値算出部２５０により算出される評価値の範囲と、その算出された評価値に基づいて生成される制御信号との関係を示す。なお、図１２（ａ）には「＃１」に対応する特定対象物判定情報に関する例を示し、図１２（ｂ）には「＃３１」に対応する特定対象物判定情報に関する例を示す。また、図１２（ｃ）には「＃２」に対応する特定対象物判定情報に関する例を示し、図１２（ｄ）には「＃３２」に対応する特定対象物判定情報に関する例を示す。

ここで、図１２（ａ）乃至（ｄ）では、特定対象物判定情報と、この特定対象物判定情報ついて算出される評価値の範囲とを並べて示す。なお、図１２（ａ）乃至（ｄ）では、各評価値の範囲を同一の大きさで示すが、各評価値の範囲については、例えば、特定対象物毎に異なる範囲を設定するようにしてもよく、全ての特定対象物について同一の範囲を設定するようにしてもよい。なお、図１２（ａ）乃至（ｄ）に示す各評価値の最大値をＭ１乃至Ｍ４で示す。

図１２（ａ）に示すように、制御信号生成部２７０が、「＃１」に対応する特定対象物判定情報について算出された評価値に基づいて制御信号を生成する場合には、その評価値が閾値ＴＨ１を超えたか否かを判断する。そして、その評価値が閾値ＴＨ１を超えた場合には、制御信号生成部２７０が、電子機器１２０の電源をオンするための操作を行う制御信号を生成し、制御信号出力部２８０に出力する。この制御信号の生成は、例えば、評価値算出部２５０により算出されて評価値保持部２６０に保持されている評価値が、閾値ＴＨ１を超えた際に行うようにしてもよく、評価値の算出処理が終了した旨を評価値算出部２５０から受けた際に行うようにしてもよい。一方、その評価値が閾値ＴＨ１を超えていない場合には、制御信号生成部２７０が制御信号を生成しない。なお、その評価値が閾値ＴＨ１を超えていない場合には、制御信号生成部２７０が電子機器１２０の電源操作なしの制御信号を生成するようにしてもよい。

また、図１２（ｂ）では、制御信号生成部２７０が、「＃３１」に対応する特定対象物判定情報について算出された評価値に基づいて制御信号を生成する場合における一例を示す。なお、この制御信号の生成については、閾値ＴＨ２および制御信号の種類が異なる以外は、図１２（ａ）に示す例と略同様であるため、ここでの説明を省略する。

図１２（ｃ）に示すように、制御信号生成部２７０が、「＃２」に対応する特定対象物判定情報について算出された評価値に基づいて制御信号を生成する場合には、その評価値が閾値ＴＨ３を超えたか否かを判断する。そして、その評価値が閾値ＴＨ３を超えた場合には、制御信号生成部２７０が、電子機器１２０の音量を上昇させるための操作を行う制御信号を生成し、制御信号出力部２８０に出力する。ここで、音量の上昇操作については、電源のオン、オフとは異なり、多段階の操作を行うことが多い。そこで、この制御信号は、例えば、評価値算出部２５０により算出されて評価値保持部２６０に保持されている評価値が、閾値ＴＨ３を超えた後に、評価値の大きさに応じて順次生成することができる。また、評価値の算出処理が終了した旨を評価値算出部２５０から受けた後に、その時点の評価値の大きさに応じて、制御信号の生成を行うようにしてもよい。一方、その評価値が閾値ＴＨ３を超えていない場合には、制御信号生成部２７０が制御信号を生成しない。なお、その評価値が閾値ＴＨ３を超えていない場合には、制御信号生成部２７０が電子機器１２０の音量操作なしの制御信号を生成するようにしてもよい。

また、図１２（ｄ）では、制御信号生成部２７０が、「＃３２」に対応する特定対象物判定情報について算出された評価値に基づいて制御信号を生成する場合における一例を示す。なお、この制御信号の生成については、閾値ＴＨ４および制御信号の種類が異なる以外は、図１２（ｃ）に示す例と略同様であるため、ここでの説明を省略する。

このように、各制御信号の生成処理において、評価値が閾値以上である場合にのみ、制御信号を生成するようにすることにより、ノイズに対する信頼性を高めることができる。なお、以上で示した制御信号を生成するタイミングおよび閾値ＴＨ１乃至ＴＨ４については、ユーザ操作により設定するようにしてもよい。

［情報処理装置の動作例］
図１３は、本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順を示すフローチャートである。この例では、フレーム（対象画像）単位で制御信号生成処理を行う例について説明する。

最初に、動き検出部２２０が、対象画像において対象領域を設定する（ステップＳ９０１）。例えば、図７に示すように、対象画像において対象領域が設定される。続いて、動き検出部２２０が、設定された対象領域について動きベクトルを検出する動きベクトル検出処理を行う（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の動き検出手順の一例である。

続いて、検出された動きベクトルの大きさが閾値以上であるか否かが判断される（ステップＳ９０３）。そして、その大きさが閾値以上である場合には（ステップＳ９０３）、特定対象物情報選択部２３０が、検出された動きベクトルの向きに基づいて、特定対象物情報記憶部３００から特定対象物判定情報を選択する（ステップＳ９０４）。

続いて、特定対象物判定部２４０が、選択された特定対象物判定情報を用いて、設定された対象領域に特定対象物が含まれるか否かを判定する判定処理を行う（ステップＳ９０５）。なお、ステップＳ９０５は、特許請求の範囲に記載の特定対象物判定手順の一例である。続いて、その判定処理により算出される相関値が、閾値以上であるか否かが判断される（ステップＳ９０６）。すなわち、設定された対象領域に特定対象物が含まれるか否かが判断される。そして、その判定処理により算出される相関値が、閾値以上である場合には（ステップＳ９０６）、評価値算出部２５０が、評価値算出処理を行う（ステップＳ９２０）。この評価値算出処理については、図１４を参照して詳細に説明する。なお、その判定処理により算出される相関値が、閾値未満である場合には（ステップＳ９０６）、ステップＳ９１２に進む。

続いて、評価値算出部２５０が、新たに算出された評価値、この評価値の算出対象となった対象領域の位置および大きさ、この対象領域において動き検出部２２０により検出された動きの向き等を評価値保持部２６０に保持させる（ステップＳ９０７）。すなわち、設定された対象領域に関する評価値保持部２６０の内容が更新される。続いて、制御信号生成部２７０が、制御信号生成処理を行う（ステップＳ９３０）。なお、制御信号生成処理については、図１５を参照して詳細に説明する。なお、ステップＳ９２０、Ｓ９３０は、特許請求の範囲に記載の制御信号生成手順の一例である。

続いて、対象画像における全ての対象領域について動きベクトルの検出処理が終了したか否かが判断される（ステップＳ９０８）。対象画像における全ての対象領域について動きベクトルの検出処理が終了した場合には、１つの対象画像についての制御信号生成処理の動作を終了する。一方、対象画像における全ての対象領域について動きベクトルの検出処理が終了していない場合には（ステップＳ９０８）、ステップＳ９０１に戻る。

また、検出された動きベクトルの大きさが閾値未満である場合には（ステップＳ９０３）、特定対象物情報選択部２３０が、設定された対象領域の位置に対応する評価値を評価値保持部２６０から取得する（ステップＳ９０９）。続いて、特定対象物情報選択部２３０が、取得された評価値が閾値以上であるか否かを判断する（ステップＳ９１０）。取得された評価値が閾値以上である場合には（ステップＳ９１０）、特定対象物情報選択部２３０が、取得された評価値に対応する向きに基づいて、特定対象物情報記憶部３００から特定対象物判定情報を選択し（ステップＳ９１１）、ステップＳ９０５に進む。一方、取得された評価値が閾値未満である場合には（ステップＳ９１０）、評価値算出部２５０が、取得された評価値に関する評価値保持部２６０の内容を初期化し（ステップＳ９１２）、ステップＳ９０１に戻る。

図１４は、本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順のうちの評価値算出処理（図１３に示すステップＳ９２０の処理手順）を示すフローチャートである。

最初に、設定された対象領域から動きベクトルが検出されたか否かが判断される（ステップＳ９２１）。その動きベクトルが検出された場合には（ステップＳ９２１）、評価値算出部２５０が、検出された動きベクトルの大きさおよび向きに基づいて、同一の特定対象物が含まれる対象領域に関する評価値を評価値保持部２６０から取得する（ステップＳ９２２）。一方、設定された対象領域から動きベクトルが検出されていない場合には（ステップＳ９２１）、評価値算出部２５０が、設定された対象領域の位置に対応する評価値を評価値保持部２６０から取得する（ステップＳ９２３）。

続いて、評価値算出部２５０が、取得された評価値を用いて、設定された対象領域に関する新たな評価値を算出する（ステップＳ９２４）。

図１５は、本発明の第１の実施の形態における情報処理装置２００による制御信号生成処理の処理手順のうちの制御信号生成処理（図１３に示すステップＳ９３０の処理手順）を示すフローチャートである。この例では、向き、ボリューム、バイナリ値に関する制御信号を生成する例を示す。

最初に、制御信号生成部２７０が、設定された対象領域に対応する評価値を評価値保持部２６０から取得する（ステップＳ９３１）。

続いて、制御信号生成部２７０が、取得された評価値は向きに関する評価値であるか否かを判断する（ステップＳ９３２）。その取得された評価値が向きに関する評価値である場合には（ステップＳ９３２）、制御信号生成部２７０が、その取得された評価値が閾値以上であるか否かを判断する（ステップＳ９３３）。その取得された評価値が閾値以上である場合には（ステップＳ９３３）、その取得された評価値に関連付けて評価値保持部２６０に保持されている向きに基づいて、向きに関する制御信号を生成する（ステップＳ９３４）。一方、その取得された評価値が閾値未満である場合には（ステップＳ９３３）、向きに関する制御信号を生成せずに、制御信号生成処理の動作を終了する。

また、その取得された評価値が向きに関する評価値でない場合には（ステップＳ９３２）、制御信号生成部２７０が、取得された評価値はボリュームに関する評価値であるか否かを判断する（ステップＳ９３５）。その取得された評価値がボリュームに関する評価値である場合には（ステップＳ９３５）、制御信号生成部２７０が、その取得された評価値が閾値以上であるか否かを判断する（ステップＳ９３６）。その取得された評価値が閾値以上である場合には（ステップＳ９３６）、その取得された評価値に基づいて、ボリュームに関する制御信号を生成する（ステップＳ９３７）。一方、その取得された評価値が閾値未満である場合には（ステップＳ９３６）、ボリューム「０」に関する制御信号を生成する（ステップＳ９３８）。

また、その取得された評価値がボリュームに関する評価値でない場合には（ステップＳ９３５）、制御信号生成部２７０が、取得された評価値はバイナリ値に関する評価値であるか否かを判断する（ステップＳ９３９）。その取得された評価値がバイナリ値に関する評価値である場合には（ステップＳ９３９）、制御信号生成部２７０が、その取得された評価値が閾値以上であるか否かを判断する（ステップＳ９４０）。その取得された評価値が閾値以上である場合には（ステップＳ９４０）、バイナリ値「１」に関する制御信号を生成する（ステップＳ９４１）。一方、その取得された評価値が閾値未満である場合には（ステップＳ９４０）、バイナリ値「０」に関する制御信号を生成する（ステップＳ９４２）。

なお、位置に関する制御信号を生成する場合には、向きに関する評価値を生成する場合と略同様とすることができる。すなわち、位置に関する評価値が閾値以上であるか否かを判断し、その評価値が閾値以上である場合には、その取得された評価値に関連付けて評価値保持部２６０に保持されている位置情報に基づいて、位置に関する制御信号を生成する。

このように、本発明の第１の実施の形態では、動きが検出された対象領域毎に特定対象物の判定処理を順次行い、この判定結果に基づいて所定の演算を順次行うことにより、時間的に累積した評価値を算出する。そして、この評価値に基づいて電子機器を制御するための制御信号を生成する。このように、時間的に累積した評価値を用いて制御信号を生成することにより、一時的なノイズによる誤検出を防止し、物体の動きを用いた操作入力の精度を高めることができる。

また、本発明の第１の実施の形態では、動きが検出された対象領域については、その動きが検出されなくなった後でも、その対象領域から特定対象物が検出されなくなるまで、特定対象物の判定処理を継続して行い、評価値を算出する。これにより、例えば、電子機器のボリューム操作を行う場合には、そのボリューム操作に係る手の動きをした後に、その手を停止させた状態でも、そのボリューム操作を継続して行うことができる。すなわち、所望の操作を続ける場合でも、その操作に係る手の動きを継続して行う必要がなく、一つの操作を継続する時間を大幅に増加させることができる。

また、本発明の第１の実施の形態では、動きが検出された対象領域について特定対象物の判定処理を行う場合に、その動きの向きに応じた特定対象物判定情報を用いて判定処理を行うことができる。また、動きが検出された対象領域について、その後動きが検出されなくなった場合には、最後に検出された動きの向きに応じた特定対象物判定情報を用いて判定処理を行うことができる。これにより、１つの対象領域について判定処理を行う際に用いられる特定対象物判定情報を低減させることができるため、判定処理に係るメモリ量や回路規模を大幅に低減することができ、その判定処理を迅速に行うことができる。また、検出された動きの向きに応じた特定対象物判定情報を用いて判定処理を行うため、判定処理の誤検出を低減させることができる。これにより、物体の動きを用いた操作入力の精度を高めることができる。

また、本発明の第１の実施の形態では、単眼カメラにより生成された画像データを用いて制御信号を生成することができるため、ステレオカメラ等を使用する場合と比較して、製造コストを低減させることができる。

なお、本発明の第１の実施の形態では、１つの特定対象物と、１つの制御信号とを関連付ける例を示したが、１つの制御信号に対して、複数の特定対象物を関連付けて、制御信号を生成するようにしてもよい。これにより、動きが検出された対象領域に含まれる特定対象物の姿勢が、一定の変化をした場合でも、これらの変化の前後でその対象領域に関する評価値の算出を継続して行うことができる。

［情報処理システムの適用例］
図１６乃至図１８は、本発明の第１の実施の形態における情報処理システム１００を各電子機器に適用する場合の例を模式的に示す図である。なお、図１６および図１７に示す撮像装置１１０および情報処理装置２００については、情報処理装置２００から出力される制御信号以外は、図１に示す例と同様であるため、以下での詳細な説明を省略する。また、以下では、人物１４０が各電子機器を操作する例を示す。

図１６（ａ）には、情報処理装置２００に接続される電子機器をテレビジョン８０１とした場合における情報処理システム８００を示す。図１６（ａ）では、テレビジョン８０１の上面に撮像装置１１０が設置されている場合を例にして示す。テレビジョン８０１は、例えば、動画録画機能および動画再生機能を備える映像視聴装置であるものとする。この例では、人物１４０による手のジェスチャーにより、テレビジョン８０１の電源のオン／オフ、チャネルの切替、音量調整、画質調整、録画予約、録画記録指示、録画再生指示、方向指定によるカーソルやポインタの操作等を行うことができる。これにより、人物１４０が、テレビジョン８０１を用いて、各種テレビ番組や録画された動画（例えば、映画）を見る場合に、リモコン等の操作機器を用いずに、テレビジョン８０１から離れた状態で、各種操作を容易に行うことができる。すなわち、テレビジョン８０１を用いて各種映像を見ている状態で、自分自身の体のみを用いて、操作を行うことができる。

図１６（ｂ）には、情報処理装置２００に接続される電子機器をテレビゲーム装置８０３とした場合における情報処理システム８０２を示す。テレビゲーム装置８０３は、表示装置８０４と接続され、表示装置８０４にゲーム内容を表示させるテレビゲーム装置である。図１６（ｂ）では、表示装置８０４の上面に撮像装置１１０が設置されている場合を例にして示す。また、テレビゲーム装置８０３は、人物１４０による操作入力に応じて、表示装置８０４における表示内容を制御する。表示装置８０４は、例えば、図１６（ｂ）に示すテレビジョン８０１を用いることができる。この例では、人物１４０による手のジェスチャーにより、テレビゲーム装置８０３の電源のオン／オフ、上下左右への移動操作、ボタン押下操作、音量調整、画質調整等を行うことができる。これにより、人物１４０が、テレビゲーム装置８０３を用いて、各種ゲームを楽しむ場合に、無線通信により接続されるコントローラ等の操作機器を用いずに、テレビゲーム装置８０３から離れた状態で、各種ゲーム操作を容易に行うことができる。これにより、コントローラ（例えば、機器自体の動きを検出して操作入力を行う操作リモコン）等の操作機器を用いて、ゲームを行う場合と比較して、さらに直感的な操作入力を実現することができる。さらに、ユーザ独自の操作入力を行うため、操作入力に関する登録（特定対象物情報、移動方向等）をユーザ毎に設定しておき、そのユーザ登録に応じて、操作入力を行うようにしてもよい。すなわち、ユーザの身体的な特徴（指先が器用、水平方向の動きが得意等）に応じて、ゲーム操作を行うことができる。

図１７（ａ）には、情報処理装置２００に接続される電子機器を照明装置８０６とした場合における情報処理システム８０５を示す。図１７（ａ）では、撮像装置１１０および照明装置８０６が天井８０７に設置されている場合を例にして示す。また、この例では、人物１４０による手のジェスチャーにより、照明装置８０６の電源のオン／オフ、点滅制御、明るさの強度調整、タイマ設定等を行うことができる。これにより、人物１４０が、照明装置８０６の各種操作を行う場合に、リモコン等の操作機器を用いずに、照明装置８０６から離れた状態で、各種操作を容易に行うことができる。例えば、寝ている状態でも、手の動きのみにより、消灯操作を行うことができる。

図１７（ｂ）には、情報処理装置２００に接続される電子機器をクレーンゲーム装置８０９とした場合における情報処理システム８０８を示す。クレーンゲーム装置８０９は、例えば、筐体内部に設置されているクレーン８１０を操作することにより、筐体内部に配置されている景品８１１を獲得するゲーム装置である。この例では、人物１４０による手のジェスチャーにより、クレーンゲーム装置８０９のクレーン８１０の水平面における移動操作や上下方向の移動操作（すなわち、モーターの回転方向の指定による操作）等を行うことができる。これにより、人物１４０が、クレーン８１０により景品８１１を獲得する場合に、各操作部材を用いずに、クレーンゲーム装置８０９から離れた状態で、各種操作を行いながら、ゲームを行うことができる。すなわち、クレーンゲーム装置８０９を行う場合に、ユーザの体の特徴的な動きを用いて操作を行うことができるため、各操作部材を用いて直接操作を行う場合と比較して、面白みを高めることができる。

図１６および図１７では、制御対象となる電子機器と、撮像装置１１０および情報処理装置２００とが別体として構成されている例を示した。図１８では、制御対象となる電子機器と、撮像装置１１０および情報処理装置２００とが一体として構成されている例を示す。

図１８（ａ）には、操作対象となる電子機器をデジタルスチルカメラ８１２とする例を示す。デジタルスチルカメラ８１２は、図１に示す撮像装置１１０および情報処理装置２００を内蔵し、これらが一体で構成されている電子機器である。デジタルスチルカメラ８１２は、例えば、被写体を撮像して画像データ（静止画または動画）を生成し、この画像データを画像ファイルとして記録する撮像装置である。また、デジタルスチルカメラ８１２は、例えば、その位置を基準として、水平方向への移動（パンニング）および垂直方向への移動（チルチング）を自動で行うことが可能な撮像装置であるものとする。また、デジタルスチルカメラ８１２は、人物１４０による操作入力に応じて、各種制御が行われる。この例では、人物１４０による手のジェスチャーにより、デジタルスチルカメラ８１２の電源のオン／オフ、装置自体の水平方向または垂直方向の移動操作、ズーム操作、シャッターボタン押下操作等を行うことができる。例えば、シャッターボタン押下操作に対応するジェスチャーを決めのポーズとして設定することにより、ユーザの記念撮影では、常に同じ決めのポーズとする状態で撮影を行うことができる。これにより、人物１４０が、デジタルスチルカメラ８１２を用いて、静止画の撮影を行う場合に、リモコンやタイマ等の操作機器を用いずに、デジタルスチルカメラ８１２から離れた状態で、各種撮影操作を容易に行うことができる。また、他の撮影操作機能（例えば、笑顔時における撮影機能）との組合せにより、各種撮影操作（例えば、決めのポーズで笑顔となった際に撮影）を行うようにしてもよい。

図１８（ｂ）には、操作対象となる電子機器をロボット装置８１３とする例を示す。ロボット装置８１３は、図１に示す撮像装置１１０および情報処理装置２００を内蔵し、これらが一体で構成されている電子機器である。ロボット装置８１３は、例えば、自動または手動操作により、平面上を移動して、所望の物体を掴むことが可能なロボット装置である。また、ロボット装置８１３は、人物１４０による操作入力に応じて、各種制御が行われる。この例では、人物１４０による手のジェスチャーにより、ロボット装置８１３の電源のオン／オフ、平面上における移動操作、所望の物体を掴む操作等を行うことができる。これにより、人物１４０が、ロボット装置８１３に所望の作業をさせる場合に、リモコンやタイマ等の操作機器を用いずに、ロボット装置８１３から離れた状態で、各種撮影操作を容易に行うことができる。また、他の操作機能（例えば、音の検知による移動機能）との組合せにより、各種操作を行うようにしてもよい。

このように、本発明の第１の実施の形態を位置、方向、ボリューム、スイッチ等の各種操作を行う電子機器に適用することができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、動きが検出された対象領域について同一の特定対象物の判定処理を順次行う例を示した。ここで、例えば、肩を中心として人間の手を回転させる場合のように、同じ動きを繰り返すことにより、操作入力を行うことも想定される。そこで、本発明の第２の実施の形態では、肩を中心にして腕を回す動きを利用して、操作入力を行う例を示す。

［手の動き例］
図１９は、肩を中心として人間の手を回転させる場合における手の動きの例を示す図である。図１９（ａ）には、人物５５０が、その肩を中心として右手で円５５１を描くように、右手を回転させた場合における右手の動きを模式的に示す。すなわち、図１９（ａ）に示す例は、人物５５０を基準とした場合に、反時計回りに右手で円５５１を描くように、右手を回転させた場合における右手の動きの一例である。

図１９（ｂ）には、人物５５０が、その肩を中心として右手で円５５２を描くように、右手を回転させた場合における右手の動きを模式的に示す。すなわち、図１９（ｂ）に示す例は、人物５５０を基準とした場合に、時計回りに右手で円５５２を描くように、右手を回転させた場合における右手の動きの一例である。なお、図１９（ａ）および（ｂ）では、人物５５０の右腕の輪郭に対応する部分を点線で示す。また、これらの右手の動きの遷移については、図１９（ｃ）に示す。

図１９（ｃ）には、図１９（ａ）および（ｂ）に示す右手の動作を行う場合におけるその遷移を示す。この例では、図１９（ａ）および（ｂ）に示す例に対応させた場合における一定間隔毎の遷移を、人物５５０の姿勢５６１乃至５６８により示す。なお、図１９（ａ）に示す右手の動作と、図１９（ｂ）に示す右手の動作とは、回転方向が異なる以外は略同一である。すなわち、図１９（ａ）に示す右手の動作を行う場合には、人物５５０が姿勢５６１〜５６４〜５６８までの流れを繰り返す。一方、図１９（ｂ）に示す右手の動作を行う場合には、人物５５０が姿勢５６８〜５６４〜５６１までの流れを繰り返す。

ここで、図１９（ａ）乃至（ｃ）に示すように、肩を中心として人間の手を回転させる動作（いわゆる、腕をグルグルと回し続ける動作）については、対象領域について算出される動きの向きが頻繁に変更される。また、対象領域に含まれる特定対象物についても、腕の位置に応じて順次変更される可能性が高い。

そこで、本発明の第２の実施の形態では、肩を中心として人間の手を回転させる動き等のように、繰り返し行われる一連の動作については、動作の前後における向きの相関性の高さに基づいて、これらの一連の動作に関する評価値を算出する例を示す。これらの一連の動作は、所定の規則に応じた一連の動作である。

［情報処理装置の構成例］
図２０は、本発明の第２の実施の形態における情報処理装置５００の機能構成例を示すブロック図である。ここで、情報処理装置５００は、本発明の第１の実施の形態における情報処理装置２００の変形例であり、一連動作判定部５１０および向き相関情報記憶部６００を設け、他の一部を変形したものである。このため、以下では、情報処理装置２００と異なる部分を中心に説明し、情報処理装置２００と共通する部分についての一部の説明を省略する。情報処理装置５００は、特定対象物情報記憶部３１０と、一連動作判定部５１０と、特定対象物情報選択部５２０と、向き相関情報記憶部６００とを備える。また、動き検出部２２０は、動き情報を一連動作判定部５１０に出力する。また、評価値保持部２６０は、保持されている対象領域に関する各情報と、その対象領域に関連付けて保持されている動きの向きを一連動作判定部５１０に供給する。

特定対象物情報記憶部３１０は、特定対象物の判定処理および制御信号の生成処理に用いられる複数の特定対象物情報を記憶するものであり、記憶されている特定対象物情報を特定対象物情報選択部２３０および制御信号生成部２７０に供給する。なお、特定対象物情報記憶部３１０に記憶されている特定対象物情報については、図２１を参照して詳細に説明する。また、特定対象物情報記憶部３１０は、特許請求の範囲に記載の記憶部の一例である。

一連動作判定部５１０は、動き検出部２２０により動きが検出された物体が、所定の規則に応じた一連の動作を行っているか否かを判定するものである。具体的には、一連動作判定部５１０は、動き検出部２２０から出力された動きの向き（現在の動きの向き）と、評価値保持部２６０に保持されている動きの向き（直前に検出された動きの向き）とに基づいて、向き相関値を算出する。すなわち、一連動作判定部５１０は、現在の動きの向きと、直前に検出された動きの向きとが、向き相関情報記憶部６００における記憶内容により特定される対応関係を有するか否かを判断する。そして、一連動作判定部５１０は、現在の動きの向きと、直前の動きの向きとが、その対応関係を有する場合には、向き相関値として「１」または「２」を算出する。一方、一連動作判定部５１０は、現在の動きの向きと直前の動きの向きとが、その対応関係を有しない場合には、向き相関値として「０」を算出する。すなわち、向き相関値として「１」または「２」が算出された場合には、所定の規則に応じた一連の動作を行っていることが判定され、向き相関値として「０」が算出された場合には、所定の規則に応じた一連の動作を行っていないことが判定される。そして、一連動作判定部５１０は、算出された向き相関値を特定対象物情報選択部５２０に出力する。

特定対象物情報選択部５２０は、一連動作判定部５１０から出力された向き相関値と、動き検出部２２０から出力された動き情報とに基づいて、特定対象物情報記憶部３１０から特定対象物判定情報を選択するものである。なお、特定対象物判定情報の選択方法については、図２２を参照して詳細に説明する。また、特定対象物情報選択部５２０は、特許請求の範囲に記載の選択部の一例である。

向き相関情報記憶部６００は、現在の動きの向きと、直前に検出された動きの向きとが、一定の対応関係を有するか否かを示す向き相関値を算出するための向き相関情報を記憶するものである。そして、向き相関情報記憶部６００は、記憶されている向き相関情報を一連動作判定部５１０に供給する。なお、向き相関情報記憶部６００における記憶内容については、図２２を参照して詳細に説明する。

［特定対象物情報記憶部の記憶内容例］
図２１は、本発明の第２の実施の形態における特定対象物情報記憶部３１０の記憶内容を模式的に示す図である。特定対象物情報記憶部３１０は、本発明の第１の実施の形態における特定対象物情報記憶部３００の変形例であり、向き相関値３１１を設けた点と、１つの制御信号生成情報に対して複数の特定対象物判定情報が関連付けられている点が異なる。これらの点以外は、特定対象物情報記憶部３１０は、特定対象物情報記憶部３００と略同様であるため、以下の説明では、図３に示す各情報と異なる部分を中心に説明し、共通する部分についての一部の説明を省略する。

特定対象物情報記憶部３１０には、向き相関値３１１と、特定対象物群識別情報３１２と、対象領域の動きの向き情報３１３と、特定対象物判定情報３１４と、制御信号生成情報３１５とが関連付けて記憶されている。なお、対象領域の動きの向き情報３１３、特定対象物判定情報３１４および制御信号生成情報３１５は、図３に示す同一名称の各情報に対応する。また、特定対象物群識別情報３１２は、図３に示す特定対象物識別情報３０２に対応する。

向き相関値３１１には、対象領域において算出された向き相関値を示す情報が格納される。この向き相関値は、一連動作判定部５１０により算出される向き相関値に対応するものである。すなわち、向き相関値「１」は、図１９（ａ）に示すように、肩を中心として人間の手を反時計回りに回転させる動作が行われている場合に対応する。また、向き相関値「２」は、図１９（ｂ）に示すように、肩を中心として人間の手を時計回りに回転させる動作が行われている場合に対応する。また、向き相関値「０」は、肩を中心として人間の手を回転させる動作以外の動作（例えば、本発明の第１の実施の形態に示す場合と同様に直線状に移動する動作）に対応する。なお、相関値「０」に対応する各情報については、本発明の第１の実施の形態と略同様であるため、図２１での図示を省略する。

特定対象物群識別情報３１２には、複数の特定対象物からなる特定対象物群を識別するための識別情報が格納される。特定対象物群識別情報３１２には、例えば、特定対象物の種類に応じて＃５１、＃６１等が格納される。

対象領域の動きの向き情報３１３には、対象領域において検出された動きの向きを示す情報が格納される。ここで、本発明の第２の実施の形態では、説明の容易のため、動き検出部２２０による検出対象となる向きを、上、下、左、右、右上、右下、左上、左下の８つの向きとする例について説明する。この８つの向きは、図１９（ｃ）に示す姿勢５６１乃至５６８に対応する。

特定対象物判定情報３１４には、特定対象物判定部２４０により行われる特定対象物の判定処理に用いられる特定対象物に関する特定対象物判定情報が格納される。ここで、本発明の第２の実施の形態では、上述したように、１つの制御信号生成情報に対して複数の特定対象物判定情報が関連付けて格納されている。このため、図２１に示すように、特定対象物判定情報３１４には、１つの制御信号生成情報に対して複数の特定対象物判定情報が格納される。なお、図２１では、特定対象物群識別情報３１２の「＃５１」、「＃６１」に対応する特定対象物判定情報３１４の一部（対象領域の動きの向き情報３１３の「左」、「左上」）にのみ、複数の特定対象物判定情報に対応する形態を示す図形を模式的に示す。そして、特定対象物判定情報３１４における他の欄の図示を省略する。

制御信号生成情報３１５には、制御対象となる電子機器１２０の制御信号を生成するための情報（制御信号生成情報）が格納される。なお、図２１では、制御信号生成情報の一部のみを示し、他の図示を省略する。

［向き相関情報記憶部の記憶内容例］
図２２は、本発明の第２の実施の形態における向き相関情報記憶部６００の記憶内容を模式的に示す図である。向き相関情報記憶部６００には、対象領域の動きの向き情報６０１と、直前の動きの向き情報６０２と、向き相関値６０３とが関連付けて記憶されている。

対象領域の動きの向き情報６０１には、対象領域について検出された動きの向きを示す情報が格納される。例えば、図２１に示す対象領域の動きの向き情報３１３と同様に、上、下、左、右、右上、右下、左上、左下の８つの向きが格納される。

直前の動きの向き情報６０２には、直前の対象フレーム（対象画像）における対象領域において検出された動きの向きを示す情報が格納される。ここで、図１９（ｃ）に示すように、肩を中心として人間の手を回転させる動作が行われている場合には、対象フレームにおける手の動きの向きと、その直前の対象フレームにおける動きの向きとの間には、特定の対応関係が存在する。例えば、図１９（ａ）に示す動作を行う場合において、姿勢５６１の際には、右手の向きが右となるのに対し、姿勢５６２の際には、右手の向きが右上となる。また、姿勢５６３の際には、右手の向きが上となるのに対し、姿勢５６４の際には、右手の向きが左上となる。

向き相関値６０３には、対象領域の動きの向き情報６０１および直前の動きの向き情報６０２の対応関係により特定される向き相関値が格納される。

例えば、図１９（ａ）に示す動作が行われている場合において、対象フレームにおける対象領域において、下向きの動きが検出された場合には、直前の対象フレームにおけるその対象領域の動きの向きは左下となる。このため、向き相関値として「１」が算出される。また、例えば、図１９（ｂ）に示す動作が行われている場合において、対象フレームにおける対象領域において、下向きの動きが検出された場合には、直前の対象フレームにおけるその対象領域の動きの向きは右下となる。このため、向き相関値として「２」が算出される。このように、図１９（ａ）または（ｂ）に示す動作が行われている場合には、前後の対象フレームにおける対象領域について検出された動きの向きに関して、特定の対応関係を有する。このため、対象領域の動きの向き情報６０１および直前の向き情報６０２には、その特定の対応関係が格納されている。そして、向き相関情報記憶部６００を用いて、図１９（ａ）または（ｂ）に示す動作が行われているか否かを判定することができる。

ここで、上述したように、動き検出部２２０により検出された動きの向きは、評価値保持部２６０に順次保持される。そして、一連動作判定部５１０は、動き検出部２２０により検出された動きの向き（現在の動きの向き）と、評価値保持部２６０に保持されている動きの向き（直前に検出された動きの向き）とに基づいて、向き相関値を算出する。具体的には、一連動作判定部５１０は、現在の動きの向きと、直前に検出された動きの向きとが、対象領域の動きの向き情報６０１および直前の向き情報６０２の対応関係を有するか否かを判断する。そして、一連動作判定部５１０は、現在の動きの向きと、直前の動きの向きとが、対象領域の動きの向き情報６０１および直前の向き情報６０２の対応関係を有する場合には、向き相関値として「１」または「２」を算出する。一方、一連動作判定部５１０は、現在の動きの向きと直前の動きの向きとが、対象領域の動きの向き情報６０１および直前の向き情報６０２の対応関係を有しない場合には、向き相関値として「０」を算出する。これらの向き相関値は、特定対象物情報選択部５２０に出力される。

続いて、特定対象物情報選択部５２０は、一連動作判定部５１０から出力された向き相関値と、動き検出部２２０により検出された動き情報とに基づいて、特定対象物情報記憶部３１０から特定対象物判定情報を選択する。具体的には、特定対象物情報選択部５２０は、一連動作判定部５１０から出力された向き相関値が「０」である場合には、本発明の第１の実施の形態と同様に、特定対象物情報を選択する。すなわち、動き検出部２２０により検出された動きの向きに応じて、向き相関値３１１「０」に関連付けられている特定対象物情報を選択する。一方、特定対象物情報選択部５２０は、一連動作判定部５１０から出力された向き相関値が「１」である場合には、動き検出部２２０により検出された動きの向きに応じて、向き相関値３１１の「１」に関連付けられている特定対象物情報を選択する。また、特定対象物情報選択部５２０は、一連動作判定部５１０から出力された向き相関値が「２」である場合には、動き検出部２２０により検出された動きの向きに応じて、向き相関値３１１の「２」に関連付けられている特定対象物情報を選択する。

なお、本発明の第２の実施の形態では、説明の容易のため、対応関係を有する向きを少なくして示すが、例えば、対象フレームの間隔等に応じて、対応関係を有する向きを設定することが好ましい。

［情報処理装置の動作例］
図２３は、本発明の第２の実施の形態における情報処理装置２００による制御信号生成処理の処理手順を示すフローチャートである。この例では、図１９に示すように、肩を中心として人間の手を回転させる動作が行われている場合において制御信号生成処理を行う場合を例にして説明する。また、この例では、一連動作判定部５１０により算出された向き相関値が「０」である場合には、特定対象物の判定処理を行わない例を示す。なお、この例は、図１３に示す制御信号生成処理の変形例である。このため、図１３に示す処理手順と同一の処理手順については、同一の符号を付して説明を省略する。

動き検出部２２０により検出された動きベクトルの大きさが閾値以上である場合には（ステップＳ９０３）、一連動作判定部５１０が向き相関値を算出する（ステップＳ９５１）。すなわち、一連動作判定部５１０が、動き検出部２２０により検出された動きの向き（現在の動きの向き）と、評価値保持部２６０に保持されている動きの向き（直前に検出された動きの向き）とに基づいて、向き相関値を算出する。

続いて、特定対象物情報選択部５２０が、一連動作判定部５１０により算出された向き相関値が閾値以上であるか否かを判断する（ステップＳ９５２）。例えば、閾値を１とすることができる。一連動作判定部５１０により算出された向き相関値が閾値以上である場合には（ステップＳ９５２）、特定対象物情報選択部５２０が特定対象物判定情報を選択する（ステップＳ９５３）。すなわち、特定対象物情報選択部５２０が、その向き相関値と、動き検出部２２０により検出された動き情報とに基づいて、特定対象物情報記憶部３１０から特定対象物判定情報を選択する（ステップＳ９５３）。

また、検出された動きベクトルの大きさが閾値未満である場合（ステップＳ９０３）、または、算出された向き相関値が閾値未満である場合には（ステップＳ９５２）、ステップＳ９５４に進む。なお、特定対象物の判定処理により算出される相関値が閾値未満である場合にも（ステップＳ９０６）、ステップＳ９５４に進む。続いて、評価値算出部２５０が、設定された対象領域の評価値に関する評価値保持部２６０の内容を初期化する（ステップＳ９５４）。

なお、この例では、一連動作判定部５１０により算出された向き相関値が「０」である場合には、特定対象物の判定処理を行わず、設定された対象領域の評価値に関する評価値保持部２６０の内容を初期化する例を示した。ただし、上述したように、一連動作判定部５１０により算出された向き相関値が「０」である場合には、本発明の第１の実施の形態と同様に、特定対象物情報を選択し、特定対象物の判定処理を行うようにしてもよい。また、向き相関値が「０」である場合における処理については、ユーザが設定可能とするようにしてもよい。

図１９に示すように、肩を中心として人間の手を回転させる動作が行われている場合には、手の姿勢（例えば、グーの姿勢）が同一であっても、被写体として画像に含まれる手の姿勢が変更することが想定される。そこで、本発明の第２の実施の形態では、肩を中心として人間の手を回転させる動作が行われている場合には、被写体として画像に含まれる手の姿勢が変更したとしても、手の姿勢が略同一であれば、同一の制御信号生成情報を生成するようにする。これにより、同一姿勢の手によりグルグル動作を行っている場合には、所望の期間だけ、ボリューム等の増加操作または減少操作を継続して行うことができる。

＜３．第３の実施の形態＞
本発明の第１および第２の実施の形態では、直線状に手を移動させる動作や肩を中心として人間の手を回転させる動作に基づいて制御信号を生成し、この制御信号に基づいて電子機器を操作する例を示した。しかしながら、上述した動作以外にも、所定の規則に応じた複数に基づいて制御信号を生成することも考えられる。例えば、所定の規則に応じた複数の動作として手話が広く知られている。この手話は、主に、手、指、腕を用いる手指動作または顔の部位等を用いる非手指動作が、所定の規則に応じた複数の動作として行われる。このように手話は、手指動作等により行われるため、上述した特定対象物の判定処理により、手話を解析することができると想定される。そこで、本発明の第３の実施の形態では、これらの手動動作および非手動動作に基づいて手話を解析して、この解析結果を手話の相手側に通知する例を示す。

［情報処理装置の構成例］
図２４は、本発明の第３の実施の形態における情報処理装置７００の機能構成例を示すブロック図である。ここで、情報処理装置７００は、本発明の第１の実施の形態における情報処理装置２００の変形例であり、手話解析情報記憶部７３０を設け、他の一部を変形したものである。このため、以下では、情報処理装置２００と異なる部分を中心に説明し、情報処理装置２００と共通する部分についての説明を一部省略する。情報処理装置７００は、特定対象物情報記憶部３２０と、評価値算出部７１０と、手話解析結果保持部７２０と、手話解析情報記憶部７３０と、制御信号生成部７４０とを備える。

特定対象物情報記憶部３２０は、特定対象物の判定処理に用いられる複数の特定対象物情報を記憶するものであり、記憶されている特定対象物情報を特定対象物情報選択部２３０に供給する。なお、特定対象物情報記憶部３２０は、図３に示す特定対象物情報記憶部３００の変形例であり、制御信号生成情報３０４が記憶されていない点が異なる。この点以外は、特定対象物情報記憶部３００と略同様である。なお、特定対象物情報記憶部３２０は、特許請求の範囲に記載の記憶部の一例である。

評価値算出部７１０は、特定対象物判定部２４０から出力された判定結果に基づいて、制御信号を生成するための評価値を算出するものである。具体的には、評価値算出部７１０は、特定対象物判定部２４０から出力された判定結果と、手話解析結果保持部７２０に保持されている手話解析結果情報とに基づいて、所定の規則に応じた複数の動作に関する新たな評価値を算出する。そして、評価値算出部７１０は、新たに算出された評価値、この評価値の算出対象となった対象領域の位置および大きさ等を、所定の規則に応じた複数の動作毎に手話解析結果保持部７２０に保持させる。ここで、所定の規則に応じた複数の動作は、例えば、図２７（ａ）に示す「山」を表す手話に対応する一連の２つの動作である。

手話解析結果保持部７２０は、所定の規則に応じた複数の動作に関する手話解析結果情報を保持するものであり、手話解析結果情報を評価値算出部７１０に供給する。なお、手話解析結果保持部７２０における保持内容については、図２５を参照して詳細に説明する。

手話解析情報記憶部７３０は、手話解析結果保持部７２０に保持されている手話解析結果情報に関する制御信号の生成処理に用いられる手話解析情報を記憶するものであり、記憶されている手話解析情報を制御信号生成部７４０に供給する。なお、手話解析情報記憶部７３０における記憶内容については、図２６を参照して詳細に説明する。

制御信号生成部７４０は、手話解析結果保持部７２０に保持されている手話解析結果情報と、手話解析情報記憶部７３０に記憶されている手話解析情報とに基づいて、その手話解析結果情報に対応する文字を表示させるための制御信号を生成するものである。なお、制御信号生成部７４０は、その手話解析結果情報に対応する文字を通知（例えば、音声出力）するための制御信号を生成するようにしてもよい。この制御信号の生成については、図２７を参照して詳細に説明する。

［手話解析結果保持部の保持内容例］
図２５は、本発明の第３の実施の形態における手話解析結果保持部７２０の保持内容を模式的に示す図である。手話解析結果保持部７２０は、本発明の第１の実施の形態における評価値保持部２６０の変形例であり、所定の規則に応じた複数の動作に関する手話解析結果情報を保持する点が異なる。この点以外は、手話解析結果保持部７２０は、評価値保持部２６０と略同様であるため、以下での説明では、その一部を省略して示す。

手話解析結果保持部７２０には、対象領域情報７２１および手話解析結果情報７２４が関連付けて保持される。なお、対象領域情報７２１における位置情報７２２およびサイズ情報７２３は、図５に示す同一名称の各情報に対応するものである。

手話解析結果情報７２４には、所定の規則に応じた複数の動作に関する手話解析結果情報が格納される。具体的には、各動作について、対象領域の動きの向き情報７２５と、特定対象物識別情報７２６と、評価値７２７とが保持される。なお、対象領域の動きの向き情報７２５、特定対象物識別情報７２６および評価値７２７は、図５に示す同一名称の各情報に対応するものである。すなわち、本発明の第１の実施の形態では、直線状に移動する特定対象物に基づいて制御信号を生成する例を示したが、本発明の第３の実施の形態では、所定の規則に応じた複数の動作を行う特定対象物に基づいて制御信号を生成する例を示す。例えば、図２７（ａ）に示すように、所定の規則に応じた複数の動作を行う特定対象物に基づいて制御信号を生成する。このため、所定の規則に応じた複数の動作について、手話解析結果情報７２４における対象領域の動きの向き情報７２５、特定対象物識別情報７２６および評価値７２７に各情報を時系列で順次保持しておく。例えば、所定の規則に応じた複数の動作に関する各情報を、Ａ１、Ａ２…のように、対象領域の動きの向き情報７２５、特定対象物識別情報７２６および評価値７２７に時系列で順次保持する。そして、制御信号生成部７４０が、手話解析結果保持部７２０に保持されている手話解析結果と、手話解析情報記憶部７３０に記憶されている手話解析情報とに基づいて、その手話解析結果情報に対応する画像を表示させるための制御信号を生成する。その手話解析結果情報に対応する画像は、例えば、その手話解析結果情報に対応する手話を表す文字である。

また、例えば、１人が左右の手を用いて手話を行う場合や、複数人がそれぞれの手を用いて手話を行う場合が想定される。このため、本発明の第３の実施の形態では、対象画像における複数の対象領域において特定対象物の動きが検出された場合には、各対象領域に関する評価値等を手話解析結果保持部７２０に保持させる。

［手話解析情報記憶部の記憶内容例］
図２６は、本発明の第３の実施の形態における手話解析情報記憶部７３０の記憶内容を模式的に示す図である。手話解析情報記憶部７３０には、手話解析情報７３１および言語情報７３５が関連付けて記憶されている。

手話解析情報７３１には、手話解析結果保持部７２０に保持されている手話解析結果情報に対応する手話解析情報が格納される。すなわち、手話解析情報７３１には、対象領域の動きの向き情報７３２と、特定対象物識別情報７３３と、評価値７３４とが保持される。なお、対象領域の動きの向き情報７３２、特定対象物識別情報７３３および評価値７３４は、図２５に示す同一名称の各情報に対応するものである。すなわち、所定の規則に応じた複数の動作に関する各情報が、Ｂ１、Ｂ２…のように、対象領域の動きの向き情報７３２、特定対象物識別情報７３３および評価値７３４に時系列に記憶される。

言語情報７３５には、制御対象となる電子機器の制御信号を生成するための情報（制御信号生成情報）が格納される。この例では、手話解析情報に対応する画像を表示させるための制御信号生成情報が格納される。

例えば、制御信号生成部７４０が制御信号を生成する場合には、手話解析結果保持部７２０に保持されている手話解析結果情報と、手話解析情報７３１に格納されている手話解析情報とを比較し、この比較の結果に基づいて制御信号を生成する。具体的には、制御信号生成部７４０が、手話解析結果保持部７２０に保持されている手話解析結果情報と、手話解析情報７３１に格納されている手話解析情報との類似度を算出する。そして、類似度が閾値以上であると判断された場合には、制御信号生成部７４０が、その手話解析情報に関連付けて言語情報７３５に格納されている制御信号生成情報に基づいて、その手話解析情報に対応する画像を表示させるための制御信号を生成する。例えば、言語情報７３５の「山」に対応する手話解析情報と同一または略同一の手話解析結果情報が、手話解析結果保持部７２０に保持されている場合には、制御信号生成部７４０が、「山」に対応する画像を表示させるための制御信号を生成する。ここで、類似度が閾値以上である場合は、例えば、対象領域の動きの向き情報、特定対象物識別情報および評価値のうち、対象領域の動きの向き情報および特定対象物識別情報が一致し、評価値の差分値が所定範囲内となる場合とすることができる。

また、例えば、１人が左右の手を用いて手話を行う場合や、複数人がそれぞれの手を用いて手話を行う場合が想定される。このため、本発明の第３の実施の形態では、対象画像における複数の対象領域において特定対象物の動きが検出された場合には、各対象領域に関する評価値等を手話解析結果保持部７２０に保持させる。

［手話を解析してその言語を表示する例］
図２７は、本発明の第３の実施の形態における情報処理装置７００による手話解析の対象となる人間の手の動きと、この手の動きに対応する文字との関係を模式的に示す図である。図２７（ａ）には、「山」に対応する手話（手動動作）が人物７５０により行われた場合におけるその手の遷移を模式的に示す。図２７（ａ）に示すように、手話により「山」を伝える場合には、右手７５１を右上方向（矢印７５２の方向）に移動させた後、右手７５１を右下方向（矢印７５３の方向）に移動させる。

図２７（ｂ）には、図２７（ａ）に示す人物７５０により、「山」に対応する手話（手動動作）が行われた場合に、その手話の解析結果を文字として表示させる情報処理システム７６０を示す。図２７（ｂ）に示す例では、人物７５０により行われた手話（手動動作）が撮像装置７６１により撮像され、その手話に対する解析結果として「山」の文字が表示装置７６２に表示される例を示す。すなわち、人物７５０により行われた手話（手動動作）に基づいて、「山」の文字を表示装置７６２に表示するための制御信号が生成され、この制御信号に基づいて表示装置７６２が「山」の文字を表示する。

このように、人物７５０により行われた手話に対応する文字が、表示装置７６２に順次表示される。例えば、手話を理解することができない人物７５４と、人物７５０とが手話により会話をする場合を想定する。この場合でも、手話に対応する文字を表示装置７６２に表示させることにより、人物７５４が表示装置７６２に表示される文字を読むことにより、人物７５０の手話を容易に理解することができる。

また、例えば、手話を行った人物が、自分自身の動作およびその解析結果を同時に見ることができるように、手話の動作（撮像画像）と、この手話の解析結果とを同時に並べて表示させるようにしてもよい。このように表示することにより、例えば、手話を行った人物が、自分自身の動作およびその解析結果を同時に見ることができるため、手話の練習等に用いることができる。

また、本発明の第３の実施の形態では、所定の規則に応じた複数の動作として手話を例にして説明した。しかしながら、例えば、手話以外の所定の規則に応じた複数の動作をユーザ設定等により手話解析情報記憶部７３０に記憶しておき、この記憶内容に基づいて、所定の規則に応じた複数の動作に関する制御信号を生成するようにしてもよい。また、例えば、所望の手話と同一の動きに関連付けて制御信号生成情報を記憶しておき、その手話を行うことにより、所望の操作を行うことができる。これにより、時間的に変化する手の動きや形状に基づいて、複雑な操作に関する制御信号を容易に生成することができる。例えば、手話をよく知っている人が、その手話を用いた制御信号生成情報を記憶しておくことにより、複雑な操作を容易に行うことができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００、７６０、８００、８０２、８０５、８０８ 情報処理システム
１１０、７６１ 撮像装置
１２０ 電子機器
１３１、１３２ 信号線
２００、５００、７００ 情報処理装置
２１０ 画像入力部
２２０ 動き検出部
２３０、５２０ 特定対象物情報選択部
２４０ 特定対象物判定部
２５０、７１０ 評価値算出部
２６０ 評価値保持部
２７０、７４０ 制御信号生成部
２８０ 制御信号出力部
３００、３１０、３２０ 特定対象物情報記憶部
５１０ 一連動作判定部
６００ 向き相関情報記憶部
７２０ 手話解析結果保持部
７３０ 手話解析情報記憶部
７６２ 表示装置
８０１ テレビジョン
８０３ テレビゲーム装置
８０４ 表示装置
８０６ 照明装置
８０７ 天井
８０９ クレーンゲーム装置
８１０ クレーン
８１１ 景品
８１２ デジタルスチルカメラ
８１３ロボット装置

Claims (15)

1. 対象動画に含まれる物体の動きを検出する動き検出部と、
   前記動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定する特定対象物判定部と、
   前記動きが検出された物体について前記特定対象物であることが判定されてから前記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成部と
   を具備する情報処理装置。
2. 前記特定対象物判定部は、前記動きが検出された物体が複数の前記特定対象物のうちの何れかの特定対象物であるかを判定し、
   前記制御信号生成部は、前記特定対象物判定部により判定された特定対象物の種類と前記時間軸における長さとに基づいて前記制御信号を生成する
   請求項１記載の情報処理装置。
3. 前記動きが検出された物体について前記特定対象物であることが判定されてから前記特定対象物であることが判定されなくなるまでの間の時間軸における長さに応じた所定の演算処理により前記制御信号を生成するための評価値を算出する評価値算出部をさらに具備し、
   前記制御信号生成部は、前記算出された評価値に基づいて前記制御信号を生成する
   請求項１記載の情報処理装置。
4. 前記評価値算出部は、前記動きが検出された物体が所定の規則に応じた複数の動作を行っている場合には前記複数の動作毎に前記評価値を算出し、
   前記制御信号生成部は、前記複数の動作毎に算出された評価値に基づいて前記制御信号を生成する
   請求項３記載の情報処理装置。
5. 前記所定の規則に応じた複数の動作は、手話であり、
   前記制御信号生成部は、前記手話について算出された評価値に基づいて前記手話を表す画像を表示させるための前記制御信号を生成する
   請求項４記載の情報処理装置。
6. 前記特定対象物判定部は、前記動きが検出された物体について前記特定対象物であることが判定された後に前記動き検出部による動きの検出がされなくなった場合には当該物体が前記特定対象物であることが判定されなくなるまで当該物体について前記判定を継続して行う請求項１記載の情報処理装置。
7. 前記動きが検出された物体が前記特定対象物であるかを判定するための判定情報を複数記憶する記憶部と、
   前記検出された物体の動きの向きに基づいて前記複数の判定情報の中から１または複数の判定情報を選択する選択部とをさらに具備し、
   前記特定対象物判定部は、前記選択された判定情報を用いて前記動きが検出された物体が前記特定対象物であるかを判定する
   請求項１記載の情報処理装置。
8. 前記動きが検出された物体が所定の規則に応じた一連の動作を行っているかを判定する一連動作判定部をさらに具備し、
   前記制御信号生成部は、前記所定の規則に応じた一連の動作を行っている物体について前記所定の規則に応じた前記特定対象物であることが判定されてから前記所定の規則に応じた前記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて前記制御信号を生成する
   請求項１記載の情報処理装置。
9. 前記動きが検出された物体が前記所定の規則に応じた前記特定対象物であるかを判定するための判定情報を前記特定対象物毎に複数記憶する記憶部と、
   前記検出された物体の動きの向きおよび前記一連の動作に基づいて前記複数の判定情報の中から１または複数の判定情報を選択する選択部とをさらに具備し、
   前記特定対象物判定部は、前記選択された判定情報を用いて前記動きが検出された物体が前記所定の規則に応じた前記特定対象物であるかを判定する
   請求項８記載の情報処理装置。
10. 前記制御信号生成部は、前記制御信号として、向き、大きさ、バイナリ値および位置の少なくとも１つに関する制御信号を生成する請求項１記載の情報処理装置。
11. 被写体を撮像して前記対象動画を生成する撮像部をさらに具備する請求項１記載の情報処理装置。
12. 前記電子機器は、前記情報処理装置であり、
    前記制御信号生成部は、前記情報処理装置が特定の処理を行うための前記制御信号を生成する
    請求項１記載の情報処理装置。
13. 動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定するための判定情報を前記特定対象物毎に複数記憶する記憶部と、
    対象動画に含まれる物体の動きを検出する動き検出部と、
    前記検出された物体の動きの向きに基づいて前記複数の判定情報の中から１または複数の判定情報を選択する選択部と、
    前記選択された判定情報を用いて前記動きが検出された物体が前記特定対象物であるかを判定する特定対象物判定部と、
    前記特定対象物判定部による判定結果に基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成部と
    を具備する情報処理装置。
14. 対象動画に含まれる物体の動きを検出する動き検出手順と、
    前記動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定する特定対象物判定手順と、
    前記動きが検出された物体について前記特定対象物であることが判定されてから前記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成手順と
    を具備する情報処理方法。
15. 対象動画に含まれる物体の動きを検出する動き検出手順と、
    前記動きが検出された物体が所定物体の形状および向きにより特定される特定対象物であるかを判定する特定対象物判定手順と、
    前記動きが検出された物体について前記特定対象物であることが判定されてから前記特定対象物であることが判定されなくなるまでの間の時間軸における長さに基づいて所定の電子機器を制御するための制御信号を生成する制御信号生成手順と
    をコンピュータに実行させるプログラム。

Images