JP2012058884A - 情報処理装置、および情報処理方法 - Google Patents

Abstract

【課題】ユーザの操作性の向上を図ることが可能な、情報処理装置、および情報処理方法を提供する。
【解決手段】撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出する検出部と、検出部において顔領域が検出された場合に、顔領域に基づいて、ユーザの動作を検出するための撮像画像における動作領域を、顔領域の近傍に設定する動作領域設定部と、撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、動作領域設定部が設定した動作領域においてユーザによる所定の動作が行われたことを判定する動作判定部と、動作判定部において所定の動作が行われたと判定された場合に、動作判定部において判定された所定の動作に対応する処理を行う処理部とを備える情報処理装置が提供される。
【選択図】図８

Description

本発明は、情報処理装置、および情報処理方法に関する。

近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical User Interface）が採用されており、ユーザは、ＣＵＩ（Character User Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。

しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ＧＵＩは必ずしも操作性のよいユーザインタフェースではない。そのため、ユーザがより直感的に装置に対して指示を与えることが可能なユーザインタフェースが求められている。

このような中、操作性を向上させるためのユーザインタフェースに係る技術が開発されている。ユーザの体の一部または当該ユーザにより操作される物体の形状や動作を検出して、検出結果に応じた処理を行う技術としては、例えば、特許文献１が挙げられる。

特開２００５−３１７９９号公報

操作性を向上させるためのユーザインタフェースに係る従来の技術（以下、単に「従来の技術」という。）が適用された情報処理装置（以下、「従来の情報処理装置」という。）は、撮像された画像（動画像。以下、「撮像画像」という。）を画像処理することによって、空間上の腕や手のひら、指などを用いたユーザのジェスチャ動作を検出する。そして、従来の情報処理装置は、ユーザのジェスチャ動作が検出された場合には、検出されたジェスチャ動作に対応する処理を行う。よって、従来の情報処理装置のユーザは、ＧＵＩを用いる場合よりもより直感的に当該従来の情報処理装置に指示を与えることが可能となるので、従来の技術を用いることによって、ユーザの操作性を向上させることができる可能性がある。

しかしながら、従来の技術は、空間上の腕や手のひら、指などのユーザの体の少なくとも一部、または当該ユーザにより操作される物体の形状や動作を検出してユーザのジェスチャ動作を検出するので、撮像画像全体に対して画像処理を行わなければならない。そのため、例えば、検出するジェスチャ動作の種類が多ければ多い程、また、当該ジェスチャ動作が複雑であればある程、従来の情報処理装置には、画像処理を行うためのより高い処理能力が要求される。ここで、近年、ＰＣ（Personal Computer）などの情報処理装置の高機能化に伴い処理能力が向上しているとはいえ、ユーザインタフェースに多くの計算資源を割いてしまうと、他の機能を実現するための計算資源が不足する恐れがある。また、上記他の機能を実現するための計算資源の不足が生じた場合には、計算資源の不足が解消されるまで当該機能に係る処理が行われないことから、従来の情報処理装置では、例えば、ユーザを過度に待たせてしまう、または当該機能が実現されないなどの、望ましくない事態が生じうる。

よって、従来の技術を用いた場合には、ユーザの利便性を低下させてしまう恐れがあることから、ユーザの操作性を向上させることができるとは限らない。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの操作性の向上を図ることが可能な、新規かつ改良された情報処理装置、および情報処理方法を提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出する検出部と、上記検出部において上記顔領域が検出された場合に、上記顔領域に基づいて、上記ユーザの動作を検出するための上記撮像画像における動作領域を、上記顔領域の近傍に設定する動作領域設定部と、上記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、上記動作領域設定部が設定した上記動作領域においてユーザによる上記所定の動作が行われたことを判定する動作判定部と、上記動作判定部において上記所定の動作が行われたと判定された場合に、上記動作判定部において判定された上記所定の動作に対応する処理を行う処理部とを備える、情報処理装置が提供される。

かかる構成により、ユーザの操作性の向上を図ることができる。

また、上記基準検出情報には、上記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、上記動作判定部は、上記撮像画像に対して設定された上記動作領域における周期成分を検出し、上記動作領域における周期成分の検出結果と上記周期成分の情報とに基づいて、上記所定の動作が行われたことを判定してもよい。

また、上記動作判定部は、上記基準検出情報、または、特定のユーザが行う所定の動作の検出の基準となる個別検出情報を選択的に用いて、上記動作領域においてユーザによる上記所定の動作が行われたことを判定してもよい。

また、上記個別検出情報には、上記所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報が対応付けられており、上記動作判定部は、上記撮像画像に対して設定された上記動作領域における周期成分を検出し、上記撮像画像の上記顔領域から上記顔情報を抽出し、抽出した上記顔情報に対応する上記個別検出情報がある場合には、上記動作領域における周期成分の検出結果と、上記個別検出情報の上記周期成分の情報とに基づいて、上記所定の動作が行われたことを判定してもよい。

また、上記個別検出情報を管理する学習部をさらに備え、上記学習部は、上記動作判定部において上記所定の動作が行われたと判定された場合には、上記動作判定部において検出された周期成分の情報を、判定された上記所定の動作および抽出した上記顔情報に対応する個別検出情報における上記周期成分の情報としてもよい。

また、上記検出部は、上記撮像画像に対して設定された上記動作領域において動体をさらに検出し、上記動作判定部は、上記検出部において動体が検出された場合に、上記所定の動作が行われたことを選択的に判定してもよい。

また、検出部は、矩形の上記顔領域を検出し、上記動作領域設定部は、上記顔領域の水平方向の長さと上記顔領域の垂直方向の長さとに基づく上記動作領域を設定してもよい。

また、上記動作領域設定部は、上記顔領域から上記ユーザの顔の特徴を示す顔情報を抽出し、設定した上記動作領域を、上記顔情報に基づいて再設定してもよい。

また、上記動作領域設定部は、上記顔領域の左近傍または上記顔領域の右近傍のいずれか一方、または、上記顔領域の左近傍および上記顔領域の右近傍の双方に、上記動作領域を設定してもよい。

また、上記動作領域設定部は、上記顔領域の下近傍または上近傍のいずれか一方、または、上記顔領域の下近傍および上記顔領域の上近傍の双方に、１または２以上の上記動作領域をさらに設定し、上記動作判定部は、複数の上記動作領域ごとに上記所定の動作が行われたことを判定し、上記処理部は、上記所定の動作が行われたと判定された動作領域、および判定された上記所定の動作に対応する処理を行ってもよい。

また、上記動作判定部は、上記動作領域外における周期成分は検出しなくてもよい。

また、外部装置と通信を行う通信部をさらに備え、上記処理部は、上記動作判定部において判定された上記所定の動作に対応する処理を上記外部装置に行わせるための処理実行命令を、上記通信部を介して上記外部装置へ送信してもよい。

また、画像を表示画面に表示する表示部と、上記表示画面の表示方向を撮像し、上記撮像画像を生成する撮像部とをさらに備え、上記検出部は、上記撮像部が生成した上記撮像画像から上記顔領域を検出してもよい。

上記目的を達成するために、本発明の第２の観点によれば、撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出するステップと、上記検出するステップにおいて上記顔領域が検出された場合に、上記顔領域に基づいて、上記ユーザの動作を検出するための上記撮像画像における動作領域を、上記顔領域の近傍に設定するステップと、上記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、上記設定するステップにおいて設定された上記動作領域においてユーザによる上記所定の動作が行われたことを判定するステップと、上記判定するステップにおいて上記所定の動作が行われたと判定された場合に、上記判定するステップにおいて判定された上記所定の動作に対応する処理を行うステップとを有する、情報処理方法が提供される。

かかる方法を用いることにより、ユーザの操作性の向上を図ることができる。

また、上記基準検出情報には、上記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、上記判定するステップでは、上記撮像画像に対して設定された上記動作領域における周期成分が検出され、上記動作領域における周期成分の検出結果と上記周期成分の情報とに基づいて、上記所定の動作が行われたことが判定されてもよい。

本発明によれば、ユーザの操作性の向上を図ることができる。

本発明の実施形態に係る情報処理装置が設定する動作領域の一例を示す説明図である。 本発明の実施形態に係る情報処理装置が設定する動作領域の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における動作領域設定処理の一例を説明するための説明図である。 本発明の実施形態に係る情報処理装置における操作性向上アプローチに係る処理の一例を示す流れ図である。 本発明の実施形態に係る情報処理装置における動作判定処理の一例を示す流れ図である。 本発明の実施形態に係る情報処理装置が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。 本発明の実施形態に係る情報処理装置が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。 本発明の第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本発明の第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本発明の第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る情報処理装置
３．本発明の実施形態に係るプログラム

（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る情報処理装置（以下、「情報処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る操作性向上アプローチについて説明する。以下では、情報処理装置１００の外部装置において撮像された撮像画像が情報処理装置１００に入力され、情報処理装置１００が当該撮像画像を処理する構成を主に例に挙げて説明する。なお、本発明の実施形態に係る情報処理装置１００の構成は、上記に限られず、例えば、情報処理装置１００が撮像機能を有し、当該撮像機能を用いて撮像された撮像画像を処理することもできる。また、本発明の実施形態に係る撮像画像とは、撮像により得られた動画像（または、時間軸方向に連続して撮像された静止画像の集合体）である。また、以下に示す本発明の実施形態に係る操作性向上アプローチに係る処理は、本発明の実施形態に係る情報処理方法に係る処理と捉えることができる。

［操作性向上アプローチの概要］
上述したように、ユーザのジェスチャ動作（以下、単に「動作」と示す場合がある。）を検出して検出された動作に対応する処理を行う場合には、ユーザは、ＧＵＩを用いる場合よりもより直感的に情報処理装置に指示を与えることが可能となる。よって、情報処理装置１００は、撮像画像を画像処理してユーザの動作を検出し、検出された動作に対応する処理を行うことによって、ユーザの操作性の向上を図る。

ここで、従来の情報処理装置のように撮像画像全体に対して画像処理を行う場合には、画像処理を行うためにより高い処理能力が必要とされる。そのため、従来の情報処理装置のようにユーザインタフェースに多くの計算資源を割いてしまうと、他の機能を実現するための計算資源が不足する恐れがある。また、上記他の機能を実現するための計算資源の不足が生じた場合には、例えば、ユーザを過度に待たせてしまう、または当該機能が実現されないなどの、望ましくない事態が生じうる。

そこで、情報処理装置１００では、撮像画像からユーザの顔を含む領域（以下、「顔領域」という。）を検出し、ユーザの動作を検出するための撮像画像における動作領域を、検出により特定された顔領域（以下、「特定された顔領域」と示す場合がある。）の近傍に設定する。そして、情報処理装置１００は、設定された動作領域においてユーザの所定の動作を検出して、検出された所定の動作に対応する処理を行う。ここで、本発明の実施形態に係るユーザの所定の動作とは、情報処理装置１００において動作が行われたか否かが判定される、判定対象のユーザ動作である。情報処理装置１００は、例えば、撮像画像と、後述する基準検出情報または個別検出情報とに基づいて、上記判定を行う。

上記のように動作領域を設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。ここで、情報処理装置１００は、従来の情報処理装置よりもユーザインタフェースに係る計算負荷を大幅に低減することができるので、従来の情報処理装置のように他の機能を実現するための計算資源が不足する恐れはない。また、情報処理装置１００は、例えばデジタルカメラや携帯電話など処理能力がそれ程高くはない装置に実装されている、比較的に軽い処理である顔認識処理によって撮像画像から顔領域を特定して、当該顔領域の近傍に動作領域を設定するので、動作領域の設定に際しても計算負荷が大きくなることはない。よって、情報処理装置１００は、従来の情報処理装置で起こりうる上記のような望ましくない事態の発生を防止することができるので、従来の情報処理装置のようにユーザの利便性を低下させることはない。

したがって、情報処理装置１００は、ユーザの操作性の向上を図ることができる。

また、情報処理装置１００は、顔領域の近傍に設定した動作領域において検出された所定の動作に対応する処理を行うので、例えば、顔領域に対応するユーザ以外の人物や物の動作による所定の動作の誤検出を、撮像画像全体を処理対象とする従来の情報処理装置よりもより低減することが可能となる。したがって、情報処理装置１００は、従来の情報処理装置よりも、ユーザの操作性の向上をさらに図ることができる。

さらに、情報処理装置１００は、顔領域の近傍に設定した動作領域において検出された所定の動作に対応する処理として、当該所定の動作の意味に関連付けられる処理を行う。例えばユーザが顔の近傍で手を左右に反復的に動かす動作（一般に「さよなら」や「バイバイ」を意味する動作。以下「バイバイ動作」と示す場合がある。）を所定の動作として検出した場合には、情報処理装置１００は、例えば、制御対象の装置（情報処理装置または外部装置）の電源を切る処理や、当該装置から出力される音声（音楽も含む）をミュートにする、当該装置における通信を切断する、など検出した動作の意味に関連付けられる処理を行う。また、例えばユーザが動作領域において手を下から上および上から下へ反復的に動かす動作を所定の動作として検出した場合には、情報処理装置１００は、例えば、制御対象の装置から出力される音声の音量を上げるなど検出した動作の意味に関連付けられる処理を行う。

上記のように、情報処理装置１００が、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことによって、ユーザが、自己の動作と情報処理装置１００が行う処理（または、情報処理装置１００が外部装置に行わせる処理）との間に違和感を覚える可能性をより低減させることができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

情報処理装置１００は、例えば上記のような処理を行うことによってユーザの操作性の向上を図る。より具体的には、情報処理装置１００は、例えば下記の（１）の処理〜（４）の処理を行うことによって、ユーザの操作性の向上を図る。

（１）顔領域検出処理
情報処理装置１００は、撮像画像の中からユーザ（被写体）の顔を検出し、顔領域を特定する。ここで、顔領域を特定は、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を検出することで行うことができる。なお、本発明の実施形態に係る情報処理装置１００における顔領域検出処理は、上記に限られない。例えば、情報処理装置１００は、処理対象の現フレームと一つ前のフレーム（frame）との差分をとって動体を検出し、当該動体から頭部を特定することにより顔領域を検出することもできる。

また、顔の輝度分布および構造パターンのデータなど、情報処理装置１００における顔領域の特定に係るデータは、例えば、情報処理装置１００が備える記憶部（後述する）に記憶される。なお、本発明の実施形態に係る情報処理装置１００は、例えば情報処理装置１００が備える通信部（後述する）を介してサーバなどの外部装置と通信を行い、当該外部装置から顔領域の特定に係るデータを取得することもできる。

また、情報処理装置１００は、例えば図１に示すように、検出した顔を含み当該顔よりも大きな領域を顔領域として特定するが、情報処理装置１００における顔領域の特定方法は、上記に限られない。例えば、情報処理装置１００は、検出した顔を含む領域のうちの最小の領域（例えば、図２に示すような検出した顔に接する領域）を、顔領域として特定してもよい。

情報処理装置１００は、例えば上記のように顔領域を特定する。ここで、情報処理装置１００が処理する撮像画像は動画像であるので、あるフレームにおいて特定した顔領域の撮像画像における位置が、次のフレームにおいて変化することも起こりうる。そこで、情報処理装置１００は、例えばフレームごとに顔領域検出処理を行う。なお、本発明の実施形態に係る顔領域検出処理を行う頻度は上記に限られず、例えば、情報処理装置１００は、所定のフレームごとや、所定の時間ごとに顔領域検出処理を行ってもよい。

（２）動作領域設定処理
上記（１）の処理（顔領域検出処理）において顔領域が検出されると、情報処理装置１００は、顔領域に基づいて、顔領域の近傍に動作領域を設定する。

図１、図２は、本発明の実施形態に係る情報処理装置１００が設定する動作領域の一例を示す説明図である。図１、図２に示すＦＡは、情報処理装置１００が検出したユーザの顔領域を示しており、図１に示すＭＡ１、ＭＡ２、および図２に示すＭＡ１〜ＭＡ４は、情報処理装置１００が設定した動作領域の一例を示している。以下では、顔領域を「顔領域ＦＡ」、各動作領域を総称して「動作領域ＭＡ」と示す場合がある。ここで、図１、図２に示す顔領域ＦＡ、動作領域ＭＡは、説明の便宜上表したものであり、例えば表示装置３００などの外部装置の表示画面または情報処理装置１００が備える表示部（後述する）の表示画面に撮像画像が表示される場合には、顔領域ＦＡおよび動作領域ＭＡが明示されなくてよい（以下、同様とする。）。なお、本発明の実施形態に係る情報処理装置１００が、顔領域ＦＡ、動作領域ＭＡが明示された撮像画像を表示画面に表示させることもできることは、言うまでもない。

ここで、図１では、情報処理装置１００が、円形の動作領域を設定した例を示しているが、本発明の実施形態に係る情報処理装置１００が設定する動作領域ＭＡは図１に示す例に限られない。例えば、情報処理装置１００は、図２に示すような矩形の動作領域や、楕円形の動作領域など、様々な形状の動作領域を設定することができる。また、図１では、情報処理装置１００が、顔領域ＦＡの左近傍と顔領域ＦＡの右近傍との双方に、動作領域ＭＡを設定した例を示しているが、本発明の実施形態に係る情報処理装置１００が設定する動作領域ＭＡは上記に限られない。例えば、情報処理装置１００は、顔領域ＦＡの左近傍または顔領域ＦＡの右近傍のいずれか一方に動作領域ＭＡを設定することもできる。また、情報処理装置１００は、例えば図２に示すように、顔領域ＦＡの下近傍に１または２以上の動作領域ＭＡをさらに設定してもよい。また、情報処理装置１００は、例えば、顔領域ＦＡの下近傍または顔領域ＦＡの上近傍のいずれか一方、または、顔領域ＦＡの下近傍および顔領域ＦＡの上近傍の双方に、１または２以上の動作領域ＭＡを設定することもできる。なお、情報処理装置１００が顔領域の近傍に設定する動作領域ＭＡが、上記に限られないことは、言うまでもない。

情報処理装置１００は、図１や図２に示すような動作領域ＭＡを設定することによって、例えば図１のＡに示すような、動作領域ＭＡ外において行われる動作を、所定の動作として検出しない。よって、情報処理装置１００は、撮像画像全体を処理対象とする従来の情報処理装置よりも、所定の動作を誤検出する可能性をより低減することができる。

また、例えば図２に示すように顔領域ＦＡの近傍に複数の動作領域ＭＡを設定することによって、情報処理装置１００は、例えば、複数の動作領域ＭＡそれぞれにおいて所定の動作を検出し、検出された所定の動作に対応する、動作領域ＭＡごとの処理を行うことができる。

ここで、例えば図２に示すように設定する動作領域ＭＡを増やした場合には、図１に示す場合よりも計算負荷は高くなるが、撮像画像全体に対して画像処理を行う従来の情報処理装置における処理と比較すると、計算負荷は大幅に低減される。よって、例えば図２に示すように設定する動作領域ＭＡを増やした場合であっても、従来の情報処理装置のように計算資源が不足する恐れはないので、ユーザの利便性を低下させることはない。

また、上記のように動作領域ＭＡごとに所定の動作に対応する処理を行うことによって、情報処理装置１００は、例えば、ユーザが同じ所定の動作を行った場合であっても検出された動作領域ＭＡごとに異なる処理を行うことが可能となる。つまり、情報処理装置１００は、一の所定の動作に対して複数の処理を割り当てることができる。なお、複数の動作領域ＭＡそれぞれにおいて一の所定の動作が検出された場合に情報処理装置１００が行う処理が、同一であってもよいことは、言うまでもない。

さらに、上記のように動作領域ＭＡごとに所定の動作に対応する処理を行うことによって、情報処理装置１００は、例えば、所定の動作が検出された位置（より厳密には、どの領域で検出されたか）をさらに加味した上で、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

〔動作領域設定処理の具体例〕
ここで、情報処理装置１００において動作領域設定処理の一例について、より具体的に説明する。図３は、本発明の実施形態に係る情報処理装置１００における動作領域設定処理の一例を説明するための説明図である。ここで、図３は、図１に示すように顔領域ＦＡの左近傍および右近傍に動作領域ＭＡを設定する場合の処理の一例を示している。

情報処理装置１００は、特定した顔領域ＦＡの幅（水平方向の長さ）ｗと高さ（垂直方向の長さ）ｈとに基づいて動作領域ＭＡを設定する。ここで、図３では、情報処理装置１００が、幅２ｗ、高さ２ｈの矩形の動作領域ＭＡ１、ＭＡ２を設定した例を示している。なお、情報処理装置１００は、例えば、２ｗ、２ｈそれぞれを短径または長径とする楕円（ｗ＝ｈのときは、円となる。）の動作領域ＭＡを設定することもできる。

また、情報処理装置１００は、例えば、図３に示すように特定した顔領域ＦＡに接するように動作領域ＭＡを設定するが、情報処理装置１００における動作領域ＭＡの設定方法は、上記に限られない。例えば、情報処理装置１００は、特定した顔領域ＦＡから所定の画素分離れた位置に動作領域ＭＡを設定することもできる。つまり、本発明の実施形態に係る「顔領域の近傍に動作領域を設定する」とは、例えば、顔領域ＦＡに接する動作領域ＭＡを設定することと、顔領域ＦＡに近接する位置に動作領域ＭＡを設定することとを含む。

情報処理装置１００は、例えば上記のように、特定した顔領域ＦＡの幅ｗと高さｈとに基づいて動作領域ＭＡを設定する。

なお、本発明の実施形態に係る情報処理装置１００における動作領域ＭＡの設定処理は、上記に限られない。例えば、情報処理装置１００は、撮像画像における顔領域ＦＡ内の画像に対して顔認識処理を行って、当該顔領域ＦＡに対応するユーザの年齢や性別などのユーザ属性を推定し、推定結果に基づいて、動作領域ＭＡの領域サイズや位置を調整することもできる。上記のように推定結果に基づいて動作領域ＭＡの領域サイズや位置を調整することによって、例えばユーザが年配の人の場合図２に示す動作領域ＭＡの位置をより下に設定するなど、ユーザの年代や性別に応じた動作領域ＭＡを設定することが可能となる。なお、情報処理装置１００は、例えば骨格や皺、たるみなどの属性情報を顔領域ＦＡから抽出して解析することによってユーザ属性を推定するが、本発明の実施形態に係るユーザ属性を推定する方法は、上記に限られない。例えば、情報処理装置１００は、顔領域ＦＡに対応するユーザの年齢や性別などのユーザ属性を推定することが可能な任意の技術を用いてユーザ属性を推定してもよい。

また、情報処理装置１００は、顔領域ＦＡ内の画像に対して顔認識処理を行ってユーザの顔の特徴を示す顔情報を抽出し、抽出された顔情報に基づいて当該顔領域ＦＡに対応するユーザを特定することによって、動作領域ＭＡを調整することができる。より具体的には、情報処理装置１００は、上記顔情報に基づいてユーザが特定された場合には、特定された当該ユーザ用の動作領域ＭＡを設定する。上記ユーザ用の動作領域ＭＡの設定に係る情報としては、例えば、顔情報と動作領域ＭＡの調整に係る情報とが対応付けて記録されたデータベースが挙げられる。また、上記ユーザ用の動作領域ＭＡの設定に係る情報は、後述する個別検出情報に含まれてもよい。ここで、情報処理装置１００は、例えば、顔領域ＦＡを画像処理することによりユーザの顔の特徴（例えば、骨格の情報や、目・鼻・口の位置関係を示す情報など）を抽出することによって、抽出したユーザの顔の特徴を示す顔情報を取得することができる。また、情報処理装置１００は、例えばユーザ操作に基づいて、動作領域ＭＡの領域サイズの調整量や、動作領域ＭＡの位置の調整量など、動作領域ＭＡの調整に係る情報を取得する。なお、動作領域ＭＡの調整に係る情報には、動作領域ＭＡの設定数を示す情報が含まれていてもよい。上記のようにユーザ用の動作領域ＭＡを設定することによって、ユーザ自身が調整可能な動作領域ＭＡを設定することが可能となるので、情報処理装置１００は、ユーザの自由度をより高め、利便性の向上を図ることができる。

情報処理装置１００は、例えば上記のような処理を行うことによって、顔領域ＦＡに基づいて当該顔領域ＦＡの近傍に動作領域ＭＡを設定する。ここで、上述したように、情報処理装置１００が処理する撮像画像は動画像であるので、あるフレームにおいて特定した顔領域の撮像画像における位置が、次のフレームにおいて変化することも起こりうる。情報処理装置１００は、上記（１）の処理により顔領域ＦＡが特定されるごとに、当該顔領域ＦＡに基づく動作領域ＭＡの設定を行うが、本発明の実施形態に係る情報処理装置１００における動作領域設定処理は、上記に限られない。例えば、情報処理装置１００は、現フレームにおける顔領域ＦＡの前フレームの顔領域ＦＡに対する移動量を検出し、当該移動量が所定の閾値以下（または当該閾値より小さい）場合には、前フレームにおいて設定された動作領域ＭＡを当該移動量に対応するように移動させて設定することもできる。なお、上記前フレームの顔領域ＦＡが、現フレームから１つ前のフレームに限られないことは、言うまでもない（例えば、所定のフレームごとに（１）の処理が行われる場合には、当該所定のフレーム前のフレームが、前フレームとなる。）。

（３）動作判定処理
上記（２）の処理（動作領域設定処理）において動作領域ＭＡが設定されると、情報処理装置１００は、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。

ここで、本発明の実施形態に係る基準検出情報とは、ユーザ（検出対象）の所定の動作の検出の基準となるデータである。ここで、情報処理装置１００は、例えば、情報処理装置１００の製造者によって製造時に情報処理装置１００に記録されることにより、予め基準検出情報を記憶するが、情報処理装置１００は、基準検出情報を予め記憶する構成に限られない。例えば、情報処理装置１００は、サーバなどの外部装置により生成され基準検出情報を当該外部装置から取得してもよい。基準検出情報としては、例えば、所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられた、データやデータベースが挙げられる。また、本発明の実施形態に係る周期成分の情報としては、例えば撮像画像における輝度変化の周波数の情報が挙げられるが、本発明の実施形態に係る周期成分の情報は、上記に限られない。なお、本発明の実施形態に係る基準検出情報は、上記に限られず、例えば、所定の動作と周期動作ではないユーザのジェスチャを判別するための情報（例えばユーザの手の形が所定の形状であることを判定するためのデータ）とが対応付けられた、データやデータベースであってもよい。以下では、基準検出情報が、所定の動作と周期成分の情報とが所定の動作ごとに対応付けられて記録されたデータベースである場合を例に挙げて説明する。なお、本発明の実施形態に係るデータベースとしては、例えばリレーショナルデータベース（relational database）が挙げられるが、本発明の実施形態に係るデータベースは、上記に限られない。

また、本発明の実施形態に係る個別検出情報とは、特定のユーザが行う所定の動作の検出の基準となるデータである。個別検出情報は、例えば学習部（後述する）により生成や、更新がされる。なお、本発明の実施形態に係る個別検出情報は、サーバなどの外部装置により生成され、情報処理装置１００は、当該外部装置から個別検出情報を取得してもよい。ここで、個別検出情報としては、例えば、所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報（ユーザを特定するための情報）が対応付けられた、データやデータベースが挙げられる。なお、本発明の実施形態に係る個別検出情報は、上記に限られず、例えば、所定の動作、周期動作ではないユーザのジェスチャを判別するための情報、および顔情報が対応付けられた、データやデータベースであってもよい。以下では、個別検出情報が、所定の動作、周期成分の情報、および顔情報が所定の動作ごとに対応付けられて記録されたデータベースである場合を例に挙げて説明する。

（３−１）動作判定処理の第１の例
本発明の実施形態に係る動作判定処理の第１の例として、基準検出情報に基づく処理について説明する。情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分を検出する。そして、情報処理装置１００は、動作領域ＭＡにおける検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを判定する。ここで、情報処理装置１００は、例えばフィッシャー法などを用いて動作領域ＭＡ内の特定点（特定の画素）における特性を解析することによって、所定の動作が行われたか否かを判定するが、本発明の実施形態に係る判定方法は、上記に限られない。また、情報処理装置１００は、例えば、所定の時間ごとの撮像画像や所定のフレーム数ごとの撮像画像を用いて、動作領域ＭＡにおける周期成分を検出するが、本発明の実施形態に係る動作領域ＭＡにおける周期成分の検出方法は、上記に限られない。

（３−２）動作判定処理の第２の例
次に、本発明の実施形態に係る動作判定処理の第２の例として、基準検出情報または個別検出情報を選択的に用いる処理について説明する。情報処理装置１００は、上記（１）の処理により特定された顔領域ＦＡから顔情報を抽出する。また、情報処理装置１００は、抽出された顔情報と個別検出情報とに基づいて、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かを判定する。ここで、本発明の実施形態に係る顔情報が、例えば骨格の情報、および目・鼻・口の位置関係を示す情報など複数の情報群である場合、情報処理装置１００は、例えば、個別検出情報の中に抽出された顔情報と一致する顔情報があるときに、抽出された顔情報と対応する顔情報があると判定する。なお、本発明の実施形態に係る情報処理装置１００における個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かの判定方法は、上記に限られない。例えば、情報処理装置１００は、個別検出情報の中に、上記複数の情報群のうちの一定数以上の情報が抽出された顔情報と一致する顔情報があるときに、抽出された顔情報と対応する顔情報があると判定してもよい。

情報処理装置１００は、抽出した顔情報に対応する個別検出情報があると判定した場合には、動作領域ＭＡにおける周期成分の検出結果と、個別検出情報に含まれる周期成分の情報とに基づいて、当該周期成分の情報に対応付けられた所定の動作が行われたか否かを判定する。

また、抽出した顔情報に対応する個別検出情報があると判定されなかった場合には、情報処理装置１００は、上記動作判定処理の第１の例と同様に、検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを判定する。

情報処理装置１００は、例えば上記のように、撮像画像と、基準検出情報または個別検出情報とに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。なお、本発明の実施形態に係る情報処理装置１００における動作判定処理は、上記に限られない。例えば周期動作ではないユーザのジェスチャを判別するための情報を用いて判定を行う場合には、情報処理装置１００は、動作領域ＭＡ内におけるユーザの手の形が、基準検出情報または個別検出情報における上記ジェスチャを判別するための情報に規定される所定の形状であるか否かに基づいて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定することもできる。

また、情報処理装置１００は、所定の動作が行われたと判定された場合、個別検出情報を更新することもできる（いわゆる学習）。より具体的には、所定の動作が行われたと判定された場合には、情報処理装置１００は、例えば、撮像画像に基づき検出された周期成分の情報を、判定された所定の動作および撮像画像から抽出した顔情報に対応する個別検出情報における周期成分の情報とする。また、所定の動作が行われたと判定された場合、情報処理装置１００は、例えば、検出したユーザの手の形を表す情報（例えば関節の位置の情報など）、個別検出情報における上記ジェスチャを判別するための情報とすることもできる。上記のように個別検出情報を更新することによって、情報処理装置１００は、個別検出情報により動作が判定される特定のユーザの所定の動作の判定精度をより向上させ、誤判定の可能性をより低減させることができる。

ここで、情報処理装置１００は、例えば、所定の動作が行われたと判定されるごとに上記別検出情報の更新に係る処理（学習に係る処理）を行うが、情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、ユーザ操作に基づいて、選択的に上記別検出情報の更新に係る処理（学習に係る処理）を行うこともできる。

また、周期成分の情報を用いて所定の動作が行われたかを判定する場合、情報処理装置１００は、例えば動作領域ＭＡにおける周期成分を検出するごとに所定の動作が行われたか否かを判定するが、本発明の実施形態に係る動作判定処理は、上記に限られない。例えば、情報処理装置１００は、所定の時間ごとの撮像画像や所定のフレーム数ごとの撮像画像に基づいて設定された動作領域ＭＡにおいて動体があるか否かを検出し、動体が検出された場合に、所定の動作が行われたことを選択的に判定してもよい。ここで、周期成分の情報を用いて所定の動作が行われたかを判定するときにおいて、動作領域ＭＡにおいて動体が検出されない場合には、動作領域ＭＡにおいてユーザは動作を行っていない可能性が高い。したがって、上記のように動体が検出された場合に選択的に所定の動作が行われたか否かを判定することによって、情報処理装置１００は、情報処理装置１００における計算負荷を低減しつつ、ユーザの所定の動作の未検出および誤検出を防止することができる。

（４）実行処理
上記（３）の処理（動作判定処理）において所定の動作が行われたことが判定されると、情報処理装置１００は、判定された所定の動作に対応する処理を行う。

より具体的には、情報処理装置１００は、例えば、所定の動作と実行する処理とが対応付けて記録された処理情報を記憶しており、上記（３）の処理結果と処理情報とに基づいて、上記（３）の処理において判定された所定の動作に対応付けられた処理を行う。なお、本発明の実施形態に係る処理情報は、上記に限られない。例えば、情報処理装置１００は、動作領域ＭＡを示す情報（例えば領域番号など）、所定の動作、実行する処理とが対応付けて記録された処理情報を記憶していてもよい。上記の場合には、情報処理装置１００は、所定の動作が行われたと判定された動作領域ＭＡごとに、所定の動作に対応する処理を行うことが可能となる。また、本発明の実施形態に係る処理情報は、例えば、所定の動作ごとのデータであってもよいし、複数の所定の動作に係る情報が記録されたデータベースであってもよい。

また、情報処理装置１００が行う所定の動作に対応する処理としては、例えば自装置が有する機能に係る処理が挙げられるが、本発明の実施形態に係る情報処理装置１００が行う所定の動作に対応する処理は、上記に限られない。例えば、情報処理装置１００は、所定の動作に対応する処理として、所定の動作に対応する処理を外部装置に行わせるための処理実行命令を、ネットワークを介して（または直接的に）外部装置へ送信してもよい。上記によって、情報処理装置１００は、外部装置にユーザの動作に対応する所定の処理を行わせることができる。

情報処理装置１００は、例えば上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を行うことによって、ユーザによる所定の動作が行われたことを判定し、判定された当該所定の動作に対応する処理を行う。

ここで、情報処理装置１００は、撮像画像に基づいて特定された顔領域ＦＡの近傍に動作領域ＭＡを設定し、設定された動作領域ＭＡにおいてユーザの所定の動作を検出（判定）して、検出された所定の動作に対応する処理を行う。上記のように動作領域ＭＡを設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。よって、情報処理装置１００は、従来の情報処理装置よりもユーザの所定の動作の検出に係る計算負荷をより低減させることができるので、情報処理装置１００では、従来の情報処理装置で起こりうる上記のような望ましくない事態の発生が防止される。したがって、情報処理装置１００は、従来の技術を用いる場合に生じうるユーザの利便性の低下を防止することができ、また、ユーザの操作性の向上を図ることができる。

［操作性向上アプローチに係る処理の具体例］
次に、上述した本発明の実施形態に係る操作性向上アプローチを実現するための処理の一例について説明する。図４は、本発明の実施形態に係る情報処理装置１００における操作性向上アプローチに係る処理の一例を示す流れ図である。以下では、情報処理装置１００が、撮像画像に対して設定された動作領域ＭＡにおける周期成分に基づいて、ユーザの所定の動作を判定する場合の処理を例に挙げて説明する。

情報処理装置１００は、ユーザの動作検出を行うか否かを判定する（Ｓ１００）。ここで、ステップＳ１００の処理は、例えば、情報処理装置１００が動作検出を行う第１の処理モードと動作検出を行わない第２の処理モードとをユーザ操作などに基づいて選択的に切り替える機能を有している場合において、第１の処理モードであるか否かの判定に相当する。つまり、情報処理装置１００が、上記第１の処理モードと第２の処理モードとを切り替える機能を有していない場合などには、情報処理装置１００は、ステップＳ１００の処理を行わなくてもよい。

ステップＳ１００においてユーザの動作検出を行うと判定されない場合には、情報処理装置１００は、操作性向上アプローチに係る処理を終了する。なお、図４に示す操作性向上アプローチに係る処理は、一度終了すれば再度行われないという類の処理ではなく、情報処理装置１００は、一旦処理が終了しても定期的／非定期的に図４に示す操作性向上アプローチに係る処理を繰り返すことが可能である。

また、ステップＳ１００においてユーザの動作検出を行うと判定された場合には、情報処理装置１００は、入力された撮像画像に基づいて顔検出を行い、顔領域ＦＡを特定する（Ｓ１０２）。ここで、ステップＳ１０２の処理は、上記（１）の処理（顔領域検出処理）に該当する。また、情報処理装置１００は、例えば、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を検出することによって、顔領域ＦＡを特定するが、顔領域ＦＡの特定方法は、上記に限られない。

また、撮像画像に複数のユーザが含まれているときなど、撮像画像から複数の顔領域ＦＡが特定された場合には、情報処理装置１００は、特定された複数の顔領域ＦＡごとに、後述するステップＳ１０４〜Ｓ１１２の処理を行う。

ステップＳ１０２の処理を行うと、情報処理装置１００は、顔領域ＦＡが特定されたか否かを判定する（Ｓ１０４）。ステップＳ１０４において顔領域ＦＡが特定されたと判定されない場合には、情報処理装置１００は、ステップＳ１００からの処理を繰り返す。

また、ステップＳ１０４において顔領域ＦＡが特定されたと判定された場合には、情報処理装置１００は、顔領域ＦＡに基づいて動作領域ＭＡを設定する（Ｓ１０６）。ここで、ステップＳ１０６の処理は、上記（２）の処理（動作領域設定処理）に該当する。また、情報処理装置１００は、例えば図１や図２に示すように、顔領域ＦＡの近傍に動作領域ＭＡを設定するが、情報処理装置１００が設定する動作領域ＭＡは、図１、図２に示す例に限られない。

ステップＳ１０６において動作領域ＭＡが設定される（または再設定される）と、情報処理装置１００は、設定した動作領域ＭＡ内における所定の動作を検出する（Ｓ１０８）。そして、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ１１０）。ここで、ステップＳ１０８、Ｓ１１０の処理は、上記（３）の処理（動作判定処理）に該当する。

より具体的には、情報処理装置１００は、ステップＳ１０８において、例えば、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、基準検出情報の周期成分の情報とに基づいて、所定の動作が行われたか否かを検出する（上記動作判定処理の第１の例に該当）。ここで、基準検出情報は、例えば情報処理装置１００が備える記憶部（後述する）に記憶され、情報処理装置１００は、当該記憶部から基準検出情報を読み出して上記検出を行うが、本発明の実施形態に係る情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、基準検出情報を記憶するサーバなどの外部装置と通信を行って当該外部装置から基準検出情報を取得し、取得された基準検出情報を用いて上記検出を行うこともできる。

なお、本発明の実施形態に係る情報処理装置１００におけるステップＳ１０８の処理は、基準検出情報を用いる処理に限られない。例えば上記動作判定処理の第２の例に示したように、情報処理装置１００は、基準検出情報または個別検出情報を用いる処理を、ステップＳ１０８の処理として行うこともできる。

図５は、本発明の実施形態に係る情報処理装置１００における動作判定処理の一例を示す流れ図である。ここで、図５は、上記動作判定処理の第２の例に相当する処理の一例を示している。

情報処理装置１００は、顔領域ＦＡから顔情報を抽出する（Ｓ２００）。そして、情報処理装置１００は、抽出された顔情報と個別検出情報とに基づいて、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かを判定する（Ｓ２０２）。

ここで、個別検出情報は、例えば情報処理装置１００が備える記憶部（後述する）に記憶され、情報処理装置１００は、当該記憶部から個別検出情報を読み出して上記判定を行うが、本発明の実施形態に係る情報処理装置１００における処理は、上記に限られない。例えば、情報処理装置１００は、個別検出情報を記憶するサーバなどの外部装置と通信を行って当該外部装置から個別検出情報を取得し、取得された個別検出情報を用いて上記判定を行うことができる。また、情報処理装置１００は、個別検出情報を記憶する外部装置にステップＳ２００において抽出した顔情報を送信し、個別検出情報の中に抽出された顔情報と対応する顔情報があるか否かの実質的な判定を当該外部装置に行わせて、当該外部装置から判定結果を取得してもよい。上記の場合であっても、情報処理装置１００は、上記外部装置から取得した判定結果に基づいてステップＳ２０２の処理を行うことができる。

ステップＳ２０２において個別検出情報の中に抽出された顔情報と対応する顔情報があると判定された場合には、情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、抽出された顔情報と対応する顔情報が含まれる個別検出情報の周期成分の情報とに基づいて所定の動作が行われたことを検出する。

また、ステップＳ２０２において個別検出情報の中に抽出された顔情報と対応する顔情報があると判定されない場合には、情報処理装置１００は、撮像画像に基づいて設定された動作領域ＭＡにおける周期成分の検出結果と、基準検出情報の周期成分の情報とに基づいて所定の動作が行われたことを検出する。

情報処理装置１００は、例えば図５に示す処理を行うことによって、基準検出情報または個別検出情報を用いて、所定の動作が行われたことを検出することができる。

また、情報処理装置１００が、個別検出情報を用いて所定の動作が行われたことを検出することによって、情報処理装置１００は、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止することが可能となる。

図６、図７は、本発明の実施形態に係る情報処理装置１００が個別検出情報を用いて所定の動作が行われたことを検出することの利点を説明するための説明図である。

図６に示すようにユーザＡ、ユーザＢが撮像画像内に存在する場合には、各ユーザの動作領域ＭＡの一部または全部が他のユーザの動作領域ＭＡと重なり合うことが起こりうる。このとき、重なり合う動作領域ＭＡにおいて一方のユーザ（図６ではユーザＢ）がバイバイ動作を行った場合には、どのユーザが行った動作であるのかを一意に判定することができない恐れがある。ここで、個別検出情報を用いて判定を行う場合には、情報処理装置１００は、行われた動作がユーザＡの動作であるのか、またはユーザＢの動作であるのかを一意に判別することができる。したがって、情報処理装置１００は、個別検出情報を用いて所定の動作が行われたことを検出することによって、図６に示すようにユーザＡ、ユーザＢが撮像画像内に存在する場合であっても、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止することができる。

また、個別検出情報を用いて判定を行うことによって、情報処理装置１００は、ユーザ固有の検出基準で所定の動作を検出するので、図７に示すように、設定された動作領域ＭＡ内でユーザではないオブジェクトにより周期動作が行われた場合であっても、基準検出情報を用いる場合よりもよりユーザの動作の誤検出や過検出を防止することが可能となる。

再度図４を参照して、本発明の実施形態に係る情報処理装置１００における操作性向上アプローチに係る処理の一例について説明する。ステップＳ１０８の処理が行われると、情報処理装置１００は、設定した動作領域ＭＡ内において所定の動作が検出されたか否かを判定する（Ｓ１１０）。ステップＳ１１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定されない場合には、情報処理装置１００は、ステップＳ１０２からの処理を繰り返す。

また、ステップＳ１１０において設定した動作領域ＭＡ内において所定の動作が検出されたと判定された場合には、情報処理装置１００は、検出された動作に対応する処理を行う（Ｓ１１２）。ここで、ステップＳ１１２の処理は、上記（４）の処理（実行処理）に該当する。

情報処理装置１００は、例えば図４に示す処理を行うことによって、操作性向上アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図４に示す処理を行うことによって、ユーザの操作性の向上を図ることができる。なお、本発明の実施形態に係る情報処理装置１００における操作性向上アプローチに係る処理が、図４に示す処理に限られないことは、言うまでもない。

（本発明の実施形態に係る情報処理装置）
次に、上述した本発明の実施形態に係る操作性向上アプローチに係る処理を行うことが可能な、本発明の実施形態に係る情報処理装置１００の構成の一例について説明する。

［第１の実施形態］
図８は、本発明の第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。ここで、図８では、表示画面への画像（静止画像または動画像）の表示と、表示画面の表示方向を撮像することによる撮像画像の生成とを行う表示システム２００を併せて示している。また、図８では、表示システム２００が、表示を行う表示装置３００と、撮像を行う撮像装置４００とからなる例を示しているが、本発明の実施形態に係る表示システム２００の構成は、上記に限られない。例えば、表示システム２００は、表示装置３００と撮像装置４００とが一体となった装置（例えば撮像機能を有する表示装置）であってもよい。

ここで、表示システム２００が表示画面の表示方向を撮像した撮像画像を生成することによって、当該表示画面を見ているユーザを撮像した撮像画像が得られる。したがって、情報処理装置１００が表示システム２００が生成した撮像画像を処理することによって、情報処理装置１００は、例えば、顔領域ＦＡの特定や動作領域ＭＡの設定、ユーザの所定の動作の検出、顔情報の抽出などの処理をより容易に行うことができる。

図８を参照すると、情報処理装置１００は、記憶部１０２と、通信部１０４と、入力部１０６と、検出部１０８と、動作領域設定部１１０と、動作判定部１１２と、処理部１１４とを備える。

また、情報処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。情報処理装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。ここで、制御部（図示せず）は、情報処理装置１００全体を制御する役目を果たす。なお、情報処理装置１００では、例えば処理部１１４が制御部（図示せず）としての役目を果たしてもよい。また、ＲＯＭ（図示せず）は、例えば制御部（図示せず）が使用するプログラムや演算パラメータなどの処理用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部（図示せず）などにより実行されるプログラムやデータなどを一時的に記憶する。

〔情報処理装置１００のハードウェア構成例〕
図９は、本発明の実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。図９を参照すると、情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、ＭＰＵ（Micro Processing Unit）や、画像処理などの各種機能を実現するための複数の回路が集積された集積回路などで構成され、情報処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、検出部１０８、動作領域設定部１１０、動作判定部１１２、および処理部１１４としての役目を果たす。また、ＭＰＵ１５０は、後述する学習部としての役目を果たしてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部１０２として機能し、例えば、基準検出情報や個別検出情報、処理情報などの様々なデータ（またはデータベース）や、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられる。また、情報処理装置１００は、情報処理装置１００から着脱可能な記録媒体１５６を備えることもできる。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。また、入出力インタフェース１５８は、入力部１０６としての役目を果たすこともできる。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（後述する）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイス（例えば、表示装置３００などの外部表示デバイス）、撮像デバイス（例えば、撮像装置４００など）などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば表示装置３００やサーバ（図示せず）などの外部装置と無線／有線で通信を行うための通信部１０４として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。

情報処理装置１００は、例えば図９に示す構成によって、本発明の実施形態に係る操作性向上アプローチに係る処理を行う。なお、本発明の実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。

例えば、情報処理装置１００は、音声出力部（後述する）の役目を果たす、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、情報処理装置１００は、ユーザの所定の動作に対応する処理として、例えば音声のミュートや音量の調整を行うことが可能となる。

また、情報処理装置１００は、例えば、撮像部（後述する）の役目を果たす、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスを備えていてもよい。上記の場合には、情報処理装置１００は、自装置が生成した撮像画像を処理することができる。ここで、レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、補間処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理、およびコーディング処理などが挙げられる。

また、情報処理装置１００は、例えば、図９に示す操作デバイス１６０や表示デバイス１６２を備えない構成であってもよい。

再度図８を参照して、本発明の実施形態に係る情報処理装置１００の構成の第１の例について説明する。記憶部１０２は、情報処理装置１００が備える記憶手段である。ここで、記憶部１０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

また、記憶部１０２は、例えば、基準検出情報や個別検出情報、処理情報などの様々なデータ（またはデータベース）や、アプリケーションなどを記憶する。図８では、基準検出情報１７０と、処理情報１７２と、認識情報１７４とが記憶部１０２に記憶されている例を示している。ここで、本発明の実施形態に係る認識情報とは、撮像画像から検出されたユーザに関する情報である。認識情報としては、例えば、撮像画像に含まれるユーザ数や、ユーザの特徴を表す情報、推定されたユーザの感情を示す情報、動体の有無など、情報処理装置１００が撮像画像を解析して得たデータが挙げられる。

通信部１０４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、表示装置３００やサーバ（図示せず）などの外部装置と無線／有線で通信を行う。また、通信部１０４は、例えば、制御部（図示せず）や処理部１１４により通信が制御される。ここで、通信部１０４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０４は、上記に限られない。例えば、通信部１０４は、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。

入力部１０６は、撮像装置４００が撮像により生成した撮像画像を受信する。そして、入力部１０６は、受信した（入力された）撮像画像を検出部１０８へ伝達する。ここで、入力部１０６としては、例えば、ＵＳＢ端子や、ＤＶＩ端子、ＨＤＭＩ端子、各種処理回路などが挙げられるが、入力部１０６は、上記に限られない。例えば、入力部１０６は、外部装置から撮像画像を有線または無線で受信することが可能な任意の構成をとることができる。

なお、入力部１０６は、撮像画像を受信することに限られず、例えば表示装置３００が備える距離センサなどが生成したデータ（例えば、表示画面とユーザとの距離を示す距離データなど）を受信してもよい。上記データが受信された場合には、入力部１０６は、例えば当該データを処理部１１４へ伝達する。上記の場合には、情報処理装置１００は、後述する処理部１１４において、伝達される距離データなどにさらに基づいて、所定の動作に対応する処理を行うことが可能となる。

検出部１０８は、上記（１）の処理（顔領域検出処理）を主導的に行う役目を果たす。より具体的には、検出部１０８は、例えば、撮像画像からユーザの顔を含む顔領域ＦＡを検出し、検出した（特定した）顔領域ＦＡを示す情報と撮像画像とを動作領域設定部１１０へ伝達する。

また、検出部１０８は、動作領域設定部１１０により設定された動作領域ＭＡにおいて動体をさらに検出し、動体が検出されたか否かを動作判定部１１２へ伝達してもよい。上記の場合によって、動作判定部１１２が動体が検出された場合に選択的に後述する処理を行うことが可能となる。よって、情報処理装置１００では、情報処理装置１００における計算負荷の低減と、ユーザの所定の動作の未検出および誤検出の防止とが実現される。

動作領域設定部１１０は、上記（２）の処理（動作領域設定処理）を主導的に行う役目を果たす。より具体的には、動作領域設定部１１０は、例えば、検出部１０８において顔領域ＦＡが検出された場合に、顔領域ＦＡに基づいて、動作領域ＭＡを顔領域ＦＡの近傍に設定する。そして、動作領域設定部１１０は、設定した動作領域ＭＡの情報を、例えば検出部１０８および動作判定部１１２へ伝達する。また、動作領域設定部１１０は、検出部１０８から伝達される撮像画像を動作判定部１１２へ伝達する。なお、入力部１０６や検出部１０８が撮像画像を動作判定部１１２へ伝達する構成である場合には、動作領域設定部１１０は、撮像画像を動作判定部１１２へ伝達しなくてもよい。

また、動作領域設定部１１０は、顔領域ＦＡからユーザの顔の特徴を示す顔情報を抽出し、顔領域ＦＡに基づいて設定した動作領域ＭＡを、顔情報に基づいて再設定する（すなわち、動作領域ＭＡの調整を行う）こともできる。

動作判定部１１２は、上記（３）の処理（動作判定処理）を主導的に行う役目を果たす。より具体的には、動作判定部１１２は、撮像画像と基準検出情報１７０とに基づいて、動作領域設定部１１０が設定した動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定する。そして、動作判定部１１２は、例えば、所定の動作が行われたと判定した場合に、所定の動作が行われたことを示す判定結果を処理部１１４へ伝達する。ここで、動作領域設定部１１０は、例えば、動作領域ＭＡにおける周期成分を検出し、動作領域ＭＡにおける周期成分の検出結果と基準検出情報１７０における周期成分の情報とに基づいて、所定の動作が行われたことを判定するが、動作領域設定部１１０における処理は、上記に限られない。

なお、図８では示していないが、記憶部１０２に個別検出情報が記憶されている場合、または、個別検出情報を記憶するサーバなどの外部装置と連携して処理を行う場合には、動作判定部１１２は、基準検出情報１７０または個別検出情報を選択的に用いて、動作領域ＭＡにおいてユーザによる所定の動作が行われたことを判定することもできる。

また、動作判定部１１２は、動作領域ＭＡにおける周期成分を検出して所定の動作が行われたことを判定する場合、動作領域ＭＡ外における周期成分を検出しなくてもよい。上記によって、情報処理装置１００は、本発明の実施形態に係る操作性向上アプローチに係る処理の負荷（計算負荷）をより低減することができる。

処理部１１４は、上記（４）の処理（実行処理）を主導的に行う役目を果たす。より具体的には、処理部１１４は、動作判定部１１２において所定の動作が行われたと判定された場合には、例えば、処理情報１７２に基づいて、動作判定部１１２において判定された所定の動作に対応する処理を行う。ここで、処理情報１７２には、例えば所定の動作と実行する処理とが対応付けて記録されている。よって、所定の動作の意味に関連付けられる処理が記録された処理情報１７２を用いることによって、情報処理装置１００は、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことができる。

また、処理部１１４は、所定の動作に対応する処理として、所定の動作に対応する処理を外部装置に行わせるための処理実行命令を、通信部１０４を介して送信することもできる。上記によって、情報処理装置１００は、外部装置である表示装置３００などに、検出した所定の動作に対応する処理を行わせることが可能となる。

また、処理部１１４は、例えば、認識情報を記憶部１０２に記録する、または、記憶部１０２に記憶された認識情報１７４を通信部１０４を介してサーバ（図示せず）などの外部装置へ送信するなどの処理を行ってもよい。

第１の実施形態に係る情報処理装置１００は、図８に示す構成によって、操作性向上アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現することができる。したがって、情報処理装置１００は、例えば図８に示す構成によって、ユーザの操作性の向上を図ることができる。

〔第１の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第１の実施形態に係る情報処理装置１００の構成は、図８に示す構成に限られない。例えば、第１の実施形態に係る情報処理装置１００は、音声出力デバイスなど、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスなどをさらに備えていてもよい。また、第１の実施形態に係る情報処理装置１００は、記憶部１０２を備えず、基準検出情報１７０や処理情報１７２などの処理に用いる情報を、サーバなどの外部装置から適宜取得して処理を行うこともできる。

［第２の実施形態］
図１０は、本発明の第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。ここで、図１０では、図８と同様に、表示システム２００を併せて示している。

図１０に示す第２の実施形態に係る情報処理装置１００は、図８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有するが、図８に示す第１の実施形態に係る情報処理装置１００と比較すると、第２の実施形態に係る情報処理装置１００は、学習部１１６をさらに備えている。

学習部１１６は、個別検出情報を管理する役目を果たす。学習部１１６は、例えば、動作判定部１１２において所定の動作が行われたと判定された場合には、判定された所定の動作および動作領域設定部１１０により抽出された顔情報に対応する個別検出情報を更新する。より具体的には、学習部１１６は、例えば、動作判定部１１２において検出された周期成分の情報を、判定された所定の動作および動作領域設定部１１０により抽出された顔情報に対応する個別検出情報における周期成分の情報とする。なお、検出部１０８が動作領域ＭＡにおける周期成分を検出する機能を有する場合には、学習部１１６は、検出部１０８から伝達される周期成分の情報を、個別検出情報における周期成分の情報としてもよい。

ここで、学習部１１６は、動作判定部１１２において所定の動作が行われたと判定された場合に自動的に個別検出情報の更新を行うことができるが、学習部１１６における処理は、上記に限られない。例えば、学習部１１６は、操作部（図示せず）から伝達されるユーザ操作に応じた操作信号、またはリモート・コントローラなどの外部操作デバイスから送信された外部操作信号に基づいて、選択的に個別検出情報の更新を行うこともできる。

なお、学習部１１６における個別検出情報の管理は、上記個別検出情報における周期成分の情報を更新することに限られない。例えば、学習部１１６は、動作領域ＭＡの領域サイズの調整や位置の調整に係る情報や、ユーザの所定の動作を判定する期間の情報など、ユーザ固有の情報を、個別検出情報として管理することもできる。また、学習部１１６は、例えば学習用のユーザインタフェースを介したユーザ操作に応じて操作部（図示せず）から伝達される操作信号などに基づいて、動作判定部１１２における判定結果によらず、個別検出情報の生成または更新を行うこともできる。

第２の実施形態に係る情報処理装置１００は、図８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有する。よって、第２の実施形態に係る情報処理装置１００は、図１０に示す構成によって、第１の実施形態に係る情報処理装置１００と同様に、操作性向上アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現することができる。したがって、第２の実施形態に係る情報処理装置１００は、例えば図１０に示す構成によって、ユーザの操作性の向上を図ることができる。

また、第２の実施形態に係る情報処理装置１００は、学習部１１６を備えることによって、例えば、年齢や性別、身体特徴などのようなユーザ固有の条件に応じた情報を、個別検出情報として管理することが可能となる。ここで、図６、図７を参照して説明したように、個別検出情報を用いて所定の動作が行われたことを検出することによって、情報処理装置１００は、個別検出情報に含まれる顔情報に対応する特定のユーザの動作の誤検出や過検出を防止する。したがって、学習部１１６が個別検出情報を管理することによって、情報処理装置１００は、個別検出情報に対応する特定のユーザの動作を判定する場合における判定の精度をより高めることができる。

〔第２の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第２の実施形態に係る情報処理装置１００の構成は、図１０に示す構成に限られない。例えば、第２の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスなどをさらに備えていてもよい。また、第２の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、基準検出情報１７０や処理情報１７２などの処理に用いる情報をサーバなどの外部装置から適宜取得して処理を行う構成であってもよい。

［第３の実施形態］
上記では、第１の実施形態に係る情報処理装置１００および第２の実施形態に係る情報処理装置１００として、表示システム２００の撮像装置４００（すなわち、外部装置）が生成した撮像画像を処理する構成を示した。しかしながら、本発明の実施形態に係る情報処理装置１００の構成は、外部装置が生成した撮像画像を処理する構成に限られない。

図１１は、本発明の第３の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。

図１１に示す第３の実施形態に係る情報処理装置１００は、図８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有するが、図８に示す第１の実施形態に係る情報処理装置１００と比較すると、第３の実施形態に係る情報処理装置１００は、撮像部１１８と、表示部１２０と、音声出力部１２２とをさらに備えている。

撮像部１１８は、情報処理装置１００が備える撮像手段であり、表示部１２０が表示する表示画面の表示方向を撮像して、撮像画像を生成する。そして、撮像部１１８は、撮像画像を検出部１０８へ伝達する。撮像部１１８が上記のように表示画面の表示方向を撮像した撮像画像を生成することによって、当該表示画面を見ているユーザを撮像した撮像画像が得られる。したがって、情報処理装置１００は、例えば、顔領域ＦＡの特定や動作領域ＭＡの設定、ユーザの所定の動作の検出、顔情報の抽出など、上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）をより容易に行うことができる。

また、撮像部１１８は、例えば、レンズ／撮像素子と信号処理回路とから構成される、１または２以上の撮像デバイスで構成されるが、撮像部１１８の構成は、上記に限られない。

表示部１２０は、情報処理装置１００が備える表示手段であり、表示画面に様々な情報や画像を表示する。表示部１１２の表示画面に表示される画面としては、例えば、コンテンツを表示するコンテンツ表示画面や、撮像部１１８が生成した撮像画像が表示される画面（コンテンツと重畳して表示されてもよい。）、所望する動作を情報処理装置１００に対して行わせるための操作画面などが挙げられる。

音声出力部１２２は、情報処理装置１００が備える音声出力手段であり、例えばコンテンツが示す音声や、情報処理装置１００におけるシステム音声など、様々な音声を出力する。情報処理装置１００が音声出力部１２２を備えることによって、処理部１１４が行うユーザの所定の動作に対応する処理として、例えば音声出力部１２２から出力される音声のミュートや音量の調整などを行うことが可能となる。

また、音声出力部１２２としては、例えば、ＤＳＰ、および増幅器（アンプ）やスピーカなどから構成される音声出力デバイスが挙げられるが、音声出力部１２２の構成は、上記に限られない。

第３の実施形態に係る情報処理装置１００は、図８に示す第１の実施形態に係る情報処理装置１００と基本的に同様の構成を有する。よって、第３の実施形態に係る情報処理装置１００は、図１１に示す構成によって、第１の実施形態に係る情報処理装置１００と同様に、操作性向上アプローチに係る上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現することができる。したがって、第３の実施形態に係る情報処理装置１００は、例えば図１１に示す構成によって、ユーザの操作性の向上を図ることができる。

〔第３の実施形態に係る情報処理装置１００の変形例〕
なお、本発明の第３の実施形態に係る情報処理装置１００の構成は、図１１に示す構成に限られない。例えば、第３の実施形態に係る情報処理装置１００は、第２の実施形態に係る情報処理装置１００と同様に、学習部１１６をさらに備えていてもよい。また、第３の実施形態に係る情報処理装置１００は、例えば音声出力部１２２を備えない構成であってもよく、また、ユーザの所定の動作の意味に関連付けられる処理を実現するためのデバイスなどをさらに備えていてもよい。さらに、第３の実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００の変形例と同様に、基準検出情報１７０や処理情報１７２などの処理に用いる情報をサーバなどの外部装置から適宜取得して処理を行う構成であってもよい。

以上のように、本発明の実施形態に係る情報処理装置１００は、例えば上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を行うことによって、ユーザにより所定の動作が行われたことを判定し、判定された当該所定の動作に対応する処理を行う。ここで、情報処理装置１００は、撮像画像に基づいて特定された顔領域ＦＡの近傍に動作領域ＭＡを設定し、設定された動作領域ＭＡにおいてユーザの所定の動作を検出（判定）して、検出された所定の動作に対応する処理を行う。上記のように動作領域ＭＡを設定することによって、情報処理装置１００は、従来の情報処理装置のように撮像画像全体に対して画像処理を行うのではなく、撮像画像の中の一部の領域に対して画像処理を行うことによりユーザの動作を検出することができる。よって、情報処理装置１００は、従来の情報処理装置よりもユーザの所定の動作の検出に係る計算負荷をより低減させることができるので、情報処理装置１００では、従来の情報処理装置で起こりうる上記のような望ましくない事態の発生が防止される。したがって、情報処理装置１００は、従来の技術を用いる場合に生じうるユーザの利便性の低下を防止することができ、また、ユーザの操作性の向上を図ることができる。

また、情報処理装置１００は、顔領域ＦＡの近傍に設定した動作領域ＭＡにおいて検出された所定の動作に対応する処理を行うので、例えば、顔領域ＦＡに対応するユーザ以外の人物や物の動作による所定の動作の誤検出を、撮像画像全体を処理対象とする従来の情報処理装置よりもより低減することが可能となる。したがって、情報処理装置１００は、従来の情報処理装置よりも、ユーザの操作性の向上をさらに図ることができる。

さらに、情報処理装置１００は、顔領域ＦＡの近傍に設定した動作領域ＭＡにおいて検出された所定の動作に対応する処理として、当該所定の動作の意味に関連付けられる処理を行う。上記のように、情報処理装置１００が、検出した動作の意味に関連付けられる処理（アフォーダンスが考慮された処理）を行うことによって、ユーザが、自己の動作と情報処理装置１００が行う処理（または、情報処理装置１００が外部装置に行わせる処理）との間に違和感を覚える可能性をより低減させることができる。したがって、情報処理装置１００は、ユーザの操作性の向上をさらに図ることができる。

以上、本発明の実施形態として情報処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。

また、本発明の実施形態として表示システム２００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、携帯電話などの携帯型通信装置など、表示と撮像とが可能な様々な機器に適用することができる。なお、本発明の実施形態に係る表示システム２００は、表示を行う機器、撮像を行う機器との組合せであってもよい。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）の処理（顔領域検出処理）〜（４）の処理（実行処理）を実現するプログラム）によって、ユーザの操作性の向上を図ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、図８、図１０、図１１では、本発明の第１〜第３の実施形態に係る情報処理装置１００（変形例も含む）が、検出部１０８、動作領域設定部１１０、動作判定部１１２、および処理部１１４を別体に備える例を示したが、本発明の実施形態に係る情報処理装置の構成は、上記に限られない。例えば、本発明の実施形態に係る情報処理装置は、検出部１０８、動作領域設定部１１０、動作判定部１１２、および処理部１１４を１つの構成要素（例えば、１つの処理回路で実現する）とすることもできる。また、情報処理装置は、例えば、検出部１０８および動作領域設定部１１０を１つの構成要素（例えば１つの画像処理回路で実現される画像処理部とする）とするなど、任意の構成要素を統合することもできる。さらに、情報処理装置は、例えば、認識情報を記録する処理を行う情報記録部（図示せず）を別途備えていてもよい。

また、上記では、コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記憶媒体も併せて提供することができる。

上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。

１００ 情報処理装置
１０２ 記憶部
１０４ 通信部
１０６ 入力部
１０８ 検出部
１１０ 動作領域設定部
１１２ 動作判定部
１１４ 処理部
１１６ 学習部
１１８ 撮像部
１２０ 表示部
１２２ 音声出力部
２００ 表示システム
３００ 表示装置
４００ 撮像装置

Claims (15)

1. 撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出する検出部と、
   前記検出部において前記顔領域が検出された場合に、前記顔領域に基づいて、前記ユーザの動作を検出するための前記撮像画像における動作領域を、前記顔領域の近傍に設定する動作領域設定部と、
   前記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、前記動作領域設定部が設定した前記動作領域においてユーザによる前記所定の動作が行われたことを判定する動作判定部と、
   前記動作判定部において前記所定の動作が行われたと判定された場合に、前記動作判定部において判定された前記所定の動作に対応する処理を行う処理部と、
   を備える、情報処理装置。
2. 前記基準検出情報には、前記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、
   前記動作判定部は、
   前記撮像画像に対して設定された前記動作領域における周期成分を検出し、
   前記動作領域における周期成分の検出結果と前記周期成分の情報とに基づいて、前記所定の動作が行われたことを判定する、請求項１に記載の情報処理装置。
3. 前記動作判定部は、前記基準検出情報、または、特定のユーザが行う所定の動作の検出の基準となる個別検出情報を選択的に用いて、前記動作領域においてユーザによる前記所定の動作が行われたことを判定する、請求項１、または２のいずれか１項に記載の情報処理装置。
4. 前記個別検出情報には、前記所定の動作、ユーザの周期動作を検出するための周期成分の情報、およびユーザの顔の特徴を示す顔情報が対応付けられており、
   前記動作判定部は、
   前記撮像画像に対して設定された前記動作領域における周期成分を検出し、
   前記撮像画像の前記顔領域から前記顔情報を抽出し、
   抽出した前記顔情報に対応する前記個別検出情報がある場合には、前記動作領域における周期成分の検出結果と、前記個別検出情報の前記周期成分の情報とに基づいて、前記所定の動作が行われたことを判定する、請求項３に記載の情報処理装置。
5. 前記個別検出情報を管理する学習部をさらに備え、
   前記学習部は、前記動作判定部において前記所定の動作が行われたと判定された場合には、前記動作判定部において検出された周期成分の情報を、判定された前記所定の動作および抽出した前記顔情報に対応する個別検出情報における前記周期成分の情報とする、請求項４に記載の情報処理装置。
6. 前記検出部は、前記撮像画像に対して設定された前記動作領域において動体をさらに検出し、
   前記動作判定部は、前記検出部において動体が検出された場合に、前記所定の動作が行われたことを選択的に判定する、請求項２に記載の情報処理装置。
7. 検出部は、矩形の前記顔領域を検出し、
   前記動作領域設定部は、前記顔領域の水平方向の長さと前記顔領域の垂直方向の長さとに基づく前記動作領域を設定する、請求項１、または２のいずれか１項に記載の情報処理装置。
8. 前記動作領域設定部は、前記顔領域から前記ユーザの顔の特徴を示す顔情報を抽出し、
   設定した前記動作領域を、前記顔情報に基づいて再設定する、請求項７に記載の情報処理装置。
9. 前記動作領域設定部は、前記顔領域の左近傍または前記顔領域の右近傍のいずれか一方、または、前記顔領域の左近傍および前記顔領域の右近傍の双方に、前記動作領域を設定する、請求項１、または２のいずれか１項に記載の情報処理装置。
10. 前記動作領域設定部は、前記顔領域の下近傍または上近傍のいずれか一方、または、前記顔領域の下近傍および前記顔領域の上近傍の双方に、１または２以上の前記動作領域をさらに設定し、
    前記動作判定部は、複数の前記動作領域ごとに前記所定の動作が行われたことを判定し、
    前記処理部は、前記所定の動作が行われたと判定された動作領域、および判定された前記所定の動作に対応する処理を行う、請求項９に記載の情報処理装置。
11. 前記動作判定部は、前記動作領域外における周期成分は検出しない、請求項２または４のいずれか１項に記載の情報処理装置。
12. 外部装置と通信を行う通信部をさらに備え、
    前記処理部は、前記動作判定部において判定された前記所定の動作に対応する処理を前記外部装置に行わせるための処理実行命令を、前記通信部を介して前記外部装置へ送信する、請求項１、または２のいずれか１項に記載の情報処理装置。
13. 画像を表示画面に表示する表示部と、
    前記表示画面の表示方向を撮像し、前記撮像画像を生成する撮像部と、
    をさらに備え、
    前記検出部は、前記撮像部が生成した前記撮像画像から前記顔領域を検出する、請求項１、または２のいずれか１項に記載の情報処理装置。
14. 撮像により得られた動画像である撮像画像からユーザの顔を含む顔領域を検出するステップと、
    前記検出するステップにおいて前記顔領域が検出された場合に、前記顔領域に基づいて、前記ユーザの動作を検出するための前記撮像画像における動作領域を、前記顔領域の近傍に設定するステップと、
    前記撮像画像と、ユーザの所定の動作の検出の基準となる基準検出情報とに基づいて、前記設定するステップにおいて設定された前記動作領域においてユーザによる前記所定の動作が行われたことを判定するステップと、
    前記判定するステップにおいて前記所定の動作が行われたと判定された場合に、前記判定するステップにおいて判定された前記所定の動作に対応する処理を行うステップと、
    を有する、情報処理方法。
15. 前記基準検出情報には、前記所定の動作とユーザの周期動作を検出するための周期成分の情報とが対応付けられており、
    前記判定するステップでは、
    前記撮像画像に対して設定された前記動作領域における周期成分が検出され、
    前記動作領域における周期成分の検出結果と前記周期成分の情報とに基づいて、前記所定の動作が行われたことが判定される、請求項１４に記載の情報処理方法。

Images