JP2015038648A - 情報処理装置、制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザにとって使い勝手の良いユーザインタフェースを提供する。【解決手段】本実施形態の情報処理装置は、表示手段と、撮影手段と、制御手段とを有する。表示手段は、画像を表示する。撮影手段は、前記表示手段に表示する画像を撮影する。制御手段は、前記撮影手段で取得した操作者の画像を、操作者の動作に応じてコマンドの実行を指示する操作アイコンの画像を表示する特定領域と特定の相対位置関係となる位置に表示する。【選択図】図２

Description

本発明の実施形態は、情報処理装置、制御方法およびプログラムに関する。

従来、ハンドジェスチャなどの操作者（ユーザ）の動作を認識して、コンテンツの再生などの各種コマンドの実行指示を入力することが可能なユーザインタフェース機能を備えた情報処理装置が知られている。

特開２００９−３５７６号公報

しかしながら、従来のユーザインタフェースは、ユーザにとって使い勝手が良くないなどの課題がある。

そこで、本発明は、前記課題に鑑みてなされたものであり、ユーザにとって使い勝手の良いユーザインタフェースを提供することを目的とする。

本実施形態の情報処理装置は、表示手段と、撮影手段と、制御手段とを有する。表示手段は、画像を表示する。撮影手段は、前記表示手段に表示する画像を撮影する。制御手段は、前記撮影手段で取得した操作者の画像を、操作者の動作に応じてコマンドの実行を指示する操作アイコンの画像を表示する特定領域と特定の相対位置関係となる位置に表示する。

図１は、本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 図２は、情報処理装置のソフトウェア構成を説明するためのブロック図である。 図３は、カメラによる被写体（操作者）の撮影態様を示す模式図である。 図４は、カメラの撮影により取得される画像の一構成例を示す模式図である。 図５は、ユーザインタフェース画面の一構成例を示す図である。 図６は、ユーザインタフェース画面の一構成例を示す図である。 図７は、特定領域と顔表示領域の相対位置関係を示す模式図である。 図８は、ユーザインタフェース制御部が実行する処理手順を示すフローチャートである。 図９は、図８のステップの詳細な処理を示すフローチャートである。 図１０は、分割特定領域間で特定の手形状の検出が行われた場合の表示切り替えを説明する模式図である。 図１１は、分割特定領域間で特定の手形状の検出が行われた場合の表示切り替えを説明する模式図である。 図１２は、特定の手形状および特定のジェスチャの変形例を示す模式図である。 図１３は、特定の手形状および特定のジェスチャの変形例を示す模式図である。 図１４は、ユーザインタフェース画面の表示態様の変形例を示す模式図である。

以下、本発明の実施形態について添付図面を参照して説明する。

図１は、本実施形態に係る情報処理装置１のハードウェア構成を示すブロック図である。

図１に示すように、この情報処理装置１は、パーソナルコンピュータなどの一般的なコンピュータを利用したハードウェア構成となっており、例えば、制御部１０と、記憶部１１と、表示部１２と、操作部１３と、撮影部１４と、電力供給部１５などを有している。

制御部１０は、情報処理装置１の全体を統括的に制御し、各種処理動作を制御する制御装置であり、例えば、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有するマイクロコンピュータなどで構成される。

記憶部１１は、各種プログラムや、それら各種プログラムで使用される各種データなどのファイルを記憶する記憶装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などで構成される。なお、本実施形態の記憶部１１は、後述のフローチャートにおける処理手順を実行するための処理プログラムＰや、その処理プログラムＰで使用する各種データ（操作者の顔を検出するための顔検出用データＤ１や、本実施形態特有のユーザインタフェース画面１２０（図５、図６参照）を表示するためのユーザインタフェース画面表示用データＤ２や、特定の手形状を検出するための特定の手形状検出用データＤ３や、特定のジェスチャを検出するための特定のジェスチャ検出用データＤ４など）を記憶している。

表示部１２は、表示面に各種画像を表示する表示装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイ１２１（図３参照）と、そのディスプレイ１２１における各種画像の表示を制御する表示コントローラ（不図示）などで構成される。

操作部１３は、各種コマンドを入力する入力装置であり、例えば、キーボード１３１（図３参照）と、そのキーボード１３１からの操作信号の入力を制御する入力コントローラ（不図示）などで構成される。

撮影部１４は、被写体としての操作者を撮影する撮影装置であり、例えば、ＲＧＢカラー映像を認識可能な小型３ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カラーカメラ（以下、単に「カメラ」という。）１４１などで構成される。なお、このカメラ１４１は、ディスプレイ１２１の表示面の前方を撮影することが可能な位置に設置される（図３参照）。

電力供給部１５は、商用電源などから前記した各負荷部１０〜１４に必要な電力を供給する電源装置であり、不図示のスイッチ、電源回路および電源制御回路などで構成される。

図２は、制御部１０のＣＰＵが記憶部１１に記憶されている処理プログラムＰを、制御部１０のＲＡＭ上に展開して実行することにより実現される情報処理装置１の機能的構成（ソフトウェア構成）を説明するためのブロック図である。

図２に示すように、情報処理装置１は、機能的構成として、後述の図８および図９に示す処理手順、即ち、操作者の顔、特定の手形状および特定のハンドジェスチャを認識して、動画や音楽などのコンテンツの再生に係る各種コマンドの実行指示を入力することが可能なユーザインタフェース機能を提供する処理を行うユーザインタフェース制御部１００を有している。

そして、ユーザインタフェース制御部１００は、画像入力部１００ａ、特定部分検出部１００ｂ、画像表示部１００ｃ、手形状検出部１００ｄ、ジェスチャ検出部１００ｅ、コマンド処理部１００ｆなどを有している。

ここで、画像入力部１００ａは、撮影部１４を用いて被写体（特に、操作者２）の画像を取得する処理を行うものである。具体的には、図３に示す撮影態様により、撮影部１４のカメラ１４１の画角Ｘ内に入った被写体（操作者２）の画像（図４参照）を取得し、他の機能構成部（特定部分検出部１００ｂ、画像表示部１００ｃ、手形状検出部１００ｄおよびジェスチャ検出部１００ｅ）に出力するものである。

なお、図４は、カメラ１４１の撮影により取得される画像の一構成例を示す模式図であり、図４に示す画像２０には、被写体としての操作者の画像２１と、情報処理装置１が載置される机の画像２２と、本棚の画像２３と、観葉植物２４などが含まれている様子を示している。

特定部分検出部１００ｂは、画像入力部１００ａから入力した画像から操作者２の特定部分（顔）を検出する処理を行うものである。具体的には、この特定部分検出部１００ｂは、顔検出用データＤ１に含まれる、顔の輪郭を示す情報や、目、鼻、口および耳の距離間隔を示す情報や、肌の色を示す情報などに基づいて、画像入力部１００ａで取得した画像から操作者２の顔を検出する。即ち、特定部分検出部１００ｂが検出する操作者の特定部分（顔）は、後述のユーザインタフェース画面１２０をディスプレイ１２１に表示させるためのトリガとなるものである。

画像表示部１００ｃは、特定部分検出部１００ｂが操作者２の顔を検出した場合に、表示部１２を用いて、操作者の動作に応じて、動画や音楽などのコンテンツの再生に係る各種コマンドの実行を指示することが可能なユーザインタフェース画面１２０（図５、図６参照）をディスプレイ１２１に表示する処理を行うものである。

図５および図６は、ユーザインタフェース画面１２０の一構成例を示す図である。

図５および図６に示すように、このユーザインタフェース画面１２０は、カメラ１４１で撮影された操作者２の画像に、各種コマンドの実行を指示するための各種操作アイコンＩ１〜Ｉ５の画像を重ね合わせた画像を表示するものである。

そして、本実施形態のユーザインタフェース画面１２０では、各種操作アイコンＩ１〜Ｉ５を表示する特定領域Ｔ１と、この特定領域Ｔ１と特定の相対位置関係（図７参照）にあり、操作者の顔を表示する顔表示領域Ｔ２とが定義されている。

特定領域Ｔ１は、５つの分割特定領域ｔ１〜ｔ５から構成されている。そして、各分割特定領域（ｔ１〜ｔ５）には、それぞれコンテンツの再生に係るコマンドを指示するための操作アイコン（Ｉ１〜Ｉ５）がそれぞれ一つずつ割り当てられている。

具体的には、図の例では、分割特定領域ｔ１には、巻き戻しを指示する操作アイコンＩ１が割り当てられ、分割特定領域ｔ２には、音量下げを指示する操作アイコンＩ２が割り当てられ、分割特定領域ｔ３には、再生または一時停止を指示する操作アイコンＩ３が割り当てられ、分割特定領域ｔ４には、音量上げを指示する操作アイコンＩ４が割り当てられ、分割特定領域ｔ５には、早送りを指示する操作アイコンＩ５が割り当てられている。

即ち、画像表示部１００ｃは、特定部分検出部１００ｂが操作者２の顔を検出した場合に、各種コマンドの実行を指示する各操作アイコンＩ１〜Ｉ５の画像を表示する特定領域Ｔ１（分割特定領域ｔ１〜ｔ５）と特定の相対位置関係となる位置（図７なども参照）にある顔表示領域Ｔ２に、操作者２の顔が丁度良く収まる操作者の画像を、画像入力部１００ａから入力した画像から生成する。具体的には、画像表示部１００ｃは、カメラ１４１で取得される画像２０（図４参照）から、顔表示領域Ｔ２を考慮してユーザインタフェース画面１２０に表示する必要なエリア画像２０Ａを切り出す。なお、画像表示部１００ｃは、操作者２の画像を左右反転させて鏡のように操作者２を表示する。

図７は、特定領域Ｔ１（分割特定領域ｔ１〜ｔ５）と顔表示領域Ｔ２との表示座標を示し、両者の位置関係を示す模式図である。

図７に示すように、本実施形態では、例えば、ディスプレイ１２１の表示可能領域の左下隅、左上隅、右下隅、右上隅の表示座標を、それぞれ（０、０）、（０、１００）、（９０、０）および（９０、１００）とした場合に、分割特定領域ｔ１が４つの表示座標（０、３０）、（０、６０）、（３０、３０）および（３０、６０）で囲まれる領域となり、分割特定領域ｔ２が４つの表示座標（０、０）、（０、３０）、（３０、０）および（３０、３０）で囲まれる領域となり、分割特定領域ｔ３が４つの表示座標（３０、０）、（３０、３０）、（６０、０）および（６０、３０）で囲まれる領域となり、分割特定領域ｔ４が４つの表示座標（６０、０）、（６０、３０）、（９０、０）および（９０、３０）で囲まれる領域となり、分割特定領域ｔ５が４つの表示座標（６０、３０）、（６０、６０）、（９０、３０）および（９０、６０）で囲まれる領域となるように定義されている。

また、顔表示領域Ｔ２が、前記した５つの分割特定領域ｔ１〜ｔ５に近接した４つの表示座標（３５、５０）、（３５、７５）、（５５、５０）および（５５、７５）で囲まれる領域となるように定義されている。即ち、この表示領域は、顔表示領域Ｔ２に操作者２の顔（特定部分）を表示した場合に、特定領域Ｔ１に表示される各操作アイコンＩ１〜Ｉ５を操作者２が操作し易い（例えば、操作者２が腕を伸ばしきったりせず、体の中心や操作者２の特定部分の近辺で腕を動かす程度の動作により操作できる）と定義した領域である。なお、この領域は、例えば、操作者の特定部分（顔など）の平均的なサイズ（例えば、人の顔の平均的な横幅や、縦幅など）に、特定領域Ｔ１のサイズに応じて決定される特定の数値を掛けるなどして算出することができる。

即ち、画像表示部１００ｃは、５つの分割特定領域ｔ１〜ｔ５に近接した４つの表示座標（３５、５０）、（３５、７５）、（５５、５０）および（５５、７５）で囲まれる表示領域に、操作者２の顔が配置されるように操作者２の画像を表示する。

また、画像表示部１００ｃは、後述の手形状検出部１００ｄおよびジェスチャ検出部１００ｅからの信号に基づいてユーザインタフェース画面１２０に含まれる操作アイコン（Ｉ１〜Ｉ５）の表示を後述の通常表示、第１の特定表示および第２の特定表示の間で交互に変更する。

図２に戻って、手形状検出部１００ｄは、ユーザインタフェース画面１２０に表示される操作者２の画像２１およびその表示座標と、特定領域Ｔ１の表示座標と、予め登録されている特定の手形状検出用データＤ３とを用いて、特定領域Ｔ１における操作者２の特定の手形状を検出する処理を行うものである。

なお、特定の手形状検出用データＤ３には、例えば、「掌形状：操作者が掌を開いて（５本の指を伸ばして）カメラ１４１に向けた状態の手形状」を示す画像などが含まれており、手形状検出部１００ｄは、「掌形状」と合致する手形状を特定の手形状として検出する。

そして、手形状検出部１００ｄは、特定の手形状を検出した場合に、その特定の手形状を検出した分割特定領域（ｔ１〜ｔ５のいずれか）に対応付けられた操作アイコン（Ｉ１〜Ｉ５のいずれか）が一時的に選択（仮選択）されたことを示す選択信号を画像表示部１００ｃに出力する。なお、画像表示部１００ｃでは、選択信号を入力すると、該当する操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を、選択されていないことを示す通常表示（図５の白背景表示）から、一時的に選択された状態（仮選択状態）であることを示す第１の特定表示（図５の斑点表示）に切り替える。

即ち、手形状検出部１００ｄが検出する特定の手形状は、ユーザインタフェース画面１２０の特定領域Ｔ１に表示される操作アイコンＩ１〜Ｉ５を仮選択状態にするためのトリガとなるものである。

ジェスチャ検出部１００ｅは、手形状検出部１００ｄが特定の手形状を検出した場合に、ユーザインタフェース画面１２０に表示される操作者２の画像２１およびその表示座標と、特定領域の表示座標と、予め登録されている特定のジェスチャ検出用データＤ４とを用いて、操作者の特定のジェスチャを検出する処理を行うものである。

なお、特定のジェスチャ検出用データＤ４には、例えば、特定のジェスチャ結果を示す「上向き拳形状：操作者が掌を握って（５本の指を内側に曲げ固めて）、内側をカメラ１４１に向けた状態の手形状」を示す画像などが含まれており、ジェスチャ検出部１００ｅは、「上向き拳形状」と合致する手形状を行うジェスチャを特定のジェスチャとして検出する。

そして、ジェスチャ検出部１００ｅは、特定のジェスチャを検出した場合に、その特定のジェスチャを検出した分割特定領域（ｔ１〜ｔ５のいずれか）に対応付けられた操作アイコン（Ｉ１〜Ｉ５のいずれか）の選択が確定されたことを示す確定信号を画像表示部１００ｃに出力する。なお、画像表示部１００ｃは、確定信号を入力すると、該当する操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を、第１の特定表示（図５の斑点表示）から、選択が確定された状態（即ち、コマンドの実行が指示された状態）であることを示す第２の特定表示（図６の斜線表示）に一定時間（例えば、「０．５秒」など）切り替える。

また、ジェスチャ検出部１００ｅは、操作者の特定のジェスチャ（上向き拳形状）を検出した場合に、当該特定のジェスチャ（上向き拳形状）を検出した分割特定領域（ｔ１〜ｔ５のいずれか）の操作アイコン（Ｉ１〜Ｉ５のいずれか）に対応付けられたコマンドの実行指示をコマンド処理部１００ｆに出力する。

即ち、ジェスチャ検出部１００ｅが検出する特定のジェスチャは、ユーザインタフェース画面１２０の特定領域Ｔ１に表示される操作アイコンＩ１〜Ｉ５に対応付けられたコマンドの実行指示を確定するためのトリガとなるものである。

なお、第１の特定表示の表示態様は、通常表示の表示態様と区別できる表示態様であれば良く、例えば、操作アイコンＩ１〜Ｉ５を発光または点滅させたり、色を変化させたり、透過性を変化させたり、アイコンの縁の太さを変化させたりして、通常表示と異ならせる表示態様とすることができる。また、第２の特定表示の表示態様も、第１の特定表示の表示態様と同様に、第１の表示態様と区別できる表示態様であれば良いものとする。

コマンド処理部１００ｆは、ジェスチャ検出部１００ｅから入力したコマンドの実行指示に応じて、該当するコマンドの実行処理を行う。具体的には、コマンド処理部１００ｆは、早送りのコマンドの実行指示を入力した場合には、コンテンツの早送りを実行し、巻き戻しのコマンドの実行指示を入力した場合には、コンテンツの巻き戻しを実行する。

次に、情報処理装置１におけるコマンド入力時の処理動作について説明する。

図８は、ユーザインタフェース制御部１００が実行する処理手順を示すフローチャートである。

図８に示すように、情報処理装置１では、操作者２の操作部１３における所定の操作によりコンテンツを再生するアプリケーション（に組み込まれた処理プログラムＰ）が立ち上げられると、ユーザインタフェース制御部１００が動作し、まず、ステップＳ１において、特定部分検出部１００ｂが、画像入力部１００ａから入力する画像から操作者２の顔の検出処理を実行する。

なお、操作者２は、カメラ１４１の撮影窓（ディスプレイ１２１の表示面の前方）の前方で、カメラ１４１から所定距離（１ｍ〜２ｍ）離れた撮影範囲内に入ることにより（図３参照）、本実施形態のユーザインタフェースを最適に利用することが可能となっている。

ステップＳ１の処理の結果、操作者２の顔を検出すると（ステップＳ２：Ｙｅｓ）、続いて、ステップＳ３において、画像表示部１００ｃが、ユーザインタフェース画面１２０（図５参照）をディスプレイ１２１に表示する。なお、このステップＳ３の詳細な処理を図９に示している。

図９に示すように、ステップＳ３の処理では、まず、ステップＳ３１において、画像表示部１００ｃが、操作者２の顔が顔表示領域Ｔ２に丁度良く収まる操作者の画像を、画像入力部１００ａから入力した画像から生成する。

その後、ステップＳ３２において、生成した画像に、予め用意されている各種コマンドの実行を指示する操作アイコンＩ１〜Ｉ５の画像を重ねて表示したユーザインタフェース画面１２０（図５参照）をディスプレイ１２１に表示する。

次に、図８に戻って、ステップＳ４およびステップＳ５において、ユーザインタフェース制御部１００では、手形状検出部１００ｄが特定の手形状を検出するか否か、または、特定部分検出部１００ｂが顔の検出を終了するか否かを判定する。

その判定の結果、手形状検出部１００ｄが特定領域Ｔ１において特定の手形状を検出すると（ステップＳ４：Ｙｅｓ）、手形状検出部１００ｄが画像表示部１００ｃに選択信号を出力する。すると、ステップＳ６において、選択信号を受信した画像表示部１００ｃが該当する操作アイコン（Ｉ１〜Ｉ５のいずれか）を第１の特定表示に切り替える。

なお、ステップＳ６の操作アイコンの表示変更処理においては、画像表示部１００ｃは、特定領域Ｔ１内で、操作者２の手形状を検出しており、隣接する分割特定領域間（ｔ１〜ｔ５のいずれか２つ）で特定の手形状の移動状態が検出される場合には、特定の手形状が隣接する分割特定領域間（ｔ１〜ｔ５のいずれか２つ）の境界Ｂから一定距離移動する状態を検出しなければ（図１０参照）、移動元の操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を第１の特定表示のままにし、移動先の操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を通常表示のままにする。一方、特定の手形状が隣接する分割特定領域間（ｔ１〜ｔ５のいずれか２つ）の境界Ｂから一定距離移動した状態を検出した場合（図１１参照）には、移動元の操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を第１の特定表示から通常表示に切り替え、移動先の操作アイコン（Ｉ１〜Ｉ５のいずれか）の表示を通常表示から第１の特定表示に切り替える。

続いて、ステップＳ７およびステップＳ８において、ユーザインタフェース制御部１００では、ジェスチャ検出部１００ｅが特定のジェスチャを検出するか、または、手形状検出部１００ｄが特定の手形状の検出を終了して一定時間経過したかを判定する。

その判定の結果、ジェスチャ検出部１００ｅが特定のジェスチャを検出すると（ステップＳ７：Ｙｅｓ）、ジェスチャ検出部１００ｅが画像表示部１００ｃに確定信号を出力するとともに、コマンド処理部１００ｆにコマンドの実行指示を出力する。すると、ステップＳ９において、確定信号を受信した画像表示部１００ｃが該当する操作アイコン（Ｉ１〜Ｉ５のいずれか）を一定時間だけ第２の特定表示に切り替える。

即ち、本実施形態では、操作者２の特定の手形状の検出のみでは、操作アイコン（Ｉ１〜Ｉ５）に対応するコマンドの実行はされず、特定の手形状の検出後、更に、続いて、特定のジェスチャが検出された場合に、操作アイコン（Ｉ１〜Ｉ５）に対応するコマンドの実行処理が行われるようになっている。

続いて、ステップＳ１０において、コマンド処理部１００ｆが、該当するコマンド（例えば、「早送り」など）の実行処理を行う。

その後、ステップＳ１１において、ステップＳ５と同様の処理により、操作者２の顔の検出を終了したと判定した場合には（ステップＳ１１：Ｙｅｓ）、ここでの処理を終了する。一方、ステップＳ１１において、操作者２の顔を検出している場合には（ステップＳ１１：Ｎｏ）、ステップＳ４に戻って以下同様の処理を行う。

一方、ステップＳ４およびステップＳ５の判定の結果、特定部分検出部１００ｂが操作者２の顔の検出を終了した場合には（ステップＳ５：Ｙｅｓ）、ここでの処理を終了する。

また、ステップＳ８において、手形状検出部１００ｄが特定の手形状の検出を終了して一定時間経過したと判定した場合には（ステップＳ８：Ｙｅｓ）、ステップＳ４に戻って以下同様の処理を行う。

即ち、以上説明した実施形態によれば、操作者の使い勝手を向上させることが可能である。具体的には、カメラの撮影により取得した操作者の画像を、検出した操作者の手（ジェスチャ）の動作に応じてコマンドの実行を指示する操作アイコンを表示する特定領域と特定の相対位置関係（即ち、操作者が操作し易い位置関係）となる位置に表示し、操作アイコンに重なる操作者の手の動作に応じてコマンドの実行指示を入力することが可能なユーザインタフェースを提供するようにしたため、操作者は簡単な手の動作（ジェスチャ）により所望のコマンドの実行を指示することが可能である。

また、従来では、操作者は手を出し、その手により所望の操作アイコンまでカーソル（セレクタ）を移動させ、所望の操作アイコンにカーソルが重なっている状態で、所定の決定アクションを行うことにより所望のコマンドの実行が行えるユーザインタフェースがあるが、この従来のユーザインタフェースでは、カーソルの移動の途中で操作者の手の認識が途切れるとコマンドの実行が行えず、最初から操作をやり直す必要があるなど操作者にとって手間の掛かるものであった。

これに対し、本実施形態のユーザインタフェースでは、所望の操作アイコンが表示される領域で手を特定の手形状にし、特定のジェスチャを行うという簡単な操作を行うだけで良く、従来のユーザインタフェースに比べ、操作者の手間を省き、操作者にとって使い勝手が良いものである。

更に、本実施形態のユーザインタフェースでは、何度か使用しているうちに、操作者は、自分の顔を基準とした一定の距離で操作アイコンの操作を行うことができることを記憶することで、ユーザインタフェース画面を確認することなく操作アイコンを操作して各種コマンドの実行を指示することができる。

以上、例示的な実施形態に基づいて説明したが、本実施形態は、前記した実施形態により限定されるものではない。

例えば、前記した実施形態では、特定部分検出部１００ｂが検出する操作者２の特定部分を「顔」とする場合について説明したが、これに限定されず、その他の特定部分とすることも可能である。具体的には、操作者２の特定部分としては、例えば、体の中心部分にある「鼻」や「口」、または、顔の近辺にある「肩」などが挙げられる。

また、前記した実施形態では、手形状検出部１００ｄが検出する操作者２の特定の手形状を「掌形状」とし、ジェスチャ検出部１００ｅが検出する特定のジェスチャを「掌形状からの上向き拳形状」とする場合について説明したが、これに限定されず、その他の特定の手形状および特定のジェスチャとすることも可能である。

具体的には、例えば、図１２に示すように、特定の手形状を「上向き拳形状」とし、特定のジェスチャを「上向き拳形状からの掌形状」というジェスチャとすることも可能であるし、その他、図１３に示すように、特定の手形状を、操作者２が掌を握って握った拳をカメラ１４１に向けた状態の形状である「前向き拳形状」とし、特定のジェスチャを、前向き拳形状から親指を上げた状態である「親指上げ拳形状」というジェスチャとすることも可能である。

また、その他の特定の手形状としては、特に図示していないが、操作者が人差し指を伸ばしてカメラ１４１に向けた状態の形状である「指差し形状」や、操作者が人差し指および中指を上方に向けて伸ばし、掌側をカメラ１４１に向けた状態の形状である「指上げ形状」などが挙げられ、他方、特定のジェスチャとしては、「掌形状から掌をカメラ１４１方向に倒す」というジェスチャや、「掌形状から掌をカメラ１４１方向に押し出す」というジェスチャなどが挙げられる。

また、前記した実施形態では、手形状検出部１００ｄおよびジェスチャ検出部１００ｅは、それぞれ予め定められた一つの特定の手形状、特定のジェスチャのみしか検出しない形態について説明したが、これに限定されず、予め複数の特定の手形状および特定のジェスチャを登録しておき、手形状検出部１００ｄおよびジェスチャ検出部１００ｅがそれぞれ登録されている複数の特定の手形状および特定のジェスチャのいずれかを検出するような形態とすることも可能である。

また、前記した実施形態では、ユーザインタフェース画面１２０を表示するタイミングを、操作者２の顔を検出した場合について説明したが、これに限定されず、その他のタイミングとすることも可能である。具体的には、例えば、操作者２の顔を検出した後、更に、操作者２の手形状を検出したタイミングとすることも可能である。

また、前記した実施形態では、ユーザインタフェース画面１２０を情報処理装置１の表示面の全体の領域に表示する形態（即ち、音楽コンテンツを再生する場合に最適な利用形態）について説明したが、これに限定されず、例えば、動画コンテンツを再生する場合に最適な利用形態として、図１４に示すように、ユーザインタフェース画面１２０を表示面の一部の領域Ｔ３に表示し、そのＴ３の領域以外の他の領域Ｔ４に、動画などのコンテンツを表示するような形態とすることも可能である。

また、前記した実施形態では、図７に示すように、操作者２の顔（特定部分）を表示する顔表示領域Ｔ２を、特定領域Ｔ１との特定の相対位置関係となる位置に固定とする形態について説明したが、これに限定されず、例えば、操作者２の顔（特定部分）のサイズに応じて操作者２毎に操作し易い位置に適宜調節するような形態とすることも可能である。

また、前記した実施形態では、情報処理装置１としてパーソナルコンピュータに適用した場合について説明したが、これに限定されず、その他の情報処理装置１に適用することも可能であり、例えば、テレビジョン受像装置や、携帯型の情報端末などに適用することも可能である。

また、前記した実施形態のユーザインタフェース画面１２０では、特定領域Ｔ１として、５つの分割特定領域ｔ１〜ｔ５を有し、顔表示領域Ｔ２と特定の相対位置関係となる箇所で凹状に配置される形態について説明したが、これに限定されず、顔表示領域Ｔ２と特定の相対位置関係（即ち、操作者が操作し易い位置関係）となる箇所に配置されさえすれば、その他の配置であっても良いものとする。具体的には、顔表示領域Ｔ２の周辺を円状に囲むような配置や、顔表示領域Ｔ２の下方位置に横一列に並ぶような配置や、操作者の利き腕を認識して、その利き腕側に並べる配置などとすることも可能である。

また、前記した実施形態では、ユーザインタフェース制御部１００を実現するための処理プログラムＰを、コンテンツを再生するためのアプリケーションに組み込んだ場合について説明したが、これに限定されず、例えば、前記アプリケーションには組み込まれず、そのアプリケーションに対して操作者によるコマンドの実行指示を仲介する処理プログラムＰとすることも可能である。なお、その場合には、コマンド処理部１００ｆは、コマンドを実行するのではなく、コマンドの実行を指示する信号をアプリケーションに出力する。

また、前記した実施形態では、操作アイコン（Ｉ１〜Ｉ５）は、コンテンツの再生に係るコマンドの実行を指示するアイコンである場合について説明したが、これ以外にも、例えば、所定のアプリケーションの起動に係るコマンドの実行を指示する操作アイコンとすることも可能である。

また、前記した実施形態の情報処理装置１で実行される処理プログラムＰは、情報処理装置１に予めインストールされる以外にも、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読取り可能な記憶媒体に記憶して提供しても良いし、インターネットなどのネットワーク経由で提供または配布するようにしても良い。

その他、前記した実施形態における情報処理装置のハードウェア構成および機能的構成や、ユーザインタフェース画面の構成や、そのユーザインタフェース画面で表示される操作アイコンの種別やレイアウトや、処理手順などは、単なる例として記載したものであり、本実施形態は、それらにより限定されない。

１ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 表示部（表示手段）
１２１ ディスプレイ
１３ 操作部
１３１ キーボード
１４ 撮影部（撮影手段）
１４１ カメラ（撮影手段）
１５ 電力供給部
１００ ユーザインタフェース制御部（制御手段）
１００ａ 画像入力部
１００ｂ 特定部分検出部（特定部分検出手段）
１００ｃ 画像表示部（画像表示手段）
１００ｄ 手形状検出部（手形状検出手段）
１００ｅ ジェスチャ検出部（ジェスチャ検出手段）
１００ｆ コマンド処理部（コマンド実行手段）
１２０ ユーザインタフェース画面
Ｉ１〜Ｉ５ 操作アイコン
Ｔ１ 特定領域
ｔ１〜ｔ５ 分割特定領域
Ｔ２ 顔表示領域

Claims (11)

1. 画像を表示する表示手段と、
   前記表示手段に表示する画像を撮影する撮影手段と、
   前記撮影手段で取得した操作者の画像を、操作者の動作に応じてコマンドの実行を指示する操作アイコンの画像を表示する特定領域と特定の相対位置関係となる位置に表示する制御手段と、
   を有する情報処理装置。
2. 前記制御手段は、操作者の画像を、前記特定領域の表示座標と前記操作者の特定部分の表示座標とが前記特定の相対位置関係となる位置に表示する請求項１に記載の情報処理装置。
3. 前記特定の相対位置関係とは、前記操作アイコンを操作者が操作し易い位置と定義された位置関係のことである請求項２に記載の情報処理装置。
4. 前記制御手段は、
   前記撮影手段で取得した画像から操作者の特定部分を検出する特定部分検出手段と、
   前記特定部分検出手段で前記特定部分を検出した場合に、前記操作アイコンの画像と、前記特定部分の画像が前記特定領域と特定の相対位置関係となる位置に配置される操作者の画像とを表示する画像表示手段と、
   前記画像表示手段の表示後、前記特定領域における操作者の特定の手形状を検出する手形状検出手段と、
   前記手形状検出手段で前記特定の手形状を検出した場合に、前記特定領域における操作者の特定のジェスチャを検出するジェスチャ検出手段と、
   前記ジェスチャ検出手段で前記特定のジェスチャを検出した場合に、前記操作アイコンに対応するコマンドを実行する処理を行うコマンド実行手段と、
   を更に有する請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記特定領域が複数の分割特定領域に区切られ、分割特定領域毎に異なる操作アイコンが割り当て表示され、
   前記手形状検出手段および前記ジェスチャ検出手段は、分割特定領域毎に検出を行い、前記コマンド実行手段は、前記ジェスチャ検出手段で前記特定のジェスチャを検出した分割特定領域に対応するコマンドを実行する請求項４に記載の情報処理装置。
6. 前記制御手段は、前記手形状検出手段で特定の手形状を検出した場合に、前記特定の手形状を検出した分割特定領域に対応する操作アイコンの表示を第１の特定表示に切り替え、該切り替え後、前記ジェスチャ検出手段で特定のジェスチャを検出した場合に、前記操作アイコンの表示を前記第１の特定表示と異なる第２の特定表示に切り替える請求項５に記載の情報処理装置。
7. 前記制御手段は、前記手形状検出手段により、隣接する分割特定領域間で特定の手形状の移動が検出される場合、前記特定の手形状が前記隣接する分割特定領域間の境界から一定距離移動したのを検出した場合に、移動元の操作アイコンの表示を第１の特定表示から通常表示に戻し、他方、移動先の操作アイコンの表示を通常表示から第１の特定表示に切り替える請求項６に記載の情報処理装置。
8. 操作アイコンとは、コンテンツの再生に係るコマンドの実行を指示するアイコンである請求項１〜７のいずれか一項に記載の情報処理装置。
9. 操作アイコンとは、カーソルキー、決定キー、戻るキー、および、所定のアプリケーションの起動に係るコマンドの実行を指示するキーのいずれかのアイコンである請求項１〜７のいずれか一項に記載の情報処理装置。
10. 画像を表示する表示手段と、
    前記表示手段に表示する画像を取得する撮影手段と、
    を有する情報処理装置で実行される制御方法であって、
    制御手段が、前記撮影手段で取得した操作者の画像を、操作者の動作に応じてコマンドの実行を指示する操作アイコンの画像を表示する特定領域と特定の相対位置関係となる位置に表示する制御方法。
11. 画像を表示する表示手段と、
    前記表示手段に表示する画像を撮影する撮影手段と、
    を有する情報処理装置に実装されるコンピュータを、
    前記撮影手段で取得した操作者の画像を、操作者の動作に応じてコマンドの実行を指示する操作アイコンの画像を表示する特定領域と特定の相対位置関係となる位置に表示する制御手段と、
    して機能させるプログラム。

Images