JP2011054117A - 情報処理装置、表示制御方法及び表示制御プログラム - Google Patents

Abstract

【課題】同時に操作する操作者の数に依らず良好な操作性が得られるようにする。
【解決手段】複数の操作者の各々の顔に対応する操作者アイコンＵｉと、複数の操作者の各々の手の動き応じて移動する複数のポインタＰｏを画像一覧画面１３０に表示させ、さらに複数の操作者の各々の顔と手の対応関係に基づき、操作者アイコンＵｉとポインタＰｏとの間を繋ぐ紐Ｓｔを表示させる。これにより、複数のポインタＰｏの各々を誰が操作しているのかを操作者に対して容易に認識させることができる。
【選択図】図４

Description

本発明は、情報処理装置、表示制御方法及び表示制御プログラムに関し、例えば、複数の操作者が同時に操作し得るＧＵＩ（Graphical User Interface）を実装する情報処理装置に適用して好適なものである。

現在、情報処理装置の多くに、ＧＵＩが実装されている。実際、このような情報処理装置では、例えば、操作者による操作に応じて画面上を移動するポインタを表示させ、このポインタで画面の任意の位置を指すことで、画面上に表示したアイコンなどを選択できるようになっている。

またポインタを画面上で移動させる為のポインティングデバイスとしては、マウスやタッチパッドが一般的であるが、モーションセンサにより空間での動きを検出してポインタを移動させるコントローラなども提案されている。例えば特許文献１参照。

ところで、このような情報処理装置の多くは、１つの画面に対して１人の操作者が操作することを想定したものである。

一方で、ゲーム機などの情報処理装置の中には、１つの画面に対して複数の操作者が同時に操作することを想定したものもあり、今後、このような情報処理装置が増えていくと予想される。

実際、このような情報処理装置では、１つの画面に対して操作者ごとに割り当てた複数のポインタを表示させ、各操作者がそれぞれ自分のポインタを操作して画面の任意の場所を指すことができるようになっている。

特開２００９−１５７９１９公報

ところが、上述したように、１つの画面に対して複数のポインタを表示させると、どの操作者がどのポインタを操作しているのかがわかりにくく、１人の操作者が操作する場合と比して、操作性が低下するという問題があった。

本発明は以上の点を考慮してなされたもので、同時に操作する操作者の数に依らず良好な操作性を得ることのできる情報処理装置、表示制御方法及び表示制御プログラムを提案しようとするものである。

かかる課題を解決するため本発明においては、操作主体と、当該操作主体による指示とを対応付けて認識する認識部と、認識部が認識した操作主体を示す第１の表示情報と、操作主体による指示に応じて操作される第２の表示情報とを表示部に表示させ、さらに操作主体と当該操作主体による指示との対応関係に基づいて、当該第１の表示情報と当該第２の表示情報との関連性を示す関連情報を表示部に表示させる制御部とを設けるようにした。

これにより、操作主体（例えば操作者自身）による指示に応じて操作される第２の表示情報（例えばポインタ）が、どの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。ゆえに、例えば、操作主体が複数存在して第２の表示情報が複数表示されるような場合であっても、第２の表示情報の各々がどの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。

本発明によれば、操作主体による指示に応じて操作される第２の表示情報が、どの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。ゆえに、例えば、操作主体が複数存在して第２の表示情報が複数表示されるような場合であっても、第２の表示情報の各々がどの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。かくして、同時に操作する操作者の数に依らず良好な操作性を得ることのできる情報処理装置、表示制御方法及び表示制御プログラムを実現できる。

本実施の形態の概要となる情報処理装置の構成を示す略線図である。 本実施の形態の具体例となる多人数同時操作システムの構成を示す略線図である。 ＴＶ受像機及びステレオカメラのハードウェア構成を示すブロック図である。 画像一覧画面の構成を示す略線図である。 ミラーリングしたカメラ画像からの顔領域と手領域の検出の説明に供する略線図である。 顔領域の画像を操作者アイコンとして表示するときの表示例を示す略線図である。 手の位置にポインタを表示するときの表示例を示す略線図である。 紐を表示するときの表示例を示す略線図である。 紐の形状の変化の説明に供する略線図である。 ポインタのアニメーションを示す略線図である。 ポインタ表示処理手順を示すフローチャートである。 他の実施の形態における画像一覧画面の構成を示す略線図である。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態

＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。

図１において１は、情報処理装置を示す。この情報処理装置１には、操作主体と当該操作主体による指示とを対応付けて認識する認識部２が設けられている。またこの情報処理装置１には、認識部２が認識した操作主体を示す第１の表示情報と、操作主体による指示に応じて操作される第２の表示情報とを表示部（図示せず）に表示させ、さらに操作主体と当該操作主体による指示との対応関係に基づいて、当該第１の表示情報と当該第２の表示情報との関連性を示す関連情報を表示部に表示させる制御部３が設けられている。

このような構成を有することで、情報処理装置１は、操作主体（例えば操作者自身）による指示に応じて操作される第２の表示情報（例えばポインタ）が、どの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。ゆえに、例えば、操作主体が複数存在して第２の表示情報が複数表示されるような場合であっても、第２の表示情報の各々がどの操作主体により操作されているのかを、操作者に対して容易に認識させることができる。

より具体的には、制御部３は、例えば、第１の表示情報と上記第２の表示情報との間を繋ぐ線を関連情報として表示させる。さらにこの場合に、制御部３が、第２の表示情報の操作に応じて、関連情報としての線をたわませたり、太くしたりするようにしてもよい。

また制御部３が、第２の表示情報の操作が所定時間行われなかった場合に、第２の表示情報を非表示にするようにしてもよい。さらにこの場合に、制御部３が、第２の表示情報の操作が開始されたら、第２の表示情報を第１の表示情報の位置に表示させてから移動させ、操作が終了したら、第２の表示情報を第１の表示情報の位置に移動させてから非表示にするようにしてもよい。

さらに情報処理装置１にカメラ画像から操作主体としての操作者を検出する検出部４を設けるようにしてもよい。この場合、認識部２は、検出部４により検出された操作者の顔と当該操作者の手の動きとに基づき、操作者と当該操作者による指示とを対応付けて認識するようにする。さらにこの場合、制御部３は、検出部４により検出された操作者の顔画像を第１の表示情報として表示させ、当該操作者の手の動きに応じて第２の表示情報の表示位置を移動させるようにする。

さらにこの場合、制御部３が、検出部４により検出された操作者のカメラ画像内での位置と対応する位置に、第１の表示情報を表示させるようにしてもよい。

さらに認識部２が、操作主体としての外部機器と、当該外部機器からの入力信号とに基づき、外部機器と当該外部機器による指示とを対応付けて認識するようにしてもよい。

さらに認識部２が、ネットワークを介して指示を出す操作主体と、ネットワークを介さずに直接指示を出す操作主体とを認識するようにしてもよい。この場合、制御部３が、認識部２の認識結果に基づき、ネットワークを介して指示を出す操作主体に対応する第１の表示情報を第１の表示領域内に表示させ、ネットワークを介さずに直接指示を出す操作主体に対応する第１の表示情報を第２の表示領域内に表示させるようにする。

このような構成でなる情報処理装置１の具体例について、以下、詳しく説明する。

［１−２．実施の形態の具体例］
［１−２−１．多人数同時操作システムの構成］
次に、本実施の形態の具体例を説明する。図２において１００は、同時に複数の操作者が操作することを想定した多人数同時操作システムを示す。

この多人数同時操作システム１００は、テレビジョン受像機（これをＴＶ受像機とも呼ぶ）１０１と、このＴＶ受像機１０１に接続されたステレオカメラ１０２とで構成される。

ステレオカメラ１０２は、ＴＶ受像機１０１の上部に、ＴＶ受像機１０１の前方を向くようにして取り付けられ、ＴＶ受像機１０１の前方を撮像するようになっている。

ここで、ステレオカメラ１０２の撮像範囲内に、例えば、４人の操作者Ａ〜Ｄがいるとする。このときＴＶ受像機１０１は、ステレオカメラ１０２により撮像されたカメラ画像から検出した操作者Ａ〜Ｄの手の動きをもとに、操作者Ａ〜Ｄの各々による操作を認識して、この操作に応じて動作する。

このようにして、この多人数同時操作システム１００では、ＴＶ受像機１０１に向かって操作者Ａ〜Ｄが各々の手を動かすことで、操作者Ａ〜Ｄの各々が同時にこのＴＶ受像機１０１を操作できるようになっている。

またＴＶ受像機１０１は、携帯端末１０３と無線通信することができ、この携帯端末１０３から送られてくるコマンドをもとに、操作者Ｅによる携帯端末１０３を介した操作を認識して、この操作に応じて動作する。尚、この携帯端末１０３は、ＴＶ受像機１０１のリモートコントロール機能を有する端末であるとする。

すなわち、この多人数同時操作システム１００では、ステレオカメラ１０２の撮像範囲外からでも、操作者Ｅが携帯端末１０３を介して、撮像範囲内にいる他の操作者Ａ〜Ｄと同様に且つ同時に、ＴＶ受像機１０１を操作できるようになっている。

［１−２−２．ＴＶ受像機及びステレオカメラのハードウェア構成］
次に、図３を用いて、ＴＶ受像機１０１及びステレオカメラ１０２のハードウェア構成について説明する。

ＴＶ受像機１０１は、外部インタフェース１１０を介して、ステレオカメラ１０２とケーブル接続され、また無線インタフェース１１１を介して携帯端末１０３と無線接続される。

このＴＶ受像機１０１では、ＣＰＵ１１２が各部を統括的に制御するようになっている。ＣＰＵ１１２は、不揮発性メモリ１１３に書き込まれているプログラムをＲＡＭ１１４に展開してこれを読み込み、このプログラムに従って各種処理を行うと共に各部を制御する。

このＴＶ受像機１０１は、上述したように、操作者の手の動きを検出して、これを操作として認識するようになっている。具体的に、ＴＶ受像機１０１のＣＰＵ１１２は、ステレオカメラ１０２を制御してステレオカメラ１０２の前方（すなわちＴＶ受像機１０１の前方）を撮像させ、この結果得られるカメラ画像から例えば操作者Ａ〜Ｄの各々の手の動きを検出する。そしてＣＰＵ１１２は、検出した手の動きから操作者Ａ〜Ｄの各々による操作（ポインタ操作、ジェスチャ操作など）を認識して、この操作に応じた処理を行う。

またＣＰＵ１１２は、携帯端末１０３から送られてくるコマンドをもとに、操作者Ｅによる携帯端末１０３を介した操作を認識して、この操作に応じた処理を行うようにもなっている。

因みに、ＣＰＵは、Central Processing Unitの略、ＲＡＭは、Random Access Memoryの略である。

またこのＴＶ受像機１０１は、テレビジョン放送（これをＴＶ放送とも呼ぶ）出力機能を有している。実際、操作者による操作によりＴＶ放送を出力するよう指示されると、ＴＶ受像機１０１は、外部のアンテナ１１５で受信されたＴＶ放送信号をチューナ１１６に入力する。チューナ１１６は、ＣＰＵ１１２の制御のもと、操作者による操作により指定されたチャンネルのＴＶ放送信号を得て、これをＴＶ放送信号処理部１１７に送る。

ＴＶ放送信号処理部１１７は、ＣＰＵ１１２の制御のもと、ＴＶ放送信号に対して所定の信号処理を施すことにより、このＴＶ放送信号から、番組の映像データと音声データとを得る。このうち映像データは、ＴＶ放送信号処理部１１７から表示処理部１１８に送られ、音声データは、ＴＶ放送信号処理部１１７から音声処理部１１９に送られる。

表示処理部１１８は、ＣＰＵ１１２の制御のもと、映像データに対して所定の表示処理を施すことにより映像信号を得、これをディスプレイ１２０に送る。この結果、ディスプレイ１２０に、放送中の番組の映像が表示される。

一方、音声処理部１１９は、ＣＰＵ１１２の制御のもと、音声データに対して所定の音声処理を施すことにより音声信号を得、これをスピーカ１２１に送る。この結果、スピーカ１２１から、放送中の番組の音声が出力される。

このようにしてＴＶ受像機１０１は、ＴＶ放送を出力して、ＴＶ放送の番組をユーザに視聴させる。

さらにこのＴＶ受像機１０１は、画像を一覧表示する機能を有している。実際、ＣＰＵ１１２は、例えば、無線インタフェース１１１を介して無線接続されている携帯端末１０３などから受信した画像データを、不揮発性メモリ１１３に記憶させる。

そしてＣＰＵ１１２は、操作者による操作により画像を一覧表示するよう指示されると、不揮発性メモリ１１３から複数の画像データを読み出して、これを表示処理部１１８に送る。

表示処理部１１８は、ＣＰＵ１１２の制御のもと、送られてきた複数の画像データをもとに画像一覧画面（詳しくは後述する）の画面データを生成して、この画面データに対して所定の表示処理を施すことにより画面信号を得、これをディスプレイ１２０に送る。この結果、ディスプレイ１２０に、画像一覧画面が表示される。

このようにしてＴＶ受像機１０１は、画像一覧画面を表示して、画像の一覧をユーザに視認させる。尚、この画像一覧画面は、同時に複数の操作者が操作することを想定した画面であり、複数の操作者の各々が、任意の画像を選択できるようになっている。

一方、ステレオカメラ１０２は、撮像部１２２と外部インタフェース１２３とで構成され、この外部インタフェース１２３を介してＴＶ受像機１０１と接続される。

撮像部１２２には、例えば左右方向に並べられた２台のカメラ１２２Ａ及び１２２Ｂが設けられ、これら２台のカメラ１２２Ａ及び１２２Ｂにより、前方の空間を立体的に撮像し得るようになっている。

実際、撮像部１２２は、ＴＶ受像機１０１の制御のもと、カメラ１２２Ａ及び１２２Ｂの各々により前方を所定時間ごとに撮像して、この結果得られるカメラ画像データを順次外部インタフェース１２３を介してＴＶ受像機１０１に送る。

尚、ＴＶ受像機１０１に送られるカメラ画像データには、カメラ１２２Ａにより撮像されたカメラ画像データと、カメラ１２２Ｂにより撮像されたカメラ画像データとが含まれる。

ＴＶ受像機１０１では、ステレオカメラ１０２から送られてくるカメラ画像データをもとに、ＴＶ受像機１０１の前方にいる例えば操作者Ａ〜Ｄの各々を認識する。

具体的にＴＶ受像機１０１のＣＰＵ１１２は、ステレオカメラ１０２から送られてくるカメラ画像データに含まれる、例えばカメラ１２２Ａにより撮像されたカメラ画像データに対して人物検出処理を行う。ＣＰＵ１１２は、この人物検出処理により例えば操作者の顔と手を検出する。

顔の検出については、種々のアルゴリズムが知られている。例えば、カメラ画像から肌色領域とこの領域内の特徴量（目、口と思われる部分）とを抽出して、この特徴量の位置関係から肌色領域が顔であるか否かを判別するものがある。

ＣＰＵ１１２は、このようなアルゴリズムを利用して、カメラ画像から顔となる領域（これを顔領域とも呼ぶ）を検出し、検出した顔領域ごとに、その座標（例えば顔領域の中心座標）を得る。

この座標は、例えば、カメラ画像の中心を原点として、左右方向の軸をＸ軸、上下方向の軸をＹ軸とするＸＹ平面上の座標として表される。すなわち、この座標は、ステレオカメラ１０２の撮像範囲の中心を原点として、ステレオカメラ１０２から見た左右方向の軸をＸ軸、上下方向の軸をＹ軸とするＸＹ平面上の座標と見なすことができる。このＸＹ平面は、ディスプレイ１２０の表示面に対して並行な面でもある。

一方、手の検出についても、種々のアルゴリズムが知られている。例えば、カメラ画像から肌色領域とこの領域内の特徴量（例えば輪郭）とを抽出して、この特徴量と手の輪郭のテンプレート画像とのマッチング処理を行うことで、肌色領域が手であるか否かを判別するものがある。また、このとき、例えば、手の形状が異なる複数のテンプレート画像を用意して、各々のテンプレート画像とマッチング処理を行うことで、手の形状を判別することもできる。例えば、ジャンケンのグーのように握り締めた形状（これをグー形状とも呼ぶ）や、パーのように開いた形状（これをパー形状とも呼ぶ）を判別することができる。

ＣＰＵ１１２は、このようなアルゴリズムを利用して、カメラ画像から手となる領域（これを手領域とも呼ぶ）を検出し、検出した手領域ごとに、その座標（例えば手領域の中心座標）を得る。

ここで、カメラ画像に例えば４人の操作者Ａ〜Ｄが含まれているとすると、人物検出処理により４つの顔と８つの手の各々のＸＹ平面上の座標が得られる。これによりＣＰＵ１１２は、ステレオカメラ１０２から見た、４つの顔と８つの手の上下左右方向の位置関係を認識することができる。

さらにＣＰＵ１１２は、カメラ１２２Ａにより撮像されたカメラ画像データと、カメラ１２２Ｂにより撮像されたカメラ画像データとをもとに、ステレオ法により４つの顔及び８つの手の各々のステレオカメラ１０２からの距離を算出する。

ここで、ステレオカメラ１０２の位置を原点として、ステレオカメラ１０２から見た奥行き方向の軸をＺ軸とすると、この距離は、Ｚ軸上の点として表すことができる。

このようにして４つの顔と８つの手の各々のＸＹ平面上の座標とＺ軸上の点とを得ることで、４つの顔と８つの手の各々のＸＹＺ空間上の座標が得られる。

これによりＣＰＵ１１２は、ステレオカメラ１０２から見た、４つの顔と８つの手の各々の上下左右方向及び奥行き方向の位置関係、すなわち３次元空間上の位置関係を認識することができる。

そしてＣＰＵ１１２は、これらの３次元空間上の位置関係に基づいて、顔と手の対応関係を判別する。すなわちＣＰＵ１１２は、どの顔とどの手が同一人物（すなわち操作者）のものであるかを判別する。具体的にＣＰＵ１１２は、例えば、３次元空間上で、顔からの距離がより近い２つの手を、同一人物のものと判別する。

この結果、４人の操作者Ａ〜Ｄのそれぞれの顔と手（両手）とが対応付けられたことになる。その後も、ＣＰＵ１１２は、ステレオカメラ１０２から所定時間ごとに送られてくるカメラ画像データから操作者Ａ〜Ｄの各々の顔と手を検出することで、各々の顔と手の対応関係を保持しつつ、各々の手の動き（位置及び形状の変化）を検出する。

そしてＣＰＵ１１２は、このようにして検出した操作者Ａ〜Ｄの各々の手（両手）の動きに基づいて、操作者Ａ〜Ｄの各々による操作（ポインタ操作、ジェスチャ操作など）を個別に認識して、この操作に応じた処理を行う。

［１−２−３．画像一覧画面］
次に、ＴＶ受像機１０１のディスプレイ１２０に表示される画像一覧画面と、この画像一覧画面上での複数の操作者による操作について詳しく説明する。尚、ここでは、ステレオカメラ１０２で捉えた４人の操作者Ａ〜Ｄと、携帯端末１０３を持つ操作者Ｅとの５人により操作される場合を例に説明する。またＣＰＵ１１２は、不揮発性メモリ１１３から読み出したプログラムにしたがって、この画像一覧画面１３０の表示制御を行う。

ＴＶ受像機１０１のＣＰＵ１２０は、操作者による操作により画像を一覧表示するよう指示されると、図４に示すように、画像一覧画面１３０をディスプレイ１２０に表示させる。

この画像一覧画面１３０は、上側３分の２の領域１３０Ａと、下側３分の１の領域１３０Ｂとの２つの領域で構成されている。このうち上側３分の２の領域１３０Ａには、不揮発性メモリ１１３から読み出された複数の画像データの各々に対応する画像アイコンＰｉが並べて表示される。以降、この領域１３０Ａを、画像表示領域１３０Ａとも呼ぶ。

また下側３分の１の領域１３０Ｂには、複数の操作者（例えば操作者Ａ〜Ｅ）の各々に対応する操作者アイコンＵｉ（ＵｉＡ〜ＵｉＥ）が横方向に並べて表示される。以降、この領域１３０Ｂを、操作者表示領域１３０Ｂとも呼ぶ。

ここで、ステレオカメラ１０２で捉えた４人の操作者Ａ〜Ｄについては、カメラ画像から抽出された各々の顔画像が操作者アイコンＵｉＡ〜ＵｉＤとしてこの操作者表示領域１３０Ｂに表示される。一方、携帯端末１０３の操作者Ｅについては、顔画像の代わりに、携帯端末１０３の画像が操作者アイコンＵｉＥとして表示される。

さらにこの画像一覧画面１３０には、操作者Ａ〜Ｅの各々により操作される複数のポインタＰｏ（ＰｏＡ１、ＰｏＢ１、ＰｏＢ２、ＰｏＣ１、ＰｏＣ２、ＰｏＤ１、ＰｏＥ）が表示される。

ここで、ステレオカメラ１０２で捉えた４人の操作者Ａ〜Ｄの各々に対応する操作者アイコンＵｉＡ〜ＵｉＤについては、カメラ画像内の左右方向における各々の顔の位置に対応する、操作者表示領域１３０Ｂ内の位置に表示される。

また、これら４人の操作者Ａ〜Ｄの各々により操作されるポインタＰｏについては、カメラ画像内の上下左右方向における各々の手（両手）の位置に対応する、画像一覧画面１３０内の位置に表示されるようになっている。

具体的に、ＣＰＵ１１２は、ステレオカメラ１０２で撮像されたカメラ画像の左右を反転（ミラーリング）させ、ディスプレイ１２０の解像度に変換する。

そのうえでＣＰＵ１１２は、カメラ画像から操作者Ａ〜Ｄの各々の顔領域Ｆａと手領域Ｈｒを検出して（図５）、これらのカメラ画像内での座標を得る。この座標が、ディスプレイ１２０の画面内での座標に対応する。

さらにＣＰＵ１１２は、操作者Ａ〜Ｄの各々の顔領域ＦａのＹ座標を、操作者表示領域１３０Ｂの上下方向の中心に固定して、このときの操作者Ａ〜Ｄの各々の顔領域ＦａのＸ座標に対応する位置に操作者アイコンＵｉＡ〜ＵｉＤを表示させる（図６）。この結果、操作者表示領域１３０Ｂには、カメラ画像内での操作者Ａ〜Ｄの各々の顔の位置に対応する位置に、操作者Ａ〜Ｄの各々に対応する操作者アイコンＵｉＡ〜ＵｉＤが表示される。

つまり、操作者表示領域１３０Ｂには、ＴＶ受像機１０１の前方にいる操作者Ａ〜Ｄの実際の顔の位置に対応するように、左から順に、操作者アイコンＵｉＡ、ＵｉＢ、ＵｉＣ、ＵｉＤが並べて表示される。

またＣＰＵ１１２は、操作者Ａ〜Ｄの各々の手領域Ｈｒの座標に対応する位置にポインタＰｏを表示させる（図７）。この結果、画像一覧画面１３０には、カメラ画像内での操作者Ａ〜Ｄの各々の手の位置に対応する位置に、操作者Ａ〜Ｄの各々により操作されるポインタＰｏが表示される。

つまり、画像一覧画面１３０には、ＴＶ受像機１０１の前方にいる例えば操作者Ｂの実際の左手の位置に対応する位置にポインタＰｏＢ１が表示され、実際の右手の位置に対応する位置にポインタＰｏＢ２が表示される。

さらにＣＰＵ１１２は、カメラ画像から操作者Ａ〜Ｄの各々の手の位置の変化を検出して、検出した手の位置の変化に合わせてポインタＰｏを移動させる。

このように画像一覧画面１３０では、操作者Ａ〜Ｄの各々が手を動かすことで、各々の手に対応するポインタＰｏを例えば所望の画像アイコンＰｉ上に移動させることができるようになっている。

またＣＰＵ１１２は、ポインタＰｏが画像アイコンＰｉ上に位置するとき、この画像アイコンＰｉの外周に枠Ｆｒを表示する（図４）ことでポインタＰｏにより画像アイコンＰｉを指定した状態であることをグラフィカルに示すようになっている。

さらにＣＰＵ１１２は、ポインタＰｏが画像アイコンＰｉ上に位置している状態で、このポインタＰｏに対応する手の形状がパー形状からグー形状に変化したことを検出すると、このポインタＰｏで画像アイコンＰｉを選択した状態にする。

このとき、ＣＰＵ１１２は、この画像アイコンＰｉを他の画像アイコンＰｉよりも大きく表示する（図４）ことで、選択した状態であることをグラフィカルに示すようになっている。

このように画像一覧画面１３０では、操作者Ａ〜Ｄの各々がポインタＰｏを操作して所望の画像アイコンＰｉを選択できるようになっている。

またＣＰＵ１１２は、ポインタＰｏで画像アイコンＰｉを選択している状態のまま、このポインタＰｏに対応する手の位置が移動すると、ポインタＰｏと共にこの画像アイコンＰｉを移動させる。

さらにＣＰＵ１１２は、ポインタＰｏで画像アイコンＰｉを選択している状態で、ポインタＰｉに対応する手の形状がグー形状からパー形状に変化すると、この画像アイコンＰｉの選択を解除した状態にする。

このように画像一覧画面１３０では、操作者Ａ〜Ｄの各々がポインタＰｏを操作して所望の画像アイコンＰｉをドラッグアンドドロップできるようにもなっている。

さらに、ＣＰＵ１１２は、操作者Ａ〜Ｄの各々の手の形状の変化に合わせて、ポインタＰｏの形状を変化させる。すなわちＣＰＵ１１２は、手の形状がグー形状である場合には、この手に対応するポインタＰｏの形状をグー形状にする一方で、手の形状がパー形状である場合には、この手に対応するポインタＰｏの形状をパー形状にする。

このようにしてＣＰＵ１１２は、操作者Ａ〜Ｄの各々によるハンドジェスチャを、ポインタＰｏの形状によりグラフィカルに示すようになっている。

さらに画像一覧画面１３０には、操作者Ａ〜Ｄの顔と手の対応関係に基づき、操作者Ａ〜Ｄの各々の顔に対応する操作者アイコンＵｉＡ〜ＵｉＤと、操作者Ａ〜Ｄの各々の手に対応するポインタＰｏとの間を繋ぐ紐Ｓｔが表示される。

具体的にＣＰＵ１１２は、上述したように、カメラ画像から操作者Ａ〜Ｄの各々の顔と手の対応関係を判別する。そしてＣＰＵ１１２は、この対応関係に基づき、画像一覧画面１３０上に、操作者アイコンＵｉとポインタＰｏとの間を繋ぐ紐Ｓｔを表示させる（図８）。このときＣＰＵ１１２は、操作者アイコンＵｉの座標（例えば中心座標）とポインタＰｏの座標（例えば中心座標）とを結ぶ曲線を算出して、この曲線を紐Ｓｔとして表示させる。

尚、ＣＰＵ１１２は、操作者アイコンＵｉの座標又はポインタＰｏの座標が変わるごとに曲線を算出し直すことで、ポインタＰｏが移動しようとも、常に操作者アイコンＵｉとポインタＰｏとの間を紐Ｓｔで繋ぐようになっている。

この結果、画像一覧画面１３０には、例えば、図４に示すように、操作者Ｂの顔に対応する操作者アイコンＵｉＢと、操作者Ｂの左手に対応するポインタＰｏＢ１との間を繋ぐ紐ＳｔＢ１が表示される。またこの操作者アイコンＵｉＢと、操作者Ｂの右手に対応するポインタＰｏＢ２との間を繋ぐ紐ＳｔＢ２が表示される。

こうすることで、この画像一覧画面１３０では、複数のポインタＰｏの各々が、操作者Ａ〜Ｄのうちの誰に操作されているのかを、この画像一覧画面１３０を見ている人物（例えば操作者Ａ〜Ｅ）に対して容易に認識させることができる。

またＣＰＵ１１２は、ポインタＰｏの形状がパー形状のときと、グー形状のときとで、紐Ｓｔの形状を変えるようにもなっている。

具体的に、ＣＰＵ１１２は、図９に示すように、操作者アイコンＵｉの中心座標とポインタＰｏの中心座標とを結ぶ直線（実際は非表示）Ｌｉに対して弓なりの曲線Ｃｕを算出する。ここで、ポインタＰｏの形状がパー形状のとき、ＣＰＵ１１２は、図９（Ａ）に示すように、直線Ｌｉとの距離が最も離れる頂点Ｐｍが中央に位置する曲線Ｃｕを算出して、これを紐Ｓｔとして表示させる。

これに対して、ポインタＰｏがグー形状のとき、ＣＰＵ１１２は、パー形状のときよりも、頂点Ｐｍが操作者アイコンＵｉ寄りで且つ頂点Ｐｍと直線Ｌｉとの距離が大きい曲線Ｃｕを算出する。さらにＣＰＵ１１２は、この曲線Ｃｕの太さをパー形状のときよりも太くして、紐Ｓｔとして表示させる。

すなわち、この画像一覧画面１３０では、紐Ｓｔを操作者の腕に見立て、ポインタＰｏがグー形状になったときに、操作者が腕にぐっと力を入れて折り曲げた感じを紐Ｓｔをたわませて太くすることでグラフィカルに示すようになっている。

こうすることで、この画像一覧画面１３０では、操作者が自分の手で画像を掴むような感覚で、ポインタＰｏにより画像アイコンＰｉを選択することができる。

さらにこの画像一覧画面１３０では、複数のポインタＰｏを常に表示したままにすると、画面が煩雑になる恐れがあるので、所定時間動きのないポインタＰｏについては、一時的に非表示にするようになっている。

具体的にＣＰＵ１１２は、操作者Ａ〜Ｄの各々の手について、その動きが止まることにより対応するポインタＰｏの動きが止まると、カウントを開始する。そしてＣＰＵ１１２は、動きが止まってから所定時間経過したポインタＰｏについては、非表示にする。

このときＣＰＵ１１２は、動きのないポインタＰｏを単に非表示にするのではなく、図１０（Ａ）に示すように、このポインタＰｏが紐Ｓｔにより繋がっている操作者アイコンＵｉに引き込まれるようにアニメーションさせてから非表示にする。

その後、このポインタＰｏに対応する手が再び動かされたとする。するとＣＰＵ１１２は、このポインタＰｏを単に再表示するのではなく、図１０（Ｂ）に示すように、このポインタＰｏを操作者アイコンＵｉ近傍に表示させてから実際の手の位置に対応する位置まで引き出されるようにアニメーションさせる。

尚、ＣＰＵ１１２は、ポインタＰｏを再表示する場合に限らず、例えば、ポインタＰｏを画面上に最初に表示する場合にも同様にアニメーションさせる。この場合、ＣＰＵ１１２は、例えば、ポインタＰｏの各々を、対応する手の動きを検出するまでは非表示にして、手の動きを検出したら表示してアニメーションさせる。

こうすることで、この画像一覧画面１３０では、どの操作者によりどのポインタＰｏの操作が開始されたのかを、この画像一覧画面１３０を見ている人物（例えば操作者Ａ〜Ｅ）に対して容易に認識させることができる。また画面上に複数のポインタＰｏが操作されていないにも係わらず表示されたままになる状況を回避することができる。

一方、携帯端末１０３に対応する操作者アイコンＵｉＥについては、操作者表示領域１３０Ｂ内の例えば空き領域に表示される。さらに、この携帯端末１０３を介して操作されるポインタＰｏについては、携帯端末１０３から送られてくるコマンドに応じて移動するようになっている。

尚、ここでは、携帯端末１０３が、片手での操作を想定した操作部を有する端末であるとする。ゆえに、この携帯端末１０３で一度に操作できるポインタＰｏは１つとなる。したがって、画像一覧画面１３０上には、携帯端末１０３を介して操作し得るポインタＰｏとして、１つのポインタＰｏＥのみが表示される。このポインタＰｏＥについては、その形状が例えば矢印形状に固定であるとする。

そしてこの画像一覧画面１３０では、操作者Ａ〜Ｄの各々と同様に、操作者Ｅが携帯端末１０３を介してポインタＰｏＥを操作することで所望の画像アイコンＰｉを選択したり、ドラッグアンドドロップできるようになっている。

さらにこの画像一覧画面１３０には、操作者アイコンＵｉＥとポインタＰｏＥとの間を繋ぐ紐Ｓｔが表示されるようにもなっている。このときＣＰＵ１１２は、コマンドとこのコマンドを送ってきた携帯端末１０３との対応関係に基づき、操作者アイコンＵｉＥとポインタＰｏＥとの間を繋ぐ紐ＳｔＥを表示させる。尚、この紐ＳｔＥは、例えば、ステレオカメラ１０２で捉えた操作者Ａ〜Ｄの操作者アイコンＵｉとポインタＰｏとの間を繋ぐ紐Ｓｔとは異なる形状（例えば点線）で表示される。

さらにこのポインタＰｏＥについても、所定時間動きがない場合にアニメーションしながら非表示となり、再び動きがあるとアニメーションしながら再表示されるようになっている。

因みに、本実施の形態の概要で説明した情報処理装置１の認識部２、制御部３及び検出部４の具体的なハードウェアの例が上述したＴＶ受像機１０１のＣＰＵ１１２である。また概要で説明した操作主体の具体例が、上述した操作者Ａ〜Ｄ及び携帯端末１０３である。さらに概要で説明した操作主体を示す第１の表示情報の具体例が上述した操作者アイコンＵｉである。さらに概要で説明した操作主体による指示に応じて操作される第２の表示情報の具体例が上述したポインタＰｏである。さらに第１の表示情報と第２の表示情報との関連性を示す関連情報の具体例が上述した紐Ｓｔである。

［１−２−４．ポインタ表示処理手順］
ここで、ポインタＰｏの表示に係わる処理の手順（これをポインタ表示処理手順とも呼ぶ）について説明する。因みに、このポインタ表示処理手順は、ＴＶ受像機１０１のＣＰＵ１１２が、不揮発性メモリ１１３から読み出したプログラムに従って実行するポインタ表示処理の手順である。ＣＰＵ１１２は、このポインタ表示処理を、ポインタＰｏごとに実行するようになっている。したがって、ここでは、或る１つのポインタＰｏに対して実行するポインタ表示処理について説明することとする。

ＣＰＵ１１２は、例えば、操作者の操作により画像を一覧表示するよう指示されると、画像一覧画面１３０を表示させると共に、図１１に示すポインタ表示処理手順ＲＴ１を開始して、ステップＳＰ１に移る。

ステップＳＰ１において、ＣＰＵ１１２は、ポインタＰｏが現在表示中であるか否かを判別する。ここで、ポインタＰｏが現在非表示であることにより、否定結果を得ると、ＣＰＵ１１２は、ステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１２は、このポインタＰｏに動きがあるか否かを判別する。ここで、肯定結果を得ると、このことは、このポインタＰｏに対応する手が動かされたことで、もしくは携帯端末１０３からコマンドが送られてくることで、ポインタＰｏが動かされたことを意味する。

このときＣＰＵ１１２は、ステップＳＰ３に移る。ステップＳＰ３においてＣＰＵ１１２は、このポインタＰｏの表示を開始する。このときＣＰＵ１１２は、このポインタＰｏが操作者アイコンＵｉから引き出されるようにアニメーションさせ、またこのポインタＰｏと操作者アイコンＵｉとを繋ぐ紐Ｓｔも表示させる。

このようにしてポインタＰｏを表示させた後、ＣＰＵ１１２は、再びステップＳＰ１に戻る。

これに対して、上述のステップＳＰ２で否定結果を得ると、このことは、ポインタＰｏに動きがないことを意味する。このときＣＰＵ１１２は、ステップＳＰ３の処理をスキップして、再びステップＳＰ１に戻る。

また一方で、上述のステップＳＰ１で肯定結果を得ると、このことは、ポインタＰｏが現在表示中であることを意味する。このときＣＰＵ１１２は、ステップＳＰ４に移る。

ステップＳＰ４においてＣＰＵ１１２は、このポインタＰｏに動きがあるか否かを判別する。ここで、このポインタＰｏに動きがないことにより、否定結果を得ると、ＣＰＵ１１２は、ステップＳＰ５に移る。

ステップＳＰ５においてＣＰＵ１１２は、このポインタＰｏの動きが止まってから所定時間経過したか否かを判別する。ここで、また所定時間経過していないことにより、否定結果を得ると、ＣＰＵ１１２は、再びステップＳＰ４に戻る。

これに対して、ポインタＰｏの動きが止まってから所定時間経過したことにより、このステップＳＰ５で肯定結果を得ると、ＣＰＵ１１２は、ステップＳＰ６に移る。ステップＳＰ６においてＣＰＵ１１２は、このポインタＰｏの表示を終了して（すなわち非表示にして）、再びステップＳＰ１に戻る。このときＣＰＵ１１２は、このポインタＰｏが操作者アイコンＵｉに引き込まれるようにアニメーションさせる。

また上述のステップＳＰ４で、ポインタＰｏに動きがあることにより、肯定結果を得た場合には、ＣＰＵ１１２は、ステップＳＰ５、ＳＰ６の処理をスキップして、再びステップＳＰ１に戻る。

このようなポインタ表示処理手順ＲＴ１にしたがって、ＣＰＵ１１２は、ポインタＰｏの表示、非表示を制御するようになっている。

［１−２−５．動作及び効果］
以上の構成において、ＴＶ受像機１０１のＣＰＵ１１２は、ステレオカメラ１０２で撮像したカメラ画像から、ＴＶ受像機１０１の前方にいる操作者Ａ〜Ｄの各々の顔と手を検出する。さらにＣＰＵ１１２は、操作者Ａ〜Ｄの各々の顔と手の位置関係に基づき、どの顔とどの手が同一人物のものであるか、すなわち顔と手の対応関係を判別する。

そしてＣＰＵ１１２は、操作者Ａ〜Ｄの各々の顔に対応する操作者アイコンＵｉＡ〜ＵｉＤと、操作者Ａ〜Ｄの各々の手の動き応じて移動する複数のポインタＰｏＡ〜ＰｏＤを画像一覧画面１３０に表示させる。

さらにこのときＣＰＵ１１２は、判別した顔と手の対応関係に基づき、操作者Ａ〜Ｅの各々の顔に対応する操作者アイコンＵｉＡ〜Ｄと、操作者Ａ〜Ｅの各々の手に対応するポインタＰｏとの間を繋ぐ紐Ｓｔを画像一覧画面１３０に表示させる。

こうすることで、ＴＶ受像機１０１は、ポインタＰｏと操作者アイコンＵｉとの関連性、すなわち複数のポインタＰｏの各々を誰が操作しているのかを、画像一覧画面１３０を見ている人物（操作者）に対して容易に認識させることができる。

またＣＰＵ１１２は、ＴＶ受像機１０１に携帯端末１０３が接続されている場合、この携帯端末１０３に対応する操作者アイコンＵｉＥを画像一覧画面１３０に表示させる。またこのときＣＰＵ１１２は、この携帯端末１０３から送られてくるコマンドに応じて移動するポインタＰｏＥを画像一覧画面１３０に表示させる。

さらに、ＣＰＵ１１２は、コマンドとこのコマンドを送ってきた携帯端末１０３との対応関係に基づき、携帯端末１０３に対応する操作者アイコンＵｉＥと、携帯端末１０３を介して操作されるポインタＰｏＥとの間を繋ぐ紐Ｓｔを表示させる。

こうすることで、ＴＶ受像機１０１は、ポインタＰｏＥが携帯端末１０３を介して操作されていることを、画像一覧画面１３０を見ている人物（操作者）に対して容易に認識させることができる。

またこのように操作者アイコンＵｉとポインタＰｏとを繋ぐ紐Ｓｔを表示させることで、画像一覧画面１３０を見ている人物に対して、ポインタＰｏの動きを、ポインタＰｏと紐Ｓｔ全体の動きで捉えさせることができる。これにより、画像一覧画面１３０では、例えば、ポインタＰｏの動きが速くても、容易にポインタＰｏの動きを認識させることができる。

以上の構成によれば、ＴＶ受像機１０１は、ポインタＰｏと操作者アイコンＵｉとの関連性、すなわちポインタＰｏがどの操作者により操作されているのかを、操作者に対して容易に認識させることができる。ゆえに、操作者が複数存在してポインタＰｏが複数表示されるような場合であっても、ポインタＰｏの各々がどの操作者により操作されているのかを、操作者に対して容易に認識させることができる。かくして、同時に操作する操作者の数に依らず良好な操作性を得ることができる。

＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態の具体例では、ＴＶ受像機１０１の近傍にいる操作者Ａ〜Ｅが直接ディスプレイ１２０を見てＴＶ受像機１０１を操作するようにした。これに限らず、遠方にいる操作者が、ネットワークを介して、ＴＶ受像機１０１を操作するようにしてもよい。

この場合、例えば、ＴＶ受像機１０１とステレオカメラ１０２を２セット用意する。そして、２台のＴＶ受像機１０１をネットワークを介して接続する。尚、この場合、２台のＴＶ受像機１０１の各々にはネットワークインタフェースが設けられているとする。

さらに、例えば、２台のＴＶ受像機１０１の一方をホスト、他方をクライアントとして、ホストとなるＴＶ受像機１０１に対して、操作者が直接、またはクライアントとなるＴＶ受像機１０１を介して操作できるようにする。ここで、ホストとなるＴＶ受像機１０１をホスト機器１０１、クライアントとなるＴＶ受像機１０１をクライアント機器１０１とも呼ぶ。

このときホスト機器１０１のＣＰＵ１１２は、例えば、図１２に示す画像一覧画面２００をディスプレイ１２０に表示させる。

画像一覧画面２００は、上側４分の１の領域２００Ａと、下側４分の１の領域２００Ｂと、これらの間の領域２００Ｃとの３つの領域で構成されている。このうち領域２００Ｃは、ホスト機器１０１の不揮発性メモリ１１３から読み出された複数の画像データに対応する画像アイコンＰｉが並べて表示される。つまり、この領域２００Ｃが、画像表示領域２００Ｃとなる。

また下側４分の１の領域２００Ｂには、ホスト側のステレオカメラ１０２で捉えた操作者Ａ、Ｃ、Ｄの各々に対応する操作者アイコンＵｉＡ、ＵｉＣ、ＵｉＤが横方向に並べて表示される。この領域２００Ｂを、操作者表示領域２００Ｂとも呼ぶ。

さらに上側４分の１の領域２００Ａには、クライアント側のステレオカメラ１０２で捉えた操作者Ｅ、Ｆの各々に対応する操作者アイコンＵｉＥ、ＵｉＦが横方向に並べて表示される。この領域２００Ａを、通信相手表示領域２００Ａとも呼ぶ。

尚、ホスト機器１０１のＣＰＵ１１２は、クライアント側のステレオカメラ１０２で撮像されたカメラ画像を、クライアント機器１０１から取得して、このカメラ画像から操作者Ｅ、Ｆの顔を検出して、操作者アイコンＵｉＥ、ＵｉＦを表示させる。

さらに画像一覧画面２００には、ホスト側のカメラ画像から検出されたホスト側の操作者Ａ、Ｃ、Ｄの各々の手に対応する位置にポインタＰｏが表示される。またクライアント側のカメラ画像から検出された操作者Ｅ、Ｆの各々の各々の手に対応する位置にポインタＰｏが表示される。

さらに画像一覧画面２００には、ホスト側のカメラ画像と、クライアント側のカメラ画像とをもとに判別された操作者Ａ、Ｃ、Ｄ、Ｅ、Ｆの各々の顔と手の対応関係に基づき、操作者アイコンＵｉとポインタＰｏとを繋ぐ紐Ｓｔが表示される。

そして、ＣＰＵ１１２は、ホスト側のカメラ画像と、クライアント側のカメラ画像とをもとに、操作者Ａ、Ｃ、Ｄ、Ｅ、Ｆの手の位置の変化を検出して、この変化に合わせてポインタＰｏを移動させる。

またＣＰＵ１１２は、この画像一覧画面２００の画面データを、ネットワークインタフェースを介して、クライアント機器１０１に送ることで、クライアント機器１０１のディスプレイ１２０にも表示させる。

このようにすれば、クライアント側の操作者Ｅ、Ｆが、ネットワークを介して、ホスト側の操作者Ａ、Ｃ、Ｄと同様にかつ同時に、画像一覧画面２００上でポインタＰｏを操作できるようになる。

因みに、クライアント機器１０１に表示させる画像一覧画面２００では、通信相手表示領域２００Ａにホスト側の操作者アイコンＵｉを表示させ、操作者表示領域２００Ｂにクライアント側の操作者アイコンＵｉを表示させるようにしてもよい。

また、クライアント機器１０１は、必ずしもＴＶ受像機１０１の構成を有する必要はなく、少なくとも、ディスプレイ１２０と、外部インタフェース１１０と、ネットワークインタフェースを有していればよい。

［２−２．他の実施の形態２］
また上述した実施の形態の具体例では、ＴＶ受像機１０１に対して、ステレオカメラ１０２が外部接続されるようにした。これに限らず、ＴＶ受像機１０１にステレオカメラ１０２を内蔵させるようにしてもよい。

またステレオカメラ１０２に限らず、赤外線カメラや通常の単眼カメラをＴＶ受像機１０１に接続、もしくは内蔵させるようにしてもよい。因みに、単眼カメラの場合、奥行き方向の情報が欠落することになるので、顔と手の対応関係を判別する精度が低下するが、ステレオカメラと比して簡易な構成とすることができる。またステレオカメラ１０２の位置についても、ディスプレイ１２０の上部に限らず、下部に取り付けるなどしてもよい。

またステレオカメラ１０２の代わりに、複数のコントローラをＴＶ受像機１０１に接続して、複数の操作者の各々がコントローラを介してＴＶ受像機１０１を同時に操作するようにしてもよい。

この場合、ＴＶ受像機１０１のＣＰＵ１１２は、各々のコントローラからの入力信号をもとに操作される複数のポインタＰｏと、各々のコントローラに対応する操作者アイコンＵｉを、画像一覧画面１３０に表示させる。さらにＣＰＵ１１２は、コントローラからの入力信号と、この入力信号を入力したコントローラの対応関係に基づき、操作者アイコンＵｉとポインタＰｏとの間を繋ぐ紐Ｓｔを表示させる。

［２−３．他の実施の形態３］
さらに上述した実施の形態の具体例では、画像一覧画面１３０に本発明を適用した例について説明した。これに限らず、ポインタ操作し得る画面であれば、この他種々の画面に本発明を適用してもよく、また適用することができる。

例えば、複数の操作者の各々がポインタを操作してキャラクタを動かすようなゲーム画面に適用してもよい。

また第１の表示情報としての操作者アイコンＵｉ、第２の表示情報としてのポインタＰｏ、関連情報としての紐Ｓｔの各々についても、機能的な役割が変わらない範囲であれば、この他種々の情報に置き換えてもよい。例えば、ポインタＰｏを、カーソルに置き換えてもよい。

［２−４．他の実施の形態４］
さらに上述した実施の形態の具体例では、紐Ｓｔを曲線で表したが、ポインタＰｏと操作者アイコンＵｉとが繋がっていること、すなわちポインタＰｏと操作者アイコンＵｉとに関連性があることを示すことができれば、直線で表すようにしてもよい。

また、例えば、紐Ｓｔを点線で表すようにしてもよいし、数珠繋ぎにした複数の図形（円、三角形など）で紐Ｓｔを表すようにしてもよい。

さらに上述した実施の形態の具体例では、紐Ｓｔの表示色については言及していないが、例えば、ポインタＰｏと操作者アイコンＵｉと紐Ｓｔとの組ごとに、これらの表示色を変えるようにしてもよい。

こうすることで、操作者が、表示色からもポインタＰｏと操作者アイコンＵｉとの関連性を認識できるようになる。

またこのとき、ポインタＰｏにより指定された画像アイコンＰｉの外周に表示される枠Ｆｒの表示色を、このポインタＰｏと同一表示色にしてもよい。こうすることで、どの操作者がポインタＰｏで画像アイコンＰｉを指定しているのかを容易に認識できるようになる。

さらに上述した実施の形態の具体例では、ポインタＰｏの表示を終了するときに、ポインタＰｏが操作者アイコンＰｉに引き込まれるようにアニメーションさせ、また開始するときには操作者アイコンＰｉから飛び出てくるようにアニメーションさせるようにした。

ここで、例えば、飛び出てくるようにアニメーションさせるときに、ポインタＰｏ、紐Ｓｔ、操作者アイコンＵｉを点滅表示させたり、これらを拡大表示したりして、強調表示するようにしてもよい。また引き込まれるようにアニメーションさせるときにも、同様に強調表示させるようにしてもよい。

さらに、ポインタＰｏが、グー形状のときと、パー形状のときとで、ポインタＰｏ、紐Ｓｔ、操作者アイコンＵｉの表示形態を変えるようにしてもよい。例えば、グー形状のときには、これらを点滅表示させ、パー形状のときは通常表示するなどしてもよい。

さらに上述した実施の形態の具体例では、携帯端末１０３により操作されるポインタＰｏＥについては、矢印形状に固定するようにして他のポインタＰｏと表示形態を変えたが、これに限らず、他のポインタＰｏと同一の表示形態としてもよい。

またこのポインタＰｏＥと、携帯端末１０３に対応する操作者アイコンＵｉＥとの間を繋ぐ紐ＳｔＥについても、点線で表すようにして他の紐Ｓｔと表示形態を変えたが、これに限らず、他の紐Ｓｔと同一の表示形態としてもよい。

［２−５．他の実施の形態５］
さらに上述した実施の形態の具体例では、画像一覧画面１３０上で、ポインタＰｏの操作により、画像アイコンＰｉをドラッグアンドドロップできるようにした。ここで、画像一覧画面１３０上にごみ箱アイコンを表示させ、このごみ箱アイコンに画像アイコンＰｉがドラッグアンドドロップされたら、この画像アイコンＰｉに対応する画像データを、不揮発性メモリ１１３から消去するようにしてもよい。

また例えば、携帯端末１０３に対応する操作者アイコンＵｉＥに画像アイコンＰｉがドラッグアンドドロップされたら、対応する画像データを携帯端末１０３に転送するようにしてもよい。

［２−６．他の実施の形態６］
さらに上述した実施の形態の具体例では、動きが止まってから所定時間経過したポインタＰｏについては、表示を終了する（すなわち非表示にする）ようにした。これに限らず、動いているかに依らず、常に表示させるようにしてもよい。

また上述した実施の形態の具体例では、ポインタＰｏが非表示のときにポインタＰｏの動きを検出したらポインタＰｏの表示を開始するようにした。このとき、ミラーリングしてディスプレイ１２０の解像度に変換したカメラ画像を、ディスプレイ１２０に一定時間表示するようにしてもよい。

この場合、例えば、画像一覧画面１３０を一定時間半透明にして、この背景にカメラ画像を表示させるようにしてもよいし、一定時間画像一覧画面１３０からカメラ画像に表示を切り替えてもよい。

このようにポインタＰｏの表示を開始するときに、このときのカメラ画像をディスプレイ１２０に表示するようにすれば、どの操作者のどの手の動きに応じてポインタＰｏの表示が開始されたのかを、操作者に対して容易に認識させることができる。

またこのようにカメラ画像を表示することで、ステレオカメラ１０２の撮像範囲、すなわち操作者の手の動きをＴＶ受像機１０１が検出し得る範囲を操作者に認識させることもできる。

さらにカメラ画像から新たな人物を検出したときに、カメラ画像を表示するなどしてもよい。

因みに、カメラ画像からは単にステレオカメラ１０２の前方を通り過ぎた人物などが検出されてしまうことがある。そこで、例えば、カメラ画像から検出した人物が、所定時間カメラ画像内に留まった場合に、この人物を操作者と認識するようにしてもよい。

さらに、例えば、操作者による意図しないハンドジェスチャを排除する為に、例えば、手の動きを検出してから、一定時間経過した後に、この手に対応するポインタＰｏを表示するようにしてもよい。

［２−７．他の実施の形態７］
さらに上述した実施の形態の具体例では、画像一覧画面１３０の上側３分の２を画像表示領域１３０Ａ、下側３分の１を操作者表示領域１３０Ｂとして、操作者表示領域１３０Ｂに操作者アイコンＵｉを表示させるようにした。

これに限らず、画像表示領域１３０Ａと操作者表示領域１３０Ｂの位置及び大きさについては限定しない。例えば、上側４分の１を操作者表示領域１３０Ｂに、下側４分の３を画像表示領域１３０Ａとして、操作者表示領域１３０Ｂに操作者アイコンＵｉを表示させるようにするなどしてもよい。また画像一覧画面１３０の画面全体を画像表示領域１３０Ａとして、この画像表示領域１３０Ａに画像アイコンＰｉと共に操作者アイコンＵｉを表示させるようにしてもよい。

この場合、ＣＰＵ１１２は、左右を反転させディスプレイ１２０の解像度に変換したカメラ画像から、操作者Ａ〜Ｄの各々の顔領域の座標を得る。そして、ＣＰＵ１１２は、画像表示領域１３０Ａ内の、操作者Ａ〜Ｄの各々の顔領域の座標に対応する位置に、操作者アイコンＵｉＡ〜ＵｉＤを表示させる。

［２−８．他の実施の形態８］
さらに上述した実施の形態の具体例では、携帯端末１０３がステレオカメラ１０２の撮像範囲外に位置し、この携帯端末１０３に対応する操作者アイコンＵｉＥを、操作者表示領域１３０Ｂ内の空き領域に表示するようにした。

ここで、例えば、携帯端末１０３がステレオカメラ１０２の撮像範囲内に位置しているとする。このとき、ＴＶ受像機１０１のＣＰＵ１１２は、カメラ画像からこの携帯端末１０３を検出して、カメラ画像内での位置を得る。さらにＣＰＵ１１２は、この携帯端末１０３の位置から見て所定範囲内で最も近い位置にある操作者の手を、この携帯端末１０３を操作する手と判別する。

このようにして、ＣＰＵ１１２は、携帯端末１０３とこの携帯端末１０３を操作している操作者との対応関係を判別する。そしてＣＰＵ１１２は、この対応関係に基づき、例えば、携帯端末１０３に対応する操作者アイコンＵｉＥを、この携帯端末１０３を操作している操作者に対応する操作者アイコンＵｉの近傍に表示させるようにする。具体的には、携帯端末１０３に対応する操作者アイコンＵｉＥを、操作者アイコンＵｉに隣接させて、または一部が重なるように表示させる。

このようにステレオカメラ１０２で捉えた操作者のうちの携帯端末１０３を操作している操作者を判別できる場合には、この操作者に対応する操作者アイコンＵｉの近傍に、携帯端末１０３に対応する操作者アイコンＵｉＥを表示させる。

［２−９．他の実施の形態９］
さらに上述した実施の形態の具体例では、情報処理装置としてのＴＶ受像機１０１に、認識部、制御部、検出部としてのＣＰＵ１１２を設けるようにした。

本発明はこれに限らず、同様の機能を有するのであれば、上述したＴＶ受像機１０１の各機能部（認識部、制御部、検出部）を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。

さらに上述した実施の形態の具体例では、ＴＶ受像機１０１とステレオカメラ１０２とで構成される多人数同時操作システム１００に本発明を適用するようにした。これに限らず、同時に複数の操作者で操作し得るシステムであれば、この他種々のシステムに適用するようにしてもよく、また適用することができる。例えば、パーソナルコンピュータとディスプレイとステレオカメラとで構成されるシステムなどに適用するようにしてもよい。

［２−１０．他の実施の形態１０］
さらに上述した実施の形態の具体例では、各種処理を実行するためのプログラムを、ＴＶ受像機１０１の不揮発性メモリ１１３に書き込んでおくようにした。

これに限らず、このプログラムを例えば光ディスク、メモリカードなどの記録媒体に書き込んでおき、ＴＶ受像機１０１のＣＰＵ１１２が、この記憶媒体からプログラムを読み出すようにしてもよい。この場合、例えば、ＴＶ受像機１０１の外部インタフェース１１０に記録媒体のドライブを接続するようにする。

またＴＶ受像機１０１に、ネットワークインタフェースを設けて、このプログラムを、ネットワークインタフェース経由でダウンロードして不揮発性メモリ１１３にインストールするようにしてもよい。

［２−１１．他の実施の形態１１］
さらに本発明は、上述した実施の形態の概要及び具体例と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態の概要及び具体例と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。

さらに上述した実施の形態の概要及び具体例と他の実施の形態は一例であり、本発明の要旨を逸脱しない範囲であれば、この他、種々の形態に本発明を適用するようにしてもよく、また適用することができる。

本発明は、例えば、複数の操作者が同時に操作し得るＧＵＩを実装する情報処理装置で広く利用することができる。

１……情報処理装置、２……認識部、３……制御部、４……検出部、１００……多人数同時操作システム、１０１……ＴＶ受像機、１０２……ステレオカメラ、１０３……携帯端末、１１２……ＣＰＵ、１２０……ディスプレイ、１２２……撮像部、１３０、２００……画像一覧画面、１３０Ａ、２００Ａ……画像表示領域、１３０Ｂ、２００Ｂ……操作者表示領域、２００Ｃ……通信相手表示領域、Ｐｉ……画像アイコン、Ｐｏ……ポインタ、Ｕｉ……操作者アイコン、Ｓｔ……紐。

Claims (12)

1. 操作主体と、当該操作主体による指示とを対応付けて認識する認識部と、
   上記認識部が認識した操作主体を示す第１の表示情報と、上記操作主体による指示に応じて操作される第２の表示情報とを表示部に表示させ、さらに操作主体と当該操作主体による指示との対応関係に基づいて、当該第１の表示情報と当該第２の表示情報との関連性を示す関連情報を上記表示部に表示させる制御部と
   を具える情報処理装置。
2. 上記制御部は、
   上記第１の表示情報と上記第２の表示情報との間を繋ぐ線を上記関連情報として表示させる
   請求項１に記載の情報処理装置。
3. 上記制御部は、
   上記第２の表示情報の操作に応じて、上記関連情報としての線をたわませる
   請求項２に記載の情報処理装置。
4. 上記制御部は、
   上記第２の表示情報の操作に応じて、上記関連情報としての線を太くする
   請求項２に記載の情報処理装置。
5. 上記制御部は、
   上記第２の表示情報の操作が所定時間行われなかった場合に、当該第２の表示情報を非表示にする
   請求項１に記載の情報処理装置。
6. 上記制御部は、
   上記第２の表示情報の操作が開始されると当該第２の表示情報を上記第１の表示情報の位置に表示させてから移動させ、操作が終了すると当該第２の表示情報を上記第１の表示情報の位置に移動させてから非表示にする
   請求項５に記載の情報処理装置。
7. さらにカメラ画像から上記操作主体としての操作者を検出する検出部を具え、
   上記認識部は、
   上記検出部により検出された操作者の顔と当該操作者の手の動きとに基づき、操作者と当該操作者による指示とを対応付けて認識し、
   上記制御部は、
   上記検出部により検出された操作者の顔画像を上記第１の表示情報として表示させ、当該操作者の手の動きに応じて上記第２の表示情報の表示位置を移動させる
   請求項２に記載の情報処理装置。
8. 上記制御部は、
   上記検出部により検出された操作者の上記カメラ画像内での位置と対応する位置に、上記第１の表示情報を表示させる
   請求項７に記載の情報処理装置。
9. 上記認識部は、
   上記操作主体としての外部機器と、当該外部機器からの入力信号とに基づき、外部機器と当該外部機器による指示とを対応付けて認識する
   請求項１に記載の情報処理装置。
10. 上記認識部は、
    ネットワークを介して指示を出す操作主体と、ネットワークを介さずに直接指示を出す操作主体とを認識し、
    上記制御部は、
    上記認識部の認識結果に基づき、ネットワークを介して指示を出す操作主体に対応する第１の表示情報を第１の表示領域内に表示させ、ネットワークを介さずに直接指示を出す操作主体に対応する第１の表示情報を第２の表示領域内に表示させる
    請求項１に記載の情報処理装置。
11. 情報処理装置が、
    操作主体と、当該操作主体による指示とを対応付けて認識し、
    認識した操作主体を示す第１の表示情報と、上記操作主体による指示に応じて操作される第２の表示情報とを表示部に表示させ、さらに操作主体と当該操作主体による指示との対応関係に基づいて、当該第１の表示情報と当該第２の表示情報との関連性を示す関連情報を上記表示部に表示させる
    表示制御方法。
12. コンピュータに、
    操作主体と、当該操作主体による指示とを対応付けて認識する認識ステップと、
    上記認識ステップで認識した操作主体を示す第１の表示情報と、上記操作主体による指示に応じて操作される第２の表示情報とを表示部に表示させ、さらに操作主体と当該操作主体による指示との対応関係に基づいて、当該第１の表示情報と当該第２の表示情報との関連性を示す関連情報を上記表示部に表示させる表示ステップと
    を実行させるための表示制御プログラム。

Images