JP2011054118A - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

Abstract

【課題】同時に操作する操作者の数に依らず良好な操作性が得られるようにする。
【解決手段】画面座標系のＸｄ−Ｙｄ平面上での操作者の体の中心位置はそのままに、この中心位置を操作者座標系の原点として、この原点からの手の位置をもとに、ポインタＰｏの表示位置を算出する。また操作者の手が容易に届く範囲を判別して、この範囲とＧＵＩ画面１３０の大きさをもとに、この範囲の端まで手を動かしたときに、ポインタＰｏが画面の端に移動するように手の位置に対するスケーリングの割合を設定する。
【選択図】図１５

Description

本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関し、例えば、複数の操作者が同時に操作し得るＧＵＩ（Graphical User Interface）を実装する表示制御装置に適用して好適なものである。

現在、表示制御装置としてのコンピュータの多くに、ＧＵＩが実装されている。実際、このようなコンピュータでは、例えば、操作者による操作に応じて画面上を移動するポインタを表示させ、このポインタで画面の任意の位置を指すことで、画面上に表示したアイコンなどを選択できるようになっている。

ポインタを動かす為の操作デバイスとしては、マウスやタッチパッドが一般的であるが、モーションセンサにより空間での動きを検出してこれをコンピュータに入力することでポインタを動かすコントローラなども提案されている。例えば特許文献１参照。

また、左右反転（すなわちミラーリング）したカメラ画像から操作者の手の位置を検出して、画面上のこの手の位置に対応する位置にポインタを表示させ、この手の動きに応じてポインタを動かすようにしたコンピュータも提案されている。このコンピュータでは、カメラ画像内での操作者の位置に依らず、操作者が自分の体を中心に手を動かすだけで、ポインタを画面の任意の位置に動かすことができるようにすることが望ましい。

そこで例えば、操作者の体の中心を、画面の中心（すなわち画面座標系の原点）と見なして、この原点からの操作者の手の位置にポインタを表示させるようにすることが考えられる。このようにすれば、操作者は、カメラ画像内での位置（すなわち撮像範囲内での位置）に依らず、常に自分の体を中心に手を動かすだけで、ポインタを画面の任意の位置に動かすことができる。

一方で、近年、ゲーム機などのコンピュータの中には、１つの画面に対して複数の操作者が同時に操作することを想定したものもあり、今後、このようなコンピュータが増えていくと予想される。

特開２００９−１５７９１９公報

ところが、複数の操作者が操作することを想定した場合、例えば、全ての操作者の体の中心を画面の中心と見なすと、全てのポインタが画面座標系の原点を中心に動くことになり、どの操作者がどのポインタを操作しているのかわかりにくくなる。この結果、１人の操作者が操作する場合と比して、操作性が低下するという問題があった。

本発明は以上の点を考慮してなされたもので、同時に操作する操作者の数に依らず良好な操作性を得ることのできる表示制御装置、表示制御方法及び表示制御プログラムを提案しようとするものである。

かかる課題を解決するため本発明においては、操作者の位置と当該操作者の操作手段の位置とを認識する認識部と、画面に設定された画面座標系での操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出する算出部と、算出部が算出した画面座標系での位置に、表示情報を表示させる制御部とを設けるようにした。

このように画面座標系での操作者の位置を操作者座標系の原点とし、この原点からの操作手段（例えば操作者の手）の位置をもとに、操作手段に対応する表示情報（例えばポインタ）の画面座標系での位置を算出するようにした。これにより、例えば複数の操作者が存在する場合に、画面上に、複数の操作者の各々の位置に対応する位置を中心に各々の操作手段により操作される表示情報を表示することができる。

またこのとき、操作手段の位置をそのまま表示情報の位置とするのではなく、操作者座標系の原点からの操作手段の位置に所定の関数を乗じて得られた位置を、表示情報の画面座標系での位置とするようにした。これにより、この関数を適宜選定することで、複数の操作者の各々が自分の位置を中心に操作手段を動かすだけで、表示情報を画面の任意の位置に動かすことができる。

本発明によれば、例えば複数の操作者が存在する場合に、画面上に、複数の操作者の各々の位置に対応する位置を中心として各々の操作手段により操作される表示情報を表示することができる。さらにこの場合に、複数の操作者の各々が自分の位置を中心に操作手段を動かすだけで、表示情報を画面の任意の位置に動かすことができる。かくして、同時に操作する操作者の数に依らず良好な操作性を得ることのできる表示制御装置、表示制御方法及び表示制御プログラムを実現できる。

本実施の形態の概要となる表示制御装置の構成を示す略線図である。 本実施の形態の具体例となる多人数同時操作システムの構成を示す略線図である。 ＴＶ受像機及びステレオカメラのハードウェア構成を示すブロック図である。 ＧＵＩ画面の構成を示す略線図である。 ＧＵＩ画面上でのポインタ操作（ポインタが画面手前側にあるとき）の説明に供する略線図である。 ＧＵＩ画面上でのポインタ操作（ポインタが画面奥側にあるとき）の説明に供する略線図である。 カメラ座標系と画面座標系とを示す略線図である。 画像座標系を示す略線図である。 操作者の体の中心座標ｂｘ、ｂｙを示す略線図である。 操作者座標系と操作者座標系から見た手の位置（ｈ’ｘ、ｈ’ｙ）を示す略線図である。 操作範囲の判別（左右方向）の説明に供する略線図である。 操作範囲の判別（上下方向）の説明に供する略線図である。 操作範囲の判別（奥行き方向）の説明に供する略線図である。 操作者の位置とポインタの位置を示す略線図である。 ポインタ表示処理手順を示すフローチャートである。 操作者の体が傾いている場合の説明に供する略線図である。 スケーリングの割合の変化を示すグラフである。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態

＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。

図１において１は、表示制御装置を示す。この表示制御装置１には、操作者の位置と当該操作者の操作手段の位置とを認識する認識部２が設けられている。またこの表示制御装置１には、画面に設定された画面座標系での操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出する算出部３が設けられている。さらにこの表示制御装置１には、算出部３が算出した画面座標系での位置に、表示情報を表示させる制御部４が設けられている。

このように表示制御装置１は、画面座標系での操作者の位置を操作者座標系の原点とし、この原点からの操作手段（例えば操作者の手）の位置をもとに、操作手段に対応する表示情報（例えばポインタ）の画面座標系での位置を算出する。これにより、表示制御装置１は、例えば複数の操作者が存在する場合に、画面上に、複数の操作者の各々の位置に対応する位置を中心として各々の操作手段により操作される表示情報を表示することができる。

またこのとき表示制御装置１は、操作手段の位置をそのまま表示情報の位置とするのではなく、操作者座標系の原点からの操作手段の位置に所定の関数を乗じて得られた位置を、表示情報の画面座標系での位置とする。これにより、表示制御装置１は、この関数を適宜選定することで、複数の操作者の各々が自分の位置を中心に操作手段を動かすだけで、表示情報を画面の任意の位置に動かすことができる。

より具体的には、認識部２は、カメラ画像から操作者の位置と操作手段の位置とを認識する。このとき算出部３は、画面座標系と同一座標系として設定されたカメラ画像の画像座標系での操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出するようにする。

また表示制御装置１に操作手段の操作範囲を判別する判別部５を設けるようにしてもよい。このとき算出部３は、判別部５により判別された操作範囲と画面のサイズとに基づく関数を、操作者座標系の原点からの操作手段の位置に乗じるようにする。

また操作手段の位置が、操作者の手の位置である場合、認識部２は、カメラ画像から操作者の体の大きさを認識する。さらにこのとき判別部５は、認識部２により認識された操作者の体の大きさをもとに、操作者の位置から手が届く範囲を推定して、当該範囲を操作手段の操作範囲とするようにする。

またこのとき、認識部２が、カメラ画像から操作者の顔を認識するようにして、判別部５が、認識部２により認識された操作者の顔から当該操作者の年齢を推定して、当該年齢をもとに、当該顔の大きさから体の大きさを推定するようにしてもよい。

また一方で、認識部２が、カメラ画像から操作手段によるジェスチャ操作を認識して、判別部５が、認識部２により操作範囲を指定する為のジェスチャ操作が認識されると、当該ジェスチャ操作により示される範囲を操作範囲とするようにしてもよい。

さらに、画面座標系が、上下左右方向にくわえて奥行き方向を有する３次元座標系である場合、認識部２は、カメラ画像から操作者の位置及び体の大きさと、操作手段の位置とにくわえて、当該操作者の位置から当該操作手段までの距離を認識する。

このとき算出部３は、画像座標系での操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での上下左右方向の位置を算出する。また算出部３は、操作者の位置から操作手段までの距離に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での奥行き方向の位置を算出する。

さらにこのとき判別部５は、認識部２により認識された操作者の体の大きさをもとに操作者の位置から手が届く上下左右方向の範囲と奥行き方向の範囲を推定して、当該範囲を操作手段の操作範囲とする。

またこのとき、認識部２が、カメラ画像から操作者の腕の長さを認識して、判別部５が操作範囲の奥行き方向の範囲を、腕の長さ／√２の範囲とするようにしてもよい。

このような構成でなる表示制御装置１の具体例について、以下、詳しく説明する。

［１−２．実施の形態の具体例］
［１−２−１．多人数同時操作システムの構成］
次に、本実施の形態の具体例を説明する。図２において１００は、同時に複数の操作者が操作することを想定した多人数同時操作システムを示す。

この多人数同時操作システム１００は、テレビジョン受像機（これをＴＶ受像機とも呼ぶ）１０１と、このＴＶ受像機１０１に接続されたステレオカメラ１０２とで構成される。

ステレオカメラ１０２は、ＴＶ受像機１０１の上部に、ＴＶ受像機１０１の前方を向くようにして取り付けられ、ＴＶ受像機１０１の前方を撮像するようになっている。

ここで、ステレオカメラ１０２の撮像範囲内に、例えば、２人の操作者Ａ、Ｂがいるとする。このときＴＶ受像機１０１は、ステレオカメラ１０２により撮像されたカメラ画像から検出した操作者Ａ、Ｂの各々の手の動きをもとに、操作者Ａ、Ｂの各々による操作を認識して、この操作に応じて動作する。

このようにして、この多人数同時操作システム１００では、ＴＶ受像機１０１に向かって操作者Ａ、Ｂが各々の手を動かすことで、操作者Ａ、Ｂの各々が同時にＴＶ受像機１０１を操作できるようになっている。

［１−２−２．ＴＶ受像機及びステレオカメラのハードウェア構成］
次に、図３を用いて、ＴＶ受像機１０１及びステレオカメラ１０２のハードウェア構成について説明する。

ＴＶ受像機１０１は、外部インタフェース１１０を介して、ステレオカメラ１０２とケーブル接続される。

このＴＶ受像機１０１では、ＣＰＵ１１１が各部を統括的に制御するようになっている。ＣＰＵ１１１は、不揮発性メモリ１１２に書き込まれているプログラムをＲＡＭ１１３に展開してこれを読み込み、このプログラムに従って各種処理を行うと共に各部を制御する。

因みに、ＣＰＵは、Central Processing Unitの略、ＲＡＭは、Random Access Memoryの略である。

このＴＶ受像機１０１は、上述したように、操作者の手の動きを検出して、これを操作者による操作として認識するようになっている。具体的に、ＴＶ受像機１０１のＣＰＵ１１１は、ステレオカメラ１０２を制御してステレオカメラ１０２の前方（すなわちＴＶ受像機１０１の前方）を撮像させ、この結果得られるカメラ画像から例えば操作者Ａ、Ｂの各々の手の動きを検出する。そしてＣＰＵ１１１は、検出した手の動きから操作者による操作（ポインタ操作、ジェスチャ操作など）を認識して、この操作に応じた処理を行う。

実際、ＴＶ受像機１０１は、このような操作を複数の操作者が同時に行うことを想定したＧＵＩ画面（詳しくは後述する）を表示するようになっている。すなわち、ＴＶ受像機１０１の表示処理部１１７は、ＣＰＵ１１１の制御のもと、ＧＵＩ画面の画面データを生成して、この画面データに対して所定の表示処理を施すことにより画面信号を得、これをディスプレイ１１９に送る。この結果、ディスプレイ１１９に、ＧＵＩ画面が表示される。

そしてＣＰＵ１１１は、このＧＵＩ画面上に、複数の操作者の各々の手の動きに対応して移動する複数のポインタを表示させる。ＴＶ受像機１０１は、このようなＧＵＩ画面を介して、複数の操作者の各々が同時に操作できるようになっている。

またこのＴＶ受像機１０１は、テレビジョン放送（これをＴＶ放送とも呼ぶ）出力機能を有している。実際、ＴＶ受像機１０１は、ＴＶ放送出力時、外部のアンテナ１１４で受信されたＴＶ放送信号をチューナ１１５に入力する。チューナ１１５は、ＣＰＵ１１１の制御のもと、任意のチャンネルのＴＶ放送信号を得て、これをＴＶ放送信号処理部１１６に送る。

ＴＶ放送信号処理部１１６は、ＣＰＵ１１１の制御のもと、ＴＶ放送信号に対して所定の信号処理を施すことにより、このＴＶ放送信号から、番組の映像データと音声データとを得る。このうち映像データは、ＴＶ放送信号処理部１１６から表示処理部１１７に送られ、音声データは、ＴＶ放送信号処理部１１６から音声処理部１１８に送られる。

表示処理部１１７は、ＣＰＵ１１１の制御のもと、映像データに対して所定の表示処理を施すことにより映像信号を得、これをディスプレイ１１９に送る。この結果、ディスプレイ１１９に、放送中の番組の映像が表示される。

一方、音声処理部１１８は、ＣＰＵ１１１の制御のもと、音声データに対して所定の音声処理を施すことにより音声信号を得、これをスピーカ１２０に送る。この結果、スピーカ１２０から、放送中の番組の音声が出力される。

このようにしてＴＶ受像機１０１は、ＴＶ放送を出力して、ＴＶ放送の番組をユーザに視聴させる。

一方、ステレオカメラ１０２は、撮像部１２１と外部インタフェース１２２とで構成され、この外部インタフェース１２２を介してＴＶ受像機１０１と接続される。

撮像部１２１には、例えば左右方向に並べられた２台のカメラ１２１Ａ及び１２１Ｂが設けられ、これら２台のカメラ１２１Ａ及び１２１Ｂにより、前方の空間を立体的に撮像し得るようになっている。

実際、撮像部１２１は、ＴＶ受像機１０１の制御のもと、カメラ１２１Ａ及び１２１Ｂの各々により前方を所定時間ごとに撮像して、この結果得られるカメラ画像データを順次外部インタフェース１２２を介してＴＶ受像機１０１に送る。

尚、ＴＶ受像機１０１に送られるカメラ画像データには、カメラ１２１Ａにより撮像されたカメラ画像データと、カメラ１２１Ｂにより撮像されたカメラ画像データとが含まれる。

ＴＶ受像機１０１では、ステレオカメラ１０２から送られてくるカメラ画像データをもとに、ＴＶ受像機１０１の前方にいる例えば操作者Ａ、Ｂの各々を認識する。

具体的にＴＶ受像機１０１のＣＰＵ１１１は、ステレオカメラ１０２から送られてくるカメラ画像データに含まれる、例えばカメラ１２１Ａにより撮像されたカメラ画像データに対して人物検出処理を行う。ＣＰＵ１１１は、この人物検出処理により例えば操作者の顔と手を検出する。

顔の検出については、種々のアルゴリズムが知られている。例えば、カメラ画像から肌色領域とこの肌色領域内の特徴量（目、口と思われる部分）とを抽出して、この特徴量の位置関係から肌色領域が顔であるか否かを判別するものがある。

ＣＰＵ１１１は、このようなアルゴリズムを利用して、カメラ画像から顔となる領域（これを顔領域とも呼ぶ）を検出し、検出した顔領域ごとに、その座標（例えば顔領域の中心座標）を得る。

この座標は、例えば、カメラ画像の中心を原点として、左右方向の軸をＸ軸、上下方向の軸をＹ軸とするＸ−Ｙ平面上の座標として表される。すなわち、この座標は、ステレオカメラ１０２の撮像範囲の中心を原点として、ステレオカメラ１０２から見た左右方向の軸をＸ軸、上下方向の軸をＹ軸とするＸ−Ｙ平面上の座標と見なすことができる。このＸ−Ｙ平面は、ディスプレイ１１９の表示面に対して並行な面でもある。

一方、手の検出についても、種々のアルゴリズムが知られている。例えば、カメラ画像から肌色領域とこの肌色領域内の特徴量（例えば輪郭）とを抽出して、この特徴量と手の輪郭のテンプレート画像とのマッチング処理を行うことで、肌色領域が手であるか否かを判別するものがある。また、このとき、例えば、手の形状が異なる複数のテンプレート画像を用意して、各々のテンプレート画像とマッチング処理を行うことで、手の形状を判別することもできる。例えば、ジャンケンのグーのように握り締めた形状（これをグー形状とも呼ぶ）や、パーのように開いた形状（これをパー形状とも呼ぶ）を判別することができる。

ＣＰＵ１１１は、このようなアルゴリズムを利用して、カメラ画像から手となる領域（これを手領域とも呼ぶ）を検出し、検出した手領域ごとに、その座標（例えば手領域の中心座標）を得る。

ここで、カメラ画像に操作者Ａ、Ｂが含まれているとすると、人物検出処理により２の顔と４つの手の各々のＸ−Ｙ平面上の座標が得られる。これによりＣＰＵ１１１は、ステレオカメラ１０２から見た、２つの顔と４つの手の上下左右方向の位置関係を認識することができる。

さらにＣＰＵ１１１は、カメラ１２１Ａにより撮像されたカメラ画像データと、カメラ１２１Ｂにより撮像されたカメラ画像データとをもとに、ステレオ法により２つの顔及び４つの手の各々のステレオカメラ１０２からの距離を算出する。尚、算出される距離の単位は例えばｃｍであるとする。

ここで、ステレオカメラ１０２の位置を原点として、ステレオカメラ１０２から見た奥行き方向の軸をＺ軸とすると、この距離は、Ｚ軸上の点として表すことができる。

このようにして２つの顔と４つの手の各々のＸ−Ｙ平面上の座標とＺ軸上の点とを得ることで、２つの顔と４つの手の各々のＸ−Ｙ−Ｚ空間上の座標が得られる。

これによりＣＰＵ１１１は、ステレオカメラ１０２から見た、２つの顔と４つの手の各々の上下左右方向及び奥行き方向の位置関係、すなわち３次元空間上の位置関係を認識することができる。

そしてＣＰＵ１１１は、これらの３次元空間上の位置関係に基づいて、顔と手の対応関係を判別する。すなわちＣＰＵ１１１は、どの顔とどの手が同一人物（すなわち操作者）のものであるかを判別する。具体的にＣＰＵ１１１は、例えば、３次元空間上で、顔からの距離がより近い２つの手を、同一人物のものと判別する。

この結果、操作者Ａ、Ｂの各々の顔と手とが対応付けられたことになる。その後も、ＣＰＵ１１１は、ステレオカメラ１０２から所定時間ごとに送られてくるカメラ画像データから操作者Ａ、Ｂの各々の顔と手を検出することで、各々の顔と手の対応関係を保持しつつ、各々の手の動き（位置及び形状の変化）を検出する。

そしてＣＰＵ１１１は、このようにして検出した操作者Ａ、Ｂの各々の手の動きに基づいて、操作者Ａ、Ｂの各々による操作（ポインタ操作、ジェスチャ操作など）を個別に認識して、この操作に応じた処理を行う。

［１−２−３．ＧＵＩ画面］
次に、ＴＶ受像機１０１のディスプレイ１１９に表示されるＧＵＩ画面と、このＧＵＩ画面上での操作について詳しく説明する。尚、ここでは、説明を簡単にする為、一人の操作者が操作する例を説明してから、複数の操作者が操作する例をすることとする。

ＴＶ受像機１０１のＣＰＵ１１１は、図４に示すように、ＧＵＩ画面１３０をディスプレイ１１９に表示させる。

このＧＵＩ画面１３０は、上下左右方向にくわえて奥行き方向を仮想的に有する３Ｄ（３次元）画面として表示される。このＧＵＩ画面１３０には、仮想の３Ｄ空間（後述するＸｄ−Ｙｄ−Ｚｄ空間）に配置された複数のアイコンＧｉが表示される。実際、図４に示すＧＵＩ画面１３０は、手前側に３個のアイコンＧｉ１〜３が所定間隔で左右方向に並べて表示され、奥側に４個のアイコンＧｉ４〜７が所定間隔で左右方向に並べて表示された例である。

さらにこのＧＵＩ画面１３０には、ステレオカメラ１０２で捉えた操作者の手の動きに対応して移動するポインタＰｏが表示される。すなわち、操作者は、自分の手を動かすことで、このポインタＰｏをＧＵＩ画面１３０の所望の位置に移動させることができる。

例えば、図５及び図６に示すように、操作者Ａが、手を前方に突き出すことで、ポインタＰｏを奥行き方向に移動させることができ、また、例えば、操作者Ａが、手を右方向に動かすことで、ポインタＰｏを右方向に移動させることができる。

そしてこのＧＵＩ画面１３０では、ポインタＰｏを任意のアイコンＧｉ上に移動させることで、任意のアイコンＧｉを指定することができるようになっている。

さらにこのＧＵＩ画面１３０では、操作者がその場から動くことなく容易に手が届く範囲内で手を動かすだけで、ポインタＰｏを上下左右、及び手前から奥の隅々にまで移動させることができるようになっている。

ここで、ステレオカメラ１０２で捉えた操作者の手の位置をもとに、ＧＵＩ画面１３０内のポインタＰｏの位置を算出する方法について詳しく説明する。

まずディスプレイ１１９の座標系（すなわちＧＵＩ画面１３０の座標系）と、ステレオカメラ１０２の座標系と、ステレオカメラ１０２で撮像したカメラ画像の座標系とについて説明する。尚、ここでは、ディスプレイ１１９の座標系を画面座標系とも呼び、ステレオカメラ１０２の座標系をカメラ座標系とも呼び、カメラ画像の座標系を画像座標系とも呼ぶ。

具体的に、画面座標系は、図７に示すように、ディスプレイ１１９の表示面の中心を原点として、左右方向の軸をＸｄ軸、上下方向の軸をＹｄ軸、奥行き方向の軸をＺｄ軸とするＸｄ−Ｙｄ−Ｚｄ空間の３次元座標系として設定されている。

この画面座標系のＸｄ軸は、例えば、ディスプレイ１１９の前方から見て、原点より右側が正、左側が負となるように設定されている。またＹｄ軸は、原点より上側が正、下側が負となるように、Ｚｄ軸は、原点より奥側が正となるように設定されている。

さらにこの画面座標系では、ディスプレイ１１９のＸｄ軸を「−１」〜「１」の範囲で正規化するようになっている。またこの画面座標系では、ディスプレイ１１９のＹｄ軸を「−１」〜「１」の範囲で正規化する。さらにこの画面座標系では、ディスプレイ１１９のＺｄ軸を「０」〜「１」の範囲で正規化するようになっている。

ＧＵＩ画面１３０でのポインタＰｏの位置は、この画面座標系の座標として表される。ここでは、このポインタＰｏの位置を、座標ｐｘ（Ｘｄ軸）、ｐｙ（Ｙｄ軸）、ｐｚ（Ｚｄ軸）として表す。

またカメラ座標系は、例えば、左右方向に並べられたカメラ１２１Ａ及び１２１Ｂの中点を原点として、左右方向の軸をＸｃ軸、上下方向の軸をＹｃ軸、奥行き方向の軸をＺｃ軸とするＸｃ−Ｙｃ−Ｚｃ空間の３次元座標系として設定されている。

ここで、ステレオカメラ１０２は、カメラ座標系の原点が、画面座標系のＹｄ−Ｚｄ平面上に位置して、且つこのカメラ座標系のＸｃ軸が、画面座標系のＸｄ軸と並行になるように、ＴＶ受像機１０１に対して取り付けられる。ゆえに、この条件を満たせば、ステレオカメラ１０２をディスプレイ１１９の下部に取り付けるようにしてもよい。このように、このカメラ座標系は、ディスプレイ１１９に対するステレオカメラ１０２の位置を決める為の座標系である。

またこのカメラ座標系のＸｃ軸は、例えば、ステレオカメラ１０２の前方、すなわちディスプレイ１１９の前方から見て、原点より左側が正、右側が負となるように設定されている。またＹｃ軸は、原点より上側が正、下側が負となるように、Ｚｃ軸は、原点より手前側が正となるように設定されている。

さらに画像座標系は、図８に示すように、左右を反転（ミラーリング）したカメラ画像Ｃｐの中心を原点として、左右方向の軸をＸｐ軸、上下方向の軸をＹｐ軸とするＸｐ−Ｙｐ平面の２次元座標系として設定されている。

この画像座標系のＸｐ軸は、例えば、原点より右側が正、左側が負となるように、Ｙｐ軸は、原点より上側が正、下側が負となるように設定されている。

さらにこの画像座標系では、カメラ画像のＸｐ軸を「−１」〜「１」の範囲で正規化するようになっている。またこの画像座標系では、カメラ画像のＹｐ軸を「−１」〜「１」の範囲で正規化するようになっている。

すなわち、この画像座標系の座標は、上述した画面座標系のＸｄ−Ｙｄ平面上の座標と一致するように設定されている。これにより、ミラーリングしたカメラ画像内の位置と、ＧＵＩ画面１３０のＸｄ−Ｙｄ平面上の位置とが一致することになる。

ここで、ＧＵＩ画面１３０でのポインタＰｏの位置を表す座標ｐｘ、ｐｙ、ｐｚのうち、Ｘｄ−Ｙｄ平面上の位置（すなわち上下左右方向の位置）を表す座標ｐｘ、ｐｙの算出方法について説明する。

ＣＰＵ１１１は、図９に示すように、ミラーリングしたカメラ画像Ｃｐから例えば操作者Ａの顔領域Ｆａの中心位置と大きさとを得、これをもとに操作者Ａの体の中心位置を得る。尚、ここでは、操作者Aの体の左右方向がカメラ座標系のＸｃ軸に対して平行であることを前提とする。このときＣＰＵ１１１は、操作者Ａの顔領域Ｆａの中心位置を、画像座標系の座標ｆｘ、ｆｙとして得る。また操作者Ａの体の中心位置を、画像座標系の座標ｂｘ、ｂｙとして得る。尚、ここでは、操作者Ａが、カメラ座標系のステレオカメラ１０２に対して正対しているとする。

実際、人間の体の中心は、顔の中心の鉛直下方に位置する。また操作者の体の大きさは、人間の平均的な顔と体の大きさの関係をもとに、操作者の顔の大きさから判別できる。ゆえに、操作者の顔の中心位置（ｆｘ、ｆｙ）と顔の大きさを得ることができれば、これらをもとに体の中心位置（ｂｘ、ｂｙ）を得ることができる。

またこのときＣＰＵ１１１は、ミラーリングしたカメラ画像Ｃｐから操作者Ａの手領域Ｈａの中心位置（すなわち操作者Ａの手の位置）を得る。このときＣＰＵ１１１は、操作者Ａの手の位置を、画像座標系の座標ｈｘ、ｈｙとして得る。

次にＣＰＵ１１１は、図１０に示すように、操作者Ａの体の中心位置（ｂｘ、ｂｙ）を原点として、左右方向の軸をＸｏ軸、上下方向の軸をＹｏ軸とする操作者Ａの座標系（これを操作者座標系とも呼ぶ）を、画像座標系内に設定する。

さらにＣＰＵ１１１は、画像座標系での操作者Ａの手の位置（ｈｘ、ｈｙ）を、操作者座標系の原点（ｂｘ、ｂｙ）から見た位置に変換する。ここで、図１１に示すように、操作者座標系の原点から見た操作者Ａの手の位置を座標ｈ’ｘ、ｈ’ｙとすると、この座標ｈ’ｘは、次式（１）により表される。また座標ｈ’ｙは次式（２）により表される。

ｈ’ｘ＝ｈｘ−ｂｘ……（１）
ｈ’ｙ＝ｈｙ−ｂｙ……（２）

さらにＣＰＵ１１１は、この操作者座標系の原点から見た操作者Ａの手の位置（ｈ’ｘ、ｈ’ｙ）を所定の割合でスケーリングしたうえで画像座標系の位置、すなわち画面座標系のＸｄ−Ｙｄ平面上の位置に変換する。そしてＣＰＵ１１１は、この位置をポインタＰｏの位置（ｐｘ、ｐｙ）とする。

ここで、ｈ’ｘに対するスケーリングの割合をｓｘ、ｈ’ｙに対するスケーリングの割合をｓｙとすると、ポインタＰｏの位置を表す座標ｐｘは、次式（３）により表される。また座標ｐｙは、次式（４）により表される。尚、スケーリングの割合について詳しくは後述する。

ｐｘ＝ｓｘｈ’ｘ＋ｂｘ……（３）
ｐｙ＝ｓｙｈ’ｙ＋ｂｙ……（４）

尚、ｐｘ、ｐｙは画面座標系の座標であるので、以下の条件式（５）及び（６）に基づき、それぞれ「−１」より小さくなる場合には「−１」に、「１」より大きくなる場合には、「１」に丸め込まれるようになっている。

ｐｘ＝−１（ｐｘ＜−１）、ｐｘ＝ｐｘ（−１≦ｐｘ≦１）、ｐｘ＝１（ｐｘ＞１）
……（５）
ｐｙ＝−１（ｐｙ＜−１）、ｐｙ＝ｐｙ（−１≦ｐｙ≦１）、ｐｙ＝１（ｐｙ＞１）
……（６）

このようにして、ＣＰＵ１１１は、ＧＵＩ画面１３０のＸｄ−Ｙｄ平面上でのポインタＰｏの位置（ｐｘ、ｐｙ）を算出する。

ここで、上述したスケーリングの割合ｓｘ、ｓｙについて説明する。このスケーリングの割合ｓｘ、ｓｙは、操作者の手の上下左右方向の動きに対して、どの程度ポインタＰｏをＧＵＩ画面１３０の上下左右方向に動かすかを示すものである。実際、ＴＶ受像機１０１では、操作者が容易に手の届く範囲内で手を動かすだけで、ポインタＰｏをＧＵＩ画面１３０の隅々にまで移動できるように、スケーリングの割合が設定されるようになっている。

すなわちＣＰＵ１１１は、まず操作者の手が容易に届く範囲（これを操作範囲とも呼ぶ）を判別する。具体的に、ＣＰＵ１１１は、ミラーリングしたカメラ画像から得られた操作者Ａの顔領域の大きさをもとに、図１１に示すように、この操作者Ａの肩幅Ｗ１と肘から手先までの長さＷ２を得る。

ここで肩幅Ｗ１と肘から手先までの長さＷ２は、人間の平均的な顔と体（肩幅、腕の長さ、肘から手先までの長さなど）の大きさの関係をもとに、操作者の顔の大きさから判別できる。

ＴＶ受像機１０１の不揮発性メモリ１１２には、このような関係に基づくデータ（演算式でもよい）が記憶されており、ＣＰＵ１１１は、このデータをもとに、操作者Ａの顔の大きさから、肩幅Ｗ１と肘から手先までの長さＷ２を得る。

そしてＣＰＵ１１１は、操作者Ａの体の左右方向の中心位置ｂｘを中心として、肩幅Ｗ１＋肘から手先までの長さＷ２×２の範囲を、操作者Ａの左右方向の操作範囲ｌｘとする。

すなわちＣＰＵ１１１は、操作者Ａが上腕を下ろしたまま前腕のみを動かして手が届く範囲を、左右方向の操作範囲ｌｘとする。

尚、左右方向の中心位置ｂｘは、上述したように操作者Ａの顔の左右方向の中心位置（ｆｘ）より得られる。

さらにＣＰＵ１１１は、図１２に示すように、操作者Ａの顔の下端から、上腕を下ろしたときの肘の位置までの範囲を、操作者Ａの上下方向の操作範囲ｌｙとする。

すなわちＣＰＵ１１１は、操作者Ａが上腕を下ろしたまま前腕のみを動かして手が届く範囲を上下方向の操作範囲ｌｙとする。

尚、操作者Ａの体の上下方向の中心位置ｂｙは、ちょうどこの操作範囲ｌｙの中点となるようなっている。すなわち、上腕を下ろしたときの肘の位置から顔の下端までの長さと肘から手先までの長さＷ２がほぼ一致するとすれば、顔の下端から、肘から手先までの長さＷ２／２だけ下方の位置が、上下方向の中心位置ｂｙとなる。

そしてＣＰＵ１１１は、左右方向の操作範囲ｌｘと上下方向の操作範囲ｌｙとで表される範囲を、操作者Ａの操作範囲と判別する。この操作範囲は、上述したように操作者Ａが上腕を下ろしたまま前腕のみを動かしたときに手が移動する範囲であり、操作者Ａの手が容易に届く範囲であると言える。

そしてＣＰＵ１１１は、この操作範囲内で操作者Ａが手を上下左右に動かすだけで、ポインタＰｏをＧＵＩ画面１３０の上下左右の隅々にまで移動できるように、スケーリングの割合を設定する。

具体的に、ＣＰＵ１１１は、画面座標系の左端及び右端のうち、操作者Ａの中心位置から見て遠い方の端と操作者Ａの中心位置までの長さを算出する。このときこの長さは、｜ｂｘ｜＋１で表される。ここで、例えば、操作者Ａの中心位置から見て遠い方の端が左端だとする。このとき、操作者Ａが操作範囲ｌｘの左端まで手を動かしたときに、ポインタＰｏが画面座標系の左端、すなわちＧＵＩ画面１３０の左端にまで移動するように、左右方向のスケーリングの割合ｓｘを設定すればよい。

ゆえに、ＣＰＵ１１１は、操作者Ａの中心位置から見て遠い方の端と操作者Ａの中心位置までの長さ｜ｂｘ｜＋１を、操作者Ａの左右方向の操作範囲ｌｘ／２で割り、この結果を、左右方向のスケーリングの割合ｓｘとする。このときこのｓｘは、次式（７）で表される。

ｓｘ＝（｜ｂｘ｜＋１）／（ｌｘ／２）……（７）

また一方で、ＣＰＵ１１１は、画面座標系の上端及び下端のうち、操作者Ａの中心位置から見て遠い方の端と操作者Ａの中心位置までの長さを算出する。このときこの長さは、｜ｂｙ｜＋１で表される。ここで、例えば、操作者Ａの中心位置から見て遠い方の端が上端だとする。このとき、操作者Ａが操作範囲ｌｙの上端まで手を動かしたときに、ポインタＰｏが画面座標系の上端、すなわちＧＵＩ画面１３０の上端にまで移動するように、上下方向のスケーリングの割合ｓｙを設定すればよい。

ゆえに、ＣＰＵ１１１は、操作者Ａの位置から見て遠い方の端と操作者Ａの位置までの長さ｜ｂｙ｜＋１を、操作者Ａの上下方向の操作範囲ｌｙ／２で割り、この結果を、左右方向のスケーリングの割合ｓｙとする。このときこのｓｙは、次式（８）で表される。

ｓｙ＝（｜ｂｙ｜＋１）／（ｌｙ／２）……（８）

このようにしてＣＰＵ１１１は、スケーリングの割合ｓｘ、ｓｙを設定する。この結果、ＧＵＩ画面１３０では、操作者Ａがその場で容易に手の届く範囲内で手を上下左右に動かすだけで、ポインタＰｏをＧＵＩ画面１３０の上下左右の隅々にまで移動させることができる。これにより、操作者Ａが撮像範囲のどこにいようと、移動したり、手を大きく伸ばしたりすることなく、ポインタＰｏをＧＵＩ画面１３０の任意の位置に移動させることができるので、操作時の負担を軽減することができる。

またＣＰＵ１１１は、上下方向の操作範囲ｌｙを、上腕を下ろしたときの肘の位置から顔の下端までとしたことで、操作者がポインタＰｏを操作するときに、顔の前に手がかぶって、ＧＵＩ画面１３０が見づらくなることを防止することもできる。

次に、ＧＵＩ画面１３０でのポインタＰｏの位置を表す座標ｐｘ、ｐｙ、ｐｚのうち、Ｚｄ軸上の位置（すなわち奥行き方向の位置）を表す座標ｐｚの算出方法について説明する。

ＣＰＵ１１１は、図１３に示すように、ステレオ法により例えばステレオカメラ１０２から操作者Ａの顔までの距離ｂｚを得る。この距離ｂｚは、ステレオカメラ１０２から操作者Ａの体までの距離と見なすことができる。またＣＰＵ１１１は、ステレオカメラ１０２から操作者Ａの手までの距離ｈｚを得る。

さらにＣＰＵ１１１は、これらをもとに、操作者Ａの体から操作者Ａの手までの距離ｈ’ｚを得る。この距離ｈ’ｚは、次式（９）により表される。

ｈ’ｚ＝ｂｚ−ｈｚ……（９）

さらにＣＰＵ１１１は、この操作者Ａの体から手までの距離ｈ’ｚを所定の割合でスケーリングしたうえで、これを画面座標系のＺｄ軸上のポインタＰｏの位置（ｐｚ）とする。

ここで、ｈ’ｚに対するスケーリングの割合をｓｚとすると、ポインタＰｏの位置を表す座標ｐｚは、次式（１０）により表される。

ｐｚ＝ｓｚｈ’ｚ……（１０）

尚、ｐｚは画面座標系のＺｄ軸上の座標であるので、以下の条件式（１１）に基づき、それぞれ「０」より小さくなる場合には「０」に、「１」より大きくなる場合には、「１」に丸め込まれるようになっている。

ｐｚ＝０（ｐｘ＜０）、ｐｚ＝ｐｚ（０≦ｐｚ≦１）、ｐｚ＝１（ｐｚ＞１）
……（１１）

このようにして、ＣＰＵ１１１は、ＧＵＩ画面１３０のＺｄ軸上でのポインタＰｏの位置（ｐｚ）を算出する。

ここで、上述したスケーリングの割合ｓｚについて説明する。スケーリングの割合ｓｚは、操作者の手の奥行き方向の動きに対して、どの程度ポインタＰｏをＧＵＩ画面１３０の奥行き方向に動かすかを示すものである。

この場合も、ＣＰＵ１１１は、まず操作者の手が容易に届く範囲（操作範囲）を判別する。具体的に、ＣＰＵ１１１は、ミラーリングしたカメラ画像から得られた操作者Ａの顔領域の大きさをもとに、この操作者Ａの腕の長さＷ３を得る。

ここで腕の長さＷ３は、人間の平均的な顔と体（肩幅、腕の長さなど）の大きさの関係をもとに、操作者の顔の大きさから判別できる。

ＣＰＵ１１１は、このような関係に基づくデータ（演算式でもよい）を不揮発性メモリ１１２から読み出して、このデータをもとに、操作者Ａの顔の大きさから、腕の長さＷ３を得る。

そしてＣＰＵ１１１は、操作者Ａが手を前方に伸ばしたときの、体から手先まで（すなわち腕の長さＷ３）の範囲を、操作者Ａの奥行き方向の操作範囲ｌｚとする。

すなわちＣＰＵ１１１は、操作者Ａが前方に手を伸ばしたときに手が届く範囲を、奥行き方向の操作範囲ｌｚとする。

そしてＣＰＵ１１１は、この操作範囲ｌｚ内で操作者Ａが手を奥行き方向に動かすだけで、ポインタＰｏをＧＵＩ画面１３０の最奥にまで移動できるように、スケーリングの割合を設定する。

この場合、操作者Ａが操作範囲ｌｚの最奥まで手を動かしたときに、ポインタＰｏが画面座標系の最奥、すなわちＧＵＩ画面１３０の最奥にまで移動するように、奥行き方向のスケーリングの割合ｓｚを設定すればよい。

ゆえに、ＣＰＵ１１１は、画面座標系のＺｄ軸上の最大値１を、操作者Ａの奥行き方向の操作範囲ｌｚで割り、この結果を、奥行き方向のスケーリングの割合ｓｚとする。このときこのｓｚは、次式（１２）で表される。

ｓｚ＝１／ｌｚ……（１２）

このようにしてＣＰＵ１１１は、スケーリングの割合ｓｚを設定する。この結果、ＧＵＩ画面１３０では、操作者Ａが容易に手の届く範囲内で手を奥行き方向に動かすだけで、ポインタＰｏをＧＵＩ画面１３０の最奥にまで移動させることができる。

かくして、ＧＵＩ画面１３０では、操作者Ａが容易に手の届く範囲内で手を上下左右、及び手前から奥に動かすだけで、ポインタＰｏをＧＵＩ画面１３０の上下左右、及び手前から奥までの隅々に移動させることができる。

さらに、ＣＰＵ１１１は、操作者が複数存在する場合には、操作者ごとに、上述したようにしてポインタＰｏの位置を算出するようになっている。

例えば、ＴＶ受像機１０１の前方に２人の操作者Ａ及びＢがいるとする。この場合、ＧＵＩ画面１３０には、操作者Ａの体の中心位置に対応する位置を中心に動くポインタＰｏＡと、操作者Ｂの体の中心位置に対応する位置を中心に動くポインタＰｏＢとが表示されることになる。

このとき、操作者ＡとＢの各々が手を体の中心位置に近づけているとする。するとＧＵＩ画面１３０には、図１４に示すように、操作者Ａの近くにポインタＰｏＡが表示され、操作者Ｂの近くにポインタＰｏＢが表示される。

この結果、ＧＵＩ画面１３０上に表示された複数のポインタＰｏＡ及びＰｏＢのうち、どのポインタＰｏが自分の操作するポインタＰｏであるのかを、操作者Ａ及びＢの各々に対して容易に認識させることができる。

因みに、本実施の形態の概要で説明した表示制御装置１の認識部２、算出部３、制御部４及び判別部５の具体的なハードウェアの例が上述したＴＶ受像機１０１のＣＰＵ１１１である。また概要で説明した所定の関数が、上述したスケーリングの割合ｓｘ、ｓｙ、ｓｚである。

［１−２−４．ポインタ表示処理手順］
ここで、ポインタＰｏの表示に係わる処理の手順（これをポインタ表示処理手順とも呼ぶ）について説明する。因みに、このポインタ表示処理手順は、ＴＶ受像機１０１のＣＰＵ１１１が、不揮発性メモリ１１２に書き込まれているプログラムに従って実行するポインタ表示処理の手順である。

ＣＰＵ１１１は、例えば、ＧＵＩ画面１３０を表示させると共に、図１５に示すポインタ表示処理手順ＲＴ１を開始して、ステップＳＰ１に移る。

ステップＳＰ１において、ＣＰＵ１１１は、ステレオカメラ１０２により撮像されたカメラ画像から人物の顔が検出されるまで待ち受ける。

ここで、人物の顔が検出されると、ＣＰＵ１１１は、このステップＳＰ１で肯定結果を得て、ステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１１は、検出された顔の顔領域をもとに、この人物の肩幅、腕の長さ、肘から手先までの長さを得て、次のステップＳＰ３に移る。ステップＳＰ３においてＣＰＵ１１１は、ステップＳＰ１で検出された顔がまだカメラ画像に含まれているか否かを判別する。

ここで、先に検出された顔がカメラ画像に含まれていないことにより否定結果を得ると、このことは、例えば、ＴＶ受像機１０１の前方を人物が単に通り過ぎたこと、つまりこの人物が操作者ではないことを意味する。このときＣＰＵ１１１は、ステップＳＰ１に戻り、再びカメラ画像から人物の顔が検出されるまで待ち受ける。

これに対して、先に検出された顔がカメラ画像にまだ含まれていることによりこのステップＳＰ３で肯定結果を得ると、ＣＰＵ１１１は、ステップＳＰ４に移る。ステップＳＰ４においてＣＰＵ１１１は、カメラ画像から、顔が検出されている操作者の手が検出されているか否かを判別する。

ここで、否定結果を得ると、このことは、例えば、この操作者の手がステレオカメラ１０２の撮像範囲外に位置していることを意味する。このときＣＰＵ１１１は、ステップＳＰ３に戻る。

これに対して、カメラ画像からこの操作者の手が検出されていることによりこのステップＳＰ４で肯定結果を得ると、ＣＰＵ１１１は、ステップＳＰ５に移る。

ステップＳＰ５においてＣＰＵ１１１は、操作者の顔の中心位置と大きさ、肩幅、腕の長さ、肘から手先までの長さなどをもとに、操作者の操作範囲と操作者の体の中心位置（ｂｘ、ｂｙ）をもとめて、次のステップＳＰ６に移る。

ステップＳＰ６においてＣＰＵ１１１は、操作者の体の中心位置（ｂｘ、ｂｙ）を原点とする操作者座標での操作者の手の位置（ｈ’ｘ、ｈ’ｙ）に対するスケーリングの割合ｓｘ、ｓｙを設定する。またＣＰＵ１１１は、操作者の体から手までの距離ｈ’ｚに対するスケーリングの割合ｓｚを設定する。

このようにしてスケーリングの割合ｓｘ、ｓｙ、ｓｚを設定した後、ＣＰＵ１１１は、次のステップＳＰ７に移る。ステップＳＰ７においてＣＰＵ１１１は、設定したスケーリングの割合ｓｘ、ｓｙ、ｓｚを用いて、操作者の手の位置（ｈ’ｘ、ｈ’ｙ）及び操作者の体から手までの距離ｈ’ｚに対してスケーリングを行うことで、ポインタＰｏの位置（ｐｘ、ｐｙ、ｐｚ）を算出する。

このようにしてポインタＰｏの位置を算出した後、ＣＰＵ１１１は、次のステップＳＰ８に移る。ステップＳＰ８においてＣＰＵ１１１は、ＧＵＩ画面１３０上の、ステップＳＰ８で算出した位置にポインタＰｏを表示させ、再びステップＳＰ３に戻る。

このようなポインタ表示処理手順ＲＴ１にしたがって、ＣＰＵ１１１は、ポインタＰｏの表示を制御するようになっている。

［１−２−５．動作及び効果］
以上の構成において、ＴＶ受像機１０１のＣＰＵ１１１は、ステレオカメラ１０２で撮像したカメラ画像から、ＴＶ受像機１０１の前方にいる操作者の顔と手を検出する。

次にＣＰＵ１１１は、カメラ画像から検出した操作者の顔の位置と大きさをもとに、画像座標系での、操作者の体の大きさと中心位置（ｂｘ、ｂｙ）をもとめる。

このとき、この画像座標系は、画面座標系のＸｄ−Ｙｄ平面と同一の座標系に設定されている。ゆえにカメラ画像内での位置は、ＧＵＩ画面１３０のＸｄ−Ｙｄ平面上の位置に対応する。

さらにＣＰＵ１１１は、操作者の体の中心位置（ｂｘ、ｂｙ）を操作者座標系の原点として、この原点からの操作者の手の位置（ｈ’ｘ、ｈ’ｙ）をもとめる。さらにＣＰＵ１１１は、この位置（ｈ’ｘ、ｈ’ｙ）を所定の割合（ｓｘ、ｓｙ）でスケーリングした後、画面座標系のＸｄ−Ｙｄ平面上の位置に戻す。

そしてＣＰＵ１１１は、このようにして得た位置をポインタＰｏの表示位置（ｐｘ、ｐｙ）とする。

このように、ＣＰＵ１１１は、画面座標系のＸｄ−Ｙｄ平面上での操作者の体の中心位置はそのままに、この中心位置を操作者座標系の原点として、この原点からの手の位置をもとに、ポインタＰｏの表示位置を算出するようにした。

こうすることで、例えば操作者が複数存在する場合に、ＧＵＩ画面１３０上に、複数の操作者の各々の体の中心位置に対応する位置を中心に動くポインタＰｏを表示させることができる。この結果、ＧＵＩ画面１３０上に複数のポインタＰｏが表示されていても、複数の操作者の各々に対して、どのポインタが自分の操作するポインタＰｏであるのかを容易に認識させることができる。

またＣＰＵ１１１は、操作者の手が容易に届く上下左右方向の範囲（操作範囲）を判別する。そしてＣＰＵ１１１は、この範囲とＧＵＩ画面１３０の上下左右方向の大きさをもとに、この範囲の端まで手を動かしたときに、ポインタＰｏがＧＵＩ画面１３０の端に移動するようにスケーリングの割合を設定する。

こうすることで、操作者が容易に手の届く範囲内で手を動かすだけで、ポインタＰｏをＧＵＩ画面１３０の隅々にまで移動させることができる。

さらにＣＰＵ１１１は、カメラ画像から検出したステレオカメラ１０２から操作者の顔までの距離と手までの距離をもとに、操作者の体から手までの距離ｈ’ｚを得る。さらにＣＰＵ１１１は、この距離ｈ’ｚを所定の割合ｓｚでスケーリングして、これを画面座標系のＺｄ軸上の位置とする。

ここでＣＰＵ１１１は、操作者の手が容易に届く奥行き方向の範囲（操作範囲）を判別する。そしてＣＰＵ１１１は、この範囲とＧＵＩ画面１３０の奥行き方向の大きさをもとに、この範囲の最奥まで手を伸ばしたときに、ポインタＰｏがＧＵＩ画面１３０の最奥に移動するようにスケーリングの割合を設定する。

こうすることで、操作者が容易に手の届く範囲内で手を動かすだけで、ポインタＰｏをＧＵＩ画面１３０の隅々にまで移動させることができる。

以上の構成によれば、ＴＶ受像機１０１は、例えば操作者が複数存在する場合に、ＧＵＩ画面１３０上に、複数の操作者の各々の体の中心位置に対応する位置を中心に動くポインタＰｏを表示させることができる。この結果、ＧＵＩ画面１３０上に複数のポインタＰｏが表示されていても、複数の操作者の各々に対して、どのポインタＰｏが自分の操作するポインタＰｏであるのかを容易に認識させることができる。またＴＶ受像機１０１は、操作者が容易に手の届く範囲内で手を動かすだけで、ポインタＰｏをＧＵＩ画面１３０の隅々にまで移動させることができる。かくして、ＴＶ受像機１０１は、同時に操作する操作者の数に依らず良好な操作性を得ることができる。

＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態の具体例では、操作者の体の左右方向がカメラ座標系のＸｃ軸に対して平行（すなわち体の前後方向がカメラ座標系のＺｃ軸に対して平行）であることを前提として、ポインタＰｏの位置（ｐｘ、ｐｙ、ｐｚ）を算出した。

ここで、図１６に示すように、操作者の体の前後方向がカメラ座標系のＺｃ軸に対して角度θだけ傾いている場合のポインタＰｏの位置（ｐｘ、ｐｙ、ｐｚ）の算出方法について説明する。

ＣＰＵ１１１は、例えば、カメラ画像から検出した操作者の顔領域内で、目や口の位置が左右どちら側に寄っているかなどにより顔の向きを検出する。そしてこの顔の向きを、体の傾きとして、この傾きをＺｃ軸に対する傾き角度θとして得る。

次にＣＰＵ１１１は、この操作者の体が−θだけ回転して、体の左右方向がカメラ座標系のＸｃ軸に対して平行になったときの画像座標系での手の位置を推定する。

ここで、このときの画像座標系での手の位置を座標ｈ’’ｘ、ｈ’’ｙとして、さらにステレオカメラ１０２から操作者の手までの距離をｈ’’ｚとする。そしてステレオカメラ１０２がピンホールカメラであると仮定すると、このｈ’’ｘは、次式（１３）により表される。またｈ’’ｙは、次式（１４）により表され、さらにｈ’’ｚは、次式（１５）により表される。

ｈ’’ｘ＝（１／αｈ’’ｚ）×（ｃｏｓθ（αｈｚｈｘ−αｂｚｂｘ）
＋ｓｉｎθ（ｈｚ−ｂｚ）＋αｂｚｂｘ）……（１３）
ｈ’’ｙ＝ｈｙ……（１４）
ｈ’’ｚ＝ｓｉｎθ（αｈｚｈｘ−αｂｚｂｘ）−ｃｏｓθ（ｂｚ−ｈｚ）
＋ｂｚ……（１５）

ここでαは、焦点距離をｆ（単位は例えばｍ）、ステレオカメラ１０２のイメージセンサの横幅をｗ（単位は例えばｍ）とすると、次式（１６）により表される。

α＝ｗ／２ｆ……（１６）

そしてＣＰＵ１１１は、このようにして推定したｈ’’ｘ、ｈ’’ｙ、ｈ’’ｚから、ｈ’ｘ、ｈ’ｙ、ｈ’ｚを算出する。このときｈ’ｘは、次式（１７）により表される。またｈ’ｙは、次式（１８）により表される。さらにｈ’ｚは、次式（１９）により表される。

ｈ’ｘ＝ｈ’’ｘ−ｂｘ……（１７）
ｈ’ｙ＝ｈ’’ｙ−ｂｙ……（１８）
ｈ’ｚ＝ｂｚ−ｈ’’ｚ……（１９）

そしてＣＰＵ１１１は、このようにして得られたｈ’ｘ、ｈ’ｙ、ｈ’ｚの各々を、上述した実施の形態の式（３）、式（４）、式（１０）に代入することで、ポインタＰｏの位置（ｐｘ、ｐｙ、ｐｚ）を算出する。

こうすることで、操作者が例えばステレオカメラ１０２の撮像範囲の隅にいるなどして、操作者の体の前後方向がカメラ座標系のＺｃ軸に対して傾いている場合であっても、この傾きを考慮した位置にポインタＰｏを表示させることができる。

尚、体の傾きの判別方法については、上述した顔の向きから判別する方法に限らず、他の既存の判別方法を用いるようにしてもよい。

［２−２．他の実施の形態２］
また上述した実施の形態の具体例では、操作者座標系での操作者の手の位置に対するスケーリングの割合ｓｘ、ｓｙ、ｓｚは、操作範囲内で一定とした。これに限らず、スケーリングの割合ｓｘ、ｓｙ、ｓｚを操作範囲内で変化させるようにしてもよい。

ここで、左右方向のスケーリングの割合ｓｘを、操作者座標系の原点からの操作者の手の左右方向の位置ｈ’ｘに応じて変化させるとする。この場合、例えば、図１７に示すように、ｈ’ｘが、原点からｌｘ／６までの範囲にある場合には、スケーリングの割合ｓｘ＝１とする。

さらにｈ’ｘが、ｌｘ／３からｌｘ／２（すなわち操作範囲ｌｘの端）までの範囲にある場合には、ｓｘ＝ｓｘ（すなわち（｜ｂｘ｜＋１）／（ｌｘ／２））とする。

さらにｈ’ｘが、ｌｘ／６からｌｘ／３までの範囲にある場合には、ｈ’ｘが大きくなるにつれて、ｓｘが１からｓｘまで徐々に増加するようにする。この場合、ｓｘが連続的に変化するような関数を用意することが望ましい。

このように、操作者の手が体の中心位置に近いときには、スケーリングの割合ｓｘを１として、遠いときには、スケーリングの割合ｓｘをｓｘ（すなわち（｜ｂｘ｜＋１）／（ｌｘ／２））とする。

こうすることで、操作者の手が体の中心位置に近いときには、操作者の手の移動量とポインタＰｏの移動量とが一致することになり、ポインタＰｏの動きが細かくなる。これにより操作者が自分の体の近くでポインタＰｏを操作するときの操作性を向上させることができる。

また操作者の手が体の中心位置から遠いときには、操作者の手の移動量に対してポインタＰｏの移動量が大きくなる。これによりポインタＰｏをＧＵＩ画面１３０の隅にまで移動させることができる。

尚、ここでは、左右方向のスケーリングの割合ｓｘの変化について述べたが、上下方向、及び奥行き方向のスケーリングの割合ｓｙ、ｓｚについても同様に変化させるようにしてもよい。

［２−３．他の実施の形態３］
さらに上述した実施の形態の具体例では、ＴＶ受像機１０１が、人間の平均的な顔と体の大きさの関係をもとに、カメラ画像から検出した操作者の顔領域の大きさから、操作者の体の大きさを推定して、操作範囲を自動的に判別するようにした。

これに限らず、カメラ画像に含まれる操作者の顔画像から、操作者の年齢を推定して、この年齢の人間の平均的な顔と体の大きさの関係をもとに、操作者の体の大きさを推定して、操作範囲を判別するようにしてもよい。

この場合、操作者が子供であれば、大人と比べて、顔の大きさに対する体の大きさが小さく、結果として操作範囲が狭くなる。このようにすることで、操作者の実際の体の大きさを一段と的確に推定することができ、結果として、一段と操作性を向上させることができる。

尚、顔画像から人物の年齢（年代）を判別する方法については、種々のアルゴリズムが知られている。例えば、顔画像から、顔の形状や色、髪型、皺、目や口の位置などの複数の特徴量を検出する。さらにこれら複数の特徴量を所定数のグループに分類して、グループごとに、予め用意された年代ごとの特徴量と比較することで年代を判別する。そしてグループごとに判別された年代のうち、例えば、最も多く判別された年代を、この顔画像の人物の年代と判別する。

またこれに限らず、カメラ画像を画像解析することにより、操作者の体の領域（これを体領域とも呼ぶ）を検出することで、実際の体の大きさを認識して、操作範囲を判別するようにしてもよい。

さらに上述した実施の形態の具体例では、奥行き方向の操作範囲ｌｚを、操作者が手を前方に伸ばしたときの体から手先まで（すなわち腕の長さＷ３）の範囲としたが、腕の長さＷ３／√２の範囲を、奥行き方向の操作範囲ｌｚとしてもよい。

ここで、腕の長さＷ３を√２で割る理由は、操作者が操作範囲ｌｘ、ｌｙの四隅に手を伸ばしたときに手が届く範囲を奥行き方向の操作範囲ｌｚとする為である。

さらにこれに限らず、肘から手先までの長さＷ２、もしくはＷ２／√２の範囲を奥行き方向の操作範囲ｌｚとしてもよい。

さらに上述した実施の形態の具体例では、上腕を下ろした状態で操作者の手が届く範囲を操作範囲ｌｘ、ｌｙとしたが、例えば、腕を上下左右に伸ばして届く範囲を操作範囲ｌｘ、ｌｙとしてもよい。

このように操作範囲ｌｘ、ｌｙ、ｌｚについては、種々の方法で判別するようにしてもよい。

またこのように操作範囲を自動的に判別するのではなく、操作者の各々に手動で設定させるようにしてもよい。

この場合、例えば、操作者に、所望の操作範囲ｌｘ、ｌｙ、ｌｚを指定する為のジェスチャ操作を行わせる。具体的には、操作者が、手前側と奥側とでそれぞれ、操作範囲ｌｘ及びｌｙの四隅に対応する計８箇所の位置で、特定のジェスチャ操作をする。特定のジェスチャ操作は、例えば、ジャンケンのパー、グー、パーのように開いた手を握ってまた開くようなジェスチャ操作とする。

ＣＰＵ１１１は、特定のジェスチャ操作が行われた８箇所の位置で表される空間内を、この操作者の操作範囲ｌｘ、ｌｙ、ｌｚとする。

そしてＣＰＵ１１１は、この操作範囲ｌｘ、ｌｙ、ｌｚを、操作者の顔画像と対応付けて、操作範囲データとして不揮発性メモリ１１２に記憶させる。

これにより、ＣＰＵ１１１は、以降、この操作者をステレオカメラ１０２で捉えた場合には、この操作者の顔画像に対応する操作範囲データを不揮発性メモリ１１２から読み出して、操作範囲ｌｘ、ｌｙ、ｌｚを設定する。

このようにすれば、操作者の各々が自分の手を動かし易い範囲を操作範囲として設定することができ、かくしてポインタＰｏを操作するときの操作性をより一層向上させることができる。

また、例えば、操作者が、手前側と奥側とでそれぞれ、操作範囲ｌｘ及びｌｙを示す四角形を描くジェスチャ操作をして、ＣＰＵ１１１が、手前側の四角形と奥側の四角形とで表される空間内を、この操作者の操作範囲ｌｘ、ｌｙ、ｌｚとしてもよい。

要は、操作範囲を表す空間を指定するジェスチャ操作を操作者に行わせればよく、少なくとも空間の対角線上の２点を指定するジェスチャ操作を行わせればよい。

［２−４．他の実施の形態４］
さらに上述した実施の形態の具体例では、ステレオカメラ１０２で撮像したカメラ画像から操作者の手の位置を検出して、この手の位置をもとにポインタＰｏのＧＵＩ画面１３０上での表示位置を算出するようにした。

これに限らず、操作者に所定のコントローラを持たせて、このコントローラから発せられる信号（例えば光信号）をもとに、コントローラの位置を検出して、このコントローラの位置をもとにポインタＰｏのＧＵＩ画面１３０上での表示位置を算出するようにしてもよい。

［２−５．他の実施の形態５］
また上述した実施の形態の具体例では、ＴＶ受像機１０１に対して、ステレオカメラ１０２が外部接続されるようにした。これに限らず、ＴＶ受像機１０１にステレオカメラ１０２を内蔵させるようにしてもよい。

またステレオカメラ１０２に限らず、赤外線カメラや通常の単眼カメラをＴＶ受像機１０１に接続、もしくは内蔵させるようにしてもよい。因みに、単眼カメラの場合、奥行き方向の情報が欠落することになるので、顔と手の対応関係を判別する精度が低下するが、ステレオカメラと比して簡易な構成とすることができる。

［２−６．他の実施の形態６］
さらに上述した実施の形態の具体例では、上下左右方向にくわえて奥行き方向を仮想的に有する３次元画面としてのＧＵＩ画面１３０に本発明を適用するようにした。これに限らず、ポインタ操作し得る画面であれば、上下左右方向のみの２次元画面に本発明を適用してもよく、また適用することができる。

このように２次元画面に本発明を適用する場合、必ずしもステレオカメラ１０２が必要ではなく、通常の単眼カメラを用いることができる。またこの場合、上述した実施の形態から、奥行き方向の概念を取り除くだけでよい。

［２−７．他の実施の形態７］
さらに、上述した実施の形態の具体例では、表示制御装置としてのＴＶ受像機１０１に、認識部、算出部、制御部、判別部としてのＣＰＵ１１１を設けるようにした。

本発明はこれに限らず、同様の機能を有するのであれば、上述したＴＶ受像機１０１の各機能部（認識部、算出部、制御部、判別部）を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。

さらに上述した実施の形態の具体例では、ＴＶ受像機１０１とステレオカメラ１０２とで構成される多人数同時操作システム１００に本発明を適用するようにした。これに限らず、同時に複数の操作者で操作し得るシステムであれば、この他種々のシステムに適用するようにしてもよく、また適用することができる。例えば、パーソナルコンピュータとディスプレイとステレオカメラとで構成されるシステムなどに適用するようにしてもよい。

［２−８．他の実施の形態８］
さらに上述した実施の形態の具体例では、各種処理を実行するためのプログラムを、ＴＶ受像機１０１の不揮発性メモリ１１２に書き込んでおくようにした。

これに限らず、このプログラムを例えば光ディスク、メモリカードなどの記録媒体に書き込んでおき、ＴＶ受像機１０１のＣＰＵ１１１が、この記憶媒体からプログラムを読み出すようにしてもよい。この場合、例えば、ＴＶ受像機１０１の外部インタフェース１１０に記録媒体のドライブを接続するようにする。

またＴＶ受像機１０１に、ネットワークインタフェースを設けて、このプログラムを、ネットワークインタフェース経由でダウンロードして不揮発性メモリ１１２にインストールするようにしてもよい。

［２−９．他の実施の形態９］
さらに本発明は、上述した実施の形態の概要及び具体例と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態の概要及び具体例と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。

さらに上述した実施の形態の概要及び具体例と他の実施の形態は一例であり、本発明の要旨を逸脱しない範囲であれば、この他、種々の形態に本発明を適用するようにしてもよく、また適用することができる。

本発明は、例えば、複数の操作者が同時に操作し得るＧＵＩを実装するコンピュータで広く利用することができる。

１……表示制御装置、２……認識部、３……算出部、４……制御部、５……判別部、１００……多人数同時操作システム、１０１……ＴＶ受像機、１０２……ステレオカメラ、１１１……ＣＰＵ、１１９……ディスプレイ、１２１……撮像部、１３０……ＧＵＩ画面、Ｐｏ……ポインタ。

Claims (10)

1. 操作者の位置と当該操作者の操作手段の位置とを認識する認識部と、
   画面に設定された画面座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出する算出部と、
   上記算出部が算出した上記画面座標系での位置に、上記表示情報を表示させる制御部と
   を具える表示制御装置。
2. 上記認識部は、
   カメラ画像から上記操作者の位置と上記操作手段の位置とを認識し、
   上記算出部は、
   上記画面座標系と同一座標系として設定された上記カメラ画像の画像座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出する
   請求項１に記載の表示制御装置。
3. さらに上記操作手段の操作範囲を判別する判別部を具え、
   上記算出部は、
   上記判別部により判別された操作範囲と上記画面のサイズとに基づく関数を、上記操作者座標系の原点からの上記操作手段の位置に乗じる
   請求項２に記載の表示制御装置。
4. 上記操作手段の位置は、上記操作者の手の位置であり
   上記認識部は、
   上記カメラ画像から上記操作者の体の大きさを認識し、
   上記判別部は、
   上記認識部により認識された上記操作者の体の大きさをもとに、上記操作者の位置から手が届く範囲を推定して、当該範囲を上記操作手段の操作範囲とする
   請求項３に記載の表示制御装置。
5. 上記認識部は、
   上記カメラ画像から上記操作者の顔を認識し、
   上記判別部は、
   上記認識部により認識された上記操作者の顔から当該操作者の年齢を推定して、当該年齢をもとに、当該顔の大きさから体の大きさを推定する
   請求項４に記載の表示制御装置。
6. 上記認識部は、
   上記カメラ画像から上記操作手段によるジェスチャ操作を認識し、
   上記判別部は、
   上記認識部により上記操作範囲を指定する為のジェスチャ操作が認識されると、当該ジェスチャ操作により示された範囲を上記操作範囲とする
   請求項３に記載の表示制御装置。
7. 上記画面座標系は、上下左右方向にくわえて奥行き方向を有する３次元座標系であり、
   上記認識部は、
   カメラ画像から上記操作者の位置及び体の大きさと、上記操作手段の位置とにくわえて、当該操作者の位置から当該操作手段までの距離を認識し、
   上記算出部は、
   上記画像座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での上下左右方向の位置を算出すると共に、上記操作者の位置から上記操作手段までの距離に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での奥行き方向の位置を算出し、
   上記判別部は、
   上記認識部により認識された上記操作者の体の大きさをもとに上記操作者の位置から手が届く上下左右方向の範囲と奥行き方向の範囲を推定して、当該範囲を上記操作手段の操作範囲とする
   請求項４に記載の表示制御装置。
8. 上記認識部は、
   カメラ画像から上記操作者の腕の長さを認識し、
   上記判別部は、
   上記操作範囲の奥行き方向の範囲を、腕の長さ／√２の範囲とする
   請求項７に記載の表示制御装置。
9. 情報処理装置が、
   操作者の位置と当該操作者の操作手段の位置とを認識し、
   画面に設定された画面座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出し、
   算出した上記画面座標系での位置に、上記表示情報を表示させる
   表示制御方法。
10. コンピュータに、
    操作者の位置と当該操作者の操作手段の位置とを認識する認識ステップと、
    画面に設定された画面座標系での上記操作者の位置を操作者座標系の原点とし、当該操作者座標系の原点からの上記操作手段の位置に所定の関数を乗じて、当該操作手段に対応する表示情報の画面座標系での位置を算出する算出ステップと、
    上記算出ステップで算出した上記画面座標系での位置に、上記表示情報を表示させる表示ステップと
    を実行させるための表示制御プログラム。

Images