JP2011258159A - プログラム、情報記憶媒体及び画像生成システム - Google Patents

Abstract

【課題】操作者のスケルトン情報を利用した多様な画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像センサからの画像情報に基づいて、画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、スケルトン情報で表されるスケルトンの骨の位置情報についての補正処理を行う補正処理部と、補正処理の結果に応じた画像を生成する画像生成部を含む。
【選択図】図５

Description

本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。

近年、従来の操作ボタンや方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者（プレーヤ、ユーザ）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。

一方、このような直感的なインターフェースを実現する他の手法として、画像センサにより操作者を撮像して、操作者の動きによる操作入力を実現する手法が考えられる。

しかしながら、操作者には、身長差や年齢差などの個人差があり、このような多様な操作者に対応しながら、操作者の操作入力を適切に認識することは容易ではない。

特開２００８−１３３６６９５号公報

本発明の幾つかの態様によれば、操作者のスケルトン情報を利用した多様な画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。プログラム、情報記憶媒体、画像生成システム等を提供できる。

本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、前記スケルトン情報で表されるスケルトンの骨の位置情報についての補正処理を行う補正処理部と、前記補正処理の結果に応じた画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様では、画像センサから画像情報が取得され、画像情報から操作者のスケルトン情報が取得される。そしてスケルトン情報で表されるスケルトンの骨の位置情報についての補正処理が行われ、補正処理の結果に応じた画像が生成される。従って、操作者のスケルトン情報を利用して、多様な画像を生成できるようになり、例えば、体格等が異なる多様な操作者に対応等することも可能になる。

また本発明の一態様では、前記操作者の動きに応じて移動又は動作するオブジェクトの制御を行うオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記オブジェクト制御部は、前記補正処理の結果に基づいて前記オブジェクトの制御を行ってもよい。

このようにすれば、スケルトンの骨の位置情報についての補正処理の結果を反映させたオブジェクト制御を実現できるようになる。

また本発明の一態様では、前記補正処理部は、前記スケルトンの骨の位置情報の補正処理を行って、補正位置情報を求め、前記オブジェクト制御部は、前記補正位置情報に基づいて、前記オブジェクトの制御を行い、前記画像生成部は、前記補正位置情報に対応する画面上の表示位置に前記オブジェクトが表示される画像を生成してもよい。

このようにすれば、スケルトンの骨の位置情報の補正処理を行って、求められた補正位置情報に対応する表示位置にオブジェクトを表示できるようになる。

また本発明の一態様では、前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するオブジェクトであってもよい。

このようにすれば、操作者の所定部位の動きに応じてオブジェクトを移動させることができると共に、そのオブジェクトの移動等の制御に補正処理の結果を反映させることが可能になる。

また本発明の一態様では、前記所定部位は前記操作者の手であり、前記オブジェクトは、前記操作者の手の動きに応じて移動する手オブジェクトであってもよい。

このようにすれば、操作者の手の動きに応じて手オブジェクトを移動させることができると共に、その手オブジェクトの移動等の制御に補正処理の結果を反映させることが可能になる。

また本発明の一態様では、前記オブジェクト制御部は、第１のモードでは、前記補正処理の結果を用いてオブジェクトの制御を行い、第２のモードでは、前記補正処理の結果を用いずに、前記スケルトン情報を用いてオブジェクトの制御を行ってもよい。

このような第１、第２のモードを設けることで、ゲームの種類等に応じた適切なオブジェクト制御を効率的に実現できる。

また本発明の一態様では、前記補正処理部は、第１の操作者のスケルトンの状態が第１の状態である時の前記オブジェクトの表示位置と、第２の操作者のスケルトンの状態が前記第１の状態である時の前記オブジェクトの表示位置とが同じ位置になるように前記補正処理を行ってもよい。

このようにすれば、操作者が第１の操作者であるか第２の操作者であるかに依存しないオブジェクト制御を実現できる。

また本発明の一態様では、前記補正処理部は、前記操作者の体格情報を用いて前記補正処理を行ってもよい。

このようにすれば、操作者の体格情報を補正処理に反映させることが可能になり、操作者の体格等の違いを吸収した補正処理を実現できる。

また本発明の一態様では、前記補正処理部は、前記スケルトンの第１の関節と第２の関節の間の関節間距離情報を、前記体格情報として用いて、前記補正処理を行ってもよい。

このようにすれば、例えばスケルトン情報から、関節間距離情報を体格情報として取得して、操作者の体格等の違いを吸収した補正処理を実現できる。

また本発明の一態様では、前記補正処理部は、複数フレームに亘って取得された前記関節間距離情報から得られる距離情報を、前記体格情報として用いて、前記補正処理を行ってもよい。

このようにすれば、特異な関節間距離情報が得られた場合にも、これに対処して、適正な補正処理を実現できる。

また本発明の一態様では、前記補正処理部は、前記操作者の位置と前記画像センサとを結ぶ第１の方向と、前記操作者の位置と前記操作者の所定部位に対応する関節の位置とを結ぶ第２の方向とのなす角度を求めて、前記補正処理を行ってもよい。

このようにすれば、操作者の体格等の違いを吸収した補正処理を実現できる。

また本発明の一態様では、ゲーム演算処理を行うゲーム演算部を含み（ゲーム演算部としてコンピュータを機能させ）、前記ゲーム演算部は、前記補正処理の結果に応じた前記ゲーム演算処理を行ってもよい。

このようにすれば、スケルトンの骨の位置情報の補正処理の結果を反映させたゲーム演算処理を実現できる。

また本発明の一態様では、前記ゲーム演算部は、前記ゲーム演算処理として、前記補正処理の結果に応じたゲーム結果演算処理を行ってもよい。

このようにすれば、ゲーム結果演算処理に対して、スケルトンの骨の位置情報の補正処理を反映できるようになる。

また本発明の一態様では、前記補正処理部は、前記スケルトンの骨の位置の移動量情報についての補正処理を行って、補正移動量情報を求め、前記ゲーム演算部は、前記補正移動量情報に基づいて前記ゲーム結果演算処理を行ってもよい。

このようにすれば、スケルトンの骨の位置の移動量情報を補正し、得られた補正移動量情報を利用したゲーム結果演算処理を実現できる。

また本発明の一態様では、前記操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記補正処理部は、前記キャラクタの接触対象となる接触対象オブジェクトと前記キャラクタとの位置関係に応じた拡縮率で、前記キャラクタのサイズを変更する補正処理を行ってもよい。

このようにすれば、キャラクタと接触対象オブジェクトとの位置関係に応じて、キャラクタのサイズが変更されるようになり、キャラクタと接触対象オブジェクトとの適切な接触イベントを実現できるようになる。

また本発明の一態様では、前記補正処理部は、前記接触対象オブジェクトと前記キャラクタとの位置関係に応じて、前記キャラクタの配置位置を調整する補正処理を行ってもよい。

このようにすれば、キャラクタと接触対象オブジェクトとの位置関係に応じて、キャラクタの配置位置が調整されるようになり、キャラクタと接触対象オブジェクトとの適切な接触イベントを実現できるようになる。

また本発明の一態様では、前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部を含み（信頼度情報取得部としてコンピュータを機能させ）、前記画像生成部は、前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成してもよい。

このようにすれば、表示部に表示される画像にスケルトン情報の信頼度を反映することが可能になり、これまでにない画像生成システムの提供が可能になる。

また本発明の一態様では、前記画像生成部は、前記信頼度情報に基づいて、前記表示部に表示される画像の表示態様を変化させてもよい。

このようにすれば、信頼度情報により表される信頼度が増減すると、表示部に表示される画像の表示態様が変化するため、信頼度の増減を、画像の表示態様の変化を通じて操作者に伝えることが可能になる。

また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、前記スケルトン情報に基づいて、前記操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うオブジェクト制御部と、前記キャラクタの接触対象となる接触対象オブジェクトと前記キャラクタとの位置関係に応じた拡縮率で、前記キャラクタのサイズを変更する補正処理を行う補正処理部と、前記補正処理の結果に応じた画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本実施形態の画像生成システムの構成例。 図２（Ａ）、図２（Ｂ）は画像センサからの撮像情報を用いた本実施形態の操作インターフェースの説明図。 デプス情報等に基づいて操作者のスケルトン情報を求める手法の説明図。 図４（Ａ）、図４（Ｂ）は本実施形態の補正処理の説明図。 図５（Ａ）、図５（Ｂ）は本実施形態の補正処理の説明図。 図６（Ａ）、図６（Ｂ）は補正位置情報により描画位置を求める手法の説明図。 図７（Ａ）、図７（Ｂ）は操作者の体格情報に基づく補正処理の説明図。 図８（Ａ）、図８（Ｂ）は第１、第２の方向のなす角度を用いた補正処理の説明図。 図９（Ａ）、図９（Ｂ）は補正移動量情報に基づくゲーム演算処理の説明図。 図１０（Ａ）、図１０（Ｂ）は第２のモードのゲームの説明図。 図１１（Ａ）、図１１（Ｂ）はキャラクタのサイズを変更する補正処理の説明図。 図１２（Ａ）、図１２（Ｂ）はキャラクタのサイズを変更する補正処理の説明図。 図１３（Ａ）、図１３（Ｂ）はキャラクタの配置位置を調整する補正処理の説明図。 図１４（Ａ）、図１４（Ｂ）はスケルトン情報、信頼度情報のデータ構造の例。 図１５（Ａ）、図１５（Ｂ）は信頼度、存在確率範囲の説明図。 図１６（Ａ）、図１６（Ｂ）は信頼度の説明図。 図１７（Ａ）、図１７（Ｂ）は操作者の操作動作を示す図。 図１８（Ａ）、図１８（Ｂ）は信頼度情報に基づき画像の表示態様を変化させる手法の説明図。 図１９（Ａ）、図１９（Ｂ）は映像機器への本実施形態の手法の適用例。 本実施形態の処理を説明するフローチャート。 本実施形態の処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成
図１に本実施形態の画像生成システム（ゲーム装置、映像機器等）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

操作部１６０は、操作者が操作情報を入力するためのものである。この操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を、画像センサだけで実現してもよいし、画像センサ以外の操作デバイス（方向指示キー、操作ボタン、アナログスティック、レバー、角速度センサ・加速度センサ等のセンサ、マイク、或いはタッチパネル型ディスプレイ）を用いて実現してもよい。

記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、操作部１６０からの操作情報やプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、画像情報取得部１０２、動き情報取得部１０４、信頼度情報取得部１０６、補正処理部１０８、ゲーム演算部１１０、オブジェクト空間設定部１１２、オブジェクト制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。

動き情報取得部１０４は操作者の動き情報を取得する。動き情報取得部１０４が含むスケルトン情報取得部１０５はスケルトン情報を取得し、信頼度情報取得部１０６は、スケルトン情報の信頼度情報を取得する。スケルトン情報、信頼度情報はスケルトン情報記憶部１７４、信頼度情報記憶部１７５に記憶される。補正処理部１０８は種々の補正処理を行う。動き情報取得部１０４、スケルトン情報取得部１０５、信頼度情報取得部１０６、補正処理部１０８の詳細については後述する。

ゲーム演算部１１０はゲーム演算処理を行う。ここでゲーム演算処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。

オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちオブジェクトが３次元オブジェクトである場合には、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７６には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。

オブジェクト制御部１１４は、オブジェクトの制御を行う。例えば、操作部１６０により操作者（プレーヤ、ユーザ）が入力した操作情報や、プログラム（移動・動作アルゴリズム）や、各種データなどに基づいて、オブジェクトの移動及び動作の少なくとも一方を制御する。具体的には、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。或いはオブジェクトのモーション処理やアニメーション処理などの動作制御を行う。なおフレームは、オブジェクトの移動・動作処理や画像生成処理を行う時間の単位である。

オブジェクト制御部１１４により制御されるオブジェクトは、３次元オブジェクト空間に配置設定される３次元オブジェクトであってもよいし、２次元スクリーン（表示画面）に描画される２次元オブジェクトであってもよい。オブジェクトが、３次元モデルにより表されるキャラクタのオブジェクトである場合には、オブジェクト制御部１１４は、キャラクタにモーションを行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７７に記憶されているモーションデータ等に基づいて再生することなどで実現できる。ここで、モーションデータ記憶部１７７には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７８には、キャラクタを表すモデルオブジェクトのモデルデータが記憶される。

仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。

画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。

なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。

音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。

そして本実施形態では、画像情報取得部１０２が、画像センサからの画像情報を取得すると、動き情報取得部１０４が操作者の動き情報を取得する。そして補正処理部１０８が、この動き情報についての補正処理を行う。

ここで動き情報としては、例えば動きベクトルなどのオプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。オプティカルフローの情報は、画像センサの撮像画像での操作者の動きを動きベクトルで表現した情報である。操作者の部位の動きを表す情報は、操作者の各部位がどのように動いているかを特定するための情報である。またスケルトン情報は、画像センサから見える操作者の動作を特定するための情報であり、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。関節位置情報は骨の位置情報として用いられる。

例えばスケルトン情報取得部１０５は、画像センサからの画像情報に基づいて、操作者のスケルトン情報を取得する。すると、補正処理部１０８は、スケルトン情報で表されるスケルトンの骨の位置情報（関節位置情報）についての補正処理を行い、画像生成部１２０は、この補正処理の結果に応じた画像を生成する。ここで、骨の位置情報についての補正処理は、骨の位置情報自体の補正処理であってもよいし、他の情報を補正することで、骨の位置情報自体を補正するのと同様の効果が得られる補正処理であってもよい。例えば骨の位置情報についての補正処理には、スケルトンの全体的な形状を変形するような補正手法も含まれる。また画像生成部１２０は、このような補正処理の結果が反映された画像を生成して、表示部１９０に表示する。

例えばオブジェクト制御部１１４は、操作者の動きに応じて移動又は動作するオブジェクトの制御を行う。ここでオブジェクトは２次元オブジェクトであってもよいし、３次元オブジェクトであってもよい。そしてオブジェクト制御部１１４は、補正処理の結果に基づいてオブジェクトの制御を行う。

具体的には、補正処理部１０８は、スケルトンの骨の位置情報（関節位置情報）の補正処理を行って、補正位置情報を求める。するとオブジェクト制御部１１４は、補正処理により得られた補正位置情報に基づいて、オブジェクトの制御を行う。例えば補正位置情報に基づいて、オブジェクトの描画位置などを決定する。そして画像生成部１２０は、補正位置情報に対応する画面上の表示位置にオブジェクトが表示される画像を生成する。このようにすることで、補正処理の結果に応じた画像（補正処理が反映された画像）が生成されるようになる。

ここで、オブジェクトは、操作者の所定部位（例えば手、足等）の動きに応じて移動するオブジェクトである。具体的には、所定部位は操作者の手であり、オブジェクトは、操作者の手の動きに応じて移動する手オブジェクト（アイコン、カーソル）である。

またオブジェクト制御部１１４は、第１のモード（第１の種類のゲーム）では、補正処理の結果を用いてオブジェクトの制御を行う。例えば補正処理により補正位置情報等を求めて、この補正位置情報等に基づいて、オブジェクトを移動、動作させる制御を行う。

一方、第２のモード（第２の種類のゲーム）では、補正処理の結果を用いずに、スケルトン情報を用いてオブジェクトの制御を行う。例えばオブジェクトがキャラクタである場合には、画像センサからの画像情報により得られるスケルトン情報により、キャラクタのモーションを特定し、特定されたモーションでキャラクタを動作させる制御を行う。この場合に、スケルトン情報により設定されるモーションデータをそのまま用いて、キャラクタのモーション再生を行ってもよい。或いは、複数のモーションパターンの中から、取得されたスケルトン情報に対応するモーションパターンを選択し、選択されたモーションパターンのモーションデータで、キャラクタのモーション再生を行ってもよい。

また補正処理部１０８は、第１の操作者のスケルトンの状態が第１の状態である時のオブジェクトの表示位置と、第２の操作者のスケルトンの状態が第１の状態である時のオブジェクトの表示位置とが同じ位置になるように補正処理を行う。例えば第１の操作者が大人であり、第２の操作者が子供である場合に、その大人のスケルトンが第１の状態（例えば右手を上げるなどの姿勢状態）である時のオブジェクト（例えば右手オブジェクト）の表示位置と、その子供が同じ姿勢状態である時のオブジェクトの表示位置とが同じ位置になるように、補正処理を行う。

また補正処理部１０８は、操作者の体格情報を用いて補正処理を行ってもよい。体格情報は、操作者の体の大きさや体型等を表す情報である。具体的には、補正処理部１０８は、スケルトンの第１の関節（例えば肩の関節）と第２の関節（例えば手の関節）の間の関節距離情報を、体格情報として用いて、補正処理を行う。或いは、複数フレームに亘って取得された関節間距離情報から得られる距離情報を、体格情報として用いて、補正処理を行ってもよい。例えば複数フレーム分の関節間距離情報の平均化処理を行い、平均化処理により得られた距離情報を用いて補正処理を行う。

また補正処理部１０８は、操作者の位置（代表位置）と画像センサとを結ぶ第１の方向と、操作者の位置と所定部位（例えば手、足）に対応する関節の位置とを結ぶ第２の方向とのなす角度を求めて、補正処理を行ってもよい。例えば求められた角度に基づいて、オブジェクトの表示位置を求める。このようにすることで、骨の位置情報の補正位置情報を直接求めなくても、オブジェクトの描画位置を求めることが可能になる。

またゲーム演算部１１０が、補正処理の結果（補正位置情報、第１、第２の方向のなす角度等）に応じたゲーム演算処理を行ってもよい。そして画像生成部１２０が、このゲーム演算処理の結果に基づいて画像を生成することで、補正処理の結果に応じた画像（補正処理を反映させた画像）が生成されるようになる。例えばゲーム演算部１１０は、ゲーム演算処理として、補正処理の結果に応じたゲーム結果演算処理を行う。即ち、ゲーム結果の演算に、補正処理の結果を反映させる。具体的には補正処理部１０８は、スケルトンの骨の位置の移動量情報についての補正処理を行って、補正移動量情報を求める。するとゲーム演算部１１０は、補正移動量情報に基づいてゲーム結果演算処理を行う。例えば補正移動量情報を利用してゲーム結果を調整することで、大人と子供などの個人差で不利が生じないようにする。なお、この場合の移動量情報は、例えば所定時間単位（例えば１フレーム）におけるスケルトンの骨の位置の移動量などを示す情報である。

また補正処理部１０８は、キャラクタのサイズを変更する補正処理を行ってもよい。具体的には補正処理部１０８は、キャラクタの接触対象となる接触対象オブジェクト（ヒット対象オブジェクト、プレイ対象オブジェクト）とキャラクタとの位置関係に応じた拡縮率（拡大率、縮小率）で、キャラクタのサイズを変更する補正処理を行う。例えばキャラクタの部位が接触対象オブジェクトに接触できるようなサイズに、キャラクタのサイズを変更する。ここで位置関係は、接触対象オブジェクトとキャラクタとの距離や、接触対象オブジェクトとキャラクタの配置関係などである。更に補正処理部１０８は、接触対象オブジェクトとキャラクタとの位置関係に応じて、キャラクタの配置位置を調整する補正処理を行ってもよい。即ちキャラクタのサイズのみならず、配置位置についても調整する。

また補正処理部１０８は、画像センサのアスペクト比（例えば４対３）と表示部１９０のアスペクト比（例えば１６対９）との関係を表すアスペクト比情報に基づいて、補正処理を行ってもよい。例えばアスペクト比情報に基づいて、動き情報取得部１０４により取得された動き情報についての補正処理を行う。またアスペクト比情報に基づいて、オブジェクトの移動又は動作についての補正処理を行う。具体的には、操作者の動きに対して、表示部１９０の画面の水平方向でのオブジェクトの移動量の方が、表示部の画面の垂直方向での移動量よりも大きくなるように、補正処理を行う。

信頼度情報取得部１０６は、スケルトン情報の信頼度（情報の確からしさ）を表す信頼度情報を取得する。そして画像生成部１２０は、表示部１９０に表示される画像として、取得された信頼度情報に応じた画像を生成する。例えば画像生成部１２０は、信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させる。またゲーム演算部１１０が信頼度情報に応じたゲーム演算処理を行った場合や、オブジェクト制御部１１４が信頼度情報に応じたオブジェクト制御を行った場合には、当該ゲーム演算処理やオブジェクト制御に基づく画像を生成することで、信頼度情報に応じた画像が生成されるようになる。

例えば信頼度情報取得部１０６は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、各骨の情報（位置情報、対応づけ情報）の信頼度が関連づけられた情報を、信頼度情報として取得する。ここで、スケルトン情報は、操作者の各部位（手、足、腰、胴体、首、頭等）に対応づけられた各骨（各関節）の位置情報を含む。この場合には、信頼度情報により表される信頼度は、操作者の各部位と各骨との対応づけと、各骨の位置情報に関する信頼度となる。

また信頼度情報取得部１０６は、操作者の所定部位（例えば手、足等）が操作者の他の部位（例えば胴体、頭、他方の手・足等）、に近づくほど、所定部位に対応する骨の情報（位置情報、対応づけ情報）の信頼度が低くなる情報を、信頼度情報として取得する。即ち所定部位と他の部位との区別がつかなくなった場合に信頼度が低くなるような情報を、信頼度情報として取得する。或いは、信頼度情報取得部１０６は、操作者が画像センサから所定距離以上離れた場合に、スケルトン情報の骨の情報の信頼度が低くなる情報を、信頼度情報として取得する。即ち、操作者が画像センサから遠く離れてしまい、画像センサからの画像情報から信頼度情報を取得できなくなったり取得するのが極めて困難になった場合に信頼度が低くなるような情報を、信頼度情報として取得する。なおスケルトン情報と信頼度情報は一体となった情報であってもよい。

画像生成部１２０は、取得された信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させる。この場合に、信頼度情報により表される信頼度の変化の予測情報（変化率情報等）に基づいて、表示部１９０に表示される画像の表示態様を変化させてもよい。例えば信頼度が所定しきい値以下になることが前もって予測された場合に、画像の表示態様を変化させる。

具体的には画像生成部１２０は、操作者の所定部位（例えば手、足）に対応する骨（手、足の骨・関節）の情報の信頼度に基づいて、所定部位に対応して表示部１９０に表示されるオブジェクトの表示態様を変化させる。ここで所定部位に対応して表示されるオブジェクトは、所定部位の動きに連動して移動又は動作するオブジェクトであり、２次元オブジェクトであってもよいし、３次元オブジェクトであってもよい。

そして画像生成部１２０は、所定部位に対応する骨の情報の信頼度が低くなるにつれて、所定部位に対応するオブジェクトをぼかす処理（ぼかしフィルタ処理）、オブジェクトを透明に近づける処理（α値を変化させる処理）、及びオブジェクトの色を変化させる処理（ターゲット色に近づける処理）の少なくとも１つの処理を行う。或いは、所定部位に対応する骨の情報の信頼度が低くなるにつれて、オブジェクトの明度（輝度）を変化させる処理、オブジェクトの輪郭線の表示態様（太さ、濃さ）を変化させる処理、オブジェクトのサイズを変化（変形）させる処理、及びオブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。

２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。

２．１ 補正処理
一般的に、ゲーム装置や、テレビや記録・再生機器等の映像機器では、コントローラ（リモコン）のボタンやレバーを用いて操作を指示する。またコントローラにモーションセンサ（６軸センサ）を設け、操作者がコントローラそのものを動かすことで操作を指示する機器も考えられる。

しかしながら、このような操作インターフェースの機器では、操作にコントローラが必要になり、操作者の手の動きなどのジェスチャをそのまま反映させるような操作については実現できなかった。

そこで本実施形態では、画像センサで撮像された画像情報に基づき操作者の操作入力を可能にする操作インターフェースを採用している。

例えば図２（Ａ）では、表示部１９０（画面ＳＣ）に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０から操作者の方に向く方向になるように設置されており、表示部１９０側から見た操作者のカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。また画像センサＩＳＥの設置位置は図２（Ａ）に限定されず、任意の位置（例えば表示部１９０の下部）に設定できる。

そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、操作者やその周りの風景の色情報が得られる。一方、デプス情報では、操作者やその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。

デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見た操作者などの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。

なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。

そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、画像センサＩＳＥから見える操作者（プレーヤ、ユーザ）の動き情報を取得する。そして、取得された動き情報についての補正処理を行う。ここで動き情報は、前述のように、オプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などである。

例えば本実施形態では図３に示すように、図２（Ｂ）のデプス情報等に基づいて、操作者の動作を特定するためのスケルトン情報（動き情報）を取得する。図３ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節Ｃ０〜Ｃ１９の位置情報として取得されている。このスケルトンを構成する各骨は、画像センサＩＳＥに映る操作者の各部位（手、足、胸等）に対応するものであり、関節Ｃ０〜Ｃ１９は、画像センサＩＳＥに映る操作者の関節に対応するものである。

例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見た操作者等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などにより操作者の顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等や画像の動きベクトル（オプティカルフロー）などを用いて、操作者の各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図３に示すようなスケルトン情報を取得する。更に具体的には、体型・体格が異なる複数のモデルを用意する。そして画像センサＩＳＥにより得られた操作者のデプス情報やカラー画像情報を用いて、操作者の体型・体格と、これらの複数のモデルの体型・体格とのマッチング処理を行い、体型・体格が類似するモデルを特定する。そして、特定されたモデルの関節位置の情報等を用いて、操作者の関節位置（骨の位置、部位の位置）を推定して、スケルトン情報を取得する。

このようなスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばキャラクタのモーションデータとして利用することで、オブジェクト空間において、操作者に対応するキャラクタ（アバター）を動作させることが可能になる。

しかしながら、操作者の体型・体格は様々であり、身長差や年齢差などの個人差がある。一方、操作者の動きに連動して画面上のオブジェクトを移動、動作させる場合、その移動、動作範囲は、画面全体に亘ることが望ましい。

そこで本実施形態では、図３のスケルトン情報で表される骨の位置情報（関節位置情報）についての補正処理を行って、補正処理の結果に応じた画像を生成する手法を採用する。

例えば図４（Ａ）は、画像センサＩＳＥにより大人の操作者を撮った時の撮像画像（カラー画像等の画像情報）の例であり、この撮像画像から同図に示すような大人の操作者のスケルトン情報が取得されている。

図４（Ａ）の操作者のスケルトンの動きに連動して、図４（Ｂ）に示すような画像が生成されて、表示部１９０に表示される。具体的には、図４（Ａ）の操作者のスケルトンの右手の動きに連動して、図４（Ｂ）の右手オブジェクトＨＲが画面上で移動し、スケルトンの左手の動きに連動して、左手オブジェクトＨＬが画面上で移動する。例えば操作者が右手を上下左右に動かすと、右手オブジェクトＨＲが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトＨＬが上下左右に移動する。そして、例えば画面上に表示される風船を模したオブジェクトＯＢＪ（接触対象オブジェクト）に、手オブジェクトＨＲ、ＨＬを素速く接触させることで、風船を割るミニゲームを操作者は楽しむことができる。なおＣＨ１は、大人の操作者のアバターとなるキャラクタである。

一方、図５（Ａ）は、画像センサＩＳＥにより子供の操作者を撮った時の撮像画像の例であり、この撮像画像から同図に示すように子供の操作者のスケルトン情報が取得されている。

図５（Ａ）の操作者のスケルトンの動きに連動して、図５（Ｂ）に示すような画像が生成されて、表示部１９０に表示される。即ち、図５（Ａ）の操作者のスケルトンの右手、左手の動きに連動して、図５（Ｂ）の右手、左手オブジェクトＨＲ、ＨＬが画面上で移動する。なおＣＨ２は、子供の操作者のアバターとなるキャラクタである。

このように操作者のスケルトン情報を取得して、画面上の手オブジェクトＨＲ、ＨＬを移動させる場合に、スケルトン情報の骨の位置情報をそのまま使用して手オブジェクトＨＲ、ＨＬを移動させてしまうと、操作者が大人である場合と子供である場合とで、手オブジェクトＨＲ、ＨＬの移動範囲に広狭の差が生じてしまう。

例えば図４（Ａ）のように操作者が大人である場合には、手オブジェクトＨＲ、ＨＬの移動範囲は広くなる一方で、図５（Ａ）のように操作者が子供である場合には、手オブジェクトＨＲ、ＨＬの移動範囲は狭くなってしまう。そして手オブジェクトＨＲ、ＨＬの移動範囲が狭くなると、手オブジェクトＨＲ、ＨＬを、接触対象のオブジェクトＯＢＪに接触させることが難しくなる。例えばオブジェクトＯＢＪが画面の端部付近に配置されていた場合には、子供の操作者では、このオブジェクトＯＢＪに手オブジェクトＨＲ、ＨＬを接触させることができなくなるおそれがある。従って、体格差、年齢差などの個人差によって、ゲームプレイに有利、不利が生まれてしまい、ゲームバランスが崩れてしまう。

この点、本実施形態では、スケルトン情報の骨の位置情報をそのまま使用して手オブジェクトＨＲ、ＨＬを移動（又は動作）させるのではなく、骨の位置情報の補正処理を行って、手オブジェクトＨＲ、ＨＬを移動させている。即ち補正処理の結果に基づいて、オブジェクトの移動等が制御される。従って、図４（Ａ）のように大人の操作者が両手を一杯に広げた場合のみならず、図５（Ａ）のように子供の操作者が両手を一杯に広げた場合においても、図４（Ｂ）、図５（Ｂ）に示すように手オブジェクトＨＲ、ＨＬは画面端に移動するようになる。即ち大人の操作者（広義には第１の操作者）のスケルトンの状態が手を一杯に広げた状態（広義には第１の状態）である時のオブジェクトＨＲ、ＨＬの表示位置と、子供の操作者（広義には第２の操作者）のスケルトンの状態が手を一杯に広げた状態（第１の状態）である時のオブジェクトＨＲ、ＨＬの表示位置が、同じ位置（ほぼ同じ位置）になるように、補正処理が行われる。

このようにすれば、大人の操作者であるか子供の操作者であるかに依らずに、操作者が手を動かすことで、例えば画面のほぼ全体の領域を移動範囲として、手オブジェクトＨＲ、ＨＬを移動させることができる。従って、体格差、年齢差などの個人差によって、ゲームプレイに有利、不利が生まれてしまう事態を防止することができ、ゲームバランスを保つことなどが可能になる。

次に図６（Ａ）、図６（Ｂ）を用いて本実施形態の補正処理の一例を説明する。本実施形態では、スケルトンの骨の位置情報の補正処理により、補正位置情報を求める。そして補正位置情報に基づいて、オブジェクトの制御を行い、補正位置情報に対応する画面上の表示位置にオブジェクトが表示される画像を生成している。

図６（Ａ）は本実施形態の補正処理を行わない場合の説明図である。図６（Ａ）においてＣＣは例えば手の関節（手の先、手首）である。補正処理を行わない場合には、関節ＣＣの位置ＰＣにより画面上の表示位置ＰＤＳを求める。例えば位置ＣＣをスクリーンに投影等することにより、表示位置ＰＤＳを求める。そしてこの表示位置ＰＤＳにオブジェクトＯＢが表示される画像を生成する。

図６（Ｂ）は本実施形態の補正処理を行う場合の説明図である。図６（Ｂ）では、関節ＣＣの位置ＰＣ（手の骨の位置）の補正処理により、補正位置ＰＣ’を求める。例えば図５（Ａ）のように子供の操作者である場合には、基準となる操作者よりも手の長さが短いと考えられるため、位置ＰＣを手に沿った方向で延長した位置を、補正位置ＰＣ’として求める。そして、この補正位置ＰＣ’により画面上の表示位置ＰＤＳを求め、この表示位置ＰＤＳにオブジェクトＯＢが表示（配置）される画像を生成する。このようにすれば、子供の操作者であっても、手を一杯に広げた時に、図５（Ｂ）に示すように手オブジェクトＨＲ、ＨＬが画面端に届くようになる。一方、例えば体格の大きな大人の操作者である場合には、基準となる操作者よりも手の長さが長いと考えられるため、位置ＰＣを手に沿った方向で短縮した位置を、補正位置ＰＣ’として求めればよい。

このように基準となる操作者との比較により補正処理を行う場合には、操作者の体格情報を用いて、この補正処理を行えばよい。ここで体格情報（体型情報、骨格情報）は、操作者の体格の大小等を表す情報であり、例えば操作者の関節間の距離情報や各部位の長さ情報などにより表される情報である。この体格情報は、図３のスケルトン情報などにより求めることができる。

即ち、図３のスケルトン情報は、後述するように、操作者のスケルトンを構成する各骨の位置情報である関節位置情報を含む。従って、この場合にはスケルトンの第１の関節と第２の関節の間の距離情報を、体格情報として採用することができ、この体格情報である距離情報を用いて図６（Ｂ）等の補正処理を行う。

例えば図７（Ａ）のＳＣ１は、体格の大きな第１の操作者のスケルトン情報であり、図７（Ｂ）のＳＣ２は、体格の小さな第２の操作者のスケルトン情報である。この場合に、図７（Ａ）のスケルトン情報ＳＣ１から、肩の関節Ｃ４と手（手先、手首）の関節Ｃ７の間の関節間距離ＬＤ１を求める。また図７（Ｂ）のスケルトン情報ＳＣ２から、肩の関節Ｃ４と手の関節Ｃ７の間の関節間距離ＬＤ２を求める。そして、これらの距離ＬＤ１、ＬＤ２を用いて、図６（Ｂ）等の補正処理を行う。

例えば画像センサによって取得された操作者のスケルトン情報が、図７（Ａ）のように体格の大きなスケルトン情報ＳＣ１であった場合には、関節間距離ＬＤ１と基準距離ＬＤＲとの比などの情報に基づいて、図６（Ｂ）の補正位置ＰＣ’を求める補正処理を行う。一方、操作者のスケルトン情報が、図７（Ｂ）のように体格の小さなスケルトン情報ＳＣ２であった場合には、関節間距離ＬＤ２と基準距離ＬＤＲとの比などの情報に基づいて、図６（Ｂ）の補正位置ＰＣ’を求める補正処理を行う。こうすることで、操作者の体格情報の差を吸収する補正処理を実現できる。

なお、体格情報として使用する距離情報は、操作者の体格・体型を表す情報であればよく、図７（Ａ）、図７（Ｂ）のような関節間距離には限定されず、種々の変形実施が可能である。例えば左手の関節間距離と右手の関節間距離の両方により得られた距離情報を用いて、補正処理を行ってもよい。

或いは複数フレームに亘って取得された関節間距離から得られる距離情報を用いて、補正処理を行ってもよい。例えば複数フレーム分の関節間距離の平均化処理を行い、得られた距離情報を用いて補正処理を行う。即ち画像センサの画像情報からスケルトン情報を取得した場合、スケルトン情報から得られる関節間距離にはバラツキが生じ、特定のフレームで得られた関節間距離が特異な距離になってしまうおそれがある。そして、このような特異な関節間距離を用いて補正処理を行うと、図６（Ｂ）のオブジェクトＯＢの表示位置ＰＤＳが変動してしまい、オブジェクトＯＢが操作者の予期しない位置に表示されたり、オブジェクトＯＢの画像がちらつくなどの問題が生じる可能性がある。

この点、複数フレーム分の関節間距離の平均化処理等を行えば、特定のフレームでの関節間距離が特異な距離であっても、その影響が平均化される。従って、オブジェクトＯＢが操作者の予期しない位置に表示されたり、表示位置ＰＤＳが変動してオブジェクトＯＢの画像がちらつくなどの問題を抑止できる。

図８（Ａ）、図８（Ｂ）に本実施形態の補正処理の他の例を示す。この補正処理では、操作者ＯＰの位置と画像センサＩＳＥとを結ぶ第１の方向ＤＲ１と、操作者ＯＰの位置（例えば肩）と所定部位（例えば手）に対応する関節ＣＣの位置とを結ぶ第２の方向ＤＲとのなす角度θＹ、θＸを求めて、補正処理を行う。

例えば図８（Ａ）のθＹは、垂直方向（縦方向）の座標軸であるＹ軸回りの角度（回転角度）であり、θＸは、水平方向（Ｙ方向）の座標軸であるＸ軸回りの角度（回転角度）である。角度θＹを用いることで、画面上でのオブジェクトの表示位置のＸ座標を特定できる。角度θＸを用いることで、画面上でのオブジェクトの表示位置のＹ座標を特定できる。例えば角度θＹが９０度又は−９０度に近づくと、オブジェクトの表示位置は画面の左端又は右端に近づき、θＹが０度に近づくと、表示位置は画面中心に近づく。また角度θＸが９０度又は−９０度に近づくと、オブジェクトの表示位置は画面の上端又は下端に近づき、θＸが０度に近づくと、表示位置は画面中心に近づく。

図８（Ａ）、図８（Ｂ）の手法によれば、角度θＹ、θＸを求めて、骨の位置情報の補正処理を行って、オブジェクトの表示位置を求めているため、操作者の体格の違い（手の長さ等の違い）を自動的に吸収した補正処理を実現できる。なお、操作者が手を曲げた場合などに対応するためには、図７（Ａ）、図７（Ｂ）の関節間距離ＬＤ１、ＬＤ２などを用いて角度θＹ、θＸを補正すればよい。例えば操作者が手を曲げて関節間距離ＬＤ１、ＬＤ２が短くなった場合には、それに連動して角度θＹ、θＸの絶対値を小さくすればよい。

２．２ ゲーム演算処理への適用
本実施形態では、補正処理の結果をゲーム演算処理に反映させることもできる。例えば補正処理の結果に応じたゲーム結果演算処理やゲーム進行処理などのゲーム演算処理を行う。

例えば図９（Ａ）、図９（Ｂ）において、操作者は、画面上に表示された矢印の指示にしたがって両手を広げたり、閉じたりする。すると、操作者のアバターとなるキャラクタＣＨが、操作者の動きに応じて、その両手を広げたり、閉じたりする。そして、指示通りの動作を指示通りのタイミングで行うことで、操作者に対して得点が加算される。

この場合に、画面上の指示にしたがって、単に両手を広げたり、閉じたりするだけでは、得点は加算されず、得点の加算のためには、手の位置の移動量が所定しきい値を超える必要がある。即ち手の位置の移動量が少ない場合には得点は加算されない。

ところが、図５（Ａ）のように操作者が体格の小さな子供である場合には、大人と同じように両手を広げたり、閉じたりしても、その時の手の位置の移動量は大人に比べて小さい。従って、大人の操作者ならば移動量がしきい値を超えるような手の動きであっても、子供の操作者ではしきい値を超えない事態が生じてしまう。従って、ゲームに有利、不利が生じてしまい、ゲームバランスが崩れる。

そこで本実施形態では、スケルトンの骨の位置の移動量情報（例えば手の位置の移動量）についての補正処理を行って、補正移動量情報を求め、この補正移動量情報に基づいてゲーム結果演算処理を行う。

例えば子供の操作者である場合には、そのスケルトンの骨の位置の移動量の補正処理を行って、当該移動量よりも大きな補正移動量を求める。そして、求められた補正移動量に基づいて、図９（Ａ）、図９（Ｂ）のゲーム結果の演算処理を行う。一方、体格が大きな大人の操作者である場合には、そのスケルトンの骨の位置の移動量の補正処理を行って、当該移動量よりも小さな補正移動量を求める。そして、求められた補正移動量に基づいて、図９（Ａ）、図９（Ｂ）のゲーム結果の演算処理を行う。

なお、大人の操作者か子供の操作者であるかは、図７（Ａ）、図７（Ｂ）で説明した手法により判別できる。従って、例えば図７（Ａ）の関節間距離ＬＤ１と基準距離ＬＤＲとの比や、図７（Ｂ）の関節間距離ＬＤ２と基準距離ＬＤＲとの比などの情報に基づいて、補正移動量を求めれば、大人の操作者である場合と子供の操作者である場合とで、同じ動きの時の補正移動量を例えば同じ値にできる。例えば大人の操作者である場合には、ＬＤ１とＬＤＲの比に基づいて、スケルトンでの移動量を小さくする補正処理が行われて、補正移動量が求められる。一方、子供の操作者である場合には、ＬＤ２とＬＤＲの比に基づいて、スケルトンでの移動量を大きくする補正処理が行われて、補正移動量が求められる。このようにすることで、子供の操作者では、実際の手の位置の移動量が小さくても、補正移動量は大きくなるため、図９（Ａ）、図９（Ｂ）のゲーム結果演算処理において、移動量（補正移動量）がしきい値を超えたと判断されて、得点が加算されるようになる。即ち補正処理の結果に応じたゲーム演算処理（ゲーム結果演算処理）が行われるようになる。従って、子供と大人とでゲームの有利、不利が生じる事態が抑止され、ゲームバランスを保つことなどが可能になる。

なお補正処理の結果を反映させるゲームとしては種々のゲームを想定できる。例えばボートを漕いで競争するゲームにおいては、子供の操作者は、大人の操作者に比べて、同じような動きの漕ぎ動作であっても、漕ぐ量や漕ぐ速度・加速度が小さくなる。従って、大人に比べてゲームが不利になってしまう。そこで、例えば図７（Ａ）、図７（Ｂ）で説明した体格情報（ＬＤ１、ＬＤ２）などを用いて、漕ぐ量や漕ぐ速度・加速度等の補正処理を行う。即ち、同じような動きの漕ぎ動作であれば、子供であっても大人であっても、漕ぐ量や漕ぐ速度・加速度が同等になるように、補正処理を行う。こうすることで、子供と大人とでゲームの有利、不利が生じる事態が抑止され、ゲームバランスを保つことができる。

また本実施形態では、第１、第２のモードを設け、第１のモードでは、補正処理の結果を用いてオブジェクトの制御を行い、第２のモードでは、補正処理の結果を用いずに、スケルトン情報を用いてオブジェクトの制御を行う。

例えば図４（Ａ）〜図５（Ｂ）や図９（Ａ）、図９（Ｂ）は、第１のモードで行われるゲームである。即ちスケルトン情報の骨の位置情報についての補正処理を行い、補正処理の結果（補正位置、補正移動量、補正速度、補正加速度等）に基づいてオブジェクトの制御を行う。即ち図４（Ａ）〜図５（Ｂ）では、大人と子供とで、同じ動きならば手オブジェクトＨＲ、ＨＬの位置が同じ位置になるように補正処理を行う。また図９（Ａ）、図９（Ｂ）では、大人と子供とで、同じ動きならばキャラクタＣＨの手の移動量が同じ移動量になるように補正処理を行う。このようにすることで、体格差や年齢差などの個人差を吸収したゲームを実現できる。

一方、図１０（Ａ）、図１０（Ｂ）は、第２のモードで行われるゲームである。この第２のモードのゲームでは、スケルトン情報の骨の位置についての補正処理は行われずに、スケルトン情報に基づくオブジェクトの制御が行われる。なお図１０（Ａ）は操作者をその後方から見た図である。

例えば図１０（Ａ）、図１０（Ｂ）では、操作者は、両手を使って、画面上に表示された時間に対応する時計の針と同じ形のポーズをとる。例えば図１０（Ｂ）では、「１０時２０分」の時間が指示されているため、操作者は、時計の短針に対応する右手が「１０時」を示す方向になり、時計の長針に対応する左手が「２０分」を示す方向になるポーズをとる。そして、時間に対応する時計の針の状態と操作者のポーズが一致すると、操作者に得点が加算される。

図１０（Ａ）、図１０（Ｂ）のような第２のモードのゲームでは、手の角度だけが問われ、手の骨の位置については問われない。従って、この第２のモードのゲームでは、図６（Ａ）、図６（Ｂ）等で説明した補正処理は行わずに、画像センサにより取得された操作者のスケルトン情報を例えばそのまま用いて、時計の針等のオブジェクトの制御を行う。

このような第１、第２のモードを設けることで、ゲームの種類等に応じた適切なオブジェクト制御を効率的に実現できる。

２．３ キャラクタのサイズ等の補正処理
ゲームにおいては、操作者のアバターとなるキャラクタとして、体格・体型等が異なる様々なキャラクタが登場する。例えば体格が大きな大人のアバターのキャラクタや、体格が小さな子供のアバターのキャラクタなどである。これらの各キャラクタの体格・体型は、そのモデルデータにより決められている。

しかしながら、操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うゲームにおいては、モデルデータに基づく体格・体型のキャラクタをそのままゲームに登場させると、不具合が生じる場合がある。

そこで本実施形態では、操作者のアバター等となるキャラクタのサイズを変更したり、キャラクタの配置位置を調整する補正処理を行う。なお、以下では、体格の大きなキャラクタとして、大人のキャラクタをその一例として用い、体格の小さなキャラクタとして、子供キャラクタをその一例として用いて説明する。

例えば図１１（Ａ）、図１１（Ｂ）のＣＨ１は、大人のアバターとなるキャラクタであり、図１２（Ａ）、図１２（Ｂ）のＣＨ２は、子供のアバターとなるキャラクタである。

図１１（Ａ）、図１１（Ｂ）のゲームでは、操作者が手を動かすことで、対応するキャラクタＣＨ１もそれに連動してその手が動く。そして、画面に表示される爆弾等を模した接触対象オブジェクトＯＢＣ１、ＯＢＣ２に対して、キャラクタＣＨ１の手が素速く触れるように操作者が手を動かすことで、操作者はゲームプレイを楽しむ。

そして図１１（Ａ）、図１１（Ｂ）のように大人の体型のキャラクタＣＨ１であれば、例えば操作者が手を一杯に広げることで、キャラクタＣＨ１の手を接触対象オブジェクトＯＢＣ１、ＯＢＣ２に接触させることができる。

しかしながら、図１２（Ａ）に示すような子供の体型のキャラクタＣＨ２では、操作者が両手を一杯に広げても、キャラクタＣＨ２の手を接触対象オブジェクトＯＢＣ１、ＯＢＣ２に接触させることはできない。即ち、オリジナルのモデルデータを用いた子供のキャラクタＣＨ２では、図１１（Ａ）、図１１（Ｂ）のような接触対象オブジェクトＯＢＣ１、ＯＢＣ２への接触動作を実現できず、操作者は、この子供のキャラクタＣＨ２を使用したゲームをプレイできなくなる。

そこで本実施形態では図１２（Ｂ）に示すように、キャラクタＣＨ２のサイズを変更する補正処理を行う。具体的には、キャラクタＣＨ２の接触対象となる接触対象オブジェクトＯＢＣ１、ＯＢＣ２とキャラクタＣＨ２との位置関係（距離、配置位置等）に応じた拡縮率で、キャラクタＣＨ２のサイズを変更する。即ち、キャラクタＣＨ２のオリジナルのモデルデータのサイズを変更する。例えばキャラクタＣＨ２の手等の部位と接触対象オブジェクトＯＢＣ１、ＯＢＣ２との距離が遠い場合には、大きな拡縮率（拡大率）で、キャラクタＣＨ２のサイズを大きくする。一方、キャラクタＣＨ２の手等の部位と接触対象オブジェクトＯＢＣ１、ＯＢＣ２との距離が近い場合には、小さな拡縮率（拡大率）でキャラクタＣＨ２のサイズを大きくする。

このようにすることで図１２（Ｂ）に示すように、子供のキャラクタＣＨ２であっても、その手が接触対象オブジェクトＯＢＣ１、ＯＢＣ２に接触するようになる。従って、操作者が、このような体格の小さなキャラクタＣＨ２を選択した場合にも、支障なくゲームをプレイすることが可能になる。そして、このようなサイズ変更が必要のないゲームにおいては、このようなサイズ変更の補正処理を行わずに、オリジナルのモデルデータのサイズのキャラクタを使用することで、そのキャラクタにマッチした自然なゲームプレイを実現できる。

また、例えば図３のスケルトン情報により、操作者の体型等を判別し、その判別結果に応じて、操作者が使用するキャラクタを自動選択する手法を採用してもよい。例えばスケルトン情報の解析結果により、操作者が大人であると判定された場合には、その操作者のアバターとなるキャラクタとして、図１１（Ａ）、図１１（Ｂ）に示すような大人のキャラクタを自動選択する。一方、操作者が子供であると判定された場合には、図１２（Ａ）、図１２（Ｂ）に示すような子供のキャラクタを自動選択する。

そして、このようなスケルトン情報に基づくキャラクタの自動選択を行った場合にも、キャラクタと接触対象オブジェクト（ヒット対象オブジェクト、プレイ対象オブジェクト）との位置関係に応じて、自動選択されたキャラクタのサイズが変更される補正処理が行われる。従って、操作者は、自動選択されたキャラクタを用いて支障なくゲームを楽しむことができる。

更に本実施形態では、接触対象オブジェクトとキャラクタとの位置関係に応じて、キャラクタの配置位置を調整する補正処理を行ってもよい。

例えば図１３（Ａ）は、車を模したオブジェクトＯＢＤを、キャラクタＣＨ２の体を使って、オブジェクトＯＢＤに対応する色の道に誘導して移動するゲームである。このゲームにおいても、キャラクタＣＨ２の接触対象オブジェクトＯＢＥ１、ＯＢＥ２、ＯＢＥ３、ＯＢＥ４、ＯＢＥ５、ＯＢＥ６との位置関係に応じた拡縮率で、キャラクタＣＨ２のサイズを変更する補正処理を行う。

しかしながら、単なるキャラクタＣＨ２のサイズの変更だけでは、例えば図１３（Ａ）のＢ１に示すオブジェクトＯＢＥ２の高さと、Ｂ２に示すキャラクタＣＨ２の肩の高さを一致させる調整を行うことができない。

そこで図１３（Ｂ）では、キャラクタＣＨ２のサイズの変更のみならず、その配置位置（キャラクタを配置する場所）についても調整する補正処理を行っている。例えば図１３（Ｂ）では、キャラクタＣＨ２の配置位置を、肩の高さとオブジェクトＯＢＥ２の高さが一致するように上下に移動する調整を行っている。このようにすることで、車のオブジェクトＯＢＤを、キャラクタＣＨ２の手や肩を通って、ＯＢＤの色に対応する道のオブジェクトＯＢＥ６に誘導して移動させることが可能になる。従って、様々なキャラクタを使用した場合にも、スムーズなゲームを実現できるようになる。

２．４ 信頼度情報
次にスケルトン情報の信頼度情報と、信頼度情報に基づく画像生成手法について説明する。

前述のように図３に示すスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。

しかしながら、操作者の動きや体型・体格は種々様々である。また操作者が画像センサＩＳＥの撮像範囲の外に出てしまう場合もある。従って、完全に１００パーセントの信頼度のスケルトン情報を取得することは困難である。このため、操作者のスケルトンの骨（部位）を完全にはトラッキングできない場合には、骨の位置（関節位置）の推測処理を行い、推測処理により得られた骨の位置等に対しては、その推測処理の確からしさの程度を表す信頼度を関連づける。

例えば図１４（Ａ）にスケルトン情報のデータ構造の例を示す。このスケルトン情報は、各骨（各関節）に対して、その位置情報が関連づけられている。この各骨（各関節）の位置情報は、例えば画像センサＩＳＥのカメラ座標系での３次元座標情報である。また、各骨（各関節）は、操作者の各部位に対応づけられている。例えばＣ０、Ｃ１、Ｃ２は、各々、腰、胸、首の部位に対応づけられている。この対応づけは、骨の番号（関節番号）などにより実現される。

図１４（Ｂ）に信頼度情報のデータ構造の例を示す。図１４（Ｂ）に示すように、本実施形態の信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、信頼度が関連づけられた情報である。この信頼度は、各骨の情報の信頼度を表している。具体的には、図１４（Ａ）に示すように、スケルトン情報は、操作者の各部位に対応づけられた各骨の位置情報を含み、図１４（Ｂ）の信頼度は、操作者の各部位と各骨（各関節）との対応づけや、各骨（各関節）の位置情報に関する信頼度である。なお、「骨」と「関節」は対応しているため、以下では、適宜、「骨」を「関節」として説明したり、「関節」を「骨」として説明する。

例えば図１５（Ａ）において、関節Ｃ１とＣ７の距離は遠く離れている。ＰＲ１、ＰＲ７は関節Ｃ１、Ｃ７の位置についての存在確率の範囲を表すものである。例えば、ある測定タイミングで関節Ｃ１、Ｃ７が図１５（Ａ）に示す位置にあった場合には、次の測定タイミングにおいても、関節Ｃ１、Ｃ７の位置は、これらの存在確率の範囲ＰＲ１、ＰＲ７内に位置することが予想される。骨のトラッキングによるスケルトン情報の推定処理の際には、この存在確率の概念を用いる。そして、図１５（Ａ）に示すように関節Ｃ１、Ｃ７の距離が離れている場合には、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが無いため、関節Ｃ１、Ｃ７の情報（部位との対応づけや位置情報）の信頼度は高い。

一方、図１５（Ｂ）では関節Ｃ１、Ｃ７の距離が近づいており、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが生じている。従って、この場合には、次の測定タイミングで、関節Ｃ１をＣ７と判断したり、関節Ｃ７をＣ１と判断してしまう可能性があり、骨のトラッキングの推定処理の際に、誤った判断をする可能性がある。従って、図１５（Ｂ）の場合には、図１５（Ａ）に比べて関節Ｃ１、Ｃ７の情報（部位への対応づけや位置情報）の信頼度が低くなる。

また図１６（Ａ）では、画像センサＩＳＥと操作者の距離が適正な距離になっている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度（解像度等）が高くなり、この画像情報から得られるスケルトン情報の信頼度も高くなる。

一方、図１６（Ｂ）では、画像センサＩＳＥと操作者の距離が長く、操作者が画像センサＩＳＥから所定の距離（許容距離）ＬＭ以上離れている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度が低くなり、この画像情報から得られるスケルトン情報の信頼度も低くなる。

以上のように本実施形態で用いられる信頼度情報は、例えば図１５（Ａ）、図１５（Ｂ）に示すように操作者の所定部位（例えば手、足）が他の部位（例えば胸、腰、頭、他方の手・足）に近づくほど信頼度が低くなる情報である。また図１６（Ａ）、図１６（Ｂ）に示すように、操作者が画像センサＩＳＥから所定距離ＬＭ（例えば４〜５ｍ）以上離れた場合に信頼度が低くなる情報である。但し本実施形態の信頼度情報は、これに限定されない。例えば他の人間が近づくことで、操作者の認識の精度が低下し、操作者のスケルトン情報の信頼度が低くなるような情報であってもよい。

本実施形態では、以上のように説明した信頼度情報を用いた画像を生成して、表示部１９０に表示している。具体的には、信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させたり、信頼度情報に基づくオブジェクト制御やゲーム演算処理を行い、そのオブジェクト制御やゲーム演算結果により生成された画像を表示部１９０に表示する。

例えば図１７（Ａ）、図１７（Ｂ）は、図２（Ａ）のように表示部１９０の前方に立って、その体の動きにより操作情報を入力している操作者の様子を示す図である。図１７（Ａ）では、操作者は、自身の体（胴体）から手を離した状態で、手を動かすことで操作情報を入力している。一方、図１７（Ｂ）では、自身の体に手が近い状態で、手を動かすことで操作情報を入力している。

図１７（Ａ）では、図１５（Ａ）に示すように手の関節と胸の関節は遠くなっているため、手の関節の信頼度は高くなり、手の位置情報等は、より確からしい情報になっている。一方、図１７（Ｂ）では、手の関節と胸の関節は近くなっているため、手の関節の信頼度は低くなり、手の位置情報等は、図１７（Ａ）に比べて不確かな情報になっている。即ち図１７（Ｂ）では、実際には胸の位置情報であるものを、手の位置情報として誤認識している可能性がある。

そして、本来は操作者は図１７（Ａ）のような状態の手の動きで操作すべきであるのに、図１７（Ｂ）のような状態の手の動きでの操作を許容すると、操作者の操作をシステム側が誤認識してしまうおそれがある。即ち、システム側が認識した操作と、操作者が意図する操作との間に不一致が生じるおそれがある。

そこで本実施形態では、図１７（Ｂ）のような不適切な操作状態になっていることを操作者に認知させるために、図１８（Ａ）、図１８（Ｂ）に示すように信頼度情報に基づいて画像の表示態様を変化させている。

例えば図１８（Ａ）において、ＨＲ、ＨＬは、操作者の手（広義には所定部位）に対応して表示部１９０に表示される手オブジェクト（アイコン、カーソル）である。またＣＨは、操作者に対応するキャラクタ（アバター）のオブジェクトである。

そして図１７（Ａ）のように操作者が手を動かすと、その手の動きに応じて図１８（Ａ）の手オブジェクトＨＲ、ＨＬが移動（又は動作）する。例えば操作者が右手を上下左右に動かすと、右手オブジェクトＨＲが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトＨＬが上下左右に移動する。操作者は、このように手オブジェクトＨＲ、ＨＬを動かすことで、プレイしたいミニゲームを選択したり、ゲームのスタートを選択する。

そして図１８（Ａ）は、図１７（Ａ）のように手が体から離れた状態の時に表示される画像の例であり、図１８（Ｂ）は、図１７（Ｂ）のように手が体の近くにある状態の時に表示される画像の例である。

図１７（Ａ）のようにスケルトン情報の信頼度が高いと考えられる状態では、図１８（Ａ）に示すように、手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。一方、図１７（Ｂ）のように、スケルトン情報の信頼度が低いと考えられる状態では、図１８（Ｂ）に示すように、手オブジェクトＨＲ、ＨＬは、図１８（Ａ）に比べて例えばぼけた画像になったり、透明に近づいた画像になる。或いは手オブジェクトＨＲ、ＨＬの色が薄い色等に変化する。

このように本実施形態では、操作者の手の骨の情報の信頼度（所定部位に対応する骨の情報の信頼度）が低くなるにつれて、手（所定部位）に対応する手オブジェクトＨＲ、ＨＬ（広義にはオブジェクト）をぼかす処理、透明に近づける処理、或いは色を変化させる処理などを行う。

ぼかし処理は、例えば手オブジェクトＨＲ、ＨＬに対してぼかしフィルタ等を適用することなどで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。透明に近づける処理は、手オブジェクトＨＲ、ＨＬのα値を、透明に近いα値に変化させることで実現できる。色を変化させる処理は、手オブジェクトＨＲ、ＨＬをターゲット色に近づけることで実現できる。

なお手オブジェクトＨＲ、ＨＬの表示態様の変化処理は、これらの処理には限定されない。例えばスケルトン情報の信頼度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度（輝度）を変化させる処理や、輪郭線の表示態様を変化させる処理や、サイズを変化させる処理や、オブジェクトＨＲ、ＨＬに施されるエフェクトを変化させる処理などを行ってもよい。例えば信頼度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度を暗くしたり、輪郭線を薄くしたり、細くしたり、サイズを拡大又は縮小する。或いは、手オブジェクトＨＲ、ＨＬに施されるエフェクトを用いて、上述した処理と同等の映像効果を実現してもよい。或いはスケルトン情報の信頼度に応じて手オブジェクトＨＲ、ＨＬを変形させてもよい。またスケルトン情報の信頼度に基づいて、図１８（Ａ）、図１８（Ｂ）のキャラクタＣＨ（アバター）の画像の表示態様（ぼかし度、透明度、色等）を変化させてもよい。また、スケルトン情報の信頼度が低くなった場合に、信頼度が低くなったことを警告するアイコンオブジェクトを表示してもよい。

以上のように、信頼度に応じて手オブジェクトＨＲ、ＨＬの表示態様を変化させれば、手の操作についての信頼度が低下していることを、操作者は容易に把握できるようになる。例えば図１７（Ｂ）のように手が体に近い状態で操作している場合には、図１８（Ｂ）のように手オブジェクトＨＲ、ＨＬがぼけた画像になるため、これを見た操作者は、図１７（Ａ）のように手を伸ばして操作するようになる。従って、結局、操作者は、図１７（Ａ）のようにスケルトン情報の信頼度が高い状態で手を動かして操作を行うようになり、操作者の操作が誤認識されてしまう事態を抑止できる。従って、誤操作等が抑止され、快適な操作インターフェース環境を操作者に提供できる。

なお、以上では本実施形態の手法をゲーム装置に適用した場合について主に説明したが、本実施形態の手法はゲーム装置以外の種々の機器に適用できる。

例えば図１９（Ａ）は、映像機器の１つであるテレビ（表示装置）への本実施形態の手法の適用例である。図１９（Ａ）において、操作対象オブジェクトＯＢＤ、ＯＢＥ、ＯＢＦ、ＯＢＧ、ＯＢＨは、操作者の操作の対象となるオブジェクトであり、例えば映像機器（又はゲーム装置）に対して操作指示を行うためのオブジェクトである。具体的には、映像機器（ゲーム装置）に対してコンテンツ選択、所定の機器動作、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトである。例えばＯＢＤ、ＯＢＥ、ＯＢＦは、各々、チャンネル選択（広義にはコンテンツ選択）、ボリュームの操作（広義には機器動作の選択）、消音の操作（広義には機器動作の選択）を行うための操作対象オブジェクトである。ＯＢＧ、ＯＢＨは、各々、コンテンツの再生・記録操作（プレイ、停止、早送り、巻き戻し、録画等）、放送種別（地上デジタル放送、衛星放送等）の選択操作を行うための操作対象オブジェクトである。

操作者は、チャンネルを切り替えたい場合には、表示部１９０の方に手を伸ばし、手オブジェクトＨＲの位置をチャンネル操作用の操作対象オブジェクトＯＢＤの位置に合わせる。そして手を回すなどの操作を行うことで、チャンネルを切り替えて、所望の放送番組を視聴する。

また操作者は、ボリュームを変えたい場合には、手を伸ばして、手オブジェクトＨＲの位置をボリューム操作用の操作対象オブジェクトＯＢＥの位置に合わせる。そして手を左右に動かすなどの操作を行うことで、音のボリュームを変更する。同様に消音を行いたい場合には、手オブジェクトＨＲの位置を消音操作用の操作対象オブジェクトＯＢＦの位置に合わせて、手の指で押すなどの操作を行うことで、音声を消音する。操作対象オブジェクトＯＢＧ、ＯＢＨの操作も同様にして実現できる。

そして、操作者が手を伸ばしており、右手と左手が交差していないというように、スケルトン情報の信頼度が高い場合には、図１９（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、はっきりとした画像で表示部１９０に映し出される。

また、スケルトン情報の信頼度が高い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨの操作が許可され、操作者の手等の動きに応じて操作対象オブジェクトＯＢＤ〜ＯＢＨが操作されるようになる。即ち、操作者は、手を回したり、手を左右に動かすことで、チャンネル用の操作対象オブジェクトＯＢＤを操作したり、ボリューム用の操作対象オブジェクトＯＢＥを操作できる。

一方、操作者の手が体の近くにあったり、右手と左手が交差しているというように、スケルトン情報の信頼度が低い場合には、図１９（Ｂ）に示すように、操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、ぼかした画像や透明に近い画像（或いは透明な画像）になる。即ち、信頼度情報に基づいて操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬの表示態様が変化し、信頼度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対してぼかし処理、透明に近づける処理などが行われるようになる。

また、信頼度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。即ち、操作者が、手を回したり、手を左右に動かしても、チャンネル用の操作対象オブジェクトＯＢＤやボリューム用の操作対象オブジェクトＯＢＥに対する操作は実行されない。

このようにすれば、例えば操作者が手を伸ばすことで、図１９（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨが画面に映し出され、これらの操作対象オブジェクトＯＢＤ〜ＯＢＨを操作することで、コンテンツ（映像、音）選択の操作や、機器動作の操作や、コンテンツ再生・記録の操作を行うことが可能になる。

一方、操作者が手を体の方に近づけて曲げる等の動きをすると、図１９（Ｂ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨがぼけて薄い画像になったり、透明になって見えないようになる。従って、画面上において操作対象オブジェクトＯＢＤ〜ＯＢＨが目立たなくなり、操作者は、映像等のコンテンツの視聴を妨げられることなく楽しめるようになる。

以上のように本実施形態では、スケルトン情報の信頼度が低くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。一方、信頼度が高くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が許可される。従って、これまでにないタイプの操作インターフェース環境を操作者に提供できる。

そして図１９（Ａ）、図１９（Ｂ）に示すような操作インターフェース環境を実現した場合に、操作者が大人であった場合と子供であった場合とで、手オブジェクトＨＲ、ＨＬの移動範囲が異なってしまうと、操作者にとって使いにくいインターフェース環境になってしまうおそれがある。

この点、本実施形態では、図４（Ａ）〜図８（Ｂ）等で説明したような補正処理を行っているため、操作者の個人差に依存せずに、手オブジェクトＨＲ、ＨＬの移動範囲を同じ範囲に設定することができ、広い範囲に設定することが可能になる。従って、操作者にとって使いやすいインターフェース環境を提供することができ、操作者の利便性等を向上できる。

２．５ 詳細な処理例
次に本実施形態の詳細な処理例について図２０、図２１のフローチャートを用いて説明する。図２０は、スケルトン情報の補正処理を行って画像を生成する処理の具体例を示すフローチャートである。

まず、図２（Ａ）、図２（Ｂ）で説明したように画像センサからの画像情報を取得する（ステップＳ１）。次に、図３で説明したように、画像情報に基づきスケルトン情報を取得する（ステップＳ２）。

次に、図４（Ａ）〜図８（Ｂ）等で説明したように、体格情報、アスペクト比情報を用いて、スケルトン情報の骨の位置情報についての補正処理を行って、補正位置情報を求める（ステップＳ３）。そして、求められた補正位置情報により手オブジェクトの描画位置を求め（ステップＳ４）、手オブジェクト、キャラクタ等の描画処理を行う（ステップＳ５）。

図２１は、信頼度情報を用いた画像の表示態様の変化処理の具体例を示すフローチャートである。

まず、スケルトン情報の手の骨（関節）の位置等に基づき、手オブジェクトの描画位置を求める（ステップＳ１１）。そして手の骨等についての信頼度を取得する（ステップＳ１２）。

次に、取得された信頼度に基づいて、手オブジェクトのぼかし度合、α値、色等を設定する（ステップＳ１３）。そして、このようにぼかし度合、α値、色等が設定された手オブジェクト、キャラクタ等の描画処理を実行する（ステップＳ１４）。このようにすることで、図１８（Ａ）、図１８（Ｂ）に示すような画像の表示態様の変化処理を実現できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（動き情報、所定部位、オブジェクト等）と共に記載された用語（スケルトン情報、手、手オブジェクト等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、スケルトン情報の取得手法、スケルトン情報等についての補正処理手法、オブジェクトの制御手法、ゲーム演算手法、信頼度情報の取得手法、画像の表示態様の変化手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話、映像機器、音響機器、家電機器等の種々の画像生成システムに適用できる。

ＩＳＥ 画像センサ、ＳＣ 画面（スクリーン）、ＨＬ、ＨＲ 手オブジェクト、
ＣＨ、ＣＨ１、ＣＨ２ キャラクタ（アバター）、Ｃ０〜Ｃ１９ 関節（骨）、
ＯＢ、ＯＢＪ、ＯＢＣ１〜ＯＢＣ４、ＯＢＤ、ＯＢＥ１〜ＯＢＥ６ オブジェクト、
ＤＲ１、ＤＲ２ 第１、第２の方向、θＹ、θＸ ＤＲ１とＤＲ２のなす角度、
１００ 処理部、１０２ 画像情報取得部、１０４ 動き情報取得部、
１０５ スケルトン情報取得部、１０６ 信頼度情報取得部、１０８ 補正処理部、
１１０ ゲーム演算部、１１２ オブジェクト空間設定部、１１４ オブジェクト制御部、
１１８ 仮想カメラ制御部、１２０ 画像生成部、１３０ 音生成部、
１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ 信頼度情報記憶部、
１７６ オブジェクトデータ記憶部、１７７ モーションデータ記憶部、
１７８ モデルデータ記憶部、１７９ 描画バッファ、１８０ 情報記憶媒体、
１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部

Claims (22)

1. 画像センサからの画像情報を取得する画像情報取得部と、
   前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
   前記スケルトン情報で表されるスケルトンの骨の位置情報についての補正処理を行う補正処理部と、
   前記補正処理の結果に応じた画像を生成する画像生成部として、
   コンピュータを機能させることを特徴とするプログラム。
2. 請求項１において、
   前記操作者の動きに応じて移動又は動作するオブジェクトの制御を行うオブジェクト制御部として、
   コンピュータを機能させ、
   前記オブジェクト制御部は、
   前記補正処理の結果に基づいて前記オブジェクトの制御を行うことを特徴とするプログラム。
3. 請求項２において、
   前記補正処理部は、
   前記スケルトンの骨の位置情報の補正処理を行って、補正位置情報を求め、
   前記オブジェクト制御部は、
   前記補正位置情報に基づいて、前記オブジェクトの制御を行い、
   前記画像生成部は、
   前記補正位置情報に対応する画面上の表示位置に前記オブジェクトが表示される画像を生成することを特徴とするプログラム。
4. 請求項２又は３において、
   前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するオブジェクトであることを特徴とするプログラム。
5. 請求項４において、
   前記所定部位は前記操作者の手であり、前記オブジェクトは、前記操作者の手の動きに応じて移動する手オブジェクトであることを特徴とするプログラム。
6. 請求項２乃至５のいずれかにおいて、
   前記オブジェクト制御部は、
   第１のモードでは、前記補正処理の結果を用いてオブジェクトの制御を行い、
   第２のモードでは、前記補正処理の結果を用いずに、前記スケルトン情報を用いてオブジェクトの制御を行うことを特徴とするプログラム。
7. 請求項１乃至６のいずれかにおいて、
   前記補正処理部は、
   第１の操作者のスケルトンの状態が第１の状態である時の前記オブジェクトの表示位置と、第２の操作者のスケルトンの状態が前記第１の状態である時の前記オブジェクトの表示位置とが同じ位置になるように前記補正処理を行うことを特徴とするプログラム。
8. 請求項１乃至７のいずれかにおいて、
   前記補正処理部は、
   前記操作者の体格情報を用いて前記補正処理を行うことを特徴とするプログラム。
9. 請求項８において、
   前記補正処理部は、
   前記スケルトンの第１の関節と第２の関節の間の関節間距離情報を、前記体格情報として用いて、前記補正処理を行うことを特徴とするプログラム。
10. 請求項９において、
    前記補正処理部は、
    複数フレームに亘って取得された前記関節間距離情報から得られる距離情報を、前記体格情報として用いて、前記補正処理を行うことを特徴とするプログラム。
11. 請求項１乃至７のいずれかにおいて、
    前記補正処理部は、
    前記操作者の位置と前記画像センサとを結ぶ第１の方向と、前記操作者の位置と前記操作者の所定部位に対応する関節の位置とを結ぶ第２の方向とのなす角度を求めて、前記補正処理を行うことを特徴とするプログラム。
12. 請求項１乃至１１のいずれかにおいて、
    ゲーム演算処理を行うゲーム演算部として、
    コンピュータを機能させ、
    前記ゲーム演算部は、
    前記補正処理の結果に応じた前記ゲーム演算処理を行うことを特徴とするプログラム。
13. 請求項１２において、
    前記ゲーム演算部は、
    前記ゲーム演算処理として、前記補正処理の結果に応じたゲーム結果演算処理を行うことを特徴とするプログラム。
14. 請求項１３において、
    前記補正処理部は、
    前記スケルトンの骨の位置の移動量情報についての補正処理を行って、補正移動量情報を求め、
    前記ゲーム演算部は、
    前記補正移動量情報に基づいて前記ゲーム結果演算処理を行うことを特徴とするプログラム。
15. 請求項１乃至１４のいずれかにおいて、
    前記操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うオブジェクト制御部として、
    コンピュータを機能させ、
    前記補正処理部は、
    前記キャラクタの接触対象となる接触対象オブジェクトと前記キャラクタとの位置関係に応じた拡縮率で、前記キャラクタのサイズを変更する補正処理を行うことを特徴とするプログラム。
16. 請求項１５において、
    前記補正処理部は、
    前記接触対象オブジェクトと前記キャラクタとの位置関係に応じて、前記キャラクタの配置位置を調整する補正処理を行うことを特徴とするプログラム。
17. 請求項１乃至１６のいずれかにおいて、
    前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部として、
    コンピュータを機能させ、
    前記画像生成部は、
    前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成することを特徴とするプログラム。
18. 請求項１７において、
    前記画像生成部は、
    前記信頼度情報に基づいて、前記表示部に表示される画像の表示態様を変化させることを特徴とするプログラム。
19. 画像センサからの画像情報を取得する画像情報取得部と、
    前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
    前記スケルトン情報に基づいて、前記操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うオブジェクト制御部と、
    前記キャラクタの接触対象となる接触対象オブジェクトと前記キャラクタとの位置関係に応じた拡縮率で、前記キャラクタのサイズを変更する補正処理を行う補正処理部と、
    前記補正処理の結果に応じた画像を生成する画像生成部として、
    コンピュータを機能させることを特徴とするプログラム。
20. コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
21. 画像センサからの画像情報を取得する画像情報取得部と、
    前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
    前記スケルトン情報で表されるスケルトンの骨の位置情報についての補正処理を行う補正処理部と、
    前記補正処理の結果に応じた画像を生成する画像生成部と、
    を含むことを特徴とする画像生成システム。
22. 画像センサからの画像情報を取得する画像情報取得部と、
    前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
    前記スケルトン情報に基づいて、前記操作者の動きに応じて移動又は動作するキャラクタのオブジェクトの制御を行うオブジェクト制御部と、
    前記キャラクタの接触対象となる接触対象オブジェクトと前記キャラクタとの位置関係に応じた拡縮率で、前記キャラクタのサイズを変更する補正処理を行う補正処理部と、
    前記補正処理の結果に応じた画像を生成する画像生成部と、
    を含むことを特徴とする画像生成システム。