JP2011515736A - シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法 - Google Patents

Abstract

１つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法が提供される。前記方法は、ユーザプロファイルを定義してメモリに保存する操作を有する。前記ユーザプロファイルは、深度検知カメラによってユーザを識別およびトラッキングするためのデータを含んでもよい。あるいは、前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権が定義されて保存される。また、前記方法は、前記深度検知カメラから、前記空間内のシーンの画像および深度データをキャプチャする操作を有する。更に別の操作では、前記画像および深度データから、前記シーン内で前記ユーザがトラッキングおよび識別される。あるいは、前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して１つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権が前記メディアソースに自動的に適用される。

Description

ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。

ゲームプラットホームの例に、ソニープレイステーション（登録商標）、ソニープレイステーション２（登録商標）（ＰＳ２）およびソニープレイステーション３（登録商標）（ＰＳ３）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。

インターネットに接続されている処理能力の高いゲームコンソールは、ストリーミングおよびダウンロード可能なメディアを供給するオンラインインタラクションおよびオンライン市場へのアクセスを提供することが可能なエンタテインメントポータルとして機能するようになってきている。オンライン環境では、親は、有効で効率的なペアレンタルコントロールに苦労することが多い。ペアレンタルコントロールは個別に設定しなければならないため、ペアレンタルコントロールの効果がなくなったり、行き過ぎになったり、部分的に設定するとペアレンタルコントロールに食い違いが生じることがある。例えば、ケーブルボックスがテレビのチャンネルのペアレンタルコントロールを提供している場合、ＤＶＤまたはブルーレイディスクなどの光学メディアに記憶されたビデオに別途ペアレンタルコントロールを設定する必要があることがある。

本発明の実施形態は、この状況においてなされたものである。

概して、本発明は、深度検知カメラを使用してシーン内でのユーザの識別およびトラッキングを可能にする。前記ユーザの識別およびトラッキングにより、前記シーン内で前記識別およびトラッキングされたユーザに基づいて、各種メディアソースへのアクセス制御の自動適用が可能となる。ユーザは、ユーザプロファイルの一部として前記アクセス制御を構成することができる。また、ユーザは、自身のユーザプロファイルの一部として、アバターをアバターアニメーションと共に構成することもできる。前記アバターアニメーションは、前記シーン内でのユーザの移動を表示するために使用されうる。

一実施形態では、１つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法が開示される。前記方法は、ユーザプロファイルを定義してメモリに保存する操作を有する。前記ユーザプロファイルは、深度検知カメラによってユーザを識別およびトラッキングするためのデータを含んでもよい。別の操作では、前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権が定義されて保存される。また、前記方法は、前記深度検知カメラから、前記空間内のシーンの画像および深度データをキャプチャする操作を有する。更に別の操作では、前記画像および深度データから、前記シーン内で前記ユーザがトラッキングおよび識別される。更に別の操作では、前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して１つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権が前記１つ以上のメディアソースに自動的に適用される。

別の実施形態では、事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法が開示される。前記方法は、深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義し、メモリに保存する操作を有する。また、前記方法は、前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義し、前記メモリに保存する操作を有する。別の操作では、前記深度検知カメラはシーンをキャプチャし、前記シーン内で、前記ユーザが識別およびトラッキングされる。更に別の操作では、ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションが自動的に適用される。

更に別の実施形態では、現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法が開示される。一操作では、深度検知カメラによってキャプチャされた画像および深度データからユーザプロファイルが定義される。前記ユーザプロファイルは、前記現実世界のユーザの物理的な特徴に関連する画像および深度データを含んでもよい。別の操作では、前記深度検知カメラを使用してシーンの画像および深度データがキャプチャされうる。また、前記方法は、前記シーン内で移動オブジェクトを識別する操作を有してもよい。別の操作では、前記移動オブジェクトの画像および深度データにより、前記シーン内で、前記現実世界のユーザの頭部にロックオンしてこれをトラッキングすることが可能となる。更に別の操作では、前記頭部の前記画像および深度データがリアルタイムに分析される。前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われてもよく、前記ユーザプロファイル内の画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される。

本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。

本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。 本発明の一実施形態による、コンピュータシステムに接続された深度検知カメラの視野内のシーンを示す。 本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。 本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。 本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。 本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。 本発明の一実施形態による、追加のユーザである母親の追加が完了した状態を示す例示的な画面である。 本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。 本発明の一実施形態による、さまざまな位置におけるユーザの頭部２５０の画像および深度データのキャプチャを示す。 本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から構築されるモデリングしたユーザの顔２５１の各種ポーズのマトリクスを示す。 本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化を示す３つの画像のシーケンスである。 本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。 本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。 本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。 本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。 本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。 本発明の一実施形態による、ユーザに割り当てられる各種特権を示す例示的な表を示す。 本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。 本発明の一実施形態による、処理済みビデオとして画面に表示される現実世界のシーンを含む空間を示す。 本発明の実施形態による、例示的な処理済みビデオを示す。 本発明の一実施形態による、現実世界のシーンと、現実世界のシーンが処理済みビデオ１０ｃとして画面に表示される様子とを示す。 認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。 本発明の一実施形態による、点トラッキングを示すシーンの例示的な図である。 本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。

本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。

深度検知カメラからの画像および深度データによってユーザを識別したのちに、コンピュータシステム用のユーザプロファイルを自動的に適用するための方法が開示される。概して、コンピュータシステムは、ユーザからの入力を受け取るものであれば、汎用コンピュータ（例えば、デスクトップ、ノートブック、ハンドヘルドデバイス、スマートフォンなど）でも、ゲームコンソールのような専用コンピュータでも、どのようなタイプのシステムであってもよい。深度検知カメラは、画像データに沿って幾何学的な深度データをキャプチャすることができる。深度検知カメラは、分析および処理させるために、画像および深度データをコンピュータシステムに提供することができる。一実施形態では、深度検知カメラは単レンズカメラであり、別の実施形態では、複数のカメラレンズを使用して、さまざまな位置または視点から画像および深度データがキャプチャされてもよい。

以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。

図１Ａは、本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。操作１００は、識別およびトラッキングするユーザを定義するために使用される。一実施形態では、操作１００は、コンピュータシステムに接続された深度検知カメラを使用して実行される。ユーザが、深度検知カメラによってキャプチャされた個々の特徴によって判別されて、コンピュータシステムによって実行されているソフトウェアによって認識されうる。各種実施形態では、顔の特徴（目、鼻および口などの顔のパーツの間の距離などが挙げられるが、これらに限られない）がキャプチャされうる。別の実施形態では、カメラの深度検知機能を使用して、ユーザの鼻、目、頭の大きさ、パーツの相対位置などのユーザの特徴が認識されうる。

また、ユーザは、操作１００の一環として仮想世界のアバターも定義しうる。識別およびトラッキングするためにユーザを定義する一環として、ユーザは、仮想世界においてユーザを表現するカスタマイズしたアバターを構成しうる。ユーザは、アバターを、現実世界の外見に似せて構成することも、現実世界の外見に制約されない想像上のアバターを持つように選択することもできる。この目的で、アバターは、体、頭、目、鼻、耳、口、腕、脚および髪型のサイズや形の構成を有することができるが、これらに限定されない。また、ユーザは、アバターのために、仮想の服装および履物のほか、宝石やサングラスなどの装飾品も構成することができる。

操作１０２は、識別されるユーザに対する特権およびアニメーションを定義するために使用される。特権を使用することにより、識別されたユーザが深度検知カメラの前にいるときに、コンピュータシステムを介してアクセス可能なコンテンツのタイプに制限をかけることが可能となる。一実施形態では、コンピュータシステムは、インターネットに接続されており、限定的ではないがストリーミングまたはダウンロード可能な音楽およびマルチメディア（例えば映画、テレビ番組およびビデオクリップ）などの各種メディアソースへのアクセスを提供する。また、コンピュータシステムは、ＹｏｕＴｕｂｅなどのストリーミングビデオ対応のウェブサイトにアクセスするためのウェブブラウザを提供すると共に、オンラインまたはダウンロード可能なゲームへのアクセスも提供する。また、コンピュータシステムは、ＤＶＤまたは他の光記憶メディア（例えばブルーレイまたはＨＤ−ＤＶＤディスク）を再生可能な統合メディアソースも備える。定義済みのユーザに割り当てられる特権により、特定のタイプの動画、テレビ番組、ゲームおよびウェブサイトへのアクセスの制限が可能となる。

また、操作１０２は、識別されるユーザに対してアニメーションを定義するためにも使用されうる。アニメーションは、深度検知カメラおよびコンピュータシステムによって検出される現実世界での動作に対応させて、識別済みのユーザのアバターを画面上でアニメーション表示させるために使用されうる。例えば、一実施形態では、ユーザの動く速度がしきい値速度を超えたときに、アニメーションがユーザアバターに適用されうる。一実施形態では、ユーザの動きが遅い場合、ユーザの仮想世界のアバターに、クモの巣またはスパイダーウェブがアニメーション表示されうる。別の実施形態では、ユーザの動きが速い場合、アバターにブラーをかけたり、あるいは他のアニメーション（例えば、モーションクラウドや音声効果）など、ユーザの速い動きを強調するアニメーションが表示されうる。深度検知カメラとコンピュータシステムが、識別済みのユーザを認識すると、後から取得が可能となるように、ユーザアバターが、定義済みの特権およびアニメーションと共に保存されうる。

操作１０４は、深度検知カメラの視野に入った移動オブジェクトを識別およびトラッキングするために使用されうる。カメラの視野内の移動オブジェクトが定義済みのユーザとして認識された場合、操作１０６は特権および／またはアニメーションを自動的に適用しうる。移動オブジェクトが定義済みのユーザとして認識されない場合は、操作１０６は、デフォルトの特権および／またはアニメーションを自動的にロードしうる。また、操作１０４は、コンピュータシステムと深度検知カメラを使用して、認識されたユーザまたは認識されていないユーザの動きを経時的にトラッキングし、アニメーション表示させうる。一実施形態では、深度検知カメラが動きを識別すると、動きの経時的なログファイルの作成を開始しうる。各種実施形態では、識別済みのユーザが深度検知カメラの視野に入ると、そのユーザの事前設定されたアニメーションを使用してログファイルが作成される。このログファイルは、深度検知カメラの視野内で識別済みのユーザの動きを経時的に表示して再生されうる。

図１Ｂは、本発明の一実施形態による、コンピュータシステム１２０に接続された深度検知カメラ１１０の視野１５２内のシーン１５０を示す。深度検知カメラ１１０が、ＲＧＢ画像モジュール１１４を使用して画像データをキャプチャする一方で、深度データモジュール１１２は、深度検知カメラ１１０の視野１５２内のオブジェクトの相対深度データをキャプチャしうる。一実施形態では、深度検知カメラ１１０は、三次元のオブジェクトから反射される光量に基づいて、相対深度を決定することができる。一部の実施形態では、深度検知カメラは、赤外光をパルス化可能な赤外線発光ダイオード（ＬＥＤ）のアレイを備える。深度データモジュール１１２は、反射されて深度検知カメラ１１０に戻るパルス化赤外光の量に基づいて、深度検知カメラ１１０の視野内のオブジェクトの相対深度を決定することができる。別の実施形態では、深度検知カメラ１１０からの画像および深度データが、コンピュータシステム１２０に送信されて処理される。

焦点モジュール１１８は、論理処理ユニット１１６と共に、深度検知カメラ１１０に内蔵されうる。一部実施形態では、論理処理ユニット１１６は、ＲＧＢ画像モジュール１１４からのデータと、深度データモジュール１１２からのデータとを相関させるために使用されうる。別の実施形態では、論理処理ユニット１１６は、焦点モジュール１１８の制御を補助しうる。焦点モジュール１１８は、ＲＧＢ画像モジュール１１４の焦点と深度データモジュール１１２の焦点を変更しうる。深度データモジュール１１２の焦点は、赤外線ＬＥＤアレイ内の個々の赤外線ＬＥＤの強度を上げ、その持続時間を長くすることで、変更することができる。深度検知カメラによってキャプチャされた画像および深度データは、コンピュータシステム１２０によって実質的にリアルタイムに処理されうる。

コンピュータシステム１２０は、深度検知カメラ１１０から画像および深度データを受け取り、これを処理することに加えて、さまざまな他のソースを有するか、あるいはさまざまな他のソースを入力として受け取りうる。例えば、コンピュータシステム１２０を介して、ＴＶソース１２２、ＤＶＤ／ブルーレイメディア１２４、ゲーム１２６およびインターネット１２８にアクセスすることができる。ユーザは、コンピュータシステム１２０用のユーザインタフェースを介して、異なるメディアソース１３０ａ／ｂを選択することができる。

シーン１５０には、ユーザ１４０、ランプ１４２およびソファー１４４が存在している。コンピュータシステム１２０は、静止オブジェクト（例えばランプ１４２およびソファー１４４）からユーザ１４０を判別しうる。深度検知カメラ１１０は、コンピュータシステム１２０からのコマンドに応答して、ユーザ１４０の周囲の領域１４６に焦点を合わせうる。深度検知カメラ１１０は、ユーザ１４０を識別するために、ユーザ１４０の頭部領域１４８に焦点を微調整しうる。深度検知カメラは、頭部領域１４８に焦点を合わせることで、ユーザ１４０の画像および深度データのキャプチャが可能となり、これらが分析されて、コンピュータシステム１２０に関連するプロファイルデータと比較されうる。

図２Ａ〜２Ｄは、本発明の一実施形態による、アバターを含むユーザプロファイルの定義に使用されうる例示的な画面を示す。図２Ａは、父親２０２、娘２０４および息子２０６のユーザプロファイルが既に作成されているコンピュータシステムの例示的な画面２００を示す。また、画面２００には、新しいユーザプロファイルを作成するためのボタン２０８も表示されている。図２Ｂは、本発明の一実施形態による、ボタン２０８の選択により表示される例示的な画面２００ｂを示す。画面２００ｂは、本発明の一実施形態で作成可能なタイプの異なるユーザプロファイルを表示する。例えば、人のアイコン２１０を選択すると、人に基づくプロファイルが作成されうる。ユーザが部屋の中でペットの動きをトラッキングしたい実施形態では、イヌアイコン２１２またはネコアイコン２１４の選択により、イヌまたはネコのプロファイルを作成することができる。追加のプロファイルタイプが追加されてもよく、上記に挙げたタイプは限定として解釈されるべきでない。

図２Ｃは、本発明の一実施形態による、人のアイコン２１０の選択により表示される画面２００ｃを示す。画面２００ｃでは、ユーザは、男性のアイコン２１６か女性のアイコン２１８かを選択することができる。この例では、ユーザは、女性のアイコン２１８を選択する。図２Ｄは、本発明の各種実施形態による、アバターを構成するための２つの異なる画面２００ｄ／ｅを示す。画面２００ｄは、アバターの構成に使用可能なメニューシステムを示す。図に示すように、メニューシステムには、名前、身長、体型、目、髪型、鼻および口の選択が含まれる。当業者であれば理解するように、画面２００ｄに示されている各メニューを選択すると、ユーザが、アバターをより細かく構成するための別の画面またはサブメニューが呼び出されうる。

画面２００ｅは、本発明の一実施形態による、別のアバターカスタマイズ画面を示す。この別のアバターのカスタマイズを使用した場合、深度検知カメラを使用して、ユーザの画像がキャプチャされうる。次に、キャプチャされたユーザの画像が、コンピュータシステムによって処理されて、ユーザのキャプチャ画像に基づいてアバターが自動的に生成されうる。一部の実施形態では、自動生成されるアバターは、ベースアバターであり、ユーザは、この自動生成されたアバターの特徴を変更することができる。いずれの実施形態の場合も、ユーザは、自分で作成したか、または自動生成されたアバターを、服装または装飾品によってカスタマイズまたは調整することができる。

図２Ｅは、本発明の一実施形態による、追加のユーザである母親２００の追加が完了した状態を示す例示的な画面２００ｆである。画面２００ｆは、図２Ａ〜２Ｄで説明したように、母親２２０のユーザプロファイルの作成が完了すると表示される。この結果、父親２０２、娘２０４、息子２０６および母親２２０のユーザプロファイルを示す画面２００ｆが表示される。また、図２Ｅは、別のユーザプロファイルを追加するためのボタン２０８が選択されていることも図示している。

図２Ｆ−１は、本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。ユーザのアバターの構成中に、深度検知カメラが使用され、ユーザの頭部２５０および顔のパーツの画像および深度データがキャプチャされうる。コンピュータシステムによるユーザの認識を可能にする識別特徴を得るために、画像および関連する深度データがコンピュータシステムによって分析されうる。

さまざまな識別特徴を使用することができ、例えば、顔のパーツの間の距離、顔のパーツの相対サイズおよび顔のパーツの相対位置が挙げられるが、これらに限定されない。別の実施形態では、耳の相対位置および相対サイズなどの、ユーザの頭部の特徴が識別されてもよい。例えば、Ｚ平面の距離として図２Ｆに示す深度データを使用して、Ｚ１（ユーザの鼻の先とユーザの上唇の間の距離）が決定および認識されうる。また、深度データを使用して、Ｚ２（ユーザの鼻の先と目の間の距離）が決定および認識されてもよい。同様に、画像データが使用されて、図２Ｆ−１に距離Ｘで示すユーザの２つの目の間の距離が認識されうる。同様に、ユーザの鼻と口の間の距離Ｂが、識別特徴として測定および使用されうる。画像データと関連する深度データは、ユーザを識別および認識するために、深度データおよび画像データからの測定値間の比率を決定することができる。

図２Ｆ−２は、本発明の一実施形態による、さまざまな位置におけるユーザの頭部２５０の画像および深度データのキャプチャを示す。一部の実施形態では、ユーザプロファイルの作成時に、ユーザが、（例えば、ＧＵＩ、音声／音声コマンドまたはテキストによって）頭部をさまざまな位置に回すまたは回転させるように求められうる。これにより、深度検知カメラが、ユーザの頭部全体、あるいは、少なくとも、識別可能な顔のパーツが含まれる頭部の正面部分の大半の画像および深度データをキャプチャすることが可能となる。

コンピュータシステムは、画像および深度データを分析して、ユーザの頭部のワイヤフレームモデルを作成しうる。一部の実施形態では、ユーザの頭部のワイヤフレームモデルが、ユーザの仮想世界のアバターの一部として使用されうる。下で更に詳細に説明するように、コンピュータシステムは、ワイヤフレームモデルを分析して、さまざまな角度での顔および頭部の特徴の間のユーザ特有の比率を決定しうる。説明した特定の顔のパーツおよび測定値は、例示を目的としたものであり、限定するものと解釈すべきでない。ユーザの識別および認識に使用できる追加の測定値を得るために、画像および深度データが分析されうる。

別の実施形態では、深度検知カメラを使用して、さまざまなポーズでのユーザの体全体の画像および深度データがキャプチャされてもよい。コンピュータシステムは、顔の認識の場合と同様に、画像および関連する深度データを分析して、ユーザを識別しうる。図８，図９を参照して後述するように、シーン内の静止オブジェクトが、コンピュータシステムによって認識され、シーン内でのユーザの相対位置を提供することによって、ユーザの識別およびトラッキングを補助することができる。

図２Ｇは、本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から少なくとも部分的に構築されるモデリングしたユーザの顔２５１の各種ポーズのマトリクスを示す。場合によっては、構築されたポーズが、（例えば、図２Ｆ−２にキャプチャされたデータを使用して）サイズおよび深度データを近似することによって生成される。

システムが、使用中または動作中に、ユーザが、さまざまな角度から深度検知カメラの視野に入ることがあるため、深度検知カメラが、ユーザの真正面の図を得られるとは必ずしも限らない。このため、ユーザを識別およびトラッキングするために、コンピュータシステムは、ユーザの頭部のワイヤフレームモデルを使用して、さまざまな位置におけるユーザの頭部のユーザの顔および頭部の特徴のさまざまな比率を外挿しうる。

行２６２は、ユーザが頭を傾けずに頭を右から左に回したように、ユーザの頭部のワイヤフレームモデルがキャプチャされた一連の画像を示す。行２６０は、ワイヤフレームモデルが頭を後ろに反らせたような位置にある同様の画像のシーケンスを示し、行２６４では、ワイヤフレームモデルが前屈している。列２７２は、各行に対するワイヤフレームモデルの顔の正面を示し、列２７０と列２７４は、深度検知カメラに、それぞれ右と左に１／３が見えているユーザの画像データを示す。同様に、列２６８と列２７６は、それぞれ右と左に２／３が見えているユーザを示し、列２６６と列２７８は、深度検知カメラに対する、それぞれ右と左の横顔のユーザを示す。図２Ｇに示したマトリクスは、単純化したものであり、例示とみなすべきである。実際の実施形態では、ビデオ画像をさまざまなフレームレートでサンプリングして、個々のユーザに対して編集する画像および深度データの数が増減してもよい。後述するように、ユーザの異なる図において、さまざまな顔のパーツの相対位置を求めるために、画像および深度データが分析されうる。一実施形態では、右耳Ｅ１、右目ｅ１、鼻Ｎ、左目ｅ２および左耳Ｅ２が、画像および深度データから識別およびトラッキングされうる。

図２Ｈは、本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化（例えば、デルタ値）を示す３つの画像のシーケンスである。プロファイル２８０では、ユーザは、深度検知カメラにまっすぐ向いている。この角度から、ユーザの鼻Ｎの位置が、ユーザの目ｅ１およびｅ２の位置と共に耳Ｅ１およびＥ２に対して決定されうる。ユーザによっては、プロファイル２８０内で耳Ｅ１およびＥ２の相対位置が決定できないことがある。このような場合、識別を、ユーザの目と鼻の相対位置から決定することができる。ユーザを識別するために、ユーザの顔のパーツと耳の相対位置が、ワイヤフレームモデルのマトリックスと比較されうる。ユーザが識別されると、コンピュータシステムは、適切なユーザプロファイルを自動的に適用しうる。また、一部の実施形態では、コンピュータシステムは、深度検知カメラからの画像および深度データを監視して、ユーザの頭部の位置を監視およびトラッキングしうる。更に別の実施形態では、空間内でユーザが見ている場所を決定するために、画像および深度データが、ユーザの眼球運動を追跡してもよい。

プロファイル２８２は、ユーザが頭２５０を左に回すと、ユーザの顔のパーツの相対位置がどのように変化するかを示す。プロファイル２８０とプロファイル２８２を比較すると、ユーザの左耳Ｅ２が深度検知カメラからは見えなくなった一方で、右耳Ｅ１がよりはっきりと見えるようになっている。同様に、左目ｅ２が深度検知カメラから更に離れ、右目ｅ１と左目ｅ２の間のアスペクト比が変化している。コンピュータシステムは、このようなリアルタイムの画像および深度データから、ユーザを、メモリに記憶されているワイヤフレームモデルから見つけようとする。プロファイル２８２では、深度検知カメラデータは、左目ｅ２の深度位置を示しうる。同時に、深度検知カメラによってキャプチャされた画像データが分析され、左目ｅ２の相対サイズが決定されうる。同様に、深度検知カメラは、右耳Ｅ１、右目ｅ１および左目ｅ２に対する、ユーザの鼻Ｎの変化を知覚しうる。

プロファイル２８４は、ユーザが頭を回した状態の左の横顔の図を示す。この図では、深度検知カメラは、ユーザの右耳Ｅ１、右目ｅ１および鼻Ｎの横向き全体をキャプチャする。深度検知カメラから見える顔のパーツの相対位置が決定されて、ワイヤフレームモデルのマトリックスからユーザを識別およびトラッキングするために使用されうる。図２Ｈで説明したプロファイルは、単純化したものであり、例示であると解釈すべきである。一部の実施形態では、顔のパーツの比率の範囲を得るために、画像および深度データの複数のフレームが１秒毎にキャプチャされてもよい。次に、サンプリングされた範囲が、ワイヤフレームモデルのマトリックス内の動きの範囲と比較されうる。図２Ｈに示すように、ユーザが頭を横方向に回したときに、顔の位置のさまざまな比率がトラッキングされうる。別の実施形態と同様に、ユーザが頭を前または後ろに傾けた時点を水平線を使用して決定するために、異なる比率が使用され、ユーザの目、鼻および口の相対位置が画定されうる。ユーザが頭を前または後ろに傾けると、深度検知カメラによってキャプチャされる水平線間の相対距離が計算されて、頭を、前または後ろにどのくらい傾けたかが決定されうる。

図２Ｉは、本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。以下の操作は、コンピュータシステムが後から、ユーザを認識することができるように、ユーザプロファイルを作成または変更する際に使用されうる。操作２８５は、ユーザの頭部のスキャンを開始する。この操作は、図２Ｆ−２のようなユーザプロファイルを作成または変更するときに開始されうる。操作２８５は、深度検知カメラの焦点を、ユーザの頭部領域に合わせる。一実施形態では、ユーザが、深度検知カメラに対して特定の位置に立つように求められうる。別の実施形態では、深度検知カメラが、撮像素子および深度感知素子の焦点をユーザの方に移動させてもよい。深度検知カメラの前に複数の人がいる場合、ユーザは、スクリーン上の表示を使用して、スキャン対象とする人を選択するように求められうる。

操作２８７は、頭部領域の画像および深度データを収集するために使用される。前述のように、この操作は、頭をさまざまな向きに回すよう、ユーザに指示しうる。これにより、深度検知カメラが、ユーザの頭部をさまざまな位置でキャプチャすることが可能となる。操作２８８は、画像および深度データに基づいてユーザの頭部のモデルを生成する。一実施形態では、深度データを使用して、ユーザの頭部の三次元ワイヤフレームモデルが構築されうる。コンピュータプログラムは、ワイヤフレームモデルを使用して、さまざまな顔のパーツおよび頭部の特徴の相対位置を決定しうる。操作２８９において、モデルと共に位置データが保存され、ユーザプロファイルに関連付けられうる。終了操作２９０でフローチャートが終了するが、他の操作が続いてもよい。

図２Ｊは、本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。操作２９１は、深度検知カメラの視野内で移動オブジェクトを識別する。後述するように、移動オブジェクトが、ネコまたはイヌなどのペットであってもよい。ペットを識別およびトラッキングする場合、異なる操作が必要となることがある。この後の操作は、人間のユーザの識別およびトラッキングに関するものであるが、人間以外のユーザをトラッキングするために変更されてもよい。操作２９２は、移動オブジェクト内でユーザの頭部を検出しようと試みる。一実施形態では、コンピュータシステムは、一般に、目などの一般的な顔の特徴を使用して頭部を識別しうる。別の実施形態では、限定するものではないが、目と口または目と鼻などの顔の特徴の組み合わせを使用して頭部が識別されてもよい。

操作２９３は、頭部のトラッキングを開始し、トラッキングが、保存されているユーザのモデルとの比較に基づいて、認識可能な顔のプロファイルが見つかるまで行われる。コンピュータシステムは、頭部にロックオンして、頭部をトラッキングすることにより、リアルタイムの画像および深度データを、記憶されているユーザの頭部および顔のデータと比較することが可能となる。深度検知カメラは、ユーザを識別するために、リアルタイムの画像および深度データのフレームを、ワイヤフレームモデルの認識可能な顔のプロファイルと比較しうる。一実施形態では、コンピュータシステムは、画像データを分析して、リアルタイム画像内で頭の角度を決定し、顔および頭部のデータを、保存されているワイヤフレームモデルの同様の配置のデータと比較する。操作２９４は、リアルタイムのユーザで検出された特徴によって、保存されているユーザプロファイルの深度および画像データを検証しようと試みる。深度および画像データが検証されると、操作２９５はユーザが識別されたことを確認し、保存されているユーザプロファイルを適用する。終了操作２９９でこの手順が終了するが、他の操作が続いてもよい。

操作２９４において深度および画像データが検証されなかった場合、操作２９６は、リアルタイムユーザが識別されなかったと認識する。操作２９８は、コンピュータシステムが、ユーザのロックオンとトラッキングを再試行するかどうかを決定するために使用される。一部の実施形態では、コンピュータシステムが所定の回数、ユーザの識別を再試行するためのしきい値が設定されうる。別の実施形態では、コンピュータシステムは、ユーザを無期限に識別しようとする。更に別の実施形態では、ユーザの識別の再試行の回数が、利用可能なコンピューティングリソースに基づいて可変であってもよい。ユーザのロックオンを試みる再試行が行われた場合、手順は操作２９３に戻る。ユーザにロックオンしようとする再試行をこれ以上行わない場合、操作２９７はデフォルトプロファイルを変更しない。

図３Ａ〜３Ｃは、本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。図３Ａは、図２Ｅのボタン２０８の選択により表示される画面２００ｂを示す。また、画面２００ｂには、イヌアイコン２１２が選択されている。図３Ｂは、本発明の実施形態による、イヌのアバターを作成する異なる方法を示す画面３００ａ／ｂを示す。画面３００ａは、深度検知カメラを使用して、イヌのさまざまな側面の画像をキャプチャしてアバターを作成することを示す。コンピュータシステムは、異なる画像を処理して、イヌのアバターを、プロファイル情報と共に自動的に生成し、このプロファイルにより、イヌが深度検知カメラの視野内にいるときに、そのイヌが認識可能となる。

画面３００ｂは、本発明の一実施形態による、別のイヌアバター作成画面を示す。画面３００ｂにより、ユーザは、自分のイヌのさまざまな特徴を選択して、そのイヌアバターを作成することができる。例えば、一実施形態では、ユーザは、最初に、自分のイヌのアバターの相対サイズを選択しうる。

図４Ａは、本発明の一実施形態による、ユーザに割り当てられるさまざまなメディアソース特権を示す例示的な表４００を示す。ビデオゲーム特権４０２は、エンターテインメントソフトウェアレーティング委員会（ＥＳＲＢ）によってゲームに割り当てられているレーティングに基づいて、さまざまなユーザに割り当てられうる。同様に、各ユーザに対するテレビジョン特権４０４が、テレビジョンペアレンタルガイドラインに基づいて設定されうる。さまざまな実施形態では、コンピュータシステムが設置されている国に応じて、異なるテレビジョンペアレンタルガイドラインがロードされうる。米国で設置されているコンピュータシステムの場合、米国映画協会（ＭＰＡＡ）のレーティングシステムに基づく映画特権４０６が各ユーザに割り当てられうる。同様に、インターネット特権４０８が、ユーザが指定するコンテンツへのアクセスをフィルタおよび制限するために構成されうる。コンピュータシステムが音楽４１０にアクセスできるようにするように構成される実施形態では、ペアレンタルアドバイザリラベル（ＰＡＬ）が設定された音楽へのユーザのアクセスを許可または拒否するための特権が設定されうる。図４Ａに示した特権の種類は、例示であり、説明していない追加の特権を割り当てることができるため、限定であるとみなすべきではない。

ユーザに割り当てられた特権は、コンピュータシステムによってアクセス可能なさまざまな形式のメディアに自動的に適用されうる。例えば、息子２０６が、深度検知カメラの視野に入り、コンピュータシステムを介して認識されると、コンピュータシステムは、図４Ａにリストアップされている特権を自動的にロードする。このため、息子４１６は、ＥＳＲＢレーティングがＥのビデオゲーム、ペアレンタルガイドラインがＴＶ−Ｙ７のテレビ番組、ＭＰＡＡレーティングがＧの映画へのアクセスのみを許される。更に、コンピュータシステムを介したインターネットアクセスには特定のネットフィルタが適用され、ＰＡＬが指定されている音楽へのアクセスがブロックされる。

複数の認識済みのユーザがコンピュータシステムによって識別される場合には、最も制限の低い特権が有効にされうる。このため、息子２０６と父親２０２が識別された場合、コンピュータシステムは父親２０２にリストアップされている特権を有効にする。同様に、娘２０４と息子２０６が識別された場合、娘２０４にリストアップされている特権が有効にされる。

図４Ｂは、本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。ユーザは、識別済みの各ユーザが深度検知カメラの視野内を歩く（図中の４２）と、画面に表示されうる個々のアイコンを選択または作成することができる。図４Ｂに示すように、息子が深度検知カメラの前を歩くと、青いスニーカ４１６が画面に表示され、息子が現実の世界で部屋を歩き回った経路をなぞる。同様に、娘が歩いた経路にピンクの足跡４１８が割り当てられ、イヌのスパーキーの歩いた経路には黒の足跡４２０が割り当てられうる。

また、ユーザは、走る４４などの動作のアニメーションも割り当てられうる。例えば、息子が走ると、アバターアニメーションが、青いスニーカ４１６から、スケートボード４２２に乗っている息子のアバターに自動的に切り替えられうる。同様に、娘が、コンピュータシステムによって走っていることが認識されると、娘のピンクの足跡４１８が、娘がカメラの視野内で走った時間と距離の間、インラインスケート４２４に変更されうる。スパーキーも、走った場所では黒い足跡４２０が赤い足跡４２２に変わりうる。追加のアニメーションタイプを構成することができ、これには、ユーザがシーン内の特定のオブジェクトとインタラクションするアニメーション、あるいは認識されたユーザが数人部屋にいるアニメーションなどがあるが、これらに限定されない。特定のアニメーションは、可能なアニメーションの例を提示するものであり、限定として解釈すべきではない。

図５Ａは、本発明の一実施形態による、処理済みビデオ１０ａ／ｂとして画面に表示される現実世界のシーン５００を含む空間５０１を示す。現実世界のシーン５００には、深度検知カメラ１１０の視野内に、イヌ５０２とソファー５０４が存在している。深度検知カメラ１１０は、コンピュータシステム１２０に画像データを提供する。これに対して、コンピュータシステム１２０は、処理済みビデオ１０ａ／ｂを画面５０８に提供する。現実世界のシーン５００では、イヌ５０２が、ソファー５０４の上にジャンプする。

図５Ｂは、本発明の実施形態による、例示的な処理済みビデオ１０ａ／ｂを示す。処理済みビデオ１０ａは、イヌ５０２がソファー５０４の上を歩いたときにコンピュータシステムがイヌ５０２を経時的にトラッキングした結果を示す。図に示すように、イヌのアバター５０２ａによって、足跡５１２によって作成される履歴経路が仮想世界ソファー５０４ａの上に作成される。処理済みビデオ１０ａは、コンピュータシステムが、深度検知カメラによってキャプチャされたシーン１１０内の画像および深度データからイヌを認識した結果生成される。イヌ５０２をコンピュータシステムに認識させるために定義する一環として、ユーザは、足跡５１２のアニメーションをイヌ５０２と関連させて保存しうる。別の実施形態では、イヌのリアルタイムビデオ画像が、イヌのアバター５０２ａの代わりに使用されてもよい。イヌ５０２がコンピュータシステムによって認識されない実施形態では、デフォルトのトラッキング記号またはアイコンの組がロードされ、処理済みビデオ１０ａとして表示されてもよい。

処理済みのビデオ１０ｂは、本発明の一実施形態による、ソファー５０４とインタラクションしているイヌ５０２に特有の別のアニメーションを示す。この実施形態では、ユーザは、現実世界のイヌが現実世界のソファーの上を歩いた場所で、仮想世界のソファー５０４ａが破れるようにアニメーションを構成している。上で説明したように、コンピュータシステムは、深度検知カメラの前で行われたユーザの動作のログすなわち履歴経路を作成し、これが再生および保存されうる。この場合、ユーザは、コンピュータシステムに、シーンを監視させ、現実世界のイヌの動きを再生させうる。簡単にするために、処理済みのビデオ１０ａ／ｂは、イヌがソファーにジャンプする前にはトラッキングしたイヌの動きは表示しない。しかし、各種実施形態では、ログに記録されたアニメーションによってイヌの動きをトラッキングして、ソファーの破れ目と、地面の上のさまざまな足跡とを示すコマ撮りビデオを作成することが可能である。

図６は、本発明の一実施形態による、現実世界のシーン６００と、現実世界のシーン６００が処理済みビデオ１０ｃとして画面に表示される様子とを示す。現実世界のシーン６００では、深度検知カメラ１１０の前をユーザ６０２が走っている。深度検知カメラ１１０は、走っているユーザ６０２のビデオ画像をキャプチャし、これをコンピュータシステム１２０に送信して処理させる。処理済みビデオデータが、コンピュータシステム６０８から画面６０４に送信され、処理済みビデオ１０ｃとして表示される。処理済みビデオ１０ｃの詳細図には、ユーザ６０２を表すアバター６０２’が存在する。また、詳細図には、ユーザ６０２が走るのに対応させて、アバター６０２’のアニメーションも表示されている。一実施形態では、アニメーションは、スピード感を伝えるために、アバター６０２’のモーションブラー６１０を有する。別の実施形態では、走行が検出される前にアバター６０２’が立っていた位置に、吹き出し６１２が表示される。別の実施形態では、走行に対応して、アバター６０２’の靴または足の上に炎のアニメーションが表示されてもよい。一実施形態では、図５Ａ〜６で説明した履歴経路およびアニメーションが、再生のためにコンピュータシステムに関連するメモリに保存されうる。一部の実施形態では、メモリは、例えばハードディスクドライブまたは他の不揮発性メモリなどのローカルストレージ装置でもよい。別の実施形態では、履歴経路およびアニメーションが、インターネットを介してリモートストレージにアップロードされてもよい。

図７は、認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。操作７００は、深度検知カメラを使用して、シーンの第１の画像をキャプチャする。操作７０２は、深度検知カメラを使用して、シーンの第２の画像をキャプチャする。この目的は静止オブジェクトを識別することにあるため、第１の画像と第２の画像のキャプチャ間隔の長さが変わりうる。一部の実施形態では、画像が、１秒の数分の１または数秒おきにサンプリングされても、別の実施形態では、画像が、数分、数時間または数日おきにサンプリングされてもよい。操作７０４は、第１の画像と第２の画像を比較することによって、シーン内の静止オブジェクトを決定するために使用される。この比較は、第１の画像内の識別された点を、第２の画像の対応する点と突き合わせようとするものである。識別された点が第１の画像と第２の画像の間で移動しなかった場合、この点は、静止していると決定されうる。一実施形態では、深度検知カメラは、画像を定期的にサンプリングして、静止オブジェクトを継続的に更新し、計算オーバーヘッドを低下させる。操作７０６は、シーン内の静止オブジェクトのモデルを作成するために、シーン内の識別された静止オブジェクトの固定点を関連付ける。操作７０８は、深度検知カメラの視野内でのオブジェクトのトラッキングおよび識別を補助するために、関連付けた固定点をメモリに記憶する。

図８は、本発明の一実施形態による、点トラッキングを示すシーン８００の例示的な図である。シーン８００には、コンピュータシステム１２０に画像データを提供する深度検知カメラ１１０が含まれている。コンピュータシステム１２０は、画像データを処理し、画面８０２に表示させるための処理済みビデオを提供する。シーンには、静止オブジェクト（例えばソファー８０６およびランプ８１２）が含まれる。一実施形態では、コンピュータシステム８１０は、深度検知カメラ８００によってキャプチャされた２つの画像を比較することによって、シーン８００内のどのオブジェクトが静止しているかを決定しうる。コンピュータシステム１２０は、第１の画像内の点のうち、第２の画像で移動しなかったものを識別することが可能なソフトウェアを実行しうる。移動しない点が、静止点として特定されうる。図８では、静止点８０８がソファー８０６の上で識別され、静止点８１４がランプ８１２の上で識別されている。また、コンピュータシステム１２０は、シーン８００内のオブジェクトの相対位置関係、いわゆるポジショニング、を定義するために、静止点を相関させうる。コンピュータシステム１２０は、既知の相対位置によって、深度検知カメラ１１０からの画像データをより効率的に処理して、シーン８００内で動いているユーザなどの現実世界のオブジェクトを表すアバターを、より高速にレンダリングすることが可能となる。

別の実施形態では、画像および深度データと共に点トラッキングにより、静止オブジェクトに対して、部分ワイヤフレームまたはスケルトンを作成できるようになる。例えば、ソファー８０６に関連する静止点８０８を使用して、ソファー８０６の部分ワイヤフレームモデルが作成されうる。ユーザが、現実のソファー８０６の画像および深度データから作成される仮想ソファーを変更およびカスタマイズできるようにするために、テクスチャーマップがワイヤフレームモデルに適用されうる。例えば、ユーザは、ソファーの材料を、織物または布、レザー、合成繊維材料にわたる任意の種類に変更することができる。どのシーンのどの静止オブジェクトにもテクスチャーマップを適用することができ、このようなオブジェクトには、シーン８００の壁およびランプ８１２などがあるが、これらに限られない。ユーザは、深度検知カメラ１１０で部屋をスキャンして、現実世界の部屋の画像および深度データをキャプチャし、次に、現実世界の部屋の仮想世界表現をカスタマイズしうる。画像および深度データを使用して、壁の色を変更したり、あるいは壁紙または木のパネルなどのテクスチャがつけられた壁装材を含むさまざまなタイプの壁装材を適用することができる。

図９は、本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。システムユニット１０００は、システムユニット１０００に接続可能なさまざまな周辺機器を備える。システムユニット１０００は、Ｃｅｌｌプロセッサ１０２８、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１０２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１０３２を有するＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０、およびＩ／Ｏブリッジ１０３４を備える。また、システムユニット１０００は、Ｉ／Ｏブリッジ１０３４を介してアクセス可能な、ディスク１０４０ａおよび着脱可能なスロットインハードディスクドライブ（ＨＤＤ）１０３６から読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ１０４０も備える。任意選択で、システムユニット１０００は、同様にＩ／Ｏブリッジ１０３４を介してアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ１０３８も備える。

また、Ｉ／Ｏブリッジ１０３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１０２４、ギガビットイーサネット（登録商標）ポート１０２２、ＩＥＥＥ ８０２．１１ｂ／ｇ無線ネットワーク（Wi-Fi）ポート１０２０、および最大７つのブルートゥース接続に対応可能なブルートゥース（登録商標）無線リンクポート１０１８にも接続している。

動作時に、Ｉ／Ｏブリッジ１０３４は、１つ以上のゲームコントローラ１００２からのデータを含む、全ての無線、ＵＳＢ、およびイーサネット（登録商標）のデータを処理する。例えば、ユーザがゲームをプレイ中に、Ｉ／Ｏブリッジ１０３４はブルートゥースリンクを介してゲームコントローラ１００２からデータを受信して、これをＣｅｌｌプロセッサ１０２８に転送し、Ｃｅｌｌプロセッサ１０２８が適宜ゲームの現在の状態を更新する。

また、無線、ＵＳＢ、およびイーサネット（登録商標）の各ポートを介して、ゲームコントローラ１００２のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン１００４、キーボード１００６、マウス１００８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス１０１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ１０１２などのビデオカメラ、マイクロフォンヘッドセット１０１４などがある。このため、これらの周辺機器は、原則としてシステムユニット１０００に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス１０１０はＷｉ−Ｆｉアドホック接続を介して通信し、マイクロフォンヘッドセット１０１４はブルートゥースリンクを介して通信しうる。

これらのインタフェースを提供することにより、プレイステーション３デバイスは、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ＶｏＩＰ電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。

更に、ＵＳＢポート１０２４を介して旧式メモリカードリーダ１０１６をシステムユニットに接続することができ、プレイステーション（登録商標）デバイスまたはプレイステーション２（登録商標）で用いられていたタイプのメモリカード１０４８の読み出しが可能となる。

本実施形態では、ゲームコントローラ１００２は、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ１００２が、ＵＳＢポートに接続されてもよく、これにより、ゲームコントローラ１００２のバッテリに充電するための電力も供給する。ゲームコントローラは、１つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する６自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報（例えば制御命令またはライブの数）が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルおよびペダル（図示せず）、あるいは、即答クイズゲームのための１つまたは複数の大型のボタン（これも図示なし）などの特注品のコントローラなどがある。

また、リモコン１００４も、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。リモコン１００４は、ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０の操作、およびディスクの内容の閲覧のために適した制御を備える。

ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０は、従来の記録済みＣＤ、記録可能ＣＤ、およびいわゆるスーパーオーディオＣＤのほか、プレイステーションデバイスおよびプレイステーション２デバイスと互換のＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ１０４０は、従来の記録済みＤＶＤおよび記録可能ＤＶＤのほか、プレイステーション２デバイスおよびプレイステーション３デバイスと互換のＤＶＤ−ＲＯＭを読み出すように動作可能である。更に、リーダ１０４０は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション３デバイスと互換のＢＤ−ＲＯＭを読み出すように動作可能である。

システムユニット１０００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０を介して、プレイステーション３デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ１０４４および１つ以上のスピーカ１０４６を備えた表示および音声出力装置１０４２（モニタまたはテレビ受像機など）に提供するように動作可能である。音声コネクタ１０５０は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ１０５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、および１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ）の出力などを種々備えうる。したがって、ビデオ出力は、ＰＡＬまたはＮＴＳＣ、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐの高解像度などのフォーマットであってもよい。

音声処理（生成、デコードなど）はＣｅｌｌプロセッサ１０２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードに対応している。

本実施形態では、ビデオカメラ１０１２は、１つの電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット１０００によるデコードのために、イントラ画像ベースのＭＰＥＧ標準などの適切なフォーマットで送信されるようになる。カメラのＬＥＤインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット１０００から受け取ると、発光するように配置されている。ビデオカメラ１０１２の実施形態は、ＵＳＢ、ブルートゥースまたはＷｉ−Ｆｉの通信ポートを介して、システムユニット１０００にさまざまな方法で接続しうる。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。

一般に、システムユニット１０００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。

実施形態には、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャが含まれてもよい。実施形態において、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャしてもよい。オブジェクトは、人物が保持しているオブジェクトであっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。

三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、第３の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。

更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。

また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。
また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。

上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。

また、本発明は、計算機可読メディア上の計算機可読コードとして実施されてもよい。計算機可読メディアは、電磁搬送波を含め、コンピュータシステムによって後から読み取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読メディアの例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読メディアは、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。

上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。

Claims (23)

1. １つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法であって、
   （ａ）深度検知カメラによってユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
   （ｂ）前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権を定義して、前記メモリに保存するステップと、
   （ｃ）画像および深度データを生成するために前記深度検知カメラを使用して前記空間内でシーンをキャプチャするステップと、
   （ｄ）前記画像および深度データを使用して前記シーン内で前記ユーザを識別するステップと、
   （ｅ）前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して１つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権を前記１つ以上のメディアソースに自動的に適用するステップと、を有する方法。
2. 前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
   前記シーン内で頭部のオブジェクトが見つかったかどうかを判定するステップと、
   前記画像および深度データを使用して前記頭部の顔の特徴を分析するステップと、
   前記識別された顔の特徴が前記ユーザに対応するかどうかを判定するステップと、
   前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する前記特権を適用するステップと、を有する請求項１に記載の方法。
3. トラッキングするステップは、前記シーン内で前記ユーザの動きを追跡することを有し、前記追跡は識別された顔の特徴が前記ユーザに対応するかどうかの判定を補助する請求項２に記載の方法。
4. 前記深度データは、前記ユーザの物理的な特徴の相対三次元位置を識別するために使用される請求項２に記載の方法。
5. 前記シーン内で前記頭部のオブジェクトが見つかったと判定された場合、前記静止オブジェクトの前記深度データが前記シーンから減算される請求項２に記載の方法。
6. 前記シーン内に複数のユーザが見つかったかどうかを判定するステップと、
   複数のユーザが見つかった場合、最も制限の少ないユーザプロファイルに関連する特権を適用するステップと、を更に有する請求項１に記載の方法。
7. 前記１つ以上のメディアソースは、マルチメディアコンテンツを提供するデバイスを含む請求項１に記載の方法。
8. 前記マルチメディアコンテンツは、前記空間内に存在するディスプレイ画面に一部提示される請求項７に記載の方法。
9. 事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法であって、
   （ａ）深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
   （ｂ）前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義して、前記メモリに保存するステップと、
   （ｃ）前記深度検知カメラを使用してシーンをキャプチャするステップと、
   （ｄ）前記深度検知カメラを使用して前記シーン内で前記ユーザを識別するステップと、
   （ｅ）ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションを自動的に適用するステップと、を有する方法。
10. 前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
    前記シーン内で移動オブジェクトに着目するステップと、
    前記画像および深度データを使用して前記移動オブジェクトの特徴を分析するステップと、
    前記移動オブジェクトが前記ユーザに対応するかどうかを判定するステップと、を有する請求項９に記載の方法。
11. 前記ユーザは人間またはペットのいずれかである請求項１０に記載の方法。
12. 前記ユーザをトラッキングするステップは、
    経時的な動きと、前記動きに関連する前記アニメーションとを識別する前記ユーザの履歴経路を表示するステップを有する請求項１１に記載の方法。
13. 前記履歴経路をストレージに保存するステップと、
    前記履歴経路の再生を有効にするステップと、を更に有する請求項１２に記載の方法。
14. 前記アニメーションは、前記キャプチャされた深度データに基づいて、前記シーン内で見つかったオブジェクトの輪郭に適用される請求項９に記載の方法。
15. ユーザによって前記アニメーションをあらかじめ選択するステップを更に有する請求項９に記載の方法。
16. 前記識別されたユーザに基づいて、マルチメディアコンテンツが、前記アニメーションと共にディスプレイ画面に提示される請求項９に記載の方法。
17. シーンをキャプチャするステップは、点トラッキングを使用して前記シーン内で静止オブジェクトを定義する請求項９に記載の方法。
18. 前記ユーザのトラッキングは、相対的な位置、方向および速度の識別を含む請求項９に記載の方法。
19. 前記深度データは静止オブジェクト上の点を識別するために使用され、前記点は前記シーン内で見つかったオブジェクトの輪郭を描画するために使用される請求項９に記載の方法。
20. 現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法であって、
    （ａ）前記現実世界のユーザの物理的な特徴に関連し、深度検知カメラによってキャプチャされた画像および深度データを含むユーザプロファイルを定義するステップと、
    （ｂ）前記深度検知カメラを使用してシーンの画像および深度データをキャプチャするステップと、
    （ｃ）前記シーン内で移動オブジェクトを識別するステップと、
    （ｄ）画像および深度データを使用して、前記移動オブジェクト内の頭部にロックオンするステップと、
    （ｅ）前記頭部の前記画像および深度データをリアルタイムで分析するステップと、を有し、前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われ、前記ユーザプロファイルの画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される方法。
21. ユーザプロファイルを定義するステップは、
    （ａ）深度検知カメラを使用してスキャンを開始するステップと、
    （ｂ）前記人体の特定の部分に前記スキャンを集中させるステップと、
    （ｃ）前記人体の前記特定の部分の画像および深度データを収集するステップと、
    （ｄ）前記人間体の前記特定の部分の三次元モデルを生成するために前記収集した画像および深度データを処理するステップと、
    （ｅ）前記三次元モデルをメモリに保存するステップと、を有し、前記三次元モデルは、ユーザプロファイルにも関連している請求項２０に記載の方法。
22. 前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザ許可を適用するステップを更に有する請求項２０に記載の方法。
23. 前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザアニメーションを適用するステップを更に有する請求項２０に記載の方法。

Images