JP2010532890A - アバターカスタマイズの装置及び方法 - Google Patents

アバターカスタマイズの装置及び方法 Download PDF

Info

Publication number
JP2010532890A
JP2010532890A JP2010514129A JP2010514129A JP2010532890A JP 2010532890 A JP2010532890 A JP 2010532890A JP 2010514129 A JP2010514129 A JP 2010514129A JP 2010514129 A JP2010514129 A JP 2010514129A JP 2010532890 A JP2010532890 A JP 2010532890A
Authority
JP
Japan
Prior art keywords
avatar
user
skeleton
entertainment device
user avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010514129A
Other languages
English (en)
Other versions
JP2010532890A5 (ja
Inventor
ギル、アンドリュー、ジョージ
リボンズ、キース、トーマス
フォスター、ジョン
ホーネフ、マーク
ライアン、ニック
Original Assignee
ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド filed Critical ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド
Publication of JP2010532890A publication Critical patent/JP2010532890A/ja
Publication of JP2010532890A5 publication Critical patent/JP2010532890A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

エンタテインメント装置は、ユーザアバターの一部又はすべてを表現する三次元メッシュの配置を、ユーザアバターの1つ又は複数の骨格構成要素の位置に応じて制御する骨格モデリング手段と、ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の物理特性を、ユーザインターフェースを介して変更する骨格変更手段と、変更されたユーザアバター骨格に応じてユーザアバターをレンダリングするレンダリング手段とを備える。
【選択図】図16

Description

本発明は、アバターカスタマイズの装置及び方法に関する。
オンラインゲームにおいて、プレイヤが、自身のゲーム内キャラクタ(一般的に「アバター」と呼ばれる)に対する弁別的な名前を採用することが慣習となっている。加えて、これらのアバターは、例えば(現実の又は架空の)人種(race)又は性別に従ってカスタマイズすることもでき、さまざまな異なる頭部及び身体を提供されることが多い。加えて、髪型、肌の色、及び年齢のような特徴をカスタマイズすることができる。このような名付け及びカスタマイズの目的は通常、ユーザの個性をゲーム内に投影すること、及び/又は可能な限り弁別的にすることである。例えば、http://starwarsgalaxies.station.sony.com/players/guides.vm?id=70000(非特許文献1)を参照されたい。
オンラインゲームが発展し続けるにつれて、これらの仮想環境の社会的側面がますます研究されるようになっており、その結果、このような環境内でのユーザのアバターが、多くの個人の間での社会的対話に対する要件を満たすのに十分弁別的であることがますます要求されている(例えばwww.selectparks.net/blundell_charcust.pdfを参照されたい)。
このような目的のためにユーザのアバターをさらにカスタマイズする従来の手段は、ユーザ自身の顔をテクスチャとしてアップロードしてアバターに対して使用すること(例えば、http://research.microsoft.com/~zhang/Face/redherringReport.htmを参照されたい)、又はアバターのジェスチャ及び表情を変更して、ユーザが表現したいと望む特定の気分を反映することを含み得る。しかしながら、ジェスチャ及び表情は、実行処理される必要があるため瞬間的に認識可能ではない。一方で、ユーザの顔の画像をアップロードすることはわずらわしい可能性があり、各顔が異なる照明条件下で、また異なる有効解像度でキャプチャされ得る場合に、画像を一貫した様式でレンダリングすることは困難である。その上、ユーザは結果があまり似ていない場合には不満を抱くおそれがある。最後に、オンラインの多くの人が、自身の個性に忠実な部分を残しながら架空の表現を提示することを望むか、又はそのゲーム環境内で適切に「人柄に合って」いるように見えることを望む。この場合、画像キャプチャリングは望ましい解決策ではない。
したがって、エンドユーザが「鼻の形状のレベルにまで及ぶ」カスタマイズのオプションを利用することができることが望ましいことが示唆されている(www.selectparks.net/blundell_charcust.pdfの概論を参照されたい)。しかしながら、この結果、ユーザがやり遂げなければならないオプションの多さに混乱することにもなり、また初期ゲーム開発の間に種々のカスタマイズオプションを設ける作業の量がかなり多量のものとなる。加えて、大規模複数参加型ゲームにおける構成データの伝送の観点では、データオーバーヘッドが重大な量となる可能性もある。したがって、このようなシステムがゲーム内で実現されていたとは考えられない(再び、http://starwarsgalaxies.station.sony.com/players/guides.vm?id=70000(非特許文献1)を参照されたい)。
http://starwarsgalaxies.station.sony.com/players/guides.vm?id=70000
本発明は、上記の問題への対処を目的とする。
本発明の第1の態様では、エンタテインメント装置は、ユーザアバターの一部又はすべてを表現する三次元メッシュを、ユーザアバターの1つ又は複数の骨格構成要素の少なくとも第1の特性に応じて構成する骨格モデリング手段と、ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の特性を、ユーザインターフェースを介して変更する骨格変更手段と、変更されたユーザアバター骨格に応じて構成される三次元メッシュに従ってユーザアバターをレンダリングするレンダリング手段とを備える。
骨格モデルに従ってユーザアバターをレンダリングするのに使用する三次元メッシュを構成することによって、次いで、1つ又は複数の骨格構成要素を操作することによって、ユーザは、テクスチャ又はアクセサリの選択のような任意のさらなる従来の変更をメッシュに加える前に、自身のアバターのための弁別的な顔を比較的単純に作成することができる。
本発明の別の態様では、複数参加型オンライン仮想環境を運営するように動作可能なサーバは、複数の遠隔エンタテインメント装置からそれぞれの変更されたアバター骨格を記述するデータを受信する受信手段と、それぞれの変更されたアバター骨格を記述するデータを複数の遠隔エンタテインメント装置に送信する送信手段とを備える。
本発明の別の態様では、サーバと、上記態様において記載した2つ以上のエンタテインメント装置とを備えるシステムは、協働して、2つ以上のエンタテインメント装置がそれぞれの他の装置のユーザの変更されたアバターをレンダリングすることを可能にする。
アバターのためのユーザ変更骨格モデルを分配することを可能にすることによって、有利な結果として、各参加遠隔エンタテインメント装置によって人数の多い環境がレンダリングされる場合に、オンライン環境内のアバター群をより容易に区別することができる。
本発明のさらなるそれぞれの態様及び特徴は、必要に応じて対応する動作方法を含む、添付の特許請求の範囲において規定される。
ここで、本発明の実施形態を添付の図面を参照して一例として説明する。
エンタテインメント装置の概略図である。 セルプロセッサの概略図である。 ビデオグラフィックスプロセッサの概略図である。 本発明の一実施形態による、複数のゲームゾーンの相互接続されているセットの概略図である。 本発明の一実施形態による、ホーム環境オンラインクライアント/サーバ構成の概略図である。 本発明の一実施形態による、ロビーゾーンの概略図である。 本発明の一実施形態による、ロビーゾーンの概略図である。 本発明の一実施形態による、シネマゾーンの概略図である。 本発明の一実施形態による、デベロッパ/パブリッシャゾーンの概略図である。 本発明の一実施形態による、オンライン取引の方法の流れ図である。 本発明の一実施形態による、アパートメントゾーンの概略図である。 本発明の一実施形態による、トロフィー保管室ゾーンの概略図である。 本発明の一実施形態による、コミュニケーションメニューの概略図である。 本発明の一実施形態による対話型仮想ユーザ装置の概略図である。 本発明の一実施形態によるユーザインターフェースの概略図である。 本発明の一実施形態によるユーザインターフェースの概略図である。 本発明の一実施形態によるユーザインターフェースの概略図である。 本発明の一実施形態によるユーザインターフェースの概略図である。 本発明の一実施形態によるユーザインターフェースの概略図である。 本発明の一実施形態によるユーザアバターの概略図である。 本発明の一実施形態によるユーザアバターの概略図である。 本発明の一実施形態によるユーザアバターの概略図である。 本発明の一実施形態によるユーザ識別の方法の流れ図である。
ユーザ識別の装置及び方法を開示する。以下の記載において、本発明の実施形態の完全な理解を提供するために、複数の具体的な詳細を提示する。しかしながら、本発明を実施するためにこれらの具体的な詳細を採用する必要はないことは当業者には明らかであろう。逆に、当業者に既知の具体的な詳細は、簡潔にするために適宜省略する。
本発明の要約の実施形態では、オンライン仮想環境に接続されているエンタテインメント装置のユーザは、性別、衣服及び肌の色のような従来のオプションを使用してアバターを選択及びカスタマイズする。加えて、一方で、ユーザは該ユーザのアバターの表面を規定するのに使用される三次元メッシュを変更することもでき、該三次元メッシュ上に性別、肌の色、年齢等に関連するテクスチャを適用することができる。この構成は、アバターメッシュ構造の基盤となる骨格モデルに応じてアバターメッシュの頂点を位置決めすることによって、比較的単純なユーザインターフェースを使用して達成される。したがって、ユーザは、骨格モデルのいわゆる「骨」に単純なパラメータ調整を行うことによって自身のアバターのメッシュを変更することができる。通常、これらの骨は連結されており、それによって、1つの骨又は一組の骨に対する変更が他の関連する骨にも影響を及ぼし、そのためそのメッシュに関する調和のとれた一揃いの物理的な均整が維持される。ユーザインターフェースは、(例えば、人種による)顔全体の骨格調整から、個々の特徴(例えば頬の骨)に対する部分的な顔の骨格調整(例えば、上顔面、下顔面、頭蓋)までの階層調整を提供する。これによって、結果を微調整する能力を損なわずにアバターを迅速に変更することが可能になる。その上、ユーザインターフェースは、非対称メッシュがアバターに対するより自然な外観を伝える場合には、骨パラメータの変更が非対称メッシュを提供することを可能にし、また弁別性及び識別性の追加のソースを提供することも可能にする。
図1は、Sony(登録商標)Playstation 3(登録商標)エンタテインメント装置の全体的なシステムアーキテクチャを概略的に示す。システムユニット10には、当該システムユニットに接続可能なさまざまな周辺デバイスが設けられる。
システムユニット10は、セルプロセッサ100、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット500、専用ビデオランダムアクセスメモリ(VRAM)ユニット250を有するリアリティシンセサイザ(Reality Synthesiser)グラフィックスユニット200、及びI/Oブリッジ700を備える。
また、システムユニット10は、ディスク440から読み出しを行うためのBlu Ray(登録商標)ディスクBD−ROM(登録商標)光ディスクリーダ430及び着脱可能スロットインハードディスクドライブ(HDD)400も備える。これらは、I/Oブリッジ700を通じてアクセス可能である。オプションとして、システムユニットは、コンパクトフラッシュ(登録商標)メモリカード、Memory Stick(登録商標)メモリカード等を読み出すためのメモリカードリーダ450も備える。メモリカードリーダ450も、同様に、I/Oブリッジ700を通じてアクセス可能である。
I/Oブリッジ700は、4つのユニバーサルシリアルバス(USB)2.0ポート710、ギガビットイーサネット(登録商標)ポート720、IEEE802.11b/g無線ネットワーク(Wi−Fi)ポート730、及び7つまでのBluetooth(登録商標)接続をサポートすることができるBluetooth無線リンクポート740にも接続している。
動作中、I/Oブリッジ700は、1つ又は複数のゲームコントローラ751からのデータを含めて、すべての無線データ、USBデータ、及びイーサネット(登録商標)データをハンドリングする。例えば、ユーザがゲームをプレイしているとき、I/Oブリッジ700は、Bluetoothリンクを介してゲームコントローラ751からデータを受信し、そのデータをセルプロセッサ100に方向付ける。セルプロセッサ100は、それに従ってゲームの現在の状態を更新する。
無線ポート、USBポート、及びイーサネット(登録商標)ポートは、ゲームコントローラ751に加えて、リモコン752、キーボード753、マウス754、Sony Playstation Portable(登録商標)エンタテインメント装置のようなポータブルエンタテインメント装置755、EyeToy(登録商標)ビデオカメラ756等のビデオカメラ、及びマイクロホンヘッドセット757のような他の周辺デバイスに対する接続性も提供する。したがって、このような周辺デバイスは、原則として、システムユニット10に無線で接続することができる。例えば、ポータブルエンタテインメント装置755は、Wi−Fiアドホック接続を介して通信することができる一方、マイクロホンヘッドセット757は、Bluetoothリンクを介して通信することができる。
これらのインターフェースを設けることは、Playstation 3デバイスが、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレイヤ、ボイスオーバーIP電話、携帯電話、プリンタ、及びスキャナのような他の周辺デバイスとも潜在的な互換性を有することを意味する。
加えて、USBポート710を介してレガシーメモリカードリーダ410をシステムユニットに接続することもでき、Playstation(登録商標)デバイス又はPlaystation 2(登録商標)デバイスによって使用される種類のメモリカード420の読み出しが可能になる。
本実施形態では、ゲームコントローラ751は、Bluetoothリンクを介してシステムユニット10と無線で通信するように動作可能である。しかしながら、ゲームコントローラ751は、代わりにUSBポートに接続することもでき、それによって、ゲームコントローラ751のバッテリーを充電するための電力を提供することもできる。1つ又は複数のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、各軸における平行移動及び回転に対応する6自由度の動きに反応する。その結果、ゲームコントローラのユーザによるジェスチャ及び動きを、従来のボタン又はジョイスティックのコマンドに加えて又はこれに代えてゲームへの入力として変換することができる。オプションとして、Playstation Portableデバイスのような他の無線対応周辺デバイスをコントローラとして使用することもできる。Playstation Portableデバイスの場合、追加のゲーム情報又は制御情報(例えば、制御命令又はライフ数)をデバイスの画面上に設けることができる。ダンスマット(図示せず)、ライトガン(図示せず)、ステアリングホイール及びペダル(図示せず)、又は即答クイズゲーム(同様に図示せず)のための単一又はいくつかの大きなボタンのような特注のコントローラのような、他の代替的な制御デバイス又は補助的な制御デバイスも使用することができる。
リモコン752も、Bluetoothリンクを介してシステムユニット10と無線で通信するように動作可能である。リモコン752は、Blu RayディスクBD−ROMリーダ430の操作に適した制御部及びディスクコンテンツのナビゲーションに適した制御部を備える。
Blu RayディスクBD−ROMリーダ430は、従来の事前に記録されたCD及び記録可能CD並びにいわゆるスーパーオーディオCDに加えて、Playstationデバイス及びPlayStation 2デバイスと互換性のあるCD−ROMを読み出すように動作可能である。また、リーダ430は、従来の事前に記録されたDVD及び記録可能なDVDに加えて、Playstation 2デバイス及びPlayStation 3デバイスと互換性のあるDVD−ROMを読み出すようにも動作可能である。リーダ430は、さらに、従来の事前に記録されたBlu-Rayディスク及び記録可能Blu-Rayディスクだけでなく、Playstation 3デバイスと互換性のあるBD−ROMを読み出すように動作可能である。
システムユニット10は、ディスプレイ305及び1つ又は複数のスピーカ310を有するモニタ又はテレビセットのような表示・音響出力デバイス300へのオーディオコネクタ及びビデオコネクタを通じて、リアリティシンセサイザグラフィックスユニット200を介してPlaystation 3デバイスにより生成又は復号されるオーディオ及びビデオを供給するように動作可能である。オーディオコネクタ210は、従来のアナログ出力及びデジタル出力を含むことができる一方、ビデオコネクタ220は、コンポーネントビデオ出力、Sビデオ出力、コンポジットビデオ出力、及び1つ又は複数の高精細マルチメディアインターフェース(HDMI)出力をさまざまに含むことができる。その結果、ビデオ出力は、PAL又はNTSCのようなフォーマットにすることもできるし、720p、1080i、又は1080pの高精細にすることもできる。
オーディオ処理(生成、復号等)は、セルプロセッサ100によって行われる。Playstation 3デバイスのオペレーティングシステムは、Dolby(登録商標)5.1サラウンドサウンド、Dolby(登録商標)シアターサラウンド(DTS)、及びBlu-Ray(登録商標)ディスクからの7.1サラウンドサウンドを復号したものをサポートする。
本実施形態では、ビデオカメラ756は、イントラ画像ベースのMPEG(モーションピクチャエキスパートグループ)標準規格のような、システムユニット10による復号に適切なフォーマットで圧縮ビデオデータを送信することができるように、単一の電荷結合素子(CCD)、LEDインジケータ、及びハードウェアベースのリアルタイムデータ圧縮・符号化装置を備える。カメラLEDインジケータは、例えば不都合な照明条件(adverse lighting condition:逆光条件)を示すシステムユニット10からの適切な制御データに応答して照明するように構成される。ビデオカメラ756の実施形態は、USB通信ポート、Bluetooth通信ポート、又はWiFi通信ポートを介してシステムユニット10にさまざまに接続することができる。ビデオカメラの実施形態は、1つ又は複数の関連付けられるマイクロホンを含むことができ、また、オーディオデータを送信することができる場合もある。ビデオカメラの実施形態では、CCDは、高精細ビデオキャプチャに適した解像度を有することができる。使用中、ビデオカメラによってキャプチャされた画像は、例えば、ゲーム内に組み込むこともできるし、ゲーム制御入力として解釈することもできる。
一般に、システムユニット10の通信ポートの1つを介したビデオカメラ又はリモコンのような周辺デバイスとのデータ通信を成功させるために、デバイスドライバのような適切なソフトウェアが提供されるべきである。デバイスドライバ技術は、既知であり、ここでは、デバイスドライバ又は同様のソフトウェアインターフェースが、説明される本実施形態で必要とされ得ることを当業者は認識するであろうと言う以外には、詳細に説明しない。
次に図2を参照すると、セルプロセッサ100は、4つの基本構成要素を備えるアーキテクチャを有する。この4つの基本構成要素は、メモリコントローラ160及びデュアルバスインターフェースコントローラ170A、170Bを備える外部入力構造及び外部出力構造と、パワー処理要素(Power Processing Element)150として参照されるメインプロセッサと、相乗演算処理要素(SPE)110A〜110Hとして参照される8つのコプロセッサと、要素相互接続バス180として参照される上記構成要素を接続する循環データバスとである。セルプロセッサの総浮動小数点性能は、PlayStation 2デバイスのエモーションエンジンの6.2GFLOPSと比較して、218GFLOPSである。
パワー処理要素(PPE)150は、3.2GHzの内部クロックで動作する双方向同時マルチスレッディングパワー970準拠のパワーPC(PowerPC)コア(PPU)155に基づいている。PPE150は、512kBのレベル2(L2)キャッシュ及び32kBのレベル1(L1)キャッシュを備える。PPE150は、1クロックサイクル当たり8つの単一位置演算(single position operation)が可能であり、3.2GHzで25.6GFLOPSに換算される。PPE150の第1の役割は、相乗演算処理要素110A〜110Hのコントローラとして機能することである。相乗演算処理要素110A〜110Hは、計算作業負荷のほとんどをハンドリングする。動作中、PPE150は、相乗演算処理要素110A〜110Hのジョブをスケジューリングしてそれらのジョブの進行を監視するジョブキューを保持する。その結果、各相乗演算処理要素110A〜110Hは、カーネルを動作させる。カーネルの役割は、ジョブのフェッチ、ジョブの実行、及びPPE150との同期である。
各相乗演算処理要素(SPE)110A〜110Hは、それぞれの相乗演算処理ユニット(SPU)120A〜120H及びそれぞれのメモリフローコントローラ(MFC)140A〜140Hを備える。それぞれのMFC140A〜140Hは、それぞれのダイナミックメモリアクセスコントローラ(DMAC)142A〜142H、それぞれのメモリ管理ユニット(MMU)144A〜144H、及びバスインターフェース(図示せず)を備える。各SPU120A〜120Hは、3.2GHzでクロック制御され且つ原理的には4GBに拡張可能な256kBローカルRAM130A〜130Hを備えるRISCプロセッサである。各SPEは、理論的な25.6GFLOPSの単精度性能を与える。SPUは、単一のクロックサイクルで4つの単精度浮動小数点数、4つの32ビット数、8つの16ビット整数、又は16個の8ビット整数に対して処理を行うことができる。同じクロックサイクルで、SPUは、メモリ操作も行うことができる。SPU120A〜120Hは、システムメモリXDRAM500に直接アクセスしない。SPU120A〜120Hによって形成される64ビットアドレスが、MFC140A〜140Hに渡され、MFC140A〜140Hが、自身のDMAコントローラ142A〜142Hに、要素相互接続バス180及びメモリコントローラ160を介してメモリにアクセスするように命令する。
要素相互接続バス(EIB)180は、上記プロセッサ要素、すなわち、PPE150、メモリコントローラ160、デュアルバスインターフェース170A、170B、及び8つのSPE110A〜110Hの合計12個の関連要素を接続するセルプロセッサ100の内部の論理的循環通信バスである。これらの関連要素は、1クロックサイクル当たり8バイトのレートで、バスの読み出し及びバスへの書き込みを同時に行うことができる。上述したように、各SPE110A〜110Hは、より長い読み出しシーケンス又は書き込みシーケンスをスケジューリングするためのDMAC142A〜142Hを備える。EIBは4つのチャネルを備え、時計回りの方向及び反時計回りの方向にそれぞれ2つのチャネルがある。その結果、12個の関連要素について、任意の2つの関連要素間の最長のステップワイズデータフロー(step-wise data-flow)は、適切な方向で6ステップである。したがって、12個のスロットの理論的ピーク瞬時EIB帯域幅は、関連要素間のアービトレーションを通じた完全利用の場合に、1クロック当たり96Bである。これは、3.2GHzのクロックレートにおける307.2GB/s(ギガバイト毎秒)の理論的ピーク帯域幅と同等である。
メモリコントローラ160は、Rambus社によって開発されたXDRAMインターフェース162を備える。このメモリコントローラは、25.6GB/sの理論的ピーク帯域幅を有するRambus XDRAM500とインターフェースする。
デュアルバスインターフェース170A、170Bは、Rambus FlexIO(登録商標)システムインターフェース172A、172Bを備える。このインターフェースは、それぞれが8ビット幅である12個のチャネルに編成され、5つのパスはインバウンドであり、7つのパスはアウトバウンドである。これによって、コントローラ170Aを介したセルプロセッサとI/Oブリッジ700との間、及び、コントローラ170Bを介したセルプロセッサとリアリティシミュレータグラフィックスユニット200との間で、62.4GB/s(36.4GB/sのアウトバウンド、26GB/sのインバウンド)の理論的ピーク帯域幅が提供される。
セルプロセッサ100によってリアリティシミュレータグラフィックスユニット200へ送信されるデータは、通常、表示リストを備える。この表示リストは、頂点の描画、ポリゴンへのテクスチャの適用、照明条件の指定等を行うコマンドシーケンスである。
次に図3を参照すると、リアリティシミュレータグラフィックス(RSX)ユニット200は、セルプロセッサ100によって生成されるコマンドのリストを処理及びレンダリングするNVidia(登録商標)G70/71アーキテクチャに基づくビデオアクセラレータである。RSXユニット200は、セルプロセッサ100のバスインターフェースコントローラ170Bと通信するように動作可能なホストインターフェース202と、8つの頂点シェーダ205を備える頂点パイプライン204(VP)と、24個のピクセルシェーダ207を備えるピクセルパイプライン206(PP)と、8つのレンダ出力ユニット(ROP)209を備えるレンダパイプライン208(RP)と、メモリインターフェース210と、ビデオ出力を生成するためのビデオ変換器212とを備える。RSX200は、600MHzでクロック制御され且つ25.6GB/sの理論的ピーク帯域幅でRSX200とインターフェースするように動作可能な256MBダブルデータレート(DDR)ビデオRAM(VRAM)250によって補完される。動作中、VRAM250は、フレームバッファ214及びテクスチャバッファ216を保持する。テクスチャバッファ216は、ピクセルシェーダ207にテクスチャを提供する一方、フレームバッファ214は、処理パイプラインの結果を記憶する。RSXは、EIB180を介してメインメモリ500にアクセスして、例えば、テクスチャをVRAM250にロードすることもできる。
頂点パイプライン204は、主として、レンダリングされる画像内のポリゴンを規定する頂点の変形(deformation)及び変換(transformation)を処理する。
ピクセルパイプライン206は、主として、あらゆるピクセル透明度を含めて、これらのポリゴンへの色、テクスチャ、及び照明の適用を処理し、処理される各ピクセルの赤、緑、青、及びアルファ(透明度)の値を生成する。テクスチャマッピングは、グラフィック画像を表面に単に適用する場合もあるし、バンプマッピング(表面の概念方向(notional direction))が、テクスチャ値に従って摂動され、照明モデルの明るい表示及び陰影が作成される)又はディスプレースメントマッピング(適用されたテクスチャが頂点位置をさらに摂動させて、テクスチャと一致する変形された表面が生成される)を含む場合もある。
レンダパイプライン208は、ピクセル間の深さ比較を行い、いずれが最終画像にレンダリングされるべきかを判断する。オプションとして、介在するピクセルプロセスが深さ値に影響を与えない場合(例えば、透明度又はディスプレースメントマッピングがない場合)、レンダパイプライン及び頂点パイプライン204は、それらの間で深さ情報を通信することができ、それによって、ピクセル処理よりも前に、隠ぺい画素の除去が可能になり、したがって、全体的なレンダリング効率が改善される。加えて、レンダパイプライン208は、結果の画像にわたって、全画面アンチエイリアシングのようなその後の効果も適用する。
頂点シェーダ205及びピクセルシェーダ207の双方は、シェーダモデル3.0標準規格に基づいている。1クロックサイクル当たり最大136回までのシェーダ演算を行うことができ、したがって、結合されたパイプラインは、毎秒748億回のシェーダ演算が可能であり、毎秒最大8億4000万個の頂点及び100億個のピクセルの出力が可能である。RSX200の総浮動小数点性能は、1.8TFLOPSである。
通常、RSX200は、セルプロセッサ100と密接に連携して動作する。例えば、爆発、又は雨若しくは雪のような気象効果を表示するとき、多数の粒子をシーン内で追跡、更新、及びレンダリングしなければならない。この場合、セルプロセッサのPPU155は、粒子のそれぞれの群の軌道を計算するように1つ又は複数のSPE110A〜110Hをスケジューリングすることができる。その間に、RSX200は、要素相互接続バス180、メモリコントローラ160、及びバスインターフェースコントローラ170Bを介してメインシステムメモリ500から、ビデオRAM250に現在保持されていないいずれかのテクスチャデータ(例えば、雪片)にアクセスする。そのSPE又は各SPE110A〜110Hは、自身が計算した粒子の特性(通常、位置及び姿勢を示す座標及び法線)をビデオRAM250に直接出力する。そのSPE又は各SPE110A〜110HのDMAコントローラ142A〜142Hは、バスインターフェースコントローラ170Bを介してビデオRAM250をアドレス指定する。したがって、実際には、割り当てられたSPEは、タスクの継続期間の間、ビデオ処理パイプラインの一部となる。
一般に、PPU155は、利用可能な8つのSPEのうちの6つにこのようにしてタスクを割り当てることができ、1つのSPEはオペレーティングシステムのために確保される一方、1つのSPEは有効に無効化される。1つのSPEを無効化することによって、1つのSPEが製造プロセスで不合格になることが許容されるので、セルプロセッサの製造中、より大きなトレランスレベルが提供される。代替的に、8つのすべてのSPEが機能している場合、8番目のSPEは、セルプロセッサの寿命期間中に、他のSPEのうちの1つがその後に故障した場合の冗長性の余地を提供する。
PPU155は、いくつかの方法でSPEにタスクを割り当てることができる。例えば、SPEを共に連鎖させて、DVD、ビデオ、及びオーディオの復号並びにエラーマスキングへのアクセスのような複雑な操作の各ステップを別々のSPEに割り当てて、それらの各ステップをハンドリングすることができる。代替的に又は加えて、上記粒子アニメーションの例のように、入力データを並列に処理するように2つ以上のSPEを割り当てることもできる。
セルプロセッサ100及び/又はRSX200によって実施されるソフトウェア命令は、製造時に供給して、HDD400に記憶することができ、且つ/又は、光ディスク若しくはソリッドステートメモリのようなデータキャリア若しくは記憶媒体で、若しくは有線ネットワーク、無線ネットワーク、若しくはインターネット接続のような伝送媒体を介して、若しくはこれらの組み合わせを介して供給することができる。
製造時に供給されるソフトウェアは、システムファームウェア及びPlayStation 3デバイスのオペレーティングシステム(OS)を含む。動作中、OSは、ユーザがゲームのプレイ、音楽を聞くこと、写真の鑑賞、又はビデオの鑑賞を含むさまざまな機能の中から選択することを可能にするユーザインターフェースを提供する。このインターフェースは、機能のカテゴリーが水平方向に配置されたいわゆるクロスメディアバー(XMB)の形態を取る。ユーザは、所望の機能アイコンを強調表示するために、ゲームコントローラ751、リモコン752、又は他の適した制御デバイスを使用して水平方向に(機能を表す)機能アイコンを移動することによってナビゲートする。この強調表示の時点で、その機能に関係するオプションが、その機能アイコンを中心として垂直方向にスクロール可能なオプションアイコンのリストとして現われる。この垂直方向にスクロール可能なオプションアイコンのリストも、類似の方法でナビゲートすることができる。一方、ゲーム、オーディオ、又は映画のディスク440がBD−ROM光ディスクリーダ430に挿入される場合、PlayStation 3デバイスは、(例えば、ゲームを開始することによって)適切なオプションを自動的に選択することもできるし、(例えば、オーディオディスクの再生又はそのコンテンツのHDD400への圧縮を選択する)関連のあるオプションを提供することもできる。
加えて、OSは、オンライン能力も提供する。このオンライン能力は、ウェブブラウザと、追加のゲームコンテンツ、デモンストレーションゲーム(デモ)、及び他のメディアをダウンロードすることができるダウンロード元のオンラインストアとのインターフェースと、友人管理能力とを含む。友人管理能力は、例えば利用可能な周辺デバイスに応じてテキスト、オーディオ、又はビデオによる、現在のデバイスのユーザによってノミネートされた他のPlayStation 3デバイスユーザとのオンライン通信を提供する。このオンライン能力によって、適切に構成されたゲームのプレイ中にオンライン通信、コンテンツダウンロード、及びコンテンツ購入も提供され、また、PlayStation 3デバイス自体のファームウェア及びOSの更新も提供される。「オンライン」という用語は、さまざまなタイプの無線接続にも該当し得るので、ワイヤの物理的な存在を暗に意味するものでないことが理解されよう。
本発明の一実施形態では、上記のオンライン能力は、PS3 10のユーザ及び現在オンラインである他のPS3ユーザのアバター(グラフィック表現)が居住する仮想環境を用いる対話を含む。
仮想対話環境を可能にするソフトウェアは通常HDD400上に常駐しており、ダウンロードされるか、若しくは光ディスク440上に記憶されているか、又は任意の他の適切な手段によってアクセスされるソフトウェアによってアップグレード及び/又は拡張することができる。代替的には、ソフトウェアは、フラッシュメモリカード420、光ディスク440、又は中央サーバ(図示せず)上に存在してもよい。
本発明の一実施形態では、仮想対話環境(以下「ホーム」環境と称する)をクロスメディアバーから選択する。次いで、ホーム環境を、制御ソフトウェアをロード及び実行し、3Dモデル及びテクスチャをビデオメモリ250内にロードし、ホーム環境を描画するシーンをレンダリングすることによって、3Dビデオゲームに類似の従来の様式で開始する。代替的に又は加えて、ホーム環境を別個のゲームのような他のプログラムによって開始することができる。
ここで、ホーム環境の概念マップを表示している図4、及びホーム環境オンラインクライアント/サーバ構成の概略図である図5を参照すると、ユーザのアバターがデフォルトでロビーゾーン1010内に発生している。しかしながら、ユーザはマップの他のゾーン1010〜1060(下記にて詳述)の中から選択することができ、それによって選択されたゾーンがロードされ、アバターがそのゾーン内に発生する。本発明の一実施形態では、マップ画面は、ゾーンがユーザの好みの順序で、又は最近に追加された順及び/若しくはアルファベット順のような順序でリストされることを可能にするランキングオプションのような管理ツールと共に、利用可能なゾーンをリストすることができるサイドバーをさらに含む。加えて、検索インターフェースが、ユーザがゾーンを名前で検索することを可能にすることができる。本発明の一実施形態では、ユーザのPS3上に常時ローカルに記憶されているよりもはるかに多くの利用可能なゾーンが存在する場合がある。ローカルに利用可能であることをリスト上で色分けして示すことができるか、又はリストをフィルタリングしてローカルに利用可能なゾーンのみを表示することができる。ユーザがローカルに利用不能なゾーンを選択する場合、該ゾーンはホーム環境サーバ2010からダウンロードすることができる。
ここで図6aを参照すると、ロビーゾーン1010は通常、屋根付きの広場に似ており、緑地庭園(草、木、彫刻等)、及び、ユーザ同士が自身のアバターを通じて会うことができる会合スペース(空地、単独のベンチ又は並んだ座席等)を含むことができる。
ロビーゾーン1010は通常、ゲーム又は他のコンテンツ若しくは製品に関する静止画又は動画のいずれかの広告を表示する広告板も含む。これらはロビーの壁上にあってもよいし、又は単独であってもよい。
ロビーゾーン1010は、サードパーティのプロバイダからの予告編、目立つ広告、又は他のコンテンツを表示する野外映画1012を含むこともできる。このようなコンテンツは通常、後により詳細に説明するように、ホーム環境がロードされるときにPS3 10が接続するホーム環境サーバ2010からストリーミング又はダウンロードすることができる。
映写幕には、アバターが着席すると該アバターのユーザが知覚するカメラアングルも映写幕を包含するように、該映写幕の正面にあるアバターのための座席が併設される。
ここで図6bも参照すると、ロビーゾーン1010は、機能性ビリヤード台、ボウリング場、及び/又はゲームセンターのような総合遊戯場1014も含むことができる。ビリヤード又はボウリングのゲームをアバターを介して、アバターがビリヤードのキュー又はボウリングのボールを保持し、そのようなゲームに関する従来の様式で制御されるように行うことができる。ゲームセンターでは、アバターがビデオゲーム機に近づくと、ホーム環境が選択されたビデオゲームの実質的に全画面の表現に切り替わることができる。このようなゲームは、記憶容量及び処理の観点において比較的小さく、ホーム環境内でPS3がエミュレートすることができるか、又はホーム環境に対するプラグインとして実行することができる、Space Invaders(登録商標)又はPac-Man(登録商標)のような、有名なアーケードゲーム又はゲーム機用ゲームとすることができる。この場合、通常、ユーザは、アバターによる表現なしに直接ゲームを制御することになる。ユーザがゲームを終了するか、又はアバターにビデオゲーム機から離れさせると、ゲームはデフォルトのホーム環境のビューに再び切り替わる。有名なアーケードゲームに加えて、ユーザが作成したゲームコンテンツを仮想ビデオゲーム機のうちの1つ又は複数において特集することができる。このようなコンテンツはオンライン競争の対象とすることができ、このような様式で特集され、新たな勝利コンテンツが定期的にダウンロードされる。
ロビーゾーン1010に加えて、他のゾーン(例えば、部屋、エリア又は他の建造物とすることができるゾーン1020、1030、1040、1050、及び1060)が利用可能である。これらは図4のマップ画面と実際に類似しているマップ画面を介してアクセスすることができるか、又は代替的には、ユーザが、自身のアバターをロビーからさまざまな出口1016に誘導することによって、これらの他のエリアに歩いていくことができる。
通常、出口1016は次のエリアへのトンネル又は廊下の形態をとる(しかし、同様に待合室の形態をとってもよい)。アバターがトンネル又は待合室内にある間に、次のゾーンがメモリ内にロードされる。ロビー及び次のゾーンの双方がトンネル若しくは待合室の同一のモデルを含むか、又は該モデルが双方に対して共通の資源である。いずれにせよ、ユーザのアバターは同じ位置においてトンネル又は待合室のロビー用のバージョンから新ゾーン用のバージョンに再配置される。このようにして、ユーザのアバターは、ホーム環境全体を同時にメモリ内に保持する必要なく、ホーム環境全体を通じて外観上シームレスに歩くことができる。
ここで図6cも参照すると、1つの利用可能なゾーンは映画館ゾーン1020である。映画館ゾーン1020は、上記のように、また後に詳述するようにホーム環境サーバ2010からダウンロード若しくはストリーミングされる予告編、映画、TV番組、若しくは広告のようなコンテンツを表示することができるか、又はHDD400若しくはBlu-Rayディスクのような光ディスク440上に記憶されているコンテンツを表示することができる複数のスクリーンを備える複合映画館に類似している。
通常、複合映画館は、通常限定ではないが近日公開予定の映画を特集している、目立つ予告編及び広告をすべての訪問者に対して表示することができるスクリーン1022を、ポスター広告1024と共に特集している入口エリアを有する。特定のスクリーン、並びに予告編及びポスターの選択及び表示は、それぞれPS3に登録されているユーザの年齢に従って制限することができる。この年齢制限は、ホーム環境内のゾーンのいずれかにおいて、年齢制限タグが関連付けられている任意の表示コンテンツに対して適用することができる。
加えて、本発明の一実施形態では、複合映画館は、その中からユーザが選択することができる、特集されているコンテンツが利用可能な複数のスクリーンルームを提供する。スクリーンルーム内では、ダウンロード、ストリーミング、又はローカルに記憶されているメディアを仮想映画館環境内で再生することができ、スクリーンは、並んだ座席、スクリーンカーテン等と共にルーム内にセットされる。映画館は潜在的にホーム環境内のすべてのユーザに利用可能であるため、例えばウェブ放送のような共通にストリーミングされている素材を見ている他のユーザのアバターも見ることができる。代替的には、ユーザはスクリーンが全表示画面を占めるようにズームインすることができる。
ここで図6dも参照すると、別のタイプのゾーンはデベロッパ又はパブリッシャゾーン1030である。通常、複数のこのような利用可能なゾーンが存在することができる。オプションとして、それぞれがロビーエリア1010からの独自の出口を有することができるか、又は代替的に、一部又はすべてがロビーからの1つの出口を共有して、その後そこで利用可能な各ゾーンに共通の又は該利用可能な各ゾーンによって複製されるトンネル又は待合室のモデル内から別個の出口を有することができる。代替的に、該利用可能な各ゾーンを、ポップアップメニューの形態のメニューから、又は例えば一組の道標から選択することによって、ホーム環境内から選択することができる。これらの後者の場合では、トンネル又は待合室の接続は選択されたデベロッパ又はパブリッシャゾーン1030のみへのリンクに見えることになる。代替的に又は加えて、このようなゾーンはマップ画面を介して選択することができ、その結果、メモリ内にゾーンがロードされ、選択されたゾーン内にアバターが再び発生する。
デベロッパ又はパブリッシャゾーン1030は、該デベロッパ又はパブリッシャの製品、ブランド、及び商標の外観及び質感を反映することができる追加の仮想環境を提供する。
デベロッパ又はパブリッシャゾーン1030はホーム環境に対する補助ソフトウェアモジュールであり、通常、ゾーンの構造及び外観を提供する追加の3Dモデル及びテクスチャを含む。
加えて、ホーム環境を実施するように動作可能なソフトウェアは、アプリケーションプログラムインターフェース(API)を介してサードパーティのソフトウェアの統合をサポートする。したがって、デベロッパは自身の機能コンテンツを自身のゾーンのホーム環境内に統合することができる。これは、以下のうちのいずれか又はすべての形態をとることができる。
i.ゲーム予告編又は有名人による推薦のような特定のコンテンツのダウンロード/ストリーミング
ii.アバターのゾーン内の外観のオプション、振る舞いのオプション、及び/又はコミュニケーションのオプションの変更
iii.オプションでそのデベロッパ又はパブリッシャのゲームのブランドがついているか又は該ゲームをグラフィックによって連想させる、バスケットボール1032又はゴルフ練習場1034のような1つ又は複数のゲームの提供
iv.プレイヤがゲームの一局面を体験するか、ゲームの特定の技能を磨くか、又はゲームの制御に慣れることを可能にする、デベロッパ又はパブリッシャのゲームを表す1つ又は複数のインタラクティブなシーン又は短い場面(vignette)
v.遠隔にプレイされるゲームを、観客が見るためにアバター1038がライブで表現することができる競技場、リング、道場、コート又は類似のエリア1036
したがって、例えば、デベロッパのゾーンは、サッカーネット又は射撃のためのスキート射撃場のようなオープンゲームエリアに面している、デベロッパのトレードマークの色をしていると共に該デベロッパのロゴで特徴付けているコンコースに類似している。加えて、ゲーム特有のキャラクタが配置されているブース(図示せず)によってユーザのアバターがゲームに入り、一時的に該ゲームの先導キャラクタに変化するか、又は主観視点にズームインし、特集されているゲームからのシーンに類似しているさらなるルームに入ることを可能にする。ここで、ユーザはゲームからの他のキャラクタと対話して、重要なシーンを最後までプレイする。コンコースに戻ると、そのゲームに関する広告及び他のコンテンツが壁に表示される。ゾーンの終わりにおいて、コンコースは5-a-side footballの試合がプレイされているエリアに向かって開けており、ここでプレイヤ及びボールの位置は、別の国における、高くランク付けされているゲーム仲間(game clan)のような人気のあるグループによって現在プレイされているゲームに対応する。
本発明の実施形態では、デベロッパ/パブリッシャゾーンはダウンロードに利用可能である。代替的に又は加えて、帯域幅を低減するために、該デベロッパ/パブリッシャゾーンをマガジンディスク上のデモコンテンツとして供給することができるか、又は該デベロッパ又はパブリッシャの購入されたゲームのためのインストールプロセスの一部としてディスクからインストール/アップグレードすることができる。後者の2つの例において、ゲームの後続の購入又は登録の結果として、さらなるゾーンコンテンツがロック解除又はダウンロードされる場合がある。いずれにせよ、さらなる変更、並びに時機を得た広告及び予告編媒体を必要に応じてダウンロードすることができる。
類似のゾーンが商業ゾーン1040である。ここでも、デベロッパ及びパブリッシャゾーンと同じようにアクセス可能な複数のこのような商業ゾーンが存在し得る。デベロッパ/パブリッシャゾーン1030のように、商業ゾーン1040は、1つ又は複数の商業ベンダの、該商業ベンダの現実世界の店舗、ブランド及び識別性をレンダリングすることを可能にする、3Dモデル、テクスチャ等の形態の代表的な仮想資産を含み、これらをゾーン内で地理的に且つ/又はテーマ的にグループ化することができる。
商業ゾーン内のスペースを、サードパーティによっていわゆる「仮想不動産」として賃貸することができる。例えば、小売業者は支払いをして自身の店舗のレンダリングを、ホーム環境サーバ2010を介して、例えば月に一度又は年に一度の更新を基本として供給されるホーム環境の定期更新の一部として、商業ゾーン1040内に含むことができる。小売業者は付加的に、上述の商業施設に対して定期的に又は品目ごとに支払いをすることができる。このようにして、商業ゾーンはホーム環境のユーザに商業拠点を提供することができる。
ここでも、商業ゾーンは、追加のコミュニケーションオプション(店舗特有の名前、商品、取引のオプション等)、及び購入のための商品及びサービスのオンラインデータベースへのアクセス、現行価格の決定、商品の入手可能性、及び配送オプションのような追加の機能を提供するAPIを介してホーム環境と統合することができる補助ソフトウェアを含む。このような機能は(例えばポップアップとしての、若しくはホーム環境内、例えば壁上の)メニューを介して、又は自動アバターとの通信を介してアクセスすることができる。アバター間のコミュニケーションは後により詳細に説明する。
デベロッパ及びパブリッシャが商業ゾーン内に店舗を提供することもできること、加えて、デベロッパ/パブリッシャゾーンと商業ゾーンとの間にトンネルの接続を提供することができることが理解されよう。例えば、トンネルはデベロッパゾーンを、デベロッパのゲームを販売する店舗に連結することができる。このようなトンネルは、いくつかのゾーンからの出口が店内の同じトンネルから出現するような、「多対一」の種類のものとすることができる。この場合では、再使用される場合、通常トンネルはユーザを可能性のある他のゾーンのうちの1つではなく前にいたゾーンに戻すように構成される。
本発明の一実施形態では、ホーム環境を実施するソフトウェアは、PS3 OSによって提供されるオンラインコンテンツ購入システムにアクセスすることができる。デベロッパ、パブリッシャ、及び店舗所有者は、インターフェースを介してこのシステムを使用して、IPアドレス、及び自身のオンライン取引を促進するクエリテキストを指定することができる。代替的には、ユーザは自身のPS3登録の詳細及びクレジットカードの詳細を直接使用することを可能にし、それによって、ホーム環境内の何処においても適切に利用可とされたオブジェクト、ゲーム、広告、予告編、又は映画を選択することによって、ユーザはその品目又はサービスを選択して購入することができる。具体的には、ホーム環境サーバ2010はユーザのクレジットカード及び他の詳細を記憶し、オプションでその有効性を検証することができ、それによって、それらの詳細を、ユーザが該詳細を入力する必要なく、取引においてすぐに使用することができる。このように、ホーム環境は取引において媒介として機能する。代替的には、このような詳細をPS3において記憶することができ、PS3又はホーム環境サーバのいずれかによってその有効性を検証することができる。
したがって、ここで図7も参照すると、本発明の一実施形態では、販売方法は、ステップs2102において、ユーザがホーム環境内で品目(商品又はサービス)を選択することを含む。ステップs2104において、PS3 10が該オブジェクトに対応する識別データをホーム環境サーバ2010に送信し、ステップs2106において、ホーム環境サーバ2010が、(好ましくは、ユーザのIPアドレスに対応する国の中の)好ましいプロバイダからの該品目の入手可能性を検証する。該品目が入手不能である場合、ステップs2107において、ホーム環境サーバ2010は、ユーザのPS3 10にメッセージを送信することによってユーザに通知する。代替的には、ホーム環境サーバ2010は最初に、1つ又は複数の二次的なプロバイダからの入手可能性をチェックし、オプションでこれらのプロバイダのうちの1つから供給することがユーザにとって許容可能であるか否かを確認する。ステップs2108において、ホーム環境サーバはデータ記憶装置からユーザの登録されている支払い明細を取り出し、それらの有効性を検証する。利用可能である有効な支払い方法が存在しない場合、ホーム環境はユーザが新たな詳細を安全な(すなわち暗号化されている)接続を介して入力することを要求することができる。有効な支払い方法が利用可能になると、ステップs2110において、ホーム環境サーバは適切なサードパーティの支払いプロバイダから、ユーザの口座からの支払いの振込みを要求する。最後に、ステップs2112において、ホーム環境サーバは、好ましいプロバイダに規定どおりにユーザの配送先住所又はIPアドレスを与え、適切な支払いを好ましいプロバイダの口座に振り込んで、品目を注文する。
このように、商取引は特定的に販売店に限定されない。同様に、商品及びサービスに対する好ましいプロバイダが販売店内に表示されるときにその販売店の店主であるように設定されている場合、販売店が自身の商取引アプリケーションを提供する必要はない。商品又はサービスをデジテルに提供することができる場合、オプションで該商品又はサービスを好ましいプロバイダから直接又はホーム環境サーバ2010を介してダウンロードすることができる。
上記の公衆ゾーンに加えて、個々のユーザに対して私的であると共に、該ユーザによって又は該ユーザからの招待によってしかアクセスすることのできない追加のゾーンが存在する。これらのゾーンも公共のロビーエリアからの出口を有するが、アバターが入る(又はマップ画面を介して選択される)と該ゾーンの、そのユーザに対して私的なそれぞれのバージョンをロードする。
図8aを参照すると、これらのゾーンのうちの最初のものはアパートメントゾーン1050である。本発明の一実施形態では、これは、壁紙、床張り、絵画、家具、外の景色及び照明のような特徴1052を選択及び位置決めすることができる、ユーザカスタマイズ可能ゾーンである。これらの家具のいくつかはPS3の機能にリンクされる機能性家具1054である。例えば、いくつかのストリーミングされるビデオ放送のうちの1つ、又はPS3 HDD400若しくは光ディスク440上に記憶されているメディアを見ることができるテレビをアパートメント1050内に配置することができる。同様に、インターネットラジオストリームに対する事前に選択されているリンクを含むラジオ又はハイファイ装置を選択することができる。加えて、ユーザの工芸作品又は写真を壁掛け及び絵画の形態でルーム内にインポートすることができる。
オプションで、(図8aにおいてそのアバター1056によって表される)ユーザは、より大きなアパートメント、及び/又はより大きなTV、ビリヤード台、若しくは自動ノンプレイヤアバターのような追加の商品を購入することができる。他の可能な品目は、ジム、水泳プール、又はディスコエリアを含む。これらの後者の場合では、追加のキャラクタ機能を提供する追加の制御ソフトウェア又は構成ライブラリがAPIを介して、上述した商業ゾーン1040及びデベロッパ/パブリッシャゾーン1030に関して説明したものと同様の様式でホーム環境と統合される。
このような購入は、ホーム環境サーバに登録されているクレジットカードの詳細を使用して行うことができる。支払いと引き換えに、サーバは、ユーザのアパートメント内で使用する関連品目をロック解除する認証キーをダウンロードする。代替的には、品目に関連付けられる3Dモデル、テクスチャ及び任意のソフトウェアも、ホーム環境サーバ、又はオプションでこれも認証キーに関連付けられる公認のサードパーティサーバからダウンロードすることができる。キーは例えば、PS3 10のファームウェアデジタル通し番号との一致を必要とし、それによって認証されていない配布が防止される。
ユーザのアパートメントは、それぞれのユーザからの招待を受けた他者によってしかアクセスすることができない。この招待は友人リスト内からの特定の友人に対する継続招待の形態をとることができるか、又は別のユーザに与えられ、そのユーザが現在のホーム環境セッションに留まっている間だけ有効なシングルセッションパスの形態である。このような招待は、ホーム環境サーバ2010によって維持される関連付け、又は、招待客としてのステータスを確認することを可能にする、PS3デバイス同士の間でピアツーピアで供給されるデジタルキーの形態をとることができる。
本発明の一実施形態では、招待されるユーザは、アパートメントのユーザがアパートメント内に存在するときにのみアパートメント内に入ることができ、アパートメントのユーザが外出する場合には自動的にロビーに戻される。アパートメント内にいる間は、存在するパーティ間のすべての通信(ユーザ及び位置データの双方)は純粋にピアツーピアである。
したがって、アパートメントはユーザに、工芸作品、スライドショー、オーディオ又はビデオのような自家製コンテンツを招待客と共有すると共に、公衆ゾーン内の他のユーザからの可能性のある干渉なしに友人と対話する機会も提供する。
招待客がユーザのアパートメントに入ると、アパートメント内のルーム及び備品の構成が、各オブジェクトに対するIDコード及び位置データを使用して出席者間でピアツーピアで送信される。ルーム又は品目がユーザと客との間で共通に保持されていない場合、該ルーム又は品目を客のPS3上で実装するのに必要なモデル、テクスチャ、及び任意のコードも、使い捨てキー、又は、ユーザのアパートメントにいる間で且つユーザ及び客がこのセッションにおいてオンラインのままである間だけの使用のような類似の制約と共に送信することができる。
図8bを参照すると、同様に招待によってのみアクセスすることができるさらなる私的スペースは、ユーザのトロフィー保管室1060である。トロフィー保管室1060は、ゲームプレイ中に獲得したトロフィー1062を表示することができるスペースを提供する。
例えば、サードパーティゲームは、魔法のクリスタル(magical crystal)を探すことを含む。プレイヤがクリスタルを見つけるのに成功すると、サードパーティゲームはこれをトロフィーとしてトロフィー保管室1060に対してノミネートし、トロフィー保管室1060をロードしているときにホーム環境ソフトウェアによってアクセスされるファイル領域内のクリスタルを表す3Dモデル及びテクスチャを配置する。次いで、ホーム環境を実施するソフトウェアが、トロフィー保管室内でクリスタルをトロフィーとしてレンダリングすることができる。
パーティが招待されてユーザのトロフィー保管室を見るとき、トロフィーを一時的に見るのに必要なモデル及びテクスチャがユーザのPS3から他のパーティのPS3にピアツーピアで送信される。これは、最初の招待に続く背景活動としてトロフィー保管室に入ることを予期して行うことができるか、又は、パーティが接続トンネル/待合室に入るか若しくはマップ画面からユーザのトロフィー保管室を選択すると行うことができる。オプションで、別のパーティもそのトロフィを有する場合、訪ねているユーザからその対応するトロフィーをダウンロードしない。したがって、本発明の一実施形態では、各トロフィーは識別コードを含む。
代替的に又は加えて、トロフィー保管室はグループ又はいわゆる「仲間」のメンバ間で共有することができ、それによって、仲間のうちの任意のメンバが獲得したトロフィーが該仲間のうちの他のメンバにピアツーピアで送信される。したがって、仲間のうちのすべてのメンバが共通のトロフィーセットを見ることになる。
代替的に又は加えて、ユーザは、誰でも自身のトロフィー保管室を訪れることを可能にする、ホーム環境のすべてのメンバに対する継続招待を有することができる。したがって、商業ゾーン及びデベロッパ/パブリッシャゾーンと同様に、複数のルーム、例えば私的なトロフィー保管室、グループベースのトロフィー保管室、及び公衆トロフィー保管室が存在する可能性がある。これは、上述のようなポップアップメニュー若しくはホーム環境内の道標から選択すること、又は関連するユーザを、該ユーザのアバターに歩いて近づくことによって識別し、次いで、ロビーからのトロフィー保管室出口を使用することによって該ユーザの(公衆)トロフィー保管室に入ることを選択することのいずれかによって管理することができる。
代替的に又は加えて、公衆トロフィー保管室を設けることができる。このルームはホーム環境の現在のインスタンス内の、最も多くのトロフィー又はトロフィー値採点方式による最良の総合スコアを有する人のトロフィーを表示することができる。代替的に、公衆トロフィー保管室は、ホーム環境のそのインスタンス内のユーザの数人又は全員から最良のトロフィー又は選りすぐりのトロフィーを、そのユーザのIDと共に示す集合トロフィー保管室としてもよい。したがって、例えば、ユーザは、難しいゲームからのトロフィーに気づき、ホーム環境内でそのトロフィーを獲得した人を特定し、その人のところに行ってどうやってそのトロフィーを獲得したかについて話すことができる。代替的には、公衆トロフィー保管室は、地理的グループ、特定年齢層のグループ、若しくは特定のゲームのグループ内で、又はさらには世界中で最良のゲーマーを特定する、複数のホーム環境にわたる最良のトロフィーを含むことができる。代替的に又は加えて、最良のスコアを有するゲーマーのスコアボードを提供し、ライブで更新することができる。
追加の3Dモデル、テクスチャ、及び制御ソフトウェアをそれぞれが含む、潜在的に多数の追加のサードパーティゾーンが利用可能になり得ることは理解されよう。結果として、HDD400上の相当量のスペースがホーム環境ゾーンによって占められることになり得る。
その結果、本発明の一実施形態では、現在ユーザのホーム環境に関連付けられているサードパーティゾーンの数を制限することができる。第1のインスタンスにおいて、最大メモリ割当てを使用してさらなるサードパーティゾーンが、既存のゾーンが削除されるまで追加されるのを防止することができる。代替的に又は加えて、サードパーティゾーンを、地理的関連性又はユーザの関心(登録時に又はホーム環境サーバ2010とのインターフェースを介して後に宣言される)に従って制限することができ、それによって、これらの基準によってユーザに関連するサードパーティゾーンのみがダウンロードされる。このようなシステムの下で、新たなサードパーティゾーンが利用可能になると、ユーザに対するその関連性が上記基準に従って評価され、現在記憶されているサードパーティゾーンのうちの少なくとも1つよりも関連している場合、新たなサードパーティゾーンが、ユーザのPS3上に記憶されている現在最も関連性の低いサードパーティゾーンと置き換わる。
関連性に関する他の基準は、ノミネートされている友人の関心若しくはインストールされているゾーン、又は、ユーザのPS3上でプレイされたことのあるゲーム若しくは他のメディアに対するゾーンの関連性を含むことができる。
さらなるゾーンを、ユーザがダウンロード又はディスクによってそれらを明白にインストールしているか否かに従って承認することができる。
上記のように、ホーム環境内で、ユーザはアバターによって表現される。ホーム環境を実施するソフトウェアは、ユーザのアパートメントのカスタマイズと同様のプリセットオプションの1つの選択からのユーザのアバターのカスタマイズを可能にする。ユーザは、性別及び肌の色を選択し、顔の特徴及び毛髪を、それぞれに対して利用可能なオプションを組み合わせることによってカスタマイズすることができる。ユーザは広範な衣服からも選択することができる。この機能をサポートするために、アバターのための広範な3Dモデル及びテクスチャが提供される。本発明の一実施形態では、ユーザは独自のテクスチャをインポートして、自身の衣服の上に表示することができる。通常、各アバターの外観を規定するパラメータは約40バイトを占めるに過ぎず、これによって、人数の多いホーム環境に参加するときにホームサーバを介する迅速な分配が可能になる。
ホーム環境内の各アバターは、ユーザのID、又はアバター上の吹出し(bubble)内に表示されるあだ名によって識別することができる。吹出しが増えすぎるのを制限するために、吹出しが含むテキストを容易に読むことができるほどアバターが十分に近づくと、又は代替的に、アバターが対話するのに十分に近づくと、且つ/若しくはユーザの視点の中心に近づくと、吹出しは消えて見えなくなる。
アバターはユーザによって従来の三人称のゲーム様式で(例えばゲームコントローラ751を使用して)制御され、それによって、アバターがホーム環境を歩き回ることが可能になる。いくつかのアバターの振る舞いは状況に応じて決まるものである。したがって、例えば座るというオプションはアバターが座席の近くにあるときにのみ利用可能となる。例えば選択された感情若しくはジェスチャの表現、又は特定のコミュニケーションオプションのような他のアバターの振る舞いは常に利用可能である。アバターの動作は、移動のような動作に対しては直接、又は、ゲームコントローラ751上の適切なキーを押下することによって呼び出されるポップアップメニューを介して動作を選択することによって、ゲームコントローラ751を使用することによって決定される。
このようなメニューを介して利用可能なオプションは、アバターの外観及び衣服のさらなる変更、並びに感情、ジェスチャ及び動きの選択を含む。例えば、ユーザは、ホーム環境内で知り合いを見かけると、自身のアバターが笑いかけ、挨拶し、また飛び跳ねるように選択することができる。
ユーザは、テキスト又は発話(speech)を使用して自身のアバターを介して互いにコミュニケーションすることができる。
テキストによってコミュニケーションするために、本発明の一実施形態では、関連するアバターの上にポップアップバブル内にメッセージが現れ、該メッセージは必要に応じて該アバターの名前の吹出しと置き換わる。
ここで図9も参照すると、メッセージを生成するために、ユーザは、さまざまなプリセットのメッセージが与えられているポップアップメニュー1070を起動することができる。これらは完結したメッセージとすることができるか、又は代替的に若しくは付加的に、それに沿って進むと、選択されたオプションを連結することによって1つのメッセージが生成される入れ子メニューの形態をとることができる。
代替的に又は加えて、ゲームコントローラ751によるナビゲーションによってテキストを自由に生成することを可能にする仮想キーボードを表示することができる。Bluetoothを介して現実のキーボード753が接続される場合、テキストを吹出しの中に直接タイプすることができる。
本発明の一実施形態では、ロビーはホーム環境サーバによってホスティングされるチャットチャネルも提供し、これによって従来のチャット機能が利用可能にされる。
発話によってコミュニケーションするためには、ユーザは、Bluetoothヘッドセット757のような利用可能なマイクロフォンを有しなければならない。その結果、本発明の一実施形態では、ゲームコントローラ751上のボタンを押下することによって発話オプションを選択すること、又は、ホーム環境を実施するソフトウェア内の音声活動検出器を使用することのいずれかによって、ユーザは、ホーム環境内で会話することができる。会話するとき、例えば他のユーザに必要に応じて音量設定を調整するように警告する発話アイコンがアバターの頭部の上に現れる場合がある。
発話はユーザのPS3によってサンプリングされ、符号励振線形予測(CELP)コーデック(又は他の既知のVoIPアプリケーションコーデック)を使用して符号化され、ピアツーピアで8つの最近傍のアバター(オプションで、それらがユーザのアバターの周囲の仮想環境内のプリセットのエリア内にあることを条件とする)に送信される。9つ以上の他のアバターがプリセットのエリア内に存在する場合、発話を受信したPS3のうちの1つ又は複数は、該発話を、そのエリア内の、発話を受信しなかったそれぞれのユーザアバターを有する他のPS3にアドホックに転送する。この機能を協調させるために、本発明の一実施形態では、PS3は、そのアバターがプリセットのエリア内にあるすべてのPS3に発話フラグを送信することになり、それによって、該PS3が関連する(会話している)アバターの頭部の上に発話アイコンを置くと共に(それらのユーザが話している者をより容易に特定することを可能にする)、PS3に送信を通知することが可能になる。各PS3は、アバターの相対位置から、いずれが発話を受信しないかを判断することができ、また仮想環境内に最も近いいずれのアバターのPS3に対しても発話を転送することを選択することができる。代替的には、該エリア内のPS3は互いに接続を確認する(ping)ことができ、発話を受信していないPS3に対する最低の遅延を有するいずれのPS3も該発話を転送することを選択することができる。
8つに限定することは例示であり、実際の数は、発話圧縮比及び利用可能な帯域幅のような要因によって決まることが理解されよう。
本発明の一実施形態では、このような発話は、携帯電話番号を指定すれば、携帯電話網のような他のネットワークに中継することもできることは理解されよう。これは、ホーム環境サーバを介して移動ネットワークのゲートウェイサーバに発話をルーティングすること、又はユーザ自身の携帯電話にBluetoothによって送信することのいずれかによって達成することができる。この後者の場合では、携帯電話はミドルウェア(例えばJava(登録商標)アプレット)に、PS3とインターフェースして発呼をルーティングするように要求することができる。
こうして、ユーザは自身の携帯電話上でホーム環境内から人に連絡を取ることができる。同様にして、ユーザは自身の携帯電話上で人にテキストメッセージを送信することもできる。
発話と同様に、本発明の一実施形態では、そのPS3がSony(登録商標)Eye Toy(登録商標)ビデオカメラのようなビデオカメラを備えているユーザは、例えばポップアップ画面を介して、又はホーム環境内のTV、若しくはアバターによって保持されるSony(登録商標)Playstation Portable(登録商標)(PSP)のような類似のデバイスを介してビデオチャットモードを使用することができる。この場合では、オーディオコーデックに加えて、又はオーディオコーデックに代えて、ビデオコーデックが使用される。
オプションで、例えばアバターの名前の隣りのアイコン又は該アバターを囲む輝きの度合いによって、最近会話したユーザのアバターを強調表示することができるか、又は最も多く会話したユーザのアバターをより目立つように強調表示することができる。
再び図5を参照すると、ユーザが自身のPS3 10上でホーム環境を起動することを選択すると、ローカルに記憶されているソフトウェアがホーム環境のグラフィック表現を生成し、ユーザに複数のオンラインホーム環境2021、2022、2023、2024のうちの1つを割り当てるホーム環境サーバ2010に接続する。簡潔にするために4つのみのホーム環境を示す。
潜在的には幾万人ものユーザが常時オンラインである可能性があることは理解されよう。したがって混雑を防止するために、ホーム環境サーバ2010は多数の別個のオンラインホーム環境をサポートすることになる。同様に、例えば異なる複数の国に多くの別個のホーム環境サーバが存在する場合がある。
ホーム環境に割り当てられると、PS3は最初に、アバターの外観に関する情報をアップロードし、次いで、現行の様式で、ホーム環境サーバに自身のアバターに関する位置データを提供し、ホーム環境サーバからオンラインホーム環境内の他のアバターの位置データを受信する。実際には、この位置更新は帯域幅を制限するために周期的(例えば2秒ごと)であり、そのため他のPS3は移動を補間しなければならない。このようなキャラクタ移動の補間はオンラインゲームでは既知である。加えて、各更新は、(いくらかの遅延を伴う)移動の複製を改善するか、又は現在の移動の補外(extrapolation)を改善する一連の位置を提供することができる。
加えて、そのホーム環境2024内の他のPS3 2031、2032、2033のIPアドレスが共有され、それによって、該PS3は、発話のような他のデータをそれら自身の間でピアツーピアで送信することができ、それによって、ホーム環境サーバによってハンドリングされるデータの必要な帯域幅が低減される。
ホーム環境内の混雑を防止するために、各ホーム環境が最大で例えば64人のユーザをサポートすることになる。
ユーザが接続されるホーム環境の選択は、PS3によって供給され且つ/又は登録プロセスを介してホーム環境サーバが知っているいくつかの要因を考慮に入れることができる。これらは限定ではないが、以下を含む。
i.PS3の地理的位置
ii.ユーザの好ましい言語
iii.ユーザの年齢
iv.現在のユーザの「友人リスト」内の任意のユーザが特定のホーム環境内に既に存在するか否か
v.どのゲームディスクが現在ユーザのPS3内にあるか
vi.どのゲームが最近ユーザのPS3上でプレイされたか
したがって、例えばスイスの十代の若者は、最大ユーザ年齢を16歳とし、且つ主な言語がフランス語である、スイスのサーバ上のホーム環境に接続されることができる。別の例では、自身のPS3内に「レボリューション(Revolution)」のコピーを搭載しているユーザは、非常に多くの他のユーザも現在同じゲームを搭載しているホーム環境に接続されることができ、それによって、複数参加型ゲームの構成が容易になる。この後者の場合では、PS3 10は、BD−ROM430内にロードされているゲームを検出し、ホーム環境サーバ2010に通知する。次いで、サーバはそれに従ってホーム環境を選択する。
さらなる例では、ユーザは、自身の友人リスト上で確認される3人のユーザを見つけることができるホーム環境に接続される。この後者の例では、友人リストは、そのユーザが定期的に会うことを望む他のユーザから受信されている、ユーザ名及びオプションでIPアドレスのリストである。異なる複数のグループの友人が異なる複数のホーム環境サーバ上に位置する場合(例えば、現在のユーザが、両方の集合に共通の唯一の友人である場合)、ユーザは最も多くの友人を有するホーム環境サーバに接続されるか、又は選択のためのオプションを与えられる。
逆に、ユーザは1人又は複数人の友人を、複数のホーム環境の間で切り替わり、参加するように、招待することができる。この場合、ユーザは、ポップアップメニューを介して又はホーム環境内から(例えば壁上の画面又は情報ブースを介して)自身の友人リストを見て誰がオンラインであるかを判断することができる。次いで、ユーザは、ピアツーピア接続を使用して、又は、友人がホーム環境内にいるか若しくはIPアドレスが分からない場合にはホーム環境サーバを介して、自身の友人に招待をブロードキャストする。その後、友人は参加への招待を承認又は拒否することができる。
招待を促進するために、一般的にホーム環境サーバはサポートされる最大数よりも少ないユーザを特定のホーム環境に割り当て、それによって、このような追加のユーザ始動の割当てを行うことが可能となる。このいわゆる「ソフトリミット」は例えば、容量の90%とすることができ、例えば人々がオンラインで友人と会う可能性が高い夕方又は週末において変化するように適応的とすることができる。
幾人かの友人が同じホーム環境内に存在する場合、本発明の一実施形態では、マップ画面が、現在友人を見つけることができるゾーンを、該友人の名前をマップ上に又はサイドバー上のゾーン名に関連付けて表示することによって強調表示することもできる。
ここで図10も参照すると、加えて、ホーム環境の優先傾向(preference)、設定、機能及びオプションで他の機能を、ゲームコントローラ751を使用することによって呼び出して画面上にポップアップさせることができる仮想Sony(登録商標)Playstation Portable(登録商標)(PSP)エンタテインメント装置1072を使用することによって必要に応じて見るか、調整するか、又はアクセスすることができる。その後、ユーザは、仮想PSP上に表示されるPSPクロスメディアバー1074を介してこれらのオプション、設定及び機能にアクセスすることができる。上記のように、PSPはビデオチャットのためのインターフェースとして使用することもできる。
ユーザがホーム環境を去ることを望む場合、本発明の一実施形態では、ユーザはゲームコントローラ751上の適切なキーを選択するか、ポップアップメニューから出口のオプションを選択するか、マップ画面内から出口を選択するか、自身の仮想PSPを介してオプションを選択するか、又はロビーゾーン内のマスタ出口を通って歩いていくことによってそれを行うことができる。
通常、ホーム環境を出ることによってPS3 10がPS3クロスメディアバーに戻る。
最後に、ホーム環境ソフトウェアに基づくと共にPS3クロスメディアバーから別個にアクセス可能な追加の別個の環境が想定されることは理解されよう。例えば、スーパーマーケットが、ホーム環境サーバによって同様にサポートされるスーパーマーケット環境が提供される無料のディスクを提供することができる。
選択されると、ユーザのアバターは、(棚に設けられる3Dモデル又はテクスチャのいずれかとして)仮想的にレンダリングされたスーパーマッケット内の陳列されている商品を見て回って、それらをクリックして上述のように購入することができる。このようにして、小売業者は自身のユーザベースでオンラインショッピング機能を提供及び更新することができる。
本発明の一実施形態では、アバターモデルは2つの態様、すなわち、テクスチャが置かれる三次元表面を規定するメッシュ又は肌と、メッシュの頂点を変更するのに使用されるいわゆる「骨」の階層とを備える。これらの骨は通常、位置、サイズ及び向きを含む一次元の線であり、メッシュの頂点若しくは領域及び/又はオプションで他の骨に関連付けられることは理解されたい。したがって、これらの骨は従来の意味での人間の骨には対応しない。
メッシュは通常、例えば男性アバター及び女性アバターに対するデフォルトの設計を有する。従来のアニメーションでは、このメッシュは、いわゆる「ブレンドシェイプ」(又は「モーフターゲット」)によって変形することができる。ブレンドシェイプは一般的に、既知の技法を使用してゲームキャラクタ又はアバターの顔のアニメーションに使用される。例えば、ゲームの設計中に、アーティスト(artist:グラフィッカー)は通常、左眉毛が上がっている、右眉毛が上がっている、口が「ウー(oo)」と言っている、口が「イー(ee)」と言っている等のような、ゲームキャラクタ又はアバターの顔の表情を表現するブレンドシェイプと共に、そのゲームキャラクタ又はアバターの頭部を記述するデフォルトのメッシュを明示的に設計する。アニメーション中に、アニメータは、ブレンド重みを各ブレンドシェイプに割り当てて、該ブレンドシェイプがアニメーション中にテンプレートメッシュの歪みに影響を及ぼす度合いを指定する。したがって、各頂点のレンダリングされる位置は、それぞれの重みを乗算したブレンドシェイプオフセット位置の合計に、テンプレートメッシュの頂点位置を加算した値に対応する。したがって、例えば、アニメータは眉毛を上げて笑っているアバターを、それらの顔の表情を記述するブレンドシェイプに適切な重みを割り当てることによって作成することを選択し得る。
ブレンドシェイプに代えて又はブレンドシェイプに加えて、アニメータは慣習的に、骨格アニメーションも使用する。骨格アニメーションでは、骨格内の各骨がメッシュの1つ又は複数の頂点に関連付けられる。逆に、これらの頂点を1つ又は複数の骨に関連付けることもでき、各関連は頂点重みによって決定される。したがって、メッシュの変位は隣接する骨の重み付けされた影響によって求められる。
1つの骨が別の骨に連結されている場合、この関係は「親子」関係として説明される。この関係では、メッシュノード、又は子骨に関連付けられている領域の位置及び向きは、子骨及び親骨の双方の位置、スケーリング及び向きの積である。
従来のいわゆる「骨格」アニメーションでは、例えば、大腿骨が動くと下腿骨も動き、その結果脚全体の関連付けられるメッシュの位置が変化するため、この階層はキャラクタのフレームごとの位置決めを単純にする。
本実施形態では、骨格モデルを使用して、その後いずれの骨格アニメーションを使用してアバターをあちこちに動かすかとは無関係に、ユーザが骨パラメータを変化させて、アバターのデフォルトのメッシュを変更し、ゆがめ、また他の様態で変形させることを可能にする。同様に、ブレンドシェイプを使用して、アバターのメッシュに大域的な変更を加えることができ、その結果、ここでもいずれのブレンドシェイプがその後のアニメーションに使用されるかとは無関係に、骨格モデルによって同様に該メッシュを調整することができる。
ここで図11を参照すると、ユーザのアバターの迅速なカスタマイズを促進するために、複数組のブレンドシェイプ(又はモーフターゲット)が、白色人種、アメリカ先住民、アフリカ人、中東人、東洋人、及びオーストラリア先住民のような異なる複数の民族性に対して予め決定されている。上記のように、ブレンドシェイプはメッシュを変形したものであり、本実施形態においては、デフォルトの男性又は女性のメッシュを記述する頂点に関連して規定される。例えば、ブレンドシェイプの頂点はデフォルトの変形されていないメッシュを記述する頂点からの位置的オフセットとして規定することができる。民族的な特性を生成するために、例えば、オーストラリア先住民の眉に関連付けられるブレンドシェイプは、白色人種のものとは異なる。
本実施形態によれば、ユーザインターフェースによって、ユーザが、自身のアバターに含むことを望む各民族性の割合を選択することが可能となり、それによって、各民族性に対する異なる複数の所定のブレンドシェイプの加重平均が提供される。したがって、ユーザはユーザインターフェースと対話して、各民族タイプに関連付けられる各ブレンドシェイプのブレンド重みを調整して、迅速且つ直截にアバターの基本外観を変更することができる。例えば、アバターは、50%白色人種及び50%アフリカ人、又は代替的に40%アメリカ先住民、30%東洋人及び30%オーストラリア先住民とすることができる。オプションで所定の肌の色を同じ割合で混合することができるが、好ましくはこれらも独立して調整可能である。
したがって、各民族タイプを記述する各ブレンドシェイプに関連付けられるブレンド重みを変更することによって、広範ななじみのある顔の構造を、アバターのデフォルトのメッシュに迅速に与えることができ、それによって、ユーザに対する弁別性の最初のソースが提供される。
異なる複数のブレンドシェイプセットを必要に応じて男性アバター及び女性アバターに使用することができること、及び利用可能な民族性は上記例には限定されず、実際には架空の人種及び種族(species)に拡張することができることは理解されよう。
重み付けされたブレンドシェイプを使用して、体格又は体脂肪量に応じてアバターの外観を変更することができる。例えば、異なる複数の首の太さに対するブレンドシェイプを使用することができるか、又はより太い体格若しくはより細い体格に関連するブレンドシェイプを使用して、アバターを記述する基本身体メッシュを変更することができる。
重み付けされたブレンドシェイプを使用して民族性及び体格を調整すること(ブレンド重みを変更することによって骨格が変化することはない)に加えて、さまざまな骨及び骨のグループをそれぞれのユーザインターフェースを介して直接調整して、アバターの外観を変更するか又はさらに変更することができる。したがって、例えば、調整可能な特徴のメニューからオプション「下顎輪郭」を選択し、次いでコントローラ751を使用して骨パラメータを調整することによって、顎輪郭を制御するのに使用される骨を調整することができる。コントローラは少なくとも2組の方向制御を有するため、通常2組のパラメータを共に調整することができる。ここで図12を参照すると、これらの調整は例えば、後部顎幅(左手側水平制御)及び顎先と顎の後部との間の角度(左手側垂直制御)、並びに顎の隆起(右手側水平制御)及び二重顎の度合い(右手側垂直制御)を含むことができる。これらの調整は、顎に関連付けられる骨の位置、サイズ及び向きをそれに従って変化させ、骨格階層においてこれらの顎骨に結合される任意の骨に影響を及ぼすこともでき、したがって、例えば頬、上顎、鼻、耳及び首がそれぞれ、顎輪郭に対する変化によって影響を受ける場合がある。
とりわけ、各個々の骨の位置、スケール、及び向きはユーザインターフェースを介して必ずしもアクセス可能ではない。ユーザによって入力されるパラメータは、エンタテインメント装置によって個々の骨のパラメータに変換される。これによって、顔の特徴の調整がユーザにとって単純になる。
他の骨又は骨グループを同様に調整して、頬の骨、眉弓、眼窩のサイズ、眼の横方向位置、眼の垂直方向位置、鼻の位置、頭蓋形状、上顔面形状及び下顔面形状のような顔の特徴を変更することができる。上記のように、骨は字義通りの骨には対応せず、そのため、唇のサイズ及び形状、鼻の外形、耳の垂直方向位置及び耳の形状、並びに上記例におけるような二重顎のような特徴に使用することもできる。
本発明の一実施形態では、1つ又は複数の骨又は骨グループに対する変更を非対称にすることを可能にすることによって、追加の自然な効果を達成することができる。例えば、両耳がサイズ、及び頭部における垂直方向位置の双方に関して正確に一致することは滅多にない。
したがって、例えば、調整可能な特徴のメニューからオプション「耳の不一致」等を選択し、次いでコントローラ751を使用して骨パラメータを調整することによって、耳を制御するのに使用される骨を調整することができる。ここで図13を参照すると、例えば耳の垂直方向位置における相対的な不均衡を、コントローラの左手側水平制御によって、右へ動かすことによって右耳が上がると共に左耳が下がり、一方で左へ動かすことによって左耳が上がると共に右耳が下がるように制御することができる。同時に、耳のサイズにおける相対的な不均衡を、例えば、コントローラの左手側垂直制御を、上に動かすことによって、右耳のサイズが増大すると共に左耳のサイズが減少し、下に動かすことによって、左耳のサイズが増大すると共に右耳のサイズが減少するように制御することができる。
眼窩のサイズ、眼の横方向及び垂直方向の位置、眉の傾き、頬の骨の垂直方向及び横方向の位置、鼻の位置及び外形、顎の横方向オフセット及び顎の傾きのような他の骨又は骨グループを同様に調整して非対称性をもたらすことができる。これらの特徴のうちのいくつかをさらにグループ化して、通常顔の中心線に関するサイズ及び角度の不一致に基づく迅速な非対称性の調整を提供することもできる。図14A及び図14Bを参照すると、これらは例えば、上顔面対称性及び/又は下顔面対称性、頭部(頭蓋)対称性、並びに顔全体の対称性を含み得る。各場合において、ユーザ入力は非常に単純であり(例えば、垂直軸の調整がサイズの態様に影響を及ぼし、水平軸の調整が非対称性の均衡の態様に影響を及ぼす)、一連の重み又は変換によって骨格モデル内の骨の関連するサブセットのパラメータに結合され、それによって例えば、単一の「顔の対称性」の調整における眼、耳及び鼻の変化は、必ずしも同じ度合いではないが、互いに対して比例し、後続の顔メッシュ変形に従う現実味のある人の顔が作成される。
ここでも、各個々の骨の具体的な位置、スケール及び向きはユーザインターフェースを介して必ずしもアクセス可能ではない。そうではなく、ユーザは特定の骨の特定のパラメータに関する非対称性の度合いを制御する。ここでも、これによって、実際に、アバターの顔の中に100個近い骨が存在し得る場合に顔の特徴の調整がユーザにとって単純になる。
上記で概説した入力慣習は1つのオプションであり、他の適切な入力慣習及び方法、例えばEyeToy(登録商標)ビデオカメラ756を使用して、アバターの画面上の表現に対してジェスチャを行うことによって1つ又は複数の骨又は骨グループを調整することが可能であることは当業者には理解されよう。
アバター内の(並びに特にアバターの頭部及び顔の中の)骨の調整に加えて、ユーザインターフェースは、アバターの骨と相互作用することができるか、又はさらなる骨と関連付けることができるさらなるメッシュを追加することを可能にする。これらのメッシュは通常、眼鏡、毛髪、帽子、及びヘッドフォンのような、頭部及び顔のためのアクセサリ、並びに、例えば角、羽飾り(crests)、及び男性用下着(trunks)のような特徴のような、異民族(exotic race)又は面白い変更のためのアクセサリを提供する。
したがって、例えば、眼鏡メッシュを耳の骨、頬の骨、及び鼻の骨に関連付けることができ、それによって、眼鏡の位置は顔の構造に自動的に反応する。同様に、毛髪、帽子、及びヘッドフォンを耳の骨、及び頭蓋の骨に関連付けることができ、それによって、それらは伸長して頭部のサイズに適合すると共に耳の位置に揃う。顎ひげ及び口ひげのような他の顔の特徴が、それらが置かれるか又はそれらが置き換わる顔のメッシュと同様に鼻の骨及び顎の骨と関連付けられる。
アバター内の(又は少なくともアバターの頭部及び顔内の)骨格モデルをこのように使用すること、並びに骨又は骨グループをパラメータ調整することを可能にすることによって、またさらにこのような骨又は骨グループの非対称変更を可能にすることによって、高度に弁別的且つ自然なアバターを生成することができる。その上、(重み付けブレンドシェイプを介して決定することができる)全体的な民族性から、スケールの大きい調整(例えば、上顔面/下顔面)まで、特定の骨グループ及び最終的には骨の特定のパラメータに対する直観的な調整の選択まで、詳細のスケールを小さくしていく順で調整をグループ化することによって、アバターのための弁別的な個別の顔を迅速に作成することができ、同時に、骨格モデル内の骨同士の間の関連、及びメッシュに対する骨の頂点重みによってその顔の特徴の調和が維持される。
一例として、図15Aは、重み付けブレンドシェイプによって50%白色人種、50%アメリカ先住民に対応するように調整されたデフォルトの女性アバターを示す。そして、図15B及び図15Cは、さまざまな骨パラメータが、骨格モデルを続いて操作することによって2つの高度に弁別的な顔を生成するように、本明細書において説明されるように調整された後の、この女性アバターを示す。
テクスチャ層及びテクスチャ効果を適用することによって、アバターをさらにカスタマイズすることができる。しわ、そばかす、ほくろ又は染み及び傷跡を追加する異なる複数のテクスチャ層を、ユーザインターフェースを介して透明度を変化させながら追加することができる。同様に、肌のテクスチャを、これらのテクスチャのうちの1つ若しくは複数又は他の専用のバンプマッピングテクスチャに関連して使用されるバンプマッピング(又は他の照明効果)の度合いを制御することによって導入及び変更することができる。したがって、傷跡、あばた、及び無精ひげを、度合いを変化させながら追加することができる。
オプションで、1つ又は複数のテクスチャ層を、「年齢」スライダに従ってアバター上にアルファブレンドするか、バンプマッピングするか、又は他の方法で含めることができ、それによって、キャラクタの年齢を変化させる迅速な方法が提供される。オプションで、特定の骨パラメータもこのスライダに結合して、例えば、年齢を重ねるにしたがって頬の骨をくぼませ、眼窩を深くし、首を細くし、耳を大きくすることができる。オプションで、異なる年齢スライダ又は年齢プロファイル切り替えを提供して異なる年齢効果を与えることができる。例えば別の年齢プロファイルの結果として、キャラクタがやせるのではなく、年齢によって、顔が太り、頬が赤くなり、二重顎になり得る。
通常、骨格モデル、並びに骨格モデル及び重み付けブレンドシェイプに応じるメッシュ変形は、1つ又は複数のSPE 110A〜110Hによって計算される。結果としての変更されたメッシュが1つ又は複数のテクスチャと組み合わせてRSXユニット200によって使用されてアバターがレンダリングされる。変更されたメッシュはさらに操作されて、従来の又はデフォルトのアバターメッシュに関して為されるものとほぼ同様にしてアバターが動き、顔がアニメーションし、リップシンクが行われ、表情が示される。
ここで再び図5に戻って参照すると、ユーザがホーム環境にログインすると、PS3エンタテインメント装置は、変更された骨パラメータ及びブレンドシェイプ重みを含む、ユーザのアバターの構成詳細を、ホーム環境サーバ2010へ、又はオプションでピアツーピアで他のPS3 2031、2032、2033に、ホーム環境と同じインスタンス内で送信する。
同様に、PS3エンタテインメント装置はまた、ホーム環境サーバ又はピアPS3から、これもそれぞれの変更された骨パラメータ及びブレンドシェイプ重みを含む、他のアバターのそれぞれの構成詳細を、ホーム環境のインスタンス内で受信する。
次いで、PS3エンタテインメント装置10は、関連するブレンドシェイプ重み及び変更された骨パラメータに応じる、各アバターに対するメッシュ変形を計算してから、そのアバターに対して受信された他の構成詳細に従ってアバターをレンダリングする。
代替的な一実施形態では、ブレンドシェイプ重み及び骨パラメータを記述するデータではなく、変形したメッシュを記述するデータが送信され、それによって、受信側PS3が他のアバターのそれぞれに対して、メッシュに対するブレンドシェイプ重み及び骨パラメータの効果を計算する必要がなくなる。この場合、メッシュは従来のように、又はデフォルトのメッシュからの一組の偏差(deviations)(若しくは規定どおりのデフォルトの男性若しくは女性のメッシュ)として送信することができる。
したがって、本発明の一実施形態では、ホーム環境サーバは、各遠隔エンタイテインメント装置からのそれぞれのブレンドシェイプ重み及び変更されたアバター骨格を記述するデータを、ホーム環境のインスタンス内で受信すると共に、このデータをそれぞれの残りのPS3に送信するように動作可能である。代替的に、ホーム環境サーバは、各アバターに対するメッシュデータを、従来のメッシュフォーマットで、又はデフォルトのメッシュからの偏差として送信するように動作可能である。
したがって、ホーム環境サーバ及び2つ以上のPS3を備えるオンラインシステムによって、各PS3のユーザが、ユーザインターフェースに結合される骨格変更器及びブレンドシェイプ重み調整器によって自身のアバターをカスタマイズし、次いで、これらの変更されたアバターを、ホーム環境サーバを介してホーム環境内に分配してから、各PS3が該変更されたアバターが居住するホーム環境をレンダリングするようにすることが可能となる。
本発明の実施形態はホーム環境には限定されず、例えばオンラインゲーム内のように、複数のユーザがアバターを通じて互いに出会うことができる任意の複数参加型オンライン環境にも適用可能であることは、当業者には明らかであろう。
重み付けブレンドシェイプによって生成される、アバターの顔に対する民族的な変化を、格子デフォーマ(lattice deformer)若しくはスカルプトデフォーマのような他のデフォーマによって、又は異なるパラメータ値を有する、適切に配置される骨によって、又は上記の組合せによって達成することもできることは、当業者には理解されよう。
ここで図16を参照すると、本発明の一実施形態では、オンライン仮想環境におけるユーザ識別の方法は、第1のステップs10において、オンライン仮想環境内で使用するユーザアバターを選択すること(例えば、初期性別又はキャラクタクラス(character class)を選択すること)を含む。次いで第2のステップs20において、ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の物理特性をユーザインターフェースを介して変更する。第3のステップs30において、ユーザアバターの一部又はすべてを表現する三次元メッシュ内の頂点を、ユーザアバターの1つ又は複数の骨格構成要素の位置に応じて、このような頂点の配置が変更された骨格モデルの1つ又は複数の骨に応じるように調整する。次いでステップs40において、ユーザアバターを、変更されたユーザアバター骨格に応じるようにレンダリングする。
限定ではないが、
変更されたユーザアバター骨格を記述するデータを1つ又は複数の遠隔エンタテインメント装置に送信すること、
1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応するそれぞれの変更されたアバター骨格を記述するデータを受信すること、
1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応する複数のそれぞれのアバターをレンダリングすることであって、各アバターのレンダリングはそのそれぞれの変更されたアバター骨格に応じてレンダリングすること、
ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の物理特性を非対称に変更すること、
1つ又は複数のブレンドシェイプに従って三次元メッシュの頂点位置を変更すること、及び
ユーザアバター内に組み込む追加の骨格構成要素を選択すること、
を含む、本明細書において開示される装置のさまざまな実施形態の動作に対応する上記方法における変形形態が、本明細書の範囲内で考慮されることは、当業者には明らかであろう。
本発明の実施形態において、オンライン仮想環境におけるユーザ識別の方法の要素、並びに、本装置の対応する骨格モデリング手段、骨格変更手段、ブレンドシェイプ重み付け手段、ユーザ入力手段、及びレンダリング手段を、任意の適切な様式で実施することができることは、当業者には理解されよう。
したがって、従来の同様なエンタテインメント装置の既存の部分の適合を、フロッピー(登録商標)ディスク、光ディスク、ハードディスク、PROM、RAM、フラッシュメモリ若しくはこれらの記憶媒体若しくは他の記憶媒体の任意の組合せのようなデータキャリア上に記憶されるか、若しくは、イーサネット(登録商標)、無線ネットワーク、インターネット、若しくはこれらのネットワーク若しくは他のネットワークの任意の組合せ上のデータ信号を介して送信されるプロセッサ実行可能命令を含むコンピュータプログラム製品の形態で実施することができるか、又はハードウェア内で、ASIC(特定用途向け集積回路)若しくはFPGA(フィールドプログラマブルゲートアレイ)、若しくは従来の均等なデバイスの適合に使用するのに適切な他の構成可能回路として実現されることができる。

Claims (29)

  1. エンタテインメント装置であって、
    ユーザアバターの一部又はすべてを表現する三次元メッシュを、前記ユーザアバターの1つ又は複数の骨格構成要素の少なくとも第1の特性に応じて構成する骨格モデリング手段と、
    前記ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の特性を、ユーザインターフェースを介して変更する骨格変更手段と、
    前記変更されたユーザアバター骨格に応じて構成される前記三次元メッシュに従って前記ユーザアバターをレンダリングするレンダリング手段と、
    を備える、エンタテインメント装置。
  2. 前記エンタテインメント装置は、
    前記変更されたユーザアバター骨格を記述するデータを1つ又は複数の遠隔エンタテインメント装置に送信する送信手段と、
    1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応するそれぞれの変更されたアバター骨格を記述するデータを受信する受信手段と、
    を備え、
    前記レンダリング手段は、1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応する複数のそれぞれのアバターをレンダリングするように動作可能であり、各該アバターの該レンダリングは、そのそれぞれの変更されたアバター骨格に応じる、請求項1に記載のエンタテインメント装置。
  3. 遠隔エンタテインメント装置への送信、及び遠隔エンタテインメント装置からの受信はオンラインサーバを介する、請求項2に記載のエンタテインメント装置。
  4. 前記骨格変更手段の前記ユーザインターフェースは、前記ユーザアバターの1つ又は複数の骨格構成要素の非対称変更を可能にする、請求項1〜3のいずれか一項に記載のエンタテインメント装置。
  5. 非対称に変更することができる前記骨格構成要素は、
    i.眼の横方向位置、
    ii.眼の垂直方向位置、
    iii.耳の垂直方向位置、
    iv.鼻の位置、
    v.鼻の外形、
    vi.上部頭蓋形状、
    vii.上顔面形状、
    viii.下顔面形状、及び
    ix.顎輪郭、
    のうちの1つ又は複数を含む顔の特徴に関連する、請求項4に記載のエンタテインメント装置。
  6. 前記骨格変更手段の前記ユーザインターフェースは、前記ユーザアバター内に組み込む追加の骨格構成要素を選択することを可能にする、請求項1〜5のいずれか一項に記載のエンタテインメント装置。
  7. 前記追加の骨格構成要素は、
    i.眼鏡、
    ii.毛髪、
    iii.帽子、
    iv.ヘッドフォン、
    v.角、
    vi.羽飾り、及び
    vii.男性用下着、
    のうちの1つ又は複数を含む、請求項6に記載のエンタテインメント装置。
  8. ユーザアバターの一部又はすべてを表現する前記三次元メッシュに適用される1つ又は複数のテクスチャ層の1つ又は複数のパラメータを調整するテクスチャ構成要素調整手段を備える、請求項1〜7のいずれか一項に記載のエンタテインメント装置。
  9. 調整可能パラメータはテクスチャ透明度である、請求項8に記載のエンタテインメント装置。
  10. 調整可能パラメータは、テクスチャに適用されるバンプマッピングの度合いである、請求項8又は9に記載のエンタテインメント装置。
  11. 前記エンタテインメント装置は、前記ユーザインターフェースを介して前記三次元メッシュの頂点の位置を変更するように動作可能なメッシュ変形手段を備え、
    前記メッシュ変形手段は、前記ユーザアバターの一部又はすべてを表現する前記三次元メッシュに対してそれぞれ規定される複数の所定の三次元メッシュのうちの少なくとも1つのそれぞれの頂点位置に応じて、前記三次元メッシュの前記頂点の位置を変更するように動作可能であり、
    前記三次元メッシュが所定の三次元メッシュによって変更される範囲は、該所定の三次元メッシュに関連付けられるブレンド重みに依存し、前記ユーザインターフェースを介して調整可能であり、
    前記レンダリング手段は、前記メッシュ変更手段によって変更されている、前記変更された三次元メッシュに従って前記ユーザアバターをレンダリングするように動作可能である、請求項1〜10のいずれか一項に記載のエンタテインメント装置。
  12. 前記複数の所定の三次元メッシュのそれぞれの各前記頂点は、変形されていない前記三次元メッシュの対応する前記頂点の位置に対する位置的オフセットとして規定され、
    前記メッシュ変形手段は、それぞれのブレンド重みを乗算した前記複数の所定の三次元メッシュの各前記頂点に対する前記位置的オフセットの合計に、前記変更されていない三次元メッシュの前記頂点位置を加算した値に応じて、前記三次元メッシュの前記頂点の位置を変更するように動作可能である、請求項11に記載のエンタテインメント装置。
  13. 前記複数の所定の三次元メッシュのそれぞれは民族タイプに関連付けられる、請求項11又は12に記載のエンタテインメント装置。
  14. 複数参加型オンライン仮想環境を運営するように動作可能なサーバであって、
    複数の遠隔エンタテインメント装置からそれぞれの変更されたアバター骨格を記述するデータを受信する受信手段と、
    それぞれの変更されたアバター骨格を記述するデータを複数の遠隔エンタテインメント装置に送信する送信手段と、
    を備える、サーバ。
  15. 前記サーバは、弁別的な複数のアバターをそれぞれ含む複数の実質的に類似のオンライン仮想環境を維持するように動作可能であり、各前記アバターの骨格を記述するデータは、そのそれぞれのオンライン仮想環境の成員の間で分配される、請求項14に記載のサーバ。
  16. オンラインシステムであって、
    第1のエンタテインメント装置及び第2のエンタテインメント装置と、
    複数参加型オンライン仮想環境を運営するように動作可能なオンラインサーバと、
    を備え、
    前記第1のエンタテインメント装置は、
    ユーザアバターの一部又はすべてを表現する三次元メッシュを、前記ユーザアバターの1つ又は複数の骨格構成要素の少なくとも第1の特性に応じて構成する骨格モデリング手段と、
    前記ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の特性を、ユーザインターフェースを介して変更する骨格変更手段と、
    前記変更されたユーザアバター骨格に応じて構成される前記三次元メッシュに従って前記ユーザアバターをレンダリングするレンダリング手段と、
    前記変更されたユーザアバター骨格を記述するデータを前記第2のエンタテインメント装置に送信する送信手段と、
    を備え、
    前記第2のエンタテインメント装置は、
    前記第1のエンタテインメント装置から前記変更されたユーザアバター骨格を記述するデータを受信する受信手段と、
    前記変更されたアバター骨格に応じて構成される前記三次元メッシュに従って、前記第1のエンタテインメント装置の前記変更されたアバターをレンダリングするように動作可能であるレンダリング手段と、
    を備え、
    前記オンラインサーバは、
    前記第1のエンタテインメント装置から前記変更されたユーザアバター骨格を記述するデータを受信する受信手段と、
    前記変更されたユーザアバター骨格を記述するデータを前記第2のエンタテインメント装置に送信する送信手段と、
    を備える、オンラインシステム。
  17. オンライン仮想環境のためのアバターカスタマイズの方法であって、
    前記オンライン仮想環境において使用するユーザアバターを選択するステップと、
    前記ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の特性を、ユーザインターフェースを介して変更するステップと、
    前記ユーザアバターの一部又はすべてを表現する三次元メッシュを、前記ユーザアバターの1つ又は複数の骨格構成要素の少なくとも第1の特性に応じて構成するステップと、
    前記変更されたユーザアバター骨格に応じて構成される前記三次元メッシュに従って前記ユーザアバターをレンダリングするステップと、
    を含む、方法。
  18. 前記変更されたユーザアバター骨格を記述するデータを1つ又は複数の遠隔エンタテインメント装置に送信するステップと、
    1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応するそれぞれの変更されたアバター骨格を記述するデータを受信するステップと、
    1つ又は複数のそれぞれの遠隔エンタテインメント装置に対応する複数のそれぞれのアバターをレンダリングするステップであって、各該アバターの該レンダリングは、そのそれぞれの変更されたアバター骨格に応じる、レンダリングするステップと、
    を含む、請求項17に記載のアバターカスタマイズの方法。
  19. 前記ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の物理特性を変更するステップは、前記ユーザアバターの1つ又は複数の骨格構成要素の非対称変更を可能にする、請求項17又は18に記載のアバターカスタマイズの方法。
  20. 前記ユーザアバターの1つ又は複数の骨格構成要素の1つ又は複数の物理特性を変更するステップは、前記ユーザアバター内に組み込む追加の骨格構成要素を選択することを可能にする、請求項17〜19のいずれか一項に記載のアバターカスタマイズの方法。
  21. ユーザアバターの一部又はすべてを表現する三次元メッシュに適用される1つ又は複数のテクスチャ層の1つ又は複数のパラメータを調整するステップを含む、請求項17〜20のいずれか一項に記載のアバターカスタマイズの方法。
  22. 調整可能パラメータはテクスチャ透明度である、請求項21に記載のアバターカスタマイズの方法。
  23. 調整可能パラメータは、テクスチャに適用されるバンプマッピングの度合いである、請求項21又は22に記載のアバターカスタマイズの方法。
  24. 前記ユーザアバターの一部又はすべてを表現する前記三次元メッシュに対してそれぞれ規定される複数の所定の三次元メッシュのうちの少なくとも1つのそれぞれの頂点位置に応じて、前記ユーザインターフェースを介して前記三次元メッシュの頂点の位置を変形させるステップと、
    なお、前記三次元メッシュが所定の三次元メッシュによって変更される範囲は、該所定の三次元メッシュに関連付けられるブレンド重みに依存し、前記ユーザインターフェースを介して調整可能であり、
    前記三次元メッシュの頂点の位置を変形させるステップによって変形されている、前記変形された三次元メッシュに従って前記ユーザアバターをレンダリングするステップと、
    を含む、請求項17〜23のいずれか一項に記載のアバターカスタマイズの方法。
  25. 前記複数の所定の三次元メッシュのそれぞれの各前記頂点は、変形されていない前記三次元メッシュの対応する前記頂点の位置に対する前記位置的オフセットとして規定され、
    前記三次元メッシュの前記頂点の位置を変形させるステップは、それぞれのブレンド重みを乗算した前記複数の所定の三次元メッシュの各前記頂点に対する前記位置的オフセットの合計に、前記変形されていない三次元メッシュの前記頂点位置を加算した値に応じて、前記三次元メッシュの前記頂点の位置を変形させる、請求項24に記載のアバターカスタマイズの方法。
  26. 複数参加型オンライン仮想環境を運営する方法であって、
    複数の遠隔エンタテインメント装置からそれぞれの変更されたアバター骨格を記述するデータを受信するステップと、
    それぞれの変更されたユーザアバター骨格を記述するデータを複数の遠隔エンタテインメント装置に送信するステップと、
    を含む、方法。
  27. 前記方法は、弁別的な複数のアバターをそれぞれ含む複数の実質的に類似のオンライン仮想環境を維持するステップを含み、各前記アバターの骨格を記述するデータは、そのそれぞれのオンライン仮想環境の成員の間で分配される、請求項26に記載の複数参加型オンライン仮想環境を運営する方法。
  28. 請求項17〜27のいずれか一項に記載の方法を実施するためのコンピュータプログラム。
  29. 請求項28に記載のコンピュータプログラムを搬送するデータキャリア。
JP2010514129A 2007-07-06 2008-07-04 アバターカスタマイズの装置及び方法 Pending JP2010532890A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0713186A GB2450757A (en) 2007-07-06 2007-07-06 Avatar customisation, transmission and reception
PCT/GB2008/002321 WO2009007701A1 (en) 2007-07-06 2008-07-04 Apparatus and method of avatar customisation

Publications (2)

Publication Number Publication Date
JP2010532890A true JP2010532890A (ja) 2010-10-14
JP2010532890A5 JP2010532890A5 (ja) 2011-07-21

Family

ID=38440552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010514129A Pending JP2010532890A (ja) 2007-07-06 2008-07-04 アバターカスタマイズの装置及び方法

Country Status (5)

Country Link
US (1) US20100203968A1 (ja)
EP (1) EP2175950A1 (ja)
JP (1) JP2010532890A (ja)
GB (1) GB2450757A (ja)
WO (1) WO2009007701A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014199536A (ja) * 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント 顔モデル生成装置、顔モデル生成装置の制御方法、及びプログラム
JP2018089230A (ja) * 2016-12-06 2018-06-14 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10238968B2 (en) 2016-12-06 2019-03-26 Colopl, Inc. Information processing method, apparatus, and system for executing the information processing method
JP2019175213A (ja) * 2018-03-29 2019-10-10 国立研究開発法人情報通信研究機構 モデル解析装置、モデル解析方法、およびモデル解析プログラム
JP6818219B1 (ja) * 2020-05-29 2021-01-20 株式会社PocketRD 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
WO2021106553A1 (ja) * 2019-11-25 2021-06-03 ソニーグループ株式会社 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース
JP2021527862A (ja) * 2019-05-15 2021-10-14 浙江商▲湯▼科技▲開▼▲発▼有限公司Zhejiang Sensetime Technology Development Co., Ltd. 仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体
JP2022043272A (ja) * 2021-03-24 2022-03-15 北京百度網訊科技有限公司 アバタの生成方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
JP7382112B1 (ja) 2023-01-25 2023-11-16 Kddi株式会社 情報処理装置及び情報処理方法

Families Citing this family (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8632400B2 (en) 2007-04-30 2014-01-21 Patent Investment & Licensing Company Gaming device with personality
US8446414B2 (en) * 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
US20120246585A9 (en) * 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US8384719B2 (en) * 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US20100035692A1 (en) * 2008-08-08 2010-02-11 Microsoft Corporation Avatar closet/ game awarded avatar
US8473356B2 (en) * 2008-08-26 2013-06-25 International Business Machines Corporation System and method for tagging objects for heterogeneous searches
US8704832B2 (en) 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US8460107B2 (en) 2008-10-09 2013-06-11 Wms Gaming, Inc. Controlling and presenting virtual wagering game environments
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8941642B2 (en) * 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
JP2010134798A (ja) * 2008-12-05 2010-06-17 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム装置、及びゲームシステム
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
JP4843060B2 (ja) * 2009-02-05 2011-12-21 株式会社スクウェア・エニックス ゲーム装置、ゲームキャラクタの表示方法、ゲームプログラム及び記録媒体
US20100259547A1 (en) 2009-02-12 2010-10-14 Mixamo, Inc. Web platform for interactive design, synthesis and delivery of 3d character motion data
US20100231582A1 (en) * 2009-03-10 2010-09-16 Yogurt Bilgi Teknolojileri A.S. Method and system for distributing animation sequences of 3d objects
US8788943B2 (en) * 2009-05-15 2014-07-22 Ganz Unlocking emoticons using feature codes
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
US8771064B2 (en) 2010-05-26 2014-07-08 Aristocrat Technologies Australia Pty Limited Gaming system and a method of gaming
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US8843585B1 (en) 2010-07-06 2014-09-23 Midnight Studios, Inc. Methods and apparatus for generating a unique virtual item
JP5134653B2 (ja) * 2010-07-08 2013-01-30 株式会社バンダイナムコゲームス プログラム及びユーザ端末
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US9345973B1 (en) 2010-08-06 2016-05-24 Bally Gaming, Inc. Controlling wagering game system browser areas
WO2012019167A1 (en) 2010-08-06 2012-02-09 Wms Gaming, Inc. Browser based heterogenous technology ecosystem
JP5620743B2 (ja) * 2010-08-16 2014-11-05 株式会社カプコン 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム
US20130031475A1 (en) * 2010-10-18 2013-01-31 Scene 53 Inc. Social network based virtual assembly places
US8832284B1 (en) 2011-06-16 2014-09-09 Google Inc. Virtual socializing
US10049482B2 (en) 2011-07-22 2018-08-14 Adobe Systems Incorporated Systems and methods for animation recommendations
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US20140364239A1 (en) * 2011-12-20 2014-12-11 Icelero Inc Method and system for creating a virtual social and gaming experience
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US10147146B2 (en) * 2012-03-14 2018-12-04 Disney Enterprises, Inc. Tailoring social elements of virtual environments
US20130296046A1 (en) * 2012-03-30 2013-11-07 Marty Mianji System and method for collaborative shopping through social gaming
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US20140078144A1 (en) * 2012-09-14 2014-03-20 Squee, Inc. Systems and methods for avatar creation
CN103218844B (zh) * 2013-04-03 2016-04-20 腾讯科技(深圳)有限公司 虚拟形象的配置方法、实现方法、客户端、服务器及系统
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US10283162B2 (en) * 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US9536138B2 (en) 2014-06-27 2017-01-03 Microsoft Technology Licensing, Llc Dynamic remapping of components of a virtual skeleton
US10217185B1 (en) * 2014-08-08 2019-02-26 Amazon Technologies, Inc. Customizing client experiences within a media universe
GB2531549A (en) * 2014-10-21 2016-04-27 Sony Computer Entertainment Europe Ltd System and method of watermarking
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10213688B2 (en) * 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US9868059B2 (en) 2015-10-21 2018-01-16 Activision Publishing, Inc. Interactive videogame using game-related physical objects
CN105426039A (zh) * 2015-10-30 2016-03-23 广州华多网络科技有限公司 一种推送进场图像的方法和装置
US20170173473A1 (en) * 2015-12-16 2017-06-22 Crytek Gmbh Apparatus and method for automatically generating scenery
US10475225B2 (en) * 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US10062198B2 (en) 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10769860B2 (en) * 2016-10-31 2020-09-08 Dg Holdings, Inc. Transferrable between styles virtual identity systems and methods
US10930086B2 (en) 2016-11-01 2021-02-23 Dg Holdings, Inc. Comparative virtual asset adjustment systems and methods
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11409407B2 (en) 2017-04-27 2022-08-09 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR102585858B1 (ko) 2017-05-16 2023-10-11 애플 인크. 이모지 레코딩 및 전송
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11069112B2 (en) * 2017-11-17 2021-07-20 Sony Interactive Entertainment LLC Systems, methods, and devices for creating a spline-based video animation sequence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
CN111386553A (zh) 2017-11-29 2020-07-07 斯纳普公司 用于电子消息传递应用的图形渲染
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10467793B2 (en) * 2018-02-08 2019-11-05 King.Com Ltd. Computer implemented method and device
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
EP3782124A1 (en) 2018-04-18 2021-02-24 Snap Inc. Augmented expression system
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
US20210166461A1 (en) * 2018-07-04 2021-06-03 Web Assistants Gmbh Avatar animation
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
EP3871194A4 (en) 2018-10-26 2022-08-24 Soul Machines Limited SYSTEM AND METHOD FOR GENERATING AND BLENDING DIGITAL CHARACTERS
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
CN111899321B (zh) * 2020-08-26 2023-09-26 网易(杭州)网络有限公司 一种虚拟角色表情展现的方法和装置
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11688117B2 (en) 2020-11-04 2023-06-27 Sony Group Corporation User expressions in virtual environments
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11562536B2 (en) * 2021-03-15 2023-01-24 Tencent America LLC Methods and systems for personalized 3D head model deformation
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11102450A (ja) * 1997-07-31 1999-04-13 Matsushita Electric Ind Co Ltd 3次元仮想空間を表すデータストリームを送受信する装置及び方法
JP2001216531A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想空間参加者表示方法及び3次元仮想空間表示装置
JP2002508867A (ja) * 1997-06-25 2002-03-19 ハプテック,インコーポレイティド 2次元および3次元画像の変換制御用の方法および装置
JP2004506276A (ja) * 2000-08-10 2004-02-26 エンキュビク コーポレーション 3次元顔モデリングシステム及びモデリング方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934874A (ja) * 1995-07-21 1997-02-07 Nippon Telegr & Teleph Corp <Ntt> 分散協調空間構成方法及びシステム
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5909218A (en) * 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
CA2227361A1 (en) * 1998-01-19 1999-07-19 Taarna Studios Inc. Method and apparatus for providing real-time animation utilizing a database of expressions
US6545682B1 (en) * 2000-05-24 2003-04-08 There, Inc. Method and apparatus for creating and customizing avatars using genetic paradigm
WO2005020129A2 (en) * 2003-08-19 2005-03-03 Bandalong Entertainment Customizable avatar and differentiated instant messaging environment
US7388580B2 (en) * 2004-05-07 2008-06-17 Valve Corporation Generating eyes for a character in a virtual environment
US20070268293A1 (en) * 2006-05-19 2007-11-22 Erick Miller Musculo-skeletal shape skinning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002508867A (ja) * 1997-06-25 2002-03-19 ハプテック,インコーポレイティド 2次元および3次元画像の変換制御用の方法および装置
JPH11102450A (ja) * 1997-07-31 1999-04-13 Matsushita Electric Ind Co Ltd 3次元仮想空間を表すデータストリームを送受信する装置及び方法
JP2001216531A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想空間参加者表示方法及び3次元仮想空間表示装置
JP2004506276A (ja) * 2000-08-10 2004-02-26 エンキュビク コーポレーション 3次元顔モデリングシステム及びモデリング方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200700554009; 増田 隆 Takashi MASUDA: 'Facial Action Coding Systemに基づく表情アニメーションの制作 Making of Sh' 映像情報メディア学会技術報告 Vol.31 No.20 ITE Technical Report Vol.31 No.20, 20070316, P.31-34, (社)映像情報メディア学会 The Institute of Image *
JPN6012031398; 増田 隆 Takashi MASUDA: 'Facial Action Coding Systemに基づく表情アニメーションの制作 Making of Sh' 映像情報メディア学会技術報告 Vol.31 No.20 ITE Technical Report Vol.31 No.20, 20070316, P.31-34, (社)映像情報メディア学会 The Institute of Image *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014199536A (ja) * 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント 顔モデル生成装置、顔モデル生成装置の制御方法、及びプログラム
JP2018089230A (ja) * 2016-12-06 2018-06-14 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10238968B2 (en) 2016-12-06 2019-03-26 Colopl, Inc. Information processing method, apparatus, and system for executing the information processing method
US10894211B2 (en) 2016-12-06 2021-01-19 Colopl, Inc. Information processing method, apparatus, and system for executing the information processing method
JP7100842B2 (ja) 2018-03-29 2022-07-14 国立研究開発法人情報通信研究機構 モデル解析装置、モデル解析方法、およびモデル解析プログラム
JP2019175213A (ja) * 2018-03-29 2019-10-10 国立研究開発法人情報通信研究機構 モデル解析装置、モデル解析方法、およびモデル解析プログラム
JP7126001B2 (ja) 2019-05-15 2022-08-25 浙江商▲湯▼科技▲開▼▲発▼有限公司 仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体
JP2021527862A (ja) * 2019-05-15 2021-10-14 浙江商▲湯▼科技▲開▼▲発▼有限公司Zhejiang Sensetime Technology Development Co., Ltd. 仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体
WO2021106553A1 (ja) * 2019-11-25 2021-06-03 ソニーグループ株式会社 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース
JP2021189725A (ja) * 2020-05-29 2021-12-13 株式会社PocketRD 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
WO2021240848A1 (ja) * 2020-05-29 2021-12-02 株式会社PocketRD 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
JP6818219B1 (ja) * 2020-05-29 2021-01-20 株式会社PocketRD 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
JP2022043272A (ja) * 2021-03-24 2022-03-15 北京百度網訊科技有限公司 アバタの生成方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
JP7382112B1 (ja) 2023-01-25 2023-11-16 Kddi株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
GB2450757A (en) 2009-01-07
EP2175950A1 (en) 2010-04-21
GB0713186D0 (en) 2007-08-15
US20100203968A1 (en) 2010-08-12
WO2009007701A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
JP2010532890A (ja) アバターカスタマイズの装置及び方法
JP5026531B2 (ja) データ転送装置および方法
JP5021043B2 (ja) 娯楽装置および方法
JP5558114B2 (ja) エンタテインメント装置、サーバ、方法および記憶媒体
JP5137974B2 (ja) エンタテインメント装置および方法
US20100030660A1 (en) Apparatus and method of on-line transaction
JP5562764B2 (ja) オンラインレポーティング装置および方法
JP5059189B2 (ja) データ転送装置および方法
US8606904B2 (en) Apparatus and method of administering modular online environments
US20130132837A1 (en) Entertainment device and method
US20100060662A1 (en) Visual identifiers for virtual world avatars
GB2447020A (en) Transmitting game data from an entertainment device and rendering that data in a virtual environment of a second entertainment device
GB2461175A (en) A method of transferring real-time multimedia data in a peer to peer network using polling of peer devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113