JP2002523156A

JP2002523156A - 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム

Info

Publication number: JP2002523156A
Application number: JP2000565981A
Authority: JP
Inventors: マラルトラオウル; シンハアトュル
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1998-08-24
Filing date: 1999-08-23
Publication date: 2002-07-30
Anticipated expiration: 2019-08-23
Also published as: JP5160704B2; CN1275091A; EP1047481A1; WO2000010663A1

Abstract

(57)【要約】クライアントサーバ・ネットワーク上での放送アプリケーションにおいて、インターネットを介して多数のクライアントに対して、アニメーションデータのストリーミングをエミュレーションする。このアニメーションは、一連の状態であると考えられる。グラフィックスデータ自体の代わりとして状態情報を複数のクライアントへ送出する。クライアントは、この情態情報の管理下、アニメーションデータを生成する。サーバとクライアントは、共有オブジェクトプロトコルを用いて通信を行なう。従って、サーバネットワークの帯域幅の問題に悩まされることなく、放送と同じようにストリーミングを達成することができる。このアプローチを用いて、ユーザを仮想環境に参加させ、本物のプロと対戦することができるように、自動車レースなどの現実のイベントを仮想環境上にマッピングする。仮想環境は、ユーザに送られた情態変化により動的に決定される。

Description

【発明の詳細な説明】

【０００１】関連する出願についての表示本出願は、１９９８年８月２４日に提出された米国特許出願第09/138782号(代
理人整理番号PHA23491)、ラオウル・モルアート（Raoul Mallart）、アツル・シ
ンハ（Atul Sinha）による「放送アプリケーションにおいてインターネットを介
するストリーミングのエミュレーション」の一部継続出願である。

【０００２】本発明は、ネットワークを介してマルチメディアファイルをストリーミングす
ることに関するものである。より詳細には、放送において、インターネットを介
してグラフィックスやビデオアニメーションのストリーミングをエミュレーショ
ンすることに関するものである。特に、グラフィックスやビデオアニメーション
によって作成された環境とエンドユーザが対話することをできるようにすること
に関するものである。

【０００３】用語「ストリーミング」は、受信側において一定、かつ、連続するストリーム
として処理することができるように、データをサーバからクライアントへ送出す
ることを意味するものである。大部分のユーザは、例えばグラフィックス・アニ
メーション、オーディオ、ビデオ、或いは、これらを組み合わせたものなどを含
む巨大なマルチメディアのファイルをダウンロードするのに十分速いアクセス手
段を持たないため、ストリーミング技術は、インターネットの発展に伴い、ます
ます重要になりつつある。ストリーミングを用いれば、ファイル全体を受け取る
前に、受け取ったデータの処理をクライアントのブラウザやプラグイン・ソフト
ウェアが開始することができるようになる。ストリーミングを機能させるために
は、ファイルを受け取るクライアント側で、データを収集し、収集したデータを
一定のストリームとして、データを処理するアプリケーションへ送出することが
できる必要がある。このことは、クライアントが必要とするより速くデータを受
け取った場合、この余分なデータをバッファしておく必要がある、ということを
意味する。他方、データが時間通りに到着しなかった場合、データ表示がもたつ
いてしまう。

【０００４】用語「ファイル」は、本明細書では、データ処理に利用することができ、かつ
、エンティティとして処理することができる、関連するデータ項目のエンティテ
ィを意味するものとして用いることとする。本発明においては、用語「ファイル
」は、記憶装置から取り出したデータのみならず、リアルタイムで生成されるデ
ータを意味することもある。

【０００５】インターネットを介してグラフィックスデータの通信を行う現在利用可能な技
術や開発中の技術の中には、ＶＲＭＬ９７及びＭＰＥＧ４がある。ＶＲＭＬ９７
は、「バーチャル・リアリティ・モデリング・ランゲージ」を意味するものであ
って、インターネットにおけるインタラクティブな３Ｄマルティメディアコンテ
ンツを記述する国際標準規格（ISO/IEC14772）のファイルフォーマットである。
ＭＰＥＧ４は、ＭＰＥＧ（動画像専門部会；Motion Picture Experts Group）に
よって策定されたISO/IEC標準規格である。このいずれの標準規格においても、
映像のコンテンツは、いわゆるシーングラフ（scene graph）で構築される。シ
ーングラフは、正確にグラフィックス・ワールド（graphics world）を集合的に
記述する座標系及び形状の親子木構造を有するものである。このシーンの親子木
構造における最上位項目は、ワールド座標系である。このワールド座標系は、１
以上の子の座標系及び形状の親として機能する。これらの子座標系は、今度は、
さらに子である座標系及び形状の親となる。

【０００６】ＶＲＭＬは、オブジェクトを記述するファイルフォーマットである。ＶＲＭＬ
は、３Ｄグラフィックス、マルチメディア、及び、インタラクティブなオブジェ
クト／ワールドのビルディングを記述するのに役立つ一組のオブジェクトを記述
するものである。これれのオブジェクトは、ノードと呼ばれ、フィールド内に格
納される基本的なデータやイベントを含むものである。典型的には、このシーン
グラフは、構造ノード、リーフノード、インターポレイションノード、センサノ
ードを含むものである。構造ノードは、あるシーンの中のオブジェクトの空間的
関係を記述するものである。リーフノードは、オブジェクトの物理的外観を記述
するものである。インターポレイションノードは、アニメーションを記述する。
センサノードは、個々のユーザの入力感覚に対するユーザの相互作用を記述する
。ＶＲＭＬは、サーバからクライアントへ流れるデータのストリーミングを直接
にはサポートしない。ストリーミングにおいて不可欠である、ストリームとタイ
ムスタンプとの間の同期化などの機能は、ＶＲＭＬには存在しない。しかしなが
ら、ＶＲＭＬは、外部プログラムがＶＲＭＬクライアントと対話することができ
る機構を有する。これは、スポーツのアプリケーションでクライアントにアニメ
ーションデータをロードするのに用いられている。例として、オーラッド・ハイ
テックシステム社（Orad Hi-Tec System, Ltd）の「バーチャルライブ・サッカ
ー」（http://www.virtualive.com）を参照されたい。このウェブの資料には、
インターネットを介して配信するために、現実のサッカー試合のハイライトをシ
ュミレーションする、現実感がある動画による３次元グラフィックの場面を生成
するプロセスが述べられている。このシステムは、テレビのスポーツ番組を、ほ
ぼリアルタイムで補完する、マルチメディアリッチのウェブページで、コンテン
ツを生成する。この場合、プロセスは、２つのステップで機能する。最初に、ス
タジアム及びサッカープレイヤーのグラフィックスモデルが、外部プログラム（
本例ではJavaアプレット）と共にダウンロードされる。その後、ユーザは、外部
プログラムと対話し、個々のアニメーションを要求する。そして、このアニメー
ションに対するデータが、クライアントにダウンロードされ、ユーザは、このデ
ータと対話する。ユーザは、アニメーションの中において、種々の視点から試合
のシーンを観覧することができる。所望であれば、スローモーションで観覧する
こもできる。ノードタイプに関しては、このプロセスでは、はじめに構造ノード
及びリーフノードをダウンロードし、その後、インターポレイションノードをダ
ウンロードする。インターポレイションノードのセットを変更することによって
、種々のアニメーションシーケンスを再生することが可能となる。この例で用い
られるプロセスは、全てのモデル（構造ノード）及び全てのアニメーションデー
タ（インターポレイタノード）を収容する完全なＶＲＭＬファイルを、ユーザが
選択することができる単一ステップのプロセスに相当するものである。このアプ
ローチでは、クライアント上で何らかのコンテンツを再生する前に、長時間のダ
ウンロードを招く結果となる。このことは、特に、コンテンツを即座に得られる
ＴＶ放送と比較すると、フラストレーションを感じさることとなる。

【０００７】上述したその他の技術、即ちＭＰＥＧ４では、ＶＲＭＬ９７と広く重複するバ
イナリ・ディスクリプション・フォーマット・フォー・シーン（BIFS）が定義さ
れている。一方、ＭＰＥＧ４は、ビデオと同様にグラフィックスのストリーミン
グをサポートするように設計されてきた。ＭＰＥＧ４では、シーンを更新、アニ
メーション化するための２つのクライアントサーバ・プロトコル、即ち、ＢＩＦ
Ｓ−更新及びＢＩＦＳ−アニメーションが、規定されている。ユーザは、アニメ
ーションデータが完全にダウンロードされるのを待つ必要はない。例えば、前述
したサッカー試合の放送アプリケーションでは、サッカー選手及びスタジアムの
モデルがダウンロードされると即座に、アニメーションは開始する。更にＭＰＥ
Ｇ４には、圧縮バイナリフォーマットを用いるＢＩＦＳ伝送プロトコルのおかげ
でより効率的であるという利点がある。

【０００８】ストリーミングの場合は、上述した既存の技術では、幾つかの制限、特に多数
のクライアントに対する放送においては、帯域幅の利用、パケット損失の隠蔽及
び回復、及び、マルチユーザの対話性などに関し制限がある。

【０００９】帯域幅に関しては、完全なアニメーションがサーバ上で生成される。このこと
によって、例えば、大量のデータを、クライアントとサーバを繋ぐインターネッ
トなどのネットワークを介して伝送する必要性を生ずることとなる。例えば、前
述したサッカーの放送アプリケーションでは、２２人のサーカー選手をアニメー
ション化する必要がある。個々の選手毎の各アニメーションのデータポイント（
data point）は、３Ｄ空間上の位置、及び、例えば、一組の選手の姿勢をモデリ
ングする１５個の関節、を含むものである。これは、６３個の浮動小数点の値で
表わされる。アニメーションの更新レートを１秒間に１５個のデータポイントと
すれば、６６５Kbpsのビットレートが必要である。このビットレートは、圧縮す
ることによって、減少させることができる。典型的には、ＢＩＦＳを使用すると
、ビットレートは２０分の１まで減少し、約３３Kbpsのビットレートを得ること
ができる。しかしながら、このビットレートは、インターネットプロトコル（Ｒ
ＴＰ、ＵＤＰ、ＩＰ）及び音声などのその他のデータタイプに要するオーバーヘ
ッドを何ら考慮していないものである。しかしながら、現在市販されている典型
的なモデムの性能は、28.8Kbps或いは33.6Kbpsである。アニメーションのストリ
ーミングでは、帯域幅の制限のため、エンドユーザで問題が発生するのは明らか
である。多数のクライアント、例えば100,000のクライアントへの放送の場合、
データストリームは、幾つかのルータ上で複製する必要があるであろう。インタ
ーネット上のルータは、パケットが、その最終的な目的地へ向かう途中において
次に転送されるべき、次のネットワーク地点を判断する。このルータは、接続し
ているネットワークの現在の状況の把握に基づき、各々の情報パケットを送るル
ートを決定する。ルータは、ネットワークやゲートウェイの任意の連結点に位置
するものであって、インターネットの現状の連結点もこれに含まれる。明らかな
ことは、この放送によって、インターネット全体において、管理不能なデータの
爆発を発生し得るということである。これの発生を防止するためには、実際の帯
域幅を28.8Kbpsよりかなり低く制限しなければならない。

【００１０】パケット損失の隠蔽に関しては、ＶＲＭＬ型のシステムでは、信頼できるプロ
トコル（ＴＣＰ）を利用している。即ち、ここでは、パケット損失は問題となら
ない。ＭＰＥＧ４の場合、ＢＩＦＳは、ＲＴＰ、ＵＤＰ、及びＩＰを利用する。
従って、パケット損失を回復させる機構が必要となる。ポイント・ツウ・ポイン
ト型(point-to-point)のアプリケーションでは、損失したパケットの再伝送を考
慮しなければならない。しかしながら、放送の場合、より複雑となる。しかしな
がら、いずれの場合とも、ＭＰＥＧの信頼性は、より高い帯域幅使用（冗長性）
か、より長いレイテンシ（再伝送）か、のいずれかを必要とする。

【００１１】マルチユーザのインタラクティビティに関しては、ＶＲＭＬ及びＭＰＥＧ４の
いずれも、本質的にはクライアントサーバ通信に基づいている。複数のクライア
ントの間で通信を行うことについては、何ら支障はない。

【００１２】ＶＲＭＬに関するより詳細な情報については、 HYPERLINK http://sgi.felk.c
vut.cz/~holecek/VRML/concepts.html http://sgi.felk.cvut.cz/~holecek/VRML
/concepts.htmlにおける1996年3月5日の「重要な概念（key concepts）」、或い
は、 HYPERLINK http://www.stl.nps.navy.mil/~brutzman/vrml/vrml_95.html h
ttp://www.stl.nps.navy.mil/~brutzman/vrml/vrml_95.htmlにおいて入手可能な
1996年1月23日のデー・ピー・ブルッツマン（D.P.Brutzman）他による「仮想環
境のためのインターネットワーク基盤の要件」を参照されたい。

【００１３】ＭＰＥＧ４に関するより詳細な情報については、 HYPERLINK http://drogo.cs
elt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm http://drogo.cselt.stet.it/
mpeg/standards/mpeg-4/mpeg-4.htmにおいて入手可能な1998年7月のロブ・コー
ネン（Rob Koenen）の編集による「ＭＰＥＧ４標準規格の概要」（ISO/IEC JTC1
/SC29/WG11 N2323）を参照されたい。

【００１４】発明の目的従って、本発明の目的は、クライントが、マルチメディアのデータをあたかも
一定で連続するストリームであるかのように、処理することをできるようにする
技術を提供することである。その他の目的としては、インターネットを介する放
送において多数のクライアント上で連続処理を可能にすることをできるようにす
ることである。上で確認した問題は、放送のアプリケーションにおいては、かな
り深刻な問題であることに留意されたい。その他の目的としては、この技術を用
いて、連続的に展開される電子的な仮想環境内を、ユーザが操縦することができ
るインタラクティブなソフトウェアアプリケーションを作り出すことである。

【００１５】発明の概要この目的を達成するために、本発明は、ネットワークに接続された受信局に対
して、ネットワークを介してマルチメディアファイルのストリーミングをエミュ
レーションする方法を提供する。このファイルの各状態を表わすそれぞれの状態
情報を提供する。この受信局は、ネットワークを介してそれぞれの状態情報を受
け取ることができ、それぞれの状態情報の管理下においてローカルでマルチメデ
ィアファイルを生成することができる。アニメーションの放送においては、本発
明は、グラフィックスのアニメーションを表示するためにネットワークを介して
データを提供する方法に関するものである。アニメーションの連続する各々の状
態を記述するそれぞれの状態情報を、ネットワークを介して、提供する。このそ
れぞれの状態情報を、ネットワークを介して受け取る。この受信局が情報を受け
取った後、それぞれの状態情報の制御下においてアニメーションを生成すること
ができるようにする。より詳細には、本発明は、連続的に展開されるる電子的な
仮想環境においてユーザが操縦することができる方法を提供することである。こ
の方法は、環境のワールドモデルをユーザに提供すること、展開を表わすワール
ドモデルの状態変化を送出すること、仮想環境に対するオブジェクトの位置を制
御するための入力をユーザが供給し得るようにすること、状態変化とユーザの入
力とに反応して、ワールドモデルから環境を作ること、を特徴とする。

【００１６】本発明においては、マルチメディアファイル（アニメーション、ビデオ、或い
はオーディオのファイル）を、一連の状態として記述する。クライアントへ伝送
されるものは、アニメーションデータではなく、この状態情報である。従って、
用語「エミュレーション」では、クライアントとやり取りされる情報は、ストリ
ームする必要がないことを強調するものである。クライアントは、受け取った状
態情報に基づき、ローカルで対戦するためにデータを生成する。従って、このユ
ーザは、対戦中に、あたかもデータがネットワークを介してストリームされてい
るかのように（最適な状況下では）、連続的で一定のデータのストリームである
と知覚する。

【００１７】好適な実施態様では、共有オブジェクトプロトコルを用いて、このエミュレー
ションを実現する。サーバもクライアントも、オブジェクトの収集のコピーを有
する。オブジェクトとは、状態情報を持つデータ構造である。仮想のサッカー試
合の場合は、オブジェクトは、例えば、１人のサッカー選手を表わすグラフィッ
クスである。サーバーは、ストリームされたビデオファイルを受け取り、オブジ
ェクトをモニタする。ＭＰＥＧ４では、エンティティとして処理することができ
るビデオオブジェクトを生成することができる点に注意されたい。従って、サー
バがこのオブジェクトの状態を変化させる場合、この変化に応じて、共有オブジ
ェクトプロトコルは、クライアントにおいてコピーを変化させる。これについて
、図面を参照しながらより詳細に説明する。

【００１８】この状態情報は、アニメーションデータ自体よりも、高い抽象レベルの情報で
ある。例えば、上述したサッカー試合の放送アプリケーションでは、この状態情
報には、競技場における２２人の選手の現在位置、及び、選手達の現在の動作（
例えば、「走る」、「ジャンプする」）を指定するパラメータ、が含まれる。よ
り高いレベルの情報を利用すると、特に、アニメーションがインターネットを介
して多くの観衆にストリーミングされる放送アプリケーションにおいては、幾つ
かの利点がある。インターネットを介してやり取りされる状態情報のコンテンツ
は、非常にコンパクトなものであり、従って、アニメーション自体をストリーミ
ングするよりも、より少ない帯域幅しか必要としない。このアニメーションは、
ローカルにおいて、数個のパラメータから生成される。更に、アニメーションの
状態は、アニメーションデータ自体よりも遅いレートで変化するため、アニメー
ションのデータポイントの更新レートは、より低いものとなる。このことは、必
要な帯域幅を更に低減することに寄与する。更に、本発明は、パケット損失の隠
蔽や回復、或いは、ネットワークレイテンシのジッタのマスキングなどの向上に
寄与する。状態の間において補間したり外挿したりすること、或いは、推測操縦
法を実現することは、容易である。より高い抽象レベルの情報を使用するため、
ユーザがアニメーションと対話することを、より容易にプログラムすることがで
きる。その他の利点としては、クライアントが状態情報を共有することができる
場合には、マルチユーザの対話が可能となることである。更に、その他の利点と
しては、クライアントが、クライアント毎にで異なるであろう個々の演算能力に
基づき、状態情報をアニメーションに変換することができるという事実である。
クライアントにおいて利用可能な資源は、クライアント毎に、或いは、クライア
ントの属するグループによって異なるものであってもかまわない。

【００１９】本願は、本願と同一の譲受人による米国特許出願第09/053,448号（PHA23,383
）、タイトル「放送イベントの３Ｄグラフィックスモデルを用いるグループでの
ビデオ会議」の全てを参照によって包含するものである。この文献は、地理的に
分散した複数のエンドユーザに対するテレビ放送のサービスを扱うものである。
この放送サービスは、会議モードと一体化している。放送におけるあるイベント
に基づき、複数のエンドユーザを含む特定のグループは、このグループの者がこ
のイベントについて議論することができるように、ソフトウェアの管理下におい
て会議モードに変わる。この会議モードは、イベントを表わすビデオの３Ｄグラ
フィックスモデルによって、即ち、グループへダウンロードすることによって機
能する。

【００２０】本発明について、添付する図面を参照しながら実施例を用いて説明する。全て
の図面を通じて、同じ符号番号は、同様の或いは相当する機能を意味するもので
ある。

【００２１】好適な実施態様図１は、ＶＲＭＬに基づくクライアントサーバ・システム１００のブロック図
である。システム１００は、通信チャネル１０６を介して、即ちこの場合はイン
ターネットを介してクライアント１０４に結合されたサーバ１０２を具える。シ
ステム１００には、複数のクライアントを設けることも可能であるが、図面を明
瞭にするためにここでは示さない。サーバ１０２は、ソース符号化器１０８、及
び、チャネル符号化器を具えるも。クライアント１０４は、チャネル復号器１１
２、及び、ソース復号器１１４を具える。ソース符号化器１０８は、コンテンツ
を生成するツールであると考えられる。ツールとしては、例えば、ビデオ上のモ
ーションキャプチャ装置（図には示さず）からＶＲＭＬのアニメーションデータ
を生成するものなどが挙げられる。チャネル符号化器１１０は、サブシステムで
あって、ソース符号化器１０８で生成されたＶＲＭＬのアニメーションデータを
入力として受け取り、このデータを、インターネットを介して伝送できる形態に
変換するものである。このＶＲＭＬのアニメーションデータを、ファイル内に格
納する。このファイルの伝送には、標準のファイル・トランスファー・プロトコ
ルを使用する。クライアント１０４では、チャネル復号器は、外部プログラム１
１６内に収容されている。外部プログラムは、ダウンロードしたファイルからア
ニメーションデータを受け取り、これを、ソース復号機能を実施するＶＲＭＬプ
レイヤー１１８へ渡す。このソース復号機能は、本質的にはシーングラフの管理
上である。このクライアントサーバの通信手順は、ストリーミングによる解決策
ではない。ＶＲＭＬの仕様は、ストリーミングの要件を考慮していない。ストリ
ーミングにおいては必須のものである、ストリーム及びタイムスタンプの間の同
期化などの機能は、VRMLには存在しない。

【００２２】図２は、MPEG4に基づくクライアントサーバシステムのブロック図である。シ
ステム２００は、チャネル２０６を介してクライアント２０４に結合されたサー
バー２０２を具える。サーバ２０２は、ソース符号化器２０８及びチャネル符号
化器２１０を具える。クライアント２０４は、チャネル復号器２１２及びソース
復号器２１４を具える。上述したように、MPEG４は、ストリーミングをサポート
するように設計されたものである。中でも特に、MPEG4では、VRML９７と広く重
複しているBIFSを規定している。更に、MPEG4は、シーンを更新し、アニメーシ
ョン化する２つのクライアントサーバプロトコル、即ち、BIFS−更新、BIFS−ア
ニメーションを規定している。ストリーミングに関して、VRMLよりもMPEG４が勝
る点は、シーン記述（scene description）及びアニメーションデータを符号化
すること、並びに、組み込まれたストリーミング機能にある。符号化器１０８と
同様に符号化器２０８は、コンテンツを生成するツールである。チャネル符号化
器２１０は、チャネル符号化器１１０とは異なるものである。チャネル符号化器
２１０は、BIFS及びBIFS−アニメーションのフォーマットでビット列を生成する
。このビット列には、アニメーションデータのみならず、複数の選手及びスタジ
アム（サッカー試合のアニメーション）のグラフィックスモデルをも含むもので
ある。

【００２３】しかしながら、システム１００と２００のいずれも、多数のクライアント、例
えば１００〜１０００００のクライアントに向けてアニメーションを放送する環
境で用いる場合には、深刻な欠点を幾つか有する。上述したようにこの制限は、
ネットワークの帯域幅の利用法、パケット損失の隠蔽、マルチユーザの対話性に
関連するものである。

【００２４】本発明の好適な実施態様は、オブジェクトのオーナー及びオブジェクトをビュ
ーワー（或いはリスナー）で、オブジェクトの共有をサポートする通信プロトコ
ルを利用してストリーミングをエミュレーションすることによって、これらの問
題の解決策を提供するものである。共有されたオブジェクトとは、状態情報を持
つデータ構造体である。全体の状態を記述する共有されたオブジェクトの組み合
わせをワールドモデルと呼ぶこととする。クライアント及びサーバは、ワールド
モデルの自分のコピーをそれぞれ有する。例えば、サッカー試合を表わす場合、
オブジェクトは、サッカー選手を表わすものである。例えば、このオブジェクト
の状態情報は、３D空間内のサッカー選手の位置、或いは、「走っている」、「
ジャンプしている」、「スライディングしている」、「見たところ傷付いている
が、コメディアンのようにグラウンド上に倒れている」などの、動作の状況であ
る。共有されたオブジェクトの各々は、特定の者、例えばサーバに所有されるも
のである。この所有者は、オブジェクト内に含まれる状態情報を変化させること
ができる。変化した場合、プロトコルは、ネットワークを介して、自動的に状態
情報を同期化する。このようなプロトコルを、本明細書では、これ以降は共有オ
ブジェクトサポート・プロトコルと呼ぶこととする。このプロトコルは、ワール
ドモデルの状態が変化しても、全てのワールドモデルのコピーが一貫性を保つこ
とを保証する。この目的のために用いることができるプロトコルの例としては、
DIS（分散インタラクティブ・シミュレーション）及びISTP（インタラクティブ
・共有トランスファープロトコル）がある。本発明の基礎をなすアイデアは、ア
ニメーションを一連の状態として記述することである。例えば、サッカーのソフ
トウェアアプリケションでは、アニメーションは、競技場の選手の一連の位置、
及び選手の動作として記述される。ある与えられた瞬間における状態を、ワール
ドモデルによって記述する。時間が経過するに従い、この状態は変化し、プロト
コルは、ネットワークを介してワールドモデルの状態と同期化を取る。このこと
は、共有オブジェクトの観点からも説明することができる。これらのオブジェク
トは、ある与えられた瞬間におけるゲームを記述する状態情報を有するものであ
る。各オブジェクトに対する状態情報を更新すると、ネットワークを介して複数
のクライアントへ送るべきメッセージを生成する結果となる。

【００２５】図３は、本発明のシステム３００のブロック図である。システム３００は、ネ
ットワーク３０６を介してクライアント３０４に結合されたサーバ３０２を具え
る。サーバ３０２は、ソース符号化器３０８及びチャネル符号化器３１０を具え
る。クライアント３０４は、チャネル復号器３１２及びソース復号器３１４を具
える。サーバ３０２は、ワールドモデルのコピー３１６を有する。データは、入
力部３２０からソース符号化器３０８へストリーミングされる。ソース符号化器
３０８は、受け取った入力に基づき、必要な状態情報を生成し、ストリーミング
のプロセスの経過に伴い、ワールドモデルのコピー３１６内のオブジェクトの状
態を更新する。このタイプの技術は、例えば上述した仮想ライブサッカーシステ
ムで使用されている。チャネル符号化器３１０は、ワールドモデルのコピー３１
６を監視し、共有オブジェクトの状態変化を符号化する。符号化された状態変化
を、ネットワーク３０６を介して、クライアントへ送出する。チャネル復号器３
１２は、この状態変化を受け取り、ローカルのワールドモデル３１８を更新する
。ソース復号器３１４は２つの仕事を行うものである。第１に、受け取った状態
情報に基づきアニメーションを生成する。第２に、ソース復号器３１４は、アニ
メーションに応じてシーングラフを管理する。ソース復号器３１４は、インテリ
ジェントなコンポーネントであり、動画の計算を実行し、更に、パケット損失や
ネットワークレイテンシのジッタを隠す状態内挿や外挿などのその他の仕事を実
行する能力がある。

【００２６】この点については、本願と同一の譲受人による米国特許出願第08/722,414号（
PHA23,155）、タイトル「待ち時間の影響を軽減するローカルでの更新を伴うマ
ルチプレイヤーのビデオゲーム」を参照されたい。本願は、この参照文献の全内
容を参照によって包含するものとする。この参照文献は、複数のユーザが、イン
タラクティブなソフトウェアアプリケーションを通じて仮想環境を共有するシス
テムについて述べている。ある特定のユーザの状態変化は、この特定のユーザと
他のユーザの各人との間の仮想環境における個々の相対距離に応じて、１以上の
その他のユーザに伝送される。この条件付きの伝送によって、メッセージのトラ
ヒックが減少し、仮想環境を実質的に無制限に拡大したり縮小したりすることが
できる。

【００２７】また、本願と同一の譲受人による米国特許出願第08/722,413号（PHA23,156）
、タイトル「代理エージェントによるマルチプレイヤーのビデオゲームの待ち時
間の影響の軽減」を参照されたい。本願は、この参照文献の全内容を参照によっ
て包含するものとする。この文献は、２人以上のユーザの間で対戦するためのイ
ンタラクティブなソフトウェアアプリケーションを処理するデータ処理システム
に関するものである。このシステムは、ユーザの各自によって操作されるユーザ
インタフェイス装置を具えるものである。この装置は、インターネットを介して
相互接続される。レイテンシを有効に除去するためには、ユーザを、その他のユ
ーザの装置上ではエージェントとして表わし、他のユーザの動作に対するエージ
ェントの反応は、システム内に格納されたルールベースにより決定される。

【００２８】更に、本願と同一の譲受人による米国特許出願第08/994,827号（PHA23,319）
、タイトル「映画的技法を用いて待ち時間を隠蔽する娯楽エージェント」も参照
されたい。本願は、この参照文献の全てを参照によって包含するものとする。こ
の文献は、データ処理システム上で実行されるユーザ対話型のソフトウェアアプ
リケーションの機能性を持つ部分としてのソフトウェアエージェントに関するも
のである。このエージェントは、映画的技法を用いてこの効果を作り出すもので
ある。

【００２９】ワールドモデルのコピー３１６と３１８は、ワールドモデルのあるコピー内の
あるオブジェクトと、ワールドモデルのその他のコピー内のその他のオブジェク
トとが、状態変化を共有するシーンでは共有されたものとして取り扱う限り、例
えば、描画された時の外観は同じである必要はない点に注意されたい。実現可能
性や非同一性は、アプリケーションに左右されるものである。例えば、あるクラ
イアントのユーザが、サッカー選手を例えばペンギンで表現したい場合、かつ、
その他のクライアントのユーザが例えばバレイダンサーで表現したい場合、状態
変化を共有することによって、何れのクライアントの表現もシステムを通じて一
貫性が保持される。その他の例としては、クライアント３０４では、ユーザは対
戦中に追加の状態情報を入力し、ワールドモデルの描画を制御することができる
ようになる。例えば、ユーザは、仮想ライブのサッカー試合を見ているときに、
特定の視点を選択することもできる。この状態情報は、サーバ３０２には存在し
ない。また、その必要もない。状態情報及びワールドモデルに基づく視点におけ
るレンダリングは、少しも複雑なものではなく、この映像を、実際に奥行きの情
報と共にビットマップとしてクライアント３０４へストリームするよりも少ない
資源しか必要としない、ことは注目に値する。従って、上述した本発明の利点に
加えて、本発明はユーザの対話性を向上させる。

【００３０】システム３００の構成について、クライアント３０４は、ソフトウェアアプリ
ケーションを実行させることができ、十分な性能を持つＣＰＵと十分な大きさの
記憶装置を設けている、と仮定する。クライアントのうち幾つかは、これらの性
能を搭載しなくとも良い。従って、「シン・クライアント」（thin client）と
も呼ばれるローエンドの端末を検討するのが好適である。例えば、このような端
末としては、入力としてBIFSストリームを受け入れることができるが、それほど
強力でない、性能が低いMPEG４端末を使うことができる。このことについて、本
発明によるシステム４００のブロック図である図４を参照しながら説明する。シ
ステム４００は、変換局４０６を介して、クライアント２０４と通信を行うサー
バ３０２を具える。サーバ３０２とクライアント２０４との構成については、上
述した通りである。変換局４０６は、ワールドモデルのローカルコピーを保持す
る。モデルが現在の状態を記述するように、このワールドモデルをサーバ３０２
からのメッセージによって更新する。この状態情報に基づき、変換局４０６は、
アニメーションを計算する。このアニメーションデータをBIFS−アニメーション
のフォーマットに符号化し、MPEG4クライアントへ伝送する。サーバ３０２は、
システム３００にあるサーバと同一のものである。変換局４０６は、共有オブジ
ェクト・サポートプロトコルで伝送されたメッセージからBIFS−アニメーション
のビット列に変換するモジュールである。変換局４０６は、上述した、チャネル
復号器３１２、ソース変換器４１０、チャネル符号化器４１２を具える。復号器
３１２は、サーバ３０２から受け取ったメッセージを解釈し、ワールドモデルの
コピー３１８を更新する。ソース変換器４１０は、状態情報に基づきアニメーシ
ョンを計算するプログラムを具える。上述した復号器３１４と同様に、このモジ
ュールは、パケット損失の回復（補間法、或いは外挿法に基づく）、推測操縦、
ローカルでのアニメーション化などの仕事を行うものとするのが好適である。チ
ャネル符号化器４１２は、ソース変換器４１０の出力に基づき、BIFS或いはBIFS
−アニメーションのフォーマットでビット列を生成する。

【００３１】図５は、本発明におけるシステム５００のブロック図である。システム５００
は、システム３００と４００の構成を具える。システム５００は、サーバ３０２
、ネットワーク５０２、ネットワーク５０２を介してサーバ３０２と接続される
クライアント５０４、５０６、５０８、及び５１０を具える。更に、システム５
００は、変換局４０６と、クライアント５１２、５１４、及び５１６とを具える
。クライアント５１２〜５１６を、ネットワーク３０２及び変換局４０６を介し
て、サーバ３０２に結合する。クライアント５１２〜５１６に、変換局４０６に
よりBIFSのビット列を供給する。一方、クライアント５０４〜５１０は、共有オ
ブジェクトをサポートするプロトコルで状態情報を受け取り、クライアント自身
でアニメーションを作る。

【００３２】図６は、クライアントの間で対話することができる本発明のシステム６００の
ブロック図である。システム６００は、ネットワークを介して、クライアント６
０２及び６０４と結合されたサーバ３０２を具える。サーバ３０２の構成は上述
した通りである。サーバ３０２は、オブジェクトに関するワールドモデルのコピ
ー６０８、６１０、６１２、及び６１４を有する。クライアント６０２及び６０
４は、同様のオブジェクトに関するワールドモデルの同様のコピー６０８、６１
０、６１２、及び６１４を有する。ワールドモデルのコピーは、システム全体を
通じて、サーバ３０２から送られた状態情報を用いて、一貫性を保持する。この
ことが、上述したようにグラフィックスアニメーション、ビデオアニメーション
、或いは音声ファイルのストリーミングをエミュレーションする基礎となる。ク
ライアント６０２及び６０４は、オブジェクト６１６及び６１８をお互いに共有
するが、サーバ３０２とは共有しない。例えば、クライアント６０２は、クライ
アント６０２により選択されたサッカー試合のグラフィック表現のビューを表わ
す「視点」オブジェクトの所有者である。サーバ３０２から受け取った状態情報
に基づき、クライアント６０２は、この試合のグラフィック映像を、あたかもス
タジアムのある特定の位置から観覧したかのように、描画する。この映像の描画
は、サーバ３０２から受け取った状態情報と、ローカルにおけるワールドモデル
のコピーと、視点を選択することができるジョイスティックやマウスなどの入力
手段６２０を介するユーザの入力と、を組み合わせたものに基づくものである。
クライアント６０４は、クライアント６０２の管理下においてクライアント６０
２上にあるオブジェクトと一貫性を保持されている視点オブジェクトを共有する
。オブジェクト６１６〜６１８は、このシステムにおいてはその他のクライアン
トとは、共有されていない。状態情報及びワールドモデルに基づく視点の描画は
、少しも複雑ではなく、この映像を実際にビットマップとして奥行きの情報と共
にクライアント６０２、６０４へストリームする場合よりも少ない資源しか必要
としない点に注意されたい。システム６００を、主たる所有者としてのサーバを
設けずに、全体的に分散システムとすることもできる。複数クライアントの各自
は、全てのクライアントから知覚することができるワールドモデルのオブジェク
トの各別の１つを所有する。あるオブジェクトの所有者が、状態変化を引き起こ
すと、これはネットワークを通じて伝播され、共有ワールドモデル内の一貫性を
保持する。マルチユーザのアプリケーションでは、この効果は、アニメーション
のストリーミングをエミュレーションすることの当然の帰結として、帯域幅を制
限されることなく、各クライアント上で連続で対戦することである。

【００３３】図７、８は、ダッチTTなどのオートバイレースである放送イベントに基づくビ
デオゲームという状況において、上述したシステム３００、４００、５００、及
び６００を用いて説明する図である。

【００３４】図７は、本発明におけるシステム７００の図である。図７は、実際のレースト
ラック７０２のレイアウトを示すものであり、毎年ダッチTTが開催されるオラン
ダのアッセンの有名なサーキットである。このTTサーキットの全長は、６．０５
Km（３．７６マイル）である。本物のレースにおいて、本物のレーサーの各々を
、トラック７０２における点７０４，７０６，７０８，．．．，７１８で示し、
各オートバイは送信機を具え、受信局７２０へ自分の位置、ベロシティ（スピー
ドと方向）を送信するものとする。また、好ましくは、ロール（バンク角）、ピ
ッチ（ウィリー）、偏走（カーブでの急激加速時のパワースライド）、などのパ
ラメータも送信するものとする。局７０４は、レーサーから受け取ったデータを
、インターネットなどのネットワーク７２８を介してエンドユーザであるクライ
アントの装置７２２，７２４，．．．，７２６へ送る。クライアント７２２〜７
２６は、例えばインターネットやフロッピー（登録商標）ディスクを介して事前にダウンロードするなどして、事前に、トラック７０２における３Dグラフィックスのワールドモデルのコピー（上記事項を参照されたい）を受け取っている。このモデルにおいては、トラック７０２上の実際のレーサーを表わすオブジェクトに関する位置やベロシティは、ユーザの装置７２２、７２４、７２６において受け取った状態変化によって決定される。実際のレーサーを表わすこのオブジェクトは、ユーザの知覚に応じて仮想環境を動的に変更する。このオブジェクトは、ユーザ装置において、ヘルメットのレーシング番号の色、レーシングスーツ、カウルなどを具えた実際のレーサーに似るように作ることができる。このグラフィックスの外観を、ユーザの装置にダウンロードしたワールドモデルの一部とすることができる。更に、エンドユーザは、制御可能なオブジェクトを有する。このオブジェクトは、あたかもユーザがトラック上のオートバイに乗り、レーサーの１人としてレースに参加しているかのような、ビューをユーザに提供するように、作られている。しかし、この場合、ユーザは、仮想環境に存在しているため安全である。ユーザは、このユーザに制御されたレーサーと、自分のクライント装置７２２，７２４、或いは７２６を通じて、適切な遊具機やその他のユーザ入力装置７３０、７３２、７３４を介して、対話することができる。

【００３５】ユーザが、その他のユーザと対戦する、或いは、レーサーがソフトウェアプロ
グラムで制御されるプログラム、と対戦するビデオゲームは、周知であり、ゲー
ムセンタにおいては主要なアトラクションとなっている。現在市販されている家
庭用のビデオゲームの３Dグラフィックスの品質は、驚異的に高い。この高品質
が、事実上、熱狂的なシーンやリアルなシーンに寄与する。本発明は、ユーザが
いかなる危険や怪我を被る恐れもなく、現実の本物のプロとの対戦に最も近いも
のを提供することによって、リアリズムの新次元をユーザに与えるものである。

【００３６】明らかなことは、同様の方法が、仮想ダートトラックレース、Ｆ１、インディ
５００カーレース、ラリー、ヨットレース、或いは、ユーザが操縦することが可
能である連続的に展開する仮想環境のためのステージを設定することができるそ
の他の競争イベントにも適用することができることである。天候やオイル漏れに
よる道路表面のスリップ性、風の力、潮の流れ（ヨットレース）などの、天候及
びトラックの条件は、従来のビデオゲームで知られているように、ワールドモデ
ルに統合することができる。幾つかのユーザは、その他のユーザのクライアント
上で、その他のオブジェクトを表示するために、自分の所有する制御可能な、仮
想のトラックに沿ったオブジェクトに関する、位置、ベロシティ、及び姿勢、を
相互にやり取りする能力を持たすこともできる。

【００３７】提供されたワールドモデルは、このオブジェクトを、クライアント上でどのよ
うなグラフィックスのモデルにするかを選択するユーザのオプションとして開放
することもできる。上述したように、サッカー試合の例では、サッカー選手のグ
ラフィックス表現を、選択し、ユーザが意図するどんな形状、特に映画「シック
スパック」（six-pack）に倣った形状でも、反映させることができる。同様に、
ユーザが操縦可能である能力を与えられた仮想環境におけるレーサーを、らくだ
に乗る者、ダチョウに乗る者、或いは、トラック上を走るスイス防衛隊の隊員、
或いはこれらの組み合わせとして表現することもできる。その他の例として、本
物の車やオートバイの外観を、近年の車などで置き換えたり、或いは、ユーザ自
身でデザインしたりすることもできる。図８は、現実離れした外観を説明したも
のである。上で紹介した例を組み合わせたものに倣って、本物のレーサーを表わ
すオブジェクトをモデリングしたものであり、これは、ビデオゲームの娯楽のレ
ベルを向上させる一因と成り得る。本物のレーサーは、状態変化を受けるオブジ
ェクトとして記述される。クライアント７２２〜７２６上の本物のグラフィック
スの外観は、グラフィックス表現において動作及び位置がワールドモデルの力学
上一貫性を保持する限り、任意である。

【００３８】本発明を、リアルタイム、及び、イベントの放送している間のイベント、を結
び付けた対話型アプリケーションとして説明してきたが、明らかなことは、対話
型アプリケーションは、現実のイベントが実際に起こった時間に使用する必要が
ないということである。例えば、サービスプロバイダーは、レースについてのイ
ベントを表わす状態情報を、いかなる時間においても、放送することができ、加
入者は、プロと対戦することができる。従って、本発明は、カラオケのビデオ版
と考えることもできる。

【図面の簡単な説明】

【図１】ＶＲＭＬのクライアントサーバシステムの図である。

【図２】ＭＰＥＧ４のクライアントサーバシステムの図である。

【図３】本発明で用いるシステムの図である。

【図４】本発明で用いるシステムの図である。

【図５】本発明で用いるシステムの図である。

【図６】本発明で用いるシステムの図である。

【図７】ビデオゲームを説明する図である。

【図８】ビデオゲームを説明する図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＪＰ，ＫＲ (71)出願人Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ１， 5621 ＢＡＥｉｎｄｈｏｖｅｎ，ＴｈｅＮｅｔｈｅｒｌａｎｄｓＦターム(参考） 2C001 AA00 AA09 BA00 BA01 BA02 BA05 BB00 BB05 BB06 BC00 BC01 BC03 CB01 CB08 CC02 DA00 DA04 5B050 AA08 BA07 BA08 BA11 CA07 CA08 EA24 FA02 FA09

Claims

【特許請求の範囲】

【請求項１】連続的に展開される電子仮想環境内をユーザが操縦することがで
きる方法であって、前記ユーザに前記環境のワールドモデルを提供するステップと、前記展開を表わす前記ワールドモデルの状態変化を送出するステップと、前記ユーザが、前記仮想環境に対するオブジェクトの位置の制御のための入力
を提供するステップと、前記ワールドモデルから、前記状態変化及び前記ユーザの入力に反応して、前
記環境を作成するステップと、を含む方法。
【請求項２】前記仮想環境の前記展開が、本物のイベントのモニタリングによ
り作成された前記状態変化に基づくものである、請求項１に記載の方法。
【請求項３】前記現実のイベントをモニタリングするステップが、前記イベン
トにおける本物のオブジェクトの位置の変化を決定するステップを含む、請求項２に記載の方法。
【請求項４】前記本物のイベントをモニタリングするステップが、前記本物の
オブジェクトのベロシティの変化を判断するステップを含む、請求項３に記載の方法。
【請求項５】前記本物のイベントをモニタリングするステップが、前記本物の
オブジェクトの姿勢の変化を判断するステップを含む、請求項３に記載の方法。
【請求項６】前記本物のイベントを前記モニタリングするステップが、競争の
イベントをモニタリングするステップを含む、請求項２に記載の方法。
【請求項７】前記競争のイベントをモニタリングするステップが、前記競争イ
ベントにおける現実の参加者を含む本物のオブジェクトをモニタリングするステ
ップを含む、請求項６に記載の方法。
【請求項８】前記状態変化を送出するステップが、インタネットを使用する、
請求項１に記載の方法。
【請求項９】前記ユーザが、前記ワールドモデルにより提供された前記環境の
少なくとも一部のグラフィックス表現を決定することができる、請求項１に記載の方法。