JP2012147481A - 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム - Google Patents

放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム Download PDF

Info

Publication number
JP2012147481A
JP2012147481A JP2012084611A JP2012084611A JP2012147481A JP 2012147481 A JP2012147481 A JP 2012147481A JP 2012084611 A JP2012084611 A JP 2012084611A JP 2012084611 A JP2012084611 A JP 2012084611A JP 2012147481 A JP2012147481 A JP 2012147481A
Authority
JP
Japan
Prior art keywords
state
virtual environment
client
user
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012084611A
Other languages
English (en)
Inventor
Mallart Raoul
マラルト ラオウル
Sinha Atul
シンハ アトュル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2012147481A publication Critical patent/JP2012147481A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/402—Communication between platforms, i.e. physical link to protocol
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409—Data transfer via television network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

【課題】クライアントサーバ・ネットワーク上での放送アプリケーションにおいて、インターネットを介して多数のクライアントに対して、アニメーションデータのストリーミングをエミュレーションする。
【解決手段】このアニメーションは、一連の状態であると考えられる。グラフィックスデータ自体の代わりとして状態情報を複数のクライアントへ送出する。クライアントは、この情態情報の管理下、アニメーションデータを生成する。サーバとクライアントは、共有オブジェクトプロトコルを用いて通信を行なう。従って、サーバネットワークの帯域幅の問題に悩まされることなく、放送と同じようにストリーミングを達成することができる。このアプローチを用いて、ユーザを仮想環境に参加させ、本物のプロと対戦することができるように、自動車レースなどの現実のイベントを仮想環境上にマッピングする。仮想環境は、ユーザに送られた情態変化により動的に決定される。
【選択図】図５

Description

本発明は、ネットワークを介してマルチメディアファイルをストリーミングすることに関するものである。より詳細には、放送において、インターネットを介してグラフィックスやビデオアニメーションのストリーミングをエミュレーションすることに関するものである。特に、グラフィックスやビデオアニメーションによって作成された環境とエンドユーザが対話することをできるようにすることに関するものである。
用語「ストリーミング」は、受信側において一定、かつ、連続するストリームとして処理することができるように、データをサーバからクライアントへ送出することを意味するものである。大部分のユーザは、例えばグラフィックス・アニメーション、オーディオ、ビデオ、或いは、これらを組み合わせたものなどを含む巨大なマルチメディアのファイルをダウンロードするのに十分速いアクセス手段を持たないため、ストリーミング技術は、インターネットの発展に伴い、ますます重要になりつつある。ストリーミングを用いれば、ファイル全体を受け取る前に、受け取ったデータの処理をクライアントのブラウザやプラグイン・ソフトウェアが開始することができるようになる。ストリーミングを機能させるためには、ファイルを受け取るクライアント側で、データを収集し、収集したデータを一定のストリームとして、データを処理するアプリケーションへ送出することができる必要がある。このことは、クライアントが必要とするより速くデータを受け取った場合、この余分なデータをバッファしておく必要がある、ということを意味する。他方、データが時間通りに到着しなかった場合、データ表示がもたついてしまう。
用語「ファイル」は、本明細書では、データ処理に利用することができ、かつ、エンティティとして処理することができる、関連するデータ項目のエンティティを意味するものとして用いることとする。本発明においては、用語「ファイル」は、記憶装置から取り出したデータのみならず、リアルタイムで生成されるデータを意味することもある。
インターネットを介してグラフィックスデータの通信を行う現在利用可能な技術や開発中の技術の中には、ＶＲＭＬ９７及びＭＰＥＧ４がある。ＶＲＭＬ９７は、「バーチャル・リアリティ・モデリング・ランゲージ」を意味するものであって、インターネットにおけるインタラクティブな３Ｄマルティメディアコンテンツを記述する国際標準規格（ISO/IEC14772）のファイルフォーマットである。ＭＰＥＧ４は、ＭＰＥＧ（動画像専門部会；Motion Picture Experts Group）によって策定されたISO/IEC標準規格である。このいずれの標準規格においても、映像のコンテンツは、いわゆるシーングラフ（scene graph）で構築される。シーングラフは、正確にグラフィックス・ワールド（graphics world）を集合的に記述する座標系及び形状の親子木構造を有するものである。このシーンの親子木構造における最上位項目は、ワールド座標系である。このワールド座標系は、１以上の子の座標系及び形状の親として機能する。これらの子座標系は、今度は、さらに子である座標系及び形状の親となる。
ＶＲＭＬは、オブジェクトを記述するファイルフォーマットである。ＶＲＭＬは、３Ｄグラフィックス、マルチメディア、及び、インタラクティブなオブジェクト／ワールドのビルディングを記述するのに役立つ一組のオブジェクトを記述するものである。これれのオブジェクトは、ノードと呼ばれ、フィールド内に格納される基本的なデータやイベントを含むものである。典型的には、このシーングラフは、構造ノード、リーフノード、インターポレイションノード、センサノードを含むものである。構造ノードは、あるシーンの中のオブジェクトの空間的関係を記述するものである。リーフノードは、オブジェクトの物理的外観を記述するものである。インターポレイションノードは、アニメーションを記述する。センサノードは、個々のユーザの入力感覚に対するユーザの相互作用を記述する。ＶＲＭＬは、サーバからクライアントへ流れるデータのストリーミングを直接にはサポートしない。ストリーミングにおいて不可欠である、ストリームとタイムスタンプとの間の同期化などの機能は、ＶＲＭＬには存在しない。しかしながら、ＶＲＭＬは、外部プログラムがＶＲＭＬクライアントと対話することができる機構を有する。これは、スポーツのアプリケーションでクライアントにアニメーションデータをロードするのに用いられている。例として、オーラッド・ハイテックシステム社（Orad Hi-Tec System, Ltd）の「バーチャルライブ・サッカー」（http://www.virtualive.com）を参照されたい。このウェブの資料には、インターネットを介して配信するために、現実のサッカー試合のハイライトをシュミレーションする、現実感がある動画による３次元グラフィックの場面を生成するプロセスが述べられている。このシステムは、テレビのスポーツ番組を、ほぼリアルタイムで補完する、マルチメディアリッチのウェブページで、コンテンツを生成する。この場合、プロセスは、２つのステップで機能する。最初に、スタジアム及びサッカープレイヤーのグラフィックスモデルが、外部プログラム（本例ではJava（登録商標）アプレット）と共にダウンロードされる。その後、ユーザは、外部プログラムと対話し、個々のアニメーションを要求する。そして、このアニメーションに対するデータが、クライアントにダウンロードされ、ユーザは、こ
のデータと対話する。ユーザは、アニメーションの中において、種々の視点から試合のシーンを観覧することができる。所望であれば、スローモーションで観覧するこもできる。ノードタイプに関しては、このプロセスでは、はじめに構造ノード及びリーフノードをダウンロードし、その後、インターポレイションノードをダウンロードする。インターポレイションノードのセットを変更することによって、種々のアニメーションシーケンスを再生することが可能となる。この例で用いられるプロセスは、全てのモデル（構造ノード）及び全てのアニメーションデータ（インターポレイタノード）を収容する完全なＶＲＭＬファイルを、ユーザが選択することができる単一ステップのプロセスに相当するものである。このアプローチでは、クライアント上で何らかのコンテンツを再生する前に、長時間のダウンロードを招く結果となる。このことは、特に、コンテンツを即座に得られるＴＶ放送と比較すると、フラストレーションを感じさることとなる。
上述したその他の技術、即ちＭＰＥＧ４では、ＶＲＭＬ９７と広く重複するバイナリ・ディスクリプション・フォーマット・フォー・シーン（BIFS）が定義されている。一方、ＭＰＥＧ４は、ビデオと同様にグラフィックスのストリーミングをサポートするように設計されてきた。ＭＰＥＧ４では、シーンを更新、アニメーション化するための２つのクライアントサーバ・プロトコル、即ち、ＢＩＦＳ−更新及びＢＩＦＳ−アニメーションが、規定されている。ユーザは、アニメーションデータが完全にダウンロードされるのを待つ必要はない。例えば、前述したサッカー試合の放送アプリケーションでは、サッカー選手及びスタジアムのモデルがダウンロードされると即座に、アニメーションは開始する。更にＭＰＥＧ４には、圧縮バイナリフォーマットを用いるＢＩＦＳ伝送プロトコルのおかげでより効率的であるという利点がある。
ストリーミングの場合は、上述した既存の技術では、幾つかの制限、特に多数のクライアントに対する放送においては、帯域幅の利用、パケット損失の隠蔽及び回復、及び、マルチユーザの対話性などに関し制限がある。
帯域幅に関しては、完全なアニメーションがサーバ上で生成される。このことによって、例えば、大量のデータを、クライアントとサーバを繋ぐインターネットなどのネットワークを介して伝送する必要性を生ずることとなる。例えば、前述したサッカーの放送アプリケーションでは、２２人のサーカー選手をアニメーション化する必要がある。個々の選手毎の各アニメーションのデータポイント（data point）は、３Ｄ空間上の位置、及び、例えば、一組の選手の姿勢をモデリングする１５個の関節、を含むものである。これは、６３個の浮動小数点の値で表わされる。アニメーションの更新レートを１秒間に１５個のデータポイントとすれば、６６５Kbpsのビットレートが必要である。このビットレートは、圧縮することによって、減少させることができる。典型的には、ＢＩＦＳを使用すると、ビットレートは２０分の１まで減少し、約３３Kbpsのビットレートを得ることができる。しかしながら、このビットレートは、インターネットプロトコル（ＲＴＰ、ＵＤＰ、ＩＰ）及び音声などのその他のデータタイプに要するオーバーヘッドを何ら考慮していないものである。しかしながら、現在市販されている典型的なモデムの性能は、28.8Kbps或いは33.6Kbpsである。アニメーションのストリーミングでは、帯域幅の制限のため、エンドユーザで問題が発生するのは明らかである。多数のクライアント、例えば100,000のクライアントへの放送の場合、データストリームは、幾つかのルータ上で複製する必要があるであろう。インターネット上のルータは、パケットが、その最終的な目的地へ向かう途中において次に転送されるべき、次のネットワーク地点を判断する。このルータは、接続しているネットワークの現在の状況の把握に基づき、各々の情報パケットを送るルートを決定する。ルータは、ネットワークやゲートウェイの任意の連結点に位置するものであって、インターネットの現状の連結点もこれに含まれる。明らかなことは、この放送によって、インターネット全体において、管理不能なデータの爆発を発生し得るということである。これの発生を防止するためには、実際の帯域幅を28.8Kbpsよりかなり低く制限しなければならない。
パケット損失の隠蔽に関しては、ＶＲＭＬ型のシステムでは、信頼できるプロトコル（ＴＣＰ）を利用している。即ち、ここでは、パケット損失は問題とならない。ＭＰＥＧ４の場合、ＢＩＦＳは、ＲＴＰ、ＵＤＰ、及びＩＰを利用する。従って、パケット損失を回復させる機構が必要となる。ポイント・ツウ・ポイント型(point-to-point)のアプリケーションでは、損失したパケットの再伝送を考慮しなければならない。しかしながら、放送の場合、より複雑となる。しかしながら、いずれの場合とも、ＭＰＥＧの信頼性は、より高い帯域幅使用（冗長性）か、より長いレイテンシ（再伝送）か、のいずれかを必要とする。
マルチユーザのインタラクティビティに関しては、ＶＲＭＬ及びＭＰＥＧ４のいずれも、本質的にはクライアントサーバ通信に基づいている。複数のクライアントの間で通信を行うことについては、何ら支障はない。
ＶＲＭＬに関するより詳細な情報については、 HYPERLINK http://sgi.felk.cvut.cz/~holecek/VRML/concepts.html http://sgi.felk.cvut.cz/~holecek/VRML/concepts.htmlにおける1996年3月5日の「重要な概念（key concepts）」、或いは、 HYPERLINK http://www.stl.nps.navy.mil/~brutzman/vrml/vrml_95.html http://www.stl.nps.navy.mil/~brutzman/vrml/vrml_95.htmlにおいて入手可能な1996年1月23日のデー・ピー・ブルッツマン（D.P.Brutzman）他による「仮想環境のためのインターネットワーク基盤の要件」を参照されたい。
ＭＰＥＧ４に関するより詳細な情報については、 HYPERLINK http://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm http://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htmにおいて入手可能な1998年7月のロブ・コーネン（Rob Koenen）の編集による「ＭＰＥＧ４標準規格の概要」（ISO/IEC JTC1/SC29/WG11 N2323）を参照されたい。
従って、本発明の目的は、クライントが、マルチメディアのデータをあたかも一定で連続するストリームであるかのように、処理することをできるようにする技術を提供することである。その他の目的としては、インターネットを介する放送において多数のクライアント上で連続処理を可能にすることをできるようにすることである。上で確認した問題は、放送のアプリケーションにおいては、かなり深刻な問題であることに留意されたい。その他の目的としては、この技術を用いて、連続的に展開される電子的な仮想環境内を、ユーザが操縦することができるインタラクティブなソフトウェアアプリケーションを作り出すことである。
この目的を達成するために、本発明は、ネットワークに接続された受信局に対して、ネットワークを介してマルチメディアファイルのストリーミングをエミュレーションする方法を提供する。このファイルの各状態を表わすそれぞれの状態情報を提供する。この受信局は、ネットワークを介してそれぞれの状態情報を受け取ることができ、それぞれの状態情報の管理下においてローカルでマルチメディアファイルを生成することができる。アニメーションの放送においては、本発明は、グラフィックスのアニメーションを表示するためにネットワークを介してデータを提供する方法に関するものである。アニメーションの連続する各々の状態を記述するそれぞれの状態情報を、ネットワークを介して、提供する。このそれぞれの状態情報を、ネットワークを介して受け取る。この受信局が情報を受け取った後、それぞれの状態情報の制御下においてアニメーションを生成することができるようにする。より詳細には、本発明は、連続的に展開される電子的な仮想環境においてユーザが操縦することができる方法を提供することである。この方法は、環境のワールドモデルをユーザに提供すること、展開を表わすワールドモデルの状態変化を送出すること、仮想環境に対するオブジェクトの位置を制御するための入力をユーザが供給し得るようにすること、状態変化とユーザの入力とに反応して、ワールドモデルから環境を作ること、を特徴とする。
本発明においては、マルチメディアファイル（アニメーション、ビデオ、或いはオーディオのファイル）を、一連の状態として記述する。クライアントへ伝送されるものは、アニメーションデータではなく、この状態情報である。従って、用語「エミュレーション」では、クライアントとやり取りされる情報は、ストリームする必要がないことを強調するものである。クライアントは、受け取った状態情報に基づき、ローカルで対戦するためにデータを生成する。従って、このユーザは、対戦中に、あたかもデータがネットワークを介してストリームされているかのように（最適な状況下では）、連続的で一定のデータのストリームであると知覚する。
好適な実施態様では、共有オブジェクトプロトコルを用いて、このエミュレーションを実現する。サーバもクライアントも、オブジェクトの収集のコピーを有する。オブジェクトとは、状態情報を持つデータ構造である。仮想のサッカー試合の場合は、オブジェクトは、例えば、１人のサッカー選手を表わすグラフィックスである。サーバーは、ストリームされたビデオファイルを受け取り、オブジェクトをモニタする。ＭＰＥＧ４では、エンティティとして処理することができるビデオオブジェクトを生成することができる点に注意されたい。従って、サーバがこのオブジェクトの状態を変化させる場合、この変化に応じて、共有オブジェクトプロトコルは、クライアントにおいてコピーを変化させる。これについて、図面を参照しながらより詳細に説明する。
この状態情報は、アニメーションデータ自体よりも、高い抽象レベルの情報である。例えば、上述したサッカー試合の放送アプリケーションでは、この状態情報には、競技場における２２人の選手の現在位置、及び、選手達の現在の動作（例えば、「走る」、「ジャンプする」）を指定するパラメータ、が含まれる。より高いレベルの情報を利用すると、特に、アニメーションがインターネットを介して多くの観衆にストリーミングされる放送アプリケーションにおいては、幾つかの利点がある。インターネットを介してやり取りされる状態情報のコンテンツは、非常にコンパクトなものであり、従って、アニメーション自体をストリーミングするよりも、より少ない帯域幅しか必要としない。このアニメーションは、ローカルにおいて、数個のパラメータから生成される。更に、アニメーションの状態は、アニメーションデータ自体よりも遅いレートで変化するため、アニメーションのデータポイントの更新レートは、より低いものとなる。このことは、必要な帯域幅を更に低減することに寄与する。更に、本発明は、パケット損失の隠蔽や回復、或いは、ネットワークレイテンシのジッタのマスキングなどの向上に寄与する。状態の間において補間したり外挿したりすること、或いは、推測操縦法を実現することは、容易である。より高い抽象レベルの情報を使用するため、ユーザがアニメーションと対話することを、より容易にプログラムすることができる。その他の利点としては、クライアントが状態情報を共有することができる場合には、マルチユーザの対話が可能となることである。更に、その他の利点としては、クライアントが、クライアント毎にで異なるであろう個々の演算能力に基づき、状態情報をアニメーションに変換することができるという事実である。クライアントにおいて利用可能な資源は、クライアント毎に、或いは、クライアントの属するグループによって異なるものであってもかまわない。
本願は、本願と同一の譲受人による米国特許出願第09/053,448号（PHA23,383）、タイトル「放送イベントの３Ｄグラフィックスモデルを用いるグループでのビデオ会議」の全てを参照によって包含するものである。この文献は、地理的に分散した複数のエンドユーザに対するテレビ放送のサービスを扱うものである。この放送サービスは、会議モードと一体化している。放送におけるあるイベントに基づき、複数のエンドユーザを含む特定のグループは、このグループの者がこのイベントについて議論することができるように、ソフトウェアの管理下において会議モードに変わる。この会議モードは、イベントを表わすビデオの３Ｄグラフィックスモデルによって、即ち、グループへダウンロードすることによって機能する。
ＶＲＭＬのクライアントサーバシステムの図である。 ＭＰＥＧ４のクライアントサーバシステムの図である。 本発明で用いるシステムの図である。 本発明で用いるシステムの図である。 本発明で用いるシステムの図である。 本発明で用いるシステムの図である。 ビデオゲームを説明する図である。 ビデオゲームを説明する図である。
本発明について、添付する図面を参照しながら実施例を用いて説明する。全ての図面を通じて、同じ符号番号は、同様の或いは相当する機能を意味するものである。
好適な実施態様 図１は、ＶＲＭＬに基づくクライアントサーバ・システム１００のブロック図である。システム１００は、通信チャネル１０６を介して、即ちこの場合はインターネットを介してクライアント１０４に結合されたサーバ１０２を具える。システム１００には、複数のクライアントを設けることも可能であるが、図面を明瞭にするためにここでは示さない。サーバ１０２は、ソース符号化器１０８、及び、チャネル符号化器を具えるも。クライアント１０４は、チャネル復号器１１２、及び、ソース復号器１１４を具える。ソース符号化器１０８は、コンテンツを生成するツールであると考えられる。ツールとしては、例えば、ビデオ上のモーションキャプチャ装置（図には示さず）からＶＲＭＬのアニメーションデータを生成するものなどが挙げられる。チャネル符号化器１１０は、サブシステムであって、ソース符号化器１０８で生成されたＶＲＭＬのアニメーションデータを入力として受け取り、このデータを、インターネットを介して伝送できる形態に変換するものである。このＶＲＭＬのアニメーションデータを、ファイル内に格納する。このファイルの伝送には、標準のファイル・トランスファー・プロトコルを使用する。クライアント１０４では、チャネル復号器は、外部プログラム１１６内に収容されている。外部プログラムは、ダウンロードしたファイルからアニメーションデータを受け取り、これを、ソース復号機能を実施するＶＲＭＬプレイヤー１１８へ渡す。このソース復号機能は、本質的にはシーングラフの管理上である。このクライアントサーバの通信手順は、ストリーミングによる解決策ではない。ＶＲＭＬの仕様は、ストリーミングの要件を考慮していない。ストリーミングにおいては必須のものである、ストリーム及びタイムスタンプの間の同期化などの機能は、VRMLには存在しない。
図２は、MPEG4に基づくクライアントサーバシステムのブロック図である。システム２００は、チャネル２０６を介してクライアント２０４に結合されたサーバー２０２を具える。サーバ２０２は、ソース符号化器２０８及びチャネル符号化器２１０を具える。クライアント２０４は、チャネル復号器２１２及びソース復号器２１４を具える。上述したように、MPEG４は、ストリーミングをサポートするように設計されたものである。中でも特に、MPEG4では、VRML９７と広く重複しているBIFSを規定している。更に、MPEG4は、シーンを更新し、アニメーション化する２つのクライアントサーバプロトコル、即ち、BIFS−更新、BIFS−アニメーションを規定している。ストリーミングに関して、VRMLよりもMPEG４が勝る点は、シーン記述（scene description）及びアニメーションデータを符号化すること、並びに、組み込まれたストリーミング機能にある。符号化器１０８と同様に符号化器２０８は、コンテンツを生成するツールである。チャネル符号化器２１０は、チャネル符号化器１１０とは異なるものである。チャネル符号化器２１０は、BIFS及びBIFS−アニメーションのフォーマットでビット列を生成する。このビット列には、アニメーションデータのみならず、複数の選手及びスタジアム（サッカー試合のアニメーション）のグラフィックスモデルをも含むものである。
しかしながら、システム１００と２００のいずれも、多数のクライアント、例えば１００〜１０００００のクライアントに向けてアニメーションを放送する環境で用いる場合には、深刻な欠点を幾つか有する。上述したようにこの制限は、ネットワークの帯域幅の利用法、パケット損失の隠蔽、マルチユーザの対話性に関連するものである。
本発明の好適な実施態様は、オブジェクトのオーナー及びオブジェクトをビューワー（或いはリスナー）で、オブジェクトの共有をサポートする通信プロトコルを利用してストリーミングをエミュレーションすることによって、これらの問題の解決策を提供するものである。共有されたオブジェクトとは、状態情報を持つデータ構造体である。全体の状態を記述する共有されたオブジェクトの組み合わせをワールドモデルと呼ぶこととする。クライアント及びサーバは、ワールドモデルの自分のコピーをそれぞれ有する。例えば、サッカー試合を表わす場合、オブジェクトは、サッカー選手を表わすものである。例えば、このオブジェクトの状態情報は、３D空間内のサッカー選手の位置、或いは、「走っている」、「ジャンプしている」、「スライディングしている」、「見たところ傷付いているが、コメディアンのようにグラウンド上に倒れている」などの、動作の状況である。共有されたオブジェクトの各々は、特定の者、例えばサーバに所有されるものである。この所有者は、オブジェクト内に含まれる状態情報を変化させることができる。変化した場合、プロトコルは、ネットワークを介して、自動的に状態情報を同期化する。このようなプロトコルを、本明細書では、これ以降は共有オブジェクトサポート・プロトコルと呼ぶこととする。このプロトコルは、ワールドモデルの状態が変化しても、全てのワールドモデルのコピーが一貫性を保つことを保証する。この目的のために用いることができるプロトコルの例としては、DIS（分散インタラクティブ・シミュレーション）及びISTP（インタラクティブ・共有トランスファープロトコル）がある。本発明の基礎をなすアイデアは、アニメーションを一連の状態として記述することである。例えば、サッカーのソフトウェアアプリケションでは、アニメーションは、競技場の選手の一連の位置、及び選手の動作として記述される。ある与えられた瞬間における状態を、ワールドモデルによって記述する。時間が経過するに従い、この状態は変化し、プロトコルは、ネットワークを介してワールドモデルの状態と同期化を取る。このことは、共有オブジェクトの観点からも説明することができる。これらのオブジェクトは、ある与えられた瞬間におけるゲームを記述する状態情報を有するものである。各オブジェクトに対する状態情報を更新すると、ネットワークを介して複数のクライアントへ送るべきメッセージを生成する結果となる。
図３は、本発明のシステム３００のブロック図である。システム３００は、ネットワーク３０６を介してクライアント３０４に結合されたサーバ３０２を具える。サーバ３０２は、ソース符号化器３０８及びチャネル符号化器３１０を具える。クライアント３０４は、チャネル復号器３１２及びソース復号器３１４を具える。サーバ３０２は、ワールドモデルのコピー３１６を有する。データは、入力部３２０からソース符号化器３０８へストリーミングされる。ソース符号化器３０８は、受け取った入力に基づき、必要な状態情報を生成し、ストリーミングのプロセスの経過に伴い、ワールドモデルのコピー３１６内のオブジェクトの状態を更新する。このタイプの技術は、例えば上述した仮想ライブサッカーシステムで使用されている。チャネル符号化器３１０は、ワールドモデルのコピー３１６を監視し、共有オブジェクトの状態変化を符号化する。符号化された状態変化を、ネットワーク３０６を介して、クライアントへ送出する。チャネル復号器３１２は、この状態変化を受け取り、ローカルのワールドモデル３１８を更新する。ソース復号器３１４は２つの仕事を行うものである。第１に、受け取った状態情報に基づきアニメーションを生成する。第２に、ソース復号器３１４は、アニメーションに応じてシーングラフを管理する。ソース復号器３１４は、インテリジェントなコンポーネントであり、動画の計算を実行し、更に、パケット損失やネットワークレイテンシのジッタを隠す状態内挿や外挿などのその他の仕事を実行する能力がある。
この点については、本願と同一の譲受人による米国特許出願第08/722,414号（PHA23,155）、タイトル「待ち時間の影響を軽減するローカルでの更新を伴うマルチプレイヤーのビデオゲーム」を参照されたい。本願は、この参照文献の全内容を参照によって包含するものとする。この参照文献は、複数のユーザが、インタラクティブなソフトウェアアプリケーションを通じて仮想環境を共有するシステムについて述べている。ある特定のユーザの状態変化は、この特定のユーザと他のユーザの各人との間の仮想環境における個々の相対距離に応じて、１以上のその他のユーザに伝送される。この条件付きの伝送によって、メッセージのトラヒックが減少し、仮想環境を実質的に無制限に拡大したり縮小したりすることができる。
また、本願と同一の譲受人による米国特許出願第08/722,413号（PHA23,156）、タイトル「代理エージェントによるマルチプレイヤーのビデオゲームの待ち時間の影響の軽減」を参照されたい。本願は、この参照文献の全内容を参照によって包含するものとする。この文献は、２人以上のユーザの間で対戦するためのインタラクティブなソフトウェアアプリケーションを処理するデータ処理システムに関するものである。このシステムは、ユーザの各自によって操作されるユーザインタフェイス装置を具えるものである。この装置は、インターネットを介して相互接続される。レイテンシを有効に除去するためには、ユーザを、その他のユーザの装置上ではエージェントとして表わし、他のユーザの動作に対するエージェントの反応は、システム内に格納されたルールベースにより決定される。
更に、本願と同一の譲受人による米国特許出願第08/994,827号（PHA23,319）、タイトル「映画的技法を用いて待ち時間を隠蔽する娯楽エージェント」も参照されたい。本願は、この参照文献の全てを参照によって包含するものとする。この文献は、データ処理システム上で実行されるユーザ対話型のソフトウェアアプリケーションの機能性を持つ部分としてのソフトウェアエージェントに関するものである。このエージェントは、映画的技法を用いてこの効果を作り出すものである。
ワールドモデルのコピー３１６と３１８は、ワールドモデルのあるコピー内のあるオブジェクトと、ワールドモデルのその他のコピー内のその他のオブジェクトとが、状態変化を共有するシーンでは共有されたものとして取り扱う限り、例えば、描画された時の外観は同じである必要はない点に注意されたい。実現可能性や非同一性は、アプリケーションに左右されるものである。例えば、あるクライアントのユーザが、サッカー選手を例えばペンギンで表現したい場合、かつ、その他のクライアントのユーザが例えばバレイダンサーで表現したい場合、状態変化を共有することによって、何れのクライアントの表現もシステムを通じて一貫性が保持される。その他の例としては、クライアント３０４では、ユーザは対戦中に追加の状態情報を入力し、ワールドモデルの描画を制御することができるようになる。例えば、ユーザは、仮想ライブのサッカー試合を見ているときに、特定の視点を選択することもできる。この状態情報は、サーバ３０２には存在しない。また、その必要もない。状態情報及びワールドモデルに基づく視点におけるレンダリングは、少しも複雑なものではなく、この映像を、実際に奥行きの情報と共にビットマップとしてクライアント３０４へストリームするよりも少ない資源しか必要としない、ことは注目に値する。従って、上述した本発明の利点に加えて、本発明はユーザの対話性を向上させる。
システム３００の構成について、クライアント３０４は、ソフトウェアアプリケーションを実行させることができ、十分な性能を持つＣＰＵと十分な大きさの記憶装置を設けている、と仮定する。クライアントのうち幾つかは、これらの性能を搭載しなくとも良い。従って、「シン・クライアント」（thin client）とも呼ばれるローエンドの端末を検討するのが好適である。例えば、このような端末としては、入力としてBIFSストリームを受け入れることができるが、それほど強力でない、性能が低いMPEG４端末を使うことができる。このことについて、本発明によるシステム４００のブロック図である図４を参照しながら説明する。システム４００は、変換局４０６を介して、クライアント２０４と通信を行うサーバ３０２を具える。サーバ３０２とクライアント２０４との構成については、上述した通りである。変換局４０６は、ワールドモデルのローカルコピーを保持する。モデルが現在の状態を記述するように、このワールドモデルをサーバ３０２からのメッセージによって更新する。この状態情報に基づき、変換局４０６は、アニメーションを計算する。このアニメーションデータをBIFS−アニメーションのフォーマットに符号化し、MPEG4クライアントへ伝送する。サーバ３０２は、システム３００にあるサーバと同一のものである。変換局４０６は、共有オブジェクト・サポートプロトコルで伝送されたメッセージからBIFS−アニメーションのビット列に変換するモジュールである。変換局４０６は、上述した、チャネル復号器３１２、ソース変換器４１０、チャネル符号化器４１２を具える。復号器３１２は、サーバ３０２から受け取ったメッセージを解釈し、ワールドモデルのコピー３１８を更新する。ソース変換器４１０は、状態情報に基づきアニメーションを計算するプログラムを具える。上述した復号器３１４と同様に、このモジュールは、パケット損失の回復（補間法、或いは外挿法に基づく）、推測操縦、ローカルでのアニメーション化などの仕事を行うものとするのが好適である。チャネル符号化器４１２は、ソース変換器４１０の出力に基づき、BIFS或いはBIFS−アニメーションのフォーマットでビット列を生成する。
図５は、本発明におけるシステム５００のブロック図である。システム５００は、システム３００と４００の構成を具える。システム５００は、サーバ３０２、ネットワーク５０２、ネットワーク５０２を介してサーバ３０２と接続されるクライアント５０４、５０６、５０８、及び５１０を具える。更に、システム５００は、変換局４０６と、クライアント５１２、５１４、及び５１６とを具える。クライアント５１２〜５１６を、ネットワーク３０２及び変換局４０６を介して、サーバ３０２に結合する。クライアント５１２〜５１６に、変換局４０６によりBIFSのビット列を供給する。一方、クライアント５０４〜５１０は、共有オブジェクトをサポートするプロトコルで状態情報を受け取り、クライアント自身でアニメーションを作る。
図６は、クライアントの間で対話することができる本発明のシステム６００のブロック図である。システム６００は、ネットワークを介して、クライアント６０２及び６０４と結合されたサーバ３０２を具える。サーバ３０２の構成は上述した通りである。サーバ３０２は、オブジェクトに関するワールドモデルのコピー６０８、６１０、６１２、及び６１４を有する。クライアント６０２及び６０４は、同様のオブジェクトに関するワールドモデルの同様のコピー６０８、６１０、６１２、及び６１４を有する。ワールドモデルのコピーは、システム全体を通じて、サーバ３０２から送られた状態情報を用いて、一貫性を保持する。このことが、上述したようにグラフィックスアニメーション、ビデオアニメーション、或いは音声ファイルのストリーミングをエミュレーションする基礎となる。クライアント６０２及び６０４は、オブジェクト６１６及び６１８をお互いに共有するが、サーバ３０２とは共有しない。例えば、クライアント６０２は、クライアント６０２により選択されたサッカー試合のグラフィック表現のビューを表わす「視点」オブジェクトの所有者である。サーバ３０２から受け取った状態情報に基づき、クライアント６０２は、この試合のグラフィック映像を、あたかもスタジアムのある特定の位置から観覧したかのように、描画する。この映像の描画は、サーバ３０２から受け取った状態情報と、ローカルにおけるワールドモデルのコピーと、視点を選択することができるジョイスティックやマウスなどの入力手段６２０を介するユーザの入力と、を組み合わせたものに基づくものである。クライアント６０４は、クライアント６０２の管理下においてクライアント６０２上にあるオブジェクトと一貫性を保持されている視点オブジェクトを共有する。オブジェクト６１６〜６１８は、このシステムにおいてはその他のクライアントとは、共有されていない。状態情報及びワールドモデルに基づく視点の描画は、少しも複雑ではなく、この映像を実際にビットマップとして奥行きの情報と共にクライアント６０２、６０４へストリームする場合よりも少ない資源しか必要としない点に注意されたい。システム６００を、主たる所有者としてのサーバを設けずに、全体的に分散システムとすることもできる。複数クライアントの各自は、全てのクライアントから知覚することができるワールドモデルのオブジェクトの各別の１つを所有する。あるオブジェクトの所有者が、状態変化を引き起こすと、これはネットワークを通じて伝播され、共有ワールドモデル内の一貫性を保持する。マルチユーザのアプリケーションでは、この効果は、アニメーションのストリーミングをエミュレーションすることの当然の帰結として、帯域幅を制限されることなく、各クライアント上で連続で対戦することである。
図７、８は、ダッチTTなどのオートバイレースである放送イベントに基づくビデオゲームという状況において、上述したシステム３００、４００、５００、及び６００を用いて説明する図である。
図７は、本発明におけるシステム７００の図である。図７は、実際のレーストラック７０２のレイアウトを示すものであり、毎年ダッチTTが開催されるオランダのアッセンの有名なサーキットである。このTTサーキットの全長は、６．０５Km（３．７６マイル）である。本物のレースにおいて、本物のレーサーの各々を、トラック７０２における点７０４，７０６，７０８，．．．，７１８で示し、各オートバイは送信機を具え、受信局７２０へ自分の位置、ベロシティ（スピードと方向）を送信するものとする。また、好ましくは、ロール（バンク角）、ピッチ（ウィリー）、偏走（カーブでの急激加速時のパワースライド）、などのパラメータも送信するものとする。局７０４は、レーサーから受け取ったデータを、インターネットなどのネットワーク７２８を介してエンドユーザであるクライアントの装置７２２，７２４，．．．，７２６へ送る。クライアント７２２〜７２６は、例えばインターネットやフロッピー（登録商標）ディスクを介して事前にダウンロードするなどして、事前に、トラック７０２における３Dグラフィックスのワールドモデルのコピー（上記事項を参照されたい）を受け取っている。このモデルにおいては、トラック７０２上の実際のレーサーを表わすオブジェクトに関する位置やベロシティは、ユーザの装置７２２、７２４、７２６において受け取った状態変化によって決定される。実際のレーサーを表わすこのオブジェクトは、ユーザの知覚に応じて仮想環境を動的に変更する。このオブジェクトは、ユーザ装置において、ヘルメットのレーシング番号の色、レーシングスーツ、カウルなどを具えた実際のレーサーに似るように作ることができる。このグラフィックスの外観を、ユーザの装置にダウンロードしたワールドモデルの一部とすることができる。更に、エンドユーザは、制御可能なオブジェクトを有する。このオブジェクトは、あたかもユーザがトラック上のオートバイに乗り、レーサーの１人としてレースに参加しているかのような、ビューをユーザに提供するように、作られている。しかし、この場合、ユーザは、仮想環境に存在しているため安全である。ユーザは、このユーザに制御されたレーサーと、自分のクライント装置７２２，７２４、或いは７２６を通じて、適切な遊具機やその他のユーザ入力装置７３０、７３２、７３４を介して、対話することができる。
ユーザが、その他のユーザと対戦する、或いは、レーサーがソフトウェアプログラムで制御されるプログラム、と対戦するビデオゲームは、周知であり、ゲームセンタにおいては主要なアトラクションとなっている。現在市販されている家庭用のビデオゲームの３Dグラフィックスの品質は、驚異的に高い。この高品質が、事実上、熱狂的なシーンやリアルなシーンに寄与する。本発明は、ユーザがいかなる危険や怪我を被る恐れもなく、現実の本物のプロとの対戦に最も近いものを提供することによって、リアリズムの新次元をユーザに与えるものである。
明らかなことは、同様の方法が、仮想ダートトラックレース、Ｆ１、インディ５００カーレース、ラリー、ヨットレース、或いは、ユーザが操縦することが可能である連続的に展開する仮想環境のためのステージを設定することができるその他の競争イベントにも適用することができることである。天候やオイル漏れによる道路表面のスリップ性、風の力、潮の流れ（ヨットレース）などの、天候及びトラックの条件は、従来のビデオゲームで知られているように、ワールドモデルに統合することができる。幾つかのユーザは、その他のユーザのクライアント上で、その他のオブジェクトを表示するために、自分の所有する制御可能な、仮想のトラックに沿ったオブジェクトに関する、位置、ベロシティ、及び姿勢、を相互にやり取りする能力を持たすこともできる。
提供されたワールドモデルは、このオブジェクトを、クライアント上でどのようなグラフィックスのモデルにするかを選択するユーザのオプションとして開放することもできる。上述したように、サッカー試合の例では、サッカー選手のグラフィックス表現を、選択し、ユーザが意図するどんな形状、特に映画「シックスパック」（six-pack）に倣った形状でも、反映させることができる。同様に、ユーザが操縦可能である能力を与えられた仮想環境におけるレーサーを、らくだに乗る者、ダチョウに乗る者、或いは、トラック上を走るスイス防衛隊の隊員、或いはこれらの組み合わせとして表現することもできる。その他の例として、本物の車やオートバイの外観を、近年の車などで置き換えたり、或いは、ユーザ自身でデザインしたりすることもできる。図８は、現実離れした外観を説明したものである。上で紹介した例を組み合わせたものに倣って、本物のレーサーを表わすオブジェクトをモデリングしたものであり、これは、ビデオゲームの娯楽のレベルを向上させる一因と成り得る。本物のレーサーは、状態変化を受けるオブジェクトとして記述される。クライアント７２２〜７２６上の本物のグラフィックスの外観は、グラフィックス表現において動作及び位置がワールドモデルの力学上一貫性を保持する限り、任意である。
本発明を、リアルタイム、及び、イベントの放送している間のイベント、を結び付けた対話型アプリケーションとして説明してきたが、明らかなことは、対話型アプリケーションは、現実のイベントが実際に起こった時間に使用する必要がないということである。例えば、サービスプロバイダーは、レースについてのイベントを表わす状態情報を、いかなる時間においても、放送することができ、加入者は、プロと対戦することができる。従って、本発明は、カラオケのビデオ版と考えることもできる。
300 システム
302 サーバ
304 クライアント
306 ネットワーク
308 ソース符号化器
310 チャネル符号化器
312 チャネル復号器
314 ソース復号器
316 ワールドモデルのコピー
318 ワールドモデルのコピー
320 入力部
406 交換局
500 システム
504, 506, 508, 510, 512, 514, 516 クライアント
502 ネットワーク

Claims (11)

  1. 連続的に展開される電子仮想環境内をユーザが操縦することを可能にする方法において、この方法が、
    サーバステーション、及びネットワーク経由で前記サーバステーションに接続されたクライアントステーションを用意するステップであって、前記サーバステーションが、ソース符号化器及びチャネル符号化器を具え、前記ソース符号化器の入力が前記サーバステーションの入力を形成し、前記ソース符号化器の出力は、第１ローカル記憶手段経由で前記チャネル符号化器の入力に接続され、前記チャネル符号化器の出力は前記ネットワークに接続され、前記クライアントステーションが、チャネル復号器、ソース復号器、及び１つ以上のユーザ入力手段を具え、前記チャネル復号器の入力は前記ネットワークに接続され、前記チャネル復号器の出力は、第２ローカル記憶手段経由で前記ソース復号器の入力に接続されるステップと；
    前記電子仮想環境の共通のワールドモデルを、前記第１ローカル記憶手段及び前記第２ローカル記憶手段の両方に、それぞれ前記サーバステーション用の第１ローカルコピー及び前記クライアントステーション用の第２ローカルコピーとして事前に記憶するステップであって、前記ワールドモデルは、前記サーバステーション及び前記クライアントステーションによって共有される前記電子仮想環境内のオブジェクトによって規定される前記電子仮想環境全体の状態であるステップと；
    前記サーバステーションから前記ネットワーク経由で前記クライアントステーションに状態情報を送信するステップであって、前記状態情報は、前記ワールドモデルにおける特定の前記オブジェクトを含む１つ以上のオブジェクトの状態を記述し、前記状態情報は、前記特定のオブジェクトの１つ以上の動的な動作を含むステップとを具え、
    前記送信するステップが、
    前記ソース符号化器によって、前記電子仮想環境に関連するデータを受信し、前記データに基づいて前記状態情報を生成するサブステップと；
    前記ソース符号化器によって、前記状態情報に基づいて、前記ワールドモデルの前記第１ローカルコピー中の前記オブジェクトの状態を更新するサブステップと；
    前記チャネル符号化器によって、前記ワールドモデルの前記第１ロ―カルコピーを監視し、前記オブジェクトの状態変化を符号化して、前記ネットワーク経由で前記クライアントステーションに送信するサブステップとを含み、
    前記方法がさらに、
    前記電子仮想環境において、前記ユーザの所有する制御可能なオブジェクトが前記クライアントステーションに設けられ、前記制御可能なオブジェクトは、ユーザ入力手段により制御され、
    前記チャネル復号器によって、前記符号化された状態変化を前記サーバステーションから前記ネットワーク経由で受信し、前記符号化された状態変化を前記状態情報に復号化するステップと；
    前記チャネル復号器によって、前記状態情報に基づいて、前記ワールドモデルの前記第２ロ―カルコピー中の前記オブジェクトの状態を更新するステップと；
    前記ソース復号器によって、前記第２のローカルコピー中のオブジェクトおよび前記制御可能なオブジェクトに基づき、前記電子仮想環境のアニメーションを計算するステップを具える方法。
  2. 前記サーバステーションには複数のクライアントステーションが接続され、
    前記複数のクライアントステーションのうち、第１および第２のクライアントステーションで共有し、前記サーバステーションおよび他のクライアントステーションと共有されない視点オブジェクトを備える場合において、
    前記第１および第２のクライアントステーションは、さらに前記共有される視点オブジェクトに基づき、前記電子仮想環境のアニメーションを計算する
    ことを特徴とする請求項１に記載の方法。
  3. 前記電子仮想環境の前記展開は、前記サーバステーションによって、現実のイベントのストリーミングされたビデオを監視して分析することによって作成した前記状態変化に基づくものであることを特徴とする請求項１または２に記載の方法。
  4. 前記現実のイベントを監視することが、前記現実のイベントにおける現実のオブジェクトの位置の変化を測定することを含むことを特徴とする請求項３に記載の方法。
  5. 前記現実のイベントを監視することが、前記現実のオブジェクトの速度の変化を測定することを含むことを特徴とする請求項４に記載の方法。
  6. 前記現実のイベントを監視することが、前記現実のオブジェクトの向きの変化を測定することを含むことを特徴とする請求項４に記載の方法。
  7. 前記現実のイベントを監視することが、競争を含むイベントを監視することを含むことを特徴とする請求項３に記載の方法。
  8. 前記競争を含むイベントを監視することが、前記競争を含むイベントにおける現実の参加者を含む現実のオブジェクトを監視することを含むことを特徴とする請求項７に記載の
    方法。
  9. 前記状態情報を送信するステップが、インターネットを使用することを含むことを特徴とする請求項１から８のいずれかに記載の方法。
  10. 前記ユーザが、前記ワールドモデルによって提供される前記電子仮想環境の少なくとも一部分のグラフィックス表現を決定することを可能にするステップを具えていることを特徴とする請求項１から９のいずれかに記載の方法。
  11. 符号化された状態変化を含む状態情報を、サーバステーションからネットワーク経由で受信して、連続的に展開される電子仮想環境内をユーザが操縦することを可能にするクライアントステーションであって、前記状態情報は、前記電子仮想環境のワールドモデルにおける特定のオブジェクトを含む１つ以上のオブジェクトの状態を記述し、前記ワールドモデルは、前記サーバステーション及び前記クライアントステーションによって共有される前記電子仮想環境内のオブジェクトによって規定される前記電子仮想環境全体の状態であり、
    前記状態情報は、前記特定のオブジェクトの１つ以上の動的な動作を含み、
    前記クライアントステーションが、チャネル復号器、ソース復号器、及び１つ以上のユーザ入力手段を具え、前記チャネル復号器の入力は前記ネットワークに接続され、前記チャネル復号器の出力は、第２ローカル記憶手段経由で前記ソース復号器の入力に接続され、前記第２ローカル記憶手段は、前記サーバステーションに記憶される電子仮想環境の前記ワールドモデルの第１ローカルコピーを、第２ローカルコピーとして前記符号化された状態変化の復号開始前に記憶し、
    前記ユーザの所有する制御可能なオブジェクト前記クライアントステーションに設けられ、前記制御可能なオブジェクトは、前記ユーザ入力手段により制御され、
    前記チャネル復号器は、前記符号化された状態変化を前記サーバステーションから前記ネットワーク経由で受信し、前記符号化された状態変化を前記状態情報に復号化し、前記状態情報に基づいて、前記ワールドモデルの前記第２ロ―カルコピー中の前記オブジェクトの状態を更新するように構成され、
    前記ソース復号器は、前記第２のローカルコピー中のオブジェクトおよび前記制御可能なオブジェクトから、前記電子仮想環境のアニメーションを計算するように構成さる、
    ことを特徴とするクライアントステーション。
JP2012084611A 1998-08-24 2012-04-03 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム Pending JP2012147481A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/138,782 US6697869B1 (en) 1998-08-24 1998-08-24 Emulation of streaming over the internet in a broadcast application
US09/138,782 1998-08-24
US09/149,950 US6557041B2 (en) 1998-08-24 1998-09-09 Real time video game uses emulation of streaming over the internet in a broadcast event
US09/149,950 1998-09-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000565981A Division JP5160704B2 (ja) 1998-08-24 1999-08-23 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム

Publications (1)

Publication Number Publication Date
JP2012147481A true JP2012147481A (ja) 2012-08-02

Family

ID=22483621

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000567000A Pending JP2002523980A (ja) 1998-08-24 1999-08-06 ブロードキャストアプリケーションにおけるインターネット上のストリーミングのエミュレーション
JP2012084611A Pending JP2012147481A (ja) 1998-08-24 2012-04-03 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000567000A Pending JP2002523980A (ja) 1998-08-24 1999-08-06 ブロードキャストアプリケーションにおけるインターネット上のストリーミングのエミュレーション

Country Status (12)

Country Link
US (2) US6697869B1 (ja)
EP (1) EP1048159B1 (ja)
JP (2) JP2002523980A (ja)
KR (2) KR100791795B1 (ja)
CN (1) CN1134958C (ja)
AR (1) AR056899A1 (ja)
BR (1) BR9906766A (ja)
CA (1) CA2306785C (ja)
DE (1) DE69928642T2 (ja)
TR (1) TR200001074T1 (ja)
TW (1) TW480857B (ja)
WO (1) WO2000011847A1 (ja)

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453334B1 (en) 1997-06-16 2002-09-17 Streamtheory, Inc. Method and apparatus to allow remotely located computer programs and/or data to be accessed on a local computer in a secure, time-limited manner, with persistent caching
US6654931B1 (en) * 1998-01-27 2003-11-25 At&T Corp. Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
US7565905B2 (en) * 1998-06-03 2009-07-28 Scott Laboratories, Inc. Apparatuses and methods for automatically assessing and monitoring a patient's responsiveness
GB2347332B (en) * 1998-10-28 2003-07-09 Canon Kk Computer games apparatus
AUPQ108799A0 (en) * 1999-06-21 1999-07-15 Unisearch Limited Progressive multi-frame animation software for web objects
US6934906B1 (en) * 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
JP4389323B2 (ja) * 2000-02-29 2009-12-24 ソニー株式会社 シーン記述変換装置及び方法
JP2001243043A (ja) * 2000-02-29 2001-09-07 Sony Corp ユーザインタフェースシステム、シーン記述生成装置及び方法、シーン記述変換装置及び方法、記録媒体並びに伝送媒体
US7328239B1 (en) 2000-03-01 2008-02-05 Intercall, Inc. Method and apparatus for automatically data streaming a multiparty conference session
US6948131B1 (en) 2000-03-08 2005-09-20 Vidiator Enterprises Inc. Communication system and method including rich media tools
JP2002051334A (ja) * 2000-08-01 2002-02-15 Sanyo Electric Co Ltd データ送信装置、データ受信装置及びデータ送受信システム
KR100429838B1 (ko) * 2000-03-14 2004-05-03 삼성전자주식회사 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치
FR2807268A1 (fr) * 2000-04-04 2001-10-05 Koninkl Philips Electronics Nv Reseau, terminal d'emission et methode de constitution d'un point d'acces dans un flux de donnees
US8296805B2 (en) * 2000-05-30 2012-10-23 Sony Corporation Command description scheme providing for dynamic update of instance documents and their associated schema
AU7693201A (en) * 2000-07-27 2002-02-13 Bea Systems Inc System and method for concentration and load-balancing of requests
GR20000100267A (el) * 2000-08-01 2002-05-24 Θεοδωρου Χρηστος Μαγκος Αμφιδρομη επικοινωνια εικονικου χαρακτηρα με τους θεατες
FI112307B (fi) * 2000-08-02 2003-11-14 Nokia Corp Viestintäpalvelu
US6788300B2 (en) * 2000-08-09 2004-09-07 The Board Of Trustees Of The Leland Stanford Junior University Virtual interactive solids with dynamic multimedia
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
US20020087883A1 (en) * 2000-11-06 2002-07-04 Curt Wohlgemuth Anti-piracy system for remotely served computer applications
US20020083183A1 (en) * 2000-11-06 2002-06-27 Sanjay Pujare Conventionally coded application conversion system for streamed delivery and execution
US8831995B2 (en) * 2000-11-06 2014-09-09 Numecent Holdings, Inc. Optimized server for streamed applications
US7062567B2 (en) * 2000-11-06 2006-06-13 Endeavors Technology, Inc. Intelligent network streaming and execution system for conventionally coded applications
GB0031157D0 (en) * 2000-12-20 2001-01-31 Ncr Int Inc Streaming of data
FR2823343B1 (fr) * 2001-04-05 2003-07-04 Cit Alcatel Dispositif de generation d'un fichier multimedia a destination d'un terminal de telecommunications et fichier multimedia associe
EP1258837A1 (en) * 2001-05-14 2002-11-20 Thomson Licensing S.A. Method to generate mutual photometric effects
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
KR20030035138A (ko) * 2001-10-30 2003-05-09 한국전자통신연구원 클라이언트-서버 기반 네트워크 가상환경에서 상태정보의전송 방법
KR100497497B1 (ko) * 2001-12-27 2005-07-01 삼성전자주식회사 엠펙 데이터의 송수신시스템 및 송수신방법
US20030220781A1 (en) * 2002-02-25 2003-11-27 Oak Technology, Inc. Communication architecture utilizing emulator interface
US9122808B2 (en) * 2002-02-25 2015-09-01 Csr Technology Inc. Network interface to a video device
US7269543B2 (en) * 2002-02-25 2007-09-11 Zoran Corporation System and method for providing network connectivity to a common embedded interface by stimulating the embedded interface
KR100930340B1 (ko) * 2002-06-07 2009-12-08 엘지전자 주식회사 대화형 광디스크 장치에서의 채팅 데이터 재생방법과,콘텐츠 제공서버에서의 채팅 데이터 제공방법
EP1391226B1 (en) * 2002-08-12 2007-10-10 Alcatel Lucent Method and devices for implementing highly interactive entertainment services using interactive media-streaming technology, enabling remote provisioning of virtual reality services
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US8893207B2 (en) 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US9032465B2 (en) * 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US8468575B2 (en) 2002-12-10 2013-06-18 Ol2, Inc. System for recursive recombination of streaming interactive video
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9003461B2 (en) 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US8387099B2 (en) * 2002-12-10 2013-02-26 Ol2, Inc. System for acceleration of web page delivery
US8495678B2 (en) 2002-12-10 2013-07-23 Ol2, Inc. System for reporting recorded video preceding system failures
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US20110122063A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8661496B2 (en) 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8832772B2 (en) 2002-12-10 2014-09-09 Ol2, Inc. System for combining recorded application state with application streaming interactive video output
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US7426539B2 (en) * 2003-01-09 2008-09-16 Sony Computer Entertainment America Inc. Dynamic bandwidth control
TW589892B (en) * 2003-03-12 2004-06-01 Asustek Comp Inc Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology
US8264489B2 (en) * 2003-07-11 2012-09-11 Intel Corporation Interface remoting
US20050148388A1 (en) * 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
KR100695126B1 (ko) * 2003-12-02 2007-03-14 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, ａｆｘ부호화 방법 및 장치
US20050130725A1 (en) * 2003-12-15 2005-06-16 International Business Machines Corporation Combined virtual and video game
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US10140514B1 (en) 2004-01-30 2018-11-27 Ip Holdings, Inc. Capturing and sharing images with mobile device users including for a limited duration of time
US11455799B2 (en) 2004-01-30 2022-09-27 Airspace Reality Image networks for mobile communication
US20050273804A1 (en) * 2004-05-12 2005-12-08 Showtime Networks Inc. Animated interactive polling system, method, and computer program product
US8870639B2 (en) 2004-06-28 2014-10-28 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US8376855B2 (en) 2004-06-28 2013-02-19 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US10226698B1 (en) 2004-07-14 2019-03-12 Winview, Inc. Game of skill played by remote participants utilizing wireless devices in connection with a common game event
US20060048136A1 (en) * 2004-08-25 2006-03-02 Vries Jeff D Interception-based resource detection system
WO2006031048A2 (en) * 2004-09-13 2006-03-23 Lg Electronics Inc. Method and apparatus for reproducing a data recorded in recording medium using a local storage
US20060077817A1 (en) * 2004-09-13 2006-04-13 Seo Kang S Method and apparatus for reproducing data from recording medium using local storage
WO2006050197A2 (en) * 2004-10-28 2006-05-11 Accelerated Pictures, Llc Camera and animation controller, systems and methods
JP2008527468A (ja) 2004-11-13 2008-07-24 ストリーム セオリー，インコーポレイテッド ハイブリッド・ローカル／リモート・ストリーミング
US7695369B2 (en) * 2004-11-22 2010-04-13 Planetwide Games, Inc. Systems and methods for accessing online content during online gaming
WO2006057185A1 (ja) * 2004-11-26 2006-06-01 Kabushiki Kaisha Sega Doing Business As Sega Corporation 情報処理装置、データ処理方法、プログラム及び記録媒体
KR20060081323A (ko) * 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
US8024523B2 (en) 2007-11-07 2011-09-20 Endeavors Technologies, Inc. Opportunistic block transmission with time constraints
US20060218165A1 (en) * 2005-03-23 2006-09-28 Vries Jeffrey De Explicit overlay integration rules
EP1875364A2 (en) * 2005-03-23 2008-01-09 Stream Theory, Inc. System and method for tracking changes to files in streaming applications
US20060230428A1 (en) * 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
US10721543B2 (en) 2005-06-20 2020-07-21 Winview, Inc. Method of and system for managing client resources and assets for activities on computing devices
US8118676B2 (en) * 2005-07-08 2012-02-21 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks
US8270439B2 (en) * 2005-07-08 2012-09-18 Activevideo Networks, Inc. Video game system using pre-encoded digital audio mixing
US9061206B2 (en) * 2005-07-08 2015-06-23 Activevideo Networks, Inc. Video game system using pre-generated motion vectors
US8284842B2 (en) * 2005-07-08 2012-10-09 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks and a reference grid
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9511287B2 (en) 2005-10-03 2016-12-06 Winview, Inc. Cellular phone games based upon television archives
US8149530B1 (en) 2006-04-12 2012-04-03 Winview, Inc. Methodology for equalizing systemic latencies in television reception in connection with games of skill played in connection with live television programming
US9919210B2 (en) 2005-10-03 2018-03-20 Winview, Inc. Synchronized gaming and programming
US8577953B2 (en) * 2005-12-09 2013-11-05 At&T Intellectual Property I, Lp System and method for providing multimedia services
US9056251B2 (en) 2006-01-10 2015-06-16 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US10556183B2 (en) 2006-01-10 2020-02-11 Winview, Inc. Method of and system for conducting multiple contest of skill with a single performance
US8002618B1 (en) 2006-01-10 2011-08-23 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US20070238526A1 (en) * 2006-03-31 2007-10-11 Chandranmenon Girish P Methods and devices for exchanging messages in an always-on network
US11082746B2 (en) * 2006-04-12 2021-08-03 Winview, Inc. Synchronized gaming and programming
US20070265094A1 (en) * 2006-05-10 2007-11-15 Norio Tone System and Method for Streaming Games and Services to Gaming Devices
US7841946B2 (en) 2006-06-29 2010-11-30 Spawn Labs, Inc. System for remote game access
JP4064429B2 (ja) * 2006-07-26 2008-03-19 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末およびサーバ装置
JP4064430B2 (ja) * 2006-07-26 2008-03-19 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末およびサーバ装置
WO2008014487A2 (en) * 2006-07-28 2008-01-31 Accelerated Pictures, Inc. Scene organization in computer-assisted filmmaking
US7880770B2 (en) * 2006-07-28 2011-02-01 Accelerated Pictures, Inc. Camera control
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US8261345B2 (en) 2006-10-23 2012-09-04 Endeavors Technologies, Inc. Rule-based application access management
US7925485B2 (en) * 2006-10-25 2011-04-12 International Business Machines Corporation System and apparatus for managing latency-sensitive interaction in virtual environments
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
EP2191384A1 (en) * 2007-08-20 2010-06-02 Garagegames, Inc. System and method for embedding graphics from a graphical application in a browser
EP2056265A3 (en) 2007-11-05 2010-04-21 Acei Ab A gaming system and a method of managing bandwidth usage in a gaming system
US8892738B2 (en) 2007-11-07 2014-11-18 Numecent Holdings, Inc. Deriving component statistics for a stream enabled application
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US9498714B2 (en) * 2007-12-15 2016-11-22 Sony Interactive Entertainment America Llc Program mode switching
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8253728B1 (en) 2008-02-25 2012-08-28 Lucasfilm Entertainment Company Ltd. Reconstituting 3D scenes for retakes
US9716918B1 (en) 2008-11-10 2017-07-25 Winview, Inc. Interactive advertising system
KR101029425B1 (ko) * 2008-11-20 2011-04-14 엔에이치엔(주) 멀티 유저 네트워크 게임의 제작 시스템 및 방법
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8700072B2 (en) 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
AU2010202024A1 (en) * 2009-05-22 2010-12-09 Aristocrat Technologies Australia Pty Limited A gaming system
US8506402B2 (en) * 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US8194862B2 (en) * 2009-07-31 2012-06-05 Activevideo Networks, Inc. Video game system with mixing of independent pre-encoded digital audio bitstreams
US20110256931A1 (en) * 2010-04-14 2011-10-20 Yazici Emre Player contributed dynamic network games
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
WO2012028198A1 (en) * 2010-09-03 2012-03-08 Nokia Siemens Networks Oy Media server and method for streaming media
KR101956639B1 (ko) 2010-09-13 2019-03-11 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하는 방법 및 시스템
US20230201714A1 (en) * 2010-09-13 2023-06-29 Sony Interactive Entertainment LLC Web-Based Game Controller
KR102126910B1 (ko) 2010-09-13 2020-06-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
US10046241B1 (en) * 2010-11-01 2018-08-14 Ronald Charles Krosky Output production
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8715087B2 (en) * 2011-04-12 2014-05-06 David W. Rouille Video game including user determined location information
US8376860B1 (en) 2011-07-25 2013-02-19 Jari Boutin Game flicz systems
KR20130062463A (ko) 2011-11-25 2013-06-13 한국전자통신연구원 다중 사용자 및 멀티 플랫폼 지원을 위한 게임 스트리밍 시스템 및 방법
US20150128195A1 (en) * 2011-12-29 2015-05-07 Sony Computer Entertainment Inc. Video reproduction system
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
PL2870567T3 (pl) * 2012-07-04 2017-05-31 Virtually Live (Switzerland) Gmbh Sposób i układ realizujące w czasie rzeczywistym trójwymiarową wirtualną rekonstrukcję rzeczywistej sceny i nośnik odczytywany przez komputer
US9418370B2 (en) 2012-10-23 2016-08-16 Google Inc. Obtaining event reviews
US8998719B1 (en) 2012-12-14 2015-04-07 Elbo, Inc. Network-enabled game controller
US10142496B1 (en) 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
CN104283698A (zh) * 2014-10-28 2015-01-14 用友优普信息技术有限公司 发送广播消息的装置和方法
US10395413B2 (en) * 2015-03-03 2019-08-27 Jeremy Flores Dynamic user interfaces
KR102203381B1 (ko) * 2015-07-24 2021-01-15 고릴라박스 게엠베하 아이. 지. 애플리케이션을 스트리밍하고 재생하기 위한 방법 및 전자통신 네트워크
US10565160B1 (en) * 2015-09-21 2020-02-18 Amazon Technologies, Inc. Managing state changes of modeled objects in a three dimensional virtual environment
CN107710197B (zh) 2015-09-28 2021-08-17 谷歌有限责任公司 在通信网络上共享图像和图像相册
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
US11551529B2 (en) 2016-07-20 2023-01-10 Winview, Inc. Method of generating separate contests of skill or chance from two independent events
EP3568787B1 (en) 2017-05-17 2024-04-10 Google LLC Automatic image sharing with designated users over a communication network
US10357715B2 (en) * 2017-07-07 2019-07-23 Buxton Global Enterprises, Inc. Racing simulation
US11819758B2 (en) 2018-04-06 2023-11-21 Novi Digital Entertainment Private Limited Synchronization of online gaming environment with video streaming of a live event
US11308765B2 (en) 2018-10-08 2022-04-19 Winview, Inc. Method and systems for reducing risk in setting odds for single fixed in-play propositions utilizing real time input
CN113034651B (zh) * 2021-03-18 2023-05-23 腾讯科技（深圳）有限公司 互动动画的播放方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869545A (ja) * 1994-08-31 1996-03-12 Sony Corp 対話型画像提供方法
JPH08329282A (ja) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> ３次元映像表示システム
JPH099223A (ja) * 1995-06-16 1997-01-10 Sony Corp 情報通信方法及び装置
JPH09503082A (ja) * 1993-09-23 1997-03-25 ヴァーチュアル ユニヴァース コーポレイション 仮想現実回路網

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701582A (en) * 1989-08-23 1997-12-23 Delta Beta Pty. Ltd. Method and apparatus for efficient transmissions of programs
WO1992000654A1 (en) * 1990-06-25 1992-01-09 Barstow David R A method for encoding and broadcasting information about live events using computer simulation and pattern matching techniques
US5594856A (en) * 1994-08-25 1997-01-14 Girard; Michael Computer user interface for step-driven character animation
CA2153445C (en) * 1994-09-08 2002-05-21 Ashok Raj Saxena Video optimized media streamer user interface
US5668948A (en) * 1994-09-08 1997-09-16 International Business Machines Corporation Media streamer with control node enabling same isochronous streams to appear simultaneously at output ports or different streams to appear simultaneously at output ports
US5754190A (en) * 1995-06-07 1998-05-19 Advanced Micro Devices System for reproducing images utilizing image libraries
JPH0981495A (ja) * 1995-07-11 1997-03-28 Sony Corp ３次元仮想現実空間共有方法、３次元仮想現実空間共有システム、情報記録媒体、情報記録方法、情報伝送媒体、情報伝送方法、情報処理方法、並びに共有サーバ端末
US6020885A (en) * 1995-07-11 2000-02-01 Sony Corporation Three-dimensional virtual reality space sharing method and system using local and global object identification codes
US5956028A (en) * 1995-09-14 1999-09-21 Fujitsu Ltd. Virtual space communication system, three-dimensional image display method, and apparatus therefor
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
GB9525047D0 (en) * 1995-12-07 1996-02-07 Philips Electronics Nv Virtual body control device
AU718608B2 (en) * 1996-03-15 2000-04-20 Gizmoz Israel (2002) Ltd. Programmable computer graphic objects
US5842216A (en) 1996-05-03 1998-11-24 Mitsubishi Electric Information Technology Center America, Inc. System for sending small positive data notification messages over a network to indicate that a recipient node should obtain a particular version of a particular data item
US5864678A (en) * 1996-05-08 1999-01-26 Apple Computer, Inc. System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6055563A (en) * 1997-02-03 2000-04-25 Fujitsu Limited Transfer and display of virtual-world data
JP3472065B2 (ja) * 1997-03-17 2003-12-02 株式会社東芝 アニメーション生成装置およびアニメーション生成方法
US6331851B1 (en) * 1997-05-19 2001-12-18 Matsushita Electric Industrial Co., Ltd. Graphic display apparatus, synchronous reproduction method, and AV synchronous reproduction apparatus
US6006254A (en) 1997-08-29 1999-12-21 Mitsubishi Electric Information Technology Center America, Inc. System for the reliable, fast, low-latency communication of object state updates over a computer network by combining lossy and lossless communications
US5996015A (en) * 1997-10-31 1999-11-30 International Business Machines Corporation Method of delivering seamless and continuous presentation of multimedia data files to a target device by assembling and concatenating multimedia segments in memory
US6157933A (en) * 1997-11-26 2000-12-05 International Business Machines Corporation Method and apparatus for loading multiple animated images on a web-page with limited network throughput
US5999944A (en) * 1998-02-27 1999-12-07 Oracle Corporation Method and apparatus for implementing dynamic VRML
US6208357B1 (en) * 1998-04-14 2001-03-27 Avid Technology, Inc. Method and apparatus for creating and animating characters having associated behavior
US6185602B1 (en) * 1998-06-29 2001-02-06 Sony Corporation Multi-user interaction of multimedia communication
US6215498B1 (en) * 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6351267B1 (en) * 1998-12-10 2002-02-26 Gizmoz Ltd Fast transmission of graphic objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09503082A (ja) * 1993-09-23 1997-03-25 ヴァーチュアル ユニヴァース コーポレイション 仮想現実回路網
JPH0869545A (ja) * 1994-08-31 1996-03-12 Sony Corp 対話型画像提供方法
JPH08329282A (ja) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> ３次元映像表示システム
JPH099223A (ja) * 1995-06-16 1997-01-10 Sony Corp 情報通信方法及び装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG200000489008; 宮崎一哉: '分散仮想環境構築基盤ＳＰＬＩＮＥの紹介' 情報処理学会研究報告 Ｖｏｌ．９６，　Ｎｏ．６９, 19960725, ｐ．４３-４６, 社団法人情報処理学会 *
JPN6013035202; Ｄ．Ｂ．Ａｎｄｅｒｓｏｎ　ｅｔ　ａｌ．: 'Ｂｕｉｌｄｉｎｇ　Ｍｕｌｔｉｕｓｅｒ　Ｉｎｔｅｒａｃｔｉｖｅ　Ｍｕｌｔｉｍｅｄｉａ　Ｅｎｖｉｒｏｎｍｅｎｔｓ　ａｔ　ＭＥＲＬ' ＩＥＥＥ　Ｍｕｌｔｉｍｅｄｉａ Ｖｏｌ．２，　Ｉｓｓｕｅ　４, 1995, ｐ．７７-８２, ＩＥＥＥ *
JPN6013035203; 宮崎一哉: '分散仮想環境構築基盤ＳＰＬＩＮＥの紹介' 情報処理学会研究報告 Ｖｏｌ．９６，　Ｎｏ．６９, 19960725, ｐ．４３-４６, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
BR9906766A (pt) 2000-10-03
DE69928642D1 (de) 2006-01-05
CA2306785C (en) 2010-03-30
US6697869B1 (en) 2004-02-24
CN1277774A (zh) 2000-12-20
EP1048159B1 (en) 2005-11-30
DE69928642T2 (de) 2006-08-10
KR20010031391A (ko) 2001-04-16
US20030037156A1 (en) 2003-02-20
JP2002523980A (ja) 2002-07-30
TR200001074T1 (tr) 2000-11-21
CN1134958C (zh) 2004-01-14
TW480857B (en) 2002-03-21
EP1048159A1 (en) 2000-11-02
WO2000011847A1 (en) 2000-03-02
AR056899A1 (es) 2007-11-07
CA2306785A1 (en) 2000-03-02
KR100791795B1 (ko) 2008-01-04
KR20010031390A (ko) 2001-04-16
US6557041B2 (en) 2003-04-29
KR100830852B1 (ko) 2008-05-21

Similar Documents

Publication Publication Date Title
JP2012147481A (ja) 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム
JP5160704B2 (ja) 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム
Diot et al. A distributed architecture for multiplayer interactive applications on the internet
DE60222890T2 (de) Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht
TW201119400A (en) System and method for selecting a video encoding format based on feedback data
TW201119402A (en) System and method for utilizing forward error correction with video compression
CN1310517C (zh) 发送和接收表示3－维虚拟空间的数据流的装置和方法
KR20120002996A (ko) 선택된 타일 및 타일 회전 패턴을 이용하여 비디오를 인코딩하기 위한 시스템 및 방법
TW201117868A (en) System and method for accelerated machine switching
TW201041401A (en) System and method for multi-stream video compression
TW200952495A (en) Apparatus for combining aplurality of views of real-time streaming interactive video
JP2001265562A (ja) スポーツイベントのリアルタイム通信
KR20120119504A (ko) 게임 스트리밍 서비스 시스템 및 방법
Battista et al. MPEG-4: A multimedia standard for the third millennium. 2
Hijiri et al. A spatial hierarchical compression method for 3D streaming animation
Otten Broadcasting virtual games in the internet
US11418806B2 (en) Systems and methods for decoding and displaying image frames
Matsuba et al. " Bottom, thou art translated": the making of VRML Dream
MXPA00003828A (en) Emulation of streaming over the internet in a broadcast application
Todesco et al. MPEG-4 support to multiuser virtual environments
WO2000042773A9 (en) System and method for implementing interactive video
Benavente-Peces et al. Architecture analysis and specification of the RacingDrones platform: Online Video Racing Drones
CN117544808A (zh) 设备控制方法、存储介质和电子设备
JP2000236535A (ja) 動画像情報処理方法および装置ならびに動画像情報配信方法
Gorman et al. Synchronous collaborative systems for distributed virtual environments in Java

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131217