JP2003506976A - モデルに基づくビデオコーダ - Google Patents

モデルに基づくビデオコーダ

Info

Publication number
JP2003506976A
JP2003506976A JP2001515629A JP2001515629A JP2003506976A JP 2003506976 A JP2003506976 A JP 2003506976A JP 2001515629 A JP2001515629 A JP 2001515629A JP 2001515629 A JP2001515629 A JP 2001515629A JP 2003506976 A JP2003506976 A JP 2003506976A
Authority
JP
Japan
Prior art keywords
reference frame
decoder
encoder
difference
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001515629A
Other languages
English (en)
Inventor
マン ヤイル
コヘン−オル ダニエル
モンサ アッサフ
シェメル イェフダ
アラド ウリ
Original Assignee
リッチエフエックス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リッチエフエックス リミテッド filed Critical リッチエフエックス リミテッド
Publication of JP2003506976A publication Critical patent/JP2003506976A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 ビデオ圧縮システムを提供すること。 【解決手段】 符号器はビデオを符号化し、復号器はそのビデオを復号化することができる。ビデオはビデオフレームから成り立っていることがある。復号器は概算された表示フレームを生成し、訂正された基準フレームに基づいて表示デバイス上に表示することができる。復号器において訂正された基準フレームは、モデル状態情報、および、符号器によって提供された差分フレームに基づいて生成された、概算された基準フレームに基づいて作成することができる。符号器は概算された基準フレームを正確な基準フレームから引くことによって差分フレームを生成することができる。正確な基準フレームは、三次元のバーチャルリアリティ環境のモデルに基づいて作成することができる。符号器は差分基準フレームに基づいて生成された、訂正された基準フレームに基づいて、概算された基準フレームを作成することができる。

Description

【発明の詳細な説明】
【０００１】
【発明の背景】
本発明はビデオ圧縮技法に関し、より具体的には、三次元バーチャルリアリテ
ィ環境などの三次元のコンテンツと共に使用するのに適したビデオ圧縮技法に関
する。
【０００２】 ネットワークに基づくアプリケーションの人気が高まるにつれて、合成アニメ
ーション画像シーケンスを効率よく送信するための圧縮が重要になってきている
。シーケンスが長いと、全体的な圧縮比が大きくても、圧縮されたファイルをダ
ウンロードする待ち時間はとても長くなることもある。ネットワークに基づいた
よりよい圧縮スキーマは、圧縮されたシーケンスを２つの部分に分けることを含
む場合がある。第１の部分またはヘッダは許容可能な初期化時間内にダウンロー
ドできるほど十分に小さく、第２の部分はストリームとして送信できる。圧縮さ
れたデータはネットワークパイプラインに沿って処理できるデータのストリーム
に分解することが可能である。すなわち、圧縮されたデータを１つの端から送信
し、他の端において受信し、復号化し、表示することができる。ストリーミング
では、すべてのパイプライン段がリアルタイムで動作することが必要である。ネ
ットワークの帯域幅はパイプラインの中でもっとも制限を受けるリソースである
。したがって、主な課題はネットワーク帯域幅の制約に十分に対処できるように
ストリームの帯域幅を低減することである。
【０００３】 ＭＰＥＧなどの標準のビデオ圧縮技法は一般に、低帯域幅という環境でのスト
リーミングには不十分である。例えば、平均のＭＰＥＧフレームは典型的には適
切なフレーム解像度に対して約２〜６Ｋバイトのサイズである。ネットワークの
持続する転送レートが１秒あたり２Ｋバイトであると仮定すると、１秒あたり数
フレームの適切な質は達成できない。
【０００４】 リアルタイムのストリーミングビデオには、圧縮比の大幅な改善が依然として
必要である。
【０００５】 本発明の目的は、改善されたビデオ圧縮スキーマを提供することである。
【０００６】 本発明の別の目的は、比較的低い帯域幅のネットワーク接続上で高品質のコン
テンツをストリーミングすることを可能にするビデオ圧縮スキーマを提供するこ
とである。
【０００７】
【発明の開示】
本発明によれば、ビデオ圧縮システムが提供される。
【０００８】 このシステムは、ビデオを提供するビデオソースを含む場合がある。ビデオソ
ースは現実のカメラに基づいてもよい。例えば、ビデオソースはデジタル画像と
範囲情報または距離情報を提供する現実のカメラである場合がある。ビデオソー
スはまた、アニメーションまたは他の三次元のバーチャルリアリティのコンテン
ツの生成を含むことがある。このようなコンテンツは例えば、バーチャルカメラ
の位置においてユーザの視点から提供される三次元のバーチャル世界を含むこと
がある。モデルとアニメーションデータはビデオソースによって提供することが
できる。望ましい場合は、他の適切なビデオキャプチャ装置または再生装置をビ
デオソースとして使用することもできる。
【０００９】 ビデオソースからのビデオのコンテンツは、符号器によって符号化され、復号
器によって復号化することができる。復号器によって復号化されたビデオは、デ
ィスプレイデバイス上でユーザに提供することができる。
【００１０】 望ましい場合は、符号器をサーバ上で実装し、復号器をクライアント上で実装
することが可能である。サーバとクライアントは、比較的低帯域幅のネットワー
ク接続上で通信できる（例えばインターネット上の標準のダイアルアップモデム
接続など）。クライアントにおけるユーザは、ネットワーク接続上でユーザ入力
（例えば、バーチャルリアリティ環境における望ましい動き）を符号器に提供す
ることによって、符号器とリアルタイムで相互作用することが可能である。
【００１１】 本発明のさらなる特徴、性質および種々の利点は、付随する図面と、好ましい
実施形態に関する次の詳細な説明からより明らかになるであろう。
【００１２】
【発明の実施の形態】
本発明によるビデオ圧縮技法をサポートするために使用できるシステム１０を
示す図が、図１に示されている。システム１０は、ビデオソース１２、符号器１
４、復号器１６、およびディスプレイデバイス１８を含む場合がある。ビデオソ
ース１２と符号器１４は１つのコンピュータ（例えばサーバ）を使用して実装し
、復号器１６とディスプレイデバイス１８は、別のコンピュータ（例えばクライ
アント）を使用して実装することができる。ビデオソース１２、符号器１４、復
号器１６、およびディスプレイデバイス１８はまた、単一のコンピュータまたは
、互いに通信するが、クライアント−サーバアーキテクチャを使用しない２台以
上のコンピュータ上で実装することもできる。
【００１３】 ビデオは、ビデオソース１２によって供給できる。ビデオソース１２は、任意
の適切なビデオのソースでよい。例えば、ビデオソース１２は、現実のビデオカ
メラからキャプチャされたビデオを提供できる。また、ビデオソース１２は、ア
ニメーションツールから生成されたビデオを提供できる。例えば、アニメーショ
ンツールを使用して、モデルＭと記述される、三次元のバーチャルリアリティの
世界を作成できる。ソース１２によって提供されるビデオは、各々がバーチャル
世界の異なるビューに対応する、ビデオフレームＥｉのシーケンスを含むことが
ある。各フレームは環境の異なる状態に対応することがある。例えば、復号器１
６にいるユーザは、バーチャルリアリティ環境と相互作用し、各ビューはユーザ
の視点の異なる位置に対応することもある（例えば、バーチャル環境におけるユ
ーザのバーチャルカメラの異なる位置）。ユーザの視野に現れるアニメーション
化されたオブジェクトも、異なるフレームの中では異なる位置と外見を有するこ
ともある。
【００１４】 ビデオフレームを復号器１６に送信するための帯域幅の要件を低減するために
、復号器１６を使用して、比較的少数の送信される基準フレームとモデル情報に
基づいて、ディスプレイ１８上に表示されるフレームを推定することができる。
基準フレームはビデオのシーケンスから選択することもあり、ビデオシーケンス
に近隣するモデル状態を表すこともある。
【００１５】 最初に、最初の正確なフレームＥ０の圧縮されたバージョンであるＣ０と、Ｅ ０ の中のすべての要素における三次元の位置を計算するのに十分なモデリング情
報の少なくとも一部（例えばモデリング情報Ｍ０）が復号器１６に送信される。
【００１６】 符号器１４は、訂正された基準フレームＣ０とモデル情報Ｍ０、およびモデル
情報Ｍ１に基づいて基準フレームＡ１を概算（approximate、近似値を求める）
ことがある。モデル情報Ｍｉは、ビデオフレームＥｉ内の各ポイントに関する三
次元の位置を提供する任意の情報であることがある（例えば、アニメーションを
含む多角形のモデルまたはＺバッファ）。
【００１７】 概算されたビューＡｉとＡｊを作成するために使用される三次元マッピングは
、モデルに基づいた逆投影技法に基づく場合がある。モデルに基づく手法はフレ
ーム間の統一性を活かすには、ＭＰＥＧなどの技法に比べて大幅に優れている。
モデルに基づく手法では、動きの補償（例えば、概算された新しいフレームＡ１ から基準フレームＣ０への二次元のマッピング。これは逆投影とも呼ばれる）は
、クライアント２２によって計算することができ、サーバ２０からクライアント
２２に送信する必要はない。
【００１８】 ビデオソース１２においては、正確な基準フレームＥ１が生成できる。例えば
、符号器１４がその上にあるコンピュータ装置上で実装されるレンダリングアプ
リケーションまたはレンダリングエンジンを使用して、フレームＥ１をレンダリ
ングすることができる。
【００１９】 システム１０は完全な基準フレームを符号器１４から復号器１６に送信するの
ではなく、差分基準フレームＤｉまたは圧縮された差分基準フレームＤｉ’を符
号器１４から復号器１６に送信する構成を使用する。
【００２０】 差分フレームＤｉ’を基準ビューＥｉよりも圧縮し、これによって、ネットワ
ーク上を送信する必要のあるデータの量を低減することが可能である。さらに、
サーバ２０は、表示フレームよりも低い頻度（例えば２０分の１の頻度）で構成
される基準フレームを訂正するだけでよい。
【００２１】 符号器１４では、正確な基準フレームＥ１と概算された基準フレームＡ１に基
づいて、差分フレームＤ１＝Ｅ１−Ａ１が作成できる。望ましい場合は、差分フ
レームＤ１を、ＪＰＥＧ圧縮または他のロスの多い圧縮スキーマ、または、ロス
のない圧縮技法を使用して圧縮し、圧縮された差分フレームＤ１’を生成しても
よい。
【００２２】 すべてのピクセルを含める必要はない。ピクセルは「質」に基づいて選択し送
信することができる。例えば、高品質のピクセルだけを送信し、他のピクセルを
廃棄することも可能である。高品質のピクセルは、高い可視性を伴うピクセル（
すなわち、穴またはギャップなどを埋めることのできるピクセル）と、高いスケ
ーリング係数（緊密性）を伴うピクセルとして定義できる。質の基準の使用につ
いて、次にさらに詳細に説明する。
【００２３】 次により詳細に説明するように、適切なパッキングスキーマを使用してから差分
フレームＤ１などの差分フレームを圧縮する場合もある。例えば、差分フレーム
Ｄ１は、上記のように選択されたピクセルを含むセクションに分割できる。残り
のピクセルは廃棄してもよい。差分フレームＤ１’を形成する時に、セクション
を互いにパックし、圧縮することもできる。このパックされた差分フレームを解
凍し、パックを解いてから、パックされた差分フレームを使用して訂正された基
準ビューを生成することができる。
【００２４】 ロスの多い圧縮を使用して差分フレームを圧縮してからクライアント２２に送
信する場合、クライアント２２によって計算される、訂正された基準フレームＣ ｉ は、正確な基準フレームＥｉと同じにはならない。このような状況では、サー
バ２０を使用して、クライアント２２と同じように、圧縮された差分フレームＤ ｉ ’を概算されたビューＡｉに加えることによって、訂正された基準フレームＣ ｉ を計算できる。これによって、クライアント２２の状態は常に、サーバ２０に
使用可能になる。
【００２５】 Ｃ１＝Ａ１＋Ｄ１’なので、パックを解かれた差分基準ビューＤ１’を符号器
１４の中で使用して、概算されたフレームＡ１に基づいて、訂正された基準フレ
ームＣ１を計算することができる。
【００２６】 訂正された基準フレームＣ１はついで、符号器１４によって使用され、モデル
情報Ｍ２に基づいて、さらに、概算された基準フレームＡ２を計算することがで
きる。このプロセスは符号器１４において継続してもよく、連続する圧縮された
差分基準フレームＤｉ’を使用して、先行するＣ０・・・Ｃｉ−１と、Ｍ０・・
・Ｍｉ−１の値と、新しいモデリング情報Ｍｉに基づいて、概算された基準フレ
ームＡ１を作成することによって、対応する訂正された基準フレームＣｉが作成
される。差分フレームＤｉは、正確な基準フレームＥｉに基づいて作成してもよ
い。
【００２７】 同様に、概算されたフレームＡｉとＡｊを作成する時に、訂正された基準フレ
ームＣ０・・・Ｃｉ−１に依存しているソースピクセルは、各ピクセルの質に基
づいて選択できる。特に、ピクセルが近くのオブジェクトの上にあるか遠くのオ
ブジェクトの上にあるかに基づいて、ピクセルを選択することもある。ビューに
おけるピクセルの近さは、緊密性またはスケーリングと呼ばれる場合のある基準
である。ピクセルはまた、これらが穴またはギャップを埋めているかどうかに基
づいて選択することもある（例えば、ピクセルの可視性に基づいて）。望ましい
場合は、スケーリングと可視性の両方を使用して、概算されたビューと差分ビュ
ーを作成するために使用されるピクセルの質を判定してもよい。
【００２８】 図１から図３の構成では、シーンのモデリングデータ（例えば三次元データと
アニメーションデータ）を使用して、三次元マッピングを使用して基準ビューか
らビューを概算する（内挿する）ことができる。マッピングされたビューは、フ
レームをセクションに分割することによって構成してもよい。フレームの各セク
ションは、隠れた幾何学的なモデルに基づいている場合がある。構成されるフレ
ームの各セクションに関して、使用される基準フレームは、質の基準にしたがっ
て、多数の基準フレームのプールから選択できる。各フレームセクションは、選
択された基準フレームの組から三次元マッピングすることが可能である。この組
は、質の基準に基づいて選択してもよい。これについては次にさらに詳細に説明
する。
【００２９】 復号器側では、基準フレームが符号器で構成され訂正された方法と同じ方法で
、基準フレームが構成され訂正される。各概算された基準フレームはビデオソー
ス１２からのモデル状態情報Ｍｉに基づく可能性もあるし、また、前の訂正され
た基準フレームＣ０・・・Ｃｉ−１とモデル情報Ｍ０・・・Ｍｉ−１に基づく可
能性もある。差分フレームＤｉ’は、パックを解かれ、概算された基準フレーム
Ａｉを訂正するために使用され、これによって訂正された基準フレームＣｉが生
成される。
【００３０】 訂正された基準フレームＣ０・・・Ｃｉ−１とモデル情報Ｍ０・・・Ｍｉ−１ は、モデル状態情報Ｍｊに基づいて一連の概算された表示フレームＡｊを推定す
るために使用できる。望ましい場合は、モデル状態情報Ｍｊはユーザの入力に基
づいてもよい。
【００３１】 望ましい場合は、モデル状態Ｍｉは、基準フレームを生成する際に適切してい
るかどうかについて選択できる。モデル状態Ｍｊと表示フレームＡｊは、表示さ
れているビデオシーケンスによって決定される。
【００３２】 復号器１６が概算されたフレームＡｉとＡｊを作成する時、訂正された基準フ
レームＣ０・・・Ｃｉ−１に依存するソースピクセルは、各ピクセルの質に基づ
いて選択できる。
【００３３】 符号器１４によって実行される符号化プロセスは、図２にさらに詳細に示され
ている。図２に示されるように、モデル状態Ｍｉは訂正された基準フレームＣ０ からＣｉ−１、および、モデル情報Ｍ０・・・Ｍｉ−１と組み合わされて、概算
された基準フレームＡｉを作成することができる。概算された基準フレームＡｉ を正確な基準フレームＥｉから引き、差分基準フレームＤｉを生成することが可
能である。フレームＥｉはビデオソース１２において生成できる。差分基準フレ
ームＤｉを圧縮し、圧縮された差分基準フレームＤｉ’を作成することもある。
【００３４】 図３には、復号器１６によって実行される復号化プロセスがさらに詳細に示さ
れている。図３に示されるように、モデル状態Ｍ１は以前に訂正された基準フレ
ームＣ０からＣｉ−１とモデル情報Ｍ０・・・Ｍｉ−１と組み合わされ、概算さ
れた基準フレームＡｉを生成することができる。圧縮された差分基準フレームＤ ｉ ’を使用して概算された基準フレームＡｉを訂正し、訂正された基準フレーム
Ｃｉを生成することができる。訂正された基準フレームＣ０・・・Ｃｉ−１とモ
デル情報Ｍ０・・・Ｍｉ−１を使用して、モデル状態情報Ｍｊに基づいて概算さ
れた表示フレームＡｊを外挿してもよい。
【００３５】 ローカルなスケーリング係数を基準として使用し、幾何学的なモデルを使用し
た基準フレームからの三次元マッピングの質を測定する場合がある。スケーリン
グ係数は構成された画像内のピクセルごとに変化し、基準フレームから概算され
たフレームの所与のマッピングに含まれる拡大の量の測定単位となることもある
。スケーリング係数が高いと、ぼやけた、低品質という結果になる可能性がある
。スケーリング係数は所定のピクセルの近隣におけるマッピングの偏導関数行列
の、行列ノルム２から計算できる。
【００３６】 バーチャルリアリティ環境は、多角形の幾何学的なモデル、テクスチャ、およ
び多くの光源によって記述されると仮定する。ビュー（フレーム）と一組のビュ
ーに依存するテクスチャ（訂正された基準フレーム）の組が与えられた場合、可
視的な各多角形に関してもっとも高品質のテクスチャを選択することが望ましい
。ソーステクスチャの質は、ソースフレーム（訂正された基準フレーム）の中の
各多角形の投影によってカバーされる領域に関連する。したがって、多角形ごと
のローカルスケーリング係数を使用して、ソースフレーム（訂正された基準フレ
ーム）にマッピングされた時、ローカルに縮小または拡大したソーステクスチャ
内の領域を推定することが可能である。スケーリング係数が１より小さいかまた
は１に等しい場合、ソースフレームはターゲットフレームを生成するのに適して
いると考えられる。スケーリング係数が１より大きくなるほど、ターゲット画像
の中のぼやけが増大するので、ソーステクスチャは適切でなくなると考えられる
。この多角形ごとのテクスチャの質の係数を使用して、ビューに依存した使用可
能なテクスチャ（訂正された基準フレーム）の組から最良のソーステクスチャを
選択できる。最良のソースが既定の閾値よりも大きな場合、新しいテクスチャ（
訂正された基準フレーム）が必要となることがある。しかし、テクスチャがうま
くストリーミングできた場合、質の係数が満足できる１つの使用可能なテクスチ
ャが常にあることが保証される。
【００３７】 ソースフレーム内の特定の多角形の中のスケーリング係数の最大値が、所与の
ターゲットフレーム（概算された基準フレームＡｉ）に関して推定できる。スケ
ーリング係数は多角形の可視性から独立して定義してもよい。多角形は、一次変
換または非一次変換で、ソースからターゲットにマッピングできる。
【００３８】 一次変換の場合、Ａを一次変換に対応する正方行列であるとする。一次変換の
スケーリング係数はすべての単位ベクトルｖにわたって、行列Ａの２ノルム、す
なわち、最大でΑｖの２ノルムである。
【００３９】
【数１】
【００４０】 Ａの２ノルムはλｍａｘの平方根、ＡＴＡの最大の固有値であることが示される
。二次元の一次変換の場合、Ａは２×２の行列であり、λｍａｘの閉じた形の数
式が提供される。ａｉｊは、Ａの要素を示し、ｅｉｊはＡＴＡの要素を示すとす
る。
【００４１】
【数２】
【００４２】 行列ＡＴＡの固有値は、多項式ｄｅｔ（ＡＴＡ−λＩ）の根であり、Ｉは単位行
列である。二次元の場合では、λｍａｘは、二次方程式のもっとも大きな根であ
る。
【００４３】
【数３】
【００４４】 したがって、
【００４５】
【数４】
【００４６】 要素ｅｉｊを要素ａｉｊの項で表現すると、次の式になる。
【００４７】
【数５】
【００４８】 最終的には、
【００４９】
【数６】
【００５０】 を定義すると、次の式になる。
【００５１】
【数７】
【００５２】 投影変換などの非一次変換を扱うには、画像の特定の点における変換の偏導関
数を使用して、その点におけるスケール係数をローカルに測定することが必要で
ある。偏導関数は、一次変換の係数として使用できる。
【００５３】 ある点のソース画像とターゲット画像の座標はそれぞれ、ｘ０、ｙ０、および
ｘ１、ｙ１と示すことができる。ターゲットカメラの座標におけるその点の三次
元の位置は、ｘ、ｙ、ｚと示すことができる。ここから、次式が得られる。
【００５４】
【数８】
【００５５】
【数９】
【００５６】 または、明らかに
【００５７】
【数１０】
【００５８】 である。 （ｘ１、ｙ１）における上記のマッピングの偏導関数はこの勾配を定義し、こ
れは次のような一次変換となる。
【００５９】
【数１１】
【００６０】 視野が狭い場合、およびソースビューとターゲットビューを比較して平面がわ
ずかしか回転していない場合、次の概算を使用することが可能である。ソース画
像からターゲット画像への平面点の変換は、次式によって概算される。
【００６１】
【数１２】
【００６２】 これは、疑似２Ｄ投影変換と呼ばれ、次式のような結果になる。
【００６３】
【数１３】
【００６４】 最大のスケーリング係数を推定するために、勾配は三角形の３つの頂点で計算す
ることが可能である。三角形が十分に小さい場合、１つのサンプル（三角形の中
心）だけでもよい概算が得られる。
【００６５】 本発明の技法を含む、画像に基づくレンダリング技法は、１対１関数ではない
フレームの間のマッピングによって生じる穴または重複などの傷を示す場合があ
る。可視性ギャップと呼ばれる穴は、基準ビューによってカバーされない概算さ
れたフレームの領域である。重複は、基準の中の複数の領域によってマッピング
された、概算されたフレーム内の領域である。重複は、深さの値を使用して、隠
れた表面の存在を決定することによって防ぐことができる。次に説明するように
、穴は、多数の基準フレームを使用してさらに処理してもよい。
【００６６】 スケーリング係数の他に使用できる、他の適切な品質の基準は可視性である。
可視性ギャップは、関連する基準フレームでは見えないが、概算されたフレーム
内で見える領域である。概算されたフレームの中の可視性ギャップの中にあるピ
クセルは、基準フレームからマッピングされた時に非常に低品質を有すると考え
られる。ギャップ内のピクセルは通常、基準フレームの中では、近いオブジェク
トの背後に隠れているか、またはビューイングフラストラムの外側にある。
【００６７】 望ましい場合は、スケーリング係数と可視性の基準を組み合わせて使用して、
基準フレームからの三次元マッピングの質を決定できる。基準フレーム（Ｃｉ）
内では見えないピクセルは、もっとも低い質の値を受け取ることがある。見える
ピクセルの質は、スケーリング係数によって決定できる。計算上で努力しても、
フレームを小さなパッチに分割することによって努力が最小化されてしまうこと
がある。スケーリング係数を各パッチの中心で計算し、パッチ内のすべてのピク
セルに与えることが可能である。画像をパッチに区分する便利な方法は、隠れた
三次元モデルを使用することである。構成された画像内の各多角形の投影は別々
のパッチと考えられ、各多角形の投影は、基準内のピクセルの可視性と、ローカ
ルスケーリング係数を含んでいることがある。
【００６８】 望ましい場合は、クライアント側のユーザに提供される表示視野（ＦＯＶ）よ
りも広い視野を基準フレーム（Ｃｉ）に使用することができる。より広い基準視
野は、２つの基準フレームの間でバーチャルカメラの視角が変化することによっ
て生じる、三次元マッピングされたフレームのエッジの周囲の穴を防ぐことがで
きる。
【００６９】 他の手法は、概算されたフレームの中の低品質のピクセルの位置を特定し、近
隣の高品質のピクセルの値に基づいて、低品質のピクセルを概算することを含む
。この手法は、多数の基準フレームまたは広い基準視野に基づく手法と組み合わ
せて使用できる。望ましい場合は、同じ深さの値に対する要件を使用して、近隣
のピクセルが概算されるピクセルと同じ表面に属することを確認できる。テクス
チャ（またはカラー、または、赤−緑−青、またはＲＧＢ）に関する加重平均を
、同じ表面に属するすべての近隣ピクセルについて計算することができる。使用
される加重は、近隣のピクセルと概算されるピクセルの間の距離の逆数であるこ
とがある。図５に示されるように、この手法では、近隣の高品質のピクセルから
の値が加重平均に含まれるが、深さが異なる近隣のピクセル、すなわち、低品質
のピクセルと同じ表面の一部ではないピクセルは除外される。
【００７０】 図６に示されるように、複数の使用可能な基準フレーム（Ｃ０−Ｃｉ）を使用
して、新しく概算されるフレームＡを三次元マッピングしてもよい。使用可能な
訂正された基準フレーム（Ｃ０−Ｃｉ）のプールを選択できる。概算されるフレ
ームＡの中の各ピクセルＰｊについて、プール基準フレーム（Ｃ０−Ｃｉ）への
すべての三次元マッピングの質（Ｑ０−Ｑｉ）を、選択された基準（例えば、可
視性とスケーリング）にしたがって計算できる。もっとも高い質の値Ｑｋを有す
る基準フレームＣｋが、ピクセルＰｊのソースとして選択されることがある。望
ましい場合は、複数の基準フレームをピクセルのソースとして使用し、加重平均
の重みとして、質の値Ｑ０−Ｑｉを使用して混合することもできる。これによっ
て、新しい視点に関して、フレームＡに対するピクセルのマッピングをスムーズ
にすることができる。
【００７１】 質の基準は、帯域幅の要件を低減するためにも使用できる。概算されたフレー
ム内の各ピクセルの三次元マッピングに関連する品質は、使用される基準フレー
ムの数にかかわらず計算できる。高品質でマッピングされているピクセルを差分
フレームから省略して、帯域幅を節約することも可能である。
【００７２】 さらなる帯域幅の低減は、残りのピクセルに関してパッキングアルゴリズムを
使用することによって達成できる。適切なパッキングアルゴリズムはY. Mannら
の、「Selective Pixel Transmission for Navigating in Remote Virtual Envi
ronments」（Eurographics ９７）の中に説明されている。パッキングアルゴリ
ズムは、近隣のピクセルの相関関係は保持しながら、残りの（低品質の）差分フ
レームのピクセルをより小さな方形の領域に再構成する。パッキングされた画像
は、ＪＰＥＧなどロスの多い技法を使用する時にパッキングされない画像よりも
大幅にいい品質で圧縮できる。残余から省略されたピクセルは、訂正された基準
フレーム内では訂正されない。これらのピクセルはソース基準フレームと比較し
て、追加の情報を含まない。したがって、このようなピクセルは続く三次元のマ
ッピングに関してソースとして使用されるようにマークされることはないが、少
なくともこれらのソース基準フレームは三次元マッピング用に使用可能である。
【００７３】 概算されたビューＡは、逆投影によって構成できる。逆投影は、多角形モデル
と共に使用できる。２つの斜視図の間の対応は投影マップなので、モデルは斜視
マッピングではなく投影マッピングを適用することによってレンダリングされる
。この投影マップは同質の空間内の一次変換によって表現でき、有理の一次内挿
によって実装できるが、これは各ピクセルにおける分割を必要とする。
【００７４】 データセット内に幾何学的なモデルを含めることに代わる方法は、深さデータ
（Ｚバッファデータ、または、ユーザの視点の実際のカメラまたはバーチャルカ
メラにおける光学面からの距離に関するデータとしても知られる）を、標準のカ
ラーバンド（ＲＧＢバンド）に追加して、別の画像バンドとして扱うことを含む
。Ｚバンドは、三次元マッピングを使用して、Ｚバンドを訂正された基準フレー
ムからマッピングすることによって概算される。図７に示されるように、Ｚバン
ドの残余が計算され、データセットの中に含められる。深さバンドを追加したた
め、正確な基準フレームＥｉ、概算された基準フレームＡｉ、差分フレームＤｉ とＤｉ’、および訂正された基準フレームＣｉは、カラー情報に関するＲＧＢデ
ータと、深さ情報に関するＺデータの両方を含む。このスキーマでは、マッピン
グが埋め込まれた深さ情報から計算できるので、別のモデル状態情報（Ｍｉ）は
必要ではない。B. K. Guenterらが、１９９３年のComputer Graphics Proceedin
gs、Annual Conference Seriesの中の「Motion Compensated Compression of Co
mputer Animation Frames」の中で説明しているように、Ｚバッファの残余は方
向符号化を伴うアルゴリズムを使用すると効果的に圧縮することができる。しか
し幾何学的モデルの代わりにＺバッファを使用すると、高速スキャンラインアル
ゴリズムは使用できない。ピクセルをソースから順方向でマッピングし、ターゲ
ット画像内に塗って、穴を防ぐ必要がある。光線追跡アルゴリズムを使用しても
よい。このようなソリューションは一般に、スキャンラインアルゴリズムよりも
遅く、複雑である。
【００７５】 モデル状態情報（例えば幾何学的データとアニメーションデータ）と差分フレ
ームを含むデータセットは符号器１４から復号器１６に送信される。データセッ
トは圧縮し、パックすることができる。必要に応じて、ユーザの入力に基づいて
（例えば、バーチャル世界を通じてナビゲーションする時にユーザのバーチャル
視点に基づいて）、また、アニメーションの要件に基づいて（例えば、ユーザが
見ている時、バーチャルリアリティ世界の中の所定のオブジェクトが動いている
か変化しており、静止状態でないという要件に基づいて）、データセットを復号
器１４にストリーミングしてもよい。
【００７６】 本発明の追加の態様は、次の説明のための例を参照すると理解されるだろう。
【００７７】 リアルタイムのインタラクティブなクライアント−サーバシステム リアルタイムのインタラクティブなクライアント−サーバシステム１９が図４
に示されている。ビデオはサーバ２０上で生成され、ネットワーク上でクライア
ント２２に提供される。ネットワークは例えば、従来のダイアルアップモデムな
どでアクセスされるインターネットなど、比較的低い帯域幅のネットワークであ
ってもよい。
【００７８】 ユーザは、ディスプレイデバイス３０上でユーザに提供されるバーチャルリア
リティの環境でローミングすることができる。ユーザはマウス、トラックボール
、ジョイスティック、キーボード、タッチパッド、タッチスクリーンなどの任意
の適切なユーザ入力デバイス３２を使用してナビゲートすることができる。
【００７９】 クライアント２２は一定の間隔（例えば一秒あたり一回の頻度）でカメラの視
点（ユーザの入力）をサーバ２０に送信できる。図４に示されるように、これに
応答して、サーバ２０は詳細なモデル情報ＤＭｉとテクスチャ情報Ｔを使用し、
カメラ位置情報を使用して正確なフレームＥｉをレンダリングすることができる
。サーバ２０は差分フレームＤｉ’を生成し、フレームＤｉ’をすぐにクライア
ント２２に送信することもできる。図４の構成の利点は、差分フレームＤｉ’は
、比較的低い頻度でレンダリングすればよいので、サーバ２０にあまり計算上の
要件を求めないということである。
【００８０】 サーバ２０のビデオソース２４が詳細なモデル状態情報ＤＭｉを使用し、バー
チャルリアリティ環境の正確なフレーム（ビュー）Ｅｉをレンダリングすること
もできる。フレームは、ユーザのバーチャルカメラの視点とバーチャル環境内の
任意のアニメーションの状態（例えばユーザの視野内で動いているオブジェクト
の位置）に関する情報を含むモデル状態に対応している場合がある。カメラの視
点情報はユーザ入力デバイス３２から送信してもよい。望ましい場合は、外挿装
置３４を使用してユーザの現在の位置から外挿し、外挿された情報をビデオソー
ス２４に送信して、フレームを生成する際に使用することもできる。フレームＥ ｉ をレンダリングする時に、ビデオソース２４はテクスチャ情報Ｔを使用するこ
ともできる。
【００８１】 まず、クライアント２２は最初の視点（ユーザの入力）をビデオソース２４に
送信する場合がある。ビデオソース２４は最初の視点に関して正確な基準フレー
ムＥ０をレンダリングできる。ビデオソース２４は、その視点に関して必要な単
純化された三次元モデル（Ｍ０）の部分が付随したフレームＥ０をクライアント
２２に送信することができる。
【００８２】 初期化の後、ユーザは新しい視点（ユーザの入力）の座標に入ることによって
、バーチャルリアリティの世界をナビゲートすることができる。クライアント２
２は三次元マッピングを使用して、ユーザの入力に基づいて（すなわち、ユーザ
の視点情報に基づいて）表示フレームを作成できる。ユーザ入力はクライアント
２２からサーバ２０に定期的に送信してもよい（例えば、１秒に１回など）。望
ましい場合は、クライアント２２は外挿装置３４を使用して、ユーザの視点の一
次外挿またはより高いオーダの外挿を使用した将来の視点を概算することもでき
る。このような方法で将来の視点を概算すると、使用可能な基準ビューによって
カバーされない三次元マッピングされたフレームの中の領域を低減する助けにな
る。サーバ２０は、外挿された視点の情報を外挿装置３４から受け取ると、三次
元マッピングを使用して、クライアント２２によって生成されたビューと同じで
これに対応する概算された基準ビューＡｉを作成することができる。サーバ２０
はついで、完全にテクスチャ化された詳しい詳細のモデル（Ｔ、ＤＭｉ）を使用
して、外挿された視点に関して正確な基準ビューＥｉをレンダリングすることが
できる。概算されたフレーム（Ａｉ）を正確なフレーム（Ｅｉ）から引くと、差
分フレーム情報が作成され、この差分フレーム情報はクライアント２２に送信す
ることができる。
【００８３】 正確な基準フレームＥｉをレンダリングすると、符号器２６は通信ネットワー
ク上で（例えばインターネット上で）クライアント２２に送信されるデータセッ
トを生成することができる。
【００８４】 復号器２８は、訂正された新しい基準フレームＣｉを生成できる。基準フレー
ムＣ０・・・Ｃｉ−１とモデル情報Ｍ０・・・Ｍｉ−１は、ローカルに使用可能
なデータＭｉと組み合わされて、これに続く概算された基準フレームＡｉを構成
できる。復号器２８によって構成された基準フレームＡｉは概算に過ぎないので
、クライアントに提供されるデータセットは、訂正された基準フレームＣｉを生
成するために使用される差分（残余）フレームＤｉ’を含むことがある。
【００８５】 差分フレームは、サーバ２０によってレンダリングされ概算された基準フレー
ムＡｉと、正確な基準ビューＥｉの間の差を表す。
【００８６】 クライアント２２では、概算された表示フレームＡｊは訂正された基準フレー
ムＣ０・・・Ｃｉ−１とモデル情報Ｍ０・・・Ｍｉ−１を三次元マッピングする
ことによって生成できる。モデル状態Ｍｊに関するカメラの位置、またはユーザ
が制御する他の任意のパラメータは、ユーザ入力デバイス３２からのユーザ入力
を使用して、リアルタイムで決定できる。これによって、表示フレームＡｊは、
待ち時間なくディスプレイデバイス３０上に表示できる。表示フレームＡｊの構
成と、符号器２６によって生成されるデータセットを分けたため、待ち時間が回
避できる。サーバ２０は十分な情報をクライアント２２に送信するだけで、訂正
された基準フレーム（Ｃ０・・・Ｃｉ−１）のプールと、クライアント２２の関
連するモデル情報Ｍ０・・・Ｍｉ−１を維持し、カメラ位置は表示フレームＡｊ のために使用されるカメラ位置に十分に近く、フレームＣ０・・・Ｃｉ−１とフ
レームＡｊの間の三次元マッピングに関して高品質のソースを使用可能にしてお
くことができる。
【００８７】 望ましい場合は、詳細なモデル状態情報ＤＭｉを使用するのではなく、簡単な
モデル状態情報Ｍｉをサーバ２０からクライアント２２に送信することもできる
。バーチャルリアリティ環境は、サーバ２０で記憶されているテクスチャ化され
たモデル情報を含むことがある（すなわち、詳細なモデルＤＭｉと、テクスチャ
Ｔ）。送信されるモデル（すなわち簡単なモデル状態情報Ｍｉ）は、幾何学的な
情報とアニメーション情報のみを含んでいればよく、テクスチャを含む必要はな
い。多くのバーチャルリアリティ環境でテクスチャ空間情報は幾何学的空間情報
よりもはるかに大きい可能性があるので、サーバ２０からクライアント２２にモ
デル状態情報を送信するために必要な帯域幅が大幅に低減されるという結果を生
むことが可能である。
【００８８】 新しいモデルがユーザのビューイングフラストラムに入った時、または、既存
のモデルに対して新しいレベルの詳細が必要になった時、サーバ２０はモデルデ
ータＭｉを送信するだけでよい。送信されるモデルはロスなく圧縮することもで
きるし、ロスの多い圧縮を使用して圧縮することもできる。モデルＭｉが必要な
三次元マッピングを計算するのに十分な限り、送信されるモデル情報（Ｍｉ）は
真のモデル（ＤＭｉ）の簡単なバージョンでありうる。クライアント２２におい
てユーザに見える時間と空間においてモデルに適用される、アニメーション情報
をモデル情報Ｍｉに含むこともできる。望ましい場合は、このアニメーション情
報は、ロスなく圧縮することもできるし、ロスの多い圧縮を行うこともできるし
、概算することもできる。
【００８９】 コンピュータで生成されたビデオの圧縮 図１の符号器１４が、のちに復号器１６（図１）によって復号化され、ディス
プレイデバイス１８に表示されるファイルをオフラインで準備する、合成（コン
ピュータで生成された）ビデオの圧縮スキーマを使用することができる。ビデオ
を再生するためにクライアント−サーバ構成を使う必要はなく、非クライアント
−サーバシステムを使用することも可能である。望ましい場合は、符号器１４と
復号器１６は、同じコンピュータ上にあってもよい。
【００９０】 レンダリングされたシーンとビデオフレームの三次元モデルは、３Ｄスタジオ
マックスまたはライトウェーブなどの三次元アニメーションツールによって生成
することができる。ビデオシーケンス内のフレームはまた、モデル状態Ｍｊと関
連づけられており、カメラの視点とアニメーションデータを含む。
【００９１】 符号器１４は、ビデオシーケンス、またはビデオシーケンスの近隣のモデル状
態を表す基準フレームから、基準フレームを選択することができる。基準は、ビ
デオの表示レートよりも低い頻度で、シーケンスからサンプリングされる。符号
器１４は、各々の基準フレームに関する残余（差分フレーム）を含むデータセッ
トを準備することができる。残余は、正確な基準ビューと、前に訂正された基準
から三次元マッピングされた概算された基準ビューの間の差を記述する。各基準
データセットは、基準ビューを概算するために必要な三次元モデルの部分とアニ
メーションを含むことがある。ユーザが入力を供給しないので、データセットは
、基準フレームを含めて、ビデオシーケンス内のフレームごとにカメラの視点情
報を含まなければならない。
【００９２】 基準データセットファイルを読み出す復号器１６は、基準ビューを再構成する
ことができる。概算された基準ビューＡｉは、以前に訂正された基準ビューＣ０ ・・・Ｃｉとモデル情報Ｍ０・・・Ｍｉ−１から三次元マッピングすることによ
って概算できる。概算された基準ビューは各々、残余（差分フレーム）Ｄｉ’と
組み合わされて、訂正された基準ビューＣｉになることが可能である。訂正され
た基準ビューＣｉの全セットが再構成されると、復号器１６は続いてビデオフレ
ームＡｊの全シーケンスを再構成し、モデル状態Ｍｊに基づいて表示することが
できる。モデル状態Ｍｊは、ビデオシーケンスのフレームごとのモデルの状態と
カメラの状態を記述する。復号器１６は、訂正された基準ビューＣ０・・・Ｃｉ とモデル情報Ｍ０・・・Ｍｉ−１の全セットを使用して、ビデオシーケンス内の
各フレームを３Ｄマッピングすることができる。復号器１６は将来三次元マッピ
ングされる基準フレームと、過去に三次元マッピングされた基準フレームの両方
を使用するため、３Ｄマッピングには「穴」はほとんどない。したがって、三次
元マッピング内では、近隣のピクセルから概算しなければならない低品質のピク
セルの数は少ない。
【００９３】 この非インタラクティブなスキーマを使用して、現実のビデオシーケンス（す
なわち、コンピュータで生成されたのではないビデオ）を圧縮することができる
。例えば、３Ｄモデルと、シーンのアニメーションをビデオシーケンスから抽出
するために、使用可能なデジタル写真計測の方法を使用することができる。望ま
しい場合は、三次元モデルを使用する代わりに、深さデータ（Ｚバッファデータ
）をデータセット内に含むことも可能である。レンジスキャナを有する現実のビ
デオカメラを使用してこの圧縮スキーマ用のデータを生成することができる。
【００９４】 このスキーマの中で符号器１４によって生成される圧縮データセットはストリ
ーミングすることができる。ストリーミングは、インターネット上でビデオを放
送するため、または、数秒よりも長いビデオシーケンスをインターネット上で見
るために重要である。各基準フレームは、続く基準フレームが復号器１６によっ
て読み出される前に再構成できる。ストリーミング環境のために、基準フレーム
の全セットが基準フレーム以外のフレームの生成に使用できるわけではない。し
かし望ましい場合には、所与のビデオフレームの三次元マッピングは、将来のビ
ューから１つまたは２つ（またはそれ以上）の基準ビューが再構成されるまで、
遅延させることが可能である。この技法により、ストリーミング環境をサポート
しながら、三次元マッピングにおける「穴」に伴う傷のほとんどが軽減される。
【００９５】 この再生手法は、図８ａ、図８ｂ、図８ｃに示されている。図８ａでは、フレ
ームＣ０はクライアントで再構成されている。図８ｂでは、フレームＣ０とＣ１ は再構成されているので、再生が開始しており、Ｃ０とＣ１の間の時間ｔ１にお
いてフレームが現在再生されている。図８ｃでは、フレームＣ２は再構成されて
おり、再生は時間ｔ２に進んでいる。
【００９６】 オフラインのデータセットに基づいたクライアント−サーバシステム クライアント側のユーザはサーバ内で保持されている遠隔のバーチャルリアリ
ティ環境内でローミングするが、サーバは環境のビューをレンダリングせず、デ
ータセットをオンラインで符号化することもない、インタラクティブなクライア
ント−サーバウェブシステムが提供される。その代わりに、符号器はオフライン
で多くのデータセットを準備し、これらのデータセットの各々は、その環境の中
の短いウォークスルーに対応する。これらのデータセットはサーバ上にあるデー
タベース内に記憶することができる。ユーザは準備されたウォークスルーから選
択することによって（例えば、画面上の印または他のオプションをクリックする
ことによって）バーチャルリアリティ環境内をナビゲートできる。ついでサーバ
が適切なウォークスルーをデータベースから抽出し、クライアントにストリーミ
ングし、ユーザに表示することができる。
【００９７】 この方法はユーザのインタラクティブな可能性をいくぶん制限するが、完全に
インタラクティブな手法に比べると、必要となる計算とグラフィックサーバの能
力はかなり少ない。サーバは例えば、標準のパーソナルコンピュータハードウェ
アのプラットフォームを使用する何千人ものユーザに同時にサービスすることの
できる、比較的簡単なＨＴＴＰファイルサーバであってもよい。
【００９８】 符号器によって準備される短いウォークスルーは、ユーザが関心を持つ可能性
のあるバーチャルリアリティ環境内のすべての領域をカバーする方向グラフのエ
ッジを画定することができる。多くのウォークスルーは、同じ単一のビューの中
で終了することがある（例えば、正確な基準フレーム）。このビューはまた、多
くの異なるウォークスルーの第１のビューである場合もある。このようなビュー
は、接点と呼ばれることもあるグラフの頂点を画定することができる。接点の間
では、多数の基準フレーム（例えば多数の正確な基準フレーム、訂正された基準
フレーム、差分基準フレーム、概算された基準フレーム）を各エッジに関連づけ
ることができる。特定の接点で終了するウォークスルーはその頂点の入力エッジ
であり、その接点で開始するウォークスルーはその頂点の出力エッジである。ユ
ーザは、方向グラフの中で継ぎ目なく連結したウォークスルーから構成されてい
るパスを選択することによって、ナビゲートする。図９は、このタイプの、例と
してのナビゲーショングラフをグラフで表現したものである。短いウォークスル
ーＢＡは、接点Ｂから出発して接点Ａに入る。
【００９９】 ウォークスルーグラフ内をナビゲーションするための便利なユーザインタフェ
ースは、ビデオフレーム上のホットスポットを使用することを含む。例えば、「
ダイニングルーム」を示す印をクリックすると、サーバは、ユーザをバーチャル
リアリティ環境内のバーチャルなダイニングルームに移動させるウォークスルー
を、クライアントに向けてストリーミングするように指示される。望ましい場合
は、「左に曲がる」または「右に曲がる」などのナビゲーションボタンを提供す
ることもできる。所定の接点にいる間にこのようなボタンを選択することによっ
て、ユーザはその接点から使用可能な出力ウォークスルーからあらかじめ符号化
されたウォークスルーを選択することができる。例えば、ユーザが左に曲がるオ
プションを選択すると、左に曲がるビデオシーケンスが提供される。
【０１００】 コンピュータで生成されたビデオの圧縮技法と共に上記の手法を使用すると、
各個別のウォークスルーを符号化し、データセットを準備することができる。各
ウォークスルーの最初のビューと最後のビュー（グラフの頂点）は常に、基準ビ
ューとして選択される。望ましい場合は、例えば、表示レートよりも低い頻度で
ウォークスルービューをサンプリングすることによって、各ウォークスルー内の
他のビューを基準として選択することもできる。
【０１０１】 通常、ウォークスルーの第１の基準ビューは、以前に表示されたウォークスル
ーの最後の基準でもある。この場合、第１の基準に関連するデータはデータセッ
トから省略することもできる。さらに、第１の基準に必要な幾何学的なモデルの
すべての部分はすでにクライアント側にあり、データセットから省略できる場合
もある。
【０１０２】 このタイプの構成では、上記のようにコンピュータで生成されたビデオの圧縮
と、現実世界のビデオシーケンスを共に使用することができる。しかし、ウォー
クスルーをほとんど正確に同じビューで終了し開始させるように、特別に注意す
ることが望ましい場合もある。例えば、現実社会のカメラを、ユーザがバーチャ
ルリアリティ環境の中でナビゲートするグラフと同じパスに沿って移動するよう
に、物理的なトラックなどの上に取りつけることもできる。
【０１０３】 望ましい場合は、さらなるインタラクティブ性をサポートして、符号器が準備
したあらかじめ定義されたパスの周囲をユーザがローミングできるようにするこ
とも可能である（また、そのパス以外）。クライアント側で表示するために三次
元マッピングされたビューは基準ビューである必要はないため、このことが達成
しうる（すなわち、図１のモデル状態Ｍｊは、基準モデル状態Ｍｉと同じパス上
にある必要はなく、視角が異なることもあるということである）。典型的には、
再構成されたビューのほとんどは基準ビューではない。ユーザがカメラの視角と
その位置を変更することができる場合、基準フレームの視野は、好ましくはユー
ザに表示される視野よりもはるかに広い。ユーザが任意の視角を選択できる比較
的極端な場合では、基準ごとの視野は好ましくは、３６０度である（すなわち、
パノラマ）。
【０１０４】 ここに説明した例では、訂正データセットとして差分画像を使用したが、差分
画像の代わり、または差分画像に追加して、他のタイプの訂正データセットを使
用することもできる。
【０１０５】 ここに説明された三次元モデルは一般に、多角形およびテクスチャなどの基本
要素を使用して形成することができる。望ましい場合は、ボクセル、ナーブなど
の、三次元の環境を表す他の方法も使用できる。
【０１０６】 さらに、ピクセルまたはピクセルのグループを三次元マッピングする時に、異
なる質の基準を使用することもできる。例えば、ソースビューとターゲットビュ
ーの間で、所定のパッチをカバーする領域の比を質の基準として使用することも
できる。
【０１０７】 上述は、本発明の原理を説明するものに過ぎず、当事者であれば本発明の範囲
と精神から離れることなく、種々の修正を行うことができる。
【図面の簡単な説明】
【図１】 本発明によるビデオ圧縮スキーマの概念図である。
【図２】 本発明による、例としての符号化プロセスを示す図である。
【図３】 本発明による、例としての復号化プロセスを示す図である。
【図４】 本発明による、ユーザのためのリアルタイムな相互作用をサポートするクライ
アント−サーバビデオ圧縮構成の、例としての実施形態の概念図である。
【図５】 本発明による、隣接する高品質ピクセルの値を使用して低品質のピクセルの値
を推定する加重平均の中に異なる深さを伴う近隣のピクセルを含む必要がない方
法を示す図である。
【図６】 本発明による、ピクセルが多数の基準フレーム内のピクセルからの寄与分を含
む方法を示す図である。
【図７】 本発明による、深さ情報（Ｚ）を使用する、例としてのビデオ圧縮プロセスの
図である。
【図８ａ】 本発明による、圧縮ビデオを再構成する間に、将来の基準フレームを使用する
ことを示す図である。
【図８ｂ】 本発明による、圧縮ビデオを再構成する間に、将来の基準フレームを使用する
ことを示す図である。
【図８ｃ】 本発明による、圧縮ビデオを再構成する間に、将来の基準フレームを使用する
ことを示す図である。
【図９】 本発明による、例としてのナビゲーショングラフの図である。
【符号の説明】
１０ システム １２ ビデオソース １４ 符号器 １６ 復号器 １８ ディスプレイデバイス ２０ サーバ ２２ クライアント
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，Ｃ Ａ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ， ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，Ｋ Ｅ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，Ｒ Ｕ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ， ＺＡ，ＺＷ (72)発明者 ダニエル コヘン−オル イスラエル国、45241 ホド ハシャロン、 ネヴェ ネエマン、エラザル ストリート ３ (72)発明者 アッサフ モンサ イスラエル国、42920 シャアル ヘフェ ル、ベイト イツァーク、ピーオーボック ス 8140 (72)発明者 イェフダ シェメル イスラエル国、テル アビブ 69481、ア パートメント 20、キジス ストリート 18 (72)発明者 ウリ アラド イスラエル国、テルアビブ、フェアバーグ ストリート 32 Ｆターム(参考） 5C053 FA28 GB21 LA06 LA11 LA14 5C059 KK00 MA00 PP12 PP13 UA02 UA05

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】 基準フレームのシーケンスを使用してビデオを圧縮し解凍す
    る、非クライアントサーバシステム（non-client-server system、非クライアン
    トサーバ型のシステム、クライアントサーバ型ではないシステム）であって、該
    システムは、 符号器と、 復号器とを備え、 前記符号器および前記復号器は各々、三次元マッピングを使用して、シーケン
    ス内の前の訂正された基準フレームから概算された基準フレームを生成するよう
    に構成され、 前記符号器は、前記概算された基準フレームを対応する正確な基準フレームか
    ら引くことによって、複数の差分基準フレームを生成するように構成され、 前記符号器は、前記差分基準フレームを前記復号器に提供するように構成され
    、また、該符号器において前記訂正された基準フレームを作成する際に前記差分
    基準フレームを使用するように構成され、 前記復号器は、前記符号器から前記差分基準フレームを受信するように構成さ
    れ、該差分基準フレームと前記概算された基準フレームに基づいて該復号器にお
    いて前記訂正された基準フレームを作成するように構成される非クライアントサ
    ーバシステム。
  2. 【請求項２】 前記復号器はさらに、前記訂正された基準フレームに基づい
    て概算された表示基準フレームを生成するように構成される請求項１に記載の非
    クライアントサーバシステム。
  3. 【請求項３】 前記復号器はさらに、前記訂正された基準フレームに基づい
    て概算された表示フレームを生成するように構成され、前記概算された基準フレ
    ームよりも、前記概算された表示フレームのほうが多く生成される請求項１に記
    載の非クライアントサーバシステム。
  4. 【請求項４】 前記復号器はさらに、前記訂正された基準フレームに基づい
    て概算された表示フレームを生成するように構成され、前記概算された基準フレ
    ームの各々について、１０以上の前記概算された表示フレームが生成される請求
    項１に記載の非クライアントサーバシステム。
  5. 【請求項５】 前記符号器はさらに、前記差分基準フレームを圧縮してから
    、該差分基準フレームを前記復号器に提供するように構成される請求項１に記載
    の非クライアントサーバシステム。
  6. 【請求項６】 前記符号器はさらに、ＪＰＥＧ圧縮を使用して前記差分基準
    フレームを圧縮してから、該差分基準フレームを前記復号器に提供するように構
    成される請求項１に記載の非クライアントサーバシステム。
  7. 【請求項７】 前記符号器はさらに、ロスの多い圧縮を使用して前記差分基
    準フレームを圧縮してから、該差分基準フレームを前記復号器に提供するように
    構成される請求項１に記載の非クライアントサーバシステム。
  8. 【請求項８】 前記符号器および前記復号器はさらに、三次元モデル状態情
    報に基づいて三次元マッピングを実行するように構成され、該モデル状態情報は
    範囲データを作成するために使用されるカメラの視点を含む請求項１に記載の非
    クライアントサーバシステム。
  9. 【請求項９】 前記符号器および前記復号器はさらに、三次元モデル状態情
    報に基づいて三次元マッピングを実行するように構成され、該モデル状態情報は
    範囲データを作成するために使用されるカメラの視点を含み、前記符号器はさら
    に、通信ネットワーク上で前記差分基準フレームを前記復号器にストリーミング
    するように構成される請求項１に記載の非クライアントサーバシステム。
  10. 【請求項１０】 前記符号器はさらに、通信ネットワーク上で前記差分基準
    フレームを前記復号器にストリーミングするように構成される請求項１に記載の
    非クライアントサーバシステム。
  11. 【請求項１１】 前記符号器はさらに、通信ネットワーク上で前記差分基準
    フレームを前記復号器にストリーミングするように構成され、該符号器はさらに
    ユーザ入力に基づいて情報を符号化するように構成される請求項１に記載の非ク
    ライアントサーバシステム。
  12. 【請求項１２】 前記符号器はさらに、次に前記復号器が使用する前記差分
    基準フレームを、オフラインで準備するように構成される請求項１に記載の非ク
    ライアントサーバシステム。
  13. 【請求項１３】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供するように構成され、 前記符号器における前記概算された基準フレームの生成は、三次元マッピング
    によって前記訂正された基準フレームと前記概算された基準フレームの間でマッ
    ピングされる該概算された基準フレーム内のピクセルに関して質の係数を計算す
    ることを含むシステム。
  14. 【請求項１４】 前記質の係数は、ピクセルの可視性とローカルスケーリン
    グ係数の組み合わせに基づく請求項１３に記載のシステム。
  15. 【請求項１５】 前記差分基準フレームは、低品質であると決定されたピク
    セルのみを含む請求項１３に記載の措置。
  16. 【請求項１６】 前記差分基準フレームは、低品質であると決定されたピク
    セルのみを含み、該差分基準フレームはパックされてから前記復号器に提供され
    る請求項１３に記載のシステム。
  17. 【請求項１７】 前記概算された基準フレーム内のピクセルは、同じ深さの
    値と高い質を有する請求項１３に記載のシステム。
  18. 【請求項１８】 前記概算された基準フレーム内のピクセルは、同じ深さの
    値と高い質を有し、該概算された基準フレーム内の所与のピクセルは、該各々の
    所与のピクセルの近隣のピクセルのグループに関して加重平均ＲＧＢ値を計算す
    ることによって、前記訂正された基準フレーム内のピクセルから生成され、 前記加重平均は、前記各々の所与のピクセルと前記近隣のピクセルの間の距離
    の逆数に基づいた重みを使用する請求項１３に記載のシステム。
  19. 【請求項１９】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供するように構成され、 前記訂正された基準フレームのプールは前記符号器によって選択され、前記訂
    正された基準フレーム内のピクセルを前記概算された基準フレーム内のピクセル
    に三次元マッピングするために質の係数が計算され、ピクセルはもっとも品質の
    高いピクセルに関連する前記訂正された基準フレームから前記概算された基準フ
    レームにマッピングされるシステム。
  20. 【請求項２０】 ピクセルは多数の訂正された基準フレームから概算された
    基準フレームの各々にマッピングされる請求項１９に記載のシステム。
  21. 【請求項２１】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供するように構成され、 前記三次元マッピングはＺバッファを使用して実行されるシステム。
  22. 【請求項２２】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供するように構成され、 前記符号器はさらに三次元モデル状態情報に基づいて三次元マッピングを実行
    するように構成され、該モデル状態情報は範囲データを生成するために使用され
    るカメラの視点を含み、該三次元モデル状態情報は、簡単にされてから前記復号
    器に提供されるシステム。
  23. 【請求項２３】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供し、 通信ネットワーク上で前記差分基準フレームを前記復号器にストリーミングし
    、 ユーザ入力に基づいて情報を符号化するように構成され、 前記復号器は外挿装置を使用して将来のユーザ入力を外挿し、該外挿された将
    来のユーザ入力を前記符号器に送信するシステム。
  24. 【請求項２４】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を備え、該符号器は、 三次元マッピングを使用して、シーケンス内の前の訂正された基準フレームか
    ら概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて前記復号器に
    おいて訂正された基準フレームを作成する際に使用するように、該差分基準フレ
    ームを該復号器に提供するように構成され、 現実のカメラを使用して前記正確な基準フレームを作成するシステム。
  25. 【請求項２５】 前記現実のカメラは前記正確な基準フレームに関して深さ
    情報を生成するレンジスキャナを含む請求項２４に記載のシステム。
  26. 【請求項２６】 基準フレームのシーケンスを使用してビデオを圧縮するシ
    ステムであって、該圧縮されたビデオは復号器によって解凍され、該システムは
    符号器を含み、該符号器は、 三次元マッピングを使用して、シーケンスの中の前の訂正された基準フレーム
    から、概算された基準フレームを生成し、 前記概算された基準フレームを対応する正確な基準フレームから引くことによ
    って複数の差分基準フレームを生成し、 前記差分基準フレームと前記概算された基準フレームに基づいて、前記復号器
    において訂正された基準フレームを作成する際に使用するように、該差分基準フ
    レームを該復号器に提供するように構成され、 前記正確な基準フレームの少なくとも一部は方向グラフの頂点に関連づけられ
    ているシステム。
  27. 【請求項２７】 前記方向グラフはエッジを含み、差分基準フレームのシー
    ケンスは該エッジの各々に関連づけられている請求項２６に記載のシステム。
  28. 【請求項２８】 前記方向グラフはエッジ、およびソース頂点とターゲット
    頂点を含み、該ソース頂点と該ターゲット頂点がそれぞれ第１の差分基準フレー
    ムと最後の差分基準フレームに関連づけられるように、該第１の差分基準フレー
    ムと該最後の差分基準フレームを含む差分基準フレームのシーケンスが前記所与
    のエッジのうち１つに関連づけられる請求項２６に記載のシステム。
  29. 【請求項２９】 前記方向グラフはエッジ、および、ソース頂点とターゲッ
    ト頂点を含み、該ソース頂点と該ターゲット頂点がそれぞれ第１の差分基準フレ
    ームと最後の差分基準フレームに関連づけられるように、該第１の差分基準フレ
    ームと該最後の差分基準フレームを含む差分基準フレームのシーケンスが前記所
    与のエッジのうち１つに関連づけられており、前記符号器はオフラインで該差分
    基準フレームを準備する請求項２６に記載のシステム。
  30. 【請求項３０】 前記方向グラフはエッジ、および、ソース頂点とターゲッ
    ト頂点を含み、該ソース頂点と該ターゲット頂点がそれぞれ第１の差分基準フレ
    ームと最後の差分基準フレームに関連づけられるように、該第１の差分基準フレ
    ームと該最後の差分基準フレームを含む差分基準フレームのシーケンスが前記所
    与のエッジのうち１つに関連づけられており、前記符号器はオフラインで該差分
    基準フレームを準備し、前記復号器は前記グラフを通じるパスを選択するように
    使用される請求項２６に記載のシステム。
  31. 【請求項３１】 前記方向グラフはエッジ、および、ソース頂点とターゲッ
    ト頂点を含み、基準フレームのシーケンスは各エッジに関連づけられ、該基準フ
    レームのうち第１の基準フレームは前記ソース頂点に関連づけられ、該基準フレ
    ームのうち最後の基準フレームは前記ターゲット頂点に関連づけられ、前記第１
    の基準フレームは前記ソース頂点を前記所与のエッジと共有する、訂正された基
    準フレームのシーケンスから訂正された最後の基準フレームである請求項２６に
    記載のシステム。
  32. 【請求項３２】 前記方向グラフはエッジ、および、ソース頂点とターゲッ
    ト頂点を含み、基準フレームのシーケンスは各エッジに関連づけられ、該基準フ
    レームのうち第１の基準フレームは前記ソース頂点に関連づけられ、該基準フレ
    ームのうち最後の基準フレームは前記ターゲット頂点に関連づけられ、前記符号
    器と前記復号器は三次元モデル状態情報に基づいて三次元マッピングを実行し、
    該符号器は所与のエッジのソース頂点に関して、三次元モデル状態情報を前記復
    号器に提供しないように構成され、該復号器はその代わりに別のエッジに関して
    使用された基準フレームのシーケンスの、最後の基準フレームに関連づけられた
    モデル状態情報を使用する請求項２６に記載のシステム。
JP2001515629A 1999-08-06 2000-08-04 モデルに基づくビデオコーダ Pending JP2003506976A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14741999P 1999-08-06 1999-08-06
US60/147,419 1999-08-06
US09/629,514 2000-08-01
US09/629,514 US6330281B1 (en) 1999-08-06 2000-08-01 Model-based view extrapolation for interactive virtual reality systems
PCT/IL2000/000474 WO2001011888A1 (en) 1999-08-06 2000-08-04 Model-based video coder

Publications (1)

Publication Number Publication Date
JP2003506976A true JP2003506976A (ja) 2003-02-18

Family

ID=26844915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001515629A Pending JP2003506976A (ja) 1999-08-06 2000-08-04 モデルに基づくビデオコーダ

Country Status (8)

Country Link
US (1) US6330281B1 (ja)
EP (1) EP1201086A1 (ja)
JP (1) JP2003506976A (ja)
KR (1) KR20020064761A (ja)
AU (1) AU6465900A (ja)
CA (1) CA2381457A1 (ja)
IL (1) IL147787A0 (ja)
WO (1) WO2001011888A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587520B1 (en) 2001-01-24 2009-09-08 3Dlabs Inc. Ltd. Image display system with visual server
US6968396B1 (en) * 2001-07-26 2005-11-22 Openwave Systems Inc. Reloading of hypermedia pages by sending only changes
AU2003208477A1 (en) * 2002-03-01 2003-09-16 T5 Labs Ltd Centralised interactive graphical application server
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US20050017968A1 (en) * 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
GB0319697D0 (en) * 2003-08-21 2003-09-24 Falanx Microsystems As Method of and apparatus for differential encoding and decoding
US8057307B2 (en) * 2004-04-08 2011-11-15 International Business Machines Corporation Handling of players and objects in massive multi-player on-line games
US7525543B2 (en) * 2004-08-09 2009-04-28 Siemens Medical Solutions Usa, Inc. High performance shading of large volumetric data using screen-space partial derivatives
US7574059B2 (en) * 2004-10-29 2009-08-11 Broadcom Corporation System, method, and apparatus for providing massively scaled down video using iconification
US7584193B2 (en) * 2004-12-16 2009-09-01 Sap Ag Client-server data communication
US8021160B2 (en) * 2006-07-22 2011-09-20 Industrial Technology Research Institute Learning assessment method and device using a virtual tutor
US8134556B2 (en) * 2007-05-30 2012-03-13 Elsberg Nathan Method and apparatus for real-time 3D viewer with ray trace on demand
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5573316B2 (ja) * 2009-05-13 2014-08-20 セイコーエプソン株式会社 画像処理方法および画像処理装置
US9205328B2 (en) 2010-02-18 2015-12-08 Activision Publishing, Inc. Videogame system and method that enables characters to earn virtual fans by completing secondary objectives
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
US9682324B2 (en) 2010-05-12 2017-06-20 Activision Publishing, Inc. System and method for enabling players to participate in asynchronous, competitive challenges
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US10137376B2 (en) 2012-12-31 2018-11-27 Activision Publishing, Inc. System and method for creating and streaming augmented game sessions
US9094667B1 (en) * 2013-10-31 2015-07-28 Electronic Arts Inc. Encoding of computer-generated video content
US10376792B2 (en) 2014-07-03 2019-08-13 Activision Publishing, Inc. Group composition matchmaking system and method for multiplayer video games
US11351466B2 (en) 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
US10118099B2 (en) 2014-12-16 2018-11-06 Activision Publishing, Inc. System and method for transparently styling non-player characters in a multiplayer video game
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10471348B2 (en) 2015-07-24 2019-11-12 Activision Publishing, Inc. System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks
US10204449B2 (en) * 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging
US11185784B2 (en) 2015-10-08 2021-11-30 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10099140B2 (en) 2015-10-08 2018-10-16 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10232272B2 (en) 2015-10-21 2019-03-19 Activision Publishing, Inc. System and method for replaying video game streams
US10245509B2 (en) 2015-10-21 2019-04-02 Activision Publishing, Inc. System and method of inferring user interest in different aspects of video game streams
US10376781B2 (en) 2015-10-21 2019-08-13 Activision Publishing, Inc. System and method of generating and distributing video game streams
US10226703B2 (en) 2016-04-01 2019-03-12 Activision Publishing, Inc. System and method of generating and providing interactive annotation items based on triggering events in a video game
US10500498B2 (en) 2016-11-29 2019-12-10 Activision Publishing, Inc. System and method for optimizing virtual games
US10561945B2 (en) 2017-09-27 2020-02-18 Activision Publishing, Inc. Methods and systems for incentivizing team cooperation in multiplayer gaming environments
US11040286B2 (en) 2017-09-27 2021-06-22 Activision Publishing, Inc. Methods and systems for improved content generation in multiplayer gaming environments
US10974150B2 (en) 2017-09-27 2021-04-13 Activision Publishing, Inc. Methods and systems for improved content customization in multiplayer gaming environments
EP3695597A4 (en) * 2017-10-11 2021-06-30 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US11679330B2 (en) 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11321909B2 (en) 2019-08-26 2022-05-03 International Business Machines Corporation Tracking and rendering physical volumetric substances in virtual reality
US11097193B2 (en) 2019-09-11 2021-08-24 Activision Publishing, Inc. Methods and systems for increasing player engagement in multiplayer gaming environments
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
CN114531561A (zh) * 2022-01-25 2022-05-24 阿里巴巴（中国）有限公司 一种面部视频编码方法、解码方法及装置
CN114679549B (zh) * 2022-05-27 2022-09-02 潍坊幻视软件科技有限公司 一种跨平台视频通信方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082107B2 (ja) 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
CA2144253C (en) 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
JP2870415B2 (ja) * 1994-08-22 1999-03-17 日本電気株式会社 領域分割方法および装置
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
DE69734628T2 (de) * 1996-07-29 2006-07-20 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur Komprimierung von Formdaten
US6061434A (en) * 1996-08-14 2000-05-09 Joseph C. Corbett Video caller identification systems and methods
IL119928A (en) 1996-12-29 2001-01-11 Univ Ramot Model-based view extrapolation for interactive virtual reality systems
US6154216A (en) * 1997-04-30 2000-11-28 Ati Technologies Method and apparatus for decompression of a two dimensional video texture map
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6298085B1 (en) * 1997-10-23 2001-10-02 Sony Corporation Source encoding using shuffling of data to provide robust error recovery in a burst error-environment
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects

Also Published As

Publication number Publication date
EP1201086A1 (en) 2002-05-02
US6330281B1 (en) 2001-12-11
KR20020064761A (ko) 2002-08-09
AU6465900A (en) 2001-03-05
WO2001011888A1 (en) 2001-02-15
IL147787A0 (en) 2002-08-14
CA2381457A1 (en) 2001-02-15

Similar Documents

Publication Publication Date Title
US6330281B1 (en) Model-based view extrapolation for interactive virtual reality systems
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
Würmlin et al. 3D video fragments: Dynamic point samples for real-time free-viewpoint video
US11458393B2 (en) Apparatus and method of generating a representation of a virtual environment
Zhang et al. A survey on image-based rendering—representation, sampling and compression
Levoy Polygon-assisted JPEG and MPEG compression of synthetic images
US6307567B1 (en) Model-based view extrapolation for interactive virtual reality systems
KR100361398B1 (ko) 압축비디오그래픽영상을생성하는시스템및방법,그리고이를사용한중앙집중식대화형그래픽시스템
US7221366B2 (en) Real-time rendering system and process for interactive viewpoint video
US7324594B2 (en) Method for encoding and decoding free viewpoint videos
US6525732B1 (en) Network-based viewing of images of three-dimensional objects
US10636201B2 (en) Real-time rendering with compressed animated light fields
EP2674916B1 (en) Moving image distribution server, moving image playback device, control method, program, and recording medium
US20050017968A1 (en) Differential stream of point samples for real-time 3D video
CN113313818A (zh) 一种三维重建方法、装置及系统
Cohen-Or et al. Deep compression for streaming texture intensive animations
Liu et al. Cloud baking: Collaborative scene illumination for dynamic Web3D scenes
EP3891991A1 (en) Point cloud coding using homography transform
Chai et al. Depth map compression for real-time view-based rendering
Koniaris et al. Real-time Rendering with Compressed Animated Light Fields.
CN112968950A (zh) 一种轻量级GPU云烘培Web3D实时全局光照渲染管线
US6628282B1 (en) Stateless remote environment navigation
Liu et al. Mobile Volumetric Video Streaming System through Implicit Neural Representation
Cohen-Or Model-based view-extrapolation for interactive VR web-systems
Kreskowski et al. Output-sensitive avatar representations for immersive telepresence