JP2020513703A - 自由視点映像ストリーミング用の復号器中心ｕｖコーデック - Google Patents

Abstract

自由視点映像ストリーミング用の復号器中心コーデックにより、複数レイヤー自由視点映像が、より効率的かつより正確なプロセスで取り込み、前処理し、符号化し、復号しおよびレンダリングされ得る。【選択図】 図３

Description

〔関連発明の相互参照〕
本出願は、２０１６年１１月２８日に出願され、名称が「自由視点映像ストリーミング用の復号器中央ＵＶコーデック」である、米国仮特許出願第６２／４２６，９００号３５合衆国法典の第１１９条（ｅ）に基づく優先権を主張し、この仮特許出願は、すべての目的のためにその全体が参照により本出願に援用される。

本発明は三次元グラフィックに関する。より具体的には、本発明は、疎ビュー複数視点三次元グラフィックに関する。

自由視点映像（ＦＶＶ）は、ユーザーがいつでも映像の視点を変更できるようにする映像である。例えば、スポーツ映像を見ているユーザーは、ホームベースの後方の遠近感からスポーツ映像を見ている状態から、外野からの遠近感に変わる可能性がある。これにより、ユーザー／視聴者は独自の遠近感からコンテンツを視聴することができる。

ＦＶＶを伝送するにはＦＶＶをストリーミングしようとするとき生じる課題があり、例えば、カメラメタデータを符号器側から復号器側に伝送するときに障害が発生する。

自由視点映像ストリーミング用の復号器中心コーデックにより、複数レイヤー自由視点映像が、より効率的かつより正確なプロセスで取り込み、前処理し、符号化し、復号しおよびレンダリングすることができる。

１つの観点において、方法は、自由視点映像コンテンツを前処理する段階と、符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化する段階と、復号器を使用して、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号する段階と、復号された自由視点映像コンテンツを、装置上にレンダリングする段階と、を備える。自由視点映像コンテンツを前処理する段階は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む。ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する。ＵＶアトラスの生成により、自由視点の映像コンテンツのビューに依存する特性を保存するために追加のメタデータを備える、複数レイヤーテクスチャが生成される。ビューに依存しない情報（例えば、単数レイヤーのＵＶマップ）対ビューに依存する情報（例えば、追加のメタデータを備える複数レイヤーのＵＶマップ）の使い方は、復号器に信号で送ることができる。メタデータの例として、符号器は、カメラ構成（例えば、シーンを取り込む複数台のカメラの外部パラメータおよび内部パラメータ）を送り、各テクスチャレイヤーについて、特定のＵＶレイヤーについてその特定のテクスチャ情報に寄与したカメラのＩＤを送ることができ、その結果、復号器は、レンダリングされた視点位置に応じて最適なカメラを選択できる。自由視点映像コンテンツを復号器中心アーキテクチャで符号化することは、ビューに依存する情報の使い方を信号で送ること、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む。自由視点映像コンテンツを復号する段階は、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号する段階を含む。復号された自由視点映像コンテンツをレンダリングする段階は、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する。方法は、復号器においてカメラ識別情報を生成し、カメラ識別情報は、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号するために利用される段階をさらに備える。方法は、自由視点映像コンテンツを最大１０台の映像カメラを用いて取得する段階をさらに含む。方法は、複数台の映像カメラを用いて自由視点映像コンテンツを取得し、複数映像カメラは、各軸上で他のカメラから少なくとも３０度離れている段階をさらに備える。

別の観点において、装置は、アプリケーションを記憶するための非一時的メモリーであって、アプリケーションは、自由視点映像コンテンツを前処理し、符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するメモリーと、メモリーに結合され、アプリケーションを処理するように構成されたプロセッサと、を備える。自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む。ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する。自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む。

別の観点において、装置は、アプリケーションを記憶するための非一時的メモリーであって、アプリケーションは、復号器を使用して、復号器においてカメラ識別情報を生成することによって、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号し、カメラ識別情報は、符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号するために利用するために用い、および復号された自由視点映像コンテンツをレンダリングするために用いるメモリーと、メモリーに結合され、アプリケーションを処理するように構成されたプロセッサと、を備える。自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む。復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する。

別の観点において、システムは、各々が自由視点映像コンテンツを取り込むように構成された複数台のカメラ装置と、第１のコンピュータ装置であって、自由視点映像コンテンツを前処理し、および符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するように構成された第１のコンピュータ装置と、第２のコンピュータ装置であって、復号器を使用して、符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号し、および復号された自由視点映像コンテンツを、第２のコンピュータ装置上でレンダリングする第２のコンピュータ装置と、を備える。自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む。ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する。自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む。自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む。復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する。第２のコンピュータ装置は、復号器においてカメラ識別情報を生成し、カメラ識別情報は、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号するために利用するように構成されている。

いくつかの実施形態による視点映像アーキテクチャにおいて実行される動作のフローチャートである。 いくつかの実施形態による自由視点映像データコンテンツの圧縮および伝送のための実施形態の例を示す図である。 いくつかの実施形態によるメタデータ情報の伝送を用いる複数レイヤー式自由視点映像データコンテンツ用のアーキテクチャの実施形態の例を示す図である。 いくつかの実施形態によるメタデータ情報の伝送を用いる複数レイヤー式自由視点映像データコンテンツ用のアーキテクチャの実施形態の別の例を示す図である。 いくつかの実施形態による復号器中心のＵＶコーデック（ＵＶＣ）アーキテクチャのフローチャートである。 いくつかの実施形態による復号器中心のＵＶコーデック（ＵＶＣ）アーキテクチャのフローチャートである。 いくつかの実施形態によるＦＶＶストリーミング用の復号器中心コーデックを実装する装置を示す図である。 いくつかの実施形態による復号器中心のＵＶコーデックを実装するように構成された例示的なコンピュータ装置のブロック図である。 いくつかの実施形態による装置のネットワークを示す図である。

自由視点アーキテクチャでは、シーンは、複数の異なる視点から取り込まれる。取り込んだコンテンツは、通常通り取込み側で処理され、符号化されてさらに伝送する形式に変換される。復号器は、符号化されたデータフォーマットを受信し、解凍しおよびレンダリング器に渡し、レンダリング器は、受信したコンテンツを用いて視聴者により要求される視点位置を生成する。伝送に使用されるフォーマットは、レンダリング器に融通性を与えて写真のようにリアルな品質であらゆる必要な視点位置を生成可能にする必要があり、それによりデータフォーマットおよび帯域幅にいくつかの制約が課される。

取得段階では、密集ビュー３Ｄ映像の取込みは、多くの異なる角度からコンテンツを取り込むために、多くのカメラ（例えば４０〜１００＋）を利用することができる。より具体的には、カメラ間の間隔は、各カメラ間で非常に小さい（例えば、５度未満）ことがある。密集ビュー３Ｄ映像の取込みでは、データ帯域幅が主な関心事であり、ＭＶＣのような複数視点取込みの映像圧縮規格であっても、ビュー間の冗長度およびシーンの経時変化の量によって性能が調整される。

取り込むビューの数を減らし、しかも依然として自由なビューナビゲーションを可能にするために、ジオメトリをプロキシとして用いて、取得したビューを修正し、および以前に取り込んでいないビュー位置を合成することができる。シーンのジオメトリを取得する１つの方法は、アクティブ深度カメラを利用すること、または取り込んだビューから深度を推定することである。この処理段階に起因する表現フォーマットは、深度マップとしても既知である、各々取り込んだＲＧＢ画素の深度にすることができる。疎ＲＧＢカメラ視野および対応する深度マップの伝送は、３Ｄ−ＨＥＶＣのような利用可能な規格を用いても行うことができる。しかしながら、通常、カメラは、直線的に配置され、しかも互いに接近するように制約されており、これによりナビゲーション空間が制限される。さらに、疎ビュー３Ｄ映像の取込みを用いるとき、音声の閉鎖がさらに関心事となる。

コンピュータグラフィックスでは、３Ｄメッシュをジオメトリプロキシとして利用することによって、完全な自由視点ナビゲーションが行われる。３Ｄメッシュは、メッシュ圧縮用のＭＰＥＧ ＡＦＸコーディングツールのような、現在利用可能な規格を用いて圧縮することもできる。自由視点ナビゲーションについて、取り込んだビューおよびメッシュジオメトリが伝送に使用できるが、性能は、依然として取り込むビューの数によって制限される。ビューの数が多いほど、レンダリングはよりリアルになるが、同時にテクスチャ伝送にはより広大な帯域幅が必要になる。

メッシュをジオメトリプロキシとして用いて、テクスチャ伝送の帯域幅を縮小する１つのやり方は、３Ｄメッシュの表面に関連付けたテクスチャのみを伝送することである。いくつかの実装では、３Ｄメッシュの表面のテクスチャは、ＵＶマップとしても既知の２Ｄテクスチャアトラスにマッピングされている。伝送については、メッシュおよびそれぞれのＵＶマップが最適なフォーマットであり、それにより伝送帯域幅が大幅に縮小する。しかしながら、最終的なレンダリング品質は、ビューに依存しない品質に無理やり抑制され、すなわち、視点位置に関係なくメッシュ表面は同じＲＧＢ値を提示し、それは、テクスチャ値が視点位置に従って変わる得る写真のようにリアルなレンダリングのオブジェクトには当てはまらない。

表面テクスチャアトラスの写真のようにリアルなレンダリング法を保つ１つのやり方は、レイヤー状テクスチャマップを使用することである。ビューに依存するテクスチャの特性は、取込み用カメラとメッシュとの間の相対位置によって与えられる。この特性を保存するために、テクスチャのレイヤーは、異なるカメラからのテクスチャを録画する。最上レイヤーは、各メッシュ面について、法表面とカメラの視野軸との間の角度が与える最高ランクのカメラを保存する。後続レイヤーでは、異なる視野角からのカメラが保存される。復号器側では、選ばれた視点位置に応じて、所望の視点位置により近いカメラ位置を含むレイヤーからテクスチャが選択されるので、リアルな取込みオブジェクトにより近いビューをもたらすことができる。

複数レイヤー式ＵＶテクスチャ手法には、テクスチャ伝送のためにより広い帯域幅が必要である。さらに、レイヤーへのテクスチャのランク付けも伝送する必要があり得る。ランク付けがジオメトリに依存する場合、ジオメトリ圧縮におけるアーチファクトはランク付けの結果に妥協する可能性があり、それによりランク付けデータの伝送は、ジオメトリアーチファクトによって生じるテクスチャアーチファクトを避けることを強いられる。このメタデータの伝送は、帯域幅に重大な影響を及ぼす可能性があり、しかも効率的なデータ伝送の障害になる可能性がある。

本明細書には、帯域幅が効率的であり、しかもメタデータ情報の伝送を避ける符号器アーキテクチャを説明する。符号器アーキテクチャは依然として複数レイヤー手法を利用するが、テクスチャマッピングおよびランク付け操作のために復号されたジオメトリ情報を用いることによって、メタデータの面倒な伝送を避ける。この新しいアーキテクチャによれば、自由視点映像について、複数レイヤーテクスチャの効率的な伝送が可能である。

密集ビュー３Ｄ映像の取込みは、多くの異なる角度からコンテンツを取り込むために多くのカメラ（例えば４０〜１００＋）を利用する。より具体的には、カメラ間の間隔は、各カメラ間で非常に小さく（例えば、５度未満）することができる。密集ビュー３Ｄ映像の取込みは、疎ビュー３Ｄ映像の取込みと比べて処理が比較的簡単であり、その理由は、疎ビューには密集ビュー３Ｄ映像の取込みでは発生しない問題があるためである。たとえば、疎ビュー３Ｄ映像の取込みを用いるとき、音声の閉鎖がより大きな関心事となる。

疎ビュー３Ｄ映像の取込みでは、はるかに少ないカメラが使用されて、様々な異なる角度からコンテンツを取り込む。例えば、密集ビュー３Ｄ映像の取込みが１００台のカメラを使用するのと同じ空間について、疎ビュー３Ｄ映像の取込みは、１０台以下のカメラを使用することができる。換言すれば、カメラ間の間隔（少なくとも１本の軸またはすべての軸上にある）は、４５度にすることができ、またはさらに９０度にすることもできる。疎ビュー３Ｄ映像の取込みのカメラ同士は非常に離れているため、ステレオマッチングが選択できないので形状を再構築することは困難である。さらに、ビュー間で冗長性の量が減り、それは、圧縮アルゴリズムの性能に影響を与える。この場合、より高い効率のためには、メッシュとメッシュ表面のテクスチャとを利用したデータフォーマットが好ましい。

疎ビュー３６０度取込みシステムにおいて、ＦＶＶについて時間的に一貫したかつ写真のようにリアルなテクスチャ合成を達成するために、複数レイヤーテクスチャデータ表現を利用する。複数レイヤーテクスチャデータ表現は、２Ｄテクスチャ内で組み合わされた複数台のカメラのテクスチャ寄与を含み、テクスチャ寄与は、カメラをランク付けする基準によって順序付けられる。カメラ基準についての１つの可能な実施形態は、カメラと取り込んだ３Ｄモデル表面データとの間の角度であるが、他の基準も適用可能にできる。ビューに依存する視点を複数レイヤーデータを用いてレンダリングするために、テクスチャを生成したカメラの識別（ＩＤ）も伝送される。

圧縮メッシュを受信すると、復号器がカメラＩＤ情報を生成する。復号器側において、復号器中心の手法により、復号されたメッシュに基づいてカメラＩＤ情報が生成される。符号器と復号器との間の不一致を避けるために、符号器は、元の非圧縮メッシュではなく、解凍されたメッシュを用いてテクスチャマッピングを実行する。カメラＩＤ情報のようなメタデータ情報の伝送を避け、しかもテクスチャマッピングのために解凍されたメッシュを利用することによって、ＵＶ座標（ＵＶは、テクスチャアトラスの軸であり、２Ｄ画像は、３Ｄモデル表面のテクスチャを表す）の伝送を避ける。これにより、ビューに依存するデータの伝送に必要なビット率が大幅に削減する。

ＵＶマッピングは、２Ｄ画像を３Ｄモデルの表面に投影してテクスチャマッピングするための３Ｄモデリングプロセスである。Ｘ、Ｙ、Ｚはモデル空間内の３Ｄオブジェクトの軸を表すために用いるので、ＵおよびＶは２Ｄテクスチャの軸である。ＦＶＶでは、オブジェクトの複数の（例えば、異なる角度からの）ビューが存在する可能性があり、これは、ＦＶＶコンテンツの符号化および復号時に用いる余分なデータ／メタデータが存在することを意味する。しかしながら、復号器中心のコーデックを実装することによって、符号器から復号器に伝送／ストリーミングされる余分なデータ／メタデータの量が大幅に減る。

図１は、いくつかの実施形態による視点映像アーキテクチャにおいて実行される動作のフローチャートを示す。ステップ１００にて、コンテンツが取り込まれる。ステップ１２０にて、取り込んだコンテンツは前処理される。ステップ１４０にて、処理されたコンテンツは符号化される。ステップ１６０にて、符号化されたコンテンツが復号される。ステップ１８０にて、復号されたコンテンツがレンダリングされる。

本明細書にて説明するように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、複数台のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

取り込んだコンテンツは前処理される。前処理は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む。メッシュ生成は任意の種類のメッシュ生成を含み、それらは、メッシュテンプレートを使用すること、取得したコンテンツに基づいてテンプレートを比較および選択すること、ならびに複数のビューを用いて取得したコンテンツの形状に基づいてテンプレートを修正することなどである。メッシュ追跡は任意の種類のメッシュ追跡を含み、それらは、メッシュを堅くない変形で一時的に追跡すること、または名称が「ロバストメッシュ追跡、ならびに部分ベースキーおよび推測的モデル用いることよる融合」である米国特許出願第代理人整理番号ソニー−６９５００号に記載されている通りであり、この米国出願は、あらゆる目的のためにその全体が参照により本明細書に援用されている。ＵＶアトラス生成はテクスチャアトラスまたはタイル表示マップを生成し、それは副画像の集合を含み、その各々は、３Ｄモデルの一部のためのテクスチャマップである。ＵＶアトラス生成は、取得したコンテンツを、特定の形状、身体部分および／または他の任意のグループ化のようなグループ化に基づいて分離することを含む、任意の方法で実行することができる。いくつかの実施形態では、ＵＶアトラス生成は、ＵＶアトラスを生成するために、圧縮された形状（または圧縮形状の解凍バージョン）および／または復号器からの復号形状を使用する。テクスチャマッピングは、取得したコンテンツからテクスチャ成分を生成されたメッシュ（例えばモデル）に適用することを含む。いくつかの実施形態では、テクスチャマッピングは、圧縮された形状（または圧縮形状の解凍バージョン）および／または復号された形状に基づいて評価される。

メッシュ追跡から、ジオメトリ符号器によって頂点座標および頂点接続性が符号化される。複数レイヤーＵＶテクスチャのようなテクスチャは、ＵＶテクスチャ符号器および付随する複数レイヤーカメラＩＤによって符号化される。ジオメトリ符号器からの符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）は、ジオメトリ復号器に伝送され（例えば、ストリーミングされ）、ＵＶテクスチャ符号器からの符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）は、ＵＶテクスチャ復号器に伝送される（例えば、ストリーミングされる）。ジオメトリ復号器は、符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）を復号する。ＵＶテクスチャ復号器は、カメラＩＤ情報を適切なテクスチャ情報に対応するように生成することによって、符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）を復号する。カメラＩＤ情報は、適切なカメラＩＤ情報を決定するために使用できる、ジオメトリ復号器からの復号された形状情報を用いて生成される。例えば、オブジェクトのジオメトリは、特定のカメラＩＤと関連付けられ、オブジェクトの決定されたジオメトリに基づいてカメラＩＤが決定できる。

レンダリング装置は、次いでジオメトリ復号器からの復号された形状情報、ＵＶテクスチャ復号器からの復号されたテクスチャおよびカメラＩＤを用いて、ＦＶＶ映像をレンダリングすることができる。いくつかの実施形態では、レンダリングすることは、ＦＶＶ映像を表示することおよび／またはユーザーがＦＶＶ映像を操作可能にすることを含む。

図２は、いくつかの実施形態による自由視点映像データコンテンツの圧縮および伝送のための実施形態の例を示す図である。本明細書にて説明するように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、複数台のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

いくつかの実施形態では、取り込んだコンテンツはメッシュ生成２２２を通る。メッシュ生成２２２は任意の種類のメッシュ生成を含み、それらは、メッシュテンプレートを使用すること、取得したコンテンツに基づいてテンプレートを比較および選択すること、ならびに複数のビューを用いて取得したコンテンツの形状に基づいてテンプレートを修正することなどである。次いで、ジオメトリ符号器２４２が、生成されたメッシュデータを符号化する。取り込んだコンテンツはまた、ＭＶテクスチャ符号器２４４に進む。ＭＶテクスチャ符号器２４４は、複数視点テクスチャを符号化する。

いくつかの実施形態では、取り込んだコンテンツは、メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成２２６およびテクスチャマッピング２２８を通る。メッシュ生成２２２は任意の種類のメッシュ生成を含み、それらは、メッシュテンプレートを使用すること、取得したコンテンツに基づいてテンプレートを比較および選択すること、ならびに複数のビューを用いて取得したコンテンツの形状に基づいてテンプレートを修正することなどである。メッシュ追跡２２４は任意の種類のメッシュ追跡を含み、これらは、メッシュを堅くない変形で一時的に追跡すること、または名称が「ロバストメッシュ追跡、ならびに部分ベースキーおよび推測的モデル用いることよる融合」である米国特許出願第代理人整理番号ソニー−６９５００号に記載されている通りであり、この米国出願は、あらゆる目的のためにその全体が参照により本明細書に援用される。ＵＶアトラス生成２２６は、テクスチャアトラスまたはタイル表示マップを生成し、それは、サブ画像の集合を含み、その各々が３Ｄモデルの一部のためのテクスチャマップである。ＵＶアトラス生成２２６は、取得したコンテンツを、特定の形状、身体部分、および／または他の任意のグループ化のようなグループ化に基づいて分離することを含む、任意の方法で実行することができる。いくつかの実施形態では、ＵＶアトラス生成２２６は、ＵＶアトラスを生成するために、圧縮された形状（または圧縮形状の解凍バージョン）および／または復号器からの復号形状を使用する。テクスチャマッピング２２８は、取得したコンテンツからテクスチャ成分を、生成されたメッシュ（例えば、モデル）に適用することを含む。いくつかの実施形態では、テクスチャマッピング２２８は、圧縮された形状（または圧縮形状の解凍バージョン）および／または復号された形状に基づいて評価される。

次いで、メッシュ追跡データおよびＵＶアトラスを用いて、ジオメトリ符号器２４２が、生成されたメッシュデータを符号化する。取り込んだコンテンツはまた、テクスチャマッピング２２８が適用された後、ＵＶテクスチャ符号器２４６に進む。ＵＶテクスチャ符号器２４６は、ＵＶテクスチャを符号化する。

図３は、いくつかの実施形態によるメタデータ情報の伝送を用いる複数レイヤー自由視点映像データコンテンツ用のアーキテクチャの実施形態の例を示す図である。本明細書にて説明するように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

いくつかの実施形態では、取り込んだコンテンツは、メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６および複数レイヤーテクスチャマッピング２２８を通る。メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６および複数レイヤーテクスチャマッピング２２８は、本明細書にて説明されている。

次いで、メッシュ追跡データおよびＵＶアトラスを用いて、ジオメトリ符号器２４２が、生成されたメッシュデータを符号化する。取り込んだコンテンツはまた、複数レイヤーテクスチャマッピング３２８が適用された後、ＭＬ−ＵＶ（複数レイヤー−ＵＶ）テクスチャ符号器３４４およびメタデータ符号器３４６に進む。ＭＬ−ＵＶテクスチャ符号器３４４は、ＵＶアトラス情報を用いて複数レイヤーＵＶテクスチャを符号化する。

ジオメトリ符号器３４２からの符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）は、ジオメトリ復号器３６２に送られ（例えば、ストリーミングされ）、ＭＬ−ＵＶテクスチャ符号器３４４からの符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）は、メタデータ復号器３６６に送られる（例えばストリーミングされる）。ジオメトリ復号器３６２は、符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）を復号する。テクスチャ復号器３６４は、符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）を復号する。メタデータ復号器３６６は、符号化されたメタデータコンテンツを復号する。

次いで、ジオメトリ復号器３６２からの復号された形状情報、テクスチャ復号器３６４からの復号されたテクスチャ、およびメタデータ復号器３６６からの復号されたメタデータを用いて、レンダリング装置３８２がＦＶＶ映像をレンダリングすることができる。いくつかの実施形態では、レンダリングすることは、ＦＶＶ映像を表示すること、および／またはユーザーがＦＶＶ映像を操作可能にすることを含む。

図４は、いくつかの実施形態によるメタデータ情報の伝送を用いる複数レイヤー自由視点映像データコンテンツ用のアーキテクチャの実施形態の特定の例を示す図である。本明細書にて説明するように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、複数台のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

いくつかの実施形態では、取り込んだコンテンツは、メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６および複数レイヤーテクスチャマッピング２２８を通る。メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６および複数レイヤーテクスチャマッピング２２８は、本明細書にて説明されている。

次いで、メッシュ追跡データ（例えば、頂点座標および頂点接続性）ならびにＵＶアトラス（例えばテクスチャ座標）を用いて、ジオメトリ符号器２４２が、生成されたメッシュデータを符号化する。取り込んだコンテンツはまた、複数レイヤーテクスチャマッピング３２８が適用された後、ＭＬ−ＵＶ（複数レイヤー−ＵＶ）テクスチャ符号器３４４およびメタデータ符号器３４６に進む。テクスチャ符号器３４４は、ＵＶアトラス情報、例えば２ｋ×２ｋであるテクスチャ画像の複数のレイヤーを用いて複数レイヤーＵＶテクスチャを符号化する。

メタデータ符号器３４６は、複数レイヤーカメラＩＤ、例えばＵＶマップと同じサイズ（２ｋ×２ｋ）である画像を符号化するが、そこではＲＧＢ値の代わりにカメラＩＤが伝送される。ジオメトリ符号器３４２からの符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）は、ジオメトリ復号器３６２に送られ（例えば、ストリーミングされ）、ＭＬ−ＵＶテクスチャ符号器３４４からの符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）は、テクスチャ復号器３６４に送られ（例えばストリーミングされ）、符号化されたメタデータ３４６はメタデータ復号器３６６に伝送される（例えばストリーミングされる）。

いくつかの実施形態では、ジオメトリ符号器は、ＭＰＥＧメッシュ圧縮規格、ＡＦＸだけであり、この規格は、頂点座標、頂点接続性およびテクスチャ座標を有するメッシュのシーケンスを、総ビット率６４Ｍｂｐｓで符号化することができる。複数レイヤーＵＶテクスチャ符号器３４４は、複数の映像符号器、例えば、映像圧縮用のＭＰＥＧ規格、ＡＶＣにすることができる。複数の映像符号器から来る解像度が２ｋ×２ｋでありかつ３レイヤーとされた複数レイヤーＵＶマップの圧縮により、３３Ｍｂｐｓが達成できる。この同じ実施形態では、カメラＩＤ情報は、ＰＮＧ符号器のような画像圧縮に損失がない画像符号器で圧縮することができ、しかも８７Ｍｂｐｓに達することができる。ビューに依存する情報の伝送には合計１８４Ｍｂｐｓが使用され、このビット率のほぼ半分は、カメラＩＤ情報の伝送に充てられる。ジオメトリ復号器３６２は、符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）を復号する。テクスチャ復号器３６４は、符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）を復号する。メタデータ復号器３６６は、符号化されたメタデータコンテンツを復号する。次いで、ジオメトリ復号器３６２からの復号された形状情報、テクスチャ復号器３６４からの復号されたテクスチャ、およびメタデータ復号器３６６からの復号されたメタデータを用いて、レンダリング装置３８２がＦＶＶ映像をレンダリングすることができる。いくつかの実施形態では、レンダリングすることは、ＦＶＶ映像を表示することおよび／またはユーザーがＦＶＶ映像を操作可能にすることを含む。

図５は、いくつかの実施形態による復号器中心のＵＶコーデック（ＵＶＣ）アーキテクチャのフローチャートである。本明細書に記載されるように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、複数台のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

いくつかの実施形態では、取り込んだコンテンツは、メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６および複数レイヤーテクスチャマッピング２２８を通る。メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６、および複数レイヤーテクスチャマッピング２２８は、本明細書にて説明されている。

次いで、ジオメトリ符号器２４２が、生成されたメッシュデータを、メッシュ追跡データのみを用いて符号化する。取り込んだコンテンツはまた、複数レイヤーテクスチャマッピング３２８が適用された後、ＭＬ−ＵＶ（複数レイヤー−ＵＶ）テクスチャ符号器３４４に進む。ＭＬ−ＵＶテクスチャ符号器３４４は、ＵＶアトラス情報を用いて複数レイヤーＵＶテクスチャを符号化する。

ジオメトリ符号器３４２から来る符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）は、ジオメトリ復号器３６２に送られ（例えば、ストリーミングされ）、ＭＬ−ＵＶテクスチャ符号器３４４から来る符号化されたコンテンツ（例えば、符号化テクスチャ情報）は、テクスチャ復号器３６４に送られる（例えば、ストリーミングされる）。ジオメトリ復号器３６２は、符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）を復号する。ジオメトリ復号器３６２は、符号器側で複製することができるとともに、ジオメトリ情報を複数レイヤーテクスチャマッピングのためにＵＶアトラス生成３２６に伝送する。メタデータ作成５６６も、ジオメトリ復号器３６２からのジオメトリ情報を用いて実施される。テクスチャ復号器３６４は、符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）を復号する。

次いで、ジオメトリ復号器３６２からの復号された形状情報、テクスチャ復号器３６４およびジオメトリ復号器３６２から来る復号されたジオメトリを用いて作成されたメタデータ５６６から復号されたテクスチャを使用して、レンダリング装置３８２がＦＶＶ映像をレンダリングすることができる。いくつかの実施形態では、レンダリングは、ＦＶＶ映像を表示することおよび／またはユーザーがＦＷ映像を操作可能にすることを含む。

図６は、いくつかの実施形態による復号器中心のＵＶコーデック（ＵＶＣ）アーキテクチャのフローチャートを示す。本明細書に記載されるように、コンテンツは、疎ビュー３Ｄ映像カメラを用いて取り込まれる。例えば、複数台のカメラは、取り込むオブジェクトの前方、後方、左側および右側のような複数の異なる角度から３Ｄ映像を取り込む。

取り込んだコンテンツは前処理される。前処理することは、メッシュ生成２２２、メッシュ追跡２２４、ＵＶアトラス生成３２６、およびテクスチャマッピング３２８を含む。メッシュ生成２２２は任意の種類のメッシュ生成を含み、それらは、メッシュテンプレートを使用すること、取得したコンテンツに基づいてテンプレートを比較および選択すること、ならびに複数のビューを用いて取得したコンテンツの形状に基づいてテンプレートを修正することなどである。メッシュ追跡２２４は任意の種類のメッシュ追跡を含み、これらは、メッシュを堅くない変形で一時的に追跡すること、または名称が「ロバストメッシュ追跡、ならびに部分ベースキーおよび推測的モデル用いることよる融合」である米国特許出願第代理人整理番号ソニー−６９５００号に記載されている通りであり、この米国出願は、あらゆる目的のためにその全体が参照により本明細書に援用される。ＵＶアトラス生成３２６は、テクスチャアトラスまたはタイル表示マップを生成し、それは、サブ画像の集合を含み、その各々が３Ｄモデルの一部のためのテクスチャマップである。ＵＶアトラス生成３２６は、取得したコンテンツを、特定の形状、身体部分、および／または他の任意のグループ化のようなグループ化に基づいて分離することを含む、任意の方法で実行することができる。ＵＶアトラス生成３２６は、ＵＶアトラスを生成するために、圧縮された形状（または圧縮された形状の解凍バージョン）および／または復号器からの復号形状を使用する。テクスチャマッピング３２８は、取得したコンテンツからテクスチャ成分を、生成されたメッシュ（例えば、モデル）に適用することを含む。いくつかの実施形態では、テクスチャマッピング３２８は、圧縮形状（または圧縮形状の解凍バージョン）および／または復号された形状に基づいて評価される。

メッシュ追跡２２４から、頂点座標および頂点接続性は、ジオメトリ符号器３４２によって符号化される。いくつかの実施形態では、ジオメトリ符号器は、ＦＡＭＣとしても既知の動的メッシュ圧縮のためのＭＰＥＧ規格にすることができ、それは、５Ｍｂｐｓ程度の低いビット率を生成することができる。複数レイヤーＵＶ（１Ｋ×１Ｋ）テクスチャのようなテクスチャは、ＵＶテクスチャ符号器３４４によって符号化される。いくつかの実施形態では、複数レイヤーテクスチャ符号器は、レイヤー毎に、Ｈ．２６４／ＡＶＣのような映像圧縮に関するＭＰＥＧ規格のインスタンスにすることができる。ＭＰＥＧ符号器は、１４Ｍｂｐｓという低い合計ビット率を生成して、３レイヤーの１ｋ×１ｋテクスチャを、ビューに依存する自由視点データを伝送するために合計１９Ｍｂｐｓで符号化することができる。ジオメトリ符号器３４２から来る符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）は、ジオメトリ復号器３６２に送られ（例えば、ストリーミングされ）、ＵＶテクスチャ符号器３４４から来る符号化されたコンテンツ（例えば、符号化されたテクスチャ情報）は、ＵＶテクスチャ復号器３６４に送られる（例えば、ストリーミングされる）。ジオメトリ復号器３６２は、符号化されたコンテンツ（例えば、符号化された形状／ジオメトリ情報）を復号する。復号されたジオメトリを用いて、復号器は、カメラＩＤ情報を、適切なテクスチャ情報と対応するように局所的に作成することができる（５６６）。カメラＩＤ情報は、適切なカメラＩＤ情報を決定するために使用できる、ジオメトリ復号器３６２からの復号された形状情報を用いて生成される。例えば、オブジェクトのジオメトリは特定のカメラＩＤと関連付けられ、カメラＩＤは、オブジェクトの決定されたジオメトリに基づいて決定することができる。

次いで、レンダリング装置３８２は、ジオメトリ復号器３６２からの復号された形状情報と、復号器側５６６で作成された復号されたテクスチャおよびカメラＩＤとを用いて、ＦＶＶ映像をレンダリングすることができる。いくつかの実施形態では、レンダリングすることは、ＦＶＶ映像を表示することおよび／またはユーザーがＦＶＶ映像を操作可能にすることを含む。いくつかの実施形態では、符号器は、ジオメトリおよびテクスチャ情報を伝送する前に、複数レイヤー（たとえば、ビューに依存する）手法対単数レイヤー（たとえば、ビューに依存しない）手法の使い方を信号で送ることができる。

いくつかの実施形態では、より少ないまたは追加の工程が実施される。いくつかの実施形態では、ステップの順序は変更されている。さらに、図５は、特定の設定値および測定値を備える例示的実施形態である。異なる解像度設定値のような他の設定値を備える実施形態が可能であることを理解されたい。

いくつかの実施形態では、本明細書にて説明した工程は同じ装置で行われ、いくつかの実施形態では、工程は別々の装置（例えば、取込み装置、前処理装置、符号器装置、復号器装置およびレンダリング装置）で行なわれる。別の例では、取込み装置は複数の３Ｄカメラを含み、前処理装置、符号化装置および復号装置は、サーバーまたはコンピュータ装置であり、レンダリング装置はテレビである。さらに別の例では、取込み装置は、複数の３Ｄカメラを含み、前処理装置および符号化装置は、ネットワークを介して復号装置およびレンダリング装置に結合されている。

図７は、いくつかの実施形態によるＦＶＶストリーミング用の復号器中心コーデックを実装するための装置の図である。取込み装置７００は、複数の異なる角度からＦＶＶコンテンツを取り込む。例えば、疎数（例えば、１０個以下）のカメラが、オブジェクト／シーンを同時に映像録画するように配置されている。取り込んだコンテンツ（例えば、複数レイヤーのコンテンツ）は、前処理装置７０２で処理される。前処理装置７０２は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを実行する。前処理装置７０２は、サーバーまたは他の任意のコンピュータ装置にすることができる。前処理の後、適切なコンテンツ（例えば、頂点座標／接続性、複数レイヤーＵＶおよび複数レイヤーカメラＩＤ）は、符号化のために符号化装置７０４に進む。符号化装置７０４は、（前処理のための）サーバー、異なるサーバー、または異なるコンピュータ装置の一部とすることができる。符号化されたコンテンツ（例えば、符号化された形状／ジオメトリおよび符号化されたＵＶテクスチャ）は、次いで符号化されたコンテンツを復号するために復号装置７０６に送られる（例えば、ストリーミングされる）。復号装置７０６は、通常、ネットワーク（例えば、ＬＡＮまたはインターネット）を介して符号化装置７０４に結合された別個の装置である。復号されたコンテンツは、次いでレンダリングする（および表示する）ためにレンダリング装置７０８で受信される。いくつかの実施形態では、復号装置７０６およびレンダリング装置７０８は、同じ装置（例えば、テレビ、モニタ付きコンピュータ）の一部であり、いくつかの実施形態では、復号装置７０６およびレンダリング装置７０８は異なる装置内／上にある。

図８は、いくつかの実施形態による、復号器中心のＵＶコーデックを実装するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置８００は、画像および映像（例えば、ＦＶＶ）のような情報を取得し、保存し、計算し、処理し、通信しおよび／または表示するために使用できる。コンピュータ装置８００は、取り込むこと、前処理すること、符号化すること、復号すること、および／またはレンダリングすることのような、復号器中心のＵＶコーデック態様の何れかを実装することができる。一般的に、コンピュータ装置８００を実装するのに適したハードウェア構造は、ネットワークインターフェース８０２、メモリー８０４、プロセッサ８０６、入力／出力装置８０８、バス８１０および記憶装置８１２を含む。速度が十分である適切なプロセッサが選ばれる限り、プロセッサの選択は重要ではない。メモリー８０４は、当技術分野で既知の任意の従来式コンピュータメモリとすることができる。記憶装置８１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高解像度ディスク／ドライブ、超ＨＤドライブ、フラッシュメモリカード、またはその他の記憶装置を含むことができる。コンピュータ装置８００は、１つまたは複数のネットワークインターフェース８０２を含むことができる。ネットワークインターフェースの例には、イーサネットまたは他の種類のＬＡＮに接続されたネットワークカードが含まれる。入力／出力装置（複数可）８０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、および他の装置のうちの１つまたは複数を含むことができる。復号器中心のＵＶコーデックを実装するために用いる復号器中心のＵＶコーデックアプリケーション８３０は、記憶装置８１２およびメモリー８０４に保存される可能性が高く、アプリケーションが通常通り処理されるとき処理される可能性が高い。コンピュータ装置８００は、図８に示すよりも多いまたは少ない構成部品を含み得る。いくつかの実施形態では、復号器中心のＵＶコーデックハードウェア８２０が含まれる。図８のコンピュータ装置８００は、復号器中心のＵＶコーデック用のアプリケーション８３０およびハードウェア８２０を含むが、復号器中心のＵＶコーデックは、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合わせでコンピュータ装置上に実装することができる。例えば、いくつかの実施形態では、復号器中心のＵＶコーデックアプリケーション８３０は、メモリー内にプログラムされ、プロセッサを用いて実行される。いくつかの実施形態における別の例では、復号器中心のＵＶコーデックハードウェア８２０は、復号器中心のＵＶコーデックを実装するように具体的に設計されたゲートを含む、プログラムされたハードウェア論理である。

いくつかの実施形態において、復号器中心のＵＶコーデックアプリケーション（複数可）８３０は、いくつかのアプリケーションおよび／またはモジュールを含む。いくつかの実施形態では、モジュールは１つ以上のサブモジュールも含む。いくつかの実施形態では、より少ないまたは追加のモジュールを含むことができる。

いくつかの実施形態では、復号器中心のＵＶコーデックハードウェア８２０は、レンズ、画像センサ、および／または任意の他のカメラ構成部品のようなカメラ構成部品を含む。

適切なコンピュータ装置の例には、パソコン、ノート型パソコン、コンピュータワークステーション、サーバー、大型汎用コンピュータ、手持ち式コンピュータ、携帯情報端末、携帯電話／移動電話、スマート電気機器、ゲーム機、デジタルカメラ、デジタル映像カメラ、カメラ電話、スマートフォン、携帯用の音楽プレーヤ、タブレット型コンピュータ、携帯機器、映像プレーヤ、映像ディスクライター／プレーヤ（例えば、ＤＶＤライタ／プレーヤ、高解像度ディスクライター／プレーヤ、超解像度ディスクライター／プレーヤ）、テレビ、家庭用娯楽器具システム、拡張現実装置、仮想現実装置、高性能の宝石類（例えば高性能の時計）または他の適切なコンピュータ装置が含まれる。

図９は、いくつかの実施形態による装置のネットワークの図を示す。３Ｄ／ＦＶＶ映像コンテンツを取得するために複数台のカメラ９００を利用する。映像コンテンツは、１つまたは複数のプロセッサ／符号器装置９０２において処理および符号化される。符号化されたコンテンツは、ネットワーク９０４（例えば、インターネット、セル方式のネットワーク、または他の任意のネットワーク）を介して１つまたは複数の復号器／レンダリング器装置９０６に伝送／ストリーミングされる。いくつかの実施形態では、コンテンツは、ネットワークを介することなく１つまたは複数の復号器／レンダリング器装置９０６に直接伝送される。装置のネットワークのうちの１つまたは複数の装置（たとえば、プロセッサ／符号器装置、復号器／レンダリング器装置）は、本明細書にて説明する復号器中心のＵＶコーデックの実装を実行するように構成されている。１つまたは複数のプロセッサ／符号器装置９０２、および１つまたは複数の復号器／レンダリング器装置９０６は、サーバー、パソコン、スマートフォン、テレビ、ゲームシステム、または本明細書に記載された任意の装置、あるいは本明細書に記載の装置の任意の組合せのような、任意の装置にすることができる。いくつかの実施形態では、カメラ９００は、前処理および／または符号化のような復号器中心のＵＶコーデックのさらなる態様を実施する。

本明細書に記載された復号器中心のＵＶコーデックを利用するために、デジタルカメラ／映像カメラのような装置が、３Ｄ／ＦＶＶコンテンツを取得するために使用される。復号器中心のＵＶコーデックは、３Ｄ／ＦＶＶコンテンツを効率的に符号化し、伝送し、復号し、レンダリングするために、ユーザー支援を用いて、またはユーザーの関与なしに自動的に実施することができる。次いで、取得したコンテンツの再生時に、より正確なコンテンツ（例えば、アーチファクトが少ないことまたは全くないこと）が表示される。

動作時、復号器中心のＵＶコーデックは、以前の実装よりも正確なコンテンツを生成する。さらに、復号器中心のＵＶコーデックは、符号器において復号器ジオメトリを利用し、復号器においてジオメトリからカメラＩＤを推論することによって、より効率的である。復号器中心のＵＶコーデックを用いることによって、符号器から復号器に送られるメタデータがはるかに少なくなる。
自由視点映像ストリーミング用の復号器中心ＵＶコーデックのいくつかの実施形態

１．方法であって、
自由視点映像コンテンツを前処理する段階と、
符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化する段階と、
復号器を使用して、符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号する段階と、
復号された自由視点映像コンテンツを装置上にレンダリングする段階と、を備えることを特徴とする方法。

２．自由視点映像コンテンツを前処理する段階は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、条項１に記載の方法。

３．ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する、条項２に記載の方法。

４．自由視点映像コンテンツを符号化する段階は、ジオメトリ符号器を用いて頂点座標を符号化する段階と、ＵＶテクスチャ符号器を用いてテクスチャを符号化する段階とを含む、条項１に記載の方法。

５．自由視点映像コンテンツを復号する段階は、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号する段階を含む、条項１に記載の方法。

６．復号された自由視点映像コンテンツをレンダリングする段階は、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、条項１に記載の方法。

７．復号器においてカメラ識別情報を生成し、カメラ識別情報は、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号するために利用される段階をさらに備える、条項１に記載の方法。

８．自由視点映像コンテンツを最大１０台の映像カメラを用いて取得する段階をさらに含む、条項１に記載の方法。

９．複数台の映像カメラを用いて自由視点映像コンテンツを取得し、複数映像カメラは、各軸上で他のカメラから少なくとも３０度離れている段階をさらに備える、条項１に記載の方法。

１０．ビューに依存するレンダリングについて、複数レイヤーテクスチャの使い方を信号で送る段階をさらに備える、条項１に記載の方法。

１１．複数レイヤーテクスチャ表現の各テクスチャレイヤー内の画素にカメラ識別情報を関連付ける段階をさらに備える、条項１に記載の方法。

１２．装置であって、
アプリケーションを記憶するための非一時的メモリーであって、アプリケーションは、
自由視点映像コンテンツを前処理し、
符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するメモリーと、
メモリーに結合され、アプリケーションを処理するように構成されたプロセッサと、を備えることを特徴とする装置。

１３．自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、条項１２に記載の装置。

１４．ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する、条項１３に記載の装置。

１５．自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、条項１２に記載の装置。

１６．装置であって、
アプリケーションを記憶するための非一時的メモリーであって、アプリケーションは、
復号器を使用して、復号器においてカメラ識別情報を生成することによって、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号し、カメラ識別情報は、符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号するために利用するために用い、および
復号された自由視点映像コンテンツをレンダリングするために用いるメモリーと、
メモリーに結合され、アプリケーションを処理するように構成されたプロセッサと、を備えることを特徴とする装置。

１７．自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む、条項１６に記載の装置。

１８．復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、条項１６に記載の装置。

１９．システムであって、
各々が自由視点映像コンテンツを取り込むように構成された複数台のカメラ装置と、
第１のコンピュータ装置であって、
自由視点映像コンテンツを前処理し、および
符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するように構成された第１のコンピュータ装置と、
第２のコンピュータ装置であって、
復号器を使用して、符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号し、および
復号された自由視点映像コンテンツを、第２のコンピュータ装置上でレンダリングする第２のコンピュータ装置と、を備えることを特徴とするシステム。

２０．自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、条項１９に記載のシステム。

２１．ＵＶアトラス生成およびテクスチャマッピングは、復号器からの復号された形状を利用する、条項１９に記載のシステム。

２２．自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、条項１９に記載のシステム。

２３．自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む、条項１９に記載のシステム。

２４．復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、条項１９に記載のシステム。

２５．第２のコンピュータ装置は、復号器においてカメラ識別情報を生成し、カメラ識別情報は、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号するために利用するように構成されている、条項１９に記載のシステム。

本発明は、本発明の構成および動作の原理の理解を容易にするために詳細事項を組み込んだ具体的な実施形態の観点から記載されている。本明細書において、そのような具体的な実施形態およびその詳細事項を参照することは、本明細書に添付された特許請求の範囲をそれらに限定することを意図するものではない。当業者であれば、例示のために選ばれた実施形態において、特許請求の範囲によって定まる本発明の趣旨及び範囲から逸脱することなく、他の様々な修正をなし得ることは容易に明白である。

２２２ メッシュ生成
２２４ メッシュ追跡
３２６ ＵＶアトラス生成
３２８ 複数レイヤーテクスチャマッピング
３４２ ジオメトリ符号器
３４４ ＭＬ−ＵＶテクスチャ符号器
３４６ メタデータ符号器
３６２ ジオメトリ復号器
３６４ テクスチャ復号器
３６６ メタデータ復号器
３８２ レンダリング器

Claims (25)

1. 方法であって、
   自由視点映像コンテンツを前処理する段階と、
   符号器を使用して、前記自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化する段階と、
   復号器を使用して、前記符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号する段階と、
   前記復号された自由視点映像コンテンツを装置上にレンダリングする段階と、を備えることを特徴とする方法。
2. 前記自由視点映像コンテンツを前処理する段階は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、請求項１に記載の方法。
3. 前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用する、請求項２に記載の方法。
4. 前記自由視点映像コンテンツを符号化する段階は、ジオメトリ符号器を用いて頂点座標を符号化する段階と、ＵＶテクスチャ符号器を用いてテクスチャを符号化する段階とを含む、請求項１に記載の方法。
5. 前記自由視点映像コンテンツを復号する段階は、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号する段階を含む、請求項１に記載の方法。
6. 前記復号された自由視点映像コンテンツをレンダリングする段階は、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、請求項１に記載の方法。
7. 前記復号器においてカメラ識別情報を生成し、前記カメラ識別情報は、前記符号化された自由視点映像コンテンツを前記復号された自由視点映像コンテンツに復号するために利用される段階をさらに備える、請求項１に記載の方法。
8. 前記自由視点映像コンテンツを最大１０台の映像カメラを用いて取得する段階をさらに含む、請求項１に記載の方法。
9. 複数台の映像カメラを用いて前記自由視点映像コンテンツを取得し、前記複数映像カメラは、各軸上で他のカメラから少なくとも３０度離れている段階をさらに備える、請求項１に記載の方法。
10. ビューに依存するレンダリングについて、複数レイヤーテクスチャの使い方を信号で送る段階をさらに備える、請求項１に記載の方法。
11. 複数レイヤーテクスチャ表現の各テクスチャレイヤー内の画素にカメラ識別情報を関連付ける段階をさらに備える、請求項１に記載の方法。
12. 装置であって、
    アプリケーションを記憶するための非一時的メモリーであって、前記アプリケーションは、
    自由視点映像コンテンツを前処理し、
    符号器を使用して、前記自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するメモリーと、
    前記メモリーに結合され、前記アプリケーションを処理するように構成されたプロセッサと、を備えることを特徴とする装置。
13. 前記自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、請求項１２に記載の装置。
14. 前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用する、請求項１３に記載の装置。
15. 前記自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、請求項１２に記載の装置。
16. 装置であって、
    アプリケーションを記憶するための非一時的メモリーであって、前記アプリケーションは、
    復号器を使用して、前記復号器においてカメラ識別情報を生成することによって、符号化された自由視点映像コンテンツを復号された自由視点映像コンテンツに復号し、前記カメラ識別情報は、前記符号化された自由視点映像コンテンツを、前記復号された自由視点映像コンテンツに復号するために利用するために用い、および
    前記復号された自由視点映像コンテンツをレンダリングするために用いるメモリーと、
    前記メモリーに結合され、前記アプリケーションを処理するように構成されたプロセッサと、を備えることを特徴とする装置。
17. 前記自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む、請求項１６に記載の装置。
18. 前記復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、請求項１６に記載の装置。
19. システムであって、
    各々が自由視点映像コンテンツを取り込むように構成された複数台のカメラ装置と、
    第１のコンピュータ装置であって、
    自由視点映像コンテンツを前処理し、および
    符号器を使用して、自由視点映像コンテンツを、復号されたジオメトリを用いて符号化された自由視点映像コンテンツに符号化するように構成された第１のコンピュータ装置と、
    第２のコンピュータ装置であって、
    復号器を使用して、前記符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号し、および
    前記復号された自由視点映像コンテンツを、前記第２のコンピュータ装置上でレンダリングする第２のコンピュータ装置と、を備えることを特徴とするシステム。
20. 前記自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含む、請求項１９に記載のシステム。
21. 前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用する、請求項１９に記載のシステム。
22. 前記自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、請求項１９に記載のシステム。
23. 前記自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む、請求項１９に記載のシステム。
24. 前記復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、請求項１９に記載のシステム。
25. 前記第２のコンピュータ装置は、前記復号器において前記カメラ識別情報を生成し、前記カメラ識別情報は、前記符号化された自由視点映像コンテンツを前記復号された自由視点映像コンテンツに復号するために利用するように構成されている、請求項１９に記載のシステム。

Images