JP2022551064A - 容積ビデオを符号化、送信、及び復号化するための方法及び装置 - Google Patents

Abstract

マルチビューフレームを符号化し、復号化し、かつ送信するための方法、デバイス及びストリームが開示される。マルチビューフレームでは、ビューのいくつかが他のビューよりも信頼可能である。マルチビューフレームは、ビューのうちの少なくとも１つについて、このビューによって担持される情報における信頼度を示すパラメータを含むメタデータに関連付けられるデータストリーム内で符号化される。この情報は、３Ｄ空間内の所与の視野のビューポートフレームのピクセルを合成するときに、ビューの寄与を判定するために、復号化側で使用される。【選択図】図６

Description

本原理は、概して、三次元（three-dimensional、３Ｄ）シーン及び容積ビデオコンテンツのドメインに関する。本文書はまた、モバイルデバイス又はヘッドマウントディスプレイ（Head-Mounted Display、ＨＭＤ）などのエンドユーザデバイス上の容積コンテンツのレンダリングのための、テクスチャ及び３Ｄシーンの幾何学的形状を表すデータの符号化、フォーマット化及び復号化の文脈において理解される。他のテーマの中でも、本原理は、最適なビットストリーム及びレンダリング品質を保証するためのマルチビュー画像のピクセルを枝刈りすることに関する。

本節は、以下に説明及び／又は特許請求される本原理の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本原理の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

近年、利用可能な大きな視野コンテンツ（最大３６０°）の成長があった。そのようなコンテンツは、ヘッドマウントディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどの没入型表示デバイス上のコンテンツを視聴するユーザによって完全には見えない可能性がある。これは、所与の瞬間に、ユーザがコンテンツの一部のみを視認することができることを意味する。しかしながら、ユーザは、典型的には、頭部の動き、マウスの動き、タッチスクリーン、音声などの様々な手段によって、コンテンツ内をナビゲートすることができる。典型的には、このコンテンツを符号化及び復号化することが望ましい。

３６０°フラットビデオとも呼ばれる没入型ビデオにより、ユーザは、静止点の周りの頭部の回転を通じて自身の周りのすべてを視聴することができる。回転は、３自由度（3 Degrees of Freedom、３ＤｏＦ）体験のみを可能にする。例えば、３ＤｏＦビデオが、ヘッドマウントディスプレイデバイス（ＨＭＤ）を使用した第１の全方向性ビデオ体験に十分である場合であっても、例えば視差を体験することによって、より多くの自由度を期待する視聴者にとって、３ＤｏＦビデオは即座に苛立たしいものになる可能性がある。更に、３ＤｏＦはまた、ユーザが頭部を回転させるだけでなく、頭部を３方向に並進させるために、３ＤｏＦビデオ体験で再現されない並進のために、めまいを誘発し得る。

大きな視野コンテンツは、とりわけ、三次元コンピュータグラフィック画像シーン（three-dimension computer graphic imagery scene、３Ｄ ＣＧＩシーン）、点群又は没入型ビデオであり得る。そのような没入型ビデオを設計するために多くの用語が使用され得る。例えば、仮想現実（Virtual Reality、ＶＲ）、３６０、パノラマ、４πステラジアン、没入型、全方向性又は大きな視野。

容積ビデオ（６自由度（6 Degrees of Freedom、６ＤｏＦ）ビデオとしても既知である）は、３ＤｏＦビデオの代替物である。６ＤｏＦビデオを視聴するとき、回転に加えて、ユーザはまた、視聴されたコンテンツ内で頭部を、更には自身の身体を並進させ、視差及び更には容積を体験することができる。そのようなビデオは、没入の感覚及びシーン深度の知覚を大幅に増加させ、頭部並進中に一貫した視覚的フィードバックを提供することによって、めまいを防止する。コンテンツは、目的のシーンの色及び深度の同時記録を可能にする専用センサの手段によって作成される。写真測量技術と組み合わせたカラーカメラのリグの使用は、技術的な困難が残っている場合でも、そのような記録を実行する方法である。

３ＤｏＦビデオは、テクスチャ画像（例えば、緯度／経度投影マッピング又は正距円筒図法マッピングに従って符号化された球形画像）のアンマッピングから生じる一連の画像を含むが、６ＤｏＦビデオフレームは、いくつかの視点から情報を埋め込む。それらは、三次元捕捉から生じる時間的一連の点群として視認することができる。視聴条件に応じて、２種類の容積ビデオを考慮することができる。第１のもの（すなわち、完全な６ＤｏＦ）は、ビデオコンテンツ内の完全な自由ナビゲーションを可能にするが、第２のもの（別名３ＤｏＦ＋）は、ユーザ視認空間を視認境界ボックスと呼ばれる限られた容積に制限し、頭部及び視差体験の制限された容積を可能にする。この第２の文脈は、着座したオーディエンスメンバーの自由ナビゲーションと受動的視聴条件との間の貴重なトレードオフである。

３ＤｏＦ＋コンテンツは、Ｍｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）フレームのセットとして提供され得る。そのようなコンテンツは、専用のカメラによって捕捉された場合があるか、又は専用の（潜在的に写実的な）レンダリングによって、既存のコンピュータグラフィック（computer graphic、ＣＧ）コンテンツから生成され得る。容積情報は、対応する色及び深度アトラスに記憶された色及び深度パッチの組み合わせとして伝達され、それらは、コーデック（例えば、ＨＥＶＣ）を使用してビデオ符号化される。色及び深度パッチの各組み合わせは、ＭＶＤ入力ビューの部分を表し、すべてのパッチのセットは、全体をカバーするように、符号化段階で設計される。

ＭＶＤフレームの異なるビューによって担持される情報は、可変である。ビューポートフレームの合成のためのＭＶＤのビューによって担持される情報の信頼度を取る方法の欠如がある。

以下は、本原理のいくつかの態様の基本的な理解を提供するための本原理の簡略化された概要を提示する。この概要は、本原理の広範な概要ではない。本原理の重要な又は重大な要素を特定することは意図されていない。以下の概要は、以下に提供されるより詳細な説明の前置きとして簡略化された形態で、本原理のいくつかの態様を単に提示するに過ぎない。

本原理は、マルチビューフレームを符号化するための方法に関する。この方法は、
－当該マルチビューフレームのビューについて、当該ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
－当該パラメータを含むメタデータと関連して、データストリーム内の当該マルチビューフレームを符号化することと、を含む。

特定の実施形態では、ビューの深度情報の忠実度を表すパラメータは、ビューを捕捉したカメラの内部パラメータ及び外部パラメータに従って判定される。別の実施形態では、メタデータは、マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、ビューに関連付けられたパラメータと、を含む。本原理の第１の実施形態では、ビューの深度情報の忠実度を表すパラメータは、深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である。本原理の第２の実施形態では、ビューの深度情報の忠実度を表すパラメータは、ビューの深度忠実度の信頼度を示す数値である。

本原理はまた、この方法を実施するように構成されたプロセッサを備えるデバイスに関する。

本原理はまた、データストリームから枝刈りされたマルチビューフレームを復号化する方法に関する。この方法は、
－当該マルチビューフレーム及び関連付けられたメタデータをデータストリームから復号化することと、
－メタデータから、当該マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
－ビューに関連付けられたパラメータの関数として、当該マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む。

一実施形態では、ビューの深度情報の忠実度を表すパラメータは、深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である。この実施形態の変形例では、部分的に信頼可能なビューの寄与は、無視される。更なる変形例では、複数のビューが完全に信頼可能であるという条件で、最低深度情報を有する完全に信頼可能なビューが使用される。別の実施形態では、ビューの深度情報の忠実度を表すパラメータは、ビューの深度忠実度の信頼度を示す数値である。この実施形態の変形例では、ビュー合成中の各ビューの寄与は、パラメータの数値に比例する。

本原理はまた、この方法を実施するように構成されたプロセッサを備えるデバイスに関する。

本原理はまた、データストリームであって、
－マルチビューフレームを表すデータと、
－当該データに関連付けられたメタデータであって、メタデータが、マルチビューフレームのビューごとに、当該ビューによって担持される深度情報の忠実度を表すパラメータを含む、メタデータと、を含む、データストリームに関する。

本開示は、より良好に理解され、以下の説明を読むと、他の特定の特徴及び利点が明らかになり、本明細書は、添付の図面を参照する。
本原理の非限定的な実施形態による、３Ｄモデルに対応するオブジェクト及び点群の点の三次元（３Ｄ）モデルを示す。 本原理の非限定的な実施形態による、３Ｄシーンのシーケンスを表すデータの符号化、送信及び復号化の非限定的な例を示す。 本原理の非限定的な実施形態による、図７及び図８に関連して説明される方法を実施するように構成され得るデバイスの例示的なアーキテクチャを示す。 本原理の非限定的な実施形態による、データがパケットベースの送信プロトコルを介して送信されるときのストリームの構文の一実施形態の一例を示す。 本原理の非限定的な実施形態による、非枝刈りＭＶＤフレームから所与のビューポートのための画像を生成するときに、ビュー合成装置によって使用されるプロセスを示す。 本原理の非限定的な実施形態による、３Ｄ空間の不均一なサンプリングを有するカメラのセットのためのビュー合成を示す。 本原理の非限定的な実施形態による、データストリーム内のマルチビューフレームを符号化するための方法７０を示す。 本原理の非限定的な実施形態による、データストリームからマルチビューフレームを復号化するための方法を示す。

本原理は、添付の図面を参照して以下により完全に説明され、本原理の例が示されている。しかしながら、本原理は、多くの代替形態で具体化され得、本明細書に記載の実施例に限定されるものとして解釈されるべきではない。したがって、本原理は、様々な修正及び代替的な形態の余地があるが、その具体的な例は、図面の例として示され、本明細書において詳細に説明される。しかしながら、本原理を開示された特定の形態に限定する意図はないが、反対に、本開示は、特許請求の範囲によって定義される本原理の趣旨及び範囲内にあるすべての修正、均等物及び代替物を網羅することであることを理解されたい。

本明細書で使用される用語は、特定の実施例のみを説明する目的のためであり、本原理を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が別途明確に示されない限り、複数形も含むことが意図される。本明細書で使用される場合、「含む（comprises）」、「含む（comprising）」、「含む（includes）」及び／又は「含む（including）」という用語は、記載された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素及び／又はそれらのグループの存在又は追加を排除しないことが更に理解されるであろう。更に、要素が別の要素に「応答する」又は「接続される」と称される場合、それは、他の要素に直接応答するか、又は他の要素に接続され得るか、又は介在要素が存在し得る。対照的に、要素が他の要素に「直接応答する」又は「直接接続される」と称される場合、介在要素は存在しない。本明細書で使用される場合、「及び／又は」という用語は、関連付けられた列挙された項目のうちの１つ以上の任意の及びすべての組み合わせを含み、「／」と略され得る。

本明細書では、第１、第２などの用語が様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、第１の要素は、第２の要素と呼ぶことができ、同様に、第２の要素は、本原理の教示から逸脱することなく、第１の要素と呼ぶことができる。

図の一部は、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描かれた矢印と反対方向に発生し得ることを理解されたい。

いくつかの例は、各ブロックが、指定された論理機能を実装するための１つ以上の実行可能命令を含む、回路要素、モジュール又はコードの部分を表すブロック図及び動作フローチャートに関して説明される。他の実装では、ブロックに記載された機能は、記載された順序から発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際には実質的に同時に実行され得るか、又は関与する機能に応じて、ブロックが逆の順序で実行され得る。

本明細書における「一例による」又は「一例における」は、本実施例に関連して説明される特定の特徴、構造又は特性が、本原理の少なくとも１つの実装形態に含まれ得ることを意味する。本明細書の様々な場所における「一例による」又は「一例における」の句の出現は、必ずしもすべてが同じ例を指しているわけではなく、別個の又は代替的な実施例では、必ずしも他の実施例と相互に排他的ではない。

特許請求の範囲に現れる参照番号は、単に例示としてのものであり、特許請求の範囲に限定的な影響を及ぼさないものとする。明示的に記載されていないが、本実施例及び変形例は、任意の組み合わせ又は部分的な組み合わせで用いられ得る。

図１は、オブジェクト及び３Ｄモデル１０に対応する点群１１の点の三次元（３Ｄ）モデル１０を示す。３Ｄモデル１０及び点群１１は、例えば、他のオブジェクトを含む３Ｄシーンのオブジェクトの潜在的な３Ｄ表現に対応し得る。モデル１０は、３Ｄメッシュ表現であり得、点群１１の点は、メッシュの頂点であり得る。点群１１の点はまた、メッシュの面の表面上に広がった点であり得る。モデル１０はまた、点群１１のスプラッティングされたバージョンとして表すこともでき、モデル１０の表面は、点群１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセル又はスプラインなどの多くの異なる表現によって表され得る。図１は、点群が３Ｄオブジェクトの表面表現と定義され得、３Ｄオブジェクトの表面表現がクラウドの点から生成され得るという事実を示す。本明細書で使用される場合、画像上の（３Ｄシーンの伸長点による）３Ｄオブジェクトの投影点は、この３Ｄオブジェクト、例えば、点群、メッシュ、スプラインモデル又はボクセルモデルの任意の表現を投影することと同等である。

点群は、例えば、ベクトルベースの構造としてメモリで表すことができ、各点は、視点の参照フレーム内の独自の座標（例えば、三次元座標ＸＹＺ、又は視点からの／視点への立体角及び距離（深度とも呼ばれる））及び成分とも呼ばれる１つ以上の属性を有する。成分の例は、様々な色空間、例えば、ＲＧＢ（赤、緑及び青）又はＹＵＶ（Ｙが輝度成分及びＵＶ２つの色差成分である）で発現され得る色成分である。点群は、オブジェクトを含む３Ｄシーンの表現である。３Ｄシーンは、所与の視点又は視点の範囲から見ることができる。点群は、多くの方法によって、例えば、
・任意選択的に深度アクティブセンシングデバイスによって補完された、カメラのリグによって撮影された実オブジェクトの捕捉から、
・モデリングツールにおける仮想カメラのリグによって撮影された仮想／合成オブジェクトの捕捉から、
・実オブジェクトと仮想オブジェクトの両方の混合物から、取得され得る。

特に３ＤｏＦレンダリングのために準備されたときの３Ｄシーンは、Ｍｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）フレームによって表され得る。次いで、容積ビデオは、ＭＶＤフレームのシーケンスである。このアプローチでは、容積情報は、対応する色及び深度アトラスに記憶された色及び深度パッチの組み合わせとして伝達され、それらは次いで、コーデック（典型的には、ＨＥＶＣ）を使用してビデオ符号化される。色及び深度パッチの各組み合わせは、典型的には、ＭＶＤ入力ビューの部分を表し、すべてのパッチのセットは、可能な限り冗長性を少なくしながら、シーン全体をカバーするように、符号化段階で設計される。復号化段階では、アトラスは最初にビデオ復号化され、パッチはビュー合成プロセスでレンダリングされて、所望の視認位置に関連付けられたビューポートを回復する。

図２は、３Ｄシーンのシーケンスを表すデータの符号化、送信及び復号化の非限定的な例を示す。例えば、同時に、３ＤｏＦ、３ＤｏＦ＋及び６ＤｏＦ復号化に適合することができる符号化形式。

３Ｄシーン２０のシーケンスが取得される。写真のシーケンスが２Ｄビデオであるとき、３Ｄシーンのシーケンスは３Ｄ（容積とも呼ばれる）ビデオである。３Ｄシーンのシーケンスは、３ＤｏＦ、３Ｄｏｆ＋又は６ＤｏＦレンダリング及び表示のための容積ビデオレンダリングデバイスに提供され得る。

３Ｄシーン２０のシーケンスは、エンコーダ２１に提供される。エンコーダ２１は、入力として１つの３Ｄシーン又は３Ｄシーンのシーケンスを取り、入力を表すビットストリームを提供する。ビットストリームは、メモリ２２内に、かつ／又は電子データ媒体上に記憶され得、ネットワーク２２を介して送信され得る。３Ｄシーンのシーケンスを表すビットストリームは、メモリ２２から読み取られ、かつ／又はデコーダ２３によってネットワーク２２から受信され得る。デコーダ２３は、当該ビットストリームによって入力され、例えば、点群形式で３Ｄシーンのシーケンスを提供する。

エンコーダ２１は、いくつかのステップを実装するいくつかの回路を備え得る。第１のステップでは、エンコーダ２１は、各３Ｄシーンを少なくとも１つの２Ｄ写真に投影する。３Ｄ投影は、三次元点を二次元平面にマッピングする任意の方法である。グラフィックデータを表示するための最新の方法は、平面（いくつかのビット平面からのピクセル情報）二次元媒体に基づいているため、このタイプの投影の使用は、特にコンピュータグラフィック、操作及びドラフト化において広範囲に及ぶ。投影回路２１１は、シーケンス２０の３Ｄシーンのための少なくとも１つの二次元フレーム２１１１を提供する。フレーム２１１１は、フレーム２１１１上に投影された３Ｄシーンを表す色情報及び深度情報を含む。変形例では、色情報及び深度情報は、２つの別個のフレーム２１１１及び２１１２において符号化される。

メタデータ２１２は、投影回路２１１によって使用され、更新される。メタデータ２１２は、図５～図７に関連して説明したように、投影動作（例えば、投影パラメータ）並びに色及び深度情報がフレーム２１１１及び２１１２内で編成される方法に関する情報を含む。

ビデオ符号化回路２１３は、フレーム２１１１及び２１１２のシーケンスをビデオとして符号化する。３Ｄシーン２１１１及び２１１２の写真（又は３Ｄシーンの写真のシーケンス）は、ビデオエンコーダ２１３によってストリーム内で符号化される。次いで、ビデオデータ及びメタデータ２１２は、データカプセル化回路２１４によってデータストリーム内でカプセル化される。

エンコーダ２１３は、例えば、
－ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ１０９１８－１ＵＩＴ－Ｔ推奨Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ；
－ＭＰＥＧ－４ＡＶＣ又はｈ２６４とも呼ばれるＡＶＣなどのエンコーダに準拠する。ＵＩＴ－ＴＨ．２６４及びＩＳＯ／ＣＥＩ ＭＰＥＧ－４－Ｐａｒｔ １０（ＩＳＯ／ＣＥＩ１４４９６－１０）、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ，ＨＥＶＣ（その仕様は、ＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎで見出される）、
－３Ｄ－ＨＥＶＣ（仕様がＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ ａｎｎｅｘ Ｇ ａｎｄ Ｉで見出されるＨＥＶＣの拡張子）、
－Ｇｏｏｇｌｅによって開発されたＶＰ９、
－Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＶ１（ＡＯ媒体ビデオ１）又は
－Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｅｒ又はＭＰＥＧ－Ｉ又はＭＰＥＧ－Ｖ の将来のバージョンのような将来の標準などのエンコーダに適合する。

データストリームは、デコーダ２３によって、例えばネットワーク２２を介してアクセス可能なメモリに記憶される。デコーダ２３は、復号化の異なるステップを実装する異なる回路を備える。デコーダ２３は、エンコーダ２１によって生成されたデータストリームを入力として取り、ヘッドマウントデバイス（ＨＭＤ）のような容積ビデオ表示デバイスによってレンダリングされ、かつ表示される３Ｄシーン２４のシーケンスを提供する。デコーダ２３は、ソース２２からストリームを取得する。例えば、ソース２２は、
－例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み取り専用メモリ）、ハードディスクなどのローカルメモリと、
－例えば、質量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
－例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）などの通信インターフェースと、
－ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、を含むセットに属する。

デコーダ２３は、データストリーム内で符号化されたデータを抽出するための回路２３４を備える。回路２３４は、データストリームを入力として取り、ストリーム及び二次元ビデオにおいて符号化されたメタデータ２１２に対応するメタデータ２３２を提供する。ビデオは、フレームのシーケンスを提供するビデオデコーダ２３３によって復号化される。復号化されたフレームは、色及び深度情報を含む。変形例では、ビデオデコーダ２３３は、一方が色情報を含み、他方が深度情報を含む２つのフレームのシーケンスを提供する。回路２３１は、メタデータ２３２を使用して、復号化されたフレームからの色及び深度情報を投影せず、３Ｄシーン２４のシーケンスを提供する。３Ｄシーン２４のシーケンスは、２Ｄビデオとしての符号化に関連する精度が潜在的に低下３Ｄシーン２０のシーケンス及びビデオ圧縮に対応する。

図３は、図７及び図８に関連して説明される方法を実施するように構成され得るデバイス３０の例示的なアーキテクチャを示す。図２のエンコーダ２１及び／又はデコーダ２３は、このアーキテクチャを実装し得る。代替的に、エンコーダ２１及び／又はデコーダ２３の各回路は、例えば、それらのバス３１を介して、かつ／又はＩ／Ｏインターフェース３６を介して一緒に連結された、図３のアーキテクチャによるデバイスであり得る。

デバイス３０は、データ及びアドレスバス３１によって一緒に連結された以下の要素：
－例えば、ＤＳＰ（又はデジタル信号プロセッサ）であるマイクロプロセッサ３２（又はＣＰＵ）と、
－ＲＯＭ（又は読み取り専用メモリ）３３と、
－ＲＡＭ（又はランダムアクセスメモリ）３４と、
－ストレージインターフェース３５と、
－アプリケーションから、送信するデータを受信するためのＩ／Ｏインターフェース３６と、
－電源、例えば、バッテリと、を備える。

一例によれば、電源はデバイスの外部にある。言及されたメモリの各々において、本明細書で使用される「レジスタ」という単語は、小さな容量の領域（いくつかのビット）又は非常に大きな領域（例えば、全体のプログラム又は大量の受信された、又は復号化されたデータ）に対応し得る。ＲＯＭ３３は、少なくともプログラム及びパラメータを含む。ＲＯＭ３３は、本原理に従って技術を実行するためのアルゴリズム及び命令を記憶することができる。オンに切り替えられると、ＣＰＵ３２は、ＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ３４は、レジスタ内で、ＣＰＵ３２によって実行され、デバイス３０のスイッチオン後にアップロードされるプログラムと、レジスタ内の入力データと、レジスタ内の方法の異なる状態の中間データと、レジスタ内の方法の実行のために使用される他の変数と、を含む。

本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合（例えば、方法又はデバイスとしてのみ考察される）であっても、考察される特徴の実装形態はまた、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

実施例によれば、デバイス３０は、図７及び図８に関連して説明された方法を実装するように構成されており、
－モバイルデバイスと、
－通信デバイスと、
－ゲームデバイスと、
－タブレット（又はタブレットコンピュータ）と、
－ラップトップと、
－静止画カメラと、
－ビデオカメラと、
－符号化チップと、
－サーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ）と、を含むセットに属する。

図４は、データがパケットベースの送信プロトコルを介して送信されるときのストリームの構文の実施形態の例を示す。図４は、容積ビデオストリームの例示的な構造４を示す。構造は、構文の独立した要素においてストリームを編成する容器からなる。構造は、ストリームのすべての構文要素に共通のデータのセットであるヘッダ部分４１を含み得る。例えば、ヘッダ部分は、構文要素に関するメタデータのいくつかを含み、それらの各々の性質及び役割を説明する。ヘッダ部分はまた、図２のメタデータ２１２の一部、例えば、３Ｄシーンの点をフレーム２１１１及び２１１２上に投影するために使用される中心視点の座標を含み得る。構造は、構文４２の要素と、構文４３の少なくとも１つの要素を含むペイロードを含む。構文要素４２は、色及び深度フレームを表すデータを含む。画像は、ビデオ圧縮方法に従って圧縮されている場合がある。

構文４３の要素は、データストリームのペイロードの一部であり、構文４２の要素のフレームがどのように符号化されるかについてのメタデータ、例えば、３Ｄシーンの点をフレーム上に投影するか、パッキングするために使用されるパラメータを含み得る。そのようなメタデータは、ビデオの各フレーム又は（ビデオ圧縮標準において写真のグループ（Group of Pictures、ＧｏＰ）としても既知である）フレームのグループと関連付けられ得る。

３ＤｏＦ＋コンテンツは、Ｍｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）フレームのセットとして提供され得る。そのようなコンテンツは、専用のカメラによって捕捉された場合があるか、又は専用の（潜在的に写実的な）レンダリングによって、既存のコンピュータグラフィック（ＣＧ）コンテンツから生成され得る。

図５は、ＭＶＤフレームから所与のビューポートのための画像を生成するときに、図２のビュー合成装置２３１によって使用されるプロセスを示す。合成するためにビューポート５０のためのピクセル５１を合成しようとするときに、合成装置（例えば、図２の回路２３１）は、この所与のピクセルを通過する光線（例えば、光線５２及び５３）を投影せず、この光線に沿って各ソースカメラ５４～５７の寄与をチェックする。図５に示すように、シーン内のいくつかのオブジェクトが、あるカメラから別のカメラへの閉塞を作成するときに、又はカメラ設定のために可視性を確保することができないときに、合成に対するピクセルの特性に関するすべてのソースカメラ５４～５７間のコンセンサスが見つからない場合がある。図５の例では、３つのカメラ５４～５６インチの第１のグループは、前景オブジェクト５８の色を使用して、合成するためにそれらすべてが光線に沿ってこのオブジェクトを「見る」ときに、ピクセル５１を合成するように「投票」する。１つの単一のカメラ５７の第２のグループは、そのビューポートの外側にあるため、このオブジェクトを見ることができない。したがって、カメラ５７は、ピクセル５１を合成するように、後景オブジェクト５９に「投票」する。そのような状況の曖昧さを解消するための戦略は、合成するためのビューポートまでの距離に応じて、重みによる各カメラの寄与をブレンド及び／又はマージすることである。図５の例では、カメラ５４～５６の第１のグループは、それらがより多くのものであるときに、及び合成するためにビューポートからより近いときに、最大の寄与をもたらす。最後に、ピクセル５１は、予想どおり、前景オブジェクト６８の特性を使用することによって合成される。

図６は、３Ｄ空間の不均一なサンプリングを有するカメラのセットのビュー合成を示す。ソースカメラリグの構成に応じて、特に、得るべき容積シーンが最適にサンプリングされないときに、この加重戦略は、図６で観察され得るように、失敗する可能性がある。このような状況では、リグは、入力カメラのほとんどが見ることができず、単純な加重戦略が予想される結果を与えないため、オブジェクトを捕捉するために明確に不良にサンプリングされる。図６の例では、前景オブジェクト６８は、カメラ６４によってのみ捕捉される。合成するためにビューポート６０のためのピクセル６１を合成しようとするときに、合成装置は、この所与のピクセルを通過する光線（例えば、光線６２及び６３）を投影せず、この光線に沿って各ソースカメラ６４、６６及び６７の寄与をチェックする。図６の例では、カメラ６４は、前景オブジェクト６８の色を使用して、ピクセル６１を合成する一方で、カメラ６６及び６７のグループが、後景オブジェクト６９のために投票してピクセル６１を合成する。最後に、後景オブジェクト６９の色の寄与は、前景オブジェクト６８の色の寄与よりも大きく、視覚的アーチファクトをもたらす。

カメラの空間構成を適合させることによって、得るべきシーンの不良なサンプリングが捕捉段階で克服され得る場合でも、シーンの幾何学的形状を予測することができないシナリオは、例えば、ライブストリーミングにおいて起こり得る。更に、複雑な運動及び多数の潜在的な閉塞を有する自然なシーンの場合、完全なリグ設定を見つけることはほとんど不可能である。

しかしながら、いくつかの特定のシナリオでは、特にカメラの仮想リジスがコンピュータ生成（computer generated、ＣＧ）３Ｄシーンを捕捉するために使用される場合、仮想カメラが「完全」であり、かつそれらが完全に信頼され得るとして以前に提示されたもの以外の他の加重戦略を想定し得る。実際、実際の（非ＣＧ）文脈では、深度情報が直接捕捉されず、例えば、写真測量法によって事前に計算される必要があるため、容積シーンの入力として機能するＭＶＤを推定する必要がある。この後者のステップは、多くのアーチファクト（特に遠隔カメラの幾何学的情報間の不一致）のソースであり、これらは、次いで、図５に記載されるものと同様の加重／投票戦略によって軽減されている／軽減される必要がある。逆に、コンピュータ生成シナリオでは、得るべきシーンは、完全にモデル化され、そのようなアーチファクトは、深度情報が完全な様式でモデルによって直接与えられるために起こり得ない。合成装置が、ソース（Ｖｉｅｗ＋Ｄｅｐｔｈ）によって与えられる情報を完全に信頼するべきであることを事前に知っている場合、次いで、そのプロセスを大幅に早め、図６に記載されるもののように加重問題を防止することができる。

本原理によれば、これらの欠点を克服するための方法が提案される。情報は、デコーダに送信された、挿入されたメタデータであり、合成に使用されるカメラが信頼可能であり、代替的な加重が想定されるべきであることを合成器に示す。マルチビューフレームの各ビューによって担持される情報の信頼度は、マルチビューフレームと関連付けられたメタデータに符号化される。信頼度は、得られた際の深度情報の忠実度に関連している。上で詳述されるように、仮想カメラによって捕捉されたビューについて、深度情報の忠実度は最大であり、実カメラによって捕捉されたビューについて、深度情報の忠実度は、実カメラの内部パラメータ及び外部パラメータに依存する。

そのような特徴の実装は、表１に記載されるように、メタデータ内のカメラパラメータリストにフラグを挿入することによって行われ得る。このフラグは、先で説明されるように、所与のカメラが完全なものであり、その情報が完全に信頼可能であると見なすべきであると考えることができる、ビュー合成器の特別なプロファイルを可能にするカメラごとのブール値であり得る。

一般フラグ「ｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅ＿ｐａｒａｍｓ＿ｅｑｕａｌ＿ｆｌａｇ」が、設定される。このフラグは、特徴を（真の場合）有効化することか、又は（偽の場合）無効化することを表し、ｉｉ）後者のフラグが有効化された場合、各成分がカメラごとに完全に信頼できる（真の場合）か、又はそうでない（偽の場合）と見なす必要があるかどうかを示すブール値のアレイ「ｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅ」が、メタデータに挿入される。

レンダリング段階では、カメラが完全に信頼可能であると識別される（ｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅの関連付けられた成分が真に設定される）場合、次いで、その幾何学的情報（深度値）は、他の「信頼可能ではない」（すなわち、通常の）カメラによって担持されるすべての幾何学情報を上書きする。その場合、加重スキームは、信頼できるように識別されたカメラの幾何学的形状（例えば、深度）情報の単純な選択によって有利に置き換えることができる。言い換えれば、図５及び図６で提案された加重／投票スキームでは、所与のピクセルの合成のために保持されるべき点の位置（前景又は背景）のコンセンサスを、そのｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅ特性が真であるカメラと、そのｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅ特性が偽であるものとの間に見出すことができない場合、次いで、そのｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅが有効化されているものが好ましい。

合成すべき所与のピクセルに対して、複数のカメラのこの特性が有効化されている（ｓｏｕｒｃｅ＿ｃｏｎｆｉｄｅｎｃｅの関連付けられた成分が真に設定されている）場合、通常のラスタライゼーションエンジンの深度バッファで実行され得るため、深度情報が最小であるカメラが選択される。そのような選択は、所与の信頼できるカメラが、合成すべき所与のピクセルに対して、他のカメラよりも近いオブジェクトを見た場合、必ずしもそれが、必然的に、他のカメラのための閉塞を作成し、したがって、閉塞された更なるオブジェクトの情報を担持するという事実によって動機化される。図６では、そのような戦略は、ピクセル６１の合成に使用するためのものとしてカメラ６４によって担持される情報を選択するようになる。

別の実施形態では、非バイナリ値は、カメラがレンダリングスキームにおいてどれほど「信頼可能」であると見なされるべきかを示す、０～１の正規化された浮動点などのソース信頼度に使用される。

現実世界環境では、カメラは、典型的には、完全に信頼可能かつ完全であると見なされない。「完全に信頼可能」及び「完全な」という用語は、一般に深度情報を指す。ＣＧ環境では、深度情報は、モデルに従って生成されるため、既知である。したがって、深度は、仮想カメラのすべてに対して、すべてのオブジェクトについて既知である。そのような仮想カメラは、ＣＧ環境の内側に生成される仮想リグの一部としてモデル化される。したがって、仮想カメラは、完全に信頼可能かつ完全である。

図６の例では、カメラが現実世界システムの一部であり、深度が推定される場合、カメラは完全に信頼可能かつ完全であると予想されない。したがって、多大な加重スキームがビューポートカメラ６０のピクセル６１に使用される場合、次いで、生成された回答は、ピクセル６１の背景色であろう。同様に、カメラが仮想リグの一部であり、完全に信頼可能かつ完全である場合、大部分の加重スキームが依然として使用され、次いで、後景色は、依然としてピクセル６１のために選択される。しかしながら、カメラが仮想リグの一部であり、完全に信頼可能な状態が使用される場合、その結果、完全に信頼可能なカメラの最低深度が選択され、次いで（カメラ６４からの）前景色がピクセル６１のために選択される。

ＣＧ映画は、記載された実施形態から利益を得ることができる。例えば、ＣＧ映画（例えば、ライオンキング）は、複数の仮想カメラが複数のビューを提供する仮想リグを使用して再撮影することができる。得られた出力は、ユーザが映画に没入型体験を有し、視認位置を選択することを可能にする。異なる視認位置をレンダリングすることは、典型的には時間がかかる。しかしながら、仮想カメラが完全に信頼可能かつ完全であることを考えると（深度に関して）、例えば、最低深度カメラが所与のピクセルの色を提供すること、又は代替的に、より近い深度値の色の平均値を提供することによって、レンダリング時間を削減することができる。これは、加重動作を実行するために典型的に必要な処理を排除する。

信頼の概念は、現実世界のカメラに拡張され得る。しかしながら、推定深度に基づく単一の現実世界のカメラに依存すると、任意の所与のピクセルに対して間違った色が選択されるリスクがある。しかしながら、所与のカメラについて特定の深度情報がより信頼できる場合、次いで、この情報は、レンダリング時間を短縮するために利用され得るが、「最良の」カメラに依存し、したがって、可能性のあるアーチファクトを回避することによって最終品質を改善することもできる。

相補的に、完全な幾何学的情報に加えて、「完全に信頼可能な」カメラもまた、リグの異なるカメラ間の色情報の信頼性を担持するために使用され得る。色情報に関して異なるカメラを較正することは、必ずしも達成が容易ではないことが周知である。したがって、また、「完全に信頼可能な」カメラ概念を使用して、カメラを色の参照として識別して、色加重レンダリング段階でより多く信頼することができる。

図７は、本原理の非限定的な実施形態による、データストリーム内のマルチビュー（ＭＶ）フレームを符号化するための方法７０を示す。ステップ７１において、マルチビューフレームがソースから取得される。ステップ７２において、マルチビューフレームの所与のビューによって担持される情報の信頼度を表すパラメータが取得される。一実施形態では、ＭＶフレームのすべてのビューに対してパラメータが取得される。このパラメータは、ビューの情報が完全に信頼可能であるか、又は「非完全に」信頼可能であるかを示す、ブール値であり得る。変形例では、パラメータは、例えば、－１００～１００又は０～２５５又は実数の間の整数、例えば、－１．０～１．０又は０．０～１．０の範囲の度の信頼度である。ステップ７３において、ＭＶフレームは、メタデータと関連付けられたデータストリーム内で符号化される。メタデータは、ビュー、例えばインデックスを、そのパラメータと関連付けるデータの対を含む。

図８は、本原理の非限定的な実施形態による、データストリームからのマルチビューフレームを復号化するための方法８０を示す。ステップ８１において、マルチビューフレームがソースから復号化される。このＭＶフレームに関連付けられたメタデータもまた、ストリームから復号化される。ステップ８２において、データの対がメタデータから取得され、これらのデータは、ＭＶフレームのビューを、このビューによって担持される情報の信頼度を表すパラメータと関連付ける。ステップ７３において、ビューポートフレームが、視認姿勢（すなわち、レンダラの３Ｄ空間内の場所及び配向）のために生成される。ビューポートフレームのピクセルについて、各ビュー（本出願においては「カメラ」とも呼ばれる）の寄与の重みは、各ビューに関連付けられた信頼度に従って判定される。

本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合（例えば、方法又はデバイスとしてのみ考察される）であっても、考察される特徴の実装形態は、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「personal digital assistant、ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

本明細書に記載の様々なプロセス及び特徴の実装は、様々な異なる機器又は用途、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理並びに画像及び関連するテクスチャ情報及び／又は深度情報の他の処理に関連付けられた機器又は用途において、具体化され得る。そのような機器の例としては、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信デバイスが挙げられる。明確であるはずであるように、機器は、モバイルであり得、モバイル車両に設置され得る。

更に、方法は、プロセッサによって実行される命令によって実装され得、そのような命令（及び／又は実装形態によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリア又は他の記憶デバイス、例えば、ハードディスク、コンパクトディスケット（「compact diskette、ＣＤ」）、光学ディスク（例えば、デジタル多用途ディスク又はデジタルビデオディスクと称されることが多いＤＶＤなど）、ランダムアクセスメモリ（「random access memory、ＲＡＭ」）又は読み取り専用メモリ（「read-only memory、ＲＯＭ」）などのプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で明白に具体化されたアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は２つの組み合わせに見出され得る。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスと、の両方として特徴付けられ得る。更に、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装形態によって生成されたデータ値を記憶することができる。

当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を担持するようにフォーマット化された様々な信号を生成し得る。情報は、例えば、方法を実行するための命令又は記載された実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、記載された実施形態の構文を書き込むか、若しくは読み取るためのルールをデータとして担持するか、又は記載された実施形態によって書き込まれた実際の構文値をデータとして担持するようにフォーマット化され得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号としてフォーマット化され得る。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータストリームでキャリアを変調することを含み得る。信号が担持する情報は、例えば、アナログ情報又はデジタル情報であり得る。信号は、既知のように、様々な異なる有線又は無線リンクを介して送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。

多くの実装形態が説明されている。それにもかかわらず、様々な修正が行われ得ることが理解されるであろう。例えば、異なる実装形態の要素は、他の実装形態を生成するために組み合わせ、補足、修正、又は削除することができる。更に、当業者は、開示されたものに対して他の構造及びプロセスを置換することができ、結果として生じる実装形態は、少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、開示された実装形態と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これら及び他の実装形態は、本出願によって企図される。

Claims (26)

1. マルチビューフレームを符号化するための方法であって、
   －前記マルチビューフレームのビューについて、前記ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
   －前記パラメータを含むメタデータと関連して、データストリーム内の前記マルチビューフレームを符号化することと、を含む、方法。
2. ビューの深度情報の忠実度を表す前記パラメータが、前記ビューを捕捉したカメラの内部パラメータ及び外部パラメータに従って判定される、請求項１に記載の方法。
3. 前記メタデータが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、請求項１又は２に記載の方法。
4. ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項１～３のいずれか一項に記載の方法。
5. ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項１～３のいずれか一項に記載の方法。
6. マルチビューフレームを符号化するためのデバイスであって、
   －前記マルチビューフレームのビューについて、前記ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
   －前記パラメータを含むメタデータと関連して、データストリーム内の前記マルチビューフレームを符号化することと、を行うように構成されたプロセッサを備える、デバイス。
7. 前記プロセッサが、前記ビューを捕捉したカメラの内部パラメータ及び外部パラメータに従って、ビューの深度情報の忠実度を表す前記パラメータを判定するように構成されている、請求項６に記載のデバイス。
8. 前記プロセッサが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、メタデータを符号化するように構成されている、請求項６又は７に記載のデバイス。
9. ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項６～８のいずれか一項に記載のデバイス。
10. ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項６～８のいずれか一項に記載のデバイス。
11. データストリームからマルチビューフレームを復号化する方法であって、
    －前記マルチビューフレーム及び関連付けられたメタデータを前記データストリームから復号化することと、
    －前記メタデータから、前記マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
    －前記ビューに関連付けられた前記パラメータの関数として、前記マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む、方法。
12. ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項１１に記載の方法。
13. 部分的に信頼可能なビューの前記寄与が、無視される、請求項１２に記載の方法。
14. 複数のビューが完全に信頼可能であるという条件で、最低深度情報を有する前記完全に信頼可能なビューが使用される、請求項１２又は１３に記載の方法。
15. ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項１１に記載の方法。
16. 各ビューの前記寄与が、前記ビューと関連付けられた前記数値に比例する、請求項１５に記載の方法。
17. データストリームからマルチビューフレームを復号化するためのデバイスであって、
    －前記マルチビューフレーム及び関連付けられたメタデータを前記データストリームから復号化することと、
    －前記メタデータから、前記マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
    －前記ビューに関連付けられた前記パラメータの関数として、前記マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を行うように構成されたプロセッサを備える、デバイス。
18. ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項１７に記載のデバイス。
19. 部分的に信頼可能なビューの前記寄与が、無視される、請求項１８に記載のデバイス。
20. 複数のビューが完全に信頼可能であるという条件で、最低深度情報を有する前記完全に信頼可能なビューが使用される、請求項１８又は１９に記載のデバイス。
21. ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項１７に記載のデバイス。
22. 各ビューの前記寄与が、前記ビューと関連付けられた前記数値に比例する、請求項２１に記載のデバイス。
23. データストリームであって、
    －マルチビューフレームを表すデータと、
    －前記データに関連付けられたメタデータであって、前記メタデータが、前記マルチビューフレームのビューごとに、前記ビューによって担持される深度情報の忠実度を表すパラメータを含む、メタデータと、を含む、データストリーム。
24. 前記メタデータが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、請求項２３に記載のデータストリーム。
25. ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項２３又は２４に記載のデータストリーム。
26. ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項２３又は２４に記載のデータストリーム。
    
    

Images