JP2022525210A - マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス - Google Patents

マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス Download PDF

Info

Publication number
JP2022525210A
JP2022525210A JP2021555500A JP2021555500A JP2022525210A JP 2022525210 A JP2022525210 A JP 2022525210A JP 2021555500 A JP2021555500 A JP 2021555500A JP 2021555500 A JP2021555500 A JP 2021555500A JP 2022525210 A JP2022525210 A JP 2022525210A
Authority
JP
Japan
Prior art keywords
image
sub
data
zone
useful
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021555500A
Other languages
English (en)
Inventor
ジョエル・ジュン
パトリック・ボワソナード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2022525210A publication Critical patent/JP2022525210A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法に関し、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれる少なくとも1つのゾーンを備える。サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータが復号化される。インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップが復号化される。サブ画像のテクスチャデータおよび深度データが復号化され、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データは、復号化された深度値を備える。

Description

本発明は、1つまたは複数のカメラによってキャプチャされたシーンを表す没入型ビデオに関する。より詳細には、本発明は、そのようなビデオのコード化および復号化に関する。
没入型ビデオのコンテキスト、すなわち、視聴者がシーンに没頭しているような感覚の場合、シーンは通常、図1に示されるように、カメラのセットによってキャプチャされる。これらのカメラはタイプ2D(図1におけるカメラC1、C2、C3、C4)であってもよく、タイプ360、すなわち、カメラの周囲360度のシーン全体をキャプチャするもの(図1におけるカメラC5)であってもよい。
これらのキャプチャされたビューはすべて、従来、視聴者の端末によってコード化され、次いで復号化される。しかしながら、十分な品質の体験を提供し、したがって、視聴者に表示されるシーンにおける視覚的品質および良好な没入感を提供するためには、キャプチャされたビューのみを表示することは不十分である。
シーンへの没入感を向上させるために、通常、中間ビューと呼ばれる1つまたは複数のビューが、復号化されたビューから計算される。
これらの中間ビューは、ビューの「合成」アルゴリズムによって計算することができる。合成アルゴリズムの例が図2に示されており、これは、主にビュー合成アルゴリズムの入力/出力を示している。この例によれば、n個のビュー(ここでは1～4)から、合成アルゴリズムは、カメラの位置に応じて、ビューイングボリュームと呼ばれる所与のボリュームに位置する視点「v」を合成することができる。n個のビューおよび合成されたビューは、カメラに対するシーンの要素間の距離を表すテクスチャデータ(T1～T4、Tv)と深度データ(D1～D4、Dv)の両方で構成される。深度データは通常、深度マップ、すなわち、画像の各ポイントにおいて、そのポイントにおいて表されるオブジェクトに関連付けられる深度を示す画像の形態で表される。
これらの深度マップは、特定のカメラによってキャプチャされるか、テクスチャビューから計算される。大量のデータが考慮されるため、シーンを表すためにキャプチャされたビューを圧縮することは困難である。
さらに、キャプチャされたビューは中間ビューを合成するために必要であるため、ビューのコード化効率と中間ビュー合成の品質との間の妥協が必要である。
MV-HEVCおよび3D-HEVCエンコーダは、マルチビュービデオのコード化に適合した2D HEVCエンコーダの2つの拡張機能である(「High Efficiency Video Coding, Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015年)。
そのようなエンコーダは、ビューのセットと、任意で関連付けられる深度マップを入力として受け取る。MV-HEVCエンコーダは、ブロックレベルで任意の特定のコード化ツールを適用しない。現在のビューの画像をコード化する場合、現在のビューの以前にコード化/復号化された画像に加えて、別のビューの画像を参照画像として単に使用する。
3D-HEVCエンコーダは、深度マップコード化に特定のツールを追加し、より高度なビュー間冗長性とコンポーネント間冗長性を使用し、深度マップコード化はテクスチャコード化を利用する。
しかしながら、360度マルチビューコンテンツの場合、ビュー間の冗長性はこれら2つのコーデックによって適切に活用されていないようである。したがって、それらのコード化効率は最適とはほど遠いものである。さらに、合成されたビューの画像の品質に影響を与える閉塞につながる可能性のあるゾーンを保持するために何も行われない。
図3は、マルチビュービデオをコード化し、デコーダ側において中間ビューを合成するための別の方法を示している。
この方法によれば、1つまたは複数の基本ビュー(図3におけるTb、Db)は、2Dエンコーダ、たとえば、HEVCエンコーダ、またはマルチビューエンコーダでコード化される。
他のビュー(Ts、Ds)は、これらのビューの各々から特定のゾーンを抽出するために処理される。
キャプチャされたビューのすべてがデコーダに送信されるわけではない場合、またはカメラが自然に離れている場合、閉塞ゾーンが増加する。これらのゾーンは、デコーダに送信されるビューでは非表示になっているが、ビューイングボリューム内の任意の視点から画像を再構築するために必要なオブジェクトに対応する。したがって、抽出されたゾーンは、基本ビューでは非表示になっているが、デコーダに送信されないビューでは表示されている閉塞ゾーンに対応することができる。
ビューをサブサンプリングすると、特にオブジェクトがビューイング位置、つまり合成された視点に応じて大きく歪む場合、ビュー合成に重大な欠陥が生じる可能性がある。
図3に示される方法によれば、以下ではパッチとも呼ばれる抽出されたゾーンは、たとえば、従来の2Dビデオエンコーダによってコード化される。次いで、デコーダ側において、合成アルゴリズムは、基本ビューと復号化されたパッチから1つまたは複数の中間ビューを生成することができる。
全体として、パッチは、基本ビューの視点または別の視点から見ることができる同じゾーンに関連する情報をデコーダに送信することができるため、2つの視点間の照明の変化、または、たとえば、傾斜したオブジェクト(特定の深度範囲にわたる)の場合など、オブジェクト自体に関連する投影品質の低下を考慮に入れることができる。
抽出されたゾーンを表すパッチをコード化するために、これらのパッチのテクスチャと関連付けられる深度をコード化する必要がある。異なる形状を有する可能性があるこれらのパッチのコード化および表現を単純化するために、一般に、パッチは、長方形の画像の形態で、または少なくともサブ画像とも呼ばれる四辺形の形態で記憶される。
サブ画像の形態で表現すると、サブ画像は、抽出されたゾーンに対応し、中間ビューの合成に使用される可能性が高い有用なデータと、最初は抽出されたパッチに属していない有用でないデータとを備えるように見える。
パッチの効率的なコード化のために、有用でないデータのコード化が有用なデータのコード化に与える影響を最小限に抑える必要がある。
さらに、デコーダ側において、合成中に有用でないゾーンを使用しないように、有用なゾーンと有用でないゾーンを識別するために役立つ情報の項目を合成アルゴリズムに送信する必要がある。
したがって、従来技術を改善する必要がある。
「High Efficiency Video Coding, Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015年
本発明は従来技術を改善する。この目的のために、本発明はマルチビュービデオを表すデータストリームを復号化するための方法に関係している。データストリームは、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータは、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、サブ画像は、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれる少なくとも1つのゾーンを備える。
そのような復号化方法は、
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化するステップと、
- サブ画像のテクスチャデータおよび深度データを復号化するステップであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、ステップとを備える。
したがって、本発明によれば、これらのサブ画像のコード化コストを制限しながら、合成に有用なサブ画像コード化ゾーンをコード化および復号化することが可能である。具体的には、ストリームにおいてコード化されたインジケータの値に応じて、パッチを表すサブ画像の有用なゾーンは、サブ画像のストリームにおいてコード化された深度情報から、またはストリームからコード化および復号化されたバイナリマップから、ビューを再構築するときに合成アルゴリズムによって決定することができる。
したがって、本発明によれば、従来技法とは異なり、サブ画像の有用なゾーンを識別するための妥当性バイナリマップをサブ画像に対して体系的にコード化する必要はない。たとえば、エンコーダにおいて、パッチの深度情報のレート/歪みの観点から最適なコード化を決定するために競合を実装することができる。そのような競合は、どのピクセルが有用なゾーンに属し、ビューを合成するときに合成アルゴリズムに送信されるかを示すバイナリマップをコード化する第1の方法のパフォーマンスと、有用なゾーンの外側に位置するピクセルの深度値に特定の値を割り当てる第2の方法のパフォーマンスとを比較する。
サブ画像が第1の方法に従ってコード化される場合、有用なゾーンに属するピクセルの深度値のみがコード化および復号化される。一方、第2の方法に従ってサブ画像がコード化される場合、これらのピクセルが有用なゾーンに属するかどうかに関係なく、サブ画像のすべてのピクセルの深度値がコード化および復号化される。有用なゾーンに属さないサブ画像のピクセルは、コード化時に決定された特定の復号化された深度値を有する。
そのような特定の値により、合成アルゴリズムは、ビューを合成する際に、有用なゾーンに属さないピクセルを使用しないようになる。
サブ画像は、データストリームにコード化されたビューに表示されない閉塞ゾーンに関連するテクスチャおよび深度データを備えることができる。したがって、そのようなサブ画像をコード化すると、データストリームにコード化されていないビューの合成の品質が向上する。
他の実施形態の変形例では、サブ画像は、データストリームにコード化されたビューから見えるが、ビューの合成に重大な欠陥をもたらすゾーンに関連するテクスチャおよび深度データを備えることができる。そのようなサブ画像をコード化すると、ゾーンにテクスチャと深度の改良を提供することによって、このビューの合成の品質が向上する。
提案された発明は、ビューの内容および閉塞タイプへのより良い適応を可能にする。具体的には、第1の方法は合成中に閉塞ゾーンのシャープな輪郭を保持し、第2の方法はバイナリマップの送信を回避することによってコード化コストを節約する。しかしながら、第2の方法に従ってコード化すると、サブ画像内の有用なゾーンと有用でないゾーンとの間の区別が行われなくなるため、閉塞ゾーンの輪郭の鮮明さが保持されない。
第1の方法と第2の方法との間のエンコーダにおける選択は、たとえばレート/歪み最適化を介して行うことができ、歪みは、有用なゾーンによって再構築されたゾーンの部分合成からエンコーダにおいて測定される。
本発明はまた、マルチビュービデオを表すデータストリームをコード化するための方法であって、
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備える、ステップを備える方法に関し、
前記少なくとも1つのサブ画像をコード化するステップは、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定するステップと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化するステップと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定するステップと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てるステップと、
- サブ画像のテクスチャデータおよび深度データをコード化するステップとを備える。
本発明の特定の実施形態によれば、割当て深度値は、少なくともサブ画像の有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される。
最小深度値は、たとえば、サブ画像内の有用なゾーンの最も遠い(深度に関して)ポイントの深度値である。最小深度値は、有用なゾーンのポイントの深度値とは異なる特定の深度値を取得するために、あらかじめ定められた値だけ減少される。したがって、あらかじめ定められた値だけの減少は、深度データをコード化する際の量子化エラーを考慮に入れることを可能にする。
さらに、有用なゾーンのポイントの深度値に近いままである特定の深度値を使用すると、サブ画像の深度のコード化コストの影響が制限される。実際、サブ画像用にコード化される深度情報における強い不連続性の発生は制限されている。
さらに、そのような割当て深度値は、合成アルゴリズムによって有利に使用することができる。実際、画像の合成中に競合が発生した場合、合成アルゴリズムは、当然、前景に位置するオブジェクトを優先するため、背景に位置するオブジェクトよりも深度値が大きくなる。したがって、有用でないゾーンに位置するサブ画像のピクセルに対して、有用なゾーンのピクセルの深度値よりも低い深度値を使用することは、最小深度値を有するピクセルが有用なゾーンに属していないことを合成アルゴリズムに示し、合成画像を再構築する際に競合が発生した場合、合成アルゴリズムによるそれらの考慮は優先されない。
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、復号化方法、それぞれコード化方法は、割当て深度値を表す情報の項目を復号化、それぞれコード化するステップを備え、割当て深度値は、有用なゾーンの外側に位置するピクセルについて、復号化された、それぞれコード化された、深度値に対応する。
したがって、本発明のこの特定の実施形態によれば、有用なゾーンに属するピクセルを示すバイナリマップは、デコーダが、有用なゾーンの外側に位置するピクセルに割り当てられた割当て深度値を認識しているため、第2の方法に従ってコード化されたサブ画像に対して作成することができる。したがって、復号化されたピクセルの深度値から、どのピクセルが有用なゾーンに属し、どのピクセルが有用なゾーンの外側に位置するかを識別することができる。このように構築されたバイナリマップは、合成アルゴリズムに送信することができる。したがって、合成アルゴリズムへの入力として提供される情報は、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されたかにかかわらず同一である。
本発明の別の特定の実施形態によれば、データストリームにコード化されたサブ画像の深度データは、サブ画像の少なくとも1つのピクセルについて、前記ピクセルの深度値と前記割当て深度値との間の差によって決定される残差を備える。
本発明のこの特定の実施形態は、サブ画像が第2の方法に従ってコード化される場合、サブ画像の深度データのコード化コストを削減する。実際、サブ画像が背景情報のみを備える場合、深度データのダイナミクスは低く、このデータを残差としてコード化する方がより有利である。
本発明の別の特定の実施形態によれば、深度データが、前記ピクセルの深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータは、前記少なくとも1つのサブ画像に対して復号化またはコード化される。
本発明のこの特定の実施形態は、第2の方法によるコード化の場合の深度データが残差によってコード化されるかどうかを信号で伝えることを可能にする。実際、サブ画像によって運ばれる情報のタイプに応じて、残差ベースのコード化モードは有利である場合とそうでない場合がある。残差ベースのコード化は、サブ画像が閉塞ゾーンに関連する情報を運ぶ場合に有利である可能性があるが、改良情報を備えるサブ画像にはあまり魅力的でない可能性がある。
本発明の別の特定の実施形態によれば、復号化方法は、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、復号化されたバイナリマップから、
- 有用なゾーンを決定するステップと、
- 有用なゾーンの外側に位置するピクセルに無限の値が割り当てられるサブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップとをさらに備える。
本発明のこの特定の実施形態によれば、深度値に割り当てられた無限の値は、有用なゾーンおよび有用でないゾーンに属するピクセルを合成アルゴリズムに単純に示すことを可能にし、有用なゾーンと有用でないゾーンを示すバイナリマップなど、追加のデータを合成モジュールに送信することを回避する。
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、復号化方法は、
- 再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、有用なゾーンを決定するステップと、
- サブ画像の少なくとも1つのピクセルについて、そのピクセルが有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップとをさらに備える。
本発明の別の特定の実施形態によれば、前記少なくとも1つのビューの前記少なくとも1つの画像を生成するために使用されることが意図される少なくとも2つのサブ画像がデータストリームにコード化され、最小深度値は、前記少なくとも2つのサブ画像の各有用なゾーンから決定される。
本発明の別の特定の実施形態によれば、データストリームは、ビデオの少なくとも1つのビューのコード化されたデータを備え、前記少なくとも1つのビューは、少なくとも1つのソースビューからのコード化において決定されたビューに対応する。
ソースビューは、ここではマルチビュービデオによって表されるシーンの元のビューとして定義されている。言い換えれば、それはカメラによるシーンのキャプチャから生じる画像のシーケンスである。
本発明のこの特定の実施形態によれば、デコーダに送信される少なくとも1つの基本ビューは、1つまたは複数のソースビューから決定されたビューである。この決定は、コード化時またはコード化前に実行することができる。
たとえば、複数のソースビューから合成されたビュー、または複数のソースの視点から計算/推定されたビューの場合がある。
たとえば、決定されたビューは、各画像がカメラ画像よりも大きく、360度キャプチャカメラアレイのすべてのカメラからの同じ瞬間のすべての画像を備える画像のシーケンスに対応することができる。
本発明の別の特定の実施形態によれば、復号化方法は、前記サブ画像のテクスチャデータおよび深度データを受信するステップをさらに備え、前記サブ画像は、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる。
本発明のこの特定の実施形態によれば、サブ画像のデータは、ビューイングボリュームにおける位置および視聴方向の要求に応じて、デコーダに提供される。本発明のそのような特定の実施形態は、視聴者がマルチビュービデオをナビゲートしているときに、オンデマンドでサブ画像のデータを提供することを可能にする。したがって、対応する改良ゾーンまたは閉塞ゾーンのデータは、視聴者の位置と視聴方向により適合される。
本発明はまた、マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスに関し、前記少なくとも1つのデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備える、サブ画像とを備え、復号化デバイスは、
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化することと、
- サブ画像のテクスチャデータおよび深度データを復号化することであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、復号化することとを備える。
本発明の特定の実施形態によれば、そのような復号化デバイスは、端末またはサーバに備えられる。
本発明はまた、
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化することであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される有用なゾーンを備え、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定することと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化することと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定することと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てることと
を備える、コード化することと、
- サブ画像のテクスチャデータおよび深度データをコード化することとを行うように構成された、マルチビュービデオを表すデータストリームをコード化するためのデバイスに関する。
本発明の特定の実施形態によれば、そのようなコード化デバイスは、端末またはサーバに備えられる。
本発明はまた、マルチビュービデオを表すデータストリームに関し、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータは、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像は、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備え、データストリームは、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、深度値を備える、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データとを備える。
本発明の特定の実施形態によれば、データストリームは、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、割当て深度値を表す情報の項目をさらに備える。
本発明の別の特定の実施形態によれば、データストリームは、ピクセルの深度値と前記割当て深度値との間の差によって決定される残差を取得することによって深度データがコード化されるかどうかを示す、前記少なくとも1つのサブ画像のインジケータを備える。
本発明の別の特定の実施形態によれば、データストリームは、ビデオの少なくとも1つのビューのコード化されたデータをさらに備え、前記少なくとも1つのビューは、少なくとも1つのソースビューからのコード化において合成されたビューに対応する。
本発明による復号化方法、それぞれコード化方法は、様々な方法で、特にワイヤード形式またはソフトウェア形式で実装することができる。本発明の特定の実施形態によれば、復号化方法、それぞれコード化方法は、コンピュータプログラムによって実装される。本発明はまた、前記プログラムがプロセッサによって実行されるときに、前述の特定の実施形態のいずれか1つによる復号化方法またはコード化方法を実装するための命令を備えるコンピュータプログラムに関する。そのようなプログラムは、任意のプログラミング言語を使用することができる。通信ネットワークからダウンロードすること、および/またはコンピュータ可読媒体に記録することができる。
このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、または部分的にコンパイルされた形式や任意の他の所望の形式などの、ソースコードとオブジェクトコードとの間の中間コードの形式にすることができる。
本発明はまた、上記のようなコンピュータプログラムの命令を備えるコンピュータ可読ストレージ媒体またはデータ媒体に関する。上記の記録媒体は、プログラムを記憶することができる任意のエンティティまたはデバイスとすることができる。たとえば、媒体は、ROMなどのストレージ手段、たとえば、CD-ROMまたはマイクロ電子回路ROM、USBフラッシュドライブ、あるいは磁気記録手段、たとえば、ハードドライブを備えることができる。一方、記録媒体は、電気または光ケーブル、無線または他の手段を介して運ぶことができる、電気または光信号などの伝達可能な媒体に対応することができる。本発明によるプログラムは、特にインターネット型ネットワーク上にダウンロードすることができる。
あるいは、記録媒体は、プログラムが埋め込まれている集積回路に対応することができ、その回路は、問題の方法を実行するように、または実行に使用されるように適合されている。
本発明の他の特徴および利点は、単純な例示的な非限定的な例として提供される特定の実施形態の以下の説明、および添付の図面を読めば、より明確に明らかになるであろう。
マルチビューシーンキャプチャシステムの例を図式的に示す図である。 ビュー合成モジュールの入力/出力の例を示す図である。 パッチのコード化に基づくマルチビューエンコーダの例を図式的に示す図である。 本発明の特定の実施形態による、コード化方法のステップを示す図である。 コード化されるサブ画像をグループ化する画像の例を示す図である。 サブ画像と、図5に示される画像のサブ画像の有用なゾーンおよび有用でないゾーンを示す対応するバイナリマップとを備える画像の例を示す図である。 本発明の特定の実施形態による、パッチのテクスチャの有用でないゾーンの充填例を示す図である。 本発明の特定の実施形態による、パッチの深度の有用でないゾーンの充填例を示す図である。 本発明の特定の実施形態による、復号化方法のステップを示す図である。 本発明の別の特定の実施形態による、復号化方法のステップを示す図である。 本発明の別の特定の実施形態による、復号化方法のステップを示す図である。 本発明の特定の実施形態による、コード化デバイスのアーキテクチャの例を示す図である。 本発明の特定の実施形態による、復号化デバイスのアーキテクチャの例を示す図である。 本発明の特定の実施形態によるデータストリームの例を示す図である。
図4は、本発明の特定の実施形態による、マルチビュービデオを表す少なくとも1つのデータストリームをコード化するための方法のステップを示している。
本発明によれば、マルチビュービデオは、図3に関連して示されるようなコード化スキームに従ってコード化され、ここで、1つまたは複数の基本ビューがデータストリームにコード化され、テクスチャおよび深度データを備えるサブ画像またはパッチもまたデータストリームにコード化され、デコーダがデータストリームにコード化されていないシーンの他のビューを合成できるようにする。本発明の特定の実施形態に関連するそのようなコード化スキームのステップは、以下に説明される。
ここでは、たとえば、シーンが4つの視点V0～V3に従ってキャプチャされ、ビューの画像の各々に関連付けられる深度マップd0～d3は、以前に推定されたと見なされる。ここでは、ビューは、視点からキャプチャされたシーンを表す画像のシーケンスとして定義される。したがって、各ビューはビデオ、すなわち画像のシーケンスであり、ビューの画像ごとに深度マップが決定される。
ステップE40において、ビューV0～V3および関連付けられる深度マップd0～d3は、たとえば、HEVCエンコーダ、あるいは他の任意の適切な2Dまたはマルチビューエンコーダによってコード化および復号化される。これらのビューは基本ビューと見なされ、デコーダに送信される。これらは、デコーダ側において中間ビューを合成するために使用することができる。変形として、すべてのビューV0～V3がコード化されているわけではなく、たとえば1つのビューのみ、あるいは2つまたは3つのビューがコード化されてデコーダに送信され得る。
本発明の特定の実施形態によれば、ステップE40において、データストリームにコード化された基本ビューは、1つまたは複数のビューV0～V3から合成されたビューに対応する。
ステップE41において、中間ビューViは、デコーダに送信されるコード化されたビューを使用して合成される。典型的には、そのような中間ビューViは、テクスチャデータおよびテクスチャデータに関連付けられる深度データを備える。
ステップE42において、この中間ビューViおよびコード化/復号化された基本ビューから、1つまたは複数のゾーンが中間ビューViから抽出される。合成された中間ビューViの場合の方法がここに提示される。もちろん、いくつかの中間ビューが合成され、これらの中間ビューから1つまたは複数のゾーンが抽出されている場合、本方法は同じように適用される。
本発明の目的は、抽出されるゾーンを決定することではない。したがって、これらのゾーンを抽出するための方法はこれ以上開発されない。
抽出されたゾーンは、閉塞ゾーン、すなわち基本ビューにおいて表示されず、中間ビューにおいて表示されるゾーン、または基本ビューにはすでに存在するが、たとえば、合成時に現れる歪みのために合成されたビューにおいては不十分な合成品質を提供するゾーンに対応することができる。後者の場合、合成された中間ビューは、カメラによってキャプチャされたビューに対応する。ゾーンが抽出される中間ビューは、カメラによってキャプチャされるが、データストリームにコード化されていないビューにすることができる。したがって、デコーダ側において合成し、データストリームにコード化されたサブ画像によって洗練することができる。
抽出されたゾーンは、任意の形状のパッチの形式で表される。以降、これらのパッチをサブ画像と呼ぶ。サブ画像は、テクスチャデータ、深度データ、各ビュー内の位置、およびサイズを備える。
中間ビューの場合、中間ビューの同じ画像に対して1つまたは複数のサブ画像を抽出することができることが理解される。同様に、中間ビューから抽出された同じゾーンを表すサブ画像は、中間ビューの異なる画像に対して抽出することができる。このようにして、サブ画像のテクスチャおよび深度データは時間の経過とともに変化し、サブ画像のシーケンスを形成する。
中間ビューViの画像から抽出されたサブ画像P0～P5の例が図5に示されている。図5の例において、サブ画像は、それらのコード化を容易にするために長方形の画像50にグループ化されている。そのような画像の実施形態の変形に応じて、画像50は、中間ビューの異なる画像から、または単一の画像から、あるいは中間ビューViから抽出されたサブ画像から、また他の中間ビューから抽出されたサブ画像を備えることができることが理解される。
同様に、サブ画像は、長方形の画像にグループ化せずにコード化することができる。次いで、各サブ画像は、サブ画像が時間の経過とともに変化するときに、画像または画像のシーケンスとして扱われる。
図5において、中間ビューから抽出されたゾーンをコード化に適した形式(長方形または少なくとも四辺形)で表現すると、サブ画像は、抽出されたゾーンに対応し、中間ビューまたは他のビューの合成に使用される可能性が高い有用なデータ(51、図5における大きいハッチングのあるゾーン)と、0のテクスチャおよび深度データを備える有用でないデータ(52、図5における細かいハッチングのあるゾーン)を備えるように見える。
サブ画像の有用なデータは、サブ画像の1つのゾーンまたはサブ画像のいくつかのばらばらのゾーンに備えられ得、その結果、サブ画像は、合成に有用ないくつかのゾーンを備える。
本発明によるコード化方法は、有用でないゾーンのコード化コストを削減することを目的としている。
以下、サブ画像が大きい画像50にグループ化されていると考えられる場合の本発明を説明する。しかしながら、本発明の一般原理は、サブ画像が大きい画像にグループ化されず、個別に処理される場合と同様の方法で適用される。
ステップE42において、サブ画像がコード化される。この目的のために、本発明によれば、サブ画像をコード化するための2つの方法を使用することができる。所与のサブ画像に対して、最高のレート/歪みの妥協点を提供するコード化方法を選択するために、2つのコード化方法間の競合が実装される。サブ画像に対して、どのコード化方法が使用されているかを示すために、インジケータがストリームにコード化される。
2つのコード化方法を以下に説明する。
第1のコード化方法によれば、サブ画像は、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属する(たとえば、ピクセルはバイナリマップの値1を取る)か、有用なゾーンに属さない(たとえば、ピクセルはバイナリマップで値0を取る)かを示すバイナリマップを使用してコード化される。
図6は、サブ画像、および図5に示される画像50のサブ画像の有用な(51、テクスチャ画像50textにおけるハッチングゾーン)ゾーンと有用でない(52、テクスチャ画像50textにおける白いゾーン)ゾーンを示す対応するバイナリマップ(50bin)を備える画像(50text)の例を示している。この第1のコード化方法によれば、有用なゾーンに位置するピクセルのテクスチャおよび深度データのみがコード化されてデコーダに送信され、関連付けられるバイナリマップがサブ画像のすべてのピクセルに対してコード化される。
ここで、たとえば0などの、問題のピクセルが有用でないことを指定するあらかじめ定義された値をテクスチャデータにおける参照として使用することはできない点に注意されたい。実際、テクスチャを符号化および復号化した後、ピクセル値は保証されず、ゼロではなくなる可能性がある。さらに、有用なゾーンに属するピクセルには、他のヌル値が表示される場合がある。
第2のコード化方法によれば、サブ画像は、テクスチャデータおよび深度データの両方の有用でないゾーンを埋めることによってコード化される。次いで、サブ画像は、サブ画像のすべてのピクセルをコード化することによって、標準的な方法でコード化される。
この目的のために、ステップE420において、サブ画像をコード化するために使用されるコード化方法は、上記の第1の方法と第2の方法との間で決定される。たとえば、2つの方法間のコード化競合が実装され、最高のレート/歪みの妥協点を提供する方法が選択される。知られている方法では、そのような競合は、2つの方法に従ってそれぞれコード化をシミュレートし、各方法によって使用されるレートと、テクスチャおよび/または深度データの元の値と再構築された値との間で計算された関連付けられる歪みとを計算することによって実行される。
ステップE421において、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータが、データストリームにコード化される。インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、方法はステップE422に進む。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、方法はステップE424に進む。
ステップE422において、サブ画像のバイナリマップがコード化される。たとえば、エントロピコード化が使用される。
ステップE423において、テクスチャデータおよび深度データは、サブ画像の有用なゾーンに位置するピクセルのみを考慮して、サブ画像用にコード化される。これらのピクセルは、バイナリマップを使用して識別される。テクスチャデータおよび深度データは、標準的な方法で、たとえば、HEVCエンコーダあるいは任意の他の2Dまたは3Dエンコーダによってコード化される。
ステップE424において、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、割当て深度値d*が決定される。
たとえば、割当て深度値d*は、少なくともサブ画像の有用なゾーンにわたって決定された最小深度値dminから決定され、あらかじめ定められた値デルタだけ減少される。最小深度値dminは、有用なゾーンに属するサブ画像のピクセルの最小深度値、すなわち、有用なゾーンに属するサブ画像のピクセルの深度に対応し、最も遠い値はdmin=min(di)であり、ここで、diは有用なゾーンのピクセルの深度値に対応し、minは最小値を返す関数に対応する。
この最小値dminは、深度値をコード化する際に導入される量子化エラーを考慮して、値デルタだけ減少する。たとえば、割当て値d*は、d*=dmin-deltaによって取得される。
デルタの様々な値が可能であり、たとえば、デルタは10に等しい。
本発明の特定の実施形態によれば、最小深度値は、いくつかのサブ画像の有用なゾーンから決定される。たとえば、サブ画像が大きい画像にグループ化されている場合、大きい画像のすべてのサブ画像間の最小深度値を決定するために、すべてのサブ画像の有用なゾーンがスキャンされる。本発明のそのような特定の実施形態は、大きい画像のすべてのサブ画像に対してより一貫した割当て深度値を可能にする。
ステップE425において、割当て深度値d*は、有用なゾーンの外側に位置するピクセルに深度値として割り当てられる。そのようなステップは、サブ画像の深度データを表す図8に示されている。有用なゾーン(51)のピクセルは、中間ビューから有用なゾーンを抽出する際にこれらのピクセルについて推定された深度値を備える。有用でないゾーン(52)のピクセルは、割当て深度値d*を備える。
ステップE426において、テクスチャ値は、有用なゾーンの外側に位置するピクセルにも割り当てられる。
たとえば、有用でないゾーンはミラーリングによって埋められる。図7に示されるように、有用なゾーンの外側のピクセルのテクスチャ値は、有用なゾーンに存在するデータを最もよく再現するように計算される。図7において、サブ画像が示されている。有用なゾーン(51)のデータは、有用なゾーンと有用でないゾーンとの間の境界(53)に対して対称的に有用でないゾーン(52)に伝播される。
別の例によれば、有用なゾーンの外側(52)に位置するピクセルのテクスチャ値は、有用なゾーン(51)のピクセルのテクスチャ値の平均に対応する。この例では、有用でないゾーンのピクセルは同じ値で埋められている。
ステップE427において、サブ画像のテクスチャデータおよび深度データは、サブ画像のすべてのピクセルを考慮してコード化される。言い換えれば、この第2のコード化方法によれば、有用なゾーンのピクセルおよび有用でないゾーンのピクセルがコード化される。テクスチャデータおよび深度データは、標準的な方法で、たとえば、HEVCエンコーダあるいは任意の他の2Dまたは3Dエンコーダによってコード化される。
本発明の特定の実施形態によれば、深度データは、割当て深度値d*に関して差分コード化される。本発明のこの特定の実施形態によれば、次いで、予測残差はres(x、y)=prof(x、y)-d*によって計算され、上式で、prof(x、y)はサブ画像のピクセル(x、y)の深度値であり、res(x、y)は、サブ画像のピクセル(x、y)の残差値である。
したがって、サブ画像の深度データをコード化する場合、コード化されるのは上記のような残差である。
本発明のこの特定の実施形態によれば、デコーダが残差からサブ画像の深度データを再構築するために、デコーダは割当て深度値d*を認識している必要がある。
したがって、本発明のこの特定の実施形態によれば、ステップE428において、割当て深度値d*がデータストリームにコード化される。
本発明のこの特定の実施形態の変形によれば、深度データの差分コード化は、深度データの従来のコード化と競合して配置される。したがって、この変形によれば、ステップE420において、第2の方法に従ってサブ画像コード化をテストする際に、この第2のコード化方法による深度データが残差によってコード化されるかどうかも決定される。最高のレート/歪みの妥協点を提供するコード化モードを選択するために、深度データの残差ベースのコード化と深度データの従来のコード化がシミュレートされる。
本発明のこの実施形態の変形によれば、深度データのどのコード化モードが選択されるかを示す情報の項目は、データストリームにコード化される必要がある。したがって、ステップE429において、深度データコード化インジケータは、サブ画像のデータストリームにコード化される。そのようなインジケータは、深度データが残差によってコード化されているかどうかを示す。
図9は、本発明の特定の実施形態による、マルチビュービデオを表すデータストリームを復号化するための方法のステップを示している。たとえば、データストリームは、図4に関連して説明したコード化方法によって生成された。
本発明によれば、データストリームは、マルチビュービデオの1つまたは複数の基本ビューのコード化に関連する少なくともコード化されたデータと、テクスチャおよび深度データを備えるサブ画像またはパッチを表すコード化されたデータとを備える。復号化されると、これらのサブ画像は、たとえば、デコーダがデータストリームにコード化されていないシーンの他のビューを合成できるようにする。本発明の特定の実施形態に関連するそのような復号化スキームのステップは、以下に説明される。
ステップE90において、基本ビューと関連付けられる深度マップとは、データストリームから復号化される。
本発明の特定の実施形態によれば、データストリームから復号化された基本ビューは、1つまたは複数のキャプチャされたビューからエンコーダにおいて合成されたビューに対応する。
次いで、データストリームにコード化されたサブ画像が復号化される。サブ画像は、ここでは、中間ビューからエンコーダにおいて抽出された有用なゾーンを表すサブ画像として定義される。このサブ画像は、より大きい画像における他のサブ画像とグループ化することができる。
ステップE91において、サブ画像が上記の第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータが復号化される。
インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、その方法はステップE92に進む。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、その方法はステップE94に進む。
ステップE92において、バイナリマップがサブ画像用に復号化される。そのようなバイナリマップは、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属しているかどうかを示す。
ステップE93において、サブ画像のテクスチャデータおよび深度データは、サブ画像の有用なゾーンに位置するピクセルのみを考慮して復号化および再構築される。これらのピクセルは、バイナリマップを使用して識別される。
再構築の最後に、有用なゾーンの外側に位置するサブ画像のピクセルは、テクスチャ値および深度値0を備える。
インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、ステップE94において、サブ画像のテクスチャデータおよび深度データは、以下のように復号化される。
ステップE940において、サブ画像のテクスチャデータおよび深度データは、サブ画像のすべてのピクセルを考慮した標準的な方法で復号化および再構築される。再構築の最後に、サブ画像のすべてのピクセルはテクスチャ値および深度値を備える。有用なゾーンの外側に位置するサブ画像のピクセルは、コード化中に決定されたテクスチャ値および深度値を備える。
本発明の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、デコーダは、サブ画像の有用なゾーンと有用でないゾーンとを区別しない。
しかしながら、サブ画像の有用でないゾーンのピクセルの復号化された深度値により、合成アルゴリズムは、中間ビューを合成する際にこれらのピクセルを使用しないようになる。実際、本発明の特定の実施形態によれば、そのようなピクセルには、サブ画像のゾーンの最小深度値から決定された深度値が割り当てられ、量子化エラーを考慮に入れることができる値だけ減少した。このように、これらのピクセルは、合成アルゴリズムによって最も遠いポイントと見なされる。
本発明の別の特定の実施形態によれば、ステップE941において、サブ画像の有用なゾーンの外側に位置するピクセルにコード化時に割り当てられた割当て深度値d*を表す情報の項目は、データストリームから復号化される。
本発明のこの特定の実施形態によれば、したがって、たとえば、そのようなマップが合成アルゴリズムに必要である場合に、有用なゾーンのピクセルおよび有用でないゾーンのピクセルを識別するために、サブ画像に対してバイナリマップを構築することができる。
この特定の実施形態の変形として、サブ画像の深度データは、割当て深度値d*に関して差分コード化された。
したがって、この実施形態の変形によれば、ステップE943において、サブ画像の深度データは、ステップE940において復号化されたサブ画像の深度残差値に復号化された割当て深度値d*を追加することによって再構築される。
別の変形によれば、ステップE942において、サブ画像の深度データコード化インジケータがデータストリームから復号化される。そのようなコード化インジケータは、深度データが差分コード化されているかどうかを示す。
本発明の特定の実施形態によれば、デコーダはクライアントサーバモードで動作し、サーバは視聴者がナビゲートしているマルチビュービデオのデータを提供する。
本発明のこの特定の実施形態によれば、復号化方法は、サブ画像のテクスチャデータおよび深度データを受信するための予備ステップE901を備える。たとえば、サブ画像のそのようなデータは、デコーダによって発行された、ビューイングボリュームにおける視聴者の位置および視聴方向に対応する位置および視聴方向、または視聴者に近い位置および視聴方向の要求に続いて受信される。
図10は、本発明の別の特定の実施形態による復号化方法のステップを示している。本発明のこの特定の実施形態によれば、合成アルゴリズムが有用なゾーンと有用でないゾーンを識別できるように、有用なゾーンに属さない再構築されたサブ画像のピクセルの深度値に無限の値が割り当てられる。
この目的のために、ステップE100において、再構築されたサブ画像の有用なゾーンが決定される。ステップE91において復号化されたインジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンは、再構築された深度データおよび復号化された割当て深度値d*から決定される。ステップE91において復号化されたインジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、有用なゾーンは、ステップE92において復号化されたバイナリマップから決定される。
ステップE101において、サブ画像の深度マップが構築され、そこで、有用なゾーンのピクセルがそれらの復号化された深度値を取り、有用なゾーンの外側に位置するピクセルに無限の値が割り当てられる。
ステップE102において、深度マップが合成モジュールに送信される。
図11は、本発明の別の特定の実施形態による復号化方法のステップを示している。
ステップE91において復号化されたインジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、ステップE110において、有用なゾーンのピクセルは、再構築された深度データおよび復号化された割当て深度値d*から決定される。
ステップE111において、サブ画像用にバイナリマップが構築される。そのようなバイナリマップは、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属しているかどうかを示す。そのようなバイナリマップは、サブ画像が第1の方法に従ってコード化されていた場合に復号化されたであろうバイナリマップに似ている。
ステップE112において、バイナリマップが合成モジュールに送信される。
図12は、本発明の特定の実施形態のいずれか1つによるコード化方法を実装するように適合されたコード化デバイスCODの簡略化された構造を示している。
本発明の特定の実施形態によれば、コード化方法のステップは、コンピュータプログラム命令によって実装される。この目的のために、コード化デバイスCODは、コンピュータの標準アーキテクチャを有し、特に、メモリMEM、たとえばプロセッサPROCを備え、メモリMEMに記憶されたコンピュータプログラムPGによって駆動される処理ユニットUTを備える。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行されるときに、上記のようなコード化方法のステップを実装するための命令を備える。
初期化時に、コンピュータプログラムPGのコード命令は、たとえば、プロセッサPROCによって実行される前に、RAMメモリ(図示せず)にロードされる。具体的には、処理ユニットUTのプロセッサPROCは、コンピュータプログラムPGの指示に従って、上記のコード化方法のステップを実装する。
図13は、本発明の特定の実施形態のいずれか1つによる復号化方法を実装するように適合された復号化デバイスDECの簡略化された構造を示している。
本発明の特定の実施形態によれば、復号化デバイスDECは、コンピュータの標準アーキテクチャを有し、特に、メモリMEM0、たとえばプロセッサPROC0を備え、メモリMEM0に記憶されたコンピュータプログラムPG0によって駆動される処理ユニットUT0を備える。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行されるときに、上記のような復号化方法のステップを実装するための命令を備える。
初期化時に、コンピュータプログラムPG0のコード命令は、たとえば、プロセッサPROC0によって実行される前に、RAMメモリ(図示せず)にロードされる。具体的には、処理ユニットUT0のプロセッサPROC0は、コンピュータプログラムPG0の命令に従って、上記の復号化方法のステップを実装する。
図14は、本発明の特定の実施形態によるデータストリームSTRの例を示している。たとえば、データストリームSTRは、図4に関連して説明したコード化方法によって生成される。
図14を参照すると、データストリームSTRは、マルチビュービデオを表し、具体的には、1つまたは複数の基本ビューを表すコード化されたデータVbと、テクスチャデータ(text0、text1)および前記テクスチャデータに関連付けられる深度データ(dpth0、dpth1)を備える少なくとも1つのサブ画像を表すコード化されたデータとを備える。
本発明の特定の実施形態によれば、データストリームにコード化された基本ビューは、シーンの少なくとも1つのソースビューからのコード化において合成されたビューに対応する。
図14に示されるデータストリームSTRは、説明のための例である。ここでは、2つのサブ画像(Im0、Im1)を備えるように提示されている。データストリームに備えられるサブ画像は、マルチビュービデオによってキャプチャされたシーンの少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される有用なゾーンを備える。
本発明の様々な特定の実施形態に応じて、データストリームSTRは、サブ画像について以下のデータを備える。
- サブ画像が上記の第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータ(Id_meth0、Id_meth1)、
- インジケータが、サブ画像が第1の方法(ここで説明する例におけるId_meth1)に従ってコード化されていることを示す場合、サブ画像の所与のピクセルについて、前記ピクセルが有用なゾーンに属しているかどうかを示すバイナリマップ(valid1)を表すコード化されたデータ。
本発明の特定の実施形態によれば、インジケータが、サブ画像が第2の方法(ここで説明する例におけるId_meth0)に従ってコード化されていることを示す場合、データストリームSTRは、割当て深度値d*を表す情報の項目を備える。
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、データストリームSTRは、ピクセルの深度値と割当て深度値d*との間の差によって決定される残差を取得することによって深度データがコード化されるかどうかを示すサブ画像のコード化インジケータ(ld_res)を備える。
上記の例は、単なる例示であり、非制限的なものである。上記のコード化されたデータは、同じデータストリーム、あるいは同じデータストリームの複数のデータストリームまたはサブストリームに備えることができる。また、上記のデータの一部および説明されていない他のデータは、1つまたは複数のデータストリームに関連付けられるメタデータに備えることができる。
たとえば、テクスチャデータおよび深度データを別々のストリームにコード化することができる。
別の例によれば、基本ビューのコード化されたデータは、ビデオデータストリームに備えることができ、サブ画像に関連するコード化されたデータは、ビデオデータストリームに関連付けられるメタデータに備えることができる。
50 画像
51 有用なデータ、有用なゾーン
52 有用でないデータ、有用でないゾーン
53 境界

Claims (15)

  1. マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法であって、前記少なくとも1つデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれる少なくとも1つのゾーンと、有用でないゾーンと呼ばれる1つのゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化方法が、
    - 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
    - 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化するステップと、
    - 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、ステップと
    を備える、方法。
  2. マルチビュービデオを表すデータストリームをコード化するための方法であって、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記少なくとも1つのサブ画像をコード化するステップが、
    - 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
    - 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
    - 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化するステップと、
    - 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定するステップと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てるステップと、
    - 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップとを備える、方法。
  3. 前記割当て深度値が、少なくとも前記サブ画像の前記有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される、請求項2に記載のコード化方法。
  4. 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目を復号化またはコード化するステップをさらに備え、前記割当て深度値0が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記復号化またはコード化された深度値に対応する、請求項1に記載の復号化方法または請求項2もしくは3に記載のコード化方法。
  5. 前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項4に記載の方法。
  6. 前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータを復号化またはコード化するステップを備える、請求項5に記載の方法。
  7. - 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、または、前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記復号化されたバイナリマップから、前記有用なゾーンを決定するステップと、
    - 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
    - 前記深度マップを合成モジュールに送信するステップと
    をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
  8. 前記サブ画像が前記第2の方法に従ってコード化されていることを前記インジケータが示す場合、
    - 前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
    - 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
    - 前記バイナリマップを合成モジュールに送信するステップと
    をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
  9. 少なくとも2つの有用なゾーンがそれぞれ少なくとも2つのサブ画像に属し、前記少なくとも1つのビューの前記少なくとも1つの画像を生成するために使用されることが意図された前記少なくとも2つの有用なゾーンが、前記データストリームにコード化され、前記最小深度値が、前記少なくとも2つの有用なゾーンの各有用なゾーンから決定される、請求項3に記載の方法。
  10. 前記少なくとも1つのデータストリームが、前記ビデオの少なくとも1つのビューのコード化されたデータを備え、前記少なくとも1つのビューが、少なくとも1つのソースビューからのコード化において決定されたビューに対応する、請求項1から9のいずれか一項に記載の方法。
  11. 前記サブ画像の前記テクスチャデータおよび前記深度データを受信するステップをさらに備え、前記サブ画像が、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる、請求項1または4から10のいずれか一項に記載の復号化方法。
  12. マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスであって、前記少なくとも1つのデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化デバイスが、
    - 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
    - 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化することと、
    - 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、復号化することと
    を行うように構成される、デバイス。
  13. マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するように構成され、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、
    - 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
    - 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
    - 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化することと、
    - 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てることと、
    - 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
    を備える、デバイス。
  14. マルチビュービデオを表すデータストリームであって、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと、前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記データストリームが、
    - 前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
    - 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
    - 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、深度値を備える、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データと
    を備える、データストリーム。
  15. 請求項1もしくは4から10のいずれか一項に記載の復号化方法を実装するための命令、および/または、請求項2から6または9もしくは10のいずれか一項に記載のコード化方法を実装するための命令を備えるコンピュータプログラムであって、前記プログラムがプロセッサによって実行される、コンピュータプログラム。
JP2021555500A 2019-03-15 2020-02-27 マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス Pending JP2022525210A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1902659A FR3093884A1 (fr) 2019-03-15 2019-03-15 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
FR1902659 2019-03-15
PCT/FR2020/050394 WO2020188172A1 (fr) 2019-03-15 2020-02-27 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Publications (1)

Publication Number Publication Date
JP2022525210A true JP2022525210A (ja) 2022-05-11

Family

ID=67262654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021555500A Pending JP2022525210A (ja) 2019-03-15 2020-02-27 マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス

Country Status (8)

Country Link
US (2) US11659203B2 (ja)
EP (1) EP3939304A1 (ja)
JP (1) JP2022525210A (ja)
KR (1) KR20210135322A (ja)
CN (1) CN113785585B (ja)
BR (1) BR112021017084A2 (ja)
FR (1) FR3093884A1 (ja)
WO (1) WO2020188172A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727105B (zh) * 2021-09-08 2022-04-26 北京医百科技有限公司 一种深度图压缩方法、装置、系统及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3007440A1 (en) * 2007-12-20 2016-04-13 Koninklijke Philips N.V. Image encoding method for stereoscopic rendering
BR112012008988B1 (pt) * 2009-10-14 2022-07-12 Dolby International Ab Método, meio legível não transitório e aparelho para processamento de mapa de profundidade
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
EP2777256B1 (en) * 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
JP2013106337A (ja) * 2011-11-17 2013-05-30 Sharp Corp 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
US9565450B2 (en) * 2012-03-07 2017-02-07 Lg Electronics Inc. Method and device for processing video signal
CN105009576B (zh) * 2013-03-13 2018-12-14 华为技术有限公司 深度查询表的编码方法
CN105165008B (zh) * 2013-05-10 2017-11-21 皇家飞利浦有限公司 对与多视图再现设备一起使用的视频数据信号进行编码的方法
KR20150026924A (ko) * 2013-09-02 2015-03-11 (주)휴맥스 홀딩스 3차원 비디오에서의 깊이 쿼드트리 예측 방법 및 장치
WO2015042751A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
KR101465663B1 (ko) * 2013-12-19 2014-11-28 성균관대학교산학협력단 압축 센싱을 사용하는 깊이 맵 부복호화 방법 및 장치
CN104754359B (zh) * 2015-01-26 2017-07-21 清华大学深圳研究生院 一种二维自由视点视频的深度图编码失真预测方法
CN105049866B (zh) * 2015-07-10 2018-02-27 郑州轻工业学院 基于绘制失真模型的多视点加深度编码的码率分配方法
EP3662669A1 (en) * 2017-12-08 2020-06-10 Huawei Technologies Co., Ltd. Frequency adjustment for texture synthesis in video coding
US11348284B2 (en) * 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression

Also Published As

Publication number Publication date
CN113785585A (zh) 2021-12-10
BR112021017084A2 (pt) 2021-11-16
FR3093884A1 (fr) 2020-09-18
KR20210135322A (ko) 2021-11-12
CN113785585B (zh) 2024-04-09
US11659203B2 (en) 2023-05-23
WO2020188172A1 (fr) 2020-09-24
EP3939304A1 (fr) 2022-01-19
US20220167014A1 (en) 2022-05-26
US20230308682A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
US11523135B2 (en) Apparatus, a method and a computer program for volumetric video
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
US11659151B2 (en) Apparatus, a method and a computer program for volumetric video
US20230068178A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR20160107265A (ko) 완전 시차 압축 라이트 필드 3d 촬상 시스템을 위한 방법
EP2150065A2 (en) Method and system for video rendering, computer program product therefor
US11394946B2 (en) Video transmitting method, video transmitting apparatus, video receiving method, and video receiving apparatus
HUE026534T2 (en) Hybrid video encoding to support intermediate view synthesis
US11651523B2 (en) Apparatus, a method and a computer program for volumetric video
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
CN112075081A (zh) 多视图视频解码方法和设备以及图像处理方法和设备
CN114097247A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备、以及点云数据接收方法
US20230308682A1 (en) Methods and devices for coding and decoding a multi-view video sequence
KR102394716B1 (ko) 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
EP4240016A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2020005201A (ja) 送信装置及び受信装置
JP2023522456A (ja) マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス
EP4032314A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN112806015A (zh) 全向视频的编码和解码
WO2019234290A1 (en) An apparatus, a method and a computer program for volumetric video
KR20230078669A (ko) 다시점 비디오의 인코딩 및 디코딩 방법
CN117043820A (zh) 沉浸式视频上下文中的深度估计方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240304