JP2022503963A

JP2022503963A - 全方位映像の符号化及び復号

Info

Publication number: JP2022503963A
Application number: JP2021517806A
Authority: JP
Inventors: ジョエル・ジュン
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2018-10-01
Filing date: 2019-09-25
Publication date: 2022-01-12
Also published as: FR3086831A1; US20210409766A1; US11973981B2; EP3861751A1; CN112806015B; US20230239503A1; KR20210066825A; CN112806015A; BR112021005927A2; WO2020070409A1; US11653025B2

Abstract

本発明は、多数のビューのうちのビューの画像（ＩＶ_ｋ）を符号化するためのプロセスであって、次のステップ、すなわち、上記画像からの画像データを符号化するために第１の符号化方法又は第２の符号化方法を選択すること（Ｃ１）と、選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報（ｆｌａｇ＿ｐｒｏｃ）を含むデータ信号を生成すること（Ｃ１０、Ｃ１２ａ；Ｃ１０、Ｃ１２ｂ；Ｃ１０、Ｃ１２ｃ）と、第１の符号化方法である場合は、符号化済みのオリジナルデータを提供するために、オリジナル画像データを符号化すること（Ｃ１１ａ）と、第２の符号化方法である場合は、処理済み且つ符号化済みのデータを提供するために、オリジナル画像データの画像処理によって得られた上記画像からの処理済みの画像データを符号化すること（Ｃ１１ｂ）と、適用された画像処理について説明する情報を符号化すること（Ｃ１１ｂ）とを含む、プロセスに関する。

Description

本発明は、概して、全方位映像の分野に関し、具体的には、３６０°、１８０°などの映像に関する。より具体的には、本発明は、そのような映像を生成するために捕捉された３６０°、１８０°などのビューの符号化及び復号と、非捕捉中間視点の合成とに関する。

本発明は、特に（ただし、排他的ではない）、現在のＡＶＣ及びＨＥＶＣ映像コーダ並びにそれらの拡張（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）において実施される映像符号化並びに対応する映像復号に適用することができる。

全方位映像（例えば、３６０°映像など）を生成するため、３６０°カメラを使用することは一般的なことである。そのような３６０°カメラは、球形プラットフォームに設置された多数の２Ｄ（二次元）カメラで形成されている。各２Ｄカメラは、３Ｄ（三次元）シーンの特定の角度を捕捉し、カメラによって捕捉されたビューのセットにより、３６０°×１８０°視野の３Ｄシーンを表す映像の生成が可能になる。また、単一の３６０°カメラを使用して３６０°×１８０°視野の３Ｄシーンを捕捉することも可能である。当然ながら、そのような視野は、より小さなもの（例えば、２７０°×１３５°）であり得る。

次いで、そのような３６０°映像により、ユーザは、まるでユーザがその中心に位置付けられているかのようにシーンを見たり、ユーザの周囲全体を（３６０°にわたって）見渡したりすることができ、それにより、新しい映像鑑賞方法が提供される。そのような映像は、一般に、「頭部装着型デバイス」に相当するＨＭＤとしても知られているバーチャルリアリティヘッドセットにおいて再生される。しかし、それらの映像は、適切なユーザ対話手段が装備された２Ｄスクリーン上に表示することもできる。３６０°シーンを捕捉するための２Ｄカメラの数は、使用されるプラットフォームによって異なる。

３６０°映像を生成するため、様々な２Ｄカメラによって捕捉された多様なビューは、パノラマ２Ｄ画像を作成するために、ビュー間の重複を考慮した上で、端と端をつなげて並べられる。このステップは、「スティッチング」としても知られている。例えば、正距円筒投影（ＥＲＰ）は、そのようなパノラマ画像を得るための考えられる投影の１つである。この投影によれば、２Ｄカメラの各々によって捕捉されたビューは、球面に投影される。キューブマッピングタイプの投影（立方体の面への投影）など、他のタイプの投影も可能である。次いで、表面に投影されたビューは、２Ｄパノラマ画像を得るために２Ｄ平面に投影され、２Ｄパノラマ画像は、所定の時刻における捕捉されたシーンのビューのすべてを含むものである。

没入感を増大させるため、前述のタイプの多数の３６０°カメラを同時に使用してシーンを捕捉することができ、これらのカメラは、任意の方法でシーンに位置付けられる。３６０°カメラは、実際のカメラ（すなわち、物理的物体）でも、バーチャルカメラでもよく、バーチャルカメラの場合は、ビューは、ビュー生成ソフトウェアによって得られる。具体的には、そのようなバーチャルカメラは、実際のカメラによって捕捉されなかった３Ｄシーンの視点を表すビューの生成を可能にする。

次いで、単一の３６０°カメラを使用して得られた３６０°ビューの画像又は多数の３６０°カメラ（実際のカメラ及びバーチャルカメラ）を使用して得られた３６０°ビューの画像は、例えば、
－従来の２Ｄ映像コーダ（例えば、ＨＥＶＣ（「高効率映像符号化」の略語）規格に適合するコーダ）
－従来の３Ｄ映像コーダ（例えば、ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣ規格に適合するコーダ）
を使用して符号化される。

そのようなコーダは、多数の３６０°ビューの画像及びそのような３６０°ビューを使用した３Ｄシーンの３６０°表現の特定の幾何学が符号化されることは言うまでもなく、１つの３６０°ビューにおいて非常に大量のデータの画像が符号化されることを考慮すると、圧縮の観点から十分に効率的とは言えない。その上、３６０°カメラの２Ｄカメラによって捕捉されたビューは多様であるため、これらのコーダによってインター画像予測はほとんど又は全く使用されないことを理由に、前述のコーダは、３６０°ビューの異なる画像の符号化には適さない。特に、２つの２Ｄカメラによってそれぞれ捕捉された２つのビューの間では、予測できる同様のコンテンツはほとんどない。従って、３６０°ビューの画像はすべて、同じ方法で圧縮される。具体的には、これらのコーダでは、符号化予定の現在の３６０°ビューの画像に関して、符号化に次いで復号されるビューのこの画像を使用することになる非捕捉中間ビュー画像の合成の一環として、この画像のデータのすべてを符号化することが理にかなっているか又はこの画像のデータのほんの一部を符号化することが理にかなっているかを判断するための分析は実行されない。

本発明の目的の１つは、前述の先行技術の欠点を修正することである。

その目的のため、本発明の一対象は、符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－第２の符号化方法が選択された場合は、
－ビューの画像の処理済みのデータを符号化することであって、これらのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－適用された画像処理の説明情報を符号化することと
を含む、方法であり、
－生成されたデータ信号が、
－第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、方法に関する。

本発明により、前述のタイプの符号化予定の現在のビューからの多数の画像の中から（上記画像は、符号化予定の延いては信号伝達予定の非常に大量のデータを表す）、符号化予定の各ビューの各画像に対して、２つの符号化技法、すなわち、
－第１の符号化技法（それにより、１つ又は複数のビューの画像が従来方式（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）で符号化され、非常に優れた品質のビューを形成する再構築済みの画像がそれぞれ得られる）
－第２の革新的な符号化技法（それにより、１つ又は複数の他のビューの画像の処理済みのデータが符号化され、処理済みの画像データが復号側で得られる。従って、処理済みの画像データは、これらの画像のオリジナルデータとは一致しないが、これらの画像の処理済み且つ符号化済みのデータの信号伝達コストがかなり減少するという利益が得られる）
を組み合わせることが可能である。

その結果、他の各ビューの各画像に対して復号側で得られるもの（第２の符号化方法に従って符号化された処理済みのデータ）は、ビューの画像の対応する処理済みのデータと、符号化側でビューの画像のオリジナルデータに適用された画像処理の説明情報である。次いで、そのような処理済みのデータは、ビューの画像を形成するために対応する画像処理説明情報を使用して処理することができ、そのビューにより、従来の第１の復号方法に従って再構築されたビューの画像の少なくとも１つと共に使用して、特に効率的且つ効果的な方法での非捕捉中間ビューの画像の合成が可能になる。

また、本発明は、復号デバイスによって実施される、多数のビューのビュー形成部分の画像を表すデータ信号を復号するための方法であって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－データ信号に基づいて、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－第１の復号方法である場合は、
－データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－第２の復号方法である場合は、
－データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を含む、方法にも関する。

特定の一実施形態によれば、
－ビューの画像の処理済みのデータは、ビューの画像のクロッピングの適用後の削除されなかったビューの画像のデータである。
－画像処理の説明情報は、ビューの画像における１つ又は複数のクロッピング済みの領域の場所についての情報である。

上記ビューの画像に適用されるそのようなクロッピング処理により、そのオリジナルデータの一部分の符号化を回避することができ、クロッピングされた１つ又は複数の領域に属するデータは符号化もデコーダへの信号伝達も行われないという理由で、上記ビューの画像と関連付けられた符号化済みのデータの伝送レートがかなり減少するという利益が得られる。レートの減少は、クロッピングされる１つ又は複数の領域のサイズに依存する。従って、復号後に再構築され、次いで、潜在的には、対応する画像処理説明情報を使用してその処理済みのデータが処理されることになるビューの画像は、そのオリジナルデータのすべてを含むものではないか、又は、少なくともビューのオリジナル画像とは異なるものである。しかし、このようにクロッピングされたビューのそのような画像を得ることにより、再構築された時点で、上記クロッピング済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、上記ビューの画像及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。

別の特定の実施形態によれば、
－ビューの画像の処理済みのデータは、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われたビューの画像の少なくとも１つの領域のデータである。
－画像処理の説明情報は、ビューの画像における少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。

そのような処理は、この場合も、サンプリングの適用に次いで符号化されることから生じるデータのレートの減少を最適化することを目的として、上記ビューの画像の均一デグラデーションに助力する。このようにサンプリングされたビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オリジナルデータはサンプリングに次いで符号化されている）、上記サンプリング済み且つ再構築済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、これらの１つ又は複数の従来方式で再構築された画像において、上記ビューの画像のフィルタリング済みの領域に対応するオリジナル領域を回収することができる。

別の特定の実施形態によれば、
－ビューの画像の処理済みのデータは、フィルタリングが行われたビューの画像の少なくとも１つの領域のデータである。
－画像処理の説明情報は、ビューの画像における少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。

そのような処理は、符号化済みのデータのレートの減少を最適化することを目的として、符号化に不要と考えられる上記ビューの画像のデータの削除に助力し、符号化済みのデータは、有利には、画像のフィルタリング済みのデータのみで形成される。

このようにフィルタリングされたビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オリジナルデータはフィルタリングに次いで符号化されている）、上記フィルタリング済み且つ再構築済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、上記ビューの画像のフィルタリング済みの領域及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。

別の特定の実施形態によれば、
－ビューの画像の処理済みのデータは、多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応するビューの画像の画素である。
－画像処理の説明情報は、別のビューの画像に見られるビューの画像の画素のインジケータを含む。

先行する実施形態と同様に、そのような処理は、符号化済みのデータのレートの減少を最適化することを目的として、符号化に不要と考えられる上記ビューの画像のデータの削除に助力し、符号化済みのデータは、有利には、上記ビューの画像の画素のみで形成され、その欠如は、上記多数のビューのうちの現在のビューの別の画像において検出されている。

ビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オクルージョン領域のみが符号化されている）、上記ビューのそのような再構築済みの画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、現在のビューの画像及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。

別の特定の実施形態によれば、
－符号化／復号されたビューの画像の処理済みのデータは、
－ビューの画像のオリジナルデータに基づいて、
－第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
－潜在的には、処理済みのデータが第２の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
計算された画素である。
－上記画像処理の説明情報は、
－計算されたビューの画像の画素のインジケータ、
－第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報、
－潜在的には、処理済みのデータが符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報
を含む。

別の特定の実施形態によれば、第１のビューの画像の処理済みのデータ及び少なくとも１つの第２のビューの画像の処理済みのデータは、単一の画像に組み合わされる。

上記の実施形態に応じて、第２の復号方法に従って得られるビューの画像の処理済みのデータは、第１のビューの画像の処理済みのデータ及び少なくとも１つの第２のビューの画像の処理済みのデータを含む。

特定の一実施形態によれば、
－ビューの画像の処理済み且つ符号化／復号済みのデータは、画像タイプのデータである。
－画像処理の符号化／復号済みの説明情報は、画像タイプ及び／又はテキストタイプのデータである。

また、本発明は、多数のビューのビュー形成部分の画像を符号化するためのデバイスであって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、符号化デバイスであり、現在の時刻において、
－ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－第２の符号化方法が選択された場合は、
－ビューの画像の処理済みのデータを符号化することであって、処理済みのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－適用された画像処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－生成されたデータ信号が、
－第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、符号化デバイスにも関する。

そのような符号化デバイスは、具体的には、前述の符号化方法を実施することができる。

また、本発明は、多数のビューのビュー形成部分の画像を表すデータ信号を復号するためのデバイスであって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、復号デバイスであり、現在の時刻において、
－データ信号において、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－第１の復号方法である場合は、
－データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－第２の復号方法である場合は、
－データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイスにも関する。

そのような復号デバイスは、具体的には、前述の復号方法を実施することができる。

また、本発明は、前述の符号化方法に従って符号化されたデータを含むデータ信号にも関する。

また、本発明は、コンピュータプログラムがプロセッサによって実行されると、上記で説明される特定の実施形態のいずれか１つに従って、本発明による復号方法又は符号化方法を実施するための命令を含む上記プログラムにも関する。

このプログラムは、いかなるプログラミング言語も使用することができ、部分的にコンパイルされた形態又は他の任意の望ましい形態など、ソースコード、オブジェクトコード、又は、ソースコードとオブジェクトコードとの間の中間コードの形態であり得る。

また、本発明は、上記で言及したものなどのコンピュータプログラム命令を含むコンピュータ可読記録媒体又は情報媒体も対象とする。

記録媒体は、プログラムの格納が可能ないかなるエンティティ又はデバイスでもあり得る。例えば、媒体は、ＲＯＭなどの記憶手段（例えば、ＣＤ－ＲＯＭ若しくは超小型電子回路ＲＯＭ）又は磁気記録手段（例えば、ＵＳＢキー若しくはハードディスク）を含み得る。

その上、記録媒体は、無線又は他の手段によって、電気又は光ケーブルを介して伝達することができる電気又は光信号など、伝送可能媒体でもあり得る。本発明によるプログラムは、具体的には、インターネットタイプのネットワークからダウンロードすることができる。

或いは、記録媒体は、プログラムが組み込まれた集積回路であり得、回路は、前述の符号化又は復号方法を実行するか又は実行する際に使用するように適応させる。

他の特徴及び利点は、添付の図面を参照して以下で説明されている、純粋に説明に役立つ及び非限定的な例として提供されるいくつかの好ましい実施形態を読み進めることで、より明確に明らかになるであろう。

本発明の一実施形態による符号化方法によって実行される主要なアクションを示す。図１の符号化方法の実施に続いて生成することができるデータ信号の第１のタイプを示す。図１の符号化方法の実施に続いて生成することができるデータ信号の第２のタイプを示す。図１の符号化方法の実施に続いて生成することができるデータ信号の第３のタイプを示す。現在の時刻において利用可能なビューの画像のすべてを符号化するための方法の第１の実施形態を示す。現在の時刻において利用可能なビューの画像のすべてを符号化するための方法の第２の実施形態を示す。第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。第３の実施形態による、ビューの画像に適用される処理の例を示す。第４の実施形態による、ビューの画像に適用される処理の例を示す。第５の実施形態による、ビューの画像に適用される処理の例を示す。第６の実施形態による、ビューの画像に適用される処理の例を示す。図１の符号化方法を実施する符号化デバイスを示す。本発明の一実施形態による復号方法によって実行される主要なアクションを示す。現在の時刻において利用可能なビューの画像のすべてを復号するための方法の第１の実施形態を示す。現在の時刻において利用可能なビューの画像のすべてを復号するための方法の第２の実施形態を示す。図１１の復号方法を実施する復号デバイスを示す。ビューの画像の合成の一実施形態を示し、図１１の復号方法に従って再構築されたビューの画像が使用される。第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。第２の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。第３の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。第４の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。

本発明は、主に、多数のビューの多数の現在の画像をそれぞれ符号化するためのスキームを提案し、多数のビューは、現在の時刻における、所定の位置又は所定の視野角による３Ｄシーンを表し、２つの符号化技法、すなわち、
－第１の符号化技法（それにより、ビューの少なくとも１つの現在の画像が従来の符号化モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して符号化される）
－第２の革新的な符号化技法（それにより、前述のタイプの従来の符号化モード及び／又は他の任意の適切な符号化モードを使用して、ビューの少なくとも１つの現在の画像の処理データ（特定の画像処理を使用してこの画像のオリジナルデータの処理の適用から得られたもの）が符号化され、それにより、符号化ステップの前に実施された処理から得られるこの画像の符号化済みのデータの信号伝達コストがかなり減少する）
が利用可能である。

それに応じて、本発明は、２つの復号技法、すなわち、
－第１の復号技法（それにより、符号化の際に使用され且つデコーダに信号伝達された従来の符号化モードに対応する従来の復号モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して、符号化済みのビューの少なくとも１つの現在の画像が再構築され、それにより、非常に優れた品質のビューの少なくとも１つの再構築済みの画像が得られる）
－第２の革新的な復号技法（それにより、デコーダに信号伝達された符号化モード（すなわち、従来の符号化モード及び／又は他の適切な符号化モード）に対応する復号モードを使用して、ビューの少なくとも１つの画像の符号化済みの処理データが復号され、それにより、処理済みの画像データ及び得られた処理済みのデータの発生源である画像処理の説明情報が得られる。従って、この画像に対して復号側で得られた処理済みのデータは、第１の復号技法に従って復号された画像データとは異なり、そのオリジナルデータとは一致しない）
を組み合わせられるようにする復号スキームを提案する。

そのような処理済み且つ復号済みの画像データ及び画像処理説明情報に基づいてその後に再構築されるビューの画像は、ビューのオリジナル画像（すなわち、そのオリジナルデータの処理に次いで符号化される前のもの）とは異なるものとなる。しかし、ビューのそのような再構築済みの画像は、第１の従来の復号技法に従って再構築された他のビューの画像と共に使用して、特に効率的且つ効果的な方法での中間ビューの画像の合成を可能にするビューの画像を構成する。

６．例示的な符号化スキームの実装
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像コーダも使用することができる３６０°、１８０°又は他の全方位映像を符号化するための方法について説明する。

図１を参照すると、そのような符号化方法は、多数のビューＶ_１、…、Ｖ_Ｎの一部を形成するビューの現在の画像に適用され、多数のビューは、多数の視野角又は多数の位置／向きによる３Ｄシーンをそれぞれ表す。

共通の例によれば、映像（例えば、３６０°映像）を生成するために３つの全方位カメラが使用される事例では、
－第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－第２の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの左側に置くことができ、
－第３の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの右側に置くことができる。

別のより非定型的な例によれば、α°映像（０°＜α≦３６０°）を生成するために３つの全方位カメラが使用される事例では、
－第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－第２の全方位カメラは、例えば、２７０°×１３５°視野角で３Ｄシーンの左側に置くことができ、
－第３の全方位カメラは、例えば、１８０°×９０°視野角で３Ｄシーンの右側に置くことができる。

当然ながら、他の構成も可能である。

上記多数のビューの少なくとも２つのビューは、同じ視野角からの３Ｄシーンを表すものでも、そうではないものでもよい。

本発明による符号化方法は、現在の時刻において、
－ビューＶ_１の画像ＩＶ_１、
－ビューＶ_２の画像ＩＶ_２、
－…、
－ビューＶ_ｋの画像ＩＶ_ｋ、
－…、
－ビューＶ_Ｎの画像ＩＶ_Ｎ
を符号化するものである。

対象のビューの画像は、同様に、テクスチャ画像又は深度画像であり得る。対象のビューの画像（例えば、画像ＩＶ_ｋ）は、例えば、Ｑ個の画素など、数量Ｑ（Ｑ≧１）のオリジナルデータ（ｄ１_ｋ…、ｄＱ_ｋ）を含む。

次いで、符号化方法は、符号化予定のビューＶ_ｋの少なくとも１つの画像ＩＶ_ｋに対して、以下を含む。

Ｃ１では、画像ＩＶ_ｋに対して、第１の符号化方法ＭＣ１又は第２の符号化方法ＭＣ２が選択される。

第１の符号化方法ＭＣ１が選択された場合は、Ｃ１０において、符号化方法ＭＣ１が選択されたことを示すために、例えば、ビットを０に設定して、ｆｌａｇ＿ｐｒｏｃという情報が符号化される。

Ｃ１１ａでは、例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなどの従来のコーダを使用して、画像ＩＶ_ｋのＱ個のオリジナルデータ（画素）ｄ１_ｋ、…、ｄＱ_ｋが符号化される。符号化Ｃ１１ａが完了すると、ビューＶ_ｋの符号化済みの画像ＩＶＣ_ｋが得られる。次いで、符号化済みの画像ＩＶＣ_ｋは、Ｑ個の符号化済みのオリジナルデータｄｃ１_ｋ、ｄｃ２_ｋ、…、ｄｃＱ_ｋを含む。

Ｃ１２ａでは、データ信号Ｆ１_ｋが生成される。図２Ａに示されるように、データ信号Ｆ１_ｋは、第１の符号化方法ＭＣ１の選択に関連するｆｌａｇ＿ｐｒｏｃ＝０という情報と、符号化済みのオリジナルデータｄｃ１_ｋ、ｄｃ２_ｋ、…、ｄｃＱ_ｋとを含む。

第２の符号化方法ＭＣ２が選択された場合は、Ｃ１０において、符号化方法ＭＣ２が選択されたことを示すために、例えば、ビットを１に設定して、ｆｌａｇ＿ｐｒｏｃという情報が符号化される。

Ｃ１１ｂでは、符号化ステップの前に行われた画像ＩＶ_ｋの処理から生じたデータＤＴ_ｋに符号化方法ＭＣ２が適用される。

そのようなデータＤＴ_ｋは、
－符号化ステップの前に特定の画像処理を使用して処理された画像ＩＶ_ｋのオリジナルデータのすべて又は一部に相当する画像タイプ（画素）のデータ（その様々な詳細な例については、説明においてさらに記載する）、
－符号化ステップＣ１１ｂの前に画像ＩＶ_ｋに適用された画像処理の説明情報（そのような説明情報は、例えば、テキスト及び／又は画像タイプである）
を含む。

符号化Ｃ１１ｂが完了すると、処理済み且つ符号化済みのデータＤＴＣ_ｋが得られる。それらの処理済み且つ符号化済みのデータＤＴＣ_ｋは、処理済み且つ符号化済みの画像ＩＶＴＣ_ｋを表す。

従って、処理済みのデータＤＴ_ｋは、画像ＩＶ_ｋのオリジナルデータとは一致しない。

例えば、これらの処理済みのデータＤＴ_ｋは、その解像度が処理前の画像ＩＶ_ｋの解像度より高いか又は低い画像に相当する。従って、処理済みの画像ＩＶ_ｋは、例えば、他のビューの画像に基づいて得られることを理由に、より大きなものでも、逆に、画像ＩＶ_ｋから１つ又は複数のオリジナル画素を削除して得られることを理由に、より小さなものでもあり得る。

別の例によれば、これらの処理済みのデータＤＴ_ｋは、処理済みの画像ＩＶ_ｋの表現（ＹＵＶ、ＲＧＢなど）のフォーマットが処理前の画像ＩＶ_ｋのオリジナルフォーマットとは異なる画像や、画素を表すためのビット数（１６ビット、１０ビット、８ビットなど）が異なる画像に相当する。

さらなる別の例によれば、これらの処理済みのデータＤＴ_ｋは、処理前の画像ＩＶ_ｋのオリジナルテクスチャ又は色成分に対してデグラデーションした色又はテクスチャ成分に相当する。

さらなる別の例によれば、これらの処理済みのデータＤＴ_ｋは、処理前の画像ＩＶ_ｋのオリジナルコンテンツの特定の表現（例えば、画像ＩＶ_ｋのフィルタリング済みのオリジナルコンテンツの表現）に相当する。

処理済みのデータＤＴ_ｋが単なる画像データである（すなわち、例えば、画素のグリッドの形態である）事例では、符号化方法ＭＣ２は、第１の符号化方法ＭＣ１を実施するコーダと同様のコーダによって実施することができる。それは、ロッシー又はロスレスコーダであり得る。処理済みのデータＤＴ_ｋが画像データとは異なる（例えば、テキストタイプのデータなど）か、又は、画像データと画像データ以外のタイプのデータの両方を含む事例では、符号化方法ＭＣ２は、
－特にテキストタイプのデータを符号化するために、ロスレスコーダによって、
－特に画像データを符号化するために、ロッシー又はロスレスコーダによって（そのようなコーダは、第１の符号化方法ＭＣ１を実施するコーダと同一である可能性も、異なる可能性もある）
実施することができる。

Ｃ１２ｂでは、データ信号Ｆ２_ｋが生成される。図２Ｂに示されるように、データ信号Ｆ２_ｋは、これらのデータがすべて画像データである事例では、第２の符号化方法ＭＣ２の選択に関連するｆｌａｇ＿ｐｒｏｃ＝１という情報と、処理済み且つ符号化済みのデータＤＴＣ_ｋとを含む。

代替として、Ｃ１２ｃでは、処理済み且つ符号化済みのデータＤＴＣ_ｋが画像データとテキストタイプのデータの両方を含む事例では、２つの信号Ｆ３_ｋ、Ｆ’３_ｋが生成される。

図２Ｃに示されるように、
－データ信号Ｆ’３は、第２の符号化方法ＭＣ２の選択に関連するｆｌａｇ＿ｐｒｏｃ＝１という情報と、画像タイプの処理済み且つ符号化済みのデータＤＴＣ_ｋとを含み、
－データ信号Ｆ’３_ｋは、テキストタイプの処理済み且つ符号化済みのデータＤＴＣ_ｋを含む。

たった今上記で説明した符号化方法は、次いで、利用可能な符号化予定のＮ個のビューの各画像ＩＶ_１、ＩＶ_２、…、ＩＶ_Ｎに対して、それらのいくつかのみに対して、又は、画像ＩＶ_ｋ（例えば、ｋ＝１）に限定して、実施することができる。

図３Ａ及び３Ｂに示される２つの例示的な実施形態によれば、例えば、符号化予定のＮ個の画像ＩＶ_１、…、ＩＶ_Ｎの中で、以下のように想定される。
－ｎ個の最初の画像ＩＶ_１、…、ＩＶ_ｎは、第１の符号化技法ＭＣ１を使用して符号化される。ｎ個の最初のビューＶ_１～Ｖ_ｎは、マスタビューと呼ばれるが、その理由は、再構築された時点で、ｎ個のマスタビューの画像は、それらのオリジナルデータのすべてを含み、ユーザに必要な任意のビューの画像を合成するためにＮ－ｎ個の他のビューのうちの１つ又は複数と共に使用するのに適しているためである。
－Ｎ－ｎ個の他の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎは、第２の符号化方法ＭＣ２を使用して符号化する前に処理される。これらの処理されたＮ－ｎ個の他の画像は、追加のビューと呼ばれるものに属する。

ｎ＝０の場合は、すべてのビューのすべての画像ＩＶ_１、…、ＩＶ_Ｎが処理される。ｎ＝Ｎ－１の場合は、Ｎ個の中の単一のビューの画像（例えば、第１のビューの画像）が処理される。

Ｎ－ｎ個の他の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの処理が完了すると、Ｍ－ｎ個の処理済みのデータが得られる。Ｍ＝Ｎの場合は、処理すべきビューの数だけ処理済みのデータが存在する。Ｍ＜Ｎの場合は、処理の間に、Ｎ－ｎ個のビューの少なくとも１つが削除されている。この事例では、第２の符号化方法ＭＣ２による符号化Ｃ１１ｂが完了すると、削除されたビューのこの画像に関連する処理済みのデータは、ロスレスコーダを使用して符号化されるものであり、この画像及びこのビューの欠如を示す情報のみを含む。次いで、処理によって削除されたこの画像に対しては、どの画素も、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどのタイプのコーダを使用した第２の符号化方法ＭＣ２を使用して符号化されることはない。

図３Ａの例では、Ｃ１１ａにおいて、ＨＥＶＣタイプの従来のコーダを使用して、ｎ個の最初の画像ＩＶ_１、…、ＩＶ_ｎが互いに独立して符号化される。符号化Ｃ１１ａが完了すると、ｎ個の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_ｎがそれぞれ得られる。Ｃ１２ａでは、ｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎがそれぞれ生成される。Ｃ１３ａでは、これらのｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎが連結され、データ信号Ｆ１が生成される。

破線矢印によって表されるように、画像ＩＶ_１、…、ＩＶ_ｎは、Ｎ－ｎ個の他の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの処理の間に使用することができる。

依然として図３Ａを参照すると、Ｃ１１ｂにおいて、ＨＥＶＣタイプの従来のコーダを使用して、Ｍ－ｎ個の処理済みのデータＤＴ_ｎ＋１、…、ＤＴ_Ｍが互いに独立して符号化されるか（これらのＭ－ｎ個の処理済みのデータがすべて画像タイプである場合）、或いは、画像タイプの処理済みのデータに対しては、ＨＥＶＣタイプの従来のコーダを使用して互いに独立して符号化され、テキストタイプの処理済みのデータに対しては、ロスレスコーダによって符号化される（それらのデータが画像タイプとテキストタイプの両方である場合）。符号化Ｃ１１ｂが完了すると、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎが、Ｎ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎのそれぞれと関連付けられたＮ－ｎ個の符号化済みのデータとしてそれぞれ得られる。Ｃ１２ｂでは、Ｍ－ｎ個の処理済みのデータがすべて画像タイプである事例では、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎをそれぞれ含むＮ－ｎ個のデータ信号Ｆ２_ｎ＋１、…、Ｆ２_Ｎがそれぞれ生成される。Ｃ１２ｃでは、Ｍ－ｎ個の処理済みのデータが画像タイプとテキストタイプの両方である事例では、
－画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ３_ｎ＋１、…、Ｆ３_Ｎが生成され、
－テキストタイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ’３_ｎ＋１…、Ｆ’３_Ｎが生成される。

Ｃ１３ｃでは、データ信号Ｆ３_ｎ＋１、…Ｆ３_Ｎ及びＦ’３_ｎ＋１、…、Ｆ’３_Ｎが連結され、データ信号Ｆ３が生成される。

Ｃ１４では、信号Ｆ１とＦ２が連結されるか、又は、信号Ｆ１とＦ３が連結され、復号方法によって復号することができるデータ信号Ｆが提供される。復号方法については、説明においてさらに記載する。

図３Ｂの例では、Ｃ１１ａにおいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して、ｎ個の最初の画像ＩＶ_１、…、ＩＶ_ｎが同時に符号化される。符号化Ｃ１１ａが完了すると、ｎ個の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_ｎがそれぞれ得られる。Ｃ１２ａでは、単一の信号Ｆ１が生成され、単一の信号Ｆ１は、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータを含む。

破線矢印によって表されるように、最初の画像ＩＶ_１、…、ＩＶ_ｎは、Ｎ－ｎ個の他の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの処理の間に使用することができる。

依然として図３Ｂを参照すると、Ｃ１１ｂにおいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して、画像タイプのＭ－ｎ個の処理済みのデータＤＴ_ｎ＋１、…、ＤＴ_Ｍが同時に符号化されるか（これらのＭ－ｎ個の処理済みのデータがすべて画像タイプである場合）、或いは、画像タイプの処理済みのデータに対しては、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して同時に符号化され、テキストタイプの処理済みのデータに対しては、ロスレスコーダによって符号化される（それらのデータが画像タイプとテキストタイプの両方である場合）。符号化Ｃ１１ｂが完了すると、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎが、処理されたＮ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎのそれぞれと関連付けられたＮ－ｎ個の処理済み且つ符号化済みのデータとしてそれぞれ得られる。Ｃ１２ｂでは、Ｍ－ｎ個の処理済みのデータがすべて画像タイプである事例では、画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎを含む単一の信号Ｆ２が生成される。Ｃ１２ｃでは、Ｍ－ｎ個の処理済みのデータが画像タイプとテキストタイプの両方である事例では、
－画像タイプの処理済み且つ符号化済みのデータを含む信号Ｆ３が生成され、
－テキストタイプの処理済み且つ符号化済みのデータを含む信号Ｆ’３が生成される。

Ｃ１４では、信号Ｆ１とＦ２が連結されるか、又は、信号Ｆ１とＦ３とＦ’３が連結され、復号方法によって復号することができるデータ信号Ｆが提供される。復号方法については、説明においてさらに説明する。

当然ながら、符号化方法の他の組合せも可能である。

図３Ａの１つの可能な変形形態によれば、符号化方法ＭＣ１を実施するコーダがＨＥＶＣタイプのコーダであり、符号化方法ＭＣ２を実施するコーダがＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのコーダであるか又はＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのコーダ及びロッシーコーダを含むことも可能である。

図３Ｂの１つの可能な変形形態によれば、符号化方法ＭＣ１を実施するコーダがＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプのコーダであり、符号化方法ＭＣ２を実施するコーダがＨＥＶＣタイプのコーダであるか又はＨＥＶＣタイプのコーダ及びロスレスコーダを含むことも可能である。

ここでは、図４Ａ～４Ｅを参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第１の実施形態についての説明を提供する。

これらの図に示される例では、画像ＩＶ_ｋのオリジナルデータに適用される処理は、この画像の１つ又は複数の領域の水平方向若しくは垂直方向の又は両方向同時のクロッピングである。

図４Ａの例では、画像ＩＶ_ｋの左側の境界Ｂ１及び右側の境界Ｂ２がクロッピングされている。そのクロッピングは、境界Ｂ１及びＢ２の各々によって形成された画像ＩＶ_ｋの長方形領域の画素の削除を意味する。

図４Ｂの例では、画像ＩＶ_ｋの上側の境界Ｂ３及び下側の境界Ｂ４がクロッピングされている。そのクロッピングは、境界Ｂ３及びＢ４の各々によって形成された画像ＩＶ_ｋの長方形領域の画素の削除を意味する。

図４Ｃの例では、クロッピングは、画像ＩＶ_ｋに位置する長方形領域Ｚ１に垂直方向に適用されている。

図４Ｄの例では、クロッピングは、画像ＩＶ_ｋに位置する長方形領域Ｚ２に水平方向に適用されている。

図４Ｅの例では、クロッピングは、画像ＩＶ_ｋに位置する領域Ｚ３に水平方向と垂直方向の両方に適用されている。

次いで、符号化予定の処理済みのデータＤＴ_ｋは、
－クロッピング（図４Ａ、４Ｂ、４Ｅ）後の削除されなかった画像ＩＶ_ｋの残りの領域Ｚ_Ｒの画素、又は、クロッピング後の削除されなかった画像ＩＶ_ｋの残りの領域Ｚ１_Ｒ及びＺ２_Ｒ（図４Ｃ、４Ｄ）の画素と、
－適用されたクロッピングについて説明する情報と
を含む。

例えば、図４Ａ、４Ｂ、４Ｅの事例では、適用されたクロッピングについて説明する情報は、テキストタイプのものであり、
－画像ＩＶ_ｋの残りの領域Ｚ_Ｒの一番左上に位置する画素の座標と、
－画像ＩＶ_ｋの残りの領域Ｚ_Ｒの一番右下に位置する画素の座標と
を含む。

例えば、図４Ｃ及び４Ｄの事例では、適用されたクロッピングについて説明する情報は、
－画像ＩＶ_ｋの残りの領域Ｚ１_Ｒの一番左上に位置する画素の座標と、
－画像ＩＶ_ｋの残りの領域Ｚ１_Ｒの一番右下に位置する画素の座標と、
－画像ＩＶ_ｋの残りの領域Ｚ２_Ｒの一番左上に位置する画素の座標と、
－画像ＩＶ_ｋの残りの領域Ｚ２_Ｒの一番右下に位置する画素の座標と
を含む。

次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、残りの領域Ｚ_Ｒ（Ｚ１_ＲとＺ２_Ｒのそれぞれ）の一番左上に位置する画素の座標と、残りの領域Ｚ_Ｒ（Ｚ１_ＲとＺ２_Ｒのそれぞれ）の一番右下に位置する画素の座標とによって定義される長方形領域のオリジナルデータ（画素）が符号化される。適用されたクロッピングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。

変形形態として、適用されたクロッピングについて説明する情報は、削除される画素の行及び／又は列の数と、画像ＩＶ_ｋにおけるこれらの行及び／又は列の位置を含む。

一実施形態によれば、クロッピングによって削除されるデータ量は固定される。例えば、その量は、対象のビューの画像からＸ行及び／又はＹ列を体系的に削除するように決定することができる。この事例では、説明情報は、クロッピングについての情報のみ（又は各ビューに対するものではない）を含む。

別の実施形態によれば、クロッピングによって削除されるデータ量は、ビューＶ_ｋの画像ＩＶ_ｋと利用可能な別のビューの画像との間で変更することができる。

また、クロッピングによって削除されるデータ量は、例えば、画像ＩＶ_ｋを捕捉したカメラの３Ｄシーンの位置にも依存し得る。従って、例えば、上記Ｎ個のビューの中の別のビューの画像が、画像ＩＶ_ｋを捕捉したカメラの位置／向きとは異なる３Ｄシーンにおける位置／向きを有するカメラによって捕捉されている場合は、例えば、画像ＩＶ_ｋに対して削除されたデータ量とは異なる削除されるデータ量が使用される。

クロッピングの適用は、画像ＩＶ_ｋが符号化される時刻にさらに依存し得る。例えば、現在の時刻では、画像ＩＶ_ｋにクロッピングを適用することを決定する一方で、現在の時刻の前後の時刻では、画像ＩＶ_ｋにそのようなクロッピング又はその件に関する任意の処理を適用しないことを決定することができる。

最後に、クロッピングは、現在の時刻において１つ又は複数のビューの画像に適用することができる。ビューＶ_ｋの画像ＩＶ_ｋのクロッピング済みの領域は、現在の時刻において符号化予定の別のビューの画像のクロッピング済みの領域と同じであっても、同じでなくともよい。

ここでは、図５Ａ～５Ｄを参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第２の実施形態についての説明を提供する。

これらの図に示される例では、画像ＩＶ_ｋのオリジナルデータに適用される処理は、この画像の１つ又は複数の領域の水平方向又は垂直方向のダウンサンプリングである。

図５Ａの例では、ダウンサンプリングは、画像ＩＶ_ｋの領域Ｚ４に垂直方向に適用されている。

図５Ｂの例では、ダウンサンプリングは、画像ＩＶ_ｋの領域Ｚ５に水平方向に適用されている。

図５Ｃの例では、ダウンサンプリングは、画像ＩＶ_ｋ全体に適用されている。

図５Ｄの例では、ダウンサンプリングは、画像ＩＶ_ｋの領域Ｚ６に水平方向と垂直方向の両方に適用されている。

次いで、符号化予定の処理済みのデータＤＴ_ｋは、
－ダウンサンプリング済みの画像データ（画素）と、
－適用されたダウンサンプリングについて説明する情報と
を含み、適用されたダウンサンプリングについて説明する情報は、例えば、
－使用されたダウンサンプリングファクタ、
－使用されたダウンサンプリング方向、
－図５Ａ、５Ｂ、５Ｄの事例では、画像ＩＶ_ｋのフィルタリング済みの領域Ｚ４、Ｚ５、Ｚ６の場所、又は、
－図５Ｃの事例では、画像ＩＶ_ｋの一番左上に位置する画素の座標、及び、画像ＩＶ_ｋの一番右下に位置する画素の座標（従って、この画像の完全なエリアを定義する）
などである。

次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、ダウンサンプリング済みの画像データ（画素）が符号化される。適用されたダウンサンプリングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。

ダウンサンプリングファクタの値は、固定することも、画像ＩＶ_ｋを捕捉したカメラの３Ｄシーンの位置に依存することも可能である。従って、例えば、上記Ｎ個のビューの中の別のビューの画像が、画像ＩＶ_ｋを捕捉したカメラの位置／向きとは異なる３Ｄシーンにおける位置／向きを有するカメラによって捕捉されている場合は、例えば、別のダウンサンプリングファクタが使用される。

ダウンサンプリングの適用は、ビューＶ_ｋの画像が符号化される時刻にさらに依存し得る。例えば、現在の時刻では、画像ＩＶ_ｋにダウンサンプリングを適用することを決定する一方で、現在の時刻の前後の時刻では、ビューＶ_ｋの画像にそのようなダウンサンプリング又はその件に関する任意の処理を適用しないことを決定することができる。

最後に、ダウンサンプリングは、現在の時刻において１つ又は複数のビューの画像に適用することができる。画像ＩＶ_ｋのダウンサンプリング済みの領域は、現在の時刻において符号化予定の別のビューの画像のダウンサンプリング済みの領域と同じであっても、同じでなくともよい。

ここでは、図６を参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第３の実施形態についての説明を提供する。

図６に示される例では、画像ＩＶ_ｋのオリジナルデータに適用された処理は、この画像のフィルタリングによる輪郭の検出である。例えば、２つの輪郭ＥＤ１及びＥＤ２が画像ＩＶ_ｋに存在する。それ自体周知の方法では、そのようなフィルタリングは、例えば、
－輪郭ＥＤ１及びＥＤ２に輪郭検出フィルタを適用することと、
－輪郭ＥＤ１及びＥＤ２の各々を取り囲む領域（図６のハッチングによって表されている領域など）を増大するために輪郭ＥＤ１及びＥＤ２の拡大を適用することと、
－斜線の入った領域の部分を形成しない（従って、符号化は不要であると考えられる）オリジナルデータのすべてを画像ＩＶ_ｋから削除することと
を含む。

次いで、符号化予定の処理済みのデータＤＴ_ｋは、そのようなフィルタリングの事例では、
－斜線の入った領域に含まれるオリジナル画素と、
－適用されたフィルタリングについて説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。

次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、斜線の入った領域に対応する画像データ（画素）が符号化される。適用されたフィルタリングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。

画像ＩＶ_ｋに関連してたった今説明したフィルタリングは、上記Ｎ個のビューの中の他のビューの１つ又は複数の画像（ビューの画像によって異なり得るこれらの１つ又は複数の画像の領域）に適用することができる。

ここでは、図７を参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第４の実施形態についての説明を提供する。

図７に示される例では、画像ＩＶ_ｋのオリジナルデータに適用された処理は、Ｎ個のビューの中の別のビューＶ_ｐの少なくとも１つの画像ＩＶ_ｐを使用した画像ＩＶ_ｋの少なくとも１つの領域Ｚ_ＯＣのオクルージョンの検出である（１≦ｐ≦Ｎ）。

それ自体周知の方法では、そのようなオクルージョン検出は、例えば、視差推定を使用して、画像ＩＶ_ｐに基づいて画像ＩＶ_ｋの領域Ｚ_ＯＣを探すものである。次いで、オクルージョン領域Ｚ_ＯＣは、例えば、数理形態学アルゴリズムを使用して拡大される。こうして拡大された領域Ｚ_ＯＣは、図７では、ハッチングによって表されている。斜線の入った領域Ｚ_ＯＣの部分を形成しない（従って、符号化は不要であると考えられる）画像ＩＶ_ｋのオリジナルデータはすべて削除される。

次いで、符号化予定の処理済みのデータＤＴ_ｋは、そのようなオクルージョン検出の事例では、
－斜線の入った領域に含まれるオリジナル画素と、
－適用されたオクルージョン検出について説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。

次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、斜線の入った領域に対応する画像データ（画素）が符号化される。適用されたオクルージョン検出の説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。

ここでは、図８を参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第５の実施形態についての説明を提供する。

図８に示される例では、画像ＩＶ_ｋのオリジナルデータに適用された処理は、
－画像ＩＶ_ｋのオリジナル画素に基づいて、
－Ｃ１１ａ（図１）において第１の符号化方法ＭＣ１を使用して符号化される１つ又は複数の他のビューの画像ＩＶ_ｊ（１≦ｊ≦ｎ）のオリジナル画素に基づいて、
－潜在的には、Ｃ１１ｂ（図１）において処理済みの画素が第２の符号化方法ＭＣ２を使用して符号化される少なくとも１つの他のビューの画像ＩＶ_ｌ（ｎ＋１≦ｌ≦Ｎ）のオリジナル画素に基づいて、
画素を計算するものである。

次いで、符号化予定の処理済みのデータＤＴ_ｋは、そのような計算の事例では、
－計算された上記ビューの画像ＩＶ_ｋの画素のインジケータ、
－画像ＩＶ_ｊにおける、画像ＩＶ_ｋの画素を計算するために使用されたオリジナル画素の場所についての情報、
－潜在的には、画像ＩＶ_ｌにおける、画像ＩＶ_ｋの画素を計算するために使用されたオリジナル画素の場所についての情報
を含む。

前述の計算は、例えば、画像ＩＶ_ｊのオリジナル画素からビューの画像ＩＶ_ｋのオリジナル画素及び潜在的には画像ＩＶ_ｌのオリジナル画素を差し引くものである。

ここでは、図９を参照して、第２の符号化方法ＭＣ２による符号化ステップＣ１１ｂ（図１）の前に画像ＩＶ_ｋのオリジナルデータに適用される処理の第６の実施形態についての説明を提供する。

図９に示される例では、画像ＩＶ_ｋのオリジナルデータに適用された処理は、
－画像ＩＶ_ｋのオリジナル画素を処理して、処理済みのデータＤＴ’_ｋを提供し、
－ビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶｓのオリジナル画素を処理して、処理済みのデータＤＴｓを提供し、
－画像ＩＶ_ｋの処理済みのデータＤＴ’_ｋと画像ＩＶｓの処理済みのデータＤＴｓをまとめて単一の画像ＩＶ_ｏｎｅにするもの（得られたオリジナルの処理済みのデータＤＴ_ｋは、Ｃ１１ｂ（図１）において第２の符号化方法ＭＣ２を使用して符号化される）
である。

図１０は、本発明の特定の実施形態のいずれか１つによる符号化方法を実施するように設計された符号化デバイスＣＯＤの簡単な構造を示す。

本発明の特定の一実施形態によれば、符号化方法によって実行されるアクションは、コンピュータプログラム命令によって実施される。その目的のため、符号化デバイスＣＯＤは、コンピュータの従来のアーキテクチャを有し、具体的には、メモリＭＥＭ＿Ｃと、処理ユニットＵＴ＿Ｃとを含み、処理ユニットＵＴ＿Ｃは、例えば、プロセッサＰＲＯＣ＿Ｃが装備され、メモリＭＥＭ＿Ｃに格納されたコンピュータプログラムＰＧ＿Ｃによって駆動される。コンピュータプログラムＰＧ＿Ｃは、プログラムがプロセッサＰＲＯＣ＿Ｃによって実行されると、上記で説明されるものなどの符号化方法のアクションを実施するための命令を含む。

初期化において、コンピュータプログラムＰＧ＿Ｃのコード命令は、プロセッサＰＲＯＣ＿Ｃによって実行される前に、例えば、ＲＡＭメモリ（図示せず）にロードされる。処理ユニットＵＴ＿ＣのプロセッサＰＲＯＣ＿Ｃは、具体的には、コンピュータプログラムＰＧ＿Ｃの命令に従って、上記で説明される符号化方法のアクションを実施する。

７．例示的な復号スキームの実装
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像デコーダも使用することができる３６０°、１８０°又は他の全方位映像を復号するための方法について説明する。

図１１を参照すると、そのような復号方法は、上記多数のビューＶ_１、…、Ｖ_Ｎの一部を形成するビューの現在の画像を表すデータ信号に適用される。

本発明による復号方法は、
－ビューＶ_１の画像ＩＶ_１と関連付けられた符号化済みのデータを表すデータ信号、
－ビューＶ_２の画像ＩＶ_２と関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ビューＶ_ｋの画像ＩＶ_ｋと関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ビューＶ_Ｎの画像ＩＶ_Ｎと関連付けられた符号化済みのデータを表すデータ信号
を復号するものである。

前述の復号方法を使用して再構築予定の対象のビューの画像は、同様に、テクスチャ画像又は深度画像であり得る。

復号方法は、再構築予定のビューＶ_ｋの少なくとも１つの画像ＩＶ_ｋを表すデータ信号Ｆ１_ｋ、Ｆ２_ｋ又はＦ３_ｋ及びＦ’３_ｋに対して、以下を含む。

Ｄ１では、図２Ａ、２Ｂ、２Ｃにそれぞれ示されるような、データ信号Ｆ１_ｋ、Ｆ２_ｋ又はＦ３_ｋ及びＦ’３_ｋにおいて、画像ＩＶ_ｋが第１の符号化方法ＭＣ１を使用して符号化されているか、又は、第２の符号化方法ＭＣ２を使用して符号化されているかを示すｆｌａｇ＿ｐｒｏｃという情報が読み取られる。

信号Ｆ１_ｋの場合は、ｆｌａｇ＿ｐｒｏｃという情報は、０である。

Ｄ１１ａでは、データ信号Ｆ１_ｋにおいて、符号化済みの画像ＩＶＣ_ｋと関連付けられた符号化済みのデータｄｃ１_ｋ、ｄｃ２_ｋ、…、ｄｃＱ_ｋが読み取られる。

Ｄ１２ａでは、Ｄ１１ａにおいて読み取られた符号化済みのデータｄｃ１_ｋ、ｄｃ２_ｋ、…、ｄｃＱ_ｋに基づいて、図１のＣ１１ａにおいて符号化に適用された符号化方法ＭＣ１に対応する復号方法ＭＤ１を使用して、画像ＩＶＤ_ｋが再構築される。その目的のため、画像ＩＶ_ｋは、例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなど、従来のデコーダを使用して再構築される。

復号Ｄ１２ａが完了すると、こうして再構築された画像ＩＶＤ_ｋは、図１のＣ１１ａにおいて符号化された画像ＩＶ_ｋのオリジナルデータｄ１_ｋ、ｄ２_ｋ、…、ｄＱ_ｋを含む。

画像ＩＶＤ_ｋはオリジナル画像ＩＶ_ｋと一致するため、例えば、中間ビューの合成の文脈において、使用に適したマスタ画像を構成する。

Ｄ１では、信号Ｆ２_ｋ又はＦ３_ｋの場合は、決定されたｆｌａｇ＿ｐｒｏｃという情報は、１である。

信号Ｆ２_ｋの場合は、Ｄ１１ｂでは、データ信号Ｆ２_ｋにおいて、図１のＣ１１ｂにおいて得られるような処理済み且つ符号化済みの画像ＩＶＴＣ_ｋと関連付けられた処理済み且つ符号化済みのデータＤＴＣ_ｋが読み取られる。

読み取られたこれらの処理済み且つ符号化済みのデータＤＴＣ_ｋは、画像タイプのデータのみである。

Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られた符号化済みのデータＤＴＣ_ｋに基づいて、図１のＣ１１ｂにおいて符号化に適用された符号化方法ＭＣ２に対応する復号方法ＭＤ２を使用して、処理済みの画像ＩＶＴＤ_ｋが再構築される。その目的のため、符号化済みのデータＤＴＣ_ｋは、例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなど、従来のデコーダを使用して復号される。

復号Ｄ１２ｂが完了すると、こうして再構築された処理済みの画像ＩＶＴＤ_ｋは、復号済みのデータＤＴＣ_ｋに相当するものであり、図１のＣ１１ｂにおけるそれらの符号化前の画像ＩＶ_ｋの処理済みのデータＤＴ_ｋを含む。

処理済み且つ再構築済みの画像ＩＶＴＤ_ｋは、特定の画像処理を使用して処理された画像ＩＶ_ｋのオリジナルデータのすべて又は一部に相当する画像データ（画素）を含み、その様々な詳細な例については、図４～９を参照して説明している。

信号Ｆ３_ｋの場合は、Ｄ１１ｃにおいて、処理済み且つ符号化済みの画像ＩＶＴＣ_ｋと関連付けられた処理済み且つ符号化済みのデータＤＴＣ_ｋが読み取られる。

その目的のため、
－信号Ｆ３_ｋにおいて、画像タイプの処理済み且つ符号化済みのデータＤＴＣ_ｋが読み取られ、
－信号Ｆ’３_ｋにおいて、例えば、テキストタイプのデータ、又は、画像データと画像データ以外のタイプのデータの両方を含むものなど、画像データとは異なる処理済み且つ符号化済みのデータＤＴＣ_ｋが読み取られる。

処理済み且つ符号化済みのデータＤＴＣ_ｋは、Ｄ１２ｂにおいて復号方法ＭＤ２を使用して復号され、復号方法ＭＤ２は、
－特に画像データを復号するために、ロッシー又はロスレスデコーダによって（そのようなデコーダは、第１の復号方法ＭＤ１を実施するデコーダと同一である可能性も、異なる可能性もある）、
－特にテキストタイプのデータを復号するために、ロスレスデコーダによって
実施することができる。

復号Ｄ１２ｂが完了すると、
－復号された画像タイプのデータＤＴＣ_ｋに相当する、こうして再構築された処理済みの画像ＩＶＴＤ_ｋ、
－符号化Ｃ１１ｂ（図１）の前に画像ＩＶ_ｋに適用された処理の説明情報に相当するテキストタイプの処理済みのデータ
が得られる。

第２の復号方法ＭＤ２によるそのような処理済み且つ再構築済みの画像ＩＶＴＤ_ｋは、処理に次いでＣ１１ｂで符号化される前の画像ＩＶ_ｋのオリジナルデータのすべてを含むわけではない。しかし、第２の復号方法ＭＤ２によるビューのそのような再構築済みの画像は、優れた品質のビューの合成画像を得るために、例えば、中間画像の合成の文脈において、第１の復号方法ＭＤ１を使用して再構築されるマスタビューの画像に加えて使用することができる。

たった今上記で説明した復号方法は、次いで、現在の時刻において、利用可能な再構築予定の符号化済みの画像ＩＶＣ_１、ＩＶＣ_２、…、ＩＶＣ_Ｎの各々に対して、それらのいくつかのみに対して、又は、画像ＩＶ_ｋ（例えば、ｋ＝１）に限定して、実施することができる。

図１２Ａ及び１２Ｂに示される２つの例示的な実施形態によれば、例えば、再構築予定のＮ個の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_Ｎの中で、以下のように想定される。
－ｎ個の最初の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_ｎは、ｎ個のマスタビューの各々の画像をそれぞれ得るために、第１の復号技法ＭＤ１を使用して再構築される。
－Ｎ－ｎ個の他の符号化済みの画像ＩＶＣ_ｎ＋１、…、ＩＶＣ_Ｎは、Ｎ－ｎ個の追加のビューの各々の画像をそれぞれ得るために、第２の復号方法ＭＤ２を使用して再構築される。

ｎ＝０の場合は、第２の復号方法ＭＤ２を使用して、１～Ｎ個のビューの画像ＩＶＣ_１、…、ＩＶＣ_Ｎが再構築される。ｎ＝Ｎ－１の場合は、第２の復号方法ＭＤ２を使用して、単一のビューの画像が再構築される。

図１２Ａの例では、Ｄ１００において、図３ＡのＣ１４において生成されるようなデータ信号Ｆは、
－２つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－３つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。

信号Ｆ１及びＦ２の事例では、Ｄ１１０ａにおいて、データ信号Ｆ１は、次に、ビューのｎ個の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_ｎをそれぞれ表すｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎに分離される。

Ｄ１１ａでは、ｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎの各々において、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータｄｃ１_１、…、ｄｃＱ_１、…、ｄｃ１_ｎ、…、ｄｃＱ_ｎがそれぞれ決定される。

Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、画像ＩＶＤ_１、…、ＩＶＤ_ｎが互いに独立して再構築される。

依然として図１２Ａを参照すると、Ｄ１１０ｂにおいて、データ信号Ｆ２は、次に、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎをそれぞれ表すＮ－ｎ個のデータ信号Ｆ２_ｎ＋１、…、Ｆ２_Ｎに分離される。

Ｄ１１ｂでは、Ｎ－ｎ個のデータ信号Ｆ２_ｎ＋１、…、Ｆ２_Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々にそれぞれ相当するＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎがそれぞれ読み取られる。

Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、処理済みの画像がそれぞれ互いに独立して再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎが得られる。

信号Ｆ１、Ｆ３及びＦ’３の事例では、Ｄ１１０ａにおいて、データ信号Ｆ１は、次に、ｎ個の符号化済みの画像ＩＶＣ_１、…、ＩＶＣ_ｎをそれぞれ表すｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎに分離される。

Ｄ１１ａでは、ｎ個のデータ信号Ｆ１_１、…、Ｆ１_ｎの各々において、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータｄｃ１_１、…、ｄｃＱ_１、…、ｄｃ１_ｎ、…、ｄｃＱ_ｎがそれぞれ読み取られる。

Ｄ１１０ｃでは、
－データ信号Ｆ３は、次に、画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎをそれぞれ表すＮ－ｎ個のデータ信号Ｆ３_ｎ＋１、…、Ｆ３_Ｎに分離され、
－データ信号Ｆ’３は、次に、テキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎをそれぞれ表すＮ－ｎ個のデータ信号Ｆ’３_ｎ＋１、…、Ｆ’３_Ｎに分離される。

Ｄ１１ｃでは、
－Ｎ－ｎ個のデータ信号Ｆ３_ｎ＋１、…、Ｆ３_Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々にそれぞれ相当する画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎがそれぞれ読み取られ、
－Ｎ－ｎ個のデータ信号Ｆ’３_ｎ＋１、…、Ｆ’３_Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々に対する処理の説明情報にそれぞれ相当するテキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎがそれぞれ読み取られる。

Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、Ｎ－ｎ個の処理済みの画像がそれぞれ互いに独立して再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎが得られる。

また、Ｄ１２ｂでは、Ｄ１１ｃにおいて読み取られたテキスト又は他のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、符号化において使用されたロスレスコーダに対応するデコーダを使用して、Ｃ１１ｂ（図３Ａ）におけるそれらの符号化前の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々に適用された処理の再構築済みの説明情報も存在する。

図１２Ｂの例では、Ｄ１００において、図３ＢのＣ１４において生成されるようなデータ信号Ｆは、
－２つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－３つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。

信号Ｆ１及びＦ２の事例では、Ｄ１１ａでは、データ信号Ｆ１において、ｎ個の符号化済みのビューの画像ＩＶＣ_１，ｉ、…、ＩＶＣ_ｎ，ｉの各々とそれぞれ関連付けられた符号化済みのオリジナルデータｄｃ１_１、…、ｄｃＱ_１、…、ｄｃ１_ｎ、…、ｄｃＱ_ｎが読み取られる。

Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、画像ＩＶＤ_１，ｉ、…、ＩＶＤ_ｎ，ｉが再構築される。

図１２ＢのＤ１１ｂでは、データ信号Ｆ２において、再構築予定のＮ－ｎ個のビューの画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々とそれぞれ関連付けられたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎが読み取られる。

Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、Ｎ－ｎ個の処理済みの画像がそれぞれ再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎが得られる。

信号Ｆ１、Ｆ３及びＦ’３の事例では、Ｄ１１ａでは、データ信号Ｆ１において、ｎ個の符号化済みのビューの画像ＩＶＣ_１、…、ＩＶＣ_ｎの各々とそれぞれ関連付けられた符号化済みのオリジナルデータｄｃ１_１、…、ｄｃＱ_１、…、ｄｃ１_ｎ、…、ｄｃＱ_ｎが読み取られる。

Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、画像ＩＶＤ_１、…、ＩＶＤ_ｎが再構築される。

図１２ＢのＤ１１ｃでは、データ信号Ｆ３において、再構築予定のＮ－ｎ個の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々とそれぞれ関連付けられた画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎが読み取られる。

Ｄ１２ｂでは、Ｄ１１ｃにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、処理済みの画像がそれぞれ再構築される。次いで、ビューＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎの処理済み且つ再構築済みの画像が得られる。

また、図１２ＢのＤ１２ｂでは、Ｄ１１ｃにおいて読み取られたテキスト又は他のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣ_ｎ＋１、…、ＤＴＣ_Ｎに基づいて、符号化において使用されたロスレスコーダに対応するデコーダを使用して復号された、Ｃ１１ｂ（図３Ｂ）におけるそれらの符号化前の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの各々に適用された処理の再構築済みの説明情報も存在する。

当然ながら、復号方法の他の組合せも可能である。

図１２Ａの１つの可能な変形形態によれば、復号方法ＭＤ１を実施するデコーダがＨＥＶＣタイプのデコーダであり、復号方法ＭＤ２を実施するデコーダがＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのデコーダであることも可能である。

図１２Ｂの１つの可能な変形形態によれば、復号方法ＭＤ１を実施するデコーダがＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプのデコーダであり、復号方法ＭＤ２を実施するデコーダがＨＥＶＣタイプのコーダであることも可能である。

図１３は、本発明の特定の実施形態のいずれか１つによる復号方法を実施するように設計された復号デバイスＤＥＣの簡単な構造を示す。

本発明の特定の一実施形態によれば、復号方法によって実行されるアクションは、コンピュータプログラム命令によって実施される。その目的のため、復号デバイスＤＥＣは、コンピュータの従来のアーキテクチャを有し、具体的には、メモリＭＥＭ＿Ｄと、処理ユニットＵＴ＿Ｄとを含み、処理ユニットＵＴ＿Ｄは、例えば、プロセッサＰＲＯＣ＿Ｄが装備され、メモリＭＥＭ＿Ｄに格納されたコンピュータプログラムＰＧ＿Ｄによって駆動される。コンピュータプログラムＰＧ＿Ｄは、プログラムがプロセッサＰＲＯＣ＿Ｄによって実行されると、上記で説明されるものなどの復号方法のアクションを実施するための命令を含む。

初期化において、コンピュータプログラムＰＧ＿Ｄのコード命令は、プロセッサＰＲＯＣ＿Ｄによって実行される前に、例えば、ＲＡＭメモリ（図示せず）にロードされる。処理ユニットＵＴ＿ＤのプロセッサＰＲＯＣ＿Ｄは、具体的には、コンピュータプログラムＰＧ＿Ｄの命令に従って、上記で説明される復号方法のアクションを実施する。

一実施形態によれば、復号デバイスＤＥＣは、例えば、端末に含まれる。

８．画像処理への本発明の例示的な適用
上記で既に説明したように、Ｎ個の再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎ及びＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎは、ユーザに必要な中間ビューの画像を合成するために使用することができる。

図１４に示されるように、ユーザが任意のビューの画像の合成を必要とする事例では、マスタビューと見なされるビューＩＶＤ_１、…、ＩＶＤ_ｎのｎ個の最初の再構築済みの画像は、Ｓ１において、画像合成モジュールに送信される。

ビューのＮ－ｎ個の処理済み且つ再構築済みの画像ＩＶＴＤ_ｎ＋１、…、ＩＶＴＤ_Ｎは、ビューの追加の画像として、画像の合成において使用できるようにするため、Ｓ２において、それらの画像とそれぞれ関連付けられた復号済みの画像処理説明情報を使用して、処理する必要があり得る。

処理Ｓ２が完了すると、ビューのＮ－ｎ個の再構築済みの画像ＩＶＤ_ｎ＋１、…、ＩＶＤ_Ｎが得られる。

次いで、Ｎ－ｎ個の再構築済みの画像ＩＶＤ_ｎ＋１、…、ＩＶＤ_Ｎは、Ｓ３において、画像合成モジュールに送信される。

Ｓ４では、ｎ個の最初の再構築済みのビューの画像ＩＶＤ_１、…、ＩＶＤ_ｎの少なくとも１つ及び潜在的にはＮ－ｎ個の再構築済みのビューのＮ－ｎ個の画像ＩＶＤ_ｎ＋１、…、ＩＶＤ_Ｎの少なくとも１つを使用して、ビューの画像が合成される。

次いで、合成Ｓ４が完了すると、合成ビューの画像ＩＶ_ＳＹが得られる。

ｎ個の再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎもまた処理Ｓ２を行えることに留意すべきである。そのような処理Ｓ２は、表される視野角がｎ個の再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎの１つ又は複数の視野角と一致しないビューの画像をユーザＵＴが必要とする事例において必要であることが分かる。例えば、ユーザＵＴが１２０×９０の視野を表すビューの画像を要求する一方で、ｎ個の再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎの各々は３６０×１８０の視野角を表す場合がある。再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎに対する処理のそのような可能性は、図１４の破線矢印によって表されている。それに加えて、図８及び９を参照して説明される処理のタイプに関連して、再構築済みの画像ＩＶＤ_１、…、ＩＶＤ_ｎは、Ｎ－ｎ個の他の画像ＩＶ_ｎ＋１、…、ＩＶ_Ｎの処理の間に使用することができる。

ここでは、図１５Ａ～１５Ｃを参照して、処理済み且つ再構築済みの画像ＩＶＴＤ_ｋのデータに適用された処理の第１の実施形態について説明する。そのような処理は、図１のＣ１１ｂにおける符号化前にサンプリングされた対応するビューの画像ＩＶ_ｋの初期の解像度を得るものである。

図１５Ａの例では、符号化前に適用された処理は、図５Ａに示されるような画像ＩＶ_ｋの領域Ｚ４の垂直方向のダウンサンプリングであると想定される。

処理済み且つ再構築済みの画像ＩＶＴＤ_ｋに適用された処理は、画像ＩＶ_ｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－画像ＩＶ_ｋのダウンサンプリング済みの領域Ｚ４の場所
などを使用して、図５Ａにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ４に適用するものである。

図１５Ｂの例では、符号化前に適用された処理は、図５Ｂに示されるような画像ＩＶ_ｋの領域Ｚ５の水平方向のダウンサンプリングであると想定される。

処理済み且つ再構築済みの画像ＩＶＴＤ_ｋに適用された処理は、画像ＩＶ_ｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－画像ＩＶ_ｋのダウンサンプリング済みの領域Ｚ５の場所
などを使用して、図５Ｂにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ５に適用するものである。

図１５Ｃの例では、符号化前に適用された処理は、図５Ｃに示されるような画像ＩＶ_ｋ全体のダウンサンプリングであると想定される。

処理済み且つ再構築済みの画像ＩＶＴＤ_ｋに適用された処理は、画像ＩＶ_ｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）
などを使用して、図５Ｃにおいて適用されたダウンサンプリングに対応するアップサンプリングを画像ＩＶＴＤ_ｋの画像データのすべてに適用するものである。

図１５Ｄの例では、符号化前に適用された処理は、図５Ｄに示されるような画像ＩＶ_ｋの領域Ｚ６の水平方向と垂直方向の両方のダウンサンプリングであると想定される。

処理済み且つ再構築済みの画像ＩＶＴＤ_ｋに適用された処理は、画像ＩＶ_ｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－画像ＩＶ_ｋのダウンサンプリング済みの領域Ｚ６の場所
などを使用して、図５Ｄにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ６に適用するものである。

ここでは、図１６を参照して、処理済み且つ再構築済みの画像ＩＶＴＤ_ｋのデータに適用された処理の第２の実施形態について説明する。そのような処理は、画像ＩＶ_ｋの符号化前にフィルタリングされているビューの画像ＩＶ_ｋの１つ又は複数の輪郭を復元するものである。

図１６の例では、符号化前に適用された処理は、図６に示されるような画像ＩＶ_ｋの輪郭ＥＤ１及びＥＤ２のフィルタリングであると想定される。

次いで、処理済み且つ再構築済みのビューの画像ＩＶＴＤ_ｋに適用された処理は、適用されたフィルタリングについて説明する情報を使用して、具体的には、フィルタリングされなかった各画素に対する事前に定義された値（具体的には、事前に定義された値ＹＵＶ＝０００）などを使用して、画像ＩＶ_ｋの輪郭ＥＤ１及びＥＤ２を復元するものである。

ここでは、図１７を参照して、処理済み且つ再構築済みの画像ＩＶＴＤ_ｋのデータに適用された処理の第３の実施形態について説明する。そのような処理は、図８の処理の実施形態に従って符号化前に計算されたビューの画像ＩＶ_ｋの画素を再構築するものである。

次いで、処理済み且つ再構築済みの画像ＩＶＴＤ_ｋに適用された処理は、
－データ信号において読み取られたインジケータなど、計算されたビューの画像ＩＶ_ｋの画素のインジケータを使用して、符号化において計算された上記ビューの画像ＩＶ_ｋの画素を回収するもの、
－画像ＩＶ_ｋの画素を計算するために使用された画像ＩＶ_ｊにおける画素の場所についての情報を使用して、第１の復号方法ＭＤ１を使用して再構築された少なくとも１つの他のビューの画像ＩＶ_ｊ（１≦ｊ≦ｎ）の画素を回収するもの、
－潜在的には、処理済みの画素が第２の復号方法ＭＤ２を使用して復号された少なくとも１つの他のビューの画像ＩＶ_ｌ（ｎ＋１≦ｌ≦Ｎ）の画素を回収するもの
である。

次いで、処理済みのデータＤＴ_ｋの復号は、
－少なくとも１つの他のビューの画像ＩＶ_ｊ（１≦ｊ≦ｎ）の画素に基づいて、
－潜在的には、少なくとも１つの他のビューの画像ＩＶ_ｌ（ｎ＋１≦ｌ≦Ｎ）の画素に基づいて、
画像ＩＶ_ｋの画素を計算するものである。

前述の計算は、例えば、画像ＩＶ_ｋの画素を、再構築済みの画像ＩＶ_ｊの画素と、そして潜在的には再構築済みの画像ＩＶ_ｌの画素と組み合わせるものである。

ここでは、図１８を参照して、処理済み且つ再構築済みの画像ＩＶＴＤ_ｋのデータに適用された処理の第４の実施形態について説明する。そのような処理は、図９の処理の実施形態に従って符号化前に計算されたビューの画像ＩＶ_ｋの画素を再構築するものである。

処理は、最初に、第２の復号方法ＭＤ２による再構築済みの画像ＩＶＤ_ｏｎｅに適用される。次いで、その処理は、画像ＩＶＤ_ｏｎｅに基づいて、
－第２の復号方法ＭＤ２に従って復号された画像ＩＶ_ｋの処理済みのデータＤＴ’_ｋに基づいて、
－復号されたビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶＤｓの処理済みのデータＤＴｓに基づいて、
画像ＩＶ_ｋの画素を再構築するものである。

９．本発明の例示的な具体的な応用
第１の例によれば、４０９６×２０４８の画素の解像度を有するビューの６つの画像が３６０°タイプの６つのカメラによってそれぞれ捕捉されることが考慮される。６つの対応する３６０°深度マップを提供するため、深度推定方法が適用される。

ビューＶ０の画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、ビューＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５の５つの他の画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５は、符号化前にクロッピングが行われる。画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々に適用された処理は、これらの画像の各々の右側及び左側の定数（例えば、２００）の列を除去するものである。除去される列の数は、視野角が３６０°から１２０°に低減されるように選択されている。同様に、画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々に適用された処理は、これらの画像の各々の上部及び下部からそれぞれ定数（例えば、１００）の行を削除するものである。削除される行の数は、視野角が１８０°から１２０°に低減されるように選択されている。

ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５に関連しては、１に設定される。

ビューの画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化される。単一のデータ信号Ｆ１_０が生成され、上記データ信号は、画像ＩＶ０の符号化済みのオリジナルデータ及びｆｌａｇ＿ｐｒｏｃ＝０という情報を含む。

画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々のクロッピング後の残りの領域のデータは、ＨＥＶＣコーダを使用して符号化される。５つのデータ信号Ｆ２_１、Ｆ２_２、Ｆ２_３、Ｆ２_４、Ｆ２_５が生成され、データ信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々のクロッピング後の残りの領域の符号化済みのデータを含む。データ信号Ｆ１_０、Ｆ２_１、Ｆ２_２、Ｆ２_３、Ｆ２_４、Ｆ２_５は、連結され、次いで、デコーダに送信される。

５つのデータ信号Ｆ２_１、Ｆ２_２、Ｆ２_３、Ｆ２_４、Ｆ２_５は、以下の方法で、クロッピング済みの領域の座標をさらに含み得る。
ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５：ｆｌａｇ＿ｐｒｏｃ＝１、左上のポイント（ｈ，ｖ）＝（０＋２００，０＋１００）、右下のポイント（ｈ，ｖ）＝（４０９６－２００，２０４８－１００）、「ｈ」は水平方向、「ｖ」は垂直方向。

デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。

ｆｌａｇ＿ｐｒｏｃ＝０の場合は、ビューの画像ＩＶ０は、ＨＥＶＣデコーダを使用して再構築される。

ｆｌａｇ＿ｐｒｏｃ＝１の場合は、処理済み且つ符号化済みのデータに相当する画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５は、ＨＥＶＣデコーダを使用して再構築される。クロッピングによって削除されたこれらの画像のデータの再構築は不可能であるため、再構築された画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５には、処理は適用されない。しかし、合成アルゴリズムは、ユーザに必要な任意のビューの画像を生成するために、再構築された６つの画像ＩＶ０、ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５を使用する。

５つのデータ信号Ｆ２_１、Ｆ２_２、Ｆ２_３、Ｆ２_４、Ｆ２_５がクロッピング済みの領域の座標をさらに含む事例では、これらの座標は、ユーザに必要なビューの画像を生成するために、合成アルゴリズムによって使用される。

第２の例によれば、３６０°タイプの１０個のカメラをシミュレーションするためにコンピュータによって生成された４０９６×２０４８のそれぞれの画素の解像度を有する１０個の画像ＩＶ０、…、ＩＶ９が考慮される。画像ＩＶ０とＩＶ９は処理しないことが決定されている。画像ＩＶ１～ＩＶ８のテクスチャ成分は、その部分に対して、水平方向に２倍及び垂直方向に２倍のダウンサンプリングが行われ、対応する深度成分は、その部分に対して、水平方向に４倍及び垂直方向に４倍のダウンサンプリングが行われる。その結果、画像ＩＶ１～ＩＶ８のテクスチャ成分の解像度は２０４８×１０２４になり、画像ＩＶ１～ＩＶ８の深度成分の解像度は１０２４×５１２になる。

画像ＩＶ１～ＩＶ８に関連する画像データなどの処理データは、画像ＩＶ１～ＩＶ８の解像度２０４８×１０２４の８つのダウンサンプリング済みのテクスチャ成分と、画像ＩＶ１～ＩＶ８の解像度１０２５×５１２の８つのダウンサンプリング済みの深度成分とを含む。

それに加えて、前述の処理データは、ビュー１～８の各画像ＩＶ１～ＩＶ８に対するダウンサンプリングファクタを示すテキストタイプのデータを含む。それらのデータは、
－ＩＶ１～ＩＶ８のテクスチャ：ｓｅ＿ｈ＝２、ｓｅ＿ｖ＝２（「ｓｅ」はダウンサンプリング、「ｈ」は水平方向、「ｖ」は垂直方向）
－ＩＶ１～ＩＶ８の深度：ｓｅ＿ｈ＝４、ｓｓ＿ｖ＝４
のように記載される。

ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０及びＩＶ９に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１～ＩＶ８に関連しては、１に設定される。

画像ＩＶ０及びＩＶ９は、ＭＶ－ＨＥＶＣタイプのコーダを使用して同時に符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０及びＩＶ９の符号化済みのオリジナルデータを含む単一のデータ信号Ｆ１が生成される。

また、画像ＩＶ１～ＩＶ８の２０４８×１０２４の解像度の８つのダウンサンプリング済みのテクスチャ成分及び画像ＩＶ１～ＩＶ８の１０２５×５１２の解像度の８つのダウンサンプリング済みの深度成分を含む画像ＩＶ１～ＩＶ８に関連する画像データなどの処理データも、ＭＶ－ＨＥＶＣタイプのコーダを使用して同時に符号化され、それにより、ダウンサンプリング済み且つ符号化済みのテクスチャ及び深度データと関連付けられたｆｌａｇ＿ｐｒｏｃ＝１という情報を含む単一のデータ信号Ｆ２が生成される。ビュー１～８の各画像ＩＶ１～ＩＶ８に対するダウンサンプリングファクタを示すテキストタイプのデータは、その部分に対して、ロスレス符号化される。データ信号Ｆ１とＦ２は、連結され、次いで、デコーダに送信される。

ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０及びＩＶ９は、ＭＶ－ＨＥＶＣデコーダを使用して、同時に再構築される。次いで、それらの初期の解像度である再構築済みの画像ＩＶＤ０及びＩＶＤ９が得られる。

ｆｌａｇ＿ｐｒｏｃ＝１の場合は、それらのそれぞれのダウンサンプリング済み且つ符号化済みのテクスチャ及び深度データに相当する画像ＩＶ１～ＩＶ８は、ＭＶ－ＨＥＶＣデコーダを使用して、同時に再構築される。次いで、ダウンサンプリング済み且つ再構築済みの画像ＩＶＤＴ１～ＩＶＤＴ８が得られる。８つの画像ＩＶ１～ＩＶ８の各々に相当するテキストタイプのデータも復号され、各画像ＩＶ１～ＩＶ８に対して使用されたダウンサンプリングファクタが提供される。

次いで、ダウンサンプリング済み且つ再構築済みの画像ＩＶＤＴ１～ＩＶＤＴ８は、それらの対応するダウンサンプリングファクタを使用して処理される。処理が完了すると、再構築済みの画像ＩＶＤ１～ＩＶＤ８が得られ、それらの８つのそれぞれのテクスチャ成分は、４０９６×２０４８のそれらの初期の解像度であり、それらの８つのそれぞれの深度成分は、４０９６×２０４８のそれらの初期の解像度である。

合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、それらの初期の解像度のこうして構築された１０個のビューの画像を使用する。

第３の例によれば、３６０°タイプの４つのカメラをシミュレーションするためにコンピュータによって生成された４０９６×２０４８のそれぞれの画素の解像度を有する３つの画像ＩＶ０～ＩＶ２が考慮される。次いで、３つのテクスチャ成分及び３つの対応する深度成分が得られる。画像ＩＶ０は処理せず、画像ＩＶ１及びＩＶ２のそれぞれに対するオクルージョンマップを抽出することが決定されている。その目的のため、画像ＩＶ１と画像ＩＶ０との間の視差推定が行われ、画像ＩＶ１のオクルージョンマスク（すなわち、画像ＩＶ０には見られない画像ＩＶ１の画素）が生成される。また、画像ＩＶ２と画像ＩＶ０との間でも視差推定が行われ、画像ＩＶ２のオクルージョンマスクが生成される。

画像ＩＶ１及びＩＶ２に関連する画像データなどの処理データは、画像ＩＶ１及びＩＶ２のオクルージョンマスクの２つのテクスチャ成分と、画像ＩＶ１及びＩＶ２のオクルージョンマスクの２つの深度成分とを含む。

ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１及びＩＶ２に関連しては、１に設定される。

画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化される。単一のデータ信号Ｆ１_０が生成され、上記データ信号は、画像ＩＶ０の符号化済みのオリジナルデータ及びｆｌａｇ＿ｐｒｏｃ＝０という情報を含む。

画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの画像データ（テクスチャと深度）は、ＨＥＶＣコーダを使用して符号化される。２つのデータ信号Ｆ２_１、Ｆ２_２が生成され、データ信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの符号化済みの画像データを含む。データ信号Ｆ１_０、Ｆ２_１、Ｆ２_２は、連結され、次いで、デコーダに送信される。

ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０は、ＨＥＶＣデコーダを使用して再構築される。

ｆｌａｇ＿ｐｒｏｃ＝１の場合は、画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの符号化済みの画像データ（テクスチャと深度）に相当する画像ＩＶ１、ＩＶ２は、ＨＥＶＣデコーダを使用して再構築される。オクルージョン検出の完了において削除されたこれらの画像のデータの再構築は不可能であるため、再構築された画像ＩＶ１、ＩＶ２には、処理は適用されない。しかし、合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された画像ＩＶ０、ＩＶ１、ＩＶ２を使用することができる。

第４の例によれば、４０９６×２０４８の画素の解像度を有する２つの画像ＩＶ０及びＩＶ１が３６０°タイプの２つのカメラによってそれぞれ捕捉されることが考慮される。第１のビューの画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、第２のビューの画像ＩＶ１は、第２の符号化方法ＭＣ２による符号化前に処理される。そのような処理は、
－フィルタ（例えば、ソーベルフィルタなど）を使用して画像ＩＶ１の輪郭を抽出することと、
－輪郭の周りの領域を増大するために、例えば、数理形態学作用素を使用して、輪郭の拡大を適用することと
を含む。

画像ＩＶ１に関連する画像データなどの処理データは、輪郭の周りの領域内の画素と、輪郭の周りの領域外に位置する画素のそれぞれに相当する０に設定された画素とを含む。

それに加えて、例えば、輪郭の周りの領域外に位置する画素が０に設定されることを示すマーキング情報（例えば、ＹＵＶ＝０００）の形態で、テキストタイプのデータが生成される。０に設定された画素は、符号化も、デコーダへの信号伝達も行われない。

画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０の符号化済みのオリジナルデータを含むデータ信号Ｆ１が生成される。

画像ＩＶ１の輪郭の周りの領域の画像データは、ＨＥＶＣコーダを使用して符号化され、マーキング情報は、ロスレスコーダを使用して符号化される。次いで、データ信号Ｆ２が生成され、上記信号は、ｆｌａｇ＿ｐｒｏｃ＝１という情報と、画像ＩＶ１の輪郭の周りの領域の符号化済みの画素と、符号化済みのマーキング情報のアイテムとを含む。

ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０は、ＨＥＶＣデコーダを使用して、そのオリジナル解像度で再構築される。

ｆｌａｇ＿ｐｒｏｃ＝１の場合は、画像ＩＶ１の輪郭の周りの領域の画像データに相当する画像ＩＶ１は、ＨＥＶＣデコーダによって、０に設定された値の上記領域を取り囲む画素の復元を可能にするマーキング情報を使用して、再構築される。

合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された２つの画像ＩＶ０及びＩＶ１を使用することができる。

第５の例によれば、４０９６×２０４８の画素の解像度を有する４つの画像ＩＶ０～ＩＶ３が３６０°タイプの４つのカメラによってそれぞれ捕捉されることが考慮される。画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、画像ＩＶ１～ＩＶ３は、第２の符号化方法ＭＣ２による符号化前に処理される。そのような処理は、画像ＩＶ１～ＩＶ３のフィルタリングであり、その間、関心領域ＲＯＩが計算される。関心領域は、例えば、それらが多くの詳細を含むことを理由に最も関連性があると考えられる各画像ＩＶ１～ＩＶ３の１つ又は複数の領域を含む。

そのようなフィルタリングは、例えば、以下の２つの方法のうちの１つに従って実行される。
－フィルタリングによって各画像ＩＶ１～ＩＶ３の顕著性マップを計算する。
－各画像ＩＶ１～ＩＶ３の深度マップをフィルタリングする。深度マップは、各テクスチャ画素に対して、３Ｄシーンにおいて近距離深度値であるか又は遠距離深度値であるかによって特徴付けられる。閾値が定義され、この閾値を下回って位置する画像ＩＶ１、ＩＶ２、ＩＶ３の各画素は、カメラに近いシーンの物体と関連付けられる。次いで、この閾値を下回って位置する画素はすべて、関心領域であると考えられる。

画像ＩＶ１～ＩＶ３に関連する画像データなどの処理データは、それらのそれぞれの関心領域内の画素を含み、これらの関心領域外に位置する画素にそれぞれ相当する画素は、０に設定される。

それに加えて、例えば、関心領域外に位置する画素が０に設定されることを示すマーキング情報の形態で、テキストタイプのデータが生成される。０に設定された画素は、符号化も、デコーダへの信号伝達も行われない。

画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０の符号化済みのオリジナルデータを含むデータ信号Ｆ１_０が生成される。

各画像ＩＶ１、ＩＶ２、ＩＶ３の関心領域の画像データは、ＨＥＶＣコーダを使用して符号化され、マーキング情報は、ロスレスコーダを使用して符号化される。３つのデータ信号Ｆ２_１、Ｆ２_２、Ｆ２_３が生成され、これらの信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２、ＩＶ３の各々の関心領域の符号化済みの画像データと、符号化済みのマーキング情報の対応するアイテムとを含む。データ信号Ｆ１_０、Ｆ２_１、Ｆ２_２、Ｆ２_３は、連結され、次いで、デコーダに送信される。

ｆｌａｇ＿ｐｒｏｃ＝１の場合は、そのそれぞれの関心領域の画像データに相当する各画像ＩＶ１～ＩＶ３は、ＨＥＶＣデコーダによって、０に設定された値の上記領域を取り囲む画素の復元を可能にするマーキング情報を使用して、再構築される。

合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された４つの画像ＩＶ０、ＩＶ１、ＩＶ２、ＩＶ３を直接使用することができる。

言うまでもなく、上記で説明される実施形態は、完全に非限定的な指摘として純粋に提供され、当業者によって、本発明の範囲から逸脱することなく、多くの変更を容易に行うことができる。

Claims

符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－前記ビューの前記画像を符号化するために第１の符号化方法又は第２の符号化方法を選択すること（Ｃ１）と、
－選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報（ｆｌａｇ＿ｐｒｏｃ）を含むデータ信号を生成すること（Ｃ１０、Ｃ１２ａ；Ｃ１０、Ｃ１２ｂ；Ｃ１０、Ｃ１２ｃ）と、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化すること（Ｃ１１ａ）であって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化すること（Ｃ１１ａ）と、
－前記第２の符号化方法が選択された場合は、
－前記ビューの前記画像の処理済みのデータを符号化すること（Ｃ１１ｂ）であって、前記データが、前記ビューの前記画像の前記オリジナルデータに適用された画像処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化すること（Ｃ１１ｂ）と、
－適用された前記画像処理の説明情報を符号化すること（Ｃ１１ｂ）と
を含む、方法であり、
－前記生成されたデータ信号が、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記画像処理の前記符号化済みの説明情報
をさらに含む、方法。
復号デバイスによって実施される、多数のビューのビュー形成部分の画像を表すデータ信号を復号するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ること（Ｄ１）と、
－前記第１の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ａ）と、
－前記符号化済みのデータに基づいて、前記ビューの画像を再構築すること（Ｄ１２ａ）であって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築すること（Ｄ１２ａ）と、
－前記第２の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ｂ；Ｄ１１ｃ）と、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの前記画像の処理済みのデータ及び前記ビューの前記画像の前記オリジナルデータに適用された画像処理の説明情報を再構築すること（Ｄ１２ｂ）と、
を含む、方法。
－前記ビューの前記画像の前記処理済みのデータが、前記ビューの前記画像のクロッピングの適用後の削除されなかった前記ビューの前記画像のデータであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における１つ又は複数のクロッピング済みの領域の場所についての情報である、請求項１又は２に記載の方法。
－前記ビューの前記画像の前記処理済みのデータが、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１又は２に記載の方法。
－前記ビューの前記画像の前記処理済みのデータが、フィルタリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１又は２に記載の方法。
－前記ビューの前記画像の前記処理済みのデータが、前記多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応する前記ビューの前記画像の画素であり、
－前記画像処理の前記説明情報が、別のビューの前記画像に見られる前記ビューの前記画像の前記画素のインジケータを含む、請求項１又は２に記載の方法。
多数のビューのビュー形成部分の画像を符号化するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、符号化デバイスであり、
－前記ビューの前記画像のデータを符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化することであって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－前記第２の符号化方法が選択された場合は、
－前記ビューの前記画像の処理済みのデータを符号化することであって、前記データが、前記ビューの前記画像の前記オリジナルデータに適用された画像処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－適用された前記画像処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－前記生成されたデータ信号が、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記画像処理の前記符号化済みの説明情報
をさらに含む、符号化デバイス。
多数のビューのビュー形成部分の画像を表すデータ信号を復号するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、復号デバイスであり、
－前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ることと、
－前記第１の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築することと、
－前記第２の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記ビューの前記再構築済みの画像が、前記処理済みのデータを得るために使用された画像処理の説明情報と関連付けられた前記ビューの前記画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイス。
コンピュータ上で実行されると、請求項１及び３～６のいずれか一項に記載の符号化方法又は請求項２及び３～６のいずれか一項に記載の復号方法のステップを実行するためのプログラムコード命令を含む命令を含むコンピュータプログラム。
コンピュータによって読み取ることができ、請求項９に記載のコンピュータプログラムの命令を含む情報媒体。
多数のビューのビュー形成部分の画像を表す符号化済みのデータ信号であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、データ信号であり、
－前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムと、
－前記第１の復号方法である場合は、前記ビューの画像を再構築するための前記ビューの前記画像と関連付けられた符号化済みのデータであって、前記再構築済みのビューの前記画像が、前記ビューの前記画像のオリジナルデータを含む、符号化済みのデータと、
－前記第２の復号方法である場合は、前記ビューの画像を再構築するための前記ビューの前記画像と関連付けられた符号化済みのデータであって、前記再構築済みのビューの前記画像が、前記処理済みのデータを得るために使用された画像処理の説明情報と関連付けられた前記ビューの前記画像の処理済みのデータを含む、符号化済みのデータと
を含む、データ信号。
－前記ビューの前記画像の前記処理済みのデータが、前記ビューの前記画像のクロッピングの適用後の削除されなかった前記ビューの前記画像のデータであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における１つ又は複数のクロッピング済みの領域の場所についての情報である、請求項１１に記載のデータ信号。
－前記ビューの前記画像の前記処理済みのデータが、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１１に記載のデータ信号。
－前記ビューの前記画像の前記処理済みのデータが、フィルタリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１１に記載のデータ信号。
－前記ビューの前記画像の前記処理済みのデータが、前記多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応する前記ビューの前記画像の画素であり、
－前記画像処理の前記説明情報が、別のビューの前記画像に見られる前記ビューの前記画像の前記画素のインジケータを含む、請求項１１に記載のデータ信号。