JP2019534620A - 広視野ビデオを符号化及び復号する方法及び装置 - Google Patents

Abstract

広視野ビデオをコード化してビットストリームにする方法及び装置が開示される。上記広視野ビデオの少なくとも１つのピクチャは、表面として表され、上記表面は、投影関数を使用して少なくとも１つの２Ｄピクチャに投影される。上記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、上記投影関数から、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックが決定され、上記少なくとも１つの近隣のブロックは、上記表面上の上記現在のブロックに空間的に隣接する。次いで、上記現在のブロックは、少なくとも上記決定された近隣のブロックを使用して符号化される。また、対応する復号方法及び装置も開示される。

Description

本開示は、没入型ビデオの符号化及び復号に関し、例えば、そのような没入型ビデオがバーチャルリアリティ、オーグメンテッドリアリティ又はオーグメンテッドバーチャリティに対してシステムで処理される際のもの、及び、例えば、頭部装着型表示デバイスで表示される際のものに関する。

最近は、利用可能な広視野コンテンツ（最大３６０°）が増加している。そのようなコンテンツは、潜在的には、頭部装着型ディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォン及び同様のものなどの没入型表示デバイスでコンテンツを見ているユーザが完全に見ることができるものではない。それは、ある瞬間に、ユーザがコンテンツの一部しか見ることができないことを意味する。しかし、ユーザは、典型的には、頭の移動、マウスの移動、タッチスクリーン、音声及び同様のものなどの様々な手段によって、コンテンツ内でナビゲートすることができる。典型的には、このコンテンツを符号化及び復号することが望ましい。

本原理の態様によれば、広視野ビデオをコード化してビットストリームにする方法が開示される。上記広視野ビデオの少なくとも１つのピクチャは、３Ｄ表面として表され、上記３Ｄ表面は、投影関数を使用して少なくとも１つの２Ｄピクチャに投影される。符号化方法は、上記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、
− 上記投影関数から、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックを決定することであって、上記少なくとも１つの近隣のブロックが、上記３Ｄ表面の上記現在のブロックに空間的に隣接する、決定することと、
− 少なくとも上記決定された近隣のブロックを使用して上記現在のブロックを符号化することと
を含む。

本原理は、３Ｄ表面上の空間的に隣接する近隣のブロックが現在のブロックのコード化に対して利用可能である際に、３Ｄ表面を１つ又は複数のピクチャに投影するために使用される投影関数に従って、コード化予定の現在のブロックに対する新しい近隣のブロックを決定することを可能にする。例えば、現在のブロックが２Ｄ長方形ピクチャの境界又は立方体投影の一面の境界に位置する際、既にコード化済み及び復号済みの３Ｄ表面上の現在のブロックに空間的に隣接するブロックを現在のブロックのコード化のための新しい近隣のブロックとして決定することができる。現在のブロックのそのような適応させた近隣のブロックは、そのような３Ｄ表面が２Ｄピクチャに投影される際、３Ｄ表面の領域の空間的に隣接する近隣のブロックの復元を可能にする。

適応させた近隣のブロックは、現在のブロックを符号化するための２Ｄビデオコーダのいかなる符号化モジュールによっても使用することができ、従って、広視野ビデオに適用される２Ｄビデオコード化スキームの圧縮効率の増加を可能にする。

本開示の実施形態によれば、上記現在のブロックを符号化することは、
− 上記現在のブロックに対するイントラ予測モードをコード化するための最確モードリストを決定することと、
− 上記現在のブロックに対する動きベクトルをコード化するための動きベクトル予測因子を導出することと、
− 上記現在のブロックをコード化するためのインター予測マージモードにおける動き情報を導出することと、
− 上記現在のブロックをコンテキスト算術エントロピー符号化することと、
− 上記現在のブロックの少なくとも１つのサンプルをサンプル適応オフセットフィルタリングすることと
を少なくとも含む群に属する。

本開示の別の実施形態によれば、符号化方法は、上記投影関数に関連する情報のアイテムをコード化することをさらに含む。

また、広視野ビデオを表すビットストリームを復号する方法も開示される。そのような復号方法は、３Ｄ表面として表される広視野ビデオのピクチャの投影を表す上記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、
− 上記投影関数から、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックを決定することであって、上記少なくとも１つの近隣のブロックが、上記３Ｄ表面の上記現在のブロックに空間的に隣接する、決定することと、
− 少なくとも上記決定された近隣のブロックを使用して上記現在のブロックを復号することと
を含む。

本開示の実施形態によれば、上記現在のブロックを復号することは、
− 上記現在のブロックに対するイントラ予測モードを復号するための最確モードリストを決定することと、
− 上記現在のブロックに対する動きベクトルを再構成するための動きベクトル予測因子を導出することと、
− 上記現在のブロックを再構成するためのインター予測マージモードにおける動き情報を導出することと、
− 上記現在のブロックをコンテキスト算術エントロピー復号することと、
− 上記現在のブロックの少なくとも１つのサンプルをフィルタリングするためのサンプル適応オフセットと
を少なくとも含む群に属する。

本開示の別の実施形態によれば、上記復号方法は、上記投影関数に関連する情報のアイテムを復号することをさらに含む。

本開示の別の実施形態によれば、３Ｄ表面は球体であり、投影関数は正距円筒投影である。この実施形態の変形形態によれば、現在のブロックは、２Ｄピクチャの右側の境界に位置し、少なくとも１つの近隣のブロックは、２Ｄピクチャの左側の境界に位置する。

本開示の別の実施形態によれば、上記現在のブロックを符号化又は復号することは、上記少なくとも１つの近隣のブロックから得られた少なくとも予測データを含む予測因子リストを構築することを含み、上記現在のブロックからのデータは、上記予測因子リストから選択された予測データの候補を使用してコード化又は復号される。

この実施形態によれば、現在のブロックの新しい決定された近隣のブロックによって提供された予測データは、現在のブロックをコード化又は復号するための予測因子リストに追加される。例えば、そのような予測因子リストは、現在のブロックがイントラコード化される際は、イントラ予測モードの最確モードであり得る。現在のブロックがインター予測される際は、予測因子リストは、現在のブロックの動きベクトルを予測するための動きベクトル予測因子のセット又は現在のブロックが現在のブロックを予測するための動き情報を継承する動き候補のセットに相当し得る。

また、予測因子リストは、現在のブロックが現在のブロックの再構成された画素を処理するために継承するフィルタリングパラメータ（例えば、ＨＥＶＣ規格からＳＡＯとしても知られているサンプル適応オフセットパラメータ）にも相当し得る。

また、広視野ビデオをコード化してビットストリームにする装置も開示される。そのような装置は、３Ｄ表面として表される広視野ビデオのピクチャの投影を表す上記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、上記投影関数から、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックを決定する手段であって、上記少なくとも１つの近隣のブロックが、上記３Ｄ表面の上記現在のブロックに空間的に隣接する、手段と、少なくとも上記決定された近隣のブロックを使用して上記現在のブロックを符号化する手段とを含む。

また、広視野ビデオを表すビットストリームを復号する装置も開示される。上記装置は、３Ｄ表面として表される広視野ビデオのピクチャの投影を表す上記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、
− 上記投影関数から、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックを決定する手段であって、上記少なくとも１つの近隣のブロックが、上記３Ｄ表面の上記現在のブロックに空間的に隣接する、手段と、
− 少なくとも上記決定された近隣のブロックを使用して上記現在のブロックを復号する手段と
を含む。

また、コード化済みの広視野ビデオを表すビットストリームも開示される。上記広視野ビデオの少なくとも１つのピクチャは、３Ｄ表面として表され、上記３Ｄ表面は、投影関数を使用して少なくとも１つの２Ｄピクチャに投影される。ビットストリームは、上記２Ｄピクチャの少なくとも１つの現在のブロックを表すコード化済みのデータを含み、上記現在のブロックは、上記２Ｄピクチャの上記現在のブロックに空間的に隣接していない上記２Ｄピクチャの少なくとも１つの近隣のブロックを使用してコード化され、上記少なくとも１つの近隣のブロックは、上記３Ｄ表面の上記現在のブロックに空間的に隣接する。

本開示の実施形態によれば、ビットストリームは、上記投影関数に関連する情報のアイテムを表すコード化済みのデータをさらに含む。

本開示の別の実施形態によれば、ビットストリームは、非一時的なプロセッサ可読媒体上に格納される。

また、広視野ビデオを表すビットストリームを復号する装置を含む没入型レンダリングデバイスも開示される。

また、符号化してビットストリームにされた広視野ビデオの没入型レンダリングのシステムも開示される。そのようなシステムは、
− データネットワークから上記ビットストリームを受信するネットワークインタフェースと、
− 本明細書で開示される実施形態のいずれか１つに従って上記ビットストリームを復号する装置と、
− 復号済みの広視野ビデオをレンダリングするための没入型レンダリングデバイスと
を少なくとも含む。

一実装形態によれば、本明細書において上記で説明されるような広視野ビデオをコード化する方法又は広視野ビデオを表すビットストリームを復号する方法の異なるステップは、広視野ビデオをコード化する装置又は広視野ビデオを表すビットストリームを復号する装置のデータプロセッサによる実行が意図されるソフトウェア命令を含む１つ又は複数のソフトウェアプログラム又はソフトウェアモジュールプログラムによって実装され、これらのソフトウェア命令は、本原理による方法の異なるステップの実行を命じるように設計される。

また、コンピュータによる又はデータプロセッサによる実行が可能なコンピュータプログラムも開示され、このプログラムは、本明細書において上記で言及されるような広視野ビデオをコード化する方法のステップ又は広視野ビデオを表すビットストリームを復号する方法のステップの実行を命じるための命令を含む。

このプログラムは、いかなるプログラミング言語も使用することができ、ソースコード、オブジェクトコード又はソースコードとオブジェクトコードとの間の中間コード（部分的にコンパイルされた形式など）の形式でも、他の望ましいいかなる形式でもあり得る。

情報キャリアは、プログラムの格納が可能ないかなる実体又は装置でもあり得る。例えば、キャリアは、ＲＯＭなどの格納手段（例えば、ＣＤ ＲＯＭ若しくは超小型電子回路ＲＯＭ）又は磁気記録手段（例えば、フロッピーディスク若しくはハードディスクドライブ）を含み得る。

また、情報キャリアは、無線によって又は他の手段によって、電気又は光ケーブルを介して搬送することができる電気又は光信号などの伝送可能キャリアであり得る。本原理によるプログラムは、特に、インターネットタイプのネットワークにアップロードすることができる。

代替として、情報キャリアは、プログラムが組み込まれた集積回路であり得、回路は、問題の方法を実行するように又は問題の方法を実行する際に使用されるように適応される。

一実施形態によれば、方法／装置は、ソフトウェア及び／又はハードウェアコンポーネントによって実装することができる。この点において、「モジュール」又は「ユニット」という用語は、この文書では、ソフトウェアコンポーネント、ハードウェアコンポーネント、又は、ソフトウェアコンポーネントとハードウェアコンポーネントのセットに同じようにうまく当てはめることができる。

ソフトウェアコンポーネントは、１つ又は複数のコンピュータプログラム、プログラムの１つ又は複数のサブプログラム、或いは、より一般的には、関連モジュールに対して本明細書において以下で説明されるような１つの機能又は１組の機能の実装が可能なプログラムの任意の要素又はソフトウェアの断片に相当する。そのようなソフトウェアコンポーネントは、物理的実体（端末、サーバなど）のデータプロセッサによって実行され、この物理的実体のハードウェア資源（メモリ、記録媒体、通信バス、入力／出力電子ボード、ユーザインタフェースなど）へのアクセスが可能である。

同じように、ハードウェアコンポーネントは、関連モジュールに対して本明細書において以下で説明されるような１つの機能又は１組の機能の実装が可能なハードウェアユニットのいかなる要素にも相当する。ハードウェアコンポーネントは、プログラム可能なハードウェアコンポーネント、又は、ソフトウェアの実行のための集積プロセッサ（例えば、集積回路）、スマートカード、メモリカード、ファームウェアの実行のための電子ボードなどを有するコンポーネントであり得る。

全方向ビデオに加えて、本原理は、広視野ビデオコンテンツ（例えば、１８０°）にも適用される。

本開示の実施形態の好ましい環境による符号化及び復号システムの機能の概要を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示による没入型ビデオレンダリングデバイスの第１の実施形態を表す。 本開示による没入型ビデオレンダリングデバイスの第１の実施形態を表す。 本開示による没入型ビデオレンダリングデバイスの第１の実施形態を表す。 球面Ｓから長方形ピクチャＦへの投影の例を示す。 ピクチャＦのＸＹ平面座標系を示す。 球体Ｓの角度座標系を示す。 立方体表面Ｓから６つのピクチャへの投影の例を示す。 立方体座標系を示す。 ２ＤピクチャＦのＸＹ平面座標系を示す。 ２Ｄピクチャに投影された立方体の６つの面のレイアウトを示す。 図１４Ｄに示されるレイアウトによる、対応する再構成された長方形ピクチャを示す。 従来のビデオコード化スキームからの因果的空間的近傍（causal spatial neighborhood）を示す。 正距円筒投影を使用して、球体として表される全方向ビデオが投影されている長方形ピクチャを示す。 図１４Ｄによる、立方体投影を使用して、立方体として表される全方向ビデオが投影されている長方形ピクチャ及び６つの面のレイアウトを示す。 本開示の実施形態による、全方向ビデオの投影である２Ｄピクチャの現在のブロックをコード化するための例示的な方法のブロック図を示す。 本開示の実施形態による、全方向ビデオをコード化してビットストリームにするための例示的な方法のブロック図を示す。 本開示の実施形態による、全方向ビデオの投影である２Ｄピクチャの現在のブロックを復号するための例示的な方法のブロック図を示す。 本開示の実施形態による、ビットストリームから、全方向ビデオの３Ｄピクチャを表す２Ｄピクチャの現在のブロックを復号するための例示的な方法のブロック図を示す。 一実施形態による、全方向ビデオを符号化してビットストリームにするための例示的な装置を示す。 一実施形態による、全方向ビデオを表すビットストリームを復号するための例示的な装置を示す。 本開示の実施形態による、最確イントラ予測モードを決定するための現在のブロックに対する適応させた近隣のブロックを示す。 本開示の実施形態による、動きベクトル予測因子又は動き情報を導出するための現在のブロックに対する適応させた近隣のブロックを示す。 本開示の実施形態による、コンテキスト算術バイナリコード化のためのコンテキストを導出するための現在のブロックに対する適応させた近隣のブロックを示す。 本開示の実施形態による、サンプル適応オフセットパラメータを導出するための現在のブロックに対する適応させた近隣のブロックを示す。 ＨＥＶＣにおけるイントラ予測方向を描写する図の例である。

広視野コンテンツは、数ある中でも特に、三次元コンピュータグラフィック画像シーン（３Ｄ ＣＧＩシーン）、ポイントクラウド又は没入型ビデオであり得る。そのような没入型ビデオを設計するため、例えば、バーチャルリアリティ（ＶＲ）、３６０、パノラマ、４πステラジアン、没入型、全方向、広視野など、多くの用語を使用することができる。

例えば、データネットワーク上での送信のために、全方向ビデオをコード化してビットストリームにするため、従来のビデオコーデック（ＨＥＶＣ、Ｈ．２６４／ＡＶＣなど）を使用することができる。従って、全方向ビデオの各ピクチャは、最初に、適切な投影関数を使用して１つ又は複数の２Ｄピクチャ（例えば、１つ又は複数の長方形ピクチャ）に投影される。実際には、全方向ビデオからのピクチャは、３Ｄ表面として表される。投影を容易にするため、通常は、投影に対して、球体、立方体又はピラミッドなどの簡単な凸状の表面が使用される。次いで、全方向ビデオを表す投影された２Ｄピクチャは、従来のビデオコーデックを使用してコード化される。

図１３Ａは、正距円筒投影を使用して、球体として表される表面Ｓにマッピングされた全方向ビデオのフレームを１つの長方形ピクチャＩに投影する例を示す。

図１４Ａは、ここでは立方体として表される表面Ｓにマッピングされた全方向ビデオのフレームを６つのピクチャ又は面に投影する別の例を示す。図１４Ｂに座標系が示される立方体の面は、場合により、図１４Ｄに示されるレイアウトを使用して、図１４Ｅに示されるような１つの長方形ピクチャに再構成することができる。

次いで、全方向ビデオをコード化する場合、表面の投影された長方形ピクチャは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの従来のビデオコード化規格を使用してコード化することができる。そのような規格によれば、２Ｄピクチャは、最初に、２Ｄピクチャを小さな非オーバーラップブロックに分割し、次いで、それらのブロックを個別に符号化することによって符号化される。冗長性を低減するため、従来のビデオコーダは、コード化予定の現在のブロックの値を予測するための因果的空間的近傍のブロックデータを使用する。そのような因果的空間的近傍のブロックの例は、図１５に示されており、コード化予定の現在のブロックＢＫは、４つの近隣のブロックＡ、Ｂ、Ｃ、Ｄを有し、４つの近隣のブロックＡ、Ｂ、Ｃ、Ｄは、既にコード化済み／復号済みであり、現在のブロックＢＫに対するコード化／復号プロセスのコード化ステップにおける使用に対して利用可能である。そのような近隣のブロックは、イントラ予測、最確コード化モード決定（ＨＥＶＣ又はＨ．２６４／ＡＶＣではＭＰＭ決定として知られている）、インターピクチャコード化における動きベクトル予測のために使用することができる。また、そのような近隣のブロックは、符号化の後、デブロッキングフィルタリングプロセス又はサンプル適応オフセットプロセス（ＨＥＶＣではＳＡＯとしても知られている）においてなど、現在のブロックのフィルタリングのために使用することもできる。実行するプロセスに応じて、別の因果的空間的／時間的近傍を使用することができる。

因果的空間的近傍のブロックは、本明細書では、ピクチャのスキャン順番（例えば、ラスタスキャン順番）に従って既にコード化済み及び復号済みのブロックとして理解するものとする。

全方向ビデオでは、正距円筒投影を使用すると、球体の円対称性により、３Ｄ表面からのブロックは、ブロックの左側及びブロックの右側に近隣のブロックを有する。しかし、３Ｄ表面を２Ｄ長方形ピクチャに投影すると、いくつかの近隣のブロックは、ブロックに対してもはや利用可能ではない場合がある。例えば、正距円筒投影では、２Ｄピクチャの右側の境界に位置する２Ｄピクチャのブロックに投影された３Ｄ表面のブロックは、３Ｄ表面上では、２Ｄピクチャの左側の境界に位置する２Ｄブロックに投影された３Ｄ表面のブロックに隣接する。例えば、図１６Ａに示されるように、３Ｄ表面上では、２Ｄピクチャの右側の境界に位置するブロックＦ、Ｊは、ブロックＡ、Ｇに空間的に隣接する。

しかし、２Ｄピクチャでは、ピクチャの右側の境界に位置するブロックは、ピクチャの左側の境界に位置するブロックにはもはや隣接しない。図１６Ａに示されるように、２Ｄピクチャ上では、ブロックＦ、Ｊは、ブロックＡ、Ｇにはもはや空間的に隣接しない。

従来のビデオコード化スキームは、ピクチャの境界に位置しない２Ｄブロックのコード化と比べると、特別な方法でこれらのブロックをコード化する。まさに、従来のビデオコード化スキームは、欠けている近隣のブロックに対処しなければならない。

その上、２Ｄピクチャの復号の後に２Ｄピクチャを３Ｄ表面に再投影すると、３Ｄ表面の連続性が壊れているために、２Ｄピクチャの境界に位置する２Ｄブロックから投影された３Ｄブロックを含む緯度において、いくつかの目に見えるアーチファクトが現れる場合があり、２Ｄピクチャの符号化プロセスにおいて適応処置（そのような画素伝達又はパディング）を適用してもよい。

図１４Ｅ又は１４Ｆに示されるように、全方向ビデオを３Ｄ立方体として表し、長方形ピクチャに投影された立方体の６つの面を再構成する際にも同様の問題が生じる。そのような投影されたピクチャでは、投影された立方体の面の境界に位置するブロックは、２Ｄピクチャにおいて、３Ｄ立方体の隣接する面に属する因果的近傍のブロックから利益を得ることはできない。

従って、全方向ビデオの新規の符号化及び復号方法が必要とされる。

本原理は、本明細書では、全方向ビデオの場合で開示されており、本原理は、超広視野で取得された（すなわち、魚眼レンズのような極小焦点距離で取得された）従来の平面画像の場合でも適用することができる。

図１は、例示的な実施形態による符号化及び復号システムの一般的な概要を示す。図１のシステムは、機能システムである。前処理モジュール３００は、符号化デバイス４００による符号化のためのコンテンツを準備することができる。前処理モジュール３００は、複数画像の取得、取得した複数画像を共通の空間（典型的には、方向を符号化する場合は３Ｄ球体）にマージすること、及び、例えば、これらに限定されないが、正距円筒マッピング又は立方体マッピングを使用して、３Ｄ球体を２Ｄフレームにマッピングすることを実行することができる。また、前処理モジュール３００は、特定のフォーマット（例えば、正距円筒）の全方向ビデオを入力として受け取り、符号化により適したフォーマットにマッピングを変更するためにビデオを前処理することもできる。取得したビデオデータ表現に応じて、前処理モジュールは、マッピング空間変更を実行することができる。符号化デバイス４００及び符号化方法は、本明細書の他の図に関して説明する。符号化した後、データ（例えば、没入型ビデオデータを符号化することができる又は３Ｄ ＣＧＩ符号化済みのデータ）は、ネットワークインタフェース５００に送信され、ネットワークインタフェース５００は、典型的には、いかなるネットワークインタフェースでも実装することができる（例えば、ゲートウェイに存在する）。次いで、データは、インターネットなどの通信ネットワークを通じて送信されるが、他のいかなるネットワークも想定することができる。次いで、データは、ネットワークインタフェース６００を介して受信される。ネットワークインタフェース６００は、ゲートウェイ、テレビ、セットトップボックス、頭部装着型表示デバイス、イマーシブ（投影型）ウォール又は任意の没入型ビデオレンダリングデバイスにおいて実装することができる。受信後、データは、復号デバイス７００に送信される。復号機能は、以下の図２〜１２で説明される処理機能のうちの１つである。次いで、復号済みのデータは、プレーヤ８００によって処理される。プレーヤ８００は、レンダリングデバイス９００用にデータを準備し、センサ又はユーザ入力データからの外部データを受信することができる。より正確には、プレーヤ８００は、レンダリングデバイス９００によって表示される予定のビデオコンテンツの一部を準備する。復号デバイス７００及びプレーヤ８００は、単一のデバイス（例えば、スマートフォン、ゲームコンソール、ＳＴＢ、タブレット、コンピュータなど）に統合することができる。変形形態では、プレーヤ８００は、レンダリングデバイス９００に統合される。

例えば、没入型ビデオをレンダリングする際、没入型表示デバイスの復号、再生及びレンダリング機能を実行するために、いくつかのタイプのシステムを想像することができる。

オーグメンテッドリアリティ、バーチャルリアリティ又はオーグメンテッドバーチャリティコンテンツを処理するための第１のシステムは、図２〜６に示されている。そのようなシステムは、処理機能、没入型ビデオレンダリングデバイス（例えば、頭部装着型ディスプレイ（ＨＭＤ）、タブレット又はスマートフォンであり得る）を含み、センサを含む場合もある。また、没入型ビデオレンダリングデバイスは、表示デバイスと処理機能との間に追加のインタフェースモジュールを含み得る。処理機能は、１つ又はいくつかのデバイスによって実行することができる。処理機能を没入型ビデオレンダリングデバイスに組み込むことも、処理機能を１つ又はいくつかの処理デバイスに組み込むこともできる。処理デバイスは、１つ又はいくつかのプロセッサ、及び没入型ビデオレンダリングデバイスとの通信インタフェース（無線又は有線通信インタフェースなど）を含む。

また、処理デバイスは、直接又はネットワークデバイス（ホーム若しくはローカルゲートウェイなど）を通じて、インターネットなどのワイドアクセスネットワーク及びクラウド上に位置するアクセスコンテンツとの第２の通信インタフェースも含み得る。また、処理デバイスは、イーサネットタイプのローカルアクセスネットワークインタフェースなどの第３のインタフェースを通じてローカルストレージにアクセスすることもできる。実施形態では、処理デバイスは、１つ又はいくつかの処理ユニットを有するコンピュータシステムであり得る。別の実施形態では、処理デバイスは、没入型ビデオレンダリングデバイスに有線又は無線リンクを通じて接続することができるスマートフォンでも、没入型ビデオレンダリングデバイスのハウジングに挿入することができ、コネクタを通じて又は無線で没入型ビデオレンダリングデバイスと通信することができるスマートフォンでもあり得る。処理デバイスの通信インタフェースは、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど）であり得る。

処理機能が没入型ビデオレンダリングデバイスによって実行される際は、没入型ビデオレンダリングデバイスは、コンテンツを受信及び／又は送信するために、直接又はゲートウェイを通じてネットワークへのインタフェースと共に提供することができる。

別の実施形態では、システムは、没入型ビデオレンダリングデバイス及び処理デバイスと通信する補助デバイスを含む。そのような実施形態では、この補助デバイスは、処理機能の少なくとも１つを内包し得る。

没入型ビデオレンダリングデバイスは、１つ又はいくつかのディスプレイを含み得る。デバイスは、そのディスプレイの各々の前でレンズなどの光学系を採用することができる。また、ディスプレイは、スマートフォン又はタブレットの場合のように、没入型表示デバイスの一部でもあり得る。別の実施形態では、ディスプレイ及び光学系は、ユーザが着用することができるヘルメット、眼鏡又はバイザに埋め込むことができる。また、没入型ビデオレンダリングデバイスは、後に説明されるように、いくつかのセンサを統合することもできる。また、没入型ビデオレンダリングデバイスは、いくつかのインタフェース又はコネクタも含み得る。没入型ビデオレンダリングデバイスは、センサ、処理機能、ハンドヘルド、又は、他のボディ部分関連のデバイス若しくはセンサと通信するために、１つ又はいくつかの無線モジュールを含む場合もある。

また、没入型ビデオレンダリングデバイスは、処理機能も含み得、処理機能は、１つ又はいくつかのプロセッサによって実行され、コンテンツを復号するように又はコンテンツを処理するように構成されている。本明細書では、コンテンツを処理することにより、すべての機能が表示できるコンテンツを準備することが理解されている。このことは、例えば、コンテンツを復号すること、コンテンツを表示する前にコンテンツをマージすること及び表示デバイスに適合するようにコンテンツを修正することを含み得る。

没入型コンテンツレンダリングデバイスの１つの機能は、仮想ボリュームとして構築されたコンテンツの少なくとも一部を捕捉するバーチャルカメラを制御することである。システムは、バーチャルカメラの姿勢を処理するためにユーザの姿勢（例えば、ユーザの頭の姿勢）を完全に又は部分的に追跡する姿勢追跡センサを含み得る。いくつかの測位センサは、ユーザの移動を追跡することができる。また、システムは、例えば、照明、温度又は音の状態を測定するために、環境に関連する他のセンサも含み得る。また、そのようなセンサは、例えば、発汗又は心拍数を測定するために、ユーザの身体にも関連し得る。これらのセンサを通じて取得された情報は、コンテンツを処理するために使用することができる。また、システムは、ユーザ入力デバイス（例えば、マウス、キーボード、リモートコントロール、ジョイスティック）も含み得る。ユーザ入力デバイスからの情報は、コンテンツを処理するため、ユーザインタフェースを管理するため又はバーチャルカメラの姿勢を制御するために使用することができる。センサ及びユーザ入力デバイスは、有線又は無線通信インタフェースを通じて、処理デバイス及び／又は没入型レンダリングデバイスと通信する。

図２〜６を使用すると、オーグメンテッドリアリティ、バーチャルリアリティ、オーグメンテッドバーチャリティ、又は、オーグメンテッドリアリティからバーチャルリアリティまでの任意のコンテンツを表示するためのこの第１のタイプのシステムのいくつかの実施形態が説明されている。図２は、没入型ビデオを復号、処理及びレンダリングするように構成されたシステムの特定の実施形態を示す。システムは、没入型ビデオレンダリングデバイス１０、センサ２０、ユーザ入力デバイス３０、コンピュータ４０及びゲートウェイ５０（任意選択の）を含む。

図１０に示される没入型ビデオレンダリングデバイス１０は、ディスプレイ１０１を含む。ディスプレイは、例えば、ＯＬＥＤ又はＬＣＤタイプのものである。没入型ビデオレンダリングデバイス１０は、例えば、ＨＭＤ、タブレット又はスマートフォンである。デバイス１０は、タッチ面１０２（例えば、タッチパッド若しくは触覚スクリーン）、カメラ１０３、少なくとも１つのプロセッサ１０４に接続されたメモリ１０５及び少なくとも１つの通信インタフェース１０６を含み得る。少なくとも１つのプロセッサ１０４は、センサ２０から受信された信号を処理する。センサからの測定値のいくつかは、デバイスの姿勢を演算するため及びバーチャルカメラを制御するために使用される。姿勢推定のために使用されるセンサは、例えば、ジャイロスコープ、加速度計又はコンパスである。また、より複雑なシステム（例えば、カメラのリグを使用する）を使用することもできる。この場合は、少なくとも１つのプロセッサは、デバイス１０の姿勢を推定するために、画像処理を実行する。他のいくつかの測定値は、環境状態又はユーザの反応に従ってコンテンツを処理するために使用される。環境及びユーザを観察するために使用されるセンサは、例えば、マイクロフォン、光センサ又は接触センサである。また、例えば、ユーザの目を追跡するビデオカメラのような、より複雑なシステムを使用することもできる。この場合は、少なくとも１つのプロセッサは、予想される測定を操作するために、画像処理を実行する。また、センサ２０及びユーザ入力デバイス３０のデータは、コンピュータ４０に送信することもでき、コンピュータ４０は、これらのセンサの入力に従ってデータを処理する。

メモリ１０５は、プロセッサ１０４用のパラメータ及びコードプログラム命令を含む。また、メモリ１０５は、センサ２０及びユーザ入力デバイス３０から受信されたパラメータも含み得る。通信インタフェース１０６は、没入型ビデオレンダリングデバイスがコンピュータ４０と通信できるようにする。処理デバイスの通信インタフェース１０６は、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど）であり得る。コンピュータ４０は、データを送信し、任意選択により、没入型ビデオレンダリングデバイス１０に対するコマンドを制御する。コンピュータ４０は、データの処理を担当する（すなわち、没入型ビデオレンダリングデバイス１０による表示用にデータを準備する）。処理をコンピュータ４０によって排他的に行うことも、処理の一部をコンピュータによって行い、別の部分を没入型ビデオレンダリングデバイス１０によって行うこともできる。コンピュータ４０は、直接又はゲートウェイ若しくはネットワークインタフェース５０を通じて、インターネットに接続される。コンピュータ４０は、インターネットから没入型ビデオを表すデータを受信し、これらのデータを処理し（例えば、データを復号し、場合により、没入型ビデオレンダリングデバイス１０によって表示される予定のビデオコンテンツの一部を準備する）、表示のために処理済みのデータを没入型ビデオレンダリングデバイス１０に送信する。また、変形形態では、システムは、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）も含み得、上記ローカルストレージは、コンピュータ４０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

図３は、第２の実施形態を表す。この実施形態では、ＳＴＢ ９０は、直接（すなわち、ＳＴＢ ９０はネットワークインタフェースを含む）又はゲートウェイ若しくはネットワークインタフェース５０を介して、インターネットなどのネットワークに接続されている。ＳＴＢ ９０は、テレビ１００又は没入型ビデオレンダリングデバイス２００などのレンダリングデバイスに無線インタフェースを通じて又は有線インタフェースを通じて接続される。ＳＴＢの古典的な機能に加えて、ＳＴＢ ９０は、テレビ１００又は任意の没入型ビデオレンダリングデバイス２００上でレンダリングするためにビデオコンテンツを処理するための処理機能を含む。これらの処理機能は、コンピュータ４０に対して説明されるものと同じであり、ここでは、再度説明することはしない。また、センサ２０及びユーザ入力デバイス３０は、図２に関して以前に説明されたものと同じタイプのものである。ＳＴＢ ９０は、インターネットから没入型ビデオを表すデータを得る。変形形態では、ＳＴＢ ９０は、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から没入型ビデオを表すデータを得て、上記ローカルストレージは、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

図４は、図２で表されるものに関連する第３の実施形態を表す。ゲームコンソール６０は、コンテンツデータを処理する。ゲームコンソール６０は、データを送信し、任意選択により、没入型ビデオレンダリングデバイス１０に対するコマンドを制御する。ゲームコンソール６０は、没入型ビデオを表すデータを処理し、表示のために処理済みのデータを没入型ビデオレンダリングデバイス１０に送信するように構成されている。処理をゲームコンソール６０によって排他的に行うことも、処理の一部を没入型ビデオレンダリングデバイス１０によって行うこともできる。

ゲームコンソール６０は、直接又はゲートウェイ若しくはネットワークインタフェース５０を介して、インターネットに接続される。ゲームコンソール６０は、インターネットから没入型ビデオを表すデータを得る。変形形態では、ゲームコンソール６０は、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から没入型ビデオを表すデータを得て、上記ローカルストレージは、ゲームコンソール６０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

ゲームコンソール６０は、インターネットから没入型ビデオを表すデータを受信し、これらのデータを処理し（例えば、データを復号し、場合により、表示される予定のビデオの一部を準備する）、表示のために処理済みのデータを没入型ビデオレンダリングデバイス１０に送信する。ゲームコンソール６０は、センサ２０及びユーザ入力デバイス３０からデータを受信し、それらのデータを使用して、インターネットから又はローカルストレージからから得られた没入型ビデオを表すデータを処理することができる。

図５は、上記第１のタイプのシステムの第４の実施形態を表し、没入型ビデオレンダリングデバイス７０は、ハウジング７０５に挿入されたスマートフォン７０１によって形成される。スマートフォン７０１は、インターネットに接続することができ、従って、インターネットから没入型ビデオを表すデータを得ることができる。変形形態では、スマートフォン７０１は、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から没入型ビデオを表すデータを得て、上記ローカルストレージは、スマートフォン７０１上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

没入型ビデオレンダリングデバイス７０は、没入型ビデオレンダリングデバイス７０の好ましい実施形態を与える図１１を参照して説明される。没入型ビデオレンダリングデバイス７０は、任意選択により、少なくとも１つのネットワークインタフェース７０２及びスマートフォン７０１用のハウジング７０５を含む。スマートフォン７０１は、スマートフォン及びディスプレイのすべての機能を含む。スマートフォンのディスプレイは、没入型ビデオレンダリングデバイス７０ディスプレイとして使用される。従って、スマートフォン７０１のディスプレイ以外のディスプレイは含まない。しかし、スマートフォンディスプレイ上でデータを見るために、レンズなどの光学系７０４が含まれる。スマートフォン７０１は、場合により、センサ２０から及びユーザ入力デバイス３０から受信されたデータに従って、没入型ビデオを表すデータを処理する（例えば、復号し、表示用に準備する）ように構成されている。センサからの測定値のいくつかは、デバイスの姿勢を演算するため及びバーチャルカメラを制御するために使用される。姿勢推定のために使用されるセンサは、例えば、ジャイロスコープ、加速度計又はコンパスである。また、より複雑なシステム（例えば、カメラのリグを使用する）を使用することもできる。この場合は、少なくとも１つのプロセッサは、デバイス１０の姿勢を推定するために、画像処理を実行する。他のいくつかの測定値は、環境状態又はユーザの反応に従ってコンテンツを処理するために使用される。環境及びユーザを観察するために使用されるセンサは、例えば、マイクロフォン、光センサ又は接触センサである。また、例えば、ユーザの目を追跡するビデオカメラのような、より複雑なシステムを使用することもできる。この場合は、少なくとも１つのプロセッサは、予想される測定を操作するために、画像処理を実行する。

図６は、上記第１のタイプのシステムの第５の実施形態を表し、没入型ビデオレンダリングデバイス８０は、データコンテンツを処理して表示するためのすべての機能を含む。システムは、没入型ビデオレンダリングデバイス８０、センサ２０及びユーザ入力デバイス３０を含む。没入型ビデオレンダリングデバイス８０は、場合により、センサ２０から及びユーザ入力デバイス３０から受信されたデータに従って、没入型ビデオを表すデータを処理する（例えば、復号し、表示用に準備する）ように構成されている。没入型ビデオレンダリングデバイス８０は、インターネットに接続することができ、従って、インターネットから没入型ビデオを表すデータを得ることができる。変形形態では、没入型ビデオレンダリングデバイス８０は、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から没入型ビデオを表すデータを得て、上記ローカルストレージは、没入型ビデオレンダリングデバイス８０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

没入型ビデオレンダリングデバイス８０は、図１２に示される。没入型ビデオレンダリングデバイスは、ディスプレイ８０１を含む。ディスプレイは、例えば、ＯＬＥＤ又はＬＣＤタイプのもの、タッチパッド（任意選択の）８０２、カメラ（任意選択の）８０３、少なくとも１つのプロセッサ８０４に接続されたメモリ８０５及び少なくとも１つの通信インタフェース８０６であり得る。メモリ８０５は、プロセッサ８０４用のパラメータ及びコードプログラム命令を含む。また、メモリ８０５は、センサ２０及びユーザ入力デバイス３０から受信されたパラメータも含み得る。また、メモリは、没入型ビデオコンテンツを表すデータを格納できるほど十分に大容量のものでもあり得る。メモリ８０５は、異なるタイプのもの（ＳＤカード、ハードディスク、揮発性又は不揮発性メモリ…）でもあり得る。通信インタフェース８０６は、没入型ビデオレンダリングデバイスがインターネットネットワークと通信できるようにする。プロセッサ８０４は、ディスプレイ８０１にビデオを表示するために、ビデオを表すデータを処理する。カメラ８０３は、画像処理ステップのための環境の画像を捕捉する。データは、没入型ビデオレンダリングデバイスを制御するために、このステップから抽出される。

オーグメンテッドリアリティ、バーチャルリアリティ又はオーグメンテッドバーチャリティコンテンツを処理するための第２のシステムは、図７〜９に示される。そのようなシステムは、イマーシブウォールを含む。

図７は、第２のタイプのシステムを表す。第２のタイプのシステムは、コンピュータ４０００からデータを受信するイマーシブ（投影型）ウォールであるディスプレイ１０００を含む。コンピュータ４０００は、インターネットから没入型ビデオデータを受信することができる。コンピュータ４０００は、通常は、直接又はゲートウェイ５０００若しくはネットワークインタフェースを通じて、インターネットに接続される。変形形態では、没入型ビデオデータは、コンピュータ４０００によって、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、コンピュータ４０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

また、このシステムは、センサ２０００及びユーザ入力デバイス３０００も含み得る。イマーシブウォール１０００は、ＯＬＥＤ又はＬＣＤタイプのものである。イマーシブウォール１０００は、１つ又はいくつかのカメラを装備し得る。イマーシブウォール１０００は、センサ２０００（又は複数のセンサ２０００）から受信されたデータを処理することができる。センサ２０００から受信されたデータは、照明状態、温度、ユーザの環境（例えば、物体の位置）に関連し得る。

また、イマーシブウォール１０００は、ユーザ入力デバイス３０００から受信されたデータを処理することもできる。ユーザ入力デバイス３０００は、ユーザの感情に対するフィードバックを与えるために、触力覚信号などのデータを送信する。ユーザ入力デバイス３０００の例は、スマートフォン、リモートコントロール及びジャイロスコープ機能を有するデバイスなどのハンドヘルドデバイスである。

また、センサ２０００及びユーザ入力デバイス３０００のデータは、コンピュータ４０００に送信することもできる。コンピュータ４０００は、これらのセンサ／ユーザ入力デバイスから受信されたデータに従ってビデオデータを処理することができる（例えば、ビデオデータを復号し、表示用にビデオデータを準備する）。センサ信号は、イマーシブウォールの通信インタフェースを通じて受信することができる。この通信インタフェースは、Bluetoothタイプのものでも、WIFIタイプのものでも、任意の他のタイプの接続のものでもよく、好ましくは、無線のものであるが、有線接続でもよい。

コンピュータ４０００は、イマーシブウォール１０００に処理済みのデータを送信し、任意選択により、コマンドを制御する。コンピュータ４０００は、イマーシブウォール１０００によって表示される予定のデータを処理する（すなわち、表示用にデータを準備する）ように構成されている。処理をコンピュータ４０００によって排他的に行うことも、処理の一部をコンピュータ４０００によって行い、別の部分をイマーシブウォール１０００によって行うこともできる。

図８は、第２のタイプの別のシステムを表す。システムは、イマーシブ（投影型）ウォール６０００を含み、イマーシブ（投影型）ウォール６０００は、ビデオコンテンツを処理し（例えば、データを復号し、表示用にデータを準備する）、表示するように構成されている。システムは、センサ２０００、ユーザ入力デバイス３０００をさらに含む。

イマーシブウォール６０００は、インターネットからゲートウェイ５０００を通じて又はインターネットから直接、没入型ビデオデータを受信する。変形形態では、没入型ビデオデータは、イマーシブウォール６０００によって、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、イマーシブウォール６０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

また、このシステムは、センサ２０００及びユーザ入力デバイス３０００も含み得る。イマーシブウォール６０００は、ＯＬＥＤ又はＬＣＤタイプのものである。イマーシブウォール６０００は、１つ又はいくつかのカメラを装備し得る。イマーシブウォール６０００は、センサ２０００（又は複数のセンサ２０００）から受信されたデータを処理することができる。センサ２０００から受信されたデータは、照明状態、温度、ユーザの環境（例えば、物体の位置）に関連し得る。

また、イマーシブウォール６０００は、ユーザ入力デバイス３０００から受信されたデータを処理することもできる。ユーザ入力デバイス３０００は、ユーザの感情に対するフィードバックを与えるために、触力覚信号などのデータを送信する。ユーザ入力デバイス３０００の例は、スマートフォン、リモートコントロール及びジャイロスコープ機能を有するデバイスなどのハンドヘルドデバイスである。

イマーシブウォール６０００は、これらのセンサ／ユーザ入力デバイスから受信されたデータに従ってビデオデータを処理することができる（例えば、ビデオデータを復号し、表示用にビデオデータを準備する）。センサ信号は、イマーシブウォールの通信インタフェースを通じて受信することができる。この通信インタフェースは、Bluetoothタイプのものでも、WIFIタイプのものでも、任意の他のタイプの接続のものでもよく、好ましくは、無線のものであるが、有線接続でもよい。イマーシブウォール６０００は、センサ及びインターネットと通信するために少なくとも１つの通信インタフェースを含み得る。

図９は、イマーシブウォールがゲームのために使用される第３の実施形態を示す。１つ又はいくつかのゲームコンソール７０００は、好ましくは、無線インタフェースを通じて、イマーシブウォール６０００に接続される。イマーシブウォール６０００は、インターネットからゲートウェイ５０００を通じて又はインターネットから直接、没入型ビデオデータを受信する。変形形態では、没入型ビデオデータは、イマーシブウォール６０００によって、没入型ビデオを表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、イマーシブウォール６０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

ゲームコンソール７０００は、命令及びユーザ入力パラメータをイマーシブウォール６０００に送信する。イマーシブウォール６０００は、表示用にコンテンツを準備するため、場合により、センサ２０００、ユーザ入力デバイス３０００及びゲームコンソール７０００から受信された入力データに従って没入型ビデオコンテンツを処理する。また、イマーシブウォール６０００は、表示予定のコンテンツを格納するための内部メモリも含み得る。イマーシブウォール６０００は、ＯＬＥＤ又はＬＣＤタイプのものである。イマーシブウォール６０００は、１つ又はいくつかのカメラを装備し得る。

センサ２０００から受信されたデータは、照明状態、温度、ユーザの環境（例えば、物体の位置）に関連し得る。また、イマーシブウォール６０００は、ユーザ入力デバイス３０００から受信されたデータを処理することもできる。ユーザ入力デバイス３０００は、ユーザの感情に対するフィードバックを与えるために、触力覚信号などのデータを送信する。ユーザ入力デバイス３０００の例は、スマートフォン、リモートコントロール及びジャイロスコープ機能を有するデバイスなどのハンドヘルドデバイスである。

イマーシブウォール６０００は、これらのセンサ／ユーザ入力デバイスから受信されたデータに従って没入型ビデオデータを処理することができる（例えば、没入型ビデオデータを復号し、表示用に没入型ビデオデータを準備する）。センサ信号は、イマーシブウォールの通信インタフェースを通じて受信することができる。この通信インタフェースは、Bluetoothタイプのものでも、WIFIタイプのものでも、任意の他のタイプの接続のものでもよく、好ましくは、無線のものであるが、有線接続でもよい。イマーシブウォール６０００は、センサ及びインターネットと通信するために少なくとも１つの通信インタフェースを含み得る。

図１７は、本開示の実施形態による、全方向ビデオの投影である２Ｄピクチャの現在のブロックをコード化するための例示的な方法のためのブロック図を示す。上記全方向ビデオの少なくとも１つのピクチャは、上記で開示されるものなどの球体又は立方体など、３Ｄ表面として表される。しかし、本原理は、全方向ビデオのいかなる３Ｄ表現にも適用することができる。３Ｄ表面は、投影関数を使用して少なくとも１つの２Ｄピクチャに投影される。例えば、そのような投影関数は、正距円筒投影又は他のタイプの投影関数であり得る。次いで、結果として得られた２Ｄピクチャは、画素の非オーバーラップブロックに分割される。本明細書では、図１５で開示されるものなど、従来の近隣のブロックを使用する従来の２Ｄビデオコード化スキームを使用して２Ｄピクチャの少なくとも１つの現在のブロックを符号化する方法が開示される。

ブロック１７００では、３Ｄ表面を２Ｄピクチャに投影するために使用された投影関数に従って、上記現在のブロックに対する上記２Ｄピクチャの少なくとも１つの近隣のブロックが決定される。決定された近隣のブロックは、２Ｄピクチャの上記現在のブロックに空間的に隣接していないが、上記３Ｄ表面の現在のブロックに空間的に隣接する。

本原理の実施形態によれば、投影関数は、正距円筒投影であり、３Ｄ表面は、球体である。２Ｄピクチャの右側の境界に位置する現在のブロックに対する近隣のブロックは、図１３Ｂに示されるようなＸＹ平面上のデカルト座標（正規化された）と図１３Ｃに示されるような球体上の角座標との間の以下の関係を使用することによって決定される。
ｙ＝φ／π、−０．５≦ｙ≦０．５、−π／２≦φ≦π／２
ｘ＝θ／２π、０≦ｘ≦１、０≦θ≦２π
式中、（ｘ，ｙ）は、２Ｄピクチャの正規化されたＸＹ平面上のポイントＭの場所に相当し、（θ，φ）は、球体上の対応するポイントＭ’の座標である。

図１６Ａの場合は、２Ｄピクチャの最後の列のブロック（例えば、ブロックＦ）の右側の近隣のブロックに対し、ブロックの左上隅のポイントは、２Ｄピクチャの列インデックスｗに位置し、ＸＹ平面上のｘ＝１に位置する。球体上のその対応するポイントは、角座標（２π，φ）＝（０，φ）を有する。従って、２Ｄピクチャの右側の境界に位置する現在のブロック（すなわち、２Ｄピクチャの最後の列）に対し、近隣のブロックは、現在のブロックの同じ行の２Ｄピクチャの第１のブロックであると決定される。例えば、図１６Ａに示されるように、現在のブロックＦ及びＪに対し、近隣のブロックはそれぞれ、Ａ及びＧである。

本開示の実施形態によれば、２Ｄピクチャの右側の境界に位置する現在のブロックに対する近隣のブロックは、現在のブロックの下の行又は上の行の２Ｄピクチャの左側の境界に位置する近隣のブロックでもあり得る。正距円筒投影により、そのような近隣のブロックは、球体上の現在のブロックに少なくとも部分的に空間的に隣接する。例えば、図１６Ａに示されるブロックＪに対し、ブロックＡ及び／又はＫは３Ｄ表面上のブロックＪに少なくとも部分的に空間的に隣接するため、それらのブロックＡ及び／又はＫは、本原理に従って、近隣のブロックと決定することができる。しかし、近隣のブロックと決定するには、ターゲットブロック（例えば、Ｋ）は、現在のブロックのコード化に対して利用可能でなければならない（すなわち、近隣のブロックは、コード化／復号のために使用されるスキャン順番に従って、現在のブロックの前にコード化／復号されているものとする）。そのような場合は、例えば、ブロックＫ及びＪが、コード化単位の同じ行に位置する１群のブロックを含むコード化単位に属する際、近隣のブロックＫ及び現在のブロックＪに対して起こり得る。

別の実施形態によれば、投影関数が立方体投影である際、２Ｄピクチャに投影された立方体の現在の面の境界（例えば、立方体の現在の面の最後の又は最初の列）に位置する現在のブロックに対し、近隣のブロックは、現在の面が３Ｄ表面のエッジを共有する立方体の別の面の境界のブロックであると決定される。例えば、図１６Ｂは、図１６Ｃに示されるレイアウトに従って立方体の６つの投影面が再構成されている２Ｄピクチャを示す。現在のブロックＣ、Ａ、Ｅ、Ｋに対し、本原理に従って決定される近隣のブロックはそれぞれ、Ｄ、Ｆ、Ｉ、Ｈである。立方体投影に従って近隣のブロックを決定する場合、図１４Ｃに示されるＸＹ平面のポイントのデカルト座標と以下で開示されるものなどの立方体との間の関係を使用することができ、

対応するレイアウトは図１６Ｃに示される。座標ｋは、面の数を示し、（ｕ，ｖ）（ｕ，ｖ∈［−１，１］）は、その面上の座標を示す。立方体の各面は、幅ｗ及び高さｈを有するものである。

ブロック１７０１では、本原理に従って少なくとも１つの近隣のブロックが決定された時点で、少なくとも決定された近隣のブロックを使用して、現在のブロックを符号化して上記ビットストリームにする。現在のブロックの符号化の間、以下で詳述するように、符号化モジュールのすべて又はほんのいくつかは、決定された近隣のブロックを使用することができる。

ブロック１７０２では、投影関数に関連する情報の少なくとも１つのアイテムをコード化してビットストリームにする。そのような情報のアイテムは、３Ｄ表面を２Ｄピクチャに投影するために使用した投影関数の種類をデコーダに示すことを可能にする。従って、デコーダは、符号化の間に実行されたように現在のブロックの近隣のブロックを決定し、同じ近隣のブロックを使用することができる。

異なる変形形態によれば、投影関数に関連する情報のアイテムは、Ｈ．２６４／ＡＶＣ規格又はＨＥＶＣ規格によって定義されるものなどのシーケンスパラメータセット構文要素で、Ｈ．２６４／ＡＶＣ規格又はＨＥＶＣ規格によって定義されるものなどのピクチャパラメータセット構文要素で、或いは、Ｈ．２６４／ＡＶＣ規格又はＨＥＶＣ規格によって定義されるものなどの上記２Ｄピクチャに対応するスライスヘッダ構文要素で、コード化することができる。投影関数に関連する情報のアイテムは、ピクチャ又はシーケンスレベルでそのようなアイテムの信号伝達が可能な適切ないかなる構文要素でもコード化することができる。

図１８は、例示的なビデオエンコーダ４００を示す概略ブロック図である。そのようなビデオエンコーダ４００は、本原理の実施形態による、全方向ビデオの投影を表す１組のピクチャを符号化してビットストリームにすることを実行する。ビデオエンコーダ４００は、ＨＥＶＣコーダと一致するものとして開示されるが、本原理は、２Ｄピクチャのシーケンスとしてビデオを処理するいかなる２Ｄビデオコード化スキームにも適用することができる。

古典的には、ビデオエンコーダ４００は、図１８に示されるように、ブロックベースのビデオ符号化のためのいくつかのモジュールを含み得る。符号化予定の全方向ビデオからの投影ピクチャを表す２ＤピクチャＩは、エンコーダ４００に入力される。

最初に、細分化モジュールは、ピクチャＩを１組の画素単位に分割する。

使用されるビデオコード化規格に応じて、細分化モジュールによって伝達される画素単位は、Ｈ．２６４／ＡＶＣなどのマクロブロック（ＭＢ）又はＨＥＶＣなどのコード化木単位（ＣＴＵ）であり得る。

ＨＥＶＣコーダによれば、コード化木単位は、輝度サンプルの１つのコード化木ブロック（ＣＴＢ）と、クロミナンスサンプルの２つのコード化木ブロックと、コード化木ブロックのさらなる細分化に関する対応する構文要素とを含む。輝度サンプルのコード化木ブロックは、１６×１６画素、３２×３２画素又は６４×６４画素のサイズを有し得る。各コード化木ブロックは、木構造及び四分木のような信号伝達を使用して、より小さなブロック（コード化ブロックＣＢとして知られている）にさらに細分化することができる。四分木のルートは、コード化木単位と関連付けられる。輝度コード化ブロックのサイズは、輝度コード化ブロックの最大サポートサイズである。１つの輝度コード化ブロック及び通常は２つのクロミナンスコード化ブロックは、コード化単位（ＣＵ）を形成する。コード化木単位は、１つのコード化単位を含んでもよく、複数のコード化単位を形成するように分けられてもよく、各コード化単位は、予測単位（ＰＵ）及び変換単位（ＴＵ）の木への関連付けられたパーティション化を有する。インターピクチャ予測を使用してピクチャエリアをコード化するか又はイントラピクチャ予測を使用してピクチャエリアをコード化するかの決定は、コード化単位レベルで行われる。予測単位パーティション化構造は、コード化単位レベルでそのルートを有する。次いで、基本的な予測タイプ決定に応じて、輝度及びクロミナンスコード化ブロックをサイズでさらに分けることができ、輝度及びクロミナンス予測ブロック（ＰＢ）から予測することができる。ＨＥＶＣ規格は、６４×６４サンプルから４×４サンプルまで、可変予測ブロックサイズをサポートする。予測残差は、ブロック変換を使用してコード化される。変換単位（ＴＵ）木構造は、コード化単位レベルでそのルートを有する。輝度コード化ブロック残差は、輝度変換ブロックと同一でも、より小さな輝度変換ブロックにさらに分けてもよい。同じことが、クロミナンス変換ブロックにも当てはまる。変換ブロックは、４×４、８×８、１６×１６又は３２×３２サンプルのサイズを有し得る。

符号化プロセスは、ブロックＢＬＫと呼ばれる画素の単位に適用するものとして、以下で説明する。そのようなブロックＢＬＫは、マクロブロック、コード化木単位、上記で説明される単位のうちの１つからの任意のサブブロック、又は、輝度サンプルとクロミナンスサンプルとを含むか若しくは輝度サンプルのみを含むピクチャＩの細分化の他の任意のレイアウトに相当し得る。

以下で説明される符号化及び復号プロセスは、例示を目的とする。いくつかの実施形態によれば、符号化又は復号モジュールは、追加しても、取り除いても、以下のモジュールとは異なるものでもよい。しかし、本明細書で開示される原理は、依然として、これらの実施形態に適用することができる。

本原理は、本明細書では、正距円筒投影の場合で開示されている。しかし、他の投影関数を使用することもできる。従って、ブロック１７００に従って決定される２Ｄピクチャの境界にある現在のブロックに対する近隣のブロックは、この投影関数に従って決定される。

エンコーダ４００は、以下の通り、ピクチャＩの各ブロックの符号化を実行する。エンコーダ４００は、例えば、レート／歪み最適化に基づいて、コード化予定のピクチャのブロックＢＬＫに対するコード化モードを選択するためのモード選択ユニットを含む。そのようなモード選択ユニットは、
− コード化予定のピクチャの１つの現在のブロックと参照ピクチャとの間の動きを推定するための動き推定モジュールと、
− 推定された動きを使用して現在のブロックを予測するための動き補償モジュールと、
− 現在のブロックを空間的に予測するためのイントラ予測モジュールと
を含む。

また、モード選択ユニットは、例えば、レート／歪み最適化に従って、ブロックの細分化が必要かどうかを決定することもできる。その場合は、モード選択ユニットは、次いで、ブロックＢＬＫの各サブブロックに対して動作する。

モード選択ユニットは、２Ｄピクチャの右側の境界に位置する現在のＢＬＫの近隣のブロックを導出するために、図１７に関連して開示される原理を適用することができる。

変形形態によれば、開示される原理は、現在のブロックＢＬＫに対するイントラ予測コード化モードをコード化するための最確モードリストを決定する際に実行される。この変形形態によれば、イントラ予測モードコード化は、予測単位レベルで実行され、従って、本明細書における現在のブロックＢＬＫは、予測単位（図２３に示されるような現在のＰＵ）に相当する。ＨＥＶＣ規格は、３３の方向配向に相当する３３の方向予測モード（２〜３４のインデックスが設けられる）、平面予測モード（０のインデックスが設けられる）及びＤＣ予測モード（１のインデックスが設けられる）を指定しており、図２７によって示されるような現在の予測単位を空間的に予測するための３５の可能なイントラ予測モードのセットが得られる。現在の予測単位をコード化するためにどのイントラ予測モードを使用するかを信号伝達するために必要なビットレートを低減するため、最確モード（ＭＰＭ）リストが構築される。ＭＰＭリストは、コード化予定の現在のブロックに対する３つの最確イントラ予測モードを含む。これらの３つのＭＰＭは、現在のブロックの近隣のブロックをコード化するために使用されたイントラ予測モードに従って決定される。ＨＥＶＣによれば、現在のブロックの左側及び上側の近隣のブロックのみが考慮され、図２３（ａ）に示される現在のＰＵに対してＡ及びＢのそれぞれが考慮される。２つのブロックＡ及び／又はＢが利用可能ではないか又はイントラコード化されない場合は、そのブロックに対してＤＣ予測モードが想定される。以下では、ブロックＡのイントラ予測モードは、ｍ＿Ａで示され、ブロックＢのイントラ予測モードは、ｍ＿Ｂで示される。

ＨＥＶＣでは、ＭＰＭのセットは、以下の通り構築される。
（ＨＥＶＣ＿１）ｍ＿Ａ及びｍ＿Ｂが等しくなければ、ＭＰＭ［０］＝ｍ＿Ａであり、ＭＰＭ［１］＝ｍ＿Ｂである。ＭＰＭ［２］と示されるセットの第３の最確モードは、以下の通り決定される。
ｍ＿Ａもｍ＿Ｂも平面モード（図２７のインデックス０）でなければ、ＭＰＭ［２］＝平面モード（０）であり、
それらのうちの１つ（すなわち、ｍ＿Ａ又はｍ＿Ｂ）は平面モードであるが、ｍ＿Ａもｍ＿ＢもＤＣモードでなければ、ＭＰＭ［２］＝ＤＣモード（１）であり、
ｍ＿Ａ及びｍ＿Ｂの一方が平面モードであり、他方がＤＣモードであれば、ＭＰＭ［２］＝垂直角度イントラ予測モード（図２７の方向モード２６）である。
（ＨＥＶＣ＿２）ｍ＿Ａ及びｍ＿Ｂは等しいが、平面モードともＤＣモードとも異なれば、ＭＰＭ［０］＝ｍ＿Ａであり、ＭＰＭ［１］＝ｍ＿Ａ−であり、ＭＰＭ［２］＝ｍ＿Ａ＋であり、式中、ｍ＿Ａ−及びｍ＿Ａ＋は、ＨＥＶＣ規格によって指定されるようなブロックＡのイントラ予測モードの２つの隣接する角度モードを示し、そうでなければ、ＭＰＭ［０］＝平面モード（ＨＥＶＣのインデックス０）であり、ＭＰＭ［１］＝ＤＣモード（ＨＥＶＣのインデックス１）であり、ＭＰＭ［２］＝垂直角度イントラ予測モードモード２６（図２７の方向モード２６）である。＋及び−は、ｍ＿Ａの現在の角度方向の両側に位置する角度方向を指す。例として、ｍ＿Ａが図１７のインデックス１４のモードと等しいならば、ｍ＿Ａ−は、インデックス１３のモードと等しく、ｍ＿Ａ＋は、インデックス１５のモードと等しい。モード２及び３４に対しては２つの特別な場合がある。ｍ＿Ａが２であれば、ｍ＿Ａ−は３３であり、ｍ＿Ａ＋は３である。ｍ＿Ａが３４であれば、ｍ＿Ａ−は３３であり、ｍ＿Ａ＋は３である。

本原理によれば、最確モードのセットの構築は、ピクチャの右側に位置するブロックに対してのみ修正される。

図２３（ｂ）に示されるように、現在のブロックに対する新しい近隣のブロックは、現在のブロックの右側のブロックＣであると決定される（すなわち、投影関数によれば、近隣のブロックは、現在のブロックが属する現在のＣＴＵと同じ行の最初のＣＴＵのブロックである）。正距円筒投影の連続性のため、行に沿った最初及び最後のＣＴＵが空間的な近隣のブロックである。

次いで、現在のブロックの上側及び左側のブロックに加えて、右側の近隣のブロックもＭＰＭのリストを決定するために使用される。エンコーダ／デコーダは、行の最初のＣＴＵのイントラコード化済みの（左側の）境界のブロックに対するイントラ予測モードを保存し、最後のＣＴＵの（右側の）境界のブロックをコード化するためにそれらを使用する。１つのＣＴＵの境界ブロックに対する情報しか保存する必要がないため、メモリ要件はかなり低い。ＭＰＭのセットは、ここでは、現在のブロックに対して、図２３（ｂ）に示されるように、３つの近隣のブロック（Ａ、Ｂ、Ｃ）で使用される予測モードに基づく。ＭＰＭのセットは、以下の通り構築される。
ｍ＿Ａ及びｍ＿Ｂは等しくないが、Ｃのイントラ予測モード（ｍ＿Ｃと示される）がｍ＿Ａ又はｍ＿Ｂのいずれかと等しければ、規則ＨＥＶＣ＿１を使用してセットが構築される。しかし、ｍ＿Ｃがｍ＿Ａともｍ＿Ｂとも等しくなければ（すなわち、ｍ＿Ｃがｍ＿Ａともｍ＿Ｂとも異なる）、ＭＰＭ［０］＝ｍ＿Ａであり、ＭＰＭ［１］＝ｍ＿Ｂであり、ＭＰＭ［２］＝ｍ＿Ｃである。
ｍ＿Ａ及びｍ＿Ｂが等しく、ｍ＿Ｃがｍ＿Ａ及びｍ＿Ｂの両方と等しいならば、規則ＨＥＶＣ＿２を使用してセットが構築される。
ｍ＿Ａ及びｍ＿Ｂは等しいが、ｍ＿Ｃがｍ＿Ａともｍ＿Ｂとも等しくなければ、規則ＨＥＶＣ＿１を使用してセットが構築され、Ｂは、Ｃと置き換えられる。

クロマ予測の場合、クロマの予測モードは近隣のブロックのものに基づいて導出されないため、ＨＥＶＣクロマ予測は、現在のブロックに対して不変のままであり得る。

現在のブロックに対するイントラ予測モードをコード化するためのプロセスの残りは、ＨＥＶＣで定義されるものと同じままである。現在のブロックのイントラ予測モードがＭＰＭセットに属していれば、フラグprev_intra_luma_pred_flagが設定され、mpm_idxと呼ばれる別のフラグがＭＰＭセットからの候補を信号伝達する。フラグprev_intra_luma_pred_flagが設定されなければ、フラグrem_intra_luma_pred_modeが残りの３２の予測モードからの特定のモードを信号伝達する。

現在のブロックがイントラコード化される際は、予測ブロックは、現在のブロックに対して選択されたイントラ予測モードに従ってイントラ予測を実行することによって演算される。そのようなプロセスは、当業者にはよく知られており、さらに論じることはしない。

別の変形形態によれば、開示される原理は、現在のブロックがインター予測される際に現在のブロックに対する動きベクトルをコード化するための動きベクトル予測因子を導出する際に実行される。現在のブロックがインター予測される際、その動きベクトルは、利用可能な予測方向に応じて、参照ピクチャリストＩ０又はＩ１に存在する参照ピクチャを使用して推定される。予測ブロックは、推定された動きベクトルを使用して現在のブロックを動き補償することによって演算される。次いで、現在のブロックの動きベクトルがコード化され、ビットストリームにされる。

ＨＥＶＣは、インター予測を有するＣＵの動きベクトルを符号化する前に高度な動きベクトル予測（ＡＭＶＰ）を使用する。現在の動きベクトルに対する予測として単一の動きベクトルが近隣の動きベクトルから構築されるＨ．２６４とは異なり、ＨＥＶＣでは、２つの動きベクトルの集合は、図２４（ａ）に示されるような５つの空間的な近隣のブロックからの動きベクトル及び同一場所に位置する時間的な動きベクトルを使用して得られる。２つの候補動きベクトルＡ、Ｂは、次の通り選択される。候補動きベクトルＡは、空間的な近隣のブロックＡ０、Ａ１の動きベクトルに基づいて構築され、候補ベクトルＢは、空間的な近隣のブロックＢ０、Ｂ１、Ｂ２の動きベクトルに基づいて構築され、それらのブロックは候補ブロックとも呼ばれる。それは、２パスのプロセスである。第１のパスでは、候補ブロックのいずれかが現在のブロックの参照インデックスと等しい参照インデックスを有するかどうかがチェックされる。Ａ０、Ａ１は、順次チェックされる。第１の動きベクトルが候補Ａとされる。Ａ０、Ａ１からの両方の参照インデックスが現在のブロックの参照インデックスとは異なる参照ピクチャを指し示している場合は、関連動きベクトルをそのまま使用することはできない。従って、第２のパスでは、現在の参照ピクチャ（すなわち、現在のブロックの参照ピクチャ）及び候補参照ピクチャ（すなわち、候補ブロックの参照ピクチャ）（Ａ０次いでＡ１の順に順番に検索される）が両方ともショートタームかどうかが最初にチェックされる。チェックが検証された場合は（すなわち、現在の参照ピクチャ及び候補参照ピクチャが両方ともショートタームである場合）、対応する候補ブロックの動きベクトルがスケーリングされ、候補動きベクトルＡとして使用される。スケーリング因子は、候補参照ピクチャと現在のピクチャとの間の時間的距離に依存し、また、現在の参照ピクチャと現在のピクチャとの間の時間的距離にも依存する。結果的に、Ａ０が現在のブロックの参照インデックスと等しい参照インデックスを有する場合は、第１のパスにおいてＡ１をチェックする必要はない。Ａ０の動きベクトルが候補Ａとされる。Ａ０が現在のブロックの参照インデックスと異なる参照インデックスを有する場合は、Ａ１が現在のブロックの参照インデックスと等しい参照インデックスを有するかどうかをチェックする。Ａ１が現在のブロックの参照インデックスと等しい参照インデックスを有する場合は、Ａ１の動きベクトルが候補Ａとされ、そうでなければ、第２のパスが適用される。

候補動きベクトルＢの場合、候補ブロックＢ０、Ｂ１、Ｂ２は、第１のパスにおいて、Ａ０、Ａ１のように順番に検索される。現在のブロックと同じ参照インデックスを有する第１の候補ブロックは、動きベクトルＢとして使用される。Ａ０、Ａ１が利用可能ではない又はイントラ予測される場合は、候補ＡはＢに等しく設定される。この場合は、第２のパスにおいて、現在のブロックと同じ参照インデックスを有する第２の候補ブロックが検索され、見つかれば、その動きベクトルは、候補Ｂとして使用される。そうでなければ、現在の参照ピクチャ及び候補参照ピクチャが両方ともショートタームピクチャである場合は、スケーリングされた動きベクトルが計算され、候補Ｂとして使用される。第１のパスが現在のブロックと同じ参照インデックスを有する候補を見つけられなかった場合は、Ａ０、Ａ１が利用可能ではない又はイントラ予測される場合は、第２のパスが実行される。この場合は、現在の参照ピクチャ及び候補参照ピクチャが両方ともショートタームピクチャである場合は、スケーリングされた動きベクトルが計算され、候補Ｂとして使用される。従って、第２のパスは、ブロックＡ０、Ａ１がいかなる動き情報も含まない時にのみ実行される。時間的な候補は、２つの空間的な候補が利用可能ではない時又はそれらが同一である場合にのみ考慮される。

２つの動きベクトルのうち１つは、現在の動きベクトルを予測するための候補動きベクトルとして選択される。選択された動きベクトルは、list_0及びlist_1参照ピクチャに相当するフラグmvp_I0_flag及びmvp_I1_flagを使用して示される。

この実施形態によれば、図２４（ｂ）に示されるように、２つの候補動きベクトルを選択する場合、右側の境界に位置する現在のブロックに対して、７つの近隣のブロックの動きベクトルが考慮される。

そのような現在のブロックに対し、従来のＨＥＶＣ方法が使用される場合は、近隣のブロックＢ０は利用可能ではない。

本明細書で開示される原理によれば、ブロックＢ０、Ｃ０、Ｃ１は、フレームの左側の境界の同じ行の最初のＣＴＵの一部である。これらのブロックは、既に符号化済みであり、それらの動きベクトル情報は、右側の境界の現在のブロックが符号化されると利用可能である。従って、それらの動きベクトル情報は、候補動きベクトルの集合を改善するために使用することができる。

この変形形態によれば、候補Ａに対し、ブロックＡ０、Ａ１、Ｃ０、Ｃ１の動きベクトルは、その順番で考慮される。

アルゴリズムは、４つの候補が考慮されることを除いて、ＨＥＶＣと同じままである。

第１のパスでは、Ａ０、Ａ１、Ｃ０、Ｃ１が順次チェックされる。現在のブロックの参照インデックスと等しい参照インデックスを有する４つの候補ブロックのうちの第１の候補ブロックが候補Ａとされる。４つの候補ブロックのいずれも同じ参照インデックスを有さない場合は、第２のパスにおいて、現在の参照ピクチャ及び候補参照ピクチャ（上記と同じ順番で取られる）が両方ともショートタームかどうかがチェックされる。チェックが検証された場合は、考慮される候補の動きベクトルがスケーリングされ、候補動きベクトルＡとして使用される。スケーリング因子は、それらの参照ピクチャと現在のピクチャとの間の時間的距離に依存し、また、現在のブロックの参照ピクチャと現在のピクチャとの間の時間的距離にも依存する。スケーリングは、ＨＥＶＣのように行われる。

候補Ｂに対し、アルゴリズムは、ＨＥＶＣ規格のものと同じままである。候補Ｂ０〜Ｂ２は、第１のパスにおいてＡ０、Ａ１がチェックされる方法と同じ方法で順次チェックされる。しかし、第２のパスは、ブロックＡ０、Ａ１がいかなる動き情報も含まない（すなわち、利用可能ではない又はイントラ予測される）時にのみ実行される。

１ビット構文要素mvp_I0_flag及びmvp_I1_flag符号化は、余分な情報をコード化する必要がないため、ＨＥＶＣのものと同じままである。この実施形態によれば、予測因子のセットを増加するための予測因子の数及びセットの構築は修正されるが、セットの予測因子の数は、同じままであり、従って、余分な情報をコード化する必要はない。

別の変形形態によれば、２Ｄピクチャの境界の現在のブロックに対する動きベクトルを推定する際、動き推定モジュールは、動きが推定される２Ｄ参照ピクチャの左右の境界における連続性から利益を得ることができる。従来のブロックベースの動き推定技法では、検索範囲は、動きベクトルが２Ｄ参照ピクチャの外側に位置する利用不可能な画素を指し示さないように切り捨てられる。検索範囲は、動きベクトルが検索される範囲である。

この変形形態によれば、完全な検索範囲は、ここでは、２Ｄピクチャの境界に位置する現在のブロックに対する動きを推定する際に考慮することができる。２Ｄ参照ピクチャの境界は、反対側の境界からの画素を使用することによって対称的に拡張することができる。その結果、推定された動きベクトルは、現在のブロックから参照ピクチャの外側の画素まで指し示し得る。そのような参照ピクチャの外側の位置は、２Ｄ参照ピクチャの対称的に拡張されたブロックと一致する。デコーダ側では、デコーダは、そのような動きベクトルに対する参照ピクチャの対称的な拡張を実行するだけでよい。

別の変形形態によれば、開示される原理は、２Ｄピクチャの右側の境界に位置する現在のブロックをコード化するためのインター予測マージモードにおける動き情報を導出する際に実行される。ＡＭＶＰに加えて、ＨＥＶＣもまた、動き情報の符号化を低減するために予測ブロックマージを使用する。その目的のため、ＨＥＶＣエンコーダは、同じ５つの空間的な近隣のブロック（２４（ａ）に示されるような）及び潜在的に１つの時間的な近隣のブロックの動き情報を考慮することによって、インターコード化予定の現在のブロックに対するマージリストを作成する。選択された候補の動き情報（予測方向も、参照ピクチャのピクチャ参照リストＩ０、Ｉ１、ピクチャ参照リストの参照ピクチャの参照インデックス及び動きベクトルを参照する）は、他のサイド情報無しで現在のブロックを予測するために直接使用される。このマージモードでは、現在のブロックは、選択された候補からすべての動き情報を継承することによって予測される。従って、予測ブロックは、継承した動き情報を使用して現在のブロックを動き補償することによって演算される。

インター予測マージモードを信号伝達するため、エンコーダは、merge_flagと呼ばれるフラグを使用する。merge_flagが１であれば、構文要素merge_idxは、選択された候補を信号伝達する。マージリストの候補の最大数は、スライスヘッダで信号伝達されるｃＭａｘと呼ばれるパラメータを使用して信号伝達される。マージリストは、５つの空間的な近隣のブロックから導出される最大で４つのマージ候補、１つの時間的な候補並びに追加のマージ候補（組み合わされた双予測候補及びゼロ動きベクトル候補を含む）を内包し得る。

この実施形態によれば、右側の境界のＣＵに位置する現在のブロックに対するマージリストの空間的な動き候補の数は、５まで増加される。追加の動き候補は、Ｂ０、Ｃ０、Ｃ１から導出される。この追加の動き候補は、ＨＥＶＣによって導出される際に、他の４つの候補と共に含まれる。結果的に、境界のＣＵに対し、候補の数は、ｃＭａｘ＋１とされる。

図１８に戻ると、現在のブロックＢＬＫに対してコード化モードが選択された時点で、モード選択ユニットは、デコーダで同じブロック予測を実行するために、コード化してビットストリームにする予定の予測ブロックＰＲＥＤ及び対応する構文要素を伝達する。

次いで、残差ブロックＲＥＳは、オリジナルのブロックＢＬＫから予測ブロックＰＲＥＤを減ずることによって得られる。

次いで、残差ブロックＲＥＳは、変換処理モジュールによって変換され、変換処理モジュールは、変換済みの係数の変換ブロックＴＣＯＥＦを伝達する。次いで、伝達された変換ブロックＴＣＯＥＦの各々は、量子化モジュールによって量子化され、量子化モジュールは、量子化済みの残差変換係数の量子化済みの変換ブロックＱＣＯＥＦを伝達する。

次いで、構文要素及びブロックＱＣＯＥＦの量子化済みの残差変換係数は、ビットストリームＳＴＲのコード化済みのビデオデータを伝達するために、エントロピー符号化モジュールに入力される。

別の変形形態によれば、開示される原理は、エントロピー符号化モジュールによって使用することができる。ＨＥＶＣは、コンテキスト算術エントロピー符号化（ＣＡＢＡＣとしても知られている）を使用する。エントロピー符号化モジュールによって実行される算術コード化は、ビットのストリーム全体を符号化し、ビットのストリーム全体は、区間（０，１）によって表される、それらの同時確率によって、符号化するため（構文要素、量子化済みの変換係数など）の適切なシンボルの二進化の後に得られる。エントロピー符号化モジュールは、異なる構文要素に対するコンテキストモデルを通じてシンボルの確率をモデル化し、すべてのビットを符号化した後にモデル状態を更新することによって、算術コード化を実行する。コンテキストモデルは、近隣のブロック符号化情報に基づいて確率を初期化する。

ＨＥＶＣでは、CU_split_flag及びCU_skip_flagは、コード化単位がさらに分けられるかどうか及びコード化単位が省略されるかどうかをそれぞれ示すため（すなわち、他の情報が現在のコード化単位に対してコード化されるかどうかを示すため）、現在のコード化単位に対してコード化される。これらのフラグをコード化するためのエントロピー符号化モジュールは、これらのフラグを符号化するために使用されるコンテキストモデルを選択するために以前にコード化された近隣のＣＵからの情報を使用する。適用可能な初期化タイプの各々に対する３つのコンテキストモデルのセットが利用可能である。図２５（ａ）に示されるように、現在のブロックに対するCU_split_flag及びCU_skip_flagに対するコンテキストモデルは、近隣のブロックＡ、Ｂに基づいて決定される。CU_split_flagコンテキストは、近隣のブロックが利用可能であり、そのコード化木深度が現在のブロックより大きい場合に、１つインクリメントする。同様に、CU_skip_flagコンテキストのコンテキストは、近隣のブロックが利用可能であり、CU_skip_flagが設定されている場合に、１つインクリメントする。

本原理によれば、２Ｄピクチャの右側の境界の現在のブロックに対し、既に符号化済みの左側の境界のＣＴＵの一部である近隣のブロックからの情報も考慮される。これは、図２５（ｂ）に示されている。２Ｄピクチャの右側の境界に位置する現在のブロックに対し、CU_split_flag及びCU_skip_flagの両方に対する４つのコンテキストモデルが使用される。ＨＥＶＣのように、CU_split_flagコンテキストは、近隣の（上側、左側、右側の）ブロックが利用可能であり、そのコード化木深度が現在のブロックより大きい場合に、１つインクリメントする。同様に、CU_skip_flagのコンテキストは、近隣の（上側、左側、右側の）ブロックが利用可能であり、CU_skip_flagが設定されている場合に、１つインクリメントする。

図１８に戻ると、量子化済みの変換ブロックＱＣＯＥＦの量子化済みの残差変換係数は、逆量子化モジュールによって処理され、逆量子化モジュールは、非量子化変換係数のブロックＴＣＯＥＦ’を伝達する。ブロックＴＣＯＥＦ’は、残差予測のブロックＲＥＳ’を再構成するために逆変換モジュールに渡される。

次いで、ブロックＢＬＫの再構成バージョンＲＥＣは、予測ブロックＰＲＥＤを再構成残差予測ブロックＲＥＳ’に加えることによって得られる。再構成ブロックＲＥＣは、ピクチャＩの復号バージョンＩ’を再構成するためのピクチャ再構成モジュールによる後の使用のためにメモリに格納される。ピクチャＩのすべてのブロックＢＬＫがコード化された時点で、ピクチャ再構成モジュールは、再構成ブロックＲＥＣからピクチャＩの復号バージョンＩ’の再構成を実行する。任意選択により、再構成ブロック間のブロッキングアーチファクトを除去するために、再構成ピクチャＩ’にデブロッキングフィルタリングを適用することができる。

別の変形形態によれば、右側の境界のＣＴＵに対してサンプル適応オフセットフィルタリングを実行するＳＡＯモジュールは、開示される原理を使用することができる。ＳＡＯは、エンコーダによって送信されたルックアップテーブルの値に基づいて、デブロッキングフィルタを適用した後にオフセット値を各サンプルに条件付きで加えることによって、復号済みのサンプルを修正するプロセスである。ＳＡＯは、ＣＴＵごとに選択されたフィルタリングタイプに基づいて、領域ごとに実行される。

ＨＥＶＣでは、ＣＴＵは、左側のＣＴＵ若しくは上側のＣＴＵ（図２６（ａ））のＳＡＯパラメータを再利用することによって又は新しいＳＡＯパラメータを送信することによって、ＳＡＯパラメータを信号伝達するための３つのオプションを使用することができる。sao_merge_left_flag及びsao_merge_top_flagと呼ばれる２つのフラグは、左側のＣＴＵ ＳＡＯ情報が使用されるか又は上側のＣＴＵ ＳＡＯ情報が使用されるかに応じて設定される。

この実施形態によれば、sao_merge_right_flagと呼ばれる追加のフラグは、フレームの右側の境界のＣＴＵに対して追加される。同じ行の左側の境界のＣＴＵは、右側の近隣のブロックとして使用される。現在のＣＴＵが右側の近隣のブロックのＳＡＯ情報を使用すれば、sao_merge_right_flagが設定される。

ＨＥＶＣは、sao_merge_left_flag及びsao_merge_top_flagを符号化するための１つのコンテキストモデルを使用する。この変形形態では、右側の境界のＣＴＵに対して、sao_merge_right_flagを符号化するために、同じコンテキストが使用される。

図１８に戻ると、再構成ピクチャＩ’がデブロックされ、ＳＡＯフィルタリングが行われた時点で、結果として得られた再構成ピクチャは、コード化予定のピクチャのセットの後続のピクチャを符号化するための参照ピクチャとして、後の使用のために参照ピクチャメモリに追加される。

次いで、上記で説明される符号化プロセスから生成されたビットストリームは、ビットストリームＳＴＲから復号される全方向ビデオの没入型レンダリングのために、データネットワーク上で送信されるか又はメモリ上に格納される。

図１９は、本開示の実施形態による、投影関数を使用して全方向ビデオの投影を表す２Ｄピクチャの現在のブロックを復号するための例示的な方法のためのブロック図を示す。そのような方法は、例えば、本明細書で開示されるものなどの没入型システムのデコーダ（７００）によって実行することができる。

ブロック１９００では、上記投影関数に関連する情報のアイテムが全方向ビデオを表すビットストリームから復号される。或いは、デコーダは、全方向ビデオを２Ｄピクチャに投影するために使用された投影関数を知っている場合がある。例えば、そのような情報は、デコーダのメモリに格納することができる。

ブロック１９０１では、上記２Ｄピクチャの現在のブロックに対し、図１７からのブロック１７００で開示されるような投影関数に従って、上記２Ｄピクチャの少なくとも１つの近隣のブロックが決定される。

ブロック１９０２では、少なくとも決定された近隣のブロックを使用して、現在のブロックが復号される。現在のブロックを復号する間、決定された近隣のブロックは、デコーダのすべての復号モジュールによって又はそれらのいくつかによって使用することができる。例えば、そのような復号モジュールは、
− 上記現在のブロックに対するイントラ予測モードを復号するための最確モードリストを決定するためのモジュール、
− 上記現在のブロックに対する動きベクトルを再構成するための動きベクトル予測因子を導出するためのモジュール、
− 上記現在のブロックを再構成するためのインター予測マージモードにおける動き情報を導出するためのモジュール、
− 上記現在のブロックをコンテキスト算術エントロピー復号するためのモジュール、
− 上記現在のブロックの少なくとも１つのサンプルをフィルタリングするためのサンプル適応オフセットのためのモジュール
を含む群に含めることができる。

図１９で開示される方法の実施形態のいずれか１つは、本開示の実施形態に従って、以下で開示されるもの及び図２０で開示されるものなど、全方向ビデオを表すビットストリームを復号するための例示的なデコーダにおいて実装することができる。

図２０は、本原理を使用して符号化されたビットストリームを復号するように適応させた例示的なビデオデコーダ方法を示す概略ブロック図である。上記２Ｄピクチャへの全方向ビデオの投影を表すコード化済みのピクチャを表すビットストリームＳＴＲは、上記２Ｄピクチャの少なくとも１つの現在のブロックＢＬＫを表すコード化済みのデータを含む。そのような現在のブロックは、本開示の実施形態に従ってコード化されているものであり得る。

また、実施形態によれば、ビットストリームＳＴＲは、投影関数に関連する情報のアイテムを表すコード化済みのデータも含み得る。

本明細書で開示されるビデオデコーダ７００は、ＨＥＶＣビデオコード化規格に従ってピクチャの復号を実行する。しかし、本原理は、いかなるビデオコード化規格にも容易に適用することができる。

ビデオデコーダ７００は、ピクチャごとにコード化済みのピクチャをビットストリームから復号することによって及びブロックごとに各ピクチャを復号することによって、全方向ビデオの再構成を実行する。使用されるビデオ圧縮スキームによれば、ピクチャごとに又はブロックごとにビットストリームを復号するために、並列処理を使用することができる。従って、ピクチャＩ’は、以下の通り、圧縮ビットストリームから再構成される。

コード化済みのデータは、ビデオデコーダ７００のビデオ復号モジュールに渡される。図２０に示されるように、コード化済みのデータは、エントロピー復号モジュールに渡され、エントロピー復号モジュールは、エントロピー復号を実行し、量子化済みの変換係数のブロックＱＣＯＥＦを逆量子化モジュールに伝達し、構文要素を予測モジュールに伝達する。本原理の実施形態によれば、エントロピー復号モジュールは、現在のブロックに対するCU_split_flag及び／又はCU_skip_flagの算術バイナリ復号を実行するためのコンテキストモデルを導出するために、図１９からのブロック１９０１及び１９０２で開示されるような処理を実行することができる。

エントロピー復号の後に、量子化済みの変換係数のブロックＱＣＯＥＦは、非量子化変換係数のブロックＴＣＯＥＦ’を伝達するために、逆量子化モジュールによって逆量子化される。

非量子化変換係数のブロックＴＣＯＥＦ’は、逆変換モジュールによって逆変換され、逆変換モジュールは、残差予測ブロックＲＥＳ’を伝達する。

予測モジュールは、構文要素に従って、現在のブロックがインター予測されている場合は動き補償モジュールを使用して、又は、現在のブロックが空間的に予測されている場合はイントラ予測モジュールを使用して、予測ブロックＰＲＥＤを構築する。現在のブロックが２Ｄピクチャの境界のブロックである際は、現在のブロックに対する予測ブロックＰＲＥＤを構築する場合、予測モジュールは、図１９からのブロック１９０１及び１９０２で開示されるような処理を実行することができ、従って、
− 残差動きベクトルが現在のブロックに対して明示的にコード化されてビットストリームにされた際に、現在のブロックに対する動きベクトルを再構成するための動きベクトル予測因子を導出するため、
− 現在のブロックがインター予測マージモードを使用してコード化されている際に、現在のブロックに対する動き情報を導出するため、又は
− 現在のブロックがイントラ予測モードを使用してコード化されている際に、最確モードリストを決定するため、
本原理に従って現在のブロックに対する近隣のブロックを決定することができる。

次いで、再構成ブロックＲＥＣは、予測ブロックＰＲＥＤを再構成残差予測ブロックＲＥＳ’に追加することによって得られる。再構成ブロックＲＥＣは、復号済みのピクチャＩ’を再構成するためのピクチャ再構成モジュールによる後の使用のためにメモリに格納される。ピクチャＩのすべてのブロックが復号された時点で、ピクチャ再構成モジュールは、再構成ブロックＲＥＣから復号済みのピクチャＩ’の再構成を実行する。任意選択により、再構成ブロック間のブロッキングアーチファクトを除去するために、再構成ピクチャＩ’にデブロッキングフィルタリングを適用することができる。

ＳＡＯモジュールのエンコーダにおいて、本開示の実施形態に従って現在のブロックの近隣のブロックを導出するためのプロセスが適用されている場合は、ＳＡＯフィルタリングは、エンコーダと同じ方法でデコーダでも適用される。従って、２Ｄピクチャの境界の現在のブロックに対し、ＳＡＯモジュールは、図１９からのブロック１９０１及び１９０２で開示されるような処理を実行することができ、従って、本原理に従って現在のブロックに対する近隣のブロックを決定することができる。

次いで、再構成ピクチャＩ’は、復号予定のピクチャのセットの後続のピクチャを復号するための参照ピクチャとして、後の使用のために参照ピクチャメモリに格納される。

次いで、再構成ピクチャＩ’は、上記で開示されるように、メモリに格納されるか又はビデオデコーダ装置７００によって没入型レンダリングデバイス（１０）に出力される。また、ビデオデコーダ装置７００は、没入型レンダリングデバイス（８０）に含めることもできる。その場合は、再構成ピクチャＩ’は、デコーダ装置によって没入型レンダリングデバイス（８０）の表示モジュールに出力される。

実装される没入型レンダリングシステムによれば、開示されるデコーダ装置は、例えば、コンピュータ（４０）、ゲームコンソール（６０）、スマートフォン（７０１）、没入型レンダリングデバイス（８０）又はイマーシブウォール（６０００）など、本明細書で開示されるものなどの没入型レンダリングシステムの処理デバイスのいずれか１つに含めることができる。

装置デコーダ７００は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組合せとして実装することができる。

図２１は、実施形態による、全方向ビデオをコード化する装置（４００）の簡略化された構造を示す。そのような装置は、本明細書において上記で図１７及び１８を参照して説明されている本原理による全方向ビデオをコード化する方法を実装するように構成されている。

実施形態によれば、エンコーダ装置は、処理ユニットＰＲＯＣを含み、処理ユニットＰＲＯＣは、例えば、プロセッサが装備され、メモリＭＥＭに格納されたコンピュータプログラムＰＧによって駆動され、本原理による全方向ビデオをコード化する方法を実装する。

初期化の際、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、次いで、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、本明細書において上記で説明されている全方向ビデオをコード化する方法のステップを実装する。

エンコーダ装置は、符号化済みのビットストリームＳＴＲをデータネットワークに送信するための通信ユニットＣＯＭＯＵＴを含む。

また、エンコーダ装置は、コード化予定のピクチャ又は符号化予定の全方向ビデオを受信するためのインタフェースＣＯＭＩＮも含む。

図２２は、実施形態による、全方向ビデオを表すビットストリームを復号する装置（７００）の簡略化された構造を示す。そのような装置は、本明細書において上記で図１９及び２０を参照して説明されている本原理による全方向ビデオを表すビットストリームを復号する方法を実装するように構成されている。

実施形態によれば、デコーダ装置は、処理ユニットＰＲＯＣを含み、処理ユニットＰＲＯＣは、例えば、プロセッサが装備され、メモリＭＥＭに格納されたコンピュータプログラムＰＧによって駆動され、本原理による全方向ビデオを表すビットストリームを復号する方法を実装する。

初期化の際、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、次いで、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、本明細書において上記で説明されている全方向ビデオを表すビットストリームを復号する方法のステップを実装する。

装置は、ビデオデータの再構成ピクチャをレンダリングデバイスに送信するための通信ユニットＣＯＭＯＵＴを含み得る。

また、装置は、データネットワーク、ゲートウェイ又はセットトップボックスから復号予定の全方向ビデオを表すビットストリームＳＴＲを受信するためのインタフェースＣＯＭＩＮも含む。

Claims (22)

1. 広視野ビデオをコード化してビットストリームにする方法であって、前記広視野ビデオの少なくとも１つのピクチャが、表面として表され、前記表面が、投影関数を使用して少なくとも１つの２Ｄピクチャに投影され、前記方法が、現在のイントラ予測モードｍに従ってコード化される前記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、
   − 前記投影関数から、前記２Ｄピクチャの前記現在のブロックに空間的に隣接していない、第１の近隣のブロックＣと呼ばれる前記２Ｄピクチャの少なくとも１つの近隣のブロックを決定することであって、前記少なくとも１つの近隣のブロックが、前記表面上の前記現在のブロックに空間的に隣接する、決定することと、
   − 前記第１の近隣のブロックＣのイントラ予測モードｍ＿Ｃに基づいて、さらに、第２の近隣のブロックＡのイントラ予測モードｍ＿Ａ及び第３の近隣のブロックＢのイントラ予測モードｍ＿Ｂに少なくとも基づいて、最確モードのリストを決定することであって、前記第２及び第３の近隣のブロックが、前記２Ｄピクチャの前記現在のブロックに空間的に隣接する、決定することと、
   − 前記最確モードのリストから前記現在のイントラ予測モードを符号化することと
   を含む、方法。
2. 前記最確モードのリストを決定することが、
   − ｍ＿Ａ及びｍ＿Ｂが異なれば、以下の通り：
   ｍ＿Ｃがｍ＿Ａ又はｍ＿Ｂのいずれかと等しければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｂ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｂも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｂが平面モードであるが、ｍ＿Ａもｍ＿ＢもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように、
   そうでなければ、前記最確モードのリストが、ｍ＿Ａ、ｍ＿Ｂ及びｍ＿Ｃを含むように前記リストを決定すること、
   − ｍ＿Ａ及びｍ＿Ｂが等しければ、以下の通り：
   ｍ＿Ｃがｍ＿Ａと等しければ、前記最確モードのリストが、ｍ＿Ａが平面及びＤＣモードと異なる場合は、ｍ＿Ａ及びｍ＿Ａの２つの隣接する角度モードを含むか、そうでなければ、前記最確モードのリストが、平面モード、ＤＣモード及び垂直モードを含むように、
   そうでなければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｃ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｃも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｃが平面モードであるが、ｍ＿Ａもｍ＿ＣもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように前記リストを決定すること
   を含む、請求項１に記載の方法。
3. 前記現在のイントラ予測モードを符号化することが、
   − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しいかどうかを示すフラグを符号化することと、
   − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しい場合は、前記現在のイントラ予測モードと等しい前記リストの前記最確モードを識別するインデックスを符号化し、そうでなければ、前記現在のイントラ予測モードを識別するインデックスを符号化することと
   を含む、請求項１又は２に記載の方法。
4. 前記投影関数に関連する情報のアイテムをコード化することをさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記３Ｄ表面が球体であり、前記投影関数が正距円筒投影である、請求項１〜４のいずれか一項に記載の方法。
6. 広視野ビデオをコード化してビットストリームにする装置であって、前記広視野ビデオの少なくとも１つのピクチャが、表面として表され、前記表面が、投影関数を使用して少なくとも１つの２Ｄピクチャに投影され、前記装置が、
   − 現在のイントラ予測モードｍに従ってコード化される前記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、前記投影関数から、前記２Ｄピクチャの前記現在のブロックに空間的に隣接していない、第１の近隣のブロックＣと呼ばれる前記２Ｄピクチャの少なくとも１つの近隣のブロックを決定する手段であって、前記少なくとも１つの近隣のブロックが、前記表面上の前記現在のブロックに空間的に隣接する、手段と、
   − 前記第１の近隣のブロックＣのイントラ予測モードｍ＿Ｃに基づいて、さらに、第２の近隣のブロックＡのイントラ予測モードｍ＿Ａ及び第３の近隣のブロックＢのイントラ予測モードｍ＿Ｂに少なくとも基づいて、最確モードのリストを決定する手段であって、前記第２及び第３の近隣のブロックが、前記２Ｄピクチャの前記現在のブロックに空間的に隣接する、手段と、
   − 前記最確モードのリストから前記現在のイントラ予測モードを符号化する手段と
   を含む、装置。
7. 前記最確モードのリストを決定する手段が、以下の通り：
   − ｍ＿Ａ及びｍ＿Ｂが異なれば、
   ｍ＿Ｃがｍ＿Ａ又はｍ＿Ｂのいずれかと等しければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｂ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｂも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｂが平面モードであるが、ｍ＿Ａもｍ＿ＢもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように、
   そうでなければ、前記最確モードのリストが、ｍ＿Ａ、ｍ＿Ｂ及びｍ＿Ｃを含むように、
   − ｍ＿Ａ及びｍ＿Ｂが等しければ、
   ｍ＿Ｃがｍ＿Ａと等しければ、前記最確モードのリストが、ｍ＿Ａが平面及びＤＣモードと異なる場合は、ｍ＿Ａ及びｍ＿Ａの２つの隣接する角度モードを含むか、そうでなければ、前記最確モードのリストが、平面モード、ＤＣモード及び垂直モードを含むように、
   そうでなければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｃ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｃも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｃが平面モードであるが、ｍ＿Ａもｍ＿ＣもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように
   前記最確モードのリストを決定するように構成されている、請求項６に記載の装置。
8. 前記現在のイントラ予測モードを符号化する前記手段が、
   − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しいかどうかを示すフラグを符号化することと、
   − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しい場合は、前記現在のイントラ予測モードと等しい前記リストの前記最確モードを識別するインデックスを符号化し、そうでなければ、前記現在のイントラ予測モードを識別するインデックスを符号化することと
   を行うように構成されている、請求項６又は７に記載の装置。
9. 前記符号化する手段が、前記投影関数に関連する情報のアイテムを符号化するようにさらに構成されている、請求項６〜８のいずれか一項に記載の装置。
10. 前記３Ｄ表面が球体であり、前記投影関数が正距円筒投影である、請求項６〜９のいずれか一項に記載の装置。
11. 広視野ビデオを表すビットストリームを復号する方法であって、前記広視野ビデオの少なくとも１つのピクチャが、表面として表され、前記表面が、投影関数を使用して少なくとも１つの２Ｄピクチャに投影され、前記方法が、現在のイントラ予測モードｍに従ってコード化された前記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、
    − 前記投影関数から、前記２Ｄピクチャの前記現在のブロックに空間的に隣接していない、第１の近隣のブロックＣと呼ばれる前記２Ｄピクチャの少なくとも１つの近隣のブロックを決定することであって、前記少なくとも１つの近隣のブロックが、前記表面上の前記現在のブロックに空間的に隣接する、決定することと、
    − 前記第１の近隣のブロックＣのイントラ予測モードｍ＿Ｃに基づいて、さらに、第２の近隣のブロックＡのイントラ予測モードｍ＿Ａ及び第３の近隣のブロックＢのイントラ予測モードｍ＿Ｂに少なくとも基づいて、最確モードのリストを決定することであって、前記第２及び第３の近隣のブロックが、前記２Ｄピクチャの前記現在のブロックに空間的に隣接する、決定することと、
    − 前記最確モードのリストから前記現在のイントラ予測モードを復号することと
    を含む、方法。
12. 前記最確モードのリストを決定することが、
    − ｍ＿Ａ及びｍ＿Ｂが異なれば、以下の通り：
    ｍ＿Ｃがｍ＿Ａ又はｍ＿Ｂのいずれかと等しければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｂ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｂも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｂが平面モードであるが、ｍ＿Ａもｍ＿ＢもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように、
    そうでなければ、前記最確モードのリストが、ｍ＿Ａ、ｍ＿Ｂ及びｍ＿Ｃを含むように前記リストを決定すること、
    − ｍ＿Ａ及びｍ＿Ｂが等しければ、以下の通り：
    ｍ＿Ｃがｍ＿Ａと等しければ、前記最確モードのリストが、ｍ＿Ａが平面及びＤＣモードと異なる場合は、ｍ＿Ａ及びｍ＿Ａの２つの隣接する角度モードを含むか、そうでなければ、前記最確モードのリストが、平面モード、ＤＣモード及び垂直モードを含むように、
    そうでなければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｃ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｃも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｃが平面モードであるが、ｍ＿Ａもｍ＿ＣもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように前記リストを決定すること
    を含む、請求項１１に記載の方法。
13. 前記現在のイントラ予測モードを復号することが、
    − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しいかどうかを示すフラグを復号することと、
    − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しい場合は、前記現在のイントラ予測モードと等しい前記リストの前記最確モードを識別するインデックスを復号し、そうでなければ、前記現在のイントラ予測モードを識別するインデックスを復号することと
    を含む、請求項１１又は１２に記載の方法。
14. 前記投影関数に関連する情報のアイテムを復号することをさらに含む、請求項１１〜１３のいずれか一項に記載の方法。
15. 前記３Ｄ表面が球体であり、前記投影関数が正距円筒投影である、請求項１１〜１４のいずれか一項に記載の方法。
16. 広視野ビデオを表すビットストリームを復号する装置であって、前記広視野ビデオの少なくとも１つのピクチャが、表面として表され、前記表面が、投影関数を使用して少なくとも１つの２Ｄピクチャに投影され、前記装置が、
    − 現在のイントラ予測モードｍに従ってコード化された前記少なくとも１つの２Ｄピクチャの少なくとも１つの現在のブロックに対して、前記投影関数から、前記２Ｄピクチャの前記現在のブロックに空間的に隣接していない、第１の近隣のブロックＣと呼ばれる前記２Ｄピクチャの少なくとも１つの近隣のブロックを決定する手段であって、前記少なくとも１つの近隣のブロックが、前記表面上の前記現在のブロックに空間的に隣接する、手段と、
    − 前記第１の近隣のブロックＣのイントラ予測モードｍ＿Ｃに基づいて、さらに、第２の近隣のブロックＡのイントラ予測モードｍ＿Ａ及び第３の近隣のブロックＢのイントラ予測モードｍ＿Ｂに少なくとも基づいて、最確モードのリストを決定する手段であって、前記第２及び第３の近隣のブロックが、前記２Ｄピクチャの前記現在のブロックに空間的に隣接する、手段と、
    − 前記最確モードのリストから前記現在のイントラ予測モードを復号する手段と
    を含む、装置。
17. 最確モードのリストを決定する前記手段が、以下の通り：
    − ｍ＿Ａ及びｍ＿Ｂが異なれば、
    ｍ＿Ｃがｍ＿Ａ又はｍ＿Ｂのいずれかと等しければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｂ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｂも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｂが平面モードであるが、ｍ＿Ａもｍ＿ＢもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように、
    そうでなければ、前記最確モードのリストが、ｍ＿Ａ、ｍ＿Ｂ及びｍ＿Ｃを含むように、
    − ｍ＿Ａ及びｍ＿Ｂが等しければ、
    ｍ＿Ｃがｍ＿Ａと等しければ、前記最確モードのリストが、ｍ＿Ａが平面及びＤＣモードと異なる場合は、ｍ＿Ａ及びｍ＿Ａの２つの隣接する角度モードを含むか、そうでなければ、前記最確モードのリストが、平面モード、ＤＣモード及び垂直モードを含むように、
    そうでなければ、前記最確モードのリストが、ｍ＿Ａ及びｍ＿Ｃ並びに追加のイントラ予測モードを含み、前記追加のイントラ予測モードが、ｍ＿Ａもｍ＿Ｃも平面モードではない場合は、平面モードと等しく、ｍ＿Ａ又はｍ＿Ｃが平面モードであるが、ｍ＿Ａもｍ＿ＣもＤＣモードではない場合は、ＤＣモードと等しく、そうでなければ、垂直イントラ予測モードと等しいように
    前記最確モードのリストを決定するように構成されている、請求項１６に記載の装置。
18. 前記現在のイントラ予測モードを復号する前記手段が、
    − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しいかどうかを示すフラグを復号することと、
    − 前記現在のイントラ予測モードが前記最確モードのリストのうちの１つのモードと等しい場合は、前記現在のイントラ予測モードと等しい前記リストの前記最確モードを識別するインデックスを復号し、そうでなければ、前記現在のイントラ予測モードを識別するインデックスを復号することと
    を行うように構成されている、請求項１７に記載の装置。
19. 前記復号する手段が、前記投影関数に関連する情報のアイテムを復号するようにさらに構成されている、請求項１６〜１８のいずれか一項に記載の装置。
20. 前記３Ｄ表面が球体であり、前記投影関数が正距円筒投影である、請求項１６〜１９のいずれか一項に記載の装置。
21. 請求項１６〜２０のいずれか一項に記載の広視野ビデオを表すビットストリームを復号する装置を含む没入型レンダリングデバイス。
22. 符号化してビットストリームにされた広視野ビデオの没入型レンダリングのシステムであって、
    − データネットワークから前記ビットストリームを受信するネットワークインタフェース（６００）と、
    − 請求項１６〜２０のいずれか一項に記載の前記ビットストリームを復号する装置（７００）と、
    − 没入型レンダリングデバイス（９００）と
    を少なくとも含む、システム。

Images