JP2022517118A - 点群コーディングにおける効率的なパッチ回転 - Google Patents

Abstract

【要約】復号化器によって実施された点群コーディング（ＰＣＣ）の方法が提供される。この方法は、復号化器の受信機により、２次元（２Ｄ）パッチのためのパッチ回転イネーブルフラグとアトラス情報とを含むビットストリームを受信するステップと、復号化器のプロセッサにより、２Ｄパッチがパッチ回転イネーブルフラグに基づいて回転されることが可能であると決定するステップと、プロセッサにより、２Ｄパッチを回転させるステップと、プロセッサにより、アトラス情報と回転された２Ｄパッチとを使用して、３次元（３Ｄ）画像を再構成するステップとを備えている。

Description

本特許出願は、「Ｐｏｉｎｔ Ｃｌｏｕｄ Ｂｉｔｓｔｒｅａｍ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ａｕｘｉｌｉａｒｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｃｏｄｉｎｇ」と題し、２０１９年１月１４日にＶｌａｄｙｓｌａｖ Ｚａｋｈａｒｃｈｅｎｋｏらにより出願された米国仮特許出願第６２／７９２，２５９号の利益を主張し、これは参照により本明細書に組み込まれる。

本開示は全体的に、点群コーディングに関し、特に、点群コーディングのための高レベル構文に関する。

点群は、娯楽産業、インテリジェント自動車ナビゲーション、地理空間検査、実世界物体の３次元（３Ｄ）モデル化、可視化などを含む広範な応用に使用される。点群の不均一なサンプリング幾何学を考慮すると、このようなデータの記憶及び送信のためのコンパクトな表現が有用である。他の３Ｄプレゼンテーションと比較して、不規則な点群はより一般的であり、より広範囲のセンサ及びデータ収集戦略に適用可能である。例えば、仮想現実世界で３Ｄプレゼンテーションを行う場合や、テレプレゼンス環境でリモートレンダリングを行う場合、仮想図形のレンダリングやリアルタイム命令は、高密度点群データセットとして処理される。

第１の態様は、復号化器によって実施される点群コーディング（ＰＣＣ）の方法に関連し、これは、復号化器の受信機により、２次元（２Ｄ）パッチについてパッチ回転イネーブルフラグとアトラス情報とを含むビットストリームを受信するステップと、復号化器のプロセッサにより、パッチ回転イネーブルフラグに基づいて、２Ｄパッチが回転されることが可能であると決定するステップと、プロセッサにより、２Ｄパッチを回転させるステップと、プロセッサにより、アトラス情報と回転された２Ｄパッチとを使用して、３次元（３Ｄ）画像を再構成するステップとを備えている。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第１の態様による方法の第１の実施の形態では、ビットストリームは、デフォルトのパッチ回転及び選好されるパッチ回転を含み、２Ｄパッチは、デフォルトのパッチ回転又は選好されるパッチ回転に従って回転される。

第１の態様による方法の第２の実施の形態、又は第１の態様の任意の上述した実施の形態では、ビットストリームは、複数の利用可能なパッチ回転のうちの１つを含み、２Ｄパッチは、複数の利用可能なパッチ回転のうちの１つに従って回転される。

第１の態様による方法の第３の実施の形態、又は第１の態様の任意の上述した実施の形態では、ビットストリームの中の３ビットフラグは、複数の利用可能なパッチ回転のうちの１つを識別する。

第１の態様による方法の第４の実施の形態、又は第１の態様の任意の上述した実施の形態では、ビットストリームは、制限回転イネーブルフラグを含む。

第１の態様による方法の第５の実施の形態、又は第１の態様の任意の上述した実施の形態では、２Ｄパッチは、制限回転フラグが第１の値を有するときに、網羅的な配向モードに基づいて回転され、制限回転フラグが第２の値を有するときに、単純な配向モードに基づいて回転される。

第１の態様による方法の第６の実施の形態、又は第１の態様の任意の上述した実施の形態では、ビットストリームは、パッチ回転存在フラグを含み、２Ｄパッチは、パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って回転される。

第１の態様による方法の第７の実施の形態、又は第１の態様の任意の上述した実施の形態では、ビットストリームは、パッチ回転存在フラグを含み、２Ｄパッチは、パッチ回転存在フラグが第２の値を有するときに、選好されるパッチ回転に従って、又は複数の利用可能なパッチ回転のうちの１つに従って回転される。

第１の態様による方法の第８の実施の形態、又は第１の態様の任意の上述した実施の形態では、パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第２の値を有し、パッチ回転存在フラグが第２の値を有するときに、選好されるパッチ回転に従って２Ｄパッチを回転させるステップをさらに含む。

第１の態様による方法の第９の実施の形態、又は第１の態様の任意の上述した実施の形態では、パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第２の値を有し、パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って２Ｄパッチを回転させるステップをさらに含む。

第１の態様による方法の第１０の実施の形態、又は第１の態様の任意の上述した実施の形態では、パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第１の値を有し、パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って２Ｄパッチを回転させるステップをさらに含む。

第１の態様による方法の第１１の実施の形態、又は第１の態様の任意の上述した実施の形態では、パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第１の値を有し、パッチ回転存在フラグが第２の値を有するときに、複数の利用可能なパッチ回転のうちの１つに従って２Ｄパッチを回転させるステップをさらに含む。

第２の態様は、エンコーダによって実施される点群コーディング（ＰＣＣ）の方法に関連し、これは、エンコーダの受信機により、３次元（３Ｄ）画像を取得するステップと、エンコーダのプロセッサにより、複数の利用可能なパッチ回転を使用して、３Ｄ画像に対する複数の２次元（２Ｄ）投影を決定するステップと、プロセッサにより、複数の２Ｄ投影のうちの１つを選択するステップと、プロセッサにより、複数の２Ｄ投影のうちの選択された１つに従って、複数のフラグを設定するステップと、プロセッサにより、複数のフラグとアトラス情報とを含むビットストリームを生成し、３Ｄ画像を再構成するステップと、復号化器に向けて送信するために、エンコーダのメモリにビットストリームを記憶するステップとを備えている。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第２の態様による方法の第１の実施の形態では、複数のフラグは、パッチ回転イネーブルフラグと、制限回転イネーブルフラグと、パッチ回転存在フラグとを含む。

第２の態様による方法の第２の実施の形態、又は第２の態様の任意の上述した実施の形態では、複数のフラグのうちの少なくとも１つは、デフォルトのパッチ回転を使用するように復号化器に信号で指示するように設定される。

第２の態様による方法の第３の実施の形態、又は第２の態様の任意の上述した実施の形態では、複数のフラグのうちの少なくとも１つは、選好されるパッチ回転を使用するように復号化器に信号で指示するように設定される。

第２の態様による方法の第４の実施の形態、又は第２の態様の任意の上述した実施の形態では、複数のフラグのうちの少なくとも１つは、複数の利用可能なパッチ回転のうちの１つを使用するように復号化器に信号で指示するように設定される。

第３の態様は、復号化装置に関連し、これは、２次元（２Ｄ）パッチについて、パッチ回転イネーブルフラグとアトラス情報とを含むコーディングされたビデオビットストリームを受信するように構成されている受信機と、受信機に結合されているメモリであり、命令を格納するメモリと、メモリに結合されているプロセッサであり、復号化装置に下記のステップ、即ちパッチ回転イネーブルフラグに基づいて、２Ｄパッチが回転されることが可能であると決定するステップと、２Ｄパッチを回転させるステップと、アトラス情報と回転された２Ｄパッチとを使用して、３次元（３Ｄ）画像を再構成するステップとを行わせるために命令を実行するように構成されているプロセッサとを備えている。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第３の態様による復号化装置の第１の実施の形態では、復号化装置は、３Ｄ画像を表示するように構成されているディスプレイをさらに備えている。

第４の態様は、エンコード装置に関連し、これは、３次元（３Ｄ）画像を受信するように構成されている受信機と、受信機に結合されているメモリであり、命令を含むメモリと、メモリに結合されているプロセッサであり、エンコード装置に下記のステップ、即ち複数の利用可能なパッチ回転を使用して、３Ｄ画像に対する複数の２次元（２Ｄ）投影を決定するステップと、複数の２Ｄ投影のうちの１つを選択するステップと、複数の２Ｄ投影のうちの選択された１つに従って、複数のフラグを設定するステップと、３Ｄ画像を再構成するために、複数のフラグとアトラス情報とを含むビットストリームを生成するステップと、復号化器に向けて送信するために、ビットストリームをメモリに格納するステップとを行わせるために命令を実行するように構成されているプロセッサとを備えている。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第４の態様によるエンコード装置の第１の実施の形態では、エンコード装置は、プロセッサに結合されている送信機であり、ビットストリームを復号化器に向かって送信するように構成されている送信機をさらに含む。

第５の態様は、コーディング装置に関連し、これは、エンコードする体積ピクチャーを受信するように構成されているか、又は復号化するビットストリームを受信するように構成されている受信機と、受信機に結合されている送信機であり、ビットストリームを復号化器に送信するように構成されているか、又は、復号化された体積ピクチャーを再構成するように構成された再構成装置に復号化された体積画像を送信するように構成されている送信機と、受信機又は送信機のうちの少なくとも１つに結合されるメモリであり、命令を記憶するように構成されているメモリと、メモリに結合されているプロセッサであり、本明細書に記載した方法を実行するために、メモリに記憶された命令を実行するように構成されているプロセッサとを備えている。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第５の態様によるコーディング装置の第１の実施の形態では、コーディング装置は、復号化された体積ピクチャーに基づいて投影画像を表示するように構成されているディスプレイをさらに備えている。

第６の態様は、システムに関連し、これは、エンコーダと、エンコーダと通信する復号化器とを備え、エンコーダ又は復号化器は、本明細書に記載したエンコード装置、復号化装置、又はコーディング装置を含む。

この柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングによって、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

第７の態様は、コーディングする手段に関連し、これは、エンコードする体積ピクチャーを受信するように構成されているか、又は復号化、再構成及び投影するビットストリームを受信するように構成されている受信手段と、受信手段に結合されている送信手段であって、ビットストリームを復号化器に送信するように構成されているか、又は復号化された画像をディスプレイ手段に送信するように構成されている送信手段と、受信手段又は送信手段のうちの少なくとも１つに結合されている記憶手段であって、命令を記憶するように構成されている記憶手段と、記憶手段に結合されている処理手段であって、本明細書に記載した方法を実行するように、記憶手段に記憶された命令を実行するように構成されている処理手段とを備えている。

明確にする目的のために、前述の実施形態の任意の１つを、他の前述の実施形態の任意の１つ以上と組み合わせて、本開示の範囲内の新たな実施形態を作り出してよい。

これら及び他の特徴は、添付の図面及び請求項に関連して与えられた以下の詳細な説明から、より明確に理解されることである。

本開示をより完全に理解するために、添付の図面及び詳細な説明に関連して、以下の簡単な説明を参照する。ここで、同様の参照番号は同様の部分を表す。

コンテキストモデリング技術を利用し得る、例示的なコーディングシステムを示すブロック図である。 コンテキストモデリング技術を実施し得る、例示的なエンコーダを示すブロック図である。 コンテキストモデリング技術を実施し得る、例示的な復号化器を示すブロック図である。 フレーム群ビットストリームの表現である。 ３次元（３Ｄ）点群の表現である。 境界ボックス上に投影された図５の３Ｄ点群の表現である。 図６の境界ボックスからの２次元（２Ｄ）投影に対応する占有マップの表現である。 図６の境界ボックスからの２Ｄ投影に対応する幾何図形マップの表現である。 図６の境界ボックスからの２Ｄ投影に対応する属性マップの表現である。 パッチ配向インデックスの表現の実施形態である。 パッチ配向復号化プロセスの実施形態である。 復号化器によって実施された点群コーディング（ＰＣＣ）の方法の実施形態である。 エンコーダによって実施されたＰＣＣの方法の実施形態である。 コーディングデバイスの概略図である。 コーディングする手段の実施形態の概略図である。

最初に、１つ以上の実施形態の例示的な実施が以下に提供されるが、開示されたシステム及び／又は方法は、現在公知であるか存在するかを問わず、任意の数の技術を使用して実施され得ることが理解されるものとする。本明細書に例示的な設計及び実施を含んで、以下に示す例示的な実施、図面及び技術に、本開示は限定されるものとしない。請求項の均等物の全範囲を伴って、添付の請求項の範囲内で、改変されてよい。

ビデオコーディング規格には、国際電気通信連合電気通信標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１，国際標準化機構（ＩＳＯ）／国際電気標準委員会（ＩＥＣ）動画専門家グループ（ＭＰＥＧ）－１パート２，ＩＴＵ－Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ－２パート２，ＩＴＵ－Ｔ Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ－４パート２，ＩＴＵ－Ｔ Ｈ．２６４又はＩＳＯ／ＩＥＣ ＭＰＥＧ－４パート１０とも呼ばれる先端ビデオコーディング（ＡＶＣ），及びＩＴＵ－Ｔ Ｈ．２６５又はＭＰＥＧ－Ｈ パート２とも呼ばれる高効率ビデオコーディング（ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブルビデオコーディング（ＳＶＣ），マルチビュービデオコーディング（ＭＶＣ），及びマルチビュービデオコーディング＋デプス（ＭＶＣ＋Ｄ），及び３Ｄ ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ），マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ），３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張が含まれる。

点群は、３Ｄ空間内のデータ点の集合である。各データ点は、位置（例えば、Ｘ、Ｙ、Ｚ）、色（例えば、Ｒ、Ｇ、Ｂ又はＹ、Ｕ、Ｖ）、及び場合によっては透明度、反射率、取得時間などの他の特性を決定するパラメータを含む。通常、群の中の各点には、同じ数の属性が付加される。点群は、リアルタイムの３Ｄ没入型テレプレゼンス、インタラクティブ視差によるコンテンツバーチャルリアリティ（ＶＲ）視聴、３Ｄ自由視点スポーツリプレイ放送、地理情報システム、文化遺産、大規模な３Ｄダイナミックマップに基づく自律ナビゲーション、自動車用途など、様々な用途で使用することができる。

ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＭＰＥＧ）は、ネットワーク環境に対して十分なコーディング効率とロバスト性を有する可逆及び非可逆の圧縮点群データのために、点群コーディングに関する新しいコーデック規格の開発を２０１６年に開始した。このコーデック規格の使用は、点群をコンピュータデータの形式として操作し、種々の記憶媒体上に記憶し、既存及び将来のネットワーク上で送受信し、既存及び将来の放送チャネル上で配信することを可能にする。

最近、点群コーディング（ＰＣＣ）作業は３つのカテゴリー、ＰＣＣカテゴリー１、ＰＣＣカテゴリー２、及びＰＣＣカテゴリー３に分類された。ここでは、２つの別々の作業原案、１つはＰＣＣカテゴリー２（ＰＣＣ Ｃａｔ２）、もう１つはＰＣＣカテゴリー１及び３（ＰＣＣ Ｃａｔ １３）が発展されていた。ＰＣＣ Ｃａｔ２に関する最新の作業原案（ＷＤ）はＭＰＥＧ出力文書Ｎ１７５３４に含まれる。ＰＣＣ Ｃａｔ１３に関する最新のＷＤはＭＰＥＧ出力文書Ｎ１７５３３に含まれる。

ＰＣＣ Ｃａｔ２ ＷＤにおけるＰＣＣ Ｃａｔ２コーデックの設計の背後にある主な哲学は、異なるビデオシーケンスのセットとして点群データを圧縮することによって、動的点群の幾何形状及びテクスチャー情報を圧縮するために既存のビデオコーデックを利用することである。特に、２つのビデオシーケンスであり、１つは点群データの幾何学情報を表し、もう１つはテクスチャー情報を表すビデオシーケンスが、ビデオコーデックを使用して生成及び圧縮される。２つのビデオシーケンスを解釈するための追加のメタデータ、即ち、占有マップ及び補助パッチ情報もまた、別々に生成及び圧縮される。

残念ながら、ＰＣＣの既存の設計には欠点がある。例えば、１つの時間インスタンスに関連するデータユニット、即ち、１つのアクセスユニット（ＡＵ）は、復号化順序で隣接していない。ＰＣＣ Ｃａｔ２ ＷＤでは、各ＡＵについてテクスチャー、幾何形状、補助情報、及び占有マップのデータ単位が、フレームのグループの単位でインターリーブされる。つまり、グループ内の全てのフレームの幾何形状データは一緒になる。テクスチャーデータなどについても同様である。ＰＣＣ Ｃａｔ１３ ＷＤでは、各ＡＵについて幾何形状のデータ単位と一般属性とは、ＰＣＣビットストリーム全体のレベルでインターリーブされる（例えば、ＰＣＣビットストリーム全体と同じ長さを持つフレームのグループが１つしかない場合は、ＰＣＣ Ｃａｔ２ ＷＤと同じである）。１つのＡＵに属するデータユニットのインターリーブは、アプリケーションシステムにおけるプレゼンテーション時間継続時間の中のフレームのグループの長さに少なくとも等しい、大きなエンドツーエンド遅延を、本質的に引き起こす。

もう１つの欠点は、ビットストリームフォーマットに関するものである。ビットストリームフォーマットは、０ｘ０００３のような開始コードパターンのエミュレーションを可能にするので、開始コードエミュレーション防止が必要なＭＰＥＧ－２トランスポートストリーム（ＴＳ）上での伝送には機能しない。ＰＣＣ Ｃａｔ２では、ＨＥＶＣ又はＡＶＣのいずれかが幾何形状及びテクスチャー構成要素のコーディングに使用される場合、現在、ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（）及びｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｔｅｘｔｕｒｅ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（）のみが開始コードエミュレーション防止をその位置に有する。ＰＣＣ Ｃａｔ１３では、ビットストリーム内のどこにも開始コードエミュレーション防止はない。

ＰＣＣ Ｃａｔ２ ＷＤでは、幾何形状及びテクスチャービットストリームのためのコーデック情報（例えば、コーデックで、どのコーデックであるか、プロファイル、レベルなど）のいくつかは、ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（）及びｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｔｅｘｔｕｒｅ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（）構造の複数のインスタンスに深く埋め込まれる。さらに、補助情報と占有マップ構成要素との復号化のための能力、ならびに点群再構成のための能力を示すプロファイル及びレベルのような情報のいくつかは、欠落している。

点群コーディングに関連する前述の問題の１つ以上を解決する、高レベル構文設計が提供される。以下にさらに詳細に説明されるように、本開示は、データユニットヘッダ（別の呼称は、ＰＣＣネットワークアクセスレイヤ（ＮＡＬ）ヘッダ）内のタイプインジケータを使用して、ＰＣＣ ＮＡＬユニットのペイロード内のコンテンツのタイプを指定する。これに加えて、本開示は、フレーム群ヘッダパラメータを伝えるために、フレーム群ヘッダＮＡＬユニットを利用する。さらに、フレーム群ヘッダＮＡＬユニットは、各幾何形状又はテクスチャービットストリームのプロファイル及びレベルを信号伝達するために使用されてよい。

図１は、ＰＣＣビデオコーディング技術を利用し得る、例示的なコーディングシステム１０を示すブロック図である。図１に示すように、コーディングシステム１０は、後に宛先装置１４によって復号化されるべきエンコードされたビデオデータを提供するソース装置１２を含む。特に、ソース装置１２は、コンピュータ可読な媒体１６を介して、ビデオデータを宛先装置１４に提供してよい。ソース装置１２及び宛先装置１４は、デスクトップコンピュータ、ノートブック（例えばラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」電話機のような電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイ装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング装置等を含む、広範囲の装置の任意のものを含んでよい。ある場合には、ソース装置１２及び宛先装置１４は、無線通信のために装備されてよい。

宛先装置１４は、復号化されるべきエンコードされたビデオデータを、コンピュータ可読な媒体１６を介して受信してよい。コンピュータ可読な媒体１６は、エンコードされたビデオデータをソース装置１２から宛先装置１４へ移動させることができる任意のタイプの媒体又は装置を含んでよい。一例では、コンピュータ可読な媒体１６は、エンコードされたビデオデータを宛先装置１４にリアルタイムで直接ソース装置１２が送信することを可能にする通信媒体を含んでよい。エンコードされたビデオデータは、無線通信プロトコルのような通信標準に従って変調され、宛先装置１４に送信される。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的伝送線のような任意の無線又は有線通信媒体を含んでよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークのような、パケットベースのネットワークの一部を形成してよい。通信媒体は、ソース装置１２から宛先装置１４への通信を容易にするために有用なルータ、スイッチ、基地局、又は他の装置を含んでよい。

いくつかの例では、エンコードされたデータは、出力インターフェース２４から記憶装置に出力されてよい。同様に、エンコードされたデータは、入力インターフェースによって記憶装置からアクセスしてよい。記憶装置は、ハードドライブ、ブルーレイディスク、デジタルビデオディスク（ＤＶＤ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又はエンコードされたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体のような、分散された又は局所的にアクセスされる種々のデータ記憶媒体の任意のものを含んでよい。さらなる例では、ソース装置１２によって生成されたエンコードされたビデオを記憶し得るファイルサーバ又は別の中間記憶装置に、記憶装置は対応してよい。宛先装置１４は、記憶されたビデオデータに記憶装置から、ストリーミング又はダウンロードによってアクセスしてよい。ファイルサーバは、エンコードされたビデオデータを記憶し、そのエンコードされたビデオデータを宛先装置１４に送信し得る、任意のタイプのサーバであってよい。ファイルサーバの例には、ウェブサーバ（例えば、ウェブサイトのための）、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続記憶（ＮＡＳ）装置、又はローカルディスクドライブが含まれる。宛先装置１４は、インターネット接続を含む任意の標準データ接続を介してエンコードされたビデオデータにアクセスしてよい。これは、無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、デジタル加入者回線（ＤＳＬ）、ケーブルモデム等）、又はファイルサーバに記憶されたエンコードされたビデオデータにアクセスするのに適した両方の組み合わせを含んでよい。記憶装置からのエンコードされたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又はそれらの組み合わせであってよい。

本開示の技術は、無線アプリケーション又は設定に必ずしも限定されない。この技術は、無線テレビジョン放送、ケーブルテレビジョン伝送、衛星テレビジョン伝送、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ伝送、データ記憶媒体上にエンコードされたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号化、又は他のアプリケーションのような、様々なマルチメディアのアプリケーションのいずれかをサポートするビデオコーディングに適用してよい。いくつかの例では、コーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオ放送、及び／又はビデオ電話などのアプリケーションをサポートするために、一方向又は双方向のビデオ伝送をサポートするように構成してよい。

図１の例では、ソース装置１２は、体積画像を提供するように構成されたビデオソース１８と、投影装置２０と、ビデオエンコーダ２２と、出力インターフェース２４とを含む。宛先装置１４は、入力インターフェース２６と、ビデオ復号化器２８と、再構成装置３０と、ディスプレイ装置３２とを含む。本開示によれば、ソース装置１２のエンコーダ２２、及び／又は宛先装置１４の復号化器２８は、ビデオコーディングのための技術を適用するように構成してよい。他の例では、ソース装置及び宛先装置は、他の構成要素又は配置を含んでよい。例えば、ソース装置１２は、外部カメラなどの外部ビデオソースからビデオデータを受信してよい。同様に、宛先装置１４は、統合されたディスプレイ装置を含むよりはむしろ、外部ディスプレイ装置とインターフェース接続を行ってよい。

図１の図示されたコーディングシステム１０は、単なる一例である。ビデオコーディングのための技術は、任意のデジタルビデオエンコード装置及び／又は復号化装置によって実行してよい。本開示の技術は、一般に、コーディング装置によって実行されるが、技術はさらに、一般に「ＣＯＤＥＣ」と呼ばれるエンコーダ／復号化器によって実行されてよい。さらに、本開示の技術は、ビデオプリプロセッサによって実行されてよい。エンコーダ及び／又は復号化器は、グラフィックス処理ユニット（ＧＰＵ）又は類似のデバイスであってよい。

ソース装置１２及び宛先装置１４は、宛先装置１４に送信するためにソース装置１２がコーディングされたビデオデータを生成する、そのようなコーディング装置の例に過ぎない。いくつかの例では、ソース装置１２及び宛先装置１４は、ソース装置１２及び宛先装置１４の各々がビデオエンコード及びビデオ復号化の構成要素を含むように、実質的に対称な方法で動作してよい。従って、コーディングシステム１０は、例えばビデオストリーミング、ビデオ再生、ビデオ放送、又はビデオ電話のために、ビデオ装置１２、１４間の一方向又は双方向ビデオ伝送をサポートしてよい。

ソース装置１２のビデオソース１８は、ビデオカメラのようなビデオキャプチャー装置、前にキャプチャーされたビデオを収容するビデオアーカイブ、及び／又はビデオコンテンツプロバイダから体積画像又はビデオを受け取るためのビデオフィードインターフェースを含んでよい。その他の代替として、ビデオソース１８は、体積画像又はコンピュータグラフィックスベースのデータを、ソースビデオとして生成してよく、又はライブビデオ、アーカイブビデオ、及びコンピュータ生成ビデオの組み合わせを生成してよい。

ある場合には、ビデオソース１８がビデオカメラであるとき、ソース装置１２及び宛先装置１４は、いわゆるカメラ電話又はビデオ電話を形成してよい。しかしながら、上述のように、本開示に記載の技術は、一般にビデオコーディングに適用可能であり、無線及び／又は有線の用途に適用されてよい。

投影装置２０は、以下にさらに詳細に説明されるように、平面（例えば、境界ボックス）上に体積画像を投影するように構成されている。即ち、投影装置２０は、３次元（３Ｄ）画像を２次元（２Ｄ）画像、又は画像に変換するように構成されている。

いずれの場合も、体積画像、キャプチャーされたビデオ、予めキャプチャーされたビデオ、又はコンピュータで生成されたビデオは、エンコーダ２２によってエンコードされてよい。次いで、エンコードされたビデオ情報は、出力インターフェース２４によってコンピュータ可読な媒体１６に出力されてよい。

コンピュータ可読な媒体１６は、無線ブロードキャスト又は有線ネットワーク伝送のような一時的媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ可読な媒体のような記憶媒体（即ち、非一時的記憶媒体）を含んでよい。いくつかの例では、ネットワークサーバ（図示せず）は、ソース装置１２からエンコードされたビデオデータを受信し、エンコードされたビデオデータを、例えば、ネットワーク伝送を介して宛先装置１４に提供してよい。同様に、ディスクスタンピング設備のような媒体製造設備の計算装置は、ソース装置１２からエンコードされたビデオデータを受信し、エンコードされたビデオデータを含むディスクを生成してよい。従って、コンピュータ可読な媒体１６は、種々の例では、種々の形態の１つ以上のコンピュータ可読な媒体を含むものと理解してよい。

宛先装置１４の入力インターフェース２６は、コンピュータ可読な媒体１６から情報を受信する。コンピュータ可読な媒体１６の情報は、エンコーダ２２によって規定された構文情報を含んでよく、この構文情報は復号化器２８によっても使用される。これは、ブロック及び他のコーディングされたユニット、例えば、ピクチャーのグループ（ＧＯＰ）の特性及び／又は処理を記述する構文要素を含む。

再構成装置３０は、以下にさらに詳細に説明するように、平面画像又は複数の平面画像を体積画像にもどして変換するように構成されている。即ち、再構成装置３０は、２Ｄ画像又は複数の２Ｄ画像を３Ｄ画像にもどして変換するように構成されている。

ディスプレイ装置３２は、体積画像又は復号化されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプのディスプレイ装置などの種々のディスプレイ装置のいずれかを含んでよい。

エンコーダ２２及び復号化器２８は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格のようなビデオコーディング規格に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に適合してよい。これに代えて、他のプロプライエタリな規格又は産業規格、例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ （ＭＰＥＧ）－４， Ｐａｒｔ １０， Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） とも称される、国際電気通信連合電気通信標準化部門の（ＩＴＵ－Ｔ）Ｈ．２６４規格、又はＨ．２６５／ＨＥＶＣ、又はそのような規格の拡張に従って、エンコーダ２２及び復号化器２８は動作してよい。しかしながら、本開示の技術は、いずれの特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、ＭＰＥＧ－２及びＩＴＵ－Ｔ Ｈ．２６３が挙げられる。図１には示されていないが、いくつかの態様では、エンコーダ２２及び復号化器２８は、各々、オーディオエンコーダ及び復号化器と一体化されてよい。共通のデータストリーム又は別個のデータストリームにおけるオーディオ及びビデオの両方のエンコードを処理するために、適切なマルチプレクサ・デマルチプレクサユニット（ＭＵＸ－ＤＥＭＵＸ）又は他のハードウェア及びソフトウェアを含んでよい。該当する場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠してよい。

エンコーダ２２及び復号化器２８はそれぞれ、１つ以上のマイクロプロセッサ，デジタル信号プロセッサ（ＤＳＰ），特定用途向け集積回路（ＡＳＩＣ），フィールドプログラマブルゲートアレイ（ＦＰＧＡ），離散論理，ソフトウェア，ハードウェア，ファームウェア，又はこれらの任意の組み合わせのような、種々の適切なエンコーダ回路のいずれかとして実施されてよい。この技術が部分的にソフトウェアに実施される場合、デバイスは、適切な非一時的なコンピュータ可読な媒体にソフトウェアのための命令を記憶し、本開示の技術を実行するために１つ以上のプロセッサを使用してハードウェアで命令を実行してよい。エンコーダ２２及び復号化器２８の各々は、１つ以上のエンコーダ又は復号化器に含まれてよく、これらのエンコーダ又は復号化器のいずれも、それぞれの装置において組み合わされたエンコーダ／復号化器（ＣＯＤＥＣ）の一部として一体化されてよい。エンコーダ２２及び／又は復号化器２８を含む装置は、集積回路、マイクロプロセッサ、及び／又はセルラー電話機のような無線通信装置を含んでよい。

図２は、ビデオコーディング技術を実施し得るエンコーダ２２の一例を示すブロック図である。エンコーダ２２は、ビデオスライス内でビデオブロックのイントラコーディング及びインターコーディングを行ってよい。イントラコーディングは、所与のビデオフレーム又はピクチャーの中のビデオにおける空間的冗長性を低減又は除去するために、空間的予測に依存する。インターコーディングは、ビデオシーケンスの隣接するフレーム又はピクチャーの中のビデオにおける時間的冗長性を低減又は除去するために、時間的予測に依存する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを参照してよい。一方向（別の呼称は、ｕｎｉ ｐｒｅｄｉｃｔｉｏｎ）予測（Ｐモード）又は双予測（別の呼称は、ｂｉ ｐｒｅｄｉｃｔｉｏｎ）（Ｂモード）のようなインターモードは、いくつかの時間ベースのコーディングモードのいずれかを参照してよい。

図２に示すように、エンコーダ２２は、エンコードされるべきビデオフレーム内の現在のビデオブロックを受信する。図２の例では、エンコーダ２２は、モード選択ユニット４０と、基準フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコーディングユニット５６とを含む。一方、モード選択ユニット４０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測（別の呼称は、ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）ユニット４６と、パーティションユニット４８とを含む。ビデオブロック再構成のために、エンコーダ２２はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。また、再構成されたビデオからブロック性アーチファクトを除去するために、ブロック境界をフィルタリングするために、脱保護フィルタ（図２には示されていない）を含んでよい。所望であれば、デブロッキングフィルタは、典型的には、加算器６２の出力をフィルタリングするようにする。また、脱保護フィルタに加えて、追加のフィルタ（ループ又はポストループ）を使用してよい。このようなフィルタは、簡略化のために図示しないが、所望であれば、加算器５０の出力をフィルタリングしてよい（ループ内フィルタとして）。

エンコードプロセスの間、エンコーダ２２は、コーディングされるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割してよい。動き推定ユニット４２及び動き補償ユニット４４は、時間的予測を提供するために、１つ以上の基準フレーム内の１つ以上のブロックに対して受信されたビデオブロックのインター予測コーディングを実行する。またこれに代えて、イントラ予測ユニット４６は、空間予測を提供するようにコーディングされるべきブロックと同じフレーム又はスライス内の１つ以上の隣接するブロックに関連して、受信されたビデオブロックのイントラ予測コーディングを実行してよい。エンコーダ２２は、例えば、ビデオデータの各ブロックに対して適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。

さらに、パーティションユニット４８は、以前のコーディングパスにおける以前の分割方式の評価に基づいて、ビデオデータのブロックをサブブロックに分割してよい。例えば、パーティションユニット４８は、最初に、フレーム又はスライスを最大のコーディングユニット（ＬＣＵ）に分割し、各ＬＣＵをレート歪み解析（例えば、レート歪み最適化）に基づいてサブコーディングユニット（サブＣＵ）に分割してよい。さらに、モード選択ユニット４０は、ＬＣＵをサブＣＵに分割することを示す四分木データ構造を生成してよい。四分木のリーフノードＣＵは、１つ以上の予測ユニット（ＰＵ）と１つ以上の変換ユニット（ＴＵ）を含んでよい。

本開示は、「ブロック」という用語を使用して、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、又はＴＵのいずれか、又は他の規格（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそのサブブロック）のコンテキストにおける類似のデータ構造を指す。ＣＵは、コーディングノードと、ＰＵと、コーディングノードに関連するＴＵとを含む。ＣＵのサイズはコーディングノードのサイズに対応し、正方形である。ＣＵのサイズは、８×８画素から、最大６４×６４画素以上のツリーブロックのサイズまでの範囲であってよい。各ＣＵは、１つ以上のＰＵと、１つ以上のＴＵとを含んでよい。ＣＵに関連する構文データは、例えば、１つ以上のＰＵへのＣＵの分割を記述してよい。分割モードは、ＣＵがスキップ又は直接モードエンコード、イントラ予測モードエンコード、又はインター予測（別の呼称は、ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）モードエンコードのいずれであるかによって異なってよい。ＰＵは、非正方形の形状に分割されてよい。また、ＣＵに関連する構文データは、例えば、四分木に従ってＣＵを１つ以上のＴＵへ分割することを記述してよい。ＴＵは、正方形又は非正方形（例えば、長方形）の形状としてよい。

モード選択ユニット４０は、コーディングモード、例えば、エラー結果に基づいて、イントラ又はインターであるコーディングモードのうちの１つを選択してよい。結果としてのイントラコーディング又はインターコーディングされたブロックを、加算器５０に提供し、残差ブロックデータを生成し、また加算器６２に提供し、基準フレームとして使用するためにエンコードされたブロックを再構成する。またモード選択ユニット４０は、動きベクトル、イントラモードインジケータ、パーティション情報、及び他のこのような構文情報などのような構文要素を、エントロピーコーディングユニット５６に提供する。

動き推定ユニット４２及び動き補償ユニット４４は、高度に統合されてよいが、概念的な目的のために別個に図示されている。動き推定ユニット４２によって実行される動き推定は、動きベクトルを生成するプロセスであり、動きベクトルはビデオブロックの動きを推定する。例えば、現在のフレーム（又は他のコーディングされたユニット）内でコーディングされている現在のブロックに対する基準フレーム（又は他のコーディングされたユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャー内の、ビデオブロックのＰＵの変位を、動きベクトルは示してよい。予測ブロックは、絶対差（ＳＡＤ）、二乗差の和（ＳＳＤ）、又は他の差分メトリックスの和によって決定され得る、画素差に関してコーディングされるブロックに密接に一致することが見出されるブロックである。いくつかの例では、エンコーダ２２は、基準フレームメモリ６４に記憶された基準ピクチャーのサブ整数画素位置の値を計算してよい。例えば、エンコーダ２２は、基準ピクチャーの１／４画素位置、１／８画素位置、又は他の小数画素位置の値を補間してよい。よって、動き推定ユニット４２は、全画素位置及び小数画素位置に対する動きのサーチを行い、小数画素精度の動きベクトルを出力してよい。

動き推定ユニット４２は、ＰＵの位置を基準ピクチャーの予測ブロックの位置と比較することにより、インターコーディングされたスライス内のビデオブロックのＰＵの動きベクトルを算出する。基準ピクチャーは、第１基準ピクチャーリスト（Ｌｉｓｔ ０）又は第２基準ピクチャーリスト（Ｌｉｓｔ １）から選択されてよく、これらの各々は基準フレームメモリ６４に記憶された１つ以上の基準ピクチャーを識別する。動き推定ユニット４２は、演算された動きベクトルをエントロピーエンコードユニット５６及び動き補償ユニット４４に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２で決定された動きベクトルに基づいて、予測ブロックを取り込み又は生成することを含んでよい。また、いくつかの例では、動き推定ユニット４２及び動き補償ユニット４４を機能的に統合してよい。現在のビデオブロックのＰＵに対する動きベクトルを受信すると、動き補償ユニット４４は、基準ピクチャーリストのうちの１つにおいて動きベクトルがポイントする予測ブロックを位置させてよい。後述するように、加算器５０は、コーディングされた現在のビデオブロックの画素値から予測ブロックの画素値を減算することによって、残差ビデオブロックを形成し、画素差値を形成する。一般に、動き推定ユニット４２は、ルミナンス成分に対する動き推定を行い、動き補償ユニット４４は、クロミナンス成分とルミナンス成分との両方のために、ルミナンス成分に基づいて計算された動きベクトルを使用する。さらにモード選択ユニット４０は、ビデオスライスのビデオブロックを復号化する際に復号化器２８が使用するために、ビデオブロック及びビデオスライスに関連する構文要素を生成してよい。

イントラ予測ユニット４６は、上述したように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代わりに、現在のブロックをイントラ予測してよい。特に、イントラ予測ユニット４６は、現在のブロックをエンコードするために使用するイントラ予測モードを決定してよい。いくつかの例では、イントラ予測ユニット４６は、例えば、別々のエンコーディングパスの間に、種々のイントラ予測モードを使用して現在のブロックをエンコードしてよい。イントラ予測ユニット４６（又は、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するべき適切なイントラ予測モードを選択してよい。

例えば、イントラ予測ユニット４６は、種々のテストされたイントラ予測モードに対するレート歪み解析を用いてレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択してよい。エンコードされたブロックと、エンコードされたブロックを生成するためにエンコードされたオリジナルの未エンコードのブロックとの間の歪み（又はエラー）の量、ならびに、エンコードされたブロックを生成するために使用されるビットレート（即ち、ビット数）を、一般にレート歪み解析は決定する。イントラ予測ユニット４６は、種々のエンコードされたブロックについて、歪みとレートとから比を計算して、どのイントラ予測モードがブロックに対する最良のレート歪み値を示すかを決定してよい。

加えて、深度モデリングモード（ＤＭＭ）を用いて深度マップの深度ブロックをコーディングするように、イントラ予測ユニット４６を構成してよい。モード選択ユニット４０は、例えばレート歪み最適化（ＲＤＯ）を用いて、イントラ予測モード及び他のＤＭＭモードよりも良好なコーディング結果を、利用可能なＤＭＭモードがもたらすか否かを決定してよい。深度マップに対応するテクスチャー画像のデータは、基準フレームメモリ６４に格納してよい。さらに、動き推定ユニット４２及び動き補償ユニット４４は、深度マップの深度ブロックをインター予測するように構成されてよい。

ブロックに対するイントラ予測モード（例えば、従来のイントラ予測モード又はＤＭＭモードの１つ）を選択した後、イントラ予測ユニット４６は、ブロックに対する選択されたイントラ予測モードを示す情報を、エントロピーコーディングユニット５６に提供してよい。エントロピーコーディングユニット５６は、選択されたイントラ予測モードを示す情報をエンコードしてよい。送信ビットストリーム構成データは、複数のイントラ予測モードのインデックステーブルと、複数の修正イントラ予測モードのインデックステーブル（コードワードマッピングテーブルとも呼ばれる）とを含む。送信ビットストリーム構成データの中に、エンコーダ２２は、様々なブロックに対するエンコードコンテキストの定義を含んでよく、各コンテキストに使用するために、最も可能性の高いイントラ予測モードの指示と、イントラ予測モードのインデックステーブルと、修正イントラ予測モードのインデックステーブルとを含んでよい。

エンコーダ２２は、コーディングされる元のビデオブロックからモード選択ユニット４０から予測データを差し引くことによって残差ビデオブロックを形成する。加算器５０は、この減算を実行する構成要素又は複数の構成要素を表す。

変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に類似した変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。変換処理ユニット５２は、概念的にＤＣＴに類似した他の変換を実行してよい。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も使用してよい。

変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残留情報を画素値ドメインから変換ドメイン、例えば周波数ドメインに変換してよい。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ってよい。量子化ユニット５４は、変換係数を量子化し、ビットレートをさらに低下させる。量子化プロセスは、係数のいくつか又は全てに関連するビット深度を低減してよい。量子化の程度は、量子化パラメータを調整することによって修正してよい。いくつかの例では、量子化ユニット５４はその後、量子化された変換係数を含むマトリクスの走査を行ってよい。あるいは、エントロピーエンコードユニット５６は、走査を実行してよい。

量子化の後、エントロピーコーディングユニット５６は、量子化された変換係数をエントロピーコーディングする。例えば、エントロピーコーディングユニット５６は、コンテキスト適応可変長コーディング（ＣＡＶＬＣ），コンテキスト適応二進算術コーディング（ＣＡＢＡＣ），構文ベースのコンテキスト適応二進算術コーディング（ＳＢＡＣ），確率間隔分割エントロピー（ＰＩＰＥ）コーディング，又は他のエントロピーコーディング技術を実行してよい。コンテキストベースのエントロピーコーディングの場合、コンテキストは隣接ブロックに基づいてよい。エントロピーコーディングユニット５６によるエントロピーコーディングに続いて、エンコードされたビットストリームは、別の装置（例えば、デコーダ２８）に送信されてよく、又は後の送信又は検索のためにアーカイブとされてよい。

逆量子化ユニット５８及び逆変換ユニット６０は、それぞれ、逆量子化及び逆変換を適用して、画素ドメイン内の残差ブロックを再構成し、例えば、後に基準ブロックとして使用する。動き補償ユニット４４は、基準フレームメモリ６４のフレームのうちの１つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算してよい。さらに、動き補償ユニット４４は、再構成された残差ブロックに１つ以上の補間フィルタを適用して、動き推定に使用するためのサブ整数画素値を計算してよい。加算器６２は、動き補償ユニット４４によって生成された動き補償予測ブロックに、再構成された残差ブロックを加算し、基準フレームメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後のビデオフレーム内でブロックをインターコーディングするための基準ブロックとして、動き推定ユニット４２及び動き補償ユニット４４によって使用されてよい。

図３は、ビデオコーディング技術を実施し得る復号化器２８の一例を示すブロック図である。図３の例では、復号化器２８は、エントロピー復号化ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、基準フレームメモリ８２と、加算器８０とを含む。復号化器２８は、いくつかの例では、エンコーダ２２に関して説明したエンコーディングパス（図２）に対して概ね相反的な、復号化パスを実行してよい。動き補償ユニット７２は、エントロピー復号化ユニット７０から受け取った動きベクトルに基づいて予測データを生成してよい。一方、イントラ予測ユニット７４は、エントロピー復号化ユニット７０から受け取ったイントラ予測モードインジケータに基づいて予測データを生成してよい。

エンコードされたビデオスライスのビデオブロックと、関連する構文要素とを表すエンコードされたビデオビットストリームを、復号化プロセスの間、復号化器２８はエンコーダ２２から受け取る。復号化器２８のエントロピー復号化ユニット７０は、ビットストリームをエントロピー復号化し、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及び他の構文要素を生成する。エントロピー復号化ユニット７０は、動きベクトル及び他の構文要素を動き補償ユニット７２に転送する。復号化器２８は、ビデオスライスレベル及び／又はビデオブロックレベルで構文要素を受信してよい。

ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされると、イントラ予測ユニット７４は、信号伝達されたイントラ予測モードと、現在のフレーム又はピクチャーの予め復号化されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックについての予測データを生成してよい。ビデオフレームがインターコーディングされた（例えば、Ｂ，Ｐ又はＧＰＢ）スライスとしてコーディングされると、動き補償ユニット７２は、エントロピー復号化ユニット７０から受け取った動きベクトルと他の構文要素とに基づいて、現在のビデオスライスのビデオブロックの予測ブロックを生成する。予測ブロックは、基準ピクチャーリストの１つ内の基準ピクチャーの１つから生成してよい。復号化器２８は、基準フレームメモリ８２に格納された基準ピクチャーに基づくデフォルトの構築技術を用いて、基準フレームリスト、Ｌｉｓｔ ０及びＬｉｓｔ １を構築してよい。

動き補償ユニット７２は、動きベクトル及び他の構文要素を解析することによって、現在のビデオスライスのビデオブロックの予測情報を決定し、予測情報を使用して、復号化される現在のビデオブロックの予測ブロックを生成する。例えば、動き補償ユニット７２は、受信された構文要素のいくつかを使用し、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラ予測又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの基準ピクチャーリストのうちの１つ以上のための構成情報と、スライスの各インターコーディングされたビデオブロックのための動きベクトルと、スライスの各インターコーディングされたビデオブロックのためのインター予測ステータスと、現在のビデオスライス内のビデオブロックを復号化するための他の情報とを決定する。

また、動き補償ユニット７２は、補間フィルタに基づいて補間を実行してよい。動き補償ユニット７２は、ビデオブロックのエンコード中にエンコーダ２２が使用する補間フィルタを使用して、基準ブロックのサブ整数画素に対する補間値を計算してよい。この場合、動き補償ユニット７２は、受信された構文要素からエンコーダ２２によって使用される補間フィルタを決定し、予測ブロックを生成するために補間フィルタを使用してよい。

深度マップに対応するテクスチャー画像のデータは、基準フレームメモリ８２に格納してよい。さらに、動き補償ユニット７２は、深度マップの深度ブロックをインター予測するように構成してよい。

図４は、フレーム群ビットストリーム４００の表現である。図示のように、フレーム群ビットストリーム４００は、フレーム４０２の第１グループ（ＧＯＦ＿０）と、フレーム４０４の第２グループ（ＧＯＦ＿１）とを含む。例示の目的のみのために、フレーム４０２の第１グループとフレーム４０４の第２グループは、破線によって互いに分離されている。フレーム４０２、４０４の２つのグループが図４に示されているが、任意の数のフレームが、実際の用途ではフレーム群ビットストリーム４００に含まれてよいことが理解されるものとする。

フレームの第１グループ４０２及びフレームの第２グループ４０４はそれぞれ、アクセスユニット４０６の集合から形成される。アクセスユニット４０６は、圧縮画像の全部又は一部（例えば、点群）を含むフレームを含むように構成されている。図４のアクセスユニット４０６は、本明細書では、アトラスフレームを含んでよく、又はアトラスフレームと呼ばれてよい。一実施形態では、アトラスフレームは、コーディングされた構成要素を一緒にマッピングすることで、点群を再構成するのに十分な情報を含むフレームであり、ここで、構成要素は、点の幾何形状、点属性、占有マップ、パッチなどを含む。

ここに開示されているのは、柔軟なパッチ配向を可能にするコーディング技術である。本明細書で使用されるように、パッチ配向は、パッチの回転と、鏡像反転と、軸スワッピングと（総称して、回転）を意図する。柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングにより、境界ボックス内のパッチに占有される面積が、パッチ回転が利用可能でない、又は許容されない技術に比べて削減でき、その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

図５は、点群５００の表現である。点群５００は、規則的な３Ｄグリッド上の空間の体積表現である。即ち、点群５００は３次元（３Ｄ）である。図５に示すように、点群５００は、３Ｄ空間５０４内に点群コンテンツ５０２を含む。点群コンテンツ５０２は、３Ｄ空間５０４内の点の集合（例えば、ボクセル）によって表される。ボクセルは、３次元データの可視化及び解析に使用される、３次元空間における点の色のような、ある数値量を表す体積の要素である。従って、ボクセルは、２Ｄ画像における画素の３次元等価物と考えてよい。

図５の点群５００内の各ボクセルは、座標（例えば、ｘｙｚ座標）及び１つ以上の属性（例えば、赤／緑／青（ＲＧＢ）色成分、反射率など）を有する。図５の点群コンテンツ５０２は、人物を示しているが、点群コンテンツ５０２は、実用上の任意の他の体積オブジェクト又は画像であってよい。

図６は、境界ボックス６００上に投影された図５の点群５００の表現である。図６に示すように、境界ボックス６００は、その２次元（２Ｄ）表面又は平面６０４上に投影されたパッチ６０２を含む。従って、パッチ６０２は、３Ｄ画像の部分の２Ｄ表現である。パッチ６０２は、まとめて図５の点群コンテンツ５０２に対応する。ビデオベースの点群コーディング（Ｖ－ＰＣＣ）におけるデータ表現は、点群圧縮とも呼ばれ、この３Ｄから２Ｄへの変換に依存する。

Ｖ－ＰＣＣにおけるデータ表現は、例えば、図７の占有マップ７１０と、図８の幾何図形マップ８１０と、図９の属性マップ９１０とを使用して、一組の平面２Ｄ画像（例えば、パッチ６０２）として記述される。

図７は、図６の境界ボックス６００からの２Ｄ投影（例えば、パッチ６０２）に対応する占有マップ７１０の表現である。占有マップ７１０は、二値の形式でコーディングされる。例えば、０は、境界ボックス７００の一部がパッチ７０２のうちの１つによって占有されないことを表す。０によって表される境界ボックス７００のそれらの部分は、体積表現（例えば、点群コンテンツ５０２）の再構成に関与しない。対照的に、１つは、境界ボックス７００の一部が、パッチ７０２の１つによって占有されることを表す。その１つで表される境界ボックス７００のそれらの部分は、体積表現（例えば、点群コンテンツ５０２）の再構成に関与する。

図８は、図６の境界ボックス６００からの２Ｄ投影（例えば、パッチ６０２）に対応する幾何図形マップ８１０の表現である。幾何図形マップ８１０は、パッチ８０２の各々の輪郭又はトポグラフィを提供又は描写する。即ち、幾何図形マップ８１０は、境界ボックス８００の平面（例えば、平面６０４）から離れたパッチ８０２内の各点の距離を示す。

図９は、図６の境界ボックス６００からの２Ｄ投影（例えば、パッチ６０２）に対応する属性マップ９１０の表現である。属性マップ９１０は、境界ボックス９００内のパッチ９０２内の各点の属性を提供又は描写する。属性マップ９１０内の属性は、例えば、点の色成分であってよい。色成分は、ＲＧＢカラーモデル、ＹＵＶカラーモデル、又は他の既知のカラーモデルに基づいてよい。

現在、パッチ投影（例えば、パッチ６０２の集合として図６の境界ボックス６００上に図５の３Ｄ画像５０４を投影するプロセス）は、パッチの配向を変更することなく実行される。つまり、パッチは元の配向に対して回転又は操作されない。しかし、これは、効率的なパッキングのための準最適解である。これを克服するために、本開示は、柔軟なパッチ配向（例えば、パッチの回転、鏡像反転、及び軸スワッピング）を可能にする技術を提供する。柔軟なパッチ配向スキームを使用して、パッチは、境界ボックス内に一層効率的にパッキングできる。一層効率的なパッキングにより、境界ボックス内のパッチに占有される面積は、パッチ回転が利用可能でない、又は許容されない技術に比べて削減できる。その結果、さらによいコーディング効率（例えば、ビットストリームをコーディングするために必要とされるビットが一層少ない）がもたらされる。

図１０は、パッチ配向インデックス１０００の表現の一実施形態である。パッチ配向インデックス１０００は、パッチ１００２のための種々の予め定義されたパッチ配向１００８を含む。パッチ配向インデックス１０００における異なるパッチ配向１００８は、識別のために＃０から＃７までの数字を有する。＃０に割り当てられた初期パッチ配向１００８は、アンカーパッチ配向と称してよい。図示のように、＃０に割り当てられたパッチ配向１００８は、＃１を有するパッチ配向１００８を得るために時計回りに９０度回転される。同様に、＃１に割り当てられたパッチ配向１００８は、＃２を有するパッチ配向１００８を得るために時計回りに９０度回転され、＃２に割り当てられたパッチ配向１００８は、＃３を有するパッチ配向１００８を得るために時計回りに９０度回転される。

なおも図１０を参照すると、＃０に割り当てられたパッチ配向１００８は、＃４を有するパッチ配向１００８を得るために鏡像反転される（例えば、垂直軸を中心に反転される）。＃４に割り当てられたパッチ配向１００８は、＃５を有するパッチ配向１００８を得るために時計回りに９０度回転される。＃５に割り当てられたパッチ配向１００８は、＃６を有するパッチ配向１００８を得るために時計回りに９０度回転される。＃６に割り当てられたパッチ配向１００８は、＃７を有するパッチ配向１００８を得るために時計回りに９０度回転される。

一実施形態では、パッチ配向の対１００８は、単純な配向を生成するように形成される。例えば、＃０に割り当てられたパッチ配向１００８と＃７に割り当てられたパッチ配向１００８は、単純な配向を形成する。同様に、＃１に割り当てられたパッチ配向１００８と＃６に割り当てられたパッチ配向１００８は、単純な配向を形成する。＃２に割り当てられたパッチ配向１００８と＃５に割り当てられたパッチ配向１００８は、単純な配向を形成する。＃３に割り当てられたパッチ配向１００８と＃４に割り当てられたパッチ配向１００８は、単純な配向を形成する。このように、パッチ配向インデックス１０００は、４つの単純な配向を提供する。

網羅的な配向（別の呼称は、網羅的な配向マップ）は、パッチ配向インデックス１０００内の全てのパッチ配向１００８を含む。即ち、図１０の図示された実施形態では、パッチ配向１００８（＃０ないし＃７とラベル付けされる）の８つの全てが、網羅的な配向に含まれる。網羅的な配向の使用は、単純な配向に対してより良好な圧縮を提供し得るが、エンコーダにおける余分な計算のコストがかかる。

一実施形態によると、パッチ１００２は、デフォルトのパッチ配向（例えば、パッチ配向１００８の１つ）を有してよい。例えば、パッチ１００２は、デフォルト回転を有してよい。パッチ配向１００８（例えば、＃０ないし＃７）の任意の１つが、デフォルト回転であってよい。デフォルトのパッチ配向は、シーケンスパラメータセット（ＳＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、又はビットストリームのフレームのグループ（例えば、パッチレベルで）で信号で指示されてよい。

一実施形態によると、パッチ１００２は、選好されるパッチ配向（例えば、パッチ配向１００８の１つ）を有してよい。例えば、パッチ１００２は、選好される回転を有してよい。パッチ配向１００８（例えば、＃０ないし＃７）の任意の１つが、選好される回転であってよい。選好されるパッチ配向は、ＳＰＳ、ＰＰＳ、又はビットストリームのフレームのグループ（例えば、パッチレベルで）で信号を送ってよい。

一実施形態では、パッチ（例えば、パッチ１００２）が回転可能であることを示すためにフラグが使用される。一実施形態では、フラグは、パッチ回転イネーブルフラグと指定される。一実施形態では、パッチ回転イネーブルフラグは、１ビットフラグである。パッチ回転イネーブルフラグが第１の値（例えば、０）を持つ場合、パッチは回転できない。パッチ回転イネーブルフラグが第２の値（例えば、１）を持つ場合、パッチの回転が可能である。

一実施形態では、パッチ（例えば、パッチ１００２）が単純な配向（例えば、２つのパッチ配向１００８のうちの１つ）を有することを示すために、フラグが使用される。一実施形態では、フラグは、制限回転イネーブルフラグと指定される。一実施形態では、制限回転イネーブルフラグは、１ビットフラグである。制限回転イネーブルフラグが第１の値（例えば、０）を持つ場合、網羅的な配向がパッチで利用可能である。制限回転イネーブルフラグが第２の値（例えば、１）を持つ場合、単純な配向がパッチで利用可能である。

一実施形態では、パッチ（例えば、パッチ１００２）が回転されたことを示すためにフラグが使用される。一実施形態では、フラグは、パッチ回転存在フラグと呼ばれる。一実施形態では、パッチ回転存在フラグは、１ビットフラグである。パッチ回転存在フラグが第１の値（例えば、０）を持つ場合、デフォルトのパッチ配向が使用される。パッチ回転存在フラグが第２の値（例えば、１）を有する場合、以下にさらに十分に説明するように、制限回転イネーブルフラグの値に応じて、選好されるパッチ配向、又は網羅的な配向からの８つのパッチ配向１００８のいずれかが使用される。一実施形態では、制限回転イネーブルフラグは、３ビットフラグである。

図１１は、パッチ配向復号化プロセス１１００の一実施形態である。パッチ配向復号化プロセス１１００は、体積画像を再構成するために、エンコードされたビットストリームを復号化するのに使用されてよい。ブロック１１０２では、デフォルトのパッチ回転と、パッチに対する選好されるパッチ回転（例えば、２Ｄパッチ）とが、エンコードされたビットストリームから得られる。デフォルトのパッチ回転及び選好されるパッチ回転は、インデックス番号＃０ないし＃７のいずれかで表すことができる。

ブロック１１０４では、パッチが処理される。一実施形態では、パッチの処理は、アトラス情報を取得することと、パッチの２Ｄ位置と、パッチの３Ｄ位置と、パッチについての上述したフラグとを抽出することとを含む。アトラス情報は、復元の目的のために、パッチの復号化とパッチの２Ｄ表現から３Ｄ表現へのマッピングとを行うことを可能にする情報である。実施形態では、アトラス情報はパッチのリストを含む。

ブロック１１０６では、パッチ回転イネーブルフラグの値が決定される。パッチ回転イネーブルフラグが第１の値（例えば、０）を持つ場合、パッチは回転できない。従って、ブロック１１０８では、パッチは回転されない。次に、ブロック１１１０において、パッチは、アトラス情報（別の呼称は、補助情報）に基づいて処理され、体積画像を再構成する。

ブロック１１０６にもどると、パッチ回転イネーブルフラグが第２の値（例えば、１）を有する場合、パッチは回転されてよい。ブロック１１１２では、制限回転イネーブルフラグの値が決定される。制限回転イネーブルフラグが第１の値（例えば、０）を持つ場合、パッチは、網羅的な配向モードに従って、８つの利用可能なパッチ回転のうちの１つを用いて回転される。

ブロック１１１４では、パッチ回転存在フラグの値が決定される。パッチ回転存在フラグが第１の値（例えば、０）を持つ場合、デフォルトのパッチ配向が使用される。従って、ブロック１１１６では、デフォルト回転がパッチに使用される。一実施形態では、パッチのグループ内の全てのパッチが同じデフォルトのパッチ配向を使用するので、追加の信号伝達は必要ない。次に、ブロック１１１０において、パッチは、アトラス情報に基づいて処理され、体積画像を再構成する。

ブロック１１１４にもどると、パッチ回転存在フラグが第２の値（例えば、１）を有する場合、利用可能な配向のうちの１つ（インデックス番号＃０ないし＃７のうちの１つで表される）が使用される。一実施形態では、使用されるパッチ配向は、３ビットのフラグを使用して信号で指示される。次に、ブロック１１１０において、パッチは、アトラス情報に基づいて処理され、体積画像を再構成する。

ブロック１１１２にもどると、制限回転イネーブルフラグが第２の値（例えば、１）を有する場合、パッチは、単純な配向モードに従って、２つのパッチ回転のうちの１つを使用して回転される。ブロック１１２０では、パッチ回転存在フラグの値が決定される。パッチ回転存在フラグが第１の値（例えば、０）を持つ場合、デフォルトのパッチ配向が使用される。従って、ブロック１１１６では、デフォルト回転がパッチに使用される。一実施形態では、パッチのグループ内の全てのパッチが同じデフォルトのパッチ配向を使用するので、追加の信号伝達は必要ない。次に、ブロック１１１０において、パッチは、アトラス情報に基づいて処理され、体積画像を再構成する。

パッチ回転存在フラグが第２の値（例えば、１）を持つ場合、選好されるパッチ配向が使用される。従って、ブロック１１２２では、選好される回転がパッチに使用される。一実施形態では、パッチのグループ内の全てのパッチが同じ選好されるパッチ配向を使用するので、追加の信号伝達は必要ない。次に、ブロック１１１０において、パッチは、アトラス情報に基づいて処理され、体積画像を再構成する。

図１２は、復号化器（例えば、エントロピー復号化ユニット７０）によって実施される点群コーディング（ＰＣＣ）の方法１２００の一実施形態である。方法１２００は、体積画像を再構成するために、エンコードされたビットストリームを復号化するために実行されてよい。ブロック１２０２では、２次元（２Ｄ）パッチのためのパッチ回転イネーブルフラグとアトラス情報とを含むビットストリームが受信される。アトラス情報（別の呼称は、補助情報）は、コーディングされた構成要素を一緒にマッピングすることで、点群を再構成するのに十分な情報を含む。ここで、構成要素は、点の幾何形状、点属性、占有マップ、パッチなどを含む。

ブロック１２０４では、２Ｄパッチが、パッチ回転イネーブルフラグに基づいて回転されることが可能であると決定される。一実施形態では、パッチ回転イネーブルフラグが１（一）の値に設定される場合、パッチは回転されることが可能である。

ブロック１２０６では、２Ｄパッチが回転される。２Ｄパッチは、デフォルトのパッチ回転、選好されるパッチ回転に回転されてよく、又は本明細書に記載される複数の利用可能なパッチ回転のうちの１つに従って回転されてよい。即ち、一実施形態では、デフォルトのパッチ回転及び選好されるパッチ回転のいずれかが使用される単純な配向モードに従って、又は８つの利用可能なパッチ回転のうちの任意の１つが使用される網羅的な配向モードに従って、２Ｄパッチは回転されてよい。

ブロック１２０８では、３次元（３Ｄ）画像が、アトラス情報と回転されたときの２Ｄパッチとを使用して再構成される。一旦再構成されると、３Ｄ画像は、電子デバイス（例えば、スマートフォン、タブレット、ラップトップコンピュータなど）のディスプレイ上にユーザに対して表示されてよい。

図１３は、エンコーダ（例えば、エントロピーエンコードユニット５６）によって実施される点群コーディング（ＰＣＣ）方法１３００の実施形態である。方法１３００は、復号化器に向かって伝送するために、体積画像をビットストリームにエンコードするのに実行されてよい。ブロック１３０２では、３次元（３Ｄ）画像（例えば、体積画像）が得られる。ブロック１３０４では、複数の利用可能なパッチ回転を使用して、３Ｄ画像に対して複数の２次元（２Ｄ）投影が決定される。一実施形態によると、利用可能なパッチ回転は、図１０に示すパッチ配向１００８である。しかし、他のパッチ回転を用いてよい。

ブロック１３０６では、複数の２Ｄ投影のうちの１つが選択される。複数の２Ｄ投影のうちの１つは、その２Ｄ投影が、他の２Ｄ投影と比較して境界ボックスの最も効率的なパッキングをもたらす場合に選択されてよい。境界ボックスの最も効率的なパッキングは、最小量の面積を使用してよく、エンコーダによる最小集約的な計算をもたらすことなどができる。

ブロック１３０８では、複数のフラグが、複数の２Ｄ投影のうちの選択された１つに従って設定される。一実施形態では、パッチ回転フラグ、制限回転イネーブルフラグ、パッチ回転存在フラグ、及び、複数の利用可能なパッチ回転のうちのいずれがセットされるかを識別するフラグの各々である。

ブロック１３１０では、３Ｄ画像を再構成するために、複数のフラグとアトラス情報とを含むビットストリームが生成される。ブロック１３１２では、復号化器への送信のために、ビットストリームは記憶される。一実施形態では、ビットストリームは復号化器に向かって送信される。

図１４は、本開示の一実施形態によるコーディングデバイス１４００（例えば、エンコーダ２２、復号化器２８など）の概略図である。コーディングデバイス１４００は、本明細書に開示される方法及びプロセスを実施するのに適している。コーディングデバイス１４００は、データを受信するための入口ポート１４１０及び受信機ユニット（Ｒｘ）１４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央処理ユニット（ＣＰＵ）１４３０と、データを送信するための送信機ユニット（Ｔｘ）１４４０及び出口ポート１４５０と、データを記憶するためのメモリ１４６０とを含む。コーディングデバイス１４００はまた、光信号又は電気信号の出入りのために、入口ポート１４１０、受信機ユニット１４２０、送信機ユニット１４４０、及び出口ポート１４５０に結合された、光対電気（ＯＥ）構成要素と電気対光（ＥＯ）構成要素とを含んでよい。

プロセッサ１４３０は、ハードウェア及びソフトウェアによって実現される。プロセッサ１４３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びデジタル信号プロセッサ（ＤＳＰ）として実施されてよい。プロセッサ１４３０は、入口ポート１４１０と、受信機ユニット１４２０と、送信機ユニット１４４０と、出口ポート１４５０と、及びメモリ１４６０とに対して通信する。プロセッサ１４３０は、コーディングモジュール１４７０を備えている。コーディングモジュール１４７０は、上述の開示された実施形態を実施する。一実施形態によると、コーディングモジュール１４７０は、再構成された体積画像を投影するように構成された再構成モジュールである。従って、コーディングモジュール１４７０を含むことは、コーディングデバイス１４００の機能性に実質的な改善をもたらし、コーディングデバイス１４００の異なる状態への変換をもたらす。これに代えて、コーディングモジュール１４７０は、メモリ１４６０に格納された命令として実施され、プロセッサ１４３０によって実行される。

コーディングデバイス１４００はまた、ユーザへ、またユーザからデータを通信するための入力及び／又は出力（Ｉ／Ｏ）装置１４８０を含んでよい。入出力装置１４８０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力装置を含んでよい。入出力装置１４８０はまた、キーボード、マウス、トラックボールなどの入力装置、及び／又はそのような出力装置と相互作用を行う対応のインターフェースを含んでよい。

メモリ１４６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶装置として使用してよく、このようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラムの実行中に読み出された命令及びデータを記憶する。メモリ１４６０は、揮発性また不揮発性であってよく、読み出し専用メモリ（ＲＯＭ），ランダムアクセスメモリ（ＲＡＭ），三値連想メモリ（ＴＣＡＭ），及びスタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。

図１５は、コーディングする手段１５００の実施形態の概略図である。一実施形態では、コーディングする手段１５００は、コーディングデバイス１５０２（例えば、エンコーダ２２又は復号化器２８）の中に実施される。コーディングデバイス１５０２は受信手段１５０１を含む。受信手段１５０１は、エンコードするピクチャーを受信するように構成され、又は復号化するビットストリームを受信するように構成されている。コーディングデバイス１５０２は、受信手段１５０１に結合された送信手段１５０７を含む。送信手段１５０７は、ビットストリームを復号化器に送信するか、又は復号化された画像をディスプレイ手段（例えば、Ｉ／Ｏ装置１４８０の１つ）に送信するように構成されている。

コーディングデバイス１５０２は、記憶手段１５０３を含む。記憶手段１５０３は、受信手段１５０１又は送信手段１５０７のうちの少なくとも１つに結合される。記憶手段１５０３は、命令を記憶するように構成されている。コーディングデバイス１５０２はまた、処理手段１５０５を含む。処理手段１５０５は、記憶手段１５０３に結合される。処理手段１５０５は、本明細書に開示される方法を実行するために、記憶手段１５０３に記憶された命令を実行するように構成されている。

一実施形態では、ここに開示された概念を実施するのに適した構文が提供される。

可能な構文定義を以下に説明する。

補助情報データユニット修正

以上のことから、パッチの配向は、デフォルトの投影プロセスに対して異なってよいことが認識されるものとする。パッチの配向は、１ビットフラグを使用して、簡略化された方法で信号で指示されてよい。デフォルト配向と選好される配向とを切り替えるメカニズムが導入される。

本開示においていくつかの実施形態が提供されたが、開示されたシステムと方法とは、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形態で実施できることが理解されてよい。本例は、例示的であって限定的でないとみなされるものとし、その意図は、本明細書に与えられた詳細に限定されないものとする。例えば、種々の要素又は構成要素を別のシステムに組み合わせ又は統合してよく、又はある特徴を省略してよく、又は実施しなくてよい。

さらに、様々な実施形態では個別又は別個に記載及び図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、構成要素、技術、又は方法と組み合わせ又は統合してよい。変更、置換、及び改変の他の例は、当業者によって確認可能であり、本明細書に開示された精神及び範囲から逸脱することなく行ってよい。

第１の態様による方法の第５の実施の形態、又は第１の態様の任意の上述した実施の形態では、２Ｄパッチは、制限回転イネーブルフラグが第１の値を有するときに、網羅的な配向モードに基づいて回転され、制限回転イネーブルフラグが第２の値を有するときに、単純な配向モードに基づいて回転される。

第５の態様は、コーディング装置に関連し、これは、エンコードする体積ピクチャーを受信するように構成されているか、又は復号化するビットストリームを受信するように構成されている受信機と、受信機に結合されている送信機であり、ビットストリームを復号化器に送信するように構成されているか、又は、復号化された体積ピクチャーを再構成するように構成された再構成装置に復号化された体積ピクチャーを送信するように構成されている送信機と、受信機又は送信機のうちの少なくとも１つに結合されるメモリであり、命令を記憶するように構成されているメモリと、メモリに結合されているプロセッサであり、本明細書に記載した方法を実行するために、メモリに記憶された命令を実行するように構成されているプロセッサとを備えている。

動き推定ユニット４２は、ＰＵの位置を基準ピクチャーの予測ブロックの位置と比較することにより、インターコーディングされたスライス内のビデオブロックのＰＵの動きベクトルを算出する。基準ピクチャーは、第１基準ピクチャーリスト（Ｌｉｓｔ ０）又は第２基準ピクチャーリスト（Ｌｉｓｔ １）から選択されてよく、これらの各々は基準フレームメモリ６４に記憶された１つ以上の基準ピクチャーを識別する。動き推定ユニット４２は、演算された動きベクトルをエントロピーコーディングユニット５６及び動き補償ユニット４４に送る。

変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残留情報を画素値ドメインから変換ドメイン、例えば周波数ドメインに変換してよい。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ってよい。量子化ユニット５４は、変換係数を量子化し、ビットレートをさらに低下させる。量子化プロセスは、係数のいくつか又は全てに関連するビット深度を低減してよい。量子化の程度は、量子化パラメータを調整することによって修正してよい。いくつかの例では、量子化ユニット５４はその後、量子化された変換係数を含むマトリクスの走査を行ってよい。あるいは、エントロピーコーディングユニット５６は、走査を実行してよい。

図１３は、エンコーダ（例えば、エントロピーコーディングユニット５６）によって実施される点群コーディング（ＰＣＣ）方法１３００の実施形態である。方法１３００は、復号化器に向かって伝送するために、体積画像をビットストリームにエンコードするのに実行されてよい。ブロック１３０２では、３次元（３Ｄ）画像（例えば、体積画像）が得られる。ブロック１３０４では、複数の利用可能なパッチ回転を使用して、３Ｄ画像に対して複数の２次元（２Ｄ）投影が決定される。一実施形態によると、利用可能なパッチ回転は、図１０に示すパッチ配向１００８である。しかし、他のパッチ回転を用いてよい。

Claims (25)

1. 復号化器によって実施される点群コーディング（ＰＣＣ）の方法であって、
   前記復号化器の受信機により、２次元（２Ｄ）パッチについてパッチ回転イネーブルフラグとアトラス情報とを含むビットストリームを受信するステップと、
   前記復号化器のプロセッサにより、前記パッチ回転イネーブルフラグに基づいて、前記２Ｄパッチが回転されることが可能であると決定するステップと、
   前記プロセッサにより、前記２Ｄパッチを回転させるステップと、
   前記プロセッサにより、前記アトラス情報と回転された前記２Ｄパッチとを使用して、３次元（３Ｄ）画像を再構成するステップとを備えている、方法。
2. 前記ビットストリームは、デフォルトのパッチ回転及び選好されるパッチ回転を含み、前記２Ｄパッチは、前記デフォルトのパッチ回転又は前記選好されるパッチ回転に従って回転される、請求項１記載の方法。
3. 前記ビットストリームは、複数の利用可能なパッチ回転のうちの１つを含み、前記２Ｄパッチは、前記複数の利用可能なパッチ回転のうちの前記１つに従って回転される、請求項１記載の方法。
4. 前記ビットストリームの中の３ビットフラグは、前記複数の利用可能なパッチ回転のうちの前記１つを識別する、請求項３記載の方法。
5. 前記ビットストリームは、制限回転イネーブルフラグを含む、請求項１記載の方法。
6. 前記２Ｄパッチは、前記制限回転フラグが第１の値を有するときに、網羅的な配向モードに基づいて回転され、前記制限回転フラグが第２の値を有するときに、単純な配向モードに基づいて回転される、請求項５記載の方法。
7. 前記ビットストリームは、パッチ回転存在フラグを含み、前記２Ｄパッチは、前記パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って回転される、請求項１記載の方法。
8. 前記ビットストリームは、パッチ回転存在フラグを含み、前記２Ｄパッチは、前記パッチ回転存在フラグが第２の値を有するときに、選好されるパッチ回転に従って、又は複数の利用可能なパッチ回転のうちの１つに従って回転される、請求項１記載の方法。
9. 前記パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第２の値を有し、パッチ回転存在フラグが第２の値を有するときに、選好されるパッチ回転に従って前記２Ｄパッチを回転させるステップをさらに含む、請求項１記載の方法。
10. 前記パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第２の値を有し、パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って前記２Ｄパッチを回転させるステップをさらに含む、請求項１記載の方法。
11. 前記パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第１の値を有し、パッチ回転存在フラグが第１の値を有するときに、デフォルトのパッチ回転に従って前記２Ｄパッチを回転させるステップをさらに含む、請求項１記載の方法。
12. 前記パッチ回転イネーブルフラグが第２の値を有し、制限回転イネーブルフラグが第１の値を有し、パッチ回転存在フラグが第２の値を有するときに、複数の利用可能なパッチ回転のうちの１つに従って前記２Ｄパッチを回転させるステップをさらに含む、請求項１記載の方法。
13. エンコーダによって実施される点群コーディング（ＰＣＣ）の方法であって、
    前記エンコーダの受信機により、３次元（３Ｄ）画像を取得するステップと、
    前記エンコーダのプロセッサにより、複数の利用可能なパッチ回転を使用して、前記３Ｄ画像に対する複数の２次元（２Ｄ）投影を決定するステップと、
    前記プロセッサにより、前記複数の２Ｄ投影のうちの１つを選択するステップと、
    前記プロセッサにより、前記複数の２Ｄ投影のうちの選択された前記１つに従って、複数のフラグを設定するステップと、
    前記プロセッサにより、前記複数のフラグとアトラス情報とを含むビットストリームを生成し、前記３Ｄ画像を再構成するステップと、
    復号化器に向けて送信するために、前記エンコーダのメモリに前記ビットストリームを記憶するステップとを備えている、方法。
14. 前記複数のフラグは、パッチ回転イネーブルフラグと、制限回転イネーブルフラグと、パッチ回転存在フラグとを含む、請求項１３記載の方法。
15. 前記複数のフラグのうちの少なくとも１つは、デフォルトのパッチ回転を使用するように前記復号化器に信号で指示するように設定される、請求項１３記載の方法。
16. 前記複数のフラグのうちの少なくとも１つは、選好されるパッチ回転を使用するように前記復号化器に信号で指示するように設定される、請求項１３記載の方法。
17. 前記複数のフラグのうちの少なくとも１つは、前記複数の利用可能なパッチ回転のうちの１つを使用するように前記復号化器に信号で指示するように設定される、請求項１３記載の方法。
18. ２次元（２Ｄ）パッチについて、パッチ回転イネーブルフラグとアトラス情報とを含むコーディングされたビデオビットストリームを受信するように構成されている受信機と、
    前記受信機に結合されているメモリであり、命令を格納するメモリと、
    前記メモリに結合されているプロセッサであり、復号化装置に下記のステップ、即ち
    前記パッチ回転イネーブルフラグに基づいて、前記２Ｄパッチが回転されることが可能であると決定するステップと、
    前記２Ｄパッチを回転させるステップと、
    前記アトラス情報と回転された前記２Ｄパッチとを使用して、３次元（３Ｄ）画像を再構成するステップと
    を行わせるために前記命令を実行するように構成されているプロセッサとを備えている、復号化装置。
19. 前記３Ｄ画像を表示するように構成されているディスプレイをさらに備えている、請求項１８記載の復号化装置。
20. ３次元（３Ｄ）画像を受信するように構成されている受信機と、
    前記受信機に結合されているメモリであり、命令を含むメモリと、
    前記メモリに結合されているプロセッサであり、エンコード装置に下記のステップ、即ち
    複数の利用可能なパッチ回転を使用して、前記３Ｄ画像に対する複数の２次元（２Ｄ）投影を決定するステップと、
    前記複数の２Ｄ投影のうちの１つを選択するステップと、
    前記複数の２Ｄ投影のうちの選択された前記１つに従って、複数のフラグを設定するステップと、
    前記３Ｄ画像を再構成するために、前記複数のフラグとアトラス情報とを含むビットストリームを生成するステップと、
    復号化器に向けて送信するために、前記ビットストリームを前記メモリに格納するステップと
    を行わせるために前記命令を実行するように構成されているプロセッサとを備えている、エンコード装置。
21. 前記プロセッサに結合されている送信機であり、前記ビットストリームを前記復号化器に向かって送信するように構成されている送信機をさらに含む、請求項２０記載のエンコード装置。
22. エンコードする体積ピクチャーを受信するように構成されているか、又は復号化するビットストリームを受信するように構成されている受信機と、
    前記受信機に結合されている送信機であり、前記ビットストリームを復号化器に送信するように構成されているか、又は、復号化された体積ピクチャーを再構成するように構成された再構成装置に復号化された体積画像を送信するように構成されている送信機と、
    前記受信機又は前記送信機のうちの少なくとも１つに結合されるメモリであり、命令を記憶するように構成されているメモリと、
    前記メモリに結合されているプロセッサであり、請求項１ないし１７のいずれか１項に記載の方法を実行するために、前記メモリに記憶された前記命令を実行するように構成されているプロセッサとを備えている、コーディング装置。
23. 復号化された前記体積ピクチャーに基づいて投影画像を表示するように構成されているディスプレイをさらに備えている、請求項２２記載のコーディング装置。
24. エンコーダと、
    前記エンコーダと通信する復号化器とを備え、
    前記エンコーダ又は前記復号化器は、請求項１８ないし２３のいずれか１項に記載のエンコード装置、復号化装置、又はコーディング装置を含む、システム。
25. エンコードする体積ピクチャーを受信するように構成されているか、又は復号化、再構成及び投影するビットストリームを受信するように構成されている受信手段と、
    前記受信手段に結合されている送信手段であって、前記ビットストリームを復号化器に送信するように構成されているか、又は復号化された画像をディスプレイ手段に送信するように構成されている送信手段と、
    前記受信手段又は前記送信手段のうちの少なくとも１つに結合されている記憶手段であって、命令を記憶するように構成されている記憶手段と、
    前記記憶手段に結合されている処理手段であって、請求項１ないし１７のいずれか１項に記載の方法を実行するように、前記記憶手段に記憶された前記命令を実行するように構成されている処理手段とを備えている、コーディングする手段。
    

Images