JP2022517559A - 三角形予測のためのビデオ符号化復号化の方法及び装置 - Google Patents

Abstract

ビデオ符号化復号化のための方法及び装置を提供する。この方法は、ビデオ画像を、少なくとも１つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画することと、単一予測運動ベクトル候補リストを構成することと、現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化されるかどうかを決定することと、前記区画方向を示す区画方向フラグを信号で通知することと、構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知することと、を含む。【選択図】図１

Description

関連出願の相互参照

本出願は、２０１８年１２月３０日に出願された、発明の名称が「ビデオ符号化復号化における三角形予測フラグシグナリング」である米国仮出願第６２／７８６５４５号、及び２０１８年１２月３１日に出願された、発明の名称が「三角形予測構文符号化復号化」である米国仮出願第６２／７８７２１９号に対する優先権を主張するものであり、これらの特許出願の明細書全体を参照によって本願明細書に引用する。

本発明は、全般的にビデオ符号化復号化及び圧縮に関し、特に、限定されないが、ビデオ符号化復号化における三角形予測ユニットを用いた動き補償予測のための方法及び装置に関する。

ここで、以下の略語及び頭字語は定義され、少なくともそれらのいくつかが以下の説明で使用される。
国際電気通信連合（ＩＴＵ：International Telecommunication Union）、ＩＴＵ電気通信標準化部門（ＩＴＵ－Ｔ：ITU Telecommunication Standardization Sector）、国際標準化機構（ＩＳＯ/ＩＥＣ：International Organization for Standardization）、国際電気標準会議（ＩＥＣ：International Electrotechnical Commission）、動画専門家グループ（MPEG：Moving Picture Experts Group）、高度なビデオ符号化（AVC：Advanced Video Coding）、高効率ビデオ符号化（ＨＥＶＣ：High Efficiency Video Coding）、多用途ビデオ符号化（ＶＶＣ：Versatile Video Coding）、共同探査試験モデル（ＪＥＭ：Joint Exploration Test Model）、ＶＶＣ試験モデル（ＶＴＭ：VVC Test Model）、共同ビデオ専門家チーム（ＪＶＥＴ：Joint Video Experts Team）、ビデオ符号化専門家グループ（ＶＣＥＧ：Video Coding Experts Group）、動きベクトル（ＭＶ：Motion Vector）、動きベクトル予測（ＭＶＰ：Motion Vector Prediction）、動きベクトル差（ＭＶＤ：Motion Vector Difference）、動きベクトル場（ＭＶＦ：Motion Vector Field）、高度な動きベクトル予測（ＡＭＶＰ：Advanced Motion Vector Prediction）、動きベクトル競争（ＭＶＣ：Motion Vector Competition）、時間的動きベクトル予測（ＴＭＶＰ： Temporal Motion Vector Prediction）、制御点動きベクトル（ＣＰＭＶ：Control Point Motion Vector）、適応型ループフィルタ（ＡＬＦ：Adaptive Loop Filter）、Ｂｉ予測（Ｂ：Bi－predictive）、ブロックコピー（ＢＣ：Block Copy）、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Context Adaptive Variable Length Coding）、符号化ブロック（ＣＢ：Coding Block）、エンコーダ／デコーダ（ＣＯＤＥＣ）、符号化画像バッファ（ＣＰＢ：Coded Picture Buffer）、符号化ツリーブロック（ＣＴＢ：Coding Tree Block）、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）、符号化ユニット（ＣＵ：Coding Unit）、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、復号化画像バッファ（ＤＰＢ：Decoded Picture Buffer）、イントラ（Ｉ）、ブロック内コピー（ＩＢＣ：Intra Block Copy）、予測（Ｐ）、予測ブロック（ＰＢ：Prediction Block）、確率間隔分割エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）、画像順序カウント（ＰＯＣ：Picture Order Count）、画像ユニット（ＰＵ：Picture Unit）、絶対差の合計（ＳＡＤ：Sum Of Absolute Difference）、サンプル適応型オフセット（ＳＡＯ：Sample Adaptive Offset）、構文ベースのコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ：Syntax-Based Context-Adaptive Binary Arithmetic Coding）、シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）、二乗差の合計（ＳＳＤ：Sum Of Square Difference）、変換ユニット（ＴＵ：Transform Unit）、四分木プラス二分木（ＱＢＴＢ：Quadtree Plus Binary Tree）、画素または画像要素（ｐｅｌ）、高度な時間レベル動きベクトル予測（ＡＴＭＶＰ：Advanced Temporal Level Motion Vector Prediction）、究極の動きベクトル表現（ＵＭＶＥ：Ultimate Motion Vector Expression）、動きベクトル差によるマージモード（ＭＭＶＤ：Merge Mode with Motion Vector Difference）、インデックス（ＩＤＸ）、インター予測とイントラ予測の組み合わせ（ＣＩＩＰ：Combined Inter and Intra Prediction）、最も可能性の高いモード（ＭＰＭ：Most Probable Mode）。

デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置などの各種電子装置は全てデジタル・ビデオを支持する。電子装置は、ビデオ圧縮/展開を実行することで、デジタル・ビデオ・データを受送信し、符号化し、復号化や格納する。デジタルビデオ装置は、多用途ビデオ符号化（ＶＶＣ）、共同探査試験モデル（ＪＥＭ）、ＭＰＥＧ-２、ＭＰＥＧ-４、ＩＴＵ-Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、高度なビデオ符号化（ＡＶＣ）、ＩＴＵ-Ｔ Ｈ.２６５／高効率ビデオ符号化（ＨＥＶＣ）で定義された標準及びそのような標準の拡張に述ベているビデオ符号化復号化技術を実行する。

ビデオ符号化復号化は、一般に、ビデオ画像又はシーケンスに存在する冗長性による予測方法（例えば、フレーム間予測、フレーム内予測）を利用する。ビデオ符号化復号化技術の重要な目標の一つは、ビデオ品質の低下を回避または最小限に抑えながら、ビデオデータをより低ビットレートでのフォームに圧縮することである。進化し続けるビデオサービスが利用可能になるにつれて、より優れた符号化復号化効率を備える符号化復号化技術が必要となる。

ビデオ圧縮は、通常、空間的（フレーム内）予測及び／又は時間的（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除することを含む。ブロックに基づくビデオ符号化において、ビデオフレームは、符号化ツリーユニット（ＣＴＵ)と呼ばれるビデオブロックを複数含む１つ又は複数のスライスに分割される。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより小さなＣＵに再帰的に分割されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、１つまたは複数の変換ユニット（ＴＵ）と、１つまたは複数の予測ユニット（ＰＵ：prediction unit）とが含まれる。各ＣＵは、イントラ、インター、またはＩＢＣモードで符号化されることが可能である。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間的予測で符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間的予測、または他の以前および／または将来の参照ビデオフレームにおける参照サンプルに関する時間的予測を使用する。

以前符号化された参照ブロック、例えば隣接ブロックの空間的予測又は時間的予測に基いて、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実現することが可能である。符号化対象である現在のブロックと予測ブロックとの間の画素差を示す残差データは、残差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成した参照フレームにおける参照ブロックを指す動きベクトルと、残差ブロックとに応じて符号化される。動きベクトルを決定する処理は、通常動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モードと残差ブロックによって符号化されるものである。更なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され、結果として将来に定量化される残差変換係数が得られる。そして、最初に二次元行列で配置されて定量化された変換係数は、走査されて一次元の変換係数ベクトルを生成し、その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化される。

そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットストリームから構文要素を取得し、このビットストリームから取得された構文要素の少なくとも一部に基づいてこの符号化されたビデオストリームから元のフォーマットにデジタル・ビデオデータを再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレイに再現する。

デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ、さらに８Ｋ×４Ｋに進んでいるにつれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加している。復号化されたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化することは、常に課題である。

ジョイントビデオ専門家チーム（ＪＶＥＴ）会議では、多用途ビデオ符号化（ＶＶＣ）及びＶＶＣ試験モデル１（ＶＴＭ１）符号化方法の最初の草案が定義された。二値および三元分割符号化ブロック構造によるネストのマルチタイプツリーを持つ四分木は、ＶＶＣの最初の新しい符号化特徴として含まれていることと決定された。それ以来、符号化方法を実行するための参照ソフトウェアＶＴＭ及びドラフトＶＶＣ復号化プロセスはＪＶＥＴ会議の間で開発された。

本開示は、全般的にビデオ符号化復号化において三角形予測ユニットによる動き補償予測に関する技術の例を説明する。

本願の第１の方面に従い、ビデオ画像を、少なくとも１つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画することと、単一予測運動ベクトル候補リストを構成することと、現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化されるかどうかを決定することと、前記区画方向を示す区画方向フラグを信号で通知することと、構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知することと、を含むビデオ符号化復号化のための方法を提供する。

本願の第２の方面に従い、ビデオ画像を、少なくとも１つがさらに少なくとも１つの三角形の予測ユニット（ＰＵ）を含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画することと、現在のＣＵに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうかを決定することと、前記現在のＣＵに関して前記三角形予測フラグが復号化されるべきであると決定したと、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）によって前記三角形予測フラグを導出することと、を含み、前記三角形予測フラグのためのＣＡＢＡＣのコンテキストは、ＣＵの領域サイズ、ＣＵの形状及び共通のコンテキストからなるグループから選択された少なくとも１つに基づいて導出される、ビデオ符号化復号化のための方法を提供する。

本願の第３の方面に従い、プロセッサと、前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、を含み、前記プロセッサは、前記命令を実行すると、
ビデオ画像を、少なくとも１つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画し、単一予測運動ベクトル候補リストを構成し、現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化するかどうかを決定し、前記区画方向を示す区画方向フラグを信号で通知し、構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知する、のような操作を実行するように構成されるビデオ符号化復号化のための装置を提供する。

本願の第４の方面に従い、プロセッサと、前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、を含み、前記プロセッサは、前記命令を実行すると、ビデオ画像を、少なくとも１つがさらに少なくとも１つの三角形の予測ユニット（ＰＵ）を含む２つの予測ユニットＰＵに区画される複数の符号化ユニット（ＣＵ）に区画し、現在のＣＵに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうかを決定し、前記現在のＣＵに関して前記三角形予測フラグが復号化されるべきであると決定したと、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）によって前記三角形予測フラグを導出する、のような操作を実行し、前記三角形予測フラグのためのＣＡＢＡＣのコンテキストは、ＣＵの領域サイズ、ＣＵの形状及び共通のコンテキストからなるグループから選択された少なくとも１つに基づいて導出されるように構成される、ビデオ符号化復号化のための装置を提供する。

本開示の例のより具体的な説明は、添付の図面に示す特定の例を参照することによって与えられる。これらの図面はいくつかの例を示しているに過ぎず、したがって範囲を限定するものではないと考すれば、これらの例は、添付の図面を使用することにより、追加の特異性および詳細が説明される。

図１は、本開示のある実施形態に係るビデオ符号化および復号化システムを例示するブロック図である。 図２は、本開示のある実施形態に係るビデオエンコーダを例示するブロック図である。 図３は、本開示のある実施形態に係るビデオデコーダを例示するブロック図である。 図４は、本開示のある実施形態に係る、ＱＴＢＩ構造を示す概略図である。 図５は、本開示のある実施形態に係る、ＣＴＵに分割された画像の例を示す概略図である。 図６は、本開示のある実施形態に係る、マルチタイプツリー分割モードを示す概略図である。 図７は、本開示のある実施形態に係る、ＣＵを三角形予測ユニットに分割することを示す概略図である。 図８は、本開示のある実施形態に係る、隣り合うブロック同士の位置を示す概略図である。 図９は、本開示のある実施形態に係る、重み係数セットによる重み付けの例を示す概略図である。 図１０は、本開示のある実施形態に係る、三角形予測フラグを符号化復号化するためのコンテキスト導出を示す概略図である。 図１１は、本開示のある実施形態に係る、ＰＵ区画の例を示す概略図である。 図１２は、本開示のある実施形態に係る、空間的マージ候補の位置を示す概略図である。 図１３は、本開示のある実施形態に係る、時間的マージ候補の動きベクトルスケーリングを示す概略図である。 図１４は、本開示のある実施形態に係る、時間的マージ候補の候補位置を示す概略図である。 図１５は、本開示のある実施形態に係る、ビデオ符号化復号化のための例示的な装置を示すブロック図である。 図１６は、本開示のある実施形態に係る、三角形予測による動き補償予測のためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。 図１７は、本開示のある実施形態に係る、三角形予測フラグのためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。

以下、図面を参照して本発明の具体的な実施の形態を詳細に説明する。以下の詳細な説明において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、本発明は、各種の変形により実施することができることは、当業者にとって明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得ることは、業者にとって明らかである。

各図の要素の説明は、他の図の要素を参照することがある。同一の番号は、図中の同一の要素を指し、同一の要素の変形例も含む。

本明細書では、「１つの実施形態」、「実施形態」、「例」、「ある実施形態」、「ある例」または類似の表現は、記載における特定の特徴、構造または特性が少なくとも１つの実施形態または例に含まれることを意味する。したがって、本明細書全体における「１つの実施形態において」、「例において」、「ある実施形態において」および類似の表現の例は、すべて同じ実施形態を指す場合があるが、必ずしもそうであるとは限らない。それは、開示されたすべての実施形態を含んでもよいし、含まなくてもよい。１つまたはいくつかの実施形態に関連して説明される特徴、構造、要素または特性は、明確に別段の指示をしない限り、他の実施形態にも適用可能である。

図面中、概略フローチャート及び／又は概略ブロック図は、各実施形態に係る、異なる装置、システム、方法及びプログラム製品の可能な実施形態のアーキテクチャ、機能及び動作を示す。これに関して、概略フローチャートおよび/または概略ブロック図の各ブロックは、特定の論理機能を実行するためのモジュール、セグメント、または１つまたは複数の実行可能な命令を含むコードの一部を表すことができる。しかしながら、当業者は、フローチャートが必ずしも図示された順序で実行される必要はなく、１つまたは複数の特定のステップなし、または図示されていない他のステップで実行されることができることを理解すべきである。

なお、ある変形例では、示すブロックの機能が、図中に記載の順序と異なる場合もある。たとえば、連続的に示す２つのブロックは、関連する機能によって、実際には実質的に同時に実行されてもよく、又は逆の順序で実行されてもよい。図面について、他のステップおよび方法は、機能、論理または効果に１つまたは複数のブロックまたはその一部と同等であると考えられることができる。

本開示で使用される用語は、特定の例を説明することのみを目的としており、本開示を限定することを意図しない。「含む」、「備える」という用語は、明確に別段の指示をしない限り、「…を含むがこれに限定されない」という意味である。

さらに、これらの用語は、述べる機能、整数、ステップ、操作、要素および/またはコンポーネントの存在を指すが、１つまたは複数の他の特徴、整数、ステップ、操作、要素、コンポーネント、および／またはそれらの組み合わせの存在または追加を排除するものではないことを理解されべきである。

列挙する項のリストは、明確に別段の指示をしない限り、これらの項のいずれかまたはすべてが互いに排他的であることを意味するものではない。

本開示および添付の特許請求の範囲で使用される場合、単数形「一」、「１つ」および「この」は複数形も含むことを意図しており、文脈が明確に別段の指示をしない限り、「１つまたは複数」、「少なくとも一つ」と同等であると解釈されるべきである。

本明細書で使用される用語「および/または」、「及び/又は」は、１つまたは複数の関する、リストされた項目の任意な及びすべての可能な組み合わせを指しかつ含むことも理解されべきである。例えば、「Ａおよび/またはＢ」は、Ａのみの存在、Ｂのみの存在、ＡとＢとの両方の共存の３つの組み合わせのいずれかを指す。

記号「/」は、一般的に関連項の「又は」という関係を示すが、関連項の「と」という関係を含むこともある。たとえば、「Ａ/Ｂ」は、文脈が明確に別段の指示をしない限り、ＡとＢとの両方の共存を含む場合もある。

本開示全体では、「第１」、「第２」、「第３」などの用語はすべて、関連する要素、例えば、デバイス、コンポーネント、構成、ステップなどへの言及のためのものとしてのみ使用され、文脈が明確に別段の指示をしない限り、空間的または年代順を意味するものではない。たとえば、「第１のデバイス」および「第２のデバイス」は、２つの別個に形成されたデバイス、または同じデバイスの２つの部分、コンポーネント、または動作状態を指すものであって、任意に名前を付けることができる。

第１元素と第２元素とは独立して存在してもよい。例えば、ある実施形態は、第１の要素を含まず、第２の要素のみを含むことができる。したがって、第２の要素は、第１の要素の説明に先立って、または第１の要素の説明なしで説明され得る。たとえば、方法またはプロセスの「第１のステップ」は、「第２のステップ」の後、または「第２のステップ」と同時に実行されることが可能である。

本明細書で使用される場合、「（もし）…たら」または「（もし）…ば」、「（もし）…と」という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味すると理解され得る。これらの用語は、請求項に表示される場合、関連する限定または特徴が条件付きまたは選択的であることを意味していない場合がある。たとえば、一つの方法は、ｉ)条件Ｘ が存在する場合、機能または動作Ｘ'が実行されるステップと、ｉｉ)条件Ｙが存在する場合、機能または動作Ｙ'が実行されるステップとを含む。この方法は、機能または動作Ｘ'を実行する能力と、機能または動作Ｙ'を実行する能力との両方を含めて実現される必要があるが、機能Ｘ'とＹ'とは両方とも、異なる時間にこの方法の複数回の実行で実現される場合がある。さらに、条件Ｘの満足を検出または評価する能力と、条件Ｙの満足を検出または評価する能力と含めて実現されてもよい。

「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「ユニット」または「サブユニット」という用語は、１つまたは複数のプロセッサで実行できるコードまたは命令を格納するメモリ (共有、専用、またはグループ) を含む。モジュールは、コードまたは命令を格納しているか、または格納していない１つまたは複数の回路が含む場合がある。モジュールまたは回路は、直接または間接的に接続された１つまたは複数のコンポーネントを含むことができる。これらのコンポーネントは、互いに物理的に接続することも、物理的に切断することも、互いに隣り合うこともできる。

ユニットまたはモジュールは、完全にソフトウェアによって実現されてもよく、完全にハードウェアによって実現されてもよく、またはハードウェアとソフトウェアとの組み合わせによって実現されてもよい。完全なソフトウェアの実現では、たとえば、ユニットまたはモジュールが、特定の機能を実行するために直接的または間接的に互いにリンクされている機能的に関連するコードブロックまたはソフトウェアコンポーネントを含むことができる。

図１は、本開示のある実施形態に係る、ビデオブロックを符号化および復号化するためのシステム１０を例示するブロック図である。図１に示すように、システム１０は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置１２を含む。ソース装置１２および目標装置１４は、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかであってもよい。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。

ある実施形態では、目標装置１４は、リンク１６を介して復号化対象の符号化後のビデオデータを受信する。リンク１６は、符号化されたビデオデータをソース装置１２から目標装置１４に移動させる任意のタイプの通信媒体または装置であってもよい。一つの例では、リンク１６は、ソース装置１２から、符号化されたビデオデータを目標装置１４にリアルタイムで直接送信できる通信媒体であってもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信される。通信媒体は、無線周波数（ＲＦ：radio frequency）スペクトルまたは１つ又は複数の物理的な伝送路などの任意の無線または有線通信媒体であってもよい。通信媒体は、ローカルエリアネットワークのようなパケットベースのネットワーク、ワイドエリアネットワークまたはインターネット等のようなグローバルネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。

他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信される。そして、ストレージ装置３２にある符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４によってアクセスされることが可能である。ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格納するための他の任意の適切なデジタル記憶媒体などのような多種の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことが可能である。更なる他の例では、ストレージ装置３２は、ファイルサーバ、またはソース装置１２によって生成された符号化ビデオデータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミングまたはダウンロードを介してストレージ装置３２から格納されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し、符号化されたビデオデータを目標装置１４に送信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の標準データ接続を介して、符号化されたビデオデータをアクセスすることができる。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであってもよい。

図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電話であってもよい。しかしながら、本開示で説明する実施形態は、一般にビデオ符号化に適用可能であり、そして無線および／または有線アプリケーションに適用可能である。

捕らえられたビデオ、予め捕らえられたビデオ、またはコンピュータによって生成されたビデオは、ビデオエンコーダ２０によって符号化されることができる。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後、目標装置１４または他の装置によってアクセスされて復号化および／または再生できるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して転送され、またはストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって生成されてビデオデコーダ３０によるビデオデータの復号化に使用される各種の構文要素を含んでもよい。符号化されたビデオデータは、通信媒体で送信されるか、記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのような構文要素を含んでもよい。

ある実施形態では、目標装置１４は、集積された表示装置や、目標装置１４と通信できるように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復号化されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプの表示装置などの各種の表示装置のいずれかであってもよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお、本開示は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または将来の標準のいずれかに従ってビデオデータを復号化するように構成される。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、各種の適切なエンコーダ回路のいずれかとして実現されることが可能である。部分的にソフトウェアによって実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコンピュータ読取可能な媒体に格納し、ハードウェアにおいて１つまたは複数のプロセッサによって命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダまたはデコーダに含まれてもよい。

図２は、本開示で述べるある実施形態に係るビデオエンコーダ２０を例示するブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイントラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は空間的予測に依存し、特定のビデオフレームまたは画像内のビデオデータの空間的冗長性を低減または削除する。インター予測符号化は、時間的予測に依存し、ビデオシーケンスにおける隣り合うビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する。

図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、イントラブロックコピー（IＢＣ）部４８及びイントラ/インターモード決定部４９をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている。加算器６２とＤＰＢ６４との間には、ブロック同士の境界をフィルタリングして再構成されたビデオからブロック性アーチファクトを除去するデブロッキング・フィルタを設置することが可能である。また、加算器６２の出力をフィルタリングするために、このデブロッキング・フィルタに加えて、インループフィルタ６３を用いてもよい。ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で形成してもよいし、または１つ又は複数の固定的またはプログラマブル・ハードウェアユニット内で分割されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化するビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、各種のメモリデバイスのいずれかであってよい。各種の例では、ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップであってもよく、またはそれらの部品に対するオフチップであってもよい。

図２に示すように、ビデオデータを受信した後、予測処理部４１における分割部４５は、このビデオデータをビデオブロックに分割する。この分割には、このビデオデータに関するｑｕａｄ－ｔｒｅｅ構造のような予め定められた分割構造に従って、ビデオフレームをスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に分割することを含んでもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブロックトセット）に分割されることができる。予測処理部４１は、現在のビデオブロックに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイントラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つのような、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供して残差ブロックを生成し、かつ、得られたイントラ又はインター予測符号化ブロックを加算器６２に提供してその後参照フレームの一部として使用するように符号化ブロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードインジケータ、分割情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提供する。

予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適したイントラ予測符号化モードを選択するために、符号化対象である現在のブロックと同一のフレーム内の１つまたは複数の隣接ブロックに対して、現在のビデオブロックのイントラ予測符号化を実行して空間的予測を行うことができる。予測処理部４１における動き推定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブロックに対して、現在のビデオブロックのインター予測符号化を実行して時間的予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオデータにおける各ブロックに対して適切な符号化モードを選択してもよい。

ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められたパターンに従って、参照ビデオフレーム内における予測ブロックに対する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することで、現在のビデオフレームのインター予測モードを決定する。動き推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレーム（または他の符号化ユニット）または画像内における符号化されている現在のビデオブブロックに対する参照フレーム（または他の符号化ユニット）内における予測ブロックに対して、現在のビデオ・フレーム内におけるビデオブロックのＰＵの変位を示すことができる。予め定められたパターンは、シーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとして指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動きベクトルの決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよいし、または動き推定部４２を利用してブロックベクトルを決定してもよい。

絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メトリックによって決定できる画素差では、予測ブロックは、符号化対象のビデオブロックのＰＵと極めてマッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコーダ２０は、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８の画素位置、または他の分数の画素位置の値を補間してもよい。したがって、動き推定装置４２は、すべての画素位置および分数の画素位置に対して動き探索処理を実行して、分数画素精度を有する動きベクトルを出力ことができる。

動き推定部４２は、インター予測符号化フレーム内におけるビデオブロックのＰＵの位置と、それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択された参照フレームの予測ブロックの位置と比較することで、インター予測符号化フレームに対するビデオブロックのＰＵの動きベクトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し、そしてエントロピー符号化部５６に送信する。

動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４４は、現在のビデオブロックのＰＵの動きベクトルを受信すると、参照フレームリストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によって提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロックに関する構文要素をさらに生成して、ビデオデコーダ３０によるビデオフレームのビデオブロックの復号化に使用する。構文要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書で述べる任意の他の構文情報を含み得る。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示されているが、高度に集積されてもよい。

ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関して上述した方法と同様の方法によりベクトルを生成し、予測ブロックを取得することができるが、ここで、予測ブロックは符号化されている現在のブロックと同じフレームにあるものであり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれるものである。特に、イントラＢＣ部４８は、一つのイントラ予測モードを決定して現在のブロックを符号化することができる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、多種類のイントラ予測モードを使用して現在のブロックを符号化し、レート歪み解析によりそれらのパフォーマンスをテストすることが可能である。次に、イントラＢＣ部４８は、テストされた各種のイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応するイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、テストされた各種のイントラ予測モードのレート歪み値をレート歪み解析により算出し、テストされたモードからレート歪み特性が最良なイントラ予測モードを適切なイントラ予測モードとして選択し使用してもよい。レート歪み解析では、通常、符号化されたブロックとこの符号化されたブロックを生成するためのものであって符号化が実施されていない元のブロックとの間の歪み（又は、エラー）の量、およびこの符号化されたブロックを生成するために使用されたビットレート（すなわち、複数のビット）が決定される。イントラＢＣ部４８は、各符号化されたブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードがこのブロックに対して最良なレート歪み値を示しているかを決定してもよい。

別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４を全体的または一部的に使用して、ここに記載の実施形態に係るイントラＢＣ予測に用いられる機能を実行してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定できる画素差で、符号化対象のブロックと極めてマッチングすると考えられるブロックであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。

ビデオエンコーダ２０は、予測ブロックがイントラ予測に従って同じフレームからのものであるか、インター予測に従って異なるフレームからのものであるかに関わらず、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画素差値を形成することで、残差ビデオブロックを生成することができる。残差ビデオブロックを形成している画素差値には、輝度成分差及び彩度成分差の両方を含むことが可能である。

イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在のブロックを符号化することができる。このために、イントラ予測処理部４６は、例えば、個別のパスの符号化処理において、各種のイントラ予測モードを使用して現在のブロックを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、テストされたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化することができる。

予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックに対して予測ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し引くことで残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部５２は、離散コサイン変換（ＤＣＴ）または概念的に離散コサイン変換と類似する変換などにより、残差ビデオデータを残差変換係数に変換することができる。

変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、これらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これらの係数の一部または全部に関連するビット深度を減らすこともできる。 定量化の度合いは、定量化パラメータを調整することによって変更されることができる。そして、ある例では、定量化部５４は、定量化された変換係数を含む行列の走査を実行することができる。或いは、この走査は、エントロピー符号化部５６によって実行されることが可能である。

定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化または別のエントロピー符号化方法または技術により、定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０へ送信またはビデオデコーダ３０による検索のためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビデオブロックを再構成する。上記のように、動き補償部４４は、ＤＰＢ６４に格納されているフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィルタを適用して、動き推定に使用されるサブ整数画素値を算出することもできる。

加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター予測することが可能である。

ビデオエンコーダ２０を使用するビデオ符号化の例では、ビデオフレームは、処理対象であるブロックに分割される。あるビデオブロックごとに、インター予測またはイントラ予測に基づいて予測が形成される。インター予測では、予測子または予測ブロックは、以前に再構成されたフレームからの画素に基づいて、動き推定および動き補償により形成されることができる。イントラ予測では、予測子は、現在のフレームにおける再構成された画素に基づいて形成されることができる。モード決定によっては、現在のブロックを予測するための最良の予測子が選択されることができる。

予測残差または残差ブロック（すなわち、現在のブロックとその予測子との間の差）は、変換モジュール、例えば、変換処理部５２に送られる。次に、変換係数は、定量化モジュール、例えば、エントロピー低減のための定量化部５４に送られる。定量化された係数は、エントロピー符号化復号化モジュール、例えば、エントロピー符号化部５６に供給されて圧縮されたビデオビットストリームが生成される。図２に示すように、ブロック分割情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどのようなインターおよび／またはイントラ予測モジュールからの予測関連情報も、エントロピー符号化復号化モジュール、例えば、エントロピー符号化部５６を通過してビットストリームに保存される。

ビデオエンコーダ２０において、予測目的のための画素の再構成のために、デコーダに関連するモジュールが必要とすることがある。まず、予測残差が逆定量化及び逆変換によって再構成される。次に、再構成された予測残差が予測子と組み合わされて、現在のブロックのフィルタリングされていない再構成の画素が生成される。

符号化復号化効率および視覚的品質を改善するために、一般的に、インループフィルタ６３が使用される。たとえば、デブロッキング・フィルタは、ＡＶＣ、ＨＥＶＣおよびＶＶＣから取得できる。ＨＥＶＣでは、符号化復号化の効率をさらに向上させるために、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加のインループフィルタを定義できる。ＶＶＣでは、ＡＬＦ（適応型環フィルタ）と呼ばれるインループフィルタ６３を適用することができる。

これらのインループフィルタ操作は選択可能である。インループフィルターをオンにすると、通常、符号化復号化効率および視覚的品質が向上する。また、計算の複雑さを軽減するために、エンコーダーの決定としてインループフィルターをオフにすることもできる。

なお、イントラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、これらのフィルタがエンコーダによってオンにされた場合、イントラ予測は、フィルタリングされた再構成の画素に基づくものであってもよい。

図３は、本開示のある実施形態に係るビデオデコーダ３０を例示するブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、イントラＢＣ部８５及びイントラ/インターモート選択部８７をさらに備える。ビデオデコーダ３０は、図２に参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。

ビデオデコーダ３０を使用するビデオ復号化の例では、受信されたビットストリームは、エントロピー復号化部８０を介して復号化され、定量化された係数レベル（または定量化された係数）および予測関連情報が導出される。そして、定量化された係数レベルは、逆定量化部８６および逆変換処理部８８を介して処理されて、再構成された残差ブロックが取得される。予測子または予測ブロックは、復号化された予測関連情報に基づいて、イントラ予測処理または動き補償処理によって形成されたものである。フィルタリングされていない再構成の画素は、再構成された残差ブロックと予測子を合計することによって取得されたものである。インループフィルターがオンになっている場合、これらの画素に対してフィルタリング操作が実行されて、最終的に再構成のビデオが導出されて出力される。

ある例では、ビデオデコーダ３０内の一つの構成要素が本開示の実施を実行することを担当してもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０内の１つまたは複数の構成要素に分割されてもよい。例えば、イントラＢＣ部８５は、本開示の実施を単独で実現してもよく、または動き補償部８２、イントラ予測処理部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０は、イントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２などの予測処理部８１における他の構成要素によって実現されてもよい。

ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオデータメモリ７９に格納されているビデオデータは、例えば、ストレージ装置３２から取得したり、カメラなどのローカルビデオソースから取得したり、ビデオデータの有線または無線ネットワーク通信を介して取得したり、物理データ記憶媒体（例えば、フラッシュドライブやハードディスク）へのアクセスにより取得し得る。ビデオデータメモリ７９は、符号化されたビデオビットストリームから符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０（例えば、イントラ予測またはインター予測符号化モード）によるビデオデータの復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリデバイスなどの各種のメモリデバイスのいずれかによって形成されることができる。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３でビデオデコーダ３０内の２つの異なる構成要素として示されている。しかし、当業者にとっては、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスによって提供されることが明らかである。ある例では、ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要素に対するオフチップであってもよい。

復号化プロセスにおいて、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連構文要素を示す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで構文要素を受信することができる。ビデオデコーダ３０のエントロピー復号化部８０は、このビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復号化部８０は、該動きベクトルおよび他の構文要素を予測処理部８１に転送する。

ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化された場合、または他のタイプのフレームのイントラ符号化予測ブロックに用いられる場合には、予測処理部８１におけるイントラ予測処理部８４は、通知されたイントラ予測モードと、現在のフレームからの以前復号化されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックの予測データを生成することができる。

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化された場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックの１つまたは複数の予測ブロックを生成することができる。各予測ブロックは、参照フレームリストのうちの１つにおける参照フレームから生成される。ビデオデコーダ３０は、ＤＰＢ９２に格納されている参照フレームに基いて、デフォルトの構成技術によりこの参照フレームリスト、例えばＬｉｓｔ０およびＬｉｓｔ１を構成することができる。

ある例では、ビデオブロックがここに述べたイントラＢＣモードに従って符号化された場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックの予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって定義された現在のビデオブロックと同一の画像の再構成領域内にあり得る。

動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、そして、この予測情報を使用して復号化されている現在のビデオブロックの予測ブロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、このビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレームに関する１つまたは複数の参照フレームリストのための構造情報、このフレームの各インター予測符号化ビデオブロックに関する動きベクトル、このフレームの各インター予測符号化ビデオブロックに関するインター予測状態、および現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定する。

同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えば１つのフラグを使用して、現在のビデオブロックがイントラＢＣモードで予測されること、このフレームのどんなビデオブロックが再構成領域内にあり且つＤＰＢ９２に格納されるべきかに関する構造情報、このフレームにおける各イントラＢＣ予測ビデオブロックに関するブロックベクトル、このフレームにおける各イントラＢＣ予測ビデオブロックに関するイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することができる。

また、動き補償部８２は、ビデオエンコーダ２０によってビデオブロックの符号化において使用された補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素に対する補間値を算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。

逆定量化部８６は、ビデオエンコーダ２０によってこのビデオフレーム内の各ビデオブロックに対して定量化の度合いを決定するために算出された定量化パラメータと同じものを使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換処理を変換係数に適用する。

動き補償部８２またはイントラＢＣ部８５がこのベクトルおよび他の構文要素に基づいて現在のビデオブロックの予測ブロックを生成した後、加算器９０は、逆変換処理部８８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオブロックを再構成する。インループフィルタ９１は、加算器９０とＤＰＢ９２との間に配置されて、この復号化されたビデオブロックをさらに処理することが可能である。そして、所定のフレーム内の復号化されたビデオブロックは、その後の次のビデオブロックの動き補償のための参照フレームを格納するＤＰＢ９２に格納される。また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、復号化されたビデオも、その後に図１の表示装置３４などのような表示装置に表示されるために、格納されることが可能である。

典型的なビデオ符号化プロセスでは、ビデオシーケンスが、通常、順序付けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒの３つのサンプル行列が含まれている。ＳＬは、輝度サンプルの２次元行列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元行列である。他の例では、フレームがモノクロであってもよく、この場合、１つの輝度サンプルの２次元行列のみが含まれる。

図４は、本開示のある実施形態に係る、四分木プラス二分木（ＱＴＢＩ：quadtree plus binary tree）構造を示す概略図である。

ＶＶＣ、ＪＥＭ、ＨＥＶＣ、ＭＰＥＧ-４、Ｐａｒｔ１０などのような上述したビデオ符号化／復号化標準は、概念的に類似している。たとえば、それらは、すべてブロックベースの処理を使用する。一部の標準におけるブロック分割スキームについては、以下で詳しく説明する。

ＨＥＶＣは、ハイブリッドブロックベースの動き補償変換符号化方式に基づくものである。圧縮の基本単位は、符号化ツリー単位（ＣＴＵ）と呼ばれる。４：２：０彩度フォーマットについて、最大のＣＴＵサイズは、６４×６４輝度画素、および２つの３２×３２彩度画素ブロックまで定義される。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含み、または、予め定められた最小のＣＵサイズに達するまで４つのより小さなＣＵに再帰的に分割されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、１つまたは複数の予測ユニット（ＰＵ）と、１つまたは複数の変換ユニット（ＴＵ）のツリーとが含まれる。

一般に、モノクロコンテンツの以外、ＣＴＵは１つの輝度符号化ツリーブロック（ＣＴＢ）及び２つの対応する彩度ＣＴＢを含み、ＣＵは、１つの輝度符号化ブロック（ＣＢ）および２つの対応する彩度ＣＢを含み、ＰＵは、１つの輝度予測ブロック（ＰＢ）および２つの対応する彩度ＰＢを含み、ＴＵは、１つの輝度変換ブロック（ＴＢ）および２つの対応する彩度ＴＢを含み得る。ただし、最小のＴＢサイズは輝度及び彩度の両方に対して４×４であり（即ち、４：２：０カラーフォーマットでは２×２彩度ＴＢがサポートされていない）、かつ対応するイントラ輝度ＣＢ内のイントラ輝度ＰＢの数に関係なく、各イントラ彩度ＣＢには常に、１つのイントラ彩度ＰＢのみがある。

イントラＣＵでは、輝度ＣＢは１つまたは４つの輝度ＰＢによって予測でき、２つの彩度ＣＢはそれぞれ常に１つの彩度ＰＢによって予測され、ここで、各輝度ＰＢには１つのイントラ輝度予測モードがあり、２つの彩度ＰＢは１つのイントラ彩度予測モードを共有する。さらに、イントラＣＵでは、ＴＢサイズをＰＢサイズより大きくすることはできない。各ＰＢでは、イントラ予測が適用されて、隣り合う再構成のＴＢのサンプルからＰＢ内の各ＴＢのサンプルが予測される。各ＰＢについて、３３つの方向性イントラ予測モードに加えて、ＤＣモード及び平面モードもサポートされて、それぞれ平坦な領域及び徐々に変化する領域を予測する。

各インターＰＵについて、インター、スキップおよびマージのような３つの予測モードから１つを選択することができる。一般的に言えば、動きベクトル競合（ＭＶＣ）方式は、空間的および時間的動き候補を含む所定の候補セットから動き候補を選択するために導入される。動き推定への複数の参照により、２つの可能な再構成された参照画像リスト（即ち、Ｌｉｓｔ０及びＬｉｓｔ１）における最良の参照を見つけることができる。インターモード（ＡＭＶＰモードと呼ばれ、ここでＡＭＶＰは高度な動きベクトル予測を表す）では、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照インデックス、動き候補インデックス、動きベクトル差（ＭＶＤ）および予測残差が送信される。スキップモード及びマージモードについては、マージインデックスのみが送信され、現在のＰＵは、符号化されたマージインデックスによって参照される隣接ＰＵから、インター予測インジケータ、参照インデックスおよび動きベクトルを引き継ぐ。スキップ符号化されたＣＵの場合、残差信号も省略される。

共同探査試験モデル（ＪＥＭ）は、ＨＥＶＣ試験モデルの上に構築されている。ＨＥＶＣの基本的な符号化及び復号化の流れは、ＪＥＭで変更されていない。ただし、ブロック構造、イントラおよびインター予測、残基変換、ループフィルター、エントロピー符号化のモジュールを含む、最も重要なモジュールの設計要素は多少変更され、追加の符号化ツールが追加された。ＪＥＭには、次の新しい符号化特徴が含まれている。

ＨＥＶＣでは、ＣＴＵは、符号化ツリーとして示される四分木構造によってＣＵに分割され、各種なローカル特性に適応する。画像間（時間的）か画像内（空間的）予測かを使用して画像領域を符号化するの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに応じて、さらに１つ、２つ、または４つのＰＵに分割されることができる。１つのＰＵ内で、同じ予測処理が適用され、関連情報がＰＵベースでデコーダーに送信される。ＰＵ分割タイプに基づく予測処理を適用することで残差ブロックを取得した後、ＣＵの符号化ツリーと同様の別の四分木構造に従って、このＣＵを変換ユニット（ＴＵ）に分割できる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、およびＴＵを含む複数の区画概念があることである。

ＱＴＢＴ構造は、複数の区画タイプの概念を取り除き、つまり、ＣＵ、ＰＵ、およびＴＵの概念の分離を取り除き、ＣＵ区画形状のより柔軟性をサポートする。ＱＴＢＴブロック構造では、ＣＵは正方形または長方形の形状をとることができる。図４に示すように、符号化ツリーユニット（ＣＴＵ）は、最初に、四分木構造によって分割される。四分木のリーフノードは、二分木構造によってさらに分割されることができる。二分木分割には、対称水平分割及び対称垂直分割の２つの分割タイプがある。二分木のリーフノードは、符号化ユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、さらに分割されることなく、予測および変換処理に使用される。これは、ＣＵ、ＰＵ、およびＴＵがＱＴＢＴ符号化ブロック構造で同じブロックサイズを持っていることを意味する。ＪＥＭでは、ＣＵは、異なる色成分の符号化ブロック（ＣＢ）からなることがあり、たとえば、４：２：０彩度フォーマットのＰスライス及びＢスライスの場合、１つのＣＵには１つの輝度ＣＢ及び２つの彩度ＣＢが含まれる。ＪＥＭでは、ＣＵは、単一の成分のＣＢからなることもあり、たとえば、Iスライスの場合は、１つのＣＵには１つの輝度ＣＢのみが含まれる、或いは、２つの彩度ＣＢのみが含まれる。

ＱＴＢＴ区画方式については、次のパラメータが定義されている。
-ＣＴＵサイズ：四分木のルートノードサイズであって、ＨＥＶＣと同じ概念である；
-MinQTSize：四分木の最小許可リーフノードサイズ；
-MaxBTSize：二分木の最大許可ルートノードサイズ；
-MaxBTDepth：二分木の最大許可深さ；
-MinBTSize：二分木の最小許可リーフノードサイズ。

ＱＴＢＴ区画構造の一例では、ＣＴＵサイズが２つの対応する６４×６４ブロックの彩度サンプル（４：２：０彩度フォーマット）を持つ１２８×１２８輝度サンプル、MinQTSizeが１６×１６、MaxBTSizeが６４×６４、MinBTSize（幅及び高さの両方）が４×４、MaxBTDepthが４に設定されている。四分木の区画が最初にＣＴＵに適用されて、四分木のリーフノードが生成される。四分木のリーフノードは、１６×１６（即ち、MinQTSize）から１２８×１２８（即ち、ＣＴＵサイズ）までのサイズを持つことが可能である。四分木のリーフノードが１２８×１２８である場合、サイズがMaxBTSize（即ち、６４×６４）を超えるため、二分木によってさらに分割されることない。それ以外の場合、四分木のリーフノードは二分木によってさらに分割される可能である。したがって、四分木のリーフノードは二分木のルートノードでもあり、二分木の深０でのものである。二分木の深さがMaxBTDepth（即ち、４）に達すると、それ以上の分割は考慮されない。二分木のノードがMinBTSizeに等しい幅を持つと（即ち、４）、それ以上の水平分割は考慮されない。同様に、二分木ノードがMinBTSizeに等しい高さを持つと、それ以上の垂直分割は考慮されない。二分木のリーフノードは、さらに分割されることなく、予測処理および変換処理によってさらに処理される。ＪＥＭでは、最大のＣＴＵサイズは２５６×２５６輝度サンプルである。

図４は、ＱＴＢＴ方式によるブロック区画および対応するツリー表示の例を示している。実線は四分木分割を示し、点線は二分木分割を示する。図４に示すように、符号化ツリーユニット（ＣＴＵ）４００は、最初に四分木構造によって分割され、４つの四分木のリーフノード４０２、４０４、４０６、４０８のうちの３つは、四分木構造または二分木構造によってさらに分割される。例えば、四分木のリーフノード４０６は、四分木分割によってさらに分割される。四分木のリーフノード４０４は、二分木分割によってさらに２つのリーフノード４０４ａ、４０４ｂに分割される。また、四分木のリーフノード４０２も、二分木分割によってさらに分割される。二分木の各分割（即ち、非リーフ）ノードでは、使用される分割タイプ（即ち、水平または垂直）を示す１つのフラグが信号で通知され、ここで、０は水平分割を示し、１は垂直分割を示す。例えば、四分木のリーフノード４０４の場合、０は水平分割を示すように信号で通知され、四分木のリーフノード４０２の場合、１は垂直分割を示すように信号で通知される。四分木分割では、常にブロックを水平及び垂直の両方に分割して、同じサイズの４つのサブブロックを生成するため、分割タイプを指示する必要がない。

また、ＱＴＢＴ方式は、輝度及び彩度について個別のＱＴＢＴ構造を持つ能力をサポートする。現在、Ｐスライス及びＢスライスの場合、１つのＣＴＵ内の輝度ＣＴＢ及び彩度ＣＴＢは同じＱＴＢＴ構造を共有している。ただし、Ｉスライスの場合、輝度ＣＴＢは１つのＱＴＢＴ構造によってＣＵに分割され、彩度ＣＴＢは別のＱＴＢＴ構造によって彩度ＣＵに分割される。これは、Ｉスライス内のＣＵが輝度成分の符号化ブロックまたは２つの彩度成分の符号化ブロックからなり、ＰスライスまたはＢスライス内のＣＵが３つの色成分すべての符号化ブロックからなることを意味する。

共同ビデオ専門家チーム（ＪＶＥＴ）の会議において、ＪＶＥＴは、多用途ビデオ符号化（ＶＶＣ）の最初のドラフトおよびＶＶＣ試験モデル１（ＶＴＭ１）符号化方法を定義した。二値および三元分割符号化ブロック構造によるネストのマルチタイプツリーを持つ四分木は、ＶＶＣの最初の新しい符号化特徴として含まれていることと決定された。

ＶＶＣでは、画像区画構造により、入力ビデオが符号化ツリーユニット（ＣＴＵ）と呼ばれるブロックに分割される。ＣＴＵは、ネストのマルチタイプツリー構造を持つ四分木によって符号化ユニット（ＣＵ）に分割され、ここでリーフ符号化ユニット（ＣＵ）は、同じ予測モード（例えばイントラまたはインター）を共有する領域を定義している。ここで、「ユニット」という用語は、すべての成分をカバーする画像の領域を定義している。「ブロック」という用語は、特定の成分（例えば、輝度）をカバーする領域を定義するためのものであって、４：２：０などの彩度サンプリングフォーマットが考えられる場合、空間的な位置が異なることがある。
画像のＣＴＵへの区画

図５は、本開示のある実施形態に係る、ＣＴＵに分割された画像の例を示す概略図である。

ＶＶＣでは、画像は一連のＣＴＵに分割され、ここでＣＴＵの概念はＨＥＶＣのＣＴＵの概念と同じである。３つのサンプル配列がある画像の場合、ＣＴＵは、Ｎ×Ｎの輝度サンプルブロック及び２つの対応する彩度サンプルブロックからなる。図５は、ＣＴＵ５０２に分割された画像５００の例を示している。

ＣＴＵにおける輝度ブロックの最大許可サイズは１２８×１２８に指定されている（ただし、輝度変換ブロックの最大サイズは６４×６４である）。
ツリー構造によるＣＴＵの区画化

図６は、本開示のある実施形態に係る、マルチタイプツリー分割モードを示す概略図である。

ＨＥＶＣでは、ＣＴＵは、各種なローカル特性に適応するように符号化ツリーとして示される４分木構造によってＣＵに分割される。画像間（時間的）予測か画像内（空間的）予測かを使用して画像領域を符号化することは、リーフＣＵレベルで決定される。各リーフＣＵは、ＰＵ分割タイプに応じて、さらに１つ、２つ、または４つのＰＵに分割できる。１つのＰＵ内で、同じ予測処理が適用され、関連情報がＰＵベースでデコーダーに送信される。ＰＵ分割タイプに基づく予測処理を適用して残差ブロックを取得した後、リーフＣＵは、このＣＵの符号化ツリーと同様別の４分木構造に従って変換ユニット（ＴＵ）に区画できる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、およびＴＵを含む複数の区画概念があることである。

ＶＶＣでは、二値および三元分割セグメンテーション構造によるネストのマルチタイプツリーを持つ四分木は、複数の区画ユニットタイプの概念を置き換えし、つまり、ＣＵ、ＰＵ、およびＴＵの概念の分離を除去し（最大変換長のサイズが大きすぎるＣＵの場合を除く）、区画形状のより柔軟性をサポートする。符号化ツリー構造では、ＣＵは正方形または長方形の形状をとることができる。符号化ツリーユニット（ＣＴＵ）は、最初に４分木構造によって分割される。次に、この４分木のリーフノードはマルチタイプツリー構造によってさらに分割されることができる。図６に示すように、マルチタイプツリー構造には、垂直二値分割６０２（SPLIT_BT_VER）、水平二値分割６０４（SPLIT_BT_HOR）、垂直三元分割６０６（SPLIT_TT_VER）、および水平三元分割６０８（SPLIT_TT_HOR）の４つの分割タイプがある。マルチタイプツリーのリーフノードは符号化ユニット（ＣＵ）と呼ばれ、ＣＵの最大変換長が大きすぎない限り、このセグメンテーションは、それ以上区画せずに予測処理及び変換処理に使用される。これは、ほとんどの場合、ＣＵ、ＰＵ、およびＴＵが、ネストのマルチタイプツリーの符号化ブロック構造を持つ四分木で同じブロックサイズを持つことを意味する。例外として、最大変換サポート長がＣＵのカラー成分の幅または高さよりも小さい場合である。ＶＴＭ１では、ビデオがモノクロである場合、つまり１つの色成分しかない場合の以外、ＣＵは異なる色成分の符号化ブロック（ＣＢ）からなり、例えば、１つのＣＵには１つの輝度ＣＢ及び２つの彩度ＣＢが含まれる。
ＣＵの複数の予測ユニットへの区画

ＶＶＣでは、上記の構造に基づいて区画された各ＣＵについて、ブロックコンテンツの予測は、ＣＵブロック全体に対して、または以下で説明するサブブロック方式で実行できる。このような予測のオペレーション単位は、予測単位（またはＰＵ）と呼ばれる。

イントラ予測（またはイントラフレーム予測）の場合には、通常、ＰＵのサイズはＣＵのサイズと同じである。言い換えると、予測はＣＵブロック全体で実行される。インター予測（またはインターフレーム予測）の場合には、ＰＵのサイズはＣＵのサイズ以下にすることができる。言い換えると、予測のためにＣＵを複数のＰＵに分割する場合がある。

ＰＵサイズがＣＵサイズよりも小さい例には、アフィン予測モード、高度な時間レベル動きベクトル予測（ＡＴＭＶＰ）モード、および三角形予測モードなどを含む。

アフィン予測モードでは、予測のためにＣＵを複数の４×４のＰＵに分割する可能である。４×４のＰＵごとに動きベクトルを導出でき、それに応じてこの４×４のＰＵに対して動き補償を実行できる。ＡＴＭＶＰモードでは、予測のためにＣＵを１つまたは複数の８×８のＰＵに分割する可能である。８×８のＰＵごとに動きベクトルを導出し、それに応じてこの８×８のＰＵに対して動き補償を実行できる。三角形予測モードでは、ＣＵを２つの三角形形状の予測ユニットに分割する可能である。ＰＵごとに動きベクトルを導出し、それに応じて動き補償を実行する。三角形予測モードは、インター予測でサポートされている。三角形予測モードの詳細は以下のように示される。
三角形予測モード

図７は、本開示のある実施形態に係る、ＣＵを三角形予測ユニットに分割することを示す概略図である。

三角形予測モードの概念は、動き補償予測のために三角形パーティションを導入している。図７に示すように、ＣＵ７０２、７０４は、対角線方向または逆対角線方向に、２つの三角形予測ユニットＰＵ_１およびＰＵ_２に分割される（すなわち、左上隅から右下隅までに分割するか、または右上隅から左下隅までに分割するか）。ＣＵ内の各三角形予測ユニットは、単一予測候補リストから導出された自分の単一予測動きベクトル及び参照フレームインデックスを使用してインター予測される。これらの三角形予測ユニットを予測した後、対角線エッジに対して適応的な重み付け処理が実行される。次に、変換処理及び定量化処理がＣＵ全体に適用される。なお、このモードは、現在のＶＶＣのスキップモード及びマージモードにのみ適用される。図７に示すように、ＣＵは正方形のブロックとして示され、三角形予測モードは、非正方形（すなわち、長方形）の形状のＣＵにも適用され得る。

単一予測候補リストは、１つまたは複数の候補を含み、各候補は、動きベクトルであることが可能である。したがって、本開示全体では、「単一予測候補リスト」、「単一予測動きベクトル候補リスト」、および「単一予測マージリスト」という用語は、互換的に使用されることができる。
単一予測動きベクトル候補リスト

図８は、本開示のある実施形態に係る、隣り合うブロック同士の位置を示す概略図である。

ある例では、単一予測動きベクトル候補リストは、２から５つの単一予測動きベクトル候補を含むことが可能である。別のある例では、他の数も可能である。それは、隣り合うブロックから導出されるものである。単一予測動きベクトル候補リストは、図８に示すように、５つの空間的隣り合うブロック（１から５）および２つの時間的に同じ位置に配置されたブロック（６から７）を含む７つの隣り合うブロックから導出される。これらの７つの隣り合うブロックの動きベクトルは、最初のマージリストに収集される。次に、所定の順序に従って、最初のマージリストの動きベクトルに基づいて単一予測候補リストが形成される。その順序に基づいて、最初のマージリストからの単一予測動きベクトルが最初に単一予測動きベクトル候補リストに入れられ、次に双予測動きベクトルの参照画像Ｌｉｓｔ０またはＬ０動きベクトル、そして双予測動きベクトルの参照画像Ｌｉｓｔ１またはＬ１動きベクトルが続き、それで次に双予測動きベクトルのＬ０およびＬ１動きベクトルの平均動きベクトルが続けてリストされる。その時点で、候補の数がまだ目標数（現在のＶＶＣでは５）より少ない場合には、目標数を満たすためにゼロの動きベクトルがリストに追加される。

三角形ＰＵのそれぞれについては、その動きベクトルに基づいて、予測子が導出される。なお、導出された予測子は実際の三角形ＰＵよりも広い領域をカバーするため、２つの三角形ＰＵの共有対角線エッジに沿って２つの予測子の重なる領域が存在する。ＣＵの最終予測を導出するために、適応的な重み付け処理は、この２つの予測子間の対角線エッジ領域に適用される。現在、２つの重み係数セットが次のように使用されている。
-第１の重み係数セット：{7/8, 6/8, 4/8, 2/8, 1/8}および{7/8, 4/8, 1/8}が輝度サンプルおよび彩度サンプルにそれぞれ使用される;
-第２の重み係数セット：{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}および{6/8, 4/8, 2/8}が輝度サンプル及び彩度サンプルにそれぞれ使用される。

重み係数セットは、これらの２つの三角形予測ユニットの動きベクトルの比較に基づいて選択される。より具体的には、これらの２つの三角形予測ユニットの参照画像が互いに異なる場合、またはこれらの２つの三角形予測ユニットの動きベクトルの差が１６画素より大きい場合には、第２の重み係数セットは使用される。それ以外の場合には、第１の重み係数セットが使用される。図９は、本開示のある実施形態に係る、重み係数セットによる重み付けの例を示す。図９には、第１の重み係数は、輝度サンプル９０２および彩度サンプル９０４に使用される。
三角形予測モードの構文及び信号での通知

現在のＶＶＣでは、三角形予測モードは三角形予測フラグにより信号で通知される。このフラグは、ＣＵがスキップモードまたはマージモードで符号化されている場合に信号で通知される。あるＣＵについて、フラグの値が１の場合は、対応するＣＵが三角形予測モードにより符号化されたことを意味する。それ以外の場合、ＣＵは三角形予測モード以外の予測モードにより符号化された。

現在のＶＶＣ標準ドラフトによれば、三角形予測フラグは、スキップモードまたはマージモードで条件付きで信号で通知される。まず、三角形予測ツールの有効化/無効化フラグがシーケンスパラメータセット（またはＳＰＳ）で、信号で通知される。このフラグがｔｒｕｅの場合のみには、三角形予測フラグがＣＵレベルで、信号で通知される。次に、三角形予測ツールは、Ｂスライスのみで許可される。したがって、Ｂスライスのみでは、三角形予測フラグがＣＵレベルで信号で通知される。第三に、三角形予測モードは、所定のしきい値以上のサイズのＣＵのみに対して信号で通知される。ＣＵのサイズがそのしきい値よりも小さい場合には、三角形予測フラグは信号で通知されない。第四に、ＣＵがアフィン予測モード及びＡＴＭＶＰモードの両方を含むサブブロックマージモードで符号化されたことではない場合のみには、三角形予測フラグが信号で通知される。上記の４つの場合では、三角形予測フラグが信号で通知されていなければと、デコーダー側で０と推測される。ある例では、三角形予測フラグはビットストリームで明示的に信号で通知されることではない。代わりに、他のすべてのマージ関連モードが無効として信号で通知された場合、三角形予測モードは有効になっていると推定される。

現在のＶＶＣ標準ドラフトによると、三角形予測フラグが通知されば、所定のコンテキストでＣＡＢＡＣのエントロピーコーダーにより信号で通知される。コンテキストは、本開示のある実施形態に係る、三角形予測フラグを符号化復号化するためのコンテキスト導出を示す図１０に例示するように、隣接ブロックからの三角形予測フラグ値に基づいて形成される。

図１０に示すように、現在のブロック１０００（または現在のＣＵ）の三角形予測フラグを符号化復号化する（すなわち、エンコーダまたは復号化）ために、上方ブロック１００４および左側ブロック１００２（または上方ＣＵおよび左側ＣＵ）の両方からの三角形予測フラグが導出されて、それらの値が合計される。この結果、次の場合に対応する３つの可能なコンテキストが生成される。
１）左側のブロック及び上方のブロックの両方には０の三角形予測フラグがある；
２）左側のブロック及び上方のブロックの両方には１の三角形予測フラグがある；
３）それ以外の場合。

３つのコンテキストのそれぞれについて、個別の確率が維持される。現在のブロックのコンテキスト値が決定されたと、現在のブロックの三角形予測フラグは、そのコンテキスト値に対応するＣＡＢＡＣ確率モデルで符号化復号化される。

三角形予測フラグがｔｒｕｅである場合には、三角形予測モードに関連する表インデックス値がさらに信号で通知される。このインデックス値は、次の情報を導き出すことに使用されることができる。
１）三角形予測区画の方向、即ちこのブロックが左上隅から右下隅に分割されているか、右上隅から左下隅に分割されているか；
２）この２つのパーティションのそれぞれの単一予測動きベクトル候補リスト内の動きベクトル。

より具体的には、これは、例えば、表１に示すような三角形予測マージリストインデックス通知表を用いた表検索操作によって達成される。現在のＶＶＣ参照ソフトウェアＶＴＭでは、この表は、次のように定義されるサイズ４０×３の配列である。

この２次元配列には、４０行３列がある。第１列の値は区画の方向を示し、０は一方の区画の方向を示し、１はもう一方の区画の方向を示す。第２列および第３列の値は、２つのパーティション、例えば、２つの三角形パーティションのそれぞれについて、単一予測動きベクトル候補リスト内の対応する単一予測動きベクトルへのインデックス値である。前に示したように、現在のＶＶＣ標準ドラフトによれば、単一予測動きベクトル候補リストには、２から５つの単一予測動きベクトルが含まれている。インデックス値は、このリストにおけるどの動きベクトルが対応する三角形の区画に使用されるかを示す。

三角形予測モードでは、通知される表インデックス値の範囲は０～３９である。インデックス値は、復号化されると、上記の表に従って３つの数値を含むデータの行を検索するために使用されることができる。これらの３つの数値は、三角形予測区画の方向及び三角形パーティションの２つの動きベクトルのそれぞれに対する単一予測マージリストのマージリストインデックス値を表す。

現在のＶＶＣ標準ドラフトでは、三角形予測モードを拡張および／または簡略化するために、三角形ＰＵの概念は、本開示のある実施形態に係るＰＵパーティションの例を示す図１０に示すように、予測ユニットの他のパーティションに拡張される。三角形予測モードで使用される方法または概念が、２つの対角の三角形ＰＵパーティションに加えて、他のＰＵパーティションに適用されることができる。基本的に、図１０に示される所定の区画タイプについて、各パーティション（例えば、ＰＵ０およびＰＵ１）に対して２つの単一方向予測子を導出し、２つのパーティションの境界領域の周りに適応的な重み付けを適用する。例えば、三角形のＰＵに使用される方法は、水平および/または垂直のＰＵに適用できる。
通常のマージモードの動きベクトル候補リスト

現在のＶＶＣによれば、ＣＵ全体が複数のＰＵに分割されずに予測される通常のマージモードでは、動きベクトル候補リストまたはマージ候補リストは、三角形予測モードの場合とは異なる手順で作成される。

まず、本開示のある実施形態に係る空間的マージ候補の位置を示す概略図である図１２に示されるように、隣り合うブロックからの動きベクトルに基づいて、空間的動きベクトル候補を選択される。空間的マージ候補の導出において、図１２に示すような位置に配置された候補から、４つまでのマージ候補を選択する。導出の順序は、A₁ → B₁ → B₀→ A₀ → (B₂)である。位置B2は、位置A₁、B₁、B₀、A₀におけるＰＵが使用できないか、イントラ符号化復号化した場合のみに考慮される。

次に、時間的なマージ候補を導出する。時間的マージ候補の導出において、所定の参照画像リスト内の現在の画像との画像順序カウント（ＰＯＣ）の差が最小である画像に属する同じ位置に配置したＰＵに基づいて、スケーリングする動きベクトルを導出する。同じ位置に配置したＰＵの導出に使用される参照画像リストは、スライスのヘッダーで明示的に信号で通知される。時間的マージ候補のためのスケーリングする動きベクトルは、本開示のある実施形態に係る時間的マージ候補の動きベクトルスケーリングを示す図１３の点線で示されるように得られる。時間的マージ候補のためのスケーリングする動きベクトルは、ＰＯＣ距離tbおよびtdを使用して、同じ位置に配置したＰＵcol_PUの動きベクトルからスケーリングし、ここで、tbは、現在の画像の参照画像curr_refと現在の画像curr_picとの間のＰＯＣ差として定義され、tdは、同じ位置に配置した画像の参照画像col_refとこの同じ位置に配置した画像col_picとの間のＰＯＣの差として定義される。時間的マージ候補の参照画像インデックスは０に設定される。スケーリング処理の実際的な実現は、ＨＥＶＣドラフト仕様に記載されている。Ｂスライスの場合、１つの動きベクトルが参照画像Ｌｉｓｔ０のためのものとし、もう１つの動きベクトルが参照画像Ｌｉｓｔ１のためのものとしてのような２つの動きベクトルを取得し、結合して、双予測マージ候補を作成する。

図１４は、本開示のある実施形態に係る、時間的マージ候補の候補位置を示す概略図である。

同じ位置に配置されたＰＵの位置は、図１４に示すように、２つの候補位置C3及びHから選択される。位置HにおけるＰＵが使用できないか、イントラ符号化復号化したか、現在のＣＴＵの外部にある場合には、位置C3が時間的マージ候補の導出に使用される。それ以外の場合には、位置Hが時間的マージ候補の導出に使用される。

上記のように空間的動きベクトルおよび時間的動きベクトルの両方をマージ候補リストに挿入した後、履歴ベースのマージ候補を追加する。いわゆる履歴ベースのマージ候補には、個別の動きベクトルリストに保持され特定のルールに基づいて管理される以前に符号化復号化されたＣＵからの動きベクトルが含まれる。

履歴ベースの候補を挿入した後、マージ候補リストがいっぱいでない場合、このリストにペアワイズ平均動きベクトル候補をさらに追加する。その名前が示すように、このタイプの候補は、現在のリストにすでにある候補を平均化することで構成される。より具体的には、特定の順序に基づいて、毎回マージ候補リストから２つの候補をずつ取得され、この２つの候補の平均動きベクトルを現在のリストに追加する。

現在のＶＶＣによれば、次の動きベクトルのペアリング順序によって、毎回リスト内のどの２つの候補を取得して平均的な動きベクトル候補を導出することを決定する。

各括弧ペアにおける２つの値は、マージ候補リスト内の２つの動きベクトル候補のインデックス値を表する。したがって、第１の平均動きベクトル候補は、マージ候補リスト内の動きベクトル候補０および動きベクトル候補１を平均化することによって生成される。第２の平均動きベクトル候補は、マージ候補リスト内の動きベクトル候補０及び動きベクトル候補２を平均化することによって生成され、以下同様である。

ペアワイズ平均動きベクトルを挿入した後、マージ候補リストがまだいっぱいでない場合には、リストがいっぱいになるまで、ゼロ動きベクトルを追加する。
動きベクトル差（ＭＭＶＤ）/究極の動きベクトルに表現（ＵＭＶＥ）によるマージモード

究極の動きベクトル表現（ＵＭＶＥ）はＶＶＣで採用されており、参照ソフトウェアＶＴＭに統合されている。ＵＭＶＥは、後でＭＶＤによるマージモード（ＭＭＶＤ）に名前が変更された。ＭＭＶＤは、提案された動きベクトル表現方法によりスキップモードまたはマージモードに使用される。

ＭＭＶＤは、ＶＶＣと同じ方法でマージ候補を再利用する。マージ候補のうち候補を選択することができ、提案された動きベクトル表現法によってさらに拡張される。

ＭＭＶＤは、簡略化された信号による通知で新しい動きベクトル表現を提供している。この表現方法には、開始点、動きの度合い及び動きの方向が含まれる。

提案された技術は、マージ候補リストをそのまま使用している。ただし、デフォルトのマージタイプ（MRG_TYPE_DEFAULT_N）の候補のみがＭＭＶＤの拡張に使用される。

基本候補インデックス（IDX）は開始点を指定する。基本候補インデックスは、以下の表における候補のうち最良の候補を示す。

基本候補の数が１に等しい場合には、基本候補IDXは信号で通知されない。

距離インデックスは、動きの度合いの情報である。距離インデックスは、開始点からの予め定められた距離を示す。予め定められた距離は次のとおりである。

方向インデックスは、開始点に対するＭＶＤの方向を表する。方向インデックスは、以下の表に示すように４つの方向を表すことができる。

ＭＭＶＤフラグは、スキップフラグ及びマージフラグが送信された直後に信号で通知される。ＭＭＶＤフラグは、スキップフラグおよびマージフラグがtrueの場合に、解析される。ＭＭＶＤフラグが１に等しいと、ＭＭＶＤ構文が解析され、それ以外の場合、AFFINEフラグが解析される。AFFINEフラグは、１の場合、AFFINEモードを示し、それ以外の場合、スキップ/マージインデックスがVTMのスキップ/マージモードのために解析される。
インター予測とイントラ予測の組み合わせ（ＣＩＩＰ）

VTMでは、ＣＵがマージモードで符号化復号化した場合に、このＣＵに少なくとも６４の輝度サンプルが含まれている（即ち、ＣＵの幅とＣＵの高さとの積が６４以上である）と、追加のフラグが信号で通知されて、結合されたインター/イントラ予測（ＣＩＩＰ）モードを現在のＣＵに適用することを示す。

ＣＩＩＰを形成するために、最初に２つの追加の構文要素からイントラ予測モードを導出する。ＤＣ、平面、水平、または垂直のような４つまでの可能なイントラ予測モードが使用できる。次に、通常のイントラおよびインター復号化処理によって、インター予測およびイントラ予測信号を導出する。最後に、ＣＩＩＰ予測を取得するために、インター及びイントラ予測信号の加重平均化を実行する。

イントラ予測モードの導出では、ＤＣ、平面（PLANAR）、水平（HORIZONTAL）、または垂直（VERTICAL）を含む４つまでのモードを使用してＣＩＩＰモードにおける輝度成分を予測ことができる。ＣＵの形状が非常に広い場合（つまり、その幅が高さの２倍を超える場合）には、水平モードが許可されない。ＣＵの形状が非常に狭い場合（つまり、その高さが幅の２倍を超える場合）には、垂直モードが許可されない。これらの場合には、３つのイントラ予測モードのみが許可される。

ＣＩＩＰモードは、イントラ予測に３つの最も可能性の高いモード（ＭＰＭ）を使用する。ＣＩＩＰ ＭＰＭ候補リストは次のように形成される。

左側及び上方の隣接ブロックを、それぞれＡ及びＢとする。

それぞれintraModeAおよびintraModeBとして示されるブロックＡおよびブロックＢのイントラ予測モードは、次のように導出される。
i.ＸをＡまたはＢとする；
ii.１）ブロックＸが使用できない；または２）ブロックＸがＣＩＩＰモードまたはイントラモードによって予測されない；３）ブロックＢが現在のＣＴＵの外部にあると、intraModeXはＤＣに設定される；
iii.それ以外の場合、intraModeXは、１）ブロックＸのイントラ予測モードがＤＣまたは平面の場合に、ＤＣまたは平面に設定される；または２）ブロックＸのイントラ予測モードが「垂直に似ている」角度モード（３４より大きい）の場合に、垂直に設定される、または３）ブロックＸのイントラ予測モードが「水平に似ている」角度モード（３４以下）である場合に、水平に設定される;

intraModeAとintraModeBとが同じであれば：
i.intraModeAが平面またはＤＣの場合には、３つのＭＰＭが順番に{平面、ＤＣ、垂直}に設定される；
ii.それ以外の場合には、この３つのＭＰＭが順番に{intraModeA、平面、ＤＣ}に設定される；

それ以外の場合には（intraModeAとintraModeBとは異なる）：
i.最初の２つのＭＰＭは、順番に{intraModeA、intraModeB}に設定される；
ii. 最初の２つのＭＰＭ候補モードに対して平面、ＤＣ、および垂直の一意性をこの順序で確認する；一意のモードが発見されると、３番目のＭＰＭとして追加される。

ＣＵの形状が以上で定義したように非常に広いか非常に狭いと、ＭＰＭフラグは信号で通知されなくで１と推測される。それ以外の場合には、ＭＰＭフラグが信号で通知されて、ＣＩＩＰイントラ予測モードがＣＩＩＰ ＭＰＭ候補モードのうちの１つであるかどうかを示す。

ＭＰＭフラグが１であると、ＭＰＭインデックスをさらに信号で通知して、ＭＰＭ候補モードのうちのどちらがＣＩＩＰイントラ予測で使用されるかを示す。それ以外の場合、ＭＰＭフラグが０であると、イントラ予測モードはＭＰＭ候補リストにおける「欠落」モードに設定する。例えば、平面モードがＭＰＭ候補リストになければ、平面モードは欠落モードであるため、イントラ予測モードは平面に設定される。ＣＩＩＰでは、４つの可能なイントラ予測モードが許可されており、ＭＰＭ候補リストには３つのイントラ予測モードしか含まれていないため、この４つの可能なモードのうちの１つが欠落モードである必要がある。

彩度成分の場合、ＤＭモードは常に追加の信号による通知なしで適用され、つまり、彩度は輝度と同じ予測モードを使用する。この例では、彩度イントラ予測モードは、輝度成分のためのイントラ予測モードを直接再利用する。したがって、導出モードまたはＤＭモードと呼ばれる。

ＣＩＩＰ符号化されたＣＵのイントラ予測モードは保存され、将来の隣接ＣＵのイントラモード符号化復号化に使用される。

インター予測信号及びイントラ予測信号を組み合わせるために、通常のマージモードに適用されるインター予測処理と同じ処理によってＣＩＩＰモードにおけるインター予測信号P_interを導出する；通常のイントラ予測処理に従うＣＩＩＰイントラ予測モードによってイントラ予測信号P_intraを導出する。次に、以下のように、加重平均によってイントラ予測信号とインター予測信号とを結合し、ここで、重み値がイントラ予測モードに依存し、サンプルが符号化ブロック内にある。

イントラ予測モードがＤＣモードまたは平面モードであれば、またはブロックの幅または高さが４より小さいであれば、イントラ予測信号及びインター予測信号に等しい重みを適用する。

それ以外の場合、重みは、イントラ予測モード（水平モードまたは垂直モード）及びブロック内のサンプル位置に基づいて決定されたものである。水平予測モードを例とし（垂直モードのための重みの導出が同様であるが、直交方向になる）、Ｗをブロックの幅、Ｈをブロックの高さとすると、まず、符号化ブロックは、それぞれが（Ｗ/４）×Ｈのサイズを持つ４つの等面積部分に分割される。イントラ予測参照サンプルに最も近い部分から始まり、イントラ予測参照サンプルから最も遠い部分で終わり、この４つの部分または領域のそれぞれの重みwtがそれぞれ６、５、３および２に設定される。以下の式によって、最終的なＣＩＩＰ予測信号を導き出す。

以上で説明したように、三角形予測マージリストインデックスは、４０×３サイズの予め定義された表１に基づいて信号で通知される。この表の最初の列は三角形区画の方向を示し、２番目及び３番目の列は、ＣＵの２つの三角形予測ユニットのそれぞれのための単一予測動きベクトル候補リスト内の動きベクトル候補のインデックス値を示す。この表は、エンコーダー側及びデコーダー側の両方に格納される必要がある。本開示のある例では、この表のサイズを縮小することができることが提案されている。
三角形区画の方向及びマージリストインデックスの別個の信号による通知

三角形予測マージリストインデックの信号による通知のためにＶＶＣで定義されている現在の表１は、データ訓練により導出できる。この表では、三角形区画の方向及びマージリストインデックスが信号による通知のためにグループ化されている。理論的には、一方の三角形区画の方向が、もう一方の三角形区画の方向よりも常に使用される可能性が高いとは考えられない。したがって、本開示に基づいて、三角形区画の方向の信号による通知は、マージリストインデックスの信号による通知から分離し得る。

より具体的には、本開示によれば、三角形予測モードで、例えば、区画方向フラグまたは三角形区画方向フラグと呼ばれる個別のフラグが、２つの三角形区画方向のどちらが使用されるかを示すために信号で通知され得る。単一予測マージリストまたは単一予測動きベクトル候補リストにおける選択されたエントリを示す２つのマージリストインデックス値は、それぞれが１つの三角形パーティションのためのものであって、表インデックス値として一緒に信号で通知される。

例えば、以下の２０×２サイズの表５は、これらの２つの三角形予測ユニットのマージリストインデックス値の信号による通知に使用できる。この場合、どちらのマージリストインデックス値がこれらの２つの三角形パーティションのそれぞれに使用されるかを示すために、０から１９の範囲で表インデックス値を通知することができる。
表２.簡略化された三角形予測マージリストインデックスの信号による通知
g_triangleCombination[20][2] = {
{ 0, 1 }, { 1, 0 }, { 0, 2 }, { 2, 0 }, { 1, 2 },
{ 2, 1 }, { 0, 3 }, { 3, 0 }, { 1, 3 }, { 3, 1 },
{ 0, 4 }, { 4, 0 }, { 2, 3 }, { 3, 2 }, { 1, 4 },
{ 4, 1 }, { 2, 4 }, { 4, 2 }, { 3, 4 }, { 4, 3 }
}。

なお、上記の表は一例に過ぎない。他の組み合わせ順序が使用されてもよい。

なお、三角形区画方向フラグ及び表インデックス値（マージリストインデックスの組み合わせを示す）の信号による通知の順序も変更してもよい。言い換えると、三角形区画方向フラグは、表インデックス値の前、または表インデックス値の後に信号で通知されてもよい。

本開示の別の例によれば、三角形区画方向フラグは、値が０である確率と値が１である確率と等しい（すなわち、５０％の確率）という仮定で簡単に符号化できる。つまり、このフラグは常にＣＡＢＡＣバイパスビン（bypass bin）として符号化されることが可能である。

したがって、ある例では、この方法は、ビデオ画像を複数の符号化ユニット（ＣＵ）に区画し、この複数の符号化ユニットのうちの少なくとも１つは、さらに左上隅から右下隅へおよび右上隅から左下隅への区画方向の１つにおける少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に分けられる；単一予測動きベクトル候補リストを構成する；符号化された情報に従って、現在のＣＵを三角形予測モードに符号化するかどうかを決定する；区画の方向を示す区画方向フラグを信号で通知する；構成された単一予測動きベクトル候補リスト内の選択されたエントリを示すインデックス値を信号で通知することを含む。
マージインデックス値の区画マッピングへの個別の信号による通知

本開示の別の例によれば、メモリ要件をさらに減らすために、三角形予測モードでは、例えばマッピングフラグと呼ばれる追加のフラグが、インデックス値がどのように２つの三角形のパーティションに割り当てられるか、または２つのインデックス値と２つの三角形のパーティションとの間のマッピング方式を示すように信号で通知されることが可能である。

より具体的には、この方法は、表５に示すデータに対称性があるという事実に基づくものである。例えば、この表における最初の２行{0, 1}及び{1, 0}を注目すると、これらの２行は、２つの三角形のパーティションに割り当てられた単一予測マージリスト内の２つの同じ動きベクトルを表すが、対応性が異なる。{0, 1}は、マージリストにおける最初の動きベクトル候補が第１のパーティションに割り当てられ、そのマージリストにおける２番目の動きベクトル候補が２番目のパーティションに割り当てられることを示す。{1, 0}は、マージリストにおける２番目の動きベクトル候補が第１のパーティションに割り当てられ、そのリストにおける最初の動きベクトル候補が２番目のパーティションに割り当てられることを示す。本開示の例によれば、これらの２つの場合は、両方とも{0, 1}によって、これらの２つの場合を区別するのためのマッピングフラグとともに、信号で通知されることができる。
表３.さらに簡略化された三角形予測マージリストインデックスの信号による通知
g_triangleCombination[10][2] = {
{ 0, 1 }, { 0, 2 }, { 1, 2 }, { 0, 3 }, { 1, 3 },
{ 0, 4 }, { 2, 3 }, { 1, 4 },{ 2, 4 }, { 3, 4 },
}。

上記の例示に基づいて、この表は、さらに１０×２サイズの表６として簡略化されることが可能である。この場合、０から９の範囲の表インデックス値が信号で通知されて、どのマージリストインデックス値が２つの三角形のパーティションに使用されるか示す。表インデックス値とともに、１つのマッピングフラグは信号で通知される。例えば、表インデックス値０が信号で通知されたと、マージリストにおける１番目及び２番目の動きベクトル候補が使用されることを意味する{0, 1}を示す。マッピングフラグが０の場合、マージリストにおける１番目の動きベクトル候補が１番目のパーティションに割り当てられ、そのリストの２番目の動きベクトル候補が２番目のパーティションに割り当てられていることを示していることが可能である。それ以外の場合、マッピングフラグが１であると、マージリストにおける２番目の動きベクトル候補が１番目のパーティションに割り当てられ、そのリストの１番目の動きベクトル候補が２番目のパーティションに割り当てられていることを示していることが可能である。

なお、上記の表は一例に過ぎない。他の組み合わせ順序を使用されてもよい。

なお、マッピングフラグ及び表インデックス値（マージリストインデックスの組み合わせを示す）の信号による通知の順序も変更してもよい。言い換えると、マッピングフラグは、表インデックス値の前、または表インデックス値の後に信号で通知されてもよい。

本開示の別の例によれば、マッピングフラグは、値が０である確率と値が１である確率と等しい（すなわち、５０％の確率）という仮定で簡単に符号化できる。つまり、このフラグは常にＣＡＢＡＣバイパスビン（bypass bin）として符号化されることが可能である。
ペアワイズ平均動きベクトルとのマージリストインデックス組み合わせ表の共有

前に説明したように、通常のマージモード動きベクトル候補リストの生成処理中に、動きベクトルのペアリング順序は、ペアワイズ平均動きベクトルを生成するときに使用される。例に示す動きベクトルのペアリング順序は次のとおりである。

本開示の別の例によれば、１つの表のみを定義することが可能であり、この表は、ａ）通常モードのペアワイズ平均動きベクトルの生成、およびｂ）三角形予測モードマージリストインデックスの信号による通知の両方に対して共有されることが可能である。

例えば、表６は、通常モードのペアワイズ平均動きベクトルの生成にも使用されるように、さらに以下の表７に変更されることが可能である。
表４.共有のインデックス組み合わせ
g_triangleCombination[10][2] = {
{ 0, 1 }, { 0, 2 }, { 1, 2 }, { 0, 3 }, { 1, 3 },
{ 2, 3 }, { 0, 4 }, { 1, 4 },{ 2, 4 }, { 3, 4 },
}。

なお、上記の表７の最初の６つのエントリは、前に示した動きベクトルのペアリング順序と同じである。したがって、この６つの連続するエントリは共有部分と見なすことができる。

前述のように別の態様では、現在のＶＶＣ標準ドラフトによれば、三角形予測フラグは、隣り合うブロックの三角形予測フラグ値から導出されたコンテキストに基づいて符号化復号化される。ただし、実際のビデオコンテンツでは、三角形予測モードの選択に関して、隣り合うブロック間の相関が高くない場合がある。三角形予測フラグを符号化復号化することについて、コンテキストを形成するある別の方法が提案されている。

現在のビデオ符号化復号化標準でＣＩＩＰモードを選択している場合、三角形予測モードは通常使用されない。ＣＵについてＣＩＩＰモードが選択されているかどうかに関わらず、現在のＣＵの三角形予測フラグを常に信号で通知することは効率的ではない。

さらに、現在のＶＶＣ標準ドラフトによれば、ＭＭＶＤフラグがｔｒｕｅであるかどうかに関わらず、三角形予測フラグが信号で通知される。ＭＭＶＤモードを三角形予測モードと一緒に使用しない場合には、符号化効率を向上させるように信号による通知を相互に排他的にすることもできる。
異なるコンテキストによる三角形予測フラグの符号化復号化

本開示のある例によれば、現在のＣＵについて三角形予測フラグを符号化復号化（符号化または復号化）する必要がある場合には、コンテキストは、ＣＡＢＡＣ符号化復号化のために現在のＶＶＣ標準ドラフトとは異なって導出されることが可能である。

本開示のある例では、コンテキストは、ＣＵ領域サイズ（即ち、ＣＵ高さの値にＣＵ幅の値を掛けたもの）に基づいて導出される。つまり、同じサイズのＣＵが同じコンテキストを共有することができる。

本開示の他のある例では、コンテキストは、ＣＵ形状（即ち、ＣＵ幅に対するＣＵ高さの比率）に基づいて形成される。例えば、水平方向の長方形のＣＵ（即ち、ＣＵの幅がＣＵの高さよりも大きいもの）は第１のコンテキストを共有し、垂直方向の長方形のＣＵ（即ち、ＣＵの高さはＣＵの幅よりも大きいもの）は第２のコンテキストを共有し、正方形のＣＵ（即ち、ＣＵの高さがＣＵの幅に等しいもの）は、第３のコンテキストを共有することができる。

別の例では、水平方向または垂直方向に関わらず、短側に対する長側の比率が近似する長方形のＣＵは１つのコンテキストを共有し、正方形のＣＵは別のコンテキストを共有する。この場合には、それぞれが、ＣＵ短側に対するＣＵ長側の異なる比率、および／またはＣＵ短側に対するＣＵ長側の異なる範囲の比率に対応する複数のコンテキストを使用することができる。例えば、ＣＵの短側に対するＣＵの長側の比率が４より大きいＣＵのための第１のコンテキスト、ＣＵの短側に対するＣＵの長側の比率が２より大きく４より小さいＣＵのための第２のコンテキスト、ＣＵの短側に対するＣＵの長側の比率が１．５より大きく２より小さいＣＵのための第３のコンテキスト、ＣＵの短側に対するＣＵの長側の比率が１より大きく１．５より小さいＣＵのための第４のコンテキスト、及び正方形のＣＵのための第５のコンテキストがある。他の実施の形態も可能である。

本開示のさらに別の例によれば、三角形予測フラグは、ＣＵパラメータおよび／または条件に関わらず、常に１つの共通のコンテキストを使用して符号化復号化される。
ＣＩＩＰフラグに関する三角形予測フラグの符号化復号化

本開示のある例によれば、ＣＵに関してＣＩＩＰ予測モードが選択されている場合、三角形予測フラグは、このＣＵに関して符号化復号化されないことが可能である。したがって、ＣＵに関してＣＩＩＰ予測モードが選択されていない場合にのみ、三角形予測フラグがこのＣＵに関して信号で通知されることができる。三角予測フラグが信号で通知されなかた場合には、デコーダ側で０と推定することが可能である。
ＭＭＶＤフラグに関する三角形予測フラグの符号化復号化

本開示の他のある例によれば、ＣＵに関してＭＭＶＤ予測モードが選択されている場合、三角形予測フラグは、このＣＵに関して符号化復号化されないことが可能である。したがって、ＣＵに関してＭＭＶＤ予測モードが選択されていない場合にのみ、三角形予測フラグがこのＣＵに関して信号で通知されることができる。三角予測フラグが信号で通知されなかた場合、デコーダ側で０と推定することが可能である。
三角形予測ユニットの上でＭＭＶＤ予測の有効化

本開示のさらに別のある例によれば、三角形予測ユニットの上では、ＭＭＶＤ予測モードを有効にすることができる。この場合、ＣＵに関してＭＭＶＤ予測モードが選択されていても、三角形予測ユニットが使用されていることを示すように、三角形予測フラグが追加的に信号で通知される。ＭＭＶＤ予測モード及び三角形予測モードの両方がＣＵに関してｔｒｕｅである場合、ＭＭＶＤモードでのＭＶＤ関連構文は、２つの三角形予測ユニットのそれぞれについて追加的に信号で通知されることが可能である。

図１５は、本開示のある実施形態に係る、ビデオ符号化復号化のための装置を示すブロック図である。装置１５００は、携帯電話、タブレットコンピュータ、デジタル放送端末、タブレット装置、または携帯情報端末などの端末であってもよい。

装置１５００は、図１５に示されるように、処理部１５０２、メモリ１５０４、電源部１５０６、マルチメディア部１５０８、オーディオ部１５１０、入力／出力（Ｉ／Ｏ）インターフェース１５１２、センサ部１５１４、および通信部１５１６のうちの１つ以上を含んでもよい。

処理部１５０２は、通常に、表示、電話発呼、データ通信、カメラ操作、および記録操作に関連する操作など、装置１５００の全体的な操作を制御する。処理部１５０２は、上記の方法のステップの全部または一部を実現するための命令を実行するための１つまたは複数のプロセッサ１５２０を含むことが可能である。さらに、処理部１５０２は、処理部１５０２と他の部材との間のインタラクションに寄与する１つまたは複数のモジュールを含むことが可能である。例えば、処理部１５０２は、マルチメディア部１５０８と処理部１５０２との間のインタラクションに寄与するためのマルチメディアモジュールを含んでもよい。

メモリ１５０４は、装置１５００の動作をサポートするために異なるタイプのデータを格納するように構成される。そのようなデータの例には、装置１５００上で動作する任意のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどが含まれる。メモリ１５０４は、任意のタイプの揮発性または非揮発性の記憶装置またはそれらの組み合わせによって実現され、メモリ１５０４は、静的ランダムアクセスメモリ（ＳＲＡＭ：Static Random Access Memory）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read-Only Memory）、消去型プログラマブルリードオンリメモリ（ＥＰＲＯＭ：Erasable Programmable Read-Only Memory）、プログラマブルリードオンリメモリ（ＰＲＯＭ：Programmable Read-Only Memory）、リードオンリメモリ（ＲＯＭ：Read-Only Memory）、磁気メモリ、フラッシュメモリ、磁気ディスク、またはコンパクトディスクであってもよい。

電源部１５０６は、装置１５００の各部材に電力を供給する。電源部１５０６は、電源管理システム、１つまたは複数の電源、および装置１５００に電力を生成、管理、および分配に関連する他の部材を含んでもよい。

マルチメディア部１５０８は、装置１５００とユーザとの間の出力インターフェースを提供するスクリーンを含む。ある例では、スクリーンには、ＬＣＤおよびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。このタッチパネルは、このタッチパネル上のタッチ、スライド、およびジェスチャを感知するための１つまたは複数のタッチセンサーを含んでもよい。タッチセンサーは、タッチまたはスライド動作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧力も検出することができる。ある例では、マルチメディア部１５０８は、フロントカメラおよび／またはリアカメラを含んでもよい。装置１５００が撮像モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部マルチメディアデータを受信することができる。

オーディオ部１５１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオ部１５１０は、マイクロフォン（ＭＩＣ）を含む。マイクロフォンは、装置１５００が通話モード、録音モード、および音声認識モードなどの動作モードにあるとき、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ１５０４にさらに格納されてよく、または通信部１５１６を介して送信されてもよい。ある例では、オーディオ部１５１０は、オーディオ信号を出力するためのスピーカーをさらに含む。

Ｉ／Ｏインターフェース１５１２は、処理部１５０２と周辺インターフェースモジュールとの間のインターフェースを提供する。上述の周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンには、ホームボタン、音量ボタン、スタートボタン、およびロックボタンが含まれるが、これらに限定されない。

センサ部１５１４は、装置１５００の異なる態様で状態評価を提供するための１つまたは複数のセンサを含む。例えば、センサ部１５１４は、装置１５００のオン／オフ状態および構成要素の相対位置を検出することができる。例えば、構成要素は、装置１５００のディスプレイおよびキーパッドである。センサ部１５１４はまた、装置１５００または装置１５００の構成要素の位置変化、装置１５００上でのユーザの接触の有無、装置１５００の向きまたは加速／減速、および装置１５００の温度変化を検出することができる。センサ部１５１４は、物理的な接触なしに近くの物体の存在を検出するように構成される近接センサを含んでもよい。センサ部１５１４は、画像化アプリケーションで使用されるＣＭＯＳまたはＣＣＤ画像センサなどの光学センサをさらに含んでもよい。ある例では、センサー部１５１４は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー、または温度センサーをさらに含んでもよい。

通信部１５１６は、装置１５００と他の装置との間の有線または無線通信に役立つように構成される。装置１５００は、ＷｉＦｉ、４Ｇ、またはそれらの組み合わせなどの通信標準に基づいて無線ネットワークにアクセスすることができる。一例では、通信部１５１６は、報知チャネルを介して外部報知管理システムから報知信号または報知関連情報を受信する。一例では、通信部１５１６は、短距離通信を促進するための近距離無線通信（ＮＦＣ）モジュールをさらに含んでもよい。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ関連付け（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術に基づいて実現してもよい。

一例では、装置１５００は、上記の方法を実行するための特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子要素の１つまたは複数によって実現してもよい。

非一時的なコンピュータ読取可能な記憶媒体は、例えば、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、フラッシュメモリ、ハイブリッドドライブや固体ハイブリッドドライブ（ＳＳＨＤ）、読み出し専用メモリ（ＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ―ＲＯＭ）、磁気テープ、フロッピーディスクなどである。

図１６は、本開示のある実施形態に係る、三角形予測による動き補償予測のためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。

ステップ１６０２において、プロセッサ１５２０は、ビデオ画像を、少なくとも１つがさらに左上隅から右下隅７０２までおよび右上隅から左下隅７０４までの区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画する。ステップ１６０４において、プロセッサ１５２０は、単一予測運動ベクトル候補リストを構成する。ステップ１６０６において、プロセッサ１５２０は、現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化されているかどうかを決定する。ステップ１６０８において、プロセッサ１５２０は、区画方向を示す区画方向フラグを信号で通知する。ステップ１６１０において、プロセッサ１５２０は、構成された単一予測動きベクトル候補リスト内の選択されたエントリを示すインデックス値を信号で通知する。

図１７は、本開示のある実施形態に係る、三角形予測フラグのためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。

ステップ１７０２において、プロセッサ１５２０は、ビデオ画像を、少なくとも１つがさらに少なくとも１つの三角形の予測ユニット（ＰＵ）を含む２つのＰＵに区画される複数の符号化ユニット（ＣＵ）に区画する。

ステップ１７０４において、プロセッサ１５２０は、現在のＣＵに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうかを決定する。

ステップ１７０６において、プロセッサ１５２０は、現在のＣＵに関して三角形予測フラグが復号化されるべきであると決定したと、ＣＡＢＡＣによってこの三角形予測フラグを導出する。

三角形予測フラグのためのＣＡＢＡＣのコンテキストは、ＣＵの領域サイズ、ＣＵの形状及び共通のコンテキストからなるグループから選択された少なくとも１つに基づいて導出される。

ある例では、ビデオ符号化復号化のための装置が提供される。この装置は、プロセッサ１５２０と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ１５０４と、を含む。ここで、このプロセッサは、命令の実行時に、図１６に示すような方法または図１７に示すような方法を実行するように構成される。

他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体１５０４が提供される。これらの命令は、プロセッサ１５２０によって実行されると、このプロセッサに、図１６に示すような方法又は図１７に示すような方法を実行させる。

本開示の説明は、例示の便利のために提示されており、網羅的なまたは開示された形態の発明に限定することを意図するものではない。各種の変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。

実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できるようにするために選択されおよび説明されたものである。したがって、本開示の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、本開示の範囲に含まれることを理解されるべきである。

図３は、本開示のある実施形態に係るビデオデコーダ３０を例示するブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測部８４、イントラＢＣ部８５及びイントラ/インターモート選択部８７をさらに備える。ビデオデコーダ３０は、図２に参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。

ある例では、ビデオデコーダ３０内の一つの構成要素が本開示の実施を実行することを担当してもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０内の１つまたは複数の構成要素に分割されてもよい。例えば、イントラＢＣ部８５は、本開示の実施を単独で実現してもよく、または動き補償部８２、イントラ予測部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０は、イントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２などの予測処理部８１における他の構成要素によって実現されてもよい。

ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化された場合、または他のタイプのフレームのイントラ符号化予測ブロックに用いられる場合には、予測処理部８１におけるイントラ予測部８４は、通知されたイントラ予測モードと、現在のフレームからの以前復号化されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックの予測データを生成することができる。

また、ＱＴＢＴ方式は、輝度及び彩度について個別のＱＴＢＴ構造を持つ能力をサポートする。現在、Ｐスライス及びＢスライスの場合、１つのＣＴＵ内の輝度ＣＴＢ及び彩度ＣＴＢは同じＱＴＢＴ構造を共有している。ただし、Ｉスライスの場合、輝度ＣＴＢは１つのＱＴＢＴ構造によって輝度ＣＵに分割され、彩度ＣＴＢは別のＱＴＢＴ構造によって彩度ＣＵに分割される。これは、Ｉスライス内のＣＵが輝度成分の符号化ブロックまたは２つの彩度成分の符号化ブロックからなり、ＰスライスまたはＢスライス内のＣＵが３つの色成分すべての符号化ブロックからなることを意味する。

重み係数セットは、これらの２つの三角形予測ユニットの動きベクトルの比較に基づいて選択される。より具体的には、これらの２つの三角形予測ユニットの参照画像が互いに異なる場合、またはこれらの２つの三角形予測ユニットの動きベクトルの差が１６画素より大きい場合には、第２の重み係数セットは使用される。それ以外の場合には、第１の重み係数セットが使用される。図９は、本開示のある実施形態に係る、重み係数セットによる重み付けの例を示す。図９には、第１の重み係数セットは、輝度サンプル９０２および彩度サンプル９０４に使用される。
三角形予測モードの構文及び信号での通知

図１０に示すように、現在のブロック１０００（または現在のＣＵ）の三角形予測フラグを符号化復号化する（すなわち、符号化または復号化）ために、上方ブロック１００４および左側ブロック１００２（または上方ＣＵおよび左側ＣＵ）の両方からの三角形予測フラグが導出されて、それらの値が合計される。この結果、次の場合に対応する３つの可能なコンテキストが生成される。
１）左側のブロック及び上方のブロックの両方には０の三角形予測フラグがある；
２）左側のブロック及び上方のブロックの両方には１の三角形予測フラグがある；
３）それ以外の場合。

現在のＶＶＣ標準ドラフトでは、三角形予測モードを拡張および／または簡略化するために、三角形ＰＵの概念は、本開示のある実施形態に係るＰＵパーティションの例を示す図１１に示すように、予測ユニットの他のパーティションに拡張される。三角形予測モードで使用される方法または概念が、２つの対角の三角形ＰＵパーティションに加えて、他のＰＵパーティションに適用されることができる。基本的に、図１１に示される所定の区画タイプについて、各パーティション（例えば、ＰＵ０およびＰＵ１）に対して２つの単一方向予測子を導出し、２つのパーティションの境界領域の周りに適応的な重み付けを適用する。例えば、三角形のＰＵに使用される方法は、水平および/または垂直のＰＵに適用できる。
通常のマージモードの動きベクトル候補リスト

それぞれintraModeAおよびintraModeBとして示されるブロックＡおよびブロックＢのイントラ予測モードは、次のように導出される。
i.ＸをＡまたはＢとする；
ii.１）ブロックＸが使用できない；または２）ブロックＸがＣＩＩＰモードまたはイントラモードによって予測されない；３）ブロックＸが現在のＣＴＵの外部にあると、intraModeXはＤＣに設定される；
iii.それ以外の場合、intraModeXは、１）ブロックＸのイントラ予測モードがＤＣまたは平面の場合に、ＤＣまたは平面に設定される；または２）ブロックＸのイントラ予測モードが「垂直に似ている」角度モード（３４より大きい）の場合に、垂直に設定される、または３）ブロックＸのイントラ予測モードが「水平に似ている」角度モード（３４以下）である場合に、水平に設定される;

したがって、ある例では、この方法は、ビデオ画像を複数の符号化ユニット（ＣＵ）に区画し、この複数の符号化ユニットのうちの少なくとも１つは、さらに左上隅から右下隅へおよび右上隅から左下隅への区画方向の１つにおける少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に分けられる；単一予測動きベクトル候補リストを構成する；符号化された情報に従って、現在のＣＵを三角形予測モードに符号化するかどうかを決定する；区画の方向を示す区画方向フラグを信号で通知する；構成された単一予測動きベクトル候補リスト内の選択されたエントリを示すインデックス値を信号で通知することを含む。
マージインデックス値及び区画マッピングの個別の信号による通知

Claims (14)

1. ビデオ画像を、少なくとも１つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画することと、
   単一予測運動ベクトル候補リストを構成することと、
   現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化されるかどうかを決定することと、
   前記区画方向を示す区画方向フラグを信号で通知することと、
   構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知することと、
   を含むビデオ符号化復号化のための方法。
2. 前記単一予測動きベクトル候補リストには、２から５つの単一予測動きベクトル候補を含む、請求項１に記載の方法。
3. 前記区画方向フラグは、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）バイパスビンとして符号化された、請求項１に記載の方法。
4. 前記現在のＣＵの前記三角形予測モードは、すべての他のマージ関連モードが無効として通知されたとの決定に基いて、有効になっていると推定される、請求項１に記載の方法。
5. ビデオ画像を、少なくとも１つがさらに少なくとも１つの三角形の予測ユニット（ＰＵ）を含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画することと、
   現在のＣＵに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうかを決定することと、
   前記現在のＣＵに関して前記三角形予測フラグが復号化されるべきであると決定したと、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）によって前記三角形予測フラグを導出することと、
   を含み、
   前記三角形予測フラグのためのＣＡＢＡＣのコンテキストは、ＣＵの領域サイズ、ＣＵの形状及び共通のコンテキストからなるグループから選択された少なくとも１つに基づいて導出される、ビデオ符号化復号化のための方法。
6. 前記三角形予測フラグが復号化されるべきかどうかを決定することは、
   前記現在のＣＵに関して結合されたインター及びイントラ予測（ＣＩＩＰ）モードが選択されたかどうかを決定することと、
   前記現在のＣＵに関して動きベクトル差によるマージモード（ＭＭＶＤ）予測モードが選択されたかどうかを決定することと、ことと、
   からなるグループから選択された少なくとも１つを含む、請求項５に記載の方法。
7. 前記現在のＣＵに関してＭＭＶＤ予測モード及び三角形予測モードの両方が選択されたと決定したと、前記２つのＰＵのそれぞれに関して動きベクトル差（ＭＶＤ）関連構文を信号で通知すること、
   をさらに含む、請求項５に記載の方法。
8. プロセッサと、
   前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、
   を含み、
   前記プロセッサは、前記命令を実行すると、
   ビデオ画像を、少なくとも１つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの１つを有する少なくとも１つの三角形のＰＵを含む２つの予測ユニット（ＰＵ）に区画される複数の符号化ユニット（ＣＵ）に区画し、
   単一予測運動ベクトル候補リストを構成し、
   現在のＣＵが、符号化された情報に従って、三角形予測モードとして符号化されるかどうかを決定し、
   前記区画方向を示す区画方向フラグを信号で通知し、
   構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知する、
   のような操作を実行するように構成されるビデオ符号化復号化のための装置。
9. 前記単一予測動きベクトル候補リストには、２から５つの単一予測動きベクトル候補を含む、請求項８に記載の装置。
10. 前記区画方向フラグは、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）バイパスビンとして符号化された、請求項８に記載の装置。
11. 前記現在のＣＵの前記三角形予測モードは、すべての他のマージ関連モードが無効として信号で通知されたとの決定に基いて、有効になっていると推定される、請求項８に記載の装置。
12. プロセッサと、
    前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、
    を含み、
    前記プロセッサは、前記命令を実行すると、
    ビデオ画像を、少なくとも１つがさらに少なくとも１つの三角形の予測ユニット（ＰＵ）を含む２つの予測ユニットＰＵに区画される複数の符号化ユニット（ＣＵ）に区画し、
    現在のＣＵに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうかを決定し、
    前記現在のＣＵに関して前記三角形予測フラグが復号化されるべきであると決定したと、コンテキストベース適応型バイナリー算術符号化（ＣＡＢＡＣ）によって前記三角形予測フラグを導出する、
    のような操作を実行し、
    前記三角形予測フラグのためのＣＡＢＡＣのコンテキストは、ＣＵの領域サイズ、ＣＵの形状及び共通のコンテキストからなるグループから選択された少なくとも１つに基づいて導出されるように構成される、ビデオ符号化復号化のための装置。
13. 前記プロセッサは、さらに
    前記現在のＣＵに関して結合されたインター及びイントラ予測（ＣＩＩＰ）モードが選択されたかどうかを決定し、及び
    前記現在のＣＵに関して動きベクトル差によるマージモード（ＭＭＶＤ）予測モードが選択されたかどうかを決定する、
    のような操作を実行するように構成される、請求項１２に記載の装置。
14. 前記プロセッサは、さらに
    前記現在のＣＵに関してＭＭＶＤ予測モード及び三角形予測モードの両方が選択されたと決定したと、前記２つのＰＵのそれぞれに関して動きベクトル差（ＭＶＤ）関連構文を信号で通知する、
    のような操作を実行するように構成される、請求項１２に記載の装置。

Images