JP2022526400A - ビデオコーディングのための方法および装置 - Google Patents

Abstract

本開示の態様は、処理回路を備える装置およびビデオデコードのための方法を提供する。前記処理回路は、符号化されたビデオビットストリームから、再構築されるべきブロックのコーディング情報をデコードする。前記コーディング情報は、前記ブロックのイントラ予測情報を示す。方向性モードで符号化された前記ブロックに対して、前記処理回路は、公称モードおよび角度オフセットに基づいて、前記方向性モードを決定する。前記コーディング情報は、前記公称モードおよび前記角度オフセットを示すものである。前記処理回路は、前記公称モードに基づいて、前記ブロックの非分離変換を決定し、前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築する。一例では、前記処理回路は、前記公称モードに関連付けられる変換セットモードを決定し、前記変換セットモードは、前記非分離変換を含む１つまたは複数の非分離変換のセットを示すものである。

Description

参照による援用
本出願は、２０１９年１１月２７日に出願された米国仮出願第６２／９４１，３５９号の「イントラコーディングのための二次変換」の優先権を主張する、２０２０年９月２４日に出願された米国特許出願第１７／０３１，２７２号の「ビデオコーディングのための方法および装置」の優先権を主張する。その内容を全て参照により本明細書に組み込むものとする。

本開示は、一般にビデオコーディングに関する実施形態を説明する。

本明細書中に提供される「背景技術」の記述は、本開示の内容を大まかに示すことを目的とする。ここに名を挙げられている発明者の成果は、この背景技術に記載された範囲において、出願時に従来技術として通常見なされえない記載の態様と共に、明示的にも黙示的にも本開示に対する従来技術として認められてはいない。

ビデオコーディングおよび復号は、動き補償を伴うイントラピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０ルマサンプルと関連するクロマサンプルの空間次元を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ばれる）を持つことができる。非圧縮ビデオには、顕著なビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０ルマサンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

ビデオコーディングおよび復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ発行アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含むいくつかの広範なカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技法を含み得る。イントラコーディングでは、サンプル値は、予め再構築された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードで符号化されると、そのピクチャはイントラピクチャになる可能性がある。イントラピクチャとその独立したデコーダリフレッシュピクチャなどの派生物は、デコーダの状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションの最初のピクチャとして、または静止画像として使用されることができる。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、事前変換領域でサンプル値を最小化する技法であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所定の量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ－２世代コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順の先に位置する、エンコード／デコード中に得られたサンプルデータおよび／またはメタデータの周りのデータブロックのから試みる技法を含む。そのような技法は、以降、「イントラ予測」技法と呼ばれる。少なくともいくつかのケースでは、イントラ予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しないことに注意されたい。

イントラ予測はさまざまな形態で存在し得る。そのような技法の２つまたは複数が所定のビデオコーディング技術に使用できる場合、使用中の技法はイントラ予測モードで符号化されることができる。場合によっては、モードはサブモードやパラメータを有することができ、それらを個別に符号化するか、もしくはモードコードワードに含めることができる。どのコードワードが所定のモード／サブモード／パラメータの組み合わせに使用されるかは、イントラ予測によるコーディング効率の向上に影響を与える可能性があるので、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術に影響を与える可能性がある。

イントラ予測の特定のモードはＨ．２６４で提出され、Ｈ．２６５で改良され、さらに共同探索モデル（ＪＥＭ）、多用途ビデオコーディング（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などのより新しいコーディング技術で改良された。予測器ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成されることができる。隣接サンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリームで符号化されるか、もしくはそれ自体を予測され得る。

図１を参照し、右下に示されたのは、Ｈ．２６５の３３通りの予測可能な予測器方向（３５通りのイントラモードの３３通りの角度モードに対応する）である。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、１つまたは複数のサンプルから右上に向けて、水平軸から４５度の角度で予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、１つまたは複数のサンプルからサンプル（１０１）の左下に向けて、水平軸から２２．５度の角度で予測されることを示す。

引き続き図１を参照し、左上には、４×４サンプルの正方形ブロック（１０４）（太い破線で示される）が示されている。正方形ブロック（１０４）は、それぞれが、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けされた１６個のサンプルを含む。例えば、サンプルＳ２１は、Ｙ次元（上から）における２番目のサンプルかつＸ次元（左から）における１番目のサンプルである。同様に、サンプルＳ４４は、ＹおよびＸ次元の両方においてブロック（１０４）における４番目のサンプルである。ブロックがサイズで４×４サンプルなので、Ｓ４４は、右下にある。さらに、同様な番号付け体系に従う参照サンプルが示されている。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けされる。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは再構築中のブロックに隣接している。したがって、負の値を使用する必要はない。

イントラピクチャ予測は、シグナリングされた予測方向で適切の隣接サンプルから参照サンプル値をコピーすることで機能することができる。例えば、仮に、符号化されたビデオビットストリームは、このブロックについて矢印（１０２）（すなわち、サンプルが、１つまたは複数の予測サンプルから右上に、水平から４５度の角度で予測される）と一致する予測方向を示すシグナリングを含むとする。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４は同一の参照サンプルＲ０５から予測される。その後、サンプルＳ４４は、参照サンプルＲ０８から予測される。

特定の場合において、複数の参照サンプルの値は、参照サンプルを算出するために、特に方向が４５度で均等に分割されていない場合に、例えば補間によって組み合わせられることができる。

ビデオコーディング技術が発展するにつれて、予測可能な方向の数は増加した。Ｈ．２６４（２００３年）では、９通りの異なる方向を表すことができた。Ｈ．２６５（２０１３年）で３３通りに増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは開示時に最大６５通りの方向をサポートできる。最も見込みのある方向を識別するための実験が行われ、エントロピーコーディングにおける特定の技法は、数が少ないビットにおける見込みの高い方向を表すために使用され、見込みの低い方向に対する特定のペナルティを受け入れる。さらに、方向自体は、隣接する、すでにデコードされたブロックで使用される隣接方向から予測される場合がある。

図２は、経時的な予測方向の増加数を示すために、ＪＥＭによる６５通りのイントラ予測方向を示す概略図（２０１）を示す。

方向を表す符号化されたビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、また、例えば、イントラ予測モードへ乃至コードワードへの予測方向の単純な直接マッピングから、最も可能性の高いモードや類似した技法を含む複雑な適応方式までの範囲とすることができる。しかしながら、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオコーディング技術では、これらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。

本開示の態様は、ビデオエンコード／デコードのための方法および装置を提供する。いくつかの例では、ビデオエンコードおよび／またはデコードのための装置は、処理回路を備える。前記処理回路は、符号化されたビデオビットストリームから、再構築されるべきブロックのコーディング情報をエンコードおよび／またはデコードすることができ、前記コーディング情報は、前記ブロックのイントラ予測情報を示すことができる。方向性モードで符号化された前記ブロックに対して、前記処理回路は、公称モードおよび角度オフセットに基づいて、前記方向性モードを決定することができる。前記コーディング情報は、前記公称モードおよび前記角度オフセットを示すことができる。前記処理回路は、前記公称モードに基づいて、前記ブロックの非分離変換を決定し、前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することができる。

一態様では、前記処理回路は、前記公称モードに関連付けられる変換セットモードを決定し、前記変換セットモードは、前記非分離変換を含む１つまたは複数の非分離変換のセットを示す。

一態様では、前記コーディング情報は、非分離変換インデックスをさらに示す。前記処理回路は、前記非分離変換インデックスに基づいて、１つまたは複数の非分離変換のセットにおける前記非分離変換を決定し、前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することができる。

一態様では、前記非分離変換は、非分離二次変換である。一例では、前記非分離二次変換は、ＰＡＥＴＨモードと再帰的フィルタリングモードとのうちの少なくとも１つに適用されない。一例では、前記処理回路は、前記ブロックの最初の変換係数をエントロピー符号化するために使用される走査順序に沿って、前記非分離二次変換を前記最初のＮ個の変換係数にのみ適用する。一例では、前記処理回路は、前記非分離二次変換を前記ブロックの第１の変換係数にのみ適用し、前記第１の変換係数のそれぞれは座標（ｘ，ｙ）を有し、それぞれのｘ座標およびｙ座標の合計は閾値よりも小さい。一例では、前記ブロックの一次変換における水平変換および垂直変換は、折れ線グラフ変換のセットのサブセットに含まれる。

一例では、前記非分離変換は、非分離二次変換である。前記ブロックは、前記非分離二次変換を用いて得られた第１の変換係数と、前記非分離二次変換を用いずに得られた第２の変換係数とを含む。前記処理回路は、前記第１の変換係数と第２の変換係数とを別々にエントロピーデコードすることができる。

一態様では、非方向性モードは、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、再帰的フィルタリングモード、およびルマに基づくクロマ（ＣｆＬ）モードを含む。前記ＤＣモード、前記ＰＡＥＴＨモード、前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＳＭＯＯＴＨ＿Ｈモードは、前記ブロックの隣接サンプルの平均化に基づくことができる。前記非方向性モードのうちの１つで符号化されたブロックに対して、前記処理回路は、前記非方向性モードのうちの１つに関連付けられた１つまたは複数の非分離変換のセットを決定することができる。（ａ）前記非方向性モードのうちの少なくとも他の１つ、および、（ｂ）公称モード、のうちの１つは、前記１つまたは複数の非分離変換のセットに関連付けられることができる。前記処理回路は、前記コーディング情報によって示される非分離変換インデックスに基づいて、前記１つまたは複数の非分離変換のセットにおける非分離変換を決定することができる。前記処理回路は、前記非方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することができる。

一態様では、前記非方向性モードのうちの１つ、および、前記非方向性モードのうちの少なくとも他の１つと前記公称モードとのうちの１つは、（ａ）前記再帰的フィルタリングモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードとのうちの１つと、（ｂ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｃ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＰＡＥＴＨモードと、（ｄ）前記再帰的フィルタリングモード、前記ＳＭＯＯＴＨモード、および前記ＰＡＥＴＨモードと、（ｅ）前記公称モードの垂直モード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｆ）前記公称モードの水平モード、および前記ＳＭＯＯＴＨ＿Ｈモードと、（ｖ）前記ＣｆＬモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードと前記ＰＡＥＴＨモードとのうちの１つと、のうちの１つを含む。

本開示の態様は、ビデオエンコードおよび／またはデコードのためのコンピュータによって実行されると、前記コンピュータにビデオエンコードおよび／またはデコードのための方法を実行させる命令を記憶した非一時的なコンピュータ読取可能な媒体も提供する。

開示された主題のさらなる特徴、本質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の説明図である。 一実施形態による通信システム（３００）の概略ブロック図である。 一実施形態による通信システム（４００）の概略ブロック図である。 一実施形態によるデコーダの概略ブロック図である。 一実施形態によるエンコーダの概略ブロック図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 本開示の一実施形態によるコーディングブロックの公称モードの一例を示す。 本開示の態様による非方向性平滑イントラ予測モードの例を示す。 本開示の一実施形態による再帰的フィルタリングベースのイントラ予測器の一例を示す。 本開示の一実施形態によるコーディングブロックのマルチラインイントラ予測の一例を示す。 本開示の実施形態による２つの例示的な変換コーディングプロセスを示す。 本開示の実施形態による２つの例示的な変換コーディングプロセスを示す。 本開示の一実施形態による折れ線グラフ変換の一例を示す。 本開示の一実施形態による例示的な一般化グラフラプラシアン行列を示す。 本開示の一実施形態によるプロセス（１６００）を概説するフローチャートを示す。 一実施形態によるコンピュータシステムの概略図である。

図３は、本開示の一実施形態による通信システム（３００）の概略ブロック図を示している。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１の対の端末装置（３１０）および（３２０）を含む。図３の例では、第１の対の端末装置（３１０）および（３２０）は、データの単方向送信を実行する。例えば、端末装置（３１０）は、ネットワーク（３５０）を介して他方の端末装置（３２０）へ送信するためにビデオデータ（例えば、端末装置（３１０）によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。エンコードされたビデオデータは、１つまたは複数の符号化されたビデオビットストリームの形で送信されることができる。端末装置（３２０）は、ネットワーク（３５０）から符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。

他の例では、通信システム（３００）は、例えば、ビデオ会議中に発生し得る符号化ビデオデータの双方向送信を実行する第２の対の端末装置（３３０）および（３４０）を含む。データの双方向送信の場合、一例では、端末装置（３３０）および（３４０）のそれぞれは、ネットワーク（３５０）を介して端末装置（３３０）および（３４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。端末装置（３３０）および（３４０）のそれぞれは、端末装置（３３０）および（３４０）のうちの他方の端末装置で送信された符号化ビデオデータを受信することができ、符号化ビデオデータをデコードしてビデオピクチャを復元することができ、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。

図３の例では、端末装置（３１０）、（３２０）、（３３０）および（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、しかし、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器における用途を見出す。ネットワーク（３５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（３１０）、（３２０）、（３３０）および（３４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でないかもしれない。

図４は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。

ストリーミングシステムは、例えば非圧縮のビデオピクチャ（４０２）のストリームを作成するデジタルカメラなどのビデオソース（４０１）を含むことができるキャプチャサブシステム（４１３）を含んでもよい。一例では、ビデオピクチャ（４０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（４０４）（又は符号化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（４０２）のストリームは、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（４０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（４０４）（またはエンコードされたビデオビットストリーム（４０４））は、将来使うためにストリーミングサーバ（４０５）に記憶されることができる。図４のクライアントサブシステム（４０６）および（４０８）のような１つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、エンコードされたビデオデータ（４０４）のコピー（４０７）および（４０９）を検索することができる。クライアントサブシステム（４０６）は、例えば、電子デバイス（４３０）におけるビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコードされたビデオデータの入り方向コピー（４０７）をデコードし、ディスプレイ（４１２）（例えば、表示画面）または他のレンダリングデバイス（示されていない）でレンダリングできるビデオピクチャ（４１１）の出方向ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（４０４）、（４０７）、および（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング規格は、非公式的に多用途ビデオコーディング（ＶＶＣ）として知られている。開示された主題は、ＶＶＣの文脈に使用され得る。

なお、電子デバイス（４２０）および（４３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

図５は、本開示の一実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれることができる。電子デバイス（５３０）は、受信機（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用されることができる。

受信機（５３１）は、ビデオデコーダ（５１０）によってデコードされる１つまたは複数の符号化ビデオシーケンスを受信することができ、同一または別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（５０１）から受信されることができる。受信機（５３１）は、それぞれの使用エンティティ（示されていない）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（５３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（５１５）は、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ（５２０）」）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の場合、ビデオデコーダ（５１０）（示されていない）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（５１０）の外部にバッファメモリ（示されていない）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）が存在し得る。受信機（５３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（５１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（５１５）が必要になる場合があり、バッファメモリ（５１５）は、比較的大きいことがあり、有利には適応サイズであることができ、オペレーティングシステムまたはビデオデコーダ（５１０）の外部の類似の要素（示されていない）に少なくとも部分的に実施され得る。

ビデオデコーダ（５１０）は、符号化ビデオシーケンスからシンボル（５２１）を再構築するパーサ（５２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の操作を管理するために使用される情報、および、電子デバイス（５３０）の不可欠な部分ではないが、図５に示されるように電子デバイス（５３０）に結合され得るレンダリングデバイス（５１２）（例えば、表示画面）のようなレンダリングデバイスを制御する潜在的情報を含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（示されていない）の形態であってよい。パーサ（５２０）は、受信された符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスのコーディングは、ビデオコーディング技術または規格に合わせることができ、可変長コーディング、ハフマンコーディング、文脈感受性を有するもしくは有さない算術コーディングなどを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）は、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

シンボル（５２１）の再構築は、符号化ビデオピクチャまたはその一部（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）のタイプ、および他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットが、どのように関与するかは、パーサ（５２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックに加え、ビデオデコーダ（５１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（５２１）としてパーサ（５２０）から受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（５２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルを取り出す参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（５２１）の形態で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャメモリ（５５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技法を受けられる。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれる、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能とされたパラメータによって制御されることができ、それに、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に記憶されることができるサンプルストリームであり得る。

特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構築され、符号化ピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャバッファを再割当てすることができる。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。符号化ビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できる唯一のツールとして選択することができる。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のための仮想参照デコーダ（ＨＲＤ）仕様およびメタデータによってさらに制限され得る。

一実施形態では、受信機（５３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば、送信回路）を含む。図４の例におけるビデオエンコーダ（４０３）の代わりにビデオエンコーダ（６０３）を使用することができる。

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（６０ｌ）（図６の例では電子デバイス（６２０）の一部ではない）からビデオサンプルを受信することができる。他の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（６０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つまたは複数のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（６４３）に圧縮することができる。適切なコーディング速度を実施することは、コントローラ（６５０）の機能の１つである。一部の実施形態では、コントローラ（６５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成されることができる。

一部の実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過度に簡略化した説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、符号化対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）を含むことができる。デコーダ（６３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（６３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、いくつかの関連分野にも使用されている。

「ローカル」デコーダ（６３３）の動作は、前文で図５に関連して既に詳細に説明された、ビデオデコーダ（５１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図５も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（６４５）およびパーサ（５２０）による符号化ビデオシーケンスへのシンボルのエンコード／デコードは可逆であり得るので、バッファメモリ（５１５）、およびパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピーデコード部分は、ローカルデコーダ（６３３）では完全に実施されない場合がある。

これで分かるように、デコーダに存在する構文解析／エントロピーデコード以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

操作中、一部の例では、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つまたは複数の予め符号化されたピクチャを参照して入力ピクチャを予測的に符号化する動き補償予測コーディングを実行してもよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異を符号化する。

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータをデコードすることができる。コーディングエンジン（６３２）の操作は、有利にはロッシープロセスであり得る。符号化ビデオデータがビデオデコーダ（図６に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（６３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶させることができる。このようにして、ビデオエンコーダ（６０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）の予測検索を実行することができる。つまり、符号化対象となる新しいピクチャについて、予測器（６３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（６３４）で検索することができる。予測器（６３５）は、適切な予測基準を見つけるために、サンプルブロック/画素ブロックごとに操作することができる。場合によっては、予測器（６３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（６５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）においてエントロピーコーディングを受けられる。エントロピーコーダ（６４５）は、例えば、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

送信機（６４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（６６０）を介した送信の準備のために、エントロピーコーダ（６４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（６４０）は、ビデオコーダ（６０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の操作を管理し得る。コーディング中、コントローラ（６５０）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずに符号化および復号され得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの予め設定されたビデオコーディング技術または規格に従って、コーディング操作を実行することができる。操作中、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測コーディング操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されるビデオコーディング技術または規格によって指定されたシンタックスに準拠する場合がある。

一実施形態では、送信機（６４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（６３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれるエンコード／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予め符号化され、まだバッファリングされている参照ピクチャの参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

一部の実施形態では、インターピクチャ予測において双予測法を使用することができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを使用する。現在ピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによって符号化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

さらに、マージモード技法をインターピクチャ予測に適用して、コーディング効率を向上させることができる。

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つの輝度ＣＴＢと２つの彩度ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、１つの輝度予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、コーディング（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、輝度値）の行列を含む。

図７は、本開示の他の実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャにエンコードするように構成される。一例では、図４の例におけるビデオエンコーダ（４０３）の代わりにビデオエンコーダ（７０３）を使用する。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双予測モードにより最も良く符号化するか否かを決定する。処理ブロックがイントラモードで符号化されようとする場合、ビデオエンコーダ（７０３）は、イントラ予測法を用いて処理ブロックを符号化ピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードで符号化されようとする場合、ビデオエンコーダ（７０３）は、それぞれインター予測または双予測法を用いて、処理ブロックを符号化ピクチャにエンコードすることができる。特定のビデオコーディング技術では、マージモードは、予測器外の符号化動きベクトル成分の利便を介することなく、１つまたは複数の動きベクトル予測器から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示すように互いに結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差算出部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、統括制御部（７２１）およびエントロピーエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャ内の１つまたは複数の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコード法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコード参照ピクチャである。

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既に符号化されたブロックと比較し、変換後に、量子化された係数を生成し、場合によってはイントラ予測情報（例えば、１つまたは複数のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（７２２）は、イントラ予測情報および同一のピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も算出する。

統括制御部（７２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成される。一例では、統括制御部（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードである場合、統括制御部（７２１）は、残差算出部（７２３）が使用するためのイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。また、モードがインターモードである場合、統括制御部（７２１）は、残差算出部（７２３）が使用するためのインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。

残差算出部（７２３）は、受信されたブロックとイントラエンコーダ（７２２）またはインターエンコーダ（７３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域へと変換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）をも含む。残差デコーダ（７２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（７２２）およびインターエンコーダ（７３０）によって適切に使用されることができる。例えば、インターエンコーダ（７３０）は、デコード残差データよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（７２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

エントロピーエンコーダ（７２５）は、ビットストリームをフォーマットしてエンコードブロックを生成するように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格などの適切な規格に従う様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（７２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。

図８は、本開示の他の実施形態によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして、再構築ピクチャを生成するように構成される。一例では、図４の例におけるビデオデコーダ（４１０）の代わりにビデオデコーダ（８１０）を使用する。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように互いに結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構築モジュール（８７４）、およびイントラデコーダ（８７２）を含む。

エントロピーデコーダ（８７１）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、後の２つのマージサブモードまたは他のサブモード）、それぞれイントラデコーダ（８７２）またはインターデコーダ（８８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（８８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（８７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（８７３）に提供される。

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（８７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（８７３）は、（量子化器パラメータ（ＱＰ）を含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（８７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。

再構築モジュール（８７４）は、空間領域において、残差デコーダ（８７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

なお、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、１つまたは複数の集積回路を用いて実施されることができる。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）および（６０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、ソフトウェア命令を実行する１つまたは複数のプロセッサを用いて実施されることができる。

イントラコーディングのための、例えば、一次変換および／または二次変換で使用される、非分離変換に関するビデオコーディング技術が開示されている。非分離変換は、任意の適切なビデオコーディングフォーマットまたは規格において適用可能である。ビデオコーディングフォーマットは、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）またはＡＶ１を超える次世代のＡＯＭｅｄｉａ Ｖｉｄｅｏフォーマットのような、インターネット上のビデオ伝送のために設計されたオープンビデオコーディングフォーマットを含み得る。また、ビデオコーディング規格は、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格や、ＨＥＶＣを超える次世代のビデオコーディング（例えば、多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ））などを含み得る。

様々なイントラ予測モードは、イントラ予測において、例えばＡＶ１、ＶＶＣなどにおいて使用され得る。一実施形態では、例えばＡＶ１において、方向性イントラ予測が使用される。一例では、例えばオープンビデオコーディングフォーマットＶＰ９では、４５°から２０７°までの８つの角度に対応する８通りの方向性モードが使用される。方向性テクスチャのより多様な空間的冗長性を利用するために、例えばＡＶ１では、方向性モード（方向性イントラモード、方向性イントラ予測モード、角度モードとも呼ばれる）は、図９に示すように、より細かい粒度の角度セットに拡張されることができる。

図９は、本開示の一実施形態によるコーディングブロック（ＣＢ）（９１０）の公称モードの一例を示す。特定の角度（公称角度と呼ばれる）は、公称モードに対応することができる。一例では、８つの公称角度（または公称イントラ角度）（９０１）～（９０８）は、８通りの公称モード（例えば、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤ）に対応する。また、８つの公称角度（９０１）～（９０８）および８通りの公称モードは、それぞれ、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤと呼ばれることができる。さらに、各公称角度は、複数のより細かい角度（例えば、７つのより細かい角度）に対応することができ、したがって、５６個の角度（または予測角度）または５６通りの方向性モード（または角度モード、方向性イントラ予測モード）は、例えば、ＡＶ１において使用されることができる。各予測角度は、公称角度および角度オフセット（または角度デルタ）によって表されることができる。角度オフセットは、オフセット整数Ｉ（例えば、－３、－２、－１、０、１、２、または３）にステップサイズ（例えば、３°）を乗算することによって取得されることができる。一例では、予測角度は、公称角度と角度オフセットの合計に等しい。一例では、例えばＡＶ１において、公称モード（例えば、８通りの公称モード（９０１）～（９０８））は、特定の非角度平滑モード（例えば、後述するＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、垂直ＳＭＯＯＴＨモード、および水平ＳＭＯＯＴＨモード）とともにシグナリングされることができる。続いて、現在の予測モードが方向性モード（または角度モード）である場合、公称角度に対応する角度オフセット（例えば、オフセット整数Ｉ）を示すインデックスをさらにシグナリングすることができる。一例では、汎用的な方法を介して方向性予測モードを実施するために、ＡＶ１で使用されるような５６通りの方向性モードは、各画素を参照サブ画素位置に投影し、２タップバイリニアフィルタによって参照画素を補間することができる統一された方向性予測器で実施される。

非方向性平滑イントラ予測器（非方向性平滑イントラ予測モード、非方向性平滑モード、非角度平滑モードとも呼ばれる）は、ＣＢのイントラ予測に使用されることができる。いくつかの例では（例えば、ＡＶ１では）、５通りの非方向性平滑イントラ予測モードは、ＤＣモードまたはＤＣ予測器（例えば、ＤＣ）、ＰＡＥＴＨモードまたはＰＡＥＴＨ予測器（例えば、ＰＡＥＴＨ）、ＳＭＯＯＴＨモードまたはＳＭＯＯＴＨ予測器（例えば、ＳＭＯＯＴＨ）、垂直ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｖ予測器、ＳＭＯＯＴＨ＿Ｖと呼ばれる）、および水平ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ＿Ｈモード、ＳＭＯＯＴＨ＿Ｈ予測器、ＳＭＯＯＴＨ＿Ｈと呼ばれる）を含む。

図１０は、本開示の態様による、非方向性平滑イントラ予測モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、およびＳＭＯＯＴＨ＿Ｈモード）に関する例を示す。ＤＣ予測器に基づいてＣＢ（１０００）内のサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値と、上隣接サンプル（またはトップ隣接サンプル）（１０１１）の第２の値との平均値を予測器として使用することができる。

ＰＡＥＴＨ予測器に基づいてサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値、トップ隣接サンプル（１０１１）の第２の値、および左上隣接サンプル（１０１３）の第３の値を取得することができる。そして、式１を用いて参照値を求める。
参照値＝第１の値＋第２の値－第３の値 （式１）

参照値に最も近い第１の値、第２の値、第３の値のいずれかをサンプル（１００１）の予測器として設定することができる。

ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、およびＳＭＯＯＴＨモードは、それぞれ、垂直方向、水平方向、および垂直方向と水平方向の平均の二次補間を用いて、ＣＢ（１０００）を予測することができる。ＳＭＯＯＴＨ予測器に基づいてサンプル（１００１）を予測するために、第１の値、第２の値、右サンプル（１０１４）の値、およびボトムサンプル（１０１６）の値の平均（例えば、加重組み合わせ）を使用することができる。様々な例では、右サンプル（１０１４）およびボトムサンプル（１０１６）は再構築されていないため、右上隣接サンプル（１０１５）の値および左下隣接サンプル（１０１７）の値は、それぞれ右サンプル（１０１４）およびボトムサンプル（１０１６）の値を置き換えることができる。したがって、第１の値、第２の値、右上隣接サンプル（１０１５）の値、および左下隣接サンプル（１０１７）の値の平均（例えば、加重組み合わせ）を、ＳＭＯＯＴＨ予測器として使用することができる。ＳＭＯＯＴＨ＿Ｖ予測器に基づいてサンプル（１００１）を予測するために、トップ隣接サンプル（１０１１）の第２の値と左下隣接サンプル（１０１７）の値の平均（例えば、加重組み合わせ）を使用することができる。ＳＭＯＯＴＨ＿Ｈ予測器に基づいてサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値と右上隣接サンプル（１０１５）の値の平均（例えば、加重組み合わせ）を使用することができる。

図１１は、本開示の一実施形態による再帰的フィルタリングベースのイントラ予測器（フィルタイントラモード、または再帰的フィルタリングモードとも呼ばれる）の一例を示す。エッジ上の参照との減衰する空間相関をキャプチャするために、フィルタイントラモードをＣＢ（１１００）に使用することができる。一例では、ＣＢ（１１００）は、ルマブロックである。ルマブロック（１１００）は、複数のパッチ（例えば、８つの４×２パッチＢ０～Ｂ７）に分割されることができる。パッチＢ０～Ｂ７のそれぞれは、複数の隣接サンプルを有することができる。例えば、パッチＢ０は、４つのトップ隣接サンプルＲ０１～Ｒ０４、２つの左隣接サンプルＲ０５～Ｒ０６、および、左上隣接サンプルＲ００を含む７つの隣接サンプル（または７つの近傍）Ｒ００～Ｒ０６を有する。同様に、パッチＢ７は、４つのトップ隣接サンプルＲ７１～Ｒ７４、２つの左隣接サンプルＲ７５～Ｒ７６、および左上隣接サンプルＲ７０を含む７つの隣接サンプルＲ７０～Ｒ７６を有する。

いくつかの例では、例えばＡＶ１のために、複数（例えば５つ）のフィルタイントラモード（または複数の再帰的フィルタリングモード）が事前設計されている。各フィルタイントラモードは、対応する４×２パッチ（例えば、Ｂ０）内のサンプル（または画素）と、４×２パッチＢ０に隣接する７つの近傍（例えば、Ｒ００～Ｒ０６）との間の相関を反映する８つの７タップフィルタのセットで表されることができる。７タップフィルタの重み係数は、位置に依存することができる。パッチＢ０～Ｂ７のそれぞれについて、７つの近傍（例えば、Ｂ０についてはＲ００～Ｒ０６、Ｂ７についてはＲ７０～Ｒ７６）は、対応するパッチ内のサンプルを予測するために使用されることができる。一例では、近傍Ｒ００～Ｒ０６は、パッチＢ０内のサンプルを予測するために使用される。一例では、近傍Ｒ７０～Ｒ７６は、パッチＢ７内のサンプルを予測するために使用される。パッチＢ０のようなＣＢ（１１００）内の特定のパッチについては、７つの近傍（例えば、Ｒ００～Ｒ０６）のすべてが既に再構築されている。ＣＢ（１１００）内の他のパッチについては、７つの近傍のうち少なくとも１つは再構築されていないため、直近の近傍の予測値（または直近の近傍の予測サンプル）を基準として使用することができる。例えば、パッチＢ７の７つの近傍Ｒ７０～Ｒ７６は再構築されていないので、直近の近傍の予測サンプルを使用することができる。

クロマサンプルは、ルマサンプルから予測されることができる。一実施形態では、ルマに基づくクロマ（ｃｈｒｏｍａ ｆｒｏｍ ｌｕｍａ）モード（例えば、ＣｆＬモード、ＣｆＬ予測器）は、クロマサンプル（または画素）を、一致する再構築されたルマサンプル（または画素）の線形関数としてモデリングできるクロマのみのイントラ予測器である。例えば、ＣｆＬ予測は、以下のように式２を用いて表現されることができる。
ＣｆＬ （α）＝α Ｌ^Ａ＋Ｄ （式２）
ここで、Ｌ^Ａはルマ成分のＡＣ寄与率を表し、αは線形モデルのスケーリングパラメータを表し、Ｄはクロマ成分のＤＣ寄与率を表す。一例では、再構築されたルマ画素は、クロマ解像度に基づいてサブサンプリングされ、平均値が減算されてＡＣ寄与率（例えば、Ｌ^Ａ）が形成される。ＡＣ寄与率からクロマＡＣ成分を近似するために、デコーダに対してスケーリングパラメータαを計算するよう求める代わりに、いくつかの例では、例えば、ＡＶ１において、ＣｆＬモードはオリジナルのクロマ画素に基づいてスケーリングパラメータαを決定し、ビットストリームでスケーリングパラメータαをシグナリングすることで、デコーダの複雑さを軽減し、より正確な予測を得ることができる。クロマ成分のＤＣ寄与率は、イントラＤＣモードを用いて算出されることができる。イントラＤＣモードは、ほとんどのクロマコンテンツに対して十分であり、成熟した高速実装が可能である。

マルチラインイントラ予測は、イントラ予測のために、より多くの参照線を使用することができる。参照線は、ピクチャ内の複数のサンプルを含み得る。一例では、参照線は、行のサンプルおよび列のサンプルを含む。一例では、エンコーダは、イントラ予測器を生成するために使用される参照線を決定し、シグナリングすることができる。参照線を示すインデックス（参照線インデックスとも呼ばれる）は、イントラ予測モードの前にシグナリングされることができる。一例では、非ゼロの参照線インデックスがシグナリングされた場合、ＭＰＭのみが許可される。図１２は、ＣＢ（１２１０）のための４つの参照線の一例を示す。図１２を参照すると、参照線は、最大で６つのセグメント、例えばセグメントＡ～Ｆと、左上参照サンプルとを含み得る。例えば、参照線０は、セグメントＢおよびＥと左上参照サンプルとを含む。例えば、参照線３は、セグメントＡ～Ｆと左上参照サンプルとを含む。セグメントＡおよびＦは、それぞれセグメントＢおよびＥからの最近接サンプルでパディングされることができる。いくつかの例では、例えば、ＨＥＶＣにおいて、１つの参照線（例えば、ＣＢ（１２１０）に隣接する参照線０）のみがイントラ予測に使用される。いくつかの例では、例えば、ＶＶＣにおいて、複数の参照線（例えば、参照線０、１、３）がイントラ予測に使用される。

一次変換、二次変換などの変換は、ＣＢに適用されることができる。変換は、非分離変換または分離型変換であり得る。本開示の態様によれば、変換（例えば、一次変換、二次変換）は、非分離変換であり得る。非分離変換の適用は、４×４入力ブロック（または入力行列）Xを一例として用いて、以下のように説明することができる（式３に示す）。４×４非分離変換を適用するために、４×４入力ブロックXは、式３～４に示すように、ベクトル

で表されることができる。

非分離変換は、

として計算されることができる。ここで、

は変換係数ベクトルを示し、Ｔは１６×１６変換行列である。１６×１係数ベクトル

は、その後、４×４入力ブロックに対する走査順序（例えば、水平走査順序、垂直走査順序、ジグザグ走査順序、または対角走査順序）を用いて、４×４出力ブロック（または出力行列、係数ブロック）に再編成されることができる。より小さなインデックスを持つ変換係数は、４×４係数ブロックにおいて小さな走査インデックスで配置されることができる。

本開示の態様によれば、縮小非分離変換は、一次変換で使用されることができる。また、縮小非分離変換は、低周波非分離変換（ＬＦＮＳＴ）などの二次変換で使用されることができる。

非分離二次変換は、ＣＢに適用されることができる。いくつかの例では、例えば、ＶＶＣにおいて、ＬＦＮＳＴは、図１３～１４に示すように、順方向一次変換と量子化との間（例えば、エンコーダ側で）、および、逆量子化と逆方向一次変換との間（例えば、デコーダ側で）に適用される。一例では、ＬＦＮＳＴは、縮小二次変換（ＲＳＴ）と呼ばれる。

図１３～１４は、それぞれ、１６×６４変換（または、変換が順方向二次変換であるか逆方向二次変換であるかに応じて６４×１６変換）および１６×４８変換（または、変換が順方向二次変換であるか逆方向二次変換であるかに応じて４８×１６変換）を用いた２つの変換コーディングプロセス（１３００）および（１４００）の例を示す。図１３を参照すると、プロセス（１３００）において、エンコーダ側では、まず、ブロック（例えば、残差ブロック）に対して順方向一次変換（１３１０）を実行して、係数ブロック（１３１３）を取得することができる。続いて、順方向二次変換（または順方向ＬＦＮＳＴ）（１３１２）を、係数ブロック（１３１３）に適用することができる。順方向二次変換（１３１２）では、係数ブロック（１３１３）の左上隅にある４×４サブブロックＡ～Ｄの６４個の係数を６４長のベクトルで表すことができ、６４長のベクトルに６４×１６（すなわち、幅６４および高さ１６）の変換行列を乗算することで１６長のベクトルを得ることができる。１６長のベクトル内の要素は、係数ブロック（１３１３）の左上の４×４サブブロックＡに埋め戻される。サブブロックＢ～Ｄ内の係数はゼロであり得る。順方向二次変換（１３１２）の後結果として得られた係数は、次に、ステップで量子化され（１３１４）、エントロピー符号化されて、ビットストリーム内に符号化ビットを生成する（１３１６）。

符号化ビットは、デコーダ側で受信され、エントロピーデコードされ、続いて逆量子化（１３２４）されて、係数ブロック（１３２３）を生成することができる。逆方向ＲＳＴ８×８などの逆方向二次変換（または逆方向ＬＦＮＳＴ）（１３２２）を実行して、例えば、左上の４×４サブブロックＥにおける１６個の係数から６４個の係数を取得することができる。また、６４個の係数を４×４サブブロックＥ～Ｈに埋め戻すことができる。さらに、逆方向二次変換（１３２２）後の係数ブロック（１３２３）内の係数を逆方向一次変換（１３２０）で処理して、復元された残差ブロックを取得することができる。

図１４の例のプロセス（１４００）は、順方向二次変換（１４１２）の間に、より少ない（すなわち、４８個の）係数が処理されることを除いて、プロセス（１３００）と同様である。具体的には、サブブロックＡ～Ｃ内の４８個の係数は、４８×１６のサイズのより小さい変換行列で処理される。４８×１６のより小さい変換行列を使用することで、変換行列を記憶するためのメモリサイズおよび計算回数（例えば、乗算、加算、減算など）を減らすことができ、したがって、算出の複雑さを軽減することができる。

一例では、ＣＢのブロックサイズに応じて、４×４非分離変換（例えば、４×４ ＬＦＮＳＴ）または８×８非分離変換（例えば、８×８ ＬＦＮＳＴ）を適用する。ＣＢのブロックサイズは、幅、高さなどを含み得る。例えば、４×４ ＬＦＮＳＴは、幅と高さの最小値が８のような閾値よりも小さい（例えば、ｍｉｎ（幅，高さ）＜８）ＣＢに対して適用される。例えば、８×８ ＬＦＮＳＴは、幅と高さの最小値が４のような閾値よりも大きい（例えば、ｍｉｎ（幅，高さ）＞４）ＣＢに対して適用される。

非分離変換（例えば、ＬＦＮＳＴ）は、直接行列乗算アプローチに基づくことができ、したがって、反復せずにシングルパスで実施することができる。非分離変換行列の次元を縮小し、算出上の複雑さおよび変換係数を記憶するためのメモリ空間を最小化するために、ＬＦＮＳＴでは、縮小非分離変換法（またはＲＳＴ）を使用することができる。したがって、縮小非分離変換では、Ｎ（例えば、８×８非分離二次変換（ＮＳＳＴ）ではＮは６４）次元のベクトルを、異なる空間におけるＲ次元のベクトルにマッピングすることができ、ここで、Ｎ／Ｒ（Ｒ＜Ｎ）は縮小係数である。したがって、ＲＳＴ行列は、Ｎ×Ｎ行列の代わりに、式５で説明されるように、Ｒ×Ｎ行列となる。

式５において、Ｒ×Ｎ変換行列のＲ行は、Ｎ次元空間のＲ基底である。逆方向変換行列は、順方向変換で使用される変換行列（例えば、Ｔ_Ｒ×Ｎ）の転置であり得る。８×８ＬＦＮＳＴの場合、縮小係数４を適用することができ、図１３に示すように、８×８非分離変換で使用される６４×６４直接行列を１６×６４直接行列に縮小することができる。あるいはまた、４よりも大きい縮小係数を適用してもよく、図１４に示すように、８×８非分離変換で使用される６４×６４直接行列を１６×４８直接行列に縮小することができる。したがって、４８×１６逆方向ＲＳＴ行列をデコーダ側で使用して、８×８左上領域のコア（一次）変換係数を生成することができる。

図１４を参照すると、同じ変換セット構成を有する１６×６４行列の代わりに１６×４８行列が適用される場合、１６×４８行列への入力は、右下の４×４ブロックＤを除く左上の８×８ブロック内の３つの４×４ブロックＡ、Ｂ、Ｃからの４８個の入力データを含んでいる。次元の縮小に従って、ＬＦＮＳＴ行列を記憶するためのメモリ使用量を、例えば、１０ＫＢから８ＫＢに、最小限の性能低下で減らすことができる。

複雑さを軽減するために、ＬＦＮＳＴは、第１の係数サブグループ外の係数が非有意の場合に適用できるように制限されることができる。一例では、ＬＦＮＳＴは、第１の係数サブグループ外のすべての係数が非有意の場合にのみ適用できるように制限されることができる。図１３～１４を参照すると、第１の係数サブグループは、左上ブロックＥに対応しており、したがって、ブロックＥ外にある係数は、非有意である。

一例では、ＬＦＮＳＴが適用された場合、一次のみの変換係数は非有意である（例えば、ゼロ）。一次のみの変換係数は、二次変換を伴わない一次変換から得られる変換係数を指すことができる。したがって、ＬＦＮＳＴインデックスシグナリングは、最後有意位置を条件とすることができ、その結果、ＬＦＮＳＴにおける余分な係数走査を回避することができる。いくつかの例では、余分な係数走査は、特定の位置で有意変換係数をチェックするために使用される。一例では、ＬＦＮＳＴの最悪の取り扱いは、例えば、画素あたりの乗算に関しては、４×４ブロックと８×８ブロックの非分離変換を、それぞれ８×１６変換と８×４８変換に制限する。上記の場合、ＬＦＮＳＴが適用されると、最後有意走査位置は８より小さくすることができる。その他のサイズの場合、ＬＦＮＳＴが適用されると、最後有意走査位置は１６よりも小さくすることができる。４×ＮとＮ×４（Ｎが８より大きい）のＣＢの場合、制限は、ＣＢの左上の４×４領域にＬＦＮＳＴが適用されることを意味することができる。一例では、この制限は、ＣＢの左上の４×４領域のみに、ＬＦＮＳＴが一度だけ適用されることを意味する。一例では、ＬＦＮＳＴが適用されたときに、すべての一次のみの係数が非有意である（例えば、ゼロ）ので、一次変換のための演算回数が減少する。エンコーダの観点からは、ＬＦＮＳＴ変換がテストされた場合、変換係数の量子化を大幅に簡素化することができる。レート歪み最適化による量子化は、例えば走査順序で最初の１６個の係数に対して最大で行うことができ、残りの係数はゼロにすることができる。

ＬＦＮＳＴ変換（例えば、変換カーネルまたは変換行列）は、以下で説明するように選択されることができる。一実施形態では、複数の変換セットを使用することができ、１つまたは複数の非分離変換行列（またはカーネル）は、ＬＦＮＳＴにおける複数の変換セットのそれぞれに含まれ得る。本開示の態様によれば、複数の変換セットから変換セットを選択することができ、変換セット内の１つまたは複数の非分離変換行列から非分離変換行列を選択することができる。

表１は、本開示の一実施形態によるイントラ予測モードから複数の変換セットへの例示的なマッピングを示す。マッピングは、イントラ予測モードと複数の変換セットとの間の関係を示す。表１に示されるような関係は、事前定義されることができ、エンコーダおよびデコーダに記憶されることができる。

表１を参照すると、複数の変換セットは、４つの変換セット、例えば、０から３までの変換セットインデックス（例えば、Ｔｒ． ｓｅｔ ｉｎｄｅｘ）でそれぞれ表される変換セット０から３を含む。インデックス（例えば、ＩｎｔｒａＰｒｅｄＭｏｄｅ）は、イントラ予測モードを示すことができ、変換セットインデックスは、インデックスと表１に基づいて取得されることができる。したがって、変換セットはイントラ予測モードに基づいて決定されることができる。一例では、３つのクロスコンポーネント線形モデル（ＣＣＬＭ）モード（例えば、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭまたはＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）のうちの１つがＣＢに使用されると（例えば、８１＜＝ＩｎｔｒａＰｒｅｄＭｏｄｅ＜＝８３）、ＣＢに対して変換セット０が選択される。

上述のように、各変換セットは、１つまたは複数の非分離変換行列を含み得る。１つまたは複数の非分離変換行列のうちの１つは、明示的にシグナリングされるＬＦＮＳＴインデックスによって選択され得る。ＬＦＮＳＴインデックスは、例えば、変換係数をシグナリングした後に、イントラ符号化されたＣＵ（例えば、ＣＢ）ごとに１回、ビットストリームでシグナリングされることができる。一実施形態では、各変換セットは、２つの非分離変換行列（カーネル）を含み、選択された非分離二次変換候補は、２つの非分離変換行列のうちの１つであり得る。いくつかの例では、ＬＦＮＳＴは、ＣＢに適用されない（例えば、変換スキップモードで符号化されたＣＢ、またはＣＢの非ゼロ係数の数が閾値よりも小さい）。一例では、ＬＦＮＳＴがＣＢに適用されない場合、ＣＢに対してＬＦＮＳＴインデックスをシグナリングしない。ＬＦＮＳＴインデックスのデフォルト値は、ゼロであり、シグナリングされない場合があり、これは、ＣＢにＬＦＮＳＴを適用しないことを示す。

一実施形態では、ＬＦＮＳＴは、第１の係数サブグループ外のすべての係数が非有意の場合にのみ適用できるように制限され、ＬＦＮＳＴインデックスのコーディングは、最後有意係数の位置に依存することができる。ＬＦＮＳＴインデックスは、コンテキスト符号化されることができる。一例では、ＬＦＮＳＴインデックスのコンテキストコーディングは、イントラ予測モードに依存せず、第１のｂｉｎのみがコンテキスト符号化される。ＬＦＮＳＴは、イントラスライスまたはインタースライス内のイントラ符号化されたＣＵに適用されることができ、ルマ成分とクロマ成分の両方に適用されることができる。デュアルツリーが有効な場合、ルマ成分とクロマ成分のＬＦＮＳＴインデックスは別々にシグナリングされることができる。インタースライスの場合（例えば、デュアルツリーが無効な場合）、ルマ成分とクロマ成分の両方に対して、単一のＬＦＮＳＴインデックスをシグナリングして使用することができる。

イントラサブパーティション（Ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎ、ＩＳＰ）コーディングモードを使用することができる。ＩＳＰコーディングモードでは、ルマイントラ予測ブロックを、ブロックサイズに応じて、垂直方向または水平方向に２つまたは４つのサブパーティションに分割することができる。いくつかの例では、ＲＳＴがすべての実行可能なサブパーティションに適用される場合、パフォーマンスの向上は限界に達する。したがって、いくつかの例では、ＩＳＰモードが選択された場合、ＬＦＮＳＴは無効化され、ＬＦＮＳＴインデックス（またはＲＳＴインデックス）はシグナリングされない。ＩＳＰ予測された残差に対してＲＳＴまたはＬＦＮＳＴを無効化することで、コーディングの複雑さを軽減することができる。いくつかの例では、行列ベースのイントラ予測モード（ＭＩＰ）が選択された場合、ＬＦＮＳＴは無効化され、ＬＦＮＳＴインデックスはシグナリングされない。

いくつかの例では、最大変換サイズの制限（例えば６４×６４）のため、６４×６４よりも大きいＣＵは暗黙的に分割（ＴＵタイリング）され、ＬＦＮＳＴインデックス検索は、一定数の復号パイプラインステージのためにデータバッファリングを４倍に増やすことができる。したがって、ＬＦＮＳＴが許容される最大サイズを６４×６４に制限することができる。一例では、ＬＦＮＳＴは離散コサイン変換（ＤＣＴ）タイプ２（ＤＣＴ－２）変換のみで有効にされる。

折れ線グラフ変換（ＬＧＴ）は、例えば、一次変換などの変換において使用されることができる。一例では、ＬＧＴは、以下に説明するように、様々なＤＣＴ、離散サイン変換（ＤＳＴ）を含む。ＬＧＴは、３２点および６４点の１次元（１Ｄ）ＤＳＴを含み得る。

グラフは、関心対象間のアフィニティ関係のモデリングに使用できる、頂点と辺のセットを含む一般的な数学的構造である。重みのセットが辺とオプションで頂点に割り当てられた重み付きグラフは、信号／データのロバストなモデリングのためのスパースな表現を提供することができる。ＬＧＴは、多様なブロック統計にうまく適応することで、コーディング効率を向上させることができる。分離型ＬＧＴは、ブロックの残差信号の基礎となる行および列ごとの統計をモデリングするために、データから折れ線グラフを学習することで設計および最適化されることができ、関連する一般化グラフラプラシアン（ＧＧＬ）行列は、ＬＧＴを導出するために使用されることができる。

図１５Ａは、本開示の一実施形態による自己ループ重み（例えば、ｖ_ｃ１、ｖ_ｃ２）およびエッジ重みｗ_ｃによって特徴付けられる一般化ＬＧＴの一例を示す。重み付きグラフＧ（Ｗ，Ｖ）が与えられた場合、ＧＧＬ行列は以下のように定義されることができる。

ここで、Ｗは、非負のエッジ重みｗ_ｃを含む隣接行列とすることができ、Ｄは、対角次数行列とすることができ、Ｖは、自己ループ重みｖ_ｃ１およびｖ_ｃ２を示す対角行列とすることができる。図１５Ｂは、行列Ｌ_ｃの一例を示す。

ＬＧＴは、以下のように、ＧＧＬ行列Ｌ_ｃの固有値分解によって導出されることができる。

ここで、直交行列Ｕの列は、ＬＧＴの基底ベクトルとすることができ、Φは、対角固有値行列とすることができる。

様々な例において、特定のＤＣＴおよびＤＳＴ（例えば、ＤＣＴ－２、ＤＣＴ－８およびＤＳＴ－７）は、ＧＧＬの特定の形態から導出されるＬＧＴのセットのサブセットである。ＤＣＴ－２は、ｖ_ｃ１を０（例えば、ｖ_ｃ１＝０）に設定することで導出されることができる。ＤＳＴ－７は、ｖ_ｃ１をｗ_ｃ（例えば、ｖ_ｃ１＝ｗ_ｃ）に設定することで導出されることができる。ＤＣＴ－８は、ｖ_ｃ２をｗ_ｃ（例えば、ｖ_ｃ２＝ｗ_ｃ）に設定することで導出されることができる。ＤＳＴ－４は、ｖ_ｃ１を２ｗ_ｃ（例えば、ｖ_ｃ１＝２ｗ_ｃ）に設定することで導出されることができる。ＤＣＴ－４は、ｖ_ｃ２を２ｗ_ｃ（例えば、ｖ_ｃ２＝２ｗ_ｃ）に設定することで導出されることができる。

いくつかの例では、ＬＧＴは行列乗算として実施されることができる。４ｐ ＬＧＴコアは、Ｌｃでｖ_ｃ１を２ｗ_ｃに設定することで導出されることができ、したがって、４ｐ ＬＧＴコアはＤＳＴ－４である。８ｐ ＬＧＴコアは、Ｌｃでｖ_ｃ１を１．５ｗ_ｃに設定することで導出されることができる。一例では、ＬＧＴコアは、ｖ_ｃ１をｗ_ｃとし、ｖ_ｃ２を０とすることで導出されることができ、ＬＧＴコアはＤＳＴ－７となり得る。

いくつかの例では、例えば、ＡＶ１において、変換スキームは分離型だけであり、４５°方向に沿った特定のエッジのような特定の方向性テクスチャパターンをキャプチャするためには効率的ではないかもしれない。より効率的なビデオ及び画像コーディング技術（例えば、ＡＶ１イントラコーディングを超える高度なビデオ及び画像コーディング技術）を開発するために、非分離変換は、例えば、特定の方向性画像パターンに対するコーディング効率の向上に使用されることができる。

いくつかの例では、非分離変換がＶＶＣで使用される。ＶＶＣにおける二次変換スキーム（例えば、非分離二次変換スキーム）は、イントラ予測スキームに依存することができる。しかし、ＡＶ１とＶＶＣのイントラ予測スキームは異なる可能性がある。したがって、ＶＶＣにおける二次変換スキームは、ＡＶ１イントラコーディングスキームと完全に互換性がない可能性がある。したがって、ＡＶ１を超える次世代のＡＯＭｅｄｉａ Ｖｉｄｅｏフォーマットのように、ＡＶ１に基づく二次変換を適用するためには、本開示に記載されているように、さらなる変更が適用される。

様々な実施形態および実施例は、別々に使用しても、任意の順序で組み合わせてもよい。本開示において、予測方向に従って予測サンプルを生成するために使用されるイントラ予測モードは、図９を参照して上述したように、角度モード（または角度イントラ予測モード）または方向性モード（または方向性イントラ予測モード）と呼ばれることができる。また、予測方向に基づかずに予測サンプルを生成するために使用されるイントラ予測モードは、図１０～１１を参照して上述したように、非方向性イントラ予測モード（または非方向性モード）と呼ばれることができる。非方向性イントラ予測モード（または非方向性モード）は、図１０を参照して説明したような非方向性平滑モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、およびＳＭＯＯＴＨ＿Ｈモード）、図１１を参照して説明したようなフィルタイントラモード（または再帰的フィルタリングモード）、およびＣｆＬモードなどを含み得る。なお、特定の非方向性イントラ予測モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、およびＳＭＯＯＴＨ＿Ｈモードを含む非方向性平滑モード、及びフィルタイントラモード）は、平滑モードと呼ばれることができる。

再構築されるべきブロック（例えば、ＣＢ）のコーディング情報は、符号化されたビデオビットストリームからデコードされ得る。このコーディング情報は、ブロックのイントラ予測情報を示すことができる。イントラ予測情報は、ブロックの予測に使用されるイントラ予測モードを示すことができる。ブロックの残差は、非分離変換を用いて符号化されることができる。非分離変換は、一次変換または二次変換であり得る。

一例では、イントラ予測モードは方向性モードであり、ブロックは方向性モードで符号化される。コーディング情報は、ブロックの公称モード情報および角度オフセット情報を示すことができる。公称モード情報は、ブロックに対する公称モード（例えば、Ｄ４５＿ＰＲＥＤ）を示す、符号化されたビデオビットストリームでシグナリングされた第１のインデックス（例えば、公称モードインデックス）を含み得る。角度オフセット情報は、公称モードに対応する公称角度（例えば、４５°）からの角度オフセットを示す、符号化されたビデオビットストリームでシグナリングされた第２のインデックス（例えば、角度オフセットインデックス）を含み得る。

本開示の態様によれば、方向性モードは、コーディング情報によって示される公称モードおよび角度オフセットに基づいて決定されることができる。

公称角度（例えば、４５°）は、図９に示すような公称モード（例えば、Ｄ４５＿ＰＲＥＤ）に基づいて取得されることができる。例えば、第２のインデックスは、オフセット整数Ｉを示すことができる。したがって、角度オフセットは、オフセット整数Ｉおよびステップサイズ（例えば、３°）に基づいて取得されることができ、例えば、角度オフセットは、オフセット整数Ｉにステップサイズを乗じたものに等しい。したがって、予測角度は、公称角度および角度オフセットに基づいて取得されることができる。一例では、図９を参照して上述したように、予測角度は、公称角度と角度オフセットとの和に等しい。したがって、図９を参照して上述したように、方向性モード（またはイントラ予測モード）は、予測角度に応じて決定されることができる。

ブロックの非分離変換は、公称モードに基づいて決定されることができる。一実施形態では、公称モードに関連付けられる変換セットモード（例えば、ｓｔＭｏｄｅ）を決定することができ、ここで、変換セットモードは、非分離変換を含む１つまたは複数の非分離変換のセットを示すことができる。１つまたは複数の非分離変換のセットは、変換セットと呼ばれることができる。

一例では、方向性モードは、複数の公称モードと変換セットモード（例えば、ｓｔＭｏｄｅ）との間のマッピング関係に基づいて、変換セットモードにマッピングされる。このマッピング関係は、エンコーダおよびデコーダに記憶されることができる。このマッピング関係は、ルックアップテーブルであり得る。本開示の態様によれば、方向性モードは、方向性モードに関連付けられた公称モード（例えば、公称モードインデックスによって示される）に基づいて、かつ方向性モードに関連付けられた角度オフセットに関係なく、変換セットモードにマッピングされる。そして、変換セットモード（例えば、ｓｔＭｏｄｅ）の値を、変換セットを識別するために使用することができる。

上述したように、変換セットは、１つまたは複数の非分離変換を含み得る。シグナリングされた非分離変換インデックス（例えば、ｓｔＩｄｘ）は、変換セットにおける非分離変換をさらに識別するために使用されることができる。コーディング情報は、符号化されたビデオビットストリームでシグナリングされた非分離変換インデックス（例えば、ｓｔＩｄｘ）をさらに含み得る。変換セットにおける非分離変換は、非分離変換インデックスに基づいて決定されることができる。ブロックは、非分離変換に基づいてデコードされることができる。

ブロックは、方向性モードおよび非分離変換に基づいて再構築されることができる。

一例では、ブロックが変換スキップモードで符号化された場合、非分離変換はブロックに適用されない。例えば、非分離変換インデックス（例えば、ｓｔＩｄｘ）はシグナリングされず、したがって、これは非分離変換がブロックに適用されないことを示す。

一実施形態では、非分離変換は、非分離二次変換である。いくつかの例では、この非分離二次変換は、ＰＡＥＴＨモードまたは再帰的フィルタリングモードに適用されない。いくつかの例では、非分離二次変換は、ブロックの最初のＮ個の変換係数をエントロピー符号化するために使用される走査順序に沿って、当該最初の変換係数にのみ適用される。例えば、エンコーダ側では、順方向二次変換（例えば、順方向非分離二次変換）の入力は、順方向走査順序に沿った最初のＮ個の変換係数であり、順方向二次変換の出力は、当該最初のＮ個の変換係数を置き換えるＮ個の修正された変換係数である。デコーダ側では、逆方向二次変換（例えば、逆方向非分離二次変換）の入力は、順方向走査順序に沿った最初のＮ個の変換係数（例えば、順方向二次変換の出力におけるＮ個の修正された変換係数）であり、逆方向二次変換の出力は、当該最初のＮ個の変換係数を置き換えるＮ個の変換係数である。順方向走査順序などの走査順序は、ジグザグ走査順序、対角線走査順序など、任意の適切な走査順序とすることができる。一例では、例えばＶＶＣにおいて、係数コーディングのために対角線走査順序が適用される。Ｎは、例えば０から１２７の範囲内の任意の非負の整数である。一例では、Ｎが０の場合、ブロックには二次変換が適用されない。一例では、Ｎは正の整数である。

一実施形態では、非分離変換は、非分離二次変換である。この非分離二次変換は、ブロック内の第１の変換係数にのみ適用される。第１の変換係数のそれぞれは、座標（ｘ，ｙ）を有することができ、それぞれのｘ座標およびｙ座標の合計は、閾値Ｔよりも小さくなることができる。例えば、ブロック内のそれぞれの変換係数に関連付けられた座標（ｘ，ｙ）が、それぞれのｘ座標およびｙ座標の合計が閾値Ｔ以上であるという条件を満たす場合、その変換係数は０に設定されることができる。その変換係数は第１の変換係数に含まれない。閾値Ｔは、非負の整数など、任意の適切な数とすることができる。一例では、Ｔは、０から３２の範囲内である。

一実施形態では、非分離変換は、非分離二次変換として適用される。一例では、非分離二次変換は、ブロックに対する一次変換のタイプが条件を満たす場合にのみ適用され、シグナリングされる。本開示の態様によれば、ブロックに対する一次変換における水平変換および垂直変換は、ＬＧＴのセットのサブセットに含まれ得る。水平変換と垂直変換は、同じＬＧＴを使用することも、異なるＬＧＴを使用することもできる。ＬＧＴのセットのサブセットは、エッジ重みｗ_ｃと自己ループ重み（例えば、ｖ_ｃ１および／またはｖ_ｃ２）との間の関係によって特徴付けられることができる。例えば、ＬＧＴのセットのサブセットは、特定の自己ループ比によって特徴付けられる。自己ループ比は、エッジ重みｗ_ｃおよび自己ループ重み（例えば、ｖ_ｃ１またはｖ_ｃ２）に基づく比とすることができる。

一例では、非分離二次変換は、一次変換の水平変換および垂直変換がＤＣＴ－２である場合にのみ適用される。ＤＣＴ－２は、ｖ_ｃ１＝０を有する（例えば、自己ループ比が０である）ＬＧＴに対応することができる。

一例では、非分離二次変換は、一次変換の水平変換および垂直変換がＤＳＴ－４（またはＤＳＴ－７）である場合にのみ適用される。ＤＳＴ－７は、ｖ_ｃ１＝ｗ_ｃを有する（例えば、自己ループ比が１である）ＬＧＴに対応することができる。

一例では、非分離二次変換は、以下の条件が満たされた場合にのみ適用される。一次変換の水平変換は、ＤＣＴ－２、ＤＳＴ－４、またはＤＳＴ－７であり、一次変換の垂直変換は、ＤＣＴ－２、ＤＳＴ－４、またはＤＳＴ－７である。水平変換と垂直変換は、同じタイプの変換行列を持つことも、異なるタイプの変換行列を持つこともできる。

一実施形態では、非分離変換は、非分離二次変換として適用される。本開示の態様によれば、ブロックは、非分離二次変換を用いて得られた第１の変換係数と、非分離二次変換を用いずに得られた第２の変換係数とを含み得る。第１の変換係数および第２の変換係数は、別々にエントロピー符号化（例えば、デコード）され得る。一例では、第１の変換係数は、第２の変換係数をエントロピー符号化（例えば、デコード）する前にエントロピー符号化（例えば、デコード）される。一例では、第２の変換係数は、第１の変換係数をエントロピー符号化（例えば、デコード）する前にエントロピー符号化（例えば、デコード）される。

上述したように、非方向性イントラ予測モード（または非方向性モード）は、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、再帰的フィルタリングモード、およびＣｆＬモードを含み得る。非方向性平滑モードは、図１０を参照して上述したように、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、およびＳＭＯＯＴＨ＿Ｈモードを含み得る。

一実施形態では、ブロックは、非方向性モードのうちの１つで符号化される。したがって、非方向性モードのうちの１つに関連付けられた１つまたは複数の非分離変換のセットを決定することができ、ここで、（ａ）非方向性モードのうちの少なくとも他の１つ、および、（ｂ）公称モード、のうちの１つは、１つまたは複数の非分離変換のセットに関連付けられることができる。公称モードは、図９で説明したように、８つの公称モード（９０１）～（９０８）Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤのうちの１つであり得る。また、１つまたは複数の非分離変換のセットにおける非分離変換は、上述と同様に、コーディング情報によって示される非分離変換インデックスに基づいて決定されることができる。その後、ブロックは、非方向性モードおよび非分離変換に基づいて再構築されることができる。

非方向性モードのうちの１つ、および、非方向性モードのうちの少なくとも他の１つと公称モードとのうちの１つは、（ａ）再帰的フィルタリングモード、および、ＤＣモードとＳＭＯＯＴＨモードとのうちの１つと、（ｂ）ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｈモード、およびＳＭＯＯＴＨ＿Ｖモードと、（ｃ）ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｈモード、ＳＭＯＯＴＨ＿Ｖモード、およびＰＡＥＴＨモードと、（ｄ）再帰的フィルタリングモード、ＳＭＯＯＴＨモード、およびＰＡＥＴＨモードと、（ｅ）Ｖ＿ＰＲＥＤ（または公称モードの垂直モード）およびＳＭＯＯＴＨ＿Ｖモードと、（ｆ）Ｈ＿ＰＲＥＤ（または公称モードの水平モード）およびＳＭＯＯＴＨ＿Ｈモードと、（ｖ）ＣｆＬモード、および、ＤＣモードとＳＭＯＯＴＨモードとＰＡＥＴＨモードとのうちの１つと、のうちの１つを含み得る。

一般に、１つまたは複数の非分離変換の同じセットは、複数の公称モード（例えば、公称モード（９０１）～（９０８））と、複数の非方向性モード（例えば、上述した非方向性モード）とを含むモードセット内の２つまたは複数のモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、再帰的フィルタリングモード（または再帰的フィルタリングモード）およびＤＣモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、再帰的フィルタリングモード（または再帰的フィルタリングモード）およびＳＭＯＯＴＨモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｈモード、およびＳＭＯＯＴＨ＿Ｖモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｈモード、ＳＭＯＯＴＨ＿Ｖモード、およびＰＡＥＴＨモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、再帰的フィルタリングモード、ＳＭＯＯＴＨモード、およびＰＡＥＴＨモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、垂直モード（Ｖ＿ＰＲＥＤ）およびＳＭＯＯＴＨ＿Ｖモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、水平モード（Ｈ＿ＰＲＥＤ）およびＳＭＯＯＴＨ＿Ｈ予測モードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、ＣｆＬモードおよびＤＣモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、ＣｆＬモードおよびＳＭＯＯＴＨモードに適用されることができる。

１つまたは複数の非分離変換の同じセット（または１つまたは複数の非分離変換カーネルの同じセット）は、ＣｆＬモードおよびＰＡＥＴＨモードに適用されることができる。

図１６は、本開示の一実施形態によるプロセス（１６００）を概説するフローチャートを示す。プロセス（１６００）は、ブロックの再構築に使用されることができる。様々な実施形態において、該プロセス（１６００）は、端末装置（３１０）、（３２０）、（３３０）および（３４０）内の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、該プロセス（１６００）はソフトウェア命令で実施されるため、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１６００）を実行する。該プロセスは、（Ｓ１６０１）で開始し、（Ｓ１６１０）に進む。

（Ｓ１６１０）では、符号化されたビデオビットストリームから、再構築されるべきブロックのコーディング情報をデコードすることができる。コーディング情報は、そのブロックのイントラ予測情報を示すことができる。

（Ｓ１６２０）では、方向性モードで符号化されたブロックに対して、上述したように、公称モードおよび角度オフセットに基づいて方向性モードを決定することができる。コーディング情報は、公称モード（例えば、符号化されたビデオビットストリームでシグナリングされた公称モードインデックスを用いる）および角度オフセット（例えば、符号化されたビデオビットストリームでシグナリングされた角度オフセットインデックス）を示すことができる。

（Ｓ１６３０）では、方向性モードで符号化されたブロックに対して、上述したように、公称モードに基づいて、ブロックの非分離変換を決定することができる。また、非分離変換を含む１つまたは複数の非分離変換のセットを、公称モードに基づいて決定することができる。例えば、公称モードに関連付けられる変換セットモードを決定し、この変換セットモードは、１つまたは複数の非分離変換のセットを示す。さらに、コーディング情報は、非分離変換インデックスを示すことができる。１つまたは複数の非分離変換のセットにおける非分離変換を、非分離変換インデックスに基づいて決定することができる。

（Ｓ１６４０）では、方向性モードで符号化されたブロックに対して、方向性モードおよび非分離変換に基づいて、このブロックを再構築することができる。一例では、非分離変換は、一次変換であり、非分離型一次変換は、ブロックに適用される。一例では、非分離変換は、二次変換であり、非分離二次変換は、ブロックに適用される。プロセス（１６００）は、（Ｓ１６９９）に進み、終了する。

プロセス（１６００）は、様々なシナリオに好適に対応することができ、プロセス（１６００）内のステップは、それに応じて調整されることができる。プロセス（１６００）内の１つまたは複数のステップは、適用され、省略され、繰り返され、および／または組み合わせられることができる。プロセス（１６００）を実施するために任意の適切な順序を使用することができる。

方法（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（たとえば、１つまたは複数のプロセッサ、または１つまたは複数の集積回路）によって実施されてもよい。一例では、１つまたは複数のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されているプログラムを実行する。

以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実行され、１つまたは複数のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図１７は、開示された主題の特定の実施形態を実行することに適したコンピュータシステム（１７００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム（１７００）について、図１７に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（１７００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。

コンピュータシステム（１７００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

入力ヒューマンインターフェースデバイスは、キーボード（１７０１）、マウス（１７０２）、トラックパッド（１７０３）、タッチスクリーン（１７１０）、データグローブ（図示せず）、ジョイスティック（１７０５）、マイクフォン（１７０６）、スキャナ（１７０７）、カメラ（１７０８）（それぞれ１つのみ示されている）のうちの１つまたは複数を含み得る。

コンピュータシステム（１７００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１７１０）、データグローブ（図示せず）、またはジョイスティック（１７０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（１７０９）、ヘッドホン（示されていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１７１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。

コンピュータシステム（１７００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（１７２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１７２０）を含む光学媒体、サムドライブ（１７２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１７２３）、テープやフロッピー（登録商標）ディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（示されていない）などをも含むことができる。

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

コンピュータシステム（１７００）は、１つまたは複数の通信ネットワーク（１７５５）へのインターフェース（１７５４）をさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（１７４９）（例えば、コンピューターシステム（１７００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピューターシステム（１７００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネット（登録商標）インターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（１７００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（１７００）のコア（１７４０）に接続されることができる。

コア（１７４０）は、１つまたは複数の中央処理装置（ＣＰＵ）（１７４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（１７４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１７４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１７４４）、グラフィックアダプタ（１７５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１７４５）、ランダムアクセスメモリ（１７４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１７４７）とともに、システムバス（１７４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１７４８）は、１つまたは複数の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（１７４８）に直接、または周辺バス（１７４９）を介して接続されることができる。一例では、ディスプレイ（１７１０）は、グラフィックアダプタ（１７５０）に接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、ＦＰＧＡ（１７４３）、およびアクセラレータ（１７４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１７４５）またはＲＡＭ（１７４６）に記憶されることができる。推移データはＲＡＭ（１７４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（１７４７）に記憶されることができる。１つまたは複数のＣＰＵ（１７４１）、ＧＰＵ（１７４２）、大容量ストレージ（１７４７）、ＲＯＭ（１７４５）、ＲＡＭ（１７４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（１７００）、特にコア（１７４０）は、１つまたは複数の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（１７４７）またはＲＯＭ（１７４５）などの非一時的な性質を持つコア（１７４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（１７４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１７４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１７４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更する言を含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（１７４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

付録Ａ：頭字語
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオコーディング）
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ（ベンチマークセット）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオコーディング）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ（変換ユニット）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ（予測ユニット）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ（コーディングツリーユニット）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ（コーディングツリーブロック）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（中央処理装置）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（グラフィックスプロセッシングユニット）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリーメモリ）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（グローバルモバイル通信システム）
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ）
ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ（ソリッドステートドライブ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（コーディングユニット）

本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されるであろう。

３００ 通信システム
３１０，３２０，３３０，３４０ 端末装置
３５０ ネットワーク
４００ ストリーミングシステム
４０１ ビデオソース
４０２ ビデオピクチャ
４０３ ビデオエンコーダ
４０４ エンコードされたビデオデータ（エンコードされたビデオビットストリーム）
４０５ ストリーミングサーバ
４０６，４０８ クライアントサブシステム
４０７，４０９ エンコードされたビデオデータのコピー
４１０ ビデオコーダ
４１１ ビデオピクチャ
４１２ ディスプレイ
４１３ キャプチャサブシステム
４２０，４３０ 電子デバイス
５０１ チャネル
５１０ ビデオデコーダ
５１２ レンダリングデバイス
５１５ バッファメモリ
５２０ エントロピーデコーダ／パーサ
５２１ シンボル
５３０ 電子デバイス
５３１ 受信機
５５１ スケーラ／逆変換ユニット
５５２ イントラ予測ユニット
５５３ 動き補償予測ユニット
５５５ アグリゲータ
５５６ ループフィルタユニット
５５７ 参照ピクチャメモリ
５５８ 現在ピクチャバッファ
６０１ ビデオソース
６０３ ビデオエンコーダ
６２０ 電子デバイス
６３０ ソースコーダ
６３２ コーディングエンジン
６３３ （ローカル）デコーダ
６３４ 参照ピクチャメモリ
６３５ 予測器
６４０ 送信機
６４３ 符号化ビデオシーケンス
６４５ エントロピーコーダ
６５０ コントローラ
６６０ 通信チャネル
７０３ ビデオエンコーダ
７２１ 統括制御部
７２２ イントラエンコーダ
７２３ 残差算出部
７２４ 残差エンコーダ
７２５ エントロピーエンコーダ
７２６ スイッチ
７２８ 残差デコーダ
７３０ インターエンコーダ
８１０ ビデオデコーダ
８７１ エントロピーデコーダ
８７２ イントラデコーダ
８７３ 残差デコーダ
８７４ 再構築モジュール
８８０ インターデコーダ
１２１０ コーディングブロック
１３００，１４００ 変換プロセス
１３１０ 順方向一次変換
１３１２ 順方向二次変換（順方向低周波非分離変換（ＬＦＮＳＴ））
１３１３ 係数ブロック
１３１４ 量子化
１３２０ 逆方向一次変換
１３２２ 逆方向二次変換（逆方向ＬＦＮＳＴ）
１３２３ 係数ブロック
１３２４ 逆量子化
１４１２ 順方向二次変換
１４１３ 係数ブロック
１４１６ ビットストリーム
１４２２ 逆方向二次変換
１４２３ 係数ブロック
１７００ コンピュータシステム
１７０１ キーボード
１７０２ マウス
１７０３ トラックパッド
１７０５ ジョイスティック
１７０６ マイクロフォン
１７０７ スキャナ
１７０８ カメラ
１７０９ スピーカ
１７１０ （タッチ）スクリーン
１７２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１７２１ 媒体
１７２２ サムドライブ
１７２３ ソリッドステートドライブ
１７４０ コア
１７４１ 中央処理装置（ＣＰＵ）
１７４２ グラフィックプロセッシングユニット（ＧＰＵ）
１７４３ フィールドプログラマブルゲートアレイ（ＦＰＧＡ）
１７４４ ハードウェアアクセラレータ
１７４５ リードオンリーメモリ（ＲＯＭ）
１７４６ ランダムアクセスメモリ（ＲＡＭ）
１７４７ 内部大容量記憶装置
１７４８ システムバス
１７４９ 周辺バス
１７５０ グラフィックスアダプタ
１７５４ ネットワークインターフェース
１７５５ 通信ネットワーク

なお、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、１つまたは複数の集積回路を用いて実施されることができる。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、ソフトウェア命令を実行する１つまたは複数のプロセッサを用いて実施されることができる。

Claims (21)

1. デコーダにおけるビデオデコードのための方法であって、
   符号化されたビデオビットストリームから、再構築されるべきブロックのコーディング情報をデコードするステップであって、前記コーディング情報は、前記ブロックのイントラ予測情報を示すものである、ステップと、
   方向性モードで符号化された前記ブロックに対して、
   公称モードおよび角度オフセットに基づいて、前記方向性モードを決定するステップであって、前記コーディング情報は、前記公称モードおよび前記角度オフセットを示すものである、ステップと、
   前記公称モードに基づいて、前記ブロックの非分離変換を決定するステップと、
   前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築するステップと、
   を含む方法。
2. 非分離変換を決定する前記ステップは、
   前記公称モードに関連付けられる変換セットモードを決定するステップであって、前記変換セットモードは、前記非分離変換を含む１つまたは複数の非分離変換のセットを示すものである、ステップをさらに含む、請求項１に記載の方法。
3. 前記コーディング情報は、非分離変換インデックスをさらに示しており、
   前記ブロックを再構築する前記ステップは、
   前記非分離変換インデックスに基づいて、前記１つまたは複数の非分離変換のセットにおける前記非分離変換を決定するステップと、
   前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築するステップと、をさらに含む、請求項２に記載の方法。
4. 前記非分離変換は、非分離二次変換である、請求項３に記載の方法。
5. 前記非分離二次変換は、ＰＡＥＴＨモードと再帰的フィルタリングモードとのうちの少なくとも１つに適用されない、請求項４に記載の方法。
6. 前記方向性モードおよび前記非分離二次変換に基づいて、前記ブロックを再構築するステップは、
   前記ブロックの最初の変換係数をエントロピー符号化するために使用される走査順序に沿って、前記非分離二次変換を最初のＮ個の変換係数にのみ適用するステップをさらに含む、請求項４に記載の方法。
7. 前記方向性モードおよび前記非分離二次変換に基づいて、前記ブロックを再構築するステップは、
   前記非分離二次変換を前記ブロックの第１の変換係数にのみ適用するステップであって、前記第１の変換係数のそれぞれは座標（ｘ，ｙ）を有し、それぞれのｘ座標およびｙ座標の合計は閾値よりも小さい、ステップをさらに含む、請求項４に記載の方法。
8. 前記ブロックの一次変換における水平変換および垂直変換は、折れ線グラフ変換のセットのサブセットに含まれる、請求項４に記載の方法。
9. 前記ブロックは、前記非分離二次変換を用いて得られた第１の変換係数と、前記非分離二次変換を用いずに得られた第２の変換係数とを含み、
   前記ブロックを再構築する前記ステップは、前記第１の変換係数と前記第２の変換係数とを別々にエントロピーデコードするステップをさらに含む、請求項４に記載の方法。
10. 非方向性モードは、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、再帰的フィルタリングモード、およびルマに基づくクロマ（ＣｆＬ）モードを含み、前記ＤＣモード、前記ＰＡＥＴＨモード、前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＳＭＯＯＴＨ＿Ｈモードは、前記ブロックの隣接サンプルの平均化に基づいており、
    前記非方向性モードのうちの１つで符号化された前記ブロックに対して、
    前記非方向性モードのうちの１つに関連付けられた１つまたは複数の非分離変換のセットを決定し、（ａ）前記非方向性モードのうちの少なくとも他の１つ、および、（ｂ）公称モード、のうちの１つは、前記１つまたは複数の非分離変換のセットに関連付けられており、
    前記コーディング情報によって示される非分離変換インデックスに基づいて、前記１つまたは複数の非分離変換のセットにおける非分離変換を決定し、
    前記非方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築する、請求項１に記載の方法。
11. 前記非方向性モードのうちの１つ、および、前記非方向性モードのうちの少なくとも他の１つと前記公称モードとのうちの１つは、（ａ）前記再帰的フィルタリングモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードとのうちの１つと、（ｂ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｃ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＰＡＥＴＨモードと、（ｄ）前記再帰的フィルタリングモード、前記ＳＭＯＯＴＨモード、および前記ＰＡＥＴＨモードと、（ｅ）前記公称モードの垂直モード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｆ）前記公称モードの水平モード、および前記ＳＭＯＯＴＨ＿Ｈモードと、（ｖ）前記ＣｆＬモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードと前記ＰＡＥＴＨモードとのうちの１つと、のうちの１つを含む、請求項１０に記載の方法。
12. ビデオデコードのための装置であって、
    符号化されたビデオビットストリームから、再構築されるべきブロックのコーディング情報をデコードすることであって、前記コーディング情報は、前記ブロックのイントラ予測情報を示すものである、ことと、
    方向性モードで符号化された前記ブロックに対して、
    公称モードおよび角度オフセットに基づいて、前記方向性モードを決定することであって、前記コーディング情報は、前記公称モードおよび前記角度オフセットを示すものである、ことと、
    前記公称モードに基づいて、前記ブロックの非分離変換を決定することと、
    前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することと、を実行するように構成される処理回路
    を備える装置。
13. 前記処理回路は、
    前記公称モードに関連付けられる変換セットモードを決定することであって、前記変換セットモードは、前記非分離変換を含む１つまたは複数の非分離変換のセットを示すものである、ことをさらに実行するように構成される、請求項１２に記載の装置。
14. 前記コーディング情報は、非分離変換インデックスをさらに示しており、
    前記処理回路は、
    前記非分離変換インデックスに基づいて、前記１つまたは複数の非分離変換のセットにおける前記非分離変換を決定することと、
    前記方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することと、を実行するように構成される、請求項１３に記載の装置。
15. 前記非分離変換は、非分離二次変換である、請求項１４に記載の装置。
16. 前記処理回路は、
    前記ブロックの最初の変換係数をエントロピー符号化するために使用される走査順序に沿って、前記非分離二次変換を最初のＮ個の変換係数にのみ適用することを実行するように構成される、請求項１５に記載の装置。
17. 前記処理回路は、
    前記非分離二次変換を前記ブロックの第１の変換係数にのみ適用することであって、前記第１の変換係数のそれぞれは座標（ｘ，ｙ）を有し、それぞれのｘ座標およびｙ座標の合計は閾値よりも小さい、ことを実行するように構成される、請求項１５に記載の装置。
18. 前記ブロックの一次変換における水平変換および垂直変換は、折れ線グラフ変換のセットのサブセットに含まれる、請求項１５に記載の装置。
19. 前記ブロックは、前記非分離二次変換を用いて得られた第１の変換係数と、前記非分離二次変換を用いずに得られた第２の変換係数とを含み、
    前記処理回路は、前記第１の変換係数および前記第２の変換係数を別々にエントロピーデコードすることを実行するように構成される、請求項１５に記載の装置。
20. 非方向性モードは、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、再帰的フィルタリングモード、およびルマに基づくクロマ（ＣｆＬ）モードを含み、前記ＤＣモード、前記ＰＡＥＴＨモード、前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＳＭＯＯＴＨ＿Ｈモードは、前記ブロックの隣接サンプルの平均化に基づいており、
    前記非方向性モードのうちの１つで符号化された前記ブロックに対して、前記処理回路は、
    前記非方向性モードのうちの１つに関連付けられた１つまたは複数の非分離変換のセットを決定することであって、（ａ）前記非方向性モードのうちの少なくとも他の１つ、および、（ｂ）公称モード、のうちの１つは、前記１つまたは複数の非分離変換のセットに関連付けられている、ことと、
    前記コーディング情報によって示される非分離変換インデックスに基づいて、前記１つまたは複数の非分離変換のセットにおける非分離変換を決定することと、
    前記非方向性モードおよび前記非分離変換に基づいて、前記ブロックを再構築することと、を実行するように構成される、請求項１２に記載の装置。
21. 前記非方向性モードのうちの１つ、および、前記非方向性モードのうちの少なくとも他の１つと前記公称モードとのうちの１つは、（ａ）前記再帰的フィルタリングモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードとのうちの１つと、（ｂ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｃ）前記ＳＭＯＯＴＨモード、前記ＳＭＯＯＴＨ＿Ｈモード、前記ＳＭＯＯＴＨ＿Ｖモード、および前記ＰＡＥＴＨモードと、（ｄ）前記再帰的フィルタリングモード、前記ＳＭＯＯＴＨモード、および前記ＰＡＥＴＨモードと、（ｅ）前記公称モードの垂直モード、および前記ＳＭＯＯＴＨ＿Ｖモードと、（ｆ）前記公称モードの水平モード、および前記ＳＭＯＯＴＨ＿Ｈモードと、（ｖ）前記ＣｆＬモード、および、前記ＤＣモードと前記ＳＭＯＯＴＨモードと前記ＰＡＥＴＨモードとのうちの１つと、のうちの１つを含む、請求項２０に記載の装置。

Images