JP2023504333A - 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム - Google Patents

符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム Download PDF

Info

Publication number
JP2023504333A
JP2023504333A JP2022508945A JP2022508945A JP2023504333A JP 2023504333 A JP2023504333 A JP 2023504333A JP 2022508945 A JP2022508945 A JP 2022508945A JP 2022508945 A JP2022508945 A JP 2022508945A JP 2023504333 A JP2023504333 A JP 2023504333A
Authority
JP
Japan
Prior art keywords
transform
chroma
luma
skip flag
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022508945A
Other languages
English (en)
Inventor
クリストファー ジェームズ ロゼワーン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2023504333A publication Critical patent/JP2023504333A/ja
Priority to JP2024023035A priority Critical patent/JP2024056945A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号するシステムおよび方法であって、符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有する。方法は、符号化ユニットのルマ変換ブロックに対して、ビデオビットストリームからルマ変換スキップフラグを復号することと、ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、復号することと、二次変換インデックスを決定することであって、決定することは、ルマ変換スキップフラグと少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、ビデオビットストリームから二次変換インデックスを復号することと、ルマ変換スキップフラグと少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように二次変換インデックスを決定することと、を含む、決定することと、符号化ユニットを復号するために、復号されたルマ変換スキップフラグと少なくとも１つのクロマ変換スキップフラグと決定された二次変換インデックスとに従って、ルマ変換ブロックと少なくとも１つのクロマ変換ブロックとを変換することと、を含む。【選択図】図１６

Description

関連出願の参照
本出願は、２０１９年１２月３日に出願されたオーストラリア国特許出願第２０１９２７５５５２号の米国特許法セクション１１９に基づく出願日の利益を主張するものであり、本明細書に完全に記載されているかのように、その全体が参照により組み込まれる。
本発明は、一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化および復号化するための方法、装置およびシステムに関するものである。また、本発明は、ビデオサンプルのブロックを符号化および復号化するためのコンピュータプログラムを記録したコンピュータ可読媒体を含むコンピュータプログラム製品にも関する。
ビデオデータの送信および保存のためのアプリケーションを含む、ビデオ符号化のための多くのアプリケーションが現在存在する。また、多くのビデオ符号化標準が開発されており、他のものも現在開発中である。ビデオ符号化の標準化の最近の進展により、「ジョイントビデオエキスパートチーム」（ＪＶＥＴ）と呼ばれるグループが形成されている。ジョイントビデオエキスパートチーム（ＪＶＥＴ）は、「ビデオ符号化エキスパートグループ」（ＶＣＥＧ）とも呼ばれる国際電気通信連合（ＩＴＵ）の電気通信標準化部門（ＩＴＵ－Ｔ）のスタディグループ１６，研究課題６（ＳＧ１６／Ｑ６）のメンバーと「動画エキスパートグループ」（ＭＰＥＧ）とも呼ばれる国際標準化機構／国際電気標準会議のジョイント技術委員会１／サブ委員会２９／作業グループ１１（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）のメンバーとを含んでいる。
ジョイントビデオエキスパートチーム（ＪＶＥＴ）は、提案募集（ＣｆＰ）を発行し、米国のサンディエゴで開催された第１０回会議で回答を分析した。提出された提案は、現在の最新ビデオ圧縮規格である「高効率ビデオ符号化」（ＨＥＶＣ）を大幅に上回るビデオ圧縮能力を示していた。この結果を受けて、新たなビデオ圧縮規格である「多用途ビデオ符号化（ＶＶＣ）」の開発プロジェクトを開始することが決定された。ＶＶＣは、ビデオフォーマットの高機能化（高解像度化、高フレームレート化）や、帯域コストが相対的に高いＷＡＮ上でのサービス提供に対する市場の要求の高まりを受けて、これまで以上に高い圧縮性能が求められている。没入型ビデオなどのユースケースでは、このような高次フォーマットのリアルタイムの符号化と復号化が必要であり、例えば、キューブマッププロジェクション（ＣＭＰ）では、最終的にレンダリングされる「ビューポート」が低解像度であっても、８Ｋフォーマットを使用することがある。ＶＶＣは現代のシリコンプロセスで実装可能でなければならず、達成された性能と実装コストの間に許容できるトレードオフを提供しなければならない。実装コストは、例えば、シリコン面積、ＣＰＵプロセッサの負荷、メモリ利用率、帯域幅の１以上の観点から検討することができる。高次のビデオフォーマットは、フレーム領域を複数のセクションに分割し、各セクションを並行して処理することによって処理することができる。「シングルコア」復号化器による復号化（つまり、ビットレートを含むフレームレベルの制約）に適した、圧縮フレームの複数のセクションから構築されたビットストリームは、アプリケーションのニーズに応じて各セクションに割り当てられる。
ビデオデータは、各フレームが１つ以上のカラーチャネルを含む画像データの複数のフレームのシーケンスを含む。一般的には、１つのプライマリカラーチャネルと２つのセカンダリカラーチャネルが必要である。プライマリカラーチャネルは一般に「ルマ」チャネルと呼ばれ、セカンダリカラーチャネル（複数可）は一般に「クロマ」チャネルと呼ばれる。ビデオデータは通常、ＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は３つの成分の間に高度な相関関係がある。符号化器や復号化器が見るビデオデータの表現は、多くの場合、ＹＣｂＣｒなどの色空間を用いている。ＹＣｂＣｒは、伝達関数によって「ルマ」にマッピングされた輝度をＹ（プライマリ）チャネルに、クロマをＣｂとＣｒ（セカンダリ）チャネルに集約している。相関の無いＹＣｂＣｒ信号を使用するため、ルマチャネルの統計量はクロマチャネルの統計量と大きく異なる。主な違いは、量子化の後、クロマチャネルは、対応するルマチャネルブロックの係数と比較して、所与のブロックの有意な係数が比較的少ないことである。さらに、ＣｂおよびＣｒチャネルは、例えば水平方向に半分、垂直方向に半分というように、ルマチャネルに比べて低いレートで空間的にサンプリングされる（サブサンプルされる）ことがあり、これは「４：２：０クロマフォーマット」として知られている。４：２：０クロマフォーマットは、インターネットビデオストリーミング、テレビ放送、ブルーレイディスクへの保存など、一般消費者向けのアプリケーションで使用されている。ＣｂチャネルとＣｒチャネルを水平方向にハーフレートでサブサンプリングし、垂直方向にはサブサンプリングしない方式は「４：２：２クロマフォーマット」として知られている。４：２：２クロマフォーマットは、映画製作用のビデオを撮影するなど、プロ向けの用途で使用されることが多い。４：２：２クロマフォーマットは、サンプリングレートが高いため、カラーグレーディングなどの編集作業に強いビデオが得られる。４：２：２クロマフォーマットの素材は、消費者に配信されるために、４：２：０クロマフォーマットに変換された後、符号化されることが多い。クロマフォーマットに加えて、ビデオは解像度とフレームレートによっても特徴づけられる。解像度は３８４０ｘ２１６０の超高精細（ＵＨＤ）や７６８０ｘ４３２０の「８Ｋ」などがあり、フレームレートは６０Ｈｚや１２０Ｈｚなどがある。ルマのサンプルレートは、約５００メガサンプル／秒から数ギガサンプル／秒の範囲になる。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの１／４であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの１／２である。
ＶＶＣ規格は「ブロックベース」のコーデックであり、フレームはまず「符号化ツリーユニット」（ＣＴＵ）として知られる正方形の領域配列に分割される。フレームが複数のＣＴＵに整数分割できない場合、左端と下端に沿った複数のＣＴＵはフレームサイズに合わせて切り捨てられることがある。ＣＴＵは一般的に、１２８×１２８のルマサンプルのような比較的大きな領域を占める。ただし、フレームの右端や下端にあるＣＴＵは面積が小さい場合がある。各ＣＴＵに関連付けられた「符号化ツリー」は、ルマチャネルとクロマチャネルの両方に対して単一の（シングル）ツリー（「共有ツリー」）であってもよく、ルマチャネルとクロマチャネルのそれぞれに対して別々のツリー（「デュアルツリー」）に「フォーク」を含んでもよい。符号化ツリーは、ＣＴＵの領域を「符号化ユニット」（ＣＵ）と呼ばれるブロックの集合への分解を定義する。ＣＢは特定の順序で符号化または復号化のために処理される。ルマとクロマの別々の符号化ツリーは一般に６４×６４のルマサンプル粒度で始まり、それ以上は共有ツリーが存在する。４：２：０クロマフォーマットを採用しているため、６４×６４のルマサンプル粒度で始まる個別の符号化ツリー構造には、３２×３２クロマサンプル領域を持つクロマ符号化ツリーが配置される。「ユニット」は、ブロックの元となる符号化ツリーの全カラーチャネルに適用されることを示す。単一の符号化ツリーは、１つのルマ符号化ブロックと２つのクロマ符号化ブロックを有する符号化ユニットになる。別の符号化ツリーのルマブランチは、それぞれが１つのルマ符号化ブロックを有する符号化ユニットをもたらし、別の符号化ツリーのクロマブランチは、それぞれが１対のクロマブロックを有する符号化ユニットをもたらす。上述のＣＵはまた、「予測ユニット」（ＰＵ）、および「変換ユニット」（ＴＵ）に関連付けられ、これらの各々は、ＣＵが派生する符号化ツリーのすべてのカラーチャネルに適用される。同様に、符号化ブロックは、予測ブロック（ＰＢ）および変換ブロック（ＴＢ）と関連付けられ、それぞれが単一のカラーチャネルに適用される。４：２：０クロマフォーマットビデオデータのカラーチャネルにまたがるＣＵを持つ単一のツリーは、クロマ符号化ブロックが対応するルマ符号化ブロックの半分の幅と高さを持つ結果となる。
上記の「ユニット」と「ブロック」の区別にかかわらず、「ブロック」という用語は、すべてのカラーチャネルに演算が適用されるフレームのエリアまたは領域の一般的な用語として使用することができる。
各ＣＵについて、フレームデータの対応するエリアのコンテンツ（サンプル値）の予測ユニット（ＰＵ）が生成される。さらに、予測値と、符号化器への入力時に見られる領域のコンテンツとの間の差（または「空間領域」残差）の表現が形成される。各カラーチャネルの差は、残差係数のシーケンスとして変換されかつ符号化され、所定のＣＵに対する１つまたは複数のＴＵを形成することができる。適用される変換は、残差値の各ブロックに適用される離散コサイン変換（ＤＣＴ）または他の変換であってもよい。この変換は分離して適用され、二次元変換は２つのパスで実行される。まず、ブロック内のサンプルの各行に１次元変換を適用してブロックを変換しり。次に、部分結果の各列に一次元変換を適用して部分結果を変換し、残差サンプルを実質的に相関させる変換係数の最終ブロックを生成する。ＶＶＣ規格では、様々なサイズの変換がサポートされており、各辺が２の累乗になっている長方形のブロックの変換も含まれる。変換係数は、ビットストリームへのエントロピー符号化のために量子化される。さらに、分離不可能な変換ステージが適用されることもある。最後に、変換の適用がバイパスされることもある。
ＶＶＣの特徴は、イントラフレーム予測とインターフレーム予測である。イントラフレーム予測は、フレーム内で以前に処理されたサンプルを使用して、フレーム内の現在のサンプルブロックの予測を生成するものである。インターフレーム予測は、以前に復号されたフレームから得られたサンプルのブロックを使用して、フレーム内のサンプルの現在のブロックの予測を生成することを含む。以前に復号化されたフレームから得られたサンプルのブロックは、動きベクトルに従って現在のブロックの空間的位置からオフセットされ、多くの場合、フィルタリングが適用されている。イントラフレーム予測ブロックは、（ｉ）一様なサンプル値（「ＤＣイントラ予測」）、（ｉｉ）オフセットと水平および垂直勾配を有する平面（「平面イントラ予測」）、（ｉｉｉ）特定の方向に適用される近隣のサンプルとブロックの集団（「角度イントラ予測」）、または（ｉｖ）近隣のサンプルと選択した行列係数を用いた行列積の結果であり得る。予測されたブロックと対応する入力サンプルとの間のさらなる不一致は、ビットストリームに「残差」を符号化することによってある程度補正することができる。残差は一般に空間領域から周波数領域に変換されて（「一次変換」領域で）残差係数を形成し、（「二次変換領域」で残差係数を生成するために）「二次変換」の適用によってさらに変換されることがある。残差係数は量子化パラメータに従って量子化され、その結果、復号化器で生成されるサンプルの再構成の精度は失われるが、ビットストリームのビットレートは減少する。
量子化パラメータは、フレーム間および各フレーム内で変化することがある。フレーム内で量子化パラメータを変化させることは、「レート制御」符号化器の典型的な例である。レート制御符号化器は、ノイズ特性や動きの度合いなど、受信した入力サンプルの統計に関係なく、実質的に一定のビットレートでビットストリームを生成しようとするものである。ビットストリームは通常、帯域幅が限られたネットワーク上で伝送されるため、レート制御は、符号化器に入力されるオリジナルフレームの変動にかかわらず、ネットワーク上で信頼できるパフォーマンスを確保するために広く使用されている技術である。フレームが並列セクションで符号化される場合、セクションによって要求される忠実度が異なるため、レート制御の使用には柔軟性が必要である。
また、メモリ使用量や精度の高さ、通信の効率性などの実装コストも重要である。
本発明の目的は、既存の装置の１つまたは複数の欠点を実質的に克服し、または少なくとも改善することである。
本発明の一態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
二次変換インデックスを決定することであって、該決定することは、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
を含む、方法を提供する。
別の態様によれば、前記復号されたルマ変換スキップフラグは、前記少なくとも１つのクロマ変換スキップフラグと異なる値を有する。
別の態様によれば、前記復号されたルマ変換スキップフラグがルマブロックの変換がスキップされることを示すとき、前記二次変換インデックスは、前記復号された少なくとも１つのクロマスキップフラグに基づいて前記少なくとも１つのクロマ変換ブロックに対して復号される。
別の態様によれば、前記変換することは、二次変換の適用をスキップすること、または、前記決定された二次変換インデックスに基づいて適用のために２つの二次変換カーネルのうちの１つを選択すること、の１つを含む。
本発明の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、少なくとも１つのクロマカラーチャネルを有し、前記方法は、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、クロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
前記符号化ユニットの前記少なくとも１つのクロマ変換ブロックに対する二次変換インデックスを決定することであって、該決定することは、
前記少なくとも１つのクロマ変換スキップフラグの何れかが、それぞれのクロマ変換ブロックに変換が適用されることを示すとき、前記ビデオビットストリームから前記二次変換インデックスを復号することと、
前記クロマ変換スキップフラグの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記少なくとも１つのクロマ変換ブロックの各々を、それぞれのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って変換することと、
を含む、方法を提供する。
本開示の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
二次変換インデックスを決定することであって、該決定することは、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
を含む、方法を提供する。
本発明の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するためのコンピュータプログラムを格納した非一時的コンピュータ可読媒体であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
二次変換インデックスを決定することであって、該決定することは、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
を含む、非一時的コンピュータ可読媒体を提供する。
本発明の別の態様は、システムであって、
メモリと、
プロセッサであって、該プロセッサは、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するために前記メモリに格納されたコードを実行するように構成され、前記符号化ユニットは、少なくとも１つのクロマカラーチャネルを有する、前記プロセッサと、
を含み、前記方法は、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、クロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
前記符号化ユニットの前記少なくとも１つのクロマ変換ブロックに対する二次変換インデックスを決定することであって、該決定することは、
前記少なくとも１つのクロマ変換スキップフラグの何れかが、それぞれのクロマ変換ブロックに変換が適用されることを示すとき、前記ビデオビットストリームから前記二次変換インデックスを復号することと、
前記少なくとも１つのクロマ変換スキップフラグの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記少なくとも１つのクロマ変換ブロックの各々を、それぞれのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って変換することと、
を含む、システムを提供する。
本発明の別の態様は、ビデオ復号化器であって、
ビデオビットストリームからの画像フレームを受信し、
前記画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを決定し、前記符号化ユニットは１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、
前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号し、
前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号し、復号されたクロマ変換スキップフラグの各々は前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応し、
二次変換インデックスを決定し、該決定は、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
を含み、
前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換する
ように構成された、ビデオ復号化器を提供する。
本発明の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記方法は、
前記符号化ユニットの変換ブロックのためのスキャンパターンを決定することであって、ここで、前記スキャンパターンは、残差係数のサブブロックの複数のオーバーラップしないコレクションを進行することによって前記変換ブロックを横断し、前記スキャンパターンは、現在のコレクションのスキャンを完了した後に、前記複数のコレクションの前記現在のコレクションから次のコレクションに進行する、前記決定することと、
前記決定されたスキャンパターンに従って前記ビデオビットストリームから残差係数を復号することと、
前記符号化ユニットに対する複数変換選択インデックスを決定することであって、該決定することは、
前記スキャンパターンに沿って遭遇する最後の有意な係数が前記変換ブロックの閾値直交位置にあるか又はその範囲内にあるとき、前記ビデオビットストリームから前記複数変換選択インデックスを復号化することと、
前記スキャンパターンに沿った前記変換ブロックの前記最後の有意な残差係数の位置が前記閾値直交位置の外側にあるとき、前記複数変換選択が使用されていないことを示すように前記複数変換選択インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記複数変換選択インデックスに従った変換を適用して前記復号された残差係数を変換することと、
を含む、方法を提供する。
本発明の別の態様は、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するためのコンピュータプログラムを格納した非一時的コンピュータ可読媒体であって、前記方法は、
前記符号化ユニットの変換ブロックのためのスキャンパターンを決定することであって、ここで、前記スキャンパターンは、残差係数のサブブロックの複数のオーバーラップしないコレクションを進行することによって前記変換ブロックを横断し、前記スキャンパターンは、現在のコレクションのスキャンを完了した後に、前記複数のコレクションの前記現在のコレクションから次のコレクションに進行する、前記決定することと、
前記決定されたスキャンパターンに従って前記ビデオビットストリームから残差係数を復号することと、
前記符号化ユニットに対する複数変換選択インデックスを決定することであって、該決定することは、
前記スキャンパターンに沿って遭遇する最後の有意な係数が前記変換ブロックの閾値直交位置にあるか又はその範囲内にあるとき、前記ビデオビットストリームから前記複数変換選択インデックスを復号化することと、
前記スキャンパターンに沿った前記変換ブロックの前記最後の有意な残差係数の位置が前記閾値直交位置の外側にあるとき、前記複数変換選択が使用されていないことを示すように前記複数変換選択インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記複数変換選択インデックスに従った変換を適用して前記復号された残差係数を変換することと、
を含む、非一時的コンピュータ可読媒体を提供する。
本発明の別の態様は、システムであって、
メモリと、
プロセッサであって、該プロセッサは、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するために前記メモリに格納されたコードを実行するように構成される、前記プロセッサと、
を含み、前記方法は、
前記符号化ユニットの変換ブロックのためのスキャンパターンを決定することであって、ここで、前記スキャンパターンは、残差係数のサブブロックの複数のオーバーラップしないコレクションを進行することによって前記変換ブロックを横断し、前記スキャンパターンは、現在のコレクションのスキャンを完了した後に、前記複数のコレクションの前記現在のコレクションから次のコレクションに進行する、前記決定することと、
前記決定されたスキャンパターンに従って前記ビデオビットストリームから残差係数を復号することと、
前記符号化ユニットに対する複数変換選択インデックスを決定することであって、該決定することは、
前記スキャンパターンに沿って遭遇する最後の有意な係数が前記変換ブロックの閾値直交位置にあるか又はその範囲内にあるとき、前記ビデオビットストリームから前記複数変換選択インデックスを復号化することと、
前記スキャンパターンに沿った前記変換ブロックの前記最後の有意な残差係数の位置が前記閾値直交位置の外側にあるとき、前記複数変換選択が使用されていないことを示すように前記複数変換選択インデックスを決定することと、
を含み、
前記符号化ユニットを復号するために、前記複数変換選択インデックスに従った変換を適用して前記復号された残差係数を変換する
ように構成された、ビデオ復号化器を提供する。
本発明の別の態様は、ビデオ復号化器であって、
ビデオビットストリームからの画像フレームを受信し、
前記画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを決定し、
前記符号化ユニットの変換ブロックのためのスキャンパターンを決定し、ここで、前記スキャンパターンは、残差係数のサブブロックの複数のオーバーラップしないコレクションを進行することによって前記変換ブロックを横断し、前記スキャンパターンは、現在のコレクションのスキャンを完了した後に、前記複数のコレクションの前記現在のコレクションから次のコレクションに進行し、
前記決定されたスキャンパターンに従って前記ビデオビットストリームから残差係数を復号し、
前記符号化ユニットに対する複数変換選択インデックスを決定し、該決定は、
前記スキャンパターンに沿って遭遇する最後の有意な係数が前記変換ブロックの閾値直交位置にあるか又はその範囲内にあるとき、前記ビデオビットストリームから前記複数変換選択インデックスを復号化することと、
前記スキャンパターンに沿った前記変換ブロックの前記最後の有意な残差係数の位置が前記閾値直交位置の外側にあるとき、前記複数変換選択が使用されていないことを示すように前記複数変換選択インデックスを決定することと、
を含む、前記決定することと、
前記符号化ユニットを復号するために、前記複数変換選択インデックスに従った変換を適用して前記復号された残差係数を変換することと、
を含む、方法を提供する。
他の態様も開示されている。
以下、本発明の少なくとも一実施形態を、以下の図面および付録を参照して説明する。
図１は、ビデオ符号化および復号化システムを示す概略ブロック図である。
図２Ａは、図１のビデオ符号化および復号化システムの一方または両方が実施され得る汎用コンピュータシステムの概略ブロック図である。 図２Ｂは、図１のビデオ符号化および復号化システムの一方または両方が実施され得る汎用コンピュータシステムの概略ブロック図である。
図３は、ビデオ符号化器の機能モジュールを示す概略ブロック図である。
図４は、ビデオ復号化器の機能モジュールを示す概略ブロック図である。
図５は、多用途ビデオ符号化のツリー構造において、１つのブロックの１つ以上のブロックへの利用可能な分割を示す概略ブロック図である。
図６は、多用途ビデオ符号化のツリー構造において、１つのブロックの１つ以上のブロックへの許可された分割を実現するためのデータフローを示す概略図である。
図７Ａは、符号化ツリーユニット（ＣＴＵ）を多数の符号化ユニット（ＣＵ）に分割する例を示す図である。 図７Ｂは、符号化ツリーユニット（ＣＴＵ）を多数の符号化ユニット（ＣＵ）に分割する例を示す図である。
図８Ａは、異なるサイズの変換ブロックに従って実行される分離不可能な順および逆の２次変換を示す図である。 図８Ｂは、異なるサイズの変換ブロックに従って実行される分離不可能な順および逆の２次変換を示す図である。 図８Ｃは、異なるサイズの変換ブロックに従って実行される分離不可能な順および逆の２次変換を示す図である。 図８Ｄは、異なるサイズの変換ブロックに従って実行される分離不可能な順および逆の２次変換を示す図である。
図９は、様々な大きさの変換ブロックに対する二次変換の適用領域の集合を示す図である。
図１０は、各スライスは複数の符号化ユニットを含んでいる複数のスライスを持つビットストリームのシンタックス構造を示す図である。
図１１は、符号化ツリーユニットのルマ符号化ユニットとクロマ符号化ユニットの共有ツリーを持つビットストリームのシンタックス構造を示す図である。
図１２は、符号化ツリーユニットのルマ符号化ユニットとクロマ符号化ユニットを別々のツリーとしたビットストリームのシンタックス構造を示す図である。
図１３は、フレームを符号化ユニットのシーケンスとして１つ以上のスライスを含むビットストリームに符号化する方法を示す図である。
図１４は、符号化ユニットをビットストリームに符号化する方法を示す図である。
図１５は、ビットストリームからフレームを復号する方法を、スライスに配置された符号化ユニットのシーケンスとして示した図である。
図１６は、ビットストリームから符号化ユニットを復号する方法を示す図である。
図１７は、３２×３２ＴＢの場合の従来のスキャンパターンを示す図である。
図１８は、説明される装置で使用する３２×３２ＴＢのスキャンパターンの例を示す図である。
図１９は、説明される装置のためにコレクションに分割されたサイズ８×３２のＴＢを示す図である。
図２０は、説明される装置で使用される３２×３２ＴＢの異なる例のスキャンパターンを示す図である。
添付図面のいずれか１つ以上において、同じ参照数字を有するステップおよび／または特徴が参照される場合、それらのステップおよび／または特徴は、反対の意図が現れない限り、本明細書の目的のために、同じ機能（複数可）または動作（複数可）を有する。
映像圧縮規格のビットストリームフォーマットのシンタックスは、「シンタックス構造」の階層構造として定義されている。それぞれの構文構造は、構文要素のセットを定義し、そのうちのいくつかは他の要素に条件付けされることがある。シンタックスでは、ツールの有用な組み合わせに対応するシンタックス要素の組み合わせのみを許可すると、圧縮の効率が向上する。さらに、実装は可能であっても、結果として生じる実装コストに対して圧縮の利点が不十分であると考えられる構文要素の組み合わせを禁止することによっても、複雑さが軽減される。
図１は、映像符号化および復号化システム１００の機能モジュールを示す概略ブロック図である。システム１００は、圧縮効率利得が達成されるように、一次および二次変換パラメータをシグナリングする。
システム１００は、ソースデバイス１１０と、デスティネーションデバイス１３０とを含む。通信チャネル１２０は、ソースデバイス１１０からデスティネーションデバイス１３０に符号化されたビデオ情報を通信するために使用される。いくつかの取り決めでは、ソースデバイス１１０およびデスティネーションデバイス１３０のいずれかまたは両方が、それぞれの携帯電話ハンドセットまたは「スマートフォン」を構成してもよく、その場合、通信チャネル１２０は、無線チャネルである。他の構成では、ソースデバイス１１０およびデスティネーションデバイス１３０は、ビデオ会議装置で構成されてもよく、その場合、通信チャネル１２０は、典型的には、インターネット接続などの有線チャネルである。さらに、ソースデバイス１１０およびデスティネーションデバイス１３０は、オーバーザエアのテレビジョン放送、ケーブルテレビアプリケーション、インターネットビデオアプリケーション（ストリーミングを含む）、および符号化されたビデオデータがファイルサーバ内のハードディスクドライブのような何らかのコンピュータ読み取り可能な記憶媒体に取り込まれるアプリケーションをサポートするデバイスを含む、広範囲のデバイスのいずれかを構成してもよい。
図１に示すように、ソースデバイス１１０は、ビデオソース１１２、ビデオ符号化器１１４および送信機１１６を含む。ビデオソース１１２は、典型的には、画像キャプチャセンサ、非一時的記憶媒体に格納された以前にキャプチャされたビデオシーケンス、またはリモート画像キャプチャセンサからのビデオフィードなど、キャプチャされたビデオフレームデータのソース（１１３として示される）を構成する。また、ビデオソース１１２は、コンピュータグラフィックスカードの出力であってもよく、例えば、タブレットコンピュータなどのコンピューティングデバイス上で実行されるオペレーティングシステムや様々なアプリケーションのビデオ出力を表示するものである。ビデオソース１１２としてイメージキャプチャセンサを含むことができるソースデバイス１１０の例には、スマートフォン、ビデオカムコーダ、プロ用ビデオカメラ、およびネットワークビデオカメラが含まれる。
ビデオ符号化器１１４は、図３を参照してさらに説明したように、ビデオソース１１２からのキャプチャされたフレームデータ（矢印１１３で示す）を、ビットストリーム（矢印１１５で示す）に変換（または「符号化」）する。ビットストリーム１１５は、送信機１１６によって、符号化されたビデオデータ（または「符号化されたビデオ情報」）として、通信チャネル１２０を介して送信される。また、ビットストリーム１１５が、後で通信チャネル１２０を介して送信されるまで、または通信チャネル１２０を介した送信に代えて、「フラッシュ」メモリやハードディスクドライブなどの非一時的記憶装置１２２に記憶されることも可能である。例えば、符号化されたビデオデータは、ビデオストリーミングアプリケーションのために広域ネットワーク（ＷＡＮ）を介して顧客に要求に応じて提供されることがある。
デスティネーションデバイス１３０は、受信機１３２、ビデオ復号化器１３４、および表示装置１３６を含む。受信機１３２は、通信路１２０から符号化されたビデオデータを受信し、受信したビデオデータをビットストリーム（矢印１３３で示す）としてビデオ復号化器１３４に渡す。そして、ビデオ復号化器１３４は、復号化されたフレームデータ（矢印１３５で示す）を表示装置１３６に出力する。復号化されたフレームデータ１３５は、フレームデータ１１３と同じクロマフォーマットを有する。表示装置１３６の例としては、陰極線管、スマートフォンやタブレットコンピュータ、コンピュータモニタ、あるいは単体のテレビに搭載されているような液晶ディスプレイなどが挙げられる。また、ソースデバイス１１０およびデスティネーションデバイス１３０のそれぞれの機能が単一のデバイスで具現化されることも可能であり、その例としては、携帯電話端末やタブレットコンピュータなどが挙げられる。復号化されたフレームデータは、ユーザへの提示の前にさらに変換されてもよい。例えば、特定の緯度及び経度を有する「ビューポート」は、シーンの３６０ｏビューを表現するために、投影フォーマットを使用して復号化されたフレームデータからレンダリングされ得る。
上述した例示的な装置にかかわらず、ソースデバイス１１０およびデスティネーションデバイス１３０のそれぞれは、典型的にはハードウェアおよびソフトウェアコンポーネントの組み合わせによって、汎用のコンピューティングシステム内に構成されてもよい。図２Ａは、そのようなコンピュータシステム２００を示しており、このコンピュータシステム２００は、コンピュータモジュール２０１と、キーボード２０２、マウスポインタデバイス２０３、スキャナ２２６、ビデオソース１１２として構成されてもよいカメラ２２７、およびマイクロフォン２８０などの入力デバイスと、プリンタ２１５、表示装置１３６として構成されてもよい表示デバイス２１４、およびラウドスピーカ２１７などの出力デバイスと、を含む。外部の変調器－復調器（モデム）送受信機デバイス２１６は、接続２２１を介して通信ネットワーク２２０との間で通信するために、コンピュータモジュール２０１によって使用されてもよい。通信チャネル１２０を表し得る通信ネットワーク２２０は、インターネット、セルラー通信ネットワーク、またはプライベートＷＡＮなどのＷＡＮであってもよい。接続２２１が電話回線である場合、モデム２１６は、従来の「ダイアルアップ」モデムであってもよい。あるいは、接続２２１が大容量（例えば、ケーブルまたは光）接続である場合、モデム２１６は、ブロードバンドモデムであってもよい。また、通信ネットワーク２２０への無線接続には、無線モデムを用いてもよい。送受信機デバイス２１６は、送信機１１６および受信機１３２の機能を提供してもよく、また、通信チャネル１２０は、接続２２１に具現化されてもよい。
コンピュータモジュール２０１は、典型的には、少なくとも１つのプロセッサユニット２０５と、メモリユニット２０６とを含む。例えば、メモリユニット２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）および半導体リードオンリーメモリ（ＲＯＭ）を有していてもよい。また、コンピュータモジュール２０１は、ビデオディスプレイ２１４、ラウドスピーカ２１７およびマイクロフォン２８０に結合するオーディオ－ビデオインタフェース２０７、キーボード２０２、マウス２０３、スキャナ２２６、カメラ２２７および任意にジョイスティックまたは他のヒューマンインタフェースデバイス（図示せず）に結合するＩ／Ｏインタフェース２１３、および外部モデム２１６およびプリンタ２１５用のインタフェース２０８を含む多数の入出力（Ｉ／Ｏ）インタフェースを含む。オーディオビデオインタフェース２０７からコンピュータモニタ２１４への信号は、一般に、コンピュータグラフィックスカードの出力である。いくつかの実装では、モデム２１６は、例えばインタフェース２０８内で、コンピュータモジュール２０１内に組み込まれてもよい。コンピュータモジュール２０１はまた、ローカルネットワークインタフェース２１１を有し、これは、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク２２２への接続２２３を介したコンピュータシステム２００の結合を可能にする。図２Ａに示されているように、ローカル通信ネットワーク２２２は、接続２２４を介して広域ネットワーク２２０に結合することもでき、これは、いわゆる「ファイアウォール」装置または同様の機能を有する装置を典型的に含むであろう。ローカルネットワークインタフェース２１１は、イーサネット（商標）回路カード、ブルートゥース（商標）無線装置、またはＩＥＥＥ８０２．１１無線装置で構成されてもよいが、インタフェース２１１については、他の多数のタイプのインタフェースが実施されてもよい。また、ローカルネットワークインタフェース２１１は、送信機１１６と受信機１３２の機能を提供してもよく、通信チャネル１２０もローカル通信ネットワーク２２２で具現化してもよい。
Ｉ／Ｏインタフェース２０８および２１３は、シリアルおよびパラレル接続のいずれかまたは両方を与えてもよく、前者は、典型的には、ユニバーサルシリアルバス（ＵＳＢ）規格に従って実装され、対応するＵＳＢコネクタ（図示せず）を有する。ストレージデバイス２０９は、典型的にはハードディスクドライブ（ＨＤＤ）２１０を含む。また、フロッピーディスクドライブや磁気テープドライブ（図示せず）などの他のストレージデバイスも使用することができる。光ディスクドライブ２１２は、典型的には、データの不揮発性ソースとして機能するために提供される。コンピュータシステム２００への適切なデータソースとして、例えば、光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク（商標））、ＵＳＢ－ＲＡＭ、ポータブル、外付けハードドライブ、およびフロッピーディスクなどのポータブルメモリデバイスが使用されてもよい。典型的には、ＨＤＤ２１０、光学ドライブ２１２、ネットワーク２２０および２２２のいずれもが、ビデオソース１１２として、またはディスプレイ２１４を介した再生のために保存される復号化されたビデオデータの宛先として動作するようにも構成され得る。システム１００のソースデバイス１１０およびデスティネーションデバイス１３０は、コンピュータシステム２００に具現化されてもよい。
コンピュータモジュール２０１のコンポーネント２０５～２１３は、典型的には、相互接続されたバス２０４を介して、関連技術者に知られているコンピュータシステム２００の従来の動作モードをもたらす方法で通信する。例えば、プロセッサ２０５は、接続２１８を用いてシステムバス２０４に結合される。同様に、メモリ２０６および光ディスクドライブ２１２は、接続２１９によってシステムバス２０４に結合されている。記載された装置を実施することができるコンピュータの例には、ＩＢＭ－ＰＣおよび互換機、サンＳＰＡＲＣステーション、アップルＭａｃ（商標）または同様のコンピュータシステムが含まれる。
適切または所望の場合、ビデオ符号化器１１４およびビデオ復号化器１３４、ならびに以下に説明する方法は、コンピュータシステム２００を使用して実施することができる。特に、ビデオ符号化器１１４、ビデオ復号化器１３４、および説明する方法は、コンピュータシステム２００内で実行可能な１つまたは複数のソフトウェアアプリケーションプログラム２３３として実装されてもよい。特に、ビデオ符号化器１１４、ビデオ復号化器１３４、および説明する方法のステップは、コンピュータシステム２００内で実行されるソフトウェア２３３内の命令２３１（図２Ｂ参照）によって効力を発揮する。ソフトウェアの命令２３１は、それぞれが１つまたは複数の特定のタスクを実行するための１つまたは複数のコードモジュールとして形成されてもよい。また、ソフトウェアは、２つの別々の部分に分割されてもよく、その場合、第１の部分および対応するコードモジュールは、説明した方法を実行し、第２の部分および対応するコードモジュールは、第１の部分とユーザとの間のユーザインタフェースを管理する。
ソフトウェアは、例えば、以下に説明する記憶装置を含むコンピュータ可読媒体に格納されてもよい。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００にロードされ、その後、コンピュータシステム２００によって実行される。このようなソフトウェアまたはコンピュータプログラムが記録されたコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム２００におけるコンピュータプログラム製品の使用は、好ましくは、ビデオ符号化器１１４、ビデオ復号化器１３４および説明した方法を実施するための有利な装置をもたらす。
ソフトウェア２３３は、典型的には、ＨＤＤ２１０またはメモリ２０６に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００にロードされ、コンピュータシステム２００によって実行される。したがって、例えば、ソフトウェア２３３は、光ディスクドライブ２１２によって読み取られる光読取可能なディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）２２５に格納されていてもよい。
いくつかの例では、アプリケーションプログラム２３３は、１つまたは複数のＣＤ－ＲＯＭ２２５に符号化されてユーザに供給され、対応するドライブ２１２を介して読み取られてもよく、または代替的に、ネットワーク２２０または２２２からユーザによって読み取られてもよい。さらに、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム２００にロードすることもできる。コンピュータ可読記憶媒体とは、実行および／または処理のために、記録された命令および／またはデータをコンピュータシステム２００に提供する任意の非一時的の有形記憶媒体を指す。このような記憶媒体の例には、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク（商標）、ハードディスクドライブ、ＲＯＭまたは集積回路、ＵＳＢメモリ、光磁気ディスク、またはＰＣＭＣＩＡカード等のコンピュータ可読カードが含まれ、このようなデバイスがコンピュータモジュール２０１の内部にあるか外部にあるかは問わない。コンピュータモジュール４０１へのソフトウェア、アプリケーションプログラム、命令および／またはビデオデータもしくは符号化されたビデオデータの提供にも参加し得る一時的または非有形のコンピュータ可読伝送媒体の例としては、無線または赤外線の伝送路のほか、他のコンピュータまたはネットワークデバイスとのネットワーク接続、および電子メールの送信やＷｅｂサイトなどに記録された情報を含むインターネットまたはイントラネットなどが挙げられる。
上述したアプリケーションプログラム２３３の第２の部分および対応するコードモジュールは、ディスプレイ２１４上にレンダリングされるかまたは他の方法で表現される１つまたは複数のグラフィカルユーザインタフェース（ＧＵＩ）を実装するために実行されてもよい。典型的にはキーボード２０２およびマウス２０３の操作を通じて、コンピュータシステム２００およびアプリケーションのユーザは、ＧＵＩ（複数可）に関連するアプリケーションに制御コマンドおよび／または入力を提供するために、機能的に適応可能な方法でインタフェースを操作することができる。また、ラウドスピーカ２１７を介して出力される音声プロンプトや、マイクロフォン２８０を介して入力されるユーザの音声コマンドを利用したオーディオインタフェースなど、機能的に適応可能なユーザインタフェースの他の形態も実装することができる。
図２Ｂは、プロセッサ２０５と「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａのコンピュータモジュール２０１によってアクセス可能なすべてのメモリモジュール（ＨＤＤ２０９および半導体メモリ２０６を含む）の論理的集約を表す。
コンピュータモジュール２０１の初期電源投入時には、電源オン自己テスト（ＰＯＳＴ）プログラム２５０が実行される。ＰＯＳＴプログラム２５０は、典型的には、図２Ａの半導体メモリ２０６のＲＯＭ２４９に格納されている。なお、ＲＯＭ２４９のようにソフトウェアを格納するハードウェアデバイスをファームウェアと呼ぶことがある。ＰＯＳＴプログラム２５０は、コンピュータモジュール２０１内のハードウェアを検査して正しい機能を確保し、典型的には、プロセッサ２０５、メモリ２３４（２０９、２０６）、および同じく典型的にＲＯＭ２４９に格納されている基本入出力システムソフトウェア（ＢＩＯＳ）モジュール２５１をチェックする。ＰＯＳＴプログラム２５０が正常に実行されると、ＢＩＯＳ２５１は、図２Ａのハードディスクドライブ２１０を起動する。ハードディスクドライブ２１０の起動により、ハードディスクドライブ２１０に常駐しているブートストラップローダプログラム２５２がプロセッサ２０５を介して実行される。これにより、ＲＡＭメモリ２０６にオペレーティングシステム２５３がロードされ、これによりオペレーティングシステム２５３の動作が開始される。オペレーティングシステム２５３は、プロセッサ２０５によって実行可能なシステムレベルのアプリケーションであり、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインタフェース、および汎用ユーザインタフェースを含む様々な高レベルの機能を果たすものである。
オペレーティングシステム２５３は、コンピュータモジュール２０１上で実行されている各プロセスまたはアプリケーションが、別のプロセスに割り当てられたメモリと衝突することなく実行するのに十分なメモリを有するように、メモリ２３４（２０９、２０６）を管理する。さらに、各プロセスが効果的に実行できるように、図２Ａのコンピュータシステム２００で利用可能な異なる種類のメモリを適切に使用しなければならない。したがって、集約されたメモリ２３４は、メモリの特定のセグメントがどのように割り当てられるかを説明することを意図したものではなく（特に断らない限り）、むしろ、コンピュータシステム２００によってアクセス可能なメモリの一般的な見解と、そのようなものがどのように使用されるかを提供することを意図したものである。
図２Ｂに示すように、プロセッサ２０５は、制御部２３９、算術論理ユニット（ＡＬＵ）２４０、およびキャッシュメモリと呼ばれることもあるローカルまたは内部メモリ２４８を含む多数の機能モジュールを含む。キャッシュメモリ２４８は、典型的には、レジスタ部に多数の記憶レジスタ２４４～２４６を含む。１つまたは複数の内部バス２４１は、これらの機能モジュールを機能的に相互接続する。また、プロセッサ２０５は、典型的には、接続２１８を用いて、システムバス２０４を介して外部装置と通信するための１つ以上のインタフェース２４２を有する。メモリ２３４は、接続２１９を用いてバス２０４に結合されている。
アプリケーションプログラム２３３は、条件付きの分岐命令およびループ命令を含むことができる一連の命令２３１を含む。また、プログラム２３３は、プログラム２３３の実行で使用されるデータ２３２を含んでもよい。命令２３１およびデータ２３２は、それぞれメモリ位置２２８、２２９、２３０および２３５、２３６、２３７に格納される。命令２３１およびメモリ位置２２８～２３０の相対的なサイズに応じて、メモリ位置２３０に示された命令によって描かれるように、特定の命令が単一のメモリ位置に格納されてもよい。代わりに、命令は、メモリ位置２２８および２２９に示される命令セグメントによって描かれるように、それぞれが別のメモリ位置に格納されるいくつかの部分にセグメント化されてもよい。
一般に、プロセッサ２０５は、その中で実行される命令のセットを与えられる。プロセッサ２０５は、後続の入力を待ち、これに対してプロセッサ２０５は、別の命令セットを実行することによって反応する。各入力は、入力装置２０２、２０３のうちの１つ以上によって生成されたデータ、ネットワーク２２０、２０２のうちの１つを介して外部ソースから受信されたデータ、ストレージデバイス２０６、２０９のうちの１つから取得されたデータ、または対応するリーダ２１２に挿入された記憶媒体２２５から取得されたデータを含む、多数のソースのうちの１つ以上から提供されてもよく、これらはすべて図２Ａに描かれている。一連の命令の実行は、場合によっては、データの出力を伴うことがある。また、実行は、データまたは変数をメモリ２３４に格納することを含んでもよい。
ビデオ符号化器１１４、ビデオ復号化器１３４、および説明した方法は、対応するメモリ位置２５５、２５６、２５７においてメモリ２３４に格納される入力変数２５４を使用してもよい。ビデオ符号化器１１４、ビデオ復号化器１３４、および説明した方法は、出力変数２６１を生成し、これらは、対応するメモリ位置２６２、２６３、２６４でメモリ２３４に格納される。中間変数２５８は、メモリ位置２５９、２６０、２６６、２６７に格納されてもよい。
図２Ｂのプロセッサ２０５を参照すると、レジスタ２４４、２４５、２４６、算術論理ユニット（ＡＬＵ）２４０、および制御部２３９は、プログラム２３３を構成する命令セット内のすべての命令について「フェッチ、復号化、および実行」サイクルを実行するために必要なマイクロオペレーションのシーケンスを実行するために協働する。各フェッチ、復号化、実行サイクルは以下を含む：
メモリ位置２２８、２２９、２３０から命令２３１をフェッチまたはリードするフェッチ動作、
制御部２３９がどの命令がフェッチされたかを判断する復号化動作、および
制御部２３９および／またはＡＬＵ２４０が命令を実行する実行動作。
その後、次の命令のさらなるフェッチ、復号化、および実行サイクルが実行されてもよい。同様に、制御部２３９がメモリ位置２３２に値を格納または書き込むストアサイクルが実行されてもよい。
これから説明する図１３～図１６の方法における各ステップまたはサブプロセスは、プログラム２３３の１つまたは複数のセグメントに関連付けられており、典型的には、プロセッサ２０５内のレジスタ部２４４、２４５、２４７、ＡＬＵ２４０、および制御部２３９が協働して、プログラム２３３の指摘されたセグメントに対する命令セット内のすべての命令に対するフェッチサイクル、復号化サイクル、および実行サイクルを実行することによって実行される。
図３は、ビデオ符号化器１１４の機能モジュールを示す概略ブロック図である。図４は、ビデオ復号化器１３４の機能モジュールを示す概略ブロック図である。一般に、データは、ビデオ符号化器１１４内の機能モジュールとビデオ復号化器１３４内の機能モジュールとの間を、ブロックを固定サイズのサブブロックに分割したようなサンプルまたは係数のグループで、あるいはアレイとして通過する。ビデオ符号化器１１４およびビデオ復号化器１３４は、図２Ａおよび図２Ｂに示すように、汎用コンピュータシステム２００を用いて実装されてもよく、ここで、様々な機能モジュールは、コンピュータシステム２００内の専用ハードウェアによって、ハードディスクドライブ２０５上に常駐するソフトウェアアプリケーションプログラム２３３の１つまたは複数のソフトウェアコードモジュールのようなコンピュータシステム２００内で実行可能なソフトウェアによって実装され、プロセッサ２０５によってその実行が制御されてもよい。あるいは、ビデオ符号化器１１４およびビデオ復号化器１３４は、専用のハードウェアと、コンピュータシステム２００内で実行可能なソフトウェアとの組み合わせによって実装されてもよい。ビデオ符号化器１１４、ビデオ復号化器１３４、および説明した方法は、代替的に、説明した方法の機能またはサブ機能を実行する１つまたは複数の集積回路などの専用ハードウェアで実装されてもよい。そのような専用ハードウェアは、グラフィックプロセッシングユニット（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け標準製品（ＡＳＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または１つまたは複数のマイクロプロセッサおよび関連するメモリを含んでもよい。特に、ビデオ符号化器１１４はモジュール３１０～３８６を含み、ビデオ復号化器１３４はモジュール４２０～４９６を含み、それぞれがソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールとして実装されてもよい。
図３のビデオ符号化器１１４は、多用途ビデオ符号化（ＶＶＣ）のビデオ符号化パイプラインの一例であるが、本明細書で説明する処理ステージを実行するために、他のビデオコーデックを使用することもできる。ビデオ符号化器１１４は、一連のフレームのようなキャプチャされたフレームデータ１１３を受信し、各フレームは１つ以上のカラーチャネルを含む。フレームデータ１１３は、例えば４：０：０、４：２：０、４：２：２、又は４：４：４のクロマフォーマットなどの「クロマフォーマット」に配置されたルマ（「ルマチャネル」）及びクロマ（「クロマチャネル」）のサンプルの２次元アレイを含んでいる。ブロックパーティショナ３１０は、まず、フレームデータ１１３を、一般的に正方形の形状であり、ＣＴＵのための特定のサイズが使用されるように構成されたＣＴＵに分割する。ＣＴＵのサイズは、例えば、６４×６４、１２８×１２８、または２５６×２５６のルマサンプルであってもよい。
ブロックパーティショナ３１０は、さらに、共有符号化ツリーがルマブランチとクロマブランチに分岐する地点で、共有符号化ツリーまたはルマ符号化ツリーおよびクロマ符号化ツリーのいずれかに従って、各ＣＴＵを１つ以上のＣＵに分割する。ルマチャネルは、一次カラーチャネルとも呼ばれることがある。各クロマチャネルは、二次カラーチャネルとも呼ばれることがある。ＣＵは、様々なサイズを有し、正方形と非正方形の両方のアスペクト比を含んでもよい。ブロックパーティショナ３１０の動作については、図１３および図１４を参照してさらに説明する。しかし、ＶＶＣ規格では、ＣＵ／ＣＢ、ＰＵ／ＰＢ、およびＴＵ／ＴＢは、常に２の累乗である辺の長さを有する。したがって、３１２として表される現在のＣＵは、ＣＴＵの共有符号化ツリーまたはルマ符号化ツリーおよびクロマ符号化ツリーに従って、ＣＴＵの１つまたは複数のブロックに対する反復に従って進行し、ブロックパーティショナ３１０から出力される。ＣＴＵをＣＢにパーティショニングするためのオプションは、図５および図６を参照して以下にさらに説明される。
フレームデータ１１３の第１の分割から得られるＣＴＵは、ラスタースキャン順にスキャンされてもよく、１つまたは複数の「スライス」にグループ化されてもよい。スライスは、「イントラ」（または「Ｉ」）スライスであってもよい。イントラスライス（Ｉスライス）は、インター予測されたＣＵを含まず、例えば、イントラ予測のみが使用される。あるいは、スライスは、一方向予測または双方向予測（それぞれ、「Ｐ」または「Ｂ」スライス）であってもよく、それぞれ、「一方向予測」および「双方向予測」として知られる、ＣＵを予測するための１つまたは２つの参照ブロックの追加的な利用可能性を示す。
Ｉスライスでは、各ＣＴＵの符号化ツリーは６４×６４レベル以下で、ルマ用とクロマ用の２つの符号化ツリーに分岐することがある。別個のツリーを使用することにより、ＣＴＵのルマ６４×６４領域内でルマとクロマとで異なるブロック構造を存在させることができる。例えば、大きなクロマＣＢに小さなルマＣＢが多数配置されたり、その逆もあり得る。ＰまたはＢスライスにおいて、ＣＴＵの単一の符号化ツリーは、ルマとクロマに共通のブロック構造を定義する。単一ツリーの結果としてのブロックは、イントラ予測であってもインター予測であってもよい。
各ＣＴＵについて、ビデオ符号化器１１４は、２つのステージで動作する。第１ステージ（「検索」ステージと呼ばれる）では、ブロックパーティショナ３１０は、符号化ツリーの様々な潜在的な構成をテストする。符号化ツリーの各潜在的な構成は、関連する「候補」ＣＵを有する。第１ステージでは、相対的に低歪みで相対的に高い圧縮効率を提供するＣＵを選択するために、様々な候補ＣＵをテストする。このテストには一般的にラグランジュ最適化が含まれており、それによって候補ＣＵはレート（符号化コスト）と歪み（入力フレームデータ１１３に対する誤差）の重み付けされた組み合わせに基づいて評価される。「最良」の候補ＣＵ（評価されたレート／歪みが最も小さいＣＵ）は、その後のビットストリーム１１５への符号化のために選択される。候補ＣＵの評価に含まれるのは、与えられた領域に対してＣＵを使用するか、または様々な分割オプションに従って領域をさらに分割し、小さくなった結果の領域のそれぞれをさらにＣＵで符号化するか、または領域をさらに分割するかというオプションである。結果として、符号化ツリーとＣＵ自体の両方が検索ステージで選択される。
ビデオ符号化器１１４は、各ＣＵ、例えばＣＵ３１２に対して、矢印３２０で示される予測ブロック（ＰＵ）を生成する。ＰＵ３２０は、関連するＣＵ３１２の内容を予測したものである。減算器モジュール３２２は、ＰＢ３２０とＣＢ３１２との間に、３２４（または、差が空間領域にあることを指して「残差」）として示される差を生成する。差分３２４は、ＰＵ３２０とＣＵ３１２の対応するサンプル間のブロックサイズの差分である。差分３２４は、ＰＵ３２０とＣＵ３１２の対応するサンプル間の差分のブロックサイズ化された配列であり、ＣＵ３１２の各カラーチャネルについて生成される。一次変換及び（オプションで）二次変換が実行される場合、差分３２４は、モジュール３２６及び３３０において変換され、多重化３３３を介して量子化のために量子化モジュール３３４に渡される。変換をスキップする場合、差分３２４は、多重化３３３を介して量子化のために直接量子化モジュール３３４に渡される。変換と変換スキップとの間の選択は、ＣＵ３１２に関連する各ＴＢに対して独立に行われる。結果として得られる量子化された残差係数は、矢印３３６で示されるＴＢ（ＣＵ３１２の各カラーチャネル用）として表される。ＰＵ３２０および関連するＴＢ３３６は、典型的には、例えば評価されたコストまたは歪みに基づいて、多くの可能な候補ＣＵのうちの１つから選択される。
候補ＣＵは、関連するＰＢおよびその結果の残差に対してビデオ符号化器１１４が利用可能な予測モードの１つから得られるＣＵである。ビデオ復号化器１１４において予測されたＰＢと組み合わされるとき、空間領域への逆変換後のＴＢ３３６の追加は、ビットストリームにおける追加のシグナリングを犠牲にして、復号されたＣＵと元のＣＵ３１２との間の差を低減する。
各候補符号化ブロック（ＣＵ）、すなわち、１つの変換ブロック（ＴＢ）と組み合わせた予測ブロック（ＰＵ）は、したがって、関連する符号化コスト（または「レート」）および関連する差分（または「歪み」）を有する。ＣＵの歪みは、サンプル値の差、例えば、絶対差の和（ＳＡＤ）や二乗差の和（ＳＳＤ）として推定される。各候補ＰＵから得られる推定値は、モードセレクタ３８６が差分３２４を用いてイントラ予測モードを決定してもよい。予測モード３８７は、現在のＣＵに対して特定の予測モード、例えばイントラフレーム予測またはインターフレーム予測を使用するという決定を示す。共有符号化ツリーに属するイントラ予測ＣＵの場合、ルマＰＢ対クロマＰＢに対して独立したイントラ予測モードが指定される。デュアル符号化ツリーのルマブランチまたはクロマブランチに属するイントラ予測ＣＵについては、ルマＰＢまたはクロマＰＢにそれぞれ一つのイントラ予測モードが適用される。各候補予測モードおよび対応する残差符号化に関連する符号化コストの推定は、残差のエントロピー符号化よりも大幅に低いコストで実行することができる。したがって、リアルタイムビデオ符号化器においても、多数の候補モードを評価して、レート－歪みの意味で最適なモードを決定することができる。
ラグランジュまたは類似の最適化処理は、（ブロックパーティショナ３１０による）ＣＴＵのＣＢへの最適なパーティショニングの選択と、複数の可能な予測モードからの最良の予測モードの選択との両方に採用することができる。モードセレクタモジュール３８６における候補モードのラグランジュ最適化プロセスの適用により、最小のコスト測定を行うイントラ予測モード３８７、二次変換インデックス３８８、および一次変換タイプ３８９、および変換スキップフラグ３９０（各ＴＢに対して１つ）が選択される。
ビデオ符号化器１１４の動作の第２ステージ（「符号化」ステージと呼ばれる）では、ビデオ符号化器１１４において、各ＣＴＵの決定された符号化ツリー（複数可）に対する反復が実行される。別々のツリーを使用するＣＴＵの場合、ＣＴＵの６４×６４の各ルマ領域に対して、まずルマ符号化ツリーが符号化され、次いでクロマ符号化ツリーが符号化される。ルマ符号化ツリー内ではルマＣＢのみが符号化され、クロマ符号化ツリー内ではクロマＣＢのみが符号化される。共有ツリーを用いたＣＴＵでは、共有ツリーの共通ブロック構造に従って、ＣＵ、すなわちルマＣＢとクロマＣＢを１つのツリーで記述する。
エントロピー符号化器３３８は、シンタックス要素の可変長符号化およびシンタックス要素の算術符号化の両方をサポートする。「パラメータセット」、例えばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ（ＰＨ）などのビットストリームの部分は、固定長コードワードと可変長コードワードの組合せを使用する。スライス（連続部分ともいう）は、可変長符号化を用いるスライスヘッダと、算術符号化を用いるスライスデータとを有する。ピクチャヘッダは、ピクチャレベルの量子化パラメータオフセットなど、現在のスライスに固有のパラメータを定義する。スライスデータは、スライス内の各ＣＴＵのシンタックスエレメントを含む。可変長符号化および算術符号化を使用する場合、ビットストリームの各部分内で順次構文解析が必要となる。これらの部分は、「ネットワーク抽象化レイヤーユニット」または「ＮＡＬユニット」を形成するために開始コードで区切られることがある。算術符号化は、コンテキスト適応型のバイナリ算術符号化プロセスを使用してサポートされる。算術符号化されたシンタックス要素は、１つまたは複数の「ビン」のシーケンスで構成される。ビンは、ビットと同様に、「０」または「１」の値を持つ。しかし、ビンは、ビットストリーム１１５内で個別のビットとして符号化されない。ビンは、「コンテキスト」と呼ばれる、関連する予測値（または「可能性が高い」または「最も可能性が高い」）および関連する確率を有する。符号化される実際のビンが予測値と一致した場合、「最も可能性の高いシンボル」（ＭＰＳ）が符号化される。最も可能性の高いシンボルの符号化は、ビットストリーム１１５内の消費されたビットの点で、１未満の離散ビットに相当するコストを含め、比較的安価である。符号化されるべき実際のビンが可能性の高い値と不一致である場合、「最小確率シンボル」（ＬＰＳ）が符号化される。最小確率シンボルの符号化は、消費するビット数の点で比較的高いコストがかかる。ビン符号化技術は、「０」と「１」の確率が偏っているビンを効率的に符号化することができる。２つの可能な値を持つシンタックス要素（つまり「フラグ」）の場合、１つのビンで十分である。多くの可能な値を持つシンタックス要素の場合、一連のビンが必要である。
シーケンス内の後のビンの存在は、シーケンス内の以前のビンの値に基づいて決定されてもよい。さらに、各ビンは２つ以上のコンテキストと関連していてもよい。特定のコンテキストの選択は、シンタックス要素の以前のビン、隣接するシンタックス要素（すなわち、隣接するブロックからのもの）のビンの値などに依存することができる。コンテキスト符号化されたビンが符号化されるたびに、そのビンに対して選択されたコンテキスト（もしあれば）は、新しいビンの値を反映した方法で更新される。このように、二値算術符号化スキームは、適応的であると言われる。
また、ビデオ符号化器１１４によってサポートされるのは、コンテキストを持たないビン（「バイパスビン」）である。バイパスビンは、「０」と「１」との間の等確率の分布を仮定して符号化される。したがって、各ビンは、ビットストリーム１１５の１ビットのコストを符号化する。コンテキストがないことで、メモリを節約し、複雑さを軽減することができ、したがって、バイパスビンは、特定のビンの値の分布が歪んでいないところで使用される。コンテキストおよび適応を採用するエントロピー符号化器の一例は、ＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coder）として当技術分野で知られており、この符号化器の多くの変形がビデオ符号化に採用されている。
エントロピー符号化器３３８は、一次変換タイプ３８９、現在のＣＵの各ＴＢに対する１つの変換スキップフラグ（すなわち、３９０）、および現在のＣＵに適用可能であれば、コンテキスト符号化とバイパス符号化のビンの組み合わせ、およびイントラ予測モード３８７を用いて、二次変換インデックス３８８を符号化する。二次変換インデックス３８８は、変換ブロックに関連する残差が、二次変換の適用による一次係数への変換の対象となるそれらの係数位置にのみ有意な残差係数を含む場合に、シグナリングされる。
多重化モジュール３８４は、各候補ＣＢのテストされた予測モードから選択された、決定された最良のイントラ予測モードに従って、イントラフレーム予測モジュール３６４からＰＢ３２０を出力する。候補予測モードは、ビデオ符号化器１１４によってサポートされるすべての考えられる予測モードを含む必要はない。イントラ予測は、３つのタイプに分類される。「ＤＣイントラ予測」は、近傍の再構成されたサンプルの平均を表す単一の値でＰＢを移入することを含む。「平面イントラ予測」は、ＤＣオフセットと垂直および水平勾配が近傍の再構成された近隣のサンプルから導出される、平面に従ってサンプルをＰＢに移入することを含む。近傍の再構成されたサンプルは、典型的には、現在のＰＢの上方にあり、ＰＢの右側にある程度広がっている再構成されたサンプルの行と、現在のＰＢの左側にあり、ＰＢを越えて下方にある程度広がっている再構成されたサンプルの列とを含む。「角度イントラ予測」は、フィルタリングされ、特定の方向（または「角度」）にＰＢを横切って伝搬される再構成された近隣のサンプルでＰＢを移入することを含む。ＶＶＣでは６５の角度がサポートされており、長方形のブロックでは、正方形のブロックでは利用できない追加の角度を利用することができ、合計８７の角度を生成することができる。クロマＰＢでは、４つ目のイントラ予測として、クロスコポーネントリニアモデル（ＣＣＬＭ）モードにより、ルマ再構成されたサンプルのコロケーションからＰＢを生成することが可能である。３つの異なるＣＣＬＭモードがあり、各モードは隣接するルマおよびクロマサンプルから導出された異なるモデルを使用する。このモデルは、クロマＰＢのサンプルのブロックを、配置されたルマサンプルから生成するために使用される。
フレームの端など、以前に再構成されたサンプルが利用できない場合、デフォルトのハーフトーン値として、サンプルの範囲の２分の１が使用される。例えば、１０ビットビデオの場合、５１２という値が使用される。フレームの左上の位置にあるＣＢに対して以前に利用可能なサンプルがないため、角度および平面イントラ予測モードはＤＣ予測モードと同じ出力、つまりハーフトーン値を大きさとして持つサンプルの平面を生成する。
インターフレーム予測では、予測ブロック３８２は、動き補償モジュール３８０によってビットストリーム内の符号化順序のフレームで、現在のフレームに先行する１つまたは２つのフレームからのサンプルを使用して生成され、多重化モジュール３８４によってＰＢ３２０として出力される。さらに、インターフレーム予測では、通常、単一の符号化ツリーがルマチャネルとクロマチャネルの両方に使用される。ビットストリーム内の符号化フレームの順序は、撮影時や表示時のフレームの順序とは異なる場合がある。予測に１つのフレームが使用される場合、そのブロックは「一方向予測」と呼ばれ、１つの動きベクトルが関連付けられる。予測に２つのフレームが使用された場合、ブロックは「双方向予測」と呼ばれ、２つの関連する動きベクトルを持つ。Ｐスライスの場合、各ＣＵは、イントラ予測または一方向予測される。Ｂスライスの場合、各ＣＵは、イントラ予測、一方向予測、または双方向予測のいずれかである。フレームは、通常、「ピクチャグループ」構造を用いて符号化され、フレームの時間的な階層化を可能にする。複数のフレームは、複数のスライスに分割されてもよく、各スライスは、フレームの一部を符号化する。フレームの時間的な階層化により、フレームは、フレームを表示する順序で、先行する画像と後続する画像を参照することができる。画像は、各フレームを復号化するための依存関係を確実に満たすために必要な順序で符号化される。
サンプルは、動きベクトル３７８および参照ピクチャインデックスに応じて選択される。動きベクトル３７８および参照ピクチャインデックスは、すべてのカラーチャネルに適用され、したがって、インター予測は、主にＰＢではなくＰＵに対する動作の観点から説明され、すなわち、１つ以上のインター予測ブロックへの各ＣＴＵの分解は、単一の符号化ツリーを用いて記述される。インター予測は、動きパラメータの数およびその精度が異なる場合がある。動きパラメータは、典型的には、参照フレームのリストからどの参照フレームを使用するかを示す参照フレームインデックスと、参照フレームのそれぞれに対する空間変換とからなるが、より多くのフレーム、特殊なフレーム、またはスケーリングやローテーションなどの複雑なアフィンパラメータを含んでいてもよい。さらに、参照されたサンプルブロックに基づいて密な動き推定値を生成するために、所定の動き洗練プロセスを適用してもよい。
ＰＵ３２０を決定して選択し、減算器３２２で元のサンプルブロックからＰＵ３２０を減算したところで、３２４と表される符号化コストが最も低い残差が得られ、非可逆圧縮にかけられる。非可逆圧縮処理は、変換、量子化、エントロピー符号化の各ステップからなる。順方向一次変換モジュール３２６は、差分３２４に順方向変換を適用し、差分３２４を時間領域から周波数領域に変換し、一次変換タイプ３８９に従って矢印３２８で表される一次変換係数を生成する。一次元における最大の一次変換サイズは、３２ポイントＤＣＴ－２変換または６４ポイントＤＣＴ－２変換のいずれかである。符号化されるＣＢが、ブロックサイズとして表されるサポートされる最大の一次変換サイズ、すなわち６４×６４または３２×３２より大きい場合、一次変換３２６は、差分３２４のすべてのサンプルを変換するためにタイル状に適用される。変換の各適用が３２×３２より大きい、例えば６４×６４の差分３２４のＴＢ上で動作する場合、ＴＢの左上３２×３２領域外の全ての結果として生じる一次変換係数３２８はゼロに設定され、すなわち廃棄される。３２×３２までのサイズのＴＢの場合、一次変換タイプ３８９は、水平方向および垂直方向にＤＳＴ－７およびＤＣＴ－８変換の組合せの適用を示すことができる。残りの一次変換係数３２８は、順方向二次変換モジュール３３０に渡される。
二次変換モジュール３３０は、二次変換インデックス３８８に従って、二次変換係数３３２を生成する。二次変換係数３３２は、モジュール３３４によって、ＣＢに関連する量子化パラメータに従って量子化され、残差係数３３６を生成する。変換スキップフラグ３９０がＴＢに対して変換スキップが有効であることを示すとき、差分３２４は、多重化３３３を介して量子化器３３４に渡される。
モジュール３２６の順方向一次変換は、典型的には分離可能であり、各ＴＢの行の集合を変換し、次に列の集合を変換する。順方向一次変換モジュール３２６は、一次変換タイプ３８９に従って、水平方向および垂直方向にタイプＩＩ離散コサイン変換（ＤＣＴ－２）のいずれか、または、ルマＴＢＳについては、水平方向または垂直方向のいずれかにタイプＶＩＩ離散サイン変換（ＤＳＴ－７）およびタイプＶＩＩＩ離散コサイン変換（ＤＣＴ－８）の組み合わせを用いている。ＤＳＴ－７とＤＣＴ－８の組み合わせを使用することを、ＶＶＣ規格では「マルチ変換選択セット」（ＭＴＳ）と呼んでいる。ＤＣＴ－２を使用する場合、最大のＴＢサイズは３２×３２または６４×６４であり、ビデオ符号化器１１４で設定可能であり、ビットストリーム１１５でシグナリングされる。設定された最大ＤＣＴ－２変換サイズに関係なく、ＴＢの左上３２×３２領域の係数のみがビットストリーム１１５に符号化される。ＴＢの左上３２×３２領域以外の有意な係数は破棄され（または「ゼロアウト」され）、ビットストリーム１１５には符号化されない。ＭＴＳは、最大３２×３２のサイズのＣＵに対してのみ利用可能であり、関連するルマＴＢの左上１６×１６領域の係数のみが符号化される。ＣＵの個々のＴＢは、対応する変換スキップフラグ３９０に従って、変換されるか、バイパスされる。
モジュール３３０の順方向二次変換は、一般に非分割変換であり、イントラ予測ＣＵの残差にのみ適用され、それにもかかわらずバイパスされることもあり得る。順方向二次変換は、１６サンプル（一次変換係数３２８の左上４×４サブブロックとして配置）または４８サンプル（一次変換係数３２８の左上８×８係数の３つの４×４サブブロックとして配置）のいずれかに動作して二次変換係数の集合を生成する。二次変換係数のセットは、それらが導出される一次変換係数のセットよりも数が少なくてもよい。互いに隣接し、ＤＣ係数を含む係数のセットのみへの二次変換の適用のため、二次変換は、「低周波非分離二次変換」（ＬＦＮＳＴ：Low frequency non-separable transform）と称される。
残差係数３３６は、ビットストリーム１１５内で符号化するために、エントロピー符号化器３３８に供給される。典型的には、ＴＵの少なくとも１つの有意な残差係数を有する各ＴＢの残差係数は、スキャンパターンに従って、値の順序付けられたリストを生成するためにスキャンされる。スキャンパターンは、一般的に、４×４の「サブブロック」のシーケンスとしてＴＢをスキャンし、残差係数の４×４セットの粒度で規則的なスキャン動作を提供し、サブブロックの配置はＴＢのサイズに依存している。各サブブロック内のスキャンと、あるサブブロックから次のサブブロックへの進行は、通常、後方斜めのスキャンパターンに従う。
上述したように、ビデオ符号化器１１４は、ビデオ復号化器１３４で見られる復号化されたフレーム表現に対応するフレーム表現へのアクセスを必要とする。したがって、残差係数３３６は、デクワンタイザー３４０に渡され、デクワンタイズされた残差係数３４２を生成する。デクワント化された残差係数３４２は、二次変換インデックス３８８に従って動作する逆二次変換モジュール３４４に渡され、矢印で３４６表される中間逆変換係数が生成される。中間逆変換係数３４６は、逆一次変換モジュール３４８に渡され、ＴＵの矢印で３９９表される残差サンプルを生成する。量子化された残差係数３４２は、変換スキップ３９０が変換バイパスが実行されることを示す場合、残差サンプル３５０として多重化３４９によって出力される。そうでなければ、多重化３４９は、残差サンプル３９９を残差サンプル３５０として出力する。
逆二次変換モジュール３４４が行う逆変換の種類は、順二次変換モジュール３３０が行う順変換の種類と対応している。逆一次変換モジュール３４８によって実行される逆変換の種類は、一次変換モジュール３２６によって実行される一次変換の種類に対応する。和算モジュール３５２は、残差サンプル３５０とＰＵ３２０とを加算して、ＣＵの再構成サンプル（矢印３５４で示す）を生成する。
再構成されたサンプル３５４は、参照サンプルキャッシュ３５６およびインループフィルタモジュール３６８に渡される。参照サンプルキャッシュ３５６は、典型的にはＡＳＩＣ上のスタティックＲＡＭを使用して実装され（したがって、コストのかかるオフチップメモリアクセスを回避する）、フレーム内の後続のＣＵに対するフレーム内ＰＢを生成するための依存関係を満たすために必要な最小限のサンプルストレージを提供する。最小限の依存性には、次の行のＣＴＵで使用するための、ＣＴＵの行の底部に沿ったサンプルの「ラインバッファ」や、ＣＴＵの高さによって設定されるカラムバッファが含まれる。参照サンプルキャッシュ３５６は、参照サンプル（矢印３５８で表される）を参照サンプルフィルタ３６０に供給する。サンプルフィルタ３６０は、平滑化操作を適用して、フィルタリングされた参照サンプル（矢印３６２で示される）を生成する。フィルタリングされた参照サンプル３６２は、イントラフレーム予測モジュール３６４によって使用され、矢印３６６で表されるサンプルのイントラ予測ブロックを生成する。各候補のイントラ予測モードについて、イントラフレーム予測モジュール３６４は、サンプルのブロック３６６を生成する。サンプルのブロック３６６は、イントラ予測モード３８７に従って、ＤＣ、平面または角度イントラ予測などの技術を使用して、モジュール３６４によって生成される。
インループフィルタモジュール３６８は、再構成されたサンプル３５４にいくつかのフィルタリングステージを適用する。フィルタリングステージは、不連続性から生じるアーティファクトを低減するためにＣＵ境界に整列した平滑化を適用する「デブロッキングフィルタ」（ＤＢＦ）を含む。インループフィルタモジュール３６８に存在する別のフィルタリングステージは、「適応ループフィルタ」（ＡＬＦ）であり、これは、ウィーナーベースの適応フィルタを適用して歪みをさらに低減する。インループフィルタモジュール３６８に存在する別のフィルタリングステージは、「サンプル適応オフセット」（ＳＡＯ）フィルタである。ＳＡＯフィルタは、まず、再構成されたサンプルを１つまたは複数のカテゴリに分類し、割り当てられたカテゴリに応じて、サンプルレベルでオフセットを適用することによって動作する。
矢印３７０で表されるフィルタリングされたサンプルは、インループフィルタモジュール３６８から出力される。フィルタリングされたサンプル３７０は、フレームバッファ３７２に格納される。フレームバッファ３７２は、典型的には、複数（例えば１６枚まで）のピクチャを格納する容量を有し、したがって、メモリ２０６に格納される。フレームバッファ３７２は、必要なメモリ消費量が大きいため、典型的にはオンチップメモリを使用して格納されない。そのため、フレームバッファ３７２へのアクセスは、メモリの帯域幅の点でコストがかかる。フレームバッファ３７２は、参照フレーム（矢印３７４で表される）を動き推定モジュール３７６および動き補償モジュール３８０に提供する。
動き推定モジュール３７６は、フレームバッファ３７２内の参照フレームの１つのブロックを参照して、それぞれが本ＣＢの位置からのデカルト空間オフセットである多数の「動きベクトル」（３７８として示される）を推定する。参照サンプルのフィルタリングされたブロック（３８２として示される）は、各動きベクトルに対して生成される。フィルタリングされた参照サンプル３８２は、モードセレクタ３８６による潜在的な選択に利用可能な更なる候補モードを形成する。さらに、所定のＣＵについて、ＰＵ３２０は、１つの参照ブロックを用いて形成されてもよいし（「一方向予測」）、２つの参照ブロックを用いて形成されてもよい（「双方向予測」）。選択された動きベクトルに対して、動き補償モジュール３８０は、動きベクトルのサブピクセル精度を支持するフィルタリング処理に従って、ＰＢ３２０を生成する。このように、動き推定モジュール３７６（多くの候補の動きベクトルで動作する）は、動き補償モジュール３８０（選択された候補のみで動作する）のフィルタリング処理と比較して、簡略化されたフィルタリング処理を実行して、計算複雑性の低減を達成することができる。ビデオ符号化器１１４がＣＵのためのインター予測を選択すると、動きベクトル３７８はビットストリーム１１５に符号化される。
図３のビデオ符号化器１１４は、多用途ビデオ符号化（ＶＶＣ）を参照して説明されているが、他のビデオ符号化規格または実装も、モジュール３１０～３８６の処理ステージを採用してもよい。また、フレームデータ１１３（およびビットストリーム１１５）は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙディスク（商標）、またはその他のコンピュータ可読記憶媒体から読み出されて（または書き込まれて）もよい。さらに、フレームデータ１１３（およびビットストリーム１１５）は、通信ネットワーク２２０に接続されたサーバや無線周波数受信機などの外部から受信されて（または送信されて）もよい。
ビデオ復号化器１３４を図４に示す。図４のビデオ復号化器１３４は、多用途ビデオ符号化（ＶＶＣ）ビデオ復号化パイプラインの一例であるが、本明細書で説明する処理ステージを実行するために、他のビデオコーデックを使用することもできる。図４に示すように、ビデオ復号化器１３４には、ビットストリーム１３３が入力される。ビットストリーム１３３は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙディスク（商標）、またはその他の非一時的なコンピュータ可読記憶媒体から読み取られてもよい。あるいは、ビットストリーム１３３は、通信ネットワーク２２０に接続されたサーバや無線周波数受信機などの外部ソースから受信されてもよい。ビットストリーム１３３は、復号化されるべきキャプチャされたフレームデータを表す符号化されたシンタックス要素を含む。
ビットストリーム１３３は、エントロピー復号化器モジュール４２０に入力される。エントロピー復号化器モジュール４２０は、「ビン」のシーケンスを復号化することによってビットストリーム１３３からシンタックス要素を抽出し、シンタックス要素の値をビデオ復号化器１３４の他のモジュールに渡す。エントロピー復号化器モジュール４２０は、可変長および固定長復号化を使用して、ＳＰＳ、ＰＰＳまたはスライスヘッダ算術復号化エンジンを復号化して、１つまたは複数のビンのシーケンスとしてスライスデータのシンタックスエレメントを復号化する。各ビンは、１つ以上の「コンテキスト」を使用することができ、コンテキストは、ビンの「１」と「０」値をコーディングするために使用される確率レベルを記述する。複数のコンテキストが与えられたビンに使用できる場合、ビンを復号化するために使用可能なコンテキストの１つを選択する「コンテキストモデリング」または「コンテキスト選択」ステップが実行される。
エントロピー復号化器モジュール４２０は、ビットストリーム１３３からシンタックス要素を復号するために、例えば「コンテキスト適応型バイナリ算術符号化」（ＣＡＢＡＣ）などの算術コーディングアルゴリズムを適用する。復号化されたシンタックス要素は、ビデオ復号化器１３４内のパラメータを再構築するために使用される。パラメータには、残差係数（矢印４２４で表される）、量子化パラメータ（不図示）、二次変換インデックス４７４、およびイントラ予測モードなどのモード選択情報（矢印４５８で表される）が含まれる。また、モード選択情報には、動きベクトルなどの情報や、各ＣＴＵを１つ以上のＣＵに分割することも含まれる。パラメータは、典型的には、以前に復号化されたＣＢからのサンプルデータと組み合わせて、ＰＢを生成するために使用される。
残差係数４２４は、逆量子化モジュール４２８に渡される。逆量子化モジュール４２８は、残差係数４２４（すなわち一次変換係数領域）に対して逆量子化（または「スケーリング」）を実行して、量子化パラメータに従って、矢印４３２で表される再構成された変換係数を作成する。再構成された変換係数４３２は、逆二次変換モジュール４３６に渡される。逆二次変換モジュール４３６は、図１５及び図１６を参照して説明した方法に従ってエントロピー復号化器４２０によってビットストリーム１１３から復号された二次変換タイプ４７４に従って、二次変換が適用されるか又は操作が行われない（バイパス）かのいずれかを実行する。逆二次変換モジュール４３６は、再構成された変換係数４４０（すなわち一次変換領域係数）を生成する。
再構成された変換係数４４０は、逆一次変換モジュール４４４に渡される。モジュール４４４は、エントロピー復号化器４２０によってビットストリーム１３３から復号された一次変換タイプ４７６（または「ｍｔｓ＿ｉｄｘ」）に従って、係数４４０を周波数領域から空間領域に逆変換する。モジュール４４４の動作の結果は、矢印で４９９表される残差サンプルのブロックである。ＣＵの所定のＴＢに対する変換スキップフラグ４７８が変換のバイパスを示す場合、多重化４４９は、再構成された変換係数４３２を残差サンプル４８８として総和モジュール４５０に出力する。そうでなければ、多重化４４９は、残差サンプル４８８として残差サンプル４９９を出力する。残差サンプル４４８は、対応するＣＢと等しいサイズである。残差サンプル４４８は、和算モジュール４５０に供給される。和算モジュール４５０において、残差サンプル４４８は、復号化されたＰＢ（４５２として表される）に追加され、矢印４５６で表される再構成されたサンプルのブロックを生成する。再構成されたサンプル４５６は、再構成されたサンプルキャッシュ４６０およびインループフィルタリングモジュール４８８に供給される。インループフィルタリングモジュール４８８は、４９２で表されるフレームサンプルの再構成されたブロックを生成する。フレームサンプル４９２は、フレームバッファ４９６に書き込まれ、そこからフレームデータ１３５が後に出力される。
再構成されたサンプルキャッシュ４６０は、ビデオ符号化器１１４の再構成されたサンプルキャッシュ３５６と同様に動作する。再構成サンプルキャッシュ４６０は、メモリ２０６へのアクセスに頼ることなく（例えば、典型的なオンチップメモリであるデータ２３２を代わりに使用することによって）、後続のＣＢをイントラ予測するために必要な再構成された複数のサンプルのストレージを提供する。矢印４６４で表される参照サンプルは、再構成サンプルキャッシュ４６０から得られ、参照サンプルフィルタ４６８に供給されて、矢印４７２で示されるフィルタリングされた参照サンプルを生成する。フィルタリングされた参照サンプル４７２は、イントラフレーム予測モジュール４７６に供給される。モジュール４７６は、ビットストリーム１３３にシグナリングされたイントラ予測モードパラメータ４５８に従って、矢印４８０で示されるイントラ予測サンプルのブロックを生成し、エントロピー復号化器４２０によって復号化される。
ＣＢの予測モードがビットストリーム１３３においてイントラ予測を使用するように指示されている場合、イントラ予測されたサンプル４８０は、多重化モジュール４８４を介して復号されたＰＢ４５２を形成する。イントラ予測は、サンプルの予測ブロック（ＰＢ）、すなわち、同じ色成分における「近隣のサンプル」を用いて導出された、１つの色成分におけるブロックを生成する。近隣のサンプルは、現在のブロックに隣接するサンプルであり、ブロック復号順序において先行することにより、既に再構成されている。ルマブロックとクロマブロックが配置されている場合、ルマブロックとクロマブロックは、異なるイントラ予測モードを使用することができる。しかし、２つのクロマＣＢは、同じイントラ予測モードを共有する。
ＣＢの予測モードがビットストリーム１３３においてインター予測であることが示される場合、動き補償モジュール４３４は、フレームバッファ４９６からのサンプルのブロック４９８を選択してフィルタリングするために、（エントロピー復号化器４２０によってビットストリーム１３３から復号された）動きベクトルおよび参照フレームインデックスを使用して、４３８として表されるインター予測されたサンプルのブロックを生成する。サンプルのブロック４９８は、フレームバッファ４９６に格納された前に復号化されたフレームから得られる。双方向予測のために、サンプルの２つのブロックが生成され、一緒にブレンドされて、復号化されたＰＢ４５２のためのサンプルを生成する。フレームバッファ４９６には、インループフィルタリングモジュール４８８からのフィルタリングされたブロックデータ４９２が入力される。ビデオ符号化器１１４のインループフィルタリングモジュール３６８と同様に、インループフィルタリングモジュール４８８は、ＤＢＦ、ＡＬＦおよびＳＡＯのフィルタリング動作のいずれかを適用する。一般に、動きベクトルは、ルマチャネルとクロマチャネルの両方に適用されるが、ルマチャネルとクロマチャネルにおけるサブサンプル補間のためのフィルタリング処理は異なっている。
図５は、多用途ビデオ符号化の符号化ツリー構造の各ノードにおいて、１つの領域を１つ以上のサブ領域に分割する利用可能な分割または分割のコレクション５００を示す概略ブロック図である。コレクション５００に示される分割は、図３を参照して説明したように、ラグランジュ最適化によって決定されるように、符号化ツリーに従って各ＣＴＵを１つまたは複数のＣＵまたはＣＢに分割するために、符号化器１１４のブロックパーティショナ３１０が利用可能である。
コレクション５００は、正方形の領域が他の、おそらく非正方形のサブ領域に分割されることのみを示しているが、コレクション５００は、符号化ツリーの親ノードが符号化ツリーの子ノードに分割される可能性を示しており、親ノードが正方形の領域に対応することを必要としないことが理解されるべきである。含まれる領域が非正方形である場合、分割の結果得られるブロックのサイズは、含まれるブロックのアスペクト比に応じてスケーリングされる。ある領域がさらに分割されない場合、つまり符号化ツリーのリーフノードでは、ＣＵがその領域を占有する。
領域をサブ領域に細分化するプロセスは、結果として生じるサブ領域が最小のＣＵサイズ（一般的には４×４ルマサンプル）に達したときに終了する。ＣＵは、所定の最小サイズ（例えば１６サンプル）より小さいブロック領域を禁止するように制約されることに加えて、幅または高さの最小値が４であるように制約されている。これ以外にも、幅と高さの両方、または幅と高さの両方の最小値を設定することも可能である。細分化のプロセスは、最も深いレベルの分解の前に終了することもあり、その結果、最小のＣＵサイズよりも大きいＣＵができる。分割が行われず、１つのＣＵがＣＴＵの全体を占めることも可能である。ＣＴＵの全体を占める単一のＣＵは、利用可能な最大の符号化ユニットサイズとなる。４：２：０などのサブサンプルクロマフォーマットの使用により、ビデオ符号化器１１４及びビデオ復号化器１３４の配置は、ルマ及びクロマチャネルのブロック構造を定義する共有符号化ツリーの場合を含め、ルマチャネルよりも早くクロマチャネルの領域の分割を終了させ得る。別々の符号化ツリーがルマおよびクロマに対して使用される場合、利用可能な分割操作に対する制約は、そのようなＣＵがより大きなルマ領域、例えば、６４ルマサンプルと共架されても、最小クロマＣＵ領域が１６サンプルであることを確実なものとする。
符号化ツリーのリーフノードにはＣＵが存在する。例えば、リーフノード５１０は、１つのＣＵを含む。符号化ツリーの非リーフノードには、２つ以上のさらなるノードへの分割が存在し、その各々は、１つのＣＵを形成するリーフノードを含むか、またはより小さい領域へのさらなる分割を含む非リーフノードであり得る。符号化ツリーの各リーフノードでは、符号化ツリーの各カラーチャネルに対して１つのＣＢが存在する。共有ツリーのルマとクロマの両方について同じ深さで終了する分割は、１つのＣＵが３つの共役ＣＢを持つことになる。
クワッドツリー分割５１２は、図５に示すように、包含領域を４つの等しいサイズの領域に分割する。ＨＥＶＣと比較して、多用途ビデオ符号化（ＶＶＣ）は、水平２分割５１４および垂直２分割５１６を含む追加の分割により、さらなる柔軟性を達成する。分割５１４と５１６のそれぞれは、含まれる領域を２つの同じサイズの領域に分割する。分割は、包含ブロック内の水平境界（５１４）または垂直境界（５１６）に沿って行われる。
多用途ビデオ符号化では、３分割の水平分割５１８と３分割の垂直分割５２０を追加することで、さらなる柔軟性が得られる。３分割５１８および５２０は、ブロックを、含有領域の幅または高さの１／４および３／４に沿って水平（５１８）または垂直（５２０）のいずれかに境界づけられた３つの領域に分割する。四分木、二分木、三分木の組み合わせは、「ＱＴＢＴＴＴ」と呼ばれる。ツリーのルートには、ゼロまたはそれ以上のクワッドツリーの分割（ツリーの「ＱＴ」セクション）が含まれる。ＱＴセクションが終了すると、ゼロまたはそれ以上の２分割または３分割が発生し（ツリーの「マルチツリー」または「ＭＴ」セクション）、最終的にツリーのリーフノードでＣＢまたはＣＵで終了する。ツリーがすべてのカラーチャネルを記述している場合、ツリーのリーフノードはＣＵとなる。ツリーがルマチャネルまたはクロマチャネルを記述する場合、ツリーのリーフノードはＣＢである。
四分木のみをサポートし、したがって四角いブロックのみをサポートするＨＥＶＣと比較して、ＱＴＢＴＴＴは、特に二分木および／または三分木の分割を再帰的に適用する可能性を考慮すると、より多くの可能なＣＵサイズをもたらす。４分木分割のみが利用可能な場合、符号化ツリーの深さが増すごとに、ＣＵサイズが親領域の１／４に縮小されることに相当する。ＶＶＣでは、２分木と３分木の分割が可能なため、符号化ツリーの深さはもはやＣＵ面積に直接対応しない。ブロックの幅や高さが４サンプル未満、または４サンプルの倍数にならないような分割を排除するために、分割オプションを制限することで、非正方形のブロックサイズの可能性を低減することができる。ブロックの幅または高さが４サンプル未満または４サンプルの倍数にならない分割を排除するように分割オプションを制限することで、通常とは異なる（正方形ではない）ブロックサイズの可能性を減らすことができる。
図６は、多用途ビデオ符号化で使用されるＱＴＢＴＴＴ（または「符号化ツリー」）構造のデータフロー６００を示す概略フロー図である。ＱＴＢＴＴＴ構造は、ＣＴＵの１つまたは複数のＥＣＵへの分割を定義するために、各ＣＴＵに対して使用される。各ＣＴＵのＱＴＢＴＴＴ構造は、ビデオ符号化器１１４内のブロックパーティショナ３１０によって決定され、ビデオ復号化器１３４内のエントロピー復号化器４２０によって、ビットストリーム１１５に符号化されるか、またはビットストリーム１３３から復号化される。データフロー６００はさらに、図５に示す分割に従って、ＣＴＵを１つまたは複数のＣＵに分割するためにブロックパーティショナ３１０が利用できる許容可能な組み合わせを特徴とする。
階層の最上位レベル、すなわちＣＴＵから出発して、まずゼロまたは複数のクアッドツリー分割が実行される。具体的には、クアッドツリー（ＱＴ）分割の決定６１０が、ブロックパーティショナ３１０によって行われる。「１」シンボルを返す６１０での決定は、クアッドツリー分割５１２に従って、現在のノードを４つのサブノードに分割する決定を示す。その結果、６２０でのように、４つの新しいノードが生成され、各新しいノードについて、ＱＴ分割決定６１０に再帰する。各新しいノードは、ラスタ（またはＺスキャン）の順序で考慮される。あるいは、ＱＴ分割決定６１０が、さらなる分割を行わないことを示す（「０」シンボルを返す）場合、クアッドツリー分割は停止し、続いてマルチツリー（ＭＴ）分割が検討される。
まず、ブロックパーティショナ３１０によって、ＭＴ分割決定６１２が行われる。６１２では、ＭＴ分割を行うかどうかの決定が示される。決定６１２で「０」シンボルを返すことは、ノードのサブノードへのさらなる分割を実行しないことを示す。ノードのさらなる分割が実行されない場合、そのノードは、符号化ツリーのリーフノードであり、ＣＵに対応する。リーフノードは６２２で出力される。あるいは、ＭＴ分割６１２がＭＴ分割を実行する決定を示す（「１」シンボルを返す）場合、ブロックパーティショナ３１０は、方向決定６１４に進む。
方向決定６１４は、ＭＴ分割の方向を、水平（「Ｈ」または「０」）または垂直（「Ｖ」または「１」）のいずれかとして示す。ブロックパーティショナ３１０は、決定６１４が水平方向を示す「０」を返した場合、決定６１６に進む。ブロックパーティショナ３１０は、決定６１４が垂直方向を示す「１」を返した場合、決定６１８に進む。
決定６１６、６１８のそれぞれにおいて、ＭＴ分割の分割数は、ＢＴ／ＴＴ分割では、２つ（２分割または「ＢＴ」ノード）または３つ（３分割または「ＴＴ」）のいずれかが示される。すなわち、６１４からの指示方向が水平の場合には、ブロックパーティショナ３１０によってＢＴ／ＴＴ分割決定６１６が行われ、６１４からの指示方向が垂直の場合には、ブロックパーティショナ３１０によってＢＴ／ＴＴ分割決定６１８が行われる。
ＢＴ／ＴＴ分割決定６１６は、水平分割が、「０」を返すことで示される２分割５１４であるか、「１」を返すことで示される３分割５１８であるかを示す。ＢＴ／ＴＴ分割決定６１６が２分割を示す場合、ＨＢＴ ＣＴＵノード生成ステップ６２５において、水平２分割５１４に応じて、ブロックパーティショナ３１０により２つのノードが生成される。ＢＴ／ＴＴ分割６１６が３分割を示すとき、生成ＨＴＴ＿ＣＴＵノードステップ６２６において、水平３分割５１８に従って、３つのノードがブロックパーティショナ３１０によって生成される。
ＢＴ／ＴＴ分割決定６１８は、垂直分割が、「０」を返すことで示される２分割５１６であるか、「１」を返すことで示される３分割５２０であるかを示す。ＢＴ／ＴＴ分割６１８が２分割を示す場合、ＶＢＴ＿ＣＴＵノード生成ステップ６２７において、ブロックパーティショナ３１０により、垂直２分割５１６に応じて２つのノードが生成される。ＢＴ／ＴＴ分割６１８が３分割を示す場合、生成ＶＴＴ＿ＣＴＵノードステップ６２８において、垂直３分割５２０に従って、ブロックパーティショナ３１０によって３つのノードが生成される。ステップ６２５～６２８から得られる各ノードに対して、方向６１４に応じて、左から右または上から下の順序で、ＭＴ分割決定６１２に戻るデータフロー６００の再帰が適用される。結果として、二分木および三分木の分割は、様々なサイズを有するＣＵを生成するために適用され得る。
図７Ａ及び図７Ｂは、ＣＴＵ７１０を多数のＣＵ又はＣＢに分割した例７００を提供する。図７Ａには、例示的なＣＵ７１２が示されている。図７Ａは、ＣＴＵ７１０におけるＣＵの空間的配置を示す。例示的な分割７００は、図７Ｂにおいて符号化ツリー７２０としても示されている。
図７ＡのＣＴＵ７１０の各非リーフノード、例えばノード７１４、７１６および７１８において、含まれるノード（さらに分割されてもよいし、ＣＵであってもよい）が「Ｚオーダ」にスキャンまたはトラバースされて、符号化ツリー７２０の列として表されるノードのリストが作成される。四分木の分割の場合、Ｚオーダスキャンは、左上から右へ、続いて左下から右への順に行われる。水平分割および垂直分割の場合、Ｚオーダスキャン（トラバーサル）は、それぞれ上から下へのスキャンおよび左から右へのスキャンに単純化される。図７Ｂの符号化ツリー７２０は、符号化ツリーのＺオーダスキャンに従って並べられたすべてのノードおよびＣＵをリストアップする。各分割は、リーフノード（ＣＵ）に到達するまで、ツリーの次のレベルで２つ、３つ、または４つの新しいノードのリストを生成する。
ブロックパーティショナ３１０によって画像をＣＴＵに分解し、さらにＣＵに分解し、図３を参照して説明したようにＣＵを使用して各残差ブロック（３２４）を生成した後、残差ブロックはビデオ符号化器１１４によって順方向変換および量子化の対象となる。結果として得られるＴＢ３３６は、その後、エントロピー符号化モジュール３３８の動作の一部として、残差係数のシーケンシャルリストを形成するためにスキャンされる。ビットストリーム１３３からＴＢを得るために、ビデオ復号化器１３４において同等の処理が行われる。
図８Ａ、図８Ｂ、図８Ｃ、図８Ｄは、異なるサイズの変換ブロック（ＴＢ）に従って実行される順変換および逆分離不可能な二次変換の例を示している。図８Ａは、４×４ＴＢサイズに対する一次変換係数８０２と二次変換係数８０４との間の一連の関係８００を示す図である。一次変換係数８０２は４×４の係数で構成され、二次変換係数８０４は８つの係数で構成されている。８つの２次変換係数は、パターン８０６に配置されている。パターン８０６は、ＴＢの後方斜め方向の走査で隣接し、ＤＣ（左上）位置を含む８つの位置に対応する。図８Ａに示す後方斜め走査の残りの８つの位置は、順方向二次変換を行うことによって入力されないため、ゼロ値のままである。したがって、４×４ＴＢ用の順方向非分離型二次変換８１０は、１６個の一次変換係数を受信し、８個の二次変換係数を出力として生成する。したがって、４×４ＴＢのための順方向二次変換８１０は、重みの８×１６行列によって表すことができる。同様に、逆二次変換８１２は、重みの１６×８行列によって表すことができる。
図８Ｂは、４×ＮおよびＮ×４のＴＢサイズ（Ｎは４より大きい）に対する一次変換係数と二次変換係数の関係８１８のセットを示し、どちらの場合も、一次係数の左上４×４サブブロック８２０は二次変換係数８２４の左上４×４サブブロックと関連付けられている。ビデオ符号化器１１４において、順方向非分離二次変換８３０は、１６個の一次変換係数を取り、１６個の二次変換係数を出力として生成する。残りの一次変換係数８２２は、順方向二次変換によって入力されず、したがって、ゼロ値のままである。順方向非分離二次変換８３０が実行された後、係数位置８２６は、係数８２２と関連付けられ、入力されず、したがって、ゼロ値のままである。
４×ＮまたはＮ×４のＴＢの順方向二次変換８３０は、１６×１６の重みの行列で表すことができる。順方向二次変換８３０を表す行列は、Ａと定義される。同様に、対応する逆二次変換８３２は、１６×１６の重みの行列で表すことができる。逆二次変換８３２を表す行列は、Ｂと定義される。
４×４ＴＢに対して順二次変換８１０と逆二次変換８１２に対するＡの一部を再利用することで、非分離型変換カーネルのストレージ要件をさらに低減している。Ａの最初の８行が順方向二次変換８１０に使用され、Ａの最初の８行の転置が逆二次変換８１２に使用される。
図８Ｃは、サイズ８×８のＴＢに対する一次変換係数８４０と二次変換係数８４２の関係８５５を示す。一次変換係数８４０は８×８の係数で構成され、二次変換係数８４２は８つの変換係数で構成されている。８つの二次変換係数８４２は、ＴＢの後方斜め走査における連続する８つの位置に対応するパターンで配置され、連続する８つの位置は、ＴＢのＤＣ（左上）係数を含む。ＴＢの残りの二次変換係数はすべてゼロであるため、スキャンする必要はない。８×８ＴＢの順方向非分割二次変換８５０は、３つの４×４サブブロックに対応する４８個の一次変換係数を入力とし、８個の二次変換係数を生成する。８ｘ８個のＴＢのための順方向二次変換８５０は、重みの８×４８行列によって表すことができる。また、８×８ＴＢの対応する逆二次変換８５２は、重みの４８×８行列によって表すことができる。
図８Ｄは、８×８以上のサイズのＴＢについて、一次変換係数８６０と二次変換係数８６２の関係８７５を示す図である。一次係数８６０の左上８×８ブロック（４つの４×４サブブロックとして配置）は、二次変換係数８６２の左上４×４サブブロックと関連付けられている。ビデオ符号化器１１４において、順方向非分離二次変換８７０は、４８個の一次変換係数を演算して、１６個の二次変換係数を生成する。残りの一次変換係数８６４はゼロにされる。二次変換係数８６２の左上４×４サブブロックの外側の二次変換係数位置８６６は、入力されず、ゼロのままである。
８×８より大きいサイズのＴＢの順方向二次変換８７０は、重みの１６×４８行列で表すことができる。順方向二次変換８７０を表す行列は、Ｆと定義される。 同様に、対応する逆二次変換８３２は、重みの４８×１６行列で表すことができる。逆二次変換８７２を表す行列は、Ｇと定義される。行列Ａ，Ｂ，Ｆを参照して上述したように、望ましくは、直交性の特性を有する。直交性の特性とはＧ＝ＦＴのみでありＦは、ビデオ符号化器１１４およびビデオ復号化器１３４に格納される必要がある。直交行列は、行が直交性を有する行列と表現することができる。
Ｆの一部を再利用することで、非分離型変換カーネルのストレージ要件をさらに低減している。Ｆは、８×８ＴＢの順二次変換８５０と逆二次変換８５２のためのものである。の最初の８行はＦの最初の８行の転置が順方向二次変換８１０に使用される。Ｆは逆二次変換８１２に使用される。
非分離型二次変換は、角度特徴などの残差信号の二次元特徴をスパース化することができるため、分離型一次変換のみを使用した場合よりも符号化改善を達成することができる。残差信号における角度特徴は、選択されたイントラ予測モード３８７の種類に依存する場合があるので、イントラ予測モードに応じて非分離二次変換行列が適応的に選択されることが有利である。上述したように、イントラ予測モードは、「イントラＤＣ」モード、「イントラ平面」モード、「イントラ角度」モード、および「行列イントラ予測」モードから構成される。イントラ予測モードパラメータ４５８は、イントラＤＣ予測を使用する場合、０の値をとる。イントラ予測モードパラメータ４５８は、イントラ平面予測が使用されるとき、１の値をとる。イントラ予測モードパラメータ４５８は、正方形ＴＢ上のイントラ角型予測が使用される場合、２から６６の間の値をとる。
図９は、多用途ビデオ符号化（ＶＶＣ）規格で利用可能な変換ブロックのセット９００を示したものである。また図９には、集合９００の変換ブロックからの残差係数のサブセットへの二次変換の適用を示す。図９には、幅と高さが４から３２の範囲の複数のＴＢが示されている。しかし、幅および／または高さ６４のＴＢは可能であるが、参照を容易にするために示されていない。
４×４の係数のセットに対して、１６ポイントの２次変換９５２（濃い網掛けで示す）が適用される。１６点二次変換９５２は、幅または高さが４のＴＢ、例えば、４×４ＴＢ９１０、８×４ＴＢ９１２、１６×４ＴＢ９１４、３２×４ＴＢ９１６、４×８ＴＢ９２０、４×１６ＴＢ９３０、および４×３２ＴＢ９４０に適用される。また、１６点二次変換９５２は、サイズ４×６４のＴＢ及び６４×４のＴＢ（図９では示されない）にも適用される。幅または高さが４で一次係数が１６以上のＴＢについては、ＴＢの左上４×４のサブブロックにのみ１６点二次変換を適用し、他のサブブロックは二次変換を適用するために係数が０値であることが必要である。一般に１６ポイントの二次変換を適用すると、図８から図８Ｄを参照して説明したように、８または１６の二次変換係数が生じる。二次変換係数は、ＴＢの左上サブブロックに符号化するために、ＴＢに詰め込まれる。
幅と高さが４より大きい変換サイズの場合、図９に示すように、変換ブロックの左上８×８領域の残差係数の３つの４×４サブブロックに適用するための４８ポイント二次変換９５０（薄い網掛けで示す）が利用可能である。４８点二次変換９５０は、８×８変換ブロック９２２、１６×８変換ブロック９２４、３２×８変換ブロック９２６、８×１６変換ブロック９３２、１６×１６変換ブロック９３４、３２×１６変換ブロック９３６、８×３２変換ブロック９４２、１６×３２変換ブロック９４４、３２×３２変換ブロック９４６に、それぞれの場合において、明るい網かけと破線で示した領域で適用される。また、４８点二次変換９５０は、サイズ８×６４、１６×６４、３２×６４、６４×６４、６４×３２、６４×１６、６４×８のＴＢ（図示せず）にも適用可能である。４８ポイントの二次変換カーネルを適用すると、一般に、４８未満の二次変換係数が生成されることになる。例えば、図８Ｂ～図８Ｄを参照して説明したように、８または１６の二次変換係数が生成され得る。二次変換の対象とならない一次変換係数（「一次のみの係数」）、例えばＴＢ９３４の係数９６６は、二次変換が適用されるためにゼロ値であることが要求される。４８ポイントの二次変換９５０を順方向に適用した後、有意な係数を含む可能性のある領域は、４８個の係数から１６個の係数に減少し、有意な係数を含む可能性のある係数位置の数がさらに減少する。逆二次変換では、復号された有意な係数は、一次逆変換の対象となる領域で有意となり得る係数を生成するために変換される。二次変換により１つ以上のサブブロックが１６個の二次変換係数のセットに縮小されるとき、左上の４×４サブブロックのみが有意な係数を含むことができる。二次変換係数が格納される可能性のある任意の係数位置にある最後の有意な係数の位置は、二次変換の適用または一次変換のみが適用されたことを示す。
最後の有意な係数位置がＴＢ内の二次変換係数位置を示すとき、二次変換カーネルを適用するか二次変換をバイパスするかを区別するために、シグナリングされた二次変換インデックス（すなわち、３８８または４７４）が必要である。図９中の様々なサイズのＴＢへの二次変換の適用は、ビデオ符号化器１１４の観点から説明されてきたが、対応する逆処理は、ビデオ復号化器１３４において実行される。ビデオ復号化器１３４は、まず、最後の有意な係数の位置を復号する。復号された最後の有意な係数位置が二次変換の適用可能性を示す場合、二次変換インデックス４７４は、逆二次変換を適用するかバイパスするかを決定するために復号される。
図１０は、複数のスライスを有するビットストリーム１００１のシンタックス構造０１００を示す。スライスの各々は、複数の符号化ユニットを含む。ビットストリーム１００１は、例えばビットストリーム１１５としてビデオ符号化器１１４によって生成されてもよいし、例えばビットストリーム１３３としてビデオ復号化器１３４によってパースされてもよい。ビットストリーム１００１は、例えばネットワーク抽象化レイヤ（ＮＡＬ）ユニットなどの部分に分割され、各ＮＡＬユニットに１００８などのＮＡＬユニットヘッダを先行させることによって、区切りが達成される。シーケンスパラメータセット（ＳＰＳ）１０１０は、ビットストリームの符号化および復号化に使用されるプロファイル（ツールのセット）、クロマフォーマット、サンプルビット深度、およびフレーム解像度などのシーケンスレベルのパラメータを定義している。パラメータは、各ＣＴＵの符号化ツリーにおける異なるタイプの分割の適用を制約するセット１０１０にも含まれる。
ピクチャパラメータセット（ＰＰＳ）１０１２は、０個以上のフレームに適用されるパラメータのセットを定義する。ピクチャヘッダ（ＰＨ）１０１５は、現在のフレームに適用されるパラメータを定義する。ＰＨ１０１５のパラメータは、ＣＵクロマＱＰオフセットのリストを含んでもよく、そのうちの１つは、ＣＵレベルで適用されて、クロマブロックによって使用するための量子化パラメータを共起ルマＣＢの量子化パラメータから導出することができる。
ピクチャヘッダ１０１５と１つのピクチャを形成するスライス列は、ＡＵ（アクセスユニット）として知られており、例えば、ＡＵ０＿０１１４のようなものである。ＡＵ０＿１０１４は、スライス０から２などの３つのスライスを含み、スライス１は１０１６と記されている。他のスライスと同様に、スライス１（１０１６）は、スライスヘッダ０１１８と、スライスデータ１０２０を含む。
図１１は、ＣＴＵ１１１０などの符号化ツリーユニットのルマ符号化ユニットとクロマ符号化ユニットの共有符号化ツリーによるビットストリーム１００１（例えば１１５や１３３）のスライスデータ（１０２０対応するスライスデータ１１０４など）のシンタックス構造１１００を示す。ＣＴＵ１１１０は、１つまたは複数のＣＵを含む。一例は、ＣＵ１１１４としてラベル付けされる。ＣＵ１１１４は、変換ツリー１１１８が続くシグナリングされた予測モード１１１６を含む。ＣＵ１１１４のサイズが最大変換サイズ（ルマチャネルの３２×３２または６４×の６４いずれか）を超えないとき、変換ツリー１１１８は、ＴＵ１１２４として示される１つの変換ユニットを含む。４：２：０のクロマフォーマットが使用されているとき、対応する最大クロマ変換サイズは、各方向において、ルマ最大変換サイズの半分である。すなわち、最大ルマ変換サイズが３２×３２または６４×６４の場合、最大クロマ変換サイズはそれぞれ１６×１６または３２×３２となる。４：４：４クロマフォーマットの場合、クロマ最大変換サイズはルマ最大変換サイズと同じになる。４：２：２クロマフォーマットの場合、クロマ最大変換サイズは、水平方向に半分、垂直方向にルマ最大変換サイズと同じになる。つまり、ルマ最大変換サイズが３２×３２と６４×６４の場合、クロマ最大変換サイズはそれぞれ１６×３２と３２×６４となる。
予測モード１１１６がＣＵ１１１４に対するイントラ予測の利用を示す場合、ルマイントラ予測モードとクロマイントラ予測モードとが指定される。また、ＣＵ１１１４のルマＣＢについては、ＭＴＳインデックス１１２２に従って、一次変換タイプが、（ｉ）水平および垂直方向にＤＣＴ－２、（ｉｉ）水平および垂直方向に変換スキップ、または（ｉｉｉ）水平および垂直方向にＤＳＴ－７とＤＣＴ－８の組み合わせのいずれかであることがシグナリングされる。シグナリングされたルマ変換タイプがＤＣＴ－２水平および垂直である場合（オプション（ｉ））、「低周波非分離変換」（ＬＦＮＳＴ）インデックスとしても知られる追加のルマ二次変換インデックス１１２０が、図８Ａ～図８Ｄおよび図１３～図１６を参照して説明したような条件でビットストリームにシグナリングされる。
共有符号化ツリーを使用することにより、ＴＵ１１２４は、ルマＴＢ＿Ｙ＿１１２８、第１クロマＴＢ＿Ｃｂ＿１１３２、および第２クロマＴＢ＿Ｃｒ＿１１３６として示される各カラーチャネル用のＴＢを含むことになる。各ＴＢが存在するかどうかは、対応する「符号化ブロックフラグ」（ＣＢＦ）、すなわち符号化ブロックフラグ１１２３のうちの１つに依存する。ＴＢが存在するとき、対応するＣＢＦは１に等しく、ＴＢ内の少なくとも１つの残差係数は非ゼロである。ＴＢが存在しないとき、対応するＣＢＦはゼロに等しく、ＴＢ内のすべての残差係数はゼロである。ルマＴＢ１１２８、第１のクロマＴＢ１１３４、および第２のクロマＴＢ１１３６はそれぞれ、変換スキップフラグ１１２６、１１３０、および１１３４によって合図されるように、変換スキップを使用してもよい。Ｃｂ及びＣｒチャネルの両方のクロマ残差を指定するために単一のクロマＴＢが送信される符号化モードは、「ジョイントＣｂＣｒ」符号化モードとして知られており、利用可能である。ジョイントＣｂＣｒ符号化モードが有効な場合、単一のクロマＴＢが符号化される。
カラーチャネルに関係なく、各符号化されたＴＢは、最終位置に続いて、１つ以上の残差係数を含む。例えば、ルマＴＢ１１２８は、最終位置１１４０及び残差係数１１４４を含む。最終位置１１４０は、ＴＢの係数の配列を直列化するために使用される斜め走査パターンの係数を順方向に（すなわち、ＤＣ係数から先に）考えたときに、ＴＢにおける最後の有意な残差係数の位置を示す。クロマチャネル用の２つのＴＢ１１３２及び１１３６はそれぞれ、ルマＴＢ１１２８について説明したのと同様の方法で使用される対応する最終位置シンタックス要素を有する。ＣＵ用のＴＢ、すなわち１１２８、１１３２、および１１３６のそれぞれの最終位置が、ＣＵの各ＴＢに対して二次変換領域の係数のみが有意であり、一次変換のみを受けるであろう残りの係数はすべてゼロであることを示す場合、二次変換インデックス１１２０は、二次変換を適用するか否かを指定するためにシグナリングされてもよい。二次変換インデックス１１２０のシグナリングに関するさらなる条件付けは、図１４及び図１６を参照して説明される。
二次変換が適用される場合、二次変換インデックス１１２０は、どのカーネルが選択されるかを示す。一般に、カーネルの「候補セット」において、２つのカーネルが利用可能である。一般に、４つの候補セットがあり、ブロックのイントラ予測モードを使用して、１つの候補セットが選択される。ルマブロックの候補セットを選択するためにルマイントラ予測モードが使用され、２つのクロマブロックの候補セットを選択するためにクロマイントラ予測モードが使用される。図８Ａ～図８Ｄを参照して説明したように、選択されるカーネルもＴＢサイズに依存し、４×４、４×Ｎ／Ｎ×４、および他のサイズのＴＢに対して異なるカーネルが使用される。４：２：０のクロマフォーマットが使用されている場合、クロマＴＢは一般的に対応するルマＴＢの半分の幅と高さであり、結果として幅または高さが８のルマＴＢが使用される場合、クロマブロックに対して異なる選択カーネルが発生することになる。４×４、４×８、８×４のサイズのルマブロックの場合、２×２、２×４、４×２といった小さなサイズのクロマブロックが存在しないように、共有符号化ツリーのルマブロックとクロマブロックの一対一の対応が変更される。
二次変換インデックス１１２０は、例えば次のようなものを示す。インデックス値０（適用しない）、１（候補セットの第１カーネルを適用する）、２（候補セットの第２カーネルを適用する）。クロマについては、クロマＴＢサイズ及びクロマイントラ予測モードを考慮して導出された候補セットの選択された二次変換カーネルが各クロマチャネルに適用され、したがって、Ｃｂブロック１２２４及びＣｒブロック１２２６の残差は、図８Ａ～図８Ｄを参照して説明したように、二次変換を受ける位置に有意な係数のみを含むことが必要である。ジョイントＣｂＣｒ符号化が使用される場合、結果として生じるＣｂおよびＣｒ残差は、ジョイント符号化ＴＢ内の有意な係数に対応する位置に有意な係数を含むだけなので、二次変換の対象となる位置に有意な係数を含むという要件は、単一符号化クロマＴＢにのみ適用可能である。
図１２は、符号化ツリーユニットのルマ符号化ユニットとクロマ符号化ユニットが別々の符号化ツリーを持つビットストリーム（例えば、１１５、１３３）のスライスデータ１２０４（例えば、１０２０）のシンタックス構造１２００を示す図である。別個の符号化ツリーは、「Ｉ－スライス」に対して利用可能である。スライスデータ１２０４は、ＣＴＵ１２１０のような１つ以上のＣＴＵを含む。ＣＴＵ１２１０は、一般に１２８×１２８のルマサンプルサイズであり、ルマとクロマに共通の１つのクワッドツリー分割を含む共有ツリーで始まる。結果として生じる６４×６４個のノードの各々において、別々の符号化ツリーがルマ及びクロマに対して開始する。図１２には、ノード１２１４の例が記されている。ノード１２１４は、ルマノード１２１４ａ及びクロマノード１２１４ｂを有する。ルマツリーはルマノード１２１４ａから開始され、クロマツリーはクロマノード１２１４ｂから開始される。ノード１２１４ａとノード１２１４ｂから続くツリーは、ルマとクロマの間で独立しているので、結果として得られるＣＵを生成するために、異なる分割オプションが可能である。ルマＣＵ１２２０は、ルマ符号化ツリーに属し、ルマ予測モード１２２１と、ルマ変換ツリー１２２２と、二次変換インデックス１２２４とを含む。ルマ変換ツリー１２２２は、ＴＵ１２３０を含む。ルマ符号化ツリーはルマチャネルのサンプルだけを符号化するので、ＴＵ１２３０はルマＴＢ１２３４を含み、ルマ変換スキップフラグ１２３２はルマ残差が変換されるべきか否かを示す。ルマＴＢ１２３４は、最終位置１２３６と残差係数１２３８を含む。
クロマＣＵ１２５０は、クロマ符号化ツリーに属し、クロマ予測モード１２５１と、クロマ変換ツリー１２５２と、二次変換インデックス１２５４とを含む。クロマ変換ツリー１２５２は、ＴＵ１２６０を含む。クロマツリーはクロマブロックを含むので、ＴＵ１２６０は、Ｃｂ＿ＴＢ１２６４及びＣｒ＿ＴＢ１２６８を含む。Ｃｂ＿ＴＢ１２６４及びＣｒ＿ＣＢ１２６８に対する変換の迂回の適用は、それぞれ、Ｃｂ変換スキップフラグ１２６２及びＣｒ変換スキップフラグ１２６６で合図される。各ＴＢは、最終位置及び残差係数を含み、例えば、最終位置１２７０及び残差係数１２７２は、Ｃｂ＿ＴＢ１２６４に関連付けられる。クロマツリーのクロマＴＢに適用される二次変換インデックス１の２５４シグナリングは、図１４及び図１６を参照して説明される。
図１７は、３２×３２のＴＢ１７００を示す図である。従来のスキャンパターン１７１０がＴＢ１７００に適用されているのが示されている。スキャンパターン１７１０は、ＴＢ１７００を後方斜めに進行し、最後の有意な係数位置から始まり、ＤＣ（左上）係数位置に向かって進行する。この進行は、ＴＢ１７００を４×４のサブブロックに分割する。各サブブロックは、ＴＢ１７００のいくつかのサブブロック、例えばサブブロック１７５０に示されるように、内部で後方斜め方向に走査される。他のサブブロックも同じように走査される。しかし、図１７では、参照を容易にするために、限られた数のサブブロックがフルスキャンで示されている。ある４×４のサブブロックから次のサブブロックへの進行も、ＴＢ１７００の全体にまたがる後方斜め方向の走査に従う。
ＭＴＳを使用する場合、ＴＢ１７００の左上１６×１６部分１７４０の係数のみが重要である場合がある。左上１６×１６部分は、ＭＴＳを適用することができる閾値直交位置（この例では（１５，１５））を形成し、またはその範囲内にある。最後の有意な係数が、Ｘ座標またはＹ座標のいずれの点でも閾値直交位置の外側にある場合、ＭＴＳを適用することはできない。すなわち、最後の有意な係数の位置のＸ座標またはＹ座標のいずれかが１５を超える場合、ＭＴＳは適用できず、ＤＣＴ－２が適用される（または、変換がスキップされる）。最後の有意な係数の位置は、ＴＢ１７００内のＤＣ係数の位置に対する直交座標で表される。例えば、最後の有意な係数の位置１７３０は、１５，１５である。位置１７３０から始まり、ＤＣ係数に向かって進行するスキャンパターン１７１０は、ＭＴＳが適用されたときにビデオ符号化器１１４においてゼロアウトされ、ビデオ復号化器１３４によって使用されない走査サブブロック１７２０及び１７２１（網掛けで識別）を結果としてもたらす。ビデオ復号化器１３４は、１７２０、１７２１が走査に含まれるため、サブブロック１７２０、１７２１の残差係数を復号する必要があるが、復号されたサブブロック１７２０、１７２１の残差係数は、ＭＴＳを適用した場合には使用されない。少なくとも、サブブロック１７２０の残差係数は、ＭＴＳが適用されるためにゼロ値であることが要求され得、関連するコーディングコストを低減し、ＭＴＳが適用されるときにビットストリームがサブブロックの有意な残差係数を符号化することを防止することが可能である。すなわち、「ｍｔｓ＿ｉｄｘ」シンタックス要素の解析は、最後の有意な位置が部分１７４０内にあることだけでなく、サブブロック１７２０および１７２１がゼロ値の残差係数のみを含むことも条件とすることができる。
図１８は、説明した配置を用いた３２×３２のＴＢ１８００のスキャンパターン１８１０を示す図である。スキャンパターン１８１０は、４×４サブブロックを、コレクション１８４０のようないくつかの「コレクション」にグループ化する。
本開示の文脈では、スキャンパターンに関連して、コレクションは、（ｉ）ＭＴＳに適用可能なサイズのエリアまたは領域を形成する、または（ｉｉ）ＭＴＳに適用可能なエリアを囲むエリアまたは領域を形成するサブブロックの非オーバーラップセットを提供する。スキャンパターンは、残差係数のサブブロックのいくつかのオーバーラップしないコレクションを進行することによって変換ブロックを横断し、現在のコレクションのスキャンを完了した後に、現在のコレクションから次のコレクションに進行する。
図１８の例では、各コレクションは、最大４つのサブブロックの幅と高さを持つ４ｘ４サブブロックの２次元配列である（コレクションのオプション（ｉ））。コレクション１８４０は、ＭＴＳが使用されているときの潜在的な有意な係数の領域、すなわち、ＴＢ１８００の１６×１６の領域に対応する。スキャンパターン１８１０は、再入力することなく、あるコレクションから次のコレクションに進行する、すなわち、あるコレクション内のすべての残差係数がスキャンされると、スキャンパターン１８１０は次のコレクションに進行する。スキャン１８１０は、次のコレクションのスキャンに進行する前に、現在のコレクションのスキャンパターンを効果的に完全に完了させる。コレクションは非オーバーラップであり、各残差係数位置は、最終位置から始まり、ＤＣ（左上）係数位置に向かって進行するように、１回スキャンされる。
スキャンパターン１７１０と同様に、スキャンパターン１８１０もＴＵ１８００を４×４のサブブロックに分割している。あるコレクションから次のコレクションへの単調な進行のため、走査が左上のコレクション１８４０に到達すると、コレクション１８４０の外側の残差係数のさらなる走査は起こらない。特に、最終位置がコレクション１８４０内、例えば１５，１５の位置の最終位置１８３０にある場合、コレクション１８４０の外側のすべての残差係数は有意でない。１８４０外の残差係数がゼロであることは、ＭＴＳが使用されているときにビデオ符号化器１１４において実行されるゼロアウトに整合する。したがって、ビデオ復号化器１３４は、ｍｔｓ＿ｉｄｘシンタックス要素（ＣＵが単一符号化ツリーに属するときは１１２２、ＣＵが別符号化ツリーのルマブランチに属するときは１２２６）のパージングを可能にするために最終位置がコレクション１８４０内にあることを確認するだけでよい。スキャンパターン１８１０の使用は、コレクション１８４０の外側のあらゆる残差係数がゼロ値であることを保証する必要性を除去する。コレクション１８４０の外側の係数かどうかは、ＭＴＳ変換係数領域に整列されたコレクションサイズを有するスキャンパターン１８１０のおかげで、既に明らかである。ＴＢ１８００を、それぞれが同じサイズであるコレクションの集合に分割することによって、スキャンパターン１８１０は、スキャンパターン１７１０と比較して、メモリ消費の低減を可能にすることもできる。ＴＢ１８００にわたるスキャンは、１つのコレクションにわたるスキャンから構成することができるため、メモリ削減が可能となる。サイズ１６×３２および３２×１６のＴＢについては、１６×１６サイズのコレクションと同じアプローチで、２つのコレクションを使用することができる。３２×８サイズのＴＢでは、ＴＢサイズの関係で１６×８サイズに制約されたコレクションへの分割が可能である。３２×８のＴＢをコレクションに分割すると、３２×８のＴＢを構成する４×４のサブブロックの８×２配列の上を規則的に斜めに進行するのと同じスキャンパターンになる。従って、３２×８ＴＢのＭＴＳ変換の対象となる８×１６の係数の領域において、最終位置が３２×８ＴＢの左半分以内であることを確認することで、有意な係数の特性を満たしている。
図１９は、サイズ８×３２のＴＢ１９００を示したものである。ＴＢ１９００は、コレクションへの分割が可能である。図１９の例では、コレクション１９４０のように、ＴＢサイズの関係でコレクションサイズが８×１６に制約されるものがある。８×３２ＴＢ１９００のコレクションへの分割は、８×３２ＴＢを構成する４×４サブブロックの２×８配列上の通常の対角線進行と比較して、異なるサブブロック順序をもたらす（例えば図１８に示す）。８×１６コレクションサイズを使用することにより、最後の有意な係数位置がコレクション１９４０内にある場合、有意な係数はＭＴＳ変換係数領域においてのみ可能であり、例えば７，１５における最後の有意な位置１９３０であることが保証される。
図１８、図１９のスキャンパターンは、各サブブロックの残差係数を後方斜めにスキャンする。図１８、図１９の例では、各コレクションのサブブロックが後方斜めにスキャンされる。コレクション間の走査は、図１８及び図１９において、後方斜め方向に行われる。
図２０は、３２×３２のＴＢ２０００の代替スキャン順序２０１０を示す図である。走査順（スキャンパターン）２０１０は、部分２０１０ａ～２０１０ｆに分割される。スキャンオーダー２０１０から２０１０ｅは、コレクションに関するオプション（ｉｉ）、ＭＴＳに適用可能なエリアを囲むエリアまたは領域を形成するサブブロックの集合に関する。スキャンパターン２０１０ｆは、（ｉ）ＭＴＳに適用可能なエリアを形成する地域２０４０をカバーするコレクションに関するものである。スキャン順序２０１０ａ～２０１０ｆは、１つのサブブロックから次のサブブロックへの後方斜め進行が、領域２０４０を除くＴＢ２０００にわたって起こり、その後、後方斜め進行のスキャンを使用してスキャンされるように定義されている。領域２０４０は、ＭＴＳ変換係数領域に相当する。ＴＢ２０００を、ＭＴＳ変換係数領域外のサブブロック上のスキャンと、それに続くＭＴＳ変換係数領域内のサブブロック上のスキャンとに分割すると、２０１０ａ、２０１０ｂ、２０１０ｃ、２０１０ｄ、２０１０ｅ、および２０１０ｆに示すように、サブブロック上の進行がもたらされる。スキャンパターン２０１０は、２０１０ａから２０１０ｅによって定義されるコレクションと、２０１０ｆによってスキャンされる領域２０４０によって定義されるコレクションという、２つのコレクションを識別する。スキャンは、コレクション２０４０の右下隅（２０３０）より前に、コレクション２０４０に接するすべてのサブブロックがスキャンされることを可能にする方法で実行される。スキャンパターン２０１０は、スキャン２０１０ａから２０１０ｅを使用して形成されたサブブロックの集合体をスキャンする。２０１０ａから２０１０ｅでカバーされるコレクションが完了すると、スキャンパターン２０１０は、２０１０ｆに従ってスキャンされる次のコレクション２０４０に継続する。ｍｔｓ＿ｉｄｘのシグナリングを可能にするために、２０３０などの最後の有意な係数の位置が領域２０４０内にあることを確認する特性が存在し、領域２０４０外の残差係数がゼロ値であることも確認する必要はない。
残差係数の走査は、図２０の後方斜め走査のバリエーションで行われる。スキャンパターンは、図２０において、後方ラスター方式でコレクションをスキャンする。図１８及び図１９のパターンのバリエーションにおいて、コレクションは、後方ラスター順に走査されてもよい。
図１８～図２０に示すスキャンパターン、すなわち１８１０、１９１０、２０１０ａ～ｆは、図１７のスキャンパターン１７１０と比較して、ＴＢの最高周波数の係数からＴＢの最低周波数の係数に向かって進行する性質を実質的に保持している。したがって、スキャンパターン１８１０、１９１０、および２０１０ａ～ｆを使用するビデオ符号化器１１４およびビデオ復号化器１３４の配置は、ＭＴＳ変換係数領域の外側のゼロ値残差係数をチェックするさらなる必要なしに、最後の有意な係数の位置に依存することができるようにしながら、スキャンパターン１７１０を用いるときに達成されるのと同様の圧縮効率を達成する。
図１３は、フレームデータ１１３をビットストリーム１１５に符号化するための方法１３００を示し、ビットストリーム１１５は、符号化ツリーユニットのシーケンスとして１つまたは複数のスライスを含む。方法１３００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって具現化され得る。さらに、方法１３００は、プロセッサ２０５の実行下でビデオ符号化器１１４によって実行されてもよい。このように、方法１３００は、コンピュータ可読記憶媒体および／またはメモリ２０６に格納されたソフトウェア２３３のモジュールとして実施されてもよい。
方法１３００は、ＳＰＳ／ＰＰＳ符号化のステップ１３１０で始まる。ステップ１３１０で、ビデオ符号化器１１４は、ＳＰＳ１０１０およびＰＰＳ１０１２を、固定長および可変長の符号化パラメータのシーケンスとして、ビットストリーム１１５に符号化する。フレームデータ１１３のパラメータ、例えば解像度やサンプルビット深度が符号化される。また、特定の符号化ツールの使用状況を示すフラグなど、ビットストリームのパラメータも符号化される。ピクチャパラメータセットは、「デルタＱＰ」シンタックス要素がビットストリーム１１３に存在する頻度を指定するパラメータ、ルマＱＰに対するクロマＱＰのオフセットなどを含む。
方法１３００は、ステップ１３１０からピクチャヘッダ符号化のステップ１３２０に続く。ステップ１３２０の実行において、プロセッサ２０５は、ピクチャヘッダ（例えば１０１５）をビットストリーム１１３に符号化し、ピクチャヘッダ１０１５は、現在のフレーム内のすべてのスライスに適用可能である。ピクチャヘッダ１０１５は、バイナリ、ターナリー、およびクワッドツリー分割の最大許容深度を示す分割制約を含み、ＳＰＳ１０１０の一部として含まれる同様の制約をオーバーライドすることができる。
方法１３００は、ステップ１３２０からスライスヘッダ符号化のステップ１３３０に続く。ステップ１３３０で、エントロピー符号化器３３８は、スライスヘッダ１１１８をビットストリーム１１５に符号化する。
方法１３００は、ステップ１３３０から、スライスをＣＴＵに分割するステップ１３４０に続く。ステップ１３４０の実行において、ビデオ符号化器１１４は、スライス０１１６をＣＴＵのシーケンスに分割する。スライス境界はＣＴＵ境界に整列され、スライス内のＣＴＵはＣＴＵスキャン順序、一般にラスタースキャン順序に従って順序付けされる。スライスのＣＴＵへの分割は、各現在のスライスを符号化する際に、フレームデータ１１３の部分がビデオ符号化器１１３によって処理されるべき順序を確立する。
方法１３００は、ステップ１３４０から、符号化ツリー決定のステップ１３５０に続く。ステップ１３５０で、ビデオ符号化器１１４は、スライス内の現在選択されているＣＴＵに対する符号化ツリーを決定する。方法１３００は、ステップ１３５０の最初の呼び出しでスライス０１１６内の第１のＣＴＵから開始し、その後の呼び出しでスライス０１１６内の後続のＣＴＵに進行する。ＣＴＵの符号化ツリーを決定する際に、クワッドツリー、バイナリ、およびターナリー分割の様々な組み合わせが、ブロックパーティショナ３１０によって生成され、テストされる。
方法１３００は、ステップ１３５０から、符号化ユニット決定のステップ１３６０に続く。ステップ１３６０において、ビデオ符号化器１１４は、既知の方法を用いて、評価中の様々な符号化ツリーから生じるＣＵのための符号化を決定するために実行する。エンコーディングを決定することは、予測モード（例えば、特定モードによるイントラ予測３８７または動きベクトルによるインター予測）および一次変換タイプ３８９を決定することを含む。一次変換タイプ３８９がＤＣＴ－２であると決定され、順方向二次変換を受けないすべての量子化された一次変換係数が有意でない場合、二次変換インデックス３８８が決定され、二次変換の適用（例えば１１２０、１２２４または１２５４として符号化）を示すことができる。そうでなければ、二次変換インデックス３８８は、二次変換の迂回を示す。さらに、変換スキップフラグ３９０がＣＵ内の各ＴＢについて決定され、一次変換（およびオプションとして二次変換）を適用すること、または変換を完全にバイパスすることを示す（たとえば１１２６／１１３０／１１３４または１２３２／１２６２／１２６６など）。ルマチャネルの場合、一次変換のタイプは、ＤＣＴ－２、変換スキップ、またはＭＴＳオプションの１つに決定され、クロマチャネルの場合、ＤＣＴ－２または変換スキップが利用可能な変換タイプである。符号化を決定することは、ＱＰを変更することが可能な量子化パラメータを決定すること、すなわち、「デルタＱＰ」シンタックス要素がビットストリーム１１５に符号化されることを含むことも可能である。個々の符号化ユニットを決定する際に、最適な符号化ツリーもまた、共同して決定される。共有符号化ツリーにおける符号化ユニットがイントラ予測を用いて符号化される場合、ステップ１３６０において、ルマイントラ予測モードとクロマイントラ予測とが決定される。別個の符号化ツリーにおける符号化ユニットがイントラ予測を使用して符号化されることになっている場合、符号化ツリーの枝がそれぞれルマまたはクロマであることに応じて、ルマイントラ予測モードまたはクロマイントラ予測モードのいずれかがステップ１３６０において決定される。
符号化ユニット決定のステップ１３６０は、順方向一次変換モジュール３２６によるＤＣＴ－２一次変換の適用から生じる一次領域残差に「ＡＣ」残差係数が存在しないとき、二次変換のテスト適用を禁止してもよい。ＡＣ残差係数は、変換ブロックの左上位置以外の位置の残差係数である。ＤＣ一次係数のみが存在する場合の二次変換のテストの禁止は、二次変換インデックス３８８が適用されるブロック、すなわち共有ツリーのＹ、Ｃｂ、Ｃｒ（Ｃｂ、Ｃｒブロックが２サンプルの幅または高さの場合のみＹチャネルとなる）に及ぶ。符号化ユニットが共有ツリー用か分離ツリー用かにかかわらず、少なくとも１つの有意なＡＣ主係数が存在する場合、ビデオ符号化器１１４は、非ゼロの二次変換インデックス値３８８の選択について（すなわち、二次変換の適用について）テストする。
方法１３００は、ステップ１３６０から符号化ユニット符号化のステップ１３７０に続く。ステップ１３７０で、ビデオ符号化器１１４は、ステップ１３６０の決定された符号化ユニットをビットストリーム１１５に符号化する。符号化ユニットがどのように符号化されるかの例を、図１４を参照しながらより詳細に説明する。
方法１３００は、ステップ１３７０から最後の符号化ユニットテストのステップ１３８０に続く。ステップ１３８０で、プロセッサ２０５は、現在の符号化ユニットがＣＴＵの最後の符号化ユニットであるかどうかをテストする。そうでない場合（ステップ１３８０で「ＮＯ」）、プロセッサ２０５内の制御は、符号化ユニット決定ステップ１３６０に戻る。そうでなければ、現在の符号化ユニットが最後の符号化ユニットである場合（ステップ１３８０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のＣＴＵテストのステップ１３９０に進行する。
最後のＣＴＵテストのステップ１３９０で、プロセッサ２０５は、現在のＣＴＵがスライス０１１６内の最後のＣＴＵであるか否かをテストする。現在のＣＴＵがスライス内の最後のＣＴＵでない場合（ステップ１３９０で１０１６「ＮＯ」）、プロセッサ２０５内の制御は、決定符号化ツリーステップ１３５０に戻る。そうでなければ、現在のＣＴＵが最後である場合（ステップ１３９０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のスライステストのステップ１３１００に進行する。
最後のスライステストのステップ１３１００では、プロセッサ２０５は、符号化されている現在のスライスがフレーム内の最後のスライスであるかどうかをテストする。現在のスライスが最後のスライスでない場合（ステップ１３１００で「ＮＯ」）、プロセッサ２０５内の制御は、スライスヘッダ符号化のステップ１３３０に戻る。そうでなければ、現在のスライスが最後のスライスであり、すべてのスライスが符号化された場合（ステップ１３１００で「ＹＥＳ」）、方法１３００は終了する。
図１４は、図１３のステップ１３７０に対応する、ビットストリーム１１５に符号化ユニットを符号化するための方法１４００を示す図である。方法１４００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって具現化されてもよい。さらに、方法１４００は、プロセッサ２０５の実行下でビデオ符号化器１１４によって実行されてもよい。このように、方法１４００は、ソフトウェア２３３のモジュールとして、コンピュータ可読記憶媒体上及び／又はメモリ２０６に格納されてもよい。
方法１４００は、ＴＵ１２６０のクロマＴＢに適用することが可能な場合にのみ二次変換インデックス１２５４を符号化し、ＴＵ１１２４のＴＢのいずれかに適用することが可能な場合にのみ二次変換インデックス１１２０を符号化することによって、圧縮効率が改善された結果となる。共有符号化ツリーが使用されている場合、方法１４００は、符号化ツリーの各ＣＵ、例えば図１１のＣＵ１１１４に対して呼び出され、Ｙ、Ｃｂ、およびＣｒカラーチャネルが符号化される。別個の符号化ツリーが使用されているとき、方法１４００は、まず、ルマブランチ１２１４ａの各ＣＵ、たとえば１２２０に対して呼び出され、方法１４００は、クロマブランチ１２１４ｂの各クロマＣＵ、たとえば１２５０についても呼び出される。
方法１４００は、予測ブロック生成のステップ１４１０で開始される。ステップ１４１０で、ビデオ符号化器１１４は、ステップ１３６０で決定されたＣＵの予測モード、例えばイントラ予測モード３８７に従って、予測ブロック３２０を生成する。エントロピー符号化器３３８は、ステップ１３６０で決定された符号化ユニットのためのイントラ予測モード３８７をビットストリーム１１５に符号化する。「ｐｒｅｄ＿ｍｏｄｅ」シンタックス要素は、符号化ユニットに対するイントラ予測、インター予測、または他の予測モードの使用を区別するために符号化される。イントラ予測が符号化ユニットに対して使用される場合、ルマＰＢがＣＵに適用可能である場合、ルマイントラ予測モードが符号化され、クロマＰＢがＣＵに適用可能である場合、クロマイントラ予測モードが符号化される。すなわち、ＣＵ１１１４のような共有ツリーに属するイントラ予測されたＣＵについては、予測モード１１１６は、ルマイントラ予測モードとクロマイントラ予測モードとを含む。ＣＵ１２２０のような別個の符号化ツリーのルマブランチに属するイントラ予測されたＣＵについては、予測モード１２２１は、ルマイントラ予測モードを含む。ＣＵ１２５０のような別の符号化ツリーのクロマブランチに属するイントラ予測されたＣＵについては、予測モード１２５１は、クロマイントラ予測モードを含む。一次変換タイプ３８９は、符号化ユニットのルマＴＢに対して、水平方向および垂直方向にＤＣＴ－２の使用、水平方向および垂直方向に変換スキップ、または水平方向および垂直方向にＤＣＴ－８およびＤＳＴ－７の組み合わせから選択するように符号化される。
方法１４００は、ステップ１４１０から残差決定のステップ１４２０に続く。予測ブロック３２０は、差分モジュール３２２によってフレームデータ３１２の対応するブロックから差し引かれ、差分３２４を生成する。
方法１４００は、ステップ１４２０から残差変換のステップ１４３０に続く。残差変換のステップ１４３０において、ビデオ符号化器１１４は、プロセッサ２０５の実行の下、ステップ１４２０の残差に対して一次および二次変換をバイパスするか、またはＣＵの各ＴＢに対して一次変換タイプ３８９および二次変換インデックス３８８に従って変換を実行する。差分３２４の変換は、変換スキップフラグ３９０に従って実行またはバイパスされてもよく、変換された場合、図３を参照して説明したように、残差サンプル３５０を生成するためにステップ１３５０で決定されたように、二次変換も適用されてもよい。定量化モジュール３３４の動作後、残差係数３３６が利用可能である。
方法１４００は、ステップ１４３０からルマ変換スキップフラグ符号化のステップ１４４０に続く。ステップ１４４０において、エントロピー符号化器３３８は、コンテキスト符号化された変換スキップフラグ３９０をビットストリーム１１５に符号化し、ルマＴＢの残差が一次変換、および場合によっては二次変換に従って変換されるか、または一次変換および二次変換がバイパスされるかのいずれかを指示する。ステップ１４４０は、ＣＵがルマＴＢを含むとき、すなわち、共有符号化ツリー（符号化１１２６）またはデュアルツリー（符号化１２３２）のルマブランチにおいて実行される。
方法１４００は、ステップ１４４０からルマ残差符号化のステップ１４５０に続く。ステップ１４５０において、エントロピー符号化器３３８は、ルマＴＢ用の残差係数３３６をビットストリーム１１５に符号化する。ステップ１４５０は、符号化ユニットのサイズに基づいて、適切なスキャンパターンを選択するように動作する。スキャンパターンの例は、図１７（従来のスキャンパターン）及び図１８～図２０（ＭＴＳフラグの決定に使用される追加のスキャンパターン）に関連して説明される。本明細書で説明する実施例では、図１８～図２０の例に関連するスキャンパターンが使用される。残差係数３３６は、典型的には、４×４のサブブロックを有する後方斜めのスキャンパターンに従って、リストにスキャンされる。１６サンプルより大きい幅又は高さを有するＴＢの場合、スキャンパターンは、図１８、図１９及び図２０を参照して説明したとおりである。リスト内の最初の非ゼロ残差係数の位置（すなわち１１４０）は、変換ブロックの左上の係数に対するデカルト座標としてビットストリーム１１５内に符号化される。残りの残差係数は、最終位置の係数からＤＣ（左上）残差係数の順に、残差係数１１４４として符号化される。ステップ１４５０は、ＣＵがルマＴＢを含む場合、すなわち共有符号化ツリー（符号化１１２８）、またはＣＵがデュアルツリーのルマブランチ（符号化１２３４）に属している場合に実行される。
方法１４００は、ステップ１４５０からクロマ変換スキップフラグ符号化のステップ１４６０に続く。ステップ１４６０において、エントロピー符号化器３３８は、対応するＴＢがＤＣＴ－２変換、および任意に二次変換を受けるか、または変換がバイパスされるかを示す、別の２つのコンテキスト符号化変換スキップフラグ３９０をビットストリーム１１５に、各クロマＴＢについて１つずつ符号化する。ステップ１４６０は、ＣＵがクロマＴＢを含む場合、すなわち、共有符号化ツリー（符号化１１３０および１１３４）またはデュアルツリーのクロマブランチ（符号化１２６２および１２６６）において、実行される。
方法１４００は、ステップ１４６０からクロマ残差符号化のステップ１４７０に続く。ステップ１４７０において、エントロピー符号化器３３８は、ステップ１４５０を参照して説明したように、クロマＴＢの残差係数をビットストリーム１１５に符号化する。ステップ１４６０は、ＣＵがクロマＴＢを含む場合、すなわち、共有符号化ツリー（符号化１１３２および１１３６）またはデュアルツリーのクロマブランチ（符号化１２６４および１２６８）において、実行される。１６サンプルより大きい幅または高さを有するクロマＴＢの場合、スキャンパターンは、図１８、図１９および図２０を参照して説明したとおりである。ルマＴＢとクロマＴＢに対して図１８～図２０のスキャンパターンを使用することにより、同じサイズのＴＢに対してルマとクロマの間で異なるスキャンパターンを定義する必要性を回避することができる。
方法１４００は、ステップ１４７０からＬＦＮＳＴシグナリングテストのステップ１４８０に続く。ステップ１４８０で、プロセッサ２０５は、二次変換がＣＵの任意のＴＢに適用され得るか否かを判断する。ＣＵのＴＢのすべてが変換スキップを使用する場合、二次変換インデックス３８８を符号化する必要はなく（ステップ１４８０で「ＮＯ」）、方法１４００は、ＭＴＳシグナリングテストのステップ１４１００に進行する。共有符号化ツリーの場合、例えば、ルマＴＢおよび２つのクロマＴＢの各々は、ステップ１４８０で「ＮＯ」を返すために変換スキップされる。別個の符号化ツリーの場合、符号化ツリーのルマブランチにおけるルマＴＢは、ルマおよびクロマそれぞれに関する呼び出しに対して「ＮＯ」を返すためにステップ１４８０のために変換スキップされ、または符号化ツリーのクロマブランチにおける二つのクロマＴＢは、両方とも変換スキップされる。二次変換が実行されるためには、該当するＴＢは、二次変換の対象となるＴＢの位置に有意な残差係数を含むだけでよい。すなわち、他のすべての残差係数はゼロでなければならず、この条件は、図８Ａ～図８Ｄに示すＴＢサイズについて８０６、８２４、８４２、または８６２内のＴＢの最終位置がある場合に達成される。ＣＵ内のいずれかのＴＢの最終位置が、考慮されたＴＢサイズに対して８０６、８２４、８４２、または８６２の外にある場合、二次変換は行われず（ステップ１４８０で「ＮＯ」）、方法１４００はＭＴＳシグナリングテストのステップ１４１００に進行する。
クロマＴＢの場合、幅または高さ２が発生することがある。幅または高さが２のＴＢは、そのようなサイズのＴＢに対して定義されたカーネルがないため、二次変換の対象とならず（ステップ１４８０で「ＮＯ」）、方法１４００は、ＭＴＳシグナリングテストのステップ１４１００に進む。二次変換を行う際の追加条件は、該当するＴＢのうち少なくともＡＣ残差係数が存在することである。すなわち、有意な残差係数が各適用されるＴＢのＤＣ（左上）位置にしかない場合、二次変換は実行されず（ステップ１４８０で「ＮＯ」）、方法１４００はＭＴＳシグナリングテストのステップ１４１００へ進行する。ＣＵの少なくとも１つのＴＢが一次変換の対象であり（変換スキップフラグはＣＵの少なくとも１つのＴＢについてスキップしないことを示す）、一次変換の対象のＴＢに関する採取位置制約が満たされ、少なくとも１つのＡＣ係数が一次変換の対象のＴＢの１つ以上に含まれる（ステップ１４８０で「ＹＥＳ」）ことを条件に、プロセッサ２０５内の制御はＬＦＮＳＴインデックス符号化のステップ１４９０へ進行する。ＬＦＮＳＴインデックス符号化のステップ１４９０において、エントロピー符号化器３３８は、二次変換の適用に関する３つの可能な選択を示す切断された単項のコードワードを符号化する。選択は、ゼロ（適用されない）、１（候補セットの第１のカーネルが適用される）、および２（候補セットの第２のカーネルが適用される）である。コードワードは最大で２つのビンを使用し、各ビンはコンテキスト符号化される。ステップ１４８０で実行されたテストにより、ステップ１４９０は、二次変換を適用できるとき、すなわち、符号化される非ゼロインデックスに対してのみ実行される。ステップ１４９０は、例えば、１１２０または１２２４または１２２５を符号化する。
実質的に、ステップ１４８０および１４９０の動作は、二次変換がＴＵ１２６０のクロマＴＢに適用できる場合にのみ、別々のツリー構造におけるクロマ用の二次変換インデックス１２５４が符号化されることを可能にする。共有ツリー構造においてステップ１４８０および１４９０は、二次変換がＴＵ１１２４のＴＢのいずれかに適用され得る場合にのみ、二次変換インデックス１１２０を符号化するように動作する。関連する二次変換インデックス（１２５４および１１２０など）を除外する際に、方法１４００は、符号化効率を向上させるように動作する。特に、共有またはデュアルツリーの場合、不要なフラグが回避され、それによって、必要なビット数が減少し、符号化効率が向上する。別個のツリーの場合、対応するルマ変換ブロックが変換スキップされる場合、二次変換はクロマについて必ずしも抑制されない。
方法１４００は、ステップ１４９０からＭＴＳシグナリングテストのステップ１４１００に進行する。
ＭＴＳシグナリングのステップ１４１００で、ビデオ符号化器１１４は、ＭＴＳインデックスをビットストリーム１１５に符号化する必要があるか否かを判断する。ステップ１３６０でＤＣＴ－２変換の使用が選択された場合、最後の有意な係数位置は、ＴＢの左上３２×３２領域内のどこにあってもよい。最後の有意な係数位置がＴＢの左上１６×１６領域外であり、（図１７のスキャンパターンではなく）図１８および図１９のスキャンが使用される場合、ビットストリームにおいて明示的にｍｔｓ＿ｉｄｘをシグナリングする必要はない。ＭＴＳを使用すると、左上１６ｘ１６領域以外の最後の有意な係数が生成されないため、この場合、信号ｍｔｓ＿ｉｄｘはビットストリームに不要である。ステップ１４１００は「ＮＯ」を返し、方法１４００は、最後の有意な係数の位置によって暗示されるＤＣＴ－２の使用で、終了する。
一次変換タイプの非ＤＣＴ－２選択は、ＴＢの幅と高さが３２以下の場合にのみ利用可能である。したがって、幅または高さが３２を超えるＴＢの場合、ステップ１４１００は「ＮＯ」を返し、方法１４００は、ステップ１４１００で終了する。非ＤＣＴ－２選択も、二次変換が適用されない場合にのみ利用可能であり、従って、ステップ１３６０で二次変換タイプ３８８が非ゼロであると判断された場合、ステップ１４１００は「ＮＯ」を返し、方法１４００はステップ１４１００において終了する。
図１８および図１９のスキャンを使用するとき、最後の有意な係数の位置がＴＢの左上１６×１６領域内に存在することは、ＤＣＴ－２一次変換の適用、またはＤＳＴ－７および／もしくはＤＣＴ－８のＭＴＳ組み合わせのいずれかから生じ得るので、ステップ１３６０で行われた選択を符号化するためのｍｔｓ＿ｉｄｘの明示的なシグナリングが必要である。したがって、最後の有意な係数位置がＴＢの左上１６×１６領域内にあるとき、ステップ１４１００は「ＹＥＳ」を返し、方法１４００はＭＴＳインデックス符号化のステップ１４１１０に進行する。
ＭＴＳインデックス符号化のステップ１４１１０で、エントロピー符号化器３３８は、一次変換タイプ３８９を表す切り捨てられた単項ビン文字列を符号化する。ステップ１４１１０は、例えば、１１２２または１２２６を符号化することができる。方法１４００は、ステップ１４１１０の実行により終了する。
図１５は、ビットストリーム１３３を復号してフレームデータ１３５を生成するための方法１５００を示し、ビットストリーム１３３は、符号化ツリーユニットのシーケンスとして１つまたは複数のスライスを含んでいる。方法１５００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって具現化され得る。さらに、方法１５００は、プロセッサ２０５の実行下でビデオ復号化器１３４によって実行されてもよい。このように、方法１５００は、コンピュータ可読記憶媒体上及び／又はメモリ２０６内にソフトウェア２３３の１つ又は複数のモジュールとして記憶されてもよい。
方法１５００は、ＳＰＳ／ＰＰＳ復号化のステップ１５１０で始まる。ステップ１５１０で、ビデオ復号化器３１４は、ビットストリーム１３３からＳＰＳ１０１０およびＰＰＳ１０１２を、固定長および可変長の符号化パラメータのシーケンスとして復号化する。解像度やサンプルビット深度などのフレームデータ１１３のパラメータが復号化される。また、特定の符号化ツールの使用を示すフラグなど、ビットストリームのパラメータも復号化される。デフォルトのパーティション制約は、バイナリ、ターナリーおよびクワッドツリー分割の最大許容深度をシグナリングし、ビデオ復号化器１３４によってＳＰＳ１０１０の一部として復号化されることもある。
方法１５００は、ステップ１５１０からピクチャヘッダ復号化のステップ１５２０に続く。ステップ１５２０の実行において、プロセッサ２０５は、ビットストリーム１１３から、現在のフレーム内のすべてのスライスに適用可能なピクチャヘッダ１０１５を復号化する。ピクチャパラメータセットは、「デルタＱＰ」シンタックス要素がビットストリーム３１３に存在する頻度、ルマＱＰに対するクロマＱＰのオフセットなどを指定するパラメータを含む。オプションのオーバーライドされたパーティション制約は、バイナリ、ターナリーおよびクワッドツリー分割の最大許容深度をシグナリングし、またビデオ復号化器１３４によってピクチャヘッダ１０１５の一部として復号化されてもよい。
方法１５００は、ステップ１５２０からスライスヘッダ復号化のステップ１５３０に続く。ステップ１５３０で、エントロピー復号化器は、ビットストリーム１３３からスライスヘッダ０１１８を復号化４２０する。
方法１５００は、ステップ１５３０から、スライスをＣＴＵに分割するステップ１５４０に続く。ステップ１５４０の実行において、ビデオ符号化器１１４は、スライス１０１６をＣＴＵのシーケンスに分割する。スライス境界はＣＴＵ境界に整列され、スライス内のＣＴＵはＣＴＵスキャン順序、一般にラスタースキャン順序に従って順序付けされる。スライスのＣＴＵへの分割は、現在のスライスを復号する際に、フレームデータ１３３のどの部分がビデオ符号化器３１３によって処理されるべきかを確立する。
方法１５００は、ステップ１５４０から符号化ツリー復号化のステップ１５５０に続く。ステップ１５５０で、ビデオ復号化器３１４は、スライス内の現在選択されているＣＴＵの符号化ツリーを復号化する。方法１５００は、ステップ１５５０の最初の呼び出しでスライス１０１６内の最初のＣＴＵから開始し、その後の呼び出しでスライス１０１６内の後続のＣＴＵに進行する。ＣＴＵの符号化ツリーを復号する際に、ビデオ符号化器１１４におけるステップ１３５０で決定されたクワッドツリー、バイナリ、およびターナリー分割の組合せを示すフラグが復号される。
方法１５００は、ステップ１５５０から符号化ユニット復号化のステップ１５７０に続く。ステップ１５７０で、ビデオ復号化器３１４は、ビットストリーム１３３からステップ１５６０の決定された符号化ユニットを復号化する。符号化ユニットがどのように復号されるかの一例を、図１６を参照してより詳細に説明する。
方法１５００は、ステップ１５７０から最後の符号化ユニットテストのステップ１５８０に続く。ステップ１５８０で、プロセッサ２０５は、現在の符号化ユニットがＣＴＵの最後の符号化ユニットであるかどうかをテストする。そうでない場合（ステップ１５８０で「ＮＯ」）、プロセッサ２０５内の制御は符号化ユニット復号化のステップ１５６０に戻る。そうでなければ、現在の符号化ユニットが最後の符号化ユニットである場合（ステップ１５８０で「ＹＥＳ」）、プロセッサ２０５内の制御は、最後のＣＴＵテストのステップ１５９０へ進む。
最後のＣＴＵテストのステップ１５９０において、プロセッサ２０５は、現在のＣＴＵがスライス１０１６の最後のＣＴＵであるか否かをテストする。スライス１０１６の最後のＣＴＵでない場合（ステップ１５９０で「ＮＯ」）、プロセッサ２０５内の制御は、符号化ツリー復号化のステップ１５５０に戻る。そうでなければ、現在のＣＴＵが最後である場合（ステップ１９０で「ＹＥＳ５」）、プロセッサ内の制御は、最後のスライステストのステップ１５１００に進む。
最後のスライステストのステップ１５１００では、プロセッサ２０５は、復号化されている現在のスライスがフレーム内の最後のスライスであるか否かをテストする。現在のスライスが最後のスライスでない場合（ステップ１５１００で「ＮＯ」）、プロセッサ２０５内の制御は、スライスヘッダ復号化のステップ１５３０に戻る。そうでなければ、現在のスライスが最後のスライスであり、すべてのスライスが復号化された場合（ステップ１５１００で「ＹＥＳ」）、方法１５００は終了する。
図１６は、図１５のステップ１５７０に対応する、ビットストリーム１３３から符号化ユニットを復号するための方法１６００を示す図である。方法１６００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰなどの装置によって具現化されてもよい。さらに、方法１６００は、プロセッサ２０５の実行下でビデオ復号化器３１４によって実行されてもよい。このように、方法１６００は、コンピュータ可読記憶媒体上に、及び／又は、メモリ２０６内のソフトウェア２３３の１つ以上のモジュールとして記憶されてもよい。
共有符号化ツリーが使用されている場合、方法１６００は、符号化ツリーの各ＣＵ、例えば図１１のＣＵ１１１４に対して呼び出され、Ｙ、Ｃｂ、およびＣｒカラーチャネルが単一の呼び出しで符号化される。別個の符号化ツリーが使用されている場合、方法１６００は、まず、ルマブランチ１２１４ａの各ＣＵ、例えば１２２０に対して呼び出され、方法１６００はまた、クロマブランチ１２１４ｂの各クロマＣＵ、例えば１２５０に対して別々に呼び出される。
方法１６００は、ルマ変換スキップフラグ復号化のステップ１６１０から開始される。ステップ１６１０において、エントロピー復号化器４２０は、ビットストリーム１３３からコンテキスト符号化された変換スキップフラグ４７８（例えば、図１１の１１２６または図１２の１２３２としてビットストリームに符号化されている）を復号する。スキップフラグは、変換がルマＴＢに適用されるか否かを示す。変換スキップフラグ４７８は、ルマＴＢに対する残差は、（ｉ）一次変換、（ｉｉ）一次変換および二次変換、または（ｉｉｉ）一次変換および二次変換がバイパスされることに従って変換されることを示す。ステップ１６１０は、ＣＵが共有符号化ツリー（例えば復号化１１２６）にルマＴＢを含む場合に実行される。ステップ１６１０は、ＣＵが分離符号化ツリーＣＴＵのデュアルツリー（復号１２３２）のルマブランチに属するときに実行される。
方法１６００は、ステップ１６１０からルマ残差復号化のステップ１６２０に続く。ステップ１６２０において、エントロピー復号化器４２０は、ビットストリーム１１５からルマＴＢ用の４２４残差係数を復号する。残差係数４２４は、復号された残差係数のリストにスキャンを適用することによって、ＴＢに組み合わされる。ステップ１６２０は、符号化ユニットのサイズに基づいて、適切なスキャンパターンを選択するように動作する。スキャンパターンの例は、図１７（従来のスキャンパターン）及び図１８～図２０（ＭＴＳフラグの決定に有用な追加のスキャンパターン）に関連して説明される。本明細書で説明する例では、図１８～図２０に関連して説明したパターンに基づくスキャンパターンが使用される。このスキャンは、典型的には、図１８及び図１９を参照して定義したような、４×４サブブロックを使用する後方斜め方向のスキャンパターンである。リスト内の最初の非ゼロ残差係数の位置（すなわち１１４０）は、ビットストリーム１３３から、変換ブロックの左上の係数に対するデカルト座標として復号される。残りの残差係数は、最終位置の係数からＤＣ（左上）残差係数の順に、残差係数１１４４として復号化される。
ＴＢの左上のサブブロックと最後の有意な残差係数を含むサブブロック以外の各サブブロックについて、それぞれのサブブロックに少なくとも一つの有意な残差係数があることを示す「符号化されたサブブロックフラグ」が復号される。符号化されたサブブロックフラグがサブブロック内の少なくとも１つの有意な残差係数の存在を示す場合、「有意マップ」（フラグのセット）が復号され、サブブロック内の各残差係数の有意性が示される。サブブロックが、復号された符号化されたサブブロックフラグから少なくとも１つの有意な残差係数を含むことが示され、スキャンが有意な残差係数に遭遇せずにサブブロックの最後のスキャン位置に達した場合、サブブロックの最後のスキャン位置の残差係数は有意であると推定される。符号化されたサブブロックフラグと有意性マップ（各フラグは「ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ」と名付けられる）は、コンテキスト符号化されたビンを用いて符号化される。サブブロック内の各有意残差係数に対して、対応する残差係数の大きさが１より大きいかどうかを示す「ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ」が復号化される。１より大きい大きさを有するサブブロック内の各残差係数に対して、式（１）に従って、残差係数の大きさをさらに決定するために、「ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ」及び「ａｂｓ＿ｌｅｖｅｌ２＿ｇｔｘ＿ｆｌａｇ」が復号化される。
ＡｂｓＬｅｖｅｌＰａｓｓ１ ＝ ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ ＋ ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ ＋ ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ ＋ ２×ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ２ （１）
ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇとａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ２のシンタックス要素は、コンテキスト符号化されたビンを使用して符号化される。１に等しいａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ２を有する各残差係数に対して、バイパス符号化されたシンタックス要素「ａｂｓ＿ｒｅｍａｉｎｄｅｒ」が、ライス－ゴロン符号化を使用して復号される。残差係数の復号された大きさは、次のように決定される。ＡｂｓＬｅｖｅｌ ＝ ＡｂｓＬｅｖｅｌＰａｓｓ１ ＋ ２×ａｂｓ＿ｒｅｍａｉｎｄｅｒ。残差係数の大きさから残差係数の値を得るために、有意な残差係数ごとに符号ビットが復号化される。走査パターンの各サブブロックの直交座標は、ＸとＹの残差係数の直交座標をそれぞれサブブロックの幅と高さのｌｏｇ２によって調整（右シフト）することによって、走査パターンから導出することができる。ルマＴＢの場合、サブブロックサイズは常に４×４であり、ＸとＹは２ビットの右シフトとなる。クロマＴＢにも図１８～図２０のスキャンパターンを適用し、同じサイズで異なるカラーチャネルのブロックに対して異なるスキャンパターンを格納することを避けることができる。ステップ１６２０は、ＣＵがルマＴＢを含むとき、すなわち、共有符号化ツリー（復号化１１２８）において、またはデュアルツリーのルマブランチに対する呼び出し（例えば復号化１２３４）に対して実行される。
方法１６００は、ステップ１６２０からクロマ変換スキップフラグ復号化のステップ１６３０に続く。ステップ１６３０において、エントロピー復号化器は、各クロマ３３ＴＢについてビットストリーム１からコンテキスト符号化されたフラグを復号４２０する。例えば、コンテキスト符号化されたフラグは、図１１の１１３０と１１３４、または図１２の１２６２と１２６６のように符号化されているかもしれない）少なくとも１つのフラグは、クロマＴＢのそれぞれについて１つずつ復号される。ステップ１６３０で復号されたフラグは、対応するクロマＴＢに変換が適用されるかどうか、特に対応するクロマＴＢにＤＣＴ－２変換、および任意に二次変換が適用されるかどうか、または対応するクロマＴＢに対するすべての変換がバイパスされるかどうかを示す。ステップ１６３０は、ＣＵがクロマＴＢを含む場合、すなわち、ＣＵが共有符号化ツリー（復号１１３０および１１３４）またはデュアルツリーのクロマブランチ（復号１２６２および１２６６）に属する場合に実行される。
方法１６００は、ステップ１６３０からクロマ残差復号化のステップ１６４０に続く。ステップ１６４０では、エントロピー復号化器４２０がビットストリーム１３３からクロマＴＢの残差係数を復号する。ステップ１６４０は、ステップ１６２０を参照して説明したのと同様の方法で、図１８及び図１９に定義されたスキャンパターンに従って動作する。ステップ１６４０は、ＣＵがクロマＴＢを含むとき、すなわち、ＣＵが共有符号化ツリー（復号１１３２および１１３６）またはデュアルツリーのクロマブランチ（復号１２６４および１２６８）に属するときに実行される。
方法１６００は、ステップ１６４０からＬＦＮＳＴシグナリングテストのステップ１６５０に続く。ステップ１６５０において、プロセッサ２０５は、二次変換がＣＵの任意のＴＢに適用可能であるか否かを判断する。ルマ変換スキップフラグは、クロマ変換スキップフラグと異なる値を有することができる。ＣＵのＴＢのすべてが変換スキップを使用する場合、二次変換は適用可能ではなく、二次変換インデックスを符号化する必要はなく（ステップ１６５０で「ＮＯ」）、方法１６００は、ＬＦＮＳＴインデックス決定のステップ１６６０に進行する。例えば、共有符号化ツリーの場合、ルマＴＢおよび２つのクロマＴＢの各々は、ステップ１６５０で「ＮＯ」を返すために変換スキップされる。別個の符号化ツリー（例えば１２２０）のルマブランチに属するＣＵの場合、ステップ１６５０は、ルマＴＢが変換スキップされると「ＮＯ」をリターンする。別個の符号化ツリーのクロマブランチに属するＣＵ（例えば１２５０）については、ステップ１６５０は、クロマＴＢが両方とも変換スキップされるとき、「ＮＯ」を返す。別の符号化ツリーのクロマブランチ（例えば１２５０）に属し、４サンプル未満の幅または高さを有するＣＵについては、ステップ１６５０は「ＮＯ」をリターンする。二次変換を行うためには、該当するＴＢは、二次変換の対象となるＴＢの位置に有意な残差係数を含むだけでよい。すなわち、他のすべての残差係数はゼロでなければならず、この条件は、ＴＢの最終位置が、図８Ａ～図８Ｄに示すＴＢサイズについて８０６、８２４、８４２、または８６２内にあるときに達成される。ＣＵ内の任意のＴＢの最終位置が、考慮されたＴＢサイズに対して８０６、８２４、８４２、または８６２の外にある場合、二次変換は行われず（ステップ１６５０で「ＮＯ」）、方法１６００は、ＬＦＮＳＴインデックス決定のステップ１６６０に進行する。クロマＴＢについては、２の幅または高さが発生する可能性がある。幅または高さが２のＴＢは、そのようなサイズのＴＢに対して定義されたカーネルが存在しないので、二次変換の対象とはならない。二次変換を行う際の追加条件として、該当するＴＢの中に少なくとも１つのＡＣ残差係数が存在することである。すなわち、有意な残差係数が各ＴＢについてＤＣ（左上）の位置にしかない場合、二次変換は実行されず（ステップ１６５０で「ＮＯ」）、方法１６００は、ＬＦＮＳＴインデックス決定のステップ１６６０に進む。最後の有意な係数の位置および非ＤＣ残差係数の存在に関する制約は、適用可能なサイズのＴＢ、すなわち、２サンプルより大きい幅および高さを有するＴＢにのみ適用される。少なくとも１つの適用可能なＴＢが変換され、最終位置の制約が満たされ、非ＤＣ係数要件が満たされる（ステップ１６５０で「ＹＥＳ」）ことを条件に、プロセッサ２０５内の制御は、ＬＦＮＳＴインデックス復号化のステップ１６７０へ進行する。
ＬＦＮＳＴインデックス決定のステップ１６６０は、ＣＵに関連するＴＢのいずれにも二次変換を適用できない場合に実施される。ステップ１６６０で、プロセッサ２０５は、二次変換インデックスが、二次変換の適用がないことを示すゼロの値を有すると決定する。プロセッサ２０５における制御は、ステップ１６６０からＭＴＳシグナリングのステップ１６７２に進行する。
ＬＦＮＳＴインデックス復号化のステップ１６７０において、エントロピー復号化器４２０は、二次変換の適用のための３つの可能な選択を示す二次変換インデックス４７４として、切り詰められた単項コードワードを復号する。選択は、０（適用されない）、１（候補セットの第１のカーネルが適用される）、および２（候補セットの第２のカーネルが適用される）である。コードワードは最大で２つのビンを使用し、各ビンはコンテキスト符号化される。ステップ１６５０で行われるテストにより、ステップ１６７０は、二次変換が適用されること、すなわち非ゼロインデックスが復号されることが可能である場合にのみ実行される。方法１６００が共有符号化ツリーの一部として呼び出されるとき、ステップ１６７０は、ビットストリーム１３３から１１２０を復号する。方法１６００が別個の符号化ツリーのルマブランチの一部として呼び出されるとき、ステップ１６７０は、ビットストリーム１３３から１２２４を復号する。ステップ１６７０が別個の符号化ツリーのクロマブランチの一部として呼び出されるとき、ステップ１６７０は、ビットストリーム１３３から１２５４を復号する。プロセッサ２０５内の制御は、ステップ１６７０からＭＴＳシグナリングのステップ１６７２に進行する。
ステップ１６５０、１６６０、１６７０は、ＬＦＮＳＴインデックス、すなわち４７４を決定するために動作する。ＬＦＮＳＴインデックスは、ＣＵに適用されるルマ変換スキップフラグおよびクロマ変換スキップフラグの少なくとも１つが、それぞれの変換ブロックの変換がスキップされないことを示す場合（ステップ１６５０で「ＹＥＳ」、ステップ１６７０を実行）、ビデオビットストリーム（例えば、復号１１２０、１２２４または１２５４）から復号化される。ＬＦＮＳＴインデックスは、ＣＵに適用可能なルマ変換スキップフラグおよびクロマ変換スキップフラグのすべてが、それぞれの変換ブロックの変換をスキップすることを示す場合、二次変換を適用しないことを示すように決定される（ステップ１６５０で「ＮＯ」、およびステップ１６６０を実行する）。共有ツリーの場合、ルマスキップ値およびクロマスキップ値およびＬＦＮＳＴインデックスは、異なることができる。例えば、クロマ変換ブロックについて復号化されたＬＦＮＳＴインデックスは、例えば、コロケートされたブロックにおいて、復号化されたルマ変換スキップフラグが、ルマブロックについての変換がスキップされることを示す場合でも、復号化されたクロマスキップフラグに基づくことが可能である。符号化ステップ１４８０及び１４９０は、同様の方法で動作する。
ＭＴＳシグナリングのステップ１６７２で、ビデオ復号化器１１４は、ビットストリーム１３３からＭＴＳインデックスを復号する必要があるか否かを判断する。ビットストリームを符号化する際に、ステップ１３６０でＤＣＴ－２変換の使用が選択された場合、最後の有意な係数位置は、ＴＢの左上３２×３２領域内のどこにあってもよい。ステップ１６２０で復号された最後の有意な係数の位置がＴＢの左上１６×１６領域の外側であり、図１８および図１９のスキャンが使用される場合、ＤＣＴ－２以外の一次変換を使用してもこの領域の外側に最後の有意な係数を生成しないので、ｍｔｓ＿ｉｄｘを明示的に復号する必要はない。ステップ１６７２は「ＮＯ」を返し、方法１６００はステップ１６７２からＭＴＳインデックス決定のステップ１６７４に進行する。非ＤＣＴ２一次変換は、ＴＢ幅および高さが３２以下の場合にのみ利用可能である。したがって、幅または高さが３２を超えるＴＢについては、ステップ１６７２は「ＮＯ」を返し、方法１６００は、ＭＴＳインデックス決定のステップ１６７４に進行する。
非ＤＣＴ－２一次変換は、二次変換タイプ４７４が二次変換カーネルの適用をバイパスすることを示す場合にのみ利用可能であり、それに応じて、二次変換タイプ４７４が非ゼロ値を有する場合、方法１６００はステップ１６７２からステップ１６７４へと進行する。図１８および図１９のスキャンを使用するとき、ＴＢの左上１６×１６領域内の最後の有意な係数位置の存在は、ＤＣＴ－２一次変換の適用、またはＤＳＴ－７および／もしくはＤＣＴ－８のＭＴＳ組み合わせのいずれかから生じ得るので、ステップ１３６０で行われた選択を符号化するためにｍｔｓ＿ｉｄｘの明示的なシグナリングが必要となる。したがって、最後の有意な係数位置がＴＢの左上１６×１６領域内にあるとき、ステップ１６７２は「ＹＥＳ」を返し、方法１６００はＭＴＳインデックス復号化のステップ１６７６に進行する。
ＭＴＳインデックス決定のステップ１６７４で、ビデオ復号化器１３４は、一次変換としてＤＣＴ－２を使用することを決定する。一次変換タイプ４７６は、ゼロに設定される。方法１４００は、ステップ１６７４から変換残差ステップ１６８０に進行する。
ＭＴＳインデックス復号化のステップ１６７６で、エントロピー復号化器４２０は、ビットストリーム１３３から切り捨てられた単項のビン文字列を復号して、一次変換タイプ４７６を決定する。切り捨てられた文字列は、例えば図１１の１１２２または図１２の１２２６のようにビットストリームにある。方法１４００は、ステップ１６７６から残差変換のステップ１６８０に進行する。
ステップ１６７０、１６７２、１６７４は、符号化ユニットのＭＴＳインデックスを決定するために動作する。ＭＴＳインデックスは、最後の有意な係数が閾値座標（１５、１５）にあるか、または閾値座標内にある場合（ステップ１６７２およびステップ１６７６で「ＹＥＳ」）、映像ビットストリームから復号される。ＭＴＳインデックスは、最後の有意な係数が閾値座標の外にある場合、ＭＴＳを適用しないことを示すように決定される（ステップ１６７２およびステップ１６７４で「ＮＯ」）。符号化ステップ１４１００と１４１１０は、同様の方法で動作する。
ビデオ符号化器１１４とビデオ復号化器１３４の代替配置では、適切なサイズのクロマＴＢ（クロマＴＢにはＭＴＳが適用されない）は、図１７を参照して説明したようなスキャンパターンに従ってスキャンされ、ルマＴＢは図１８及び１９に従ってスキャンを利用し、ルマＴＢにのみＤＳＴ－７／ＤＣＴ－８の組み合わせが適用される。
残差変換のステップ１６８０において、ビデオ復号化器３１４は、プロセッサ２０５の実行の下、ステップ１４２０の残差に対して逆一次および逆二次変換をバイパスするか、または一次変換タイプ４７６および二次変換インデックス４７４にしたがって逆変換を実行する。変換は、図４を参照して説明したように、ＣＵの各ＴＢについての復号化変換スキップフラグ４７８に従って、ＣＵの各ＴＢについて実行される。一次変換タイプ４７６は、符号化ユニットのルマＴＢに対して、水平方向および垂直方向にＤＣＴ－２を使用するか、水平方向および垂直方向にＤＣＴ－８およびＤＳＴ－７の組合せを使用するかを選択する。実質的に、ステップ１６８０は、復号されたルマ変換スキップフラグ、一次変換タイプ４７６、およびステップ１６１０および１６５０から１６７０の動作によって決定された二次変換インデックスに従ってＣＵのルマ変換ブロックを変換し、符号化ユニットを復号化する。また、ステップ１６８０は、ステップ１６３０及び１６５０から１６７０の動作によって決定されたそれぞれの復号されたクロマ変換スキップフラグ及び二次変換インデックスに従ってＣＵのクロマ変換ブロックを変換して、符号化ユニットを復号化することができる。クロマチャネルに属するＴＢ（例えば：共有符号化ツリーの場合の１１３２と１１３６、別符号化ツリーの場合のクロマブランチの１２６４と１２６８）については、４サンプル未満の幅または高さを有するＴＢの利用可能な二次変換カーネルがないため、ＴＢの幅および高さが４サンプル以上の場合にのみ二次変換が実行される。クロマチャネルに属するＴＢについては、ＵＨＤや８Ｋなどの映像フォーマットをサポートするために必要なブロックスループット速度でこのような小さなサイズのＴＢを処理することが困難であるため、ＶＶＣ規格ではＴＢサイズが２×２，２×４，４２×のイントラ予測ＣＵを禁止する分割操作の制限が設けられている。さらに、イントラ予測動作の一部として再構成されたサンプルを生成するために通常使用されるオンチップメモリのためのメモリアクセスが困難であるため、幅２のＴＢを有するイントラ予測ＣＵを禁止する制約がある。したがって、二次変換が適用されないクロマＴＢサイズ（クロマサンプルユニット）を表１に示す。
Figure 2023504333000002
本明細書で説明したように、符号化および復号化において、異なるスキャンパターンを使用することができる。ステップ１６８０は、ＭＴＳインデックスに従ってＣＵの変換ブロックを変換し、符号化ユニットを復号化する。
方法１６００は、ステップ１６８０から予測ブロック生成のステップ１６９０に続く。ステップ１６９０において、ビデオ復号化器１３４は、ステップ１３６０で決定され、エントロピー復号化器４２０によってビットストリーム１１３から復号されるようなＣＵの予測モードに従って４５２、予測ブロックを生成する。エントロピー復号化器４２０は、ステップ１３６０で決定されたような符号化ユニットのための予測モードを、ビットストリーム１３３から復号する。符号化ユニットに対するイントラ予測、インター予測、または他の予測モードの使用を区別するために、「ｐｒｅｄ＿ｍｏｄｅ」シンタックスエレメントが復号される。イントラ予測が符号化ユニットに対して使用される場合、ルマＰＢがＣＵに適用可能であればルマイントラ予測モードが復号化され、クロマＰＢがＣＵに適用可能であればクロマイントラ予測モードが復号化される。
方法１６００は、ステップ１６９０から符号化ユニット再構成のステップ１６１００に続く。ステップ１６１００で、予測ブロックは、ＣＵの各カラーチャネルに対する残差サンプル４２４に４５２加えられ、再構成されたサンプル４５６を生成する。デブロッキングなどの追加のインループフィルタリングステップは、フレームデータ１３５として出力される前に、再構成されたサンプル４５６に適用されてもよい。方法１６００は、ステップ１６１００の実行で終了する。
上述したように、別個の符号化ツリーの場合、方法１６００はまずルマブランチ１２１４ａの各ＣＵ、例えば１２２０に対して呼び出され、方法１６００はまたクロマブランチ１２１４ｂの各クロマＣＵ、例えば１２５０に対して別個に呼び出される。クロマ用の方法１６００の呼び出しは、ＣＵ１２５０のクロマ変換スキップフラグのすべてが設定されているかどうかに関して、ステップ１６５０から１６７０でＬＦＮＳＴインデックス１２５４を決定する。同様に、ルマ用の方法１６００の呼び出しにおいて、ルマＬＦＮＳＴインデックス１２２４は、ＣＵ１２２０のみのルマ変換スキップフラグに関してステップ１６５０から１６７０で決定される。
ステップ１４５０および１６２０で実施される図１８～図２０に示すスキャンパターン、すなわち１８１０、１９１０、および２０１０ａ～ｆは、図１７のスキャンパターン１７１０と比較して、ＴＢの最高周波数の係数からＴＢの最低周波数の係数に向かって進行する特性を実質的に保持する。したがって、スキャンパターン１８１０、１９１０、および２０１０ａ～ｆを使用するビデオ符号化器１１４およびビデオ復号化器１３４の配置は、ＭＴＳ変換係数領域の外側のゼロ値残差係数をチェックするさらなる必要なく、最後の有意な係数位置に依存することができるようにしながら、スキャンパターン１７１０を用いたときに達成したのと同様の圧縮効率を達成する。図１８～図２０のスキャンパターンで使用される最終位置は、すべての有意な係数が左上１６ｘ１６領域などの適切な左上領域に存在する場合にのみ、ＭＴＳを使用することを可能にする。適切な領域の外側、例えばＴＢの１６×１６係数領域の外側のフラグをチェックして、有意でない係数がさらに存在しないことを確認するための復号化器１３４の負担は除去される。復号化器における動作は、ＭＴＳを実装するために特定の変更を必要としない。さらに、上述したように、図１８および図１９のスキャンパターンの使用、すなわち、サイズ１６×３２、３２×１６、および３２×３２の変換ブロックに対する使用は、１６×１６スキャンから複製され、それによって、メモリ要件を減少させることが可能である。
本手法は、コンピュータやデータ処理業界、特にビデオや画像信号の符号化および復号化のためのデジタル信号処理に適用され、高い圧縮効率を実現する。
本明細書で説明するいくつかの取り決めは、利用可能な選択が二次変換のバイパス以外の少なくとも１つのオプションを含む場合に、二次変換インデックスをシグナリングすることによって圧縮効率を向上させるものである。圧縮効率の向上は、ＣＴＵが全カラーチャネルにまたがるＣＵに分割されている場合（「共有符号化ツリー」の場合）と、ＣＴＵがルマＣＵのセットとクロマＣＵのセットとに分割されている場合（「分離符号化ツリー」の場合）の両方において達成される。分離ツリーの場合、二次変換インデックスを使用できない場合に、二次変換インデックスを重複してシグナリングすることは回避される。共有ツリーでは、クロマＤＣＴ－２の一次ケースでルマが変換スキップを使用しても、ＬＦＮＳＴインデックスをシグナリングすることができる。他の配置は、ＭＴＳインデックスシグナリングが、ＴＢのＭＴＳ変換係数領域の外側のゼロ値残差係数をチェックするさらなる必要なしに、最後の有意な係数位置に依存することを可能にしながら、圧縮効率を維持する。
上記は、本発明の一部の実施形態を説明したに過ぎず、本発明の範囲および精神から逸脱することなく、その修正および／または変更を行うことができ、実施形態は例示であって制限的なものではないことに留意されたい。

Claims (9)

  1. ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
    前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
    二次変換インデックスを決定することであって、該決定することは、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    を含む、前記決定することと、
    前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
    を含む、方法。
  2. 前記復号されたルマ変換スキップフラグは、前記少なくとも１つのクロマ変換スキップフラグと異なる値を有する
    請求項１に記載の方法。
  3. 前記復号されたルマ変換スキップフラグがルマブロックの変換がスキップされることを示すとき、前記二次変換インデックスは、前記復号された少なくとも１つのクロマスキップフラグに基づいて前記少なくとも１つのクロマ変換ブロックに対して復号される
    請求項１に記載の方法。
  4. 前記変換することは、二次変換の適用をスキップすること、または、前記決定された二次変換インデックスに基づいて適用のために２つの二次変換カーネルのうちの１つを選択すること、の１つを含む
    請求項１に記載の方法。
  5. ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、少なくとも１つのクロマカラーチャネルを有し、前記方法は、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、クロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
    前記符号化ユニットの前記少なくとも１つのクロマ変換ブロックに対する二次変換インデックスを決定することであって、該決定することは、
    前記少なくとも１つのクロマ変換スキップフラグの何れかが、それぞれのクロマ変換ブロックに変換が適用されることを示すとき、前記ビデオビットストリームから前記二次変換インデックスを復号することと、
    前記クロマ変換スキップフラグの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    を含む、前記決定することと、
    前記符号化ユニットを復号するために、前記少なくとも１つのクロマ変換ブロックの各々を、それぞれのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って変換することと、
    を含む、方法。
  6. ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
    前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
    二次変換インデックスを決定することであって、該決定することは、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
    を含む、前記決定することと、
    前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
    を含む、方法。
  7. ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するためのコンピュータプログラムを格納した非一時的コンピュータ可読媒体であって、前記符号化ユニットは、１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、前記方法は、
    前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号することと、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、復号されたクロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
    二次変換インデックスを決定することであって、該決定することは、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    を含む、前記決定することと、
    前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換することと、
    を含む、非一時的コンピュータ可読媒体。
  8. システムであって、
    メモリと、
    プロセッサであって、該プロセッサは、ビデオビットストリームからの画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを復号する方法を実施するために前記メモリに格納されたコードを実行するように構成され、前記符号化ユニットは、少なくとも１つのクロマカラーチャネルを有する、前記プロセッサと、
    を含み、前記方法は、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号することであって、クロマ変換スキップフラグの各々は、前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応する、前記復号することと、
    前記符号化ユニットの前記少なくとも１つのクロマ変換ブロックに対する二次変換インデックスを決定することであって、該決定することは、
    前記少なくとも１つのクロマ変換スキップフラグの何れかが、それぞれのクロマ変換ブロックに変換が適用されることを示すとき、前記ビデオビットストリームから前記二次変換インデックスを復号することと、
    前記少なくとも１つのクロマ変換スキップフラグの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    を含む、前記決定することと、
    前記符号化ユニットを復号するために、前記少なくとも１つのクロマ変換ブロックの各々を、それぞれのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って変換することと、
    を含む、システム。
  9. ビデオ復号化器であって、
    ビデオビットストリームからの画像フレームを受信し、
    前記画像フレームの符号化ツリーユニットから符号化ツリーの符号化ユニットを決定し、前記符号化ユニットは１つのルマカラーチャネルと少なくとも１つのクロマカラーチャネルとを有し、
    前記符号化ユニットのルマ変換ブロックに対して、前記ビデオビットストリームからルマ変換スキップフラグを復号し、
    前記ビデオビットストリームから少なくとも１つのクロマ変換スキップフラグを復号し、復号されたクロマ変換スキップフラグの各々は前記符号化ユニットの少なくとも１つのクロマ変換ブロックの１つに対応し、
    二次変換インデックスを決定し、該決定は、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとのうちの少なくとも一方が、それぞれの変換ブロックの変換がスキップされないことを示すとき、前記ビデオビットストリームから二次変換インデックスを復号することと、
    前記ルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグとの全てが、それぞれの変換ブロックの変換がスキップされることを示すとき、二次変換が適用されないことを示すように前記二次変換インデックスを決定することと、
    を含み、
    前記符号化ユニットを復号するために、前記復号されたルマ変換スキップフラグと前記少なくとも１つのクロマ変換スキップフラグと前記決定された二次変換インデックスとに従って、前記ルマ変換ブロックと前記少なくとも１つのクロマ変換ブロックとを変換する
    ように構成された、ビデオ復号化器。
JP2022508945A 2019-12-03 2020-11-04 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム Pending JP2023504333A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024023035A JP2024056945A (ja) 2019-12-03 2024-02-19 符号化ユニットを復号および符号化する方法、装置およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2019275552A AU2019275552B2 (en) 2019-12-03 2019-12-03 Method, apparatus and system for encoding and decoding a coding tree unit
AU2019275552 2019-12-03
PCT/AU2020/051200 WO2021108833A1 (en) 2019-12-03 2020-11-04 Method, apparatus and system for encoding and decoding a coding tree unit

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024023035A Division JP2024056945A (ja) 2019-12-03 2024-02-19 符号化ユニットを復号および符号化する方法、装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2023504333A true JP2023504333A (ja) 2023-02-03

Family

ID=76220929

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022508945A Pending JP2023504333A (ja) 2019-12-03 2020-11-04 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム
JP2024023035A Pending JP2024056945A (ja) 2019-12-03 2024-02-19 符号化ユニットを復号および符号化する方法、装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024023035A Pending JP2024056945A (ja) 2019-12-03 2024-02-19 符号化ユニットを復号および符号化する方法、装置およびプログラム

Country Status (6)

Country Link
US (1) US20220394311A1 (ja)
JP (2) JP2023504333A (ja)
CN (1) CN114667731A (ja)
AU (2) AU2019275552B2 (ja)
TW (1) TWI784345B (ja)
WO (1) WO2021108833A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096290A1 (ko) * 2019-11-13 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
AU2019275553B2 (en) * 2019-12-03 2022-10-06 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit
US20220417547A1 (en) 2021-06-17 2022-12-29 Tencent America LLC Skip transform flag coding
CN116458159A (zh) * 2021-06-17 2023-07-18 腾讯美国有限责任公司 跳过变换标志编码

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117636A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
US20190306521A1 (en) * 2018-03-29 2019-10-03 Tencent America LLC Transform information prediction
WO2021096290A1 (ko) * 2019-11-13 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021100588A1 (ja) * 2019-11-22 2021-05-27 ソニーグループ株式会社 画像処理装置および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
RU2641223C2 (ru) * 2012-11-08 2018-01-16 Кэнон Кабусики Кайся Способ, устройство и система для кодирования и декодирования единиц преобразования единицы кодирования
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
EP3453181A4 (en) * 2016-05-04 2019-05-01 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR ENCODING TRANSFORMED DATA
MX2018013461A (es) * 2016-05-13 2019-03-28 Sony Corp Aparato y metodo de procesamiento de imagenes.
US11394974B2 (en) * 2017-01-03 2022-07-19 Lg Electronics Inc. Image processing method, and device for same
CN111699682A (zh) * 2017-12-07 2020-09-22 韩国电子通信研究院 用于使用通道之间的选择性信息共享进行编码和解码的方法和设备
US11310517B2 (en) * 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels
US11039139B2 (en) * 2018-09-14 2021-06-15 Tencent America LLC Method and apparatus for identity transform in multiple transform selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117636A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
US20190306521A1 (en) * 2018-03-29 2019-10-03 Tencent America LLC Transform information prediction
WO2021096290A1 (ko) * 2019-11-13 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021100588A1 (ja) * 2019-11-22 2021-05-27 ソニーグループ株式会社 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "AHG18: Enabling Lossless Coding with Minimal Impact on VVC Design", JVET-P0606 (VERSION 2), JPN6023022932, 4 October 2019 (2019-10-04), pages 1 - 6, ISSN: 0005075266 *
WIECKOWSKI, ADAM ET AL.: "NextSoftware: An Alternative Implementation the Joint Exploration Model (JEM)", JVET-H0084 (VERSION 4), JPN6023022933, 6 December 2017 (2017-12-06), pages 1 - 12, ISSN: 0005075265 *

Also Published As

Publication number Publication date
TWI784345B (zh) 2022-11-21
AU2019275552B2 (en) 2022-10-13
AU2022228215A1 (en) 2022-10-06
TW202123708A (zh) 2021-06-16
CN114667731A (zh) 2022-06-24
JP2024056945A (ja) 2024-04-23
US20220394311A1 (en) 2022-12-08
AU2019275552A1 (en) 2021-06-17
WO2021108833A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
JP7191211B2 (ja) 復号する方法、コンピュータプログラム、ビデオ復号装置
JP2023504332A (ja) 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム
JP2023179798A (ja) ビデオサンプルの変換されたブロックを符号化および復号するための方法、装置、およびシステム
JP2023504333A (ja) 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム
JP7441314B2 (ja) ビデオサンプルのブロックを符号化および復号するための方法、装置、およびシステム
JP2023159400A (ja) ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム
TW202034704A (zh) 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
TW202101981A (zh) 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
JP7394875B2 (ja) ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム
JP7500745B2 (ja) ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム
JP2024046650A (ja) ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム
AU2020201694A1 (en) Method, apparatus and system for encoding and decoding a coding unit tree

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231117