JP2022505470A - ブロックの面に基づくビデオの符号化又は復号のための量子化 - Google Patents

ブロックの面に基づくビデオの符号化又は復号のための量子化 Download PDF

Info

Publication number
JP2022505470A
JP2022505470A JP2021521515A JP2021521515A JP2022505470A JP 2022505470 A JP2022505470 A JP 2022505470A JP 2021521515 A JP2021521515 A JP 2021521515A JP 2021521515 A JP2021521515 A JP 2021521515A JP 2022505470 A JP2022505470 A JP 2022505470A
Authority
JP
Japan
Prior art keywords
division
subblock
block
subblocks
subdiv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021521515A
Other languages
English (en)
Other versions
JPWO2020096755A5 (ja
Inventor
ラグランジュ,フィリップ ド
ボルデ,フィリップ
フランソワ,エドワール
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2022505470A publication Critical patent/JP2022505470A/ja
Publication of JPWO2020096755A5 publication Critical patent/JPWO2020096755A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

Figure 2022505470000001
画像が様々なサイズの複数のブロックに分割され、及び再分割レベルカウンタがブロックのそれぞれに関連付けられる。ブロックに関するこの再分割レベルカウンタの値は、ブロックのサイズを表し、且つブロックの量子化パラメータを決定するために使用される。値は、再分割ごとに伝搬され、且つ再分割の種類に従ってインクリメントされる。画像が分割されるとき、新たな量子化グループの開始を決定するために、再分割レベルカウンタ、再分割の最大値及び分割の種類に従って分析が行われ、該当する場合、パーティションの現在位置は、更に分割されるパーティションと共に記憶されるようにそれらのパーティションに伝搬され、且つ復号時の予測プロセスにおいて役立つ。

Description

本開示は、ビデオ圧縮の分野におけるものであり、少なくとも1つの実施形態は、より詳細には、ブロックの面(surface)に基づいて量子化パラメータを決定することに関する。
高い圧縮効率を実現するために、画像及びビデオのコード化方式は、通常、予測及び変換を使用してビデオコンテンツ内の空間的及び時間的な冗長性を活用する。概して、フレーム内又はフレーム間の相関を利用するためにイントラ予測又はインター予測が使用され、その後、予測誤差又は予測残差として示されることが多い、元のブロックと予測ブロックとの差が変換され、量子化され、エントロピーコード化される。ビデオを再構築するために、エントロピーコード化、量子化、変換及び予測に対応する逆のプロセスによって圧縮データが復号される。
少なくとも1つの実施形態の第1の態様によれば、ビデオをコード化する方法は、画像のブロックがサブブロックに分割されるとき、サブブロックの面を表す値を関連付けること、及びサブブロックの面を表す値に基づいて、サブブロックの量子化パラメータを決定することを含む。
少なくとも1つの実施形態の第2の態様によれば、ビデオを復号する方法は、画像のブロックがサブブロックに分割されるとき、サブブロックの面を表す値を関連付けること、及びサブブロックの面を表す値に基づいて、サブブロックの量子化パラメータを決定することを含む。
少なくとも1つの実施形態の第3の態様によれば、ピクチャデータを符号化するビデオ符号器を含む機器は、画像のブロックがサブブロックに分割されるとき、サブブロックの面を表す値を関連付けること、及びサブブロックの面を表す値に基づいて、サブブロックの量子化パラメータを決定することを含む。
少なくとも1つの実施形態の第4の態様によれば、ピクチャデータを復号するビデオ復号器を含む機器は、画像のブロックがサブブロックに分割されるとき、サブブロックの面を表す値を関連付けること、及びサブブロックの面を表す値に基づいて、サブブロックの量子化パラメータを決定することを含む。
第1、第2、第3又は第4の態様の変形実施形態によれば、サブブロックの面を表す値は、画像のブロックがサブブロックに分割されるとき、サブブロックの分割の種類を表す値だけインクリメントされる再分割レベルカウンタである。第1、第2、第3又は第4の態様の更なる変形実施形態によれば、サブブロックの再分割レベルカウンタが再分割の最大値以下である間、分割の種類に従って新たな量子化グループが有効にされる。第1、第2、第3又は第4の態様の更なる変形実施形態によれば、画像のブロックがターナリ分割に従ってサブブロックに分割され、且つ最も小さいサブブロックの再分割レベルカウンタが再分割の最大値を上回るとき、新たな量子化グループが無効にされる。
第1、第2、第3若しくは第4の態様の変形実施形態又はこれらの実施形態の変形形態によれば、インクリメント値は、クワッド分割の全てのサブブロックについて、2、バイナリ分割の全てのサブブロックについて、1、ターナリ分割の横のサブブロックについて、2、及びターナリ分割の中央のサブブロックについて、1に等しい。第1、第2、第3若しくは第4の態様の別の変形実施形態又はこれらの実施形態の変形形態によれば、インクリメント値は、クワッド分割の全てのサブブロックについて、4、バイナリ分割の全てのサブブロックについて、2、ターナリ分割の横のサブブロックについて、4、及び中央のサブブロックについて、2、非対称1/4バイナリ分割の最小のサブブロックについて、4、及び最大のサブブロックについて、1、並びに非対称1/3バイナリ分割の最小のサブブロックについて、3、最大のサブブロックについて、1に等しい。
少なくとも1つの実施形態の第5の態様によれば、記憶媒体は、サブブロックの面を表す値を表す少なくとも構文データ要素を含むビデオビットストリームデータを記憶媒体が記憶し、サブブロックは、ビデオの画像のブロックを分割することの結果である。第5の実施形態の変形実施形態によれば、サブブロックの面を表す値は、画像のブロックがサブブロックに分割されるとき、サブブロックの分割の種類を表す値だけインクリメントされる再分割レベルカウンタである。第5の実施形態の更なる変形実施形態によれば、インクリメント値は、クワッド分割の全てのサブブロックについて、2、バイナリ分割の全てのサブブロックについて、1、ターナリ分割の横のサブブロックについて、2、及びターナリ分割の中央のサブブロックについて、1に等しい。
少なくとも1つの実施形態の第6の態様によれば、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラムが示され、コンピュータプログラムは、少なくとも第1の態様又は第2の態様による方法のステップを実施する。
少なくとも1つの実施形態の第7の態様によれば、非一時的コンピュータ可読媒体上に記憶され、且つプロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品が示され、コンピュータプログラム製品は、少なくとも第1の態様又は第2の態様による方法のステップを実施する。
ビデオ符号器100の一例のブロック図を示す。 ビデオ復号器200の一例のブロック図を示す。 様々な態様及び実施形態が実装されるシステムの一例のブロック図を示す。 圧縮領域内のコード化ツリー単位及びコード化ツリーの一例を示す。 CTUをコード化単位、予測単位及び変換単位に分割する一例を示す。 例えば、VVCにあるような様々な分割の種類を示す。 ブロックサイズに対する繰り返し分割の影響を示す。 ブロックサイズに対する繰り返し分割の影響を示す。 異なる分割レベルにおける同じサイズの様々なブロックを示す。 HEVC仕様における量子化グループの使用を示す。 再分割レベルカウンタsubdivの使用に関する少なくとも1つの実施形態を示す。 一実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 一実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 一実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 一実施形態による、subdivプロセスのブロック図の一例を示す。 図6及び図7の例にプロセスを適用したときのsubdivカウンタの値の一例を示す。 図6及び図7の例にプロセスを適用したときのsubdivカウンタの値の一例を示す。 図6及び図7の例にプロセスを適用したときのsubdivカウンタの値の一例を示す。 異なるタイプの非対称バイナリ分割を示す。 異なるタイプの非対称バイナリ分割を示す。 T分割の結果の一例を示す。 AB分割に関する第1の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 AB分割に関する第1の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 ターナリ分割に相当する連続した2回の非対称バイナリ分割にプロセスを適用したときのsubdivカウンタの値の一例を示す。 ターナリ分割に相当する連続した2回の非対称バイナリ分割にプロセスを適用したときのsubdivカウンタの値の一例を示す。 ターナリ分割に相当する連続した2回の非対称バイナリ分割にプロセスを適用したときのsubdivカウンタの値の一例を示す。 AB分割に関する第1の変形形態を用いた、相対する方向の連続した2回の非対称1/4バイナリ分割にプロセスを適用したときのsubdivカウンタの値の一例を示す。 AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の一例を示す。 T分割の場合のQG開始の一例を示す。 QGの問題を訂正する一実施形態による、T分割の場合のQGの画定の一例を示す。 QG識別プロセスの実施形態の一例のブロック図を示す。 QG識別プロセスの実施形態の別の例のブロック図を示す。 図19の状況におけるかかる実施形態の結果を示す。 再分割レベルカウンタを使用する実施形態による、ピクチャパラメータセット(PPS)の構文の一例を表すテーブルを示す。 主な実施形態を実装するための構文の一例を表すテーブルを示す。 主な実施形態を実装するための構文の一例を表すテーブルを示す。 主な実施形態を実装するための構文の一例を表すテーブルを示す。 主な実施形態を実装するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、QG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、QG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、QG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、クロマ関連要素に関するQG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、クロマ関連要素に関するQG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、クロマ関連要素に関するQG開始検出を処理するための構文の一例を表すテーブルを示す。 主な実施形態を実装し、クロマ関連要素に関するQG開始検出を処理するための構文の一例を表すテーブルを示す。
少なくとも1つの実施形態では、ビデオの符号化又は復号が様々なサイズの複数のブロックに画像を分割し、再分割レベルカウンタ(以下では「subdiv」と呼ぶ)は、パーティション及びブロックのそれぞれに関連付けられる。分割は、再帰的であり得、そのため、ブロックは(サブブロックと呼ばれる)複数のブロック等に更に分割され得る。ブロック又はサブブロックに関するこのカウンタの値は、ブロック又はサブブロックのサイズを表し、ブロック又はサブブロックの量子化パラメータ及びブロックが属する量子化グループを決定するために使用される。その結果、同様のサイズのブロックに同じ量子化パラメータが使用され、従って一貫した符号化/復号を提供する。
説明を明確にするために、以下の説明は、例えば、Joint Video Experts Team(JVET)によって策定されている新たな規格である高効率ビデオコーディング(HEVC)又は多用途ビデオコーディング(VVC)等のビデオ圧縮技術を含む実施形態に関して態様を説明する。但し、記載する態様は、他のビデオ処理技術及び規格にも適用可能である。
本願は、ツール、特徴、実施形態、モデル、手法等を含む様々な態様を記載する。これらの態様の多くは、特定的に記載されており、少なくとも個々の特性を示すために限定的であるように思われ得る方法で多くの場合に説明されている。しかし、それは、説明を明瞭にすることを目的としており、それらの態様の応用又は範囲を限定するものではない。実際、様々な態様の全てを組み合わせ交換して更なる態様をもたらすことができる。更に、態様は、先の出願に記載の態様と組み合わせ交換することもできる。本願に記載し、本願で予期する態様は、多くの異なる形態で実装することができる。以下の図1、図2及び図3は、一部の実施形態を示すが、他の実施形態も予期され、図1、図2及び図3の解説は、実装形態の範囲を限定するものではない。態様の少なくとも1つは、概して、ビデオを符号化し復号することに関し、少なくとも1つの他の態様は、概して、生成又は符号化されたビットストリームを伝送することに関する。これらの及び他の態様は、方法、機器、記載する方法の何れかに従ってビデオデータを符号化又は復号するための命令を記憶しているコンピュータ可読記憶媒体及び/又は記載する方法の何れかに従って生成されるビットストリームを記憶しているコンピュータ可読記憶媒体として実装することができる。
本願では、「再構築する」という用語と、「復号する」という用語とを区別なく使用する場合があり、「ピクセル」という用語と、「サンプル」という用語とを区別なく使用する場合があり、「画像」、「ピクチャ」及び「フレーム」という用語を区別なく使用する場合がある。必ずではないが、通常、「再構築する」という用語は、符号器側で使用されるのに対し、「復号する」は、復号器側で使用される。
本明細書では、様々な方法を記載し、方法のそれぞれは、記載する方法を実現するための1つ又は複数のステップ又はアクションを含む。方法が適切に動作するのにステップ又はアクションの特定の順序が要求されない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正するか又は組み合わせることができる。
本願に記載の様々な方法及び他の態様を使用して、モジュール、例えば図1に示すビデオ符号器(100)の量子化モジュール(130)及び/又は図2に示すビデオ復号器(200)の逆量子化モジュール(240)を修正することができる。更に、本願の態様は、VVC又はHEVCに限定されず、例えば既存の又は将来開発される他の規格及び勧告並びにそのような任意の規格及び勧告(VVC及びHEVCを含む)の拡張に適用することができる。別段の定めがない限り又は技術的に除外されない限り、本願に記載の態様は、個別に又は組み合わせて使用することができる。
本願では、例えば、ブロックサイズに関する様々な数値を使用する。具体的な値は、例示目的であり、記載する態様は、それらの具体的な値に限定されない。
図1は、ビデオ符号器100の一例のブロック図を示す。この符号器100の変形形態が考えられるが、符号器100は、予期される全ての変形形態を記載することなしに、明瞭にすることを目的に以下に記載される。例えば、図1の符号器は、HEVC規格に改善が加えられたHEVC符号器又はJVETによって開発されているJEM(Joint Exploration Model)符号器等のHEVCと同様の技術を使用する符号器であり得る。
ビデオシーケンスは、符号化される前に、例えば入力カラーピクチャに色変換(例えば、RGB4:4:4からYCbCr4:2:0への変換)を適用するか、又は圧縮に対してより回復性がある信号分布を得るために入力ピクチャ成分の再マッピングを行う(例えば、色成分の1つのヒストグラム平坦化を使用する)符号化前の処理(101)にかけることができる。メタデータが前処理に関連し得、ビットストリームに付加され得る。
HEVCでは、1つ又は複数のピクチャを有するビデオシーケンスを符号化するためにピクチャを1つ又は複数のスライスに分割し(102)、各スライスは、1つ又は複数のスライスセグメントを含み得る。スライスセグメントは、コード化単位、予測単位及び変換単位で構成される。HEVC仕様は、「ブロック」と「単位」とを区別し、「ブロック」は、サンプルアレイ内の特定の領域(例えば、ルマ、Y)を扱い、「単位」は、全ての符号化済み色成分(Y、Cb、Cr又はモノクロ)、構文要素及びブロックに関連する予測データ(例えば、動きベクトル)のコロケーテッドブロックを含む。
HEVCにおけるコード化のために、構成可能なサイズを有する正方形のコード化ツリーブロック(CTB)にピクチャが分割され、連続したコード化ツリーブロックの組がスライスにグループ化される。コード化ツリー単位(CTU)は、符号化済みの色成分のCTBを含む。CTBは、コード化ブロック(CB)への4分木分割の根であり、コード化ブロックは、1つ又は複数の予測ブロック(PB)に分割することができ、変換ブロック(TB)への4分木分割の根を形成する。コード化ブロック、予測ブロック及び変換ブロックに対応して、コード化単位(CU)は、予測単位(PU)及び変換単位(TU)の木構造の組を含み、PUは、全ての色成分に関する予測情報を含み、TUは、色成分ごとの残差コード化構文構造を含む。ルマ成分のCB、PB及びTBのサイズは、対応するCU、PU及びTUに当てはまる。本願では、「ブロック」という用語は、例えば、CTU、CU、PU、TU、CB、PB及びTBの何れかを指すために使用され得る。加えて、「ブロック」は、H.264/AVC又は他のビデオコード化規格内で規定されるマクロブロック及びパーティションを指すために、より広くは様々なサイズのデータのアレイを指すために使用することもできる。
符号器100の一例では、以下で説明するようにピクチャが符号器の要素によって符号化される。符号化されるピクチャは、ピクチャの一部を表すコード化単位で分割され(102)、処理される。各単位は、例えば、イントラモード又はインターモードを使用して符号化される。単位がイントラモードによって符号化される場合、符号器は、イントラ予測(160)を行う。インターモードでは、動き推定(175)及び動き補償(170)が行われる。符号器は、単位を符号化するためにイントラモード又はインターモードの何れを使用するかを決定し(105)、イントラ/インターの決定を例えば予測モードフラグによって示す。元の画像ブロックから予測済みブロックを減算すること(110)によって予測残差を計算する。次いで、予測残差を変換し(125)、量子化する(130)。量子化した変換係数並びに動きベクトル及び他の構文要素をエントロピーコード化して(145)、ビットストリームを出力する。符号器は、変換をスキップし、非変換残差信号に対して量子化を直接適用することができる。符号器は、変換及び量子化の両方をバイパスすることができ、即ち変換プロセス又は量子化プロセスを適用することなしに残差が直接コード化される。符号器は、符号化済みブロックを復号して、更なる予測のための参照を提供する。予測残差を復号するために量子化済みの変換係数を逆量子化し(140)、逆変換する(150)。復号済みの予測残差と予測済みブロックとを結合し(155)、画像ブロックを再構築する。例えば、デブロッキング/SAO(サンプル適応オフセット)フィルタリングを実行して符号化アーティファクトを減らすために、再構築したピクチャにインループフィルタ(165)を適用する。フィルタ済みの画像を参照ピクチャバッファ(180)に記憶する。
図2は、ビデオ復号器200の一例のブロック図を示す。この復号器200の変形形態が考えられるが、復号器200は、予期される全ての変形形態を記載することなしに、明瞭にすることを目的に以下に記載される。例えば、図1の復号器は、HEVC規格に改善が加えられたHEVC復号器又はJVETによって開発されているJEM復号器等のHEVCと同様の技術を使用する復号器であり得る。
復号器200では、以下で説明するように、ビットストリームが復号器の要素によって復号される。ビデオ復号器200は、図1に記載した符号化パスと逆の復号パスを概して実行する。符号器100も、ビデオデータを符号化する一環としてビデオの復号を概して実行する。具体的には、復号器の入力は、ビデオ符号器100によって生成され得るビデオビットストリームを含み、ビデオを再構築できるようにする構文データ要素を含む。変換係数、動きベクトル及び他のコード化情報を得るためにビットストリームを最初にエントロピー復号する(230)。ピクチャがどのように分割されるかをピクチャ分割情報が示す。従って、復号器は、復号したピクチャ分割情報に従ってピクチャを分割することができる(235)。予測残差を復号するために変換係数を逆量子化し(240)、逆変換する(250)。復号した予測残差と予測済みブロックとを結合して(255)、画像ブロックを再構築する。予測済みブロックは、イントラ予測(260)又は動き補償予測(即ちインター予測)(275)から得ることができる(270)。再構築済み画像にインループフィルタ(265)を適用する。フィルタ済み画像を参照ピクチャバッファ(280)に記憶する。復号済みピクチャは、復号後の処理(285)、例えば逆色変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)又は符号化前の処理(101)で行われた再マッピングプロセスの逆を行う逆再マッピングに更にかけることができる。復号後の処理は、符号化前の処理において導出され、ビットストリーム内でシグナリングされるメタデータを使用することができる。
図3は、様々な態様及び実施形態が実装されるシステムの一例のブロック図を示す。システム1000は、以下に記載の様々なコンポーネントを含む装置として実装することができ、本明細書に記載の態様の1つ又は複数を実行するように構成される。かかる装置の例は、これのみに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家庭用電化製品及びサーバ等の様々な電子装置を含む。システム1000の要素は、単一の集積回路(IC)、複数のIC及び/又は個別コンポーネント内に単独で又は組み合わせて実装することができる。例えば、少なくとも1つの実施形態では、システム1000の処理及び符号器/復号器の要素が複数のIC及び/又は個別コンポーネントにわたって分散される。様々な実施形態において、システム1000は、例えば、通信バスを介して又は専用の入力及び/又は出力ポートによって1つ又は複数の他のシステム又は他の電子装置に通信可能に結合される。様々な実施形態において、システム1000は、本明細書に記載の態様の1つ又は複数を実装するように構成される。
システム1000は、例えば、本明細書に記載の様々な態様を実装するために自らの中にロードされた命令を実行するように構成される少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、埋め込みメモリ、入出力インタフェース及び当技術分野で知られている他の様々な回路を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリ装置及び/又は不揮発性メモリ装置)を含む。システム1000は、これのみに限定されないが、電気的消去プログラム可能読取専用メモリ(EEPROM)、読取専用メモリ(ROM)、プログラム可能読取専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ及び/又は光ディスクドライブを含む不揮発性メモリ及び/又は揮発性メモリを含み得る記憶装置1040を含む。記憶装置1040は、非限定的な例として、内蔵記憶装置、付加記憶装置(着脱可能記憶装置及び着脱不能記憶装置を含む)及び/又はネットワークアクセス可能記憶装置を含み得る。
システム1000は、例えば、符号化済みビデオ又は復号済みビデオを提供するためにデータを処理するように構成される符号器/復号器モジュール1030を含み、符号器/復号器モジュール1030は、独自のプロセッサ及びメモリを含み得る。符号器/復号器モジュール1030は、符号化及び/又は復号機能を実行するために装置内に含まれ得るモジュールを表す。知られているように、装置は、符号化モジュール及び復号モジュールの一方又は両方を含み得る。加えて、符号器/復号器モジュール1030は、システム1000の別個の要素として実装することができるか、又は当業者に知られているようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ1010内に組み込まれ得る。
本明細書に記載の様々な態様を実行するために、プロセッサ1010又は符号器/復号器1030上にロードされるプログラムコードは、記憶装置1040内に記憶され、その後、プロセッサ1010によって実行するためにメモリ1020上にロードされ得る。様々な実施形態によれば、プロセッサ1010、メモリ1020、記憶装置1040及び符号器/復号器モジュール1030の1つ又は複数は、本明細書に記載のプロセスの実行中に様々なアイテムの1つ又は複数を記憶し得る。記憶されるかかるアイテムは、これのみに限定されないが、入力ビデオ、復号済みビデオ又は復号済みビデオの一部、ビットストリーム、行列、変数並びに式、公式、演算及び演算ロジックの処理の中間結果又は最終結果を含み得る。
幾つかの実施形態では、プロセッサ1010及び/又は符号器/復号器モジュール1030の内部のメモリを使用して命令を記憶し、符号化又は復号中に必要な処理用のワーキングメモリを提供する。しかし、他の実施形態では、これらの機能の1つ又は複数のために、処理装置(例えば、処理装置は、プロセッサ1010又は符号器/復号器モジュール1030であり得る)の外部のメモリが使用される。外部メモリは、メモリ1020及び/又は記憶装置1040、例えばダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。幾つかの実施形態では、例えば、テレビのオペレーティングシステムを記憶するために外部の不揮発性フラッシュメモリが使用される。少なくとも1つの実施形態では、MPEG-2(MPEGは、Moving Picture Experts Groupを指し、MPEG-2は、ISO/IEC13818とも呼ばれ、13818-1は、H.222としても知られ、13818-2は、H.262としても知られる)、HEVC又はVVC等のビデオのコード化及び復号操作用のワーキングメモリとしてRAM等の高速な外部のダイナミック揮発性メモリが使用される。
システム1000の要素への入力は、ブロック1130内に示す様々な入力装置によって提供され得る。かかる入力装置は、これのみに限定されないが、(i)例えば、ブロードキャスタによって無線で伝送されるRF(無線周波数)信号を受信するRF部分、(ii)コンポーネント(COMP)入力端子(又はCOMP入力端子の組)、(iii)ユニバーサルシリアルバス(USB)入力端子、及び/又は(iv)高精細度マルチメディアインタフェース(HDMI)入力端子を含む。図3に不図示の他の例は、複合ビデオを含む。
様々な実施形態において、ブロック1130の入力装置は、当技術分野で知られている関連する個々の入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択し(信号を選択する又は信号をある周波数帯域に帯域制限するとも言う)、(ii)選択した信号をダウンコンバートし、(iii)(例えば)特定の実施形態においてチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限し、(iv)ダウンコンバート及び帯域制限済みの信号を復調し、(v)誤り訂正を行い、及び(vi)データパケットの所望のストリームを選択するために逆多重化するのに適した要素に関連し得る。様々な実施形態のRF部分は、これらの機能を実行するための1つ又は複数の要素、例えば周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器及びデマルチプレクサを含む。RF部分は、例えば、受信した信号をより低い周波数(例えば、中間周波数又は基底帯域に近い周波数)又は基底帯域にダウンコンバートすることを含む、これらの機能の様々なものを行うチューナを含むことができる。あるセットトップボックスの実施形態では、RF部分及びその関連する入力処理要素が有線(例えば、ケーブル)媒体上で伝送されるRF信号を受信し、所望の周波数帯域にフィルタリングし、ダウンコンバートし、再びフィルタリングすることによって周波数の選択を行う。様々な実施形態は、上記で説明した(及び他の)要素の順序を並べ替え、それらの要素の一部を除去し、及び/又は同様の若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素間に要素を挿入すること、例えば増幅器及びアナログ-デジタル変換器を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。加えて、USB及び/又はHDMI端子は、USB及び/又はHDMI接続の両端間でシステム1000を他の電子装置に接続するための個々のインタフェースプロセッサを含み得る。例えば、別個の入力処理IC内又はプロセッサ1010内において、入力処理、例えばリードソロモン誤り訂正の様々な側面を必要に応じて実装できることを理解すべきである。同様に、USB又はHDMIインタフェース処理の側面を別個のインタフェースIC内又はプロセッサ1010内で実装することができる。出力装置上で提示するためにデータストリームを必要に応じて処理するために、復調済みの、誤り訂正済みの及び逆多重化済みのストリームは、例えば、メモリ及び記憶要素と組み合わせて動作するプロセッサ1010及び符号器/復号器1030を含む様々な処理要素に与えられる。
システム1000の様々な要素を一体型ハウジング内に設けることができる。一体型ハウジング内では、様々な要素が相互接続され、適切な接続構成、例えばInter-IC(I2C)バス、配線及びプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを伝送し得る。
システム1000は、通信チャネル1060を介して他の装置と通信することを可能にする通信インタフェース1050を含む。通信インタフェース1050は、これのみに限定されないが、通信チャネル1060上でデータを送受信するように構成されるトランシーバを含み得る。通信インタフェース1050は、これのみに限定されないが、モデム又はネットワークカードを含むことができ、通信チャネル1060は、例えば、有線媒体及び/又は無線媒体内に実装することができる。
様々な実施形態において、Wi-Fiネットワーク、例えばIEEE802.11(IEEEは、Institute of Electrical and Electronics Engineersを指す)等の無線ネットワークを使用してデータがシステム1000にストリームされるか又は与えられる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合される通信チャネル1060及び通信インタフェース1050上で受信される。これらの実施形態の通信チャネル1060は、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに典型的に接続される。他の実施形態は、入力ブロック1130のHDMI接続上でデータを届けるセットトップボックスを使用してストリームデータをシステム1000に与える。更に他の実施形態は、入力ブロック1130のRF接続を使用してストリームデータをシステム1000に与える。上記で示したように、様々な実施形態がデータを非ストリーミング式に提供する。加えて、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えばセルラネットワーク又はBluetoothネットワークを使用する。
システム1000は、ディスプレイ1100、スピーカ1110及び他の周辺装置1120を含む様々な出力装置に出力信号を与えることができる。様々な実施形態のディスプレイ1100は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ及び/又は折り畳み式ディスプレイの1つ又は複数を含む。ディスプレイ1100は、例えば、テレビ、ラップトップ、セルホン(携帯電話)又は他の装置であり得る。ディスプレイ1100は、(例えば、スマートフォンにあるように)他のコンポーネントに統合され得るか、又は別個(例えば、ラップトップ用の外部モニタ)であり得る。実施形態の様々な例において、他の周辺装置1120は、独立型デジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語でDVR)、ディスクプレーヤ、ステレオシステム及び/又は照明システムの1つ又は複数を含む。様々な実施形態は、システム1000の出力に基づく機能を提供する1つ又は複数の周辺装置1120を使用する。例えば、ディスクプレーヤは、システム1000の出力を再生する機能を実行する。
様々な実施形態において、AV.Link、Consumer Electronics Control(CEC)又はユーザの介入ありの若しくはなしの装置間制御を可能にする他の通信プロトコル等のシグナリングを使用し、システム1000とディスプレイ1100、スピーカ1110又は他の周辺装置1120との間で制御信号が通信される。出力装置は、個々のインタフェース1070、1080及び1090による専用接続を介してシステム1000に通信可能に結合され得る。代わりに、出力装置は、通信インタフェース1050を介して通信チャネル1060を使用してシステム1000に接続され得る。ディスプレイ1100及びスピーカ1110は、例えば、テレビ等の電子装置内でシステム1000の他のコンポーネントと共に単一のユニットに一体化することができる。様々な実施形態において、ディスプレイインタフェース1070は、例えば、タイミングコントローラ(T Con)チップ等のディスプレイドライバを含む。
例えば、入力1130のRF部分が別個のセットトップボックスの一部である場合、ディスプレイ1100及びスピーカ1110は、他のコンポーネントの1つ又は複数から代わりに切り離すことができる。ディスプレイ1100及びスピーカ1110が外部コンポーネントである様々な実施形態において、出力信号は、例えば、HDMIポート、USBポート又はCOMP出力を含む専用出力接続によって与えることができる。
実施形態は、プロセッサ1010によって実装されるコンピュータソフトウェア若しくはハードウェア又はハードウェアとソフトウェアとの組み合わせによって実行することができる。非限定的な例として、実施形態は、1つ又は複数の集積回路によって実装され得る。メモリ1020は、技術的環境に適した任意の種類のものであり得、非限定的な例として、光メモリ装置、磁気メモリ装置、半導体ベースのメモリ装置、固定メモリ及び着脱可能メモリ等、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ1010は、技術的環境に適した任意の種類のものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ及びマルチコアアーキテクチャに基づくプロセッサの1つ又は複数を包含し得る。
図4は、圧縮領域内のコード化ツリー単位及びコード化ツリーの一例を示す。HEVCビデオ圧縮規格では、ピクチャがいわゆるコード化ツリー単位(CTU)に分割され、CTUのサイズは、例えば、64×64、128×128又は256×256ピクセルである。各CTUは、圧縮領域内のコード化ツリーによって表される。これは、CTUの4分木分割であり、それぞれの葉をコード化単位(CU)と呼ぶ。
図5は、CTUをコード化単位、予測単位及び変換単位に分割する一例を示す。各CUに何らかのイントラ予測パラメータ又はインター予測パラメータ予測情報)が与えられる。そのために、1つ又は複数の予測単位(PU)にCUを空間的に分割し、各PUに何らかの予測情報が指定される。イントラコード化モード又はインターコード化モードは、CUレベルで指定される。
ビデオコーデックは、コード化単位(CU)又は変換単位と従来から名付けられている正方形ブロック又は矩形ブロックにピクチャを分割する。分割は、再帰的であり得る。従って、現在のブロックの分割深度は、現在のブロックを得るための再帰的分割の回数を指す。次いで、これらのブロックを予測することができ、残差(元と予測との差)を変換して周波数係数を計算する。符号器側では、量子化は、結果として生じる変換済みの係数を、量子化ステップサイズ(Qstep)とも名付けられる特定の量子化スケールで割ることを通常含む。次いで、復号器は、その結果に同じQstepを乗じて元の係数の近似を復元する。
通常、量子化ステップサイズQstepを決定するために量子化パラメータ(QP)を使用する。HEVCの例では、QPは、0~51(QP範囲)の52個の値を取り得る。QPが1増加することは、量子化ステップサイズQstepが約12%(即ち21/6)増加することを意味する。HEVCの例では、結果として生じるQPと、均等な量子化ステップサイズとの間の関係が以下の式によって与えられる(「イコール」記号は、整数の等価性を意味する)。
Qstep(QP)=(21/6QP-4 (式1)
以下に記載する実施形態では、上記の(式1)で定義した以外の関数及びQP範囲を使用することができる。例えば、VVCでは、QP範囲が63に拡張されている。
以下では、「ブロック」という用語を使用する。この用語は、例えば、ルマブロック及び/又はクロマブロック又は3つのRGBブロック等の幾つかのブロックをグループ化する「CU」という用語によって均等に置換することができる。
現在のピクチャ(又はスライス等のその一部分)のQPからのオフセット(QPデルタ)を指定することにより、量子化ステップの局所的調節が典型的に可能である。HEVCの例では、QPデルタは、所与の最大分割深度(ピクチャパラメータセット内で認められるdiff_cu_qp_delta_depth構文要素)によって定められる「量子化グループ」(QG)と呼ばれるブロックのグループごとに指定することができ、即ち、更なる分割によって生じる全てのブロックは、同じ量子化グループに属し、同じQPを共有する(より正確には同じQP予測を共有し、最大で1つのQPデルタを指定する)。HEVCの例では、所与の分割深度における全てのブロックが同じサイズを有し、それは、全ての分割がクワッド分割(Q分割)であり、従って同じサイズのブロックについて均一なQP値をもたらすからである。
図6は、例えば、VVCにあるような様々な分割の種類を示す。VVC等のコーデックの例では、Q分割に加えて、バイナリ分割(B分割)、ターナリ分割(T分割)及び非対称バイナリ分割(AB分割)を含む他の分割の種類があり得る。この図面では、Q分割を破線で示し、他の分割の種類を鎖線で示す。最上位のQ分割は、同じサイズの4つのブロックを画定する。第2のレベルの分割では、Q分割によって生じるブロックのそれぞれが別の種類の分割を用いて分割されており、即ち左上のブロックがAB分割を用いて分割され、右上のブロックがT分割を用いて分割され、左下のブロックがQ分割を用いて分割され、右下のブロックがB分割を用いて分割されている。これらの分割は、同じ分割深度(第2のレベル)において異なるサイズを有し得るブロックをもたらす。実際、AB分割ブロックのブロック61は、T分割のブロック62、又はQ分割のブロック63、又はB分割ブロックのブロック64よりも大きい。これらの全てのブロックは、同じレベルにあるが、これらのブロックのサイズは、同一ではなく、複数回の分割後に非常に異なり得る。従って、ブロックのサイズに少なくとも部分的に関係するブロックの視覚的重要度は、一様ではない。
図7A及び図7Bは、ブロックサイズに対する繰り返し分割の影響を示す。図7Bは、繰り返しの水平及び垂直ターナリ分割を示す。この事例では、同じ分割深度を有しながら、中央のブロック(74)が角のブロック(73)よりもはるかに大きい。従って、量子化グループを定めるために分割深度情報を使用することは、不均一なサイズを有する量子化グループをもたらす可能性があり、ピクチャ又はスライスの全体にわたってQPの粒度(量子化グループのサイズ)が同じであるHEVCの原理と比較して不所望の結果を招き得る。図7Aは、繰り返しの水平及び垂直AB分割を示し、ブロック71及びブロック72で同じ問題を引き起こす。
図8は、異なる分割レベルにおける同じサイズの様々なブロックを示す。実際、図7に示すように分割の種類に従って同じブロックサイズを異なる分割深度において得ることができ、図中、ブロック内の数字は、ブロックごとの分割深度を示す。これらの例では、親ブロックの1/16の面のブロックが2(左下のブロック81)又は3(右下のブロック82)の分割深度を有する。
図9は、HEVC仕様における量子化グループの使用を示す。HEVC仕様は、QP予測とは別個のQPデルタパージングを含む。QG開始を検出することにより、新たな予測及び新たなQPデルタが使用可能にされる。そのために、分割深度がストリーム内でシグナリングされる所与の閾値であるdepthLimit以下である場合、フラグ(IsCuQpDeltaCoded)を偽に設定する。次いで、変換単位(TU)において、ブロック残差が非空であり(且つQPオフセットのシグナリングが高レベルで有効にされており)、IsCuQpDeltaCodedが引き続き偽の場合、このフラグを真に設定し、QPオフセットをコード化/復号する。復号プロセスでは、各ブロックのQPの導出は、量子化グループの左上角の上部の及び左側の隣接ブロックを用いて行われるQP予測を含む。この左上角の位置は、図9に示すように、QGグリッド上での現在のブロック位置の単純な位置合わせを使用して決定される。全ての分割がクワッド分割であり、従ってQGが同じ(最小)サイズを有し分割深度制限と一致するグリッド上で位置合わせされるため、この手法は、機能し、前のポイントと整合する。しかし、例えば、VVCで使用されるような上記で紹介したQ分割と異なる分割の種類によるビデオのコード化を使用する場合、異なる分割の種類が様々なサイズのパーティションをもたらすため、QGの位置のそのような単純な導出は、もはや正しくない。所与の分割深度におけるブロックは、もはや正規グリッドを形成しない。
以下に記載する実施形態は、上記の内容を念頭に置いて考案されている。
再分割レベルカウンタ
図10は、再分割レベルカウンタの使用に関する少なくとも1つの実施形態を示す。かかるカウンタ(以下では「subdiv」と呼ぶ)は、ブロックの面に密に関係するか、又はブロックのサイズを少なくとも表し、従ってブロックの面を表すか又はブロックのサンプルの数も表す。様々なサイズの複数のブロックに画像が分割される場合、再分割レベルカウンタ(以下では「subdiv」と呼ぶ)がパーティション及びブロックのそれぞれに関連付けられる。ブロックに関するsubdiv値は、少なくとも分割の種類に従って決定される。subdiv値は、ブロックの量子化パラメータ及びブロックが属する量子化グループを決定するために使用され得る。その結果、同様のサイズのブロックに同じ量子化パラメータが使用され、従って一貫した符号化/復号を提供する。
少なくとも1つの実施形態では、パーティションが分割されるとき、新たな量子化グループの開始を決定するために、再分割レベルカウンタsubdiv、再分割レベルの最大値及び分割の種類に従って分析が行われ、該当する場合、パーティションの現在位置は、更に分割されるパーティションと共に記憶されるようにそれらのパーティションに伝搬され、且つ復号時の予測プロセスにおいて役立つ。
少なくとも1つの実施形態では、再帰的プロセスが各ブロックに再分割レベルカウンタsubdiv(正の整数値)を割り当てる。そのために、このプロセスは、分割木の根においてsubdivをまずゼロに初期化する。その後、分割ごとに、前のsubdiv値からインクリメントした後に作成済みの各パーティション(慣例的にサブブロックと呼ばれる)にsubdiv値を伝搬し、インクリメント値は、分割の種類及び分割内のパーティションの位置によって決まる。ブロック又はサブブロックの分割を行う間、分割深度に加えて再分割レベルが各下位パーティションに付加される。再分割レベルは、分割の種類及びパーティション数に応じて親ノードの1からインクリメントされる。
かかる再帰的分割機能を図10のS1によって示す。従来の分割機能に関する他の機能をS11で実行した後、分割の種類に基づいてS12でsubdiv値を決定し、各下位パーティションにsubdiv値を付加しながらS13でパーティションを再帰的に分割する。以下では、この全体的なプロセスをsubdivプロセスと呼ぶ。
図1の符号器100、図2の復号器200及び図3のシステム1000は、本明細書に記載の実施形態の少なくとも1つを実装するように適応され、従ってsubdivプロセスによってsubdivカウンタを扱うように構成される。
図11A、図11B及び図11Cは、一実施形態による分割の種類とsubdivのインクリメントとの間の関係の例を示す。少なくとも1つの実施形態では、検討する分割の種類がQ分割、B分割及びT分割であり、対応するインクリメントを次の通り行う。
- Q分割では:クワッド分割の全てのパーティションについてincQ=+2(図11A)
- B分割では:水平又は垂直であり得るバイナリ分割の全てのパーティションについてincB=+1(図11B)
- T分割では:水平又は垂直であり得るターナリ分割の横のパーティションについてincTS=+2、中央のパーティションについてincTC=+1(図11C)
図12は、一実施形態によるsubdivプロセスのブロック図の一例を示す。この図では、subdivパラメータのインクリメントをQ分割の場合にincQ、B分割の場合にincB、T分割の場合にincTS及びincTCで概して示し、それらの値は、上記で紹介したように定められる。ステップ401で分割の種類がQ分割であると判定された場合、ステップ403で4つ全ての下位パーティションのsubdiv値をincQ=+2インクリメントする。ステップ402で分割の種類がB分割であると判定された場合、ステップ405で両方の下位パーティションのsubdiv値をincB=+1インクリメントする。ステップ404で分割の種類がT分割であると判定された場合、ステップ407で横のパーティションのsubdiv値をincTS=+2インクリメントし、横のパーティションのsubdiv値をincTC=+1インクリメントする。
図13A、図13B及び図13Cは、図6及び図7の例にプロセスを適用したときのsubdivカウンタの値の例を示す。但し、この図では、左上ブロックのAB分割を分割なしで置換しており、その理由は、図11の実施形態がAB分割のパーティションを扱わないからである。subdiv値は、分割深度パラメータよりも実際のブロックサイズにはるかに関連していることが認められる。
この原理の1つの応用は、量子化中に使用され、同じsubdiv値を有するブロックは、同じ面を有するため、それらのブロックに同数のサンプルを割り当てる。従って、少なくとも1つの実施形態では、量子化グループの仕様が検討中のコード化グループのsubdiv値に関係する。一実施形態では、量子化グループの決定は、subdiv値をより高いレベル(例えば、PPS、スライスヘッダ、タイルグループヘッダ、タイルヘッダ内)でシグナリングされる最大subdiv値(本明細書ではdiff_cu_qp_delta_subdivと呼ぶ)と比較することに基づき得る。例えば、量子化グループは、subdiv>=diff_cu_qp_delta_subdivの状態で親ブロックを分割することによって生じるブロックの組として指定される。かかるブロックの組は、同じ量子化グループを作る。上記のsubdiv導出プロセスにより、量子化グループは、同数のサンプル(=同じ面)を有するか、又はsubdivの制限に達していない(分割が不十分である)場合に更に大きい。例えば、図13Aでは、左下ブロック及び右上ブロックが同じ形状を有さないが、同様の面を有し、同じsubdiv値を共有する。更に、これは、HEVCと同様の挙動を与える。実際、Q分割しかない場合、この方法は、HEVCと同じ量子化グループをもたらす。
少なくとも1つの実施形態では、ブロックのサンプル数(=面)が以下のようにsubdiv値から容易に計算される。
block_surface=CTB_surface>>subdiv
別の実施形態では、subdivが他の目的にも有用であり得る。一例は、subdiv値に基づいて(例えば、分割モードに関する)幾つかのCABACコンテキストidを導出することである。
AB分割の第1の変形形態
少なくとも1つの実施形態は、図6に示した全ての分割の種類を使用する、従って先のQ分割、B分割及びT分割に加えてAB分割も使用するビデオのコード化に関する。
図14A及び図14Bは、非対称バイナリ分割の異なる種類を示す。AB分割では、両側に関してサンプル数が2のべき乗で分割されず、即ち、比率は、3/4と1/4又は3/4のパーティションを同じ方向に更にAB分割する場合、2/3と1/3である。
更に、ターナリ分割に相当する連続した2回の非対称バイナリ分割は、図14Cに示す均等なターナリ分割と同じ再分割レベルを与えるものとする。
少なくとも1つの実施形態では、Q分割、B分割及びT分割に関して先に記載したインクリメントに適合し、CTB/ブロックの面の比率を2^subdivで引き続き概算する方法は、AB分割の場合に以下のsubdivのインクリメントを適用する。
- 1/4のAB分割では:大きい部分についてincAB1=+0、小さい部分についてincAB2=+2
- 1/3のAB分割では:大きい部分についてincAB3=+1、小さい部分についてincAB4=+2
図15A及び図15Bは、AB分割に関する第1の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の例を示す。図16A、図16B及び図16Cは、ターナリ分割に相当する連続した2回の非対称バイナリ分割にプロセスを適用したときのsubdivカウンタの値の例を示す。
AB分割の第2の変形形態
図17は、AB分割に関する第1の変形形態を用いた、相対する方向の連続した2回の非対称1/4バイナリ分割にプロセスを適用したときのsubdivカウンタの値の一例を示す。この事例では、図17に示すように、相対する方向の連続した1/4のAB分割は、サイズの著しい減少(元の面の56%)にもかかわらず、大きい部分のsubdivがインクリメントされないことを招く(右上ブロック)。
図18A、図18B、図18C、図18D及び図18Eは、AB分割に関する第2の変形実施形態による、分割の種類とsubdivのインクリメントとの間の関係の例を示す。この実施形態では、以下のように全ての分割の種類についてsubdivのインクリメントが修正される。
- クワッド分割の全てのパーティションについてincQ=+4(図18A)、
- 水平バイナリ分割(図18B)又は垂直(不図示)の全てのパーティションについてincB=+2、
- ターナリ分割(図18Cに示すように垂直又は水平であり得る)の横のパーティションについてincTS=+4、中央のパーティションについてintT2=+2、
- 垂直の1/4のAB分割に関して図18Dに示すように、1/4のAB分割の大きい部分についてincAB1=+1、小さい部分についてincAB2=+4(水平も同様になる)、
- 垂直の1/3のAB分割に関して図18Eに示すように、1/3のAB分割の大きい部分についてincAB3=+1、小さい部分についてincAB4=+3(水平も同様になる)。
この変形形態を使用し、均等なAB分割及びターナリ分割は、依然として同じsubdivを取得し、CTB/ブロックの面の比率は、2^(subdiv/2)に近い。従って、ブロックの面の概算を計算するために次の簡単な計算を使用することができる:block_surface≒CTB_surface>>(subdiv/2)。非対称バイナリ分割が存在する場合、同じsubdivを有するパーティションは、第1の変形形態よりもサイズが近い。
量子化グループの画定への影響
図9に関して既に論じたように、QPデルタパージングのために及びQP予測のために、量子化グループの開始(以下ではQG開始と呼ぶ)の統一された検出が要求される。少なくとも1つの実施形態では、QG開始の検出を以下のように行う。cu_qp_delta_enabled_flag(デルタQPコーディングの使用を活性化又は非活性化できるようにするフラグ)及びcu_qp_delta_subdiv(QGを設定するために使用されるsubdivの制限を指定するパラメータ)という2つの高レベル構文要素をビットストリーム(例えば、PPS、スライスヘッダ、タイルグループヘッダ、タイルヘッダ内)から読み出す。cu_qp_delta_enabled_flagが真に等しい場合に下記が該当する。
分割プロセス中、subdiv<=cu_qp_delta_subdivである場合、QG開始を示すためにフラグ(CuQpDeltaCoding)を真に設定し、現在のQG原点として現在位置を保存する。QPデルタがコード化(又は復号)されると直ちに、CuQpDeltaCodingフラグを(偽に)リセットする。
しかし、新たな分割の種類を導入することにより、T分割又はAB分割によって生じる様々なサイズのパーティションが原因でQGの画定が非自明になる。cu_qp_delta_subdiv以下のsubdiv値を有する最小パーティションとしてQGを簡単に画定することはできない。
図19は、T分割の場合のQG開始の一例を示す。この例では、問題を簡潔に示す目的でcu_qp_delta_subdivの制限値を1に設定する。図11Cで定めたsubdivのインクリメントを使用し、親のパーティションがsubdiv=0を有したと仮定し、T分割は、横のパーティションについてsubdiv=2、中央のパーティションについて1をもたらす(図19の左側)。中央のパーティションは、QGであるべきであり(そのsubdivは、制限内:subdiv<=cu_qp_delta_subdiv)、横のパーティションは(そのsubdiv値がcu_qp_delta_subdivを上回るため)QGグループであるべきではなく、横のパーティションが属するQGは、その親のパーティションである(又はない)ことを示唆している。これは、重複するQG(又はQG内に穴があること)を招き、それは、あり得ないことである(ブロックは、単一のQP予測を有するものとし、即ち1つのみのQGに属するべきである)。この問題は、以下で説明するように訂正可能である。
図20は、QGの問題を訂正する一実施形態によるT分割の場合のQGの画定の一例を示す。この実施形態によれば、T分割では、
- 最初のパーティションのsubdiv値がcu_qp_delta_subdivを上回り、そのため、QG開始フラグは、修正されていないが、その位置をQG原点とした状態で、QG開始フラグは、親のパーティションによって既に真に設定されている。
- 中央のパーティションについて、そのsubdiv値がcu_qp_delta_subdivに等しく、従ってQG開始フラグが真に設定される。これは、新たなQGを中央の位置において開始し、それは、最初のパーティション(左側)が完了したQGであることを意味する。
- 最後のパーティションのsubdiv値は、cu_qp_delta_subdivを上回り、従って、QG開始フラグは、設定されない。これは、最後のパーティションが前のQGの要素であることを意味し、即ち中央のパーティションと最後のパーティションとが単一のQGを形成する。
AB分割に関して、
- 小さいパーティションが最初の場合、2つのQGがあり、
- 小さいパーティションが最後の場合、単一のQGがあり、
- 連続した2回のAB分割は、T分割に相当する。
以下の節は、VVCにおけるこれらの構文関数の例としてJVET-L1001の文献に記載されている構文を使用する(関数coding_tree_unit()を明記する7.3.4.2節、関数coding_quadtree()を明記する7.3.4.3節、関数multi_type_tree()を明記する7.3.4.4節)。
図21は、QG識別プロセスの実施形態の一例のブロック図を示す。この実施形態では、coding_quadtree()構文及びmulti_type_tree()構文(又は以下でcoding_treeとまとめて呼ぶ均等な構文)にsubdivパラメータが追加されている。構文の変更を最小限に抑えるために、QG検出フラグをHEVC風に、即ち上記で提案したCuQpDeltaCodingの代わりにIsCuQpDeltaCodedフラグを保持して示している。
ステップ501では、subdivパラメータを0とした状態で分割をCTUから開始する。コード化ツリーレベルにおいて、ステップ502では、cu_qp_delta_enabled_flagが有効で、subdiv<=cu_qp_delta_subdivである場合、IsCuQpDeltaCoded=0、CuQpDeltaVal=0を含め、一部の値がステップ503で初期化され、ブロックの現在位置がQG原点、即ち(xQg,yQg)=(x0,y0)として記憶される。ステップ504は、再分割が該当するかどうかを確認する。再分割が該当する場合、ステップ505で分割の種類によるパラメータと共に子の分割を呼び出す(coding_tree)。対応する下位パーティションについて、下位パーティションごとのsubdivパラメータを上記の実施形態の1つによる下位パーティションの種類に対応する値incXインクリメントする(例えば、B分割ではincXが+1であり、Q分割では+2等である)。ステップ504でそれ以上の分割が適用されない場合(コード化ツリーの葉に到達したことを意味する)、このプロセスは、CU及びTUのレベルに移る。ステップ506では、cu_qp_delta_enabled_flagが1に等しく、IsCuQpDeltaCodedが0に等しく、QPデルタをコード化するための条件が満たされている(例えば、非ゼロ係数がコード化される=cbfが非ゼロである)場合、ステップ507でQPデルタをコード化(又は復号)し、CuQpDeltaValを適宜更新し、IsCuQpDeltaCodedを1に設定する。さもなければ、ステップ508では具体的なアクションを行わない。
図22は、QG識別プロセスの実施形態の別の例のブロック図を示す。この実施形態では、QG開始の検出に補足条件を追加することによって新たなQGの作成を更に抑えることを提案する。子ノードが制限を上回ることを検出するとき、親ノードは、全ての子についてQG開始の検出を無効にする。これは、より多くの規則的QGを与えることをもたらす。
そのために、QGフラグがパラメータとしてcoding_tree()構文に渡される。ステップ601では、0をsubdivパラメータとし、1をQGフラグパラメータとしてCTUから分割を開始する。コード化ツリーレベルにおいて、ステップ602でQGフラグが真に等しく、subdiv<=cu_qp_delta_subdivである場合、CuQpDeltaCoding=cu_qp_delta_enabled_flag、CuQpDeltaVal=0を含め、一部の値がステップ603で初期化され、ブロックの現在位置がQG原点、即ち(xQg,yQg)=(x0,y0)として記憶される。ステップ604は、再分割が該当するかどうかを確認する。再分割が該当する場合、ステップ605で分割の種類によるパラメータと共に子の分割を呼び出す(coding_tree)。対応する下位パーティションについて、下位パーティションごとのsubdivパラメータを上記の実施形態の1つによる値incXであって、Xは、下位パーティションの種類である、値incX(例えば、B分割では+1)インクリメントする。次の分割が制限を超えることができず、そのため、subdiv+incMax<=cu_qp_delta_subdivが成立する場合にQGフラグパラメータを設定し、incMaxは、検討される次の分割についてあり得る最大のインクリメントである。ステップ604でそれ以上の分割が適用されない場合(コード化ツリーの葉に到達したことを意味する)、このプロセスは、CU及びTUのレベルに移る。ステップ606では、CuQpDeltaCodingが1に等しく、QPデルタをコード化するための条件が満たされている(例えば、非ゼロ係数がコード化される=cbfが非ゼロである)場合、ステップ607でQPデルタをコード化(又は復号)し、CuQpDeltaValを適宜更新し、CuQpDeltaCodingを0に設定する。さもなければ、ステップ608では具体的なアクションを行わない。
図23は、図19の状況におけるかかる実施形態の結果を示す。ターナリ分割のレベルにおいてQG間の不整合がなくなり、従ってより優れた結果をもたらす。換言すれば、所与のノードの下位パーティションの何れかがsubdiv制限を上回るsubdiv値を有する場合、所与のノードの全ての下位パーティションが新たなQGを開始するのを防ぐことを提案する。これは、qgEnableと呼ばれる新たなパラメータを定めることによって行われ、multi_type_tree()構文関数に渡される。qgEnableは、最初、真に等しいが、横のパーティションが、subdiv制限を上回るsubdiv値を有する場合、ターナリ分割の全ての子について偽に等しく設定される。qgEnableは、新たなQGを開始する(及び結果としてQG原点を保存しQPデルタコーディングを可能にする)ための追加条件として使用される。条件を併合し、構文を単純化するために、IsCuQpDeltaCodedの論理を反転させることも提案する(CuQpDeltaCodingに改称される)。
量子化グループを使用する他のコード化及び復号プロセスは、同じ利点を有する同じ原理を使用することができる。例えば、multi_type_tree内でcoding_quadtreeが見つからないVVCでは、QGパラメータの使用をmulti_type_treeに制限することができる。
更に、xQg及びyQgが現在のブロック位置から導出されるのではなく、与えられることを除き、QPの導出プロセスは、HEVCと変わらないことができる(JCTVC-W1005-v4に記載のHEVC仕様の段落8.6.1)。
少なくとも1つの実施形態は、QG開始の検出時に1に設定されるCuQpPredict内部フラグを追加することによって可能になるオンザフライのCU QP導出を使用する(例えば、CuQpDeltaCodingが1に等しい場合、xQg、yQg及びCuQpDeltaVal変数は、不要であり、削除することができる);CU内でCuQpPredictが設定される場合、QPを予測し、それをQpY変数に割り当て、CuQpPredictフラグをリセットする。TU内でCuQpDeltaCodingが1でありQPデルタが存在する場合、QpYは復号済みのデルタの値によってインクリメントされ、CuQpDeltaCodingはリセットされる。
構文要素及びセマンティクス
少なくとも1つの実施形態では、subdivプロセスがsubdivレベルカウンタの値をシグナリングする特定の構文を使用することによって実装される。以下に記載するコード化された構文要素は、HEVC又はVVC([JVET_K1001]を参照されたい)に基づき、変更箇所は、灰色の背景色で強調表示してある。
最初の変更では、diff_cu_qp_delta_depthをcu_qp_delta_subdivに改称し、それに応じてセマンティクスの記述を改変した。導出変数Log2MinCuQpDeltaSizeを削除した。
図24は、再分割レベルカウンタを使用する実施形態による、ピクチャパラメータセット(PPS)の構文の一例を表すテーブルを示す。このテーブルでは、1に等しいcu_qp_delta_enabled_flagは、cu_qp_delta_subdiv構文要素がPPS内にあり、cu_qp_delta_absが変換単位の構文内にあり得ることを規定する。0に等しいcu_qp_delta_enabled_flagは、cu_qp_delta_subdiv構文要素がPPS内になく、cu_qp_delta_absが変換単位の構文内にないことを規定する。cu_qp_delta_subdivは、cu_qp_delta_abs及びcu_qp_delta_sign_flagを伝達するコード化単位の最大cbSubdiv値を規定する。存在しない場合、cu_qp_delta_subdivの値は、0に等しいものと推論する。
主な実施形態のための構文要素及びセマンティクス
図25~図28は、主な実施形態を実装するための構文の例を表すテーブルを示す。構文は、VVC構文に関して図示し、修正箇所は、灰色の背景色で強調表示してある。他のパラメータと表記法を一貫させるために、subdivレベルカウンタをcbSubdivパラメータによって表す。SPLIT_BT_HOR、SPLIT_BT_VER、SPLIT_TT_HOR及びSPLIT_TT_VERは、水平B分割、垂直B分割、水平T分割及び垂直T分割にそれぞれ対応する。IsCuQpDeltaCoded及びCuQpDeltaValをリセットするためにコード化ツリー構文内で使用する条件が(cu_qp_delta_enabled_flag && log2CbSize >= Log2MinCuQpDeltaSize)から(cu_qp_delta_enabled_flag && cbSubdiv <= cu_qp_delta_subdiv)に修正されている。この条件下において、IsCuQpDeltaCoded及びCuQpDeltaValをリセットすることに加えて、x0及びy0をxQg及びyQgに保存する(図21のステップ503及び図22のステップ603)。主な実施形態又は主な実施形態の変形形態(AB分割が必要な場合)に記載の通り、新たに作成したcbSubdivパラメータを分割の種類及びパーティションのインデックスに従ってインクリメントするために、coding_quadtree()及びmulti_type_tree()(更にdual_tree_implicit_qt_split)に構文又はセマンティクスを追加する。
VVCの「derivation process for quantization parameters」の段落では、HEVCに記載されているようにQG原点の位置(xQg,yQg)は、Log2MinCuQpDeltaSizeに基づいていたため、導出できないが、(xQg,yQg)は、正にcoding_quadtree()及びmulti_type_tree()内に保存されるものである。
QG開始の検出を制限した主な実施形態のための構文要素及びセマンティクス
少なくとも1つの実施形態では、subdivプロセスは、subdivレベルカウンタの値をシグナリングする特定の構文及び量子化グループの開始を検出することに関係する少なくともパラメータを使用することによって実装される。従って、QG開始の検出は、コード化ツリー構文内でQGフラグパラメータ(以下の表では「QG」と改称する)を追加し、QG開始の検出条件を修正することによって行われる。修正箇所は、灰色の背景色で強調表示してある。
図29~図31は、主な実施形態を実装し、QG開始検出を処理するための構文の例を表すテーブルを示す。構文は、VVC構文に関して図示し、修正箇所は、灰色の背景色で強調表示してある。coding_quadtree()にあるのと同じ構文がdual_tree_implicit_qt_split()に使用され、ここでは図示していない。
図32~図35は、主な実施形態を実装し、(テーブル内のイタリック体の太字で示す)クロマ関連要素に関するQG開始検出を処理するための構文の例を表すテーブルを示す。実際、上記の説明は、ルマ量子化パラメータに関連して行われたが、必要な変更を加えて同じ原理がクロマ量子化にも当てはまる。
構文構造及び要素名は、規格のバージョンに応じて複数の変形形態で存在し得ることを当業者であれば理解するであろう。構文要素は、同じ情報を表す変数によって置換され得る。例えば、VVCの以前のバージョンは、PPS内にあるcu_qp_delta_subdiv構文要素を使用したのに対し、VVCの更なるバージョンは、同じ情報を表すがピクチャヘッダ内にある構文要素に基づいて、現在のスライスタイプについて適切な値を選択する、スライスヘッダのセマンティクス内で定められるCuQpDeltaSubdiv変数を使用する。加えて、VVCの様々なバージョンにおいて、コード化ツリーの構文構造に関する幾らかの変更がある。それらの変更は、上記の実施形態の原理に影響を与えない。加えて、それらの実施形態に関連する構文は、異なる構造内の異なる位置に含まれ得る。
様々な実装形態が復号することを含む。本願で使用するとき、「復号する」は、例えば、表示に適した最終出力をもたらすために受信済みの符号化シーケンスに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、かかるプロセスは、復号器によって典型的に行われるプロセス、例えばエントロピー復号、逆量子化、逆変換及び差分復号の1つ又は複数を含む。様々な実施形態において、かかるプロセスは、本願に記載の様々な実装形態の復号器によって行われるプロセス、例えば図12、図21及び図22に示したプロセスを更に又は代わりに含む。
更なる例として、一実施形態では「復号」がエントロピー復号のみを指し、別の実施形態では「復号」が差分復号のみを指し、別の実施形態では「復号」がエントロピー復号と差分復号との組み合わせを指す。「復号プロセス」という語句が操作のサブセットを具体的に指すことを意図するか、又はより広範な復号プロセスを概して指すことを意図するかは、具体的な説明の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
様々な実装形態が符号化することを含む。「復号」に関する上記の解説と同様に、本願で使用するとき、「符号化する」は、例えば、符号化ビットストリームをもたらすために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、かかるプロセスは、符号器によって典型的に行われるプロセス、例えば分割、差分符号化、変換、量子化及びエントロピー符号化の1つ又は複数を含む。様々な実施形態において、かかるプロセスは、本願に記載の様々な実装形態の符号器によって行われるプロセス、例えば図12、図21及び図22のプロセスを更に又は代わりに含む。
更なる例として、一実施形態では「符号化」がエントロピー符号化のみを指し、別の実施形態では「符号化」が差分符号化のみを指し、別の実施形態では「符号化」が差分符号化とエントロピー符号化との組み合わせを指す。「符号化プロセス」という語句が操作のサブセットを具体的に指すことを意図するか、又はより広範な符号化プロセスを概して指すことを意図するかは具体的な説明の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
本明細書で使用した構文要素は、記述用語であることに留意されたい。そのため、それらは、他の構文要素名の使用を排除しない。
図面が流れ図として示されている場合、それは、対応する機器のブロック図も提供することを理解すべきである。同様に図面がブロック図として示されている場合、それは、対応する方法/プロセスの流れ図も提供することを理解すべきである。
本明細書に記載した実装形態及び態様は、例えば、方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム又は信号によって実装することができる。単一形式の実装形態に関連してのみ論じられていても(例えば、方法としてのみ論じられていても)、論じられた特徴の実装形態は、他の形態(例えば、機器又はプログラム)でも実装することができる。機器は、例えば、適切なハードウェア、ソフトウェア及びファームウェアによって実装することができる。方法は、例えば、プロセッサによって実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えば、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)及びエンドユーザ間の情報の通信を促進する他の装置等の通信装置も含む。
「一実施形態」、又は「ある実施形態」、又は「一実装形態」、又は「ある実装形態」及びそれらの他の変化形に言及することは、実施形態に関連して記載される特定の特徴、構造、特性等が少なくとも1つの実施形態に含まれることを意味する。従って、本願の全体を通して様々な箇所に出現する「一実施形態では」、又は「ある実施形態では」、又は「一実装形態では」、又は「ある実装形態では」という語句及び他の任意の変化形の出現は、必ずしも全て同じ実施形態を指すものではない。
加えて、本願は、様々な情報片を「決定すること」に言及する場合がある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること又は情報をメモリから取り出すことの1つ又は複数を含み得る。
更に、本願は、様々な情報片に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を移動すること、情報を複製すること、情報を計算すること、情報を決定すること、情報を予測すること又は情報を推定することの1つ又は複数を含み得る。
加えて、本願は、様々な情報片を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に広義語であることを意図する。情報を受信することは、例えば、情報にアクセスすること又は情報を(例えば、メモリから)取り出すことの1つ又は複数を含み得る。更に、「受信すること」は、典型的には、例えば情報を記憶する操作、情報を処理する操作、情報を伝送する操作、情報を移動する操作、情報を複製する操作、情報を消去する操作、情報を計算する操作、情報を決定する操作、情報を予測する操作又は情報を推定する操作等の操作中に何らかの形式で関与する。
例えば、「A/B」、「A及び/又はB」並びに「A及びBの少なくとも1つ」の場合に「/」、「及び/又は」並びに「~の少なくとも1つ」の何れかを使用することは、最初に挙げられる(A)の選択肢のみを選択すること、又は2番目に挙げられる(B)の選択肢のみを選択すること、又は(A及びB)の両方の選択肢を選択することを包含することを意図する。更なる例として、「A、B及び/又はC」並びに「A、B及びCの少なくとも1つ」の場合、かかる表現法は、最初に挙げられる(A)の選択肢のみを選択すること、又は2番目に挙げられる(B)の選択肢のみを選択すること、又は3番目に挙げられる(C)の選択肢のみを選択すること、又は最初に挙げられる選択肢及び2番目に挙げられる選択肢(A及びB)のみを選択すること、又は最初に挙げられる選択肢及び3番目に挙げられる選択肢(A及びC)のみを選択すること、又は2番目に挙げられる選択肢及び3番目に挙げられる選択肢(B及びC)のみを選択すること、又は3つ全ての選択肢(A及びB及びC)を選択することを包含することを意図する。当業者に明らかであるように、この表現法は、挙げられているアイテムの数だけ拡張することができる。
更に本明細書で使用するとき、「シグナリング」という用語は、とりわけ対応する復号器に何らかを示すことを指す。例えば、特定の実施形態では、符号器が特定のモードをシグナリングする。このようにして、一実施形態では、符号器側及び復号器側の両方において同じパラメータが使用される。従って、例えば、符号器は、特定のパラメータを復号器に伝送することができ(明確なシグナリング)、それにより復号器は同じ特定のパラメータを使用することができる。逆に、復号器が他のパラメータと共にその特定のパラメータを既に有する場合、単にその特定のパラメータを復号器が知り、選択できるようにするためにシグナリングを伝送なしに使用することができる(暗黙のシグナリング)。任意の実際の機能を伝送することを回避することにより、様々な実施形態においてビットの節約が実現される。シグナリングは、様々な方法で実現できることを理解すべきである。例えば、様々な実施形態において、対応する復号器に情報をシグナリングするために、1つ又は複数の構文要素、フラグ等が使用される。上記の内容は、「シグナル」という単語の動詞の形態に関するが、「シグナル」という単語は、本明細書では名詞としても使用され得る。
当業者に明白であるように、実装形態は、例えば、記憶又は伝送され得る情報を運ぶようにフォーマットされる様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令又は記載した実装形態の1つによって作り出されるデータを含み得る。例えば、信号は、記載した実施形態のビットストリームを運ぶようにフォーマットされ得る。かかる信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を用いて)又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化データストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線リンク又は無線リンク上で伝送され得る。信号は、プロセッサ可読媒体上に記憶され得る。
幾つかの実施形態を記載してきた。これらの実施形態の特徴は、単独で又は任意の組み合わせで提供され得る。更に、実施形態は、様々な請求項のカテゴリ及び種類にわたり、以下の特徴、装置又は態様の1つ又は複数を単独で又は任意の組み合わせで含み得る。

Claims (15)

  1. ビデオをコード化する方法であって、
    - 画像のブロックがサブブロックに分割される(504)とき、
    - 前記サブブロックの面を表す値を関連付けること(505)、及び
    - 前記サブブロックの前記面を表す前記値に基づいて、前記サブブロックの量子化パラメータを決定すること
    を含む方法。
  2. ビデオを復号する方法であって、
    - 画像のブロックがサブブロックに分割される(504)とき、
    - 前記サブブロックの面を表す値を関連付けること(505)、及び
    - 前記サブブロックの前記面の前記面を表す前記値に基づいて、前記サブブロックの逆量子化パラメータを決定すること
    を含む方法。
  3. ビデオを符号化する装置であって、
    - 画像のブロックがサブブロックに分割される(504)とき、
    - 前記サブブロックの面を表す値を関連付けること(505)、及び
    - 前記サブブロックの前記面の前記面を表す前記値に基づいて、前記サブブロックの量子化パラメータを決定すること
    を行う手段を含む装置。
  4. ビデオを復号する装置であって、
    - 画像のブロックがサブブロックに分割される(504)とき、
    - 前記サブブロックの面を表す値を関連付けること(505)、及び
    - 前記サブブロックの前記面の前記面を表す前記値に基づいて、前記サブブロックの逆量子化パラメータを決定すること
    を行う手段を含む装置。
  5. 前記サブブロックの前記面を表す前記値は、画像のブロックがサブブロックに分割されるとき、前記サブブロックの分割の種類を表す値だけインクリメントされる(403、405、407)再分割レベルカウンタである、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
  6. - サブブロックの前記再分割レベルカウンタが再分割の最大値以下である間、前記分割の種類に従って新たな量子化グループを有効にすること
    を更に含む、請求項5に記載の方法又は装置。
  7. - 新たな量子化グループが有効にされるとき、前記ブロックの位置を記憶すること(503)
    を更に含む、請求項6に記載の方法又は装置。
  8. - 画像のブロックがターナリ分割に従ってサブブロックに分割され、且つ最も小さいサブブロックの前記再分割レベルカウンタが再分割の最大値を上回るとき、新たな量子化グループを無効にすること
    を更に含む、請求項6又は7に記載の方法又は装置。
  9. 前記インクリメント値は、
    クワッド分割の全てのサブブロックについて、2、
    バイナリ分割の全てのサブブロックについて、1、
    ターナリ分割の横のサブブロックについて、2、及び
    ターナリ分割の中央のサブブロックについて、1
    に等しい、請求項5~8の何れか一項に記載の方法又は請求項5~8の何れか一項に記載の装置。
  10. 前記インクリメント値は、
    クワッド分割の全てのサブブロックについて、4、
    バイナリ分割の全てのサブブロックについて、2、
    ターナリ分割の横のサブブロックについて、4、及び中央のサブブロックについて、2、
    非対称1/4バイナリ分割の最小のサブブロックについて、4、及び最大のサブブロックについて、1、並びに
    非対称1/3バイナリ分割の最小のサブブロックについて、3、及び最大のサブブロックについて、1
    に等しい、請求項5~8の何れか一項に記載の方法又は請求項5~8の何れか一項に記載の装置。
  11. 記憶媒体であって、サブブロックの面を表す値を表す少なくとも構文データ要素を含む、その上で符号化されたビデオビットストリームデータを有し、前記サブブロックは、ビデオの画像のブロックを分割することの結果である、記憶媒体。
  12. 前記サブブロックの前記面を表す前記値は、画像のブロックがサブブロックに分割されるとき、前記サブブロックの分割の種類を表す値だけインクリメントされる再分割レベルカウンタである、請求項11に記載の記憶媒体。
  13. 前記インクリメント値は、
    クワッド分割の全てのサブブロックについて、2、
    バイナリ分割の全てのサブブロックについて、1、
    ターナリ分割の横のサブブロックについて、2、及び
    ターナリ分割の中央のサブブロックについて、1
    に等しい、請求項12に記載の記憶媒体。
  14. 請求項1、2又は5~10の何れか一項に記載の方法のステップを実施する、プロセッサ(1010)によって実行可能なプログラムコード命令を含むコンピュータプログラム。
  15. 非一時的コンピュータ可読媒体上に記憶され、且つプロセッサ(1010)によって実行されるとき、請求項1、2又は5~10の何れか一項に記載の方法を装置(1000)が実施することを可能にするプログラムコード命令を含むコンピュータプログラム製品。
JP2021521515A 2018-11-08 2019-10-21 ブロックの面に基づくビデオの符号化又は復号のための量子化 Pending JP2022505470A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18306469.0 2018-11-08
EP18306469 2018-11-08
EP18306824.6 2018-12-21
EP18306824 2018-12-21
PCT/US2019/057149 WO2020096755A1 (en) 2018-11-08 2019-10-21 Quantization for video encoding or decoding based on the surface of a block

Publications (2)

Publication Number Publication Date
JP2022505470A true JP2022505470A (ja) 2022-01-14
JPWO2020096755A5 JPWO2020096755A5 (ja) 2022-10-20

Family

ID=68470666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521515A Pending JP2022505470A (ja) 2018-11-08 2019-10-21 ブロックの面に基づくビデオの符号化又は復号のための量子化

Country Status (7)

Country Link
US (1) US11936868B2 (ja)
EP (2) EP3878175B1 (ja)
JP (1) JP2022505470A (ja)
KR (1) KR20210087078A (ja)
CN (1) CN113228650B (ja)
IL (1) IL282895A (ja)
WO (1) WO2020096755A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711547B2 (en) 2019-10-12 2023-07-25 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
US11722660B2 (en) 2019-10-13 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Interplay between reference picture resampling and video coding tools
US11743454B2 (en) 2019-09-19 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Deriving reference sample positions in video coding
US11758196B2 (en) 2019-10-05 2023-09-12 Beijing Bytedance Network Technology Co., Ltd Downsampling filter type for chroma blending mask generation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021086023A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 변환을 이용하여 레지듀얼 처리를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP7346731B2 (ja) * 2019-11-05 2023-09-19 エルジー エレクトロニクス インコーポレイティド 映像/ビデオコーディングのための映像情報処理方法及び装置
JP7443513B2 (ja) * 2019-11-05 2024-03-05 エルジー エレクトロニクス インコーポレイティド 映像/ビデオコーディング方法及び装置
EP4088453A4 (en) 2020-02-14 2023-05-10 Beijing Bytedance Network Technology Co., Ltd. COLOCATED IMAGE INDICATION IN VIDEO BITSTREAMS

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3840821A (en) * 1967-07-27 1974-10-08 Sperry Rand Corp Phase lock loop with sampling techniques for regenerating clock signal associated with data input signals
CA1333420C (en) * 1988-02-29 1994-12-06 Tokumichi Murakami Vector quantizer
JPH05500445A (ja) * 1990-05-14 1993-01-28 イーストマン・コダック・カンパニー 多次元適応利得及びかたよりによるブロック適応線形予測符号化
US6553143B2 (en) * 1992-06-30 2003-04-22 Canon Kabushiki Kaisha Image encoding method and apparatus
US5828784A (en) * 1992-07-13 1998-10-27 Hitachi Denshi Kabushiki Kaisha Data coding method and apparatus using a plurality of blocks of different length
JP3259702B2 (ja) * 1998-12-24 2002-02-25 日本電気株式会社 動画像可変ビットレート符号化装置および方法
US20060203905A1 (en) * 2005-03-14 2006-09-14 Shih-Chang Hsia Video coding system
US7873513B2 (en) * 2007-07-06 2011-01-18 Mindspeed Technologies, Inc. Speech transcoding in GSM networks
KR20110055022A (ko) * 2009-11-19 2011-05-25 한국전자통신연구원 데이터 및 기능적 분할 방식에 기반한 동영상 복호화 장치 및 방법
CN102685478B (zh) * 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
RS58300B1 (sr) * 2011-10-24 2019-03-29 Infobridge Pte Ltd Uređaj za dekodiranje slike
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
RU2679566C1 (ru) * 2013-12-10 2019-02-11 Кэнон Кабусики Кайся Улучшенный палитровый режим в hevc
US10972742B2 (en) * 2013-12-19 2021-04-06 Canon Kabushiki Kaisha Encoding process using a palette mode
GB2531005A (en) * 2014-10-06 2016-04-13 Canon Kk Improved encoding process using a palette mode
JP2018050091A (ja) * 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
US10356422B2 (en) 2015-03-06 2019-07-16 Qualcomm Incorporated Fast rate-distortion optimized quantization
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US20180192076A1 (en) 2015-06-16 2018-07-05 Sharp Kabushiki Kaisha Image decoding device image coding device
WO2017093189A1 (en) * 2015-11-30 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Encoding of pictures in a video
US20200322406A1 (en) * 2016-05-24 2020-10-08 Sharp Kabushiki Kaisha Systems and methods for signaling scalable video in a media application format
RU2718164C1 (ru) 2016-05-28 2020-03-30 МедиаТек Инк. Способы и устройства для обработки видео данных с условным направлением сигнала информации параметра квантования
US11758136B2 (en) * 2016-06-24 2023-09-12 Electronics And Telecommunications Research Institute Method and apparatus for transform-based image encoding/decoding
US11863798B2 (en) * 2016-07-13 2024-01-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US10841581B2 (en) * 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
WO2018018486A1 (en) * 2016-07-28 2018-02-01 Mediatek Inc. Methods of reference quantization parameter derivation for signaling of quantization parameter in quad-tree plus binary tree structure
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
WO2018123313A1 (ja) * 2016-12-26 2018-07-05 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US20210337202A1 (en) * 2017-06-21 2021-10-28 Vid Scale, Inc. Adaptive quantization method for 360-degree video coding
WO2019009776A1 (en) * 2017-07-05 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) DECODING VIDEO SAMPLE BLOCK
EP3657789A4 (en) * 2017-07-17 2020-12-16 Industry - University Cooperation Foundation Hanyang University METHOD AND DEVICE FOR CODING / DECODING AN IMAGE
EP3662664A4 (en) * 2017-08-03 2020-11-25 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DIVIDING VIDEO BLOCKS INTO AN INTERPREDICTION SLICE OF VIDEO DATA
WO2019059676A1 (ko) * 2017-09-20 2019-03-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019083284A1 (ko) * 2017-10-24 2019-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US20190191168A1 (en) * 2017-12-19 2019-06-20 Google Llc Video quality and throughput control
EP3737098A4 (en) 2018-01-02 2021-06-09 Samsung Electronics Co., Ltd. CODING PROCESS AND ASSOCIATED APPARATUS, AND DECODING PROCESS AND ASSOCIATED APPARATUS
KR101979781B1 (ko) 2018-07-03 2019-05-20 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743454B2 (en) 2019-09-19 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Deriving reference sample positions in video coding
US11758196B2 (en) 2019-10-05 2023-09-12 Beijing Bytedance Network Technology Co., Ltd Downsampling filter type for chroma blending mask generation
US11711547B2 (en) 2019-10-12 2023-07-25 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
US11743504B2 (en) 2019-10-12 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Prediction type signaling in video coding
US11722660B2 (en) 2019-10-13 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Interplay between reference picture resampling and video coding tools

Also Published As

Publication number Publication date
US11936868B2 (en) 2024-03-19
US20210400275A1 (en) 2021-12-23
WO2020096755A1 (en) 2020-05-14
EP4351144A2 (en) 2024-04-10
IL282895A (en) 2021-06-30
KR20210087078A (ko) 2021-07-09
CN113228650B (zh) 2024-03-19
EP3878175B1 (en) 2024-03-27
CN113228650A (zh) 2021-08-06
EP3878175A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
US11936868B2 (en) Quantization for video encoding or decoding based on the surface of a block
JP2022506628A (ja) 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化
US11956430B2 (en) Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
JP2022510878A (ja) マージリストにおける動きベクトル予測子候補の順序付け
KR20220036982A (ko) 비디오 인코딩 및 디코딩을 위한 이차 변환
JP2022500891A (ja) スカラー量子化従属性のためのスカラー量子化器決定スキーム
JP2022502959A (ja) 広角イントラ予測のための方向
KR20210128497A (ko) 비디오 인코딩 및 디코딩을 위한 엔트로피 코딩
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
JP2022500895A (ja) イントラ変換コード化及び広角イントラ予測の調和
US20220150501A1 (en) Flexible allocation of regular bins in residual coding for video coding
WO2020096848A1 (en) Parameter grouping among plural coding units for video encoding and decoding
US11539951B2 (en) Method and device for picture encoding and decoding
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
US20220038704A1 (en) Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
EP3664450A1 (en) Method and device for picture encoding and decoding
US20210344962A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type
WO2022207400A1 (en) Template matching prediction for video encoding and decoding
CN114073093A (zh) 三角形分割的合并索引的信令通知

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219