JP2022538331A - ビデオ符号化復号化のための可逆符号化復号化モード - Google Patents

ビデオ符号化復号化のための可逆符号化復号化モード Download PDF

Info

Publication number
JP2022538331A
JP2022538331A JP2021577674A JP2021577674A JP2022538331A JP 2022538331 A JP2022538331 A JP 2022538331A JP 2021577674 A JP2021577674 A JP 2021577674A JP 2021577674 A JP2021577674 A JP 2021577674A JP 2022538331 A JP2022538331 A JP 2022538331A
Authority
JP
Japan
Prior art keywords
decoding
lossless
encoding
residual
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577674A
Other languages
English (en)
Inventor
イーウェン チェン
ツン-チュアン マー
シエンリン ワン
シャオユウ シュウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2022538331A publication Critical patent/JP2022538331A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

可逆符号化復号化モードにおけるビデオ符号化復号化のための方法及び装置は提供される。この方法は、ビデオ画像を可逆CUを含む複数のCUに区画することと、前記可逆CUの残差符号化復号化ブロックサイズを決定することと、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割することと、を含む。【選択図】図1

Description

関連出願の相互参照
本出願は、2019年6月28日に提出された「ビデオ符号化復号化のための可逆符号化復号化モード」と題された米国仮出願第62/868857号、及び2019年7月6日に提出された「ビデオ符号化復号化のための可逆符号化復号化モード」と題された米国仮出願第62/871134号に対する優先権を主張するものであり、これらの特許出願の明細書全体を参照によって本願明細書に引用する。
本出願は、全般的にビデオ符号化復号化及び圧縮に関する。特に、本開示は、ビデオ符号化復号化のための可逆符号化復号化の改善及び簡略化に関する。
多種のビデオ符号化復号化技術は、ビデオデータを圧縮することに使用されることができる。ビデオ符号化復号化は、1つまたは複数のビデオ符号化復号化標準に従って実行される。例示的なビデオ符号化復号化標準には、多用途ビデオ符号化(VVC:Versatile Video Coding)、共同探査試験モデル(JEM:Joint Exploration Test Model)、高効率ビデオ符号化復号化(H.265/HEVC:High Efficiency Video Coding)、高度なビデオ符号化復号化(H.264/AVC:Advanced Video Coding)、及び動画専門家グループ(MPEG:Moving picture Experts Group)符号化復号化などを含む。ビデオ符号化復号化では、一般に、ビデオ画像またはシーケンスに存在する冗長性による予測方法(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化復号化技術の重要な目標は、ビデオ品質の低下を回避しまたは最小限に抑えながら、ビデオデータをより低いビットレートの形式に圧縮することである。
HEVC標準の最初のバージョンは、2013年10月に完成され、前世代のビデオ符号化復号化標準H.264/MPEG AVCと比較しておよそ50%のビットレート節約または同等の視覚的な品質を提供する。HEVC標準は、その前身よりも大幅な符号化復号化の改善を提供するが、HEVCよりも優れた符号化効率がHEVCの上に追加される符号化復号化ツールにより達成できるという証拠がある。これに基づいて、VCEG及びMPEGの両方が、将来のビデオ符号化復号化の標準化のための新しい符号化復号化技術の探知動作を開始した。共同ビデオ専門家チーム(JVET:Joint Video Experts Team)は、2015年10月にITU-TVECG及びISO/IEC MPEGによって結成されて、符号化復号化効率の大幅な向上を可能とする高度な技術に対して重要な研究を開始した。共同探査試験モデル(JEM: Joint Exploration Model)と呼ばれる参照ソフトウェアは、HEVC試験モデル(HM)の上にいくつかの追加の符号化ツールを集積して、JVETによって維持されている。
HEVC以上の機能を備えるビデオ圧縮に関する共同提案募集(CfP:call for proposals)は、2017年10月にITU-T及びISO/IECによって発行された。2018年4月には、第10回のJVET会議で23つのCfP応答が受信および評価され、HEVCよりも約40%の圧縮効率の向上が実証された。JVETは、このような評価結果に基づいて、多用途ビデオ符号化復号化(VVC)と呼ばれる新世代のビデオ符号化復号化標準を開発するための新しいプロジェクトを立ち上げた。同月には、VVC標準の参照実装を実証するために、VVC試験モデル(VTM:VVC Test Model)と呼ばれる参照ソフトウェアコードベースが確立された。
本開示は、全般的にビデオ符号化復号化における可逆符号化復号化に関する技術の例を述べる。
本開示の第1の方面に従い、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、前記可逆CUの残差符号化復号化ブロックサイズを決定することと、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化ブロックを残差符号化するための2つ以上の残差ブロックに分割することと、を含むビデオ符号化のための可逆符号化モードの方法を提供する。
本開示の第2の方面に従い、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択することと、を含むビデオ符号化復号化のための可逆符号化復号化モードの方法を提供する。
本開示の第3の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメモリと、を備え、前記1つまたは複数のプロセッサは、前記命令を実行すると、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUの残差符号化復号化ブロックサイズを決定し、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割する、ように構成されるビデオ符号化復号化のための可逆符号化復号化モードの装置を提供する。
本開示の第4の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメモリと、を備え、前記1つまたは複数のプロセッサは、前記命令を実行すると、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択する、ように構成されるビデオ符号化復号化のための可逆符号化復号化モードの装置を提供する。
本開示の第5の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、を備え、前記命令は、実行されると、前記1つまたは複数のプロセッサに、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUの残差符号化復号化ブロックサイズを決定し、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割すること、のような操作を実行させるビデオ符号化復号化のための装置を提供する。
本開示の第6の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、を備え、前記命令は、実行されると、前記1つまたは複数のプロセッサに、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択すること、のような操作を実行させるビデオ符号化復号化のための装置を提供する。
本開示の例のより具体的な説明は、添付の図面に示す特定の例を参照することによって与えられる。これらの図面はいくつかの例を示しているに過ぎず、したがって範囲を限定するものではないと考すれば、これらの例は、添付の図面を使用することにより、追加の特異性および詳細が説明される。
図1は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。 図2Aは、本開示のある実施形態に係るマルチタイプ木構造における四元ブロック区画を例示する概略図である。 図2Bは、本開示のある実施形態に係るマルチタイプ木構造における水平二元ブロック区画を例示する概略図である。 図2Cは、本開示のある実施形態に係るマルチタイプ木構造における垂直二元ブロック区画を例示する概略図である。 図2Dは、本開示のある実施形態に係るマルチタイプ木構造における水平三元ブロック区画を例示する概略図である。 図2Eは、本開示のある実施形態に係るマルチタイプ木構造における垂直三元ブロック区画を例示する概略図である。 図3は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。 図3Aは、本開示のある実施形態に係る、デコーダ側動きベクトル微細化(DMVR:Decoder-side Motion Vector Refinement)の例を示す概略図である。 図4は、本開示のある実施形態に係る、CTU、さらにタイル及びタイル・グループに分割される画像の例を示す概略図である。 図5は、本開示のある実施形態に係る、CTU、さらにタイル及びタイルグループに分割される画像の別の例を示す概略図である。 図6Aは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Bは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Cは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Dは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Eは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Fは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Gは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図6Hは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。 図7は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの例示的な装置を示す概略図である。 図8は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの例示的なプロセスを示すフローチャートである。 図9は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの別の例示的なプロセスを示すフローチャートである。
以下、図面を参照して本発明の具体的な実施の形態を詳細に説明する。以下の詳細な説明において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、本発明が各種の変形で実施することが可能であることは、当業者にとって明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得ることは、当業者にとって明らかである。
本明細書では、単数形または複数形で「1つの実施形態」、「実施形態」、「例」、「ある実施形態」、「ある例」または類似の表現は、述べる特定の特徴、構造または特性が少なくとも1つの実施形態または例に含まれることを意味する。1つまたはいくつかの実施形態に関連して説明される特徴、構造、要素または特性は、明確に別段の指示をしない限り、他の実施形態にも適用可能である。
本開示全体では、「第1」、「第2」、「第3」などの用語はすべて、関連する要素、例えば、装置、コンポーネント、構成、ステップなどへの言及のためのものとしてのみ使用され、文脈で別段の指示を明確にしない限り、空間的または年代順を意味するものではない。たとえば、「第1の装置」および「第2の装置」は、別個に形成された2つの装置、または同じ装置の2つの部分、コンポーネント、または動作状態を指すものであって、任意に名前を付けられることが可能である。
ここで使用される「(もし)…たら」または「(もし)…ば」、「(もし)…と」のような用語は、文脈に応じて、「…ときに」または「…に応じて」を意味すると理解されることが可能である。これらの用語は、請求の範囲に出現する場合、関連する限定または特徴が条件付き的または選択的であることを意味していない。
「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「ユニット」または「サブユニット」という用語は、1つまたは複数のプロセッサで実行できるコードまたは命令を格納するメモリ (共有、専用、またはグループ) を含む。モジュールは、コードまたは命令を格納しているか、または格納していない1つまたは複数の回路が含む場合がある。モジュールまたは回路は、直接または間接的に接続された1つまたは複数のコンポーネントを含むことが可能である。これらのコンポーネントは、互いに物理的に接続してもよく、物理的に切断してもよく、互いに隣り合ってもよい。
ユニットまたはモジュールは、全てソフトウェアによって実現されてもよく、全てハードウェアによって実現されてもよく、またはハードウェアとソフトウェアとの組み合わせによって実現されてもよい。完全なソフトウェアの実現では、たとえば、ユニットまたはモジュールが、特定の機能を実行するように直接的または間接的に互いにリンクされて機能的に関連するコードブロックまたはソフトウェアコンポーネントを含むことが可能である。
図1は、ブロックに基づく処理を利用する多くのビデオ符号化復号化標準と組み合わせて使用されることが可能な例示的なブロックに基づく混合ビデオエンコーダ100のブロック図を示す。VVCは、ブロックに基づく混合ビデオ符号化復号化フレームワークに基づいて構築されている。エンコーダ100では、入力ビデオ信号が符号化復号化ユニット(CU)と呼ばれることが可能なブロックごとに処理される。VTM-1.0では、CUが最大128×128画素とすることが可能である。ただし、VVCでは、四分木のみに基づいてブロックを区画するHEVCと異なり、1つの符号化復号化木ユニット(CTU:coding tree unit)が、各種なローカル特性に適応するように四分木/二分木/三分木に基づいて複数のCUに分割される。コンポーネントのCTBへの分割が区画であるように、符号化復号化木ブロック(CTB)は、定義によって、Nのある値についてサンプルのN×Nブロックである。CTUには、3つのサンプル配列を持つ画像の輝度サンプルのCTB、彩度サンプルの2つの対応するCTB、またはモノクロ画像のサンプルのCTBや3つの別個のカラープレーンにより符号化される画像、及びサンプルの符号化復号化に使用される構文構造が含まれる。さらに、HEVCにおける複数の区画ユニットタイプの概念が削除され、つまり、CU、予測ユニット(PU:prediction unit)および変換ユニット(TU:transform unit)の分離がVVCに存在しなくなる。代わりに、各CUは、更なる区画なしで、予測及び変換の両方の基本ユニットとして常に使用される。
マルチタイプ木構造では、1つのCTUがまず四分木構造で分割される。次に、各四分木リーフノードを二分木および三分木構造でさらに分割できる。図2A~2Eに示すように、四元区画(図2A)、水平二元区画(図2B)、垂直二元区画(図2C)、水平三元区画(図2D)、および垂直三元区画(図2E)のような5つの分割タイプがある。
予測は、与えられたビデオブロックごとに、インター予測アプローチまたはイントラ予測アプローチに基づいて形成される。インター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定及び動き補償によって1つ又は複数の予測子を形成する。イントラ予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する。モード決定により、現在のブロックを予測するための最良の予測子が選択されることが可能である。
現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路102に送られる。そして、エントロピーの低減のために、変換係数は、変換回路102から定量化回路104へ送られる。次に、定量化された係数は、エントロピー符号化復号化回路106に供給されて圧縮されたビデオビットストリームを生成する。図1に示すように、インター予測回路および/またはイントラ予測回路112からのビデオブロック区画情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報110も、エントロピー符号化復号化回路106を介して供給され、圧縮されたビデオビットストリーム114に保存される。
当該エンコーダ100では、予測の目的で画素を再構成するために、デコーダ関連回路も必要である。まず、予測残差は、逆定量化116および逆変換回路118を介して再構成される。この再構成された予測残差は、ブロック予測子120と組み合わせて、現在のビデオブロックのフィルタリングされていない再構成画素が生成される。
空間的予測(「イントラ予測」とも呼ばれる)は、現在のビデオブロックと同じビデオフレーム内のすでに符号化復号化された隣接ブロックのサンプル(参照サンプルとも呼ばれる)からの画素を使用して現在のビデオブロックを予測する。
時間的予測(「インター予測」とも呼ばれる)は、すでに符号化復号化されたビデオ画像からの再構成の画素を使用して現在のビデオブロックを予測する。時間的予測は、ビデオ信号に固有の時間的冗長性を低減する。ある符号化復号化ユニット(CU:coding unit)又は符号化復号化ブロックのための時間的予測信号は、通常、現在のCUとその時間的参照との間の動きの量及び方向を示す1つまたは複数の動きベクトル(MV:motion vector)によって通知される。さらに、複数の参照画像が支持されている場合、時間的予測信号が参照画像記憶部内のどの参照画像からのものであるかを識別するための1つの参照画像インデックは、追加的に送信される。
空間的および/または時間的予測が実行された後、エンコーダ100におけるイントラ/インターモード決定回路121は、例えば、レート歪み最適化方法に基づいて、最適な予測モードを選択する。次に、ブロック予測子120が現在のビデオブロックから差し引かれ、得られた予測残差が、変換回路102及び定量化回路104によって非相関化される。得られた定量化の残差係数は、逆定量化回路116によって逆定量化され、逆変換回路118によって逆変換されて再構成の残差を生成し、この再構成の残差は、次に、予測ブロックに追加されてこのCUの再構成された信号を生成する。さらに、この再構成されたCUは、画像バッファ117の参照画像記憶部に入れられて将来のビデオブロックの符号化復号化に用いられる前、非ブロック化フィルタ、サンプル適応型オフセット(SAO:sample adaptive offset)、および/または適応型インループフィルタ(ALF:adaptive in-loop filter)のようなインループフィルタ115は、この再構成されたCUに用いられることが可能である。出力ビデオビットストリーム114を生成するために、符号化復号化モード(インターまたはイントラ)、予測モード情報、動き情報、および定量化された残差係数がすべてエントロピー符号化復号化部106に送信され、さらに圧縮およびパックされてビットストリームが生成される。
たとえば、AVC、HEVC、およびVVCの現在のバージョンでは、非ブロック化フィルタが提供されている。HEVCでは、符号化の効率をさらに向上させるために、SAO(サンプル適応型オフセット)と呼ばれる追加的インループフィルターが定義されている。VVC標準の現在のバージョンでは、更なる別のALF(適応型ループフィルタ)と呼ばれるインループフィルターが積極的に研究されており、最終の標準に含まれている高い可能性がある。
これらのインループフィルター操作は選択可能である。これらの操作を実行することで、符号化復号化効率及び視覚的な品質の向上に貢献する。これらの操作は、計算の複雑さを節約するためにエンコーダ100による決定に従ってオフにされることが可能である。
なお、これらのフィルタオプションがエンコーダ100によってオンにされる場合、イントラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、インター予測はフィルタリングされた再構成の画素に基づくものである。
図3は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示的なブロックに基づくビデオデコーダ200を示すブロック図である。このデコーダ200は、図1のエンコーダ100に存在する再構成関連部分に類似している。デコーダ200では、入力ビデオビットストリーム201は、まずエントロピー復号化202を介して復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化された係数レベルは、逆定量化204および逆変換206によって処理されて、再構成された予測残差が取得られる。イントラ/インターモード選択部212に実現されているブロック予測子メカニズムは、復号化された予測情報に基づいて、イントラ予測208または動き補償210を実行するように構成される。逆変換206からの再構成の予測残差と、ブロック予測子メカニズムによって生成された予測出力とを加算部214によって加算することで、フィルタリングされていない再構成の画素のセットを取得する。
再構成されたブロックは、参照画像記憶部として機能する画像バッファ213に格納される前に、インループフィルタ209をさらに通過することが可能である。画像バッファ213における再構成されたビデオは、表示装置を駆動するように送出されたり、将来のビデオブロックを予測するために用いられたりすることが可能である。インループフィルタ209がオンとする場合では、これらの再構成された画素に対してフィルタリング操作を実行して、最終的な再構成されたビデオ出力222を導出する。
一般に、VVCに適用される基本的なイントラ予測スキームは、たとえば、イントラサブ区画(ISP)符号化復号化モード、広角イントラ方向で拡張されたイントラ予測、位置依存イントラ予測組み合わせ(PDPC)および4タップイントラ補間などの、いくつかのモジュールがさらに拡張および/または改善されることを除いて、HEVCのスキームと同じに保たれる。
VVCでの画像、タイル・グループ、タイルおよびCTUの区画
VVCでは、タイルが、画像における特定のタイル列および特定のタイル行内のCTUの長方形の領域として定義される。タイル・グループは、単一のNALユニットに排他的に含まれる画像における整数個のタイルのグループである。基本的には、タイル・グループの概念がHEVCで定義されているスライスと同じである。たとえば、画像はタイル・グループ及びタイルに分割される。
タイルは、画像における長方形領域を含む一連のCTUである。タイル・グループには、画像の複数のタイルが含まれる。タイル・グループの2つのモード、即ちラスター走査・タイル・グループモード及び長方形のタイル・グループモードは、サポートされている。ラスター走査・タイル・グループモードでは、タイルグループには、画像のタイル・ラスター走査における一連のタイルが含まれる。長方形のタイル・グループモードでは、画像の長方形の領域を集合的に形成する画像の複数のタイルが含まれる。長方形のタイル・グループ内のタイルは、タイル・グループのタイルラスター走査の順序になっている。
図4は、画像が12つのタイル及び3つのラスター走査・タイル・グループに分割される画像のラスター走査・タイル・グループ区画の例を示す。
図5は、画像が24つのタイル(6つのタイル列及び4つのタイル行)及び9つの長方形のタイル・グループに分割される画像の長方形のタイル・グループ区画の例を示す。
VVCでの高周波ゼロ化による大きなブロックサイズの変換
VTM4では、主に、1080p及び4Kシーケンスなどの高解像度ビデオのための、最大64×64のサイズの大きなブロックサイズの変換が可能である。64のサイズ(幅または高さ、または幅及び高さの両方)の変換ブロックについては、高周波数の変換係数がゼロ化されるため、低周波数の係数のみが保持される。たとえば、ブロック幅がMでブロック高さがNであるM×Nの変換ブロックについては、Mが64に等しい場合、変換係数の左部32列のみが保持される。同様に、Nが64に等しい場合、変換係数の上部32行のみが保持される。大きなブロックに変換スキップモードを使用すると、いずれかの値をゼロにすることなくブロック全体が使用される。
VVCでの仮想なパイプラインデータユニット(VPDU)
仮想なパイプラインデータユニット(VPDU)は、画像内における重なりないユニットとして定義される。ハードウェアによるデコーダーでは、連続するVPDUが複数のパイプライン段階で同時に処理される。VPDUサイズは、ほとんどのパイプライン段階におけるバッファサイズにほぼ比例するため、VPDUサイズを小さく保つことが重要である。ほとんどのハードウェアによるデコーダーでは、VPDUサイズを最大変換ブロック(TB)サイズに設定できる。ただし、VVCでは、3分木(TT)および2分木(BT)区画により、VPDUサイズが大きくなる可能性がある。
VPDUサイズを64×64輝度サンプルとして保持するために、以下の規範的な区画制限(構文通知の変更を伴う)が、図6A-6Hに示すようにVTM5に適用される。便宜上、上方の例について、図6A-6Dの例に左から右へラベルを付け、下方の例について、図6E-6Hの例に左から右へラベルを付ける。
-幅または高さのいずれか、または幅及び高さの両方が128に等しいCUについては、TT分割が許可されない(図6A、6B、6E、6F、6Gおよび6H)。
-128×N(N≦128、つまり、幅が128に等しく、高さが128以下)のCUについては、水平BTが許可されない(図6D)。
-N(N≦128、つまり、高さが128に等しく、幅が128以下)×128のCUについては、垂直BTが許可されない(図6C)。
VVCでの変換係数符号化
変換係数符号化復号化は、TUの変換係数定量化レベル値の符号化復号化プロセスを意味する。HEVCでは、符号化復号化ブロックの変換係数は、重なりない係数グループ(またはサブブロック)によって符号化復号化され、各CGには符号化復号化ブロックの4×4ブロックの係数が含まれる。符号化復号化ブロック内のCGおよびCG内の変換係数は、所定の走査順序で符号化復号化される。少なくとも1つの非ゼロ変換係数を有するCGの変換係数レベルの符号化復号化は、複数の走査パスに分離されることが可能である。第1のパスでは、1番目のビン(bin0で示され、係数の大きさが0より大きいことを示すimportant_coeff_flagとも呼ばれる)が符号化復号化される。次に、2番目/3番目のビン(それぞれbin1及びbin2で示され、coeff_abs_greater1_flagおよびcoeff_abs_greater2_flagとも呼ばれる)をコンテキスト符号化復号化するための2つの走査パスを適用できる。最後に、必要に応じて、符号情報及び係数レベルの残りの値(coeff_abs_level_remainingとも呼ばれる)を符号化復号化するための更なる2つの走査パスは、呼び出される。なお、最初の3つの走査パスにおけるビンのみは、通常モードで符号化復号化されており、以下の説明で通常のビンと呼ばれる。
VVC3では、サブブロックごとに、通常の符号化復号化されたビン及びバイパス符号化復号化されたビンが符号化復号化順で分離される。まず、サブブロックのすべての通常の符号化復号化されたビンが送信され、その後、バイパス符号化復号化されたビンが送信される。サブブロックの変換係数レベルは、次のように走査位置で4つのパスにおいて符号化復号化される。
-パス1:重要度(sig_flag)、1より大きいフラグ(gt1_flag)、パリティ(par_level_flag)および2より大きいフラグ(gt2_flag)の符号化復号化が符号化復号化順で処理される。sig_flagが1に等しい場合、まずgt1_flagが符号化復号化される(絶対レベルが1より大きいかどうかを指示する)。gt1_flagが1に等しい場合、par_flagが追加で符号化復号化される(絶対レベルから2を引いたパリティを指定する)。
-パス2:残りの絶対レベル(剰余)の符号化は、gt2_flagが1またはgt1_flagが1のすべての走査位置で処理される。非二値構文要素はGolomb-Riceコードで二値化され、結果のビンは算術符号化復号化エンジンのバイパスモードで符号化復号化される。
-パス3:第1のパスでsig_flagが符号化復号化されていない係数の絶対レベル(absLevel)(通常の符号化されたビンの制限に達したため)は、Golomb-Riceコードを使用して算術符号化復号化エンジンのバイパスモードで完全に符号化復号化される。
-パス4:sig_coeff_flagが1に等しいすべての走査位置に対する符号(sign_flag)の符号化復号化
4×4サブブロックについては、32個以下の通常符号化復号化されたビン(sig_flag、par_flag、gt1_flag、およびgt2_flag)が符号化または復号化されることが保証されている。2×2彩度サブブロックについては、通常符号化復号化されたビンの数が8に制限される。
非二値構文要素の剰余(パス3)を符号化復号化するためのRiceパラメーター(ricePar)は、HEVCと同様に導出される。各サブブロックの開始時には、riceParが0に設定される。構文要素の剰余を符号化復号化した後、Riceパラメーターは所定の式に従って変更される。非二値構文要素absLevel(パス4)を符号化復号化するために、ローカルテンプレートの絶対値の合計sumAbsが決定される。変数ricePar及びposZeroは、テーブルルックアップによる依存的な定量化及びsumAbsに基づいて決定される。中間変数codeValueは、次のように導出される。
-absLevel [k]が0に等しい場合、codeValueはposZeroに等しく設定される。
-それ以外の場合、absLevel [k]がposZero以下の場合、codeValueはabsLevel [k] -1に等しく設定される。
-それ以外(absLevel [k]がposZeroより大きい)の場合、codeValueはabsLevel [k]に等しく設定される。codeValueの値は、RiceパラメーターriceParによってGolomb-Riceコードを使用して符号化復号化される。
本開示の以降の説明では、変換係数符号化復号化が、残差符号化復号化とも呼ばれる。
VVCでのデコーダー側動きベクトル微細化(DMVR)
デコーダー側動きベクトル微細化(DMVR)は、双予測マージモードで符号化復号化されたブロックのための技術であって、SPS信号による通知sps_dmvr_enabled_flagフラグによって制御されるものである。このモードでは、ブロックの2つの動きベクトル(MV)が、双マッチング(BM:bilateral matching)予測によってさらに微細化されることができる。
図3Aは、デコーダ側動きベクトル微細化(DMVR)の例を示す概略図である。図3Aに示されるように、バイラテラルマッチング方法は、現在の画像320における現在のCU322の2つの関連する参照画像、即ちList L0 300におけるrefPicおよびList L1 310におけるrefPicにおいて現在のCUの動きの軌跡に沿って、その2つの参照ブロック302、312の間の最も近いマッチを検索することで、現在のCU322の動き情報を微細化するために使用される。パターン長方形ブロック322、302および312は、マージモードからの初期動き情報に基づく現在のCU及びその2つの参照ブロックを示している。パターン長方形ブロック304、314は、動き微細化検索プロセス、すなわち動きベクトル微細化プロセスで使用されるMV候補に基づく1対の参照ブロックを示している。
MV候補と初期MV(元MVとも呼ばれる)の間のMV差は、それぞれMVdiff及び-MVdiffである。MV候補と初期は両方とも双方向の動きベクトルである。DMVRの過程中に、初期MVの周りのそのようなMV候補の数がチェックされることが可能である。具体的には、所定のMV候補のそれぞれについて、List0およびList1におけるその参照画像からその2つの関連する参照ブロックをそれぞれ位置決め、それらの間の差が算出する。このようなブロック差は、通常、SAD(または絶対差の合計)または行サブサンプリングされたSAD(つまり、関連するブロックの1行おきに算出されたSAD)で計測される。最後に、2つの参照ブロック間でSADが最も低いMV候補が微細化されたMVになり、現在のCUの実際の予測として双予測された信号を生成するために使用される。
VVCでは、DMVRが次の条件を満たすCUに適用される。
・ 双予測MVによるCUレベルマージモード(サブブロックマージモードではない)で符号化復号化された。
・ 現在の画像に関して、CUの一方の参照画像が過去の(即ち、POCが現在の画像POCよりも小さい)ものであり、他方の参照画像が将来の(即ち、POCが現在の画像POCよりも大きい)ものである。
・ 両方の参照画像から現在の画像までのPOC距離(即ち、絶対のPOC差)は同じである。
・ CUは64つの輝度サンプルを超えるサイズであり、CUの高さは8つの輝度サンプルを超える。
DMVRプロセスによって導出された微細化MVは、インター予測サンプルを生成するために使用され、将来の画像符号化復号化のための時間的動きベクトル予測にも使用される。元MVは、非ブロック化プロセス及び、将来のCU符号化復号化のための空間動きベクトル予測にも使用される。DMVRのいくつかの追加特徴は、次の子節に示されている。
VVCでの双方向オプティカルフロー(BDOF:Bi-directional Optical Flow)
双方向オプティカルフロー(BDOF)ツールはVTM5に含まれている。以前はBIOと呼ばれていたBDOFがJEMに含まれている。JEMバージョンと比較して、VTM5におけるBDOFは、特に乗算の数及び乗算器のサイズの点で、はるかに少ない演算が必要とする簡単なバージョンである。BDOFは、SPS sps_bdof_enabled_flagフラグによって制御されている。
BDOFは、CUの双予測信号を4×4サブブロックレベルで微細化するためのものである。BDOFは、次の条件を満たす場合にCUに適用される。1)CUの高さが4ではなく、CUが4×8ののサイズではない;2)CUがアフィンモードまたはATMVPマージモードで符号化復号化されていない;3)CUは、「真」双予測モードで符号化復号化され、つまり、2つの参照画像の一方が、表示順序で現在の画像の前にあり、他方が、表示順序で現在の画像の後にある。BDOFは輝度コンポーネントにのみ適用される。
BDOFモードは、その名前が示すように、対象の動きがスムーズであることを前提とするオプティカルフローの概念に基づくものである。BDOFは、現在のブロックの勾配を算出して予測サンプルを調整して、符号化の効率を向上させる。
VVCでのDMVRおよびBDOFのためのデコーダー側制御
現在のVVCでは、通常のマージ候補について、SPSフラグが有効で、いくつかの双予測及びサイズの制約が満たされている場合、BDOF/DMVRが常に適用される。
DMVRは、次のすべての条件が成立した場合に、通常のマージモードに適用される。
- sps_dmvr_enabled_flagが1に等しい
- general_merge_flag [xCb] [yCb]が1に等しい
- predFlagL0 [0] [0]及びpredFlagL1 [0] [0]の両方が1に等しい
- mmvd_merge_flag [xCb] [yCb]が0に等しい
-DiffPicOrderCnt(currPic, RefPicList [0] [refIdxL0])が、DiffPicOrderCnt(RefPicList [1] [refIdxL1], currPic)に等しい
- BcwIdx [xCb] [yCb]が0に等しい
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0に等しい
- cbWidthが8以上である
- cbHeightが8以上である
- cbHeight * cbWidthが128以上である
BDOFは、次のすべての条件が成立した場合に、双予測に適用される。
- sps_bdof_enabled_flagが1に等しい。
- predFlagL0 [xSbIdx] [ySbIdx]及びpredFlagL1 [xSbIdx] [ySbIdx] の両方が1に等しい。
- DiffPicOrderCnt(currPic, RefPicList [0] [refIdxL0])* DiffPicOrderCnt(currPic, RefPicList [1] [refIdxL1])が0未満である。
- MotionModelIdc [xCb] [yCb]が0に等しい。
- merge_subblock_flag [xCb] [yCb]が0に等しい。
- sym_mvd_flag [xCb] [yCb]が0に等しい。
- BcwIdx [xCb] [yCb]が0に等しい。
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0である。
- cbHeightが8以上である。
- cIdxが0に等しい。
VVCでの変換スキップモードCUのための残差符号化復号化
VTM5では、最大32×32(これを含む)のサイズの輝度ブロックに変換スキップモードを使用できる。CUが変換スキップモードで符号化復号化される場合、その予測残差は、変換スキップ残差符号化復号化プロセスによって量子化および符号化復号化される。この残差符号化復号化プロセスは、前の部分で説明した変換係数符号化復号化プロセスから変更されたものである。変換スキップモードでは、CUの残差も4×4のサイズの重なっていないサブブロックを単位として符号化復号化される。変換スキップモードでは、通常の変換係数符号化復号化プロセスと異なり、最後の係数位置が信号により通知される代わりに、coded_subblock_flagが、CU内のすべての4×4サブブロックについて、順方向走査の順序で、即ち左上方のサブブロックから最後のサブブロックまで信号により通知される。
各サブブロックについて、coded_subblock_flagが1に等しい(即ち、サブブロックにゼロ以外の定量化された残差が少なくとも1つある)場合、定量化された残差レベルの符号化復号化は3つの走査パスで実行される:
-最初の走査パス:重要度フラグ(sig_coeff_flag)、符号フラグ(coeff_sign_flag)、1より大きい絶対レベルフラグ(abs_level_gtx_flag [0])、およびパリティ(par_level_flag)は符号化復号化される。ある走査位置については、coeff_sig_flagが1に等しい場合、coeff_sign_flagが符号化復号化され、その後にabs_level_gtx_flag [0](絶対レベルが1より大きいかどうかを指定する)が符号化復号化される。abs_level_gtx_flag [0]が1に等しい場合には、par_level_flagが、絶対レベルのパリティを指定するように追加的に符号化復号化される。
- xより大きい走査パス:絶対レベルが1より大きい走査位置ごとについては、ある位置における絶対レベルが3、5、7又は9より大きいかどうかを指定するように4つまでのabs_level_gtx_flag [i](i = 1 ... 4)が符号化復号化される。
-残りの走査パス:abs_level_gtx_flag [4]が1に等しい(つまり、絶対レベルが9より大きい)すべての走査位置については、絶対レベルの残りが符号化復号化される。残りの絶対レベルは、削減されたライスパラメータ導出テンプレートにより二値化される。
走査パス#1および#2(最初の走査パスおよびxより大きい走査パス)におけるビンは、CU内のコンテキスト符号化復号化されるビンの最大数に達するまでコンテキスト符号化復号化される。残差ブロック内のコンテキスト符号化復号化されたビンの最大数は、2*block_width*block_height、または同等に、サンプル位置ごとに平均2つのコンテキスト符号化されるビンに制限される。最後の走査パス(残りの走査パス)におけるビンはバイパス符号化復号化される。
HEVCでの可逆符号化
HEVCでの可逆符号化復号化モードは、変換、定量化、およびインループフィルター(非ブロックフィルター、サンプル適応オフセット、および適応ループフィルター)を単にバイパスすることで実現される。この設計は、主流のアプリケーションのための通常のHEVCエンコーダーおよびデコーダーの実現に必要な最小限の変更で可逆符号化復号化を可能にすることを目的とする。
HEVCでは、可逆符号化復号化モードを各CUレベルでオンまたはオフにすることができる。これは、CUレベルで信号によって通知される構文cu_transquant_bypass_flagを介して行われる。可逆符号化復号化モードが不要な信号による通知オーバーヘッドを削減するために、cu_transquant_bypass_flag構文が常に信号によって通知されることではない。これは、transquant_bypass_enabled_flagという別の構文が1の値を有する場合にのみ信号によって通知される。言い換えると、構文transquant_bypass_enabled_flagは、cu_transquant_bypass_flagの構文の信号による通知をオンにするためのものである。
HEVCでは、構文transquant_bypass_enabled_flagが画像パラメータセット(PPS)で通知されて、このPPSを参照する画像内のそれぞれのCUについて構文cu_transquant_bypass_flagを通知する必要があるかどうかを指示する。このフラグが1に設定されている場合には、構文cu_transquant_bypass_flagがCUレベルで送信されて、現在のCUが可逆モードで符号化復号化されるかどうかが通知される。このフラグがPPSで0に設定されている場合には、cu_transquant_bypass_flagが送信されず、画像内のすべてのCUが、プロセスに含まれる変換、定量化、およびループフィルターで符号化復号化され、その結果、通常、一定レベルのビデオ品質の劣化が発生しまう。画像全体を可逆で符号化復号化するために、画像内のそれぞれのCUについて、PPSにおけるフラグtransquant_bypass_enabled_flagを1に設定し、CUレベルのフラグcu_transquant_bypass_flagを1に設定する必要がある。HEVCにおける可逆モードに関連する詳細な構文の信号による通知は、以下のように示す。
- 1に等しいtransquant_bypass_enabled_flagは、cu_transquant_bypass_flagが存在することを指定する。0に等しいtransquant_bypass_enabled_flagは、cu_transquant_bypass_flagが存在しないことを指定する。
- 1に等しいcu_transquant_bypass_flagは、8.6節で指定されたスケールおよび変換プロセス及び8.7節で指定されたインループフィルタープロセスがバイパスされることを指定する。cu_transquant_bypass_flagが存在しない場合、0に等しいと推測される。
Figure 2022538331000002
VVCでは、最大CUサイズが64×64であり、VPDUも64×64に設定されている。32より大きい幅/高さに対する係数ゼロ化メカニズムのため、VVCでの係数符号化復号化のための最大ブロックサイズが32×32である。この制約の下では、現在の変換スキップは、残差符号化復号化のための最大ブロックサイズが係数符号化復号化のための32×32である最大ブロックサイズに合わせるように、32×32までのCUのみをサポートする。ただし、VVCでは、可逆CUの残差符号化復号化のブロックサイズの制約が定義されていない。その結果、現在VVCでは、可逆符号化復号化モードで32×32よりも大きいサイズの残差ブロックを生成することが可能であり、これは32×32よりも大きいブロックのための残差符号化復号化に対するサポートが必要である。これは、コーデックに対して好ましくない。本開示では、この課題を解決するために、いくつかの方法が提案されている。
VVCでの可逆符号化復号化のサポートに関連する別の問題は、残差(または係数と呼ばれる)符号化復号化スキームをどのように選択するかである。現在のVVCでは、2つの異なる残差符号化復号化スキームが利用可能である。あるブロック(またはCU)について、残差符号化復号化スキームの選択は、このあるブロック(またはCU)の変換スキップフラグに基づくものである。したがって、VVCでは、HEVCのように、可逆モードで変換スキップフラグが1であると想定されると、変換スキップモードで使用される残差符号化復号化スキームが常に可逆モードCUに使用される。ただし、変換スキップフラグがtrueである場合に使用される現在の残差符号化復号化スキームは、主に画面コンテンツの符号化復号化用に設計されている。通常のコンテンツ(つまり、画面以外のコンテンツ)の可逆符号化復号化に使用するのは最適ではない場合がある。本開示では、可逆CUのための残差符号化復号化を選択するためのいくつかの方法が提案される。
現在のVVCでは、2つのデコーダー側ツール、即ちBDOF及びDMVRが、現在のブロックをフィルタリングすることによって復号化された画素を微細化して、符号化復号化パフォーマンスを向上させる。ただし、可逆符号化復号化では、予測画素がすでに完全に予測されたため、BDOF及びDMVRが符号化復号化ゲインに寄与しない。したがって、デコーダー側のBDOF及びDMVRはVVCにメリットがないため、これらのツールは可逆符号化復号化に適用されべきではない。ただし、現在のVVCでは、通常のあるマージ候補についてSPSフラグが有効でいくつかの双予測及びサイズ制約が満たされている場合、BDOF及びDMVRが常に適用される。したがって、可逆VVC符号化復号化について、DMVR及びBDOFをより低いレベル、即ちスライスレベル及びCUレベルで制御すると、VVC可逆符号化復号化のパフォーマンス効率にメリットがある。
可逆CUの残差ブロック区画
本開示の一例によれば、可逆CUの最大残差符号化復号化ブロックサイズを、変換スキップモードによってサポートされている最大ブロックサイズに合わせることが提案される。一例では、変換スキップモードは、幅及び高さが両方とも32以下の残差ブロックについてのみ有効になることができ、これは、変換スキップモードでの最大残差符号化復号化ブロックサイズが32×32であることを意味する。この例によると、可逆CUのための残差ブロックの最大幅および/または高さも32に設定され、最大残差ブロックサイズが32×32に設定される。可逆CUの幅/高さが32よりも大きい場合には、常に、CU残差ブロックが32×Nおよび/または32×Nのサイズの複数のより小さい残差ブロックに分割されてより小さい方の残差ブロックの幅または高さが32以下である。たとえば、128×32可逆CUは、残差符号化復号化のために4つの32×32残差ブロックに分割される。別の例では、64×64可逆CUが4つの32×32残差ブロックに分割される。
本開示の別の例によれば、可逆CUの残差符号化復号化のための最大ブロックサイズをVPDUのサイズに合わせることが提案される。一例では、可逆CUの最大残差ブロックの幅/高さがVPDUサイズ(例えば、現在のVVCでの64×64)に設定される。可逆CUの幅/高さが64より大きい場合は常に、CUの残差ブロックが64×Nおよび/またはN×64のサイズの複数のより小さい残差ブロックに分割されて、これらのより小さい残差ブロックの幅又は高さがVPDUの幅及び/又は高さ以下である。たとえば、128×128の可逆CUは、残差符号化復号化のために4つの64×64の残差ブロックに分割される。別の例では、128×32の可逆CUは2つの64×32残差ブロックに分割される。
可逆モードCUのための残差符号化復号化スキームの選択
現在のVVCでは、CUが変換スキップモードで符号化復号化しているかどうかに応じて、異なる残差符号化復号化スキームがこのCUによって使用される。変換スキップモードで使用される現在の残差符号化復号化は、一般に画面コンテンツの符号化により適している。
本開示の一例によれば、可逆CUは、変換スキップモードCUによって使用される残差符号化復号化スキームと同じものを使用する。
本開示の別の例によれば、可逆CUは、非変換スキップモードCUによって使用される残差符号化復号化スキームと同じものを使用する。
本開示の別の例によれば、可逆CUのための残差符号化復号化スキームは、一定の条件および/または予め定めた手順に基づいて、既存の残差符号化復号化スキームから適応的に選択される。このような条件および/または予め定めた手順の後、ビットストリームで選択を指示するための信号による通知の必要がないようにエンコーダ及びデコーダが続く。一例では、エンコーダ及びデコーダの両方では、簡単な画面コンテンツ検出スキームが指定されて利用されることが可能である。この検出スキームに基づいて、現在のビデオブロックが画面コンテンツまたは通常コンテンツに分類されることができる。画面コンテンツの場合には、変換スキップモードで使用される残差符号化復号化スキームが選択される。それ以外の場合には、他の残差符号化復号化スキームが選択される。
本開示の別の例によれば、構文は、どの残差符号化復号化スキームが可逆CUによって使用されることを明示的に指定するようにビットストリームで信号によりシグナリングされる。そのような構文は、二値フラグであって、各バイナリ値は、2つの残差符号化復号化スキームのうちの1つの選択を指示する。構文は、異なるレベルで信号により送られることができる。たとえば、これは、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)、スライスヘッダー、タイルグループヘッダー、またはタイルで信号により送られてもよい。また、CTUまたはCUレベルで信号により通知されってもよい。このような構文が信号により通知されると、同じレベルまたは下位レベルのすべての可逆CUは、この構文で指示される同じ残差符号化復号化スキームを使用する。たとえば、構文がSPSレベルで信号により通知される場合、シーケンスにおけるすべての可逆CUは、指示されている残差符号化復号化スキームを使用する。構文がPPSレベルで通知される場合、画像内のすべての可逆CUは、関連するPPSに指示されている残差符号化復号化スキームを使用する。CUが可逆モードで符号化復号化されるかどうかを指示するCUレベルの構文、例えばcu_transquant_bypass_flagなどがあると、残差符号化復号化スキームを指示する構文は、このCUの可逆モードフラグに基づいて条件付きで信号により通知される。たとえば、可逆モードフラグcu_transquant_bypass_flagは現在のCUが可逆モードで符号化復号化されることを指示する場合のみ、残差符号化復号化スキームを指示する構文がこのCUのために信号により通知される。構文がスライスヘッダーレベルのフラグによって信号により通知されると、このスライス内における、可逆モードで符号化復号化されたすべてのCUは、信号により通知されたフラグに基づいて認識された残差符号化復号化スキームを使用する。複数のCUのうちのそれぞれのための残差符号化復号化スキームは、信号により通知された最初のフラグに基づいて選択され、ここで、スライスヘッダーにおける通知されたフラグによって、可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCU又は非変換スキップモードCUにより使用される残差符号化復号化スキームである。
本開示の一例によれば、可逆モードで符号化復号化されたCUについても、変換スキップモードフラグが信号により通知される。この場合、可逆モードで符号化復号化されるCUであるかどうかに関係なく、CUについての残差符号化復号化スキームの選択は、変換スキップモードフラグに基づくものである。
DMVRの無効化
現在のVVCでは、DMVRのオン/オフ制御が可逆符号化復号化モードに関して定義されていない。本開示の一例では、1ビットの信号による通知slice_disable_dmvr_flagフラグによってスライスレベルでDMVRのターンオン/オフを制御することが提案されている。一例では、sps_dmvr_enabled_flagフラグが1に設定され、かつtransquant_bypass_enabled_flagフラグが0に設定されている場合、slice_disable_dmvr_flagフラグを信号により通知する必要がある。slice_disable_dmvr_flagフラグが通知されていない場合、1と推定される。slice_disable_dmvr_flagが1に等しい場合、DMVRがターンオフされる。この場合、信号による通知は次のとおりである。
Figure 2022538331000003
別の例では、cu_transquant_bypass_flagによりcuレベルでDMVRのターンオン/オフを制御することが提案される。一例では、DMVRに対するcuレベル制御が次のとおりである。
DMVRは、次のすべての条件が成立している場合に、通常のマージモードに適用される。
- sps_dmvr_enabled_flagが1に等しい;
- cu_transquant_bypass_flagが0に設定されている;
- general_merge_flag [xCb] [yCb]が1に等しい;
- predFlagL0 [0] [0]及びpredFlagL1 [0] [0]の両方が1に等しい;
- mmvd_merge_flag [xCb] [yCb]が0に等しい;
- DiffPicOrderCnt(currPic,RefPicList [0] [refIdxL0])が、DiffPicOrderCnt(RefPicList [1] [refIdxL1],currPic)と同じである;
- BcwIdx [xCb] [yCb]が0に等しい;
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0に等しい;
- cbWidthが8以上である;
- cbHeightが8以上である;
- cbHeight * cbWidthが128以上である。
BDOFの無効化
現在のVVCでは、BDOFのオン/オフ制御が可逆符号化復号化モードに関して定義されていない。本開示の一例では、1ビットの信号による通知slice_disable_bdof_flagフラグによってBDOFのターンオン/オフを制御することが提案されている。一例では、sps_bdof_enabled_flagフラグが1に設定されているか、transquant_bypass_enabled_flagフラグが0に設定されている場合、slice_disable_bdof_flagフラグを信号により通知する必要がある。slice_disable_bdof_flagフラグが通知されていない場合、1と推定される。slice_disable_bdof_flagフラグが1に等しい場合、BDOFはターンオフされる。この場合、信号による通知は次のように示される。
Figure 2022538331000004
本開示の別の例では、cu_transquant_bypass_flagによりcuレベルでBDOFのターンオン/オフを制御することが提案される。一例では、BDOFに対するcuレベル制御が次のとおりである。
BDOFは、次のすべての条件が成立している場合に、通常のマージモードに適用される。
- sps_bdof_enabled_flagが1に等しい;
- cu_transquant_bypass_flagが0に設定されている;
- predFlagL0 [xSbIdx] [ySbIdx]及びpredFlagL1 [xSbIdx] [ySbIdx]の両方が1に等しい;
- DiffPicOrderCnt(currPic,RefPicList [0] [refIdxL0])* DiffPicOrderCnt(currPic,RefPicList [1] [refIdxL1])が0未満である;
- MotionModelIdc [xCb] [yCb]が0に等しい;
- merge_subblock_flag [xCb] [yCb]が0に等しい;
- sym_mvd_flag [xCb] [yCb]が0に等しい;
- BcwIdx [xCb] [yCb]が0に等しい;
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0である;
- cbHeightが8以上である;
- cIdxが0に等しい。
BDOF及びDMVRの無効化
現在のVVCでは、通常のあるマージ候補について、いくつかの双予測及びサイズ制約の条件が満たされている場合、符号化復号化の効率を改善するようにBDOF及びDMVRの両方が常にデコーダー側の微細化に適用され、各SPSフラグによって制御される。本開示の一例では、1ビットの信号による通知slice_disable_bdof_dmvr_flagスライスフラグによってBDOF及びDMVRの両方を無効にすることが提案されている。slice_disable_bdof_dmvr_flagフラグが1に設定されている場合、BDOF及びDMVRの両方がターンオフされる。slice_disable_bdof_dmvr_flagフラグが通知されていない場合、1であると推定される。一例では、次の条件が満たされている場合にslice_disable_bdof_dmvr_flagが信号による通知される。
Figure 2022538331000005
上記の方法は、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブル論理装置(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子部品を含む1つまたは複数の回路を含む装置によって実現してもよい。上記の方法を実現するために、これらの回路を他のハードウェアまたはソフトウェア部品と組み合わせて使用することができる。以上に開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、1つまたは複数の回路を使用して少なくとも部分的に実現されてもよい。
図7は、本開示のある実施形態に係る、ビデオ符号化復号化のための装置を示すブロック図である。装置700は、携帯電話、タブレットコンピュータ、デジタル放送端末、タブレット装置、または携帯情報端末などの端末であってもよい。
装置700は、図7に示されるように、処理部702、メモリ704、電源部706、マルチメディア部708、オーディオ部710、入力/出力(I/O)インターフェース712、センサ部714、および通信部716のうちの1つ又は複数を含んでもよい。
処理部702は、通常に、表示、電話発呼、データ通信、カメラ操作、および記録操作に関連する操作など、装置700の全体的な操作を制御する。処理部702は、上記の方法のステップの全部または一部を実現するための命令を実行するための1つまたは複数のプロセッサ720を含むことが可能である。さらに、処理部702は、処理部702と他の部材との間のインタラクションに寄与する1つまたは複数のモジュールを含むことが可能である。例えば、処理部702は、マルチメディア部708と処理部702との間のインタラクションに寄与するためのマルチメディアモジュールを含んでもよい。
メモリ704は、装置700の動作をサポートするために異なるタイプのデータを格納するように構成される。そのようなデータの例には、装置700上で動作する任意のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどが含まれる。メモリ704は、任意のタイプの揮発性または非揮発性の記憶装置またはそれらの組み合わせによって実現され、静的ランダムアクセスメモリ(SRAM:Static Random Access Memory)、電気的に消去可能なプログラマブルリードオンリーメモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、消去型プログラマブルリードオンリメモリ(EPROM:Erasable Programmable Read-Only Memory)、プログラマブルリードオンリメモリ(PROM:Programmable Read-Only Memory)、リードオンリメモリ(ROM:Read-Only Memory)、磁気メモリ、フラッシュメモリ、磁気ディスク、またはコンパクトディスクであってもよい。
電源部706は、装置700における異なる部材に電力を供給する。電源部706は、電源管理システム、1つまたは複数の電源、および装置700に対して電力を生成、管理、および分配することに関連する他の部材を含んでもよい。
マルチメディア部708は、装置700とユーザとの間の出力インターフェースを提供するスクリーンを含む。ある例では、スクリーンには、液晶表示装置(LCD)およびタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。このタッチパネルは、このタッチパネル上のタッチ、スライド、およびジェスチャを感知するための1つまたは複数のタッチセンサーを含んでもよい。タッチセンサーは、タッチまたはスライド動作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧力も検出することが可能である。ある例では、マルチメディア部708は、フロントカメラおよび/またはリアカメラを含んでもよい。装置700が撮像モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび/またはリアカメラは、外部マルチメディアデータを受信することができる。
オーディオ部710は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオ部710は、マイクロフォン(MIC)を含む。マイクロフォンは、装置700が通話モード、録音モード、および音声認識モードなどの動作モードにあるとき、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ704にさらに格納されてよく、または通信部716を介して送信されてもよい。ある例では、オーディオ部710は、オーディオ信号を出力するためのスピーカーをさらに含む。
I/Oインターフェース712は、処理部702と周辺インターフェースモジュールとの間のインターフェースを提供する。上述の周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンには、ホームボタン、音量ボタン、スタートボタン、およびロックボタンが含まれるが、これらに限定されない。
センサ部714は、異なる方面で装置700に対して状態評価を提供するための1つまたは複数のセンサを含む。例えば、センサ部714は、装置700のオン/オフ状態および構成要素の相対な位置を検出することが可能である。例えば、構成要素は、装置700のディスプレイおよびキーパッドである。センサ部714はまた、装置700または装置700の構成要素の位置変化、装置700上でのユーザの接触の有無、装置700の向きまたは加速/減速、および装置700の温度変化を検出することが可能である。センサ部714は、物理的な接触なしに近くの物体の存在を検出するように構成される近接センサを含んでもよい。センサ部714は、画像化アプリケーションで使用されるCMOSまたはCCD画像センサなどの光学的センサをさらに含んでもよい。ある例では、センサー部714は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー、または温度センサーをさらに含んでもよい。
通信部716は、装置700と他の装置との間の有線または無線通信に役立つように構成される。装置700は、WiFi、4G、またはそれらの組み合わせなどの通信標準に基づいて無線ネットワークにアクセスすることができる。一例では、通信部716は、報知チャネルを介して外部報知管理システムから報知信号または報知関連情報を受信する。一例では、通信部716は、短距離通信を促進するための近距離無線通信(NFC)モジュールをさらに含んでもよい。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ関連付け(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術および他の技術に基づいて実現してもよい。
一例では、装置700は、上記の方法を実行するために特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブル論理装置(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子要素の1つまたは複数によって実現してもよい。
非一時的なコンピュータ読取可能な記憶媒体は、例えば、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、フラッシュメモリ、ハイブリッドドライブや固体ハイブリッドドライブ(SSHD)、読み出し専用メモリ(ROM)、コンパクトディスク読み出し専用メモリ(CD―ROM)、磁気テープ、フロッピーディスクなどである。
図8は、本開示のある実施形態に係る、ビデオ符号化復号化における可逆符号化復号化モードに関連する技術の例示的なプロセスを示すフローチャートである。
ステップ801において、プロセッサ720は、ビデオ画像を、少なくとも1つが可逆符号化復号化ユニット(CU)である複数のCUに区画する。
ステップ802において、プロセッサ720は、可逆CUの残差符号化復号化ブロックサイズを決定する。
ステップ803において、プロセッサ720は、この可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じ、この残差符号化復号化ブロックを残差符号化復号化する2つ以上の残差ブロックに分割する。
ある例では、ビデオ符号化復号化のための装置が提供されている。この装置は、プロセッサ720と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ704とを含む。ここで、プロセッサは、これらの命令の実行時に、図8に示されるような方法を実行するように構成される。
他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体704が提供されている。これらの命令は、プロセッサ720によって実行されると、このプロセッサに、図8に示すような方法を実行させる。
図9は、本開示のある実施形態に係る、ビデオ符号化復号化における可逆符号化復号化モードに関連する技術の例示的なプロセスを示すフローチャートである。
ステップ901において、プロセッサ720は、ビデオ画像を、少なくとも1つが可逆符号化復号化ユニット(CU)である複数のCUに区画する。
ステップ902において、プロセッサ720は、この可逆CUについて、非変換スキップモードCUによって使用される残差符号化復号化スキームと同じものを選択する。
ある例では、ビデオ符号化復号化のための装置が提供されている。この装置は、プロセッサ720と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ704とを含む。ここで、プロセッサは、これらの命令の実行時に、図9に示されるような方法を実行するように構成される。
他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体704が提供されている。これらの命令は、プロセッサ720によって実行されると、このプロセッサに、図9に示すような方法を実行させる。
本開示の説明は、例示のために提示されており、網羅的なまたは本開示に限定されることを意図するものではない。たくさんの変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。
実施形態は、本開示の原理を説明し、当業者が本開示を理解して各種の実施をし、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できるように選択されおよび説明されたものである。したがって、本開示の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、本開示の範囲に含まれることを理解されるべきである。
VVC3では、サブブロックごとに、通常の符号化復号化されたビン及びバイパス符号化復号化されたビンが符号化復号化順で分離される。まず、サブブロックのすべての通常の符号化復号化されたビンが送信され、その後、バイパス符号化復号化されたビンが送信される。サブブロックの変換係数レベルは、次のように走査位置で4つのパスにおいて符号化復号化される。
-パス1:重要度(sig_flag)、1より大きいフラグ(gt1_flag)、パリティ(par_level_flag)および2より大きいフラグ(gt2_flag)の符号化復号化が符号化復号化順で処理される。sig_flagが1に等しい場合、まずgt1_flagが符号化復号化される(絶対レベルが1より大きいかどうかを指示する)。gt1_flagが1に等しい場合、par_level_flagが追加で符号化復号化される(絶対レベルから2を引いたパリティを指定する)。
-パス2:残りの絶対レベル(剰余)の符号化は、gt2_flagが1またはgt1_flagが1のすべての走査位置で処理される。非二値構文要素はGolomb-Riceコードで二値化され、結果のビンは算術符号化復号化エンジンのバイパスモードで符号化復号化される。
-パス3:第1のパスでsig_flagが符号化復号化されていない係数の絶対レベル(absLevel)(通常の符号化されたビンの制限に達したため)は、Golomb-Riceコードを使用して算術符号化復号化エンジンのバイパスモードで完全に符号化復号化される。
-パス4:sig_coeff_flagが1に等しいすべての走査位置に対する符号(sign_flag)の符号化復号化
MV候補と初期MV(元MVとも呼ばれる)の間のMV差は、それぞれMVdiff及び-MVdiffである。MV候補と初期MVは両方とも双方向の動きベクトルである。DMVRの過程中に、初期MVの周りのそのようなMV候補の数がチェックされることが可能である。具体的には、所定のMV候補のそれぞれについて、List0およびList1におけるその参照画像からその2つの関連する参照ブロックをそれぞれ位置決め、それらの間の差が算出する。このようなブロック差は、通常、SAD(または絶対差の合計)または行サブサンプリングされたSAD(つまり、関連するブロックの1行おきに算出されたSAD)で計測される。最後に、2つの参照ブロック間でSADが最も低いMV候補が微細化されたMVになり、現在のCUの実際の予測として双予測された信号を生成するために使用される。

Claims (42)

  1. ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、
    前記可逆CUの残差符号化復号化ブロックサイズを決定することと、
    前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割することと、
    を含む、ビデオ符号化復号化のための可逆符号化復号化モードの方法。
  2. 前記可逆CUの前記残差符号化復号化ブロックサイズに関する前記予め定められた最大値を、変換スキップモードでサポートされている最大ブロックサイズに合わせること、
    を更に含む、請求項1に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  3. 前記可逆CUの前記残差符号化復号化ブロックサイズに関する前記予め定められた最大値を、前記ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせること、
    を更に含む、請求項1に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  4. 前記可逆CUについて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCUで使用される残差符号化復号化スキームと同じである、請求項1に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  5. ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、
    前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択することと、
    を含む、ビデオ符号化復号化のための可逆符号化復号化モードの方法。
  6. 前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応的に選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  7. 前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  8. スライスヘッダーで第1のフラグを信号により通知することと、
    前記複数のCUのそれぞれについて、信号により通知された前記第1のフラグに基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  9. 前記複数のCUのそれぞれについて第2のフラグを信号により通知することと、
    前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化方式は、信号により通知された前記第2のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  10. 前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  11. 前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  12. 前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  13. 前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  14. 前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプティカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方法。
  15. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメモリと、
    を備え、
    前記1つまたは複数のプロセッサは、前記命令を実行すると、
    ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
    前記可逆CUの残差符号化復号化ブロックサイズを決定し、
    前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割する、
    ように構成される、ビデオ符号化復号化のための可逆符号化復号化モードの装置。
  16. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、変換スキップモードでサポートされている最大ブロックサイズに合わせる、
    ように構成される、請求項15に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  17. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、前記ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせる、
    ように構成される、請求項15に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  18. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて残差符号化復号化スキームを選択する、
    ように構成され、
    前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCUで使用される残差符号化復号化スキームと同じである、請求項15に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  19. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメモリと、
    を備え、
    前記1つまたは複数のプロセッサは、前記命令を実行すると、
    ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
    前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択する、
    ように構成される、ビデオ符号化復号化のための可逆符号化復号化モードの装置。
  20. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応的に選択する、
    ように構成され、
    前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  21. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキームを選択する、
    ように構成され、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  22. 前記1つまたは複数のプロセッサは、更に
    スライスヘッダーで第1のフラグを信号により通知し、
    前記複数のCUのそれぞれについて、信号により通知された第1のフラグに基づいて残差符号化復号化スキームを選択する、
    ように構成され、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  23. 前記1つまたは複数のプロセッサは、更に
    前記複数のCUのそれぞれについて第2のフラグを信号により通知し、
    前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残差符号化復号化スキームを選択する、
    ように構成され、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記第2のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化のための可逆符号化モードの装置。
  24. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知する、
    ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  25. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知する、
    ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  26. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知する、
    ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  27. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知する、
    ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  28. 前記1つまたは複数のプロセッサは、更に
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプティカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知する、
    ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モードの装置。
  29. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、
    を備え、
    前記命令は、実行されると、前記1つまたは複数のプロセッサに、
    ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
    前記可逆CUの残差符号化復号化ブロックサイズを決定し、
    前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割すること、
    のような操作を実行させる、ビデオ符号化復号化のための装置。
  30. 前記操作は、
    前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、変換スキップモードでサポートされている最大ブロックサイズに合わせること、
    を更に含む、請求項29に記載のビデオ符号化復号化のための装置。
  31. 前記操作は、
    前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、前記ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせること、
    を更に含む、請求項29に記載のビデオ符号化復号化のための装置。
  32. 前記操作は、
    前記可逆CUについて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCUで使用される残差符号化復号化スキームと同じである、請求項29に記載のビデオ符号化復号化のための装置。
  33. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、
    を備え、
    前記命令は、実行されると、前記1つまたは複数のプロセッサに、
    ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
    前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキームと同じものを選択すること、
    のような操作を実行させる、ビデオ符号化のための装置。
  34. 前記操作は、
    前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応的に選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項33に記載のビデオ符号化のための装置。
  35. 前記操作は、
    前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残差符号化復号化スキームである、請求項33に記載のビデオ符号化のための装置。
  36. 前記操作は、
    スライスヘッダーで第1のフラグを信号により通知することと、
    前記複数のCUのそれぞれについて、信号により通知された前記第1のフラグに基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項33に記載のビデオ符号化復号化のための装置。
  37. 前記操作は、
    前記複数のCUのそれぞれについて第2のフラグを信号により通知することと、
    前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残差符号化復号化スキームを選択すること、
    を更に含み、
    前記可逆CUについて選択された残差符号化方式は、信号により通知された前記第2のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用される残差符号化復号化スキームである、請求項33に記載のビデオ符号化復号化のための装置。
  38. 前記操作は、
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
  39. 前記操作は、
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項33に記載のビデオ符号化のための装置。
  40. 前記操作は、
    前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
  41. 前記操作は、
    前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
  42. 前記操作は、
    前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプティカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通知すること、
    を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
JP2021577674A 2019-06-28 2020-06-29 ビデオ符号化復号化のための可逆符号化復号化モード Pending JP2022538331A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962868857P 2019-06-28 2019-06-28
US62/868,857 2019-06-28
US201962871134P 2019-07-06 2019-07-06
US62/871,134 2019-07-06
PCT/US2020/040195 WO2020264529A1 (en) 2019-06-28 2020-06-29 Lossless coding modes for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024034773A Division JP2024069342A (ja) 2019-06-28 2024-03-07 ビデオ符号化復号化のための可逆符号化復号化モード

Publications (1)

Publication Number Publication Date
JP2022538331A true JP2022538331A (ja) 2022-09-01

Family

ID=74059652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577674A Pending JP2022538331A (ja) 2019-06-28 2020-06-29 ビデオ符号化復号化のための可逆符号化復号化モード

Country Status (7)

Country Link
US (1) US20220124347A1 (ja)
EP (1) EP3973704A4 (ja)
JP (1) JP2022538331A (ja)
KR (2) KR20230135187A (ja)
CN (2) CN115567708A (ja)
MX (1) MX2021015957A (ja)
WO (1) WO2020264529A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
US20220256151A1 (en) * 2019-08-23 2022-08-11 Sony Group Corporation Image processing device and method
WO2021047544A1 (en) 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Intra block copy coding and decoding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2813078A4 (en) * 2012-02-06 2015-09-30 Nokia Technologies Oy ENCODING METHOD AND APPARATUS
CN105122797A (zh) * 2013-01-04 2015-12-02 三星电子株式会社 在无损编码下对视频进行编码的方法和设备以及在无损编码下对视频进行解码的方法和设备
HUE050421T2 (hu) * 2013-04-23 2020-12-28 Qualcomm Inc Predikciós maradékblokkok átpozicionálása videokódolásban
US10404988B2 (en) * 2014-03-16 2019-09-03 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
WO2020103872A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
TW202101985A (zh) * 2019-03-11 2021-01-01 美商Vid衡器股份有限公司 子圖片適應性解析度改變方法及裝置
EP3987785A1 (en) * 2019-06-20 2022-04-27 InterDigital VC Holdings France, SAS Lossless mode for versatile video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAN HUANG, ET AL.: "DMVR and BDOF on/off control", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0250, JPN6022046660, 25 June 2019 (2019-06-25), ISSN: 0004916342 *
JOEL SOLE, ET AL.: "AhG8: Simplified update of the coefficient level Rice parameter", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0366, JPN6022046663, 19 April 2013 (2013-04-19), ISSN: 0004916341 *
TSUNG-CHUAN MA, ET AL.: "Modifications to support the lossless coding", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0591, JPN6022046662, 26 June 2019 (2019-06-26), ISSN: 0004916344 *
YONG HE, ET AL.: "AHG8: On adaptive resolution change constraint", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0184, JPN6022046661, 26 June 2019 (2019-06-26), ISSN: 0004916343 *

Also Published As

Publication number Publication date
CN113994673A (zh) 2022-01-28
KR20230135187A (ko) 2023-09-22
WO2020264529A1 (en) 2020-12-30
KR102580875B1 (ko) 2023-09-20
US20220124347A1 (en) 2022-04-21
EP3973704A4 (en) 2022-07-27
CN115567708A (zh) 2023-01-03
KR20220000962A (ko) 2022-01-04
EP3973704A1 (en) 2022-03-30
MX2021015957A (es) 2022-02-03

Similar Documents

Publication Publication Date Title
KR20200108432A (ko) 개선된 디코더측 모션 벡터 도출
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
EP3090546A2 (en) Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
CN114128261A (zh) 用于视频译码的组合的帧间和帧内预测模式
WO2020172342A9 (en) Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
US20220124347A1 (en) Lossless coding modes for video coding
CN114071135B (zh) 用于在视频编解码中用信号发送合并模式的方法和装置
CN116980598A (zh) 用于视频解码的方法和装置及存储介质
JP7488358B2 (ja) ビデオ符号化における構文要素のシグナリングのための方法および装置
CN116897536A (zh) 高效视频编码器架构
JP2024016288A (ja) ビデオコーディングにおけるデコーダ側動きベクトル補正のための方法および装置
KR102663465B1 (ko) 비디오 코딩을 위한 예측 종속 잔차 스케일링을 위한 방법 및 장치
KR20220155404A (ko) 비디오 코딩에서의 신택스 요소들의 시그널링을 위한 방법 및 장치
KR20240042245A (ko) 삼각형 분할을 이용한 비디오 코딩을 위한 방법 및 장치
JP2024069342A (ja) ビデオ符号化復号化のための可逆符号化復号化モード
CN114009019A (zh) 用于在视频编解码中用信令传递合并模式的方法和装置
KR102667418B1 (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
KR20240074009A (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
KR20240074908A (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
KR20240074008A (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
KR20240074907A (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
CN113841406A (zh) 使用三角形分割用于视频编解码的方法和装置
CN114080807A (zh) 利用三角分区进行视频编解码的方法和装置
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN114450948A (zh) 用于视频编解码中的量化和反量化设计的方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240308

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240328