JP2022547157A - イントラブロックコピーの符号化および復号化 - Google Patents

イントラブロックコピーの符号化および復号化 Download PDF

Info

Publication number
JP2022547157A
JP2022547157A JP2022515128A JP2022515128A JP2022547157A JP 2022547157 A JP2022547157 A JP 2022547157A JP 2022515128 A JP2022515128 A JP 2022515128A JP 2022515128 A JP2022515128 A JP 2022515128A JP 2022547157 A JP2022547157 A JP 2022547157A
Authority
JP
Japan
Prior art keywords
block
current block
video
transform
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022515128A
Other languages
English (en)
Other versions
JP7323709B2 (ja
Inventor
リー ジャン
カイ ジャン
ジジョン シュー
ホンビン リウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022547157A publication Critical patent/JP2022547157A/ja
Priority to JP2023122019A priority Critical patent/JP2023159091A/ja
Application granted granted Critical
Publication of JP7323709B2 publication Critical patent/JP7323709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像処理方法は、映像の現在のブロックと映像の符号化表現との変換のために、構文要素の信号通知が、現在のブロックの寸法および/またはイントラブロックコピー(IBC)符号化モデルを使用して符号化されるブロックに対する最大許容寸法に基づくことを規定する規則に従って、IBC符号化モデルに対するスキップモードの使用を示す構文要素が符号化表現に含まれているかどうかを判定することを含む。方法は、判定に基づいて変換を行うことをも含む。【選択図】図25

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年9月9日出願の国際特許出願PCT/CN2019/104869の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許文献は、映像および画像の符号化および復号化に関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像符号化に関し、特に、イントラブロックコピーツールを符号化または復号化に使用する映像および画像の符号化および復号化に関するデバイス、システムおよび方法に関する。
1つの例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像領域における現在のブロックと映像の符号化表現との変換のために、現在のブロックを複数の変換ユニットに分割することを、現在のブロックの特徴に基づいて許可することを判定することを含む。符号化表現において、分割の信号通知は省略される。方法は、判定に基づいて変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像領域の現在のブロックと前記映像の符号化表現との変換のために、映像領域におけるフィルタリングされた再構築参照サンプルに基づくイントラブロックコピー(IBC)モードを使用して、現在のブロックの予測サンプルを判定することを含む。方法は、判定に基づいて変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の現在のブロックとこの映像の符号化表現との変換のために、規則に従って、イントラブロックコピー(IBC)符号化モデルのスキップモードの使用を示す構文要素がこの符号化表現に含まれているかどうかを判定することを含む。この規則は、構文要素の信号通知が、現在のブロックの寸法および/またはIBC符号化モデルを使用して符号化されるブロックに対する最大許容寸法に基づくことを規定する。方法は、判定に基づいて変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の現在のブロックと映像の符号化表現との変換のために、低周波非分離変換(LFNST)符号化モデルに関連付けられたインデックスを符号化するための少なくとも1つのコンテキストを判定することを含む。このLFNST符号化モデルは、符号化の間、順方向一次変換と量子化ステップとの間に順方向二次変換を適用すること、または復号化の間、逆量子化ステップと逆方向一次変換との間に逆方向二次変換を適用することを含む。順方向二次変換および逆方向二次変換のサイズは、現在のブロックのサイズよりも小さい。前記少なくとも1つのコンテキストは、順方向一次変換または逆方向一次変換を考慮せず、現在のブロックのパーティションタイプに基づいて判定される。方法は、判定に従って変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像の映像領域の現在のブロックと映像の符号化表現との変換のために、映像領域に適用可能な最大変換ユニットサイズに基づいて、イントラブロックコピー(IBC)符号化モデルが有効化されているかどうかを判定することを含む。方法は、判定に従って変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、現在のブロックと映像とこの映像の符号化表現との変換のために、現在のブロックのための動きベクトルの成分の絶対値を2つの部分に分割することを判定することを含み、動きベクトルを(Vx,Vy)として表し、この成分をViとして表し、ViはVxまたはVyのいずれかである。2つの部分の第1の部分は、|Vi|-((|Vi|>>N)<<N)に等しく、2つの部分の第2の部分は、|Vi|>>N,Nに等しく、Nは正の整数である。2つの部分は符号化表現において別々に符号化される。方法は、判定に従って変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、現在のブロックと映像との変換のために、変換ブロックの最大許容寸法に基づいて、現在のブロックにおけるサブブロック変換を可能にする現在のブロックの最大寸法に関する情報を判定することを含む。方法は、判定に従って変換を行うことをも含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、イントラブロックコピーツールに基づいた映像領域における映像ブロックの符号化表現と映像ブロックとの変換のために、映像ブロックを複数の変換ユニットに分割することを許可することを判定することであって、映像ブロックの符号化条件に基づいて判定が行われ、符号化表現は分割の信号通知を省略する、判定することと、分割に基づいて変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、映像領域の最大変換サイズに基づいて、映像ブロックの変換のためにイントラブロックコピー(IBC)ツールが有効化されているかどうかを判定することと、判定に基づいて変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、この変換のためのイントラブロックコピー(IBC)ツールの信号通知が符号化表現に含まれているかどうかを判定することと、この判定に基づいて変換を行うことであって、この判定は、映像ブロックの幅および/または高さと、映像領域のための最大許容IBCブロックサイズとに基づく、変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、イントラブロックコピー(IBC)ツールを使用して、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、映像ブロックを複数の変換ユニット(TU)に分割することを変換のために許可することを判定することと、この判定に基づいて、複数のTUに対して別個の動き情報を使用することを含む、変換を行うことと、を含む。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、イントラブロックコピーツールが変換のために有効化されていることを判定することと、イントラブロックコピーツールを使用して変換を行うことと、を含み、映像領域のフィルタリングされた再構築サンプルを使用して映像ブロックの予測を行う。
別の例示的な態様において、映像処理の方法が開示される。この方法は、複数の映像ブロックを含む映像とこの映像の符号化表現と変換を行うことを含み、少なくともいくつかの映像ブロックは、動きベクトル情報を使用して符号化され、動きベクトル情報は、この動きベクトル情報の絶対値の第1の下位ビットに基づく第1の部分として、また、第1の下位ビットよりも上位である残りのより上位ビットに基づく第2の部分として、符号化表現で表される。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、サブブロック変換ツールが変換のために有効化されているかどうかを判定することと、判定に基づいて変換を行うこととを含み、判定は、映像領域に対する最大許容変換ブロックサイズに基づいて行われ、最大許容変換ブロックサイズに基づいて、条件付きでこの符号化表現に信号通知を含める。
別の例示的な態様において、映像処理の方法が開示される。この方法は、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、低周波非分離変換(LFNST)が変換中に使用されるかどうかを判定することと、この判定に基づいて変換を行うことと、を含み、この判定は、映像ブロックに適用される符号化条件に基づいて行われ、LFNSTおよびLFNSTのための行列インデックスは、2つのコンテキストを使用して符号化表現で符号化される。
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される
マージ候補リスト構築のための導出処理の一例を示す。 空間的マージ候補の位置の例を示す。 空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。 N×2Nおよび2N×N分割の第2のPUのための位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングの説明図である。 時間的マージ候補、C0およびC1の候補位置の例を示す。 結合双方向予測マージ候補の一例を示す。 動きベクトル予測候補の導出処理の一例を示す。 空間的動きベクトル候補のための動きベクトルスケーリングの説明を示す。 アフィンマージモードの候補位置の例を示す。 修正マージリスト構築処理を示す。 三角形分割に基づくインター予測の一例を示す。 第1重み係数グループを適用する中央演算ユニットの一例を示す。 動きベクトル記憶装置の例を示す。 UMVE検索処理の一例を示す。 UMVE検索点の一例を示す。 イントラブロックコピーツールの動作を示す図である。 JEMにおける二次変換の一例を示す。 縮小二次変換(RST)の一例を示す。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 映像処理装置の例を示すブロック図である。 映像処理方法の一例を示すフローチャートである。 本技術に従った映像処理方法を示すフローチャートである。 本技術に従った別の映像処理方法を示すフローチャートである。 本技術に従った別の映像処理方法を示すフローチャートである。 本技術に従った別の映像処理方法を示すフローチャートである。 本技術に従った別の映像処理方法を示すフローチャートである。 本技術に従った別の映像処理方法を示すフローチャートである。 本技術に従ったさらに別の映像処理方法を示すフローチャートである。
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格(例えば、HEVC、H.265)および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態(および/または実装形態)をそれぞれの章のみに限定するものではない。
1.発明の概要
本明細書は、映像符号化技術に関する。具体的には、イントラブロックコピー(IBC、別名、現在の画像参照、CPR)コーディングに関連する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
2.背景技術
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
2.1 HEVC/H.265におけるインター予測
インター符号化符号化ユニット(CU)の場合、パーティションモードに従って、1つの予測ユニット(PU)、2つのPUで符号化されてもよい。各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対するデルタ(delta)として明確にコーディングされてもよい。
1つのCUがスキップモードにて符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、符号化された動きベクトル差分も参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替として、動きパラメータの明示的な送信があり、動きベクトル(より正確には、動きベクトル予測子と比較した動きベクトル差分(MVD))、各参照ピクチャリストの対応する参照ピクチャインデックス、および参照ピクチャリストの使用状況が、各PUに明確に信号通知される。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼ぶ。
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双方向予測」と呼ぶ。Bスライスのみに双方向予測が利用可能である。
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
2.1.1 参照ピクチャリスト
HEVCにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値または動きベクトル)から導出された予測を示すために使用される。H.264/AVCと同様に、複数の参照ピクチャから1つの画像を予測することができる。インター予測に使用される参照ピクチャは、1つ以上の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参照ピクチャを使用して予測信号を生成するかを識別する。
1つの参照ピクチャリストList0はPスライスに使用され、2つの参照ピクチャリストList0およびList1はBスライスに使用される。なお、リスト0/1に含まれる参照ピクチャは、撮影/表示順の観点から、過去および将来のピクチャからのものであってもよい。
2.2.1 マージモード
2.1.2.1. マージモードの候補の導出
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに基づいてまとめることができる。
●ステップ1:初期候補導出
o ステップ1.1:空間的候補導出
o ステップ1.2:空間的候補の冗長性チェック
o ステップ1.3:時間的候補導出
●ステップ2:追加の候補挿入
o ステップ2.1:双方向予測候補の作成
o ステップ2.2:動きゼロ候補の挿入
これらのステップはまた、図1で概略的に示されており、マージ候補一覧構築のための例示的な導出処理が示されている。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、ステップ1で得た候補数がスライスヘッダで信号通知されるマージ候補(MaxNumMergeCand)の最大数に達しない場合、追加候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を使用して最良マージ候補のインデックスを符号化する。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
以下、上述したステップに関連付けられた動作を詳しく説明する。
2.1.2.2 空間的候補導出
空間的マージ候補の導出において、図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラ符号化された場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図3において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図4は、それぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることにより、同じ動き情報を有する2つの予測ユニットが導かれることとなり、1つの符号化ユニットに1つのPUのみを有するためには冗長である。同様に、現在のPUを2N×Nに分割する場合、位置Bは考慮されない。
2.1.2.3 時間的候補導出
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、同一位置に配置されたピクチャにおける同一位置に配置されたPUに基づいて、スケーリングされた動きベクトルを導出する。図5は、時間的マージ候補のための動きベクトルのスケーリングの説明図である。図5に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtdを利用して、同一位置のPUの動きベクトルからスケーリングしたものである。tbは、現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定され、tdは、同一位置のPUの参照ピクチャと同一位置のピクチャのPOC差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、HEVC仕様[1]に記載されている。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのものを取得し、これらを組み合わせることによって、双方向予測マージ候補を形成する。
2.1.2.4 同一位置に配置されたピクチャおよび同一位置に配置されたPU
TMVPが有効になっている(例えば、slice_temporal_mvp_enabled_flagが1である)場合、col-locatedピクチャを表す変数ColPicは、以下のように導出される。
- 現在のスライスがBスライスであり、信号collocated_from_l0_flagが0である場合、ColPicはRefPicList1[collocated_ref_idx]に等しく設定される。
- そうでない場合(slice_typeがBであり、collocated_from_l0_flagが1である、またはslice_typeがPである)、ColPicをRefPicList0[collocated_ref_idx]に設定する。
ここで、collocated_ref_idxおよびcollocated_from_l0_flagは、スライスヘッダにおいて信号通知され得る2つの構文要素である。
参照フレームに属する同一位置のPU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でない場合、イントラ符号化されている場合、または現在の符号化ツリーユニット(CTU、別名LCU最大符号化ユニット)行の外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
関連する構文要素を以下に説明する。
Figure 2022547157000002
2.1.2.5 TMVP候補のためのMVの導出
いくつかの実施形態において、TMVP候補を導出するために、以下の動作を行う。
1)リストXにおいて、参照ピクチャリストX=0を設定し、対象となる参照ピクチャをインデックスが0の参照ピクチャ(例えば、curr_ref)にする。同一位置に配置された動きベクトルの導出処理を呼び出し、curr_refを指すリストXのMVを得る。
2)現在のスライスがBスライスである場合、参照ピクチャリストX=1を設定し、対象となる参照ピクチャがリストXにおける0であるインデックスを有する参照ピクチャ(例えば、curr_ref)である。同一位置に配置された動きベクトルの導出処理を呼び出し、curr_refを指すリストXのMVを得る。
同一位置に配置された動きベクトルの導出処理については、次のサブセクション2.1.2.5.1で説明する。
2.1.2.5.1 同一位置に配置された動きベクトルの導出処理
同一位置に配置されたブロックの場合、それは、単一予測または双方向予測でイントラ符号化されてもよいし、インター符号化されてもよい。イントラ符号化されている場合、TMVP候補は利用不可能となるように等しく設定される。
リストAからの単一予測である場合、リストAの動きベクトルを参照対象ピクチャリストXにスケーリングする。
双方向予測であり、対象となる参照ピクチャリストがXである場合、リストAの動きベクトルを対象となる参照ピクチャリストXにスケーリングし、Aは、以下の規則に従って決定される。
- いずれの参照ピクチャも現在のピクチャと比較してより大きいPOC値を有していない場合、AはXに等しく設定される。
- そうでない場合、Aはcollocated_from_l0_flagに等しく設定される。
2.1.2.6 追加の候補挿入
空間的-時間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双方向予測マージ候補およびゼロマージ候補がある。空間的-時間的マージ候補を利用して、結合双方向予測マージ候補を生成する。結合双方向予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双方向予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双方向予測候補を形成する。図7は、結合双方向予測マージ候補の例を示す。一例として、図7は、オリジナルリスト(左側)における、mvL0およびrefIdxL0、またはmvL1およびrefIdxL1を有する2つの候補を用いて、最終リスト(右側)に加えられる結合双方向予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。
ゼロ動き候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。最終的には、これらの候補に対して冗長性チェックは行われない。
2.1.3 高度動きベクトル予測(AMVP)
AMVPは、動きベクトルと近傍のPUとの間の空間的-時間的相関を利用し、これを動きパラメータの明確な伝送に用いる。各参照ピクチャリストに対し、まず、左側、上側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化対象の最大値は2である(図8参照)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
2.1.3.1 AMVP候補の導出
図8は、動きベクトル予測候補の導出処理をまとめている。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考慮される。空間的動きベクトル候補を導出するために、図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。空間的-時間的候補の最初のリストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
2.1.3.2 空間的動きベクトル候補
空間的動きベクトル候補の導出において、図2に示したような位置にあるPUから導出された5つの可能性のある候補のうち、動きマージと同じ位置にあるものを最大2つの候補を考慮する。現在のPUの左側のための導出の順序は、A、A、スケーリングされたA、スケーリングされたAとして規定される。現在のPUの上側のための導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合が4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
● 空間スケーリングなし
-(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
-(2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC)
● 空間的スケーリング
-(3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPOC)
-(4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPOC)
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、又はイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
空間的スケーリング処理において、図9に示すように、時間的スケーリングと同様にして、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
2.1.3.3 時間的動きベクトル候補
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである(図6参照)。参照ピクチャインデックスはデコーダに信号通知される。
2.2 VVCにおけるインター予測方法
インター予測を改善するための新しい符号化ツールには、信号通知MVDのための適応型動きベクトル差解像度(AMVR)、動きベクトル差とのマージ(MMVD)、三角形予測モード(TPM)、結合されたイントラインター予測(CIIP)、高度TMVP(ATMVP、別名SbTMVP)、アフィン予測モード、一般化双方向予測(GBI)、デコーダ側動きベクトル微調整(DMVR)、双方向オプティカルフロー(BIO、別名BDOF)などがある。
VVCでサポートされる2つの異なるマージリスト構築処理がある。
(1)サブブロックマージ候補リスト:ATMVPおよびアフィンマージ候補を含む。1つのマージリスト構築処理は、アフィンモードおよびATMVPモードの両方に対して共有される。なお、ATMVPおよびアフィンマージ候補を順に追加してもよい。サブブロックマージリストのサイズはスライスヘッダで信号通知され、その最大値は5である。
(2)通常マージリスト:インター符号化ブロックについては、1つのマージリスト構築処理を共有する。ここで、空間的/時間的マージ候補、HMVP、対に結合されたマージ候補、および動きゼロ候補を順に挿入してもよい。通常のマージリストのサイズはスライスヘッダに信号通知され、その最大値は6である。MMVD、TPM、CIIPは通常のマージリストに依存する。
同様に、VVCでサポートされるAMVPリストは次の3つである。
(1)アフィンAMVP候補リスト
(2)通常AMVP候補リスト
2.2.1 VVCにおける符号化ブロック構造
VVCにおいて、4分木/2分木/3分木(QT/BT/TT)構造を採用し、ピクチャを正方形または長方形のブロックに分割する。
QT/BT/TTの他に、Iフレームのために、別個のツリー(別名、デュアル符号化ツリー)がVVCにおいても採用される。別個のツリーを使用して、符号化ブロック構造は、輝度およびクロマ成分について別個に信号通知される。
また、CUは、(例えば、PUがTUに等しいが、CUより小さいイントラサブパーティション予測、および、PUがCUに等しいが、TUがPUより小さいインター符号化ブロックのサブブロック変換などのような)2つの特定の符号化方法で符号化されたブロック以外は、PUとTUとに設定される。
2.2.2 ブロック全体のマージ
2.2.2.1 並進通常マージモードのマージリスト構築
2.2.2.1.1 履歴に基づく動きベクトル予測(HMVP)
マージリストの設計とは異なり、VVCでは、履歴に基づく動きベクトル予測(HMVP)法が採用されている。
HMVPには、前回符号化された動き情報が記憶される。前回符号化されたブロックの動き情報をHMVP候補として定義する。複数のHMVP候補をHMVP表と表される表に記憶し、この表は符号化/復号化処理中にオンザフライで維持される。新しいタイル/LCU行/スライスの符号化/復号化を開始するとき、HMVP表は空になる。非TPMモードのインター符号化ブロックおよび非サブブロックがあるときはいつでも、関連する動き情報を新しいHMVP候補として表の最後のエントリに追加する。全体の符号化フローを図10に示す。
2.2.2.1.2 通常のマージリスト構築処理
(並進移動のための)通常のマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
ステップ1:空間的候補の導出
ステップ2:HMVP候補の挿入
ステップ3:対の平均候補の挿入
ステップ4:デフォルトの動き候補
HMVP候補は、AMVPおよびマージ候補リスト構築処理の両方に使用することができる。図11は修正されたマージ候補リスト構築処理(青で強調)を示す。TMVP候補を挿入した後、マージ候補リストが満杯でない場合、HMVPテーブルに記憶されたHMVP候補を利用してマージ候補リストに記入することができる。1つのブロックは、通常、動き情報の観点から、最も近接した近傍のブロックとの間に高い相関を有することを考慮し、表におけるHMVP候補をインデックスの降順に挿入する。表の最後のエントリをまずリストに加え、最後に最初のエントリを加える。同様に、HMVP候補に対して冗長性除去が適用される。利用可能なマージ候補の総数がマージ可能なマージ候補の信号通知可能な最大数に達すると、マージ候補リスト構築処理を終了する。
なお、すべての空間的/時間的/HMVP候補は、非IBCモードで符号化される。そうでない場合、通常のマージ候補リストに追加することは許可されない。
HMVP表は、5つまでの正規の動き候補を含み、各々が唯一無二である。
2.2.2.1.2.1 プルーニング処理
冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、候補をリストに加える。このような比較処理をプルーニング処理と呼ぶ。
空間的候補間のプルーニング処理は、現在のブロックのTPMの使用に依存する。
現在のブロックがTPMモードで符号化されていない(例えば、通常のマージ、MMVD、CIIP)場合、空間的マージ候補のためのHEVCプルーニング処理(例えば、5つのプルーニング)が利用される。
2.2.3 三角形予測モード(TPM)
VVCにおいて、インター予測のために三角形パーティションモード(triangle partition mode)がサポートされる。三角形分割モードは、8×8以上であり、マージモードで符号化されるCUにのみ適用され、MMVD又はCIIPモードでは適用されない。これらの条件を満たすCUの場合、CUレベルフラグを信号通知し、三角形分割モードが適用されるかどうかを示す。
このモードを使用する場合、図11に示すように、対角分割又は逆対角分割のいずれかを使用して、1つのCUを2つの三角形のパーティションに等分する。CUにおける各三角形のパーティションは、それ自体の動きを使用してインター予測され、各パーティションに対して単一予測のみが許可される。すなわち、各パーティションは、1つの動きベクトルおよび1つの参照インデックスを有する。従来の双予測と同様にCUごとに2つの動き補償予測しか必要としないようにするために、単一予測動き制約を適用する。
図12は、三角形分割に基づくインター予測の一例を示す。
CUレベルフラグが、現在のCUが三角形パーティションモードで符号化されていることを示す場合、三角形パーティションの方向(対角又は逆対角)を示すフラグ、および2つのマージインデックス(各パーティションに1つ)をさらに信号通知する。各三角形パーティションの各々を予測した後、適応重み付きブレンド処理を使用して、対角または逆対角の縁部に沿ったサンプル値を調整する。これがCU全体の予測信号であり、他の予測モードと同様に、CU全体に対して変換および量子化処理を行う。最後に、三角形分割モードを使用して予測されたCUの動きフィールドを4×4ユニットで記憶する。
通常のマージ候補リストは、動きベクトルを余分にプルーニングすることなく、三角形分割マージ予測に再利用される。通常のマージ候補リストにおける各マージ候補について、そのL0又はL1動きベクトルのうちの1つのみを三角形予測に使用する。また、L0対L1動きベクトルを選択する順番は、そのマージインデックスパリティに基づく。このスキームによれば、通常のマージリストを直接使用することができる。
2.2.3.1 TPMのマージリスト構築処理
基本的には、通常のマージリスト構築処理に若干の修正を加えることができる。具体的には、以下が適用される。
(1) プルーニング処理をどのように実行するかは、現在のブロックのTPMの使用法に依存する。
- 現在のブロックがTPMで符号化されていない場合、空間的マージ候補に適用されるHEVC5プルーニングが呼び出される。
- そうでない場合(現在のブロックがTPMで符号化されている場合)、新しい空間的マージ候補を追加するときに、フルプルーニングが適用される。すなわち、B1をA1と比較し、B0をA1と比較し、B1とB1を比較し、A0をA1,B1と比較し、B0,B2をA1,B1,A0、及びB0と比較する。
(2) B2からの動き情報をチェックするかどうかの条件は、現在のブロックのためのTPMの使用に依存する。
- 現在のブロックがTPMで符号化されていない場合、B2にアクセスし、B2をチェックする前に、4つ未満の空間的マージ候補がある場合にのみ、B2をチェックする。
- そうでない場合(現在のブロックがTPMで符号化されている場合)、B2を追加する前に、利用可能な空間的マージ候補の数にかかわらず、B2に常にアクセスし、チェックする。
2.2.3.2 適応重み付け処理
各三角形予測ユニットを予測した後、2つの三角形予測ユニット間の対角の縁部に適応重み付け処理を施し、CU全体の最終予測を導出する。2つの重み係数グループを以下のように定義する。
輝度サンプルおよび色差サンプルには、それぞれ、{7/8,6/8,4/8,2/8,1/8}および{7/8,4/8,1/8}の第1重み係数グループを使用する。
輝度サンプルおよび色差サンプルには、それぞれ、{7/8,6/8,5/8,4/8,3/8,2/8,1/8}および{6/8,4/8,2/8}の第2重み係数グループを使用する。
2つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数グループを選択する。第2重み係数グループは、以下の条件のいずれか1つが真である場合に使用される。
- 2つの三角形予測ユニットの参照ピクチャは互いに異なる。
- 2つの動きベクトルの水平値の差の絶対値は16画素よりも大きい。
- 2つの動きベクトルの垂直値の差の絶対値は16画素よりも大きい。
そうでない場合、第1重み係数グループを使用する。一例を図13に示す。
2.2.3.3 動きベクトル記憶装置
三角形予測ユニットの動きベクトル(図14中のMv1、Mv2)は、4×4個のグリッドに記憶される。各4×4グリッドに対して、CUにおける4×4グリッドの位置に基づいて、単一予測または双方向予測動きベクトルを記憶する。図14に示すように、非重み付け領域に位置する(すなわち、対角の縁部に位置しない)4×4の格子に対して、Mv1またはMv2のいずれかの単一予測動きベクトルを記憶する。一方、重み付け領域に位置する4×4グリッドについては、双方向予測動きベクトルを記憶する。以下の規則に従って、Mv1およびMv2から双方向予測動きベクトルを導出する。
(1) Mv1およびMv2が異なる方向(L0またはL1)の動きベクトルを有する場合、Mv1およびMv2を単に結合されることで、双方向予測動きベクトルが形成される。
(2) Mv1とMv2の両方が同じL0(またはL1)方向から来ている場合、以下である。
- Mv2の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv2はそのピクチャにスケーリングされる。Mv1とスケーリングされたMv2とを結合させ、双方向予測動きベクトルを形成する。
- Mv1の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv1はそのピクチャにスケーリングされる。スケーリングされたMv1およびMv2を結合して、双方向予測動きベクトルを形成する。
- そうでない場合、重み付け領域のためにMv1のみが記憶される。
2.2.4 動きベクトル差(MMVD)とのマージ
いくつかの実施形態において、提案される動きベクトル表現方法に対して、スキップモードまたはマージモードのいずれかのために究極の動きベクトル表現(UMVE、MMVDとしても知られる)が使用される。
UMVEは、VVCにおける通常のマージ候補リストに含まれるものと同様に、マージ候補を再利用する。マージ候補の中から、基本候補を選択することができ、提案された動きベクトル表現方法によってさらに拡張される。
UMVEは、新しい動きベクトル差(MVD)表現方法を提供し、ここで、開始点、動きの大きさ、および動きの方向を使用して1つのMVDを表す。
図15は、UMVE検索処理の一例を示す。
図16は、UMVE検索点の一例を示す。
本技術は、マージ候補リストをそのまま使用する。しかし、UMVEの拡張のために、デフォルトのマージタイプ(MRG_TYPE_DEFAULT_N)の候補のみを考慮する。
ベース候補インデックスは、開始点を定義する。ベース候補インデックスは、リストにおける候補のうち、最良の候補を以下のように示す。
Figure 2022547157000003
ベース候補の数が1である場合、ベース候補IDXは信号通知されない。
距離インデックスは、動きの大きさの情報である。距離インデックスは、開始点情報からの予め定義された距離を示す。予め定義された距離は、以下の通りである。
Figure 2022547157000004
方向インデックスは、開始点に対するMVDの方向を表す。方向インデックスは、以下に示すように、4つの方向を表すことができる。
Figure 2022547157000005
スキップフラグ又はマージフラグを送信した直後に、UMVEフラグを信号通知する。スキップ又はマージフラグが真である場合、UMVEフラグを構文解析する。UMVEフラグが1である場合、UMVE構文が構文解析される。しかし、1でない場合、AFFINEフラグを構文解析する。AFFINEフラグが1である場合、すなわちAFFINEモードであるが、1でない場合、VTMのスキップ/マージモードのためにスキップ/マージインデックスを構文解析する。
UMVE候補に起因する追加のラインバッファは必要とされない。ソフトウェアのスキップ/マージ候補を直接基礎候補として使用するためである。入力UMVEインデックスを使用して、動き補償の直前にMVの補完を決定する。このために長いラインバッファを保持する必要はない。
現在の共通テスト条件において、マージ候補リストにおける第1又は第2のマージ候補のいずれかをベース候補として選択してもよい。
UMVEは、MV差(MMVD)とのマージ(Merge)としても知られている。
2.2.5 サブブロックベースの技術のためのマージ
いくつかの実施形態において、すべてのサブブロック関連動き候補は、非サブブロックマージ候補の通常マージリストに加え、別個のマージリストに入れられる。
サブブロック関連動き候補を別個のマージリストに入れ、「サブブロックマージ候補リスト」とする。
一例において、サブブロックマージ候補リストは、ATMVP候補およびアフィンマージ候補を含む。
サブブロックマージ候補リストは、以下の順に候補を満たす。
a.ATMVP候補(おそらく利用可能であるか、または利用不可能である)。
b.アフィンマージリスト(継承アフィン候補および構築アフィン候補を含む)。
c.0MV4パラメータアフィンモデルとしてのパディング
2.2.5.1 高度時間動きベクトル予測モジュール(ATMVP)(別名サブブロック時間的動きベクトル予測子、SbTMVP)
ATMVPの基本的な考えは、1つのブロックに対して複数の時間的動きベクトル予測子を導出することである。各サブブロックには、1つの動き情報のセットが割り当てられる。ATMVPマージ候補を生成する場合、ブロックレベル全体の代わりに、8×8レベルで動き補償を行う。
現在の設計において、ATMVPは、以下の2つのサブセクション2.2.5.1.1および2.2.5.1.2にそれぞれ記載される2つのステップで、CU内のサブCUの動きベクトルを予測する。
2.2.5.1.1 初期化動きベクトルの導出
ここで、初期化された動きベクトルをtempMvとする。ブロックA1が利用可能であり、イントラ符号化されていない(例えば、インター符号化またはIBCモードで符号化されている)場合、初期化された動きベクトルを導出するために、以下が適用される。
- 以下のすべての条件が真である場合、tempMvは、mvL1A1によって表され、リスト1からのブロックA1の動きベクトルに等しく設定される。
- リスト1の参照ピクチャインデックスは利用可能であり(-1ではない)、且つ同一位置に配置されたピクチャと同じPOC値を有する(例えば、DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A)]は0に等しい)、
- すべての参照ピクチャは、現在のピクチャに比べてPOCが大きくない(例えば、DiffPicOrderCnt(aPic,currPic)は、現在のスライスのすべての参照ピクチャリストにおけるすべてのピクチャaPicに対して0以下である)。
- 現在のスライスはBスライスである。
- collocated_from_l0_flagは0に等しい。
- そうでない場合、以下のすべての条件が真の場合、tempMvは、mvL0Aによって表され、リスト0からのブロックA1の動きベクトルに等しく設定される。
- リスト0の参照ピクチャインデックスは利用可能である(-1ではない)。
- それは同一位置に配置されたピクチャと同じPOC値を有する(例えば、DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A])は0に等しい)。
- そうでない場合、ゼロ動きベクトルが初期化されたMVとして使用される。
初期化された動きベクトルをスライスヘッダに信号通知される同一位置に配置されたピクチャにおいて、対応するブロック(現在のブロックの中心位置に丸められたMVを加え、必要に応じて一定の範囲にクリップする)を識別する。
ブロックがインター符号化されている場合、第2のステップに進む。そうでない場合、ATMVP候補は利用不可能に設定される。
2.2.5.1.2 サブCU動き導出
第2のステップは、現在のCUをサブCUに分割し、同一位置に配置されたピクチャにおける各サブCUに対応するブロックから各サブCUの動き情報を得る。
1つのサブCUのための対応するブロックがインターモードで符号化される場合、この動き情報を使用して、従来のTMVP処理の場合と異ならない、同一位置に配置されたMVのための導出処理を呼び出すことによって、現在のサブCUの最終的な動き情報を導出する。基本的に、対応するブロックが単一予測または双方向予測のために対象リストXから予測される場合、動きベクトルが利用され、そうでない場合、単一または双方向予測のためにリストY(Y=1-X)から予測され、且つNoBackwardPredFlagが1である場合、リストYのためのMVが利用される。そうでない場合、動き候補を見つけることができない。
初期化されたMVによって識別された同一位置に配置されたピクチャ内のブロックおよび現在のサブCUの位置がイントラ符号化されているかまたはIBC符号化されている場合、または上述したように動き候補を見出すことができない場合、以下がさらに適用される。
同一位置に配置されたピクチャRcolにおける動き領域を取り出すために使用される動きベクトルをMVcolとして表す。MVスケーリングによる影響を最小限に抑えるために、MVcolを導出するための空間的候補リストにおけるMVは、候補MVの参照ピクチャが同一位置に配置されたピクチャである場合、このMVを選択し、スケーリングせずにMVcolとして使用する。そうでない場合、同一位置に配置されたピクチャに最も近い参照ピクチャを有するMVを選択してスケーリングでMVcolを導出する。
本発明の実施例における同一位置に配置された動きベクトル導出処理に係る復号化処理を以下に説明する。
8.5.2.12 同一位置に配置された動きベクトルの導出処理
この処理への入力は以下の通りである。
-現在の符号化ブロックを規定する変数currCb、
-ColPicが規定した同一位置に配置されたピクチャ内の同一位置に配置された符号化ブロックを規定する変数colCb、
-ColPicによって規定された同一位置に配置されたピクチャの左上の輝度サンプルに対して、colCbによって規定された同一位置に配置された輝度符号化ブロックの左上のサンプルを規定する輝度位置(xColCb,yColCb)、
-Xが0または1である、参照インデックスrefIdxLX、
-サブブロック時間的マージ候補sbFlagを示すフラグ。
この処理の出力は以下の通りである。
-1/16の分数サンプル精度での動きベクトル予測mvLXCol。
-可用性フラグavailableFlagLXCol。
変数currPicは、現在のピクチャを指定する。
アレイpredFlagL1Col[x]、mlvL1Col[x]、refIdxL1Col[x][y]は、それぞれ、ColPicで指定された同一位置に配置されたピクチャのPredFlagL0[x][y],MvDmvrL0[x][y]、RefIdxL0[x][y]に等しく設定され、アレイpredFlagL1Col[x][y]、mvL1Col[x][y]、およびrefIdxL1Col[x][y]は、それぞれColPicで指定された同一位置に配置されたピクチャのPredFlagL1[x][y]、MvDmvrL1[x][y]およびRefIdxL1[x][y]に等しく設定される。
変数mvLXColおよびavailableFlagLXColは、以下のように導出される。
-colCbがイントラまたはIBC予測モードで符号化される場合、mvLXColの両方のモジュールは0に等しく設定され、availableFlagLXColは0に等しく設定される。
-そうでない場合、動きベクトルmvCol、参照インデックスrefIdxCol、および参照リスト識別子listColは、以下のように導出される。
-sbFlagが0である場合、availableFlagLXColは1に等しく設定され、以下が適用される。
-predFlagL0Col[xColCb][yColCb]が0である場合、mvCol、refIdxCol及びlistColは、それぞれ、mvL1Col[xColCb][yColCb]、refIdxL1Col[xColCb][yColCb]およびL1に等しく設定される。
-そうでない場合、predFlagL0Col[xColCb][yColCb]が1に等しく、predFlagL1Col[xColCb][yColCb][yColCb]が0である場合、mvCol、refxIdCol及びlistColは、それぞれ、mvL0Col[xColCb][yColCb]、refIdxL0Col[xColCb][yColCb]およびL0に等しく設定される。
-そうでない場合(predFlagL0Col[xColCb][yColCb]が1に等しく、predFlagL1Col[xColCb][yColCb]が1である)、以下の割り当てを行う。
-NoBackwardPredFlagが1である場合、mvCol、refIdxColおよびlistColは、それぞれ、mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]、およびLXに等しく設定される。
-そうでない場合、mvCol、refIdxCol、listColをそれぞれmvLNCol[xColCb][yColCb]、refIdxLNCol[xColCb][yColCb]およびLNに等しく設定し、Nをcollocated_from_l0_flagの値とする。
-そうでない場合(sbFlagが1である)、以下が適用される。
-PredFlagLXCol[xColCb][yColCb]が1の場合、mvCol、refxIdColおよびlistColは、それぞれ、mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]およびLXに等しく設定され、availableFlagLXColは1に等しく設定される。
-そうでない場合、(PredFlagLXCol[xColCb][yColCb]が0である場合)は、以下のように適用される。
-DiffPicOrderCnt(aPic,currPic)が、現在のスライスのすべての参照ピクチャリストaPicにおいて、0以下であり、且つPredFlagLYCol[xColCb][yColCb]が1である場合、mvCol、refxIdCol、およびlistColが、それぞれ、mvLYCol[xColCb][yColCb]、refIdxLYCol[xColCb][yColCb]、およびLYに等しく設定され、Yは!Xであり、Xは、この処理が呼び出されるXの値であり、availableFlagLXColは1に等しく設定される。
-mvLXColの両モジュールは0に等しく設定され、availableFlagLXColは0に等しく設定される。
-availableFlagLXColがTRUEである場合、mvLXColおよびavailableFlagLXColは、以下のように導出される。
-LongTermRefPic(currPic,currCb,refIdxLX,LX)がLongTermRefPic(ColPic,colCb,refIdxCol,listCol)の場合、mvLXColのモジュールは共に0に設定され、availableFlagLXColは0に等しく設定される。
-そうでない場合、変数availableFlagLXColを1に設定し、refPicList[listCol][refIdxCol]を、ColPicによって指定された同一位置に配置されたピクチャにおける符号化ブロックcolbを含むスライスの参照ピクチャリストlistColにおける参照インデックスrefIdxColを有するピクチャに設定し、以下を適用する。
colPocDiff=DiffPicOrderCnt(ColPic,refPicList[listCol][refIdxCol]) (8-402)
currPocDiff=DiffPicOrderCnt(currPic,RefPicList[X][refIdxLX]) (8-403)
-mvColを入力とし、修正されたmvColを出力として、8.5.2.15項で規定されるような同一位置に配置された動きベクトルの時間的動きバッファ圧縮処理が呼び出される。
-RefPicList[X][refIdxLX]が長期参照ピクチャである場合、またはcolPocDiffがcurrPocDiffである場合、mvLXColは、以下のように導出される。
mvLXCol=mvCol (8-404)
-そうでない場合、mvLXColは、動きベクトルmvColのスケーリングされたバージョンとして、以下のように導出される。
tx=(16384+(Abs(td)>>1))/td (8-405)
distScaleFactor=Clip3(-4096,4095,(tb*tx+32)>>6) (8-406)
mvLXCol=Clip3(-131072,131071,(distScaleFactor*mvCol+128-(distScaleFactor*mvCol>=0))>>8)) (8-407)
ここで、tdおよびtbは、以下のように導出される。
td=Clip3(-128,127,colPocDiff) (8-408)
tb=Clip3(-128,127,currPocDiff) (8-409)
2.3 イントラブロックコピー
イントラブロックコピー(IBC)、別名、現在のピクチャの参照は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図17に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.3.1 単一BVリスト
いくつかの実施形態において、IBCにおけるマージモードおよびAMVPモードのためのBV予測子は、以下の要素を含む共通の予測子リストを共有する。
(1)2つの空間的近隣位置(図2のようにA1、B1)
(2)5つのHMVPエントリ
(3)デフォルトでゼロベクトル
リストにおける候補の数は、スライスヘッダから導出される変数によって制御される。マージモードの場合、このリストの最初の6つまでのエントリが使用され、AMVPモードの場合、このリストの最初の2つのエントリが使用される。また、リストは共有マージリスト領域の要件に準拠している(SMR内で同じリストを共有)。
上述のBV予測子候補リストに加え、HMVP候補と既存のマージ候補(A1,B1)とのプルーニング操作を簡素化することができる。簡素化した場合、第1のHMVP候補と空間的マージ候補とを比較するだけであるため、最大2回までのプルーニング操作でよい。
IBC AMVPモードの場合、リストにおける選択されたMVPとのmv差をさらに送信する。IBCマージモードの場合、選択されたMVPをそのまま現在のブロックに対するMVとして使用する。
2.3.2 IBCのサイズ制限
最近のVVCおよびVTM5において、前回のVTMおよびVVCバージョンにおいて、現在のビットストリーム制約に加え、128×128のIBCモードを無効化するための構文制約を明示的に使用することが提案され、これにより、IBCフラグの存在がCUのサイズ<128×128に依存するようになる。
2.3.3 IBCの共有マージリスト
デコーダの複雑性を低減し、並列符号化をサポートするため、いくつかの実施形態において、小さなスキップ/マージ符号化されたCUを並列処理することを有効化するために、CU分割ツリーにおける1つの祖先ノードのすべてのリーフの符号化ユニット(CU)に対して同じマージ候補リストが共有される。祖先ノードをマージ共有ノードと呼ぶ。マージ共有ノードがリーフCUであるように見せかけて、マージ共有ノードにおいて共有マージ候補リストを生成する。
具体的には、以下を適用することができる。
- ブロックの輝度サンプルが32(例えば、4×8または8×4)以下であり、2つの4×4子ブロックに分割される場合、非常に小さなブロック(例えば、2つの隣接する4×4ブロック)間でマージリストを使用する。
- しかしながら、このブロックの輝度サンプルが32よりも大きい場合、1つの分割の後、少なくとも1つの子ブロックが閾値(32)より小さいため、この分割されたすべての子ブロックは、同じマージリストを共有する(例えば、3分割された16×4又は4×16、又は4分割された8×8)。
このような制限は、IBCマージモードにのみ適用される。
2.3.4 構文テーブル
Figure 2022547157000006
Figure 2022547157000007
Figure 2022547157000008
2.4 最大変換ブロックサイズ
64または32のいずれかである最大輝度変換サイズのみが、SPSレベルでのフラグによって有効化される。最大輝度変換サイズに対するクロマサンプリング比から、最大クロマ変換サイズを導出する。
CU/CBサイズが最大輝度変換サイズよりも大きい場合、より小さなTUによる大きなCUのタイリングを呼び出すことができる。
最大輝度変換のサイズをMaxTbSizeYで表す。
Figure 2022547157000009
1に等しいsps_max_luma_transform_size_64_flagは、輝度サンプルの最大変換サイズが64に等しいことを規定する。
0に等しいsps_max_luma_transformation_size_64_flagは、輝度サンプルの最大変換サイズが32に等しいことを規定する。
CtbSizeYが64未満である場合、sps_max_luma_transform_size_64_flagの値は0に等しい。
変数MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、およびMaxTbSizeYは、以下のように導出される。
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY (7-30)
sps_sbt_max_size_64_flag=0は、サブブロック変換を可能にするための最高CU幅および最高CU高さが32個の輝度サンプルであることを指定する。sps_sbt_max_size_64_flag=1は、サブブロック変換を許可するための最大のCUの幅および高さが64個の輝度サンプルであることを指定する。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag ? 64:32) (7-32)
2.4.1 最大変換ブロックサイズに依存するツール
二分木と三分木の分割は、MaxTbSizeYに依存する。
Figure 2022547157000010
Figure 2022547157000011
Figure 2022547157000012
Figure 2022547157000013
2.4.2 イントラ符号化ブロックおよびインター符号化ブロックの復号化処理
現在のイントラ符号化CUのサイズが最大変換ブロックサイズよりも大きい場合、CUは、幅および高さの両方が最大変換ブロックサイズよりも大きくならなくなるまで、より小さなブロック(PU)に再帰的に分割される。すべてのPUは、同じイントラ予測モードを共有するが、イントラ予測のための参照サンプルは異なる。一方、TUはPUに等しく設定される。なお、現在のブロックは、イントラサブパーティション(ISP)モードで符号化されてはならない。
現在のインター符号化CUのサイズが最大変換ブロックサイズよりも大きい場合、CUは、幅および高さの両方が最大変換ブロックサイズよりも大きくならなくなるまで、より小さなブロック(TU)に再帰的に分割される。すべてのTUは同じ動き情報を共有するが、イントラ予測のための参照サンプルは異なる。
8.4.5 イントラブロックの復号化処理
8.4.5.1 イントラブロックの一般的な復号化処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上のサンプルに対する現在の変換ブロックの左上のサンプルを規定するサンプル位置(xTb0,yTb0)、
- 現在の変換ブロックの幅を規定する変数nTbW、
- 現在の変換ブロックの高さを規定する変数nTbH、
- イントラ予測モードを規定する変数predModeIntra、
- 現在のブロックの色成分を規定する変数cIdx。
この処理の出力は、インループ・フィルタリング前の修正された再構成画像である。
最大変換ブロック幅maxTbWidthおよび高さmaxTbHeightは、以下のように導出される。
maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC (8-41)
maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC (8-42)
輝度サンプル位置は、以下のように導出される。
(xTbY,yTbY)=(cIdx==0)?(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC) (8-43)
maxTbSizeに基づいて、以下が適用される。
- IntraSubPartionsSplitTypeがISP_NO_SPLITに等しく、且つnTbWがmaxTbWidthよりも大きい、またはnTbHがmaxTbHeightよりも大きい場合、以下の順序付けられたステップが適用される。
1.変数newTbWおよびnewTbHは、以下のように導出される。
newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW (8-44)
newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH (8-45)
2.本項に規定されるイントラブロックに対する一般的な復号化処理は、位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbWおよびnewTbHと等しく設定された高さnTbH、イントラ予測モードpredModeIntra、および変数cIdxを入力として呼び出され、出力は、ループ内フィルタリング前の修正された再構築ピクチャである。
3.nTbWがmaxTbWidthより大きい場合、本項に規定されるイントラブロックに対する一般的な復号化処理は、(xTb0+newTbW,yTb0)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbWおよびnewTbHと等しく設定された高さnTbH、イントラ予測モードpredModeIntra、および変数cIdxを入力として呼び出され、出力は、ループ内フィルタリング前の修正された再構築ピクチャである。
4.nTbHがmaxTbHeightより大きい場合、本項に規定されるイントラブロックに対する一般的な復号化処理は、(xTb0,yTb0+newTbH)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbWおよびnewTbHと等しく設定された高さnTbH、イントラ予測モードpredModeIntra、および変数cIdxを入力として呼び出され、出力は、ループ内フィルタリング前の修正された再構築ピクチャである。
5.nTbWがmaxTbWidthより大きく、nTbHがmaxTbHeightより大きい場合、本項に規定されるイントラブロックに対する一般的な復号化処理は、(xTb0+newTbW,yTb0+newTbH)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbWおよびnewTbHと等しく設定された高さnTbH、イントラ予測モードpredModeIntra、および変数cIdxを入力として呼び出され、出力は、ループ内フィルタリング前の修正された再構築ピクチャである。
- あるいは、以下の順序付けられたステップが適用される(通常のイントラ予測処理)。
- …
8.5.8 インター予測モードで符号化された符号化ブロックの残差信号に対する復号化処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上のサンプルに対する現在の変換ブロックの左上のサンプルを規定するサンプル位置(xTb0,yTb0)、
- 現在の変換ブロックの幅を規定する変数nTbW、
- 現在の変換ブロックの高さを規定する変数nTbH、
- 現在のブロックの色成分を規定する変数cIdx。
この処理の出力は、(nTbW)×(nTbH)のアレイresSamplesである。
最大変換ブロック幅maxTbWidthおよび高さmaxTbHeightは、以下のように導出される。
maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC (8-883)
maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC (8-884)
輝度サンプル位置は、以下のように導出される。
(xTbY,yTbY)=(cIdx==0)?(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC) (8-885)
maxTbSizeに応じて、以下が適用される。
- nTbWがmaxTbWidthよりも大きい、またはnTbHがmaxTbHeightよりも大きい場合、以下の順序付けられたステップが適用される。
1.変数newTbWおよびnewTbHは、以下のように導出される。
newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW (8-886)
newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH (8-887)
2.位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbW、newTbHと等しく設定された高さnTbH、および変数cIdxを入力として、本項に規定されるようなインター予測モードで符号化された符号化ユニットの残差信号に対する復号化処理を呼び出し、出力は、ループ内フィルタリング前の修正された再構築ピクチャである。
3.nTbWがmaxTbWidthよりも大きい場合、(xTb0+newTbW,yTb0)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbW、newTbHと等しく設定された高さnTbH、変数cIdxを入力として、本項に規定されるように、インター予測モードで符号化された符号化ユニットの残差信号の復号化処理処理を呼び出し、出力は修正された再構築ピクチャである。
4.nTbHがmaxTbHeightよりも大きい場合、(xTb0,yTb0+newTbH)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbW、newTbHと等しく設定された高さnTbH、変数cIdxを入力として、本項に規定されるように、インター予測モードで符号化された符号化ユニットの残差信号を復号化する処理を呼び出し、出力は、インループフィルタリング前の修正された再構築ピクチャである。
5.nWTbWがmaxTbWidthより大きく、かつ、nTbHがmaxTbHeightより大きい場合、(xTb0+newTbW,yTb0+newTbH)と等しく設定された位置(xTb0,yTb0)、newTbWと等しく設定された変換ブロック幅nTbW、newTbHと等しく設定された高さnTbH、変数cIdxを入力として、本項に規定されるように、インター予測モードで符号化された符号化ユニットの残差信号を復号化する処理を呼び出し、出力は、インループフィルタリング前の修正された再構築ピクチャである。
- あるいは、cu_sbt_flagが1に等しい場合、以下が適用される。
- 変数sbtMinNumFourth、wPartIdx、およびhPartIdxは、以下のように導出される。
sbtMinNumFourths=cu_sbt_quad_flag?1:2 (8-888)
wPartIdx=cu_sbt_horizontal_flag?4:sbtMinNumFourths (8-889)
hPartIdx=!cu_sbt_horizontal_flag?4:sbtMinNumFourths (8-890)
- 変数xPartIdxおよびyPartIdxは、以下のように導出される。
- cu_sbt_pos_flagが0に等しい場合、xPartIdxおよびyPartIdxは0に等しく設定される。
- そうでない場合(cu_sbt_pos_flagが1に等しい)、変数xPartIdxおよびyPartIdxは、以下のように導出される。
xPartIdx=cu_sbt_horizontal_flag?0:(4-sbtMinNumFourths) (8-891)
yPartIdx=!cu_sbt_horizontal_flag?0:(4-sbtMinNumFourths) (8-892)
- 変数xTbYSub、yTbYSub、xTb0Sub、yTb0Sub、nTbWSubandnTbHSubは、以下のように導出される。
xTbYSub=xTbY+((nTbW*((cIdx==0)?1:SubWidthC)*xPartIdx/4) (8-893)
yTbYSub=yTbY+((nTbH*((cIdx==0)?1:SubHeightC)*yPartIdx/4) (8-894)
xTb0Sub=xTb0+(nTbW*xPartIdx/4) (8-895)
yTb0Sub=yTb0+(nTbH*yPartIdx/4) (8-896)
nTbWSub=nTbW*wPartIdx/4 (8-897)
nTbHSub=nTbH*hPartIdx/4 (8-898)
- 輝度位置(xTbYSub,yTbYSub)、変数cIdx、nTbWSub、nTbHSubを入力として、8.7.2項に規定されるようなスケーリングおよび変換処理を呼び出し、出力は(nTbWSub)×(nTbHSub)のアレイresSamplesTbである。
- 残差サンプルresSamples[x][y](x=0..nTbW-1,y=0..nTbH-1)を0に等しく設定する。
- 残差サンプルresSamples[x][y](x=xTb0Sub..xTb0Sub+nTbWSub-1,y=yTb0Sub..yTb0Sub+nTbHSub-1)は、以下のように導出される。
resSamples[x][y]=resSamplesTb[x-xTb0Sub][y-yTb0Sub] (8-899)
- あるいは、輝度位置(xTbY,yTbY)、変数cIdx、変換幅nTbW、および変換高さnTbHを入力として、8.7.2項に規定されるようなスケーリングおよび変換処理を呼び出し、出力は(nTbW)×(nTbH)のアレイ再サンプルである。
2.5 低周波非分離変換(LFNST)(別名、縮小二次変換(RST)/非可分二次変換(NSST))
JEMにおいて、二次変換は、順方向一次変換と量子化(エンコーダにおいて)の間、および逆量子化と逆方向一次変換(デコーダ側において)の間に適用される。図18に示すように、ブロックサイズにより4×4(または8×8)個の二次変換を行う。例えば、4×4の二次変換は、小さなブロック(例えば、min(幅、高さ)<8)に適用され、8×8の二次変換は、8×8ブロック当たりより大きなブロック(例えば、min(幅、高さ)>4)に適用される。
二次変換には、非可分変換が適用されるので、これは非可分二次変換(Non-Separable Secondary Transform、NSST)とも呼ばれている。全体で35個の変換セットがあり、1つの変換セット当たり3つの非可分変換行列(カーネル、それぞれ16×16行列を有する)が使用される。
イントラ予測方向に従って、低周波非分離変換(LFNST)としても知られる縮小二次変換(RST)を導入し、(35個の変換セットの代わりに)4つの変換セットのマッピングを導入した。この寄与において、、8×8ブロックおよび4×4ブロックのために、それぞれ16×48および16×16行列が使用される。表記の便宜上、16×48変換をRST8×8として、16×16変換をRST4×4として表す。このような方法は、近年、VVCによって採用されている。
図19は、縮小二次変換(RST)の一例を示す。
二次の順方向および逆方向変換は、一次変換の処理ステップとは別個の処理ステップである。
エンコーダの場合、まず一次順方向変換を行い、次に二次順方向変換および量子化、並びにCABACビット符号化を行う。デコーダ、CABACビット復号化、および逆量子化の場合、まず二次逆変換を実行し、次に一次逆変換を行う。RSTは、イントラ符号化TUsにのみ適用される。
3.本明細書に開示される技術案によって解決される例示的な技術的問題
現在のVVC設計は、IBCモードおよび変換設計の観点から、以下の問題を有する。
(1) IBCモードフラグの信号通知は、ブロックサイズの制限に依存する。しかしながら、IBCスキップモードフラグは、最悪の場合を変えられないものではない(例えば、N×128または128×N等の大きなブロックは、依然としてIBCモードを選択することができる)。
(2) 現在のVVCにおいて、変換ブロックのサイズは常に64×64に等しく、変換ブロックのサイズは常に符号化ブロックのサイズに設定されるとする。IBCブロックサイズが変換ブロックサイズよりも大きい場合を対処する方法は不明である。
(3) IBCは、同じ映像ユニット(例えば、スライス)内のフィルタリングされていない構築サンプルを使用する。しかしながら、フィルタリングされたサンプル(例えば、デブロックフィルタ/SAO/ALFを経由する)は、フィルタリングされていないサンプルに比べて歪みが小さい場合がある。フィルタリングされたサンプルを使用することは、さらなる符号化利得をもたらす場合がある。
(4) LFNST行列のコンテキストモデリングは、一次変換およびパーティションタイプ(単一またはデュアルツリー)に依存する。しかし、当方の分析からは、選択されたRST行列が一次変換と相関を有するという、明確な依存性がない。
4.技術および実施形態の例
本明細書において、イントラブロックコピー(IBC)は、現在のIBC技術に限定されるものではなく、従来のイントラ予測方法を除いて、現在のスライス/タイル/ブリック/サブピクチャ/ピクチャ/他の映像ユニット(例えば、CTU行)内の参照サンプルを使用する技術として解釈されてもよい。一例において、参照サンプルは、ループ内フィルタリング処理(例えば、デブロックフィルタ、SAO、ALF)が呼び出されない再構築サンプルである。
VPDUのサイズは、vSizeX*vSizeYで表されることができる。一例において、vSizeX=vSizeY=min(ctbSizeY,64)とし、ctbSizeYは、CTBの幅/高さであるとする。VPDUは、左上の位置が、ピクチャの左上に対して(m*vSize,n*vSize)であるvSize*vSizeブロックであり、m、nは整数である。代替的に、vSizeX/vSizeYは、64などの固定数である。
以下の詳細な発明は、一般的な概念を説明するための例であると考えられるべきである。これらの発明は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。
IBCの信号通知と使用法について
現在のブロックのサイズをWcurr×Hcurrで表し、最大許容IBCブロックのサイズをWIBCMax×HIBCMaxで表すとする。
1.IBC符号化ブロックは、分割情報を信号通知することなく、複数のTB/TUに分割されてもよい。現在のIBCコードブロックサイズをWcurr×Hcurrで表す。
a.一例において、Wcurrが、第1の閾値より大きく、および/またはHcurrが、第2の閾値よりも大きい場合、分割を呼び出すことができる。そのため、TBサイズは現在のブロックサイズよりも小さい。
i.一例において、第1および/または第2のしきい値は、MaxTbSizeYで表される最大変換サイズである。
b.一例において、TU/TBの幅または高さのいずれかが閾値以下になるまで、再帰的分割を呼び出してもよい。
i.一例において、再帰的分割は、インター符号化された残差ブロックに利用されるものと同じであってもよく、例えば、毎回、幅がMaxTbSizeYよりも大きい場合、幅を半分にし、高さがMaxTbSizeYよりも大きい場合、高さを半分に分ける。
ii.代替的に、TU/TBの分割幅および高さがそれぞれ閾値以下になるまで、再帰的分割を呼び出してもよい。
c.代替的に、複数のTB/TUのすべてまたは一部は、同じ動き情報(例えば、BV)を共有してもよい。
2.IBCを有効化するか無効化するかは、最大変換サイズに依存する(例えば、本明細書におけるMaxTbSizeY)。
a.一例において、現在の輝度ブロックの寸法(幅および/または高さ)または対応する輝度ブロックの寸法(幅および/または高さ)(現在のブロックがクロマブロックである場合)が輝度サンプルにおける最大変換サイズよりも大きい場合、IBCは無効化され得る。
i.一例において、ブロックの幅および高さの両方が輝度サンプルにおける最大変換サイズよりも大きい場合、IBCは無効化され得る。
ii.一例において、ブロックの幅または高さのいずれかが輝度サンプルにおける最大変換サイズよりも大きい場合、IBCは無効化され得る。
b.一例において、IBCの使用の指示を信号通知するかどうか、および/または、どのように通知するかは、ブロックの寸法(幅および/または高さ)および/または最大変換サイズに依存し得る。
i.一例において、IBCの使用の指示は、IBCスキップフラグ(例えば、cu_skip_flag)をI tile/slice/brick/subpictureに含んでもよい。
1) 一例において、cu_skip_flagは、WcurrがMaxTbSizeYより大きい、および/またはHcurrがMaxTbSizeYよりも大きい場合、信号通知されなくてもよい。
2) 代替的に、cu_skip_flagは、WcurrがMaxTbSizeY以下である、および/またはHcurrがMaxTbSizeY以下である場合、信号通知されてもよい。
3) 一例において、cu_skip_flagは、WcurrがMaxTbSizeYより大きい、および/またはHcurrがMaxTbSizeYよりも大きい場合、信号通知してもよいが、コンフォーマンスビットストリームでは、0である必要がある。
4) さらに、例えば、現在のtile/slice/brick/subpictureがI tile/slice/brick/subpictureであるとき、上記方法を呼び出してもよい。
ii.一例において、IBCの使用の指示は、IBCモードフラグ(例えば、pred_mode_ibc_flag)を含んでもよい。
1) 一例において、pred_mode_ibc_flagは、WcurrがMaxTbSizeYより大きい、および/またはHcurrがMaxTbSizeYよりも大きい場合、信号通知されなくてもよい。
2) 代替的に、pred_mode_ibc_flagは、WcurrがMaxTbSizeY以下である、および/またはHcurrがMaxTbSizeY以下である場合、信号通知されてもよい。
一例において、pred_mode_ibc_flagは、WcurrがMaxTbSizeYより大きい、および/またはHcurrがMaxTbSizeYよりも大きい場合、信号通知してもよいが、コンフォーマンスビットストリームでは、0である必要がある。
iii.一例において、特定のゼロフォース条件が満たされる場合、IBC符号化ブロックの残差ブロックは、強制的にすべてゼロにされてもよい。
1) 一例において、WcurrがMaxTbSizeYより大きいおよび/またはHcurrがMaxTbSizeYより大きい場合、IBC符号化ブロックの残差ブロックは、すべてゼロにされてもよい。
2) 一例において、Wcurrが第1の閾値よりも大きい(例えば、64/vSizeX)および/またはHcurrが第2の閾値よりも大きい(例えば、64/vSizeY)場合、IBC符号化ブロックの残差ブロックは、強制的にすべて0にされてもよい。
3) 代替的に、上記の場合、符号化ブロックフラグ(例えば、cu_cbf,tu_cbf_cb,tu_cbf_cr,tu_cbf_luma)の信号通知をスキップしてもよい。
4) 代替的に、符号化ブロックフラグ(例えば、cu_cbf,tu_cbf_cb,tu_cbf_cr,tu_cbf_luma)の信号通知は、変更されずに維持されてもよいが、適合ビットストリームは、このフラグが0であることを満たすものとする。
iv.一例において、符号化ブロックフラグ(例えば、cu_cbf,tu_cbf_cb,tu_cbf_cr,tu_cbf_luma)を信号通知するかどうかは、IBCの使用法および/または許容されるIBCサイズの閾値に依存し得る。
1) 一例において、現在のブロックがIBCモードであり、WcurrがMaxTbSizeYより大きく、および/またはHcurrがMaxTbSizeYより大きい場合、符号化ブロックフラグ(例えば、cu_cbf,tu_cbf_cb,tu_cbf_cr,tu_cbf_luma)はスキップしてもよい。
2) 一例において、現在のブロックはIBCモードであり、Wcurrが第1の閾値(例えば、64/vSizeX)および/またはHよりも大きいcurrが第2の閾値よりも大きい場合(例えば、64/vSizeY)、符号化ブロックフラグの信号通知(例えば、cu_cbf,tu_cbf_cb,tu_cbf_cr,tu_cbf_luma)はスキップしてもよい。
3.IBCスキップモードの使用の指示を信号通知するかどうかは、現在のブロックの寸法(幅および/または高さ)および最大許容IBCブロックサイズ(例えば、vSizeX/vSizeY)に依存し得る。
a.一例において、cu_skip_flagは、WcurrがWIBCMaxより大きい場合、および/またはHcurrがHIBCMaxより大きい場合には信号通知されなくてもよい。
i.代替的に、WcurrがWIBCMax以下であるおよび/またはHcurrがHIBCMax以下である場合、cu_skip_flagは信号通知されなくてもよい。
b.代替的に、現在のtile/slice/brick/subpictureがI tile/slice/brick/subpictureであるとき、上記方法を呼び出してもよい。
c.一例において、WIBCMaxとHIBCMaxは両方とも64に等しい。
d.一例において、WIBCMaxをvSizeXに設定し、HIBCMaxをvSizeYに等しく設定する。
e.一例において、WIBCMaxは、最大変換ブロックの幅に設定され、HIBCMaxは、最大変換ブロックのサイズの高さに等しく設定される。
IBC/インター符号化ブロックの再帰的分割について
4.IBC/インター符号化ブロック(CU)が、分割情報を信号通知することなく(例えば、ブロックサイズが最大変換ブロックサイズよりも大きい)、複数のTB/TUに分割される場合、CU全体に対して1回動き情報を信号通知するのではなく、複数回動き情報を信号通知する、または導出することが提案される。
a.一例において、すべてのTB/TUは、1回信号通知され得る同じAMVP/Mergeフラグを共有してもよい。
b.一例において、動き候補リストは、CU全体に対して1回構築されてもよいが、異なるTB/TUには、リストにおける異なる候補が割り当てられてもよい。
i.一例において、割り当てられた候補のインデックスは、ビットストリームにおいて符号化されてもよい。
c.一例において、動き候補リストは、現在のCU内の近傍のTB/TUの動き情報を用いずに構築されてもよい。
i.一例において、動き候補リストは、現在のCUに対する空間的に近傍のブロック(隣接しているまたは隣接していない)の動き情報にアクセスすることによって構築されてもよい。
5.IBC/インター符号化ブロック(CU)が、分割情報を信号通知することなく、複数のTB/TUに分割される(例えば、ブロックサイズが最大変換ブロックサイズよりも大きい)場合、第2のTU/TBにおける少なくとも1つの再構築されたまたは予測されたサンプルによって、第1のTU/TBを予測してもよい。
a.BV妥当性検査は、各TU/TBごとに別々に行われてもよい。
6.IBC/インター符号化ブロック(CU)が、分割情報を信号通知することなく、複数のTB/TUに分割される(例えば、ブロックサイズが最大変換ブロックサイズよりも大きい)場合、第2のTU/TBにおけるいずれかの再構築または予測されたサンプルによって、第1のTU/TBを予測できない。
a.BV妥当性検査は、符号化ブロック全体に対して行われてもよい。
IBC符号化ブロックに対する予測ブロック生成について
7.IBC予測ブロック生成のために、フィルタリングされた再構築参照サンプルを使用することが提案される。
a.一例において、フィルタリングされた再構築参照サンプルは、非ブロック化フィルタ/バイラテラルフィルタ/SAO/ALFを適用することによって生成されてもよい。
b.一例において、IBC符号化ブロックの場合、少なくとも1つの参照サンプルはフィルタリング後であり、少なくとも1つの参照サンプルはフィルタリング前である。
8.フィルタリングされた参照サンプルおよびフィルタリングされていない再構築参照サンプルの両方を、IBC予測ブロック生成に使用してもよい。
a.一例において、フィルタリングされた再構築参照サンプルは、非ブロック化フィルタ/バイラテラルフィルタ/SAO/ALFを適用することによって生成されてもよい。
b.一例において、IBCブロックのための予測のために、予測の一部は、サンプルからフィルタリングされたものであり、他の部分は、フィルタリングされていないサンプルからのものでもよい。
9.IBC予測ブロック生成のために、再構築参照サンプルのフィルタリングされた値を使用するか、またはフィルタリングされていない値を使用するかは、再構築サンプルの位置に依存し得る。
a.一例において、この決定は、現在のCTUおよび/または参照サンプルに及ぶCTUに対する再構築サンプルの相対位置に依存し得る。
b.一例において、基準サンプルが現在のCTU/CTBの外側にあるか、または異なるCTU/CTB内にあり、且つCTU境界に対して大きな距離(例えば、4画素)を有する場合、対応するフィルタリングされたサンプルを利用してもよい。
c.一例において、参照サンプルが現在のCTU/CTB内にある場合、フィルタリングされていない再構築サンプルを利用して予測ブロックを生成してもよい。
d.一例において、参照サンプルが現在のVPDUの外側にある場合、対応するフィルタリングされたサンプルを利用してもよい。
e.一例において、参照サンプルが現在のVPDU内にある場合、フィルタリングされていない再構築サンプルを利用して予測ブロックを生成してもよい。
MVD符号化について
動きベクトル(またはブロックベクトル)、または動きベクトルの差またはブロックベクトルの差を(Vx,Vy)で表す。
10.AbsVで表される動きベクトル(例えば、VxまたはVy)の成分の絶対値を、第1の部分がAbsV-((AbsV>>N)<<N)(例えば、AbsV&(1<<N)、最下位Nビット)に等しく、他の部分が(AbsV>>N)(例えば、残りの最上位ビット)である2つの部分に分割することが提案される。各部分は個々に符号化されてもよい。
a.一例において、1つの動きベクトルまたは動きベクトルの差の各成分は、別個に符号化されてもよい。
i.一例において、第1の部分は、固定長符号化、例えば、Nビットで符号化される。
1) 代替的に、第1の部分が0であるかどうかを示すために、第1のフラグを符号化してもよい。
a.さらに、代替的に、そうでない場合は、第1の部分の値から1を引いた値を符号化する。
ii.一例において、MV/MVDのサイン情報を有する第2の部分は、現在のMVD符号化方法で符号化されてもよい。
b.一例において、1つの動きベクトルまたは動きベクトルの差の各成分の第1の部分は、一緒に符号化されてもよく、第2の部分は、別個に符号化されてもよい。
i.一例において、VxおよびVyの第1の部分は、2Nビットでの新しい正の値(例えば、(Vx<<N)+Vy))になるように形成されてもよい。
1) 一例において、第1のフラグは、新しい正の値が0に等しいかどうかを示すように符号化されてもよい。
a.さらに、代替的に、そうでない場合は、新しい正の値から1を引いた値を符号化する。
2) 代替的に、この新しい正の値は、固定長符号化または指数ゴロム符号化(例えば、EG-0th)によって符号化されてもよい。
ii.一例において、MV/MVDのサイン情報を有する1つの動きベクトルの各成分の第2の部分は、現在のMVD符号化方法を使用して符号化されてもよい。
c.一例において、1つの動きベクトルの各成分の第1の部分を一緒に符号化してもよく、第2の部分も一緒に符号化してもよい。
d.一例において、Nは、1または2のような正の値である。
e.一例において、Nは、動きベクトルの記憶に使用されるMVの精度に依存し得る。
i.一例において、動きベクトルの記憶に使用されるMV精度が1/2M画素である場合、NをMに設定する。
1) 一例において、動きベクトルの記憶に使用されるMV精度が1/16画素である場合、Nは4に等しい。
2) 一例において、動きベクトルの記憶に使用されるMV精度が1/8画素である場合、Nは3に等しい。
3) 一例において、動きベクトルの記憶に使用されるMV精度が1/4画素である場合、Nは2に等しい。
f.一例において、Nは、現在の動きベクトル(例えば、IBCにおけるブロックベクトル)のMV精度に依存し得る。
i.一例において、BVが1画素の精度である場合、Nは1に設定されてもよい。
SBTに関して
11.サブブロック変換を許可するために、最大CU幅および/または高さの指示を信号通知するかどうかは、最大許容変換ブロックサイズに依存し得る。
a.一例において、サブブロック変換を許可するための最大CU幅および最大CU高さが、64または32輝度サンプル(例えば、sps_sbt_max_size_64_flag)であるかどうかは、最大許容変換ブロックサイズの値(例えば、sps_max_luma_transform_size_64_flag)に依存し得る。
i.一例において、sps_sbt_max_size_64_flagは、sps_sbt_enabled_flagとsps_max_luma_transform_size_64_flagの両方が真である場合にのみ、信号通知される。
LFNST行列インデックスについて
12.LFNST/LFNST行列インデックス(例えば、lfnst_idx)の使用を符号化するために、2つのコンテキストを使用することが提案され、ここで、選択は、純粋にパーティションツリーの使用に基づく。
g.一例において、単一のツリーパーティションの場合、1つのコンテキストが利用され、デュアルツリーの場合、一次変換への依存にかかわらず別のコンテキストが利用される。
13.デュアルツリーおよび/またはスライスタイプおよび/または色成分の使用に基づいて、LFNST/LFNST行列インデックス(例えば、lfnst_idx)の使用を符号化することが提案される。
5.追加の例示的な実施形態
Figure 2022547157000014
5.1 実施形態#1
Figure 2022547157000015
5.2 実施形態#2
Figure 2022547157000016
図20は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2000を示すブロック図である。様々な実装形態は、システム2000のモジュールの一部又は全部を含んでもよい。システム2000は、映像コンテンツを受信するための入力ユニット2002を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット2002は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム2000は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール2004を含んでもよい。符号化モジュール2004は、入力ユニット2002から符号化モジュール2004の出力への映像の平均ビットレートを低減して、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール2004の出力は、モジュール2006によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット2002において受信された、記憶された又は通信された映像のビットストリーム(又は符号化)表現は、モジュール2008によって使用されて、表示インターフェースユニット2010に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダで使用され、対応する復号化ツール又は動作であり符号化の結果を逆にするものは、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理および/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図21は、映像処理装置2100のブロック図である。装置2100は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置2100は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置2100は、1つ以上の処理装置2102と、1つ以上のメモリ2104と、映像処理ハードウェア2106と、を含んでもよい。1つまたは複数のプロセッサ2102は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)2104は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2106は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
本発明の実施形態において、次の解決策を好適な解決策として実施することができる。
以下の解決策は、前章に記載された項目(例えば、項目1)に記載された追加の技術とともに実施されてもよい。
1.映像処理方法(例えば、図22に示す方法2200)であって、イントラブロックコピーツールに基づく、映像領域における映像ブロックの符号化表現と映像ブロックとの変換のために、映像ブロックを複数の変換ユニットに分割することを許可することを判定することであって、この判定は映像ブロックの符号化条件に基づいて行われ、この符号化表現はこの分割の信号通知を省略する、判定すること(2202)と、この分割に基づいて変換を行うこと(2204)と、を含む方法。
2.前記符号化条件は、前記映像ブロックの寸法に対応する、解決策1に記載の方法。
3.前記映像ブロックの幅が第1の閾値よりも大きいことによって、前記分割が許可されると判定されるか、または、前記映像ブロックの高さが第2の閾値よりも大きいことによって、前記分割が許可されると判定される、解決策2に記載の方法。
4.前記第1の閾値および/または前記第2の閾値は、前記映像領域に対する最大変換サイズである、解決策3に記載の方法。
5.前記分割は前記映像ブロックに再帰的に適用される、解決策1~4のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目2)に記載された追加の技術とともに実施されてもよい。
6.映像処理方法であって、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、映像領域に対する最大変換サイズに基づいて、映像ブロックの変換のためにイントラブロックコピー(IBC)ツールが有効化されているかどうかを判定することと、この判定に基づいて変換を行うことと、を含む方法。
7.前記映像ブロックはクロマブロックであり、最大変換サイズは対応する輝度ブロックのそれに対応し、最大変換サイズが閾値よりも大きいことに起因してIBCは無効化される、解決策6に記載の方法。
8.前記符号化表現における構文要素は、前記映像ブロックの寸法または基準を満たす最大変換サイズによって前記IBCツールが有効化されているかどうかを示す、解決策6または7に記載の方法。
9.IBCツールが有効化されていると判定されると、この変換は、ゼロフォーシング条件に基づいて、映像ブロックのための残差ブロックを強制的にすべてゼロにすることをさらに含む、解決策6~8のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目3)に記載された追加の技術とともに実施されてもよい。
10.映像処理方法であって、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、変換のためのイントラブロックコピー(IBC)ツールの信号通知が符号化表現に含まれているかどうかを判定することと、この判定に基づいて変換を行うことと、を含み、この判定は、映像ブロックの幅および/または高さと映像領域のための最大許容IBCブロックサイズとに基づく、方法。
11.幅が第1の閾値よりも大きいか、または高さが第2の閾値よりも大きいことに起因して、信号通知が含まれない、解決策10に記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目4)に記載された追加の技術とともに実施されてもよい。
12.映像処理方法であって、イントラブロックコピー(IBC)ツールを使用して、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、映像ブロックを複数の変換ユニット(TU)に分割することを変換のために許可することを判定することと、この判定に基づいて変換を行うことと、を含み、変換は、複数のTUに対して別個の動き情報を使用することを含む、方法。
13.複数のTUが、同じ高度動きベクトル予測子またはマージモードフラグを共有するように制約される、解決策12に記載の方法。
14.前記変換中に、複数のTUのうちの1つに対する動き情報を、複数のTUのうちの別のTUの動き情報を使用せずに判定する、解決策12に記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目5)に記載された追加の技術とともに実施されてもよい。
15.複数のTUの第1のTUが、複数のTUの第2のTUから予測される、解決策12~14のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目6)に記載された追加の技術とともに実施されてもよい。
16.複数のTUの第2のTUからの複数のTUの第1のTUの予測が無効化される、解決策12~15のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目7)に記載された追加の技術とともに実施されてもよい。
17.映像処理方法であって、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、イントラブロックコピーツールがこの変換のために有効化されていると判定することと、イントラブロックコピーツールを使用して変換を行うことと、を含み、映像領域のフィルタリングされた再構築サンプルを使用して映像ブロックの予測を行う、方法。
18.前記フィルタリングされた再構築サンプルは、前記再構築サンプルにインループフィルタを適用することで生成されたサンプルを含み、前記インループフィルタは、非ブロック化フィルタ、バイラテラルフィルタ、またはサンプル適応オフセットもしくは適応ループフィルタである、解決策17に記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目8)に記載された追加の技術とともに実施されてもよい。
19.規則に基づいて、予測は、さらに、映像領域のフィルタリングされていない再構築サンプルを選択的に使用する、解決策17~18のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目9)に記載された追加の技術とともに実施されてもよい。
20.前記規則は、前記再構築されたサンプルの位置に依存する、解決策19に記載の方法。
21.前記規則に使用される前記再構築サンプルの位置は、前記映像ブロックの符号化ツリーユニットに関する前記再構築サンプルの相対位置である、解決策20に記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目10)に記載された追加の技術とともに実施されてもよい。
22.映像処理方法であって、複数の映像ブロックを含む映像と該映像の符号化表現との変換を行うことを含み、少なくともいくつかの映像ブロックは、動きベクトル情報を使用して符号化され、動きベクトル情報は、この動きベクトル情報の絶対値の第1の下位ビットに基づく第1の部分として、また、第1の下位ビットよりも上位である残りのより上位ビットに基づく第2の部分として、符号化表現で表される、方法。
23.AbsVとして表される動きベクトルVの絶対値を、AbsV-((AbsV>>N)<<N)またはAbsV&(1<<N)に等しい第1の部分に分割し、第2の部分が(AbsV>>N)に等しく、Nが整数である、解決策22に記載の方法。
24.前記第1の部分と前記第2の部分とは、前記符号化表現において別々に符号化される、解決策22~23のいずれかに記載の方法。
25.x動きベクトルの第1の部分を、y動きベクトルの第1の部分と同じ位置で一緒に符号化する、解決策22~24のいずれかに記載の方法。
26.x動きベクトルの第2の部分とy動きベクトルの第2の部分とを別々に符号化する、解決策25に記載の方法。
27.Nが、動きベクトルの記憶に使用される精度の関数である、解決策22~26のいずれかに記載の方法。
以下の解決策は、前章に記載された項目(例えば、項目11)に記載された追加の技術とともに実施されてもよい。
28.映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、サブブロック変換ツールが変換のために有効化されているかどうかを判定することと、この判定に基づいてこの変換を行うこととを含み、この判定は、この映像領域の最大許容変換ブロックサイズに基づいて行われ、この最大許容変換ブロックサイズに基づいて、条件付きでこの符号化表現に信号通知を含める、映像処理方法。
以下の解決策は、前章に記載された項目(例えば、項目12、13)に記載された追加の技術とともに実施されてもよい。
29.映像処理方法であって、映像領域の映像ブロックの符号化表現と映像ブロックとの変換のために、低周波非分離変換(LFNST)が変換中に使用されるかどうかを判定することと、この判定に基づいて変換を行うことと、を含み、この判定は、映像ブロックに適用される符号化条件に基づき、LFNSTおよびこのLFNSTのための行列インデックスは、2つのコンテキストを使用して符号化表現で符号化される、方法。
30.前記符号化条件は、使用されるパーティションツリー、または前記映像ブロックのスライスタイプ、または前記映像ブロックの色成分同一性を含む、解決策29に記載の方法。
31.前記映像領域は符号化ユニットを含み、前記映像ブロックは前記映像領域の輝度成分またはクロマ成分に対応する、解決策1~30のいずれかに記載の方法。
32.前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成することを含む、解決策1~31のいずれかに記載の方法。
33.前記変換は、前記ビットストリーム表現から前記現在の映像ブロックのサンプルを生成することを含む、解決策1~31のいずれかに記載の方法。
34.解決策1~33のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
35.実行時に、解決策1~33のいずれか1つ以上に記載の方法を処理装置に実装させるためのコードが記憶されたコンピュータ可読媒体。
36.本明細書に記載される方法、システムまたは装置。
図23は、本技術に従った映像処理方法2300を示すフローチャートである。方法2300は、工程2310において、映像の映像領域における現在のブロックとこの映像の符号化表現との変換のために、現在のブロックを複数の変換ユニットに分割することを、現在のブロックの特徴に基づいて許可することを判定することを含む。符号化表現において、分割の信号通知は省略される。方法2300は、動作2320において、その判定に基づいて変換を行うことを含む。
いくつかの実施形態において、現在のブロックの特徴は現在のブロックの寸法を含む。いくつかの実施形態において、現在のブロックの幅が第1の閾値より大きい場合、分割は変換のために呼び出される。いくつかの実施形態において、現在のブロックの高さが第2閾値より大きい場合、前記分割は前記変換のために呼び出される。いくつかの実施形態において、現在のブロックを分割することは、複数の変換ユニットの1つの寸法が閾値以下になるまで、現在のブロックを再帰的に分割することを含む。いくつかの実施形態において、現在のブロックの幅が第1の閾値以下になるまで、現在のブロックの幅が再帰的に半分に分けられる。いくつかの実施形態において、現在のブロックの高さが第2の閾値以下になるまで、現在のブロックの高さが再帰的に半分に分けられる。いくつかの実施形態において、現在のブロックの幅が第1の閾値以下であり、かつ現在のブロックの高さが第2の閾値以下になるまで、現在のブロックを再帰的に分割する。いくつかの実施形態において、第1の閾値は映像領域に対する最大変換サイズに等しい。いくつかの実施形態において、第2の閾値は映像領域に対する最大変換サイズに等しい。
いくつかの実施例において、複数の変換ユニットの少なくとも1つのサブセットが、同じ動き情報を共有する。いくつかの実施形態において、同じ動き情報は、現在のブロックに対する符号化表現において1回信号通知される高度動きベクトル予測モードまたはマージモードのための構文フラグを含む。いくつかの実施例において、動き情報は、符号化表現における現在のブロックに対して複数回判定される。いくつかの実施形態において、現在のブロックに対して動き候補リストを1回構築し、複数の変換ユニットには、前記動き候補リストにおける異なる候補が割り当てられる。いくつかの実施例において、異なる候補のインデックスは、符号化表現において信号通知される。いくつかの実施形態において、多重変換ユニットの変換ユニットに対して、動き候補リストは現在のブロック内の近傍の変換ユニットの動き情報を用いずに構築される。いくつかの実施形態において、動き候補リストは現在のブロックの空間的に近傍のブロックの動き情報を利用して構築される。いくつかの実施例において、第1の変換ユニットは、第2の変換ユニットにおける少なくとも1つの再構築サンプルに基づいて再構築される。いくつかの実施例において、複数の変換ユニットのそれぞれに対して検証チェックを別々に行う。いくつかの実施例において、第1の変換ユニットは、他の変換ユニットにおける再構築サンプルを使用することなく予測される。いくつかの実施例において、ブロックを再構築した後、ブロックに対して有効性チェックを行う。
図24は、本技術に従った映像処理の方法2400を示すフローチャートである。方法2400は、工程2410において、映像の映像領域の現在のブロックと映像の符号化表現との変換のために、映像領域におけるフィルタリングされた再構築参照サンプルに基づいて、イントラブロックコピー(IBC)モードを使用して、現在のブロックの予測サンプルを判定することを含む。方法2400は、動作2420において、その判定に基づいて変換を行うことを含む。
いくつかの実施形態において、前記フィルタリングされた再構築参照サンプルは、非ブロック化フィルタリング動作、バイラテラルフィルタリング動作、サンプル適応オフセット(SAO)フィルタリング動作または適応ループフィルタリング動作のうち少なくとも1つを含むフィルタリング動作に基づいて生成される。いくつかの実施形態において、IBCモデルを利用して現在のブロックの予測サンプルを判定することは、映像領域におけるフィルタリングされていない参照サンプルにさらに基づく。いくつかの実施例において、フィルタリングされた再構築参照サンプルに基づいて、現在のブロックの第1の部分における予測サンプルを判定し、フィルタリングされていない再構築参照サンプルに基づいて、現在のブロックの第2の部分における予測サンプルを判定する。いくつかの実施形態において、フィルタリングされた再構築参照サンプルまたはフィルタリングされていない再構築参照サンプルのどちらを使用してブロックの予測サンプルを判定するかは、現在の符号化ツリーユニットまたはそのサンプルに及ぶ符号化ツリーユニットに対する予測サンプルの位置に基づく。いくつかの実施形態において、フィルタリングされた再構築参照サンプルは、予測サンプルが現在の符号化ツリーユニットの外側に位置する場合、予測サンプルを再構築するために使用される。いくつかの実施形態において、フィルタリングされた再構築参照サンプルは、予測サンプルが符号化ツリーユニット内に位置し、符号化ツリーユニットの境界から4画素以上である距離Dがある場合、予測サンプルを再構築するために使用される。いくつかの実施形態において、フィルタリングされていない再構築参照サンプルは、予測サンプルが現在の符号化ツリーユニット内に位置する場合、予測サンプルを再構築するために使用される。いくつかの実施形態において、フィルタリングされた再構築参照サンプルは、予測サンプルが現在の仮想パイプラインデータユニットの外部に位置する場合、前記予測サンプルを再構築するために使用される。いくつかの実施形態において、フィルタリングされていない再構築参照サンプルは、予測サンプルが現在の仮想パイプラインデータユニット内に位置する場合、予測サンプルを再構築するために使用される。
図25は、本技術に従った映像処理方法2500を示すフローチャートである。方法2500は、工程2510において、映像の現在のブロックと映像の符号化表現とを変換するために、イントラブロックコピー(IBC)符号化モデルのためのスキップモードの使用を示す構文要素が、規則に従って符号化表現に含まれているかを判定することを含む。この規則は、構文要素の信号通知が、現在のブロックの寸法および/またはIBC符号化モデルを使用して符号化されるブロックに対する最大許容寸法に基づくことを規定する。方法2500は、また、動作2520において、その判定に基づいて変換を行うことを含む。
いくつかの実施形態において、前記規則は、現在のブロックの幅が最大許容幅より大きい場合、前記符号化表現において前記構文要素を省略することを規定する。いくつかの実施形態において、前記規則は、現在のブロックの高さが最大許容高さより大きい場合、前記符号化表現において前記構文要素を省略することを規定する。いくつかの実施形態において、前記規則は、現在のブロックの幅が最大許容幅以下であるとき、前記構文要素が前記符号化表現に含まれることを規定する。いくつかの実施形態において、前記規則は、現在のブロックの高さが最大許容高さ以下であるとき、前記構文要素が前記符号化表現に含まれることを規定する。
いくつかの実施例において、現在のブロックは映像の映像領域にあり、この規則は、映像領域がIタイル、Iスライス、Iブリック、またはIサブピクチャを含む場合に適用可能である。いくつかの実施形態において、最大許容幅または最大許容高さは64である。いくつかの実施形態において、最大許容幅または最大許容高さは仮想パイプラインデータユニットの寸法に等しい。いくつかの実施形態において、最大許容幅または最大許容高さは変換ユニットの最大寸法に等しい。
図26は、本技術に従った映像処理方法2600を示すフローチャートである。この方法2600は、工程2610において、映像の現在のブロックと映像の符号化表現との変換のために、低周波非分離変換(LFNST)符号化モデルに関連付けられたインデックスを符号化するための少なくとも1つのコンテキストを判定することを含む。このLFNST符号化モデルは、符号化の間、順方向一次変換と量子化ステップとの間に順方向二次変換を適用すること、または復号化の間、逆量子化ステップと逆方向一次変換との間に逆方向二次変換を適用することを含む。順方向二次変換および逆方向二次変換のサイズは、現在のブロックのサイズよりも小さい。前記少なくとも1つのコンテキストは、順方向一次変換または逆方向一次変換を考慮せず、現在のブロックのパーティションタイプに基づいて判定される。方法2600は、また、動作2620において、その判定に従って変換を行うことを含む。
いくつかの実施形態において、パーティションタイプが単一のツリーパーティションである場合、1つのコンテキストのみがインデックスを符号化するために使用される。いくつかの実施形態において、パーティションタイプがデュアルツリーパーティションであるとき、インデックスを符号化するために2つのコンテキストを使用する。
いくつかの実施形態において、低周波非分離変換(LFNST)符号化モデルの使用を示すインデックスは、ブロックに関連する特徴、現在のブロックに関連するパーティションタイプ、スライスタイプまたは色成分を含む特徴に基づいて、符号化表現に含まれる。
図27は、本技術に従った映像処理方法2700を示すフローチャートである。この方法2700は、工程2710において、映像の映像領域の現在のブロックと映像の符号化表現との変換のために、映像領域に適用可能な最大変換ユニットサイズに基づいて、イントラブロックコピー(IBC)符号化モデルが有効化されているかどうかを判定することを含む。方法2700は、また、動作2720において、その判定に従って変換を行うことを含む。
いくつかの実施形態において、現在のブロックの寸法または現在のブロックに対応する輝度ブロックの寸法が最大変換ユニットのサイズより大きい場合、IBC符号化モデルを無効化する。いくつかの実施形態において、現在のブロックの幅または現在のブロックに対応する輝度ブロックの幅が最大変換ユニットの幅より大きい場合、IBC符号化モデルを無効化する。いくつかの実施形態において、現在のブロックの高さまたは現在のブロックに対応する輝度ブロックの高さが最大変換高さより大きい場合、IBC符号化モデルを無効化する。いくつかの実施例において、符号化表現におけるIBC符号化モデルの使用を信号通知する方式は、現在のブロックの寸法および最大変換ユニットのサイズに基づく。いくつかの実施例において、IBC符号化モデルの使用を信号通知することは、IBC符号化モデルのスキップモードを示す構文要素を含む。いくつかの実施例において、構文要素は、符号化表現におけるIタイル、Iスライス、Iブリック、またはIサブピクチャに含まれる。
いくつかの実施例において、IBC符号化モデルの使用を信号通知することは、IBCモードを示す構文要素を含む。いくつかの実施形態において、現在のブロックの幅が最大変換ユニットの幅より大きいか、または現在のブロックの高さが最大変換ユニットの高さより大きい場合、符号化表現において構文要素を省略する。いくつかの実施形態において、現在のブロックの幅が最大変換ユニットの幅以下であるか、または現在のブロックの高さが最大変換ユニットの高さ以下である場合、構文要素は符号化表現に含まれる。いくつかの実施形態において、現在のブロックの幅が最大変換ユニットの幅より大きいか、または現在のブロックの高さが最大変換ユニットの高さより大きい場合、構文要素は符号化表現に含まれ、0に設定される。
いくつかの実施形態において、現在のブロックに対してIBC符号化モデルを有効化する場合、規則に従って、現在のブロックに対応する残差ブロックにおけるサンプルを0に設定する。いくつかの実施形態において、規則は、現在のブロックの幅が最大変換ユニットの幅より大きいか、または現在のブロックの高さが最大変換ユニットの高さより大きい場合、サンプルを0に設定することを規定する。いくつかの実施形態において、規則は、現在のブロックの幅が第1の閾値より大きいか、または現在のブロックの高さが第2の閾値より大きい場合、サンプルを0に設定することを規定する。いくつかの実施形態において、第一閾値は64/vSizeXであり、vSizeXは仮想パイプラインデータユニットの幅である。いくつかの実施形態において、第二閾値は64/vSizeYであり、vSizeYは仮想パイプラインデータユニットの高さである。いくつかの実施形態において、符号化ブロックのための構文フラグは符号化表現において省略される。いくつかの実施形態において、符号化ブロックのための構文フラグは符号化表現において0に設定される。
いくつかの実施例において、符号化表現における符号化ブロックのための構文フラグの信号通知は、IBC符号化モデルの使用に基づく。いくつかの実施形態において、現在のブロックに対してIBC符号化モデルが有効化され、ブロックの寸法が最大変換ユニットのサイズより大きい場合、符号化表現において構文フラグを省略することができる。いくつかの実施形態において、現在のブロックに対してIBC符号化モデルが有効化され、ブロックの寸法が仮想パイプラインデータユニットに関連する閾値より大きい場合、符号化表現において構文フラグは省略される。
図28は、本技術に従った映像処理方法2800を示すフローチャートである。方法2800は、工程2810において、映像の現在のブロックと映像の符号化表現とを変換するために、現在のブロックに対する動きベクトルの成分の絶対値を2つの部分に分割することを判定することを含む。動きベクトルを(Vx,Vy)と表し、その成分をViと表し、ViはVxまたはVyのいずれかである。2つの部分の第1の部分は、|Vi|-((|Vi|>>N)<<N)に等しく、2つの部分の第2の部分は、|Vi|>>Nに等しく,Nは正の整数である。2つの部分は符号化表現において別々に符号化される。方法2800は、また、動作2820において、その判定に従って変換を行うことを含む。
いくつかの実施例において、2つの成分VxおよびVyは、符号化表現において別々に信号通知される。いくつかの実施例において、第1の部分は、Nビットの固定長で符号化される。いくつかの実施形態において、成分Vxの第1の部分と成分Vyの第1の部分とは一緒に符号化され、成分Vxの第2の部分と成分Vyの第2の部分とは別々に符号化される。いくつかの実施形態において、成分Vxの第1の部分および成分Vyの第1の部分は、2Nビットの長さを有する値として符号化される。いくつかの実施形態において、値は(Vx<<N)+Vy)に等しい。いくつかの実施例において、この値は、固定長符号化処理または指数ゴロム符号化処理を使用して符号化される。
いくつかの実施形態において、成分Vxの第1の部分と成分Vyの第1の部分とは一緒に符号化され、成分Vxの第2の部分と成分Vyの第2の部分とは一緒に符号化される。いくつかの実施例において、第1の部分が0に等しいかどうかを示すために、符号化表現に構文フラグが含まれる。いくつかの実施例において、第1の部分は、Kの値を有し、ここで、K≠0であり、(K-1)の値が符号化表現において符号化される。いくつかの実施形態において、サイン情報を有する各コンポーネントの第2部分は、動きベクトル差分符号化処理を使用して符号化される。いくつかの実施例において、Nは1又は2である。いくつかの実施形態において、Nは、動きベクトルデータの記憶に使用される動きベクトルの精度により判定される。いくつかの実施形態において、動きベクトルの精度が1/16画素であるとき、Nは4である。いくつかの実施形態において、動きベクトルの精度が1/8画素であるとき、Nは3である。いくつかの実施形態において、動きベクトルの精度が1/4画素であるとき、Nは2である。いくつかの実施形態において、Nは現在の動きベクトルの動きベクトル精度に基づいて判定される。いくつかの実施形態において、動きベクトルの精度が1画素であるとき、Nは1である。
図29は、本技術に従った映像処理方法2900を示すフローチャートである。この方法2900は、工程2910において、映像の現在のブロックと映像の符号化表現との変換のために、変換ブロックの最大許容寸法に基づいて、現在のブロックにおけるサブブロック変換を可能にする現在のブロックの最大寸法に関する情報を判定することを含む。方法2900は、また、動作2920において、その判定に従って変換を行うことを含む。
いくつかの実施形態において、現在のブロックにおけるサブブロック変換を可能にする現在のブロックの最大寸法は、変換ブロックの最大許容寸法に対応する。いくつかの実施形態において、前記現在のブロックの最大寸法は64または32である。いくつかの実施例において、スライスパラメータセットにおける第1の構文フラグは、サブブロック変換が有効になっていることを示し、スライスパラメータセットにおける第2の構文フラグは、変換ブロックの最大許容寸法が64であることを示す場合、現在のブロックの最大寸法を示す構文フラグが、符号化表現に含まれる。
いくつかの実施例において、この変換は、現在のブロックから符号化表現を生成することを含む。いくつかの実施例において、この変換は、符号化表現から現在のブロックのサンプルを生成することを含む。
上記解決策において、変換を行うことは、符号化または復号化動作中に、前回の判定ステップの結果を使用すること(例えば、特定の符号化または復号化ステップを使用する、または使用しない)を含んで、変換結果に到達する。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品、たとえば、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2020年9月9日出願の国際特許出願PCT/CN2020/114232の国内段階であり、2019年9月9日出願の国際特許出願PCT/CN2019/104869の優先権および利益を主張する。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
イントラブロックコピー(IBC)、別名、現在のピクチャの参照は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図17は、イントラブロックコピーの動作を示す図である。図17に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。

Claims (61)

  1. 映像処理方法であって、
    映像の現在のブロックと前記映像の符号化表現との変換のために、規則に従って、イントラブロックコピー(IBC)符号化モデルのスキップモードの使用を示す構文要素が前記符号化表現に含まれているかどうかを判定することであって、前記規則は、前記構文要素の信号通知が、前記現在のブロックの寸法および/または前記IBC符号化モデルを使用して符号化されるブロックのための最大許容寸法に基づくことを規定する、判定することと、
    前記判定することに基づいて、前記変換を行うことと、
    を含む方法。
  2. 前記規則は、前記現在のブロックの幅が最大許容幅より大きい場合、前記符号化表現において前記構文要素を省略することを規定する、
    請求項1に記載の方法。
  3. 前記規則は、前記現在のブロックの高さが最大許容高さよりも大きい場合、前記符号化表現において前記構文要素を省略することを規定する、
    請求項1に記載の方法。
  4. 前記規則は、前記現在のブロックの幅が最大許容幅以下である場合、前記符号化表現において前記構文要素を含むことを規定する、
    請求項1に記載の方法。
  5. 前記規則は、前記現在のブロックの高さが最大許容高さ以下である場合、前記符号化表現において前記構文要素を含むことを規定する、
    請求項1に記載の方法。
  6. 前記現在のブロックは前記映像の映像領域にあり、
    前記規則は、前記映像領域がIタイル、Iスライス、Iブリック、またはIサブピクチャを含む場合に適用可能である、
    請求項1~5のいずれかに記載の方法。
  7. 前記最大許容幅または前記最大許容高さは、64である、
    請求項2~5のいずれかに記載の方法。
  8. 前記最大許容幅または前記最大許容高さは、仮想パイプラインデータユニットの寸法に等しい。
    請求項2~5のいずれかに記載の方法。
  9. 前記最大許容幅または前記最大許容高さは、変換ユニットの最大寸法に等しい、
    請求項2~5のいずれかに記載の方法。
  10. 映像処理方法であって、
    映像の現在のブロックと前記映像の符号化表現との変換のために、低周波非分離変換(LFNST)符号化モデルに関連付けられたインデックスを符号化するための少なくとも1つのコンテキストを判定することであって、
    前記LFNST符号化モデルは、符号化の間、順方向一次変換と量子化ステップとの間に順方向二次変換を適用すること、または、復号化の間、逆量子化ステップと逆方向一次変換との間に逆方向二次変換を適用すること、を含み、
    前記順方向二次変換および前記逆方向二次変換のサイズは、前記現在のブロックのサイズよりも小さく、
    前記少なくとも1つのコンテキストは、前記順方向一次変換または前記逆方向一次変換を考慮せず、前記現在のブロックのパーティションタイプに基づいて判定される、
    判定することと、
    前記判定することに従って前記変換を行うことと、
    を含む方法。
  11. 前記パーティションタイプが単一のツリーパーティションである場合、1つのコンテキストのみがインデックスを符号化するために使用される、
    請求項10に記載の方法。
  12. 前記パーティションタイプがデュアルツリーパーティションである場合、2つのコンテキストがインデックスを符号化するために使用される、
    請求項10に記載の方法。
  13. 前記低周波非分離変換(LFNST)符号化モデルの使用を示すインデックスが、前記ブロックに関連する特徴に基づく前記符号化表現に含まれ、
    前記特徴は、前記現在のブロックに関連する前記パーティションタイプ、スライスタイプまたは色成分を含む、
    請求項10から12のいずれかに記載の方法。
  14. 映像処理方法であって、
    映像の映像領域の現在のブロックと前記映像の符号化表現との変換のために、前記映像領域に適用可能な最大変換ユニットサイズに基づいて、イントラブロックコピー(IBC)符号化モデルが有効化されているかどうかを判定することと、
    前記判定することに従って変換を行うことと、
    を含む方法。
  15. 前記IBC符号化モデルは、前記現在のブロックの寸法または前記現在のブロックに対応する輝度ブロックの寸法が前記最大変換ユニットサイズよりも大きい場合、無効化される、
    請求項14に記載の方法。
  16. 前記IBC符号化モデルは、前記現在のブロックの幅または前記現在のブロックに対応する輝度ブロックの幅が最大変換ユニット幅よりも大きい場合、無効化される、
    請求項15に記載の方法。
  17. 前記IBC符号化モデルは、前記現在のブロックの高さまたは前記現在のブロックに対応する輝度ブロックの高さが前記最大変換高さよりも大きい場合、無効化される、
    請求項15に記載の方法。
  18. 前記符号化表現における前記IBC符号化モデルの使用を信号通知する方式が、前記現在のブロックの寸法および前記最大変換ユニットサイズに基づく、
    請求項14~17のいずれかに記載の方法。
  19. 前記IBC符号化モデルの前記使用を信号通知することは、前記IBC符号化モデルのスキップモードを示す構文要素を含む、
    請求項18に記載の方法。
  20. 前記構文要素は、前記符号化表現におけるIタイル、Iスライス、Iブリック、またはIサブピクチャに含まれる、
    請求項19に記載の方法。
  21. 前記IBC符号化モデルの前記使用を信号通知することは、前記IBCモードを示す構文要素を含む、
    請求項18~20のいずれかに記載の方法。
  22. 前記現在のブロックの前記幅が最大変換ユニットの幅よりも大きい、または前記現在のブロックの前記高さが最大変換ユニットの高さよりも大きい場合、前記構文要素は前記符号化表現において省略される、
    請求項18~21のいずれかに記載の方法。
  23. 前記現在のブロックの前記幅が最大変換ユニットの幅以下であるか、または前記現在のブロックの前記高さが最大変換ユニットの高さ以下である場合、前記構文要素は前記符号化表現に含まれる、
    請求項18~21のいずれかに記載の方法。
  24. 前記現在のブロックの前記幅が最大変換ユニットの幅よりも大きい、または前記現在のブロックの前記高さが最大変換ユニットの高さよりも大きい場合、前記構文要素は、前記符号化表現に含まれ、0に設定される、
    請求項18~21のいずれかに記載の方法。
  25. 前記IBC符号化モデルが前記現在のブロックに対して有効化される場合、規則に従って、前記現在のブロックに対応する残差ブロックにおけるサンプルを0に設定する、
    請求項18~24のいずれかに記載の方法。
  26. 前記規則は、前記現在のブロックの前記幅が最大変換ユニットの幅より大きいか、または前記現在のブロックの前記高さが最大変換ユニットの高さより大きい場合、前記サンプルを0に設定することを規定する、
    請求項25に記載の方法。
  27. 前記規則は、前記現在のブロックの前記幅が第1の閾値より大きいか、または前記現在のブロックの前記高さが第2の閾値より大きい場合、前記サンプルを0に設定することを規定する、
    請求項25に記載の方法。
  28. 前記第1の閾値は、64/vSizeXであり、
    vSizeXは、仮想パイプラインデータユニットの幅である、
    請求項27に記載の方法。
  29. 前記第2の閾値は、64/vSizeYであり、
    vSizeYは、仮想パイプラインデータユニットの高さである、
    請求項27に記載の方法。
  30. 符号化ブロックのための構文フラグが、前記符号化表現において省略される、
    請求項25~29のいずれかに記載の方法。
  31. 符号化ブロックのための構文フラグが、前記符号化表現において0に設定される、
    請求項25~29のいずれかに記載の方法。
  32. 前記符号化表現における符号化ブロックのための構文フラグの信号通知は、前記IBC符号化モデルの前記使用に基づく、
    請求項18~31のいずれかに記載の方法。
  33. 前記現在のブロックに対して前記IBC符号化モデルが有効化され、前記ブロックの前記寸法が前記最大変換ユニットサイズより大きい場合、前記符号化表現において前記構文フラグは省略される、
    請求項32に記載の方法。
  34. 前記現在のブロックに対して前記IBC符号化モデルが有効化され、前記ブロックの寸法が仮想パイプラインデータユニットに関連する閾値より大きい場合、前記符号化表現において前記構文フラグは省略される、
    請求項32に記載の方法。
  35. 映像処理方法であって、
    映像の現在のブロックと前記映像の符号化表現との変換のために、前記現在のブロックに対する動きベクトルの成分の絶対値を2つの部分に分割することを判定することであって、
    前記動きベクトルを(Vx,Vy)と表し、前記成分をViと表し、ViはVxまたはVyのいずれかであり、
    前記2つの部分の第1の部分が、|Vi|-((|Vi|>>N)<<N)に等しく、前記2つの部分の第2の部分が、|Vi|>>Nに等しく、Nは正の整数であり、
    前記2つの部分は前記符号化表現において別々に符号化される、
    判定することと、
    前記判定することに従って前記変換を行うことと、
    を含む方法。
  36. 前記2つの成分VxおよびVyは、前記符号化表現において別々に信号通知される、
    請求項35に記載の方法。
  37. 前記第1の部分は、Nビットの固定長で符号化される、
    請求項36に記載の方法。
  38. 前記成分Vxの前記第1の部分と前記成分Vyの前記第1の部分とは一緒に符号化され、
    前記成分Vxの前記第2の部分と前記成分Vyの前記第2の部分とは別々に符号化される、
    請求項35に記載の方法。
  39. 前記成分Vxの前記第1の部分および前記成分Vyの前記第1の部分は、2Nビットの長さを有する値として符号化される、
    請求項38に記載の方法。
  40. 前記値は、(Vx<<<N)+Vy)に等しい、
    請求項39に記載の方法。
  41. 前記値は、固定長符号化処理または指数ゴロム符号化処理を使用して符号化される、
    請求項39または40に記載の方法。
  42. 前記成分Vxの前記第1の部分と前記成分Vyの前記第1の部分とは一緒に符号化され、
    前記成分Vxの前記第2の部分と成前記分Vyの前記第2の部分とは一緒に符号化される、
    請求項35に記載の方法。
  43. 前記第1の部分が0に等しいかどうかを示すために、前記符号化表現に構文フラグが含まれる、
    請求項35~42に記載の方法。
  44. 前記第1の部分は、Kの値を有し、K≠0であり、(K-1)の値が前記符号化表現において符号化される、
    請求項43に記載の方法。
  45. サイン情報を有する各成分の前記第2の部分は、動きベクトル差分符号化処理を使用して符号化される、
    請求項35~44に記載の方法。
  46. Nは、1または2である、
    請求項35~45のいずれかに記載の方法。
  47. Nは、動きベクトルデータの記憶に使用される動きベクトルの精度に基づいて判定される、
    請求項35~45のいずれかに記載の方法。
  48. 前記動きベクトルの精度が1/16画素である場合、Nは4である、
    請求項47に記載の方法。
  49. 前記動きベクトルの精度が1/8画素である場合、Nは3である、
    請求項47に記載の方法。
  50. 前記動きベクトルの精度が1/4画素である場合、Nは2である、
    請求項47に記載の方法。
  51. 現在の動きベクトルの動きベクトル精度に基づいて、Nを判定する、
    請求項35~45のいずれかに記載の方法。
  52. 前記動きベクトルの精度が1画素である場合、Nは1である、
    請求項51に記載の方法。
  53. 映像処理方法であって、
    映像の現在のブロックと前記映像の符号化表現との変換のために、変換ブロックの最大許容寸法に基づいて、前記現在のブロックにおけるサブブロック変換を可能にする前記現在のブロックの最大寸法に関する情報を判定することと、
    前記判定することに従って前記変換を行うことと、
    を含む方法。
  54. 前記現在のブロックにおけるサブブロック変換を可能にする前記現在のブロックの前記最大寸法は、変換ブロックの前記最大許容寸法に対応する、
    請求項53に記載の方法。
  55. 前記現在のブロックの前記最大寸法は、64または32である、
    請求項54に記載の方法。
  56. スライスパラメータセットにおける第1の構文フラグが、サブブロック変換が有効になっていることを示し、前記スライスパラメータセットにおける第2の構文フラグが、変換ブロックの前記最大許容寸法が64であることを示す場合、前記現在のブロックの前記最大寸法を示す構文フラグが、前記符号化表現に含まれる、
    請求項53~55に記載の方法。
  57. 前記変換は、前記現在のブロックから前記符号化表現を生成することを含む、
    請求項1~56のいずれかに記載の方法。
  58. 前記変換は、前記符号化表現から前記現在のブロックのサンプルを生成することを含む、
    請求項1~56項のいずれかに記載の方法。
  59. 請求項1~58のいずれか1項以上に記載の方法を実装するように構成された処理装置を備える、
    映像処理装置。
  60. コードが記憶されたコンピュータ可読媒体であって、
    前記コードは、実行時に、請求項1~58のいずれか1つ以上に記載の方法を処理装置に実装させる、
    コンピュータ可読媒体。
  61. 請求項1~58のいずれかにより生成された符号化表現を記憶する、
    コンピュータ可読媒体。
JP2022515128A 2019-09-09 2020-09-09 イントラブロックコピーの符号化および復号化 Active JP7323709B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023122019A JP2023159091A (ja) 2019-09-09 2023-07-26 イントラブロックコピーのコーディングおよび復号化

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/104869 2019-09-09
CN2019104869 2019-09-09
PCT/CN2020/114232 WO2021047544A1 (en) 2019-09-09 2020-09-09 Intra block copy coding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023122019A Division JP2023159091A (ja) 2019-09-09 2023-07-26 イントラブロックコピーのコーディングおよび復号化

Publications (2)

Publication Number Publication Date
JP2022547157A true JP2022547157A (ja) 2022-11-10
JP7323709B2 JP7323709B2 (ja) 2023-08-08

Family

ID=74866126

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022515128A Active JP7323709B2 (ja) 2019-09-09 2020-09-09 イントラブロックコピーの符号化および復号化
JP2023122019A Pending JP2023159091A (ja) 2019-09-09 2023-07-26 イントラブロックコピーのコーディングおよび復号化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023122019A Pending JP2023159091A (ja) 2019-09-09 2023-07-26 イントラブロックコピーのコーディングおよび復号化

Country Status (6)

Country Link
US (3) US11930216B2 (ja)
EP (1) EP4011076A4 (ja)
JP (2) JP7323709B2 (ja)
KR (1) KR20220053580A (ja)
CN (2) CN114365488A (ja)
WO (2) WO2021047544A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4011076A4 (en) 2019-09-09 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. INTRA-BLOCK COPY ENCODING AND DECODING
WO2021050166A1 (en) 2019-09-13 2021-03-18 Alibaba Group Holding Limited Method and apparatus for signaling sub-block transform information
CN114846799B (zh) * 2019-10-29 2023-06-13 Lg电子株式会社 图像编码和解码方法、存储介质及图像数据的发送方法
US11930208B2 (en) * 2020-01-10 2024-03-12 Tencent America LLC Method and apparatus for signaling skip mode flag
EP4399871A1 (en) * 2021-09-07 2024-07-17 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive bilateral filtering for video coding

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138032A1 (ko) * 2011-04-07 2012-10-11 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법
CN102957907B (zh) * 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US9554141B2 (en) * 2013-11-18 2017-01-24 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (HEVC)
US10469863B2 (en) * 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US9877043B2 (en) 2014-06-19 2018-01-23 Vid Scale Inc. Methods and systems for intra block copy coding with block vector derivation
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
WO2016034058A1 (en) * 2014-09-01 2016-03-10 Mediatek Inc. Method of intra picture block copy for screen content and video coding
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10085027B2 (en) * 2015-03-06 2018-09-25 Qualcomm Incorporated Adaptive mode checking order for video encoding
WO2016150343A1 (en) 2015-03-20 2016-09-29 Mediatek Singapore Pte. Ltd. Methods of palette coding with inter-prediction in video coding
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
US20160360234A1 (en) * 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
TWI816224B (zh) 2015-06-08 2023-09-21 美商Vid衡器股份有限公司 視訊解碼或編碼方法及裝置
US11146794B2 (en) * 2015-07-27 2021-10-12 Mediatek Inc. Method of system for video coding using intra block copy mode
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
US10560702B2 (en) * 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
US20190068967A1 (en) * 2016-02-03 2019-02-28 Sharp Kabushiki Kaisha Predicted-image generation device, video decoding device, and video coding device
CN116744022A (zh) * 2016-11-25 2023-09-12 株式会社Kt 用于对视频进行编码和解码的方法
EP3349455A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
WO2018199468A1 (ko) * 2017-04-24 2018-11-01 에스케이텔레콤 주식회사 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
CN117201818A (zh) * 2017-05-26 2023-12-08 Sk电信有限公司 对视频数据进行编码或解码的方法和发送比特流的方法
WO2019205998A1 (en) * 2018-04-24 2019-10-31 Mediatek Inc. Methods and apparatus of alternative transform skip mode for image and video coding
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
US20210329233A1 (en) 2018-07-14 2021-10-21 Mediatek Inc. Methods and Apparatuses of Processing Video Pictures with Partition Constraints in a Video Coding System
US10890700B2 (en) 2018-09-24 2021-01-12 Apple Inc. Electronic devices having infrared-transparent antireflection coatings
WO2020084506A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and intra block copy coding
WO2020108574A1 (en) 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
CN113170167A (zh) 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 块内拷贝模式中的标志指示方法
CN118741097A (zh) * 2018-12-12 2024-10-01 数码士有限公司 使用当前图片参考的视频信号处理方法和设备
CN113170195B (zh) 2018-12-22 2024-09-03 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
US10958904B2 (en) * 2019-02-01 2021-03-23 Tencent America LLC Method and apparatus for video coding
WO2020156541A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
CN113366853B (zh) 2019-02-02 2024-08-02 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
CN117714694A (zh) 2019-02-17 2024-03-15 北京字节跳动网络技术有限公司 处理视频数据的方法、装置和计算机可读记录介质
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
EP3915252A4 (en) 2019-03-04 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. IMPLEMENTATION OF ASPECTS IN AN INTRA BLOCK COPY IN VIDEO ENCODING
US11909960B2 (en) 2019-03-07 2024-02-20 Lg Electronics Inc. Method and apparatus for processing video signal
CN116684611A (zh) 2019-04-16 2023-09-01 Lg电子株式会社 图像编解码方法、数字存储介质和数据发送方法
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
EP3985968A4 (en) 2019-06-17 2023-05-24 Electronics and Telecommunications Research Institute INTRA BLOCK COPY BASED ENCODING/DECODING METHOD, DEVICE AND BITSTREAM STORAGE DEVICE
US11303913B2 (en) 2019-06-19 2022-04-12 Qualcomm Incorporated Decoded picture buffer indexing
CN113347436B (zh) 2019-06-21 2022-03-08 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
EP3973704A4 (en) 2019-06-28 2022-07-27 Beijing Dajia Internet Information Technology Co., Ltd. LOSSLESS CODING MODES FOR VIDEO CODING
CN114258674A (zh) 2019-07-19 2022-03-29 Lg 电子株式会社 使用ibc的图像编码/解码方法和装置,以及发送比特流的方法
US11553197B2 (en) 2019-08-05 2023-01-10 Tencent America LLC Method and apparatus for intra picture block compensation
EP4011076A4 (en) 2019-09-09 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. INTRA-BLOCK COPY ENCODING AND DECODING

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Versatile Video Coding (Draft 6)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O2001 (version 14), JPN6023005019, 31 July 2019 (2019-07-31), pages 62 - 66, ISSN: 0004989953 *
WEIJIA ZHU, JIZHENG XU, AND LI ZHANG: "Non-CE8: Adaptive single/dual tree with IBC simplification", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0258-v1, JPN6023005018, June 2019 (2019-06-01), pages 1 - 10, ISSN: 0004989954 *

Also Published As

Publication number Publication date
EP4011076A1 (en) 2022-06-15
US20220191549A1 (en) 2022-06-16
CN114365495A (zh) 2022-04-15
JP2023159091A (ja) 2023-10-31
US11930216B2 (en) 2024-03-12
JP7323709B2 (ja) 2023-08-08
US12069309B2 (en) 2024-08-20
US20220210411A1 (en) 2022-06-30
WO2021047542A1 (en) 2021-03-18
WO2021047544A1 (en) 2021-03-18
US20240089507A1 (en) 2024-03-14
KR20220053580A (ko) 2022-04-29
CN114365488A (zh) 2022-04-15
EP4011076A4 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
JP7307191B2 (ja) 履歴に基づく動きベクトル予測のための補間フィルタの使用
US11641483B2 (en) Interaction between merge list construction and other tools
JP7323709B2 (ja) イントラブロックコピーの符号化および復号化
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
JP7568352B2 (ja) ビデオコーディングにおける変換ブロック・サイズ制約
JP2023156417A (ja) イントラブロックコピーコーディングされたブロックにおけるブロックベクトルのコーディング
WO2021104474A1 (en) Selective switch for parallel processing
JP7460661B2 (ja) 映像符号化のための動き候補リストの構成
JP7359942B2 (ja) 映像処理における代替の補間フィルタの選択的使用
CN113966616A (zh) 使用临近块信息的运动候选列表构建
WO2020248925A1 (en) History-based motion vector prediction with default parameters
WO2021155862A1 (en) Bv list construction process of ibc blocks under merge estimation region
CN114097219A (zh) 基于历史的运动矢量预测表中的运动信息的存储

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7323709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150