JP2022529369A - 符号化映像の量子化残差差分パルス符号変調表現 - Google Patents

符号化映像の量子化残差差分パルス符号変調表現 Download PDF

Info

Publication number
JP2022529369A
JP2022529369A JP2021562399A JP2021562399A JP2022529369A JP 2022529369 A JP2022529369 A JP 2022529369A JP 2021562399 A JP2021562399 A JP 2021562399A JP 2021562399 A JP2021562399 A JP 2021562399A JP 2022529369 A JP2022529369 A JP 2022529369A
Authority
JP
Japan
Prior art keywords
video block
current video
prediction
block
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021562399A
Other languages
English (en)
Other versions
JP7414843B2 (ja
Inventor
ウェイジャ ジュー
リー ジャン
ジジョン シュー
チアン チュアン,シャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2022529369A publication Critical patent/JP2022529369A/ja
Priority to JP2023206900A priority Critical patent/JP2024026312A/ja
Application granted granted Critical
Publication of JP7414843B2 publication Critical patent/JP7414843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

映像符号化および復号化方法が説明される。例示的な方法は、適用可能性の規則に基づいて、映像の彩度映像ブロックと彩度映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であると判定することと、判定に基づいて、差分符号化モードを使用して、彩度映像ブロックと彩度映像ブロックのビットストリーム表現との変換を行うこととを含み、差分符号化モードにおいて、彩度映像ブロックは、彩度映像ブロックのイントラ予測の量子化残差と量子化残差の予測との差分を使用して、ビットストリーム表現で表現され、イントラ予測は第1の方向で行われ、量子化残差の予測は第2の方向で行われ、差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。【選択図】図11

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年4月24日出願の国際特許出願PCT/CN2019/084008号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許文献は、映像符号化技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本明細書は、映像または画像の復号化または符号化中にセカンダリ変換を使用する様々な実施形態および技術を説明する。
第1の例示的な映像処理方法は、適用可能性の規則に基づいて、映像の彩度映像ブロックと彩度映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であると判定することと、前記判定に基づいて、前記差分符号化モードを使用して、彩度映像ブロックと前記彩度映像ブロックの前記ビットストリーム表現との変換を行うこととを含み、前記差分符号化モードにおいて、前記彩度映像ブロックは、前記彩度映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現で表現され、前記イントラ予測は第1の方向で行われ、前記量子化残差の予測は第2の方向で行われ、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
第2の例示的な映像処理方法は、差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを使用して、映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を行うことを含み、前記イントラ予測モードにおいて、前記現在の映像ブロックのイントラ予測の量子化残差は、前記現在の映像ブロックに対するサンプルの予測に基づいており、前記差分符号化モードにおいて、前記現在の映像ブロックは、前記量子化残差と前記量子化残差の予測との差分を使用して表現される前記ビットストリームで表現され、前記量子化残差と前記量子化残差の予測との間の差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
第3の例示的な映像処理方法は、現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記現在の映像ブロックが前記ビットストリーム表現で表現される差分符号化モードを使用して、映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を行うことを含み、前記量子化残差の前記予測の方向は、前記ビットストリーム表現から推測可能である。
第4の例示的な映像処理方法は、差分符号化モードが映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に適用可能であることを判定することと、前記判定に基づいて、実装規則に従って、前記差分符号化モードを使用して、前記現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を行うことと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックは、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現に表現され、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
第5の例示的な映像処理方法は、適用可能性の規則に基づいて、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを判定することであって、前記現在の映像ブロックは色成分に関連づけられており、前記適用可能性の規則は、前記差分符号化モードが前記映像の別の映像ブロックに適用されるかどうかに基づいて前記現在の映像ブロックに対して前記差分符号化モードを有効化するか無効化するかを指定することと、前記判定に基づいて、前記差分符号化モードを使用して、前記現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うこととを含み、前記差分符号化モードにおいて、前記現在の映像ブロックは、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現で表現され、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
1つの例示的な態様において、映像処理方法が開示される。この方法は、差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を行うことを含み、前記イントラ予測モードは前記現在の映像ブロックのサンプルに対する予測を生成するために使用され、前記差分符号化モードを使用して、差分パルス符号化変調表現を使って前記画素の前記予測から量子化残差ブロックを表現する。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、差分パルス符号化変調表現を使用して、前記現在の映像ブロックの画素の予測から、量子化残差ブロックを表す差分符号化モードを使用して、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、前記現在の映像ブロックのピクセルの予測からの量子化残差ブロックは、差分パルス符号化変調表現を使用して表現され、前記予測の第1の方向または前記差分符号化モードの第2の方向は前記ビットストリーム表現から推測可能である。
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、適用可能性の規則に基づいて、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを決定することと、差分符号化モードによって現在の映像ブロックとビットストリーム表現との変換を行うこととを含み、差分符号化モードにおいて、水平または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して、現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックを表現される。
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、差分符号化モードが現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に適用可能であることを判定することと、前記差分符号化モードの実装規則を使用して現在の映像ブロックとビットストリーム表現との前記変換を行うことと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される。
さらに別の例示的な態様において、映像処理装置が開示される。この装置は、上述した方法を行うように構成された処理装置を含む。
さらに別の例示的な態様において、コンピュータ可読媒体が開示される。この媒体には、上述した方法を処理装置で実装するためのコードが記憶されている。
これらの、および他の態様は、本明細書で説明される。
イントラブロックコピーの説明図である。 パレットモードで符号化されたブロックの例を示す。 パレットエントリを信号通知するためのパレット予測子の使用例を示す。 水平方向および垂直方向の横断走査の例を示す。 パレットインデックスの符号化の例を示す。 アフィン線形重み付きイントラ予測(ALWIP)処理の例示的な処理を示す。 アフィン線形重み付きイントラ予測(ALWIP)処理の例示的な処理を示す。 アフィン線形重み付きイントラ予測(ALWIP)処理の例示的な処理を示す。 アフィン線形重み付きイントラ予測(ALWIP)処理の例示的な処理を示す。 本特許明細書に記載される技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 映像処理方法の一例を示すフローチャートである。 4つのマージ候補の例を示す。 映像符号化に使用される1対のマージ候補の例を示す。 本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。 本開示の技法を利用し得る例示的な映像符号化システムを示すブロック図である。 映像エンコーダを例示するブロック図である。 映像デコーダを例示するブロック図である。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。
本明細書では、理解を容易にするために章の見出しを使用しており、1つの章に開示された実施形態をその章にのみ限定するものではない。さらに、特定の実施形態は、VVC(Versatile Video Coding)または他の特定の映像コーデックを参照して説明されたが、開示された技術は、他の映像符号化技術にも適用可能である。さらに、いくつかの実施形態は映像符号化ステップを詳細に説明しているが、符号化を復号化する、対応するステップはデコーダによって実行されることが理解されよう。さらに、映像処理という用語は、映像符号化または圧縮、映像の復号化または展開、および映像の画素がある圧縮形式から別の圧縮形式へ、または別の圧縮ビットレートで表現される映像のコード変換を含む。
1. 概要
本明細書は、映像符号化技術に関する。具体的には、映像符号化におけるDPCM符号化に関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
2. 最初の検討
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC[1]規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)[3,4]と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
VVCドラフトの最新バージョン、即ち、Versatile Video Coding(ドラフト4)は、以下を参照することができる。
phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下で確認することができる。
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1 イントラブロックコピー
イントラブロックコピー(IBC)、別名、現在のピクチャの参照(CPR)は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)[1]と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図1に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
図1は、イントラブロックコピーの説明図である。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.2 HEVCスクリーンコンテンツ符号化拡張機能におけるIBC
HEVCのスクリーンコンテンツ符号化拡張機能において、1つのブロックが現在のピクチャを参照として使用する場合、以下の仕様のテキストに示すように、参照ブロック全体が利用可能な再構成された領域内にあることを保証すべきである。
変数offsetXおよびoffsetYは、以下のように導出される。
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (0-1)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (0-2)
参照ピクチャが現在のピクチャである場合、輝度動きベクトルmvLXは、以下の制約に従うべきであることが、ビットストリーム適合性の要件である。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCbr,yCb)と等しく設定された(xCurr,yCurr)、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)を入力として呼び出されると、出力はTRUEとなる。
-以下の条件の一方または両方がTRUEであること。
-(mvLX[0]>>2)+nPbW+xB1+offsetXの値が0以下である。
-(mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
-以下の条件がTRUEとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=
yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (0-3)
このように、参照ブロックが現在のブロックと重複するケース、または参照ブロックがピクチャの外にあるケースは発生しない。参照ブロックまたは予測ブロックを埋める必要がない。
2.3. VVC試験モデルにおけるIBC
現在のVVC試験モデル、すなわち、VTM-4.0設計において、参照ブロック全体は現在の符号化ツリーユニット(CTU)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。IBCフラグは、現在のCUの予測モードとして符号化される。このように、各CUに対して、MODE_INTRA、MODE_INTER、およびMODE_IBCという全部で3つの予測モードが存在する。
2.3.1 IBCマージモード
IBCマージモードにおいて、IBCマージ候補リストにおけるエントリを指すインデックスをビットストリームから構文解析する。このIBCマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
●ステップ2:HMVP候補の挿入
●ステップ3:対の平均候補の挿入
空間的マージ候補の導出において、図12に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはIBCモードで符号化されていない場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を挿入すると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図13において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。
空間的候補を挿入した後、IBCマージリストサイズが依然として最大IBCマージリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。HMVP候補の挿入にあたり、冗長性チェックを行う。
最後に、対の平均候補をIBCマージリストに挿入する。
マージ候補によって特定される参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、マージ候補は無効なマージ候補と呼ばれる。
なお、IBCマージリストに無効なマージ候補を挿入してもよい。
2.3.2 IBC AMVPモード
IBC AMVPモードでは、IBC AMVPリストにおけるエントリを指すAMVPインデックスが、ビットストリームから構文解析される。このIBC AMVPリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
○利用可能な候補が見つかるまで、A,Aをチェックする。
○利用可能な候補が見つかるまで、B、B、Bをチェックする。
●ステップ2:HMVP候補の挿入
●ステップ3:ゼロ候補の挿入
空間的候補を挿入した後、IBC AMVPリストサイズが依然として最大IBC AMVPリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。
最後に、IBC AMVPリストにゼロ候補を挿入する。
2.4 パレットモード
パレットモードの背景にある基本的な考えは、CUにおけるサンプルを代表的な色値の小さな集合で表現することである。この集合をパレットと呼ぶ。また、エスケープシンボルの後に(場合によっては量子化された)成分値を信号通知することによって、パレットの外側にあるサンプルを示すこともできる。これを図2に示す。
2.5 HEVCスクリーンコンテンツ符号化拡張機能におけるパレットモード(HEVC-SCC)
HEVC-SCCにおけるパレットモードでは、パレットおよびインデックスマップを符号化するために予測方式が用いられる。
2.5.1 パレットエントリの符号化
パレットエントリを符号化するために、パレット予測子が維持される。SPSにおいて、パレットの最大サイズおよびパレット予測子が信号通知される。HEVC-SCCにおいて、palette_predictor_initializer_present_flagがPPSに導入される。このフラグが1である場合、ビットストリームにおいて、パレット予測子を初期化するためのエントリが信号通知される。パレット予測子は、各CTU行、各スライス、および各タイルの始めに初期化される。palette_predictor_initializer_present_flagの値によって、palette_predictorを0にリセットするか、またはPPSに信号通知されたパレット予測子の初期化エントリを使用してパレット予測子を初期化する。HEVC-SCCでは、PPSレベルでパレット予測子の初期化を明確に無効にするために、サイズ0のパレット予測子初期化モジュールを有効化した。
パレット予測子におけるエントリごとに、それが現在のパレットの一部であるかどうかを示すように、再利用フラグが信号通知される。これを図3に示す。再利用フラグは、ゼロのランレングス符号化を使用して送信される。この後、新しいパレットエントリの数は、次数0の指数ゴロムコードを使用して信号通知する。最後に、新しいパレットエントリのための成分値が信号通知される。
2.5.2 パレットインデックスの符号化
パレットインデックスは、図4に示すように、水平方向および垂直方向の横断走査を使用して符号化される。palette_transpose_flagを使用して、ビットストリームにおける走査順序を明確に信号通知する。以下のサブセクションでは、走査が水平であると仮定する。
パレットインデックスは、2つのメインパレットサンプルモード、つまり「INDEX」および「COPY_ABOVE」を使用して符号化される。前述のように、エスケープシンボルも「INDEX」モードとして信号通知され、最大パレットサイズに等しいインデックスが割り当てられる。このモードは、最上行を除くフラグを使用して、または前回のモードが「COPY_ABOVE」であった場合に信号通知される。「COPY_ABOVE」モードでは、上の行のサンプルのパレットインデックスをコピーする。「INDEX」モードにおいて、パレットインデックスは明確に信号通知される。「INDEX」モードと「COPY_ABOVE」モードの両方の場合、同じモードを使用して符号化される後続のサンプルの数を規定する実行値を信号通知する。エスケープシンボルが「INDEX」または「COPY_ABOVE」モードにおける実行の一部である場合、エスケープシンボルごとにエスケープ成分値が信号通知される。パレットインデックスの符号化を図5に示す。
この構文順序は、以下のようにして実行される。まず、CUのためのインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリ符号化を使用して、CU全体の実際のインデックス値を信号通知する。バイパスモードでは、インデックスの数およびインデックス値の両方が符号化される。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットサンプルモード(必要な場合)および実行は、インターリーブ方式で信号通知される。最後に、CU全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードで符号化する。
インデックス値を信号通知した後、追加の構文要素last_run_type_flagを信号通知する。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。
HEVC-SCCでは、パレットモードは、4:2:2、4:2:0、およびモノクロの彩度フォーマットに対しても有効になる。パレットエントリおよびパレットインデックスの信号通知は、すべての彩度フォーマットに対してほぼ同じである。非モノクロフォーマットの場合、各パレットエントリは、3つの成分からなる。モノクロフォーマットの場合、各パレットエントリは単一の成分からなる。サブサンプリングされた彩度方向の場合、彩度サンプルは、2で割り切れる輝度サンプルインデックスに関連付けられる。CUのパレットインデックスを再構成した後、1つのサンプルに単一の成分しか関連付けられていない場合、パレットエントリの第1の成分のみが使用される。信号通知における唯一の違いは、エスケープ成分値である。エスケープサンプルごとに、信号通知されるエスケープ成分値の数は、そのサンプルに関連付けられた成分の数によって異なってもよい。
2.6 変換スキップモードにおける係数符号化
JVET-M0464号及びJVET-N0280号において、残差符号化を変換スキップレベルの統計及び信号特性に適応させるために、TS(Transform Skip)モードにおける係数符号化についていくつかの改良が提案されている。
提案された変形例を以下に示す。
前回の有意な走査位置なし:残差信号は予測後の空間残差を反映しており、TSに対して変換によるエネルギー圧縮は行われないので、変換ブロックの右下隅の末尾にゼロ又は有意でないレベルがより高い確率で後続することはもはやなくなる。従って、この場合、最後の重要な走査位置信号通知は省略される。その代わりに、処理される第1のサブブロックは、変換ブロック内の最も右下のサブブロックである。
サブブロックCBF:最後の重要な走査位置信号がない場合、TSのcoded_sub_block_flagを有するサブブロックCBF信号は、次のように変更されることが必要である。
● 量子化のために、前述の有意でないシーケンスは、依然として変換ブロック内でローカルに発生し得る。従って、前に説明したように、最後の重要な走査位置が除去され、全てのサブブロックに対してcoded_sub_block_flagが符号化される。
● DC周波数位置をカバーするサブブロック(左上のサブブロック)のcoded_sub_block_flagは、特殊な場合を提示する。VVC草案3において、このサブブロックのcoded_sub_block_flagは決して信号通知されず、常に1に等しいと推測される。最後の有意な走査位置が別のサブブロックに位置する場合、それは、DCサブブロックの外側に少なくとも1つの有意なレベルがあることを意味する。その結果、DCサブブロックは、このサブブロックのcoded_subblock_flagが1に等しいと推測されるが、ゼロ/非有意レベルのみを含んでもよい。TSに最後の走査位置情報がない場合、各サブブロックのcoded_sub_block_flagが信号通知される。これは、他のcoded_sub_block_flag構文要素が既に0に等しい場合を除き、DCサブブロックのcoded_sub_block_flagをも含む。この場合、DC coded_sub_block_flagは1に等しいと推論される(inferDcSbCbf=1)。このDCサブブロックには少なくとも1つの有意なレベルがなければならないので、このDCサブブロックにおける他のすべてのsig_coeff_flag構文要素が0に等しい場合、(0,0)における第1の位置のsig_coeff_flag構文要素は信号通知されず、1に等しくなるように導出される(inferSbDcSigCoefFlag=1)。
●coded_sub_block_flagのコンテクストモデリングを変更する。コンテクストモデルインデックスは、coded_sub_block_flagの左側への和と、coded_sub_block_flagの現在のサブブロック上への和と、両方の論理和として計算される。
sig_coeff_flagコンテクストモデリング:sig_coeff_flagコンテクストモデルにおけるローカルテンプレートは、現在のスキャン位置の左側(NB)及び上側(NB)の近傍のみを含むように修正される。コンテクストモデルオフセットは、重要な隣接位置sig_coeff_flag[NB]+sig_coeff_flag[NB]の個数に過ぎない。そこで、今回の変換区間における対角dに応じて異なるコンテクスト集合を選択することを排除する。その結果、sig_coeff_flagを符号化するための3つのコンテクストモデル及び1つのコンテクストモデル集合が得られる。
abs_level_gt1_flag及びpar_level_flagコンテクストモデリング:abs_level_gt1_flag及びpar_level_flagには1つのコンテクストモデルを用いる。
abs_remainder符号化:変換スキップ残差絶対レベルの経験的分布は、典型的には、依然としてラプラシアン又は幾何学的分布に適応するが、変換係数絶対レベルよりも大きい不安定性が存在する。具体的には、残留絶対値レベルの場合、連続して実現する窓内の分散が高くなる。これは、abs_remainderシンタックスの二値化及びコンテクストモデリングを以下のように修正する動機となる。
●2値化においてより高いカットオフ値、即ち、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、及びabs_level_gt3_flagを用いた符号化からabs_remainderのRice符号への移行点と、各ビンの位置に専用のコンテクストモデルを用いることで、より高い圧縮効率が得られる。カットオフを大きくすると、より多くの「Xより大きい」フラグがもたらされ、例えば、カットオフに達するまで、abs_level_gt5_flag、abs_level_gt7_flag等を導入していく。カットオフ自体は5に固定される(numGtFlags=5)。
●ライスパラメータ導出のためのテンプレートを修正し、すなわち、現在の走査位置の左側の近傍及び上側の近傍のみを、sig_coeff_flagコンテクストモデリングのためのローカルテンプレートに類似していると見なす。
coeff_sign_flagコンテクストモデリング:符号のシーケンス内の不安定性及び予測残差がしばしば偏っていることに起因して、全体的な経験的分布がほぼ均一に分布している場合であっても、符号はコンテクストモデルを使用して符号化され得る。符号の符号化には1つの専用コンテクストモデルが使用され、符号はsig_coeff_flagの後に構文解析されて、すべてのコンテクスト符号化ビンが一緒にまとめられる。
2.7 量子化残差ブロック差分パルスコード変調(QR-BDPCM)
JVET-M0413において、量子化された残差ブロック差分パルスコード変調(QR-BDPCM)が、スクリーンコンテンツを効率的に符号化するために提案されている。
QR-BDPCMで使用される予測方向は、垂直予測モードおよび水平予測モードであり得る。イントラ予測は、イントラ予測と同様に、予測方向(水平または垂直予測)にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子(水平または垂直)量子化値との間のデルタを符号化する。これは、以下のように説明することができる。サイズM(行)×N(列)のブロックについて、ri,j,0≦i≦M-1、0≦j≦N-1を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向(予測ブロックに対して左隣の画素値を1ラインずつコピーする)または垂直方向(予測ブロックにおける各ラインに上隣のラインをコピーする)にイントラ予測を行った後の予測残差とする。Q(r)、0≦i≦M-1、0≦j≦N-1は、残差rの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックDPCMが量子化された残差サンプルに適用され、その結果、要素r~を有する修正されたM×N個の配列R~が得られる。垂直BDPCMが信号通知されると、以下のようになる。
Figure 2022529369000002
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
Figure 2022529369000003
残差量子化サンプルr~はデコーダに送られる。
デコーダ側では、上記の計算を逆にして、Q(ri,j)、0≦i≦M-1、0≦j≦N-1を生成する。垂直予測の場合、
Figure 2022529369000004
水平方向の場合、
Figure 2022529369000005
逆量子化された残差Q-1(Q(ri,j))をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
このスキームの主な利点は、逆方向のDPCMを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。
QR-BDPCMの本文変更案を以下に示す。
Figure 2022529369000006
Figure 2022529369000007
bdpcm_flag[x0][y0]が1の場合、位置(x0,y0)の輝度符号化ブロックを含む符号化ユニットにbdpcm_dir_flagが存在することを指定する
bdpcm_dir_flag[x0][y0]=0は、bdpcmブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
2.8 マトリックスに基づくイントラ予測
行列に基づくイントラ予測は、アフィン線形重み付きイントラ予測(ALWIP)とも呼ばれ、重み付き行列を使用してイントラ予測信号を導出する。
2.8.1 方法の説明
幅Wおよび高さHの矩形ブロックのサンプルを予測するために、アフィン線形重み付きイントラ予測(ALWIP)は、ブロックの左側のH個の再構成された近傍の境界サンプルの1つのラインと、ブロックの上側のW個の再構成された近傍の境界サンプルの1つのラインとを入力とする。再構成されたサンプルが利用不可能な場合、従来のイントラ予測で行われたように生成される。
予測信号の生成は、以下の3つのステップに基づいて行われる。
1. 境界サンプルのうち、W=H=4の場合、4つのサンプルを抽出し、それ以外の場合、8つのサンプルを平均することによって抽出する。
2. 平均化されたサンプルを入力として、行列ベクトル乗算に続いてオフセットの加算を実行する。その結果、元のブロックにおけるサンプルのサブサンプリングされたセットに対して、縮小予測信号が得られる。
3. 残りの位置の予測信号は、各方向への単一ステップの線形補間である線形補間によってサブサンプリングされたセットにおける予測信号から生成される。
行列の3つのセットS,S,Sから、予測信号を生成するために必要な行列およびオフセットベクトルを取り込む。セットSは、各々、16行4列の18個の行列
Figure 2022529369000008
と、サイズ16の18個のオフセットベクトル
Figure 2022529369000009
を有する。そのセットの行列およびオフセットベクトルは、4×4サイズのブロックに対して使用される。セットSは、各々、16行8列の10個の行列
Figure 2022529369000010
と、サイズ16の10個のオフセットベクトル
Figure 2022529369000011
を有する。そのセットの行列およびオフセットベクトルは、サイズ4×8、8×4、および8×8のブロックに使用される。最後に、セットSは、各々、64行8列の6個の行列
Figure 2022529369000012
と、サイズ64の6個のオフセットベクトル
Figure 2022529369000013
そのセットまたはその一部の行列およびオフセットベクトル、並びにオフセットベクトルは、他のすべてのブロック形状に使用される。
行列ベクトル積の計算に必要な乗算の総数は、常に4・W・H以下である。すなわち、ALWIPモードでは、1つのサンプルにつき最大4回の乗算が必要である。
2.8.2 境界の平均化
まず、インプット境界bdrytop、bdryleftを小さな境界bdrytop red、bdryleft redに縮小する。ここで、bdrytop redおよびbdryleft redは、両方とも、4×4-ブロックの場合、2つのサンプルからなり、他のすべての場合、両方とも4つのサンプルからなる。
4×4ブロックの場合、0≦i<2に対しては次のように定義する。
Figure 2022529369000014
そして、bdryleft redを同じように定義する。
そうでない場合、ブロック幅WがW=4・2として求められた場合、0≦i<4に対しては次のように定義する。
Figure 2022529369000015
そして、bdryleft redを同じように定義する。
2つの縮小された境界bdrytop redおよびbdryleft redは、縮小された境界ベクトルbdryredに連結され、このようにして、形状4×4のブロックの場合、サイズ4となり、他のすべての形状のブロックの場合、サイズ8となる。modeがALWIPモードを指す場合、この連結は以下のように定義される。
Figure 2022529369000016
最後に、サブサンプリングされた予測信号を補間するために、大きなブロックに対して、平均化された境界の第2のバージョンが必要である。すなわち、min(W,H)>8およびW≧Hの場合、W=8*2を書き込み、0≦i<8の場合、次のように定義する。
Figure 2022529369000017
min(W,H)>8およびH>Wの場合、bdryleft redIIを同様に定義する。
2.8.3 行列ベクトル乗算による縮小予測信号の生成
縮小されたインプットベクトルbdryredのうち、1つは縮小予測信号predredを生成する。この信号は、ダウンサンプリングされた幅Wredおよび高さHredのブロックにおける信号である。ここで、WredおよびHredは、次のように定義される。
Figure 2022529369000018
縮小予測信号predred、行列ベクトルの積を算出し、次のようにオフセットを加えることによって計算される。
predred=A・bdryred+b.
ここで、Aは、W=H=4であり、他のすべての場合において8つの列を有する場合、Wred・Hred行および4列を有する行列である。bは、サイズWred・Hredのベクトルである。
行列Aおよびベクトルbは、セットS、S、Sのうちの1つから以下のように取り込まれる。1つのインデックスidx=idx(W,H)を以下のように定義する。
Figure 2022529369000019
さらに、mを以下のように置く。
Figure 2022529369000020
そして、idx≦1またはidx=2且つmin(W,H)>4である場合、A=A idxおよびb=b idxを置く。idx=2およびmin(W,H)=4の場合、Aを、A idxのすべての行を取り除くことによって生じる行列とし、W=4の場合、ダウンサンプリングされたブロックにおける奇数x座標に対応し、またはH=4の場合、ダウンサンプリングされたブロックにおける奇数y座標に対応する。
最後に、以下の場合、縮小予測信号をその転置に置き換える。
●W=H=4およびmode≧18
●max(W,H)=8およびmode≧10
●max(W,H)>8およびmode≧6
W=H=4の場合、Aは4列16行であるので、predred計算に必要な乗算数は4である。他のすべての場合において、Aは、8列およびWred・Hred行を有し、これらの場合において、8・Wred・Hred≦4・W・H乗算が必要であることを即座に確認し、即ち、この場合においても、predredを計算するために、1つのサンプル当たり最大4回の乗算が必要である。
2.8.4 ALWIP処理全体の説明
図6、図7、図8、図9の異なる形状に対して、平均化、行列ベクトル乗算、線形内挿の全体的な処理を示す。なお、残りの形状は、いずれか1つの図示された場合と同様に扱われる。
1. 4×4ブロックを仮定すると、ALWIPは、境界の各軸に沿って2つの平均をとる。結果として得られる4つの入力サンプルは、行列ベクトル乗算に入る。行列はセットSから取り込まれる。オフセットを加算した後、16個の最終予測サンプルが得られる。予測信号を生成するために線形補間は必要でない。このようにして、1つのサンプル当たり、合計(4・16)/(4・4)=4回の乗算を行う。
図6は、4×4ブロックのためのALWIPの例示である。
2. 8×8ブロックを仮定すると、ALWIPは、境界の各軸に沿って4つの平均をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットSから取り込まれる。これにより、予測ブロックの奇数位置に16個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・16)/(8・8)=2回の乗算を行う。オフセットを加えた後、これらのサンプルは、縮小された上側境界を使用することによって垂直方向に補間される。元の左側境界を使用して水平補間を行う。
図7は、8×8ブロックのためのALWIPの例示である。
3. 8×4ブロックを仮定すると、ALWIPは、境界の水平軸に沿って4つの平均をとり、左側境界上の4つの元の境界値をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットSから取り込まれる。これにより、予測ブロックの水平方向の奇数位置および垂直方向の各位置に16個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・16)/(8・4)=4回の乗算を行う。オフセットを加算した後、元の左側境界を使用してこれらのサンプルを水平方向に補間する。
図8は、8×4ブロックのためのALWIPの例示である。
転置された場合はそれに応じて処理される。
4. 16×16ブロックを仮定すると、ALWIPは、境界の各軸に沿って4つの平均をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットSから取り込まれる。これにより、予測ブロックの奇数位置に64個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・64)/(16・16)=2回の乗算を行う。オフセットを加算した後、これらのサンプルを、上側境界の8つの平均を使用することによって垂直方向に補間する。元の左側境界を使用して水平補間を行う。
図9は、16×16ブロックのためのALWIPの例示である。
より大きい形状の場合、この手順は本質的に同じであり、1つのサンプル当たりの乗算の数が4未満であることをチェックすることは容易である。
W>8のW×8ブロックの場合、サンプルは奇数個の水平位置および各垂直位置で得られるので、水平補間のみが必要である。ここで、(8・64)/(W・8)=64/W乗算/サンプルごとに演算を行い、縮小予測を算出する。
最後に、W>8であるW×4個のブロックに対して、Aを、ダウンサンプリングされたブロックの横軸に沿った奇数個のエントリに対応するすべての行を取り除くことによって生じる行列とする。このように、出力サイズは32であり、再び、水平補間のみを行うものとする。縮小予測の計算のために、(8・32)/(W・4)=64/W乗算/サンプルごとに乗算を行う。W=16の場合、追加の乗算は必要とされず、一方、W>16の場合、線形補間の場合、1つのサンプル当たり2未満の乗算しか必要とされない。よって、乗算の総数は4以下である。
転置された場合はそれに応じて処理される。
2.8.5 シングルステップ線形補間
max(W,H)≧8を有するW×Hブロックの場合、予測信号は、線形内挿によってWred×Hredに縮小予測信号predreから生じる。ブロックの形状によっては、垂直、水平または両方向に線形補間を行う。線形補間を両方向に適用する場合、まずW×Hを水平方向に適用し、最初に垂直方向に適用する場合、水平方向に適用し、そうでない場合、線形補間を水平方向に適用する。
一般性を損なうことなく、max(W,H)≧8およびW≧Hを有するW×Hブロックを考える。そして、一次元線形補間は、以下のようにして行われる。一般性を損なうことなく、垂直方向の線形補間を説明すれば十分である。まず、境界信号によって縮小予測信号を上端に拡大する。垂直アップサンプリング係数Uver=H/Hredおよび書き込みUver=2Uver>1を定義する。次に、次のように拡張縮小予測信号を定義する。
Figure 2022529369000021
そして、この拡大縮小予測信号から、以下の式によって垂直線形補間予測信号を生成する。
Figure 2022529369000022
0≦x<Wred、0≦y<Hred、0≦k<Uverの場合。
ビットシフトのみの線形補間アルゴリズムは乗算を必要としない。
2.8.6 提案されたイントラ予測モードの信号化
イントラモードの各符号化ユニット(CU)ごとに、ALWIPモードを対応する予測ユニット(PU)に適用するかどうかを示すフラグをビットストリームにおいて送信する。ALWIPモードを適用する場合、3つのMPMSを有するMPMリストを使用して、ALWIPモードのインデックスpredmodeを信号通知する。
ここで、MPMの導出は、上記左右のPUのイントラモードを使用して、以下のようにして行われる。3つの固定テーブルmap_angular_to_alwipidx,idx∈{0,1,2}があり、これらの固定テーブルは、各々の従来のイントラ予測モードpredmodeAngularに1つのALWIPモードを割り当てる。
predmodeAngular=map_angular_to_alwipidx[predmodeAngular].
幅Wおよび高さHの各々のユニットに対して、1つのインデックスを定義する。
idx(PU)=idx(W,H)∈{0,1,2}
これは、3つのセットのうちどれからALWIPパラメータを上記1.3章に記載のように取り込むかを示す。
上記予測ユニットPUaboveが利用可能であり、現在のPUと同じCTUに属し、且つイントラモードにある場合、idx(PU)=idx(PUabove)であり、且つALWIP-mode predmodeabove ALWIPでPUaboveにALWIPを適用する場合、以下のようになる。
Figure 2022529369000023
上記PUが利用可能であり、現在のPUと同じCTUに属し、イントラモードにあり、且つ上記PUに従来のイントラ予測モードpredmodeabove ALWIPを適用すると、以下のようになる。
Figure 2022529369000024
他のすべての場合において、次のようになる。
Figure 2022529369000025
これは、このモードが利用不可能であること意味する。同様にして、但し、左側のPUが現在のPUと同じCTUに属する必要があるという制限なしに、モードmodeleft ALWIPを導出する。
最後に、3つの固定デフォルトリストlistidx,idx∈{0,1,2}が提供され、その各々は3つの異なるALWIPモードを含む。デフォルトリストlistidx(PU)およびモードmodeabove ALWIPおよびmodeleft ALWIPのうち、デフォルト値を-1に置き換え、且つ重複を排除することで、3つの異なるMPMを構築する。
2.8.7 従来の輝度および彩度イントラ予測モードのための適応型MPMリスト導出
提案されたALWIPモードは、従来のイントラ予測モードのMPMに基づく符号化と以下のように調和される。従来のイントラ予測モードのための輝度および彩度MPMリスト導出処理は、固定テーブルmap_alwip_to_angularidx,idx∈{0,1,2}を使用し、所与のPUにおけるALWIPモードpremodeALWIPを従来のイントラ予測モードの1つにマッピングする。
Figure 2022529369000026
輝度MPMリストの導出のために、ALWIPモードpremodeALWIPを使用する近傍の輝度ブロックに遭遇した場合、このブロックは、従来のイントラ予測モードpremodeALWIPを使用していたものとして扱われる。彩度MPMリスト導出の場合、現在の輝度ブロックがLWIPモードを使用する時はいつでも、同じマッピングを使用してALWIPモードを従来のイントラ予測モードに変換する。
2.9 VVCにおける彩度イントラモード符号化
彩度イントラモード符号化の場合、彩度イントラモード符号化の場合、合計8つのイントラモードが許可される。これらのモードには、5つの伝統的なイントラモードと6つの構成要素共通の線形モデルモードが含まれる。彩度DMモードは、対応する輝度イントラ予測モードを使用する。Iスライスにおいて、輝度成分と彩度成分に対するブロック分割構造の分離が有効化されているため、1つの彩度ブロックは複数の輝度ブロックに対応してもよい。よって、彩度DMモードの場合、現在の彩度ブロックの中心位置を含む、対応する輝度ブロックのイントラ予測モードは直接継承される。
3. 開示される実施形態が解決しようとする技術的課題の例
QR-BDPCMは、スクリーンコンテンツの符号化において符号化の利点を実現することができるが、依然としていくつかの欠点を有する可能性がある。
1. QR-BDPCMモードにおける予測は、水平および垂直イントラ予測にのみ限定され、QR-BDPCMモードにおける予測効率を制限する可能性がある。
2. イントラ予測モードが、QR-BDPCMモードのレートコストを増加させ得るQR-BDPCM符号化ブロックのために信号通知される。
3. QR-BDPCMモードにおいて信号通知されたメッセージを予測モードにマッピングするとき、近傍の情報は考慮されない。
4. QR-BDPCMは、水平DPCMおよび垂直DPCMのみをサポートすることによって残差を表し、複素残差ブロックにおける符号化性能を含む可能性がある。
5. QR-BDPCMにおける残差範囲は、他の非QR-BDPCMモードの最大範囲を超える可能性がある。
6. QR-BDPCMはブロック形状を考慮していない。
7. 輝度ブロックをQR-BDPCMで符号化する場合、彩度をどのように扱うかは不明である。
4. 例示的な実施形態および技術
以下に列記されるものは、一般的な概念を説明するための例であると考えられるべきである。これらの技術的特徴は狭い意味で解釈されるべきではない。さらに、これらの技術的特徴は、任意の方法で組み合わせることができる。
1. QR-BDPCM符号化ブロックにおけるサンプル予測は、行列に基づくイントラ予測(MIP)方法によって生成してもよい。
a. 一例において、QR-BDPCMおよびMIPの両方が1つのブロックに対して有効化される場合、MIPにおける許可モードの一部のみがサポートされないように制限される。
i. 一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列に基づくイントラ予測方法に関連付けられたモードを含んでもよい。
ii. 一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列に基づくイントラ予測方法に関連付けられたモードのみを含んでもよい。
b. 一例において、1つのブロックに対してQR-BDPCMおよびMIPの両方が有効化される場合、MIPにおけるすべての許可モードがサポートされる。
2. QR-BDPCM符号化ブロックにおけるサンプル予測は、垂直/水平イントラ予測以外のイントラ予測モードで生成してもよい。
a. 一例において、QR-BDPCM符号化ブロックにおけるサンプルは、イントラ予測モードKによって予測してもよい。
i. 一例において、Kは、平面モードでもよい。
ii. 一例において、Kは直流モードでもよい。
iii. 一例において、Kは水平モードでもよい。
iv. 一例において、Kは垂直モードでもよい。
v. 一例において、Kは、最大確率モードの一覧における1つの候補でもよい。
vi. 一例において、Kは、ビットストリームにおいて信号通知してもよい。
b. QR-BDPCMのための許可されたイントラ予測モードは、以下に基づいてもよい。
i. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
ii. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii. 現在のブロックおよび/またはその近傍のブロックのブロック形状
iv. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
v. 現在のブロックの隣接ブロックのイントラ予測モード
vi. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
vii. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
viii. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
ix. 分離/二重符号化ツリー構造
x. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
3. QR-BDPCM符号化ブロックにおけるサンプル予測は、非隣接サンプルによって生成されてもよい。
a. 一例において、IBCマージモードの場合、QR-BDPCMも有効化してよい。
b. 一例において、IBC AMVPモードの場合、QR-BDPCMもまた有効化してよい。
c. IBCおよびQR-BDPCMで使用されるブロックベクトルは、信号通知しても、導出しても、または予め定義してもよい。
i. 一例において、IBCモードは、動きベクトル(ブロックベクトル)および/またはマージインデックスによって示してもよい。
ii. 一例において、IBCモードは、デフォルトの動きベクトルによって示してもよい。
1. 一例において、デフォルトの動きベクトルは、(-w,0)であってもよく、ここで、wは、正の整数である。
2. 一例において、デフォルトの動きベクトルは、(0,-h)であってもよく、ここで、hは、正の整数である。
3. 一例において、デフォルトの動きベクトルは、(-w,-h)であってもよく、ここで、wおよびhは、2つの正の整数である。
iii. 一例において、IBC符号化ブロックおよびQP-BPDCM符号化ブロックにおいて使用される動きベクトルの指示は、以下に基づいてもよい。
1. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
2. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
3. 現在のブロックおよび/またはその近傍のブロックのブロック形状
4. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
5. 現在のブロックの隣接ブロックの動きベクトル
6. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
7. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
8. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
9. 分離/二重符号化ツリー構造
10. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
d. 一例において、QR-BDPCMモードにおけるサンプル予測は、インター予測ツール(例えば、アフィンモード、マージモード、およびインターモード)によって生成してもよい。
4. QR-BDPCMにおける量子化残差予測方向の指示は、オンザフライで導出してもよい。
a. 一例において、QR-BDPCMにおける量子化残差予測方向の指示は、現在のイントラ予測モードの指示に基づいて推測してもよい。
i. 一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、垂直に推測してもよい。
ii. 一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、水平に推測してもよい。
iii. 一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、垂直に推測してもよい。
iv. 一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、水平に推測してもよい。
b. 一例において、QR-BDPCMにおける量子化残差予測方向の指示は、以下に基づいてもよい。
i. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
ii. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii. 現在のブロックおよび/またはその近傍のブロックのブロック形状
iv. 現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
vi. 現在のブロックの隣接ブロックのイントラ予測モード
vii. 現在のブロックの隣接ブロックの動きベクトル
viii. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
ix. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
x. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi. 分離/二重符号化ツリー構造
xii. 現在のブロックに適用される変換タイプ
xiii. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
5. QR-BDPCMにおける信号通知されたインデックスからQR-BDPCMモードにおけるイントラ予測モードへのマッピングは、以下に基づいてもよい。
a. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
b. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
c. 現在のブロックおよび/またはその近傍のブロックのブロック形状
d. 現在のブロック及び/又はその近傍のブロックの最大確率モード。
e. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
f. 現在のブロックの隣接ブロックのイントラ予測モード
g. 現在のブロックの隣接ブロックの動きベクトル
h. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
i. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
j. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
k. 分離/二重符号化ツリー構造
l. 現在のブロックに適用される変換タイプ
m. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
6. QR-BDPCMにおいて、量子化残差は、水平方向および垂直方向に沿って予測される。なお、量子化残差を垂直方向および水平方向以外の方向に沿って予測することも提案されている。Q(ri,j)が量子化残差を表し、かつr i,jが残差予想処理後の量子化残差を表すとする。
a. 一例において、45度QR-BDPCMがサポートしてもよい。
i. 一例において、DPCMは、45°に沿って行われてもよく、Q(r(i-1),(j-1))が利用可能である場合、r i,jはQ(ri,j)-Q(r(i-1),(j-1))によって導出してもよい。
b. 一例において、135度QR-BDPCMをサポートしてもよい。
i. 一例において、DPCMは、135°に沿って行われてもよく、Q(r(i-1),(j+1))が利用可能である場合、r i,jは、Q(ri,j)-Q(r(i-1),(j+1))によって導出してもよい。
c. 一例において、任意の方向をQR-BDPCMにおいてサポートしてもよい。
i. 一例において、Q(r(i-m),(j-n))が利用可能である場合、r i,jはQ(ri,j)-Q(r(i-m),(j-n))によって導出してもよい。
1. 一例において、mおよび/またはnは、ビットストリームにおいて信号通知してもよい。
2. 一例において、mおよび/またはnは、整数であってもよく、以下に基づいてもよい。
3. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
4.iおよび/またはj
5. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
6. 現在のブロックおよび/またはその近傍のブロックのブロック形状
7. 現在のブロック及び/又はその近傍のブロックの最大確率モード。
8. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
9. 現在のブロックの隣接ブロックのイントラ予測モード
10. 現在のブロックの隣接ブロックの動きベクトル
11. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
12. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
13. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
14. 分離/二重符号化ツリー構造
15. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
7. QR-BDPCMは、彩度ブロック(例えば、Cb/Cr、またはB/R色成分)に適用してもよい。
a. 一例において、輝度および彩度QR-BDPCM符号化ブロックのための許容されるイントラ予測方向は、同じであってもよく、例えば、水平および垂直のみであってもよい。
b. 一例において、輝度QR-BDPCM符号化ブロックおよび彩度QR-BDPCM符号化ブロックのための許容される予測方法は、同じであってもよく、例えば、IBC/インター/水平および垂直イントラ予測モードであってもよい。
c. 一例において、輝度QR-BDPCM符号化ブロックおよび彩度QR-BDPCM符号化ブロックのための許容される残差予測方向は、同じであってもよい。
d. 一例において、彩度QR-BDPCMのための残差予測方向は、対応する輝度ブロックのための残差予測方向から導出されてもよい。
i. 一例において、対応する輝度ブロックは、並置された輝度ブロックであってもよい。
ii. 一例において、対応する輝度ブロックは、彩度ブロックの左上隅の並置されたサンプルを含む輝度ブロックであってもよい。
iii. 一例において、対応する輝度ブロックは、彩度ブロックの中心合わせされたサンプルの並置されたサンプルを含む輝度ブロックであってもよい。
e. 一例において、CCLMおよびQR-BDPCMは、同じ彩度ブロックに適用できなかった。
i. 代替的に、CCLMは、QR-BDPCM符号化ブロックにも適用可能である。
f. 一例において、ジョイント彩度残差符号化(例えば、ジョイントcbおよびcr符号化)方法およびQR-BDPCMは、同じ彩度ブロックに適用され得なかった。
8. QR-BDPCMにおける再構成された量子化残差は、特定の範囲内に制限されてもよい。
a. 一例において、全ての量子化残差(例えば、式2-7-1および式2-7-2におけるr i,j)が特定の範囲内にあってもよいという制約を加えることができる。
b. 一例において、再構成された量子化残差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))の全てが特定の範囲内にあってもよいという制約を加えることができる。
c. 一例において、再構成された量子化残差が特定の範囲内にあるように、クリッピング演算を量子化残差の差(例えば、式2-7-1および式2-7-2におけるr i,j)に適用してもよい。
d. 一例において、再構成された量子化残差が特定の範囲内にあるように、クリッピング演算を再構成された量子化残差の差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))に適用してもよい。
e. 一例において、クリッピング演算は、(x<min? min:(x>max? max:x))として定義してもよい。
f. 一例において、クリッピング演算は、(x<=min? min:(x>=max? max:x))として定義してもよい。
g. 一例において、クリッピング演算は、(x<min? min:(x>=max? max:x))として定義してもよい。
h. 一例において、クリッピング演算は、(x<=min? min:(x>max? max:x))として定義してもよい。
i. 一例において、minおよび/またはmaxは、負または正であってもよい。
j. 一例において、minは-32768に設定され、maxは32767に設定される。
i. 代替的に、このminおよび/またはmaxは、QR-BDPCMで符号化されていないブロックの逆量子化の範囲に依存してもよい。
ii. 代替的に、この最小値および/または最大値は、入力サンプル/再構成サンプルのビット深度に依存してもよい。
iii. 代替的に、minおよび/またはmaxは、可逆符号化が使用されるかどうかに依存してもよい。
1. 一例において、minおよび/またはmaxは、transquant_bypass_enabled_flagに依存してもよい。
2. 一例において、minおよび/またはmaxは、cu_transquant_bypass_flagに依存してもよい。
k. 一例において、minおよび/またはmaxは、以下に基づいてもよい。
i. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
ii. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii. 現在のブロックおよび/またはその近傍のブロックのブロック形状
iv. 現在のブロック及び/又はその近傍のブロックの最大確率モード。
v. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
vi. 現在のブロックの隣接ブロックのイントラ予測モード
vii. 現在のブロックの隣接ブロックの動きベクトル
viii. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
ix. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
x. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi. 分離/二重符号化ツリー構造
xii. 現在のブロックに適用される変換タイプ
xiii. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
9. 1つのブロックに対してQR-DPCMを最後の行/列から1つ目の行/列に適用してもよい。
a. 一例において、残差予測方向が水平である場合、(i+1)番目の列の残差を使用して、i番目の列の残差を予測してもよい。
b. 一例において、残差予測方向が垂直である場合、(i+1)番目の行の残差を使用して、i番目の行の残差を予測してもよい。
10. QR-DPCMは、1つのブロックのサブセットに適用されてもよい。
a. 一例において、残差予測方向が水平である場合、QR-DPCMは、残差の左端のk個の列には適用されない。
b. 一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の上位k行には適用されない。
c. 一例において、残差予測方向が水平である場合、QR-DPCMは、残差の右端のk個の列には適用されない。
d. 一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の下位k行には適用されない。
e. 上述したkの値は、以下に基づいて予め規定された値であってもよい。
i. SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において信号通知されるメッセージ
ii. 現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii. 現在のブロックおよび/またはその近傍のブロックのブロック形状
iv. 現在のブロック及び/又はその近傍のブロックの最大確率モード。
v. 現在のブロックの隣接ブロックの予測モード(イントラ/インター)
vi. 現在のブロックのイントラ予測モード
vii. 現在のブロックの隣接ブロックのイントラ予測モード
viii. 現在のブロックの隣接ブロックの動きベクトル
ix. 現在のブロックの隣接ブロックのQR-BDPCMモードの表示
x. 現在のブロック及び/又はその隣接ブロックの現在の量子化パラメータ
xi. カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xii. 分離/二重符号化ツリー構造
xiii. 現在のブロックに適用される変換タイプ
xiv. スライス/タイルグループのタイプおよび/またはピクチャのタイプ
11. QR-DPCMは1つのブロックに対してセグメントごとに適用してもよい。
a. 一例において、残差予測方向が垂直であり、N=nKである場合、残差予測は、以下のように行ってもよい。
Figure 2022529369000027
b. 一例において、残差予測方向が水平であり、M=mKである場合、残差予測は、以下のように行ってもよい。
Figure 2022529369000028
12. 1つの色成分に対してQR-DPCMを有効化/無効化にすることは、別の色成分に関連付けられたものから導出してもよい。
a. 一例において、彩度ブロックの場合、QR-DPCMを有効化するかどうかは、並置された輝度ブロック内の1つまたは複数の代表的なブロックに関連付けられたQR-DPCMの使用に依存してもよい。
i. 一例において、代表的なブロックは、DM導出に使用されるものと同様に定義してもよい。
ii. 一例において、並置された輝度ブロック内の代表的なブロックがQR-DPCM符号化され、現在の彩度ブロックがDMモードで符号化される場合、QR-DPCMは、現在の彩度ブロックに対しても有効化されてもよい。
b. 代替的に、QR-DPCMの使用の指示は、彩度成分のために信号通知してもよい。
i. 一例において、2つの彩度成分の使用を示すように、1つのフラグを信号通知してもよい。
ii. 代替的に、2つの彩度成分の使用をそれぞれ示すように、2つのフラグを信号通知してもよい。
iii. 一例において、彩度ブロックが特定のモード(例えば、CCLM)で符号化される場合、QR-DPCMの使用の指示の信号通知はスキップされる。
13. 上記方法は、DPCM/QR-DPCMの他の分散にも適用可能でもよい。
5.参照
[1]
ITU-T and ISO/IEC,“高効率映像符号化”,Rec.ITU-T H.265 | ISO/IEC 23008-2 (02/2018).
[2]
B. Bross,J.Chen,S.Liu,汎用映像符号化(草案4),JVET-M1001,Jan.2019
図1000は、映像処理装置1000のブロック図である。装置1000は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1000は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置1000は、1つ以上の処理装1002と、1つ以上のメモリ1004と、映像処理ハードウェ1006と、を含んでもよい。1つまたは複数のプロセッサ1002は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)1004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図11は、映像処理の方法1100の一例を示すフローチャートである。方法1100は、差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うこと(1102)を含む。前記イントラ予測モードは前記現在の映像ブロックのサンプルに対する予測を生成するために使用される。前記差分符号化モードを使用して、差分パルス符号化変調表現を使って前記画素の前記予測から量子化残差ブロックを表現する。
図14は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1400を示すブロック図である。様々な実装形態は、システム1400のモジュールの一部又は全部を含んでもよい。システム1400は、映像コンテンツを受信するための入力ユニット1402を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット1402は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム1400は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール1404を含んでもよい。符号化モジュール1404は、入力ユニット1402からの映像の平均ビットレートを符号化モジュール1404の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール1404の出力は、モジュール1406によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1402において受信された、記憶された又は通信された映像のビットストリーム(又は符号化)表現は、モジュール1408によって使用されて、表示インターフェースユニット1410に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
図15は、本開示の技法を利用し得る例示的な映像符号化システム100を示すブロック図である。図15に示すように、映像符号化システム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元デバイス110は、映像符号化機器とも称され得る符号化映像データを生成する。送信先デバイス120は、送信元デバイス110によって生成された、映像復号化デバイスと呼ばれ得る符号化映像データを復号化し得る。送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インターフェース116と、を備えてもよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1つ以上のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成するビットシーケンスを含んでもよい。ビットストリームは、符号化ピクチャおよび関連付けられたデータを含んでもよい。符号化ピクチャは、ピクチャの符号化表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインターフェース116を介して直接送信先デバイス120に送信されることができる。符号化された映像データは、送信先デバイス120がアクセスするために、記憶媒体/サーバ130bに記憶してもよい。
送信先デバイス120は、I/Oインターフェース126、映像デコーダ124、および表示装置122を含んでもよい。
I/Oインターフェース126は、受信機および/またはモデムを含んでもよい。I/Oインターフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号化してもよい。表示装置122は、復号化した映像データをユーザに表示してもよい。表示装置122は、送信先デバイス120と一体化されてもよく、または外部表示装置とインターフェースするように構成される送信先デバイス120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像符号化(HEVC)規格、汎用映像符号化(VVVM)規格、および他の現在のおよび/またはさらなる規格等の映像圧縮規格に従って動作してもよい。
図16は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図15に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成してもよい。図16の実施例において、映像エンコーダ200は、複数の機能性モジュールを含む。本開示で説明される技法は、映像エンコーダ200の様々なモジュール間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ200の機能性モジュールは、分割ユニット201、プレディケーションユニット202を含んでもよく、予測ユニット202は、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、およびエントロピー符号化ユニット214を含んでもよい。
他の例において、映像エンコーダ200は、より多い、より少ない、または異なる機能性モジュールを含んでもよい。一例において、プレディケーションユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいてプレディケーションを行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのモジュールは、高度に統合されてもよいが、説明のために、図16の例においては別個に表現されている。
分割ユニット201は、1つのピクチャを1つ以上の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートすることができる。
モード選択ユニット203は、例えば、誤りの結果に基づいて、イントラ符号化モードまたはインター符号化モードのうちの1つを選択し、得られたイントラ符号化ブロックまたはインター符号化ブロックを残差生成ユニット207に供給し、残差ブロックデータを生成し、再構成ユニット212に供給し、符号化ブロックを参照ピクチャとして使用するために再構成してもよい。本発明の実施例において、モード選択ユニット203は、インタープリケーション信号およびイントラプリケーション信号に基づいてプリケーションを行うイントラおよびインタープリケーション(CIIP)モードの組み合わせを選択してもよい。また、モード選択ユニット203は、プレディケーション間の場合、ブロックの動きベクトルの解像度(例えば、サブピクセルまたは整数画素精度)を選択してもよい。
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのための動き情報を生成してもよい。動き補償ユニット205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報および復号化サンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。
動き推定ユニット204および動き補償ユニット205は、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかによって、例えば、現在の映像ブロックに対して異なる演算を行ってもよい。
いくつかの例では、動き推定ユニット204は、現在の映像ブロックに対して単方向予測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索して、現在の映像ブロックを求める。そして、動き推定ユニット204は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト0またはリスト1における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット204は、リスト0における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例では、動き推定ユニット204は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット204は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると決定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
別の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差(MVD)とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、指示された映像ブロックの動きベクトルおよび動きベクトルの差を使用して、現在の映像ブロックの動きベクトルを決定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、高度動きベクトルプレディケーション(AMVP)およびマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロック(複数可)を減算することによって(例えば、-符号によって示されている)、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット207は、減算演算を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックのための1つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、プレディケーションユニット202が生成した1つ以上の予測映像ブロックからの対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ213に記憶してもよい。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作を行ってもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能性モジュールからデータを受信してもよい。エントロピー符号化ユニット214は、データを受信すると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。
図17は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図15に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれかまたは全部を行うように構成してもよい。図17の実施例において、映像デコーダ300は、複数の機能性モジュールを含む。本開示で説明される技法は、映像デコーダ300の様々なモジュール間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
本図17の実施例において、映像デコーダ300は、エントロピー復号化ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を含む。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図16)に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。
エントロピー復号化ユニット301は、符号化ビットストリームを取り出してもよい。符号化ビットストリームは、エントロピー符号化された映像データ(例えば、映像データの符号化ブロック)を含んでもよい。エントロピー復号化ユニット301は、エントロピー符号化された映像データを復号化し、エントロピー復号された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット302は、例えば、AMVPおよびマージモードを行うことで、このような情報を決定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償ユニット302は、受信した構文情報に従って、映像エンコーダ200が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、構文情報の一部を用いて、符号化された映像シーケンスのフレーム(複数可)および/またはスライス(複数可)を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック間の各1つ以上の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスを復号化するための他の情報を決定してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号化ユニット301によって復号された量子化された映像ブロック係数を逆量子化(すなわち、逆量子化)する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202またはイントラ予測ユニット303によって生成された対応する予測ブロックとを合計し、復号化ブロックを形成する。所望であれば、ブロックアーチファクトを除去するために、復号化されたブロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号化された映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のための参照ブロックを提供し、且つ表示装置に表示するための復号化された映像を生成する。
いくつかの実施形態において、ALWIPモードまたはMIPモードにおいて、現在の映像ブロックのための予測ブロックは、行および列の平均値をとり、その後に行列乗算をし、その後に補間をして予測ブロックを決定することができる。
図18は、映像処理の方法1800の一例を示すフローチャートである。方法1800h、適用可能性の規則に基づいて、映像の彩度映像ブロックと彩度映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であると判定すること1802を含む。動作1804は、前記判定に基づいて、前記差分符号化モードを使用して、彩度映像ブロックと前記彩度映像ブロックの前記ビットストリーム表現との変換を行うこととを含み、前記差分符号化モードにおいて、前記彩度映像ブロックは、前記彩度映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現に表現され、前記イントラ予測は第1の方向で行われ、前記量子化残差の予測は第2の方向で行われ、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
方法1800のいくつかの実施形態において、前記第1の方向または前記第2の方向は、垂直方向および水平方向から決定される。方法1800のいくつかの実施形態において、前記イントラ予測は、前記彩度映像ブロックに対応する輝度映像ブロックに対して行われる前記イントラ予測に使用されるのと同じ前記第1の方向に行われる。方法1800のためのいくつかの実施形態において、輝度映像ブロックのための許容される前記イントラ予測モードは、前記輝度映像ブロックに対応する前記彩度映像ブロックに対してイントラ予測を行うために使用されるものと同じである。方法1800のいくつかの実施形態において、彩度映像ブロックの量子化残差に対して許容される前記第2の方向は、前記彩度映像ブロックに対応する前記輝度映像ブロックの別の量子化残差に対して使用されるものと同じである。方法1800のいくつかの実施形態において、前記量子化残差の前記予測に使用される前記第2の方向は、前記彩度映像ブロックに対応する輝度映像ブロックに対して追加の量子化残差を予測する第2の方向に基づく。方法1800のいくつかの実施形態において、前記輝度映像ブロックは、前記彩度映像ブロックと並置される。方法1800のいくつかの実施形態において、前記輝度映像ブロックは、前記彩度映像ブロックの左上隅に位置する第2のサンプルと並置される第1のサンプルを含む。方法1800のためのいくつかの実施形態において、前記輝度映像ブロックは、前記彩度映像ブロックの中心に位置する第2のサンプルと並置される第1のサンプルを含む。
方法1800のいくつかの実施形態において、前記適用可能性の規則は、前記彩度映像ブロックがクロス成分線形モデル(CCLM)符号化モードで符号化される場合、前記差分符号化モードが前記彩度映像ブロックに適用されないことを規定する。方法1800のいくつかの実施形態において、前記適用可能性の規則は、前記彩度映像ブロックがクロス成分線形モデル(CCLM)符号化モードで符号化される場合、前記差分符号化モードが前記彩度映像ブロックに適用されることを規定する。方法1800のいくつかの実施形態において、前記適用可能性の規則は、前記彩度映像ブロックが結合彩度残差符号化技法で符号化される場合、差分符号化モードが前記彩度映像ブロックに適用されないことを規定する。方法1800のいくつかの実施形態において、前記彩度映像ブロックは、青色成分または赤色成分に関連付けられる。
図19は、映像処理の方法1900の一例を示すフローチャートである。前記方法1900は、差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを使用して、映像の現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うこと1902を含み、前記イントラ予測モードにおいて、現在の映像ブロックのイントラ予測の量子化残差は、前記現在の映像ブロックに対するサンプルの予測に基づいており、差分符号化モードにおいて、前記現在の映像ブロックは、前記量子化残差と前記量子化残差の予測との差分を使用して表現される前記ビットストリームで表現され、前記量子化残差と前記量子化残差の予測との差分は、差分パルス符号化変調(DPCM)表現を使用して表される。
方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、行列に基づくイントラ予測モード(MIP)であり、ここで、前記現在の映像ブロックのための前記サンプルの前記予測は、前記映像の前回符号化された映像サンプルに対して、境界ダウンサンプリング動作と、それに続く行列ベクトル乗算動作と、選択的に続くアップサンプリング動作とを行うことによって決定される。方法1900のいくつかの実施形態において、前記共存則は、前記MIPモードを、前記MIPモードのための複数の許可されたモードの一部に限定する。方法1900のいくつかの実施形態において、前記複数の許容モードの前記一部は、水平イントラモードおよび/または垂直イントラモードを含む。方法1900のいくつかの実施形態において、前記複数の許容モードの前記一部は、水平イントラモードおよび/または垂直イントラモードのみを含む。方法1900のためのいくつかの実施形態において、前記共存則は、前記MIPモードが前記MIPモードのためのすべての許可されたモードをサポートすることを示す。方法1900のためのいくつかの実施形態において、前記イントラ予測モードにおいて、前記現在の映像ブロックのための前記サンプルの予測は、非水平方向または非垂直方向に沿って予測を行うことで決定される。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、プレーナ予測モードまたはDC予測モードである。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、垂直予測モードまたは水平予測モードである。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、最大確率モード(MPM)のリストから選択される。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、前記ビットストリーム表現における1つのフィールドによって識別される。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、複数の許可されたイントラ予測モードから選択される。
方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに示される。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックのイントラ予測モードに基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードに基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックに使用される量子化パラメータの値に基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく。方法1900のためのいくつかの実施形態において、前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく。
方法1900のためのいくつかの実施形態において、前記イントラ予測モードにおいて、前記現在の映像ブロックのための前記サンプルの予測は、前記現在の映像ブロックの近傍の映像ブロックにおける非隣接サンプルから決定される。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、イントラブロックコピーマージモードを備え、前記共存則は、前記IBCマージモードのために前記差分符号化モードが有効化されることを示す。方法1900のいくつかの実施形態において、前記イントラ予測モードは、イントラブロックコピー高度動きベクトル予測モードを備え、前記共存則は、前記イントラブロックコピー高度動きベクトル予測モードに対して前記差分符号化モードが有効であることを示す。方法1900のためのいくつかの実施形態において、前記イントラ予測モードは、イントラブロックコピーモードを含み、前記イントラブロックコピーモードおよび前記差分符号化モードで使用される動きベクトルは、前記ビットストリーム表現におけるフィールドによって示されるか、導出されるか、予め定義されるかである。
方法1900のいくつかの実施形態において、前記イントラブロックコピーモードは、前記動きベクトルおよび/またはマージインデックスによって示される。方法1900のいくつかの実施形態において、前記イントラブロックコピーモードはデフォルトの動きベクトルで示される。方法1900のいくつかの実施形態において、前記デフォルトの動きベクトルは、(-w,0)であり、ここで、wは正の整数である。方法1900のいくつかの実施形態において、前記デフォルトの動きベクトルは(0,-h)であり、ここで、hは正の整数である。方法1900のいくつかの実施形態において、前記デフォルトの動きベクトルは、(-w,-h)であり、ここで、wおよびhは、2つの正の整数である。方法1900のためのいくつかの実施形態において、前記動きベクトルを示す前記フィールドは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに含まれる。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法1900のためのいくつかの実施形態において、前記フィールドに示される動きベクトルは、前記現在の映像ブロックの前記近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、現在の映像ブロックの前記近傍の映像ブロックの動きベクトルに基づく。方法1900のためのいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく。
方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックを符号化に使用するカラーフォーマットに基づく。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックを符号化するために別個の符号化ツリー構造を使用するかまたは二重符号化ツリー構造を使用するかに基づく。方法1900のいくつかの実施形態において、前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループのタイプまたはピクチャのタイプに基づく。方法1900のためのいくつかの実施形態において、前記イントラ予測モードにおいて、前記現在の映像ブロックのための前記サンプルの予測は、インター予測ツールを使用して、前記現在の映像ブロックの近傍の映像ブロックにおける非隣接サンプルから決定される。
方法1900のためのいくつかの実施形態において、いくつかの実施形態において、前記共存則は、前記差分符号化モードに関連付けられた信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する。方法1900のためのいくつかの実施形態において、前記マッピングは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに示される。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく。方法1900のいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく。方法1900のいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックに適用される変換タイプに基づく。方法1900のためのいくつかの実施形態において、前記マッピングは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく。
方法1900のためのいくつかの実施形態において、前記量子化残差の予測は、水平方向または垂直方向とは異なる残差予測方向で行われる。方法1900のいくつかの実施形態において、前記残差予測方向は45度方向である。方法1900のいくつかの実施形態において、Q(ri,j)は前記量子化残差を示し、r i,jは残差の量子化されたサンプルを示し、r i,jは、Q(r(i-1),(j-1))が利用可能であることに呼応してQ(ri,j)-Q(r(i-1),(j-1))によって導出してもよい。方法1900のいくつかの実施形態において、前記残差予測方向は135度方向である。方法1900のいくつかの実施形態において、Q(ri,j)は前記量子化残差を示し、r i,jは残差の量子化されたサンプルを示し、r i,jは、Q(ri,j)-Q(r(i-1),(j+1))が利用可能であることに呼応してQ(r(i-1),(j+1))によって導出してもよい。
方法1900のためのいくつかの実施形態において、前記量子化残差の前記予測は、第1の値および第2の値に基づく残差予測方向に行われる。方法1900のいくつかの実施形態において、Q(ri,j)は前記量子化残差を表し、r i,jは残差量子化されたサンプルを表し、Q(r(i-m),(j-n))が利用可能であることに呼応して、Q(ri,j)-Q(r(i-m),(j-n))によってr i,jを導出することができ、mは前記第1の値であり、nは第2の値であり、iは、現在の映像ブロックの複数の行に沿った第1の位置を示す第3の値であり、jは、前記現在の映像ブロックの複数の列に沿った第2の位置を示す第4の値である。方法1900のいくつかの実施形態において、mおよびnは、前記ビットストリーム表現で信号通知される。方法1900のいくつかの実施形態において、mおよびnは整数である。
方法1900のいくつかの実施形態において、mおよびnは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCUグループに含まれるメッセージに示される。方法1900のいくつかの実施形態において、mはiの前記第3の値に基づいており、nはjの前記第4の値に基づいている。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、現在の映像ブロックまたは前記現在の映像ブロックの近傍の前記映像ブロックの最大確率モード(MPM)に基づく。方法1900のためのいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの前記近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているか否かの指示に基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく。方法1900のいくつかの実施形態において、mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく。
図20は、映像処理の方法2000の一例を示すフローチャートである。方法2000は、現在の映像ブロックのイントラ予測の量子化残差と量子化残差の予測との差分を使用して、前記現在の映像ブロックが前記ビットストリーム表現で表現される差分符号化モードを使用して、映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を行うこと2002を含み、前記量子化残差の前記予測の方向は、前記ビットストリーム表現から推測可能である。
方法2000のためのいくつかの実施形態において、量子化残差の前記予測の前記方向は、前記イントラ予測に使用されるイントラ予測モードから暗黙的に推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、前記イントラ予測モードに使用されるのと同じ方向であると推測可能である。方法2000のいくつかの実施形態において、前記方向は垂直または水平である。方法2000のいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、前記イントラ予測モードに使用される第2の方向とは異なる第1の方向になると推測可能である。方法2000のいくつかの実施形態において、前記第1の方向は垂直であり、前記第2の方向は水平である。方法2000のいくつかの実施形態において、前記第1の方向は水平であり、前記第2の方向は垂直である。
方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づいて、前記量子化残差の前記予測の前記方向を推測可能である。方法2000のいくつかの実施形態において、前記現在の映像ブロックまたは前記現在の映像ブロックの前記近傍の映像ブロックの前記量子化パラメータの値に基づいて、前記量子化残差の前記予測の前記方向を推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、現在の映像ブロックを符号化するために別個の符号化ツリー構造が使用されるかまたは二重符号化ツリー構造が使用されるかに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、前記現在の映像ブロックに適用される変換タイプに基づいて推測可能である。方法2000のためのいくつかの実施形態において、前記量子化残差の前記予測の方向は、現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づいて推測可能である。
図21は、映像処理の方法2100の一例を示すフローチャートである。方法2100は、差分符号化モードが映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に適用可能であることを判定すること2102と、前記判定に基づいて、実装規則に従って、前記差分符号化モードを使用して、前記現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を行うこと2104と、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックは、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現に表現され、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差の値の範囲内の値に制限されることを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差と前記量子化残差の前記予測との前記差分の値がある範囲の値の範囲内に制限されることを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差と前記量子化残差の前記予測との前記差分にクリッピング演算を適用することを規定し、前記クリッピング演算は、前記量子化残差と前記量子化残差の予測値との差分の値をある範囲内に制限する。方法2100のいくつかの実施形態において、前記実装規則は、量子化残差にクリッピング操作を適用することを指定し、クリッピング演算は、値の範囲内で量子化残差の値を制限する。
方法2100のいくつかの実施形態において、前記量子化残差と前記量子化残差の前記予測との差分は、以下の式、
Figure 2022529369000029
と、
Figure 2022529369000030
のいずれか1つに従って定義され、r i,jは、前記量子化残差と前記量子化残差の前記予測との差分を記述し、Q(ri,j)は、前記量子化残差の値を表し、MおよびNは、それぞれ、現在の映像ブロックの行および列を表し、iおよびjは、それぞれ、現在の映像ブロックの行および列に沿った位置を表す。
方法2100のいくつかの実施形態において、前記量子化残差は、
Figure 2022529369000031
のいずれか1つに従って定義され、r k,jおよびr i,kは、前記量子化残差と前記量子化残差の予測との差分を記述し、Q(ri,j)は、前記量子化残差を表し、MおよびNは、それぞれ、前記現在の映像ブロックの行および列を表し、iおよびjは、それぞれ、現在の映像ブロックの行および列に沿った位置を表す。
方法2100のいくつかの実施形態において、前記値からの各値は、以下のクリッピング規則に従って、クリッピング演算によって制限される:前記値が最小値未満であると、値が最小値となり、前記値が最大値よりも大きいと、値が最大値となる。方法2100のいくつかの実施形態において、前記値からの各値は、以下のクリッピング規則に従って、クリッピング演算によって制限される:前記値が最小値以下であると、値が最小値となり、前記値が最大値以上であると、値が最大値となる。方法2100のいくつかの実施形態において、前記値からの各値は、以下のクリッピング規則に従って、クリッピング演算によって制限される:前記値が最小値より小さいと、値が最小値となり、前記値が最大値以上であると、値が最大値となる。方法2100のいくつかの実施形態において、前記値からの各値は、以下のクリッピング規則に従って、クリッピング演算によって制限される:前記値が最小値以下であると、値が最小値となり、前記値が最大値より大きいと、値が最大値となる。
方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、正の値または負の値である。方法2100のいくつかの実施形態において、前記最小値は-32768であり、前記最大値は32767である。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記差分符号化モードで符号化されていない映像ブロックの逆量子化に関する別の範囲の値に基づく。方法2100のためのいくつかの実施形態において、前記最小値および/または前記最大値は、量子化残差ブロックの入力サンプルまたは再構成された前記量子化残差ブロックの前記再構成されたサンプルのビット深度に基づく。方法2100のためのいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックが可逆符号化技法で符号化されるかまたは復号化されるかに基づく。方法2100のためのいくつかの実施形態において、前記最小値および/または前記最大値は、前記量子交換バイパスフラグが有効化されているかどうかの指示に基づいており、ここで、可逆符号化技法が使用されているかどうかは、量子交換バイパスフラグによって示される。方法2100のためのいくつかの実施形態において、前記最小値および/または前記最大値は、符号化ユニット(CU)量子交換バイパスフラグが有効化されているかどうかの指示に基づいており、ここで、可逆符号化技法がCUレベルで使用されているかどうかは、前記CU量子交換バイパスフラグによって示される。方法2100のためのいくつかの実施形態において、前記最小値および/または前記最大値は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに基づく。
方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モードに基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、別個のまたは二重符号化ツリー構造が前記現在の映像ブロックを符号化するために使用されるかどうかに基づく。
方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックに適用される変換タイプに基づく。方法2100のいくつかの実施形態において、前記最小値および/または前記最大値は、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく。方法2100のいくつかの実施形態において、前記実装規則は、量子化残差の予測は、現在の映像ブロックの最後の行または最後の列から前記現在の映像ブロックの第1の行または第1の列への方向に行われることを規定する。方法2100のいくつかの実施形態において、前記方向が水平であることに呼応して、前記現在の映像ブロックのi番目の列における前記量子化残差の値の前記予測は、前記現在の映像ブロックの(i+1)番目の列における前記量子化残差の値である。方法2100のいくつかの実施形態において、前記方向が垂直であることに呼応して、前記現在の映像ブロックのi番目の行における前記量子化残差の値の前記予測は、前記現在の映像ブロックの(i+1)番目の行における前記量子化残差の値である。
方法2100のいくつかの実施形態において、前記実装規則は、差分符号化モードを前記現在の映像ブロックのサブセットまたは一部に適用することを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測を水平方向に行う場合、前記現在の映像ブロックの左端のk個の列に前記差分符号化モードを適用しないことを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測を垂直方向に行う場合、前記現在の映像ブロックの上端のk個の行に前記差分符号化モードを適用しないことを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測を水平方向に行う場合、前記現在の映像ブロックの右端のk個の列に前記差分符号化モードを適用しないことを規定する。方法2100のいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測を垂直方向に行う場合、前記現在の映像ブロックの下端のk個の行に前記差分符号化モードを適用しないことを規定する。方法2100のいくつかの実施形態において、kの値は予め定義される。
方法2100のためのいくつかの実施形態において、kの値は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに示される。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックのイントラ予測モードに基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく。
方法2100のいくつかの実施形態において、kの値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく。方法2100のいくつかの実施形態において、kの値は、前記現在の映像ブロックに適用される変換タイプに基づく。方法2100のためのいくつかの実施形態において、kの値は、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく。
方法2100のいくつかの実施形態において、前記実装規則は、前記現在の映像ブロックに対してセグメントごとに前記差分符号化モードを適用することを規定する。方法2100のためのいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測が垂直方向に行われ、且つN=nKである場合、残差量子化サンプルを以下の式に従って決定することを規定する。
Figure 2022529369000032
ここで,r i,jは、量子化残差と量子化残差の予測値との差分を記述し、Q(ri,j)は、量子化残差を記述し、MとNは、それぞれ現在の映像ブロックの行と列を記述し、iとjは、それぞれ現在の映像ブロックの行と列に沿った位置を記述し、nとKは、整数である。
方法2100のためのいくつかの実施形態において、前記実装規則は、前記量子化残差の前記予測が水平方向に行われ、且つM=mKである場合、残差量子化サンプルを以下の式に従って決定することを規定する。
Figure 2022529369000033
i,jは残差量子化サンプルを表し、Q(ri,j)は量子化残差を表し、MおよびNはそれぞれ前記現在の映像ブロックの行および列を表し、iおよびjはそれぞれ前記現在の映像ブロックの前記行および列に沿った位置を表し、mおよびKは整数である。
図22は、映像処理の方法2200の一例を示すフローチャートである。方法2200は、適用可能性の規則に基づいて、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを判定すること2202を含み、前記現在の映像ブロックは色成分に関連付けられており、前記適用可能性の規則は、前記6が前記映像の別の映像ブロックに適用されるかどうかに基づいて前記現在の映像ブロックに対して前記差分符号化モードを有効化するか無効化するかを指定する。方法2200は、また、前記判定に基づいて、前記差分符号化モードを使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うこと2204を含み、前記差分符号化モードにおいて、前記現在の映像ブロックは、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現に表現され、前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される。
方法2200のためのいくつかの実施形態において、現在の映像ブロックは彩度映像ブロックであり、前記適用可能性の規則は、前記彩度映像ブロックに対して差分符号化モードが有効化されるかどうかを、前記差分符号化モードが1つ以上の代表的な輝度映像ブロックに適用されるかどうかに基づいて規定し、前記1つ以上の代表的な輝度映像ブロックは前記彩度映像ブロックと並置される。方法2200のいくつかの実施形態において、前記1つ以上の代表的な輝度映像ブロックは、前記彩度映像ブロックのための前記イントラ予測のための導出モードを導出するために使用されるものと同様に定義される。方法2200のためのいくつかの実施形態において、前記現在の映像ブロックは彩度映像ブロックであり、前記適用可能性の規則は、前記彩度映像ブロックの前記イントラ予測に使用される導出モードおよび前記差分符号化モードが1つ以上の代表的な輝度ブロックに対して有効であり、且つ前記1つ以上の代表的な輝度映像ブロックが彩度映像ブロックと並置された場合、差分符号化モードが彩度映像ブロックに対して有効であることを指定する。方法2200のためのいくつかの実施形態において、前記適用可能性の規則は、前記現在の映像ブロックに対して前記差分符号化モードが有効化されるかまたは無効化されるかを、前記ビットストリーム表現に含まれる1つ以上の構文要素に示すことを規定する。
方法2200のいくつかの実施形態において、1つの構文要素は、2つの色成分に対して前記差分符号化モードが有効化されているか無効化されているかを示し、前記2つの色成分は、前記現在の映像ブロックに関連付けられた前記色成分を含む。方法2200のいくつかの実施形態において、2つの構文要素は、2つの色成分に対して前記差分符号化モードが有効化されているか無効化されているかをそれぞれ示し、前記2つの色成分は、前記現在の映像ブロックに関連付けられた前記色成分を含む。方法2200のいくつかの実施形態において、この適用可能性の規則は、ビットストリーム表現が、前記現在の映像ブロックの前記イントラ予測に使用される特定モードの場合、前記現在の映像ブロックに対して前記差分符号化モードを有効化されているか、または無効化されているかどうかを示す構文要素を除外することを規定する。方法2200のいくつかの実施形態において、前記特定モードは、クロス成分線形モデル(CCLM)を含む。
以下の例のリストは、追加の実施形態の説明である。
1. 差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うことを含み、前記イントラ予測モードは前記現在の映像ブロックのサンプルに対する予測を生成するために使用され、前記差分符号化モードを使用して、差分パルス符号化変調表現を使って前記画素の前記予測から量子化残差ブロックを表現する、映像処理方法。
2. 前記イントラ予測モードは、行列ベースのイントラ予測モード(MIP)であり、前記共存則は、前記MIPを前記MIPの許容モードの一部に限定する、実施例1に記載の方法。
3. 前記許容モードの一部は、水平または垂直ノーマルイントラモードを含む、例2に記載の方法。
例1~3のさらなる実施形態は、第4章の第1項に記載されている。例えば、差分符号化モードは、QR-BDPCM符号化モードの現在のバージョンを表してもよい。
4. 前記イントラ予測モードは、非水平または非垂直方向に沿った予測を含む、実施例1に記載の方法。
5. 前記イントラ予測モードは、平面予測モードであるか、またはDC予測モードである、実施例1または4に記載の方法。
6.前記イントラ予測モードは、垂直または水平予測モードである、実施例1または4に記載の方法。
7. 前記イントラ予測モードは、前記ビットストリーム表現における1つのフィールドによって識別される、実施例1または4に記載の方法。
8. 前記イントラ予測モードは、前記現在の映像ブロックまたは近傍のブロックのブロック寸法に依存する、実施例1または4に記載の方法。
9. 前記イントラ予測モードは、前記現在のブロックまたは近傍のブロックの形状に依存する、実施例1または4に記載の方法。
10.前記イントラ予測モードは、現在の映像ブロックまたは前記近傍の映像ブロックがインター予測またはイントラ予測を使用して符号化されているかどうかに依存する、実施例1または4に記載の方法。
11.前記イントラ予測モードは、前記近傍の映像ブロックが前記差分符号化モードを使用して符号化されるかどうかに依存する、実施例1または4に記載の方法。
12.前記イントラ予測モードは、前記現在の映像ブロックまたは前記近傍の映像ブロックに使用される量子化パラメータの値に依存する、実施例1または4に記載の方法。
13.前記イントラ予測モードは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに依存する、実施例1または4に記載の方法。
14.前記イントラ予測モードは、前記現在の映像ブロックを符号化するために別個の符号化ツリー構造を使用するかまたは二重符号化ツリー構造を使用するかに依存する、実施例1または4に記載の方法。
例4~14のさらなる実施形態は、第4章の第2項に記載されている。
15. 前記現在の映像ブロックのサンプルを、近傍の映像領域内の非隣接サンプルから予測するステップを行う、実施例1に記載の方法。
16, 前記イントラ予測モードは、イントラブロックコピーマージモードを含む、実施例1に記載の方法。
17. 前記イントラ予測モードは、イントラブロックコピー高度動きベクトル予測モードを含む、実施例1に記載の方法。
18. 前記イントラ予測モードは、ブロックベクトルまたはマージインデックスによって示される、実施例15~17のいずれかに記載の方法。
例15~18のさらなる実施形態は、第4章の第3項に記載されている。
19. 前記共存則は、前記ビットストリーム表現におけるフィールドに基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
20. 前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックの寸法に基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
21. 前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックの形状に基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
22. 前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックの予測モードに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
23. 前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックの最大確率モードに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
24.前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックの動きベクトルに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
25.前記共存則は、前記差分符号化モードにおいて信号通知されたインデックスから前記イントラ予測モードへのマッピングを、近傍のブロックが前記差分符号化モードを使用して符号化されているかどうかに基づいて規定する、実施例1に記載の方法。
26.前記共存則は、前記現在の映像ブロックまたは前記近傍のブロックによって使用される量子化パラメータに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
27.前記共存則は、前記現在の映像ブロックのカラーフォーマットに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
28.前記共存則は、前記現在の映像ブロックが別個の符号化ツリーを使用するかまたはデュアル符号化ツリーを使用するかに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
29.前記共存則は、前記現在の映像ブロックに適用された変換に基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
30.前記共存則は、前記現在の映像ブロックのスライスタイプ、タイルグループタイプまたはピクチャタイプに基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
例19~30のさらなる実施形態は、第4章の第2項に記載されている。
31. 差分パルス符号化変調表現を使用して、前記現在の映像ブロックの画素の予測から、量子化残差ブロックを表す差分符号化モードを使用して、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、前記現在の映像ブロックのピクセルの予測からの量子化残差ブロックは、差分パルス符号化変調表現を使用して表現され、前記予測の第1の方向または前記差分符号化モードの第2の方向は前記ビットストリーム表現から推測可能である、映像処理方法。
32.前記画素の予測の前記第1の方向は、前記予測に使用されるイントラ予測モードから暗黙的に推測可能である、実施例31に記載の方法。
33. 前記差分符号化モードの前記第2の方向は、前記予測の前記第1の方向と同じ方向であると推測可能である、実施例32に記載の方法。
34. 前記第2の方向は、前記予測に使用されるイントラ予測モードから推測可能である、実施例31に記載の方法。
35. 前記第2の方向は、前記現在の映像ブロックまたは近傍のブロックの寸法、または前記現在の映像ブロックまたは近傍のブロックの形状から推測可能である、実施例31に記載の方法。
36. 第2の方向は、近傍のブロックの動きベクトルから推測可能である、実施例31に記載の方法。
37.前記第2の方向は、前記現在の映像ブロックまたは近傍のブロックの最大確率モードから推測可能である、実施例31に記載の方法。
38.前記第2の方向は、近傍のブロックの予測モードから推測可能である、実施例31に記載の方法。
39.前記第2の方向は、近傍のブロックのイントラ予測モードから推測可能である、実施例31に記載の方法。
40.近傍のブロックが前記差分符号化モードを使用するか否かから、前記第2の方向を推測可能である、実施例31に記載の方法。
例31~40のさらなる実施形態は、第4章の第4項に記載されている。
41. 映像処理方法であって、適用可能性の規則に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを判定することと、前記差分符号化モードの実装規則を使用して現在の映像ブロックとビットストリーム表現との前記変換を行うことと、を含み、
前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される。
42. 前記残差予測方向は45度方向である、実施例41に記載の方法。
43. 前記残差予測方向は、135度方向である、実施例41に記載の方法。
44. 前記残差予測方向は、前記ビットストリーム表現におけるフィールド、または前記現在の映像ブロック若しくは前記近傍のブロックの寸法、または前記現在の映像ブロック若しくは前記近傍のブロックの形状に関する、実施例41に記載の方法。
例41~44のさらなる実施形態は、第4章の第6項に記載されている。
45. 前記適用可能性の規則は、前記現在の映像ブロックが彩度ブロックであることに起因して、前記差分符号化モードを使用することを規定する、実施例41に記載の方法。
46. 前記適用可能性の規則は、前記現在の映像ブロックのための前記残差予測方向が、前記現在の映像ブロックに対応する輝度ブロックのためのものと同じ方向であることをさらに規定する、実施例45に記載の方法。
47. 前記適用可能性の規則は、前記現在の映像ブロックに対して、クロス成分線形モデル(CCLM)符号化モードを使用しないことに起因して、前記差分符号化を使用することを規定する、実施例41に記載の方法。
例45~47のさらなる実施形態は、第4章の第7項に記載されている。
48. 前記適用可能性の規則は、1つの色成分に対する前記差分符号化モードの適用可能性を、別の色成分に対する前記差分符号化モードの適用可能性から導出することを指定する、実施例41に記載の方法。
例48のさらなる実施形態は、第4章の第12項に記載されている。
49. 差分符号化モードが現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に適用可能であることを判定することと、前記差分符号化モードの実装規則を使用して現在の映像ブロックとビットストリーム表現の前記変換を行うことと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される、映像処理方法。
50. 前記実装規則は、前記量子化残差ブロックの値をある範囲内に制限することを規定する、実施例49に記載の方法。
51. 前記実装規則は、クリッピングを使用して前記量子化残差ブロックを取得することを指定する、実施例49に記載の方法。
例49~51のさらなる実施形態は、第4章の第8項に記載されている。
52. 前記実装規則は、前記現在の映像ブロックの最後の行から前記現在の映像ブロックの第1の行への予測を行うことを指定する、実施例49に記載の方法。
53. 前記実装規則は、前記現在の映像ブロックの最後の列から前記現在の映像ブロックの第1の列への予測を行うことを指定する、例49に記載の方法。
例52~53のさらなる実施形態は、第4章の第9項に記載されている。
54. 前記実装規則は、前記現在の映像ブロックのサブセットのみに差分符号化モードを適用することを指定する、実施例49に記載の方法。
55. 前記サブセットは、残差のk個の左の列を除外し、kは、前記ブロックの画素幅より小さい整数である、実施例54に記載の方法。
56. 前記サブセットは、k個の最上行の残差を除外し、ここで、kは、前記ブロックの画素高さより小さい整数である、実施例54に記載の方法。
例54~56のさらなる実施形態は、第4章の第10項に記載されている。
57. 前記実装規則は、前記差分符号化モードをセグメントごとに前記変換に適用することを規定する、実施例49に記載の方法。
例57のさらなる実施形態は、第4章の第11項に記載されている。
58. 例1~57の1つ以上に実装するように構成された処理装置を備える映像処理装置。
59.前記コードが記憶されたコンピュータ読み取り可能な媒体であって、前記コードが処理装置によって実行されると、処理装置に、実施例1~57の1つ以上に記載の方法を実装させる。
本明細書における例の一覧において、用語「変換」は、現在の映像ブロックのためのビットストリーム表現の生成、またはビットストリーム表現から現在の映像ブロックを生成することを指すことができる。ビットストリーム表現は、ビットの連続したグループを表す必要がなく、ヘッダフィールドまたは符号化画素値情報を表すコード名に含まれるビットに分割されてもよい。
上記の例において、適用可能性の規則は、予め定義されたものであってもよく、エンコーダおよびデコーダに知られたものであってもよい。
本明細書に記載されているように、開示された技術は、映像エンコーダまたはデコーダで実施されて、イントラ符号化における差分符号化モードの使用に関して考慮事項の様々な実装規則の使用を含む技術を使用して圧縮効率を改善し得ることが理解されよう。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテクストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテクストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
本願は、2019年4月24日出願の国際特許出願第PCT/CN2019/084008号の優先権と利益を主張する、2020年4月23日出願の国際特許出願第PCT/US2020/029598号に基づく。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (110)

  1. 適用可能性の規則に基づいて、映像の彩度映像ブロックと前記彩度映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であると判定することと、
    前記判定に基づいて、前記差分符号化モードを使用して、前記彩度映像ブロックと前記彩度映像ブロックの前記ビットストリーム表現との変換を行うことと、を含み、
    前記彩度映像ブロックは、前記差分符号化モードにおいて、前記彩度映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現で表現され、
    前記イントラ予測は第1の方向で行われ、前記量子化残差の前記予測は第2の方向で行われ、
    前記差分符号化モードにおいて、前記量子化残差と前記量子化残差の前記予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される、
    映像処理方法。
  2. 前記第1の方向または前記第2の方向は、垂直方向および水平方向から決定される、
    請求項1に記載の方法。
  3. 前記イントラ予測は、前記彩度映像ブロックに対応する輝度映像ブロックに対して行われる前記イントラ予測に対して使用されるものと同じ第1の方向に行われる、
    請求項1に記載の方法。
  4. 輝度映像ブロックのための許容されるイントラ予測モードは、前記輝度映像ブロックに対応する前記彩度映像ブロックについてイントラ予測を行うために使用されるものと同じである、
    請求項1に記載の方法。
  5. 前記彩度映像ブロックの前記量子化残差に対して許容される前記第2の方向は、前記彩度映像ブロックに対応する輝度映像ブロックの別の量子化残差に対して使用されるものと同じである、
    請求項1に記載の方法。
  6. 前記量子化残差の前記予測に対して使用される前記第2の方向は、前記彩度映像ブロックに対応する輝度映像ブロックに対して追加の量子化残差を予測する前記第2の方向に基づく、
    請求項1に記載の方法。
  7. 前記輝度映像ブロックは、前記彩度映像ブロックと並置される、
    請求項6に記載の方法。
  8. 前記輝度映像ブロックは、前記彩度映像ブロックの左上隅に位置する第2のサンプルと並置された第1のサンプルを含む、
    請求項6に記載の方法。
  9. 前記輝度映像ブロックは、前記彩度映像ブロックの中央に位置する第2のサンプルと並置された第1のサンプルを含む、
    請求項6に記載の方法。
  10. 前記適用可能性の規則は、前記彩度映像ブロックがクロス成分線形モデル(CCLM)符号化モードで符号化された場合、前記差分符号化モードが前記彩度映像ブロックに適用されないことを規定する、
    請求項1に記載の方法。
  11. 前記適用可能性の規則は、前記彩度映像ブロックがクロス成分線形モデル(CCLM)符号化モードで符号化された場合、前記差分符号化モードが前記彩度映像ブロックに適用されることを規定する、
    請求項1に記載の方法。
  12. 前記適用可能性の規則は、前記彩度映像ブロックが結合彩度残差符号化技法で符号化された場合、前記差分符号化モードが前記彩度映像ブロックに適用されないことを規定する、
    請求項1に記載の方法。
  13. 前記彩度映像ブロックは、青色成分または赤色成分に関連付けられる、
    請求項1~12のいずれかに記載の方法。
  14. 差分符号化モードを使用し、且つ共存則に基づくイントラ予測モードを使用して、映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を行うことを含み、
    前記イントラ予測モードにおいて、前記現在の映像ブロックのイントラ予測の量子化残差は、前記現在の映像ブロックに対するサンプルの予測に基づいており、
    前記差分符号化モードにおいて、前記現在の映像ブロックは、前記量子化残差と前記量子化残差の予測との差分を使用して表す前記ビットストリームで表現され、
    前記量子化残差と前記量子化残差の前記予測との前記差分は、差分パルス符号化変調(DPCM)表現を使用して表現される、
    映像処理方法。
  15. 前記イントラ予測モードは、行列に基づくイントラ予測モード(MIP)であり、前記現在の映像ブロックに対する前記サンプルの前記予測は、前記映像の前回符号化された映像サンプルについて、境界ダウンサンプリング動作と、後続する行列ベクトル乗算動作と、選択的に後続するアップサンプリング動作とを行うことによって決定される、
    請求項14に記載の方法。
  16. 前記共存則は、前記MIPモードを、前記MIPモードのための複数の許可されるモードの一部に限定する、
    請求項15に記載の方法。
  17. 前記複数の許容モードの前記一部は、水平イントラモードおよび/または垂直イントラモードを含む、
    請求項16に記載の方法。
  18. 前記複数の許容モードの前記一部は、水平イントラモードおよび/または垂直イントラモードのみを含む、
    請求項16に記載の方法。
  19. 前記共存則は、前記MIPモードが前記MIPモードのためのすべての許可されたモードをサポートすることを示す、
    請求項15に記載の方法。
  20. 前記イントラ予測モードにおいて、前記現在の映像ブロックに対する前記サンプルの前記予測は、非水平方向または非垂直方向に沿って予測を行うことで決定される、
    請求項14に記載の方法。
  21. 前記イントラ予測モードは、平面予測モードまたはDC予測モードである、
    請求項20に記載の方法。
  22. 前記イントラ予測モードは、垂直予測モードまたは水平予測モードである、
    請求項20に記載の方法。
  23. 前記イントラ予測モードは、最大確率モード(MPM)のリストから選択される、
    請求項20に記載の方法。
  24. 前記イントラ予測モードは、前記ビットストリーム表現における1つのフィールドによって識別される、
    請求項20記載の方法。
  25. 前記イントラ予測モードは、複数の許可されたイントラ予測モードから選択される、
    請求項20に記載の方法。
  26. 前記複数の許可されたイントラ予測モードは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに示される、
    請求項25に記載の方法。
  27. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく、
    請求項25に記載の方法。
  28. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく、
    請求項25に記載の方法。
  29. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックのイントラ予測モードに基づく、
    請求項25に記載の方法。
  30. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードに基づく、
    請求項25に記載の方法。
  31. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく、
    請求項25に記載の方法。
  32. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックに対して使用される量子化パラメータの値に基づく、
    請求項25に記載の方法。
  33. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく、
    請求項25に記載の方法。
  34. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく、
    請求項25に記載の方法。
  35. 前記複数の許可されたイントラ予測モードは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく、
    請求項25に記載の方法。
  36. 前記イントラ予測モードにおいて、前記現在の映像ブロックのための前記サンプルの前記予測は、前記現在の映像ブロックの近傍の映像ブロックにおける非隣接サンプルから決定される、
    請求項14に記載の方法。
  37. 前記イントラ予測モードは、イントラブロックコピーマージモードを含み、前記共存則は、前記IBCマージモードに対して前記差分符号化モードが有効であることを示す、請求項36に記載の方法。
  38. 前記イントラ予測モードは、イントラブロックコピー高度動きベクトル予測モードを備え、前記共存則は、前記イントラブロックコピー高度動きベクトル予測モードに対して前記差分符号化モードが有効であることを示す、
    請求項36に記載の方法。
  39. 前記イントラ予測モードは、イントラブロックコピーモードを含み、
    前記イントラブロックコピーモードおよび前記差分符号化モードで使用される動きベクトルは、前記ビットストリーム表現におけるフィールドによって示されるか、導出されるか、予め定義されるかである、
    請求項36に記載の方法。
  40. 前記イントラブロックコピーモードは、前記動きベクトルおよび/またはマージインデックスによって示される、
    請求項39に記載の方法。
  41. 前記イントラブロックコピーモードは、デフォルトの動きベクトルによって示される、
    請求項39に記載の方法。
  42. 前記デフォルトの動きベクトルは、(-w,0)であり、wは正の整数である、
    請求項41に記載の方法。
  43. 前記デフォルトの動きベクトルは、(0,-h)であり、hは正の整数である、
    請求項41に記載の方法。
  44. 前記デフォルトの動きベクトルは、(-w,-h)であり、wおよびhは2つの正の整数である、
    請求項41に記載の方法。
  45. 前記動きベクトルを示す前記フィールドは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに含まれる、
    請求項39に記載の方法。
  46. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく、
    請求項39に記載の方法。
  47. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく、
    請求項39に記載の方法。
  48. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく、
    請求項39に記載の方法。
  49. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく、
    請求項39に記載の方法。
  50. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく、
    請求項39に記載の方法。
  51. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく、
    請求項39に記載の方法。
  52. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく、
    請求項39に記載の方法。
  53. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックを符号化するために別個の符号化ツリー構造を使用するかまたは二重符号化ツリー構造を使用するかに基づく、
    請求項39に記載の方法。
  54. 前記フィールドに示される前記動きベクトルは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループのタイプまたはピクチャのタイプに基づく、
    請求項39に記載の方法。
  55. 前記イントラ予測モードにおいて、前記現在の映像ブロックに対する前記サンプルの前記予測は、インター予測ツールを使用して、前記現在の映像ブロックの近傍の映像ブロックにおける非隣接サンプルから決定される、
    請求項36に記載の方法。
  56. 前記共存則は、前記差分符号化モードに関連付けられた信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、請求項14に記載の方法。
  57. 前記マッピングは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに示される、
    請求項56に記載の方法。
  58. 前記マッピングは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく、
    請求項56に記載の方法。
  59. 前記マッピングは、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく、
    請求項56に記載の方法。
  60. 前記マッピングは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づく、
    請求項56に記載の方法。
  61. 前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく、
    請求項56に記載の方法。
  62. 前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく、
    請求項56に記載の方法。
  63. 前記マッピングは、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく、
    請求項56に記載の方法。
  64. 前記マッピングは、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく、
    請求項56に記載の方法。
  65. 前記マッピングは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく請求項56に記載の方法。
  66. 前記マッピングは、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく、
    請求項56に記載の方法。
  67. 前記マッピングは、前記現在の映像ブロックに適用される変換タイプに基づく、
    請求項56に記載の方法。
  68. 前記マッピングは、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく、
    請求項56に記載の方法。
  69. 前記量子化残差の前記予測は、水平方向または垂直方向とは異なる残差予測方向に行われる、
    請求項14に記載の方法。
  70. 前記残差予測方向は45度方向である、
    請求項69に記載の方法。
  71. Q(ri,j)は、前記量子化残差を示し、
    i,jは、残差量子化サンプルを示し、
    i,jは、Q(r(i-1),(j-1))が利用可能であることに呼応してQ(ri,j)-Q(r(i-1),(j-1))によって導出可能である、
    請求項70に記載の方法。
  72. 前記残差予測方向は、135度方向である、
    請求項69に記載の方法。
  73. Q(ri,j)は、前記量子化残差を示し、
    i,jは、残差量子化サンプルを示し、
    i,jは、Q(r(i-1),(j+1))が利用可能であることに呼応してQ(ri,j)-Q(r(i-1),(j+1))によって導出可能である、
    請求項72に記載の方法。
  74. 前記量子化残差の前記予測は、第1の値および第2の値に基づく残差予測方向に行われる、
    請求項14に記載の方法。
  75. Q(ri,j)は、前記量子化残差を示し、
    i,jは、残差量子化サンプルを示し、
    i,jは、前記Q(r(i-m),(j-n))が利用可能であることに呼応してQ(ri,j)-Q(r(i-m),(j-n))によって導出可能であり、
    mは前記第1の値であり、nは前記第2の値であり、
    iは、前記現在の映像ブロックの複数の行に沿った第1の位置を示す第3の値であり、
    jは、前記現在の映像ブロックの複数の列に沿った第2の位置を示す第4の値である、
    請求項74に記載の方法。
  76. mおよびnが前記ビットストリーム表現で信号通知される、
    請求項75に記載の方法。
  77. mおよびnが整数である、
    請求項75に記載の方法。
  78. mおよびnは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群に含まれるメッセージに示される、
    請求項75に記載の方法。
  79. mがiの前記第3の値に基づいており、nがjの前記第4の値に基づいている、
    請求項75に記載の方法。
  80. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づく、
    請求項75に記載の方法。
  81. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づく、
    請求項75に記載の方法。
  82. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づく、
    請求項75に記載の方法。
  83. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づく、
    請求項75に記載の方法。
  84. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づく、
    請求項75に記載の方法。
  85. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づく、
    請求項75に記載の方法。
  86. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づく、
    請求項75に記載の方法。
  87. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づく、
    請求項75に記載の方法。
  88. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックを符号化するために別個のまたは二重符号化ツリー構造を使用するかに基づく、
    請求項75に記載の方法。
  89. mの前記第1の値およびnの前記第2の値は、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づく、
    請求項75に記載の方法。
  90. 映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を差分符号化モードを使用して行うことを含み、
    前記現在の映像ブロックは、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分を使用して、前記ビットストリーム表現で表現され、
    前記量子化残差の前記予測の方向は、前記ビットストリーム表現から推測可能である、
    映像処理方法。
  91. 前記量子化残差の前記予測の前記方向は、前記イントラ予測に対して使用されるイントラ予測モードから暗黙的に推測可能である、
    請求項90に記載の方法。
  92. 前記量子化残差の前記予測の前記方向は、前記イントラ予測モードに対して使用されるのと同じ方向であると推測可能である、
    請求項91に記載の方法。
  93. 前記方向は、垂直または水平である、
    請求項92に記載の方法。
  94. 前記量子化残差の前記予測の前記方向は、前記イントラ予測モードに対して使用される第2の方向とは異なる第1の方向であると推測可能である、
    請求項91に記載の方法。
  95. 前記第1の方向は垂直であり、前記第2の方向は水平である、
    請求項94に記載の方法。
  96. 前記第1の方向は水平であり、前記第2の方向は垂直である、
    請求項94に記載の方法。
  97. 前記量子化残差の前記予測の前記方向は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、またはLCU群において信号通知されるメッセージに基づいて推測可能である、
    請求項90に記載の方法。
  98. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づいて推測可能である、
    請求項90に記載の方法。
  99. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法形状に基づいて推測可能である、
    請求項90に記載の方法。
  100. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックまたは前記現在の映像ブロックの近傍の映像ブロックの最大確率モード(MPM)に基づいて推測可能である、
    請求項90に記載の方法。
  101. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モードまたはイントラ予測モードに基づいて推測可能である、
    請求項90に記載の方法。
  102. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づいて推測可能である、
    請求項90に記載の方法。
  103. 前記量子化残差の前記予測の前記方向は、現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されているかどうかの指示に基づいて推測可能である、
    請求項90に記載の方法。
  104. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックのまたは前記現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づいて推測可能である、
    請求項90に記載の方法。
  105. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づいて推測可能である、
    請求項90に記載の方法。
  106. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックを符号化するために別個の符号化ツリー構造が使用されるかまたは二重符号化ツリー構造が使用されるかに基づいて推測可能である、
    請求項90に記載の方法。
  107. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックに適用される変換タイプに基づいて推測可能である、
    請求項90に記載の方法。
  108. 前記量子化残差の前記予測の前記方向は、前記現在の映像ブロックに関連付けられたスライスまたはタイルグループタイプまたはピクチャタイプに基づいて推測可能である、
    請求項90に記載の方法。
  109. 請求項1~108の1つ以上に実装するように構成された処理装置を備える、
    映像処理装置。
  110. コードが記憶された非一時的なコンピュータ可読媒体であって、
    処理装置によって実行されると、前記コードは、前記処理装置に、請求項1~108のいずれか1項に記載の方法を実装させる、
    非一時的なコンピュータ可読媒体。
JP2021562399A 2019-04-24 2020-04-23 符号化映像の量子化残差差分パルス符号変調表現 Active JP7414843B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023206900A JP2024026312A (ja) 2019-04-24 2023-12-07 符号化映像の量子化残差差分パルス符号変調表現

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019084008 2019-04-24
CNPCT/CN2019/084008 2019-04-24
PCT/US2020/029598 WO2020219733A1 (en) 2019-04-24 2020-04-23 Quantized residual differential pulse code modulation representation of coded video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023206900A Division JP2024026312A (ja) 2019-04-24 2023-12-07 符号化映像の量子化残差差分パルス符号変調表現

Publications (2)

Publication Number Publication Date
JP2022529369A true JP2022529369A (ja) 2022-06-21
JP7414843B2 JP7414843B2 (ja) 2024-01-16

Family

ID=72940605

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021563150A Active JP7311626B2 (ja) 2019-04-24 2020-04-23 符号化映像の量子化残差差分パルス符号変調表現の制約
JP2021562399A Active JP7414843B2 (ja) 2019-04-24 2020-04-23 符号化映像の量子化残差差分パルス符号変調表現
JP2023206900A Pending JP2024026312A (ja) 2019-04-24 2023-12-07 符号化映像の量子化残差差分パルス符号変調表現

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021563150A Active JP7311626B2 (ja) 2019-04-24 2020-04-23 符号化映像の量子化残差差分パルス符号変調表現の制約

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023206900A Pending JP2024026312A (ja) 2019-04-24 2023-12-07 符号化映像の量子化残差差分パルス符号変調表現

Country Status (11)

Country Link
US (3) US11438597B2 (ja)
EP (2) EP3942811A4 (ja)
JP (3) JP7311626B2 (ja)
KR (2) KR102696039B1 (ja)
CN (3) CN117255200A (ja)
AU (1) AU2020262284B2 (ja)
CA (1) CA3137163C (ja)
MX (1) MX2021012675A (ja)
SG (1) SG11202111530YA (ja)
WO (2) WO2020219733A1 (ja)
ZA (1) ZA202107948B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020180102A1 (ko) * 2019-03-04 2020-09-10 엘지전자 주식회사 영상 코딩 시스템에서 컨텍스트 코딩된 사인 플래그를 사용하는 영상 디코딩 방법 및 그 장치
EP3942811A4 (en) 2019-04-24 2022-06-15 ByteDance Inc. CONSTRAINTS ON THE REPRESENTATION OF A DIFFERENTIAL MODULATION BY CODED PULSES OF QUANTIFIED RESIDUE FOR A CODED VIDEO
CN117857783A (zh) 2019-05-01 2024-04-09 字节跳动有限公司 使用量化残差差分脉冲码调制编解码的帧内编解码视频
EP3949387A4 (en) 2019-05-02 2022-05-18 ByteDance Inc. SIGNALING IN A TRANSFORM JUMP MODE
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式
CN114175660A (zh) * 2019-05-22 2022-03-11 Lg电子株式会社 使用bdpcm的图像解码方法及其装置
CN117241014A (zh) * 2019-06-05 2023-12-15 华为技术有限公司 Mpm列表构建方法、色度块的帧内预测模式获取方法及装置
FR3098073B1 (fr) 2019-06-25 2021-09-24 Fond B Com Procédé de codage et de décodage d’une image d’une séquence vidéo et dispositif associé
CN117241033A (zh) 2019-08-06 2023-12-15 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
CN114342400B (zh) * 2019-09-02 2024-06-28 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
JP7332795B2 (ja) 2019-09-21 2023-08-23 北京字節跳動網絡技術有限公司 クロマ・イントラモードのベースとなるサイズ制約
JP7536484B2 (ja) * 2020-03-18 2024-08-20 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2023198075A1 (en) * 2022-04-13 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023239347A1 (en) * 2022-06-06 2023-12-14 Google Llc Enhanced multi-stage intra prediction
WO2023237119A1 (en) * 2022-06-10 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018965A1 (ja) * 2009-08-12 2011-02-17 ソニー株式会社 画像処理装置および方法
JP2016524409A (ja) * 2013-06-05 2016-08-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated 残差差分パルスコード変調(dpcm)拡張ならびに変換スキップ、回転、および走査との調和

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275592A (ja) * 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
KR100813963B1 (ko) 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
US8208545B2 (en) * 2006-06-01 2012-06-26 Electronics And Telecommunications Research Institute Method and apparatus for video coding on pixel-wise prediction
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101483750B1 (ko) 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20110015356A (ko) 2009-08-07 2011-02-15 한국전자통신연구원 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US8995523B2 (en) 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
US9253508B2 (en) * 2011-11-04 2016-02-02 Futurewei Technologies, Inc. Differential pulse code modulation intra prediction for high efficiency video coding
KR20130049523A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
KR101830352B1 (ko) 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US9621894B2 (en) 2012-01-13 2017-04-11 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9838684B2 (en) 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US9621921B2 (en) 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
CN104380734B (zh) 2012-06-07 2017-09-15 寰发股份有限公司 编码以及解码视频数据的方法和装置
US9426466B2 (en) 2012-06-22 2016-08-23 Qualcomm Incorporated Transform skip mode
EP2869557B1 (en) 2012-06-29 2023-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images
US9549182B2 (en) 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US9264713B2 (en) 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US20140286413A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Disabling sign data hiding in video coding
CN113259683B (zh) 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US11470339B2 (en) * 2013-08-27 2022-10-11 Qualcomm Incorporated Residual prediction for intra block copying
WO2015057438A1 (en) 2013-10-14 2015-04-23 Mediatek Singapore Pte. Ltd. Method of residue differential pulse-code modulation for hevc range extension
KR20150055858A (ko) 2013-11-14 2015-05-22 삼성전자주식회사 차분 레지듀얼 신호를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
GB201321851D0 (en) 2013-12-10 2014-01-22 Canon Kk Run length parameters coding for palette mode
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
US20150189321A1 (en) 2014-01-02 2015-07-02 Mediatek Inc. Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax
US9860540B2 (en) 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
CN106105227B (zh) 2014-03-16 2019-12-24 Vid拓展公司 用于无损视频译码的信令的方法和设备
US9877035B2 (en) * 2014-03-17 2018-01-23 Qualcomm Incorporated Quantization processes for residue differential pulse code modulation
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
EP3032830A1 (en) * 2014-12-08 2016-06-15 Thomson Licensing Differential coding of intra modes
US10321140B2 (en) 2015-01-22 2019-06-11 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components
US10924743B2 (en) 2015-02-06 2021-02-16 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
CN112565792B (zh) 2015-10-19 2023-07-11 寰发股份有限公司 管理已解码图像缓存器的方法及装置
US10972731B2 (en) 2015-11-10 2021-04-06 Interdigital Madison Patent Holdings, Sas Systems and methods for coding in super-block based video coding framework
US10440399B2 (en) 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
WO2017088093A1 (en) 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
WO2017139937A1 (en) 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
EP3446480A1 (en) * 2016-04-22 2019-02-27 VID SCALE, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
EP3453173B1 (en) 2016-05-05 2021-08-25 InterDigital Madison Patent Holdings, SAS Control-point based intra direction representation for intra coding
WO2017194312A2 (en) * 2016-05-13 2017-11-16 Thomson Licensing Method and apparatus for video coding with adaptive clipping
RU2710667C1 (ru) 2016-05-28 2019-12-30 МедиаТек Инк. Способ и устройство привязки к текущему изображению для кодирования видео
CN116708777A (zh) 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US10390015B2 (en) 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
JP2018056685A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
CN109792516B (zh) * 2016-10-04 2021-05-25 联发科技股份有限公司 图像和视频编解码中用于帧内色度编解码的方法及装置
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10194147B2 (en) 2017-01-19 2019-01-29 Google Llc DC coefficient sign coding scheme
PL3477949T3 (pl) 2017-02-06 2024-02-19 Huawei Technologies Co., Ltd. Sposób i urządzenie do dekodowania obrazu z zastosowaniem informacji o podziale jednostki drzewa kodowania
US10779007B2 (en) 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
EP4415366A2 (en) 2017-08-03 2024-08-14 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
WO2019029951A1 (en) 2017-08-08 2019-02-14 Thomson Licensing METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
WO2019234669A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Signaled mv precision
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN110636299B (zh) 2018-06-21 2022-06-14 北京字节跳动网络技术有限公司 用于处理视频数据的方法、装置及计算机可读记录介质
US11973944B2 (en) 2018-06-27 2024-04-30 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored for block division at picture boundary
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表(lut)的条件
WO2020003261A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection from multiple luts
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
CN113316931B (zh) 2018-11-22 2024-04-12 北京字节跳动网络技术有限公司 视频处理中的脉冲编解码调制技术
JP2021513755A (ja) * 2019-01-15 2021-05-27 エルジー エレクトロニクス インコーポレイティド 変換スキップフラグを利用した映像コーディング方法及び装置
US11012701B2 (en) * 2019-02-22 2021-05-18 Tencent America LLC Residual coding for transform skip mode and block differential pulse-code modulation
WO2020172668A1 (en) * 2019-02-24 2020-08-27 Tencent America LLC Improved residual coding for transform skip mode and block differential pulse-code modulation
US11825120B2 (en) 2019-02-28 2023-11-21 Qualcomm Incorporated Subblock coding by generalized intra prediction in video coding
WO2020175938A1 (ko) 2019-02-28 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020180102A1 (ko) 2019-03-04 2020-09-10 엘지전자 주식회사 영상 코딩 시스템에서 컨텍스트 코딩된 사인 플래그를 사용하는 영상 디코딩 방법 및 그 장치
US11202100B2 (en) 2019-03-11 2021-12-14 Qualcomm Incorporated Coefficient coding for transform skip mode
US11128876B2 (en) 2019-03-12 2021-09-21 Qualcomm Incorporated Joint coefficient coding of transform skip and BDPCM mode for 4:4:4 color formats
US11070812B2 (en) 2019-03-12 2021-07-20 Qualcomm Incorporated Coefficient domain block differential pulse-code modulation in video coding
US11451826B2 (en) 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
WO2020213931A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 레지듀얼 계수의 차분 부호화를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020214980A1 (en) 2019-04-19 2020-10-22 Bytedance Inc. Context coding for transform skip mode
KR20210145123A (ko) 2019-04-23 2021-12-01 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
CN113728640B (zh) 2019-04-23 2024-08-02 北京字节跳动网络技术有限公司 帧内预测和残差编解码
EP3942811A4 (en) 2019-04-24 2022-06-15 ByteDance Inc. CONSTRAINTS ON THE REPRESENTATION OF A DIFFERENTIAL MODULATION BY CODED PULSES OF QUANTIFIED RESIDUE FOR A CODED VIDEO
US11190758B2 (en) 2019-04-25 2021-11-30 Qualcomm Incorporated Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
US11368721B2 (en) 2019-04-30 2022-06-21 Tencent America LLC Method and apparatus for interaction between intra prediction mode and block differential pulse-code modulation mode
CN117857783A (zh) 2019-05-01 2024-04-09 字节跳动有限公司 使用量化残差差分脉冲码调制编解码的帧内编解码视频
EP3949387A4 (en) 2019-05-02 2022-05-18 ByteDance Inc. SIGNALING IN A TRANSFORM JUMP MODE
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018965A1 (ja) * 2009-08-12 2011-02-17 ソニー株式会社 画像処理装置および方法
JP2016524409A (ja) * 2013-06-05 2016-08-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated 残差差分パルスコード変調(dpcm)拡張ならびに変換スキップ、回転、および走査との調和

Also Published As

Publication number Publication date
CA3137163C (en) 2024-05-14
US11431984B2 (en) 2022-08-30
KR102696039B1 (ko) 2024-08-19
CN113728642A (zh) 2021-11-30
EP3942820A4 (en) 2022-06-01
US20210385459A1 (en) 2021-12-09
JP2022530436A (ja) 2022-06-29
CN113728642B (zh) 2024-04-02
AU2020262284A1 (en) 2021-11-11
CA3137163A1 (en) 2020-10-29
EP3942811A4 (en) 2022-06-15
KR20210154806A (ko) 2021-12-21
EP3942820A1 (en) 2022-01-26
WO2020219737A1 (en) 2020-10-29
US11438597B2 (en) 2022-09-06
CN113906753A (zh) 2022-01-07
ZA202107948B (en) 2023-10-25
JP7311626B2 (ja) 2023-07-19
US11985323B2 (en) 2024-05-14
AU2020262284B2 (en) 2023-09-21
BR112021020796A2 (pt) 2021-12-14
CN117255200A (zh) 2023-12-19
KR102630415B1 (ko) 2024-01-29
US20210385442A1 (en) 2021-12-09
JP7414843B2 (ja) 2024-01-16
EP3942811A1 (en) 2022-01-26
MX2021012675A (es) 2021-11-12
SG11202111530YA (en) 2021-11-29
CN113906753B (zh) 2023-12-01
WO2020219733A1 (en) 2020-10-29
US20220385916A1 (en) 2022-12-01
KR20210152476A (ko) 2021-12-15
JP2024026312A (ja) 2024-02-28

Similar Documents

Publication Publication Date Title
JP7414843B2 (ja) 符号化映像の量子化残差差分パルス符号変調表現
JP7311627B2 (ja) 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像
JP2023169300A (ja) イントラコーディングモードにおけるマトリクスの導出
JP7288083B2 (ja) 符号化ツリー構造タイプに基づく符号化モード
JP2023120212A (ja) 変換スキップモードにおける信号通知
US11490089B2 (en) Transform bypass coded residual blocks in digital video
RU2807214C2 (ru) Ограничение представления дифференциальной импульсно-кодовой модуляции квантового остатка кодированного видео

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150