JP2022508194A - 映像処理におけるパルス符号変調技術 - Google Patents

映像処理におけるパルス符号変調技術 Download PDF

Info

Publication number
JP2022508194A
JP2022508194A JP2021529071A JP2021529071A JP2022508194A JP 2022508194 A JP2022508194 A JP 2022508194A JP 2021529071 A JP2021529071 A JP 2021529071A JP 2021529071 A JP2021529071 A JP 2021529071A JP 2022508194 A JP2022508194 A JP 2022508194A
Authority
JP
Japan
Prior art keywords
video
pcm
current block
mode
bitstream representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021529071A
Other languages
English (en)
Other versions
JP7182098B2 (ja
Inventor
リー ジャン
カイ ジャン
ホンビン リウ
ジジョン シュ
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022508194A publication Critical patent/JP2022508194A/ja
Priority to JP2022177350A priority Critical patent/JP7425158B2/ja
Application granted granted Critical
Publication of JP7182098B2 publication Critical patent/JP7182098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

パルス符号変調技術を含む、デジタル映像符号化のためのデバイス、システム、および方法が記載される。例示の映像処理の方法は、映像の現在のブロックに対して、パルス符号変調が使用される第1の符号化モードまたは多重参照ラインに基づくイントラ予測が使用される第2の符号化モードのうちの少なくとも一方が有効化されていることを判定することと、第1の符号化モードまたは第2の符号化モードに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含み、第1の符号化モードの使用を示す第1の指示および/または第2の符号化モードの使用を示す第2の指示が、順序付け規則に従ってビットストリーム表現に含まれる。【選択図】図11

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年11月22日出願の国際特許出願第PCT/CN2018/116885号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、画像および映像符号化および復号化に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおける最大の帯域幅の使用量を占める。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予期される。
開示された技術は、多重参照ラインが使用される映像および画像のイントラ予測符号化を使用する映像復号化または符号化の間、映像デコーダまたはエンコーダの実施形態によって使用されてよい。
1つの例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックに対して、PCM(Pulse Code Modulation)が使用される第1の符号化モードと、MRLIP(Multiple Reference Line based Intra Prediction)が使用される第2の符号化モードとのうちの少なくとも1つが有効にされていることを判定することと、第1の符号化モードと第2の符号化モードに基づいて、映像の現在のブロックとビットストリーム表現との間の変換を行うことと、を含み、第1の符号化モードの使用を示す第1の指示および/または第2の符号化モードの使用を示す第2の指示は、順序付け規則に従ってビットストリーム表現に含まれる。
別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のため、映像の色成分表現に基づいて、現在のブロックのパルス符号変調に基づいて符号化モードに関連付けられた少なくとも1つのフラグを判定することと、判定に基づいて、変換を行うことを含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の映像領域の現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、ビットストリーム表現は、現在のブロックへのPCM(Pulse Code Modulation)の適用可能性に関する規則に従ってフォーマットされ、規則は、PCMを無効化する旨の指示が映像領域レベルに含まれていると判定された場合、現在のブロックレベルでのPCMの指示を省略することを規定する。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックのサイズに基づいて、現在のブロックに対してPCM(Pulse Code Modulation)符号化モードを有効化するかどうかに関して決定することと、決定に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、現在のブロックの高さまたは幅の最小許容値を判定することを含み、高さの最小許容値は、幅の最小許容値とは別個に信号通知または導出され、判定に基づいて、変換を行うことを含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像のビットストリーム表現において、PCM(Pulse Code Modulation)符号化モードで符号化されている、映像の現在のブロックの表示が信号通知されたと判定した場合、映像の色成分表現を構成することと、構成に基づいて、現在のブロックとビットストリーム表現との間で変換を行うことと、を含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、非隣接参照ラインモードを変換に使用することに起因して、広角モードが変換のために無効にされることを判定することと、判定に基づいて、変換を行うことと、を含み、非隣接参照ラインモードは、非隣接画素を、現在のブロックの変換のための映像の参照ラインから使用し、広角モードは、45度から-135度までの従来の角度イントラ予測方向を超えたイントラ予測方向を含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックと映像のビットストリーム表現との間の変換のために、映像のカラーサブサンプリングフォーマットに基づいて、現在のブロックに対してMRL(Multiple Reference Line)符号化モードを有効化するか、または1つ以上参照ラインインデックスの信号方式をMRL符号化モードに使用するかを決定することと、決定に基づいて、変換を行うことと、を含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、映像の現在のブロックに対してインターイントラモードおよびMRLIP(Multiple Reference Line based Intra Prediction)モードが有効であると判定された場合、インターイントラモードのイントラ予測処理のために、現在のブロックに非隣接ラインまたは列を選択することと、ラインまたは列に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、現在のブロックに非隣接のラインを使用するMRLIP(Multiple Reference Line based Intra Prediction)モードを使用して符号化された映像の現在のブロックに対して、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、MRLIPは、MPM(Most Probable Mode)リストをさらに使用し、変換を行うことは、MPMリストの第1のモードをこのMPMリストの第2のモードに置き換えることを含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、現在のブロックに非隣接のラインを使用するMRLIP(Multiple Reference Line based Intra Prediction)モードを使用して符号化された映像の現在のブロックに対して、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、ビットストリーム表現は、MPM(Most Probable Mode)リストにおけるモードの符号化インデックスの代わりに、固定候補リストにおける1つのモードの符号化インデックスを含む。
さらに別の例示的な実施形態において、映像処理の方法が開示される。本方法は、MRL(Multiple Refernece Line)符号化モードを使用して、映像の現在のブロックと映像のビットストリーム表現との間で変換のため、ビットストリーム表現が、現在のブロックの予測に使用される上の行に対応する第1のインデックスと、予測に使用される左の列に対応する第2のインデックスとを含むことを判定することと、判定に基づいて変換を行うことと、を含む。
さらに別の例示的な態様において、上述された方法を実装するように構成されたプロセッサを含む映像エンコーダ装置が開示される。
さらに別の例示的な態様において、上述された方法を実装するように構成されたプロセッサを含む映像デコーダ装置が開示される。
さらに別の例示的な態様では、コンピュータ可読媒体が開示される。コンピュータ可読媒体は、その媒体に記憶されたコードを有する。このコードは、プロセッサによって実行されると、プロセッサに上述した方法を実装させる。
これらの、および他の態様は、本明細書で説明される。
イントラモード予測に使用される近傍のブロックの例を示す。 67個のイントラ予測モードの例を示す。 MPM(Most Probable Mode:最確モード)リスト構成処理に使用される近傍のブロックの例を示す。 広角イントラ予測のための参照サンプルの例を示す。 広角イントラ予測のための参照サンプルの例を示す。 45度を超える方向の場合の例示的な不連続を示す。 位置依存イントラ予測に使用されるサンプルの例を示す。 位置依存イントラ予測に使用されるサンプルの例を示す。 位置依存イントラ予測に使用されるサンプルの例を示す。 位置依存イントラ予測に使用されるサンプルの例を示す。 イントラ予測に使用される参照ラインの例を示す。 αおよびβの導出に使用されるサンプルの例示的な位置を示す。 1つの彩度ブロックおよびその対応する輝度ブロックの例を示す。 デフォルトモードを有するイントラ予測モードの例を示す。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 例示的な映像処理方法を示すフローチャートである。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 開示される技術が実装され得る例示的な映像処理システムのブロック図である。
本明細書は、映像ビットストリームのデコーダが、展開または復号化されたデジタル映像または画像の品質を向上させるために使用できる様々な技術を提供する。さらに、映像エンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技術を、対応する章に限定するものではない。このように、一つの章からの実施形態は、他の章からの実施例と組み合わせることができる。
1. 導入
本明細書は、映像符号化技術に関する。具体的には、画像/映像符号化におけるイントラ予測、特に多重参照ラインイントラ予測およびPCM(Pulse Code Modulation:パルス符号変調)に関する。本発明は、HEVCのような既存の映像符号化規格またはファイナライズされるべき規格(Versatile Video Coding)に適用されてよい。本発明は、将来の映像符号化規格または映像コーデックにも適用されてよい。
2. 冒頭のコメント
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4Visualを、両団体はH.262/MPEG-2VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作成した。映像符号化規格、H.262は、時間的予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJVET(Joint Video Expert Team)が作られ、HEVCと比較してビットレートを50%低減することを目標としたVVC規格に取り組むことになった。
VVCドラフトの最新バージョン、即ち、Versatile Video Coding(ドラフト2)は、以下を参照。
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip
VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下を参照。
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-3.0rc1
2.1 HEVC/H.265におけるイントラ予測
ピクチャにおいて、2つの異なる種類の冗長性を特定することができる。1)空間的または時間的冗長性、2)精神的-視覚的冗長性。空間的冗長性を除去するために、予測処理が使用される。イントラ予測は、ピクチャフレームのピクセルを予測する処理である。イントラピクチャ予測は、ピクチャブロックを予測するために近傍のピクセルを使用する。イントラ予測の前に、フレームを分割しなければならない。
HEVCにおいて、1つのピクチャ/スライス/タイルを複数のCTU(Coding Tree Unit)に分割してもよい。テクスチャの複雑性などのパラメータに基づいて、CTUは、64×64、32×32、または16×16のサイズを有することができる。従って、CTU(Coding Tree Unit)は、符号化論理ユニットであり、この符号化論理ユニットは、HEVCビットストリームに符号化される。これは、3つのブロック、即ち、輝度(Y)、2つの彩度成分(CbおよびCr)からなる。4:2:0のカラーフォーマットを例として、輝度成分はL×L個のサンプルを有し、各彩度成分はL/2×L/2個のサンプルを有する。各ブロックは、CTB(Coding Tree Block)と呼ばれる。各CTBは、CTU(64×64、32×32、または16×16)と同じサイズ(L×L)を有する。各CTBは、CTBと同じサイズから8×8程度の小ささまで、4分木構造に繰り返して分割され得る。このように分割された各ブロックは、CB(Coding Block)と呼ばれ、予測タイプ(インター予測またはイントラ予測)の決定点となる。予測タイプは、他のパラメータとともに、CU(Coding Unit)において符号化される。そのため、CUは、HEVCにおける予測の基本単位であり、その各々は、前述の符号化されたデータから予測される。CUは、3つのCB(Y、Cb、Cr)からなる。CBは依然として大き過ぎて、動きベクトル(インターピクチャ(時間的)予測)またはイントラピクチャ(空間的)予測モードを記憶できない場合がある。そこで、PB(Prediction Block)を導入した。各CBは、時間的および/または空間的予測可能性に基づいて、異なる形でPBに分割されてもよい。CTUは、32×32、16×16、8×8、または4×4のサイズを有していてよい。
イントラ予測モードには、PCM(Pulse Code Modulation:パルス符号変調)モードと、通常のイントラ予測モードとがある。
2.1.1 Pulse Code Modulation (PCM)
I_PCMモードでは、予測、変換、量子化、およびエントロピー符号化がバイパスされる。予測または変換を適用せずにサンプル値を直接表現することによる、1つのブロックのサンプルの符号化。
HEVCでは、I_PCMモードは2N×2NPUでのみ利用可能である。最大および最小I_PCM CUサイズはSPSで信号通知され、有効なI_PCM CUサイズは8×8、16×16、および32×32であり、ユーザが選択されたPCMサンプルビット深度で、輝度と彩度について別個にSPSで信号通知される。
例として輝度サンプルを取り上げる。recSamplesL[i,j]=pcm_sample_luma[(nS*j)+i]<<(BitDepthY-PCMBitDepthY)。PCMBitDepthY=BitDepthYの場合、損失のない符号化となる。
構文設計
7.3.2.2.1 一般シーケンスパラメータセットRBSP構文
Figure 2022508194000002
意味論
0に等しいpcm_enabled_flagは、PCM関連の構文(pcm_sample_bit_depth_luma_minus1,pcm_sample_bit_depth_chroma_minus1,log2_min_pcm_luma_coding_block_size_minus3,log2_diff_max_min_pcm_luma_coding_block_size,pcm_loop_filter_disabled_flag,pcm_flag,pcm_alignment_zero_bitの構文要素、およびpcm_sample()の構文構造)がCVSの存在しないことを規定する。
注4-MinCbLog2SizeYが6に等しく、pcm_enabled_flagが1に等しい場合、PCMサンプルデータ関連の構文(pcm_flag,pcm_alignment_zero_bitの構文要素、およびpcm_sample()の構文構造)はCVSに存在しない。これは、PCMサンプルデータ関連の構文を伝達できる符号化ブロックの最大サイズが、Min(CtbLog2SizeY,5)以下に制限されているからである。従って、MinCbLog2SizeYが6に等しく、pcm_enabled_flagが1に等しい場合は、CVSでPCMサンプルデータを伝達するためには適切な設定ではない。
pcm_sample_bit_depth_luma_minus1は、輝度成分のPCMサンプル値の各々を表すために使用されるビット数を次のように規定する。
PcmBitDepth=pcm_sample_bit_depth_luma_minus1+1 (7-xx)
PcmBitDepthの値は、BitDepthの値以下である。
pcm_sample_bit_depth_chroma_minus1は、彩度成分のPCMサンプル値の各々を表すために使用されるビット数を次のように規定する。
PcmBitDepth=pcm_sample_bit_depth_chroma_minus1+1 (7-yy)
PcmBitDepthの値は、BitDepthの値以下である。ChromaArrayTypeが0に等しい場合、pcm_sample_bit_depth_chroma_minus1は復号化処理で使用されず、デコーダはその値を無視する。
log2_min_pcm_luma_coding_block_size_minus3+3は、pcm_flagが1に等しい符号化ブロックの最小サイズを規定する。
変数Log2MinIpcmCbSizeYは、log2_min_pcm_luma_coding_block_size_minus3+3に等しく設定される。Log2MinIpcmCbSizeYの値は、Min(MinCbLog2SizeY,5)~Min(CtbLog2SizeY,5)までの包括的な範囲内である。
log2_diff_max_min_pcm_luma_coding_block_sizeは、pcm_flagが1に等しい符号化ブロックの最大サイズと最小サイズの差を規定する。
変数Log2MaxIpcmCbSizeYは、log2_diff_max_min_pcm_luma_coding_block_size+Log2MinIpcmCbSizeYに等しく設定される。Log2MaxIpcmCbSizeYの値は、Min(CtbLog2SizeY,5)以下である。
pcm_loop_filter_disabled_flagは、次のように、pcm_flagが1に等しい符号化ユニット内の再構成されたサンプルでループフィルタ処理を無効化するかどうかを規定する。
-pcm_loop_filter_disabled_flagが1に等しい場合、pcm_flagが1に等しい符号化ユニット内の再構築されたサンプルに対する非ブロック化フィルタおよびサンプル適応オフセットフィルタ処理が無効になる。
-それ以外の場合(pcm_loop_filter_disabled_flagの値が0に等しい)、pcm_flagが1に等しい符号化ユニット内の再構成されたサンプルの非ブロック化フィルタおよびサンプル適応オフセットフィルタ処理は無効にならない。
pcm_loop_filter_disabled_flagが存在しない場合、0に等しいと推測される。
7.3.8.5 符号化ユニット構文
Figure 2022508194000003
Figure 2022508194000004
7.3.8.7 PCMサンプル構文
Figure 2022508194000005
意味論
1に等しいpcm_flag[x0][y0]は、pcm_sample()の構文構造が存在し、transform_tree()の構文構造が位置(x0、y0)の輝度符号化ブロックを含む符号化ユニットに存在しないことを規定する。0に等しいpcm_flag[x0][y0]は、pcm_sample()の構文構造が存在しないことを規定する。pcm_flag[x0][y0]が存在しない場合、0に等しいと推測される。
i=1..nCbS-1、j=1..nCbS-1の場合のpcm_flag[x0+i][y0+j]の値は、pcm_flag[x0][y0]に等しいと推測される。
2.1.2 通常のイントラ予測
輝度成分に対して、全てのブロックサイズに対して、平面、DC、および33個の角度予測モードを含む35個のモードがある。これらの輝度予測モードをより良好に符号化するために、1つのMPM(Most Probable Mode:最確モード)フラグは、まず、3つのMPMモードのうちの1つが選択されたかどうかを示すための符号である。MPMフラグが偽である場合、32個の休止モードを固定長符号化にて符号化する。
3つの最確モードのセットの選択は、2つの近傍のPUのモード、即ち現在のPUの左側および上側の1つのモードに基づく。現在のPUの左側および上側のイントラモードをそれぞれAおよびBとし、2つの近傍のブロックを図1に示す。
近傍のPUがイントラとして符号化されていないか、またはPCM(Pulse Code Modulation:パルス符号変調)モードで符号化されている場合、PUはDC予測されたものと見なされる。また、上側の近傍のPUがCTUの外側にある場合、イントラモード再構成のために追加のラインバッファの導入を回避するように、Bは、DCモードであるとする。
AがBに等しくない場合、MPM[0]およびMPM[1]として表される最初の2つの最確モードは、それぞれAおよびBに等しく設定され、MPM[2]として表される3番目の最確モードは、以下のように判定される。
-AまたはBのいずれもが平面モードでない場合、MPM[2]は平面モードに設定される。
-そうではなく、AまたはBのいずれもがDCモードでない場合、MPM[2]はDCモードに設定される。
-そうでない場合(2つの最確モードのうちの1つは平面であり、他方はDCである)、MPM[2]は、角度モード26に等しく(直接垂直に)設定される。
AがBに等しい場合、3つの最確モードは、以下のように判定される。それらが角度モードでない場合(AおよびBが2未満である)、3つの最確モードは、それぞれ平面モード、DCモード、および角度モード26に等しく設定される。そうでない場合(AおよびBが2以上)、最初の最確モードMPM[0]をAに等しく設定し、残りの2つの最確モードMPM[1]およびMPM[2]をAの近傍の方向に等しく設定し、以下のように計算する。
MPM[1]=2+((A-2-1+32)%32)
MPM[2]=2+((A-2+1)%32)
ここで、%はモジュロ演算子を表し、すなわち、a%bはaをbで割った剰余を表す。
彩度成分のために、DM、平面、DC、水平、垂直を含む5つのモードがある。
2.2 VVCにおけるイントラ予測
2.2.1 67個のイントラ予測モードを有するイントラモード符号化
自然映像に表される任意のエッジ方向をキャプチャするために、指向性イントラモードの数は、HEVCで使用されるように、33から65に拡張される。追加の指向性モードは、図2において破線矢印で示されており、平面モードとDCモードは同じままの状態である。これらのより密度の高い指向性イントラ予測モードは、すべてのブロックサイズ、および輝度および彩度イントラ予測の両方に適用される。
従来の角度イントラ予測方向は、図2に示すように、時計回り方向に45度から-135度で定義される。VTM2において、いくつかの従来の角度イントラ予測モードは、非正方形のブロックのために、広角イントラ予測モードに適応的に置き換えられる。置換されたモードは、元の方法を使用して信号通知され、構文解析後、広角モードのインデックスに再マッピングされる。イントラ予測モードの総数は変わらず、即ち、67であり、イントラモード符号化は変わらない。
HEVCにおいて、すべてのイントラ符号化されたブロックは正方形の形状を有し、その辺の各々の長さは2のべき乗である。このように、DCモードを使用してイントラ予測モジュールを生成するために、除算工程を必要としない。VVV2において、ブロックは、一般的な場合、ブロックごとに除算工程を使用することが必要である長方形の形状を有することができる。DC予測のための除算工程を回避するために、長辺のみを使用して非正方形のブロックの平均を計算する。
図2は、67個のイントラ予測モードの例を示す。
2.2.2 6個のMPMを有する輝度成分のためのイントラモード符号化
VVC参照ソフトウェアVTM3.0.rc1において、図3に示されるように、LEFTおよびABOVEとして表される近傍位置AおよびBのイントラモードのみが、MPMリストの生成に使用される。非MPM符号化の場合、短縮バイナリ符号化が適用される。
現在のCUの左と上のイントラモードをそれぞれMode、Modeとする。
近傍のCUがイントラとして符号化されていないか、またはPCM(パルス符号変調)モードで符号化されている場合、CUは、平面予測されたものと見なされる。また、イントラモード再構成のために追加のラインバッファの導入を回避するように、上側の近傍のCUがCTUの外側にある場合、Modeを平面モードとする。
6つのMPMモードをMPM[i](iは0~5)で表す。以下のステップが順に実行される。
1.初期値:MPM[6]={Mode,!Mode,50,18,46,54};
2.ModeがModeに等しい場合、以下が適用される。
-Modeが1(非DC/平面)よりも大きい場合、MPM[6]={Mode,planar,DC,2+((candIntraPredModeA+62)%65),2+((candIntraPredModeA-1)%65,2+((candIntraPredModeA+61)%65))};
3.そうでない場合(ModeがModeに等しい)、以下が適用される。
-MPM[0]=Mode,MPM[1]=Mode
-変数biggerIdxを以下のように設定する。
biggerIdx=candModeList[0]>candModeList[1]?0:1
-ModeおよびModeの両方が1よりも大きい場合、x=2..5のMPM[x]は、以下のように導出される。
MPM[2]=INTRA_PLANAR
MPM[3]=INTRA_DC
-MPM[biggerIdx]-MPM[!biggerIdx]が64にも1にも等しくない場合、以下が適用される。
MPM[4]=2+((MPM[biggerIdx]+62)%65)
MPM[5]=2+((MPM[biggerIdx]-1)%65)
-そうでない場合、以下が適用される。
MPM[4]=2+((MPM[biggerIdx]+61)%65)
MPM[5]=2+(candModeList[biggerIdx]%65)
-そうではなく、ModeとModeとの和が2以上である場合、以下が適用される。
MPM[2]=!MPM[!biggerIdx]
MPM[3]=2+((MPM[biggerIdx]+62)%65)
MPM[4]=2+((MPM[biggerIdx]-1)%65)
MPM[5]=2+((MPM[biggerIdx]+61)%65)
ここで、%はモジュロ演算子を表し、すなわち、a%bはaをbで割った剰余を表す。
2.2.3 非正方形のブロックのための広角イントラ予測
従来の角度イントラ予測方向は、時計回り方向に45度から-135度で定義される。VTM2において、いくつかの従来の角度イントラ予測モードは、非正方形のブロックのために、広角イントラ予測モードに適応的に置き換えられる。置換されたモードは、元の方法を使用して信号通知され、構文解析後、広角モードのインデックスに再マッピングされる。あるブロックのためのイントラ予測モードの総数は変わらず、即ち、67であり、イントラモード符号化は変わらない。
これらの予測方向をサポートするために、長さ2W+1の上側の基準および長さ2H+1の左側の基準を、図4に示すように定義する。
広角方向モードにおける置換モードのモード数は、ブロックのアスペクト比に依存する。置換されたイントラ予測モードを表1に示す。
Figure 2022508194000006
図5に示すように、垂直方向に隣接した2つの予測サンプルは、広角イントラ予測の場合、2つの非隣接参照サンプルを使用してもよい。そこで、広角予測にローパス参照サンプルフィルタおよびサイドスムージングを適用し、増加したギャップΔpαのマイナス効果を低減する。
2.2.4 位置依存イントラ予測の組み合わせ
VTM2において、平面モードのイントラ予測の結果は、PDPC(Position Dependent intra Prediction Combination)法によってさらに修正される。PDPCは、フィルタリングされていない境界参照サンプルと、フィルタリングされた境界参照サンプルを有するHEVCスタイルのイントラ予測との組み合わせを呼び出すイントラ予測方法である。PDPCは、信号通知をせずに、以下のイントラモード、即ち、平面、DC、水平、垂直、左下の角度モードおよびその8つの隣接する角度モード、並びに右上の角度モードおよびその8つの隣接する角度モードに適用される。
以下の式に基づいて、イントラ予測モード(DC、平面、角度)および参照サンプルの線形結合を使用して、予測サンプルpred(x,y)を予測する。
pred(x,y)=(wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wL-wT+wTL)×pred(x,y)+32)>>6
x,-1、R-1,yはそれぞれ、現在のサンプル(x,y)の上と左に位置する参照サンプルを表し、R-1,-1は、現在のブロックの左上隅に位置する参照サンプルを表す。
PDPCをDC、平面、水平、垂直イントラモードに適用する場合、HEVC DCモード境界フィルタまたは水平/垂直モードエッジフィルタの場合の要求に応じて、追加の境界フィルタは必要とされない。
図6A~図6Dは、様々な予測モードに適用されるPDPCのための参照サンプル(Rx,-1,R-1,y,R-1,-1)の定義を示す。予測サンプルpred(x’,y’)は、予測ブロック内の(x’,y’)に位置する。参照サンプルRx,-1の座標xは、x=x’+y’+1によって与えられ、参照サンプルR-1,yの座標yは、同様に、y=x’+y’+1によって与えられる。
図6A~図6Dは、斜めおよび隣接する角度イントラモードに適用された、PDPCで使用されるサンプルの例示的な定義を示す。図6Aは、斜め右上モードを示す。図6Bは、斜め左下モードを示す。図6Cは、隣接する斜め右上モードを示す。図6Dは、隣接する左下モードの例を示す。
PDPC重みは予測モードに依存し、表2に示される。
Figure 2022508194000007
2.2.5 MRLIP(Multiple Reference Line Intra Prediction)
イントラ予測のために、隣接する左の列および上のラインの再構成サンプル(即ち、参照ライン0)を常に使用する代わりに、異なる距離に位置する参照サンプルを使用することを可能にすることが提案される。
MRLIPは、以下の特徴を有する。
-参照ラインインデックス信号通知
-参照ラインインデックス>0の場合、MPMリストに含まれているもののみ、および、残りのモードがない信号のmpmインデックスのみ
-参照ラインインデックス=0の場合、元の設計と同じように、すべての種類のイントラ予測モードが選択されてもよい
-1つの輝度ブロックに対して3つのラインのうち1つを選択してもよく、図7に示すように、参照ライン0、1、3が選択されてもよい。
-CTU規制の最上ライン
-CTU内部の最初のラインのブロックに対してMRLを無効化する
2.2.6 彩度符号化
HEVC彩度符号化において、1つの彩度ブロックに対して5つのモード(左上の対応する輝度ブロックからのイントラ予測モードである1つのDM(Direct Mode;直接モード)および4つのデフォルトモードを含む)が許可される。2つの色成分は、同じイントラ予測モードを共有する。
HEVCの設計とは異なり、2つの新しい方法が提案されており、それらの方法は、CCLM(Cross-Component Linear Model:交差成分線形モデル)予測モードおよび複数のDMを含む。
2.2.6.1 CCLM
交差成分の冗長性を低減するために、別名LMと呼ばれるCCLM(Cross-Component Linear Model)予測モードは、JEMにおいて使用され、それに対し、彩度サンプルが、線形モデルを使用することによって、次のように同じCUの再構成された輝度サンプルに基づいて予測される。
Figure 2022508194000008
ここで、pred(i,j)はCU内の予測された彩度サンプルを表し、rec’(i,j)はカラーフォーマット4:2:0または4:2:2の同じCUのダウンサンプリングされた再構成された輝度サンプルを表し、一方、rec’(i,j)は、カラーフォーマット4:4:4の同じCUの再構成された輝度サンプルを表す。CCLMパラメータαおよびβは、現在のブロックの周りの近傍の再構成された輝度サンプルと彩度サンプルとの間の回帰誤差を最小化することによって、以下のように導出される。
Figure 2022508194000009
Figure 2022508194000010
ここで、L(n)は、ダウンサンプリングされた(カラーフォーマット4:2:0または4:2:2の場合)または元の(カラーフォーマット4:4:4の場合)上側および左側の近傍の再構成された輝度サンプルを表し、C(n)は、上側および左側の近傍の再構築された彩度サンプルを表し、Nの値は現在の彩度符号化ブロックの幅と高さの最小値の2倍に等しい。正方形の符号化ブロックに対して、上記の2つの式を直接適用する。非正方形符号化ブロックの場合、まず、より長い境界の近傍のサンプルを、より短い境界の場合と同じ数のサンプルを有するようにサブサンプリングする。図6A~図6Dは、左と上の再構成されたサンプルの位置と、CCLMモードに関与する現在のブロックのサンプルとを示す。
この回帰誤差最小化計算は、単なるエンコーダ検索工程としてではなく、復号化処理の一部として実行されるので、α値およびβ値を伝達するために構文を使用しない。
図8は、αおよびβの導出に使用されるサンプルの例示的な位置を示す。
CCLM予測モードは、2つの彩度成分間の予測も含み、即ち、Cb成分からCr成分を予測する。再構成されたサンプル信号を使用する代わりに、CCLM Cb-to-Cr予測が残差領域において適用される。これは、元のCrイントラ予測に重み付けて再構成されたCb残差を加算し、最終的なCr予測を形成することによって実装される。
Figure 2022508194000011
ここで、resiCb’(i,j)は、位置(i,j)に再構成されたCb残差サンプルを示す。
スケーリング係数αは、CCLM輝度-彩度予測と同様にして導出される。唯一の相違は、誤差関数におけるデフォルトα値に対する回帰コストを加算することであり、その結果、導出されたスケーリング係数は、以下のように、-0.5のデフォルト値に偏る。
Figure 2022508194000012
ここで、Cb(n)は、近傍の再構成されたCbサンプルを表し、Cr(n)は、近傍の再構成されたCrサンプルを表し、λは、Σ(Cb(n)・Cb(n))≫9に等しい。
CCLM輝度-彩度予測モードを1つの追加の彩度イントラ予測モードとして追加する。エンコーダ側において、彩度イントラ予測モードを選択するために、彩度成分のためのもう1つのRDコストチェックが追加される。CUの彩度成分にCCLM輝度-彩度予測モード以外のイントラ予測モードを使用する場合、Cr成分予測にCCLM Cb-Cr予測を使用する。
2.2.6.2 VVCにおける彩度符号化
VTM-2.0には、JEMのようなCCLMが採用されている。しかし、JEMにおけるMM-CCLMはVTM-2.0には採用されていない。
彩度イントラ符号化の場合、まず、彩度イントラ予測モードの候補リストを導出し、ここで、3つの部分を含んでいてもよい。
-1つのDM(Direct Mode)を、彩度ブロックの同一位置にある中心位置(図9のCR)を含む輝度CBに関連付けられた1つのイントラ輝度予測モードに設定する。TLで示す同一位置を有する一例を図9に示した。
-1つの交差成分線形モデル(CCLM)モード
-4つのデフォルトモード(図1に示すように、DC、平面、水平、垂直モード)。4つのデフォルトモードのうちの1つがDMモードと同じである場合、それは、すなわち、図10に破線で示される最大のモードインデックスを有するイントラ予測モードに置き換えられる。
3. 既存の実施形態の欠点
VVCにおけるMRLイントラ予測の現在の設計には、次のような問題がある。
1)VTM3.0-rc1において、PCMフラグは、イントラ予測処理に使用される参照ラインのインデックスの後に符号化される。従って、1つのブロックを符号化するためにPCMを使用してよくても、PCM符号化ブロックに対して通常のイントラ予測は許可されないので、依然として参照ラインインデックスが信号通知され、ビットが浪費される。
2)VVCは、ALF(Adaptive Loop Filter:適応型ループフィルタ)を新たに採用している。PCMでどのように取り扱うかは不明である。
3)HEVCにおけるフィルタリング処理の決定において、1つの輝度ブロックの1つのPCMフラグおよび2つの対応する彩度ブロックが使用される。しかしながら、別個のツリーを使用する場合、輝度ブロックのサンプルおよび彩度成分のサンプルは、異なるPCMフラグが選択してもよく、即ち、1つの輝度ブロックをPCMで符号化し、且つ対応するクロマブロックを非PCMで符号化してもよく、従って、フィルタリング決定処理において1つのPCMフラグを使用することは、望ましくない。
4)MRLIPは、輝度成分にのみ適用される。しかしながら、彩度成分の場合、特に4:4:4のカラーフォーマットの場合、これも有効であってもよい。
5)MRLIPは、符号化性能を低下させ得るインターイントラ符号化ブロックに適用できなかった。
6)ゼロでない指数を有する参照ラインは、角度モードに対してより効率的である。参照ラインインデックスが0よりも大きい場合、MPMリストにおけるモードを使用する。しかしながら、MRLIPの効率が低いMPMリストにDC/平面モードを含めてもよい。
7)HEVCにおいて、最小のCUサイズは8×8であり、VVCにおいて、最小のCUサイズは4×4である。従って、4×4、4×8、8×4ブロックは、PCMモードを適用すべきであるが、現在は許可されていない。さらに、PCMの元の設計は、正方形のCUのみを処理し、VVCでは、非正方形のCUが存在する。
4. 例示的な実施形態および技術
以下に列挙される詳細な技術は、一般的な概念を説明するための例と見なされるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの技術は、任意の方法で組み合わせることができる。
1.MRLIPモード情報の前にPCM有効化フラグを符号化することが提案される。
a.一例において、このブロックのためにPCMが無効化された場合、MRLIPにおいて使用される参照ラインインデックスがさらに信号通知される。
b.一例において、このブロックのためにPCMが有効化される場合、MRLIPにおいて使用される参照ラインインデックスの信号通知はスキップされる。
c.あるいは、MRLIPモード情報が0に等しいまたは等しくない場合、PCMフラグは信号通知されない。
2.1つのブロックがPCMモードで符号化されるとき、このブロックのためのAFL(Adaptive Loop Filter)は、自動的に無効にされる。
a.ALF有効化/無効化フラグの信号通知は、PCM有効化/無効化フラグに依存してもよい。あるいは、PCM有効化/無効化フラグの信号通知は、ALF有効化/無効化フラグに依存してもよい。
b.1つのブロックのサイズがCTUのサイズに等しい場合、ALF有効化/無効化フラグの前に、まずPCMフラグを信号通知してもよい。PCMフラグが真である場合、ALFフラグはもはや信号通知されない。
c.1つのブロックのサイズがCTUのサイズに等しい場合、まず、SAO有効化/無効化フラグの前に、PCMフラグを信号通知してもよい。PCMフラグが真である場合、SAOフラグはもはや信号通知されない。
d.あるいは、さらに、上記の方法は、pcm_loop_filter_disabled_flagが1に等しい場合にのみしてもよい。
3.どのようにPCM有効/無効フラグを信号通知/解釈/使用するかは、色成分に依存してもよい。
a.一例において、PCM有効化/無効化フラグをどのように信号通知/解釈/使用するかは、異なる色成分に対する別個のパーティションツリー構造が使用されるかどうかに依存してもよい。
b.一例において、輝度および彩度成分のための別個のパーティションツリー構造が適用される場合、1つの輝度ブロックのための第1のフラグを信号通知してもよく、1つの彩度ブロックのための第2のフラグを独立して信号通知してもよい。
c.一例において、3つの色成分のための別個のパーティションツリー構造が適用される場合、3つのフラグが独立して信号通知されてもよい。
d.一例において、色成分に応じて、PCM有効化/無効化フラグは、次の映像符号化処理を制御するために、例えば、cm_lumaおよびpcm_chromaの異なる変数として解釈される。
e.フィルタリング処理(例えば、非ブロック化フィルタ、サンプル適応型ループフィルタ、適応型ループフィルタ)において、1つの色成分の1つのブロックをフィルタリングするかどうかは、色成分に関連付けられたPCM有効化/無効化フラグに依存してもよい。
f.あるいは、別個のパーティションツリー構造が有効化されても、PCMフラグは輝度成分のみに信号通知され、一方、彩度ブロックの場合、1つの対応する輝度ブロック内の任意の位置(例えば、対応する輝度ブロックの中心位置)からPCMフラグを継承してもよい。
g.あるいは、さらに、許容されるPCM符号化ブロックのサイズ/寸法の制限は、異なる色成分に対して、または輝度および彩度に対して別個に信号通知されてもよい。
例えば、4:2:0を例として、1つの64×64の輝度ブロック(CTUサイズが64×64に等しい)は、2つの32×32の彩度ブロックに対応する。輝度ブロックは、4分木分割によって4つのCUに分割してもよい(4つの32×32の輝度CUが存在する)。元の設計では、別個のツリーがなく、32×32の輝度CUの各々に対して1つのフラグのみが符号化され、それは、輝度および彩度が同じ分割構造を共有するので、対応する16×16のCb/Crブロックに使用される。合計で4つのフラグを符号化してもよい。
提案した方法の1つの例示的な実施形態において、別個のツリーを適用する場合、輝度ブロックを2分木で2つのCUに分割してもよい(32×16のCbのCUが2つ、32×16のCrのCUが2つ)。この場合、4つの32×32の輝度ブロックの4つのフラグ、および2つの32×16の彩度ブロックの2つのフラグを信号通知してもよい。
同様に、元の設計は、フィルタリング処理において1つの輝度ブロックおよび2つの彩度ブロックに関連付けられたPCMフラグをチェックするが、この提案した方法においては、1つの輝度ブロックのPCMフラグおよび1つの彩度ブロックのPCMフラグをフィルタリング処理の判定のために独立してチェックしてもよい。
4.PCMが適用可能であるかどうかを示すために、フラグを(CU/ブロックレベルに比べて)ハイレベルで信号通知することが提案される。PCMが適用可能でない場合、すべてのブロックに対して、より低いレベル(例えば、ブロックレベル)のPCM有効化/無効化フラグの信号通知は、常にスキップされる。このフラグは、VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/タイル/CTU行/CTUにおいて信号通知されてもよい。
5.1つのブロックが非隣接参照ラインで符号化されている(例えば、参照ラインインデックス>0)場合、広角モードは、自動的に無効にされてもよい。
a.一例において、構文解析後の信号通知されたモードと広角モードのインデックスとの間のマッピングは、スキップされる。
b.あるいは、信号通知される参照ラインのインデックスにかかわらず、隣接参照ラインに対して広角モードを使用する。
6.MRLを有効化にするかどうか、および参照ラインインデックスをどのように送信するかは、カラーサブサンプリングフォーマットに依存してもよい。
a.一例において、4:4:4のカラーフォーマットでは、MRLは、3つの色成分全てに対して有効にされてもよい。
b.参照ラインインデックスは、1つのブロックのすべての色成分に対して1回符号化されてもよい。
c.あるいは、2つの参照ラインインデックスを符号化してもよく、1つは輝度色成分(例えば、符号化される第1の色成分)のためのものであり、1つは他の2つの色成分のためのものである。
d.あるいは、3つの参照ラインインデックスを符号化してもよく、1つは輝度色成分(例えば、符号化対象の第1の色成分)のためのものであり、他の2つは他の2つの色成分のためのものである。
e.あるいは、多重参照ラインインデックスを符号化する必要がある場合、インデックス差を符号化するために予測符号化を適用してもよい。
f.あるいは、多重参照ラインインデックスを符号化する必要がある場合、まず1つのフラグを信号通知して、それらのすべてが同じであることを知らせてもよい。
g.一例において、異なる色成分は、ラインの異なる候補を選択してもよい。
i.例えば、Cb/Cr成分は、第1および第2の近傍のラインから選択してもよい。
ii.MRL情報は、異なる色成分に対して異なる方法で符号化されてもよい。
7.1つのブロックに対して、インターイントラモードおよびMRLIPモードの両方を有効にしてもよい。この場合、インターイントラモードで使用されるイントラ予測処理は、現在のブロックに隣接しない1つのライン/列に依存してもよい。
a.一例において、現在のブロックが符号化インターイントラモードである場合、参照ラインインデックスをさらに信号通知してもよい。
b.このような方法は、あるブロックの寸法、位置に適用される。
c.このジョイントモードが有効化されるか無効化されるかは、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/CTUにおいて信号通知されてもよい。
8.MRLIPが非隣接(例えば、参照ラインインデックス>0)を指し、MPMリストがM1で示される特定のモードを含む場合、M1は、復号化処理において、M2で示される別のモードにさらに置き換えられてもよい。
a.一例において、特定のモード(モードインデックスKを有する)は、DCモード、平面モード、広角モード、または任意の非角度モードとして定義される。
b.代替として使用されるモードは、MPMリストにおける残りのモードから導出されてもよい。
i.一例において、インデックスがKに等しくない第1のモードを使用して、例えば、インデックスが(第1のモード+M)に等しい置換モードを導出してもよく、ここで、Mが、例えば、1に設定される。
ii.一例において、インデックスがKに等しくない最後のモードを使用して、例えば、インデックスが(第1のモード+M)に等しい置換モードを導出してもよく、ここで、Mが、例えば、1に設定される。
9.MRLIPが非隣接(例えば、参照ラインインデックス>0)を指す場合、MPMリストに含まれるイントラモードのインデックスを符号化する代わりに、固定候補リストを使用してもよく、固定候補リストへのインデックスを信号通知してもよい。
a.一例において、固定候補リストは、例えば、水平モードまたは垂直モードを含むように設定されてもよい。
b.一例において、固定候補リストは、予め規定されてもよい。
c.あるいは、固定候補リストは、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/CTUにおいて信号通知されてもよい。
d.あるいは、固定候補リストは、ブロックの次元に依存してもよい。
10.上のラインおよび左の列に対して同じ参照ラインインデックスを使用する代わりに、上のラインおよび左の列のインデックスを別個に信号通知してもよいことが提案される。
a.一例において、このような方法は、新しいモードとして追加されてもよい。この場合、このモードが有効化されている場合にのみ、別個の信号通知を適用してもよい。
b.一例において、上のラインおよび左の列の参照インデックスの異なる組み合わせに対して、異なる許可されたイントラ予測モードのセットを使用してもよい。
c.この方法で使用される異なるイントラ予測モードのセットは、予め規定されてもよく、またはSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/CTUで信号通知されてもよい。
11.PCMモードを有効化するために、64個未満のサンプルを有するブロックを許可することが提案される。
a.一例において、4×4、4×8、または8×4は、PCMモードを適用してもよい。
b.一例において、pcm_flagが1に等しい最小ブロックサイズは(符号化されたlog2_min_pcm_luma_coding_block_size_minus2の値+2)に設定される。
12.PCMモードを有効化にするために、64×64以上のサンプルを有するブロックを許可することが提案される。
a.あるいは、さらに、このような方法は、LCUのサイズが128×128に等しい場合にのみ有効になる。
13.1つのPCM符号化輝度ブロック内のサンプルの最大/最小数の指示を信号通知することが提案される。
a.一例において、1つのPCM符号化輝度ブロック内のサンプルの最大数の指示を信号通知する場合、最大値と最小値との間の差の指示を信号通知してもよい。
b.一例において、1つのPCM符号化輝度ブロック内のサンプルの最大/最小数のlog2を信号通知してもよい。
c.一例において、1つのPCM符号化輝度ブロック内のサンプルの最大数を信号通知する場合、最大値と最小値との間の差のlog2の値を信号通知してもよい。
14.ブロック幅および/またはブロック高さの最小許容サイズは、互いに等しくなくてもよく、別個に信号通知/導出されてもよい。
a.最大許容ブロック幅および/または高さは、別個に信号通知/導出されてもよい。
b.一例において、ブロック幅およびブロック高さの最小許容サイズは信号通知されず、それぞれ最小CUブロックの幅および高さと同じとなるように継承される。
c.一例において、ブロック幅およびブロック高さの最大許容サイズは信号通知されず、それぞれLCUの幅および高さと同じとなるように継承される。
d.ブロックのためにPCM有効化/無効化フラグを信号通知するかどうかは、以下の条件の1つが真であるかどうかに依存してもよい。
i.現在のブロックの幅は最小ブロック幅より小さくなく、かつ、現在のブロックの幅は最大許容ブロック幅より大きくない。
ii.現在のブロックの幅は最小ブロック高さより小さくなく、かつ、現在のブロックの幅は最大許容ブロック高さより大きくない。
e.PCMが1に等しいブロック幅およびブロック高さの最小サイズの指示は、別個に信号通知されてもよい。
f.PCMが1に等しいブロック幅およびブロック高さの最大サイズの指示は、別個に信号通知されてもよい。
15.異なる色成分は、PCMフラグがブロックレベルで信号通知されるべきときに、異なる制限を有していてもよい。
a.一例において、異なる色成分に対して許容されるサイズ(例えば、log2_min_pcm_luma_coding_block_size_minus3、0におけるlog2_diff_max_min_pcm_luma_coding_block_size)は、別個に信号通知してもよい。
b.すべての色成分に対して別個に信号を送信するか、または1回だけ信号を送信するかは、カラーサブサンプリングフォーマット(例えば、4:2:0、4:4:4)に依存してもよい。
5. 例示の実施形態
VTM-3.0rc1の実装と比較した変化は、太い太字で強調されている。削除された部分には、取り消し線が付けられる。
5.1 実施形態#1
意味論
0に等しいpcm_enabled_flagは、PCM関連構文(pcm_sample_bit_depth_luma_minus1,pcm_sample_bit_depth_chroma_minus1,log2_min_pcm_luma_coding_block_size_minus3,log2_diff_max_min_pcm_luma_coding_block_size,pcm_loop_filter_disabled_flag,pcm_flag,pcm_alignment_zero_bitの構文要素およびpcm_sample()の構文構造)がCVSに存在しないことを規定する。
注4-MinCbLog2SizeYが76に等しく、pcm_enabled_flagが1に等しい場合、符号化ブロックの最大サイズのため、PCMサンプルデータ関連構文(pcm_flag,pcm_alignment_zero_bitの構文構造およびpcm_sample()の構文構造)はCVSに存在しない。なぜなら、PCMサンプルデータ関連構文を伝達できる符号化ブロックの最大寸法は、Min(CtbLog2SizeY,65)以下に制限されているからである。従って、MinCbLog2SizeYが76に等しく、pcm_enabled_flagが1に等しい場合、CVSでPCMサンプルデータを伝達するための適切な設定ではない。
pcm_loop_filter_disabled_flagは、次のように、pcm_flagが1に等しい符号化ユニット内の再構成されたサンプルでループフィルタ処理を無効化するかどうかを規定する。
-pcm_loop_filter_disabled_flagが1に等しい場合、pcm_flagが1に等しい符号化ユニット内の再構成されたサンプルに対する非ブロック化フィルタ、適応型ループフィルタ、およびサンプル適応オフセットフィルタの処理が無効になる。
-それ以外(pcm_loop_filter_disabled_flag値が0に等しい)の場合、pcm_flagが1に等しい符号化ユニット内の再構成されたサンプルの非ブロック化フィルタ、適応型ループフィルタ、およびサンプル適応オフセットフィルタの処理は無効にならない。
pcm_loop_filter_disabled_flagが存在しない場合、0に等しいと推測される。
5.2 実施形態#2
MRLIPおよびPCMの両方が1つのシーケンスに対して有効化される場合、以下を適用してもよい。この場合、MRLインデックスを送信する前に、まずPCMフラグを符号化する。
符号化ユニット構文
Figure 2022508194000013
あるいは、PCMフラグの信号通知は、必要な幅または高さのいずれかが条件を満たすかどうかに依存してもよい。
Figure 2022508194000014
5.3 実施形態#3
本実施形態において、PCM有効化/無効化フラグは色成分に関連付けられてもよい。
5.3.1 PCMフラグの信号通知
別個のパーティションツリー構造(別名、デュアルツリー)を使用する場合、PCM有効化/無効化フラグの信号通知は、輝度成分と彩度成分とに分けて符号化される。提案された変更点を強調表示しておく。
5.3.1.1 2つの異なる構文要素
Figure 2022508194000015
5.3.1.2 1つの異なる構文要素を持つが異なる意味論
Figure 2022508194000016
個別のツリーが有効になっている場合、復号化されたpcm_flagは、treeTypeに応じて、pcm_flag_lumaとpcm_flag_chromaに別個に割り当てられる。
より具体的には、
-デュアルツリーが無効になっている場合(例えば、treeTypeがSINGLE_TREEに等しい場合)、復号化されたpcm_flagは、pcm_flag_lumaとpcm_flag_chromaの両方にコピーされる。
-そうでない場合、
〇現在の構文解析処理が輝度成分用である場合(例えば、treeTypeがDUAL_TREE_LUMAに等しい場合)、復号化されたpcm_flagは、両方のpcm_flag_lumaにコピーされる。
〇それ以外(例えば、treeTypeがDUAL_TREE_LUMAと等しい)の場合、復号化されたpcm_flagは、pcm_flag_chromaにコピーされる。
5.3.2 PCMフラグの使用法
フィルタリング処理(例えば、非ブロック化、サンプル適応オフセット、ALF)は、色成分に関連付けられた符号化されたpcm有効化/無効化フラグに依存してもよい。
より具体的には、
pcm_loop_filter_disabled_flagが1に等しく、pcm_flag_luma[xP][yP]が1に等しい場合、(xP,yP)にある輝度サンプルはフィルタリングされない。
pcm_loop_filter_disabled_flagが1に等しく、pcm_flag_chroma[xP][yP]が1に等しい場合、(xP,yP)にある彩度サンプルはフィルタリングされない。
ここで、いくつかの例を以下に示す。
5.3.2.1 非ブロック化フィルタにおける輝度サンプルのフィルタリング処理
あるいは、HEVC仕様の上で以下のような変更を行ってもよい。
8.7.2.5.7 輝度サンプルに対するフィルタリング処理
nDpが0より大きく、且つ、以下の条件の1つ以上が真である場合、nDpは0に等しく設定される。
-pcm_loop_filter_disabled_flagは1に等しく、pcm_flag_luma[xP][yP]は1に等しい。
-サンプルpを含む符号化ブロックを含む符号化ユニットのcu_transquant_bypass_flagは1に等しい。
nDqが0より大きく、且つ、以下の条件の1つ以上が真である場合、nDqを0に等しく設定する。
-pcm_loop_filter_disabled_flagは1に等しく、pcm_flag_luma[xQ][yQ]は1に等しい。
-サンプルqを含む符号化ブロックを含む符号化ユニットのcu_transquant_bypass_flagは1に等しい。
5.3.2.2 非ブロック化フィルタにおける彩度サンプルのフィルタリング処理
あるいは、HEVC仕様の上で以下のような変更を行ってもよい。
8.7.2.5.8 彩度サンプルのフィルタリング処理
以下の条件の1つ以上が真である場合、フィルタリングされたサンプル値p’は、対応する入力サンプル値pが代入される。
-pcm_loop_filter_disabled_flagは1に等しく、pcm_flag_chroma[xP*SubWidthC][yP*SubHeightC]は1に等しい。
-サンプルpを含む符号化ブロックを含む符号化ユニットのcu_transquant_bypass_flagは1に等しい。
-サンプルp0を含む符号化ブロックを含む符号化ユニットのpalte_mode_flagは1に等しい。
以下の条件の1つ以上が真である場合、フィルタリングされたサンプル値q’は、対応する入力サンプル値qが代入される。
-pcm_loop_filter_disabled_flagは1に等しく、pcm_flag_chroma[xQ*SubWidthC][yQ*SubHeightC]は1に等しい。
-サンプルqを含む符号化ブロックを含む符号化ユニットのcu_transquant_bypass_flagは1に等しい。
-サンプルq0を含む符号化ブロックを含む符号化ユニットのpalette_mode_flagは1に等しい。
注意:上記すべての実施形態において、以下が適用されてもよい。
いくつかの例では、MinIpcmCbSizeXは、MinIpcmCbSizeYに等しい。あるいは、MinIpcmCbSizeXは、MinIpcmCbSizeYに等しくない。
いくつかの例では、MaxIpcmCbSizeXは、MaxIpcmCbSizeYに等しい。あるいは、MaxIpcmCbSizeXはMaxIpcmCbSizeYに等しくない。
MinIpcmCbSizeX、MinIpcmCbSizeY、MaxIpcmCbSizeX、MaxIpcmCbSizeYは、SPS/VPS/PPS等で信号通知される構文要素から導出されてもよい。
図11は、映像処理の方法1100のフローチャートである。方法1100は、工程1110において、映像の現在のブロックに対して、PCM(Pulse Code Modulation:パルス符号変調)が使用される第1の符号化モードと、MRLIP(Multiple Reference Line based Intra Prediction)が使用される第2の符号化モードとのうちの少なくとも1つを有効化することを判定することを含む。
方法1100は、工程1120において、第1の符号化モードまたは第2の符号化モードに基づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことを含み、第1の符号化モードの使用を示す第1の指示および/または第2の符号化モードの使用を示す第2の指示は、順序付け規則に従ってビットストリーム表現に含まれる。
図12は、映像処理の方法1200のフローチャートである。方法1200は、工程1210において、映像の現在のブロックと映像のビットストリーム表現との間の変換のために、映像の色成分表現に基づいて、現在のブロックのパルス符号変調に基づいて符号化モードに関連付けられた少なくとも1つのフラグを判定することを含む。
方法1200は、工程1220において、判定に基づいて変換を行うことを含む。
図13は、映像処理の方法1300のフローチャートである。方法1300は、工程1310において、映像の映像領域の現在のブロックと映像のビットストリーム表現との間の変換を行うことを含み、ビットストリーム表現は、現在のブロックへのPCM(Pulse Code Modulation:パルス符号変調)の適用可能性に関する規則に従ってフォーマットされ、規則は、PCMを無効化する旨の指示が映像領域レベルに含まれていると判定された場合、現在のブロックレベルでのPCMの指示を省略することを規定する。
図14は、映像処理の方法1400のフローチャートである。方法1400は、工程1410において、映像の現在のブロックのサイズに基づいて、映像の現在のブロックに対してPCM(Pulse Code Modulation:パルス符号変調)符号化モードを有効化するかを決定することを含む。
方法1400は、工程1420において、現在のブロックと映像のビットストリーム表現との間の変換を決定に基づいて行うことを含む。
図15は、映像処理の方法1500のフローチャートである。方法1500は、工程1510において、映像の現在のブロックと映像のビットストリーム表現との間の変換のために、現在のブロックの高さまたは幅に対する最小許容値を判定することを含み、高さに対する最小許容値は、幅に対する最小許容値とは別個に信号通知または導出される。
方法1500は、工程1520において、判定に基づいて変換を行うことを含む。
図16は、映像処理の方法1600のフローチャートである。方法1600は、工程1610において、PCM(Pulse Code Modulation:パルス符号変調)符号化モードで符号化されている映像の現在のブロックの指示が、映像のビットストリーム表現において映像の色成分表現で信号通知されると判定した場合、映像の色成分表現を構成することを含む。
方法1600は、工程1620において、構成することに基づいて、現在のブロックとビットストリーム表現との間の変換を行うことを含む。
図17は、映像処理の方法1700のフローチャートである。方法1700は、工程1710において、映像の現在のブロックと映像のビットストリーム表現との間の変換のために、非隣接参照ラインモードを変換に使用しているために、広角モードが変換に対して無効になっていることを判定することを含む。
方法1700は、工程1720において、判定に基づいて、変換を行うことを含み、非隣接参照ラインモードは、現在のブロックを変換するために、映像の参照ラインからの非隣接画素を使用し、広角モードは、従来の角度イントラ予測方向を45度から-135度を超えるイントラ予測方向を含む。
図18は、映像処理の方法1800のフローチャートである。方法1800は、工程1810において、映像の現在のブロックと映像のビットストリーム表現との間の変換のための映像のカラーサブサンプリングフォーマットに基づいて、現在のブロックに対してMRL(Multiple Reference Line)符号化モードが有効化されるか、または1つ以上の参照ラインインデックスの信号通知形式がMRL符号化モードに使用されるかを決定することを含む。
方法1800は、工程1820において、決定に基づいて変換を行うことを含む。
図19は、映像処理の方法1900のフローチャートである。方法1900は、工程1910において、映像の現在のブロックについて、インターイントラモードおよびMRLIP(Multiple Refernece Line Intra Prediction)モードが有効化されている判定された場合、インターイントラモードのイントラ予測処理のために、現在のブロックに非隣接ラインまたは列を選択することを含む。
方法1900は、工程1920において、ラインまたは列に基づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことを含む。
図20は、映像処理の方法2000のフローチャートである。方法2000は、工程2010において、現在のブロックに対する非隣接のラインを使用するMRLIP(Multiple Reference Line Intra Prediction)モードを使用して符号化された映像の現在のブロックに対して、現在のブロックと映像のビットストリーム表現との間の変換を行うことであって、MRLIPは、さらにMPM(Most Probable Mode:最確モード)リストを使用する、変換を行うことと、MPMリストの第1のモード(M1)をMPMリストの第2のモードに置き換えることを含む変換を行うことと、を含む。
図21は、映像処理の方法2100のフローチャートである。方法2100は、工程2110において、現在のブロックに非隣接ラインを使用するMRLIP(Multiple Reference Line Intra Prediction)モードを使用して符号化された映像の現在のブロックに対して、現在のブロックと映像のビットストリーム表現との間の変換を行うことを含み、ビットストリーム表現は、MPM(Most Probable Mode:最確モード)リストの中のモードの符号化インデックスの代わりに固定候補リストの中のモードの符号化インデックスを含む。
図22は、映像処理の方法2200のフローチャートである。方法2200は、工程2210において、MRL(Multiple Reference Line)符号化モードを使用して、映像の現在のブロックと映像のビットストリーム表現との間の変換のために、ビットストリーム表現が、現在のブロックの予測に使用される上のラインに対応する第1のインデックスと、予測に使用される左の列に対応する第2のインデックスとを含むことを判定することを含む。
方法2200は、工程2220において、判定に基づいて変換を行うことを含む。
図23は、映像処理装置2300のブロック図である。本明細書に記載の方法の1つ以上を実装するために、装置2300を使用してもよい。装置2300は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等に実装されてもよい。装置2300は、1つ以上のプロセッサ2302と、1つまたは複数のメモリ2304と、映像処理ハードウェア2306と、を含んでもよい。プロセッサ2302は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)2304は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2306は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
いくつかの実施形態において、映像符号化方法は、図23を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効にするように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効にされる場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効にされる場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効にされる場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを認識して、ビットストリームを処理する。すなわち、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術の一部の実施形態は、映像処理ツールまたはモードを無効にする決定または判定を行うことを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、ビットストリームが、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して修正されていないことを認識して、ビットストリームを処理する。
図24は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2400を示すブロック図である。様々な実装形態は、システム2400の構成要素の一部または全部を含んでもよい。システム2400は、映像コンテンツを受信するための入力ユニット2402を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット2402は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例としては、イーサネット(登録商標)、受動光ネットワーク(PON)等の有線インターフェース、およびWi-Fiまたはセルラーインターフェース等の無線インターフェースが挙げられる。
システム2400は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化コンポーネント2404を含んでもよい。符号化コンポーネント2404は、入力ユニット2402からの映像の平均ビットレートを符号化コンポーネント2404の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化コンポーネント2404の出力は、コンポーネント2406によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力2402において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、コンポーネント2408によって使用されて、表示インターフェース2410に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、USB(Universal Serial Bus)またはHDMI(登録商標)(High Definition Multimedia Interface)またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
以上、映像または画像の符号化または復号化におけるイントラ符号化ツールの使用を可能にすることで、スマートフォン、ラップトップ、デスクトップ、および類似した装置などの映像処理デバイスに組み込まれるビデオエンコーダおよびデコーダの実施形態例に利益をもたらすいくつかの技術を開示した。
いくつかの実施形態において、次の技術的解決策を実装してもよい。
A1.映像の現在のブロックに対して、PCM(Pulse Code Modulation)が使用される第1の符号化モードまたはMRLIP(Multiple Reference Lime based Intra Prediction)が使用される第2の符号化モードのうちの少なくとも1つを判定することが有効化されていることと、第1の符号化モードまたは第2の符号化モードに基づいて、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うこととを含み、前記第1の符号化モードの使用を示す前記第1の指示および/または前記第2の符号化モードの使用を示す第2の指示が、順序付け規則に従って前記ビットストリーム表現に含まれる、映像処理の方法。
A2.前記順序付け規則は、前記第1の指示が前記第2の指示の前にビットストリーム表現であることを復号化順に規定する、解決策A1に記載の方法。
A3.前記ビットストリーム表現は、前記第1の符号化モードが有効であると判定されると、前記第2の符号化モードに使用される参照ラインインデックスを省略する、解決策A1に記載の方法。
A4.前記ビットストリーム表現は、前記第1の符号化モードが無効にされていると判定されると、前記第2の符号化モードに使用される参照ラインインデックスをさらに含む、解決策A1に記載の方法。
A5.前記ビットストリーム表現は、前記ビットストリーム表現が前記第2の指示を含むと判定された場合、前記第1の表示を省略する、解決策A1に記載の方法。
A6.前記第1の符号化モードが有効であると判定されると、前記現在のブロックのためのALF(Adaptive Loop Filter)処理を無効化する、解決策A1に記載の方法。
A7.前記ALF処理の指示が前記ビットストリーム表現に含まれているかどうかは、前記第1の指示に基づく、解決策A6に記載の方法。
A8.前記第1の表示が前記ビットストリーム表現に含まれているかどうかは、前記ALF処理の指示に基づく、解決策A6に記載の方法。
A9.前記現在のブロックのサイズがCTU(Coding Tree Unit)のサイズに等しいと判定されると、前記ALF処理の指示の前に、前記第1の指示が前記ビットストリーム表現で信号通知される、解決策A6に記載の方法。
A10.前記現在のブロックのサイズがCTU(Coding Tree Unit)のサイズに等しいと判定されると、SAO(Sample Adaptive Offset)処理の表示の前に、前記第1の指示が前記ビットストリーム表現で信号通知される、解決策A6に記載の方法。
A11.pcm_loop_filter_disabled_flag=1である、解決策A1~A10のいずれかに記載の方法。
A12.映像の現在のブロックと映像のビットストリーム表現との間での変換のために、前記映像の色成分表現に基づいて、前記現在のブロックのパルス符号変調に基づいて、符号化モードに関連付けられた少なくとも1つのフラグを判定することと、前記判定に基づいて、前記変換を行うこととを含む、映像処理の方法。
A13.前記少なくとも1つのフラグは、前記色成分表現の各成分に対し別個のパーティションツリー構造が使用されるかどうかに基づく、解決策A12に記載の方法。
A14.前記少なくとも1つのフラグは、前記色成分表現の輝度成分のための第1のフラグを備え、前記少なくとも1つのフラグは、前記色成分表現の彩度成分のための第2のフラグをさらに含む、解決策A12に記載の方法。
A15.前記色成分表現は3つの色成分を含み、前記少なくとも1つのフラグは前記3つの色成分の各々に対して3つのフラグを含む、解決策A12に記載の方法。
A16.前記少なくとも1つのフラグは、前記色成分表現の各成分に対して前記パルス符号変調を有効化する表示に対応する、前記パルス符号変調を有効化する指示を備える、解決策A12に記載の方法。
A17.前記色成分表現のある成分のためのフィルタリング処理は、前記色成分表現の対応する成分のために前記パルス符号変調を有効化にする指示に基づく解決策A16に記載の方法。
A18.前記少なくとも1つのフラグは、前記色成分表現の輝度成分のために前記パルス符号変調を有効化する指示を備え、前記色成分表現の彩度成分のために前記パルス符号変調を有効化する指示は、前記輝度成分内の位置から継承される、解決策A12に記載の方法。
A19.前記位置が前記輝度成分の中心位置である、解決策A18に記載の方法。
A20.映像の映像領域の現在のブロックと前記映像のビットストリーム表現との間で変換を行うことを含み、前記ビットストリーム表現は、PCM(Pulse Code Modulation)の前記現在のブロックへの適用可能性に関する規則に従ってフォーマットされ、前記規則は、映像領域レベルにおいて前記PCMを無効化する旨の指示が含まれていると判定された場合、現在のブロックレベルにおける前記PCMの表示を省略することを規定する、映像処理方法。
A21.前記PCMの前記表示は、VPS(Video Parameter Set)、PPS(Picture Parameter Set)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、タイル、CTU(Coding Tree Unit)、またはCTU行において信号通知される、解決策A20に記載の方法。
A22.映像の現在のブロックのサイズに基づいて、前記現在のブロックに対してパルス符号変調(PCM)符号化モードを有効化するかどうかを決定することと、前記決定に基づいて、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うこととを含む、映像処理の方法。
A23.前記現在のブロックが64未満のサンプルを含むと判定されると、前記PCM符号化モードが有効になる、解決策A22に記載の方法。
A24.前記現在のブロックのサイズが、4×4、4×8、または8×4である、解決策A23に記載の方法。
A25.pcm_flagが1に等しい前記現在のブロックの最小ブロックサイズが(log2_min_pcm_luma_coding_block_size_minus2+2)に設定されている、解決策A23の方法。
A26.前記現在のブロックの前記サイズが64×64以上であると判定されると、PCM符号化モードが有効化される、解決策A22に記載の方法。
A27.LCU(Largest Coding Unit)のサイズが128×128に等しいと判定されると、前記PCM符号化モードが有効になる、解決策A22に記載の方法。
A28.前記PCM符号化モードが有効化され、現在のブロックにおけるサンプルの最大数または最小数の指示が前記ビットストリーム表現において信号通知される、解決策A22に記載の方法。
A29.前記指示は、サンプルの最大数とサンプルの最小数との間の差を含む、解決策A28に記載の方法。
A30.前記指示は、サンプルの前記最大数または前記最小数の底を2とする対数を含む、解決策A28に記載の方法。
A31.前記指示は、サンプルの前記最大数とサンプルの前記最小数との間の差の底を2とする対数を含む、解決策A28に記載の方法。
A32.映像の現在のブロックと前記映像のビットストリーム表現との間の変換のために、前記現在のブロックの高さまたは幅の最小許容値を判定することを含み、前記高さの最小許容値は、前記幅の最小許容値とは別個に信号通知または導出され、前記判定に基づいて、前記変換を行うことと、を含む、映像処理方法。
A33.前記ビットストリーム表現は、前記高さまたは前記幅の最大許容値をさらに含み、前記高さの最大許容値は、前記幅の最大許容値とは別個に信号通知または導出される、解決策A32に記載の方法。
A34.前記ビットストリーム表現は、前記高さまたは前記幅の最小許容値を省略し、前記最小許容値は、CU(Coding Unit)ブロックの最小サイズから継承される、解決策A32に記載の方法。
A35.前記ビットストリーム表現は、前記高さまたは前記幅の最大許容値を省略し、前記最大許容値は、CU(Coding Unite)ブロックの最大サイズから継承される、解決策A32に記載の方法。
A36.前記高さは前記幅と異なる、解決策A32~A35のいずれかに記載の方法。
A37.現在のブロックに対してパルス符号変調(PCM)符号化モードを有効化する表示を含む前記ビットストリーム表現は、(a)前記現在のブロックの幅が、前記幅に対する最小許容値よりも小さくなく、かつ、前記幅に対する最大許容値よりも大きくない、または(b)前記現在のブロックの高さが、前記高さに対する最小許容値よりも小さくなく、かつ、前記高さに対する最大許容値よりも大きくないことに基づく、解決策A32に記載の方法。
A38.前記現在のブロックのためにPCM(Pulse Code Modulation)符号化モードを有効化にする、解決策A32または33に記載の方法。
A39.PCM(Pulse Code Modulation)符号化モードで符号化されている映像の現在のブロックの表示が、映像のビットストリーム表現において信号通知されると判定されると、映像の色成分表現を構成することと、前記構成に基づいて、前記現在のブロックと前記ビットストリーム表現との間で変換を行うことと、を含む、映像処理の方法。
A40.前記色成分表現の各成分に対して許可されたサイズを別個に信号通知する、解決策A39に記載の方法。
A41.前記構成することは、前記色成分表現のカラーサブサンプリングフォーマットに基づく、解決策A39に記載の方法。
A42.前記カラーサブサンプリングフォーマットは、4:2:0または4:4:4である、解決策A41に記載の方法。
A43.前記変換は、前記ビットストリーム表現から現在のブロックを生成する、解決策A1~A42のいずれかに記載の方法。
A44.前記変換は、現在のブロックからビットストリーム表現を生成する、解決策A1~A41のいずれかに記載の方法。
A45.前記変換を行うことは、1つ以上の復号化規則に基づく前記ビットストリーム表現を構文解析することを含む、解決策A1~A42のいずれかに記載の方法。
A46.プロセッサと、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、前記プロセッサが実行する命令は、処理装置に、解決策A1~A45のいずれかに記載の方法を実装させる装置。
A47.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決策A1~A45のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
いくつかの実施形態において、次の技術的解決策を実装してもよい。
B1.映像の現在のブロックと前記映像のビットストリーム表現との間の変換のために、非隣接参照ラインモードを前記変換に使用することに起因して、広角モードが変換のために無効にされることを判定することと、前記判定に基づいて、前記変換を行うことと、を含み、非隣接参照ラインモードは、非隣接画素を、前記現在のブロックの前記変換のための映像の参照ラインから使用し、前記広角モードは、45度から-135度までの従来の角度イントラ予測方向を超えたイントラ予測方向を含む、映像処理の方法。
B2.前記変換は、信号通知モードと前記広角モードの少なくとも1つのインデックスとの間のマッピングをスキップする、解決策B1に記載の方法。
B3.映像の現在のブロックと前記映像のビットストリーム表現との間での変換のために、映像のカラーサブサンプリングフォーマットに基づいて、前記現在のブロックに対してMRL(Multiple Reference Line)符号化モードを有効化するか、または1つ以上の参照ラインインデックスの信号通知方式を前記MRL符号化モードに使用するかを決定することと、前記決定に基づいて、前記変換を行うことと、を含む、映像処理の方法。
B4.カラーサブサンプリングフォーマットが4:4:4であると判定されると、MRL符号化モードが、映像の色成分表現の3つの色成分に対して有効にされる、解決策B3に記載の方法。
B5.前記1つ以上の参照ラインインデックスの1つの参照ラインインデックスが、前記映像の1つの色成分表現の3つの成分に対して符号化される、解決策B3に記載の方法。
B6.前記1つ以上の参照ラインインデックスの第1の参照ラインインデックスは、前記映像の色成分表現の輝度成分のために符号化され、第2の参照ラインインデックスは、前記色成分表現の他の2つの色成分のために符号化される、解決策B3に記載の方法。
B7.前記1つ以上参照ラインインデックスは、予測符号化を使用して符号化される少なくとも2つの参照ラインインデックスを含む、解決策B3に記載の方法。
B8.前記ビットストリーム表現は、前記1つ以上の参照ラインインデックスの各々が同一であることを示す単一のフラグを備える、解決策B3に記載の方法。
B9.前記MRL符号化モードが有効化され、前記映像の色成分表現の異なる成分が、前記MRL符号化モードから異なる候補ラインを選択する、解決策B3に記載の方法。
B10.前記色成分表現のCbおよびCr成分は、近傍の第1および第2のラインから前記候補ラインを選択する、解決策B9に記載の方法。
B11.映像の現在のブロックに対してインターイントラモードおよびMRLIP(Multiple Reference line Intra Prediction)モードが有効であると判定された場合、インターイントラモードのイントラ予測処理のために、現在のブロックに非隣接ラインまたは列を選択することと、前記ラインまたは前記列に基づいて、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うこととを含む、映像処理方法。
B12.前記ビットストリーム表現は、前記ラインまたは前記列の指示を含む、解決策B11に記載の方法。
B13.前記インターイントラモードおよび前記MRLIPモードを有効化する指示は、SPS(Sequence Parameter Set)、VPS(Video Parameter Set)、PPS(Picture Parameter Set)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、またはCTU(Coding Tree Unit)において信号通知される、解決策B11に記載の方法。
B14.現在のブロックに非隣接のラインを使用するMRLIP(Multiple Reference Line Intra Prediction)モードを使用して符号化された映像の前記現在のブロックに対して、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うことを含み、前記MRLIPは、MPM(Most Probable Mode)リストをさらに使用し、前記変換を行うことは、前記MPMリストの第1のモード(M1)を前記MPMリストの第2のモード(M2)に置き換えることを含む、映像処理方法。
B15.第1のモードが、DCモード、平面モード、広角モード、または任意の非角度モードである、解決策B14に記載の方法。
B16.前記第2のモードを導出することは、前記MPMリストにおける残りのモードに基づく、解決策B14に記載の方法。
B17.現在のブロックに非隣接のラインを使用するMRLIP(Multiple Reference LineIntra Prediction)モードを使用して符号化された映像の前記現在のブロックに対して、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うことを含み、前記ビットストリーム表現は、MPM(Most Probable Mode)リストにおける1つのモードの符号化インデックスの代わりに、固定候補リストにおける1つのモードの符号化インデックスを含む、映像処理の方法。
B18.前記固定候補リストは、水平モードまたは垂直モードを含む、解決策B17に記載の方法。
B19.前記固定候補リストは、予め規定される、解決策B17に記載の方法。
B20.前記固定候補リストは、SPS(Sequence Parameter Set)、VPS(Video Parameter Set)、PPS(Picture Parameter Set)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、またはCTU(Coding Paramter Set)で信号通知される、解決策B17に記載の方法。
B21.前記固定候補リストは、前記現在のブロックの高さまたは幅に基づく、解決策B17に記載の方法。
B22.MRL(Multiple Reference Line)符号化モードを使用して、現在の映像ブロックと前記映像のビットストリーム表現との間での変換のために、前記ビットストリーム表現が、前記現在のブロックの予測に使用される上のラインに対応する第1のインデックスと、前記予測に使用される左の列に対応する第2のインデックスとを含むことを判定し、前記判定に基づいて、前記変換を行うことを含む、映像処理方の法。
B23.前記第1のインデックスと前記第2のインデックスの異なる値が、許可されたイントラ予測モードの異なるセットに対応する、解決策B22に記載の方法。
B24.前記許可されたイントラ予測モードの異なるセットは、予め規定される、解決策B23に記載の方法。
B25.前記許可されたイントラ予測モードの異なるセットは、SPS(Sequence Paramter Set)、VPS(Video Paratemeter Set)、PPS(Picture Paramter Set)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、またはCTU(Coding Tree Unit)において信号通知される、解決策B23に記載の方法。
B26.前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、解決策B1~B25のいずれかに記載の方法。
B27.前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、解決策B1~B25のいずれかに記載の方法。
B28.プロセッサと、命令を搭載した非一時的メモリとを備える映像システムにおける装置であって、前記プロセッサが実行する命令は、前記プロセッサに、解決策B1~B27のいずれかに記載の方法を実装させる装置。
B29.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、解決策B1~B11のいずれかに記載の方法を実行するためのプログラムコードを含む。
本明細書に記載される様々な規則は、予め特定されたものであり、命令、コードまたはハードウェア回路の形式で実施形態に記憶させてもよい。現在の映像ブロックのビットストリーム表現は、ビットストリームのためのフォーマットによって定義されるように、連続または非連続ビットを含んでいてもよい。例えば、現在の映像ブロックに関する情報は、ビットストリーム表現のヘッダフィールドに記憶されていてもよい。
本明細書に記載された開示されたそして他の解決案、実施例、実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実装されてもよい。開示された、そして他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circiut)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るものの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2018年11月22日出願の国際特許出願第PCT/CN2018/116885号の優先権および利益を適時に主張する2019年11月22日出願の国際特許出願第PCT/CN2019/120266号の国内段階である記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (47)

  1. 映像の現在のブロックに対して、PCM(Pulse Code Modulation)が使用される第1の符号化モードまたはMRLIP(Multiple Reference Line based Intra Prediction)が使用される第2の符号化モードのうちの少なくとも一方が有効化されていることを判定することと、
    前記第1の符号化モードまたは前記第2の符号化モードに基づいて、前記映像の前記現在のブロックとビットストリーム表現との間の変換を行うことと、
    を有し、
    前記第1の符号化モードの使用を示す第1の指示および/または前記第2の符号化モードの使用を示す第2の指示が、順序付け規則に従って前記ビットストリーム表現に含まれる、映像処理の方法。
  2. 前記順序付け規則は、復号化順において、前記第2の指示の前に、前記第1の指示が前記ビットストリーム表現にあることを規定する、請求項1に記載の方法。
  3. 前記ビットストリーム表現は、前記第1の符号化モードが有効であると判定された場合、前記第2の符号化モードに使用される参照ラインインデックスを省略する、請求項1に記載の方法。
  4. 前記ビットストリーム表現は、前記第1の符号化モードが無効であると判定された場合、前記第2の符号化モードに使用される参照ラインインデックスをさらに含む、請求項1に記載の方法。
  5. 前記ビットストリーム表現は、前記ビットストリーム表現が前記第2の指示を含むと判定された場合、前記第1の指示を省略する、請求項1に記載の方法。
  6. 前記第1の符号化モードが有効であると判定された場合、前記現在のブロックのためのALF(Adaptive Loop Filter)処理を無効化する、請求項1に記載の方法。
  7. 前記ALF処理の指示が前記ビットストリーム表現に含まれているか否かは、前記第1の指示に基づく、請求項6に記載の方法。
  8. 前記第1の指示が前記ビットストリーム表現に含まれているか否かは、前記ALF処理の指示に基づく、請求項6に記載の方法。
  9. 前記現在のブロックのサイズがCTU(Coding Tree Unit)のサイズに等しいと判定された場合、前記ALF処理の指示の前に、前記第1の指示が前記ビットストリーム表現で信号通知される、請求項6に記載の方法。
  10. 前記現在のブロックのサイズがCTU(Coding Tree Unit)のサイズに等しいと判定された場合、SAO(Sample Adaptive Offset)処理の指示の前に、前記第1の指示が前記ビットストリーム表現で信号通知される、請求項6に記載の方法。
  11. pcm_loop_filter_disabled_flag=1である、請求項1~10のいずれかに記載の方法。
  12. 映像の現在のブロックと前記映像のビットストリーム表現との間の変換のために、前記映像の色成分表現に基づいて、前記現在のブロックのパルス符号変調に基づいて、符号化モードに関連付けられた少なくとも1つのフラグを判定することと、
    前記判定に基づいて前記変換を行うことと、
    を含む、映像処理の方法。
  13. 前記少なくとも1つのフラグは、前記色成分表現の各成分に対する別個のパーティションツリー構造が使用されるかどうかに基づく、請求項12に記載の方法。
  14. 前記少なくとも1つのフラグは、前記色成分表現の輝度成分のための第1のフラグを備え、前記少なくとも1つのフラグは、前記色成分表現の彩度成分のための第2のフラグをさらに含む、請求項12に記載の方法。
  15. 前記色成分表現は3つの色成分を含み、前記少なくとも1つのフラグは前記3つの色成分の各々に対する3つのフラグを含む、請求項12に記載の方法。
  16. 前記少なくとも1つのフラグは、前記色成分表現の各成分に対する前記パルス符号変調を有効化する指示に対応する、前記パルス符号変調を有効化する指示を備える、請求項12に記載の方法。
  17. 前記色成分表現の成分に対するフィルタリング処理は、前記色成分表現の対応する成分に対する前記パルス符号変調を有効化にする指示に基づく請求項16に記載の方法。
  18. 前記少なくとも1つのフラグは、前記色成分表現の輝度成分のために前記パルス符号変調を有効化する指示を備え、前記色成分表現の彩度成分に対する前記パルス符号変調を有効化する指示は、前記輝度成分内の位置から継承される、請求項12に記載の方法。
  19. 前記位置は、前記輝度成分の中心位置である、請求項18に記載の方法。
  20. 映像の映像領域の現在のブロックと前記映像のビットストリーム表現との間で変換を行うこと、
    を有し、
    前記ビットストリーム表現は、前記現在のブロックへのPCM(Pulse Code Modulation)の適用可能性に関する規則に従ってフォーマットされ、
    前記規則は、前記PCMを無効にする旨の指示が映像領域レベルに含まれていると判定された場合、現在のブロックレベルでの前記PCMの指示を省略することを規定する、映像処理の方法。
  21. 前記PCMの前記表示は、VPS(Video Parameter Set)、PPS(Picture Parameter Set)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、タイル、CTU(Coding Tree Set)またはCTU行において信号通知される、請求項20に記載の方法。
  22. 映像の現在のブロックのサイズに基づいて、前記映像の現在のブロックに対してPCM(Pulse Code Modulation)符号化モードを有効化するかを決定することと、
    前記決定に基づいて、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うことと、
    を有する、映像処理の方法。
  23. 前記現在のブロックが64未満のサンプルを含むと判定された場合、前記PCM符号化モードが有効になる、請求項22に記載の方法。
  24. 前記現在のブロックのサイズは、4×4、4×8、または8×4である、請求項23に記載の方法。
  25. pcm_flagが1に等しい前記現在のブロックの最小ブロックサイズは、(log2_min_pcm_luma_coding_block_size_minus2+2)に設定される、請求項23の方法。
  26. 前記現在のブロックの前記サイズが64×64以上であると判定された場合、PCM符号化モードが有効化される、請求項22に記載の方法。
  27. LCU(Largest Coding Unit)のサイズが128×128に等しいと判定された場合、前記PCM符号化モードが有効になる、請求項22に記載の方法。
  28. 前記PCM符号化モードが有効化され、前記現在のブロックにおけるサンプルの最大数または最小数の指示が前記ビットストリーム表現において信号通知される、請求項22に記載の方法。
  29. 前記指示は、サンプルの最大数とサンプルの最小数との間の差を含む、請求項28に記載の方法。
  30. 前記指示は、サンプルの前記最大数または前記最小数の底を2とする対数を含む、請求項28に記載の方法。
  31. 前記指示は、サンプルの前記最大数とサンプルの前記最小数との間の差の底を2とする対数を含む、請求項28に記載の方法。
  32. 映像の現在のブロックと前記映像のビットストリーム表現との間の変換のために、前記現在のブロックの高さまたは幅の最小許容値を判定することであって、前記高さの最小許容値は、前記幅の最小許容値とは別個に信号通知または導出される、ことと、
    前記判定に基づいて前記変換を行うことと、
    を含む、映像処理の方法。
  33. 前記ビットストリーム表現は、前記高さまたは前記幅の最大許容値をさらに含み、前記高さの最大許容値は、前記幅の最大許容値とは別個に信号通知または導出される、請求項32に記載の方法。
  34. 前記ビットストリーム表現は、前記高さまたは前記幅の最小許容値を省略し、前記最小許容値は、CU(Coding Unit)ブロックの最小サイズから継承される、請求項32に記載の方法。
  35. 前記ビットストリーム表現は、前記高さまたは前記幅の最大許容値を省略し、前記最大許容値は、CU(Coding Unit)ブロックの最大サイズから継承される、請求項32に記載の方法。
  36. 前記高さは、前記幅と異なる、請求項32~35のいずれかに記載の方法。
  37. 前記現在のブロックに対してPCM(Pulse Code Modulation)符号化モードを有効化する指示を含む前記ビットストリーム表現は、
    (a)前記現在のブロックの幅が、前記幅に対する前記最小許容値よりも小さくなく、かつ、前記幅に対する最大許容値よりも大きくない、または、
    (b)前記現在のブロックの高さが、前記高さに対する最小許容値よりも小さくなく、かつ、前記高さに対する最大許容値よりも大きくないことに基づく、請求項32に記載の方法。
  38. 前記現在のブロックのためにPCM(Pulse Code Modulation)符号化モードを有効化にする、請求項32または33に記載の方法。
  39. PCM(Pulse Code Modulation)符号化モードで符号化されている映像の現在のブロックの指示が、前記映像のビットストリーム表現において信号通知されると判定された場合、前記映像の色成分表現を構成することと、
    前記構成に基づいて、現在のブロックとビットストリーム表現との間で前記変換を行うことと、
    有する、映像処理の方法。
  40. 前記色成分表現の各成分に対して許可されたサイズを別個に信号通知する、請求項39に記載の方法。
  41. 前記構成することは、前記色成分表現のカラーサブサンプリングフォーマットに基づく、請求項39に記載の方法。
  42. 前記カラーサブサンプリングフォーマットは、4:2:0または4:4:4である、請求項41に記載の方法。
  43. 前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、請求項1~42のいずれかに記載の方法。
  44. 前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、請求項1~42のいずれかに記載の方法。
  45. 前記変換を行うことは、1つ以上の復号化規則に基づいて前記ビットストリーム表現を構文解析することを含む、請求項1~42のいずれかに記載の方法。
  46. プロセッサと、命令を搭載した非一時的メモリとを備え、前記プロセッサが実行すると、前記命令は、前記プロセッサに、請求項1~45のいずれかに記載の前記方法を実装させる、映像システムにおける装置。
  47. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、請求項1~45のいずれか1項以上に記載の前記方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
JP2021529071A 2018-11-22 2019-11-22 映像処理におけるパルス符号変調技術 Active JP7182098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022177350A JP7425158B2 (ja) 2018-11-22 2022-11-04 映像処理におけるパルス符号変調技術

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/116885 2018-11-22
CN2018116885 2018-11-22
PCT/CN2019/120266 WO2020103931A1 (en) 2018-11-22 2019-11-22 Pulse code modulation technique in video processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022177350A Division JP7425158B2 (ja) 2018-11-22 2022-11-04 映像処理におけるパルス符号変調技術

Publications (2)

Publication Number Publication Date
JP2022508194A true JP2022508194A (ja) 2022-01-19
JP7182098B2 JP7182098B2 (ja) 2022-12-02

Family

ID=70774307

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021529071A Active JP7182098B2 (ja) 2018-11-22 2019-11-22 映像処理におけるパルス符号変調技術
JP2022177350A Active JP7425158B2 (ja) 2018-11-22 2022-11-04 映像処理におけるパルス符号変調技術

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022177350A Active JP7425158B2 (ja) 2018-11-22 2022-11-04 映像処理におけるパルス符号変調技術

Country Status (12)

Country Link
US (2) US11095882B2 (ja)
EP (1) EP3868094A4 (ja)
JP (2) JP7182098B2 (ja)
KR (2) KR102636813B1 (ja)
CN (2) CN113316931B (ja)
AU (1) AU2019382524B2 (ja)
BR (1) BR112021009666A2 (ja)
CA (1) CA3120533A1 (ja)
MX (1) MX2021005654A (ja)
SG (1) SG11202105187VA (ja)
WO (2) WO2020103932A1 (ja)
ZA (1) ZA202103316B (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432929B2 (en) * 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
WO2020003274A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
MX2020013828A (es) 2018-06-29 2021-03-25 Beijing Bytedance Network Tech Co Ltd Interaccion entre lut y amvp.
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表(lut)的条件
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
WO2020101559A1 (en) * 2018-11-15 2020-05-22 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking in a video encoder and/or video decoder
MX2021005654A (es) 2018-11-22 2021-07-07 Beijing Bytedance Network Tech Co Ltd Tecnica de modulacion por codificacion de pulsos en procesamiento de video.
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020145775A1 (ko) * 2019-01-13 2020-07-16 엘지전자 주식회사 Mrl 기반 인트라 예측을 수행하는 영상 코딩 방법 및 장치
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
EP3941065A4 (en) 2019-03-15 2022-05-18 Lg Electronics Inc. METHOD AND DEVICE FOR SIGNALING INFORMATION ON CHROMA FORMAT
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
JP7414843B2 (ja) 2019-04-24 2024-01-16 バイトダンス インコーポレイテッド 符号化映像の量子化残差差分パルス符号変調表現
WO2020223467A1 (en) 2019-05-01 2020-11-05 Bytedance Inc. Intra coded video using quantized residual differential pulse code modulation coding
EP3948663A4 (en) 2019-05-02 2022-06-08 ByteDance Inc. CODING MODE BASED ON A CODING TREE STRUCTURE TYPE
CN114270825A (zh) 2019-08-19 2022-04-01 北京字节跳动网络技术有限公司 基于计数器的帧内预测模式的初始化
US11553208B2 (en) * 2019-11-27 2023-01-10 Tencent America LLC Method and system of video coding using a subset of available intra prediction modes for multiple reference lines
EP4140128A4 (en) 2020-05-22 2023-08-02 ByteDance Inc. RESTRICTIONS ON IMAGE TYPES IN VIDEO BITSTREAM PROCESSING
JP2023526661A (ja) 2020-05-22 2023-06-22 バイトダンス インコーポレイテッド 適合出力サブビットストリームの生成技術
WO2021252533A1 (en) 2020-06-09 2021-12-16 Bytedance Inc. Sub-bitstream extraction of multi-layer video bitstreams
US20220337875A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Low memory design for multiple reference line selection scheme
WO2023129918A1 (en) * 2021-12-28 2023-07-06 Innopeak Technology, Inc. Intra prediction with multiple reference lines
WO2023195646A1 (ko) * 2022-04-05 2023-10-12 현대자동차주식회사 선택적 다중 참조라인을 이용하는 비디오 코딩을 위한 방법 및 장치
WO2024007158A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 一种候选列表构建方法、视频编解码方法、装置和系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270167B1 (ko) * 2006-08-17 2013-05-31 삼성전자주식회사 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치
HUE041324T2 (hu) 2010-05-25 2019-05-28 Lg Electronics Inc Új síkbani elõrejelzés üzemmód
BR122015017254B1 (pt) 2010-11-26 2019-10-08 Nec Corporation Método de decodificação de vídeo e dispositivo de decodificação de vídeo
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101989613B1 (ko) 2011-02-10 2019-06-14 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
US9232218B2 (en) * 2012-03-01 2016-01-05 Connesta System and method for data insertion in video stream
CA2878206C (en) 2012-07-02 2016-05-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and apparatus for decoding video determining inter-prediction reference picture list depending on block size
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
CN103248892A (zh) * 2013-05-07 2013-08-14 北京大学 一种帧内预测方法及装置
US9948933B2 (en) * 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016153251A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
US20160373782A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10659812B2 (en) * 2015-11-24 2020-05-19 Samsung Electronics Co., Ltd. Method and device for video decoding and method and device for video encoding
US11259047B2 (en) * 2016-04-06 2022-02-22 Kt Corporation Method and apparatus for processing video signal
WO2017184970A1 (en) 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
WO2017201141A1 (en) * 2016-05-17 2017-11-23 Arris Enterprises Llc Template matching for jvet intra prediction
CA3025488A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
US10944963B2 (en) * 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
EP3972256B1 (en) * 2016-06-24 2024-01-03 KT Corporation Adaptive reference sample filtering for intra prediction using distant pixel lines
CN109565591B (zh) * 2016-08-03 2023-07-18 株式会社Kt 用于对视频进行编码和解码的方法和装置
CN110393011B (zh) * 2017-03-10 2022-02-18 联发科技股份有限公司 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
US10623738B2 (en) * 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
CN111247799B (zh) * 2017-10-18 2022-08-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
CN108322745B (zh) * 2018-02-28 2019-12-03 中南大学 一种基于不可分二次变换模式的帧内快速选择方法
MX2021005654A (es) 2018-11-22 2021-07-07 Beijing Bytedance Network Tech Co Ltd Tecnica de modulacion por codificacion de pulsos en procesamiento de video.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. ALBRECHT, ET AL.: "Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0014-v4, JPN6022023399, April 2018 (2018-04-01), pages 6 - 7, ISSN: 0004799369 *
YU-CHEN SUN, JICHENG AN, AND JIAN LOU: "PCM mode with dual tree partition", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0209-v3, JPN6022023400, October 2018 (2018-10-01), pages 1 - 3, ISSN: 0004799370 *

Also Published As

Publication number Publication date
BR112021009666A2 (pt) 2021-08-17
ZA202103316B (en) 2022-10-26
CN113316931B (zh) 2024-04-12
WO2020103931A1 (en) 2020-05-28
EP3868094A1 (en) 2021-08-25
JP7182098B2 (ja) 2022-12-02
US11095882B2 (en) 2021-08-17
MX2021005654A (es) 2021-07-07
KR20210090175A (ko) 2021-07-19
KR20230170819A (ko) 2023-12-19
US11743453B2 (en) 2023-08-29
CN113316931A (zh) 2021-08-27
JP7425158B2 (ja) 2024-01-30
CN113170116A (zh) 2021-07-23
AU2019382524A1 (en) 2021-06-10
US20210029352A1 (en) 2021-01-28
WO2020103932A1 (en) 2020-05-28
SG11202105187VA (en) 2021-06-29
JP2023011862A (ja) 2023-01-24
KR102636813B1 (ko) 2024-02-15
CA3120533A1 (en) 2020-05-28
US20210344908A1 (en) 2021-11-04
AU2019382524B2 (en) 2023-02-02
EP3868094A4 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
JP7182098B2 (ja) 映像処理におけるパルス符号変調技術
CN115244924A (zh) 跨分量自适应环路滤波器的信令通知
WO2020182207A1 (en) Partitions on sub-block transform mode
US11632575B2 (en) Binarization of partitioning related to extended quadtree
US11388476B2 (en) Block partitioning method and apparatus
KR20220006055A (ko) 다중 인트라 코딩 방법 사이의 상호 작용
CN114009024B (zh) 视频编解码中自适应环内颜色空间变换的选择性启用
KR20220038692A (ko) 색상 포맷에 기초한 비디오 영역 분할
JP7318120B2 (ja) 適応ループフィルタリングにおけるパディングプロセス
JP2022548008A (ja) クロマデブロックフィルタリングの量子化パラメータ
CN112673626A (zh) 各分割约束元素之间的关系
WO2021110116A1 (en) Prediction from multiple cross-components
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
WO2021115235A1 (en) Cross-component prediction using multiple components
RU2806548C2 (ru) Способ импульсно-кодовой модуляции для обработки видео
JP7442673B2 (ja) ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化
EP4128763A1 (en) Filter parameter signaling in video picture headers
CN117121481A (zh) 单独树编解码限制

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R150 Certificate of patent or registration of utility model

Ref document number: 7182098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150