JP2022531282A - 変換スキップモードにおける信号通知 - Google Patents

変換スキップモードにおける信号通知 Download PDF

Info

Publication number
JP2022531282A
JP2022531282A JP2021564673A JP2021564673A JP2022531282A JP 2022531282 A JP2022531282 A JP 2022531282A JP 2021564673 A JP2021564673 A JP 2021564673A JP 2021564673 A JP2021564673 A JP 2021564673A JP 2022531282 A JP2022531282 A JP 2022531282A
Authority
JP
Japan
Prior art keywords
block
current video
video block
bitstream representation
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564673A
Other languages
English (en)
Other versions
JP7288084B2 (ja
Inventor
ウェイジャ ジュー
リー ジャン
ジジョン シュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2022531282A publication Critical patent/JP2022531282A/ja
Priority to JP2023086493A priority Critical patent/JP2023120212A/ja
Application granted granted Critical
Publication of JP7288084B2 publication Critical patent/JP7288084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

変換スキップモードにおける係数符号化のための装置、システム、及び方法が記載される。視覚メディアデータの映像領域における現在の映像ブロックを視覚メディアデータのビットストリーム表現に符号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、使用を識別する時に、ビットストリーム表現に、現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、視覚メディアデータのビットストリーム表現で表現する、例示の視覚メディアの処理方法。【選択図】図9A

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年5月2日出願の国際特許出願PCT/CN2019/085405号、2019年6月25日出願の国際特許出願PCT/CN2019/092831号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像および画像符号化/復号化技術に関する。
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像符号化/復号化に関し、具体的には、映像符号化/復号化のための変換スキップモードにおける係数符号化に関する装置、システム、及び方法が説明される。説明される方法は、既存のビデオ符号化標準(例えば、高効率ビデオ符号化(High Efficiency Video Coding、HEVC))及び将来のビデオ符号化標準(例えば、VVC(Versatile Video Coding))又はコーデックの両方に適用することができる。
1つの例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと予測映像ブロックとの残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、少なくとも、二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または二重ツリー符号化構造の選択的適用に関する決定を行うことと、ビットストリーム表現における単一または二重ツリーの選択的適用を示す構文要素を含む。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、現在の映像ブロックを含む映像領域を備える視覚メディアデータのビットストリーム表現から、構文要素を構文解析することと、前記構文要素は、少なくとも、二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または二重ツリー符号化構造の選択的適用を示す、生成することと、構文要素に従って、現在の映像ブロックを復号することで、ビットストリーム表現から復号化された映像領域を生成することと、を含む。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、イントラブロックコピー(IBC)モードを前記現在の映像ブロックの彩度成分に適用すると決定することと、前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化されたサブ領域に含まれる第1に利用可能なサンプルを使用して前記現在の映像ブロックのサブブロックに関連付けられた動き情報を導出することと、を含む。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、前記現在の映像ブロックに対してイントラブロックコピー(IBC)モードを適用すると決定することと、前記ビットストリーム表現において、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素を含めることと、を含む。
さらに別の例示的な態様において、視覚メディア処理の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、前記現在の映像ブロックに対してイントラブロックコピー(IBC)モードを適用することを決定することと、前記ビットストリーム表現において、少なくとも1つ以上の条件に基づいて、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素を選択的に含めるか除外するかを決定することと、を含む。
さらに別の例示的な態様において、上述された方法は、処理装置を含む映像エンコーダによって実装されてもよい。
さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。
これらの、および他の態様は、本明細書でさらに説明される。
イントラブロックコピーの例を示す。 パレットモードで符号化されたブロックの例を示す。 パレットエントリを信号通知するためにパレット予測子を使用する例を示す。 水平方向および垂直方向の横断走査の例を示す。 パレットインデックスの符号化の例を示す。 マルチタイプのツリー分割モードを例示する。 クロスコンポーネントリニアモデル(Cross-Component Linear Model、CCLM)予測モードにおいてパラメータを導出するために使用されるサンプルを例示する。 彩度スケーリングを用いた輝度マッピングのための例示的なアーキテクチャを示す。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 映像処理方法の例を示すフローチャートである。 本特許明細書に記載されるビジュアルメディアの復号化又はビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。
本明細書は、伸張または復号化されたデジタル映像または画像の品質を向上させるために、画像または映像ビットストリームのデコーダによって使用できる様々な技術を提供する。簡潔にするために、本明細書では、用語「映像」は、一連のピクチャ(従来から映像と呼ばれる)および個々の画像の両方を含むように使用される。さらに、映像エンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
本明細書では、理解を容易にするために章の見出しを使用しており、1つの章に開示された実施形態をその章にのみ限定するものではない。このように、ある章の実施形態は、他の章の実施形態と組み合わせることができる。
1. 発明の概要
本明細書は、映像符号化技術に関する。具体的には、映像符号化における変換スキップモードにおける係数符号化に関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
2. 初期の協議
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った[1,2]。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
VVCドラフトの最新バージョン、即ち、Versatile Video Coding(ドラフト4)は、以下を参照することができる。http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下で確認することができる。https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1 イントラブロックコピー
イントラブロックコピー(IBC)、別名、現在のピクチャの参照(CPR)は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図1に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.2 HEVCスクリーンコンテンツ符号化拡張機能におけるIBC
HEVCのスクリーンコンテンツ符号化拡張機能において、1つのブロックが現在のピクチャを参照として使用する場合、以下の仕様のテキストに示すように、参照ブロック全体が利用可能な再構成された領域内にあることを保証すべきである。
変数offsetXおよびoffsetYは、以下のように導出される。
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-106)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-107)
参照ピクチャが現在のピクチャである場合、輝度動きベクトルmvLXは、以下の制約に従うべきであることが、ビットストリーム適合性の要件である。
- 6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
- 6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb.yCb)と等しく設定された(xCurr,yCurr)、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)を入力として呼び出されると、出力はTRUEとなる。
- 以下の条件の一方または両方がTRUEであること。
- (mvLX[0]>>2)+nPbW+xB1+offsetXの値が0以下である。
- (mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
- 以下の条件がTRUEとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=
yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (8-108)
このように、参照ブロックが現在のブロックと重複するケース、または参照ブロックがピクチャの外にあるケースは発生しない。参照ブロックまたは予測ブロックを埋める必要がない。
2.3. VVC試験モデルにおけるIBC
現在のVVC試験モデル、すなわち、VTM-4.0設計において、参照ブロック全体は現在の符号化ツリーユニット(CTU)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。IBCフラグは、現在のCUの予測モードとして符号化される。このように、各CUに対して、MODE_INTRA、MODE_INTER、およびMODE_IBCという全部で3つの予測モードが存在する。
2.3.1 IBCマージモード
IBCマージモードにおいて、IBCマージ候補リストにおけるエントリを指すインデックスをビットストリームから構文解析する。このIBCマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
ステップ1:空間的候補の導出
ステップ2:HMVP候補の挿入
ステップ3:対の平均候補の挿入
空間的マージ候補の導出において、位置A1,B1,B0,A0およびB2にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA1、B1、B0、A0、B2である。位置A1、B1、B0、A0のいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはIBCモードで符号化されていない場合にのみ、位置B2が考慮される。位置A1の候補を加えた後、残りの候補を挿入すると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。
空間的候補を挿入した後、IBCマージリストサイズが依然として最大IBCマージリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。HMVP候補の挿入にあたり、冗長性チェックを行う。
最後に、対の平均候補をIBCマージリストに挿入する。
マージ候補によって特定される参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、マージ候補は無効なマージ候補と呼ばれる。
なお、IBCマージリストに無効なマージ候補を挿入してもよい。
2.3.2 IBC AMVPモード
IBC AMVPモードでは、IBC AMVPリストにおけるエントリを指すAMVPインデックスが、ビットストリームから構文解析される。このIBC AMVPリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
ステップ1:空間的候補の導出
利用可能な候補が見つかるまで、A0,A1をチェックする。
利用可能な候補が見つかるまで、B0、B1、B2をチェックする。
ステップ2:HMVP候補の挿入
ステップ3:ゼロ候補の挿入
空間的候補を挿入した後、IBC AMVPリストサイズが依然として最大IBC AMVPリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。
最後に、IBC AMVPリストにゼロ候補を挿入する。
2.4 適応型動きベクトル解像度(AMVR)
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトル差分(MVD:Motion Vector Difference)(動きベクトルとCUの予測動きベクトルとの差)が信号通知される。VVCにおいて、CUレベルの適応型動きベクトル解像度(AMVR)スキームが導入される。AMVRは、CUのMVDを異なる精度で符号化することを可能にする。現在のCUのモード(通常のAMVPモード又はアフィンAVMPモード)に基づいて、現在のCUのMVDは、以下のように適応的に選択できる。
- 通常AMVPモード:1/4輝度サンプル、整数輝度サンプル又は4輝度サンプル。
- アフィンAMVPモード: 1/4輝度サンプル、整数輝度サンプル又は1/16輝度サンプル。
現在のCUが少なくとも1つの非ゼロMVDモジュールを有する場合、CUレベルMVD解像度指示が条件付きで信号通知される。すべてのMVDモジュール(すなわち、参照リストL0及び参照リストL1の水平及び垂直MVDの両方)がゼロである場合、1/4輝度サンプルMVD解像度が推測される。
少なくとも1つの非ゼロMVDモジュールの構成要素を有するCUの場合、1/4輝度サンプルMVD精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグが0である場合、さらなる信号伝達は必要とされず、現在のCUのために1/4輝度サンプルMVD精度が使用される。そうでない場合、通常のAMVP CUのために整数輝度サンプル又は4輝度サンプルのMVD精度が使用されるかどうかを示すために、第2のフラグが信号通知される。同じ第2のフラグは、整数輝度サンプル又は1/16輝度サンプルのMVD精度がアフィンAMVP CUに使用されるかどうかを示すために使用される。再構成されたMVが意図された精度(1/4輝度サンプル、整数輝度サンプル、又は4輝度サンプル)を有することを保証するために、CUの動きベクトル予測子は、MVDと加算される前に、MVDと同じ精度に丸められる。動きベクトル予測子をゼロに向かって丸める(すなわち、負の動きベクトル予測子を正の無限大に向かって丸め、正の動きベクトル予測モジュールを負の無限大に向かって丸める)。
エンコーダは、RDチェックを使用して、現在のCUの動きベクトルの解像度を決定する。各MVD解像度に対してCUレベルのRDチェックを常に3回行うことを回避するために、VTM4では、1/4輝度サンプル以外のMVD精度のRDチェックは、条件付きでのみ呼び出される。通常のAVMPモードの場合、まず、1/4輝度サンプルMVD精度及び整数輝度サンプルMV精度のRDコストを算出する。次に、整数輝度サンプルMVD精度のRDコストと1/4輝度サンプルMVD精度のRDコストを比較し、4輝度サンプルMVD精度のRDコストをさらにチェックする必要があるかどうかを決定する。1/4輝度サンプルMVD精度のRDコストが整数輝度サンプルMVD精度のRDコストよりもずっと小さい場合、4輝度サンプルMVD精度のRDチェックは省略される。アフィンAMVPモードにおいて、アフィンマージ/スキップモード、マージ/スキップモード、1/4輝度サンプリングMVD精度通常AMVPモード、1/4輝度サンプリングMVD精度アフィンAMVPモードのレート-ひずみ率をチェックした後、アフィンインターモードを選択しなかった場合、1/16輝度サンプルMV精度、1-画素MV精度アフィンインターモードはチェックされない。また、1/16輝度サンプル及び1/4輝度サンプルMV精度アフィンインターモードにおける探索開始点として、1/4輝度サンプルMV精度アフィンインターモードで得られたアフィンパラメータを用いる。
2.5 パレットモード
パレットモードの背景にある基本的な考えは、CUにおけるサンプルを代表的な色値の小さな集合で表現することである。この集合をパレットと呼ぶ。また、エスケープシンボルの後に(場合によっては量子化された)成分値を信号通知することによって、パレットの外側にあるサンプルを示すこともできる。これを図2に示す。
2.6 HEVCスクリーンコンテンツ符号化拡張機能におけるパレットモード(HEVC-SCC)
HEVC-SCCにおけるパレットモードでは、パレットおよびインデックスマップを符号化するために予測方式が用いられる。
2.6.1 パレットエントリの符号化
パレットエントリを符号化するために、パレット予測子が維持される。SPSにおいて、パレットの最大サイズおよびパレット予測子が信号通知される。HEVC-SCCにおいて、palette_predictor_initializer_present_flagがPPSに導入される。このフラグが1である場合、ビットストリームにおいて、パレット予測子を初期化するためのエントリが信号通知される。パレット予測子は、各CTU行、各スライス、および各タイルの始めに初期化される。palette_predictor_initializer_present_flagの値によって、palette_predictorを0にリセットするか、またはPPSに信号通知されたパレット予測子の初期化エントリを使用してパレット予測子を初期化する。HEVC-SCCでは、PPSレベルでパレット予測子の初期化を明確に無効にするために、サイズ0のパレット予測子初期化モジュールを有効化した。
パレット予測子におけるエントリごとに、それが現在のパレットの一部であるかどうかを示すように、再利用フラグが信号通知される。これを図3に示す。再利用フラグは、ゼロのランレングス符号化を使用して送信される。この後、新しいパレットエントリの数は、次数0の指数ゴロムコードを使用して信号通知される。最後に、新しいパレットエントリのための成分値が信号通知される。
2.6.2 パレットインデックスの符号化
パレットインデックスは、図4に示すように、水平方向および垂直方向の横断走査を使用して符号化される。palette_transpose_flagを使用して、ビットストリームにおける走査順序を明確に信号通知する。以下のサブセクションでは、走査が水平であると仮定する。
パレットインデックスは、2つのメインパレットサンプルモード、すなわち‘INDEX’および‘COPY_ABOVE’を使用して符号化される。前述のように、エスケープシンボルも‘INDEX’モードとして信号送信され、最大パレットサイズに等しいインデックスが割り当てられる。このモードは、最上行を除くフラグを使用して、または前回のモードが‘COPY_ABOVE’であった場合に信号通知される。‘COPY_ABOVE’モードでは、上の行のサンプルのパレットインデックスをコピーする。‘INDEX’モードにおいて、パレットインデックスは明確に信号通知される。‘INDEX’モードと‘COPY_ABOVE’モードの両方の場合、同じモードを使用して符号化される後続のサンプルの数を規定する実行値を信号通知する。エスケープシンボルが‘INDEX’または‘COPY_ABOVE’モードにおける実行の一部である場合、エスケープシンボルごとにエスケープ成分値が信号通知される。パレットインデックスの符号化を図5に示す。
この構文順序は、以下のようにして実行される。まず、CUのためのインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリ符号化(truncated binary coding)を使用して、CU全体の実際のインデックス値を信号通知する。バイパスモードでは、インデックスの数およびインデックス値の両方が符号化される。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットサンプルモード(必要な場合)および実行は、インターリーブ方式で信号通知される。最後に、CU全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードで符号化する。
インデックス値を信号通知した後、追加の構文要素last_run_type_flagを信号通知する。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。
HEVC-SCCでは、パレットモードは、4:2:2、4:2:0、およびモノクロの彩度フォーマットに対しても有効になる。パレットエントリおよびパレットインデックスの信号通知は、すべての彩度フォーマットに対してほぼ同じである。非モノクロフォーマットの場合、各パレットエントリは、3つの成分からなる。モノクロフォーマットの場合、各パレットエントリは単一の成分からなる。サブサンプリングされた彩度方向の場合、彩度サンプルは、2で割り切れる輝度サンプル指数に関連付けられる。CUのパレットインデックスを再構成した後、1つのサンプルに単一の成分しか関連付けられていない場合、パレットエントリの第1の成分のみが使用される。信号通知における唯一の違いは、エスケープ成分値である。エスケープサンプルごとに、信号通知されるエスケープ成分値の数は、そのサンプルに関連付けられた成分の数によって異なってもよい。
2.7 変換スキップモードにおける係数符号化
JVET-M0464号及びJVET-N0280号において、残差符号化を変換スキップレベルの統計及び信号特性に適応させるために、TS(Transform Skip)モードにおける係数符号化についていくつかの改良が提案されている。
提案された変形例を以下に示す。
前回の有意な走査位置なし: 残差信号は予測後の空間残差を反映しており、TSに対して変換によるエネルギー圧縮は行われないので、変換ブロックの右下隅の末尾にゼロ又は有意でないレベルがより高い確率で後続することはもはやなくなる。従って、この場合、最後の重要な走査位置信号送信は省略される。
サブブロックCBF: 最後の重要な走査位置信号がない場合、TSのcoded_sub_block_flagを有するサブブロックCBF信号は、次のように変更されることが必要である。
○ 量子化のために、前述の有意でないシーケンスは、依然として変換ブロック内でローカルに発生し得る。従って、前に説明したように、最後の重要な走査位置が除去され、全てのサブブロックに対してcoded_sub_block_flagが符号化される。
○ DC周波数位置をカバーするサブブロック(左上のサブブロック)のcoded_sub_block_flagは、特殊な場合を提示する。VVC草案3において、このサブブロックのcoded_sub_block_flagは決して信号通知されず、常に1に等しいと推測される。最後の有意な走査位置が別のサブブロックに位置する場合、それは、DCサブブロックの外側に少なくとも1つの有意なレベルがあることを意味する。その結果、DCサブブロックは、このサブブロックのcoded_subblock_flagが1に等しいと推測されるが、ゼロ/非有意レベルのみを含んでもよい。TSに最後の走査位置情報がない場合、各サブブロックのcoded_sub_block_flagが通知される。これは、他のcoded_sub_block_flag構文要素が既に0に等しい場合を除き、DCサブブロックのcoded_sub_block_flagをも含む。この場合、DC coded_sub_block_flagは1に等しいと推測される(inferDcSbCbf=1)。このDCサブブロックには少なくとも1つの有意なレベルがなければならないので、このDCサブブロックにおける他のすべてのsig_coeff_flag構文要素が0に等しい場合、(0,0)における第1の位置のsig_coeff_flag構文要素は信号通知されず、1に等しくなるように導出される(inferSbDcSigCoefflag=1)。
○ coded_sub_block_flagのコンテクストモデリングを変更する。コンテクストモデルインデックスは、coded_sub_block_flagの左側への和と、coded_sub_block_flagの現在のサブブロック上への和と、両方の論理和として計算される。
sig_coeff_flagコンテクストモデリング: sig_coeff_flagコンテクストモデルにおけるローカルテンプレートは、現在地の走査位置の左側(NB)及び上側(NB)の近傍のみを含むように修正される。コンテクストモデルオフセットは、重要な近傍位置sig_coeff_flag[NB]+sig_coeff_flag[NB]の個数に過ぎない。そこで、今回の変換区間における対角dに応じて異なるコンテクスト集合を選択することを排除する。その結果、sig_coeff_flagを符号化するための3つのコンテクストモデル及び1つのコンテクストモデル集合が得られる。
abs_level_gt1_flag and par_level_flag context modelling: abs_level_gt1_flag及びpar_level_flagには1つのコンテクストモデルを用いる。
abs_remainder符号化: 変換スキップ残差絶対レベルの経験的分布は、典型的には、依然としてラプラシアン又は幾何学的分布に適応するが、変換係数絶対レベルよりも大きい不安定性が存在する。具体的には、残留絶対値レベルの場合、連続して実現する窓内の分散が高くなる。これは、abs_remainderシンタックスの二値化及びコンテクストモデリングを以下のように修正する動機となる。
○ 2値化においてより高いカットオフ値、即ち、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、及びabs_level_gt3を用いた符号化からabs_remainderのRice符号への移行点と、各ビンの位置に専用のコンテクストモデルを用いることで、より高い圧縮効率が得られる。カットオフを大きくすると、より多くの“Xより大きい”フラグがもたらされ、例えば、カットオフに達するまで、abs_level_gt5_flag、abs_level_gt7_flag等を導入していく。カットオフ自体は5に固定される(numGtFlags=5)。
○ ライスパラメータ導出のためのテンプレートを修正し、すなわち、現在の走査位置の左側の近傍及び上側の近傍のみを、sig_coeff_flagコンテクストモデリングのためのローカルテンプレートに類似していると見なす。
coeff_sign_flagコンテクストモデリング: 符号のシーケンス内の不安定性及び予測残差がしばしば偏っていることに起因して、全体的な経験的分布がほぼ均一に分布している場合であっても、符号はコンテクストモデルを使用して符号化され得る。符号の符号化には1つの専用コンテクストモデルが使用され、符号はsig_coeff_flagの後に構文解析されて、すべてのコンテクスト符号化ビンが一緒にまとめられる。
2.8 量子化残差ブロック差動パルスコード変調(QR-BDPCM)
JVET-M0413において、量子化された残差ブロック差動パルスコード変調(QR-BDPCM)が、スクリーンコンテンツを効率的に符号化するために提案されている。
QR-BDPCMで使用される予測方向は、垂直予測モードおよび水平予測モードであり得る。イントラ予測は、イントラ予測と同様に、予測方向(水平または垂直予測)にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子(水平または垂直)量子化値との間のデルタを符号化する。これは、以下のように説明することができる。サイズM(行)×N(列)のブロックについて、ri,j,0≦i≦M-1、0≦j≦N-1を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向(予測ブロックに対して左隣の画素値を1ラインずつコピーする)または垂直方向(予測ブロックにおける各ラインに上隣のラインをコピーする)にイントラ予測を行った後の予測残差とする。Q(r)、0≦i≦M-1、0≦j≦N-1は、残差rの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックDPCMが量子化された残差サンプルに適用され、その結果、要素r i,jを有する修正されたM×N個の配列Rが得られる。垂直BDPCMが信号通知されると、以下のようになる。
Figure 2022531282000002
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
Figure 2022531282000003
残差量子化サンプルr i,jはデコーダに送られる。
デコーダ側では、上記の計算を逆にして、Q(ri,j)、0≦i≦M-1、0≦j≦N-1を生成する。垂直予測の場合、
Figure 2022531282000004
水平方向の場合、
Figure 2022531282000005
逆量子化された残差Q-1(Q(ri,j))をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
このスキームの主な利点は、逆方向のDPCMを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。
QR-BDPCMの本文変更案を以下に示す。
7.3.6.5 符号化ユニット構文
Figure 2022531282000006
dbpcm_flag[x0][y0]が1の場合、位置(x0,y0)の輝度符号化ブロックを含む符号化ユニットにbdpcm_dir_flagが存在することを指定する。
bdpcm_dir_flag[x0][y0]=0は、bdpcmブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
2.9 パーティション構造
2.9.1 ツリー構造を用いたCTUの分割
HEVCにおいて、CTUは、様々な局所的特徴に適応するように、符号化ツリーと呼ばれる4分木構造を用いてCUに分割される。インターピクチャ(時間的)予測またはイントラピクチャ(空間的)予測を使用する、ピクチャ領域を符号化するかどうかの決定は、リーフCUレベルで行われる。各リーフCUは、PU分割タイプに応じて1つ、2つまたは4つのPUに更に分割することができる。1つのPUの内部では、同じ予測処理が適用され、PU単位で関連情報がデコーダに送信される。PU分割タイプに基づく予測処理を適用して残差ブロックを得た後、CUのためのコーディングツリー符号化ツリーに類似した別の4分木構造に基づいて、リーフCUを変換ユニット(TU)に分割することができる。HEVC構造の重要な特徴の1つは、CU、PU、TUを含む複数のパーティション概念を有することである。
VVCにおいて、2値及び3値分割セグメンテーション構造を使用するネストされたマルチタイプツリーを有する四分木は、複数の区分ユニットタイプの概念に取って代わる。即ち、それは、最大変換長さに対して大き過ぎるサイズを有するCUに必要な場合を除き、CU、PU、及びTU概念の分離を排除し、且つCU区分形状のためのより多くの柔軟性をサポートする。符号化ツリー構造において、CUは正方形または長方形のいずれかを有することができる。まず、符号化ツリーユニット(CTU)を4分木構造で分割する。そして、四分木のリーフノードは、マルチタイプのツリー構造によってさらに区分され得る。図6に示すとおり、マルチタイプツリー構造の分割タイプには、垂直二分割(SPLIT_BT_VER)、水平二分割(SPLIT_BT_HOR)、垂直三分割(SPLIT_TT_VER)、水平三分割(SPLIT_TT_HOR)の4つがある。マルチタイプツリーのリーフノードは、符号化ユニット(CU)と呼ばれ、CUが大き過ぎて最大変換長にならない限り、このセグメント化は、それ以上の分割なしに、予測及び変換処理に使用される。これは、ほとんどの場合、CU、PU、及びTUが、ネストされたマルチタイプのツリー符号化ブロック構造を有する四分木において、同じブロックサイズを有することを意味する。サポートされる最大変換長がCUの色成分の幅又は高さよりも小さい場合、この例外が生じる。また、輝度及び彩度成分は、Iタイル上に別個の区分構造を有する。
2.10 クロスコンポーネント線形モデル予測
クロスコンポーネント冗長性を低減するために、VTM4においてクロスコンポーネント線形モデル(CCLM)予測モードが使用され、この場合、線形モデルを使用することによって、同じCUの再構成された輝度サンプルに基づいて、次のように彩度サンプルを予測する。
Figure 2022531282000007
ここで、pred(i,j)は、1つのCUにおける予測彩度サンプルを表し、rec(i,j)は、同じCUがダウンサンプリングされ、再構成された輝度サンプルを表す。ダウンサンプリングされた近傍の輝度サンプルの集まりの中で、最小限のサンプル値を有し、最大限のサンプルを有する輝度サンプルである2つのサンプルの輝度値と彩度値と、それらに対応する彩度サンプルとの間の関係から、線形モデルパラメータα及びβを導出する。線形モデルパラメータα及びβは、以下の式に従って求められる。
Figure 2022531282000008
ここで、Y及びXは、輝度サンプル値が最大限である輝度サンプルの輝度値及び彩度値を表す。そして、X及びYは、それぞれ、最小限の輝度サンプルを有する輝度サンプルの輝度値及び彩度値を表す。図7は、左上のサンプルの位置及びCCLMモードに関与する現在地のサンプルを例示する。
2.11 彩度スケーリングを伴う輝度マッピング(LMCS)
VTM4において、ループフィルタの前に新しい処理ブロックとして彩度スケーリングによる輝度マッピング(LMCS)と呼ばれる符号化ツールが、追加される。LMCSは、2つの主な成分を有する。1)適応型区分線形モデルに基づく輝度成分のインループマッピング、および、2)彩度成分のために、輝度依存彩度残差スケーリングを適用する。図8は、デコーダの観点から見たLMCSアーキテクチャを示す。図8中の影が付けられたブロックは、マッピングされたドメインにおいて処理が適用される場所を示し、これらは、逆量子化、逆変換、輝度イントラ予測、および輝度予測と輝度残差との加算を含む。図8中の影が付けられていないブロックは、元の(即ち、マッピングされていない)ドメインにおいて処理が適用される場所を示し、これらは、非ブロック化、ALF、SAO等のループフィルタ、動き補償予測、彩度イントラ予測、彩度残差とともに彩度予測を加算し、復号化されたピクチャを参照ピクチャとして記憶することを含む。図8における淡黄色の陰影付きブロックは、輝度信号の前方および後方マッピング並びに輝度依存性彩度スケーリング処理を含む、新しいLMCS機能ブロックである。VVCにおける他のほとんどのツールと同様に、LMCSは、SPSフラグを使用して、シーケンスレベルで有効/無効にすることができる。
3.実施形態が解決しようとする課題の例
JVET-N0280における係数符号化は、画面内容の符号化において符号化の利点を実現することができるが、係数符号化及びTSモードは、依然としていくつかの欠点を有する可能性がある。
(1)TSモードにおいて許容される最大の幅又は高さは、PPSにおける1つの共通の値によって制御され、これが柔軟性を制限する可能性がある。
(2)すべての符号化グループ(CG)は、TSモードのためにcbfフラグを信号通知する必要があり、これはオーバーヘッドコストを増大させる可能性がある。
(3)係数走査順序は、イントラ予測モードを考慮していない。
(4)符号フラグ符号化は、1つのコンテクストのみを使用する。
(5)彩度モジュールにおける変換スキップはサポートされていない。
(6)変換スキップフラグは、すべての予測モードに適用され、これは、オーバーヘッドコスト及び符号化の複雑さを増大させる。
4.実施形態の例
以下の詳細な発明は、一般的な概念を説明するための例であると考えられるべきである。これらの発明は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。
1.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループのヘッダ/LCUの行/LCU群において、変換スキップのための最大許容幅及び最大許容高さの表示の両方を信号通知することができる。
a.一例において、変換スキップのための最大許容幅及び最大許容高さを、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCUの行/LCU群において信号通知される異なるメッセージにより、示してもよい。
b.一例において、最大許容幅及び/又は最大許容高さは、まずSPS/PPSにおいて信号通知され、次にLCUのピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群において更新されてもよい。
2.TS符号化ブロックは複数の係数群(CG)に分けられ、少なくとも1つのCGの符号化ブロックフラグ(Cbf)フラグの信号通知は省略されてもよい。
a.一例において、例えば、TS符号化ブロックのために、すべてのCGのCbfフラグの信号通知をスキップしてもよい。
b.一例において、TSモードのために、CGのスキップされたcbfフラグを1と推測することができる。
c.一例において、CGのCbfフラグの一部又は全部をスキップするかは、符号化モードに依存しうる。
i.一例において、TS符号化されたイントラブロックの場合、CGのすべてのCbfフラグの信号通知はスキップされる。
d.一例において、CGのスキップされたCbfフラグは、以下に基づいて推測されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CUにおいて信号通知されたメッセージ
ii.CGの位置
iii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iv.現在のブロックおよび/またはその近傍のブロックのブロック形状
v.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード。
vi.現在のブロックの近傍ブロックの予測モード(イントラ/インター)
vii.現在のブロックの近傍ブロックのイントラ予測モード現在のブロックの近傍ブロックの動きベクトル
viii.現在のブロックの近傍ブロックの動きベクトル
ix.現在のブロックの近傍のブロックのQR-BDPCMモードの指示
x.現在のブロックおよび/またはその近傍のブロックの現在の量子化パラメータ
xi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
xii.単一/二重符号化ツリー構造
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
3.TS符号化ブロックにおける係数走査順序は、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CUにおいて信号通知されたメッセージに依存し得る。
a.代替的に、TSが使用される場合、CGおよび/または係数走査順序は、イントラ予測モードに依存し得る。
i.一例において、イントラ予測モードが水平方向に優勢である場合、走査順序は垂直であってもよい。
1.1つの例において、イントラ予測モードインデックスが2~34の範囲にある場合、走査順序は垂直であってもよい。
2.1つの例において、イントラ予測モードインデックスが2~33の範囲にある場合、走査順序は垂直であってもよい。
ii.一例において、イントラ予測モードが垂直方向に優勢である場合、走査順序は垂直であってもよい。
1.一例において、イントラ予測モードインデックスが34~66の範囲にある場合、走査順序は垂直であってもよい。
2.一例において、イントラ予測モードインデックスが35~66の範囲にある場合、走査順序は垂直であってもよい。
iii.一例において、イントラ予測モードが垂直方向に優勢である場合、走査順序は水平であってもよい。
1.1つの例において、イントラ予測モードインデックスが34~66までの範囲にある場合、走査順序は垂直であってもよい。
2.1つの例において、イントラ予測モードインデックスが35~66までの範囲にある場合、走査順序は垂直であってもよい。
iv.一例において、イントラ予測モードが水平方向に優勢である場合、走査順序は水平であってもよい。
1.1つの例において、イントラ予測モードインデックスが2~34の範囲にある場合、走査順序は垂直であってもよい。
2.1つの例において、イントラ予測モードインデックスが2~33の範囲にある場合、走査順序は垂直であってもよい。
4.符号フラグ符号化のコンテクストは、TSモードのための係数ブロックにおける近傍情報に依存し得ることが提案される。
a.一例において、現在の符号フラグを符号化するコンテクストは、TSモードのための近傍の符号フラグの値に依存してもよい。
i.一例において、現在の符号フラグを符号化するコンテクストは、左側及び/又は上側の近傍の符号フラグの値に依存し得る。
1.一例において、現在の符号フラグのコンテクストは、C=(L+A)として導出されてもよく、ここで、Cは、コンテクストidであり、Lは、その左隣の符号フラグであり、Aは、その上隣の符号フラグである。
2.一例において、現在の符号フラグのコンテクストは、C=(L+A*2)として導出されてもよく、ここで、Cはコンテクストidであり、Lはその左隣の符号フラグであり、Aはその上隣の符号フラグである。
3.一例において、現在の符号フラグのコンテクストは、C=(L*2+A)として導出されてもよく、ここで、Cは、コンテクストidであり、Lは、その左隣の符号フラグであり、Aは、その上隣の符号フラグである。
ii.一例において、現在の符号フラグを符号化するコンテクストは、左、上近傍、及び左上近傍の符号フラグの値に依存し得る。
iii.一例において、現在の符号フラグを符号化するコンテクストは、左、上近傍、左上近傍、右上近傍の符号フラグの値に依存し得る。
b.一例において、現在の符号フラグを符号化するコンテクストは、係数の位置に依存し得る。
i.一例において、符号フラグのコンテクストは、異なる位置で異なってもよい。
ii.一例において、符号フラグのコンテクストは、x+yに依存してもよく、ここで、x及びyは、位置の水平及び垂直位置である。
iii.一例において、符号フラグのコンテクストは、min(x,y)に依存してもよく、ここで、x及びyは、位置の水平及び垂直位置である。
iv.一例において、符号フラグのコンテクストは、max(x,y)に依存してもよく、ここで、x及びyは、位置の水平及び垂直位置である。
5.彩度変換スキップモードをサポートすることができることが提案される。
a.一例において、彩度変換スキップモードの使用は、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージに基づいてもよい。
b.代替的に、彩度変換スキップモードの使用は、同じ色成分又は他の色成分における1つ以上の代表的な前に符号化されたブロックの復号された情報に基づいてもよい。
i.一例において、代表的なブロックのTSフラグの指示がFALSEである場合、彩度TSフラグの指示はFALSEであると推測されてもよい。代替的に、代表ブロックのTSフラグの指示がTRUEである場合、彩度TSフラグの指示がTRUEであると推測されてもよい。
ii.一例において、代表ブロックは、輝度ブロック又は彩度ブロックであってもよい。
iii.一例において、代表的なブロックは、並置された輝度ブロック内の任意のブロックであってもよい。
iv.一例において、代表ブロックは、現在の彩度ブロックの近傍の彩度ブロックの1つであってもよい。
v.一例において、代表ブロックは、現在の彩度ブロック内の中心彩度サンプルの対応する輝度サンプルを覆うブロックであってもよい。
vi.一例において、代表ブロックは、現在の彩度ブロックにおける右下の彩度サンプルの対応する輝度サンプルを覆うブロックであってもよい。
6.変換スキップモードを適用するかどうか及び/又はその方法は、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージに依存し得る。
a.一例において、変換スキップモードをいつ及び/又はどのように適用するかの指示は、以下に依存してもよい。
i.現在のブロックおよび/またはその近傍のブロックのブロック寸法
ii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iii.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
iv.現在のブロックの近傍ブロックの予測モード(イントラ/インター)
v.現在のブロックの近傍ブロックのイントラ予測モード
vi.現在のブロックの近傍ブロックの動きベクトル
vii.現在のブロックの近傍のブロックのQR-BDPCMモードの指示
viii.現在のブロックおよび/またはその近傍のブロックの現在の量子化パラメータ
ix.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
x.単一/二重符号化ツリー構造
xi.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
xii.時間層ID
b.一例において、予測モードがIBCモードであり、ブロック幅及び/又はブロック高さが閾値よりも小さい/大きい/等しい場合、変換スキップモードを適用してもよい。
i.一例において、閾値は、4,8,16また32に設定される。
ii.一例において、閾値は、ビットストリームにおいて信号通知されてもよい。
iii.一例において、閾値は、次に基づいてもよい。
1.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CUにおいて信号通知されたメッセージ
2.現在のブロックおよび/またはその近傍のブロックのブロック寸法
3.現在のブロックおよび/またはその近傍のブロックのブロック形状
4.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
5.現在のブロックの近傍ブロックの予測モード(イントラ/インター)
6.現在のブロックの近傍ブロックのイントラ予測モード
7.現在のブロックの近傍ブロックの動きベクトル
8.現在のブロックの近傍のブロックのQR-BDPCMモードの指示
9.現在のブロックおよび/またはその近傍のブロックの現在の量子化パラメータ
10.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
11.単一/二重符号化ツリー構造
12.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
13.時間層ID
7.TSモードの指示を信号通知するかどうかは、復号/導出されたイントラ予測モードに依存し得る。
a.代替的に、さらに、QR-BDPCM符号化ブロックにおいて使用される許可されたイントラ予測モード/方向と、QR-BDPCMの使用とに依存してもよい。
b.復号化された、または導出されたイントラ予測モードの場合、それがQR-BDPCM符号化ブロックで使用される許可されたイントラ予測モード/方向の集まりの一部である場合、TSフラグの信号通知はスキップされ得る。
i.一例において、QR-BDPCMが1つのスライス/ピクチャ/タイル/ブリックを符号化することを許可される場合、QR-BDPCMプロセスにおいて、垂直及び水平モードは2つの許可されたモードであり、復号/導出されたイントラモードは垂直又は水平モードであり、TSモードの指示は通知されない。
c.一例において、QR-BDPCMモードの表示(例えば、bdpcm_flag)が1である場合、変換スキップモードは有効であると推測されてもよい。
d.上記方法は、以下に基づいて適用されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CUにおいて信号通知されたメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの指示
ix.現在のブロックおよび/またはその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
xi.単一/二重符号化ツリー構造
xii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
xiii.時間層ID
8.QR-BDPCMを適用するかどうか、および/または方法は、TSモードの指示に依存し得る。
a.一例において、QR-BDPCMを適用するかどうかの指示は、CUにおいて信号通知される代わりに、TU(Transform Unit)レベルで信号通知されてもよい。
i.一例において、TSモードの指示がTUに適用された後、QR-BDPCMを適用するかどうかの指示を信号通知してもよい。
b.一例において、QR-BDPCMは、TSモードの特殊な場合として扱われる。
i.1つのブロックがTSモードで符号化される場合、QR-BDPCMモードが適用されるか又は従来のTSモードが適用されるかを示すように、別のフラグをさらに信号通知してもよい。それがQR-BDPCMで符号化される場合、QR-BDPCMにおいて使用される予測方向がさらに信号通知され得る。
ii.代替的に、1つのブロックがTSモードで符号化される場合、どのタイプのQR-BDPCM(例えば、水平/垂直予測方向に基づくQR-BDPCM)又は従来のTSモードが適用されるかを示すように、別のフラグをさらに信号通知してもよい。
c.一例において、TSモードの指示に基づいて、QR-BDPCMするかどうかの指示を推測してもよい。
i.一例において、輝度ブロック及び/又は彩度ブロックに対してQR-BDPCMを適用するかどうかの指示は、同じブロックに対して変換スキップフラグを適用するかどうかの指示がTRUEである場合、TRUEであると推測されてもよい。代替的に、輝度ブロック及び/又は彩度ブロックに対して変換スキップフラグを適用するかどうかの指示がTRUEである場合、同じブロックに対してQR-BDPCMを適用するかどうかの指示は、TRUEであると推測されてもよい。
ii.一例において、輝度ブロック及び/又は彩度ブロックに対してQR-BDPCMを適用するかどうかの指示は、同じブロックに対して変換スキップフラグを適用するかどうかの指示がFALSEである場合、FALSEに推測されてもよい。代替的に、輝度ブロック及び/又は彩度ブロックに対して変換スキップフラグを適用するかどうかの指示がFALSEである場合、同じブロックに対してQR-BDPCMを適用するかどうかの指示は、FALSEであると推測されてもよい。
9.単一/二重ツリーを適用するかどうか及び/又はその方法は、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージに依存し得る。
a.一例において、1つの単一/二重ツリーを適用するかどうかの指示は、現在のスライス/タイル/LCU/LCU行/LCU群/映像データユニットが画面内容として決定されるかどうかに依存し得る。
i.さらに、一例において、スライス/タイル/LCU/LCU行/LCU群/映像データユニットが画面内容として決定されるかどうかは、次に依存し得る。
1.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットに信号通知されたメッセージ/フラグ
2.現在のCTUおよび/またはその近傍のCTUのブロック寸法
3.現在のCTUおよび/またはその近傍のCTUのブロック形状
4.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
5.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
6.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの単一/二重符号化ツリー構造タイプ
7.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
8.時間層ID
b.一例において、単一/二重ツリーを適用するかどうかの指示は推測されて良く、それは以下に依存し得る。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
ii.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/Interモードのハッシュヒット率
iii.現在のCTUおよび/またはその近傍のCTUのブロック寸法
iv.現在のCTUおよび/またはその近傍のCTUのブロック形状
v.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
vi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
vii.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの単一/二重符号化ツリー構造タイプ
viii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
ix.時間層ID
c.一例において、CCLM及び/又はLMCSを適用するかどうかの指示は、単一/二重符号化ツリー構造のタイプに依存してもよい。
i.一例において、単一/二重ツリーが使用される場合、指示CCLM及び/又はLMCSは、FALSEであると推測されてもよい。
d.一例において、単一/二重ツリーを適用するかどうかの指示(即ち、単一ツリー又は二重ツリーのCTUレベル適応)は、二重ツリーを有効化する指示(例えば、qtbtt_dual_tree_intra_flag)がTRUEであるかどうかに依存してもよい。
i.代替的に、さらに、シーケンス/スライス/タイル/ブリックの二重ツリーが有効でない(例えば、qtbtt_dual_tree_intra_flagがfalse)場合、下位レベル(例えば、CTU)で単一/二重ツリーを適用するかどうかの指示はFALSEと推測されてもよい。
1.代替的に、二重ツリーが有効である場合(例えば、qtbtt_dual_tree_intra_flagがTRUE)、シーケンス/スライス/タイル/ブリックより小さい映像ユニットに単一/二重ツリーを適用するかどうかの指示が通知されてもよい。
e.一例において、単一/二重ツリーを適用するかどうか(即ち、単一ツリー又は二重ツリーのCTUレベル適応)の指示は、CTUレベルよりも高いレベルのフラグ(例えば、sps_asdt_flag及び/又はslice_asdt_flag)がTRUEであるかどうかに依存し得る。
i.代替的に、CTUレベルよりも高いレベルのフラグ(例えば、sps_asdt_flag及び/又はslice_asdt_flag)がFALSEである場合、単一/二重ツリーを適用するかどうかの指示(即ち、単一ツリー又は二重ツリーのCTUレベル適応)がFALSEであると推測されてもよい。
f.上記方法は、単一ツリーパーティションの場合にも適用可能であり、又は単一/二重符号化ツリー構造のタイプにも適用可能である。
10.IBCを有効化するかどうかは、符号化ツリー構造のタイプに依存し得る。
a.一例において、所与の符号化ツリー構造タイプ(例えば、二重ツリー)の場合、IBCモードで使用されるIBCモード及び/又はブロックベクトルの指示の信号通知は、省略され、推測されてもよい。
b.一例において、IBCモードの表示は、二重符号化ツリー構造タイプが適用される場合、FALSEであると推測され得る。
c.一例において、二重符号化ツリー構造タイプが適用される場合、輝度ブロックのIBCモードの指示はFALSEであると推測され得る。
d.一例において、二重符号化ツリー構造タイプが適用される場合、彩度ブロックのIBCモードの指示はFALSEであると推測され得る。
e.一例において、IBCモードの指示は、以下に基づいて推測されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ。
ii.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
iii.現在のCTUおよび/またはその近傍のCTUのブロック寸法
iv.現在のCTUおよび/またはその近傍のCTUのブロック形状
v.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
vi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
vii.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
viii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
ix.時間層ID
11.CCLMを有効化するかどうかは、符号化ツリー構造のタイプに依存しうる。
a.一例において、所与の符号化ツリー構造タイプ(例えば、二重ツリー)の場合、CCLMモードの指示の信号通知、及び/又はCCLMモードに関連する他のシンタックスは、スキップされ、推測され得る。
b.一例において、二重符号化ツリー構造タイプが適用される場合、CCLMモードの指示はFALSEであると推測され得る。
c.一例において、二重符号化ツリー構造タイプが適用される場合、CCLMモードの指示は、以下に基づいて推測されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
ii.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
iii.現在のCTUおよび/またはその近傍のCTUのブロック寸法
iv.現在のCTUおよび/またはその近傍のCTUのブロック形状
v.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
vi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
vii.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
viii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
ix.時間層ID
12.彩度成分のためにLMCSを有効化するかどうかは、符号化ツリー構造のタイプに依存し得る。
a.一例において、所与の符号化ツリー構造タイプ(例えば、二重ツリー)の場合、彩度成分のためのLMCSの指示の信号通知、及び/又はLMCSモードに関連する他のシンタックスを省略して推測してもよい。
b.一例において、二重符号化ツリー構造タイプが適用される場合、彩度成分のためのLMCSの指示はFALSEであると推測され得る。
c.一例において、彩度成分のためのLMCSの指示は、二重符号化ツリー構造タイプが適用される場合、以下に基づいて推測されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
ii.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
iii.現在のCTUおよび/またはその近傍のCTUのブロック寸法
iv.現在のCTUおよび/またはその近傍のCTUのブロック形状
v.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
vi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
vii.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
viii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
ix.時間層ID
13.符号化ツリーの構造は、IBCが使用されるか否かに依存し得る。
a.一例において、二重ツリー構造及びIBC方法は、シーケンス/ピクチャ/タイル/ブリック/CTU/VPDU/32×32ブロック/64×32ブロック/32×64ブロックのレベルで同時に有効化されなくてもよい。
b.代替的に、一例において、IBC方法が有効である場合、二重ツリー構造は、シーケンス/ピクチャ/タイル/ブリック/CTU/VPDU/32×32ブロック/64×32ブロック/32×64ブロックのレベルで無効とされることができる。
c.一例において、1つの領域においてIBCが使用される場合、彩度符号化ツリー構造は、輝度符号化ツリー構造に整列され得る。
i.一例において、前記領域は、シーケンス/ピクチャ/タイル/ブリック/CTU/VPDU/32×32ブロック/64×32ブロック/32×64ブロックとしてもよい。
ii.一例において、並置された輝度ブロックをサブブロックに分割する場合、彩度ブロックは、分割が許可されている場合、サブブロックに分割されてもよい。
iii.一例において、彩度ブロックが分割されるかどうか、及びどのように分割されるかは、その並置された輝度ブロックの符号化構造から推測されてもよい。
iv.一例において、輝度符号化ツリー構造から彩度符号化ツリー構造を推測する場合、彩度符号化ツリー構造を符号化する信号は省略されてもよい。
v.一例において、フラグは、輝度符号化構造から彩度符号化構造を推測することができるかどうかを示すために使用され得る。フラグの信号伝達は次のことに依存してもよい。
1.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
2.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
3.現在のCTUおよび/またはその近傍のCTUのブロック寸法
4.現在のCTUおよび/またはその近傍のCTUのブロック形状
5.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
6.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
7.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
8.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
9.時間層ID
14.パレット符号化モードを有効化にするかどうかは、符号化ツリー構造のタイプに依存し得る。
a.一例において、所与の符号化ツリー構造タイプ(例えば、二重ツリー)の場合、パレット符号化モードの指示の信号通知を省略し、推測してもよい。
b.一例において、二重符号化ツリー構造タイプが適用される場合、パレット符号化モードの表示はFALSEであると推測され得る。
c.一例において、二重符号化ツリー構造タイプが適用される場合、輝度ブロックのパレット符号化モードの指示はFALSEであると推測され得る。
d.一例において、二重符号化ツリー構造タイプが適用される場合、彩度ブロックのパレット符号化モードの指示はFALSEであると推測されてもよい。
e.一例において、パレット符号化モードの指示は、以下に基づいて推測されてもよい。
i.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
ii.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
iii.現在のCTUおよび/またはその近傍のCTUのブロック寸法
iv.現在のCTUおよび/またはその近傍のCTUのブロック形状
v.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
vi.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
vii.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
viii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
ix.時間層ID
15.符号化ツリーの構造は、パレット符号化モードを使用するか否かに依存することができる。
a.一例において、1つの領域においてパレット符号化モードが使用される場合、彩度符号化ツリー構造は、輝度符号化ツリー構造に整列され得る。
i.一例において、この領域は、シーケンス/ピクチャ/タイル/ブリック/CTU/VPDU/32×32ブロック/64×32ブロックであってもよい。
ii.一例において、並置された輝度ブロックをサブブロックに分割する場合、彩度ブロックは、分割が許可されている場合、サブブロックに分割されてもよい。
iii.一例において、彩度ブロックが分割されるかどうか、及びどのように分割されるかは、その並置された輝度ブロックの符号化構造から推測されてもよい。
iv.一例において、輝度符号化ツリー構造から彩度符号化ツリー構造を推測する場合、彩度符号化ツリー構造を符号化する信号は省略されてもよい。
v.一例において、フラグは、輝度符号化構造から彩度符号化構造を推測することができるかどうかを示すために使用され得る。フラグの信号伝達は次のことに依存してもよい。
1.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ
2.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
3.現在のCTUおよび/またはその近傍のCTUのブロック寸法
4.現在のCTUおよび/またはその近傍のCTUのブロック形状
5.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
6.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
7.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
8.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
9.時間層ID
16.彩度IBC符号化ブロックにおけるサブブロック/サンプルの動き/ブロックベクトルは、並置された輝度ブロック内の第1の利用可能なIBC符号化サブ領域から導出されてもよい。
a.一例において、並置された輝度ブロック内のサブ領域の走査順序、例えばラスタ走査順序を規定してもよい。
b.一例において、1つのサブ領域は、最小符号化単位/最小変換単位として定義されうる。
c.一例において、彩度IBCモードにおける全サンプルの動き/ブロックベクトルは、並置輝度ブロックにおいてIBC又はインターモードで符号化された最も左上のサンプルの動きベクトルに基づいて導出されてもよい。
17.彩度IBCモードでは、動き/ブロックベクトルを信号通知することができる。
a.一例において、動きベクトルと動きベクトル予測モジュールとの間の差を信号通知してもよい。
i.一例において、動きベクトル予測モジュールは、並置された輝度ブロック、並置された輝度ブロックの近傍の輝度ブロック、現在の彩度ブロックの近傍の彩度ブロックの動きベクトルに基づいて導出されてもよい。
1.一例において、動き/ブロックベクトル予測モジュールは、並置された輝度ブロックにおける左上のサンプルの動きベクトルに基づいて導出されてもよい。
2.一例において、動き/ブロックベクトル予測モジュールは、同じ場所にある輝度ブロックにおける中心位置を有するサンプルの動きベクトルに基づいて導出されてもよい。
3.一例において、動き/ブロックベクトル予測モジュールは、並置された輝度ブロックにおけるIBC又はインターモードで符号化された最も左上のサンプルの動きベクトルに基づいて導出されてもよい。
ii.一例において、輝度成分の1つのサブ領域に関連付けられた動きベクトル予測モジュールは、予測モジュールとして使用される前にスケーリングされてもよい。
iii.一例において、ブロックベクトルは、近傍する(隣接又は非隣接の)彩度ブロックの動きベクトル/ブロックベクトルから導出されてもよい。
b.一例において、ブロックベクトル候補リストを構築し、このリストへのインデックスを信号通知することができる。
i.一例において、候補リストは、並置された輝度ブロック、並置された輝度ブロックの近傍の輝度ブロック、及び近傍の彩度ブロックからの動きベクトル/ブロックベクトルを含んでもよい。
c.一例において、AMVRフラグの表示は、推測されてもよい。
i.一例において、AMVRフラグの表示は、彩度IBCモードで符号化されたブロックにおいて、FALSE(0)であると推測されてもよい。
ii.一例において、動きベクトルの差の指標は、彩度IBCモードで符号化されたブロックにおいて、整数精度で推測されてもよい。
d.一例において、彩度IBCモードでは、別個のHMVPテーブルを使用してもよい。
i.一例において、彩度HMVPテーブル及び輝度HMVPテーブルのサイズは異なってもよい。
e.一例において、彩度IBCモードにおいてブロック/動きベクトルを信号通知するかどうかは、以下に基づいて判定されてもよい。
i.並置された輝度ブロック内のすべてのサブ領域がIBCモードで符号化されるかどうか。
1.そうである場合、彩度ブロックのブロックベクトルを信号通知する必要がない。そうでない場合、彩度ブロックのブロックベクトルを信号通知することができる。
ii.並置された輝度ブロック内のすべてのサブ領域がIBCモードで符号化され、関連付けられたブロックベクトルがすべて有効であるかどうか。
1.そうである場合、彩度ブロックのブロックベクトルを信号通知する必要がない。そうでない場合、彩度ブロックのブロックベクトルを信号通知することができる。
iii.SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/LCU群/LCU/CU/映像データユニットにおいて信号通知されたメッセージ。
iv.前回の符号化画像/タイル/スライス/再構成領域におけるIBC/インターモードのハッシュヒット率
v.現在のCTUおよび/またはその近傍のCTUのブロック寸法
vi.現在のCTUおよび/またはその近傍のCTUのブロック形状
vii.現在のCTUの現在の量子化パラメータ及び/又はその近傍のCTUの現在の量子化パラメータ
viii.カラーフォーマットの指示(例えば、4:2:0、4:4:4)
ix.前回のスライス/タイル/LCU/LCU行/LCU群/映像データユニットの符号化ツリー構造タイプ
x.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
xi.時間層ID
18.単一ツリー及び分離/二重ツリー選択/信号通知は、CTU/CTBより下のレベルにあってもよい。
a.一例において、単一のツリー及び分離/二重ツリー選択/信号通知は、VPDUレベルにあってもよい。
b.一例において、単一のツリー及び別個の/二重のツリー選択/信号通知は、明示的な分割ツリー信号通知が開始するレベルにあってもよい。
上述した例は、以下に説明する方法、例えば、方法900、910、920、930、940に含まれてもよく、これらの方法は、映像デコーダ又は映像エンコーダにおいて実施されてもよい。
映像処理のための例示的な方法は、現在の映像ブロックと、現在の映像ブロックを構成する映像のビットストリーム表現との間で変換を実行することを含み、その変換はビットストリーム表現に含まれるインジケータに基づいて、変換のために変換スキップモードを選択的に使用し、変換スキップモードを使用して、変換を適用せずに現在の映像ブロックの予測誤差の残差をビットストリーム表現に表現する。
いくつかの実施例において、この指標は、変換スキップモードにおいて許容される最大の幅及び許容される最大の高さである。
いくつかの実施例において、最大許容幅及び最大許容高さは、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルヘッダ、最大符号化ユニット(LCU)行又はLCU群において通知される。
いくつかの実施例において、最大許容幅及び最大許容高さは異なるメッセージで通知される。
いくつかの実施例において、最大許容幅及び高さは、シーケンスパラメータセット(SPS)又はピクチャパラメータセット(PPS)において信号通知され、最大許容幅及び高さの更新値は、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行又はLCU群において信号通知される。
図9Aは、例示的な映像処理方法の別のフローチャートを示す。方法900は、ステップ902において、変換スキップモード(transform skip mode)を用いて現在の映像ブロックを符号化するかを決定することを含む。
方法900は、ステップ904において、決定に基づいて、現在の映像ブロックと現在の映像ブロックを構成する映像のビットストリーム表現との間の変換を実行することを含む。
いくつかの実施例において、現在の映像ブロックは複数個の係数群に分けられ、ビットストリーム表現は複数個の係数群のうち少なくとも1つの係数群に対する符号化ブロックフラグの信号通知を省略する。一例において、このビットストリーム表現は、複数の係数群のそれぞれについての符号化ブロックフラグの信号通知を省略する。
いくつかの実施例において、ビットストリーム表現における信号通知において省略された符号化ブロックフラグは、次の1つ以上に基づいて推測される。(1)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群又は符号化ユニット(CU)に信号通知されたメッセージ、(2)複数の係数群のうちの少なくとも1つの係数群の位置、(3)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック寸法、(4)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック形状、(5)現在の映像ブロック又は少なくとも一つの近傍ブロックの最大確率モード、(6)少なくとも1つの近傍ブロックの予測モード、(7)少なくとも1つの近傍ブロックのイントラ予測モード、(8)少なくとも1つの近傍ブロックの1つ以上の動きベクトル、(9)少なくとも1つの近傍ブロックの量子化残差パルス符号変調(QR-BDPCM)モードの指示、(10)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、(11)現在の映像ブロックのカラーフォーマットの指示、(12)現在の映像ブロックに関連付けられた別個の又は二重符号化ツリー構造、又は(13)現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプ。
いくつかの実施例において、現在の映像ブロックを複数の係数群に分割し、方法900は複数の係数群の係数走査順序を決定することを更に含む。一例において、前記係数走査順序は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群又は符号化ユニット(CU)において信号通知されるメッセージに基づいている。
本発明の実施例において、前記複数個の係数群又は係数走査順序は現在の映像ブロックのイントラ予測モードに基づく。一例において、係数走査順序は垂直であり、イントラ予測モードは水平方向に支配的である。別の例において、係数走査順序は水平であり、イントラ予測モードは水平方向に支配的である。例えば、イントラ予測モードのインデックスは、2から33又は2から34の範囲である。
本発明の実施例において、前記複数個の係数群又は係数走査順序は現在の映像ブロックのイントラ予測モードに基づく。一例において、係数走査順序は垂直であり、イントラ予測モードは垂直に支配的である。別の例において、係数走査順序は水平であり、イントラ予測モードは垂直方向に支配的である。例えば、イントラ予測モードのインデックスは、34から66又は35から66である。
いくつかの実施例において、符号フラグのコンテクストは、現在の映像ブロックに関連した係数ブロックにおける近傍情報に基づく。一例において、符号フラグのコンテクストは、係数ブロックの係数の位置にさらに基づく。別の例において、符号フラグのコンテクストは、(x+y)、min(x,y)又はmax(x,y)に基づいており、x及びyは、それぞれ係数の位置の横値及び縦値である。
図9Bは、例示的な映像処理方法のさらに別のフローチャートを示す。方法910は、ステップ912において、現在の映像ブロックに対して、彩度変換スキップモードが適用可能であることを決定することを含む。
方法910は、ステップ914において、決定に基づいて、現在の映像ブロックと、現在の映像ブロックを構成する映像のビットストリーム表現との間の変換を実行することを含む。
いくつかの実施例において、前記決定は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群、符号化ユニット(CU)又は映像データユニットにおいて信号通知されるメッセージに基づいている。
いくつかの実施例において、この決定は変換を実行する前に復号された1つ以上の代表的な映像ブロックからの復号情報に基づいて行われ、ここで、1つ以上の代表的な映像ブロック及び現在の映像ブロックのそれぞれにおけるサンプルは、共通の色情報に基づいている。一例において、1つ以上の代表的な映像ブロックは、輝度ブロック又は彩度ブロックから構成される。別の例において、1つ以上の代表的な映像ブロックは、並置された輝度ブロック内の1つのブロックを含む。
図9Cは、例示的な映像処理方法のさらに別のフローチャートを示す。方法920は、ステップ922において、現在の映像ブロックと、現在の映像ブロックを構成する映像のビットストリーム表現とを変換する間、条件に基づいて、現在の映像ブロックに変換スキップモードの選択的な適用に関して判定することを含む。
方法920は、ステップ924において、判定に基づいて変換を実行することを含む。
いくつかの実施形態において、前記条件は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群、符号化ユニット(CU)又は映像データユニットにおいて信号通知されたメッセージに基づいている。
いくつかの実施例において、条件は次のうち1つ以上に基づいている。(1)現在の映像ブロック又は現在の映像ブロックの少なくとも1つの近傍ブロックのブロック寸法、(2)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック形状、(3)現在の映像ブロック又は少なくとも1つの近傍ブロックの最大確率モード、(4)少なくとも1つの近傍ブロックの予測モード、(5)少なくとも1つの近傍ブロックのイントラ予測モード、(6)少なくとも1つの近傍ブロックの1つ以上の動きベクトル、(7)少なくとも1つの近傍ブロックの量子化残差ブロックパルス符号変調(QR-BDPCM)モードの指示、(8)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、(9)現在の映像ブロックのカラーフォーマットの指示、(10)現在の映像ブロックに関連付けられた別個の又は二重符号化ツリー構造、(11)現在の映像ブロックのスライスタイプ、タイルグループ又はピクチャタイプ、又は(12)時間層識別(ID)。
いくつかの実施例において、変換スキップモードの適用が実行され、現在の映像ブロックの予測モードがインターブロックコピー(IBC(Inter Block Copy,))モードであり、現在の映像ブロックの幅または高さが閾値と比較される。一例において、閾値は、ビットストリーム表現で信号通知される。別の一例において、閾値は、4、8、16または32に設定される
さらに別の例において、この閾値は、以下のうちの1つ以上に基づく。(1)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群又は符号化ユニット(CU)に通知されたメッセージ、(2)時間層識別(ID)、(3)現在の映像ブロック又は現在の映像ブロックの少なくとも1つの近傍ブロックのブロック寸法、(4)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック形状、(5)現在の映像ブロック又は少なくとも1つの近傍ブロックの最大確率モード、(6)少なくとも1つの近傍ブロックの予測モード、(7)少なくとも1つの近傍ブロックのイントラ予測モード、(8)少なくとも1つの連接ブロックの1つ以上の動きベクトル、(9)少なくとも1つの近傍ブロックの量子化残差ブロック符号変調(QR-BDPCM)モードの指示、(10)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、(11)現在の映像ブロックのカラーフォーマットの指示、(12)現在の映像ブロックに関連付けられた別個又は二重符号化ツリー構造、又は(13)現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプ。
図9Dは、例示的な映像処理方法のさらに別のフローチャートを示す。方法930は、ステップ932において、現在の映像ブロックと現在の映像ブロックを構成する映像のビットストリーム表現とを変換する間、ビットストリーム表現における変換スキップモードの指示に基づいて、量子化された残差ブロック差動パルス符号変調(QR-BDPCM)の選択的適用に関して判定することを含む。
方法930は、ステップ934において、当該判定に基づいて、変換を実行することを含む。
いくつかの実施例において、変換スキップモードの表示は、変換ユニット(TU)レベルで信号通知される。
図9Eは、例示的な映像処理方法のさらに別のフローチャートを示す。方法940は、ステップ942において、現在の映像ブロックと現在の映像ブロックを構成する映像のビットストリーム表現とを変換する間、条件に基づいて別個の又は二重ツリーの選択的適用に関して判定することを含む。
方法940は、ステップ944において、当該判定に基づいて、変換を実行することを含む。
いくつかの実施形態において、前記条件は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群、符号化ユニット(CU)又は映像データユニットにおいて信号通知されたメッセージに基づいている。
いくつかの実施例において、前記条件は、現在の映像ブロックを構成する1つのスライス、1つのタイル、1つの最大符号化ユニット(LCU)、1つのLCUの行、1つのLCU群又は1つの映像データユニット等が画面内容であるかを決定することに基づく。一例において、この決定は、以下のうちの1つ以上に基づいて行われる。(1)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、LCU、LCU行、LCU群、符号化ユニット(CU)又は映像データユニットに信号通知されたメッセージ、(2)現在の映像ブロック又は現在の映像ブロックの少なくとも1つの近傍ブロックのブロック寸法、(3)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック形状、(4)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、(5)現在の映像ブロックのカラーフォーマットの指示、(6)現在の映像ブロックに関連する別個の又は二重符号化ツリー構造、(7)現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプ、又は(8)時間層識別(ID)。
図10は、映像処理装置1000のブロック図である。装置1000は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1000は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置1000は、1つ以上の処理装置1002と、1つ以上のメモリ1004と、映像処理ハードウェア1006と、を含んでもよい。1つまたは複数の処理装置1002は、本明細書に記載される1つ以上の方法(方法900、910,920,930および940を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)1004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
いくつかの実施形態において、映像符号化法は、図10を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施してもよい。
いくつかの実施例において、例えば、上記項目5及び10以降に記載されるように、映像処理方法は、現在の映像ブロックに対応する符号化ツリー構造のタイプに基づいて、映像の現在の映像ブロックとビットストリーム表現との間の変換のために、イントラブロックコピーモードが適用可能であるかどうかを決定し、その決定に基づいて変換を実行することを含む。
上記方法において、ビットストリーム表現は、イントラブロックコピーモードの表示を排除する。言い換えれば、ビットストリームは、IBCモードの明確な信号通知を搬送しない。
上記方法において、符号化ツリー構造のタイプは二重符号化ツリー構造であり、イントラブロックコピーモードが適用可能でないと決定される。
図11は、開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。様々な実装形態は、システム1100のモジュールの一部又は全部を含んでもよい。システム1100は、映像コンテンツを受信するための入力ユニット1102を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット1102は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム1100は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール1104を含んでもよい。符号化モジュール1104は、入力ユニット1102からの映像の平均ビットレートを符号化モジュール1104の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール1104の出力は、モジュール1106によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1102において受信された、記憶された又は通信された映像のビットストリーム(又は符号化)表現は、モジュール1108によって使用されて、表示インターフェースユニット1110に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を“符号化”動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図12は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態7に関連して説明する。ステップ1202において、前記処理は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するための、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別する。ステップ1204において、前記処理は、前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかを決定することとを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
図13は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態7に関連して説明する。ステップ1302において、前記処理は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するための、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別する。ステップ1304において、前記処理は、前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
図14は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態7に関連して説明する。ステップ1402において、前記処理は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するための、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別する。ステップ1404において、前記処理は、前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかを決定することとを含み、変換スキップモードにおいて、前記現在の映像ブロックと予測映像ブロックとの残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
図15は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態9dに関連して説明する。ステップ1502において、前記処理は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、少なくとも、二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または二重ツリー符号化構造の選択的適用に関する決定を行う。ステップ1504において、このプロセスは、ビットストリーム表現における単一ツリー又は二重ツリーの選択的適用を示す構文要素を含む。
図16は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態9dに関連して説明する。ステップ1602において、この処理は、現在の映像ブロックを含む映像領域を備える視覚メディアデータのビットストリーム表現から、少なくとも前記二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測された単一または二重ツリー符号化構造の選択的適用を示す構文要素を構文解析する。ステップ1604において、このプロセスは、構文要素に従って現在の映像ブロックを復号することで、ビットストリーム表現から復号された映像領域を生成する。
図17は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態16に関連して説明する。ステップ1702において、前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックの彩度成分にイントラブロックコピー(IBC)モードを適用することを決定する。ステップ1704において、前記処理は、前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化されたサブ領域に含まれる第1に利用可能なサンプルを使用して前記現在の映像ブロックのサブブロックに関連付けられた動き情報を導出する。
図18は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態17に関連して説明する。ステップ1802において、前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックにイントラブロックコピー(IBC)モードを適用することを決定する。ステップ1804において、前記処理は、ビットストリーム表現において、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素を含む。
図19は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施形態17eに関連して説明する。ステップ1902において、前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックにイントラブロックコピー(IBC)モードを適用することを決定する。ステップ1904において、前記処理は、少なくとも1つ以上の条件に基づいて、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素をビットストリーム表現に選択的に含めるかまたは除外するかを決定する。
本明細書のいくつかの実施形態は、項に基づく形式で提示される。
1.視覚メディアを符号化する方法であって、以下を含む。
視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかを決定することとを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
2.視覚メディアを復号化する方法であって、以下を含む。
視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
3.前記許容イントラ予測モードセットは、前記現在の映像ブロックの量子化残差ブロック差動パルス符号変調(QR-BDPCM)技術で使用するイントラモードセットに対応し、前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、項目1~2のいずれか1つ以上に記載の方法。
4.前記符号化モードがQR-BDPCM技術で使用される複数の符号化モードの1つに属している場合には、前記構文要素は、前記ビットストリーム表現から除外され、QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、項目1~2のいずれか1つ以上に記載の方法。
5.前記イントラ予測モードが、前記現在の映像ブロックのQR-BDPCM技術で使用されるイントラモードセットに属する場合、前記構文要素は、前記ビットストリーム表現から除外され、前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、項目1~2のいずれか1つ以上に記載の方法。
6.前記QR-BDPCM技術を前記現在の映像ブロックに適用すると決定したことに呼応して、前記構文要素が、前記ビットストリーム表現から除外され、前記変換スキップモードが適用されると推測され、QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、項目1~2のいずれか1つ以上に記載の方法。
7.前記変換スキップモードを選択的に適用するかまたはスキップすることは、以下のうちの1つ以上にさらに基づいている、項目1~6のいずれか1つ以上に記載の方法。
(1)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群又は符号化ユニット(CU)において信号通知されたメッセージ、
(2)現在の映像ブロック又は現在の映像ブロックの少なくとも1つの近傍のブロックのブロック寸法、
(3)現在の映像ブロック又は少なくとも1つの近傍のブロックのブロック形状、
(4)現在の映像ブロック又は少なくとも1つの近傍のブロックの最大確率モード、
(5)少なくとも1つの近傍のブロックの予測モード、
(6)少なくとも1つの近傍のブロックのイントラ予測モード、
(7)少なくとも1つの近傍のブロックの1つ以上の動きベクトル、
(8)少なくとも1つの近傍のブロックのQR-BDPCM技術の指示、
(9)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、
(10)現在の映像ブロックのカラーフォーマットの指示、
(11)現在の映像ブロックに関連付けられた別個の又は二重の符号化ツリー構造、
(12)現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプ、又は
(13)時間層ID。
8. 視覚メディアを復号化する方法であって、以下を含む。
視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
前記処理は、前記使用を識別する際に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うこととを含み、変換スキップモードにおいて、前記現在の映像ブロックと予測映像ブロックとの残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する。
9.視覚メディアを符号化する方法であって、以下を含む。
前記処理は、視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、少なくとも、二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または二重ツリー符号化構造の選択的適用に関する決定を行うことと、
ビットストリーム表現における単一又は二重ツリーの選択的適用を示す構文要素を含む。
10.視覚メディアを復号化する方法であって、以下を含む。
現在の映像ブロックを含む映像領域を備える視覚メディアデータのビットストリーム表現から、少なくとも前記二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測された単一または二重ツリー符号化構造の選択的適用を示す構文要素を構文解析することと、
構文要素に従って、現在の映像ブロックを復号することで、ビットストリーム表現から復号された映像領域を生成する。
11.前記二重ツリー符号化構造は、第1の映像レベルに関連付けられ、前記構文要素は、第2の映像レベルに関連付けられる、項目9~10のいずれか1つ以上に記載の方法であって、さらに、以下を含む。
第1の映像レベルに関連付けられた二重ツリー符号化構造を無効化することを決定すると、第2の映像レベルに関連付けられた構文要素をブール偽と推測すること。
12.前記構文要素は、前記ビットストリーム表現に含まれる、項目11に記載の方法。
13.前記第2の映像レベルが前記第1の映像レベルよりも低い、項目11~12のいずれか1つ以上に記載の方法。
14.前記第2の映像レベルは、符号化ツリーユニット(CTU)レベルであり、前記第1の映像レベルは、シーケンス/スライス/タイル/ブリックレベルである、項目11~12のいずれか1つ以上に記載の方法。
15.前記構文要素は、符号化ツリーユニット(CTU)レベルに関連付けられる、項目9~10のいずれか1つ以上に記載の方法であって、さらに以下を含む。
ブーリアン真であるフラグに少なくとも基づいて、ビットストリーム表現における構文要素を含めること。
16.前記フラグは前記CTUレベルよりも高いレベルにある、項目15に記載の方法。
17. 前記構文要素は、符号化ツリーユニット(CTU)レベルに関連付けられる、項目9~10のいずれか1つ以上に記載の方法であって、さらに以下を含む。
前記CTUレベルよりも高いレベルのフラグがブーリアン偽であると決定されると、前記ビットストリーム表現における前記構文要素をブーリアン偽と推測すること。
18.前記構文要素は、符号化ツリーユニット(CTU)レベルよりも低いレベルにある、項目9~10のいずれか1つ以上に記載の方法。
19.前記前記構文要素は、仮想パイプラインデータユニット(VPDU)レベルにある、項目18に記載の方法。
20.前記構文要素は、分割ツリーの信号通知レベルに対応するレベルにある、項目18に記載の方法。
21.視覚メディア処理方法であって、以下を含む。
前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックの彩度成分にイントラブロックコピー(IBC)モードを適用することを決定すること、および
前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化されたサブ領域に含まれる第1に利用可能なサンプルを使用して前記現在の映像ブロックのサブブロックに関連付けられた動き情報を導出することと、を含む。
22.前記並置された輝度ブロック内の前記IBC符号化されたサブ領域を、順番に従ってスキャンする、項目21に記載の方法。
23.前記順序はラスタスキャン順である、項目22に記載の方法。
24.前記動き情報は、サブブロックまたはサブサンプルの動きベクトルまたはブロックベクトルである、項目21に記載の方法。
25.前記IBC符号化されたサブ領域のサイズは、最小符号化ユニットのサイズに対応する、項目21に記載の方法。
26.前記IBC符号化されたサブ領域のサイズは、最小変換ユニットのサイズに対応する、項目21に記載の方法。
27.前記第1に利用可能なサンプルは、並置された輝度ブロックの左上のサンプルを含み、前記左上のサンプルは、IBC符号化サンプルである、項目22に記載の方法。
28.前記第1に利用可能なサンプルは、並置された輝度ブロックの左上のサンプルを含み、前記左上のサンプルは、インターモード符号化サンプルである、項目22に記載の方法。
29.前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、項目21~28のいずれか1つ以上に記載の方法。
30.変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、項目21~28のいずれか1つ以上に記載の方法。
31. 視覚メディア処理方法であって、以下を含む。
前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックにイントラブロックコピー(IBC)モードを適用することを決定すること、および
ビットストリーム表現において、現在の映像ブロックに関連付けられた動き情報を示す構文要素を含む。
32.前記構文要素は、前記現在の映像ブロックに関連付けられた動き情報と動き情報予測子との差に対応する、項目31に記載の方法。
33.前記動き情報予測子は、前記現在の映像ブロックの並置された輝度ブロック、前記並置された輝度ブロックの1つ以上の近傍のブロック、または近傍の彩度ブロックに含まれるサンプルの動き情報を使用して算出される、項目32に記載の方法。
34.前記並置された輝度ブロックに含まれるサンプルは、前記並置された輝度ブロックの左上サンプルである、項目32に記載の方法。
35.前記並置された輝度ブロックに含まれるサンプルは、前記並置された輝度ブロックの中心サンプルである、項目32に記載の方法。
36.前記並置された輝度ブロックの左上のサンプルは、IBC符号化サンプルである、項目34に記載の方法。
37.前記並置された輝度ブロックの左上のサンプルは、インターモード符号化サンプルである、項目34に記載の方法。
38.前記動き情報予測子は、前記並置された輝度ブロックのサブ領域に関連付けられ、前記動き情報予測子は、前記現在の映像ブロック上の使用前にスケーリングされる、項目33に記載の方法。
39.前記近傍の彩度ブロックは、前記現在の映像ブロックの隣接または非隣接する近傍である、項目33に記載の方法。
40.前記現在の映像ブロックに関連付けられた前記動き情報は、候補動きベクトルリストに含まれ、前記ビットストリーム表現に含まれる前記構文要素は、前記候補動きベクトルリストを指すインデックスに対応する、項目31に記載の方法。
41.前記候補動きベクトルリストは、前記現在の映像ブロックの並置された輝度ブロック、前記並置された輝度ブロックの1つ以上の近傍のブロック、または近傍の彩度ブロックに含まれるサンプルの動き情報を含む、項目31に記載の方法。
42.前記ビットストリーム表現を構文解析することに、少なくとも部分的に基づいて、適応型動きベクトル解像度(AMVR)技術の使用の表示を推測する、項目32に記載の方法。
43.前記現在の映像ブロックが彩度、IBC符号化ブロックであり、さらに以下を含む、項目42に記載の方法。
前記AMVR技術の使用の指示を使用して、前記現在の映像ブロックに対して前記AMVR技術が適用されていないことを推測すること。
44.前記現在の映像ブロックに関連付けられた前記動き情報と前記動き情報予測子との差は、整数値の精度であると推測される、項目43に記載の方法。
45.前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、項目31~44のいずれか1つ以上に記載の方法。
46.変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、項目31~44のいずれか1つ以上に記載の方法。
47.視覚メディア処理方法であって、以下を含む。
前記処理は、視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のため、前記現在の映像ブロックにイントラブロックコピー(IBC)モードを適用することを決定すること、および
前記処理は、少なくとも1つ以上の条件に基づいて、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素をビットストリーム表現に選択的に含めるかまたは除外するかを決定すること。
48.前記1つ以上の条件は、以下を含む、項目47に記載の方法。
(1)現在の映像ブロックの並置された輝度ブロック内のサブ領域のIBC符号化モード、
(2)前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化サブ領域に関連付けられた有効な動きベクトル、
(3)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCU群又は符号化ユニット(CU)において信号通知されたメッセージ、
(4)他の映像ブロックに関連付けられた符号化ピクチャ/タイル/スライス/再構成領域におけるIBCモードおよび/またはインターモードのハッシュヒット率、
(5)現在の映像ブロック又は現在の映像ブロックの少なくとも1つの近傍ブロックのブロック寸法、
(6)現在の映像ブロック又は少なくとも1つの近傍ブロックのブロック形状、
(7)現在の映像ブロック又は少なくとも1つの近傍ブロックの現在の量子化パラメータ(QP)、
(8)現在の映像ブロックのカラーフォーマットの指示、
(9)現在の映像ブロックに関連付けられた別個の又は二重の符号化ツリー構造、
(10)現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプ、又は
(11)時間層ID。
49.前記現在の映像ブロックの並置された輝度ブロック内のすべてのサブ領域をIBC符号化することを決定したことに呼応して、前記構文要素を前記ビットストリーム表現から排除する、項目48に記載の方法。
50.前記現在の映像ブロックの並置された輝度ブロック内のすべてのIBC符号化されたサブ領域に関連付けられたすべての動きベクトルが有効であると決定したことに呼応して、前記構文要素を前記ビットストリーム表現から排除する、項目48に記載の方法。
51.前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、項目47~48のいずれか1つ以上に記載の方法。
52.変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、項目47~48のいずれか1つ以上に記載の方法。
53.項目1~52のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える映像エンコーダ装置。
54.項目1~52のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える、映像デコーダ装置。
55.コードが記憶されたコンピュータ可読媒体であって、前記コードは項目1~52のいずれか1つ以上に記載の方法を実装するための処理装置が実行可能な命令を実施する、コンピュータ可読媒体。
本明細書では、“映像処理”または“映像メディア処理”という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか、または含まれないべきかを判定し、構文フィールドを符号化表現に含めるか、または符号化表現から除外することによって、それに応じて符号化表現を生成してもよい。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの1つ以上の組み合わせであってもよい。“データ処理ユニット”又は“データ処理装置”という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書で使用される場合、単数形“a”、“an”および“the”は、文脈からそうでないことが明確に示されていない限り、複数形も含むことが意図される。さらに、文脈からそうでないことが明確に示されていない限り、“または”の使用は、“および/または”を含むことが意図される。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテクストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
5. 開示される技術の追加の実施例
5.1 二重ツリー関連実施例
JVET-N1001-v7に提案された草案の変更点を以下に示す。追加するテキストを太字のイタリック体のフォントで示す。削除するテキストを太字の大文字フォントで示す。
5.1.1 実施形態#1
Figure 2022531282000009
5.1.2 実施形態#2
7.3.2.3 シーケンスパラメータセットRBSP構文
Figure 2022531282000010
5.1.3 実施形態#3
7.3.5 スライスヘッダ構文
7.3.5.1 一般スライスセグメントヘッダ構文
Figure 2022531282000011
sps_asdt_flag=1は、現在のシーケンスにおいて提案された方法を使用可能とすることを指定する。これが0に等しい場合、現在のシーケンスにおいて提案された方法を使用可能にすることができないことを指定する。sps_ASDT_flagが存在しない場合、0に等しいと推測される。
slice_asdt_flag=1は、提案された方法を現在のスライスにおいて有効にすることができることを指定する。これが0に等しい場合、提案された方法を現在のスライスで使用可能にすることができないことを指定する。slice_ASDT_flagが存在しない場合、これは0に等しいと推測される。
7.2.7.2 符号化ツリーユニット構文
Figure 2022531282000012
ctu_dual_tree_intra_flag=1は、現在のCTUが二重ツリー符号化構造を採用していることを指定する。これは、0に等しく、現在のCTUが単一のツリー符号化構造を使用することを指定する。ctu_dual_tree_intra_flagが存在しない場合、0に等しいと推測される。
5.1.4 実施形態#4
7.3.5 スライスヘッダ構文
7.3.5.1 一般スライスセグメントヘッダ構文
Figure 2022531282000013
sps_asdt_flag=1は、現在のシーケンスにおいて提案された方法を使用可能とすることを指定する。これが0に等しい場合、現在のシーケンスにおいて提案された方法を使用可能にすることができないことを指定する。sps_ASDT_flagが存在しない場合、0に等しいと推測される。
slice_asdt_flag=1は、提案された方法を現在のスライスにおいて有効にすることができることを指定する。これが0に等しい場合、提案された方法を現在のスライスで使用可能にすることができないことを指定する。slice_ASDT_flagが存在しない場合、これは0に等しいと推測される。
7.3.7.2 符号化ツリーユニット構文
Figure 2022531282000014
ctu_dual_tree_intra_flag=1は、現在のCTUが二重ツリー符号化構造を採用していることを指定する。これは、0に等しく、現在のCTUが単一のツリー符号化構造を使用することを指定する。ctu_dual_tree_intra_flagが存在しない場合、0に等しいと推測される。
5.2 IBC関連実施例
7.3.7.5 符号化ユニット構文
Figure 2022531282000015
8.6 IBC予測モードで符号化されたユニットを符号化するための復号処理
8.6.1 IBC予測モードで符号化されたユニットを符号化するための一般的な復号処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 単一ツリーを使用するか二重ツリーを使用するかを指定する変数ツリータイプ、および二重ツリーを使用する場合、現在のツリーが輝度成分に対応するか色度成分に対応するかを指定する。
この処理の出力は、インループ・フィルタリング前の修正された再構成画像である。
輝度位置(xCb,yCb)、輝度サンプルcbWidthにおける現在の符号化ブロックの幅、輝度サンプルcbHeightにおける現在の符号化ブロックの高さ、及び変数ツリータイプを入力として、8.7.1項に規定される量子化パラメータの導出処理を呼び出す。
ibc予測モードで符号化されたユニットを符号化するための復号プロセスは、以下の順序付けられたステップからなる。
1.現在の符号化ユニットの動きベクトル成分は、以下のように導出される。
1.ツリータイプがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、以下が適用される。
- 輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックをと、高さcbHeightを入力とし、輝度動きベクトルmvL[0][0]を出力として、項目8.6.2.1に規定された動きベクトル成分の導出処理が呼び出される。
- ツリータイプがSINGLE_TREEに等しい場合、8.6.2.5項の彩度動きベクトルの導出処理が、入力として輝度動きベクトルmvL[0][0]、出力として彩度動きベクトルmvC[0][0]を用いて実行される。
- 水平方向numSbX及び垂直方向numSbYにおける輝度符号化サブブロックの数は、いずれも1に設定される。
1.そうでない場合、もしツリータイプがDUAL_TREE_CHROMAに等しい場合、以下が適用される。
- 水平方向NUMSBX及び垂直方向NUMBYにおけるLUMA符号化サブブロックの数は、次のように導出される。
NUMSBX=(CBWIDTH>>2) (8‐871)
NUMSBY=(CBHEIGHT>>2) (8‐872)
- 彩度動きベクトルMVC[XSBIDX][YSBIDX]は、XSBIDX=0..NUMSBX-1,YSBIDX=0..NUMSBY-1の場合、次のように導出される。:
-輝度動きベクトルMVL[XSBIDX][YSBIDX]は、以下のように導出される。
- 並置された輝度符号化ユニットの位置(XCUY,YCUY)は、次のように導出される。
XCUY=XCB+XSBIDX*4 (8-873)
YCUY=YCB+YSBIDX*4 (8-874)
- CUPREDMODE[XCUY][YCUY]がMODE_INTRAに等しい場合、次のようになる。
MVL[XSBIDX][YSBIDX][0]=0 (8-875)
MVL[XSBIDX][YSBIDX][1]=0 (8-876)
PREDFLAGL0[XSBIDX][YSBIDX]=0 (8-877)
PREDFLAGL1[XSBIDX][YSBIDX]=0 (8-878)
- その他の場合(CUPREDMODE[XCUY][YCUY]がMODE_IBCに等しい)、次のことが該当する。
MVL[XSBIDX][YSBIDX][0]=MVL0[XCUY][YCUY][0] (8-879)
MVL[XSBIDX][YSBIDX][1]=MVL0[XCUY][YCUY][1] (8-880)
PREDFLAGL0[XSBIDX][YSBIDX]=1 (8-881)
PREDFLAGL1[XSBIDX][YSBIDX]=0 (8-878)
- 8.6.2.5項の彩度動きベクトルの導出処理は、MVL[XSBIDX][YSBIDX]を入力とし、MVC[XSBIDX][YSBIDX]を出力として呼び出される。
- 彩度動きベクトルMVC[XSBIDX][YSBIDX]が以下の制約に従うことは、ビットストリーム適合性の要件である。
- 6.4.X項で規定されているブロック利用可能性の導出プロセス[ED.(BB):隣接ブロック利用可能性チェックプロセス TBD]が、現在の彩度位置(XCURR,YCURR)を(XCB/SUBWIDTHC,YCB/SUBHEIGHTC)に等しく、近傍の彩度位置(XCB/SUBWIDTHC+(MVC[XSBIDX][YSBIDX][0]>>5),YCB/SUBHEIGHTC+(MVC[XSBIDX][YSBIDX][1]>>5))を入力として呼び出されると、出力はTRUEとなる。
- 6.4.X項で規定されているブロック利用可能性の導出プロセス[ED.(BB):隣接ブロック利用可能性チェックプロセス TBD]が、現在の彩度位置(XCURR,YCURR)を(XCB/SUBWIDTHC,YCB/SUBHEIGHTC)に等しく、近傍の彩度位置(XCB/SUBWIDTHC+(MVC[XSBIDX][YSBIDX][0]>>5)+CBWIDTH/SUBWIDTHC-1,YCB/SUBHEIGHTC+(MVC[XSBIDX][YSBIDX][1]>>5)+CBHEIGHT/SUBHEIGHTC-1)を入力として呼び出されると、出力はTRUEとなる。
- 次の条件の一方または両方がTRUEであること。
- (MVC[XSBIDX][YSBIDX][0]>>5)+XSBIDX*2+2は、0より小さい又は等しい。
- (MVC[XSBIDX][YSBIDX][1]>>5)+XSBIDX*2+2は、0より小さい又は等しい。
2.現在の符号化ユニットの予測サンプルは、以下のように導出される。
- ツリータイプがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、現在の符号化ユニットの予測サンプルは以下のように導出される。
・8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidthおよび輝度符号化ブロックの高さcbHeight、水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、xSbIdx=0..numSbX-1およびSbIdx=0..numSbY-1を有する輝度動きベクトルmvL[xSbIdx][ySbIdx]、および0に等しく設定された変数cIdxを入力とし、予測輝度サンプルの(cbWidth)×(cbHeight)配列predSamplesであるibc予測サンプル(predSamples)を出力として呼び出される。
- あるいは、ツリータイプがSINGLE_TREE又はDUAL_TREE_CHROMAに等しい場合、現在の符号化ユニットの予測サンプルは、以下のように導出される。
・8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidthおよび輝度符号化ブロックの高さcbHeight、水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、xSbIdx=0..numSbX-1およびySbIdx=0..numSbY-1を有する彩度動きベクトルmvC[xSbIdx]、および1に等しく設定された変数cIdxを入力とし、彩度成分Cbに対する予測彩度サンプルの(cbWidth/2)×(cbHeight/2)配列predSamplesCbであるibc予測サンプル(predSamples)を出力として呼び出される。
・8.6.3.1項に規定されるibcブロックの復号処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅cbWidthおよび輝度符号化ブロックの高さcbHeight、水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、xSbIdx=0..numSbX-1、ySbIdx=0..numSbY-1を有する彩度動きベクトルmvC[xSbIdx]、および2に等しく設定された変数cIdxを入力とし、彩度成分Crに対する予測彩度サンプルの(cbWidth/2)×(cbHeight/2)配列predSamplesCrであるibc予測サンプル(predSamples)を出力として呼び出される。
3.変数NumSbX[xCb][yCb]およびNumSbY[xCb][yCb]は、それぞれnumSbXおよびnumSbYに等しく設定される。
4.現在の符号化ユニットの残差サンプルは、以下のように導出される。
- ツリータイプがSINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_LUMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、輝度位置(xCb,yCb)に等しく設定された位置(xTb0,yTb0)、輝度符号化ブロック幅cbWidthに等しく設定された幅nTbW、輝度符号化ブロック高さcbHeightに等しく設定された高さnTbH、0に等しく設定された変数cIdxsetを入力とし、配列resSamplesを出力として、呼び出される。
- ツリータイプがSINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_CHROMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、彩度位置(xCb/2,yCb/2)に等しく設定された位置(xTb0,yTb0)、彩度符号化ブロック幅cbWidth/2に等しく設定された幅nTbW、彩度符号化ブロック高さcbHeight/2に等しく設定された高さnTbH、1に等しい変数cldxsetを入力とし、配列resSamplesCbを出力として、呼び出される。
- ツリータイプがSINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_CHROMAに等しい場合、8.5.8項に規定されるインター予測モードで符号化された符号化ブロックの残差信号の復号処理は、彩度位置(xCb/2,yCb/2)に等しく設定された位置(xTb0,yTb0)、彩度符号化ブロック幅cbWidth/2に等しく設定された幅nTbW、彩度符号化ブロック高さcbHeight/2に等しく設定された高さnTbH、2に等しい変数cIdxsetを入力とし、配列resSamplesCrを出力として、呼び出される。
5.現在の符号化ユニットの再構成されたサンプルは、以下のように導出される。
- ツリータイプが、SINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_LUMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理は、(xCb,yCb)に等しく設定されたブロック位置(xB,yB)、cbWidthに等しく設定されたブロック幅bWidth、cbHeightに等しく設定されたブロック高さbHeight、0に等しく設定された変数cIdx、predSamplesに等しく設定された(cbWidth)×(cbHeight)配列predSamples、resSamplesに等しく設定された(cbWidth)×(cbHeight)配列resSamplesを入力として呼び出され、出力はループ内フィルタリング前の修正再構成画像となる。
- ツリータイプがSINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_CHROMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理は、(xCb/2,yCb/2)に等しく設定されたブロック位置(xB,yB)、cbWidth/2に等しく設定されたブロック幅bWidth、cbHeight/2に等しく設定されたブロック高さbHeight、1に等しく設定された変数cIdx、predSamplesCbに等しく設定された(cbWidth/2)×(cbHeight/2)配列predSamples、resSamplesCbに等しく設定された(cbWidth/2)×(cbHeight/2)配列resSamplesを入力として呼び出され、出力はループ内フィルタリング前の修正再構成画像となる。
- ツリータイプがSINGLE_TREEに等しい場合又はツリータイプがDUAL_TREE_CHROMAに等しい場合、8.7.5項で規定されているカラーコンポーネントの画像再構成処理は、(xCb/2,yCb/2)に等しく設定されたブロック位置(xB,yB)、cbWidth/2に等しく設定されたブロック幅bWidth、cbHeight/2に等しく設定されたブロック高さbHeight、2に等しく設定された変数cIdx、predSamplesCrに等しく設定された(cbWidth/2)×(cbHeight/2)配列predSamples、resSamplesCrに等しく設定された(cbWidth/2)×(cbHeight/2)配列resSamplesを入力として呼び出され、出力はループ内フィルタリング前の修正再構成画像となる。
関連出願の相互参照
本願は、2019年5月2日出願の国際特許出願第PCT/CN2019/085405号および2019年6月25日出願の国際特許出願第PCT/CN2019/092831号の優先権と利益を主張する、2020年5月1日出願の国際特許出願第PCT/US2020/030979号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。

Claims (55)

  1. 視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
    前記使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うことと、を含む視覚メディア符号化方法であって、
    前記変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する、
    視覚メディア符号化方法。
  2. 視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
    前記使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うことと、を含む視覚メディア復号化方法であって、
    前記変換スキップモードにおいて、前記現在の映像ブロックと参照映像ブロックとの予測誤差の残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する、
    視覚メディア復号化方法。
  3. 前記許容イントラ予測モードセットは、前記現在の映像ブロックの量子化残差ブロック差動パルス符号変調(QR-BDPCM)技術で使用するイントラモードセットに対応し、
    前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、
    請求項1~2のいずれか1項に記載の方法。
  4. 前記符号化モードがQR-BDPCM技術で使用される複数の符号化モードの1つに属している場合には、前記構文要素は、前記ビットストリーム表現から除外され、
    前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、
    請求項1~2のいずれか1項に記載の方法。
  5. 前記イントラ予測モードが、前記現在の映像ブロックのQR-BDPCM技術で使用されるイントラモードセットに属する場合、前記構文要素は、前記ビットストリーム表現から除外され、
    前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、
    請求項1~2のいずれか1項に記載の方法。
  6. QR-BDPCM技術を前記現在の映像ブロックに適用すると決定したことに呼応して、前記構文要素は、前記ビットストリーム表現から除外され、前記変換スキップモードが適用されると推測され、
    前記QR-BDPCM技術において、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差は、差分パルス符号化変調(DPCM)を使用して前記現在の映像ブロックの前記ビットストリーム表現で表現される、
    請求項1~2のいずれか1項に記載の方法。
  7. 前記変換スキップモードを、前記選択的に適用すること、またはスキップすることは、
    (1)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCUグループまたは符号化ユニット(CU)において信号通知されたメッセージ、
    (2)前記現在の映像ブロックまたは前記現在の映像ブロックの少なくとも1つの近傍のブロックのブロック寸法、
    (3)前記現在の映像ブロックまたは前記少なくとも1つの近傍のブロックのブロック形状、
    (4)前記現在の映像ブロックまたは前記少なくとも1つの近傍のブロックの最大確率モード、
    (5)前記少なくとも1つの近傍のブロックの予測モード、
    (6)前記少なくとも1つの近傍のブロックのイントラ予測モード、
    (7)前記少なくとも1つの近傍のブロックの1つ以上の動きベクトル。
    (8)前記少なくとも1つの近傍のブロックのQR-BDPCM技術の表示、
    (9)前記現在の映像ブロックまたは前記少なくとも1つの近傍のブロックの現在の量子化パラメータ(QP)、
    (10)前記現在の映像ブロックのカラーフォーマットの指示、
    (11)前記現在の映像ブロックに関連付けられた別個のまたは二重符号化ツリー構造、
    (12)前記現在の映像ブロックのスライスタイプ、タイルグループタイプまたはピクチャタイプ、または、
    (13)時間層ID
    のうちの1つ以上にさらに基づいている、
    請求項1~6のいずれか1項に記載の方法。
  8. 視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現から復号化するために、符号化モードおよび/またはイントラ予測モードおよび/または許容イントラ予測モードセットの使用を識別することと、
    前記使用を識別する時に、前記ビットストリーム表現に、前記現在の映像ブロックに変換スキップモードを選択的に適用することを示す構文要素を含めるか、または除外するかの決定を行うことと、を含む視覚メディア復号化方法であって、
    前記変換スキップモードにおいて、前記現在の映像ブロックと予測映像ブロックとの残差を、変換を適用せずに、前記視覚メディアデータの前記ビットストリーム表現で表現する、
    視覚メディア復号化方法。
  9. 視覚メディアデータの映像領域における現在の映像ブロックを前記視覚メディアデータのビットストリーム表現に符号化するために、少なくとも、二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または前記二重ツリー符号化構造の選択的適用に関する決定を行うことと、
    前記ビットストリーム表現における前記単一または前記二重ツリーの選択的適用を示す構文要素を含む、
    視覚メディア符号化方法。
  10. 現在の映像ブロックを含む映像領域を備える視覚メディアデータのビットストリーム表現から、構文要素を構文解析することであって、前記構文要素は、少なくとも二重ツリー符号化構造を有効化すると決定したことに基づいて、または決定したことから推測して、単一または前記二重ツリー符号化構造の選択的適用を示す、構文解析することと、
    前記構文要素に従って、前記現在の映像ブロックを復号することにより、前記ビットストリーム表現から復号された映像領域を生成することと、
    を含む視覚メディア復号化方法。
  11. 前記二重ツリー符号化構造は、第1の映像レベルに関連付けられ、前記構文要素は、第2の映像レベルに関連付けられ、前記第1の映像レベルに関連付けられた前記二重ツリー符号化構造を無効化すると決定すると、前記第2の映像レベルに関連付けられた前記構文要素をブーリアン偽と推測することをさらに含む、
    請求項9~10のいずれか1項に記載の方法。
  12. 前記構文要素は、前記ビットストリーム表現に含まれる、
    請求項11に記載の方法。
  13. 前記第2の映像レベルは、前記第1の映像レベルよりも低い、
    請求項11~12のいずれか1項に記載の方法。
  14. 前記第2の映像レベルは、符号化ツリーユニット(CTU)レベルであり、前記第1の映像レベルは、シーケンス/スライス/タイル/ブリックレベルである、
    請求項11~12のいずれか1項に記載の方法。
  15. 前記構文要素は、符号化ツリーユニット(CTU)レベルに関連付けられ、ブーリアン真であるフラグに少なくとも基づいて、前記ビットストリーム表現における前記構文要素を含めること、をさらに含む、
    請求項9~10のいずれか1項に記載の方法。
  16. 前記フラグは前記CTUレベルよりも高いレベルにある、
    請求項15に記載の方法。
  17. 前記構文要素は、符号化ツリーユニット(CTU)レベルに関連付けられ、
    前記CTUレベルよりも高いレベルのフラグがブーリアン偽であると決定されると、前記ビットストリーム表現における前記構文要素をブーリアン偽と推測すること、をさらに含む、
    請求項9~10のいずれか1項に記載の方法。
  18. 前記構文要素は、符号化ツリーユニット(CTU)レベルよりも低いレベルにある、
    請求項9~10のいずれか1項に記載の方法。
  19. 前記構文要素は、仮想パイプラインデータユニット(VPDU)レベルにある、
    請求項18に記載の方法。
  20. 前記構文要素は、分割ツリーの信号通知レベルに対応するレベルにある、
    請求項18に記載の方法。
  21. 視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、イントラブロックコピー(IBC)モードを前記前記現在の映像ブロックの彩度成分に適用すると決定することと、
    前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化されたサブ領域に含まれる第1に利用可能なサンプルを使用して前記現在の映像ブロックのサブブロックに関連付けられた動き情報を導出することと、を含む、
    視覚メディア処理方法。
  22. 前記並置された輝度ブロック内の前記IBC符号化されたサブ領域を、順番に従ってスキャンする、
    請求項21に記載の方法。
  23. 前記順序はラスタスキャン順である、
    請求項22に記載の方法。
  24. 前記動き情報は、サブブロックまたはサブサンプルの動きベクトルまたはブロックベクトルである、
    請求項21に記載の方法。
  25. 前記IBC符号化されたサブ領域のサイズは、最小符号化ユニットのサイズに対応する、
    請求項21に記載の方法。
  26. 前記IBC符号化されたサブ領域のサイズは、最小変換ユニットのサイズに対応する、
    請求項21に記載の方法。
  27. 前記第1に利用可能なサンプルは、前記並置された輝度ブロックの左上のサンプルを含み、前記左上のサンプルは、IBC符号化サンプルである、
    請求項22に記載の方法。
  28. 前記第1に利用可能なサンプルは、前記並置された輝度ブロックの左上のサンプルを含み、前記左上のサンプルは、インターモード符号化サンプルである、
    請求項22に記載の方法。
  29. 前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、
    請求項21~28のいずれか1項に記載の方法。
  30. 前記変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、
    請求項21~28のいずれか1項に記載の方法。
  31. 視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、前記現在の映像ブロックに対してイントラブロックコピー(IBC)モードを適用すると決定することと、
    前記ビットストリーム表現において、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素を含めることと、を含む、
    視覚メディア処理方法。
  32. 前記構文要素は、前記現在の映像ブロックに関連付けられた前記動き情報と動き情報予測子との差に対応する、
    請求項31に記載の方法。
  33. 前記動き情報予測子は、前記現在の映像ブロックの並置された輝度ブロック、前記並置された輝度ブロックの1つ以上の近傍のブロック、または近傍の彩度ブロックに含まれるサンプルの動き情報を使用して算出される、
    請求項32に記載の方法。
  34. 前記並置された輝度ブロックに含まれる前記サンプルは、前記並置された輝度ブロックの左上サンプルである、
    請求項32に記載の方法。
  35. 前記並置された輝度ブロックに含まれる前記サンプルは、前記並置された輝度ブロックの中心サンプルである、
    請求項32に記載の方法。
  36. 前記並置された輝度ブロックの前記左上のサンプルは、IBC符号化されたサンプルである、
    請求項34に記載の方法。
  37. 前記並置された輝度ブロックの前記左上のサンプルは、インターモード符号化サンプルである、
    請求項34に記載の方法。
  38. 前記動き情報予測子は、前記並置された輝度ブロックのサブ領域に関連付けられ、前記動き情報予測子は、前記現在の映像ブロック上の使用前にスケーリングされる、
    請求項33に記載の方法。
  39. 前記近傍の彩度ブロックは、前記現在の映像ブロックの隣接または非隣接する近傍のものである、
    請求項33に記載の方法。
  40. 前記現在の映像ブロックに関連付けられた前記動き情報は、候補動きベクトルリストに含まれ、前記ビットストリーム表現に含まれる前記構文要素は、前記候補動きベクトルリストを指すインデックスに対応する、
    請求項31に記載の方法。
  41. 前記候補動きベクトルリストは、前記現在の映像ブロックの並置された輝度ブロック、前記並置された輝度ブロックの1つ以上の近傍のブロック、または近傍の彩度ブロックのうちの1つに含まれるサンプルの動き情報を含む、
    請求項31に記載の方法。
  42. 前記ビットストリーム表現を構文解析することに少なくとも部分的に基づいて、適応型動きベクトル解像度(AMVR)技術の使用の指示を推測する、
    請求項32に記載の方法。
  43. 前記現在の映像ブロックは、彩度、IBC符号化ブロックであり、前記AMVR技術の前記使用の前記指示を使用して、前記現在の映像ブロックに対して前記AMVR技術を適用していないと推測すること、をさらに含む、
    請求項42に記載の方法。
  44. 前記現在の映像ブロックに関連付けられた前記動き情報と前記動き情報予測子との前記差は、整数値の精度であると推測される、
    請求項43に記載の方法。
  45. 前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、
    請求項31~44のいずれか1項に記載の方法。
  46. 前記変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、
    請求項31~44のいずれか1項に記載の方法。
  47. 視覚メディアデータの現在の映像ブロックと前記視覚メディアのビットストリーム表現との変換のために、前記現在の映像ブロックに対してイントラブロックコピー(IBC)モードを適用すると決定することと、
    前記ビットストリーム表現において、少なくとも1つ以上の条件に基づいて、前記現在の映像ブロックに関連付けられた動き情報を示す構文要素を選択的に含めるか除外するかの決定を行うことと、を含む、
    視覚メディア処理方法。
  48. 前記1つ以上の条件は、
    (1)前記現在の映像ブロックの並置された輝度ブロック内のサブ領域のIBC符号化モード、
    (2)前記現在の映像ブロックの並置された輝度ブロック内のIBC符号化サブ領域に関連付けられた有効な動きベクトル、
    (3)シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)、LCU行、LCUグループまたは符号化ユニット(CU)において信号通知されたメッセージ、
    (4)他の映像ブロックに関連付けられた符号化ピクチャ/タイル/スライス/再構成領域におけるIBCモードおよび/またはインターモードのハッシュヒット率、
    (5)前記現在の映像ブロックのブロック寸法、または前記現在の映像ブロックの少なくとも1つの近傍のブロックのブロック寸法、
    (6)前記現在の映像ブロックまたは前記少なくとも1つの近傍のブロックのブロック形状、
    (7)前記現在の映像ブロックまたは前記少なくとも1つの近傍のブロックの現在の量子化パラメータ(QP)、
    (8)前記現在の映像ブロックのカラーフォーマットの指示、
    (9)前記現在の映像ブロックに関連付けられた別個のまたは二重符号化ツリー構造、
    (10)前記現在の映像ブロックのスライスタイプ、タイルグループタイプまたはピクチャタイプ、または、
    (11)時間層IDを含む、
    請求項47に記載の方法。
  49. 前記現在の映像ブロックの前記並置された輝度ブロック内のすべてのサブ領域をIBC符号化すると決定したことに呼応して、前記構文要素を前記ビットストリーム表現から排除する、
    請求項48に記載の方法。
  50. 前記現在の映像ブロックの並置された輝度ブロック内のすべてのIBC符号化されたサブ領域に関連付けられたすべての動きベクトルが有効であると決定したことに呼応して、前記構文要素を前記ビットストリーム表現から除外する、
    請求項48に記載の方法。
  51. 前記変換は、現在の映像ブロックから前記ビットストリーム表現を生成することを含む、
    請求項47~48のいずれか1項に記載の方法。
  52. 前記変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、
    請求項47~48のいずれか1項に記載の方法。
  53. 請求項1~52のいずれか1項に記載の方法を実装するように構成された処理装置を備える映像エンコーダ装置。
  54. 請求項1~52のいずれか1項に記載の方法を実装するように構成された処理装置を備える映像デコーダ装置。
  55. コードが記憶されたコンピュータ可読媒体であって、前記コードは請求項1~52のいずれか1項に記載の方法を実装するための処理装置が実行可能な命令を実施する、コンピュータ可読媒体。
JP2021564673A 2019-05-02 2020-05-01 変換スキップモードにおける信号通知 Active JP7288084B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023086493A JP2023120212A (ja) 2019-05-02 2023-05-25 変換スキップモードにおける信号通知

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/085405 2019-05-02
CN2019085405 2019-05-02
CNPCT/CN2019/092831 2019-06-25
CN2019092831 2019-06-25
PCT/US2020/030979 WO2020223612A1 (en) 2019-05-02 2020-05-01 Signaling in transform skip mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023086493A Division JP2023120212A (ja) 2019-05-02 2023-05-25 変換スキップモードにおける信号通知

Publications (2)

Publication Number Publication Date
JP2022531282A true JP2022531282A (ja) 2022-07-06
JP7288084B2 JP7288084B2 (ja) 2023-06-06

Family

ID=73029378

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021564673A Active JP7288084B2 (ja) 2019-05-02 2020-05-01 変換スキップモードにおける信号通知
JP2023086493A Pending JP2023120212A (ja) 2019-05-02 2023-05-25 変換スキップモードにおける信号通知

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023086493A Pending JP2023120212A (ja) 2019-05-02 2023-05-25 変換スキップモードにおける信号通知

Country Status (6)

Country Link
US (2) US20220030280A1 (ja)
EP (1) EP3949387A4 (ja)
JP (2) JP7288084B2 (ja)
KR (1) KR20220002918A (ja)
CN (1) CN113785568B (ja)
WO (1) WO2020223612A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659172B2 (en) 2019-07-21 2023-05-23 Lg Electronics Inc. Image encoding/decoding method and device for signaling chroma component prediction information according to whether palette mode is applicable, and method for transmitting bitstream

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3942811A4 (en) 2019-04-24 2022-06-15 ByteDance Inc. CONSTRAINTS ON THE REPRESENTATION OF A DIFFERENTIAL MODULATION BY CODED PULSES OF QUANTIFIED RESIDUE FOR A CODED VIDEO
KR20220002292A (ko) 2019-05-01 2022-01-06 바이트댄스 아이엔씨 양자화된 잔차 차동 펄스 코드 변조 코딩을 사용하는 인트라 코딩된 비디오
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling
CN115633172A (zh) * 2020-12-06 2023-01-20 浙江大华技术股份有限公司 基于ibc模式编码方法、电子设备及存储介质
US11683509B1 (en) * 2021-10-28 2023-06-20 Meta Platforms, Inc. Prediction unit skip detection in encoder
CN114339231B (zh) * 2021-12-27 2023-10-27 杭州当虹科技股份有限公司 利用运动矢量快速跳Cu级模式选择的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101830352B1 (ko) * 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
CN104380734B (zh) * 2012-06-07 2017-09-15 寰发股份有限公司 编码以及解码视频数据的方法和装置
FI2869557T3 (fi) * 2012-06-29 2023-11-02 Electronics & Telecommunications Res Inst Menetelmä ja laite kuvien koodaamiseksi/dekoodaamiseksi
PL2984837T3 (pl) * 2013-04-08 2018-07-31 Ge Video Compression, Llc Predykcja międzykomponentowa
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
US9877025B2 (en) * 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
US10425647B2 (en) * 2013-10-14 2019-09-24 Hfi Innovation Inc. Method of residue differential pulse-code modulation for HEVC range extension
CA2942903A1 (en) * 2014-03-16 2015-09-24 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
CN106664405B (zh) * 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
EP3516869B1 (en) * 2016-10-04 2022-06-08 HFI Innovation Inc. Method and apparatus for intra chroma coding in image and video coding
KR20220048066A (ko) * 2018-07-18 2022-04-19 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 히스토리-기반 모션 벡터 예측을 사용한 비디오 코딩 방법 및 장치
JP2022513857A (ja) * 2018-12-12 2022-02-09 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 現在ピクチャ参照を用いたビデオ信号処理方法及び装置
WO2020149648A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 변환 스킵 플래그를 이용한 영상 코딩 방법 및 장치
JP7399973B2 (ja) * 2019-02-19 2023-12-18 ヒューマックス・カンパニー・リミテッド イントラ予測ベースのビデオ信号処理方法及び装置
US11711534B2 (en) * 2019-02-28 2023-07-25 Apple Inc. Method for encoding/decoding image signal, and device therefor
US11825120B2 (en) * 2019-02-28 2023-11-21 Qualcomm Incorporated Subblock coding by generalized intra prediction in video coding
US11451826B2 (en) * 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
WO2020218861A1 (ko) * 2019-04-23 2020-10-29 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
CN113728640A (zh) * 2019-04-23 2021-11-30 北京字节跳动网络技术有限公司 帧内预测和残差编解码

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, ET AL.: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N1001-v3, JPN6022040170, 30 April 2019 (2019-04-30), pages 56 - 57, ISSN: 0004882670 *
MOHSEN ABDOLI, ET AL.: "CE8: BDPCM with horizontal/vertical predictor and independently decodable areas (test 8.3.1b)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0057, JPN6022040169, 10 January 2019 (2019-01-10), ISSN: 0004882669 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659172B2 (en) 2019-07-21 2023-05-23 Lg Electronics Inc. Image encoding/decoding method and device for signaling chroma component prediction information according to whether palette mode is applicable, and method for transmitting bitstream

Also Published As

Publication number Publication date
KR20220002918A (ko) 2022-01-07
JP7288084B2 (ja) 2023-06-06
US20220030280A1 (en) 2022-01-27
CN113785568A (zh) 2021-12-10
US20230300379A1 (en) 2023-09-21
CN113785568B (zh) 2024-03-08
WO2020223612A1 (en) 2020-11-05
EP3949387A4 (en) 2022-05-18
JP2023120212A (ja) 2023-08-29
EP3949387A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
JP7448559B2 (ja) 変換スキップモードのためのコンテキスト符号化
CN113728642B (zh) 编解码视频的量化残差差分脉冲编解码调制表示
JP7288084B2 (ja) 変換スキップモードにおける信号通知
JP7288083B2 (ja) 符号化ツリー構造タイプに基づく符号化モード
KR102601022B1 (ko) 색상 포맷에 기초한 비디오 영역 분할
KR102649584B1 (ko) 크로마 인트라 모드에 기초한 크기 제한
WO2020182113A1 (en) Combined screen content coding mode
WO2020243246A1 (en) Using coding tree structure type to control coding mode
KR20230003061A (ko) 모션 정밀 신택스을 위한 엔트로피 코딩
JP7442673B2 (ja) ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230525

R150 Certificate of patent or registration of utility model

Ref document number: 7288084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150