JP2022542139A - 映像コーディングモードのブロックサイズ依存使用 - Google Patents

映像コーディングモードのブロックサイズ依存使用 Download PDF

Info

Publication number
JP2022542139A
JP2022542139A JP2022505205A JP2022505205A JP2022542139A JP 2022542139 A JP2022542139 A JP 2022542139A JP 2022505205 A JP2022505205 A JP 2022505205A JP 2022505205 A JP2022505205 A JP 2022505205A JP 2022542139 A JP2022542139 A JP 2022542139A
Authority
JP
Japan
Prior art keywords
video
block
mode
size
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022505205A
Other languages
English (en)
Other versions
JP7383119B2 (ja
Inventor
デン,ジピン
ザン,リー
ザン,カイ
リュウ,ホンビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022542139A publication Critical patent/JP2022542139A/ja
Priority to JP2023189116A priority Critical patent/JP2023184634A/ja
Application granted granted Critical
Publication of JP7383119B2 publication Critical patent/JP7383119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Discrete Mathematics (AREA)

Abstract

ピクチャパーティションモードがブロックサイズに基づく、映像を符号化又は復号するための方法、システム、及び装置が記述される。映像処理のための一方法例は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、該決定に基づいて上記変換を実行する、ことを含み、上記寸法は、ルマサンプルにおけるVSizeに等しく、映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である。

Description

パリ条約に基づく適用可能な特許法及び/又は規則の下で、この出願は、2019年7月26日に出願された国際特許出願第PCT/CN2019/097926号及び2019年8月31日に出願された国際特許出願第PCT/CN2019/103892号の優先権及び利益を適時に主張して行われる。法律の下での全ての目的のために、上記出願の開示全体を、この出願の開示の一部として援用する。
この文書は、映像及び画像の符号化及び復号技術に関する。
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅使用を占めている。映像を受信して表示することが可能な接続ユーザ装置の数が増えるにつれて、デジタル映像使用に対する帯域幅需要が増加し続けることが予期される。
開示される技術は、ピクチャパーティションモードがブロックサイズに基づいて決定される映像の符号化又は復号を実行するために、映像又は画像デコーダ又はエンコーダの実施形態によって使用され得る。
一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記寸法は、ルマサンプルにおけるVSizeに等しく、前記映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である。
他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、前記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記決定は、前記高さ又は前記幅と値Nとの間の比較に基づき、ただし、Nは正の整数である。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)前記変換のための1つ以上の許されるパーティションタイプの選択を実行し、前記決定及び前記選択に基づいて前記変換を実行する、ことを含み、前記ISPモードにおいて、前記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される、方法。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記符号化ツールに関するシンタックス要素が、前記ビットストリーム表現から除外され、前記符号化ツールが無効にされることを規定する所定の値であると推定される、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記ビットストリーム表現は、前記符号化ツールが無効にされることに基づいて所定の値であると推定される前記符号化ツールに関するシンタックス要素を有する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換はサブブロック変換(SBT)を有し、前記SBTの最大高さ又は最大幅は、最大変換サイズに基づき、前記SBTは、前記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、前記変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づき、前記変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、前記BDPCMモードにおいて、前記現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される、ことを含む。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される前記1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行い、前記決定に基づいて前記変換を実行する、ことを含み、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを含み、前記ルールは、変換符号化を用いて前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずに前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する、方法。
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを含み、前記ルールは、前記映像領域に対して可逆コーディングが有効にされるときに、前記映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、前記映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックであり、前記LMCSプロセスは、前記映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む。
他の一態様例において、上述の方法は、プロセッサを有するビデオエンコーダ装置によって実装され得る。
更なる他の一態様例において、これらの方法は、プロセッサ実行可能命令の形態で具現化されてコンピュータ読み取り可能プログラム媒体に格納され得る。
これら及び他の態様が本文書に更に記載される。
映像ブロックサイズに応じた二分木(BT)及び三分木(TT)スプリットの例を示している。 本文書に記載される技術を実装するのに使用されるハードウェアプラットフォームの一例のブロック図である。 開示される技術が実装され得る映像処理システムの一例のブロック図である。 映像処理の方法の一例に関するフローチャートである。 映像処理の方法の他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。 映像処理の方法の更なる他の一例に関するフローチャートである。
本文書は、解凍又は復号されたデジタル映像又は画像の品質を向上させるために画像又は映像ビットストリームのデコーダによって使用されることができる様々な技術を提供する。簡潔さのため、用語“映像”は、ここでは、一連のピクチャ(伝統的に映像(ビデオ)と呼ばれる)及び個々の画像の両方を含むように使用される。また、ビデオエンコーダも、更なる符号化のために使用される復号フレームを再構成するために、符号化のプロセスにおいてこれらの技術を実装し得る。
本文書では、理解を容易にするためにセクション見出しを使用するが、それらは実施形態及び技術を対応するセクションに限定するものではない。従って、1つのセクションからの実施形態を、他のセクションからの実施形態と組み合わせることができる。
1. 概要
この文書は映像符号化技術に関する。具体的には、これは、映像符号化及び復号におけるコーディングツリーユニット又は変換ユニットのサイズを制御するためのルールに関する。これは、HEVCのような既存の映像符号化標準に適用されてもよいし、成立される標準(バーサタイルビデオコーディング)に適用されてもよい。これは、将来の映像符号化標準又は映像コーデックにも適用可能である。
2. 冒頭説明
映像符号化標準は、主に、周知のITU-T及びISO/IEC標準の開発を通じて発展してきた。ITU-TがH.261及びH.263を作成し、ISO/IECがMPEG-1及びMPEG-4 Visualを作成し、そして、これら2つの組織が共同で、H.262/MPEG-2 Video及びH.264/MPEG-4 AVC(Advanced Video Coding)及びH.265/HEVC標準を作成した。H.262以来、映像符号化標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。HEVCの先の将来の映像符号化技術を探求するため、2015年にVCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、数多くの新しい方法が、JVETによって採用され、共同探索モデルJEM(Joint Exploration Model)と名付けられたリファレンスソフトウェアに入れられてきた。JVETミーティングは四半期に一度同時開催されており、新たな符号化標準は、HEVCと比較して50%のビットレート低減を目指している。新たな映像符号化標準は、2018年4月のJVETミーティングでバーサタイルビデオコーディング(VVC)として正式に命名され、その時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が行われているため、JVETミーティング毎に新たな符号化技術がVVC標準に採用されている。そして、各ミーティングの後に、VVC作業原案及びテストモデルVTMが更新される。VVCプロジェクトは現在、2020年7月のミーティングでの技術的完成(FDIS)を目指している。
2.1 VVCにおけるCTUサイズ
VTM-5.0ソフトウェアでは、16×16、32×32、64×64、及び128×128という4つの異なるCTUサイズを許している。しかし、2019年7月のJVETミーティングにおいて、JVET-O0526の採用により、最小CTUサイズが32×32に規定変更された。そして、VVC作業原案6におけるCTUサイズは、log2_ctu_size_minus_5と呼ばれるUEエンコードされるシンタックス要素にてSPSヘッダ内にエンコードされる。
以下は、仮想パイプラインデータユニット(Virtual pipeline data units;VPDU)の定義及びJVET-O0526の採用に伴うVVC原案6での仕様変更である:
(外1)
Figure 2022542139000002
Figure 2022542139000003
Figure 2022542139000004
Figure 2022542139000005
2.2 VVCにおける最大変換サイズ
VVC原案5において、最大変換サイズはSPS内でシグナリングされるが、64の長さに固定され、コンフィギュラブルではない。しかし、2019年7月のJVETミーティングにて、SPSレベルのフラグのみを用いて、最大ルマ変換サイズを64又は32のいずれにもし得るようにすることが決定された。最大クロマ変換サイズは、最大ルマ変換サイズに対して、クロマサンプリング比から導出される。
以下は、JVET-O05xxxの採用に伴うVVC原案6における対応する仕様変更である:
(外2)
Figure 2022542139000006
3. 開示される技術的ソリューションによって対処される技術的問題の例
最新のVVC作業原案JVET-O2001-v11には幾つか問題があり、それらを以下に説明する。
1) 現在のVVC原案6では、最大変換サイズとCTUサイズとが独立に規定されており、例えば、CTUサイズを32とし得る一方で、変換サイズは64にすることができる。望ましくは、最大変換サイズをCTUサイズ以下とすべきである。
2) 現在のVVC原案6では、ブロックパーティションプロセスは、VPDUサイズ以外の最大変換ブロックサイズに依存する。従って、最大変換ブロックサイズが32×32である場合、128×128TTスプリット、64×128垂直BTスプリット、128×64水平BTスプリットをVPDUルールに従うことを禁止するとともに、さらに、64×64ブロックに対してTTスプリットを禁止し、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットを禁止し、また、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットを禁止することになり、こては、符号化効率にとって効率的でないことがある。
3) 現在のVVC原案6は、32、64、及び128に等しいCTUサイズを許している。しかし、CTUサイズが128より大きくなることが可能である。従って、一部のシンタックス要素を変更する必要がある:
a) より大きいCTUサイズが許される場合、ブロックパーティション構造及びブロックスプリットフラグのシグナリングが再設計され得る;
b) より大きいCTUサイズが許される場合、現行設計の一部(例えば、アフィンパラメータ導出、IBC予測、IBCバッファサイズ、マージ三角予測、CIIP、通常マージモードなど)が再設計され得る。
4) 現在のVVC原案6では、CTUサイズはSPSレベルでシグナリングされる。しかし、参照ピクチャリサンプリング(適応解像度変更としても知られる)の採用が、1つのビットストリーム内でピクチャが複数の異なる解像度で符号化され得ることを可能にするので、CTUサイズが複数のレイヤにわたって異なることがある。
5) WD6では、MIP及びISPに使用される最大ブロックサイズが、VPDUサイズ又は64×64以外の、最大変換サイズに依存し、これは、符号化効率にとって効率的でないことがある。
6) WD6では、変換スキップ及びイントラBDPCMに使用される最大ブロックサイズが、最大変換スキップサイズに依存し、これは、最大変換サイズによって制限される。
7) WD6では、SBTに使用される最大ブロックサイズが、最大SBTサイズに依存し、これは、最大変換サイズによって制限される。
8) WD6では、IBC及びPLTに使用されるコーディングブロックのサイズが64×64に制限され、これは、最大変換サイズ、CTUサイズ、及び/又はVPDUサイズによって調節され得る。
9) WD6では、CIIPに使用されるコーディングブロックのサイズが、最大変換サイズよりも大きくなり得る。
10) WD6では、LMCS有効フラグが変換量子化バイパスフラグによって条件付けられていない。
4. 実施形態及び技術の例
以下のソリューションの列挙は、一部の概念を説明するための例としてみなされるべきである。これらのアイテムは狭く解釈されるべきでない。さらに、これらのアイテムは、任意に組み合わされることができる。
この文書において、C=min(a,b)は、Cがaとbとの間で最小の値に等しいことを示す。
この文書において、映像ユニットサイズ/寸法は、映像ユニットの高さ又は幅(例えば、ピクチャ/サブピクチャ/スライス/ブリック/タイル/CTU/CU/CB/TU/TBの幅又は高さ)のいずれかとし得る。映像ユニットサイズがM×Nによって表記される場合、Mは映像ユニットの幅を表し、Nは映像ユニットの高さを表す。
この文書において、“コーディングブロック”は、ルマコーディングブロック及び/又はクロマコーディングブロックとし得る。コーディングブロックに関するルマサンプルにおけるサイズ/寸法は、この発明において、ルマサンプル単位で測定されるサイズ/寸法を表すために使用され得る。例えば、128×128コーディングブロック(又はルマサンプルにおけるコーディングブロックサイズ128×128)は、128×128ルマコーディングブロック、及び/又は4:2:0カラーフォーマットでの64×64クロマコーディングブロックを指し示し得る。同様に、4:2:2カラーフォーマットの場合、それは、128×128ルマコーディングブロック及び/又は64×128クロマコーディングブロックを指し得る。4:4:4カラーフォーマットの場合には、それは、128×128ルマコーディングブロック及び/又は128×128クロマコーディングブロックを指し得る。
コンフィギュラブルCTUサイズ関連
1. 例えばレイヤ/ピクチャ/サブピクチャ/スライス/タイル/ブリックなどの異なる映像ユニットに対して異なるCTU寸法(例えば幅及び/又は高さなど)を可能にすることが提案される:
a) 一例において、一組の又は複数組のCTU寸法が、例えばVPS/DPS/SPS/PPS/APS/ピクチャ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリックのレベルなどの映像ユニットレベルで明示的にシグナリングされ得る;
b) 一例において、参照ピクチャリサンプリング(適応解像度変更としても知られる)が許可されるとき、異なるレイヤ間でCTU寸法が異なり得る:
i. 例えば、インターレイヤピクチャのCTU寸法は、ダウンサンプル/アップサンプルスケーリングファクタに従って暗黙的に導出され得る:
1. 例えば、ベースレイヤに関してシグナリングされるCTU寸法がM×N(例えばM=128及びN=128など)であり、且つインターレイヤ符号化ピクチャが、幅においてスケーリングファクタSで、及び高さにおいてスケーリングファクタTでリサンプリングされる場合(スケーリングファクタは1より大きい又は小さいとし得る(例えば、S=1/4及びT=1/2が、インターレイヤ符号化ピクチャが幅において1/4にダウンサンプリングされ、高さにおいて1/2にダウンサンプリングされることを表すなど)、インターレイヤ符号化ピクチャのCTU寸法は、(M×S)×(N×T)又は(M/S)×(N/T)に導出され得る;
ii. 例えば、映像ユニットレベルで複数のレイヤについて異なるCTU寸法が明示的にシグナリングされてもよく、例えば、インターレイヤリサンプリングピクチャ/サブピクチャに対して、CTU寸法が、ベースレイヤCTU寸法とは異なるVPS/DPS/SPS/PPS/APS/ピクチャ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリックのレベルでシグナリングされ得る。
2. TT又はBTスプリットが許されるか否かがVPDU寸法(例えば幅及び/又は高さなど)に依存し得ることが提案される。VPDUがルマサンプルにおいて寸法VSizeを有し、且つ符号化ツリーブロックがルマサンプルにおいて寸法CtbSizeYを有するとする:
a) 一例において、VSize=min(M,CtbSizeY)である。Mは、例えば64などの整数値である;
b) 一例において、TT又はBTスプリットが許されるか否かは、最大変換サイズに依存しないとし得る;
c) 一例において、ルミナンスサンプルにおけるコーディングブロック幅又は高さがmin(VSize,maxTtSize)より大きいとき、TTスプリットは無効にされ得る:
i. 一例において、最大変換サイズが32×32に等しいが、VSizeが64×64に等しいとき、128×128/128×64/64×128コーディングブロックに対してTTスプリットは無効にされ得る;
ii. 一例において、最大変換サイズが32×32に等しいが、VSizeが64×64に等しいとき、64×64コーディングブロックに対してTTスプリットが許され得る;
d) 一例において、ルマサンプルにおけるコーディングブロック幅がVSize以下であるが、ルマサンプルにおけるその高さがVSizeより大きいとき、垂直BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、64×128コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットが許可され得る;
e) 一例において、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャ幅を超えているが、ルマサンプルにおけるその高さがVSizeより大きいとき、垂直BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャ幅を超えているとき、水平BTスプリットが許可され得る;
f) 一例において、ルマサンプルにおけるコーディングブロック幅がVSizeより大きいが、ルマサンプルにおけるその高さがVSize以下であるとき、水平BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、128×64コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットが許可され得る;
g) 一例において、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャの高さを超えているが、ルマサンプルにおけるその幅がVSizeより大きいとき、水平BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるとき、垂直BTスプリットが許可され得る;
h) 一例において、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグは、シグナリングされず、ゼロであると暗黙的に導出され得る:
i. あるいは、TT及び/又はBTスプリットが有効にされるとき、TT及び/又はBTスプリットフラグは、ビットストリーム内で明示的にシグナリングされ得る;
ii. あるいは、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグはシグナリングされるがデコーダによって無視され得る;
iii. あるいは、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグはシグナリングされるが、適合ビットストリームにおいてゼロでなければならない。
3. CTU寸法(例えば幅及び/又は高さなど)が128より大きくなり得ることが提案される:
a) 一例において、シグナリングされるCTU寸法は256又は更にはそれより大きくてもよい(例えば、log2_ctu_size_minus5は3以上であり得る);
b) 一例において、導出されるCTU寸法は256又は更にはそれより大きくてもよい:
i. 例えば、ピクチャ/サブピクチャをリサンプリングするための導出CTU寸法は128より大きいとし得る。
4. より大きいCTU寸法が許されるとき(例えばCTU幅及び/又は高さが128より大きいなど)、QTスプリットフラグが真であると推定されることができ、スプリットされたコーディングブロックの寸法が指定値(例えば、指定値は、最大変換ブロック寸法又は128又は64又は32に設定され得る)に達するまでQTスプリットが再帰的に適用され得ることが提案される:
a) 一例において、再帰的QTスプリットは、スプリットされたコーディングブロックサイズが最大変換ブロックサイズに達するまで、シグナリングなしで暗黙的に行われ得る;
b) 一例において、CTU 256×256がデュアルツリーに適用されるとき、QTスプリットフラグは、最大変換ブロックサイズより大きいコーディングブロックに対してシグナリングされないとすることができ、QTスプリットは、スプリットされたコーディングブロックサイズが最大変換ブロックサイズに達するまで、コーディングブロックに対して強制的に使用され得る。
5. TTスプリットフラグが、128より大きいCU/PU寸法(幅及び/又は高さ)に対して条件付きでシグナリングされ得ることが提案される:
a) 一例において、水平及び垂直の双方のTTスプリットフラグが、256×256CUに対してシグナリングされ得る;
b) 一例において、垂直TTスプリットはされずに、水平TTスプリットは、256×128/256×64CU/PUに対してシグナリングされ得る;
c) 一例において、垂直TTスプリットはされずに、水平TTスプリットは、128×256/64×256CU/PUに対してシグナリングされ得る;
d) 一例において、128より大きいCU寸法に対してTTスプリットフラグが禁止されるとき、それはシグナリングされずに暗黙的にゼロとして導出され得る:
i. 一例において、256×128/256×64CU/PUに対して水平TTスプリットは禁止され得る;
ii. 一例において、128×256/64×256CU/PUに対して垂直TTスプリットは禁止され得る。
6. BTスプリットフラグが、128より大きいCU/PU寸法(幅及び/又は高さ)に対して条件付きでシグナリングされ得ることが提案される:
a) 一例において、水平及び垂直の双方のTTスプリットフラグが、256×256/256×128/128×256CU/PUに対してシグナリングされ得る;
b) 一例において、水平BTスプリットフラグが、64×256CU/PUに対してシグナリングされ得る;
c) 一例において、垂直BTスプリットフラグが、256×64CU/PUに対してシグナリングされ得る;
d) 一例において、128より大きいCU寸法に対してBTスプリットフラグが禁止されるとき、それはシグナリングされずに暗黙的にゼロとして導出され得る:
i. 一例において、K×256CU/PU(例えば、ルマサンプルにおいてKは64以下である)に対して垂直BTスプリットが禁止され、垂直BTスプリットフラグはシグナリングされずにゼロとして導出され得る:
1. 例えば、上のケースにおいて、64×256CU/PUに対して垂直BTスプリットは禁止され得る;
2. 例えば、上のケースにおいて、ピクチャ/サブピクチャ境界で32×256CU/PUを回避するために垂直BTスプリットは禁止され得る;
ii. 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるが、ルマサンプルにおけるその高さがMより大きい(ルマサンプルにおいて例えばM=64など)とき、垂直BTスプリットは禁止され得る;
iii. 一例において、水平BTスプリットは、256×Kコーディングブロック(例えば、Kはルマサンプルにおいて64以下である)に対して禁止され、水平BTスプリットフラグは、シグナリングされずにゼロとして導出され得る:
1. 例えば、上のケースにおいて、256×64コーディングブロックに対して水平BTスプリットは禁止され得る;
2. 例えば、上のケースにおいて、ピクチャ/サブピクチャ境界で256×32コーディングブロックを回避するために水平BTスプリットは禁止され得る;
iv. 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるが、ルマサンプルにおけるその幅がMより大きい(ルマサンプルにおいて例えばM=64など)とき、水平BTスプリットは禁止され得る。
7. アフィンモデルパラメータ計算がCTU寸法に依存し得ることが提案される:
a) 一例において、スケーリングされた動きベクトル及び/又はアフィン予測における制御点動きベクトルの導出がCTU寸法に依存し得る。
8. イントラブロックコピー(IBC)バッファは、最大設定可能/許容CTU寸法に依存し得ることが提案される:
a) 例えば、ルマサンプルにおけるIBCバッファ幅は、N×NをルマサンプルにおけるCTU幅(又は高さ)で除算したものに等しいとすることができ、ただし、Nは、ルマサンプルにおける最大設定可能CTUサイズであり、例えば、N=1<<(log2_ctu_size_minus5+5)などとし得る。
9. 指定された(1つ以上の)符号化ツールのセットが、大きいCU/PUに対して無効にされ得ることが提案され、ここで、大きいCU/PUとは、CU/PU幅又はCU/PU高さのいずれかがN(例えばN=64又は128など)より大きいCU/PUを指す:
a) 一例において、上述の指定された(1つ以上の)符号化ツールは、パレット、及び/又はイントラブロックコピー(IBC)、及び/又はイントラスキップモード、及び/又は三角予測モード、及び/又はCIIPモード、及び/又は通常マージモード、及び/又はデコーダ側動き導出、及び/又は双方向オプティカルフロー、及び/又は予測精緻化ベースオプティカルフロー、及び/又はアフィン予測、及び/又はサブブロックベースTMVPなどとし得る:
i. あるいは、例えばパレット及び/又はイントラブロックコピー(IBC)モードなどの(1つ以上の)スクリーンコンテンツ符号化ツールが、大きいCU/PUに適用されてもよい;
b) 一例において、指定された(1つ以上の)符号化ツールを大きいCU/PUに対して無効にするための明示的にシンタックス制約を使用してもよい:
i. 例えば、パレット/IBCフラグは、大きいCU/PUではないCU/PUに対して明示的にシグナリングされ得る;
c) 一例において、指定された(1つ以上の)符号化ツールを大きいCU/PUに対して無効にするためのビットストリーム制約を使用してもよい。
10. TT又はBTスプリットが許可されるか否かがブロック寸法に依存し得る:
a) 一例において、ルマサンプルにおけるコーディングブロック幅又は高さがN(例えば、N=64)より大きいとき、TTスプリットは無効にされ得る:
i. 一例において、最大変換サイズが32×32に等しいとき、128×128/128×64/64×128コーディングブロックに対してTTスプリットは無効にされ得る;
ii. 一例において、最大変換サイズが32×32に等しいとき、64×64コーディングブロックに対してTTスプリットが許可され得る;
b) 一例において、ルマサンプルにおけるコーディングブロック幅がN(例えば、N=64)以下であるが、ルマサンプルにおけるその高さがN(例えば、N=64)より大きいとき、垂直BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズ32×32である場合に、64×128コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズ32×32である場合に、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットが許可され得る;
c) 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるが、ルマサンプルにおけるその高さが64より大きいとき、垂直BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるとき、水平BTスプリットが許可されてもよい;
d) 一例において、ルマサンプルにおけるコーディングブロック幅がN(例えば、N=64)より大きいが、ルマサンプルにおけるその高さがN(例えば、N=64)以下であるとき、水平BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズ32×32である場合に、128×64コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズ32×32である場合に、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットが許可され得る;
e) 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるが、ルマサンプルにおけるその幅がN(例えば、N=64)より大きいとき、水平BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるとき、垂直BTスプリットが許可されてもよい。
コンフィギュラブル最大変換サイズ関連
11. 最大TUサイズがCTU寸法(幅及び/又は高さ)に依存し得ること、又はCTU寸法が最大TUサイズに依存し得ることが提案される:
a) 一例において、最大TUサイズはCTU寸法以下とするというビットストリーム制約が用いられ得る;
b) 一例において、最大TUサイズのシグナリングはCTU寸法に依存し得る:
i. 例えば、CTU寸法がN(例えば、N=64)より小さいとき、シグナリングされる最大TUサイズはNより小さくなければならない;
ii. 例えば、CTUの寸法がN(例えば、N=64)より小さいとき、最大ルマ変換サイズが64であるのか32であるのかのインジケーション(例えば、sps_max_luma_transform_size_64_flag)はシグナリングされないとすることができ、最大ルマ変換サイズは暗黙的に32として導出され得る。
12. 変換ブロックサイズより大きい幅及び/又は高さを有するブロックに対して、特定の符号化ツールが有効にされ得る:
a) 一例において、特定の符号化ツールは、イントラサブパーティション予測(ISP)、MIP、SBT、又は1つのCUを複数のTUへとスプリットしたり、1つのCBを複数のTBへとスプリットしたりする他の符号化ツールとし得る;
b) 一例において、特定の符号化ツールは、例えば変換スキップモード、BDPCM/DPCM/PCMなど、変換を適用しない(又はアイデンティティ変換のみが適用される)符号化ツールとし得る;
c) 特定のツールは、イントラブロックコピー(IBC)、パレット(PLT)とし得る;
d) 特定のツールは、結合インターイントラ予測(CIIP)とし得る。
13. 特定の符号化ツールが有効にされるか否かは、コーディングブロック寸法に依存し得る:
a) 一例において、特定の符号化ツールは、イントラサブパーティション予測(ISP)、行列ベースイントラ予測(MIP)、サブブロック変換(SBT)、イントラブロックコピー(IBC)、パレット(PLT)などとし得る;
b) 一例において、ルマサンプルにおけるコーディングブロック幅及び/又は高さがN(例えば、N=64)以下であるとき、特定の符号化ツール(例えばISP、MIPなど)が許可され得る:
i. あるいは、ルマサンプルにおけるコーディングブロック幅及び/又は高さがN(例えば、N=64)より大きいとき、特定の符号化ツールが無効にされてもよい;
c) 特定の符号化ツール(例えばISP、MIPなど)が有効にされるか否かは、コーディングブロックサイズとVPDUサイズとの間の関係に依存し得る:
i. 一例において、ルマサンプルにおけるコーディングブロック幅及び/又は高さがVPDUサイズ(例えば32又は64など)以下であるとき、特定の符号化ツールが許可され得る:
1. あるいは、ルマサンプルにおけるコーディングブロック幅及び/又は高さがVPDUサイズ(例えば32又は64など)以下であるとき、特定の符号化ツールが無効にされてもよい;
d) イントラサブパーティション予測(ISP)が有効にされるか否か、及び/又はどの(1つ以上の)パーティションタイプ(例えば、スプリット方向)が許可されるかは、サブパーティションの寸法と最大変換ブロックサイズとの間の関係に依存し得る:
i. 一例において、サブパーティション幅及び/又は高さが、少なくとも1つのパーティションタイプについて最大変換ブロックサイズより大きくないとき、ISPが有効にされ得る:
1. あるいは、さらに、それ以外の場合にISPは無効にされ得る;
ii. 一例において、サブパーティション幅及び/又は高さが、許される全てのパーティションタイプについて最大変換ブロックサイズより大きくないとき、ISPが有効にされ得る:
1. あるいは、さらに、それ以外の場合にISPは無効にされ得る;
iii. 一例において、パーティションタイプ(例えば、intra_subpartitions_split_flag)のシグナリングは、パーティションタイプに基づく対応するサブパーティションの幅及び/又は高さと最大変換ブロックサイズとの間の関係に依存し得る:
1. 一例において、パーティションタイプに基づく対応するサブパーティションの幅及び/又は高さが最大変換ブロックサイズより大きくないという条件を1つのパーティションタイプのみが満たす場合、そのパーティションタイプは、シグナリングされずに推測され得る;
e) 特定の符号化ツール(例えばIBC、PLTなど)が有効にされるか否かは、コーディングブロックサイズと最大変換サイズ(例えば32又は64など)との間の関係に依存し得る:
i. 一例において、特定の符号化ツール(例えばIBC、PLTなど)が有効にされるか否かは、コーディングブロック寸法と固定数64との間の関係に条件付けられないとし得る;
ii. 一例において、ルマサンプルにおけるコーディングブロック幅及び高さが最大変換サイズより大きくないとき、特定の符号化ツール(例えばIBC、PLTなど)が許可され得る:
1. 一例において、ルマサンプルにおけるブロック幅及び/又は高さが最大変換サイズより大きいとき、特定の符号化ツール(例えばIBC、PLTなど)が無効にされ得る;
2. 一例において、最大変換サイズが32に等しい場合、ルマサンプルにおけるブロック幅及び/又は高さが64に等しいとき、特定の符号化ツール(例えばIBC、PLTなど)が無効にされ得る;
f) 特定の符号化ツールが無効にされる場合、関連するシンタックス要素(例えば、ISPでのintra_subpartitions_mode_flag及びintra_subpartitions_split_flag、MIPでのintra_mip_flag及びintra_mip_mode、IBCでのpred_mode_ibc_flag、PLTでのpred_mode_plt_flagなど)は、シグナリングされずに、0であると推定され得る;
g) 特定の符号化ツールが無効にされる場合、関連するシンタックス要素(例えば、ISPでのintra_subpartitions_mode_flag及びintra_subpartitions_split_flag、MIPでのintra_mip_flag及びintra_mip_mode、IBCでのpred_mode_ibc_flag、PLTでのpred_mode_plt_flagなど)は、シグナリングされ得るが、適合ビットストリームにおいて0でなければならない。
14. 暗黙的QTスプリットはVPDUサイズ及び/又は最大変換サイズに依存し得る:
a) 一例において、暗黙的QTスプリットは、コーディングブロック寸法と固定数64との間の関係に条件付けられないとし得る;
b) 一例において、コーディングブロックは暗黙的に4パーティションにスプリットされ、サブパーティションの幅及び高さの両方がVPDUサイズに達するまで、各サブパーティションが再帰的に暗黙スプリットされる;
c) 一例において、コーディングブロックは暗黙的に4パーティションにスプリットされ、サブパーティションの幅及び高さの両方が最大変換サイズに達するまで、各サブパーティションが再帰的に暗黙スプリットされる。
15. サブブロック変換(SBT)に使用される最大ブロック幅及び/又は高さは最大変換サイズに依存し得る:
a) 一例において、最大SBTサイズは最大変換サイズに等しく設定され得る;
b) 一例において、最大SBTサイズに関連するシンタックス要素(例えばsps_sbt_max_size_64_flagなど)はシグナリングされないとし得る;
i. 例えば、最大変換サイズが64より小さいとき、sps_sbt_max_size_64_flagはシグナリングされずに0であると推定される;
ii. 例えば、最大変換サイズが64より小さいが、適合ビットストリームにおいて0に等しくなければならないとき、sps_sbt_max_size_64_flagはシグナリングされる;
c) 一例において、関連するシンタックス要素(例えばcu_sbt_flagなどの)のシグナリングは最大変換サイズに依存し得る;
d) 一例において、関連するシンタックス要素(例えばcu_sbt_flagなどの)のシグナリングは最大SBTサイズに依存しないとし得る。
16. 変換スキップ及び/又はイントラBDPCMに使用される最大ブロックサイズは最大変換サイズに依存し得る:
a) 一例において、最大変換スキップサイズは最大変換サイズに等しく設定され得る;
b) 一例において、最大変換スキップサイズに関連するシンタックス要素(例えばlog2_transform_skip_max_size_minus2など)はシグナリングされないとし得る。
17. イントラBDPCMに使用される最大ブロックサイズは独立にシグナリングされ得る:
a) 一例において、イントラBDPCMに使用される最大ブロックサイズは、変換スキップに使用される最大ブロックサイズに依存しないとし得る;
b) 一例において、イントラBDPCMに使用される最大ブロックサイズを規定するために、SPS/VPS/PPS/スライス/VPDU/CTU/CUレベルフラグがビットストリーム内でシグナリングされ得る。
18. ブロックに対して結合インターイントラ予測(CIIP)を有効にするか無効にするかは、ブロック幅及び/又は高さと最大変換サイズとの間の関係に依存し得る:
a) 一例において、ブロック幅及び/又は高さが最大変換サイズより大きい場合、ブロックに対してCIIPは無効にされ得る;
b) 一例において、CIIPが無効にされる場合、CIIPを指し示すシンタックス要素(例えばciip_flagなど)はシグナリングされないとし得る。
19. CIIPで符号化されるCUの幅及び高さの両方が128より小さいとき、CUを複数のサブパーティションにスプリットすることは許されず、第1のサブパーティションに関するイントラ予測は、第1のサブパーティションの前にイントラ予測が実行される第2のサブパーティションの再構築に依存する可能性がある。
20. CIIPで符号化されたCUを一部のサブパーティションに分割することが許されており、第1のサブパーティションのためのイントラ予測は、第1のサブパーティションにイントラ予測が実行されるのより前にイントラ予測が実行される第2のサブパーティションの再構成に依存し得る。
可逆コーディング関連
21. 変換スキップ符号化される(すなわち、変換が適用されない/アイデンティティ変換のみが適用される)ブロックの最大サイズは、変換が適用されるブロックに関する最大サイズ(例えば、MaxTbSizeY)から導出される:
a) 一例において、変換スキップコーディングブロックに関する最大サイズはMaxTbSizeYに推定される;
b) 一例において、変換スキップコーディングブロックに関する最大サイズのシグナリングはスキップされる。
22. 可逆コーディングが有効にされるとき、シーケンス/ピクチャ/サブピクチャ/スライス/タイルグループ/タイル/ブリック/CTU行/CTU/CU/PU/TU/サブブロックレベルの現在映像ユニットに対して、ルママッピングクロマスケーリング(LMCS)が無効にされ得る:
a) 一例において、LMCS有効化フラグ(例えばsps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag、lmcs_dataなど)は、シーケンス/ピクチャ/サブピクチャ/スライス/タイルグループ/タイル/ブリック/CTU行/CTU/CU/PU/TU/サブブロックレベルの変換量子化バイパスフラグ(例えばsps_transquant_bypass_flag、pps_transquant_bypass_flag、cu_transquant_bypass_flagなど)を条件にしてシグナリングされ得る:
i. 一例において、変換量子化バイパスフラグが1に等しい場合、LMCS有効フラグはシグナリングされずに0であると推定され得る:
1. 一例において、シーケンスレベル変換量子化バイパスフラグ(例えばsps_transquant_bypass_flagなど)が1に等しい場合、シーケンス及び下位レベルのLMCS有効化フラグ(例えばsps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flagなど)は、シグナリングされずに0であると推定され得る;
2. 一例において、シーケンスレベルTransquantBypassEnabledFlagが1に等しい場合、APSレベルlmcs_dataはシグナリングされないとし得る;
3. 一例において、PPSレベル変換量子化バイパスフラグ(例えばpps_transquant_bypass_flag)が1に等しい場合、スライスレベルLMCS有効化フラグ(例えばslice_lmcs_enabled_flag、slice_lmcs_aps_id、slice_chroma_residual_scale_flagなど)は、シグナリングされずに0であると推定され得る;
b) 一例において、変換量子化バイパスフラグが1に等しいとき、LMCS有効化フラグは0に等しくあるべきであるというビットストリーム制約が適用され得る。
5. 実施形態
新たに追加される部分は太字の二重括弧で囲まれ、例えば、{{a}}は、“a”が追加されたことを表し、VVC作業原案から削除される部分は太字の二重角括弧で囲まれ、例えば、[[b]]は、“b”が削除されたことを表す。これらの変更箇所は最新のVVC作業原案(JVET-O2001-v11)をベースにしている。
5.1 実施形態例#1
以下の実施形態は、最大TUサイズをCTUサイズに依存させる発明方法に関する:
(外3)
Figure 2022542139000007
5.2 実施形態例#2
以下の実施形態は、TT及びBTスプリットプロセスをVPDUサイズに依存させる発明方法に関する:
(外4)
Figure 2022542139000008
Figure 2022542139000009
5.3 実施形態例#3
以下の実施形態は、アフィンモデルパラメータ計算をCTUサイズに依存させる発明方法に関する:
(外5)
Figure 2022542139000010
Figure 2022542139000011
5.4 ブロックサイズに応じてBT及びTTスプリットを許可することについての実施形態#4
図1に示すように、最大変換サイズが32×32であろうと64×64であろうと、TTスプリットは、ブロックサイズ64×64のコーディングブロックに対して許可されることができ、BTスプリットは、ブロックサイズ32×64、16×64、8×64、64×32、64×16、64×8に対して許可されることができる。
図1は、ブロックサイズに応じてBT及びTTスプリットを許可することの一例である。
5.5 VPDUサイズ又は64×64に応じてISPを適用することについての実施形態#5
変更箇所は最新のVVC作業原案(JVET-O2001-v14)をベースにしている:
(外6)
Figure 2022542139000012
Figure 2022542139000013
Figure 2022542139000014
5.6 VPDUサイズ又は64×64に応じてMIPを適用することについての実施形態#6
以下の実施形態は、ISPをVPDUサイズに依存させる発明方法に関する。変更箇所は最新のVVC作業原案(JVET-O2001-v14)をベースにしている:
(外7)
Figure 2022542139000015
5.7 最大変換サイズに応じてSBTを適用することについての実施形態#7
(外8)
Figure 2022542139000016
Figure 2022542139000017
5.8 最大変換サイズに応じて変換スキップを適用することについての実施形態#8
(外9)
Figure 2022542139000018
Figure 2022542139000019
5.9 最大変換サイズに応じたclip_flagについての実施形態#9
(外10)
Figure 2022542139000020
Figure 2022542139000021
5.10 CtbSizeYに応じたsps_max_luma_transform_size_64_flagについての実施形態#10
(外11)
Figure 2022542139000022
Figure 2022542139000023
図2は、映像処理装置200のブロック図である。装置200は、ここに記載される方法のうちの1つ以上を実装するために使用され得る。装置200は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信器にて具現化され得る。装置200は、1つ以上のプロセッサ202、1つ以上のメモリ204、及び映像処理ハードウェア206を含み得る。(1つ以上の)プロセッサ202は、本文書に記載される1つ以上の方法を実行するように構成され得る。(1つ以上の)メモリ204は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア206は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用され得る。一部の実施形態において、映像処理ハードウェア206は、少なくとも部分的に、プロセッサ(グラフィカルコプロセッサユニット内にあるとし得る。
一部の実施形態において、映像符号化方法は、図2に関して説明したようなハードウェアプラットフォーム上に実装される装置を用いて実装され得る。
開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの使用に基づいて、結果として生じるビットストリームを変更するわけではない。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、それが決定に基づいて有効にされるときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、その映像処理ツール又はモードに基づいてビットストリームが変更されていることを知って、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされていた映像処理ツール又はモードを用いて実行されることになる。
開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックの映像のビットストリームへの変換においてそのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、決定に基づいて有効にされた映像処理ツール又はモードを用いてはビットストリームが変更されていないことを知って、ビットストリームを処理することになる。
図3は、ここに開示される様々な技術が実装され得る映像処理システム300の一例を示すブロック図である。様々な実装は、システム300のコンポーネントの一部又は全てを含み得る。システム300は、映像コンテンツを受信する入力302を含み得る。映像コンテンツは、例えば8ビット又は10ビットのマルチコンポーネント(多成分)ピクセル値といった、ロー(未加工)又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力302は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)などの有線インタフェース、及びWi-Fi(登録商標)若しくはセルラーインタフェースなどの無線インタフェースを含む。
システム300は、本文書に記載される様々なコーディング又は符号化方法を実装し得る符号化コンポーネント304を含み得る。符号化コンポーネント304は、入力302から符号化コンポーネント304の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。符号化技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。符号化コンポーネント304の出力は、格納されるか、コンポーネント306によって表されるように接続されて通信を介して伝送されるかし得る。入力302で受信された映像の格納又は通信されるビットストリーム(又は符号化)表現は、ディスプレイインタフェース310に送られるピクセル値又は表示可能映像を生成するためにコンポーネント308によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“符号化”の操作又はツールとして参照されることがあるが、理解されることには、符号化のツール又は操作はエンコーダで使用され、符号化の結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。
周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインタフェース(HDMI(登録商標))又はディスプレイポート(Displayport)などを含み得る。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。
図4は、映像処理の方法400のフローチャートである。方法400は、処理410にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行することを含み、上記寸法は、ルマサンプルにおけるVSizeに等しい。
方法400は、処理420にて、上記決定に基づいて上記変換を実行することを含む。
図5は、映像処理の方法500のフローチャートである。方法500は、処理510にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、上記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行することを含む。
方法500は、処理520にて、上記決定に基づいて上記変換を実行することを含む。
図6は、映像処理の方法600のフローチャートである。方法600は、処理610にて、映像ブロックの高さ又は幅を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含み、該決定は、高さ又は幅と値Nとの間の比較に基づき、Nは正の整数である。
方法600は、処理620にて、上記決定に基づいて上記変換を実行することを含む。
図7は、映像処理の方法700のフローチャートである。方法700は、処理710にて、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含む。
方法700は、処理720にて、上記決定に基づいて上記変換を実行することを含む。
図8は、映像処理の方法800のフローチャートである。方法800は、処理810にて、映像ブロックの高さ又は幅を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含む。
方法800は、処理820にて、上記決定に基づいて上記変換を実行することを含む。
図9は、映像処理の方法900のフローチャートである。方法900は、処理910にて、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)変換のための1つ以上の許されるパーティションタイプの選択を実行することを含む。
方法900は、処理920にて、上記決定及び上記選択に基づいて上記変換を実行することを含む。
図10は、映像処理の方法1000のフローチャートである。方法1000は、処理1010にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、無効にされた符号化ツールを有し、符号化ツールに関するシンタックス要素が、ビットストリーム表現から除外され、符号化ツールが無効にされることを規定する所定の値であると推定される。
図11は、映像処理の方法1100のフローチャートである。方法1100は、処理1110にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、無効にされた符号化ツールを有し、ビットストリーム表現は、符号化ツールが無効にされることに基づいて所定の値であると推定される符号化ツールに関するシンタックス要素を有する。
図12は、映像処理の方法1200のフローチャートである。方法1200は、処理1210にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行することを含む。
方法1200は、処理1220にて、上記決定に基づいて上記変換を実行することを含む。
図13は、映像処理の方法1300のフローチャートである。方法1300は、処理1310にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換はサブブロック変換(SBT)を有し、SBTの最大高さ又は最大幅は、最大変換サイズに基づく。
図14は、映像処理の方法1400のフローチャートである。方法1400は、処理1410にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づく。
図15は、映像処理の方法1500のフローチャートである。方法1500は、処理1510にて、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行することを含む。
方法1500は、処理1520にて、上記決定に基づいて上記変換を実行することを含む。
図16は、映像処理の方法1600のフローチャートである。方法1600は、処理1610にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行うことを含む。
方法1600は、処理1620にて、上記決定に基づいて上記変換を実行することを含む。
図17は、映像処理の方法1700のフローチャートである。方法1700は、処理1710にて、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行することを含み、該ルールは、変換符号化を用いてビットストリーム表現内に符号化される映像領域内の複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずにビットストリーム表現内に符号化される映像領域内の複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する。
図18は、映像処理の方法1800のフローチャートである。方法1800は、処理1810にて、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行することを含み、該ルールは、映像領域に対して可逆コーディングが有効にされるときに、映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックである。
方法400-1800において、ISPモードにおいて、上記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される。
方法400-1800において、SBTは、上記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する。
方法400-1800において、変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、BDPCMモードにおいて、現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される。
方法400-1800において、CIIPモードにおいて、映像ブロックの最終予測は、映像ブロックのインター予測と映像ブロックのイントラ予測との加重和に基づく。
方法400-1800において、LMCSプロセスは、映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む。
一部の実施形態において、以下の技術的ソリューションが実装され得る。
A1. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記寸法は、ルマサンプルにおけるVSizeに等しく、前記映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である、方法。
A2. M=64である、ソリューションA1の方法。
A3. 前記VPDUの前記寸法は高さ又は幅である、ソリューションA1又はA2の方法。
A4. 前記決定は最大変換サイズに依存しない、ソリューションA1の方法。
A5. VSizeは所定の値である、ソリューションA1乃至A4のいずれかの方法。
A6. VSize=64である、ソリューションA5の方法。
A7. 前記TT分割の決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがmin(VSize,maxTtSize)より大きいことに基づき、ただし、maxTtSizeは最大変換サイズである、ソリューションA1の方法。
A8. 前記TT分割の決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがVSizeより大きいことに基づく、ソリューションA1の方法。
A9. maxTtSizeは32×32であり、且つVSizeは64×64であり、前記TT分割は、前記映像ブロックのサイズが128×128、128×64、又は64×128であるときに無効にされる、ソリューションA7の方法。
A10. maxTtSizeは32×32であり、且つVSizeは64×64であり、前記TT分割は、前記映像ブロックのサイズが64×64であるときに有効にされる、ソリューションA7の方法。
A11. 垂直BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がVSize以下であり且つルマサンプルにおける前記映像ブロックの高さがVSizeより大きいことに基づく、ソリューションA1の方法。
A12. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記垂直BT分割は、前記映像ブロックのサイズが64×128であるときに無効にされる、ソリューションA11の方法。
A13. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記垂直BT分割は、前記映像ブロックのサイズが32×64、16×64、又は8×64であるときに有効にされる、ソリューションA11の方法。
A14. (i)ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの高さがVSizeより大きいとき、垂直BT分割が無効にされる、ソリューションA1の方法。
A15. ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きいとき、水平BT分割が有効にされる、ソリューションA1の方法。
A16. 水平BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がVSizeより大きく且つルマサンプルにおける前記映像ブロックの高さがVSize以下であることに基づく、ソリューションA1の方法。
A17. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記水平BT分割は、前記映像ブロックのサイズが128×64であるときに無効にされる、ソリューションA16の方法。
A18. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記水平BT分割は、前記映像ブロックのサイズが64×8、64×16、又は64×32であるときに有効にされる、ソリューションA16の方法。
A19. (i)ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの幅がVSizeより大きいとき、水平BT分割が無効にされる、ソリューションA1の方法。
A20. ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きいとき、垂直BT分割が有効にされる、ソリューションA1の方法。
A21. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現から除外され、前記インジケーションは、前記TT又は前記BT分割が無効にされることを指し示す所定の値であると暗黙的に導出される、ソリューションA1の方法。
A22. 前記所定の値はゼロである、ソリューションA21の方法。
A23. 前記TT又は前記BT分割が有効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされる、ソリューションA1の方法。
A24. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされ、該インジケーションはデコーダによって無視される、ソリューションA1の方法。
A25. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされ、該インジケーションは、前記TT又は前記BT分割が無効にされることに基づいてゼロである、ソリューションA1の方法。
A26. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、前記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
A27. 前記TT又は前記BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがNより大きいことに基づき、ただし、Nは正の整数である、ソリューションA26の方法。
A28. N=64である、ソリューションA27の方法。
A29. 最大変換サイズは32×32であり、前記TT分割は、前記映像ブロックのサイズが128×128、128×64、又は64×128であるときに無効にされる、ソリューションA27又はA28の方法。
A30. maxTtSizeは32×32であり、前記TT分割は、前記映像ブロックのサイズが64×64であるときに有効にされる、ソリューションA27又はA28の方法。
A31. 垂直BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がN以下であり且つルマサンプルにおける前記映像ブロックの高さがNより大きいことに基づき、ただし、Nは正の整数である、ソリューションA26の方法。
A32. N=64である、ソリューションA31の方法。
A33. 最大変換サイズは32×32であり、前記垂直BT分割は、前記映像ブロックのサイズが64×128であるときに無効にされる、ソリューションA31又はA32の方法。
A34. 最大変換サイズは32×32であり、前記垂直BT分割は、前記映像ブロックのサイズが32×64、16×64、又は8×64であるときに有効にされる、ソリューションA31又はA32の方法。
A35. (i)ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの高さが64より大きいとき、垂直BT分割が無効にされる、ソリューションA26の方法。
A36. ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きいとき、水平BT分割が有効にされる、ソリューションA26の方法。
A37. 水平BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がNより大きく且つルマサンプルにおける前記映像ブロックの高さがN以下であることに基づき、ただし、Nは整数である、ソリューションA26の方法。
A38. N=64である、ソリューションA37の方法。
A39. 最大変換サイズは32×32であり、前記水平BT分割は、前記映像ブロックのサイズが128×64であるときに無効にされる、ソリューションA37又はA38の方法。
A40. 最大変換サイズは32×32であり、前記水平BT分割は、前記映像ブロックのサイズが64×8、64×16、又は64×32であるときに有効にされる、ソリューションA37又はA38の方法。
A41. (i)ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックのルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの幅がNより大きいとき、水平BT分割が無効にされ、ただし、Nは正の整数である、ソリューションA26の方法。
A42. ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きいとき、垂直BT分割が有効にされる、ソリューションA26の方法。
A43. 前記映像ブロックは、前記映像を前記ビットストリーム表現へと符号化するのに使用される論理パーティションを表すコーディングツリーユニット(CTU)に対応する、ソリューションA1乃至A42のいずれかの方法。
A44. 前記変換を実行することは、前記映像領域から前記ビットストリーム表現を生成することを有する、ソリューションA1乃至A43のいずれかの方法。
A45. 前記変換を実行することは、前記ビットストリーム表現から前記映像領域を生成することを含む、ソリューションA1乃至A43のいずれかの方法。
A46. プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ソリューションA1乃至A45のいずれかの方法を実行させる、装置。
A47. 非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、ソリューションA1乃至A45のいずれかの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
一部の実施形態において、以下の技術的ソリューションが実装され得る。
B1. 映像処理の方法であって、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記決定は、前記高さ又は前記幅と値Nとの間の比較に基づき、ただし、Nは正の整数である、方法。
B2.N=64である、ソリューションB1の方法。
B3. N=128である、ソリューションB1の方法。
B4. 無効にされる前記符号化ツールは、パレット符号化モード、イントラブロックコピー(IBC)モード、及び/又は結合イントラインター予測(CIIP)モードを有する、ソリューションB1乃至B3のいずれかの方法。
B5. 前記符号化ツールは更に、イントラスキップモード、三角予測モード、通常マージモード、デコーダ側動き導出モード、双方向オプティカルフローモード、予測精緻化ベースオプティカルフローモード、アフィン予測モード、及び/又はサブブロックベース時間動きベクトル予測モードを有する、ソリューションB1乃至B4のいずれかの方法。
B6. 有効にされる前記符号化ツールは、パレット符号化モード及び/又はイントラブロックコピー(IBC)モードを有する、ソリューションB1乃至B3のいずれかの方法。
B7. 前記ビットストリーム表現は、前記符号化ツールを無効にするための明示的シンタックス制約を有する、ソリューションB1乃至B3のいずれかの方法。
B8. 前記明示的シンタックス制約は、パレット符号化モードフラグ及び/又はイントラブロックコピー(IBC)モードフラグを有する、ソリューションB7の方法。
B9. 前記映像ブロックは、コーディングユニット(CU)又は予測ユニット(PU)を有する、ソリューションB1乃至B8のいずれかの方法。
B10. 映像処理の方法であって、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
B11. 前記符号化ツールは、イントラサブパーティション予測(ISP)、行列ベースイントラ予測(MIP)、サブブロック変換(SBT)、又は前記映像領域に関連付けられた1つのコーディングユニット(CU)を複数の変換ユニット(TU)へとスプリットする又は前記映像領域に関連付けられた1つのコーディングブロックを複数の変換ブロック(TB)へとスプリットする符号化ツールを有する、ソリューションB10の方法。
B12. 前記符号化ツールは、変換スキップモード、ブロックベースデルタパルス符号変調(BDPCM)、DPCM、又はPCMを有する、ソリューションB10の方法。
B13. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモード(PLT)を有する、ソリューションB10の方法。
B14. 前記符号化ツールは、結合イントラインター予測(CIIP)モードを有する、ソリューションB10の方法。
B15. 映像処理の方法であって、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
B16. 前記符号化ツールは、イントラサブパーティション予測(ISP)、サブブロック変換(SBT)、イントラブロックコピー(IBC)モード、又はパレットモードを有する、ソリューションB15の方法。
B17. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がN以下であるときに有効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、ソリューションB15の方法。
B18. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がNより大きいときに無効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、ソリューションB15の方法。
B19. N=64である、ソリューションB17又はB18の方法。
B20. 前記決定は、前記映像ブロックの前記高さ又は前記幅と仮想パイプラインデータユニット(VPDU)のサイズとの間の比較に基づく、ソリューションB15の方法。
B21. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズ以下であるときに有効にされる、ソリューションB20の方法。
B22. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズより大きいときに無効にされる、ソリューションB20の方法。
B23. 前記VPDUの前記サイズは32又は64である、ソリューションB21又はB22の方法。
B24. 映像処理の方法であって、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)前記変換のための1つ以上の許されるパーティションタイプの選択を実行し、前記決定及び前記選択に基づいて前記変換を実行する、ことを有し、前記ISPモードにおいて、前記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される、方法。
B25. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、ソリューションB24の方法。
B26. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、ソリューションB24の方法。
B27. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、ソリューションB24の方法。
B28. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、ソリューションB24の方法。
B29. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、対応するサブパーティションの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
B30. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
B31. 前記映像ブロックに対する符号化ツールの適用を有効又は無効にすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
B32. 前記最大変換サイズは32又は64である、ソリューションB31の方法。
B33. 前記符号化ツールは、前記映像ブロックの高さ又は幅が最大変換サイズ以下であるときに有効にされる、ソリューションB31又はB32の方法。
B34. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモードを有する、ソリューションB31乃至B33のいずれかの方法。
B35. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記符号化ツールに関するシンタックス要素が、前記ビットストリーム表現から除外され、前記符号化ツールが無効にされることを規定する所定の値であると推定される、ことを有する方法。
B36. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記ビットストリーム表現は、前記符号化ツールが無効にされることに基づいて所定の値であると推定される前記符号化ツールに関するシンタックス要素を有する、ことを有する方法。
B37. 前記所定の値はゼロである、ソリューションB35又はB36の方法。
B38. 前記符号化ツールはイントラサブパーティション予測(ISP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが複数のサブパーティションに分割されるかを指し示し(intra_subpartitions_mode_flagと表記される)、及び/又は前記映像ブロックをどのように複数のサブパーティションに分割するかを指し示す(intra_subpartitions_split_flagと表記される)、ソリューションB35又はB36の方法。
B39. 前記符号化ツールは行列ベースイントラ予測(MIP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記MIPを使用するのかを指し示し(intra_mip_flagと表記される)、及び/又はMIPモードインデックスのインジケーションを指し示す(intra_mip_modeと表記される)、ソリューションB35又はB36の方法。
B40. 前記符号化ツールはイントラブロックコピー(IBC)モードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記IBCモードを使用するのかを指し示す(pred_mode_ibc_flagと表記される)、ソリューションB35又はB36の方法。
B41. 前記符号化ツールはパレットモードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックがパレットモードを使用するのかを指し示す(pred_mode_plt_flagと表記される)、ソリューションB35又はB36の方法。
B42. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
B43. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記VPDUのサイズに等しくなるまで、再帰的に分割される、ソリューションB42の方法。
B44. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記最大変換サイズに等しくなるまで、再帰的に分割される、ソリューションB42の方法。
B45. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換はサブブロック変換(SBT)を有し、前記SBTの最大高さ又は最大幅は、最大変換サイズに基づき、前記SBTは、前記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する、ことを有する方法。
B46. 前記SBTの前記最大高さ又は前記最大幅のうち少なくとも一方が前記最大変換サイズに等しく設定される、ソリューションB45の方法。
B47. 前記ビットストリーム表現は、前記SBTの前記最大高さ又は前記最大幅に関するシンタックス要素を除外する、ソリューションB45の方法。
B48. 前記シンタックス要素は、sps_sbt_max_size_64_flagであり、前記最大変換サイズが64より小さいことを指し示す所定の値であると推定される、ソリューションB47の方法。
B49. 前記所定の値はゼロである、ソリューションB48の方法。
B50. 前記SBTに関するシンタックス要素を前記ビットストリーム表現内でシグナリングすることが前記最大変換サイズに基づく、ソリューションB47の方法。
B51. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、前記変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づき、前記変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、前記BDPCMモードにおいて、前記現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される、ことを有する方法。
B52. 前記変換スキップモードでの前記最大ブロックサイズは、前記最大変換サイズに等しく設定される、ソリューションB51の方法。
B53. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大ブロックサイズに関するシンタックス要素を除外する、ソリューションB51の方法。
B54. 前記イントラBDPCMモードに使用される最大ブロックサイズが、前記ビットストリーム表現内で独立にシグナリングされる、ソリューションB51の方法。
B55. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記変換スキップモードでの前記最大ブロックサイズに基づかない、ソリューションB54の方法。
B56. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記ビットストリーム表現内の、シーケンスパラメータセット(SPS)、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、仮想パイプラインデータユニット(VPDU)、コーディングツリーユニット(CTU)、又はコーディングユニット(CU)内でシグナリングされる、ソリューションB51の方法。
B57. 映像処理の方法であって、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、方法。
B58. 前記映像ブロックの前記高さ及び/又は前記幅が前記最大変換サイズより大きいとき、前記CIIPモードは無効にされる、ソリューションB57の方法。
B59. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される前記1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行い、前記決定に基づいて前記変換を実行する、ことを有し、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、方法。
B60. 前記コーディングユニットの高さ及び幅が128より小さいとき、前記映像ブロックは分割されない、ソリューションB59の方法。
B61. 前記コーディングユニットの高さ及び幅が64以下であるとき、前記映像ブロックは分割されない、ソリューションB59の方法。
B62. 前記映像ブロックは、複数のサブパーティションに分割され、前記複数のサブパーティションの第1のサブパーティションに対するイントラ予測が、前記複数のサブパーティションの第2のパーティションの再構成に基づき、前記第2のサブパーティションのイントラ予測は、前記第1のサブパーティションの前記イントラ予測に先立って実行される、ソリューションB59の方法。
B63. 前記映像ブロックはコーディングユニット(CU)である、ソリューションB59乃至B62のいずれかの方法。
B64. 映像処理の方法であって、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを有し、前記ルールは、変換符号化を用いて前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずに前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する、方法。
B65. 前記変換スキップモードでの前記最大サイズがMaxTbSizeYに等しい、ソリューションB64の方法。
B66. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大サイズのインジケーションを除外する、ソリューションB64の方法。
B67. 映像処理の方法であって、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを有し、前記ルールは、前記映像領域に対して可逆コーディングが有効にされるときに、前記映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、前記映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックであり、前記LMCSプロセスは、前記映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む、方法。
B68. 前記LMCSプロセスに関するインジケーションをシグナリングすることが、前記映像領域についての変換量子化バイパスフラグに基づく、ソリューションB67の方法。
B69. 前記変換量子化バイパスフラグが1に等しいとき、前記LMCSプロセスに関する前記インジケーションは、前記ビットストリーム表現から除外され、ゼロであると推定される、ソリューションB68の方法。
B70. 前記変換を実行することは、前記映像領域から前記ビットストリーム表現を生成することを有する、ソリューションB1乃至B69のいずれかの方法。
B71. 前記変換を実行することは、前記ビットストリーム表現から前記映像領域を生成することを含む、ソリューションB1乃至B69のいずれかの方法。
B72. プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ソリューションB1乃至B71のいずれかの方法を実行させる、装置。
B73. 非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、ソリューションB1乃至B71のいずれかの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
開示される及びその他のソリューション、この文書に記述される例、実施形態、モジュール及び機能動作は、この文書に開示されている構造及びそれらに構造的に均等なものを含め、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの1つ以上の組み合わせにて実施されることができる。開示される及びその他の実施形態は、1つ以上のコンピュータプログラムプロダクトとして実装されることができ、すなわち、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の1つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの1つ以上の組み合わせとすることができる。用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの1つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。伝播される信号は、人工的に生成される信号であり、例えば、適切な受信器装置への伝送のために情報をエンコードするために生成される機械生成による電気信号、光信号、又は電磁信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル)に格納されてもよい。コンピュータプログラムは、1つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。
この文書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する1つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための1つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、例えばEPROM、EEPROM、及びフラッシュメモリデバイスといった半導体メモリデバイス、例えば内部ハードディスク又はリムーバブルディスクといった磁気ディスク;光磁気ディスク;並びにCD ROM及びDVD-ROMディスクを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。
この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの主題又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の技術の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの1以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。
同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。
ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。
の出願は、2020年7月27日に出願された国際特許出願第PCT/CN2020/104786号に基づくものであり、当該国際特許出願は、2019年7月26日に出願された国際特許出願第PCT/CN2019/097926号及び2019年8月31日に出願された国際特許出願第PCT/CN2019/103892号の優先権及び利益を適時に主張するものである上記特許出願の全てをそれらの全体にてここに援用する。

Claims (73)

  1. 映像処理の方法であって、
    映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、
    前記決定に基づいて前記変換を実行する、
    ことを有し、
    前記決定は、前記高さ又は前記幅と値Nとの間の比較に基づき、ただし、Nは正の整数である、
    方法。
  2. N=64である、請求項1に記載の方法。
  3. N=128である、請求項1に記載の方法。
  4. 無効にされる前記符号化ツールは、パレット符号化モード、イントラブロックコピー(IBC)モード、及び/又は結合イントラインター予測(CIIP)モードを有する、請求項1乃至3のいずれかに記載の方法。
  5. 前記符号化ツールは更に、イントラスキップモード、三角予測モード、通常マージモード、デコーダ側動き導出モード、双方向オプティカルフローモード、予測精緻化ベースオプティカルフローモード、アフィン予測モード、及び/又はサブブロックベース時間動きベクトル予測モードを有する、請求項1乃至4のいずれかに記載の方法。
  6. 有効にされる前記符号化ツールは、パレット符号化モード及び/又はイントラブロックコピー(IBC)モードを有する、請求項1乃至3のいずれかに記載の方法。
  7. 前記ビットストリーム表現は、前記符号化ツールを無効にするための明示的シンタックス制約を有する、請求項1乃至3のいずれかに記載の方法。
  8. 前記明示的シンタックス制約は、パレット符号化モードフラグ及び/又はイントラブロックコピー(IBC)モードフラグを有する、請求項7に記載の方法。
  9. 前記映像ブロックは、コーディングユニット(CU)又は予測ユニット(PU)を有する、請求項1乃至8のいずれかに記載の方法。
  10. 映像処理の方法であって、
    映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、
    前記決定に基づいて前記変換を実行する、
    ことを有する方法。
  11. 前記符号化ツールは、イントラサブパーティション予測(ISP)、行列ベースイントラ予測(MIP)、サブブロック変換(SBT)、又は前記映像領域に関連付けられた1つのコーディングユニット(CU)を複数の変換ユニット(TU)へとスプリットする又は前記映像領域に関連付けられた1つのコーディングブロックを複数の変換ブロック(TB)へとスプリットする符号化ツールを有する、請求項10に記載の方法。
  12. 前記符号化ツールは、変換スキップモード、ブロックベースデルタパルス符号変調(BDPCM)、DPCM、又はPCMを有する、請求項10に記載の方法。
  13. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモード(PLT)を有する、請求項10に記載の方法。
  14. 前記符号化ツールは、結合イントラインター予測(CIIP)モードを有する、請求項10に記載の方法。
  15. 映像処理の方法であって、
    映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、
    前記決定に基づいて前記変換を実行する、
    ことを有する方法。
  16. 前記符号化ツールは、イントラサブパーティション予測(ISP)、サブブロック変換(SBT)、イントラブロックコピー(IBC)モード、又はパレットモードを有する、請求項15に記載の方法。
  17. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がN以下であるときに有効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、請求項15に記載の方法。
  18. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がNより大きいときに無効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、請求項15に記載の方法。
  19. N=64である、請求項17又は18に記載の方法。
  20. 前記決定は、前記映像ブロックの前記高さ又は前記幅と仮想パイプラインデータユニット(VPDU)のサイズとの間の比較に基づく、請求項15に記載の方法。
  21. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズ以下であるときに有効にされる、請求項20に記載の方法。
  22. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズより大きいときに無効にされる、請求項20に記載の方法。
  23. 前記VPDUの前記サイズは32又は64である、請求項21又は22に記載の方法。
  24. 映像処理の方法であって、
    映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)前記変換のための1つ以上の許されるパーティションタイプの選択を実行し、
    前記決定及び前記選択に基づいて前記変換を実行する、
    ことを有し、
    前記ISPモードにおいて、前記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される、
    方法。
  25. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、請求項24に記載の方法。
  26. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、請求項24に記載の方法。
  27. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、請求項24に記載の方法。
  28. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、請求項24に記載の方法。
  29. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、対応するサブパーティションの高さ又は幅と前記最大変換サイズとの間の関係に基づく、請求項24に記載の方法。
  30. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、請求項24に記載の方法。
  31. 前記映像ブロックに対する符号化ツールの適用を有効又は無効にすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、請求項24に記載の方法。
  32. 前記最大変換サイズは32又は64である、請求項31に記載の方法。
  33. 前記符号化ツールは、前記映像ブロックの高さ又は幅が最大変換サイズ以下であるときに有効にされる、請求項31又は32に記載の方法。
  34. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモードを有する、請求項31乃至33のいずれかに記載の方法。
  35. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記符号化ツールに関するシンタックス要素が、前記ビットストリーム表現から除外され、前記符号化ツールが無効にされることを規定する所定の値であると推定される、
    ことを有する方法。
  36. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記ビットストリーム表現は、前記符号化ツールが無効にされることに基づいて所定の値であると推定される前記符号化ツールに関するシンタックス要素を有する、
    ことを有する方法。
  37. 前記所定の値はゼロである、請求項35又は36に記載の方法。
  38. 前記符号化ツールはイントラサブパーティション予測(ISP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが複数のサブパーティションに分割されるかを指し示し(intra_subpartitions_mode_flagと表記される)、及び/又は前記映像ブロックをどのように複数のサブパーティションに分割するかを指し示す(intra_subpartitions_split_flagと表記される)、請求項35又は36に記載の方法。
  39. 前記符号化ツールは行列ベースイントラ予測(MIP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記MIPを使用するのかを指し示し(intra_mip_flagと表記される)、及び/又はMIPモードインデックスのインジケーションを指し示す(intra_mip_modeと表記される)、請求項35又は36に記載の方法。
  40. 前記符号化ツールはイントラブロックコピー(IBC)モードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記IBCモードを使用するのかを指し示す(pred_mode_ibc_flagと表記される)、請求項35又は36に記載の方法。
  41. 前記符号化ツールはパレットモードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックがパレットモードを使用するのかを指し示す(pred_mode_plt_flagと表記される)、請求項35又は36に記載の方法。
  42. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行し、
    前記決定に基づいて前記変換を実行する、
    ことを有する方法。
  43. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記VPDUのサイズに等しくなるまで、再帰的に分割される、請求項42に記載の方法。
  44. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記最大変換サイズに等しくなるまで、再帰的に分割される、請求項42に記載の方法。
  45. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換はサブブロック変換(SBT)を有し、前記SBTの最大高さ又は最大幅は、最大変換サイズに基づき、前記SBTは、前記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する、
    ことを有する方法。
  46. 前記SBTの前記最大高さ又は前記最大幅のうち少なくとも一方が前記最大変換サイズに等しく設定される、請求項45に記載の方法。
  47. 前記ビットストリーム表現は、前記SBTの前記最大高さ又は前記最大幅に関するシンタックス要素を除外する、請求項45に記載の方法。
  48. 前記シンタックス要素は、sps_sbt_max_size_64_flagであり、前記最大変換サイズが64より小さいことを指し示す所定の値であると推定される、請求項47に記載の方法。
  49. 前記所定の値はゼロである、請求項48に記載の方法。
  50. 前記SBTに関するシンタックス要素を前記ビットストリーム表現内でシグナリングすることが前記最大変換サイズに基づく、請求項47に記載の方法。
  51. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、前記変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づき、前記変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、前記BDPCMモードにおいて、前記現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される、
    ことを有する方法。
  52. 前記変換スキップモードでの前記最大ブロックサイズは、前記最大変換サイズに等しく設定される、請求項51に記載の方法。
  53. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大ブロックサイズに関するシンタックス要素を除外する、請求項51に記載の方法。
  54. 前記イントラBDPCMモードに使用される最大ブロックサイズが、前記ビットストリーム表現内で独立にシグナリングされる、請求項51に記載の方法。
  55. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記変換スキップモードでの前記最大ブロックサイズに基づかない、請求項54に記載の方法。
  56. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記ビットストリーム表現内の、シーケンスパラメータセット(SPS)、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、仮想パイプラインデータユニット(VPDU)、コーディングツリーユニット(CTU)、又はコーディングユニット(CU)内でシグナリングされる、請求項51に記載の方法。
  57. 映像処理の方法であって、
    映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行し、
    前記決定に基づいて前記変換を実行する、
    ことを有し、
    前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、
    方法。
  58. 前記映像ブロックの前記高さ及び/又は前記幅が前記最大変換サイズより大きいとき、前記CIIPモードは無効にされる、請求項57に記載の方法。
  59. 映像処理の方法であって、
    1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される前記1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行い、
    前記決定に基づいて前記変換を実行する、
    ことを有し、
    前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、
    方法。
  60. 前記コーディングユニットの高さ及び幅が128より小さいとき、前記映像ブロックは分割されない、請求項59に記載の方法。
  61. 前記コーディングユニットの高さ及び幅が64以下であるとき、前記映像ブロックは分割されない、請求項59に記載の方法。
  62. 前記映像ブロックは、複数のサブパーティションに分割され、前記複数のサブパーティションの第1のサブパーティションに対するイントラ予測が、前記複数のサブパーティションの第2のパーティションの再構成に基づき、前記第2のサブパーティションのイントラ予測は、前記第1のサブパーティションの前記イントラ予測に先立って実行される、請求項59に記載の方法。
  63. 前記映像ブロックはコーディングユニット(CU)である、請求項59乃至62のいずれかに記載の方法。
  64. 映像処理の方法であって、
    複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、
    ことを有し、
    前記ルールは、変換符号化を用いて前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずに前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する、
    方法。
  65. 前記変換スキップモードでの前記最大サイズがMaxTbSizeYに等しい、請求項64に記載の方法。
  66. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大サイズのインジケーションを除外する、請求項64に記載の方法。
  67. 映像処理の方法であって、
    複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、
    ことを有し、
    前記ルールは、前記映像領域に対して可逆コーディングが有効にされるときに、前記映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、
    前記映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックであり、
    前記LMCSプロセスは、前記映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む、
    方法。
  68. 前記LMCSプロセスに関するインジケーションをシグナリングすることが、前記映像領域についての変換量子化バイパスフラグに基づく、請求項67に記載の方法。
  69. 前記変換量子化バイパスフラグが1に等しいとき、前記LMCSプロセスに関する前記インジケーションは、前記ビットストリーム表現から除外され、ゼロであると推定される、請求項68に記載の方法。
  70. 前記変換を実行することは、前記映像領域から前記ビットストリーム表現を生成することを有する、請求項1乃至69のいずれかに記載の方法。
  71. 前記変換を実行することは、前記ビットストリーム表現から前記映像領域を生成することを有する、請求項1乃至69のいずれかに記載の方法。
  72. プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、請求項1乃至71のいずれかに記載の方法を実行させる、装置。
  73. 非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、請求項1乃至71のいずれかに記載の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
JP2022505205A 2019-07-26 2020-07-27 映像コーディングモードのブロックサイズ依存使用 Active JP7383119B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023189116A JP2023184634A (ja) 2019-07-26 2023-11-06 映像コーディングモードのブロックサイズ依存使用

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/097926 2019-07-26
CN2019097926 2019-07-26
CNPCT/CN2019/103892 2019-08-31
CN2019103892 2019-08-31
PCT/CN2020/104786 WO2021018083A1 (en) 2019-07-26 2020-07-27 Block size dependent use of video coding mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023189116A Division JP2023184634A (ja) 2019-07-26 2023-11-06 映像コーディングモードのブロックサイズ依存使用

Publications (2)

Publication Number Publication Date
JP2022542139A true JP2022542139A (ja) 2022-09-29
JP7383119B2 JP7383119B2 (ja) 2023-11-17

Family

ID=74230173

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022505204A Active JP7369273B2 (ja) 2019-07-26 2020-07-27 ブロックサイズに基づくピクチャ分割モードの決定
JP2022505205A Active JP7383119B2 (ja) 2019-07-26 2020-07-27 映像コーディングモードのブロックサイズ依存使用
JP2023189116A Pending JP2023184634A (ja) 2019-07-26 2023-11-06 映像コーディングモードのブロックサイズ依存使用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022505204A Active JP7369273B2 (ja) 2019-07-26 2020-07-27 ブロックサイズに基づくピクチャ分割モードの決定

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023189116A Pending JP2023184634A (ja) 2019-07-26 2023-11-06 映像コーディングモードのブロックサイズ依存使用

Country Status (11)

Country Link
US (4) US11659179B2 (ja)
EP (2) EP3987776A4 (ja)
JP (3) JP7369273B2 (ja)
KR (2) KR20220036938A (ja)
CN (2) CN114175657B (ja)
AU (1) AU2020321002B2 (ja)
BR (1) BR112022001279A2 (ja)
CA (1) CA3148299C (ja)
MX (1) MX2022000716A (ja)
WO (2) WO2021018082A1 (ja)
ZA (1) ZA202201250B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240056656A (ko) * 2016-10-10 2024-04-30 삼성전자주식회사 블록 맵을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
EP3987776A4 (en) 2019-07-26 2022-10-19 Beijing Bytedance Network Technology Co., Ltd. USING A VIDEO CODING MODE BASED ON A BLOCK SIZE
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080213A (ja) 2010-09-30 2012-04-19 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CA2979455C (en) 2011-01-12 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
CA2833902C (en) 2011-06-24 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US20130083840A1 (en) * 2011-09-30 2013-04-04 Broadcom Corporation Advance encode processing based on raw video data
JP2014045434A (ja) 2012-08-28 2014-03-13 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びそれらのプログラム
JP6341426B2 (ja) 2012-09-10 2018-06-13 サン パテント トラスト 画像復号化方法および画像復号化装置
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2015012600A1 (ko) 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
KR102353787B1 (ko) 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
CN106105212A (zh) 2014-03-07 2016-11-09 高通股份有限公司 简化的子预测单元(sub‑pu)运动参数继承(mpi)
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
CA2942903A1 (en) * 2014-03-16 2015-09-24 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
US9838712B2 (en) 2014-03-17 2017-12-05 Hfi Innovation Inc. Method of signaling for depth-based block partitioning
US9877034B2 (en) 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
JP6328277B2 (ja) 2014-06-20 2018-05-23 寰發股▲ふん▼有限公司HFI Innovation Inc. ビデオ符号化(coding)のパレット予測器シグナリング方法
CN105519106B (zh) 2014-06-20 2017-08-04 寰发股份有限公司 用于三维或多视图视频编码中基于深度的块分区模式的编码方法
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016167538A1 (ko) 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
CN106254870B (zh) 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US10390020B2 (en) 2015-06-08 2019-08-20 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
KR102199463B1 (ko) 2015-08-31 2021-01-06 삼성전자주식회사 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치
US10819987B2 (en) * 2015-11-12 2020-10-27 Lg Electronics Inc. Method and apparatus for coefficient induced intra prediction in image coding system
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CN116828177A (zh) * 2016-06-24 2023-09-29 世宗大学校产学协力团 视频信号解码和编码方法、比特流的传输方法
CN109479131B (zh) 2016-06-24 2023-09-01 世宗大学校产学协力团 视频信号处理方法及装置
EP3800891A1 (en) * 2016-10-04 2021-04-07 Ki Baek Kim Image data encoding/decoding method and apparatus
US20180109814A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method And Apparatus Of Coding Unit Information Inheritance
WO2018088805A1 (ko) * 2016-11-08 2018-05-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
JPWO2018123313A1 (ja) * 2016-12-26 2019-10-31 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
WO2018123315A1 (ja) 2016-12-26 2018-07-05 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
BR112019013978A2 (pt) 2017-01-12 2020-03-03 Sony Corporation Dispositivo e método de processamento de imagem.
CN117201819A (zh) 2017-05-26 2023-12-08 Sk电信有限公司 对视频数据进行编码或解码的方法和存储比特流的方法
US20180367818A1 (en) * 2017-06-15 2018-12-20 Futurewei Technologies, Inc. Block Partition Structure in Video Compression
CN109151477B (zh) * 2017-06-28 2020-08-07 华为技术有限公司 一种图像数据的编码、解码方法及装置
CN111149359B (zh) 2017-09-20 2023-11-17 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
JP2021010046A (ja) 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
US11039143B2 (en) * 2017-11-20 2021-06-15 Qualcomm Incorporated Memory reduction for context initialization with temporal prediction
US11259021B2 (en) 2017-12-29 2022-02-22 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11470359B2 (en) 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10284866B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10609403B2 (en) * 2018-07-09 2020-03-31 Tencent America LLC Method and apparatus for block partition with non-uniform quad split
US10743029B2 (en) 2018-07-30 2020-08-11 Tencent America LLC Constraints on coding unit partition
KR102616766B1 (ko) 2018-09-22 2023-12-27 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US20200120339A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra Prediction For Multi-Hypothesis
CN115514958A (zh) 2018-11-02 2022-12-23 抖音视界有限公司 用于基于历史的运动矢量预测的表维护
WO2020094076A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Motion candidates for inter prediction
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
WO2020103933A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Configuration method for default motion candidate
CN113170182B (zh) 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
US10999594B2 (en) 2018-12-20 2021-05-04 Qualcomm Incorporated Virtual search area for current picture referencing (CPR) and intra block copy (IBC)
KR20200083317A (ko) * 2018-12-31 2020-07-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113196780A (zh) 2019-01-12 2021-07-30 韦勒斯标准与技术协会公司 使用多变换核处理视频信号的方法和设备
US20200252608A1 (en) 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
CN113396589A (zh) 2019-02-11 2021-09-14 北京字节跳动网络技术有限公司 基于五叉树的视频块分割
CN117714694A (zh) * 2019-02-17 2024-03-15 北京字节跳动网络技术有限公司 处理视频数据的方法、装置和计算机可读记录介质
US11159795B2 (en) 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
US11032543B2 (en) 2019-03-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
EP3987776A4 (en) 2019-07-26 2022-10-19 Beijing Bytedance Network Technology Co., Ltd. USING A VIDEO CODING MODE BASED ON A BLOCK SIZE

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, ET AL.: "Versatile Video Coding (Draft 6)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O2001-vE, JPN6023010733, 31 July 2019 (2019-07-31), pages 62 - 66, ISSN: 0005017544 *
LING LI, ET AL.: "Maximum transform size signaling in HLS", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0227-v2, JPN6023010732, 27 March 2019 (2019-03-27), ISSN: 0005017545 *

Also Published As

Publication number Publication date
MX2022000716A (es) 2022-02-23
US20220150491A1 (en) 2022-05-12
CA3148299C (en) 2024-06-04
JP2022542138A (ja) 2022-09-29
KR20220036939A (ko) 2022-03-23
WO2021018083A1 (en) 2021-02-04
US20220150544A1 (en) 2022-05-12
CN114175657B (zh) 2023-12-26
AU2020321002B2 (en) 2023-06-01
US11930175B2 (en) 2024-03-12
EP3987776A4 (en) 2022-10-19
US20220150492A1 (en) 2022-05-12
JP7383119B2 (ja) 2023-11-17
US11539949B2 (en) 2022-12-27
BR112022001279A2 (pt) 2022-03-22
JP7369273B2 (ja) 2023-10-25
EP3991429A1 (en) 2022-05-04
US11659179B2 (en) 2023-05-23
JP2023184634A (ja) 2023-12-28
EP3987776A1 (en) 2022-04-27
CA3148299A1 (en) 2021-02-04
AU2020321002A1 (en) 2022-02-24
EP3991429A4 (en) 2022-08-31
US20240107016A1 (en) 2024-03-28
WO2021018082A1 (en) 2021-02-04
CN117354527A (zh) 2024-01-05
ZA202201250B (en) 2023-11-29
KR20220036938A (ko) 2022-03-23
CN114175657A (zh) 2022-03-11
CN114175632A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113170116A (zh) 为帧内模式视频处理使用参考行
US11388476B2 (en) Block partitioning method and apparatus
JP7369273B2 (ja) ブロックサイズに基づくピクチャ分割モードの決定
CN116671101A (zh) 编解码视频中量化信息的信令通知
CN114175632B (zh) 对视频编解码模式的块尺寸相关使用
CN114175650A (zh) 视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖
RU2815443C2 (ru) Определение режима разделения изображения на основе размера блока
KR102616383B1 (ko) 비디오 픽처 헤더의 필터 파라미터 시그널링
JP7415038B2 (ja) 映像コーディングにおける適合性ウィンドウパラメータ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231107

R150 Certificate of patent or registration of utility model

Ref document number: 7383119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150