CN114731437B - 通过使用自适应颜色空间变换处理视频信号的方法和设备 - Google Patents

通过使用自适应颜色空间变换处理视频信号的方法和设备 Download PDF

Info

Publication number
CN114731437B
CN114731437B CN202080081442.7A CN202080081442A CN114731437B CN 114731437 B CN114731437 B CN 114731437B CN 202080081442 A CN202080081442 A CN 202080081442A CN 114731437 B CN114731437 B CN 114731437B
Authority
CN
China
Prior art keywords
transform
quantization parameter
block
flag
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080081442.7A
Other languages
English (en)
Other versions
CN114731437A (zh
Inventor
郑在洪
孙周亨
金东哲
高建重
郭真三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wilus Institute of Standards and Technology Inc
Original Assignee
Wilus Institute of Standards and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wilus Institute of Standards and Technology Inc filed Critical Wilus Institute of Standards and Technology Inc
Priority to CN202410378920.0A priority Critical patent/CN118317119A/zh
Priority to CN202410373603.XA priority patent/CN118317117A/zh
Priority to CN202410378883.3A priority patent/CN118317118A/zh
Priority to CN202410373397.2A priority patent/CN118317116A/zh
Publication of CN114731437A publication Critical patent/CN114731437A/zh
Application granted granted Critical
Publication of CN114731437B publication Critical patent/CN114731437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于处理视频信号的方法和设备，该方法包括以下步骤：从比特流中获取指示变换跳过标志是否能够存在于变换单元语法中的变换跳过活动标志，该变换跳过标志指示是否变换跳过被应用于当前块中包括的变换块；从比特流中获取指示是否应用调色板模式的调色板活动标志；当变换跳过活动标志指示变换单元语法中存在变换跳过标志或调色板活动标志指示应用调色板模式时，从比特流中获取与变换跳过模式中允许的最小量化参数相关的信息；基于与最小量化参数相关的信息获取最小量化参数；基于获取的最小量化参数校正量化参数；以及基于校正的量化参数重构当前块。

Description

通过使用自适应颜色空间变换处理视频信号的方法和设备
技术领域
本发明涉及视频信号处理方法和装置，并且更具体地，涉及用于对视频信号进行编码或解码的视频信号处理方法和装置。
背景技术
压缩编译指代用于通过通信线路发送数字化信息或以适合于存储介质的形式存储信息的一系列信号处理技术。压缩编码的对象包括诸如语音、视频和文本的对象，并且特别地，用于对图像执行压缩编码的技术被称为视频压缩。考虑到空间相关性、时间相关性和随机相关性，通过去除过多的信息来执行对视频信号的压缩编译。然而，随着各种媒体和数据传输媒体的最新发展，需要更有效的视频信号处理方法和装置。
发明内容
技术问题
本公开的一个方面用于提高视频信号编译效率。
技术方案
根据本公开的实施例的用于对视频信号进行解码的方法包括，从比特流中获得指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块，从所述比特流获得指示调色板模式是否被应用的调色板激活标志，当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示所述调色板模式的应用时，从所述比特流中获得与在变换跳过模式中允许的最小量化参数相关的信息，基于与所述最小量化参数相关的信息，获得所述最小量化参数，基于所获得的最小量化参数，校正量化参数，以及基于所校正的量化参数，重构所述当前块，其中，当所述变换跳过标志指示对所述当前块的变换块应用变换跳过时，不对所述变换块应用变换。
根据本公开的实施例的用于对所述视频信号进行解码的方法包括：从所述比特流中获得所述变换跳过标志，当所述变换跳过标志指示不对所述变换块应用变换跳过时，基于量化参数偏移获得校正的量化参数，当所述校正的量化参数小于0时，将所述校正的量化参数限幅为0，以及基于所述校正的量化参数重构所述当前块。
根据本公开的实施例的用于对视频信号进行解码的方法包括：从所述比特流中获得所述变换跳过标志，当所述变换跳过标志指示对所述变换块应用变换跳过时，基于量化参数偏移获得校正的量化参数，当所述校正的量化参数小于所述最小量化参数时，将所述校正的量化参数限幅为所述最小量化参数，以及基于所述校正的量化参数重构所述当前块。
根据本公开的实施例的用于对所述视频信号进行解码的方法包括：从所述比特流中获得指示颜色空间变换是否应用于所述当前块的颜色空间变换激活标志，以及基于所述颜色空间变换激活标志和所述变换块的颜色分量来确定所述量化参数偏移。
在根据本公开的实施例的用于对所述视频信号进行解码的方法中，所述量化参数偏移的确定包括：当所述颜色空间变换激活标志指示不对所述当前块应用颜色空间变换时，确定所述量化参数偏移为0，并且当所述颜色空间变换激活标志指示对所述当前块应用颜色空间变换时，针对所述变换块的每个颜色分量，确定所述量化参数偏移为预先确定的偏移。
在根据本公开的实施例的用于对所述视频信号进行解码的方法中，从序列参数集(SPS)、图片参数集(PPS)、图片报头或切片报头当中的至少一个比特流中获得所述变换跳过激活标志、所述调色板激活标志以及所述最小量化参数相关信息。
根据本公开的实施例的用于对所述视频信号进行解码的方法包括：从所述比特流中获得指示除了0之外的一个或多个变换系数是否存在于第二通道变换块中的第二变换系数标志，所述第二通道变换块包括在与所述当前块对应的第二通道块中，从所述比特流中获得指示除了0之外的一个或多个变换系数是否存在于第三通道变换块中的第三变换系数标志，所述第三通道变换块包括在与所述当前块对应的第三通道块中，并且当指示当前处理的树的类型的信息为DUAL_TREE_LUMA或SINGLE_TREE、所述当前块的预测方法为帧内预测、并且帧内子分区模式不应用于所述当前块时，基于颜色空间变换激活标志是否指示颜色空间变换不应用于所述当前块，从所述比特流获得第一变换系数标志，所述第一变换系数标志指示除了0之外的一个或多个变换系数是否存在于所述当前块中包括的第一通道变换块中，其中所述SINGLE_TREE指示在分区包括所述当前块的上位区域中使用单树，并且所述DUAL_TREE_LUMA指示在分区包括所述当前块的上位区域中使用双树，并且所述当前块中包括的分量为第一通道分量。
在根据本公开的实施例的用于对所述视频信号进行解码的方法中，从所述比特流中获得所述第一变换系数标志包括：当所述颜色空间变换激活标志指示颜色空间变换不应用于所述当前块时，从所述比特流中获得所述第一变换系数标志。
在根据本公开的实施例的用于对所述视频信号进行解码的方法中，从所述比特流中获得所述第一变换系数标志包括：当满足多个条件中的一个并且所述颜色空间变换激活标志指示颜色空间变换被应用于所述当前块时，从所述比特流中获得所述第一变换系数标志，并且所述多个条件包括：与所述当前块对应的第二通道块和第三通道块存在并且所述第二变换系数标志指示除了0之外的一个或多个变换系数存在于所述第二通道变换块中的条件、与所述当前块对应的第二通道块和第三通道块存在并且所述第三变换系数标志指示除了0之外的一个或多个变换系数存在于所述第三通道变换块中的条件、所述当前块的宽度大于最大亮度变换样本数的条件、以及所述当前块的高度大于最大亮度变换样本数的条件。
根据本公开的实施例的用于对所述视频信号进行解码的方法进一步包括，当没有从所述比特流中获得所述第一变换系数标志时，将所述第一变换系数标志配置为指示除了0之外的一个或多个变换系数存在于所述第一通道变换块中。
根据本公开的实施例的用于对视频信号进行解码的设备，包括处理器和存储器，其中，基于所述存储器中存储的指令，所述处理器从比特流获得指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块，从所述比特流获得指示调色板模式是否被应用的调色板激活标志，当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示所述调色板模式的应用时，从所述比特流中获得与在变换跳过模式中允许的最小量化参数相关的信息，基于与所述最小量化参数相关的信息，获得所述最小量化参数，基于所获得的最小量化参数，校正量化参数，并且基于所校正的量化参数，重构所述当前块，并且当所述变换跳过标志指示对所述当前块的变换块应用变换跳过时，不对所述变换块应用变换。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对所述视频信号进行解码的所述设备的处理器，从所述比特流中获得所述变换跳过标志，当所述变换跳过标志指示不对所述变换块应用变换跳过时，基于量化参数偏移获得校正的量化参数，当所述校正的量化参数小于0时，将所述校正的量化参数限幅为0，并且基于所述校正的量化参数重构所述当前块。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对视频信号进行解码的所述设备的处理器，从所述比特流中获得所述变换跳过标志，当所述变换跳过标志指示对所述变换块应用变换跳过时，基于量化参数偏移获得校正的量化参数，当所述校正的量化参数小于所述最小量化参数时，将所述校正的量化参数限幅为所述最小量化参数，并且基于所述校正的量化参数重构所述当前块。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对所述视频信号进行解码的装置的处理器，从所述比特流中获得指示颜色空间变换是否应用于所述当前块的颜色空间变换激活标志，并且基于所述颜色空间变换激活标志和所述变换块的颜色分量来确定所述量化参数偏移。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对所述视频信号进行解码的所述设备的处理器，当所述颜色空间变换激活标志指示不对所述当前块应用颜色空间变换时，确定所述量化参数偏移为0，并且当所述颜色空间变换激活标志指示对所述当前块应用颜色空间变换时，针对所述变换块的每个颜色分量，确定所述量化参数偏移为预先确定的偏移。
从序列参数集(SPS)、图片参数集(PPS)、图片报头或切片报头当中的至少一个比特流中获得根据本公开的实施例的用于对所述视频信号进行解码的所述设备的所述变换跳过激活标志、所述调色板激活标志以及所述最小量化参数相关信息。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对所述视频信号进行解码的所述设备的所述处理器，从所述比特流中获得指示除了0之外的一个或多个变换系数是否存在于第二通道变换块中的第二变换系数标志，所述第二通道变换块包括在与所述当前块对应的第二通道块中，从所述比特流中获得指示除了0之外的一个或多个变换系数是否存在于第三通道变换块中的第三变换系数标志，所述第三通道变换块包括在与所述当前块对应的第三通道块中，并且当指示当前处理的树的类型的信息为DUAL_TREE_LUMA或SINGLE_TREE，所述当前块的预测方法为帧内预测，并且帧内子分区模式不应用于所述当前块时，基于颜色空间变换激活标志是否指示颜色空间变换不应用于所述当前块，从所述比特流中获得第一变换系数标志，所述第一变换系数标志指示除了0之外的一个或多个变换系数是否存在于所述当前块中包括的第一通道变换块中，并且所述SINGLE_TREE指示在分区包括所述当前块的上位区域中使用单树，并且所述DUAL_TREE_LUMA指示在分区包括所述当前块的上位区域中使用双树，并且所述当前块中包括的分量为第一通道分量。
基于存储在所述存储器中的指令，当所述颜色空间变换激活标志指示颜色空间变换不应用于所述当前块时，根据本公开的实施例的用于对所述视频信号进行解码的所述设备的处理器从所述比特流中获得所述第一变换系数标志。
基于存储在所述存储器中的指令，当满足多个条件中的一个并且所述颜色空间变换激活标志指示颜色空间变换被应用于所述当前块时，根据本公开的实施例的用于对所述视频信号进行解码的所述设备的所述处理器从所述比特流中获得所述第一变换系数标志，并且所述多个条件包括：与所述当前块对应的第二通道块和第三通道块存在并且所述第二变换系数标志指示除了0之外的一个或多个变换系数存在于所述第二通道变换块中的条件、与所述当前块对应的第二通道块和第三通道块存在并且所述第三变换系数标志指示除了0之外的一个或多个变换系数存在于所述第三通道变换块中的条件、所述当前块的宽度大于最大亮度变换样本数的条件、以及所述当前块的高度大于最大亮度变换样本数的条件。
基于存储在所述存储器中的指令，根据本公开的实施例的用于对所述视频信号解码的所述设备的处理器当没有从所述比特流中获得所述第一变换系数标志时，将所述第一变换系数标志配置为指示除了0之外的一个或多个变换系数存在于所述第一通道变换块中。
根据本公开的实施例的用于对视频信号进行编码的方法包括生成指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块，生成指示调色板模式是否被应用的调色板激活标志，当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示应用所述调色板模式时，基于所述最小量化参数，生成与在变换跳过模式中允许的最小量化参数相关的信息，以及基于所述变换跳过激活标志、所述调色板激活标志和所述最小量化参数相关信息生成比特流，其中，当所述变换跳过标志指示变换跳过应用于所述当前块的变换块时，不对所述变换块应用变换。
根据本公开的实施例的用于对视频信号进行编码的设备包括处理器和存储器，其中，基于存储在所述存储器中的指令，所述处理器生成指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块，生成指示调色板模式是否被应用的调色板激活标志，当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示应用所述调色板模式时，基于所述最小量化参数，生成与在变换跳过模式中允许的最小量化参数相关的信息，并且基于所述变换跳过激活标志、所述调色板激活标志和所述最小量化参数相关信息生成比特流，并且，当所述变换跳过标志指示变换跳过应用于所述当前块的变换块时，不对所述变换块应用变换。
有益效果
根据本公开的实施例，可以提高视频信号编译效率。
附图说明
图1是根据本发明的实施例的视频信号编码装置的示意性框图。
图2是根据本发明的实施例的视频信号解码装置的示意性框图。
图3示出其中在图片中编译树单元被划分为编译单元的实施例。
图4示出用于用信号发送四叉树和多类型树的划分的方法的实施例。
图5和图6更具体地图示根据本发明的实施例的帧内预测方法。
图7是具体地图示用于通过编码器变换残差信号的方法的图。
图8是具体地图示用于通过编码器和解码器对变换系数进行逆变换来获取残差信号的方法的图。
图9图示与每个变换类型相对应的基函数。
图10图示用于DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII的变换类型的每个索引的信号幅度。
图11图示用于DST-IV、DCT-IV、DST-VII和DCT-VIII的变换类型的每个索引的信号幅度。
图12图示根据当前块的预测模式配置变换候选集的方法。
图13图示根据集索引确定的水平变换核和垂直变换核。
图14是详细地图示通过执行自适应颜色变换的编码器将残差信号变换为变换系数的方法的图。
图15是详细地图示通过执行自适应颜色变换的解码器对变换系数进行逆变换以获得残差信号的方法的图。
图16图示根据本公开的第一方法的校正量化参数值并基于校正的量化参数执行缩放(解量化)的方法。
图17图示根据本公开的第二方法的校正量化参数值并基于校正的量化参数执行缩放(解量化)的方法。
图18图示根据本公开的第三方法的校正量化参数值并基于校正的量化参数来执行缩放(解量化)的方法。
图19图示根据本公开的第四方法的校正量化参数值并基于校正的量化参数执行缩放(解量化)的方法。
图20图示根据本公开的第五方法的校正量化参数值并基于校正的量化参数执行缩放(解量化)的方法。
图21图示用信号发送应用于变换跳过模式的最小量化参数的方法。
图22图示以帧内子分区(ISP)模式对块进行分区的实施例。
图23图示子块变换(SBT)方法。
图24图示作为与变换树相关的语法结构的transform_tree()语法结构。
图25图示根据本公开的实施例的transform_unit()语法结构。
图26图示根据本公开的另一个实施例的transform_unit()语法结构。
具体实施方式
考虑到本发明中的功能，本说明书中使用的术语可以是当前广泛使用的通用术语，但是可以根据本领域的技术人员的意图、习俗或新技术的出现而改变。另外，在某些情况下，可能存在申请人任意选择的术语，并且在这种情况下，其含义在本发明的相应描述部分中进行了描述。因此，应基于整个说明书中的术语和内容的实质含义来解释本说明书中使用的术语。
在本说明书中，一些术语可以解释如下。在一些情况下，编译可以解释为编码或解码。在本说明书中，通过执行视频信号的编码(编译)来生成视频信号比特流的装置被称为编码装置或编码器，并且执行视频信号比特流的解码(解码)以重构视频信号的装置被称为解码装置或解码器。另外，在本说明书中，视频信号处理装置被用作包括编码器和解码器两者的概念的术语。信息是包括所有值、参数、系数、元素等的术语。在一些情况下，含义被不同地解释，因此本发明不限于此。“单元”被用作指代图像处理的基本单位或图片的特定位置的含义，并且指代包括亮度分量和色度分量中的至少一个的图像区域。另外，“块”指代包括亮度分量和色度分量(即，Cb和Cr)当中的特定分量的图像区域。然而，取决于实施例，诸如“单元”、“块”、“分区(partition)”和“区域”的术语可以互换使用。另外，在本说明书中，单元可以用作包括编译单元、预测单元和变换单元的全部的概念。图片指示场或帧，并且根据实施例，这些术语可以互换使用。
图1是根据本发明的实施例的视频信号编码装置100的示意性框图。参考图1，本发明的编码装置100包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和熵编译单元160。
变换单元110通过对残差信号进行变换来获得变换系数的值，该残差信号是输入的视频信号与由预测单元150生成的预测信号之间的差。例如，可以使用离散余弦变换(DCT)、离散正弦变换(DST)或小波变换。DCT和DST通过将输入图片信号分割成多个块来执行变换。在变换中，编译效率可以根据变换区域中的值的分布和特性而变化。量化单元115对从变换单元110输出的变换系数值的值进行量化。
为了改进编译效率，代替照原样对图片信号进行编译的方法，使用一种方法，其使用通过预测单元150已经编译的区域来预测图片，并通过将在原始图片和预测的图片之间的残差值添加到预测的图片来获得重构图片。为了防止编码器和解码器中的不匹配，当在编码器中执行预测时，应该使用可以在解码器中使用的信息。为此，编码器再次执行重构编码的当前块的处理。逆量化单元120对变换系数的值进行逆量化(缩放)，并且逆变换单元125使用逆量化(缩放)的变换系数值来重构残差值。同时，滤波单元130执行滤波操作以改善重构图片的质量并改善编译效率。例如，可以包括去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器。滤波后的图片被输出或存储在解码图片缓冲器(DPB)156中，以用作参考图片。
为了增加编译效率，代替照原样对图片信号进行编译，使用用于获取重构图片的方法，其中，使用已经通过预测单元150被编译的区域来预测图片，并且将原始图片和预测图片之间的残差值添加到预测图片。帧内预测单元152在当前图片内执行帧内预测，并且帧间预测单元154通过使用存储在解码图片缓冲器156中的参考图片来预测当前图片。帧内预测单元152从当前图片中的重构区域执行帧内预测，并将帧内编码信息发送到熵编译单元160。再次，帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a通过参考重构的特定区域来获得当前区域的运动向量值。运动估计单元154a可以将参考区域的位置信息(参考帧、运动向量等)发送到熵编译单元160以被包括在比特流中。运动补偿单元154b使用从运动估计单元154a发送的运动向量值执行帧间运动补偿。
预测单元150包括帧内预测单元152和帧间预测单元154。帧内预测单元152在当前图片中执行帧内预测，并且帧间预测单元154执行帧间预测以通过使用存储在DPB 156中的参考图片来预测当前图片。帧内预测单元152根据当前图片中的重构样本执行帧内预测，并将帧内编译信息发送到熵编译单元160。帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一种。帧内编码信息可以包括关于参考样本的信息。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a参考重构的参考图片的特定区域以获得当前区域的运动向量值。运动估计单元154a将关于参考区域的运动信息集(参考图片索引、运动向量信息等)发送到熵编译单元160。运动补偿单元154b使用从运动估计单元154a发送的运动向量值来执行运动补偿。帧间预测单元154将包括关于参考区域的运动信息集的帧间编码信息发送到熵编译单元160。
根据另一实施例，预测单元150可以包括帧内块复制(BC)预测单元(未图示)。帧内BC预测单元从当前图片中的重构样本执行帧内BC预测，并将帧内BC编码信息发送到熵编译单元160。帧内BC预测单元参考当前图片中的特定区域并获得块向量值，其指示将被用于当前区域的预测的参考区域。帧内BC预测单元可以使用所获得的块向量值来执行帧内BC预测。帧内BC预测单元将帧内BC编码信息发送到熵编译单元160。帧内BC编码信息可以包括块向量信息。
当执行上述图片预测时，变换单元110变换在原始图片和预测图片之间的残差值以获得变换系数值。在这种情况下，可以以图片内的特定块为单位执行变换，并且可以在预设范围内改变特定块的大小。量化单元115对在变换单元110中生成的变换系数值进行量化，并将其发送到熵编译单元160。
熵编译单元160对量化的变换系数信息、帧内编译信息和帧间编译信息进行熵编译以生成视频信号比特流。在熵编译单元160中，可以使用可变长度编译(VLC)方法、算术编译方法等。VLC方法将输入的符号变换成连续的码字，并且码字的长度可以是可变的。例如，频繁出现的符号被表达为短码字，而不太频繁出现的符号被表达为长码字。作为VLC方法，可以使用基于上下文的自适应可变长度编译(CAVLC)方法。算术编译将连续的数据符号变换成单个小数，并且算术编译可以获得表示每个符号所需的最佳小数位数。作为算术编译，可以使用基于上下文的自适应算术编译(CABAC)。例如，熵编译单元160可以对表示量化的变换系数的信息进行二值化。另外，熵编译单元160可以通过对二进制信息进行算术编译来生成比特流。
使用网络抽象层(NAL)单元作为基本单位来封装所生成的比特流。NAL单元包括整数个编译的编译树单元。为了在视频解码器中对比特流进行解码，首先，必须将比特流分离成NAL单元，并且然后必须对每个分离的NAL单元进行解码。同时，可以通过诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等等的高层集合的原始字节序列有效载荷(RBSP)来发送对视频信号比特流进行解码所需的信息。
同时，图1的框图示出根据本发明的实施例的编码装置100，并且分开显示的块在逻辑上区分并示出编码装置100的元件。因此，取决于设备的设计上述编码装置100的元件可以被安装为一个芯片或多个芯片。根据实施例，上述编码装置100的每个元件的操作可以由处理器(未示出)执行。
图2是根据本公开的实施例的视频信号解码装置200的示意性框图。参照图2，本公开的解码装置200包括熵解码单元210、解量化单元220、逆变换单元225、滤波单元230和预测单元250。
熵解码单元210对视频信号比特流进行熵解码，以提取每个区域的变换系数信息、帧内编码信息、帧间编码信息等。例如，熵解码单元210可以从视频信号比特流获得用于特定区域的变换系数信息的二进制码。此外，熵解码单元210通过对二进制码进行逆二值化来获得量化的变换系数。解量化单元220对量化的变换系数进行解量化。逆变换单元225通过使用解量化的变换系数来重构残差值。视频信号处理设备200通过将由逆变换单元225获得的残差值与由预测单元250获得的预测值相加来重构原始像素值。
同时，滤波单元230对图片执行滤波以改善图像质量。这可以包括用于减少块失真的去块滤波器和/或用于去除整个图片的失真的自适应环路滤波器。滤波后的图片被输出或存储在DPB 256中，以用作下一个图片的参考图片。
预测单元250包括帧内预测单元252和帧间预测单元254。预测单元250通过使用通过上述熵解码单元210解码的编码类型、每个区域的变换系数和帧内/帧间编码信息来生成预测图片。为了重构其中执行解码的当前块，可以使用当前图片或包括当前块的其他图片的解码区域。仅将当前图片用于重构(即，执行帧内预测或帧内BC预测)的图片(或图块(tile)/切片(slice))称为帧内图片或I图片(或图块/切片)，并且执行所有帧内预测、帧间预测以及帧内BC预测的图片(或图块/切片)被称为帧间图片(或图块/切片)。为了预测帧间图片(或图块/切片)当中的每个块的样本值，使用最多一个运动向量和参考图片索引的图片(或者图块/切片)被称为预测图片或P图片(或图块/切片)，并且使用最多两个运动向量和参考图片索引的图片(或图块/切片)称为双向预测图片或B图片(或图块/切片)。换句话说，P图片(或图块/切片)使用最多一个运动信息集来预测每个块，并且B图片(或图块/切片)使用最多两个运动信息集来预测每个块。这里，运动信息集包括一个或多个运动向量和一个参考图片索引。
帧内预测单元252使用帧内编码信息和当前图片中的恢复的样本来生成预测块。如上所述，帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一种。帧内预测单元252通过使用位于当前块的左侧和/或上侧的恢复的样本作为参考样本来预测当前块的样本值。在本公开中，恢复的样本、参考样本和当前块的样本可以表示像素。而且，样本值可以表示像素值。
根据实施例，参考样本可以是当前块的邻近块中包括的样本。例如，参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。另外，参考样本可以是在当前块的邻近块的样本当中的在距当前块的左边界预定距离内的线上的样本和/或位于距当前块的上边界预定距离内的线上的样本。在这种情况下，当前块的邻近块可以包括左(L)块、上(A)块、左下(BL)块、右上(AR)块或左上(AL)块。
帧间预测单元254使用参考图片和存储在DPB 256中的帧间编码信息来生成预测块。帧间编译信息可以包括用于参考块的当前块的运动信息集(参考图片索引、运动向量信息等)。帧间预测可以包括L0预测、L1预测和双向预测。L0预测意指使用L0图片列表中包括的一个参考图片进行预测，并且L1预测意指使用L1图片列表中包括的一个参考图片进行预测。为此，可能需要一个集合的运动信息(例如，运动向量和参考图片索引)。在双向预测方法中，可以使用多达两个参考区域，并且两个参考区域可以存在于同一参考图片中或可以存在于不同图片中。即，在双向预测方法中，可以使用多达两个集合的运动信息(例如，运动向量和参考图片索引)，并且两个运动向量可以对应于相同的参考图片索引或不同的参考图片索引。在这种情况下，参考图片可以在时间方面在当前图片之前和之后显示(或输出)。根据实施例，在双向预测方案中使用的两个参考区域可以是从L0图片列表和L1图片列表中的每一个中选择的区域。
帧间预测单元254可以使用运动向量和参考图片索引来获得当前块的参考块。参考块在与参考图片索引相对应的参考图片中。而且，由运动向量指定的块的样本值或其内插值可以用作当前块的预测子。对于具有子像素(sub-pel)单位像素精度的运动预测，例如，可以使用用于亮度信号的8抽头内插滤波器和用于色度信号的4抽头内插滤波器。然而，以子像素为单位的用于运动预测的内插滤波器不限于此。以这种方式，帧间预测单元254执行运动补偿以根据先前使用运动信息重构的运动图片来预测当前单元的纹理。在这种情况下，帧间预测单元可以使用运动信息集。
根据另一实施例，预测单元250可以包括帧内BC预测单元(未被图示)。帧内BC预测单元可以通过参考包括当前图片中的重构样本的特定区域来重构当前区域。帧内BC预测单元从熵解码单元210获得关于当前区域的帧内BC编码信息。帧内BC预测单元获得指示当前图片中的特定区域的当前区域的块向量值。帧内BC预测单元可以使用所获得的块向量值来执行帧内BC预测。帧内BC编码信息可以包括块向量信息。
通过将从帧内预测单元252或帧间预测单元254输出的预测值与从逆变换单元225输出的残差值相加生成重构的视频图片。即，视频信号解码装置200使用由预测单元250生成的预测块和从逆变换单元225获得的残差来重构当前块。
同时，图2的框图示出根据本发明的实施例的解码装置200，并且分开显示的块在逻辑上区分并示出解码装置200的元件。因此，取决于设备的设计上述解码装置200的元件可以被安装为一个芯片或多个芯片。根据实施例，上述解码装置200的每个元件的操作可以由处理器(未示出)执行。
图3图示其中在图片中编译树单元(CTU)被分割成编译单元(CU)的实施例。在视频信号的编译过程中，可以将图片分割成一系列编译树单元(CTU)。编译树单元由亮度样本的NXN块和与其相对应的色度样本的两个块组成。编译树单元可以被分割成多个编译单元。编译树单元可以不被分割，并且可以是叶节点。在这种情况下，编译树单元本身可以是编译单元。编译单元指代在上述视频信号的处理过程中，即，帧内/帧间预测、变换、量化和/或熵编译中用于处理图片的基本单元。一个图片中编译单元的大小和形状可能不恒定。编译单元可以具有正方形或矩形形状。矩形编译单元(或矩形块)包括垂直编译单元(或垂直块)和水平编译单元(或水平块)。在本说明书中，垂直块是其高度大于宽度的块，并且水平块是其宽度大于高度的块。此外，在本说明书中，非正方形块可以指代矩形块，但是本发明不限于此。
参考图3，首先将编译树单元分割成四叉树(QT)结构。即，在四叉树结构中具有2NX2N大小的一个节点可以被分割成具有NXN大小的四个节点。在本说明书中，四叉树也可以称为四元树。可以递归地执行四叉树分割，并非所有节点都需要以相同的深度分割。
同时，上述四叉树的叶节点可以进一步被分割成多类型树(MTT)结构。根据本发明的实施例，在多类型树结构中，一个节点可以被分割成水平或垂直划分的二叉或三叉树结构。即，在多类型树结构中，存在四个分割结构，诸如垂直二元分割、水平二元分割、垂直三元分割和水平三元分割。根据本发明的实施例，在每个树结构中，节点的宽度和高度都可以具有2的幂。例如，在二叉树(BT)结构中，2NX2N大小的节点可以通过垂直二元分割被分割成两个NX2N节点，并通过水平二元分割将其分割成两个2NXN节点。另外，在三叉树(TT)结构中，将2NX2N大小的节点通过垂直三元分割被分割成(N/2)X2N、NX2N和(N/2)X2N节点，并通过水平三元分割被分割成2NX(N/2)、2NXN和2NX(N/2)节点。可以递归地执行此多类型树分割。
多类型树的叶节点可以是编译单元。如果没有指示用于编译单元的分割或者编译单元与最大变换长度相比不大，则编译单元被用作预测和变换的单元而不进一步分割。另一方面，可以通过诸如PPS、SPS、VPS等的更高级别集合的RBSP来预定义或发送上述四叉树和多类型树中的以下参数中的至少一个。1)CTU大小：四叉树的根节点大小，2)最小QT大小MinQtSize：允许的最小QT叶节点大小，3)最大BT大小MaxBtSize：最大允许的BT根节点大小，4)最大TT大小MaxTtSize：最大允许的TT根节点大小，5)最大MTT深度MaxMttDepth：从QT的叶节点分割的MTT的最大允许深度，6)最小BT大小MinBtSize：最小允许的BT叶节点大小，7)最小TT大小MinTtSize：最小允许的TT叶节点大小。
图4图示用于用信号发送四叉树和多类型树分割的方法的实施例。可以使用预设标志来用信号发送上述四叉树和多类型树分割。参考图4，指示节点是否被分割的标志“split_cu_flag”、指示四叉树节点是否被分割的标志“split_qt_flag”、指示多类型树节点的分割方向的标志“mtt_split_cu_vertical_flag”或者指示多类型树节点的分割形状的标志“mtt_split_cu_binary_flag”中的至少一个可以被使用。
根据本发明的实施例，可以首先用信号发送“split_cu_flag”，其是指示当前节点是否被分割的标志。当“split_cu_flag”的值为0时，其指示当前节点未被分割，并且当前节点成为编译单元。当当前节点是编译树单元时，编译树单元包括一个非分割编译单元。当当前节点是四叉树节点“QT节点”时，当前节点是四叉树的叶节点“QT叶节点”，并成为编译单元。当当前节点是多类型树节点“MTT节点”时，当前节点是多类型树的叶节点“MTT叶节点”，并且成为编译单元。
当“split_cu_flag”的值是1时，可以根据“split_qt_flag”的值将当前节点分割成四叉树或多型树的节点。编译树单元是四叉树的根节点，并且可以首先被分割成四叉树结构。在四叉树结构中，为每个节点“QT节点”用信号发送“split_qt_flag”。当“split_qt_flag”的值为1时，该节点被分割成4个正方形节点，而当“split_qt_flag”的值为0时，该节点成为四叉树“QT leaf node”的叶节点，并且该节点被分割成多类型树节点。根据本发明的实施例，可以根据当前节点的类型来限制四叉树分割。当当前节点是编译树单元(四叉树的根节点)或四叉树节点时，可以允许进行四叉树分割，而当当前节点是多类型树节点时，可能不允许四叉树分割。每个四叉树叶节点“QT叶节点”可以进一步被分割成多类型树结构。如上所述，当“split_qt_flag”为0时，当前节点可以被分割成多类型节点。为了指示分割方向和分割形状，可以用信号发送“mtt_split_cu_vertical_flag”和“mtt_split_cu_binary_flag”。当“mtt_split_cu_vertical_flag”的值是1时，指示节点“MTT节点”的垂直分割，并且当“mtt_split_cu_vertical_flag”的值是0时，指示节点“MTT节点”的水平分割。另外，当“mtt_split_cu_binary_flag”的值是1时，节点“MTT节点”被分割成两个矩形节点，并且当“mtt_split_cu_binary_flag”的值是0时，节点“MTT节点”被分割成三个矩形节点。
对不再分割的编译单元(即，编码单元树的叶节点)执行用于编译的图片预测(运动补偿)。在下文中将执行这种预测的基本单元称为预测单元或预测块。在下文中，在本说明书中使用的术语单元可以用作代替预测单元的术语，该预测单元是用于执行预测的基本单元。然而，本发明不限于此，并且可以更广泛地理解为包括编译单元的概念。
图5和图6更加具体地图示根据本发明的实施例的帧内预测方法。如上所述，帧内预测单元通过使用位于当前块的左侧和/或上侧的恢复的样本作为参考样本来预测当前块的样本值。
首先，图5示出在帧内预测模式中用于当前块的预测的参考样本的实施例。根据实施例，参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。如图5中所示，当当前块的大小是WXH并且与当前块相邻的单个参考线的样本被用于帧内预测时，可以使用位于当前块的左侧和上侧的最大2W+2H+1个邻近样本来配置参考样本。
另外，如果尚未恢复要被用作参考样本的样本中的至少一些，则帧内预测单元可以通过执行参考样本填充过程来获得参考样本。另外，帧内预测单元可以执行参考样本滤波处理以减少帧内预测中的误差。即，可以对通过参考样本填充过程获得的周围样本和/或参考样本执行滤波，以获得滤波后的参考样本。帧内预测单元使用由此获得的参考样本来预测当前块的样本。帧内预测单元通过使用尚未被滤波的参考样本或已被滤波的参考样本来预测当前块的样本。在本公开中，周围样本可以包括至少一条参考线上的样本。例如，周围样本可以包括在与当前块的边界相邻的线上的相邻样本。
接下来，图6示出用于帧内预测的预测模式的实施例。对于帧内预测，可以用信号发送指示帧内预测方向的帧内预测模式信息。帧内预测模式信息指示被包括在帧内预测模式集中的多个帧内预测模式中的一个。当当前块是帧内预测块时，解码器从比特流接收当前块的帧内预测模式信息。解码器的帧内预测单元基于提取的帧内预测模式信息对当前块执行帧内预测。
根据本发明的实施例，帧内预测模式集可以包括在帧内预测中使用的所有帧内预测模式(例如，总共67个帧内预测模式)。更具体地，帧内预测模式集可以包括平面模式、DC模式以及多个(例如，65个)角度模式(即，方向模式)。可以通过预设索引(即，帧内预测模式索引)来指示每个帧内预测模式。例如，如图6中所示，帧内预测模式索引0指示平面模式，并且帧内预测模式索引1指示DC模式。此外，帧内预测模式索引2至66可以分别指示不同的角度模式。角度模式分别指示在预设角度范围内彼此不同的角度。例如，角度模式可以指示以顺时针方向在45度和-135度之间的角度范围(即，第一角度范围)内的角度。可以基于12点钟方向定义角度模式。在这种情况下，帧内预测模式索引2指示水平对角线(HDIA)模式，帧内预测模式索引18指示水平(水平，HOR)模式，帧内预测模式索引34指示对角线(DIA)模式，帧内预测模式索引50指示垂直(VER)模式，并且帧内预测模式索引66指示垂直对角线(VDIA)模式。
另一方面，为了增加编译效率，代替照原样对上述残差信号进行编译，可以使用对通过对残差信号进行变换而获得的变换系数值进行量化并对量化的变换系数进行编译的方法。如上所述，变换单元可以通过对残差信号进行变换来获得变换系数值。在这种情况下，特定块的残差信号可以分布在当前块的整个区域上。因此，能够通过对残差信号进行频域变换将能量集中在低频域中，来改进编译效率。在下文中，将详细描述用于对残差信号进行变换或逆变换的方法。
图7是具体地图示用于通过编码器变换残差信号的方法的图。如上所述，空间域中的残差信号可以被变换到频域。编码器可以通过对所获得的残差信号进行变换来获得变换系数。首先，编码器可以获取包括当前块的残差信号的至少一个残差块。残差块可以是当前块或当前块被划分成的块中的任何一个。在本公开中，残差块可以被称为包括当前块的残差样本的残差阵列或残差矩阵。另外，在本公开中，残差块可以表示变换单元或具有与变换块的大小相同的大小的块。
接下来，编码器可以使用变换核来变换残差块。用于对残差块进行变换的变换核可以是具有可分离为垂直变换和水平变换的特性的变换核。在这种情况下，对残差块的变换可以被分离成垂直变换和水平变换。例如，编码器可以通过在残差块的垂直方向上应用变换核来执行垂直变换。另外，编码器可以通过在残差块的水平方向上应用变换核来执行水平变换。在本公开中，变换核可以用作术语来指代用于变换残差信号的参数集，诸如变换矩阵、变换阵列和变换函数。根据实施例，变换核可以是多个可用核中的任何一个。此外，基于不同变换类型的变换核可以用于垂直变换和水平变换中的每一个。将参照图12至图13稍后描述用于选择多个可用变换核中的一个的方法。
编码器可以将从残差块变换的变换块发送到量化单元以对其进行量化。在这种情况下，变换块可以包括多个变换系数。具体地，变换块可以由以二维布置的多个变换系数组成。类似于残差块，变换块的大小可以与当前块或当前块被划分为的块中的任何一个的大小相同。传送到量化单元的变换系数可以被表达为量化值。
另外，编码器可以在对变换系数进行量化之前执行附加的变换。如图7中所图示，上述变换方法可以被称为初次变换，并且附加变换可以被称为二次变换。二次变换对于每个残差块可以是选择性的。根据实施例，编码器可以通过对仅通过初次变换难以将能量集中在低频域中的区域执行二次变换来改善编译效率。例如，可以将二次变换附加到其中残差值在除残差块的水平或垂直方向以外的方向上相对较大地显现的块中。与帧间预测的块的残差值相比，帧内预测的块的残差值可以具有在除水平或垂直方向之外的方向上变化的相对较高的概率。因此，编码器可以附加地对帧内预测的块的残差信号执行二次变换。另外，编码器可以省略对帧间预测的块的残差信号的二次变换。
对于另一示例，可以根据当前块或残差块的大小来确定是否执行二次变换。另外，可以根据当前块或残差块的大小来使用具有不同大小的变换核。例如，可以将8×8二次变换应用于其中宽度或高度中的较短边短于第一预设长度的块。另外，可以将4×4二次变换应用于其中宽度或高度中的较短边大于第二预设长度的块。在这种情况下，第一预设长度可以是大于第二预设长度的值；然而，本公开不限于此。此外，与初次变换不同，二次变换可能不能分离成垂直变换和水平变换。该二次变换可以被称为低频不可分离变换(LFNST)。
另外，在特定区域中的视频信号的情况下，由于亮度的突然改变，即使执行频率变换，也不会减少高频带中的能量。因此，因量化的压缩性能的性能可能劣化。另外，当对残差值很少存在的区域执行变换时，编码时间和解码时间可能不必要地增加。因此，可以省略对特定区域的残差信号的变换。可以通过与特定区域的变换有关的语法元素来确定是否对特定区域的残差信号执行变换。例如，语法元素可以包括变换跳过信息。变换跳过信息可以是变换跳过标志。当关于残差块的变换跳过信息指示变换跳过时，不执行对残差块的变换。在这种情况下，编码器可以立即量化尚未对其进行区域变换的残差信号。参考图7描述的编码器的操作可以通过图1的变换单元来执行。
与变换有关的上述语法元素可以是从视频信号比特流解析的信息。解码器可以对视频信号比特流进行熵解码以获得与变换有关的语法元素。另外，编码器可以通过对与变换有关的语法元素进行熵编码来生成视频信号比特流。
图8是具体地图示用于通过编码器和解码器对变换系数进行逆变换来获取残差信号的方法的图。在下文中，为了便于描述，将描述通过编码器和解码器中的每一个的逆变换单元执行逆变换操作。逆变换单元可以通过对逆量化的变换系数进行逆变换来获得残差信号。首先，逆变换单元可以从特定区域的与变换有关的语法元素中检测是否执行了特定区域的逆变换。根据实施例，当特定变换块上的与变换有关的语法元素指示变换跳过时，可以省略对变换块的变换。在这种情况下，对于变换块，逆初次变换和逆二次变换两者都可以被省略。另外，逆量化变换系数可以用作残差信号。例如，解码器可以通过使用逆量化的变换系数作为残差信号来重构当前块。上述逆初次变换表示用于初次变换的逆变换，并且可以被称为初次逆变换。
根据另一实施例，用于特定变换块的与变换有关的语法元素可以不指示变换跳过。这里，逆变换单元可以确定是否执行用于二次变换的逆二次变换。例如，如果变换块是帧内预测的块的变换块，可以对变换块执行逆二次变换。另外，可以基于与变换块相对应的帧内预测模式来确定用于对应变换块的二次变换核。作为另一个示例，可以基于变换块的大小来确定是否执行逆二次变换。
逆变换单元可以执行解量化的变换系数或逆二次变换的变换系数的逆初次变换。像初次变换一样，逆初次变换可以分离成垂直变换和水平变换。例如，逆变换单元可以对变换块执行垂直逆变换和水平逆变换以获得残差块。逆变换单元可以基于用于对变换块进行变换的变换核来对变换块进行逆变换。例如，编码器可以显式地或隐式地用信号发送指示多个可用变换核中的应用于当前变换块的变换核的信息。解码器可以通过使用指示用信号发送的变换核的信息，在多个可用变换核中选择要用于变换块的逆变换的变换核。逆变换单元可以通过使用通过对变换系数进行逆变换而获得的残差信号来重构当前块。
另一方面，图片的残差信号的分布对于每个区域可以是不同的。例如，特定区域中的残差信号的值的分布可以根据预测方法而变化。当使用相同的变换核对多个不同的变换区域进行变换时，对每个变换区域，编译效率可以根据变换区域中的值的分布和特性而变化。因此，当从多个可用的变换核中自适应地选择用于变换特定变换块的变换核时，可以进一步改善编译效率。即，编码器和解码器可以被配置成在变换视频信号时附加地使用除了基本变换核之外的变换核。用于自适应地选择变换核的方法可以被称为自适应多核变换(AMT)或多变换选择(MTS)。稍后将参考相关附图描述自适应地选择变换核的方法。在本公开中，为了便于解释，变换和逆变换可以统称为变换。此外，将变换核和逆变换核统称为变换核。
在下文中，将参考图9描述可以用于视频信号的变换的多个变换核。根据本公开的实施例，变换核可以是基于特定基函数推导的核。可以基于不同的基函数来获得多个不同变换核中的每一个。可以基于与不同变换类型中的每一个相对应的基函数来获得多个变换核。
图9图示与每个变换类型相对应的基函数。根据实施例，可用于变换视频残差信号的变换核可以包括以下中的至少一个：基于离散余弦变换类型2(DCT-II)的变换核、基于离散余弦变换类型5(DCT-V)的变换核、基于离散余弦变换类型8(DCT-VIII)的变换核、基于离散正弦变换类型1(DST-I)的变换核及基于离散正弦变换类型7(DST-VII)的变换核。
参照图9，与上述DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII的相应变换类型相对应的基函数可以被表示为余弦或正弦函数。例如，与相应的DCT-II、DCT-V和DCT-VIII相对应的基函数可以是余弦型函数，并且与相应的DST-I和DST-VII相对应的基函数可以是正弦型函数。此外，可以以用于每个频率bin的基函数的形式来表达与特定变换类型相对应的基函数。例如，基函数Ti(j)可以是对应于第i个频率bin的基函数。即，当由i指示的值较小时，指示与较低频率相对应的基函数。此外，当由i指示的值较大时，指示与较高频率相对应的基函数。在图9中，j可以指示从0到N-1的整数。
基函数Ti(j)可以被表达为表示第i行第j列中的元素的二维矩阵。这里，使用基于图9的变换类型的变换核的变换在执行变换时具有可分离的特性。也就是说，可以在水平方向和垂直方向中的每一个分别变换对残差信号的变换。例如，使用关于残差块X的变换矩阵T的变换可以被表达为矩阵运算TXT’。这里，T’是指变换矩阵T的转置矩阵。此外，使用关于变换块Y的变换矩阵T的逆变换可以表达为T’YT。
由图9中所图示的基函数定义的变换矩阵的值可以呈小数形式而非整数形式。可能难以在视频编码装置和解码装置中的硬件中实现小数值。因此，从包括小数形式的值的原始变换核整数近似的变换核可以用于编码和解码视频信号。可以经由缩放和舍入原始变换核来生成包括整数值的近似变换核。近似变换核中包括的整数值可以是由预配置的位数可表示的范围内的值。预配置的位数可以是8或10。根据近似，可以不维持DCT和DST的正交特性。然而，由此导致的编译效率损失不大，因此，在硬件实现方面，以整数形式近似变换核可能是有利的。
图10图示DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII的变换类型的每个索引的信号幅度。图10图示每个频率bin的基函数当中的与最低频率bin相对应的基函数的形式。图10图示每个频率bin的基函数中的与第0频率bin相对应的基函数。在图10中，水平轴表示基函数中的索引j(j＝0，1,…，N-1)，而垂直轴表示信号的幅度值。N表示要进行变换的特定区域中的样本的数量。
如图10所示，在DST-VII中，随着索引j增加，信号幅度趋于增加。因此，像帧内预测块的残差块，DST-VII对于其中残差信号的幅度随着水平和垂直方向上的距离相对于残差块的左上方增加而增加的残差块的变换可能是有效的。
另一方面，在DCT-VIII中，随着索引j增加，信号幅度趋向于减小。也就是说，DCT-VIII满足与DST-VII的二元性特征。因此，DCT-VIII对于其中残差信号的幅度随着水平和垂直方向上的距离相对于残差块的左上方增加而减小的残差块的变换可能是有效。
在DST-I中，随着基函数中的索引j增加，信号幅度增加，然后信号幅度从特定索引开始减小。因此，DST-I对于在其中心处具有大残差信号幅度的残差块的变换可能是有效的。
DCT-II的第0个基函数表示DC。因此，它对于在内部具有均匀信号幅度分布的残差块的变换可能是有效的。
DCT-V类似于DCT-II。然而，在DCT-V中，当索引j为0时的信号幅度具有比当索引j不为0时的信号幅度更小的值，即，当索引j为1时，DCT-V具有其中直线弯曲的信号模型。
如上所述，如果使用具有可分离特性的变换核，则可以在残差块的水平和垂直方向中的每一个上执行变换。具体地，可以通过进行两次2D矩阵乘法运算来执行残差块的变换。矩阵乘法运算可以涉及对应于等于或高于预配置水平的水平的计算量。因此，当使用基于DCT-II的变换核来变换残差块时，可以通过使用蝶形结构来减少计算量。然而，由于相对高的实施方式复杂度，DST-VII和DCT-VIII的实施方式在计算量方面可能是困难的。因此，可以使用分别具有与DST-VII和DCT-VIII的特性类似的特性并且具有相对低的实施方式复杂度的变换类型。
根据实施例，离散正弦变换类型IV(DST-IV)和离散余弦变换类型IV(DCT-IV)可以分别代替DST-VII和DCT-VIII。图11图示变换类型(例如，DST-IV、DCT-IV、DST-VII和DCT-VIII)的每个索引的信号幅度。图11(a)图示与DST-IV相对应的基函数和与DCT-IV相对应的基函数。可以从用于样本数量2N的DCT-II推导用于样本数量N的DST-IV和DCT-IV。也就是说，用于样本数量2N的DCT-II部分蝶形结构包括用于样本数量N的DCT-IV。可以通过从用于样本数量N的DCT-IV以逆序布置符号逆运算以及对应的基函数来实现用于样本数目N的DST-IV。
如图11(b)所示，DST-IV指示与DST-VII类似的信号模型。因此，像帧内预测块的残差块，DST-IV对于其中残差信号幅度随着水平和垂直方向上的距离相对于残差块的左上方增加而增加的残差块的变换可能是有效的。DCT-IV示出与DCT-VIII的信令模型类似的信令模型。因此，DCT-IV对于用于变换具有在特定边界处最大且在从所述特定边界进一步朝另一边界的方向上减小的残差信号量值的残差块的变换可能是有效的。
如果仅基于上述变换类型之一的变换核用于变换视频信号，则难以根据原始信号的特性和根据预测模式而变化的残差信号的图样来执行自适应变换。因此，在残差信号的变换中，根据本公开的实施例的编码器和解码器可以通过使用从多个可用的变换核中针对每个区域所选择的变换核来提高编译效率。
在现有的高效率视频编译(HEVC)标准中，使用上述多种变换类型中的基于DCT-II的变换核来变换残差信号，并且通过仅针对大小为4×4的帧内预测块有限地使用基于DST-VII的变换核来执行残差信号变换。如上所述，DCT-II可以适合于帧间预测块的残差信号的变换，但可能不适合于帧内预测块的残差信号的变换。也就是说，根据预测当前块的方法，残差块内的残差信号的图样可以不同。
因此，从多个可用变换核中选择的至少一个变换核可以用于变换特定变换块。根据实施例，编码器和解码器可以基于预测当前块的方法来选择用于当前块的至少一个变换区域的变换核。该方法可以被称为上述的自适应多核变换(AMT)。如果根据用于特定区域的预测方法所确定的变换核用于变换对应区域，则与通过使用基于DCT-II的变换核来对所有区域执行变换的情况相比，可以提高编译效率。
图12图示根据当前块的预测模式来配置变换候选集的方法。根据本公开的实施例，编码器和解码器可以基于与当前块相对应的变换候选集来选择用于当前块的至少一个变换区域的变换核。变换候选集可以包括多个候选变换核。变换候选集可以根据所述当前块的预测模式而包括不同候选变换核。
根据实施例，当前块可以是基于多个帧内预测模式中的一个来预测的块。这里，当前块的残差信号的图样可以根据用于当前块的预测的帧内预测模式而不同。如上所述，帧内预测模式信息可以指示帧内预测方向。因此，当前块的残差信号的图样可以根据由当前块的帧内预测模式信息所指示的预测方向而不同。编码器和解码器可以通过根据预测方向使用多个不同的变换候选集来提高编译效率。
因此，编码器和解码器可以从与当前块的帧内预测模式相对应的变换候选集中确定将在当前块的变换区域中使用的变换核。例如，可以经由指示变换候选集中包括的多个候选变换核中的一个候选变换核的候选索引用信号发送要在变换区域中使用的变换核。如果对应于当前块的帧内预测模式的变换候选集包括两个候选变换核，则指示在变换区域中使用的变换核的候选索引可以被表达为1位。
此外，可以针对变换区域的垂直和水平方向中的每一个使用不同的变换候选集。由于基于方向性而执行的帧内预测方法的特性，预测区域的残差信号的垂直方向图样和水平方向图样可以彼此不同。因此，可以从单独的变换候选集获得用于使用特定帧内预测模式预测的块的垂直变换核和水平变换核。在本公开中，用于特定变换区域的垂直变换的变换核可以被称为垂直变换核。用于特定变换区域的水平变换的变换核可以被称为水平变换核。图12(a)图示分别与67个帧内预测模式索引相对应的变换候选集。在图12(a)中，垂直(V)表示用于垂直变换核的变换候选集。水平(H)表示用于水平变换核的变换候选集。
图12(b)图示根据变换候选集所定义的候选变换核。根据实施例，第一变换候选集(例如，图12B中的变换集0)可以包括基于DST-VII的候选变换核和基于DCT-VIII的候选变换核。第二变换候选集(例如，图12(b)中的变换集1)可以包括基于DST-VII的候选变换核和基于DST-I的候选变换核。第三变换候选集(例如，图12(b)中的变换集2)可以包括基于DST-VII的候选变换核和基于DCT-V的候选变换核。图12图示变换候选集包括两个候选变换核，但本公开不限于此。
根据另一实施例，当前块可以是帧间预测块。这里，可以从预配置的变换候选集获得在当前块的变换区域中使用的变换核。例如，预配置的变换候选集可以是上述多个变换候选集之一。图12(c)图示如果当前块是帧间预测块则与当前块相对应的变换候选集。例如，对应于帧间预测块的预配置的变换候选集可以包括基于DCT-VIII的候选变换核和基于DST-VII的候选变换核。也就是说，用于帧间预测块的变换区域的变换核可以是基于DCT-VIII的候选变换核和基于DST-VII的候选变换核中的一个。
根据附加实施例，上述实施例可以有限地仅应用于亮度分量的变换块。这里，预配置的默认变换核可以用于色度分量的变换块。例如，默认变换核可以是基于DCT-II的变换核。
根据附加实施例，编码器可以根据变换区域中的非零变换系数的数目，不用信号发送候选索引。这里，解码器可以通过将变换区域中的非零变换系数的数目与预配置的数目进行比较来确定变换核。例如，如果非零变换系数的数目为一或二，则可以不用信号发送候选索引。这里，逆变换单元可以通过使用预配置的变换核来执行对应区域的变换。预配置的变换核可以是基于DST-VII的变换核。
图13图示根据集索引确定的水平变换核和垂直变换核。根据本公开的实施例，可以用信号发送指示多个可用变换核当中的用于特定区域的残差信号的变换核的信息。这里，可以用信号发送指示多个可用变换核中的一个可用变换核的信息，而不管与对应区域相对应的预测模式如何。例如，编码器可以用信号发送指示用于特定区域的残差信号的变换核的变换核信息。解码器可以通过使用用信号发送的变换核信息来获得用于对应区域的变换核。变换核信息可以包括以下中的至少一个：指示对应区域的水平变换核的信息和指示对应区域的垂直变换核的信息。该方法可以被称为上述的多变换选择(MTS)。
变换核可以分别由指示多个可用变换核的核索引中的一个核索引来指示。根据实施例，与核索引“0”相对应的变换核可以是基于DCT-II的变换核，与核索引“1”相对应的变换核可以是基于DST-VII的变换核，并且与核索引“2”相对应的变换核可以是基于DCT-VIII的变换核。
根据实施例，变换核信息可以指示变换核集的集索引。变换核集可以表示要用作垂直变换核的变换核与要用作水平变换核的变换核的组合。集索引可以指示指示水平变换核的核索引与指示垂直变换核的核索引的组合。参照图13(a)，当特定区域的变换核信息指示表示第一变换核集的集索引(例如，在图13(a)的其中tu_mts_idx[x0][y0]为0的情况下)时，对应区域的垂直变换核可以是与核索引“0”相对应的变换核。该区域的水平变换核可以是与核索引“0”相对应的变换核。
此外，图13(b)图示与核索引相对应的变换核。参照图13(b)，与第一核索引“0”相对应的变换核可以指示基于DCT-II的变换核。参照图13(b)，与第二核索引“1”相对应的变换核可以指示基于DST-VII的变换核。参照图13(b)，与第三核索引“2”相对应的变换核可以指示基于DCT-VIII的变换核。
根据附加实施例，上述实施例可以有限地仅应用于亮度块。这里，预配置的默认变换核可以用于色度分量。例如，默认变换核可以是基于DCT-II的变换核。可以以变换块为单位用信号发送上述集索引。
此外，可以经由包括当前块的高级别的报头来用信号发送指示是否用信号发送集索引的信息。这里，高级别可以指示包括当前块的切片/图块、图片或序列。可以经由用于每种预测方法的单独的标志来用信号发送指示是否用信号发送集索引的信息。例如，在确定块的变换核时，可以针对帧内预测块和帧间预测块中的每一个独立地配置指示是否使用集索引的标志。
根据实施例，如果指示是否用信号发送包括变换块的高级别的集索引的信息指示没有显式地用信号发送集索引，则可以使用不同的方法来确定关于对应变换块的变换核。例如，可以基于从除了集索引之外的信息推导出的信息来确定要应用于当前变换块的逆变换的变换核。具体地，解码器可以从关于当前变换块用信号发送的信息中推导指示用于当前变换块的变换核的信息。也就是说，可以隐式地用信号发送指示垂直变换核的信息和指示水平变换核的信息，这些信息将在变换块中使用。根据另一实施例，如果指示是否用信号发送包括变换块的高级别的集索引的信息指示显式地用信号发送集索引，则解码器可以基于用信号发送的集索引来获得用于变换块的变换核。
根据附加实施例，可以根据变换区域中的非零变换系数的数量来确定编码器是否用信号发送集索引。这里，解码器可以通过将变换区域中的非零变换系数的数目与预配置的数目进行比较来确定变换核。例如，如果非零变换系数的数目为二或更小，则可以不用信号发送集索引。这里，逆变换单元可以通过使用预配置的变换核来执行对应区域的变换。预配置的变换核可以是基于DST-VII的变换核。
图像压缩系统中输入图像的像素可以具有三个值，包括红色(R)、绿色(G)和蓝色(B)(RGB颜色空间)，并且R、G和B通道中的每一个可以独立编码。然而，这种编码对于数码相机获得的自然图像效率不高。这是因为RBG颜色空间中的各个通道之间具有较高的相关性，并且通常为了有效地压缩RGB图像，可以将RGB图像变换到不同的颜色空间以进行编码。如上所述的颜色空间之间的变换可以称为颜色空间变换或颜色变换，并且RGB图像压缩中最常用的颜色空间变换可以是从RGB颜色空间到YCbCr颜色空间的变换。在RGB颜色空间的情况下，R、G、B通道都表示颜色分量，而在YCbCr颜色空间中，Y表示亮度分量，并且Cb和Cr表示色度分量。人类的视觉系统对亮度分量比对色度分量更敏感，并且因此，在对色度分量进行下采样的情况下，通过与亮度分量相比对色度分量应用更大的量化步长(step size)来量化亮度和色度分量，彩色图像可能会被有效压缩。根据色度分量的下采样程度，可以区分YCbCr 4:4:4、4:2:2和4:2:0图像。这种从RGB颜色空间到YCbCr颜色空间的变换被认为在图像压缩方面是有用的，但是在颜色变换过程中会导致信息丢失，并且因此难以用于无损图像压缩或接近无损的图像压缩应用领域。考虑到信息的丢失，对RGB图像进行编码的最佳方式是直接对RGB原始图像进行编码，而不需要对颜色空间进行变换。然而，如上所述，由于RGB颜色空间中存在冗余，这种编码不能实现高压缩效率。
自适应颜色变换(ACT、自适应颜色空间变换、自适应颜色变换)根据图像信号的特性自适应地执行颜色空间变换，从而可以去除通道之间存在的冗余，并且可以提高编码效率。ACT可以在编码器预测之后应用于残差信号，并且可以选择性地变换残差信号的颜色空间。所选择的颜色空间信息可以被包括在比特流中并且然后被发送，并且解码器可以基于接收到的颜色空间信息对通过逆变换获得的残差信号的颜色空间进行逆变换。在下文中，参考图14和图15详细地描述ACT和逆ACT过程。
图14是详细地图示通过执行ACT的编码器将残差信号变换为变换系数的方法的图。可以将空间区域的残差信号变换到频率区域，并且编码器可以对在预测之后获得的空间区域中的残差信号进行变换，使得获得变换系数。首先，编码器可以获得包括当前块的残差信号的至少一个残差块。残差块可以是当前块或通过分区当前块获得的块之一。在本公开中，可以将残差块称为包括当前块的残差样本的残差阵列或残差矩阵。此外，在本公开中，残差块可以指示具有与变换块或变换单元相同大小的块。
接下来，编码器可以执行自适应颜色变换。可以将自适应颜色变换应用于残差信号，并且可以将第一颜色空间中的残差信号变换为第二颜色空间中的残差信号。第一颜色空间可以由包括第一通道、第二通道、第三通道等的多个颜色通道(或分量)配置，并且可以是诸如GBR或YCbCr的颜色空间。在GBR颜色空间中，第一通道指示绿色(G)，第二通道指示蓝色(B)，并且第三通道指示红色(R)。在YCbCr颜色空间中，第一通道指示Y(亮度)，第二通道指示Cb(色度)，并且第三通道指示Cr(色度)。第二颜色空间可以由包括第一通道、第二通道、第三通道等的多个颜色通道(或分量)配置，并且可以是诸如YCgCo或YCbCr的颜色空间。在YCgCo颜色空间中，第一通道指示Y(亮度)，第二通道指示Cg(色度)，并且第三通道指示Co(色度)，并且从第一颜色空间到作为第二颜色空间的YCgCo颜色空间的变换(正向变换)可以根据以下等式定义。
[等式1]
C'_0＝(2*C_0+C_1+C_2)/4
C'_1＝(2*C_0-C_1-C_2)/4
C'_2＝(-2*C_1+2*C_2)/4
在上面的等式中，C_0、C_1和C_2分别指示第一颜色空间的第一通道、第二通道和第三通道，并且例如可以是GBR颜色空间中的G、B和R通道或YCbCr颜色空间中的Y、Cb和Cr通道。C'_0、C'_1和C'_2分别指示作为第二颜色空间的YCgCo颜色空间中的第一通道Y、第二通道Cg和第三通道Co。从作为第二颜色空间的YCgCo颜色空间到第一颜色空间的逆变换可以根据以下等式来定义。
[等式2]
C_0＝(C'_0+C'_1)
C_1＝(C'_0-C'_1-C'_2)
C_2＝(C'_0-C'_1+C'_2)
图像压缩中的最佳颜色空间是具有表现其间的不相关属性的通道的颜色空间。因此，计算足够的彩色图像数据集的颜色分量之间的相关矩阵，并对其应用Karhunen-Loeve变换(KLT)，使得可以获得最小化相关性的变换等式。对YCgCo颜色空间的变换可以有效地减少RGB(或GBR)颜色空间的通道之间存在的相关性，并且上述逆变换仅通过加法运算来实现。
编码器可以在速率失真成本方面自适应地选择颜色空间，并且关于颜色空间的信息可以被包括在比特流中并且然后被发送。例如，可以在编译单元级别中应用ACT，并且可以用信号发送颜色空间变换激活标志(cu_act_enabled_flag)。当颜色空间变换激活标志(cu_act_enabled_flag)为1时，当前编译单元的残差已被编码在YCgCo颜色空间中，并且当颜色空间变换激活标志(cu_act_enabled_flag)为0时，当前编译单元的残差已被编码在原始颜色空间，并且这可能指示尚未应用ACT。
接下来，编码器可以通过使用变换核来变换残差块。在残差块的变换中使用的变换核可以是可分离为垂直变换和水平变换的变换核。在这种情况下，可以将残差块的变换划分为垂直变换和水平变换，并且然后被执行。例如，编码器可以在残差块的垂直方向上应用变换核来执行垂直变换。此外，编码器可以在残差块的水平方向上应用变换核来执行水平变换。在本公开中，变换核可以用作指示用于对残差信号进行变换的参数集的术语，诸如变换矩阵、变换阵列、变换函数和变换。根据实施例，变换核可以是多个可用核之一。此外，基于不同变换类型的变换核可以分别用于垂直变换和水平变换。根据上面参考图12和图13描述的变换核选择方法，可以选择多个可用变换核之一。
编码器可以将通过对残差块进行变换而获得的变换块传递(transfer)到量化单元，并对其进行量化。变换块可以包括多个变换系数。具体地，变换块可以包括二维排列的多个变换系数。与残差块类似，变换块可以具有与当前块或通过分区当前块获得的块之一相同的大小。传递到量化单元的变换系数可以由量化值表示。
此外，在变换系数被量化之前，编码器可以执行附加变换。如图14中所图示，可以将上述变换方法称为初次变换，并且可以将附加变换称为二次变换。对于每个残差块，二次变换可以是选择性的。根据实施例，编码器可以对仅通过初次变换难以集中能量在低频区域中的区域执行二次变换，从而提高编译效率。例如，可以将二次变换添加到在除了残差块的水平或垂直方向之外的方向上具有大残差值的块。与帧间预测块的残差值相比，帧内预测块的残差值在除了水平或垂直方向之外的方向上可能具有更高的改变概率。因此，编码器可以另外执行帧内预测块的残差信号的二次变换。此外，编码器可以省略帧间预测块的残差信号的二次变换。
作为另一示例，可以根据当前块或残差块的大小来确定是否执行二次变换。另外，可以根据当前块或残差块的大小使用不同大小的变换核。例如，8X8二次变换可以应用于宽度或高度当中较短边的长度小于第一预配置的长度的块。此外，可以对宽度或高度当中较短边的长度大于第二预配置的长度的块应用4X4二次变换。第一预配置的长度可以大于第二预配置的长度，但本公开不限于此。另外，与初次变换不同，二次变换可以不被划分为垂直变换和水平变换。这种二次变换可以称为低频不可分离变换(LFNST)。
此外，在特定区域中的视频信号的情况下，由于快速的亮度变化，即使执行频率变换也可能不会减少高频带能量。因此，由于量化导致的压缩性能可能会退化。此外，当对残差值很少存在的区域执行变换时，可能会不必要地增加编码时间和解码时间。因此，可以省略特定区域中的残差信号的变换。是否执行特定区域中的残差信号的变换可以由与特定区域的变换相关的语法元素来确定。例如，语法元素可以包括变换跳过信息。变换跳过信息可以是变换跳过标志。当与残差块有关的变换跳过信息指示变换跳过时，不执行残差块的变换。在这种情况下，编码器可以立即量化对应区域中尚未变换的残差信号。参考图14描述的编码器的操作可以由图1的变换单元执行。
上述的变换相关语法元素可以是从视频信号比特流中解析的信息。解码器可以通过对视频信号比特流进行熵解码来获得与变换相关的语法元素。此外，编码器可以熵编译变换相关的语法元素以生成视频信号比特流。
图15是详细地图示通过执行自适应颜色变换的解码器对变换系数进行逆变换以获得残差信号的方法的图。在下文中，为了便于解释，将描述由编码器和解码器中的每一个的逆变换单元执行的逆变换操作。逆变换单元可以通过对逆量化的变换系数进行逆变换来获得残差信号。首先，逆变换单元可以从特定区域的变换相关语法元素中检测是否执行了相应区域的逆变换。根据实施例，当与特定变换块相关的变换相关语法元素指示变换跳过时，可以省略对应变换块的变换。在这种情况下，可以省略变换块的如上所述的初次逆变换和二次逆变换。在这种情况下，可以将逆量化变换系数用作残差信号，或者可以通过执行逆量化变换系数的逆自适应颜色变换(逆ACT)来获得残差信号。逆变换单元可以通过使用获得的残差信号来重构当前块。
根据另一实施例，与特定变换块相关的变换相关语法元素可以不指示变换跳过。在这种情况下，逆变换单元可以确定是否执行与二次变换相关的逆二次变换。例如，当变换块是帧内预测块的变换块时，可以执行变换块的逆二次变换。此外，可以基于与变换块对应的帧内预测模式来确定用于变换块的二次变换核。作为另一示例，可以根据变换块的大小来确定是否执行逆二次变换。可以在逆量化过程之后在初次逆变换执行之前执行逆二次变换。
逆变换单元可以执行逆量化变换系数或已经对其执行了逆二次变换的变换系数的逆初次变换。与初次变换类似，逆初次变换可以被划分为垂直变换和水平变换使得被执行。例如，逆变换单元可以通过执行变换块的垂直逆变换和水平逆变换来获得残差块。逆变换单元可以基于已经用于变换块的变换的变换核对变换块进行逆变换。例如，编码器可以显式地或隐式地用信号发送指示在多个可用变换核当中的应用于当前变换块的变换核的信息。解码器可以通过使用指示变换核的用信号发送的信息在多个可用变换核当中选择要用于变换块的逆变换的变换核。逆变换单元可以执行变换系数的逆变换，或者执行通过执行逆变换而获得的信号的逆自适应颜色变换，使得获得残差信号。逆变换单元可以通过使用残差信号来重构当前块。
逆变换单元可以基于与变换相关的语法元素来执行逆自适应颜色变换。可以将逆自适应颜色变换应用于已经对其执行了逆初次变换的信号，或者已经对其应用了变换跳过的信号，并且可以执行从第二颜色空间到第一颜色空间的变换。视频信号处理设备可以执行从比特流获得指示颜色空间变换是否应用于当前块的颜色空间变换激活标志(cu_act_enabled_flag)的操作。具体来说，当颜色空间变换激活标志(cu_act_enabled_flag)为1时，这指示当前块的残差已经被编码在YCgCo颜色空间中，并且因此如等式2所示，从YCgCo颜色空间(第二颜色空间)到第一颜色空间的逆变换可以被执行。当颜色空间变换激活标志(cu_act_enabled_flag)为0时，这指示当前块的残差已经被编码在原始颜色空间中，并且这可以指示不执行逆自适应颜色变换。具体地，在等式2中所示的逆自适应颜色变换可以涉及如下过程。
[颜色空间变换过程]
-过程输入：
-nTbW：变换块的宽度
-nTbH：变换块的高度
-rY：rY可以是第二颜色空间的第一通道残差样本阵列，并且可以是具有(nTbW)x(nTbH)大小的阵列。第二颜色空间可以是YCgCo颜色空间，并且第一通道可以指示亮度Y。rY阵列的元素可以用rY[x][y]表达。
-rCb：rCb可以是第二颜色空间的第二通道残差样本阵列，并且可以是具有(nTbW)x(nTbH)大小的阵列。第二颜色空间可以是YCgCo颜色空间，并且第二通道可以指示色度Cg。rCb阵列的元素可以用rCb[x][y]表达。
-rCr：rCr可以是第二颜色空间的第三通道残差样本阵列，并且可以是具有(nTbW)x(nTbH)大小的阵列。第二颜色空间可以是YCgCo颜色空间，并且第三通道可以指示色度Co。rCr阵列的元素可以用rCr[x][y]表达。
-rY、rCb和rCr阵列可以指示在应用变换跳过之后的信号或在应用逆初次变换之后的信号之一。
-过程输出：
-具有修改的(nTbW)x(nTbH)大小的残差样本阵列rY：根据本过程，可以将第二颜色空间变换成第一颜色空间，并且第一颜色空间的第一通道残差样本阵列可以被指示。rY阵列的元素可以用rY[x][y]表达。
-具有修改的(nTbW)x(nTbH)大小的残差样本阵列rCb：根据本过程，可以将第二颜色空间变换成第一颜色空间，并且第一颜色空间的第二通道残差样本阵列可以被指示。rCb阵列的元素可以用rCb[x][y]表达。
-具有修改的(nTbW)x(nTbH)大小的残差样本阵列rCr：根据本过程，可以将第二颜色空间变换成第一颜色空间，并且第一颜色空间的第三通道残差样本阵列可以被指示。rCr阵列的元素可以由rCr[x][y]表达。
-rY、rCb和rCr，它们是每个具有(nTbW)x(nTbH)大小的残差样本阵列，可以根据下面的等式3到等式6进行修改：
[等式3]
tmp＝rY[x][y]-rCb[x][y]
[等式4]
rY[x][y]＝rY[x][y]+rCb[x][y]
[等式5]
rCb[x][y]＝tmp-rCr[x][y]
[等式6]
rCr[x][y]＝tmp+rCr[x][y]
根据颜色空间过程，作为第二颜色空间残差样本阵列的rY、rCb和rCr可以被修改为作为第一颜色空间残差样本阵列的rY、rCb、rCr。逆变换单元可以通过使用作为修改的残差样本阵列的rY、rCb和rCr来重构当前块。
已经关于参考图14和图15描述的ACT和逆ACT描述了第二颜色空间是YCgCo颜色空间的情况，但本公开不限于此。作为第二颜色空间的另一示例，可以使用YCgCo-R颜色空间。YCgCo-R颜色空间可以通过使用提升算法从YCgCo颜色空间导出，使得仅通过整数运算实现完美重构。从第一颜色空间到YCgCo-R颜色空间的正向变换可以根据以下等式来定义。
[等式7]
C'_2＝C_2-C_1
t＝C_1+(C'_2>>1)
C'_1＝C_0-t
C'_0＝t+(C'_1>>1)
在上面的等式中，C_0、C_1和C_2分别指示第一颜色空间的第一通道、第二通道和第三通道，并且例如可以是GBR颜色空间中的G、B和R通道或YCbCr颜色空间中的Y、Cb和Cr通道。C'_0、C'_1和C'_2分别指示作为第二颜色空间的YCgCo-R颜色空间中的第一通道Y、第二通道Cg和第三通道Co。从作为第二颜色空间的YCgCo-R颜色空间到第一颜色空间的逆变换可以根据以下等式来定义。
[等式8]
t＝C'_0-(C'_1>>1)
C_0＝C'_1+t
C_1＝t-(C'_2>>1)
C_2＝C_1+C'_2
作为第二颜色空间的另一示例，可以根据当前编码模式自适应地选择YCgCo和YCgCo-R颜色空间之一。例如，在当前块的编码模式为无损或接近无损的压缩模式时，可以使用YCgCo-R颜色空间作为第二颜色空间。同时，在当前块的编码模式为有损压缩模式时，可以使用YCgCo颜色空间作为第二颜色空间。无损或接近无损的压缩模式和有损压缩模式可以通过标志在编码单元级别中用信号发送，或者可以通过使用量化参数(QP)和变换跳过标志来指示。
同时，对等式1中所示的YCgCo颜色空间的变换未进行归一化。在Y＝[2/4,1/4,1/4]*[C_0,C_1,C_2]'中，[2/4,1/4,1/4]矢量的l2-范数等于sqrt(6)/4。在Cg＝[2/4,-1/4,-1/4]*[C_0,C_1,C_2]'中，[2/4,-1/4,-1/4]矢量的l2范数等于sqrt(6)/4。在Co＝[0,-2,2]*[C_0,C_1,C_2]中，[0,-2,2]矢量的l2-范数等于sqrt(8)/4。也就是说，在颜色空间变换之前和之后发生动态范围的变化，并且因此可以校正QP值以补偿该变化。该校正可以基于量化参数偏移(qpActOffset)。视频信号处理设备可以执行基于包括在当前块中的变换块的颜色分量和颜色空间变换激活标志(cu_act_enabled_flag)来确定量化参数偏移(qpActOffset)的操作。当前块的颜色分量可以包括第一通道、第二通道和第三通道中的至少一个。量化参数偏移(qpActOffset)可以包括第一QP偏移、第二QP偏移和第三QP偏移中的至少一个。
视频信号处理设备可以基于当前块的颜色分量来确定量化参数偏移(qpActOffset)。当应用于第一颜色空间的第一通道的量化参数(QP)是QP_0时，可以由QP_0+Offset_0确定作为应用于第二颜色空间的第一通道的量化参数(QP)的QP'_0，并且Offset_0指示第一QP偏移。第一QP偏移可以包括在诸如SPS、PPS、图片报头或者切片报头的更高层的语法中，并且然后被发送，并且由编码器和解码器预定义的固定值可以被用作第一QP偏移。第一QP偏移可以是-5。
当应用于第一颜色空间的第二通道的QP为QP_1时，可以由QP_1+Offset_1确定作为应用于第二颜色空间的第二通道的QP的QP'_1，并且Offset_1指示第二QP偏移。第二QP偏移可以包括在诸如SPS、PPS、图片报头或者切片报头的更高层的语法中，并且然后被发送，并且通过编码器和解码器预定义的固定值可以被用作第二QP偏移。第二QP偏移可以是-5。
当应用于第一颜色空间的第三通道的QP为QP_2时，可以由QP_2+Offset_2确定作为应用于第二颜色空间的第三通道的QP的QP'_2，并且Offset_2指示第三QP偏移。第三QP偏移可以包括在诸如SPS、PPS、图片报头或者切片报头等更高层的语法中，并且然后被发送，并且通过编码器和解码器预定义的固定值可以被用作第三QP偏移。第三QP偏移可以是-3。
此外，视频信号处理设备可以基于颜色空间变换激活标志(cu_act_enabled_flag)来确定量化参数偏移(qpActOffset)。当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为0的操作。
另外，当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用到当前块时，视频信号处理设备可以执行基于变换块的颜色分量将量化参数偏移确定为预先确定的偏移的操作。在下文中，将更详细地给出其描述。
在当前块的颜色分量被指示为第一通道分量并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第一QP偏移(Offset_0)的操作。此外，当应用于第一颜色空间的第一通道的量化参数(QP)是QP_0时，可以由QP_0+Offset_0确定作为应用于第二颜色空间的第一通道的量化参数(QP)的QP'_0。
当指示当前块的颜色分量不是第一通道分量，指示色度残差联合编译(JCCR)模式的TuCResMode指示2，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第二QP偏移(Offset_1)的操作。此外，当应用于第一颜色空间的第二通道的QP是QP_1时，可以由QP_1+Offset_1确定作为应用于第二颜色空间的第二通道的QP的QP'_1。JCCR模式可以对应于第二通道和第三通道的残差信号由一个信号表示的编码方法。
在当前块的颜色分量被指示为第二通道分量，并且颜色空间变换激活标志(cu_act_enabled_flag)指示对当前块应用颜色空间变换时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第二QP偏移(Offset_1)的操作。此外，当应用于第一颜色空间的第二通道的QP是QP_1时，可以由QP_1+Offset_1确定作为应用于第二颜色空间的第二通道的QP的QP'_1。
在当前块的颜色分量被指示为第三通道分量并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第三QP偏移(Offset_2)的操作。此外，当应用于第一颜色空间的第三通道的QP是QP_2时，可以由QP_2+Offset_2确定作为应用于第二颜色空间的第三通道的QP的QP'_2。
同时，可以在预配置的整数范围内定义用于量化和解量化的QP，并且可以根据QP值确定用于量化的量化步长。例如，QP可以被定义在整数不为负的整数范围内，并且增加的QP值可以指示增加的量化步长。这因此意味着量化误差可能增加。当ACT应用于当前块时，QP值可以通过第一QP偏移(Offset_0)、第二QP偏移(Offset_1)和第三QP偏移(Offset_2)来校正，并且作为在实际量化和解量化中使用的校正的QP的QP'_0、QP'_1,和QP'_2可能会偏离定义QP的预配置的整数范围。具体地，Offset_0、Offset_1和Offset_2可以是负数，并且因此QP'_0、QP'_1和QP'_2可以是负数。QP值偏离定义的范围，并且因此在将QP值校正了偏移之后，可以对QP值执行限幅运算以使其落入定义QP值的预配置的范围内。例如，当QP定义在[0,63]范围内，并且Offset_0、Offset_1和Offset_2分别为-5、-5和-3时，可以执行限幅过程以防止校正的QP值为负数。作为应用于第二颜色空间的第一通道的QP的QP'_0可以由Max(0,QP_0+Offset_0)确定。Max(x,y)运算是当x>＝y时返回x，并且当x<y时返回y的函数，并且因此当QP_0+Offset_0的值为负数时，QP'_0可以配置为0并且然后用于量化和解量化。作为应用于第二颜色空间的第二通道的QP的QP'_1可以由Max(0,QP_1+Offset_1)确定。根据max运算，当QP_1+Offset_1的值为负数时，可以将QP'_1配置为0并且然后用于量化和解量化。作为应用于第二颜色空间的第三通道的QP的QP'_2可以由Max(0,QP_2+Offset_2)确定。根据max运算，当QP_2+Offset_2的值为负数时，可以将QP'_2配置为0，并且然后用于量化和解量化。
参考下文描述的本公开的图16至图19，描述校正QP值的方法。
图16图示根据本公开的第一方法校正QP值并基于校正的QP执行缩放(解量化)的方法。缩放过程可以接收(xTbY,yTbY)、nTbW、nTbH、predMode和cIdx的输入，并且针对每个变量的描述如下。
-(xTbY，yTbY)：这是亮度的位置，可以指示当前亮度变换块的左上坐标，并且可以是基于当前图片的左上亮度样本的坐标。
-nTbW：变换块的宽度
-nTbH：变换块的高度
-predMode：这是指示当前编译单元的预测方法的变量，并且当变量为MODE_INTRA时可以指示帧内预测，当变量为MODE_INTER时指示帧间预测，并且当变量为MODE_IBC时指示IBC预测(从当前图片中由块矢量指示的参考块生成预测块的预测方法)。
-cIdx：这是指示当前变换块的颜色分量的变量，并且可以在cIdx为0时指示第一通道分量，在cIdx为1时指示第二通道分量，并且在cIdx为2时指示第三通道分量。当ACT已经被应用于当前块时，当前变换系数可以指示第二颜色空间中的表达，并且第二颜色空间可以是YCgCo颜色空间。同时，当ACT不应用于当前块时，当前变换系数指示第一颜色空间，即，原始颜色空间中的表达。
视频信号处理设备可以基于量化参数执行重构当前块的操作。可以校正量化参数。具体地，在缩放过程中，可以对量化的变换系数执行缩放(解量化)，使得获得缩放(解量化)的变换系数。可以对缩放的变换系数执行逆变换使得获得残差信号。逆变换单元可以通过使用获得的残差信号来重构当前块。作为缩放过程的输出的缩放变换系数阵列d[x][y]可以是具有(nTbW)x(nTbH)大小的阵列。
在缩放过程中，缩放所需的量化参数(变量qP)和量化参数偏移(qpActOffset)变量可以被首先导出如下。
-变量cIdx为0的情况：
-qP＝Qp'Y：当cldx为0时，这指示第一通道分量，并且因此作为在实际缩放中使用的量化参数的qP变量可以被配置为作为应用于第一通道分量的量化参数的Qp'Y。Qp'Y可以在编码单元级别中确定，并且可以基于与变换有关的语法元素来确定。例如，在编译树块中定义矩形量化组，并且量化组中存在的编译单元可以共享相同量化参数的预测值。量化参数的预测值可以从与量化组邻近的块的量化参数中导出。例如，当矩形量化组的左上坐标为(xQg，yQg)时，位置(xQg-1，yQg)的量化参数与位置(xQg，yQg-1)的量化参数的平均值可以用作量化参数的预测值。为了减少量化参数信令所需的比特量，可以将量化参数的预测值和实际量化参数之间的差分值包括在编译单元级别的比特流中以用于传输，并且解码器可以基于量化参数的预测值和从比特流解析的差分值确定Qp'Y。
-qpActOffset＝-5：当应用ACT时，动态范围改变，并且因此为了补偿改变，可以将偏移添加到量化参数以校正量化参数。应用ACT可以指示颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块的情况。具体地，当当前块的颜色分量指示第一通道分量，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第一QP偏移(Offset_0)的操作。应用于第一通道分量的第一QP偏移可以是-5。
当当前块的颜色分量被指示为第一通道分量，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为0的操作。
-变量cIdx不为0并且变量TuCResMode[xTbY][yTbY]为2的情况：在色度残差联合编译(JCCR)模式下，两个色度残差信号可以通过使用色度分量之间存在的相关性用一个残差阵列来表达。当TuCResMode[xTbY][yTbY]为2时，这可能指示应用JCCR模式之一，而当cIdx不为0时，这可以指示当前变换块是表达第二通道和第三通道是一个残差信号的变换系数块。当解码器的逆变换单元获得的残差阵列为C[x][y]时，第二通道残差阵列为Cb[x][y]，并且第三通道残差阵列为Cr[x][y]，可以确定Cb[x][y]＝C[x][y]和Cr[x][y]＝CSign*C[x][y]。变量CSign是应用于第三通道的符号信息，并且可以包括在切片报头中以用于传输。
-qP＝Qp'CbCr：当cIdx不为0并且TuCResMode[xTbY][yTbY]为2时，作为在缩放过程中应用的量化参数的qP可以被配置为作为当TuCResMode[xTbY][yTbY]为2时应用的量化参数的Qp'CbCr。类似于Qp'Y，Qp'CbCr可以在编码单元级别中确定，并且可以基于与变换有关的语法元素来确定。
-qpActOffset＝-5：当应用ACT时，动态范围改变，并且因此为了补偿改变，可以将偏移添加到量化参数以校正量化参数。应用ACT可以指示颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块的情况。更具体地说，当指示当前块的颜色分量不是第一通道分量，指示色度残差联合编译(JCCR)模式的TuCResMode为2，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第二QP偏移(Offset_1)的操作。当JCCR模式当中的TuCResMode[xTbY][yTbY]为2时应用的QP偏移可以是-5。
当指示当前块的颜色分量不是第一通道分量，指示色度残差联合编译(JCCR)模式的TuCResMode指示2，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为0的操作。
-变量TuCResMode[xTbY][yTbY]不为2并且变量cIdx为1的情况：这种情况可以包括变量TuCResMode[xTbY][yTbY]为0，并且变量cIdx为1的情况，和变量TuCResMode[xTbY][yTbY]为1并且变量cIdx为1的情况。前一种情况可以指示第二通道和第三通道的残差阵列独立编码，并且cldx为1，并且因此这指示当前变换块是第二通道残差阵列。后一种情况可以指示当前变换块是借助JCCR模式之一将第二通道和第三通道表达为一个残差信号的变换系数块。当解码器的逆变换单元获得的残差阵列为C[x][y]，第二通道残差阵列为Cb[x][y]，并且第三通道残差阵列为Cr[x][y]时，Cb[x][y]＝C[x][y]，并且Cr[x][y]＝(CSign*C[x][y])>>1可以被确定。变量CSign是应用于第三通道的符号信息，并且可以包括在切片报头中以用于传输。
-qP＝Qp'Cb：在这两种情况下，作为应用于缩放的量化参数的qP可以配置为作为应用于第二通道的量化参数的Qp'Cb。与Qp'Y类似，Qp'Cb可以在编码单元级别中确定，并且可以基于与变换有关的语法元素来确定。
-qpActOffset＝-5：当应用ACT时，动态范围改变，并且因此为了补偿改变，可以将偏移添加到量化参数以校正量化参数。应用ACT可以指示颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块的情况。更具体地，当当前块的颜色分量被指示为第二通道分量并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第二QP偏移(Offset_1)的操作。应用于第二通道的第二QP偏移可以是-5。
当当前块的颜色分量被指示为第二通道分量，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为0的操作。
-变量cIdx为2的情况：这种情况可以包括变量TuCResMode[xTbY][yTbY]为0，并且变量cIdx为2的情况，以及变量TuCResMode[xTbY][yTbY]为3并且变量cIdx为2的情况。前一种情况可以指示第二通道和第三通道的残差阵列独立编码，并且cIdx为2，并且因此这指示表示当前变换块为第三通道残差阵列。后一种情况可以指示当前变换块是借助JCCR模式之一将第二通道和第三通道表达为一个残差信号的变换系数块。当解码器的逆变换单元获得的残差阵列为C[x][y]，第二通道残差阵列为Cb[x][y]，并且第三通道残差阵列为Cr[x][y]时，Cb[x][y]＝(CSign*C[x][y])>>1，并且Cr[x][y]＝C[x][y]可以被确定。变量CSign是应用于第二通道的符号信息，并且可以包括在切片报头中以用于传输。
-qP＝Qp'Cr：在这两种情况下，作为应用于缩放的量化参数的qP可以配置为作为应用于第三通道的量化参数的Qp'Cr。与Qp'Y类似，Qp'Cr可以在编码单元级别中确定，并且可以基于与变换有关的语法元素来确定。
-qpActOffset＝-3：当应用ACT时，动态范围改变，并且因此为了补偿改变，可以将偏移添加到量化参数以校正量化参数。应用ACT可以指示颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块的情况。当当前块的颜色分量指示第三通道分量并且颜色空间变换激活标志(cu_act_enabled_flag)指示对当前块应用了颜色空间变换时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为预先确定的第三QP偏移(Offset_2)的操作。应用于第三通道的第三QP偏移可以是-3。
当当前块的颜色分量被指示为第三通道分量，并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为0的操作。
可以基于上述量化参数(qP)和量化参数偏移(qpActOffset)来修改量化参数，并且可以如下配置对缩放过程所需的变量rectNonTsFlag和变量bdShift。
-不应用变换跳过(transform_skip_flag[xTbY][yTbY][cIdx]为0)的情况：作为变换跳过标志的transform_skip_flag[xTbY][yTbY][cIdx]语法元素可以指示是否将变换跳过应用于当前变换块。当前变换块可以是包括在当前块中的变换块。当transform_skip_flag[xTbY][yTbY][cIdx]为0时，这可以指示不将变换跳过应用于当前变换块。这可能暗示通过执行缩放(解量化)的变换系数的逆变换来获得残差样本。
-qP＝Max(0,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第一方法，在将ACT应用于当前块的情况下，可以校正qP值以便于补偿动态范围的改变，并且校正的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第一方法中，基于在整数不为负的整数区域中定义量化参数，可以将小于0的值限幅为0以允许校正的qP值为0或更大。在上面的公式中，x？y:z三元运算意指在x为真或不为0时返回y，并且在x为假或为0时返回z的运算。因此，当对当前块应用ACT时(cu_act_enabled_flag[xTbY][yTbY]为1)，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset：0，可以返回qpActOffset作为量化参数偏移，并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块时(cu_act_enabled_flag[xTbY][yTbY]为0)，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第一方法，可以执行基于max算子的限幅以防止校正的qP值为负数。当应用ACT时，可以基于校正的量化参数执行缩放。
-rectNonTsFlag＝(((Log2(nTbW)+Log2(nTbH))&1)＝＝1)？1:0；基于正弦或余弦的变换核可能不具有参考图9所描述的整数类型，并且变换核可以近似为整数类型使得减少实现的复杂度。为了以整数类型表达变换核，可以将变换核乘以2的幂(指数可以不是整数)，并且然后进行舍入，使得获得近似的整数变换核。根据近似误差，变换核的正交特性可能会被削弱。但是，由此导致的编译效率退化很小，并且在硬件编码器和解码器中基于整数变换核的变换编码的实现复杂度显著低，并且因此可以使用包括近似误差的整数变换核。整数化变换核具有放大了2的幂的尺度，并且因此在变换之后，需要进行降低尺度的过程，并且此向下缩放可以在缩放过程和变换过程中执行。rectNonTsFlag和下面描述的变量bdShift可以被解释为用于在缩放过程中执行的向下缩放的参数。当rectNonTsFlag中的(Log2(nTbW)+Log2(nTbH))&1运算的结果为1时，水平逆变换和垂直逆变换之后的变换系数可以具有增加了2^(N+0.5)的尺度。当(Log2(nTbW)+Log2(nTbH))&1运算的结果为0时，水平逆变换和垂直逆变换后的变换系数可能具有增加了2^(M)的尺度，并且N和M是正整数。即，在执行逆变换时，为了根据变换块的宽度和高度考虑sqrt(2)缩放因子，变量rectNonTsFlag可以在以下情况下配置为1：在对当前变换块执行逆变换时(transform_skip_flag[xTbY][yTbY][cIdx]为0)，(Log2(nTbW)+Log2(nTbH))&1运算的结果为1。
-bdShift＝BitDepth+rectNonTsFlag+((Log2(nTbW)+Log2(nTbH))/2)-5+pic_dep_quant_enabled_flag：变量BitDepth指示亮度和色度阵列样本的比特深度。例如，当BitDepth为N(自然数)时，第一通道、第二通道和第三通道阵列样本可能具有[0,2^N-1]范围内的值。可以基于包括在SPS、PPS、图片报头、切片报头等中的语法元素来配置变量BitDepth。例如，可以用信号发送bit_depth_minus8语法元素以用信号发送SPS中的比特深度信息。解码器可以基于解析的bit_depth_minus8语法元素将变量BitDepth配置为8+bit_depth_minus8。pic_dep_quant_enabled_flag是语法元素，其指示在当前切片中依赖量化是启用还是禁用，并且当pic_dep_quant_enabled_flag为1时，这可以指示在当前切片中启用依赖量化。变量bdShift是向下缩放的参数，可以根据比特深度、是否考虑sqrt(2)缩放因子、变换块的大小以及是否启用或禁用依赖量化来确定。
-bdOffset＝(1<<bdShift)>>1：在下面描述的缩放过程中，可以基于参数bdShift执行位移运算，并且变量bdOffset可以指示位移运算的舍入偏移。
-应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为1)：当作为变换跳过标志的transform_skip_flag[xTbY][yTbY][cIdx]为1时，这指示将变换跳过应用于当前变换块，并且这可能意味着将缩放的(解量化的)变换系数用作残差。
-qP＝Max(0,Max(QpPrimeTsMin,qP)+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第一方法，在将ACT应用于当前块的情况下，可以校正qP值以便于补偿动态范围的改变，并且校正的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第一方法中，首先，通过变量QpPrimeTsMin和qP值之间的比较，可以执行限幅以允许qP值等于或大于QpPrimeTsMin。变量QpPrimeTsMin定义在变换跳过模式中允许的最小量化参数，并且可以被包括并指示在诸如SPS、PPS、图片报头或切片报头的更高级别的语法结构中。与最小量化参数有关的信息(min_qp_prime_ts_minus4)可以对应于语法元素。例如，解码器可以从比特流中获得与SPS中的最小量化参数有关的信息(min_qp_prime_ts_minus4)。然而，本公开不限于此，并且解码器可以从SPS、PPS、图片报头或切片报头当中的一个比特流获得与最小量化参数相关的信息(min_qp_prime_ts_minus4)。另外，解码器可以基于与最小量化参数相关的信息(min_qp_prime_ts_minus4)执行获得最小量化参数(QpPrimeTsMin)的操作。例如，解码器可以基于min_qp_prime_ts_minus4语法元素将变量QpPrimeTsMin配置为4+min_qp_prime_ts_minus4。min_qp_prime_ts_minus4可以是与变换跳过模式中允许的最小量化参数有关的信息。视频信号处理设备可以基于最小量化参数来执行校正量化参数的操作。此外，视频信号处理设备可以基于校正的量化参数来执行重构当前块的操作。
在本公开的第一方法中，可以通过变量QpPrimeTsMin将量化参数首先限幅为QpPrimeTsMin或更大的值，并且然后可以向其添加用于补偿由于ACT的动态范围的改变的量化参数偏移(qpActOffset)。
如上面已经所描述的，qpActOffset可以基于cu_act_enabled_flag[xTbY][yTbY]被确定为0或第一QP偏移、第二QP偏移或第三QP偏移中的一个。然而，本公开不限于此，并且根据本公开的各种实施例，可以通过如下过程将值添加到量化参数(qP)。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移，并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第一方法，可以执行基于max算子的限幅，以防止校正的qP值为负数。当应用ACT时，可以基于校正的量化参数执行缩放。根据上述的qP校正，当ACT应用于当前块时，qP的最小值可以配置为0，并且当ACT不应用于当前块时，qP的最小值可以配置为最小量化参数(QpPrimeTsMin)。
-rectNonTsFlag＝0：rectNonTsFlag是考虑到由于变换核而增加的缩放因子的变量，并且因此在不应用变换的变换跳过模式中，变量rectNonTsFlag可以被配置为0。
-bdShift＝10：在不应用变换和依赖量化的变换跳过模式中，变量bdShift可以被配置为作为固定值的10。
-bdOffset＝(1<<bdShift)>>1：在下面描述的缩放过程中，可以基于参数bdShift执行位移运算，并且变量bdOffset可以指示位移运算的舍入偏移。
levelScale[j][k]列表可以指示缩放的量化步长。量化步长基本上具有实数类型，可以近似为整数类型。另外，当qP增加了6时，量化步长加倍，并且因此为从0到5的qP定义量化步长，在剩余的qP部分中，可以通过qP％6运算和qP/6运算导出量化步长。
具有(nTbW)x(nTbH)大小的阵列dz可以被配置为与作为具有(nTbW)x(nTbH)大小的阵列的TransCoeffLevel[xTbY][yTbY][cIdx]相同，并且TransCoeffLevel[xTbY][yTbY][cIdx]指示在系数编译(残差编译)中获得的量化变换系数。
d[x][y]作为缩放的变换系数(x是从0到nTbW-1，并且y是从0到nTbH-1)可以通过如下过程获得。
首先，可以执行配置作为中间缩放元素阵列的m[x][y]的过程。人类视觉系统的频率响应特性对高频段不敏感，而对低频段相对敏感，并且因此考虑到这些特性，可以根据作为频率bin索引x和y配置不同的缩放因子。这指示m[x][y]阵列元素的值根据x和y改变。例如，当将大的缩放值用于高频区域而将小的缩放值用于低频区域时，可以有效地执行量化。这是因为人很可能无法很好地识别量化误差，该误差是由于对高频区域使用大的缩放值而发生的。同时，当应用变换跳过时，接收到的量化变换系数是空间区域中的信号而不是频率区域中的信号。因此，当m[x][y]阵列的值被配置为根据x和y变化时，部分空间区域中的失真变大，并且因此图像质量可能劣化。因此，m[x][y]阵列元素的值可以被配置为与x和y无关的固定常数。固定常数可以是16。作为另一示例，当应用二次变换时，m[x][y]阵列元素的值可以被配置为与x和y无关的固定常数。固定常数可以是16。二次变换可以解释为将初次变换的变换系数映射到另一个空间，并且二次变换系数的特性与初次变换系数的特性完全不同。例如，当不应用二次变换并且仅执行基于DCT-II核的初次变换时，d[0][0]可以指示DC系数。同时，当基于DCT-II核对初次变换的系数执行二次变换时，d[0][0]不指示DC系数。为了获得初次变换系数的DC系数，需要对二次变换的系数矢量和逆二次变换核的第一基矢量之间进行点积，并且这意味着所有二次变换的系数影响初次变换系数的低频区域。因此，根据索引x和y相对于二次变换系数考虑不同的缩放元素不仅会退化量化器的性能，还会导致图像质量的恶化。因此，当对当前块应用二次变换时，m[x][y]可以被配置成相对于所有索引x和y具有相同的值。例如，m[x][y]可能是16，而与x和y索引无关。
作为最终缩放元素阵列的ls[x][y]可以基于m[x][y]和levelScale[j][k]被配置。具体来说，当应用依赖量化(pic_dep_quant_enabled_flag为1，transform_skip_flag[xTbY[yTbY][cIdx]为0)时，ls[x][y]可以由(m[x][y]*levelScale[rectNonTsFlag][(qP+1)％6])<<((qP+1)/6)配置。与当rectNonTsFlag为0的情况相比，当rectNonTsFlag为1时，可以应用具有增加了sqrt(2)的缩放的levelScale。当通过使用(qP+1)％6作为索引对基础量化步长大小(levelScale[rectNonTsFlag][(qP+1)％6])执行(qP+1)/6的位左移时，可以确定最终量化步长。这反映在应用依赖量化的情况下，当(qP+1)被增加了6时，量化步长加倍的特性。同时，当不应用依赖量化(pic_dep_quant_enabled_flag为0，或transform_skip_flag[xTbY][yTbY][cIdx]为1时)，ls[x][y]可以由(m[x][y]*levelScale[rectNonTsFlag][qP％6])<<(qP/6)配置。当通过使用qP％6作为索引对基础量化步长(levelScale[rectNonTsFlag][qP％6])执行了qP/6的位左移时，可以确定最终量化步长。这反映了在不应用依赖量化的情况下，当qP增加了6时，量化步长加倍的特性。
同时，在基于块的增量脉冲编码调制(BDPCM)预测的情况下，在预配置的模式中执行帧内预测，并且量化的变换系数可以根据预配置的模式通过在先前的位置处的样本和当前位置处的样本的总和来表达。也就是说，在BDPCM模式中，作为量化变换系数，根据预配置的模式的在先前位置的样本和在当前位置的样本之间的差被发送。预配置的模式可以是水平模式或垂直模式。当BDPCM应用于当前编译块时，BdpcmFlag[xTbY][yTbY]可以是1，并且BdpcmDir[xTbY][yTbY]可以指示预配置的模式。
当BdpcmFlag[xTbY][yTbY]为1，并且BdpcmDir[xTbY][yTbY]为0时，这可能指示应用了水平模式BDPCM，并且dz[x][y]可以通过Clip3(CoeffMin,CoeffMax,dz[x-1][y]+dz[x][y])配置。Clip3(x,y,z)算子是将z限幅到x和y之间的算子，并且当z<x时，Clip3(x,y,z)＝x，当z>y时，Clip3(x,y,z)＝y，并且否则，(x<＝z<＝y)，Clip3(x,y,z)＝z可以被表达。可以以预配置的比特精度来表达变换系数，并且这可以是16个比特。在这种情况下，CoeffMin可以配置为-2^(16)，并且CoeffMax可以配置为2^(16)-1。当BdpcmFlag[xTbY][yTbY]为1，并且BdpcmDir[xTbY][yTbY]为1时，这可以指示应用了垂直模式BDPCM，并且dz[x][y]可以通过Clip3(CoeffMin,CoeffMax,dz[x][y-1]+dz[x][y])配置。
dnc[x][y]可以通过(dz[x][y]*ls[x][y]+bdOffset)>>bdShift来计算，并且作为缩放变换系数的d[x][y]可以通过Clip3(CoeffMin,CoeffMax,dnc[x][y])获得。
图17图示根据本公开的第二方法校正QP值并基于校正的QP执行缩放(解量化)的方法。参考图17未给出的描述可以遵循参考图16给出的描述，并且在下文中，描述了根据本公开的第二方法在不应用变换跳过时和应用变换跳过时校正量化参数的方法。
视频信号处理设备可以执行获得指示变换跳过是否应用于包括在当前块中的变换块的变换跳过标志(transform_skip_flag)的操作。视频信号处理设备可以从比特流中获得变换跳过标志。此外，当没有从比特流中获得变换跳过标志时，视频信号处理设备可以将变换跳过标志配置为预定值。
-不应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为0)：
-qP＝Max(0,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第二方法，在将ACT应用于当前块的情况下，可以校正qP值以便于补偿动态范围的改变。即，当变换跳过标志指示不应用变换跳过时，视频信号处理设备可以基于量化参数偏移(qpActOffset)来执行获得校正的量化参数的操作。
视频信号处理设备可以基于变换块的颜色分量和颜色空间变换激活标志(cu_act_enabled_flag)来执行确定量化参数偏移的操作。校正的量化参数可以是qP+qpActOffset。
如上所述，当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行确定量化参数偏移(qpActOffset)为0的操作。在这种情况下，量化参数偏移(qpActOffset)可以为0，并且可以保持原始的量化参数(qP)。当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为第一QP偏移、第二QP偏移，或第三QP偏移之一的操作。已经参考图14至图16描述了将量化参数偏移(qpActOffset)确定为第一QP偏移、第二QP偏移或第三QP偏移之一的过程，并且因此省略重复的解释。此外，视频信号处理设备可以将量化参数偏移(qpActOffset)应用于量化参数(qP)以获得校正的量化参数。
当校正的量化参数小于0时，视频信号处理设备可以执行将校正的量化参数限幅为0的操作。也就是说，视频信号处理设备可以防止量化参数(qP)小于0。更具体地说，校正的qP值可能会偏离预配置的范围，并且因此可能执行限幅运算。在第二方法中，基于在整数不为负的整数区域中定义量化参数，可以将小于0的值限幅为0以允许校正的qP值为0或更大。
如上所述，qpActOffset可以基于cu_act_enabled_flag[xTbY][yTbY]被确定为0或第一QP偏移、第二QP偏移或第三QP偏移中的一个。然而，本公开不限于此，并且根据本公开的各种实施例，可以通过如下过程将值添加到量化参数(qP)。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移，并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第二方法，可以执行基于max算子的限幅以防止校正的qP值为负数。
视频信号处理设备可以基于校正的量化参数来执行重构当前块的操作。校正的量化参数可以是限幅校正的量化参数。具体地，当应用ACT时，可以基于校正的量化参数来执行缩放。基于校正的量化参数qP的缩放方法和重构当前块的方法可以遵循参考图16描述的方法。
-应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为1)：
-qP＝Max(QpPrimeTsMin,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第二方法，在将ACT应用于当前块的情况下，可以校正qP值以便于补偿动态范围的改变。当变换跳过标志指示应用变换跳过时，视频信号处理设备可以基于量化参数偏移(qpActOffset)执行获得校正的量化参数的操作。视频信号处理设备可以基于变换块的颜色分量和颜色空间变换激活标志(cu_act_enabled_flag)来执行确定量化参数偏移的操作。校正的量化参数可以是qP+qpActOffset。然而，本公开不限于此，并且当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，可以不校正qP值。
如上所述，当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块时，视频信号处理设备可以执行确定量化参数偏移(qpActOffset)为0的操作。在这种情况下，量化参数偏移(qpActOffset)可以为0，并且可以保持原始的量化参数(qP)。当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用到当前块时，视频信号处理设备可以执行将量化参数偏移(qpActOffset)确定为第一QP偏移、第二QP偏移、或第三个QP偏移之一的操作。已经参考图14至图16描述了将量化参数偏移(qpActOffset)确定为第一QP偏移、第二QP偏移或第三QP偏移之一的过程，并且因此省略重复解释。此外，视频信号处理设备可以将量化参数偏移(qpActOffset)应用于量化参数(qP)以获得校正的量化参数。
当校正的量化参数小于最小量化参数(QpPrimeTsMin)时，视频信号处理设备可以执行将校正的量化参数限幅为最小量化参数(QpPrimeTsMin)的操作。即，视频信号处理设备可以防止量化参数(qP)小于最小量化参数(QpPrimeTsMin)。更具体地，校正的qP值可能会偏离预配置的范围，并且因此可以执行限幅运算。在第二方法中，基于关于在应用变换跳过时允许的量化参数的信息，可以执行限幅使得校正的量化参数值等于或大于在变换跳过模式中允许的量化参数。
如上所述，可以基于cu_act_enabled_flag[xTbY][yTbY]将qpActOffset确定为0或第一QP偏移、第二QP偏移或第三QP偏移中的一个。然而，本公开不限于此，并且根据本公开的各种实施例，可以通过如下过程将值添加到量化参数(qP)。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移，并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第二方法，可以执行限幅使得使用max算子校正的量化参数值变得等于或大于最小量化参数(QpPrimeTsMin)。变量QpPrimeTsMin定义在变换跳过模式中允许的最小量化参数，并且即使相对于应用ACT的块也可能需要满足量化参数需要等于或大于QpPrimeTsMin的条件。因此，当校正的量化参数值小于QpPrimeTsMin时，该值可以被限幅为QpPrimeTsMin。例如，QpPrimeTsMin是自然数，并且因此当校正的量化参数值小于0时，该值可以被限幅为QpPrimeTsMin。作为另一示例，即使当校正的量化参数值等于或大于0时，如果该值小于QpPrimeTsMin，该值也可以被限幅为QpPrimeTsMin。
视频信号处理设备可以基于校正的量化参数来执行重构当前块的操作。校正的量化参数可以是限幅校正的量化参数。具体地，当应用ACT时，可以基于校正的量化参数来执行缩放。基于校正的量化参数qP的缩放方法和重构当前块的方法可以遵循参考图16描述的方法。
图18图示了根据本公开的第三方法校正QP值并基于校正的QP来执行缩放(解量化)的方法。在与图18相关的描述中省略的部分可以遵循参考图16给出的描述，并且在下文中，描述了根据本公开的第三方法在不应用变换跳过时和应用变换跳过时调整量化参数的方法。
-不应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为0)：
-qP＝Max(QpBdOffset,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第三方法，在将ACT应用于当前块的情况下，可以对qP值进行校正以便于调整动态范围的改变，并且调整的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第三方法中，基于反映图像的比特深度的量化参数偏移，可以将小于QpBdOffset的值限幅为QpBdOffset，从而使调整的量化参数等于或大于变量QpBdOffset的值。QpBdOffset是根据图像的比特深度添加的量化参数偏移，并且可以包括在诸如SPS、PPS、图片报头或切片报头的更高级别的语法结构中并被指示。例如，可以用信号发送bit_depth_minus8语法元素以用信号发送SPS中的比特深度信息。解码器可以基于解析的bit_depth_minus8语法元素将变量QpBdOffset配置为6*bit_depth_minus8。例如，如果比特深度(BitDepth)为8，则QpBdOffset可以配置为0。作为另一示例，如果比特深度为10，则QpBdOffset可以配置为12。在缩放过程中使用的Qp'Y、Qp'CbCr、Qp'Cb和Qp'Cr是通过添加QpBdOffset获得的，并根据比特深度以预配置的精度(例如，16个比特)表达变换系数。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第三方法，为了考虑根据比特深度的量化参数偏移，可以执行基于max算子的限幅，使得作为校正的量化参数的qP值等于或大于QpBdOffset。例如，QpBdOffset是非负的整数，并且因此当校正的量化参数值小于0时，该值可以被限幅为QpBdOffset。作为另一示例，即使当校正的量化参数值等于或大于0时，如果该值小于QpBdOffset，该值也可以被限幅为QpBdOffset。当应用ACT时，可以基于校正的量化参数执行缩放。基于校正的量化参数qP的缩放方法可以遵循参考图16描述的方法。
-应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为1)：
-qP＝Max(QpBdOffset,Max(QpPrimeTsMin,qP)+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第三方法，在将ACT应用于当前块的情况下，可以对qP值进行校正以便于调整动态范围的改变，并且调整的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第三方法中，首先，通过变量QpPrimeTsMin与qP值的比较，可以执行限幅以允许qP值等于或大于QpPrimeTsMin。变量QpPrimeTsMin定义在变换跳过模式中允许的最小量化参数，量化参数可以首先被变量QpPrimeTsMin限幅为QpPrimeTsMin或更大的值，并且然后可以向其添加量化参数偏移(qpActOffset)，用于补偿由于ACT而产生的动态范围的改变。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第三方法，为了考虑根据比特深度的量化参数偏移，可以执行基于max算子的限幅，使得作为校正的量化参数的qP值等于或大于QpBdOffset。例如，QpBdOffset是非负的整数，并且因此当校正的量化参数值小于0时，该值可以被限幅为QpBdOffset。作为另一示例，即使当校正的量化参数值等于或大于0时，如果该值小于QpBdOffset，该值也可以被限幅为QpBdOffset。当应用ACT时，可以基于校正的量化参数执行缩放。基于校正的量化参数qP的缩放方法可以遵循参考图16描述的方法。
图19图示根据本公开的第四方法调整QP值并基于调整的QP执行缩放(解量化)的方法。从与图19相关的描述省略的部分可以遵循参考图16给出的描述，并且在下文中，描述了根据本公开的第四方法在不应用变换跳过时和当应用变换跳过时调整量化参数的方法。
-不应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为0)：
-qP＝Max(QpBdOffset,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第四方法，在将ACT应用于当前块的情况下，可以校正qP值以便于调整动态范围的改变，并且调整的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第四方法中，基于反映图像的比特深度的量化参数偏移，可以将小于QpBdOffset的值限幅为QpBdOffset，以使调整的量化参数等于或大于变量QpBdOffset的值。QpBdOffset是根据图像的比特深度添加的量化参数偏移，并且根据比特深度以预配置的精度(例如，16个比特)表达变换系数。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第四方法，为了考虑根据比特深度的量化参数偏移，可以执行基于max算子的限幅，使得作为校正的量化参数的qP值等于或大于QpBdOffset。例如，QpBdOffset是非负的整数，并且因此当校正的量化参数值小于0时，该值可以被限幅为QpBdOffset。作为另一示例，即使当校正的量化参数值等于或大于0时，如果该值小于QpBdOffset，该值也可以被限幅为QpBdOffset。当应用ACT时，可以基于校正的量化参数执行缩放。基于校正的量化参数qP的缩放方法可以遵循参考图16描述的方法。
-应用变换跳过的情况(transform_skip_flag[xTbY][yTbY][cIdx]为1)：
-qP＝Max(QpPrimeTsMin,qP+(cu_act_enabled_flag[xTbY][yTbY][cIdx]？qpActOffset:0))；根据本公开的第四方法，在将ACT应用于当前块的情况下，可以校正qP值以便于调整动态范围的改变，并且调整的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第四方法中，基于关于在应用变换跳过时允许的量化参数的信息，可以执行限幅使得校正的量化参数值等于或大于在变换跳过模式中允许的量化参数。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以返回qpActOffset作为量化参数偏移并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第四方法，可以执行限幅使得使用max算子校正的量化参数值变得等于或大于QpPrimeTsMin。变量QpPrimeTsMin定义在变换跳过模式中允许的最小量化参数，并且即使相对于应用ACT的块也可能需要满足量化参数需要等于或大于QpPrimeTsMin的条件。因此，当校正的量化参数值小于QpPrimeTsMin时，该值可以被限幅为QpPrimeTsMin。例如，QpPrimeTsMin是自然数，并且因此当校正的量化参数值小于0时，该值可以被限幅为QpPrimeTsMin。作为另一示例，即使当校正的量化参数值等于或大于0时，如果该值小于QpPrimeTsMin，该值也可以被限幅为QpPrimeTsMin。当应用ACT时，可以基于校正的量化参数执行缩放。基于校正的量化参数qP的缩放方法可以遵循参考图16描述的方法。
图20图示根据本公开的第五方法调整QP值并基于调整的QP执行缩放(解量化)的方法。从与图20相关的描述省略的部分可以遵循参考图16给出的描述，并且在下文中，描述了根据本公开的第五方法在不应用变换跳过时和应用变换跳过时调整量化参数的方法。
-不应用变换跳过的情况(transform_skip_flag[xTbY][yTbY]为0)：
-qP＝Max(0,qP+(cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0))；根据本公开的第五方法，在将ACT应用于当前块的情况下，可以对qP值进行校正以便于调整动态范围的改变，并且调整的qP值可能偏离预配置的范围，并且因此可以执行限幅运算。在第五方法中，基于在整数不为负的整数区域中定义量化参数，可以将小于0的值限幅为0以允许调整的qP值为0或更大。当ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为1)时，通过运算cu_act_enabled_flag[xTbY][yTbY]？qpActOffset:0，可以qpActOffset返回作为量化参数偏移并且可以通过qpActOffset校正量化参数qP。同时，当没有将ACT应用于当前块(cu_act_enabled_flag[xTbY][yTbY]为0)时，量化参数偏移为0，并且因此量化参数qP可以不被校正。根据本公开的第五方法，可以执行基于max算子的限幅以防止校正的qP值为负数。当应用ACT时，可以基于校正的量化参数执行缩放。
-应用变换跳过的情况(transform_skip_flag[xTbY][yTbY]为1)：根据本公开的第五方法，在将ACT应用于当前块的情况下，为了调整动态范围的改变可以对qP值进行校正，并且调整的qP值可能会偏离预配置的范围，并且因此可以执行限幅运算。
-应用ACT的情况(cu_act_enabled_flag[xTbY][yTbY]为1)：
-qP＝Max(0，qP+qpActOffset)；当应用ACT时，qP值可以通过作为量化参数偏移的qpActOffset来调整，并且调整的qP值可能会偏离预配置的范围，并且因此可以执行基于max算子的限幅。当调整的qP值为负数时，可以借助于max算子将qP配置为0。
-不应用ACT的情况(cu_act_enabled_flag[xTbY][yTbY]为0)：
-qP＝Max(QpPrimeTsMin，qP)；当不应用ACT时，不应用作为量化参数偏移的qpActOffset。因此，可以执行基于max算子的限幅，使得qP值变得等于或大于在变换跳过模式中允许的最小量化参数值。在当前qP值小于QpPrimeTsMin时，可以通过max算子将qP值配置为QpPrimeTsMin。
根据第五方法，当应用变换跳过时，允许的最小量化参数可以被配置为根据是否应用ACT而变化。当应用ACT时，最小量化参数值可以配置为0，并且当不应用ACT时，最小量化参数值可以配置为QpPrimeTsMin。
ACT在上面参考图16至图20描述的方法中的编译单元级别中被指示，但本公开不限于此。例如，即使在变换单元级别中指示ACT，在将ACT应用于缩放过程中处理的当前变换块所属的变换单元(块)的情况下，可以根据上述第一至第五方法校正量化参数，并且可以基于校正的量化参数执行缩放。
图21图示用信号发送应用于变换跳过模式的最小量化参数的方法。如参考图16至图20所描述的，可以在包括SPS、PPS、图片报头、切片报头等的更高级别语法结构中的至少一个中包括和指示在变换跳过模式中允许的最小量化参数值。
图21的(a)结构示出根据本公开的实施例的在SPS语法结构中指示应用于变换跳过模式的最小量化参数的方法。
chroma_format_idc可以在SPS语法结构中用信号发送。chroma_format_idc语法元素指示相对于亮度采样的色度采样，并且可以根据chroma_format_idc确定当前处理图像的色度格式。当chroma_format_idc为0时，这可能指示单色格式，并且在单色格式中可能仅存在一个luma(第一通道)样本阵列。当chroma_format_idc为1时，这可能指示4:2:0格式，4:2:0格式中的色度(第二通道和第三通道)样本阵列的高度和宽度可以分别是亮度(第一通道)样本阵列的一半。当chroma_format_idc为2时，这可能指示4:2:2格式，4:2:0格式中的色度(第二通道和第三通道)样本阵列的高度可能与亮度(第一通道)样本阵列的相同，并且色度样本阵列的宽度可能是亮度样本阵列的一半。当chroma_format_idc为3时，这可以指示4:4:4格式，并且另外，可以用信号发送separate_colour_plane_flag。当separate_colour_plane_flag为1时，这可能指示4:4:4格式的三个分量被分离并独立编译，而当separate_colour_plane_flag为0时，这可能指示配置颜色空间的分量未被分开编译。可以仅在chroma_format_idc为3的情况下用信号发送separate_colour_plane_flag，该情况指示4:4:4格式，并且当不用信号发送separate_colour_plane_flag(其不包括在比特流中)时，可以推断separate_colour_plane_flag为0。当在4:4:4格式中separate_colour_plane_flag为0，则色度(第二通道和第三通道)分量样本阵列的高度和宽度可以与亮度(第一通道)分量样本阵列的高度和宽度相同。当在4:4:4格式中separate_colour_plane_flag为1时，可以对配置颜色空间的分量进行可分离编译，并且可以通过单色图片处理每个分量。当separate_colour_plane_flag为1时，可以在图片报头中附加地用信号发送colour_plane_id，并且colour_plane_id可以指示当前处理的图片对应于配置颜色空间的第一通道分量、第二通道分量和第三通道分量当中的哪个分量。
在SPS语法结构中，可以用信号发送指示亮度和色度阵列样本的比特深度信息的bit_depth_minus8语法元素。解码器可以基于bit_depth_minus8语法将作为指示亮度和色度阵列样本的比特深度的变量的BitDepth配置为8+bit_depth_minus8。当BitDepth为N(自然数)时，第一通道、第二通道和第三通道阵列样本的值可能在[0,2^N-1]范围内。例如，当BitDepth为8时，第一通道、第二通道和第三通道阵列样本可能具有[0,255]范围内的值。
在SPS语法结构中，可以用信号发送指示与在变换跳过模式中允许的最小量化参数有关的信息的min_qp_prime_ts_minus4语法元素。解码器可以基于min_qp_prime_ts_minus4语法元素将作为指示在变换跳过模式中允许的最小量化参数值的变量的QpPrimeTsMin配置为4+min_qp_prime_ts_minus4。
在SPS语法结构中，可以用信号发送sps_transform_skip_enabled_flag语法元素。当sps_transform_skip_enabled_flag为1时，这指示作为指示变换跳过模式的语法元素的transform_skip_flag[][][]可以存在于变换单元语法中，并且这指示能够在序列-下位的变换单元级别中应用变换跳过模式。同时，当sps_transform_skip_enabled_flag为0时，这指示变换单元语法中不存在transform_skip_flag[][][](其不包括在比特流中)，并且这指示不能在序列-下位的变换单元级别中应用变换跳过模式。
在SPS语法结构中，当chroma_format_idc为3(格式为4:4:4格式)时，可以附加地用信号发送指示4:4:4格式的编译方法是开还是关的信息。
当sps_act_enabled_flag为1时，这指示能够使用ACT并且指示是否在编译单元级别中应用ACT的cu_act_enabled_flag可以存在于编译单元语法中。当sps_act_enabled_flag为0时，这指示不使用ACT并且编译单元语法中不存在cu_act_enabled_flag(其不包括在比特流中)。当sps_act_enabled_flag不存在时，其可以推断为0。
当sps_palette_enabled_flag为1时，这指示编译单元语法中可能存在指示是否在编译单元级别应用调色板模式的pred_mode_plt_flag，并且这可以指示作为预测方法之一的调色板模式能够在序列下位的编译单元级别中应用。当sps_palette_enabled_flag为0时，这指示编译单元语法中不存在pred_mode_plt_flag(其不包括在比特流中)，并且这可以指示不应用调色板模式。当sps_palette_enabled_flag不存在时，其可以推断为0。
如上所述，作为指示在变换跳过模式中允许的最小量化参数的变量的QpPrimeTsMin可以基于min_qp_prime_ts_minus4语法元素来配置，并且可以在不取决于SPS语法结构中的不同的语法元素的情况下始终用信号发送min_qp_prime_ts_minus4语法元素。
同时，QpPrimeTsMin参数指示在变换跳过模式中允许的最小量化参数，并且当在对当前块应用调色板模式或应用变换跳过模式的情况下编译逸出值(escape value)时，参数可能会被受限地使用。即，在指示在SPS级别中不应用变换跳过模式和调色板模式(sps_transform_skip_enabled_flag为0并且sps_palette_enabled_flag为0)的情况下，可能没有必要在用于QpPrimeTsMin的比特流中包括min_qp_prime_ts_minus4语法元素。因此，仅在指示可以在SPS级别中使用变换跳过模式和调色板模式中的至少一种的情况下(sps_transform_skip_enabled_flag为1，或sps_palette_enabled_flag为1)，当min_qp_prime_ts_minus4语法元素被用信号发送时，可以减少比特流的数量。
图21的图(b)示出根据本公开的另一实施例的在SPS语法结构中指示应用于变换跳过模式的最小量化参数的方法。
在图21的图(b)中，min_qp_prime_ts_minus4可以指示与在变换跳过模式中允许的最小量化参数有关的信息。参考图21的(b)，视频信号处理设备可以执行从比特流获得变换跳过激活标志(sps_transform_skip_enabled_flag)的操作。变换跳过激活标志(sps_transform_skip_enabled_flag)可以指示指示变换跳过模式的语法元素(transform_skip_flag)是否能够存在于变换单元语法中。指示变换跳过模式的语法元素(transform_skip_flag)可以是指示是否将变换跳过应用于包括在当前块中的变换块的变换跳过标志。当变换跳过标志指示将变换跳过应用于包括在当前块中的变换块时，可以不应用变换。可以从SPS、PPS、图片报头或切片报头当中的比特流获得变换跳过激活标志。
此外，视频信号处理设备可以执行从比特流获得调色板激活标志(sps_palette_enabled_flag)的操作。调色板激活标志(sps_palette_enabled_flag)可以指示是否应用调色板模式。调色板激活标志(sps_palette_enabled_flag)可以从SPS、PPS、图片报头或切片报头当中的比特流中获得。
此外，在图21的图(b)中，基于sps_transform_skip_enabled_flag和sps_palette_enabled_flag，可以如下受限地用信号发送min_qp_prime_ts_minus4语法元素。
if(sps_transform_skip_enabled_flag||sps_palette_enabled_flag)
min_qp_prime_ts_minus4
也就是说，当变换跳过激活标志指示在变换单元语法中存在指示变换跳过模式的语法元素(transform_skip_flag)，或者调色板激活标志(sps_palette_enabled_flag)指示调色板模式的应用时，视频信号处理设备可以执行从比特流获得与在变换跳过模式中允许的最小量化参数有关的信息(min_qp_prime_ts_minus4)的操作。更具体地，当指示在SPS级别中能够使用变换跳过模式和调色板模式中的至少一种(sps_transform_skip_enabled_flag为1，或sps_palette_enabled_flag为1)时，可以在比特流中包括min_qp_prime_ts_minus4语法元素，并且否则(sps_transform_skip_enabled_flag和sps_palette_enabeld_flag都为0)，min_qp_prime_ts_minus4语法元素可能不包括在比特流中。当比特流中不存在min_qp_prime_ts_minus4语法元素时，可以推断该语法元素为0。如上所述，当在SPS级别中不应用变换跳过模式和调色板模式时，不用信号发送min_qp_prime_ts_minus4语法元素信号，并且因此能够减少比特流的数量。
在上述实施例中，QpPrimeTsMin变量被描述为仅用于变换跳过模式和调色板模式，但是本公开不限于此。例如，在编译方法A、B、C和D中使用QpPrimeTsMin参数时，SPS级别中的编译方法的on/off语法元素分别为sps_tool_A_enabled_flag、sps_tool_B_enabled_flag、sps_tool_C_enabled_flag和sps_tool_D_enabled_flag，可以如下受限地用信号发送min_qp_prime_ts_minus4语法元素。
if(sps_tool_A_enabled_flag||sps_tool_B_enabled_flag||sps_tool_C_enabled_flag||sps_tool_D_enabled_flag)
min_qp_prime_ts_minus4
这指示，仅在指示编译方法A、B、C和D中的至少一种能够在SPS级别中应用的情况下，min_qp_prime_ts_minus4语法元素被包括在比特流中。
图22是图示在帧内子分区(ISP)模式中对块进行分区的实施例的图。ISP模式对应于当帧内预测应用于当前编译单元时将当前块分区成多个变换单元(块)并执行预测和重构的方法。在ISP模式下，可以通过预配置的方法将当前块分区成多个子块，并且预配置的方法可以包括水平分区和垂直分区。可以根据当前块的大小确定对当前块进行分区而获得的子块的数量。例如，当编译单元的大小为4x4时，可以不应用ISP模式，并且这可能意味着编译单元没有被分区。当编译单元的大小为4x8或8x4时，可以将编译单元分区成两个变换单元(块)，并且在其他大小的情况下，可以将编译单元分区成四个变换单元。可以根据变换相关信息确定能够应用ISP模式的编译单元大小。例如，ISP模式可以应用于编译单元的宽度和高度都等于或小于亮度变换块的最大大小并且编译单元的宽度和高度的乘积大于亮度变换块的最小大小的平方的情况。亮度变换块的最小大小和最大大小可以分别是4和64。
图22的图(a)图示能够被应用于4x8或8x4编译单元的变换单元分区方法，并且当针对具有WxH大小的编译单元指示水平分区时，编译单元可以被分区成具有Wx(H/2)大小的两个变换单元，并且当指示垂直分区时，编译单元可以被分区成具有(W/2)xH大小的两个变换单元。分区是水平分区还是垂直分区可以由1比特的标志来指示。
图22的图(b)图示能够应用于不具有4x8或8x4大小的编译单元的变换单元分区方法，并且当针对具有WxH大小的编译单元指示水平分区时，可以将编译单元分区成具有Wx(H/4)大小的四个变换单元，并且当指示垂直分区时，编译单元可以被分区成具有(W/4)xH大小的四个变换单元。分区是水平分区还是垂直分区可以由1比特的标志指示。
当ISP模式应用于当前编译单元时，色度块可以不被分区。通过ISP模式分区的预配置数量的变换单元可以包括亮度变换块，但是色度变换块可以仅包括在一些变换单元中。具体地，色度变换块可以仅包括在分区的变换单元当中的最后一个变换单元中。例如，当ISP模式应用于4x8或8x4编译单元时，编译单元可以包括两个分区的变换单元，并且每个变换单元可以包括亮度变换块。同时，色度变换块可以仅包括在第二分区变换单元中，并且色度变换块的大小可以与色度编译块的大小相同。作为另一示例，当将ISP模式应用于不具有4x8或8x4大小的编译单元时，编译单元可以包括四个分区的变换单元，并且每个变换单元可以包括亮度变换块。同时，色度变换块可以仅包括在第四分区变换单元中，并且色度变换块的大小可以与色度编译块的大小相同。
相对于帧间预测块的残差信号，残差信号可能同心地存在于块的特定位置(残差信号的能量在同一位置处较大)。例如，可能存在残差信号的能量在残差信号块的边界区域较大，并且残差信号的能量在块的中心部分和另一侧边界区域相对较小的图样。在使用帧间预测块的残差信号的这种图样以将当前块分区成子块并执行变换和量化的情况下，能够提高帧间预测块的编译效率。
图23图示子块变换(SBT)方法。SBT可以以预配置的比率分区当前编译单元，并且对分区的变换单元当中的仅一些变换单元执行变换和量化。在本公开中，描述了分区成具有1:1或1:3比率的两个变换单元，但本公开不限于此。
SBT可以假定残差信号集中在分区的变换单元当中的一个变换单元上，仅对一个变换单元执行变换和量化，并假定剩余的变换单元中不存在残差信号。在图23的图(a)、(b)、(c)和(d)中，由“A”指示的区域中的变换单元对应于执行变换和量化的区域，并且可以使用与变换相关的语法元素来指示量化之后的变换块中是否存在除了0之外的变换系数(量化的变换系数)。具体地，变换系数标志可以包括第一变换系数标志(tu_cbf_luma)、第二变换系数标志(tu_cbf_cb)或第三变换系数标志(tu_cbf_cr)。在本公开中，第一变换系数标志、第二变换系数标志和第三变换系数标志也可以分别称为tu_y_coded_flag、tu_cb_coded_flag和tu_cr_coded_flag。编码器可以用信号发送tu_cbf_cb语法元素，并且解码器可以基于从比特流中解析的tu_cbf_cb语法元素来确定第二通道变换块中是否存在除了0之外的一个或多个变换系数。当第二变换系数标志(tu_cbf_cb)为1时，这可以指示第二通道变换块中存在除了0之外的一个或多个变换系数，并且当第二变换系数标志(tu_cbf_cb)为0时，这可以指示第二通道变换块的变换系数全部为0。当对当前块应用ACT时，第二通道变换块可以是Cg变换块。当对当前块不应用ACT时，该块可以指示原始颜色空间的第二通道变换块，并且可以是YCbCr的Cb变换块。
接下来，编码器可以用信号发送tu_cbf_cr语法元素，并且解码器可以基于从比特流中解析的tu_cbf_cr语法元素来确定第三通道变换块中是否存在除了0之外的一个或多个变换系数。当第三变换系数标志(tu_cbf_cr)为1时，这可以指示第三通道变换块中存在除了0之外的一个或多个变换系数，并且当第三变换系数标志(tu_cbf_cr)为0时，这可以指示第三通道变换块的变换系数全部为0。当ACT应用于当前块时，第三通道变换块可以是Co变换块。当对当前块不应用ACT时，该块可以指示原始颜色空间的第三通道变换块，并且可以是YCbCr的Cr变换块。
接下来，编码器可以用信号发送作为第一变换系数标志的tu_cbf_luma语法元素，并且解码器可以基于从比特流解析的tu_cbf_luma语法元素确定第一通道变换块中是否存在除了0之外的一个或多个变换系数。当第一变换系数标志(tu_cbf_luma)为1时，这可以指示第一通道变换块中存在除了0之外的一个或多个变换系数，并且当第一变换系数标志(tu_cbf_luma)为0时，这可以指示第一通道变换块的变换系数全部为0。第一通道变换块可以是亮度变换块。
在图23的图(a)、(b)、(c)和(d)中，由“A”指示的区域对应于其中存在残差信号的区域，并且编码器可以基于量化的变换系数信息执行由“A”指示的变换单元的变换和量化，并且然后用信号发送tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。解码器可以基于从比特流解析的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素来确定是否执行对应变换块的系数编译(残差编译)、缩放(解量化)和逆变换。当基于tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素，对应的变换块包括除了0之外的一个或多个系数时，解码器可以基于从比特流解析的语法元素获得量化的变换系数(TransCoeffLevel阵列)。解码器可以对量化的变换系数进行解量化以获得变换系数，并对变换系数进行逆变换以获得残差信号。同时，当变换块的所有系数都为0时，解码器可以不执行系数编译、缩放和逆变换，并且将所有残差样本阵列配置为0。下面可以参考图25和图26描述用信号发送tu_cbf_luma、tu_cbf_cb和tu_cbf_cr的方法。
同时，在图23的(a)、(b)、(c)和(d)中未用“A”指示的区域可以为假定其中不存在残差信号的变换单元区域，可以不执行系数编译、解量化和逆变换过程，并且编码器可以不用信号发送tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。解码器可以将tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素配置为0，而无需从比特流中解析它们。
图23的图(a)图示当编译单元的大小是WxH时，将编译单元垂直分区成具有(W/2)xH大小的两个变换单元的方法。可替选地，当指示{1/4，3/4}分区的1比特的标志为1时，编译单元可以被分区成具有(W/4)xH大小和(3W/4)xH大小的两个变换单元。在上述两种情况下，可以对左变换单元执行变换，可以在水平方向应用DCT-VIII，并且可以在垂直方向应用DST-VII。如果相应变换单元的宽度或高度大于预配置的值，则可以在水平和垂直两个方向两者上应用DCT-II。预配置的值可以是32。在色度块的情况下，可以在水平和垂直两个方向上应用DCT-II。
图23的图(b)图示当编译单元的大小是WxH时，将编译单元垂直分区成具有(W/2)xH大小的两个变换单元的方法。可替选地，当指示{1/4,3/4}分区的1比特的标志为1时，编译单元可以被分区成具有(3W/4)xH大小和(W/4)xH大小的两个变换单元。在上述两种情况下，可以对右变换单元执行变换，并且可以在水平方向和垂直方向两者上应用DST-VII。如果相应变换单元的宽度或高度大于预配置的值，则可以在水平和垂直两个方向两者上应用DCT-II。预配置的值可以是32。在色度块的情况下，可以在水平和垂直两个方向上应用DCT-II。
图23的图(c)图示当编译单元的大小是WxH时，将编译单元水平分区成具有Wx(H/2)大小的两个变换单元的方法。可替选地，当指示{1/4，3/4}分区的1比特的标志为1时，编译单元可以被分区成具有Wx(H/4)大小和Wx(3H/4)大小的两个变换单元。在上述两种情况下，可以对上变换单元执行变换，可以在水平方向应用DST-VII，并且可以在垂直方向应用DCT-VIII。如果相应变换单元的宽度或高度大于预配置的值，则可以在水平和垂直两个方向上应用DCT-II。预配置的值可以是32。在色度块的情况下，可以在水平和垂直两个方向上应用DCT-II。
图23的图(d)图示当编译单元的大小是WxH时，将编译单元水平分区成具有Wx(H/2)大小的两个变换单元的方法。可替选地，当指示{1/4，3/4}分区的1比特的标志为1时，编译单元可以被分区成具有Wx(3H/4)大小和Wx(H/4)大小的两个变换单元。在上述两种情况下，可以对下变换单元执行变换，并且可以在水平方向和垂直方向上应用DST-VII。如果相应变换单元的宽度或高度大于预配置的值，则可以在水平和垂直两个方向上应用DCT-II。预配置的值可以是32。在色度块的情况下，可以在水平和垂直两个方向上应用DCT-II。
可以根据作为指示存在/不存在作为变换相关语法结构的transform_tree()语法结构的语法元素的cu_cbf来确定是否使用SBT，并且可以在编码单元级别中用信号发送是否应用SBT。在本公开中，cu_cbf语法元素也可以称为cu_coded_flag。例如，当SBT标志(cu_sbt_flag)为1时，这可以指示SBT用于当前编译单元，而当SBT标志(cu_sbt_flag)为0时，这可以指示SBT不用于当前编译单元。当cu_cbf为1时，这可以指示对于当前编译单元存在transform_tree()语法结构，并且这可能意味着当前编译单元包括至少不为0的一个或多个系数。同时，当cu_cbf为0时，这可以指示transform_tree()语法结构不存在，并且这可能意味着残差信号不存在。编码器和解码器可以配置与编译单元大小相同的根节点，并且对变换树进行分区，并且分区的变换树的叶节点可以是变换单元。变换树可以通过transform_tree()语法结构来执行，并且解码器可以基于从比特流中解析的cu_cbf语法元素来确定transform_tree()语法结构是否存在。当没有transform_tree()时，transform_tree()无法执行变换单元分区，并且因此可能无法应用SBT。在这种情况下，解码器可能不会从比特流中解析SBT标志(cu_sbt_flag)并将其配置为0。
在另一个实施例中，可以根据预测方法来确定是否使用SBT。在残差信号集中分布在一个区域时SBT是有效的，并且因此，当预测方法是帧间预测时，可以应用SBT。在帧内预测的情况下，可以不应用SBT，并且解码器可以不从比特流中解析SBT标志(cu_sbt_flag)并将其配置为0。另外，在帧间预测的特定预测方法中SBT的使用可能受到限制。例如，作为帧间预测当中的合并预测的方法，可以合并由合并候选指示的参考块和使用预配置的帧内预测模式生成的帧内预测块以生成当前块的预测块。在这种情况下，残差信号的特性可能示出帧内预测块的特性，并且因此可以不应用SBT。
当SBT标志(cu_sbt_flag)为1时，这可以指示SBT被应用于当前块，并且可以使用附加语法元素来指示对变换树进行分区的方法。首先，可以用信号发送指示分区是{1/4，3/4}分区还是{1/2，1/2}分区的语法元素。例如，当cu_sbt_quad_flag为1时，这可以指示当前编译单元包括通过SBT获得的变换单元，并且是当前编译单元的1/4的大小，并且从而可以意味着当前编译单元包括被分区成{1/4,3/4}大小的两个变换单元。同时，当cu_sbt_quad_flag为0时，这可能指示当前编译单元包括通过SBT获得的变换单元并且是当前编译单元的1/2大小，并且因此可以意味着当前编译单元包括被分区成{1/2,1/2}大小的两个变换单元。
接下来，可以用信号发送关于分区方向的信息。例如，当cu_sbt_horizontal_flag为1时，这可以指示当前编译单元通过SBT被水平分区成两个变换单元。同时，当cu_sbt_horizontal_flag为0时，这可以指示当前编译单元通过SBT被垂直分区成两个变换单元。
接下来，可以用信号发送指示由SBT分区的变换单元当中的其中存在残差信号的变换单元的信息。例如，当SBT位置标志(cu_sbt_pos_flag)为1时，这可以指示在相对于由SBT分区的两个变换单元当中的第一变换单元的比特流中不存在tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。这可能意味着第一变换单元中不存在残差信号。编码器可以不用信号发送相对于第一变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。解码器可以将tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素配置为0，而无需从相对于第一变换单元的比特流中解析它们。同时，当SBT位置标志(cu_sbt_pos_flag)为0时，这可以指示在相对于由SBT分区的两个变换单元当中的第二变换单元的比特流中不存在tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。这可能意味着第二变换单元中不存在残差信号。编码器可以不用信号发送相对于第二变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素。解码器可以将tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素配置为0，而无需从相对于第二变换单元的比特流中解析它们。
当应用SBT时，可以根据变换单元的索引(位置)和变换单元的大小来选择在水平和垂直方向上应用的变换核，并且因此可以不显式地用信号发送指示变换核的语法元素。
上面参考图22和图23描述的ISP模式和SBT可以分区变换树，而图24图示作为与变换树相关的语法结构的transform_tree()语法结构。transform_tree()语法结构可以处理变换树的分区，并且变换树的叶节点可以是变换单元(TU)，并且可以在变换单元中执行与残差信号相关的语法元素的解析和处理。
transform_tree()可以接收下述的输入：(x0,y0)，其是当前处理的节点的左上坐标；tbWidth，其是当前处理的节点的宽度；tbHeight，其是其高度；treeType，其是指示当前处理的编码树的类型的变量；以及根据treeType变量配置的chType变量。当指示当前处理的树的类型的信息(treeType)是SINGLE_TREE时，这可以指示亮度和色度已经被编码在相同的编码树结构中。即，SINGLE_TREE可以指示在分区包括当前块的上位区域时使用单树。当指示当前处理的树的类型的信息(treeType)为DUAL_TREE_LUMA时，这可以指示当前处理的树是当亮度和色度已经以不同的编码树结构编码时的亮度分量的树。即，DUAL_TREE_LUMA可以指示在分区包括当前块的上位区域时使用双树，并且包括在当前块中的分量是第一通道分量(LUMA)。当treeType为DUAL_TREE_CHROMA时，这可能意味着当前处理的树是当亮度和色度以不同的编码树结构编码时的用于色度分量的树。可以基于treeType配置变量chType，并且当treeType为DUAL_TREE_CHROMA时，chType可以配置为1，并且否则，其可以配置为0。当初始调用transform_tree()时，(x0,y0)可以与编译单元的左上坐标相同，并且tbWidth、tbHeight、treeType和chType可以分别与编译单元的宽度、高度、treeType和chType相同。对具有与编译单元相同大小的变换树的根节点的分区可以划分为如下三种情况。
i)在当前节点的宽度大于最大亮度变换样本数(MaxTbSizeY)时，或者在当前节点的高度大于最大亮度变换样本数时(tbWidth>MaxTbSizeY||tbHeight>MaxTbSizeY)：MaxTbSizeY是指示亮度最大变换块的大小(样本数量)的变量，并且可以根据编解码器中定义的变换核的最大大小来确定。增大变换核的最大大小一般可以增加能量压缩，并且从而能够增加编译效率，但是硬件编码器和解码器的流水线缓冲区的大小可以根据变换核的最大大小来确定。因此，可以考虑复杂度和编译效率两者来确定变换核的最大大小。MaxTbSizeY对于编码器和解码器可以被配置成相同的固定常数，并且可以根据在更高级别中用信号发送的语法元素来配置。例如，可以在SPS和PPS之一中包括和指示关于亮度变换块的最大大小(样本数量)的信息。例如，sps_max_luma_transform_size_64_flag可以包括在SPS中，并且然后用信号发送。当sps_max_luma_transform_size_64_flag为1时，这可以指示亮度样本的最大变换大小(样本数量)为64，当sps_max_luma_transform_size_64_flag为0时，这可以指示亮度样本的最大变换大小(样本数量)是32，变量MaxTbLog2SizeY和MaxTbSizeY可以基于sps_max_luma_transform_size_64_flag被配置如下。
MaxTbLog2SizeY＝sps_max_luma_transform_size_64_flag？6:5
MaxTbSizeY＝1<<MaxTbLog2SizeY
变量MaxTbSizeY指示亮度变换块的最大大小(样本数量)，并且MaxTbLog2SizeY可以与MaxTbSizeY以2为底的对数的值相同。在上述实施例中，已经描述了关于亮度变换块的最大大小(样本数量)的信息在SPS级别中以标志类型被用信号发送，并且亮度变换块的最大大小(样本数量)被确定为64或32之一。然而，本公开不限于此。例如，可以直接用信号发送以2为底的亮度变换块的最大大小(样本数量)的对数值。在上述实施例中，可以在SPS级别中确定MaxTbLo2SizeY和MaxTbSizeY，并且可以将参数应用于作为SPS的较低级别的图片、图块和切片级别。
在基于亮度变换块的最大大小(样本数量)的变换树分区中，可以不显式地用信号发送变换树分区方法。同时，在ISP或SBT的情况下，可以显式地用信号发送变换树分区方法，并且在ISP和SBT未被应用的情况下可以执行基于亮度变换块的最大大小(样本数量)的变换树分区。因此，可以在图24的transform_tree语法结构的第一个if语句中识别当前编译单元是否应用ISP或SBT。当IntraSubPartitionsSplitType为ISP_NO_SPLIT时，这可以指示ISP没有应用于当前编译单元，并且当IntraSubPartitionsSplitType不是ISP_NO_SPLIT时，这可以指示ISP被应用于当前编译单元。当SBT标志(cu_sbt_flag)为1时，这可以指示SBT被应用于当前编译单元，并且当SBT标志(cu_sbt_flag)为0时，这可以指示SBT没有被应用于当前编译单元。在不应用ISP和SBT的情况下，可以执行基于亮度变换块的最大大小(样本数量)的变换树分区。因此，当在第一个if语句中IntraSubPartitionsSplitType为ISP_NO_SPLIT并且SBT标志(cu_sbt_flag)为0时，可以执行基于亮度变换块的最大大小(样本数量)的变换树分区。
当变换树的根节点和分区的中间节点的宽度(tbWidth)或高度(tbHeight)大于MaxTbSizeY时，不显式地用信号发送和解析分区方法，并且可以对变换树进行分区直到分区节点的宽度和高度变成等于或小于MaxTbSizeY。当tbWidth和tbHeight都等于或小于MaxTbSizeY时，对应的节点可以成为作为变换树的叶节点的变换单元。
例如，当MaxTbSizeY相对于64x64根节点为32(与编译单元的大小相同)时，可以将变换树分区成具有32x32大小的四个节点，并且具有32x32大小的叶节点可以成为变换单元而无需进一步分区。作为另一示例，当MaxTbSizeY相对于64x32根节点为32时，变换树可以被分区成具有32x32大小的两个节点，并且具有32x32大小的叶节点可以成为变换单元而无需进一步分区。当变换树的根节点和分区的中间节点的宽度或高度大于MaxTbSizeY时，可以递归调用transform_tree()以对变换树进行分区。当变换树的根节点和分区的中间节点的宽度和高度都等于或小于MaxTbSizeY时，对应的节点可以成为变换单元而无需进一步分区，并且可以在transform_unit()语法结构中执行与残差信号相关的语法元素的解析和处理。
ii)当SBT应用于当前编译单元时(cu_sbt_flag＝＝1)：与上述情况i)不同，当应用SBT时，可以通过在编译单元级别中的语法元素的显式信令来确定变换树分区方法。
iii)当对当前编译单元应用ISP时(IntraSubPartitionsSplitType！＝ISP_NO_SPLIT)：与索引i)中描述的情况不同，当应用ISP时，可以通过编译单元级别的语法元素的显式信令来确定变换树分区方法。当IntraSubPartitionsSplitType为ISP_HOR_SPLIT时，这可以指示由ISP进行水平分区，并且当IntraSubPartitionsSplitType为ISP_VER_SPLIT时，这可以指示由ISP进行垂直分区。
如上文所述的情况i)、ii)和iii)，变换树的分区可以被分类成在没有语法元素的显式信令的情况下进行分区的情况i)以及指示通过使用语法元素的显式信号的分区方法的情况ii)和iii)。在图24所图示的transform_tree()语法结构的情况下，可以执行在所有情况i)、ii)和iii)中描述的变换树分区，并且图24的transform_tree()语法结构简述如下。
transform_tree()
{
if(IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&！cu_sbt_flag)
{
基于块大小进行隐式分区
}
else if(cu_sbt_flag)
{
基于SBT模式进行显式分区
}
else if(IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT)
{
基于ISP模式进行显式分区
}
else if(IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT)
{
基于ISP模式进行显式分区
}
}
在图24所图示的transform_tree()语法结构中，首先，当IntraSubPartitionsSplitType为ISP_NO_SPLIT并且SBT标志(cu_sbt_flag)为0时，可以执行基于节点的大小信息和亮度最大变换块大小(样本数量)的隐式分区。接下来，当IntraSubPartitionsSplitType是ISP_NO_SPLIT并且SBT标志(cu_sbt_flag)是1时，可以基于在编译单元中用信号发送和解析的SBT相关语法元素来分区变换树。接下来，当IntraSubPartitionsSplitType不是ISP_NO_SPLIT，并且SBT标志(cu_sbt_flag)为0时，可以基于IntraSubPartitionsSplitType执行通过ISP的水平分区或垂直分区。
作为变换树的叶节点的变换单元可以包括与变换和变换系数有关的语法元素，并且可以在transform_unit()语法结构中进行处理。图25图示根据本公开的实施例的transform_unit()语法结构。transform_unit()语法结构指示与变换单元相关的语法结构，并且可以接收tbWidth、tbHeight、treeType、subTuIndex和chType变量的输入。(x0,y0)可以指示当前变换块的左上亮度样本的位置，并且可以是对图片的左上亮度样本位置的相对位置。变量tbWidth和tbHeight可以分别指示当前变换块的宽度和当前变换块的高度。亮度分量的编码树结构和色度分量的编码树结构可以相同或不同地编码，并且因此可以通过treeType变量来指示当前处理的编码树类型。当treeType为SINGLE_TREE时，这意味着亮度分量和色度分量已经被编码在同一编码树结构中，并且在这种情况下，变换单元可以包括根据颜色格式的色度变换块和亮度变换块。当treeType为DUAL_TREE_LUMA时，这可能意味着当亮度分量和色度分量以不同的编码树结构编码时，当前处理的编码树是亮度分量的编码树。在这种情况下，变换单元可以包括亮度变换块。当treeType为DUAL_TREE_CHROMA时，这可能意味着当亮度分量和色度分量以不同的编码树结构编码时，当前处理的编码树是色度分量的编码树。在这种情况下，变换单元可以包括根据颜色格式的色度变换块。subTuIndex指示当前处理的变换单元的索引。chType可以基于treeType进行配置，并且当treeType为DUAL_TREE_CHROMA时，chType可以配置为1，并且否则，其可以配置为0。
在transform_unit()语法结构中，首先，可以配置作为第二通道分量和第三通道分量的索引的(xC，yC)，以及第二通道变换块和第三通道变换块的宽度和高度。输入到transform_unit()的(x0,y0)、tbWidth和tbHeight可以是参考亮度块配置的值。例如，tbWidth和tbHeight可以是亮度变换块的宽度和高度，并且色度变换块的宽度(变量wC)和高度(变量hC)可能不同于根据颜色格式(或色度格式)的亮度变换块的宽度和高度。
根据色度样本阵列的下采样比率，色度格式可以被划分为单色、4:2:0、4:2:2和4:4:4类型。在单色采样中，可能存在仅一个样本阵列，并且可能是亮度样本阵列。在4:2:0采样中，两个色度(第二通道和第三通道)样本阵列的宽度和高度可以分别是亮度(第一通道)样本阵列的宽度和高度的一半。在4:2:2采样中，两个色度(第二通道和第三通道)样本阵列的宽度可以是亮度(第一通道)样本阵列的宽度的一半，并且其高度可以与亮度(第一通道)样本阵列的高度相同。在4:4:4采样中，两个色度(第二通道和第三通道)样本阵列的宽度和高度可以分别与亮度(第一通道)样本阵列的宽度和高度相同。在4:4:4:采样中，可以将第一通道分量、第二通道分量和第三通道分量分离并且独立处理，并且在这样的情况下，可以通过单色采样的图片处理每个通道分量。根据色度格式，与水平采样率相关的变量(SubWidthC)、与垂直采样率相关的变量(SubHeightC)以及指示根据色度格式确定的色度阵列的类型的指示符(ChromaArrayType)可以配置如下。
-单色
-ChromaArrayType＝0，SubWidthC＝1，SubHeightC＝1
-4:2:0
-ChromaArrayType＝1，SubWidthC＝2，SubHeightC＝2
-4:2:2
-ChromaArrayType＝2，SubWidthC＝2，SubHeightC＝1
-4:4:4
-ChromaArrayType＝3，SubWidthC＝1，SubHeightC＝1
作为4:4:4采样的特定情况，当第一分量、第二分量和第三分量被分离并独立处理时，ChromaArrayType可以被配置为0，如在单色的情况下。变量SubWidthC和SubHeightC分别指示水平方向和垂直方向的下采样率，并且色度块的大小可以基于亮度块的大小、SubWidthC和SubHeightC导出。例如，色度编译块的宽度和高度分别与将亮度编译块的宽度(CbWidth[chType][x0][y0])除以SubWidthC而获得的值、以及通过将亮度编译块的高度(CbHeight[chType][x0][y0])除以SubHeightC而获得的值相同。作为另一示例，色度变换块的宽度和高度分别与通过将亮度变换块的宽度(tbWidth)除以SubWidthC所获得的值、以及通过将亮度变换块的高度(tbHeight)除以SubHeightC而获得的值相同。
当将ISP模式应用于当前编译单元时，编译单元可以通过变换树被分区成多个变换单元，并且可以基于ISP模式信息和编译块的大小确定作为指示分区的变换单元的数量的变量的NumIntraSubPartitions。即使当将ISP模式应用于当前编译单元时，色度块也可能不被分区。例如，当将ISP水平分区模式(ISP_HOR_SPLIT)应用于具有64x64大小的编译单元时，编译单元可以被分区成四个64x16变换单元。在变换单元当中，第一变换单元(subTuIndex为0)、第二变换单元(subTuIndex为1)并且第三变换单元(subTuIndex为2)可以仅包括具有64x16大小的亮度变换块。第四变换单元(subTuIndex为3)可以包括具有非分区大小(与色度编译块的大小相同)的色度变换块和具有64×16大小的亮度变换块。
在可以包括色度块的树结构中(第一条件，当treeType是SINGLE_TREE时)，当应用ISP模式时(第二条件，IntraSubPartitionsSplitType不是ISP_NO_SPLIT)，对于最后分区的变换单元(第三条件，当subTuIndex为NumIntraSubPartitions-1)时，与色度阵列的索引相关的变量xC和yC，以及色度阵列的宽度wC和高度hC可以配置如下。
-xC＝CbPosX[chType][x0][y0]
-yC＝CbPosY[chType][x0][y0]
-wC＝CbWidth[chType][x0][y0]/SubWidthC
-hC＝CbHeight[chType][x0][y0]/SubHeightC
这可以指示，当应用ISP模式时，色度块没有被分区，并且具有与没有被分区的色度编译块相同大小的色度变换块被包括在最后分区的变换单元(其subTuIndex为NumIntraSubPairtitions-1的变换单元)中。
当第一条件、第二条件和第三条件中的任何一个为假时，xC、yC、wC和hC可以被配置如下。
-xC＝x0
-yC＝y0
-wC＝tbWidth/SubWidthC
-hC＝tbHeight/SubHeightC
作为指示存在/不存在色度样本(第二分量和第三分量)阵列的变量的chromaAvailable可以被配置为当以下第一条件至第三条件都为真时为真。
-[第一条件]treeType！＝DUAL_TREE_LUMA
在当前处理的编码树的结构对应于仅包括亮度(第一分量)的树时，可以不包括色度样本阵列。
-[第二条件]ChromaArrayType！＝0
当处理后图像的颜色格式为单色时，或者第一分量、第二分量和第三分量在4:4:4图像中独立且可分离地处理时，ChromaArrayType可以配置为0，并且这可以指示色度(第二分量和第三分量)不存在。
-[第三条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT||(IntraSubPartitionsSplitType！＝ISP_NO_SPLIT&&subTuIndex＝＝NumIntraSubPartitions-1)
当ISP模式不应用于当前编译单元(IntraSubPairtitionsSplitType是ISP_NO_SPLIT)时，或者当ISP模式被应用(IntraSubPartitionsSplitType不是ISP_NO_SPLIT)时，在当前处理的变换单元是分区变换单元当中的最后一个变换单元的情况下(subTuIndex为NumIntraSubPartitions-1)，可以包括色度样本阵列。
在transform_unit()语法结构中，首先，可以处理指示变换块是否包括除了0之外的一个或多个变换系数的语法元素。tu_cbf_cb[xC][yC]语法元素是指示第二通道变换块是否包括除了0之外的一个或多个变换系数的语法元素。当tu_cbf_cb[xC][yC]为1时，这可以意味着第二通道变换块包括除了0之外的一个或多个变换系数。同时，当tu_cbf_cb[xC][yC]为0时，这可以指示第二通道变换块的所有变换系数为0。索引xC和yC可以指示第二通道变换块的左上位置(xC,yC)，并且第二通道可以是YCbCr颜色空间的Cb通道、YCgCo颜色空间的Cg通道、以及GBR颜色空间(也可以称为RGB颜色空间)的B通道。
tu_cbf_cr[xC][yC]语法元素是指示第三通道变换块是否包括除了0之外的一个或多个变换系数的语法元素。当tu_cbf_cr[xC][yC]为1时，这可以意味着第三通道变换块包括除了0之外的一个或多个变换系数。同时，当tu_cbf_cr[xC][yC]为0时，这可以指示第三通道变换块的所有变换系数为0。索引xC和yC可以指示第三通道变换块的左上位置(xC，yC)，并且第三通道可以是YCbCr颜色空间的Cr通道、YCgCo颜色空间的Co通道、以及GBR颜色空间的R通道。
tu_cbf_luma[x0][y0]语法元素是指示第一通道变换块是否包括除了0之外的一个或多个变换系数的语法元素。当tu_cbf_luma[x0][y0]为1时，这可能意味着第一通道变换块包括除了0之外的一个或多个变换系数。同时，当tu_cbf_luma[x0][y0]为0时，这可以指示第一通道变换块的所有变换系数为0。索引x0和y0可以指示第一通道变换块的左上第一通道样本位置(x0,y0)，并且可以是对图片的左上第一通道样本位置的相对位置。第一通道可以是YCbCr颜色空间的亮度Y通道、YCgCo颜色空间的亮度Y通道和GBR颜色空间的G通道。
根据以下第一至第三条件，可以首先用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]语法元素。
-[第一条件](treeType＝＝SINGLE_TREE||treeType＝＝DUAL_TREE_CHROMA)&&ChromaArrayType！＝0
当treeType为SINGLE_TREE或DUAL_TREE_CHROMA时，当前单元可以包括用于第二通道分量和第三通道分量的块，并且当ChromaArrayType为0时，这可以指示第二通道样本阵列和第三通道样本阵列不存在。因此，在满足第一条件的情况下，当第二条件为真或第三条件为真时，可以用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。当第一条件为假时，编码器可能不会用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。解码器可以将tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]都配置为0，而无需从比特流中解析它们。
-[第二条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&
！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||
(subTuIndex＝＝1&&！cu_sbt_pos_flag)))
第二条件可以指示当ISP模式不应用于当前块(IntraSubPartitionsSplitType是ISP_NO_SPLIT)时，用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]的条件。当不应用ISP模式时，可以应用SBT，并且当应用SBT时，可以通过变换树将编译单元分区成预配置数量的变换单元，并且变换单元的预配置数量可以是2。当应用SBT(cu_sbt_flag为1)时，如参考图23所述，可以用信号发送分区的变换单元当中的作为指示其中存在残差信号的变换单元的语法元素的SBT位置标志(cu_sbt_pos_flag)。当SBT位置标志(cu_sbt_pos_flag)为1时，这指示在相对于两个分区的变换单元当中的第一变换单元(其subTuIndex为0的变换单元)的比特流中不存在tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素，并且这意味着在第二变换单元中可能存在残差信号(subTuIndex为1)。在这种情况下，编码器可以不用信号发送相对于第一变换单元的tu_cbf_luma[x0][y0]、tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。解码器可以将tu_cbf_luma[x0][y0]、tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]都配置为0，而无需从比特流中解析它们。
同时，当SBT位置标志(cu_sbt_pos_flag)为0时，这指示tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素不存在于相对于通过SBT分区的两个变换单元当中的第二变换单元(subTuIndex为1)的比特流中，并且这意味着残差信号能够存在于第一变换单元中(subTuIndex为0)。在这种情况下，编码器可以不用信号发送相对于第二变换单元的tu_cbf_luma[x0][y0]、tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。解码器可以将tu_cbf_luma[x0][y0]、tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]全部配置为0，而无需从比特流中解析它们。因此，第二条件可能意味着，在不应用ISP模式和SBT，或者应用SBT时当前处理的变换单元中能够存在残差信号的情况下，可以用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。
-[第三条件]IntraSubPartitionsSplitType！＝ISP_NO_SPLIT&&
(subTuIndex＝＝NumIntraSubParrtitions-1)
第三条件可以指示当将ISP模式应用于当前块(IntraSubPartitionsSplitType不是ISP_NO_SPLIT)时，用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]的条件。当ISP模式应用于当前块时，可以通过变换树将编译单元分区成NumIntraSubPartitions个变换单元，并且色度(第二通道和第三通道)块可以仅包括在分区的变换单元当中的最后一个变换单元中(subTuIndex是NumIntraSubPartitions-1)。色度块可能不被包括在其他变换单元中(subTuIndex等于或大于0，并且小于NumIntraSubPartitions-1)，并且可能不用信号发发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。在这种情况下，编码器可能不会用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。解码器可以将tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]都配置为0，而无需从比特流中解析它们。
当第一条件为真并且第二条件为真或第三条件为真时，可以用信号发送tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]。当tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]不存在时，解码器可以将其都配置为0。
在transform_unit()语法结构中，接下来，可以用信号发送tu_cbf_luma[x0][y0]。根据以下第一至第三条件，可以用信号发送tu_cbf_luma[x0][y0]语法元素。
[第一条件]treeType＝＝SINGLE_TREE||treeType＝＝DUAL_TREE_LUMA
当treeType为SINGLE_TREE或DUAL_TREE_LUMA时，当前单元可以包括用于第一通道分量的块，并且在满足第一条件的情况下，当第二条件为真或第三条件为真时，可以用信号发送tu_cbf_luma[x0][y0]。当treeType为DUAL_TREE_CHROMA时，当前单元可能不包括用于第一通道分量的块。在这种情况下，编码器可能不会用信号发送tu_cbf_luma[x0][y0]。解码器可以将tu_cbf_luma[x0][y0]配置为0，而无需从比特流中解析它。
-[第二条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&
！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||
(subTuIndex＝＝1&&！cu_sbt_pos_flag)))&&
(CuPredMode[chType][x0][y0]＝＝MODE_INTRA||
(chromaAvailable&&(tu_cbf_cb[xC][yC]||tu_cbf_cr[xC][yC]))||
CbWidth[chType][x0][y0]>MaxTbSizeY||
CbHeight[chType][x0][y0]>MaxTbSizeY)
当第(2-1)条件为真并且第(2-2)条件至第(2-5)条件中的至少一个为真时，第二条件可以被配置为真。
-[第(2-1)条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&
！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||
(subTuIndex＝＝1&&！cu_sbt_pos_flag)))
第(2-1)条件可以意味着，在不应用ISP模式和SBT，或者在应用SBT时当前处理的变换单元中能够存在残差信号的情况下，可以根据第(2-2)条件到第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。
-[第(2-2)条件]CuPredMode[chType][x0][y0]＝＝MODE_INTRA
可以在编译单元级别中确定预测方法，并且可以基于在编译单元级别中接收到的信息来配置CuPredMode[chType][x0][y0]变量。预测方法可以包括帧内预测、帧间预测、帧内块复制(IBC)、调色板模式等。IBC预测可以对应于从当前正在重构的当前图片的重构区域生成预测块的方法。调色板模式可以对应于以下方法：使用特定索引映射块中频繁生成的像素值，由编码器用信号发送索引信息，并由解码器基于从比特流解析的索引信息重构当前块。当CuPredMode[chType][x0][y0]为MODE_INTRA时，这指示帧内预测被应用于当前块，并且当CuPredMode[chType][x0][y0]为MODE_INTER时，这可以指示帧间预测被应用于当前块。此外，当CuPredMode[chType][x0][y0]为MODE_IBC时，这可以指示IBC预测被应用于当前块，并且当CuPredMode[chType][x0][y0]为MODE_PLT时，这可以指示调色板模式应用于当前块。当第(2-1)条件为真并且帧内预测被应用于当前块(CuPredMode[chType][x0][y0]是MODE_INTRA)时，可以用信号发送tu_cbf_luma[x0][y0]。当将帧间预测或IBC预测应用于当前块时，可以根据第(2-3)条件到第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。
-[第(2-3)条件]chromaAvailable&&
(tu_cbf_cb[xC][yC]||tu_cbf_cr[xC][yC])
可以根据预测方法用信号发送指示是否transform_tree()语法结构存在的cu_cbf。
例如，在调色板模式的情况下，能够在不使用残差信号的情况下重构块，并且因此当调色板模式应用于当前块时，可以不用信号发送cu_cbf。即，编码器没有显式地用信号发送cu_cbf，并且解码器可以将cu_cbf配置为0而不用从比特流中解析它。
在帧内预测的情况下，基于当前块周围的重构样本，根据预配置的预测模式生成预测样本，并且因此与帧间预测相比，预测准确度可能降低。这可能意味着存在于块中的残差信号的能量较大，并且存在于块中的量化变换系数变为全0的可能性也较低。另外，当应用帧内预测时，可以在变换单元级别执行预测和重构，并且即使在块中存在的所有变换系数都为0时，也可能需要确定变换树的分区结构。因此，基于此特性，当对当前块应用帧内预测时，可能不用信号发送cu_cbf。编码器没有显式地用信号发送cu_cbf，并且解码器可以将cu_cbf配置为1，而无需从比特流中解析它。
在帧间预测和IBC预测的情况下，可以根据合并模式和跳过模式用信号发送cu_cbf。合并模式可以根据预配置的方法生成包括多个运动信息集的合并候选列表，并用信号发送在合并候选列表中使用的运动信息集索引，并且运动信息集可以包括运动矢量、参考图片索引等等。解码器可以从比特流中解析合并标志，并确定合并模式是否应用于当前块。当将合并模式应用于当前块时，解码器可以额外解析合并索引，并在包括多个运动信息集的合并候选列表中选择由合并索引指示的特定运动信息集。解码器可以基于选择的运动信息集生成预测块。跳过模式是合并模式的一种特定模式，并且可以是其中不存在残差信号的合并模式，并且这可以指示不存在transform_tree()语法结构。跳过模式是否应用于当前块可以由跳过标志来指示。跳过模式(跳过标志为1并且合并标志为1的情况)指示不存在残差信号，而合并模式(跳过标志为0并且合并标志为1的情况)而不是跳过模式指示存在残差信号，并且这可以指示存在transform_tree()语法结构。因此，当合并标志为1时，编码器可能不用信号发送cu_cbf。解码器可能不从比特流中解析cu_cbf，并且基于跳过标志来确定cu_cbf。当跳过标志为1时，cu_cbf可以配置为0，并且当跳过标志为0时，cu_cbf可以配置为1。当合并模式不应用于当前块(合并标志为0)时，编码器可以显式地用信号发送cu_cbf。解码器可以从比特流中解析cu_cbf，并确定是否存在transform_tree()语法结构。
当cu_cbf相对于帧间预测和IBC预测的块为1时，这可能意味着当前编译单元中存在除了0以外的一个或多个变换系数，并且可以指示存在于transform_unit()语法结构中的tu_cbf_luma、tu_cbf_cb以及tu_cbf_cr中的至少一个不为0。在tu_cbf_luma之前用信号发送tu_cbf_cb和tu_cbf_cr语法元素，并且因此当色度(第二通道和第三通道)分量样本阵列不存在(chromaAvailable为0)，或者tu_cbf_cb和tu_cbf_cr都为0时，可以根据第(2-4)条件和第(2-5)条件用信号发送tu_cbf_luma。第(2-4)条件和第(2-5)条件指示基于亮度变换块的最大大小将编译单元分区成多个变换单元的条件，并且当编译单元的宽度或者高度大于亮度变换块的最大大小(样本数量)时，当前编译单元可以被分区成多个变换单元。当第(2-4)条件和第(2-5)条件为假时，这可以指示当前编译单元包括一个变换单元，并且当chromaAvailable为0，或tu_cbf_cb和tu_cbf_cr都为0时，可以不从比特流中解析tu_cbf_luma[x0][y0]，并且可以将其配置为1。同时，当第(2-3)条件为真时，(存在色度样本阵列，并且tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]中的至少一个为1)，不可能限制tu_cbf_luma[x0][y0]的值，并且因此可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
-[第(2-4)条件]CbWidth[chType][x0][y0]>MaxTbSizeY
如参考图24所述，当亮度编译块的宽度大于亮度最大变换块大小(样本数量)时，可以通过变换树将编译单元分区成多个变换单元。当编译单元可以被分区成多个变换单元时，基于亮度最大变换块大小(样本数量)，可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
-[第(2-5)条件]CbHeight[chType][x0][y0]>MaxTbSizeY
如参考图24所述，当亮度编译块的高度大于亮度最大变换块大小(样本数量)时，编译单元可以通过变换树被分区成多个变换单元。当编译单元可以被分区成多个变换单元时，基于亮度最大变换块大小(样本数量)，可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
-[第三条件]IntraSubPartitionsSplitType！＝ISP_NO_SPLIT&&
(subTuIndex<NumIntraSubPartitions-1||！InferTuCbfLuma)
当ISP模式应用于当前块(IntraSubPartitionsSplitType不是ISP_NO_SPLIT)时，相对于通过ISP模式分区的变换单元当中的至少一个变换单元，tu_cbf_luma[x0][y0]语法元素可能需要为1。为此，在将ISP模式应用于当前编译单元时，所有分区的变换单元的tu_cbf_luma值为0的情况下，编码器可以不选择ISP模式。在当前处理的变换单元不是由ISP模式分区的变换单元当中的最后一个变换单元(subTuIndex小于NumIntraSubPartitions-1)时，编码器可以显式地用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。在当前处理的变换单元是由ISP模式分区的变换单元当中的最后一个变换单元(subTuIndex是NumIntraSubPartitions-1)时，可以根据InferTuCbfLuma变量来用信号发送tu_cbf_luma[x0][y0]。当InferTuCbfLuma为1时，这可以指示，相对于ISP模式分区的变换单元，在当前处理的变换单元之前处理的所有变换单元的tu_cbf_luma[x0][y0]的值为0。因此，当对于最后一个变换单元InferTuCbfLuma为1时，编码器可以不用信号发送tu_cbf_luma[x0][y0]。解码器可以将tu_cbf_luma[x0][y0]配置为1，而无需从比特流中解析它。同时，当InferTuCbfLuma为0时，这可以指示，相对于ISP模式分区的变换单元，当前处理的变换单元之前处理的变换单元当中的至少一个变换单元的tu_cbf_luma[x0][y0]的值是1。因此，不可能限制最后一个变换单元的tu_cbf_luma[x0][y0]的值，并且因此当对于最后一个变换单元InferTuCbfLuma为0时，编码器可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
根据上述用信号发送tu_cbf_cb、tu_cbf_cr和tu_cbf_luma的方法，解码器可以确定在对应的变换块中是否存在除了0之外的一个或多个变换系数。当对应的变换块中存在除了0之外的一个或多个变换系数时，解码器可以基于tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素，从比特流中解析变换系数相关的语法元素，并且获得变换系数阵列。
图26图示根据本公开的另一个实施例的transform_unit()语法结构。从与图26相关的描述省略的部分可以遵循以上参考图25给出的描述，并且图26图示用信号发送tu_cbf_luma[x0][y0]语法元素的另一种方法。
参考图14至图19描述的ACT可以将第一颜色空间中的残差信号变换到第二颜色空间中，并且当包括在编译单元中的所有变换单元中的每一个的第二变换系数标志(tu_cbf_cb)、第三变换系数标志(tu_cbf_cr)和第一变换系数标志(tu_cbf_luma)全部为0时，可能没有颜色空间变换引起的影响。当tu_cbf_cb、tu_cbf_cr和tu_cbf_luma都为0时，这可以指示在第二通道变换块、第三通道变换块和第一通道变换块中存在的所有变换系数为0，并且这可以指示所有残差信号为0。因此，当ACT应用于当前编译单元时，可以满足cu_cbf为1，并且可以满足tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素中的至少一个不为0。基于以上情况，根据以下第一至第三条件，可以用信号发送tu_cbf_luma[x0][y0]语法元素。
[第一条件]treeType＝＝SINGLE_TREE||treeType＝＝DUAL_TREE_LUMA
当treeType为SINGLE_TREE或DUAL_TREE_LUMA时，当前单元可以包括具有第一通道分量的块，并且在满足第一条件的情况下，当第二条件为真或第三条件为真时，可以用信号发送tu_cbf_luma[x0][y0]。
当指示当前处理的树的类型的信息(treeType)不指示单树(SINGLE_TREE)，并且指示当前处理的树的类型的信息(treeType)不指示双树亮度(DUAL_TREE_LUMA)时，视频信号处理设备可以执行不从比特流获得指示当前块中包括的变换块中是否存在除了0之外的变换系数的第一变换系数标志(tu_cbf_luma[x0][y0])的操作。视频信号处理设备可以将tu_cbf_luma[x0][y0]配置为预先确定的值。例如，当treeType为DUAL_TREE_CHROMA时，当前单元可能不包括具有第一通道分量的块。在这种情况下，编码器可以不用信号发送tu_cbf_luma[x0][y0]。解码器可以将tu_cbf_luma[x0][y0]配置为0，而无需从比特流中解析它。
-[第二条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&
！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||
(subTuIndex＝＝1&&！cu_sbt_pos_flag)))&&
((CuPredMode[chType][x0][y0]＝＝MODE_INTRA&&
！cu_act_enabled_flag[x0][y0])||
(chromaAvailable&&(tu_cbf_cb[xC][yC]||tu_cbf_cr[xC][yC]))||
CbWidth[chType][x0][y0]>MaxTbSizeY||
CbHeight[chType][x0][y0]>MaxTbSizeY)
当第(2-1)条件为真并且第(2-2)条件至第(2-5)条件中的至少一个为真时，第二条件可以被配置为真。
-[第(2-1)条件]IntraSubPartitionsSplitType＝＝ISP_NO_SPLIT&&
！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||
(subTuIndex＝＝1&&！cu_sbt_pos_flag)))
第(2-1)条件可以意味着，在不应用ISP模式和子块变换(SBT)，或者当SBT被应用时在当前处理的变换单元中能够存在残差信号的情况下，可以根据第(2-2)条件到第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。
-[第(2-2)条件]CuPredMode[chType][x0][y0]＝＝MODE_INTRA&&
！cu_act_enabled_flag[x0][y0]
可以在编译单元级别中确定预测方法，并且可以基于在编译单元级别中接收到的信息来配置CuPredMode[chType][x0][y0]变量。预测方法可以包括帧内预测、帧间预测、帧内块复制(IBC)、调色板模式等。IBC预测可以对应于从当前正在重构的当前图片的重构区域生成预测块的方法。调色板模式可以对应于以下方法：通过特定索引映射块中频繁生成的像素值，由编码器用信号发送索引信息，并由解码器基于从比特流解析的索引信息重构当前块。当CuPredMode[chType][x0][y0]为MODE_INTRA时，这指示帧内预测被应用于当前块，并且当CuPredMode[chType][x0][y0]为MODE_INTER时，这可以指示帧间预测被应用于当前块。此外，当CuPredMode[chType][x0][y0]为MODE_IBC时，这可以指示IBC预测被应用于当前块，并且当CuPredMode[chType][x0][y0]为MODE_PLT时，这可以指示调色板模式被应用于当前块。即使当对当前块应用帧内预测时，也可以根据是否对当前块应用ACT来限制tu_cbf_luma[x0][y0]的值。因此，可以基于应用于当前块的预测模式(CuPredMode[chType][x0][y0])和指示ACT是否应用于当前块的标志(cu_act_enabled_flag[x0][y0])来用信号发送tu_cbf_luma[x0][y0]。当第(2-1)条件为真，对当前块应用帧内预测(CuPredMode[chType][x0][y0]为MODE_INTRA)，并且不对当前块应用ACT(cu_act_enabled_flag[x0][y0]为0)时，编码器可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
当对当前块应用帧内预测和ACT，或者对其应用帧间预测或IBC预测时，可以根据第(2-3)条件至第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。
-[第(2-3)条件]chromaAvailable&&
(tu_cbf_cb[xC][yC]||tu_cbf_cr[xC][yC])
可以根据预测方法用信号发送指示transform_tree()语法结构是否存在的cu_cbf。
例如，在调色板模式的情况下，能够在不使用残差信号的情况下重构块，并且因此当调色板模式应用于当前块时，可以不用信号发送cu_cbf。即，编码器没有显式地用信号发送cu_cbf，并且解码器可以将cu_cbf配置为0而不用从比特流中解析它。
在帧内预测的情况下，基于当前块周围的重构样本，根据预配置的预测模式生成预测样本，并且因此与帧间预测相比，预测准确度可能降低。这可能意味着存在于块中的残差信号的能量较大，并且存在于块中的量化变换系数变为全0的可能性也较低。另外，当应用帧内预测时，可以在变换单元级别执行预测和重构，并且即使在块中存在的所有变换系数都为0时，也可能需要确定变换树的分区结构。因此，基于此特性，当对当前块应用帧内预测时，可能不用信号发送cu_cbf。编码器没有显式地用信号发送cu_cbf，并且解码器可以将cu_cbf配置为1，而无需从比特流中解析它。
在帧间预测和IBC预测的情况下，可以根据合并模式和跳过模式用信号发送cu_cbf。合并模式可以根据预配置的方法生成包括多个运动信息集的合并候选列表，并且用信号发送在合并候选列表中使用的运动信息集索引，并且运动信息集可以包括运动矢量、参考图片索引等等。解码器可以从比特流中解析合并标志，并确定合并模式是否应用于当前块。当将合并模式应用于当前块时，解码器可以额外解析合并索引，并在包括多个运动信息集的合并候选列表中选择由合并索引指示的特定运动信息集。解码器可以基于选择的运动信息集生成预测块。跳过模式是合并模式的一种特定模式，并且可以是不存在残差信号的合并模式，并且这可以指示不存在transform_tree()语法结构。跳过模式是否应用于当前块可以由跳过标志来指示。跳过模式(跳过标志为1并且合并标志为1的情况)指示不存在残差信号，并且合并模式(跳过标志为0并且合并标志为1的情况)而不是跳过模式指示存在残差信号，并且这可以指示存在transform_tree()语法结构。因此，当合并标志为1时，编码器可能不用信号发送cu_cbf。解码器可能不从比特流中解析cu_cbf，并且基于跳过标志来确定cu_cbf。当跳过标志为1时，cu_cbf可以被配置为0，并且当跳过标志为0时，cu_cbf可以被配置为1。当合并模式不应用于当前块(合并标志为0)时，编码器可以显式地用信号发送cu_cbf。解码器可以从比特流中解析cu_cbf，并确定是否存在transform_tree()语法结构。
当cu_cbf相对于帧间预测和IBC预测的块为1时，这可能意味着当前编译单元中存在除了0之外的一个或多个变换系数，并且可以指示存在于transform_unit()语法结构中的tu_cbf_luma、tu_cbf_cb以及tu_cbf_cr中的至少一个不为0。在tu_cbf_luma之前用信号发送tu_cbf_cb和tu_cbf_cr语法元素，并且因此当色度(第二通道和第三通道)分量样本阵列不存在(chromaAvailable为0)，或者tu_cbf_cb和tu_cbf_cr都为0时，可以根据第(2-4)条件和第(2-5)条件用信号发送tu_cbf_luma。第(2-4)条件和第(2-5)条件指示基于亮度变换块的最大大小将编译单元分区成多个变换单元的条件，并且当编译单元的宽度或者高度大于亮度变换块的最大大小时，当前编译单元可以被分区成多个变换单元。当第(2-4)条件和第(2-5)条件为假时，这可以指示当前编译单元包括一个变换单元，并且当chromaAvailable为0，或tu_cbf_cb和tu_cbf_cr都为0时，可以不从比特流中解析tu_cbf_luma[x0][y0]，并且可以将其配置为1。同时，当第(2-3)条件为真时，(存在色度样本阵列，并且tu_cbf_cb[xC][yC]和tu_cbf_cr[xC][yC]中的至少一个为1)，不可能限制tu_cbf_luma[x0][y0]的值，并且因此可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
当ACT应用于帧内预测块(CuPredMode[chType][x0][y0]为MODE_INTRA，并且cu_act_enabled_flag[x0][y0]为1)时，第(2-2)条件为假，并且因此可以根据第(2-3)条件到第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。当对帧内预测块应用ACT并且第(2-3)条件为真时，不可能限制tu_cbf_luma[x0][y0]的值，并且因此编码器可以用信号发送tu_cbf_luma[x0][y0]，并且解码器可以从比特流中解析tu_cbf_luma[x0][y0]。同时，当对帧内预测块应用ACT并且第(2-3)条件为假时，可以根据第(2-4)条件和第(2-5)条件用信号发送tu_cbf_luma[x0][y0]。当ACT应用于帧内预测块，并且第(2-3)条件到第(2-5)条件都为假时，tu_cbf_luma[x0][y0]的值可以限制为1，并且因此编码器可能不会用信号发送tu_cbf_luma[x0][y0]。解码器可以将tu_cbf_luma[x0][y0]配置为1，而无需从比特流中解析它。在这种情况下，能够节省用于用信号发送tu_cbf_luma[x0][y0]所需的比特，并且能够进一步提高由于ACT的编译效率。
-[第(2-4)条件]CbWidth[chType][x0][y0]>MaxTbSizeY
如参考图24所述，当亮度编译块的宽度大于亮度最大变换块大小(样本数量)时，可以通过变换树将编译单元分区成多个变换单元。当编译单元可以被分区成多个变换单元时，基于亮度最大变换块大小(样本数量)，可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
-[第(2-5)条件]CbHeight[chType][x0][y0]>MaxTbSizeY
如参考图24所述，当亮度编译块的高度大于亮度最大变换块大小(样本数量)时，编译单元可以通过变换树分区成多个变换单元。当编译单元可以被分区成多个变换单元时，基于亮度最大变换块大小(样本数量)，可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
已经详细描述第一条件和第(2-1)条件至第(2-5)条件。如上所述，当第一条件为真、第(2-1)条件为真、并且第(2-2)条件至第(2-5)条件中的至少一个为真时，可以从比特流中获得第一变换系数标志(tu_cbf_luma[x0][y0])。
启用要从比特流获得的第一变换系数标志(tu_cbf_luma[x0][y0])的条件的组合可以变化。例如，当第一条件为真、第(2-1)条件为真、并且第(2-2)条件为真时，视频信号处理设备可以从比特流获得第一变换系数标志(tu_cbf_luma[x0][y0])。
更具体地，根据第一条件，视频信号处理设备可以确定是否指示当前处理的树的类型的信息(treeType)指示单树(SINGLE_TREE)，或者指示当前处理的树的类型的信息(treeType)指示双树亮度(DUAL_TREE_LUMA)。
当指示当前处理的树的类型的信息(treeType)指示单树(SINGLE_TREE)，或指示当前处理的树的类型的信息(treeType)指示双树亮度(DUAL_TREE_LUMA)时，视频信号处理设备可以执行根据第(2-1)条件确定ISP模式是否应用于当前块的操作。
此外，当ISP模式未应用于当前块时，视频信号处理设备可以执行确定指示子块变换(SBT)是否应用于当前块的SBT标志(cu_sbt_flag)指示SBT的未应用的操作。在图26中，与ISP_NO_SPLIT相同的IntraSubPartitionsSplitType可以指示ISP模式不应用于当前块。
此外，当SBT标志(cu_sbt_flag)指示未应用SBT时，视频信号处理设备可以执行根据(2-2)条件确定是否当前块的预测方法是帧内预测的操作。指示未应用SBT的SBT标志(cu_sbt_flag)可以意味着SBT标志(cu_sbt_flag)为0。在第(2-1)条件中，在SBT标志(cu_sbt_flag)指示未应用SBT的情况下，即使当((subTuIndex＝＝0&&cu_sbt_pos_flag)||(subTuIndex＝＝1&&！cu_sbt_pos_flag))没有被检查，！(cu_sbt_flag&&((subTuIndex＝＝0&&cu_sbt_pos_flag)||(subTuIndex＝＝1&&！cu_sbt_pos_flag))可以变为1。
此外，在当前块的预测方法是帧内预测时，视频信号处理设备可以执行根据第(2-2)条件确定颜色空间变换激活标志(cu_act_enabled_flag)是否指示颜色空间变换未应用于当前块的操作。在图26中，与MODE_INTRA相同的CuPredMode[chType][x0][y0]可以指示当前块的预测方法是帧内预测。
当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换未应用于当前块时，视频信号处理设备可以执行从比特流获得指示在当前块中包括的亮度变换块中是否存在除了0之外的一个或多个变换系数的第一变换系数标志(tu_cbf_luma[x0][y0])的操作。
根据本公开的各种实施例，当第一条件为真、第(2-1)条件为真、并且第(2-2)条件为真时，视频信号处理设备可以从比特流获得第一变换系数标志(tu_cbf_luma[x0][y0])。
例如，当指示当前处理的树的类型的信息(treeType)为DUAL_TREE_LUMA或SINGLE_TREE时，当前块的预测方法为帧内预测(CuPredMode[chType][x0][y0]＝＝MODE_INTRA)，并且帧内子分区模式不应用于当前块(IntraSubPartitionsSplitType为ISP_NO_SPLIT)，视频信号处理设备可以基于颜色空间变换激活标志(cu_act_enabled_flag)是否指示颜色空间变换不应用于当前块，从比特流获得第一变换系数标志(tu_cbf_luma)。根据本公开的实施例，可以根据当前块的预测方法来限制是否应用SBT。例如，在当前块的预测方法是帧内预测(CuPredMode[chType][x0][y0]是MODE_INTRA)时，SBT可以不应用于当前块。即，当指示当前处理的树的类型的信息(treeType)为DUAL_TREE_LUMA或SINGLE_TREE，当前块的预测方法为帧内预测(CuPredMode[chType][x0][y0]为MODE_INTRA)，并且帧内预测子分区模式未应用于当前块(IntraSubPartitionsSplitType为ISP_NO_SPLIT)时，这可以指示SBT未应用于当前块。
参考第(2-2)条件，当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换未应用于当前块时，视频信号处理设备可以执行从比特流获得第一变换系数标志(tu_cbf_luma)的操作。
参考第(2-2)条件，当满足多个条件之一并且颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换被应用于当前块时，视频信号处理设备可以执行从比特流中获得第一变换系数标志(tu_cbf_luma)的操作。多个条件可以包括第(2-3)条件至第(2-5)个条件中的至少一个。即，多个条件可以包括存在与当前块对应的第二通道块和第三通道块的条件，并且第二变换系数标志指示在第二通道变换块中存在除了0之外的一个或多个变换系数(第(2-3)条件)、存在与当前块对应的第二通道块和第三通道块的条件，并且第三变换系数标志指示在第三通道变换块中存在除了0之外的一个或多个变换系数(第(2-3)条件)、当前块的宽度大于最大亮度变换样本数的条件(第(2-4)条件)、以及当前块的高度块大于最大亮度变换样本数的条件(第(2-5)条件)。
如果没有从比特流中获得第一变换系数标志，则视频信号处理设备可以执行配置第一变换系数标志(tu_cbf_luma)以指示除了0之外的一个或多个变换系数存在于第一通道变换块中的操作。
在下文中，将更详细地描述当第一条件为真、第(2-1)条件为真、并且第(2-2)条件为真时，其中获得第一变换系数标志(tu_cbf_luma[x0][y0])的过程。
根据本公开的各种实施例，当第一条件为真、第(2-1)条件为真并且第(2-2)条件为真时，视频信号处理设备可以从比特流获得第一变换系数标志(tu_cbf_luma[x0][y0])。更具体地，视频信号处理设备可以根据第一条件确定是否指示当前处理的树的类型的信息(treeType)是单树(SINGLE_TREE)或者指示当前处理的树的类型的信息(treeType)指示双树亮度(DUAL_TREE_LUMA)。
当指示当前处理的树的类型的信息(treeType)指示单树(SINGLE_TREE)或指示当前处理的树的类型的信息(treeType)指示双树亮度(DUAL_TREE_LUMA)时，视频信号处理设备可以执行根据第(2-1)条件确定ISP模式是否应用于当前块的操作。
另外，当ISP模式未应用于当前块时，视频信号处理设备可以根据第(2-1)条件执行确定指示当前块中当前处理的变换块的索引(subTuIndex)是否指示第一变换单元，并且指示当前块中包括的变换块当中具有变换系数标志的变换块的SBT位置标志(cu_sbt_pos_flag)指示对于变换块当中的第一变换单元变换系数标志不存在的操作。在图26中，与ISP_NO_SPLIT相同的IntraSubPartitionsSplitType可以指示ISP模式不应用于当前块。另外，变换系数标志可以包括tu_cbf_luma、tu_cbf_cb和tu_cbf_cr。
另外，当情况不是指示当前处理的变换单元的索引(subTuIndex)指示第一变换单元，并且SBT位置标志(cu_sbt_pos_flag)指示对于变换块当中的第一变换单元变换系数标志不存在的情况，并且该情况不是指示当前处理的变换单元的索引(subTuIndex)指示第二变换单元，并且SBT位置标志(cu_sbt_pos_flag)指示对于变换块当中的第二变换单元变换系数标志不存在的情况时，视频信号处理设备可以根据第(2-2)条件执行确定当前块的预测方法是否为帧内预测的操作。
另外，在当前块的预测方法是帧内预测时，视频信号处理设备可以根据第(2-2)条件执行确定是否颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换不应用于当前块的操作。在图26中，与MODE_INTRA相同的CuPredMode[chType][x0][y0]可以指示当前块的预测方法是帧内预测。
当颜色空间变换激活标志(cu_act_enabled_flag)指示颜色空间变换未应用于当前块时，视频信号处理设备可以执行从比特流获得指示在当前块中包括的亮度变换块中是否存在除了0之外的一个或多个变换系数的第一变换系数标志(tu_cbf_luma[x0][y0])的操作。
-[第三条件]IntraSubPartitionsSplitType！＝ISP_NO_SPLIT&&
(subTuIndex<NumIntraSubPartitions-1||！InferTuCbfLuma)
当根据第一条件指示当前处理的树的类型的信息(treeType)指示单树(SINGLE_TREE)，或者指示当前处理的树的类型的信息(treeType)指示双树亮度(DUAL_TREE_LUMA)时，视频信号处理设备可以根据第三条件执行确定ISP模式是否应用于当前块的操作。
当将ISP模式应用于当前块时，视频信号处理设备可以执行确定当前块中包括的当前处理的变换块是否不是由ISP模式分区的变换块当中的最后一个变换块，或者在当前处理的变换块之前处理的变换块当中的至少一个变换块的变换系数不为0的操作。不同于ISP_NO_SPLIT的IntraSubPartitionsSplitType可以指示ISP模式被应用于当前块。
在当前块中包括的当前处理的变换块不是通过ISP模式分区的变换块当中的最后一个变换块时，或者在当前处理的变换块之前处理的变换块当中的至少一个变换块的变换系数不为0时，则视频信号处理设备可以执行从比特流获得指示除了0之外的一个或多个变换系数是否存在于包括在当前块中的亮度变换块中的第一变换系数标志的操作。小于NumIntraSubPartitions-1的SubTuIndex可能意味着当前处理的变换块不是ISP模式分区的变换块当中的最后一个变换块。另外，InferTuCbfLuma为0可以指示在当前处理的变换块之前处理的变换块当中的至少一个变换块的变换系数不为0。关于这种情况，下面将给出更详细的描述。
当ISP模式应用于当前块(IntraSubPartitionsSplitType不是ISP_NO_SPLIT)时，tu_cbf_luma[x0][y0]语法元素可能需要相对于由ISP模式分区的变换单元当中的至少一个变换单元为1。为此，在将ISP模式应用于当前编译单元时，所有分区的变换单元的tu_cbf_luma值为0的情况下，编码器可以不选择ISP模式。在当前处理的变换单元不是由ISP模式分区的变换单元当中的最后一个变换单元(subTuIndex小于NumIntraSubPartitions-1)时，编码器可以显式地用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。在当前处理的变换单元是由ISP模式分区的变换单元当中的最后一个变换单元(subTuIndex是NumIntraSubPartitions-1)时，可以根据InferTuCbfLuma变量来用信号发送tu_cbf_luma[x0][y0]。当InferTuCbfLuma为1时，这可以指示，相对于通过ISP模式分区的变换单元，在当前处理的变换单元之前处理的所有变换单元的tu_cbf_luma[x0][y0]的值为0。因此，当对于最后一个变换单元InferTuCbfLuma为1时，编码器可能不会用信号发送tu_cbf_luma[x0][y0]。解码器可以将tu_cbf_luma[x0][y0]配置为1，而无需从比特流中解析它。同时，当InferTuCbfLuma为0时，这可以指示，相对于ISP模式分区的变换单元，当前处理的变换单元之前处理的变换单元当中的至少一个变换单元的tu_cbf_luma[x0][y0]的值是1。因此，不可能限制最后一个变换单元的tu_cbf_luma[x0][y0]的值，并且因此当对于最后一个变换单元InferTuCbfLuma为0时，编码器可以用信号发送tu_cbf_luma[x0][y0]。解码器可以从比特流中解析tu_cbf_luma[x0][y0]，并且确定在第一通道变换块中是否存在除了0之外的一个或多个变换系数。
根据上述用信号发送tu_cbf_cb、tu_cbf_cr和tu_cbf_luma的方法，解码器可以确定在对应的变换块中是否存在除了0之外的一个或多个变换系数。当对应的变换块中存在除了0之外的一个或多个变换系数时，解码器可以基于tu_cbf_luma、tu_cbf_cb和tu_cbf_cr语法元素，从比特流中解析变换系数相关的语法元素，并且获得变换系数阵列。
可以通过各种手段来实现本发明的上述实施例。例如，可以通过硬件、固件、软件或其组合来实现本发明的实施例。
对于通过硬件实现的情况，可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等中的一个或多个来实现根据本发明的实施例的方法。
在通过固件或软件实现的情况下，可以以执行上述功能或操作的模块、过程或函数的形式来实现根据本发明的实施例的方法。可以将软件代码存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知的方式与处理器交换数据。
一些实施例还可以以包括由计算机可执行的指令的记录介质的形式来实现，诸如由计算机执行的程序模块。计算机可读介质可以是计算机可访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。此外，计算机可读介质可以包括计算机存储介质和通信介质。该计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。通信介质通常包括计算机可读指令、数据结构、诸如程序模块的调制数据信号中的其他数据或其他传输机制，并且包括任何信息传递介质。
本发明的上述描述仅用于说明目的，并且将会理解，本发明所属的本领域的普通技术人员可以在不改变本发明的技术思想或者基本特征的情况下对本发明进行改变，并且本发明可以以其他特定形式容易地被修改。因此，上述实施例是说明性的，并且在所有方面均不受限制。例如，被描述为单个实体的每个组件可以被分布和实现，并且同样，被描述为被分布的组件也可以以关联的方式被实现。
本发明的范围由所附权利要求书而不是上述详细描述来限定，并且从所附权利要求书的含义和范围及其等效物导出的所有改变或修改都应解释为包括在本发明的范围内。

Claims (16)

1.一种解码视频信号的方法，所述方法包括：
获得指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块；
获得指示调色板模式是否被激活的调色板激活标志；
当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示所述调色板模式被激活时，获得与用于变换跳过模式的最小允许量化参数相关的信息；
基于与所述最小允许量化参数相关的信息，获得所述最小允许量化参数；
通过累加量化参数和量化参数偏移获得第一修改量化参数；
通过对所述第一修改量化参数进行限幅来获得第二修改量化参数，以及
其中，当所述变换跳过标志指示所述变换跳过不被应用于所述变换块并且所述第一修改量化参数小于0时，通过将所述第一修改量化参数限幅为0来获得第二修改量化参数，
其中，当所述变换跳过标志指示对所述变换块应用变换跳过并且所述第一修改量化参数小于最小允许量化参数时，通过将第一修改量化参数限幅为最小允许量化参数值来获得第二修改量化参数；
基于所述第二修改量化参数，重构所述当前块。
2.根据权利要求1所述的方法，所述方法进一步包括：
获得指示颜色空间变换是否应用于所述当前块的颜色空间变换激活标志；
其中，当所述颜色空间变换激活标志指示不对所述当前块应用颜色空间变换时，所述量化参数偏移被确定为0；
其中，当所述颜色空间变换激活标志指示对所述当前块应用颜色空间变换时，针对所述变换块的每个颜色分量，所述量化参数偏移被确定为预先确定的偏移。
3.根据权利要求1所述的方法，其中，从序列参数集(SPS)、图片参数集(PPS)、图片报头和/或切片报头当中的至少一个中获得所述变换跳过激活标志、所述调色板激活标志以及与所述最小允许量化参数相关的信息。
4.根据权利要求2所述的方法，所述方法进一步包括：
当所述当前块的预测模式是除帧内子划分模式之外的帧内预测模式时，基于所述颜色空间变换激活标志获得指示在所述当前块的亮度变换块中是否存在一个或多个非零变换系数的第一变换系数标志。
5.根据权利要求4所述的方法，其中，当所述颜色空间变换激活标志指示不对当前块应用所述颜色空间变换时，获取所述第一变换系数标志。
6.根据权利要求4所述的方法，
其中，当所述颜色空间变换激活标志指示所述颜色空间变换没有被应用于所述当前块、或者当前块的Cb颜色分量的色度变换块中存在一个或多个非零变换系数、或者当前块的Cr颜色分量的色度变换块中存在一个或多个非零变换系数、或者当前块的宽度大于亮度最大变换尺寸、或者当前块的高度大于亮度最大变换尺寸时，得到所述第一变换系数标志。
7.根据权利要求4所述的方法，
其中，当未获得所述第一变换系数标志时，推断所述第一变换系数标志指示在所述当前块的亮度变换块中存在一个或多个非零变换系数。
8.一种用于解码视频信号的设备，所述设备包括处理器，
其中，所述处理器被配置成：
获得指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块；
获得指示调色板模式是否被激活的调色板激活标志；
当所述变换跳过激活标志指示所述变换跳过标志存在于所述变换单元语法中时，或者当所述调色板激活标志指示所述调色板模式被激活时，获得与用于变换跳过模式的最小允许量化参数相关的信息；
其中，基于与所述最小允许量化参数相关的信息，获得所述最小允许量化参数；
通过累加量化参数和量化参数偏移获得第一修改量化参数；
通过对所述第一修改量化参数进行限幅来获得第二修改量化参数，以及
其中，当所述变换跳过标志指示所述变换跳过不被应用于所述变换块并且所述第一修改量化参数小于0时，通过将所述第一修改量化参数限幅为0来获得第二修改量化参数，
其中，当所述变换跳过标志指示对所述变换块应用变换跳过并且所述第一修改量化参数小于最小允许量化参数时，通过将第一修改量化参数限幅为最小允许量化参数值来获得第二修改量化参数；
基于所述第二修改量化参数，重构所述当前块。
9.根据权利要求8所述的设备，其中，所述处理器被配置成：
获得指示颜色空间变换是否应用于所述当前块的颜色空间变换激活标志；
其中，当所述颜色空间变换激活标志指示不对所述当前块应用颜色空间变换时，所述量化参数偏移被确定为0；
其中，当所述颜色空间变换激活标志指示对所述当前块应用颜色空间变换时，针对所述变换块的每个颜色分量，所述量化参数偏移被确定为预先确定的偏移。
10.根据权利要求8所述的设备，其中，从序列参数集(SPS)、图片参数集(PPS)、图片报头和/或切片报头当中的至少一个获得所述变换跳过激活标志、所述调色板激活标志以及与所述最小允许量化参数相关的信息。
11.根据权利要求9所述的设备，其中，所述处理器被配置成：
当所述当前块的预测模式是除帧内子划分模式之外的帧内预测模式时，基于所述颜色空间变换激活标志获得指示在所述当前块的亮度变换块中是否存在一个或多个非零变换系数的第一变换系数标志。
12.根据权利要求11所述的设备，其中，当所述颜色空间变换激活标志指示不对当前块应用所述颜色空间变换时，获取所述第一变换系数标志。
13.根据权利要求11所述的设备，
其中，当所述颜色空间变换激活标志指示所述颜色空间变换没有被应用于所述当前块、或者当前块的Cb颜色分量的色度变换块中存在一个或多个非零变换系数、或者当前块的Cr颜色分量的色度变换块中存在一个或多个非零变换系数、或者当前块的宽度大于亮度最大变换尺寸、或者当前块的高度大于亮度最大变换尺寸时，得到所述第一变换系数标志。
14.根据权利要求11所述的设备，
其中，当未获得所述第一变换系数标志时，推断所述第一变换系数标志指示在所述当前块的亮度变换块中存在一个或多个非零变换系数。
15.一种编码视频信号的设备，所述设备包括处理器，
其中，所述处理器被配置成：
编码指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块；
编码指示调色板模式是否被激活的调色板激活标志；
当所述变换跳过标志被包括在所述变换单元语法中时，或者当所述调色板模式被激活时，编码与用于变换跳过模式的最小允许量化参数相关的信息；
其中，基于与所述最小允许量化参数相关的信息，确定所述最小允许量化参数；
通过累加量化参数和量化参数偏移获得第一修改量化参数；
通过对所述第一修改量化参数进行限幅来获得第二修改量化参数，以及
其中，当所述变换跳过不被应用于所述变换块并且所述第一修改量化参数小于0时，通过将所述第一修改量化参数限幅为0来获得第二修改量化参数，
其中，当所述变换跳过被应用于所述变换块并且所述第一修改量化参数小于最小允许量化参数时，通过将第一修改量化参数限幅为最小允许量化参数值来获得所述第二修改量化参数；
基于所校正的量化参数，重构所述当前块。
16.一种用于获得比特流的方法，所述方法包括：
获得指示变换跳过标志是否存在于变换单元语法中的变换跳过激活标志，所述变换跳过标志指示变换跳过是否被应用于包括在当前块中的变换块；
获得指示调色板模式是否被激活的调色板激活标志；
当所述变换跳过被包括在所述变换单元语法中时，或者当所述调色板模式被激活时，获得与用于变换跳过模式的最小允许量化参数相关的信息；
基于与所述最小允许量化参数相关的信息，获得所述最小允许量化参数；
通过累加量化参数和量化参数偏移获得第一修改量化参数；
通过对所述第一修改量化参数进行限幅来获得第二修改量化参数，以及
其中，当所述变换跳过不被应用于所述变换块并且所述第一修改量化参数小于0时，通过将所述第一修改量化参数限幅为0来获得第二修改量化参数，
其中，当所述变换跳过被应用于所述变换块并且所述第一修改量化参数小于最小允许量化参数时，通过将第一修改量化参数限幅为最小允许量化参数值来获得第二修改量化参数；
基于所述第二修改量化参数，重构所述当前块，
获得包括所述变换跳过激活标志和/或所述调色板激活标志的至少一个的比特流。
CN202080081442.7A 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备 Active CN114731437B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202410378920.0A CN118317119A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410373603.XA CN118317117A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378883.3A CN118317118A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410373397.2A CN118317116A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20190153835 2019-11-26
KR10-2019-0153835 2019-11-26
KR20190160096 2019-12-04
KR10-2019-0160096 2019-12-04
KR20190177150 2019-12-27
KR10-2019-0177150 2019-12-27
PCT/KR2020/016968 WO2021107641A1 (ko) 2019-11-26 2020-11-26 적응적 컬러 공간 변환을 이용하는 비디오 신호 처리 방법 및 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202410373397.2A Division CN118317116A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378920.0A Division CN118317119A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378883.3A Division CN118317118A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410373603.XA Division CN118317117A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备

Publications (2)

Publication Number Publication Date
CN114731437A CN114731437A (zh) 2022-07-08
CN114731437B true CN114731437B (zh) 2024-04-23

Family

ID=76128906

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202410373603.XA Pending CN118317117A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378920.0A Pending CN118317119A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378883.3A Pending CN118317118A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410373397.2A Pending CN118317116A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202080081442.7A Active CN114731437B (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202410373603.XA Pending CN118317117A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378920.0A Pending CN118317119A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410378883.3A Pending CN118317118A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN202410373397.2A Pending CN118317116A (zh) 2019-11-26 2020-11-26 通过使用自适应颜色空间变换处理视频信号的方法和设备

Country Status (6)

Country Link
US (1) US20220303567A1 (zh)
EP (1) EP4068782A4 (zh)
KR (1) KR20220100599A (zh)
CN (5) CN118317117A (zh)
AU (2) AU2020391549B2 (zh)
WO (1) WO2021107641A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3149873A1 (en) * 2019-09-06 2021-03-11 Takeshi Tsukuba Image processing device and method
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN115191118A (zh) * 2020-01-05 2022-10-14 抖音视界有限公司 在视频编解码中使用自适应颜色变换
KR20220143870A (ko) * 2020-02-21 2022-10-25 알리바바 그룹 홀딩 리미티드 최대 변환 크기 및 잔차 코딩 방법의 시그널링
CN115443655A (zh) * 2020-06-09 2022-12-06 阿里巴巴（中国）有限公司 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
JP2016103804A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN106105205A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 用于颜色空间转换译码的量化参数
WO2019148977A1 (en) * 2018-02-01 2019-08-08 Mediatek Inc. Methods and apparatuses of video encoding or decoding with adaptive quantization of video data
CN110402580A (zh) * 2017-01-03 2019-11-01 Lg 电子株式会社 图像处理方法及其装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US11184623B2 (en) * 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
CN114554199B (zh) * 2014-09-30 2023-11-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
JP6540707B2 (ja) * 2014-10-03 2019-07-10 日本電気株式会社 映像復号装置、映像復号方法及び映像復号プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
CN106105205A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 用于颜色空间转换译码的量化参数
JP2016103804A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN110402580A (zh) * 2017-01-03 2019-11-01 Lg 电子株式会社 图像处理方法及其装置
WO2019148977A1 (en) * 2018-02-01 2019-08-08 Mediatek Inc. Methods and apparatuses of video encoding or decoding with adaptive quantization of video data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross 等.Versatile Video Coding (Draft 7).Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting: Geneva, CH, 1–11 Oct. 2019, JVET-P2001-vE.2019,第1-464页. *
高效视频编码中变换跳过模式的快速选择;王宁;张永飞;樊锐;;中国图象图形学报;20150216(第02期);全文 *

Also Published As

Publication number Publication date
AU2020391549A1 (en) 2022-06-16
CN118317119A (zh) 2024-07-09
EP4068782A1 (en) 2022-10-05
AU2024203283A1 (en) 2024-06-06
CN114731437A (zh) 2022-07-08
EP4068782A4 (en) 2023-01-25
CN118317118A (zh) 2024-07-09
CN118317117A (zh) 2024-07-09
AU2020391549B2 (en) 2024-02-22
CN118317116A (zh) 2024-07-09
KR20220100599A (ko) 2022-07-15
US20220303567A1 (en) 2022-09-22
WO2021107641A1 (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
JP7351973B2 (ja) ２次変換を利用するビデオ信号処理方法及び装置
US11539973B2 (en) Method and device for processing video signal using multiple transform kernels
CN114731437B (zh) 通过使用自适应颜色空间变换处理视频信号的方法和设备
CN107172424B (zh) 环路滤波方法及其设备
US11616984B2 (en) Video signal processing method and device using secondary transform
US11949916B2 (en) Method and apparatus for encoding and decoding video signals using multiple transform kernels
US11432013B2 (en) Video signal processing method and apparatus using multiple transform kernel
KR20210008886A (ko) 영상 부호화/복호화 방법 및 장치
CN114521326A (zh) 使用缩放处理的视频信号处理方法及装置
US12034945B2 (en) Video signal processing method and apparatus using scaling process
US20240244263A1 (en) Video signal processing method and device using secondary transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220831

Address after: Gyeonggi Do, South Korea

Applicant after: WILUS INSTITUTE OF STANDARDS AND TECHNOLOGY Inc.

Address before: Gyeonggi Do, South Korea

Applicant before: WILUS INSTITUTE OF STANDARDS AND TECHNOLOGY Inc.

Applicant before: HUMAX Co.,Ltd.

GR01 Patent grant
GR01 Patent grant