CN113632493A - 变换跳过模式中的子块变换 - Google Patents

变换跳过模式中的子块变换 Download PDF

Info

Publication number
CN113632493A
CN113632493A CN202080020950.4A CN202080020950A CN113632493A CN 113632493 A CN113632493 A CN 113632493A CN 202080020950 A CN202080020950 A CN 202080020950A CN 113632493 A CN113632493 A CN 113632493A
Authority
CN
China
Prior art keywords
sub
block
current video
blocks
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080020950.4A
Other languages
English (en)
Other versions
CN113632493B (zh
Inventor
刘鸿彬
张莉
张凯
许继征
朱维佳
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113632493A publication Critical patent/CN113632493A/zh
Application granted granted Critical
Publication of CN113632493B publication Critical patent/CN113632493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法，包括：基于第一指示，确定在变换跳过模式中是否将子块残差编解码方案应用于当前视频块的残差，其中所述子块残差编解码方案将当前视频块的残差划分成多个子块，并且多个子块的子集具有非零系数；响应于子块残差编解码方案被应用于当前视频块的残差，基于第二指示，确定将被应用于当前视频块的残差的特定划分图案；基于第三指示，推导多个子块的具有非零系数的子集；以及基于所确定的子块的具有非零系数的子集，对当前视频块的残差执行转换。

Description

变换跳过模式中的子块变换
根据适用的专利法和/或巴黎公约的规则，本申请旨在及时要求2019年3月13日提交的国际专利申请PCT/CN2019/077942、2019年4月12日提交的国际专利申请PCT/CN2019/082428的优先权和权益。前述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。
技术领域
本专利文档涉及视频编解码技术、设备和系统。
背景技术
尽管在视频压缩方面取得了进步，数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。
发明内容
公开了在数字视频的编码和解码期间使用基于子块的变换的各种技术。
在一个示例方面，公开了一种视频处理的方法，包括：基于第一指示，确定在变换跳过模式中是否将子块残差编解码方案应用于当前视频块的残差，其中子块残差编解码方案将当前视频块的残差划分成多个子块，并且多个子块的子集具有非零系数；响应于子块残差编解码方案被应用于当前视频块的残差，基于第二指示，确定将被应用于当前视频块的残差的特定划分图案(split pattern)；基于第三指示，推导多个子块的具有非零系数的子集；以及基于所确定的子块的具有非零系数的子集，对当前视频块的残差执行转换。
在另一示例方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器运行时，使得处理器实施如上所述的方法。
在又一示例方面，公开了一种其上存储有程序代码的非暂时性计算机可读介质，该程序代码在被运行时使得处理器实施如上所述的方法。
在又一代表性方面，上述方法以处理器可运行代码的形式实现，并存储在计算机可读程序介质中。
在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施上述方法的处理器。
在再一代表性方面，视频解码器装置可以实施如本文所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开的技术的上述和其他方面和特征。
附图说明
图1示出了子块变换(Sub-Block Transform，SBT)模式SBT-V和SBT-H的示例说明。
图2示出了子块变换模式SBT-Q的示例说明。
图3示出了划分图案的示例。
图4是用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。
图5是视频处理的示例方法的流程图。
图6示出了在当前视频块转换期间使用的三角形分割的示例。
具体实施方式
由于对更高分辨率视频的需求日益增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器典型地包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(High Efficiency VideoCoding，HEVC)标准(也称为H.265或MPEG-H第2部分)、待定案的多功能视频编解码(Versatile Video Coding，VVC)标准或其他当前和/或未来的视频编解码标准。
所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC、H.265)和未来的标准，以提高运行时性能。在本文档中使用章节标题来增进描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于各个章节。
1.简要总结
本发明涉及视频编解码技术。具体地，它涉及视频编解码中的子块变换，尤其是对于屏幕内容编解码。它可以应用于现有的视频编解码标准(如HEVC)、或待定案的标准(多功能视频编解码)。它也可以应用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，以致力于VVC标准，目标是与HEVC相比比特率降低50％。
2.1多种变换选择(Multiple transform selection，MTS)
除了已经在HEVC中使用的DCT-II之外，多种变换选择(MTS)方案被用于帧间和帧内编解码块两者的残差编解码。它使用从DCT8/DST7中选择的多个变换。新引入的变换矩阵是DST-VII和DCT-VIII。表2-1示出了选择的DST/DCT的基本功能。
表2-1-针对N-点输入的DCT-II/VIII和DSTVII的变换基函数
Figure BDA0003260276370000041
为了保持变换矩阵的正交性，变换矩阵比HEVC中的变换矩阵被更精确地量化。为了将变换系数的中间值保持在16比特范围内，在水平变换之后和垂直变换之后，所有系数都具有10比特。
为了控制MTS方案，在SPS级别分别为帧内和帧间指定单独的使能标志。当在SPS启用MTS时，信令通知CU级别标志，以指示是否应用MTS。这里，MTS仅应用于亮度。当满足以下条件时，信令通知MTS CU级别标志。
-宽度和高度都小于或等于32
-CBF标志等于1
如果MTS CU标志等于零，则在两个方向上应用DCT2。然而，如果MTS CU标志等于1，则另外信令通知其他两个标志，以分别指示水平和垂直方向的变换类型。变换和信令映射表如表2-2所示。在变换矩阵精度方面，使用8比特主变换核。因此，在HEVC中使用的所有变换核保持不变，包括4-点DCT-2和DST-7,8-点、16-点和32-点DCT-2。此外，包括64-点DCT-2，4-点DCT-8，8-点、16-点、32-点DST-7和DCT-8的其他变换核使用8比特主变换核。
表2-2-变换和信令映射表
Figure BDA0003260276370000051
如在HEVC中，块的残差可以用变换跳过模式编解码。为避免语法编解码的冗余，当CU级别的MTS_CU_flag不等于0时，不信令通知变换跳过标志。当块宽度和高度都等于或小于4时，启用变换跳过。
2.2 JVET-M0140中的子块变换(Subblock transform，SBT)
对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag来指示是解码整个残差块还是解码残差块的子部分。在前一种情况下，将进一步解析帧间MTS信息，以确定CU的变换类型。在后一种情况下，残差块的一部分用推断的自适应变换编解码，残差块的另一部分被清零。SBT不应用于组合帧间-帧内模式，因为几乎没有编解码增益可以获得。
2.2.1子块TU平铺(tiling)
当SBT用于帧间CU时，从比特流进一步解码SBT类型和SBT位置信息。如图1所示，有两种SBT类型和两种SBT位置。对于SBT-V(或SBT-H)，TU宽度(或高度)可以等于CU宽度(或高度)的一半或CU宽度(或高度)的1/4，由另一个标志信令通知，引起2:2划分或1:3/3:1划分。2:2划分类似于二叉树(binary tree，BT)划分，而1:3/3:1划分类似于非对称二叉树(asymmetric binary tree，ABT)划分。如果CU的一侧的亮度样点为8，则不允许沿该侧进行1:3/3:1划分。因此，一个CU最多有8种SBT模式。
四叉树(Quad-treeQT)划分进一步用于将一个CU划分为4个子块，并且还有一个子块有残差，如图2所示。这种SBT类型被称为SBT-Q。
SBT-V、SBT-H和SBT-Q被允许用于宽度和高度都不大于maxSbtSize的CU。maxSbtSize以SPS信令通知。对于HD和4K序列，编码器将maxSbtSize设置为64；对于其他较小的分辨率序列，maxSbtSize设置为32。
2.2.2子块的变换类型
在SBT-V和SBT-H中，位置相关变换应用于亮度变换块(色度TB始终使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核变换相关联。更具体地，每个SBT位置的水平和垂直变换如图1所规定。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，相应的变换被设置为DCT-2。因此，子块变换联合指定了TU平铺、cbf以及残差块的水平和垂直变换，对于块的主要残差在块的一侧的情况，这可以被认为是语法快捷方式。
图1是子块变换模式SBT-V和SBT-H的示例说明
图2是子块变换模式SBT-Q的示例说明。
2.3 VVC中的子块变换
对于cu_cbf等于1的帧间预测CU，即具有非零残差的CU，可以信令通知cu_sbt_flag以指示解码整个残差块还是解码残差块的子部分。在前一种情况下，将进一步解析帧间MTS信息，以确定CU的变换类型。在后一种情况下，残差块的一部分用推断的自适应变换编解码，残差块的另一部分被清零。SBT不应用于组合帧间-帧内模式，因为几乎没有编解码增益可以获得。
当SBT用于帧间CU时，从比特流进一步解码SBT类型和SBT位置信息。对于SBT-V(或SBT-H)，TU宽度(或高度)可以等于CU宽度(或高度)的一半或CU宽度(或高度)的1/4，由另一个标志信令通知，引起2:2划分或1:3/3:1划分。2:2划分类似于二叉树(BT)划分，而1:3/3:1划分类似于非对称二叉树(ABT)划分。如果CU的一侧的亮度样点为8，则不允许沿该侧进行1:3/3:1划分。因此，一个CU最多有8种SBT模式。
在SBT-V和SBT-H中，位置相关变换应用于亮度变换块(色度TB始终使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核变换相关联。更具体地，每个SBT位置的水平和垂直变换如图1所规定。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，相应的变换被设置为DCT-2。因此，子块变换联合指定了TU平铺、cbf以及残差块的水平和垂直变换，对于块的主要残差在块的一侧的情况，这可以被认为是语法快捷方式。
7.3.4.6编解码单元语法
Figure BDA0003260276370000071
Figure BDA0003260276370000081
Figure BDA0003260276370000091
7.3.4.10变换树语法
Figure BDA0003260276370000101
7.3.4.11变换单元语法
Figure BDA0003260276370000111
Figure BDA0003260276370000121
3.由所公开的解决方案解决的示例问题
SBT有以下问题：
1)在变换跳过模式中，SBT不起作用。
2)在SBT中，划分方向、划分位置和CU的哪个部分具有非零系数被显示地信令通知给解码器，这可能消耗许多比特。
3)IBC模式或CIIP(组合帧內帧间预测)模式不允许SBT。
4.技术和实施例的示例
为了解决上述问题，本文档介绍了若干种方法。假设块的宽度和高度分别是W和H。
以下详细的发明应被认为是用以解释一般概念的示例。这些发明不应狭义地解释。此外，这些发明可以以任何方式组合。
1.以变换跳跃模式编解码的块的残差可以被划分成N(N>1)个子块，并且N个子块中只有K(0≤K≤N)个子块具有非零系数。
a.在一个示例中，块可以被划分成尺寸为W/2*H或W*H/2的2个子块，如图3a和d所示。
b.在一个示例中，块可以被划分成尺寸为W/4*H或3W/4*H的2个子块，如图3b和c所示。
c.在一个示例中，块可以被划分成尺寸为W*H/4或W*3H/4的2个子块，如图3e和f所示。
d.在一个示例中，块可以被划分成尺寸为W*H/4、W*2H/4和W*H/4的3个子块，如图3h所示。
e.在一个示例中，块可以被划分成尺寸为W/4*H、2W/4*H和W/4*H的3个子块，如图3g所示。
f.在一个示例中，块可以被划分成尺寸为W/2*H/2的4个子块，如图3i所示。
g.在一个示例中，块可以被划分成尺寸为W*H/4的4个子块，如图3j所示。
h.在一个示例中，块可以被划分成尺寸为W/4*H的4个子块，如图3k所示。
图3示出了划分图案的示例。
2.可以以VPS/SPS/PPS/片组头/条带头/CU/块信令通知标志，以指示在变换跳过模式中是否采用SBT。
a.在一个示例中，CU/块级SBT标志可以用CABAC引擎编解码。
i.在一个示例中，邻近或/和非相邻块的SBT标志可以用于推导在CABAC中使用的上下文。
ii.可替代地，在SBT标志的CABAC编解码中可以使用一个固定的上下文。
3.使用哪个划分图案可以显示地信令通知给解码器。
a.可以信令通知第一语法元素以指示块是被划分成2个子块、3个子块还是4个子块等。
i.如果块可以被划分成2个子块、3个子块或4个子块，则第一语法元素可能需要2比特。
ii.可替代地，如果块只能划分成2个子块或4个子块，则只需要1比特。
iii.可替代地，如果块只能划分成2个子块或3个子块，则只需要1比特。
iv.可替代地，如果块只能划分成3个子块或4个子块，则只需要1比特。
v.如果块可以被划分成2、3、…、N个子块，则可能需要更多的比特。
b.可以信令通知第二语法元素以指示是垂直划分还是水平划分块。
i.某些图案可能不需要这样的语法元素，例如，如果块被划分成尺寸为W/2*H/2的4个子块，则。
c.如果块被划分成2个子块，则可以信令通知第三语法元素以指示划分位置。
i.如果当前块只能被划分成尺寸相同的两个子块，则不需要第三语法元素。
4.在变换跳过模式中哪些子块具有非零系数可以被显示地信令通知或者对于一些划分图案是预定义的。
a.在一个示例中，显示地信令通知索引以指示哪些子块具有非零系数。
b.在一个示例中，显示地信令通知索引以指示哪些子块具有零系数。
c.在一个示例中，如果块被划分成尺寸为W/4*H或3W/4*H的2个子块，则可以不信令通知索引，并且只有W/4*H的子块可能具有非零系数。
i.可替代地，只有3W/4*H的子块可能具有非零系数。
d.在一个示例中，如果块被划分成尺寸为W*H/4或W*3H/4的2个子块，则可以不信令通知索引，并且只有W*H/4的子块可能具有非零系数。
i.可替代地，只有W*3H/4子块可能具有非零系数。
e.在一个示例中，如果块被划分成尺寸为W/4*H、2W/4*H和W/4*H的3个子块，则可以不信令通知索引，并且只有2W/4*H的子块可能具有非零系数。
f.在一个示例中，如果块被划分成尺寸为W*H/4、W*2H/4和W*H/4的3个子块，则可以不信令通知索引，并且只有W*2H/4子块可能具有非零系数。
5.在变换跳过模式中，对于SBT或/和SBT的一些或所有划分图案，可以隐式地推导哪些子块具有非零系数。
a.在一个示例中，使用每个子块的预测样点为每个子块计算空域梯度，并且具有最高绝对空域梯度和(Sum of Absolute Spatial Gradient，SASG)的K(K≥1)个子块可能具有非零系数。
b.在一个示例中，对于双向预测块，使用每个子块在两个方向上的预测样点为每个子块计算时域梯度，并且具有最高绝对时域梯度和(Sum of Absolute TemporalGradient，SATG)的K个子块可能具有非零系数。
c.在一个示例中，对于双向预测块，为每个子块计算空域和时域梯度两者，并且具有最高绝对时域和空域梯度和(Sum of Absolute Temporal And Spatial Gradient，SATSG)的K个子块可能具有非零系数。
d.可以使用水平方向或/和垂直方向或/和45度对角方向或/和135度对角方向的梯度来计算SASG。
e.SASG或/和SATG或/和SATSG可仅针对某些预测样点进行计算。
i.例如，可以为每N(N≥1)行的第M(1≤M≤N)行计算SASG或/和SATG或/和SATSG，例如，M＝1和N＝2。
6.变换跳过模式中的SBT或/和SBT中的划分图案对于块是否有效可以取决于块的大小或/和块是否在图片边界。
a.在一个示例中，如果W<T(例如，T＝16)，则块不可以被划分成尺寸为W/4*H和3W/4*H的子块
b.在一个示例中，如果W<T(例如，T＝16)，则块不可以被划分成两个W/2*H的子块。
c.在一个示例中，如果W<T(例如，T＝16)，则块不可以被划分成尺寸为W/4*H、2W/4*H和W/4*H的子块。
d.在一个示例中，如果W<T(例如，T＝16)，则块不可以被划分成四个W/4*H的子块。
e.在一个示例中，如果H<T(例如，T＝16)，则块不可以被划分成尺寸为W*H/4和W*3H/4的子块。
f.在一个示例中，如果H<T(例如，T＝16)，则块不可以被划分成两个W*H/2的子块。
g.在一个示例中，如果H<T(例如，T＝16)，则块不可以被划分成尺寸为W*H/4、W*2H/4和W*H/4的子块。
h.在一个示例中，如果H<T(例如，T＝16)，则块不可以被划分成四个W*H/4的子块。
i.在一个示例中，如果W<T1或/和H<T2(例如，T1＝T2＝16)，则块不可以被划分成四个W/2*H/2的子块。
j.在一个示例中，如果W/H>T，则可以不允许水平划分图案或/和四划分图案(quadsplit pattern)。
k.在一个示例中，如果H/W>T，则可以不允许垂直划分图案或/和四划分模式。
l.对于不同的划分图案，T可以不同。
m.在一个示例中，如果块在右边界或/和左边界，则可以不允许水平划分图案。
n.在一个示例中，如果块位于右边界或/和左边界，则可以不允许垂直划分图案。
o.在一个示例中，如果块位于下边界或/和上边界，则可以不允许水平划分图案。
p.在一个示例中，如果块位于下边界或/和上边界，则可以不允许垂直划分图案。
q.选择的划分图案的信令通知可以取决于块的允许的划分图案的数量。
i.例如，如果一个块只有一个允许的划分图案，则不用比特来信令通知指示划分图案。
r.这些约束可以取决于当前和/或邻近块的编解码信息。
i.例如，在当前块是帧间编解码的或IBC编解码的时，上述项目中的T、T1和T2可以不同。
s.约束可以取决于颜色分量。
i.例如，对于Y分量和Cb或Cr分量，上述项目中的T、T1和T2可以不同。
t.约束可以取决于颜色格式。
i.例如，对于4:2:0格式和4:4:4格式，上述项目中的T、T1和T2可以不同。
u.约束可以取决于颜色表示。
i.例如，对于YCbCr颜色表示和RGB颜色表示，上述项目中的T、T1和T2可以不同。
7.提出了在SBT块中可以有多于一个的变换区域。
a.图6示出了在SBT块中有两个变换区域的一些示例。
8.对于块，SBT中允许的划分图案或/和SBT的使用可以取决于块的运动信息。
a.在一个示例中，可以根据照明补偿的使用来决定对于块SBT的使用和/或SBT中允许的划分图案。
i.在一个示例中，当一个块以照明补偿编解码时，可以禁用SBT。
b.在一个示例中，对于块，SBT中允许的划分图案可以取决于该块是否以三角形模式编解码和/或是否以变换跳过模式编解码。
c.在一个示例中，对于以三角形模式编解码的块，可能不允许SBT中的二元划分图案(binary split pattern)，但是可以应用其他种类的划分图案。
d.在一个示例中，其中每个三角形PU的一半被覆盖的划分图案，例如图6中所示的划分图案，可以被允许用于以三角形模式编解码的块。
9.变换跳过模式中的SBT或/和SBT是否被允许取决于块的运动信息。
a.在一个示例中，如果块以Merge模式编解码，则可以不允许SBT。
b.在一个示例中，如果块以Merge模式编解码，并且Merge索引小于或等于N(例如，N＝0)，则可以不允许SBT。
c.在一个示例中，如果块以AMVP模式编解码，则可以不允许SBT。
d.在一个示例中，如果块以仿射模式编解码，则可以不允许SBT。
e.在一个示例中，如果块以CIIP模式编解码，则可以允许SBT。
f.在一个示例中，如果块以IBC模式编解码，则可以允许SBT。
g.在一个示例中，如果块以加权预测模式编解码，则可以不允许SBT。
h.在一个示例中，如果块以子块编解码模式(诸如ATMVP)编解码，则可以不允许SBT。
i.当允许SBT时，可以信令通知SBT的使用的指示。相反，当不允许SBT时，跳过信令通知SBT的使用的指示。
10.块的残差可以被划分成M*N的子块，例如4*4的子块，并且可以为每个M*N的子块推导是否存在非零系数。
a.在一个示例中，使用每个M*N的子块的预测样点为每个M*N的子块计算空域梯度，并且SASG>T的子块可能具有非零系数。
b.在一个示例中，对于双向预测块，使用每个M*N的子块在两个方向上的预测样点为每个M*N的子块计算时域梯度，并且SATG>T的子块可能具有非零系数。
c.在一个示例中，对于双向预测块，为每个M*N的子块计算空域和时域梯度两者，并且SASG>T1或/和SATG>T2或/和SASG+SATG>T3的子块可能具有非零系数。
d.可以使用水平方向或/和垂直方向或/和45度对角方向或/和135度对角方向的梯度来计算SASG。
e.SASG或/和SATG或/和SATSG可仅针对某些预测样点进行计算。
i.例如，可以为每N(N≥1)行的第M(1≤M≤N)行计算SASG或/和SATG或/和SATSG，例如，M＝1和N＝2。
f.可替代地，W1*H1的区域包含大多数这样的子块，即满足上述条件的子块，可能具有非零系数。
i.例如，W1＝W/2且H1＝H/2。
ii.例如，W1＝W/4且H1＝H
iii.例如，W1＝W/2且H1＝H
iv.例如，W1＝W且H1＝H/2。
v.例如，W1＝W且H1＝H/4。
11.块的残差可以被划分成N个子块，并且K1(K1≥0)个子块以变换跳过模式编解码，K2(K2≥0)个子块采用变换，并且其他子块仅具有零系数。
a.在一个示例中，可以信令通知K1个子块或/和K2个子块的索引。
b.在一个示例中，可以隐式地推导哪些子块采用变换跳过模式。例如，如果划分图案包含两个子块，则具有较大SASG或SATG或SASG+SATG的子块可以以变换跳过模式编解码，而其他子块可以采用变换。
12.可以不信令通知而隐式地推导变换跳过标志(例如，transform_skip_flag)。
a.在一个示例中，如果SASG>T1或/和SATG>T2或/和SASG+SATG>T3，则块可以以变换跳过模式编解码。
i.可替代地，如果SASG>T1或/和SATG>T2或/和SASG+SATG
>T3，则块可以采用变换。
b.在一个示例中，是否推导变换跳过标志可以取决于块的运动信息或模式。
i.例如，变换跳过标志可以仅在帧间模式或/和帧内块复制模式中推导。
ii.例如，仅当当前块仅是双向预测的时，才可以推导变换跳过标志。
iii.例如，仅当存在多于K个非零系数时，才可以推导变换跳过标志。
c.在一个示例中，当存在少于K个非零系数时，可以禁用变换跳过。
13.还可以将二次变换应用于以SBT模式编解码的块。
a.在一个示例中，用W*H表示块尺寸，它可以首先被主变换矩阵(诸如，DCT-II)变换，然后左上角的W’*H’的变换后的区域可以被其他变换矩阵进一步变换，其中条件(W'不等于W和H'不等于H)中的至少一个为真。
14.可以根据关于块大小的规则启用提出的方法。
a.在一个示例中，当W*H>＝T1&&H>＝T2时，例如T1＝64和T2＝8，可以启用提出的方法。
b.在一个示例中，当块尺寸包含少于M*H个样点，例如32或64个亮度样点时，不允许提出的方法。
c.在一个示例中，当块尺寸包含多于M*H个样点，例如32或64个亮度样点时，不允许提出的方法。
d.可替代地，当块的宽度或/和高度的最小尺寸小于或不大于X时，不允许提出的方法。在一个示例中，X被设置为8。
e.可替代地，当块的宽度>th1或>＝th1和/或块的高度>th2或>＝th2时，不允许提出的方法。在一个示例中，X被设置为64。
i.例如，对MxM(例如，128x128)的块，禁用提出的方法。
ii.例如，对NxM/MxN的块，禁用提出的方法，例如，其中N>＝64，M＝128。
iii.例如，对NxM/MxN的块，禁用提出的方法，例如，其中N>＝4，M＝128。
f.可替代地，当块的宽度<th1或<＝th1和/或块的高度<th2或<＝th2时，不允许提出的方法。在一个示例中，th1和/或th2被设置为8。
图4是视频处理装置400的框图。装置400可以用于实施本文描述的方法中的一个或多个。装置400可以体现在智能电话、平板电脑、计算机、物联网(Internet of Things，IoT)接收器等中。装置400可以包括一个或多个处理器402、一个或多个存储器404和视频处理硬件406。(多个)处理器402可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)404可以用于存储用于实施本文描述的方法和技术的代码和数据。视频处理硬件406可以用于以硬件电路实施本文档中描述的一些技术。
图5是视频处理方法500的流程图。方法500包括：基于第一指示，确定(502)在变换跳过模式中是否将子块残差编解码方案应用于当前视频块的残差，其中子块残差编解码方案将当前视频块的残差划分成多个子块，并且多个子块的子集具有非零系数；响应于子块残差编解码方案被应用于当前视频块的残差，基于第二指示，确定(504)将被应用于当前视频块的残差的特定划分图案；基于第三指示，推导(506)多个子块的具有非零系数的子集；以及基于所确定的子块的具有非零系数的子集，对当前视频块的残差执行转换(508)。
以下各项以及第4章中的列表提供了所公开的技术的附加实施例和示例。
在一方面，公开了一种视频处理方法，包括：
基于第一指示，确定在变换跳过模式中是否将子块残差编解码方案应用于当前视频块的残差，其中子块残差编解码方案将当前视频块的残差划分成多个子块，并且多个子块的子集具有非零系数；
响应于子块残差编解码方案被应用于当前视频块的残差，基于第二指示，确定将被应用于当前视频块的残差的特定划分图案；
基于第三指示，推导多个子块的具有非零系数的子集；以及
基于所确定的子块的具有非零系数的子集，对当前视频块的残差执行转换。
在一个示例中，第一指示是以序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、编解码单元(CU)级别和块级别中的至少一个信令通知的标志。
在一个示例中，以CU级别或块级别信令通知的第一标志以基于上下文的自适应二进制算术编解码(CABAC)引擎中使用的上下文编解码。
在一个示例中，上下文是从至少一个邻近块的第一标志推导的。
在一个示例中，至少一个邻近块包括相邻块和非相邻块中的至少一个。
在一个示例中，上下文是预定义的。
在一个示例中，是否信令通知第一指示取决于当前视频块的运动信息。
在一个示例中，如果当前视频块以以下模式之一编解码，则不信令通知第一指示：
Merge模式；
高级运动矢量预测(AMVP)模式；
仿射模式；
组合帧内-帧间预测(CIIP)模式；
帧内块复制(IBC)模式；
加权预测模式；和
基于子块的MVP模式。
在一个示例中，基于子块的MVP模式包括可选时域运动矢量预测(ATMVP)模式。
在一个示例中，当前视频块以Merge模式编解码，并且与其相关联的Merge索引不大于阈值T。
在一个示例中，T＝0。
在一个示例中，如果对于当前视频块的残差不允许子块残差编解码方案，则不信令通知第一指示。
在一个示例中，如果当前视频块以照明补偿(IC)编解码，则子块残差编解码方案不允许用于当前视频块的残差。
在一个示例中，第二指示是根据从编码侧信令通知到解码侧的至少一个语法元素确定的。
在一个示例中，至少一个语法元素包括第一语法元素，第一语法元素指示要从当前视频块的残差中划分的子块的数量。
在一个示例中，第一语法元素包括一个或多个位元(bin)，并且所需的一个或多个位元的数量取决于当前视频块的残差允许的特定划分图案。
在一个示例中，如果允许将当前视频块的残差划分成两个、三个或四个子块，则需要两个位元。
在一个示例中，如果仅允许将当前视频块的残差划分成两个或三个子块，或者划分成三个或四个子块，或者划分成两个或四个子块，则仅需要一个位元。
在一个示例中，至少一个语法元素还包括基于特定划分图案的第二语法元素，第二语法元素指示当前视频块的残差被划分成多个子块的方向。
在一个示例中，如果特定划分图案指定将当前视频块的残差划分成具有相同尺寸W/2*H/2的四个子块，则不需要第二语法元素。
在一个示例中，至少一个语法元素还包括基于特定划分图案的第三语法元素，第三语法元素指示当前视频块的残差被划分成两个子块的划分位置。
在一个示例中，如果仅允许将当前视频块的残差划分成具有相同尺寸的两个子块，则不需要第三语法元素。
在一个示例中，第二指示取决于当前视频块的块大小。
在一个示例中，如果W<T1，则第二指示用于指示特定划分图案排除了将当前视频块划分成具有以下尺寸之一的子块：
{W/4*H,3W/4*H}；
{3W/4*H,W/4*H}；
{W/2*H,W/2*H}；
{W/4*H,W/2*H,W/4*H}；
{W/4*H,W/4*H,W/4*H,W/4*H}；和
{W/2*H/2,W/2*H/2,W/2*H/2,W/2*H/2}，
W和H分别表示当前视频块的宽度和高度，T1表示第一阈值。
在一个示例中，T1＝16。
在一个示例中，如果H<T2，则第二指示用于指示特定划分图案排除了将当前视频块划分成具有以下尺寸之一的子块：
{W*H/4,W*3H/4}；
{W*3H/4,W*H/4}；
{W*H/2,W*H/2}；
{W*H/4,W*H/2,W*H/4}；
{W*H/4,W*H/4,W*H/4,W*H/4}；和
{W/2*H/2,W/2*H/2,W/2*H/2,W/2*H/2}，
H和W表示当前视频块的高度和宽度，T2表示第二阈值。
在一个示例中，T2＝16。
在一个示例中，如果W/H>T3，则第二指示用于指示特定划分图案排除了在水平方向上划分当前视频块，W和H分别表示当前视频块的宽度和高度，T3表示第三阈值。
在一个示例中，如果H/W>T4，则第二指示用于指示特定划分图案排除了在垂直方向上划分当前视频块，W和H分别表示当前视频块的宽度和高度，T3表示第三阈值。
在一个示例中，第二指示取决于当前视频块的位置。
在一个示例中，如果当前视频块是右边界、左边界、下边界或上边界中的一个，则第二指示用于指示特定划分图案排除了在垂直方向和水平方向中的至少一个上划分当前视频块。
在一个示例中，是否信令通知第二指示取决于当前视频块的残差所允许的划分图案的数量。
在一个示例中，如果对于当前视频块的残差仅允许一个划分图案，则没有信令用于第二指示。
在一个示例中，至少一个阈值取决于以下至少一项：
可应用于当前视频块的特定划分图案；
当前视频块或至少一个邻近块的编解码信息；
当前视频块的颜色分量；
当前视频块的颜色格式；和
当前视频块的颜色表示。
在一个示例中，至少一个阈值在可应用于当前视频块的帧间编解码模式和帧内块复制(IBC)编解码模式之间不同。
在一个示例中，至少一个阈值在亮度分量Y和色度分量Cb/Cr之间不同。
在一个示例中，至少一个阈值在4:2:0颜色格式和4:4:4颜色格式之间不同。
在一个示例中，至少一个阈值在YCbCr颜色表示和RGB颜色表示之间不同。
在一个示例中，至少一个阈值在不同的划分图案之间不同。
在一个示例中，第二指示取决于当前视频块的运动信息。
在一个示例中，如果当前视频块以三角形预测模式编解码，则第二指示用于指示当前视频块的残差允许哪个特定划分图案。
在一个示例中，如果当前视频块以三角形预测模式编解码，则特定划分图案排除二元划分图案。
在一个示例中，如果当前视频块以三角形预测模式编解码，则特定划分图案指定两个三角形预测单元中的每一个被划分成一个矩形部分和两个三角形部分，并且两个三角形部分具有相同的尺寸，该尺寸等于一个矩形部分的一半。
在一个示例中，当前视频块具有一个或多个具有非零系数的矩形变换区域。
在一个示例中，当前视频块具有两个矩形变换区域，每个矩形变换区域覆盖每个三角形预测单元内的一个矩形部分。
在一个示例中，当前视频块具有两个矩形变换区域，每个矩形变换区域覆盖一个三角形预测单元内的一个三角形部分和另一个三角形预测单元内的一个三角形部分。
在一个示例中，第三指示是从索引中确定的或者是基于特定划分图案预定义的。
在一个示例中，在变换跳过模式中，信令通知索引以指示具有非零系数的每个子块。
在一个示例中，在变换跳过模式中，信令通知索引以指示具有零系数的每个子块。
在一个示例中，如果特定划分图案指定将当前视频块的残差划分成具有不同尺寸的两个子块，则两个子块中只有一个具有非零系数，并且不信令通知用于指示哪个子块具有非零系数的索引。
在一个示例中，两个子块的尺寸分别为W/4*H和3W/4*H，或者两个子块的尺寸分别为W*H/4、W*3H/4。
在一个示例中，如果特定划分图案指定将当前视频块的残差划分成三个子块，并且三个子块中的一个子块具有第一尺寸，三个子块中的另外两个子块具有第二尺寸，第一尺寸不同于第二尺寸，则三个子块中的具有第一尺寸的所述子块具有非零系数，并且不信令通知用于指示哪个子块具有非零系数的索引。
在一个示例中，第一尺寸是W/2*H并且第二尺寸是W/4*H，或者第一尺寸是W*H/2并且第二尺寸是W*H/4。
在一个示例中，第三指示取决于与子块相关联的特性。
在一个示例中，与子块相关联的特性包括子块的空域梯度；并且
其中基于与每个子块相关联的预测样点为多个子块中的每一个计算空域梯度，并且第三指示用于指示多个子块中的具有最高绝对空域梯度和(SASG)的集合具有非零系数。
在一个示例中，如果当前视频块是双向预测块，则与子块相关联的特性包括子块的时域梯度。
在一个示例中，基于在两个方向上与每个子块相关联的预测样点，为N个子块中的每一个计算时域梯度，并且第三指示用于指示多个子块中的具有最高绝对时域梯度和(SATG)的集合具有非零系数。
在一个示例中，与子块相关联的特性还包括子块的空域梯度；并且
基于在两个方向上与每个子块相关联的预测样点，为N个子块中的每一个计算空域和时域梯度两者，并且第三指示用于指示多个子块中的具有最高绝对时域和空域梯度和(SATSG)的集合具有非零系数。
在一个示例中，通过使用特定方向上的空域梯度，为每个子块计算最高绝对空域梯度和(SASG)。
在一个示例中，特定方向包括水平方向、垂直方向、45度对角方向和135度对角方向中的一个。
在一个示例中，与每个子块相关联的预测样点位于特定位置。
在一个示例中，特定位置包括每Q行的第P行。
在一个示例中，P＝1，Q＝2。
在一个示例中，当前视频块的残差在特定划分图案中被垂直或水平地划分成两个子块。
在一个示例中，两个子块具有如下尺寸：
{W/2*H,W/2*H}；
{W/4*H,3W/4*H}；或者
{3W/4*H，W/4*H}，
其中，W和H分别表示当前视频块的宽度和高度。
在一个示例中，两个子块具有如下尺寸：
{W*H/2,W*H/2}；
{W*H/4,W*3H/4}；或者
{W*3H/4,W*H/4}，
其中，W和H分别表示当前视频块的宽度和高度。
在一个示例中，当前视频块的残差在特定划分图案中被垂直或水平地划分成三个子块。
在一个示例中，三个子块具有如下尺寸：
{W/4*H,W/2*H,W/4*H}，
其中，W和H分别表示当前视频块的宽度和高度。
在一个示例中，三个子块具有如下尺寸：
{W*H/4,W*H/2,W*H/4}，
其中，W和H分别表示当前视频块的宽度和高度。
在一个示例中，当前视频块的残差在特定划分图案中被垂直和/或水平地划分成四个子块。
在一个示例中，四个子块中的每一个的尺寸为W/4*H，其中W和H分别表示当前视频块的宽度和高度。
在一个示例中，四个子块中的每一个的尺寸为W*H/4，其中W和H分别表示当前视频块的宽度和高度。
在一个示例中，四个子块中的每一个的尺寸为W/2*H/2，其中W和H分别表示当前视频块的宽度和高度。
在一个示例中，该转换包括将当前视频块编码到视频的比特流表示，和从视频的比特流表示中解码当前视频块。
在又一示例方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器运行时，使处理器实施如上所述的方法。
在再一示例方面，公开了一种非暂时性计算机可读介质，其上存储有程序代码，该程序代码在被运行时使处理器实施如上所述的方法。
根据前述内容，可以理解，本文已经出于说明的目的描述了本公开的技术的具体实施例，但是可以在不脱离本发明的范围的情况下做出各种修改。因此，除了由所附权利要求之外，本公开的技术不受限制。
本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路或计算机软件、固件或硬件中实施，包括本说明书中公开的结构及其结构等同物、或者它们中的一个或多个的组合。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序产品，即，编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的合成物，或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个或多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而，计算机不一定需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。
本说明书和附图仅被认为是示例性的，其中示例性意味着示例。如本文所使用的，“或”的使用旨在包括“和/或”，除非上下文另有明确指示。
虽然本专利文档包含许多细节，但这些不应被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初被要求这样来保护，但是在某些情况下，可以从所要求保护的组合中删除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有所示的操作，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。
仅描述了几个实施方式和示例，并且可以基于本专利文档中描述和图示的内容进行其它实施、增强和变化。

Claims (76)

1.一种用于视频处理的方法，包括：
基于第一指示，确定在变换跳过模式中是否将子块残差编解码方案应用于当前视频块的残差，其中所述子块残差编解码方案将当前视频块的残差划分成多个子块，并且多个子块的子集具有非零系数；
响应于子块残差编解码方案被应用于当前视频块的残差，基于第二指示，确定要被应用于当前视频块的残差的特定划分图案；
基于第三指示，推导多个子块的具有非零系数的子集；以及
基于所确定的子块的具有非零系数的子集，对当前视频块的残差执行转换。
2.根据权利要求1所述的方法，其中，所述第一指示是以序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、编解码单元(CU)级别和块级别中的至少一个信令通知的标志。
3.根据权利要求2所述的方法，其中，以CU级别或块级别信令通知的第一标志以基于上下文的自适应二进制算术编解码(CABAC)引擎中使用的上下文来编解码。
4.根据权利要求3所述的方法，其中，所述上下文是从至少一个邻近块的第一标志推导的。
5.根据权利要求4所述的方法，其中，所述至少一个邻近块包括相邻块和非相邻块中的至少一个。
6.根据权利要求3所述的方法，其中，所述上下文是预定义的。
7.根据权利要求1至6中任一项所述的方法，其中，是否信令通知所述第一指示取决于当前视频块的运动信息。
8.根据权利要求7所述的方法，其中，如果当前视频块以以下模式之一编解码，则不信令通知所述第一指示：
Merge模式；
高级运动矢量预测(AMVP)模式；
仿射模式；
组合帧内-帧间预测(CIIP)模式；
帧内块复制(IBC)模式；
加权预测模式；和
基于子块的MVP模式。
9.根据权利要求8所述的方法，其中，所述基于子块的MVP模式包括可选时域运动矢量预测(ATMVP)模式。
10.根据权利要求8所述的方法，其中，当前视频块以Merge模式编解码，并且与其相关联的Merge索引不大于阈值T。
11.根据权利要求10所述的方法，其中，T＝0。
12.根据权利要求7所述的方法，其中，如果对于当前视频块的残差不允许子块残差编解码方案，则不信令通知所述第一指示。
13.根据权利要求12所述的方法，其中，如果当前视频块以照明补偿(IC)编解码，则子块残差编解码方案不允许用于当前视频块的残差。
14.根据权利要求1至13中任一项所述的方法，其中，所述第二指示是根据从编码侧信令通知到解码侧的至少一个语法元素确定的。
15.根据权利要求14所述的方法，其中，所述至少一个语法元素包括第一语法元素，所述第一语法元素指示要从当前视频块的残差中划分的子块的数量。
16.根据权利要求15所述的方法，其中，所述第一语法元素包括一个或多个位元，并且所需的一个或多个位元的数量取决于当前视频块的残差允许的特定划分图案。
17.根据权利要求16所述的方法，其中，如果允许将当前视频块的残差划分成两个、三个或四个子块，则需要两个位元。
18.根据权利要求16所述的方法，其中，如果仅允许将当前视频块的残差划分成两个或三个子块，或者划分成三个或四个子块，或者划分成两个或四个子块，则仅需要一个位元。
19.根据权利要求14至18中任一项所述的方法，其中，所述至少一个语法元素还包括基于特定划分图案的第二语法元素，所述第二语法元素指示当前视频块的残差被划分成多个子块的方向。
20.根据权利要求19所述的方法，其中，如果特定划分图案指定将当前视频块的残差划分成具有相同尺寸W/2*H/2的四个子块，则不需要所述第二语法元素。
21.根据权利要求14至20中任一项所述的方法，其中，所述至少一个语法元素还包括基于特定划分图案的第三语法元素，所述第三语法元素指示当前视频块的残差被划分成两个子块的划分位置。
22.根据权利要求21所述的方法，其中，如果仅允许将当前视频块的残差划分成具有相同尺寸的两个子块，则不需要所述第三语法元素。
23.根据权利要求1至13中任一项所述的方法，其中，所述第二指示取决于当前视频块的块大小。
24.根据权利要求23所述的方法，其中，如果W<T1，则所述第二指示用于指示特定划分图案排除了将当前视频块划分成具有以下尺寸之一的子块：
{W/4*H,3W/4*H}；
{3W/4*H,W/4*H}；
{W/2*H,W/2*H}；
{W/4*H,W/2*H,W/4*H}；
{W/4*H,W/4*H,W/4*H,W/4*H}；和
{W/2*H/2,W/2*H/2,W/2*H/2,W/2*H/2}，
W和H分别表示当前视频块的宽度和高度，T1表示第一阈值。
25.根据权利要求24所述的方法，其中T1＝16。
26.根据权利要求23或24所述的方法，其中，如果H<T2，则所述第二指示用于指示特定划分图案排除了将当前视频块划分成具有以下尺寸之一的子块：
{W*H/4,W*3H/4}；
{W*3H/4,W*H/4}；
{W*H/2,W*H/2}；
{W*H/4,W*H/2,W*H/4}；
{W*H/4,W*H/4,W*H/4,W*H/4}；和
{W/2*H/2,W/2*H/2,W/2*H/2,W/2*H/2}，
H和W表示当前视频块的高度和宽度，T2表示第二阈值。
27.根据权利要求26所述的方法，其中T2＝16。
28.根据权利要求23所述的方法，其中，如果W/H>T3，则所述第二指示用于指示特定划分图案排除了在水平方向上划分当前视频块，W和H分别表示当前视频块的宽度和高度，T3表示第三阈值。
29.根据权利要求23所述的方法，其中，如果H/W>T4，则所述第二指示用于指示特定划分图案排除了在垂直方向上划分当前视频块，W和H分别表示当前视频块的宽度和高度，T3表示第三阈值。
30.根据权利要求1至13中任一项所述的方法，其中，所述第二指示取决于当前视频块的位置。
31.根据权利要求30所述的方法，其中，如果当前视频块是右边界、左边界、下边界或上边界中的一个，则所述第二指示用于指示特定划分图案排除了在垂直方向和水平方向中的至少一个上划分当前视频块。
32.根据权利要求1至13中任一项所述的方法，其中，是否信令通知所述第二指示取决于当前视频块的残差所允许的划分图案的数量。
33.根据权利要求32所述的方法，其中，如果对于当前视频块的残差仅允许一个划分图案，则没有信令用于所述第二指示。
34.根据权利要求24、26、28和29中任一项所述的方法，其中，所述至少一个阈值取决于以下至少一项：
可应用于当前视频块的特定划分图案；
当前视频块或至少一个邻近块的编解码信息；
当前视频块的颜色分量；
当前视频块的颜色格式；和
当前视频块的颜色表示。
35.根据权利要求34所述的方法，其中，所述至少一个阈值在可应用于当前视频块的帧间编解码模式和帧内块复制(IBC)编解码模式之间不同。
36.根据权利要求34所述的方法，其中，所述至少一个阈值在亮度分量Y和色度分量Cb/Cr之间不同。
37.根据权利要求34所述的方法，其中，所述至少一个阈值在4:2:0颜色格式和4:4:4颜色格式之间不同。
38.根据权利要求34所述的方法，其中，所述至少一个阈值在YCbCr颜色表示和RGB颜色表示之间不同。
39.根据权利要求34所述的方法，其中，所述至少一个阈值在不同的划分图案之间不同。
40.根据权利要求1至13中任一项所述的方法，其中，所述第二指示取决于当前视频块的运动信息。
41.根据权利要求40所述的方法，其中，如果当前视频块以三角形预测模式编解码，则所述第二指示用于指示当前视频块的残差允许哪个特定划分图案。
42.根据权利要求41所述的方法，其中，如果当前视频块以三角形预测模式编解码，则特定划分图案排除了二元划分图案。
43.根据权利要求41所述的方法，其中，如果当前视频块以三角形预测模式编解码，则特定划分图案指定两个三角形预测单元中的每一个被划分成一个矩形部分和两个三角形部分，并且所述两个三角形部分具有相同的尺寸，所述尺寸等于所述一个矩形部分的一半。
44.根据权利要求43所述的方法，其中，当前视频块具有一个或多个具有非零系数的矩形变换区域。
45.根据权利要求44所述的方法，其中，当前视频块具有两个矩形变换区域，每个矩形变换区域覆盖每个三角形预测单元内的所述一个矩形部分。
46.根据权利要求44所述的方法，其中，当前视频块具有两个矩形变换区域，每个矩形变换区域覆盖一个三角形预测单元内的一个三角形部分和另一个三角形预测单元内的一个三角形部分。
47.根据权利要求1至46中任一项所述的方法，其中，所述第三指示是从索引中确定的或者是基于特定划分图案预定义的。
48.根据权利要求47所述的方法，其中，在变换跳过模式中，信令通知索引以指示具有非零系数的每个子块。
49.根据权利要求47所述的方法，其中，在变换跳过模式中，信令通知索引以指示具有零系数的每个子块。
50.根据权利要求47所述的方法，其中，如果特定划分图案指定将当前视频块的残差划分成具有不同尺寸的两个子块，则两个子块中只有一个具有非零系数，并且不信令通知用于指示哪个子块具有非零系数的索引。
51.根据权利要求50所述的方法，其中，所述两个子块的尺寸分别为W/4*H和3W/4*H，或者所述两个子块的尺寸分别为W*H/4、W*3H/4。
52.根据权利要求47所述的方法，其中如果特定划分图案指定将当前视频块的残差划分成三个子块，并且三个子块中的一个子块具有第一尺寸，三个子块中的另外两个子块具有第二尺寸，第一尺寸不同于第二尺寸，则三个子块中的具有第一尺寸的所述子块具有非零系数，并且不信令通知用于指示哪个子块具有非零系数的索引。
53.根据权利要求52所述的方法，其中，所述第一尺寸是W/2*H并且所述第二尺寸是W/4*H，或者所述第一尺寸是W*H/2并且所述第二尺寸是W*H/4。
54.根据权利要求1至46中任一项所述的方法，其中，所述第三指示取决于与子块相关联的特性。
55.根据权利要求54所述的方法，其中，所述与子块相关联的特性包括子块的空域梯度；并且
其中基于与每个子块相关联的预测样点为多个子块中的每一个计算空域梯度，并且所述第三指示用于指示多个子块中的具有最高绝对空域梯度和(SASG)的集合具有非零系数。
56.根据权利要求54所述的方法，其中，如果当前视频块是双向预测块，则所述与子块相关联的特性包括子块的时域梯度。
57.根据权利要求56所述的方法，其中，基于在两个方向上与每个子块相关联的预测样点，为N个子块中的每一个计算时域梯度，并且所述第三指示用于指示多个子块中的具有最高绝对时域梯度和(SATG)的集合具有非零系数。
58.根据权利要求56所述的方法，其中，所述与子块相关联的特性还包括子块的空域梯度；并且
基于在两个方向上与每个子块相关联的预测样点，为N个子块中的每一个计算空域和时域梯度两者，并且所述第三指示用于指示多个子块中的具有最高绝对时域和空域梯度和(SATSG)的集合具有非零系数。
59.根据权利要求55至58中任一项所述的方法，其中，通过使用特定方向上的空域梯度，为每个子块计算最高绝对空域梯度和(SASG)。
60.根据权利要求59所述的方法，其中，所述特定方向包括水平方向、垂直方向、45度对角方向和135度对角方向中的一个。
61.根据权利要求55至60中任一项所述的方法，其中，所述与每个子块相关联的预测样点位于特定位置。
62.根据权利要求61所述的方法，其中，所述特定位置包括每Q行的第P行。
63.根据权利要求62所述的方法，其中P＝1，Q＝2。
64.根据权利要求1至63中任一项所述的方法，其中，当前视频块的残差在特定划分图案中被垂直或水平地划分成两个子块。
65.根据权利要求64所述的方法，其中，所述两个子块具有如下尺寸：
{W/2*H,W/2*H}；
{W/4*H,3W/4*H}；或者
{3W/4*H，W/4*H}，
其中，W和H分别表示当前视频块的宽度和高度。
66.根据权利要求64所述的方法，其中，所述两个子块具有如下尺寸：
{W*H/2,W*H/2}；
{W*H/4,W*3H/4}；或者
{W*3H/4,W*H/4}，
其中，W和H分别表示当前视频块的宽度和高度。
67.根据权利要求1至63中任一项所述的方法，其中，当前视频块的残差在特定划分图案中被垂直或水平地划分成三个子块。
68.根据权利要求67所述的方法，其中，所述三个子块具有如下尺寸：
{W/4*H,W/2*H,W/4*H}，
其中，W和H分别表示当前视频块的宽度和高度。
69.根据权利要求67所述的方法，其中，所述三个子块具有如下尺寸：
{W*H/4,W*H/2,W*H/4}，
其中，W和H分别表示当前视频块的宽度和高度。
70.根据权利要求1至63中任一项所述的方法，其中，当前视频块的残差在特定划分图案中被垂直和/或水平地划分成四个子块。
71.根据权利要求70所述的方法，其中，所述四个子块中的每一个的尺寸为W/4*H，其中W和H分别表示当前视频块的宽度和高度。
72.根据权利要求70所述的方法，其中，所述四个子块中的每一个的尺寸为W*H/4，其中W和H分别表示当前视频块的宽度和高度。
73.根据权利要求70所述的方法，其中，所述四个子块中的每一个的尺寸为W/2*H/2，其中W和H分别表示当前视频块的宽度和高度。
74.根据权利要求1至73中任一项所述的方法，其中所述转换包括将当前视频块编码到视频的比特流表示，和从视频的比特流表示中解码当前视频块。
75.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由处理器运行时，使所述处理器实施权利要求1至74中任一项所述的方法。
76.一种非暂时性计算机可读介质，其上存储有程序代码，所述程序代码在被运行时使处理器实施权利要求1至74中任一项所述的方法。
CN202080020950.4A 2019-03-13 2020-03-13 变换跳过模式中的子块变换 Active CN113632493B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/077942 2019-03-13
CN2019077942 2019-03-13
CN2019082428 2019-04-12
CNPCT/CN2019/082428 2019-04-12
PCT/CN2020/079245 WO2020182213A1 (en) 2019-03-13 2020-03-13 Sub-block transform in transform skip mode

Publications (2)

Publication Number Publication Date
CN113632493A true CN113632493A (zh) 2021-11-09
CN113632493B CN113632493B (zh) 2024-07-12

Family

ID=72426528

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080020903.XA Active CN113574880B (zh) 2019-03-13 2020-03-13 关于子块变换模式的分割
CN202080020950.4A Active CN113632493B (zh) 2019-03-13 2020-03-13 变换跳过模式中的子块变换

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080020903.XA Active CN113574880B (zh) 2019-03-13 2020-03-13 关于子块变换模式的分割

Country Status (3)

Country Link
US (2) US20220007057A1 (zh)
CN (2) CN113574880B (zh)
WO (2) WO2020182213A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3866468A4 (en) * 2018-10-12 2022-07-27 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING MULTI-ASSUMPTION PREDICTION
WO2021032145A1 (en) 2019-08-20 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Residual coding for transform skipped blocks
CN114270817B (zh) 2019-08-20 2024-07-05 北京字节跳动网络技术有限公司 基于位置的系数缩放
EP4082194A1 (en) * 2019-12-27 2022-11-02 Interdigital VC Holdings France Transform coding for inter-predicted video data
CN116193119A (zh) * 2020-09-27 2023-05-30 腾讯科技（深圳）有限公司 视频编解码方法、装置及设备
CN114286095B (zh) * 2020-09-27 2023-02-07 腾讯科技（深圳）有限公司 视频解码方法、装置及设备
EP4124036A4 (en) * 2020-09-27 2023-11-22 Tencent Technology (Shenzhen) Company Limited METHOD, APPARATUS AND DEVICE FOR VIDEO ENCODING/DECODING
CN112543324B (zh) * 2020-12-06 2023-02-28 浙江大华技术股份有限公司 视频解码方法、编码方法、编解码器及存储介质
WO2023173255A1 (zh) * 2022-03-14 2023-09-21 Oppo广东移动通信有限公司 图像编解码方法、装置、设备、系统、及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131903A2 (en) * 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
EP2574056A2 (en) * 2010-05-19 2013-03-27 Sk Telecom Co., LTD Image encoding/decoding device and method
EP2866443A1 (en) * 2012-06-22 2015-04-29 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding device and image coding device

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1835421A3 (en) * 1999-06-30 2009-04-22 Sharp Kabushiki Kaisha Motion picture retrieval information storage apparatus and motion picture retrieving apparatus
US10743027B2 (en) * 2009-12-08 2020-08-11 Interdigital Madison Patent Holdings Methods and apparatus for adaptive template matching prediction for video encoding and decoding
WO2011071342A2 (ko) * 2009-12-10 2011-06-16 에스케이텔레콤 주식회사 트리 구조를 이용한 부호화/복호화 방법 및 장치
WO2011074919A2 (ko) * 2009-12-17 2011-06-23 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
CN107087179B (zh) * 2011-03-10 2021-04-27 夏普株式会社 图像解码装置及方法、以及记录介质
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
JP2013187869A (ja) * 2012-03-09 2013-09-19 Sharp Corp 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
WO2014044908A1 (en) * 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2920969A4 (en) * 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
WO2014110651A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Transform coefficient coding for context-adaptive binary entropy coding of video
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10171839B2 (en) * 2016-03-24 2019-01-01 Massachusetts Institute Of Technology Generating transforms for compressing and decompressing visual data
CN109328461B (zh) * 2016-04-29 2023-09-05 世宗大学校产学协力团 视频信号编码/解码方法和设备
US10904580B2 (en) * 2016-05-28 2021-01-26 Mediatek Inc. Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
CN115052142A (zh) * 2016-08-01 2022-09-13 韩国电子通信研究院 图像编码/解码方法
WO2018045332A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Methods and apparatus for coded block flag coding in quad-tree plus binary-tree block partitioning
US10721489B2 (en) * 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
US10904581B2 (en) * 2016-11-08 2021-01-26 Kt Corporation Method and apparatus for processing video signal
WO2018093184A1 (ko) * 2016-11-18 2018-05-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102559062B1 (ko) * 2016-11-25 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3349459A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing A method and a device for image encoding and decoding
US11616976B2 (en) * 2017-06-09 2023-03-28 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
EP3422717A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
EP3422716A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
CN117354499A (zh) * 2017-07-06 2024-01-05 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
CN110999304B (zh) * 2017-07-28 2023-12-08 韩国电子通信研究院 图像处理方法和图像编码/解码方法以及使用图像处理方法和图像编码/解码方法的装置
CN110999293B (zh) * 2017-07-31 2022-11-04 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2019027200A1 (ko) * 2017-07-31 2019-02-07 에스케이텔레콤 주식회사 비-제로 계수들의 위치를 표현하는 방법 및 장치
CN117528071A (zh) * 2017-08-21 2024-02-06 韩国电子通信研究院 编码/解码视频的方法和设备以及存储比特流的记录介质
CN117499684A (zh) * 2017-09-20 2024-02-02 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置
KR102595689B1 (ko) * 2017-09-29 2023-10-30 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116489387A (zh) * 2017-09-29 2023-07-25 Lx 半导体科技有限公司 图像编码/解码方法和设备
EP3471418A1 (en) * 2017-10-12 2019-04-17 Thomson Licensing Method and apparatus for adaptive transform in video encoding and decoding
KR20190043482A (ko) * 2017-10-18 2019-04-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN115474042A (zh) * 2017-10-20 2022-12-13 韩国电子通信研究院 图像编码、解码方法以及存储比特流的记录介质
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
CN118301339A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
CN118338016A (zh) * 2017-11-22 2024-07-12 英迪股份有限公司 用于解码图像的方法、用于编码图像的方法和非暂态存储介质
EP3737093A4 (en) * 2017-11-28 2022-02-09 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIA STORED WITH A BITSTREAM
CN115955562A (zh) * 2017-11-29 2023-04-11 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
US11445215B2 (en) * 2017-12-28 2022-09-13 Electronics And Telecommunications Research Institute Method and device for image encoding and decoding, and recording medium having bit stream stored therein
KR102524628B1 (ko) * 2018-01-05 2023-04-21 에스케이텔레콤 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
US11082708B2 (en) * 2018-01-08 2021-08-03 Qualcomm Incorporated Multiple-model local illumination compensation
CN116366845A (zh) * 2018-03-09 2023-06-30 韩国电子通信研究院 使用样点滤波的图像编码/解码方法和设备
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
US10701358B2 (en) * 2018-07-09 2020-06-30 Tencent America LLC Mode dependent primary and secondary transforms
US10728557B2 (en) * 2018-10-24 2020-07-28 Sony Corporation Embedded codec circuitry for sub-block based entropy coding of quantized-transformed residual levels
US10798419B2 (en) * 2018-11-19 2020-10-06 Sony Corporation Embedded codec circuitry for sub-block based encoding of quantized prediction residual levels
US10750182B2 (en) * 2018-11-20 2020-08-18 Sony Corporation Embedded codec circuitry for visual quality based allocation of refinement bits
US10939107B2 (en) * 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131903A2 (en) * 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
EP2574056A2 (en) * 2010-05-19 2013-03-27 Sk Telecom Co., LTD Image encoding/decoding device and method
EP2866443A1 (en) * 2012-06-22 2015-04-29 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding device and image coding device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO, XIN: "CE6 related: Unification of Transform Skip mode and MTS", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019，DOCUMENT: JVET-M0501-V2》 *

Also Published As

Publication number Publication date
CN113574880B (zh) 2023-04-07
US20220007057A1 (en) 2022-01-06
CN113574880A (zh) 2021-10-29
CN113632493B (zh) 2024-07-12
US20220030240A1 (en) 2022-01-27
WO2020182213A1 (en) 2020-09-17
WO2020182207A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN110933424B (zh) 一个帧内编码块的多个预测块
CN113574880B (zh) 关于子块变换模式的分割
CN113812162B (zh) 视频中的简化二次变换的上下文建模
CN114208190B (zh) 视频编解码中缩减二次变换的矩阵的选择
CN113678440A (zh) 基于矩阵的帧内预测与其它编码工具之间的交互
CN113711597B (zh) 上下文建模和多重变换矩阵的选择
CN113728636B (zh) 编解码视频中二次变换的选择性使用
CN110839160B (zh) 扩展四叉树分割的强制边界分割
CN113812150A (zh) 使用滤波的基于矩阵的帧内预测
CN113875233A (zh) 使用上采样的基于矩阵的帧内预测
CN113728647A (zh) 基于矩阵的帧内预测的上下文编码
CN113826383B (zh) 变换跳过模式的块维度设置
CN113841402B (zh) 视频编解码中大块的变换设计
CN115211113A (zh) 多参数模型的帧内预测
CN117319649A (zh) 经变换跳过的块的残差编解码
CN113826398B (zh) 变换跳过模式和其它编解码工具之间的交互
CN115004697A (zh) 来自多个跨分量的预测
CN110944198A (zh) 色度模式帧内编码
CN113940076A (zh) 应用隐式变换选择
CN113994679A (zh) 关于上下文编解码二进制位的数量的限制
CN113728631A (zh) 帧内子块分割和多变换选择
CN117296323A (zh) 基于特征的变换选择
CN114026865A (zh) 用于色度分量的编解码工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant