CN116134818A - 混合纹理颗粒编码模式的改进 - Google Patents

混合纹理颗粒编码模式的改进 Download PDF

Info

Publication number
CN116134818A
CN116134818A CN202180059684.0A CN202180059684A CN116134818A CN 116134818 A CN116134818 A CN 116134818A CN 202180059684 A CN202180059684 A CN 202180059684A CN 116134818 A CN116134818 A CN 116134818A
Authority
CN
China
Prior art keywords
residual
transform
video
coding
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180059684.0A
Other languages
English (en)
Inventor
F·莱莱昂内克
T·波里尔
K·纳赛尔
陈娅
G·马丁-科谢
G·B·拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Interactive Digital Vc Holdings France Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Digital Vc Holdings France Ltd filed Critical Interactive Digital Vc Holdings France Ltd
Publication of CN116134818A publication Critical patent/CN116134818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及对于在游戏内容中频繁出现且以变换跳过模式进行编码的概率较高的视频内容，在与经常规编码的部分组合之前，与视频编码块的剩余部分分开编码。这使得能够通过减少常规编码模式与变换跳过模式之间的切换来对视频进行更高效的编码。在编码器中组合常规编码部分和变换跳过编码部分。在对应的解码器处发生逆操作，使得对经变换跳过的残差部分进行解码，并且在针对所得解码视频块组合经常规编码的部分之前，对该部分进行解码。

Description

混合纹理颗粒编码模式的改进
技术领域
本公开涉及视频压缩，并且更具体地涉及内容(诸如视频游戏内容)的压缩和解压缩。
背景技术
已经进行了许多尝试来提高基于块的编解码器的编码效率。VVC(通用视频编码，H.266)压缩方案是超越HEVC(高效视频编码)的下一代视频压缩。当VVC视频压缩系统对典型的游戏内容进行操作时，可能发生次于最佳编码的情况。
发明内容
本发明所描述的实施方案解决了现有技术的这些和其他缺陷和缺点，本发明的实施方案涉及用于管理量化矩阵所提供的编码效果与编码和解码复杂性之间的折衷的方法和装置。
根据所述实施方案的一个方面，提供了一种方法。该方法包括以下步骤：从视频图像的残差确定隔离样本；从残差滤波隔离样本；对经滤波的残差进行变换编码；重构经滤波的残差；从残差减去经重构的滤波残差以形成颗粒残差；使用变换跳过模式来对颗粒残差进行熵编码；以及将经熵编码的颗粒残差与经变换编码的滤波残差进行组合。
根据所述实施方案的另一方面，提供了第二种方法。该方法包括以下步骤：对视频块的第一部分的残差进行解码以生成经重构的颗粒残差；对视频块的第二部分进行熵解码；以及将所述经重构的颗粒残差与所述视频块的经熵解码的第二部分进行组合。
根据所述实施方案的另一方面，提供了一种装置。该装置包括存储器和处理器。该处理器可以被配置为通过上述方法中的任一方法对视频信号的一部分进行编码或解码。
根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；和(iii)显示器，该显示器被配置为显示表示视频块的输出。
根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一实施方案或变体生成的视频数据。
根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当程序由计算机执行时该指令使得计算机执行所描述的解码实施方案或变型中的任一者。
根据至少一个实施方案的另一个一般方面，提供了一种编码器方案，该编码器方案组合减小信号步长以减小残差的变换跳过部分的信号的振幅。
根据至少一个实施方案的另一个一般方面，在信号的变换跳过部分的逆量化之后添加增大信号步长。
通过将结合附图阅读的示例性实施方案的以下详细描述，本原则的这些和其他方面、特征和优点将变得显而易见。
附图说明
图1示出了通用视频压缩方案。
图2示出了通用视频解压缩方案。
图3示出了要压缩的典型的游戏视频内容。
图4示出了由编码器选择的块分区和常规/变换跳过编码模式。
图5示出了划分成编码单元以及由VVC编码器选择的变换跳过(黄色)编码模式和常规(红色)编码模式。
图6示出了用于混合纹理/颗粒残差块编码的所提出的第一实施方案。
图7示出了用于混合纹理/颗粒残差块解码的所提出的第一实施方案。
图8示出了根据所提出的第一实施方案的总体视频编码方案。
图9示出了根据所提出的第一实施方案的总体视频解码方案。
图10示出了用于混合纹理/颗粒残差块编码的所提出的第二实施方案。
图11示出了用于混合纹理/颗粒残差块解码的所提出的第二实施方案。
图12示出了与所提出的第一实施方案相关联的编码过程的变型。
图13示出了用于使用至少一个照明补偿标记来对视频进行编码的方法的一个实施方案。
图14示出了用于使用至少一个照明补偿标记来对视频进行解码的方法的一个实施方案。
图15是用于编码/解码的基于处理器的系统。
图16示出了变换跳过在VTM 11.0中的使用。
图17示出了利用所提出方法的变换模式。
图18示出了所提出的改进实施方案的编码器方案。
图19示出了所提出的改进实施方案的解码器方案。
图20示出了超过阈值的环路用以检测颗粒的流程图。
具体实施方式
所描述的实施方案的领域是视频压缩，更具体地为对混合纹理颗粒的编码和解码。
本发明所解决的问题是提高标准视频编解码器对要压缩/解压缩的特定视频内容的编码效率。具体地，所设想的视频编码用例是对视频游戏内容的压缩和解压缩，其发生在新兴的云游戏服务中。
被认作参考的视频压缩系统是VVC草案8。已经观察到，当在典型的游戏视频上运行时，编码器在块级别上在传统变换编码模式与变换跳过编码模式之间频繁切换。这具体发生在包含特定纹理类型的画面区域上，该特定纹理类型由自然低通纹理类型和所谓的颗粒纹理类型两者构成。
在这里，颗粒纹理类型代表了通常在亮度分量中的隔离样本，该隔离样本具有与所考虑的图片分量中的相邻样本显著不同的值。
此类颗粒样本难以通过基于经典变换的编码来进行有效编码，该基于经典变换的编码表示要在频域中进行编码以使其能够有效压缩的信号。另一方面，在VVC中支持另一种块编码模式，称为变换跳过，其绕过变换步骤。这种模式与特定的变换跳过块残差熵编码过程相结合，记为TSRC(变换跳过残差编码)。其通常适于屏幕内容视频类型。因此，变换跳过模式看起来更适于对颗粒亮度样本的编码，因为其直接对样本值进行编码。然而，其对于主要存在于低空间频率的自然纹理内容而言效率不高。
因此，对于组合了低通纹理和颗粒样本的纹理类型，VVC中支持的基于变换的模式或变换跳过模式中的任一者对于编码效率而言似乎都不是最佳的。
本发明所解决的问题是设计一种块编码模式，这种模式对于编码单元(＝块)而言优于基于变换的模式和变换跳过模式两者，该编码单元将包括低通纹理信号和一些颗粒纹理类型两者。
本发明的基本建议是混合块编码模式，这种模式在块级别上组合使用非变换跳过编码模式和变换跳过编码模式。在编码单元(CU)级别上选择这种新编码模式，并且通过在经编码的比特流中传输的专用语法元素来发信号通知其使用。
图3示出了从视频游戏提取的典型的视频图片。可以看出，值与其周围样本有很大不同的许多隔离样本是该内容的一部分。
图4示出了由VVC编码器在图3的视频图片上选择的块分区和变换跳过/常规残差编码模式。可以看出，以变换跳过模式对多个块进行编码。
图5示出了哪种类型的输入块是以TS(变换跳过)模式进行编码的更清楚视图。可以看出，选择TS以用于包含一些隔离的奇值亮度样本的块，即亮度值与其相邻亮度样本非常不同的块。观察到，大量块以变换跳过模式进行编码，同时要知道，变换跳过主要对于非常特定类型的视频内容(即，在样本值方面具有非常平坦的区域的屏幕内容)有效。表1证实了这一点，表1示出，通过去激活变换跳过模式，观察到大的损失，尤其针对VVC测试条件的屏幕内容类别F的一些内容，主要是由幻灯片编辑图片、文本等组成的序列。因此，我们相信，在所示出的游戏内容上对变换跳过的高使用率揭示了常规变换没有很好地执行，但是VVC的变换跳过模式也可能不是非常有效。
Figure BDA0004113688460000051
表1：去激活变换跳过模式时的VVC性能相比于保持变换跳过模式激活时的VVC性 能
图6示出了所提出的用于块残差的新的块残差编码模式。该模式在于将基于常规变换的编码过程与残差块样本的变换跳过编码级联在一起。该过程的输入是残差块R，其从所考虑的块的帧间或帧内预测过程发出，随后从原始块减去预测。
该过程的第一步在于检测可能存在于所考虑的块中的颗粒样本。这是只有编码器的非规范性阶段。其可存在于简单的隔离样本检测方法中，例如通过应用输入原始块的2D卷积，该原始块具有3×32D掩模：
Figure BDA0004113688460000052
通过对该卷积的输出进行阈值化，隔离样本f5与相邻样本f1至f9在以下情况下被认为是隔离的：
|8f5-(f1+f2+f3+f4+f6+f7+f8+f9)|＞T，
其中，T是预先指定的正阈值。
也可使用基于梯度、基于拉普拉斯算子或使用形态梯度的其他方法。
一旦检测到这些隔离样本值，就通过将其替换为与相邻样本值类似的样本值来将它们从残差块中滤波出来。通常，可使用通过给定2D掩模计算的相邻样本的平均值，或者中值。
这导致输入残差块的平滑分量Rs，其对于基于常规变换的编码是临时的。该常规编码发生，涉及变换T和量化Q以及如此量化的系数的熵编码。
然后，通过逆量化Q-1和逆变换T-1重构经常规编码的平滑残差块。
接下来，将残差块的经重构的平滑块
Figure BDA0004113688460000061
部分从原始残差块R中减去，从而导致要编码的当前残差块的颗粒导向分量Rp：
Figure BDA0004113688460000062
然后，颗粒残差块利用量化步长
Figure BDA0004113688460000063
进行量化(步骤Q*)，该量化步长可与常规量化步长Qstep相同或不同。然后，对经量化的颗粒残差块
Figure BDA0004113688460000064
进行熵编码。为此，采用VVC的变换跳过熵编码模式，而不是常规残差编码过程。
图7描绘了与图6的编码过程相关联的残差解码过程。该过程的输入是从图6的过程发出的经熵编码的残差块。第一步是变换跳过残差解码过程，记为TSRC-1。其导致包含在所考虑的编码残差块中的经量化的颗粒残差块。然后，利用量化步长
Figure BDA0004113688460000065
应用逆量化Q*-1，从而导致经重构的颗粒残差
Figure BDA0004113688460000066
在解码过程的另一侧，应用常规残差熵解码过程，记为RRC-1。这导致包含在所考虑的总体残差块中的经量化的平滑残差块。然后，其利用量化步长Qstep经历逆量化Q-1。然后，对当前块的经逆量化的残差平滑部分进行逆变换(步骤T-1)，从而导致经重构的平滑残差块
Figure BDA0004113688460000067
然后，混合平滑/颗粒残差块解码过程的最后步骤在于，将两个经重构的残差
Figure BDA0004113688460000068
和
Figure BDA0004113688460000069
相加，从而导致最终的重构残差块
Figure BDA00041136884600000610
图8针对利用所提出的混合常规/颗粒编码模式进行编码的编码单元提供了根据所提出的第一实施方案的总体视频编码器框图。
可以看出，针对所考虑的编码单元，涉及VVC的基于变换的编码过程和VVC的变换跳过编码过程两者的所提出的残差编码过程替换了残差块的传统编码过程。
还发生所提出的解码过程(在图7中提出)，以产生与所考虑的编码单元相关联的经重构的残差块。一旦重构残差块(残差块
Figure BDA0004113688460000071
)，则随后将其添加到帧间或帧内预测块，以生成最终的重构编码单元。
图9针对利用所提出的混合常规/颗粒编码模式进行编码的编码单元提供了根据所提出的第一实施方案的总体视频编码器框图。
可以看出，针对所考虑的编码单元，涉及VVC的基于变换的编码过程和VVC的变换跳过编码过程两者的所提出的残差编码过程替换了残差块的传统解码过程。
一旦重构残差块(残差块
Figure BDA0004113688460000072
)，则随后将其添加到帧间或帧内预测块，以生成最终的重构编码单元。
本节描述了针对混合常规/颗粒块编码模式提出的第二实施方案。
图10示出了编码器侧编码过程。该过程的输入是残差块R，其从所考虑的块的帧间或帧内预测过程发出，随后从原始块减去预测。
该过程的第一步在于检测可能存在于所考虑的块中的颗粒样本，该步骤与图6的对应步骤的过程相同。
一旦检测到这些隔离样本值，就通过将其替换为与相邻样本值类似的样本值来将它们从残差块中滤波出来。通常，可使用通过给定2D掩模计算的相邻样本的平均值，或者中值。
这导致输入残差块的平滑分量Rs，其对于基于常规变换的编码是临时的。该常规编码发生，涉及变换T和量化Q以及如此量化的系数的熵编码。
接下来，要编码的当前残差块的颗粒导向分量Rp通过形成单独的残差块来形成，该单独的残差块由与所提取的隔离颗粒样本组合的零样本构成。
然后，颗粒残差块利用量化步长
Figure BDA0004113688460000073
进行量化(步骤Q*)，该量化步长可与常规量化步长Qstep相同或不同。然后，对经量化的颗粒残差块
Figure BDA0004113688460000074
进行熵编码。为此，采用VVC的变换跳过熵编码模式，而不是常规残差编码过程。
图11描绘了与图10的编码过程相关联的残差解码过程。该过程的输入是从图6的过程发出的经熵编码的残差块。第一步是变换跳过残差解码过程，记为TSRC-1。其导致包含在所考虑的编码残差块中的经量化的颗粒残差块。然后，利用量化步长
Figure BDA0004113688460000081
应用逆量化Q*-1，从而导致经重构的颗粒残差
Figure BDA0004113688460000082
在解码过程的另一侧，应用常规残差熵解码过程，记为RRC-1。这导致包含在所考虑的总体残差块中的经量化的平滑残差块。然后，其利用量化步长Qstep经历逆量化Q-1。然后，对当前块的经逆量化的残差平滑部分进行逆变换(步骤T-1)，从而导致经重构的平滑残差块
Figure BDA0004113688460000083
然后，混合平滑/颗粒残差块解码过程的最后步骤在于，将两个经重构的残差
Figure BDA0004113688460000084
和
Figure BDA0004113688460000085
合并，从而导致最终的重构残差块
Figure BDA0004113688460000086
该合并过程在于，在对应于非零重构颗粒样本的空间位置处，将残差块
Figure BDA0004113688460000087
中的重构样本替换为残差块
Figure BDA0004113688460000088
中相同位置处的重构颗粒样本的值。
根据图6和图10中滤波出的编码器侧颗粒样本的变型来计算平滑残差Rs以进行编码，滤波处理在于确定在颗粒样本位置处的Rs样本值，以此类方式对Rs平滑残差块的编码效率进行优化。通常，这可在于相对于用于对所考虑的CU中的Rs进行编码的变换T，在变换域中找到导致残差块Rs的最小L1范数的颗粒样本值。
根据实施方案，所提出的混合常规/颗粒编码模式由编码器通过速率失真优化过程在编码单元级别上选择。该速率失真优化选择具有最小相关联速率失真成本的CU编码模式。因此，所提出的编码模式与编码器的其他CU编码模式竞争。
根据实施方案，通过CU级标记来发信号通知对所提出的混合常规/颗粒编码模式的使用。根据实施方案，在所考虑的CU的变换跳过标记为真的情况下，发信号通知指示使用所提出的混合CU编码模式的标记。否则，不对其进行编码且由解码器推断为假。
最后，根据所提出的第一实施方案的编码过程的变型，不执行颗粒检测和滤波。相反，假设由变换域中的颗粒样本生成的高频能量在高频变换系数的量化期间被丢弃。因此，可能不需要对颗粒样本进行检测和滤波。这导致图12所示的经简化的编码过程。
根据图12的编码过程的变型，假设相应的高频信息将由随后的变换跳过编码阶段适当地进行编码，那么将频率水平高于某个阈值的变换系数在被编码之前简单地强制为零。
根据另一个实施方案，标量量化器Q*用于颗粒样本的量化和逆量化。具体地，在量化器Q*中使用相比于标准VVC量化器具有放大尺寸的特定死区，即包含零样本值的量化区间，以便丢弃不是应该在Rp残差块中编码的颗粒样本的所有样本。
图13中示出了在本文所述的一般方面下的方法1300的一个实施方案。
图14中示出了在本文所述的一般方面下的方法1400的一个实施方案。
图15示出了用于使用编码或解码工具对视频进行压缩、编码或解码的装置1500的一个实施方案。该装置包括处理器1510并且可以通过至少一个端口互连到存储器1520。处理器1510和存储器1520两者还可以具有与外部连接的一个或多个附加互连。
处理器1510还被配置为在比特流中插入或接收信息，或者使用各种编码工具进行压缩、编码或解码。
在另一方面，公开了所述实施方案与DCT-II或DST-IV的组合。还描述了针对常规变换的高频系数的清零以及针对常规或变换跳过部分的QP偏移。然后，还提出将隐式变换与变换跳过组合使用。
规范性改进
用于发信号通知混合变换跳过的高级别标记
添加sps标记以启用/禁用对混合变换跳过模式的使用。仅在sps_transform_skip_enabled_flag为真时，对该标记进行编码，所提出的语法在表2中示出。
Figure BDA0004113688460000091
表2：用于启用混合变换跳过模式的SPS标记
与所提出的语法相关联的语义：
sps_hybrid_transform_skip_enabled_flag等于1指示hybrid_transform_skip_flag可存在于变换单元语法中。
sps_hybrid_transform_skip_enabled_flag等于0指示变换单元语法中不存在hybrid_transform_skip_flag。
与DST-IV组合
在该实施方案中，混合纹理可与DCT-II或DST-IV组合使用，因为它们是帧内切片中最常用的2种变换。可使用两种混合模式：DCT-II/TrSkip和DST-IV/TrSkip。
在transform_skip_flag之后对第一标记进行编码，以指示是否使用hybrid_transform_skip模式()。然后，如果满足了mts条件，则使用第二标记。如果是，则对第二标记进行编码，以指示是使用混合DST-IV/TrSkip还是使用DCT-II/TrSkip。
Figure BDA0004113688460000101
Figure BDA0004113688460000111
表3：所提出的hybrid_Transform_skip_flag语法
Figure BDA0004113688460000112
表4：所提出的DST-IV/TrSkip标记
如果使用隐式变换，则混合变换跳过模式还将隐式变换与变换跳过组合使用。
在图16中示出利用所提出的方法的变换选择，并且可以看到对于该序列，DCT-II/TrSkip和DST-IV/TrSkip被高度选择并且比变换跳过选择得更多。
组合使用隐式变换与变换跳过
在另一实施方案中，为了降低编码器复杂性，在DCT-II/TrSkip与DST-IV/TrSkip模式之间不存在竞争，而仅将隐式变换与变换跳过组合使用。需注意，在VVC中，当使用隐式变换时，在一个给定方向上使用的变换遵循以下等式来导出：
等式1：
trTypeHor＝(width>＝4&&width<＝16)？DST-IV:DCT-II
trTypeVer＝(height>＝4&&height<＝16)？DST-IV:DCT-II
清零和QP偏移
在另一个实施方案中，清零应用于混合变换跳过模式的常规变换部分。这种清零使得能够减少高频残差，因为其对于该混合模式的变换跳过部分来说是部分冗余的。
如果hybrid_transform_flag在残差解码过程之后被编码并且在最后的非零系数的位置的条件下，则该清零变为规范性的。
在一种变型中，并且QP偏移可与清零组合，其可应用于该混合变换模式的常规变换或/和变换跳过部分。
减小变换跳过系数值
一种检测方法用于检测颗粒，该方法检测给定样本的原始残差与周围残差样本之间的差异。对于所有先前的实施方案，该方法为仅针对编码器，并且在解码器处仅为常规残差与变换跳过残差之间的简单加法。
在该实施方案中，如图18所示，将减小信号步长添加到编码器，以减小残差的变换跳过部分的信号的振幅。在解码器侧，如图19所示，在信号的变换跳过部分的逆量化之后添加增大信号步长。将固定值添加到变换跳过部分的所有非零系数。
在第一步中，检测颗粒，使用滤波器来检测将利用变换跳过部分进行编码的残差样本。该检测包括当前残差样本与相邻样本之间的阈值。这意味着利用变换跳过部分进行编码的所有残差样本具有大于该阈值加上或减去量化步长的绝对值。将通过从残差样本的绝对值中去除该阈值的值来降低残差的变换跳过部分的成本。前一节描述了2D卷积方法。
这种方法的一个缺点是，其仅是局部的，并且如果许多颗粒相邻，则这些颗粒将更加难以检测。
中值搜索
用于检测颗粒的另一种方法是计算针对所有残差样本值的中值。该方法是非局部的，因此当颗粒在相同邻域中时更具鲁棒性。
通过对每个样本进行阈值化，隔离样本fcurr在以下情况下被认为是隔离的：
|fcurr-(fmedian)|＞T
其中，T是预先指定的正阈值。
一旦检测到这些隔离样本值，就通过将其替换为相邻样本的中值或平均值来将它们从残差块中滤波出来。
经上下文编码的bin的数目
在VVC中，已经引入最大数目的经上下文编码的bin，以简化残差系数的解析过程。在表5中，remBinsPass1变量指示针对当前编码单元的常规残差所允许的经上下文编码的bin的剩余数目。
Figure BDA0004113688460000131
表5：VVC中的residual_coding语法
在表6中，remBinsCCbs变量指示针对当前编码单元的变换跳过残差所允许的经上下文编码的bin的剩余数目。
Figure BDA0004113688460000141
表6：VVC中的变换跳过residual_coding语法
在对常规系数和变换跳过系数两者进行编码时，可在比特流中对更多经上下文编码的bin进行编码。在该实施方案中，提出对常规残差编码和变换跳过残差编码两者上的经上下文编码的bin的数目进行计数。表7示出了RemCcbs变量与来自常规残差编码的remBinsPass1的经修改的初始化。
Figure BDA0004113688460000151
Figure BDA0004113688460000161
表7：用于变换跳过残差编码的RmCcbs的所提出的初始化
Figure BDA0004113688460000162
表8：在残差编码和residual_ts编码上共享的remBinPass1变量
在一种变型中，transform_skip残差在常规残差之前被编码，以从更大数目的经上下文编码的bin中获益。
仅编码器的改进
超过阈值的环路
在图18的颗粒样本检测步骤期间，如果阈值太大，则检测到的颗粒的数目可为零。在该实施方案中，当检测到的颗粒的数目等于0时，用于检测的阈值减小一半，如图20所示，这使得当输入信号包含具有较小强度的颗粒时，检测到较小差异。
本文所述的实施方案包括各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出各个特性，通常以可能听起来具有限制性的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
本专利申请中描述和设想的方面可以许多不同的形式实现。图1、图2和图3提供了一些实施方案，但是设想了其他实施方案，并且图1、图2和图3的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重构”在编码端使用，而“解码”在解码端使用。
本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
本专利申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160、360、145、330))，如图1和图2所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。
在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。
图1示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。
在被编码之前，视频序列可经过预编码过程(101)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4：4：4转换到YCbCr 4：2：0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
在编码器100中，如下所述，图片由编码器元件进行编码。以例如CU为单位对要编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标志来指示帧内/帧间决策。例如，通过从原始图像块减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对经量化变换系数以及运动向量和其他语法元素进行熵译码(145)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重构图像块。将环路滤波器(165)应用于重构图片以执行例如去块/SAO(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
图2示出了视频解码器200的框图。在解码器200中，如下所述，比特流由解码器元件进行解码。视频解码器200通常执行与如图1所述的编码阶段相反的解码阶段。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。
具体地，该解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先，对比特流进行熵解码(230)以获取变换系数、运动向量和其他经译码信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据已解码图片分区信息划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重构图像块。可通过帧内预测(260)或运动补偿预测(即帧间预测)(275)获取(270)该预测块。向经重构的图像应用环路滤波器(265)。经滤波的图像存储在参考图片缓冲器(280)中。
经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从YcbCr 4：2：0转换到RGB 4：4：4)或执行与在预编码过程(101)中执行的重新映射过程相逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。
图3示出了在其中实现各种方面和实施方案的系统的示例的框图。系统1000可以体现为包括下文所述的各种部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立部件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载到其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块1030可以实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上，以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令以及提供用于在编码或解码期间所需的处理的工作存储器。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。
可以通过如框1130中所示的各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图3中未示出的其他示例包括复合视频。
在各种实施方案中，块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如Reed-Solomon纠错)可以根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可以包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统1000。这些实施方案中的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050进行接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统1000提供流传输数据，该机顶盒通过输入框1130的HDMI连接来递送数据。其他实施方案使用输入框1130的RF连接向系统1000提供流传输数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视机、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可以与其他部件集成(例如，如在智能电话中)，或与单独的部件集成(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如，碟片播放器执行播放系统1000的输出的功能。
在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送控制信号。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与电子设备(诸如电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，诸如例如定时控制器(T Con)芯片。
如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器1110可以另选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
这些实施方案可由处理器1010实现的计算机软件，或由硬件，或由硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适用于技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核心架构的处理器中的一者或多者。
各种具体实施参与解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。
作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。
作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
各种实施方案可以指参数模型或速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。可以通过速率失真优化(RDO)度量或通过最小均方(LMS)、绝对误差平均值(MAE)或其他此类测量值来测量。速率失真优化通常表述为使速率失真函数最小化，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器向多个变换、编码模式或标记中的特定一者发信号通知。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的变换、参数或模式。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
我们描述了多个实施方案，跨各种权利要求类别和类型。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
·包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。
·根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。
·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·在信令中插入语法元素，这使得解码器能够以与由编码器所使用的方式相对应的方式确定解码信息。
·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或发送和/或接收和/或解码。
·根据所描述的实施方案中的任一实施方案执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中的任一实施方案执行变换方法确定并显示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中的任一实施方案选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·通过空中接收(例如，使用天线)包括编码图像的信号并且执行变换方法的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·上述实施方案中的任一实施方案，还包括指示混合变换跳过模式的信令。
·上述实施方案中的任一实施方案，其中混合纹理与DCT-II或DST-IV组合使用。
·上述实施方案中的任一实施方案，其中隐式变换与变换跳过组合使用。
·上述实施方案中的任一实施方案，还包括对常规残差编码和变换跳过残差编码两者上的经上下文编码的bin的数目进行计数。
·上述实施方案中的任一实施方案，其中如果检测到的颗粒的数目等于0，则减小用于检测的阈值，并且如果检测到的颗粒的数目为非零，则使用原始阈值进行检测。

Claims (15)

1.一种方法，所述方法包括：
从视频图像的残差确定隔离样本；
从所述残差滤波所述隔离样本；
对经滤波的残差进行变换编码；
重构经滤波的残差；
从所述残差减去经重构的滤波残差以形成颗粒残差；
使用变换跳过模式来对所述颗粒残差进行熵编码；以及
将经熵编码的颗粒残差与经变换编码的滤波残差进行组合。
2.一种装置，所述装置包括：
处理器，所述处理器被配置为执行：
从视频图像的残差确定隔离样本；
从所述残差滤波所述隔离样本；
对经滤波的残差进行变换编码；
重构经滤波的残差；
从所述残差减去经重构的滤波残差以形成颗粒残差；
使用变换跳过模式来对所述颗粒残差进行熵编码；以及
将经熵编码的颗粒残差与经变换编码的滤波残差进行组合。
3.一种方法，所述方法包括：
对视频块的第一部分的残差进行解码以生成经重构的颗粒残差；
对所述视频块的第二部分进行熵解码；以及
将所述经重构的颗粒残差与所述视频块的经熵解码的第二部分进行组合。
4.一种装置，所述装置包括：
处理器，所述处理器被配置为执行：
对视频块的第一部分的残差进行解码以生成经重构的颗粒残差；
对所述视频块的第二部分进行熵解码；以及
将所述经重构的颗粒残差与所述视频块的经熵解码的第二部分进行组合。
5.根据权利要求3所述的方法或根据权利要求4所述的装置，还包括在解码器中使用经组合的视频块。
6.根据权利要求1所述的方法或根据权利要求2所述的装置，还包括在编码器中使用经组合的视频块。
7.根据权利要求1和5至6中任一项所述的方法或根据权利要求2和5至6中任一项所述的装置，还包括指示混合变换跳过模式的信令。
8.根据权利要求1和5至7中任一项所述的方法或根据权利要求2和5至7中任一项所述的装置，其中混合纹理与DCT-II或DST-IV组合使用。
9.根据权利要求1和5至8中任一项所述的方法或根据权利要求2和5至8中任一项所述的装置，其中隐式变换与变换跳过组合使用。
10.根据权利要求1和5至9中任一项所述的方法或根据权利要求2和5至9中任一项所述的装置，还包括对常规残差编码和变换跳过残差编码两者上的经上下文编码的bin的数目进行计数。
11.根据权利要求1和5至10中任一项所述的方法或根据权利要求2和5至10中任一项所述的装置，其中如果检测到的颗粒的数目等于0，则减小用于检测的阈值，并且如果检测到的颗粒的所述数目为非零，则使用原始阈值进行检测。
12.一种设备，所述设备包括：
根据权利要求4至11中任一项所述的装置；和
以下项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括视频块；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括所述视频块的频带；和(iii)显示器，所述显示器被配置为显示表示视频块的输出。
13.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含用于使用处理器播放的数据内容，所述数据内容根据权利要求1和6至11中任一项所述的方法生成或者由根据权利要求2和5至11中任一项所述的装置生成。
14.一种信号，所述信号包括用于使用处理器播放的视频数据，所述视频数据根据权利要求1和5至11中任一项所述的方法生成或者由根据权利要求2和5至11中任一项所述的装置生成。
15.一种计算机程序产品，所述计算机程序产品包括指令，当由计算机执行所述程序时，所述指令使所述计算机执行根据权利要求1、3和5至11中任一项所述的方法。
CN202180059684.0A 2020-06-30 2021-06-28 混合纹理颗粒编码模式的改进 Pending CN116134818A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20305736.9 2020-06-30
EP20305736 2020-06-30
PCT/IB2021/000442 WO2022003417A1 (en) 2020-06-30 2021-06-28 Hybrid texture particle coding mode improvements

Publications (1)

Publication Number Publication Date
CN116134818A true CN116134818A (zh) 2023-05-16

Family

ID=71614836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180059684.0A Pending CN116134818A (zh) 2020-06-30 2021-06-28 混合纹理颗粒编码模式的改进

Country Status (4)

Country Link
US (1) US20230328284A1 (zh)
EP (1) EP4173294A1 (zh)
CN (1) CN116134818A (zh)
WO (1) WO2022003417A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665964B2 (en) * 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US20180176582A1 (en) * 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
US20210352326A1 (en) * 2018-09-19 2021-11-11 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images, and recording medium for storing bitstream
WO2020078543A1 (en) * 2018-10-17 2020-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Identification of decreased object detectability for a video stream
WO2020141856A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform

Also Published As

Publication number Publication date
EP4173294A1 (en) 2023-05-03
US20230328284A1 (en) 2023-10-12
WO2022003417A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
KR20220047725A (ko) 암시적 다중 변환 선택을 위한 변환 선택
US20230095684A1 (en) High level syntax simplified video coding tool set for small blocks
CN116195254A (zh) 用于通用视频编码的模板匹配预测
CN113647111A (zh) 环内重整形自适应重整形方向
WO2020117781A1 (en) Method and apparatus for video encoding and decoding with adjusting the quantization parameter to block size
US11463712B2 (en) Residual coding with reduced usage of local neighborhood
CN115152231A (zh) 估计加权预测参数
CN117280684A (zh) 具有可切换内插滤波器的几何分区
WO2021180649A1 (en) High-level constraint flag for local chroma quantization parameter control
CN115039409A (zh) 用于视频编码和解码的残差处理
CN116134818A (zh) 混合纹理颗粒编码模式的改进
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
US11539951B2 (en) Method and device for picture encoding and decoding
US20220224902A1 (en) Quantization matrices selection for separate color plane mode
CN114270829A (zh) 局部照明补偿标志继承
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
JP2022548495A (ja) 複数参照ラインイントラ予測を用いた最確モードのシグナリング
CN118120228A (zh) 基于模板匹配的用于视频编码和解码的色度预测
JP2022540659A (ja) ルマツークロマ量子化パラメータテーブルシグナリング
CN114041286A (zh) 用于视频编码和解码的色度格式相关量化矩阵
CN114073093A (zh) 三角形分割的合并索引的信令通知
CN117716689A (zh) 用于abt的vvc规范性和编码器侧适配
CN114270849A (zh) 具有色度缩放的亮度映射(lmcs)lut扩展和裁剪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231011

Address after: Paris France

Applicant after: Interactive digital CE patent holdings Ltd.

Address before: French Sesong Sevigne

Applicant before: Interactive digital VC holdings France Ltd.