CN110855985A - 双边滤波器的不相等加权样点平均 - Google Patents

双边滤波器的不相等加权样点平均 Download PDF

Info

Publication number
CN110855985A
CN110855985A CN201910774518.3A CN201910774518A CN110855985A CN 110855985 A CN110855985 A CN 110855985A CN 201910774518 A CN201910774518 A CN 201910774518A CN 110855985 A CN110855985 A CN 110855985A
Authority
CN
China
Prior art keywords
sample
bilateral filter
video
samples
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910774518.3A
Other languages
English (en)
Other versions
CN110855985B (zh
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN110855985A publication Critical patent/CN110855985A/zh
Application granted granted Critical
Publication of CN110855985B publication Critical patent/CN110855985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Motors That Do Not Use Commutators (AREA)
  • Piezo-Electric Or Mechanical Vibrators, Or Delay Or Filter Circuits (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开涉及双边滤波器的不相等加权样点平均。一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差(SDiff)的加权和，其中多个样点强度差被分配不相等的权重；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。

Description

双边滤波器的不相等加权样点平均
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年8月21日提交的国际专利申请号PCT/CN2018/101479的优先权和利益。根据美国法律的所有目的，将国际专利申请号PCT/CN2018/101479的全部公开以引用方式并入本文，作为本申请公开的一部分。
技术领域
本文献涉及视频编码和解码技术。
背景技术
数字视频在互联网和其他数字通信网络上的带宽使用量最大。随着能够接收和显示视频的连接用户设备数量的增加，预期数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可由视频解码器或编码器实施例使用，其中可应用双边滤波器。
在一个示例方面，公开了一种视频比特流处理的方法。该方法包括：由处理器确定视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，该确定基于在序列参数集、图片参数集、条带报头、图片报头、编码树单元(CTU)、编码树块(CTB)或编码单元(CU)组中的一个或多个中信令通知的信息；以及基于该确定，将双边滤波器应用于视频数据的第一部分的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器基于比特流中信令通知的信息确定视频数据的第一部分与大于阈值量化参数(QP)的QP相关联；以及基于QP大于阈值QP的确定，确定第一部分的重构表示不经受双边滤波器，其中双边滤波器至少基于相邻样点的样点强度值。
在另一示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的第一部分的第一编码模式和视频数据的第二部分的第二编码模式；以及基于第一编码模式将双边滤波器应用于视频数据的第一部分的重构表示，其中双边滤波器至少基于相邻样点的样点强度值。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，其中，视频数据的第一部分与量化参数(QP)相关联；以及基于QP将双边滤波器应用于视频数据的第一部分的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的加权和(WSSDiff值)，其中多个样点强度差的加权和被分配相同的参数；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于当前样点和一个或多个相邻样点之间的样点强度差(SDiff值)，其中多个样点强度差被分配相同的参数；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差(SDiff)的加权和，其中多个样点强度差被分配不相等的权重；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配相同的权重；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
在另一个示例方面，一种视频比特流处理的方法，包括：由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配不相等的权重；以及将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
在另一个示例方面，上述方法可由包含处理器的视频解码器装置实现。
在另一个示例方面，上述方法可由包含处理器的视频编码器装置实现。
在另一个示例方面，这些方法可以以处理器可执行指令的形式实施，并存储在计算机可读程序介质上。
本文进一步描述了这些方面以及其他方面。
附图说明
图1是H.264/高级视频编码(AVC)中MB分割的示意图。
图2示出了将编码块(CB)划分为预测块(PB)的模式的示例。
图3A至图3B示出了将编码树块(CTB)细分为CB的示例。
图4A至图4B示出了四叉树加二叉树(QTBT)结构的示例。
图5示出了分割的示例。
图6示出了变换单元(TU)和滤波器孔径的示例。
图7示出了双边滤波器中使用的相邻样点的示例。
图8示出了加权计算中使用的覆盖两个样点的窗口。
图9示出了双边滤波器推导中使用的部分样点。
图10示出了双边滤波器推导中使用的部分样点。
图11是视频处理装置示例的框图。
图12示出了视频编码器的示例实现的框图。
图13是视频比特流处理方法示例的流程图。
图14是视频比特流处理方法示例的流程图。
图15是视频比特流处理方法示例的流程图。
图16是视频比特流处理方法示例的流程图。
图17是视频比特流处理方法示例的流程图。
图18是视频比特流处理方法示例的流程图。
图19是视频比特流处理方法示例的流程图。
图20是视频比特流处理方法示例的流程图。
图21是视频比特流处理方法示例的流程图。
图22是视频比特流处理方法示例的流程图。
图23是视频比特流处理方法示例的流程图。
图24是视频比特流处理方法示例的流程图。
图25是可实施所公开技术的示例视频处理系统的框图。
具体实施方式
本文提供了视频比特流解码器可以使用的各种技术，以提高解压缩或解码数字视频的质量。此外，视频编码器还可以在编码处理中实现这些技术，以便重建用于进一步编码的解码帧。
在本文中，使用章节标题用于提高可读性，并且不将每个章节中描述的技术和实施例的范围仅限于该章节。此外，虽然使用了各种现有视频编解码器标准的某些术语，但所公开的技术不仅限于这些视频标准或其后续标准，并且适用于其他视频编解码器标准。此外，在某些情况下，使用相应的编码步骤公开了技术，并且应当理解的是，将在解码器上执行相反顺序的相应解码步骤。此外，编码还可用于执行转码，其中视频从一种编码表示(例如，一种比特率)表示为另一种编码表示(例如，不同的比特率)。
1.概述
所公开的技术涉及视频编码技术。具体地，其涉及重建后滤波器，例如图像/视频编码中的双边滤波器。它可以应用于现有的视频编码标准，如HEVC，或待定案的标准(多功能视频编码)。它也可能适用于未来的视频编码标准或视频编解码器。
2.初步讨论
视频编码标准主要是通过开发著名的ITU-T和ISO/IEC标准而发展起来的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4视频，并且两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262以来，视频编码标准基于混合视频编码结构，其中采用了时域预测加变换编码。
图12是视频编码器实施示例的框图。
2.1 H.264/AVC中的分割树结构
H.264/AVC中的分割树结构
先前标准中编码层的核心是宏块，包含亮度样点的16×16块，通常情况下是4∶2∶0颜色采样的，色度样点的两个对应的8×8块。
帧内编码块使用空间预测来开发像素之间的空间相关性。定义了两种分割：16x16和4x4。
帧间编码块通过估计图片间的运动来使用时域预测而不是空间预测。可以单独估计16x16宏块或其任何子宏块分割的运动：16x8、8x16、8x8、8x4、4x8、4x4(见图2)。每个子宏块分割只允许一个运动矢量(MV)。
图1是H.264/高级视频编码(AVC)中MB分割的示意图。
2.1.2 HEVC中的分割树结构
在HEVC中，通过使用四叉树结构(表示为编码树)将CTU划分成CU以适应各种局部特性。在CU级别做出是使用帧间(时域)还是帧内(空间)预测对图像区域进行编码的决定。根据PU的划分类型，每个CU可以进一步划分成一个、两个或四个PU。在一个PU中，采用相同的预测处理，并且以PU为基础将相关信息传输到解码器。在通过应用基于PU划分类型的预测处理获得残差块后，可以根据与CU的编码树相似的另一种四叉树结构将CU分割成变换单元(TU)。HEVC结构的一个重要特点是它具有包括CU、PU、和TU的多个分割概念。
在下文中，使用HEVC的混合视频编码中涉及的各种特征突出显示如下。
1)编码树单元和编码树块(CTB)结构：HEVC中的类似结构是编码树单元(CTU)，其尺寸由编码器选择，并且可以大于传统的宏块。CTU由亮度CTB和相应的色度CTB和语法元素组成。亮度CTB的尺寸L×L可以选择为L＝16、32或64个样点，其中较大的尺寸通常能够实现更好的压缩。然后，HEVC支持使用树结构和四叉树式信令将CTB分割为更小的块。
2)编码单元(CU)和编码块(CB)：CTU的四叉树语法规定了其亮度和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此，亮度CTB的尺寸是亮度CB支持的最大尺寸。将CTU划分为亮度和色度CB是联合发信令的。一个亮度CB和通常两个色度CB以及相关联的语法一起形成编码单元(CU)。CTB可以只包含一个CU，也可以划分成多个CU，并且每个CU都有分割成预测单元(PU)和转换单元树(TU)的相关联的分割。
3)预测单元和预测块(PB)：在CU级别做出是使用帧间还是帧内预测对图像区域进行编码的决定。PU分割结构的根位于CU层。取决于基本的预测类型决定，可以在尺寸上进一步划分亮度和色度CB，并且可以从亮度和色度预测块(PB)中预测亮度和色度CB。HEVC支持从64×64到4×4个样点的可变PB尺寸。图3A至图3B示出了MxM CU允许的PB的示例。
图2示出了将编码块(CB)划分为预测块(PB)的模式的示例。
4)TU和变换块：使用变换块对预测残差进行编码。TU树结构的根位于CU层。亮度CB残差可能与亮度变换块(TB)相同，也可能进一步划分为更小的亮度TB。其同样适用于色度TB。对于4×4、8×8、16×16和32×32的方形TB，定义了与离散余弦变换(DCT)相似的整数基函数。对于亮度帧内预测残差的4×4变换，也可以指定从离散正弦变换(DST)形式推导的整数变换。
图3A至图3B示出了将编码树块(CTB)细分为CB的示例。
2.1.2.1树形结构分割成变换块和变换单元
对于残差编码，CB可以递归地分割成转换块(TB)。分割由残差四叉树信令指示。仅指定了方形CB和TB分割，其中块可以递归地划分成象限，如图4A至图4B所示。对于尺寸为M×M的给定亮度CB，标志表示它是否被划分成四个尺寸为M/2×M/2的块。如果可以进一步划分，如SPS中指示的残差四叉树的最大深度信令指示的那样，每个象限都会被分配指示是否将其划分为四个象限标志。由残差四叉树生成的叶节点块是由变换编码进一步处理的变换块。编码器指示它将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时，则暗示划分。如果划分将导致亮度TB尺寸小于指示的最小值，则暗示不划分。色度TB尺寸在每个维度上是亮度TB尺寸的一半，但当亮度TB尺寸为4×4时除外，在这种情况下，由四个4×4亮度TB覆盖的区域使用单个4×4色度TB。对于帧内预测的CU的情况，最邻近的TB(CB内或CB外)的解码样点被用作帧内预测的参考数据。
与先前的标准相反，HEVC设计允许TB跨越多个帧间预测CU的PB，以最大化四叉树结构的TB分割的潜在编码效率优势。
2.1.2.2父节点和子节点
CTB按照四叉树结构进行划分，其节点为编码单元。四叉树结构中的多个节点包括叶节点和非叶节点。叶节点在树结构中没有子节点(即叶节点无进一步划分)。非叶节点包括树结构的根节点。根节点对应于视频数据的初始视频块(例如，CTB)。对于多个节点的每个对应的非根节点，对应的非根节点对应于视频块，该视频块是对应于树结构中各个非根节点的父节点的视频块的子块。多个非叶节点的每个对应的非叶节点在树结构中具有一个或多个子节点。
2.1.3 JEM中具有较大CTU的四叉树加二叉树块结构
为了探索HEVC之外的未来视频编码技术，VCEG和MPEG于2015年共同成立了联合视频探索小组(JVET)。此后，JVET采用了许多新的方法，并将其应用于名为联合探索模型(JEM)的参考软件。
2.1.3.1 QTBT块分割结构
与HEVC不同，QTBT结构消除了多个划分类型的概念。即，其消除了CU、PU和TU概念的分离，并支持CU划分形状的更多灵活性。在QTBT块结构中，CU可以是方形或矩形。如图5所示，首先用四叉树结构对编码树单元(CTU)进行划分。四叉树叶节点进一步被二叉树结构划分。在二叉树划分中有两种划分类型：对称的水平划分和对称的垂直划分。二叉树叶节点被称为编码单元(CU)，该划分用于预测和转换处理，而无需进一步划分。这意味着在QTBT编码块结构中CU、PU和TU具有相同的块尺寸。在JEM中，CU有时由不同颜色分量的编码块(CB)组成，例如，在4∶2∶0色度格式的P条带和B条带中，一个CU包含一个亮度CB和两个色度CB，并且CU有时由单个分量的CB组成，例如，在I条带的情况下，一个CU仅包含一个亮度CB或仅包含两个色度CB。
为QTBT分割方案定义了以下参数。
-CTU尺寸：四叉树的根节点尺寸，与HEVC中的概念相同。
-MinQTSize：最小允许的四叉树叶节点尺寸
-MaxBTSize：最大允许的二叉树根节点尺寸
-MaxBTDepth：最大允许的二叉树深度
-MinBTSize：最小允许的二叉树叶节点尺寸
在QTBT划分结构的一个示例中，CTU尺寸被设置为具有两个对应的64×64色度样点块的128×128个亮度样点，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，MinBTSize(宽度和高度)被设置为4×4，MaxBTSize被设置为4。四叉树划分首先应用于CTU，以生成四叉树叶节点。四叉树叶节点的尺寸可以具有从16×16(即MinQTSize)到128×128(即CTU尺寸)的尺寸。如果叶四叉树节点是128×128，则其不会被二叉树进一步划分，因为其尺寸超过了MaxBTSize(即64×64)。否则，叶四叉树节点可以被二叉树进一步划分。因此，四叉树叶节点也是二叉树的根节点，并且其二叉树深度为0。当二叉树深度达到MaxBTDePTh(即4)时，不考虑进一步划分。当二叉树节点的宽度等于MinBTSize(即4)时，不考虑进一步的水平划分。同样，当二叉树节点的高度等于MinBTSize时，不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点，而不需要进一步的划分。在JEM中，最大CTU尺寸为256×256个亮度样点。
图4A说明了通过使用QTBT进行块分割的示例，图4B说明了相应的树表示。实线表示四叉树划分，并且虚线表示二叉树划分。在二叉树的每个划分(即非叶)节点中，会对一个标志发信令来指示使用哪种划分类型(即水平或垂直)，其中0表示水平划分，1表示垂直划分。对于四叉树划分，不需要指明划分类型，因为四叉树划分总是水平和垂直划分一个块，以生成尺寸相同的4个子块。
此外，QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前，对于P条带和B条带，一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而，对于I条带，用QTBT结构将亮度CTB划分为CU，用另一个QTBT结构将色度CTB划分为色度CU。这意味着I条带中的CU由亮度分量的编码块或两个色度分量的编码块组成，P条带或B条带中的CU由所有三种颜色分量的编码块组成。
在HEVC中，为了减少运动补偿的存储器访问，限制小块的帧间预测，使得4×8和8×4块不支持双向预测，并且4×4块不支持帧间预测。在JEM的QTBT中，这些限制被移除。
2.1.4 VVC的三叉树
可以支持除四叉树和二叉树以外的树类型。在实现中，引入了另外两个三叉树(TT)分割，即水平和垂直的中心侧三叉树，如图5(d)和(e)所示。
图5示出了分割的示例：(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直中心侧三叉树分割(e)水平中心侧三叉树分割。
有两个层次的树：区域树(四叉树)和预测树(二叉树或三叉树)。首先用区域树(RT)对CTU进行分割。可以进一步用预测树(PT)划分RT叶。也可以用PT进一步划分PT叶，直到达到最大PT深度。PT叶是基本的编码单元。为了方便起见，它仍然被称为CU。CU不能进一步划分。预测和变换都以与JEM相同的方式应用于CU。整个分割结构被称为“多类型树”。
2.2重构后滤波
2.2.1JEM中的双边滤波器
双边滤波器是JEM解码处理链中的第一个环路滤波器。重构TU后，重构TU中的每个亮度样点都会被其自身及其在TU中邻居的加权平均值所替代。权重是基于距中心样点的距离以及样点值中的差异来计算的。因此，所公开的双边滤波器基于相邻样点的样点强度值。重构的TU在本文中被称为视频数据的一部分的重构表示和/或一个或多个视频样点的重构表示。滤波器形状是一个小的加号，如图6所示。
图6示出了变换单元(TU)和滤波器孔径的示例。例如，图6示出了8×8TU块和位于位置(1，1)处的样点的滤波器孔径的示例。
双边滤波器的工作原理是，滤波器权重不仅取决于与相邻样点的距离，还取决于它们的值。位于(i，j)处的样点使用其相邻样点(k，l)进行滤波。权重ω(i，j，k，l)是分配给样点(k，l)来对样点(i，j)进行滤波的权重，并且其定义为
Figure BDA0002174613590000091
在这里，I(i，j)和I(k，l)是分别样点(i，j)和样点(k，l)的原始重构强度值。σd是空间参数，并且σr是范围参数。双边滤波器的性能(或强度)由这两个参数控制。更靠近待滤波样点的样点、以及与待滤波样点具有更小强度差的样点将比更远离的样点和更大强度差的样点具有更大的权重。在JEM中，根据变换单元尺寸和预测模式设置σd，并且基于用于当前块的QP设置σr。
Figure BDA0002174613590000103
σd的不同值意味着与帧内预测块相比，帧间预测块的滤波强度相对较弱。帧间预测的残差通常小于帧内预测的残差，并且因此，双边滤波器被设计以更小地对帧间预测块的重构进行滤波。因此，双边滤波器的强度可以基于视频块(或部分)的编码模式或编码条件。
输出滤波采样值计算如下：
Figure BDA0002174613590000104
由于滤波器只接触样点及其4个邻居的事实，该等式可写为
Figure BDA0002174613590000105
其中IC是中心样点的强度，并且IL、IR、IA和IB分别是左侧、右侧、上方和下方样点的强度。同样地，ωC是中心样点的权重，并且ωL、ωR、ωA和ωB分别是相邻样点的相应权重。滤波器仅使用块内的样点进行滤波，外部权重设置为0。
为了减少计算量，使用查找表(LUT)实现了JEM中的双边滤波器。对于每个QP，ωL、ωR、ωA和ωB值都有一个一维LUT，其中值
Figure BDA0002174613590000106
被存储。其中根据QP由等式4计算得出。由于在LUT中
Figure BDA0002174613590000109
它可以直接用于中心权重ωC为65(其表示1.0)的4×4帧内情况。对于其他模式，我们使用相同的LUT，但使用的中心权重是
Figure BDA0002174613590000111
其中σd由等式2或3得出。最终滤波值计算为
其中使用的除法是整数除法，并且增加项(ωC+ωL+ωR+ωA+ωB)＞＞1以获得正确的取整。
在JEM参考软件中，等式9中的除法运算被LUT、乘法和移位运算所替代。为了减小分子和分母的尺寸，等式9进一步改进为
在JEM参考软件中，等式10以使得其精确到等式9的方式实现。使用等式9(即使用除法运算)可以提供与JEM中无除法运算相同的结果。
如果QP＜18或块为帧间类型且块尺寸为16×16或更大，则关闭滤波器。
2.2.2非局部非除法双边滤波器
所提出的双边滤波器可以应用于具有非零变换系数且条带量化参数大于17的亮度块。因此，无需对双边滤波器的使用发信令。如果应用了双边滤波器，则在逆变换后立即在解码样点上运行。此外，滤波器参数(即权重)是从编码信息中显式推导的。
滤波处理定义为：
这里，P0，0是当前样点的强度，并且P′0，0是当前样点的修改强度，Pk，0和Wk分别是第k个相邻样点的强度和加权参数。一个当前样点及其四个相邻样点(即K＝4)的示例如图7所示。
图7示出了双边滤波器中使用的相邻样点的示例。
更具体地，与第k个相邻样点相关联的权重Wk(x)定义如下：
Wk(x)＝Distancek×Rangek(x) (12)
其中
Figure BDA0002174613590000121
Figure BDA0002174613590000122
并且σd取决于编码模式和编码块尺寸。所述的滤波处理应用于帧内编码块和当进一步划分TU时的帧间编码块，以实现并行处理。
为了进一步提高编码性能，对于帧间码块，当TU不被划分时，当前样点与其相邻样点中的一个之间的强度差被覆盖当前样点与相邻样点的两个窗口之间的代表性强度差所替代。因此，滤波处理的等式修改为：
其中Pk，m和P0，m表示分别以Pk，0和P0，0为中心的窗口内的第m个样点值。在本方案中，窗口尺寸设置为3×3。窗口覆盖P2，0和P0，0的两个窗口的示例如图8所示。
图8示出了覆盖加权计算中使用的两个样点的窗口805(如实线所示)和810(如虚线所示)。
2.3量化参数
在一些实现中，最大允许的量化参数(QP)从HEVC/H.265中的51修改为63。该修改基于HEVC ISO/IEC 23008-2、ITU-T H.265。鉴于QP的扩大的范围对当前技术标准版本的更改以粗体和斜体显示在下文中。
7.3.2.3图片参数集RBSP语法
7.3.2.3.1通用图片参数集RBSP语法
Figure BDA0002174613590000124
Figure BDA0002174613590000131
Figure BDA0002174613590000141
7.4.3.3.1通用图片参数集RBSP语义
…
init_qp_minus26加26为关于PPS的每个条带规定了SliceQpY的初始值。当解码slice_qp_delta的非零值时，在条带段层修改SliceQpY的初始值。init_qp_minus26的值应当在-(26+QpBdOffsetY)至+37的范围内，包括-(26+QpBdOffsetY)和+37(而不是如该标准的当前版本的25)。
cu_qp_delta_enabled_flag等于1规定了语法元素diff_cu_p_delta_depth存在于PPS中，并且cu_qp_delta_abs可能存在于变换单元语法和调色语法中。cu_qp_delta_enabled_flag等于0规定了语法元素diff_cu_qp_delta_depth不存在于PPS中，并且cu_qp_delta_abs不存在于变换单元语法和调色语法中。
diff_cu_qp_delta_depth规定了传递cu_qp_delta_abs和cu_qp_delta_sign_flag的编码单元的亮度编码树块尺寸和最小亮度编码块尺寸之间的差。diff_cu_qp_delta_depth的值应当在0至log2_diff_max_min_luma_coding_block_size的范围内，包括0和log2_diff_max_min_luma_coding_block_size。当不存在时，diff_cu_qp_delta_depth的值被推断为等于0。
变量Log2MinCuQpDeltaSize推导如下：
Log2MinCuQpDeltaSize＝CtbLog2SizeY-diff_cu_qp_delta_depth (7-36)
pps_cb_qp_offset和pps_cr_qp_offset规定了分别用于推导Qp′Cb和Qp′Cr的亮度量化参数Qp′Y的偏移。pps_cb_qp_offset和pps_cr_qp_offset的值应当在-12至+12的范围内，包括-12和+12。当ChromaArrayType等于0时，pps_cb_qp_offset和pps_cr_qp_offset不用于解码处理，并且解码器应当忽略它们的值。
pps_slice_chroma_qp_offsets_present_flag等于1指示语法元素slice_cb_qp_offset和slice_cr_qp_offset存在于相关联的条带报头中。pps_slice_chroma_qp_offsets_present_flag等于0指示这些语法元素不存在于相关联的条带报头中。当ChromaArrayType等于0时，pps_slice_chroma_qp_offsets_present_flag应当等于0。
7.4.7.1通用条带段报头语义
…
slice_qp_delta规定了将用于条带中的编码块的QpY的初始值，直到被编码单元层中的CuQpDeltaVal的值改变。条带的量化参数QpY的初始值SliceQpY推导如下：
SliceQpY＝26+init_qp_minus26+slice_qp_delta (7-54)
SliceQpY的值应当在-QpBdOffsetY至+63的范围内，包括-QpBdOffsetY和+63(而不是如该标准的当前版本的51)。
7.4.9.14增量QP语义
…
当存在cu_qp_delta_abs时，变量IsCuQpDeltaCoded和CuQpDeltaVal推导如下：
IsCuQpDeltaCoded＝1 (7-87)
CuQpDeltaVal＝cu_qp_delta_abs*(1-2*cu_qp_delta_sign_flag)(7-88)
CuQpDeltaVal的值应当在-(32+QpBdOffsetY/2)至+(31+QpBdOffsetY/2)的范围内，包括-(32+QpBdOffsetY/2)和+(31+QpBdOffsetY/2)，注意该标准的当前版本使用“26”而不是32、使用“25”而不是31。
8.6.1量化参数的推导过程
…
4.预测的亮度量化参数qPY_PRED推导如下：
qPY_PRED＝(qPY_A+qPY_B+1)＞＞1 (8-284)
变量QpY推导如下：
QpY＝((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffsetY)％(64+QpBdOffsetY))-QpBdOffsetY (8-285)
在以上两个位置上，该标准的当前版本都使用“52”而不是64。
亮度量化参数Qp′Y推导如下：
Qp′Y＝QpY+QpBdOffsetY (8-286)
当ChromaArrayType不等于0时，以下适用：
-变量qPCb和qPCr推导如下：
-如果tu_residual_act_flag[xTbY][yTbY]等于0，则以下适用：
qPiCb＝Clip3
(-QpBdOffsetC，69，QpY+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb) (8-287)
qPiCr＝Clip3(-QpBdOffsetC，69，QpY+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr) (8-288)
-否则(tu_residual_act_flag[xTbY][yTbY]等于1)，以下适用：
qPiCb＝Clip3(-QpBdOffsetC，69，QpY+PpsActQpOffsetCb+slice_act_cb_qp_offset+CuQpOffsetCb) (8-289)
qPiCr＝Clip3(-QpBdOffsetC，69，QpY+PpsActQpOffsetCr+slice_act_cr_qp_offset+CuQpOffsetCr) (8-290)
注意，在以上四个等式中，该标准的当前版本都使用“57”而不是69。
-如果ChromaArrayType等于1，则基于索引qPi分别等于qPiCb和qPiCr，将变量qPCb和qPCr设置为等于如表8-10中规定的QpC的值。
-否则，基于索引qPi分别等于qPiCb和qPiCr，将变量qPCb和qPCr设置为等于Min(qPi，63)。注意，该标准的当前版本使用“51”而不是63。
-Cb和Cr分量的色度量化参数Qp′Cb和Qp′Cr推导如下：
Qp′Cb＝qPCb+QpBdOffsetC (8-291)
Qp′Cr＝qPCr+QpBdOffsetC (8-292)
表8-10对于ChromaArrayType等于1将QpC规定为qPi的函数
qPi ＜30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 ＞43
Qp<sub>C</sub> ＝qPi 29 30 31 32 33 33 34 34 35 35 36 36 37 37 ＝qPi-6
8.7.2.5.3亮度块边缘的决策处理
…
变量qPL推导如下：
qPL＝((QpQ+QpP+1)＞＞1) (8-349)
变量β′的值是基于亮度量化参数Q如表8-12中所规定的来确定的，Q推导如下：
Q＝Clip3(0，63，qPL+(slice_beta_offset_div2＜＜1)) (8-350)
其中slice_beta_offset_div2是包含样点q0，0的条带的语法元素slice_beta_offset_div2的值。注意，该标准的当前版本使用“51”而不是63。
变量β推导如下：
β＝β′*(1＜＜(BitDepthY-8)) (8-351)
变量tC′的值是基于亮度量化参数Q如表8-12中所规定的来确定的，Q推导如下：
Q＝Clip3(0，65，qPL+2*(bS-1)+(slice_tc_offset_div2＜＜1))(8-352)
其中slice_tc_offset_div2是包含样点q0，0的条带的语法元素slice_tc_offset_div2的值。注意，该标准的当前版本使用“51”而不是63。
变量tC′的推导如下：
tC＝tC′*(1＜＜(BitDepthY-8)) (8-353)
表8-12从输入Q推导阈值变量β′和tC′
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
β′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 8
t<sub>C</sub>′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
Q 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
β′ 9 10 11 12 13 14 15 16 17 18 20 22 24 26 28 30 32 34 36
t<sub>C</sub>′ 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
Q 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56
β′ 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66- 68- 70 72 74
t<sub>C</sub>′ 5 5 6 6 7 8 9 10 11 13 14 16 18 20 22 24 26 28 30
Q 57 58 59 60 61 62 63 64 65
β′ 76 78 80 82 84 86 88 - -
t<sub>C</sub>′ 32 34 36 38 40 42 44 46 48
8.7.2.5.色度块边缘的滤波处理
…
如果ChromaArrayType等于1，则变量QpC是基于索引qPi如表8-10中所规定的来确定的，qPi推导如下：
qPi＝((QpQ+QpP+1)＞＞1)+cQpPicOffset (8-384)
否则(ChromaArrayType大于1)，则变量QpC被设置为等于Min(qPi，63)。
注释-根据滤波的色度分量是Cb或Cr分量，变量cQpPicOffset为pps_cb_qp_offset o或pps_cr_qp_offset的值提供了调整。然而，为了避免在图片内需要改变调整量，滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整，也不包括(当chroma_qp_offset_list_enabled_flag等于1时)对CuQpOffsetCb或CuQpOffsetCr的值得调整。
变量tC′的值是基于亮度量化参数Q如表8-12中所规定的来确定的，Q推导如下：
Q＝Clip3(0，65，QpC+2+(slice_tc_offset_div2＜＜1)) (8-385)
其中slice_tc_offset_div2是包含样点q0，0的条带的语法元素slice_tc_offset_div2的值。
注意，该标准的当前版本使用“51”而不是63，使用“53”而不是65。
9.3.2.2上下文变量的初始化过程
分配给pStateIdx和valMps的用于初始化的两个值是从SliceQpY中推推导的，从等式7-54推推导。给定变量m和n，初始化规定如下：
preCtxState＝Clip3(1，126，((m*Clip3(0，63，SliceQpY))＞＞4)+n)
valMps＝(preCtxState＜＝63)？0：1
pStateIdx＝valMps？(preCtxState-64)：(63-preCtxState)(9-6)
注意，该标准的当前版本使用“51”而不是63。
3.实施例解决的问题的示例
当条带QP大于16(大于或等于17)且CU中存在非零系数时，启用双边滤波器。这种设计存在以下问题：
当给定一定的块尺寸、编码方式(帧内或帧间)和QP时，当样点差较大时，滤波器参数会变小。尽管在阈值之后所有滤波器参数都将设置为0。对于小于阈值的样点差，在样点差和滤波器参数之间存在一对一映射。因此需要存储每个样点差的所有参数。存储器需求很大。
如何处理不同块可能使用不同QP的速率控制情况是未知的。
非局部双边滤波器的设计可以以较高的计算复杂度为代价获得较高的编码增益。对于每个样点，它需要使用函数
Figure BDA0002174613590000191
来计算3x3窗口中的平均样点差，如等式(13)所示。
使用3x3窗口中的当前样点与其相邻样点之间的平均样点差而不是直接使用两个样点差的动机是：可能会阻止一些噪声，以便获得更多的增益。然而，用相同权重处理所有样点差并未考虑位于3x3窗口中心的两个样点的重要性。
4.实施例的示例
下面详细的实施例应被视为解释一般概念的示例。这些实施例不应该被狭义地解释。此外，这些实施例可以任何方式组合。
需要注意的是，下面描述的方法可用于任何其他滤波处理，这些滤波处理需要依赖于量化参数/样点差的滤波器参数。
双边滤波器的使用
1.可以在序列参数集、图片参数集、条带报头/图片报头/CTU/CTB/CU
组中对启用/禁用双边滤波器的指示发信令。
a.在一个示例中，此外，双边滤波器的使用指示的信令可能进一步取决于编码块(编码单元)的最小尺寸、量化参数。
b.或者，在例如基于量化参数的某些条件下可以跳过该信令。例如，如果条带量化参数大于第一阈值，则可以跳过该信令。
c.或者，在例如基于量化参数的某些条件下可以跳过该信令。例如，如果条带量化参数小于第二阈值，则可以跳过该信令。
d.可以预先定义第一和/或第二阈值或在比特流中对其发信令。在一个示例中，第一阈值设置为18。
2.当选择的量化参数大于阈值时，建议自动地禁用双边滤波器。
a.在一个示例中，阈值是预先定义的或者在例如序列参数集、图片参数集、条带报头等中信令指示的。
3.是否应用以及如何应用双边滤波器可能取决于当前块的编码模式。
a.在一个示例中，对于使用基于子块的预测(如仿射预测或ATMVP)编码的CU，禁用双向滤波器。
b.双边滤波器参数可能进一步取决于一个块是否使用基于子块的预测方法、OBMC、多假设预测等进行编码。
c.在一个示例中，对于使用基于子块的预测(如仿射预测或ATMVP)编码的CU，双边滤波器更强。
d.在一个示例中，对于使用基于子块的预测(如仿射预测或ATMVP)编码的CU，双边滤波器较弱。
e.在一个示例中，对于使用OBMC预测的像素，双边滤波器较弱。
f.在一个示例中，对于使用多假设预测编码的CU，双边滤波器较弱。
QP的选择
4.双边滤波处理中用于参数推导的QP值可定义为：
a.图片级QP，例如，在与当前块相关联的PPS中信令通知的QP；
b.包含当前块的条带QP；
c.以前编码的块的QP的函数返回的值。
i.在一个示例中，该函数被定义为平均函数；
ii.在一个示例中，该函数被定义为线性函数，例如加权平均函数；
iii.在一个示例中，先前编码的块表示属于相同CTU/相同CTU行/相同条带的块；
iv.在一个示例中，先前编码的块覆盖了当前块的参考块。
为降低存储滤波器参数的存储器大小的样点差的量化
用SDiff表示样点差(可以是等式(1)中的||I(i，j)-I(k，l)||或等式(13)中的
Figure BDA0002174613590000211
5.为了减小存储双边滤波器中使用的相关(包括例如中间或最终)参数的表尺寸，从样点差(例如，等式(1)中的ω(i，j，k，l)，或在等式(12)中的Wk(x))中推导的参数的值不是一对一映射。也就是说，可以为两个或多个样点差分配相同的权重。
a.在一个示例中，相同的差异可以首先被量化，并且量化值被用作输入，以推导双边滤波器中使用的加权参数。
b.在一个示例中，可以应用线性量化方法。
i.在这种情况下，不使用SDiff作为输入，而是使用(SDiff/stepSize)作为输入，以推导双边滤波器参数。
ii.或者，将((SDiff+offset)/stepSize)用作输入，以推导双边滤波器参数。
iii.参数stepSize可以预先定义。
iv.参数stepSize可能取决于QP、块尺寸/形状/编码模式等。
c.在一个示例中，可以应用样点差的非线性量化方法。
i.在这种情况下，不使用SDiff作为输入，而是使用Quant(SDiff，stepSize)作为输入，以推导双边滤波器参数，其中函数Quant通过给定输入SDiff和stepSize返回量化值。
ii.或者，不使用SDiff作为输入，而是使用Quant(SDiff)作为输入，以推导双边滤波器参数，其中函数Quant通过给定输入SDiff返回量化值。
iii.参数stepSize可以预先定义。
iv.参数stepSize可能取决于QP、块尺寸/形状/编码模式/预测方法(如子块或非子块)/运动信息(如仿射运动或平移运动)/QP值等。
v.函数Quant可以预先定义。
vi.在一个示例中，为小绝对样点差设计更多的条目，并且为大绝对样点差设计更少的条目。
1.可替代的，此外，当样点差大于N或小于-M(N和M为正值)时，分配一个相同的权重。
2.变量N或M可能进一步取决于编码模式信息、块尺寸/块形状/预测方法(例如，子块或非子块)/运动信息(例如，仿射运动或平移运动)/QP值。
为了更高编码性能的不相等加权样点平均
6.在计算窗口内的样点差时，不使用相等加权，而是使用不相等加权平均。
a.在一个示例中，在等式(13)中的
Figure BDA0002174613590000221
可替换为：
Figure BDA0002174613590000222
b.在一个示例中，在等式(13)中的
Figure BDA0002174613590000223
可替换为：
Figure BDA0002174613590000224
c.在样点平均计算中使用的不相等权重(诸如WAk，m，WAm)可以是预先定义的。
i.在一个示例中，与m大于0时的其他WAm相比，m＝0时的WAm是最大的。
d.在样点平均计算中使用的不相等的权重(诸如WAk，m，WAm)可能进一步取决于QP、块尺寸/形状/编码模式等。
e.应当注意的是，这种方法可以应用于任何双边滤波器内核，例如，用样点平均代替样点差的等式(10)。
减少窗口尺寸以降低计算复杂度
7.不使用NxN(例如N＝3)窗口来计算样点平均差，而是仅使用NxN窗口内的部分样点。
a.在一个示例中，使用了NxN窗口中的四角样点和中心样点。图10描述了一个示例。并且以下适用：
i.等式(13)中的
Figure BDA0002174613590000231
可替换为
Figure BDA0002174613590000232
b.在一个示例中，另外，可以进一步应用第5条中描述的不相等的加权样点平均。例如：
i.等式(13)中的
Figure BDA0002174613590000233
可以替换为
Figure BDA0002174613590000234
ii.等式(13)中的
Figure BDA0002174613590000235
可以替换为
Figure BDA0002174613590000236
图9示出了双边滤波器推导中使用的部分样点。
c.在一个示例中，使用了NxN窗口中的中心样点的四个相邻样点和中心样点。图10描述了一个示例。并可以下适用：
i.等式(13)中的
Figure BDA0002174613590000237
可替换为
Figure BDA0002174613590000238
Figure BDA0002174613590000239
ii.等式(13)中的
Figure BDA00021746135900002310
可替换为
Figure BDA00021746135900002311
iii.等式(13)中的可替换为
Figure BDA0002174613590000241
d.在一个示例中，如何选择部分窗口取决于块尺寸、块形状、块QP或块模式。
图10示出了用于双边滤波器推导的部分样点的示例。
图11是视频处理装置1100的框图。装置1100可用于实施本文所述的一种或多种方法。装置1100可包含在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。设备1100可包括一个或多个处理器1102、一个或多个存储器1104和视频处理硬件1106。处理器1102可以配置为实现本文中描述的一种或多种方法。存储器1104可用于存储用于实现本文该方法和技术的数据和代码。视频处理硬件1106可用于在硬件电路中实现本文件所述的一些技术。
图13是视频比特流处理方法1300的流程图。方法1300包括确定(1305)视频数据的第一部分要经受双边滤波器，该确定基于包含序列参数集、图片参数集、条带报头、图片报头、编码树单元(CTU)、编码树块(CTB)或编码单元组(CU)的一个或多个中的信息；以及将双边滤波器应用(1310)于视频数据的第一部分。
图14是视频比特流处理方法1400的流程图。方法1400包括确定(1405)视频数据的第一部分与大于阈值量化参数(QP)的QP相关联；以及基于QP大于阈值QP的确定，确定(1410)第一部分不经受双边滤波器。
图15是视频比特流处理方法1500的流程图。方法1500包括确定(1505)视频数据第一部分的第一编码模式；以及基于第一编码模式应用(1510)双边滤波器。
参照方法1300、1400和1500，本文第4章节描述了一些双边滤波器及其使用的示例。例如，如第4章节所述，可以基于各种确定来确定是否将双边滤波器应用于视频数据的一部分。
参照方法1300、1400和1500，可以在视频比特流中对第一部分进行编码(或解码)，其中，可以通过使用与第一部分是否应经受双边滤波器相关的比特流生成规则来实现比特效率。
视频数据可以包括图片、条带、片或可用于提供视频内容的其他类型的数据。
该方法可包括：由处理器确定以下两个中的一个或两个：视频数据的第二部分的量化参数(QP)、或视频数据的第二部分的编码块(CB)或CU的最小尺寸；以及由处理器确定第二部分不经受双边滤波器，其中视频数据的第一部分将经受双边滤波器的确定基于以下确定中的一个或两个：QP、或CB或CU的最小尺寸，不经受双边滤波器指示跳过将双边滤波器应用于第二部分。
该方法可包括：由处理器确定与视频数据的第二部分相关的条带量化参数(QP)大于阈值；以及由处理器基于条带QP大于阈值确定第二部分不经受双边滤波器，不经受双边滤波器指示跳过将双边滤波器应用于第二部分。
该方法可包括：由处理器确定与视频数据的第二部分相关的条带量化参数(QP)小于阈值；以及由处理器基于条带QP小于阈值确定第二部分不经受双边滤波器，不经受双边滤波器指示跳过将双边滤波器应用于第二部分。
该方法可包括：其中阈值在与第二部分相关的比特流中提供，并且阈值为18。
该方法可包括：其中在序列参数集、图片参数集或条带报头的一个或多个中定义阈值QP。
该方法可包括：由处理器确定视频数据的第一部分的第一编码模式；以及基于第一编码模式应用双边滤波器。
该方法可包括：由处理器确定视频数据的第二部分的第二编码模式是基于子块的预测；以及由处理器基于第二编码模式是基于子块的预测的确定确定不将双边滤波器应用于第二部分。
该方法可包括：由处理器基于第一编码模式确定双边滤波器参数，其中，根据双边滤波器参数应用双边滤波器。
该方法可包括：其中第一编码模式包括基于子块的预测，并且其中双边滤波器的强度基于包括基于子块的预测的第一编码模式，该强度高于如果第一编码模式不包括基于子块的预测的强度。
该方法可包括：其中第一编码模式包括基于子块的预测，并且其中双边滤波器的强度基于包括基于子块的预测的第一编码模式，该强度低于如果第一编码模式不包括基于子块的预测的强度。
该方法可包括：其中第一编码模式包括重叠块运动补偿(OBMC)，并且其中双边滤波器的强度基于包括OBMC的第一编码模式，该强度低于如果第一编码模式不包括OBMC的强度。
该方法可包括，其中第一编码模式包括多假设预测，并且其中双边滤波器的强度基于包括多假设预测的第一编码模式，该强度低于如果第一编码模式不包括多假设预测的强度。
该方法可包括：其中双边滤波器的应用基于量化参数(QP)。
该方法可包括：其中QP基于包括第一部分的图片的图片级QP。
该方法可包括：其中QP基于包括第一部分的条带的条带QP。
该方法可包括：其中QP基于与在第一部分之前编码的其他部分的QP相关的函数的返回值。
该方法可包括：其中函数包括平均函数。
该方法可包括：其中函数包括线性函数。
该方法可包括：其中，在第一部分之前编码的其他部分与第一部分在相同编码树单元(CTU)、CTU行或条带内。
该方法可包括：其中，在第一部分之前编码的其他部分覆盖第一部分的参考部分。
该方法可包括：其中，双边滤波器的应用基于从非一对一映射的样点差(SDiff)推导出的参数的值，所述非一对一映射导致多个样点差被分配相同的权重。
该方法可包括：其中，对样点差进行量化以生成量化值，并且量化值用于确定包括相同权重的加权样点。
该方法可包括：其中双边滤波器的应用包括线性量化。
该方法可包括：其中从SDiff/stepSize中进一步推导出参数的值。
该方法可包括：其中stepSize是预定值。
该方法可包括：其中stepSize基于量化参数(QP)、块尺寸、块形状或编码模式的一个或多个。
该方法可包括：其中双边滤波器的应用包括非线性量化。
该方法可包括：其中从基于SDiff和StepSize提供量化值的量化函数中进一步推导出参数的值。
该方法可包括：其中从基于SDiff提供量化值的量化函数中进一步推导出参数的值。
该方法可包括：其中stepSize是预定的。
该方法可包括：其中stepSize基于以下一个或多个：量化参数(QP)、块尺寸、块形状、编码模式、预测方法或运动信息。
该方法可包括：其中量化函数是预定的。
该方法可包括：包含小绝对样点差比包含大绝对样点差的线性量化涉及更多的条目。
该方法可包括：基于样点差大于N或小于-M，将分配相同的权重，N和M为正值。
该方法可包括：其中N或M基于编码模式信息、块尺寸、块形状、预测方法、运动信息、或QP值中的一个或多个。
该方法可包括：其中双边滤波器的应用基于从具有不相等加权平均的样点差(SDiff)推导出的参数值。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000271
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000272
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中不相等加权平均基于预定的不相等权重。
该方法可包括：其中，m＝0时的WAm大于m＞0时的WAm。
该方法可包括：其中不相等加权平均基于不相等权重，不相等权重基于量化参数(QP)、块尺寸、形状或编码模式中的一个或多个。
该方法可包括：将该方法应用于任何双边滤波器内核。
该方法可包括：其中双边滤波器的应用基于NxN的并用于计算样点平均差的样点窗口。
该方法可包括：其中样点窗口基于中心样点和四角样点。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000281
其中Pk，m是相邻样点k的强度，并且M是样点值。
该方法可包括：其中，双边滤波器的应用基于从非一对一映射的样点差(SDiff)推导出的参数的值，所述非一对一映射导致多个样点差被分配相同的权重。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000282
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000283
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中双边滤波器的应用基于具有中心样点和中心样点的四个相邻样点的样点窗口。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000284
Figure BDA0002174613590000285
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000286
Figure BDA0002174613590000287
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中双边滤波器基于
Figure BDA0002174613590000288
Figure BDA0002174613590000289
其中Pk，m是相邻样点k的强度，WAk，m是相邻样点k的加权参数，并且M是样点值。
该方法可包括：其中部分样点窗口基于块尺寸、块形状、块QP或块模式中的一个或多个。
该方法可包括：其中双边滤波器包括其值取决于与相邻样点的距离的系数和相邻样点的值。
图16是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(1610)视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，该确定基于在序列参数集、图片参数集、条带报头、图片报头、编码树单元(CTU)、编码树块(CTB)或编码单元(CU)组中的一个或多个中信令通知的信息；以及基于该确定，将双边滤波器应用(1620)于视频数据的第一部分的重构表示。
图17是视频比特流处理方法的示例的流程图。该方法包括：由处理器基于比特流中信令通知的信息确定(1710)视频数据的第一部分与大于阈值量化参数(QP)的QP相关联；以及基于QP大于阈值QP的确定，确定(1720)第一部分的重构表示不经受双边滤波器，其中双边滤波器至少基于相邻样点的样点强度值。
图18是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(1810)视频数据的第一部分的第一编码模式和视频数据的第二部分的第二编码模式；以及基于第一编码模式将双边滤波器应用(1820)于视频数据的第一部分的重构表示，其中双边滤波器至少基于相邻样点的样点强度值。
图19是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(1910)视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，其中，视频数据的第一部分与量化参数(QP)相关联；以及基于QP将双边滤波器应用(1920)于视频数据的第一部分的重构表示。
图20是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(2010)视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的加权和(WSSDiff值)，其中多个样点强度差被分配相同的参数；以及将由一个或多个参数定义的双边滤波器应用(2020)于视频数据的当前样点的重构表示。
图21是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(2110)视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于当前样点和一个或多个相邻样点之间的样点强度差(SDiff值)，其中多个样点强度差被分配相同的参数；以及将由一个或多个参数定义的双边滤波器应用(2120)于视频数据的当前样点的重构表示。
图22是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(2210)视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差(SDiff)的加权和，其中多个样点强度差被分配不相等的权重；以及将由一个或多个参数定义的双边滤波器应用(2220)于视频数据的当前样点的重构表示。
图23是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(2310)视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配相同的权重；以及将由一个或多个参数定义的双边滤波器应用(2320)于视频数据的当前样点的重构表示。
图24是视频比特流处理方法的示例的流程图。该方法包括：由处理器确定(2410)视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配不相等的权重；以及将由一个或多个参数定义的双边滤波器应用(2420)于视频数据的当前样点的重构表示。
本文的一些实施例以如下基于条款的格式提供。这些实施例包括本文第4章节中的实施例1至7中所述技术的更多变型和方面。
A1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，该确定基于在序列参数集、图片参数集、条带报头、图片报头、编码树单元(CTU)、编码树块(CTB)或编码单元(CU)组中的一个或多个中信令通知的信息；以及
基于该确定，将双边滤波器应用于视频数据的第一部分的重构表示。
A2.根据条款A1所述的方法，还包括：
由处理器确定以下的一个或二者：视频数据的第二部分的量化参数(QP)，或视频数据的第二部分的编码块(CB)或CU的最小尺寸；以及
由处理器确定第二部分的重构表示不经受双边滤波器。
A3.根据条款A1至A2中任一项或多项所述的方法，其中视频数据的第一部分的重构表示将经受双边滤波器的确定基于视频数据的第一部分的QP、或CB或CU的最小尺寸。
A4.根据条款A2所述的方法，还包括：
由处理器确定与视频数据的第二部分相关的量化参数(QP)大于第一阈值；以及
基于QP大于第一阈值，由处理器确定第二部分的重构表示不经受双边滤波器。
A5.根据条款A2所述的方法，还包括：
由处理器确定与视频数据的第二部分相关的量化参数(QP)小于第二阈值；以及
基于QP小于第二阈值，由处理器确定第二部分的重构表示不经受双边滤波器。
A6.根据条款A1至A4中任一项或多项所述的方法，其中，在确定与视频数据的第二部分相关的QP大于第一阈值或与视频数据的第一部分相关的QP大于第一阈值时，不信令通知该信息。
A7.根据条款A1至A5中任一项或多项所述的方法，其中，在确定与视频数据的第二部分相关的QP小于第二阈值或与视频数据的第一部分相关的QP小于第二阈值时，不信令通知该信息。
A8.根据条款A4至A7中任一项或多项所述的方法，其中，在与第二部分相关的比特流中提供第一阈值，并且其中第一阈值为18。
B1.一种用于视频比特流处理的方法，包括：
由处理器基于比特流中信令通知的信息确定视频数据的第一部分与大于阈值量化参数(QP)的QP相关联；以及
基于QP大于阈值QP的确定，确定第一部分的重构表示不经受双边滤波器，其中双边滤波器至少基于相邻样点的样点强度值。
B2.根据条款B1所述的方法，其中在序列参数集、图片参数集或条带报头的一个或多个中定义阈值QP。
C1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的第一部分的第一编码模式和视频数据的第二部分的第二编码模式；以及
基于第一编码模式将双边滤波器应用于视频数据的第一部分的重构表示，其中双边滤波器至少基于相邻样点的样点强度值。
C2.根据条款C1所述的方法，其中双边滤波器的强度至少部分基于第一编码模式和/或第二编码模式。
C3.根据条款C2所述的方法，还包括：
基于第二编码模式是基于子块的预测的确定，由处理器确定视频数据的第二部分的重构表示不经受双边滤波器。
C4.根据条款C2所述的方法，其中第一编码模式包括基于子块的预测，其中第二编码模式不包括基于子块的预测，并且其中应用于视频数据的第一部分的重构表示的双边滤波器的强度高于应用于视频数据的第二部分的重构表示的双边滤波器的强度。
C5.根据条款C2所述的方法，其中第一编码模式包括基于子块的预测，其中第二编码模式不包括基于子块的预测，并且其中应用于视频数据的第一部分的重构表示的双边滤波器的强度低于应用于视频数据的第二部分的重构表示的双边滤波器的强度。
C6.根据条款C2所述的方法，其中第一编码模式包括重叠块运动补偿(OBMC)，其中第二编码模式不包括OBMC，并且其中应用于视频数据的第一部分的重构表示的双边滤波器的强度低于应用于视频数据的第二部分的重构表示的双边滤波器的强度。
C7.根据条款C2所述的方法，其中第一编码模式包括多假设预测，其中第二编码模式不包括多假设预测，并且其中应用于视频数据的第一部分的重构表示的双边滤波器的强度低于应用于视频数据的第二部分的重构表示的双边滤波器的强度。
C8.根据条款C2所述的方法，其中第一编码模式和第二编码模式包括帧内编码，其中视频数据的第一部分大于视频数据的第二部分，并且其中应用于视频数据的第一部分的重构表示的双边滤波器的强度低于应用于视频数据的第二部分的重构表示的双边滤波器的强度。
D1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的第一部分的重构表示将经受至少基于相邻样点的样点强度值的双边滤波器，其中，视频数据的第一部分与量化参数(QP)相关联；以及
基于QP将双边滤波器应用于视频数据的第一部分的重构表示。
D2.根据条款D1所述的方法，其中QP基于包含第一部分的图片的图片级QP。
D3.根据条款D1所述的方法，其中QP基于包含第一部分的条带的条带QP。
D4.根据条款D1所述的方法，其中QP基于与在第一部分之前编码的其他部分的QP相关的函数的返回值。
D5.根据条款D4所述的方法，其中该函数包括平均函数。
D6.根据条款D4所述的方法，其中该函数包括线性函数。
D7.根据条款D4所述的方法，其中在第一部分之前编码的其他部分与第一部分在相同编码树单元(CTU)、CTU行或条带内。
D8.根据条款D4所述的方法，其中在第一部分之前编码的其他部分覆盖第一部分的参考部分。
E1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的加权和(WSSDiff值)，其中多个样点强度差被分配相同的参数；以及
将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
E2.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于当前样点和一个或多个相邻样点之间的样点强度差(SDiff值)，其中多个样点强度差被分配相同的参数；以及
将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
E3.根据条款E1至E2的任一项或多项所述的方法，其中一个或多个相邻样点与当前样点相邻。
E4.根据条款E1至E2的任一项或多项所述的方法，其中一个或多个相邻样点与当前样点不相邻。
E5.根据条款E1所述的方法，其中第一窗口和/或第二窗口的尺寸为3x3。
E6.根据条款E1至E2的任一项或多项所述的方法，其中一个或多个参数对应于中间值。
E7.根据条款E1至E2的任一项或多项所述的方法，其中一个或多个参数对应于最终值。
E8.根据条款E1至E7的任一项或多项所述的方法，其中对WSSDiff或SDiff值进行量化以生成量化值，并使用量化值来确定一个或多个参数。
E9.根据条款E8所述的方法，其中生成量化值包括线性量化。
E10.根据条款E9所述的方法，其中一个或多个参数还基于比率WSSDiff/stepSize或SDiff/stepSize，其中WSSDiff是样点强度差的加权和，SDiff是样点强度差，并且stepSize定义为整数。
E11.根据条款E9所述的方法，其中一个或多个参数还基于比率(WSSDiff+offset)/stepSize或(SDiff+offset)/stepSize，其中WSSDiff是样点强度差的加权和，SDiff是样点强度差，offset定义为数字，stepSize定义为整数。
E12.根据条款E11所述的方法，其中offset定义为stepSize/2。
E13.根据条款E10至E12的任一项或多项所述的方法，其中stepSize为预定值。
E14.根据条款E10至E12的任一项或多项所述的方法，其中stepSize基于量化参数(QP)、块尺寸、块形状或编码模式中的一个或多个。
E15.根据条款E8所述的方法，其中生成量化值包括非线性量化。
E16.根据条款E15所述的方法，其中一个或多个参数还基于基于(WSSDiff，stepSize)或(SDiff，stepSize)生成量化值的量化函数。
E17.根据条款E15所述的方法，其中一个或多个参数还基于基于WSSDiff或SDiff生成量化值的量化函数。
E18.根据条款E16或E17所述的方法，其中stepSize是预定的。
E19.根据条款E16或E17所述的方法，其中stepSize基于量化参数(QP)、块尺寸、块形状、编码模式、预测方法或运动信息中的一个或多个。
E20.根据条款E16或E17所述的方法，其中量化函数是预定的。
E21.根据条款E1至E20的任一项或多项所述的方法，其中基于WSSDiff值或SDiff值大于N或小于-M，将分配相同的参数，N和M为正值。
E22.根据条款E21所述的方法，其中，相比较小WSSDiff或SDiff情况下，对应于相同的量化值的WSSDiff或SDiff值的数目，较大WSSDiff或SDiff情况下，对应于相同的量化值的WSSDiff或SDiff的数目更大。
E23.根据条款E21或E22所述的方法，其中N或M基于编码模式信息、块尺寸、块形状、预测方法、运动信息、或QP值中的一个或多个。
E24.根据条款E8至E23的任一项或多项所述的方法，其中至少一个量化值被用作预定义表的入口索引。
F1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差(SDiff值)的加权和，其中多个样点强度差被分配不相等的权重；以及
将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
F2.根据条款F1所述的方法，其中相邻样点与当前样点相邻。
F3.根据条款F1所述的方法，其中相邻样点与当前样点不相邻。
F4.根据条款F1至F3的任一项或多项所述的方法，其中第一窗口和/或第二窗口的尺寸为3x3。
F5.根据条款F1至F4的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000351
其中Pk，m和P0，m分别表示相邻样点k的以Pk，0和P0，0为中心的对应窗口内的第m个样点的强度值，WAk，m是相邻样点k的第m个样点的权重，并且M是窗口样点的总数。
F6.根据条款F1至F4的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000361
其中Pk，m和P0，m分别表示相邻样点k的以Pk，0和P0，0为中心的对应窗口内的第m个样点的强度值，WAm是第m个样点值的权重，并且对于所有相邻样点都相同，并且M是窗口样点的总数。
F7.根据条款F1至F6的任一项或多项所述的方法，其中不相等的权重是预定的。
F8.根据条款F1至F6的任一项或多项所述的方法，其中m＝0时的不相等的权重大于m＞0时的不相等的权重。
F9.根据条款F1至F6的任一项或多项所述的方法，其中不相等的权重基于量化参数(QP)、块尺寸、形状或编码模式中的一个或多个。
F10.根据条款F1至F6的任一项或多项所述的方法，其中不相等的权重适用于任何双边滤波器内核。
G1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配相同的权重；以及
将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
H1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，该一个或多个参数至少部分基于覆盖当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差的子集的加权和，其中多个样点强度差被分配不相等的权重；以及
将由一个或多个参数定义的双边滤波器应用于视频数据的当前样点的重构表示。
H2.根据条款G1至H1的任一项或多项所述的方法，其中子集基于第一窗口和第二窗口内的中心样点和围绕中心样点的四个样点。
H3.根据条款G1至H2的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000371
其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，并且N*N是第一和第二窗口的尺寸。
H4.根据条款G1至H2的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000372
其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，WAk，m是相邻样点k的第m个样点的权重，并且N*N是第一和第二窗口的尺寸。
H5.根据条款G1至H2的任一项或多项所述的方法，其中一个或多个参数表示为其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，WAk，m是相邻样点k的第m个样点的权重，并且N*N是第一和第二窗口的尺寸。
H6.根据条款G1至H1的任一项或多项所述的方法，其中子集基于中心样点和与中心样点相邻的四个样点。
H7.根据条款G1至H6的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000374
Figure BDA0002174613590000375
其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，并且N*N是第一和第二窗口的尺寸。
H8.根据条款G1至H6的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000376
Figure BDA0002174613590000377
其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，WAk，m是相邻样点k的第m个样点的权重，并且N*N是第一和第二窗口的尺寸。
H9.根据条款G1至H6的任一项或多项所述的方法，其中一个或多个参数表示为
Figure BDA0002174613590000381
Figure BDA0002174613590000382
其中Pk，m表示相邻样点k的以Pk，0为中心的窗口内第m个样点的强度值，WAk，m是相邻样点k的第m个样点的权重，并且N*N是第一和第二窗口的尺寸。
H10.根据条款G1至H6的任一项或多项所述的方法，其中样点强度差的子集基于块尺寸、块形状、块QP或块模式中的一个或多个。
I1.一种视频解码装置，包括处理器，其被配置为实现条款1至XX的一项或多项中所述的方法。
I2.一种视频编码装置，包括处理器，其被配置为实现条款1至XX的一项或多项中所述的方法。
I3.一种其上存储了计算机代码的计算机程序产品，当处理器执行该代码时，该代码使所述处理器实现条款1至XX的任一项中所述的方法。
I4.本文中描述的方法、装置或系统。
关于双边滤波器的定义，在一些实施例中，术语“权重”、“参数”和“加权参数”通常可以是同义词。在一些其他实施例中，权重可以解释为参数。也就是说，除了权重或加权参数外，双边滤波器还可以有其他参数。
应当理解的是，当被压缩的编码单元具有明显不同于传统方形块或半方形的矩形块的形状时，所公开的技术可以实施在视频编码器或解码器中，以提高压缩效率。例如，使用长或高编码单元(诸如4x32或32x4尺寸的单元)的新编码工具可能受益于所公开的技术。
图25是示出示例视频处理系统2500的框图，其中可以实施本文公开的各种技术。各种实现可能包括系统2500的部分或全部组件。系统2500可包括用于接收视频内容的输入2502。视频内容可以原始或未压缩格式接收，例如8位或10位多分量像素值，或者可以压缩或编码格式接收。输入2502可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口，以及诸如Wi-Fi或蜂窝接口的无线接口。
系统2500可包括编码组件2504，其可实现本文中所描述的各种编码或编码方法。编码组件2504可以降低从输入2502到编码组件2504的输出的视频的平均比特率，以产生视频的编码表示。因此，编码技术有时被称为视频压缩或视频转码技术。编码组件2504的输出可以被存储，也可以通过连接的通信进行传输，如组件2506所示。输入2502处接收的视频的存储或通信比特流(或编码)表示可由组件2508用于生成像素值或发送到显示接口2510的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编码”操作或工具，但应当理解的是，编码工具或操作被用于编码器处，并且逆向编码结果的相应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中所述的技术可实施在各种电子设备中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。
本文中公开的和其他描述的解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本文中所公开的结构及其结构等效体，或其中一个或多个的组合。公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即一个或多个编码在计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播信号是人为产生的信号，例如机器产生的电信号、光学信号或电磁信号，生成这些信号以对信息进行编码，以便传输到适当的接收装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本文中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光磁盘；以及CDROM和DVD-ROM光盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何实现或权利要求范围的限制，而应解释为对特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (14)

1.一种用于视频比特流处理的方法，包括：
由处理器确定视频数据的当前样点的重构表示将经受由一个或多个参数定义的双边滤波器，所述一个或多个参数至少部分基于覆盖所述当前样点的第一窗口和覆盖相邻样点的第二窗口之间的样点强度差(SDiff值)的加权和，其中多个样点强度差被分配不相等的权重；以及
将由所述一个或多个参数定义的所述双边滤波器应用于所述视频数据的所述当前样点的所述重构表示。
2.根据权利要求1所述的方法，其中所述相邻样点与所述当前样点相邻。
3.根据权利要求1所述的方法，其中所述相邻样点与所述当前样点不相邻。
4.根据权利要求1至3的任一项所述的方法，其中所述第一窗口和/或所述第二窗口的尺寸为3x3。
5.根据权利要求1至4的任一项所述的方法，其中所述一个或多个参数表示为
Figure FDA0002174613580000011
其中Pk,m和P0,m分别表示相邻样点k的以Pk,0和P0,0为中心的对应窗口内的第m个样点的强度值，WAk,m是相邻样点k的第m个样点的权重，并且M是窗口样点的总数。
6.根据权利要求1至4的任一项所述的方法，其中所述一个或多个参数表示为
Figure FDA0002174613580000012
其中Pk,m和P0,m分别表示相邻样点k的以Pk,0和P0,0为中心的对应窗口内的第m个样点的强度值，WAm是第m个样点值的权重，并且对于所有相邻样点都相同，并且M是窗口样点的总数。
7.根据权利要求1至6的任一项所述的方法，其中所述不相等的权重是预定的。
8.根据权利要求1至6的任一项所述的方法，其中m＝0时的所述不相等的权重大于m>0时的所述不相等的权重。
9.根据权利要求1至6的任一项所述的方法，其中所述不相等的权重基于量化参数(QP)、块尺寸、形状或编码模式中的一个或多个。
10.根据权利要求1至6的任一项所述的方法，其中所述不相等的权重适用于任何双边滤波器内核。
11.一种视频解码装置，包括处理器，其被配置为实现权利要求1至10的一项或多项中所述的方法。
12.一种视频编码装置，包括处理器，其被配置为实现权利要求1至10的一项或多项中所述的方法。
13.一种其上存储了计算机代码的计算机程序产品，当处理器执行所述代码时，所述代码使所述处理器实现权利要求1至10的一项或多项中所述的方法。
14.本文中描述的方法、装置或系统。
CN201910774518.3A 2018-08-21 2019-08-21 双边滤波器的不相等加权样点平均 Active CN110855985B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/101479 2018-08-21
CN2018101479 2018-08-21

Publications (2)

Publication Number Publication Date
CN110855985A true CN110855985A (zh) 2020-02-28
CN110855985B CN110855985B (zh) 2023-05-23

Family

ID=68104702

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201910774518.3A Active CN110855985B (zh) 2018-08-21 2019-08-21 双边滤波器的不相等加权样点平均
CN201910774461.7A Pending CN110855995A (zh) 2018-08-21 2019-08-21 双边滤波器的映射改进
CN201910774625.6A Active CN110855987B (zh) 2018-08-21 2019-08-21 用于在双边滤波器中的加权参数推导的量化差
CN201910774551.6A Active CN110855986B (zh) 2018-08-21 2019-08-21 双边滤波器的减小的窗口尺寸

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201910774461.7A Pending CN110855995A (zh) 2018-08-21 2019-08-21 双边滤波器的映射改进
CN201910774625.6A Active CN110855987B (zh) 2018-08-21 2019-08-21 用于在双边滤波器中的加权参数推导的量化差
CN201910774551.6A Active CN110855986B (zh) 2018-08-21 2019-08-21 双边滤波器的减小的窗口尺寸

Country Status (4)

Country Link
US (2) US11490081B2 (zh)
CN (4) CN110855985B (zh)
TW (4) TWI818065B (zh)
WO (4) WO2020039363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913099A (zh) * 2021-12-28 2022-08-16 天翼数字生活科技有限公司 视频文件处理的方法和系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818065B (zh) 2018-08-21 2023-10-11 大陸商北京字節跳動網絡技術有限公司 雙邊濾波器的減小的視窗尺寸
US11153563B2 (en) * 2019-03-12 2021-10-19 Qualcomm Incorporated Combined in-loop filters for video coding
EP4014503A1 (en) 2019-08-16 2022-06-22 Apple Inc. Adaptive bilateral filtering using look-up tables
US11303897B2 (en) * 2020-02-25 2022-04-12 Tencent America LLC Method and apparatus for signaling of chroma quantization parameters
IL296930A (en) * 2020-03-31 2022-12-01 Ericsson Telefon Ab L M Video processing using syntax elements
WO2021197447A1 (en) * 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
WO2021204137A1 (en) 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Clipping operation for reference picture wrap around
CN115428457A (zh) 2020-04-09 2022-12-02 抖音视界有限公司 基于颜色格式的自适应参数集的约束
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
EP3937492B1 (en) * 2020-07-07 2024-09-04 Google LLC Alpha channel post processing in image coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170800A1 (en) * 2007-01-16 2008-07-17 Ruth Bergman One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
CN105359526A (zh) * 2013-07-15 2016-02-24 高通股份有限公司 用于视频译码的跨层并行处理与偏移延迟参数
WO2018097700A1 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 필터링을 위한 방법 및 장치
US20180184127A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
US20180184126A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081836B2 (en) * 2008-06-20 2011-12-20 Mitsubishi Electric Research Laboratories, Inc. Method for filtering of images with bilateral filters and integral histograms
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
US10121231B2 (en) * 2016-02-01 2018-11-06 Texas Instruments Incorporated Adaptive bilateral (BL) filtering for computer vision
CN109792541A (zh) * 2016-10-05 2019-05-21 瑞典爱立信有限公司 用于视频译码的去振铃滤波器
EP3560204A4 (en) * 2016-12-23 2019-12-04 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING
WO2018134362A1 (en) * 2017-01-19 2018-07-26 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods
US20190082176A1 (en) * 2017-09-11 2019-03-14 Qualcomm Incorporated Non-local bilateral filter
TWI818065B (zh) 2018-08-21 2023-10-11 大陸商北京字節跳動網絡技術有限公司 雙邊濾波器的減小的視窗尺寸

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170800A1 (en) * 2007-01-16 2008-07-17 Ruth Bergman One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
CN105359526A (zh) * 2013-07-15 2016-02-24 高通股份有限公司 用于视频译码的跨层并行处理与偏移延迟参数
WO2018097700A1 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 필터링을 위한 방법 및 장치
US20180184127A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
US20180184126A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKSHAY GADDE 等: "JVET-K0384-v2，CE2.1.3: In-loop bilateral filter", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913099A (zh) * 2021-12-28 2022-08-16 天翼数字生活科技有限公司 视频文件处理的方法和系统

Also Published As

Publication number Publication date
US11490081B2 (en) 2022-11-01
TW202037161A (zh) 2020-10-01
TWI818063B (zh) 2023-10-11
TWI813741B (zh) 2023-09-01
CN110855987B (zh) 2023-03-10
TW202023284A (zh) 2020-06-16
CN110855987A (zh) 2020-02-28
CN110855995A (zh) 2020-02-28
US20210136368A1 (en) 2021-05-06
TW202025738A (zh) 2020-07-01
TWI818064B (zh) 2023-10-11
WO2020039363A1 (en) 2020-02-27
CN110855986A (zh) 2020-02-28
WO2020039364A1 (en) 2020-02-27
TWI818065B (zh) 2023-10-11
TW202027502A (zh) 2020-07-16
WO2020039365A1 (en) 2020-02-27
US11558610B2 (en) 2023-01-17
CN110855985B (zh) 2023-05-23
US20210144409A1 (en) 2021-05-13
WO2020039362A1 (en) 2020-02-27
CN110855986B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN110855987B (zh) 用于在双边滤波器中的加权参数推导的量化差
US10419765B2 (en) Method and apparatus for coding/decoding image
CN106464885B (zh) 块自适应颜色空间转换译码
CN115244924A (zh) 跨分量自适应环路滤波器的信令通知
WO2020228717A1 (en) Block dimension settings of transform skip mode
CN110839160B (zh) 扩展四叉树分割的强制边界分割
CN117336478A (zh) 视频编解码的自适应环内颜色空间变换的量化特性
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
CN114631313B (zh) 使用亮度差值的跨分量自适应环路滤波器
CN117256139A (zh) 视频编解码中的导向滤波器
CN115211118A (zh) 用于视频编解码的基于聚类的调色板模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant