CN117716690A - 自适应双边滤波器的使用条件 - Google Patents

自适应双边滤波器的使用条件 Download PDF

Info

Publication number
CN117716690A
CN117716690A CN202280045290.4A CN202280045290A CN117716690A CN 117716690 A CN117716690 A CN 117716690A CN 202280045290 A CN202280045290 A CN 202280045290A CN 117716690 A CN117716690 A CN 117716690A
Authority
CN
China
Prior art keywords
video
unit
filter
samples
bilateral filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280045290.4A
Other languages
English (en)
Inventor
尹文斌
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN117716690A publication Critical patent/CN117716690A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于处理视频数据的机制。该机制基于与样点相关的视频信息来确定是否应用双边滤波器来对视频单元中的样点进行滤波。基于双向滤波器和样点在可视媒体数据和比特流之间执行转换。

Description

自适应双边滤波器的使用条件
交叉引用
本专利申请要求由Wenbin Yin等人于2021年6月25日提交的题为“ConditionsFor Using Bilateral Filter In Video Coding”的国际申请第PCT/CN2021/102283号的权益，其通过引用并入本文。
技术领域
本专利文档涉及视频编解码技术。
背景技术
数字视频占据了因特网和其它数字通信网络上使用的最大带宽。随着能够接收和显示视频的所连接的用户设备的数目增加，对于数字视频使用的带宽需求可能继续增长。
发明内容
第一方面涉及一种用于处理视频数据的方法，包括：基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；以及基于所述双边滤波器来进行视觉媒体数据与比特流之间的转换。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当所述视频单元包括一个或多个不等于零的变换系数级别时，所述双边滤波器被应用于所述视频单元，以及其中当所述视频单元仅包括零变换系数级别时，所述双边滤波器不被允许。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当所述视频单元包含色彩分量时，所述双边滤波器被应用，以及其中当所述视频单元包含亮度分量时，所述双边滤波器不被允许。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当所述视频单元的量化参数(QP)大于QP阈值(TQP)时，所述双边滤波器被应用，以及其中当所述视频单元的QP小于或等于所述TQP时，所述双边滤波器不被允许。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当以下情况时所述双边滤波器被应用：所述视频单元的最小尺寸小于尺寸阈值(Tsize min)、所述视频单元的最大尺寸小于尺寸阈值(Tsize max)、所述视频单元的宽度和所述视频单元的高度小于阈值(Tsize both)、或者其组合。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当以下情况时所述双边滤波器被应用：所述视频单元的最小尺寸大于尺寸阈值(Tsize min)、所述视频单元的最大尺寸大于尺寸阈值(Tsize max)、所述视频单元的宽度和所述视频单元的高度大于阈值(Tsize both)、或者其组合。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当所述视频单元中的样点数目乘以因子(Fnum)大于阈值(Tnum)时，所述双边滤波器被应用。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供确定是否应用所述双边滤波器是基于所述视频单元的编解码模式信息进行的。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供确定是否应用所述双边滤波器是基于所述比特流中的语法元素进行的。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述语法元素指示所述双边滤波器是否被应用于条带中的视频单元。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述语法元素指示所述双边滤波器是否被应用于编解码树单元(CTU)中的视频单元。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述语法元素指示所述双边滤波器是否被应用于编解码单元(CU)中的视频单元。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述语法元素指示所述双边滤波器是否被应用于变换单元(TU)中的视频单元。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当所述双边滤波器被应用于视频单元时，所述语法元素被包括在所述比特流中，以及当不允许所述双边滤波器用于视频单元时，所述语法元素被从所述比特流中省略。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当以下情况时所述语法元素被从所述比特流中省略：当前CU的通道类型不等于亮度、当前CU的QP小于阈值(TCUQP)、所述当前CU的宽度和高度的最小值等于或大于尺寸阈值(TCUmin)、所述当前CU的所述宽度和所述高度中的最大值等于或大于尺寸阈值(TCUmax)、所述当前CU的所述宽度和所述当前CU的所述高度两者都等于或大于阈值(TCUboth)、或者其组合。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供当以下情况时所述语法元素被从所述比特流中省略：当前TU的通道类型不等于亮度、当前TU的QP小于阈值(TTUQP)、所述当前TU的宽度和高度中的最小值等于或大于尺寸阈值(TTUmin)、所述当前TU的编解码块标志(CBF)被设置为假、所述当前TU的所述宽度和所述高度中的最大值等于或大于尺寸阈值(TTUmax)、所述当前TU的所述宽度和所述当前TU的所述高度两者都等于或大于阈值(TTUboth)、或者其组合。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供仅当亮度样点自适应偏移(SAO)滤波器被启用、亮度双边滤波器被启用、CBF等于一、或者其组合时，所述语法元素被包括在所述比特流中以供色度分量。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述语法元素在视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)、图片标头、条带标头、或者其组合中用信号通知。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述转换包括将所述视觉媒体数据编码到所述比特流中。
可选地，在前述方面中的任何一项中，该方面的另一实现方式提供所述转换包括从所述比特流中解码所述视觉媒体数据。
第二方面涉及一种用于处理视频数据的装置，包括：处理器；以及其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器进行根据前述方面中的任何一项所述的方法。
第三方面涉及一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储指令，所述指令使得处理器进行根据方面中的任何一项所述的方法。
第四方面涉及一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储通过由视频处理装置进行的方法生成的视频的比特流，其中所述方法包括：基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；以及基于所述确定来生成所述比特流。
第五方面涉及一种用于存储视频的比特流的方法，包括：基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；
基于所述确定来生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。
为清晰起见，任何一个前述实施例可与任何一个或多个其他前述实施例相结合，在本发明的范围内形成新的实施例。
从以下结合附图和权利要求的详细说明中，可更清楚地理解这些和其他特征。
附图说明
为了更全面地理解本公开内容，现结合附图和详细说明，参考以下简要说明，其中相似的附图标记代表相似的部件。
图1是色度子采样的示例的示意图。
图2是示例帧内预测模式的示意图。
图3是应用于视频单元中的样点的示例双边滤波器的示意图。
图4是结合环路内滤波应用的示例双边滤波器的示意图。
图5是用于镜像填充的示例机制的示意图。
图6是用于扩展填充的示例机制的示意图。
图7是用于双边滤波器的示例滤波样式的示意图。
图8是示出示例视频处理系统的框图。
图9是示例视频处理装置的框图。
图10是用于视频处理的示例方法的流程图。
图11是图示示例视频编解码系统的框图。
图12是图示示例编码器的框图。
图13是图示示例解码器的框图。
图14是示例编码器的示意图。
具体实施方式
首先应理解，尽管下文提供了一个或多个实施例的说明性实施，但可使用任何数量的技术实施所公开的系统和/或方法，无论是当前已知的还是待开发的。本公开不应以任何方式限于以下示出的示例性实施方式、附图和技术，包括在此示出和描述的示例性设计和实施方式，而是可以在所附权利要求及其等同物的全部范围内进行修改。
本专利文件涉及视频编解码技术。具体而言，本文涉及图像/视频编码中的环路滤波器和其他编码工具。本文讨论的概念可以单独或以各种组合应用于任何视频编码标准和/或视频编解码器，例如高效视频编码(HEVC)和通用视频编码(VVC)。
本公开包括以下缩写。自适应色彩变换(ACT)，编解码图片缓冲器(CPB)，干净随机访问(CRA)，编解码树单元(CTU)，编解码单元(CU)，编解码视频序列(CVS)，经解码图片缓冲器(DPB)，解码参数集(DPS)，通用约束信息(GCI)，高效率视频编解码(也被称为Rec.ITU-TH.265|ISO/IEC 23008-2)(HEVC)，联合探索模型(JEM)，运动约束的片集合(MCTS)，网络抽象层(NAL)，输出层集合(OLS)，图片标头(PH)，图片参数集合(PPS)，轮廓、级和级别(PTL)，预测单元(PU)，参考图片重新取样(RPR)，原始字节序列有效负载(RBSP)，补充增强信息(SEI)，条带标头(SH)，序列参数集合(SPS)，视频编解码层(VCL)，视频参数集合(VPS)，视频可用性信息(VUI)，和通用视频编解码(也被称为Rec.ITU-T H.266|ISO/IEC 23090-3)(VVC)，VVC测试模型(VTM)，变换单元(TU)，编解码单元(CU)，去块滤波器(DF)，样点自适应偏移(SAO)，自适应环路滤波器(ALF)，编解码块标志(CBF)，量化参数(QP)，率失真优化(RDO)，和双边滤波器(BF)。
视频编解码标准主要通过国际电信联盟(ITU)电信标准化部门(ITU-T)和ISO/国际电工委员会(IEC)标准的发展来发展。ITU-T产出H.261和H.263，ISO/IEC产出运动图片专家组(MPEG)-1和MPEG-4视频，并且这两个组织共同产出H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)以及H.265/HEVC标准。自从H.262以来，视频编解码标准基于其中利用时间预测加变换编解码的混合视频编解码结构。为了探索HEVC以外的其他视频编解码技术，由视频编解码专家组(VCEG)和MPEG联合建立联合视频探索小组(JVET)。JVET已经采用了许多方法，并且将其引入到被称为联合探测模型(JEM)的参考软件中。与HEVC相比，JVET启动以50％比特率减少为目标的编解码标准。称为通用视频编解码(VVC)，并且与VVC测试模型相关联。由于存在有助于VVC标准化的持续努力，因此VVC利用附加技术不断更新。然后相应地更新VVC工作草案和测试模型VTM。
现在讨论色彩空间和色度子采样。色彩空间，也称为色彩模型(或色彩系统)，是一种数学模型，其将色彩范围描述为数字元组，诸如3或4个值或色彩分量(例如，红、绿和蓝)。色彩空间可以被看作是坐标系和子空间的细节。对于视频压缩，大多数视频编解码器采用亮度、蓝色差色度、红色差色度(YCbCr)以及红、绿、蓝(RGB)色彩空间。YCbCr、Y′CbCr、Y平行蓝(Pb)平行红(Pr)和Y′PbPr，也写为YCBCR或Y′CBCR，是在视频和数字摄影系统中用作彩色图像流水线一部分的色彩空间族。Y′是亮度分量，并且Cb和Cr是蓝色差和红色差色度分量。Y′(带有撇)不同于Y，Y是亮度，这意味着基于经伽马校正的RGB撇对光强进行非线性编码。
色度子采样是通过对色度信息实现比对亮度信息更低的分辨率来对图像编码的实践。这利用了人类视觉系统对于色差的敏锐度低于对于亮度的敏锐度。在4:4:4分量格式中，三个Y′CbCr分量中的每一个具有相同的样点比率(rate)，因此没有色度子采样。该方案有时被用于高端胶片扫描仪和电影后期制作。
图1是色度子采样的示例的示意图100。在4:2:2分量格式中，以亮度样点比率的一半对两个色度分量进行采样。具体地，水平色度分辨率减半，而竖直色度分辨率不变。这将未压缩视频信号的带宽减小三分之一并且几乎没有视觉差异。4:2:2色彩格式的标称竖直和水平位置的示例是示意图100。示意图100描绘了图片中4:2:2亮度和色度样点的标称竖直和水平位置。
在4:2:0格式中，与4:1:1相比，水平采样被加倍，但是在该方案中，Cb和Cr通道仅在每个交替线上被采样。因此，竖直分辨率减半。因此，数据比率是相同的。Cb和Cr均在水平和竖直方向上以因子二进行子采样。有三种4:2:0方案的变体，每种方案具有不同的水平和竖直位置。在MPEG版本2(MPEG-2)中，Cb和Cr是水平共位(co-sited)的。在该方案中，Cb和Cr在竖直方向上位于像素之间(间隙地位于像素之间)。
在联合摄影专家组(JPEG)、JPEG文件互换格式(JFIF)、H.261和MPEG-1中，Cb和Cr在交替的亮度样点之间的中间间隙地放置。在4:2:0数字视频(DV)中，Cb和Cr在水平方向上共位。在竖直方向上，它们共同位于交替线上。
表1：
如表1所示，色度子采样宽度(SubWidthC)和色度子采样高度(SubHeightC)值是从色度格式识别码(chroma_format_idc)和单独色彩平面标志(separate_colour_plane_flag)中导出的。现在讨论示例视频编解码器的编解码流。
现在参考图14。图14示出了在VVC中使用的编码器4600的示例。VVC包含三个环路内滤波块：去块滤波器(DF)、样点自适应偏移(SAO)和ALF。DF使用预定义的滤波器。SAO和ALF利用当前图片的原始样点来减小原始样点与重构样点之间的均方误差。这分别通过添加偏移和应用有限脉冲响应(FIR)滤波器来完成。还采用偏移和滤波器系数的编解码辅助信息信令通知。ALF位于每个图片的最后处理阶段，并且可以被认为是捕捉和修复由先前阶段产生的伪像的工具。
图2是示例帧内预测模式的示意图200。现在讨论帧内预测。为了捕捉在自然视频中呈现的任意边缘方向，定向帧内模式的数目从HEVC中的33个扩展到VVC中的65个。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。如示意图200中所示，在顺时针方向上从45度到-135度定义角度帧内预测方向。在VTM中，将若干角度帧内预测模式自适应地替换为用于非正方形块的广角帧内预测模式。在解析之后，替换的模式被发信号通知并且被重新映射到宽角度模式的索引。帧内预测模式的总数目为67并且未改变。此外，帧内模式编解码不变。
在HEVC中，每个经帧内编解码块具有正方形形状，并且每个边的长度是2的幂。因此，不使用除法操作来产生使用直流(DC)模式的帧内预测器。在VVC中，块可以具有矩形形状，其在一般情况下需要使用每块的除法运算。为了避免对于DC预测的除法运算，仅使用较长的边来计算非正方形块的平均值。
对于每个经帧间预测CU，包括运动运动向量、参考图片索引、参考图片列表使用索引和附加信息的运动参数被用于VVC中的经帧间预测样点生成。运动参数可以以显式或隐式方式用信号通知。当CU以跳过模式被编解码时，该CU与一个PU相关联，并且不具有显著的残差系数、不具有编解码的运动向量增量、以及不具有参考图片索引。指定合并模式，由此从相邻CU获得用于当前CU的运动参数。这包括空间和时间候选，以及在VVC中引入的附加调度。合并模式可以被应用于任何经帧间预测CU，并且不仅用于跳过模式。合并模式的备选方案是运动参数的显式传输。在这种情况下，为每个CU显式地用信号通知运动矢量、用于每个参考图片列表的对应参考图片索引、参考图片列表使用标志、以及其它信息。
现在讨论去块滤波器。去块滤波是视频编解码器中的环路内滤波器。在VVC中，对CU边界、变换子块边界和预测子块边界应用去块滤波处理。预测子块边界包括由基于子块的时间运动矢量预测(SbTMVP)和仿射模式引入的预测单元边界。变换子块边界包括由子块变换(SBT)和内部子分割(ISP)模式引入的变换单元边界，以及由于大CU的隐式分裂而引起的变换。去块滤波器的处理顺序被定义为首先对整个图片的竖直边缘进行水平滤波。这之后是对水平边缘的竖直滤波。该特定顺序使得能够在并行线程中应用多个水平滤波或竖直滤波过程。这种滤波仍然可以在CTB乘CTB的基础上仅以小的处理时延来实施。
现在讨论SAO滤波器。通过使用由编码器为每个CTB指定的偏移，将SAO应用于去块滤波器之后的重构信号。视频编码器首先作出关于SAO过程是否将被应用于当前条带的决定。如果SAO被应用于条带，则每个CTB被分类为如表2所示的五个SAO类型之一。SAO用于将像素分类为类别，并且通过向每个类别的像素添加偏移来减少失真。SAO操作包括边缘偏移(EO)，其使用边缘属性以用于SAO类型1到4中的像素分类。SAO还包括频带偏移(BO)，其使用像素强度以用于SAO类型5中的像素分类。每个适用CTB具有SAO参数，其包括SAO合并左标志(sao_merge_left_flag)、SAO合并上标志(sao_merge_up_flag)、SAO类型、以及四个偏移。如果sao_merge_left_flag等于1，则当前CTB重新使用SAO类型和CTB向左的偏移。如果sao_merge_up_flag等于1，则当前CTB重新使用SAO类型和上述CTB的偏移。表2是SAO类型的规范。
表2
SAO类型 要使用的样点自适应偏移类型 类别数目
0 无 0
1 1-D 0-度样式边缘偏移 4
2 1-D 90-度样式边缘偏移 4
3 1-D 135-度样式边缘偏移 4
4 1-D 45-度样式边缘偏移 4
5 频带偏移 4
现在讨论自适应环路滤波器。通过使用基于维纳(Wiener)的自适应滤波器，用于视频编解码的自适应环路滤波被用于最小化原始样点与经解码样点之间的均方误差。ALF位于每个图片的最后处理阶段，并且可以被认为是捕捉和校正来自先前阶段的伪像的工具。适当的滤波器系数由编码器确定，并且明确地用信号通知给解码器。为了实现特别是对于高分辨率视频的更好的编解码效率，通过将不同的滤波器应用于图片中的不同区域或块来对亮度信号使用局部自适应。除了滤波器自适应之外，编解码树单元(CTU)级别的滤波器开/关控制也有助于提高编解码效率。以语法方式，在被称为自适应参数集合的图片级别标头中发送滤波器系数。CTU的滤波器开/关标志在条带数据中在CTU级别被交织。这种语法设计不仅支持图片级别优化，而且实现低编码时延。
现在讨论双边图像滤波器。双边图像滤波器是在保持边缘结构的同时平滑噪声的非线性滤波器。双边滤波是一种使得滤波器权重不仅随着样点之间的距离而减小，而且随着强度差的增大而减小的技术。这样，可以改善边缘的过平滑。权重被定义为
其中Δx和Δy是在竖直和水平方向上的距离，并且ΔI是样点之间的强度差。边缘保持降噪双边滤波器对域滤波器和范围滤波器两者都采用低通高斯滤波器。域低通高斯滤波器给予空间上接近中心像素的像素较高的权重。范围低通高斯滤波器给予类似于中心像素的像素较高的权重。将范围滤波器和域滤波器组合，边缘像素处的双边滤波器变成沿边缘取向并且在梯度方向上大大减小的细长高斯滤波器。由于这个原因，双边滤波器可以在保持边缘结构的同时平滑噪声。
现在讨论视频编解码中的双边滤波器。双边滤波器充当与样点自适应偏移(SAO)滤波器并联的环路滤波器。双边滤波器和SAO都作用于相同的输入样点。每个滤波器产生偏移。然后，将这些偏移加到输入样点，以产生在限幅之后到达下一级的输出样点。空间滤波强度σd由块尺寸确定，其中较小的块被更强地滤波。强度滤波强度σr由量化参数确定。对于较高的QP使用较强的滤波。仅使用四个最接近的样点，因此滤波后的样点强度IF可以被计算为：
其中IC表示中心样点的强度，ΔIA＝IA-IC为中心样点与上方样点之间的强度差，以及ΔIB，ΔIL，andΔIR分别表示中心样点与下方样点、左侧样点和右侧样点之间的强度差。
以下是所公开的技术方案所解决的示例技术问题。
对于视频编解码中双边滤波器的示例设计具有以下问题。重构视频内的振铃伪像(ringing artifact)没有被环路内滤波器完全去除。这对于色度分量尤其如此。
本文公开了用以解决以上列出的一个或多个问题的机制。例如，本公开包括双通滤波器的各种示例，双通滤波器被配置为去除振铃伪像，并且因此改善环路内滤波过程的输出。在示例中，双边滤波器包括位于一组样点之上的滤波器形状。基于滤波器形状中的周围样点，将滤波器应用于中心样点。然后，将滤波器移位到不同的中心样点，直到整个视频单元(例如，TU、CTU、CU、CB等)被滤波。例如，中心样点的值可以由周围样点的值修改，该周围样点的值基于距离被加权并且由强度因子修改。双边滤波器可以被应用于亮度分量、色度分量或两者。此外，在一些示例中，当滤波对应的色度分量时，基于滤波器的改变和/或与亮度分量相关的信息可以被用作输入。
在另一示例中，双边滤波器可以被配置为基于与图片相关的统计信息而改变的自适应双边滤波器。例如，可以基于统计信息将视频单元分组在一起，并且可以例如通过采用不同的参数将双边滤波器不同地应用于每个视频单元组。在示例中，可以基于视频单元类别索引、单元平均值、方差、尺寸或其组合来选择视频单元组。在另一示例中，可以将图片中的样点分组为样点组(例如，与视频单元无关)，并且可以例如通过采用不同的参数将双边滤波器不同地应用于每个样点组。在示例中，可以基于通过比较窗口内的样点而确定的统计信息来选择样点组。例如，这种统计信息可以包括平均值、方差、最小梯度、最大梯度、平均梯度或其组合。双边滤波器还可以被应用在相对于其它环路内滤波器的各种位置。
在另一示例中，各种视频信息可以被用于确定是否及如何将双边滤波器应用于样点。例如，可以基于与视频单元相关的项目(诸如变换系数级别的数目、色彩分量、相对于阈值的量化参数(QP)、相对于阈值的最小或最大尺寸、相对于阈值的样点数目、视频单元的编解码模式、或其组合)来有条件地应用双边滤波器。在另一示例中，可以基于比特流中的语法元素有条件地应用双边滤波器。语法元素可以指示双边滤波器是否被应用于编解码树单元(CTU)、编解码单元(CU)和/或变换单元(TU)。在一些示例中，可以从比特流中省略语法元素，并且解码器可以推断在某些情况下不应用双边滤波器。例如，当以下情况时可以省略语法元素：当前视频单元的通道类型不等于亮度(luma)、当前视频单元的QP小于阈值、当前视频单元的宽度和高度的最小值等于或大于尺寸阈值、当前视频单元的宽度和高度的最大值等于或大于尺寸阈值、当前视频单元的宽度和高度均等于或大于阈值、或其组合。在另一示例中，当以下情况时语法元素可以仅被包括在用于色度分量的比特流中：启用亮度样点自适应偏移(SAO)、启用亮度双边滤波器，编解码块标志(CBF)等于一、或其组合。
图3是应用于视频单元316中的样点310的示例双边滤波器312的示意图300。样点310是像素值。视频编解码过程将像素值划分成色彩空间，诸如YCrCb和/或RGB。因此，根据上下文，样点310可以包括来自像素的亮度分量(光值)、像素的色度分量(色彩值)、或两者。样点310可以被分割为各种视频单元316，诸如序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、预测块(PB)、变换块(TB)、和/或前述任一者的色彩分量。例如，样点310可以被划分为CTU，CTU可以被分割为块，块是可以包括CU、PU、PB、TB、TU等的通用术语。然后，通过参考一个或多个参考块，通过帧内预测和/或帧间预测对每个当前块进行编解码。预测过程不对参考块与当前块之间的任何差进行编解码。这种差被称为残差。可以应用变换来压缩残差。此外，可以量化残差，这进一步压缩残差但丢失数据。在编码器处，然后对块进行解码和重构以用作后续图片的参考块。在解码器处，对块进行解码和重构以用于显示。在任一情况下，基于块的编解码方案通常产生伪像，当重构样点310时，伪像是样点值中的误差。可以应用滤波器来减轻这种伪像。例如，滤波器可以被设计为调整样点310的值，以便抵消预期和/或观测到的编解码误差。例如，滤波器可以一致地应用于所有样点和/或可以在某些条件发生时应用。在另一示例中，编码器可以重构视频单元，检查视频单元的错误，确定应用滤波器，以及随后经由比特流向解码器发信号通知滤波器使用。
本公开具体涉及双边滤波器312。双边滤波器312被设计为处理由变换和量化过程创建的伪像，诸如振铃伪像。振铃伪像是出现在诸如块边缘的转变点处的伪信号。振铃伪像可以表现为沿块边缘的额外频带。额外频带是实际边缘的回波。双边滤波器将计算应用于样点310以校正这种伪像。
在示例中，双边滤波器312位于第i个中心样点(IC)周围，并且包括围绕该中心样点的若干样点。双边滤波器312对中心样点进行滤波，然后可以将其移动到另一中心样点。可以重复该过程，直到包含样点310的整个视频单元316被滤波。在示例中，双边滤波器312包括基于对应的周围样点与中心样点之间的距离以及周围样点和中心样点的强度差而变化的滤波器权重。在示例中，根据以下应用双边滤波器312：
其中Ifiltered是更新的样点值，IC是位于滤波器形状的中心的中心样点，e是强度因子，μ(Δi，Ωi)是用于确定滤波器形状中的位置处的每个周围样点的滤波权重的函数，Δi是第i个周围样点和中心样点之间的差，Ωi是第i个周围样点与中心样点之间的竖直和水平距离的和，并且n是滤波器形状中的样点的总数目。
此外，可以如下为每个第i个样点制定μ(Δi，Ωi)：
其中σd和σr是滤波参数，Δ是第i个周围样点与中心样点之间的差，并且Ω是第i个周围样点与中心样点之间的竖直和水平距离的和。在示例中，σd和σr基于与当前块/视频单元相关的编解码模式、尺寸或编解码信息设置。在示例中，e基于当前块的宽度和高度来设置。在示例中，e基于以亮度样点表示的当前块的最大尺寸(表示为max(widthluma，heightluma))、以亮度样点表示的当前块的最小尺寸(表示为min(widthluma，heightluma))、以色度样点表示的当前块的最大尺寸(表示为max(widthchroma，heightchroma))、以色度样点表示的当前块的最小尺寸(表示为min(widthchroma，heightchroma))或其组合来设置。
在示例中，双边滤波器312基于偏移进行操作。偏移可以是由滤波器引起的样点310的变化。因此，双边滤波器为每个样点310生成偏移。在示例中，亮度样点的偏移可以用作滤波色度样点的输入。在另一示例中，与亮度样点相关的局部信息可以被用作滤波色度样点的输入。局部信息可以包括样点之间的差和/或样点之间的距离。在另一示例中，与亮度样点相关的统计信息可以被用作滤波色度样点的输入。这样的统计信息可以包括均值、方差、块尺寸等。以类似的方式，与参考图片中的参考样点相关的偏移和/或局部信息可以用作输入以滤波当前图片中的样点310。
在示例中，可以通过在编码器和解码器处进行计算来应用双边滤波器312。例如，编码器和/或解码器可以进行比特移位操作以计算对样点310的改变和/或偏移。在另一示例中，双边滤波器312可以被实施为针对每个样点310引用的查找表。
在示例中，双边滤波器312可以不同地应用于不同的分量。例如，当滤波亮度分量时，双边滤波器312可以采用与滤波色度分量时不同的参数、滤波器形状、计算等。此外，双边滤波器312被描绘为采用菱形形状，但是可以采用许多滤波器形状，诸如正方形形状、十字形形状、菱形形状、对称形状、非对称形状、或其组合。在示例中，双边滤波器312被应用于重构样点310。在其他示例中，通过将残差添加到预测，在重构之前将双边滤波器312应用于预测样点。
在示例中，可以基于与视频单元316相关的编解码信息来修改双边滤波器312的操作。编解码信息可以包括编解码模式、运动信息、视频单元316的维度(dimension)、QP、样点310值、与样点310值相关的变量、或其组合。在示例中，双边滤波器312采用均值、方差、视频单元316维度、或其组合来生成经滤波的亮度样点或经滤波的色度样点。应当注意，在一些示例中，可以在未填充状态下滤波样点310。在其它示例中，视频单元中的样点310可以在滤波之前被填充，例如如下文所讨论的。
在示例中，双边滤波器312被配置为自适应地应用于不同的图片区域。例如，可以基于统计信息对各种类型的图片数据进行分组。然后可以将双边滤波器312应用于每个组314。例如，当滤波不同的组314时，双边滤波器312可以使用不同的参数。组314取决于示例可以是视频单元组或样点组。例如，可以基于与视频单元316相关的统计信息将一个或多个视频单元316放置在组314中。在这种情况下，组314可以被称为视频单元组。在另一示例中，可以基于与视频单元316相关的统计信息将样点310置于组314中。在这种情况下，该组可以被称为样点组。
当组314是视频单元组时，统计信息可以包括根据以下计算的视频单元的类索引：
indexunit＝0when(0≤infounit＜T1)
…
indexunit＝Nunit-2when(TN-2≤infounit＜TN-1)
indexunit＝Nunit-1when(TN-1≤infounit)
其中indexunit是视频单元的类索引，[T1，T2，...TN-1]是阈值集合，并且infounit是方差或单元平均值。
在另一示例中，该统计信息可以包括根据以下计算的视频单元的类索引：
其中indexunit是视频单元的类索引，infounit是方差或单元平均值，Tunit_class是固定阈值，并且其中0≤indexunit＜Nunit。
在另一示例中，统计信息可以包括根据以下计算的视频单元的单元平均值：
S＝wunit×hunit
其中i是视频单元内部的位置，pi是位于位置i处的样点，s是视频单元的尺寸，wunit是视频单元的宽度，hunit是视频单元的高度，并且meanunit是单元平均值。
在另一示例中，统计信息可以包括根据以下计算的视频单元的方差：
其中i是视频单元内部的位置，pi是位于位置i处的样点，s是视频单元的尺寸，meanunit是单元平均值，corrunit是视频单元中的样点值之间的相关性，并且varunit是视频单元的方差。
在另一示例中，统计信息可以包括视频单元316的宽度、视频单元316的高度、或其组合。
当组314是样点组时，统计信息可以被包含在样点310周围的窗口内。例如，窗口内的统计信息可以包括平均值、方差、最小梯度、最大梯度、平均梯度、或其组合。此外，窗口可以是各种窗口形状，诸如正方形形状、十字形状、菱形形状、对称形状、非对称形状、或其组合。
在另一示例中，双边滤波器312被应用于样点310的子块。子块可以是视频单元316的指定区域。在示例中，与第一子块相关的滤波结果被用于滤波第二子块的样点。在另一示例中，与第一子块相关的未滤波样点被用于对第二子块的样点进行滤波。
在示例中，可以基于与样点310相关的各种视频信息来确定是否应用双边滤波器312。例如，可以基于编解码信息来确定是否应用双边滤波器312，该编解码信息可以包括变换系数、色彩分量、QP、视频单元316尺寸和/或尺寸、视频单元316中的样点数目和/或编解码模式信息，诸如帧内模式、帧间预测模式、合并标志/索引、仿射标志、运动向量、参考索引、或其组合。
在示例中，当视频单元316包括一个或多个不等于零的变换系数级别时，将双边滤波器312应用于视频单元316，而当视频单元316仅包括零变换系数级别时，不允许双边滤波器312。在示例中，当视频单元316包含色彩分量时应用双边滤波器312，并且当视频单元316包含亮度分量TQP时不允许双边滤波器312。在示例中，当视频单元316的QP大于QP阈值()时应用双边滤波器312，并且当视频单元316的QP小于或等于TQP时不允许双边滤波器312。在示例中，当以下情况时应用双边滤波器312：视频单元316的最小尺寸小于尺寸阈值(Tsize min)、视频单元316的最大尺寸小于尺寸阈值(Tsize max)、视频单元316的宽度和视频单元316的高度小于阈值(Tsize both)、或其组合。在另一示例中，当以下时应用双边滤波器312：视频单元316的最小尺寸大于尺寸阈值(Tsize min)、视频单元316的最大尺寸大于尺寸阈值(Tsize max)、视频单元316的宽度和视频单元316的高度大于阈值(Tsize both)、或其组合。在另一示例中，当视频单元316中的样点310的数目乘以因子(Fnum)大于阈值(Tnum)时应用双边滤波器312。
在示例中，可以基于在比特流中用信号通知的语法元素来确定是否应用双边滤波器312。例如，语法元素可以指示双边滤波器312是否应用于条带、CTU、CU和/或TU。语法元素可以被包括在视频参数集合(VPS)，序列参数集合(SPS)、图片参数集合(PPS)、自适应参数集合(APS)、条带标头、图片标头等中。
在示例中，当将双边滤波器312应用于视频单元316时，语法元素可以被包括在比特流中，并且当不允许双边滤波器312用于视频单元316时，语法元素可以从比特流中省略。在示例中，当以下情况时语法元素可以从比特流中省略：当前CU的通道类型不等于亮度、当前CU的QP小于阈值(TCUQP)、当前CU的宽度和高度的最小值等于或大于尺寸阈值(TCUmin)、当前CU的宽度和高度的最大值等于或大于尺寸阈值(TCUmax)、当前CU的宽度和当前CU的高度两者都等于或大于阈值(TCUboth)、或其组合。在另一示例中，当以下情况时语法元素可以从比特流中省略：当前TU的通道类型不等于亮度、当前TU的QP小于阈值(TTUQP)、当前TU的宽度和高度的最小值等于或大于尺寸阈值(TTUmin)、当前TU的编解码块标志CBF被设置为假、当前TU的宽度和高度的最大值等于或大于尺寸阈值(TTUmax)、当前TU的宽度和当前TU的高度都等于或大于阈值(TTUboth)、或其组合。在示例中，当亮度SAO被启用、亮度双边滤波器被启用、CBF等于一、或其组合时，语法元素可以仅被包括在比特流中以用于色度分量。
图4是结合环路内滤波应用的示例双边滤波器420的示意图400。环路内滤波器410可以包括去块滤波器(DF)412、样点自适应偏移(SAO)滤波器416、和自适应环路滤波器(ALF)418。这种滤波器可以以示意图400所示的顺序应用于视频单元。例如，可以重构视频单元。在SAO滤波器416之前应用DF 412。在SAO滤波器416之后应用ALF 418。DF 412、SAO滤波器416和ALF 418如上面所讨论的。本公开涉及双边滤波器420，其可以如关于示意图300所讨论的那样操作。如图所示，双边滤波器420可以被应用于环路内滤波器410内的各种位置。双边滤波器420也可以在应用环路内滤波器410之前或在应用环路内滤波器410之后应用。双边滤波器420的可能位置被表示为位置A-G。
在位置A，可以在环路内滤波之前应用双边滤波器420。例如，可以在应用残差之前将双边滤波器420应用于预测结果以创建经重构样点。双边滤波器420也可以作为环路内滤波器410的一部分被应用在位置B，并且在DF 412之前。双边滤波器420也可以被应用在DF412之后和SAO滤波器416之前的位置C。双边滤波器420也可以被应用在SAO滤波器416之后和ALF 418之前的位置D。双边滤波器420也可以被应用在ALF 418之后的位置E。双边滤波器420也可以被应用在位置G，其与DF 412、SAO滤波器416和/或ALF 418中的任何项并行。例如，双边滤波器和第二滤波器可以被应用于相同的样点。双边滤波器420可以产生第一偏移，第二滤波器可以产生第二偏移，并且双边滤波器420可以基于第一偏移和第二偏移来产生输出样点。双边滤波器420也可以作为环路内滤波器410的一部分被应用在位置E，并且在ALF 418之后。此外，双边滤波器420也可以被应用在位置F，其是在环路内滤波完成之后。例如，可以在应用环路内滤波器410之后的后处理阶段中应用双边滤波器420。
为了解决上述问题和其它问题，公开了如下概述的方法。这些项目应当被认为是解释一般概念的示例，而不应当以狭义的方式来解释。此外，这些项目可以单独应用或以任何方式组合应用。应当注意，所提出的方法可以被用作环路内滤波器或后处理。
示例1
在示例中，双边滤波器(BF)可以应用于一个或多个色彩分量。在示例中，当BF被应用于不同的分量时，BF可以采用不同的滤波方法(例如，不同的参数、不同的滤波器形状等)。在另一示例中，当被应用于不同分量时，BF可以采用相同的滤波方法。在一个示例中，当被应用于亮度分量时，BF可以采用第一滤波方法。当被应用于两个色度分量时，BF然后可以采用第二滤波方法，并且第二滤波方法对于两个色度分量可以是相同的。
示例2
在一个示例中，双边滤波器可以被用于进一步修改视频单元的重构色度样点/像素。
示例3
在一个示例中，视频单元的经重构亮度或色度样点/像素的修改可以取决于一个或多个区域的编解码信息或经设计滤波器形状。这样的区域或滤波器形状包含至少一个重构的亮度或色度样点/像素。
示例4
编解码信息可以包括任何编解码模式或运动信息，诸如帧内预测模式、参考列表/索引、运动向量等。编解码信息可以包括视频单元的尺寸。编解码信息可以包括QP。编解码信息可以包括样点值或基于样点值导出的任何变量。当BF滤波第二色彩分量时，可以使用第一色彩分量的编解码信息。例如，亮度分量的编解码信息可以由BF用于滤波Cb或Cr分量。
示例5
在一个示例中，BF可以使用编解码/统计信息(例如，均值/方差/块尺寸)来生成经滤波的亮度或色度样点/像素。在一个示例中，可以从视频单元内的亮度样点/像素生成编解码/统计信息。在一个示例中，可以从视频单元内的色度样点/像素生成编解码/统计信息。
示例6
在一个示例中，BF的经设计滤波器形状可以是正方形、菱形、或其它形状。在一个示例中，滤波器形状可以是正方形。在一个示例中，滤波器形状可以是十字形。在一个示例中，滤波器形状可以是菱形。在一个示例中，滤波器形状可以是对称的。在一个示例中，滤波器形状可以是非对称的。在一个示例中，滤波器形状的指示可以是信号通知的、预定义的、或即时导出的。例如，可以用信号通知索引以指示来自候选形状集合的滤波器形状。在一个示例中，经设计的滤波器形状的尺寸可以是预定义的、信号通知的、即时导出的、或基于经解码信息导出的。
示例7
在一个示例中，当滤波亮度或色度样点/像素时，BF可以利用编解码/统计信息。在一个示例中，BF可以根据以下公式生成滤波结果：
其中Ifiltered表示更新/修改的亮度或色度样点/像素，并且IC表示位于滤波形状中心的未修改的亮度或色度样点/像素。delta(Δ)表示对应的参考样点与未修改的中心样点之间的差。omega(Ω)表示参考样点与中心样点之间的竖直和水平距离之和。n代表滤波形状内的样点总数目，并且e代表强度因子。μ(Δ，Ω)是用于计算滤波形状中每个位置的滤波权重的函数。
示例8
在一个示例中，函数μ(Δ，Ω)可以被公式化为：
其中σd和σr是两个滤波参数，其它参数如上所讨论。在一个示例中，函数μ(Δ，Ω)可以通过查找表来实施。
示例9
在一个示例中，视频单元内的不同样点或不同位置可以使用统一参数或查找表。在一个示例中，视频单元内的不同样点或不同位置可以使用不同参数或查找表。在一个示例中，诸如σd和σr参数的可以是预定义的、搜索的、即时确定的、或在比特流中用信号通知的。
示例10
在一个示例中，可以基于编解码模式、尺寸或描述当前视频单元的其它编解码信息来设置上述参数。在一个示例中，上述参数可以从编码器用信号发送到解码器。在一个示例中，参数e可以是预定义的、搜索的、即时确定的、或在比特流中用信号通知的。在一个示例中，可以基于编解码模式、尺寸或描述当前视频单元的其它编解码信息来设置参数e。在一个示例中，可以基于当前视频单元的亮度尺寸来设置参数e。在一个示例中，可以基于当前视频单元的最大亮度尺寸(由e表示)或最小亮度尺寸(由max(widthluma，heightluma)表示)来设置参数min(widthluma，heightluma)。在一个示例中，可以基于以亮度样点(由e表示)的当前视频单元的尺寸来设置参数widthluma×heightluma。在另一示例中，可以基于当前视频单元的色度尺寸来设置参数e。在一个示例中，可以基于由e表示的最大色度尺寸或由max(widthchroma，heightchroma)表示的最小色度尺寸来设置参数min(widthchrom，heightchroma)。在一个示例中，可以基于以色度样点(由e表示)的当前视频单元的尺寸来设置参数widthchroma×heightchroma。在一个示例中，可以将参数e从编码器发信号通知到解码器。
示例11
在一个示例中，色度样点的滤波偏移可以基于亮度样点的滤波偏移或亮度样点的信息来生成。在一个示例中，色度样点的滤波偏移可以通过将色度和亮度样点的所计算的滤波偏移与加权和方法相结合来计算。在一个示例中，色度样点的滤波偏移可以通过使用亮度样点的局部信息来生成，诸如对应的亮度样点之间的差或距离。在一个示例中，由BF滤波的亮度或色度样点可以被用于更新视频单元的重构亮度或色度样点和/或残差。
示例12
在一个示例中，如上所描述的BF滤波处理可以通过对整数的操作来实施。例如，变量可以在处理之前、期间和/或之后被左移和/或右移，以保持适当的计算精度。
示例13
在示例中，可以在色度样点的BF滤波期间使用亮度样点。
示例14
在示例中，可以采用BF交叉图片滤波方法，其中滤波过程可以取决于不同图片中的样点。
示例15
在一个示例中，可以在滤波过程之前和/或之后填充视频单元。在一个示例中，可在边界位置处用Npad(例如，Npad＝2)样点填充视频单元。
示例16
在一个示例中，是否填充和/或如何填充样点/像素可以取决于相邻样点/像素是否已经在不同条带、片、砖块和/或子图中被解码。
示例17
在一个示例中，当相邻样点/像素已经被解码时，可以使用经解码相邻样点/像素来填充相邻样点/像素。在示例中，当相邻样点/像素未被解码时，可以使用预定义的值来填充。
示例18
在一个示例中，可以使用扩展和/或镜像填充。在这种情况下，填充样点/像素来自当前视频单元而不是来自相邻样点/像素。
示例19
在一个示例中，视频单元的边界样点可以由镜像函数填充。例如，当边界样点是[a,b,c]时，填充的样点可以是[c,b,a,b,c]，如下所示。
图5是用于镜像填充的示例机制的示意图500。在图500中，圆圈描绘视频单元内部的样点并且方块描绘视频单元外部的经填充样点。如图所示，基于视频单元内部的样点b、c、d和e生成视频单元外部的填充样点b、c、d和e。因此，在一个示例中，视频单元的边界样点可以由如图500中所示的镜像函数填充。
在一个示例中，可以通过扩展函数来填充视频单元的边界样点。例如，当边界样点是[a,b,c]时，填充的样点可以是[b,c,a,b,c]，如下所示。
图6是用于扩展填充的示例机制的示意图600。在图600中，圆圈描绘视频单元内部的样点并且方块描绘视频单元外部的经填充样点。如图所示，基于视频单元内部的样点b、c、d和e生成视频单元外部的填充样点b、c、d和e。图500与图600之间的差别在于，在图500中，样点被镜像在样点a周围，而在图600中，样点从样点a的一侧复制并且以相同的顺序被包括在样点a的另一侧。因此，在示例中，视频单元的边界样点可以由扩展函数填充。
示例20
在示例中，可以在滤波处理中使用填充的样点。此外，由滤波过程滤波的样点可以被用于填充样点。
示例21
在一个示例中，可以在子块级别进行BF中的滤波。
示例22
在一个示例中，编解码和/或统计信息可以由子块(例如，2×2/1×2/2×1)共享。在示例中，第一子块的经滤波结果可以被用于滤波第二子块的样点。在示例中，第一子块的未滤波样点可以被用于滤波第二子块的样点。
示例23
在一个示例中，可以在视频编解码器编解码流中的不同阶段进行BF。在一个示例中，BF可以被用于环路滤波阶段(stage)。在一个示例中，BR可以在DF之前或之后进行。在一个示例中，可以在SAO滤波器之前或之后进行BF。在一个示例中，BF可以在ALF之前或之后进行。在一个示例中，可以在其它环路滤波器之前或之后进行BF。在一个示例中，BF可以作为在解码完成之后对样点/像素进行滤波的后处理滤波器来进行。
示例24
在一个示例中，第一滤波阶段(例如，BF)可以相对于第二滤波过程(例如，SAO、ALF、BF或其它环路滤波器)独立地进行。例如，第一和第二滤波器可以应用于相同的输入样点，产生第一偏移和第二偏移。可以基于第一和第二偏移两者导出输出样点。输出样点可以被限幅。输出样点可以由下一阶段进一步处理。在一个示例中，可以在解码器处生成重构样点之前将BF应用于预测样点。在一个示例中，可以将BF应用于编解码块的经重构样点，其可以被用于预测后续样点或块。在示例中，可以在基于神经网络的滤波器之前或之后进行BF。
示例25
在一个示例中，可以将视频单元或样点分类成多个组，并且可以使用与组相关联的一个或多个参数。在一个示例中，较高级别视频区域内的视频单元可以通过视频单元的编解码/统计信息(例如，平均值/方差/块尺寸)分类成Nunit个组。在一个示例中，BF可以在不同类别的视频单元上具有不同参数。在一个示例中，视频单元的编解码和/或统计信息可以被用于视频单元分类中。在一个示例中，可以在单元分类中使用输入块的平均值。例如，单元平均值可以计算为
S＝wunit×hunit
其中pi是位于视频单元内部位置i处的亮度或色度，并且wunit和hunit分别是视频单元的宽度和高度。
示例26
在一个示例中，视频单元的方差可以被用于单元分类。单元方差可以通过以下计算：
示例27
在一个示例中，固定阈值Tunit_class(例如，Tunit_class＝1024)可以被用于基于单元方差来计算视频单元的类别索引。单元平均值或其它统计信息如下：
其中0≤indexunit＜Nunit和infounit是对应的统计信息。
示例28
在一个示例中，可以使用阈值集合[T1，T2，...TN-1]以基于单元方差、单元平均值或其他统计信息来对视频单元进行如下分类：
indexunit＝0when(0≤infounit＜T1)
…
indexunit＝Nunit-2when(TN-2≤infounit＜TN-1)
indexunit＝Nunit-1when(TN-1≤infounit)
其中0≤indexunit＜Nunit和infounit代表对应的统计信息。
示例29
在一个示例中，视频单元的宽度或高度可以被单独地用于块分类。在一个示例中，视频单元的宽度和高度可以被共同地用于块分类。
示例30
在一个示例中，视频单元可以是CTU、CTB、CU、CB和/或TB。在一个示例中，较高级别视频区域可以是条带、子图片、片、砖块、图片和/或序列。在一个示例中，可以将视频单元内的样点分类成Nsample个组。在一个示例中，BF可以具有关于视频单元中的不同类别的样点的不同参数。在一个示例中，窗口内的编解码/统计信息可以被用于样点/像素分类。在一个示例中，在样点分类中使用的编解码/统计信息可以是窗口内的平均值。在一个示例中，在样点分类中使用的编解码/统计信息可以是窗口内的方差。在一个示例中，在样点分类中使用的编解码/统计信息可以是窗口内的梯度信息。在一个示例中，梯度信息可以是窗口内梯度的最小值。在一个示例中，梯度信息可以是窗口内梯度的最大值。在一个示例中，梯度信息可以是窗口内梯度的平均值。在一个示例中，窗口形状可以是正方形。在一个示例中，窗口形状可以是菱形。在一个示例中，窗口形状可以是十字形。在一个示例中，窗口形状可以是对称的。在一个示例中，窗口形状可以是非对称的。在一个示例中，视频单元可以是CTU、CTB、CU、CB和/或TB。
示例31
在一个示例中，是否应用和/或如何应用用于视频单元或视频单元内的样点/像素的BF可以取决于编解码信息或即时确定。在一个示例中，编解码信息可以指视频单元中的变换系数。在一个示例中，当视频单元具有不等于0的一个或多个变换系数级别时，诸如当当前视频单元的编解码块标志(CBF)等于1时，可以应用BF。在一个示例中，当视频单元具有全零变换系数级别时，诸如当当前视频单元的CBF等于0时，可以不允许BF。在一个示例中，编解码信息可以指视频单元的色彩分量和/或色彩格式。在一个示例中，当当前视频单元的分量是YCbCr格式的Cb和/或Cr时，可以应用BF。在一个示例中，当当前视频单元的分量是RGB格式的G、B和/或R时，可以应用BF。在一个示例中，编解码信息可以指QP。在一个示例中，可以在当前视频单元的QP大于TQP(例如，TQP＝17)时应用BF。
示例32
在一个示例中，编解码信息可以指视频单元的尺寸和/或维度。在一个示例中，当当前视频单元的宽度和高度的最小值小于或大于Tsize_min(例如，Tsize_min＝16)时，可以应用BF。在一个示例中，在当前视频单元的宽度和高度的最大值小于或大于Tsize_max(例如，Tsize_max＝64)时，可以应用BF。在一个示例中，在当前视频单元的宽度和高度两者均小于或大于Tsize_both(例如，Tsize_both＝8)时，可以应用BF。在一个示例中，编解码信息可指代视频单元中的样点/像素的数目。在一个示例中，在视频单元内部的样点数目乘以因数Fnum(例如，Fnum＝1，2or 4)大于或小于或等于Tnum(例如，Tnum＝16)时，可以应用BF。在一个示例中，编解码信息可以指代任何编解码模式或信息，诸如帧间预测模式、帧内预测模式、合并标志、合并索引、仿射标志、运动向量、参考索引等。在一个示例中，对于视频单元中的两个样点/像素，其中一个样点/像素可以由BF滤波，而另一个样点/像素不由BF滤波。
示例33
在一个示例中，可以使用一个或多个语法元素向解码器发信号通知是否使用和/或如何使用用于视频单元的BF。在一个示例中，可以在VPS、SPS、PPS、图片、子图片、条带、片、条带组、片组、CTU、CU、PU、TU、CTB、CB、PB、TB和/或其它级别处用信号通知一个或多个语法元素。在一个示例中，可以将条带级别语法元素用信号通知给解码器侧。条带级别语法元素可以由RDO操作确定。在示例中，条带级别语法元素可以决定是否将环路内滤波器应用于条带内的视频块。
示例34
在一个示例中，CTU级别语法元素可以被用信号通知给解码器侧。CTU级别语法元素可以由RDO操作确定。CTU级别语法元素可以决定是否将环路内滤波器应用于CTU内的视频块。在一个示例中，可以将CU级别语法元素用信号通知给解码器侧。在一个示例中，CU级别语法元素可以由RDO操作来确定。在一个示例中，CU级别语法元素可以在CU初始过程中设置为假。在一个示例中，当当前CU的通道类型不等于亮度时，可以在编码器侧用信号通知CU级别语法元素，并且可以在解码器侧将其设置为假。在一个示例中，当当前CU的QP小于阈值TCuQP(例如，TCUQP＝17))时，可以在编码器侧不发信号通知CU级别语法元素，并且可以在解码器侧将其设置为假。在一个示例中，当当前CU的宽度和高度的最大值不小于阈值TCumax(例如，TCUmax＝64)时，可以在编码器侧用信号通知CU级别语法元素，并且可以在解码器侧将其设置为假。在一个示例中，当当前CU的宽度和高度的最小值不小于阈值TCmin(例如，TCmin＝16)时，可以在编码器侧用信号通知CU级别语法元素，并且可以在解码器侧将其设置为假。在一个示例中，当当前CU的宽度和高度均不小于或不大于阈值TCUbot(例如，TCUboth＝8)时，可以在编码器侧用信号通知CU级别语法元素，并且可以在解码器侧将其设置为假。
示例35
在一个示例中，TU级别语法元素可以被用信号通知给解码器侧。在一个示例中，TU级别语法元素可以由RDO操作来确定。在一个示例中，TU级别语法元素可以在TU初始处理时被设置为假。在一个示例中，当当前TU的通道类型不等于亮度时，TU级别语法元素可以不在编码器侧用信号通知，并且可以在解码器侧被设置为假。在一个示例中，TU级别语法元素可以不在编码器侧用信号通知，并且可以在当前TU的QP小于阈值TTUQP(例如，TTUQP＝17))时在解码器侧设置为假。在一个示例中，TU级别语法元素可以不在编码器侧用信号通知，并且可在当前TU的CBF等于假时在解码器侧设置为假。在一个示例中，当当前TU的宽度和高度的最大值不小于阈值TTUmax(例如，TTUmax＝64)时，TU级别语法元素可以不在编码器侧用信号通知，并且可以在解码器侧被设置为假。在一个示例中，当当前TU的宽度和高度的最小值不小于阈值TTUmin(例如，TTUmin＝16)时，可以在编码器侧用信号通知TU级别语法元素，并且可以在解码器侧将TU级别语法元素设置为假。在一个示例中，当当前TU的宽度和高度均不小于或不大于阈值TTUboth(例如，TTUboth＝8)时，可以在编码器侧用信号通知TU级别语法元素，并且可以在解码器侧将TU级别语法元素设置为假。在一个示例中，可以通过基于旁路的方法对语法元素进行编解码。在一个示例中，语法元素可以由基于上下文的方法来编解码。
示例36
在一个示例中，可以有条件地用信号通知指示对色度分量的BF使用的语法元素。在一个示例中，上述语法元素可以仅在亮度SAO被启用时被用信号通知。在一个示例中，上述语法元素可以仅在亮度BF被启用时被用信号通知。在一个示例中，只有当满足某些经解码信息(例如，CBF等于1)时，才可以用信号通知上述语法元素。
示例37
在示例中，视频单元可以指代序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、和/或含有一个以上亮度或色度样点/像素的任何其它区域。
示例38
在一个示例中，是否应用和/或如何应用上面公开的方法可以在序列级别、图片组级别、图片级别、条带级别和/或片组级别，诸如在序列标头、图片标头、SPS、VPS、DPS、解码能力信息(DCI)、PPS、适配参数集合(APS)、条带标头和/或片组标头中发信号通知。
示例39
在一个示例中，可以在PB、TB、CB、PU、TU、CU、虚拟管线数据单元(VPDU)、CTU、CTU行、条带、片、子图片、或含有一个以上样点或像素的其它区域处发信号通知是否及/或如何应用上文所揭示的方法。
示例40
在一个示例中，是否应用和/或如何应用上面公开的方法可以取决于编码信息，诸如块尺寸、色彩格式、单/双树分割、色彩分量、条带/图片类型。
现在讨论示例实施方式。在下面的示例性实施例中，可以在色度分量上并且与SAO滤波器并行地进行BF。BF可以作为SAO环路滤波器阶段的一部分来进行。BF和SAO都使用由去块滤波器产生的样点作为输入。这两个滤波器中的每一个为每个样点生成偏移。将这两个偏移加到输入样点，然后在前进到ALF之前进行限幅。
在一个示例中，输出样点IOUT可以被计算为
IOUT＝clip3(IC+ΔIBF+ΔISAO)
其中IC是来自去块滤波器的输入样点，ΔIBIF是来自双边滤波器的偏移，ΔIsAO是来自SAO的偏移，以及clip3是限幅函数。BF可以允许编码器在CTU和条带级别上启用或禁用滤波。编码器通过评估RDO花费做出决定。
在PPS中引入以下语法元素。例如，PPS RBSP语法如下。
pps_chroma_bilateral_filter_enabled_flag等于0指定对于参考PPS的条带禁用BF。pps_chroma_bilateral_filter_flag等于1指定对于参考PPS的条带启用BF。chromabilateral_filter_strength指定在双边变换块滤波过程中使用的BF强度值。chroma_bilateral_filter_strength的值应当在0到2的范围内，包括0和2。chroma bilateral_filter_qp_offset指定用于导出参考PPS的条带的双边滤波器查找表LUT(x)的偏移。
引入了以下语法元素。示例的通用条带标头语法如下。
示例编解码树单元语法如下。
语义如下。slice_chromabilateral_lter_all_ctb_enabled_flag等于1指定BF被启用并且应用于当前条带中的所有CTB。当slice_chroma_bilateral_filter_all_ctb_enabled_flag不存在时，它被推断为等于0。slice_chroma_bilateral_filter_enabled_flag等于1指定BF被启用并且可以被应用于当前条带的CTB。当slice_chroma_bilateral_filter_enabled_flag不存在时，推断出其等于slice_chroma_bilateral_filter_all_ctb_enabled_flag。chroma_bilateral_filter_ctb_flag[xCtb＞＞CtbLog2SizeY][yCtb＞＞CtbLog2SizeY]等于1指定将BF应用于亮度位置(xCtb，yCtb)处的编解码树单元的色度编解码树块。
对于被滤波的CTU，滤波过程可以如下进行。在样点不可用的图片边界处，双边滤波器使用扩展(例如，样点填充)来填充不可用的样点。对于虚拟边界，行为类似于SAO(例如，不发生滤波)。当跨越级别CTU边界时，BF可以访问由SAO访问的相同样点。
图7是双边滤波器的示例滤波模式的示意图700。根据示意图700表示围绕中心样点IC的样点，其中A、B、L、R NW、NE、SW、SE、AA和BB分别代表上方样点、下方样点、左侧样点、右侧样点、西北侧样点、东北侧样点、西南侧样点、东南侧样点、上方之上方样点和下方之下方样点。因此，示意图700示出了围绕中心样点的样点的命名约定。
每个周围的样点IA、IR等各自贡献对应的修正值等。这些修正值按以下方式计算。从样点向右的贡献IR开始，如下计算差。
ΔIR＝(|IR-IC|+4)＞＞3
其中||表示绝对值。对于不是10比特的数据，可以替代地使用以下ΔIR＝(|IR-IC|+2n-6)＞＞(n-7)，其中对于8比特数据n＝8等。得到的值现在被如下限幅，使得该值小于16。
sIR＝min(15，ΔIR)
然后如下计算修正值：
其中LUTROW[]是由qpb＝clip(0，25，QP+chroma_bilateral_filter_qp_offset-17)的值确定的16个值的阵列，并且QP是量化参数。
以相同的方式，从和/>计算对于IL、IA和IB的修正值。对于对角样点INW、INE、ISE、ISW以及距离两个步长的样点IAA、IBB、IRR和ILL，计算也遵循上述等式，但是使用移位1的值。例如，对角样点ISE计算如下：
以类似的方式计算其它对角样点和距离两步长的样点。这些修正值根据以下公式被求和在一起：
然后将msum值乘以c＝1，2或3，其可以通过以下方式使用单个加法器和逻辑与门来完成：
cv＝k1&(msum＜＜1)+k2&msum
其中&表示逻辑与，k1是乘数c的最高有效位，并且k2是最低有效位。c使用该模式和块的尺寸来获得。
最后，可以计算色度双边滤波器偏移ΔIBIF。以下各项用于全强度滤波：
ΔIBIF＝(cv+16)＞＞5
对于n比特数据的通用公式为：
radd＝214-n-chrom_bilateral_filter_strength
rshift＝15-n-chroma-bilateal_filter_strength
ΔIBIF＝(cv+radd)＞＞rshift，
其中chroma_bilateral_filter_strength可以是0或1，并且在PPS中用信号通知。
图8是示出其中可以实施本文所公开的各种技术的示例视频处理系统4000的框图。各种实施方式可以包括系统4000的一些或全部组件。系统4000可以包括用于接收视频内容的输入4002。视频内容可以以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以以经压缩或经编码格式接收。输入4002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口以及诸如Wi-Fi或蜂窝接口的无线接口。
系统4000可以包括编解码组件4004，其可以实施本文档中描述的各种编解码或编码方法。编解码组件4004可以将视频的平均比特率从输入4002降低到编解码组件4004的输出，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。编解码组件4004的输出可以被存储或经由如组件4006所表示的所连接的通信来发送。在输入4002处接收的视频的存储的或通信的比特流(或编解码的)表示可以由组件4008用于生成像素值或发送到显示接口4010的可显示视频。从比特流表示生成用户可见视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编解码工具或操作，并且将由解码器执行反转编解码结果的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。在本文档中描述的技术可以在各种电子设备中采用，诸如移动电话、膝上型计算机、智能电话、或能够进行数字数据处理和/或视频显示的其它设备。
图9是示例视频处理装置4100的框图。装置4100可以被用于实施本文描述的一个或多个方法。装置4100可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置4100可以包括一个或多个处理器4102、一个或多个存储器4104和视频处理电路4106。(多个)处理器4102可以被配置为实施在本文档中描述的一个或多个方法。存储器(多个存储器)4104可以被用于存储用于实施本文描述的方法和技术的数据和代码。视频处理电路4106可以被用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中，视频处理电路4106可以至少部分地被包括在处理器4102中，例如，图形协处理器。
图10是视频处理的示例方法4200的流程图。方法4200包括：在步骤4202，基于与样点相关的视频信息来确定是否应用双边滤波器以对视频单元中的样点进行滤波。在示例中，当视频单元包括一个或多个不等于零的变换系数级别时，将双边滤波器应用于视频单元。此外，当视频单元仅包括零变换系数级别时，双边滤波器不被允许。在示例中，当视频单元包含色彩分量时应用双边滤波器。此外，当视频单元包含亮度分量时，双边滤波器不被允许。在示例中，当视频单元的量化参数(QP)大于QP阈值(TQP)时应用双边滤波器。此外，当视频单元的QP小于或等于TQP时，双边滤波器不被允许。在示例中，当以下时应用双边滤波器：视频单元的最小尺寸小于尺寸阈值(Tsize_min)，视频单元的最大尺寸小于尺寸阈值(Tsize_max)，视频单元的宽度和视频单元的高度小于阈值(Tsize both)，或其组合。在示例中，当以下时应用双边滤波器：视频单元的最小尺寸大于尺寸阈值(Tsize_min)，视频单元的最大尺寸大于尺寸阈值(Tsize_max)，视频单元的宽度和视频单元的高度大于阈值(Tsize both)，或其组合。在示例中，当视频单元中的样点数目乘以因子(Fnum)大于阈值(Tnum)时，应用双边滤波器。在示例中，基于视频单元的编解码模式信息来确定是否应用双边滤波器。
在示例中，基于比特流中的语法元素来确定是否应用双边滤波器。在示例中，语法元素指示双边滤波器是否被应用于条带中的视频单元。在示例中，语法元素指示双边滤波器是否被应用于CTU中的视频单元。在示例中，语法元素指示双边滤波器是否应用于CU中的视频单元。在示例中，语法元素指示双边滤波器是否被应用于TU中的视频单元。在示例中，当双边滤波器被应用于视频单元时，语法元素被包括在比特流中，而当对于视频单元不允许双边滤波器时，语法元素被从比特流中省略。在示例中，当以下时语法元素被从比特流中省略：当前CU的通道类型不等于亮度，当前CU的QP小于阈值(TCUQP)，当前CU的宽度和高度的最小值等于或大于尺寸阈值(TCUmin)，当前CU的宽度和高度的最大值等于或大于尺寸阈值(TCUmax)，当前CU的宽度和当前CU的高度两者都等于或大于阈值(TCUboth)，或其组合。在示例中，当以下时语法元素被从比特流中省略：当前TU的通道类型不等于亮度，当前TU的QP小于阈值(TTUQP)，当前TU的宽度和高度的最小值等于或大于尺寸阈值(TTUmin)，当前TU的编解码块标志CBF被设置为假，当前TU的宽度和高度的最大值等于或大于尺寸阈值(TTUmax)，当前TU的宽度和当前TU的高度都等于或大于阈值(TTUboth)，或其组合。在示例中，当亮度SAO滤波器被启用、亮度双边滤波器被启用、CBF等于一、或其组合时，语法元素仅被包括在比特流中以用于色度分量。在示例中，在VPS、SPS、PPS、图片标头、条带标头、或其组合中用信号通知语法元素。
在步骤4204，基于双边滤波器来在视觉媒体数据与比特流之间进行转换。当在编码器上进行方法4200时，转换包括将视觉媒体数据编码成比特流。例如，转换包括将视频单元编码成比特流。被编码到比特流中的视频单元然后被重构以用作用于编码后续视频单元的参考视频单元。当在解码器上进行方法4200时，转换包括解析和解码比特流以获得视觉媒体数据中的视频单元。在任一情况下，在步骤4204，将双边滤波器应用于视频单元中的样点。
应当注意，方法4200可以在用于处理视频数据的装置中实施，该装置包括处理器和其上具有指令的非暂时性存储器，诸如视频编码器4400、视频解码器4500和/或编码器4600。在这种情况下，由处理器执行的指令使得处理器进行方法4200。此外，方法4200可以由包括供视频编解码设备使用的计算机程序产品的非暂时性计算机可读介质进行。该计算机程序产品包括被存储在非暂时性计算机可读介质上的计算机可执行指令，使得当由处理器执行时使得视频编解码设备进行方法4200。
图11是图示可以利用本公开的技术的示例视频编解码系统4300的框图。视频编解码系统4300可以包括源设备4310和目的地设备4320。源设备4310生成可以被称为视频编码设备的经编码视频数据。目的地设备4320可以解码由源设备4310生成的经编码视频数据，源设备4310可以被称为视频解码设备。
源设备4310可以包括视频源4312、视频编码器4314和输入/输出(I/O)接口4316。视频源4312可以包括源，诸如视频捕获设备、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或此类源的组合。视频数据可以包括一个或多个图片。视频编码器4314对来自视频源4312的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联数据。编解码图片是图片的编解码表示。相关联数据可以包括序列参数集合、图片参数集合、和其它语法结构。I/O接口4316可以包括调制器/解调器(调制解调器)和/或发送器。经编码的视频数据可以经由I/O接口4316通过网络4330被直接发送到目的地设备4320。经编码的视频数据也可以被存储在存储介质/服务器4340上，以便由目的地设备4320访问。
目的地设备4320可以包括I/O接口4326、视频解码器4324和显示设备4322。I/O接口4326可以包括接收器和/或调制解调器。I/O接口4326可以从源设备4310或存储介质/服务器4340获取经编码视频数据。视频解码器4324可以解码经编码视频数据。显示设备4322可以向用户显示经解码的视频数据。显示设备4322可以与目的地设备4320集成，或者可以在目的设备4320的外部，目的设备4320可以被配置为与外部显示设备接口。
视频编码器4314和视频解码器4324可以根据视频压缩标准操作，诸如高效率视频编解码(HEVC)标准、通用视频编解码(VVM)标准、以及其它当前和/或其它标准。
图12是图示视频编码器4400的示例的框图，该视频编码器4400可以是图11中所图示的系统4300中的视频编码器4314。视频编码器4400可以被配置为进行本公开的技术中的任一者或全部。视频编码器4400包括多个功能组件。本公开中所描述的技术可以在视频编码器4400的各种组件当中共享。在一些示例中，处理器可以被配置为进行本公开中所描述的技术中的任一者或全部。
视频编码器4400的功能组件可以包括：分割单元4401，预测单元4402(其可以包括模式选择单元4403)，运动估计单元4404，运动补偿单元4405，帧内预测单元4406，残差生成单元4407，变换处理单元4408，量化单元4409，逆量化单元4410，逆变换单元4411，重构单元4412，缓冲器4413，以及熵编码单元4414。
在其它示例中，视频编码器4400可以包括更多、更少或不同的功能组件。在示例中，预测单元4402可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式中进行预测，在IBC模式中，至少一个参考图片是当前视频块所在的图片。
此外，一些组件(诸如运动估计单元4404和运动补偿单元4405)可以是高度集成的，但出于解释的目的而在视频编码器4400的示例中单独表示。
分割单元4401可以将图片分割为一个或多个视频块。视频编码器4400和视频解码器4500可以支持各种视频块尺寸。
模式选择单元4403可以例如基于错误结果来选择帧内或帧间编解码模式中的一者，以及将所得经帧内或帧间编解码块提供到残差生成单元4407以生成残差块数据，以及提供到重构单元4412以重构经编码块以用作参考图片。在一些示例中，模式选择单元4403可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元4403还可以选择块的运动向量的分辨率(例如，子像素或整数像素精度)。
为了对当前视频块进行帧间预测，运动估计单元4404可以通过将来自缓冲器4413的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元4405可以基于运动信息和来自缓冲器4413的不同于与当前视频块相关联的图片的图片的经解码样点来确定当前视频块的经预测视频块。
运动估计单元4404和运动补偿单元4405可以对当前视频块进行不同的操作，例如，取决于当前视频块是处于I条带、P条带还是B条带中。
在一些示例中，运动估计单元4404可以对当前视频块进行单向预测，并且运动估计单元4404可以针对当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元4404可以接着生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引以及指示当前视频块与参考视频块之间的空间移位的运动向量。运动估计单元4404可以输出参考索引、预测方向指示符和运动向量作为当前视频块的运动信息。运动补偿单元4405可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的经预测视频块。
在其它示例中，运动估计单元4404可以对当前视频块进行双向预测，运动估计单元4404可以针对当前视频块的参考视频块搜索列表0中的参考图片，并且还可以针对当前视频块的另一参考视频块搜索列表1中的参考图片。运动估计单元4404接着可以生成指示列表0和列表1中包含参考视频块的参考图片的参考索引以及指示参考视频块与当前视频块之间的空间位移的运动向量。运动估计单元4404可以输出当前视频块的参考索引和运动向量作为当前视频块的运动信息。运动补偿单元4405可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的经预测视频块。
在一些示例中，运动估计单元4404可以输出运动信息的完整集合以用于解码器的解码处理。在一些示例中，运动估计单元4404可以不输出当前视频的运动信息的完整集合。相反，运动估计单元4404可以参考另一视频块的运动信息用信号通知当前视频块的运动信息。例如，运动估计单元4404可以确定当前视频块的运动信息与相邻视频块的运动信息充分相似。
在一个示例中，运动估计单元4404可以在与当前视频块相关联的语法结构中指示向视频解码器4500指示当前视频块具有与另一视频块相同的运动信息的值。
在另一示例中，运动估计单元4404可以在与当前视频块相关联的语法结构中识别另一视频块和运动向量差(MVD)。运动向量差指示当前视频块的运动向量与所指示的视频块的运动向量之间的差。视频解码器4500可以使用所指示的视频块的运动向量和运动向量差来确定当前视频块的运动向量。
如上所讨论，视频编码器4400可以预测地用信号通知运动向量。可以由视频编码器4400实施的预测性信令技术的两个示例包括高级运动向量预测(AMVP)和合并模式信令。
帧内预测单元4406可以对当前视频块进行帧内预测。当帧内预测单元4406对当前视频块进行帧内预测时，帧内预测单元4406可以基于相同图片中的其它视频块的经解码样点来生成当前视频块的经预测数据。当前视频块的预测数据4可以包括经预测视频块和各种语法元素。
残差生成单元4407可以通过从当前视频块中减去当前视频块的(多个)经预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其它示例中，例如在跳过模式中，当前视频块可能不存在当前视频块的残差数据，并且残差生成单元4407可以不进行减法操作。
变换处理单元4408可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元4408生成与当前视频块相关联的变换系数视频块之后，量化单元4409可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元4410和逆变换单元4411可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元4412可以将经重构残差视频块添加到来自由预测单元4402生成的一个或多个经预测视频块的对应样点，以产生与当前块相关联的经重构视频块以供存储在缓冲器4413中。
在重构单元4412重构视频块之后，可以进行环路滤波操作以减少视频块中的视频块伪像。
熵编码单元4414可以从视频编码器4400的其它功能组件接收数据。当熵编码单元4414接收数据时，熵编码单元4414可以进行一个或多个熵编码操作以生成经熵编码数据，并且输出包括经熵编码数据的比特流。
图13是图示视频解码器4500的示例的框图，该视频解码器4500可以是图11中所图示的系统4300中的视频解码器4324。视频解码器4500可以被配置为进行本公开的技术中的任一者或全部。在所示的示例中，视频解码器4500包括多个功能组件。本公开中所描述的技术可以在视频解码器4500的各种组件当中共享。在一些示例中，处理器可以被配置为进行本公开中所描述的技术中的任一者或全部。
在所示示例中，视频解码器4500包括：熵解码单元4501，运动补偿单元4502，帧内预测单元4503，逆量化单元4504，逆变换单元4505，重构单元4506，以及缓冲器4507。在一些示例中，视频解码器4500可以进行大体上与关于视频编码器4400描述的编码回合对等的解码回合。
熵解码单元4501可以检索经编码比特流。经编码比特流可以包括经熵编解码的视频数据(例如，经编码的视频数据块)。熵解码单元4501可以对经熵编解码的视频数据进行解码，并且运动补偿单元4502可以从经熵解码的视频数据中确定包括运动向量、运动向量精度、参考图片列表索引、和其它运动信息的运动信息。例如，运动补偿单元4502可以通过进行AMVP和合并模式来确定这种信息。
运动补偿单元4502可以产生经运动补偿块，可能基于内插滤波器来进行内插。与子像素精度一起使用的内插滤波器的标识符可以被包括在语法元素中。
运动补偿单元4502可以使用视频编码器4400在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元4502可以根据所接收的语法信息来确定视频编码器4400所使用的内插滤波器，并且使用该内插滤波器来产生预测性块。
运动补偿单元4502可以使用语法信息中的一些来确定：用于对经编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸，描述如何对经编码视频序列的图片的每个宏块进行分割的分割信息，指示如何对每个分割进行编码的模式，用于每个经帧间编解码块的一个或多个参考帧(和参考帧列表)，以及用于对经编码视频序列进行解码的其它信息。
帧内预测单元4503可以使用例如在比特流中接收的帧内预测模式以从空间上相邻的块形成预测块。逆量化单元4504对在比特流中提供并且由熵解码单元4501解码的经量化视频块系数进行逆量化(即，解量化)。逆变换单元4505应用逆变换。
重构单元4506可以将残差块与由运动补偿单元4502或帧内预测单元4503生成的对应预测块求和以形成经解码块。如果需要，还可以应用去块滤波器来对经解码块进行滤波，以便去除块效应伪像。经解码视频块随后被存储在缓冲器4507中，缓冲器4507提供用于后续运动补偿/帧内预测的参考块并且还产生用于在显示设备上呈现的经解码视频。
图14是示例编码器4600的示意图。编码器4600适于实施VVC的技术。编码器4600包括三个环路内滤波器，即去块滤波器(DF)4602、样点自适应偏移(SAO)4604、以及自适应环路滤波器(ALF)4606。与使用预定滤波器的DF 4602不同，SAO 4604和ALF 4606利用当前图片的原始样点，通过分别添加偏移和通过应用有限脉冲响应(FIR)滤波器来减少原始样点与重构样点之间的均方误差，其中编解码的边信息用信号通知偏移和滤波器系数。ALF4606位于每个图片的最后处理阶段，并且可以被认为是试图捕捉和修复由先前阶段产生的伪像的工具。
编码器4600还包括被配置为接收输入视频的帧内预测组件4608和运动估计/补偿(ME/MC)组件4610。帧内预测组件4608被配置为进行帧内预测，而ME/MC组件4610被配置为利用从参考图片缓冲器4612获得的参考图片来进行帧间预测。来自帧间预测或帧内预测的残差块被馈送到变换(T)组件4614和量化(Q)组件4616以生成量化的残差变换系数，其被馈送到熵编解码组件4618。熵编解码组件4618对预测结果和量化的变换系数进行熵编码，并且将其发送到视频解码器(未示出)。从量化组件4616输出的量化组件可以被馈送到逆量化(IQ)组件4620、逆变换组件4622和重构(REC)组件4624。REC组件4624能够向DF 4602、SAO4604和ALF 4606输出图像，以便在这些图像被存储在参考图片缓冲器4612中之前进行滤波。
下面提供一些示例优选的解决方案的列表。
以下解决方案示出了本文所讨论的技术的示例。
1.一种媒体数据处理的方法(例如，图10中描绘的方法4200)，包括：根据规则确定是否对视频的色彩分量的视频单元应用双边滤波器；以及根据该确定，在该视频与该视频的比特流之间进行转换。
2.根据解决方案1的方法，其中该规则是取决于该视频单元的编解码信息的预定规则。
3.根据解决方案1的方法，其中该规则以即时(on-the-fly)使用该视频单元的编解码信息。
4.根据解决方案2或3的方法，其中该编解码信息包括该视频单元的变换系数。
5.根据解决方案2或3的方法，其中该编解码信息包括该视频的色彩格式或该色彩分量的标识。
6.根据解决方案2或3的方法，其中该编解码信息包括该视频单元的尺寸或该视频单元的量化参数(QP)或该视频单元中的样点数目。
7.根据上述解决方案中任一项的方法，其中指示该双边滤波器是否应用于该视频单元或如何应用于该视频单元的一个或多个语法元素在该转换中被处理。
8.根据解决方案7的方法，其中该一个或多个语法元素在视频参数集合、序列参数集合、或图片参数集合中。
9.根据解决方案7的方法，其中该一个或多个语法元素被包括在图片、子图片、条带、片、条带组、片组、编解码树单元、编解码单元、预测单元、变换单元、编解码树块、编解码块、预测块或变换块的级别上。
10.根据解决方案9的方法，其中该一个或多个语法元素被旁路编解码。
11.根据解决方案9的方法，其中该一个或多个语法元素被上下文编解码。
12.根据上述解决方案中任一项的方法，其中该视频单元对应于该视频的序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)或多像素区域。
13.根据上述解决方案中任一项的方法，其中对于不同的视频区域或对于该视频单元的不同的编解码信息，该双边滤波器的应用被独立地控制。
14.根据解决方案13的方法，其中该视频区域包括该视频的序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)或多像素区域。
15.根据上述解决方案中任一项的方法，其中该双边滤波器被应用为环路内滤波器。
16.根据上述解决方案中任一项的方法，其中该双边滤波器被应用为后处理滤波器。
17.根据解决方案1-16中任一项的方法，其中该转换包括从该视频中生成该比特流。
18.根据解决方案1-16中任一项的方法，其中该转换包括从该比特流中生成该视频。
19.一种视频解码装置，包括被配置为实施解决方案1至18中一项或多项记载的方法的处理器。
20.一种视频编码装置，包括被配置为实施解决方案1至18中一项或多项记载的方法的处理器。
21.一种计算机程序产品，其上存储有计算机代码，该代码当由处理器执行时使得该处理器实施解决方案1至18中任一项记载的方法。
22.一种视频处理的方法，包括：根据解决方案1至18中任一项或多项记载的方法生成比特流；以及将该比特流存储在计算机可读介质上。
在本文描述的解决方案中，编码器可以通过根据该格式规则产生编解码表示来符合该格式规则。在本文描述的解决方案中，解码器可以在根据该格式规则知道存在和不存在语法元素的情况下，使用该格式规则来解析该编解码表示中的语法元素，以产生解码视频。
在本文中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。当前视频块的块的比特流表示可以对应于在比特流内的不同位置共同定位或扩展的比特，如由语法所定义的。例如，宏块可以根据变换的和编解码的误差残差值进行编码，并且还可以使用标头中的比特和比特流中的其它字段进行编码。此外，在转换期间，解码器可以基于上述解决方案中所描述的确定来解析具有某些字段可能存在或不存在的知识的比特流。类似地，编码器可以确定某些语法字段被包括或不被包括，并且通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本文档中所描述的公开和其他解决方案、示例、实施例、模块和功能操作可在数字电子电路中、或在计算机软件、固件、或硬件、包括本文档中公开的结构及其结构等效物、或在它们中的一种或多种的组合中实施。所公开的实施例和其他实施例可以实施为一个或多个计算机程序产品，即，编码在计算机可读介质上的计算机程序指令的一个或多个模块，其由数据处理装置执行或用于控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合物、或者它们中的一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，该信号被生成以对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程，或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据(例如，标记语言文档中存储的一个或多个脚本)的文件的一部分、专用于所讨论的程序的单个文件、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台计算机上执行或者部署在位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本文档中所描述的过程和逻辑流可由一个或多个可编程处理器执行，该可编程处理器执行一个或多个计算机程序以通过操作输入数据并生成输出来执行功能。处理和逻辑流还可以由专用逻辑电路执行，并且装置也可以实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适于执行计算机程序的处理器包括，例如通用微处理器和专用微处理器二者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备、或可操作地耦接以从用于存储数据的一个或多个大容量存储设备接收数据或向其传输数据或两者，该一个或多个大容量存储设备，例如磁盘、磁光盘或光盘。然而，计算机不需要具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪速存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及光盘只读存储器(CD-ROM)和数字多功能光盘只读存储器(DVD-ROM)盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
尽管本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的内容的范围的限制，而是对可能特定于特定技术的特定实施例的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实施。此外，尽管特征在上面可能被描述为在某些组合中起作用并且甚至最初如此要求保护，但在一些情况下，可以从组合中删除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描述操作，但这不应理解为要求以所图示的特定顺序或顺序执行这种操作，或要求执行所有图示操作以实现期望结果。此外，本专利文档中所描述的实施例中的各种系统组件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和说明的内容来作出其他实施方式、增强和变化。
当除了第一组件和第二组件之间的线、迹线(trace)或另一介质之外不存在中间组件时，第一组件直接耦接到第二组件。当在第一组件和第二组件之间存在除线、迹线或另一介质之外的中间组件时，第一组件间接耦接到第二组件。术语“耦接”及其变体包括直接耦接和间接耦接。除非另有说明，术语“大约”的使用是指包括后续数字的±10％的范围。
尽管在本公开中已经提供了若干实施例，但应当理解，在不脱离本公开的精神或范围的情况下，所公开的系统和方法可以以许多其他特定形式实现。本示例被认为是说明性的而不是限制性的，并且意图不限于本文给出的细节。例如，各种元件或组件可以组合或集成在另一系统中，或者某些特征可以被省略，或者不被实施。
此外，在不脱离本公开的范围的情况下，在各种实施例中描述和图示为离散或分离的技术、系统、子系统和方法可以与其他系统、模块、技术或方法组合或集成。图示或讨论为耦接的其他项目可以直接连接或可以通过某些接口、设备或中间组件(无论是电气地、机械地还是其他方式)间接地耦接或通信。变化、替换和改变的其他示例可由本领域技术人员确定，并且可以在不偏离本文所公开的精神和范围的情况下进行。

Claims (24)

1.一种用于处理视频数据的方法，包括：
基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；以及
基于所述双边滤波器来进行视觉媒体数据与比特流之间的转换。
2.根据权利要求1所述的方法，其中，当所述视频单元包括一个或多个不等于零的变换系数级别时，所述双边滤波器被应用于所述视频单元，以及其中当所述视频单元仅包括零变换系数级别时，所述双边滤波器不被允许。
3.根据权利要求1-2中任一项所述的方法，其中，当所述视频单元包含色彩分量时，所述双边滤波器被应用，以及其中当所述视频单元包含亮度分量时，所述双边滤波器不被允许。
4.根据权利要求1-3中任一项所述的方法，其中，当所述视频单元的量化参数(QP)大于QP阈值(TQP)时，所述双边滤波器被应用，以及其中当所述视频单元的QP小于或等于所述TQP时，所述双边滤波器不被允许。
5.根据权利要求1-4中任一项所述的方法，其中，当以下情况时所述双边滤波器被应用：所述视频单元的最小尺寸小于尺寸阈值(Tsizemin)、所述视频单元的最大尺寸小于尺寸阈值(Tsizemax)、所述视频单元的宽度和所述视频单元的高度小于阈值(Tsizeboth)、或者其组合。
6.根据权利要求1-5中任一项所述的方法，其中，当以下情况时所述双边滤波器被应用：所述视频单元的最小尺寸大于尺寸阈值(Tsizemin)、所述视频单元的最大尺寸大于尺寸阈值(Tsizemax)、所述视频单元的宽度和所述视频单元的高度大于阈值(Tsizeboth)、或者其组合。
7.根据权利要求1-6中任一项所述的方法，其中，当所述视频单元中的样点数目乘以因子(Fnum)大于阈值(Tnum)时，所述双边滤波器被应用。
8.根据权利要求1-7中任一项所述的方法，其中，确定是否应用所述双边滤波器是基于所述视频单元的编解码模式信息进行的。
9.根据权利要求1-8中任一项所述的方法，其中，确定是否应用所述双边滤波器是基于所述比特流中的语法元素进行的。
10.根据权利要求1-9中任一项所述的方法，其中，所述语法元素指示所述双边滤波器是否被应用于条带中的视频单元。
11.根据权利要求1-10中任一项所述的方法，其中，所述语法元素指示所述双边滤波器是否被应用于编解码树单元(CTU)中的视频单元。
12.根据权利要求1-11中任一项所述的方法，其中，所述语法元素指示所述双边滤波器是否被应用于编解码单元(CU)中的视频单元。
13.根据权利要求1-12中任一项所述的方法，其中，所述语法元素指示所述双边滤波器是否被应用于变换单元(TU)中的视频单元。
14.根据权利要求1-13中任一项所述的方法，其中，当所述双边滤波器被应用于视频单元时，所述语法元素被包括在所述比特流中，以及当不允许所述双边滤波器用于视频单元时，所述语法元素被从所述比特流中省略。
15.根据权利要求1-14中任一项所述的方法，其中，当以下情况时所述语法元素被从所述比特流中省略：当前CU的通道类型不等于亮度、当前CU的QP小于阈值(TCUQP)、所述当前CU的宽度和高度的最小值等于或大于尺寸阈值(TCUmin)、所述当前CU的所述宽度和所述高度中的最大值等于或大于尺寸阈值(TCUmax)、所述当前CU的所述宽度和所述当前CU的所述高度两者都等于或大于阈值(TCUboth)、或者其组合。
16.根据权利要求1-15中任一项所述的方法，其中，当以下情况时所述语法元素被从所述比特流中省略：当前TU的通道类型不等于亮度、当前TU的QP小于阈值(TTUQP)、所述当前TU的宽度和高度中的最小值等于或大于尺寸阈值(TTUmin)、所述当前TU的编解码块标志(CBF)被设置为假、所述当前TU的所述宽度和所述高度中的最大值等于或大于尺寸阈值(TTUmax)、所述当前TU的所述宽度和所述当前TU的所述高度两者都等于或大于阈值(TTUboth)、或者其组合。
17.根据权利要求1-16中任一项所述的方法，其中，仅当亮度样点自适应偏移(SAO)滤波器被启用、亮度双边滤波器被启用、CBF等于一、或者其组合时，所述语法元素被包括在所述比特流中以供色度分量。
18.根据权利要求1-17中任一项所述的方法，其中，所述语法元素在视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)、图片标头、条带标头、或者其组合中用信号通知。
19.根据权利要求1-18中任一项所述的方法，其中，所述转换包括将所述视觉媒体数据编码到所述比特流中。
20.根据权利要求1-19中任一项所述的方法，其中，所述转换包括从所述比特流中解码所述视觉媒体数据。
21.一种用于处理视频数据的装置，包括：处理器；以及其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器进行根据权利要求1-20所述的方法。
22.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储指令，所述指令使得处理器进行根据权利要求1-20所述的方法。
23.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储通过由视频处理装置进行的方法生成的视频的比特流，其中所述方法包括：
基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；以及
基于所述确定来生成所述比特流。
24.一种用于存储视频的比特流的方法，包括：
基于与样点相关的视频信息来确定是否应用双边滤波器对视频单元中的所述样点进行滤波；
基于所述确定来生成所述比特流；以及
将所述比特流存储在非暂时性计算机可读记录介质中。
CN202280045290.4A 2021-06-25 2022-06-24 自适应双边滤波器的使用条件 Pending CN117716690A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021102283 2021-06-25
CNPCT/CN2021/102283 2021-06-25
PCT/CN2022/100976 WO2022268186A1 (en) 2021-06-25 2022-06-24 Conditions for usage of adaptive bilateral filters

Publications (1)

Publication Number Publication Date
CN117716690A true CN117716690A (zh) 2024-03-15

Family

ID=84544138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280045290.4A Pending CN117716690A (zh) 2021-06-25 2022-06-24 自适应双边滤波器的使用条件

Country Status (2)

Country Link
CN (1) CN117716690A (zh)
WO (1) WO2022268186A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925772B (zh) * 2015-09-25 2020-04-14 华为技术有限公司 利用可选插值滤波器进行视频运动补偿的装置和方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2018180841A1 (en) * 2017-03-29 2018-10-04 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using bilateral filtering techniques

Also Published As

Publication number Publication date
WO2022268186A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
CN117528097A (zh) 跨分量自适应环路滤波器
CN114009050B (zh) 视频编解码的自适应环内颜色空间变换
WO2021088951A1 (en) Quantization properties of adaptive in-loop color-space transform for video coding
CN115428449A (zh) 交叉分量自适应环路滤波器
CN113826383A (zh) 变换跳过模式的块维度设置
CN117544777A (zh) 用于视频编解码的跨分量自适应环路滤波
CN117596400A (zh) 编解码块的缩放过程
CN113853787A (zh) 基于子块使用变换跳过模式
CN113826405A (zh) 多个颜色分量的变换量化旁路模式的使用
WO2022268185A1 (en) Bilateral filter in video coding
CN115066897A (zh) 低位深度视觉媒体数据的编解码
CN117716690A (zh) 自适应双边滤波器的使用条件
WO2022268184A1 (en) Adaptive Bilateral Filter In Video Coding
WO2023274370A1 (en) Advanced bilateral filter in video coding
US20240137574A1 (en) Adaptive bilateral filter in video coding
WO2022218285A1 (en) Guided filter usage
US20240137573A1 (en) Bilateral filter in video coding
US20240137505A1 (en) Conditions for usage of adaptive bilateral filters
CN118120232A (zh) 视频编解码中的双边滤波
WO2023213298A1 (en) Filter shape switch for adaptive loop filter in video coding
WO2024002168A1 (en) Padding methods for adaptive loop filter in video coding
WO2024094071A1 (en) Using side information for adaptive loop filter in video coding
WO2024094059A1 (en) Adaptive filter reusing methods on adaptive loop filter in video coding
WO2024078566A1 (en) Multiple input sources based extended taps for adaptive loop filter in video coding
WO2024094066A1 (en) Using side information for sample adaptive offset in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication