CN116112666A - 用于视频编码和解码的增强型跨分量样本偏移滤波系统 - Google Patents

用于视频编码和解码的增强型跨分量样本偏移滤波系统 Download PDF

Info

Publication number
CN116112666A
CN116112666A CN202211364444.4A CN202211364444A CN116112666A CN 116112666 A CN116112666 A CN 116112666A CN 202211364444 A CN202211364444 A CN 202211364444A CN 116112666 A CN116112666 A CN 116112666A
Authority
CN
China
Prior art keywords
sample
filter
input
intensity
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211364444.4A
Other languages
English (en)
Inventor
杜祎鑫
A·图拉皮斯
郑云飞
辛军
A·纳尔奇
国玫
吴业清
吴锡荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116112666A publication Critical patent/CN116112666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及用于视频编码和解码的增强型跨分量样本偏移滤波系统。公开了一种用于视频编码器和解码器的基于跨分量的滤波系统。该滤波系统可包括滤波器，该滤波器具有针对滤波器偏移的输入和针对从表示该滤波器对其进行操作的源视频的原生分量的编码的视频数据重建的样本的输入。该偏移可至少部分地从样本分类器生成，该样本分类器根据样本强度对从表示该源视频的正交于原生分量的颜色分量的编码视频数据重建的样本进行分类。

Description

用于视频编码和解码的增强型跨分量样本偏移滤波系统
相关申请的交叉引用
本专利申请根据35U.S.C.§119(e)规定要求2021年11月9日提交的临时美国专利申请第63/277,326号的权益，该临时专利申请的内容全文以引用方式并入本文。
技术领域
本公开涉及用于带宽受限的通信信道的视频编码和解码的技术，并且具体地涉及用于此类应用的回路滤波的技术。
背景技术
视频编码/解码应用通常利用视频数据中的空间和/或时间冗余来生成视频数据的编码表示，该编码表示与生成视频数据的源视频数据相比具有减少的带宽。这些技术通常应用预测算法，所述预测算法根据较早编码的内容来预测视频内容，确定实际视频内容与其预测内容之间的差异，然后对表示这些差异的残差进行编码。以此方式，视频编码设备和视频解码设备采用算法来维持预测数据的同步表示。
视频编码/解码技术通常是“有损”过程，这意味着通过对编码视频数据进行解码而生成的恢复的视频数据与生成视频数据的源视频数据相比会出现错误。由于视频解码器无法访问源视频数据，因此预测算法在恢复的视频数据的域中操作。
解码算法可在采用恢复的视频数据进行预测之前对恢复的视频数据应用滤波以改善恢复的视频数据的质量。滤波算法可在预测“回路”中应用，这意味着滤波算法由视频编码器和视频解码器以相同方式应用，使得它们保持同步。影响恢复的视频数据的质量的滤波算法自然是不受欢迎的。因此，视频编码器和解码器被设计为动态地调整滤波操作以改善视频的总体质量。
附图说明
图1为根据本公开的实施方案的视频编码系统的框图。
图2为根据本公开的实施方案的视频编码器的框图。
图3为根据本公开的实施方案的视频解码器的框图。
图4为根据本公开的实施方案的跨分量样本偏移滤波器的框图。
图5示出了适合与本公开的实施方案一起使用的示例性样本阵列。
图6示出了适合与本公开的实施方案一起使用的示例性样本阵列。
图7示出了适合与本公开的实施方案一起使用的候选方向块的示例性集合。
图8示出了适合与本公开的实施方案一起使用的滤波器抽头的示例性集合。
图9示出了适合与本公开的实施方案一起使用的滤波器抽头的示例性集合。
具体实施方式
本公开的实施方案提供了一种用于视频编码器和解码器的基于跨分量的滤波系统。该滤波系统可包括滤波器，该滤波器具有针对滤波器偏移的输入和针对从表示该滤波器对其进行操作的源视频的原生分量(native component)的编码的视频数据重建的样本的输入。该偏移可至少部分地从样本分类器生成，该样本分类器根据样本强度对从表示该源视频的正交于原生分量的颜色分量的编码视频数据重建的样本进行分类。
图1示出了根据本公开的实施方案的视频编码系统100的简化框图。系统100可包括经由网络130互连的多个端子110-120。某些端子可对视频数据进行编码以便经由网络130传输到另一端子。其他端子可从网络130接收其他端子的编码视频数据，解码编码视频数据，并通常通过显示解码视频来消费从中恢复的视频数据。
视频编码系统100可在多种应用中使用。在第一应用中，一对端子110、120可支持编码视频的实时双向交换以在它们之间建立视频会议会话。在另一应用中，端子110可对预先产生的视频(例如，电视或电影节目)进行编码并存储编码视频以便递送到一个进行下载的客户端120或者经常递送到多个进行下载的客户端120。因此，正在编码的视频可为实时的或预先产生的，并且其可以一对一或一对多分发模型分发。出于本论述的目的，除非另外指明，视频的类型和视频发布方案是无关紧要的。
在图1中，将端子110-120示出为智能电话，但本发明的原理并不限于此。本公开的实施方案可应用于机顶盒、电视机、计算机(台式计算机和膝上型计算机两者)、平板计算机、计算机服务器、媒体播放器和/或专用视频会议和娱乐设备等等。
网络130表示在端子110-120之间输送编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非另外指明，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2示出了本公开的实施方案中的编码系统200的简化框图。系统200可通过压缩技术对视频序列的输入帧进行编码，压缩技术减少帧的比特率大小。该系统可包括分割单元210和一个或多个编码单元220-240。分割单元210可首先根据输入帧在颜色空间中的分量，诸如通过将这些分量解构为亮度(luminance)(通常简称为“亮度(luma)”)分量和色度分量(通常存在两个色度分量，标记为Cr和Cb)来解构输入帧的内容。分割单元可将分量数据输出到其相应的颜色编码器220-240。在图2的示例中，亮度颜色数据被输出到亮度编码器220，Cr颜色数据被输出到Cr编码器230，并且Cb颜色数据被输出到Cb编码器240。尽管图2示出了对Y/Cb/Cr颜色空间的应用，但本公开的原理不限于此；除了下文描述的以外，本公开的原理还可应用于诸如RGB、XYZ等的其他颜色空间。
分割单元210还可将每个颜色分量的数据解析成空间阵列，称为“像素块”。很多编码协议采用各种类型的分割方案，这些分割方案可能为递归的；分割单元210可与此类方案协同工作。因此，颜色分量数据可根据四叉树分割方案进行分割，这可产生将由编码器220-240处理的不同大小的编码单元。另选地，颜色分量数据可被分割成宏块，并进一步分割成块以便由编码器220-240进行编码。经常会出现颜色平面帧的像素块在帧内可能具有不同的块大小的情况。此外，针对一个编码器(即亮度编码器220)生成的像素块可能具有与针对其他编码器(Cr编码器230和/或Cb编码器240)生成的像素块不同的大小。通常，颜色平面内的像素块大小和布置根据该平面的内容分析来选择。
编码器220-240可对其相应的颜色平面数据执行编码操作以减小其带宽。通常，编码器220-240利用其输入数据内的时间冗余和/或空间冗余。例如，编码器220-240可执行运动补偿预测编码，其中输入像素块根据多种预测编码模式中的任一种进行编码，诸如：
·帧内编码，其中输入像素块相对于共同帧的先前编码/解码数据差分编码；
·单预测帧间编码，其中输入像素块相对于先前编码/解码的帧的数据差分编码；以及
·多假设运动补偿预测编码，其中输入像素块经由时间或空间预测使用来自两个或更多个来源的解码的数据预测性地编码。
预测编码模式可与其他编码技术(诸如变换跳过编码、RRU编码、预测源的缩放、调色板编码等等)协作使用。
图2示出了可在亮度编码器220、Cr编码器230和Cb编码器240中应用的像素块编码器的示例性功能单元。像素块编码器可包括像素块编码器250、像素块解码器260、回路滤波器270、参考图片高速缓存280和预测器290。像素块编码器250可参考由预测器290供应的预测像素块对输入像素块进行编码，并输出从其获得的编码像素块数据。像素块解码器260可反转由像素块编码器250应用的编码操作以从其获得解码像素块数据。回路滤波器270可对解码像素块数据应用所选择的滤波操作，所述解码像素块数据可被重构为恢复帧并存储在参考图片高速缓存280中。预测器290可将预测数据作为预测数据供应到像素块编码器250。
像素块编码器250可包括减法器252、变换单元254、量化器256和熵编码器258。像素块编码器250可在减法器252处接受输入数据的像素块。减法器252可接收来自预测器290的预测像素块，并由此生成表示输入像素块与预测像素块之间的差异的像素残差阵列。变换单元254可对从减法器252输出的样本数据应用变换，以将数据从像素域转换到变换系数域。量化器256可对由变换单元254输出的变换系数执行量化。量化器256可为均匀量化器或非均匀量化器。熵编码器258可通过例如通过可变长度码字或使用上下文自适应二进制算术编码器对输出进行编码来减小系数量化器的输出带宽。
变换单元254可以多种变换模式操作。例如，变换单元254可应用离散余弦变换(DCT)、离散正弦变换(DST)、Walsh-Hadamard变换、Haar变换、Daubechies小波变换等。在一个方面，控制器(未示出)可选择变换单元254将应用的编码模式M，可相应地配置变换单元254，并且在编码视频数据中可显式地或隐式地发信号通知编码模式M。
量化器256可根据控制器(未示出)所供应的量化参数QP来操作。在一个方面，量化参数QP可以作为多值量化参数被应用于变换系数，多值量化参数例如在变换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。
熵编码器258如其名称所暗示的，可执行从量化器256输出的数据的熵编码。例如，熵编码器258可执行运行长度编码、霍夫曼编码、哥伦布编码、上下文自适应二进制算术编码等等。
像素块解码器260可反转像素块编码器250的编码操作。例如，像素块解码器260可包括逆量化器262、逆变换单元264和加法器266。像素块解码器260可从量化器256的输出获取其输入数据。尽管允许，但像素块解码器260不必执行熵编码数据的熵解码，因为熵编码是无损事件。逆量化器262可反转像素块编码器250的量化器256的操作。逆量化器262可执行均匀或非均匀去量化，如解码信号QP所指定的。类似地，逆变换单元264可反转变换单元254的操作。逆量化器262和逆变换单元264可使用与像素块编码器250中其对应部件相同的量化参数QP和变换模式M。量化操作通常在各个方面截断数据，并且因此，在与被呈现给像素块编码器250中的量化器256的数据相比时，逆量化器262所恢复的数据可能将具有编码误差。
加法器266可反转减法器252所执行的操作。其可接收与减法器252在生成残差信号中所使用相同的来自预测器290的预测像素块。加法器266可将预测像素块加到由逆变换单元264输出的重建残差值，并且可输出重建的像素块数据。
如所描述的，回路滤波器270可对所恢复的像素块数据执行各种滤波操作272-276。该回路滤波器可具有跨分量样本偏移(“CCSO”)滤波器274，如下文讨论的。在一个实施方案中，CCSO滤波器274可为多滤波器滤波系统270的一部分，该多滤波器滤波系统可包括其他滤波器272、276。此类其他滤波器可包括例如去块滤波器、样本自适应偏移(“SAO”)滤波器、约束方向增强滤波器(“CDEF”)、自适应回路滤波器(“ALF”)、跨分量自适应回路滤波器(“CCALF”)和/或回路恢复(“LR”)滤波器。
本文提出的CCSO滤波器274可与回路滤波器270内的其他滤波单元协同工作。例如，CCSO滤波器274可接受来自去块滤波器的输入数据，并将滤波的数据输出到CDEF。另选地，CCSO滤波器274可接受来自CDEF的输入数据，并将滤波的数据输出到LR滤波器。在另一实施方案中，CCSO可平行于CDEF放置；在本申请中，CCSO的输入可为在CDEF之前的重建样本，并且CCSO的输出可应用于从CDEF获得的重建样本。在另一个实施方案中，CCSO滤波器274可接受来自去块滤波器的输入数据，并将滤波的数据输出到ALF。
如所讨论的，参考图片高速缓存280可存储滤波的帧数据以供在其他像素块的后续预测中使用。对于不同的预测模式，不同类型的预测数据可供预测器290使用。例如，对于输入像素块，帧内预测从相同帧的解码数据获得预测参考，该输入像素块定位在该相同帧中。因此，参考图片高速缓存280可存储在编码时每个帧的解码像素块数据。对于相同的输入像素块，帧间预测可采用来自先前编码和解码帧的预测参考，所述帧被指定为参考帧。因此，参考图片高速缓存280可存储这些解码参考帧。
如所讨论的，预测器290可将预测块供应到像素块编码器250以用于在生成残差中使用。预测器290可包括帧间预测器、帧内预测器和模式决策单元(未示出)。帧间预测器可接收表示将编码的新像素块的像素块数据，并且可针对来自参考帧的像素块数据，从参考图片高速缓存280搜索参考帧数据，以用于在对输入像素块进行编码中使用。帧间预测器可选择预测参考数据，该预测参考数据提供与正在编码的输入像素块的最接近匹配。帧间预测器可生成预测参考元数据，诸如预测块大小和运动矢量，以识别哪些参考帧的哪个(哪些)部分被选择作为输入像素块的预测源。
帧内预测器可支持帧内(I)模式编码。帧内预测器可从来自与正在编码的像素块相同的帧的像素块数据中进行搜索，这提供与输入像素块的最接近匹配。帧内预测器还可生成预测模式指示符以识别帧的哪个部分被选择为输入像素块的预测源。
模式决策单元可从帧间预测器和帧内预测器的输出中选择假设的最终编码模式。模式决策单元可针对所选择的预测模式输出预测数据和编码参数(例如，选择参考帧、运动矢量等等)。通常，如上所述，在给定目标比特率的情况下，模式决策单元将选择在解码视频时实现最低失真的模式。当编码模式被选择为满足编码系统200所遵循的其他策略，诸如满足特定信道行为、或支持随机接入或数据刷新策略时，可能出现例外。
如本文所讨论的，本公开的实施方案提出了一种CCSO滤波系统以改善输入的重建样本的质量。滤波系统可以联合方式利用局部带和边缘信息两者，从而导致比仅对边缘信息进行操作的先前CCSO滤波操作提供更精细的样本分类。对于每个带分类，相关联的LUT可具有对应于边缘分类的条目。与CCSO中的仅粗边缘方法相比，增强的输入样本分类可能导致更好的编码效率。此外，滤波系统可改善亮度分量滤波，并且单独地改善色度分量滤波。
图3为根据本公开的实施方案的解码系统300的框图。解码系统300可对已由编码器(例如，图2所示的编码器)编码的视频序列的帧进行解码。解码系统300可包括一个或多个编码单元310-330，该一个或多个编码单元可反转分别由图2的编码单元220-240执行的编码操作。因此，继续图2的示例，解码系统300可具有亮度解码器310、Cr色度解码器320和Cb色度解码器330。解码系统300可具有重组340，该重组可根据解码器310-330输出的颜色分量数据生成恢复帧。与图2一样，尽管图3的解码系统300示出了对Y/Cb/Cr颜色空间的应用，但本公开的原理也可应用于诸如RGB、XYZ等的其他颜色空间。
图3示出了可在亮度解码器、Cr解码器和Cb解码器310-340中应用的像素块解码器的示例性功能单元。解码器可为在控制器(未示出)的控制下操作的像素块解码器350、回路滤波器360、参考图片高速缓存370和预测器380。
预测器380可接收识别编码像素块的预测模式和预测参考的预测元数据，并且可将来自参考图片高速缓存370的预测数据输出到像素块解码器350。像素块解码器350可从编码像素块数据和由预测器380供应的预测数据生成恢复的像素块。回路滤波器360可对可从解码器350输出的重建像素块数据进行滤波。对于指定用作参考帧的帧，回路滤波器的输出也可存储在参考图片高速缓存370中。
像素块解码器350可包括熵解码器352、逆量化器354、逆变换单元356和加法器358。熵解码器352可执行熵解码以反转由熵编码器258执行的过程(图2)。逆量化器324可反转像素块编码器250的量化器256的操作(图2)。类似地，逆变换单元326可反转变换单元252的操作(图2)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能截断数据，因此与呈现给编码器的像素块编码器250的输入像素块相比，由逆量化器324恢复的像素块很可能将具有编码误差(图2)。
加法器358可反转减法器252所执行的操作(图2)。其可接收来自预测器380的预测像素块，如由编码视频数据流中的预测参考所确定的。加法器358可将预测像素块加到由逆变换单元356输出的重建残差值，并且可输出重建的像素块数据。
如所描述的，回路滤波器360可对恢复的像素块数据执行各种滤波操作362-366，与图2的回路滤波器270同步工作。回路滤波器可具有CCSO滤波器364，该CCSO滤波器利用由解码器310-330生成的重建样本的像素强度分类。因此，解码器310-330可在它们之间交换数据RS，该数据表示由解码器310-330生成的重建样本。
在一个实施方案中，CCSO滤波器364可为多滤波器滤波系统360的一部分，该多滤波器滤波系统可包括其他滤波器362、366。此类其他滤波器可包括例如去块滤波器、SAO滤波器、CDEF、ALF和/或LR滤波器。
本文提出的CCSO 364可与回路滤波器360内的其他滤波单元协同工作。例如，CCSO364可接受来自去块滤波器的输入数据，并将滤波的数据输出到CDEF。另选地，CCSO 364可接受来自CDEF的输入数据，并将滤波的数据输出到LR滤波器。在另一实施方案中，CCSO可平行于CDEF放置；在本申请中，CCSO的输入可为在CDEF之前的重建样本，并且CCSO的输出可应用于从CDEF获得的重建样本。在另一个实施方案中，CCSO364可接受来自去块滤波器的输入数据，并将滤波的数据输出到ALF。
参考图片高速缓存370可存储滤波的帧数据以便在其他像素块的后续预测中使用。参考图片高速缓存370可存储在被编码时的解码帧以供在帧内预测中使用。参考图片高速缓存370也可存储解码参考帧。
如所讨论的，预测器380可将预测块供应到像素块解码器350。预测器380可从参考图片高速缓存370检索预测数据，如通过编码视频数据流中供应的预测参考指示符所确定的。
图4为根据本公开的实施方案的CCSO 400的框图。CCSO 400可应用于编码器和解码器，如上文图2和图3所示。CCSO 400可包括强度分类器410、索引计算器420、偏移计算器430和滤波器440。CCSO 400可接收一组重建样本并从其生成校正样本。强度分类器410可对重建样本进行分类并将确定的分类的标识符输出到偏移计算器430。索引计算器420可从所选择的输入样本生成偏移索引d0和d1，该所选择的输入样本被输入到偏移计算器430。偏移计算器430可从其输入数据生成偏移，该输入数据可被输出到滤波器440。滤波器440可使用偏移计算器所供应的偏移对重建样本进行滤波。
如图所示，滤波器440可对重建样本rnat进行操作，所述重建样本对CCSO 400在其中操作的颜色平面是固有的。因此，当CCSO 400应用于Cb色度解码时，滤波器440可将滤波应用于重建的Cb样本。类似地，当CCSO 400应用于亮度或Cr色度解码时，滤波器400可将其滤波分别应用于重建的亮度或Cr色度样本。强度分类器410可对来自正交色彩平面的重建样本rorth进行操作，作为由滤波器440处理的重建样本。因此，当CCSO 400应用于Cb或Cr色度解码时，强度分类器410可对重建的亮度样本进行操作。应用于Cb色度的CCSO可使其强度分类器410对重建的Cr色度样本进行操作(并且反之亦然)。
在一个实施方案中，CCSO 400可针对从正交颜色平面输入的每个重建样本rorth(图5)单独选择滤波器440设置。CCSO 400可基于对HxW空间阵列500中存在的重建样本关于重建样本rorth的分析来选择滤波器设置。在其他实施方案中，阵列500可包含来自相同颜色平面(rorth)以及来自其中应用了滤波器440的原生颜色平面(rnat)的重建样本。
在另一实施方案中，强度分类器410可根据其强度对重建样本rorth(图5)进行分类。在其中样本值在预定范围R内以数字表示的系统中，范围R可分割为N个强度带，其中每个带均表示总体范围R的一部分。强度分类器410可生成类ID，该类ID识别重建样本rorth所属的带。
强度带可以多种方式定义。作为一个示例，样本值的范围R可分割为N个均匀大小的带，这些均匀大小的带总体上覆盖样本值的整个范围R。值N可在系统内预先确定。另选地，N可在系统操作期间动态地定义，并在编码器与解码器之间以预定间隔发信号通知(例如，在APS中、在切片标头中、在图块标头中、在图片参数集中、在序列参数集中、在视频参数集中或当N改变时)。
作为另一示例，样本值的范围R可分割为N个不均匀大小的带，这些不均匀大小的带总体上覆盖样本值的整个范围R。在该示例中，带的数量及其大小可在系统内预先确定。另选地，带的数量和大小可在系统操作期间动态地定义，并在编码器与解码器之间以预定间隔发信号通知(例如，在APS中、在切片标头中、在图块标头中、在图片参数集中、在序列参数集中、在视频参数集中或当它们改变时)。例如，帧标头可包括标记，在一种状态下(例如，真)，该标记指示一组均匀大小的样本强度带的使用，而在另一种状态(例如，假)，该标记指示一组非均匀大小的样本强度带的使用。
在另一实施方案中，样本值的范围R可分割为从最小强度值到最大强度值的N个段，其中每组相邻的M个段被分组在一起以形成CCSO 400的带。在该实施方式中，N和M可为正整数，其中N≥M。
在另一个实施方案中，重建样本rorth的分类可通过导出索引band_idx来进行，如下所示：
band_idx＝rorth＞＞(bitDepth—maxBandLog2)
其中bitDepth对应于适用颜色平面中重建样本的比特深度，并且maxBandLog2为最大允许带数的log2。
在一个实施方案中，重建样本rorth的带信息可在样本级别计算。例如，每个重建样本rorth的强度值可用于检查当前重建样本属于哪个带。
在另一实施方案中，重建样本rorth的带信息可在块级别计算。例如，重建样本rorth所属的像素块的平均强度值可用于将重建样本rorth分配给样本强度带。该块可为超级块(SB)、编码树单元(CTU)、编码块、分割单元、变换单元、预测单元、滤波器单元等。
在一个实施方案中，重建样本rorth的带信息可从重建样本rorth自身的值计算，该值表示单个颜色平面中的样本内容。在另一实施方案中，重建样本rorth的带信息不仅可根据其自身的值计算，还可根据与重建样本rorth相关的其他颜色分量的重建样本rnat的值来计算。通常，由于系统所使用的色度格式(例如，4:4:4与4:2:0等)，所有亮度样本与所有Cb和Cr色度样本之间可能不存在完美的配准。在此类情况下，缩减重建的亮度样本的规模以使其与重建的Cb和Cr色度样本匹配可能很有用。另选地，扩增重建的Cb和Cr色度样本的规模以使其与重建的亮度样本匹配可能很有用。
在一个实施方案中，在应用其他回路滤波器之前获取的重建样本rorth可用于计算带信息。另选地，可能在其他回路滤波器之后获取的重建样本rorth用于计算带信息。
作为又一示例，CCSO 400可在操作期间采用均匀大小和非均匀大小的样本强度带两者。编码器(图2)可以在信道数据中，诸如在APS中，在切片标头中，在图块标头中，在图片参数集中，在序列参数集中，在视频参数集中发信号通知使用某种类型的样本强度带(例如，无论使用均匀大小的带还是非均匀大小的带)。
在一个实施方案中，强度分类器410操作以生成其类ID的粒度可针对不同的重建样本而变化。例如，分类可在逐像素块的基础上、逐切片的基础上或在逐帧的基础上操作。粒度可在编码中以预定间隔改变。编码器可以发信号通知其对强度分类器410在高级语法(HLS)结构中正在使用的特征的选择，诸如APS、切片标头、图块标头、帧标头、PPS、SPS、VPS等。
如所讨论的，索引计算器420可对偏移计算器430生成索引d0、d1。在一个实施方案中，索引计算器420可通过正交颜色平面中的重建样本rorth的分析来生成重建样本rnat的索引。
图6中示出一个此类实施方案，其中重建样本rorth 610在正交颜色平面中位于将滤波的重建样本rnat附近，该将滤波的重建样本以相邻样本615-690示出。索引计算器420可根据多个3抽头滤波器进行操作，其中滤波器输入(分别称为p0和p1)根据不同的滤波器方向进行选择。在一个方面，可使用六种滤波器组合，诸如下表1中所述：
Figure BDA0003923345980000121
表1
预期系统设计者可定制不同方向的数量和对其的输入，以适应其各自的应用需求。
在一方面，编码器可选择在编码期间应用的方向。可在编码分级结构的预定级别(诸如在Cb/Cr颜色分量级别)改变方向。编码器可在适当的标志符中在编码比特流中发信号通知其选择的方向。例如，可交换变量filter_sup，该变量指示针对每个对应颜色分量选择的滤波器。对于图6所示的配置，filter_sup语法元素可使用3比特来发信号通知。
对于每个滤波器方向，CCSO 400可计算一对Δ值m0、m1，表示为mj＝rorth-pj，其中j＝0、1。此后，索引计算器420可根据Δ值m0、m1生成量化值d0、d1，如下所示：
di＝-1，如果m<-thr；
di＝0，如果-thr<＝m<＝thr；以及
di＝1，如果m>thr。
其中thr为量化步长大小，thr可为由编码器设置的预定值。例如，thr可取8、16、32或64的值。此外，thr值可在操作期间动态地设置，并且可在编码比特流中从编码器发信号通知给解码器。
在一个实施方案中，偏移计算器430可实现为多维查找表(LUT)，该LUT通过由强度分类器410提供的类ID和由索引计算器420输出的索引来索引。在CCSO 400的运行时操作之前，LUT可由适合于正在处理的样本的偏移值预先填充。在运行时操作期间，CCSO 400可从LUT中读出偏移值并将它们供应到滤波器440。
LUT可具有对应于由强度分类器410生成的不同类ID的子表。在一个实施方案中，强度分类器410可根据样本强度带信息以及基于边缘信息对输入样本进行分类。在该方面，类ID可具有表示样本的带索引的第一分量(i)和表示样本的边缘索引的第二分量(j)。这些(i,j)对可对应于由滤波器440使用的相关联偏移值sij。例如，当存在N个带和N个LUT时，每个带可具有带有不同组的条目的相关联LUT。示例性值N可为8、16和32。
在一个实施方案中，可动态地导出LUT。例如，这些LUT可在编码分级结构的序列级别、帧级别、图块级别、CTU/SB级别或像素块级别发信号通知。
在另一实施方案中，偏移计算器430可在CCSO 400中具有N个LUT，每个LUT与对应的像素强度带相关联。每个LUT可具有M个条目，每个条目存储一个偏移值。在该实施方案中，编码器可以发信号通知在HLS中发信号通知的M*N个偏移值(例如，作为APS、切片标头、图块标头、帧标头、PPS、SPS、VPS等的一部分)。
在另一实施方案中，偏移计算器430可形成由参数定义的偏移的参数模型。例如，CCSO 400的亮度分量和色度分量中的样本可用于导出线性关系s＝A*y+B*c，其中A和B为将导出的系数，y是指亮度样本值，c是指评估中的Cb或Cr样本值，并且s为在CCSO 400的滤波过程中使用的输出偏移值。在操作期间，编码器可估计在应用CCSO 400期间使失真最小化的A和B的值，这些值可以发信号通知给解码器。另选地，A和B的值可从关于正在处理的样本rorth的重建样本的邻域中隐式地导出，这可减少系统内的信令开销。
使用参数模型的另一示例可在所有三个颜色平面中采用处于非线性关系s＝f0(yi)+f1(cbi)+f2(cri)的重建样本，其中f0、f1和f2为将输入值映射到输出值的函数，yi是指亮度样本值，cbi/cri是指Cb/Cr样本值，并且s为在CCSO 400的滤波过程中使用的输出偏移值。在操作期间，编码器可从一组候选函数F中估计在应用CCSO 400期间使失真最小化的函数f0、f1和f2。编码器可向解码器识别其在信道信令中对f0、f1和f2函数的选择。另选地，f0、f1和f2函数可从关于正在处理的样本的重建样本的邻域中隐式地导出，这可减少系统内的信令开销。
当动态地导出参数模型时，它们可在编码分级结构的序列级别、帧级别、图块级别、CTU/SB级别或像素块级别发信号通知。
在一个实施方案中，当在运行时操作期间动态地形成LUT或参数模型中的偏移值时，编码器不需要发信号通知整个LUT或参数模型。在一些实施方式中，编码器发信号通知LUT的一些偏移值，并让解码器从发信号通知的偏移值中导出剩余偏移值，或者剩余偏移值为固定值可能就足够了。例如，考虑采用对应于给定类ID的九条目查找表的系统，编码器可能针对选定组合发信号通知偏移值s0、s1、s2、s3和s4的子组，并且解码器可通过将偏移值反转为以下值来形成完整表：
Figure BDA0003923345980000141
作为另一示例，编码器可针对选定组合发信号通知偏移值的子组s0、s1、s2、s3和s4，并且解码器可通过将偏移值反转为以下值来形成完整表：
Figure BDA0003923345980000142
预期在实施期间，系统设计者可定制推导值以适应其各个应用需求。
在另一个实施方案中，可形成通过由样本分类器410输出的类ID和由索引计算器420输出的索引d0、d1联合索引的单个LUT。例如，在类ID生成为单比特二进制值的实施方式中，LUT采用如下形式：
Figure BDA0003923345980000151
预期在实施期间，系统设计者可定制类ID的数量和偏移值以适应其各个应用需求。
在另一实施方案中，对于CCSO 400，使用滤波器缩放因子x。所述缩放是指将CCSO400产生的偏移值缩放x倍。x的值可在序列级别、帧级别、图块级别、CTU/SB级别或编码块级别发信号通知。在这种情况下，由偏移计算器430导出的偏移值可通过经由信道所接收的x因子来缩放。
在一个实施方案中，类ID可表示样本强度带，偏移计算器430可具有对应于每个可用带的LUT，其中每个LUT存储与其相应的带i和条目j(条目j对应于d0和d1的相应组合)相关联的值sij。在该实施方案中，输入样本可使用带信息进行分类，输出为带索引，记为i，并且其也可使用边缘信息进行分类，输出为边缘索引，记为j。每个(i,j)对具有在CCSO 400的滤波过程使用的相关联偏移值sij。
在另一实施方案中，当前颜色表示(例如，可与视频相关联的矩阵系数)可用于基于亮度和/或Cb和Cr的值来调整CCSO 400的偏移值。例如，Cb分量和Cr分量的某些关系和限制可基于颜色表示来导出。可考虑此类限制，以根据信号的值来调整存储在LUT中的基本偏移值，从而避免在某些区域使用一些偏移。
滤波器440可使用从偏移计算器430获得的偏移值将偏移滤波应用于重建样本。滤波器440可生成滤波的重建样本，该滤波的重建样本表示CCSO 400的输出。CCSO 400可具有预定数量F的抽头。
在一个实施方案中，CCSO 400可具有可由信道中的编码器发信号通知的多个抽头F。类似地，CCSO 400可具有可根据信道中提供的信令来选择的多个候选滤波器形状。滤波器形状可在序列级别、帧级别、图块级别、CTU/SB级别或编码块级别选择并发信号通知。另选地，抽头的数量和/或滤波器形状可根据由强度分类器410输出的类ID来选择。
在一个实施方案中，滤波器440可应用基于当前亮度和色度关系的滤波方向。所述关系包括但不限于色度子采样格式和与亮度样本相关的色度样本的位置。
在另一实施方案中，滤波器440可根据当前亮度和色度关系来应用F个滤波器抽头。所述关系包括但不限于色度子采样格式和与亮度样本相关的色度样本的位置。
在一个实施方案中，CCSO 400的抽头数量、滤波器形状和/或偏移值的选择可使用通用可变长度码(“UVLC”)进行熵编码。另选地，这些值中的一个或多个值可使用固定长度编码来发信号通知。
在编码器和解码器的运行时操作期间，CCSO可在同步状态下操作。尽管CCSO 400的操作设置可在操作期间动态地变化，但当对给定像素块进行编码时在CCSO 400处存在的操作设置也应该在对相同像素块进行解码时在CCSO 400处存在。在一个实施方案中，编码器和解码器可适当交换信令以使其CCSO的状态同步。
在一个实施方案中，可以发信号通知每个颜色分量的带数。例如，编码器可提供值max_band_log2，该值表示每个颜色分量的最大允许带数的log2。使用2比特来发信号通知max_band_log2可能很方便，其将允许带数识别为1、2、4和8中的一者。
在另一实施方案中，可以发信号通知每个颜色分量将使用的滤波器的选择。如上文关于图6所讨论的，CCSO 400可支持若干不同的滤波器。编码器可交换变量filter_sup，该变量指示针对每个对应颜色分量的所选择的滤波器。使用3比特发信号通知filter_sup可能很方便。
在另一个实施方案中，可以发信号通知样本强度阈值的标识符。例如，编码器可供应thr_idx值，该值表示每个颜色分量的阈值的索引。在一个应用中，使用2比特来发信号通知thr_idx可能很方便，其识别8、16、32或64的样本强度阈值。
在另一实施方案中，可以发信号通知滤波器偏移值。在一个应用中，使用3比特来以发信号通知滤波器偏移值可能很方面，其表示来自组{-10,-7,-3,0,1,3,7}的预定偏移值的选择。
在一个实施方案中，可提供标记来发信号通知CCSO启用或禁用的时间。例如，针对每个颜色分量提供1比特ccso_enable信号可能很方便，其指示是否针对颜色分量启用CCSO滤波。在另一方面，针对每个128x128超级块提供1比特ccso_blk_ctr信号可能很方便，其指示是否针对超级块启用CCSO滤波。
在一个实施方案中，由偏移计算器430形成的偏移值可由编码器通过训练操作形成，该训练操作基于在应用CCSO 400时使失真最小化的值的估计来从训练序列导出偏移值。可通过多种技术将导出的偏移值传送到解码器(图1)。例如，导出的CCSO值可在通信分级结构中的序列级别、帧级别或图块级别明确地传送。在一个实施方式中，编码器可传送每序列或每帧或每图块发信号通知的单组信息，Y/Cb/Cr部件共享发信号通知的信息。
在一个实施方案中，训练可导出线性关系s＝A*y+B*c，其中A和B为将导出的系数，y是指亮度样本值，c是指Cb或Cr样本值，并且s为在CCSO 400的滤波过程中使用的输出偏移值。系数值可从编码器发信号通知给解码器，解码器可使用这些系数值来导出其CCSO 400的偏移值。
在另一实施方案中，CCSO 400的所有三色分量中的样本可以非线性关系s＝f0(y)+f1(cb)+f2(cr)使用，其中f0/f1/f2为将输入值映射到输出值的导出函数，y是指亮度样本值，cb/cr是指Cb/Cr样本值，s为在CCSO 400的滤波过程中使用的输出偏移值。函数标识符可从编码器发信号通知给解码器，解码器可使用这些函数标识符来导出其CCSO 400的偏移值。
在另一实施方案中，当前颜色表示(例如，可与视频相关联的矩阵系数)可用于基于y和/或Cb和Cr的值来调整CCSO 400的偏移值。例如，Cb分量和Cr分量的某些关系和限制基于颜色表示来导出。可考虑此类限制，以根据信号的值来调整CCSO 400的偏移值，从而避免在某些区域使用一些偏移。
在一个实施方案中，当在编码器处为CCSO 400训练LUT时，CCSO 400的初始块级别的开/关状态可从当前帧或先前编码帧的其他环路滤波器的状态延续下来，以实现更快的编码器收敛。例如，SAO滤波器、ALF、CCALF、LR滤波器或CDEF的状态可确定CCSO 400在训练期间的状态。
在一个实施方案中，编码器可以发信号通知CCSO 400中起作用的LUT的数量(L)。在一个示例中，L为固定正整数值。在另一示例中，L可在操作期间变化，并且L的变化可在序列级别、帧级别或图块级别或CTU/SB级别或编码块级别发信号通知。
在一个实施方案中，CCSO 400可具有L个LUT，每个LUT与CCSO 400的像素强度带相关联。每个LUT可具有M个条目，这些条目中的每个条目表示一个偏移值。在该实施方案中，将存在M*L个偏移值，这些偏移值可在HLS(APS、切片或图块标头、帧标头、PPS、SPS、VPS)中发信号通知。对于LUT，LUT条目对于像素强度带中的多个像素强度带可能具有相同的偏移值，在这种情况下，LUT可能具有少于M个条目。如所讨论的，LUT可以是由参数定义的一个或多个参数模型。
在另一实施方案中，当在给定输入样本的情况下导出CCSO LUT的条目时，可使用以下等式：m＝rl-((a*p0+b*p1)>>k)，其中k为正整数。在一方面，a、b和k的值可在HLS(APS、切片或图块标头、帧标头、PPS、SPS、VPS)中发信号通知。另选地，这些值可在编码器或解码器之间预定义。
在另一实施方案中，多组CCSO信息可在协议分级结构的第一级别(例如，序列级别)发信号通知。在协议分级结构的较低级别(例如，帧级别、切片级别或像素块级别)，编码器可以发信号通知选择将使用的一组CCSO信息的索引。
在另一实施方案中，当CCSO 400的滤波器形状被熵编码时(例如，使用UVLC发信号通知时)，可基于滤波器形状来调节CCSO 400的其他信息的信令。在一个示例中，滤波器形状的UVLC代码0可能意味着CCSO 400未使用(例如，关)；在这种情况下，不需要发信号通知CCSO 400的其他信息。
在另一实施方案中，CCSO LUT可每组(N个帧或N个块)发信号通知一次。在该组的第一帧(或块)中，可以发信号通知LUT。对于该组的剩余帧或块，如果编码器变更CCSO LUT，则编码器可例如通过完全替换LUT或通过发信号通知对先前使用的LUT的改变来发信号通知变更LUT的数据。
在另一个实施方案中，CCSO 400的块级别状态(例如，开还是关)可从回路滤波器系统270中的其他回路滤波器272、276(例如，SAO滤波器、ALF、CCALF、LR滤波器或CDEF)的块级别状态延续下来。
在另一实施方案中，CCSO 400的开/关状态可从块或/和其相邻块的其他编码信息(诸如变换类型、预测模式、系数数量等)导出。以此方式，可减少CCSO过程的信令开销。
在另一实施方案中，编码器可以发信号通知CCSO偏移值的阵列，并且对于每个组合，编码器可以发信号通知偏移值s的索引，该索引表示偏移值s在CCSO阵列中的位置。此类偏移值和/或索引可在序列级别、帧级别、图块级别或块级别发信号通知。在另一实施方案中，对于每个组合，偏移值s在序列级别、帧级别、图块级别、块级别发信号通知。
本文提议，在对输入样本进行分类/分组时利用像素强度分类的技术也适用于其他回路滤波方法。在一个实施方案中，强度分类技术可用于约束方向增强滤波器(CDEF)边缘方向搜索过程。通常，CDEF方向搜索刚在去块滤波器之后对重建的像素进行操作。由于解码器可以使用这些像素，因此方向不需要信令。搜索在8x8块上进行，对于每个块，通过使量化块和最近方向块之间的差值平方和(SSD)最小化来确定与块中的模式最匹配的方向。然后，使用所识别的方向来选择滤波器形状和滤波器系数。在此应用中，也可采用由强度分类器410生成的类ID来为CDEF滤波器选择滤波器形状和滤波器系数。使用此类技术，CDEF可将一组候选方向块从八个扩展到更大的数量，诸如16个、32个或64个候选块，这些候选块结合了方向和类ID。
CDEF的工作原理是识别每个块的方向，然后沿着识别的方向进行自适应滤波，并沿着从识别的方向旋转45度的方向进行较小程度的滤波。CDEF方向搜索通常刚在应用去块滤波器之后在重建的像素上进行，在8x8块上进行，并通过使量化块和最近方向块之间的差值平方和(SSD)最小化来找到与块中的模式最匹配的方向。图7示出了八个候选方向块的示例性集合。在一个实施方案中，可采用像素强度分类方法来选择CDEF滤波器的滤波器形状和滤波器系数。可基于上文讨论的像素强度分析(图4)来选择滤波器形状和滤波器系数。以此方式，CDEF可使用本文描述的像素强度分类分析在其候选模式中进行选择，或者单独工作或者与CDEF滤波器常规的SSD技术结合使用。
CDEF可使用非线性低通滤波器，该滤波器被设计为去除编码伪影而不模糊锐利边缘。通过基于所识别的方向选择滤波器抽头位置来实现这一点，而且还通过防止在跨边缘应用滤波器时出现过度模糊来实现。后者使用非线性低通滤波器来实现，该滤波器不强调与正在滤波的像素相差太大的像素。CDEF定义了主抽头和次抽头。主抽头遵循方向d和诸如图8的示例中所示的权重。对于主抽头，权重每隔一个强度交替，因此强度1、3、5等的权重不同于强度2、4、6等的权重。次抽头形成十字形，其方向与方向d成45度，其权重如图9的示例所示。
在另一实施方案中，可在ALF块分类过程中使用像素强度分类技术。普通ALF过程根据块的方向性D和活动
Figure BDA0003923345980000203
的量化值对输入块进行分类。在一方面，上文讨论的像素强度分类分析(图4)可与用于识别当前块的类的D和
Figure BDA0003923345980000201
一起使用或结合使用。例如，像素强度分析可提供像素强度范围的估计，记为P。分类索引C可从D、
Figure BDA0003923345980000202
和P导出。此后，可使用分类索引应用ALF处理。
前述讨论已在视频编码器和解码器的上下文中描述了本公开各个方面的操作。这些部件常常作为电子设备来提供。视频解码器和/或控制器可以被嵌入在集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可以被嵌入到在相机设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们被读取到处理器并且被执行。解码器常常被封装在消费电子设备中，诸如智能电话、平板电脑、游戏系统、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用中，诸如视频游戏、媒体播放器、媒体编辑器等。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合系统。
视频编码器和解码器可以多种方式通过信道来交换视频。它们可以经由通信和/或计算机网络彼此通信，如图1所示。在其他应用中，视频编码器可以将视频数据输出给存储设备，诸如电、磁和/或光学存储介质，所述存储设备可以在稍后某个时候被提供给解码器。在此类应用中，解码器可以从存储设备检索所编码的视频数据并对其进行解码。
本文具体示出和/或描述了本发明的若干实施方案。然而，应当理解，在不脱离本发明的实质和预期范围的情况下，本发明的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (22)

1.一种滤波系统，包括：
滤波器，所述滤波器具有针对滤波器偏移的输入和针对从表示所述滤波器对其进行操作的源视频的原生分量的编码视频数据重建的样本的输入，并且具有针对经滤波样本的输出，
样本分类器，所述样本分类器具有针对从表示所述源视频的正交于所述原生分量的颜色分量的编码视频数据重建的样本的输入，并且具有针对表示输入到所述样本分类器的所述样本的强度分类的数据的输出，
偏移计算器，所述偏移计算器具有针对来自所述样本分类器的所述分类数据的输入并且具有针对输入到所述滤波器的滤波器偏移的输出。
2.根据权利要求1所述的滤波系统，其中来自所述样本分类器的所述强度分类数据表示重建样本到多个样本强度带中的一个样本强度带的分类。
3.根据权利要求2所述的滤波系统，其中所述样本强度带由信令定义，所述信令由生成所述编码视频数据的视频编码器提供。
4.根据权利要求3所述的滤波系统，其中所述信令识别所述样本强度带的数量。
5.根据权利要求3所述的滤波系统，其中所述信令将所述样本强度带识别为均匀间隔的。
6.根据权利要求3所述的滤波系统，其中所述信令识别所述样本强度带间的断点。
7.根据权利要求1所述的滤波系统，其中来自所述样本分类器的所述强度分类数据表示重建样本块到多个样本强度带中的一个样本强度带的分类。
8.根据权利要求1所述的滤波系统，其中，
重建样本是从视频编码系统的第二滤波器的输出接收的，并且所述强度分类数据是从所述第二滤波器的滤波参数导出的。
9.根据权利要求1所述的滤波系统，其中所述偏移计算器为N路查找表，所述N路查找表具有对应于多个候选强度分类中的每个候选强度分类的路。
10.根据权利要求9所述的滤波系统，还包括索引计算器，所述索引计算器具有针对表示所述正交颜色分量的重建样本的输入并且具有针对索引标识符的输出，其中所述偏移计算器具有针对从所述索引计算器输出的所述索引标识符的输入。
11.根据权利要求9所述的滤波系统，其中所述查找表的至少一个条目由生成所述编码视频数据的视频编码器提供。
12.根据权利要求1所述的滤波系统，其中所述偏移计算器是根据参数模型计算所述滤波器偏移的计算机，并且所述参数模型的参数由生成所述编码视频数据的视频编码器提供。
13.一种方法，包括：
对第一输入样本、所述输入样本的强度进行分类，所述第一输入样本是从表示源视频的正交于将被滤波的原生颜色分量的第一颜色分量的编码视频数据重建的，
基于所述第一输入样本的分类强度来估计滤波器偏移，以及根据所估计的偏移对第二输入样本进行滤波，所述第二输入样本是从表示所述源视频的所述原生颜色分量的所述编码视频数据重建的。
14.根据权利要求13所述的方法，其中所述分类将各重建样本单独分类为多个样本强度带中的一个样本强度带。
15.根据权利要求14所述的方法，其中所述样本强度带由信令定义，所述信令由生成所述编码视频数据的视频编码器提供。
16.根据权利要求15所述的方法，其中所述信令识别所述样本强度带的数量。
17.根据权利要求15所述的方法，其中所述信令将所述样本强度带识别为均匀间隔的。
18.根据权利要求15所述的方法，其中所述信令识别所述样本强度带间的断点。
19.根据权利要求13所述的方法，其中所述分类在逐像素块的基础上将重建样本分类为多个样本强度带中的一个样本强度带。
20.根据权利要求13所述的方法，其中所述估计包括使用所述分类强度作为索引从查找表中读取偏移值。
21.根据权利要求20所述的方法，其中所述查找表为N路查找表，所述N路查找表具有对应于多个候选强度分类中的每个候选强度分类的路。
22.根据权利要求20所述的方法，其中所述查找表的至少一个条目由生成所述编码视频数据的视频编码器在信令中提供。
CN202211364444.4A 2021-11-09 2022-11-02 用于视频编码和解码的增强型跨分量样本偏移滤波系统 Pending CN116112666A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163277326P 2021-11-09 2021-11-09
US63/277,326 2021-11-09

Publications (1)

Publication Number Publication Date
CN116112666A true CN116112666A (zh) 2023-05-12

Family

ID=84330237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211364444.4A Pending CN116112666A (zh) 2021-11-09 2022-11-02 用于视频编码和解码的增强型跨分量样本偏移滤波系统

Country Status (3)

Country Link
US (1) US20230143147A1 (zh)
EP (1) EP4178203A1 (zh)
CN (1) CN116112666A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230156185A1 (en) * 2021-11-15 2023-05-18 Tencent America LLC Generalized sample offset

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163046A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
US10200687B2 (en) * 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
WO2021125751A1 (ko) * 2019-12-16 2021-06-24 현대자동차주식회사 임의의 모양으로 분할되는 블록을 예측하는 방법 및 복호화 장치
KR20230124051A (ko) * 2021-03-30 2023-08-24 텔레폰악티에볼라겟엘엠에릭슨(펍) 결합된 루프 필터링

Also Published As

Publication number Publication date
US20230143147A1 (en) 2023-05-11
EP4178203A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
AU2023201119B2 (en) Sample adaptive offset control
EP3100456B1 (en) Low complexity sample adaptive offset encoding
CN107566840B (zh) 针对图像的重建样本的集合提供补偿偏移的方法和装置
JP2022531333A (ja) ビデオコーディングにおけるアフィン線形重み付けイントラ予測
JP2022523950A (ja) ビデオコーディングにおける組み合わされた残差コーディング
WO2019108550A1 (en) Line buffer reduction for adaptive loop filtering in video coding
US11140418B2 (en) Block-based adaptive loop filter design and signaling
CN114007067B (zh) 对视频信号进行解码的方法、设备和介质
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
GB2509563A (en) Encoding or decoding a scalable video sequence using inferred SAO parameters
CN116783889A (zh) 跨分量样本自适应偏移中的编解码增强
KR102294438B1 (ko) 듀얼 디블로킹 필터 임계값들
CN116112666A (zh) 用于视频编码和解码的增强型跨分量样本偏移滤波系统
CN116325734A (zh) 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
CN115989675A (zh) 交叉分量样本自适应偏移中的色度编码增强
US20150350650A1 (en) Efficient sao signaling
JP2023164981A (ja) パレットモードを使用するビデオコーディングの方法及び装置
WO2023149923A1 (en) Methods, devices, and storage medium for multi-symbol arithmetic coding
KR20230123947A (ko) 고정 필터들을 갖는 적응적 루프 필터
CN116112678A (zh) 用于视频编码和解码的多特征样本偏移滤波系统
US20220368911A1 (en) Reduced complexity transforms for high bit-depth video coding
CN117413516A (zh) 跨分量样本自适应偏移中的编解码增强
CN117203962A (zh) 跨分量样本自适应偏移中的编解码增强
CN116671105A (zh) 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
WO2024081010A1 (en) Region-based cross-component prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination