CN114009018A - 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法 - Google Patents

用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法 Download PDF

Info

Publication number
CN114009018A
CN114009018A CN202080045948.2A CN202080045948A CN114009018A CN 114009018 A CN114009018 A CN 114009018A CN 202080045948 A CN202080045948 A CN 202080045948A CN 114009018 A CN114009018 A CN 114009018A
Authority
CN
China
Prior art keywords
component
cross
filter
alf
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045948.2A
Other languages
English (en)
Inventor
基兰·穆克什·米斯拉
弗兰克·博森
克里斯托弗·安德鲁·塞格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN114009018A publication Critical patent/CN114009018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种对重构视频数据进行滤波的方法。所述方法包括:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和所述重构亮度分量样本值来导出滤波样本值;通过使用所述滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。

Description

用于基于交叉分量相关性来减小视频编码中的重构误差的系 统和方法
技术领域
本公开涉及视频编码,并且更具体地涉及用于减小重构误差的技术。
背景技术
数字视频功能可以结合到各种设备中,包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的智能电话)、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准定义了封装编码视频数据的合规比特流的格式。合规比特流是可以由视频解码设备接收和解码以生成重构视频数据的数据结构。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)和高效视频编码(HEVC)。HEVC在2016年12月的ITU-T H.265建议书的高效视频编码(HEVC)中有所描述,该文献以引用方式并入本文,并且在本文中被称为ITU-T H.265。目前正在考虑对ITU-TH.265进行扩展和改进以开发下一代视频编码标准。例如,ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)(被统称为联合视频研究组(JVET))正在致力于标准化压缩能力显著超过当前HEVC标准的视频编码技术。以引用方式并入本文的联合探索模型7(JEM7)、联合探索测试模型7(JEM 7)的算法描述、ISO/IEC JTC1/SC29/WG11文档:JVET-G1001(2017年7月,意大利,都灵)描述了由JVET在联合测试模型研究下的编码特征,该技术是超越ITU-T H.265功能的潜在增强视频编码技术。应当指出的是,JEM 7的编码特征在JEM参考软件中实现。如本文所用,术语JEM可统称包括在JEM 7中的算法以及JEM参考软件的具体实施。此外,响应于由VCEG和MPEG联合发布的“Joint Call for Proposals on VideoCompression with Capabilities beyond HEVC”,在2018年4月16日至20日于加利福尼亚州圣地亚哥(San Diego,CA)举行的ISO/IEC JTC1/SC29/WG11第10次会议上,各个小组提出了对视频编码工具的多种描述。根据对视频编码工具的多种描述,视频编码规范的最终初始草案文本在2018年4月16日至20日于加利福尼亚州圣地亚哥举行的ISO/IEC JTC1/SC29/WG11第10次会议中的“Versatile Video Coding(Draft 1)”即文档JVET-J1001-v2中有所描述,该文档以引用方式并入本文并且被称为JVET-J1001。JVET和MPEG的下一代视频编码标准的当前开发被称为通用视频编码(VVC)项目。2019年3月19日至27日在瑞士日内瓦举行的ISO/IEC JTC1/SC29/WG11第14次会议中的“Versatile Video Coding(Draft 5)”(文档JVET-N1001-v8,其以引用方式并入本文,并且称为JVET-N1001)表示对应于VVC项目的视频编码规范的草稿文本的新版本。2019年7月3日至12日在瑞典哥德堡举行的ISO/IEC JTC1/SC29/WG11第15次会议中的“Versatile Video Coding(Draft 6)”(文档JVET-O2001-vE,其以引用方式并入本文,并且称为JVET-O2001)表示对应于VVC项目的视频编码规范的草稿文本的当前版本。
视频压缩技术能够减少存储和传输视频数据的数据需求。视频压缩技术可以通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即,视频序列内的一组图片、一组图片内的图片、图片内的区域、区域内的子区域等)。可以使用帧内预测编码技术(例如,图片内的空间预测技术)和帧间预测技术(即图片间的技术(时间))来生成待编码的单位视频数据与视频数据的参考单元之间的差值。该差值可以被称为残差数据。残差数据可以被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元(例如,帧内预测模式索引和运动信息)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在形成兼容比特流的数据结构中。
发明内容
在一个示例中,提供了一种对重构视频数据进行滤波的方法,该方法包括:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
在一个示例中,提供了一种对编码数据进行解码的解码器,该解码器包括:处理器,和与该处理器相关联的存储器;其中处理器被配置为执行以下步骤:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
在一个示例中,提供了一种对视频数据进行编码的编码器,该编码器包括:处理器,和与该处理器相关联的存储器;其中处理器被配置为执行以下步骤:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
附图说明
[图1]图1是示出根据本公开的一种或多种技术的根据四叉树多叉树划分进行编码的一组图片的示例的概念图。
[图2A]图2A是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。
[图2B]图2B是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。
[图3]图3是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的示例的概念图。
[图4A]图4A是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图4B]图4B是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图4C]图4C是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图4D]图4D是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图4E]图4E是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图4F]图4F是示出根据本公开的一种或多种技术的可使用的视频分量采样格式的位置类型示例的概念图。
[图5]图5是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例的框图。
[图6]图6是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的视频编码器的示例的框图。
[图7]图7是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的交叉分量滤波器单元的示例的框图。
[图8]图8是示出根据本公开的一种或多种技术的用于视频数据的多个分量的重构误差示例的概念图。
[图9A]图9A是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图9B]图9B是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图9C]图9C是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图9D]图9D是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图9E]图9E是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图9F]图9F是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。
[图10]图10是示出根据本公开的一种或多种技术的使用交叉分量滤波来减小重构误差的示例的概念图。
[图11A]图11A是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图11B]图11B是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图11C]图11C是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图11D]图11D是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图12A]图12A是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图12B]图12B是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图13A]图13A是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图13B]图13B是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图13C]图13C是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图14A]图14A是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图14B]图14B是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图14C]图14C是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图14D]图14D是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图14E]图14E是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图14F]图14F是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图15A]图15A是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图15B]图15B是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图15C]图15C是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图15D]图15D是示出根据本公开的一种或多种技术的可用于交叉分量滤波的滤波器系数位置的示例的概念图。
[图16A]图16A是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器的示例的概念图。
[图16A]图16A是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器的示例的概念图。
[图16B]图16B是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器的示例的概念图。
[图16C]图16C是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器的示例的概念图。
[图16D]图16D是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器的示例的概念图。
[图17]图17是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。
[图18]图18是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的交叉分量滤波器单元的示例的框图。
[图19A]图19A是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图19B]图19B是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
[图19C]图19C是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。
具体实施方式
一般来讲,本公开描述了用于对视频数据进行编码的各种技术。具体地,本公开描述了用于减小重构误差的技术。应当指出的是,尽管本公开的技术是关于ITU-T H.264、ITU-T H.265、JEM、JVET-N1001和JVET-O2001描述的,但本公开的技术可普遍应用于视频编码。例如,除了包括在ITU-T H.265、JEM、JVET-N1001和JVET-O2001中的那些技术,本文所述的编码技术可并入视频编码系统(包括基于未来视频编码标准的视频编码系统),包括视频块结构、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或其他熵编码技术。因此,对ITU-T H.264、ITU-T H.265、JEM、JVET-N1001和JVET-O2001的参考是出于描述性目的,并且不应被解释为限制本文所述技术的范围。此外,应当指出的是,将文献以引用方式并入本文是出于描述性目的,并且不应被解释为限制或产生关于本文所用术语的歧义。例如,在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文所用的该术语的情况下,则该术语应以广泛地包括每个相应定义的方式和/或以包括替代方案中每个特定定义的方式来解释。
在一个示例中,一种方法包括:接收用于视频数据的当前分量的重构样本数据,接收用于视频数据的一个或多个附加分量的重构样本数据,基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器,以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
在一个示例中,一种设备包括配置为执行以下操作的一个或多个处理器:接收用于视频数据的当前分量的重构样本数据,接收用于视频数据的一个或多个附加分量的重构样本数据,基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器,以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
在一个示例中,一种非暂态计算机可读存储介质包括存储在其上的指令,该指令在被执行时使得设备的一个或多个处理器:接收用于视频数据的当前分量的重构样本数据,接收用于视频数据的一个或多个附加分量的重构样本数据,基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器,以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
在一个示例中,一种装置包括:用于接收用于视频数据的一个或多个附加分量的重构样本数据的装置,用于基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器的装置,以及用于基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据,将滤波器应用于用于视频数据的当前分量的重构样本数据的装置。
在以下附图和描述中阐述了一个或多个示例的细节。根据描述和附图以及权利要求书,其他特征、对象和优点将显而易见。
视频内容包括由一系列帧(或图片)组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可被分成一个或多个区域。可根据基础单元(例如,视频块)和定义区域的规则集来定义区域。例如,定义区域的规则可以是:区域必须是布置成矩形的整数个视频块。此外,区域中的视频块可以根据扫描模式(例如,光栅扫描)来排序。如本文所用,术语“视频块”通常可以指图片的区域,或者可以更具体地指可以被预测性地编码的样本值的最大阵列、其子分区和/或对应结构。此外,术语“当前视频块”可以指图片的正被编码或解码的区域。视频块可被定义为样本值的阵列。应当指出的是,在一些情况下,像素值可被描述为包括视频数据的相应分量的样本值,其也可被称为颜色分量(例如,亮度(Y)和色度(Cb和Cr)分量或红色、绿色和蓝色分量)。应当指出的是,在一些情况下,术语“像素值”和“样本值”可互换使用。此外,在一些情况下,像素或样本可被称为pel。视频采样格式(也可以被称为色度格式)可以相对于视频块中包括的亮度样本的数量来定义视频块中包括的色度样本的数量。例如,对于4:2:0采样格式,亮度分量的采样率是水平和垂直两个方向的色度分量的采样率的两倍。
视频编码器可对视频块和其子分区执行预测编码。视频块和其子分区可以被称为节点。ITU-T H.264指定包括16×16亮度样本的宏块。也就是说,在ITU-T H.264中,图片被分段成宏块。ITU-T H.265指定了类似的编码树单元(CTU)结构(其可被称为最大编码单元(LCU))。在ITU-T H.265中,图片被分段成CTU。在ITU-T H.265中,对于图片,CTU大小可被设定为包括16×16、32×32或64×64亮度样本。在ITU-T H.265中,CTU由视频数据的每个分量(例如,亮度(Y)和色度(Cb和Cr))的相应编码树块(CTB)构成。应当指出的是,具有一个亮度分量和两个对应色度分量的视频可被描述为具有两个通道,即,亮度通道和色度通道。此外,在ITU-T H.265中,可根据四叉树(QT)划分结构来划分CTU,这使得CTU的CTB被划分为编码块(CB)。也就是说,在ITU-T H.265中,CTU可被划分为四叉树叶节点。根据ITU-T H.265,一个亮度CB连同两个对应的色度CB和相关联语法元素被称为编码单元(CU)。在ITU-TH.265中,可以发送信号通知CB的最小允许大小。在ITU-T H.265中,亮度CB的最小允许最小大小是8×8亮度样本。在ITU-T H.265中,使用帧内预测或帧间预测对图片区域进行编码的决定在CU位阶处进行。
在ITU-T H.265中,CU与在CU处具有其根的预测单元(PU)结构相关联。在ITU-TH.265中,PU结构允许分割亮度CB和色度CB以生成对应的参考样本。即,在ITU-T H.265中,可将亮度CB和色度CB分割成相应的亮度预测块和色度预测块(PB),其中PB包括对其应用相同预测的样本值的块。在ITU-T H.265中,可将CB划分为1个、2个或4个PB。ITU-T H.265支持从64×64样本向下至4×4样本的PB大小。在ITU-T H.265中,正方形PB被支持用于帧内预测,其中CB可以形成PB或者CB可以被分割成四个正方形PB。在ITU-T H.265中,除了正方形PB之外,还支持矩形PB来进行帧间预测,其中CB可垂直地或水平地减半以形成PB。此外,应当指出的是,在ITU-T H.265中,对于帧间预测,支持四个非对称PB划分,其中CB在CB的高度(顶部或底部)或宽度(左侧或右侧)的四分之一处被划分为两个PB。对应于PB的帧内预测数据(例如,帧内预测模式语法元素)或帧间预测数据(例如,运动数据语法元素)用于生成PB的参考和/或预测样本值。
JEM指定具有最大大小的256×256亮度样本的CTU。JEM指定四叉树加二叉树(QTBT)块结构。在JEM中,QTBT结构允许由二叉树(BT)结构进一步划分四叉树叶节点。也就是说,在JEM中,二叉树结构允许将四叉树叶节点垂直或水平递归划分。在JVET-N1001和JVET-O2001中,CTU根据四叉树加多类型树(QTMT或QT+MTT)结构来分区。JVET-N1001和JVET-O2001中的QTMT类似于JEM中的QTBT。然而,在JVET-N1001和JVET-O2001中,除了指示二进制分割之外,多类型树还可以指示所谓的三元(或三叉树(TT))分割。三元分割将一个块垂直地或水平地分成三个块。在垂直TT分割的情况下,块从左边缘起在其宽度的四分之一处以及从右边缘起在其宽度的四分之一处分割,并且在水平TT分割的情况下,块从顶部边缘起在其高度的四分之一处以及从底部边缘起在其高度的四分之一处分割。再次参考图1,图1示出了CTU被划分为四叉树叶节点并且四叉树叶节点根据BT分割或TT分割被进一步划分的示例。即,在图1中,虚线指示四叉树中的附加二元和三元分割。
如上所述,每个视频帧或图片可被分成一个或多个区域。例如,根据ITU-T H.265,每个视频帧或图片可被划分为包括一个或多个切片,并且进一步被划分为包括一个或多个图块,其中每个切片包括CTU序列(例如,以光栅扫描顺序排列),并且其中图块是对应于图片的矩形区域的CTU序列。应当指出的是,在ITU-T H.265中,切片是从独立切片片段开始并且包含在下一个独立切片片段(如果有的话)之前的所有后续从属切片片段(如果有的话)的一个或多个切片片段的序列。切片片段(如切片)是CTU序列。因此,在一些情况下,术语“切片”和“切片片段”可互换使用以指示以光栅扫描顺序排列布置的CTU序列。此外,应当指出的是,在ITU-T H.265中,图块可由包含在多于一个切片中的CTU组成,并且切片可由包含在多于一个图块中的CTU组成。然而,ITU-T H.265规定了应满足以下一个或两个条件:(1)片段中的所有CTU属于同一个图块;以及(2)图块中的所有CTU属于同一个切片。
关于JVET-N1001和JVET-O2001,切片需要由整数个砖块组成,而不是仅需要由整数个CTU组成。在JVET-N1001和JVET-O2001中,砖块是图片中特定图块内的矩形CTU行区域。此外,在JVET-N1001和JVET-O2001中,图块可被划分成多个砖块,每个砖块由图块内的一个或多个CTU行组成。未被划分成多个砖块的图块也被称为砖块。然而,作为图块的真子集的砖块不被称为图块。因此,在一些视频编码技术中,可支持或可不支持包括不形成图片的矩形区域的一组CTU的切片。此外,应当指出的是,在一些情况下,切片可能需要由整数个完整图块组成,并且在这种情况下,切片被称为图块组。本文所述的技术可适用于砖块、切片、图块和/或图块组。图1是示出包括切片的图片组的示例的概念图。在图1所示的示例中,Pic3被示出为包括两个切片(即,切片0和切片1)。在图1所示的示例中,切片0包括一个砖块,即砖块0,并且切片1包括两个砖块,即砖块1和砖块2。应当指出的是,在一些情况下,切片0和切片1可满足图块和/或图块组的要求并被分类为图块和/或图块组。
对于帧内预测编码,帧内预测模式可指定图片内的参考样本的位置。在ITU-TH.265中,已定义的可能的帧内预测模式包括平面(即,表面拟合)预测模式、DC(即平坦的整体平均)预测模式,以及33个角度预测模式(predMode:2-34)。在JEM中,已定义的可能的帧内预测模式包括平面预测模式、DC预测模式,以及65个角度预测模式。应当指出的是,平面预测模式和DC预测模式可以被称为无方向预测模式,并且角度预测模式可以被称为方向预测模式。应当指出的是,无论已定义的可能预测模式的数量如何,本文描述的技术可以是普遍适用的。
对于帧间预测编码,确定参考图片,并且运动矢量(MV)识别该参考图片中用于生成对当前视频块的预测的样本。例如,可使用位于一个或多个先前编码的图片中的参考样本值来预测当前视频块,并且运动矢量用于指示参考块相对于当前视频块的位置。运动矢量可描述例如运动矢量的水平位移分量(即MVx)、运动矢量的垂直位移分量(即MVy)和运动矢量的分辨率(例如,四分之一像素精度、二分之一像素精度、一像素精度、二像素精度、四像素精度)。先前解码的图片(其可包括在当前图片之前或之后输出的图片)可被组织成一个或多个参考图片列表,并且使用参考图片索引值来标识。此外,在帧间预测编码中,单预测是指使用来自单个参考图片的样本值生成预测,双预测是指使用来自两个参考图片的相应样本值生成预测。也就是说,在单预测中,单个参考图片和对应的运动矢量用于生成对当前视频块的预测,而在双预测中,第一参考图片和对应的第一运动矢量以及第二参考图片和对应的第二运动矢量用于生成对当前视频块的预测。在双预测中,将相应的样本值组合(例如,相加、舍入和裁剪,或根据权重进行平均)以生成预测。图片及其区域可基于哪些类型的预测模式可用于对其视频块进行编码而被分类。也就是说,对于具有B类型的区域(例如,B切片),可利用双预测、单预测和帧内预测模式,对于具有P类型的区域(例如,P切片),可利用单预测和帧内预测模式,对于具有I类型的区域(例如,I切片),只能利用帧内预测模式。如上所述,通过参考索引来识别参考图片。例如,对于P切片,可以存在单个参考图片列表RefPicList0,并且对于B切片,除了RefPicList0之外,可以存在第二独立参考图片列表RefPicList1。应当指出的是,对于B切片中的单预测,可使用RefPicList0或RefPicList1中的一者来生成预测。此外,应当指出的是,在解码过程期间,在开始对图片进行解码时,从存储在解码图片缓冲器(DPB)中的先前解码的图片生成参考图片列表。
此外,编码标准可支持各种运动矢量预测模式。运动矢量预测使能够基于另一运动矢量来导出用于当前视频块的运动矢量的值。例如,可以从当前视频块的空间相邻块和时间相邻块导出具有相关联的运动信息的一组候选块。此外,所生成的(或默认的)运动信息可用于运动矢量预测。运动矢量预测的示例包括高级运动矢量预测(AMVP)、时间运动矢量预测(TMVP)、所谓的“合并”模式,以及“跳过”和“直接”运动推理。此外,运动矢量预测的其他示例包括高级时间运动矢量预测(ATMVP)和空间-时间运动矢量预测(STMVP)。对于运动矢量预测,视频编码器和视频解码器两者执行相同的过程以导出一组候选。因此,对于当前视频块,在编码和解码期间生成相同的一组候选。
如上所述,对于帧间预测编码,先前编码的图片中的参考样本用于对当前图片中的视频块进行编码。在对当前图片进行编码时可用作参考的先前编码的图片被称为参考图片。应当指出的是,解码顺序不一定对应于图片输出顺序,即视频序列中图片的时间顺序。在ITU-T H.265中,当图片被解码时,其被存储到解码图片缓冲器(DPB)(其可被称为帧缓冲器、参考缓冲器、参考图片缓冲器等)。在ITU-T H.265中,存储到DPB的图片在被输出时从DPB中移除,并且不再需要用于编码后续图片。在ITU-TH.265中,在对切片标头进行解码之后,即,在对图片进行解码开始时,每个图片调用一次是否应从DPB中移除图片的确定。例如,参考图1,Pic3被示出为参考Pic2。类似地,Pic4被示出为参考Pic1。关于图1,假设图片数量对应于解码顺序,DPB将填充如下:在解码Pic1之后,DPB将包括{Pic1};在解码Pic2开始时,DPB将包括{Pic1};在解码Pic2之后,DPB将包括{Pic1,Pic2};在解码Pic3开始时,DPB将包括{Pic1,Pic2}。然后,将参考Pic2解码Pic3,并且在解码Pic3之后,DPB将包括{Pic1,Pic2,Pic3}。在解码Pic4开始时,图片Pic2和Pic3将被标记以从DPB中移除,因为它们不是解码Pic4(或任何后续图片,未示出)所需的,并且假设Pic2和Pic3已被输出,则DPB将被更新以包括{Pic1}。然后将使用参考Pic1对Pic4进行解码。标记图片以将其从DPB中移除的过程可以称为参考图片集(RPS)管理。
如上所述,帧内预测数据或帧间预测数据用于产生样本值的块的参考样本值。包括在当前PB或另一类型的图片区域结构和相关联的参考样本(例如,使用预测生成的那些)中的样本值之间的差可以被称为残差数据。残差数据可以包括对应于视频数据的每个分量的相应差值阵列。残差数据可能在像素域中。可对差值阵列应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换,以生成变换系数。应当指出的是,在ITU-T H.265、JVET-N1001和JVET-O2001中,CU与在CU级具有其根的变换单元(TU)结构相关联。即,为了生成变换系数,可以对差值的阵列进行划分(例如,可以将四个8×8变换应用于16×16残差值阵列)。对于视频数据的每个分量,差值的此类再分可被称为变换块(TB)。应当指出的是,在一些情况下,可以(在视频编码器中)应用核心变换和后续二次变换来生成变换系数。对于视频解码器,变换的顺序是相反的。
可以直接对变换系数或残差样本值执行量化过程(例如,就调色板编码量化而言)。量化通过限制为一组指定值的振幅来近似变换系数。量化实质上对变换系数进行缩放以便改变表示一组变换系数所需的数据量。量化可以包括将变换系数(或将偏移值添加到变换系数得到的值)除以量化缩放因子和任何相关联的取整函数(例如,取整为最接近的整数)。量化的变换系数可以被称为系数位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘,以及任何倒数取整或偏移加法运算。应当指出的是,如本文所用,术语量化过程在一些情况下可指除以缩放因子以生成位阶值,并且在一些情况下可指乘以缩放因子以恢复变换系数。也就是说,量化过程在一些情况下可以指量化,而在一些情况下可以指逆量化。此外,应当指出的是,虽然在下面的示例中的一些示例中关于与十进制记数法相关的算术运算描述了量化过程,但是这样的描述是为了说明的目的,并且不应该被解释为进行限制。例如,本文描述的技术可以在使用二进制运算等的设备中实现。例如,本文描述的乘法和除法运算可以使用移位运算等来实现。
可根据熵编码技术对量化的变换系数和语法元素(例如,指示视频块的编码结构的语法元素)进行熵编码。熵编码过程包括使用无损数据压缩算法对语法元素值进行编码。熵编码技术的示例包括内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间划分熵编码(PIPE)等。熵编码的量化变换系数和对应的熵编码的语法元素可形成可用于在视频解码器处再现视频数据的合规比特流。熵编码过程,例如CABAC,可以包括对语法元素进行二值化。二值化是指将语法元素的值转换为一个或多个位的序列的过程。这些位可以被称为“bin”。二值化可以包括以下编码技术中的一种或组合:固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码。例如,二值化可以包括使用8位固定长度二值化技术将语法元素的整数值5表示为00000101,或者使用一元编码二值化技术将整数值5表示为11110。如本文所用,术语固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码中的每一个可以指这些技术的一般实现和/或这些编码技术的更具体实现。例如,可以根据视频编码标准具体地定义Golomb-Rice编码实现。在CABAC的示例中,对于特定bin,上下文提供bin的最大概率状态(MPS)值(即,bin的MPS为0或1中的一者),以及bin是MPS或最小概率状态(LPS)的概率值。例如,上下文可以指示bin的MPS为0,并且bin为1的概率为0.3。应当指出的是,可以基于包括当前语法元素和/或先前编码的语法元素中的bin的先前编码的bin的值来确定上下文。例如,与相邻视频块相关联的语法元素的值可以用于确定当前bin的上下文。
图2A至图2B是示出对视频数据块进行编码的示例的概念图。如图2A所示,通过从当前视频数据块中减去一组预测值生成残差、对残差执行变换并且将变换系数量化来生成位阶值,对视频数据的当前块(例如,对应于视频分量的CB)进行编码。如图2B中所示,通过对位阶值执行逆量化,执行逆变换,并且将一组预测值加上所得残差来对当前视频数据块进行解码。应当指出的是,在图2A至图2B的示例中,重构块的样本值不同于被编码的当前视频块的样本值。具体地讲,图2B示出了重构误差,它是当前块与重构块之间的差值。这样,编码可被认为是有损的。然而,样本值的差值可被认为是重构视频的观看者可接受的或不可察觉的。
另外,如图2A至图2B所示,使用缩放因子阵列生成系数位阶值。在ITU-T H.265中,通过选择缩放矩阵并将缩放矩阵中的每个条目乘以量化缩放因子来生成缩放因子阵列。在ITU-T H.265中,部分地基于预测模式和颜色分量来选择缩放矩阵,其中定义了以下大小的缩放矩阵:4×4、8×8、16×16和32×32。应当指出的是,在一些示例中,缩放矩阵可以为每个条目提供相同的值(即,根据单个值缩放所有系数)。在ITU-T H.265中,可以由量化参数QP确定量化缩放因子的值。在ITU-T H.265中,对于8位的位深度,QP可以取0至51的52个值,QP变化1通常对应于量化缩放因子的值变化约12%。此外,在ITU-T H.265中,可以使用预测量化参数值(可以被称为预测QP值或QP预测值)和可选地发送信号通知的量化参数增量值(可以被称为QP增量值或增量QP值)来导出一组变换系数的QP值。在ITU-T H.265中,可以针对每个CU更新量化参数,并且可以针对亮度和色度通道中的每一个导出相应量化参数。
如上所述,相对于图2A至图2B所示的示例,重构块的样本值可不同于所编码的当前视频块的样本值。另外,应当指出的是,在一些情况下,逐块地对视频数据进行编码可能导致伪像(例如,所谓的块伪像、带伪像等)。例如,块伪像可能导致重建的视频数据的编码块边界可被用户在视觉上感知到。这样,可修改重构的样本值,以使所编码的当前视频块和重构块的样本值之间的差异最小化和/或尽量减少由视频编码过程引入的伪像。此类修改一般可称为滤波。应当指出的是,滤波可作为循环中滤波过程或循环后滤波过程的一部分发生。对于循环中滤波过程,滤波过程的所得样本值可用于预测视频块(例如,存储到参考帧缓冲器以用于在视频编码器处的后续编码以及在视频解码器处的后续解码)。对于循环后滤波过程,滤波过程的所得样本值仅作为解码过程的一部分输出(例如,不用于后续编码)。例如,就视频解码器而言,对于循环中滤波过程,滤波重构块所产生的样本值将用于后续解码(例如,存储到参考缓冲器)并且将被输出(例如,输出到显示器)。对于循环后滤波过程,重构块将用于后续解码,并且滤波重构块所产生的样本值将被输出。
解块(或去块)、解块滤波或应用解块滤波器是指平滑化相邻重构视频块的边界(即,使得观察者不易察觉到边界)的过程。平滑化相邻重构视频块的边界可以包括修改被包括在邻近边界的行或列中的样本值。ITU-T H.265提供了作为循环中滤波过程的一部分将解块滤波器应用于重构样本值的场景。ITU-T H.265包括可以用于修改亮度样本的两种类型的解块滤波器:Strong Filter(强滤波器),其修改与边界相邻的三行或列中的样本值;Weak Filter(弱滤波器),其修改与边界紧密相邻的行或列中的样本值并且有条件地修改从边界开始的第二行或列中的样本值。此外,ITU-T H.265包括一种类型的可用于修改色度样本的滤波器:普通滤波器。
除了作为循环中滤波过程的一部分应用解块滤波器之外,ITU-T H.265还提供了可在循环中滤波过程中应用样本自适应偏移(SAO)滤波的场景。在ITU-T H.265中,SAO是通过有条件地添加偏移值来修改区域中的解块样本值的过程。ITU-T H.265提供了可应用于CTB的两种类型的SAO滤波器:带偏移或边缘偏移。对于带偏移和边缘偏移中的每一者,比特流中包括四个偏移值。对于带偏移,所应用的偏移取决于样本值的振幅(例如,振幅被映射到带,这些带被映射到四个已用信号发送的偏移)。对于边缘偏移,所应用的偏移取决于具有水平、垂直、第一对角线或第二对角线边缘分类中的一者的CTB(例如,分类被映射到四个已用信号发送的偏移)。
另一种类型的滤波过程包括所谓的自适应环路滤波器(ALF)。在JEM中指定了使用基于块的适应的ALF。在JEM中,在SAO滤波器之后应用ALF。应当指出的是,可以独立于其他滤波技术将ALF应用于重构的样本。在视频编码器处应用在JEM中指定的ALF的过程可总结如下:(1)用于重构图像的亮度分量的每个2×2块根据分类索引进行分类;(2)导出每个分类索引的滤波器系数组;(3)针对亮度分量确定滤波决策;(4)针对色度分量确定滤波决策;以及(5)用信号发送滤波器参数(例如系数和决策)。
根据JEM中指定的ALF,根据分类索引C对每个2×2块进行分类,其中C为0至24的包括端值在内的范围内的整数。根据以下公式,C基于其方向性D以及活动性
Figure BDA0003427038460000161
的量化值来导出:
Figure BDA0003427038460000171
其中D和
Figure BDA0003427038460000172
水平方向、垂直方向和两个对角线方向的梯度使用1-D拉普拉斯计算,如下所示:
Figure BDA0003427038460000173
Figure BDA0003427038460000174
Figure BDA0003427038460000175
Figure BDA0003427038460000176
其中,索引i和j是指在2×2块中的左上角样本的坐标,并且R(i,j)指示坐标为(i,j)的重构样本。
水平方向和垂直方向的梯度的最大值和最小值可设定为:
Figure BDA0003427038460000177
Figure BDA0003427038460000178
并且两个对角线方向的梯度的最大值和最小值可设定为:
Figure BDA0003427038460000179
Figure BDA00034270384600001710
在JEM中,为了导出方向性D的值,将最大值和最小值彼此进行比较并且与两个阈值t1和t2进行比较:
步骤1.如果gmax h.v≤t1·gmin h.v和gmax d0,d1≤t1·gmin d0,d1两者为真,则将D设定为0。
步骤2.如果gmax h.v/gmin h.v>gmax d0,d1/gmin d0,d1,则从步骤3继续;否则,从步骤4继续。
步骤3.如果gmax h.v>t2·gmin h.v,则将D设定为2;否则,将D设定为1。
步骤4.如果gmax d0,d1>t2·gmin d0,d1,则将D设定为4;否则,将D设定为3。
在JEM中,如下计算活动性值A:
Figure BDA0003427038460000181
其中,A被进一步量化为0至4的包括端值在内的范围,并且量化值表示为
Figure BDA0003427038460000182
如上所述,在视频编码器处应用在JEM中指定的ALF包括为每个分类索引导出滤波器系数组并确定滤波决策。应当指出的是,滤波器系数组的导出和滤波决策的确定可以是迭代过程。即,可基于滤波决策来更新滤波器系数组,并且可基于更新的滤波器系数组来更新滤波决策,并且这可重复多次。此外,视频编码器可实现各种专用算法以确定滤波器系数组和/或确定滤波决策。无论怎样为每个分类索引导出滤波器系数组以及如何确定滤波决策,本文所述的技术通常都适用。
根据一个示例,通过初始为每个分类索引导出一组最佳滤波器系数,来导出滤波器系数组。通过在应用滤波之后将所需的样本值(即,源视频中的样本值)与重构样本值进行比较,并且通过在执行滤波之后将所需的样本值与重构样本值之间的误差平方和(SSE)最小化来导出最佳滤波器系数。然后以将为每个组导出的最佳系数用于对重构样本执行基本滤波,以便分析ALF的效果。即,可将所需的样本值、应用ALF之前的重构样本值,以及执行ALF之后的重构样本值进行比较以确定使用最佳系数应用ALF的效果。
根据JEM中的指定ALF,通过根据以下公式确定所得的样本值R'(i,j)来对每个重构的样本R(i,j)滤波,其中在以下公式中,L表示滤波器长度,并且f(k,l)表示经解码的滤波器系数。
Figure BDA0003427038460000191
应当指出的是,JEM定义了三种滤波器形状(5×5菱形、7×7菱形和9×9菱形)。应当指出的是,在JEM中,几何变换应用于滤波器系数f(k,l),具体取决于梯度值:gv、gh、gd1、gd2,如表1中提供。
梯度值 变换
g<sub>d2</sub>&lt;g<sub>d1</sub>并且g<sub>h</sub>&lt;g<sub>v</sub> 不变换
g<sub>d2</sub>&lt;g<sub>d1</sub>并且g<sub>v</sub>&lt;g<sub>h</sub> 对角线
g<sub>d1</sub>&lt;g<sub>d2</sub>并且g<sub>h</sub>&lt;g<sub>v</sub> 垂直翻转
g<sub>d1</sub>&lt;g<sub>d2</sub>并且g<sub>v</sub>&lt;g<sub>h</sub> 旋转
表1
其中对角线、垂直翻转和旋转定义如下:
对角线fD(k,l)=f(l,k),
垂直翻转:fv(k,l)=f(k,K-l–1)
旋转:fR(k,l)=f(K-l-1,k)
其中K为滤波器的大小,并且0≤k,1≤K-l为系数坐标,使得位置(0,0)位于左上角,并且位置(K-l,K-l)位于右下角。
JEM提供最多可用信号发送25组亮度滤波器系数(即,每个可能的分类索引一个)的场景。因此,可针对在对应图像区域中出现的每个分类索引来用信号发送最佳系数。然而,为了优化用信号发送滤波器系数组与滤波器效果之间的关系所需的数据量,可执行率失真(RD)优化。例如,JEM提供了可以使用将一组滤波器系数映射到每个分类索引的阵列将相邻分类组的滤波器系数组合并用信号发送的场景。此外,JEM还提供了时间系数预测可用于用信号发送系数的场景。即,JEM提供了通过继承用于参考图片的一组滤波器系数来基于参考图片的滤波器系数组预测当前图片的滤波器系数组的场景。JEM还提供了对于帧内预测图片,可将一组16个固定滤波器用于预测滤波器系数组的场景。如上所述,滤波器系数组的导出和滤波决策的确定可以是迭代过程。即,例如,可以基于用信号发送了多少组滤波器系数来确定ALF的形状,并且类似地,ALF是否被应用于图像的区域可基于用信号发送的滤波器系数组和/或滤波器的形状。应当指出的是,对于ALF滤波器,每个分量使用来自相应分量的一组样本值作为输入并导出输出样本值。即,ALF滤波器独立于另一个分量中的数据应用于每个分量。此外,应当指出的是,JVET-N1001和JVET-O2001指定解块滤波器、SAO滤波器和ALF滤波器,这些滤波器可被描述为通常基于ITU-T H.265和JEM中提供的解块滤波器、SAO滤波器和ALF滤波器。
视频采样格式(也可以被称为色度格式)可以相对于CU中包括的亮度样本的数量来定义CU中包括的色度样本的数量。例如,对于4:2:0采样格式,亮度分量的采样率是水平和垂直两个方向的色度分量的采样率的两倍。因此,对于根据4:2:0格式格式化的CU,用于亮度分量的样本阵列的宽度和高度是用于色度分量的每个样本阵列的宽度和高度的两倍。图3是示出根据4:2:0样本格式格式化的编码单元的示例的概念图。图3示出了色度样本相对于CU内的亮度样本的相对位置。如上所述,通常根据水平和垂直亮度样本的数量来定义CU。因此,如图3所示,根据4:2:0样本格式格式化的16×16CU包括亮度分量的16×16样本和用于每个色度分量的8×8样本。此外,在图3所示的示例中,示出了16×16CU的相邻视频块的色度样本相对于亮度样本的相对位置。对于根据4:2:2格式格式化的CU,亮度分量的样本阵列的宽度是每个色度分量的样本阵列的宽度的两倍,但是亮度分量的样本阵列的高度等于每个色度分量的样本阵列的高度。此外,对于根据4:4:4格式格式化的CU,亮度分量的样本阵列具有与每个色度分量的样本阵列相同的宽度和高度。参考图3,对于亮度样本,紧邻视频块上方的样本线可以被称为参考线0(RL0),并且后续的上述样本线可以分别被称为参考线1(RL1)、参考线2(RL2)和参考线3(RL3)。类似地,可以类似的方式将当前视频块左侧的样本列分类为参考线(即,可以将紧邻视频块左侧的样本线称为参考线0(RL0)。
应当指出的是,对于采样格式,例如4:2:0样本格式,可以指定色度位置类型。也就是说,例如对于4:2:0样本格式,可以相对于亮度样本为色度样本指定指示相对空间定位的水平偏移值和垂直偏移值。表2提供了针对JVET-N1001和JVET-O2001中提供的5种色度位置类型的HorizontalOffsetC和VerticalOffsetC的定义。另外,图4A至图4F示出了JVET-N1001和JVET-O2001中为4:2:0样本格式指定的色度位置类型。
ChromaLocType HorizontalOffsetC VerticalOffsetC
0 0 0.5
1 0.5 0.5
2 0 0
3 0.5 0
4 0 1
5 0.5 1
表2
关于本文所用的公式,可以使用以下算术运算符:
+加法
-减法
*乘法,包括矩阵乘法
xy求幂。将x指定为y的幂。在其他上下文中,此类符号用于上标而非旨在用于解释为求幂。
/将结果向着零截断的整数除法。例如,将7/4和-7/-4截断为1,将-7/4和7/-4截断为-1。
÷在不旨在进行截断或舍入情况下用于表示数学公式中的除法。
x/y在不旨在进行截断或舍入情况下用于表示数学公式中的除法。
x%y模量。x除以y的余数,仅针对x≥0且y>0的整数x和y定义。
此外,可以使用以下逻辑运算符:
x&&y x和y的布尔逻辑“和”
x||y x和y的布尔逻辑“或”
!布尔逻辑“否”
x?y:z如果x为TRUE或不等于0,则求值为y;否则,求值为z。
此外,可以使用以下关系运算符:
>大于
≥大于或等于
<小于
≤小于或等于
==等于
!=不等于
此外,可以使用以下逐位运算符:
&逐位“与”。当对整型变量进行运算时,对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时,通过添加等于0的更多有效位来扩展较短变量。
|逐位“或”。当对整型变量进行运算时,对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时,通过添加等于0的更多有效位来扩展较短变量。
^逐位“异或”。当对整型变量进行运算时,对整数值的二进制补码表示进行运算。当对包含比另一变量更少位的二进制变量进行运算时,通过添加等于0的更多有效位来扩展较短变量。
x>>y x的二进制补码整数表示算术右移y个二进制位。该函数仅针对y的非负整数值来定义。由于右移而移位到最高有效位(MSB)中的位具有等于移位操作之前的x的MSB的值。
x<<y x的二进制补码整数表示算术左移y个二进制位。该函数仅针对y的非负整数值来定义。由于左移而移位到最低有效位(LSB)中的位具有等于0的值。
此外,可以使用以下赋值运算符:
=赋值运算符
++递增,即,x++等同于x=x+1;当在阵列索引中使用时,在递增操作之前评估变量的值。
--递减,即,x--等同于x=x-1;当在阵列索引中使用时,在递减操作之前评估变量的值。
+=按指定量递增,即x+=3等同于x=x+3,并且x+=(-3)等同于x=x+(-3)。
-=按指定量递减,即x-=3等同于x=x-3,并且x-=(-3)等同于x=x-(-3)。
此外,可使用以下定义的数学函数:
Figure BDA0003427038460000231
Floor(x),小于或等于x的最大整数。
Log2(x),x的以2为底的对数。
Figure BDA0003427038460000232
Figure BDA0003427038460000233
Figure BDA0003427038460000234
图5是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码(例如,编码和/或解码)的系统的示例的框图。系统100表示可以根据本公开的一种或多种技术使用所述划分技术执行视频编码的系统的示例。如图5所示,系统100包括源设备102、通信介质110和目标设备120。在图5所示的示例中,源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据传输到通信介质110的任何设备。目标设备120可以包括被配置为经由通信介质110接收编码视频数据并且对编码视频数据进行解码的任何设备。源设备102和/或目标设备120可以包括配备用于进行有线和/或无线通信的计算设备,并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如,通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合操作。电信协议可以包括专有方面并且/或者可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第3代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存存储器、磁存储器或任何其他合适的数字存储介质。在一些示例中,存储器设备或其部分可以被描述为非易失性存储器,并且在其他示例中,存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如,安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
再次参考图5,源设备102包括视频源104、视频编码器106和接口108。视频源104可以包括被配置为捕获和/或存储视频数据的任何设备。例如,视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可以包括被配置为接收视频数据并生成表示视频数据的兼容比特流的任何设备。兼容比特流可以指视频解码器可以从其接收和再现视频数据的比特流。合规比特流的各方面可根据视频编码标准来定义。当生成兼容比特流时,视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收兼容视频比特流并且将该兼容视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡,并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外,接口108可以包括计算机系统接口,该计算机系统接口可以允许兼容视频比特流存储在存储设备上。例如,接口108可以包括支持外围组件互连(PCI)和外围组件快速互连(PCIe)总线协议、专用总线协议、通用串行总线(USB)协议、I2C的芯片组或可用于互连对等设备的任何其他逻辑和物理结构。
再次参考图5,目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收兼容视频比特流的任何设备。接口108可以包括网络接口卡诸如以太网卡,并且可以包括光收发器、射频收发器或者可以接收和/或发送信息的任何其他类型的设备。此外,接口122可以包括允许从存储设备检索兼容视频比特流的计算机系统接口。例如,接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、I2C的芯片组,或者可用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可以包括被配置为接收兼容比特流和/或其可接受变体,并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另外的类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。应当指出的是,虽然在图5所示的示例中,视频解码器124被描述为将数据输出到显示器126,但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如,视频解码器124可被配置为将视频数据输出到任何通信介质,如本文所述。
图6是示出可实现本文所述的用于对视频数据进行编码的技术的视频编码器200的示例的框图。应当指出的是,尽管示例性视频编码器200被示出为具有不同的功能块,但此类图示旨在用于描述目的,并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中,视频编码器200可被配置为根据本文描述的技术对视频数据进行编码。视频编码器200可执行图片区域的帧内预测编码和帧间预测编码,并且因此可被称为混合视频编码器。在图6所示的示例中,视频编码器200接收源视频块。在一些示例中,源视频块可以包括已经根据编码结构划分的图片区域。例如,源视频数据可以包括宏块、CTU、CB、其子分区和/或另外的等效编码单元。在一些示例中,视频编码器200可被配置为执行源视频块的附加细分。应当指出的是,无论在编码之前和/或期间如何划分源视频数据,本文所述的一些技术都可普遍适用于视频编码。在图6所示的示例中,视频编码器200包括求和器202、变换系数生成器204、系数量化单元206、逆量化/变换处理单元208、求和器210、帧内预测处理单元212、帧间预测处理单元214、滤波器单元216和熵编码单元218。
如图6所示,视频编码器200接收源视频块并输出比特流。视频编码器200可通过从源视频块中减去预测视频块来生成残差数据。求和器202表示被配置为执行该减法运算的部件。在一个示例中,视频块的减法发生在像素域中。变换系数生成器204将变换,诸如离散余弦变换(Discrete Cosine Transform,DCT)、离散正弦变换(Discrete Sine Transform,DST)或概念上类似的变换,应用到其残差块或子分区(例如,可以将四个8×8变换应用于16×16残差值阵列)以生成一组残差变换系数。变换系数生成器204可被配置为执行离散三角变换系列中包括的变换的任意和全部组合。如上所述,在ITU-T H.265中,TB被限制为以下大小4×4、8×8、16×16和32×32。在一个示例中,变换系数生成器204可被配置为根据大小为4×4、8×8、16×16和32×32的阵列执行变换。在一个示例中,变换系数生成器204可进一步被配置为根据其他尺寸的阵列执行变换。具体地,在一些情况下,对不同值组成的矩形阵列执行变换可能是有用的。在一个示例中,变换系数生成器204可被配置为根据以下阵列大小来执行变换:2×2、2×4N、4M×2和/或4M×4N。在一个示例中,二维(2D)M×N逆变换可实现为一维(1D)M点逆变换后再进行1D N点逆变换。在一个示例中,2D逆变换可实现为1D N点垂直变换后再进行1D N点水平变换。在一个示例中,2D逆变换可实现为1D N点水平变换后再进行1D N点垂直变换。变换系数生成器204可将变换系数输出到系数量化单元206。
系数量化单元206可被配置为执行变换系数的量化。如上所述,可以通过调整量化参数来修改量化程度。系数量化单元206可以进一步被配置为确定量化参数并且输出QP数据(例如,用于确定量化组大小和/或增量QP值的数据),视频解码器可以使用该QP数据来重构量化参数以在视频解码期间执行逆量化。应当指出的是,在其他示例中,可以使用一个或多个附加或另选的参数来确定量化位阶(例如,缩放因子)。本文所述的技术通常可应用于基于对应于视频数据的某一分量的变换系数的量化位阶,确定对应于视频数据的另一分量的变换系数的量化位阶。
再次参见图6,量化的变换系数被输出到逆量化/变换处理单元208。逆量化/变换处理单元208可被配置为应用逆量化和逆变换来生成重构残差数据。如图6所示,在求和器210处,重构残差数据可以被添加到预测视频块。这样,可以重构编码的视频块,并且可以使用所得重构视频块来评估给定的预测、变换和/或量化的编码质量。视频编码器200可被配置为执行多个编码回合(例如,在改变预测、变换参数和量化参数中的一者或多者的同时执行编码)。比特流的率失真或其他系统参数可以基于重构视频块的评估来优化。此外,重构视频块可被存储并用作预测后续块的参考。
如上所述,可以使用帧内预测来编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估帧和/或其区域并且确定用以对当前块进行编码的帧内预测模式。如图6所示,帧内预测处理单元212将帧内预测数据(例如,语法元素)输出到熵编码单元218和变换系数生成器204。如上所述,对残差数据执行的变换可以取决于模式。如上所述,可能的帧内预测模式可以包括平面预测模式、DC预测模式和角度预测模式。此外,在一些示例中,可以从用于亮度预测模式的帧内预测推断出对色度分量的预测。帧间预测处理单元214可被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的PU的运动矢量。运动矢量可以指示当前视频帧内的视频块的PU(或类似的编码结构)相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外,运动预测可以是单向预测(使用一个运动矢量)或双向预测(使用两个运动矢量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)或其他差值度量确定的像素差来选择预测块。如上所述,可以根据运动矢量预测来确定和指定运动矢量。如上所述,帧间预测处理单元214可被配置为执行运动矢量预测。帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如,帧间预测处理单元214可定位帧缓冲器内的预测视频块(图6中未示出)。应当指出的是,帧间预测处理单元214可以进一步被配置为将一个或多个内插滤波器应用于重构残差块,以计算用于运动估计的子整数像素值。帧间预测处理单元214可将所计算的运动矢量的运动预测数据输出到熵编码单元218。如图6所示,帧间预测处理单元214可经由滤波器单元216接收重构的视频块。熵编码单元218接收量化的变换系数和预测语法数据(即帧内预测数据、运动预测数据和QP数据等)。应当指出的是,在一些示例中,系数量化单元206可以在将系数输出到熵编码单元218之前执行对包括量化变换系数的矩阵的扫描。在其他示例中,熵编码单元218可执行扫描。熵编码单元218可以被配置为根据本文所述的技术中的一种或多种技术执行熵编码。熵编码单元218可被配置为输出兼容比特流(即视频解码器可从其接收和再现视频数据的比特流)。
再次参考图6,滤波器单元216可被配置为执行如上所述的解块滤波、样本自适应偏移(SAO)滤波和/或ALF滤波。此外,滤波器单元216可被配置为执行本文所述的用于根据交叉分量相关性来减小重构误差的一种或多种技术。如上所述,对于JEM中的ALF滤波器,每个分量使用来自相应分量的一组样本值作为输入,并且以独立于其他分量的方式导出输出样本值。按分量来独立第进行滤波可能不太理想,因为视频数据的分量和/或通道之间可能存在可用于使重构误差最小化的相关性。例如,参考图8,图8示出了8×8亮度源块和对应的4×4色度源块(即,根据4:2:0采样格式)以及对应的重构块和重构误差的示例。如图8所示,这两个源块包括围绕对角线的边缘,这在纹理、形状边缘等的情况下将是典型的。然而,对于重构色度分量,与亮度分量相比,保真性丢失(例如,由于高水平的量化等),并且边缘不会恢复。
根据本文的技术,滤波器单元可被配置为从第二颜色通道和/或分量中的信息预测和/或细化第一颜色通道和/或分量中的信息,这可提供第一颜色通道和/或分量的改善的编码效率,因为颜色通道和/或分量的保真性以少量位增加。图7示出了根据本公开的一种或多种技术的可被配置为对视频数据进行编码的交叉分量滤波器单元的示例。如图7所示,交叉分量滤波器单元300包括滤波器确定单元302和样本修改单元304。应当指出的是,交叉分量滤波器单元300示出了可存在于视频编码器中的交叉分量滤波器单元的示例。下文更详细地描述可存在于视频解码器中的对应交叉分量滤波器单元的示例。如图7所示,滤波器确定单元302和样本修改单元304可接收在当前块被编码/解码时可用的编码参数信息(例如,帧内预测模式),并且如图7所示,在视频编码器处的视频块数据可包括:交叉分量源块;交叉分量重构块;交叉分量重构误差;当前分量源块;当前分量重构块;和当前分量重构误差。也就是说,参考图8所示的示例,当要对色度重构块进行滤波时,图8中的所有信息可在交叉分量滤波器单元300处可用。因此,滤波器确定单元302可基于视频数据导出要在色度重构块上使用的滤波器,并且样本修改单元304可根据所导出的滤波器来执行滤波。如图7所示,样本修改单元304可将经修改的重构块输出到参考图片缓冲器(即,作为环路滤波器),并且将经修改的重构块输出到输出端(例如,显示器)。此外,如图7所示,滤波器确定单元302可输出滤波器数据。即,指定所导出的滤波器的滤波器数据可被发信号通知视频解码器。这种信令的示例在下文中进一步详细描述。应当注意,相对于图8,可以存在若干种减少视频编码器处的重构误差的方式,例如,减少量化和/或执行改进的预测技术。此外,在一些情况下,视频编码器可以直接发信号通知重构误差。然而,根据本文技术的交叉分量滤波提供了在减小重构误差的同时发信号通知相对少量的信息的方式。也就是说,例如,本文所述的交叉分量滤波技术可以提供一种方式来减小视频解码器处的重构误差,同时比用于减小重构误差的其他技术更有效。例如,与发信号通知分量的更高保真残差信息相比,发信号通知滤波器数据可能花费更少的位。
因此,交叉分量滤波器单元300可通过采用第一颜色分量和一种或多种第二颜色分量作为输入来操作,并且提供增强的第一颜色分量作为输出。应当指出的是,尽管相对于亮度分量、Cb分量和Cr分量描述了本文的示例,但是本文描述的技术通常适用于其他视频格式(例如,RGB)和其他类型的视频信息,诸如红外、深度、视差或其他特征。
以下公式提供了滤波器的模型的示例,该滤波器采用来自多个分量的样本值作为输入并且输出经滤波的样本值fi(x,y),因此,在一个示例中,交叉分量滤波器单元300可以基于该公式来实现滤波过程。
Figure BDA0003427038460000291
其中,
fi(x,y)
是样本位置(x,y)处的分量i的输出;
Si,0;Si1;和Si,2:定义相对于相应分0、1、2中的原点的一组样本值位置;
g(x,y,i,0)和h(x,y,i,0),g(x,y,i,1)和h(x,y,i,1),g(x,y,i,2)和h(x,y,i,2):基于x、y、i和输入分量确定支持的原点。函数g()、h()还可取决于色度格式、色度位置类型、色域、滤波器形状;
c0(x0,y0)、c1(x0,y0)和c2(x0,y0):是用于每个分量的支持区域的滤波器系数值;
I0、I1和I2:是来自每个分量的输入样本值;并且
Ii(x,y):是在样本位置(x,y)处的分量i在滤波之前的样本值。
因此,根据本文的技术,交叉分量滤波器单元300可以被配置为通过基于将其他分量的重构样本值作为输入的导出的滤波函数向当前分量的重构样本值添加细化,来减小当前分量的重构误差。在一个示例中,用作输入的其他分量的重构样本值可被称为滤波器支持。图9A至图9F是示出根据本公开的一种或多种技术的可用于交叉分量滤波的支持样本示例的概念图。在图9A至图9F所示的示例中,对于JVET-N1001和JVET-O2001中提供的4:2:0样本格式色度位置类型中的每一个类型,示出了用于要滤波的色度样本的亮度支持样本。即,可使用5×5、5×6、6×5和/或6×6支持样本。应当指出的是,在图9A至图9F的示例中,亮度支持被定义为关于色度样本值对称。应当指出的是,在其他示例中,亮度支持可以在被输入到不依赖于色度位置类型的滤波级之前经历相移,该相移具体取决于色度位置类型。如下面进一步详细描述的,对于每个支持样本,可以确定和发信号通知滤波器系数。在一个示例中,根据本文的技术,对于视频块中包括的色度样本,用于每个样本的支持的相对位置可以基于样本格式。例如,在一个示例中,根据本文的技术,对于4:2:0样本格式,当视频块中色度位置(xC,yC)处的色度样本对应于原点在亮度位置(xL,yL)处的支持时,用于该视频块中色度位置(xC+m,yC+n)处的色度样本的支持的原点可以在亮度位置(xC+2m,yC+2n)处;对于4:2:2样本格式,当视频块中色度位置(xC,yC)处的色度样本对应于原点在亮度位置(xL,yL)处的支持时,用于该视频块中色度位置(xC+m,yC+n)处的色度样本的支持的原点可以在亮度位置(xC+2m,yC+n)处;并且对于4:4:4样本格式,当视频块中色度位置(xC,yC)处的色度样本对应于原点在亮度位置(xL,yL)处的支持时,用于该视频块中色度位置(xC+m,yC+n)处的色度样本的支持的原点可以在亮度位置(xC+m,yC+n)处。应当指出的是,在该示例中,色度样本位置的偏移对应于支持的原点的亮度位置的偏移,其中这两个偏移之间的比率基于色度格式。
在一个示例中,根据本文的技术,交叉分量滤波的应用可以基于包括在滤波器支持区域中的样本的属性。例如,在一个示例中,可以分析支持区域中的亮度样本值,并且可以基于该分析来确定是否应用交叉分量滤波。例如,在一个示例中,可以计算支持区域中样本的方差和/或偏差,并且如果该方差和/或偏差具有某些特征,例如,该区域是平滑的(即,方差小于阈值),则可以不对该区域应用交叉分量滤波。在一个示例中,交叉分量滤波器选择(包括是否应用滤波器以及何时应用滤波器,应用哪种滤波器)可以基于与所评估的色度样本对应的亮度样本的亮度分类滤波器索引。在一个示例中,可以如JVET-O2001中所述导出用于亮度样本的分类滤波器索引。在一个示例中,当确定亮度分类滤波器索引在亮度分类滤波器索引的子集中时,可以不应用交叉分量滤波。如下文进一步详细描述的,局部区域控制标记和/或语法元素的值可用于指示/确定是否针对区域应用交叉分量滤波,以及如果要针对区域应用交叉分量滤波,则应用哪种交叉分量滤波器。在一个示例中,交叉分量滤波的应用可以基于滤波器支持区域中包括的样本的属性和/或局部区域控制标记和/或语法元素的值。也就是说,例如,如何分析亮度支持样本可以基于局部区域控制标记和/或语法元素(例如,如果标记==0,则计算/评估方差,否则计算/评估亮度分类滤波器索引)。此外,在一个示例中,滤波器选择基于语法元素的值和亮度支持样本的属性。例如,语法元素的值为0可以指示未对区域应用交叉分量滤波,语法元素的值为1并且亮度支持的方差大于阈值可以指示应用具有第一滤波器系数组的滤波器,语法元素的值为1并且亮度支持的方差不大于阈值可以指示应用具有第二滤波器系数组的滤波器,语法元素的值为2并且亮度支持的方差大于阈值可以指示应用具有第三滤波器系数组的滤波器,语法元素的值为2并且亮度支持的方差不大于阈值可以指示应用具有第四滤波器系数组的滤波器,等等。
本文所附附录提供了对应于本文所述的交叉分量滤波器的具体实施的数据集的示例。也就是说,在附录中,数据集orgBlock表示原始32×32U分量块的样本值;数据集preFilteringBlock表示重构的32×32U分量块的样本值;数据集orgError表示原始32×32U分量块与重构的32×32U分量块之间的重构误差;数据集bestSupportY表示67×68Y分量块的样本值,该分量块为滤波重构的32×32U分量块提供滤波器支持;数据集bestSupportU表示36×36U分量块的样本值,该分量块为滤波重构的32×32U分量块提供支持;数据集bestSupportV表示36×36UV量块的样本值,该分量块为滤波重构的32×32U分量块提供支持;数据集coeffY表示用于67×68Y分量支持块的样本值的5×6滤波器中的滤波器系数;数据集coeffU表示用于36×36U分量支持块的样本值的5×5滤波器中的滤波器系数;数据集coeffU表示用于36×36V分量支持块的样本值的5×5滤波器中的滤波器系数;数据集bestOutput表示经滤波的重构32×32U分量块的样本值;数据集bestError表示原始32×32U分量块与经滤波的重构32×32U分量块之间的误差;数据集signedimprovement等于Abs(orgError)-Abs(bestError),并且表示由滤波产生的重构误差的变化;并且数据集positive improve表示重构误差由于滤波而减小的重构样本值。因此,根据本文的技术,可通过应用交叉分量滤波器来减小一个或多个或大部分样本的重构误差。应当指出的是,对于特定类型的视频内容,根据数学关系改善的重构误差的量可具有基于如何改善视频的感知视觉质量的不同结果。即,例如,相对小的signedimprovement值可导致视觉质量的相对显著的改善。
如上所述,交叉分量滤波器单元300通常可通过采用第一颜色分量和一种或多种第二颜色分量作为输入来操作,并且提供增强的第一颜色分量作为输出。也就是说,由交叉分量滤波器单元300执行的滤波过程可以采用输入亮度样本值作为输入亮度样本值,该输入亮度样本值可以用于预测原始相应色度样本值之间的差值和基于该预测来输出细化的色度样本值。再次参考图8所示的示例,图10是示出根据本公开的一种或多种技术的使用交叉分量滤波来减小重构误差的示例的概念图。图10提供了一个示例,其中通过以下操作来减小重构误差:采用支持样本的平均值,并且如果该平均值大于90,则将平均值除以10加到重构样本;并且如果该平均值不大于90,则从重构样本减去平均值除以10。也就是说,在该示例中,预测滤波器通常被描述为:如果支持平均值大于threshold1,则将加上weight1乘以支持平均值;否则,加上weight2乘以支持平均值。如图10所示的示例所示,后滤波色度重构误差提供重构误差减小。因此,根据本文的技术,交叉分量滤波可以根据按照逻辑函数、阈值、权重等定义的交叉分量滤波器来减小重构误差。
如上所述,JVET-N1001和JVET-O2001包括解块滤波器、SAO滤波器和ALF滤波器,本文所述的交叉分量滤波器技术可以作为滤波器链中的各个点来执行。即,例如,在环路滤波的各个级执行。图11A至图11D是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。在图11A至图11D中,亮度SAO滤波器单元402表示被配置为对亮度样本值Y执行SAO滤波(例如,JVET-N1001或JVET-O2001中提供的SAO滤波)的滤波单元;Cb SAO滤波器单元404表示被配置为对色度Cb样本值执行SAO滤波(例如,JVET-N1001或JVET-O2001中提供的SAO滤波)的滤波单元;Cb SAO滤波器单元406表示被配置为对Cb样本值执行SAO滤波(例如,JVET-N1001或JVET-O2001中提供的SAO滤波)的滤波单元;亮度ALF滤波器单元408表示被配置为对亮度样本值Y执行ALF滤波(例如,JVET-N1001或JVET-O2001中提供的ALF滤波)的滤波单元;色度ALF滤波器单元410表示被配置为对色度样本值执行ALF滤波(例如,JVET-N1001或JVET-O2001中提供的ALF滤波)的滤波单元;亮度解块滤波器单元416表示被配置为对亮度样本值Y执行解块滤波(例如,JVET-N1001或JVET-O2001中提供的解块滤波)的滤波单元;Cb解块滤波器单元418表示被配置为对Cb样本值执行解块滤波(例如,JVET-N1001或JVET-O2001中提供的解块滤波)的滤波单元;并且Cr解块滤波器单元420表示被配置为对Cr样本值执行解块滤波(例如,JVET-N1001或JVET-O2001中提供的解块滤波)的滤波单元。此外,在图11A至图11D中,Cb交叉分量滤波器单元412表示被配置为根据本文所述的技术中的一种或多种生成Cb细化ΔCb的交叉分量滤波器的示例;并且Cr交叉分量滤波器单元414表示被配置为根据本文所述的技术中的一种或多种生成Cr细化ΔCr的交叉分量滤波器的示例。因此,如图11A至图11D所示,根据本文的技术的交叉分量滤波可以应用为滤波链中的各个点。即,可在滤波链中的各个点处接收交叉分量滤波输入,并且可在滤波链中的各个点处输出交叉分量滤波细化。应当指出的是,在图11B所示的示例中,亮度解块的输入用作滤波的输入,这可具有降低线缓冲器要求的优点。应当指出的是,在图11C所示的示例中,亮度解块的输出用作滤波的输入,这可具有降低线缓冲器要求、同时略微提高编码效率的优点。应当指出的是,在图11D所示的示例中,ALF亮度的输出用作滤波的输入,这可具有改善的编码效率的优点。
此外,本文所述的交叉分量滤波器技术还可包括在滤波器链中的各个点处执行剪辑操作。即,例如,在环路滤波器的各个级执行。图12A至图12B是示出根据本公开的一种或多种技术的可被配置为减小重构误差的交叉分量滤波器单元示例的框图。在图12A至图12B中,共同编号的元件在上文中相对于图11A至图11B描述过,并且削波单元422A至422D可被配置为执行基于相应分量的输出位深度的削波函数,例如Clip3(0,2BitDepthC-1,*)。应当指出的是,可基于是否执行特定类型的滤波来选择性地启用剪辑单元422A至422D。
图13A至图13B是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。图13A至图13B进一步示出了根据本文技术的交叉分量滤波可以应用于滤波链中的各个点。在图13A至图13C中,共同编号的元件如上所述。
此外,应当指出的是,在一些情况下,可能存在超过3个视频数据分量,例如,YUV+深度。本文所述的交叉分量滤波技术通常可适用于这些情况。在一些情况下,可在滤波操作之前执行对来自每个分量的输入样本值的预处理。例如,可以对输入样本值进行削波。此外,在一个示例中,削波范围可以针对每个系数而变化,并且可以在比特流中发信号通知。应当指出的是,在一些示例中,以下公式提供了用于预处理输入样本值的选项:
Ij(g(x,y,i,j)+xj,h(x,y,i,j)+yj)
=min(a,max(b,I′j(g(x,y,i,j)+xj,(x,y,i,j)+yj)-derivedValue))
此外,用于预处理输入样本值的另一选项可以如下:
Ij(g(x,y,i,j)+xj,(x,y,i,j)+yj)
=derivedValue+min(a,max(b,I′j(g(x,y,i,j)+xj,h(x,y,i,j)+yj)-derivedValue))
其中,
I’j(u,v):处理之前位置(u,V)处的样本值
derivedValue:是从I’,(*,*)中的值的子集导出的值,例如原点处为(a)Ij(g(x,y,i,j)+0,h(x,y,i,j)+0),原点周围为(b)
Figure BDA0003427038460000351
a:是在比特流中接收的值/从在比特流中接收的数据推断的值/从I’j(*,*)中的值的子集导出的值,并且
b:是在比特流中接收的值/从在比特流中接收的数据推断的值/从I’j(*,*)中的值的子集导出的值
在一个示例中,b可从a导出(例如,b=-a),以减少所需的信令量。
此外,在一个示例中,在交叉分量滤波器操作中使用的输入的一般化可以如下:
Figure BDA0003427038460000361
其中,Gn()是用于组合来自分量的样本值并获得对应于具有索引(xcj,ycj)的每个系数值的推导值的函数。函数Gi()可取决于色度格式、色度位置类型、色域、滤波器形状
在一个示例中,可以根据以下各项来执行交叉分量滤波:定义亮度的支持区域;对于4:2:0,以2X色度分量进行上采样以用作输入;从用于对应的色度分量的支持中减去导出的值(例如,对于10位色度为512,或局部平均值);然后取对应于所定义的支持区域的亮度样本值和色度样本值的采样乘积;以及使用该乘积作为滤波操作的输入之一。
此外,应当指出的是,在一些示例中,本文描述的交叉分量滤波技术可以对预测或残差执行。在一个示例中,如果使用域编码而不是渐进式编码,则对于亮度支持样本:在一个示例中,可以使用来自对应的亮度域中的一个的样本值,并且在另一个示例中,可以使用来自两个亮度域的样本值。
如上所述,对于每个支持样本,可确定滤波器系数并发信号通知该滤波器系数。也就是说,例如,可以发信号通知5×5、5×6、6×6和/或6×6滤波器系数。图14A至图14C示出了发信号通知用于5×5滤波器的滤波器系数的示例。图14D至图14F示出了发信号通知用于5×6(并且类似地,6×5)滤波器的滤波器系数的示例。图15A至图15D示出了发信号通知用于6×6滤波器的滤波器系数的示例。在图14A至图15D的每个图中,滤波器的相应滤波器系数由CN指示。因此,在向相同C值提供相同滤波器的多个位置的情况下,滤波器系数是相同的,即共享的。这样,减少了为滤波器发信号通知的滤波器系数的数量。例如,在图14D中,针对18个支持位置发信号通知14个滤波器系数。
在一个示例中,可能期望限制逐CTU处理样本的架构内的线缓冲器的数量。也就是说,例如,虚拟线边界为每个CTU提供了在较低CTU进入之前可处理水平VB上方的样本的位置,但是在较低CTU变得可用之前,水平VB下方的样本无法处理。JVET-N1001和JVET-O2001为亮度ALF和亮度SAO定义了水平虚拟线边界(VB)。根据本文的技术,该VB可重复用于本文定义的亮度输入-色度输出滤波器。此外,度直VB可重复用于本文定义的垂亮输入-色度输出滤波器,并且/或者VB的子集可重复用于本文定义的亮度输入-色度输出滤波器。此外,存在定义的两种情况,可针对这两种情况导出/修改亮度分量中的支持样本:当预先确定的亮度样本(对应于例如基于色度位置类型解码的色度样本)高于VB并且支持跨越VB时;以及当预先确定的亮度样本(对应于例如基于色度位置类型解码的色度样本)低于VB并且支持跨越VB时。在一个示例中,预先确定的样本是在对应于图14D所示的5×6亮度支持的系数C6的位置处的样本。图16A至图16D是示出根据本公开的一种或多种技术的可用于交叉分量滤波的虚拟线缓冲器示例的概念图。在图16A中,通过在虚拟线边界上方且最靠近虚拟线边界而且在同一列中复制样本来获得水平VB下方的样本。在图16B中,通过在虚拟线边界下方且最靠近虚拟线边界而且在同一列中复制样本来获得水平VB下方的样本。在一个示例中,亮度VB是来自水平CTU边界的四个样本。在一个示例中,每个CTU、SAO和ALF可以在右CTU进入之前在垂直VB的左侧处理样本,但是不能在右CTU可用之前在垂直VB的右侧处理样本。当支持跨越垂直虚拟边界(VB)时的示例性修改在图16C至图16D中示出。在图16C中,通过将样本向左且最靠近虚拟线边界且在同一行中复制来获得垂直VB右侧的样本。在图16D中,通过将样本向右且最靠近虚拟线边界且在同一行中复制来获得垂直VB左侧的样本。在一个示例中,亮度VB是来自垂直CTU边界的四个样本。在一个示例中,根据本文的技术,相对于生成用于水平VB的样本,可以考虑穿过支持区域的中心的垂直轴线和水平轴线。可通过将与垂直轴线相距相同距离但在垂直轴线的相对侧上的样本复制在一列中来获得所复制的样本。在一个示例中,所复制的样本可从与水平轴线相距相同距离但在相对侧上的行复制。在一个示例中,根据本文的技术,相对于生成用于垂直VB的样本,可以考虑穿过支持区域的中心的垂直轴线和水平轴线。可通过将与垂直轴线相距相同距离但在水平轴线的相对侧上的样本复制在一行中来获得所复制的样本。在一个示例中,所复制的样本可从与垂直轴线相距相同距离但在相对侧上的列复制。在一个示例中,根据本文的技术,相对于生成用于VB的样本,可以通过对称填充来获得样本。也就是说,相对于水平VB,可以从同一列以距VB相同的样本距离并相对于垂直VB复制样本,可以从同一行以距VB相同的样本距离复制样本。即,样本值关于VB镜像。应当指出的是,JVET-O2001的第8.8.5.2节“用于亮度样本的编码树块滤波过程”提供了用于跨虚拟边界的亮度样本的填充方案,以用于相对于ALF过程使用。在一个示例中,根据本文的技术,对于交叉分量滤波,可以使用类似的填充方案。
在一个示例中,根据本文的技术,交叉分量滤波包括在将输出添加到对应的色度ALF输出之前缩放交叉分量滤波的输出。
即,缩放操作可用于将滤波器系数转换为整数,例如如下:
Figure BDA0003427038460000381
其中,在一个示例中,factor=2BitDepthC,在另一个示例中,factor=2(BitDepthC-1)),在另一个示例中,factor=2(8-l)
在一个示例中,缩放因子可用于如下调整交叉分量滤波的输出:
Figure BDA0003427038460000391
应当指出的是,如果factor=2X,则这对应于右移位整数舍入(fi(x,y)+2(x-1))>>x
如上所述,指定所导出的滤波器的滤波器数据可被发信号通知视频解码器。在一个示例中,发信号通知滤波器数据可存在三个主要方面:打开/关闭滤波器;工具的局部控制,例如,在一些空间区域中而不是在其他空间区域中启用工具;以及特定滤波器的信令。在一个示例中,参数集(例如序列参数集)可有条件地包括启用/禁用滤波器的标记。在一个示例中,该标记可指示是否启用了一个或多个滤波器,例如ALF滤波器和交叉分量滤波器。
在一个示例中,可以使用滤波器系数的切片级信令。表3至表5示出了可包括在用于发信号通知滤波器系数的切片标头中的语法的示例。应当指出的是,在表3中,对于语法元素lice_cross_component_alf_cb_log2_control_size_minus4和slice_cross_component_alf_cr_log2_control_size_minus4,在一个示例中,可以使用截断的一元编码来代替ue(v),其中截断的一元的最大值基于有效范围。
Figure BDA0003427038460000401
表3
Figure BDA0003427038460000402
表4
Figure BDA0003427038460000411
表5
对于表3至表5,在一个示例中,语义可以基于以下内容:
slice_cross_component_alf_cb_enabled_flag等于0指定不将交叉分量自适应环路滤波器应用于Cb颜色分量。slice_cross_component_alf_cb_enabled_flag等于1表明将交叉分量自适应环路滤波器应用于Cb颜色分量。
slice_cross_component_alf_cr_enabled_flag等于0指定不将交叉分量自适应环路滤波器应用于Cr颜色分量。slice_cross_component_alf_cb_enabled_flag等于1表明将交叉分量自适应环路滤波器应用于Cr颜色分量。
slice_cross_component_alf_cb_log2_control_size_minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCbW=AlfCCSamplesCbH=2(slice _cross_component_alf_cb_log2_control_size_minus4+4)
slice_cross_component_alf_cb_log2_control_size_minus4应在0至3的范围内(包括端值)。
slice_cross_component_alf_cr_log2_control size minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCrW=AlfCCSamplesCrH=2(slice _cross_component_alf_cr_log2_control_size_minus4+4)
slice_cross_component_alf_cr_log2_control_size_minus4应在0至3的范围内(包括端值)。
应当指出的是,在一个示例中,slice_cross_component_alf_cb_log2_control_size_minus4和/或slice_cross_component_alf_cr_log2_control_size_minus4的方位可在参数集例如SPS中定义。
在一个示例中,minusX编码取决于为有效范围定义的最小值,例如,如果有效范围为2至5,则X=2。
在一个示例中,可在SPS中发信号通知或从CTU大小导出(例如,与色度样本中的CTU大小相同)slice_cross_component_alf_cb_log2_control_size_minus4和/或slice_cross_component_alf_cr_log2_control_size_minus4。
alf_cross_component_cb_filter_signal_flag等于1指定发信号通知交叉分量Cb滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cb滤波器组。
alf_cross_component_cb_min_eg_order_minus1加1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cb_eg_order_increase_flag[i]等于1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cb_eg_order_increase_flag[i]等于0指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_delta_abs[j]的值的指数Golomb代码的阶数expGoOrderCb[i]如下导出:
expGoOrderCb[i]=(i==0?alf_cross_component_cb_min_eg_order_minus1+1:
expGoOrderCb[i-1])+alf_cross_component_cb_eg_order_increase_flag[i]
alf_cross_component_cb_coeff_delta_abs[j]指定发信号通知的交叉分量Cb滤波器的第j个系数delta的绝对值。当alf_luma_cross_component_cb_coeff_delta_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCb[]={0,2,2,2,1,2,2,2,2,2,2,1,2,1}
k=expGoOrderCb[golombOrderIdxCb[j]]
alf_cross_component_cb_coeff_sign[j]如下指定第j个交叉分量Cb滤波器系数的符号:
-如果alf_cross_component_cb_coeff_sign[j]等于0,则对应的色度滤波器系数具有正值。
-否则(alf_cross_component_cb_coeff_sign[j]等于1),对应的色度滤波器系数具有负值。
当alf_cross_component_cb_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffCb[j],j=0..13的交叉分量Cb滤波器系数AlfCCCoeffcb如下导出:
AlfCCCoeffCb[j]=alf_cross_component_cb_coeff_abs[j]*(1-2*alf_cross_component_cb_coeff_sign[j])
比特流符合性要求AlfCCCoeffcb[j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。应当指出的是,在一些示例中,该范围可以取决于亮度/色度或其子集的位深度。
alf_cross_component_cr_filter_signal_flag等于1指定发信号通知交叉分量Cr滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cr滤波器组。
alf_cross_component_cr_min_eg_order_minus1加1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cr_eg_order_increase_flag[i]等于1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数递增1。
alf_cross_component_cr_eg_order_increase_flag[i]等于0指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_delta_abs[j]的值的指数Golomb代码的阶数expGoOrderCr[i]如下导出:
expGoOrderCr[i]=(i==0?alf_cross_component_cr_min_eg_order_minus1+1:
expGoOrderCrf i-1])+alf_cross_component_cr_eg_order_increase_flag[i]
alf_cross_component_cr_coeff_delta_abs[j]指定发信号通知的交叉分量Cr滤波器的第j个系数delta的绝对值。当alf_luma_cross component_cr_coeff_delta_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCr[]={0,1,2,1,0,1,2,2,2,2,2,1,2,1}
k=expGoOrderCr[golombOrderIdxCr[j]]
alf_cross_component_cr_coeff_sign[j]如下指定第j个交叉分量Cr滤波器系数的符号:
-如果alf_cross_component_cr_coeff_sign[j]等于0,则对应的色度滤波器系数具有正值。
-否则(alf_cross_component_cr_coeff_sign[j]等于1),对应的色度滤波器系数具有负值。
当alf_cross_component_cr_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffCr[j],j=0..13的交叉分量Cr滤波器系数AlfCCCoeffCr如下导出:
AlfCCCoeffCr[j]=alf_cross_component_cr_coeff_abs[j]*(1-2*alf_cross_component_cr_coeff_sign[j])
比特流符合性要求AlfCCCoeffCr[j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。应当指出的是,在一些示例中,该范围可以取决于亮度/色度或其子集的位深度。
在另一个示例中,可在切片标头中发送指向包含对应的滤波器系数数据的APS的一个或多个指针。表6至表7示出了根据该示例的可包括在用于发信号通知滤波器系数的切片标头中的语法示例。
Figure BDA0003427038460000451
表6
Figure BDA0003427038460000461
Figure BDA0003427038460000471
表7
对于表6至表7,在一个示例中,语义可以基于以下内容:
slice_cross_component_alf_cb_enabled_flag等于0指定不将交叉分量Cb滤波器应用于Cb颜色分量。slice_cross_component_alf cb_enabled flag等于1表明将交叉分量自适应环路滤波器应用于Cb颜色分量。
slice_cross_component_alf_cr_enabled_flag等于0指定不将交叉分量Cr滤波器应用于Cr颜色分量。slice_cross_component_alf_cb_enabled_flag等于1表明将交叉分量自适应环路滤波器应用于Cr颜色分量。
slice_cross_component_alf_cb_aps_id指定切片的Cb颜色分量所标引的adaptation_parameter_set_id。当slice_cross_component_alf_cb_aps_id不存在时,推断其等于slice_alf_aps_id_luma[0]。具有等于slice_cross_component_alf_cb_aps_id的adaptation_parameter_set_id的ALF APS NAL单元的Temporalld应小于或等于编码切片NAL单元的Temporalld。
slice_cross_component_alf_cr_aps_id指定切片的Cr颜色分量所标引的adaptation_parameter_set_id。当slice_cross_component_alf_cr_aps_id不存在时,推断其等于slice_alf_aps_id_luma[0]。具有等于slice_cross_component_alf_cr_aps_id的adaptation_parameter_set_id的ALF APS NAL单元的Temporalld应小于或等于编码切片NAL单元的Temporalld。
slice_cross_component_alf_cb_log2_control_size_minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCbW=AlfCCSamplesCbH=2(slice _cross_component_alf_cb_log2_control_size_minus4+4)
slice_cross_component_alf_cb_log2_control_size_minus4应在0至3的范围内(包括端值)。
slice_cross_component_alf_cr_log2_control_size_minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCrW=AlfCCSamplesCrH=2(slice _cross_component_alf_cb_log2_control_size_minus4+4)
slice_cross_component_alf_cr_log2_control_size_minus4应在0至3的范围内(包括端值)。
alf_luma_filter_signal_flag等于1指定发信号通知亮度滤波器组。alf_luma_filter_signal_flag等于0指定不发信号通知亮度滤波器组。当alf_luma_filter_signal_flag不存在时,推断其等于0。
alf_chroma_filter_signal_flag等于1指定发信号通知色度滤波器。alf_chroma_filter_signal_flag等于0指定不发信号通知色度滤波器。当alf_chroma_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cb_filter_signal_flag等于1指定发信号通知交叉分量Cb滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cb滤波器组。当alf_cross_component_cb_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cr_filter_signal_flag等于1指定发信号通知交叉分量Cr滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cr滤波器组。当alf_cross_component_cr_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cb_min_eg_order_minus1加1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数。arf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cr_min_eg_order_minus1加1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cb_eg_order_increase_flag[i]等于1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cb_eg_order_increase_flag[i]等于0指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_delta_abs[j]的值的指数Golomb代码的阶数expGoOrderCb[i]如下导出:
expGoOrderCb[i]=(i==0?alf_cross_component_cb_min_eg_order_minus1+1:
expGoOrderCb[i-1])+alf_cross_component_cb_eg_order_increase_flag[i]
alf_cross_component_cr_eg_order_increase_flag[i]等于1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cr_eg_order_increase_flag[i]等于0指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_delta_abs[j]的值的指数Golomb代码的阶数expGoOrderCr[i]如下导出:
expGoOrderCr[i]=(i==0?alf_cross_component_cr_min_eg_order_minus1+1:
expGoOrderCr[i-1])+alf_cross_component_cr_eg_order_increase_flag[i]
alf_cross_component_cb_coeff_delta_abs[j]指定发信号通知的交叉分量Cb滤波器的第j个系数delta的绝对值。当alf_luma_cross_component_cb_coeff_delta_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCb[]={0,2,2,2,1,2,2,2,2,2,2,1,2,1}[这些可以将系数分类为3个类别,每个类别使用相同的k阶指数Golomb代码]
k=expGoOrderCb[golombOrderIdxCb[j]]
alf_cross_component_cr_coeff_delta_abs[j]指定发信号通知的交叉分量Cr滤波器的第j个系数delta的绝对值。当alf_luma_cross_component_cr_coeff_delta_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCr[]={0,1,2,1,0,1,2,2,2,2,2,1,2,1[这些可以将系数分类为3个类别,每个类别使用相同的k阶指数Golomb代码]
k=expGoOrderCr[golombOrderldxCr[j]]
alf_cross_component_cb_coeff_sign[j]如下指定第j个交叉分量Cb滤波器系数的符号:
-如果alf_cross_component_cb_coeff_sign[j]等于0,则对应的交叉分量Cb滤波器系数具有正值。
-否则(alf_cross_component_cb_coeff_sign[j]等于1),对应的交叉分量Cb滤波器系数具有负值。
当alf_cross_component_cb_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffcb[adaptation_parameter_set__id][j],j=0..13的交叉分量Cb滤波器系数AlfCCCoeffcb[adaptation_parameter_set_id]如下导出:
AlfCCCoeffcb[adaptation_parameter_set_id][j]=alf_cross_component_cb_coeff_abs[j]*(1-2*alf_cross_component_cb_coeff_sign[j])
比特流符合性要求AlfCCCoeffcb[adaptation_parameter_set_id][j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。
alf_cross_component_cr_coeff sign[j]如下指定第j个交叉分量Cr滤波器系数的符号:
-如果alf_cross_component_cr_coeff_sign[j]等于0,则对应的交叉分量Cr滤波器系数具有正值。
-否则(alf_cross_component_cr_coeff_sign[j]等于1),对应的交叉分量Cr滤波器系数具有负值。
当alf_cross_component_cr_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffCr[adaptation_parameter_set_id][j],j=0..13的交叉分量Cr滤波器系数AlfCCCoeffcr[adaptation_parameter_set_id]如下导出:
AlfCCCoeffCr[adaptation_parameter_set_id][j]=alf_cross_component_cr_coeff_abs[j]*(1-2*alf_cross_component_cr_coeff_sign[j])
比特流符合性要求AlfCCCoeffCr[adaptation_parameter_set_id][j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。
应当指出的是,-210-1至210-1的范围可改变。应当指出的是,在一些示例中,该范围可以取决于亮度/色度或其子集的位深度。
对于表6,在一个示例中,可以使用表8A中提供的alf_data()语法结构。
Figure BDA0003427038460000521
表8A
对于表8A,在一个示例中,语义可以基于以下内容:
alf_luma_filter_signal_flag等于1指定发信号通知亮度滤波器组。alf_luma_filter_signal_flag等于0指定不发信号通知亮度滤波器组。当alf_luma_filter_signal_flag不存在时,推断其等于0。
alf_chroma_filter_signal_flag等于1指定发信号通知色度滤波器。alf_chroma_filter_signal_flag等于0指定不发信号通知色度滤波器。当alf_chroma_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cb_filter_signal_flag等于1指定发信号通知交叉分量Cb滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cb滤波器组。当alf_cross_component_cb_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cr_filter_signal_flag等于1指定发信号通知交叉分量Cr滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cr滤波器组。当alf_cross_component_cr_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cb_min_eg_order_minus1加1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cr_min_eg_order_minus1加1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1的值应在0至9的范围内(包括端值)。应当指出的是,在一些示例中,该范围可改变。
alf_cross_component_cb_eg_order_increase_flag[i]等于1指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cb_eg_order_increase_flag[i]等于0指定用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_abs[j]的值的指数Golomb代码的阶数expGoOrderCb[i]如下导出:
expGoOrderCb[i]=(i==0?alf_cross_component_cb_min_eg_order_minus1+1:expGoOrderCb[i-1])+alf_cross_component_cb_eg_order_increase_flag[i]
在一个示例中,可以使用对应于用于交叉分量Cb滤波器系数信令的指数Golomb代码的最小阶数的预先确定的值。
在一个示例中,可以在比特流中发信号通知对应于用于所有Cb滤波器系数的交叉分量的指数Golomb代码的最小阶数的单个值。
alf_cross_component_cr_eg_order_increase_flag[i]等于1指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cr_eg_order_increase_flag[i]等于0指定用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_abs[j]的值的指数Golomb代码的阶数expGoOrderCr[i]如下导出:
expGoOrderCr[i]=(i==0?alf_cross_component_cr_min_eg_order_minus1+1:
expGoOrderCr[i-1])+alf_cross_component_cr_cg order_increase_flag[i]
在一个示例中,使用对应于用于交叉分量Cr滤波器系数信令的指数Golomb代码的最小阶数的预先确定的值。
在一个示例中,在比特流中发信号通知对应于用于所有Cr滤波器系数的交叉分量的指数Golomb代码的最小阶数的单个值。
alf_cross_component_cb_coeff_abs[j]指定发信号通知的交叉分量Cb滤波器的第j个系数的绝对值。当alf_cross_component_cb_coeff_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCb[]={0,2,2,2,1,2,2,2,2,2,2,1,2,1}[这些可以将系数分类为3个类别,每个类别使用相同的k阶指数Golomb代码]
k=expGoOrderCb[golombOrderIdxCb[j]]
在一个示例中,ue(v)编码可用于发信号通知语法元素alf_cross_component_cb_coeff_abs[j]的值。
alf_cross_component_cr_coeff_abs[j]指定发信号通知的交叉分量Cr滤波器的第j个系数的绝对值。当alf_cross_component_cr_coeff_abs[j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCr[]={0,1,2,1,0,1,2,2,2,2,2,1,2,1}[这些可以将系数分类为3个类别,每个类别使用相同的k阶指数Golomb代码]
k=expGoOrderCr[golombOrderIdxCr[j]]
在一个示例中,ue(v)编码用于发信号通知语法元素alf_cross_component_cr_coeff_abs[j]的值。
alf_cross_component_cb_coeff_sign[j]如下指定第j个交叉分量Cb滤波器系数的符号:
-如果alf_cross_component_cb_coeff_sign[j]等于0,则对应的交叉分量Cb滤波器系数具有正值。
-否则(alf_cross_component_cb_coeff_sign[j]等于1),对应的交叉分量Cb滤波器系数具有负值。
当alf_cross_component_cb_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffCb[adaptation_parameter_set_id][j],j=0..13的交叉分量Cb滤波器系数AlfCCCoeffcb[adaptation_parameter_set_id]如下导出:
AlfCCCoeffcb[adaptation_parameter_set_id][j]=alf_cross_component_cb_coeff_abs[j]*(1-2*alf_cross_component_cb_coeff_sign[j])
比特流符合性要求AlfCCCoeffcb[adaptation_parameter_set_id][j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。
alf_cross_component_cr_coeff_sign[j]如下指定第j个交叉分量Cr滤波器系数的符号:
-如果alf_cross_component_cr_coeff_sign[j]等于0,则对应的交叉分量Cr滤波器系数具有正值。
-否则(alf_cross_component_cr_coeff_sign[j]等于1),对应的交叉分量Cr滤波器系数具有负值。
当alf_cross_component_cr_coeff_sign[j]不存在时,推断其等于0。
具有元素AlfCCCoeffCr[adaptation_parameter_set_id][j],j=0..13的交叉分量Cr滤波器系数AlfCCCoeffcr[adaptation_parameter_set_id]如下导出:
AlfCCCoeffCr[adaptation_parameter_set_id][j]=alf_cross_component_cr_coeff_abs[j]*(1-2*alf_cross_component_cr_coeff_sign[j])
比特流符合性要求AlfCCCoeffCr[adaptation_parameter_set_id][j],j=0..13的值应在-210-1至210-1的范围内(包括端值)。
在一个示例中,可以使用表8B中提供的alf_data()语法结构。应当指出的是,在表8B中,当在APS中发信号通知系数时,使用minus1编码发信号通知滤波器的数量。
Figure BDA0003427038460000571
Figure BDA0003427038460000581
表8B
对于表8B,在一个示例中,语义可以基于以下内容:
alf_cross_component_cb_filter_signal_flag等于1指定发信号通知交叉分量Cb滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cb滤波器组。当alf_cross_component_cb_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cr_filter_signal_flag等于1指定发信号通知交叉分量Cr滤波器组。alf_cross_component_cb_filter_signal_flag等于0指定不发信号通知交叉分量Cr滤波器组。当alf_cross_component_cr_filter_signal_flag不存在时,推断其等于0。
alf_cross_component_cb_filters_signalled_minus1加1指定发信号通知其系数的交叉分量Cb滤波器组的数量。alf_cross_component_cb_filters_signalled_minus1的值应在0至NumCcAlfCbFilters-1的范围内(包括端值)。
NumCcAlfCbFilters表示视频序列中允许的交叉分量Cb滤波器组的最大数量。在一个示例中,NumCcAlfCbFilters可被设定为预先确定的非负整数值。在一个示例中,在例如SPS、PPS的参数集中发信号通知NumCcAlfCbFilters。
alf_cross_component_cb_min_eg_order_minus1[k]加1指定用于第k个交叉分量Cb滤波器系数组信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order_minus1[k]的值应在0至9的范围内(包括端值)。
alf_cross_component_cb_eg_order_increase_flag[k][i]等于1指定用于第k个交叉分量Cb滤波器系数组信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cb_eg_order_increase_flag[k][i]等于0指定用于第k个交叉分量Cb滤波器系数组信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_abs[k][j]的值的指数Golomb代码的阶数expGoOrderCb[k][i]如下导出:
expGoOrderCb[k][i]=(i==0?alf_cross_component_cb_min_eg_order_minus1[k]+1:expGoOrderCbf k][i-1])+alf_cross_component_cb_eg_order_increase_flag[k][i]
alf_cross_component_cb_coeff_abs[k][j]指定发信号通知的第k个交叉分量Cb滤波器组的第j个系数的绝对值。当alf cross component_cb_coeff_abs[k][j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCb[]={0,2,2,2,1,2,2,2,2,2,2,1,2,1}[注意,这些可以将系数分类为3个类别,每个类别使用相同的阶数1指数Golomb代码]
k=expGoOrderCb(golombOrderIdxCb[j]]
alf_cross_component_cb_coeff_sign[k][j]如下指定第k个交叉分量Cb滤波器系数组的第j个系数的符号:
-如果alf_cross_component_cb_coeff_sign[k][j]等于0,则对应的交叉分量Cb滤波器系数具有正值。
-否则(alf_cross_component cb_coeff_sign[k][j]等于1),对应的交叉分量Cb滤波器系数具有负值。
当alf_cross_component_cb_coeff_sign[k][j]不存在时,推断其等于0。
具有元素AlfCCCoeffcb[adaptation_parameter_set_id][k][j],j=0..13的交叉分量Cb滤波器系数AlfCCCoeffcb[adaptation_parameter_set_id][k]如下导出:
AlfCCCoeffcb[adaptation_parameter_set_id][k][j]=alf_cross_component_cb_coeff_abs[k][j]*(1-2*alf_cross_component_cb_coeff_sign[k][j])
比特流符合性要求AlfCCCoeffcb[adaptation parameier_set_id][k][j],j=0..13的值应在-27至27-1(包括端值)的范围内。
alf_cross_component_cr_fllters_signalled_minus1加1指定发信号通知其系数的交叉分量Cr滤波器组的数量。alf_cross_component_cr_filters_signalled_minus1的值应在0至NumCcAlfCrFilters-1的范围内(包括端值)。
NumCcAlfCrFilters表示视频序列中允许的交叉分量Cr滤波器组的最大数量。在一个示例中,可将NumCcAlfCrFilters设置为预先确定的非负整数值。在一个示例中,在例如SPS、PPS的参数集中发信号通知NumCcAlfCrFilters。
alf_cross_component_cr_min_eg_order_minus1[k]加1指定用于第k个交叉分量Cr滤波器系数组信令的指数Golomb代码的最小阶数。alf_cross_component_cb_min_eg_order minus1[k]的值应在0至9的范围内(包括端值)。
alf_cross_component_cr_eg_order_increase_flag[k][i]等于1指定用于第k个交叉分量Cr滤波器系数组信令的指数Golomb代码的最小阶数递增1。alf_cross_component_cr_eg_order_increase_flag[k][i]等于0指定用于第k个交叉分量Cr滤波器系数组信令的指数Golomb代码的最小阶数不递增1。
用于解码alf_cross_component_cb_coeff_abs[k][j]的值的指数Golomb代码的阶数expGoOrderCr[k][i]如下导出:
expGoOrderCr[k][i]=(i==0?alf_cross_component_cr_min_eg_order_minus1[k]+1:expGoOrderCr[k][i-1])+alf_cross_component_cr_eg_order_increase_flag[k][i]
alf_cross_component_cr_coeff_abs[k][j]指定发信号通知的第k个交叉分量Cr滤波器组的第j个系数的绝对值。当alf_cross_component_cr_coeff_abs[k][j]不存在时,推断其等于0。
指数Golomb二值化uek(v)的阶数k如下导出:
golombOrderIdxCr[]={0,1,2,1,0,1,2,2,2,2,2,1,2,1}[注意,这些可以将系数分类为3个类别,每个类别使用相同的k阶指数Golomb代码]
k=expGoOrderCr[golombOrderIdxCr[j]]
alf_cross_component_cr_coeff_slgn[k][i]如下指定第k个交叉分量Cr滤波器系数组的第j个系数的符号:
-如果alf_cross_component_cr_coeff_sign[k][j]等于0,则对应的交叉分量Cr滤波器系数具有正值。
-否则(alf_cross_component_cr_coeff_sign[k][j]等于1),对应的交叉分量Cr滤波器系数具有负值。
当alf_cross_component_cr_coeff_sign[k][j]不存在时,推断其等于0。
具有元素AlfCCCoeffCr[adaptation_parameter_set_id][k][j],j=0..13的交叉分量Cr滤波器系数AlfCCCoeffCr[adaptation_parameter_set_id][k]如下导出:
AlfCCCoeffCr[adaptation_parameter_set_id][k][j]=alf_cross_component_cr_coeff_abs[k][j]*(1-2*alf_cross_componcnt_cr coeff_sign[k][j])
比特流符合性要求AlfCCCoeffCr[adaptation_parameter_set_id][k][j],j=0..13的值应在-27至27-1的范围内(包括端值)。
对于表8B,在一个示例中,对于语法元素alf_cross_component_cb_coeff_abs[k][i]和alf_cross_component_cr_coeff_abs[k][i],表示k阶指数golomb编码的uek(v)的k可以对应于预先确定的值。因此,不必在比特流中发信号通知“k”。在一个示例中,在这种情况下,可以使用表8C中提供的alf_data()语法结构。
Figure BDA0003427038460000621
表8C
对于表8C,在一个示例中,语义可基于上面相对于表8B提供的语义。对于语法元素alf_cross_component_cb_coeff_abs[k][i]和alf_cross_component_cr_coeff_abs[k][i],在一个示例中,语义可以基于以下内容:
alf_cross_component_cb_coeff_abs[k][j]指定发信号通知的第k个交叉分量Cb滤波器组的第j个系数的绝对值。当alf_cross_component_cb_coeff_abs[k][j]不存在时,推断其等于0。
将指数Golomb二值化uek(v)的阶数k设定为等于3。
alf_cross_component_cr_coeff_abs[k][j]指定发信号通知的第k个交叉分量Cr滤波器组的第j个系数的绝对值。当alf_cross_component_cr_coeff_abs[k][j]不存在时,推断其等于0。
将指数Golomb二值化uek(v)的阶数k设定为等于3。
此外,对于表8A至表8C,在一个示例中,可以使用表8D中提供的slice_header()语法结构。应当指出的是,在表8D中,语法元素slice_cross_component_alf_cb_aps_id指定切片的Cb颜色分量标引的adaptation_parameter_set_id(在一个示例中是APS ID(例如,对于交叉分量滤波器,亮度滤波器、色度滤波器))未被接收,和例如针对一组切片类型(例如,I切片)、针对具有一组NALU类型(例如,对应于IRAP)的图片推断的值。
Figure BDA0003427038460000641
表8D
对于表8D,在一个示例中,语义可以基于以下内容:
slice_cross_component_alf_cb_enabled_flag等于0指定不将交叉分量Cb滤波器应用于Cb颜色分量。slice_cross_component_alf_cb_enabled_flag等于1表明将交叉分量Cb滤波器应用于Cb颜色分量。
slice_cross_component_alf_cr_enabled_flag等于0指定不将交叉分量Cr滤波器应用于Cr颜色分量。slice_cross_component_alf_cb_enabled_flag等于1表明将交叉分量Cr滤波器应用于Cr颜色分量。
对于表8A:
slice_cross_component_alf_cb_reuse_temporal_layer_filter等于1指定交叉分量Cb滤波器系数(其中j=0..13,包括端值)被设定为等于AlfCCTemporalCoeffcb[Temporalld][j]。
slice_cross_component_alf_cb_reuse_temporal_layer_filter等于0并且slice_cross_component_alf_cb_enabled__flag等于1指定语法元素slice_cross_component_alf_cb_aps_id存在于切片标头中。
当slice_cross_component_alf_cb_enabled_flag等于1并且slice_cross_component_alf_cb_reuse_temporal_layer_filter等于0时,如下导出AlfCCTemporalCoeffcb[Temporalld][j],j=0..13的元素:
AlfCCTemporalCoeffCb[Temporalld][j]=AlfCCCoeffCb[slice_cross_component_alf_cb_aps_id][j]
在一个示例中,交叉分量Cb系数(其中j=0..13)可被设定为在对应的APSAlfCCCoeffCb[slice_cross_component_alf_cb_aps_id][j]中接收的系数。
slice_cross_component_alf_cr_reuse_temporal_layer_filter等于1指定交叉分量Cr滤波器系数(其中j=0..13,包括端值)被设定为等于AlfCCTemporalCoeffCr[TemporalId][j]。
slice_cross_component_alf_cr_reuse_temporal_layer_filter等于0并且slice_cross_component_alf_cr_enabled_flag等于1指定语法元素slice_cross_component_alf_cr_aps_id存在于切片标头中。
当slice_cross_component_alf_cr_enabled_flag等于1并且slice_cross_component_alf_cr_reuse__temporal_layer_filter等于0时,如下导出AlfCCTemporalCoeffCr[TemporalId][j],j=0..13的元素:
AlfCCTemporalCoeffCr[TemporalId][j]=AlfCCCoeffCr[slice_cross__component_alf_cr_aps_id][j]
在一个示例中,交叉分量Cr系数(其中j=0..13)可被设定为在对应的APSAlfCCCoeffCr[slice_cross_component_alf_cr_aps_id][j]中接收的系数。
对于表8B和表8C:
slice_cross_component_alf_cb_reuse_temporal_layer_filter等于1指定交叉分量Cb滤波器系数(其中j=0..13,k=0..(NumCcAlfCbFilters-1),包括端值)被设定为等于AlfCCTemporalCoeffCb[TemporalId][k][j]。
slice_cross_component_alf_cb_reuse_temporal_layer_filter等于0并且slice_cross_component_alf_cb_enabled_flag等于1指定语法元素slice_cross_component_alf_cb_aps_id存在于切片标头中。
当slice_cross_component_alf_cb_enabled_flag等于1并且slice_cross_component_alf_cb_reuse_temporal_layer_filter等于0时,如下导出AlfCCTemporalCoeffcb[TemporalId][k][j],j=0..13,k=0..(NumCcAlfCbFilters-1)的元素:
AlfCCTemporalCoeffCb[TemporalId][k][j]=AlfCCCoeffCb[slice_cross_component_alf_cb_ap s_id][k][j]
slice_cross_component_alf_cr_reuse_temporal_layer_filter等于1指定交叉分量Cr滤波器系数(其中j=0..13,k=0..(NumCcAlfCrFilters-1),包括端值)被设定为等于AlfCCTemporalCoeffCr[TemporalId][k][j]。
slice_cross_component_alf_cr_reuse_temporal_layer_filter等于0并且slice_cross_component_alf_cr_enabled_flag等于1指定语法元素slice_cross_component_alf_cr_aps_id存在于切片标头中。
当slice_cross_component_alf_cr_enabled_flag等于1并且slice_cross_component alf_cr_reuse_tcmporal_layer_filter等于0时,如下导出AlfCCTemporalCoeffCr[TemporalId][k][j],j=0..13,k=0..(NumCcAlfCrFilters-1)的元素:
AlfCCTemporalCoeffCr[TemporalId][k][j]=AlfCCCoeffCr[slice_cross_component_alf_cr_aps id][k][j]
应当指出的是,当使用来自APS的滤波器系数组时,则使用来自APS的滤波器系数组来填充对应的时间滤波器系数组缓冲器。
slice_cross_component_alf_cb_aps_id指定切片的Cb颜色分量针对交叉分量Cb滤波器而标引的adaptation_parameter_set_id。当slice_cross_component_alf_cb_aps_id不存在时,推断其等于slice_alf_aps_id_luma[0]。具有等于slice_cross_component_alf_cb_aps_id的adaptation_parameter_set_id的ALF APS NAL单元的TemporalId应小于或等于编码切片NAL单元的TemporalId。
在一个示例中,可例如对于NALU类型的集(例如,对应于随机访问点诸如IRAP)、对于切片类型集(例如,I切片)来重置APS。对于此类图片/切片,不发信号通知lice_cross_component_alf_cb_aps_id。在一个示例中,可将其推断为预先确定的值。在一个示例中,可将其推断为导出的值(例如,基于切片类型、TemporalID、NALU类型、QP)。
在一个示例中,未接收到slice_cross_component_alf_cb_aps_id,并且可针对具有一组NALU类型(例如,对应于IRAP)的图片的一组切片(例如,第一切片)推断值。
slice_cross_component_alf_cr_aps_id指定切片的Cr颜色分量针对交叉分量Cb滤波器而标引的adaptation_parameter_set_id。当slice_cross_component_alf_cr_aps_id不存在时,推断其等于slice_alf_aps_id_luma[0]。具有等于slice_cross_component_alf_cr_aps_id的ALF APS NAL单元的TemporalId应小于或等于编码切片NAL单元的TemporalId。
在一个示例中,可例如对于NALU类型的集(例如,对应于随机访问点诸如IRAP)、对于切片类型集(例如,I切片)来重置APS。对于这样的图片/切片,不发信号通知和推断slice_cross_component_alf_cr_aps_jd,而是将其推断为预先确定的值。在一个示例中,可将其推断为预先确定的值。在一个示例中,可将其推断为导出的值(例如,基于切片类型、TemporalID、NALU类型、QP)。
在一个示例中,未接收到slice_cross_component_alf_cr_aps_id,并且针对具有一组NALU类型(例如,对应于IRAP)的图片的一组切片(例如,第一切片)推断值。
在一个示例中,APS重置操作可暗示在访问单元之前编码的APS(满足预先确定的一组条件,例如NALU类型指示IRAP,切片类型等于I切片)可能不可用于该访问单元和随后编码的访问单元。
slice_cross_component_alf_cb_log2_control_size_minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCbW=AlfCCSamplesCbH=2(slice _cross_component_alf_cb_log2_control_size_minus4+4)
slice_cross_component_alf_cb_log2_control_size_minus4应在0至3的范围内(包括端值)。
slice_cross_component_alf_cr_log2_control_size_minus4如下指定以样本数量为单位的正方形块大小的值:
AlfCCSamplesCrW=AlfCCSamplesCrH=2(slice _cross_component_alf_cr_log2_control_size_minus4+4)
slice_cross_component_alf_cr_log2_control_size_minus4应在0至3的范围内(包括端值)。
TemporalId是当前NAL单元的时间标识符。
应当指出的是,在上述示例中,使用指示系数的符号的语法元素(例如,alf_cross_component_cr_coeff_sign)和指示系数的绝对值的语法元素(例如,alf_cross_component_cr_coeff_abs)来指示系数值。在一个示例中,根据本文的技术,可以使用指示系数的绝对值是否大于特定值(例如,大于1、大于2标记等)的一个或多个标记以及基于该一个或多个标记的值指示系数的绝对值的语法元素来指示系数的绝对值。例如,在一个示例中,特定系数值的编码可以基于以下语义:
alf_cross_component_coeff_abs_greater_than_N_flag[k][j]指定发信号通知的第k个交叉分量滤波器组的第j个系数的绝对值是否大于N。在一个示例中,系数应该在-27至27-1的范围内(包括端值),并且N可以是64。
alf_cross_component_coeff_abs[k][j]指定发信号通知的第k个交叉分量滤波器组的第j个系数的绝对值。当alf_cross_component_coeff_abs[k][j]不存在时,推断其等于0。
alf_cross_component_coeff_sign[k][i]如下指定第k个交叉分量滤波器系数组的第j个系数的符号:
-如果alf_cross_component_coeff_sign[k][j]等于0,则对应的交叉分量滤波器系数具有正值。
-否则(alf_cross_component_coeff_sign[k][j]等于1),对应的交叉分量滤波器系数具有负值。
当alf_cross_component_coeff_sign[k][j]不存在时,推断其等于0。
具有元素AlfCCCoeff[adaptation_parameter_set_id][k][j]的交叉分量滤波器系数AlfCCCoeff[adaptation_parameter_set_id][k]如下导出:
AlfCCCoeff[adaptation_parameter_set_id][k][j]=(N*alf_cross_component_coeff_abs_greater than N flag[k][j]+alf_cross_component_coeff_abs[k][j])*(1-2*alf_cross_component_coeff_sign[k][j])
在一个示例中,可以针对交叉分量颜色(Cb和/或Cr)滤波器发信号通知一组交叉分量滤波器系数。每组交叉分量滤波器系数可以被分配有交叉分量滤波器索引。在一个示例中,可以在APS中发信号通知该组交叉分量滤波器系数。在一个示例中,可以对样本值进行分区(例如,使用与控制标记信令所使用的分区类似的技术或任何合适的替代方案来确定)。可针对样本值的每个分区发信号通知滤波器索引,其中滤波器索引标识要应用于分区中的样本的交叉分量滤波器。分区可以通过使用参数诸如块大小(其可以与控制块大小参数相同,或者可以是独立的)来传送。分区区域可使用参数值、图片/切片/图块组/MCTS大小来导出。在一个示例中,可以在APS中为每个颜色分量发信号通知该组仅一个交叉分量滤波器系数。可针对标识要应用于分区中的样本的交叉分量滤波器的每个样本值分区发信号通知APS标识符。
在一个示例中,可例如对于一组NALU类型(例如,对应于随机访问点诸如IRAP)、对于一组切片类型(例如,I切片)来重置用于时间层的子集或所有时间层的缓冲器。在一个示例中,重置可暗示清空操作。在一个示例中,重置可暗示将缓冲器设置为预先确定的一组值(例如,0,用于每个TemporalID的一组固定值)。缓冲器重置操作可暗示在访问单元之前存储在缓冲器中的值(满足预先确定的一组条件,例如NALU类型指示IRAP,切片类型等于I切片)可能不可用于该接入单元和随后编码的访问单元。在一个示例中,当缓冲器不包含任何系数时,则指示来自缓冲器的滤波器系数是否将被使用的语法元素可以不被发信号通知而是推断其值。例如,当清空缓冲区用于IRAP图片时,IRAP图片中的第一个切片不需要发信号通知slice_cross_component_alf_cb_reuse_temporal_layer_filter和/或slice_cross_component_alf_cr_reuse_temporal_layer_filter。在一个示例中,当缓冲器不包含任何系数时,则指示来自缓冲器的滤波器系数是否将被使用的语法元素可被发信号通知为限制于预先确定的值。例如,当清空缓冲区用于IRAP图片时,IRAP图片中的第一个切片中的语法元素slice_cross_component_alf_cb_reuse_temporal_layer_filter和/或slice_cross_component_alf_cr_reuse_temporal_layer_filter需要为0。
此外,在一个示例中,发信号通知用于前导图片的滤波器不应被相关联的IRAP图片的拖尾图片使用。这是因为在比特流的随机访问操作期间,可以从比特流中丢弃前导图片。如上所述,根据本文的技术,可以使用以下操作来发信号通知交叉分量滤波器:重新使用对应的时间子层缓冲器中的滤波器和/或APS中的滤波器。应当指出的是,在一些情况下,可以带外发信号通知APS,因此在一些情况下,比特流符合性可能只需要所标引的APS应可用。因此,在一个示例中,比特流符合性要求可使用语法元素slice_cross_component_alf_cb_reuse_temporal_layer_filter和slice_cross_component_alf_cr_reuse_temporal_layer_filter来实现。在一个示例中,语法元素slice_cross_component_alf_cb_reuse_temporal_layer_filter和slice_cross_component_alf_cr_reuse_temporal_layer_filter可具有如下约束:
当导出具有时间标识符TemporalId的时间子层缓冲器AlfCCTemporalCoeffCb[TemporalId][k][j]中的滤波器系数用于相关联的IRAP图片的前导图片时,比特流符合要求对于具有时间标识符TemporalId的相关联IRAP图片的拖尾图片,语法元素slice_cross_component_alf_cb_reuse_temporal_layer_filter的值应为0。
当导出具有时间标识符TemporalId的时间子层缓冲器AlfCCTemporalCoeffCr[TemporalId][k][j]中的滤波器系数用于相关联的IRAP图片的前导图片时,比特流符合要求对于具有时间标识符TemporalId的相关联IRAP图片的拖尾图片,语法元素slice_cross_component_alf_cr_reuse_temporal_layer_filter的值应为0。
如上相对于图9A至图9F所述,可基于色度位置类型确定滤波器形状。应当指出的是,滤波器形状可包括用于各种类型的滤波器的滤波器形状。此外,滤波器形状通常可被描述为表示支持和相对于所滤波的样本的原点。在一个示例中,可针对参数集中的每个交叉分量滤波器发信号通知滤波器形状:例如SPS、PPS、VUI。在一个示例中,例如当滤波器形状影响被编码的滤波器系数的数量时,还可以在APS或切片标头中发信号通知滤波器形状。在一个示例中,滤波器形状可用于确定滤波器系数的数量。在一个示例中,可以重复使用滤波器系数。也就是说,在一个示例中,可针对每个时间层为每个分量Cb/Cr保持先进先出(FIFO)缓冲器。在一个示例中,FIFO缓冲器的大小对于每个分量、每个时间层为1。在这样的示例中,可发信号通知标记以指示是要使用对应的(时间层)FIFO缓冲器中的滤波器系数还是要接收新的一组系数。当接收到新的一组滤波器系数时,它们替换对应的(时间层)FIFO缓冲器的内容。在一个示例中,FIFO缓冲器的大小对于每个分量、每个时间层为1。在这样的示例中,FIFO缓冲器中属于相同时间层或较低时间层的滤波器系数可被重复使用。接收语法元素(例如,标记)以指示FIFO缓冲器之一中的滤波器系数是否被重复使用,并且如果它被重复使用(例如,标记值为1),则接收要重复使用的系数的FIFO缓冲器的索引。基于当前时间层ID来确定该索引的有效值的范围(例如,0到当前时间层ID)。可使用ue(v)编码来发信号通知诸如-(FIFO缓冲器的时间层-当前时间层)的值。在另一个示例中,可以使用截断的一元(具有基于当前时间层ID的TU最大值)。
在一个示例中,交叉分量滤波器的局部控制的信令可包括在切片的第一个CTU中为切片发送所有交叉分量Cb和Cr块级控制标记。在一个示例中,当控制块大小大于CTU大小时,可以在控制块的第一个编码的CTU中发送控制标记。控制块中的剩余CTU可推断与控制块的第一个编码CTU中相同的值。当控制块中的第一个编码CTU确实接收到控制标记时,则可推断控制标记的值为0。在一个示例中,为每个CTU发送控制标记。在一个示例中,可以在切片/图块组的第一个CTU中发信号通知控制标记。此外,在一个示例中,可以针对图块组/切片的每个CTU发信号通知四个控制标记。在一个示例中,当CTU内存在四个控制块时,与完整CTU相比,部分CTU(例如,在边界处)可存在不同数量的控制块标记。在一个示例中,可以针对图块组/切片的每个CTU发信号通知一个控制标记。在一个示例中,可以针对一组CTU中的第一CTU发信号通知控制标记,并且可以针对该组中的剩余CTU推断相同的标记值。
表9示出了用于在控制块的第一个CTU中发信号通知的coding_tree_unit()语法结构中的语法,和在控制块小于CTU时的多个标记的示例。应当指出的是,在表9中,当通过的Cb色度位置表示正被编码的切片内的Cb样本时,函数isInSliceCb()返回TRUE,否则返回FALSE,并且当通过的Cr色度位置表示正被编码的切片内的Cr样本时,函数isInSliceCr()返回TRUE,否则返回FALSE。
Figure BDA0003427038460000731
表9
表10示出了用于在控制块的第一个CTU中发信号通知的coding_tree_unit()语法结构中的语法,和在控制块小于CTU时的多个标记的示例。
Figure BDA0003427038460000741
表10
对于表9至表10,在一个示例中,语义可以基于以下内容:
cross_component_alf_cb_control_flag[x][y]等于1指定将交叉分量Cb滤波器应用于颜色分量Cb的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块。
cross_component_alf_cb_flag[x][y]等于0指定不将交叉分量Cb自适应环路滤波器应用于颜色分量Cb的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块。
当cross_component_alf_cb_flag[x][y]不存在时,推断其等于0。
cross_component_alf_cr_control_flag[x][y]等于1指定将交叉分量Cr滤波器应用于颜色分量Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCrW,yCtb ISubHeightC+y*AlfCCSamplesCrH)的块。
cross_component_alf_cr_flag[x][y]等于0指定不将交叉分量Cr自适应环路滤波器应用于颜色分量Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCrW,yCtb/SubHeightC+y*AlfCCSamplesCrH)的块。
当cross_component_alf_cr_flag[x][y]不存在时,推断其等于0。
在一个示例中,根据本文的技术,在空间上相邻的标记的值用于选择用于对控制标记进行编码的上下文。在一个示例中,cross_component_alf_cb_control_flag和cross_component_alf_cr_control_flag存在总共3个上下文,其可以如下确定:
Figure BDA0003427038460000751
Figure BDA0003427038460000761
在一个示例中,用于交叉分量滤波器的交叉分量滤波器系数携带其自己的独立参数集,例如APS。在一个示例中,交叉分量滤波器系数携带在不同于非交叉分量滤波器的参数集例如APS中(例如,JVET-N1001-v8中的ALF)。在一个示例中,代替5×6滤波器,一个实施方案可以使用JVET-N1001-v8中关于“用于亮度样本的编码树块滤波过程”的款项描述的7×7ALF滤波过程。这将进一步减少需要发信号通知的系数的数量。在以上描述中,应用滤波操作来细化颜色分量和/或通道中的样本,并且提供可逐帧和逐位置地启用/禁用操作的信令。在一个示例中,还可实施滤波操作,使得在每个帧和/或位置处,有多个滤波操作可用,并且所述信令可用于传输该多个滤波器和在可用滤波器中进行选择。
在一个示例中,根据本文的技术,可以在不同的色度通道之间共享局部区域控制标记。也就是说,例如,语法元素cross_component_alf_cb_control_flag和cross_component_alf_cr_control_flag可以用语法元素cross_component_chroma_alf_control_flag替换,其中,在一个示例中,cross_component_chroma_alf_control_flag的语义基于以下内容:
cross_componcnt_chroma_alf_control_flag[x][y]等于1并且slice_cross_component_alf_cb_enabled_flag等于1指定将交叉分量Cb自适应环路滤波器应用于颜色分量Cb的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块内的样本。cross_component_chroma_alf_flag[x][y]等于1并且slice_cross_component_alf_cr_enabled_flag等于1指定将交叉分量Cr自适应环路滤波器应用于颜色分量Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块内的样本。cross_component_chroma_alf_flag[x][y]等于0指定不将交叉分量色度自适应环路滤波器应用于颜色分量Cb和Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的样本块。
当cross component_chroma_alf_flag[x][y]不存在时,推断其等于0。
此外,在一个示例中,语法元素slice_cross_component_alf_cb_enabled_flag和slice_cross_component_alf_cr_enabled_flag可以用语法元素slice_cross_component_chroma_alf_enabled_flag替换,语法元素cross_component_alf_cb_control_flag和cross_component_alf_cr_control_flag可以用语法元素cross_component_chroma_alf_control_flag替换,其中,在一个示例中,slice_cross_component_chroma_alf_enabled_flag和cross_component_chroma_alf_control_flag的语义基于以下内容:
cross_component_chroma_alf_control_flag[x][y]等于1并且slice_cross_component_alf_chroma_enabled_flag等于1指定将交叉分量Cb自适应环路滤波器应用于颜色分量Cb的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块内的样本。
cross_component_chroma_alf_flag[x][y]等于1并且slice_cross_component_alf_chroma_enabled_flag等于1指定将交叉分量Cr自适应环路滤波器应用于颜色分量Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的块内的样本。
cross_component_chroma_alf_flag[x][y]等于0指定不将交叉分量色度自适应环路滤波器应用于颜色分量Cb和Cr的位于色度位置(xCtb/SubWidthC+x*AlfCCSamplesCbW,yCtb/SubHeightC+y*AlfCCSamplesCbH)的样本块。
当cross_component_chroma_alf_flag[x][y]不存在时,推断其等于0。
对于这些示例,表11示出了包括在用于切片的第一个CTU的coding_tree_unit()语法结构中的语法的示例,表12示出了包括在用于相应CTU的coding_tree_unit()语法结构中的语法的示例。
Figure BDA0003427038460000781
表11
Figure BDA0003427038460000791
表12
如上所述,交叉分量滤波的应用可以基于滤波器支持区域中包括的样本的属性(例如,方差和/或偏差)。在一个示例中,共享的控制标记(例如,cross_component_chroma_alf_control_flag)和包括在滤波器支持区域中的样本的属性可以用于确定是否为色度通道中的一个或两个应用交叉分量滤波。例如,在一个示例中,对于Cb,cross_component_chroma_alf_control_flag的值可以确定是否应用了交叉分量滤波,并且对于Cr,cross_component_chroma_alf_control_flag的值可以另外确定是否应用了交叉分量滤波。
如上所述,在JVET-N1001和JVET-O2001中,CTU根据四叉树加多类型树(QTMT或QT+MTT)结构来分区。在JVET-N1001和JVET-O2001中,对于I切片,可以使用隐式四叉树分割将每个CTU分割成具有64×64亮度样本的编码单元,并且这些编码单元可以是两个单独的编码树语法结构的根,即,一个用于亮度信道,一个用于色度信道。在任一种情况下,可以在分区树信令的语法内发信号通知/确定局部区域控制标记值。即,例如,用于将色度通道划分成CU的语法和语义(即,色度编码树)可包括指示局部区域控制标记值的信令(隐式和/或显式)。例如,JVET-N1001和JVET-O2001定义变量cbSubdiv=2*cqtDepth,cqtDepth是当前编码四叉树深度,并且CTU处的深度是0。在一个示例中,根据本文的技术,cbSubdiv小于或等于给定阈值的最小树节点可以表示父节点控制标记信令组,其中由进一步分割产生的所有块属于相同的控制标记信令组。也就是说,父CU处的局部区域控制标记可以用于推断任何所得的子CU处的局部区域控制标记的值。表13和表14示出了用于确定局部区域控制标记值的语法和变量分配的示例。也就是说,在表13中,cbSubdiv小于或等于给定阈值的最小树节点可以表示父节点控制标记信令组。表14提供了对应的编码单元语法。
Figure BDA0003427038460000801
表13
Figure BDA0003427038460000802
表14
在表13所示的示例中,用于切片的CC ALF控制信令深度表示阈值。在一个示例中,可以针对切片、序列或图片发信号通知该阈值。对于表13,亮度位置((xCtrlBlk,yCtrlBlk)指定当前色度控制块相对于当前图片左上亮度样本的左上亮度样本。将水平位置xCtrlBlk和垂直位置yCtrlBlk分别设定为等于CuCcAlfTopLeftX和CuCcAlfTopLeftY。此外,当前色度控制块是编码树块内共享相同CC Alf控制标记值(对于色度分量共享或独立)的矩形区域。其宽度和高度等于编码树节点的宽度和高度,该编码树节点的左上亮度样本位置被分配给变量CuCcAlfTopLeftX和CuAlfCcTopLeftY。应当指出的是,在一个示例中,每个色度分量可存在独立的一组变量。
对于表14,在一个示例中,当cross_component_chroma_alf_control_flag(共享或独立)不存在时,推断其等于0,并且当cross_component_chroma_alf_control_flag(共享或独立)存在时,将变量IsCuCcAlfControlFlagCoded设定为1。此外,将Cu CC Alf控制标记Vai设定为cross_component_chroma_alf_control_flag。因此,在该示例中,只要用于开始新控制标记信令组的条件为真(即,为切片启用了CC ALF并且cuSubdiv不高于限值),内部标记“IsCuCcAlfControlFlagCoded”就被设定为0,并且当前树节点原点被保存为CuCcAlfTopLeftX、CuCcAlfTopLeftY变量中的控制标记信令组原点。稍后,在编码单元语法中,如果“IsCuCcAlfControlFlagCoded”为零,则控制信令组标记被编码,并且“IsCuCcAlfControlFlagCoded”标记被设定为1,从而防止其他控制块标记被编码,直到找到新的控制标记信令组为止。编码单元可从最后一个编码树节点原点继承其控制标记值,直到找到新的控制标记信令组为止。在一个示例中,当局部控制区域语法元素存在于编码单元中时,则IsCuCcAlfControlFlagCoded被设定为等于1。应当指出的是,JVET-N1001和JVET-O2001提供指示发信号通知QP值的最低深度的量化参数组。在一个示例中,CC ALF控制信令可以是对准的量化参数组。也就是说,量化参数组内的子节点共享QP值和CC ALF控制值。此外,在一种情况下,CC ALF控制值的值可以基于QP值或完全从QP值导出(例如,如果QP值小于阈值,则不向组发信号通知CC ALF控制标记而是将其推断为0)。
如上所述,交叉分量滤波的信令可包括特定滤波器(例如,滤波器形状和/或滤波器系数)的信令。在一个示例中,根据本文的技术,语法元素的值可以指示是否针对某个区域应用交叉分量滤波,并且当针对某个区域应用交叉分量滤波时指示用于该区域的特定滤波器。例如,值0可指示未针对某个区域应用交叉分量滤波,值1可指示应用具有第一滤波器系数组的滤波器,值2可指示应用具有第二滤波器系数组的滤波器,等等。在一个示例中,该区域可为CTU。表15示出了根据本文技术的包括在coding_tree_unit()语法结构中的语法的示例。也就是说,在表15所示的示例中,语法元素alf_cross_component_cb_idc和alfcross coinponent cr idc指示是否应用交叉分量滤波,并且当应用交叉分量滤波时指示滤波器。
Figure BDA0003427038460000821
Figure BDA0003427038460000831
表15
对于表15,在一个示例中,语义可以基于以下内容:
PicWidthlnChromaSamples=pic_width_in_luma__samples/SubWidthC
PicHeightlnChromaSamples=pic_height_in_luma_samples/SubHeightC
AlfCCSamplesCbLog2W=AlfCCSamplesCbLog2H=slice_cross_component_alf_cb_log2_control_size_minus4+4
AlfCCSamplesCrLog2W=AlfCCSamplesCrLog2H=slice_cross_component_alf_cr_log2_control_size_minus4+4
此外,应当指出的是:
在一个示例中,xStartC对应于CTU的顶部边缘。在一个示例中,yStartC对应于CTU的左侧边缘。
当局部控制区域不跨越CTU时,可以省略检查(xCtbC==xStartC&&yCtbC==yStartC)。
在一个示例中,(xEndC>=PicWidthlnChromaSamples)和(yEndC>=PicHeightlnChromaSamples),由PicWidthlnChromaSamples和PicHeightlnChromaSample提供的上限可替代地分别对应于右侧和底部切片/图块/砖块/CTU边界。
alf_cross_component_cb_idc[xC>>AlfCCSamplesCbLog2W][yC>>AlfCCSamplesCbLog2 H]等于0指示不将交叉分量Cb滤波器应用于具有左上色度位置(xC,yC)的Cb色度样本的块。alf_cross_component_cb_idc[xC>>AlfCCSamplesCbLog2W][yC>>AlfCCSamplesCbLog2H]等于m,其中m大于0指示将第k=(m-l)个交叉分量Cb滤波器组应用于具有左上色度位置(xC,yC)的Cb色度样本的块
alf_cross_component_cr_idc[xC>>AlfCCSamplesCrLog2W][yC>>AlfCCSamplesCrLog2H]等于0指示不将交叉分量Cr滤波器应用于具有左上色度位置(xC,yC)的Cr色度样本的块。alf_cross_component_cr_idc[xC>>AlfCCSamplesCrLog2W][yC>>AlfCCSamplesCrLog2H]等于m,其中m大于0指示将第k=(m-l)个交叉分量Cr滤波器组应用于具有左上色度位置(xC,yC)的Cr色度样本的块
当对应于色度样本位置(xC,yC)的alf_cross_component_cb_idc[xC>>AlfCCSamplesCbLog2W][yC>>AlfCCSamplesCbLog2 H]不可用时,例如当(xC,yC)与当前CTU相比位于不同的切片/图块时,函数UnavailableCb(xC,yC)返回TRUE,否则返回FALSE
当对应于色度样本位置(xC,yC)的alf_cross_component_cr_idc[xC>>AlfCCSamplesCrLog2W][yC>>AlfCCSamplesCrLog2H]不可用时,例如当(xC,yC)与当前CTU相比位于不同的切片/图块时,函数UnavailableCr(xC,yC)返回TRUE,否则返回FALSE。
在一个示例中,根据本文的技术,alf_cross_component_cb_idc和/或alf_cross_component_cr_idc的二值化可以是具有最大值cMax(根据发信号通知的滤波器系数组的数量)的截断Rice(TR)二值化,并且cRiceParam等于0。表16示出了alf_cross_component_cb_idc和/或alf_cross_component_cr_idc的截断Rice二值化的示例。
指示值 TR二值化(cRiceParam等于0)
0 0
1 10
2 110
3 1110
cMax-1 1....10包含(cMax-1)个l
cMax 1....11包含cMax个l
表16
其中,
对于CC ALF Cb,cMax被设置为对应的(alf_cross component cbfilters_signalled_minus1加1)
对于CC ALF Cr,cMax被设置为对应的(alf_cross_componentcr_filterssignalled_minus1加1)
在一个示例中,对于alf_cross_component_cb_idc和/或alf_cross_component_cr_ide,可以仅对第一个bin进行上下文编码(即,可以对其他bin进行旁路编码)。在一个示例中,第一个bin的上下文的导出可以如下:
该过程的输入是指定当前亮度块相对于当前图片左上样本的左上亮度样本的亮度位置(x0,y0)、颜色分量cIdx、当前编码四叉树深度cqtDepth、双树信道类型chType、亮度样本中的当前编码块的宽度和高度cbWidth和cbHeight,以及在编码树语义中导出的变量allowSplitBtVer、allowSplitBtHor、allowSplitTtVer、allowSplitTtHor和allowSplitQt。
该过程的输出为ctxInc。
位置(xNbL,yNbL)被设定为等于(x0-l,y0),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbL,yNbL),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableL。
位置(xNbA,yNbA)被设定为等于(x0,y0-1),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbA,yNbA),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableA。
ctxInc的分配如下指定,其中condL和condA在表17中指定:
对于语法元素alf_cross_component_cb_idc[x0][y0]和alf_cross_component_cr_idc[x0][y0]:
ctxInc=(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3
Figure BDA0003427038460000861
表17
在一个示例中,对于alf_cross_component_cb_idc和/或alf_cross_component_cr_idc,可以对所有bin进行上下文编码,并且每个bin可以使用如表18所示的单独的上下文集。
Figure BDA0003427038460000871
表18
对于表18,在一个示例中,上下文的导出可以如下:
该过程的输入是指定当前亮度块相对于当前图片左上样本的左上亮度样本的亮度位置(x0,y0)、颜色分量cIdx、当前编码四叉树深度cqtDepth、双树信道类型chType、亮度样本中的当前编码块的宽度和高度cbWidth和cbHeight,以及在编码树语义中导出的变量allowSplitBtVer、allowSplitBtHor、allowSplitTtVer、allowSplitTtHor和allowSplitQt。
该过程的输出为ctxInc。
位置(xNbL,yNbL)被设定为等于(x0-l,y0),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbL,yNbL),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableL。位置(xNbA,yNbA)被设定为等于(x0,y0-1),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbA,yNbA),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableA。ctxInc的分配如下指定,其中condL和condA在表19中指定:
对于语法元素alf_cross_component_cb_idc[x0][y0]和alf_cross_component_cr_idc[x0][y0]:
ctxInc=(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3
Figure BDA0003427038460000872
Figure BDA0003427038460000881
表19
在一个示例中,对于alf_cross_component_cb_idc和/或alf_cross_component_cr_idc,可以对所有bin进行上下文编码,并且所有bin使用相同的上下文,即,每个binIdx使用相同的上下文。在一些情况下,binIdx的子集不适用,例如,NumCcAlfCbFilters为3,binIdx>3不适用于alf_cross_component_cb_idc[][],NumCcAlfCrFilters为3,binIdx>3不适用于alf_cross_component_cr_idc[][]。
在一个示例中,对于alf_cross_component_cb_idc和/或alf_cross_component_cr_idc,可以对所有bin进行上下文编码,并且每个bin可以使用如表20所示的相同的上下文集。对于表20,应当注意,在一些情况下,binIdx的子集不适用,例如,NumCcAlfCbFilters为3,binIdx>3不适用于alf_cross_component_cb_idc[][],NumCcAlfCrFilters为3,binIdx>3不适用于alf_cross_component_cr_idc[][]。
Figure BDA0003427038460000882
表20
对于表20,在一个示例中,上下文的导出可以如下:
该过程的输入是指定当前亮度块相对于当前图片左上样本的左上亮度样本的亮度位置(x0,y0)、颜色分量cIdx、当前编码四叉树深度cqtDepth、双树信道类型chType、亮度样本中的当前编码块的宽度和高度cbWidth和cbHeight,以及在编码树语义中导出的变量allowSplitBtVer、allowSplitBtHor、allowSplitTtVer、allowSplitTtHor和allowSplitQt。
该过程的输出为ctxInc。
位置(xNbL,yNbL)被设定为等于(x0-l,y0),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbL,yNbL),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableL。
位置(xNbA,yNbA)被设定为等于(x0,y0-1),并且调用针对指定的相邻块可用性的导出过程,其中位置(xCurr,yCurr)被设定为等于(x0,y0),相邻位置(xNbY,yNbY)被设定为等于(xNbA,yNbA),checkPredModeY被设定为等于FALSE,并且cIdx作为输入,输出被分配给availableA。ctxInc的分配如下指定,其中condL和condA在表21中指定:
对于语法元素alf_cross_component_cb_idc[x0][y0]和alf_cross_component_cr_idc[x0][y0]:
ctxInc=(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3
Figure BDA0003427038460000891
表21
在一个示例中,视频编码器表示被配置为执行以下操作的设备的示例:接收用于视频数据的当前分量的重构样本数据,接收用于视频数据的一个或多个附加分量的重构样本数据,基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器,以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
图17是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。在一个示例中,视频解码器500可被配置为基于上文所述的技术中的一种或多种技术来重构视频数据。也就是说,视频解码器500可以与上述视频编码器200互逆的方式操作。视频解码器500可被配置为执行帧内预测解码和帧间预测解码,并且因此可被称为混合解码器。在图18所示的示例中,视频解码器500包括熵解码单元502、逆量化单元504、逆变换处理单元506、帧内预测处理单元508、帧间预测处理单元510、求和器512、滤波器单元514和参考缓冲器516。视频解码器500可被配置为以与视频编码系统一致的方式对视频数据进行解码,该视频编码系统可以实现视频编码标准的一个或多个方面。应当指出的是,尽管示出的示例性视频解码器500具有不同的功能块,但此类图示旨在用于描述目的,并且不将视频解码器500和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器500的功能。
如图17所示,熵解码单元502接收熵编码的比特流。熵解码单元502可被配置为根据与熵编码过程互逆的过程对来自比特流的量化语法元素和量化系数进行解码。熵解码单元502可被配置为根据上文所述的任何熵编码技术来执行熵解码。熵解码单元502可以与视频编码标准一致的方式解析编码的比特流。视频解码器500可被配置为解析编码的比特流,其中该编码的比特流基于上述技术生成。
再次参考图17,逆量化单元504从熵解码单元502接收量化变换系数(即,位阶值)和量化参数数据。量化参数数据可以包括上述增量QP值和/或量化组大小值等的任意组合和全部组合。视频解码器500和/或逆量化单元504可被配置为基于由视频编码器发送信号通知的值和/或通过视频属性和/或编码参数来确定用于逆量化的QP值。也就是说,逆量化单元504可以与上述系数量化单元206互逆的方式操作。例如,逆量化单元504可被配置为根据上述技术推断预定值)、允许的量化组大小等。逆量化单元504可被配置为应用逆量化。逆变换处理单元506可被配置为执行逆变换以生成重构残差数据。由逆量化单元504和逆变换处理单元506分别执行的技术可类似于由上述逆量化/变换处理单元208执行的技术。逆变换处理单元506可被配置为应用逆DCT、逆DST、逆整数变换、不可分二次变换(NSST)或概念上类似的逆变换过程来变换系数,以便产生像素域中的残差块。此外,如上所述,是否执行特定变换(或特定变换的类型)可以取决于帧内预测模式。如图17所示,可将重构残差数据提供给求和器512。求和器512可以将重构残差数据添加到预测视频块并且生成重构视频数据。可根据预测视频技术(即帧内预测和帧间预测)确定预测视频块。
帧内预测处理单元508可被配置为接收帧内预测语法元素并且从参考缓冲器516检索预测视频块。参考缓冲器516可以包括被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式,诸如上述的帧内预测模式。在一个示例中,帧内预测处理单元508可以使用根据本文所述的帧内预测编码技术中的一种或多种技术来重构视频块。帧间预测处理单元510可接收帧间预测语法元素并生成运动矢量,以识别存储在参考缓冲器516中的一个或多个参考帧中的预测块。帧间预测处理单元510可以生成运动补偿块,可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以包括在语法元素中。帧间预测处理单元510可以使用内插滤波器来计算参考块的子整数像素的内插值。
滤波器单元514可被配置为对重构的视频数据执行滤波。例如,滤波器单元514可被配置为执行解块和/或SAO滤波,如上面关于滤波器单元216所描述的。在示例中,滤波器单元514可以包括下文所述的交叉分量滤波器单元600。此外,应当指出的是,在一些示例中,滤波器单元514可被配置为执行专用的任意滤波(例如,视觉增强)。如图17所示,视频解码器500可以输出重构的视频块。
如上所述,图7示出了根据本公开的一种或多种技术的可被配置为对视频数据进行编码的交叉分量滤波器单元的示例。图18示出了根据本公开的一种或多种技术的可被配置为对视频数据进行解码的交叉分量滤波器单元的示例。也就是说,交叉分量滤波器单元600可以采用与交叉分量滤波器单元300互逆的方式操作。如图18所示,分量滤波器单元600包括滤波器确定单元602和样本修改单元604。样本修改单元604可以采用类似于样本修改单元304的方式操作。也就是说,样本修改单元604可根据导出的滤波器来执行滤波,包括本文所述的滤波器中的一种或多种滤波器。如图18所示,样本修改单元604可将经修改的重构块输出到参考图片缓冲器(即,作为环路滤波器),并且将经修改的重构块输出到输出端(例如,显示器)。滤波器确定单元602可以接收在当前块被解码时可用的编码参数信息(例如,帧内预测)和可用视频块数据,如图18所示,在视频解码器处,可用视频块数据可以包括:交叉分量重构块和当前分量重构块。然而,如图18所示,滤波器确定单元602可以接收滤波器数据。即,指定所导出的滤波器的滤波器数据可被发信号通知滤波器确定单元602。上文描述了这种信令的示例。因此,滤波器确定单元302可以基于视频数据、编码参数和/或滤波器数据导出要在色度重构块上使用的滤波器。
如上所述,本文所述的交叉分量滤波技术通常可应用于视频数据的每个分量。因此,视频数据的分量的一个或多个组合可用于减小视频数据的一个或多个其他分量的重构误差。图19A至图19C是示出根据本公开的一种或多种技术的可以被配置为减小重构误差的交叉分量滤波器单元的示例的框图。也就是说,图19A至图19C示出了可包括在滤波单元514中的环路滤波器的示例。在图19A至图19C中,共同编号的元件如上所述。Cr交叉分量滤波器单元702是被配置为基于亮度分量、Cb分量、滤波器数据和编码参数来对Cr分量进行滤波的滤波器单元的示例。亮度交叉分量滤波器单元704是被配置为基于亮度分量、Cb分量、Cr分量、滤波器数据和编码参数来对亮度分量进行滤波的滤波器单元的示例。因此,视频解码器500表示被配置为执行以下操作的设备的示例:接收用于视频数据的当前分量的重构样本数据,接收用于视频数据的一个或多个附加分量的重构样本数据,基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器,以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
在一个或多个示例中,所述功能可以通过硬件、软件、固件或它们的任何组合来实现。如果以软件实现,则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输,并且由基于硬件的处理单元执行。计算机可读介质可以包括对应于有形介质诸如数据存储介质的计算机可读存储介质,或者包括例如根据通信协议促进计算机程序从一个地方传输到另一个地方的任何介质的传播介质。这样,计算机可读介质通常可对应于:(1)非暂态的有形计算机可读存储介质,或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式,此类计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存存储器、或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且,任何连接都被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质,而是针对非暂态有形存储介质。如本文所用,磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘,其中磁盘通常以磁性方式复制数据,而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此,如本文所用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外,在一些方面中,可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文所述的功能,或者将其结合到组合编解码器中。而且,这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或IC集(例如,芯片集)中实现。在本公开中描述了各种部件、模块或单元,以强调被配置为执行所公开的技术的设备的功能方面,但是不一定需要通过不同的硬件单元来实现。相反,如上所述,可以将各种单元组合在编解码器硬件单元中,或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合,结合合适的软件和/或固件来提供各种单元。
此外,每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实现或执行。被设计为执行本说明书中所述的功能的电路可以包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置、分立栅极或晶体管逻辑器或分立硬件部件或它们的组合。通用处理器可以是微处理器,或另选地,该处理器可以是常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置,或可由模拟电路进行配置。此外,当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时,也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。
<发明内容>
在一个示例中,提供了一种减小视频数据中的重构误差的方法,该方法包括:接收用于视频数据的当前分量的重构样本数据;接收用于视频数据的一个或多个附加分量的重构样本数据;基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器;以及基于所导出的交叉分量滤波器和用于视频数据的一个或多个附加分量的重构样本数据将滤波器应用于用于视频数据的当前分量的重构样本数据。
在一个示例中,该方法还包括发信号通知与所导出的交叉分量滤波器相关联的信息。
在一个示例中,提供了该方法,其中导出交叉分量滤波器包括解析信令以确定交叉分量滤波器参数。
在一个示例中,提供了该方法,其中基于与视频数据的一个或多个附加分量相关联的数据导出交叉分量滤波器包括基于已知的重构误差导出交叉分量滤波器。
在一个示例中,提供了该方法,根据滤波器系数来指定交叉分量滤波器。
在一个示例中,提供了一种用于对视频数据进行编码的设备,该设备包括被配置为执行这些步骤的任意和全部组合的一个或多个处理器。
在一个示例中,提供了一种设备,其中该设备包括视频编码器。
在一个示例中,提供了一种设备,其中该设备包括视频解码器。
在一个示例中,提供了一种系统,该系统包括:设备,该设备包括视频编码器;并且该设备包括视频解码器。
在一个示例中,一种用于对视频数据进行编码的装置,该装置包括用于执行步骤的任意和全部组合的装置。
在一个示例中,一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质包括存储在其上的指令,当这些指令被执行时,使得用于编码视频数据的设备的一个或多个处理器执行步骤的任意和全部组合。
在一个示例中,提供了一种对重构视频数据进行滤波的方法,该方法包括:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
在一个示例中,该方法还包括:通过使用该总和和位深度来执行削波函数。
在一个示例中,该方法还包括:对第一滤波器系数语法元素进行解码,该第一滤波器系数语法元素指定自适应环路滤波器数据语法结构中用于Cb分量的交叉分量滤波器系数的绝对值,以及对第二滤波器系数语法元素进行解码,该第二滤波器系数语法元素指定自适应环路滤波器数据语法结构中用于Cb分量的交叉分量滤波器系数的符号。
在一个示例中,该方法还包括:对第一交叉分量语法元素进行解码,该第一交叉分量语法元素指定是否将交叉分量滤波器应用于Cb颜色分量;以及对第二交叉分量语法元素进行解码,该第二交叉分量语法元素指定是否将交叉分量滤波器应用于Cr颜色分量。
在一个示例中,提供了一种对编码数据进行解码的解码器,该解码器包括:处理器,和与该处理器相关联的存储器;其中处理器被配置为执行以下步骤:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
在一个示例中,提供了一种对视频数据进行编码的编码器,该编码器包括:处理器,和与该处理器相关联的存储器;其中处理器被配置为执行以下步骤:输入重构亮度分量样本值;通过在自适应环路滤波过程之前使用交叉分量滤波器系数和重构亮度分量样本值来导出滤波样本值;通过使用滤波样本值来导出用于色度分量的细化值;以及通过使用色度分量的样本值和用于色度分量的细化值的总和来导出细化色度样本值。
<交叉引用>
本非临时专利申请根据《美国法典》第35卷第119节(35U.S.C.§119)要求于2019年6月24日提交的临时申请62/865,933、2019年7月4日提交的临时申请62/870,752、2019年8月14日提交的临时申请62/886,891的优先权,这些临时申请的全部内容据此以引用方式并入。

Claims (6)

1.一种对重构视频数据进行滤波的方法,所述方法包括:
输入重构亮度分量样本值;
通过在自适应环路滤波过程之前使用交叉分量滤波器系数和所述重构亮度分量样本值来导出滤波样本值;
通过使用所述滤波样本值来导出用于色度分量的细化值;以及
通过使用色度分量的样本值和所述用于色度分量的细化值的总和来导出细化色度样本值。
2.根据权利要求1所述的方法,还包括:
通过使用所述总和和位深度来执行削波函数。
3.根据权利要求1所述的方法,还包括:
对第一滤波器系数语法元素进行解码,所述第一滤波器系数语法元素指定自适应环路滤波器数据语法结构中用于Cb分量的所述交叉分量滤波器系数的绝对值,以及
对第二滤波器系数语法元素进行解码,所述第二滤波器系数语法元素指定所述自适应环路滤波器数据语法结构中用于所述Cb分量的所述交叉分量滤波器系数的符号。
4.根据权利要求1所述的方法,还包括:
对第一交叉分量语法元素进行解码,所述第一交叉分量语法元素指定是否将交叉分量滤波器应用于Cb颜色分量,以及
对第二交叉分量语法元素进行解码,所述第二交叉分量语法元素指定是否将交叉分量滤波器应用于Cr颜色分量。
5.一种对编码数据进行解码的解码器,所述解码器包括:
处理器;和
与所述处理器相关联的存储器;其中所述处理器被配置为执行以下步骤:
输入重构亮度分量样本值;
通过在自适应环路滤波过程之前使用交叉分量滤波器系数和所述重构亮度分量样本值来导出滤波样本值;
通过使用所述滤波样本值来导出用于色度分量的细化值;以及
通过使用色度分量的样本值和所述用于色度分量的细化值的总和来导出细化色度样本值。
6.一种对视频数据进行编码的编码器,所述编码器包括:
处理器;和
与所述处理器相关联的存储器;其中所述处理器被配置为执行以下步骤:
输入重构亮度分量样本值;
通过在自适应环路滤波过程之前使用交叉分量滤波器系数和所述重构亮度分量样本值来导出滤波样本值;
通过使用所述滤波样本值来导出用于色度分量的细化值;以及
通过使用色度分量的样本值和所述用于色度分量的细化值的总和来导出细化色度样本值。
CN202080045948.2A 2019-06-24 2020-06-23 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法 Pending CN114009018A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962865933P 2019-06-24 2019-06-24
US62/865,933 2019-06-24
US201962870752P 2019-07-04 2019-07-04
US62/870,752 2019-07-04
US201962886891P 2019-08-14 2019-08-14
US62/886,891 2019-08-14
PCT/JP2020/024645 WO2020262396A1 (en) 2019-06-24 2020-06-23 Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation

Publications (1)

Publication Number Publication Date
CN114009018A true CN114009018A (zh) 2022-02-01

Family

ID=74060607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045948.2A Pending CN114009018A (zh) 2019-06-24 2020-06-23 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法

Country Status (5)

Country Link
US (1) US20220248007A1 (zh)
EP (1) EP3987813A4 (zh)
CN (1) CN114009018A (zh)
BR (1) BR112021026341A2 (zh)
WO (1) WO2020262396A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213298A1 (en) * 2022-05-05 2023-11-09 Beijing Bytedance Network Technology Co., Ltd. Filter shape switch for adaptive loop filter in video coding

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259538A1 (en) * 2019-06-27 2020-12-30 Mediatek Inc. Method and apparatus of cross-component adaptive loop filtering for video coding
CN117319686A (zh) * 2019-07-26 2023-12-29 寰发股份有限公司 用于视频编解码的方法及其装置
WO2021025167A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021025168A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
EP3997868A4 (en) 2019-08-10 2023-02-22 Beijing Bytedance Network Technology Co., Ltd. BUFFER MANAGEMENT DURING SUBPICTURE DECODING
GB2586484B (en) * 2019-08-20 2023-03-08 Canon Kk A filter
US11234010B2 (en) * 2019-08-28 2022-01-25 Qualcomm Incorporated Cross-component adaptive loop filtering for video coding
CA3152834A1 (en) * 2019-08-29 2021-03-04 Lg Electronics Inc. Cross-component adaptive loop filtering-based image coding apparatus and method
US11343493B2 (en) * 2019-09-23 2022-05-24 Qualcomm Incorporated Bit shifting for cross-component adaptive loop filtering for video coding
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
CN117676135A (zh) * 2019-10-18 2024-03-08 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
CN117241021A (zh) * 2019-12-18 2023-12-15 北京达佳互联信息技术有限公司 用于对视频数据进行编码的方法、设备和介质
CN113475070A (zh) 2019-12-24 2021-10-01 瑞典爱立信有限公司 针对自适应环路滤波的虚拟边界处理
CN114007067B (zh) * 2020-07-28 2023-05-23 北京达佳互联信息技术有限公司 对视频信号进行解码的方法、设备和介质
MX2023008977A (es) * 2021-02-01 2023-08-15 Beijing Dajia Internet Information Tech Co Ltd Mejora de codificacion de crominancia en compensacion adaptable de muestra de componente cruzado.
CN116830577A (zh) * 2021-02-08 2023-09-29 北京达佳互联信息技术有限公司 跨分量自适应环路滤波器
EP4295576A1 (en) * 2021-02-22 2023-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement cross-component sample adaptive offset
EP4309364A1 (en) * 2021-03-18 2024-01-24 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
US11683530B2 (en) * 2021-03-19 2023-06-20 Tencent America LLC Adaptive non-linear mapping for sample offset
GB2605791A (en) * 2021-04-12 2022-10-19 Sony Group Corp Data processing, encoding and decoding
WO2023187250A1 (en) * 2022-03-29 2023-10-05 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2024081010A1 (en) * 2022-10-13 2024-04-18 Google Llc Region-based cross-component prediction
WO2024081011A1 (en) * 2022-10-13 2024-04-18 Google Llc Filter coefficient derivation simplification for cross-component prediction

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160065974A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to filtering
EP3526968A4 (en) 2016-10-12 2020-06-03 Telefonaktiebolaget LM Ericsson (publ) RESIDUAL REFINEMENT OF COLOR COMPONENTS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213298A1 (en) * 2022-05-05 2023-11-09 Beijing Bytedance Network Technology Co., Ltd. Filter shape switch for adaptive loop filter in video coding

Also Published As

Publication number Publication date
BR112021026341A2 (pt) 2022-02-08
EP3987813A4 (en) 2023-03-08
EP3987813A1 (en) 2022-04-27
WO2020262396A1 (en) 2020-12-30
US20220248007A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US20220248007A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
CN110999291B (zh) 用于划分视频数据的帧间预测片段中的视频块的系统和方法
US11363284B2 (en) Upsampling in affine linear weighted intra prediction
US11863779B2 (en) Cross-component adaptive loop filter in video coding
CN110313179B (zh) 用于按比例缩放变换系数水平值的系统和方法
US20210314630A1 (en) Systems and methods for partitioning video blocks in an inter prediction slice of video data
CN113853784B (zh) 用于视频译码的多个自适应环路滤波器集合的方法和装置
TW201841501A (zh) 用於視訊寫碼之多種類型樹架構
US11805254B2 (en) Systems and methods for deriving quantization parameters for video blocks in video coding
CN114391255B (zh) 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
CN114885159B (zh) 位置相关预测组合的模式相关和大小相关块级限制的方法和装置
CN112997501B (zh) 导出用于对视频数据进行解码的预测亮度样本值的方法
CN116158080A (zh) 多个自适应环路滤波器集合
CN113196748A (zh) 用于位置相关预测组合的模式相关和尺寸相关的块级限制的方法和装置
US11979566B2 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
CN116325734A (zh) 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
US20220360774A1 (en) Systems and methods for performing intra prediction coding in video coding
CN114868400A (zh) 用于视频译码中的常规变换系数的基于方程的莱斯参数推导
CN114424537A (zh) 在视频编码中用于执行帧间预测编码的系统和方法
CN114026858A (zh) 用于在视频编码中导出视频块的量化参数的系统和方法
CN116636207A (zh) 具有固定滤波器的自适应环路滤波器
CN113366840A (zh) 用于在视频编码中导出视频块的量化参数的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination