CN113411576A - 使用自适应分量缩放对视频数据进行编码的系统和方法 - Google Patents

使用自适应分量缩放对视频数据进行编码的系统和方法 Download PDF

Info

Publication number
CN113411576A
CN113411576A CN202110730684.0A CN202110730684A CN113411576A CN 113411576 A CN113411576 A CN 113411576A CN 202110730684 A CN202110730684 A CN 202110730684A CN 113411576 A CN113411576 A CN 113411576A
Authority
CN
China
Prior art keywords
video
chroma
scaling
component
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110730684.0A
Other languages
English (en)
Other versions
CN113411576B (zh
Inventor
赵杰
金承焕
凯兰·穆凯什·米斯拉
克里斯托弗·安德鲁·塞格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
FG Innovation Co Ltd
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FG Innovation Co Ltd, Sharp Corp filed Critical FG Innovation Co Ltd
Priority to CN202110730684.0A priority Critical patent/CN113411576B/zh
Publication of CN113411576A publication Critical patent/CN113411576A/zh
Application granted granted Critical
Publication of CN113411576B publication Critical patent/CN113411576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文描述了一种对视频数据进行编码和解码的方法。根据本发明的一个方面，亮度和色度分量可以具有单独的四叉树加二叉树(QTBT)结构，并且基于亮度分量的一个或多个属性确定用于色度编码块的缩放参数。

Description

使用自适应分量缩放对视频数据进行编码的系统和方法
技术领域
本公开涉及视频编码，并且更具体地涉及用于自适应分量缩放的技术。
背景技术
数字视频功能可以结合到各种设备中，包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的智能电话)、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG 4 Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)和高效率视频编码(HEVC)。HEVC在2015年4月的ITU-T H.265建议书的高效率视频编码(HEVC)中描述，该文献以引用方式并入本文，并且在本文中被称为ITU-TH.265。目前正在考虑对ITU-T H.265进行扩展和改进以开发下一代视频编码标准。例如，ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)(统称为联合视频研究组(JVET))正在研究压缩能力显著超过当前HEVC标准的未来视频编码技术的标准化的潜在需求。以引用方式并入本文的联合探索模型3(JEM 3)、联合探索测试模型3(JEM 3)的算法描述、ISO/IEC JTC1/SC29/WG11文档：JVET-C1001v3(2016年5月，瑞士，日内瓦)描述了由JVET在联合测试模型研究下的编码特征，该技术是超越ITU-T H.265功能的潜在增强视频编码技术。应当注意，JEM 3的编码特征是在由Fraunhofer研究机构维护的JEM参考软件中实现的。目前，可以使用更新的JEM参考软件版本3(JEM 3.0)。如本文所用，使用术语JEM统称JEM3的算法描述和JEM参考软件的具体实施。
视频压缩技术可减少存储和传输视频数据的数据需求。视频压缩技术可通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的片段、片段内的编码树单元(例如，宏块)、编码树单元内的编码块等)。可以使用帧内预测编码技术(例如，图片内(空间))和帧间预测技术(即图片间(时间))来生成待编码的视频数据单元与视频数据的参考单元之间的差值。该差值可被称为残差数据。残差数据可被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引、运动向量和块向量)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在合规比特流中。
发明内容
一般来讲，本公开描述用于编码视频数据的各种技术。具体而言，本公开描述了用于自适应分量缩放的技术。应当注意，虽然本公开的技术是关于ITU-T H.264、ITU-T H.265和JEM描述的，但是本公开的技术通常可应用于视频编码。例如，本文中描述的编码技术可并入包括块结构的视频编码系统(包括基于未来视频编码标准的视频编码系统)、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或熵编码技术，但ITU-T H.265中的那些除外。因此，对ITU-T H.264、ITU-T H.265和/或JEM的参考是用于描述性目的，并且不应被解释为限制本文所述技术的范围。此外，应当注意，将文献以引用方式并入本文是出于描述的目的，并且不应被解释为限制或产生关于本文使用的术语的歧义。例如，在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文中使用的该术语的情况下，则该术语应以广泛地包括每个相应定义的方式和/或以在包括替代方案中每个特定定义的方式来解释。
本发明的一个方面是一种编码视频数据的方法，该方法包括：接收对应于色度编码块的视频数据值，其中该色度编码块独立于亮度分量分区结构；基于亮度分量的一个或多个属性确定用于色度编码块的缩放参数；并且基于缩放参数生成位阶值。
本发明的一个方面是一种解码视频数据的方法，该方法包括：接收对应于色度编码块的位阶值，其中该色度编码块独立于亮度分量分区结构；基于亮度分量的一个或多个属性确定色度编码块的缩放参数；并且基于所确定的缩放参数生成视频数据值。
附图说明
[图1]图1是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例的框图。
[图2]图2是示出根据本公开的一或多种技术的四叉树二进制树分区的概念图。
[图3]图3是示出根据本公开的一或多种技术的视频分量的独立四叉树二进制树分区的概念图。
[图4]图4是示出根据本公开的一或多种技术的视频分量采样格式的示例的概念图。[图5A]图5A是示出根据本公开的一或多种技术的对视频数据块进行编码的示例的概念图。
[图5B]图5B是示出根据本公开的一或多种技术的对视频数据块进行编码的示例的概念图。
[图6]图6是示出根据本公开的一或多种技术的基于量化组大小分量确定视频数据块的量化参数的示例的概念图。
[图7]图7是示出根据本公开的一或多种技术的可用于确定另一视频分量的量化参数值的视频分量的量化参数值的示例的概念图。
[图8]图8是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的视频编码器的示例的框图。[图9A]图9A是示出根据本公开的一或多种技术的使用自适应分量缩放来对视频数据块进行编码的示例的概念图。
[图9B]图9B是示出根据本公开的一或多种技术的使用自适应分量缩放来对视频数据块进行编码的示例的概念图。
[图10]图10是示出根据本公开的一或多种技术的能够用于确定另一视频分量的缩放值的视频分量数据的示例的概念图。
[图11]图11是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码的缩放单元的示例的框图。
[图12]图12是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。
[图13A]图13A是示出根据本公开的一或多种技术的使用自适应分量缩放来对视频数据块进行编码的示例的概念图。
[图13B]图13B是示出根据本公开的一或多种技术的使用自适应分量缩放来对视频数据块进行编码的示例的概念图。
具体实施方式
视频内容通常包括由一系列帧组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括多个片段或片，其中片段或片包括多个视频块。如本文所用，术语视频块通常可以指图片的区域，包括一个或多个视频分量，或者可以更具体地指可以被预测性地编码的像素/样本值的最大阵列，其子分区和/或对应结构。此外，术语当前视频块可以指正被编码或解码的图片的区域。视频块可被定义为可被预测性地编码的像素值(也被称为样本)阵列。视频块可以根据扫描模式(例如，光栅扫描)来排序。视频编码器可对视频块和其子分区执行预测编码。视频块和其子部分可以被称为节点。ITU-T H.264规定了包括16×16亮度样本的宏块。ITU-T H.265规定了类似的编码树单元(CTU)结构，其中图片可以被分割成相同大小的CTU，并且每个CTU可以包括具有16×16、32×32或64×64亮度样本的编码树块(CTB)。在ITU-T H.265中，可以根据相应的四叉树块结构将CTU的CTB分割成编码块(CB)。根据ITU-T H.265，一个亮度CB连同两个对应的色度CB(例如，Cr和Cb色度分量)和相关联的语法元素被称为一个编码单元(CU)。在ITU-T H.265中，可以信号传输CB的最小允许大小。在ITU-T H.265中，亮度CB的最小允许最小尺寸是8×8亮度样本。CU与为CU定义一个或多个预测单元(PU)的预测单元(PU)结构关联，其中PU与对应的参考样本相关联。也就是说，在ITU-T H.265中，使用帧内预测或帧间预测对图片区域进行编码的决定在CU级进行。在ITU-T H.265中，PU可以包括亮度和色度预测块(PB)，其中方形PB被支持用于帧内预测，并且矩形PB被支持用于帧间预测。帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)可将PU与对应参考样本相关联。
JEM规定了具有最大尺寸的256×256亮度样本的CTU。在JEM中，可根据四叉树加二叉树(QTBT)块结构进一步划分CTU。在JEM中，QTBT结构使得四叉树叶节点能够通过二叉树结构进一步分类。在JEM中，二叉树结构使四叉树叶节点能够垂直或水平划分。图2示出了CTU(例如，具有256×256亮度样本的大小的CTU)被分割成四叉树叶节点，并且四叉树叶节点根据二叉树被进一步分割的示例。也就是说，在图2中，虚线表示二叉树分区。因此，JEM中的二叉树结构实现了方形和矩形叶节点，其中每个叶节点包括用于视频数据的每个分量的编码块(CB)。在JEM中，CB可以用于预测而不需要任何进一步的分割。此外，在JEM中，亮度和色度分量可具有单独的QTBT结构。也就是说，色度CB可独立于亮度分割。在JEM中，对于使用帧内预测技术编码的视频数据片段，启用单独的QTBT结构。图3示出了根据用于亮度分量的QTBT和用于色度分量的独立QTBT分割的CTU的示例。如图3中所示，当独立QTBT用于分割CTU时，亮度分量的CB不一定与色度分量的CB对准。
应当注意，JEM包括以下用于QTBT树的信号传输的参数：
CTU大小：四叉树的根节点大小(例如，256×256、128×128、64×64,32×32,16×16亮度样本)；
MinQTSize：最小允许四叉树叶节点大小(例如，16×16、8×8亮度样本)；
MaxBTSize：最大允许二叉树根节点大小，即可以通过二进制分裂来分割的叶四叉树节点的最大大小(例如，64×64亮度样本)；
MaxBTDepth：最大允许二叉树深度，即可发生二进制分裂的最低位阶(例如，3)；
MinBTSize：最小允许二叉树叶节点大小；即，二进制叶节点的最小宽度或高度(例如，4个亮度样本)。
视频采样格式(也可以被称为色度格式)可以相对于CU中包括的亮度样本的数量来定义CU中包括的色度样本的数量。例如，对于4:2:0格式，亮度分量的采样率是水平和垂直方向的色度分量的两倍。因此，对于根据4:2:0格式格式化的CU，用于亮度分量的样本阵列的宽度和高度是用于色度分量的每个样本阵列的宽度和高度的两倍。图4是示出根据4:2:0样本格式格式化的编码单元的示例的概念图。图4示出了色度样本相对于CU内的亮度样本的相对位置。如上所述，通常根据水平和垂直亮度样本的数量来定义CU。因此，如图4所示，根据4:2:0样本格式格式化的16×16CU包括16×16个亮度分量样本和每个色度分量的8×8个样本。此外，在一个示例中，在图4中示出了色度样本相对于与16×16相邻的视频块的亮度样本的相对位置。类似地，对于根据4:2:2格式格式化的CU，用于亮度分量的样本阵列的宽度是用于每个色度分量的样本阵列的宽度的两倍，但是用于亮度分量的样本阵列的高度等于用于每个色度分量的样本阵列的高度。此外，对于根据4:4:4格式格式化的CU，用于亮度分量的样本阵列具有与用于每个色度分量的样本阵列相同的宽度和高度。
包括在当前CU或另一类型的图片区域结构和相关联的参考样本(例如，使用预测生成的那些)中的样本值之间的差可以被称为残差数据。残差数据可以包括对应于视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))的相应差值阵列。残差数据可能在像素域中。可对像素差值应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换，以生成变换系数。应当注意，在ITU-T H.265中，CU可以进一步再分为变换单元(TU)。也就是说，在ITU-T H.265中，为了生成变换系数，可以对像素差值阵列进行再分(例如，可以将四个8×8变换应用于16×16残差值阵列)，对于视频数据的每个分量，这种子分区可以被称为变换块(TB)。当前在JEM中，当使用QTBT分割结构时，对应于CB的残差值用于生成变换系数而无需进一步分割。也就是说，在JEM中，QTBT叶节点可以类似于ITU-T H.265中的PB和TB。此外，在JEM中，可以(在编码器中)应用核心变换和后续二次变换来生成变换系数。对于视频解码器，变换的顺序是相反的。
此外，在JEM中，是否应用二次变换来生成变换系数可取决于预测模式。
可以对变换系数执行量化处理。量化对变换系数进行缩放以改变发送一组变换系数所需的数据量。量化可包括将变换系数除以某个量化缩放因子和任何相关联的取整函数(例如，取整到最接近的整数)。量化的变换系数可以被称为系数位阶值或简称为位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘。应当注意，如本文所用，术语量化过程在一些情况下可指除以量化缩放因子以生成位阶值，并且乘以量化缩放因子以在一些情况下恢复变换系数。也就是说，量化过程在一些情况下可以指量化，而在一些情况下可以指逆量化。此外，应当注意，虽然在下面的示例中关于与十进制记数法相关的算术运算描述了量化过程，但是这样的描述是为了说明的目的，并且不应该被解释为进行限制。例如，本文描述的技术可以使用二进制运算等实现。例如，本文描述的乘法和除法运算可以使用移位运算等来实现。图5A至图5B是示出对视频数据块进行编码的示例的概念图。如图5A所示，当前的视频数据块(例如，对应于视频分量的CB)通过从当前视频块中减去一组预测值、对残差执行变换以及变换系数的量化来生成残差进行编码。如图5B中所示，通过对位阶值执行逆量化，执行逆变换，以及将一组预测值添加到所得到的残差来对当前视频数据块进行解码。应当注意，在图5A至图5B的示例中，重构块的样本值不同于被编码的当前视频块的样本值。这样，编码可被认为是有损的。然而，对于重构视频的观看者，样本值的差异可被认为是可接受的或不可察觉的。
可以根据熵编码技术(例如，内容自适应可变长度编码(CAVFC)、上下文自适应二进制算术编码(CABAC)、概率区间分割熵编码(PIPE)等)对量化的变换系数和相关数据进行熵编码。此外，语法元素，诸如指示预测模式的语法元素，也可以被熵编码。熵编码的量化变换系数和对应的熵编码语法元素可形成可用于再现视频数据的合规比特流。作为熵编码过程的一部分，可以对语法元素执行二值化处理。二值化是指将语法值转换成一个或多个位的序列的过程。这些位可以称为“箱”。二值化是一个无损过程，并且可以包括以下编码技术中的一种或组合：固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码。如本文所用，术语固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码中的每一个可以指这些技术的一般实现和/或这些编码技术的更具体实现。例如，可以根据视频编码标准(例如，ITU-T H.265)具体地定义Golomb-Rice编码实现。二值化之后，CAB AC熵编码器可以选择上下文模型。对于特定箱，可以从与该箱相关联的一组可用上下文模型中选择一个上下文模型。在一些示例中，可以基于先前的箱和/或先前语法元素的值来选择上下文模型。例如，可以基于相邻帧内预测模式的值来选择上下文模型。上下文模型可以识别某个箱为特定值的概率。例如，上下文模型可以指示对值为0的箱进行编码的概率为0.7，并且对值为1的箱进行编码的概率为0.3。在选择可用的上下文模型之后，CABAC熵编码器可以基于所识别的上下文模型对箱进行算术编码。应当注意，可以使用算术编码而不使用明确指定的上下文模型来对一些语法元素进行熵编码，这种编码可以被称为旁路编码。
如上所述，量化对变换系数进行缩放以改变发送一组变换系数所需的数据量。公式1提供量化的通用示例，并且公式2提供对应的逆量化的示例。
公式1
位阶值＝取整整数(变换系数/Q缩放)
公式2
变换系数＝位阶值*Q缩放
量化的程度可以改变编码的视频数据的率失真(即比特率与视频质量的关系)。参考公式1和公式2，可以通过改变量化缩放因子Q缩放的值来调整发送系数位阶值所需的数据量和恢复的变换系数值(即去量化的变换系数)的精度。关于图5A至图5B中所示的示例，可以使用从5(例如，到2)改变Q缩放来增加相对于重构块的精度(即，减少损失)。在ITU-T H.265中)量化缩放因子的值(在ITU-T H.265中被称为Q步)可以由量化参数确定。应当注意，如本文所用，术语量化参数(QP)可以用于通常指用于确定量化值的参数(例如，量化缩放因子)以及/或者可以用于更具体地指量化参数的具体实现(例如，ITU-T H.265中的Qp’Y)。在ITU-T H.265中，量化参数可以取0到51的52个值，并且量化参数的变化1通常对应于Q步值的约12％的变化。此外，在ITU-T H.265中，可以使用预测量化参数值和可选地信号传输的量化参数增量值来导出变换系数集合的量化参数值。在ITU-T H.265中，可以针对每个CU更新量化参数，并且可以针对亮度(Y)和色度(Cb和Cr)分量中的每一者导出量化参数。在ITU-TH.265中，对于编码单元中的当前亮度编码块，可以根据下列公式基于预测量化参数值和量化参数增量值导出亮度量化参数Qp’Y：
公式3
Qp’Y＝QPY+QpBdOffsetY
公式4
QPY＝(qPY_PRED+CuQpDeltaVal+52+2*QpBdOffsetY)％(52+QpBdOffsetY))-QpBdOffsetY
其中
-QpBdOffsetY是量化参数范围偏移并且导自
QpBdOffsetY＝6*bit_depth_luma_minus8；
-bit_depth_luma_minus8等于亮度位深度(bitDepthY)减8；
-qPY_PRED等于：
从在片段区段首部信号传输的变量中导出的片段亮度量化参数，或者
按解码顺序的先前量化组中最后编码单元的亮度量化参数；
-CuQpDeltaVal由变换单元语法信号传输的变量导出，并且具有
包括端值的-(26+QpBdOffsetY/2)至+(25+QpBdOffsetY/2)范围内的值；
并且
-％是模算术运算符，其中x％y是x除以y的余数，仅针对x>＝0且y>0的整数x和y定义；
应当注意，在一些示例中，关于公式3和公式4，可以基于亮度分量的位深度将QpBdOffsetY一般化为包括任何值，并且可以基于亮度量化参数预测器值、编码单元量化参数增量值以及亮度分量的位深度将公式4一般化为包括任何函数。此外，应当注意，在ITU-TH.265中，可选地信号传输CuQpDeltaVal。这样，用于确定ITU-T H.265中编码单元中的当前亮度编码块的Q步的过程一般可被描述为从先前的CU继承片段级QP值或QP值，并且可选地将指示的QP增量值添加到继承的QP值。在ITU-TH.265中，使用1位符号指示符和可变长度绝对值指示符将QP增量值信号传输至解码器。
此外，在ITU-T H.265中，根据以下公式导出编码单元的色度量化参数Qp’cb和Qp’cr：
公式5
Qp’cb＝qPcb+QpBdOffsetC
公式6
Qp’cr＝qPcr+QpBdOffsetC
其中
-QpBdOffsetC是量化参数范围偏移量，由QpBdOffsetC＝6*bit_depth_chroma_minus8导出；
-bit_depth_chroma_minus8等于色度的位深度(bitDepthC)减8；
在ITU-T H.265中，基于等于变量qPCb和qPCr的索引qPi，将变量qPCb和qPCr设置为等于表1中规定的Qpc的值。
qPi <30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 >43
Qpc ＝qPi 29 30 31 32 33 33 34 34 35 35 36 36 37 37 ＝qP-6
表1
其中qPicb和qPicr的推导如下：
公式7
qPicb＝Clip3(-QpBdOffsetC、57、QpY+pps_cb_qp_offset+slice_cb_qp_offset)
公式8
qPicr＝Clip3(-QpBdOffsetV、57、QpY+pps_cr_qp_offset+slice_cr_qp_offset)
其中
如果z<x，-Clip3(x,y,z)等于x；如果z>y，等于y；否则等于z；
-pps_cb_qp_offset在图片参数集合(PPS)中信号传输，并且具有包括端值的-12至+12范围内的值
-pps_cr_qp offset在图片参数集合中信号传输，并且具有包括端值的-12至+12范围内的值
-slice_cb_qp_offset在片段区段首部中信号传输并且指定要添加到pps_cb_qp_offset的差值，并且具有包括端值的-12至+12范围内的值；
-slice_cr_qp_offset在片段区段首部中信号传输并且指定要添加到pps_cr_qp_offset的差值，并且具有包括端值的-12至+12范围内的值；
应当注意，在一些示例中，关于公式5至8，可以基于色度分量的位深度将QpBdOffsetC一般化为任何值，并且可以基于亮度量化参数(或与其相关联的变量)和色度分量的位深度将qPiCb和qPiCr的函数一般化为包括任何函数。这样，用于确定ITU-T H.265中编码单元中的当前色度编码块的Q步的过程可以一般性地描述为基于与亮度分量相关联的QP值来确定QP值。因此，在ITU-T H.265中，应用于变换系数集合的量化程度可以取决于：(1)片段级参数，(2)从先前编码单元继承的参数，以及/或者(3)可选地信号传输的CU级增量值。
在ITU-T H.265中，量化组大小用于确定是否可以针对特定TU信号传输增量QP值。例如，视频编码器可以选择64×64的CTU大小和32×32的量化组大小。在这种情况下，如果将CTU(使用ITU-T H.265中提供的四叉树结构)分割成四个32×32TU，则可以针对四个TU中的每一个信号传输增量QP。但是，如果将64×64CTU分割成64个8×8TU，则仅为每个32×32区域发送增量QP，并将其用于该区域中的所有8×8TU。如上所述，在ITU-T H.265中，图片可以被分成相同大小的CTU，并且每个CTU可以包括具有16×16、32×32或64×64亮度样本的CTB，并且亮度CB的最小尺寸可以是8×8亮度样本。在ITU-T H.265中，在PPS(即，语法元素diff_cu_qp_delta_depth)中信号传输差值，以指示亮度CTB大小和量化组大小之间的差。例如，如果CTB大小是64×64并且量化组大小是16×16，则信号传输差值(以对数表示法)以指示量化组大小。应当注意，在ITU-TH.265中，TU结构为每个亮度和色度分量对准TB。也就是说，在ITU-TH.265中，用于分量(例如，色度分量)的TB直接对应于另一分量(例如，亮度分量)的TB。此外，应当注意，在ITU-T H.265中，量化组总是方形的。
如上所述，在JEM中，亮度和色度分量可能具有单独的QTBT结构。此外，在JEM中，叶节点可以是方形或矩形。因此，在JEM中，亮度分量的CB不一定与色度分量的CB对准。因此，关于确定量化组大小、量化参数以及亮度分量的CB和色度分量的CB的所得Q缩放值，可以独立地以及/或者基于一个或多个定义的依赖关系来确定值。应当注意，在一些示例中，可以信号传输一个或多个标志(例如，在片段级、PPS级、CTU级和/或CB级)，以指示是否基于亮度量化值确定了色度量化值或者是否独立地确定了色度量化值(或另选地，如果可以基于针对色度分量的CB确定的一个或多个量化值来确定亮度分量的CB的量化值)。在一个示例中，以与ITU-T H.265类似的方式，可以使用量化组大小等来确定是否可以针对QTBT的特定叶节点(即，CTU的CB)信号传输增量QP值。图6是示出基于亮度量化组大小确定亮度分量的每个CB的QP的示例的概念图。如图6中所示，CTB的亮度QP的数量基于亮度量化组大小。在一个示例中，可以为CTB确定预测QP值，并且可以使用相应的增量QP值(可以将其信号传输给视频解码器)来确定图6中所示的各个亮度QP值中的每一个值。在一个示例中，可以基于针对亮度分量的CB确定的一个或多个QP来确定色度分量的CB的QP值。图7是示出可用于确定色度分量的CB的量化参数值的亮度分量量化参数的示例的概念图。参考图7中的示例，在一个示例中，色度分量的每个CB的QP值可以基于针对亮度分量的CB确定的并置QP值的函数。例如，对于图7中所示的左上水平矩形色度CB，可以基于QPY0和QPY1的平均值来确定QP值。例如，可以将平均值输入到查找表(LUT)中以便确定QP值。
应当注意，视频编码标准的预期性能可以基于特定的视频编码格式和支持的视频编码格式内的数据的期望值。例如，视频编码标准可以基于假设使用视频系统传输的大部分视频数据将具有特定格式(例如，特定图片分辨率、动态范围和/或颜色范围)。当视频数据的值不在预期范围内时，特别是当视频数据的值大于预期范围时，这可能导致编码不理想。例如，基于高分辨率视频格式设计的视频编码标准可能不会为编码下一代视频格式例如所谓的超高清格式提供足够的性能。此外，图片的区域可关于其中样本的亮度、动态范围和颜色具有不同的特性。例如，但某场景的在阴影中的一部分可具有与该场景的不在阴影中的一部分不同的局部特性，尽管这两个区域都包括在同一张图片中。应当注意，对于视频数据而言，图片区域具有不同局部特性的可能性随着图片尺寸、动态范围和/或颜色范围的增加而增加。应当注意，在一些示例中，这些区域可被包括在相同的视频数据片段中，或者在一些情况下可被包括在相邻的CU中。在某些情况下，为了提高编码性能，可能期望降低针对相对明亮的图像的区域生成的变换系数的所得量化程度，并且提高针对相对较暗的图像区域生成的变换系数的所得量化程度。也就是说，以比图像的明亮部分更低的精度重构图片的暗部分(例如，场景的在阴影中的部分)是可接受的。
如上所述，在ITU-T H.265中，可以通过可选地信号传输CU级QP增量值来修改应用于图片的区域中的一组变换系数的量化程度，其中可以信号传输QP增量值的频率基于量化组大小。在CU级信号传输QP增量值以调整量化的程度从而适应图像的变化可能不太理想。此外，应当注意，在ITU-T H.265中，由于量化参数是从先前的CU继承的，因此针对先前CU进行的任何调整都必须考虑到当前CU。例如，在先前CU继承片段级QP值26并且对片段级QP值进行调整(例如，先前CU的QP增量等于20)的情况下，当前CU继承调整后的QP值(在这种情况下为46)。因此，在这种情况下，为了针对当前CU使用QP值26，必须为当前CU发送QP增量值(例如，20)。这可能导致编码性能不理想。
如上所述，对于JEM中提供的QTBT结构，确定量化组大小、量化参数以及用于亮度分量的CB和用于色度分量的CB的所得量化缩放因子值可以独立地以及/或者基于一个或多个定义的依赖关系来确定。在一些情况下，如下面进一步详细描述的，根据本文描述的技术，可能期望进一步使得位阶值被缩放超出由量化参数确定的量化缩放因子提供的缩放。例如，在一些情况下，基于用于亮度分量的QP值针对色度分量的CB确定的量化缩放因子可小于理想值。例如，参考图7中的示例，在示例中，图7中示出的左上水平矩形色度CB，基于并置QPY0确定QP值，可能期望基于局部特征进一步缩放位阶值。例如，如果QPY0(例如，使用查找表等)映射到色度CB的相对低位阶量化，可能期望增加来自色度CB的量化位阶以降低编码视频数据的比特率。本文中描述的示例性技术可以用于自适应地缩放视频数据，以便基于视频数据的本地特性来优化视频编码。如下面进一步详细描述的，可以使用各种技术来执行缩放，以便最终缩放位阶值。例如，可以对残差数据执行缩放。应当注意，本文描述的技术通常可应用于确定缩放值，该缩放值可用于基于视频数据的另一分量有效地缩放视频数据的分量的值。
图1是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码(例如，编码和/或解码)的系统的示例的框图。系统100表示可以根据本公开的一种或多种技术自适应地缩放分量视频数据的系统的示例。如图1所示，系统100包括源设备102、通信介质110和目标设备120。在图1所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据发送到通信介质110的任何设备。目标设备120可包括被配置为经由通信介质110接收编码的视频数据并且对编码的视频数据进行解码的任何设备。源设备102和/或目标设备120可包括配备用于进行有线和/或无线通信的计算设备，并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备，包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
再次参考图1，源设备102包括视频源104、视频编码器106和接口108。视频源104可包括配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可包括被配置为接收视频数据并产生表示视频数据的合规比特流的任何设备。合规比特流可以指视频解码器可以从其接收和再现视频数据的比特流。合规比特流的各方面可根据视频编码标准来定义。当生成合规比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收合规视频比特流并且将该合规视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，其可以使得合规视频比特流能够存储在存储设备上。例如，接口108可以包括支持外围组件互连(PCI)和外围组件快速互连(PCIe)总线协议、专用总线协议、通用串行总线(USB)协议、I2C或任何其他可用于互连对等设备的逻辑和物理结构。
再次参考图1，目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收合规视频比特流的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括使得能够从存储设备检索合规视频比特流的计算机系统接口。例如，接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、PC的芯片组，或者可被用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可包括被配置为接收合规比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。应当注意，虽然在图1所示的示例中，视频解码器124被描述为将数据输出到显示器126，但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据输出到任何通信介质，如本文所述。
图8是示出可实现本文描述的用于编码视频数据的技术的视频编码器200的示例的框图。应当注意，虽然示例性视频编码器200被示出为具有不同的功能块，但是此类图示旨在用于描述目的，并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中，视频编码器200可被配置为根据本文中所描述的技术对视频数据进行编码。视频编码器200可执行图片区域的帧内预测编码和帧间预测编码，并且因此可被称为混合视频编码器。在图2所示的示例中，视频编码器200接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可包括宏块、CTU、CB、其子分区和/或另一等效编码单元。在一些示例中，视频编码器可被配置为执行源视频块的额外再分。应当注意，本文描述的技术通常适用于视频编码，而不管在编码之前和/或期间如何分割源视频数据。在图8所示的示例中，视频编码器200包括加法器202、变换系数发生器204、系数量化单元206、逆量化/变换处理单元208、加法器210、帧内预测处理单元212、帧间预测处理单元214、滤波器单元216、熵编码单元218和缩放单元220。如图8所示，视频编码器200接收源视频块并输出比特流。
在图8所示的示例中，视频编码器200可通过从源视频块中减去预测视频块来产生残差数据。加法器202表示被配置为执行该减法运算的部件。在一个示例中，减去视频块出现在像素域中。变换系数生成器204对残差块或其子分区应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)或概念上类似的变换(例如，四个8×8变换可以被应用于16×16残差值阵列)以产生残差变换系数集合。变换系数发生器204可被配置为执行离散三角变换系列中包括的变换的任何和全部组合。变换系数生成器204可将变换系数输出到系数量化单元206。
系数量化单元206可被配置为执行变换系数的量化。如上所述，可以通过调整量化缩放因子来修改量化程度，该量化缩放因子可以通过量化参数来确定。系数量化单元206可进一步被配置为确定量化值并输出QP数据(例如，用于确定量化组大小和/或增量QP值的数据)，该数据可以由视频解码器使用以重构量化参数(并且因此重构量化缩放因子)以在视频解码期间执行逆量化。如图8所示，系数量化单元206接收继承的QP数据、变换系数，并输出位阶值(即量化的变换系数)和信号传输的QP数据。信号传输的QP数据可指为在解码器处逆量化而对继承的QP数据进行的调整。例如，信号传输的QP数据可以包括QP增量值，其包括或类似于上面描述的QP增量值。即通过解析比特流，可以由视频解码器以无损方式恢复位阶值和信号传输的QP数据。继承的QP数据可包括更高级别(例如，片段级、PPS级等)的QP数据和/或从先前编码的视频块继承的数据。例如，如上所述，在ITU-T H.265中，应用于变换系数集合的量化程度可以取决于片段级参数、从先前编码单元继承的参数，以及/或者可选地信号传输的CU级增量值。
如上面进一步描述并且关于图7所示，在JEM中，亮度和色度分量可以具有单独的QTBT结构，并且可以基于针对亮度分量的CB确定的QP数据来确定色度分量的CB的量化缩放值(或反之亦然)。系数量化单元206可被配置为针对CTU中包括的每个亮度CB和每个色度CB以及信号QP数据确定相应的量化缩放值，以便视频解码器恢复量化缩放值(例如，图5B中所示的Q缩放)。在一个示例中，系数量化单元206可被配置为通过使用对应于并置亮度像素的QP数据来确定要用于色度CB的色度量化缩放值。例如，系数量化单元206可被配置为基于对应于与色度CB的左上像素并置的亮度像素的QP值来确定色度量化缩放值。例如，每个色度CB可被确定为映射的并置亮度QP的函数。在一个示例中，系数量化单元206可被配置为基于对应的亮度QP值的平均值来确定色度量化缩放值。应当注意，在其他示例中，可以使用其他统计函数，例如，最小值、最大值、中值等。此外，应当注意，一旦确定了平均值(或其他统计量)，CB的量化缩放因子可以基于类似于上述函数的函数，例如，类似于上面关于公式5至8描述的那些函数。系数量化单元206可被配置为信号传输一个或多个标志以指示如何导出量化值(例如，色度QP是依赖于还是独立于亮度QP)以及量化数据是否存在于比特流中(即，指示存在增量QP值的标志)。例如，等于0的CB级标志可指示亮度QP增量值和色度QP增量值独立地编码，并且等于1的CB级标志可指示色度QP增量值取决于亮度QP增量值。
如上所述，可能期望进一步使得位阶值被缩放超出使用量化缩放因子提供的缩放。例如，在图片的区域包括详细的暗场景(例如，阴影中的脸部)的情况下，为了优化编码，可能期望增强亮度视频分量的精度，同时(降低或增加)色度视频分量的精度。如上所述，在一些情况下，用于色度CB的量化缩放因子可以取决于并置亮度CB的量化参数。
这样，在这种情况下，相对于亮度分量的低位阶量化可导致色度CB的低位阶量化。根据本文描述的技术，自适应缩放可用于基于视频分量的属性和/或参数来有效地调整量化位阶(例如，增加或减少量化)。
参考图8，缩放单元220可被配置为根据本文描述的技术执行自适应缩放。也就是说，缩放单元220可被配置为基于缩放参数来确定缩放参数、输出缩放参数和/或修改视频数据。图9A至图9B是示出根据本公开的一或多种技术使用自适应分量缩放来对视频数据块进行编码的示例的概念图。在图9A至图9B所示的示例中，示出了可以分别用于缩放预测视频块的样本值、残差值、变换系数值和/或系数位阶值的缩放参数，即ScaleA至ScaleD。缩放参数可包括标量(例如，整数值)、向量和矩阵。应当注意，在视频编码处理的每个阶段应用缩放可最终导致在视频编码器处进行熵编码之前缩放系数位阶值。然而，应当注意，由于每个阶段的舍入和精度水平，在各个阶段的缩放可能不相等。例如，在视频解码器处，在逆量化之后并且在应用逆变换之后可以发生不同类型的舍入。此外，应当注意，在编码处理的不同阶段的缩放引入了不同的延迟要求。例如，为了在视频解码器处缩放残差数据，变换系数首先需要经历逆变换。此外，可以在视频编码处理的不同阶段更有效地导出缩放值。例如，如果DCT用于变换，则变换系数的矩阵中的位置(0,0)对应于DC分量。一旦对与DC分量对应的变换系数执行去量化，DC分量就可以用于获得平均分量值(例如，视频块的平均亮度值)。在一些示例中，然后可以使用平均分量值来修改剩余系数位阶值的缩放。在一些示例中，缩放参数值可以是位置相关的(例如，类似于缩放列表)。位置依赖性可以使得在去量化阶段更容易采用缩放。此外，应当注意，在不同阶段的缩放也可能影响后续阶段所需的精度。
在一个示例中，视频分量的缩放数据可以基于分量的属性和参数。例如，对于当前亮度CB缩放参数可以基于先前编码的亮度CB。此外，在一个示例中，视频分量的缩放参数可以基于视频数据的另一分量的缩放参数。图10是示出根据本公开的一种或多种技术的能够用于确定另一视频分量的缩放值的视频分量数据的示例的概念图。图10中示出的示例中的CB可以对应于图7中示出的色度QTBT和并置亮度CB的左下CB。在图10所示的示例中，已经为亮度视频分量确定了QP值、缩放值和重构的样本值(即，残差值和预测值)。在一个示例中，缩放单元220可被配置为基于亮度视频分量数据和/或色度视频分量数据确定色度分量的CB的缩放参数。应当注意，在其他示例中，缩放单元220可被配置为基于色度视频分量数据确定亮度分量的缩放参数。
图11示出了缩放单元300的示例，该缩放单元被配置为基于亮度视频分量数据和/或色度分量视频数据来确定色度分量的缩放参数。如图11中所示，缩放单元300包括亮度缩放确定单元302和色度缩放确定单元304。在图11所示的示例中，缩放单元300输出缩放参数。应当注意，在其他示例中，缩放单元300可接收视频数据，执行缩放，并且输出缩放的视频数据。在一个示例中，缩放单元300可被配置为基于对应于相对亮度样本值的缩放参数来确定用于缩放色度视频分量的CB的系数位阶值的缩放参数。在一个示例中，相对亮度样本值可包括与色度CB的左上样本并置的亮度样本值。例如，对于图10中所示的左上水平矩形色度CB，可以基于ScaleY6来确定色度CB的缩放参数。在一个示例中，缩放单元300可被配置为基于一个或多个亮度缩放参数的函数来确定用于缩放色度CB的系数位阶值的缩放参数。例如，对于图10中示出的左上水平矩形色度CB，可以基于ScaleY6、ScaleY7、ScaleY8，和/或ScaleY9的函数来确定色度CB的缩放参数。功能的示例包括平均值、最大值、最小值和/或其他统计函数。在一个示例中，缩放单元300可被配置为基于相对亮度预测值和/或亮度重构样本值来确定用于缩放色度视频分量的CB的系数位阶值的缩放参数。例如，对于图10中所示的左上水平矩形色度CB，可以基于左上亮度CB中的亮度预测值和/或亮度重构样本值的平均值(或另一统计函数)来确定色度CB的缩放参数。在一个示例中，缩放单元300可被配置为基于对应亮度分量中的样本位置的确定来确定用于缩放色度视频分量的CB的系数位阶值的缩放参数，并且基于所确定的亮度样本位置处的亮度样本的属性(例如，对应的缩放参数、样本的邻域(例如CB)中的亮度样本块的平均亮度值)，导出色度缩放参数。例如，对于图10中所示的左上水平矩形色度CB，可以通过首先将当前色度CB的左上样本映射到亮度分量中的对应样本位置来确定色度CB的缩放参数(通过使用，例如，亮度和色度分量空间分辨率关系；一些偏移，左上色度样本相对于色度分量中左上色度样本的空间位置)。可以使用在确定的位置处的亮度样本的缩放参数和用于亮度样本邻域的平均亮度值来导出色度缩放参数。应当注意，在基于亮度分量属性或参数或亮度分量属性或参数的函数来确定色度CB的缩放参数的情况下，可以定义色度缩放参数和亮度分量属性或参数之间的关系。关系可以是查找表、函数或其组合的形式。例如，可以从一个或多个亮度缩放参数导出值，并且该值可以用作查找表中的索引以导出色度缩放参数。此外，应当注意，可以有几种方法来确定来自色度CB的相对亮度样本值。例如，可以基于亮度和/或色度分割类型和/或色度格式来确定并置区域。因此，缩放单元300可被配置为基于各种类型的可用亮度视频分量数据和/或色度分量视频数据来确定色度分量的缩放参数。在一个示例中，当用于预测色度缩放参数时，多个亮度缩放参数可以(例如，通过使用平均值)被映射到单个值。
在一个示例中，标志可用于指示是否以及/或者如何基于亮度视频分量数据和/或色度分量视频数据来确定色度CB的缩放参数。例如，一个或多个标志可以包括CB级标志、CTU级标志、片段级标志、PPS级标志、序列参数集(SPS)级标志等。例如，可以针对每个色度CB信号传输标志，以指示对于特定CB是否存在缩放参数值依赖关系。此外，在一些示例中，可以仅针对特定片段类型(例如，片段内类型)和/或特定帧内预测模式启用依赖关系(例如，启用跨分量预测技术(例如，跨分量线性模型(LM))或启用非跨分量预测技术)。
在一个示例中，当亮度分量和色度分量具有不同的分割时，可以定义用于确定用于亮度分量的缩放参数的第一过程，并且可以定义用于确定用于色度分量的缩放参数的不同的第二过程。此外，在一个示例中，当亮度分量和色度分量具有相同的分割时，可以定义用于确定用于亮度分量的缩放参数的第三过程，并且可以定义用于确定用于色度分量的缩放参数的不同的第四过程。在一个示例中，当亮度分量和色度分量具有相同的分割时，可以使用相同的定义过程来确定用于亮度分量和色度分量的缩放参数。在一个示例中，当亮度分量和色度分量具有相同的分割时，可以使用第一定义的过程来确定用于亮度分量和色度分量的缩放参数，并且当亮度分量和色度分量不具有相同的分割时，可以使用第二定义的过程来确定用于亮度分量和色度分量的缩放参数。在一个示例中，当亮度分量和色度分量具有不同的分割时，可以定义用于缩放亮度分量的第一过程，并且可以定义用于缩放色度分量的不同的第二过程。此外，在一个示例中，当亮度分量和色度分量具有相同的分割时，可以定义用于缩放亮度分量的第三过程，并且可以定义用于缩放色度分量的参数的不同的第四过程。在一个示例中，当亮度分量和色度分量具有相同的分割时，可以使用相同的定义过程来缩放亮度分量和色度分量。在一个示例中，当亮度分量和色度分量具有相同的分割时，可以使用第一定义的过程来缩放亮度分量和色度分量，并且当亮度分量和色度分量不具有相同的分割时，可以使用第二定义的过程来缩放亮度分量和色度分量。在一个示例中，如果可以基于亮度分量的分割来确定色度分量的分割，则确定亮度和色度具有相同的分割。在一个示例中，如果可以基于色度分量的分割来确定亮度分量的分割，则确定亮度和色度具有相同的分割。
再次参考图8，如图8所示，量化的变换系数被输出到逆量化/变换处理单元208。逆量化/变换处理单元208可被配置为应用逆量化和/或逆变换来生成重构的残差数据。此外，逆量化/变换处理单元208可被配置为应用逆缩放。如图8所示，在加法器210，重构的残差数据可以被添加到预测视频块。这样，可以重构编码的视频块，并且可以使用所得到的重构的视频块来评估给定的预测、变换和/或量化的编码质量。视频编码器200可被配置为执行多个编码回合(例如，在改变预测、变换参数和量化参数中的一个或多个的同时执行编码)。比特流的率失真或其他系统参数可以基于重构的视频块的评估来优化。此外，重构的视频块可被存储并用作预测后续块的参考。
如上所述，可以使用帧内预测编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估帧和/或其区域，并且确定用于对当前块进行编码的帧内预测模式。如图8所示，帧内预测处理单元212将帧内预测数据(例如，语法元素)输出到熵编码单元218和变换系数生成器204。对残差数据执行的变换可以取决于模式。此外，在一些示例中，自适应缩放可以是模式相关的。在ITU-TH.265中，定义的可能的帧内预测模式包括一个平面(即表面拟合)预测模式(predMode：0)、一个DC(即平坦整体平均)预测模式(predMode：1)和33个角预测模式(predMode：2-34)。在JEM中，定义的可能的帧内预测模式包括一个平面预测模式(predMode：0)、一个DC预测模式(predMode：1)和65个角预测模式(predMode：2-66)。应当注意，平面预测模式和DC预测模式可以被称为无方向预测模式，并且角预测模式可以被称为方向预测模式。应当注意，无论定义的可能预测模式的数量如何，本文描述的技术通常都是适用的。此外，在一些示例中，可以从用于亮度预测模式的帧内预测推断出对色度分量的预测。
帧间预测处理单元214可被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的PU的运动向量。运动向量可以指示当前视频帧内的视频块的PU等相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外，运动预测可以是单向预测(使用一个运动向量)或双向预测(使用两个运动向量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)或其他差值度量确定的像素差来选择预测块。运动向量和相关数据可以描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度)、预测方向和/或参考图片索引值。此外，编码标准，诸如例如ITU-T H.265，可以支持运动向量预测。运动向量预测使得能够使用相邻块的运动向量来指定运动向量。运动向量预测的示例包括高级运动向量预测(AMVP)、时间运动向量预测(TMVP)、所谓的“合并”模式，以及“跳过”和“直接”运动推断。此外，JEM支持高级时间运动向量预测(ATMVP)和空间-时间运动向量预测(STMVP)。帧间预测处理单元214可被配置为执行运动向量预测。帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如，帧间预测处理单元214可定位帧缓冲器内的预测视频块(图8中未示出)。应当注意，帧间预测处理单元214可进一步被配置为将一个或多个内插滤波器应用于重构的残差块，以计算用于运动估计的子整数像素值。帧间预测处理单元214可将所计算的运动向量的运动预测数据输出到熵编码单元218。如图8所示，帧间预测处理单元214可经由滤波器单元216接收重构视频块。滤波器单元216可被配置为执行解块和/或样本自适应偏移(SAO)滤波。解块是指平滑化重构视频块边界的过程(例如，使观察者不易察觉到边界)。SAO滤波是一种可用于通过向重构的视频数据添加偏移以改善重构的非线性振幅映射。
再次参考图2，熵编码单元218接收经量化的变换系数和预测语法数据(即，帧内预测数据、运动预测数据、QP数据等)。应当注意，在一些示例中，系数量化单元206可在将系数输出到熵编码单元218之前执行对包括量化变换系数的矩阵的扫描。在其他示例中，熵编码单元218可执行扫描。熵编码单元218可被配置为根据本文中所描述的技术中的一个或多个执行熵编码。熵编码单元218可被配置为输出合规比特流(即视频解码器可从其接收和再现视频数据的比特流)。如上所述，标志可用于指示是否以及/或者如何基于亮度视频分量数据和/或色度分量视频数据来确定色度CB的缩放参数。可以在比特流中信号传输这些标志的值。此外，视频解码器用于确定缩放参数的一个或多个值可以包括在比特流中。
图12是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。在一个示例中，视频解码器400可被配置为基于上文所描述的技术中的一种或多种来确定CB的缩放参数。视频解码器400可被配置为执行帧内预测解码和帧间预测解码，并且因此可称为混合解码器。在图12所示的示例中，视频解码器400包括熵解码单元402、逆量化单元404、逆变换处理单元406、帧内预测处理单元408、帧间预测处理单元410、加法器412、后滤波器单元414、参考缓冲器416和缩放单元418。视频解码器400可被配置为以与视频编码系统一致的方式对视频数据进行解码，该视频编码系统可实现视频编码标准的一个或多个方面。应当注意，虽然示例性视频解码器400被示出为具有不同的功能块，但是此类图示旨在用于描述目的，并且不将视频解码器400和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器400的功能。
如图12所示，熵解码单元402接收熵编码的比特流。熵解码单元402可被配置为根据与熵编码过程互逆的过程对来自比特流的量化语法元素和量化系数进行解码。熵解码单元402可被配置为根据上文所描述的任何熵编码技术执行熵解码。熵解码单元402可以与视频编码标准一致的方式解析编码的比特流。
再次参考图12，逆量化单元404从熵解码单元402接收量化的变换系数(即，位阶值)和量化参数数据。量化参数数据可包括上文所述的增量QP值和/或量化组大小值等的任何和所有组合。视频解码器400和/或逆量化单元404可被配置为基于由视频编码器信号传输的值以及/或者通过视频属性和/或编码参数来确定用于逆量化的量化值。也就是说，逆量化单元404可以互逆方式操作到上述系数量化单元206。逆量化单元404可被配置为应用逆量化。逆变换处理单元406可被配置为执行逆变换以生成重构的残差数据。由逆量化单元404和逆变换处理单元406分别执行的技术可类似于由上述逆量化/变换处理单元208执行的技术。逆变换处理单元406可被配置为将逆DCT、逆DST、逆整数变换、不可分二次变换(NSST)或者在概率上类似的逆变换过程应用于变换系数，以便在像素域中产生残差块。此外，如上所述，是否执行特定变换(或特定变换的类型)可以取决于帧内预测模式。如图12中所示，可以将重构的残差数据提供给加法器412。加法器412可以将重构的残差数据添加到预测视频块并且生成重构的视频数据。可根据预测视频技术(即帧内预测和帧间预测)确定预测视频块。在一个示例中，视频解码器400和后滤波器单元414可被配置为确定量化值并且将其用于后滤波(例如，解块)。在一个示例中，利用量化值的视频解码器400的其他功能块可基于所接收的信号传输确定量化值并且将其用于解码。
帧内预测处理单元408可被配置为接收帧内预测语法元素并且从参考缓冲器416检索预测视频块。参考缓冲器416可包括被配置用于存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式，诸如上述的帧内预测模式。在一个示例中，帧内预测处理单元408可使用根据本文中所描述的帧内预测编码技术中的一种或多种来重构视频块。帧间预测处理单元410可接收帧间预测语法元素并生成运动向量，以识别存储在参考缓冲器416中的一个或多个参考帧中的预测块。帧间预测处理单元410可生成运动补偿块，可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以被包括在语法元素中。帧间预测处理单元410可使用内插滤波器计算参考块的子整数像素的内插值。后滤波器单元414可被配置为对重构的视频数据执行滤波。例如，后滤波器单元414可被配置为执行解块和/或SAO滤波，如上文关于后滤波器单元416所描述。此外，应当注意，在一些示例中，后滤波器单元414可被配置为执行专用的任意滤波(例如，视觉增强)。如图4所示，视频解码器400可以输出重构的视频块。
如图12中所示，视频解码器400包括缩放单元418。缩放单元418可以类似于上述缩放单元300，并且可以根据本文描述的一种或多种技术确定缩放参数。此外，缩放单元418(例如，通过执行乘法和/或执行移位操作)可以恢复已经缩放的值。图13A至图13B示出了基于亮度样本的函数进一步缩放色度位阶值的示例。在图13A至图13B所示的示例中，基于亮度样本值减小色度分量数据的位阶。例如，如上所述，可以基于场景的亮度来调整色度分量数据的位阶。因此，关于图13A至图13B中所示的示例，亮度样本的功能可用于确定场景是相对较暗还是较亮。在一个示例中，亮度样本的平均值可以用于确定场景的亮度。表2提供了亮度样本值的平均值与缩放参数之间的关系的示例。应当注意，表2中的浮点缩放可表示为整数和移位。在表2中，“<<”表示移位操作(例如，ITU-TH.265中定义的移位操作)
平均值 0-300 301-366 367-433 434-500 501-566 567-633 634-700 701-766 767-833 834-1023
缩放 0.71 0.79 0.89 1 1.12 1.26 1.41 1.58 1.78 2
缩放<<6 45 51 57 64 72 81 90 101 114 128
表2
参考图13B，在视频解码器处，确定缩放参数，并且在逆量化之前恢复所得的位阶值。如上所述，缩放可以在编码处理的各个阶段发生。这样，视频解码器400可被配置为根据本文中所描述的技术中的一种或多种生成重构的视频数据。这样，视频解码器400可被配置为接收对应于色度编码块的位阶值，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于所确定的缩放参数生成视频数据值。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实现，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实现或执行。被设计为执行本说明书中所述的功能的电路可包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其他可编程逻辑设备、分立栅极或晶体管逻辑器，或分立硬件部件，或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。
<概述>
在一个示例中，一种编码视频数据的方法包括接收对应于色度编码块的视频数据值，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于缩放参数生成位阶值。
在一个示例中，用于视频编码的设备包括被配置为接收对应于色度编码块的视频数据值的一个或多个处理器，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于缩放参数生成位阶值。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，当这些指令被执行时，使得设备的一个或多个处理器接收对应于色度编码块的视频数据值，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于缩放参数生成位阶值。
在一个示例中，一种设备包括用于接收对应于色度编码块的视频数据值的装置，其中色度编码块独立于亮度分量分区结构，用于基于亮度分量的一个或多个属性确定色度编码块的缩放参数的装置，以及用于基于缩放参数生成位阶值的装置。
在一个示例中，解码视频数据的方法包括接收对应于色度编码块的位阶值，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于所确定的缩放参数生成视频数据值。
在一个示例中，用于视频解码的设备包括被配置为接收对应于色度编码块的位阶值的一个或多个处理器，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于所确定的缩放参数生成视频数据值。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，当这些指令被执行时，使得设备的一个或多个处理器接收对应于色度编码块的位阶值，其中色度编码块独立于亮度分量分区结构，基于亮度分量的一个或多个属性确定色度编码块的缩放参数，并且基于所确定的缩放参数生成视频数据值。
在一个示例中，一种设备包括用于接收对应于色度编码块的位阶值的装置，其中色度编码块独立于亮度分量分区结构，用于基于亮度分量的一个或多个属性来确定色度编码块的缩放参数的装置，以及用于基于所确定的缩放参数生成视频数据值的装置。
在以下附图和描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从描述和附图以及权利要求书中显而易见。
<交叉引用>
该非临时申请根据35U.S.C.§119，要求2016年7月22日提交的临时申请No.62/365,908的优先权，其全部内容以引用方式并入本文。

Claims (1)

1.一种对视频数据进行解码的方法，所述方法包括：
解析指示应用于当前色度编码块的色度缩放的片段级标志；
基于亮度和色度分量空间分辨率关系，将所述当前色度编码块的左上样本映射到亮度分量样本的相应样本位置；
确定所述亮度分量样本的邻域中的重构亮度样本值的平均亮度值；
根据查找表确定色度缩放参数，所述查找表通过使用所述平均亮度值来提供所述色度缩放参数；以及
使用所述确定的色度缩放参数，对所述当前色度编码块的色度分量对应的残差数据进行缩放。
CN202110730684.0A 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法 Active CN113411576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110730684.0A CN113411576B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662365908P 2016-07-22 2016-07-22
US62/365908 2016-07-22
CN202110730684.0A CN113411576B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN201780045234.XA CN109479133B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
PCT/JP2017/025259 WO2018016381A1 (en) 2016-07-22 2017-07-11 Systems and methods for coding video data using adaptive component scaling

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780045234.XA Division CN109479133B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法

Publications (2)

Publication Number Publication Date
CN113411576A true CN113411576A (zh) 2021-09-17
CN113411576B CN113411576B (zh) 2024-01-12

Family

ID=60993211

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201780045234.XA Active CN109479133B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN202110721825.2A Active CN113452999B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN202110721827.1A Active CN113453000B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN202110730684.0A Active CN113411576B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201780045234.XA Active CN109479133B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN202110721825.2A Active CN113452999B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法
CN202110721827.1A Active CN113453000B (zh) 2016-07-22 2017-07-11 使用自适应分量缩放对视频数据进行编码的系统和方法

Country Status (4)

Country Link
US (3) US10944976B2 (zh)
EP (1) EP3488610A4 (zh)
CN (4) CN109479133B (zh)
WO (1) WO2018016381A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479133B (zh) * 2016-07-22 2021-07-16 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法
WO2018066809A1 (ko) * 2016-10-04 2018-04-12 엘지전자(주) 크로마 성분 코딩 유닛 분할 방법 및 장치
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
SG11202006004PA (en) * 2018-01-02 2020-07-29 Samsung Electronics Co Ltd Encoding method and apparatus therefor, and decoding method and apparatus therefor
WO2019194147A1 (en) 2018-04-02 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
CN112262576A (zh) * 2018-06-11 2021-01-22 光云大学校产学协力团 残差系数编码/解码方法和装置
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) * 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
BR112021010428A2 (pt) 2018-12-07 2021-08-24 Beijing Bytedance Network Technology Co., Ltd. Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
CN113424528A (zh) 2019-02-01 2021-09-21 北京字节跳动网络技术有限公司 环路整形和块差分脉冲编解码调制之间的相互作用
EP3900362A4 (en) 2019-02-01 2022-03-02 Beijing Bytedance Network Technology Co., Ltd. SIGNALING LOOP SHAPED INFORMATION USING PARAMETER SETS
WO2020169101A1 (en) * 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
EP3935847A4 (en) * 2019-03-04 2022-12-07 Alibaba Group Holding Limited METHOD AND SYSTEM FOR PROCESSING VIDEO CONTENT
WO2020182091A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Reshaping model in video processing
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11076152B2 (en) * 2019-03-18 2021-07-27 Sony Group Corporation Quantization step parameter for point cloud compression
CN113632476B (zh) 2019-03-23 2024-03-19 北京字节跳动网络技术有限公司 默认的环内整形参数
CN117880494A (zh) 2019-03-24 2024-04-12 北京字节跳动网络技术有限公司 用于帧内预测的参数推导的条件
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
AU2020260285B2 (en) 2019-04-18 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
CN113728627B (zh) * 2019-04-26 2023-09-19 北京字节跳动网络技术有限公司 用于环路内重构的参数的预测
CN117221558A (zh) * 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
WO2020228764A1 (en) * 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Methods on scaling in video coding
AU2020283560B2 (en) 2019-05-28 2021-12-23 Dolby Laboratories Licensing Corporation Quantization parameter signaling
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
MX2021014971A (es) * 2019-06-17 2022-01-24 Lg Electronics Inc Codificacion de video o imagen en base a mapeo de luma y escalado de croma.
CN114009021A (zh) * 2019-06-20 2022-02-01 北京达佳互联信息技术有限公司 用于视频编解码的预测相关残差缩放的方法和装置
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
CN114375582A (zh) * 2019-06-24 2022-04-19 阿里巴巴集团控股有限公司 处理亮度和色度信号的方法和系统
KR102644970B1 (ko) * 2019-06-28 2024-03-08 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
US11418787B2 (en) 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
CN114342381B (zh) * 2019-07-05 2023-11-17 Lg电子株式会社 图像解码和编码方法及用于图像的数据的发送方法
US11381819B2 (en) 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
JP7460748B2 (ja) * 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
CN114041288A (zh) * 2019-07-10 2022-02-11 Oppo广东移动通信有限公司 图像分量的预测方法、编码器、解码器以及存储介质
CN112055211B (zh) * 2019-08-15 2021-10-26 华为技术有限公司 视频编码器及qp设置方法
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
WO2021093801A1 (en) * 2019-11-14 2021-05-20 Beijing Bytedance Network Technology Co., Ltd. Coding of low bit-depth visual media data
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11381820B2 (en) * 2020-04-13 2022-07-05 Tencent America LLC Method and apparatus for video coding
CN115834912A (zh) 2020-06-03 2023-03-21 北京达佳互联信息技术有限公司 对视频进行编码的方法和装置
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003518A1 (en) * 2013-06-28 2015-01-01 Research In Motion Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US20150016512A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Inter-color component residual prediction
CN104782125A (zh) * 2012-11-08 2015-07-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
CN105359521A (zh) * 2013-06-28 2016-02-24 黑莓有限公司 用于对高保真编码器中的低保真编码进行仿真的方法和设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN100546388C (zh) * 2007-07-12 2009-09-30 深圳市融创天下科技发展有限公司 一种用于视频编码的色度均衡方法
US8279924B2 (en) * 2008-10-03 2012-10-02 Qualcomm Incorporated Quantization parameter selections for encoding of chroma and luma video blocks
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US8922704B2 (en) * 2010-09-01 2014-12-30 Apple Inc. Techniques for collection of auto-focus statistics
EP2789165A4 (en) * 2012-01-20 2015-08-05 Sony Corp EXPANSION OF CHROMISTRATION PARAMETERS
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
WO2017053849A1 (en) * 2015-09-23 2017-03-30 Arris Enterprises Llc Single layer high dynamic range coding with standard dynamic range backward compatibility
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
CA3013317A1 (en) 2016-02-08 2017-08-17 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding
US10542296B2 (en) * 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
EP3466072A1 (en) * 2016-05-27 2019-04-10 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
CN112689147B (zh) * 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
CN109479133B (zh) * 2016-07-22 2021-07-16 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104782125A (zh) * 2012-11-08 2015-07-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US20150003518A1 (en) * 2013-06-28 2015-01-01 Research In Motion Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
CN105359521A (zh) * 2013-06-28 2016-02-24 黑莓有限公司 用于对高保真编码器中的低保真编码进行仿真的方法和设备
US20150016512A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Inter-color component residual prediction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAN HUANG, KAI ZHANG: "EE2.1: Quadtree plus binary tree structure integration with JEM tools", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 3RD MEETING: GENEVA, CH, 26 MAY – 1 JUNE 2016, JVET-C0024 *
ITU-T: "High efficiency video coding-SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services – Coding of moving video", pages 1 - 317, Retrieved from the Internet <URL:https://www.itu.int/rec/T-REC-H.265> *
JIE ZHAO, ANDREW SEGALL, SEUNG-HWAN: "De-quantization and scaling for next generation containers", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 2ND MEETING: SAN DIEGO, USA, 20–26 FEBRUARY 2016, JVET-B0054 *

Also Published As

Publication number Publication date
US20210160518A1 (en) 2021-05-27
CN113452999A (zh) 2021-09-28
CN113411576B (zh) 2024-01-12
US20220264128A1 (en) 2022-08-18
CN113452999B (zh) 2023-12-05
CN109479133A (zh) 2019-03-15
CN109479133B (zh) 2021-07-16
US10944976B2 (en) 2021-03-09
CN113453000A (zh) 2021-09-28
CN113453000B (zh) 2024-01-12
EP3488610A4 (en) 2019-07-17
US11343521B2 (en) 2022-05-24
US20190289306A1 (en) 2019-09-19
EP3488610A1 (en) 2019-05-29
WO2018016381A1 (en) 2018-01-25
US11677968B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
CN109479133B (zh) 使用自适应分量缩放对视频数据进行编码的系统和方法
CN109196863B (zh) 用于改变量化参数的系统和方法
CN114339229B (zh) 用于对变换数据进行编码的系统和方法
WO2017138352A1 (en) Systems and methods for transform coefficient coding
CN110313179B (zh) 用于按比例缩放变换系数水平值的系统和方法
US11310495B2 (en) Systems and methods for applying deblocking filters to reconstructed video data
CN109804630A (zh) 对视频数据编码执行运动补偿的系统以及方法
US11778182B2 (en) Device for decoding video data, device for encoding video data, and method for decoding video data
CN112997501B (zh) 导出用于对视频数据进行解码的预测亮度样本值的方法
WO2018180841A1 (en) Systems and methods for filtering reconstructed video data using bilateral filtering techniques
US20210160507A1 (en) Systems and methods for adaptively clipping sample values
CN110583021A (zh) 用于执行平面帧内预测视频编码的系统和方法
WO2019216324A1 (en) Systems and methods for performing binary arithmetic coding in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231204

Address after: Japan's Osaka City. Sakai Sakai district town 1 times

Applicant after: Sharp Corp.

Address before: Japan's Osaka City. Sakai Sakai district town 1 times

Applicant before: Sharp Corp.

Applicant before: FG Innovation Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant