CN109076225A - 用于变换系数编码的系统和方法 - Google Patents

用于变换系数编码的系统和方法 Download PDF

Info

Publication number
CN109076225A
CN109076225A CN201780010338.7A CN201780010338A CN109076225A CN 109076225 A CN109076225 A CN 109076225A CN 201780010338 A CN201780010338 A CN 201780010338A CN 109076225 A CN109076225 A CN 109076225A
Authority
CN
China
Prior art keywords
value
quantization
transformation
video
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780010338.7A
Other languages
English (en)
Inventor
赵杰
克里斯托弗·安德鲁·塞格尔
金承焕
凯兰·穆凯什·米斯拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109076225A publication Critical patent/CN109076225A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频编码设备，所述视频编码设备被配置为：接收位阶值，估计与所述位阶值相关联的重构视频块的特性，基于所述估计特性调整量化缩放因子，并且基于所述调整的量化缩放因子对所述位阶值执行量化过程。

Description

用于变换系数编码的系统和方法
技术领域
本公开涉及视频编码，并且更具体地涉及用于变换系数编码的技术。
背景技术
数字视频功能可以结合到各种设备中，包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话包括所谓的“智能”电话、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)和高效率视频编码(HEVC)。HEVC在2014年10月的高效率视频编码(HEVC)，Rec.ITU-T H.265中有所描述，该规范以引用方式并入本文并在本文中称为ITU-T H.265。目前正在考虑对HEVC进行扩展和改进以开发下一代视频编码标准。例如，ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)(统称为联合视频研究组(JVET))正在研究压缩能力显著超过当前HEVC标准的未来视频编码技术的标准化的潜在需求。以引用方式并入本文的联合探索模型1(JEM 1)、联合探索测试模型1(JEM 1)的算法描述、ISO/IEC JTC1/SC29/WG11/N15790(2015年10月，瑞士，日内瓦)描述了由JVET在联合测试模型研究下的编码特征，该技术是超越HEVC功能的潜在增强视频编码技术。需注意，JEM 1的编码特征是在由Fraunhofer研究机构维护的JEM参考软件中实现的。目前，已提供JEM参考软件的102版。如本文所用，使用术语JEM统称JEM 1的算法描述和JEM参考软件的具体实施。
视频压缩技术可以减少存储和传输视频数据的数据需求。视频压缩技术可以通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的片段、片段内的编码树单元(例如，宏块)、编码树单元内的编码块、编码块内的编码单元等)。可以使用帧内预测编码技术(例如，图片内(空间))和帧间预测技术(即图片间(时间))来生成待编码的单位视频数据与视频数据的参考单元之间的差值。该差值可被称为残差数据。残差数据可被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引、运动向量和块向量)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在合规比特流中。
发明内容
一般来讲，本公开描述用于编码视频数据的各种技术。具体而言，本公开描述了用于变换系数编码的技术。需注意，虽然本公开的技术是关于ITU-T H.264、ITU-T H.265和JEM描述的，但是本公开的技术通常可应用于视频编码。例如，本文关于ITU-T H.265描述的变换系数编码技术通常可应用于视频编码。例如，本文中所描述的编码技术可并入包括块结构的视频编码系统(包括未来视频编码标准)、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或熵编码技术，但ITU-T H.265中的那些除外。因此，对ITU-T H.264、ITU-TH.265和/或JEM的参考是用于描述性目的，并且不应被解释为限制本文所述技术的范围。
本发明的一个方面是一种对与视频数据相关联的变换值执行量化过程的方法，该方法包括：接收变换值；接收与变换值相关联的视频数据的预测块；基于接收的视频数据的预测块的函数来调整量化缩放因子；并且基于调整的量化缩放因子对变换值执行量化过程。
本发明的另一方面是一种对与视频数据相关联的变换值的子集执行量化过程的方法，该方法包括：接收变换值集合；确定与该变换值集合相关联的量化参数；基于确定的量化参数对变换值的子集执行量化过程；基于对变换值的子集执行量化过程的结果的函数调整量化缩放因子；并且基于调整的量化缩放因子对变换值的另一集合执行量化过程。
本发明的另一方面是一种对与视频数据相关联的变换值进行缩放的方法，该方法包括：接收变换值集合；基于变换值的第一子集确定缩放因子，将该缩放因子应用于变换值的第二子集；并且对包括变换值的第一子集和变换值的缩放后的第二子集的集合执行变换过程。
本发明的另一个方面是一种对与视频数据相关联的位阶值执行量化过程的方法，该方法包括：接收位阶值；估计与该位阶值相关联的重构视频块的特性；基于估计的特性来调整量化缩放因子；并且基于调整的量化缩放因子对位阶值执行量化过程。
本发明的另一个方面是一种对与视频数据相关联的位阶值执行量化过程的方法，该方法包括：接收位阶值集合；使用量化缩放因子对该位阶值集合执行逆量化；对逆量化的结果执行逆变换；基于逆变换的结果调整量化缩放因子；并且基于调整的量化缩放因子对该位阶值集合执行量化过程。
本发明的另一方面是一种修改重构残差数据的方法，该方法包括：接收重构的残差数据；对重构的残差数据执行变换；基于变换的结果确定缩放因子；基于确定的缩放因子修改一个或多个变换系数；并且对修改的变换系数执行逆变换。
附图说明
[图1]图1是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码和解码的系统的示例的框图。
[图2]图2是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的视频编码器的示例的框图。
[图3]图3是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图4A]图4A是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图4B]图4B是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图5A]图5A是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图5B]图5B是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图5C]图5C是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。
[图6]图6是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行解码的视频解码器的示例的框图。
[图7]图7是示出根据本公开的一种或多种技术调整量化值的示例的概念图。
[图8A]图8A是示出根据本公开的一种或多种技术的编码变换系数的示例的概念图。
[图8B]图8B是示出根据本公开的一种或多种技术的编码变换系数的示例的概念图。
[图8C]图8C是示出根据本公开的一种或多种技术的编码变换系数的示例的概念图。
[图9A]图9A是示出根据本公开的一种或多种技术的编码变换系数的示例的概念图。
[图9B]图9B是示出根据本公开的一种或多种技术的编码变换系数的示例的概念图。
具体实施方式
视频内容通常包括由一系列帧组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频图片可以包括多个片段或片，其中片段或片包括多个视频块。视频块可被定义为可被预测性地编码的最大像素值(也被称为样本)阵列。视频块可以根据扫描模式(例如，光栅扫描)来排序。视频编码器对视频块和其子分区执行预测编码。ITU-T H.264规定了包括16×16亮度样本的宏块。ITU-T H.265规定了类似的编码树单元(CTU)结构，其中图片可以被分割成相同大小的CTU，并且每个CTU可以包括具有16×16、32×32或64×64亮度样本的编码树块(CTB)。JEM规定了具有最大尺寸的256×256亮度样本的CTU。如本文所用，术语视频块通常可以指图片的区域，或者可以更具体地指可以被预测性地编码的像素值的最大阵列，其子分区和/或对应结构。
在ITU-T H.265中，可以根据相应的四叉树块结构将CTU的CTB分割成编码块(CB)。在JEM中，CTB可能会根据二叉树结构进一步分割。也就是说，JEM指定了四叉树加二叉树(QTBT)块结构。根据ITU-T H.265，一个亮度CB连同两个对应的色度CB和相关联的语法元素被称为一个编码单元(CU)。CU与为CU定义一个或多个预测单元(PU)的预测单元(PU)结构关联，其中PU与对应的参考样本相关联。也就是说，在ITU-T H.265中，使用帧内预测或帧间预测对图片区域进行编码的决定在CU级进行。在ITU-T H.265中，PU可以包括亮度和色度预测块(PB)，其中方形PB被支持用于帧内预测，并且矩形PB被支持用于帧间预测。帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)可将PU与对应参考样本相关联。在JEM中，二叉树结构支持被称为编码块(CB)的方形和矩形二叉树叶节点。在JEM中，CB可以用于预测而不需要任何进一步的分割。此外，在JEM中，亮度和色度分量可能具有单独的QTBT结构。包括在PU、CB或另一类型的图片区域结构和相关联的参考样本中的样本值之间的差异可以被称为残差数据。
残差数据可以包括对应于视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))的相应差值阵列。残差数据可能在像素域中。可对像素差值应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换，以生成变换系数。需注意，在ITU-T H.265中，PU可以进一步再分为变换单元(TU)。也就是说，为了生成变换系数，可以对像素差值的阵列进行再分(例如，可以将四个8x8变换应用于16x16残差值阵列)，此类子分区可以被称为变换块(TB)。在JEM中，可以使用对应于CB的残差值来生成变换系数。在JEM中，可以使用自适应多重变换(AMT)方案来生成变换系数。AMT方案可以包括使用变换集合来生成变换系数，其中变换集合包括定义的变换矩阵。变换矩阵可以对应于八个版本的DCT中的一个或八个版本的DST中的一个，其中八个版本的DCT和八个版本的DST形成离散三角变换系列。在一个示例中，特定变换集合可对应于帧内预测模式。此外，在JEM中，可以应用核心变换和后续二次变换来生成变换系数。此外，是否应用后续二次变换来生成变换系数可取决于预测模式。可以对变换系数执行量化。可以根据熵编码技术(例如，内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间分割熵编码(PIPE)等)对量化的变换系数进行熵编码。此外，语法元素(例如，指示预测模式的语法元素)也可以被熵编码。熵编码的量化变换系数和对应的熵编码语法元素可形成可用于再现视频数据的合规比特流。
量化对变换系数进行缩放以改变发送一组变换系数所需的数据量。量化可包括将变换系数除以某个量化缩放因子(本文中称为Q缩放)和任何相关联的取整函数(例如，取整到最接近的整数)。量化的变换系数可以被称为系数位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘。需注意，如本文所用，术语量化过程在一些情况下可指除以缩放因子以生成位阶值，并且乘以缩放因子以在一些情况下恢复变换系数。也就是说，量化过程在一些情况下可以指量化，而在一些情况下可以指逆量化。此外，在一些示例中，量化过程可以涉及量化、逆量化以及任何后续量化(例如，在视频编码器处基于去量化DC变换系数调整AC变换系数的量化)。此外，需注意，虽然在下面的示例中关于与十进制记数法相关的算术运算描述了量化过程，但是这样的描述是为了说明的目的，并且不应该被解释为进行限制。例如，本文描述的技术可以使用二进制运算等实现。例如，本文描述的乘法和除法运算可以使用移位运算、加法运算等实现。公式1提供量化的通用示例，并且公式2提供对应的逆量化的示例。
公式1
位阶＝Round整数(系数/Q缩放)
公式2
系数＝位阶*Q缩放
量化的程度可以通过调整量化缩放因子来修改。量化的程度可以改变编码的视频数据的率失真(即比特率与视频质量的关系)。参考公式1和公式2，可以通过改变Q缩放的值来调整发送系数位阶值所需的数据量和恢复的变换系数值(即去量化的变换系数)的精度。图7是说明Q缩放值的变化如何改变系数位阶值的范围(例如，对于Q缩放＝5，系数位阶值的范围为从-19到32；并且对于Q缩放＝15，系数位阶值的范围为从-6到11)以及可恢复变换系数值的精度(例如，对于Q缩放＝15，具有值为0的更多系数位阶值)的概念图。
在ITU-T H.265中，可以由量化参数QP确定量化缩放因子Q步的值。在ITU-T H.265中，QP可以取0到51之间的52个值，QP变化1通常对应于Q步值变化约12％。此外，在ITU-TH.265中，可以使用预测量化参数值和可选地信号传输的量化参数增量值来导出变换系数集合的QP值。在ITU-T H.265中，可以针对每个CU更新量化参数，并且可以针对亮度(Y)和色度(Cb和Cr)分量中的每一个导出量化参数。在ITU-T H.265，对于编码单元中的当前亮度编码块，可以根据下列公式基于预测量化参数值和量化参数增量值导出亮度量化参数Qp’Y：
公式3
Qp'Y＝QpY+QpBdOffsetY
公式4
QpY＝((qPY_PRED+CuQpDeltaVal+52+2*QpBdOffsetY)％(52+QpBdOffsetY))-QpBdOffsetY
其中
-QpBdOffsetY是量化参数范围偏移量，并且通过QpBdOffsetY＝6*bit_depth_luma_minus8导出；
-bit_depth_luma_minus8等于亮度位深度(bitDepthY)减8；
-qPY_PRED等于：
从在片段区段首部信号传输的变量中导出的片段亮度量化参数，或者
按解码顺序的先前量化组中最后编码单元的亮度量化参数；
-CuQpDeltaVal由变换单元语法信号传输的变量导出，并且具有
包括端值的-(26+QpBdOffsetY/2)至+(25+QpBdOffsetY/2)范围内的值；并且
-％是模算术运算符，其中x％y是x除以y的余数，仅针对x>＝0且Y>0的整数x和y定义；
需注意，在一些示例中，关于公式3和公式4，可以基于亮度分量的位深度将QpBdOffsetY一般化为包括任何值，并且可以基于亮度量化参数预测器值、编码单元量化参数增量值以及亮度分量的位深度将公式4一般化为包括任何函数。此外，需注意，在ITU-TH.265中，可选地信号传输CuQpDeltaVal。这样，用于确定ITU-T H.265中编码单元中的当前亮度编码块的Q步的过程一般可被描述为从先前的CU继承片段级QP值或继承QP值，并且可选地将指示的QP增量值添加到继承的QP值。在ITU-T H.265中，使用1位符号指示符和可变长度绝对值指示符将QP增量值发信号通知解码器。
此外，在ITU-T H.265中，根据以下公式导出编码单元的色度量化参数Qp'Cb和Qp'Cr：
公式5
Qp'Cb＝qPCb+QpBdOffsetC
公式6
Qp'Cb＝qPCr+QpBdOffsetC
其中
-QpBdOffsetC是量化参数范围偏移量，并且由QpBdOffsetC＝6*bit_depth_chroma_minus8导出；
-bit_depth_chroma_minus8等于色度的位深度(bitDepthC)减8；
在ITU-T H.265中，基于等于变量qPiCb和qPiCr的索引qPi，将变量qPCb和qPCr设置为等于表1中指定的QpC的值。
qPi <30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 >43
Qp<sub>C</sub> ＝qPi 29 30 31 32 33 33 34 34 35 35 36 36 37 37 ＝qP-6
表1
其中qPiCb和qPiCr的推导如下
公式7
qPiCb+Clip3(-QpBdOffsetC,57,QpY+pps_cb_qp_offset+slice_cb_qp_offset)
公式8
qPiCr+Clip3(-QpBdOffsetC,57,QpY+pps_cr_qp_offset+slice_cr_qp_offset)
其中
如果z&lt;x，-Clip3(x,y,z)等于x；如果z&gt;y，等于y；否则等于z；
-pps_cb_qp_offset在图像参数集合中信号传输，并且具有包括端值的-12到+12范围内的值
-pps_cr_qp_offset在图片参数集合中信号传输，并且具有包括端值的-12到+12范围内的值
-slice_cb_qp_offset在片段区段首部中信号传输并且指定要添加到pps_cb_qp_offset的差值，并且具有包括端值的-12到+12范围内的值
-slice_cr_qp_offset在片段区段首部中信号传输并且指定要添加到pps_cr_qp_offset的差值，并且具有包括端值的-12到+12范围内的值
需注意，在一些示例中，关于公式5至8，可以基于色度分量的位深度将QpBdOffsetC一般化为任何值，并且可以基于亮度量化参数(或与其相关联的变量)和色度分量的位深度将qPiCb和qPiCr的函数一般化为包括任何函数。这样，用于确定ITU-T H.265中编码单元中的当前色度编码块的Q步的过程可以一般性地描述为基于与亮度分量相关联的QP值来确定QP值。因此，在ITU-T H.265中，应用于变换系数集合的量化程度可以取决于：(1)片段级参数，(2)从先前编码单元继承的参数，以及/或者(3)可选地信号传输的CU级增量值。
需注意，视频编码标准的预期性能可以基于特定的视频编码格式和支持的视频编码格式内的数据的期望值。例如，视频编码标准可以基于假设使用视频系统传输的大部分视频数据将具有特定格式(例如，特定图片分辨率、动态范围和颜色范围)。当视频数据的值不在预期范围内时，特别是当视频数据的值大于预期范围时，这可能导致编码不理想。例如，基于高分辨率视频格式设计的视频编码标准可能不会为编码下一代视频格式例如所谓的超高清格式提供足够的性能。此外，图片的区域可关于其中样本的亮度、动态范围和颜色具有不同的特性。例如，但某场景的在阴影中的一部分可具有与该场景的不在阴影中的一部分不同的局部特性，尽管这两个区域都包括在同一张图片中。需注意，对于视频数据而言，图片区域具有不同局部特性的可能性随着图片尺寸、动态范围和/或颜色范围的增加而增加。需注意，在一些示例中，这些区域可以被包括在相同的视频数据片段中，或者在一些情况下可以被包括在相邻的CU中。
在一些情况下，为了改善编码性能，可能期望将较低量化程度应用于针对图像的相对较亮的区域生成的变换系数(即减小Q缩放的值)，并且将较高量化程度应用于针对图像的相对较暗的区域生成的变换系数(即增加Q缩放的值)。也就是说，以比图像的明亮部分更低的精度重构图片的暗部分(例如，场景的在阴影中的部分)是可接受的。如上所述，在ITU-TH.265中，应用于变换系数集合的量化程度可以取决于：(1)片段级参数，(2)从先前编码单元继承的参数，以及/或者(3)可选地信号传输的CU级增量值。在CU级信号传输QP增量值以调整量化的程度从而适应图像的变化可能不太理想。此外，需注意，在ITU-T H.265中，由于量化参数是从先前的CU继承的，因此针对先前CU进行的任何调整都必须考虑到当前CU。例如，在先前CU继承片段级QP值26并且对片段级QP值进行调整(例如，先前CU的QP增量等于20)的情况下，当前CU继承调整后的QP值(在这种情况下为46)。因此，在这种情况下，为了针对当前CU使用QP值26，必须为当前CU发送QP增量值(例如，-20)。这可能导致编码性能不理想。本文描述的示例技术可以用于基于样本值与视频数据的区域，针对视频数据的区域生成量化缩放因子。
图1是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码(例如，编码和/或解码)的系统的示例的框图。系统100表示可根据本公开的一种或多种技术对变换系数进行编码的系统的示例。如图1所示，系统100包括源设备102、通信介质110和目标设备120。在图1所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据发送到通信介质110的任何设备。目标设备120可包括被配置为经由通信介质110接收编码的视频数据并且对编码的视频数据进行解码的任何设备。源设备102和/或目标设备120可包括配备用于进行有线和/或无线通信的计算设备，并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备，包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
再次参考图1，源设备102包括视频源104、视频编码器106和接口108。视频源104可包括配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可包括被配置为接收视频数据并产生表示视频数据的合规比特流的任何设备。合规比特流可以指视频解码器可以从其接收和再现视频数据的比特流。合规比特流的各方面可根据视频编码标准来定义。当生成合规比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收一致性视频比特流并且将该一致性视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，其可以使得一致性视频比特流能够存储在存储设备上。例如，接口108可以包括支持外围组件接口(PCI)和外围组件快速连接接口(PCIe)总线协议、专用总线协议、通用串行总线(USB)协议、I2C或任何其他可用于互连对等设备的逻辑和物理结构。
再次参考图1，目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收一致性视频比特流的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括使得能够从存储设备检索一致性视频比特流的计算机系统接口。例如，接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、I2C的芯片组，或者可被用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可包括被配置为接收合规比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。需注意，虽然在图1所示的示例中，视频解码器124被描述为将数据输出到显示器126，但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据输出到任何通信介质，如上所述。
图2是示出可实施本文描述的用于编码视频数据的技术的视频编码器200的示例的框图。需注意，虽然示例视频编码器200被示出为具有不同的功能块，但是此类图示旨在用于描述目的，并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中，视频编码器200可被配置为根据本文中所描述的技术对变换系数进行编码。
视频编码器200可执行图片区域的帧内预测编码和帧间预测编码，并且因此可被称为混合视频编码器。在图2所示的示例中，视频编码器200接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可包括宏块、CTU、CB、其子分区和/或另一等效编码单元。在一些示例中，视频编码器200可被配置为执行源视频块的额外再分。需注意，本文描述的技术通常适用于视频编码，而不管在编码之前和/或期间如何分割源视频数据。此外，在图2所示的示例中，视频编码器200接收继承的量化参数数据。在一些示例中，继承的量化参数数据可以包括从片段级语法或先前的编码单元继承的量化参数数据(例如，如在如上所述的qPY_PRED的情况下)。此外，需注意，继承的量化参数数据可以包括在片段首部、序列参数集(SPS)、图片参数集(PPS)或任何其他合适的位置中信号传输的任何量化参数预测器。这样，本文描述的技术不应该被解释为基于关于ITU-TH.265描述的说明性示例进行限制，并且通常可以适用于在其他视频编码系统包括目前正在开发的视频编码标准中定义的量化参数。
在图2所示的示例中，视频编码器200包括加法器202、变换系数发生器204、系数量化单元206、逆量化/变换处理单元208、加法器210、帧内预测处理单元212、帧间预测处理单元214、滤波器单元216和熵编码单元218。如图2所示，视频编码器200接收源视频块和继承的QP数据并输出比特流。在图2所示的示例中，视频编码器200可通过从源视频块中减去预测视频块来产生残差数据。下面详细描述了对预测视频块的选择。加法器202表示被配置为执行该减法运算的部件。在一个示例中，减去视频块出现在像素域中。变换系数发生器204对残差块或其子分区应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)或概念上类似的变换(例如，四个8x8变换可以被应用于16x16残差值阵列)以产生残差变换系数集合。变换系数发生器204可以被配置为执行离散三角变换系列中包括的变换的任何和全部组合。如图2所示，变换系数发生器204可以被配置为接收帧内预测数据。这样，变换系数发生器204可以被配置为基于帧内预测模式对残差数据执行更多个变换中的一个。类似地，变换系数发生器204可以被配置为基于帧间预测的类型对残差数据执行更多个变换中的一个。在JEM中，12个变换集合之一可以被映射到67个帧内预测模式。可以使用与变换集合相关联的变换矩阵来生成变换系数。在一些示例中，变换系数发生器204可被配置为后续应用二次变换，即在应用核心变换之后应用一个或多个后续二次变换。在一个示例中，应用后续二次变换可以包括对变换系数的每个子组独立地执行二次变换。变换系数发生器204将变换系数输出到系数量化单元206。在一个示例中，由变换系数发生器204输出的变换系数可以由与在两个维度中具有零频率的系数对应的DC系数值和与具有非零频率的系数对应的AC系数值组成。需注意，DC系数值可等于像素域中样本的平均值。因此，在一些示例中，基于DC系数值的函数可以等于基于像素域样本值的平均值的函数，反之亦然。
系数量化单元206可以被配置为执行变换系数的量化。如上所述，可以通过调整量化缩放因子来修改量化程度，该量化缩放因子可以对应于量化参数(QP)。如图2所示，系数量化单元206接收继承的QP数据、变换系数，并输出位阶值(即量化的变换系数)和信号传输的QP数据。信号传输的QP数据可指为在解码器处去量化而对继承的QP数据进行的调整。例如，信号传输的QP数据可以包括QP增量值，其包括或类似于上面描述的QP增量值。即通过解析比特流，可以由视频解码器以无损方式恢复位阶值和信号传输的QP数据。需注意，如下所述，当比特流包括有限的信号传输的QP数据时，例如在未用信号传输QP增量值的情况下，可以应用本文描述的技术，并且所述技术可能是特别有用的。
如图2所示，量化的变换系数被输出到逆量化/变换处理单元208。逆量化/变换处理单元208可以被配置为应用逆量化和/或逆变换来生成重构的残差数据。如图2所示，在加法器210，重构的残差数据可以被添加到预测视频块。这样，可以重构编码的视频块，并且可以使用所得到的重构的视频块来评估给定的预测、变换和/或量化的编码质量。视频编码器200可被配置为执行多个编码回合(例如，在改变预测、变换参数和量化参数中的一个或多个的同时执行编码)。比特流的率失真或其他系统参数可以基于重构的视频块的评估来优化。此外，重构的视频块可被存储并用作预测后续块的参考。
图3是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的逆量化和逆变换处理单元的示例的框图。需注意，可在视频编码器中包括逆量化/变换处理单元300以执行多个编码回合，并且/或者可在视频解码器中包括所述逆量化/变换处理单元以执行解码。如上所述，可能期望将较低量化程度应用于针对图像的相对较亮的区域生成的变换系数，并且将较高量化程度应用于针对图像的相对较暗的区域生成的变换系数。此外，通常希望基于局部视频属性(例如，图片区域的属性)调整量化的程度。此外，可能需要通过可导致较低比特率的最小信号传输(例如，无需信号传输QP增量值)来调整当前视频块的量化程度。
逆量化/变换处理单元300可被配置为基于继承的QP数据、信号传输的QP数据和预测视频块来确定量化缩放值，并且基于确定的量化缩放值来生成重构的残差数据。如图3所示，逆量化/变换处理单元300包括量化缩放确定单元302、逆量化单元304和逆变换处理单元306。如图3所示，逆量化单元304接收位阶值和Q缩放值并输出去量化的变换系数。也就是说，如上所述，逆量化单元304可以将Q缩放和位阶值相乘并且执行任何相关联的去量化调整以生成去量化的变换系数。逆变换处理单元306可被配置为以互逆的方式操作变换系数发生器204。也就是说，逆变换处理单元306可以被配置为应用逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程，以变换系数从而再现像素域中的残差块。需注意，在核心变换之后应用多个后续二次变换中的一个或多个的情况下，逆变换过程包括在应用核心变换的逆变换过程之前应用互逆后续二次变换。
再次参考图3，量化缩放确定单元302接收继承的QP数据、信号传输的QP数据和预测视频块并确定Q缩放值。如上所述，可以通过变换单元(QPTU)的量化参数QP来确定量化缩放因子，其中变换单元的QPTU基于预测量化参数(QP预测)以及可选地信号传输的量化参数增量值(QP增量)。量化缩放确定单元302可被配置为通过调整QPTU确定Q缩放值。也就是说，量化缩放确定单元302可被配置为确定量化参数调整QP调整，并且将QP调整添加到QP预测和QP增量。公式9和10示出了Q缩放和QP调整之间的关系。需注意，在一些示例中，量化缩放确定单元302可以向逆量化单元304输出QP调整，并且逆量化单元304可以确定Q缩放。此外，需注意，本文描述的一个或多个分量可以执行缩放值和量化参数值之间的转换。此外，需注意，本文描述的一个或多个分量可在亮度分量的缩放值和色度分量的量化参数值之间进行转换。也就是说，例如，上面描述的表1和公式5至8可以用于执行亮度分量的缩放值和色度分量的量化参数值之间的转换。也就是说，本公开的技术通常可应用于基于视频数据的局部属性来调整量化程度，而不管使用任何数量的转换以及硬件、固件和/或软件具体实施的任何组合。
公式9
Q缩放＝Function(QPTU)
公式10
QPTU＝QP预测+QP增量+QP调整
如上所述，可能期望将较低量化程度应用于针对图片的相对较亮的区域生成的变换系数，并且将较高量化程度应用于针对图片的相对较暗的区域生成的变换系数。表2提供了可用于基于相对亮度值确定QP调整的值的查找表的示例。
亮度 10％ 20％ 30％ 40％ 50％ 60％ 70％ 80％ 90％
QP<sub>调整</sub> +20 +10 +5 +3 0 -3 -5 -10 -20
表2
如上所述，逆量化/变换处理单元300可以包括在视频解码器中以执行解码。在视频解码器中，需要去量化来重构图片的区域，并且因此重构图片的区域的亮度只能在去量化之前进行估计。因此，量化缩放确定单元302可被配置为将QP调整作为估计重构视频块的函数来确定，如公式11所示。
公式11
QP调整＝Function(估计的重构视频块)
如上所述，重构的视频块包括(例如，使用帧内预测模式、运动向量等指定的)预测视频块与重构残差之和。这样，估计的重构视频块可以基于预测视频块和/或估计的重构残差。也就是说，如公式12至14中所提供的，QP调整可以是预测视频块和/或估计的重构残差的函数。
公式12
QP调整＝Function(预测视频块)
公式13
QP调整＝Function(估计的重构残差)
公式14
QP调整＝Function(预测视频块，估计的重构残差)
在图3所示的示例中，量化缩放确定单元302可被配置为将QP调整作为预测视频块的函数来确定。在一个示例中，量化缩放确定单元302可被配置为针对预测视频块的样本执行统计分析，并且生成QP调整的值。也就是说，量化缩放确定单元302可通过对关联的预测块执行统计分析来估计图片区域的相对亮度，并且生成QP调整的值，如公式15中提供的。
公式15
QP调整＝斜率*LUT[Statistic(预测视频块)]
在公式15中，LUT是指查找表(LUT)，并且统计值可以包括中值、平均值、最大值、最小值、标准偏差等的任何和全部组合。此外，在公式15中，斜率可以是用于缩放的恒定值。表3提供了关联平均样本值(例如，平均值的范围为0到255，其中0是最小亮度值，并且255是最大亮度值)的查找表的示例。
平均值 0-50 51-75 76-100 101-125 126-150 151-175 176-200 201-225 226-255
QP<sub>调整</sub> +20 +10 +5 +3 0 -3 -5 -10 -20
表3
再次参考图3，Q缩放被示出为由逆量化/变换处理单元300输出到二次过程。在一个示例中，二次过程可以涉及视频数据的另一个分量的变换系数的去量化。例如，逆量化/变换处理单元300可输出Y、Cb或Cr之一的重构残差数据，并且Q缩放可以被提供给另一个逆量化/变换处理单元以重构Y、Cb或Cr。例如，如果逆量化/变换处理单元300输出Y的重构残差数据，则Cb和Cr位阶值的去量化可以基于Q缩放(例如，QP调整色度＝Function(Q缩放))。此外，二次过程可以包括滤波过程(例如，解块、自适应环路滤波或样本自适应偏移滤波)。此外，二次过程可以包括变换系数的缩放。下面关于图9A至图9B进一步详细描述了变换系数的缩放。需注意，在一些示例中，相比于将重构残差数据发送到过程，将信息发送到Q缩放值和其他相关联的信息可以使得运算能够更快完成。也就是说，例如，在一些情况下，用于估计本文描述的重构视频块的技术对于替换其他运算中的重构视频块的值是有用的。
如上所述，在一些情况下，CU可以被划分成PU，并且PU可以被进一步再分成TU。需注意，在一些示例中，可以根据与变换块不同的块尺寸来计算用于确定QP调整的统计值(例如，平均值)。例如，在一些情况下，CU可包括多个PU，并且PU可包括多个TU。在一些示例中，每个TU的QP调整可基于CU的统计值。例如，在对CU完成所有预测之后，可以针对CU计算平均亮度值，并且其可以用于计算每个相应TU的QP调整。如上所述，二次过程可以包括解块过程。在一个示例中，解块过程可以基于QP值。在一个示例中，当确定要用于解块的QP值时，可以使用大于TU尺寸的区域来计算用于解块的QP。也就是说，在一个示例中，可以逐个TU逐个TU地来确定用于量化的QP调整，并且可以在CU级上确定用于解块的QP。在一个示例中，可以平均每个相应的TU QP调整值，并且可以使用平均的QP调整值来确定用于控制解块滤波器的CU级QP值。在其他示例中，可以从相应TU QP调整值中的每一个确定最大值、最小值或中值，并且可以使用该值来确定用于控制解块滤波器的CU级QP值。
如上面进一步描述的，二次过程可以包括视频数据的另一个分量的变换系数的去量化。在这种情况下，可以使用一个分量的相应TU QP调整值的统计值(例如，平均值、中值、最小值、最大值等)来确定另一个分量的QP值。例如，亮度分量的相应TU QP调整值的平均值可以用于确定对色度分量的QP值的调整。在另一个示例中，可以使用共址的亮度TU的统计值来调整色度QP。在一个示例中，可以在比特流中信号传输QP调整用于解块和/或色度去量化，例如，可信号传输不用于去量化亮度变换系数的“增量解块QP”和/或“增量色度QP”。需注意，如下面关于图9A至图9B详细描述的变换系数的缩放也可根据不同于变换块的块尺寸来计算。
如上所述，QP调整可以是估计的重构残差的函数。参考图4A，逆量化/变换处理单元400可被配置为基于继承的QP数据、信号传输的QP数据、预测视频块和/或估计的重构残差来确定量化缩放值，并且基于确定的量化缩放值生成重构的残差数据。如图4A所示，逆量化/变换处理单元400包括逆量化单元304和逆变换处理单元306，如上面关于图3所描述的，并且还包括量化缩放确定单元402。
如图4A所示，量化缩放确定单元402接收继承的QP数据、信号传输的QP数据、预测视频块、去量化的变换系数的子集(集合0)，并且确定去量化的变换系数(集合1)的子集的Q缩放值。也就是说，在图4A所示的示例中，位阶值集合的QP调整可以是去量化变换系数的部分集合的函数。对于NxN位阶值矩阵，可以根据公式16定义去量化的变换系数的集合，可以根据公式17定义去量化的变换系数的第一子集，并且可以根据公式18定义去量化的变换系数的第二子集。需注意，关于公式17和18，k的值可以取决于变换类型和/或预测数据(例如，帧内预测模式)。
公式16
量化的变换系数＝位阶(i,j)*Q缩放(i,l)
公式17
对于i＝0至k，j＝0至k：
Q缩放(i,j)＝Q缩放K＝QP预测+QP增量+QP调整K
公式18
对于i＝k+1至N，j＝k+1至N：
Q缩放(i,j)＝Q缩放N＝QP预测+QP增量+QP调整N
需注意，在一些示例中，QP预测和QP增量可以在公式17和公式18的每一个中包括不同的相应值。例如，在一些情况下，公式17的QP预测可等于零，并且对于公式18可以包括非零值。此外，如公式19中提供的，第二位阶值集合的Q缩放值可取决于去量化的变换系数的第一子集。
公式19
QP调整N＝Function(位阶(0至k，0至k)*Q缩放K)
或
QP调整N＝Function(QP调整K)
也就是说，如公式19中提供的，去量化的变换系数的第一子集的查找表、缩放操作或另一映射操作可用于对第二变换系数集合执行去量化。需注意，在一些示例中，以类似于以上结合图3描述的类似方式，可由基于预测视频块的函数确定QP调整K(例如，QP调整K＝LUT[Statistic(预测视频块)])。此外，需注意，在一些示例中，QP调整K还可以是DC系数位阶值的函数。例如，QP调整K可以根据DC系数位阶值的符号是否为正来增加或减少。
在一个示例中，变换系数的第一子集可以包括去量化的DC变换系数(即(0,0))。表4提供了查找表的示例，该查找表提供了对应于去量化的DC变换系数值的QP调整N的值。参考表4，在一个示例中，QP预测可以等于片段级QP。在一个示例中，QP预测可以等于片段级QP，并且可以可选地包括在比特流中信号传输的添加的增量QP值。在一个示例中，可以禁用增量QP信号传输和/或从先前块继承QP值，并且QP预测可等于片段级QP。需注意，在这种情况下，QP值可能仅在片段级进行信号传输，这可能导致节省位。
位阶<sub>(0,0</sub>)*QP<sub>预测</sub> 0-50 51-100 101-125 126-175 176-200 156-205 206-255
QP<sub>调整N</sub> +20 +10 +5 0 -5 -10 -20
表4
图8A至图8C是示出根据表4中提供的示例的编码变换系数的示例的概念图，并且进一步示出了公式16至19的示例。图8A示出了基于视频编码器处的去量化的DC变换系数调整AC变换系数的量化的示例。图8B示出了基于视频解码器处的去量化的DC变换系数调整AC变换系数的去量化的示例。参考图8A，片段级量化参数对应于Q缩放值15。使用DC系数的量化和后续DC位阶值的去量化来确定对用于量化AC变换系数的Q缩放的调整。在比特流中包括基于使用Q缩放DC和Q缩放AC进行量化的位阶值。参考图8B，从比特流恢复基于使用Q缩放DC和Q缩放AC进行量化的系数位阶值。在图8B的示例中，片段级量化参数被用于去量化DC位阶值。需注意，在其他示例中，用于对DC位阶值进行去量化的本地QP值可包括如上所述的任何预测QP值(例如，来自最后CU的预测QP+比特流中的delta_QP)。去量化的DC变换系数值对应于用于去量化AC位阶值的Q缩放。使用Q缩放AC对AC系数位阶值进行去量化。将去量化的DC变换系数(使用Q缩放DC去量化)和去量化的AC变换系数(使用Q缩放AC去量化)组合以得到最终的去量化变换系数集合。图8C示出了基于图8A至图8B所示示例中的去量化的DC变换系数调整AC变换系数的去量化如何导致视频解码器处变换系数的更高精度，而无需额外的信号传输。
参考图4A，Q缩放被示出为由逆量化/变换处理单元400输出到二次过程。如上所述，二次过程可以涉及视频数据的另一个分量的变换系数的去量化。在一个示例中，逆量化/变换处理单元400可被配置为根据去量化的亮度DC值和预测视频块的平均值确定亮度块的AC系数的Q缩放因子。可以将缩放因子应用于亮度块的AC系数以及色度块的DC和AC系数(例如，与亮度块一起收集的色度块)。在这个示例中，块的QP值可以等于片段级QP加在比特流中信号传输的增量QP。
需注意，在一些示例中，用于去量化位阶值集合的Q缩放值可取决于使用去量化的变换系数集合生成的重构残差数据，其中所述去量化的变换系数集合通过使用第一QP值去量化位阶值集合得到。也就是说，在一些示例中，可以使用迭代去量化和/或逆变换过程确定Q缩放值。参考图4B，逆量化/变换处理单元450可被配置为基于预测视频块、继承的QP数据、信号传输的QP数据以及使用继承的QP数据和信号传输的QP数据生成的重构残差确定量化缩放值，并且基于确定的量化缩放值进一步生成最终重构残差数据。如图4B所示，逆量化/变换处理单元450包括逆量化单元304和逆变换处理单元306，如上面关于图3所描述的，并且还包括量化缩放确定单元452。在图4B所示的示例中，可基于继承的QP数据和信号传输的QP数据生成初始重构残差数据集合。量化缩放确定单元452接收初始重构残差数据集合，并且基于初始重构残差数据集合确定Q缩放值。逆量化单元304基于Q缩放值生成最终去量化变换系数，并且逆变换处理单元306从最终去量化变换系数生成最终重构残差数据。
如上所述，在一些示例中，变换系数发生器204可被配置为在应用核心变换之后应用后续二次变换。在这种情况下，执行逆变换过程包括执行二次逆变换并在后续执行核心逆变换。需注意，在一些情况下，可以通过执行第一一维变换(例如，垂直)和后续一维变换(例如，水平)来执行二维变换过程。这样，本文描述的技术可以大致适用于包括一个或多个后续变换的变换过程。参考图5A和图5B，逆量化/变换处理单元500可被配置为缩放已应用第一逆变换过程之后生成的变换系数值。如图5A和图5B所示，逆量化/变换处理单元500包括如上关于图3描述的逆量化单元304，并且还包括逆二次变换处理单元502、缩放确定单元504、缩放单元506和逆核心变换处理单元508。
逆二次变换处理单元502可被配置为根据本文描述的任何变换技术执行二次变换的逆变换过程。例如，如果对残差样本值的N×N块执行核心变换，从而生成变换系数的N×N块，并且对变换系数的N×N块的K×K子块执行后续变换，从而生成变换系数的K×K块，逆二次变换处理单元502可以被配置为对变换系数的K×K块执行逆变换，以恢复变换系数的N×N块的K×K子块。图9A示出了对于变换系数的16x16块的情况的示例，在由某行变换系数形成的4×4子块上执行二次变换。逆核心变换处理单元508可被配置为根据本文描述的任何变换技术执行核心变换的逆变换过程。例如，关于图9A至图9B所示的示例，对于变换系数的16×16块，逆核心变换处理单元508可被配置为执行逆变换过程以恢复残差样本值的16×16块。
在图5A所示的示例中，缩放确定单元504从逆二次变换处理单元502接收视频数据的预测块和第一变换系数集合，并输出缩放因子。由缩放确定单元504接收的第一变换系数集合可以包括对应于变换系数的N×N块的恢复的K×K子块。参考图9B，来自逆二次处理单元的第一变换系数集合包括对应于第一行变换系数的16x16块的变换系数的4×4块。缩放确定单元504可被配置为确定由逆二次变换处理单元502生成的附加变换系数集合的缩放因子。例如，参考图9B，由逆二次变换处理单元502生成的附加变换系数集合包括与变换系数的16×16块第二行至第十六行对应的变换系数的4×4块。需注意，在一些示例中，逆二次变换处理单元502的输出可以被允许过度完成。也就是说，由逆二次变换处理单元502输出的变换系数的数量可能不等于块中的残差样本的数量(例如，变换系数的数量可能大于块中残差样本的数量)。
如图5A所示，附加变换系数集合的缩放因子也可以是预测视频块的函数。如图5B所示，附加变换系数集合的缩放因子也可以是信号传输的QP数据的函数。例如，在图5B所示的示例中，缩放因子可以是在比特流中接收的增量QP值的函数。需注意，在图5B所示的示例中，在一些情况下，当使用增量QP值确定缩放因子时，可以将逆量化单元304配置为在去量化位阶值时忽略增量QP值。缩放单元506可以被配置为接收缩放因子，并且将包括在附加变换系数集合中的变换系数的值乘以或除以缩放因子。如在图5A和图5B中所示，逆核心变换处理单元508接收第一变换系数集合(集合0)和变换系数的缩放集合(缩放集合1至集合N)，并且执行逆变换以生成重构的残差样本值。图9A至图9B进一步示出了基于另一子组的特性缩放与核心变换相关联的变换系数的子组的示例。也就是说，在图9A中，在编码器处，在执行二次变换之前，基于子组1的值(16×16变换系数矩阵中的第1行)缩放子组2至16的值(16×16变换系数矩阵中的第2至16行)，在图9B中，在执行逆二次变换之前恢复子组1的值并且缩放子组2至16的值。这样，对于包括多个后续变换操作的传输过程，可以提高精度。
如以上关于图4B所述，在一些示例中，可以使用迭代去量化和/或逆变换过程来确定Q缩放值。以类似的方式，在一些示例中，可以使用初始的重构残差数据集合来确定缩放因子。如上面进一步描述的，DC系数值可以等于像素域中样本的平均值。图5C表示使用DC系数值确定缩放因子的示例。参考图5C，逆量化/变换处理单元550包括如上所述的逆量化单元304、逆二次变换处理单元502、缩放单元506和逆核心变换处理单元508，并且还包括变换系数发生器552、缩放确定单元554和逆变换系数发生器556。
在图5C中所示的示例中，变换系数发生器552接收重构的残差数据并且可以被配置为执行变换，使得可以确定与重构的残差数据相关联的统计值。在该示例中，如图5C所示，变换系数发生器552将DC变换系数即重构残差的平均值输出到缩放确定单元554。缩放确定单元554还接收预测视频块，并且在一些示例中可被配置为基于重构残差的平均值和/或预测视频块的统计值(例如，平均值、中值、最小值、最大值等)确定缩放因子。逆变换系数发生器556可以被配置为接收DC变换系数和缩放的AC变换系数，并且执行由变换系数发生器552执行的变换的互逆变换。需注意，在一些示例中，可以使用一个或多个其他函数，包括与缩放因子相关联的查找表，来修改变换系数和/或残差值。在一个示例中，修改变换系数和/或残差值可以包括滤波操作、独立地将缩放应用于信道并且/或者将信道组合成修改的残差信号。需注意，虽然在图5C所示的示例中缩放确定单元554被示出为接收DC变换系数，但是在其他示例中，缩放确定单元554可以接收任意数量的变换系数并且对变换系数执行任意数量的统计分析方法。例如，缩放确定单元554可以接收完整的系数集合并且执行确定系数的方差。
需注意，在一些示例中，上面关于图3和图4A至图4B描述的技术可与关于图5A至图5C描述的技术结合使用。也就是说，例如，图5A至图5C所示的逆量化单元304可被配置为根据上面关于图3和/或图4A至图4B描述的技术来对变换系数进行去量化。此外，需注意，关于图5A至图5C所描述的缩放技术可用于中间缩放第一一维变换和后续一维变换。此外，需注意，关于图5A至图5C所描述的缩放技术可用于与第一视频分量(例如，亮度)相关联的变换和与第二视频分量(例如，色度)相关联的后续执行的变换之间的中间缩放。这样，关于图5A至图5C所描述的技术可以普遍适用于对各种类型后续执行的变换过程的变换值进行缩放。
需注意，关于上面描述的示例，在一些情况下，可以不信号传输与视频数据块对应的QP值(例如，块无编码系数)，并且因此可以跳过该块。在一个示例中，在块被跳过的情况下，可以从预测统计值创建更新的QP值，并且用于色度块(其可以具有系数)的处理和/或解块。在一些示例中，对于这种类型的视频块，可以将QP更新为QPY_PRED(例如，根据ITU-TH.265中描述的过程)。此外，如上所述，在一些示例中，可能仅需要片段级QP值用于去量化，然而，在一些情况下，其他函数(例如，解块)可能需要CU级QP值，在一些示例中，可以保持CU级QP值并提供用于其他函数。
此外，需注意，在一些示例中，可以由高级指示符控制QP调整和/或QP增量信号的使用。例如，可以使用高级标记(例如，“delta_qp_inferrence”)来指示上述公式10中QP调整的使用而非QP增量。在一个示例中，高级标记(例如，“adjust_qp”)可以控制QP调整的使用。此外，高级标记可以指放置在序列参数集(SPS)、图片参数集(PPS)或片段首部中的标记。此外，在一个示例中，可能存在附加高级标记以进一步指示在期望的QP(其可以从原始亮度值导出)和推断的QP(其可以从DC系数和预测的亮度导出)之间可能存在差异，这可使得能够使用上面描述的示例QP增量来信号传输该差异。在一些示例中，附加的高级标记可取决于或可不取决于示例“delta_qp_inferrence”标记。
此外，在一些示例中，可以使用CU、PU和/或TU中的一个或多个低级标记来指示上述一种或多种技术的使用。在一个示例中，可使用一个或多个低级标记指示如何导出缩放因子(或者增量QP值)。例如，为了导出增量QP值，可以使用预测的亮度值或预测的亮度值加上DC系数。在另一个示例中，可以基于给定条件诸如变换或预测模式的类型，在CU、PU或TU级中推断上述一种或多种技术的使用。在一个示例中，如果引用的CU或TU未提供有用信息诸如可从其中导出QP的DC值，则在一些示例中，可以推断出是否使用了上述技术中的一个或多个。例如，当使用DST时，在一些情况下，由于来自DST的DC值可能未提供有用的信息以估计期望的QP，因此可能不希望使用上述技术中的一种或多种。因此，在一些情况下，可以使用使用一种或多种不同技术(包括使用上述增量QP技术的一种或多种)的推导结果来代替使用DST确定的增量QP(或缩放因子)。
需注意，在一些示例中，用于将平均值和/或DC值(或其他预测块和/或估计的重构残差)映射到缩放因子的函数(例如，LUT)可从编码器信号传输到解码器。例如，信号传输可以包括与以下类型函数的任何组合相关联的信号传输信息：具有预定义的斜率和偏移量的线性模型、具有信号传输的斜率和/或偏移量的线性模型、具有信号传输的斜率和偏移量对集合的线性模型、查找表、分段线性函数、带信号传输的控制点序列的分段线性函数、多项式函数、三次函数等。
再次参考图2，如上所述，可以使用帧内预测编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估图片并且确定用以编码当前块的帧内预测模式。可能的帧内预测模式可以包括平面预测模式、DC预测模式和角预测模式。此外，需注意，在一些示例中，可以根据亮度分量的帧内预测模式来推断色度分量的预测模式。帧内预测处理单元212可在执行一个或多个编码回合之后选择帧内预测模式。此外，在一个示例中，帧内预测处理单元212可以基于率失真分析来选择预测模式。如图2所示，帧内预测处理单元212将帧内预测数据(例如，语法元素)输出到熵编码单元220和变换系数发生器204。如上所述，对残差数据执行的变换可以取决于模式。
再次参考图2，帧间预测处理单元214可以被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的PU的运动向量。运动向量可以指示当前视频帧内的视频块的PU相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考帧。此外，运动预测可以是单向预测(使用一个运动向量)或双向预测(使用两个运动向量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)或其他差值度量确定的像素差来选择预测块。如上所述，可以根据运动向量预测来确定和指定运动向量。如上所述，帧间预测处理单元214可被配置为执行运动向量预测。如图2所示，帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如，帧间预测处理单元214可定位帧缓冲器内的预测视频块(图2中未示出)。需注意，帧间预测处理单元214还可以被配置为将一个或多个内插滤波器应用于重构的残差块，以计算用于运动估计的子整数像素值。帧间预测处理单元214可将所计算的运动向量的运动预测数据输出到熵编码单元218。如图2所示，帧间预测处理单元214可经由滤波单元216接收经重构视频块。滤波器单元216可被配置为执行解块和/或样本自适应偏移(SAO)滤波。解块是指平滑化重构视频块边界的过程(例如，使观察者不易察觉到边界)。SAO滤波是一种可用于通过向重构的视频数据添加偏移以改善重构的非线性振幅映射。如上所述，二次过程可以包括滤波，因此滤波器单元216可被配置为接收量化信息(例如，Q缩放)，并且基于接收到的量化信息执行滤波。
再次参考图2，熵编码单元218接收量化的变换系数和预测语法数据(即帧内预测数据和运动预测数据)。需注意，在一些示例中，系数量化单元206可在将系数输出到熵编码单元218之前执行对包括量化的变换系数的矩阵的扫描。在其他示例中，熵编码单元218可执行扫描。熵编码单元220可被配置为根据本文中所描述的技术中的一个或多个执行熵编码。熵编码单元218可被配置为输出合规比特流(即视频解码器可从其接收和再现视频数据的比特流)。这样，视频编码器200表示被配置为接收位阶值、估计与位阶值相关联的重构视频块的特性、基于估计特性调整量化缩放因子并且基于调整的量化缩放因子对位阶值执行量化过程的设备的示例。
图6是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行解码的视频解码器的示例的框图。在一个示例中，视频解码器600可被配置为根据本文中所描述的技术对变换系数进行编码。视频解码器600可被配置为执行帧内预测解码和帧间预测解码，并且因此可称为混合解码器。在图6所示的示例中，视频解码器600包括熵解码单元602、逆量化/变换处理单元604、帧内预测处理单元606、帧间预测处理单元608、加法器610、滤波器单元612和参考缓冲器614。视频解码器600可被配置为以与视频编码标准一致的方式解码视频数据。需注意，虽然示例视频解码器600被示出为具有不同的功能块，但是此类图示旨在用于描述目的，并且不将视频解码器600和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器600的功能。
如图6所示，熵解码单元602接收熵编码的比特流。熵解码单元602可被配置为根据与熵编码过程互逆的过程解码来自比特流的量化语法元素和量化系数。熵解码单元602可被配置为根据上文所描述的任何熵编码技术执行熵解码。熵解码单元602可以与视频编码标准一致的方式解析编码的比特流。如图6所示，熵解码单元602可解析比特流以生成信号传输的QP数据和位阶值。上面描述了信号传输的QP数据和位阶值的示例。
逆量化/变换处理单元604可被配置为根据上文所描述的技术中的一个或多个应用逆量化及逆变换以生成重构的残差数据，即逆量化/变换处理单元604可以如上关于去量化/变换处理单元208所描述的方式操作。为了简洁起见，不重复关于逆量化/变换过程的讨论，但参考图2至图5以及相应的描述。如图6所示，在加法器610，重构的残差数据可以被添加到预测视频块。加法器610可以将重构的残差数据添加到预测视频块并且生成重构的视频数据。
可根据预测视频技术(例如，帧内预测和帧间预测)确定预测视频块。帧内预测处理单元606可被配置为接收帧内预测语法元素并且从参考缓冲器614检索预测视频块。参考缓冲器614可包括被配置用于存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式，诸如上述的帧内预测模式。帧间预测处理单元608可接收帧间预测语法元素并生成运动向量，以识别存储在参考缓冲器614中的一个或多个参考帧中的预测块(PB)。帧间预测处理单元608可生成运动补偿块，可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以被包括在语法元素中。帧间预测处理单元608可使用内插滤波器计算参考块的子整数像素的内插值。滤波器单元612可被配置为对重构的视频数据执行滤波。例如，滤波器单元612可被配置为执行解块和/或SAO滤波，如上面关于滤波器单元216所描述的。此外，需注意，在一些示例中，滤波器单元612可被配置为执行专用的任意滤波(例如，视觉增强)。如图6所示，并且如上所述，滤波器单元612可接收量化数据并且可以被配置为基于接收到的量化数据执行滤波。
因此，如图6所示，视频解码器600可以输出视频块。这样，视频解码器600表示被配置为接收位阶值、估计与位阶值相关联的重构视频块的特性、基于估计特性调整量化缩放因子并且基于调整的量化缩放因子对位阶值执行量化过程的设备的示例。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实施，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实施或执行。被设计为执行本说明书中所述的功能的电路可包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其他可编程逻辑设备、分立栅极或晶体管逻辑器，或分立硬件部件，或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。&lt;概述&gt;
在一个示例中，对与视频数据相关联的位阶值执行量化过程的方法包括：接收位阶值、估计与位阶值相关联的重构视频块的特性、基于估计特性调整量化缩放因子并且基于调整的量化缩放因子对位阶值执行量化过程。
在一个示例中，用于视频编码的设备包括一个或多个处理器，所述一个或多个处理器被配置为：接收位阶值、估计与位阶值相关联的重构视频块的特性、基于估计特性调整量化缩放因子并且基于调整的量化缩放因子对位阶值执行量化过程。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，所述指令在被执行时使得用于编码视频数据的设备的一个或多个处理器：接收位阶值、估计与位阶值相关联的重构视频块的特性、基于估计特性调整量化缩放因子并且基于调整的量化缩放因子对位阶值执行量化过程。
在一个示例中，一种用于对视频数据装置进行编码的装置包括：接收位阶值的装置、用于估计与位阶值相关联的重构视频块的特性的装置、用于基于估计特性调整量化缩放因子的装置，以及用于基于调整的量化缩放因子对位阶值执行量化过程的装置。
在以下附图和描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从描述和附图以及权利要求书中显而易见。
&lt;交叉引用&gt;
本非临时专利申请根据《美国法典》第35卷第119节(35 U.S.C.§119)要求2016年2月8日提交的临时专利申请No.62/292,806以及2016年2月14日提交的临时专利申请NO.62/295,136的优先权，这两个临时专利申请的全部内容以引用方式并入本文。

Claims (27)

1.一种对与视频数据相关联的变换值执行量化过程的方法，所述方法包括：
接收变换值；
接收与所述变换值相关联的视频数据的预测块；
基于所述接收的视频数据的预测块的函数来调整量化缩放因子；并且
基于所述调整的量化缩放因子对所述变换值执行量化过程。
2.根据权利要求1所述的方法，其中执行量化过程包括执行正量化或逆量化中的一者。
3.根据权利要求1或2所述的方法，其中所述函数包括统计函数。
4.根据权利要求3所述的方法，其中所述统计函数包括包含在所述接收的预测视频块中的样本值的平均值。
5.根据权利要求1至4中任一项所述的方法，还包括使用所述量化过程的结果生成重构的残差值。
6.一种对与视频数据相关联的变换值的子集执行量化过程的方法，所述方法包括：
接收变换值集合；
确定与所述变换值集合相关联的量化参数；
基于所述确定的量化参数对所述变换值的子集执行量化过程；
基于对所述变换值的所述子集执行所述量化过程的所述结果的函数调整量化缩放因子；并且
基于所述调整的量化缩放因子对变换值的另一集合执行量化过程。
7.根据权利要求6所述的方法，其中所述量化过程包括量化或逆量化中的一者。
8.根据权利要求6或权利要求7所述的方法，其中所述变换值集合包括DC分量值，并且其中另一变换值集合包括AC分量值。
9.根据权利要求6至8中任一项所述的方法，还包括使用所述量化过程的所述结果生成重构的残差值。
10.一种缩放与视频数据相关联的变换值的方法，所述方法包括：
接收变换值集合；
基于所述变换值的第一子集确定缩放因子；
将所述缩放因子应用于所述变换值的第二子集；并且
对包括所述变换值的所述第一子集和所述变换值的所述缩放后的第二子集的集合执行变换过程。
11.根据权利要求10所述的方法，其中所述变换过程与后续变换过程相关联。
12.根据权利要求11所述的方法，其中所述变换过程包括逆核心变换过程。
13.根据权利要求10至12中任一项所述的方法，还包括使用所述变换过程的所述结果生成重构的残差值。
14.一种对与视频数据相关联的位阶值执行量化过程的方法，所述方法包括：
接收位阶值；
估计与所述位阶值相关联的重构视频块的特性；
基于所述估计的特性来调整量化缩放因子；并且
基于所述调整的量化缩放因子对所述位阶值执行量化过程。
15.根据权利要求14所述的方法，其中估计与所述位阶值相关联的重构视频块的特性包括估计亮度值。
16.根据权利要求15所述的方法，其中基于包括亮度值在内的所述估计的特性调整量化缩放因子包括相对于相对高的估计亮度值降低量化程度。
17.根据权利要求14至16中任一项所述的方法，还包括使用所述量化过程的所述结果生成重构的残差值。
18.一种对与视频数据相关联的位阶值执行量化过程的方法，所述方法包括：
接收位阶值集合；
使用量化缩放因子对所述位阶值集合执行逆量化；
对所述逆量化的所述结果执行逆变换；
基于所述逆变换的所述结果调整所述量化缩放因子；并且
基于所述调整的量化缩放因子对所述位阶值集合执行量化过程。
19.一种修改重构的残差数据的方法，所述方法包括：
接收重构的残差数据；
对所述重构的残差数据执行变换；
基于所述变换的所述结果确定缩放因子；
基于所述确定的缩放因子修改一个或多个变换系数；并且对所述修改的变换系数执行逆变换。
20.根据权利要求19所述的方法，其中基于所述变换的所述结果确定缩放因子包括基于所述DC变换系数的所述值确定缩放因子。
21.根据权利要求19或权利要求20所述的方法，其中基于所述确定的缩放因子修改一个或多个变换系数包括修改一个或多个AC变换系数。
22.根据权利要求21所述的方法，其中基于所述确定的缩放因子修改一个或多个变换系数包括修改一个或多个AC变换系数并且不修改所述DC变换系数。
23.一种用于对视频数据进行编码的设备，所述设备包括配置用于执行权利要求1至22所述步骤的任意和全部组合的一个或多个处理器。
24.根据权利要求23所述的设备，其中所述设备包括视频编码器。
25.根据权利要求23所述的设备，其中所述设备包括视频解码器。
26.一种用于对视频数据进行编码的装置，所述装置包括用于执行权利要求1至22所述步骤的任意和全部组合的装置。
27.一种包括存储在其上的指令的非暂态计算机可读存储介质，当执行所述指令时，使得用于编码视频数据的设备的一个或多个处理器执行权利要求1至22所述步骤的任意和全部组合。
CN201780010338.7A 2016-02-08 2017-01-25 用于变换系数编码的系统和方法 Pending CN109076225A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662292806P 2016-02-08 2016-02-08
US62/292806 2016-02-08
US201662295136P 2016-02-14 2016-02-14
US62/295136 2016-02-14
PCT/JP2017/002475 WO2017138352A1 (en) 2016-02-08 2017-01-25 Systems and methods for transform coefficient coding

Publications (1)

Publication Number Publication Date
CN109076225A true CN109076225A (zh) 2018-12-21

Family

ID=59563870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010338.7A Pending CN109076225A (zh) 2016-02-08 2017-01-25 用于变换系数编码的系统和方法

Country Status (5)

Country Link
US (1) US20190052878A1 (zh)
EP (1) EP3414901A4 (zh)
CN (1) CN109076225A (zh)
CA (1) CA3013317A1 (zh)
WO (1) WO2017138352A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545070A (zh) * 2019-03-08 2021-10-22 北京字节跳动网络技术有限公司 视频处理中整形信息的信令通知
CN113812154A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US12034942B2 (en) 2019-05-08 2024-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109026A1 (ko) 2012-01-18 2013-07-25 엘지전자 주식회사 엔트로피 부호화/복호화 방법 및 그 장치
WO2018016381A1 (en) 2016-07-22 2018-01-25 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
US11153594B2 (en) * 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
TWI683573B (zh) * 2017-03-10 2020-01-21 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
US11019339B2 (en) * 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
US10341670B1 (en) * 2017-09-26 2019-07-02 Amazon Technologies, Inc. Video encoder bit rate stabilization
WO2019151257A1 (en) * 2018-01-30 2019-08-08 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
RU2768016C1 (ru) * 2018-03-30 2022-03-23 Шарп Кабусики Кайся Системы и способы применения фильтров деблокирования к восстановленным видеоданным
US10764607B2 (en) * 2018-04-11 2020-09-01 Arm Limited Data processing systems for encoding video data
CN110536133B (zh) * 2018-05-24 2021-11-19 华为技术有限公司 视频数据解码方法及装置
US11202073B2 (en) 2018-09-19 2021-12-14 Mediatek Inc. Methods and apparatuses of quantization scaling of transform coefficients in video coding system
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
CN111953995A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种帧间预测的方法和装置
CN114079786A (zh) * 2019-05-17 2022-02-22 华为技术有限公司 一种帧间预测的方法和装置
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
CN118055234B (zh) * 2024-04-16 2024-07-12 腾讯科技（深圳）有限公司 视频帧编码方法、装置、设备、介质和计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016878A1 (en) * 2001-07-18 2003-01-23 Hitachi, Ltd. Dynamic image compression coding apparatus
EP2317769A1 (en) * 2009-11-02 2011-05-04 Panasonic Corporation Luminance dependent quantization
CN102804780A (zh) * 2009-06-19 2012-11-28 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN103621082A (zh) * 2011-06-25 2014-03-05 高通股份有限公司 视频译码中的量化
CN104994382A (zh) * 2015-04-30 2015-10-21 西安电子科技大学 一种感知率失真的优化方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868476B1 (ko) * 2005-10-21 2008-11-12 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그방법
US8902972B2 (en) * 2008-04-11 2014-12-02 Qualcomm Incorporated Rate-distortion quantization for context-adaptive variable length coding (CAVLC)
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
WO2012172779A1 (en) * 2011-06-13 2012-12-20 Panasonic Corporation Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
JP5988577B2 (ja) * 2011-12-28 2016-09-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
US9350989B2 (en) * 2012-12-11 2016-05-24 Megachips Corporation Moving image coding apparatus, code amount control method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016878A1 (en) * 2001-07-18 2003-01-23 Hitachi, Ltd. Dynamic image compression coding apparatus
CN102804780A (zh) * 2009-06-19 2012-11-28 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
EP2317769A1 (en) * 2009-11-02 2011-05-04 Panasonic Corporation Luminance dependent quantization
CN103621082A (zh) * 2011-06-25 2014-03-05 高通股份有限公司 视频译码中的量化
CN104994382A (zh) * 2015-04-30 2015-10-21 西安电子科技大学 一种感知率失真的优化方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545070B (zh) * 2019-03-08 2023-10-03 北京字节跳动网络技术有限公司 视频处理中整形信息的信令通知
CN113545070A (zh) * 2019-03-08 2021-10-22 北京字节跳动网络技术有限公司 视频处理中整形信息的信令通知
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
US12034942B2 (en) 2019-05-08 2024-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
CN113812154A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
CN113812154B (zh) * 2019-05-10 2023-01-10 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
US11575940B2 (en) 2019-05-10 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
US11611779B2 (en) 2019-05-10 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
US11622131B2 (en) 2019-05-10 2023-04-04 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US11882274B2 (en) 2019-08-03 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Position based mode derivation in reduced secondary transforms for video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11968367B2 (en) 2019-08-17 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video

Also Published As

Publication number Publication date
EP3414901A1 (en) 2018-12-19
CA3013317A1 (en) 2017-08-17
EP3414901A4 (en) 2018-12-26
US20190052878A1 (en) 2019-02-14
WO2017138352A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN109076225A (zh) 用于变换系数编码的系统和方法
CN109479133A (zh) 使用自适应分量缩放对视频数据进行编码的系统和方法
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN109804630A (zh) 对视频数据编码执行运动补偿的系统以及方法
CN103404144B (zh) 视频译码中的经量化脉码调制
CN109076243A (zh) 用于对变换数据进行编码的系统和方法
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
TWI507017B (zh) 在視訊寫碼中之係數掃描
CN109196863A (zh) 用于改变量化参数的系统和方法
CN110313179A (zh) 用于按比例缩放变换系数水平值的系统和方法
CN109314782A (zh) 用于帧内预测编码的系统和方法
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN114554201A (zh) 视频译码中的帧内滤波旗标
US10356418B2 (en) Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied
CN107439013A (zh) 用于高动态范围和宽色域视频译码的动态范围调整
CN107852513A (zh) 对输入视频序列的像素进行编码
CN102726048B (zh) 用于视频编码和解码的方法
CN110199522A (zh) 处理用于图像块帧内预测的参考样本
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN110199524A (zh) 噪声抑制滤波器
US20140294068A1 (en) Sample Adaptive Offset Compensation of Video Data
CN104247417A (zh) 用于视频译码中的解块滤波器的β偏移控制
US11516477B2 (en) Intra block copy scratch frame buffer
JP7410236B2 (ja) ビデオ符号化のための位置依存の空間変化変換
CN110063055A (zh) 用于减少时间可伸缩视频层中的伪像的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221