CN104584559B - 一种用于色度qp值的扩展的范围的设备、方法、系统及可读存储介质 - Google Patents

一种用于色度qp值的扩展的范围的设备、方法、系统及可读存储介质 Download PDF

Info

Publication number
CN104584559B
CN104584559B CN201380045723.7A CN201380045723A CN104584559B CN 104584559 B CN104584559 B CN 104584559B CN 201380045723 A CN201380045723 A CN 201380045723A CN 104584559 B CN104584559 B CN 104584559B
Authority
CN
China
Prior art keywords
component
value
values
chromatic component
qss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380045723.7A
Other languages
English (en)
Other versions
CN104584559A (zh
Inventor
G.J.萨利文
S.卡努穆里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104584559A publication Critical patent/CN104584559A/zh
Application granted granted Critical
Publication of CN104584559B publication Critical patent/CN104584559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Vessels And Coating Films For Discharge Lamps (AREA)
  • Pyrane Compounds (AREA)

Abstract

在对取决于亮度量化参数(“QP”)值的色度QP值的控制和使用中的创新。更一般地,这些创新涉及对用于次要颜色分量的QP值的控制和使用,所述用于次要颜色分量的QP值取决于用于主要颜色分量的QP值。例如,在编码期间,编码器根据主要分量QP和次要分量QP偏移来确定QP索引。编码器将QP索引映射到具有扩展的范围的次要分量QP。编码器输出包括已编码内容的比特流的至少一部分。相对应的解码器接收包括已编码内容的比特流的至少一部分。在解码期间,解码器根据主要分量QP和次要分量QP偏移来确定QP索引,然后将QP索引映射到具有扩展的范围的次要分量QP。

Description

一种用于色度QP值的扩展的范围的设备、方法、系统及可读存 储介质
背景技术
工程师使用压缩(也称为源编码)来减小数字视频的比特率。压缩通过将视频信息转换成较低比特率形式来降低存储和传输该信息的成本。解压缩(也称为解码)从压缩形式重建原始信息版本。“编解码器”是编码器/解码器系统。
在过去的二十年中,已经采用各种视频编解码器标准,包括H.261、H.262(MPEG-2或者ISO/IEC 13818-2)、H.263和H.264(AVC或者ISO/IEC 14496-10)标准以及MPEG-1(ISO/IEC 11172-2)、MPEG-4 Visual(ISO/IEC 14496-2)和SMPTE 421M标准。最近,HEVC标准正处于开发中。视频编解码器标准典型地定义了用于编码的视频比特流的语法的选项,详述了当在编码和解码中使用特定特征时在该比特流中的参数。在许多情况下,视频编解码器标准也提供关于解码器应该执行的解码操作的细节,以在解码中达到正确的结果。除了编解码器标准之外,各种私有编解码器格式定义了用于编码的视频比特流的语法的其它选项和相对应的解码操作。
比特流中的一种类型的参数是量化参数(“QP”)。在编码期间,编码器设置QP的值来调整质量和比特率。一般地,对于较低的QP值而言,已编码视频的质量较高但是消耗更多的比特。另一方面,对于较高的QP值而言,已编码视频的质量较低但是消耗较少的比特。当从已编码视频重建视频内容时,解码器使用QP值。
诸如相机、动画输出、屏幕捕获模块等等那样的视频源典型地提供被转换成诸如YUV格式那样的格式的视频。YUV格式包括具有代表视亮度(brightness)值的样本值的亮度(luma)(或者Y)分量以及具有代表色差值的样本值的多个色度分量。色差值(和从另一个彩色空间(诸如RGB)到YUV彩色空间/从YUV彩色空间到另一个彩色空间(诸如RGB)的转换操作)的准确定义取决于实现。一般地,亮度/色度彩色空间可以是具有亮度(或者照度(luminance))分量和一个或者多个色度(或者色品(chrominance)分量的任何彩色空间,包括YUV、Y'UV、YIQ、Y'IQ和YDbDr以及诸如YCbCr和YCoCg那样的变型,其中Y项代表亮度分量而其他项代表色度分量。
对于一些编解码器标准和格式而言,编码器可以为亮度分量和色度分量设置不同的QP值。以这种方式,编码器可以控制对于不同的颜色分量如何执行量化,并由此在分量之间调节质量和比特率。然而,之前用来控制和使用用于色度分量的QP值的方法具有各种缺点,包括在高QP情形中对细粒度(fine-grained)控制的缺乏,以及在其它解码操作中无法提供适当水平的响应性。
发明内容
总之,本详细说明给出了在对取决于亮度量化参数(“QP”)值的色度QP值的控制和使用中的创新。更一般地,这些创新涉及对用于次要颜色分量(例如,色度分量)的QP值的控制和使用,其中用于次要颜色分量的QP值取决于用于主要颜色分量(例如,亮度分量)的QP值。
例如,图像或者视频编码器利用多个颜色分量对视频或者其它内容进行编码,其中用于多个颜色分量的QP值按照在主要分量和至少一个次要分量之间的关系来变化。编码器根据主要分量QP和次要分量QP偏移(offset)来确定QP索引;次要分量QP偏移指示与主要分量QP的差别。编码器然后将QP索引映射到次要分量QP。由次要分量QP指示的量化步长(“QSS”)的范围的上限基本上与由主要分量QP指示的QSS的范围的上限相匹配。因此,与某些之前的方法相比,次要分量QP具有扩展的范围。编码器输出包括已编码视频或者其它内容的比特流的至少一部分。
或者,解码器接收包括带有多个颜色分量的已编码视频或者其它内容的比特流的至少一部分,其中用于多个颜色分量的QP值按照在主要分量和至少一个次要分量之间的关系来变化。解码器对已编码视频进行解码。特别是,解码器根据主要分量QP和次要分量QP偏移来确定QP索引,然后将QP索引映射到次要分量QP。由次要分量QP指示的量化步长(“QSS”)的范围的上限基本上与由主要分量QP指示的QSS的范围的上限相匹配。
例如,主要分量是亮度分量,而至少一个次要分量中的每一个都是色度分量。至少一个次要分量可以包括多个色度分量,在这种情况下,对于不同的色度分量而言,QP值可以是不同的。
典型地,用信号通知用于主要分量的QP值,并且按照该关系来推导出用于至少一个次要分量的QP值。关系可以至少部分地利用查找表来规定。或者,关系可以至少部分地利用实现分段(piece-wise)线性函数的逻辑来规定。
在一些实现中,按照该关系,对于指示相对于某个阈值的高QSS(即,粗量化(coarse quantization))的QP值而言,用于主要分量的QP值的改变导致用于至少一个次要分量的QP值的相同大小的改变。典型地,量化步长(“QSS”)按照所定义的关系而取决于QP值。因此,对于指示高QSS的QP值而言,由QP值代表的QSS以(a)由用于主要分量的QP值所代表的QSS与(b)由用于至少一个次要分量的QP值所代表的QSS的恒定比率来改变。
在一些实现中,按照该关系,对于指示高QSS的QP值而言,QP偏移的恒定值产生这样的由用于主要分量的QP值所代表的QSS,即:其等于由用于该至少一个次要分量的对应QP值所代表的QSS。换言之,对于指示高QSS的QP值而言,对于次要分量QP偏移的给定值,由用于主要分量的QP值所代表的QSS保持与由用于该至少一个次要分量的对应QP值所代表的QSS相等。
在一些实现中,按照该关系,被使用来找到色度QP值的索引值的推导至少部分地基于条带级(slice-level)色度QP偏移。图片级(picture-level)色度QP偏移可被使用来规定用于针对图片施加的色度QP值的差。除了图片级色度QP偏移之外,条带级色度QP偏移可被使用来规定用于针对条带(其是图片的一部分)施加的色度QP值的差。条带级色度QP偏移的使用/不使用(或者这样的条带级色度QP偏移在比特流中的存在/不存在)可以通过比特流中的结构的语法元素来指示。例如,该结构的语法元素是图片参数组中的标记值。
作为另一个示例,视频编码器利用多个颜色分量对视频进行编码,其中用于多个颜色分量的QP值按照在主要分量和至少一个次要分量之间的关系来变化。编码包括去块(deblock)滤波,在去块滤波期间,控制参数的推导至少部分地基于色度QP偏移。色度QP偏移可以用图片级色度QP偏移或者图片级和条带级色度QP偏移的组合来规定。编码器输出包括已编码视频的比特流或者比特流部分的至少一部分。
或者,视频解码器接收包括带有多个颜色分量的已编码视频的比特流或者比特流部分的至少一部分,其中用于多个颜色分量的QP值按照在主要分量和至少一个次要分量之间的关系来变化。解码器对已编码视频进行解码。解码包括去块滤波,在去块滤波期间,控制参数的推导至少部分地基于色度QP偏移。色度QP偏移可以用图片级色度QP偏移或者图片级和条带级色度QP偏移的组合来规定。
编码或者解码可以被实现为方法的一部分、实现为适于执行该方法的计算设备的一部分、或者实现为存储有计算机可执行指令来使得计算设备执行该方法的有形计算机可读介质的一部分。
从下文参考附图进行的详细说明中,本发明的上述和其它的目的、特征和优点将变得更明显。
附图说明
图1是在其中可以实施一些所描述的实施例的示例性计算系统的图。
图2a和2b是在其中可以实施一些所描述的实施例的示例性网络环境的图。
图3是与之结合可以实施一些所描述的实施例的示例性编码器系统的图。
图4是与之结合可以实施一些所描述的实施例的示例性解码器系统的图。
图5是图示与之结合可以实施一些所描述的实施例的示例性视频编码器的图。
图6是图示与之结合可以实施一些所描述的实施例的示例性视频解码器的图。
图7是图示用于在编码期间确定色度QP的概括性技术的流程图。
图8是图示用于在解码期间确定色度QP的概括性技术的流程图。
图9a是图示在图片参数组RBSP语法中的新标记slicelevel_chroma_qp_flag的表,而图9b是图示在条带头语法中的新值slice_qp_delta_cb和slice_qp_delta_cr的表。
具体实施方式
对于使用多分量彩色空间表示法的视频内容和其它图像内容的压缩而言,设计的一个重要方面是对每个颜色分量的量化的粒度的控制。这样的控制典型地通过在与一个颜色分量(经常称为主要分量)和其它颜色分量(经常称为次要分量)相关联的(一个或多个)量化步长之间建立比例关系来实现。典型地,主要分量是亮度分量,而(一个或多个)次要分量是(一个或多个)色度分量。
例如,在ITU-T H.264标准中,在用于亮度分量和色度分量的QP之间的关系按照QP值、查找表和编码器控制的偏移,有时还连同用于建立频率特定的缩放因子的量化缩放矩阵一起来确定。对于用于QP的编码控制的这个方面而言,现有设计存在一些劣势。例如,在H.264中用于色度分量的最大QP值(指示用于色度的最粗量化)被限制为基本上小于对于亮度分量所支持的最大QP值(指示用于亮度的最粗量化)的值。这会在量化的粗度(coarseness)由用于色度的最大QP值限制时,使得使用过量的比特来对视频内容的色度分量进行编码,其导致较少的比特被使用来对视频内容的亮度分量进行编码,并且会使得整体质量下降。
本详细说明给出了用来相对于主要分量的量化的粒度而控制次要分量的量化的粒度的各种方法。在许多情况下,这些方法减轻了先前的方法的缺陷。特别是,本详细说明给出了针对具有扩展范围的色度QP值的使用的创新。
例如,所描述的方法包括为查找表使用扩展的大小,所述查找表可被使用来建立在主要和次要颜色分量之间的关系。作为另一个示例,通过这样的查找表建立的QP值中的函数关系可以替换地通过使用简单数学运算来提供。还描述了在视频编码和解码中控制QP值的另外的创新方面。所描述的技术可以被应用到不同于视频编码/解码的另外的应用中,诸如静止图像编码/解码、医学扫描内容编码/解码、多谱(multispectral)影像(imagery)内容编码/解码等等。虽然本文描述的操作在某些地方被描述为由编码器(例如,视频编码器)或者解码器(例如,视频解码器)来执行,但是在许多情况下,所述操作可以替换地由其它类型的媒体处理工具来执行。
本文描述的创新中的某些创新参考特定于HEVC标准的语法元素和操作来举例说明。例如,参考了HEVC标准的草案版本JCTVC-I1003 -“High efficiency video coding(“HEVC”) text specification draft 7”,JCVTC-I1003_d5,第9次会议,日内瓦,2012年4月。本文所描述的创新也可以被实施用于其它标准或者格式。
本文描述的创新中的某些创新参考用于YCbCr格式的颜色分量的语法元素和操作来举例说明。本文所描述的创新也可以被实施用于其他亮度/色度格式,诸如Y'UV、YIQ、Y'IQ和YDbDr以及诸如YCoCg那样的变型。对于Cb和Cr分量的示例应当被理解为在色度分量是U和V、I和Q、Db和Dr、Co和Cg、或采用其它格式的色度分量时同等地适用。
更一般地,对于本文所描述的示例的各种替换方案是可能的。例如,本文所描述的方法中的一些方法可以通过改变所描述的方法动作的顺序、通过拆分、重复或者省略某些方法动作等等而被更改。本公开技术的各个方面可以组合地或者单独地使用。不同实施例使用所描述的创新中的一个或者多个。本文所描述的创新中的一些创新解决了在背景技术中所提到的问题中的一个或者多个。典型地,给出的技术/工具并不解决所有这样的问题。
I. 示例性计算系统
图1图示适当的计算系统(100)的概括性示例,在其中可以实现所描述创新中的若干个创新。计算系统(100)不打算提出任何关于使用或者功能性的范围的限制,因为这些创新可以在多种通用或专用计算系统中实施。
参考图1,计算系统(100)包括一个或者多个处理单元(110,115)和存储器(120,125)。在图1中,这个最基本配置(130)被包括在虚线内。处理单元(110,115)执行计算机可执行指令。处理单元可以是通用的中央处理单元(CPU)、专用集成电路(ASIC)中的处理器或者任何其它类型的处理器。在多处理系统中,多个处理单元执行计算机可执行指令,以便增加处理能力。例如,图1示出中央处理单元(110)以及图形处理单元或者协处理单元(115)。有形存储器(120,125)可以是可被(一个或多个)处理单元访问的易失性存储器(例如,寄存器、高速缓存器、RAM)、非易失性存储器(例如,ROM、EEPROM、闪速存储器等等)、或者是这两者的某种组合。存储器(120,125)存储软件(180),所述软件(180)以适合于通过(一个或多个)处理单元执行的计算机可执行指令的形式实施一种或者多种创新,以便使用色度QP值的扩展的范围来对视频或者其它内容进行编码或者解码。
计算系统可以具有附加的特征。例如,计算系统(100)包括存储装置(140)、一个或者多个输入设备(150)、一个或者多个输出设备(160)、以及一个或者多个通信连接(170)。诸如总线、控制器或者网络的互连机制(未示出)将计算系统(100)的组件互连。典型地,操作系统软件(未示出)为在计算系统(100)中执行的其它软件提供操作环境,并且协调计算系统(100)的组件的活动。
有形存储装置(140)可以是可拆卸的或者是不可拆卸的,并且包括磁盘、磁带或者盒式磁带、CD-ROM、DVD或者可以用来存储信息并且可以在计算系统(100)中被访问的任何其它介质。存储装置(140)存储用于软件(180)的指令,其实施一种或者多种创新以使用扩展范围的色度QP值来对视频或者其它内容进行编码或者解码。
(一个或多个)输入设备(150)可以是诸如键盘、鼠标、笔、或者跟踪球的触摸式输入设备、话音输入设备、扫描设备、或者向计算系统(100)提供输入的其它设备。对于视频编码而言,(一个或多个)输入设备(150)可以是相机、视频卡、电视调谐器卡、或者接受模拟或者数字形式的视频输入的相似设备、或者是将视频样本读入计算系统(100)的CD-ROM或者CD-RW。(一个或多个)输出设备(160)可以是显示器、打印机、扬声器、CD录写器、或者从计算系统(100)提供输出的其它设备。
(一个或多个)通信连接(170)使得能够通过通信介质进行与另一个计算实体的通信。通信介质在调制的数据信号中传递信息,诸如计算机可执行指令、音频或者视频输入或输出、或者其它数据。调制的数据信号是使它的特性中的一个或多个以如下方式设置或改变的信号,即:将信息编码在信号中。作为示例,而非限制,通信介质可以使用电、光、RF或者其它载体。
这些创新可以在计算机可读介质的一般上下文中被描述。计算机可读介质是可在计算环境内被访问的任何可用的有形介质。作为示例,而非限制,对于计算系统(100)来说,计算机可读介质包括存储器(120,125)、存储装置(140)和上述的任何项的组合。
这些创新可以在计算机可执行指令的一般上下文中被描述,计算机可执行指令诸如是被包括在程序模块中、在计算系统中在目标真实或者虚拟的处理器中被执行的那些。一般地,程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等等。程序模块的功能性可以按各种实施例中所期望的那样在程序模块之间被组合或者拆分。用于程序模块的计算机可执行指令可以在本地或者分布式计算系统中被执行。
术语“系统”和“设备”在本文中被可互换地使用。除非上下文清楚地指明,否则,这两个术语均不暗示对于计算系统或者计算设备的类型的任何限制。一般地,计算系统或者计算设备可以是本地的或者分布式的,并且可以包括具有实现本文所描述功能性的软件的专用硬件和/或通用硬件的任何组合。
所公开的方法也可以使用专门化的计算硬件来实施,该专门化的计算硬件被配置成用来执行所公开的任一种方法。例如,所公开的方法可以通过被专门设计成或者配置成实施所公开的任一种方法的集成电路(例如,专用集成电路(“ASIC”)(诸如ASIC数字信号处理单元(“DSP”)、图形处理单元(“GPU”)、或者诸如现场可编程门阵列(“FPGA”)的可编程逻辑器件(“PLD”))来实施。
为了介绍,本详细说明使用比如“确定”和“使用”这样的术语来描述计算系统中的计算机操作。这些术语是对于由计算机执行的操作的高级别抽象,而且不应该与由人类执行的动作相混淆。对应于这些术语的实际计算机操作取决于实现而变化。
II. 示例性网络环境
图2a和2b示出包括视频编码器(220)和视频解码器(270)的示例性网络环境(201,202)。编码器(220)和解码器(270)使用合适的通信协议通过网络(250)被连接。网络(250)可以包括互联网或者其它计算机网络。
在图2a所示出的网络环境(201)中,每个实时通信(“RTC”)工具(210)包括用于双向通信的编码器(220)和解码器(270)两者。给出的编码器(220)可以产生依从SMPTE 421M标准、ISO-IEC 14496-10标准(也被称为H.264或者AVC)、HEVC标准、其它标准或者私有格式的输出,有相对应的解码器(270)接受来自该编码器(220)的已编码数据。双向通信可以是视频会议、视频电话呼叫、或者其它两方通信情景的一部分。虽然图2a中的网络环境(201)包括两个实时通信工具(210),但网络环境(201)也可以改而包括参与多方通信的三个或者更多个实时通信工具(210)。
实时通信工具(210)通过编码器(220)管理编码。图3示出可以被包括在实时通信工具(210)中的示例性编码器系统(300)。可替换地,实时通信工具(210)使用其它编码器系统。实时通信工具(210)还通过解码器(270)管理解码。图4示出可以被包括在实时通信工具(210)中的示例性解码器系统(400)。可替换地,实时通信工具(210)使用其它解码器系统。
在图2b示出的网络环境(202)中,编码工具(212)包括对用于向多个回放工具(214)递送的视频进行编码的编码器(200),回放工具包括解码器(270)。可以提供单向通信,用于视频监控系统、web相机监测系统、远程桌面会议演示、或者其中视频被编码并且从一个位置发送到一个或者多个其它位置的其它情景。虽然图2b的网络环境(202)包括两个回放工具(214),但是网络环境(202)可以包括更多或者更少的回放工具(214)。一般地,回放工具(214)与编码工具(212)进行通信,以确定要让回放工具(214)接收的视频流。回放工具(214)接收所述流,将所接收的已编码数据缓冲达合适的时段,且开始解码和回放。
图3示出可以被包括在编码工具(212)中的示例性编码器系统(300)。可替换地,编码工具(212)使用其它编码器系统。编码工具(212)也可以包括服务器侧的控制器逻辑,用于管理与一个或者多个回放工具(214)的连接。图4示出可以被包括在回放工具(214)中的示例性解码器系统(400)。可替换地,回放工具(214)使用其它解码器系统。回放工具(214)也可以包括客户端侧的控制器逻辑,用于管理与编码工具(212)的连接。
III. 示例性编码器系统
图3是与之结合可以实施一些所描述的实施例的示例性编码器系统(300)的框图。编码器系统(300)可以是能够在多种编码模式(诸如用于实时通信的低等待时间编码模式、转码模式、以及用于从文件或者流进行媒体回放的常规编码模式)的任一种中操作的通用编码工具,或者它可以是适配于一种这样的编码模式的专用编码工具。编码器系统(300)可以实现为操作系统模块、应用库的一部分或者独立的应用。总体上,编码器系统(300)接收来自视频源(310)的源视频帧(311)的序列,并且产生已编码数据来作为对信道(390)的输出。输出到信道的已编码数据可以包括指示用于色度的QP值的语法元素,诸如图片级色度QP偏移和/或条带级色度QP偏移。
视频源(310)可以是相机、调谐器卡、存储介质或者其它数字视频源。视频源(310)以例如30帧每秒的帧速率产生视频帧序列。当在本文中使用时,术语“帧”一般是指源、编码的或者重建的图像数据。对于逐行式视频而言,帧是逐行式视频帧。对于隔行式视频而言,在示例性实施例中,隔行式视频帧在编码之前被解除隔行(de-interlaced)。可替换地,两个互补的隔行式视频场被编码为隔行式视频帧或者单独的场。除了指示逐行式视频帧之外,术语“帧”还可以指示单个不成对的视频场、视频场的互补对、代表在给定时间的视频对象的视频对象平面、或者较大图像中的感兴趣区域。视频对象平面或者区域可以是包括场景的多个对象或者区域的较大图像的一部分。
到达的源帧(311)被存储在源帧临时存储器存储区(320),其包括多个帧缓冲存储区(321,322,…32n)。一个帧缓冲器(321,322等等)在源帧存储区(320)中容纳一个源帧。在源帧(311)的一个或者多个已经被存储在帧缓冲器(321,322等等)中后,帧选择器(330)周期性地从源帧存储区(320)中选择单个源帧。帧被帧选择器(330)选择来输入到编码器(340)的顺序可以与帧被视频源(310)产生的顺序不同,例如,帧可以在顺序上提前,以易于时间上后向的预测。在编码器(340)之前,编码器系统(300)可以包括预处理器(未示出),其在编码前对所选择的帧(331)执行预处理(例如,滤波)。预处理也可以包括到用于编码的主要和次要分量的彩色空间转换。
编码器(340)编码所选择的帧(331),以产生编码的帧(341),并且还产生存储器管理控制操作(“MMCO”)信号(342)或者参考图片组(“RPS”)信息。如果当前帧不是已经被编码的第一帧,则当执行其编码过程时,编码器(340)可以使用已经存储在解码帧临时存储器存储区(360)中的一个或者多个之前编码/解码的帧(369)。这样的被存储的解码的帧(369)被用作为对当前源帧(331)的内容进行帧间预测(inter-frame prediction)的参考帧。一般地,编码器(340)包括多个执行编码任务的编码模块,编码任务诸如是运动估计和补偿、频率变换、量化和熵编码。由编码器(340)执行的确切操作可以取决于压缩格式而变化。输出的已编码数据的格式可以是Windows Media Video格式、VC-1格式、MPEG-x格式(例如,MPEG-1、MPEG-2或者MPEG-4)、H.26x格式(例如,H.261、H.262、H.263、H.264)、HEVC格式或者其它格式。
例如,在编码器(340)中,经帧间编码的预测的帧依据从参考帧进行的预测来表示。运动估计器估计源帧(331 )的块或者其它样本组相对于一个或者多个参考帧(369)的运动。当使用多个参考帧时,多个参考帧可以来自不同的时间方向(temporal direction)或者相同的时间方向。运动估计器输出诸如运动向量信息的运动信息,其被熵编码。运动补偿器将运动向量施加到参考帧,以确定经运动补偿的预测值。编码器确定在块的经运动补偿的预测值和相对应的原始值之间的差(如果存在)。这些预测残值被使用频率变换、量化和熵编码来进一步编码。量化可以使用色度QP的值。例如,编码器(340)为视频的图片、条带和/或其它部分设置用于亮度QP和色度QP的值,并且相应地将变换系数进行量化。相似地,对于帧内预测而言,编码器(340)可以确定用于块的帧内预测值,确定预测残值,并且对预测残值进行编码(利用频率变换、量化和熵编码)。特别地,编码器(340)的熵编码器压缩已量化的变换系数值以及某些辅助信息(例如,运动向量信息、QP值、模式判决、参数选择)。典型的熵编码技术包括Exp-Golomb编码、算术编码、差分编码、赫夫曼(Huffman)编码、游程长度编码、可变长度到可变长度(“V2V”)编码、可变长度到固定长度(“V2F")编码、LZ编码、词典编码、概率区间划分熵编码(“PIPE”,probability interval partitioning entropycoding)和上述项的组合。熵编码器可以对不同种类的信息使用不同的编码技术,并且可以从特定编码技术中的多个码表当中进行选择。
编码的帧(341)和MMCO/RPS信息(342)被解码过程仿真器(350)处理。解码过程仿真器(350)实现解码器的功能性中的一些,例如,实施解码任务以重建在运动估计和补偿中被编码器(340)使用的参考帧。解码过程仿真器(350)使用MMCO/RPS信息(342)来确定给出的编码的帧(341)是否需要被重建和存储,以便在要被编码的后续帧的帧间预测中用作参考帧。如果MMCO/RPS信息(342)指示需要存储某个编码的帧(341),则解码过程仿真器(350)对将由解码器进行的解码过程建模,所述解码器接收编码的帧(341)并且产生相对应的解码的帧(351)。这样做时,当编码器(340)已使用被存储在解码帧存储区(360)中的(一个或多个)解码的帧(369)时,解码过程仿真器(350)也使用来自存储区(360)的该(一个或多个)解码的帧(369)作为解码过程的一部分。
解码帧临时存储器存储区(360)包括多个帧缓冲存储区(361,362,…,36n)。解码过程仿真器(350)使用MMCO/RPS信息(342)来管理存储区(360)的内容,以便识别具有不再被编码器(340)需要来用作参考帧的帧的任何帧缓冲器(361,362等等)。在对解码过程建模之后,解码过程仿真器(350)将新解码的帧(351)存储在已经以这种方式识别的帧缓冲器(361,362等等)中。
编码的帧(341)和MMCO/RPS信息(342)也被缓冲在临时编码数据区(370)中。在编码数据区(370)中聚集的已编码数据可以包含指示为色度设置的QP值的语法元素作为基本编码视频比特流的语法的一部分,语法元素是诸如图片级色度QP偏移和/或条带级色度QP偏移。在编码数据区(370)中聚集的已编码数据也可以包括与已编码视频数据有关的媒体元数据(例如,作为在一个或者多个补充增强信息(“SEI”)消息或者视频可用性信息(“VUI”)消息中的一个或者多个参数)。
来自临时编码数据区(370)的已编码 数据(371)由信道编码器(380)处理。信道编码器(380)可以将聚集的数据分成包(packetize),以便作为媒体流(例如,按照诸如ISO/IEC14496-12这样的媒体容器格式)进行传输,在这种情况下,信道编码器(380)可以添加语法元素来作为媒体传输流的语法的一部分。或者,信道编码器(380)可以对聚集的数据进行组织,以作为文件(例如,按照诸如ISO/IEC14496-12这样的媒体容器格式)存储,在这种情况下,信道编码器(380)可以添加语法元素来作为媒体存储文件的语法的一部分。或者更一般地,信道编码器(380)可以实施一种或者多种媒体系统复用协议或者传输协议,在这种情况下,信道编码器(380)可以添加语法元素来作为(一种或多种)协议的语法的一部分。信道编码器(380)提供到信道(390)的输出,信道(390)代表存储装置、通信连接或者其它用于输出的信道。
IV. 示例性解码器系统
图4是与之结合可以实施一些所描述的实施例的示例性解码器系统(400)的框图。解码器系统(400)可以是能够在多种编码模式的任一种中操作的通用解码工具,解码模式是诸如用于实时通信的低等待时间解码模式和用于从文件或者流进行媒体回放的常规解码模式,或者它可以是适配于一种这样的解码模式的专用解码工具。解码器系统(400)可以被实现为操作系统模块、应用库的一部分或者独立的应用。总体上,解码器系统(400)接收来自信道(410)的已编码数据,并且产生重建帧来作为给输出目的地(490)的输出。已编码数据可以包括指示为色度设置的QP值的语法元素,诸如图片级色度QP偏移和/或条带级色度QP偏移。
解码器系统(400)包括信道(410),其可以代表存储装置、通信连接、或者用于作为输入的已编码数据的其它信道。信道(410)产生已经被信道编码的已编码数据。信道解码器(420)可以处理该已编码数据。例如,信道解码器(420)将已被聚集来作为媒体流(例如,按照诸如ISO/IEC 14496-12的媒体容器格式)传输的数据拆包,在这种情况下,信道解码器(420)可以对作为媒体传输流的语法的一部分而添加的语法元素进行解析。或者,信道解码器(420)将已被聚集来作为文件(例如,按照诸如ISO/IEC 14496-12的媒体容器格式)存储的已编码视频数据分离,在这种情况下,信道解码器(420)可以对作为媒体存储文件的语法的一部分而添加的语法元素进行解析。或者更一般地,信道解码器(420)可以实施一种或者多种媒体系统解复用协议或者传输协议,在这种情况下,信道解码器(420)可以对作为(一种或多种)协议的语法的一部分而添加的语法元素进行解析。
从信道解码器(420)输出的已编码数据(421)被存储在临时编码数据区(430)中,直至已经接收到足够量的这样的数据。已编码数据(421)包括编码的帧(431)和MMCO/RPS信息(432)。在编码数据区(430)中的已编码数据(421)可以包含指示为色度设置的QP值的语法元素作为基本编码视频比特流的语法的一部分,语法元素是诸如图片级色度QP偏移和/或条带级色度QP偏移。在编码数据区域(430)中的已编码数据(421)也可以包括与已编码视频数据有关的媒体元数据(例如,作为在一个或者多个SEI消息或者VUI消息中的一个或者多个参数)。一般地,编码数据区(430)临时存储已编码数据(421),直到这样的已编码数据(421)被解码器(450)使用。这时,用于编码的帧(431)和MMCO/RPS消息(432)的已编码数据被从编码数据区(430)转移到解码器(450)中。随着解码的继续,新的已编码数据被添加到编码数据区(430)中,而保留在编码数据区(430)中的最旧的已编码数据被转移到解码器(450)中。
解码器(450)周期性地对编码的帧(431)解码,以产生相对应的解码的帧(451)。视情况而定,当执行其解码过程时,解码器(450)可以使用一个或者多个之前解码的帧(469)作为用于帧间预测的参考帧。解码器(450)从解码帧临时存储器存储区(460)中读取这样的之前解码的帧(469)。一般地,解码器(450)包括多个执行解码任务的解码模块,解码任务诸如是熵解码、逆量化(其可以使用色度QP的值)、逆频率变换和运动补偿。由解码器(450)执行的确切操作可以取决于压缩格式而变化。
例如,解码器(450)接收用于已压缩帧或者帧序列的已编码数据,并且产生包括解码的帧(451)的输出。在解码器(450)中,缓冲器接收用于已压缩帧的已编码数据,并且使所接收的已编码数据对熵解码器是可用的。熵解码器典型地通过施加在编码器中执行的熵编码的逆过程,而对已熵编码的量化的数据以及已熵编码的辅助信息进行熵解码。运动补偿器将运动信息施加到一个或者多个参考帧,以形成正被重建的帧的子块和/或块(一般地,块)的经运动补偿的预测。帧内预测模块可以根据相邻的、之前重建的样本值而在空间上预测当前块的样本值。解码器(450)也重建预测残差。逆量化器潜在地使用色度QP的值,对熵解码数据进行逆量化。例如,解码器(450)基于比特流中的语法元素,为视频的图片、条带和/或其它部分设置用于亮度QP和色度QP的值,并且相应地对变换系数进行逆量化。逆频率变换器将量化的频域数据转换成空间域信息。对于预测的帧而言,解码器(450)将重建的预测残差与经运动补偿的预测相组合,以形成重建的帧。解码器(450)可以类似地将预测残差与来自帧内预测的空间预测相组合。视频解码器(450)中的运动补偿回路包括自适应的去块(de-blocking)滤波器,用来平滑解码的帧(451)的跨块边界行和/或列两边的不连续性。
解码帧临时存储器存储区(460)包括多个帧缓冲存储区(461,462,…,46n)。解码帧存储区(460)是DPB的示例。解码器(450)使用MMCO/RPS信息(432)来识别它可以在其中存储解码的帧(451)的帧缓冲器(461,462,等等)。解码器(450)在该帧缓冲器中存储该解码的帧(451)。
输出定序器(480)使用MMCO/RPS信息(432)来识别按输出顺序将被产生的下一帧何时在解码帧存储区(460)中可得到。当按输出顺序将被产生的下一帧(481)在解码帧存储区(460)中是可得到的时,其由输出定序器(480)读取,并且被输出到输出目的地(490)(例如,显示器)。一般地,帧通过输出定序器(480)从解码帧存储区(460)输出的顺序可以与帧通过解码器(450)解码的顺序不同。
V. 示例性视频编码器
图5是与之结合可以实施一些所描述的实施例的概括性视频编码器(500)的方框图。编码器(500)接收包括当前帧(505)的视频帧序列,并且产生已编码数据(595)作为输出。
编码器(500)是基于块的,并且使用取决于实现的块格式。块在不同阶段(例如,在频率变换和熵编码阶段)可以被进一步再划分。例如,帧可以被划分为64*64块、32*32块或者16*16块,其可以进而又被划分成用于编码和解码的像素值的更小的块和子块。
编码器系统(500)压缩预测的帧和经帧内编码的帧。为了介绍,图5示出了用于帧内编码的经过编码器(500)的“帧内路径”和用于帧间编码的“帧间路径”。编码器(500)的许多组件被使用于帧内编码和帧间编码两者。由这些组件执行的确切操作可以取决于被压缩的信息的类型而变化。
如果当前帧(505)是预测的帧,则运动估计器(510)估计当前帧(505)的像素值的块、子块或者其它组相对于一个或者多个参考帧的运动。帧存储(520)缓冲一个或者多个重建的之前帧(525)来作为参考帧使用。当使用多个参考帧时,多个参考帧可以来自不同的时间方向或者相同的时间方向。运动估计器(510)输出诸如差分运动向量信息那样的运动信息(515)来作为辅助信息。
当形成经运动补偿的当前帧(535)时,运动补偿器(530)将重建的运动向量施加到(一个或多个)重建的参考帧(525)。在经运动补偿的当前帧(535)的子块、块等等和原始当前帧(505)的对应部分之间的差异(如果存在)是对于该子块、块等等的预测残差(545)。在当前帧随后的重建期间,重建的预测残差被添加到经运动补偿的当前帧(535),从而获得更接近于原始当前帧(505)的重建帧。然而在有损压缩中,一些信息依然从原始当前帧(505)中丢失。帧内路径可以包括帧内预测模块(未示出),其根据相邻的、之前重建的像素值来在空间上预测当前块或者子块的像素值。
频率变换器(560)将空间域视频信息转换成频域(即,频谱的变换)数据。对于基于块的视频帧而言,频率变换器(560)将离散余弦变换、其整数近似或者其它类型的前向块变换施加到像素值数据或者预测残差数据的块或者子块,从而产生频率变换系数的块/子块。量化器(570)然后对变换系数进行量化。例如,量化器(570)将非均匀的标量量化以这样的步长施加到频域数据,即:该步长在逐帧的基础上、逐条带的基础上、逐块的基础上或者其它基础上变化。量化器(570)可以使用用于亮度分量和色度分量的QP值,其包括如在第VII节中描述的色度QP值。例如,编码器(500)为视频的图片、条带和/或其它部分(诸如编码单元)设置用于亮度QP和色度QP的值,并且相应地对变换系数进行量化。
当需要当前帧的重建版本以用于后续的运动估计/补偿时,逆量化器(576)对已量化的频率系数数据执行逆量化。逆量化器(576)也可以使用色度QP值。逆频率变换器(566)执行逆频率变换,从而产生重建的预测残差或者像素值的块/子块。对于预测的帧而言,编码器(500)将重建的预测残差(545)与经运动补偿的当前帧 (535)相组合以形成重建的帧。(虽然未在图5中示出,但是在帧内路径中,编码器(500)可以将预测残差和来自帧内预测的空间预测相组合。)帧存储(520)缓冲重建的当前帧,以供在后续的经运动补偿的预测中使用。
量化和其它有损处理可导致在帧的块或者子块之间的边界处的可见的线。例如,如果在图片的平滑改变的区域(诸如天空区域)中的相邻块被量化成不同的平均水平,则可能发生这样的“块效应(blocking artifacts)”。为了减少块效应,编码器和解码器可以使用“去块”滤波来平滑在参考帧中的块和/或子块之间的边界不连续性。这样的滤波是“回路中(in-loop)”的,因为其在运动补偿回路——编码器和解码器对随后在编码/解码中使用的参考帧执行它——的内部发生。回路中的去块滤波常常在编码期间被启用,在这种情况下,解码器也执行回路中的去块滤波以便正确解码。去块滤波的细节取决于编解码器标准或者格式而变化,并且可以是相当复杂的。施加去块滤波的规则经常可以取决于诸如以下的因素而变化,即:内容/平滑度、编码模式(例如,帧内或者帧间)、用于在边界的不同侧上的块/子块的运动向量、块/子块大小、编码/未编码状态(例如,变换系数信息是否在比特流中被用信号通知)。
在图5中,在编码器(500)中的运动补偿回路包括在帧存储(520)之前或者之后的自适应回路中的去块滤波器(522 )。解码器(500)将回路中滤波施加到重建的帧,以自适应地平滑帧中的跨边界的不连续性。第VII节描述了其中去块滤波取决于色度QP偏移的值而改变的示例。
熵编码器(580)压缩量化器(570)的输出以及运动信息(515)和某些辅助信息(例如,QP值)。熵编码器(580)向缓冲器(590)提供已编码数据(595),缓冲器(590)将已编码数据复用成某个输出比特流。已编码数据可以包括指示为色度设置的QP值的语法元素,诸如图片级色度QP偏移和/或条带级色度QP偏移。第VII节描述了这样的语法元素的示例。
控制器(未示出)接收来自编码器的各个模块的输入。控制器在编码期间评价中间结果,例如设置QP值和执行速率失真(rate-distortion)分析。控制器与其它模块一同工作,以在编码期间设置和改变编码参数。特别地,在编码期间,控制器可以使QP值和其它控制参数变化,以便控制亮度分量和色度分量的量化。
在一些实现中,控制器可以在编码期间设置图片级亮度QP值、条带级亮度QP值或者编码单元级亮度QP值,以便在图片级、条带级或者条带内的编码单元级上控制量化。对于给定的条带而言,亮度QP值可以被设置为图片级亮度QP或者条带级亮度QP,其将在比特流中用图片级亮度QP加条带级亮度QP偏移来代表。或者,控制器可以为条带内的给定编码单元设置亮度QP值。在这种情况下,编码单元级亮度QP偏移随同条带级亮度QP偏移和图片级亮度QP值一起在比特流中被用信号通知,以便指示编码单元级亮度QP值。因此,在图片内的不同条带可以具有规定的不同的亮度QP值,并且在条带内的不同编码单元可以具有规定的不同的亮度QP值。控制器也可以设置图片级色度QP值或者条带级色度QP值,如在比特流中用一个或者多个色度QP偏移所指示的。色度QP偏移不直接规定色度QP值,而是在推导过程(如在第VII节中所描述的)中被使用来确定色度QP值。控制器也可以规定量化缩放矩阵,以建立用于亮度分量和/或色度分量的系数的频率特定的缩放因子。
QP值控制亮度和色度变换系数的量化的粗度。例如,QP值可以按照定义的关系来控制缩放因子,其也被称为量化步长(“QSS”)。例如,在比特流中用信号通知QP值为QP减26,并且QSS是S*2(QP/6)或者大致是S*2(QP/6),其中S是诸如固定值常量的缩放因子、变换特定的缩放因子或者频率特定的缩放因子。在一些实现中,基于整数的公式指示大致是S*2(QP/6)的QSS。在这个关系中,高QP值表明高(即,粗)QSS,而低QP值指示低(即,细)QSS。可替换地,QP可以与QSS反向相关。例如在比特流中用信号通知QP值为25减QP,并且QSS是S*2((51-QP)/6)或者大致是S*2((51-QP)/6)。在这个示例中,可以有效地用信号通知相同的QSS值,但是高QP值表明低QSS,而低QP值表明高QSS。更一般地,本文描述的创新可以被应用于QP和QSS之间的各种关系,包括上文描述的关系,以及其中QP是诸如在H.263标准中被称作QUANT的参数那样的参数的关系和其中QP是诸如在H.262标准中被称为quantiser_scale的参数那样的参数的关系。
一般地,控制器可以为视频的图片、条带或者其它部分设置亮度QP和色度QP,然后依据质量和/或比特率来评价内容的编码的结果(例如,对变换系数进行量化和/或对已量化的变换系数进行熵编码)。如果结果是满意的,则控制器可以选择被设置的亮度QP和色度QP。否则,控制器可以调整亮度QP和/或色度QP。例如,如果已编码色度内容的质量相对于已编码亮度内容的质量而言过高,则控制器可以调整QP来增加色度QSS和/或降低亮度QSS,以在色度和亮度分量之间平衡质量,同时也顾及对于速率和/或质量的总体目标。或者,如果已编码色度内容的质量相对于已编码亮度内容的质量而言过低,则控制器可以调整QP来降低色度QSS和/或增加亮度QSS,以在亮度和色度分量之间平衡质量,同时也顾及对于速率和/或质量的总体目标。亮度QP和色度QP的设置和调整可以在逐图片的基础上、逐条带的基础上、或者在一些其它基础上重复。
取决于实现和所期望的压缩的类型,编码器的模块可以被添加、省略、拆分成多个模块、与其它模块相组合、和/或被类似的模块替代。在可替换的实施例中,具有不同模块和/或模块的其它配置的编码器执行所描述的技术中的一种或者多种技术。编码器的具体实施例典型地使用编码器(500)的变型或者补充版本。在编码器(500)内的模块之间示出的关系指示编码器中的信息的一般流;为了简明,未示出其它关系。
VI. 示例性视频解码器
图6是与之结合可以实施若干所描述的实施例的概括性解码器(600)的方框图。解码器(600)接收用于已压缩帧或者帧序列的已编码数据(695),并且产生包括重建的帧(605)的输出。为了介绍,图6示出了用于帧内解码的经过解码器(600)的“帧内路径”和用于帧间解码的“帧间路径”。解码器(600)的许多组件被使用于帧内解码和帧间解码两者。由那些组件执行的确切操作可以取决于正被解压缩的信息的类型而变化。
缓冲器(690)接收用于已压缩帧的已编码数据(695),并且使所接收的已编码数据对解析器/熵解码器(680)而言是可用的。已编码数据可以包括指示为色度设置的QP值的语法元素,诸如图片级色度QP偏移和/或条带级色度QP偏移。第VII节描述了这样的语法元素的示例。解析器/熵解码器(680)通过典型地施加在编码器中执行的熵编码的逆过程,而对熵编码的量化的数据以及熵编码的辅助信息进行熵解码。
运动补偿器(630)将运动信息(615)施加到一个或者多个参考帧(625),以形成正被重建的帧(605)的子块和/或块的经运动补偿的预测(635)。帧存储(620)存储一个或者多个之前重建的帧,以供作为参考帧使用。
帧内路径可以包括帧内预测模块(未示出),其根据相邻的、之前重建的像素值而在空间上预测当前块或者子块的像素值。在帧间路径中,解码器(600)重建预测残差。逆量化器(670)通过潜在地使用色度QP值而对熵解码的数据进行逆量化。例如,解码器(600)基于比特流中的语法元素,为视频的图片、条带和/或其它部分(诸如编码单元)设置用于亮度QP和色度QP的值,并且逆量化器(670)相应地对变换系数进行逆量化。
在一些实现中,解码器可以在解码期间设置图片级亮度QP值、条带级亮度QP值或者编码单元级亮度QP值,正如通过比特流中的语法元素所指示的,语法元素包括图片级亮度QP值、条带级亮度QP偏移(如果存在)和编码单元级亮度QP偏移(如果存在)。图片内的不同条带可以具有规定的不同亮度QP值,并且条带内的不同编码单元可以具有规定的不同亮度QP值。解码器还设置图片级色度QP值或者条带级色度QP值,正如在比特流中用一个或者多个色度QP偏移来指示的。解码器还可以使用量化缩放矩阵来建立用于亮度分量和/或色度分量的系数的频率特定的缩放因子。QP值按照定义的关系来代表量化步长(“QSS”),正如上文描述的。
逆频率变换器(660)将重建的频域数据转换成空间域信息。例如,逆频率变换器(660)将逆块变换施加到频率变换系数,从而产生像素值数据或者预测残差数据。逆频率变换可以是逆离散余弦变换、其整数近似或者是其它类型的逆频率变换。
对于预测的帧而言,解码器(600)将重建的预测残差(645)与经运动补偿的预测(635)相组合,以形成重建的帧(605)。(虽然在图6中未示出,但是在帧内路径中,解码器(600)可以将预测残差与来自帧内预测的空间预测相组合。)解码器(600)中的运动补偿回路包括在帧存储(620)之前或者之后的自适应回路中的去块滤波器(610)。解码器(600)将回路中滤波施加到重建的帧,以自适应地平滑帧中跨边界的不连续性。在解码期间的去块滤波的细节(例如,取决于诸如这样的因素的规则,即:内容/平滑度、编码模式、用于在边界的不同侧上的块/子块的运动向量、块/子块大小、编码/未编码状态等等)典型地反映出在编码期间的去块滤波的细节。
在图6中,解码器(600)还包括后处理去块滤波器(608)。后处理去块滤波器(608)可选地平滑重建的帧中的不连续性。其它的滤波(诸如去环(de-ring)滤波)也可以作为后处理滤波的一部分而被施加。
取决于实现和所期望的解压缩的类型,解码器的模块可以被添加、省略、拆分成多个模块、与其它模块相组合、和/或被类似的模块替代。在可替换的实施例中,具有不同模块和/或模块的其它配置的解码器执行所描述技术中的一个或者多个。解码器的特定实施例典型地使用解码器(600)的变型或者补充版本。在解码器(600)内的模块之间所示出的关系指示解码器中的信息的一般流;为了简洁,未示出其它关系。
VII. 扩展范围的色度QP值的控制和使用
本节介绍用于控制和使用色度QP值的各种创新。
在JCTVC-I1003中的HEVC设计中,对于比特深度(bit-depth)8而言,用于色度的QP被限于范围[0,39]。相比之下,对于比特深度8而言,用于亮度的QP可以在范围[0,51]中变化。对于更高的比特深度而言,用于亮度和色度两者的范围被适当地增大。采用这个设计,使用于色度的QP值与使用于亮度的QP值相比在小得多的值处饱和。换言之,使用于色度的最高QP值(和最高QSS)远远小于使用于亮度的最高QP值(和最高QSS)。在相对于亮度分量而言有过量的(无效率的、不必要的)比特被分配给色度分量的编码时,这种限制会导致在低比特率应用中对于速率控制的问题。而且,该设计可能对广泛的多种多样的颜色格式并不适当。
特别是,按照JCTVC-I1003中的HEVC设计,使用于色度分量Cb和Cr的QP(即QPCb和QPCr)是如下地从使用于亮度分量的QP(QPY)推导出来的。基于对中间QP索引qPI的查找,QPCb和QPCr的值等于在表1中所规定的QPC的值。表1将QPC规定为qPI的函数。
表1. 在JCTVC-I10003中QPC作为qPI的函数。
中间QP索引qPI可以是qPICb(用于Cb色度分量)或者qPICr(Cr色度分量)。其被推导如下:
或者
其中Clip3是被如下地定义的函数。当z<x时,Clip3(x,y,z)为x;当z>y时,Clip3(x,y,z)为y;否则Clip3(x,y,z)为z。值cb_qp_offset和cr_qp_offset是图片级色度QP偏移值,其可以在图片参数组(“PPS”)中被用信号通知。QPY是用于亮度的QP值。QpBdOffsetc是取决于色度比特深度的色度QP范围偏移(对较高比特深度会增大)。用于QpBdOffsetc的示例值是0、6、12、18、24和36,其中QpBdOffsetc=6*bit_depth_chroma_minus8,并且对于每个样本8至14比特的比特深度而言,bit_depth_chroma_minus8在0至6的范围内,0和6也包括在内。
在JCTVC-I1003中的HEVC设计中,对用于亮度和色度的QP的进一步调整可以基于比特深度而发生。这种类型的调整也是下文描述的创新的一个方面。即,对于下文所描述的创新,也可以做出这样的针对比特深度的调整。为了清晰的目的,在JCTVC-I1003中的HEVC设计中代表这个调整的等式是:
因此,推导色度QP值(例如,QP'Cb或者QP'Cr)的总体过程是:(1)根据亮度QP值(QPY)和图片级色度QP偏移(例如,cb_qp_offset或者cr_qp_offset)确定中间QP索引qPI(例如,qPICb或者qPICr);(2)通过表查找操作,确定值QPC(例如,QPCb或者QPCr);以及(3)通过QpBdOffsetc调整QPC的值。
A. 表达用于色度的QP的新方法
本文描述的各种创新扩展了色度的QP范围,从而与亮度的QP范围相匹配。
图7示出用于在编码期间确定色度QP偏移的概括性技术(700)。诸如上文参考图5描述的那样的视频编码器或者其它图像或视频编码器执行该技术(700)。
编码器对图像或者视频内容进行编码,其中用于所述内容的QP值按照在主要分量和一个或者多个次要分量之间的关系而变化。作为编码的一部分,编码器根据主要分量QP和次要分量QP偏移来确定(710)QP索引。例如,主要分量是亮度分量,而一个或者多个次要分量是一个或者多个色度分量。可替换地,主要分量和(一个或多个)次要分量是其它类型的颜色分量(例如,RGB)。
色度QP偏移可以合并图片级色度QP偏移和条带级色度QP偏移。编码器可以按照来确定QP索引(作为变量qPI),其中QPY代表亮度QP,qp_offset代表图片级色度QP偏移,slice_qp_delta代表条带级色度QP偏移,而Clip3(a,b,c)代表将c的值修剪(clip)到a至b的范围的函数。例如,在函数Clip3(-QpBdOffsetC,57,QPY+qp_offset+slice_qp_delta)中,QPY+qp_offset+slice_qp_delta的值被限于-QpBdOffsetC…57的范围,范围的端值也包括在内。可替换地,编码器按照不同的公式(例如在下文描述的新方法之一中的其它公式)确定QP索引。
在一些实现中,编码器将图片级色度QP偏移、条带级色度QP偏移以及图片级色度QP偏移与条带级色度QP偏移的总和的值约束到定义的范围(例如,-12至12)。可替换地,色度QP偏移的值被约束到另一个范围(例如,-6至6)或者是不受约束的。
编码器将QP索引映射(720)到次要分量QP。相对于某些之前的方法,次要分量QP值的范围被扩展,以使得由次要分量QP指示的QSS的范围的上限基本上与由主要分量QP指示的QSS的范围的上限相匹配。由次要分量QP指示的QSS的范围的上限可以精确地与由主要分量QP指示的QSS的范围的上限相匹配。或者,由次要分量QP指示的QSS的范围的上限可以与由主要分量QP指示的QSS的范围的上限相差至多为2的因子(例如,当QSS与QP以大约对数的方式相关时,比如对缩放因子S而言大致是QSS=S*2(QP/6)时,对用于主要分量QP的QSS上限51和用于次要分量QP的QSS上限45而言,或者对用于次要分量QP的QSS上限51和用于主要分量QP的QSS的上限45而言,QSS的值大约为S*28.5对S*27.5)。
映射可以遵循将不同的QP索引值映射到相对应的次要分量QP值的表。例如,该表为
其中qPI代表QP索引,而QPC代表色度QP(或者其它次要分量QP)的值。
或者,映射可以使用函数,按照该函数把QP索引的值映射到次要分量QP的值。例如,按照该函数,第一范围的QP索引值具有到相对应的次要分量QP值的线性映射,第二范围的QP索引值具有到相对应的次要分量QP值的非线性映射,而第三范围的QP索引值具有到相对应的次要分量QP值的线性映射。
或者,映射可以遵循将不同的QP索引值映射到相对应的次要分量QP值的逻辑。在一些示例中,这样的逻辑实现了在不同的QP索引值和相对应的次要分量QP值之间的分段线性关系。例如,该逻辑是:
其中qPI代表QP索引,而QPC代表色度QP(或者其它次要分量QP)的值,而“>>1”代表在二的补码运算(complement arithmetic)中,整数运算右移一个比特位置。
下面描述示例性的表和映射。
利用主要分量QP和次要分量QP,编码器可以执行诸如变换系数的量化那样的操作。例如,编码器可以为图片的条带的一个或者多个部分来量化变换系数,然后为其它条带或者图片的量化来调整主要分量QP和/或次要分量QP。
编码器输出(730)包括已编码内容的比特流的至少一部分。比特流可以包括标记(例如,在PPS或者其它地方),其指示条带级色度QP偏移在条带头中的存在或者不存在。
在一些实现中,对于与高QSS(即,粗量化)相关联的一系列QP索引值而言,在主要分量QP和次要分量QP之间的关系通过以下特征中的一个或者多个来表征。
·对于次要分量QP偏移的常量值而言,次要分量QP与主要分量QP完全相同;
·QSS的值以由主要分量QP代表的QSS与由次要分量QP代表的QSS的比率改变,其中对于用于次要分量QP偏移的默认值零而言,比率至多为2;
·主要分量QP的值的改变导致次要分量QP的值的相同大小的改变,以使得主要分量QP的改变与次要分量QP的改变的比率为1;以及
·对于是特定值(例如,六)的次要分量QP偏移的值而言,次要分量QP与主要分量QP完全相同。
图8示出用于在解码期间确定色度QP偏移的概括性技术(800)。诸如上文参考图6所描述的那样的视频解码器或者其它图像或者视频解码器执行该技术(800)。
解码器接收(810)包括已编码图像或者视频内容的比特流的至少一部分,其中用于所述内容的QP值按照在主要分量和一个或者多个次要分量之间的关系而变化。
解码器对已编码内容的至少一些进行解码。作为解码的一部分,解码器根据主要分量QP和次要分量QP偏移来确定(820)QP索引。例如,主要分量是亮度分量,而一个或者多个次要分量是一个或者多个色度分量。可替换地,主要分量和(一个或多个)次要分量是其它类型(例如,RGB)的颜色分量。
色度QP偏移可以合并图片级色度QP偏移和条带级色度QP偏移。解码器可以按照来确定QP索引(作为变量qPI),其中QPY代表亮度QP,qp_offset代表图片级色度QP偏移,slice_qp_delta代表条带级色度QP偏移,而Clip3(a,b,c)代表将c的值修剪到a至b的范围的函数。例如,在函数Clip3(-QpBdOffsetC,57,QPY+qp_offset+slice_qp_delta)中,QPY+qp_offset+slice_qp_delta的值被限于-QpBdOffsetC…57的范围,范围的端值也包括在内。可替换地,解码器按照不同的公式(例如在下文描述的新方法之一中的其它公式)确定QP索引。
解码器将QP索引映射(830)到次要分量QP。相对于某些之前的方法,次要分量QP值的范围被扩展,以使得由次要分量QP的范围指示的QSS的上限基本上与由主要分量QP指示的QSS的范围的上限相匹配。由次要分量QP指示的QSS的范围的上限可以精确地与由主要分量QP指示的QSS的范围的上限相匹配。或者,由次要分量QP指示的QSS的范围的上限可以与由主要分量QP的范围指示的QSS的上限相差至多为2的因子(例如,当QSS与QP以大约对数的方式相关时,比如对缩放因子S而言大致是QSS=S*2(QP/6)时,对用于主要分量QP的QSS上限51和用于次要分量QP的QSS上限45而言,或者对用于次要分量QP的QSS上限51和用于主要分量QP的QSS的上限45而言,QSS的值大约为S*28.5对S*27.5)。
映射可以遵循将不同的QP索引值映射到相对应的次要分量QP值的表。例如,该表为
其中qPI代表QP索引,而QPC代表色度QP(或者其它次要分量QP)的值。
或者,映射可以使用函数,按照该函数把QP索引的值映射到次要分量QP的值。例如,按照该函数,第一范围的QP索引值具有到相对应的次要分量QP值的线性映射,第二范围的QP索引值具有到相对应的次要分量QP值的非线性映射,而第三范围的QP索引值具有到相对应的次要分量QP值的线性映射。
或者,映射可以遵循将不同的QP索引值映射到相对应的次要分量QP值的逻辑。在一些示例中,这样的逻辑实现了在不同的QP索引值和相对应的次要分量QP值之间的分段线性关系。例如,该逻辑是:
其中qPI代表QP索引,而QPC代表色度QP(或者其它次要分量QP)的值。
下面描述示例性的表和映射。
利用主要分量QP和次要分量QP,解码器可以执行诸如变换系数的逆量化那样的操作。例如,解码器可以为图片的条带的一个或者多个部分来逆量化变换系数,然后为其它条带或者图片的逆量化来调整主要分量QP和/或次要分量QP。
与JCTVC-I1003中的HEVC设计相比,本文描述的一些创新修改了从QPY推导QPCb和QPCr的过程。对于下文的新方法而言,推导色度QP值(例如,QP'Cb或者QP'Cr)的总体过程如下。首先,根据亮度QP值(QPY)和色度QP偏移确定中间QP索引qPI(例如,qPICb或者qPICr)。色度QP偏移计及图片级色度QP偏移,并且在一些新方法中,它也可以计及条带级色度QP偏移。接下来,通过表查找操作或者其它映射操作来确定值QPC(例如,QPCb或者QPCr)。然后,通过QpBdOffsetC调整QPC的值。
或者
当QpBdOffsetC为零时,可以跳过最后的阶段。再次地,用于QpBdOffsetC的示例值是0、6、12、18、24和36。
1. 新方法1
在新方法1中,取决于索引qPI的值,QPCb和QPCr的值等于在表2中所规定的QPC的值。
表2. 在新方法1中QPC作为qPI的函数。
与表1相比,表2对于索引qPI被从51扩展到71。而且,与表1相比,对于高于43的索引qPI值而言,色度QP值QPC是不同的。如下地推导出索引qPI(对于qPICb或者qPICr)。在这些等式中,上限是71而不是51。
QPC和qPI之间的关系可以被规定为针对索引qPI的每个值的表。可替换地,需要仅含有5个条目的表,而剩余部分可以使用如下地表示的逻辑来实现:
根据表确定QPC
2. 新方法2
在新方法2中,取决于索引qPI的值,QPCb和QPCr的值等于在表3中所规定的QPC的值。
表3. 在新方法2中QPC作为qPI的函数。
与表1相比,对于高于43的索引qPI值而言,色度QP值QPC是不同的。如下地推导出索引qPI(对于qPICb或者qPICr)。在这些等式中,上限是57而不是51,其有效地将表3向上扩展到qPI=57。
QPC和qPI之间的关系可以被规定为对于索引qPI的每个值的表。可替换地,需要仅含有5个条目的表,而剩余部分可以使用如下地表示的逻辑来实现:
根据表确定QPC
3. 新方法3
在新方法3中,取决于索引qPI的值,QPCb和QPCr的值等于在表4中所规定的QPC的值。
表4. 在新方法3中QPC作为qPI的函数。
与表1相比,表4对于索引qPI被从51扩展到71。而且,与表1相比,当索引qPI是34时以及对于高于43的索引qPI值而言,色度QP值QPC是不同的。如下地推导出索引qPI(对于qPICb或者qPICr)。在这些等式中,上限是71而不是51。
QPC和qPI之间的关系可以被规定为针对索引qPI的每个值的表。可替换地,该关系可以被规定为分段线性函数,并且使用如下地表示的逻辑来实现:
4. 新方法4
在新方法4中,取决于索引qPI的值,QPCb和QPCr的值等于在表5中所规定的QPC的值。
表5. 在新方法4中QPC作为qPI的函数。
与表1相比,当qPI=34时以及对于高于43的索引qPI值而言,色度QP值QPC是不同的。如下地推导出索引qPI(对于qPICb或者qPICr)。在这些等式中,上限是57而不是51,其有效地将表5向上扩展到qPI=57。
QPC和qPI之间的关系可以被规定为针对索引qPI的每个值的表。可替换地,该关系可以被规定为分段线性函数,并且使用如下地表示的逻辑来实现:
5. 新方法5
新方法5将新方法3与条带级色度QP偏移的使用相组合。条带级色度QP偏移的使用可以通过使用在序列参数组(“SPS”)、PPS或者其它较高级别语法结构中用信号通知的标记来启用/禁用。新方法5在其它方面与新方法3完全相同,只是用于索引qPI的值是如下地推导出的:
变量slice_qp_delta_cb和slice_qp_delta_cr分别是用于Cb和Cr分量的条带级色度QP偏移值,其可以在条带头(slice header)中被用信号通知。
6. 新方法6
相似地,新方法6将新方法4与条带级色度QP偏移的使用相组合。条带级色度QP偏移的使用可以通过使用在SPS、PPS或者其它较高级别语法结构中用信号通知的标记来启用/禁用。新方法6在其它方面与新方法4完全相同,只是用于索引qPI的值是如下地推导出的:
7. 新方法的优点
对于本节的每个新方法而言,用于将QPC确定为qPI的函数的表被有效地扩展以使其能够达到色度QP的较高值(按照QP和QSS之间的示例性关系,指示用于色度的QSS的较高值)。特别是,这些表被有效地扩展,以使得用于色度的QP的最大可能值现在为51而不是39(在JCTVC-I1003中)。这允许在高QP情景中用于色度分量的更进取的(aggressive)(即,粗的)量化,其降低了用于色度分量的比特率。所节省的比特可以改而被用于亮度分量,以便改进总体质量。而且,对于每个新方法而言,可以使用上文描述的简单公式/逻辑来实现该表。
新方法2、4和6具有以下的附加的优点。
第一,防止在由用于亮度的QP值和相对应的用于色度的QP值代表的量化步长之间的差变得过于极端,尤其是对于在扩展的表的高端的QP值。典型地,量化步长(“QSS”)按照所定义的关系而取决于QP值(例如,大约对数的关系;在一些实现中,大致为QSS=2(QP/6),以使得QSS与该关系的指数中的QP直接成比例)。当默认值被使用于色度QP偏移时(即偏移被设置为0),在JCTVC-I1003中的HEVC设计中,由QP索引(从用于亮度的QP推导出的)代表的QSS与用于色度的QSS的比率可以与4一样大(例如,对于亮度QP 51和色度QP 39而言,大约为28.5对26.5)。相比之下,在新方法2、4和6中,比率至多为2(例如,对于亮度QP 51和色度QP45而言,大约为28.5对27.5)。限制用于QSS的比率可以有助于当打算让量化为粗量化时,防止对于色度分量的过度比特使用。
第二,对于用于亮度的QP的改变与用于色度的QP的改变的比率而言,在高QP(高QSS)操作中,启用斜率1。对于高QP条件而言(当qPI是>43时),用于亮度QP的+1的改变导致用于色度QP的+1的改变,或者用于亮度QP的-1的改变导致用于色度QP的-1的改变。这有助于当改变QP值时(例如,在用来调整总体质量相对(versus)比特率的速率控制期间),编码控制器在亮度和色度之间保持平衡。对于QP值的这个范围,在亮度和色度量化步长之间的比率保持为常量,这促进了对比特率的细粒度控制,而没有对亮度和色度之间平衡的出乎意料的改变。
第三,在一些实现中(对这些实现而言,在高QP操作中QPC是qPI-6),固定的色度QP偏移6可以在高QP(高QSS)操作中被使用来达到用于亮度和色度的相等的QSS。在一些情况下,编码器可能期望使用相同的QSS(当QPY=QPC时,使得这是可能的)来编码所有的平面。在JCTVC-I1003的设计中,这意味着色度QP偏移可能需要取决于QP而进行调整,因为QPY和QPC之间的关系具有可变的差(参阅表1)。相比之下,在新方法2、4和6中,对于大于43的qPI值而言,QPC=qPI-6。所以对于这个范围,在qPI和QPC之间的差保持在6,并且固定的色度QP偏移6可以达到目标(QPY=QPC)。
第四,达到(在用于亮度和色度的QSS之间)期望的相对关系所需要的色度QP偏移远远小于JCTVC-I1003中的。例如,在JCTVC-I1003中,如果编码器想要对于亮度和色度两者都使用QP 39,则必然的色度QP偏移是12。如果表1简单地以在端部看到的相同斜率进行扩展,则用于偏移的这个值将会变得甚至更大。然而,在新方法2、4和6中,使用小得多的偏移6就可以达到相同的相对关系。
第五,对于具有低和中等范围的QP值(用于细量化和中等范围的量化)的普通使用条件而言,用于色度QP值的扩展的范围并未显著影响速率失真性能,因为在新方法中的修改主要应用于在普通使用条件中使用的QP值的范围之外。然而同时,对于高QP(高QSS)情形,就速率失真性能和编码器灵活性而言,使用用于色度QP的扩展的范围是有益的。对于典型的高QP情形而言,色度质量的损失(由于使用扩展的范围的色度QP的较粗量化、节省的比特等等)完全被亮度质量中的增益抵消。
用来将用于色度的QP表达为用于亮度的QP的函数的任一新方法可以连同用于为亮度分量和/或色度分量的系数建立频率特定的缩放因子的量化缩放矩阵一起使用。
B. 对于色度QP偏移值的约束
为了限制在亮度和色度之间的巨大质量差,对于色度QP偏移值的约束在示例性实现(诸如在新方法1-6中的那些实现)中是有用的。特别是,在对于色度QP偏移的示例性实现中,-12至12的范围是有效的。(在H.264/AVC标准中,色度QP偏移相似地被限制在-12至12的范围内,-12和12也包括在内。)这个范围具有有用的属性。例如,对于在高QP的新方法4而言,因为色度QP偏移6代表其中亮度QP等于色度QP的情况,所以偏移12代表偏移0的对点(counter-point)。在这两个色度QP偏移(即,偏移0和12)中,对于在QP和QSS之间的示例性关系而言,较大的QSS精确地是较小QSS的2倍(例如,用于色度QP 57的QSS 29.5是用于色度QP 51的QSS 28.5的2倍,后者是用于色度QP 45的QSS 27.5的2倍)。
在新方法1到4的情况下,对于色度QP偏移的值的约束可以被强加于cb_qp_offset和cr_qp_offset。对于新方法5和6而言,对于色度QP偏移的值的约束可以被强加于值(cb_qp_offset+slice_qp_delta_cb)和(cr_qp_offset+slice_qp_delta_cr)。可替换地,对于新方法5和6而言,对于色度QP偏移的值的约束可以被强加于用于cb_qp_offset、slice_qp_delta_cb、cr_qp_offset和slice_qp_delta_cr的各个值上。
C.用于条带级色度QP偏移的值的语法和语义
在新方法5和6中,比特流语法和语义支持用信号通知条带级色度QP偏移。条带级色度QP偏移为编码器提供更大的能力来准确地控制用于图片中不同区域的色度QP。对于示例性实现而言,图9a示出PPS RBSP语法中的新标记slicelevel_chroma_qp_flag,而图9b示出条带头语法中的新值slice_qp_delta_cb和slice_qp_delta_cr。取决于可适用的PPS中的slicelevel_chroma_qp_flag的值,熵编码的值slice_qp_delta_cb和slice_qp_delta_cr是有条件地存在于条带头中的。因此,当不使用条带级色度QP偏移时,避免了条带级语法开销。
在图9a中示出的PPS语法片段(901)中,值cb_qp_offset和cr_qp_offset分别规定在获取QPCb和QPCr时使用的基本偏移,正如上文所详细说明的。值slicelevel_chroma_qp_flag等于1规定了语法元素slice_qp_delta_cb和slice_qp_delta_cr存在于相关联的条带头中。否则,语法元素slice_qp_delta_cb和slice_qp_delta_cr不存在于相关联的条带头中。
在条带头(如在图9b中的语法片段(902)中所示出的)中,slice_qp_delta规定将被用于条带中的所有编码块直到被编码单元层中的cu_qp_delta的值修改为止的QPY的初始值。用于条带的初始QPY量化参数被计算为:
slice_qp_delta的值被限制成使得SliceQPY处在-QpBdOffsetY至+51的范围内,-QpBdOffsetY和+51也包括在内。
值slice_qp_delta_cb和slice_qp_delta_cr分别规定在获取QPCb和QPCr时使用的增量偏移,正如对于新方法5和6详细说明的。当不存在时,这些语法元素的值被暗示为0。
D. 用于色度的经修改的去块滤波
在JCTVC-I1003的HEVC设计中,使用值QPC来确定在对色度分量的块边缘进行去块的同时使用的滤波器“强度”(tC参数)。使用索引qPI来确定在表1中规定的变量QPC,索引qPI被如下地推导出:
其中QPQ和QPP代表用于存在于边缘的任一侧的块的亮度QP值。总的想法是基于用来量化边缘周围的样本的QP值来调整滤波器强度。当色度QP偏移(cb_qp_offset和cr_qp_offset)不等于零时,这个确定用于色度去块滤波的qPI的方法是低效的。对于色度QP偏移的不同的非零值而言,被使用于色度分量的QP将是不同的,但是滤波器强度保持相同。
在一些示例性实现中,当确定用于色度去块滤波的qPI时,考虑色度QP偏移的影响。在这些实现中,索引qPI被如下地推导出:
其中cqp_offset代表分别用于分量Cb和Cr的cb_qp_offset和cr_qp_offset。在这些示例性实现中,用于色度去块滤波的索引qPI的推导计及色度QP偏移的影响,但是在别的方面,当把用于色度的QP表达为用于亮度的QP的函数时,则是基于在JCTVC-I1003中推导qPI的方式。
在其它示例性实现中,当采用上文所描述的、针对将用于色度的QP表达为用于亮度的QP的函数的方式的新方法之一时,用于去块滤波的索引qPI可被如下地推导:
其中QPmax和cpq_offset依赖于所使用的新方法。对于新方法1、3和5,例如,QPmax等于71。对于新方法2、4和6,例如,QPmax等于57。对于新方法1至4,cqp_offset代表分别用于分量Cb和Cr的cb_qp_offset和cr_qp_offset。对于新方法5和6,cqp_offset代表分别用于分量Cb和Cr的(cb_qp_offset+slice_qp_delta_cb)和(cr_qp_offset+slice_qp_delta_cr)。更一般地,当推导出用于去块滤波的索引qPI的值时,(QPQ+QPP+1)>>1替代QPY,并且色度QP偏移被考虑。
变量qPI在去块滤波中使用的方式取决于实现。例如,变量qPI随后被用于确定变量QPC,正如在上文的表5中详细说明的。另一个变量Q被如下地推导:
其中bS是取决于编码模式(帧内或者帧间)、块中非零变换系数的存在、运动向量值和/或其它因素而设置的边界滤波强度,其中slice_tc_offset_div2是用于这样的条带的语法元素slice_tc_offset_div2的值,即该条带包含在边缘要被滤波的那侧的第一样本。变量tC'的值随后基于Q到tC'的映射来确定,映射在下表中示出。
表6. tC'作为Q的函数
最后,控制参数tC被推导为:
E. 替换方案
为了举例说明的目的,本详细说明包括带有用于一些参数和变量的特定名称的各种示例。本文描述的创新并不局限于利用具有这样名称的参数或者变量的实现。而是,本文描述的创新可以利用各种类型的参数和变量来实施。
例如,本文描述的示例中的某一些包括参数slicelevel_chroma_qp_flag、cb_qp_offset、cr_qp_offset、slice_qp_delta_cb和slice_qp_delta_cr。在JCTVC-K1003的HEVC标准的版本中,slicelevel_chroma_qp_flag被重新标注为pic_slice_chrome_qp_offset_present_flag,但是具有基本相同的含意。图片级色度QP偏移被称为pic_cb_qp_offset和pic_cr_qp_offset,而不是cb_qp_offset和cr_qp_offset。与slice_qp_delta_cb和slice_qp_delta_cr相对照,条带级色度QP偏移被称为slice_cb_qp_offset和slice_cr_qp_offset。本文描述的示例也可以适用于重新标注的参数。
在本文描述的一些示例中,在比特流中将QP值用信号通知为QP减26,而QSS为S*2(QP/6)或者大约为S*2(QP/6),其中S为缩放因子。在这种关系中,高QP值表明高(即,粗)QSS,而低QP值指示低(即,细)QSS。可替换地,QP可以与QSS反向相关。例如,在比特流中将QP值用信号通知为25减QP,而QSS为S*2((51-QP)/6)或者大致为S*2((51-QP)/6)。在这个示例中,可以有效地用信号通知相同的QSS值,但是高QP值表明低QSS,而低QP值表明高QSS。更一般地,本文描述的创新可以应用于QP和QSS之间的各种关系,包括上文描述的关系,以及包括其中QP是诸如在H.263标准中被称为QUANT的参数那样的参数的关系,和其中QP是诸如在H.262标准中被称为quantiser_scale的参数那样的参数的关系。
考虑到本公开发明的原理可以应用到其中的许多可能的实施例,应该认识到,举例说明的实施例仅是本发明的优选示例,且其不应被认为是对本发明范围的限制。更确切地,本发明的范围由下文的权利要求来限定。因此,我们要求将归入这些权利要求的范围和精神内的所有一切都作为我们的发明保护。

Claims (22)

1.一种计算设备,其实施被配置为执行操作的图像或者视频编码器,所述操作包括:
对图像或者视频内容进行编码,用于所述图像或者视频内容的量化参数(QP)的值按照在亮度分量和一个或者多个色度分量之间的关系变化,其中所述编码包括:
至少部分地根据亮度分量QP和色度分量QP偏移来确定QP索引(qPI);以及
将该QP索引映射到色度分量QP(QPC),其中由色度分量QP指示的量化步长(QSS)的范围的上限与由亮度分量QP指示的QSS的范围的上限相匹配;并且其中所述映射包括如下所示地基于QP索引(qPI)来设置色度分量QP(QPC):
以及
输出包括已编码内容的比特流的至少一部分。
2.如权利要求1的计算设备,其中所述映射通过如下的逻辑来实施,即:所述逻辑将不同的QP索引值映射到相对应的色度分量QP值。
3.如权利要求1中的计算设备,其中所述映射使用函数,按照所述函数,第一范围的QP索引值具有到相对应的色度分量QP值的线性映射,第二范围的QP索引值具有到相对应的色度分量QP值的非线性映射,而第三范围的QP索引值具有到相对应的色度分量QP值的线性映射。
4.如权利要求1中的计算设备,其中所述映射通过如下的逻辑来实施,即:所述逻辑合并在不同的QP索引值和相对应的色度分量QP值之间的分段线性关系。
5.如权利要求4中的计算设备,其中所述逻辑为:
6.如权利要求1的计算设备,其中,在与相对阈值的高QSS相关联的一系列QP索引值中,对于色度分量QP偏移的常量值而言,色度分量QP与亮度分量QP完全相同。
7.如权利要求1的计算设备,其中,对于与相对阈值的高QSS相关联的一系列QP索引值,所述关系由以下特征中的一个或者多个来表征:
QSS的值以由亮度分量QP代表的QSS与由色度分量QP代表的QSS的比率改变,其中对于用于色度分量QP偏移的默认值零而言,比率至多为2;
亮度分量QP的值的改变导致色度分量QP的值的相同大小的改变,以使得亮度分量QP的改变与色度分量QP的改变的比率为1;以及
对于为六的色度分量QP偏移的值而言,色度分量QP与亮度分量QP完全相同。
8.如权利要求1的计算设备,其中色度分量QP偏移合并图片级色度QP偏移和条带级色度QP偏移。
9.如权利要求8的计算设备,其中QP索引(qPI)是按照下式确定的:
其中QPY代表亮度分量QP,qp_offset代表图片级色度QP偏移,slice_qp_delta代表条带级色度QP偏移,而Clip3(a,b,c)代表将c的值修剪到a至b范围的函数。
10.如权利要求1的计算设备,其中所述比特流包括图片参数组中的标记,其指示条带级色度QP偏移在条带头中的存在或者不存在。
11.一种在实施图像或者视频解码器的计算设备中的方法,包括:
接收包括已编码图像或者视频内容的比特流的至少一部分,用于所述已编码图像或者视频内容的量化参数(QP)的值按照在亮度分量和一个或者多个色度分量之间的关系变化;并且
对已编码内容的至少一些进行解码,其中所述解码包括:
至少部分地根据亮度分量QP和色度分量QP偏移来确定QP索引(qPI);并且
将该QP索引映射到色度分量QP(QPC),其中由色度分量QP指示的量化步长(QSS)的范围的上限与由亮度分量QP指示的QSS的范围的上限相匹配,并且其中所述映射包括如下所示地基于QP索引(qPI)来设置色度分量QP(QPC):
12.如权利要求11的方法,其中所述映射通过如下的逻辑来实施,即:所述逻辑将不同的QP索引值映射到相对应的色度分量QP值。
13.如权利要求11中的方法,其中所述映射使用函数,按照所述函数,第一范围的QP索引值具有到相对应的色度分量QP值的线性映射,第二范围的QP索引值具有到相对应的色度分量QP值的非线性映射,而第三范围的QP索引值具有到相对应的色度分量QP值的线性映射。
14.如权利要求11中的方法,其中所述映射通过如下的逻辑来实施,即:所述逻辑合并在不同的QP索引值和相对应的色度分量QP值之间的分段线性关系。
15.如权利要求14中的方法,其中所述逻辑为:
16.如权利要求11的方法,其中,在对于与相对阈值的高QSS相关联的一系列QP索引值中,对于色度分量QP偏移的常量值而言,色度分量QP与亮度分量QP完全相同。
17.如权利要求11的方法,其中,对于与相对阈值的高QSS相关联的一系列QP索引值,所述关系由以下特征中的一个或者多个来表征:
QSS的值以由亮度分量QP代表的QSS与由色度分量QP代表的QSS的比率改变,其中对于用于色度分量QP偏移的默认值零而言,比率至多为2;
亮度分量QP的值的改变导致色度分量QP的值的相同大小的改变,以使得亮度分量QP的改变与色度分量QP的改变的比率为1;以及
对于为六的色度分量QP偏移的值而言,色度分量QP与亮度分量QP完全相同。
18.如权利要求11的方法,其中色度分量QP偏移合并图片级色度QP偏移和条带级色度QP偏移。
19.如权利要求18的方法,其中QP索引(qPI)是按照下式确定的:
其中QPY代表亮度分量QP,qp_offset代表图片级色度QP偏移,slice_qp_delta代表条带级色度QP偏移,而Clip3(a,b,c)代表将c的值修剪到a至b的范围的函数。
20.如权利要求11的方法,其中该比特流包括图片参数组中的标记,其指示条带级色度QP偏移在条带头中的存在或者不存在。
21.一种或者多种计算机可读存储介质,其存储计算机可执行指令,用于使得设备由此被编程来执行如权利要求11-20的任一项的方法。
22.一种计算系统,其包括一个或多个处理单元和存储器,该存储器存储计算机可执行指令,用于使得该一个或多个处理单元由此被编程来执行如权利要求11-20的任一项的方法。
CN201380045723.7A 2012-07-02 2013-07-02 一种用于色度qp值的扩展的范围的设备、方法、系统及可读存储介质 Active CN104584559B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261667381P 2012-07-02 2012-07-02
US61/667381 2012-07-02
US13/732,356 US9414054B2 (en) 2012-07-02 2012-12-31 Control and use of chroma quantization parameter values
US13/732356 2012-12-31
PCT/US2013/049100 WO2014008277A1 (en) 2012-07-02 2013-07-02 Extended range for chroma qp values

Publications (2)

Publication Number Publication Date
CN104584559A CN104584559A (zh) 2015-04-29
CN104584559B true CN104584559B (zh) 2018-04-06

Family

ID=49778132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045723.7A Active CN104584559B (zh) 2012-07-02 2013-07-02 一种用于色度qp值的扩展的范围的设备、方法、系统及可读存储介质

Country Status (6)

Country Link
US (12) US9414054B2 (zh)
EP (2) EP2868084B1 (zh)
JP (1) JP6270833B2 (zh)
KR (11) KR102660890B1 (zh)
CN (1) CN104584559B (zh)
WO (1) WO2014008277A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856232B2 (en) 2019-05-28 2023-12-26 Dolby Laboratories Licensing Corporation Quantization parameter signaling

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9426439B2 (en) * 2013-03-12 2016-08-23 Intel Corporation Exposing media processing features
GB2512826B (en) * 2013-04-05 2017-05-10 Canon Kk Method and device for determining the value of a quantization parameter
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
CN105264888B (zh) 2014-03-04 2018-09-14 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
AU2014385774B2 (en) 2014-03-04 2019-01-17 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
JP2015173312A (ja) 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
US10116937B2 (en) 2014-03-27 2018-10-30 Microsoft Technology Licensing, Llc Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
US20150288965A1 (en) * 2014-04-08 2015-10-08 Microsoft Corporation Adaptive quantization for video rate control
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
EP2977958A1 (en) 2014-07-22 2016-01-27 Thomson Licensing Method and apparatus for processing image data
US9716871B2 (en) 2014-09-30 2017-07-25 Apple Inc. YUV signal generation for high dynamic range video content
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
KR102115715B1 (ko) * 2014-09-30 2020-05-27 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 적응적 모션 벡터 레졸루션 방법
WO2016051643A1 (ja) 2014-10-03 2016-04-07 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
CN104410863B (zh) * 2014-12-11 2017-07-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
US9979969B2 (en) * 2015-04-24 2018-05-22 Fingram Co., Ltd. Method and system for image compression using image block characteristics
US20180167615A1 (en) * 2015-06-07 2018-06-14 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
US10659783B2 (en) * 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
EP3104610A1 (en) * 2015-06-10 2016-12-14 Thomson Licensing Method and device for encoding color differences for color picture data
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
US10432936B2 (en) 2016-04-14 2019-10-01 Qualcomm Incorporated Apparatus and methods for perceptual quantization parameter (QP) weighting for display stream compression
US10200698B2 (en) 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
WO2018123444A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2019009776A1 (en) * 2017-07-05 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) DECODING VIDEO SAMPLE BLOCK
US11019339B2 (en) * 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
WO2019148977A1 (en) * 2018-02-01 2019-08-08 Mediatek Inc. Methods and apparatuses of video encoding or decoding with adaptive quantization of video data
CN111937383B (zh) * 2018-03-30 2023-08-01 交互数字Vc控股公司 视频编码和解码中的色度量化参数调整
CN116320455A (zh) * 2018-04-01 2023-06-23 Lg电子株式会社 编码设备、解码设备及数据发送设备
WO2020057662A1 (en) 2018-09-21 2020-03-26 Huawei Technologies Co., Ltd. Apparatus and method for inverse quantization
US20220038704A1 (en) * 2018-09-24 2022-02-03 Interdigital Vc Holdings, Inc. Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
GB201902831D0 (en) * 2019-03-01 2019-04-17 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
EP3949402A4 (en) * 2019-04-26 2022-06-08 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR SIGNALING THE MAPPING FUNCTION OF A CHROMA QUANTIZATION PARAMETER
CN113994683A (zh) * 2019-06-21 2022-01-28 华为技术有限公司 用于色度量化控制的编码器、解码器和对应方法
CN114026858A (zh) * 2019-06-23 2022-02-08 夏普株式会社 用于在视频编码中导出视频块的量化参数的系统和方法
US11146823B2 (en) 2019-06-25 2021-10-12 Qualcomm Incorporated Signalling chroma quantization parameter (QP) mapping tables
US11418787B2 (en) 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
US11381819B2 (en) 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
CN114128275A (zh) * 2019-07-12 2022-03-01 交互数字Vc控股法国有限公司 亮度到色度量化参数表信令
CN114258677A (zh) * 2019-08-22 2022-03-29 Lg 电子株式会社 编译色度量化参数偏移相关信息的图像解码方法和设备
EP4344202A2 (en) * 2019-08-23 2024-03-27 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for performing chroma deblocking for blocks which use joint chroma coding
US11356684B2 (en) 2019-08-30 2022-06-07 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter table
KR20220058889A (ko) 2019-09-14 2022-05-10 바이트댄스 아이엔씨 비디오 코딩의 크로마 양자화 파라미터
CN114503597B (zh) * 2019-09-21 2024-03-12 字节跳动有限公司 视频编解码中的色度去方块方法
EP4022912A4 (en) * 2019-09-23 2022-11-09 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR SIGNALING AND DERIVING CHROMINANCE QP OFFSET TABLES
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
CN114556924B (zh) * 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
JP7389252B2 (ja) 2019-10-29 2023-11-29 北京字節跳動網絡技術有限公司 クロスコンポーネント適応ループフィルタ
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
WO2021121418A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
JP7436680B2 (ja) 2020-01-05 2024-02-22 北京字節跳動網絡技術有限公司 映像コーディングのための一般制約情報
WO2021143749A1 (en) * 2020-01-14 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Signaling of quantization parameters in video coding
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
EP4088465A4 (en) * 2020-02-04 2023-11-29 Huawei Technologies Co., Ltd. ENCODER, DECODER AND CORRESPONDING METHODS FOR SIGNALING HIGH-LEVEL SYNTAX
US11558616B2 (en) 2020-03-05 2023-01-17 Qualcomm Incorporated Methods for quantization parameter control for video coding with joined pixel/transform based quantization
JP2021158633A (ja) * 2020-03-30 2021-10-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US11381820B2 (en) * 2020-04-13 2022-07-05 Tencent America LLC Method and apparatus for video coding
CN115443655A (zh) * 2020-06-09 2022-12-06 阿里巴巴(中国)有限公司 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法
US11381830B2 (en) * 2020-06-11 2022-07-05 Tencent America LLC Modified quantizer
US11979572B2 (en) * 2020-06-22 2024-05-07 Apple Inc. Adaptive quantizer design for video coding
US11032546B1 (en) * 2020-07-20 2021-06-08 Tencent America LLC Quantizer for lossless and near-lossless compression
KR102488988B1 (ko) 2021-06-18 2023-01-13 이상철 자전하며 공전하는 회전날개를 갖는 수평축회전력생성장치
US20230099329A1 (en) * 2021-09-30 2023-03-30 Tencent America LLC Deriving offsets in cross-component transform coefficient level reconstruction
EP4195666A1 (en) * 2021-12-08 2023-06-14 Axis AB An encoding device and a method for encoding an image frame including selective restriction of offset compression values
CN114051140B (zh) * 2022-01-07 2022-04-08 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质
US20240129461A1 (en) * 2022-10-04 2024-04-18 Tencent America LLC Systems and methods for cross-component sample offset filter information signaling

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1695382A (zh) * 2002-11-01 2005-11-09 诺基亚有限公司 用于图像编码转换的方法和设备
CN102172024A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用于色度和亮度视频块的编码的量化参数选择

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7319415B2 (en) 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
JP4407249B2 (ja) 2003-11-18 2010-02-03 ソニー株式会社 データ処理装置およびその方法と符号化装置、その方法及びプログラム
KR100647295B1 (ko) 2004-11-10 2006-11-23 삼성전자주식회사 비디오 디코더에서의 인접 정보 처리 장치 및 방법과 그방법을 수행하기 위한 프로그램이 저장된 기록 매체
US7873105B2 (en) * 2005-04-01 2011-01-18 Broadcom Corporation Hardware implementation of optimized single inverse quantization engine for a plurality of standards
US8681867B2 (en) 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
JP4769605B2 (ja) 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US9961372B2 (en) 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US8634462B2 (en) 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US8204129B2 (en) 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US8724698B2 (en) 2007-04-13 2014-05-13 Apple Inc. Method and system for video rate control
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8150187B1 (en) 2007-11-29 2012-04-03 Lsi Corporation Baseband signal quantizer estimation
JP5007259B2 (ja) 2008-03-27 2012-08-22 ルネサスエレクトロニクス株式会社 画像符号化装置
US8199823B2 (en) 2008-04-15 2012-06-12 Sony Corporation Estimation of B frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8189677B2 (en) 2008-04-15 2012-05-29 Sony Corporation Estimation of P frame average rate quantization parameter (QP) in a group of pictures (GOP)
JP5094760B2 (ja) * 2009-02-13 2012-12-12 三菱電機株式会社 動画像符号化装置
KR101060495B1 (ko) 2009-03-19 2011-08-30 주식회사 코아로직 인코딩 장치와 방법 및 그 인코딩 장치를 포함한 멀티미디어 장치
US20110274162A1 (en) 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
JP2011250400A (ja) 2010-04-27 2011-12-08 Panasonic Corp 動画像符号化装置及び動画像符号化方法
JP2011259362A (ja) 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
KR102032940B1 (ko) 2011-03-11 2019-10-16 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능 기록 매체
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
KR20140046055A (ko) 2011-09-08 2014-04-17 모토로라 모빌리티 엘엘씨 계수들의 직사각형 블록의 양자화 및 역양자화를 위한 방법들 및 장치
WO2013037254A1 (en) 2011-09-13 2013-03-21 Mediatek Inc. Method and apparatus for reduction of deblocking filter
US9485521B2 (en) 2011-09-19 2016-11-01 Lg Electronics Inc. Encoding and decoding image using sample adaptive offset with start band indicator
US8976857B2 (en) 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US9185404B2 (en) 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9167269B2 (en) 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN106331713B (zh) 2012-01-20 2019-09-10 维洛媒体国际有限公司 编码装置和编码方法
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9031137B2 (en) 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
CN109068136B (zh) 2012-12-18 2022-07-19 索尼公司 图像处理装置和图像处理方法、计算机可读存储介质
EP2952003B1 (en) 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
GB2512826B (en) 2013-04-05 2017-05-10 Canon Kk Method and device for determining the value of a quantization parameter
US10708588B2 (en) 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US9843812B2 (en) 2014-05-23 2017-12-12 Sony Corporation Video transmission system with color gamut partitioning and method of operation thereof
US10038919B2 (en) 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
US9807410B2 (en) 2014-07-02 2017-10-31 Apple Inc. Late-stage mode conversions in pipelined video encoders
JP6194427B2 (ja) 2014-10-06 2017-09-06 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 量子化パラメータのコーディング及び導出
CN116320455A (zh) 2018-04-01 2023-06-23 Lg电子株式会社 编码设备、解码设备及数据发送设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1695382A (zh) * 2002-11-01 2005-11-09 诺基亚有限公司 用于图像编码转换的方法和设备
CN102172024A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用于色度和亮度视频块的编码的量化参数选择

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chroma QP extension and signalling enhancement;Jun Xu;《Joint Collaborative Team on Video Coding (JCT-VC)》;20120507;全文 *
High efficiency video coding (HEVC) text specification draft 6;Benjamin Bross;《Joint Collaborative Team on Video Coding (JCT-VC)》;20120210;全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856232B2 (en) 2019-05-28 2023-12-26 Dolby Laboratories Licensing Corporation Quantization parameter signaling

Also Published As

Publication number Publication date
KR20230093379A (ko) 2023-06-27
KR20230093378A (ko) 2023-06-27
US10250882B2 (en) 2019-04-02
JP2015526971A (ja) 2015-09-10
US9414054B2 (en) 2016-08-09
KR20230093542A (ko) 2023-06-27
KR102660282B1 (ko) 2024-04-23
US20190253712A1 (en) 2019-08-15
KR102147552B1 (ko) 2020-08-24
CN104584559A (zh) 2015-04-29
US20230036446A1 (en) 2023-02-02
KR20230093545A (ko) 2023-06-27
EP2868084A1 (en) 2015-05-06
KR102365388B1 (ko) 2022-02-18
US11457212B2 (en) 2022-09-27
KR20220025229A (ko) 2022-03-03
EP2868084B1 (en) 2019-11-06
KR20240058966A (ko) 2024-05-03
KR20150034142A (ko) 2015-04-02
US20160316206A1 (en) 2016-10-27
US20230029534A1 (en) 2023-02-02
EP3582499A1 (en) 2019-12-18
KR102660889B1 (ko) 2024-04-24
KR102660890B1 (ko) 2024-04-24
KR102643369B1 (ko) 2024-03-04
US20200092557A1 (en) 2020-03-19
US20210136380A1 (en) 2021-05-06
US10924740B2 (en) 2021-02-16
JP6270833B2 (ja) 2018-01-31
US20230026047A1 (en) 2023-01-26
KR102660891B1 (ko) 2024-04-24
KR20230093544A (ko) 2023-06-27
US20140003497A1 (en) 2014-01-02
KR102547712B1 (ko) 2023-06-23
US20230034128A1 (en) 2023-02-02
KR102244926B1 (ko) 2021-04-26
KR20230097215A (ko) 2023-06-30
US20230027377A1 (en) 2023-01-26
KR20210046837A (ko) 2021-04-28
US20230023086A1 (en) 2023-01-26
WO2014008277A1 (en) 2014-01-09
KR102660310B1 (ko) 2024-04-23
KR20200100209A (ko) 2020-08-25
US20220400262A1 (en) 2022-12-15
US10491898B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
CN104584559B (zh) 一种用于色度qp值的扩展的范围的设备、方法、系统及可读存储介质
US11943442B2 (en) Use of chroma quantization parameter offsets in deblocking
TWI610574B (zh) 於解塊中色度量化參數偏移之使用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150713

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150713

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant