CN104919798B - 量化矩阵编码的方法和装置 - Google Patents
量化矩阵编码的方法和装置 Download PDFInfo
- Publication number
- CN104919798B CN104919798B CN201380015816.5A CN201380015816A CN104919798B CN 104919798 B CN104919798 B CN 104919798B CN 201380015816 A CN201380015816 A CN 201380015816A CN 104919798 B CN104919798 B CN 104919798B
- Authority
- CN
- China
- Prior art keywords
- sampling
- quantization parameter
- region
- quantization
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种量化矩阵(QM)编码方法,包括对QM进行非均匀地下采样以生成多个下采样的量化系数。同样地,一种用于视频编码的装置,包括一种处理器,用于对QM进行非均匀地下采样以生成多个下采样的量化系数,扫描所述下采样的量化系数,以及根据下采样的量化系数的扫描对下采样的量化系数进行编码以生成已编码的系数,以及一种耦合到所述处理器的发射器,用于发送包括图像集的比特流,所述图像集包括已编码的系数。
Description
相关申请案交叉申请
本发明要求2012年4月16日由郑建铧(Jianhua Zheng)等人递交的发明名称为:“量化矩阵编码的方法和装置(Method and Apparatus of Quantization MatrixCoding)”的第61/624877号美国临时专利申请案的在先申请优先权,该在先申请的内容以引入的方式并入本文本中,如全文再现一般。
关于由联邦政府赞助的
研究或开发的声明
不适用。
缩微平片附件的引用
不适用。
背景技术
即使在影片相对较短的情况下也需要对大量的视频数据进行描述,当数据要在带宽容量受限的通信网络中流过或以其他方式传送时,这样可能会造成困难。因此,视频数据通常要先压缩然后在现代电信网络中传送。视频压缩设备通常在源处使用软件和/或硬件,以在传送之前对视频数据进行编码,从而减少用来表示数字视频图像所需的数据量。接着,压缩数据在目的地处由视频解压设备接收,该视频解压设备用于对视频数据进行解码。在有限的网络资源以及对更高视频质量的需求不断增加的情况下,需要改进的压缩和解压技术,所述技术几乎无需以牺牲图像质量为代价就可以改进压缩比。
例如,在当前高性能视频编码(HEVC)的设计中,数据变换和量化矩阵(QM)的大小最大可以达到32x32。大数据块的变换可提高编码效率,也会由于在图像参数集当中携带可感知到的QM,从而造成较高的日常费用。在HEVC中,一共可能会使用和存储共24个QM在一个图像中,虽然也可能会有针对4x4、8x8、16x16和32x32数据块,画面间(简称为帧间)预测技术和画面内(简称为帧内)预测技术,以及亮度(Y)和色度(U和Y)分量的单独的QM。据报道,如果使用压缩高级视频编码(AVC)QM的方法,所造成的日常费用大概是AVC的10倍。因此,可能需要提高QM的压缩效率,尤其是针对大小较大的数据块时,以减少比特流中产生的比特数。
发明内容
在一项实施例中,本发明包括一种量化矩阵的编码方法,该方法包括对QM进行非均匀地下采样以生成多个下采样的量化系数。
在另一实施例中,本发明包括一种用于视频解码的装置,该装置包括处理器,用于获取包括多个与一个QM对应的已编码的量化系数的比特流,解码所述已编码的量化系数以生成多个量化系数和多个下采样的量化系数,对所述多个下采样的量化系数进行上采样以生成多个上采样的量化系数,以及通过组合所述量化系数和所述上采样的量化系数生成重构的QM。
在又一实施例中,本发明包括一种视频解码的方法,所述方法包括获取接收比特流,其中所述接收比特流包括多个与一个QM对应的已编码的量化系数,解码所述已编码的量化系数以生成多个量化系数和多个下采样的量化系数;对所述多个下采样的量化系数进行上采样以生成多个上采样的量化系数;以及通过组合所述量化系数和所述上采样的量化系数生成重构的QM。
结合附图和权利要求书,可从以下的详细描述中更清楚地理解这些和其他特征。
附图说明
为了更完整地理解本发明,现在参考以下结合附图和详细描述进行的简要描述,其中相同参考标号表示相同部分。
图1示出了示例性的视频编码器的部分。
图2A示出了QM编码方案的一项实施例。
图2B示出了QM解码方案的一项实施例。
图3A示出了16x16QM下采样方案的一项实施例。
图3B示出了量化系数编码方案的一项实施例。
图4A示出了32x32QM下采样方案的一项实施例。
图4B示出了量化系数编码方案的一项实施例。
图5A示出了16x16QM下采样方案的一项实施例。
图5B示出了量化系数编码方案的一项实施例。
图6A示出了32x32QM下采样方案的一项实施例。
图6B示出了量化系数编码方案的一项实施例。
图7示出了位移方案的一项实施例。
图8示出了位移方案的一项实施例。
图9示出了之字形扫描方案的一项实施例。
图10示出了之字形扫描方案的一项实施例。
图11示出了量化系数扫描方案的一项实施例。
图12示出了量化系数扫描方案的一项实施例。
图13示出了上采样精度地图的一项实施例。
图14示出了上采样精度地图的一项实施例。
图15示出了上采样算法的一项实施例。
图16示出了QM编码方法的一项实施例。
图17示出了QM解码方法的一项实施例。
图18为网络节点的一项实施例的示意图。
具体实施方式
首先应该理解的是,尽管下面提供了一种或多种实施例的示例性实现方式,本发明公开的系统和/或方法可通过多种其他已知的或存在的技术实现。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术,包含本文所说明并描述的示范性设计和实施方案,而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。
当对图像或视频帧中的像素块进行编码时,可以使用帧间预测技术或帧内预测技术,在一个或多个已编码参考块的基础上,生成一个预测块。预测块可以是原始块的预估版本。可通过从预测块中减去该原始块来生成残留块,反之亦然,该残留块可用于表示预测残留或预测误差。由于需要用于表示预测残留的数据量,通常可能少于需要用于表示原始块的数据量,因此可以对残留块进行编码以实现较高的压缩比。
接着,空间域中残留块的残留值可以转换成频域中的变换系数。该转换可以通过如类似离散余弦变化(DCT)等二维变换来实现。在变换矩阵中,低索引变换系数(如,位于左上区域)可对应于大空间特征并具有相对较大的量值;而高索引变换系数(如,位于右下区域中)可对应于小空间特征并具有相对较小的量值。进一步地,包括量化系数的量化矩阵(QM)可应用于变换矩阵,从而量化所有变换系数以成为量化的变换系数。量化的结果是,变换系数的标度或量值可能会降低。一些高索引变换系数可降为零,随后可能在后续扫描和编码步骤中被跳过。
图1示出了包括变换单元或模块12、量化模块14以及熵编码器或编码模块16的示例性的视频编码器10的部分。尽管图1中未示出,应了解,视频编码器10中也可以包括如预测模块、去量化模块、重构模块等其他模块。在操作中,视频编码器10可以获得或获取源图像或视频帧,视频帧可以包括多个视频块。为了简明起见,对一个源视频块进行编码在这里可视为一个示例。为了对视频块进行编码,可以先生成预测块作为视频块的估计。回想上文,预测块可以由预测模块通过帧间预测或帧内预测生成。接着,可以计算源视频块和预测块之间的差值以生成残留块。残留块可由变换模块12变换成变换系数。在变换期间,空间域中的残留像素值包括大特征和小特征,被转换成频域中的变换系数,该频域包括高频带和低频带。然后,量化模块可使用QM来量化该变换系数,从而生成量化的变换系数。进一步地,该量化的变换系数可由熵编码模块进行编码,最后作为比特流的一部分从视频编码器10发送。
可以从视频编码10中看出,QM是视频编码过程中必不可少的一部分。QM的配置可确定保留或滤出多少变换系数的信息,因而QM可影响编码性能以及编码质量。实际上,编码器和解码器中都需要QM。具体来说,为了正确解码图像,需要在编码器中对QM中关于量化系数的信息进行编码并将该信息从编码器中发送到解码器。在视频编码技术和标准中,QM可能有时称为缩放矩阵或权重矩阵。因此,本文使用的术语“QM”可以是涵盖缩放矩阵、权重矩阵、量化矩阵,以及其他等效术语的通用术语。
目前HEVC设计可使用4种大小的数据块:4x4、8x8、16x16和32x32。进一步地,可以存在针对4x4、8x8、16x16和32x32数据块、帧间预测和帧内预测,以及YUV分量的单独的QM。因此,总共有24(即,4x2x3)个QM。如果16x16和32x32数据块被认为是较大的数据块(应注意,较大和较小等这些名词是相对的名词,因而它们对应的大小可根据上下文而改变),这些较大块中的大量量化系数可计算或运算为:(16x16+32x32)x2x3=7680,这表示7680个量化系数需要进行编码并存储在图像参数集(PPS)中。此外,每个量化系数的值的取值范围为0到63(如果系数有8位),导致每个视频帧中总共有7680x8=61440位=60k位。这种开销数据的大小可能不大,但是和用于对一个视频帧的量化的残留像素进行编码的位相比,开销数据的大小可能是庞大的。通常情况下,用于压缩不失真高清(HD)视频帧的位消耗可能大约为50k到500k。
另外,如果QM的大小向上扩展到如HEVC中的32x32,实践证明存储QM所需的数据大小可能是AVC标准(有时称为H.264)的16倍,其可使用4x4和8x8块大小。在H.264中,由差值脉冲编码调制(DPCM)对QM进行编码。据报道,如果H.264QM压缩方法直接用于HEVC中,QM开销大约是H.264的10倍。因此,HEVC中可能需要QM的有效编码。
在HEVC中,较大大小(例如,16x16和32x32)的QM可用作和存储为PPS和/或序列参数集合(SPS)中单独的8x8QM。例如,在编码器侧,较大的QM可以进行下采样或上采样到8x8矩阵中。在解码器侧,可通过上采样方法由下采样的8x8矩阵重构较大的QM。总的来说,下采样的8x8QM可以保存16x16矩阵或32x32的矩阵所有下采样值以减少已存储的位。单独的8x8矩阵中的下采样值可以为16x16或32x32矩阵中4x4频率相邻分量的平均值。
然而,较大变换矩阵中变换(例如,DCT)系数的统计属性可能与较小块中不同。例如,32x32变换矩阵中的许多非零系数,可能大于8x8变换矩阵中的非零系数。因此,若与8x8变换矩阵相比,32x32变换矩阵中的系数能量可能更集中在低频部分(对应于矩阵的左上区域)。如果32x32QM从下采样的8x8QM开始重构,8x8矩阵的权重值可以通过值的重复映射到32x32QM中,这样可能会引入频带映射误差并导致主体构件。
本文公开了装置、系统、方案和方法以改善QM编码和重构。在本发明中,描述了一种非均匀的下采样方案使用较小的QM来存储较大QM的量化系数。具体来说,位于QM的左上区域中的低频分量可以复制或保持不变,这样可保护更重要的低频分量和减少频带映射误差。另一方面,位于其他区域的高频分量可使用一个或多个下采样过滤器大小进行下采样,这样可以帮助减少量化系数的总量。进一步地,下采样的量化系数可以进行有损编码,例如,使用右位移。在进行下采样或有损编码之后,下采样的量化系数可按照如之字形顺序等各种顺序进行扫描。也可以使用值复制或插值算法来进行下采样。总的来说,本文所公开的实施例可以帮助减少比特流中必要的QM位和QM重构误差。
图2A示出了实施于视频编码器中的QM编码方案100的一项实施例。在QM编码方案100中,QM 102可输入到下采样模块或单元110中,这可用于转换QM 102为下采样的QM 112。本文所使用的术语“下采样”可与术语“降采样”互换使用。下采样单元110可以使用一个或多个下采样过滤器来处理QM 102。应用于QM 102上的下采样过滤器的不同大小,可能导致下采样的QM 112拥有不同的大小。例如,如果使用2x2下采样过滤器,下采样的QM 112的宽度和高度将等于QM 102宽度和高度的一半。也就是说,2x2下采样过滤器处理过的16x16的QM 102所产生的下采样的QM 112大小为8x8,而由4x4的下采样过滤器处理过的16x16的QM102所产生的下采样的QM 112大小为4x4。在使用中,QM 102通常可能具有相对较大的大小,如16x16或32x32,而下采样的QM 112的大小通常为8x8,但是应当理解,本文宣扬的原理适用于所有合理大小的QM。
在一项实施例中,下采样单元110用于对QM 102进行非均匀地下采样以生成包括多个下采样的量化系数的下采样的QM 112。在一些实施例中,下采样的量化系数可以进一步进行无损和/或有损编码(例如,位移)等处理,这样可以减少总的位宽。接着,可以由熵编码单元120对下采样的量化系数进行编码。包括下采样的量化系数的比特流122可以在图像或视频帧的PPS中或视频的SPS或视频参数集合(VPS)中生成。可将比特流122发送到对应的解码器。应注意,在进行熵编码之前,可以对QM 112中的量化系数进行扫描以确定熵编码的最优顺序,这样可以帮助提高编码效率。
除进行熵编码之外,可以由上采样单元130对下采样的QM 112中的下采样的量化系数进行上采样,从而生成重构的QM 132。上采样单元130可采用本文稍后所述的大量上采样算法。重构的QM 132可以用于其他目的,例如,构建其他量化矩阵,可用在对其他块色度分量进行编码。本领域普通技术人员将认识到,QM编码方案100仅仅包括视频编码器中所有模块或单元的一部分,因此如果需要,视情况可以增加图2A中未示出的其他模块或单元。
图2B示出了QM解码方案200的一项实施例,该方案可以对应于QM编码方案100并且在视频解码器中实施。在QM解码方案200中,包括(例如,PPS、SPS或VPS中)已编码和降采样的QM的比特流202可输入到熵解码单元210中。以一个QM为例,熵解码单元210对QM中已编码的量化系数进行解码,从而生成下采样的(和已解码的)QM 212。该下采样的QM 212包括已解码的量化系数,至少其中一些系数已经进行下采样。
回想上文,使用一个或多个具有特定算法和过滤器大小的下采样过滤器,已编码和下采样的系数已经通过非均匀下采样在编码器中生成。为了正确重构量化系数,系数需要通过使用与那些在下采样过滤器中使用的算法对应的算法进行非均匀地上采样。上采样算法信息可以预编程到QM解码方案200中的上采样单元220中,或者包含在由QM解码方案200接收的比特流中。相应地,上采样单元220可以对该下采样的QM 212进行上采样以生成重构的QM 222。
本领域普通技术人员将识别出QM编码方案100和QM解码方案200之间的对应性。为了防止浮动误差,这两个方案中对应的QM和单元实质上可以是相同的。例如,除非传输导致误差,下采样的QM 112和212可以是相同的,上采样单元130和220可以是相同的,并且重构的QM 132和222可以是相同的。进一步,QM解码方案200仅包括视频解码器中所有模块或单元的一部分,因此未显示在图2B中的其他模块或单元可视情况添加。
如上所述,本文所公开的较大大小的QM(例如,QM 102)可以进行非均匀地下采样,其指示QM中并不是所有的量化系数都使用相同的过滤器大小进行下采样。这样可以涵盖各种场景。在第一场景中,QM中只有一部分量化系数使用一个或多个过滤器大小进行下采样,而其余的系数保持完整或复制。例如,QM可包括第一区域和第二区域,两个区域都可以是矩形或非矩形。第一区域包括与最低频率量化分量对应的左上角量化系数。在这种情况下,对QM进行非均匀地下采样可包括使用具有大于1x1的过滤器大小的下采样过滤器对第二区域进行下采样,其中第一区域中没有进行下采样。
在非均匀地下采样的第二场景中,可以对QM中所有的系数进行下采样但是使用具有至少两个过滤器大小的下采样过滤器。例如,QM可包括第一区域和第二区域,其中第一区域包括左上角量化系数。在一项实施例中,对QM进行非均匀地下采样包括使用具有第一过滤器大小的下采样过滤器对第一区域进行下采样,同时,使用具有大于第一过滤器大小的第二过滤器大小的下采样过滤器对第二区域进行下采样。
不进行下采样有时可能视为具有1x1的过滤器大小的下采样,也就是说,无需减少大量的量化系数,复制或直接使用原量化系数。具有大小为NxN(N为大于1的整数)的下采样过滤器表明原QM中的NxN量化系数用于生成一个下采样的量化系数。在一项实施例中,如果采用2x2下采样过滤器,原QM中每2x2相邻的量化系数用于生成一个下采样的量化系数。否则,如果采用4x4下采样过滤器,原QM中每4x4相邻的量化系数用于生成一个下采样的量化系数。进一步地,下采样过滤器可使用任何合适的算法以生成下采样的量化系数。例如,使用4x4下采样过滤器,16个原量化系数的平均值可用作下采样系数的值。再例如,使用16个原量化系数的全部或一些插入下采样系数。又例如,可选取或选择16个原量化系数中的一个作为下采样系数的值。
应注意,本文使用的术语“区域”是涵盖子矩阵、区域、区间、部分、一部分或QM中使用的其他类似术语的通用术语。应注意,本文所述的对区域进行下采样指的是对位于该区域的量化系数进行下采样。
在任何场景中,可存在更多的区域并使用更多的过滤器大小对区域进行下采样。例如,QM进一步包括第三区域,其中第三区域距离左上角量化系数比第二区域距离左上角量化系数更远(意味着第三区域的频率分量高于第二区域的,第二区域的频率分量高于第一区域的)。参考第一场景,对QM进行非均匀地下采样可进一步包括使用具有大于第一过滤器大小的过滤器大小的下采样过滤器对第三区域进行下采样。非均匀地对QM进行下采样的一般原理应该可以通过下面段落中描述的大量实施例更好地了解,这些段落使用具有大小为16x16和32x32的QM作为例子。
图3A示出了16x16QM下采样方案300的一项实施例,该方案可以作为QM编码方案(例如,QM编码方案100)的一部分来实施。如图3A所示,16x16QM 302可包括第一区域310、第二区域320、第三区域330和第四区域340,所有区域的大小都是8x8。区域310为与低频部分对应的左上区域,区域320为与中频部分对应的右上区域,区域330为与另一中频部分对应的左下区域,以及区域340为与高频部分对应的右下区域。本领域普通技术人员将理解,上、下、左和右,以及其他类似术语都是相关术语,因此,它们的对应性可以在本发明的原理内改变。例如,如果出于任何原因,QM 302是手动旋转的,这些区域仍然与它们的频率部分对应,也可以相应地旋转。
在视频编码中,与大空间特征对应的低频分量可能直观上比与小空间特征对应的高频分量更重要。相应地,在QM中,可能需要保留位于左上区域的低频量化系数的更多细节,而过滤出一些位于右下区域的不太重要的高频量化系数。这种方法可保留大多数视觉质量,同时实现高压缩比。
如图3A所示,可以复制或维持不变区域310中的量化系数(回想上文,有时这可以视为使用1x1下采样过滤器进行下采样),而区域320、330和340中每个的量化系数可以由2x2下采样过滤器进行下采样,从而成为4x4区域。相应地,可转换QM 302为区域310和(3*8x8)/(2x2)=48个下采样系数,来表示高频权重分量。因此,16x16的QM 302中权重值的数量从256减少到8x8+(3*8x8)/(2x2)=112。尽管区域310显示为复制得来,而区域320、330和340显示为下采样得来,在替代实施例中,只要区域310中所用过滤器的大小小于任何其他区域中所用过滤器的大小,包括区域310在内的所有区域就可以进行下采样。例如,区域310可采用2x2的下采样过滤器,而区域320、330和340可采用4x4或更大的下采样过滤器。进一步,可以对区域310部分进行下采样,例如,使用至少一个未进行下采样的量化系数(例如,左上角的系数),以及使用区域310中所有其他下采样的量化系数。
尽管图3A所示的4个区域是QM 302的4个大小等同的象限,但是应了解,这些区域的大小可能相同或可能不同。例如,如果需要对16x16的QM 302到8x8=64个下采样的量化系数(与当前HEVC设计匹配)而不是对112个下采样的量化系数进行下采样,区域310的大小需要小于8x8(例如,7x7或其他合适的大小)。进一步地,尽管图3A中所示的区域为正方形区域,它们中的一些可以替代性地为矩形的或甚至为非矩形的区域。例如,当对QM 302进行划分时,区域310可以视为第一矩形区域,而其他区域320、330和340可以统称为第二非矩形区域。本领域普通技术人员将了解,这些考虑适用于本文所公开的其他附图。
图3B示出了量化系数编码方案350的一项实施例,该方案可实施于QM下采样方案300生成的系数上。根据方案300,8x8的区域310生成包括原(即,未进行下采样的)量化系数在内的8x8的区域360,而8x8的区域320、330和340则分别生成包括下采样的量化系数在内的4x4的区域370、380和390。方案350可以是QM编码方案(例如,QM编码方案100)的一部分。在方案350中,区域360可以进一步进行无损编码,以避免低频分量中的映射误差。区域370、380和390中下采样的量化系数,也可以进行无损编码并存储在比特流中。或者,由于高频区域370、380和390可能相对不如低频区域360重要,为了进一步提高量化矩阵的压缩,区域370、380和390中下采样的量化系数可以进行有损编码。一般情况下,无损编码不会引起误差或信息丢失,而有损编码可能引起一些误差或信息丢失。任何合适的无损和/或有损编码算法都可被用作系数。例如,有损编码可以通过右位移来实现,从而减少系数的位宽,这在后面的段落中作进一步描述。
图4A示出了32x32QM下采样方案400的一项实施例,该方案可以作为QM编码方案(例如,QM编码方案100)的一部分来实施。方案400的一些方面可以与方案300相同或类似,因此,为了简明起见,下面的描述将着重于尚未提及的方面。如图4A所示,32x32的QM 402可包括区域410、区域420、区域430和区域440,所有区域的大小都是16x16并且它们的排列与图3A中的QM 302类似。与16x16的QM 302相比,由于32x32的QM 402的大小较大,它的低频16x16区域410进一步划分成包括区域412、区域414、区域416和区域418的较小区域(或子区域),所有区域的大小都是8x8。区域412至418表示区域410中低频部分的更精细的频率范围。具体而言,区域412为包括与最低频率对应的左上角量化系数的左上区域。
对较大的QM 402进行下采样的基本原理可以是相同的。也就是说,保留低频部分(密集过滤)的更多细节以及高频部分(稀疏过滤)的较少细节。进一步地,区域距离左上角量化系数(即,该区域和左上角量化系数之间的最小距离较大)越远,对该区域的过滤可能越稀疏。如图4A所示,区域412中的量化系数可以进行复制或保持不变。8x8的区域414、416和418中每个的量化系数可以由2x2下采样(DS)过滤器来进行下采样,从而成为4x4区域。16x16的区域420、430和440中每个的量化系数可以由4x4下采样过滤器来进行下采样,从而成为4x4区域。相应地,QM 402可以转换成区域412和来自区域414至418中的(3*8x8)/(2x2)=48个下采样系数,以及来自区域420至440中的(3*8x8)/(2x2)=48个下采样系数。因此,32x32QM 402中的权重值的数目从1024减少到8x8+(3x256-8x8)/(2x2)+(3x16x161024-256)/4x4=160。
图4B示出了量化系数编码方案450的一项实施例,该方案可以在由QM下采样方案400生成的系数上实施。根据方案400,8x8的区域412生成8x8的区域462,8x8的区域414、416和418分别生成4x4的区域464、466和468,以及16x16的区域420、430和440分别生成4x4的区域470、480和490。区域462包括原(即,未进行下采样的)量化系数,而所有区域464至490包括下采样的量化系数。方案450可以是QM编码方案(例如,QM编码方案100)的一部分。在方案450中,区域462可以进一步进行无损编码以避免低频分量中的映射误差。区域464至490还可以进行无损编码并存储在比特流中。或者,由于高频区域464至490可能相对不如低频区域462重要,为了进一步提高QM压缩,区域464至490中下采样的量化系数可以进行有损编码。任何合适的无损和/或有损编码算法可被用作系数。例如,可以通过右位移来实现有损编码以减少系数的位宽。
在一些实施例中,16x16QM(例如,QM 302)和32x32QM(例如,QM 402)都可以划分成更精细的区域。图5A示出了16x16QM下采样方案500的一项实施例,该方案可以实施为QM编码方案(例如,QM编码方案100)的一部分。方案500的一些方面可以与方案300或方案400相同或类似,因此,为了简明起见,下面的描述将着重于尚未提及的方面。如图5A所示,16x16QM 502可包括区域510、区域520、区域530和区域540,所有区域的大小都是8x8并且它们的排列与图3A中的QM 302类似。与QM 302相比,在QM 502中,8x8低频区域510进一步划分成包括区域512、区域514、区域516和区域518的较小区域(或子区域),所有区域的大小都是4x4。区域512至518表示区域510中低频部分的更精细的频率范围。具体而言,区域512为包括与最低频率分量对应的左上角量化系数的左上区域。
如图5A所示,区域512中的量化系数可以进行复制或保持不变。4x4的区域514、516和518中每个的量化系数可以由2x2下采样过滤器来进行下采样,从而成为2x2区域。8x8的区域520、530和540中每个的量化系数可以由4x4下采样过滤器来进行下采样,从而成为2x2区域。相应地,QM 502可以转换成区域512、来自区域514至518中的12个下采样系数,以及来自区域520至540中的12个下采样系数。因此,16x16QM 502中的权重值的数目从256减少到4x4+(3x4x4)/2x2+(3*8x8)/(4x4)=16+12+12=40。
图5B示出了量化系数编码方案550的一项实施例,该方案可以在由QM下采样方案500生成的系数上实施。根据方案500,4x4的区域512生成4x4的区域562,4x4的区域514、516和518分别生成2x2的区域564、566和568,8x8的区域520、530和540分别生成2x2的区域570、580和590。区域562包括原(即,未进行下采样的)量化系数,而所有区域564至590包括下采样的量化系数。方案550可以是QM编码方案(例如,QM编码方案100)的一部分。在方案550中,区域562可以进一步进行无损编码以避免低频分量中的映射误差。区域564至590还可以进行无损编码并存储在比特流中。或者,由于高频区域564至590可能相对不如低频区域562重要,为了进一步提高QM压缩,区域564至590中下采样的量化系数可以进行有损编码。
图6A示出了32x32QM下采样方案600的一项实施例,该方案可以作为QM编码方案(例如,QM编码方案100)的一部分来实施。方案600的一些方面可以与方案400相同或类似,因此,为了简明起见,下面的描述将着重于尚未提及的方面。如图6A所示,32x32QM 602可包括区域612、614、616、618、620、630和640,它们的排列与图4A中的QM 402相同。与QM 402相比,在QM 602中,8x8低频区域612进一步划分成4个4x4区域(子区域)612a、612b、612c和612d。区域612a至612d表示区域612中低频部分的更精细的频率范围。具体而言,区域612a为包括与最低频率分量对应的左上角量化系数的左上区域。
如图6A所示,区域612a中的量化系数可以进行复制或保持不变。4x4的区域612b、612c和612d中每个的量化系数可以由2x2下采样过滤器来进行下采样,从而成为2x2区域。8x8的区域614、616和618中每个的量化系数可以由4x4下采样过滤器进行下采样,从而成为2x2区域。16x16的区域620、630和640中每个的量化系数还可以由4x4下采样过滤器进行下采样,从而成为4x4区域。相应地,QM 602可以转换成区域612、来自区域612b至612d中的12个下采样系数、来自区域614至618中的12个下采样系数、以及来自区域620至640中的48个下采样系数。因此,32x32QM 602中权重值的数目从1024减少到4x4+(3x4x4)/2x2+(3*8x8)/(4x4)+(3*16x16)/(4x4)=16+12+12+48=88。应注意,如果需要,可以对具有更大的过滤器大小(例如,8x8过滤器大小)的高频区域620、630和640中一些或所有进行下采样。
图6B示出了量化系数编码方案650的一项实施例,该方案可以在由QM下采样方案600生成的系数上实施。根据方案600,4x4的区域612a生成4x4的区域662a,4x4的区域612b、612c和612d分别生成2x2的区域662b、662c和662d,8x8的区域614、616和618分别生成2x2的区域664、666和668,以及16x16的区域620、630和640分别生成4x4的区域670、680和690。区域662a包括原(即,未进行下采样的)量化系数,而所有其他区域包括下采样的量化系数。方案650可以是QM编码方案(例如,QM编码方案100)的一部分。在方案650中,区域662a至662d可进一步进行无损编码以避免映射误差。包括664、666、668、670、680和690的其他区域也可以进行无损编码并存储在比特流中。或者,由于所有其他区域可能相对不如区域662a至662d重要,为了促进QM压缩,除了区域66a至662d,所有其他区域中下采样的量化系数可以进行有损编码。任何合适的无损和/或有损编码算法可被用作系数。例如,有损编码可以通过右位移来实现以减少系数的位宽,以下将详细描述。
图7示出了位移方案700的一项实施例,该方案可以在由QM下采样方案300生成的系数上实施。方案700可以视为方案350的特定示例。在方案700中,量化系数的不同频率部分由非均匀位移操作应用以减少已编码的QM位。具体来说,左上区域360中的原量化系数没有应用位移,而区域370、380和390中的所有下采样的量化系数右移了一位(表示为图7中的>>1)。假设,例如,每个量化系数的位宽有8位。回想上文,矩阵302的量化系数的数目通过非均匀QM下采样方案300从256减少到112。因此,用于表示QM 302所需的总位数从256*8=2048位减少到8x8x8+(3*8x8)/(2x2)*7=848位。应了解,量化系数可以右移任何合适的位数(例如,1、2或更多)。
图8示出了位移方案800的一项实施例,该方案可以在由QM下采样方案400生成的系数上实施。方案800可以视为方案450的特定示例。在方案800中,量化系数的不同频率部分由非均匀位移操作应用以减少已编码的QM位。具体来说,左上区域460中的原量化系数没有应用位移。区域464、466和468中下采样的量化系数右移了一位,区域470、480和490中下采样的量化系数右移了两位。假设,例如,每个量化系数的位宽有8位。回想上文,矩阵402的量化系数的数目通过非均匀QM下采样方案400从1024减少到160。因此,用于表示QM 402所需的总位数从1024*8=8192位减少到8x8x8bit+(3*8x8)/(2x2)x7bit+(3x16x16)/4x4x6bit=1136位。应了解,在方案800中,量化系数可以右移任何合适的位数(例如,3或更多)。例如,位移方案可以将区域464中的第一组下采样的量化系数右移第一数目的位,以及将区域470中的第二组下采样的量化系数右移第二数目的位,其中第一和第二数目可以具有任何值,只要第二数目大于第一数目。
如上所述,量化系数可以在进行非均匀下采样之后和熵编码之前进行扫描。由于对量化系数进行非均匀下采样可能产生致原量化系数(密集排列)和下采样的量化系数(更稀疏地排列),这些系数可能需要使用相同的扫描顺序或不同的扫描顺序单独进行扫描。
图9示出了之字形扫描方案900的一项实施例,该方案可以是QM编码方案(例如,QM编码方案100)的一部分。如图9所示,区域910包括8x8=64个原量化系数,而如果采用4x4过滤器,每个区域920、930和940包括2x2=4个下采样的量化系数。回想上文,下采样的量化系数的数目取决于下采样过滤器的大小。具体来说,区域920包括系数922、924、926和928,区域930包括系数932、934、936和938,以及区域940包括系数942、944、946和948。通过上面的描述,这种安排可以通过对具有4x4过滤器大小的16x16QM的所有高频区域进行下采样生成。虽然,如果每个区域920、930和940由2x2过滤器过滤,则每个区域920、930和940包括2x2=4个子区域。具体来说,区域920包括子区域922、924、926和928,区域930包括子区域932、934、936和938,以及区域940包括子区域942、944、946和948。每个子区域包括2x2=4个下采样的量化系数。通过上面的描述,这种安排可以通过对具有2x2过滤器大小的16x16QM的所有高频区域进行下采样产生。方案900可以在由任何QM下采样方案或(如果使用位移)由任何位移方案生成的系数上实施。
在之字形扫描方案900中,位于区域910中的量化系数,可以按照传统之字形顺序,从左上角系数开始扫描到右下角系数结束。进一步,由于下采样的量化系数不再位于常见的矩阵结构中,可以单独进行扫描,但是仍然按照之字形的顺序。如图9所示,对932(系数子区域932的简称)、922、924、926、934、936、938、942、928、944、946和948的扫描应按照之字形的顺序。本领域普通技术人员将理解,如何使用其他下采样和/或位移方案,将之字形顺序用于所生成的量化系数中。例如,如果区域920-940包括更多的系数,可以进行类似的之字形扫描。
图10示出了之字形扫描方案1000的一项实施例,该方案可以是QM编码方案(例如,QM编码方案100)的一部分。如图10所示,区域1010包括16x16=256个原量化系数,而如果采用8x8过滤器,每个区域1020、1030和1040包括2x2=4个下采样的量化系数。具体来说,区域1020包括系数1022、1024、1026和1028,区域1030包括系数1032、1034、1036和1038,以及区域1040包括系数1042、1044、1046和1048。通过上面的描述,这种安排可以通过对具有8x8过滤器大小的32x32QM的所有高频区域进行下采样产生。虽然,如果每个区域1020、1030和1040由4x4过滤器过滤,则每个区域1020、1030和1040包括2x2=4个下采样系数子区域,每个子区域包括2x2=4个下采样的量化系数。具体来说,区域1020包括下采样系数子区域1022、1024、1026和1028,区域1030包括下采样系数子区域1032、1034、1036和1038,以及区域1040包括下采样系数子区域1042、1044、1046和1048。方案1000可以在由任何QM下采样方案或(如果使用位移)由任何位移方案生成的系数上实施。
在之字形扫描方案1000中,位于区域1010中的量化系数可以按照传统之字形顺序从左上角系数开始进行扫描到右下角系数结束。进一步地,下采样的量化系数可以单独进行扫描,但是仍然按照之字形顺序。如图10所示,按照1032(系数子区域1032的简称)、1022、1024、1026、1034、1036、1038、1042、1028、1044、1046和1048进行扫描。本领域普通技术人员将了解如何将这种之字形顺序的原理使用任何其他下采样和/或位移方案应用于生成的量化系数中。
图11示出了量化系数扫描方案1100的一项实施例,该方案可以是QM编码方案(例如,QM编码方案100)的一部分。如图11所示,不按照之字形顺序,可以对从右上区域920生成的下采样的量化系数进行扫描,接着是从左下区域930生成的下采样的量化系数,接着是从右下区域940生成的下采样的量化系数。具体来说,按照如下顺序进行扫描:922(系数922的简称)、924、926、932、934、936、938、942、944、946和948。本领域普通技术人员将了解如何将这种之字形顺序的原理使用任何其他下采样和/或位移方案应用到生成的量化系数中。例如,如果区域920至940包括更多的系数,可以按照相同的原理进行扫描。
图12示出了量化系数扫描方案1200的一项实施例,该方案可以是QM编码方案(例如,QM编码方案100)的一部分。如图12所示,不按照之字形顺序,可以对从右上区域1020生成的下采样的量化系数进行扫描,接着是从左下区域1030生成的下采样的量化系数,接着是从右下区域1040生成的下采样的量化系数。具体来说,按照如下顺序进行扫描:1022(系数1022的简称)、1024、1026、1032、1034、1036、1038、1042、1044、1046和1048。本领域普通技术人员将了解如何将这种之字形顺序的原理使用任何其他下采样和/或位移方案应用到生成的量化系数中。例如,如果区域1020至1040包括更多的系数,可以按照相同的原理进行扫描。
如前所述,在视频编解码器(编码器或解码器)中,可以进行上采样来重构QM。当下采样减少了QM中许多量化系数时,上采样可恢复或还原QM中量化系数的数量。相应地,根据下采样过滤器的大小,可能是1x1、2x2、4x4等,可以在不同大小的窗口上进行上采样。例如,如果使用2x2的下采样过滤器对QM进行下采样,那上采样应该从1个下采样的量化系数中生成2x2=4个上采样的量化系数。进一步,上采样可以使用任何合适的算法。
图13示出了上采样精度地图1300的一项实施例,该地图包括多个0和1并基于上采样算法。假设实施上采样以重构16x16QM,该QM的高频区域通过2x2下采样过滤器进行下采样。上采样算法可以复制系数值,使得具有与过滤器大小等同的窗口最终具有完全相同的量化系数。‘1’位置将保留量化系数,而‘0’位置填有来自位于相同窗口的对应的‘1’的量化系数。对于其他下采样的量化系数,由于进行下采样使用了2x2下采样过滤器,每相邻2x2=4个系数重构为一个窗口。在该窗口内,重构的量化系数具有相同的值,也就是说,复制‘1’位置的值到‘0’位置。
图14示出了上采样精度地图1400的一项实施例,该地图包括多个0和1并基于上采样算法。假设实施上采样以重构32x32QM,该QM的高频区域通过4x4下采样过滤器进行下采样。上采样算法可以复制系数值,使得具有与过滤器大小等同的窗口最终具有完全相同的量化系数。对于其他下采样的量化系数,由于进行下采样使用了4x4下采样过滤器,每相邻4x4=16个系数重构为一个窗口。在该窗口内,重构的量化系数具有相同的值,也就是说,复制‘1’位置的值到‘0’位置。
图15示出了上采样算法1500的一项实施例,可以实施该算法以重构QM。上采样算法1500可以根据多个值已知或已经插入的量化系数插入量化系数。出于说明性目的,图15仅示出QM中一些系数的位置。如图15所示,位置‘1’1510、1520、1530和1540已经对量化系数进行了下采样。为了填充其他位置‘0’,可使用插入以生成重构的值。具体来说,可以通过在位置1510和1520上插入系数来生成位置1515上的系数。类似地,可以通过在位置1530和1540上插入系数来生成位置1535上的系数。随后,可以通过在位置1515和1535上插入系数来生成位置1525上的系数。应注意,本文所述的插入可以通过任何合适的算法(例如,取两个已知值的平均值)实现。
图16示出了QM编码方法1600的一项实施例,该方法可以在包括视频编码器(例如,视频编码器10)的编码侧实施。方法1600可以在划分成多个可以是矩形或非矩形区域的相对较大的QM(例如,16x16或32x32)上操作。假设,QM包括至少第一区域和第二区域,其中第一区域包括左上角量化系数。例如,第一区域可以是图3A中的区域310,而第二区域可以是区域320、330、340,或包含区域320、330和340的非长方形区域。方法1600可从步骤1610开始,其中可通过具有一个或多个过滤器大小的一个或多个下采样过滤器对QM进行非均匀地下采样以生成多个下采样的量化系数。在一项实施例中,对QM进行非均匀地下采样可包括使用具有大于1x1的过滤器大小的下采样过滤器下采样第二区域,其中第一区域中没有进行下采样。在另一实施例中,对QM进行非均匀地下采样包括使用具有第一过滤器大小的下采样过滤器对第一区域进行下采样,以及使用具有大于第一过滤器大小的第二过滤器大小的下采样过滤器对第二区域进行下采样。
在步骤1610中,QM可进一步包括第三区域(例如,第一、第二和第三区域分别为图4A中的区域412、414和420),其中第三区域距离左上角量化系数比第二区域距离左上角量化系数更远。也就是说,第三区域和左上角量化系数之间的最小距离(例如,区域420和左上角系数之间的最小距离是16)大于第二区域和左上角量化系数之间的最小距离(例如,区域414和左上角系数的最小距离是8)。在这种情况下,对QM进行非均匀地下采样可进一步包括使用第二下采样过滤器下采样第三区域,其中第二下采样过滤器的过滤器大小大于第二区域中使用的过滤器大小。类似地,如果QM中包括附加区域,可以将相同的原理应用于对该附加区域进行下采样。
在步骤1620中,方法1600可以将下采样的量化系数位移若干位以减少它们的位宽。如果第一区域中没有进行下采样,则位于第一区域的任何量化系数也没有进行位移。应注意,其他有损编码或无损编码方案也可以在这个步骤中使用。
在步骤1630中,方法1600可以按照之字形顺序或其他预定的扫描顺序对下采样的量化系数进行扫描。如前所述,参照图11和12,该预定顺序为:从右上区域生成的量化系数,接着是从左下区域生成的量化系数,接着是从右下区域生成的量化系数。
在步骤1640中,方法1600可以使用熵编码器根据预定的扫描顺序对下采样的量化系数进行编码以生成已编码的量化系数。在步骤1650中,方法1600可以将已编码的量化系数写入部分比特流(例如,PPS、SPS和/或VPS)中。应注意,方法1600可以仅是编码图像中必要步骤的一部分,因而,可以视情况增加其他步骤。
图17示出了可以由视频解码器实施的QM解码方法1700的一项实施例。在开始步骤1710中,方法1700可以获取或获得包括多个与一个QM对应的已编码的量化系数的接收比特流。在步骤1720中,方法1700可对已编码的量化系数进行熵解码以生成多个量化系数(未下采样的)和多个下采样的量化系数。
在步骤1730,方法1700可以上采样多个下采样的量化系数以生成多个上采样的量化系数。如前所述,参照图13和14,上采样多个下采样的量化系数可包括复制系数值,使得NxN相邻的系数位置将具有完全相同的量化系数,其中NxN为下采样过滤器的过滤器大小,至少部分已编码的量化系数是基于该过滤器生成的。例如,如果在一些已编码的量化系数的生成过程中使用2x2下采样过滤器,重构的QM中每2x2相邻位置可将具有相等的系数值。或者,如参考图15所描述的,上采样多个下采样的量化系数可包括根据多个值已知或先前已经插入的相邻量化系数(例如,左边和右边的相邻系数)插入量化系数。
在步骤1740中,方法1700可以通过组合量化系数和上采样的量化系数生成重构的QM。步骤1740可以简单地意味着重构的QM在其所有位置填满系数值之后形成。应注意,方法1700可以在如通过重构的QM解码视频块等其他步骤之后进行。同样地,方法1700的变化落于本发明的范围内。例如,如果比特流中的所有系数已经进行下采样,步骤1720可以仅生成下采样的量化系数。
上文所述的方案可以在网络组件上实施,例如,计算机或网络组件,其具有足够的处理能力、存储资源以及网络吞吐能力以处理其上的必要工作量。图18是网络组件或节点1800的一项实施例的示意图,其适用于实施本文所公开的方法的一个或多个实施例,例如,QM编码方案100、QM解码方案200、QM下采样方案300、量化系数编码方案350、QM下采样方案400、量化系数编码方案450、QM下采样方案500、量化系数编码方案550、QM下采样方案600、量化系数编码方案650、位移方案700、位移方案800、之字形扫描方案900、之字形扫描方案1000、量化系数扫描方案1100、量化系数扫描方案1200、基于上采样精度地图的算法1300、基于上采样精度地图的算法1400、上采样算法1500、QM编码方法1600,以及QM解码方法1700。进一步地,网络节点1800可用于实施例本文所述的任意装置,例如,视频编码器10和/或视频解码器。网络节点1800包括处理器1802,其与包括以下各项的存储设备通信:辅助存储器1804,只读存储器(ROM)1806,随机存取存储器(RAM)1808,输入/输出(I/O)设备1810,及发射器/接收器1812。尽管处理器1802被图示为单个处理器,但是它并非受到此类限制而是可以包括多个处理器。处理器1802可以实施为一个或多个通用中央处理器单元(CPU)芯片、核(例如,多核处理器)、现场可编程门阵列(FPGA)、专用集成电路(ASIC),和/或数字信号处理器(DSP)。处理器1802可用于实施本文所述的任一方案,包括QM编码方案100、QM解码方案200、QM下采样方案300、量化系数编码方案350、QM下采样方案400、量化系数编码方案450、QM下采样方案500、量化系数编码方案550、QM下采样方案600、量化系数编码方案650、位移方案700、位移方案800、之字形扫描方案900、之字形扫描方案1000、量化系数扫描方案1100、量化系数扫描方案1200、基于上采样精度地图的算法1300、基于上采样精度地图的算法1400、上采样算法1500、QM编码方法1600,以及QM解码方法1700。处理器1802可以使用硬件或软硬件的组合来实施。
辅助存储器1804通常包括一个或多个磁盘驱动器或磁带驱动器,用于数据的非易失性存储,而且如果RAM 1808的容量不足以存储所有工作数据,所述辅助存储器则用作溢流数据存储装置。辅助存储器1804可以用于存储程序,当选择执行这些程序时,所述程序将加载到RAM 1808中。ROM 1806用于存储在程序执行期间读取的指令以及可能读取的数据。ROM 1806为非易失性存储设备,其存储容量相对于辅助存储器1804的较大存储容量而言通常较小。RAM 1808用于存储易失性数据,还可能用于存储指令。对ROM 1806和RAM 1808二者的存取通常比对辅助存储器1804的存取快。
发射器/接收器1812可用作网络节点1800的输出和/或输入设备。例如,如果发射器/接收器1812用作发射器,则其可将数据传出网络节点1800。如果发射器/接收器1812用作接收器,其可将数据传入网络节点1800。发射器/接收器1812可采用以下形式:调制解调器,调制解调器银行,以太网卡,通用串行总线(USB)接口卡,串行接口,令牌环卡,光纤分布式数据接口(FDDI)卡,无线局域网(WLAN)卡,无线收发器卡例如码分多址(CDMA),全球移动通信系统(GSM),长期演进(LTE),全球微波接入互操作性(WiMAX),和/或其他空中接口协议无线收发器卡,以及其他公知的网络设备。发射器/接收器1812可使处理器1802与因特网或者一个或多个内网通信。I/O设备1810可包括视频监控器,液晶显示器(LCD),触屏显示器,或其它类型用于显示视频的视频显示器,和/或可包括捕获视频的视频录像设备。I/O设备1810可包括一个或多个键盘、鼠标、轨迹球或其他公知输入设备。
应理解,通过编程和/或加载可执行指令至网络节点1800中,将至少改变处理器1802,辅助存储器1804,RAM 1808以及ROM 1806中的一个,并在某种程度上转换网络节点1800为特定的机器或装置(如,拥有本发明所宣扬功能的视频编解码器)。可执行指令可存储于辅助存储器1804、ROM 1806和/或RAM 1808上,并加载至处理器1802中进行处理。加载可执行软件至计算机所实现的功能可以通过公知的设计规则转换成硬件来实施,这在电力工程和软件工程领域是很基础的。在软件中还是硬件中实施概念的决定,通常取决于对设计稳定性和待生产单元数量的考量,而不是从软件领域转换至硬件领域中所涉及的任何问题。通常,仍然经常变动的设计更适于实施在软件中,因为重新编写硬件实施例比重新编写软件设计成本更高。通常,稳定并且将进行大规模生产的设计,更适于实施在如专用集成电路(ASIC)这样的硬件中,因为对大规模生产来说,运行硬件实施例比软件实施例成本更低。经常,设计可以采取软件的形式进行开发和测试,通过公知的设计规则,之后可转变为用固线连接软件指令的专用集成电路中的同等硬件实施例。按同样的方式,在新ASIC控制的机器是为特定机器或装置时,可以编程和/或加载可执行指令的电脑,也可视为特定的机器或装置。
本发明公开至少一项实施例,且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确陈述数值范围或限制的情况下,应将此类表达范围或限制理解为包含属于明确陈述的范围或限制内的类似量值的迭代范围或限制(例如,从约为1到约为10包含2、3、4等;大于0.10包含0.11、0.12、0.13等)。例如,每当公开具有下限Rl和上限Ru的数值范围时,具体是公开落入所述范围内的任何数字。具体而言,特别公开所述范围内的以下数字:R=Rl+k*(Ru–Rl),其中k是从1%到100%以1%增量递增的变量,即,k是1%、2%、3%、4%、5%、……50%、51%、52%、……95%、96%、97%、98%、99%或100%。此外,还特此公开了,上文定义的两个R值所定义的任何数值范围。除非另有说明,否则术语“约”是指随后数字的±10%。相对于权利要求的某一要素,术语“可选择”的使用表示该要素可以是“需要的”,或者也可以是“不需要的”,二者均在所述权利要求的范围内。例如包括、包含和具有等较广义的术语,应被理解为用于支持较狭义的术语,例如组成、所组成、以及实质上组成等。因此,保护范围不受上文所述的限制,而是由所附权利要求书定义,所述范围包含所附权利要求书的标的物的所有等效物。每一和每条权利要求作为进一步揭示内容并入说明书中,且权利要求书是本发明的实施例。揭示内容中对参考的论述并非承认其为现有技术,尤其是公开日期在本申请案的在先申请优先权日期之后的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中,其提供补充本发明的示例性、程序性或其他细节。
虽然本发明多个具体实施例,但应当理解,所公开的系统和方法也可通过其他多种具体形式体现,而不会脱离本发明的精神或范围。本发明的实例应被视为说明性而非限制性的,且本发明并不限于本文本所给出的细节。例如,各种元件或部件可以在另一系统中组合或合并,或者某些特征可以省略或不实施。
此外,在不脱离本发明的范围的情况下,各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其他系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦接或直接耦接或通信的其他项也可以采用电方式、机械方式或其他方式通过某一接口、装置或中间部件间接地耦接或通信。其他变更、替换、更替示例对本领域技术人员而言是显而易见的,均不脱离此处公开的精神和范围。
Claims (14)
1.一种量化矩阵QM的编码方法,其特征在于,包括:
对所述QM进行非均匀地下采样以生成多个下采样的量化系数;
其中,所述QM包括第一区域和第二区域,所述第一区域包括左上角量化系数,对所述QM进行非均匀地下采样包括使用具有大于1x1的第一过滤器大小的下采样过滤器对所述第二区域进行下采样,以及第一区域中没有进行下采样;
所述QM进一步包括第三区域,所述第三区域距离所述左上角量化系数比所述第二区域距离所述左上角量化系数更远,以及对所述QM进行非均匀地下采样进一步包括使用具有大于所述第一过滤器大小的第二过滤器大小的第二下采样过滤器对所述第三区域进行下采样。
2.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,所述第一过滤器大小是2x2以及所述第二过滤器大小是4x4。
3.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,所述QM进一步包括第四区域,所述第四区域距离所述左上角量化系数比所述第三区域距离所述左上角量化系数更远,以及对所述QM进行非均匀地下采样进一步包括使用具有所述第二过滤器大小的第三下采样过滤器对所述第四区域进行下采样。
4.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,所述第一区域包括多个包括左上角量化系数的量化系数,所述方法进一步包括:
使用无损编码对所述多个量化系数进行编码;以及
使用无损或有损编码对所述多个下采样的量化系数进行编码。
5.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,进一步包括将下采样的量化系数位移若干位以减少它们的位宽,其中对位于所述第一区域中的任何量化系数不进行位移。
6.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,对所述第二和第三区域进行下采样分别生成第一组和第二组下采样的量化系数,所述方法包括:
将所述第一组下采样的量化系数右移第一数目的位;以及
将所述第二组下采样的量化系数右移第二数目的位,其中所述第二数目大于所述第一数目;
对位于所述第一区域中的任何量化系数不进行右移。
7.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,进一步包括按照之字形顺序扫描所述下采样的量化系数,其中所述之字形顺序以位于右下角的下采样的量化系数结束。
8.根据权利要求1所述的量化矩阵QM的编码方法,其特征在于,若3个矩形区域包括右上区域、左下区域和右下区域,所述3个矩形区域为除所述第一区域之外的区域,所述方法进一步包括按照预定的扫描顺序扫描所述下采样的量化系数,所述顺序为:
从所述右上区域生成的下采样的量化系数,接着是
从所述左下区域生成的下采样的量化系数,接着是
从所述右下区域生成的下采样的量化系数。
9.一种视频解码方法,其特征在于,包括:
获取包括多个与一个量化矩阵QM对应的已编码的量化系数的比特流;所述已编码的量化系数对应于多个量化系数和多个下采样的量化系数;
对所述已编码的量化系数进行解码以生成多个量化系数和多个下采样的量化系数;
其中,所述多个量化系数和所述多个下采样的量化系数是对所述QM进行非均匀地下采样的结果,所述QM包括第一区域和第二区域,所述第一区域包括左上角量化系数,所述多个量化系数是对应于所述第一区域中没有进行下采样的结果,所述多个下采样的量化系数是包括使用具有大于1x1的第一过滤器大小的下采样过滤器对所述第二区域进行下采样的结果;
所述QM进一步包括第三区域,所述第三区域距离所述左上角量化系数比所述第二区域距离所述左上角量化系数更远,所述多个下采样的量化系数是进一步包括使用具有大于所述第一过滤器大小的第二过滤器大小的第二下采样过滤器对所述第三区域进行下采样的结果;
对所述多个下采样的量化系数进行上采样以生成多个上采样的量化系数;以及
通过组合所述量化系数和所述上采样的量化系数生成重构的QM。
10.根据权利要求9所述的视频解码方法,其特征在于,生成所述上采样的量化系数包括根据多个值已知或先前已经插入的相邻量化系数插入量化系数。
11.根据权利要求10所述的视频解码方法,其特征在于,所述量化系数位于位置“1”之间的位置“0”上,其中所述多个量化系数位于位置“1”上,以及由上采样精度地图指示所述位置“0”和“1”。
12.根据权利要求9所述的视频解码方法,其特征在于,对所述多个下采样的量化系数进行上采样,使得重构的QM的窗口中的系数最终具有完全相同的量化系数,所述重构的QM具有等同于所述过滤器大小的窗口大小。
13.一种用于视频解码的装置,其特征在于,包括:处理器和存储器,该存储器用于与该处理器耦合,保存该装置必要的程序指令和数据,该处理器用于执行该存储器中存储的程序指令,使得该装置执行下述方法中相应的功能:
获取包括多个与一个量化矩阵QM对应的已编码的量化系数的比特流;所述已编码的量化系数对应于多个量化系数和多个下采样的量化系数;
对所述已编码的量化系数进行解码以生成多个量化系数和多个下采样的量化系数;
其中,所述多个量化系数和所述多个下采样的量化系数是对所述QM进行非均匀地下采样的结果,所述QM包括第一区域和第二区域,所述第一区域包括左上角量化系数,所述多个量化系数是对应于所述第一区域中没有进行下采样的结果,所述多个下采样的量化系数是包括使用具有大于1x1的第一过滤器大小的下采样过滤器对所述第二区域进行下采样的结果;
所述QM进一步包括第三区域,所述第三区域距离所述左上角量化系数比所述第二区域距离所述左上角量化系数更远,所述多个下采样的量化系数是进一步包括使用具有大于所述第一过滤器大小的第二过滤器大小的第二下采样过滤器对所述第三区域进行下采样的结果;
对所述多个下采样的量化系数进行上采样以生成多个上采样的量化系数;以及
通过组合所述量化系数和所述上采样的量化系数生成重构的QM。
14.根据权利要求13所述的用于视频解码的装置,其特征在于,生成所述上采样的量化系数包括根据多个值已知或先前已经插入的相邻量化系数插入量化系数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261624877P | 2012-04-16 | 2012-04-16 | |
US61/624,877 | 2012-04-16 | ||
PCT/US2013/036820 WO2013158669A1 (en) | 2012-04-16 | 2013-04-16 | Method and apparatus of quantization matrix coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104919798A CN104919798A (zh) | 2015-09-16 |
CN104919798B true CN104919798B (zh) | 2018-12-14 |
Family
ID=48184536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380015816.5A Active CN104919798B (zh) | 2012-04-16 | 2013-04-16 | 量化矩阵编码的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130272391A1 (zh) |
CN (1) | CN104919798B (zh) |
WO (1) | WO2013158669A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10277915B2 (en) * | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
US9324161B2 (en) * | 2013-03-13 | 2016-04-26 | Disney Enterprises, Inc. | Content-aware image compression method |
US10863188B2 (en) * | 2014-09-19 | 2020-12-08 | Futurewei Technologies, Inc. | Method and apparatus for non-uniform mapping for quantization matrix coefficients between different sizes of quantization matrices in image/video coding |
CN105847841B (zh) * | 2015-01-15 | 2018-06-12 | 晨星半导体股份有限公司 | 包含量化或逆量化程序的信号处理装置及信号处理方法 |
CN108233938B (zh) * | 2016-12-14 | 2021-06-01 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于fpga的ttp物理层解码方法 |
US10878536B1 (en) * | 2017-12-29 | 2020-12-29 | Gopro, Inc. | Apparatus and methods for non-uniform downsampling of captured panoramic images |
JP2020098984A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム |
SG11202110936PA (en) * | 2019-04-12 | 2021-11-29 | Beijing Bytedance Network Technology Co Ltd | Chroma coding mode determination based on matrix-based intra prediction |
CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
BR112021022868A2 (pt) | 2019-05-22 | 2022-01-04 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
CN113924775B (zh) | 2019-05-31 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测中的限制的上采样 |
WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
EP4042689A4 (en) | 2019-10-28 | 2023-06-07 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT |
CN115720265A (zh) * | 2019-12-18 | 2023-02-28 | 腾讯科技(深圳)有限公司 | 视频编解码方法、装置、设备及存储介质 |
WO2022027442A1 (zh) * | 2020-08-06 | 2022-02-10 | 华为技术有限公司 | 图像处理网络的输入预处理方法和输出后处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1223057A (zh) * | 1997-02-08 | 1999-07-14 | 松下电器产业株式会社 | 静画和动画编码的量化矩阵 |
CN1527607A (zh) * | 2003-01-14 | 2004-09-08 | ���ǵ�����ʽ���� | 用于编码和/或解码运动图像的方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007535191A (ja) * | 2004-01-30 | 2007-11-29 | 松下電器産業株式会社 | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム |
US8503806B2 (en) * | 2005-09-06 | 2013-08-06 | Megachips Corporation | Compression encoder, compression encoding method and program |
US20070160134A1 (en) * | 2006-01-10 | 2007-07-12 | Segall Christopher A | Methods and Systems for Filter Characterization |
US8660176B2 (en) * | 2008-09-26 | 2014-02-25 | Qualcomm Incorporated | Resolving geometric relationships among video data units |
US20110274162A1 (en) * | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
US10277915B2 (en) * | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
-
2013
- 2013-04-16 CN CN201380015816.5A patent/CN104919798B/zh active Active
- 2013-04-16 WO PCT/US2013/036820 patent/WO2013158669A1/en active Application Filing
- 2013-04-16 US US13/864,054 patent/US20130272391A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1223057A (zh) * | 1997-02-08 | 1999-07-14 | 松下电器产业株式会社 | 静画和动画编码的量化矩阵 |
CN1527607A (zh) * | 2003-01-14 | 2004-09-08 | ���ǵ�����ʽ���� | 用于编码和/或解码运动图像的方法和装置 |
Non-Patent Citations (2)
Title |
---|
Compact representation of quantization matrices for HEVC;Minhua Zhou;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110128;第1-9页 * |
Enhancement of quantization matrix coding for HEVC;Junichi Tanaka;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110722;第1-4页 * |
Also Published As
Publication number | Publication date |
---|---|
US20130272391A1 (en) | 2013-10-17 |
CN104919798A (zh) | 2015-09-16 |
WO2013158669A1 (en) | 2013-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104919798B (zh) | 量化矩阵编码的方法和装置 | |
CN106658019B (zh) | 参考帧编解码的方法与装置 | |
CN104380741B (zh) | 用于lm帧内预测的参考像素缩减 | |
CN104247422B (zh) | 用于改进帧内预测的新的角度表的方法和装置 | |
CN110235444A (zh) | 使用多条参考线的帧内预测 | |
CN104885467B (zh) | 用于下一代视频编码的内容自适应参数变换 | |
CN104935932B (zh) | 图像解码设备 | |
CN103081467B (zh) | 用于多滤波器自适应滤波的滤波器描述信令 | |
CN104041035B (zh) | 用于复合视频的无损编码及相关信号表示方法 | |
CN102833545B (zh) | 灵活量化 | |
KR102273025B1 (ko) | 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치 | |
CN108293138A (zh) | 使用小波和AVC、修改的AVC、VPx、修改的VPx或修改的HEVC编码的有效和可缩放帧内视频/图像编码 | |
CN104885453B (zh) | 支持多个层的用于编码/解码图像的方法和设备 | |
CN108293120A (zh) | 使用小波和可变尺寸变换编码的高效帧内视频/图像编码 | |
EP2765770B1 (en) | Matrix encoding method and device thereof, and matrix decoding method and device thereof | |
CN102598663A (zh) | 通过使用旋转变换对图像编码和解码的方法和设备 | |
CN108347604A (zh) | 视频解压方法、视频压缩方法和非暂时性计算机可读媒体 | |
US9538178B2 (en) | Device and method for competition-based intra prediction encoding/decoding using multiple prediction filters | |
CN104185989A (zh) | 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测 | |
CN104126303A (zh) | 用于高效率视频译码的统一分割结构和信令方法 | |
CN105284114A (zh) | 视频信号处理方法及装置 | |
CN110225354A (zh) | 用于高性能视频编码中的无损编码模式的环内滤波的装置 | |
CN110300301A (zh) | 图像编解码方法和装置 | |
CN103222263A (zh) | 基于改进的拉普拉斯求和滤波器标引与四叉树分割的组合的多输入自适应滤波器 | |
CN107690806A (zh) | 视频编码方法和视频编码设备以及视频解码方法和视频解码设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |