CN102648627B - 率失真优化量化的加速技术 - Google Patents

率失真优化量化的加速技术 Download PDF

Info

Publication number
CN102648627B
CN102648627B CN201080040506.5A CN201080040506A CN102648627B CN 102648627 B CN102648627 B CN 102648627B CN 201080040506 A CN201080040506 A CN 201080040506A CN 102648627 B CN102648627 B CN 102648627B
Authority
CN
China
Prior art keywords
mode
coding
quantification treatment
quantification
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080040506.5A
Other languages
English (en)
Other versions
CN102648627A (zh
Inventor
叶琰
亚历山德罗斯·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102648627A publication Critical patent/CN102648627A/zh
Application granted granted Critical
Publication of CN102648627B publication Critical patent/CN102648627B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

描述了用于选择图像编码处理的编码模式的技术。可以通过编码模式转移状态机、再量化处理、选择最佳变换大小、通过跳过一些量化参数或者通过执行运动搜索，选择编码模式。

Description

率失真优化量化的加速技术
相关申请的交叉引用
本申请要求2009年9月10日提交的名称为“SPEEDUPTECHNIQUES FOR RATE DISTORTION OPTIMIZEDQUANTIZATION”的第61/241,130号美国临时申请的优先权，在此通过引用包括其全部内容。
技术领域
本公开涉及数字视频编码，尤其涉及视频信号的量化。更特别地，本公开涉及用于率失真优化量化和编码模式判定的加速技术。
背景技术
视频编码系统被广泛用于降低再现、存储和发送数字视频信号所需的带宽。通常使用的视频编码系统包括基于块的视频编码系统，基于区域的视频编码系统以及基于小波的视频编码系统等等。
基于块的视频编码系统是一种被广泛采用的视频编码系统，其用于压缩数字视频信号。这种编码系统的例子包括诸如MPEG1/2/4、H.264的国际视频编码标准(请参见参考文献1)、VC-1(请参见参考文献2)标准、根据诸如VP-6、VP-7和VP-8的On2技术的编码系统、Dirac编解码器以及Theora视频编解码器等。
图1示出基于块的通用视频编码系统的方块图。输入视频信号(102)被逐块处理。通常使用的视频块单位由N×M个像素构成，通常N＝M＝16(通常还被称为宏块)。对于每个输入视频块，可以执行空间预测(160)和/或者时间预测(162)。空间预测利用同一个视频帧/片段中已经编码的相邻块来预测当前视频块。空间预测通常还被称为“帧内预测(intraprediction)”。可以利用各种大小的视频块或者视频区域执行空间预测；例如，H.264/AVC允许4×4、8×8和16×16像素的块大小用于视频信号的亮度分量的空间预测。另一方面，时间预测利用来自先前编码的、通常相邻的视频帧/片段的信息来预测当前视频块。时间预测通常还被称为“帧间预测”和/或者“运动预测”。与空间预测类似，时间预测也可以对各种大小或者形状的视频块或者区域来进行；例如，对于亮度分量，H.264/AVC可以利用诸如16×16、16×8、8×16、8×8、8×4、4×8和4×4的块大小进行基于块的帧间预测。还可以考虑其中有多个参考可以被用于预测并且可以被进一步线性或者非线性组合的多参考预测和多假设预测。
预测之后，在求和器(116)中把预测块从原始视频块中减去。残差块在变换单元(104)中被变换并且在量化单元(106)中被量化。然后，经量化的残差块变换系数被送到熵编码单元(108)以被执行熵编码，从而进一步降低位速率。可以采用各种熵编码方法或者模式。例如，H.264/AVC允许两种熵编码模式，即，上下文自适应可变长编码(CAVLC)模式和上下文自适应二进制算术编码(CABAC)模式。然后，经熵编码残差系数被打包，以形成输出视频位流(120)的一部分。
经量化的变换系数在反量化单元(110)中被反量化，并且在反变换单元(112)中被反变换，以获得重构的残差块。然后，在求和器(126)中该重构的残差块与预测视频块相加，以形成重构视频块。可以在环路滤波单元(166)中对该重构的视频块进行附加滤波，以减小特定编码赝象。例如，与在H.264/AVC中一样，环内去块滤波器是在单元(166)执行的用于去除或者减小视觉上令人不舒服的成块赝象的环路滤波的例子。环路滤波之后，重构的视频块被存储在参考画面存储器(164)中，用作该视频帧/片段和/或者未来(根据编码顺序)视频帧/片段中的其它视频块的预测。
图1所示的编码器使用模式判定和通用编码器控制逻辑单元(180)，以通常根据特定预定判据选择当前视频块的最佳编码模式，例如，根据拉格朗日(Lagrangian)率失真成本：
J(λ)＝D(r)+λ·r   (1)
其中r是编码该视频块所需的位速率或者位数，D是重构视频块与原始视频块之间的失真(例如，SSE或者方差和，SAD或者绝对差值和等)，以及λ是拉格朗日λ因数(请参见参考文献3)。还可以考虑采用速率和失真之外的诸如功率消耗、实现复杂性和/或者实现成本的多个其它参数的联合优化。速率r可以是编码要求的真实速率，但是也可以是估计的速率；失真D可以基于失真模型的变化，其中一些还可能对主观质量感知和人的视觉系统产生影响。模式判定之后，编码模式(帧间编码或者帧内编码)、预测信息(如果是帧内编码，则是空间预测模式和转换类型；如果是帧间编码，则是运动划分、双向预测或者单向预测运动补偿预测)以及其它运动信息(参考帧索引、运动矢量、照明变化参数等)被发送到熵编码单元(108)进行进一步压缩，以降低位速率。熵编码模式和运动信息也被打包，从而形成视频位流的一部分(120)。
变换和量化组合可以降低与编码预测残差块相关的位速率。被变换的残差系数的量化导致视频质量损失。量化程度由量化参数(QP)的值控制，并且它直接反应质量损失程度。即，较大的QP值通常与较大的主动量化相关并由此与糟糕的重构视频质量相关；较低的QP值意味着较小的主动量化，因此，通常具有较好的重构视频质量。某些视频编码系统(例如，H.264/AVC视频编码标准)允许宏块级QP变化。对于这种系统，根据输入视频块的特性，编码器可以选择进行较大或者较小的量化来获得较高压缩的或者视觉质量较好的视频信号。具体地说，量化给定的输入视频块采用的QP值可以由编码器选择，从而优化等式(1)给出的速率－失真成本函数或者任何其它预测判据；以及编码器选择的最佳QP值可以被送到解码器，作为视频位流的一部分(120)。
此外，在量化单元(106)中，在量化变换系数时，编码器可以应用更复杂的量化处理(诸如JPEG2000系统中采用的网格量化处理(请参见参考文献4和11))，代替简单的标量量化处理，从而实现较好的编码性能。作为量化处理的一部分采用的其它工具还包括量化矩阵和量化偏移。给定的量化矩阵规定编码器和解码器希望在块内的每个系数应用的量化比例系数(量化程度)。例如，对于4×4残差块，对应的量化矩阵可能是4×4矩阵，其中每个矩阵元规定量化比例系数，用于该块内的每个相应系数。下面给出可以对照明分量的帧间编码4×4残差块采用的示例量化矩阵。不同的量化矩阵可以用于其它类型的残差块，诸如4×4色度残差块，8×8亮度残差块(luma residual block)、8×8色度残差块等，因为这些残差块的特性可能不同。被帧内编码的块和被帧间编码的块也可以采用不同的量化矩阵。除了量化矩阵，还可以考虑对应于不同系数位置的量化偏移：它们可以被看作仅是编码处理的一部分，并且/或者通过将这种信息发送到解码器并且在重构时考虑到这些参数，它们还可以被看作解码处理的一部分。
QUANT _ INTER _ 4 × 4 _ LUMA = 17 17 16 16 17 16 15 15 16 15 15 15 16 15 15 14
当前在开发下一代视频编码标准中采用的JM H.264/AVC参考软件(请参见参考文献7)和新JMKTA软件(请参见参考文献8)中可用的率失真优化量化(RDOQ)算法(请参见参考文献5、6和10)包括两个分量：1)宏块级QP差异，和2)残差系数的网格式量化。利用宏块QP差异，解码器试图针对每个被提供了率失真优化判据的宏块确定最佳QP值，并且利用H.264/AVC支持的ΔQP语法要素发送该判定。此外，RDOQ算法(请参见参考文献5和6)还在量化单元(106)量化残差变换系数时应用率失真优化判定。具体地说，对于其值≠0的每个非零系数，编码器进行选择以根据率失真优化判定处理，将给定系数量化为至多3个可能值ceiling(v)、floor(v)和0之一。
图2示出示例编码模式和视频编码器在模式判定与通用控制逻辑单元(180)中可能使用的RDOQ算法的QP判定处理的流程图。编码器执行模式判定可能使用的预定判据的例子是等式(1)中的拉格朗日率失真成本。
根据图2，编码器模式判定单元(180)检验每个QP值(202)和每个有效编码模式(204)，以将编码当前视频块的率失真成本降到最低。对于每个QP和每个编码模式，形成预测块和残差块(206)。然后，变换并量化该残差块(208)，计算与当前视频块相关的结果速率、失真和拉格朗日成本(210)。如果当前编码模式和QP参数可以降低率失真成本，则标记并存储当前编码模式和QP参数(214)；最后，当前视频块的最佳编码参数(编码模式和QP)被输出到熵编码单元(108)，并且被熵编码并打包为视频位流(120)。
从图2可以看出，由于在RDOQ内使用的附加QP回路(202)，所以总编码处理花费的时间较长。如果采用对最佳编码模式和最佳QP的穷举搜索(彻底尝试模式、运动矢量、参考、QP和系数调节等的所有可能组合的搜索)，则编码处理可能变得非常慢。总体上说，分别利用等式(2)和(3)近似未采用RDOQ和采用了RDOQ的编码时间。
TRDOQoff≈M·t   (2)
rRDOQon≈N·M·(1+δ)·t   (3)
其中t是用于对每个块估计一种编码模式的平均时间，N是测试的QP值的数量，M是编码模式的数量，δ是在方框(208)利用网格式量化处理相对于利用基于非网格的标量量化处理发生的附加编码时间。
应当注意，利用多次近似和简化来获得等式(2)和(3)。例如，假定估计每个编码模式所需的时间相同(实际上，许多模式较为复杂，难以估计，并且不同的熵编码处理可能对估计处理具有显著不同的影响)。还假定执行量化所需的时间相同，与QP的数值无关(实际上，较小的QP产生许多非零系数，因此，量化处理较长)。还假定采用基本模式判定(例如，穷举模式判定)。已知这些假定和简化，因此，因为使用RDOQ算法导致的编码时间的增长近似等于：
TRDOQon/TRDOQoff≈N·(1+δ)
假定对每个宏块估计5个QP值(N＝5)，并且因为步骤(208)的较复杂的量化处理(例如，RDOQ中采用的网格式量化)引起的时间开销是δ＝20％，则因为RDOQ算法引起的总编码时间的延长近似为原来的6倍。因此，尽管RDOQ算法可以使编码性能显著提高，但是显著延长编码时间(如果采用穷举搜索法)可能使它不能用于大多数视频编码应用。
在JM和JMKTA软件中已经存在一些用于QP判定的加速算法(请参见参考文献7和8)。它们包括下面的技术：
根据第一技术，最佳帧内和帧间预测参数(帧内模式、帧内预测相对于双向预测、相对于单向预测运动补偿、运动划分大小、参考帧索引、运动矢量等)可以保持接近相同而不用考虑QP值。因此，在图2所示的编码环中，仅一次性执行运动搜索和帧内划分搜索。这样显著降低由于在诸如空间预测单元(160)和运动预测单元(162)等的单元中进行帧间预测或者运动评估所导致的复杂性。
根据第二技术，在QP环(202)中，不需要估计所有的QP值。例如，相邻视频块的QP值可以用于预测当前块的QP值，并且在图2的QP环(202)中，可以仅估计基于相邻QP的窄范围内的被预测QP的QP值，还请参见参考文献9。这样减少在QP环(202)内对每个视频块估计QP的数量，因此缩短编码时间。
将对第一QP值选择的最佳编码模式表示为best_mode_first。根据第三技术，当估计后续QP值时，在编码模式环(204)中仅估计best_mode_first，而不允许所有其它编码模式(请参见参考文献7)。这样，仅对第一QP值一次性执行全模式判定。对于所有后续QP值，仅对一种编码模式(best_mode_first)预测、变换、量化和计算率失真成本。然而，由于在第一QP值不可能发生总体最佳编码模式，所以可能显著恶化编码性能。
根据第四技术，当特定条件被满足时，可以调用先前终止的QP环(202)。例如，如果到目前为止建立的最佳编码模式不包含非零残差系数(coded_block_pattern＝0)，则QP环可能被先终止(请参见参考文献7)。
模拟说明当前可用的RDOQ加速技术不可能始终提供最佳编码时间与编码性能的折中。例如，它们可能不提供足够的编码时间缩短，并且/或者它们可能招致非常大的编码性能劣化。
包括在本说明书中并且构成本说明书的一部分的附图示出本公开的一个或者多个实施例，并且与详细描述和例子一起用于解释本公开的原理和实施。
发明内容
本发明的实施例提供了一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法。该方法包括：
(a)在估计M个可能编码模式时，执行第一量化处理，所述第一量化处理采用第一类型的量化技术；
(b)基于所述第一量化处理，根据预定编码判据，选择M1个最佳编码模式，其中M>M1≥1；
(c)在对所述M个可能编码模式中的每一个执行步骤(a)和步骤(b)之后，对所述M1个最佳编码模式执行第二量化处理，所述第二量化处理采用第二类型的量化技术；以及
(d)基于所述第一量化处理和所述第二量化处理的结果、通过以下操作来选择最佳编码模式：将i)经所述第一量化处理量化的残差的预定编码判据的值与ii)经所述第二量化处理量化的残差的预定编码判据的值进行比较；并且选择提供所述预定编码判据的较好值的残差，
采用所述第一类型的量化技术的所述第一量化处理为较快类型的量化，而采用所述第二类型的量化技术的所述第二量化处理为较慢类型的量化；
对每个量化参数重复所述第一量化处理和所述第二量化处理。
附图说明
图1示出基于块的通用视频编码系统的方框图。
图2示出在图1所示的逻辑单元(180)上，视频编码器可以使用的编码模式与量化参数判定处理的流程图。
图3示出用于H.264/AVC编码器的模式转移状态机的例子。
图4示出应用系数再量化技术的流程图。
图5示出子宏块模式转移状态机的例子。
图6示出应用了减小的量化参数(QP)环的流程图。
图7－9分别示出I－、P－和B－帧/片段的示例性模式转移状态机。
图10(a)和10(b)分别示出用于较不重要区域的更有限的状态机和用于较重要区域的更宽松状态机。
图11和12示出执行再编码处理的流程图。
具体实施方式
本公开的实施例涉及用于率失真优化量化和编码模式与量化参数判定的方法和系统。
在实施例中，提供了一种对于在图像编码处理中要编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：选择初始量化参数和该初始量化参数的最佳编码模式；根据包括编码模式状态和编码模式状态之间的转移的编码模式转移状态机，估计后续量化参数的编码模式，其中编码模式转移状态机的每种状态对应于编码模式，并且对在一对编码模式状态之间的转移赋予模式转移似然得分；以及在估计的编码模式和量化参数中选择最佳编码模式和最佳量化参数。
在另一个实施例中，提供了一种对于在图像编码处理中要编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：在估计N个可能编码模式时，执行第一量化处理；根据第一量化处理，按照预定编码判据选择M个最佳编码模式，其中N>M>＝1；对M个最佳编码模式执行第二量化处理；以及根据第一量化处理和第二量化处理的结果，选择最佳编码模式。
根据又一个实施例，提供了一种对于在图像编码处理中要编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：选择初始量化参数和该初始量化参数的最佳编码模式；以及对后续量化参数估计编码模式，其中对用于量化参数的编码模式的估计包括在多个变换中选择最佳变换以编码该图像编码单位。
根据另一个实施例，提供了一种针对在图像编码处理中要编码和量化的图像编码单位，从多个编码模式中选择编码模式并且从多个量化参数中选择量化参数的方法，包括：跳过对多个量化参数的子集的估计，其中如果先前估计的量化参数中的最佳量化参数与全零残差块相关联，并且如果当前量化参数值大于最佳量化参数值，则跳过对当前量化参数的估计。
根据再一个实施例，提供了一种针对在图像编码处理中要编码和量化的图像编码单位，从多个编码模式中选择编码模式并且从多个量化参数中选择量化参数的方法，包括：跳过对多个量化参数的子集的估计，其中如果在估计量化参数的当前集时，获得预选编码判据的持续改善的值，则跳过对量化参数的互补集的估计。
根据另外一种的实施例，提供了一种对于在图像编码处理中要编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：选择初始量化参数和该初始量化参数的最佳编码模式；以及估计后续量化参数的编码模式，其中：对量化参数的编码模式的估计包括执行运动搜索，并且对该初始量化参数执行更全面的运动搜索，而对后续量化参数执行有限的运动搜索，其中有限的运动搜索基于对初始量化参数的更全面的运动搜索的结果。
根据另一个实施例，提供了一种用于根据上面描述的任何一种方法编码视频信号的编码器。
根据另一个实施例，提供了一种用于根据上面描述的任何一种方法编码视频信号的设备。
根据另外一种实施例，提供了一种根据上面描述的任何一种方法编码视频信号的系统。
根据又一种实施例，提供了一种含有一组用于使计算机执行上面描述的任何一种方法的指令的计算机可读介质。
根据又一种实施例，提供了一种采用上面描述的任一方法进行视频信号编码的应用。
本公开的实施例涉及提供较好编码时间与性能折中的RDOQ加速技术。
1)模式转移状态机
如上所述，在后续QP环中仅允许一种编码模式(best_mode_first)使得编码时间从等式(3)显著缩短为如下：
TRDOQ1≈(M+N-1)·(1+δ)·t   (4)
其中t是用于对每块估计一种编码模式使用的平均时间，N是测试的QP值的数量，M是编码模式的数量，以及δ是利用诸如网格式量化的更复杂量化处理产生的附加编码时间。等式(4)也是根据特定假设和简化的对编码时间的近似。
然而，统计轮廓(statistical profiling)显示，在第一QP环期间，不出现整体最佳编码模式best_mode_first的概率高；即，best_mode_first(第一QP值时选择的最佳编码模式)很由可能与best_mode_overall(估计了所有QP值后选择的最佳整体编码模式)不同。换句话说，“模式转移”的概率(被定义为best_mode_first和best_mode_overall是不同的)大。更令人关注是，“模式转移”事件的概率的变化显著取决于best_mode_first是什么。例如，关于H.264/AVC编解码器中的模式转移做如下论述：
·与帧间模式之间和帧内模式之间的模式转移相比，帧间编码模式与帧内编码模式之间的模式转移的概率较小。
·与从帧间编码模式到帧内编码模式的模式变换相比，从帧内编码模式到帧间编码模式的模式转移概率较大。模拟表明对于某些序列，从帧内模式到帧间模式的模式转移概率不能被忽略(达到5－10％)。
·在16×8与8×16的运动划分之间的模式转移的概率小。
·从P_SKIP和B_DIRECT的模式转移的概率小；模拟表明在超过95％的时间里，如果best_mode_first＝0(P_SKIP或者B_DIRECT)，则best_mode_overall＝0。
·到P_SKIP和到0残差B_DIRECT的模式转移的概率几乎不存在。即，如果best_mode_first不是P_SKIP或者0残差B_DIRECT，则很有可能best_mode_overall也不是P_SKIP或者0残差B_DIRECT。
·到非零残差B_DIRECT的模式转移的概率不能被忽略。
·best_mode_overall在前两个QP值期间出现的累加概率高(超过90％)。
·Intra4×4与Intra16×16之间的模式转移的概率低。
鉴于上述论述，根据本公开的一些实施例，在best_mode_first被选择后，“模式转移状态机”用于选择后续QP值估计所采用的编码模式。
具体地说，图3示出H.264/AVC编码器的模式转移状态机的例子。在每对状态之间，赋予模式转移似然得分。对从modeA到modeB的模式转移的可能性高的模式对(modeA，modeB)给出较高的得分；而对从modeC到modeD的模式转移的可能性低的模式对(modeC，modeD)给出较低的得分。例如，对给定模式的自转移给出“10”的最高似然得分。作为另一个例子，对从帧间模式到帧内模式的模式转移给出“1”的较低得分，而对从帧内模式到帧间模式的模式转移给出“2”的较高得分。
此外，还可以禁止具有更低概率的模式转移事件。例如，如图3所示，没有连接Inter16×8和Inter8×16的箭头，这意味着，图3所示的模式转移状态机要求模式不从帧间模式16×8转移到帧间模式8×16，反之亦然。
更“智能”的视频编码器可以包括用于分析输入的视频信号的特性的预分析级(请参见图9)。从预分析处理采集的统计结果可以用于进一步微调模式转移状态机。特别是，除了/代替关于上面所列模式转移事件的一般讨论，当对模式转移事件赋予似然得分时，采用对输入视频的特定理解是有利的。例如，预分析处理可以确定视频信号的特定区域更“重要”，因为它提供用于编码同一个帧的其它块和/或者其它帧的有效预测信息。例如，可以认为具有精细纹理的静态区域重要，因为如果以高质量编码该第一帧内的该区域，则所有后续帧内的相应区域可能能够继承其高质量。根据由预分析级获得的发现，不同的模式转移状态机可以用于编码这些较重要或者较不重要的区域。对于上面提到的示例区域，尽管应用了RDOQ，但是在该区域内，可以使用更宽松的模式转移状态机以提供较高的编码质量(成本是增加了复杂性)。图10(a)和10(b)给出这种情况的例子。
图10(a)示出含有少量模式转移事件的较有限的的模式转移状态机。图10(a)不允许帧内模式与帧间模式之间的模式转移，也不允许从帧间模式的较大运动划分到较小运动划分的模式转移。图10(a)所示的状态机可能更适于编码较不重要的区域。
图10(b)示出含有较多模式转移事件的较宽松的模式转移状态机；这种状态机可能更适于编码较重要区域，因为它对该给定区域提供较好的压缩和较好的编码质量(成本是较高的编码复杂性)。
因为根据模式转移事件的似然性，不允许较多的模式转移，所以可以实现较短的编码时间(增加了编码性能损失)。这样，“模式转移状态机”提供非常灵活的功能，用于自适应调节编码性能与编码时间之间的折中。对于每个视频应用，根据其编码时间预算，可以应用特定似然阈值；并且可以仅允许其似然得分高于给定阈值的模式转移事件。即，较低的阈值可以应用于非实时的和/或者没有功率消耗限制的应用；而较高阈值可以赋予实时的和/或者功率有限的的应用(例如，运动视频编码)。
模式转移状态机的应用还可以包括下面的参数。
·帧/片段方式(例如，I－帧/片段、P－帧/片段或者B帧/片段)鉴别：某些模式转移事件对于一种帧/片段类型而言是允许的，而对于另一种帧/片段类型则不被允许。例如，I－帧/片段仅允许帧内编码块。因此，对于I－帧/片段，模式转移状态机非常简单；如图3所示，仅位于阴影区域内的部分对应于I－帧/片段的模式转移状态机。此外，图3中的虚线表示仅对B－帧/片段存在而对P－帧/片段不存在的模式转移事件；这是因为，对于P－帧/片段，这些虚线代表从其它帧间模式到P-SKIP模式的模式转移，实际上这是不存在的事件。为了更加清楚，图7、8和9也分别给出I－、P－和B－帧/片段的示例模式转移状态机。
·帧/片段是否用作用于编码其它帧的基准(例如，H.264/MPEG-4AVC的语法要素nal_reference_idc的值是非零)：较宽松的模式转移状态机(允许较多模式转移事件)可以用于属于基准画面的视频块，而较有限的的模式转移状态机(允许较少的模式转移事件)可以用于属于非基准画面的视频块。此外，作为一种选择，较高的似然阈值可以用于非基准画面，而较小阈值可以用于基准画面。
·块或者一组块对于预测当前和/或者未来帧中的其它视频块是否重要。如上所述，一些视频编码器包括预分析处理。预分析阶段采集的统计结果可以用于确定视频块或者视频块组的重要性。对于被认为对编码其它视频块较重要的视频块，可以采用较宽松的模式转移状态机；当编码较重要的视频块时，也可以应用较低似然阈值。
根据本公开的一些实施例，代替或者除了调节用于控制允许模式转移事件的数量的似然阈值，在编码时，模式转移状态机本身也可以被动态调节。例如，在已经估计了较多的QP值时，可以在状态机内把更多的似然得分设置为0低于似然阈值，以减少允许的模式转移事件的数量。具体地说，可以调节模式转移状态机，以使在特定点之后，仅允许自转移；即，可以对剩余的QP值仅估计到目前为止发现的最佳模式。可以在估计了给定数量的QP(例如，3个QP)后以及/或者在“设定”最佳编码模式(最佳编码模式不再改变)后，进行这种判定(仅允许自转移)。此外，可以根据已经编码的相邻块，动态调节模式转移状态机。例如，如果该相邻块更容易“丢失”(设定到最佳编码模式花费较长时间)，则使得用于当前块的模式转移状态机“宽松”以允许较多的模式转移事件。
更一般地说，在QP和/或者模式判定时，还可以考虑当前块与其相邻块之间的相似度(例如，左块、上块、左上块、右上块和/或者时间上的相邻块)。如果已经块相似，则该方法的有效性被进一步增强。例如，利用诸如方差和/或者DC计算的分段技术，可以得到有关块相似度的信息。
应用上述方法技术可以以多个方式加速该处理。例如，如果所有相邻块与当前块类似，并且对于所有这些相邻块选择特定QP，则该QP值可以用作当前块的开始点。如果当前块的率失真性能与相邻块类似，则若任何其它模式可以提供任何帮助，则可以终止或者进行简单测试(很可能为不太复杂的编码处理)。如果例如当前块的拉格朗日成本较小或者足够接近其相邻块的拉格朗日成本，则认为块之间也具有相似性而不需要执行进一步计算。这种选择最佳的似然性很高。然而，如果所选的相邻块的QP值不同，则可能的解决方案是仅检验在与当前块最相似的相邻块中使用的QP值，或者作为一种选择，仅核查接近于这些QP值的较小范围内的QP值。在编码时，还可以使当前块的编码处理与相邻块如何被编码相关联，并且再一次采用给出这种信息的(各)状态机。
本技术领域内的技术人员明白，图3、7、8和9所示的模式转移状态机仅是举例说明。在本公开的范围内，可以进行许多不同的修改。例如，图3、7、8和9所示的模式转移状态机还可以与仅估计编码模式的有限的子集的“第一模式判定”方法结合，因此，进一步加速该QP与模式判定处理。此外，可以对给定模式转移状态机进行特定直接扩展和修改，从而将该状态机应用于其它编码系统和诸如VC-1标准的编码标准(请参见参考文献2)。这种扩展和修改也应当被认为落入本公开的范围内。
此外，图3、7、8和9所示的典型模式转移状态机均将H.264/AVC中定义的宏块用作编码模式。相反，可以采用编码模式的较详细定义。例如，通过把它们看作两种不同的模式，模式转移状态机可以规定两个Inter16×16模式之间的转移似然性(一个为单向预测，而另一个为双向预测)。还可以定义编码模式的其它扩展或者减小集，并且在模式转移状态机中使用它们。
2)模式判定之后的系数再量化
如图2所示，在模式环(204)中执行变换与量化(208)。当代替简单的标量量化处理，在方框(208)采用网格式量化处理时，在每次量化时都可能产生附加编码时间开销δ。已经看到，与所采用的量化处理无关，模式判定的结果(所选最佳模式)通常保持相同。因此，在M(M>1)个可能编码模式中的模式判定中，可以采用较廉价和较快的量化处理。然后，在完成模式判定并且选择了最佳模式(或者最佳的M1个模式，M>M1≥1)后，最佳模式或者最佳的M个编码模式的系数可以利用较复杂量化处理(例如，网格式量化)被再量化，以进一步改善率失真性能，或者进一步优化任何预定编码判据，诸如考虑到不仅速率和失真的，而且功率消耗、实现复杂性和/或者实现成本的联合优化的编码判据。
图4示出当应用系数再量化技术时的流程图。在图4中，在模式判定中，在步骤(408)应用简单的标量量化处理。然后，在步骤(430)的模式判定环结束时，应用网格式量化处理(或者比先前量化处理较复杂的任何其它量化处理)，以再量化所选最佳编码模式的预测残差，从而进一步降低率失真成本或者优化任何其它预定编码判据。在变型实施例中，代替仅再量化最佳编码模式的预测残差，可以考虑模式判定之后选择的最佳M1个模式(M≥1)的预测残差。这种再量化处理之后产生最佳性能的模式被选作最终最佳模式。
假定模式判定之后，再量化处理仅应用于最佳模式(M1＝1)，则图4所示处理的编码时间可以如下近似：
TRDOQ2≈N·M·(1+δ/M)·t≈N·M·t(5)
其中t是用于对每块估计一种编码模式的平均时间，N是测试的QP值的数量，M是编码模式的数量，以及δ是采用网格式量化处理相对于采用基于非网格的标量量化处理产生的附加编码时间。假定δ/M<<1(例如，δ＝20％，M＝8)，等式(5)表明因为系数再量化产生的开销可以忽略不计。
应当注意，在(408)采用“简单标量量化”仅是举例说明，也可以采用其它快速量化处理(例如，采用自适应舍入的量化)或者这些不同量化处理的组合。正如本公开在前面所解释的，一些编码器可以选择使用量化矩阵，而非使用对所有系数具有固定比例系数的简单标量量化。应当注意，本公开讨论的技术的应用与是否采用量化矩阵无关。
还应当注意，尽管在图4中在QP环(402)内示出了再量化模块(430)，但是在QP与模式判定处理期间，在其它地方也可以执行再量化处理。例如，可以在QP环(402)外执行。已经发现，图4所示的排列(再量化模块(430)布置在QP环(402)内)实现良好的编码时间与编码性能折中，主要因为该量化处理通常影响所选最佳QP值。将再量化模块(430)移动到QP环(402)外可以进一步加速，然而，这也可能导致更显著的编码性能损失。因此，图4应当仅被看作例子。不同的视频编码器可以选择不同地执行再量化处理，从而要求的编码复杂性和编码性能要求。此外，对于不同的视频块、不同是视频片段类型和/或者不同的视频区域，可以不同地应用再量化处理。例如，对于较重要的视频区域和/或者视频片段(例如，将用作未来基准的视频片段)，可以较频繁地应用再量化处理；对于较不重要的视频区域和/或者视频片段(例如，不被用作未来基准的视频片段)，可以较不频繁地甚或根本不应用再量化处理。
还有一点请注意，因为在再量化步骤(430)采用的网格式量化处理可能不是最佳的(因为算法本身采用的近似和简化)，所以对于将再量化残差的率失真成本与再量化之前的先前残差的率失真成本进行比较，并且选择具有较小率失真成本的残差作为最终残差(图4中的步骤(432))的编码器，这是有益的。
又一点请注意，如果步骤(416)之后所选最佳编码模式是Intra4×4或者Intra8×8，则代替简单再量化该预测，而应当执行再编码该视频块。这是因为，4×4/8×8块的再量化改变重构残差块，从而改变重构块，这使得改变用于预测相邻4×4/8×8块使用的预测像素。
图11将Intra4×4宏块用作用于说明根据上述实施例的再编码处理的例子。如果所选最佳编码模式是Intra4×4，则不是在步骤(430)简单再量化预测残差，而是在步骤(430)执行该流程图。
作为一种选择，在步骤(430)，可以执行图12所示的较复杂再编码处理。与图11所示流程图相比，该较复杂再编码处理还包括对Intra4×4宏块内的每个4×4块估计最佳预测模式。该后一再编码处理可能有益，因为再现块中的预测像素的变化可能导致最佳预测模式变化。因为Intra4×4和Intra8×8宏块通常仅构成P－和B－帧/片段内的宏块的一小部分，所以图12所示处理产生的附加编码时间开销较小。此外，在图12中，该编码器可以采用之前在步骤(416)之后选择的最佳预测模式来减少对每块估计预测模式的数量。例如，在再编码处理中，在预测模式环(1204)，可以仅估计与在步骤(416)之后选择的最佳预测模式类似的模式。
请注意，图11和12均将Intra4×4宏块作为例子；但是可以以同样的方式再编码Intra8×8宏块。作为一种选择，一种宏块(例如，Intra4×4)可以采用图11所示的简单再编码处理，而另一种宏块(例如，Intra8×8)可以采用图12所示的较复杂再编码处理。
因为QP值与网格式量化处理的关系紧密，所以在对一个或者多个先前QP值的网格式量化处理中已经得知的内容均可以用于加速对当前QP值的网格式量化处理。例如，如果在第n个系数之后，对ΔQP＝1的网格量化处理将所有系数设置为0，则对ΔQP＝2的网格量化处理只能应用于头(n-1)个系数，并且剩余的所有残差系数都可以被设置为0。如果已经估计了一个以上的QP值，则可以联合应用对这些QP值的量化处理的结果，从而有助于加速对当前QP的量化处理。
在附加实施例中，还可以考虑前(n-1)个系数中已经被量化到0的值以及该first pass中的前(n-1)个系数中的一些变成0的可能性。例如，如果系数k具有值v，则对于比给定QP大的任何QP值存在系数k将被量化为0的高可能性。因此，对于比给定QP大的任何QP，系数k的量化值可以被直接设置为0，从而使量化处理加速。
根据本公开的又一个实施例，在一些例子中，可以采用部分计算。如果检验N个子划分后的部分拉格朗日成本已经大于或者预期大于(特定分析之后)不同QP的总拉格朗日成本，则没有理由进入再量化。
3)子宏块模式转移状态机
对于帧间编码块，H.264/AVC可以对输入的16×16视频块进行四元树分解。即，每个16×16块(宏块)可以被划分为4个8×8块(子宏块或者子MB)，同时可以将大小为8×8的每个子宏块进一步向下划分为4×4的块。因此，与上面在小节1中所概述的一样，同样采用模式转移状态机，可以实现子MB模式转移状态机，以减少子MB模式判定花费的编码时间。
图5作为例子给出子MB模式转移状态机。在图5中，不允许Inter4×8与Inter8×4之间的模式转移。此外，图5中的虚线表示仅对B－帧/片段允许的子MB模式转移事件。作为一种选择，还可以采用最有限的的子MB模式转移状态机。最有限的的子MB模式转移状态机仅允许自转移，即，在子MB模式判定时，对于后续QP值，可以仅允许best_subMB_mode_first(这与仅对后续QP值允许best_mode_first相同)。
4)变换大小判定
在H.264/MPEG-4AVC High profile中，8×8整数变换和4×4整数变换均被支持。在该标准的诸如High 10、High 4:2:2和Predictive High4:4:4的其它“专业”规范(profile)中也支持这两种变换。通过优化预定编码判据，诸如最小化率失真拉格朗日成本，可以选择用于编码当前视频块的最佳变换大小。然后，熵编码该选择的最佳变换大小，并且将它作为图1所示的输出视频位流(120)的一部分发送。模拟表明在图2所示的QP环(202)期间，最佳变换大小不发生显著变化。因此，以第一QP值选择的最佳变换大小，即，best_mode_first可以用于后面的所有QP值，避免了再一次选择最佳变换大小所需的编码时间。
作为本公开的附加实施例，在第一QP值被估计了后，可以不立即判定和保持最佳变换大小；相反，可以对少量附加QP值估计两种变换，而仅在估计了这些附加QP值之后，选择并保持最佳变换。例如，假定总共估计5个QP值，则在第三QP值之后，判定最佳变换，并且对最后两个QP值保持该最佳变换，而非在第一QP值之后判定最佳变换和对第一之后的所有四个QP值保持该最佳变换。
此外，该加速技术并不局限于支持两种变换的视频编码系统，它可以应用于支持多个变换的任何视频编码系统。例如，除了4×4和8×8变换，利用JMKTA软件(请参见参考文献8)开发的可能的下一代视频编解码器还支持16×16变换、16×8变换以及8×16变换。这种加速技术可以容易地扩展并应用于选择这些变换中的任何变换。通常，如果视频编码系统支持N个变换，则在估计了第一QP值之后，可以选择最佳的N1个变换(N1≤N)，并且在估计了第二QP值后，可以选择最佳的N2个变换(N2≤N1)等，直到对给定的QP值仅选择了一个最佳变换，并且对所有后续QP值保持该最佳变换。由于视频编码系统支持较多的变换(N的值变大)，所以因为这种加速技术节省编码时间更有效。
请注意，在4×4变换的量化处理与8×8变换(或者任何其它变换)的量化处理之间，也可以存在紧密关系。例如，对于给定的编码模式，如果在一种变换大小(例如，8×8变换)中，最后n个系数被量化为0，则在另一种变换大小(例如，4×4变换)中，最后m个系数可能被量化为0。还可以利用不同变换大小的量化处理的这种相关性使最佳变换大小的量化处理和判定处理加速。例如，如果在对4×4变换量化时，在量化之后，8×8变换的最后n个系数被设置为0，则可以仅考虑前(16－m)个系数(4×4变换的最后m个系数被自动设置为0)，从而节省对4×4变换进行量化花费的时间。在一个例子中，m＝n/4。
当利用自适应帧场(MBAFF)编码宏块时，可以做同样的考虑。例如，如果在帧模式下，最后n个系数被量化为0，并且如果在场模式下(顶场和/或者底场)，最后n个系数含有非零系数，则该编码器可以终止进一步估计场模式，因为帧模式提供较好率失真性能的似然性高。如果首先执行场宏块编码，然后，执行帧宏块编码，则可以做同样的假设。如果顶场和底场由于在它们的残差中都存在0系数所以都具有相同的特性和/或者相似性，则这些关系被增强。此外，还可以利用对帧模式和场模式进行了运动估计后的残差的特性。例如，如果进行了运动估计后，顶场块的失真、底场块的失真以帧宏块的失真都非常类似，则帧模式编码提供较好率失真性能的似然性高，因此，可以跳过考虑场模式编码。
5)减小QP环
通过减小等式(3)至(5)中的N(估计的QP值的数量)，较早的终止QP环以及旁路一些QP值的估计节省了编码时间。
图6示出利用这些加速机制(步骤(604)和(618))的修改的编码流程。对于旁路当前QP值(步骤(604))，可以采用下面的判据：
·如果到目前为止已经发现的最佳QP值具有0残差(coded_block_pattern＝0)，例如，它与所有0残差块相关联，并且如果当前QP值大于该最佳QP值，则旁路该当前QP值。
对于较早的终止(步骤(618))，可以采用下面的判据：
·如果所有正(或者负)ΔQP值的率失真成本(rdcost)单调降低，则QP环可以被早终止，而不检查剩余负(或者正)ΔQP值。例如，如果在总共5个ΔQP值(0，1，2，－1，－2)中进行测试，并且如果rdcost(ΔQP＝0)>rdcost(ΔQP＝1)>rdcost(ΔQP＝2)，则不需要检查ΔQP＝－1和ΔQP＝－2。更一般地说，如果在估计当前集的量化参数时，获得预选编码判据的单调良好值，则跳过估计量化参数的互补集。
请注意，还可以有效调节开始QP值。特别是当利用较早终止和/或者旁路技术减小QP环时，QP环估计的第一QP可能影响最终结果。具体地说，如果第一QP较接近总体最佳QP，则QP环可以较快收敛并且较早终止。因此，代替始终从帧级QP开始，利用由已经编码的相邻块的QP值是有益的。因为相邻块之间存在空间相关，所以相邻块选择的最佳QP可以用作当前块的最佳QP的良好表示。例如，如果相邻块具有高纹理，并且选择了较小QP，则当前块也更可能具有高纹理，并且更可能发现对于编码性能较小的QP更有益。因此，在图2、4和6中，以一般方式示出QP环，要估计的QP值和将估计的实际QP值(一些QP值可能被旁路)的特定顺序非常灵活。
6)运动搜索改善
与模式信息相同(包括块编码模式、子块编码模式、变换大小等)，在后续QP环中，也可以以有限的方式改变运动信息。代替仅在后续QP环内利用相同的运动信息执行一次运动搜索，可以执行有限的运动搜索，以改善运动并且实现较好的性能，而不显著增加运动搜索时间。例如，如果第一QP值的运动搜索返回双向预测运动矢量，则在后续QP环中，可以仅执行双向预测运动搜索。作为另一个例子，如果我们在第一运动搜索(以第一QP值执行的)中获得的最佳基准帧表示为ref_idx_first，则可以仅对同一个基准帧ref_idx_first执行后续QP环中的运动搜索。在这种意义上，可以采用运动转移状态机执行可以包括作为几个例子要考虑的如下问题的有限的运动搜索：
·如果在以第一QP进行的运动搜索中获得的运动矢量motion_first表示单向预测/向后单向预测/双向预测运动预测，则在对后续QP值的运动搜索中仅执行向前单向预测/向后单向预测/双向预测运动预测。
·可以仅对第一运动搜索后识别的基准帧ref_idx_first，即最佳基准帧执行后续运动搜索。
·可以利用有限的搜索范围围绕先前最佳运动矢量执行后续运动搜索。此外，如果已知先前编码遍数的性能(例如失真)，则可以考虑到附加较早终止判据。
·在变型实施例中，如果运动矢量预测值改变(因为相邻运动矢量的改变和/或者后续QP环中的相邻块划分的改变)，则可以围绕新运动矢量预测器执行后续运动搜索。
本发明的实施例可以涉及下面列举的一个或者多个典型实施例。
1.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：
选择初始量化参数和该初始量化参数的最佳编码模式；
根据编码模式转移状态机估计后续量化参数的编码模式，所述编码模式转移状态机包括编码模式状态和在编码模式状态之间的转移，其中该编码模式转移状态机的每种状态对应于编码模式，并且对在一对编码模式状态之间的转移赋予模式转移似然得分；以及
在估计的编码模式和量化参数中选择最佳编码模式和最佳量化参数。
2.根据所列实施例1的方法，其中如果编码模式之间的转移的可能性较大，则模式转移似然得分较高，而如果编码模式状态之间的转移可能性较小，则模式转移似然得分较低。
3.根据所列实施例1的方法，其中根据图像编码单位的特性，赋予该模式转移似然得分。
4.根据所列实施例3的方法，其中在图像编码之前，利用图像预分析来分析和确定该图像的特性。
5.根据所列实施例1的方法，其中根据编码模式之间的转移类型，赋予模式转移似然得分。
6.根据所列实施例5的方法，其中编码模式之间的转移类型包括：从编码模式到同一种编码模式的转移、从帧内编码模式到帧内编码模式的转移、从帧间编码模式到帧间编码模式的转移、从帧内编码模式到帧间编码模式的转移、以及从帧间编码模式到帧内编码模式的转移。
7.根据所列实施例1的方法，其中编码模式状态之间的转移次数是可控的。
8.根据所列实施例7的方法，其中根据要编码的图像编码单位的重要性，选择编码模式状态之间的转移次数，以对较重要图像编码单位选择较多的转移次数。
9.根据所列实施例7的方法，其中根据转移似然阈值，选择编码模式状态之间的转移次数，以仅允许转移似然得分高于该转移似然阈值的编码模式之间的转移。
10.根据所列实施例9的方法，其中非基准图像编码单位的转移似然阈值高于基准图像编码单位的似然阈值。
11.根据所列实施例9的方法，其中较不重要图像编码单位的转移似然阈值高于较重要图像编码单位的转移似然阈值。
12.根据所列实施例1的方法，其中根据要编码的图像编码单位的类型，选择编码模式状态之间存在或者不存在转移。
13.根据所列实施例12的方法，其中被编码的图像编码单位包括帧和片段。
14.根据所列实施例13的方法，其中帧或者片段包括I－帧或者片段、P－帧或者片段以及B帧或者片段。
15.根据所列实施例14的方法，其中对于I－帧或者片段，仅允许帧内编码状态和帧内编码状态之间的转移。
16.根据所列实施例1的方法，其中根据图像编码单位是基准图像编码单位还是非基准图像编码单位，选择编码模式状态之间存在还是不存在转移。
17.根据所列实施例1的方法，其中根据图像编码应用和与该图像编码应用相关联的可用复杂性预算，选择编码模式状态之间存在还是不存在转移。
18.根据所列实施例1的方法，其中模式转移状态机是动态可调模式转移状态机。
19.根据所列实施例18的方法，其中编码模式转移状态机中允许的转移的次数取决于所估计的量化参数的数量。
20.根据所列实施例19的方法，其中估计了特定数量的量化参数后，仅允许自转移。
21.根据所列实施例20的方法，其中对于所确定的量化参数，在所确定的量化参数之前的多个量化参数的最佳编码模式没有发生变化的情况下，仅允许所确定的量化参数自转移。
22.根据所列实施例18的方法，其中调节模式转移状态机取决于已经编码的相邻图像编码单位。
23.根据所列实施例22的方法，其中如果给定图像编码单位的已经编码的相邻图像编码单位采用较宽松的模式转移状态机，则对给定图像编码单位应用较宽松的编码模式转移状态机，而如果给定图像编码单位的已经编码的相邻图像编码单位采用较不宽松的模式转移状态机，则对给定图像编码单位应用较不宽松的编码模式转移状态机。
24.根据所列实施例23的方法，其中应用于给定图像编码单位的特定模式转移状态机是较宽松的还是较不宽松的取决于已经编码的相邻图像编码单位之间的相似度。
25.根据所列实施例1的方法，其中图像编码单位是视频块、视频块组、图像区或者整幅图像。
26.根据所列实施例1的方法，其中编码模式转移状态机是宏块模式或者子宏块模式转移状态机。
27.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：
在估计M个可能编码模式时，执行第一量化处理；
基于该第一量化处理，根据预定编码判据，选择M1个最佳编码模式，其中M>M1≥1；
对该M1个最佳编码模式执行第二量化处理；以及
基于该第一量化处理和该第二量化处理的结果、通过以下操作来选择最佳编码模式：将i)经该第一量化处理量化的残差的预定编码判据的值与ii)经该第二量化处理量化的残差的预定编码判据的值进行比较；并且选择提供该预定编码判据的较好值的残差。
28.根据所列实施例27的方法，其中该第一量化处理是较快类型的量化，并且该第二量化处理是较慢类型的量化。
29.根据所列实施例28的方法，其中该第一量化处理是简单标量量化，而该第二量化处理是网格量化。
30.根据所列实施例27的方法，其中对每个量化参数，重复该第一量化处理和该第二量化处理。
31.根据所列实施例30的方法，其中与一个或者多个量化参数的量化变换系数的位置和幅值有关的信息在后续量化参数的量化处理中被采用。
32.根据所列实施例27的方法，其中仅对M个可能编码模式中的一个最佳编码模式，或者等同于M1＝1，应用该第二量化处理。
33.根据所列实施例27的方法，还包括在图像编码处理中选择了最佳编码模式后，对图像编码单位进行再编码。
34.根据所列实施例33的方法，其中在执行再编码该图像编码单位时，执行该第二量化处理。
35.根据所列实施例34的方法，其中再编码包括估计最佳预测模式。
36.根据所列实施例35的方法，其中在再编码处理时，估计预测模式的子集。
37.根据所列实施例36的方法，其中根据在图像编码处理中选择的最佳编码模式，来选择在进行再编码处理时估计的预测模式的子集。
38.根据所列实施例33的方法，其中所选最佳编码模式或者是Intra4×4或者是Intra8×8。
39.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：
选择初始量化参数和该初始量化参数的最佳编码模式；
对于后续量化参数，估计编码模式，
其中对量化参数的编码模式的估计包括在多个变换中选择最佳变换，以编码该图像编码单位。
40.根据所列实施例39的方法，其中选择最佳变换包括根据每个量化参数的预定编码判据，在多个变换中选择变换数目不增加的变换子集，直到对于所确定的量化参数，仅选择了一个最佳变换，然后，对于所确定的量化参数之后的所有后续量化参数，保持该最佳变换。
41.根据所列实施例40的方法，其中对于初始量化参数，仅选择一个最佳变换，然后对于所有后续量化参数保持该最佳变换。
42.根据所列实施例39的方法，其中在多个变换中的一个变换的量化处理中，采用与另一变换的量化变换系数的位置和幅值有关的信息。
43.根据所列实施例39的方法，其中图像编码单位的编码处理包括自适应帧场编码(MBAFF)处理，并且其中在场模式编码时，采用与帧模式编码中的图像编码单位有关的信息，反之亦然。
44.根据所列实施例43的方法，其中与帧模式编码和场模式编码中的图像编码单位有关的信息包括与预测残差和量化变换系数的位置和幅值有关的信息。
45.一种用于在图像编码处理中对要编码和量化的图像编码单位在多个编码模式中选择编码模式和在多个量化参数中选择量化参数的方法，包括：
跳过对多个量化参数的子集的估计，
其中如果先前估计的量化参数中的最佳量化参数与全0残差块相关联，并且如果当前量化参数值大于最佳量化参数值，则跳过对当前量化参数的估计。
46.一种用于在图像编码处理中对要编码和量化的图像编码单位在多个编码模式中选择编码模式和在多个量化参数中选择量化参数的方法，包括：
跳过对多个量化参数的子集的估计，
其中如果在估计当前量化参数集时，获得预选编码判据的单调良好值，则跳过对量化参数的补集的估计。
47.根据所列实施例45或者46的方法，其中当前编码单位的初始量化参数的值是可调的。
48.根据所列实施例45或者46的方法，其中根据已经编码的相邻图像编码单位的量化参数值，预测当前编码单位的初始量化参数的值。
49.一种用于在图像编码处理中对要编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：
选择初始量化参数和该初始量化参数的最佳编码模式；以及
估计后续量化参数的编码模式，
其中：
对量化参数的编码模式的估计包括执行运动搜索，以及
对初始量化参数执行较全面的运动搜索，而对后续量化参数执行有限的运动搜索，其中有限的运动搜索基于初始量化参数的较全面的运动搜索的结果。
50.一种用于按照所列实施例1、27、39、45、46或者49所述的方法中的一个或者多个方法编码视频信号的编码器。
51.一种用于按照所列实施例1、27、39、45、46或者49所述的方法中的一个或者多个方法编码视频信号的设备。
52.一种用于按照所列实施例1、27、39、45、46或者49所述的方法中的一个或者多个方法编码视频信号的系统。
53.一种含有用于使计算机执行按照所列实施例1、27、39、45、46或者49中的一个或者多个方法的一组指令的计算机可读介质。
54.一种按照所列实施例1、27、39、45、46或者49所述的方法中的一个或者多个方法编码视频信号的应用。
提供上面的例子是为了对本技术领域内的技术人员全面公开和描述如何实现和使用本公开的率失真优化量化的加速技术的实施例，而无意将范围限制到本发明人作为其公开述及的内容。视频技术领域内的技术人员可以采用用于实施本公开的上述方式的修改，并且这些修改包括在本发明的范围内。
为了演示如何实现在此公开的新观念，利用基于块的视频编码系统作为基础视频编码系统的例子描述了本公开。然而，应当注意，本公开中涵盖的许多实施例还可以应用于其它类型的视频编码系统。通常，包括量化处理和/或者允许在图像编码单位中量化参数变化的任何视频编码系统(基于块的、基于区域的、基于小波的等)可以从本公开的教导中受益，其中图像编码单位可以是帧序列、视频帧或者画面、视频块、一组视频块、视频片段、区域、整幅图像等。还可以对每个色彩分量改变量化参数，同时通过利用量化矩阵和/或者偏差，该变化可以应用于不同的频率系数或者采样级。因此，将基于块的编码系统用作基础编码系统描述的本公开的解释和演示应当看作例子，而不应当认为本公开的范围仅局限于基于块的视频编码系统。
本公开仅作为例子采用率失真拉格朗日成本。可以采用其它编码判据。此外，失真度量也不局限于诸如SSE或者SAD的客观质量度量；也可以采用主观质量度量。还请注意，在图4和6中，例如，仅作为例子，QP环被示为编码模式环的外层；这些环的顺序可以交换，而不脱离本公开的范围。
还应当注意，本公开描述的所有技术都可以应用，而与是否使用量化矩阵和量化偏差无关。
本技术领域内的技术人员还明白，根据本公开的方法当执行网格式判定处理时，不限于仅利用网格式量化算法的三个值，而可以替代地考虑附加可能值(或者状态)，诸如值1，floor(v)-k，其中k是值k>0的整数。
本公开描述的方法和系统可以以硬件、软件、固件或者它们的组合的方式实现。可以一起(例如，在诸如集成逻辑器件的逻辑器件中)或者分立(例如，作为分立连接的逻辑器件)实现作为块、模块或者部件描述的特征。本公开的方法的软件部分可以包括计算机可读介质，它包括当被执行时至少部分地执行所描述的方法的指令。计算机可读介质可以包括例如随机存取存储器(RAM)和/或者只读存储器(ROM)。指令可以由处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)或者现场可编程门阵列(FPGA))执行。
说明中提到的所有专利和公开代表了本公开所属技术领域内的技术人员的技术水平。本公开通过引用引述的所有参考文献都达到如同通过引用分别包括每个参考文献的全部内容的程度。
应当明白，本公开并不局限于特定方法或者系统，当然，可以改变它们。还应当明白，在此使用的术语仅为了描述特定实施例，并且没有限制性含义。在本说明书中使用的单数形式“a”、“an”和“the”包括所涉及的复数个对象，除非内容另外清楚地指出。术语“多个”包括所涉及的两个或者两个以上的对象，除非内容另外清楚地指出。除非另有说明，在此使用的所有科技术语的意义与本公开所属技术领域内的普通技术人员通常理解的意义相同。
已经描述了许多本公开的实施例。然而，应当明白，在不脱离本公开的实质范围的情况下，可以进行各种修改。因此，其它实施例在本发明的范围内。
参考文献列表
[1]ITU-T Rec.H.264and ISO/IEC 14496-10 AVC,“Advanced videocoding for generic audiovisual services,November 2007(ITU-T Rec.H.264和ISO/IEC 14496-10 AVC,“用于通用音视频服务的先进视频编码，2007年11月)
[2]SMPTE 421M,“VC-1 Compressed Video Bitstream Format andDecoding Process,”April 2006(SMPTE 421M,“VC-1压缩视频比特流格式和解码处理,”2006年4月)
[3]G.J.Sullivan and T.Wiegand,“Rate-distortion optimization forvideo compression,”IEEE Signal Processing Magazine,vol.15,issue 6,November 1998.(G.J.Sullivan和T.Wiegand,“用于视频压缩的率失真优化,”IEEE信号处理杂志,1998年11月，第6期，第15卷)
[4]A.Bilgin,P.J.Sementilli,and M.W.Marcellin,“Progressiveimage coding using trellis coded quantization,”IEEE Transactions onImage Processing,vol.8,no.11,pp.1638-1643,November 1999.(A.Bilgin,P.J.Sementilli,和M.W.Marcellin,“利用格状编码量化的先进图像编码,”IEEE图像处理汇刊,1999年11月，第11号，第8卷，1638-1643页。)
[5]M.Karczewicz,Y.Ye,and I.Chong,“Rate distortion optimizedquantization,”VCEG-AH21,Antalya,Turkey,January 2008.(M.Karczewicz,Y.Ye,和I.Chong,“率失真优化量化,”VCEG-AH21,2008年1月，土耳其，安塔利亚)
[6]M.Karczewicz,Y.Ye,and P.Chen,“Rate distortion optimizedquantization,”ITU-T/SG16/Q.6 document C.462,Geneva,Switzerland,April 2008.(M.Karczewicz,Y.Ye,和P.Chen,“率失真优化量化”ITU-T/SG16/Q.6 2008年4月，文件C.462,瑞士，日内瓦)
[7]JVT reference software version JM14.2,http://iphome.hhi.de/suehring/tml/download/,December 2008.(JVT参考软件版JM14.2,http://iphome.hhi.de/suehring/tml/download/,December2008.)
[8]VCEG/KTA reference software JM11.0KTA2.3,http://iphome.hhi.de/suehring/tml/download/KTA/,April 2009.(VCEG/KTA参考软件JM11.0KTA2.3,http://iphome.hhi.de/suehring/tml/download/KTA/,2009年4月.)
[9]A.Leontaris and A.Tourapis,“Scene/Picture ComplexityClassification using Spatio-Temporal(Motion-Compensated)Analysis,”US Pub.App.2009/0086814.(A.Leontaris和A.Tourapis,“利用时空(运动补偿)分析的场景/图片复杂度分类,”美国出版物附录2009/0086814.)
[10]G.Sullivan,“Adaptive quantization encoding technique using anequal expected-value rule,”JVT-N011,Hongkong,January,2005.(G.Sullivan,“利用等期待值规则的自适应量化编码技术,”JVT-N011,2005年1月，香港)
[11]Guobin Shen,Alexis M.Tourapis,Ming L.Liou:Syntax-constrained rate-distortion optimization for DCT-base imageencoding methods.VCIP 2000:86-94.(Guobin Shen,Alexis M.Tourapis,Ming L.Liou:用于基于DCT的图像编码方法的语法受限率失真优化.VCIP 2000:86-94.)

Claims (8)

1.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括：
(a)在估计M个可能编码模式时，执行第一量化处理，所述第一量化处理采用第一类型的量化技术；
(b)基于所述第一量化处理，根据预定编码判据，选择M1个最佳编码模式，其中M>M1≥1；
(c)在对所述M个可能编码模式中的每一个执行步骤(a)和步骤(b)之后，对所述M1个最佳编码模式执行第二量化处理，所述第二量化处理采用第二类型的量化技术；以及
(d)基于所述第一量化处理和所述第二量化处理的结果、通过以下操作来选择最佳编码模式：将i)经所述第一量化处理量化的残差的预定编码判据的值与ii)经所述第二量化处理量化的残差的预定编码判据的值进行比较；并且选择提供所述预定编码判据的较好值的残差，
采用所述第一类型的量化技术的所述第一量化处理为较快类型的量化，而采用所述第二类型的量化技术的所述第二量化处理为较慢类型的量化；
对每个量化参数重复所述第一量化处理和所述第二量化处理。
2.根据权利要求1所述的方法，其中与一个或多个量化参数的量化变换系数的位置和幅值有关的信息在后续量化参数的量化处理中被采用。
3.根据权利要求1所述的方法，其中仅对M个可能编码模式中的一个最佳编码模式，或者等同于M1＝1，应用所述第二量化处理。
4.根据权利要求1所述的方法，还包括在所述图像编码处理中选择所述最佳编码模式后，再编码所述图像编码单位。
5.根据权利要求4所述的方法，其中在执行所述图像编码单位的再编码时，执行所述第二量化处理。
6.根据权利要求5所述的方法，其中所述再编码包括估计最佳预测模式。
7.根据权利要求6所述的方法，其中在再编码处理时，估计预测模式的子集。
8.根据权利要求7所述的方法，其中根据在所述图像编码处理中选择的所述最佳编码模式，来选择在进行再编码处理时估计的预测模式的子集。
CN201080040506.5A 2009-09-10 2010-09-07 率失真优化量化的加速技术 Expired - Fee Related CN102648627B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US24113009P 2009-09-10 2009-09-10
US61/241,130 2009-09-10
PCT/US2010/048029 WO2011031692A2 (en) 2009-09-10 2010-09-07 Speedup techniques for rate distortion optimized quantization

Publications (2)

Publication Number Publication Date
CN102648627A CN102648627A (zh) 2012-08-22
CN102648627B true CN102648627B (zh) 2015-03-04

Family

ID=43414706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080040506.5A Expired - Fee Related CN102648627B (zh) 2009-09-10 2010-09-07 率失真优化量化的加速技术

Country Status (11)

Country Link
US (4) US9729888B2 (zh)
EP (5) EP3399748A1 (zh)
JP (1) JP5579852B2 (zh)
CN (1) CN102648627B (zh)
DK (1) DK2476255T3 (zh)
ES (1) ES2681209T3 (zh)
HK (4) HK1257757A1 (zh)
HU (1) HUE039661T2 (zh)
PL (1) PL2476255T3 (zh)
PT (1) PT2476255T (zh)
WO (1) WO2011031692A2 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9888817B2 (en) 2014-12-17 2018-02-13 Omachron Intellectual Property Inc. Surface cleaning apparatus
EP3399748A1 (en) 2009-09-10 2018-11-07 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Speedup techniques for rate distortion optimized quantization
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
KR101885258B1 (ko) * 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
EP4024865B1 (en) 2010-06-10 2023-10-25 InterDigital VC Holdings, Inc. Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
US9438906B2 (en) * 2011-03-03 2016-09-06 Sun Patent Trust Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
US20130022108A1 (en) * 2011-06-30 2013-01-24 General Instrument Corporation Quantization parameter derivation from qp predictor
BR122020013909B1 (pt) * 2011-07-12 2023-03-14 Nec Corporation Método de decodificação de parâmetro de quantização de imagem e decodificador de parâmetro de quantização de imagem
EP2751990A4 (en) 2011-08-29 2015-04-22 Icvt Ltd CONTROL OF A VIDEO CONTENT SYSTEM
US20140355668A1 (en) * 2012-01-23 2014-12-04 I.C.V.T. Ltd. Method and System for Controlling Video Frame Encoding
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
CN102625101B (zh) * 2012-03-16 2014-02-12 北京航空航天大学 一种基于随机像素法的h.264帧间预测模式快速选择方法
US10085024B2 (en) 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
US9077965B2 (en) * 2012-10-12 2015-07-07 Mediatek Inc. Method and apparatus for performing lossy image compression through source quantization and lossless compression kernel, and related method and apparatus for image decompression
FR2998078A1 (fr) * 2012-11-09 2014-05-16 I Ces Innovative Compression Engineering Solutions Procede pour limiter la memoire necessaire a l'enregistrement d'un fichier audio, image ou video cree grace a un appareil dans ledit appareil.
CN104104947B (zh) * 2013-04-02 2016-10-19 腾讯科技（深圳）有限公司 一种视频编码方法和装置
KR102161741B1 (ko) * 2013-05-02 2020-10-06 삼성전자주식회사 ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템
GB2519070A (en) 2013-10-01 2015-04-15 Sony Corp Data encoding and decoding
TW201519637A (zh) * 2013-11-12 2015-05-16 Univ Nat Taiwan 位元率-誤差最佳化量化方法
US9794575B2 (en) * 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
CN104954787B (zh) * 2014-03-27 2018-03-23 浙江大华技术股份有限公司 Hevc帧间预测模式选择方法及装置
JP6497100B2 (ja) * 2015-02-09 2019-04-10 沖電気工業株式会社 映像符号化装置、方法及びプログラム
US10356422B2 (en) 2015-03-06 2019-07-16 Qualcomm Incorporated Fast rate-distortion optimized quantization
JP6502753B2 (ja) 2015-06-08 2019-04-17 キヤノン株式会社 画像符号化装置、画像処理装置、画像符号化方法
CN105282557B (zh) * 2015-09-28 2018-05-18 天津大学 一种预测运动矢量的h.264快速运动估计方法
CN105657421B (zh) * 2016-01-15 2018-08-31 珠海全志科技股份有限公司 8x8残差系数块编码方法及系统
JP2017183910A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像符号化装置及び画像符号化方法
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US11013384B2 (en) 2018-08-13 2021-05-25 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
US11192122B2 (en) 2018-08-13 2021-12-07 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
US11006799B2 (en) 2018-08-13 2021-05-18 Omachron Intellectual Property Inc. Cyclonic air treatment member and surface cleaning apparatus including the same
US10893272B2 (en) * 2019-01-29 2021-01-12 Sony Corporation Image block coding based on pixel-domain pre-processing operations on image block
US11259035B2 (en) * 2019-03-15 2022-02-22 Ati Technologies Ulc Macroblock coding type prediction
CN110365975A (zh) * 2019-06-21 2019-10-22 武汉玉航科技有限公司 一种avs2视频编解码标准优化方案
GB2623001A (en) * 2019-07-05 2024-04-03 V Nova Int Ltd Quantization of residuals in video coding
US11490083B2 (en) * 2020-02-05 2022-11-01 Qualcomm Incorporated Learned low-complexity adaptive quantization for video compression
CN111314703B (zh) * 2020-03-31 2022-03-08 电子科技大学 一种基于失真类型传播分析的时域率失真优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893649A (zh) * 2005-07-06 2007-01-10 联发科技股份有限公司 于视频编码器进行操作帧层级位率控制的方法与装置
WO2009080928A1 (fr) * 2007-12-21 2009-07-02 Thomson Licensing Procede de codage double passe par macrobloc
WO2009105732A1 (en) * 2008-02-22 2009-08-27 Qualcomm Incorporated Fast macroblock delta qp decision

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3093233B2 (ja) 1990-03-16 2000-10-03 キヤノン株式会社 画像符号化装置及びその方法
JP2646921B2 (ja) * 1991-11-15 1997-08-27 日本ビクター株式会社 適応量子化装置
WO1997015146A1 (en) 1995-10-18 1997-04-24 Philips Electronics N.V. Method of encoding video images
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
US6167162A (en) 1998-10-23 2000-12-26 Lucent Technologies Inc. Rate-distortion optimized coding mode selection for video coders
CN1206864C (zh) 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US7194035B2 (en) 2003-01-08 2007-03-20 Apple Computer, Inc. Method and apparatus for improved coding mode selection
GB2401502B (en) 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding
KR101054543B1 (ko) 2003-08-25 2011-08-04 에이전시 포 사이언스, 테크놀로지 앤드 리서치 영상 코딩에서의 인터 예측을 위한 모드 선택
EP1513350A1 (en) 2003-09-03 2005-03-09 Thomson Licensing S.A. Process and arrangement for encoding video pictures
WO2006005182A1 (en) 2004-07-14 2006-01-19 Slipstream Data Inc. Method, system and computer program product for optimization of data compression
JP2006080925A (ja) * 2004-09-09 2006-03-23 Toshiba Corp 動画符号化装置、動画符号化方法および動画符号化プログラム
WO2006052577A2 (en) 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
US20060098733A1 (en) 2004-11-08 2006-05-11 Kabushiki Kaisha Toshiba Variable-length coding device and method of the same
EP1727371A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
US7961783B2 (en) 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder
US8107540B2 (en) * 2005-07-11 2012-01-31 Cheetah Technologies, L.P. Image complexity computation in packet based video broadcast systems
EP1761069A1 (en) 2005-09-01 2007-03-07 Thomson Licensing Method and apparatus for encoding video data using block skip mode
US7262719B2 (en) * 2006-01-30 2007-08-28 International Business Machines Corporation Fast data stream decoding using apriori information
EP1833257A1 (en) 2006-03-06 2007-09-12 THOMSON Licensing Method and apparatus for bit rate control in scalable video signal encoding using a Rate-Distortion optimisation
EP1835750A1 (en) 2006-03-17 2007-09-19 THOMSON Licensing Rho domain rate control and coding mode selection for H.264
US8005140B2 (en) * 2006-03-17 2011-08-23 Research In Motion Limited Soft decision and iterative video coding for MPEG and H.264
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
GB0619570D0 (en) * 2006-10-04 2006-11-15 Univ Bristol Complexity scalable video transcoder and encoder
US8467448B2 (en) 2006-11-15 2013-06-18 Motorola Mobility Llc Apparatus and method for fast intra/inter macro-block mode decision for video encoding
US8594187B2 (en) 2007-03-02 2013-11-26 Qualcomm Incorporated Efficient video block mode changes in second pass video coding
US8243790B2 (en) 2007-09-28 2012-08-14 Dolby Laboratories Licensing Corporation Treating video information
US8077772B2 (en) 2007-11-09 2011-12-13 Cisco Technology, Inc. Coding background blocks in video coding that includes coding as skipped
WO2009080133A1 (en) 2007-12-21 2009-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive intra mode selection
US8902972B2 (en) * 2008-04-11 2014-12-02 Qualcomm Incorporated Rate-distortion quantization for context-adaptive variable length coding (CAVLC)
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
EP3399748A1 (en) 2009-09-10 2018-11-07 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Speedup techniques for rate distortion optimized quantization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893649A (zh) * 2005-07-06 2007-01-10 联发科技股份有限公司 于视频编码器进行操作帧层级位率控制的方法与装置
WO2009080928A1 (fr) * 2007-12-21 2009-07-02 Thomson Licensing Procede de codage double passe par macrobloc
WO2009105732A1 (en) * 2008-02-22 2009-08-27 Qualcomm Incorporated Fast macroblock delta qp decision

Also Published As

Publication number Publication date
HK1257746A1 (zh) 2019-10-25
EP3399748A1 (en) 2018-11-07
PL2476255T3 (pl) 2019-03-29
HK1257750A1 (zh) 2019-10-25
CN102648627A (zh) 2012-08-22
PT2476255T (pt) 2018-07-31
HK1257758A1 (zh) 2019-10-25
HK1257757A1 (zh) 2019-10-25
WO2011031692A3 (en) 2011-09-15
EP3399745A1 (en) 2018-11-07
US10602162B2 (en) 2020-03-24
US9729888B2 (en) 2017-08-08
JP2013504934A (ja) 2013-02-07
US20180027245A1 (en) 2018-01-25
EP3402188A1 (en) 2018-11-14
EP3410707A1 (en) 2018-12-05
US11039152B2 (en) 2021-06-15
JP5579852B2 (ja) 2014-08-27
WO2011031692A2 (en) 2011-03-17
HUE039661T2 (hu) 2019-01-28
US20200177897A1 (en) 2020-06-04
US20200177896A1 (en) 2020-06-04
DK2476255T3 (en) 2018-08-06
US11190780B2 (en) 2021-11-30
ES2681209T3 (es) 2018-09-12
US20120177109A1 (en) 2012-07-12
EP2476255A2 (en) 2012-07-18
EP2476255B1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
CN102648627B (zh) 率失真优化量化的加速技术
CN102611892B (zh) 在编码过程中实现自适应量化的方法及装置
CN101252686B (zh) 基于交织预测的视频帧内无损编解码方法及系统
KR102024516B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
JP5219089B2 (ja) 画像データの生成方法
CN104159111A (zh) 图像解码装置以及图像解码方法
KR20050045746A (ko) 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
JP2006513636A (ja) インター・フレーム符号化に関する高速モード意思決定
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
CN113163199B (zh) 一种基于h265的视频快速预测方法、快速编码方法和系统
JP2004235683A (ja) 画像処理装置および符号化装置とそれらの方法
KR100733991B1 (ko) Ｍｐｅｇ２에서 ｈ．２６４로의 트랜스코딩 방법
KR101337410B1 (ko) 동영상 부호기의 대블록에 대한 비트율 제어 방법
KR101283577B1 (ko) 비디오 영상의 부호화 방법 및 이를 수행하는 비디오 영상 부호화 장치
Deknudt et al. Comparison between H. 264/AVC intra transrating schemes based on frequency position and frequency level selectivity
Lin et al. Matched Block Detection and Motion Vector Salvage Methods for Fast H. 264/AVC Inter Mode Decision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180627

Address after: No. 18, Wu Sha seashore road, Changan Town, Dongguan, Guangdong

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: California, USA

Patentee before: DOLBY LABORATORIES LICENSING Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

CF01 Termination of patent right due to non-payment of annual fee