CN1608372A - 在视频编码器中选择宏块量化参数的方法和装置 - Google Patents

在视频编码器中选择宏块量化参数的方法和装置 Download PDF

Info

Publication number
CN1608372A
CN1608372A CNA028262484A CN02826248A CN1608372A CN 1608372 A CN1608372 A CN 1608372A CN A028262484 A CNA028262484 A CN A028262484A CN 02826248 A CN02826248 A CN 02826248A CN 1608372 A CN1608372 A CN 1608372A
Authority
CN
China
Prior art keywords
sequence
quantizer
value
quantizer parameters
cost function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028262484A
Other languages
English (en)
Other versions
CN100362863C (zh
Inventor
L·奥克特姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1608372A publication Critical patent/CN1608372A/zh
Application granted granted Critical
Publication of CN100362863C publication Critical patent/CN100362863C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Abstract

一种用来在视频编码器中选择量化参数值序列的方法和相应的装置,所述视频编码器被安排将一个视频帧编码为n个宏块的序列,并为所述视频帧的每个宏块分配一个量化参数值。所述方法包括步骤(23 24 25),其中分配给所述n个宏块序列的至少一个子集的量化参数值以这样一种方式被优化,以便使得与它们编码相关的成本最小化。

Description

在视频编码器中选择宏块量化参数的方法和装置
技术领域
本发明涉及一种视频编码系统。尤其涉及使用运动补偿预测:ITU-T H.263和MPEG-4甚低比特率视频(VLBV)来进行视频序列压缩的两种标准系统。
背景技术
使用运动补偿预测来压缩视频序列的两种标准系统是:在1995年2月由甚低比特率视觉技术ITU-T SG 15专家组起草建议的H.263中描述的ITU-T H.263和在1996年11月由MPEG视频组,Doc.ISO/IEC/JTCI/SC29/WG11,N1469 Maceio在MPEG-4视频检验模型-版本5.0中所描述的MPEG-4甚低比特率视频(VLBV)。在定义的版本1之后已经对H.263进行了一些扩展。扩展版本经常被称作H.263+。术语H.263在这里被用作指未进行扩展的版本,即版本1。由于在MPEG-4 VLBV和H.263中所使用的算法之间的相似性,在此讨论焦点将集中在H.263的算法上。
H.263是一个以低比特率(<64kbits/sec)来压缩视频序列的ITU-T推荐标准,并且是基于早期的ITU-T推荐标——H.261。图1描述了H.263编码器的控制元件的框图。(视频编码器未示出。)这样一个编码器的主要元件是一个预测模块11,一对块变换模块12(变换模块T和T’),以及一对量化模块13(量化模块Q和Q’)。此外,还有一个编码控制模块14。
编码控制模块14确定所有编码参数;它充当了所述系统的大脑。从编码控制信号中产生INTRA/INTER判决数据,该编码控制信号用于控制是否使用先前帧的知识来编码当前帧。
编码控制模块提供的量化指示数据流确定每一宏块使用的所谓量化参数。该确定可以位于帧级别或宏块级别。本发明集中于该信号的产生上。
图1中所指的“视频复用编码器”仅仅是一个复用器,并且不使用“视频输入”作为它的其中一个输入。指示为被提供给“视频复用编码器”的信号包括视频信号的压缩表示。
为了利用在连续帧之间的时间相关性,如果先前重建帧有效并且有用,那么该系统首先执行运动补偿预测,上述术语“有用”表示使用先前帧(INTER编码)将比不使用它们(INTRA编码)产生更好的压缩性能。如果后续帧不完全相关,INTRA编码可能会产生更好的压缩性能。该系统首先使用运动信息和先前重建的帧来进行运动补偿预测。为了使所述解码器可以进行与所述编码器中所进行的预测相同的预测,(从编码器向解码器)传输所述运动信息(图1中的v)。下一步,称作DCT(即离散余弦变换)的块变换被用于块T的预测误差(或者在无预测的情况下是帧本身),以便利用空间相关性。最后,预测误差的DCT系数在块Q中被量化和熵编码。量化器是用来向视频序列引入损耗以获得较高压缩的主要装置。损耗量(和这样的比特率)由量化器的步长来控制,依次由量化器参数(QP)来确定所述步长的参数,步长参数具有在1到31之间的整数值,并由编码控制模块14提供给块Q。QP必须是解码器所知的,因此它被作为边(辅助)信息来传输(并在图1中指定为qz)。
H.263的基本层是所述的宏块层。宏块(MB)是H.263的基本构建块,在某种意义上说主要元素的编码(预测、块变换和量化)可以通过每次处理一个宏块来执行。一个宏块由一个16×16的亮度块、两个8×8的色度块、以及宏块级编码参数(例如宏块类型等)的所述表示组成;一些宏块级编码参数是可选的。以光栅扫描的顺序传输宏块。因为宏块级编码参数在比特位方面代价很高,所以只有在有必要这样做的时候才在所述宏块级对它们进行编码。(存在诸如所述量化参数QP的帧级编码的编码参数。当没有执行宏块级编码时,就使用这些帧级数值。)
H.263提供了QP的有限宏块级控制;存在一个可选的2比特DQUANT字段,其对当前宏块的QP和先前的编码宏块的QP之间的差值进行编码。(参见H.263+(2/98)的5.3.6部分。)由于在H.263的5.3.6部分中所述比特字段的限制,宏块QP在每次变化时至多可以改变±2。在QP变化被用来进行速率控制的情况下,在QP变化范围上的这种限制非常充分。然而,除了速率控制之外也可以有其它改变QP的原因,例如感兴趣区域的编码,其是一种给一个自动检测到的或用户规定的感兴趣区域,例如人脸分配更多比特(这样引入较少的损失)的技术。
发明解决的问题
考虑为了诸如感兴趣区域(ROI)编码目的而不是速率控制目的所需的宏块级QP变化的情形。在这样一种情形下,QP的有限宏块级控制造成了严重的限制。由感兴趣区域分析器建议的或由用户输入的任意的QP分布不能完全由H.263(或MPEG-4 VLBV)编码器实现。因此,在某种意义上讲,这种编码器需要选择一个尽可能接近初始建议分布的近似实现。鉴于最优性的定义(或等效的成本量度),本发明提供了一种最佳选择实现的方法,也就是,提供了一种将由约束实现所招致的总成本减小到最少的方法,规定的总成本当所述QP分布越接近于所述建议的分布时越低,但当必须使用的比特越多时则越高。
作为一个相关的问题,在1998年1月由甚低比特率视频技术ITU-T SG 15专家组起草建议的H.263版本2所规定的H.263+中,任意分布的精确表示在比特预算上可能非常浪费,因此这不是最理想的方案。量化可以在宏块的基础上进行变化,并且可能没有更精细的变化。任意分布的精确表示指的是多个宏块QP的一个任意选择。考虑通过为每个宏块分配一个独立的QP所形成的矢量QP。表示所述分量矢量其中的一些比表示其它的耗费少得多(在比特上)。如果不考虑相邻宏块的QP值来为每个宏块选择一个QP,那么就可能要花费惊人数量的比特来表示块到块的QP变化。
编码器需要在一方面跟随感兴趣区域分析器的初始建议(对于QP分布来说)和另一方面最小化花费在QP变化上的总比特之间找到一个最好的折中。对于此相关问题,本发明提供了一种当成本函数被定义来表示所述折中时找到最好折中的方法。
早期解决此问题的方法
依据现有技术,对于使用ROI编码的MPEG-4视频编码器来说,通过将每个帧分离成两个视频对象平面(VOP)、一个前景VOP和一个背景VOP来获得QP控制,如在Low Bit-rate Coding of Image Sequence Using Adaptive Regions of Interest,by N.Doulamis,A.Doulamis,D.Kalogeras,and S.Kollias,IEEE Tran.on CAS forVideo Technology,pp.928-934,vol.8,no.8,Dec.1998中所描述的,并且也在VideoSegmentation for Content-Based Coding,by T.Meier,and N.Ngan,IEEE Tran.On CASfor Video Technology,pp.1190-1203,vol.9,no.8,Dec.1999中有描述。这种分离克服了在前景/背景分离边界±2的变化限制。
现有技术方案有两个缺点。第一,存在一个编码VOP分割的比特开销,如果所述的前景不紧密,那么比特开销有可能变得让人望而却步。当决定在所述前景/背景分离时,很难考虑这些比特。这样,如果并非不可能的话,很难进行优化。第二,现有技术方案不能在每个VOP(即在每个VOP内的变量)内直接提供分级的QP控制。所述QP值必须在所述背景内和/或前景内进一步变化,从而获得每个VOP内的分级控制。在QP如何变化上仍然存在限制,并且优化甚至变得比在包括所述整个帧的单个VOP内进行精密QP控制的最初问题更加不切实际。
在H.263中不支持VOP结构。因此,即使这样的方案也是无效的。因此,±2的变化限制适用于H.263中的所有宏块。这样在H.263中就没有为进行ROI编码(或任何其它需要进行精密QP控制的情形)来对宏块QP选择进行帧级优化的技术。
H.263+提供了一种用于精确QP控制的比特消耗机制;该机制能够通过花费(使用)6个比特来表示宏块的任意QP。对于甚低比特率应用(其是H.263和H.263+的主要焦点)来说,对任意QP分布的表示在比特预算方面容易变得非常惊人,因此帧级优化尤其有利。然而,如在H.263中那样,在H.263+中没有用来为进行ROI编码(或其它任何需要精密QP控制的情形)而对宏块QP选择进行帧级优化的已知技术。
需要一种以不花费太多比特的方式来提供精确QP控制,即帧级控制的机制,以便其在低比特率应用中有用。
发明内容
因此,本发明的第一方面提供一种用来在视频编码器中选择量化参数值序列的方法,所述视频编码器被安排来将一个视频帧编码为一个n宏块序列,并为所述视频帧的每个宏块分配一个量化参数值,所述方法的特征在于,分配给所述n个宏块序列的至少一个子集的量化参数值以这样一种方式被优化,以便使得与它们编码相关的成本最小化。
根据本发明的第一方面,所述n宏块序列的所述子集包括所有所述n宏块。
也是根据本发明的第一方面,可以使用一个维特比搜索算法来对分配给所述n宏块序列的至少一个子集的所述量化参数值进行量化。
也是根据本发明的第一方面,可以通过将与编码建议的量化参数值序列有关的花费和编码一个候选的量化参数值序列的花费进行比较,来对分配给所述n宏块序列的至少一个子集的所述量化参数值进行量化。
还是根据本发明的第一方面,在用所述方法来对视频编码器的量化器参数QP提供帧级控制的应用中,所述视频编码器具有一个量化器参数,该参数用于帧的每个宏块,所述帧由n个宏块构成,所述方法提供一个优化的量化器参数序列Q*,该序列来自一组具有一个量化器参数序列Q作为充当候选量化器参数序列的任意元素的所有可能量化器参数序列,所述最佳量化器参数序列Q*最小化指示使用所述候选量化器参数序列Q来代替一个建议的量化器参数序列S的花费的成本函数C(Q,S),所述方法包括:接收建议的量化器参数序列S的步骤;定义具有元素D(Q,S)的成本函数C(Q,S)的步骤,所述元素D(Q,S)表示了在所述候选序列Q和所述依据一个预定标准测量的建议量化器参数序列S之间的差异,并具有一个与用于表示所述候选序列Q的比特数成比例的元素R(Q);以及将所述最佳量化器参数序列Q*确定为最小化所述成本函数C(Q,S)的序列的步骤;从而提供一个在比特效率方面接近所述建议的量化器参数序列S的最佳量化器参数序列Q*
进一步,所述建议的量化器参数序列S可以由一个感兴趣区域的分析器提供。
还进一步,所述确定所述最佳量化参数序列Q*作为最小化所述成本函数C(Q,S)的序列的步骤可以包括,用一个落入由所述建议的量化器参数序列S的量化器参数跨越的量化器参数值的范围内的k值来计算一个最佳的约束成本函数Ck *(St)的步骤,所述最佳约束成本函数是t个量化器参数的局部建议的量化器参数序列St的函数,并指示了通过使用任何可能的局部候选量化器参数序列Qt,k可获得的最低成本,所述序列具有作为一个最后第t个元素的带有所述k值的量化器参数。
还进一步,所述确定所述最佳量化参数序列Q*作为最小化所述成本函数C(Q,S)的序列的步骤可以包括子步骤:从所述建议的量化器参数序列S中确定一个从一个预定最小值到一个预定最大值的量化器参数值的范围;设定序列长度t等于1;设定k值等于所述预定最小值;计算最佳约束成本函数Ck *(St),所述最佳约束成本函数是t个量化器参数的局部建议的量化器参数序列St的函数,该最佳约束成本函数当t大于1时的计算是基于根据Ck *(St-1)给出的Ck *(St)并涉及一个条件r(k,j)+Cj *(St-1)的递归关系,其中r(k,j)是与在表示具有变量j的Q上花费的比特数成比例的所述成本分量R(Q)的一个元素,所述j具有从所建议的量化器参数序列S确定的范围中的一个值;为当前t和k存储最小化条件r(k,j)+Cj *(St-1)的j值;计算所述最佳约束成本函数Ck *(St),并为所述当前t和k存储最小化条件r(k,j)+Cj *(St-1)的j值,对于连续的k值而言,每一个k值比前一个值大,直到k等于所述预定最大值为止,并且对连续的t值而言,每一个t值比先前t值大,直到t等于在一个帧中的宏块的数量为止;基于在所建议的序列S中的量化器参数值的范围内的所有k值的Ck *(St=n)的比较,来确定所述最佳成本函数C*(St=n);以及通过这样一个过程建立所述优化序列Q*:首先设定所述量化器参数,使得所述最后一个宏块等于最小化Ck *(St=n)的k值,然后向后跟踪,将为下一个宏块存储的j值分配到被建立的优化序列中的每个先前的量化器参数。
甚至再进一步,所述的成本函数分量D(Q,S)可以是由方程所给出的形式,
D ( Q , S ) = Σ i = 1 n d ( q i , s i ) ,
其中d(qi,si)是一个无记忆的宏块级非负成本分量,其具有作为自变量的一个所述候选量化器参数序列的元素qi和一个所建议的量化器参数序列的相应元素si;于是所述成本函数分量R(Q)可以是由方程所给出的形式,
R ( Q ) = Σ i = 1 n r ( q i , q i - 1 ) ,
其中r(qi,qi-1)是一个无记忆的宏块级的非负成本分量,其表示在为宏块i编码所述量化器参数所使用的比特数量和为宏块i-1编码所述量化器参数所使用的比特数量之间的关系;于是所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由所述方程给出,
并且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由下述方程给出,
                  d(qi,si)=(qi-si)2;此外所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由所述方程给出,
Figure A0282624800144
其中λ是一个用作速率失真折中参数的预定非负值和其中Nqi,qi-1是用来表示用qi-1给出的qi的比特数;而且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由方程给出
               d(qi,si)=‖mse(qi)-mse(si)‖,
其中mse(...)描述了在初始块内容和用所指示的量化器参数序列元素qi或si重建的宏块内容之间的均方差。
根据本发明的第二方面,提供了一种用来执行依据本发明的第一方面的方法的装置。
因此,本发明基于一个用来选择最佳的宏块QP的帧级算法。所述最佳标准可以被客观地定义,其允许将所述算法定制来适应不同的运算模式。尽管所述算法使用了一个动态编程方法,所述核心算法的计算复杂性是相当低的。
就发明人所知,本发明是用来帧级优化在H.263(+)或MPEG-4框架中选择宏块QP的第一方法。在一个精密QP控制的情形中,本发明的最优化将产生比现有技术更好地利用约束的比特预算,所述现有技术提供了不是最理想的精密QP控制。例如,H.263+编码器提供了完全控制QP变化的能力,但是需要一个高的花费(在比特上)。进一步,H.263编码器只能不是最理想地接近一个由ROI编码引擎建议的QP变化。在甚低比特率视频压缩应用中对于位比特预算的充分利用是尤其有利的。
所述核心算法的计算复杂性是相当低的。如果不考虑计算所述成本函数的元素,例如在某些实施例中的元素r(i,qi-1)和d(qi,si)的值的计算成本(因为所述成本函数的元素通常在所述核心算法之外来计算),那么所述核心算法典型地近似执行每个象素的一个加法和一个比较运算(或更少)。(在一个宏块中有256个象素。)在每个象素上这样数量的运算对于高性能的视频编码器来说开销是非常低的。
附图说明
通过考虑结合附图所呈现出的后续的详细描述,将使本发明的上述以及其它目的、特点和优点变得明显,其中:
图1是一个本发明的算法对其有用的类型的H.263编码器的框图,包括作为其主要元素的一个预测模块、块变换模块和量化模块、所有都在编码控制模块控制下;和
图2是本发明的算法的流程图;和
图3是图1的编码控制模块的一些元件的框图/流程图。
执行本发明的最佳模式
在此提供的公开是在H.263标准的背景下(也就是依据H.263标准的编码器),但是由本发明也可以直接应用于MPEG-4 VLBV标准,这是因为在两个标准之间的相似性。
所述最佳算法是称之为维特比算法的一种形式,其中为每一帧寻找所述最佳的QP序列。所述的维特比算法在THE VITERBI ALGORITHM byG.D.Foney,Jr.,Proc.IEEE,pp.268-278,March 1973中有描述。
术语QP序列在这里被用来表示一个具有与在一个帧中的宏块数量相等的长度,并通过以光栅扫描顺序拾取分配给每个宏块的QP建立的数据对象。在进入到更具体的描述之前,有必要定义一些表达式和表示一下在这里所使用的符号。
定义和符号
用si表示由感兴趣区域(ROI)编码引擎建议的第i个宏块的QP值,并用s={si}表示由所述ROI编码引擎建议的正被编码的帧的QP序列。用Q={qi}表示任何由所述优化算法分配作为响应于所述请求S而选择的所述帧的QP序列的候选QP序列。所述序列Q和S的每一个的长度等于在一个帧中的宏块的数量。用n表示该长度。
用st表示一个局部建议的QP序列{si}i=1..t(即{s1,s2,...,st}),其中t≤n。依据该符号,Sn=S。类似地,用Qt来表示一个局部候选QP序列。作为一个Qt的稍微约束的形式,用Qt,k表示一个局部序列Qt,其最后一个元素qt=k(其中k是在区间[1,31]内的一个整数)。这样,例如,如果t=5(并且小于在一个帧中的宏块的数量n)和k=8,那么Qt可能是序列{3,5,2,4,8},但也可以是任何具有五个元素、其中最后一个元素的值是8的序列。
用C(Q,S)表示当S是所建议的QP序列时选择Q作为所述QP序列的某一成本。对于一个可以感觉(即与直觉一致)到的成本函数C(Q,S)来说,应当至少具有下述的特性。
a)C(Q,S)必须是非负的。
b)如果Q是不可表示的,那么所述相关成本C(Q,S)被定义为无穷大。(如果一个视频编码器可以不用改变QP序列的值就能对其编码的话,那么可以说QP序列是可以表示的。例如,所述QP序列{5,12,...}不能被一个H.263编码器表示,因为由H.263编码器编码的连续QP值相差不能超过+-2,但是在本例中12和5相差7。按照约定,我们可以说需要无穷多的比特来表示序列{5,12,...},以至于序列从来都不被选作最佳近似值。)
c)必须要有一个与根据一个预定标准测量的Q和S之间的差值直接或间接成比例的分量。这样一个差值或差异分量,在此用D(Q,S)表示,并推动所述优化器来选择一个接近于S的QP序列。在大多数实际情况中,D(Q,S)可以是所谓的无记忆宏块级非负成本分量的总和,所述分量由下述方程给出,
D ( Q , S ) = Σ i = 1 n d ( q i , s i ) . . . ( 1 )
这里所用的术语“无记忆”的意思是,如果i≠k,那么所述第i个宏块的成本分量不依赖于qk和sk。然而D(Q,S)无需具有由方程(1)给出的特定形式。
d)它应该具有一个在此称作R(Q)的分量,其与花费用来表示Q的比特成比例并且不依赖于S。(所述R(Q)值是用来编码一个QP序列Q所需的比特的数量。S是由所述ROI分析器建议的QP序列。解码器不知道S,因此如果R(Q)的确依赖于S,那么Q的表示将是不可解码的。)如果Q是不可表示的,我们使用在此的约定R(Q)=+∞。在MPEG-4,H.263和H263+中使用的差分编码表明,R(Q)可以是一个由下述方程给出的宏块级非负成本分量的总和,
R ( Q ) = Σ i = 1 n r ( q i , q i - 1 ) . . . ( 2 )
其中所述形式r(qi,qi-1)是指示了这样的事实,即用来编码第i个宏块的QP的比特数量qi依赖于前一宏块,也就是qi-1的量化器参数。对于第一宏块(i=1)来说,其中前一个宏块QP是无效的,可以使用在帧层规定的这里称之为PQUANT的QP。同样地,q0被定义等于PQUANT。
将R(Q)和D(Q,S)分量相加来产生所导出的条件,
C ( Q , S ) = D ( Q , S ) + R ( Q ) = Σ i = 1 n [ d ( q i , s i ) + r ( q i , q i - 1 ) ] . . . ( 3 )
现在我们定义一个最低成本函数C*和一个最佳QP序列Q*。所述最低成本C*是S的函数,并且被如下来定义:
C * ( S ) = min Q [ C ( Q , S ) ] . . . ( 4 )
并且Q*被定义为产生最低成本的QP序列Q。C*()的一个约束版,表示为Ck *(),是一个考虑了在以qlast=k结束的候选序列上的最小化的成本函数,并在此别以下面给出的方程来定义,
C k * ( S t ) = min Q i , k [ C ( Q i , k , S i ) ] . . . ( 5 )
在下面描述的最佳算法所使用的主要定义涉及所述约束最小化C*()。
最后Qt,k *被定义为产生所述最低成本的Qt,k。(Qt,k表示一个最后元素qt为k值的局部序列Qt。)
本发明所使用的优化算法的来源
C*()和Ck *()具有如下的相互关系:
Figure A0282624800184
这里的目标是如由方程(6)给出的那样来计算C*(S)和相关的Q*。因此Ck *(S)必须用在建议的QP值的动态范围内k值来计算。为了计算CK *(S),使用由方程(5)给出的Ck *(S)定义来达到随后组的递归关系:
C k * ( S 1 ) = d ( s 1 , k ) + r ( k , q 0 ) . . . ( 7 )
其中q0是在确定了最佳QP序列的宏块之前并紧接着其的宏块的QP值,或其它合适的值,例如帧级QP值(即为整个帧所使用的QP值)。
在递归步骤(8),用j*表示最小化的j值,即最小化r(k,j)+Cj *(st-1)的值j。然后,qt-1=j*是qt=k的最好的前面状态。(回想所述数量r(k,j)的变量k和j分别是值qt和qt-1。)换句话说,如果最佳序列具有qt=k,那么也必须有qt-1=j*。通过符号best Prevt(k)=j*来表示该关系。(这样一种关系是维特比算法的基础。)
随后通过根据方程(7)和(8)递归计算Ck *(S)来执行最优化(找到产生所述最低成本的QP序列Q),然后从方程(6)中计算C*(S)。在所述递归计算期间为每个(t,k)对存储最好的先前状态j*,允许跟踪到与已经计算出的最低成本相关的最佳QP序列。
作为伪码的算法
上面所阐述的算法可以用下面的伪码来表示。
For t=1 to n{其中n是在一帧中宏块的数量}
For k=QPmin to QPmax in increments of 1{其中QPmin和QPmax分别是QP的某个可能的最小值和最大值,典型地是从1到31}
Compute and store Ck *(S)(S is Sn)according to equation(7)and(8),i.e.according to C k * ( S i ) = d ( s 1 , k ) + r ( k , q 0 ) and
Figure A0282624800192
Set j*to the value of j that minimizes r ( k , j ) + C j * ( S t - 1 ) ;
Set best Prevt(k)=j*
Compute C*(S)according to equation(6),i.e.according to and so determinek*,the value of k that provides the minimum of all Ck *(S);
Set qn=k*
For i=n-1 down to 1
Set qi=best Previ+1(qi+1);
End.
于是所述寻找后的QP序列是{q1,q2...,qn},并且是在所建议的QP序列和所述比特预算之间的一个折中,即是最大化所述成本函数C(Q,S)的QP序列。
图2是本发明的QP优化算法的流程图,指示了本发明一般地包括一个接收一个建议的量化器参数序列S的步骤21,一个定义成本函数C(Q,S)的下一个步骤22,所述成本函数C(Q,S)具有表示一个根据一个预定标准测量的在所述候选序列Q和所建议的量化器参数S之间的差异的元素D(Q,S),并具有一个与花在表示所述候选序列Q的比特数量成比例的分量R(Q);和一系列通向确定所述最佳量化器参数序列Q*,即最小化所述成本函数C(Q,S)的最佳序列Q*的步骤2324 25。根据上面的描述,所述流程图也表示了通向确定所述最佳量化器参数序列Q*一系列步骤23 24 25的细节。
依据本发明的编码控制模块的结构
现在参考图3,图1的编码控制模块14被更具体地展示为包括一个优化器模块14a,其根据本发明的算法确定所述最佳QP序列,所述优化基于具有两个分量D(Q,S)和R(Q)中的每一个的特定定义的成本函数C(Q,S)。(所述成本函数的定义作为一个输入被提供给所述优化器模块。)所述优化模块将例如由一个ROI引擎31(通常处于所述编码控制的模块14的外部)提供的所述建议序列S用作一个输入。所述最佳序列Q被提供给控制器模块14b,其然后将所述运算参数p,t,qz和q提供给一个视频编码器(没有示出)。
所述编码控制模块14可以包括(如果没有单独示出)所述ROI引擎31,如果这样的话,它应当具有作为一个输入的视频输入。然而,所述ROI引擎也可以作为输入到所述编码控制模块14的所述成本函数信号的源或发生器来示出。所述成本函数可以具有很大差异的形式。
本发明的各种实施例,包括最佳模式
方程(1)和(2)的成本分量量r(qi,qi-1)和d(qi,si)的不同定义导致本发明的不同实施例。任何可感觉的成本函数,即任何具有上述标为(a)-(d)属性的成本函数,都能通向一个很好的实施例。本发明的一个实施例是任何视频编码器,优选是依据H.263,MPEG-4 VLBV或H.263+的视频编码器,其中处理器用上述的QP最佳算法来进行帧级QP控制。
这里描述两个实施例:一个简单模式,其实现起来相对便宜,以及一个高性能模式,其通常是优选的实施例,尽管在某些应用中优选简单模式。
简单模式
所述简单模式主要应用于依据MPEG-4和H.263的视频源编码器。在所述简单模式中,r(qi,qi-1)和d(qi,si)被如下定义:
Figure A0282624800201
               d(qi,si)=(qi-si)2。    (10)
所述优化器的目的是找到“最佳可表示的近似值”。所述简单模式强调所述可表示部分,在某种意义上,其寻找近似值的多数努力花费在寻找可表示的序列。(注意这在H.263+由于所有序列都是可表示的,因此不是问题,但是一些序列要花费更多的比特。)所述简单模式的目标是用一个可表示的序列尽可能近地接近于所建议的QP序列。(所述ROI引擎总是建议一个序列,其中每个QP在[1,31]的范围内。然而,在[1,31]的范围内的每个QP对于一个序列的可表示性是不够的,例如对于H.263,并且没必要将所述ROI引擎的可表示性建议为一个可表示的序列。使所述ROI引擎免于承担建议一个可表示的序列的责任将使得所述ROI引擎更轻便,因为可表示性是一个依赖于系统的问题。对于H.263+来说,可表示性不是主要问题,因为在区间[1,31]的任何QP(只有整数)可以被表示。因此,所述简单模式对于依据H.263+的源编码器的操作不是特别有用。
一个简单模式的例子
假定ROI引擎已经为在图片内的一个任意位置产生了一个建议的QP序列6、7、3、2、1、3,并且在所述序列中在第一宏块的前面并紧接于其的宏块的QP值是5,因此其是在方程(7)中被用作q0的值。(如果所述情况是前一宏块QP无效,那么帧级QP的值将被用作q0。)
在该例子中,在被检查的序列中的宏块的数量是6,因此t=[1,6]并因此在上面的方程中使用的符号中的n=6。注意到建议的QP值的动态范围是从1到7,因为q0被包括在所述范围内,在上面所用的符号中k=[1,7]。(如果建议的QP值的范围不包括q0,那么该范围应该被扩展来这样做。)图4展示了下面指示的计算结果。
下一步骤是设定t=1,并为所述约束局部序列Ck *(S1)计算所述最小成本,其中k从1变化到7。如果在连续的QP值之间的差是2或更少,那么与花费在表示由方程(9)给出的Q的比特成比例的成本函数的分量产生值0,否则产生一个意味着不可接受的无穷大值(∞)。由于前一QP值被假定为5,因此由于由方程(9)给出的成本分量对C1 *(S1)和C2 *(S1)中的每个是无穷的,所以为两者的成本也是无穷的。
依据方程(7),对于C3 *(S1)的成本是
C 3 * ( S 1 ) = d ( 6,3 ) + r ( 3,5 ) ,
其中,通过使用方程(9)和(10),变成
C 3 * ( S 1 ) = ( 3 - 6 ) 2 + 0 = 9 ,
并因此被记录在图4的表中以Ck *(S1)开头栏下的k=3和t=1的格子中。对于t=1和其它k值的成本函数的值被以一种相似的方式来计算,结果是: C 4 * ( S 1 ) = 4 , C 5 * ( S 1 ) = 1 , C 6 * ( S 1 ) = 0 C 7 * ( S 1 ) = 1 . 所有这些值都被存储起来以备后来使用(并在图4中的表中示出)。
下一步骤是确定为在序列中的第二宏块选择不同QP值的成本,即对于t=2。从方程(8),k=1和t=2时,
为了求得C1 *(S2)的值,我们需要选择最佳可能的j值,即最小化 r ( 1 , j ) + C j * ( S 1 ) 的j值。由于在相邻宏块之间的的QP值中只允许变化2(因为否则依据方程(9)的成本将是无穷大),对于k值为1来说,j的可能选择只有1、2和3。当选择j值时,我们可以向后看并看看对于前一状态(t=t-1)来说选择j所产生的最低总成本,或者我们可以使用方程(8)(也可以是方程(9)和(10))来计算所有可能j值的成本,接着就可以看出选择j所产生的最低成本。不管使用什么方法,结果是相同的。在这种情况下,在j等于1或2时,所述成本是无穷大(因为对于j=1或2来说,Cj *(S1)是无穷大),因此对于k=1的最低成本是对于j=3。用3来代替j,我们得到
= 6 2 + [ 0 + 9 ] = 45
并且因此j*(k,t)=j*(1,2)=Best Prevt(k)=Best Prev2(1)=3。如图4所示的那样,这两个值(45和3)被存储。
下一步,对于k=2,(并且仍然t=2),
Figure A02826248002211
再者,不得不作出最佳可能的j值的选择。由于允许±2的变化(在j和k之间),我们现在有4个可能的j值,即1、2、3和4。在前一状态(t=1),对于这些值中的任何一个来说,最低成本是 C 4 * ( S 1 ) = 4 , 因此我们选择j=4,产生,
Figure A0282624800232
= 5 2 + [ 0 + 4 ] = 29
因此,对于C2 *(S2)(即k=2和t=2)来说,最好的前面的状态(t=1)具有一个为4的QP值,因此设置BestPrev2(2)=4。如图4所示,对于t=2的其余值是 C 3 * ( S 2 ) = 17 , C 4 * ( S 2 ) = 9 , C 5 * ( S 2 ) = 4 , C 6 * ( S 2 ) = 1 C 7 * ( S 2 ) = 0 . 这些值又被与相应的j*(k,2)值一起存储起来。对于所有的t值来说继续以相似的方式来处理直到计算出C7 *(S6)。
下一步,比较所有的Ck *(S6)值,并根据方程(6)选择最小值作为C*(S)。在该例子中, 现在我们通过使用存储的j*(k,t)=Best Prevt(k)值来跟踪产生最低成本的“路线”。为了这样做,接着上面的伪码算法(倒数第三行),首先设定qn=k*,其中k*是在t=n处产生最低成本的k值。在本例中,q6=k*=3。因此我们的最佳Q*序列的最后一个值是3(由于对于k=3的成本是2,对于所有t=6的成本是最少的)。下一步设定i=n-1,并得到,
     qi=qs=Best Previ+1(qi+1)=Best Prev6(3)=j*(3,6)=1,
因此在我们的Q*序列中倒数第二个值qn-1是1。对于i=n-2来说,j*(k,t)的值是2,因此在我们的序列中的下一个QP值是2,等等。所选择的序列是这样的:6、6、4、2、1、3,其中除最后一个值以外所有的值都被在图4中用具有这些值的格子的阴影来表示,并且所述最后一个值(QP=3)是相应于t=6时最低成本为2的k值,该k值是3。
高性能模式
所述高性能模式可以为MPEG-4,H.263和H.263+中的每一个来使用。这里,r(qi,qi-1)和d(qi,si)被定义如下:
         d(qi,si)=‖mse(qi)-mse(si)‖       (12)
其中λ是一个用作速率失真折中参数的预定非负值,Nqi,qi-1是需要用来表示由qi-1给出的qi比特数量,以及当qi被用作所述宏块的QP时,mse(qi)表示在初始宏块内容和重建的宏块内容之间的均方差。(所述均方差是一个在两个矢量、矩阵、图像或一般地在两个具有相同级别的多元素数量之间的测量误差。所述一个(多元素)数量的均方差等于所述指明的数量和某一参考数量之间的元素方面差值的平方的平均数(平均)。)(符号mse被用来表示在宏块的初始象素值与所述宏块的编码的象素值之间的测量误差。所述宏块的编码象素值受各种编码参数所影响,包括为所述宏块使用的QP。然而,所述宏块的初始象素值(所述参考数量)是一个到所述视频编码器的输入,并且不受任何的编码参数以任何方式的影响。这样,为了便于符号化,通常没有对所述参考数量的直接参考。这样,当q被选作用来编码所述宏块的QP时,mse(q)表示在一个宏块的初始象素值和所述块的编码象素值之间的均方差,或用简略的术语来说,当q被选作用来编码所述宏块的QP时,mse(q)表示在初始宏块和编码宏块之间的均方差。)
所述高性能模式强调了比特预算的效率管理,并具有一个在跟随所述建议QP序列和最小化花费在用于QP变化的总比特之间找到最佳折中的目的。依据方程(12)的d(qi,si)计算在计算上是代价很高的,但不是令人望而却步的;所需要的计算还是比例如全范围块运动估计所需要的计算少得多,所述全范围块运动估计是视频编码器的主要计算集中的部分。
讨论
由依据本发明的视频编解码器所使用的帧级QP优化,可以通过比较编解码器输出的QP分布与所述视频源来辨别。典型地,一个具有依据本发明的帧级优化器的编解码器将响应于由所述QP的非正常变化所引起的急剧QP变换的需要。换句话说,这样一种编解码器将在产生这样一个需要之前开始增加(或降低)所述宏块的QP。这里,以前与所述宏块的一个光栅扫描顺序有关。所述宏块被以光栅扫描的顺序编码,即从左到右,从上到下。如果有一个可视的重要特征,例如脸,例如在第六个宏块,并且所有的其它宏块包括不重要的特征,那么所述ROI引擎将建议第6宏块的QP突然降低。接着所建议的QP序列S(由所述ROI引擎建议的)可能看起来象{15,15,15,15,15,10,15,15,...}。术语“以前”和“非正常”指该1-D序列。降低所述QP的需要被认为在等于6的索引(即第六位置)处出现。在H.263编码器中使用的相应的帧级优化QP变化将看起来有点象{15,15,15,15,13,11,13,15,15,...}。所述第一变化在具有等于5的索引的宏块处开始,其小于第一可视重要宏块的索引,即它是在第一可视重要宏块之前。一个不使用帧级优化的近似器将可能只在索引等于6时开始改变QP。
应当明白,本发明除了上述的方式外,还可以包含构成失真测量和成本函数的其它方式。例如,与花费用来表示一个候选的QP序列的比特成比例的成本函数的分量,可以被与花费用来编码实际图像(包括用来表示所述QP序列的比特)而不仅仅是所述QP序列成比例(或其它基于或相关的)的分量所代替。在这样一种表达式中,所述不可能的QP序列应当被再次分配给一个无穷大的成本(即一个相对非常大的值),如在上面所描述的那样,并且所述失真测量(无论它是什么)应当被扩展来包括一个用来说明所述图像的失真(或编码损失)的分量。
应该理解到上述的配置仅仅是本发明原理应用的示例而已。多种其它修改和可选的配置可以被本领域的熟练的技术人员设计而不脱离目前本发明的范围,并且所附的权利要求书目的是覆盖这些修改和配置。

Claims (24)

1、一种在视频编码器中选择量化参数值序列的方法,所述视频编码器被安排将一个视频帧编码为n个宏块的序列,并为所述视频帧的每个宏块分配一个量化参数值,所述方法的特征在于它包括步骤(23 24 25),其中分配给所述n个宏块序列的至少一个子集的量化参数值以这样一种方式被优化,以便使得与它们编码相关的成本最小化。
2、权利要求1所述的方法,进一步特征在于,所述的n个宏块序列的所述子集包括所有所述的n个宏块。
3、权利要求1所述的方法,进一步特征在于,对分配给所术n个宏块序列的至少一个子集的所述量化参数值的优化是使用一个维特比搜索算法来执行的。
4、权利要求1所述的方法,进一步特征在于,对分配给所述n个宏块序列的至少一个子集的所述量化参数值的优化是通过比较与编码量化参数值的建议序列相关的成本和编码量化参数值的候选序列的成本来执行的。
5、权利要求1所述的方法,其中所述方法是用来对视频编码器的量化器参数QP提供帧级控制,所述视频编码器具有用于一个帧的每个宏块的一个量化器参数,一帧由n个宏块构成,所述方法从一组所有的可能量化器参数序列中提供一个最佳量化器参数序列Q*,所有的可能量化器参数序列具有一个作为充当一个候选量化器参数序列的任意元素的量化器参数序列Q,所述最佳量化器参数序列Q*最小化一个指示使用所述候选量化器参数序列Q代替一个建议的量化器参数序列S的成本的成本函数C(Q,S),所述方法的进一步特征在于它包括:
a)一个接收建议的量化器参数序列S的步骤(21);
b)一个定义成本函数C(Q,S)的步骤(22),所述成本函数C(Q,S)具有一个表示在所述候选序列Q和根据一个预定标准测量的建议量化器参数序列S之间的差异的分量D(Q,S),以及一个与花费在表示所述候选序列Q的比特数量成比例的分量R(Q);以及
c)一个确定所述最佳量化器参数序列Q*作为最小化所述成本函数C(Q,S)的序列的步骤(23 24 25)。
由此提供一个在比特效率方式上近似于所述建议量化器参数序列S的最佳量化器参数序列Q*
6、权利要求5所述的方法,进一步特征在于,所述建议量化器参数序列S由一个感兴趣区域分析器来提供。
7、权利要求5所述的方法,进一步特征在于,确定所述最佳量化器参数序列Q*作为最小化所述成本函数C(Q,S)的序列的步骤(23 24 25),包括使用落入由所述建议量化器参数序列S的量化器参数跨越的量化器参数值范围的k值计算一个最佳的约束成本函数Ck *(St)的步骤(25),所述最佳约束成本函数是t个量化器参数的局部建议量化器参数序列St的函数,并指示通过使用任何可能的局部候选量化器参数序列Qt,k获得的最低成本,所述序列Qt,k具有作为最后一个的第t个元素的一个带有所述k值的量化器参数。
8、权利要求5所述的方法,进一步特征在于,确定所述最佳量化器参数序列Q*作为最小化所述成本函数C(Q,S)的序列的步骤(23 24 25),包括子步骤:
a)从所述建议量化器参数序列S中确定一个从一个预定最小值到预定最大值的量化器参数值范围;
b)设定序列长度t等于1;
c)设定k值等于所述预定最小值;
d)计算一个最佳的约束成本函数Ck *(St),所述最佳约束成本函数是t个量化器参数的局部建议量化器参数序列St的函数,该最佳约束成本函数当t大于1时的计算是基于根据Ck *(St-1)给出的Ck *(St)并涉及一个条件r(k,j)+Cj *(St-1)的递归关系,其中r(k,j)是与花费在表示Q的比特的数量成比例的成本函数分量R(Q)的一个元素,所述Q具有在从所述建议量化器参数序列S中确定的范围内的一个值的变量j;
e)为当前的t和k存储最小化条件r(k,j)+Cj *(St-1)的j值;
f)使用连续的每个比前一个k值大的k值和连续的每个比前一个t值大的t值来计算所述最佳约束成本函数Ck *(St),并为当前的t和k存储最小化条件r(k,j)+Cj *(St-1)的j值,直到k等于所述预定最大值为止并且t等于在一个帧中的宏块数量;
g)根据对于在所述建议序列S中的量化器参数值范围内的所有k值的Ck *(St=n)的比较,确定所述最佳成本函数C*(St=n);以及
h)通过这样一个过程建立所述优化序列Q*:首先设定所述量化器参数,使得所述最后一个宏块等于最小化Ck *(St=n)的k值,然后向后跟踪,将为下一个宏块存储的j值分配到被建立的优化序列中的每个先前的量化器参数。
9、权利要求5所述的方法,进一步特征在于,所述成本函数分量D(Q,S)是由下述方程给出的形式,
D ( Q , S ) = Σ i = 1 n d ( q i , s i ) ,
其中d(qisi)是一个无记忆宏块级非负成本分量,所述分量具有一个作为自变量的所述候选量化器参数序列的元素qi和一个所述建议量化器参数序列的相应元素si
10、权利要求9所述的方法,进一步特征在于,所述成本函数分量R(Q)是由下述方程给出的形式,
R ( Q ) = Σ i = 1 n r ( q i , q i - 1 ) ,
其中r(qi,qi-1)是一个无记忆的宏块级的非负成本分量,其表示在为宏块i编码所述量化器参数所使用的比特数量和为宏块i-1编码所述量化器参数所使用的比特数量之间的关系。
11、权利要求10所述的方法,进一步特征在于,所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由下述方程给出,
Figure A028262480004C3
并且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由下述方程给出
              d(qi,si)=(qi-si)2
12、权利要求10所述的方法,进一步特征在于,所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由下述方程给出,
Figure A028262480005C1
其中λ是一个用作速率失真折中参数的预定非负值和其中Nqi,qi-1是用来表示用qi-1给出的qi的比特数;而且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由下述方程给出
d(qi,si)=‖mse(qi)-mse(si)‖,
其中mse(...)描述了在初始块内容和用所指示的量化器参数序列元素qi或si重建的宏块内容之间的均方差。
13、一种在视频编码器中选择量化参数值序列的装置,所述视频编码器被配置来将一个视频帧编码为n个宏块的序列,并为所述视频帧的每个宏块分配一个量化参数值,所述装置的特征在于它包括装置(14),其用来分配量化参数值到所述n个宏块序列的至少一个子集,以这样一种方式优化以便使得与它们编码相关的成本最小化。
14、如权利要求13所述的装置,进一步特征在于,所述的n个宏块序列的所述子集包括所有所述的n个宏块。
15、如权利要求13所述的装置,进一步特征在于,对分配给所述n个宏块序列的至少一个子集的所述量化参数值的优化是使用一个维特比搜索算法来执行的。
16、如权利要求13所述的装置,进一步特征在于,对分配给所述n个宏块序列的至少一个子集的所述量化参数值的优化是通过比较与编码量化参数值的建议序列相关的成本和编码量化参数值的候选序列的成本来执行的。
17、如权利要求13所述的装置,其中所述装置具有被所述视频编码器使用的一个量化器参数的帧级控制和由所述视频编码器处理的一个帧的每个宏块的一个量化器参数,一帧由n个宏块构成,所述帧级控制基于从一组所有可能的量化器参数序列中提供一个最佳量化器参数序列Q*,所有的可能量化器参数序列具有一个作为充当一个候选量化器参数序列的任意元素的量化器参数序列Q,所述最佳量化器参数序列Q*最小化一个指示使用所述候选量化器参数序列Q代替一个建议的量化器参数序列S的成本的成本函数C(Q,S),所述装置的进一步特征在于它进一步包括:
a)装置(14a),用来接收建议的量化器参数序列S;
b)装置(14a),用来定义成本函数C(Q,S),所述成本函数C(Q,S)具有一个表示在所述候选序列Q和根据一个预定标准测量的建议量化器参数序列S之间的差异的分量D(Q,S),以及一个与花费在表示所述候选序列Q的比特数量成比例的分量R(Q);以及
c)装置(14a),用来确定所述最佳量化器参数序列Q*
所述视频编码器由此确定一个在比特效率方式上近似于所述建议量化器参数序列S的最佳量化器参数序列Q*
18、如权利要求17所述的装置,进一步特征在于,所述建议量化器参数序列S由一个感兴趣区域分析器(31)来提供。
19、如权利要求17所述的装置,进一步特征在于,所述装置(14a)用来确定最小化所述成本函数C(Q,S)的所述最佳量化器参数序列Q*,并使用落入由所述建议量化器参数序列S的量化器参数跨越的量化器参数值范围的k值计算一个最佳的约束成本函数Ck *(St)的所述最佳量化器参数序列Q*,所述最佳约束成本函数是t个量化器参数的局部建议量化器参数序列St的函数,并指示通过使用任何可能的局部候选量化器参数序列Qt,k获得的最低成本,所述序列Qt,k具有作为最后一个的第t个元素的一个带有所述k值的量化器参数。
20、如权利要求17所述的装置,进一步特征在于,所述装置(14a)用来确定最小化所述成本函数C(Q,S)的所述最佳量化器参数序列Q*,包括:
a)从所述建议量化器参数序列S中确定一个从一个预定最小值到预定最大值的量化器参数值范围的装置;
b)设定序列长度t等于1的装置;
c)设定k值等于所述预定最小值的装置;
d)计算一个最佳的约束成本函数Ck *(St)的装置,所述最佳约束成本函数是t个量化器参数的局部建议量化器参数序列St的函数,该最佳约束成本函数当t大于1时的计算是基于根据Ck *(St-1)给出的Ck *(St)并涉及一个条件r(k,j)+Cj *(St-1)的递归关系,其中r(k,j)是与花费在表示Q的比特的数量成比例的成本函数分量R(Q)的一个元素,所述Q具有在从所述建议量化器参数序列S中确定的范围内的一个值的变量j;
e)为当前t和k存储最小化条件r(k,j)+Cj *(St-1)的j值的装置;
f)装置,使用连续的每个比前一个大的k值和连续的每个比前一个t值大的t值来计算所述最佳约束成本函数Ck *(St),并为当前的t和k存储最小化条件r(k,j)+Cj *(St-1)的j值,直到k等于所述预定最大值为止并且t等于在一个帧中的宏块数量;
g)装置,根据对于在所述建议序列S中的量化器参数值范围内的所有k值的Ck *(St=n)的比较,确定所述最佳成本函数C*(St=n);以及
h)装置,通过这样一个过程建立所述优化序列Q*:首先设定所述量化器参数,使得所述最后一个宏块等于最小化Ck *(St=n)的k值,然后向后跟踪,将为下一个宏块存储的j值分配到被建立的优化序列中的每个先前的量化器参数。
21、如权利要求17所述的装置,进一步特征在于,所述成本函数分量D(Q,S)是由下述方程给出的形式,
D ( Q , S ) = Σ i = 1 n d ( q i , s i ) ,
其中d(qi,si)是一个无记忆宏块级非负成本分量,所述分量具有一个作为自变量的所述候选量化器参数序列的元素qi和一个所述建议量化器参数序列的相应元素Si
22、如权利要求21所述的装置,进一步特征在于,所述的成本函数分量R(Q)是由下述方程给出的形式,
R ( Q ) = Σ i = 1 n r ( q i , q i - 1 ) ,
其中r(qi,qi-1)是一个无记忆的宏块级的非负成本分量,其表示在为宏块i编码所述量化器参数所使用的比特数量和为宏块i-1编码所述量化器参数所使用的比特数量之间的关系。
23、如权利要求22所述的装置,进一步特征在于,所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由下述方程给出,
并且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由方程给出
                    d(qi,si)=(qi-si)2
24、如权利要求22所述的装置,进一步特征在于,所述成本函数分量R(Q)的一个元素r(qi,qi-1)可以由下述方程给出,
Figure A028262480008C2
其中λ是一个用作速率失真折中参数的预定非负值和其中Nqi,qi-1是用来表示用qi-1给出的qi的比特数;而且所述成本函数分量D(Q,S)的一个元素d(qi,si)可以由方程给出
              d(qi,si)=‖mse(qi)-mse(si)‖,
其中mse(...)描述了在初始块内容和用所指示的量化器参数序列元素qi或si重建的宏块内容之间的均方差。
CNB028262484A 2001-12-28 2002-12-18 在视频编码器中选择宏块量化参数的方法和装置 Expired - Fee Related CN100362863C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/035,017 US6763068B2 (en) 2001-12-28 2001-12-28 Method and apparatus for selecting macroblock quantization parameters in a video encoder
US10/035,017 2001-12-28

Publications (2)

Publication Number Publication Date
CN1608372A true CN1608372A (zh) 2005-04-20
CN100362863C CN100362863C (zh) 2008-01-16

Family

ID=21880105

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028262484A Expired - Fee Related CN100362863C (zh) 2001-12-28 2002-12-18 在视频编码器中选择宏块量化参数的方法和装置

Country Status (7)

Country Link
US (1) US6763068B2 (zh)
EP (1) EP1488628A4 (zh)
JP (1) JP4510463B2 (zh)
KR (1) KR100953152B1 (zh)
CN (1) CN100362863C (zh)
AU (1) AU2002356361A1 (zh)
WO (1) WO2003061265A2 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542035B2 (en) * 1995-11-15 2009-06-02 Ford Oxaal Method for interactively viewing full-surround image data and apparatus therefor
KR100487986B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 화상 복호화 장치
WO2003090444A2 (en) * 2002-04-15 2003-10-30 The Trustees Of Columbia University In The City Of New York Methods for selecting a subsequence of video frames from a sequence of video frames
US7489727B2 (en) * 2002-06-07 2009-02-10 The Trustees Of Columbia University In The City Of New York Method and device for online dynamic semantic video compression and video indexing
KR100486524B1 (ko) * 2002-07-04 2005-05-03 엘지전자 주식회사 비디오 코덱의 지연시간 단축 장치
US7180947B2 (en) * 2003-03-31 2007-02-20 Planning Systems Incorporated Method and apparatus for a dynamic data correction appliance
US20050007453A1 (en) * 2003-05-02 2005-01-13 Yavuz Ahiska Method and system of simultaneously displaying multiple views for video surveillance
US7528881B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Multiple object processing in wide-angle video camera
US7529424B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US20100002070A1 (en) 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US20050028215A1 (en) * 2003-06-03 2005-02-03 Yavuz Ahiska Network camera supporting multiple IP addresses
US7471726B2 (en) 2003-07-15 2008-12-30 Microsoft Corporation Spatial-domain lapped transform in digital media compression
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
WO2005076632A2 (en) * 2004-01-30 2005-08-18 Thomson Licensing Encoder with adaptive rate control for h.264
US7893985B1 (en) 2004-03-15 2011-02-22 Grandeye Ltd. Wide angle electronic camera with improved peripheral vision
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7366359B1 (en) 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US20060062478A1 (en) * 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
US8860780B1 (en) 2004-09-27 2014-10-14 Grandeye, Ltd. Automatic pivoting in a wide-angle video camera
US9141615B1 (en) 2004-11-12 2015-09-22 Grandeye, Ltd. Interactive media server
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
US7471850B2 (en) * 2004-12-17 2008-12-30 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
EP2164056A2 (en) * 2004-12-27 2010-03-17 Emitall Surveillance S.A. Efficient scrambling of regions of interests in an image or video to preserve privacy
US7751478B2 (en) * 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
US7894531B1 (en) 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US7830961B2 (en) * 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
KR100813258B1 (ko) 2005-07-12 2008-03-13 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
KR101045205B1 (ko) * 2005-07-12 2011-06-30 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
US8036274B2 (en) * 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
KR20070056229A (ko) * 2005-11-29 2007-06-04 주식회사 케이티 영상 부호기 및 이의 관심 영역 검출방법
US8170102B2 (en) * 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8059721B2 (en) * 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8787445B2 (en) * 2007-03-15 2014-07-22 Nvidia Corporation Allocation of available bits to represent different portions of video frames captured in a sequence
US8340512B2 (en) * 2007-03-15 2012-12-25 Nvidia Corporation Auto focus technique in an image capture device
US8290357B2 (en) * 2007-03-15 2012-10-16 Nvidia Corporation Auto-exposure technique in a camera
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8542730B2 (en) 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8830341B2 (en) * 2008-05-22 2014-09-09 Nvidia Corporation Selection of an optimum image in burst mode in a digital camera
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
US8447591B2 (en) * 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20090310672A1 (en) * 2008-06-13 2009-12-17 W&W Communications, Inc. Method and System for Rate Control in a Video Encoder
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
US8259794B2 (en) * 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
US9602821B2 (en) * 2008-10-01 2017-03-21 Nvidia Corporation Slice ordering for video encoding
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
EP2648409B1 (en) * 2011-03-10 2016-08-17 Nippon Telegraph And Telephone Corporation Quantization control device and method, and quantization control program
US9392158B2 (en) 2012-10-04 2016-07-12 Nvidia Corporation Method and system for intelligent dynamic autofocus search
US9621780B2 (en) 2012-10-04 2017-04-11 Nvidia Corporation Method and system of curve fitting for common focus measures
US10003792B2 (en) 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
US9031393B2 (en) 2013-06-12 2015-05-12 Nvidia Corporation Methods for enhancing camera focusing performance using camera orientation
US9565440B2 (en) * 2013-06-25 2017-02-07 Vixs Systems Inc. Quantization parameter adjustment based on sum of variance and estimated picture encoding cost
US8939582B1 (en) 2013-07-12 2015-01-27 Kabushiki Kaisha Topcon Optical coherence tomography with dynamic focus sweeping and windowed averaging
WO2015139165A1 (en) 2014-03-17 2015-09-24 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
DE102018112215B3 (de) * 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
CN109951706B (zh) * 2019-04-22 2021-01-01 湖南国科微电子股份有限公司 一种视频编码方法、装置及编码器
KR20230075016A (ko) 2021-11-22 2023-05-31 김은주 콘택트 타입 일차원 이미지 센서의 직접 제어 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US5745178A (en) * 1996-01-22 1998-04-28 Lucent Technologies Inc. Global rate control for model-assisted coding of low bit rate video
US6529631B1 (en) 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
EP0804035B1 (en) * 1996-04-25 2002-06-26 Matsushita Electric Industrial Co., Ltd. Moving picture encoding apparatus and method
US6043844A (en) * 1997-02-18 2000-03-28 Conexant Systems, Inc. Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding
EP0963657B1 (en) 1997-02-25 2002-11-27 British Broadcasting Corporation Digital signal compression encoding with improved quantisation
CN1136734C (zh) * 1997-07-29 2004-01-28 皇家菲利浦电子有限公司 可变比特率视频编码方法及相应的视频编码器
JP4361613B2 (ja) * 1997-07-29 2009-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変ビットレートビデオ符号化方法及び対応するビデオ符号化装置
US6118822A (en) * 1997-12-01 2000-09-12 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US6507616B1 (en) * 1998-10-28 2003-01-14 Lg Information & Communications, Ltd. Video signal coding method
JP4913280B2 (ja) * 1999-01-21 2012-04-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ画像を符号化する方法及び装置
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
JP3712344B2 (ja) * 2000-05-12 2005-11-02 日本電信電話株式会社 繰り返しビデオ信号符号化方法およびこの方法のプログラムを記録した記録媒体
DE10326041B4 (de) * 2003-06-10 2014-03-27 Robert Bosch Gmbh Verfahren zur Herstellung von PZT-basierten Keramiken mit niedriger Sintertemperatur und deren Verwendung

Also Published As

Publication number Publication date
AU2002356361A1 (en) 2003-07-30
JP2005515719A (ja) 2005-05-26
AU2002356361A8 (en) 2003-07-30
KR100953152B1 (ko) 2010-04-19
KR20040069198A (ko) 2004-08-04
US20030128756A1 (en) 2003-07-10
EP1488628A2 (en) 2004-12-22
WO2003061265A3 (en) 2004-03-25
US6763068B2 (en) 2004-07-13
JP4510463B2 (ja) 2010-07-21
CN100362863C (zh) 2008-01-16
WO2003061265A2 (en) 2003-07-24
EP1488628A4 (en) 2008-12-10

Similar Documents

Publication Publication Date Title
CN1608372A (zh) 在视频编码器中选择宏块量化参数的方法和装置
CN1120630C (zh) 对数字视频进行基于色度键编码的方法和设备
US8179981B2 (en) Method and apparatus for determining bit allocation for groups of pixel blocks in a picture according to attention importance level
CN1794815A (zh) 产生对图像或图像序列进行编码的量化矩阵的方法和设备
CN1893657A (zh) 用于视频编码器的编码位率控制方法及系统
CN1658673A (zh) 视频压缩编解码方法
CN1816151A (zh) 图框层速率控制的视讯编码方法和系统
CN1574970A (zh) 使用图像残余预测编码/解码图像的方法和设备
CN1820512A (zh) 消除块效应的方法、介质和滤波器
CN1941915A (zh) 视频编码方法及装置
CN1666429A (zh) 用于在视频编码中选择插值滤波器类型的方法和系统
CN1395801A (zh) 视频信息编码和解码方法、运动补偿视频编码器和相应的解码器
CN1726709A (zh) 利用基于图像的超前查看窗口进行速率控制
CN1640149A (zh) 影像数据转换装置以及影像数据转换方法
CN1846446A (zh) 编码视频图像的方法和布置
CN1926884A (zh) 视频编码方法和装置
CN1620821A (zh) 图像信息编码装置和图像信息编码方法、图像信息解码装置和图像信息解码方法
CN1258925C (zh) 多视角视频编解码预测补偿方法及装置
CN1495674A (zh) 运动向量补偿的内插装置和方法
CN1960495A (zh) 图像编码装置、方法及程序
CN1723711A (zh) 用于数字视频处理的一元化量度(umdvp)
CN1751522A (zh) 利用对选定宏块的跳过移动估计进行的视频编码
Li et al. Joint optimization for SSIM-based CTU-level bit allocation and rate distortion optimization
CN1842164A (zh) 解码视频数据的解码器和系统
CN1245028C (zh) 非均匀多层次六边形格点整象素运动搜索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080116

Termination date: 20101218