CN101335891A - 视频速率控制方法及视频速率控制器 - Google Patents

视频速率控制方法及视频速率控制器 Download PDF

Info

Publication number
CN101335891A
CN101335891A CN200810009927.6A CN200810009927A CN101335891A CN 101335891 A CN101335891 A CN 101335891A CN 200810009927 A CN200810009927 A CN 200810009927A CN 101335891 A CN101335891 A CN 101335891A
Authority
CN
China
Prior art keywords
mrow
time
mfrac
variance
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810009927.6A
Other languages
English (en)
Other versions
CN101335891B (zh
Inventor
Z·L·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mk Systems Us Holding Co
Mk Systems Usa
Mk Systems Usa Holding Co
Rio Media
Ericsson AB
Original Assignee
Tandberg Television AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tandberg Television AS filed Critical Tandberg Television AS
Publication of CN101335891A publication Critical patent/CN101335891A/zh
Application granted granted Critical
Publication of CN101335891B publication Critical patent/CN101335891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种视频速率控制方法及视频速率控制器,具体公开了用于编码视频信号的视频编码系统的视频速率控制的方法和装置,包括确定12在视频信号的时间t上的像素值的方差,并使用时间t的像素方差和输出比特数以及用于紧接着的前一时间t-1的量化参数、像素方差和输出比特数,计算13用于时间t的量化参数。

Description

视频速率控制方法及视频速率控制器
技术领域
本发明涉及视频速率控制且尤其涉及统计自适应视频速率控制。
背景技术
速率控制方法以及用于实现该方法的体系结构是任意视频编码方案的基本组成,以确保编码处理满足在应用的编码方案下设置的比特速率和质量限制条件。具体而言,该方法通过自适应编码参数寻求匹配输出比特速率,使得适当数目的比特被放置在缓冲存储器中,所述缓冲存储器用于帮助平滑图像统计的变化需求以匹配通常所需的固定输出比特速率。
通常需要在源于编码处理的图像质量和比特速率之间的折衷;过低的比特速率导致图像质量的不期望的降低。通过将用于给定应用的编码参数的优化组合作为对象(其中一些参数通过设备的算子(operator)适当地定义),同时作为整体地最小化用于实现该处理的硬件和软件计算资源上的负载(更具体而言,速率控制机制),速率控制方法可以获得这种折衷。此外,对算子通常需要设置所需的输出比特速率,且算子还可以通过例如过滤或下采样信号到较低的分辨率来调节输入的视频信号。给出诸如比特速率之类的参数的算子选择,取决于测量编码的困难程度,预处理阶段可以自动地进行这种过滤。一旦通过算子外部地设置了这些参数,编码算法试图调节其他主要参数以满足设置的限制条件,且编码算法主要通过对平滑缓冲存储器的填充状态的周期监控,将产生的编码比特的数目与所需的输出比特速率相匹配,其中平滑缓冲器的大小由算法本身定义。如果填充状态增加,算法通过增加量化的程度来减小输入的比特数目;反之,如果填充状态减小则减小量化的程度。量化程度中的这种变化受由算法定义的量化参数Qp影响。
实际上算法的实现可以通过最佳系统效率获得,即,最小硬件和软件资源与所需性能标准的获得相一致。考虑在长或短时间段上的图像行为,判定Qp值的装置管理,即速率控制,并不由算法说明定义,而是提供装置以频繁地发送Qp的值,其值将考虑在若干时间尺度上的输入图像统计行为,并由此将避免由于欠考虑的简单速率控制导致的异常。过于简单的速率控制的一种这样的异常在这样的情况下发生:其中,Qp的值在太短的时间段被判定,使得活动图像的上部以根本不同于下部的Qp编码,结果是在解码之后图像的上下半部分的图像质量中的不期望的差异。为了避免这种差异,对Qp的较长期平均的一些测量也是必须的。因此要求提供在操作中也稳定且不违反使用的特定算法规则的生效的和有效的速率控制。
作为具有这种有效的速率控制方法的需要的结果,采用了在诸如宏块、片(slice)和图片(picture)之类的在若干周期上操作的若干控制级别,它们直接对应于所选编码算法的详细结构设计且与图像结构具有直接的联系。例如,图像的结构通常根据组成视频信号的每个单独图片的运动图像和单个图片元素或像素的序列的自然顺序分层地组织。典型地,图像的最重要的这些结构元素为:图片、片和宏块,它们每一个还是H264和其他视频编码方案的定义元素。“图片”是来自电视序列的一个完整图像;图片还已知为“帧”。根据产业实践,每个图片或帧还可以被分割成其中图像被隔行扫描的两个区域。
发明内容
根据本发明的第一方面,提供了一种用于编码视频信号的视频编码系统的视频速率控制的方法,包括:在视频信号的时间t上确定像素值的方差;以及使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数和该时间t-1上的像素方差和输出比特数,计算对于时间t的量化参数。
有利地,所述方差是修正方差,该修正方差是在时间t上计算的方差与紧接着的前一时间t-1上的类似的修正方差的函数。
便利地,修正方差V(t)被定义为:V(t)=(1-α)Va(t)+αV(t-1),其中Va(t)是在时间t上计算的方差,V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数,使得0<α<1。
有利地,时间t的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,其中Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,其中QP(t-1)是紧接着的前一时间t-1上的量化参数,β是常数,使得0>β>1,R(t)是时间t的输出比特的数目,R(t-1)是紧接着的前一时间t-1上的输出比特的数目且ε和η是常数。
可选地,时间t上的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,其中:Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,其中QP(t-1)是紧接着的前一时间t-1的量化参数,β是常数,使得0>β>1,R(t)是在时间t上的输出比特数,R(t-1)是在紧接着的前一时间t-1上的输出比特数,并且 η = R ( t - 1 ) - R ( t ) QP ( t ) V ( t ) - QP ( t - 1 ) V ( t - 1 ) , ϵ = R ( t ) + R ( t - 1 ) - R ( t ) 1 - V ( t ) · QP ( t - 1 ) V ( t - 1 ) · QP ( t ) .
有利地,量化参数进一步取决于输出缓冲器的当前填充率。
便利地,如果速率超过对应于输出缓冲器的上溢(overfilling)的上阈值,则增加量化参数,且如果速率低于对应于输出缓冲器的下溢(underfilling)的下阈值,则减少量化参数。
有利地,时间t对应于宏块、片、图片和图片组中的一个。
便利地,所述方法进一步包括为视频信号计算取决于运动向量的当前平均值的量化参数。
便利地,量化参数由下面的公式调整:QPm=QPs+ΔQP,其中其中和τ是被选择以提供自适应(adaptation)的选择度的参数,且QPm和QPs分别是用于当前宏块和当前片的量化参数的值,且Vm和Vs分别是当前宏块和当前片的方差且MV是运动向量的N个最近的值的平均,使得 | MV | 2 = 1 N Σ i = 0 N - 1 ( x i 2 + y i 2 ) , 其中xi和yi分别是运动向量的水平和垂直分量。
根据本发明的第二方面,提供了一种用于编码视频信号的视频编码系统的视频速率控制器,包括:用于确定视频信号的在时间t上的像素值的方差的装置;以及用于使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数,来计算用于时间t的量化参数的装置。
根据本发明的第三方面,提供了一种包含存储的计算机可执行软件代码的计算机可读介质,所述代码是用于编码视频信号的视频编码系统的视频速率控制的方法,所述方法包括:确定在视频信号的时间t上的像素值的方差;以及使用像素方差和时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数,计算用于时间t的量化参数。
当本领域普通技术人员结合附图检视本发明的特定实施例的以下描述时,本发明的其他方面和特征将变得显而易见。
附图说明
参考附图,现在将仅通过示例方式详细地描述本发明的实施例,附图中:
图1是根据本发明的设置量化参数值的方法的流程图;
图2是如本发明中所用的调整量化参数的值以维持上阈值和下阈值之间的速率的方法的流程图;以及
图3是具有根据本发明的一个方面的视频速率控制器的视频编码器的示意图。
具体实施方式
贯穿本说明书,相同的参考数字将用于表示相同的部分。
视频信号是复杂的、高结构化的实体,具有显著统计动态的丰富特征。这种复杂性要求编码算法也是复杂的,并且为了有效,必须具有多层,匹配图像本身的多层属性。使用下面的统计特征和描述图像的信息用于编码控制:
●时空行为,尤其是在这些维度中像素值的可预测性,
●运动向量的运动及其估计以及后续计算;
●视频场景改变、切割和消退,
●长期和短期的信号均值,
●长期和短期的信号方差,
●长期和短期的信号自相关,以及
●长期和短期的信号互相关。
速率控制处理基于自适应过程的这种信息做出编码决定和选择。这些统计测量应用于空间域中的每个图像的大的和小的区域,即,诸如MPEG/H264块、宏块和片之类的不同大小的像素集合,但也可以应用于时间域中的图像序列。
量化控制
如通过上面列出的参数所表达,根据本发明的速率控制方法通过将定义的输出速率与输入图像统计数据相匹配来进行操作。这典型地通过集合在定义的矩阵中的空间像素值或逐图片地获取的连续值之间的差,并使用诸如离散余弦变换[DCT]之类的合适的数学处理变换这些值,来获得。这本身不减小比特速率,但是通过转换的像素值的系数的明智的丢弃和量化,描述图像的信息量明显减小。通过图像的统计的知识告知和引导量化处理。本方法在输入的统计计算、数据预测和基于数据统计的量化级别的自适应方面引入了创新的处理。
速率控制过程和公式
本发明中使用的统计变量是基于宏块的。为简单起见,还能够对宏块、片、图片和图片组顺序地更新变量,使得每个宏块使用的合成Qp值是在多种周期上获得的方差的函数。
因而在下面的步骤描述速率控制过程,下面的步骤应用于完整的图片,但是它还可以用在图像结构的其他级别,例如,片和宏块。
步骤1:建立视频输入源统计
每一个宏块中的像素的当前平均值Pa被计算为:
Pa=∑P(I,J)>>8
其中P(I,J)是指数为I、J(即宏块阵列的第I行和第J列)的宏块中的像素值。每个像素的亮度值通常用于执行这种计算,不过,也可以考虑色度值。算子“>>x”代表二进制点x向左的位移,结果是算子前的值被2x除。8的位移表示被256除,256是16×16宏块的像素数。
参考图1,在步骤12,宏块像素的方差Va也被如下计算:
Va=(∑(P(I,J)-Pa)2)>>8
且修正方差被定义为:
V(t)=(1-α)Va(t)+αV(t-1)    (1)
其中α是适当选择的常数,使得0<α<1,且V(t)是在任意时间段t上获取的修正方差,它被方便地选择以与诸如图片或片或甚至是图片组(GoP)之类的图像的主要结构特征相一致。在此,t代表当前图片、片或GoP且(t-1)代表相应的前一个图片、片或GoP。
步骤2:量化步长估计
当前视频编码算法的主要参数之一是量化参数Qp。可以为每个图片或片定义该值,不过其值也可以以已知方式通过缓冲存储器的当前填充状态限制。
在根据本发明的实施例计算每个新的Qp值时,下面的自适应等式用于确定每次迭代中的量化参数值的改变或差分量化,其取决于方差和输出比特速率中的改变:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η    (2)
其中V(t)是如上计算的宏块像素的方差,R(t)是每宏块的平均输出比特数的当前值,且ε和η是速率估计系数,它们或是常数或是根据下面的等式(4)和(5)更新的变量。
为了平滑量化参数的方差中的改变,在步骤13,用于当前时间间隔的值可以相称地从在前的时间段的值和差分量化确定:
QP(t)=(1-β)Δqp+βQP(t-1)    (3)
其中β是常数,使得0<β<1,且它被选择以提供与在前值的依赖性的预定程度并由此提供量化参数值的平滑过渡。
另外,运动向量[MV]信息可用于贡献量化因子选择,如下:
QPm=QPs+ΔQP    (6)
其中,
其中
Figure A20081000992700122
和τ是选择的参数且QPm和QPs是用于宏块和片的量化因子的值,且Vm和Vs分别是宏块和片的方差。参数MV允许通过在最近的N个值上平均的运动向量的模的平方值,即, | MV | 2 = 1 N Σ i = 0 N - 1 ( x i 2 + y i 2 ) , 来考虑运动信息。值xi和yi是运动向量的水平和垂直分量。
使用为当前时间期间得出的量化参数实施编码转换和量化。
然后在步骤15,基于当前速率、量化参数和修正方差重新计算速率估计系数。用于图片、片或宏块的平均输出比特数的当前值R(t)被适当地获得以更新速率估计的系数:
η = R ( t - 1 ) - R ( t ) QP ( t ) V ( t ) - QP ( t - 1 ) V ( t - 1 ) , - - - ( 4 )
并且
ϵ = R ( t ) + R ( t - 1 ) - R ( t ) 1 - V ( t ) · QP ( t - 1 ) V ( t - 1 ) · QP ( t ) - - - ( 5 )
通过在步骤14确定诸如图片结尾的时间段的结尾何时到达,可以以每个图片、图片组等的频率更新系数和参数。
以这种方式,比特速率能够被维持在上阈值M和下阈值L之间,以提供量化收敛更新和输出缓冲更新,其中基于诸如所需的比特速率和输出缓冲器大小之类的应用要求来选择M和L。
如图2所示,对于帧/域:
如果R(t)>M,则QP(t)=QP(t-1)-STEP;
如果R(t)<L,则QP(t)=QP(t-1)+STEP;
否则,QP(t)=QP(t-1);
阈值本身可以如下调整:
如果M>f1*Target,则M=M*c1且
如果L<f2*Target,则L=L*c2
其中,f1、f2、c1、c2、M和L被选择为如上所述的常数,且fl>1,c1<1,f2<1且c2>1,且Target是输出缓冲器的优选填充状态。
然后可以使用修订的值编码下一帧(或子帧)。
本发明提供了用于视频编码和转码的速率控制方法、结构和系统。尽管本速率控制方案不限于H.264,当前处理具有优化的H.264编码的应用对象。
提出的速率控制包括在帧/域、片和宏块级别的用于视频编码和转码的比特流速率、缓冲器建模和管理、速度以及资源分配的优化。本速率控制方法是用于优化的速率失真性能的快速的一次通过法且它基于输入视频的语境,且速率控制的系统处理和控制被组织为预测性过程。该速率控制方法能够在统计复用和网络带宽管理算法中用在恒定比特速率(CBR)和可变比特速率(VBR)应用中。
本方法利用比在现有实施平台上实现的现有速率控制方法少得多的计算复杂性改善了编码性能和视频质量。提出的速率控制方案的模拟和实际实施就主观和客观测量而言已经显示了H.264编码的压缩质量改善。例如,与使用工业标准视频测试的序列的现有速率控制相比,获得了约2dB PSNR的改善。利用用于实时比特分配和编码/转码过程的分段式自适应构建输入和输出缓冲器模型。具体而言,在具有预测性比特分配和平滑机制的速率控制中使用给定资源的输出缓冲器占用率和应用要求。因而,对于给定缓冲器尺寸和速率的输出缓冲器占用率为速率控制过程所用。如果缓冲器占用率、缓冲器大小或比特速率改变,速率控制将相应地改变。
参考图3,在根据本发明的装置中,待编码的视频信号被输入到方差计算器31以计算例如宏块、片或图片上的时间t的像素方差V(t)。方差V(t)被输出到量化参数计算器34并输出到第一延时器311。用于紧接着的前一时间段t-1的方差V(t-1)也被从第一延时器311输出到量化参数计算器34。视频信号还被输入到用于计算比特速率R(t)的输出比特计算器,例如,当视频信号在时间t被编码时,待输出的每宏块输出比特数,R(t)被输入到量化参数计算器34。比特速率还被输出到第二延时器321,该第二延时器321输出用于紧接着的前一时间段t-1的比特速率R(t-1)到量化参数计算器34。最后,视频信号还经由第三延时器33被输出到视频编码器35。
量化参数计算器34输出量化参数值到第四延时器341,该第四延时器反馈用于紧接着的前一时间段t-1的量化参数QP(t-1)的值到量化参数计算器34,该计算器然后基于当前时间段t上的方差V(t)、紧接着的前一时间段上的方差V(t-1)、当前时间段t的比特速率R(t)、紧接着的前一时间段t-1的比特速率R(t-1)以及用于紧接着的前一时间段的量化参数QP(t-1),来计算当前时间段t的量化参数QP(t)。量化参数QP(t)用于在对应于时间t时对输入到编码器35的延迟的视频信号进行编码。
本发明提供下面的优点:
●基于以前的量化级别以及以前和当前的输入数据统计,自适应地预测当前量化级别;
●通过用于量化自适应和更新的公式(2)、(3)、(4)、(5)和(7)描述的改善的过程;
●改善的速率控制自适应过程。
本发明的可选实施例能够被实现为与计算机系统一起使用的计算机程序产品,所述计算机程序产品例如是存储在诸如磁盘、CD-RQM、ROM或硬盘之类的有形数据记录介质中或包含在计算机数据信号中的一系列计算机指令,所述信号在有形介质或无线介质(例如微波或红外)上传输。该一系列计算机指令能够组成上述功能性的全部或一部分,且还能够被存储在任意的诸如半导体、磁、光或其他存储设备之类的易失性或非易失性存储设备中。
尽管已经参考优选实施例描述了本发明,本领域技术人员应当意识到可以在不偏离本发明的精神和范围的条件下在形式和细节上做出修改。

Claims (25)

1.一种用于编码视频信号的视频编码系统的视频速率控制方法,包括:
a)确定在所述视频信号的时间t上的像素值的方差;以及
b)使用该像素方差和所述时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数和该时间t-1上的像素方差和输出比特数,计算用于所述时间t的量化参数。
2.如权利要求1所述的方法,其中,所述方差是修正方差,该修正方差是所述计算的在所述时间t上的方差与所述紧接着的前一时间t-1上的类似的修正方差的函数。
3.如权利要求2所述的方法,其中,所述修正方差V(t)被定义为:V(t)=(1-α)Va(t)+αV(t-1),其中Va(t)是所述计算的在时间t上的方差,V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数,使得0<α<1。
4.如权利要求3所述的方法,其中,所述时间t的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是所述紧接着的前一时间t-1上的量化参数,β是常数,使得0>β>1,R(t)是所述时间t上的输出比特数,R(t-1)是所述紧接着的前一时间t-1上的输出比特数且ε和η是常数。
5.如权利要求3所述的方法,其中,所述时间t上的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是所述紧接着的前一时间t-1的量化参数,β是常数,使得0>β>1,R(t)是在所述时间t上的输出比特数,R(t-1)是在所述紧接着的前一时间t-1上的输出比特数,其中:
η = R ( t - 1 ) - R ( t ) QP ( t ) V ( t ) - QP ( t - 1 ) V ( t - 1 ) , ϵ = R ( t ) + R ( t - 1 ) - R ( t ) 1 - V ( t ) · QP ( t - 1 ) V ( t - 1 ) · QP ( t ) .
6.如权利要求1所述的方法,其中,所述量化参数进一步取决于输出缓冲器的当前填充率。
7.如权利要求6所述的方法,其中,如果所述速率超过与所述输出缓冲器的上溢对应的上阈值,则增加所述量化参数,且如果所述速率低于与所述输出缓冲器的下溢对应的下阈值,则减小所述量化参数。
8.如权利要求1所述的方法,进一步包括为所述视频信号计算取决于运动向量的当前平均值的所述量化参数。
9.如权利要求8所述的方法,其中,所述量化参数通过下面的等式调整:QPm=QPs+ΔQP,其中
Figure A2008100099270003C3
其中
Figure A2008100099270003C4
和τ是被选择以提供自适应的选择程度的参数,且QPm和QPs分别是用于当前宏块和当前片的量化参数的值,且Vm和Vs分别是所述当前宏块和当前片的方差,且MV是所述运动向量的最近的N个值的平均,使得 | MV | 2 = 1 N Σ i = 0 N - 1 ( x i 2 + y i 2 ) , 其中xi和yi分别是所述运动向量的水平和垂直分量。
10.一种用于编码视频信号的视频编码系统的视频速率控制器,包括:
a)用于确定所述视频信号的在时间t上的像素值的方差的装置;以及
b)用于使用该像素方差和所述时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数,来计算用于所述时间t的量化参数的装置。
11.如权利要求10所述的视频速率控制器,其中,所述方差是修正方差,该修正方差是所述计算的在所述时间t上的方差与所述紧接着的前一时间t-1上的类似的修正方差的函数。
12.如权利要求11所述的视频速率控制器,其中,所述修正方差V(t)被定义为:V(t)=(1-α)Va(t)+αV(t-1),其中Va(t)是所述计算的在时间t上的方差,V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数,使得0<α<1。
13.如权利要求12所述的视频速率控制器,其中,所述时间t的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是所述紧接着的前一时间t-1上的量化参数,β是常数,使得0>β>1,R(t)是所述时间t上的输出比特数,R(t-1)是所述紧接着的前一时间t-1上的输出比特数且ε和η是常数。
14.如权利要求12所述的视频速率控制器,其中,所述时间t上的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是所述紧接着的前一时间t-1的量化参数,β是常数,使得0>β>1,R(t)是在所述时间t上的输出比特数,R(t-1)是紧接着的前一时间t-1的输出比特数,其中: η = R ( t - 1 ) - R ( t ) QP ( t ) V ( t ) - QP ( t - 1 ) V ( t - 1 ) , ϵ = R ( t ) + R ( t - 1 ) - R ( t ) 1 - V ( t ) · QP ( t - 1 ) V ( t - 1 ) · QP ( t ) .
15.如权利要求10所述的视频速率控制器,其中,所述量化参数进一步取决于输出缓冲器的当前填充率。
16.如权利要求15所述的视频速率控制器,其中,如果所述速率超过与所述输出缓冲器的上溢对应的上阈值,则增加所述量化参数,且如果所述速率低于与所述输出缓冲器的下溢对应的下阈值,则减少所述量化参数。
17.如权利要求10所述的视频速率控制器,进一步被配置,从而为所述视频信号计算取决于运动向量的当前平均值的量化参数。
18.如权利要求17所述的视频速率控制器,其中,所述量化参数由下面的等式调整:QPm=QPs+ΔQP,其中
Figure A2008100099270005C1
其中
Figure A2008100099270005C2
和τ是被选择以提供自适应的选择度的参数,且QPm和QPs分别是用于当前宏块和当前片的量化参数的值,且Vm和Vs分别是所述当前宏块和当前片的方差,且MV是所述运动向量的最近的N个值的平均,使得 | MV | 2 = 1 N Σ i = 0 N - 1 ( x i 2 + y i 2 ) , 其中xi和yi分别是所述运动向量的水平和垂直分量。
19.一种包含存储的计算机可执行软件代码的计算机可读介质,所述代码是用于编码视频信号的视频编码系统的视频速率控制的方法,所述方法包括:确定在所述视频信号的时间t上的像素值的方差;以及使用该像素方差和所述时间t上的输出比特数以及用于紧接着的前一时间t-1的量化参数及该时间t-1上的像素方差和输出比特数,计算用于所述时间t的量化参数。
20.如权利要求19所述的计算机可读介质,其中,所述方差是修正方差,该修正方差是所述计算的在所述时间t上的方差与所述紧接着的前一时间t-1上的类似的修正方差的函数。
21.如权利要求20所述的计算机可读介质,其中,所述修正方差V(t)被定义为:V(t)=(1-α)Va(t)+αV(t-1),其中Va(t)是所述计算的在时间t上的方差,V(t-1)是在紧接着的前一时间t-1上的修正方差且α是常数,使得0<α<1。
22.如权利要求21所述的计算机可读介质,其中,所述时间t的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))十R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是用于所述紧接着的前一时间t-1上的量化参数,β是常数,使得0<β<1,R(t)是所述时间t上的输出比特数,R(t-1)是所述紧接着的前一时间t-1上的输出比特数且ε和η是常数。
23.如权利要求21所述的计算机可读介质,其中,所述时间t上的量化参数由QP(t)=(1-β)Δqp+βQP(t-1)给出,
其中:
Δqp=(ε(V(t)-V(t-1))+R(t-1)V(t-1)-R(t)V(t))/η,
其中QP(t-1)是所述紧接着的前一时间t-1的量化参数,β是常数,使得0<β<1,R(t)是在所述时间t上的输出比特数,R(t-1)是紧接着的前一时间t-1的输出比特数,其中: η = R ( t - 1 ) - R ( t ) QP ( t ) V ( t ) - QP ( t - 1 ) V ( t - 1 ) , ϵ = R ( t ) + R ( t - 1 ) - R ( t ) 1 - V ( t ) · QP ( t - 1 ) V ( t - 1 ) · QP ( t ) .
24.如权利要求19所述的计算机可读介质,用于进一步为所述视频信号计算取决于运动向量的当前平均值的量化参数。
25.如权利要求24所述的计算机可读介质,其中,所述量化参数由下面的等式调整:QPm=QPs+ΔQP,其中
Figure A2008100099270006C3
其中
Figure A2008100099270006C4
和τ是被选择以提供自适应的选择度的参数,且QPm和QPs分别是用于当前宏块和当前片的量化参数的值,且Vm和Vs分别是所述当前宏块和当前片的方差,且MV是所述运动向量的最近的N个值的平均,使得 | MV | 2 = 1 N Σ i = 0 N - 1 ( x i 2 + y i 2 ) , 其中xi和yi分别是所述运动向量的水平和垂直分量。
CN200810009927.6A 2007-02-09 2008-02-13 视频速率控制方法及视频速率控制器 Active CN101335891B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/704,826 2007-02-09
US11/704,826 US8050320B2 (en) 2007-02-09 2007-02-09 Statistical adaptive video rate control

Publications (2)

Publication Number Publication Date
CN101335891A true CN101335891A (zh) 2008-12-31
CN101335891B CN101335891B (zh) 2012-03-14

Family

ID=39685790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810009927.6A Active CN101335891B (zh) 2007-02-09 2008-02-13 视频速率控制方法及视频速率控制器

Country Status (5)

Country Link
US (1) US8050320B2 (zh)
EP (1) EP1978745B1 (zh)
CN (1) CN101335891B (zh)
AT (1) ATE495630T1 (zh)
DE (1) DE602008004378D1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665948B2 (en) * 2007-11-23 2014-03-04 Stmicroelectronics International N.V. Adaptive rate control to cover multiple encoding standards
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US20100238997A1 (en) * 2009-03-17 2010-09-23 Yang En-Hui Method and system for optimized video coding
WO2011003326A1 (en) * 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
US20110292247A1 (en) * 2010-05-27 2011-12-01 Sony Corporation Image compression method with random access capability
US20140321533A1 (en) * 2013-04-29 2014-10-30 Ati Technologies Ulc Single-path variable bit rate video compression
CN105657449B (zh) * 2014-12-03 2018-12-28 中国移动通信集团公司 一种视频转码分配方法、装置及视频转码系统
WO2018012366A1 (ja) * 2016-07-13 2018-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
JP4256574B2 (ja) * 2000-08-04 2009-04-22 富士通株式会社 画像信号符号化方法および画像信号符号化装置
US20020085633A1 (en) * 2001-01-03 2002-07-04 Kim Hyun Mun Method of performing video encoding rate control
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
US7804897B1 (en) * 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
JP4179917B2 (ja) * 2003-04-22 2008-11-12 株式会社東芝 動画像符号化装置及び方法
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding
TWI225363B (en) * 2003-11-10 2004-12-11 Mediatek Inc Method and apparatus for controlling quantization level of a video encoding bit stream
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor

Also Published As

Publication number Publication date
EP1978745A3 (en) 2009-09-23
US20080192823A1 (en) 2008-08-14
DE602008004378D1 (de) 2011-02-24
CN101335891B (zh) 2012-03-14
US8050320B2 (en) 2011-11-01
EP1978745A2 (en) 2008-10-08
EP1978745B1 (en) 2011-01-12
ATE495630T1 (de) 2011-01-15

Similar Documents

Publication Publication Date Title
US5686964A (en) Bit rate control mechanism for digital image and video data compression
US7426309B2 (en) Method of controlling encoding rate, method of transmitting video data, encoding rate controller for video encoder, and video data transmission system using the encoding rate controller
US8824546B2 (en) Buffer based rate control in video coding
KR100468726B1 (ko) 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
US8532169B2 (en) Rate control for two-pass encoder using adaptive quantization parameters
JP4901772B2 (ja) 動画像符号化方法及び動画像符号化装置
CN100463523C (zh) 帧层速率控制的视讯编码方法和系统
CN102932641B (zh) 一种恒定质量码率控制方法
CN101335891A (zh) 视频速率控制方法及视频速率控制器
JPH11346362A (ja) リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器
JPWO2009035143A1 (ja) 画像処理装置及び方法
US8948242B2 (en) Encoding device and method and multimedia apparatus including the encoding device
KR100790149B1 (ko) 비디오 인코딩 데이터율 제어 방법
US6879632B1 (en) Apparatus for and method of variable bit rate video coding
US20050152450A1 (en) Coding apparatus and method, program, and recording medium
CN106657855A (zh) 一种适用于无人机spi接口视频码率控制方法
CN1992898A (zh) 一种低复杂度的视频码率控制方法
KR101086724B1 (ko) 영상의 복잡도를 이용한 h.264/avc 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 h.264/avc 부호화기
KR101069254B1 (ko) H.264를 위한 프레임 단위 비트율 제어 방법
JP4736619B2 (ja) 画像処理装置および画像処理方法
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
JPH09294267A (ja) 画像圧縮符号化装置
KR20040007818A (ko) 동영상 부호화를 위한 dct연산량 조절 방법 및 그 장치
JP3812269B2 (ja) 動画像符号化装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210120

Address after: Delaware, USA

Patentee after: MK systems us holding Co.

Address before: Delaware, USA

Patentee before: MK systems USA holding Co.

Effective date of registration: 20210120

Address after: Delaware, USA

Patentee after: MK systems USA holding Co.

Address before: Delaware, USA

Patentee before: Rio media

Effective date of registration: 20210120

Address after: Delaware, USA

Patentee after: Rio media

Address before: Stockholm, Sweden

Patentee before: Ericsson AB

Effective date of registration: 20210120

Address after: Stockholm, Sweden

Patentee after: Ericsson AB

Address before: California, USA

Patentee before: Tandberg Television ASA

Effective date of registration: 20210120

Address after: Delaware, USA

Patentee after: MK systems USA

Address before: Delaware, USA

Patentee before: MK systems us holding Co.

TR01 Transfer of patent right