CN102316313B

CN102316313B - 嵌入式实时视频压缩系统中的低复杂度的比特率控制方法

Info

Publication number: CN102316313B
Application number: CN 201010218056
Authority: CN
Inventors: 陈家明; 余家豪; 林立浩
Original assignee: Sunplus Technology Co Ltd
Current assignee: Sunplus Technology Co Ltd
Priority date: 2010-06-29
Filing date: 2010-06-29
Publication date: 2013-08-28
Anticipated expiration: 2030-06-29
Also published as: CN102316313A

Abstract

本发明提出一种嵌入式实时视频压缩系统中的低复杂度的比特率控制方法，其用以决定一视频数据流中一现行帧的量化参数值，其依据一使用者层指标由一QP-比特率关联表格经查表获得量化参数值的范围，进而调整量化参数值。由于有较低的计算复杂度，可应用实时视频编码系统上，从而达到实时的处理，同时，在满足目标比特率的情况下，本发明的方法可让量化参数值收敛至最佳值，而有较佳画面质量。

Description

嵌入式实时视频压缩系统中的低复杂度的比特率控制方法

技术领域

本发明涉及视频处理的技术领域，尤指一种应用于嵌入式实时视频压缩系统中的低复杂度的比特率控制方法。

背景技术

数字视频技术广泛地应用于通信和广播领域中，特别是90年代以来，随着因特网和移动通信的迅速发展，视频信息和多媒体信息在因特网和移动网络中的传输处理成为了当前的热门技术。

2003年3月，ITU-T/ISO正式公布了H.264视频压缩标准，由于其相比以往标准的出色的性能，被人们称为新一代视频编码标准。具体而言，相比于H.263或MPEG-4，在同样画质下，其数码率能降低一半左右，或者说在同样比特率下，其峰值信噪比(PSNR)明显提高。

在因特网和移动通信的视频传输中，由于传输通道频宽的限制，比特率控制(bit rate control)则扮演着重要角色。由于比特率控制并不是H.264标准的一部分，但ITU-T/ISO开发团队为了辅助实作，因此设计了比特率控制算法。其通过调整参数来满足目标比特率，其中，举例来说量化(Quantization)是一个可以用来解决视频压缩上增加压缩率的方法，比特率控制即是通过调整量化参数(Quantization Parameters，QP)值来达到这个目的。

为了满足期望的比特率，比特率控制需要考虑三种议题，包括失真(Distortion)、复杂度(Complexity)、及频宽限制(BW constrain)，其如下所述。

(1)失真：依据T.Berger所提出的比特率失真定理(Rate-DistortionTheory)指出，如图1所示失真度和比特率上有二次曲线对应关系，失真度越低，压缩率越差，相对上比特率就越差，视频画面质量越佳，反之，失真度越高，压缩率越好，相对上比特率就越好，视频画面质量越差。比特率控制希望能达到在最小的失真(Distortion)下有最好的画质。

(2)复杂度：比特率控制在不同的应用上会有不同的计算复杂度限制。在实时的视频编译码系统中，则须满足实时性的要求，因此在嵌入式实时视频压缩系统中，则希望比特率控制方法可以减少计算的复杂度并能满足效能，且可达到压缩率上的要求。

(3)频宽限制：其是在网络应用上的考虑，希望在网络传输时没有延迟的问题，亦即在编码端的编码缓冲区及译码端的译码缓冲区不会有溢出(overflow)或下溢(underflow)问题。

图2是一现有比特率控制的示意图，比特率控制(Rate Control)模块200使用帧(Frame)为基本单位。如图2所示，其具有几个初始值，例如：初始的QP值、需求的比特流率、缓冲区的大小，所述初始值经由使用者接口模块210输出。第一帧经由比特配置模块220计算出一组目标比特流(Target Bits)，并输出至基本单位比特配置模块230。而帧比特模块230计算并产生一组目标比特流(Target Bits)，并输出至R-Q模块(亦可称为R-D模块)240。R-Q模块240连接至平均绝对失真(MeanAbsolute Distortion)模块250及编码模块270。R-Q模块240接收平均绝对失真模块250输出的平均绝对失真(Mean Absolute Distortion)值，并接收编码模块270输出一个为前一帧做完编码后的比特流数(bitsnumbers of a bitstream)，通过这三个值求出一个QP值。QP限制器(QP-limiter)模块260对R-Q模块240输出的QP值进行微调进而使得编码画面能够平顺(Smooth)，QP限制器模块260再将微调后QP值输入编码模块270，用以对视频数据流进行编码。

在H.264中，比特率控制方法较以前的视频压缩算法更有弹性，其可分别针对图框、切片、区块进行比特率控制。由比特率的观点，比特率控制方法又可分为如下所述的固定比特率(Constant Bit Rate，CBR)及可变比特率(Variable Bit Rate，VBR)：

(1)固定比特率(CBR)：如图3所示，其以压缩率为主要考虑，进而调整QP值，但会牺牲画面质量。其依据一组固定的需求比特率(Demanded BitRate)，通过调整QP值来使编码模块270编码后的比特率不超过需求比特率，其会有较佳的压缩率，但遇到移动量较大的视频，就会牺牲画面质量。同时，固定比特率(CBR)方法只能获得在满足比特率的条件下的QP值。然而，当连续几张画面内容处于静止或仅有少量移动，所产生的比特流率很小，此时QP是有往下调整的空间。

(2)可变比特率(VBR)：如图4所示，其以画面的稳定质量做考虑，有较佳的画面质量，但牺牲压缩率，在实时视频编码系统上并不适用。

目前H.264标准的比特率方法使用了平均绝对失真模块250及R-D模块240以求出最佳的压缩预测模式(prediction mode)，达到比特流率和画质的水平。然而其却有如下的缺点：

1.平均绝对失真模块250使用公式(1)以计算绝对平均残差值(Mean Absolute Difference，MAD)：

MAD (x, y) = \frac{1}{N^{2}} Σ_{i = 1}^{N} Σ_{j = 1}^{N} | R (i, j) - S (i + x, j + y) |, - - - (1)

其中，N为基本单位(Basic Unit)的数目，i，j为在基本单位中像素的指标，x，y为水平方向及垂直方向的位移，R(i，j)为目标基本单位的像素，S(i+x，j+y)为参考基本单位的像素。

由公式(1)显示，绝对平均残差值(MAD)具有高度时间关联性。理想的情况下，需要当前画面与已挑选到最佳QP值的重新构建画面用以做为失真值运算，但此种作法会造成计算上沉重的负担，因此目前做法只参考前一帧来与当前帧做运算。如果基本单位为宏块(Macroblock)时，则比较当前宏块和前一帧相对位置的宏块做残差比较，用以减少计算量。

2.R-D模块240的目的是找出QP值。由图1的曲线可知，比特率和失真值有着二次曲线的关系，因此由前述的R-D定理可推导出R-D模块240使用的公式。R-D模块240使用公式(2)以计算QP值：

R_{i} - H_{i} = c_{1} \times \frac{{MAD}_{i}}{Qste p_{i}} + c_{2} \times \frac{{MAD}_{i}}{Qste {p_{i}}^{2}}, - - - (2)

其中，c1，c2为常数，且

c_{1} = \frac{Σ_{j = 1}^{n} {Qstep}_{j} \times {Rate}_{j}}{n},

c_{2} = \frac{n Σ_{j = 1}^{n} {Rate}_{j} - (Σ_{j = 1}^{n} Qste {p_{j}}^{- 1}) (Σ_{j = 1}^{n} {Qstep}_{j} \times {Rate}_{j})}{n Σ_{j = 1}^{n} Qste {p_{j}}^{- 2} - {(Σ_{j = 1}^{n} Qste {p_{j}}^{- 1})}^{2}},

Ri为使用于对现行基本单位i编码的所有位数目，Hi为额外耗消(overhead)，MADi为现行基本单位i的绝对平均残差值(MAD)，Qstepi为使用于现行基本单位i的量化步阶，Qstepj为使用于前一基本单位j的量化步阶，Ratej为使用于前一基本单位j的比特率，n为到目前为止已编码完成的基本单位数量。

由公式(2)可知，MADi除以Qstep的运算即等效于量化的运算，而Ri为通过比特配置模块230得出的目标比特流率，再减去额外耗消Hi使其增加准确度，c1与c2为凭经验值估计的系数，亦可经由公式推导，由于实作上需使用除法器、平方运算，在硬件实作上会耗费相当多的闸数，软件实作上较不符合实时视频效能。此外，在嵌入式系统以及实时系统环境中有几项特色，包括降低成本、实时的效能(Real-TimePerformance)、仅使用低效能的微控器、有限的硬件效能、硬件复杂度低，以及低运算复杂度考虑。因此，现有比特率控制方法若要应用于嵌入式系统仍不符实际的需求，而有予以改进的必要。

发明内容

本发明的目的主要是在提供低复杂度的比特率控制方法，以复杂度较低的比特率控制方法搭配QP-比特率关联表格来调整量化参数值，以应用于嵌入式和实时视频编码系统环境下。

本发明的另一目的是提供低复杂度的比特率控制方法，以满足目标比特流率情况下，能有一定的画面质量，可依据期望的压缩率来做挑选不同层级，每个层级可达到各自的目标压缩率(比特率)，并在该层级下可依据场景的不同得到最佳的画质。

依据本发明的一个特色，本发明提出一种低复杂度的比特率控制方法，其应用于一嵌入式实时视频压缩系统中，以决定一视频数据流中一现行帧的量化参数值，从而能满足一预先决定的目标比特率，并对不同视频画面维持良好的质量，该比特率控制方法包含步骤：A)接收一前一帧的数据流长度、量化参数值及一使用者层指标；B)判断一现行帧是否为一I帧或一第一P帧，以当该现行帧不为一I帧或一第一P帧时，执行步骤C)；C)判断该前一帧的数据流长度是否大于一第一目标比特率，以当该前一帧的数据流长度大于该第一目标比特率时，执行步骤D)；D)增加该前一帧的量化参数值，以产生一第一量化参数值，并设定该现行帧的量化参数值为该第一量化参数值；E)判断该现行帧的量化参数值是否大于一量化参数上限值，以当该现行帧的量化参数值大于该量化参数上限值时，执行步骤F)；以及F)设定该现行帧的量化参数值QP为该量化参数上限值QPu，并依据该现行帧的量化参数值QP调整该现行帧的比特率。

附图说明

图1是一失真度和比特率对应关系的示意图。

图2是一现有比特率控制的示意图。

图3是一现有固定比特率编码的示意图。

图4是一现有可变比特率编码的示意图。

图5是本发明低复杂度的比特率控制方法的流程图。

图6是本发明低复杂度的比特率控制方法的应用示意图。

图7为本发明QP-比特流率关联表的示意图。

图8本发明的使用者期望层级、量化参数下限值、及量化参数上限值的示意图。

图9是现有技术在不同视频分辨率下执行除法运算所需时序周期的示意图。

主要组件符号说明

比特率控制模块200 使用者接口模块210

比特配置模块220 基本单位比特配置模块230

R-Q模块240 平均绝对失真模块250

QP限制器模块260 编码模块270

步骤A～M

处理器610 储存装置620

QP-比特流率关联表700 使用者层指标字段710

目标比特率字段720 量化参数上限值字段740

量化参数下限值字段730

具体实施方式

参照图5及图6所示，其分别显示本发明一种低复杂度的比特率控制方法的流程图、及用以执行该低复杂度的比特率控制方法的嵌入式实时视频压缩系统的示意图，本发明的实时视频压缩系统应用于嵌入式系统中，用以决定一视频数据流中现行帧(frame)的量化参数值QP，从而能满足一预先决定的目标比特率，以及对不同视频画面维持良好的质量。

如图6所示，嵌入式实时视频压缩系统由一编码模块270接收一未压缩现行帧(frame)的比特流(bit stream)，并产生一压缩的前一帧的比特流(bit stream)。处理器610则执行本发明低复杂度的比特率控制方法，以决定该现行帧(frame)的量化参数值QP。编码模块270则依据处理器610输出的量化参数值QP，用以对该现行帧进行压缩。

请一并参阅图5及图6，首先，在步骤A中接收前一帧的数据流长度BL(bitstream length)、前一帧的量化参数值QP’及一使用者层指标index(user level index)。由于嵌入式实时视频压缩系统中的资源有限，亦即有限的内存，以及有限的计算能力，其中，本发明使用的低复杂度的比特率控制方法以帧为基本单位(Basic Unit)。

在步骤B中，判断一现行帧是否为一I帧或一第一P帧，其中，当该现行帧不为该I帧或该第一P帧时，执行步骤C，以及当判定该现行帧为该I帧或该第一P帧时，由于I帧或第一P帧与前面的帧关连性不大，则在步骤L中设定该现行帧的量化参数值QP为一预设的量化参数值QPdefault，并依据该现行帧的量化参数值QP调整该现行帧的比特率。

在步骤C中，判断该前一帧的数据流长度BL是否大于一第一目标比特率TB(index)，当该前一帧的数据流长度BL大于该第一目标比特率TB(index)时，执行步骤D，以及当判定该前一帧的数据流长度BL不大于该第一目标比特率TB(index)，执行步骤G。

在步骤D中，增加该前一帧的量化参数值QP’，用以产生一第一量化参数值，并设定该现行帧的量化参数值QP为该第一量化参数值。

在步骤E中，判断该现行帧的量化参数值QP是否大于一量化参数上限值QPu(index)，其中，当该现行帧的量化参数值QP大于该量化参数上限值QPu(index)时，执行步骤F，以及当判定该现行帧的量化参数值QP不大于该量化参数上限值QPu(index)，执行步骤I。

在步骤F中，设定该现行帧的量化参数值QP为该量化参数上限值QPu(index)，并在步骤M依据该现行帧的量化参数值QP调整该现行帧的比特率。

更进一步说明，在步骤C判定该前一帧的数据流长度BL不大于该第一目标比特率TB(index)，在步骤G中再判断该前一帧的数据流长度BL是否小于一第二目标比特率TB(index+1)，其中，当该前一帧的数据流长度BL小于该第二目标比特率TB(index+1)时，执行步骤H，否则，当判定该前一帧的数据流长度BL不小于该第二目标比特率TB(index+1)，执行步骤K。

在步骤H中，减少该前一帧的量化参数值QP’，用以产生一第二量化参数值，并设定该现行帧的量化参数值QP为该第二量化参数值。

如步骤E判定该现行帧的量化参数值QP不大于该量化参数上限值QPu(index)，再在步骤I中判断该现行帧的量化参数值QP是否小于一量化参数下限值QPl(index)，其中当该现行帧的量化参数值QP小于该量化参数下限值QPl(index)时，执行步骤J，当该现行帧的量化参数值QP不小于该量化参数下限值QPl(index)时，执行步骤M，其依据该现行帧的量化参数值QP调整该现行帧的比特率。

在步骤J中，设定该现行帧的量化参数值QP为该量化参数下限值QPl(index)，并在步骤M依据该现行帧的量化参数值QP调整该现行帧的比特率。

如步骤G判定该前一帧的数据流长度BL不小于该第二目标比特率TB(index+1)，在步骤K中设定该现行帧的量化参数值QP为该前一帧的量化参数值QP’，并在步骤M中依据该现行帧的量化参数值QP调整该现行帧的比特率。

前述的该第一目标比特率TB(index)、量化参数上限值QPu(index)、第二目标比特率TB(index+1)、量化参数下限值QPl(index)使用该使用者层指标index(user level index)经由一QP-比特流率关联表查表而获得。

图7为本发明QP-比特流率关联表700的示意图。该QP-比特流率关联表700包含一使用者层指标(user level index)字段710、一目标比特率字段720、一量化参数上限值QPu字段740、及一量化参数下限值QPl字段730。

该使用者层指标字段710记录多个使用者期望层级(level)，使用者依据不同的比特率需求来决定对应的层级，该决定的层级将被作为索引值来查照所属的目标比特率、量化参数下限值、及量化参数上限值。其中，该使用者层指标(user level index)字段的值越大，其对应的目标比特率越小。

该目标比特率字段720记录多个目标比特流率，该多个目标比特流率是根据实验各种视频求得的目标比特率。目标比特流率随着层级由低到高而有大小的变化。其中，TB(0)大于TB(1)，其余依此类推。

该量化参数下限值QPl字段730记录固定的量化参数下限值，亦即，每一量化参数下限值QPl字段均记录相同的数值。本发明中，将量化参数下限值固定，以可获得良善画质的数值为基准，主要目的为当比特率满足时，QP值能够调整至较小的值，以获得较佳的画面质量。

该量化参数上限值QPu字段740记录可动态调整的量化参数上限值，进而满足每个层级定义的比特率。在本发明中，使用者期望层级(level)越大，量化参数上限值的可动态调整的范围也越大，以达成更大的压缩率，当目标比特率无法满足时，则将QP值往上调整，但以不超过上限值为原则来维持一定的画面质量。

图8是本发明的使用者期望层级、量化参数下限值QPl、及量化参数上限值QPu的示意图。如图7所示，当使用者期望层级越大，QP值可调整的范围也越大。每一量化参数上限值QPu字段的数值为：

QP_upper (j) = QP_lower + 2 \times Quotient (\frac{j}{2}) + Quotient (\frac{j + 1}{2}) + C

其中，j为该使用者层指标，QP_upper(j)为量化参数上限值QPu字段的数值，QP_lower为量化参数下限值QPl字段均记录的数值，C为一常数。

图9是现有技术在不同视频分辨率下执行除法运算所需时序周期的示意图。例如，QCIF视频格式，其每一帧具有176*120个像素，每一除法使用处理器约100个时序周期，其基本单位为宏块(Macroblock)，故一个帧中有176*120/(16*16)＝82.5个宏块，当使用RISC处理器时，至少需花费2*82.5*100个时序周期进行除法运算。然而，本发明使用查表方式，仅需数个时序周期即可完成，其更适用于嵌入式系统和实时系统环境中。

综上所述，本发明的特点可归纳如下：

(1)有别于H.264所采用的比特流率控制算法，本发明并不采用平均绝对失真模块和R-D模块概念来调整QP值，而以相对于复杂度较低的比特率控制方法搭配QP-比特率关联表格来调整量化参数值。

(2)本发明除了低复杂度外，其特性能在不同的画面移动情况时，将量化参数往下限值调整，找到更佳的画面质量，相比于CBR方法中，其只计算满足比特率的条件下的量化参数值为明显不同。

通过上述特色，本发明的设计亦能达到比特流率控制，即是满足目标比特流率情况下，能有一定的画面质量。

同时，本发明针对嵌入式暨实时视频编码系统环境下设计，可应用到数字视频录像(Digital Video Recod，DVR)系统架构上。

本发明的低复杂度的比特率控制方法由于复杂度低，且省略现有技术中的平均绝对失真模块250和R-D模块240，并使用QP-比特率关联表格600来调整量化参数值，因此特别适合于嵌入和实时视频编码系统环境下。本发明减少平均绝对失真模块250和R-D模块240的复杂运算，且用查表方式，使其相对于先前的方法有较低的计算复杂度，在实时视频编码系统上可以达到实时的处理，并且改进现有固定比特率和可变比特率方法的缺点，让量化参数的设计可以收敛至最佳使得有较佳画面质量，却不失去压缩率和画质的牺牲。

除此之外，在满足目标比特率的情况下，对不同的视频画面都能保持一定的质量，可依据期望的压缩率来做挑选不同层级，每个层级可达到各自的目标压缩率(比特率)，并在该层级下可依据场景的不同得到最佳的画质。

由上述可知，本发明无论就目的、手段及功效，在均显示其迥异于现有技术的特征，极具实用价值。但是应注意的是，上述诸多实施例仅为了便于说明而举例而已，本发明所主张的权利范围自应以权利要求所述为准，而非仅限于上述实施例。

Claims

1.一种低复杂度的比特率控制方法，其应用于一嵌入式实时视频压缩系统中，用以设定一视频数据流中一现行帧的量化参数值，从而能满足预先决定的一目标比特率，进而维持视频画面的质量，该比特率控制方法包含步骤：

A)接收一前一帧的数据流长度、量化参数值及一使用者层指标；

B)判断一现行帧是否为一I帧或一第一P帧，当该现行帧不为该I帧或该第一P帧时，执行步骤C)；

C)判断该前一帧的数据流长度是否大于一第一目标比特率，其中，当该前一帧的数据流长度大于该第一目标比特率时，执行步骤D)；

D)增加该前一帧的量化参数值，用以产生一第一量化参数值，以及设定该现行帧的量化参数值为该第一量化参数值；

E)判断该现行帧的量化参数值是否大于一量化参数上限值，当该现行帧的量化参数值大于该量化参数上限值时，执行步骤F)；以及

F)设定该现行帧的量化参数值为该量化参数上限值，进而依据该现行帧的量化参数值调整该现行帧的比特率。

2.根据权利要求1所述的比特率控制方法，其还包含：

G)当该前一帧的数据流长度不大于该第一目标比特率时，再判断该前一帧的数据流长度是否小于一第二目标比特率，若该前一帧的数据流长度小于该第二目标比特率时，执行步骤H)；以及

H)减少该前一帧的量化参数值，用以产生一第二量化参数值，以及设定该现行帧的量化参数值为该第二量化参数值。

3.根据权利要求1所述的比特率控制方法，其还包含：

I)当该现行帧的量化参数值不大于该量化参数上限值时，再判断该现行帧的量化参数值是否小于一量化参数下限值，其中，当该现行帧的量化参数值小于该量化参数下限值时，执行步骤J)，否则，则依据该现行帧的量化参数值调整该现行帧的比特率，以及

J)设定该现行帧的量化参数值为该量化参数下限值，并依据该现行帧的量化参数值调整该现行帧的比特率。

4.根据权利要求2所述的比特率控制方法，其还包含：

K)当该前一帧的数据流长度不小于该第二目标比特率，设定该现行帧的量化参数值为该前一帧的量化参数值，进而依据该现行帧的量化参数值调整该现行帧的比特率。

5.根据权利要求1所述的比特率控制方法，其还包含：

L)如步骤B)判定该现行帧为该I帧或该第一P帧，则设定该现行帧的量化参数值为一预设的量化参数值，进而依据该现行帧的量化参数值调整该现行帧的比特率。

6.根据权利要求1所述的比特率控制方法，其中，该第一目标比特率、该量化参数上限值、一第二目标比特率、一量化参数下限值使用一使用者层指标经由一量化参数-比特流率关联表查表而获得。

7.根据权利要求6所述的比特率控制方法，其中，该量化参数-比特流率关联表包含一使用者层指标字段、一目标比特率字段、一量化参数上限值字段、及一量化参数下限值字段。

8.根据权利要求7所述的比特率控制方法，其中，该使用者层指标字段的值越大，其对应的目标比特率越小。

9.根据权利要求8所述的比特率控制方法，其中，每一该量化参数下限值字段均为相同的数值。

10.根据权利要求9所述的比特率控制方法，其中，每一该量化参数上限值字段的数值为：

QP_upper (j) = QP_lower + 2 \times Quotient (\frac{j}{2}) + Quotient (\frac{j + 1}{2}) + C,

其中，j为该使用者层指标，QP_upper(j)为量化参数上限值QPu字段的数值，QP_lower为量化参数下限值字段均记录的数值，C为一常数。