CN1277418C - 基于小波变换的视频编码控制方法 - Google Patents

Abstract

本发明涉及一种基于小波变换的视频编码控制方法，包括：A、确定视频编码码流的初始位平面层数；B、按确定的初始位平面层数对一帧视频图像进行编码，得到编码码流长度；C、判断已编码码流长度是否小于当前信道带宽，如是，将该已编码码流送入信道传输，同时计算信道传输该帧已编码码流的剩余带宽，并将其累计到当前信道带宽，获得当前信道累计带宽；否则，将所述已编码码流按位平面为单位进行多次截取，直至将截取后小于信道累计带宽的已编码码流送入信道进行传输。本发明通过增减图像编码位平面数来进行码流控制，能灵活的根据信道带宽变化以及用户对视频帧率的要求，有效地控制视频编码的输出码流，提供高质量压缩图像和较高帧率的视频图像。

Description

基于小波变换的视频编码控制方法

技术领域

本发明涉及视频图像的编码码流控制方法，特别是涉及一种基于小波变换的视频编码控制方法。

背景技术

自20世纪80年代末期S.Mallat首次将小波变换引入图像处理以来，小波变换以其优良的时频局部化能力及去相关能力在图像编码领域得到了广泛应用，并取得了良好的效果。通常，小波变换图像编码过程为使用一组滤波器族对原始图像序列进行滤波处理。首先将图像中每行像素用低通滤波器和高通滤波器进行滤波，对滤波器的输出结果进行隔点采样，得到中间图像L和H。L是原始图像经过低通滤波器，并在水平方向隔点采样；H是原始图像经过高通滤波器，并在水平方向隔点采样。接下来，对这两个新产生的图像的每一列像素进行低通(Ly)和高通(Hy)滤波。并且进行隔点采样。得到四个子图像(LL、LH、HL、HH)。这四个子图像包含了原始图像的全部信息，但是通过上述的滤波分解，每个子图像包含的信息重要程度各不相同。对LL子图像继续施加上述操作，又将得到四个子图像。

在小波变换过程中，首先选取合适的小波母函数与滤波器，对图像信号实施小波变换；其次对变换后的小波系数进行量化编码，从而得到二进制符号流；最后对符号流进行熵编码以得到图像压缩后的比特流。其中，量化编码阶段占有举足轻重的地位，这是因为实际上所有的信息损失都发生在量化编码阶段。

目前，多媒体图像的压缩标准大都基于传统的离散余弦变换(DCT)和用于低码率视频通信的H.263标准等。

H.263是国际电信协会-电信标准化部门ITU-T(The InternationalTelecommunications Union-Telecommunication Standardization Sector)于1995年通过的用于低比特率实时传输的视频编解码标准。其设计初衷是满足带宽低于64kbps的低带宽视频应用需求，如视频会议、可视电话等。H.263的输入视频帧格式为QCIF(Quarter Common Intermediate Format，大小为176×144)、CIF(Common Intermediate Format，大小为352×288)等。将每个视频帧分成许多宏块(MB-MicroBlock)，每个宏块由4个Y亮度块、1个Cb色度块和1个Cr色度块组成。块(Block)的大小为8×8。H.263以宏块为单位进行视频帧的压缩。

目前，各地区通信线路状况差异较大，对消费者的调查显示，消费者对视频通信中的图像质量与视频帧率的要求各有偏好。视频编码由于采用变字长的编码，因而编码后的数据率是变化的，为了适应信道传输的要求，需要对视频编码码流进行控制。

H.263视频编解码协议中采用的帧率控制技术以图像宏块为单元通过对一帧图像中的不同宏块分配不同的量化级数来调整编码码流长度，虽然达到帧率控制的目的。但是这种帧率控制技术需要一个码率缓存器进行码流的均衡，根据缓存器的充满度对编码进行反馈式的控制，当缓存器中码流数据将满时，降低宏块的DCT系数的量化精度；反之，提高量化精度，来控制缓存器的数据量，保障缓存器不会上、下溢出。但是，在信道带宽很低的情况下，采用以图像宏块为单元的码流控制方法对同一帧图像的相邻宏块DCT系数选择量化系数时，使用了不同的量化系数变化量，这样做会进一步加大相邻宏块量化误差间的差异，加剧了解码端重构图像的块效应，块效应将使图像质量急剧恶化。

H.263通过减少视频序列在时域和空域的冗余度来提高压缩比，在较低码率条件下，视频序列在时域的相关性减弱，H.263的编码效率必然降低。这种基于DCT的分块压缩技术在大压缩率的情况下，产生的块效应将严重地影响图像质量。因此，现有技术缺点为：在低信道带宽条件下产生块效应，导致图像质量急剧恶化。

发明内容

本发明解决的问题是提供一种基于小波变换的视频编码控制方法方法，在各种信道带宽情况下，都能够根据用户对视频帧率的要求，有效地控制视频编码的输出码流，提供高质量压缩图像和较高帧率的视频图像。

为解决上述问题，本发明提供一种基于小波变换的视频编码控制方法，包括：

确定视频编码码流的初始位平面层数；

按确定的初始位平面层数对一帧视频图像进行编码，得到编码码流长度；

判断已编码码流长度是否小于当前信道带宽，如是，将所述已编码码流送入信道传输，同时计算信道传输该帧已编码码流的剩余带宽，并将其累计到当前信道带宽，获得当前信道累计带宽；否则，将所述已编码码流按位平面为单位进行截取，若截取后的已编码码流长度不满足当前信道累计带宽，则再次对已编码码流按位平面为单位进行截取，直到将截取后已编码码流长度小于当前信道累计带宽，然后将截取后的已编码码流送入信道进行传输。

其中，所述初始位平面层数是由当前信道带宽按字节划分后与帧率组合得到的位平面初始化表来确定。

其中，所述按确定的初始位平面层数对一帧视频图像进行编码包括：

对原始图像数据进行小波变换，得到图像数据的小波变换系数；

对所述小波变换系数用选定的初始位平面层数进行分层树集合分割排序量化编码。

其中，所述计算信道传输该帧已编码码流的剩余带宽，并将其累计到当前信道带宽，获得当前信道累计带宽具体包括：

计算信道传输已编码码流后的剩余带宽；

判断信道所述剩余带宽是否大于设定的阈值，若是，将剩余带宽与当前信道带宽相加得到当前信道累计带宽，同时将信道剩余带宽清零；否则，保留该剩余带宽，为下一帧图像编码时继续使用。

其中，所述阈值为一层亮度信息的码流字节数。

其中，所述已编码码流按位平面为单位进行截取具体过程包括：

对已编码码流先截取一层色度信息的位平面；

判断截取后的已编码码流长度是否大于当前信道累计带宽，如是，对截取后已编码码流再次截取一层色度位平面；否则，将截取后的已编码码流送入信道进行传输，结束；

判断再次截取后的已编码码流长度是否大于当前信道累计带宽，如是，截取一层亮度信息的位平面，并恢复再次截取的一层色度信息的位平面，否则，将截取后的编码码流送入信道进行传输；

判断第三次截取后的已编码码流长度是否大于当前信道累计带宽，如是，对已编码码流先截取一层色度信息的位平面，否则，将截取后的编码码流送入信道进行传输。

其中，所述恢复再次截取的一层色度信息的位平面具体包括：将再次被截取的色度信息位平面数据重新送到编码码流中。

与现有技术相比，本发明具有以下有益效果：本发明以视频序列的整帧图像为单元，用自适应的方法取代了传统的H.263中以图像宏块为单元，通过对一帧图像中的不同宏块分配不同的量化级数来调整编码码流长度的做法，充分利用基于小波变换、SPIHT的码流控制技术，通过增减图像编码位平面数来进行码流控制，能灵活的根据信道带的宽变化以及用户对视频帧率的要求，有效地控制视频编码的输出码流，提供高质量压缩图像或较高帧率的视频图像。此外，还可以在较广的范围内对视频图像的编码长度做出调节(500byte～5000byte)，以至于在信道带宽变化较大时，通过对视频编码输出码流的控制，从而能够输出稳定帧率的视频图像。特别是帧率调节范围在0.5f/s～5f/s时可以得到较好的图像质量。

附图说明

图1是本发明基于小波变换的视频编码控制方法的流程图；

图2是本发明信道带宽补偿的流程图；

图3是本发明按位平面截取已编码码流的流程图。

具体实施方式

本发明提供一种基于小波变换的视频编码控制方法，其实现流程为：建立通信链路后，通过调制解调器Modem连接速率可以实时计算出当前信道的带宽大小。信道带宽在一定的范围内变化，采用本发明对一帧图像的视频码流进行流量控制，首先根据信道带宽与帧率查表选择初始位平面层数，然后以所述初始位平面层数对一帧图像的进行编码。随后根据编码码流的长度情况决定是否进行位平面的截取。在整个视频序列的编码、流控过程中充分利用每一帧图像的带宽余量对信道带宽做出补偿，从而使解码端解码重构出稳定帧率的视频图像。

下面结合附图进一步说明本发明。

如图1所示，首先确定视频编码码流的初始位平面层数(步骤S11)；再次，按确定的位平面对一帧视频图像进行编码，得到编码码流长度(步骤S12)；最后判断已编码码流长度是否小于当前信道累计带宽(步骤S13)，如是，将所述已编码码流送入信道传输，同时计算信道传输该帧已编码码流的带宽余量(步骤S14)；否则，将所述已编码码流按位平面为单位进行截取(步骤S15)，若截取后的已编码码流长度不满足当前信道累计带宽，则再次对已编码码流按位平面为单位进行截取，直到将截取后已编码码流长度小于当前信道累计带宽，然后将截取后的已编码码流送入信道进行传输(步骤S16)。

本发明是基于小波变换、分层树集合分割排序SPIHT编码的码流控制技术并运用于视讯终端的一种视频编码码流控制技术。在小波变换的图像编码过程中，编码图像的大部分能量都集中在低频子带，本发明主要是对图像小波变换系数采用分层树集合分割排序SPIHT编码方式进行量化，这是一种渐进式的图像编码方法，这个方法叫做位平面(bit plane)法，SPIHT编码采用的位平面数也可以理解为量化精度。

而在本发明的步骤S11中，首先根据信道当前带宽与用户帧率设定，查表确定视频编码的初始位平面层数。即将输入信道当前带宽按字节大小划分为6档，分别与3种帧率组合得到一张位平面初始化表。位平面初始化表如下所示，其中表格中B_X表示信道当前带宽、F_X表示帧率、BP_XX表示相应位平面初始值。

表1：位平面初始化表

然后进行步骤S12对一帧视频图像按初始位平面层数进行编码，首先对原始图像数据进行小波变换，然后对小波系数用选定的初始位平面层数进行SPIHT量化编码，编码完成之后可以得到编码码流长度。具体为：首先对原始图像数据进行小波变换，即对原始数据图像序列进行滤波处理，并对其输出结果进行隔点采样，从而获得图像数据的小波变换系数；然后对所述小波变换系数按初始位平面层数进行分层树集合分割排序SPIHT(Set Partitioningin Hierarchical Trees)的编码量化，利用小波变换的系数分布特性，对小波系数进行逐次逼近的量化，量化过程中采用一个门限序列T₀，T₁，……T_N-1，来依次确定量化门限值，其中，2T₀＞＝|X_max|，X_max是小波变换系数中的最大绝对值，门限序列值T_N以2的倍数依次递减。两个门限区间之内的量化区间称作一个位平面。所述SPIHT编码的位平面数是指从最大量化门限开始，依次递减量化门限对小波系数进行量化的次数。例如，对位平面数为“5”进行SPIHT量化时，首先以T0为量化门限值进行第一层位平面的量化；然后再以T1为量化门限进行第二层位平面的量化；……量化过程一直进行到第五层位平面，即量化门限取到T4。由此可知，五层位平面的量化门限依次为：T0、T1、T2、T3、T4。

再后，比较已编码码长和当前信道的累计带宽(信道当前带宽与信道剩余带宽之和)，信道当前带宽可以通过Modem当前的连接速率计算得到。如果已编码码流长度小于信道累计带宽，则将已编码码流送入信道进行传输。同时记录信道传输该帧已编码码流后的剩余带宽，即对信道带宽进行带宽补偿，其具体步骤详见附图2，包括：

步骤S141：计算信道传输已编码码流后的剩余带宽；

步骤S142：判断信道所述剩余带宽是否大于设定的阈值，若是，将剩余带宽与当前信道带宽相加得到当前信道累计带宽，同时将信道剩余带宽清零(步骤S143)；否则，保留该剩余带宽，为下一帧图像编码时继续使用(步骤S144)。

所述步骤S141是用信道累计带宽减去已编码码长，并将所述剩余累加到上一帧图像编码的信道剩余带宽中，并保存，在做下一帧图像码流控制时先判断信道剩余带宽是否大于设定的阈值(步骤S142)，所述阈值定义为一层亮度Y分量的码流字节数，以便于下一帧图像编码时可以至少多做一层亮度Y分量位平面或一层色度(UV)分量位平面。如果大于阈值，则将剩余带宽与当前信道实际带宽相加得到当前信道累计带宽，同时将信道剩余带宽清零；如果小于阈值，则不与信道实际带宽相加，保留该剩余带宽值，留做下一帧图像编码时继续使用。

如果已编码码流长度大于信道累计带宽，则将已编码码流以位平面为长度单位进行截取。详见附图3，为本发明以位平面为单位对已编码码流进行截取的流程图，包括：

步骤S151：对已编码码流先截取一层色度信息的位平面；

步骤S152：判断截取后的已编码码流长度是否大于当前信道累计带宽，如是，对截取后已编码码流第二次截取一层色度信息的位平面(步骤S153)；否则，将截取后的已编码码流送入信道进行传输(步骤S157)，结束；

步骤S154：判断第二次截取后的已编码码流长度是否大于当前信道累计带宽，如是，恢复第二次截取一层色度信息的位平面，并截取一层亮度信息的位平面(步骤S155)，否则，将截取后的编码码流送入信道进行传输(步骤S157)。

步骤S156：判断第三次截取后的已编码码流长度是否大于当前信道累计带宽，如是执行步骤S151)，否则，将截取后的编码码流送入信道进行传输。

在上述流程中，首先对已编码码流截取一层色度信息(UV分量)的位平面，如果截取后的码流长度仍然大于当前信道累计带宽，则再次截取一层色度位平面，如果还是大于当前信道累计带宽，则截取一层亮度信息(Y分量)的位平面，并将再次被截取的色度信息(UV分量)位平面数据重新输入到编码码流中。以此方式处理编码码流，直到已编码码流长度满足信道要求，即小于当前信道累计带宽，才能送入信道进行传输。

本发明的实现过程中利用了小波变换、SPIHT图像编码技术的特点，即整帧图像统一量化、带宽余量补偿和亮度与色度信息分别处理，以至于在各种信道带宽情况下，都能够根据用户对视频帧率的要求，有效地控制视频编码的输出码流，提供良好图像质量或较高帧率的视频图像。

下面对本发明中所述的整帧图像统一量化、带宽余量补偿和亮度与色度信息分别处理的过程做进一步的说明，如下，

所述整帧图像统一量化：基于小波变换、SPIHT编码的码流控制方法利用了位平面编码原理进行码流控制，主要是利用小波变换的系数分布特性，对小波系数进行逐次逼近的量化来一次确定量化级数。所以本发明所描述的位平面数相对应于H.263中的量化系数。但不同于H.263的量化策略，本发明中小波变换、SPIHT视频编码的位平面是以整帧图像为单元。基于小波、SPIHT编码的码流控制方法通过增减图像编码位平面数来进行码流控制，能够根据用户视频帧率的要求，有效地控制视频编码的输出码流。而H.263的量化策略是以图像宏块为单元通过对一帧图像中的不同宏块分配不同的量化级数来调整编码码流长度。但是以图像宏块为单元的码流控制方法对同一帧图像的相邻宏块DCT系数选择量化系数时，使用了不同的量化系数变化量，这样做会进一步加大相邻宏块量化误差间的差异，加剧了解码端重构图像的块效应，块效应将使图像质量急剧恶化。因此，本发明保证了图像质量在整体上的统一性，避免了诸如H.263等基于块的视频编码方案中产生的块效应现象，从而提高了视频图像的质量。

所述带宽余量补偿：在进行一帧图像编码前，首先根据当前信道带宽和用户选择的帧率，确定编码所做的位平面数。由于不同图像源的复杂程度与光照强度等条件各不相同，即使编码前确定了编码位平面数，对不同的图像编码得到的码流长度差异也将会比较大。为了使传输的已编码码流长度最大限度地接近信道带宽，将已编码码流长度与信道累计带宽进行比较，如果已编码码长大于信道累计带宽，则按位平面为单位截取已编码码流，直到截取后的已编码码流流长度符合信道带宽要求。如果已编码码流小于信道累计带宽，则直接将已编码码流送入信道传输。同时，计算出信道传输这一帧图像码流的带宽余量。在进行下一帧图像码流控制时，将之前的带宽余量累加到当前信道带宽中。本发明是以SPIHT编码位平面为单位进行码流控制。因此，经过码流控制的每一帧编码的码流长度将会围绕当前信道带宽上下略有波动。由于在码流控制的过程中引入了带宽余量补偿，对于一段视频序列，平均码流长度与信道带宽将能够得到很好的匹配。

所述亮度与色度信息分别处理，小波、SPIHT编码是将整帧图像的亮度与色度信息分开编码处理。因此，在进行码流控制时，可以利用人眼对亮度信息更加敏感的视觉特性，首先控制编码码流中的色度信息。在信道带宽极低的情况下，甚至可以大幅度减少色度信息，尽量保留亮度信息，在最大程度上保证了重构图像的质量。

因此，本发明是针对小波图像编码技术和消费者的习惯特点，同时满足了图像质量与信道带宽的要求，对各种复杂的线路条件都具有较强的适应性。通过实验模拟各种信道带宽条件，运用本码流控制方案均可在保持较好的图像质量的前提下，同时按帧率要求得到稳定帧率的视频输出。从而，在各种信道带宽情况下，都能够根据用户对视频帧率的要求，有效地控制视频编码的输出码流，提供高质量压缩图像或较高帧率的视频图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1、一种基于小波变换的视频编码控制方法，其特征在于，包括：

A、确定视频编码码流的初始位平面层数；

B、按确定的初始位平面层数对一帧视频图像进行编码，得到编码码流长度；

C、判断已编码码流长度是否小于当前信道带宽，如是，将所述已编码码流送入信道传输，同时计算信道传输该帧已编码码流的剩余带宽，并将其累计到当前信道带宽，获得当前信道累计带宽；否则，将所述已编码码流按位平面为单位进行截取，若截取后的已编码码流长度不满足当前信道累计带宽，则再次对已编码码流按位平面为单位进行截取，直至已编码码流长度小于当前信道累计带宽，然后将截取后的已编码码流送入信道进行传输。

2、根据权利要求1所述基于小波变换的视频编码控制方法，其特征在于，所述初始位平面层数是由将当前信道带宽按字节划分后与帧率组合得到的位平面初始化表来确定。

3、根据权利要求2所述基于小波变换的视频编码控制方法，其特征在于，所述步骤B中按确定的初始位平面层数对一帧视频图像进行编码包括：

(31)对原始图像数据进行小波变换，得到图像数据的小波变换系数；

(32)对所述小波变换系数用选定的初始位平面层数进行分层树集合分割排序量化编码。

4、根据权利要求3所述基于小波变换的视频编码控制方法，其特征在于，所述步骤C中计算信道传输该帧已编码码流的剩余带宽，并将其累计到当前信道带宽，获得当前信道累计带宽具体包括：

(41)计算信道传输已编码码流后的剩余带宽；

(42)判断所述信道剩余带宽是否大于设定的阈值，若是，将剩余带宽与当前信道带宽相加得到当前信道累计带宽，同时将信道剩余带宽清零；否则，保留该剩余带宽，为下一帧图像编码时继续使用。

5、根据权利要求4所述基于小波变换的视频编码控制方法，其特征在于，所述阈值为一层亮度信息的码流字节数。

6、根据权利要求1所述基于小波变换的视频编码控制方法，其特征在于，所述已编码码流按位平面为单位进行截取具体过程包括：

(61)对已编码码流先截取一层色度信息的位平面；

(62)判断截取后的已编码码流长度是否大于当前信道累计带宽，如是，对截取后已编码码流再次截取一层色度信息的位平面；否则，将截取后的已编码码流送入信道进行传输，结束；

(63)判断再次截取后的已编码码流长度是否大于当前信道累计带宽，如是，截取一层亮度信息的位平面，并恢复再次截取的一层色度位平面，否则，将截取后的编码码流送入信道进行传输；

(64)判断第三次截取后的已编码码流长度是否大于当前信道累计带宽，如是执行步骤(61)，否则，将截取后的编码码流送入信道进行传输。

7、根据权利要求6所述基于小波变换的视频编码控制方法，其特征在于，所述恢复再次截取的一层色度信息的位平面具体包括：将再次被截取的色度信息位平面数据重新送到编码码流中。

Images