CN101516028B - 一种针对移动网视频通话应用的高效视频编码技术 - Google Patents

Abstract

一种针对移动网视频通话应用的高效视频编码技术。本发明高效视频编码法的正常工作基于如下假设：在视频通话期间，呼叫者和被呼叫者的脸部位于视频帧中央。本发明高效视频编码法先找出中央宏块的运动矢量，并且检验该运动矢量是否可应用于视频帧中其它宏块。若该运动矢量可用于某一宏块，该宏块可视为脸部的一部分；否则，启动运动预测程序为该宏块寻找运动矢量。与中央宏块使用相同运动矢量的宏块被视为脸的部分，以较小的量化参数对其进行量化。本发明旨在从降低视频编码计算复杂度和提高视频压缩比两个方面改善视频编码的效率。本发明所设计的高效视频编码法既便于实施又能高效编码视频帧，因此易于应用在手持设备，如手机等。

Description

一种针对移动网视频通话应用的高效视频编码技术

技术领域

本发明涉及一种针对移动网视频通话应用的高效视频编码方法和设备，该方法和设备可在计算复杂性和压缩比两方面改善视频编码的效率。

根据本发明实例，视频通话过程会消耗大量系统资源，如移动终端的计算能力和移动网络的带宽。因此，视频通话应用能否成功的关键是在计算和压缩两方面改善视频编码效率。

本发明基于移动数据网视频通话应用的高效视频编码方法和设备的工作原理基于如下两个假设：

1)在视频通话进程中，呼叫者和被呼叫者的面部位于视频帧中间。

2)呼叫者和被呼叫者的面部为刚性物体。

本发明的高效视频编码方法和设备通过改善视频编码过程中计算最为复杂的模块，运动预测，来提高计算效率。本发明视频编解码器在视频帧的中央宏块开始进行运动预测。由于视频通话过程中，人脸位于视频帧中间，假设人脸是刚性的，则可将相同运动矢量用于属于脸部的邻近宏块。用这种方法，可节省大量计算。与中央宏块具有相同运动矢量的帧内其它宏块均可视为脸部的一部分。在视频通话过程中，通话者的脸部为主要的纹理信息，对脸部宏块进行处理时，使用较小的量化参数进行处理以保证较小的纹理信息失真；对非脸部宏块进行处理时，使用较大的量化参数进行处理以保证较高的视频压缩率。

本发明方法和设备所提供高效视频编码引擎，易于应用在任何电子消费设备上，如手机等。

背景技术

视频编码引擎可用三个指标进行评价：1)计算复杂度2)压缩比3)解压缩后的视频质量。然而，这三个指标间并不是相互独立的。例如，为获得相同解压缩视频质量，较低的压缩率需要更高的计算复杂度。

传统的视频编码器采用分级编码结构，如把一个视频帧分成许多层，对每个16×16像素的宏块进行运动预测，如图3所示。宏块的运动由运动矢量来确定。寻找运动矢量的过程是复杂的和费时的。通常来说，需要进行11520个加法和11520个减法运算才能获得一个运动矢量。这对手持设备如手机来说是非常昂贵的。

视频编码过程中是有信息丢失的。量化处理是导致视频信息丢失的主要原因。实际上，视频编码使用量化参数在压缩率和视频质量之间寻求平衡。量化过程丢失的视频信息越多，其所获压缩率越高，但解压缩时图像变形也越严重。传统的视频编码方法是对视频帧中的所有视频信号采取相同的处理方法。如果一个视频编码引擎能够将更多的比特用于视频帧中更重要的部分，如人脸，更少的比特用于编码如背景这样的部分，那么就可实现用更少的比特实现更高的主观视频质量。目前尚无这样可用的视频编码方法和设备。

发明内容

本发明的第一目标是提供一种针对移动数据网视频通话应用的高效视频编码方法和设备。

本发明的第二目标是提供一种适用于消费电子设备，如手机、PDA等，并且只用有限的资源即可在上述电子设备上实现高效编码视频信号的方法和设备。

本发明的第三目标是不需大量计算，同时不降低压缩效率的情况下，提供一种高效的视频编码方法和设备。

根据本发明实例原则，通过提供高效视频编码引擎，以其最宽的涵盖形式，在视频帧中找到呼叫者或被呼叫者的脸部纹理信息，并且对这一区域应用相同的运动矢量，以大幅减少计算复杂度，同时对这些区域应用较小量化参数以实现更优的视频质量，如图4所示。

本发明实例从视频帧的中央宏块开始进行运动预测，中央宏块所获运动矢量用于视频帧中的其它宏块。若一宏块和由中央宏块运动矢量所决定的参考宏块间的残差绝对值之和小于所设定的阈值，那么可将中央宏块运动矢量用于此宏块；否则，就要对该宏块进行运动预测。由于通常呼叫者或被呼叫者的脸部位于视频帧的中央，所以对这部分区域应用更小的量化参数以实现更高的主观视频质量。

本发明高效视频编码方法的低计算复杂度的实现，是通过对视频帧中其他区域应用与中央宏块相同的运动矢量，而不是对视频帧中的每个宏块都进行运动预测。通过对脸部所在区域应用更小的量化参数和对被定义为背景的区域应用更大的量化参数，在提高压缩比的同时，实现了更优的主观视频质量。

附图说明

图1视频流分层编码结构图；

图2本发明高效视频编码流程图；

图3传统视频编码结构示意图；

图4本发明视频编码结构示意图。

具体实施方式

如图2所示，本发明在对一帧视频图像进行编码时，首先对中央宏块实施运动预测。如果中央宏块的运动矢量被找到，该运动矢量则应用于帧内其它宏块。若一宏块和由中央宏块运动矢量所决定的参考宏块间的残差绝对值之和小于所设定的阈值，那么可将中央宏块运动矢量用于此宏块；否则，就要对该宏块进行运动预测。由于通常呼叫者或被呼叫者的脸部位于视频帧的中央，所以对这部分区域应用更小的量化参数以实现更高的视频质量。由于人的脸部近似于刚体，可把与中央宏块拥有相同运动矢量的那些宏块视为脸部。而对非脸部分的视频信息应用更大的量化参数以实现更高的压缩率。

为了了解本发明高效视频编码方法，有必要先了解一些视频压缩和MPEG编码的一些基本原理。根据MPEG标准，视频编码是分层进行的，如图1所示。在编码视频流底层上的是由8×8个像素组成的块。通过离散余弦变换把像素域中的8*8个块转换到频率域，这可以有效地消除同一图像(帧内编码)内邻近的像素之间的空间相关性。为了消除邻近帧中的像素之间的高相关性，MPEG把运动预测补充到帧间编码技术中，运动预测是在16×16宏块层为单位进行的。每一宏块的运动矢量使用VLC变长编码技术进行编码，且当前宏块的运动矢量可用作其相邻宏块运动矢量的预测，如果相邻宏块的运动矢量相近，那么用于运动矢量编码的比特数就会大量减少。在通过离散余弦变换消除预测余项之间相关性时，另外对DCT系数进行按频率、量化和VLC编码的次序进行锯齿扫描。在量化和VLC编码过程中实现了MPEG视频压缩。锯齿形扫描的目的是在追踪高频DCT系数前，对高能低频DCT系数进行追踪。这种锯齿形扫描用于VLC变长编码。

变长编码从沿着扫描线检测非零量化系数和两个连续非零系数之间的距离(游程)开始，用唯一的VLC码字将每个连续的“游程、幅度”对进行编码。若一对“游程、幅度”模式出现的可能性越高，那么指定给该模式的VLC码字就越短。由于“游程、长度”对中的模式数非常巨大，因此，并不是每一模式都会映射到VLC码字上。结果，在大多模式中使用定长编码技术。定长码字要比VLC码字长得多。

本发明高效视频编码引擎首先对视频帧中央宏块进行运动预测。若中央宏块找到运动矢量，那么这个运动矢量即做为视频帧中全部宏块的备选运动矢量；使用备选运动矢量对一宏块进行帧间模式编码，若该宏块和由备选运动矢量所决定的参考宏块间的残差绝对值之和小于所设定的阈值，那么可将备选运动矢量用于此宏块；否则，就要对该宏块进行运动预测寻找其运动矢量。传统的视频编解码中，对全部宏块使用运动预测法则，而本发明对视频帧中的每一个宏块使用备选运动矢量，节省了大量的计算时间。本发明方法可应用于视频通话，因为呼叫者和被呼叫者的脸通常位于视频帧的中央，并且人脸可被看做是刚体，而刚体各部分的运动是一致的。

既然在视频通话中呼叫者和被呼叫者的脸部是视频信息中最重要的部分，就应给这一区域分配更多的比特以获得更高的主观视频质量。与中央宏块采用同样运动矢量的宏块被视为脸部的部分。通过将更多的比特分配到脸部区域对其编码，更少的比特分配到背景区域，可在压缩率提高的情况下获得更好的主观视频质量。

业内人士应该可以看出，本发明高效视频编码方法是通过运动矢量共享来改善计算效率，而在不同视频区域内有重点地重新分配比特来提供更高的主观视频质量。

由于本发明高效视频编码实例不需要专门的硬件支持，只通过软件即可实现其功能，但不排除专门的硬件实现方式，因此该技术可容易地应用于任何类型的消费电子产品上，如手机等。

前面已经十分详细地描述了本发明所提请的技术，使业内人士能够了解和使用本发明，但是，还要提请注意的是，在不偏离本发明实质的前提下，还可以对所提请的技术发明进行变更和改进，并且本发明不受以上说明或附图的限制，而是按照所附权利要求来予以限定。

Claims (4)

1.高效视频编码方法，包括以下步骤：

a.在一帧视频图像中，寻找中央像素宏块的运动矢量；

b.对视频帧内的全部像素宏块应用中央宏块的运动矢量，若某一宏块使用中央宏块运动矢量的帧间编码成本低于设定的阈值，将使用中央宏块的运动矢量对此宏块以帧间模式进行编码；否则，重新寻找该宏块的运动矢量；

c.对与中央宏块使用相同运动矢量的宏块应用较小量化参数；对其它宏块应用较大量化参数。

2.如权利要求1所述方法，其中步骤b包括确定阈值以决定视频帧中其它宏块可否与中央宏块使用相同的运动矢量。

3.高效视频编码装置，包括以下设备：

a.在视频帧中寻找中央宏块运动矢量的设备；

b.使用阈值判断法，确定视频帧中的其它宏块可否与中央宏块使用相同运动矢量的设备；

c.对与中央视频宏块使用相同运动矢量的宏块应用较小量化参数，对其它宏块应用较大量化参数的设备。

4.如权利要求3所述装置，设备b包括确定阈值以决定视频帧中其它宏块是否与中央宏块使用相同运动矢量的单元。 

Images