CN101505430A - 一种用于头肩视频序列的帧内更新方法 - Google Patents

Abstract

本发明公开了一种用于头肩视频序列的帧内更新方法，包括：1)对人脸更新帧图像进行人脸检测并校验；2)对人脸更新帧图像进行编码：人脸更新帧采取P帧编码方式进行编码，用前一个普通P帧为参考进行编码，并对人脸区域进行强制帧内更新，即将当前待编码的人脸更新帧中的人脸区域宏块整体更新为帧内编码模式。非人脸区域按常规帧内更新方法进行更新；3)对普通帧图像进行编码：采取帧间编码方式。本发明阻止了人脸区域出错宏块的差错扩散，在帧级和宏块级提高了差错控制性能。由于重点保护了人脸区域，在可视电话、节目广播等头肩视频序列传输应用场合，本发明比普通的帧内编码模式更新方法具有更好的视频差错恢复性能。

Description

一种用于头肩视频序列的帧内更新方法

技术领域

本发明属于视频传输和图像处理领域，具体涉及在视频编码端阻止传输过程中的差错扩散和对人脸区域重点保护的研究。

背景技术

过去十多年来，随着Internet和无线通信网络的迅速发展以及人们对视频媒体的需求日益增长，面向Internet和无线信道的视频通信已成为近年来的研究热点。目前，常用的视频压缩编码通常依赖于基于块的混合编码技术，采用运动补偿预测、空间预测和变长编码等技术来提高编码效率，但没有考虑或较少考虑数据传输过程中潜在的信息丢失问题，因此压缩数据对抗差错的能力十分脆弱，传输中一旦出现比特错或包丢失，错误信息将会在时间和空间上迅速蔓延和扩散，特别是在误码率较高的信道中传输时，不但服务质量无法得到保障，甚至整个视频通信都有可能完全失败。为了抑制错误图像信息在时域和空域上的扩散，需要进行视频差错恢复的冗余编码。冗余编码以降低编码效率为代价，但是提高了视频的差错恢复性能。

目前差错恢复的冗余编码主要方法之一是帧内编码模式更新技术，即对无差错算法中采用帧间编码的宏块强制采用帧内编码模式，这些宏块的选取目前可以采用轮流更新、随机更新和率失真估计更新等方法。如中国专利200710168903.0和200510086248.5，以及美国专利7,349,472。这些方法在一定程度上阻止了视频差错的严重扩散，但是由于每帧更新的宏块数量不能太多，视频差错在整个视频序列中依然存在，无法完全被阻止。特别是在头肩序列中，人脸区域是需要重点保护的对象，传统方法很难保证对宏块的选取迅速有效，也很难在编码效率及鲁棒性之间取得较好的平衡，因此如何有效保护人脸，抑制人脸区域差错，已成为当前一个研究热点。由于人脸区域的重要性，对于人脸区域的检测和校验也是近年来一项十分活跃的课题。人脸检测是确定输入图像中所有人脸位置、大小和姿态的过程，人脸校验则完成对检测产生的人脸区域进行确认。

发明内容

本发明的目的在于，研制一种有效的帧内编码模式更新(以下简称帧内更新)方法，针对头肩视频序列提出一种更为有效的减少视频差错扩散的视频编码方法。使之兼顾到编码效率和编码质量之间的平衡，在可视电话、节目广播等头肩视频序列传输应用场合提高人脸图像受损区域的主观质量。本发明的目的是通过以下手段实现的：

一种用于头肩视频序列的帧内更新方法，在可视电话、节目广播等头肩视频序列传输应用场合，采用插入人脸更新帧，阻止视频差错扩散，包括如下的步骤，

1)对人脸更新帧图像进行人脸检测并校验：人脸更新帧图像人脸检测的结果包含人脸的大致区域，完成人脸校验后获取正确人脸区域，再对正确人脸区域结合人脸结构特性处理得到人脸小区域标记；

2)对人脸更新帧图像进行编码：人脸更新帧采取P帧编码方式进行编码，用前一个普通P帧为参考进行编码，并对人脸区域进行强制帧内更新，非人脸区域按常规帧内更新方法进行更新。所述人脸区域强制帧内更新处理方法是，将当前待编码的人脸更新帧中的人脸区域宏块整体更新为帧内编码模式；

3)对普通帧图像进行编码：对视频序列中除人脸更新帧以外的普通帧图像采取帧间编码方式，可以是P帧或B帧，对于B帧不进行帧内更新，对于P帧可以采用普通帧间编码方法，也可以采用常规的帧内更新方法。

这样，在视频序列中设置人脸更新帧，对人脸更新帧进行人脸检测和校验，确定人脸更新帧中的人脸区域，对整个人脸区域进行帧内更新，从而使得人脸区域的差错扩散不会超过人脸更新帧之间的距离。人脸更新帧内非人脸区域宏块和普通帧视频图像则采用常规的帧间预测编码方法编码，并在这些帧中进行常规的帧内更新处理，常规的帧内更新的方法可以采用周期或随机方法，也可以采用率失真优化帧内更新方法。

采用本发明方法，插入人脸更新帧的方法在帧级阻止了人脸区域内的差错扩散，同时对人脸更新帧中非人脸区域的宏块进行常规的帧内更新处理，阻止了这些区域出错宏块的差错扩散，在帧级和宏块级提高了差错控制性能。由于重点保护了人脸区域，在可视电话、节目广播等头肩视频序列传输应用场合，本方法比普通的帧内编码模式更新方法具有更好的视频差错恢复性能。

附图说明

图1是本发明内容说明中部分图示符号列表。

图2为人脸更新帧人脸检测校验示意图。

图3小区域标记处理示意图。

图4人脸更新帧人脸区域帧内更新示意图。

图5视频序列人脸更新帧动态设置及出错情况示意图。

图6人脸更新帧图像人脸检测校验及小区域标记处理示意图。

图7结合人脸区域的帧内更新示意图。

图8传统随机更新示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的详细说明。

本方法的具体步骤如下：

第一步，对需要编码的视频序列第1帧采取帧内编码方式进行编码。帧内编码图像可以独立解码。

第二步，确定视频序列中需要插入人脸更新帧的位置。人脸更新帧的确定有多种方法，可以根据传输系统的特性每隔固定周期插入人脸更新帧，如每5帧或10帧，具体间隔主要取决于编码质量和效率之间的折中；也可以动态选择人脸更新帧，如根据率失真模型或丢包率来动态确定。

第三步，对人脸更新帧图像进行人脸检测和编码。

这是本发明的核心内容，主要由以下几个部分构成。

1、对人脸更新帧图像进行人脸检测并校验。对于头肩序列视频来说，前述设置的人脸更新帧中人脸区域在整个视频图像中往往占据了相当比例的尺寸，并且具有重要的作用。为了对其实施保护，需要提取出正确的人脸区域加以区别对待。人脸区域提取一般分为人脸检测和人脸校验两个阶段，其中人脸检测结果的准确与否将直接影响人脸校验的复杂性和效率。通常当采纳检测率和准确性较高的人脸检测方法时，人脸校验方法选择条件就可以相对宽松一些。因此实际当中往往依据人脸检测所采用方法的不同，而在人脸校验时给予不同的校验力度。人脸检测可以采用基于特征和基于图像的方法以及其他已有的或将来可能产生的各种人脸检测方法，基于特征的方法主要考虑人脸的肤色和几何结构特征，如长宽比等，而基于图像的方法则往往依据人脸图像的整体特征从预先设置的数据集中进行比对和区分，如adaboost人脸检测方法。人脸校验可以采用人脸区域填充率和连通区域空洞数来进行判断以及其他已有的及将来可能产生的各种人脸校验方法，其中区域填充率指填充区域(相对空洞而言)在整个大连通区域中的比例，而连通区域空洞正好相对填充区域而言，即眼睛、鼻子和嘴巴等区域处理时因光照和环境等因素形成的空洞。这两个指标均可以通过设置一定的阈值空间来加以判断。一般来说，人脸区域填充率在50％～90％之间，而连通区域空洞数不小于3。

考虑到后续处理的准确性，本发明对校验正确的人脸区域进一步采取小区域标记处理，使人脸区域尽可能包含在内同时占用的宏块数相对较少，从而尽量减少需要更新的宏块数目。一般小区域标记基于人脸的结构特性，如人脸长宽比。根据对人脸特征的统计，人脸长宽比大致在[0.6，1.5]以内，但正常情况下人脸和颈部区域是连通的，所以将长宽比放宽至[0.6，2]进行处理。人脸检测校验及小区域标记的过程及示意图见说明书附图2、图3。

2、对人脸更新帧图像进行编码。人脸更新帧采取P帧编码方式进行编码，用前一个普通P帧为参考进行编码，并对人脸区域进行强制帧内更新，非人脸区域按常规帧内更新方法进行更新，如周期更新、基于有损率失真的帧内更新等。这样较好的阻止人脸区域的差错扩散，并在对人脸区域重点保护的同时也对其他区域采取了一定的保护。

人脸区域强制帧内更新处理方法是，对于人脸区域，将当前待编码的人脸更新帧中的人脸区域宏块整体更新为帧内编码模式，使人脸区域宏块的扩散失真立即终止。人脸更新帧人脸区域强制帧内更新方法可表达为图4的过程。

第四步，对普通帧图像进行编码。对视频序列中除人脸更新帧以外的普通帧图像采取帧间编码方式，可以是P帧或B帧。对于B帧不进行帧内更新，对于P帧可以采用普通帧间编码方法，也可以采用常规的帧内更新方法。普通帧的帧内更新，可以采用周期或随机方法，也可以通过基于率失真优化方法进行宏块帧内更新。

实施例：

由于固定周期插入人脸更新帧是动态插入人脸更新帧的一个特例，因此本例按动态设置人脸更新帧来处理头肩视频序列的帧内更新问题，动态设置的方法可根据率失真模型或丢包率来确定。设当前头肩视频序列的人脸更新帧设置情况如图5。本例中假定普通帧采用P帧方式进行编码并进行适当的帧内更新，两个I帧间隔25帧。

视频编码器对视频序列进行实时编码，得到编码视频码流，如图5所示。用I(t)表示t时刻用帧内编码方式编码的帧，用P(t)表示t时刻用普通帧间编码方式编码的帧，用K(t)表示t时刻用人脸更新帧方式进行帧间编码的帧。

在t时刻，编码器对视频序列的当前帧用帧内编码方式编码，记为I(t)。

根据率失真模型和丢包率，假定确定两I帧之间人脸更新帧的位置分别为t+3，t+10，t+13，t+20。

在t+1、t+2时刻，编码器对当前图像采取以前一帧作为参考帧的普通帧间编码方式编码，记为P(t+1)、P(t+2)。用相应的传统方法计算普通图像帧中每个宏块在丢包率、差错扩散以及量化失真等条件下采用帧内/帧间编码的代价值，确定其编码模式是采用帧间模式，还是帧内模式(即帧内更新)。后续普通P帧的帧内更新编码方式与此相同，不再赘述。

在t+3时刻，编码记为K(t+3)。对当前图像按照人脸更新帧方式进行编码。首先对当前图像进行人脸检测和校验，并判断最小包含区域。如图6所示。

成功提取出人脸区域以后，对人脸区域采取强制帧内更新，此时人脸区域宏块的差错扩散被终止，而对于非人脸区域的宏块，采用传统的帧内更新算法。从而实现对人脸区域重点保护的同时，视频中其他区域也得到了一定的保护。人脸区域整体更新效果如图7所示。作为对比，图8列出了传统随机更新方法的处理结果。

在t+4、t+5、t+6、t+7、t+8、t+9、t+11、t+12、t+14、t+15、t+21、t+22、t+23、t+24时刻，编码器对当前图像采取以前一帧作为参考帧的普通帧间编码方式编码，记为P(t+4)、P(t+5)、P(t+6)、P(t+7)、P(t+8)、P(t+9)、P(t+11)、P(t+12)、P(t+14)、P(t+15)、P(t+21)、P(t+22)、P(t+23)、P(t+24)。

在t+10、t+13、t+20时刻，按照人脸更新帧方式进行编码，编码器按与t+3时刻相同的编码方式进行编码，记为K(t+10)、K(t+13)、K(t+20)，具体编码方式不再赘述。

在t+15时刻，传输过程中发生差错，该差错可能会出现在人脸区域或背景区域。由于当前帧采用普通的P帧方式进行编码，出现在人脸区域的差错会一直扩散下去直到下一个人脸更新帧，即t+20时刻，而非人脸区域出现的差错，有可能会一直扩散到下一个I帧，即t+25时刻。

在t+16、t+17、t+18、t+19时刻，编码器对当前图像采取以前一帧作为参考帧的普通帧间编码方式编码，记为P(t+16)、P(t+17)、P(t+18)、P(t+19)。此时人脸出错的解码图像是P(t+15)、P(t+16)、P(t+17)、P(t+18)、P(t+19)。

后面时刻的编码方法与前面类似，在此不再重复。

t+20时刻，由于按照人脸更新帧方式进行编码，编码器按照与t+3时刻相同的编码方式进行编码，人脸区域出错的情况被终止，但在该帧中背景部分仍然有可能会继续存在出错的情况，这种差错一直会扩散持续到t+25时刻，由于I帧的到来而全部被制止。

本发明方法虽然采取帧内更新方法来抑制人脸更新帧内人脸区域的差错扩散，但仍然会存在由于传输差错引起人脸更新帧中人脸区域不能正确解码的情况，此时后续采取帧间编码模式的普通视频帧也会发生错误，直至下一个人脸更新帧为止。

本发明提出结合人脸区域和传输情况，自适应的编码人脸更新帧和帧内更新，在不明显降低视频编码效率的条件下，实现头肩视频图像传输差错控制。本方法与传统的帧内更新方法相比，能够有效的减小或阻止传输差错在人脸区域的扩散，重点提高了人脸区域的保护，改善了头肩视频序列传输的质量。

采用本发明方法的基本方案，在实际应用中可依据实际情况产生多种变例及其衍生组合，人脸检测方法和人脸校验方法也不局限于所举的方法，鉴于这些变例及其衍生组合的可预测性，本处不再赘述。

Claims (4)

1.一种用于头肩视频序列的帧内更新方法，在可视电话、节目广播等头肩视频序列传输应用场合，采取插入人脸更新帧并进行帧内更新，在帧级和宏块级阻止头肩视频序列视频差错扩散，包括如下的步骤，

1)对人脸更新帧图像进行人脸检测并校验：人脸更新帧图像人脸检测的结果包含人脸的大致区域，完成人脸校验后获取正确人脸区域，再对正确人脸区域结合人脸结构特性处理得到人脸小区域标记；

2)对人脸更新帧图像进行编码：人脸更新帧采取P帧编码方式进行编码，用前一个普通P帧为参考进行编码，并对人脸区域进行强制帧内更新，非人脸区域按常规帧内更新方法进行更新；所述人脸区域强制帧内更新处理方法是，将当前待编码的人脸更新帧中的人脸区域宏块整体更新为帧内编码模式；

3)对普通帧图像进行编码：对视频序列中除人脸更新帧以外的普通帧图像采取帧间编码方式，可以是P帧或B帧，对于B帧不进行帧内更新；对于P帧可以采用普通帧间编码方法，也可以采用常规的帧内更新方法。

2.根据权利要求1所述的用于头肩视频序列的帧内更新方法，其特征在于，所述人脸更新帧可根据传输系统的特性固定间隔或动态周期插入。

3.根据权利要求1所述的用于头肩视频序列的帧内更新方法，其特征在于，所述人脸检测方法可以采用基于特征的方法，如基于肤色和几何结构等脸部特性的方法；也可以采用基于图像的方法，如adaboost人脸检测方法。

4.根据权利要求1所述用于头肩视频序列的帧内更新方法，其特征在于，所述人脸校验可以采用人脸区域填充率和连通区域内部空洞数判别方法。

Images