CN101895766B - 一种mpeg-2/h.264标准下视频流插入台标字幕的压缩域局部处理算法 - Google Patents

Abstract

本发明属于一种在数字视频流插入台标字幕的实现方法。根据插入台标字幕在帧图像中的位置，对压缩域的每帧图像宏块进行分类。对需要处理的一类宏块在原运动矢量基础上估计出最优运动矢量，并对插入台标字幕区域内的宏块进行单独的精确码率控制，与原码率保持一致；不需要处理的一类宏块，直接顺序输出。本发明算法，最大限度降低系统处理的复杂度，最大限度保证原画面不失真，最大限度与原码率保持一致。

Description

一种MPEG-2/H.264标准下视频流插入台标字幕的压缩域局部处理算法

技术领域

本发明属于一种数字视频码流插入台标字幕的压缩域局部处理算法。

背景技术

电视节目的台标字幕插入，在模拟时代就广泛应用，已经得到证明是一种重要的信息标示和发布手段。但由于目前使用的模拟字幕系统，各个电视台仍然各自采集发送，还不能通过网络公司实现字幕群发。节目数字化编码之后，情况发生很大变化。

首先，压缩后的图像是一个变长的数据序列，每幅图像的数据不仅大小不一样，而且相互之间有很大的相关和依赖性，处理I帧以外的任何图像都需要同时处理与其参考帧有关系的一系列参考帧；其次，如果仍然沿用模拟视频的台标字幕插入方式，必然要对码流进行解码利再编码过程，直接带来视频图像质量的下降，原来码流特性几乎完全发生变化，这在广播级的应用中是不能接受的；最后，如果使用解码和再编码处理，对系统的计算资源要求很高，系统能处理的节目数量会非常有限，不适宜在数字电视节目丰富的环境下使用，设备投资也比较大。

发明内容

本发明的目的是提供一种高效的、对原始流视频质量几乎没有影响的数字视频码流插入台标字幕的实现方法。

MPEG-2/H.264视频码流是基于以宏块为单位的运动补偿、整数余弦变换/反变换、量化/反最化以及熵编码技术进行有损压缩编码的数据流。将数据流按照对应标准，解码为一序列Slice。根据台标字幕插入位置，对每帧图像的宏块进行分类处理。

将每帧图片的宏块按照与插入台标字幕位置关系不同，分为两类。要插入台标字幕区域的宏块和其运动矢量指向台标字幕插入区域的宏块为第一类，其余宏块为第二类。第二类宏块数据不做任何处理，顺序输出。需要进行处理的第一类宏块，仅在压缩域进行处理，大幅提高算法效率。

当宏块参考帧为帧间模式时，为了找到最有效的运动矢量，要将当前宏块利周围的大量宏块进行比较，消耗很多宝贵的Cpu资源。本发明中，在原运动矢量基础上的比较小的范围内进行运动估计，选取最小残差对应的运动矢量为最优运动矢量。当宏块类型为帧内模式时，MPEG-2标准下直接进行处理即可；H.264标准下，根据参考宏块的位置不同来改变，来改变宏块的参考模式，然后进行处理。

由于插入的台标字幕与原始图像内容会有很大差别，造成插入台标字幕后的码流与原始码流的码率有很大不同。本发明对需要处理的宏块进行精细码率控制，调整插入台标字幕区域宏块利周边相关宏块的量化参数，来获得与原始码流一致的码率。

附图说明

图1为本发明的流程示意图；

图2为本发明的帧内预测类型宏块矢量处理流图；

图3为本发明的帧间预测类型宏块矢量处理流图；

具体实施方式

如图1所示，为本发明的流程图。视频码流数据经熵解码后得到宏块在帧图像中的位置，再和要插入的台标字幕在帧图像中的位置进行比较，以确定是否处理该宏块，其比较方法如图2和图3所示。

当前帧为I帧时，MPEG-2标准下只需要判断当前宏块是否在台标字幕插入区域宏块内，如果在就需要处理，否则不需要处理；H.264标准下，不仅需要判断当前宏块是否在台标字幕插入区域宏块内，还要判断是否是这些宏块的左、上、左上、右上宏块，如果是则需要处理，否则不需要处理。

当前帧为P帧时，除了要判断当前宏块是否在台标字幕插入区域，还要判断其运动矢量是否指向台标字幕插入区域，如图3中所示的需要处理区域的左上角宏块。如果宏块满足条件，则需要处理，否则不需要处理。当前帧为B帧时的情况与P帧类似，不同的是还要考虑宏块运动矢量后向分量，这里不再用示意图来演示了。

经过前面的判断，不需要处理的宏块，其所有相关数据直接输出。而需要处理的宏块就要进行运动估计、量化以及熵编码等处理，最后输出。由于运动补偿对于编码效率、编码后的图像质量以及码流码率有比较大的影响，因此需要关注一下。

设定进行运动估计的块尺寸为W×H像素，运动向量的范围是：水平方向为[-K，+K]，垂直方向为[-L，+L]，单位为像素。用绝对值误差和(TAD)作为衡量块匹配程度的判据，失配函数F(k，l)定义为：

$F(k,l)|k\∈[-K,+K],l\∈[-L,+L]=\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|G(i,j)-H(i+k,j+l)|---\left(1\right)$

这里G、H分别表示当前帧(场)与参考帧(场)图像，(k，l)代表参考块相对于当前块的位移，相应的运动向量可由下式决定：

-MV＝(k，l)|min(F(k，l))                    (2)

由于运动估计有比较高的计算复杂度，因此为了提高系统处理速度，本文对运动估计算法进行了精简，再原运动矢量的基础上，将运动向量限制在较小范围，这样就能保持处理质量的同时，大幅提高处理速度。

由于插入台标字幕内容与原始图像内容会有很大不同，又采用新的运动矢量，为了保持处理后的码率与原始码率一致，必须对需要处理的宏块进行码率控制。本发明支持多个台标及字幕的插入，对每个插入的台标字幕单独进行精细码率控制，确保台标字幕插入前后码率一致。

Claims (4)

1.一种MPEG-2/H.264标准下视频流插入台标字幕的压缩域局部处理方法，其特征在于，所述方法的实现步骤包括：

1)通过对视频数字码流进行熵解码，得到宏块位置信息，根据宏块与台标字幕插入位置关系区分是否进行压缩域处理；

2)帧类型为I帧时，不仅根据当前宏块与台标字幕插入位置宏块的位置关系，而且根据当前宏块的左、左上、上、右上宏块与台标字幕插入位置宏块的位置关系，区分是否进行重编处理；

3)帧类型为P，B帧时，不仅根据当前宏块与台标字幕插入位置宏块的位置关系，而且根据参考帧宏块运动矢量的指向区域与台标字幕插入位置宏块的位置关系，区分是否进行各自相应的重编处理；

4)调整插入台标字幕区域周围相关宏块量化参数及插入台标字幕区域宏块量化参数，对插入的每个台标字幕区域相关宏块进行精细码率控制，保持插入台标字幕前后码率一致。

2.根据权利要求1所述的方法，其特征在于，MPEG-2/H.264视频流插入台标字幕在压缩域局部处理，局部处理的宏块运动矢量在原运动矢量基础上的小范围内估计搜索，对每个台标字幕插入区域宏块进行独立精细码率控制。

3.根据权利要求2所述的方法，其特征在于，对MPEG-2/H.264视频流进行台标字幕插入，根据台标字幕插入位置对压缩域宏块进行分类，然后对需要处理的局部宏块进行处理。

4.根据权利要求2所述的方法，其特征在于，局部处理的台标字幕插入区域宏块进行精细码率控制，关联调整台标字幕插入区域宏块和周围宏块的量化参数，控制台标字幕插入前后码率保持一致。

Images