CN101909211B - 基于快速模式判决的h.264/avc高效转码器 - Google Patents

Abstract

本发明公开了一种基于快速模式判决的H.264/AVC高效转码系统，它属于网络通信技术领域，主要解决现有转码方法运算复杂度高和实时性差的缺点。该转码器系统由解码器、快速模式判决器和编码器三部分组成。解码器将解码出的宏块模式、运动矢量和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器，快速模式判决器根据解码器传送的信息和编码器传送的参考帧图像对解码帧图像进行快速模式判决得到新的宏块模式，并传给编码器，编码器根据快速模式判决器传送的信息对解码器传送的解码帧图像进行编码，得到既定目标码率码流。本发明极大的降低转码运算复杂度，减少了转码的时间，可用于实时多媒体传输及其它数据传输。

Description

基于快速模式判决的H.264/AVC高效转码器

技术领域

本发明属于网络通信技术领域，涉及H.264/AVC(advanced video coding)标准内的快速码率转码方法，可用于实时多媒体传输及其它数据传输。

背景技术

随着移动通信技术的不断发展，网络接入速度的飞速提升，移动终端日趋智能化，以及数字压缩技术的日益优化，移动终端已从简单的通信、联络工具，发展成为一个多媒体智能平台。与此同时，传统的彩信、图铃下载等增值业务已无法满足用户的需求。移动流媒体的出现将改变这种状况，它能为用户提供包括视频点播、移动视频聊天、移动视频监控等服务。移动流媒体是移动通信和流媒体传输的结合，它通过移动网络在移动终端上采用流媒体技术进行数据传输。然而，移动终端的多样性，无线网络的波动性以及移动终端的处理能力有限制约了移动流媒体的发展，需要研究相应的技术来解决这些问题。

码率变换的视频转码可以根据终端的处理能力以及网络带宽的条件，提供最合适的视频流，因此码率变换是解决上述问题的关键技术。码率转换最直接的办法是采用级联的全解全编转码器。它将解码后的视频流按目标码率进行重新编码，并且为了消除漂移误差引入了反馈环路从而能得到最佳的图像质量。但是完整的解码和编码过程具有极高的计算复杂度，实用的转码结构一般是在上述结构的基础上采取许多优化措施，充分利用输入码流信息，在保持视频质量下降不大的条件下，尽可能降低转码运算复杂度。

视频码率转码是视频转码中最早研究的内容，其目的是在保持低运算复杂度和高图像质量的基础上实现压缩视频流的高码率到低码率的转换，从而适应不同信道带宽。码率转码研究的重点集中在两个方面：一是如何减小系统的复杂度，二是如何在目标压缩码率下达到最高的图像质量。

码率转码最直接的方式是采用级联式码率变换转码器。参照图1，它分为两个部分：先由解码器对输入视频流解码，再由一个编码器按照要求对解码后的视频进行编码。通过将解码后的视频流按目标码率进行重新编码，从而能够得到最佳的图像质量。该技术方案实现时需要对输入码流进行完全解码，然后对解码后图像重新进行运动估计、编码模式判决等编码操作，运算复杂度高，不能满足实时视频转码要求，在实际视频通信系统中对运算/存储等资源的占用率很高，从而造成设备成本居高不下、实际推广应用困难。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于快速模式判决的H.264/AVC高效转码器，通过直接对宏块模式进行选择和运动矢量的细化的方法，简化编码端模式判决和运动估计操作，以降低转码运算复杂度，满足实时转码的要求。

为实现上述目的，本发明提供的H.264/AVC高效码率转码系统包括：

解码器：用于对H.264/AVC视频码流解码，得到宏块模式、运动信息、残差图像和解码帧图像，并将宏块模式、运动信息和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器；

快速模式判决器：用于根据解码器送来的信息和编码器送来的参考帧图像对解码帧图像进行快速模式判决得到新的宏块模式，并传送给编码器；

编码器：用于根据快速模式判决器传送的信息对解码器送来的解码帧图像进行编码，得到既定目标码率的H.264/AVC压缩码流。

为实现上述目的，本发明提供的H.264/AVC高效码率转码方法，包括如下步骤：

(1)对接收到的视频码流进行解码，得到解码帧图像F以及每一个宏块的编码模式与运动矢量、残差块矩阵三者之和，该解码图像作为当前时刻的编码帧；

(2)判断当前编码帧是否为I帧，如果是，则不参与快速转码，用JVT会议参考软件JM中的高复杂度RDO模式判决，计算当前编码帧每个宏块的最佳帧内宏块模式，退出快速模式判决；

(3)判断当前编码帧是否为第一个P帧，如果是，则不参与快速转码，转到步骤(4)，否则对当前帧的每个宏块执行步骤(5)；

(4)用JVT会议参考软件JM中的高复杂度RDO模式判决和运动搜素方法，计算当前编码帧每个宏块的最佳宏块模式和运动矢量，并对解码帧图像F进行编码，最后计算出当前帧最佳宏块模式下的平均失真值，作为后续编码帧的模式判决门限T，退出快速模式判决；

(5)计算当前宏块残差系数和及平方和，分别用符号∑Diff_i和∑Diff_i ²表示；

(6)计算出当前编码帧的参考帧的平均绝对误差MAD、均方误差MSE和预测运动矢量；

(7)如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式，记为新的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真度：

D＝∑Diff_i ²+2α*MAD*∑Diff_i+β*MSE，

其中 $\mathrm{\α}=\frac{m{v}_{\mathrm{di}}^2+{\mathrm{mv}}_{\mathrm{dj}}^2}{\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{di}}^2}+\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{dj}}^2}},$ β＝16*16*α，

其中mv_di，mv_dj为当前解码宏块运动矢量的两个分量，mv_dj，mv_dj为当前解码帧所有宏块运动矢量的两个分量的平均值，根据估计的失真度D和模式判决门限T，选择新的宏块模式H；

(8)解码宏块运动矢量和预测运动矢量分别作为搜索起点，对当前宏块做小钻型搜索，得到新的运动矢量S；

(9)利用宏块模式H和新的运动矢量S，对解码帧图像F进行编码；

(10)当前帧编码完成后，统计重构帧和解码帧的峰值信噪比，若与上一帧统计峰值信噪比结果相差超过一个门限，则返回步骤(4)，否则，退出快速编码。

本发明与现有技术相比具有如下优点：

1)本发明的快速模式判决系统由于采用了快速模式判决器，简化了编码器的运动矢量搜索和宏块模式判决，使得编码器的运算量大为降低，节省编码时间。

2)本发明中的快速模式判决方法，由于充分利用解码图像和参考帧的图像信息、运动矢量、宏块编码类型和残差，直接进行宏块模式的选择和运动矢量的细化，简化了H.264/AVC编码器复杂的RD0模式判决、运动估计的操作，在保持转码图像质量的情况下，极大地降低了转码运算复杂度和和时间。

附图说明

图1是现有的H.264/AVC像素域级联全解全编转码系统框图；

图2是本发明H.264/AVC高效码率转码系统框图；

图3是本发明H.264/AVC高效码率转码方法流程图。

具体实施方式

参照图2，本发明的基于快速模式判决的H.264/AVC高效码率转码系统，由解码器、快速模式判决器和编码器三部分组成。其中：

解码器：用于对输入的H.264/AVC压缩视频码流进行解码，并把宏块模式信息和运动信息传给快速模式判决器，同时把解码图像传送给编码器。解码器主要由变长解码器、反量化、反变换、运动补偿和参考帧五个单元组成。其中变长解码器、反量化和反变换三个单元用来计算残差图像和解码信息，运动补偿和参考帧两个单元用来产生预测图像。预测图像和残差图像相加得到解码图像。

快速模式判决器：利用解码器得到的解码帧图像数据和编码器参考帧图像数据进行快速模式判决得到的宏块模式，并传送给编码器。

编码器：利用快速模式判决器得到的宏块模式和运动信息对解码器解码图像进行编码，输出既定目标码率的H.264/AVC压缩码流。编码器由变换、量化、变长编码器、运动补偿、解码环和反馈环六个单元组成。其中变换、量化、变长编码器三个单元用来编码残差图像，运动补偿、解码环和反馈环三个单元用来产生预测图像，其中变长编码器还用来编码边信息，预测模式、量化参数、运动矢量。

本发明系统的工作原理如图2所示：解码器对输入的H.264/AVC压缩比特流通过变长解码器、反变换、反DCT变换后，得到残差图像像素值，并与运动补偿单元得到的预测图像相加得到解码图像，传送至编码器。同时变长解码器将运动信息传送至快速模式判决器和运动补偿单元，将解码宏块信息传送至快速模式判决器。快速模式判决器利用解码器得到的解码帧图像和编码器参考帧图像进行快速模式判决操作，并传送至编码器。编码器利用快速模式判决得到的宏块模式和运动矢量对解码器输出的解码图像进行编码。将解码图像和编码器运动补偿得到的预测图像相减得到的残存图像，然后进行整数DCT变换、量化和熵编码，同时把解码需要的边信息，一起组成压缩视频码流输出。同时将量化系数通过解码环路、反馈环路得到重构图像，并且参考帧图像数据传送至快速模式判决器以供后续帧快速模式判决使用。

参照图3，本发明的高效码率转码方法步骤如下：

步骤1，对输入的H.264视频压缩码进行解码，得到每个宏块的编码模式、运动矢量、残差和解码帧图像。

步骤2，判断当前编码帧是否为I帧，如果是则采用JVT会议参考软件JM的高复杂RDO帧内模式判决，退出快速转码。

步骤3，判断当前编码P帧在当前的GOP里是否为第一个P帧，如果是则不参与快速转码，转到步骤4，否则对当前P帧的每个宏块执行步骤5。

步骤4，对当前帧每个宏块利用JVT会议参考软件JM的RDO高复杂度模式判决和运动搜素计算模块模式和运动矢量，并且统计该帧最佳帧间宏块模式下的失真平均值作为后续编码帧模式判决的门限Ti，i为枚举类型可以为P16×16，P16×8，P8×16和P8×8四种值，退出快速模式判决。

步骤5，如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式，记为新的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真值：

D＝∑Diff_i ²+2α*MAD*∑Diff_i+β*MSE，

其中 $\mathrm{\α}=\frac{{\mathrm{mv}}_{\mathrm{di}}^2+{\mathrm{mv}}_{\mathrm{dj}}^2}{\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{di}}^2}+\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{dj}}^2}},$ β＝16*16*α，

其中mv_di，mv_dj为当前解码宏块运动矢量的两个分量，mv_di，mv_dj为当前解码帧所有宏块运动矢量的两个分量的平均值，根据估计的失真值D和模式判决门限T，选择与Ti最接近的帧间模式，并且根据输入解码宏块模式对判决结果予以修正，如果判决结果模式比输入模式还要精细则直接复用输入模式。

步骤6，对当前帧每个宏块以输入的解码宏块运动矢量和预测运动矢量为搜索起点，做小钻型搜素以细化运动矢量，得到新的运动矢量传送至编码器。

步骤7，根据快速判决的新模式和新的运动矢量对当前宏块进行编码。

步骤8，当前帧编码后统计重构帧和解码帧的PSNR，若与上一帧统计PSNR结果相差超过一个门限，则返回步骤3，否则退出。

本发明的效果通过以下实验进一步说明：

1)实验条件

硬件环境：CPU Intel Pentium(R)4，3.0GHZ，1.0G内存；

软件测试模型：JM12.0；

Profile：Baseline profile；

GOP结构：IPPPP…；

编码帧数：10，100；

参考帧数目：1；

搜索范围：16像素；

搜索精度：1/4像素精度；

RDO：JVT会议参考软件JM规定的高复杂度RDO；

参考序列：akiyo、bridge-close、bidge-far、container、flower、hall；

输入码流的源码率为1024kbps，分辨率为352x288CIF格式，帧率30fps；

输出码流的目标码率为512kbps，分辨率为352x288CIF格式，帧率30fps。

2)实验内容

实验1：

统计各参考序列在上述实验条件下采用级联全解全编得到的第一个P帧的各最佳帧间模式的平均失真值。实验结果见表1。

表1：最佳帧间模式的平均失真值

从表1可以看出，绝大部分序列在编完第一个P帧后得到最佳帧间模式大致可以根据平均失真分为四类：P16x16，P8x8，P16x8与P8x16，而且P8x8帧间模式的平均失真最大，P16x16帧间模式的最小，而P16x8与P8x16介于两者之间，说明可以根据宏块失真作为门限值有效的对宏块模式进行区分。

实验2：

统计各参考序列在上述实验条件下分别采用级联全解全编方法和本发明提出的基于快速模式判决的高效码率转码方法，进行转码10帧图像，得到各模式的相匹配的比例。各序列的实验结果分别见表2(a)、表2(b)、表2(c)、表2(d)、表2(e)和表2(f)。

表2(a)：akiyo参考序列模式匹配比例

表2(b)：bridge-close参考序列模式匹配比例

表2(c)：bridge-far参考序列模式匹配比例

表2(d)：bridje-far参考序列模式匹配比例

表2(e)：flower参考序列模式匹配比例

表2(f)：hall参考序列模式匹配比例

从表2(a)、表2(b)、表2(c)、表2(d)、表2(e)和表2(f)可以看出，用本发明提出的基于快速模式判决得到的宏块模式与级联全解全编高复杂度RDO得到的宏块模式相比匹配比例可达到60％~80％，这有效的保证了高效转码的图像质量。

实验3：

统计各参考序列在上述实验条件下分别采用级联全解全编方法和本发明提出的基于快速模式判决的高效码率转码方法，进行转码100帧图像，所消耗的编码时间、转码时间及图像的Y、U、V分量的PSNR。级联转码结果见表3(a)，高效转码结果见表3(b)，两者性能比较结果见表3(c)。

表3(a)级联转码性能

参考序列	PSNR_Y(db)	PSNR_U(db)	PSNR_V(db)	编码时间(s)	转码时间(s)
						akiyo	47.59	50.69	51.72	571.096	744.11
bridge-clos	39	40.63	42.48	573.039	746.359
						bridge-far	43.07	42.91	44.24	541.023	714.891
container	40.51	47.35	47.26	603.655	777.61
						flower	29.3	37.09	41.56	552.052	725.984
hall	41.8	42.76	45.4	558.577	732.75

表3(b)高效转码性能

参考序列	PSNR_Y(db)	PSNR_U(db)	PSNR_V(db)	编码时间(s)	转码时间(s)
						akiyo	47.24	50.27	51.4	48.831	221.562
bridge-close	38.64	40.61	42.43	48.686	221.656
						bridge-far	42.65	42.79	44.1	49.808	223.937
container	40.19	47.14	46.95	50.827	224.578
						flower	28.95	37.03	41.38	55.69	257.015
hall	41.24	42.54	45.1	51.5	225.485

表3(c)级联转码性能和高效转码性能比较结果

参考序列	ΔPSNR_Y(db)	ΔPSNR_U(db)	ΔPSNR_V(db)	编码时间节省(％)	转码时间节省(％)
						akiyo	-0.35	-0.4	-0.32	0.9145	0.702246
bridge-close	-0.36	-0	-0.05	0.91504	0.703017
						bridge-far	-0.42	-0.1	-0.14	0.90794	0.686754
container	-0.32	-0.2	-0.31	0.9158	0.711195
						flower	-0.35	-0.1	-0.18	0.89912	0.645977
hall	-0.56	-0.2	-0.3	0.9078	0.692276

从表3(a)、3(b)和3(c)可以看出，本发明提出的基于快速模式判决的高效码率转码方案在质量损失很小的情况下，节省编码时间可达90％之多。

Claims (6)

1.一种基于快速模式判决的H.264/AVC高效转码系统，包括：

解码器：用于对H.264/AVC视频码流解码，得到宏块模式、运动矢量、残差图像和解码帧图像，并将宏块模式、运动矢量和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器；

快速模式判决器：用于根据解码器传送的信息和编码器传送的参考帧图像对解码帧图像进行快速模式判决得到新的宏块模式，并传送给编码器，即当当前编码帧不是I帧或第一个P帧的时候，使用该快速模式判决器判决产生新宏块模式；而当当前编码帧是I帧时，则不参与快速转码，用JVT会议参考软件JM中的高复杂度RDO模式判决，计算当前编码帧每个宏块的最佳帧内宏块模式，退出快速模式判决；当当前编码帧是第一个P帧时，则不参与快速转码，用JVT会议参考软件JM中的高复杂度RDO模式判决和运动搜素方法，计算当前编码帧每个宏块的最佳宏块模式和运动矢量，并对解码帧图像F进行编码，最后计算出当前帧最佳宏块模式下的平均失真值，作为后续编码帧的模式判决门限T，退出快速模式判决；

编码器：用于根据快速模式判决器传送的信息对解码器传送的解码帧图像进行编码，得到既定目标码率的H.264/AVC压缩码流。

2.根据权利要求1所述的H.264/AVC高效转码系统，其中解码器包括：

变长解码器：用于对H.264/AVC压缩比特流依次进行熵解码和重排序，得到一组变换系数传送给反量化单元，并从H.264/AVC压缩比特流中提取出运动矢量、宏块模式和参考帧信息，将宏块模式和参考帧信息分别传送给快速模式判决器和参考帧单元，将运动矢量传送给快速模式判决器和解码器运动补偿单元；

反量化单元：用于对变长解码器传送的变换系数进行反量化得到量化系数，并把量化系数传送给反变换单元；

反变换单元：用于对反量化单元传送的量化系数进行反DCT变换得到残差图像，并把残差图像传送给快速模式判决器，同时把残差图像和运动补偿单元传送的预测图像相加得到解码图像传送给编码器；

运动补偿单元：用于根据参考帧单元传送的参考帧和变长编码器传送的运动矢量进行运动补偿，得到预测图像，并把预测图像传送给反变换单元；

参考帧单元：用于产生参考帧，并把参考帧传送给运动补偿单元。

3.根据权利要求1所述的H.264/AVC高效转码系统，其中编码器包括：

参考帧单元：用于产生参考帧，并把参考帧分别传送给运动补偿单元和快速模式判决器；

运动补偿单元：用于根据快速模式判决器传送的宏块模式，对编码器参考帧单元传送的参考帧和解码器传送的运动矢量作小钻型搜索以细化运动矢量，并把它传送给变长编码器，同时进行运动补偿得到预测帧传送给变换单元；

变换单元：用于将解码器送来解码图像减去编码器运动补偿单元传送的预测图像，得到的残差图像，并对残差图像进行整数DCT变换得到变换系数，将该变换系数传送到量化单元；

量化单元：用于对变换单元传送的变换系数进行量化，得到量化系数，该量化系数传送给变长编码器；

变长编码器：用于对量化单元传送的量化系数进行熵编码，将得到的数据和边信息按H.264/AVC的码流格式要求组成压缩视频码流；

解码环路：用于产生反馈环路的重构图像，它包括反量化和反变换两个单元。

4.一种基于快速模式判决的H.264/AVC高效码率转码方法，包括如下步骤：

(1)对接收到的视频码流进行解码，得到解码帧图像F以及每一个宏块的编码模式与运动矢量、残差块矩阵三者之和，该解码图像作为当前时刻的编码帧；

(2)判断当前编码帧是否为I帧，如果是，则不参与快速转码，用JVT会议参考软件JM中的高复杂度RDO模式判决，计算当前编码帧每个宏块的最佳帧内宏块模式，退出快速模式判决；

(3)判断当前编码帧是否为第一个P帧，如果是，则不参与快速转码，转到步骤(4)，否则对当前帧的每个宏块执行步骤(5)；

(4)用JVT会议参考软件JM中的高复杂度RDO模式判决和运动搜素方法，计算当前编码帧每个宏块的最佳宏块模式和运动矢量，并对解码帧图像F进行编码，最后计算出当前帧最佳宏块模式下的平均失真值，作为后续编码帧的模式判决门限T，退出快速模式判决；

(5)计算当前宏块残差系数和及平方和，分别用符号ΣDiff_i和

表示；

(6)计算出当前编码帧的参考帧的平均绝对误差MAD、均方误差MSE和预测运动矢量；

(7)如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式，记为新的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真值：

$D=\mathrm{\Σ}{\mathrm{Diff}}_i^2+2\mathrm{\α}*\mathrm{MAD}*\mathrm{\Σ}{\mathrm{Diff}}_i+\mathrm{\β}*\mathrm{MSE},$

其中 $\mathrm{\α}=\frac{{\mathrm{mv}}_{\mathrm{di}}^2+{\mathrm{mv}}_{\mathrm{dj}}^2}{\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{di}}^2}+\stackrel{\‾}{{\mathrm{mv}}_{\mathrm{dj}}^2}},$ β＝16*16*α，

其中mν_di，mν_dj为当前解码宏块运动矢量的两个分量，

为当前解码帧所有宏块运动矢量的两个分量的平均值，根据估计的失真值D和模式判决门限T，选择新的宏块模式H；

(8)解码宏块运动矢量和预测运动矢量分别作为搜索起点，对当前宏块做小钻型搜索，得到新的运动矢量S；

(9)利用宏块模式H和新的运动矢量S，对解码帧图像F进行编码；

(10)当前帧编码完成后，统计重构帧和解码帧的峰值信噪比，若与上一帧统计峰值信噪比结果相差超过一个门限，则返回步骤(4)，否则，退出快速编码。

5.根据权利要求4所述的H.264/AVC高效码率转码方法，其中步骤(1)所述的解码器对接收到的视频码流进行解码，得到图像解码信息M和解码帧图像F，按如下步骤进行：

(5a)对输入的压缩比特流进行熵解码，得到一组变换系数X；

(5b)变换系数X依次经过反量化和反变换后，得到残差图像；

(5c)从压缩比特流中解码出宏块模式、宏块运动矢量和参考帧信息，根据参考帧信息中指定的参考帧和运动矢量进行运动补偿，得到预测图像P；

(5d)将残差图像和预测图像块P相加得到解码图像块。

6.根据权利要求4所述的H.264/AVC高效码率转码方法，其中步骤(9)所述的利用宏块模式H和新的运动矢量S，对解码帧图像F进行编码，按如下步骤进行：

(6a)根据最佳宏块模式H和运动矢量S，进行运动补偿得到预测图像；

(6b)将当前编码帧图像和预测图像相减，得到残差图像，残差图像依次通过DCT变换、量化和变长编码，最后输出既定目标码率的H.264/AVC压缩码流；

Images