CN106060555A - 一种基于多核处理器的编码器 - Google Patents

Abstract

本发明涉及一种基于多核处理器的编码器，包括并行运动估计模块，所述并行运动估计模块并行获取子块的运动矢量信息和残差块数据，其中运动矢量信息作为运动矢量模块的输入信息，用于计算子块的运动矢量信息；所有运动矢量信息计算完成后，残差数据获取模块访问存放在参考帧内存中的子块数据，并输送给DCT变换模块得到量化后的变换系数，所述变换系数作为失真估计模块的输入；MV成本查表模块用于查表从所述并行运动估计模块获取运动矢量编码的比特数，所述比特数作为比特率估计模块的输入；所述失真估计模块和比特率估计模块的输出作为RDO帧间模式决策模块的输入进行最佳模式决策。本发明能够提高整个的视频编码效率。

Description

一种基于多核处理器的编码器

技术领域

本发明涉及编码器技术领域，特别是涉及一种基于多核处理器的编码器。

背景技术

2003年，H.264被正式颁布。这一最新的视频编码标准，相比较于之前的标准诸如MPEG-2、H.263等，在保证相同图像质量前提下，能降低50％以上的码率。但随着压缩效率的提高，处理过程中复杂度的增加是不可避免的。在软件平台上的仿真结果显示，其复杂度在编码过程中增加一个数量级，在解码过程中增加了两倍以上。而在硬件层面上，有效利用超大规模集成电路，使得处理更加复杂的视频压缩算法成为可能，但是即使伴随着半导体技术的发展，实现H.264也绝非易事，包括硬件平台资源有限；实现该算法需要复杂的结构设计；同时因为数据之间的相关性使得并行处理很困难。而且H.264/AVC还有一个致命的缺点，就是编解码复杂度较高，这是由于H.264编码过程中的帧内预测代价计算和模式选择需要很大的计算量，其计算量是H.263的两三倍。

H.264编码器是目前最受到广泛研究的编码标准，无论科技工作者、厂家、学生、商业组织都在从不同角度对H.264编码器进行研究。另外，还有一些关于H.264的开源项目，尤其是软件开源项目，例如JM,X264等，关于硬件的开源项目则比较少，Opencores上面有一个H.264解码器的硬件开源项目，但没有编码的开源项目。

现在，多核处理器已经成为被广泛采用的计算体系结构，并行算法和基于线程级别的并行软件的设计对于计算密集型应用程序显得越来越重要性。但是由于存在各种各样的数据和控制依赖关系，特别的，H.264编码器帧内模式决策和帧间模式决策数据之间存在很强的依赖性,尤其是在率失真优化方面(RDO)，很难开发出线程级并行H.264视频编码器。

发明内容

本发明所要解决的技术问题是提供一种基于多核处理器的编码器，提高整个的视频编码效率。

本发明解决其技术问题所采用的技术方案是：提供一种基于多核处理器的编码器，包括并行运动估计模块，所述并行运动估计模块并行获取子块的运动矢量信息和残差块数据，其中运动矢量信息作为运动矢量模块的输入信息，用于计算子块的运动矢量信息；所有运动矢量信息计算完成后，残差数据获取模块访问存放在参考帧内存中的子块数据，并输送给DCT变换模块得到量化后的变换系数，所述变换系数作为失真估计模块的输入；MV成本查表模块用于查表从所述并行运动估计模块获取运动矢量编码的比特数，所述比特数作为比特率估计模块的输入；所述失真估计模块和比特率估计模块的输出作为RDO帧间模式决策模块的输入进行最佳模式决策。

所述并行运动估计模块中三个运动估计进程在三个线程中并行执行获取帧间预测不同模式的运动矢量，三个进程同时进行，搜索16×16，8×8和4×4块的最佳匹配块；两个内存模块分别用于存储参考宏块和当前宏块的数据信息。

所述8×8运动估计进程中有4个分进程，即在一个MB的给定4个8×8的数据子块中搜索最佳匹配块；所述4×4运动估计进程中有16个分进程，即在一个MB的给定16个4×4的数据子块中搜索最佳匹配块。

16×16子块的运动矢量预测值由相邻MBS得到，8×8子块在当前MB中运动矢量预测值由计算4个8×8子块的运动矢量的平均值得到，对于4×4子块,同样由计算16个4×4子块的运动矢量的平均值得到。

所述最佳匹配的标准是至少两个块之间的最小绝对值误差和SAD，所述并行运动估计模块在SAD进程中将子块SAD值与设定的SAD目标值比较，当子块SAD值低于设定的SAD目标值，搜索终止；否则继续搜索，直到搜索表完全结束，其中，SAD是当前块实际像素值与预测像素值差的绝对值之和。

所述比特率估计模块通过数学模型R＝total_zeros+3*total_coeff+SAC得到，其中，R为比特率、total_zeros为最后一个扫描非零系数总数中零块的总数、total_coeff为非零块的量化系数的总数、SAC为量化变换系数在扫描时各模块残差绝对值的总和。

所述RDO帧间模式决策模块将所有不同的编码模式的成本进行比较，成本最低的编码方式将选为最好的帧间编码模式。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

本发明基于多核处理器设计H.264编码器通过实现编码过程的并行化满足了H.264所覆盖的多媒体应用的实时性的要求；

本发明采用多核处理器，在多线程的环境中，多核处理器的优势十分明显，多核处理器具有更强的并行处理能力和更高的计算密度，也可以大大降低处理器的功耗；

本发明提出基于多核处理器实现的并行化，是针对一个宏块编码过程的并行化，可以通过设计算法有效的去除数据依赖关系；

本发明通过设计基于线程级的并行运动估计模块，获得帧间预测不同模式的运动矢量，不同块的运动估计由并行运动估计模块获得；

本发明设计算法消除模式决策过程的数据依赖，采用估计的方法获得的编码成本；

本发明设计算法使得帧间16×16，8×8以及4×4子块的并行运动估计模块和帧内预测进一步实现并行，加速编码，同时保证PSNR损失和比特率增加，在可忽略不计的范围内。

附图说明

图1是本发明的系统框图；

图2是并行运动估计模块结构方框图；

图3是一个宏块编码流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于多核处理器的编码器，如图1所示，包括并行运动估计模块，所述并行运动估计模块并行获取子块的运动矢量信息和残差块数据，其中运动矢量信息作为运动矢量模块的输入信息，用于计算子块的运动矢量信息；所有运动矢量信息计算完成后，残差数据获取模块访问存放在参考帧内存中的子块数据，并输送给DCT变换模块得到量化后的变换系数，所述变换系数作为失真估计模块的输入；MV成本查表模块用于查表从所述并行运动估计模块获取运动矢量编码的比特数，所述比特数作为比特率估计模块的输入；所述失真估计模块和比特率估计模块的输出作为RDO帧间模式决策模块的输入进行最佳模式决策。

如图2所示，三个运动估计进程在三个线程中并行执行获取帧间预测不同模式的运动矢量，三个进程同时进行，搜索16×16，8×8和4×4块的最佳匹配块，两个内存模块分别用于存储参考宏块和当前宏块的数据信息，还有一个控制模块，用来控制存储运动估计模块和访问内存模块。其中8×8的运动估计进程中有4个分进程，即在在一个MB的给定4个8×8的数据子块中搜索最佳匹配块，最匹配的标准是至少两个块之间的最小绝对值误差和SAD。相似的结构中，4×4运动估计进程中则有16个分进程在一个MB的给定16个4×4的数据子块中搜索最佳匹配块。16×16运动估计进程中没有分进程。

在并行运动估计模块还采用了一个早期的运动搜索终止算法。即SAD进程中的某子块SAD值与设定的SAD目标值比较，当SAD值低于SAD目标值,搜索终止；否则,继续搜索,直到搜索表完全结束。为了减少计算消耗16×8，8×16，8×4，4×8子块的运动估计不在图2的并行运动估计模块中进行。在RDO模式决策过程中,16×8和8×16块的运动矢量估计可以由如下公式推导得出：

mv_{16×8_A}＝mv_{8×8_A}+mv_{8×8_B}＞＞1

mv_{16×8_B}＝mv_{8×8_C}+mv_{8×8_D}＞＞1

mv_{8×16_A}＝mv_{8×8_A}+mv_{8×8_C}＞＞1

mv_{8×16_B}＝mv_{8×8_B}+mv_{8×8_D}＞＞1

8×4和4×8块的估计矢量运动可以用类似的公式算得。因此当所有的模式的运动矢量已经得到,下一步就可以计算所有模式的编码成本。

对于帧间预测的运动估计部分，对各预测模式计算相应的代价函数值，采用基于绝对误差和SAD的复杂度代价函数计算模型：

J_motion＝SAD+λ_motion·R(MV,REF)

${\mathrm{\λ}}_{motion}=\sqrt{L_{mode}}=0.85\×2^{(QP-12)\backslash 3}$

其中，SAD是当前块实际像素值与预测像素值差的绝对值之和，λ_motion是拉格朗日乘数，λ_mode是基于拉格朗日函数率失真优化的高复杂度代价函数计算模型，R(MV,REF)是对该预测模式下编码后比特率估计值，QP是每个宏块的量化参数。

对于编码后比特率的计算，采用下面的的数学模型：

R＝total_zeros+3*total_coeff+SAC

total_zeros为最后一个扫描非零系数总数中零块的总数、total_coeff为非零块的量化系数的总数、SAC为量化变换系数在扫描时各模块残差绝对值的总和。

所以编码的成本计算是基于公式:

cost＝SAD_mode+λ*{f(coeff)+t(MV_mode-MVP_mode)}

t()是基于查找表可以直接生成的运动矢量信息的函数，MV_mode和MVP_mode分别为运动向量和运动向量预测。MVP_16×16是运动矢量预测值由相邻MBS得到，MVP_8×8是在当前MB中运动矢量预测值，由计算4个8×8块的运动矢量的平均值算的。对于4×4子块,可以用同样的方法计算运动矢量的平均值。运动矢量预测值在一个8×8块中4个4×4块运动矢量的平均值。在MB中16×8和8×16大小块的运动向量预测由两个8×8块的运动矢量的平均值得到。同样，在8×4和4×8块运动矢量预测值为在8×8块中两个4×4块运动向量平均值。运动矢量近似预测只用于RDO的过程。

将所有不同的编码模式的成本进行比较。成本最低的编码方式将选为最好的帧间编码模式。该最好帧间编码模式用于处理帧间编码，同时需要运动估计,如16×16，8×8和4×4子块的运动估计。对于skip模式,可以使用16×16模式的结果，选择的规则是如果当前宏块与所选宏块之间的MAD的小于16×16模块的MAD，这选择skip模式。

所述的多核处理器的H.264编码器系统中，对于一个宏块的编码过程，采用帧间模式决策Slipstreaming算法，有效地去除了RDO模式决策过程中帧内模式决策和帧间模式决策之间的数据依赖关系运动估计和RDO帧内模式决策并行执行，进一步实现编码过程的并行化，一个宏块的编码流程图如图3所示。

本发明通过设计算法消除编码器各模块间的数据依赖关系，使得编码器的编码单位可以在多核处理器的不同内核上并行执行。包括设计算法使得帧间预测过程的各子块的运动估计和RDO帧内模式决策过程并行进行，采用比特率估计算法和低复杂性的整数失真估计方法，消除各编码单元之间的数据依赖关系，使得模式决策过程进一步并行化，使得一个宏块的各个编码单元在可以在处理器的不同内核上并行处理。编码器将帧间预测过程中不同分块大小的运动估计进行并行处理，然后在一个进程中计算同一个编码过程中所有帧间模式的编码成本，从而达到减少编码时间的目地，实现快速编码。

Claims (7)

1.一种基于多核处理器的编码器，其特征在于，包括并行运动估计模块，所述并行运动估计模块并行获取子块的运动矢量信息和残差块数据，其中运动矢量信息作为运动矢量模块的输入信息，用于计算子块的运动矢量信息；所有运动矢量信息计算完成后，残差数据获取模块访问存放在参考帧内存中的子块数据，并输送给DCT变换模块得到量化后的变换系数，所述变换系数作为失真估计模块的输入；MV成本查表模块用于查表从所述并行运动估计模块获取运动矢量编码的比特数，所述比特数作为比特率估计模块的输入；所述失真估计模块和比特率估计模块的输出作为RDO帧间模式决策模块的输入进行最佳模式决策。

2.根据权利要求1所述的基于多核处理器的编码器，其特征在于，所述并行运动估计模块中三个运动估计进程在三个线程中并行执行获取帧间预测不同模式的运动矢量，三个进程同时进行，搜索16×16，8×8和4×4块的最佳匹配块；两个内存模块分别用于存储参考宏块和当前宏块的数据信息。

3.根据权利要求2所述的基于多核处理器的编码器，其特征在于，所述8×8运动估计进程中有4个分进程，即在一个MB的给定4个8×8的数据子块中搜索最佳匹配块；所述4×4运动估计进程中有16个分进程，即在一个MB的给定16个4×4的数据子块中搜索最佳匹配块。

4.根据权利要求2所述的基于多核处理器的编码器，其特征在于，16×16子块的运动矢量预测值由相邻MBS得到，8×8子块在当前MB中运动矢量预测值由计算4个8×8子块的运动矢量的平均值得到，对于4×4子块,同样由计算16个4×4子块的运动矢量的平均值得到。

5.根据权利要求3所述的基于多核处理器的编码器，其特征在于，所述最佳匹配的标准是至少两个块之间的最小绝对值误差和SAD，所述并行运动估计模块在SAD进程中将子块SAD值与设定的SAD目标值比较，当子块SAD值低于设定的SAD目标值，搜索终止；否则继续搜索，直到搜索表完全结束，其中，SAD是当前块实际像素值与预测像素值差的绝对值之和。

6.根据权利要求1所述的基于多核处理器的编码器，其特征在于，所述比特率估计模块通过数学模型R＝total_zeros+3*total_coeff+SAC得到，其中，R为比特率、total_zeros为最后一个扫描非零系数总数中零块的总数、total_coeff为非零块的量化系数的总数、SAC为量化变换系数在扫描时各模块残差绝对值的总和。

7.根据权利要求1所述的基于多核处理器的编码器，其特征在于，所述RDO帧间模式决策模块将所有不同的编码模式的成本进行比较，成本最低的编码方式将选为最好的帧间编码模式。