CN108322758A - 多模视频解码器中运动补偿结构 - Google Patents

Abstract

本发明公开了一种多模视频解码器中运动补偿结构，包括帧存储器，存储参考图像；预取缓存单元，读取外部帧存储器的参考像素并进行缓存；系数页表，存储适用于多种标准的视频解码器的滤波器系数；插值单元，包括多个可配置参数的FIR滤波器，用于进行水平方向1/2插值、竖直方向1/2插值、水平方向1/4插值和竖直方向上的1/4精度插值滤波；输出端，输出亮度插值数据和色度插值数据；所述预取缓存单元和帧存储器连接；所述插值单元同时与预取缓存单元、系数页表和输出端连接。该系统采用参数可配的FIR滤波器，可兼容多种视频标准中的亮度分量和色度分量的插值。本发明还另外公开了基于该系统的运动补偿方法。

Description

多模视频解码器中运动补偿结构

技术领域

本发明涉及多媒体视频技术领域，尤其涉及一种多模视频解码器中运动补偿结构，在低功耗的基础上满足高清视频的解码需求的运动补偿系统和方法。

背景技术

运动补偿技术通过消除相邻帧之间的时间冗余度来提高视频编码的效率。在最新的视频编码标准中，运动补偿引入了许多新的编码技术，包括可变块大小、多参考帧、双向预测、非限制的运动矢量和四分之一精度插值等等。所有这些新技术均可提高视频编码的效率，但同时也极大的增加了运动补偿的运算需求和带宽需求。在H.264/AVC基本级中，运动补偿占用了总解码时间的25%，并占用了总带宽的50%；同时，在主级中运动补偿所占用的解码时间和带宽需求将分别增加15%到30%左右。AVS和MPEG-4 ASP的情形也类似。因此，运动补偿为多标准解码器设计的瓶颈。

以往的针对H.264/AVC的高效运动补偿电路，其均采用了基于4x4固定块大小的运动补偿结构，并提出了复杂的数据重利用策略和调度策略，以克服基于4x4块大小的运动补偿所带来的缺陷，从而导致需要更多的片上存储器和复杂的控制逻辑来支持这些新策略，同时亮度分量和色度分量均采用了不同的硬件插值电路；以往的结构可同时支持H.264/AVC和AVS的亮度插值结构，但是不支持色度插值，同时也不支持其他标准；有的结构主要集中在多标准解码器中运动补偿子系统，包括运动矢量预测等的设计与实现，但没有包含针对运动补偿插值结构的详细描述；有人提出了采用一种新的4级有向FIR滤波器来代替H.264/AVC标准中原有的6级滤波器，以解决原有插值算法的不规则问题和过高的带宽需求问题，但是其引入了较严重的图像质量损失，同时也未能提出适用于多标准的解决方案。

发明内容

本发明的主要目的在于提供一种多模视频解码器中运动补偿结构，其采用基于可变块大小的运动补偿结构，有效的减少了外存访问和冗余运算，并解决了运动补偿的多标准兼容问题，包括MPEG-2、H.263、MPEG-4 SP/ASP、H.264/AVC和AVS等多个标准。

为实现上述目的，本发明提供一种多模视频解码器中运动补偿结构，包括帧存储器，存储参考图像；预取缓存单元，读取外部帧存储器的参考像素块并进行缓存；系数页表，存储适用于多种标准的视频解码器的滤波器系数；插值单元，包括多个可配置参数的FIR滤波器，用于进行水平方向1/2插值、竖直方向1/2插值、水平方向1/4插值和竖直方向上的1/4精度插值滤波；输出端，输出亮度插值数据和色度插值数据；所述预取缓存单元和帧存储器连接；所述插值单元同时与预取缓存单元、系数页表和输出端连接。

进一步地，所述插值单元包括：行滤波器组，进行水平方向1/2插值滤波；

第一列滤波器组，进行竖直方向1/2插值滤波；第二列滤波器组，进行水平方向1/4插值或竖直方向1/4插值滤波；转置RAM单元，存储整像素样本数据、1/2像素样本数据和左边一列1/2样本数据；移位寄存器组，缓存从转置RAM单元读出的样本值；寄存器组，缓存第一列滤波组插值后的数据；所述帧存储器与预取缓存单元连接；预存缓存单元同时与转置RAM单元和行滤波器组连接；行滤波器组还同时与转置RAM单元和系数页表连接；移位寄存器组同时与转置RAM单元和第一列滤波器组连接；寄存器组同时与第一列滤波器组、第二列滤波器组和转置RAM单元连接；第一列滤波器还与系数页表连接，第二列滤波器组还同时与系数页表、转置RAM单元和输出端连接。

进一步地，所述预取缓存单元包括24*8*32bits的双口RAM和移位寄存器堆，双口RAM从帧存储器读取参考像素块，并进行数据缓存，移位寄存器堆将缓存的参考像素进行存储；所述输出端包括数据选择器MUX1、数据选择器MUX2、第一输出端和第二输出端；所述数据选择器MUX1从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第一输出端、；所述数据选择器MUX2从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第二输出端。

进一步地，所述移位寄存器堆的大小为2*10*8bits。

进一步地，所述行滤波器组包括2个8抽头的行滤波器；所述第一列滤波器组包括4个8抽头的列滤波器；所述第二列滤波器组包括2个8抽头的列滤波器；所述转置RAM单元包括5个转置RAM模块；所述移位寄存器组包括4个移位寄存器；所述寄存器组包括4个寄存器。

进一步地，行滤波器组包括行滤波器HF0和行滤波器HF1；第一列滤波器组包括列滤波器VF0、列滤波器VF1、列滤波器VF2和列滤波器组VF3；第二列滤波器组包括列滤波器VF4和列滤波器VF5；转置RAM单元包括RAM1、RAM2、RAM3、RAM4和RAM5；移位寄存器组包括SREG1、SREG2、SREG3和SREG4；寄存器组包括REG1、REG2、REG3和REG4。

进一步地，所述帧存储器与双口RAM连接，双口RAM与移位寄存器连接；移位寄存器与行滤波器组、RAM1和RAM2连接，RAM1用于存储偶数行整像素样本，RAM2用于存储奇数行整像素样本；行滤波器组同时与RAM3和RAM4连接；RAM5同时与寄存器组、列滤波器VF4和列滤波器VF5连接；RAM1与SREG2连接；RAM2与SREG4连接；RAM3与SERG1连接；RAM4与SREG3连接；SREG1与列滤波器VF2连接，SREG2与列滤波器VF0连接，SREG3与列滤波器VF3连接，SREG4与列滤波器VF1连接；列滤波器VF2与REG1连接，列滤波器VF0与REG2连接，列滤波器VF3与REG3连接，列滤波器VF1与REG4连接；REG1与REG2共同与列滤波器VF4连接，REG3与REG4共同与列滤波器VF5连接；列滤波器VF5与第一输出端连接，列滤波器VF6与第二输出端连接；列滤波器VF6通过数据选择器MUX1与第二输出端连接；寄存器REG1和寄存器REG2同时通过数据选择器MUX1与第一输出端连接；寄存器REG3和REG4同时通过数据选择器MUX1与第二输出端连接。

进一步地，所述行滤波器包括乘法器、寄存器和加法器；所述寄存器设置在所述乘法器与加法器之间。

进一步地，所述列滤波器中的滤波器各包括乘法器、寄存器和加法器；所述寄存器设置在所述乘法器与加法器之间。

本发明还给予该系统提供了一种兼容多标准视频解码器的运动补偿方法，包括以下步骤：

S01 插值单元根据视频标准从系数页表上获取与该视频标准匹配的滤波器参数，并配置完成滤波器的参数；

S02 预取缓存单元从外部帧存储器读取参考样本；

S03 插值单元从预取缓存单元上读取参考样本，并根据运动矢量加载滤波器系数，开始进行水平方向1/2插值；

S04 插值单元完成水平方向1/2插值后进行竖直方向1/2插值滤波，最后根据运动矢量进行水平方向1/4插值或者进行竖直方向上的1/4精度插值滤波，输出插值滤波后的样本数据，完成亮度插值；

S05 复用行滤波器，获取色度插值系数，配置行滤波器的参数，直接进行色度1/8精度插值滤波，输出插值滤波后样本数据，完成色度插值。

本发明具有以下有益效果：

1、采用参数可配的FIR滤波器，可兼容多种视频标准中的亮度分量和色度分量的插值。

2、该系统在125MHz工作频率下可满足全高清1080p（1920x1080）30帧/s的实时解码需求。

3、采用基于可变块大小的运动补偿，运动补偿插值过程将严格按照相应的块大小来进行，以减少外存的带宽需求，并增加单次访问外存的突发长度来减少外部存储器的访问功耗，极大地提高了外部存储器的访问效率和电路的吞吐率，克服了基于4x4固定块大小运动补偿结构的不足与缺陷。

4、可同时进行参考像素的预取、亮度插值滤波和色度插值滤波。

5、针对插值单元，本发明将滤波操作转化为乘累加操作，滤波器硬件由两级流水的乘法器和加法器构成。

附图说明

图1为本发明的实施例1的电路结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例提供一种兼容多标准视频解码器的运动补偿电路，该电路包括帧存储器、预取缓存单元、系数页表、插值单元和输出端组成，其中帧存储器与预取缓存单元连接，插值单元同时与预取缓存单元、系数页表和输出端连接。帧存储器用来存储获取的图像；系数页表为大小为8x64bits 的单口RAM，可以存储8个8抽头的滤波器系数，每个系数是8bits，能存储的滤波器的系数范围是[0,255]。该滤波器系数可以由外部写入，用户根据不同的标准将不同的滤波器系数写入系数页表中，实现多标准的兼容。如果有新的标准公布，只要新标准的插值方法与本发明的插值方法相同，本实施例的系统就可以兼容新标准。预取缓存单元读取外部帧存储器的参考帧数据并进行缓存和存储。插值单元包括行滤波器组、第一列滤波器组、第二列滤波器组、转置RAM单元和移位寄存器组和寄存器组。输出端包括第一输出端和第二输出端。

帧存储器与预取缓存单元连接；预存缓存单元同时与转置RAM单元和行滤波器组连接；行滤波器组还同时与转置RAM单元和系数页表连接；移位寄存器组同时与转置RAM单元和第一列滤波器组连接；寄存器组同时与第一列滤波器组、第二列滤波器组和转置RAM单元连接；第一列滤波器还与系数页表连接，第二列滤波器还同时与系数页表、转置RAM单元和输出端连接。

预取缓存单元包括24*8*32bits的双口RAM和移位寄存器堆，双口RAM从帧存储器读取参考像素，并进行数据缓存，移位寄存器堆将缓存的参考像素进行存储。本实施例中的移位寄存器堆的大小为2*10*8bits，可以存储2行10列像素，两行的移位寄存器堆可以加快插值进程，一行移位寄存器堆用来存储奇数行样本，另一个用来存储偶数行样本。移位寄存器堆中的像素直接送到行滤波器进行滤波，每个时钟周期移位寄存器堆中的样本将向左移位两个样本，左边的两个样本移出，右边移进来两个新样本。输出端包括数据选择器MUX1、数据选择器MUX2、第一输出端和第二输出端；数据选择器MUX1从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第一输出端、；数据选择器MUX2从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第二输出端。

本实施例的插值单元具体地包含2个8抽头的行滤波器、6个8抽头的列滤波器、5个转置RAM模块、4个移位寄存器和4个寄存器。行滤波器组包括行滤波器HF0和行滤波器HF1。列滤波器包括第一列滤波器组和第二列滤波器组，其中第一列滤波器组包括列滤波器VF0、列滤波器VF1、列滤波器VF2和列滤波器组VF3；第二列滤波器组包括列滤波器VF4和列滤波器VF5。转置RAM单元包括RAM1、RAM2、RAM3、RAM4和RAM5。移位寄存器组包括SREG1、SREG2、SREG3和SREG4。寄存器组包括REG1、REG2、REG3和REG4。

上述的2个行滤波器可同时执行2个分数样本的插值，每个滤波器负责一行。行滤波器产生的中间结果将以按列交叉的方式存储在转置RAM模块中，偶数列存储在RAM3，奇数列存储在RAM4。通过这种存储方式，两个列滤波器可以同时处理两列分数样本的插值，如此可以使得插值单元达到每周期产生两个像素的吞吐率。

各个部件的连接关系为：帧存储器与双口RAM连接，双口RAM与移位寄存器连接；移位寄存器与行滤波器组、RAM1和RAM2连接，RAM1用于存储偶数行整像素样本，RAM2用于存储奇数行整像素样本；行滤波器组同时与RAM3和RAM4连接，RAM3用于存储偶数行的1/2样本，RAM4用于存储奇数行的1/2样本。RAM5用于暂存左边一列j样本点，大小为16x18bits，其同时与寄存器组、列滤波器VF4和列滤波器VF5连接。RAM1与SREG2连接，用于缓存偶数行整像素样本数据；RAM2与SREG4连接，用于缓存奇数行整像素样本数据；RAM3与SERG1连接，用于缓存偶数行1/2像素样本数据；RAM4与SREG3连接，用于缓存奇数行1/2像素样本数据。SREG1与列滤波器VF2连接，SREG2与列滤波器VF0连接，SREG3与列滤波器VF3连接，SREG4与列滤波器VF1连接。列滤波器VF2与REG1连接，列滤波器VF0与REG2连接，列滤波器VF3与REG3连接，列滤波器VF1与REG4连接。REG1与REG2共同与列滤波器VF4连接，REG3与REG4共同与列滤波器VF5连接。列滤波器VF5与第一输出端连接，列滤波器VF6与第二输出端连接；列滤波器VF5通过数据选择器MUX1与第一输出端连接，列滤波器VF6通过数据选择器MUX1与第二输出端连接；寄存器REG1和寄存器REG2同时通过数据选择器MUX1与第一输出端连接；寄存器REG3和REG4同时通过数据选择器MUX1与第二输出端连接。行滤波器HF0通过数据选择器MUX1与第一输出端连接，行滤波器HF1通过数据选择器MUX1与第二输出端连接；

本实施例采用灵活的转置存储器访问模式，使得参考像素的预取、亮度竖直插值滤波和色度插值滤波可同时进行。首先由预取缓存单元取出参考块中一行参考像素，准备好后，由行滤波器同时进行2个样本的水平插值过程，同时预取缓存单元可提前预取下面四个参考像素，通过仔细的安排外部存储器的访问方式和存储模式，可以保证水平插值过程连续进行而不引入任何流水线气泡。当一个块的水平插值过程完成后，可启动竖直插值操作，同时可进行宏块中色度块的插值过程。

本实施例为了提高滤波器的时钟频率，采用可配参数的基于乘累加器的滤波器硬件结构，在乘法器后面加一级寄存器，成为两级流水结构，其中行滤波器与列滤波器都采用此种结构。

该电路的工作步骤如下：

1、根据所需要解码的视频标准，从系数页表上获取符合该标准的滤波器系数，并将行滤波器和列滤波器的参数进行配置，使其符合该视频标准，视频标准包括MPEG-2、H.263、MPEG-4 SP/ASP、H.264/AVC和AVS等标准，系数页表上的滤波器系数可由外部的控制器写入，可以一次性写入所有标准的滤波器系数，也可以根据不同的视频标准写入该标准的滤波器系数，不同标准滤波器系数的配置实现了多标准的兼容，并且能实现新标准的扩展；

2、双口RAM从帧存储器获取参考像素进行缓存，并将参考像素的数据存储到移位寄存器中；

3、RAM1从移位寄存器中读取参考像素的偶数行的整像素样本并进行缓存，RAM2从移位寄存器中读取参考像素的奇数行的整像素样本并进行缓存；

4、水平方向插值：根据运动矢量的值，行滤波器组从系数页表中读出各个行滤波器的滤波器系数，当运动矢量指向1/2样本b或者1/4样本a或1/4样本c，则直接从系数页表中读出1/2样本的滤波器系数或者对应1/4样本a或1/4样本c的系数进行滤波，行滤波器的输出经过舍入和饱和处理后得到最终的插值滤波后的样本数据；当运动矢量指向其他位置时，则行滤波器进行1/2滤波，输出1/2样本点bn和1/2样本点bn+1，将1/2样本点bn的数据存储到RAM3中，将1/2样本点bn+1的数据存储到RAM4中；

/5、RAM1~RAM4等4个随机存取存储器将其存储的数据缓存到SERG1~SREG4等4个移位寄存器中；

6、竖直方向插值：根据运动矢量的值，列滤波器组从系数页表中读出各个列滤波器的滤波器系数，并从SERG1~SREG4等4个移位寄存器中读取数据。当运动矢量指向1/2样本h、1/4样本d或1/4样本n时，则直接从系数页表中读出1/2样本的滤波器系数或者对应1/4样本d、1/4样本n的系数进行滤波，列滤波器VF0和列滤波器VF1的输出就是插值滤波后的样本数据。当运动矢量指向其他位置时，则列滤波器VF0进行偶数列整像素的1/2插值输出样本点h；列滤波器VF1进行奇数列整像素的1/2插值输出样本点m；列滤波器VF2进行偶数列1/2样本点的1/2插值输出jn；列滤波器VF3进行奇数列1/2样本点的1/2插值输出jn+1；列滤波器VF0~列滤波器VF3的输出经过REG1~REG4等4个寄存器的缓存后输入到列滤波器VF4和列滤波器VF5分别进行1/4插值，并输出最终预测值，列滤波器VF4从第一输出端输出偶数行的最终预测值，列滤波器VF5从第二输出端输出奇数行的样本数据，完成亮度插值。

7、色度插值：色度插值公式为P=C1*A+C2*B+C3*C+C4*D，其中Ci为滤波器的系数，ABCD为预测点周围的四个整像素，该公式和亮度的插值公式相似，只是少了4个系数，则可直接复用亮度的行滤波器，只需要把系数替换成色度插值公式的系数，直接进行色度1/8精度插值滤波。配置行滤波器HF0和HF1的四个系数为ABCD，其他四个系数为0，输入色度参考样本，HF0和HF1输出1/8插值滤波后样本数据，即可完成色度插值。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多模视频解码器中运动补偿结构，其特征在于：包括

帧存储器，存储参考图像；

预取缓存单元，读取外部帧存储器的参考像素块并进行缓存；

系数页表，存储适用于多种标准的视频解码器的滤波器系数；

插值单元，包括多个可配置参数的FIR滤波器，用于进行水平方向1/2插值、竖直方向1/2插值、水平方向1/4插值和竖直方向上的1/4精度插值滤波；

输出端，输出亮度插值数据和色度插值数据；

所述预取缓存单元和帧存储器连接；所述插值单元同时与预取缓存单元、系数页表和输出端连接。

2.如权利要求1所述的多模视频解码器中运动补偿结构，其特征在于：所述插值单元包括：

行滤波器组，进行水平方向1/2插值滤波；

第一列滤波器组，进行竖直方向1/2插值滤波；

第二列滤波器组，进行水平方向1/4插值滤波或者进行竖直方向1/4插值滤波；

转置RAM单元，存储整像素样本数据、1/2像素样本数据和左边一列1/2样本数据；

移位寄存器组，缓存从转置RAM单元读出的样本值；

寄存器组，缓存第一列滤波组插值后的数据；

所述帧存储器与预取缓存单元连接；预存缓存单元同时与转置RAM单元和行滤波器组连接；行滤波器组还同时与转置RAM单元和系数页表连接；移位寄存器组同时与转置RAM单元和第一列滤波器组连接；寄存器组同时与第一列滤波器组、第二列滤波器组和转置RAM单元连接；第一列滤波器还与系数页表连接，第二列滤波器组还同时与系数页表、转置RAM单元和输出端连接。

3.如权利要求2所述的多模视频解码器中运动补偿结构，其特征在于：所述预取缓存单元包括24*8*32bits的双口RAM和移位寄存器堆，双口RAM从帧存储器读取参考像素块，并进行数据缓存，移位寄存器堆将缓存的参考像素进行存储；所述输出端包括数据选择器MUX1、数据选择器MUX2、第一输出端和第二输出端；所述数据选择器MUX1从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第一输出端、；所述数据选择器MUX2从行滤波器组、第一列滤波器组和第二列滤波器组的输出选择到第二输出端。

4.如权利要求3所述的多模视频解码器中运动补偿结构，其特征在于：所述移位寄存器堆的大小为2*10*8bits。

5.如权利要求2所述的多模视频解码器中运动补偿结构，其特征在于：所述行滤波器组包括2个8抽头的行滤波器；所述第一列滤波器组包括4个8抽头的列滤波器；所述第二列滤波器组包括2个8抽头的列滤波器；所述转置RAM单元包括5个转置RAM模块；所述移位寄存器组包括4个移位寄存器；所述寄存器组包括4个寄存器。

6.如权利要求5所述的多模视频解码器中运动补偿结构，其特征在于：行滤波器组包括行滤波器HF0和行滤波器HF1；第一列滤波器组包括列滤波器VF0、列滤波器VF1、列滤波器VF2和列滤波器组VF3；第二列滤波器组包括列滤波器VF4和列滤波器VF5；转置RAM单元包括RAM1、RAM2、RAM3、RAM4和RAM5；移位寄存器组包括SREG1、SREG2、SREG3和SREG4；寄存器组包括REG1、REG2、REG3和REG4。

7.如权利要求6所述的多模视频解码器中运动补偿结构，其特征在于：所述帧存储器与双口RAM连接，双口RAM与移位寄存器连接；移位寄存器与行滤波器组、RAM1和RAM2连接，RAM1用于存储偶数行整像素样本，RAM2用于存储奇数行整像素样本；行滤波器组同时与RAM3和RAM4连接；RAM5同时与寄存器组、列滤波器VF4和列滤波器VF5连接；RAM1与SREG2连接；RAM2与SREG4连接；RAM3与SERG1连接；RAM4与SREG3连接；SREG1与列滤波器VF2连接，SREG2与列滤波器VF0连接，SREG3与列滤波器VF3连接，SREG4与列滤波器VF1连接；列滤波器VF2与REG1连接，列滤波器VF0与REG2连接，列滤波器VF3与REG3连接，列滤波器VF1与REG4连接；REG1与REG2共同与列滤波器VF4连接，REG3与REG4共同与列滤波器VF5连接；列滤波器VF5通过数据选择器MUX1与第一输出端连接，列滤波器VF6通过数据选择器MUX2与第二输出端连接；寄存器REG1和寄存器REG2同时通过数据选择器MUX1与第一输出端连接；寄存器REG3和REG4同时通过数据选择器MUX1与第二输出端连接。

8.如权利要求2所述的多模视频解码器中运动补偿结构，其特征在于：所述行滤波器组中的滤波器各包括乘法器、寄存器和加法器；所述寄存器设置在所述乘法器与加法器之间。

9.如权利要求3所述的多模视频解码器中运动补偿结构，其特征在于：所述列滤波器中的滤波器各包括乘法器、寄存器和加法器；所述寄存器设置在所述乘法器与加法器之间。

10.一种基于权利要求1所述结构的运动补偿方法，包括以下步骤：

S01 插值单元根据视频标准从系数页表上获取与该视频标准匹配的滤波器参数，并配置完成滤波器的参数；

S02 预取缓存单元从外部帧存储器读取参考样本；

S03 插值单元从预取缓存单元上读取参考样本，并根据运动矢量加载滤波器系数，开始进行水平方向1/2插值；

S04 插值单元完成水平方向1/2插值后进行竖直方向1/2插值滤波，最后根据运动矢量进行水平方向1/4插值或者进行竖直方向上的1/4精度插值滤波，输出插值滤波后的样本数据，完成亮度插值；

S05 复用行滤波器，获取色度插值系数，配置行滤波器的参数，直接进行色度1/8精度插值滤波，输出插值滤波后样本数据，完成色度插值。