CN101141559A - 串行输入并行输出的视频图像亮度插值的方法和装置 - Google Patents

Abstract

本发明公开了一种基于H.264/AVC的串行输入并行输出的视频图像亮度插值方法及其装置。每一行的整像素点串行输入一个维纳滤波器来产生水平半像素点中间值，同时利用运动矢量来选择整像素点，从而将寄存器阵列减少到了6×8，并优化了1/4像素的滤波算法。与原有的并行输入并行输出插值装置相比，节省了至少3个水平方向的6抽头FIR滤波器。与原有的并行输入串行输出插值装置相比，将寄存器阵列从6×9减少到6×8，并且减少了流水线控制器的复杂性。与原有的串行输入串行输出插值装置相比，节省了带宽和计算周期。

Description

串行输入并行输出的视频图像亮度插值的方法和装置

技术领域

本发明涉及一种视频图像亮度插值的方法和装置，尤其是指一种串行输入并行输出的视频图像亮度插值方法及其装置。

背景技术

视频信息具有直观性、确切性、高效性、广泛性等特点。数字视频技术随着Internet和移动通信的迅猛发展获得了日益广泛的应用，与模拟视频相比，数字视频具有失真小、噪声低、质量高、易处理、易校正、容量大、节目多等诸多优点。

但数字视频信息的信息量太大，这使得传输网络带宽要求高。所以一般将数字视频信号在网络上进行传送前先进行压缩编码，以便节省传送的带宽和存储空间。传送到接收端后再通过解码器解压缩得到原始信号。因此要使视频得到有效应用，就必须将视频信号压缩到一定的带宽内，即视频编码器应具有良好的压缩性能；同时压缩后的视频信号经解码器的解压缩必须保持一定的视频质量。

视频压缩编码技术就是对数字视频信号进行压缩和解压缩的技术。衡量一个视频压缩编码技术优劣的标志就是既要有较大的压缩比，又要保证一定的视频质量。H.264/AVC视频压缩标准就是这样一种高效、优异的视频压缩编码技术。尤其是将其应用在高清晰度电视(HDTV)领域，可以使成本降低。

随着我国数字电视整体平移进程的推进、高清电视标准的出台以及高清频道的开播，高清数字电视产业链正在逐步形成。按照北京奥组委对国际奥委会的承诺，2008年北京奥运会将采用高清电视技术转播。中央电视台及北京、上海、广东、江苏、辽宁、天津、浙江电视台等8家被确定为北京奥运会高清电视转播团队的国内电视机构，已经开始为高清奥运转播积极备战。除了目前已开展的有线高清数字电视外，“十一五”时期(2006年～2010年)，国家将大力推进地面、有线、卫星协同覆盖组网技术，国家广电总局在《“十一五”时期广播影视科技发展规划》中明确指出2008年我国将开展地面高清电视广播。国家政策的支持及奥运的机遇将使整个高清产业链的各个成员受益，并将有力带动高清摄录设备、高清机顶盒及高清数字电视等产品的销售。

2008年北京奥运会的召开将使我国的HDTV获得迅猛的发展，这也意味着H.264/AVC标准将得到大力应用。

H.264/AVC视频压缩标准是由ITU-T VCEG和ISO/IEC MPEG的专家共同组成的联合视频小组JVT(Joint Video Team)发展和制定的新一代视频编码国际标准。与以往的视频编码标准相比，H.264/AVC标准采用了很多新的特性，比如可变块大小的运动补偿、1/4像素精度的运动补偿、多参考帧、环内去块滤波等等。这些新的特性使H.264/AVC提高了两倍的压缩效率，同时显著提高了计算的复杂度。

1/4像素精度的运动估计/运动补偿就是H.264/AVC标准提高编码效率的一种方法。

数字视频信号由分布在离散时间上的一幅一幅的图像组成。由于邻近的图像之间很可能存在相关性，也就是说可能两幅图像像素的值很接近或后一幅图像某一块区域就是前一幅某一块区域的移动、拉伸等变化。所以在视频的编码端，为了节省带宽，我们没有必要对每一幅图像都单独编码，我们可以对前一幅图像编码，然后将它作为参考图像，计算出后一幅图像相对于参考图像的位置变化(运动矢量)和像素值的差(残差数据)，然后只需要传送运动矢量和残差数据，来达到压缩编码的效果(帧间预测)。在视频的解码端，当我们解码出前一幅图像，就可以根据运动矢量和残差数据解码得到后一幅图像。

在H.264/AVC中，一幅图像划分成若干个宏块，一个宏块由一个16×16亮度像素、一个8×8的Cb和一个8×8的Cr像素块组成(其中Cb和Cr统称为色度)。宏块又可划分为分割和亚分割。每一个帧间预测的宏块的分割或亚分割都是由参考图像中相同大小的一块区域来预测的。为了提高预测的精度，H.264/AVC采用1/4像素精度的运动估计/运动补偿。预测数据由参考图像与残差数据相加得到。运动矢量对亮度部分是四分之一精度、对色度部分是八分之一精度。由于在参考图像中亮度和色度的分数像素点(指半像素点和1/4像素点)都不存在，所以必须用已经解码的整像素点来插值得到。

H.264/AVC的插值过程就是一个通过计算整像素点来得到分数像素点的过程。对亮度参考图像块进行亮度插值，对色度参考图像块进行色度插值。

H.264/AVC中亮度插值部分的输入为：

1.一个亮度参考图像块。

2.两个用1/4精度表示的亮度运动矢量，即mvL0(前向)和mvL1(后向)。可以统一表示为mvLX，其中X代表0或者1。其中每个mvLX又分为mvLX[0]，指水平方向的运动矢量；mvLX[1]，指垂直方向的运动矢量。mvLX[0]和mvLX[1]的最右边两位表示亮度分数像素偏移，分别为xFrac_L＝mvLX[0]&3(水平方向的分数像素偏移)，yFrac_L＝mvLX[1]&3(垂直方向的分数像素偏移)。而mvLX[0]和mvLX[1]的除了最右边两位的其他位则表示整数像素偏移。

H.264/AVC中亮度插值部分的输出为：与输入相同大小的亮度预测图像块，包括前向预测图像块和后向预测图像块。

插值得到的前向预测图像块和后向预测图像块输出给解码器的加权部分，加权部分通过将前向和后向图像根据一定的权重计算得到预测图像块，再加上残差数据就完成了运动补偿。

为了插值一块大小为M×N(意为水平方向M个像素点，垂直方向N个像素点)的亮度块，最多需要从片外存储器中取出一块(M+5)×(N+5)的参考块。半像素点的数据由水平方向和垂直方向的六抽头FIR滤波器得到。1/4像素点的数据由双线性滤波器得到。

图1显示了亮度的分数像素插值，图中标有大写字母的阴影块表示整像素，标有小写字母的非阴影块表示分数像素(半像素和1/4像素点)。半像素的值(图1中标示为b、h、s、m和j，其中b、s称为水平半像素点，而h、m称为垂直半像素点)由6抽头FIR滤波器计算出中间值再把取值范围取为0～255。半像素点可由以下公式计算得到：

b＝Clip1(((E-5×F+20×G+20×H-5×I+J)+16)/32)    (1)

h＝Clip1(((A-5×C+20×G+20×M-5×R+T)+16)/32)    (2)

m＝Clip1(((B-5×D+20×H+20×N-5×S+U)+16)/32)    (3)

s＝Clip1(((K-5×L+20×M+20×N-5×P+Q)+16)/32)    (4)

j＝Clip1(((aa-5×bb+20×b1+20×s1-5×gg+hh)+512)/1024)  (5)

其中的aa、bb、b1、s1、gg和hh为半像素点中间值。中间值的求解需要6抽头FIR滤波器，例如，b1＝E-5×F+20×G+20×H-5×I+J，其他类推。

然后，在图1中表示为a、c、d、n、f、i、k和q的1/4位置的分数像素值由双线性滤波器对最邻近的两个整像素和半像素求平均得到。在图1中表示为e、g、p和r的1/4像素值由双线性滤波器对对角方向的两个最邻近的半像素点求平均得到。这12个1/4像素值可由以下公式计算得到：

a＝(G+b+1)/2    (6)     c＝(H+b+1)/2    (7)

d＝(G+h+1)/2    (8)     n＝(M+h+1)/2    (9)

f=(b+j+1)/2     (10)    i＝(h+j+1)/2    (11)

k＝(j+m+1)/2    (12)    q＝(j+s+1)/2    (13)

e＝(b+h+1)/2    (14)    g＝(b+m+1)/2    (15)

p＝(h+s+1)/2    (16)    r＝(m+s+1)/2    (17)

目前已经有一些亮度插值的方法和装置被提出，主要可以分为三类：“并行输入并行输出”的亮度插值装置，指每一行整像素点一起并行输入然后经过计算并行得到4个1/4像素点；“并行输入串行输出”的亮度插值装置，指每一行整像素点同时并行输入而1/4像素点串行输出；“串行输入串行输出”的亮度插值装置，指整像素点串行输入插值单元而分数像素点也串行得到。这三类装置都有缺点。“并行输入并行输出”装置所需要的滤波器数目最多，这将增加视频编解码器芯片的成本。“并行输入串行输入”装置需要一个比较大的寄存器阵列和复杂的流水线控制器。“串行输入和串行输出”装置的滤波器数目最少，但是由于采用串行的1/4像素插值算法，为了插值4×4的亮度块，需要从片外的存储器中取出10×10的整像素值，而不是一般的9×9，这样将会增加存储器读取带宽。存储器带宽是H.264/AVC新的编码特性造成的一个重要问题，由于采用非常小的块(比如4x4)和6抽头插值滤波器，读取参考帧存储器的次数就很多，这将影响编解码器整体性能。另外，串行1/4像素插值的算法在计算对角线1/4像素点(图1中标示为e、g、p、r)的时候会重复计算。而且，每九个周期产生一个1/4的分数像素值太耗费时间，使硬件的处理时间延长。

本发明提出的串行输入并行输出的亮度插值方法和装置克服了以上原有三种方法及其装置的缺点。

发明内容

本发明提供了一种基于H.264/AVC的串行输入并行输出的视频图像亮度插值方法及其装置。

由于4×4块是H.264/AVC中最小的亚宏块，所有的可变块大小可以分割为有着相同运动矢量的4×4块，为了提高硬件的利用率一般都以4×4为单位来做插值，本发明的插值装置就是基于4×4亚宏块并且在其他块大小时复用这个装置。

每一行的整像素点串行输入一个维纳滤波器来产生水平半像素点中间值，同时利用运动矢量来选择整像素点，从而将寄存器阵列减少到了6×8，并优化了1/4像素的滤波算法。与原有的并行输入并行输出插值装置相比，节省了至少3个水平方向的6抽头FIR滤波器。与原有的并行输入串行输出插值装置相比，将寄存器阵列从6×9减少到6×8，并且减少了流水线控制器的复杂性。与原有的串行输入串行输出插值装置相比，节省了带宽和计算周期。

一种视频图像亮度插值方法，包括以下步骤：

第一步：整像素点串行输入维纳滤波器，维纳滤波器通过计算整像素点来得到水平半像素点中间值；

第二步：维纳滤波器产生的水平半像素点中间值和在计算1/4像素点时可能用到的部分整像素点一起存入寄存器阵列；

第三步：水平半像素点中间值和整像素点不断输入，寄存器阵列不断更新，6抽头FIR滤波器用于求出垂直半像素点，水平半像素点中间值转换为水平半像素值，整像素点和半像素点并行输出给4个双线性滤波器；

第四步：双线性滤波器通过计算输入的整像素点和半像素点，产生1/4像素点；

第五步：4个1/4像素点并行输出；

第六步：以上步骤持续进行，直到该图像块全部插值完成。

一种基于上述方法的亮度插值装置，包括：

串行维纳滤波器，用于在9个周期中产生4个水平半像素点中间值；

6×8的寄存器阵列，由整像素点存储阵列和水平半像素点中间值存储阵列构成，用于存储4列整像素点和4列水平半像素点中间值；其中的6抽头FIR滤波器用来求出垂直半像素点；

流水线控制器，用于控制寄存器阵列中整像素点和水平半像素点中间值的装填过程，更新寄存器阵列；

4个双线性滤波器，每个双线性滤波器根据当前图像相对于参考图像的运动矢量值选取像素数据，产生1个1/4像素值。

输入端一路直接连接寄存器阵列中整像素点存储阵列，另一路经串行维纳滤波器连接寄存器阵列中水平半像素点中间值存储阵列，寄存器阵列与流水线控制器相连，各相邻的整像素点存储阵列和半像素点中间值存储阵列接入一双线性滤波器；

整像素点经输入端串行输入，一路直接存储于寄存器阵列的整像素点存储阵列，另一路经串行维纳滤波器产生水平半像素点中间值，存储于寄存器阵列的水平半像素点中间值存储阵列。

附图说明

图1为亮度的1/4像素插值示意图；

图2为维纳滤波器装置示意图；

图3为本发明亮度插值单元的结构示意图；

图4为双线性滤波器的结构示意图；

图5为1/4像素插值的数据相关性；

图6为流水线控制器时间表(以xFrac_L＝0或者1为例)。

具体实施方式

如图3所示，一种基于H.264/AVC的串行输入并行输出亮度插值装置，包括：

(1)串行维纳滤波器，可以在9个周期中产生4个水平半像素点中间值。如图2所示；

(2)6×8的寄存器阵列，由整像素点存储阵列和水平半像素点中间值存储阵列构成，用于存储4列整像素点和4列水平半像素点中间值。其中的6抽头FIR滤波器用来求出垂直半像素点；

(3)流水线控制器，用于控制寄存器阵列中整像素点和水平半像素点中间值的装填过程，更新寄存器阵列；

(4)4个双线性滤波器。如图4所示。每个双线性滤波器根据当前图像相对于参考图像的运动矢量值选取像素数据，产生1个1/4像素值。

输入端一路直接连接寄存器阵列中整像素点存储阵列，另一路经串行维纳滤波器连接寄存器阵列中水平半像素点中间值存储阵列，寄存器阵列与流水线控制器相连，各相邻的整像素点存储阵列和半像素点中间值存储阵列接入一双线性滤波器。

整像素点经输入端串行输入，一路直接存储于寄存器阵列的整像素点存储阵列，另一路经串行维纳滤波器产生水平半像素点中间值，存储于寄存器阵列的水平半像素点中间值存储阵列。

在串行维纳滤波器中，整像素点按照从左到右的顺序以行为顺序输入，例如串行输入图1所示的E，F，G，H，I，J点，每个周期输入一个，在前5个周期输出无效，在第6个周期输入端输入J点时，输出端输出水平半像素点b的中间值b1。其中b1＝E-5×F+20×G+20×H-5×I+J。第七个周期到第九个周期三个周期继续输入同一行在J点右边的三个整像素点，产生b1右边的3个水平半像素点的中间值。从第十个周期开始输入下一行的9个整像素点K，L，M，N，P，Q和Q右边3个整像素点。串行维纳滤波器的工作以每九个周期为一个循环，每九个周期输入一行9个整像素点产生4个水平半像素点。由于采用基于4×4块的插值，这4个水平半像素点中间值都可能会在1/4像素点插值时用到，所以在每个循环的第六到第九个周期，产生的4个水平半像素点要被存入水平半像素点中间值存储阵列。

在每个循环中输入的9个整像素点有部分是在做1/4像素插值时需要用到的。从1/4像素插值的公式(6)至公式(17)中，可以得出如图5所示的数据相关性。在各个像素点之间的每一条实线或者虚线表示了1/4像素插值时的数据相关性。其中的实线表示的xFrac_L等于0或者1时的数据相关性，而虚线表示的是xFrac_L等于2或者3时的数据相关性。例如公式(6)中a＝(G+b+1)/2，所以为了插值1/4像素点a需要G和b点，所以G和b点是相关的。公式(7)中c＝(H+b+1)/2，所以为了插值1/4像素点c时需要H和b点，所以H和b点是相关的。xFrac_L值对应的是不同的纵列，xFrac_L等于0或者1时表示插值对应于点G，a，d，e，h，i，n和p点；xFrac_L等于2或者3时表示插值对应于点b，c，f，g，j，k，q和r点。所以寄存器阵列只需要在xFrac_L等于0或者1时存储G，b，h，j，M，s点的值，而在xFrac_L等于2或者3时存储b，H，j，m，s，N点的值。所以，根据运动矢量只需要使用8列寄存器。如图5所示，整像素点G，M只在xFrac_L等于0或者1时用到，整像素点H，N只在xFrac_L等于2或者3时用到。所以当xFrac_L等于0或者1时，图1中的整像素点G，H，I，J被存入整像素点存储阵列(这4个整象素点是在第3，4，5，6周期输入的)，当xFrac_L等于2或者3时，图1中的整像素点H，I，J和J右边的一个整像素点被存入(这4个点是在第4，5，6，7周期输入的)。

在流水线控制器控制着寄存器阵列的更新过程，包括三个操作：

第一个操作是“整像素点左移”，这是指寄存器阵列的第一行中的整像素寄存器都由右边的整像素点所取代，在第一行最右边的整像素寄存器由输入值取代；

第二个操作是“半像素点左移”，这是指寄存器阵列中的第一行的水平半像素中间值寄存器都由右边的那个水平半像素点中间值来取代，而第一行最右边的半像素寄存器由串行维纳滤波器产生的水平半像素点中间值取代；

第三个操作是“下移”，这是指当寄存器阵列的第一行被填满时，每一行寄存器都下移一行，即该行寄存器都由上面的一行寄存器的值取代。

由于采用基于4×4块的插值，输入的每行整像素点为9个。所以流水线控制器状态机以9个周期为循环。流水线控制器的状态机描述如图6所示，每一行整像素点(9个整像素)在9个周期中输入完毕。在每9个周期中，重复执行以下操作：

(1)对于xFrac_L＝0或者1(其中xFarc_L＝mvLX[0]&3)，“整像素点左移”从第三个周期到第六个周期执行；

对于xFrac_L＝2或者3，“整像素点左移”从第四个周期到第七个周期执行；

(2)“半像素点左移”从第六个到第九个周期执行；

(3)如果双线性滤波完成并输出有效，则输出使能信号置1；

(4)执行“下移”操作；

在寄存器阵列的更新过程中，每一纵列的整像素点输入6抽头FIR滤波器中，按照公式(2)的h＝Clip1(((A-5×C+20×G+20×M-5×R+T)+16)/32)求出垂直半像素点。每一纵列的水平半像素点中间值输入6抽头FIR滤波器中，按照公式(5)的j＝Clip1(((aa-5×bb+20×b1+20×s1-5×gg+hh)+512)/1024)来求出垂直半像素点。需要输入双线性滤波器的水平半像素点中间值通过公式b＝Clip1((b1+16)/32)求出水平半像素点值，和垂直半像素点和整像素点一起输入双线性滤波器。

每一个双线性滤波器根据运动矢量从6个输入中选择2个做双线性滤波。4个1/4像素点并行输出。

本发明亮度插值装置用verilog硬件描述语言(HDL)实现，它可以与其他功能模块，如熵编/解码模块、帧内编/解码模块、变换编/解码模块等一起，组成一个完整的H.264/AVC编/解码器。该设计经过了C语言行为级仿真，Verilog RTL级仿真，逻辑综合和Verilog门级仿真。综合采用Synopsys Design Compiler的0.18μm工艺标准库。

实现结果比较

表1新装置与其他装置的比较

	输入	输出	插值部分的构件	硬件开销(0.18μm)	视频格式	时钟频率
							Chen[1]Wang[2]Tsai[3]Chen[4]Wang[5]Song[6]本设计	并行并行并行并行并行串行串行	并行并行并行并行串行串行并行	Horizontal×5+Vertical×11+Bilinear×4Horizontal×9+Vertical×4+Bilinear×4+1/8filter×2Horizontal×4+Vertical×8+Bilinear×4Horizontal×4+Vertical×8Pipeline controller+Interpol ation pipeline+RegisterarrayFIR×1+Bilinear×1+SRAM+Address LogicHorizontal×1+Vertical×8+Optimized Bilinear×4	23872gates20686gates21506gates&RegFile15000gates4292cells24330gates13377gates	SDTV1080HD2048×10241080HD720pNA720p	100MHz100MHz125MHz87MHz66MHz274MHz167MHz

由表1可以看出，本发明相对已有的插值装置都更加节省硬件开销。

在插值4×4块时，“并行输入并行输出”装置需要至少4个水平6抽头FIR滤波器和8个垂直6抽头FIR滤波器。与“并行输入并行输出”的装置相比，本发明提出的新装置节省了6抽头FIR滤波器并且缩小了寄存器阵列的大小。本发明的装置中，寄存器阵列只需要8列，而在“并行输入并行输出”装置中，寄存器阵列需要至少9列。本发明的装置节省了至少一列寄存器和一个垂直6抽头FIR滤波器。

与“并行输入串行输出”装置相比，本发明提出的新装置把寄存器阵列从6×9减少到6×8并且减少了流水线控制器的复杂性。

与“串行输入串行输出”装置相比，本发明的装置有四个优点：首先，通过把插值4×4的块的插值窗口从10×10减少到9×9，减少了数据存取带宽需求和存储器读取次数。第二，本发明的装置优化了1/4像素滤波，使之从串行变成并行，这样比“串行输入串行输出”装置更快地完成插值。第三，本发明装置中使用寄存器阵列而不是SRAM来存储中间值，这样节省了SRAM地址控制单元。第四，“串行输入串行输出”装置的插值方法中对角线1/4像素(在图1中表示为e，g，p，r)会在几个滤波周期重复产生，本发明装置避免了这个缺点。

Claims (2)

1.一种串行输入并行输出的视频图像亮度插值方法，其特征在于包括以下步骤：

第一步：整像素点串行输入维纳滤波器，维纳滤波器通过计算整像素点来得到水平半像素点中间值；

第二步：维纳滤波器产生的水平半像素点中间值和在计算1/4像素点时可能用到的部分整像素点一起存入寄存器阵列；

第三步：水平半像素点中间值和整像素点不断输入，寄存器阵列不断更新，6抽头FIR滤波器用于求出垂直半像素点，水平半像素点中间值转换为水平半像素值，整像素点和半像素点并行输出给4个双线性滤波器；

第四步：双线性滤波器通过计算输入的整像素点和半像素点，产生1/4像素点；

第五步：4个1/4像素点并行输出；

第六步：以上步骤持续进行，直到该图像块全部插值完成。

2.一种基于如权利要求1所述方法的亮度插值装置，其特征在于包括：

串行维纳滤波器，用于在9个周期中产生4个水平半像素点中间值；

6×8的寄存器阵列，由整像素点存储阵列和水平半像素点中间值存储阵列构成，用于存储4列整像素点和4列水平半像素点中间值；其中的6抽头FIR滤波器用来求出垂直半像素点；

流水线控制器，用于控制寄存器阵列中整像素点和水平半像素点中间值的装填过程，更新寄存器阵列；

4个双线性滤波器，每个双线性滤波器根据当前图像相对于参考图像的运动矢量值选取像素数据，产生1个1/4像素值。

输入端一路直接连接寄存器阵列中整像素点存储阵列，另一路经串行维纳滤波器连接寄存器阵列中水平半像素点中间值存储阵列，寄存器阵列与流水线控制器相连，各相邻的整像素点存储阵列和半像素点中间值存储阵列接入一双线性滤波器；

整像素点经输入端串行输入，一路直接存储于寄存器阵列的整像素点存储阵列，另一路经串行维纳滤波器产生水平半像素点中间值，存储于寄存器阵列的水平半像素点中间值存储阵列。

Images