CN103067718B

CN103067718B - 适用于数字视频编解码的一维离散余弦逆变换模块电路

Info

Publication number: CN103067718B
Application number: CN201310036229.6A
Authority: CN
Inventors: 洪亮; 朱惠; 何卫锋; 李琛; 毛志刚
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2013-01-30
Filing date: 2013-01-30
Publication date: 2015-10-14
Anticipated expiration: 2033-01-30
Also published as: CN103067718A

Abstract

本发明涉及一种适用于数字视频编解码的一维离散余弦逆变换模块电路，包括输入输出接口、模块控制器和多个IDCT单元处理器，所述的输入输出接口包括数据输入接口、数据输出接口、指示信号输入接口和模式信号输入接口，所述的数据输入接口、数据输出接口分别与IDCT单元处理器连接，所述的指示信号输入接口和模式信号输入接口分别与模块控制器连接，所述的模块控制器分别与多个IDCT单元处理器控制连接，所述的多个IDCT单元处理器之间两两连接。与现有技术相比，本发明具有可适用在HEVC视频编解码标准中定义的四种尺寸图像数据块4×4，8×8，16×16，32×32的IDCT运算等优点。

Description

适用于数字视频编解码的一维离散余弦逆变换模块电路

技术领域

本发明涉及一种数字视频处理技术，尤其是涉及一种适用于数字视频编解码的一维离散余弦逆变换模块电路。

背景技术

1、视频编解码标准发展背景

随着多媒体技术在军事领域、民用领域的应用范围不断扩大和深入，尤其随着消费类电子产品的不断发展，视频编解码技术已经是当前在国际上备受关注的研究领域。视频编解码技术是构建视频和播放视频的主要技术，是所有视频类应用的根本技术。

随着视频分辨率的不断提高，高清、超高清乃至4K全高清视频分辨率逐渐进入应用环节，不断变大的视频规模对视频编解码技术的实现过程提出了巨大的挑战。针对这个问题，国际上已经提出了多种视频编解码技术标准，比如MPEG1/2/4，H.263/264。目前最新提出的视频编解码标准为HEVC。HEVC全称为High EfficiencyVideo Coding，也称为H.265，由JCT-VC小组2010年开始制订并逐渐完善，是目前为止最新的视频编解码技术标准。在HEVC提出之前，可支持的视频分辨率最大为H.264标准中定义的1920×1080。相比之前的标准，使用HEVC标准的算法能够在视频编解码过程中具有更高的压缩比的同时，支持到处理更大分辨率视频流(4K全高清)。

2、IDCT技术背景

离散余弦逆变换IDCT是视频的编解码运算中核心运算过程之一，其运算效率直接影响视频编解码设计性能。在HEVC标准中，根据所处理的数据块定义大小，IDCT的处理过程可以分为4×4、8×8、16×16和32×32四种模式。相较之前的H.264视频标准中定义的最大为8×8数据块，HEVC中最大块定义为32×32，对应的数据量增长到了1024个，所需要处理的数据增大到了原来的16倍。

根据对HEVC的标准定义和HM测试模型的研究，并于H.264标准进行比较，可以总结在HEVC标准定义下的IDCT电路设计存在更高的要求：(1)片上支持的位宽更大：在最大块为32×32的运算过程中，输入数据和输出数据均为16位有符号整数，参数表中的数据最大为7位有符号整数，处理过程中，内部数据最高可达到22位以上。(2)运算更加复杂：IDCT主要使用的运算有加法和乘法两种，由于内部位宽较大，需要使用支持更高位宽的加法器和乘法器来完成。(3)参数更多：32×32的IDCT的运算参数达到1024个，远远多于H.264中定义的8×8块运算使用的参数64个。(4)实时性的挑战：由于视频编解码操作是实时性应用，由于更大的数据规模对系统架构的压力，32×32的IDCT模块的设计中，对数据在模块的输入、输出和中间数据暂存的设计，提出了更高的挑战。

3、现有技术的不足

IDCT实现中的经典算法为基于蝶形运算的CHEN快速IDCT算法，CHEN算法的基本原理包含两部分主要工作：(1)根据输入数据的次序和模式，将输入数据划分成不同大小的多个组，对每个组内的数据多次与不同的系数相乘并累加；(2)对累加结果进行多次蝶形运算获得输出结果。其中(1)中的分组数量和累加次数，(2)中的蝶形运算次数与所处理的模式有关。在32模式下，数据被划分为5个组，其中最大规模的组由16个数据组成，所对应(1)中的乘法次数是256次，累加器使用16个，同时(2)中的蝶形运算需要分为4个阶段进行。经过调研，大部分针对HEVC的IDCT设计均为基于CHEN算法的设计，比如S.Shen的《A UNIFIED4/8/16/32-POINT INTEGER IDCT ARCHITECTURE FOR MULTIPLE VIDEOCODING STANDARDS》(2012)、J.S.Park的《2-D Large Inverse Transform(16×16，32×32)for HEVC(High Efficiency Video Coding)》(2012)。

经过调研，现有设计中存在如下问题：(1)输入输出模式对系统吞吐率的影响：算法中定义的数据输入/输出分别为32个宽度为16位的数据接口，均为并行输入和输出，对系统有猝发大数据传输要求，对系统数据传输的吞吐率要求是每个周期1024bit。(2)算法增大硬件开销和设计复杂度：算法中大量使用了乘法器和加法器，造成对应的硬件开销大。同时算法中的蝶形算法造成大量数据搬运过程，对硬件连线设计也有较高要求。(3)非32×32模式下，运算模块资源的空闲：在非32×32模式下，模块内部资源有大量空闲的现象，尤其是在4×4模式下，模块内部资源利用率低于30％。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于数字视频编解码的一维离散余弦逆变换模块电路，可支持从4×4,8×8,16×16,32×32四种模式定义在HEVC标准下的数据块。

本发明的目的可以通过以下技术方案来实现：

一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，包括输入输出接口、模块控制器和多个IDCT单元处理器，所述的输入输出接口包括数据输入接口、数据输出接口、指示信号输入接口和模式信号输入接口，所述的数据输入接口、数据输出接口分别与IDCT单元处理器连接，所述的指示信号输入接口和模式信号输入接口分别与模块控制器连接，所述的模块控制器分别与多个IDCT单元处理器控制连接，所述的多个IDCT单元处理器之间两两连接。

所述的IDCT单元处理器设有8个，所述的数据输入接口和数据输出接口的端口数与IDCT单元处理器的数量相同，即8路数据输入接口分别与8个IDCT单元处理器的输入口一一对应连接，8路数据输出接口分别与8个IDCT单元处理器的输出口一一对应连接。

所述的模块控制器分别通过指示信号输入接口和模式信号输入接口接收外部输入信号，从而来控制电路的工作模式和运算过程。

所述的IDCT单元处理器包括参数配置模块DATA_CONFIG，两个乘法器模块MUL1、MUL2，两个运算模块DATA_ACC_BFLY_SHIFTER_1、DATA_ACC_BFLY_SHIFTER_2，以及输出管理模块DATA_EXPORT；所述的DATA_CONFIG分别与MUL1、MUL2连接，所述的MUL1通过DATA_ACC_BFLY_SHIFTER_1与DATA_EXPORT连接，所述的MUL2通过DATA_ACC_BFLY_SHIFTER_2与DATA_EXPORT连接。

所述的参数配置模块DATA_CONFIG根据模块控制器提供的信号，DATA_CONFIG提供给下一级的乘法器MUL1和MUL2所需要的参数数据和输入数据，其中MUL2获得的参数数据和输入数据比MUL1晚一个周期。

每个乘法器负责对DATA_CONFIG提供的输入数据和参数数据进行乘法，并输出给对应的运算模块。

每个运算模块包括依次串联的累加器Accumulator、蝶形运算单元Butterfly_UNIT和右移运算单元Right_Shifter；

所述的累加器根据奇偶次序，对乘法器的运算结果进行累加，从0开始计数，偶次序数据累加结果存储到E_Acc，奇次序数据累加结果存储到O_Acc；当完成一个输入序列的累加后，将累加结果E_Acc和O_Acc传输到蝶形运算单元进行处理；

所述的蝶形运算单元负责对累加结果E_Acc和O_Acc进行蝶形运算，运算结果以串行通过输出端口输出给右移运算单元；

所述的右移运算单元负责对蝶形运算单元的输出结果右移设定位，并输出到数据输出接口。

所述的蝶形运算单元包括依次连接的加法器、取补器和多路复用选择器，所述的E_Acc输入到加法器中，所述的O_Acc分别输入到取补器和多路复用选择器中。

每个IDCT单元处理器可独立完成一个4模式IDCT一维变换运算，也可与其他IDCT单元处理器组合来实现在8、16或32模式下的运算。

本发明的工作过程如下：

1、定义：

a)模式定义：

本发明定义了4种不同运行模式，分别为4模式、8模式、16模式和32模式，分别定义mode值为4、8、16、32。

b)输入数据定义

输入数据格式定义为：data_in[i]，其中i为输入数据的次序，4模式下，i定义在0～3；8模式下，i定义为0～7；16模式下，i定义为0～15；32模式下，i定义为0～31。

c)输出数据定义

输出数据格式定义为：data_out[j]，其中j为输入数据的次序，4模式下，j定义在0～3；8模式下，j定义为0～7；16模式下，j定义为0～15；32模式下，j定义为0～31。

2、乘法和累加运算：

对每一个输入数据根据输入顺序与预置参数进行常数乘操作，并将结果分输入奇偶次序进行累加，偶数累加结果以下记为E[j]，奇数累加结果以下记为O[j]。如下公式所示：

E[j]＝Σcoefficient[2i]×data_in[2i]

O[j]＝Σcoefficient[2i+1]×data_in[2i+1]

where

i＝0,...,MODE/2,

j＝0,...,MODE/2

MODE＝4,8,16,32

3、蝶形运算和右移运算：

当步骤2完成后，对分别对奇偶数据累加结果E[j]和O[j]进行一次蝶形运算,与数据补足位RND相加后，对结果算术右移NSHIFT位，其中NSHIFT为一个常数，由IDCT处理位宽确定，根据HEVC标准代码HM中的定义，内部位宽为8时，两次一维IDCT变换的NSHIFT取值分别为7和12，如下公式所示：

data_out[j]＝(E[j]+O[j]+RND)＞＞NSHIFT

data_out[MODE-j]＝(E[j]-O[j]+RND)＞＞NSHIFT

where

j＝0,...,MODE/2,

MODE＝4,8,16,32,

RND＝2^NSHIFT-1,

NSHIFT＝7,12

与现有技术相比，本发明具有以下优点：

(1)本发明所提出的离散余弦逆变换IDCT运算电路，可以适用在HEVC视频编解码标准中定义的四种尺寸图像数据块4×4,8×8,16×16,32×32的IDCT运算。

(2)区别于以往并行输入结构，本发明采用串行数据流输入模式，单线程运行状态，每周期输入数据吞吐量要求仅为16bit，是以往设计的1/32，对外围系统来说，输入和输出数据稳定，避免了以往设计的猝发大数据流特征，降低外围系统设计复杂度。

(3)本发明充分考虑了视频数据自身的实时性和连续性，采用全流水设计，与以往设计不同，本发明实现在不同尺寸数据块下基于多线程并行数据处理过程，在提高电路模块的利用率的同时，模块处理过程无缝连接，避免数据等待的过程。

(4)区别于以往设计，本发明针对大尺寸数据传输问题，对原有算法进行优化，降低了原有算法的复杂度和数据处理过程的耦合度，避免数据输入输出过程对运算过程的影响，在提高输出数据的吞吐率的同时，降低了芯片实现的难度。

附图说明

图1为本发明的接口图；

图2为本发明的内部结构示意图；

图3为IDCT_UNIT_PROCESSOR模块内部结构图；

图4为DATA_ACC_BFLY_SHIFTER模块内部结构图；

图5为不同模式下的IDCT_UNIT_PROCESSOR模块并行运行模式图；

图6为不同模式下IDCT_UNIT_PROCESSOR模块输入数据传输示意图；

图7是蝶形运算单元内部结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

1)输入输出接口：

根据技术方案的定义，一维IDCT模块输入输出示意图如图1所示，一维IDCT模块IDCT_1D_MODULE的主要输入端口包括输入指示信号request_in,输入模式信号request_mode_in，8路输入数据信号DATA_IN_0～DATA_IN_7；8路输出数据信号DATA_OUT_0～DATA_OUT_7。

2)模块内部结构

图2为IDCT_1D_MODULE的内部结构图，包括一个模块控制器Module_control和8个IDCT单元处理器IDCT_UNIT_PROCESSOR。

Module_control通过request_in和request_mode_in外部输入信号来确定内部运算状态，并通过内部信号控制内部工作模式和运算过程。

IDCT_UNIT_PROCESSOR负责实现单元数据的运算过程，有一个外部数据输入接口和一个外部数据输出接口，同时IDCT_UNIT_PROCESSOR可以接收其他IDCT_UNIT_PROCESSOR转发的输入数据，也可以向其他IDCT_UNIT_PROCESSOR模块输出收到的输入数据。使用IDCT_UNIT_PROCESSOR进行一次数据运算，输出4个数据处理结果。

3)模块控制器Module_control

Module_control模块负责对整个系统进行任务调度和管理，request_in和request_mode_in信号输入后一个周期，开始输入数据。Module_control负责生成输入数据控制信号节拍，并提供给内部IDCT_UNIT_PROCESSOR模块数据处理启动结束控制信号。

4)IDCT单元处理器IDCT_UNIT_PROCESSOR

如图3所示，IDCT单元处理器IDCT_UNIT_PROCESSOR中由6个内部组件构成：1个参数配置模块DATA_CONFIG，2个乘法器模块MUL1、MUL2，2个运算模块DATA_ACC_BFLY_SHIFTER_1、DATA_ACC_BFLY_SHIFTER_2，以及1个输出管理模块DATA_EXPORT。

(1)参数配置模块DATA_CONFIG

根据Module_control提供的节拍信号，DATA_CONFIG提供给下一级的乘法器MUL1和MUL2所需要的参数数据和输入数据，其中MUL2获得的输入数据和参数比MUL1晚一个周期。

在模式4中，DATA_CONFIG的输入数据全部来自外部；在模式8、模式16、模式32中，根据IDCT_UNIT_PROCESSOR的组合模式，DATA_CONFIG的输入数据可能来自上级模块，也可能来自外部。如果DATA_CONFIG所在IDCT_UNIT_PROCESSOR模块为上级模块，DATA_CONFIG负责转发输入数据给下一级IDCT_UNIT_PROCESSOR模块输入数据。

(2)乘法器模块MUL1和MUL2

实现输入数据的常数乘功能，并输出运算结果到运算模块DATA_ACC_BFLY_SHIFTER进行处理

(3)运算模块DATA_ACC_BFLY_SHIFTER

该模块主要实现3个功能，(1)累加功能，(2)蝶形运算，(3)右移运算

5)乘法器模块MUL1和MUL2

每个IDCT_UNIT_PROCESSOR中采用了两个乘法器模块。每个乘法器负责对DATA_CONFIG提供的16位输入数据和9位参数数据进行乘法，并输出给对应的运算模块DATA_ACC_BFLY_SHIFTER。

6)运算模块DATA_ACC_BFLY_SHIFTER

如图5所示，DATA_ACC_BFLY_SHIFTER包含3部分：累加器Accumulator，蝶形运算单元Butterfly_UNIT，右移运算单元Right_Shifter。

(1)累加器Accumulator：

累加器根据奇偶次序，对乘法器的运算结果进行累加，从0开始计数，偶次序数据累加结果存储到E_Acc，奇次序数据累加结果存储到O_Acc；当完成一个输入序列的累加，累加结果E_Acc和O_Acc传输到蝶形运算单元Butterfly_UNIT进行处理。IDCT的运算偏移功能通过对E_Acc的累加存储器进行初始化来实现。

(2)蝶形运算单元Butterfly_UNIT：

Butterfly_UNIT负责对累加结果E_Acc和O_Acc进行蝶形运算，运算结果以串行通过输出端口输出给右移运算单元Right_Shifter，每个周期输出一个结果，首先输出E_Acc+O_Acc的结果，下一个周期输出E_Acc-O_Acc的结果。内部结构如图7所示，内部使用使用了1个加法器(+)、1个取补器(-)和一个多路复用(Mux)，其中取补器和Mux实现对加数O和(-O)的更换，E和Mux的输出通过加法器运算，运算结果输出给右移运算单元。

(3)右移运算单元Right_Shifter

右移运算单元Right_Shifter负责对Butterfly_UNIT的输出结果右移nshift位，并输出到DATA_EXPORT输出模块。

7)数据输出接口DATA_EXPORT

DATA_EXPORT负责IDCT_UNIT_PROCESSOR模块的输出功能，有2个输入端口，分别是DATA_ACC_BFLY_SHIFTER_1的输出数据和DATA_ACC_BFLY_SHIFTER_2的输出数据，有1个输出端口，直接连接输出IDCT_UNIT_PROCESSOR模块对应的DATA_OUT输出接口。

当每次DATA_ACC_BFLY_SHIFTER运算结束，每路输入端口串行输入两个运算结果到DATA_EXPORT，DATA_EXPORT的输出端口DATA_OUT串行输出这4个运算结果。

8)模块运行模式和并行机制

根据一维IDCT的计算原理，每种模式输入的数据量和输出的数据量是相同的。在模式32下，输入数据为32个，输出数据也是32个；在模式16下，输入数据为16个，输出数据也是16个；在模式8下，输入数据为8个，输出数据也是8个；在模式4下，输入数据为4个，输出数据也是4个。

IDCT_UNIT_PROCESSOR数据运算单元可独立完成一个4模式IDCT一维变换运算，也可与其他IDCT_UNIT_PROCESSOR组合来实现在8、16、32模式下的运算。在mode 4模式下，IDCT_UNIT_PROCESSOR单独完成一次IDCT运算。在mode 8,mode 16和mode 32，IDCT_UNIT_PROCESSOR互相组合完成运算。具体组合模式数据传输方式见图6。输入数据以串行方式输入对应输入端口，每个周期输入一个数据。在模式4下，每个输入端口都被占用并输入数据；模式8占用了4个输入端口DATA_IN_0、DATA_IN_2、DATA_IN_4、DATA_IN_6；模式16占用了2个输入端口：DATA_IN_0、DATA_IN_4；模式32仅占用1个输入端口：DATA_IN_0。在组合状态下，输入数据采用脉动模式传输，每一级模块延时为2个周期，即上级输入数据通过2个周期的延时传输到下一级模块。

在IDCT_1D_MODULE处理32模式下，8个IDCT_UNIT_PROCESSOR处理器被占用来处理一个32点的IDCT运算，每个IDCT_UNIT_PROCESSOR输出32个结果中的4个。在非32模式下，IDCT_1D_MODULE提高系统运行效率，采用并行运算模式：在16模式下，IDCT_1D_MODULE可同时处理2个16点IDCT一维变换；在8模式下，IDCT_1D_MODULE可以同时处理4个8点IDCT一维变换；在4模式下，IDCT_1D_MODULE可以同时处理8个4点IDCT一维变换。具体组合方式见图5。其中，不同模式下的IDCT_UNIT_PROCESSOR的组合模式在图中由虚线框框住，其中在框内位置在上面的IDCT_UNIT_PROCESSOR模块为下一个IDCT_UNIT_PROCESSOR模块的上级模块。

经过一次运算，IDCT_UNIT_PROCESSOR可输出4个运算结果，对应各模式下，8个IDCT_UNIT_PROCESSOR模块输出的处理结果参考表1。表中结果用(i)[j]形式表示，i表示并行进程序号，j表示输出的结果序号。输出结果通过输出端口DATA_OUT_0～DATA_OUT_7串行输出。

表1

Claims

1.一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，包括输入输出接口、模块控制器和多个IDCT单元处理器，所述的输入输出接口包括数据输入接口、数据输出接口、指示信号输入接口和模式信号输入接口，所述的数据输入接口、数据输出接口分别与IDCT单元处理器连接，所述的指示信号输入接口和模式信号输入接口分别与模块控制器连接，所述的模块控制器分别与多个IDCT单元处理器控制连接，所述的多个IDCT单元处理器之间两两连接。

2.根据权利要求1所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，所述的IDCT单元处理器设有8个，所述的数据输入接口和数据输出接口的端口数与IDCT单元处理器的数量相同，即8路数据输入接口分别与8个IDCT单元处理器的输入口一一对应连接，8路数据输出接口分别与8个IDCT单元处理器的输出口一一对应连接。

3.根据权利要求1所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，所述的模块控制器分别通过指示信号输入接口和模式信号输入接口接收外部输入信号，从而来控制电路的工作模式和运算过程。

4.根据权利要求1所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，所述的IDCT单元处理器包括参数配置模块DATA_CONFIG，两个乘法器模块MUL1、MUL2，两个运算模块DATA_ACC_BFLY_SHIFTER_1、DATA_ACC_BFLY_SHIFTER_2，以及输出管理模块DATA_EXPORT；所述的DATA_CONFIG分别与MUL1、MUL2连接，所述的MUL1通过DATA_ACC_BFLY_SHIFTER_1与DATA_EXPORT连接，所述的MUL2通过DATA_ACC_BFLY_SHIFTER_2与DATA_EXPORT连接。

5.根据权利要求4所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，所述的参数配置模块DATA_CONFIG根据模块控制器提供的信号，DATA_CONFIG提供给下一级的乘法器MUL1和MUL2所需要的参数数据和输入数据，其中MUL2获得的参数数据和输入数据比MUL1晚一个周期。

6.根据权利要求5所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，每个乘法器负责对DATA_CONFIG提供的输入数据和参数数据进行乘法，并输出给对应的运算模块。

7.根据权利要求6所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，每个运算模块包括依次串联的累加器Accumulator、蝶形运算单元Butterfly_UNIT和右移运算单元Right_Shifter；

8.根据权利要求7所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，所述的蝶形运算单元包括依次连接的加法器、取补器和多路复用选择器，所述的E_Acc输入到加法器中，所述的O_Acc分别输入到取补器和多路复用选择器中。

9.根据权利要求2所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，每个IDCT单元处理器独立完成一个4模式IDCT一维变换运算。

10.根据权利要求2所述的一种适用于数字视频编解码的一维离散余弦逆变换模块电路，其特征在于，每个IDCT单元处理器与其他IDCT单元处理器组合来实现在8、16或32模式下的运算。