CN101790093A - 一种利用sopc实现avs视频解码的装置及方法 - Google Patents

Abstract

一种利用SOPC实现AVS视频解码的装置及方法，属视频解码领域。装置包括Nios II微处理器等模块。NiosII微处理器模块与DMA控制器等诸模块连接；SDRAM控制器模块与DMA控制器等模块及SDRAM相连接；视频输出控制器模块与SDRAM控制器模块及视频输出模块相连接；DMA控制器模块与AVS协处理模块连接。Nios II微处理器模块进行软件解码控制，AVS协处理模块进行AVS硬件解码，其他模块进行辅助解码，所有模块挂接在总线上封装于FPGA内进行数据交互。本发明软硬件划分合理，模块化设计可更改软件解码流程，挂接其他协处理器核即可支持其它标准的设计，具有高度的扩展性、通用性和灵活性。

Description

一种利用SOPC实现AVS视频解码的装置及方法

所属技术领域

本发明涉及一种利用SOPC实现AVS视频解码的装置及方法，属于视频编解码技术领域。

背景技术

AVS标准是《信息技术先进音视频编码》系列标准的简称，它包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。它是我国自主提出的运动图像压缩标准，在较低的复杂度下实现了与国际标准相当的技术性能，但并未使用国际标准背后的大量复杂的专利。其具有特征性的核心技术包括：8×8整数变换、量化、帧内预测、1/4精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效应环内滤波等。AVS标准具有以下特点：一是性能高，编码效率是MPEG-2的2倍以上，与H.264的编码效率处于同一水平；二是复杂度低，算法复杂度比H.264明显低，软硬件实现成本都低于H.264；三是我国掌握主要知识产权，专利授权模式简单，费用低。

由于视频编解码技术的迅速发展以及市场对多媒体技术的需求量越来越大，国内外多家公司和机构都在从事视频编解码器的设计，并推出了面向各种应用领域的编解码芯片，这些芯片的推出对AVS的商业化起到了一定的推动作用。但在已存在的支持AVS标准的解码芯片中，真正实现商用的种类很有限。

现有AVS解码器的实现一般分为三类，一是软件解码器，二是硬件解码器，三是采用SOC方案，利用软硬件联合的解码器。对于软件解码器，灵活性好，但解码速度慢，很难实现高清及更大尺寸视频的实时解码。对于硬件解码器，虽然其解码速度快，但其灵活性差，难以实现多模解码。由于第二代视频编解码在算法上的复杂程度远远高于上一代标准，纯硬件难以实现，纯软件速度又有限制，所以现有的专用芯片大都采用第三种方案。为了更好地提高速度和降低面积与功耗，在速度和面积之间做一个更好的折中，这就需要更加合理的软硬件划分及硬件设计的优化。

SOPC(System-on-a-Programmable-Chip)是将整个系统装在一片FPGA芯片内，是一种基于FPGA解决方案的SOC。由于整个系统封装于一片内，又具有结构灵活，系统成本低的特点。FPGA是现场可编程门阵列的简称，是指可以进行重复编程操作的一类ASIC芯片。与一般的ASIC设计相比，它具有设计周期短、前期费用低等优点。利用IP硬核或软核在FPGA芯片上可以比较快地实现AVS视频的解码。现有AVS解码装置有的也采用软硬件联合的解码方式，但对并行性考虑不足，且设计周期长。例如在公开号为CN101453640A、发明名称为“一种软硬件联合解码的AVS视频解码器”的发明专利中提及的利用数字信号处理器完成软件解码部分，但其硬件解码部分并行性较差，处理速度上将大打折扣。

发明内容

为了克服现有技术的缺陷和不足，以解决AVS视频解码器解码的速度与难度问题，本发明提供了一种利用SOPC实现AVS视频解码的装置及方法。

本发明的技术方案如下：

一种利用SOPC实现AVS视频解码的装置，包括DMA控制器模块、Nios II微处理器模块、SDRAM控制器模块、视频输出控制器模块和AVS协处理模块，其特征在于Nios II微处理器模块通过Avalon总线分别与DMA控制器模块、SDRAM控制器模块、视频输出控制器模块和AVS协处理模块连接，完成软件解码；SDRAM控制器模块通过Avalon总线分别与DMA控制器模块、视频输出控制器模块和AVS协处理模块相连接，另外又与SDRAM相连接，实现视频数据的存取控制；视频输出控制器模块通过Avalon总线与SDRAM控制器模块相连接，另外又与视频D/A相连接，负责输出标准格式的视频数据和同步信号；DMA控制器模块通过Avalon总线与SDRAM控制器模块和AVS协处理模块连接，实现视频数据在SDRAM控制器模块与AVS协处理模块之间的快速传输控制；

AVS协处理器模块包括VLD模块、IQ模块、IT模块、运动补偿模块、帧内预测和重构模块、环路滤波模块和帧存储模块，完成AVS硬件解码，其中VLD模块分别与IQ模块、运动补偿模块、帧内预测和重构模块相连接，对AVS视频流数据进行可变长哥伦布解码，并将解码后数据发送给IQ模块、运动补偿模块、帧内预测和重构模块；IT模块与IQ模块连接，接收后者传送的反量化数据并进行反变换，并通过一个缓存Buf与帧内预测和重构模块连接，将反变换数据传送给后者；帧内预测和重构模块前面与运动补偿模块相连接，后面与环路滤波模块相连接，完成帧内预测和重构功能；环路滤波模块分别与帧存储模块及运动补偿模块的运动矢量预测子模块相连接，完成环路滤波，帧存储模块负责将解码后数据存入到相应的SDRAM地址中；

运动补偿模块包括运动矢量预测、参考像素提取、插值运算三个子模块，这三个子模块依次连接，分别负责完成运动矢量预测、参考像素提取、插值运算功能。

本发明采用Nios II微处理器和AVS协处理器联合解码，软件解码部分由Nios II微处理器完成，运行系统软件，完成任务包括解析序列、图像、条带以及宏块级别的语法元素，控制各个硬件加速模块，协调硬件模块之间流水线的运行。AVS硬件解码部分为AVS协处理器模块，将视频数据解码成YUV数据。

所采用的技术方案是：

本发明中的Nios II微处理器模块对系统的任务进行调度，主要运行于序列、图像、条带三个级别之上，进行AVS解码的同步控制，进行视频参考帧、显示帧、存储帧管理。NiosII微处理器模块对AVS协议的解析包括序列头解析，扩展和用户数据解析，图像头解析，条带头解析和宏块头解析。Nios II微处理器模块对于在AVS码流中解析出的相关控制信息和参数信息以命令方式通过总线模型送到AVS协处理模块。

本发明中的DMA控制器模块将AVS协处理模块所得的图像帧信号送到外部SDRAM，并将SDRAM中图像帧信号送到视频输出控制器用于显示。所述SDRAM控制器模块实现对外部SDRAM的控制。

本发明中的视频输出控制器模块根据从Nios II微处理器模块得到的参数，其中包括包括当前显示帧的图像规格、当前显示帧存储地址，将视频数据转换为ITU601/ITU656的兼容格式，送至外部视频信号处理器进行处理。

本发明中的AVS协处理模块作为硬件加速器，包括VLD模块，IQ模块，IT模块，运动补偿模块，帧内预测和重构模块，环路滤波模块，帧存储模块。AVS协处理模块的VLD(变长解码)模块，启动后从SDRAM中读取AVS视频流数据，进行可变长哥伦布解码，在解码完成后根据不同情况分别将数据送到反量化模块，运动补偿模块及帧内预测和重构模块。AVS协处理模块的IQ(反量化)模块，获得VLD模块解码出的(run，level)数组和Nios II微处理器模块解析出的一些参数，其中包括包括宏块编码模板MBCBP、与当前宏块量化系数相关的参数CurrentQP、逆扫描方式等，对不为零的数据进行反量化，送入下级IT(反变换)模块。AVS协处理模块的(反变换)模块，对反量化后的数据以8×8块为单位进行二维整数反变换，输出对应的残差块至Buf中。

本发明中AVS协处理模块中的运动补偿模块包括运动矢量预测、参考像素提取、插值运算三个子模块。运动矢量预测子模块从VLD模块获得其解析出的运动矢量残差以及参考索引等信息，并在Nios II微处理器模块获取包括序列级，图像级级和宏块级的各种信息，进行运动矢量的导出运算，送给参考像素提取子模块。参考像素提取子模块根据运动矢量、参考图像索引等参数在SDRAM中读取本宏块对应各块的参考像素，然后送到插值运算子模块进行插值运算。插值运算子模块完成非整数像素点的插值以及加权平均等一系列后处理操作，完成后将预测数据送至帧内预测和重构模块的输入FIFO中。AVS协处理模块中的运动补偿模块，其各个子模块之间采用FIFO传输数据，模块内部各个子模块以流水线的形式处理。

本发明中AVS协处理模块中的帧内预测和重构模块完成帧内预测块的预测及帧内或帧间块的重建。帧内预测模块从VLD模块得到当前宏块的相关参数，判断参考样本值和参考预测模式在片内RAM中的存放位置并提取出来，计算出当前块的帧内预测模式，进行帧内预测。重构模块根据IT模块产生的残差、运动补偿产生的预测块、帧内预测产生的预测块进行当前帧内或帧间块的重构。AVS协处理模块中的环路滤波模块以16×16宏块为基本单位，对当前宏块内各个8×8块和相邻块的边界进行滤波。AVS协处理模块中的帧存储模块将环路滤波模块输出的宏块信息通过DMA存入到相应的SDRAM地址中。AVS协处理模块采用宏块级流水线操作，共分为7级流水，VLD模块为第一级流水，IQ模块和运动矢量预测模块为第二级流水，IT模块和参考像素提取模块为第三级流水，插值运算和缓存器Buf为第四级流水，帧内预测和重构模块为第五级流水，环路滤波模块为第六级流水，帧存储模块为第七级流水。

一种利用上述装置进行解码的方法，步骤如下：

a、Nios II微处理器模块从SDRAM中读取AVS视频流数据，进行AVS协议的解析，产生解码所需的各种参数，并且对AVS协处理模块解码过程进行控制；

b、VLD模块接到Nios II微处理器模块启动命令后启动，根据视频流位置参数从SDRAM中读取AVS视频流数据，进行可变长哥伦布解码，在解码完成后将残差数据送到IQ模块，而后转入c；若为帧间预测，将运动矢量残差及参考图像索引数据送到运动补偿模块的运动矢量预测模块，转入d；若为帧内预测，将当前宏块的相关参数数据如帧内预测模式信息送到帧内预测和重构模块，转入e；

c、IQ模块7对于获得的残差数据进行反量化，将量化后的数据送入IT模块，由IT模块进行8×8二维整数反变换，转入f；

d、在运动矢量残差及参考图像索引数据送入运动矢量预测模块后，运动矢量预测模块对每个子块进行运动矢量的预测，而后与码流输入的运动矢量残差相加得到该块的运动矢量；完成后将得到的运动矢量及参考索引等信息送入参考像素提取模块，计算经过延伸后的参考块所有像素在SDRAM中的存储位置，将其依次取出然后送到插值运算模块进行插值运算；插值运算模块根据得到的当前块的所有参考像素和从运动矢量得知的亚像素位置，进行亮度1/4精度，色度1/8精度的插值计算，运算完成后送入帧内预测和重构模块，转入f；

e、帧内预测和重构模块在Nios II微处理器模块读取相关命令，从VLD模块得到当前宏块的相关参数后进行帧内预测，而后转入f；

f、启动帧内预测和重构模块的重建功能，残差数据和预测数据帧内预测或者帧间预测相加，得到了重建的当前块，将重建块送入环路滤波模块进行环路滤波；

g、环路滤波模块得到Nios II微处理器模块的环路滤波参数，帧内预测和重构模块的重建块进行环路滤波；

h、帧存储模块接收最终解码块，其准备好一个宏块数据之后通知Nios II微处理器模块，由Nios II微处理器模块控制DMA控制器模块，采用burst传输读取数据并写入SDRAM中；

i、视频输出控制器模块根据从Nios II微处理器模块得到的参数，其中包括当前显示帧的图像规格、当前显示帧存储地址，由DMA控制器模块将SDRAM中图像帧信号送入视频数据，将视频数据转换为ITU601/ITU656的兼容格式，送至外部视频信号处理器进行处理。

本发明的目的在于提出了一种软硬件联合的AVS视频解码装置软件部分运行在Nios II处理器上，主要运行于序列、图像、条带三个级别之上，解码宏块及宏块以上的数据，保证各个模块的有序运行，控制流水线的正常运行，保持各个模块的同步。AVS核心解码由挂接在总线模型上的AVS协处理模块执行，将解码的数据送到视频输出控制器模块，后者将视频数据转换为ITU601/ITU656的兼容格式，送至外部视频信号处理器进行处理。所有设计封装在一片FPGA芯片中，设计周期短，裁剪灵活，并且由于利用软件控制解码流程，可以容易实现多模视频解码。

附图说明

图1为本发明解码装置的结构示意图。

其中，1、DMA控制器模块，2、Nios II微处理器模块，3、SDRAM控制器模块，4、视频输出控制器模块，5、AVS协处理模块。

图2为AVS协处理模块核心解码及流水线操作阶段示意图。

其中，6、VLD(变长解码)模块，7、IQ(反量化)模块，8、IT(反变换)模块，9、缓存Buf，10、运动矢量预测子模块、11、参考像素提取子模块、12、插值运算子模块，13、帧内预测和重构模块，14、环路滤波模块，15、帧存储模块

图3为本发明方法解码过程流程示意图。其中a-i为其各个步骤。

具体实施方式

下面结合附图和实施例对本发明进一步说明，但不限于此。

实施例1：(硬件实施例)

本发明实施例1一种利用SOPC实现AVS视频解码的装置如图1-2所示，包括DMA控制器模块1、Nios II微处理器模块2、SDRAM控制器模块3、视频输出控制器模块4和AVS协处理模块5，其特征在于NiosII微处理器模块2通过Avalon总线分别与DMA控制器模块1、SDRAM控制器模块3、视频输出控制器模块4和AVS协处理模块5连接，完成软件解码；SDRAM控制器模块3通过Avalon总线分别与DMA控制器模块1、视频输出控制器模块4和AVS协处理模块5相连接，另外又与SDRAM相连接，实现视频数据的存取控制；视频输出控制器模块4通过Avalon总线与SDRAM控制器模块3相连接，另外又与视频D/A相连接，负责输出标准格式的视频数据和同步信号；DMA控制器模块1通过Avalon总线与SDRAM控制器模块3和AVS协处理模块5连接，实现视频数据在SDRAM控制器模块3与AVS协处理模块5之间的快速传输控制；

AVS协处理器模块5包括VLD模块6、IQ模块7、IT模块8、运动补偿模块、帧内预测和重构模块13、环路滤波模块14和帧存储模块15，完成AVS硬件解码，其中VLD模块6分别与IQ模块7、运动补偿模块、帧内预测和重构模块13相连接，对AVS视频流数据进行可变长哥伦布解码，并将解码后数据发送给IQ模块7、运动补偿模块、帧内预测和重构模块13；IT模块8与IQ模块7连接，接收后者传送的反量化数据并进行反变换，并通过一个缓存Buf 9与帧内预测和重构模块13连接，将反变换数据传送给后者；帧内预测和重构模块13前面与运动补偿模块相连接，后面与环路滤波模块14相连接，完成帧内预测和重构功能；环路滤波模块14分别与帧存储模块15及运动补偿模块的运动矢量预测子模块10相连接，完成环路滤波，帧存储模块15负责将解码后数据存入到相应的SDRAM地址中；

运动补偿模块包括运动矢量预测、参考像素提取、插值运算三个子模块10、11、12，这三个子模块依次连接，分别负责完成运动矢量预测、参考像素提取、插值运算功能。

实施例2：(方法实施例)

一种利用上述装置进行解码的方法，如图3所示，步骤如下：

a、Nios II微处理器模块2从SDRAM中读取AVS视频流数据，进行AVS协议的解析，产生解码所需的各种参数，并且对AVS协处理模块5解码过程进行控制；

b、VLD模块6接到Nios II微处理器模块2启动命令后启动，根据视频流位置参数从SDRAM中读取AVS视频流数据，进行可变长哥伦布解码，在解码完成后将残差数据送到IQ模块7，而后转入c；若为帧间预测，将运动矢量残差及参考图像索引数据送到运动补偿模块的运动矢量预测模块10，转入d；若为帧内预测，将当前宏块的相关参数数据如帧内预测模式信息送到帧内预测和重构模块13，而后转入e；

c、IQ模块7对于获得的残差数据进行反量化，将量化后的数据送入IT模块8，由IT模块8进行8×8二维整数反变换，而后转入f；

d、在运动矢量残差及参考图像索引数据送入运动矢量预测模块10后，运动矢量预测模块10对每个子块进行运动矢量的预测，而后与码流输入的运动矢量残差相加得到该块的运动矢量；完成后将得到的运动矢量及参考索引等信息送入参考像素提取模块11，计算经过延伸后的参考块所有像素在SDRAM中的存储位置，将其依次取出然后送到插值运算模块12进行插值运算；插值运算模块12根据得到的当前块的所有参考像素和从运动矢量得知的亚像素位置，进行亮度1/4精度，色度1/8精度的插值计算，运算完成后送入帧内预测和重构模块13，而后转入f；

e、帧内预测和重构模块13在Nios II微处理器模块2读取相关命令，从VLD模块6得到当前宏块的相关参数后进行帧内预测，而后转入f；

f、启动帧内预测和重构模块13的重建功能，残差数据和预测数据帧内预测或者帧间预测相加，得到了重建的当前块，将重建块送入环路滤波模块14进行环路滤波；

g、环路滤波模块14得到Nios II微处理器模块2的环路滤波参数，帧内预测和重构模块13的重建块进行环路滤波；

h、帧存储模块15接收最终解码块，其准备好一个宏块数据之后通知Nios II微处理器模块2，由Nios II微处理器模块2控制DMA控制器模块1，采用burst传输读取数据并写入SDRAM中；

i、视频输出控制器模块4根据从Nios II微处理器模块2得到的参数，其中包括当前显示帧的图像规格、当前显示帧存储地址，由DMA控制器模块1将SDRAM中图像帧信号送入视频数据，将视频数据转换为ITU601/ITU656的兼容格式，送至外部视频信号处理器进行处理。

Claims (2)

1.一种利用SOPC实现AVS视频解码的装置，包括DMA控制器模块、Nios II微处理器模块、SDRAM控制器模块、视频输出控制器模块和AVS协处理模块，其特征在于Nios II微处理器模块通过Avalon总线分别与DMA控制器模块、SDRAM控制器模块、视频输出控制器模块和AVS协处理模块连接，完成软件解码；SDRAM控制器模块通过Avalon总线分别与DMA控制器模块、视频输出控制器模块和AVS协处理模块相连接，另外又与SDRAM相连接，实现视频数据的存取控制；视频输出控制器模块通过Avalon总线与SDRAM控制器模块相连接，另外又与视频D/A相连接，负责输出标准格式的视频数据和同步信号；DMA控制器模块通过Avalon总线与SDRAM控制器模块和AVS协处理模块连接，实现视频数据在SDRAM控制器模块与AVS协处理模块之间的快速传输控制；

AVS协处理器模块包括VLD模块、IQ模块、IT模块、运动补偿模块、帧内预测和重构模块、环路滤波模块和帧存储模块，完成AVS硬件解码，其中VLD模块分别与IQ模块、运动补偿模块、帧内预测和重构模块相连接，对AVS视频流数据进行可变长哥伦布解码，并将解码后数据发送给IQ模块、运动补偿模块、帧内预测和重构模块；IT模块与IQ模块连接，接收后者传送的反量化数据并进行反变换，并通过一个缓存Buf与帧内预测和重构模块连接，将反变换数据传送给后者；帧内预测和重构模块前面与运动补偿模块相连接，后面与环路滤波模块相连接，完成帧内预测和重构功能；环路滤波模块分别与帧存储模块及运动补偿模块的运动矢量预测子模块相连接，完成环路滤波，帧存储模块负责将解码后数据存入到相应的SDRAM地址中；

运动补偿模块包括运动矢量预测、参考像素提取、插值运算三个子模块，这三个子模块依次连接，分别负责完成运动矢量预测、参考像素提取、插值运算功能。

2.使用权利要求1所述解码装置实现AVS视频解码的一种方法，步骤如下：

a、Nios II微处理器模块从SDRAM中读取AVS视频流数据，进行AVS协议的解析，产生解码所需的各种参数，并且对AVS协处理模块解码过程进行控制；

b、VLD模块接到Nios II微处理器模块启动命令后启动，根据视频流位置参数从SDRAM中读取AVS视频流数据，进行可变长哥伦布解码，在解码完成后将残差数据送到IQ模块，而后转入c；若为帧间预测，将运动矢量残差及参考图像索引数据送到运动补偿模块的运动矢量预测模块，转入d；若为帧内预测，将当前宏块的相关参数数据如帧内预测模式信息送到帧内预测和重构模块，转入e；

c、IQ模块7对于获得的残差数据进行反量化，将量化后的数据送入IT模块，由IT模块进行8x8二维整数反变换，转入f；

d、在运动矢量残差及参考图像索引数据送入运动矢量预测模块后，运动矢量预测模块对每个子块进行运动矢量的预测，而后与码流输入的运动矢量残差相加得到该块的运动矢量；完成后将得到的运动矢量及参考索引等信息送入参考像素提取模块，计算经过延伸后的参考块所有像素在SDRAM中的存储位置，将其依次取出然后送到插值运算模块进行插值运算；插值运算模块根据得到的当前块的所有参考像素和从运动矢量得知的亚像素位置，进行亮度1/4精度，色度1/8精度的插值计算，运算完成后送入帧内预测和重构模块，转入f；

e、帧内预测和重构模块在Nios II微处理器模块读取相关命令，从VLD模块得到当前宏块的相关参数后进行帧内预测，而后转入f；

f、启动帧内预测和重构模块的重建功能，残差数据和预测数据帧内预测或者帧间预测相加，得到了重建的当前块，将重建块送入环路滤波模块进行环路滤波；

g、环路滤波模块得到Nios II微处理器模块的环路滤波参数，帧内预测和重构模块的重建块进行环路滤波；

h、帧存储模块接收最终解码块，其准备好一个宏块数据之后通知Nios II微处理器模块，由Nios II微处理器模块控制DMA控制器模块，采用burst传输读取数据并写入SDRAM中；

i、视频输出控制器模块根据从Nios II微处理器模块得到的参数，其中包括当前显示帧的图像规格、当前显示帧存储地址，由DMA控制器模块将SDRAM中图像帧信号送入视频数据，将视频数据转换为ITU601/ITU656的兼容格式，送至外部视频信号处理器进行处理。

Images