CN101383954A - 一种支持多种音视频标准的媒体处理芯片的实现方法 - Google Patents

Abstract

本发明公开了一种支持多种音视频标准的媒体处理芯片的实现方法，该芯片基于CPU处理器核，集成了可编程视频协处理器、熵解码器、存储器控制器、DMA控制器等，采用了标准的AMBA总线结构，能够支持MPEG4、H.264、AVS等主要的视频编码格式。该方法的优点在于采用软硬件结合的方法，以较低的成本，实现了高效、灵活的音视频解码功能。能够通过软件的修改，灵活的实现不同的音视频编码标准。通过扩展多个可编程视频协处理器，可以提高系统性能，支持高清视频播放。标准的总线结构可以方便的增加功能模块，扩展系统应用。

Description

一种支持多种音视频标准的媒体处理芯片的实现方法

技术领域

本发明是一种支持多种音视频标准的媒体处理芯片的实现方法，主要涉及音视频多媒体处理、数字电视、IPTV、PMP、DVD等领域。

背景技术

近些年涌现了大量的数字音视频产品，如DVD播放器、便携式多媒体播放器(PMP)、HDTV、卫星电视、高清(HD)机顶盒、因特网视频流播放器、数码相机与HD摄像机、高清DVD蓝光/HD-DVD和数字视频广播等。这些产品都需要对采用多种编码标准的信源进行编码或解码，主要的编解码算法包括H.264、MPEG4和AVS。可以预见在当前音视频新旧标准交替、市场不明朗的情况下，在未来相当长一段时间内，MPEG4、H.264、AVS等诸多标准长期共存的局面将继续维持。因此单芯片支持不同编解码标准显得非常重要。

媒体处理芯片是整个多媒体应用系统最核心、最关键的器件，它的性能直接影响了整个系统的功能和性能，是集控制、解码于一身的SOC芯片，芯片所支持的编码格式也是系统所能支持的编码格式。此外，媒体处理芯片作为系统的核心芯片，还承担着运行应用软件，实时操作系统(RTOS)，硬件驱动程序以及音视频解码，输出信号处理，周边接口等重要功能。

目前，多媒体处理芯片主要分为以下两类方案：

● 微处理器+DSP

用于低视频解析度，软件可升级，支持多种音视频标准。DSP完成数字信号处理功能，主要用于音频解码，视频解码和音视频同步。微控制器负责典型的嵌入式控制任务：包括用户控制连接，USB/UART/以太网驱动，协议层(如TCP/IP，HTTP)等。该方案性能有限，但系统灵活，可支持多种音视频标准。

● 微处理器+硬件

微处理器完成视频解码外的所有任务。视频解码的运算全部由硬件逻辑实现。其优点为功耗低，面积小，但系统复杂度较高，设计开发周期较长，针对不同的标准需要开发各自独立的硬件模块。

发明内容

综合考虑视频处理芯片的成本、设计难度、以及支持多标准视频格式的要求，本文提出了一种微处理器、可编程视频协处理器和硬件相结合的芯片系统架构，实现了高效、灵活的音视频解码功能。

其中，微处理器完成音频解码，音视频同步，视频解码中的文件解析，运行操作系统等工作；可编程视频协处理器用于加速视频解码中的像素处理；硬件完成熵解码部分的工作，通过配置其中的寄存器，熵解码器应该能够完成所支持的视频标准中的多种熵解码方式；此外，还设计了专门的2D-DMA处理器完成视频数据块的搬移。通过采用这样的系统结构，即提高了系统性能，降低了功耗面积，同时又具有一定的灵活性，可通过修改软件支持不同的标准。

芯片的体系架构框图如图1所示。

● 通用微处理器核(CPU)

通用微处理器负责完成音频解码，音视频同步，视频解码中的文件解析，运行操作系统等工作。其性能可根据不同应用的要求来确定。

● 可编程视频协处理器(Video Co-processor)

针对视频处理中多个像素数据进行同样运算的特点，采用专门的可编程视频协处理器，用于加速视频解码中的像素处理。可编程视频协处理器中包括8个16bit的运算单元，可同时完成8组16bit数据的运算。可编程视频协处理器的指令系统也为视频解码处理进行了专门的设计，将视频处理中一些复杂的运算，设计成一条指令，用专门的硬件完成，能够极大提高的解码效率。

采用可编程视频协处理器的优点是使系统具有一定的灵活性，针对不同的视频编码标准，只需要修改协处理器的程序，就能够完成解码。

通过增加协处理器的个数，还可以提高像素处理的速度，从而实现高清解码。

● 熵解码器(Entropy Decoder)

视频处理中的熵解码部分主要为bit处理，不适合可编程视频协处理器和通用微处理器完成。为此，需要设计专门的硬件完成熵解码部分的工作。通过配置其中的寄存器，熵解码器可以支持视频标准中的多种熵解码方式。由于熵解码器是硬件设计的，因此在熵解码器设计的开始阶段，就应该综合多个视频标准中的熵解码部分，提出合理的设计方案。

熵解码器在微处理器的控制下，完成各个标准中的熵解码部分。之后，再由可编程视频协处理器完成视频像素解码。

● 2D-DMA控制器

由于视频处理涉及大量的图像块搬移操作，因此块搬移的效率将极大的影响系统解码效率。我们采用了2D-DMA控制器，来加速图像块的搬移。对于一个图像块的搬移，CPU只需要设置图像块左上角的像素的位置和2维的长宽信息，2D-DMA控制器就可以自动完成数据实际地址的计算，进行图像块搬移。这就减少了CPU计算地址和重复进行DMA请求的时间，提高了解码效率。

● 标准的AMBA总线结构

该总线结构便于系统扩展，可方便的增加功能模块，应用于不同的系统。

此外，芯片体系架构中还包括存储器控制器(Memory Controller)和显示控制器(DISPLAY)。存储器控制器用于管理存储器系统，包括内部的SRAM和外部FLASH、ROM、RAM、DDR、SDRAM等。显示控制器用于解码后的视频图像输出显示。

本发明提出的支持多种音视频标准的媒体解码芯片，采用了微处理器+可编程视频协处理器+硬件的系统架构，以较低的成本，实现了同时支持多种音视频标准。本发明具有以下特点：

● 能够通过软件的修改，灵活的实现不同的音视频编码标准；

● 多种标准采用相同的硬件平台，降低了硬件实现成本；

● 通过扩展多个可编程视频协处理器，可以提高系统性能，支持高清视频播放；

● 标准的总线结构可以方便的增加功能模块，扩展系统应用。

附图说明

图1 多格式媒体处理芯片体系架构框图

图2 多格式媒体处理芯片系统框图

图3 TS解复用模块框图

图4 熵解码器框图

图5 可编程视频协处理器框图

图6 2D-DMA控制器框图

具体实施方式

在本发明的系统架构基础上，实现了支持AVS、H.264的多媒体处理芯片，系统框图如图2所示。该芯片可应用于DVB系统中，具有以下特点：

● 视频解码：支持AVS、H.264

● 音频解码：支持MP3、WMV

● 具有TS流(Transport Stream)解复用功能

● 采用了RISC+DSP处理器

● 集成了USB2.0OTG接口

● 具有视频后处理功能

● 具有OSD功能

本芯片采用了双层AMBA总线结构，高性能、高带宽的设备连接到AHB总线上，低带宽设备连接到APB总线上。

系统工作流程如下：

● 视频传输流(TS)经过Tuner解调后进入芯片，首先进入TS Demux模块，完成TS解扰和解复用。TS Demux模块输出解复用后的视频编码数据，保存到外部的DDR存储器中。

● 当DDR存储器中缓冲了一定数据后，CPU控制熵解码器从DDR存储器中读出视频编码数据，进行熵解码。CPU与熵解码器进行交互，完成视频数据中各种头结构和宏块数据的解析，并将各种参数和宏块数据写入可编程视频协处理器。

● 可编程视频协处理器根据解码参数和宏块数据，完成视频图像的解码，并将解码图像输出到DDR存储器中保存。在可编程协处理器的解码过程中，通过2D_DMA模块完成提取参考图像、保存解码图像等2D图像数据传输。

● 一帧图像解码完成后，CPU控制视频后处理模块(Video Past-processing)和OSD模块完成图像的显示。

本芯片的CPU核采用了具有音频DSP功能的RISC处理器核处理器，负责完成音频解码，音视频同步，视频解码中的文件解析，运行操作系统等工作。该处理器基于低功耗、24位的音频处理器，适用于所有流行的音频和语音Codec。

TS-DEMUX模块用于完成TS流的解扰和解复用，并将解复用后的音频流和视频流存储到外部DDR存储器的缓冲区中，用于后续解码。TS-DEMUX模块框图如图3所示，通过AHBSlave接口，在CPU的控制下完成TS包处理。AHB Master接口用于FIFO输出控制模块申请系统总线向主存储器发送数据。

熵解码器从DDR存储器中读取视频码流后，在CPU的控制下完成熵解码，并将解码后信息再保存到外部DDR存储器中，如图4所示，包括DMA控制、数据更新机制、比特解码、寄存器组和总线接口等模块。CPU通过AHB从接口发送命令，设置解码参数，返回当前状态。AHB主设备接口，用于从外部存储器中读取视频码流和输出解码结果。bit decode模块通过查表完成各标准中的比特解码，支持MPEG1/2/3和VC1中的基于Huffman表的VLC解码，支持CAVLC、Exp-Golomb和其他H.264Baseline profile的bit level解码，支持AVS中的指数哥伦布码解码。CPU通过设置寄存器，控制bit decode模块采用不同的表完成各种标准的解码。数据更新机制包括entropy_buffer、bit_buffer、entropy_register，用于每次解码之后完成数据更新，从entropy_register寄存器的高位移出解码消耗的比特，同时低位从bit_buffer中移入对应的比特数。此外，在解码失败时，可以发出一个中断信号到CPU处理器。

可编程视频协处理器完成视频解码中的像素处理，包括反量化、反变换、帧内预测、帧间预测、图像重构、环路滤波等操作。可编程视频协处理器从外部存储器中取得熵解码处理后的数据，完成图像解码后，将生成的视频图像数据再存储到外部DDR存储器中。可编程视频协处理器框图如图5所示，包括指令译码器、8个16bit的运算单元、指令存储器、数据存储器和CPU指令FIFO。可编程视频协处理器连接到AHB总线上，在微处理器的控制下工作。CPU通过协处理器的AHB Slave接口向协处理器发送指令、读写内部寄存器、访问指令存储器和数据存储器。协处理器中的数据通路宽度为128位，包括8个16位的运算执行单元。协处理器处理的数据保存在数据存储器中，可一次从数据存储器中读取或写入128bit数据。寄存器堆也是128bit。

2D-DMA控制器用于加速图像块的搬移，功能框图如图6所示。对于一个图像块的搬移，CPU只需要设置图像块左上角的像素在一帧图像中的位置和2维的长宽信息，2D-DMA控制器就可以自动完成数据实际地址的计算，进行图像块搬移。

Video Post-processing和OSD模块，完成视频后处理和OSD功能，支持外部连接的显示设备。

存储器控制器管理所有由CPU、视频协处理器、熵解码器等设备发起的对系统存储器的访问。存储器控制器管理的存储器包括片外存储器(DDR、FLASH)和片内存储器(SRAM)。

DMA控制器可以在没有CPU干预的情况下实现存储空间中不同位置间的数据传递。数据传递的数据源和数据目的地可以是片内存储器、片外存储器以及各种系统外设。通过使用DMA，可以减小系统进行大量数据传递时对CPU所造成的工作负荷。

USB2.0OTG接口用于连接外部的其他USB设计，使USB设备之间可以相互传输数据，而不必有电脑主机的参与。

APB总线连接的外设是一些性能比较低、带宽要求低的设备，包括WDT、Timer、RTC、INTC、GPIO、PCU、I2C、I2S、UART等接口设备。

Claims (5)

1.一种支持多种音视频标准的媒体处理芯片的实现方法，用于支持MPEG4、H.264、AVS等主要的视频编码格式，包括CPU处理器核、可编程视频协处理器、熵解码器、2D-DMA控制器。

2.根据权利要求1所述的一种支持多种音视频标准的媒体处理芯片的实现方法，其特征在于CPU处理器核用于完成音频解码，音视频同步，视频解码中的文件解析，运行操作系统等工作。

3.根据权利要求1所述的一种支持多种音视频标准的媒体处理芯片的实现方法，其特征在于可编程视频协处理器用于加速视频解码中的像素处理，可编程视频协处理器包括8个16bit的运算单元，可支持视频处理专用指令，数据总线为128位，命令总线为32位。

4.根据权利要求1所述的一种支持多种音视频标准的媒体处理芯片的实现方法，其特征在于熵解码器为硬件实现，通过一定的参数配置，完成H.264、MPEG4、AVS标准中的熵解码功能。

5.根据权利要求1所述的一种支持多种音视频标准的媒体处理芯片的实现方法，其特征在于2D-DMA控制器用于加速图像块的搬移，对于一个图像块的搬移，CPU只需要设置图像块左上角的像素在一帧图像中的位置和2维的长宽信息，2D-DMA控制器就可以自动完成数据实际地址的计算，进行图像块搬移。

Images