CN102123286A

CN102123286A - 视频编解码器网络提取层nal模块及实现方法

Info

Publication number: CN102123286A
Application number: CN 201010619891
Authority: CN
Inventors: 胡子一; 王新安; 李铃; 王腾; 张兴
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2010-12-31
Filing date: 2010-12-31
Publication date: 2011-07-13
Anticipated expiration: 2030-12-31
Also published as: CN102123286B

Abstract

本发明公开了一种视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。本发明可提高硬件设计的效率。

Description

视频编解码器网络提取层NAL模块及实现方法

技术领域

本发明涉及集成电路领域，特别涉及一种视频编解码器网络提取层NAL模块及实现方法。

背景技术

随着集成电路制造工艺进入45nm以下阶段，集成电路设计发展落后于集成电路工艺进步的剪刀差继续增大。数据流算法，尤其是数字媒体类的ASIC(Application Specific Integrated Circuit，专用集成电路)设计，面临设计周期长、灵活性差、扩展性差等问题，难以满足产品快速上市、功能不断提升的需求。

目前集成电路产业需求方面，设计速度成为集成电路设计方法学的重要考虑因素。当集成电路制造商或集成系统供应商将商业运作的基本问题(如产品数量、设计/测试费用、不可再用的工程开支(NonRecurring Engineering，NRE)、用户IP的整合/复用、可靠性和可维护性、生产过程复杂性等)综合考虑在内时，加速产品推出时间、提高产品性能、降低产品制造风险便成为选择设计技术时的重要考虑因素。

集成电路的设计，从全定制的晶体管设计开始，发展到1984年前后以1.0μm工艺节点为代表的门阵列设计，再到1994年前后以0.5μm工艺节点为代表的标准单元设计，以及1999年前后以0.25μm工艺节点为代表的基于IP的设计和2004年0.13um工艺节点为代表的时间驱动，而目前广泛应用的标准单元设计其单元粒度一般为1bit逻辑门级，而最大粒度也只是触发器和全加器，利用逻辑综合工具，可以将RTL(寄存器传输)级设计快速转化为门级设计，这样严重制约了设计的规模和设计速度。

而针对数字类专用集成电路设计，从计算机高级语言向下层硬件映射速度和效率是目前集成电路设计方法学研究的热点。

目前高级语言向下层硬件映射的速度所需时间较长，是传统集成电路设计速度的瓶颈所在。而集成电路算子是一种粒度高于标准单元的数字集成电路组成部件。其算子粒度不仅可以支持加减乘除等运算，更可以完成诸如FFT的某一个蝶形运算，或|a-b|，复数运算，cordic运算等操作。集成电路算子包括五类算子：控制类算子、运算类算子、存储类算子、路径类算子和时钟类算子。因此，针对数字类ASIC设计，利用集成电路算子会提升从高级语言向下层硬件映射的速度。

H.264是国际电联(ITU-T)和国际标准化组织(ISO)共同组建的联合视频组(JVT)共同制定的数字视频编码标准。因此，H.264即是国际电联(ITU-T)的H.264，也是国际标准化组织(ISO)和国际电工委(IEC)的MPEG-4标准的第10部分的内容。

H.264编码器的编码过程的主要子算法有：帧间预测、帧内预测、变换和量化、去块效应滤波和熵编码。

视频编码算法通过对视频信号的压缩处理可以极大地降低视频信号的存储和带宽需求，在此基础上尽可能多的获得最佳的图像质量。H.264包含视频编码层(VCL)和网络提取层(NAL)。VCL包括核心压缩引擎和块、宏块及片的语法级别的定义，它的设计目标是尽可能地独立于网络的情况下进行高效地编解码；而NAL负责将VCL产生的比特字符串适配到各种各样的网络环境中，覆盖了所有片级别以上的语法级别，同时支持以下功能：支持独立片解码，起始码唯一保证，支持SEI，支持流格式编码数据传送。

视频编码层(VCL)的核心技术包括预测编码、变换编码和熵编码。利用像素之间(帧内)相关性和帧间的相关性，找到相应的参考像素或参考帧作为预测值，可以实现预测编码。变换编码将图像的时域信号变换成频域信号。在频域中，图像信号的能量大部分集中在低频区域，相对于时域信号，码率有较大的下降。熵编码是建立在随机过程的统计特性基础上的无损压缩方法，它生成的码流可以经解码无失真地恢复出原数据。

网络提取层(NAL)专为网络传输设计，能适应于不同网络中的视频传输，进一步提高网络“亲和性”。NAL定义了数据封装的格式，为VCL提供与网络无关的统一接口。主要功能是写头信息、重要的参数和插入防混淆码，涉及片级别以上的语法定义，包括独立片解码所要求的数据表示，类似以往视频压缩标准中的图像和头部顺序数据；防止竞争的编码；附加的增强信息以及编码片的比特字符串。数据承载在网络提取层单元(NALU)中，NALU采用统一的数据格式，包含单个字节的包头信息和多个字节的数据。包头信息包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧，从而便于服务器根据网络的拥塞情况进行丢弃；类型标志用于指示图像数据的类型。NAL支持众多基于包的有线/无线通信网络，诸如H.320、MPEG-2和RTP/IP等。

发明内容

本发明提供了一种用于视频编码器的网络提取层NAL模块及其实现方法，能提高硬件设计的效率。

为解决上述技术问题，本发明采用了如下的技术方案：

一方面，本发明公开了一种用于视频编码器的网络提取层NAL模块的实现方法，包括：

将高级程序语言算法描述的视频编码器的网络提取层NAL模块的各个编码功能块映射成由算子单元构成的硬件逻辑描述；由所述算子单元构成的硬件逻辑描述生成网络提取层NAL模块的硬件集成电路。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，将高级程序语言算法描述的视频编码器的网络提取层NAL模块的各个编码功能块映射成由算子单元构成的硬件逻辑描述包括如下步骤：

程序分析步骤：读取网络提取层NAL模块的各个编码功能块的高级程序语言算法程序，根据该高级程序语言规则从所述高级程序语言算法程序中识别出被映射的执行对象和参数对象；

数据控制流图生成步骤：将识别出的执行对象和参数对象映射成描述网络提取层NAL模块算法的数据控制流图中相应节点；

算子结构图生成步骤：根据数据控制流图中的各个节点的功能处理，从所述算子单元库中取出对应功能的至少一个算子单元，将所述数据控制流图转换成由算子单元组成的算子时空图；

时序约束步骤：根据用户规格需求和目标集成电路工艺的要求确定出总时序约束，对算子时空图中的每个算子单元标注时间，对算子时空图的每个层级进行时序约束；

时空图压缩步骤：根据时间标注对算子时空图进行空间上的聚类压缩，并使总体算法执行时间最接近于总时序约束；

下层硬件映射步骤：将聚类压缩后的算子时空图映射成由算子单元构成的硬件逻辑描述。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，所述算子单元库中的算子单元包括控制类算子、运算类算子、存储类算子、路径类算子、时钟类算子和链接类算子中的至少一种。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，所述运算类算子为可重配置算子，一个运算类算子配置多种运算及控制位，所述控制位用于择一选择一种运算；

链接类算子的作用是链接存储类算子与运算类算子，形成数据流结构，其实现形式包括多选器、交叉开关和总线；

控制类算子的作用是正常推动数据流的流动，其实现形式包括计数器、状态机和微指令字，控制输出的内容包括：运算类算子动态重构信息，存储类算子AGU的配置信息，链接类算子的配置信息；

存储类算子可根据不同的数据存储格式和计算格式进行转换。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，所述执行对象包括运算指令和/或控制指令，所述参数对象包括输入数据、输出数据和中间数据中的至少一种，将所述运算指令映射为运算类算子，将所述控制指令映射为控制类算子，所述参数对象映射为存储类算子。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，所述编码功能模块包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

上述用于视频编码器的网络提取层NAL模块的实现方法的一个实施例中，还包括用于根据握手信号实现各功能块启动或停止的握手功能块。

另一方面，本发明还公开了一种视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

上述视频编码器的网络提取层NAL模块的一个实施例中，所述数据选择功能块包括参数分析算子功能块、帧头编码算子功能块、运算算子、存储算子、路径算子和控制算子。

上述视频编码器的网络提取层NAL模块的一个实施例中，所述码流拼接功能块包括左移位算子、右移位算子、运算算子、存储算子、路径算子和控制算子。

上述视频编码器的网络提取层NAL模块的一个实施例中，所述码流拆分功能包括运算算子、存储算子、路径算子和控制算子。

和现有技术相比，本发明的有益效果在于：

本发明还公开了一种视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。本发明采用算子的方法实现电路，提高了硬件设计的效率，同时还实现了硬件面积和电路设计时间的平衡。

附图说明

图1示例性地描述了本发明网络提取层NAL模块结构框图；

图2示例性地描述了网络提取层NAL模块结构框图；

图3示例性地描述了数据选择功能块算子结构图；

图4示例性地描述了码流拼接功能块算子结构图；

图5示例性地描述了码流拆分功能算子结构图；

图6示例性地描述了插入功能块算子结构图；

图7示例性地描述了码流组合功能块算子结构图；

图8示例性地描述了本发明网络提取层NAL模块工作流水图；

图9示例性地描述了本发明网络提取层NAL模块优化后的工作流水图；

图10示例性地描述了握手功能块算子结构图。

具体实施方式

下面对照附图并结合具体实施方式对本发明进行进一步详细说明。

本发明公开了一种视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

实施例一：

视频编码器的网络提取层NAL具体功能为：对于一帧熵编码之后的数据，进行第一次打包：前面拼接sliceheader码流(对于视频编码层传过来的参数，选择性地进行定长编码和不定长编码，最后将编好的码流依次按相应顺序组合输出)，后面拼接i_skip，最后进行字节补齐RBSP。对第一次打包之后的码流进行检测，遇到特殊码流0x000000、0x000001、0x000002、0x000003，就在最后一个字节前插入0x03。

对于插入0x03后的码流进行第二次打包：最前面拼接起始码(起始码为0x00000001或者0x000001，表示一个NAL单元的开始)，接着拼接nal_header(nal header指NAL单元的类型，一个字节)。

特别地，对于一个序列的第一个I帧(即IDR帧)，需要编码序列参数集SPS和图像参数集PPS。序列参数集SPS和图像参数集PPS不需要进行第一次打包，直接进行插入0x03操作，然后进行第二次打包。

为了实现以上的功能，本发明公开了一种用于视频编码器的网络提取层NAL模块的实现方法，包括：

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，将高级程序语言算法描述的视频编码器的网络提取层NAL模块的各个编码功能块映射成由算子单元构成的硬件逻辑描述包括如下步骤：

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，所述算子单元库中的算子单元包括控制类算子、运算类算子、存储类算子、路径类算子、时钟类算子和链接类算子中的至少一种。

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，所述运算类算子为可重配置算子，一个运算类算子配置多种运算及控制位，所述控制位用于择一选择一种运算；

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，所述执行对象包括运算指令和/或控制指令，所述参数对象包括输入数据、输出数据和中间数据中的至少一种，将所述运算指令映射为运算类算子，将所述控制指令映射为控制类算子，所述参数对象映射为存储类算子。

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，所述编码功能模块包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

上述一个实施例的用于视频编码器的网络提取层NAL模块的实现方法，还包括用于根据握手信号实现各功能块启动或停止的握手功能块。

采用上述的方法，生成的一个实施例的视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

上述的一个实施例的视频编码器的网络提取层NAL模块，还包括用于根据握手信号实现各功能块启动或停止的握手功能块。

如图2所示，网络提取层NAL模块包括数据选择功能块、码流拼接功能块、拆分功能块、插入功能块和码流组合功能块。

其中，如图3所示，数据选择功能块包括参数分析算子功能块para_parse_insert和帧头编码算子功能块sliceheader、运算算子、存储算子、路径算子和控制算子。

如图4所示，码流拼接功能块包括左移位算子、右移位算子、运算算子、存储算子、路径算子和控制算子。

如图5所示，码流拆分功能包括运算算子、存储算子、路径算子和控制算子。

如图6所示，插入功能块包括运算算子、存储算子、路径算子和控制算子。

如图7所示，码流组合功能块包括运算算子、存储算子、路径算子和控制算子。

上述网络提取层NAL模块工作时，其流水操作如图8所示，功能块1-5分别表示数据选择功能块、码流拼接功能块、拆分功能块、插入功能块和码流组合功能块。

考虑到时序平衡问题，可以对上述流水操作进行简化，简化后其流水图如图9所示。其中功能块1表示数据选择功能块和码流拼接功能块的综合，功能块2表示插入功能块，功能块3表示码流组合功能块。

本发明的另一种实施例的网络提取层NAL模块，还包括握手功能块。

如图10所示，握手功能块包括运算算子、存储算子、路径算子和控制算子，所述握手功能块用于通过握手信号实现各个模块的启动和停止。

本发明公开了一种视频编码器的网络提取层NAL模块，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。本发明采用算子的方法实现电路，提高了硬件设计的效率，同时还实现了硬件面积和电路设计时间的平衡。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，包括：

2.如权利要求1所述的用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，将高级程序语言算法描述的视频编码器的网络提取层NAL模块的各个编码功能块映射成由算子单元构成的硬件逻辑描述包括如下步骤：

3.如权利要求2所述的用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，所述算子单元库中的算子单元包括控制类算子、运算类算子、存储类算子、路径类算子、时钟类算子和链接类算子中的至少一种。

4.如权利要求3所述的用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，所述运算类算子为可重配置算子，一个运算类算子配置多种运算及控制位，所述控制位用于择一选择一种运算；

5.如权利要求4所述的用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，所述执行对象包括运算指令和/或控制指令，所述参数对象包括输入数据、输出数据和中间数据中的至少一种，将所述运算指令映射为运算类算子，将所述控制指令映射为控制类算子，所述参数对象映射为存储类算子。

6.如权利要求5所述的用于视频编码器的网络提取层NAL模块的实现方法，其特征在于，所述编码功能模块包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

7.一种视频编码器的网络提取层NAL模块，其特征在于，包括：用于控制数据输出的数据选择功能块、用于将数据选择功能块输出码流进行拼接的码流拼接功能块、用于将码流拼接功能块输出码流拆分的拆分功能块、用于判断是否需要插入字节并根据判断结果进行处理的插入功能块、以及用于将插入功能块输出结果拼接的码流组合功能块。

8.如权利要求7所述的视频编码器的网络提取层NAL模块，其特征在于，所述数据选择功能块包括参数分析算子功能块、帧头编码算子功能块、运算算子、存储算子、路径算子和控制算子。

9.如权利要求8所述的视频编码器的网络提取层NAL模块，其特征在于，所述码流拼接功能块包括左移位算子、右移位算子、运算算子、存储算子、路径算子和控制算子。

10.如权利要求9所述的视频编码器的网络提取层NAL模块，其特征在于，所述码流拆分功能包括运算算子、存储算子、路径算子和控制算子。