CN101325717A - 一种适用于正交频分复用保护的h.264/svc码流重组方法 - Google Patents

Abstract

本发明涉及一种适用于正交频分复用保护的H.264/SVC码流重组方法，属于计算机多媒体技术领域，特别涉及数字视频信号编码技术。该方法包括：对输入的原始视频进行可伸缩视频编码，得到编码后的可伸缩码流；对所述可伸缩码流进行提取，得到可伸缩视频编码的子码流；对所述可伸缩视频编码的子码流利用优先度参数大小和数据类型顺序把所有数据重新排序，得到重新排序后的可伸缩视频码流的子码流；对所述重排序子码流进行OFDM调制，输出在信道上不同频段中传输的信号。本发明设计的方法适用于无线视频传输系统，可以更有效地保护重要数据，提高接收视频的总质量。

Description

一种适用于正交频分复用保护的H.264/SVC码流重组方法

技术领域

本发明属于数字视频信号编码技术领域，特别涉及一种适用于正交频分复用保护的H.264/SVC码流重组方法。

技术背景

数字视频编码技术是指对于摄像机或其它数字采集设备采集到的数字视频信号，通过特定的信号处理方式进行编码，得到相比原始数字视频信号具有很大压缩比例的数据。

目前国际上公认的视频编码标准已经由最初的H.261/MPEG-1发展到当今最新的H.264，这些视频编码标准在技术上最主要的进步是压缩率不断提高，所需要的码流越来越小。利用最新的H.264视频编码标准得到的压缩视频数据，可以以极小的存储空间保存数据量巨大的高清视频。

然而，对于视频数据在网络上尤其是无线网络上的传输应用，由于网络传输条件的时变性和网络资源的局限性，要求在其上传输的数据必须具有一定的码流自适应性，从而配合网络条件的变化，实现传输效果的最优化。而传统的视频编码标准得到的视频码流在编码后就不能更改，无法做到随传输条件的变化同步调整。另外，由于网络中接入终端在处理能力和应用需求方面都各不相同，要求视频传输能够为不同的终端提供不同码率和不同质量的码流，这也是传统编码标准无法支持的。

为了满足网络传输对视频编码特性的要求，基于H.264的新一代可伸缩视频编码标准SVC(Scalable Video Coding，可伸缩视频编码)已于2004年正式开始制定，到2008年为止已经完成了大部分标准的确定。新的可伸缩视频编码标准的编码输出为一组由不同层次子码流组成的完整视频码流。通过对该完整码流中部分码流的提取，可以得到特定的子码流。该子码流可以解码得到一定质量的已解码视频序列。当然，利用完整码流解码得到的已解码视频序列具有最高的质量，而仅仅利用很少一部分视频码流解码得到的已解码视频序列具有较低的视频质量。

可伸缩视频编码方法将视频中每一幅图像编码成为不同层次的若干子码流，每一个子码流又进一步划分为若干网络抽象层单元(NALu，Network Abstraction Layer unit)。根据对所编码帧的编码方式的不同，网络抽象层单元中可以包含以下数据：网络抽象层头部(NAL header)用于保存解码当前网络抽象层单元所需要的参数，而原始字节序列负载(RBSP，Raw Byte Sequence Payload)用于保存进行预测和补偿后图像的残差数据，以及其它编码数据(包括条带及以下各部分数据块的头部，以及运动预测向量mv，movementvector等)。另外还有一种不带有视频编码数据的网络抽象层单元，它的RBSP为视频编码中用到的参数集(PS，Parameter Set)。目前国际上用于可伸缩视频编码实现的标准软件为jsvm(joint scalable video model，联合可伸缩视频模型)，充分实现了可伸缩视频编码技术中的各项细节。

能够完整解码得到视频中的一整个帧的网络抽象层单元的集合称为一个访问单元(AU，Access Unit)。访问单元在概念上接近传统意义下帧的概念，但是在可伸缩视频编码方法中是由不同层的网络抽象单元组成的。这些层可以包括时域(temporal)层，分辨率(spatial)层和质量(SNR)层，一副图像编码得到的所有层的网络抽象层单元再加上负责传输该图像解码需要的参数的网络抽象单元共同组成了该图像的访问单元。由于每个访问单元可以由很多层码流组成，则这些不同层的码流中比较重要的若干层可以被称作基本层或关键层，而不重要的其余层码流可以被称作增强层或补充层。

在通信中，为了保证信号中重要的部分以最大的正确率传输，很多非平等保护技术被广泛采用。其中，OFDM(正交频分复用，Orthogonal Frequency Division Multiplexing)技术将信道分为若干子载波，可以通过在这些子载波中选择通信质量较好的子载波用来传输重要数据，从而保证重要数据的可靠传输。利用OFDM实现非平等数据保护要求事先将信号按照重要度的高低进行排列。

已有的用于可伸缩视频编码码流不平等保护的策略，只能在网络抽象层单元进行包的重要度重排序，保证重要的网络抽象层单元数据得到优先保护，但是这种传统的方法存在以下不足：1)排序只能在网络抽象层单元进行，而在一个网络抽象层单元中仍然包含了重要度不等的多类数据，所以传统的排序方法只能保证整体的重要度有序，但是内部仍然存在数据的重要度无序情况，只有将其包含的数据也进行重排才能解决这一问题；2)网络抽象层单元包大小较大，如果不将包拆开，只能进行包级的非平等保护，无法利用OFDM等比特级的方法进行保护。

发明内容

本发明目的是为克服已有技术的不足之处，提出一种适用于正交频分复用保护的H.264/SVC码流重组方法，本发明在可伸缩视频编码的基础上，综合考虑其特点和应用的结合，通过对一个访问单元中的所有网络抽象单元的码流进行重新排序，将高重要度和低重要度的码流分开，方便在传输时实施OFDM保护策略。

本发明提出的适用于正交频分复用(OFDM)保护的H.264/SVC码流重组方法，其特征在于，包含以下步骤：

1)可伸缩视频编码：对输入的原始视频进行可伸缩视频编码，得到编码后的可伸缩码流；

2)码流提取：对所述可伸缩码流进行提取，得到可伸缩视频编码的子码流；

3)码流重排序：对所述可伸缩视频编码的子码流进行重排序，得到重新排序后的可伸缩视频码流的子码流；

4)OFDM调制：对所述重排序后的可伸缩视频码流的子码流进行OFDM调制，输出在信道上不同频段中传输的信号。

所述步骤3)中码流重排序的具体步骤可包括：

31)按照顺序从可伸缩视频码流的子码流中读入网络抽象层单元NAL，直到一个访问单元的全部NAL都被读入缓冲区；

32)通过读取各网络抽象层单元的头部信息判断当前访问单元中所有NAL的类型；

33)根据当前访问单元的NAL的类型计算缓冲区中每一个NAL的优先级参数p；；

34)将所述各网络抽象层单元中的相同数据按照优先级参数p从小到大的排序写入排序后子码流的相应位置；

35)判断所述子码流的所有访问单元是否已写入子码流的相应位置，若否则转步骤31)，若是则输出已重新排序的可伸缩视频码流的子码流。

本发明的特点及有益效果：

本发明对可伸缩视频编码码流的每一个访问单元的数据都进行上述排序，并且每一层码流内部的数据也按照重要度从高到低排序。最终输出为重排序后的可伸缩视频编码码流。

经过排序的码流，可以进一步采用OFDM调制技术，对于不同重要程度的数据进行非等同保护，从而最大化网络视频传输预期效果。

附图说明

图1为本发明设计的方法总体流程图

图2为可伸缩视频码流中一个访问单元中码流的可能初始结构。从a到e别为PS_NAL，SLICE_NAL，I块的MB Layer，非I块的MB Layer的码流结构

图3为本发明设计的对于可伸缩视频编码码流一个访问单元中的数据经过重排序后的码流结构，重新排序成为两组数据，图3a为关键层，图3b为补充层；

图4为本发明设计的码流重排序模块的运行具体流程示意图。

具体实施方式

本发明提出的一种适用于OFDM用保护的H.264/SVC码流重组方法结合实施例详细说明如下

本发明提出的一种适用于正交频分复用保护的H.264/SVC码流重组方法流程如图1所示，该方法包含以下步骤：

1)对输入的原始视频进行可伸缩视频编码，得到编码后的可伸缩码流；

2)对所述可伸缩码流进行提取，得到可伸缩视频编码的子码流；

3)对所述可伸缩视频编码的子码流利用优先级参数大小和数据类型顺序重新排序所有数据，得到重新排序后的可伸缩视频码流的子码流；

4)对所述重排序子码流进行OFDM调制，输出在信道上不同频段中传输的信号。

本发明的上述述步骤3)中包括将待排序的子码流分为多个访问单元，每个访问单元由多个网络抽象层单元组成；所述对子码流重排序包括以下步骤：

31)按照顺序从所述子码流中将一个访问单元的全部网络抽象层单元读入缓冲区；

32)通过读取各网络抽象层单元的头部信息判断当前访问单元中所有网络抽象层单元的类型；所述网络抽象层单元的类型包括参数集网络抽象层单元和条带网络抽象层单元两种类型。

33)根据网络抽象层单元的类型计算缓冲区中当前访问单元的每一个网络抽象层单元的优先级参数p；

具体计算优先级参数p的方法为；

对于参数集NAL，p＝-1；

否则p＝temporal_id*p1+dependency_id*p2+quality_id*p3其中，temporal_id，dependency_id和quality_id是可伸缩视频编码标准中的参数，保存在该网络抽象层单元的头部中；p1，p2和p3均为计算p时所用到的权系数，且满足p1＞p3且p2＞p3。

34)将所述各网络抽象层单元中的相同数据按照优先级参数p的大小排序写入子码流的相应位置；

该子码流进一步分为关键层码流和补充层码流，所谓关键层码流指排序后子码流中最重要的一部分子码流，而补充层子码流指排序后的子码流中相比关键层码流不重要的一部分子码流；

将所述各网络抽象层单元中的相同数据按照优先级参数p的大小排序写入子码流的相应位置具体包括：

如果当前NAL单元类型是参数集NAL，则将NAL头部和参数数据按照优先级参数p的大小写入排序后关键层码流的相应位置；

如果当前NAL单元类型是条带NAL，则将NAL头部和条带头部按照优先级参数p的大小写入排序后关键层码流的相应位置；

再按照顺序对条带NAL每一个宏块层数据进行判断，如果宏块层数据是I类型，将宏块类型、帧内预测类型数据按照优先级参数p的大小写入排序后关键层码流的相应位置；将帧内预测残差数据按照优先级参数p的大小写入排序后补充层码流的相应位置；如果宏块层数据不是I类型，将宏块类型、帧间预测类型数据按照优先级参数p的大小写入排序后关键层码流的相应位置；将帧间预测残差数据按照优先级参数p的大小写入排序后补充层码流的相应位置；

35)判断所述子码流的所有访问单元是否已写入子码流的相应位置，若否则转步骤31)，若是则输出已排序的由关键层码流和补充层组成的重新排序的可伸缩视频码流的子码流。

本发明提出的适用于正交频分复用(OFDM)保护的H.264/SVC码流重组方法实施例，结合各附图，详细说明本实施例包括以下步骤：

1)可伸缩视频编码：对输入的原始视频进行可伸缩视频编码，得到编码后的可伸缩码流；

本实施例的原始视频输入序列可以是摄像机采集的视频序列，也可以是在计算机中存储的yuv视频序列等位编码的视频序列。对于原始视频序列进行采集，可以利用公知的可伸缩视频编码标准的参考程序jsvm提供的编码器进行编码，得到的输出码流即编码后的可伸缩视频码流。

2)码流提取：对所述可伸缩视码流进行提取，得到可伸缩视频编码的子码流；

对于可伸缩码流的提取可以采用公知的可伸缩视频编码的参考程序jsvm中提供的码流提取程序进行提取，输出即为可伸缩码流的子码流；

3)码流重排序：对所述可伸缩码流的子码流利用优先度参数大小和数据类型顺序把所有数据重新排序，得到重新排序后的可伸缩视频码流的子码流；

本步骤为本发明的区别技术特征，其输入为上一步骤得到的可伸缩视频码流子码流，经过本步骤重排序后输出为按照重要性递减排序的重排码流。

上述步骤3)的实施例的具体流程如图4所示，包括以下步骤：

假设待排序的子码流由若干网络抽象层单元组成，分别记作NAL1、NAL2、NAL3……其中，NAL1、NAL2和NAL3属于访问单元AU1，NAL4、NAL5和NAL6属于访问单元AU2……以此类推。对该码流进行重排序的实施方法如下：

31)从码流中顺序读入NAL直到当前AU全部读入。首先读入的是NAL1；判断当前AU1中仍然有NAL未读入，则继续读入NAL2；判断当前AU1中仍然有NAL未读入，则继续读入NAL3。判断当前AU1中全部NAL都已经读入，则进入下一步；

32)判断每一个NAL单元类型，通过读取各NAL的头部信息得到NAL1是参数集NAL，NAL2和NAL3是条带NAL；

33)计算缓冲区中所有NAL的优先级参数p，当前AU1包含三个NAL，分别是NAL1、NAL2和NAL3，则分别计算它们的优先级参数p，计算方法如下：

对于参数集NAL，p＝-1；

否则p＝temporal_id*p1+dependency_id*p2+quality_id*p3

其中，temporal_id，dependency_id和quality_id是可伸缩视频编码标准中的参数，保存在网络抽象层单元的头部中；计算p时所用到的权系数p1，p2和p3需要满足p1＞p3且p2＞p3。

本实施例中，可以令p1＝5，p2＝10，p3＝1；

计算NAL1的优先级参数p，通过读取NAL1的头部信息得到它是参数集NAL，则p＝-1；

计算NAL2的优先级参数p，通过读取NAL2的头部信息得到temporal_id＝0，dependecy_id＝0，quality_id＝0，则p＝0；

计算NAL3的优先级参数p，通过读取NAL3的头部信息得到temporal_id＝0，dependecy_id＝1，quality_id＝0，则p＝10；

NAL1、NAL2和NAL3的优先度参数p都计算完毕后，进入下一步；

34)已知NAL1是参数集NAL，其结构如图2a所示，由网络抽象层单元头部(NAL Header)和参数集数据(Parameter Set)。则将NAL1的NAL Header写入图3a所示的关键层码流的NAL Header部分中；将NAL1的Parameter Set写入图3a所示的关键层码流的ParameterSet部分中；转步骤37)；

35)已知NAL2和NAL3的类型是条带NAL，其结构如图2b所示，由NAL头部数据(NALHeaader)、条带头部数据(Slice Header)和宏块层数据(MB Layer)组成。则将NAL2和NAL3的NAL Heaader写入图3a所示的关键层码流的NAL Header部分，由于之前计算的NAL1、NAL2和NAL3的优先度参数p分别为-1、0和10，所以它们的NAL头部数据在图3a中NAL Header部分中的排序按照p从小到大的顺序排列，分别为NAL1、NAL2到NAL3；再将NAL2和NAL3的Slice Header写入图3a所示关键层码流的Slice Header部分，同样按照优先度参数p从小到大的顺序，先写NAL2的条带头，再写NAL3的条带头；

36)由于NAL2和NAL3的类型是条带NAL，所以依次循环处理它们中所有的宏块层(MBLayer)。对于其中的I宏块，其结构如图2c所示，由宏块类型数据(MB Type)、帧内预测类型数据(I_Prediction Data)、帧内残差数据(I_Residual)组成，将MB Type和I_Prediction Data分别写入图3a所示的关键层码流的宏块类型(MB Type)和帧内预测类型(I_P Data)部分，将I_Residual写入图3b所示的补充层码流的帧内残差(I_Residual)部分；对于其中的非I宏块，其结构如图2d所示，由宏块类型数据(MB Type)、预测类型数据(Other_Prediction Data)和残差数据(Other_Residual)组成，将MB Type和Other_Prediction Data分别写入图3a所示的关键层码流的宏块类型(MB Type)和预测类型(O_P Data)部分，将Other_Residual写入图3b所示的补充层码流的残差数据(O_Residual)部分；

在本步骤中，写入各类数据时，对于分别来自NAL2和NAL3的相同类型数据，由于NAL2的优先度参数p小于NAL3的优先度参数p，所以NAL2的数据都写在NAL3的数据之前；

37)转31)进行AU2中NAL单元码流的重排序，其方法和32)至36)所述相同，不再累述，直到所有访问单元生排序完成，得到重新排序后的可伸缩视频码流的子码流。

以上流程实现了本发明所设计的针对可伸缩视频编码的码流重排功能。

4)OFDM调制：对所述重排序码流进行OFDM调制，输出在信道上不同频段中传输的信号；

对传输信道特性进行分析，按照信道衰落高低将信道划分为不同子频段，利用OFDM技术将排序后的可伸缩视频编码子码流按照顺序优先填充到信道衰落最小的子频段中进行传输。

Claims (5)

1、一种适用于正交频分复用保护的H.264/SVC码流重组方法，该方法包含以下步骤：

1)对输入的原始视频进行可伸缩视频编码，得到编码后的可伸缩码流；

2)对所述可伸缩码流进行提取，得到可伸缩视频编码的子码流；

3)对所述可伸缩视频编码的子码流的所有数据利用优先级参数大小和数据类型顺序重新排序，得到重新排序后的可伸缩视频码流的子码流；

4)对所述重排序后的可伸缩视频码流的子码流进行OFDM调制，输出在信道上不同频段中传输的信号。

2、如权利要求1所述方法，其特征在于，所述步骤3)中所述对子码流重排序包括将待排序的子码流分为多个访问单元，每个访问单元由多个网络抽象层单元组成；具体包括以下步骤：

31)按照顺序从所述子码流中将一个访问单元的全部网络抽象层单元读入缓冲区；

32)通过读取各网络抽象层单元的头部信息判断当前访问单元中所有网络抽象层单元的类型；

33)根据网络抽象层单元的类型计算缓冲区中当前访问单元的每一个网络抽象层单元的优先级参数p；

34)将所述各网络抽象层单元中的相同数据按照优先级参数p从小到大的排序写入排序后子码流的相应位置；

35)判断所述子码流的所有访问单元是否已写入关键层码流的相应位置，若否则转步骤31)，若是则输出已重新排序的可伸缩视频码流的子码流。

3、如权利要求2所述的方法，其特征在于，所述步骤32)中网络抽象层单元的类型包括参数集网络抽象层单元和条带网络抽象层单元两种类型。

4、如权利要求3所述的方法，其特征在于，所述步骤33)根据网络抽象层单元的类型计算缓冲区中当前访问单元的每一个网络抽象层单元的优先级参数p的方法为；

对于参数集网络抽象层单元，p＝-1；

否则p＝temporal_id*p1+dependency_id*p2+quality_id*p3

其中，temporal_id，dependency_id和quality_id是可伸缩视频编码标准中的参数，保存在该网络抽象层单元的头部中；p1，p2和p3均为计算p时所用到的权系数，且满足p1＞p3且p2＞p3。

5、如权利要求3所述的方法，其特征在于，所述步骤34)中所述排序后的子码流分为关键层码流和补充层码流，所述将所述各网络抽象层单元中的相同数据按照优先级参数p从小到大的排序写入排序后子码流的相应位置；具体包括：

如果当前NAL单元类型是参数集NAL，则将NAL头部和参数数据按照优先级参数p的大小写入排序后关键层码流的相应位置；

如果当前NAL单元类型是条带NAL，则将NAL头部和条带头部按照优先级参数p的大小写入排序后关键层码流的相应位置；

再按照顺序对条带NAL每一个宏块层数据进行判断，如果宏块层数据是I类型，将宏块类型、帧内预测类型数据按照优先级参数p的大小写入排序后关键层码流的相应位置；将帧内预测残差数据按照优先级参数p的大小写入排序后补充层码流的相应位置；如果宏块层数据不是I类型，将宏块类型、帧间预测类型数据按照优先级参数p的大小写入排序后关键层码流的相应位置；将帧间预测残差数据按照优先级参数p的大小写入排序后补充层码流的相应位置。

Images