CN103402119A

CN103402119A - 一种面向传输的svc码流提取方法及系统

Info

Publication number: CN103402119A
Application number: CN2013103063455A
Authority: CN
Inventors: 何震宇; 史梦龙; 李鑫; 薛鸿杰; 胡文毅; 葛百根
Original assignee: Shenzhen Graduate School Harbin Institute of Technology
Current assignee: Shenzhen Graduate School Harbin Institute of Technology
Priority date: 2013-07-19
Filing date: 2013-07-19
Publication date: 2013-11-20
Anticipated expiration: 2033-07-19
Also published as: CN103402119B

Abstract

本发明提供了一种面向传输的SVC码流提取方法及系统，根据各个可伸缩增强层的效用函数曲线进行比较，选择增长最快的提取点进行提取，形成提取路径，以此来接近目标码率，当达到目标码率或其范围后则停止。本发明采用基于效用函数的方式，对各增强层进行效用函数转换，通过效用函数，比较各层对视频的影响。在此基础上，根据效用函数曲率的变化(曲线拐点)，按照一定规则选取最优的增强层进行提取，此过程持续进行直到当前码流的码率符合目标码率。实验表明，本发明提出的方法来确定三个增强层之间的提取路径比JSVM的基本提取方法更加有效，同时简化了提取过程。可以在充分利用当前可用带宽的情况下，提供尽可能好的视频质量。

Description

一种面向传输的SVC码流提取方法及系统

技术领域

本发明涉及网络视频应用领域，尤其涉及一种面向传输的SVC码流提取方法及系统。

背景技术

随着网络通信技术的发展和多媒体视频编码技术的不断成熟，网络视频应用越来越受到人们的青睐。目前越来越多的视频应用已经有原来面向存储转而向面向传输演变，如网络电视，视频电话，远程教育等等。而如何在异构的网络环境下同时对不同终端用户提供个性化的服务，是网络视频应用所面临的新挑战。

发明内容

为了解决现有技术中的问题，本发明提供了一种面向传输的SVC码流提取方法。

本发明提供了一种面向传输的SVC码流提取方法，利用SVC编码器生成SVC视频源，发送端接收到视频请求时根据当前网络带宽和设备描述信息确定目标码流的码率；根据各个可伸缩增强层的效用函数曲线进行比较，选择增长最快的提取点进行提取，形成提取路径，以此来接近目标码率，当达到目标码率或其范围后则停止；所述可伸缩增强层包括时间层、空间层、质量层。

作为本发明的进一步改进，质量层的效用函数：根据质量层可伸缩性的定义，采用峰值信噪比对其进行量化；

时间层和空间层的效用函数：根据时间层和空间层可伸缩性的定义，由于时间层和空间层不会影响视频的峰值信噪比，所以将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数；

提取路径的寻找方法：对三种可伸缩增强层的效用函数曲线进行分析，计算各个提取点处的二阶导数，根据二阶导数值选择可伸缩层进行提升。

作为本发明的进一步改进，在所述质量层上，采用中等粒度可伸缩的编码方式。

作为本发明的进一步改进，将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数，对于时间层的帧率可伸缩，其空间分辨率是固定的，每秒钟像素点数目有帧率决定；对于空间层的分辨率可伸缩，其帧率是固定的，每秒钟的像素点数目由分辨率决定。

作为本发明的进一步改进，在所述提取路径的寻找方法中，根据已有的三个可伸缩增强层的效用函数，根据提取点处计算出的二阶导数分析效用函数曲线的凹凸性，比较各可伸缩增强层提升后对视频影响的效果，选择性的提取某一增强层的码流，得到提取路径。

本发明还提供了一种面向传输的SVC码流提取系统，包括：

SVC编码器，用于生成SVC视频源；

发送端单元，用于接收到视频请求时根据当前网络带宽和设备描述信息确定目标码流的码率；

码流提取单元，用于根据各个可伸缩增强层的效用函数曲线进行比较，选择增长最快的提取点进行提取，形成提取路径，以此来接近目标码率，当达到目标码率或其范围后则停止；所述可伸缩增强层包括时间层、空间层、质量层。

作为本发明的进一步改进，在所述码流提取单元中，质量层的效用函数：根据质量层可伸缩性的定义，采用峰值信噪比对其进行量化；时间层和空间层的效用函数：根据时间层和空间层可伸缩性的定义，由于时间层和空间层不会影响视频的峰值信噪比，所以将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数；提取路径的寻找方法：对三种可伸缩增强层的效用函数曲线进行分析，计算各个提取点处的二阶导数，根据二阶导数值选择可伸缩层进行提升。

本发明的有益效果是：本发明采用基于效用函数的方式，对各增强层进行效用函数转换，通过效用函数，比较各层对视频的影响。在此基础上，根据效用函数曲率的变化(曲线拐点)，按照一定规则选取最优的增强层进行提取，此过程持续进行直到当前码流的码率符合目标码率。实验表明，本发明提出的方法来确定三个增强层之间的提取路径比JSVM的基本提取方法更加有效，同时简化了提取过程。可以在充分利用当前可用带宽的情况下，提供尽可能好的视频质量。

附图说明

图1是本发明的原理框图。

图2是本发明的按不同路径提取码流示意图。

图3是本发明的质量可伸缩曲线示意图。

图4是本发明的空间可伸缩曲线示意图。

图5是本发明的时间可伸缩曲线示意图。

图6是本发明的码流提取流程示意图。

具体实施方式

可伸缩视频编码作为解决背景技术中问题的有力工具受到了广泛关注。

在可伸缩视频编码应用中，为了适应多样的终端和多变的网络，编码后的视频文件应该能够根据具体的需要进行提取，即可以选取原始视频文件中的部分码流进行传输和解码，以提供对终端和网络的自适应性。这种自适应性至少包含三个方面：

1）对终端计算能力的自适应性，即可以根据终端的计算能力选取相应解码复杂度的码流进行传输，使终端能够实时解码播放接收到的视频、

2）对终端显示能力的自适应性，同样该视频编码方案能够根据终端的显示能力（直观理解为屏幕大小）选取相应的码流进行传输，终端在接收到相应码流后可以解码出与显示能力相匹配的视频。

3）多网络的自适应性，即该视频编码方案生成的码流应该能够根据当前网络的性能（尤其是网络带宽）选取相应的码流进行传输，保证选取的码流即不超出当前网络的传输能力，又充分利用的当前网络的可用带宽。

可伸缩视频编码对视频进行分级编码，生成码流具有时间维、质量维、空间维等多个维度的可伸缩特性，因此能够根据不同的需求合理选择编码码流，实现可伸缩传输，即实现对终端和网络的自适应性。

可伸缩视频编码方案生成的码流在时间维、质量维、空间维等多个维度分为多个层次，具有多个提取点，因此可以根据终端和网络的具体情况抽取合适的视频码流进行传输，此处的码流提取是指在一定的限制条件下（表现为终端计算、显示能力，网络传输能力等的限制）选取合适的码流。码流提取的过程需要在特定的规则之下进行，同时依据该规则对选取的码流进行等级划分，发送端所选码流既要保证符合当前应用的限制条件，又要保证选取的码流能够提供尽可能好的视频服务质量。

如图1所示，本发明公开了一种面向传输的SVC码流提取方法，利用SVC编码器生成SVC视频源，发送端接收到视频请求时根据当前网络带宽和设备描述信息确定目标码流的码率；根据各个可伸缩增强层的效用函数曲线进行比较，选择增长最快的提取点进行提取，形成提取路径，以此来接近目标码率，当达到目标码率或其范围后则停止；所述可伸缩增强层包括时间层、空间层、质量层。

质量层的效用函数：根据质量层可伸缩性的定义，采用峰值信噪比对其进行量化；

在所述质量层上，采用中等粒度可伸缩的编码方式。

将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数，对于时间层的帧率可伸缩，其空间分辨率是固定的，每秒钟像素点数目有帧率决定；对于空间层的分辨率可伸缩，其帧率是固定的，每秒钟的像素点数目由分辨率决定。

在所述提取路径的寻找方法中，根据已有的三个可伸缩增强层的效用函数，根据提取点处计算出的二阶导数分析效用函数曲线的凹凸性，比较各可伸缩增强层提升后对视频影响的效果，选择性的提取某一增强层的码流，得到提取路径。

SVC使用(D,T,Q)作为可伸缩编码层的索引,其中D、T、Q分别是空间、时间、质量层的位置(索引)。可知(0,0,0)表示最低空间、时间、质量层，(D*,T*,Q*)是最高空间、时间、质量层。同时SVC还用到了priority_id，表明了一个NAL单元的综合优先级。

NAL单元是H264/SVC码流的基本结构，SVC码流由一系列的NAL单元组成。

如图2所示,是当(D*,T*,Q*)=(1,2,1)时,从(0,0,0)出发到(D*,T*,Q*)的提取过程,每一个(D,T,Q)对应于图中一个状态(state),所有状态分成若干个阶段(stage)。如图中所示,当(D*,T*,Q*)=(1,2,1)时,可以分成五个阶段:stage0和stage4分别是(0,0,0)和(1,2,1)，stage1包括(0,0,1),(0,1,0),(1,0,0)，stage2包括(0,1,1),(1,1,0),(1,0,1),(0,2,0)，stage3包括(1,1,1)，(0,2,1)，(1,2,0)。那么，提取过程可以看作是从Stage0到stage4选择相应的状态，为了保证子码流也完全可伸缩,从一个阶段到下一个阶段的切换过程中，需要保持两种可伸缩类型不变，一种可伸缩类型增加一个层。假设每个状态是一个节点(Node),节点之间可能的切换构成了边(Edge)，沿着节点和边从(0,0,0)更新到(D*,T*,Q*)的完整过程为一条提取路径(Path)。那么,对于(D*,T*,Q*)=(1,2,1)的情况，存在12个节点，20条边，12条路径。而对于D*,T*,Q*取值更大的情况下，存在的节点更多，可能的提取路径也更多。如何选择提取路径则是一个现实的技术问题。本发明通过效用函数，对三个可伸缩增强层进行量化，并依据一定的算法确定提取路径。

效用函数确定方法：

典型的效用函数的曲线应该是凹的并且单调非降，而效用水平的评价可以是客观的也可以是主观的，当然，客观是首选。在视频研究领域，通常采用峰值信噪比(PSNR)作为视频质量的评价。在可伸缩视频编码(SVC)中，同样也采用PSNR作为质量增强层的评价。同时SVC在质量增强层上提供了粗粒度可伸缩编码(CGS)和中等粒度可伸缩编码(MGS)。由于MSG比CGS具有更多的提取点，所以源视频使用MGS的方式，并对变换系数进行划分，作为质量增强层的编码方式。质量增强层的效用函数曲线如图3所示。y轴的PSNR水平作为效用值，x轴的码率作为变量。

PSNR与质量层相关，但是和时间层和空间层并不相关。空间层的提升并不会对PSNR产生影响，而是对每一帧的大小有影响，使得像素数的增加。时间增强层同样和PSNR不想关，时间层的提升会使得视频播放的更流畅，但不会增强或减弱PSNR水平，它可以解释成一定时间内，用户可以获得的像素数目的增加。

基于以上，我们可以将时间可伸缩和空间可伸缩简单的映射成每秒钟像素点的数目。当然，每个效用函数具有不同的度量，并不能用来进行直接比较。这里将采用一定的算法分别考虑到每个函数。

空间可伸缩和时间可伸缩性，可通过使用以下公式建模：

nps_spatlal=10×log(H×V×fps) (1)

nps_temporal=10×log(H×V×fps) (2)

nps_spatial和np_temporal表示每秒钟的像素数目，H和V分别表示水平像素数和垂直像素数，fps表示帧率。(1)中，fps是固定值，而(2)中，H和V是固定值。由于人的感知并不遵循线性刻度，而是对数刻度，所以函数中使用对数的形式。如图4和5，分别是空间可伸缩曲线和时间可伸缩曲线。

基于效用函数的提取方法：

我们已知三个效用函数相互独立，由图3,4,5可知，除了空间层之外，另外两个增强层的效用函数都有很多拐点（曲线凹凸性发生变化）。由于凸函数相比于凹函数会更早达到某一效用水平，所以跟踪曲线的凸部将更效率。曲线的拐点可根据其二阶导数获得，二阶导为正，表明斜率增加，反之亦然。因此，可根据二阶导数的值，决定首先提升哪一个增强层。不过在图2中，每一个曲线都只有一个二阶导数而且为负，在这种情况下，提升一层空间层即可（从QCIF到CIF）。例如从QCIF分辨率(176x144)提升到CIF分辨率（352x288）。

此外，在多数情况下，提升空间层之后，所有的MGS质量层需要依赖它的基本层进行层间预测。所以，根据这种特性可将三个函数之间的比较变成两个函数之间的比较：当质量层不是最高时，只考虑质量层和时间层；当质量层为最高时，只考虑时间层和空间层。如果在比较中，两边均为正，可根据实现的定义或任意提升一层即可。相反，两边均为负时，则选择更先遇到导数为正的那一方进行提升。整个提取过程是单调增加的，在算法流程中，除了空间层增加时质量层降到最低之外，已经提升过的增强层不会降低。根据这点，可以通过对SVC码流中NAL单元的优先级标识（priority_id）句法元素进行赋值，作为提取优先级，将空间层标识和时间层标识包含其中。

综上，当信道的带宽确定后，通过上述方法可以快速确定符合带宽码率的提取点，具体流程如图6所示，在图6中，开始从每个提取路径上提取码流，得到如图3、4、5的曲线信息，然后获取三个增强层上提取点的二阶导数值；从第一个提取点(空间层，时间层，质量层都处于最底层)开始进行判断，先判断质量层是否最高(一般刚开始质量层肯定不是最高的)，如果质量层不是最高，将质量层与时间层进行对比，反之，将空间层和时间层对比；如果对比双方都阻塞(到达曲线顶点)，则在下一条曲线上寻找下一个二阶导数大于等于0的点；若没阻塞，则选取二阶导数为正的一方提升，或者按照预先定义的进行提升，直到流程结束。

本发明还公开了一种面向传输的SVC码流提取系统，包括：

SVC编码器，用于生成SVC视频源；

在所述码流提取单元中，质量层的效用函数：根据质量层可伸缩性的定义，采用峰值信噪比对其进行量化；时间层和空间层的效用函数：根据时间层和空间层可伸缩性的定义，由于时间层和空间层不会影响视频的峰值信噪比，所以将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数；提取路径的寻找方法：对三种可伸缩增强层的效用函数曲线进行分析，计算各个提取点处的二阶导数，根据二阶导数值选择可伸缩层进行提升。

在所述质量层上，采用中等粒度可伸缩的编码方式。

本发明的技术效果是：本发明采用基于效用函数的方式，对各增强层进行效用函数转换，通过效用函数，比较各层对视频的影响。在此基础上，根据效用函数曲率的变化(曲线拐点)，按照一定规则选取最优的增强层进行提取，此过程持续进行直到当前码流的码率符合目标码率。实验表明，本发明提出的方法来确定三个增强层之间的提取路径比JSVM的基本提取方法更加有效，同时简化了提取过程。可以在充分利用当前可用带宽的情况下，提供尽可能好的视频质量。

JSVM(Joint Scalable Video Model),是SVC的参考代码，主要用来实现可分级视频编码　简单地说就是把视频序列分成不同的部分并赋予不同的等级进行编码。

SVC(Scalable Video Coding),可伸缩视频编码，提供了时间、空间、质量三个层次的可伸缩分级策略。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种面向传输的SVC码流提取方法，其特征在于：

利用SVC编码器生成SVC视频源，发送端接收到视频请求时根据当前网络带宽和设备描述信息确定目标码流的码率；根据各个可伸缩增强层的效用函数曲线进行比较，选择增长最快的提取点进行提取，形成提取路径，以此来接近目标码率，当达到目标码率或其范围后则停止；所述可伸缩增强层包括时间层、空间层、质量层。

2.根据权利要求1所述的SVC码流提取方法，其特征在于，

3.根据权利要求1所述的SVC码流提取方法，其特征在于，在所述质量层上，采用中等粒度可伸缩的编码方式。

4.根据权利要求2所述的SVC码流提取方法，其特征在于，将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数，对于时间层的帧率可伸缩，其空间分辨率是固定的，每秒钟像素点数目有帧率决定；对于空间层的分辨率可伸缩，其帧率是固定的，每秒钟的像素点数目由分辨率决定。

5.根据权利要求2所述的SVC码流提取方法，其特征在于，在所述提取路径的寻找方法中，根据已有的三个可伸缩增强层的效用函数，根据提取点处计算出的二阶导数分析效用函数曲线的凹凸性，比较各可伸缩增强层提升后对视频影响的效果，选择性的提取某一增强层的码流，得到提取路径。

6.一种面向传输的SVC码流提取系统，其特征在于，包括：

SVC编码器，用于生成SVC视频源；

7.根据权利要求6所述的SVC码流提取系统，其特征在于，在所述码流提取单元中，质量层的效用函数：根据质量层可伸缩性的定义，采用峰值信噪比对其进行量化；时间层和空间层的效用函数：根据时间层和空间层可伸缩性的定义，由于时间层和空间层不会影响视频的峰值信噪比，所以将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数；提取路径的寻找方法：对三种可伸缩增强层的效用函数曲线进行分析，计算各个提取点处的二阶导数，根据二阶导数值选择可伸缩层进行提升。

8.根据权利要求6所述的SVC码流提取系统，其特征在于，在所述质量层上，采用中等粒度可伸缩的编码方式。

9.根据权利要求7所述的SVC码流提取系统，其特征在于，将时间层的帧率可伸缩和空间层的分辨率可伸缩性统一映射成为每秒钟的像素点数，对于时间层的帧率可伸缩，其空间分辨率是固定的，每秒钟像素点数目有帧率决定；对于空间层的分辨率可伸缩，其帧率是固定的，每秒钟的像素点数目由分辨率决定。

10.根据权利要求7所述的SVC码流提取系统，其特征在于，在所述提取路径的寻找方法中，根据已有的三个可伸缩增强层的效用函数，根据提取点处计算出的二阶导数分析效用函数曲线的凹凸性，比较各可伸缩增强层提升后对视频影响的效果，选择性的提取某一增强层的码流，得到提取路径。