CN107027052B - Svc视频自适应降帧率的方法及系统 - Google Patents

Abstract

本发明提供了一种SVC视频自适应降帧率的方法及系统，包括如下步骤：SVC视频码流缓存步骤：将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；码流处理步骤：通过码流处理模块从队列中取出图像帧，以码流处理模块的实际处理速度，实现自适应降帧率；其中，所述码流处理模块包括：网络传输模块、图像解码模块中的任一种；本发明中的方法能够在网络传输带宽不足或解码性能不足时，能自动降低图像帧率。

Description

SVC视频自适应降帧率的方法及系统

技术领域

本发明涉及网络多媒体通信和视频播放技术领域，具体地，涉及SVC视频自适应降帧率的方法及系统。

背景技术

SVC，即Scaled Video Coding，可分层视频编解码，是一种能将视频流分割为多个分辨率、质量和帧速率层的技术。SVC编码的视频可以实现一次编码产生具有不同帧率、分辨率的视频压缩码流，以适应不同网络带宽、不同的显示屏幕和终端解码能力的应用需求。在视频会议、视频实时监控等领域要求视频图像流畅和低延迟。而不良的网络环境常常导致图像卡顿和延时加大。一旦发生网络丢帧，则一般会丢到下一个图像关键帧I帧，故图像卡顿现象严重。

本发明提出了一种针对帧率的自适应降帧率的方法，以适应不同的网络带宽和终端解码能力。本发明使用随机丢弃某些图像帧的方法，主动降低码流，避免网络拥堵，能实现视频传输的低延迟。同时由于不同于丢到下个I帧的传统方法，允许随机丢帧某些P帧，故在视觉上图像的流畅性大大优于丢到下个I帧的方法。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种SVC视频自适应降帧率的方法及系统。

根据本发明提供的SVC视频自适应降帧率的方法，包括如下步骤：

SVC视频码流缓存步骤：将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；

码流处理步骤：通过码流处理模块从队列中提取出图像帧，以码流处理模块的实际处理速度进行自适应降帧率。

优选地，所述SVC视频码流缓存步骤包括：根据SVC视频码流的帧率类型分别对每一个图像帧进行编号，图像帧的编号的取值由该图像帧被包含的时域层数决定；若一图像帧被n个时域层包含，则该图像帧的编号t的计算公式如下：

t＝M-n；

式中：t表示图像帧编号，M表示SVC视频码流的帧率类型总数，n表示图像帧被包含的时域层数。

优选地，所述码流处理步骤包括：

步骤A1：根据SVC视频码流的帧率类型数建立M个队列，分别记为：Q₀、…、Q_i、…、Q_M-1；Q_i表示第i+1个队列，Q_M-1表示第M个队列；

步骤A2：将视频帧编号t＝i的图像帧放入第i+1个队列Q_i，且Q_i队列内部的各个图像帧按照SVC视频码流顺序组成链表；其中i＝0,1,2…M-1；

步骤A3：按优先级从队列中提取出图像帧。

优选地，所述步骤A3包括：

步骤A3.1：出队列任务方等待帧的入队列信号，若收到帧入队列信号，从队列Q₀开始扫描每个队列，尝试出队列操作，将当前队列记为Qn，则初始时刻的n＝0；

步骤A3.2：从当前队列Qn中取出一图像帧并发送给图像帧处理模块，图像帧处理模块通过原始码流的链表指针向前遍历原始码流链表，删除当前取出的帧的之前的所有图像帧，并将这些帧从队列中去除；其中，在图像帧内部数据块在入队时已保存了一个原始码流的链表指针，通过该链表指针指针向前遍历原始码流链表；

步骤A3.3：判断n的值；

若n的值小于M，则判断当前队列Qn是否为空，若当前队列Qn为空，则令n自增1后返回执行步骤A3.2；若当前队列Qn非空，则返回执行步骤A3.1；

若n的值大于等于M，则返回等待执行步骤A3.1。

优选地，所述码流处理模块包括：网络传输模块、图像解码模块中的任一种。

根据本发明提供的SVC视频自适应降帧率的系统，包括：SVC视频码流缓存模块和码流处理模块；

所述SVC视频码流缓存模块，用于将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；

所述码流处理模块，用于从队列中提取出图像帧，以码流处理模块的实际处理速度进行自适应降帧率。

优选地，所述SVC视频码流缓存模块能够根据SVC视频码流的帧率类型分别对每一个图像帧进行编号，图像帧的编号的取值由该图像帧被包含的时域层数决定；若一图像帧被n个时域层包含，则该图像帧的编号t的计算公式如下：

t＝N-n；

式中：t表示图像帧编号，N表示SVC视频码流的帧率类型总数，n表示图像帧被包含的时域层数。

优选地，所述码流处理模块包括：

队列建立模块：用于根据SVC视频码流的帧率类型数建立N个队列，分别记为：Q₁、…、Q_i、…、Q_N；Q_i表示第i个队列，Q_N表示第N个队列；

图像帧缓存模块：用于将视频帧编号t＝i的图像帧放入第i个队列Q_i，且Q_i队列内部的各个图像帧按照SVC视频码流顺序组成链表；其中i＝1,2,3…N；同时在图像帧内部数据块保存一个指针，指向原始码流的上一帧，形成原始码流的链表；

图像帧提取模块：用于按优先级从队列中提取出图像帧。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的SVC视频自适应降帧率的方法能够在网络传输带宽不足或解码性能不足时，能自动降低图像帧率。

2、本发明提供的SVC视频自适应降帧率的方法的优选方案，能够在图像帧的处理模块的处理速度足够快时，队列中的图像帧不会有堆积现象发生，图像帧进入队列后立即会被取出。当图像帧的处理模块的处理速度小于图像帧的入队速度，则会在队列中积累多个图像帧，出队列的操作会优先取出t值低的队列，并通过原始码流链表指针丢弃图像帧，降低帧率。丢帧操作能保证从队列取出的图像帧依次形成正确的运动图像参考关系，能保证所有出队列的帧能被正确的解码。实现了不同于丢到下个I帧的传统方法，允许随机丢帧某些P帧，在视觉上图像的流畅性大大优于丢到下个I帧的方法。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为SVC视频帧编码示意图；

图2为SVC视频帧队列提出示意图；

图3为SVC视频帧队列出队列操作流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的SVC视频自适应降帧率的方法，包括如下步骤：

SVC视频码流缓存步骤：将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；

码流处理步骤：通过码流处理模块从队列中提取出图像帧，以码流处理模块的实际处理速度进行自适应降帧率。

所述步骤1包括：根据SVC视频码流的帧率类型分别对每一个图像帧进行编号，图像帧的编号的取值由该图像帧被包含的时域层数决定；若一图像帧被n个时域层包含，则该图像帧的编号t的计算公式如下：

t＝N-n；

式中：t表示图像帧编号，N表示SVC视频码流的帧率类型总数，n表示图像帧被包含的时域层数。

所述步骤2中的码流处理模块包括：网络传输模块、图像解码模块中的任一种。

所述步骤2包括：

步骤2.1：根据SVC视频码流的帧率类型数建立N个队列，分别记为：Q₁、…、Q_i、…、Q_N；Q_i表示第i个队列，Q_N表示第N个队列；

步骤2.2：将视频帧编号t＝i的图像帧放入第i个队列Q_i，且Q_i队列内部的各个图像帧按照SVC视频码流顺序组成链表；其中i＝0,1,2…N；

步骤2.3：按优先级从帧队列中取出图像帧。

所述步骤2.3包括：

步骤2.3.1：出队列任务方等待帧的入队列信号，若收到帧入队列信号，从队列开始扫描每个队列，尝试出队列操作，将当前队列记为Qn，则初始时刻的n＝0；

步骤2.3.2：从当前队列Qn中取出一图像帧并发送给图像帧处理模块，码流处理模块通过原始码流的链表指针向前遍历原始码流链表，将所有遇到的图像帧从当前所属的队列中删除并丢弃；

步骤2.3.3：判断n的值；

若n的值小于M，其中M的值等于N，则判断当前队列Qn是否为空，若当前队列Qn为空，则令n自增1后返回执行步骤2.3.2；若当前队列Qn非空，则返回执行步骤2.3.1；

若n的值大于等于M，则判断当前队列Qn是否为空，若当前队列Qn为空，则返回等待执行步骤2.3.1。

下面结合具体实施例对本发明中的技术方案做更详细的说明。

首先对帧进行编号，其次按帧的编号将图像帧分别放入队列，最后按优先级从帧队列中取出图像帧。

步骤S1：对帧进行编号

以一个包含四种帧率的SVC码流为例，它包含的帧率类型有：全帧率、1/2帧率、1/4帧率、全I帧，四种帧率。对每个帧进行编号，编号定义为t。t的取值由该帧被多少个时域层所包含所决定，设该帧被n个时域层包含，则该帧的编号t＝4-n。

按照图1的参考关系可获得如下的时域层的码流：

全帧率：

Sfull＝{I₀,P₁,P₂,P₃,P₄,P₅,P₆,P₇,P₈,P₉,P₁₀,P₁₁,I₁₂,...}

1/2帧率：

S1/2＝{I₀,P₂,P₄,P₆,P₈,P₁₀,I₁₂,...}

1/4帧率：

S1/4＝{I₀,P₄,P₈,I₁₂,...}

全I帧：

SI＝{I₀,I₁₂,...}

按照公式t＝4-n，可得出：

I₀∈Sfull且I₀∈S1/2且I₀∈S1/4且I₀∈SI，I₀被4个时域层包含，n＝4，故I₀的t＝0；

P₁∈Sfull，P₁被1个时域层包含，n＝1，故P₁的t＝3；

P₂∈Sfull且I₀∈S1/2，P2被2个时域层包含，n＝2，故P₂的t＝2；

P₃∈Sfull，P₃被1个时域层包含，n＝1，故P₃的t＝3；

P₄∈Sfull且P₄∈S1/2且P₄∈S1/4，P₄被3个时域层包含，n＝3，故P₄的t＝1。

步骤S2：按帧的编号将图像帧分别放入队列

如图2所示，创建4个队列：Q₀，Q₁，Q₂，Q₃，对于即将入队列的每一帧，按该帧的t值分别放入对应的队列。t＝0的帧放入Q₀，t＝1的帧放入Q₁，t＝2的帧放入Q₂，t＝3的帧放入Q₃。Q₀，Q₁，Q₂各队列内部的各帧组成链表，且入队列后的各帧按照原始码流顺序组成链表。

步骤S3：按优先级从帧队列中取出图像帧

取出图像帧的方法为：

出队列任务方等待帧的入队列信号，若收到帧入队列信号，从Q₀开始扫描每个队列，尝试出队列操作，此时当前队列Qn的n＝0。

从当前队列Qn中取出一帧，然后交给图像帧处理模块(网络发送或解码模块)，图像帧处理模块处理完毕后，通过该图像帧的原始码流链表指针，向前遍历原始码流链表，若遇到图像帧则将其从队列中删除并丢弃。循环操作，直到当前队列Qn为空，然后n+1，将Qn+1作为当前队列。

重复步骤S2的操作，直到所有队列都为空，然后重复步骤S1的操作，进入等待状态。

自适应降帧率的操作发生在步骤S2中，当图像帧的处理模块的处理速度足够快时，队列中的图像帧不会有堆积现象发生，图像帧进入队列后立即会被取出。当图像帧的处理模块的处理速度小于图像帧的入队速度，则会在队列中积累多个图像帧，出队列的操作会优先取出t值低的队列，并通过原始码流链表指针丢弃图像帧，降低帧率。丢帧操作能保证从队列取出的图像帧依次形成正确的运动图像参考关系，能保证所有出队列的帧能被正确的解码。实现了不同于丢到下个I帧的传统方法，允许随机丢帧某些P帧，在视觉上图像的流畅性大大优于丢到下个I帧的方法。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种SVC视频自适应降帧率的方法，其特征在于，包括如下步骤：

SVC视频码流缓存步骤：将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；

码流处理步骤：通过码流处理模块从队列中提取出图像帧，以码流处理模块的实际处理速度进行自适应降帧率；

所述码流处理步骤包括：

步骤A1：根据SVC视频码流的帧率类型数建立M个队列，分别记为：Q₀、…、Q_i、…、Q_M-1；Q_i表示第i+1个队列，Q_M-1表示第M个队列；

步骤A2：将视频帧编号t＝i的图像帧放入第i+1个队列Q_i，且Q_i队列内部的各个图像帧按照SVC视频码流顺序组成链表；其中i＝0,1,2…M-1；

步骤A3：按优先级从队列中提取出图像帧；

所述步骤A3包括：

步骤A3.1：出队列任务方等待帧的入队列信号，若收到帧入队列信号，从队列Q₀开始扫描每个队列，尝试出队列操作，将当前队列记为Qn，则初始时刻的n＝0；

步骤A3.2：从当前队列Qn中取出一图像帧并发送给图像帧处理模块，图像帧处理模块通过原始码流的链表指针向前遍历原始码流链表，删除当前取出的帧的之前的所有图像帧，并将这些帧从队列中去除；其中，在图像帧内部数据块在入队时已保存了一个原始码流的链表指针，通过该链表指针向前遍历原始码流链表；

步骤A3.3：判断n的值；

若n的值小于M，则判断当前队列Qn是否为空，若当前队列Qn为空，则令n自增1后返回执行步骤A3.2；若当前队列Qn非空，则返回执行步骤A3.1；

若n的值大于等于M，则返回等待执行步骤A3.1。

2.根据权利要求1所述的SVC视频自适应降帧率的方法，其特征在于，所述SVC视频码流缓存步骤包括：根据SVC视频码流的帧率类型分别对每一个图像帧进行编号，图像帧的编号的取值由该图像帧被包含的时域层数决定；若一图像帧被n个时域层包含，则该图像帧的编号t的计算公式如下：

t＝M-n；

式中：t表示图像帧编号，M表示SVC视频码流的帧率类型总数，n表示图像帧被包含的时域层数。

3.根据权利要求1或2所述的SVC视频自适应降帧率的方法，其特征在于，所述码流处理模块包括：网络传输模块、图像解码模块中的任一种。

4.一种SVC视频自适应降帧率的系统，其特征在于，包括：SVC视频码流缓存模块和码流处理模块；

所述SVC视频码流缓存模块，用于将SVC视频码流的各个图像帧按所属的SVC时域层进行编号，并按编号将图像帧放入不同的队列；

所述码流处理模块，用于从队列中提取出图像帧，以码流处理模块的实际处理速度进行自适应降帧率；

所述码流处理模块包括：

队列建立模块：用于根据SVC视频码流的帧率类型数建立N个队列，分别记为：Q₁、…、Q_i、…、Q_N；Q_i表示第i个队列，Q_N表示第N个队列；

图像帧缓存模块：用于将视频帧编号t＝i的图像帧放入第i个队列Q_i，且Q_i队列内部的各个图像帧按照SVC视频码流顺序组成链表；其中i＝1,2,3…N；同时在图像帧内部数据块保存一个指针，指向原始码流的上一帧，形成原始码流的链表；

图像帧提取模块：用于按优先级从队列中提取出图像帧；

所述图像帧提取模块包括：

子模块A3.1：出队列任务方等待帧的入队列信号，若收到帧入队列信号，从队列Q₀开始扫描每个队列，尝试出队列操作，将当前队列记为Qn，则初始时刻的n＝0；

子模块A3.2：从当前队列Qn中取出一图像帧并发送给图像帧处理模块，图像帧处理模块通过原始码流的链表指针向前遍历原始码流链表，删除当前取出的帧的之前的所有图像帧，并将这些帧从队列中去除；其中，在图像帧内部数据块在入队时已保存了一个原始码流的链表指针，通过该链表指针向前遍历原始码流链表；

子模块A3.3：判断n的值；

若n的值小于M，则判断当前队列Qn是否为空，若当前队列Qn为空，则令n自增1后返回子模块A3.2执行；若当前队列Qn非空，则返回子模块A3.1执行；

若n的值大于等于M，则返回等待子模块A3.1执行。

5.根据权利要求4所述的SVC视频自适应降帧率的系统，其特征在于，所述SVC视频码流缓存模块能够根据SVC视频码流的帧率类型分别对每一个图像帧进行编号，图像帧的编号的取值由该图像帧被包含的时域层数决定；若一图像帧被n个时域层包含，则该图像帧的编号t的计算公式如下：

t＝N-n；

式中：t表示图像帧编号，N表示SVC视频码流的帧率类型总数，n表示图像帧被包含的时域层数。