CN101119483A

CN101119483A - 一种基于源质量的视频流传输速率调整方法

Info

Publication number: CN101119483A
Application number: CN 200610100907
Authority: CN
Inventors: 孙文彦; 王巍; 杨胤嗣; 康小剑; 谢刚
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2006-07-31
Filing date: 2006-07-31
Publication date: 2008-02-06
Anticipated expiration: 2026-07-31
Also published as: CN101119483B

Abstract

本发明提出了一种基于源质量的视频流传输速率调整方法，包括：根据之前预定时间内的网络传输码率以及当前的发送码率，确定是上调传输质量还是下调传输质量；根据源视频的质量属性，在源视频可容忍的调整范围内顺序进行至少一个维度的传输速率调整；每完成一个维度的传输速率调整时，判断调整后的视频流传输速率是否满足传输质量要求；当满足传输质量要求时，结束视频流传输速率调整；在完成各个维度的传输速率调整之后，结束视频流传输速率调整。

Description

一种基于源质量的视频流传输速率调整方法

技术领域

本发明属于计算机技术领域，涉及一种根据源视频的属性、动态调整视频编码传输质量的视频流传输速率调整方法。

背景技术

在无线环境中传输视音频文件(流)时，由于无线环境不稳定的原因，无法提供平滑稳定的传输带宽，造成突发丢包和由于带宽突然降低而导致的网络传输延迟大幅度增加。在这种情况下，传输文件或媒体流的码率越大，传输延迟就越大。解决丢包的方法是增加冗余编码，解决延迟的方法是在监测到网络环境差的情况下，降低传输的媒体质量，从而减少传输的数据量；同时在网络环境好的情况下，提高传输的媒体质量。

当前的无线环境中视频的研究多分为两种，一种基于ARQ(自动重传请求)的传输方法，一种是基于FEC(前向纠错)的编码传输方法。这些研究在改善无线传输质量的同时，通过网络反馈来调整媒体质量，使得网络延迟与丢包对质量的影响降低，常见的方法是根据获得的延迟，进行媒体编码传输码率的调整。

这些解决方案的缺陷在于调整媒体质量时没有考虑到与原始媒体质量的关系，如果不考虑原始的媒体格式、媒体码率、媒体分辨率等内容，而单纯调整媒体的码率会造成最终传输播放的媒体质量的失真。事实上，不同格式不同原始码率的媒体对调整范围都有不同的限制；比如，同样码率的原格式为REAL的媒体与同样码率原格式WMV的媒体在转码为MPEG流时，可调整的码率范围不同。

基于上述分析，本发明设计了一种基于质量的视频流传输速率调整方法。本发明与现有解决方案不同之处在于：本发明统一考虑视频的质量，在动态质量调整时考虑源视频的质量属性，按照优先级进行逐步的调整。

发明内容

本发明提出一种基于源视频质量的视频编码传输方法，此方法的中心思想是在利用网络反馈调整媒体编码传输质量时，进行基于源媒体质量的编码传输质量调整。

根据本发明的第一方案，提出了一种基于源质量的视频流传输速率调整方法，包括：根据之前预定时间内的网络传输码率以及当前的发送码率，确定是上调传输质量还是下调传输质量；根据源视频的质量属性，在源视频可容忍的调整范围内顺序进行至少一个维度的传输速率调整；每完成一个维度的传输速率调整时，判断调整后的视频流传输速率是否满足传输质量要求；当满足传输质量要求时，结束视频流传输速率调整；在完成各个维度的传输速率调整之后，结束视频流传输速率调整。

根据本发明的第二方案，提出了一种基于源质量的视频流传输速率调整装置，包括：调整控制模块，用于控制视频流传输速率调整装置的整体操作；码率调整计算模块，用于根据源视频的质量属性，对视频流进行码率调整；帧率调整计算模块，用于根据源视频的质量属性，对视频流进行帧率调整；和分辨率调整计算模块，用于根据源视频的质量属性，对视频流进行分辨率率调整，其中：调整控制模块根据之前预定时间内的网络传输码率以及当前的发送码率，确定是上调传输质量还是下调传输质量；调整控制模块调用码率调整计算模块、帧率调整计算模块和分辨率调整计算模块中的至少一个，由所调用的模块根据源视频的质量属性，在源视频可容忍的调整范围内顺序进行至少一个维度的传输速率调整；每当所调用的模块完成一个维度的传输速率调整时，调整控制模块判断调整后的视频流传输速率是否满足传输质量要求；当满足传输质量要求时，调整控制模块结束视频流传输速率调整；以及在完成各个维度的传输速率调整之后，调整控制模块结束视频流传输速率调整。

首先，本发明的调整原则是：基于源媒体的质量属性，在源媒体可容忍的调整范围内进行多维度调整的质量调整，调整的维度包括：码率、帧率和分辨率。对于每个维度都有相关的源视频质量调整表(码率调整表、帧率调整表和分辨率调整表)作为调整的参考基础。

这三种维度的调整优先级别划分原则是：在下调媒体质量时，按照对源媒体质量的影响程度，首先调整帧率，其次调整码率，最后调整分辨率；在上调媒体质量时，首先调整码率，其次调整分辨率，而对帧率不做调整。基于上述的原则，本发明提出了基于源质量的视频质量的调整方法。

本发明与现有方法相比，优势在于：本发明在进行视频质量调整时，参考源视频质量，在源视频可以接受的范围内进行多参数的调整，保证了调整后视频质量的可以接受性。

附图说明

下面将参照附图，对本发明的优选实施例进行详细的描述，其中：

图1是示出了根据本发明实施例的整体方案系统方框图；

图2是示出了根据本发明的主要内容质量调整模块的内部结构方框图；

图3是示出了根据本发明的基于质量的调整方法的流程图；

图4是用于本发明的码率调整表；

图5是用于本发明的帧率调整表；以及

图6是用于本发明的分辨率率调整表。

具体实施方式

下面结合附图说明本发明的具体实施方式。应该指出，所描述的实施例仅是为了说明的目的，而不是对本发明范围的限制。所描述的各种数值并非用于限定本发明，这些数值可以根据本领域普通技术人员的需要进行任何适当的修改。

图1是示出了本发明的整个应用方案实施系统方框图。在服务端100和客户端200之间，建立RTP/RTCP连接，传输媒体流。这里的服务端100和客户端200可以部署在不同的PC、笔记本、嵌入式终端设备上。服务端100和客户端200的具体组成如下。

服务端100包含下列组件。

源文件/流的读取模块101完成源文件或者流的读取；

转码(编码)器102负责对从源文件/流的读取模块101获得的媒体流进行转码(编码)操作，输出编码的媒体流(如mpeg媒体流)；

媒体流打包模块103负责打包编码的媒体流，将生成的媒体包传递给RTP/RTCP服务端模块104；

RTP/RTCP服务端模块104负责将媒体包打包为RTP包，发送到客户端200，发送RTCP包到客户端200，调用FEC编码模块105，以及利用从客户端200接收到的RTCP包获得当前网络的丢包以及传输延迟等信息，并将这些信息传递给网络统计模块106；

FEC编码模块105负责进行FEC冗余编码，根据输入的RTP包，生成对应的FEC包；

网络统计模块106负责统计计算一段时间之内的网络延迟和丢包情况，并决定当前需要的传输码率；

基于源的质量调整模块107根据网络统计模块106输入的当前需要的传输码率，并根据源媒体的质量特性，决定质量调整的流程，并调用转码(编码)控制模块108进行编码码率以及分辨率调整，设置媒体打包模块103，进行帧率调整；

转码(编码)控制模块108控制转码(编码)流的播放，以及转码(编码)参数的调整，包括：码率、分辨率等参数。

客户端200包含下面组件：

控制器201负责控制RTP/RTCP客户端模块202和播放器模块204；

RTP/RTCP客户端模块202负责接收服务端100发送的RTP包和RTCP包，并且发送RTCP包到服务端100，同时，调用FEC译码模块203，以及将解包后的媒体传递给播放器模块204；

FEC译码模块203根据收到的FEC包恢复丢失的RTP包；

播放器模块204负责解码播放媒体流。

图2是根据本发明的基于源的质量调整模块107的内部结构方框图。

基于源的质量调整模块107包含调整控制模块1071、码率调整计算模块1072、帧率调整计算模块1073和分辨率调整计算模块1074。

调整控制模块1071负责整个质量调整模块107的调整流程，即调用码率调整计算模块1072、帧率调整计算模块1073和分辨率调整计算模块1074完成质量调整过程。

码率调整计算模块1072包含一个码率调整表(图4)，并根据此表进行码率调整计算处理；

帧率调整计算模块1073包含一个帧率调整表(图5)，并根据此表进行帧率调整计算处理；

分辨率调整计算模块1074包含一个分辨率调整表(图6)，并根据此表进行分辨率调整计算处理。

图4到图6是用于本发明的调整表，并不包括所有可调整的范围，在实施时，如果有新的格式、新的范围，可以根据实施的需要将新的内容添加到表中。

参考图4，码率调整表包含：源媒体格式、源码率范围(上限，下限)、可调整范围(上限，下限)。

参考图5，帧率调整表包含：源媒体格式、源帧率范围(上限，下限)、可调整范围(上限，下限)。

参考图6，分辨率调整表包含：源媒体格式、源分辨率范围(上限，下限)、可调整范围(上限，下限)。

上述三个表可以以文件或表、数组方式保存，保存格式不限。

例如，除了图4所示的表格之外，也可以用xml文件来描述码率调整表：

</sourceRate>

</DestRate>

对于帧率调整表和分辨率调整表，也是如此。

图3是由基于源的质量调整模块107进行质量调整的操作流程。

在步骤S200，根据本发明的质量调整处理开始。在步骤S202，根据之前预定时间内的网络传输码率以及当前的发送码率，判断调整要求是上调质量还是下调质量。如果是下调，转步骤S204。在步骤S204，调用帧率调整模块1073计算可以下调的帧率。在步骤S206，判断计算调整后的质量是否满足下调的需要，如果满足(步骤S206中的“是”)，转步骤S220(结束步骤)，否则(步骤S206中的“否”)，转步骤S208。在步骤S208，调用码率调整模块1072计算可以下调的码率，计算完成后，转步骤S210。在步骤S210，判断计算调整后的质量是否满足下调的要求，如满足(步骤S210中的“是”)，转步骤S220(结束步骤)，否则(步骤S210中的“否”)，转步骤S212。在步骤S212，调用分辨率调整模块1074计算可以下调的分辨率，计算完成后，转步骤S220。在步骤S220，记录计算得到的调整的码率、帧率、分辨率值，结束根据本发明的质量下调处理。

如果在步骤S202中判断调整要求是上调，则在步骤S214，调用码率调整模块1072计算可以上调的码率。然后，在步骤S216，判断计算调整后的质量是否满足上调的需要，如果满足(步骤S216中的“是”)，转步骤S220(结束步骤)，否则(步骤S216中的“否”)，转步骤S218。在步骤S218，调用分辨率调整模块1074计算可以上调的分辨率，计算完成后，转步骤S220。在步骤S220，记录计算得到的调整的码率、帧率、分辨率值，结束根据本发明的质量上调处理。

最后所应说明的是：以上实施例仅仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于源质量的视频流传输速率调整方法，包括：

根据之前预定时间内的网络传输码率以及当前的发送码率，确定是上调传输质量还是下调传输质量；

根据源视频的质量属性，在源视频可容忍的调整范围内顺序进行至少一个维度的传输速率调整；

每完成一个维度的传输速率调整时，判断调整后的视频流传输速率是否满足传输质量要求；

当满足传输质量要求时，结束视频流传输速率调整；

在完成各个维度的传输速率调整之后，结束视频流传输速率调整。

2.根据权利要求1所述的基于源质量的视频流传输速率调整方法，其特征在于所述源视频的质量属性是源视频的格式。

3.根据权利要求2所述的基于源质量的视频流传输速率调整方法，其特征在于所述源视频的格式包括：REAL格式、MPEG1、MPEG2PS格式、MPEG2TS格式、DIVX格式、XVID格式、H.264格式、MPEG4格式、WMV格式。

4.根据权利要求3所述的基于源质量的视频流传输速率调整方法，其特征在于针对各个格式，建立所述至少一个维度的可容忍调整范围表格。

5.根据权利要求1所述的基于源质量的视频流传输速率调整方法，其特征在于所述至少一个维度包括：码率、帧率和分辨率中的至少一个。

6.根据权利要求5所述的基于源质量的视频流传输速率调整方法，其特征在于当确定上调传输质量时，顺序进行码率调整和分辨率调整。

7.根据权利要求5所述的基于源质量的视频流传输速率调整方法，其特征在于当确定下调传输质量时，顺序进行帧率调整、码率调整和分辨率调整。

8.一种基于源质量的视频流传输速率调整装置，包括：

调整控制模块，用于控制视频流传输速率调整装置的整体操作；

码率调整计算模块，用于根据源视频的质量属性，对视频流进行码率调整；

帧率调整计算模块，用于根据源视频的质量属性，对视频流进行帧率调整；和

分辨率调整计算模块，用于根据源视频的质量属性，对视频流进行分辨率率调整，

其中：

调整控制模块根据之前预定时间内的网络传输码率以及当前的发送码率，确定是上调传输质量还是下调传输质量；

调整控制模块调用码率调整计算模块、帧率调整计算模块和分辨率调整计算模块中的至少一个，由所调用的模块根据源视频的质量属性，在源视频可容忍的调整范围内顺序进行至少一个维度的传输速率调整；

每当所调用的模块完成一个维度的传输速率调整时，调整控制模块判断调整后的视频流传输速率是否满足传输质量要求；

当满足传输质量要求时，调整控制模块结束视频流传输速率调整；以及

在完成各个维度的传输速率调整之后，调整控制模块结束视频流传输速率调整。

9.根据权利要求8所述的基于源质量的视频流传输速率调整装置，其特征在于所述源视频的质量属性是源视频的格式。

10.根据权利要求9所述的基于源质量的视频流传输速率调整装置，其特征在于所述源视频的格式包括：REAL格式、MPEG1、MPEG2PS格式、MPEG2TS格式、DIVX格式、XVID格式、H.264格式、MPEG4格式、WMV格式。

11.根据权利要求10所述的基于源质量的视频流传输速率调整装置，其特征在于针对各个格式，建立所述至少一个维度的可容忍调整范围表格。

12.根据权利要求8所述的基于源质量的视频流传输速率调整装置，其特征在于当调整控制模块确定上调传输质量时，调整控制模块顺序调用码率调整计算模块和分辨率调整计算模块。

13.根据权利要求8所述的基于源质量的视频流传输速率调整方法，其特征在于当调整控制模块确定下调传输质量时，调整控制模块顺序调用帧率调整计算模块、码率调整计算模块和分辨率调整计算模块。