CN1538309A

CN1538309A - 一种基于优先级调度的非均匀多媒体流传输调度方法

Info

Publication number: CN1538309A
Application number: CNA031508081A
Authority: CN
Inventors: 竺红卫
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-09-02
Filing date: 2003-09-02
Publication date: 2004-10-20
Anticipated expiration: 2023-09-02
Also published as: CN100412832C

Abstract

本发明公开了一种网络数据传输方法，旨在提供一种基于优先级调度的非均匀多媒体流传输调度方法。该方法包括对各种多媒体流信息特征加以分析后分为音频流、图形图像信息流和视频流三类，以及为每一类多媒体流建立一个发送序列；对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区，并根据前述多媒体流发送序列进行传输调度。本发明利用有效多媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；而且根据各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度，保证高优先级媒体的顺畅传输与表现。

Description

一种基于优先级调度的非均匀多媒体流传输调度方法

技术领域

本发明涉及一种网络数据传输方法，更具体地说，本发明涉及一种基于优先级调度的非均匀多媒体流传输调度方法。

背景技术

在Internet传输信息中包含大量的多媒体信息，如数据、文本、图形、图象、音频、视频等；而从信息传输的方式可分为下载方式与流方式。流媒体传输是指：在Internet/Intranet中使用流式传输技术的连续时基媒体，如：音频、视频或多媒体文件。流式媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放，只是在开始时有一些延迟。流媒体实现的关键技术就是流式传输。实现流式传输有两种方法：实时流式传输(Realtime streaming)和顺序流式传输(progressive streaming)。

流媒体技术的特点：首先，流媒体技术利用压缩编码技术，将视音频数据压缩成较小流量的数据包；其次，在媒体流传输过程中，利用缓冲技术，首先在客户端预载一段媒体资料；在播放过程的同时连续下载资料，这样防止由于网络流量不均衡而导致的媒体播放抖动、延迟等问题。

流媒体技术避免了预先下载完整媒体材料而花费的等待时间，以及存储整个媒体材料所需的庞大存储容量。目前，随着宽带Internet网的建设，流媒体这种技术已得到越来越广泛的应用，大量地应用在在线点播、网络视频会议等领域。

由于目前网络设备带宽的限制，对于普通Internet网用户，即使是宽带，流媒体技术还无法传输均匀清晰的视频画面。但利用媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；以及利用各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度的方法未见运用。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于优先级调度的非均匀多媒体流传输调度方法。

为了解决上述技术问题，本发明是通过以下技术方案实现的：

对多媒体流进行多媒体流信息管理，其中所述的多媒体流信息管理包括对各种多媒体流信息特征加以分析后分为音频流、图形图像信息流和视频流三类，以及为每一类多媒体流建立一个发送序列；

对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区、并根据前述多媒体流发送序列进行传输调度。

与现有技术相比，本发明的有益效果是：

本发明利用有效多媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；而且根据各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度，保证高优先级媒体的顺畅传输与表现。针对录制与播放过程相分离的多媒体流节目，从流媒体接受者角度对原始媒体流进行剪辑，从而可获得包含有效信息的流节目源。该节目的多媒体流在时间上分布是不均匀的、确定的，通过将多媒体信息按优先级进行分类，保证音频、图形图像等高优先级媒体流的完整传输，同时根据传输带宽动态调度，适应宽带、拨号等不同的网络媒介，实现清晰视频流的最大有效传输。

附图说明

图1为本发明中一个实施例的媒体资料处理全过程框图。

图2为本发明中一个实施例的多媒体带宽分布图。

图3为本发明中一个实施例的传输控制过程的图示。

图4为本发明中一个实施例在分布式远程教育服务网络运用结构图。

图5为本发明中一个实施例在用户服务中应用的流程图。

具体实施方式

参考附图，下面将结合一个实施例对本发明进行详细描述。

如图1所示，分析流媒体资料制作与播放整个过程，可以表示如下：

原始信号采集：除听觉资料外，人们视觉交流的方式既可通过视频信号采集，也可通过预先制作的一般图形、图像，以及人们在相关数字化输入设备上的点击、书写笔迹所产生的时变图形。通常，对于现场实时要求高的转播类媒体，或是实时交互通信中，由于无法预知未来时段信息的流量及信息组成情况，媒体无法进行有效的剪辑，只是按时间顺序简单地复合成多媒体信息，例如实时新闻的转播，交互视频会议。但是，对于在线非现场实时转播的多媒体信息流，或实时要求不高的交互通信，如远程教育、面向非连接的网络通信等，在媒体执行播放服务之前，有充分时间对多媒体信息进行观察、剪辑、复合，从而可统计分析媒体流在整个播放时段上的流量变化过程，或是一段相当长时间的媒体信息流量变化过程，允许在剪辑、复合时设定相应的传输控制标记，在实际播放传输过程中实现优化调度，充分利用网络带宽，达到有限带宽的最佳播放效果。

根据人们感知信息流的受体来分，可分为视觉和听觉两部分，而在多媒体信息流中，一般只允许一个音频流的存在，否则会导致声音的混乱；对于视觉部分，可以有图形、图像、视频等多种信息流存在，但是根据人们注意力的特点，在一个时间点或片断内，人们只能接受一种或只需接受一种视觉媒体。根据具体媒体应用场合特点，可以将在某一时段内最适合表现内容的视觉媒体信息进行传输，而忽略或延迟次要媒体流的传输。

分析各种多媒体信息特征，可获得它们各自的传输特点：

第一类主要是音频流：连续数据，不可丢弃，传输时不可延迟。音频流在播放过程中的丢失会导致理解的缺失或混乱，而且在演播中时间基准不可压缩，即不能将较长时间的音频流在较短时间内演播，于是，必须在演播时间点之前将该时间片断音频信息传输到演播客户端，否则只能暂停整个媒体的演播。该类媒体具有最高的传输优先级。

第二类主要是图形、图像等信息：间歇性数据，不可丢弃，传输可延迟。通信双方或信息受体接收图形、图像信息，该类信息的丢失会导致理解上的困难，但它们的演播在时间基准上是可压缩的，即允许快速播放，实际上很多场合，图形、图像的演播是与时基无关的，因而它们可以在某个滞后的时间段内传输到达即可。

第三类主要是视频流：间歇性数据，可丢弃。通过摄像机拍摄的视频场景是渐变的，人类具有通过跳跃场景猜想事件完整过程的能力。为了传达信息的目的，并非需要在时间上连续完整的视频信息。在剪辑、复合时，可对视频信息进行观察，如同电影蒙太奇的镜头剪辑方法，保留关键片断，通过与图形、图像的组合，既保证片段视频片断的清晰、连贯，又保证有效视频信息的传递。

以上三类媒体信息，从信息流量上也具有各自特点：音频流信息具有较大流量，具有最高优先级，在不同时间流量较平衡；图形图像信息类信息流量最小，具有一般优先级，但流量是突变的；视频流信息流量最大，具有最低优先级。实现多媒体信息传输控制就是针对这三类信息的组合优化传输调度。

调度方法步骤详细描述：

如图2，W为网络总带宽，X为音频流流量变化曲线，Y为图形图像信息媒体流量变化曲线，Z为视频流流量变化曲线。为简化起见，这里假设W为稳定流量带宽，X为均匀流量媒体，即媒体流量为常数；Y，Z为流量大小变化媒体。设图形图像信息类媒体允许最大延迟为T_lim ited。为了调度方便，假设系统为欠载情形，即：

∫W(t)dt＜∫X(t)dt+∫Y(t)dt+∫Z(t)dt

同时，为了保证音频流与图形图像信息媒体的传输，网络流量必需保证：

∫W(t)dt≥∫X(t)dt+∫Y(t)dt

从三个媒体流队列的特点分析，每个队列数据包传输要求：

音频流队列中每个数据包要求在起始播放时刻前传输完成；图形图像信息流队列中每个数据包要求在起始播放时刻之后T_lim ited内传输完，允许延迟播放，同时保证音频流队列的传输，当数据包延迟到达时，可以快速播放；视频流要保证音频流、图形图像信息流传输。

在服务端为每一类媒体流独立建立发送流排队序列，分别为音频流、图形图像信息流、视频流，数据包按时间顺序先后排列，对音频流，按相等时间间隔划分数据包；对图形图象流及视频流，因为是间歇性非连续流，将时间上连续的数据构成一数据包，媒体发送流队列是由以上数据包节点构成的FIFO队列。

在客户端分别建立对应于每一发送队列的独立缓冲区，其中音频缓冲区大小是按固定时间长度设定的缓冲区，可由用户根据客户端存储容量、网络带宽及拥塞状况调整决定；对于音频数据缓冲区，设缓冲区按音频时长计算容量为T_buf，为了保证音频数据的流畅播放，音频缓冲区中应保存有一定长度的音频数据，以保证因为网络拥塞导致数据传输暂时停顿时音频的正常播放，假设该最小音频数据时间长度为T_min buf，一般的，可设T_min buf＝T_buf/2。

图形图像缓冲区及视频缓冲区为动态申请容量缓冲，根据实际数据量调整存储分配空间，以保证调度后传输数据保存在缓冲区中。

设以单位时间片长度T传输音频、图形图象数据，建立下列传输调度流程：

首先建立初始传输缓冲区：传送t＝0到t＝T_lim ited内音频流中数据；

在之后时间里平行交替传输音频及图形图像数据，每一音频及图形、图像数据包时间片长度都为T，直到音频数据填满客户端音频数据缓冲区，统计音频、图形图像数据的汇总平均数据传输率V。

客户端开始播放节目，此时音频缓冲区中音频数据播放时间终点为T′。

在开始视频流数据包传输时，对网络传输带宽进行统计，并顺序搜索视频发送队列，如视频数据包播放时间起点为T″，数据包容量为C_video，设当前时刻为t，如满足条件：

①在视频数据包播放前保证数据包能完成传输，即

t+C_video/V＜T″

②数据包完成传输时，音频流缓冲区保存的数据时间长度不小于最小音频数据时间长度T_min buf，即

t+C_video/V＜T′-T_min buf

如果当前视频数据包符合上述条件，则选择传输，否则抛弃该视频数据包，顺序查找队列中下一视频数据包，直到到达队列末尾或找到符合条件的视频数据包。

在后续的时间中，如视频队列中没有符合条件的数据包，或者当前时刻音频流缓冲区保存的数据时间长度已小于或等于T_min buf，则转而交替进行音频、图形图象数据的传输，直到音频数据填满音频缓冲区；如果视频数据包传输完成时，音频缓冲区内保存数据时间长度仍大于最小音频数据时间长度，则继续进行视频数据包传输，直至音频数据缓冲区保存数据时间长度小于或等于最小音频数据时间长度。

图3中阴影区域为已完成传输数据，当前时间点t由虚线指示。

以上调度方法的思想实质是在顺序流式传输方式中，可以将多媒体信息流的传输与播放过程相分离，根据不同媒体具有的不同优先级别，保证优先级别高的媒体信息的准时传输，而在高优先级媒体传输的间隙传送低优先级媒体流，且实现低级别媒体信息的最大量传输。特别对于如远程教育等应用场合，由于低优先级视频流具有间歇性，通过上述调度算法，可以充分利用网络带宽，传输清晰视频图像，同时保证高优先级媒体的准时传输。

上述调度方法是针对单节目流，但可与通常的组播调度方法兼容。

图4是采用上述技术执行多媒体服务的远程教育系统结构。用户31、32、33、34为接受服务用机。其中网络300可以是Internet网或者局域网；中心管理服务器30执行用户登录、权限认证功能，同时是用户数据库服务器；与该中心服务器相联的多台媒体服务器37、38、39，负责用户多媒体流的传输服务；监控服务器35、36，负责用户服务计费等。

远程教育多媒体资料可分为音频，视频，图形、图象及其它OLE对象资源。其中：

音频，视频资料：为教师讲课语音及形象资料，通过录音、录像设备录制；

图形资料：为教师讲课板书，通过平板电脑(TabletPC)或书写板等数字化传感设备，经由录制软件按时间点定时记录笔位置，从而获得笔输入时基动作轨迹；

图象及其它OLE对象：由图形、图象处理设备和处理软件所制作资料，如PhotoShop、PowerPoint、Flash等，以OLE嵌入方式嵌入到显示表面；对于基于时基动作的OLE对象，利用各软件的调用接口，与OLE服务器通信而产生时基变化动作。

以上资料通过相关设备及软件支持记录到硬盘，再通过复合、剪辑软件复合成完整课程资料。

用户接受服务的过程可用图4来说明：首先，用户通过客户端程序登录中心服务器，通过数据库用户数据验证，进入服务态；用户选择有关的节目，经由中心服务器负荷平衡计算，指派为该用户提供媒体支持的媒体服务器；同时在运行监控服务器上建立计费、监控进程。一旦用户退出服务态或因为某种原因脱离网络，监控服务器通知中心服务器与媒体服务器，停止该用户的服务，并在中心数据库中更新有关的数据记录。

系统中视音频媒体服务器由Windows Media Service承担，管理视频、音频流的传输，由客户端程序发出传输请求命令；图形、图像服务器则由WindowsIIS服务器承担，以HTTP协议作传输协议。系统以动态方式调度，由客户端程序根据节目统计信息，由调度方法决策，向服务器提出申请，完成多媒体流的传输。

最后，还需要注意的是，以上列举的仅是本发明的具体实施例子。显然，本发明不限于以上实施例子，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1、一种基于优先级调度的非均匀多媒体流传输调度方法，包括：

对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区和根据前述多媒体流发送序列进行传输调度。

2、如权利要求1所述的方法，其特征在于所述发送序列为音频流优先于图形图像信息流，图形图像信息流又优先于视频流。

3、如权利要求1所述的方法，其特征在于所述建立传输缓冲区是在调度系统客户端实现的。

4、如权利要求1所述的方法，其特征在于所述传输缓冲区是对应于每一多媒体流发送队列分别建立的，其中音频流缓冲区大小是按时间长度设定的，由用户根据客户端内存容量、网络带宽与拥塞状况调整决定；图形图像缓冲区及视频缓冲区为动态申请容量缓冲区。

5、如权利要求1所述的方法，其特征在于所述根据多媒体流发送序列进行的传输调度包括：

在第一时间段内进行音频流数据包的传输，按相等时间间隔划分数据包，依次将这些数据包发送到客户端，传输音频数据总时间长度等于图形图象流允许的延迟时间；

在之后的时间段内按等时间长度平行交替进行音频流和图形图像信息流数据包的传输，实现客户端音频、图形图像缓冲区初始数据的建立。

6、如权利要求5所述的方法，其特征在于所述根据多媒体流发送序列进行的传输调度还包括：

当进行视频流数据包传输时，对网络传输带宽和视频流传输序列中数据包数据容量进行统计，如果视频流片断播放数据包在播放前能完成传输，并且该数据包完成传输时音频流缓冲区保存的数据时间长度不小于最小音频数据时间长度，则执行该传输任务；

如果不能在前述时间条件内完成视频流数据包的传输，则对下一个视频流传输序列中数据包数据容量进行统计，直至找到符合条件的数据包或视频流传输序列结束处为止；

如果视频数据包传输完成时，音频缓冲区内保存数据时间长度仍大于最小音频数据时间长度，则继续进行视频数据包传输，直至音频数据缓冲区保存数据时间长度小于或等于最小音频数据时间长度；

如果音频数据缓冲区保存数据时间长度小于或等于最小音频数据时间长度，则转而执行音频、图形图象数据传输，直到对应音频数据填满音频缓冲区。