CN1468002A - 基于因特网的流媒体压缩、传输与存贮系统 - Google Patents

Abstract

一种基于因特网的流媒体压缩、传输与存贮系统，其采用MPF格式文件，并分成基于MPEG－4的流媒体点播系统和基于MPEG－4的流媒体点播系统和基于MPEG－4的流媒体直播系统。本发明系统包括：一媒体数据源端、一服务器端和一接收终端；其中：该接收终端与服务器端以RTSP协议进行交互控制联结；而系统中的流媒体传输则执行RTP/RTCP通信协议；本发明的MPF格式文件，其符合ISO/IEC14496－2 simple和core profiles规范，MPF定义为同步媒体的统一容器文件格式，由一个段或多个段构成，分别存储媒体描述信息和媒体数据信息。本发明由于分别提供点播系统和直播系统，特别是提出了流转发技术和集群负载均衡技术，以及易于传输和处理的MPF格式文件，使整个系统具有播放效果好，实现难度低和可扩展性强。

Description

基于因特网的流媒体压缩、传输与存贮系统

技术领域

本发明涉及一种基于因特网实现流媒体压缩、传输与存贮的系统，具体地说，是基于MPEG-4的流媒体系统。

背景技术

互联网虽然给人们的生活带来了一场革命，但目前却主要是以传输静态的图文为主，当用它传送有声有色的多媒体信息，特别是电影、电视时，速度就显得太慢了，因此，必须使用流媒体技术才能实现在因特网上看电影。流媒体技术包括两个重要方面：适合网络传输的流媒体和网络交互控制技术。前者的目标是寻找可靠的编码算法，后者则是定义支持流媒体传输的网络协议。在目前MPEG-4是流媒体压缩的最佳算法。支持流媒体传输的网络协议通常选用RTSP，RTCP，RTP/UDP/IP等协议。在进行媒体数据打包传输时，如果采用MPEG-4系统流标准，运用DMIF(DeliveryMultimedia Integration Framework，多媒体传输综合框架)结构进行传输，整个系统将过于复杂，带宽开销也太大，而且国际上对这种传输方式也处于研究阶段，尚未实用化，特别是对于基于Internet网的低码率应用情况，这种方法是不合适的。

发明内容

如上所述，采用MPEG-4视频压缩标准，消除DMIF复杂的传输结构是本发明所要解决的技术问题，因此，本发明的目的在于，提供了一种简单而有效的MPEG-4数据组织格式和传输方式，来实现MPEG-4码流在Internet网中实时传输的流媒体系统。

本发明的技术方案如下：

根据本发明，提供一种基于MPEG-4的流媒体点播系统，包括：一媒体数据源端、一服务器端和一接收终端；其中：该接收终端与服务器端以RTSP协议进行交互控制联结；而系统中的流传输则执行RTP/RTCP通信协议；

所说的接收终端包括若干分立的客户端；

所说的媒体数据源端包括一MPF文件库、和分别与其连接的一文件格式转换器、一MPEG-4编码器，其中，该文件格式转换器将其他格式媒体文件转换成MPF格式文件送入该MPF文件库；该MPEG-4编码器则对原始媒体信息实时压缩生成并存储生成的MPF文件后将MPF文件送入该MPF文件库；由该MPF文件库向该服务器端通过网络以FTP包的形式送出MPF文件或MPF文件库直接与服务器端相连。

所说的服务器端包括一台流媒体服务器，其接收来自媒体数据源端送来的MPF文件，并与客户端以RTSP协议传输交互控制信息和以RTP/RTCP协议进行流媒体传输联结；或

所说的服务器端包括若干台流媒体服务器和分别与它们以IRDP协议相联结的一台集群控制服务器；接收终端中的一请求点播服务的客户端首先与该集群控制服务器以IRDP协议相互通信，然后该集群控制服务器与该等流媒体服务器以IRDP互相通信，运用负载均衡方法选择处于最佳服务状态的一台流媒体服务器，以重定向方式来该提出请求的客户端与该被选择的该台流媒体服务器，并以RTSP请求/响应方式通信和以RTP/RTCP协议进行媒体流传输，直接由该台流媒体服务器负责处理该客户端的点播请求。

根据本发明提供一种基于MPEG-4的流媒体直播系统，包括：一媒体数据源端、一服务器端和一接收终端；其中：该接收终端与服务器端以RTSP协议进行交互控制联结；而系统中流媒体的传输则以RTP/RTCP通信协议联结；

所说的接收终端包括若干分立的客户端；

所说的媒体数据源端包括依次联结的MPEG-4编码器和MPF文件库，并由该MPEG-4编码器提供实时媒体数据源，以RTP数据的形式传送给服务器端；该MPF文件库存储由MPEG-4编码器生成的MPF格式文件以供备用；

所说的MPEG-4编码器位于广播器或直播器中，来自该MPEG-4编码器的媒体数据采用RTP协议，以RTP数据包的形式传输到服务器端中的流媒体服务器；

在媒体数据源端与服务器端之间还设有一媒体流转发器，由广播器或直播器把视频流和音频流以RTP数据包形式传送给该媒体流转换器，再由其发给服务端中的流媒体服务器，最后，由流媒体服务器根据客户端的请求，按照点播方式“直播”给一具体客户端；

媒体数据端还可直接与具有网络组播条件的组播应用端以RTP协议联结；所说的组播应用端包括一流媒体服务器和与其以RTSP协议进行互控联结及以RTP/RTCP协议流传输联结的若干个客户端，广播器或直播器把MPEG-4编码器所提供的视频流和音频流以RTP数据包的形式传送给流媒体服务器，再由其传送给所说的该等客户端；

所说的服务器端包括一台流媒体服务器，其接收来自媒体数据源端送来的以RTP包形式的媒体数据，并与客户端以RTSP、RTP/RTCP协议联结；或

所述的服务器端包括若干台流媒体服务器和分别与它们以IRDP协议相联结的一台集群控制服务器而构成一个IRDP集群系统，其中该台集群控制器构成IRDP服务端，而该系统媒体服务器构成客户端，并以服务端/客户端模式工作，由客户端联结媒体数据源端与接收终端，并以RTP数据包的形式进行流媒体传输，由服务端与接收终端中的终端客户以IRDP请求/响应方式通信，确定负载均衡分配任务，即选择一台处于最佳负载状态的流媒体服务器来直接处理终端用户的请求，IRDP客户端定时自动提供负载性能列表给IRDP服务端，IRDP服务端接收终端用户请求，根据均衡策略，进行IP地址重定向处理，由选定的一台流媒体服务器，具体处理终端客户的请求。

根据本发明提供一种存放MPEG-4流媒体内容的MPF文件，其符合ISO/IEC 14496-2simple(简单)  和core profiles(核心档次)规范，MPF定义为同步媒体的统一容器文件格式其由一个段或多个段构成，分别存储媒体描述信息和媒体数据信息；

MPF中段的类型分为容器段和页段；

所说的媒体数据信息包括视频压缩数据和音频采样数据；

所说的媒体描述信息包括视频压缩格式、时间信息以及媒体数据位置索引；

所说的MPF容器类型段结构主要含有媒体数据段、媒体数据子段、视频段和音频段；以及

所说的MPF页段结构主要含有视频/音频帧索引段、视频/音频帧数据段和SDP(Session Description Protocol会话描述协议)段。

本发明的优点是，分别提供点播系统和直播系统，特别是提出了流转发技术和集群负载均衡技术，以及易于传输和处理的MPF文件格式，使整个系统具有流媒体播放效果好、实现难度低和可扩展性强等特点。

附图说明

图1是本发明的MPF流媒体点播系统示意图。

图2是本发明的MPF流媒体直播系统示意图。

图3是本发明的MPF文件的段结构示意图。

图4是本发明的MPF流媒体系统使用的MPF文件结构示意图。

具体实施方式

本发明的流媒体系统主要包括三个部分：媒体数据源端1，服务器端2和接收终端端3。下面分别以点播和直播两种应用为例进行详细的说明。其中流媒体的视频数据是采用MPEG-4编码技术，音频数据则是采用MPEG-1中的第三层音频压缩标准，即mp3技术。

在如图1所示的点播系统。此系统如上所述分成媒体数据源端1、服务器端2和客户端3等三大部分。点播的直接数据源是MPF文件库13，存放的MPF文件是基于MPEG-4编码的媒体文件。这些MPF文件的来源有两个：其一，转换器14把其他格式的媒体文件11转换为MPF文件格式并送入MPF文件库13；其二，通过MPEG-4编码器12实时压缩并存储成MPF文件(软件压缩或使用汉唐研制的压缩卡)送入MPF文件库13。在点播过程中，针对不同的应用场合，本系统采用不同的传输结构。在用户量较小的应用中，客户端31通过RSTP协议、RTP/RTCP协议与流媒体服务器21通信，完成点播过程；在用户量很大的场合，本系统采用了先进的服务器集群技术来解决大量媒体流的点播需求。客户端31首先与集群控制服务器22用IRDP协议相互通信，然后集群控制服务器22运用负载均衡策略选择处于“最佳服务器状态”的一台流媒体服务器21，接着该流媒体服务器21就负责客户端31的点播请求，这样完成整个点播过程。

在图2所示的直播系统中，其媒体数据源是来自实时的MPEG-4编码器12，这个编码器一般位于广播器或直播器中。这些来自MPEG-4编码器12的媒体数据采用RTP协议，以RTP数据包的形式传输到流媒体服务器21中或者以MPF文件格式存在MPF文件库13中以备后用。如果具备网络组播条件，那么流媒体服务器151就可以组播方式来播放媒体流，如图中的组播端15。如果实际的网络不支持组播，本发明则采用一种流转发技术来解决。广播器或直播器把视频流和音频流首先以RTP数据包的形式传给媒体流转发器14，然后在由媒体流转发器14转发给流媒体服务器21，最后由流媒体服务器21根据客户端的请求，按照点播方式直播给一具体客户端31。其中考虑到实际用户数量，本系统也可采用流媒体服务器集群来满足大量媒体流的直播，基本工作方式同上面点播中的流媒体服务器集群。

系统设计时采用的通信协议：客户端31与服务器端2的交互控制通信采用RTSP协议，流媒体传输采用了RTP/RTCP协议。采用这些标准协议，保证了系统的可扩充性。

这个系统主要有以下几项关键技术：

(1)MPF流媒体系统的流媒体的基础是MPEG-4压缩技术，压缩产生的媒体数据符合ISO/IEC 14496-2Simple和Core Profiles规范。本发明采用MPF文件格式来存放MPEG-4流媒体内容。MPF定义为同步媒体的统一容器文件格式，音频、视频、文本以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。

在MPF文件中，媒体描述信息和媒体数据信息是分别存储的，媒体描述信息包括视频压缩格式、时间信息以及媒体数据存储位置的索引等，媒体数据信息包括视频压缩数据、音频采样数据等。MPF由一个或者多个段(Section)组成，段是MPF文件的基本结构，段有两种类型：即容器段(Container Section)与页段(Leaf Section)，他们之间的关系如图3所示。

MPF媒体可以有许多不同类型的段，包括媒体、视频、音频、文本等。其中一些段包容其他的段。图4是MPF流媒体系统系统目前使用的MPF文件的段结构，主要包括媒体数据段，媒体数据子段，视频段，音频段，这些都是容器类型的段。而视频/音频帧索引段，视频/音频帧数据段，SDP(Session Description Protocol会话描述协议)段等则是页类型的段。视频帧段部分的数据是用MPEG-4编码技术编码的视频，具有极高的编码效率，能够适应各种应用场合的流媒体服务。而音频帧段部分的数据是采用mp3编码技术编码的音频。

采用MPF文件格式，主要有以下优点：

●容易扩充，用户可以方便地添加自定义的新段数据；

●检索速度快，由于采用这种树形格式，用户根据视频/音频帧索引段的数据可以很快地找到所需播放的媒体数据；

●易于编辑。

(2)服务器集群技术

这是针对本系统在大型VOD应用场合下的一种技术。主要是解决在单个流媒体服务器带宽和处理能力有限的情况下，采用具有负载均衡能力的服务器群，来满足大量的并发MPF流的需求。

(3)流转发技术

在网络直播的应用中，IP多播(Multicast)是一种带宽利用率很高的传输方式。但这方式的实现需要硬件的支持，而当前的互联网条件还不能全面支持(当然，可以加入Mbone，但其范围有限)。为此提出了流转发机制，即媒体数据源端的广播器或直播器通过媒体流转发器向指定的一个或多个流媒体服务器发送MPF流，该流的SDP(Session DescriptionProtocol)描述指明了流的性质(编码方式，帧速率等)，当客户端向流媒体服务器请求该MPF流时(通过点播SDP文件)，流媒体服务器则把接收的MPF流转发到该客户端，当新的客户请求同一流时，服务器只需把所接收的流复制一份分发给它，从而大大降低了服务器负担。

通常，由广播器或直播器生成描述此媒体数据流性质的SDP文件。SDP文件包含该实况流的目标IP地址与端口。目标IP地址定义客户的单目或多目连接。系统的客户端可以直接读取该SDP文件。当SDP文件里定义的是多目IP地址时，这时，如果客户端与广播器或直播器之间的路由器支持组播，客户端可以加入该组播组来收看实况流。当SDP文件里定义的是单目IP地址时，客户端就会连接至该IP地址来收看实况流(这时，广播器已把RTP包直接发送到该IP地址了，显然，客户端所在机器的IP地址应该就是SDP文件所指定的IP地址)。

如果要通过媒体流转发器转发广播器或直播器生成的实况流，广播器或直播器生成的SDP文件应当存放在流媒体服务器的影片目录里。

比如广播器生成的SDP文件为live.sdp，已经存放在流媒体服务器的影片目录里了，则系统的客户端可以通过“rtsp：//server.com/live”来收看“反射”的实况流。流媒体服务器收到以上RTSP请求后，它在影片目录里找到live.sdp文件，然后分析此文件，得到实况流的源IP地址与端口，然后与广播器建立连接，流媒体服务器与广播器建立关系的规则同上面所讲的客户端直接收看实况流的规则一致，我们这时可以把流媒体服务器理解为广播器的一个客户端。由此可知，该SDP文件中的IP地址应该指定为一个组播地址或者是流媒体服务器的单目IP地址。

找到源IP地址后，流媒体服务器绑定一些套接字到指定端口。如果指定的是组播地址，流媒体服务器加入该组播组。这时，这些套接字开始接收广播器发出的RTP包。

当收到客户端发出“Play”的RTSP请求时，流媒体服务器就把接收到的RTP包转发至客户端。当新的客户通过上述方式收看该实况流时，流媒体服务器只是把它接收到的RTP包再复制一份转发至新的客户端。所有的客户端与流媒体服务器断开连接后，流媒体服务器关闭源端的套接字，释放有关本次广播的所有资源。

由此可见，在多播条件不太具备的情况下，本系统的流转发技术是数字广播的有效解决方案。当然，在组播条件具备的情况下，MPF流媒体系统可以采用IP组播来进行数字广播。

(4)媒体流自适应传输技术

MPF流媒体系统支持以自适应方式传输视音频文件，可根据客户端不同的带宽，让传输的视音频数据信息自动适应实际的带宽，并始终以流畅的方式播放。

由于软件、设备、数据传输速度的不同，客户端的带宽也同样会有所不同。智能流技术确立了一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中；同时，采用一种复杂客户/服务器机制探测带宽变化。

在MPF流媒体系统中，媒体数据源端可将媒体数据压缩成具有不同质量和码率的流，生成可自适应传输的文件。当用户进行点播或收看直播时，同时会通过RTCP协议，以RTCP报告的形式将其带宽信息发送给流媒体服务器。收到用户请求的流媒体服务器同时得到用户的带宽信息，然后根据用户带宽确定文件中对应带宽的部分，把与请求对应的最高带宽的部分流传输到用户。这样用户就能获得最高的传输质量。此外，流媒体服务器还可以根据带宽的实时变化，自动调节流的速率。可参看与本发明同时申请的“基于因特网的多媒体流自适应传输方法”申请一案。

由以上几项关键技术实现的基于MPGE-4流媒体系统在实际应用中取得了良好的效果。

Claims (20)

1.一种基于MPEG-4的流媒体点播系统，包括：

一媒体数据源端(1)、一服务器端(2)和一接收终端(3)；其中：该接收终端(3)与服务器端(2)以RTSP协议进行交互控制联结；而系统中的流媒体传输则执行RTP/RTCP通信协议。

2.根据权利要求1所述的流媒体点播系统，其特征在于：所说的接收终端(3)包括若干分立的客户端(31)。

3.根据权利要求书1所述的流媒体点播系统，其特征在于：所说的媒体数据源端(1)包括一MPF文件库(13)、和分别与其连接的一文件格式转换器(14)、一MPEG-4编码器(12)，其中，该文件格式转换器(14)将其他格式媒体文件(11)转换成MPF格式文件送入该MPF文件库(13)；该MPEG-4编码器(12)则对原始媒体信息实时压缩并存储生成的MPF文件后将MPF文件送入该MPF文件库(13)；由该MPF文件库(13)向该服务器端(2)通过网络以FTP包的形式送出MPF文件或MPF文件库(13)直接与服务器端(2)相连。

4.根据权利要求1或2或3所述的流媒体点播系统，其特征在于：所说的服务器端(2)包括一台流媒体服务器(21)，其接收来自媒体数据源端(1)送来的MPF文件，并与客户端(310)以RTSP协议进行交互控制联结和以RTP/RTCP协议进行流媒体传输联结。

5.根据权利要求1或2或3所述的流媒体点播系统，其特征在于：所说的服务器端(2)包括若干台流媒体服务器(21)和分别与它们以IRDP协议相联结的一台集群控制服务器(22)；接收终端(3)中的一请求点播服务的客户端(31)首先与该集群控制服务器(22)以IRDP协议相互通信，然后该集群控制服务器(22)与该等流媒体服务器(21)以IRDP互相通信，运用负载均衡方法选择处于最佳服务状态的一台流媒体服务器(21)，以重定向方式来联结该提出点播请求的客户端(31)与该被选择的该台流媒体服务器(21)，它们以RTSP请求/响应方式通信和以RTP/RTCP协议进行流媒体传输，直接由该台流媒体服务器(21)负责处理该客户端(31)的点播请求。

6.一种基于MPEG-4的流媒体直播系统，包括：

一媒体数据源端(1)、一服务器端(2)和一接收终端(3)；其中：该接收终端(3)与服务器端(2)以RTSP协议进行交互控制联结；而系统中流媒体的传输则以RTP/RTCP通信协议联结。

7.根据权利要求6所述的基于MPEG-4的流媒体直播系统，其特征在于：所说的接收终端(3)包括若干分立的客户端(31)。

8.根据权利要求6所述的基于MPEG-4的流媒体直播系统，其特征在于：所说的媒体数据源端(1)包括依次联结的MPEG-4编码器(12)和MPF文件库(13)，并由该MPEG-4编码器(12)提供实时媒体数据源，以RTP数据包的形式传送给服务器端(2)；该MPF文件库(13)存储由MPEG-4编码器(12)生成的MPF格式文件。

9.根据权利要求8所述的基于MPEG-4的流媒体直播系统，其特征在于：所说的MPEG-4编码器(12)位于广播器或直播器中，来自该MPEG-4编码器(12)的媒体数据采用RTP协议，以RTP数据包的形式传输到服务器端(2)中的流媒体服务器(21)。

10.根据权利要求8或9所述的基于MPEG-4的流媒体直播系统，其特征在于：在媒体数据源端(1)与服务器端(2)之间还设有一媒体流转发器(14)，由广播器或直播器把视频流和音频流以RTP数据包形式传送给该媒体流转换器(14)，再由其发给服务器端(2)中的流媒体服务器，最后，由流媒体服务器(21)根据客户端的请求，按照点播方式直播给一具体客户端(31)。

11.根据权利要求8或9所述的基于MPEG-4的流媒体直播系统，其特征在于：媒体数据源端(1)还可直接与具有网络组播条件的组播应用端(15)以RTP协议联结。

12.根据权利要求11所述的基于MPEG-4的流媒体直播系统，其特征在于：所说的组播应用端(15)包括一流媒体服务器(151)和与其以RTSP协议及RTP/RTCP协议联结的若干个客户端(152、153、154)，广播器或直播器把MPEG-4编码器(12)所提供的视频流和音频流以RTP数据包的形式传送给流媒体服务器(151)，再由其传送给该等客户端(152、153、154)。

13.根据权利要求6或7或8所述的基于MPEG-4的流媒体直播系统，其特征在于：所说的服务器端(2)包括流媒体服务器(21)，其接收来自媒体数据源端(1)送来的RTP包形式的媒体数据，并与客户端(31)以RTSP协议进行交互控制联结和以RTP/RTCP协议进行流媒体传输联结。

14.根据权利要求6或7或8所述的基于MPEG-4的流媒体直播系统，其特征在于：所述的服务器端(2)包括若干台流媒体服务器(21)和分别与它们以IRDP协议相联结的一台集群控制服务器(22)而构成一个负载均衡的IRDR集群系统，其中该台集群控制器(22)构成IRDP服务端，而该若干台流媒体服务器(21)构成客户端，并以服务端/客户端模式工作，由客户端联结媒体数据源端(1)与接收终端(3)，采用RTP数据包的形式传输媒体数据；由服务端与接收终端(3)的终端客户(31)以IRDP请求/响应方式确定负载均衡分配任务，选择一台处于最佳负载状态的流媒体服务器(21)来直接处理终端用户(31)的请求；IRDP客户端定时自动提供负载性能列表给IRDP服务端，IRDP服务端接收终端用户(31)请求，根据均衡策略，对IP地址重定向处理，由选定的一台流媒体服务器(21)来直接处理终端用户(31)的请求。

15.一种存放MPEG-4流媒体内容的MPF文件，其符合ISO/IEC 14496-2simple和core profiles规范，MPF定义为同步媒体的统一容器文件格式，由一个段或多个段构成，分别存储媒体描述信息和媒体数据信息。

16.根据权利要求15所述的存放MPEG-4流媒体内容的MPF文件，其特征在于：所说的MPF文件中段的类型分为容器段和页段。

17.根据权利要求15所述的存放MPEG-4流媒体内容的MPF文件，其特

征在于：所说的媒体数据信息包括视频压缩数据和音频采样数据。

18.根据权利要求15或17所述的存放MPEG-4流媒体内容的MPF文件，其特征在于：所说的媒体描述信息包括视频压缩格式、时间信息以及媒体数据位置索引。

19.根据权利要求16、17或18所述的存放MPEG-4流媒体内容的MPF文件，其特征在于，所说的MPF容器类型段结构主要含有媒体数据段、媒体数据子段、视频段和音频段。

20.根据权利要求16、17或18所述的存放MPEG-4流媒体内容的MPF文件，其特征在于，所说的MPF页段结构主要含有视频/音频帧索引段、视频/音频帧数据段和会话描述协议段。

Images