CN102780935B - 一种支持多流流媒体动态传输的系统 - Google Patents

Abstract

本发明涉及一种支持多流流媒体动态传输的系统，包括多流流媒体动态发送模块、多流流媒体动态传输模块和多流流媒体动态接收模块，其中，多流流媒体动态发送模块在传输的过程中可以对发送的媒体流进行传输配置，选择发送的媒体通道，以及为每个发送的媒体通道按传输配置中的编码规格进行预处理、编码后发送；多流流媒体动态传输模块获取并存储动态更新的传输配置信息，同时对多流流媒体数据进行实时存储和传输；多流流媒体动态接收模块根据传输配置信息获取发送模块发送的多流流媒体数据的子集，进行多流流媒体数据的解码、预处理、同步后播放。与现有技术相比，本发明具有同时支持多路流流媒体传输，可在传输过程中进行动态传输配置等优点。

Description

一种支持多流流媒体动态传输的系统

技术领域

本发明涉及一种网络信息传输技术领域的系统，尤其是涉及一种支持多流流媒体动态传输的系统。

背景技术

随着网络基础设施的不断升级，有线、无线网络带宽比以前已经有了显著的提高，实时音频、视频等流媒体应用在网络上的传输已经逐渐普及，成为热门的应用。但网络资源是动态改变和不可预测的，当前的网络一般只能提供尽力而为(best-effort)的服务，无法提供任何环境和场景下都能安全访问的保证。并且在诸多应用场景下，仅支持语音和视频的二路流流媒体应用已经不能满足实际应用的需要。如在实时的教学场景下，除了支持直播老师的语音，视频信息外，还需要支持老师所讲解的内容，即老师授课的桌面图像；在诸多的学术会议或其他相关的会议、论坛中，也有诸多类似的支持三路流以上的多流流媒体应用。

相对于传统的二路流流媒体，多流流媒体的传输带宽会更大，同时为了支持随时随地便捷的使用，支持用户通过手持设备进行观看会满足更多客户的使用需求，但网络环境的不稳定性是无线网络环境的重要特性之一。因此，基于多流流媒体的应用服务需要支持不同网络环境下的稳定访问。保证此类应用能够较为稳定运行的重要功能之一是该类应用应满足在不同带宽下成功运行。

HTTP Adaptive Streaming为支持不同带宽下的流媒体应用提供了一种可行的方法。该方法的关键技术是将媒体数据切割分块，每个分块的时间长度相同，一般为2～10秒。一份内容在编码输出可以提供了多种码率，内容切片会将其切割成多种码率的媒体分块。接收端可以根据Web服务器到自身的可用网络带宽决定下载更大或更小的媒体分块，实现当前带宽下最好的流媒体应用用户体验。但是该方法没有支持多于两个流的多流流媒体应用，且不支持流媒体的实时动态传输。

进一步检索发现，中国专利申请号201010510111.9，记载了一种“基于HTTP协议的多流流媒体传输系统及其传输方法”。该方法提出了用HTTP协议进行多流流媒体传输的优点。但该方法并没有提出具体的针对发布模块和客户模块的多流流媒体动态传输方法和策略。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可在传输过程中对流媒体进行动态传输配置、同时支持多路流流媒体传输的支持多流流媒体动态传输的系统。

本发明的目的可以通过以下技术方案来实现：

一种支持多流流媒体动态传输的系统，包括

多流流媒体动态发送模块，对发送的流媒体数据的传输配置进行动态更新，输出传输配置信息，根据传输配置信息，采集多流流媒体数据，并对采集的多流流媒体数据进行预处理、编码后发送；

多流流媒体动态传输模块，与多流流媒体动态发送模块连接，获取并存储多流流媒体动态发送模块动态更新的传输配置信息，同时对多流流媒体动态发送模块发出的多流流媒体数据进行实时存储和传输；

多流流媒体动态接收模块，与多流流媒体动态传输模块连接，向多流流媒体动态传输模块发送收看多流流媒体应用请求，从多流流媒体动态传输模块中获取传输配置信息，保持传输配置与多流流媒体动态发送模块同步，根据传输配置信息获取多流流媒体动态发送模块传输来的多流流媒体数据，并选择媒体通道及编码规格进行多流流媒体数据的解码播放。

所述的多流流媒体数据是指包含两个或两个以上媒体通道的流媒体数据。

所述的多流流媒体动态传输模块中设有用于存储传输配置信息的传输配置状态存储区和用于存储多流流媒体数据的缓冲区。

所述的传输配置信息包括媒体通道的选择、每个媒体通道的采样周期和对所选的每个媒体通道设置的一项或多项编码规格。

所述的编码规格包括语音媒体通道的采样率、视频媒体通道的分辨率和帧率、屏幕图像通道的分辨率和帧率以及每个媒体通道压缩编码后的码率。

所述的多流流媒体动态发送模块的数据传输过程包括如下步骤：

101)多流流媒体动态发送模块进行传输配置的动态更新后，启动网络发送功能；

102)将传输配置信息发送到多流流媒体动态传输模块；

103)根据传输配置信息选择媒体通道进行流媒体数据源采集、以传输配置信息中选定的编码规格进行编码后将多流流媒体数据发送到多流流媒体动态传输模块，在此过程中，如传输配置发生改变，则进入步骤102)，否则以每个媒体通道的采样时间周期重复步骤103)；

所述的多流流媒体动态传输模块的数据传输过程包括如下步骤：

201)接收多流流媒体动态发送模块发送的传输配置信息和多流流媒体数据，将传输配置信息放入传输配置状态存储区，将多流流媒体数据按照媒体通道的种类以先进先出的规则放入到对应的缓冲区中；

202)当接收到多流流媒体动态发送模块新的传输配置信息时，覆盖传输配置状态存储区已有的传输配置信息，并将该传输配置信息通过网络传输到每一个多流流媒体动态接收模块；

203)多流流媒体动态传输模块同时监听多流流媒体动态接收模块的请求，并将多流流媒体数据和每一次最新到达的多流流媒体动态发送模块的传输配置信息传送给已经处于网络连接的多流流媒体动态接收模块；

所述的多流流媒体动态接收模块的数据传输过程包括如下步骤：

301)多流流媒体动态接收模块向多流流媒体动态传输模块发送收看多流流媒体的应用请求，启动网络连接；

302)从多流流媒体动态传输模块的传输配置状态存储区获取多流流媒体动态发送模块的传输配置信息的子集，作为多流流媒体动态接收模块的传输设置；

303)根据传输设置从多流流媒体动态传输模块获取多流流媒体数据，并进行解码同步播放，如传输设置发生改变，则仅获取改变后的多流流媒体数据，进行解码同步播放，如获取到了多流流媒体动态发送模块最新的传输配置信息，则进入步骤304)；

304)将获取的最新传输配置信息和现有的传输设置进行取交集运算，将结果作为当前的传输设置，并将最新的传输配置信息作为全集，重复步骤303)。

与现有技术相比，本发明具有以下优点：

1)本发明既支持传统的基于语音和视频的二路流流媒体的传输，同时支持多于二路流的流媒体传输；

2)本发明可以根据发送端和接收端的带宽情况进行传输配置，在较好的网络环境下，可以接收较高质量的多流流媒体数据，在网络不稳定，带宽不足的情况下，可以接收质量较差一些的多流流媒体数据；

3)本发明可以选择接收部分的流媒体数据，使得应用可以在多种网络环境下都可以运行，具有较好的用户体验。

附图说明

图1为本发明系统的结构示意图；

图2为本发明多流流媒体动态发送模块的数据传输流程示意图；

图3为本发明多流流媒体动态接收模块的数据传输流程示意图；

图4为实施例2中的系统结构示意图；

图5为本发明系统中各模块不同时间区间的发送和接收情况的示意图；

图6为本发明实施例2中各模块传输实例示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1

如图1所示，一种支持多流流媒体动态传输的系统，包括

多流流媒体动态发送模块11，对发送的流媒体数据的传输配置进行动态更新，输出传输配置信息，根据传输配置信息，采集多流流媒体数据，并对采集的多流流媒体数据进行预处理、编码后发送；

多流流媒体动态传输模块12，与多流流媒体动态发送模块11连接，获取并存储多流流媒体动态发送模块11动态更新的传输配置信息，同时对多流流媒体动态发送模块发出的多流流媒体数据进行实时存储和传输，多流流媒体动态传输模块12中设有用于存储传输配置信息的传输配置状态存储区和用于存储多流流媒体数据的缓冲区；

多流流媒体动态接收模块13，与多流流媒体动态传输模块12连接，向多流流媒体动态传输模块12发送收看多流流媒体应用请求，从多流流媒体动态传输模块12中获取传输配置信息，保持传输配置与多流流媒体动态发送模块11同步，根据传输配置信息获取多流流媒体动态发送模块传输来的多流流媒体数据，并选择媒体通道及编码规格进行多流流媒体数据的解码播放。本实施例中多流流媒体动态接收模块设置1个。

所述的多流流媒体数据是指包含两个或两个以上媒体通道的流媒体数据，如传统的音频和视频的两路流流媒体，以及包含音频、视频和屏幕的三路流流媒体等。多流流媒体数据也包括一路流的多种编码规格的数据情况，如视频流，即发送320*240分辨率的流数据，也包括176*144分辨率的流数据。

所述的传输配置信息包括媒体通道的选择、每个媒体通道的采样周期和对所选的每个媒体通道设置的一项或多项编码规格。所述的编码规格包括语音媒体通道的采样率、视频媒体通道的分辨率和帧率、屏幕图像通道的分辨率和帧率以及每个媒体通道压缩编码后的码率。

上述支持多流流媒体动态传输的系统的数据传输包括多流流媒体动态发送模块的数据传输、多流流媒体动态传输模块的数据传输和多流流媒体动态接收模块的数据传输，如图2所示，多流流媒体动态发送模块的数据传输过程包括如下步骤：

101)多流流媒体动态发送模块进行传输配置的动态更新后，启动网络发送功能；

102)将传输配置信息发送到多流流媒体动态传输模块；

103)根据传输配置信息选择媒体通道进行流媒体数据源采集、以传输配置信息中选定的编码规格进行编码后将多流流媒体数据发送到多流流媒体动态传输模块，在此过程中，如传输配置发生改变，则进入步骤102)，否则以每个媒体通道的采样时间周期重复步骤103)。

多流流媒体动态传输模块的数据传输过程包括如下步骤：

201)接收多流流媒体动态发送模块发送的传输配置信息和多流流媒体数据，将传输配置信息放入传输配置状态存储区，将多流流媒体数据按照媒体通道的种类以先进先出的规则放入到对应的缓冲区中；

202)当接收到多流流媒体动态发送模块新的传输配置信息时，覆盖传输配置状态存储区已有的传输配置信息，并将该传输配置信息通过网络传输到每一个多流流媒体动态接收模块；

203)多流流媒体动态传输模块同时监听多流流媒体动态接收模块的请求，并将多流流媒体数据和每一次最新到达的多流流媒体动态发送模块的传输配置信息传送给已经处于网络连接的多流流媒体动态接收模块。

如图3所示，多流流媒体动态接收模块的数据传输过程包括如下步骤：

301)多流流媒体动态接收模块向多流流媒体动态传输模块发送收看多流流媒体的应用请求，启动网络连接；

302)从多流流媒体动态传输模块的传输配置状态存储区获取多流流媒体动态发送模块的传输配置信息的子集，作为多流流媒体动态接收模块的传输设置；

303)根据传输设置从多流流媒体动态传输模块获取多流流媒体数据，并进行解码同步播放，如传输设置发生改变，则仅获取改变后的多流流媒体数据，进行解码同步播放，如获取到了多流流媒体动态发送模块最新的传输配置信息，则进入步骤304)；

304)将获取的最新传输配置信息和现有的传输设置进行取交集运算，将结果作为当前的传输设置，并将最新的传输配置信息作为全集，重复步骤303)。

图5给出了本发明系统中各模块在不同时间区间的流发送和接收情况的实例示意图，其中从上到下为时间的先后顺序，T1＝T4+T5，T2＝T6+T7。本发明既支持传统的基于语音和视频的二路流流媒体的传输，同时支持多于二路流的流媒体传输，同时可以选择接收部分的流媒体数据，使得应用可以在多种网络环境下都可以运行，具有较好的用户体验。

实施例2

如图4所示，一种支持多流流媒体动态传输的系统，包括多流流媒体动态发布模块、多流流媒体动态传输模块和3个多流流媒体动态接收模块。其中多流流媒体动态发送模块在传输的过程中可以对发送的媒体流进行动态配置，包括选择发送哪些媒体通道，以及为每个发送的媒体通道按编码规格选项中的一项或多项进行预处理、编码后发送。多流流媒体动态传输模块及时获取发送模块传输配置的动态更新，并通知相应的多流流媒体动态接收模块；动态传输模块同时负责多流流媒体的实时网络传输功能。多流流媒体动态接收模块的传输配置保持与发送模块同步，用户在此基础上选择可以接收的媒体通道及其编码规格选项的子集。

本实施例中的多流流媒体动态传输模块包括数据接收及写文件子模块和HTTP WEB服务子模块。数据接收及写文件子模块将接收的数据流根据其来源分别写到传输配置状态存储区和存放多流流媒体文件片组的缓冲区；HTTP WEB服务子模块将最新的多流流媒体动态传输配置信息以推送的方式传送给多流流媒体动态接收模块，同时HTTP WEB服务子模块监听多流流媒体动态接收模块对缓冲区中的某些文件的访问请求，并传送相对应的多流流媒体数据。

如图6所示，3个多流流媒体动态接收模块分别接收多流流媒体动态传输模块推送过来的传输配置信息，根据本地现有设置和传输配置信息中的设置，选择性地获取多流流媒体动态传输模块中相应多流流媒体文件片，并进行解码、预处理、同步后进行播放。在播放的过程中，用户可以根据条件重新设置传输设置，获取设置后的多流流媒体数据进行观看。每个多流流媒体动态接收模块的接收流是发送模块发送流的子集。

Claims (7)

1.一种支持多流流媒体动态传输的系统，其特征在于，包括 

多流流媒体动态发送模块，对发送的流媒体数据的传输配置进行动态更新，输出传输配置信息，根据传输配置信息，采集多流流媒体数据，并对采集的多流流媒体数据进行预处理、编码后发送； 

多流流媒体动态传输模块，与多流流媒体动态发送模块连接，获取并存储多流流媒体动态发送模块动态更新的传输配置信息，同时对多流流媒体动态发送模块发出的多流流媒体数据进行实时存储和传输； 

多流流媒体动态接收模块，与多流流媒体动态传输模块连接，向多流流媒体动态传输模块发送收看多流流媒体应用请求，从多流流媒体动态传输模块中获取传输配置信息，保持传输配置信息与多流流媒体动态发送模块同步，根据传输配置信息获取多流流媒体动态发送模块传输来的多流流媒体数据，并选择媒体通道及编码规格进行多流流媒体数据的解码、预处理、同步后播放； 

所述的传输配置信息包括媒体通道的选择、每个媒体通道的采样周期和对所选的每个媒体通道设置的一项或多项编码规格。 

2.根据权利要求1所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的多流流媒体数据是指包含两个或两个以上媒体通道的流媒体数据。 

3.根据权利要求1所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的多流流媒体动态传输模块中设有用于存储传输配置信息的传输配置状态存储区和用于存储多流流媒体数据的缓冲区。 

4.根据权利要求1所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的编码规格包括语音媒体通道的采样率、视频媒体通道的分辨率和帧率、屏幕图像通道的分辨率和帧率以及每个媒体通道压缩编码后的码率。 

5.根据权利要求1所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的多流流媒体动态发送模块的数据传输过程包括如下步骤： 

101)多流流媒体动态发送模块进行传输配置的动态更新后，启动网络发送功能； 

102)将传输配置信息发送到多流流媒体动态传输模块； 

103)根据传输配置信息选择媒体通道进行流媒体数据源采集、以传输配置信息中选定的编码规格进行编码后将多流流媒体数据发送到多流流媒体动态传输模块，在此过程中，如传输配置发生改变，则进入步骤102)，否则以每个媒体通道的采样时间周期重复步骤103)。

6.根据权利要求3所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的多流流媒体动态传输模块的数据传输过程包括如下步骤： 

201)接收多流流媒体动态发送模块发送的传输配置信息和多流流媒体数据，将传输配置信息放入传输配置状态存储区，将多流流媒体数据按照媒体通道的种类以先进先出的规则放入到对应的缓冲区中； 

202)当接收到多流流媒体动态发送模块新的传输配置信息时，覆盖传输配置状态存储区已有的传输配置信息，并将该传输配置信息通过网络传输到每一个多流流媒体动态接收模块； 

203)多流流媒体动态传输模块同时监听多流流媒体动态接收模块的请求，并将多流流媒体数据和每一次最新到达的多流流媒体动态发送模块的传输配置信息传送给已经处于网络连接的多流流媒体动态接收模块。 

7.根据权利要求6所述的一种支持多流流媒体动态传输的系统，其特征在于，所述的多流流媒体动态接收模块的数据传输过程包括如下步骤： 

301)多流流媒体动态接收模块向多流流媒体动态传输模块发送收看多流流媒体的应用请求，启动网络连接； 

302)从多流流媒体动态传输模块的传输配置状态存储区获取多流流媒体动态发送模块的传输配置信息的子集，作为多流流媒体动态接收模块的传输设置； 

303)根据传输设置从多流流媒体动态传输模块获取多流流媒体数据，并进行解码同步播放，如传输设置发生改变，则仅获取改变后的多流流媒体数据，进行解码同步播放，如获取到了多流流媒体动态发送模块最新的传输配置信息，则进入步骤304)； 

304)将获取的最新传输配置信息和现有的传输设置进行取交集运算，将结果作为当前的传输设置，并将最新的传输配置信息作为全集，重复步骤303)。