CN101872555A - 一种基于应用层组播的实时互动授课系统 - Google Patents

Abstract

本发明是一种基于应用层组播的实时互动授课系统，它涉及流媒体数据处理和网络通信的技术领域，其由授课终端和听课终端组成，通过授课终端和应用层组播协议形成应用层组播覆盖网，实现教学多媒体数据的实时传送，同时授课终端与听课终端能够进行实时互动。本发明目的在于将应用层组播与流媒体相结合，提供一个延时小、带宽要求低、视音频传输质量高、实时互动的网络教学环境，同时解决传统教学在时间和空间上的制约问题，扩展教学规模。

Description

一种基于应用层组播的实时互动授课系统

技术领域

本发明属于应用层组播和流媒体技术领域，具体涉及一种基于应用层组播的实时互动授课系统。

背景技术

目前，随着计算机技术、通信技术和网络技术的发展，以流媒体为核心的新业务层出不穷，例如VOD(Video On Demand)、视频会议、远程教学、网络电视等，使得网络带宽急剧消耗，组播技术是解决这些应用的关键技术之一。

组播(multicast)是一到多或者多到多的多方通信形式，远程会议、交互式仿真、分布式内容系统、多方游戏等应用都对组播业务(multicast service)提出了需求。应用层组播的一个很大的好处是通过端系统进行数据复制和转发。应用层组播具有只需要改变端系统，不需要路由器的支持，便于实现和推广以及便于针对特定应用优化的优点。

流媒体(Streaming Media)技术是网络技术和多媒体技术发展到一定阶段的产物。术语流媒体可以指在网上传输连续时基媒体的流式技术，也可以指使用流式技术的连续时基媒体本身。在网上传输音频、视频等多媒体信息目前主要有两种方式：下载和流式传输。采用下载方式，用户需要先下载整个媒体文件，然后才能进行播放。由于网络带宽的限制，下载常常要花很长时间，所以这种处理方式延迟很大。而流媒体实现的关键技术是流式传输。传输之前先对多媒体数据进行预处理(降低质量和高效压缩)，然后使用缓存系统来保证数据的连续传输。使用流式传输方式，用户不必像采用下载方式那样要等到整个文件全部下载完毕，而是只需经过几秒到几十秒的启动延时即可在客户端进行播放和观看，此时媒体文件的剩余部分将在后台继续下载。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。使用流式传输的另一个好处是使传输事先不知道或无法知道大小的媒体数据(如网上直播、视频会议等)成为可能。

流媒体业务的特点是数据传输量大、实施性强、时间同步要求严格，并要求网络提供保证的服务质量，但是基于TCP/IP的传输在带宽、抖动、延时等方面都不能提供有效的支持，不能保证通信的服务质量，随着接入主机数目的增加，对服务器端的性能要求越来越高，占用越来越多的服务器资源，例如带宽。

发明内容

针对上述的不足，本发明提出了一种基于应用层组播的实时互动授课系统，在当前网络条件下，提供流媒体高质量、实时的传输，同时也简化了系统的部署。

为了实现发明目的，采用的技术方案如下：

一种基于应用层组播的实时互动授课系统包括授课终端和听课终端，授课终端是本系统的管理和控制中心，它负责创建授课组播，对音视频进行采集、处理、发送，以及对听课终端进行管理，为听课终端提供授课现场的实时音视频信息和电子教案信息并能通过电子白板以及文本Chat工具与听课终端进行交互；听课终端一方面与授课终端进行控制信息交互，另一方面进行流媒体数据，包括音频和视频，以及电子教案信息的接收、播放、转发处理；具体设置有如下模块：

用于视频和音频信息采集的音视频信息采集模块，由一个或多个用于采集视频信息的摄像机和一个声音录入系统组成，负责采集授课现场的音频、视频数据，为流媒体处理模块提供数据源；

用于建立和管理应用层组播覆盖网的应用层组播协议管理模块；

用于管理用户、教学信息，链路状态的信息管理模块；

用于教学交互信息的互动服务模块，包含显示信息的功能和提供输入的功能；通过显示信息，能够了解其他用户终端的相关信息；通过输入功能，能够跟老师进行实时沟通；通过电子白板以及文本Chat工具进行交互

用于流媒体数据处理、接收和转发等的流媒体处理模块；

其中应用层组播协议管理模块负责组播的建立、各个终端节点的通讯、组播成员节点的管理，是整个系统运行的基础，包括组播树管理、组播拥塞控制、控制信息处理模块；所述的控制信息处理模块根据接收到的信息，分析并判断其信息类型，包括加入组播请求、观看视频请求，然后进行相应的处理；所述的组播树管理，其功能是授课终端节点作为整个组播树的根节点，它能够维护全局的组播树结构，即所有节点列表，其余终端节点只需要维护它在组播转发树中的局部结构，即其父节点列表和它所有的孩子节点列表。

信息管理模块包括用户信息管理、链路状态管理、教学信息管理；流媒体处理模块包括预处理模块、缓冲区管理模块、数据调度模块；所述的用户信息管理可按身份将用户分教师和学生，不同用户有不同的操作权限，以及完成加入组播时的身份验证；所述的链路状态管理，主要管理节点间延时、带宽信息，保证数据传输延迟达到一定的标准；所述的教学信息管理在授课终端主要用于课程安排、教学资料等教学信息的管理，并将教学内容转换成HTML文档，连同音视频信息一起发送到听课终端；在听课终端为学生提供课程和电子教案的管理，接收授课终端发送的HTML文档。

流媒体处理模块包括预处理模块、缓冲区管理模块、数据调度模块；所述的预处理模块在授课终端用于处理音视频信息采集模块采集到的多媒体信息，主要包括数据编码，封装，压缩生产流媒体文件，包括rm格式或者ASF格式，其中数据的编码可以采用面向传输的可扩展性编码技术；在客户终端用于以及对缓冲区数据进行解码后提供给播放器播放；所述的缓冲区管理模块提供数据存储服务，主要用于弥补网络延时和抖动的影响，并对数据包的时序进行处理，从而使缓冲数据能连续而有序地播出，不至于使图像出现停顿；所述的数据调度模块在授课终端功能是将本地缓冲区数据发送到孩子节点；在听课终端功能是接收其上游节点或授课终端的数据，以供缓冲区使用，同时，数据调度模块还向其下游节点转发从上游节点或授课终端收到的数据。

首先通过系统授课终端的应用层组播协议管理模块建立授课组播，对组播信息进行配置，并通过组播树管理模块管理已加入的听课终端，控制听课组播的规模等，然后听课终端可以申请加入组播；系统通过控制信息处理模块处理控制信息，例如加入请求，并通过组播拥塞控制防止组播内出现拥塞问题。听课终端加入组播后，可以接收授课视频、浏览电子教案，并与授课终端进行交互。听课终端利用缓冲区管理模块和数据调度模块接收流媒体数据，同时也把接收到的流媒体转发给下游节点。

上述技术方案中，所述的系统操作界面应具有友好、统一的风格，并具有良好的交互性。

基于本发明的特点及其有益效果如下：

1、充分利用现有的网络，不需要因特网的特殊支持，成本低、操作简单。

2、数据传输采用点到多点模式，解决服务器数据负荷过重问题。

3、不受时间和空间的限制，方便随时开展教学。

4、听课终端可以根据需要任意加入和退出组播，并能与教师进行实时沟通。

附图说明

图1为本发明系统框架图；

图2为本发明听课终端系统框架图；

图3为本发明的总体流程图；

图4为本发明的流媒体处理模块框架图；

图5为本发明的工作示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。

本发明的目的在于提供一种基于应用层组播的实时互动授课系统，为人们提供一个延时小、带宽要求低、视音频传输质量高、实时的网络教学环境，同时解决传统教学在时间和空间上的制约问题，扩展教学规模。

如图1所示，是基于应用层组播的实时互动授课系统的系统框架图，包括听课终端和授课终端，两者只有极少数模块存在区别，具体包括音视频信息采集模块、教学资料库、应用层组播协议管理模块、信息管理模块、流媒体处理模块、互动服务模块。其中音视频信息采集模块和教学资料库是授课终端独有的模块。授课终端是本系统的管理和控制中心，它负责创建授课组播，对音视频进行采集、处理、发送，以及对听课终端进行管理，为听课终端提供授课现场的实时音视频信息和电子教案信息并能通过电子白板以及文本Chat工具与听课终端进行交互；听课终端一方面与授课终端进行控制信息交互，另一方面进行流媒体数据，包括音频和视频，以及电子教案信息的接收、播放、转发处理；该系统具体包括音视频信息采集模块、教学资料库、应用层组播协议管理模块、信息管理模块、流媒体处理模块、互动服务模块。

如图2所示，是基于应用层组播的实时互动授课系统听课终端的框架图，包括应用层组播协议管理模块、信息管理模块、流媒体处理模块、互动服务模块。

如图3所示一种基于应用层组播的实时互动授课系统的发明实施例的总体流程图。

具体包括如下步骤：

1.教师运行授课终端系统，其中的应用层组播协议管理模块负责组播的建立、各个终端节点的通讯、组播成员节点的管理，功能包括根据应用层组播协议创建授课组播、管理组播树，处理控制信息，组播拥塞控制，是整个系统运行的基础。通过初始化应用层组播覆盖网后，等待听课终端的加入请求。具体过程是根据特定网络环境选择合适的应用层组播协议，例如NICE、Yoid等，创建一个授课组播，等待听课终端的加入请求信息，接收或拒绝客户端加入组播。

2.授课终端通过控制信息处理模块能够及时处理听课终端的加入、退出等请求信息，例如处理听课终端的加入请求，根据特定的应用层组播协议，将该请求的听课终端加入到授课组播中，即将该节点作为原授课组播中某一节点的孩子节点，确保最后能形成一个组播覆盖网络。

3.当授课终端接收听课终端的请求，将该听课终端加入到授课组播中，即将该节点作为原授课组播中某一节点的孩子节点，确保最后能形成一个组播覆盖网络；当听课终端离开时，授课终端更新成员列表信息，以至最终能快速恢复一个稳定的组播覆盖网络，同时还要处理失效终端，即没有发出退出组播的通知但已无法正常工作的听课终端。通过控制信息处理模块在两个已建立父子关系的节点之间定时发送报文，判断节点是否失效。

4.授课终端通过组播树管理更新全局节点列表，即授课终端节点作为整个组播树的根节点，它能够维护全局的组播树结构，即所有节点列表，其余听课终端节点只需要维护它在组播转发树中的局部结构，即其父节点列表和它所有的孩子节点列表。授课终端通过组播拥塞控制防止出现过多加入请求，保证了拥塞发生时及时对其进行反应，避免了因主机节点拥塞导致的丢包率上升问题。

5.学生运行听课终端，通过听课终端的应用层组播协议管理模块的控制信息处理模块向授课终端发送加入授课组播请求。对于控制数据来说，数据量不大，实时性要求相对流媒体数据来说偏低，但是要求准确地到达接收节点，所以采用面向可靠连接的TCP协议进行传输。

6.开始授课时，授课终端通过系统音视频信息采集模块捕获信息，包括音频和视频，为流媒体处理模块提供数据源。流媒体处理模块需要处理大量的信息，将采集到的信息利用流媒体处理模块的预处理模块，经过数据编码，封装，压缩，生成适合于网络传输的流媒体格式(如rm或ASF等格式)，其中数据的编码可以采用面向传输的可扩展性编码技术，然后利用数据调度模块通过应用层组播覆盖网进行传输。

7.听课终端加入组播成功后，可以接收、转发、播放流媒体数据以及与授课终端交互，同时通过听课终端的控制信息处理模块处理控制报文，即当有节点要加入并作为自己的下游节点时，能够及时处理该请求，并更新孩子节点列表。

8.教师通过信息管理模块可以管理学生信息以及教学资料信息。教学资料库为信息管理模块提供教学资源，例如课件等电子教案。通过教学信息管理为教师提供课程安排、教学资料等教学信息的管理，并将电子教案信息等教学资料转化成HTML格式后随音视频信息一起发送出去。在听课终端通过教学信息管理为学生提供课程和电子教案的管理，同时接收授课终端发送的HTML文档。通过用户信息管理按身份将用户分教师和学生，不同用户有不同的操作权限，以及完成加入组播时的身份验证。同时，通过链路状态管理，进行节点间延时、带宽等信息的管理，保证数据传输延迟达到一定的标准。

9.授课终端和听课终端通过流媒体处理模块，包括预处理模块，缓冲区管理模块，数据调度模块，进行流媒体数据的处理。对于流媒体数据，因为实时性要求比较高，所以采用UDP协议。如图4所示，通过预处理模块将音视频信息采集模块捕获到的信息进行编码、解码、转换，压缩、封装，转化成流媒体格式数据；然后缓冲区管理模块保存预处理模块处理后的流媒体数据，弥补网络延时和抖动的影响，并对数据包的时序进行处理，从而使缓冲数据能连续而有序地播出，不至于使图像出现停顿；最后通过数据调度模块处理终端进出的数据，数据调度模块主要是根据该终端节点的组播树结构，进行流媒体的接收或转发，具体分两种情况，在授课终端功能是负责把缓冲区的数据分发出去；在听课终端一方面是接收上游节点或授课终端的数据，以供本地缓冲区使用，将接收到的数据解码后进行实时的播放，另一方面把本地缓冲区的数据转发给孩子节点。

10.授课期间通过互动服务模块进行交流。在听课终端，可以通过电子白板或者文本Chat等工具进行交互。在授课终端，可以显示听课终端的发问等情况。

Claims (4)

1.一种基于应用层组播的实时互动授课系统，其特征在于包括：授课终端和听课终端，授课终端是本系统的管理和控制中心，它负责创建授课组播，对音视频进行采集、处理、发送，以及对听课终端进行管理，为听课终端提供授课现场的实时音视频信息和电子教案信息并能通过电子白板以及文本Chat工具与听课终端进行交互；听课终端一方面与授课终端进行控制信息交互，另一方面进行流媒体数据，包括音频和视频，以及电子教案信息的接收、播放、转发处理；

具体包含以下模块：音视频信息采集模块、教学资料库、应用层组播协议管理模块、信息管理模块、流媒体处理模块、互动服务模块；其中音视频信息采集模块和教学资料库属于授课终端独有的模块；

用于视频和音频信息采集的音视频信息采集模块，出一个或多个用于采集视频信息的摄像机和一个声音录入系统组成，负责采集授课现场的音频、视频数据，为流媒体处理模块提供数据源；

用于建立和管理应用层组播覆盖网的应用层组播协议管理模块；

用于管理用户、教学信息，链路状态的信息管理模块；

用于教学交互信息的互动服务模块，包含显示信息的功能和提供输入的功能；通过显示信息，能够了解其他用户终端的相关信息；通过输入功能，能够跟老师进行实时沟通；

用于流媒体数据处理、接收和转发的流媒体处理模块，能够对音视频信息采集模块和接收到的数据进行处理；

教学资料库为信息管理模块提供教学资源。

2.根据权利要求1所叙述的基于应用层组播的实时互动授课系统，其特征在于应用层组播协议管理模块负责组播的建立、各个终端节点的通讯、组播成员节点的管理，是整个系统运行的基础，包括组播树管理、组播拥塞控制、控制信息处理模块；所述的控制信息处理模块根据接收到的信息，分析并判断其信息类型，包括加入组播请求、观看视频请求，然后进行相应的处理；所述的组播树管理，其功能是授课终端节点作为整个组播树的根节点，它能够维护全局的组播树结构，即所有节点列表，其余终端节点只需要维护它在组播转发树中的局部结构，即其父节点列表和它所有的孩子节点列表。

3.根据权利要求1所述的基于应用层组播的实时互动授课系统，其特征在于信息管理模块包括用户信息管理、链路状态管理、教学信息管理；所述的用户信息管理可按身份将用户分教师和学生，不同用户有不同的操作权限，以及完成加入组播时的身份验证；所述的链路状态管理，主要管理节点间延时、带宽信息，保证数据传输延迟达到一定的标准；所述的教学信息管理在授课终端主要用于课程安排、教学资料等教学信息的管理，并将教学内容转换成HTML文档，连同音视频信息一起发送到听课终端；在听课终端为学生提供课程和电子教案的管理，接收授课终端发送的HTML文档。

4.根据权利要求1所叙述的基于应用层组播的实时互动授课系统，其特征在于流媒体处理模块包括预处理模块、缓冲区管理模块、数据调度模块；所述的预处理模块在授课终端用于处理音视频信息采集模块采集到的多媒体信息，主要包括数据编码，封装，压缩生产流媒体文件，包括rm格式或者ASF格式，其中数据的编码可以采用面向传输的可扩展性编码技术；在客户终端用于以及对缓冲区数据进行解码后提供给播放器播放；所述的缓冲区管理模块提供数据存储服务，主要用于弥补网络延时和抖动的影响，并对数据包的时序进行处理，从而使缓冲数据能连续而有序地播出，不至于使图像出现停顿；所述的数据调度模块在授课终端功能是将本地缓冲区数据发送到孩子节点；在听课终端功能是接收其上游节点或授课终端的数据，以供缓冲区使用，同时，数据调度模块还向其下游节点转发从上游节点或授课终端收到的数据。

Images