CN1474540A - 远程教学多模式实时多媒体交互系统 - Google Patents

Abstract

一种远程教学多模式实时多媒体交互系统，由多媒体客户端、会议服务中心和多点控制单元组成。多媒体客户端在得到会议服务中心的授权后，向多点控制单元发送本地的视频、音频和应用程序共享数据，并从多点控制单元接收其他客户端的视频、音频和应用程序共享数据；会议服务中心控制客户端和多点控制单元的用户权限，协调多个客户端和多个多点控制单元；多点控制单元根据会议服务中心提供的信息启动视频、音频和应用程序共享数据转发模块和视频转换编码引擎。本发明能通过远程教学现场的多媒体录制和网络传输，实现远程教学全部现场的直播和师生间的多模式实时多媒体交互。

Description

远程教学多模式实时多媒体交互系统

技术领域：

本发明涉及一种远程教学多模式实时多媒体交互系统，面向实时网络教育/远程教育，涉及计算机、信息传递及多媒体技术。

背景技术：

随着信息传递技术的发展，网络教育/远程教育已普遍被人们所接受，在这方面的研究也取得了显著的成就。申请人经过查新，检索到三篇与本发明相关的属于视频会议领域的专利，它们分别是：

1.(专利号US005999525A)Method for video telephony over hybridnetwork；

2.(专利号US005867494A)System method and article of manufacture withintegrated video conference billing in a communication systemarchitecture；

3.(专利号US005867495A)System method and article of manufacturefor communication utilizing calling，plans in a hybrid network。

在上述专利1中，发明人提出了一套在分组交换网下开展多媒体视频会议的方法，该套方法主要有以下特点：

1)采用群组交互模式下多媒体数据的发送、接收；

2)多媒体数据采用实时传输协议RTP，实时控制协议RTCP进行传输；

3)采用资源预留协议RSVP对交互过程中的视音频质量进行控制。

4)数据传输采用单播、组播、广播三种网络传输模式；

在专利2中，发明人提出了一套在视频会议系统中创建呼叫的过程，该过程主要描述了呼叫双方的认证、授权、能力协商，此外还定义了呼叫消息所携带数据的内容与格式。目前，视频会议系统一般都采用类似的呼叫机制。

在专利3中，发明人提出了一套在分组交换网下开展多媒体视频会议的方法，并实现了该系统。此套方法与系统主要有以下特点：

1)采用多个分组间基于RTP协议的组播数据发送、接收；

2)采用目录管理机制对会议成员进行管理；

3)通过创建虚拟现实环境，实现分组间的用户相互感知，并能通过虚拟对象进行交互。

根据上述查新，现有系统存在以下2个问题：

1.不能支持组播数据的跨网段传输，网络带宽资源利用率较低，进而导致系统不能大规模大范围地部署。

2.不能支持手持移动设备，不能自适应地为不同网络条件下使用不同硬件设备提供不同的视频数据流。

发明内容：

本发明的目的在于针对现有技术存在的缺陷或不足，提供一种新型远程教学多模式实时多媒体交互系统，具有良好的可扩展性，提高网络带宽利用率，支持使用手持设备和普通计算机，为实时网络教学创造一个优良环境。

为实现这样的目的，本发明的远程教学多模式实时多媒体交互系统，是一个面向实时网络教学的分布式多媒体应用系统，由多媒体客户端，会议服务中心和多点控制单元MCU组成，通过远程教学现场的多媒体录制和网络传输，实现远程教学全部现场的直播和师生间的交互。会议服务中心分别和多媒体客户端和多点控制单元通过网络服务调用相连，多媒体客户端和多点控制单元通过RTP/RTCP协议相连。会议服务中心控制客户端和多点控制单元的用户权限，客户端接收会议服务中心的指令控制本地视频、音频和其他教学数据的发送和接收，多点控制单元接收会议服务中心的指令控制视频、音频和其他教学数据的转发。客户端在得到会议服务中心的授权后，向多点控制单元发送本地的视频、音频和其他教学数据，并从多点控制单元接收其他客户端的视频、音频和其他教学数据；多点控制单元根据会议服务中心提供的信息启动视频、音频和其他教学数据转发模块和视频转换编码引擎。

本发明主要包括以下的具体内容：

1、多媒体客户端

多媒体客户端由事务管理模块，视音频处理模块和应用程序共享模块三个部分组成。事务管理模块通过窗口消息分别和视音频处理模块和应用程序共享模块相连。事务管理模块与会议服务中心通过网络服务相连，进行状态、控制信息的交互，并根据其交互结果发送窗口控制信息给视音频处理模块和应用程序共享模块，来控制视频、音频和应用程序共享数据采集、编码压缩、组播、接收、解码解压缩和回放；视音频处理模块与本地的媒体设备相连，从中读取视频、音频，根据事务管理模块的指令选用适当的编码器和服务质量控制参数把数据组播到本网段的多点控制单元或者单播到集中式多点控制单元，同时调用服务质量控制器从本网段的多点控制单元或者集中式多点控制单元接收视频、音频数据，根据事务管理模块的指令选用适当的解码器来播放视频、音频；应用程序共享模块和显卡以及内存相连，根据事务管理模块的指令选用适当的编码器和服务质量控制参数把应用程序共享数据组播到本网段的多点控制单元或者单播到集中式多点控制单元，同时调用服务质量控制器从本网段的多点控制单元或者集中式多点控制单元接收应用程序共享数据，根据事务管理模块的指令选用适当的解码器来播放应用程序共享数据。

2、会议服务中心

会议服务中心是整个系统的控制中心，由客户端控制模块、多点控制单元控制模块和信息统计模块三个部分组成。通过网络服务调用与所有的多媒体客户端、所有的多点控制单元相连，从而获得整个系统最全面最完整的信息，并且提供接口供外部的日志分析、监控和诊断模块。它和客户端通过网络服务调用相连，控制客户端的权限，确定多媒体客户端的视频、音频和屏幕数据的采集参数，建议采用的编码压缩，解码解压缩参数，指导使用组播还是单播来收发数据。它和多点控制单元通过网络服务调用相连，控制多点控制单元是否收发视频、音频和屏幕数据，确定从哪个网络套接字收发视频、音频和屏幕数据的RTP/RTCP包，确定是否需要启动视频转换引擎，设置视频转换引擎的编码器和比特率参数。

3、多点控制单元

多点控制单元是系统全部视频、音频和屏幕数据的交换中心，由多点控制器MC和多点处理器MP两部分组成。多点控制器通过网络服务调用与会议服务中心相连，接收会议服务中心的指令来控制多点处理器，多点处理器通过窗口消息和多点控制器相连，把收到的RTP/RTCP网络状态信息反馈给多点控制器。

多点控制器MC由多点交互控制模块和服务质量QoS参数控制模块两个部分组成。多点交互控制模块通过窗口消息与多点处理器相连，控制视频、音频和应用程序共享的收发权限，它还通过网络服务调用与会议中心相连，生成当前多点控制单元与其他客户端和多点控制单元的连接状态信息。QoS参数控制模块和多点交互控制模块通过窗口消息相连，根据多点交互控制模块提供的当前多点控制单元在网络拓扑中的角色和位置信息控制媒体流的QoS参数，将此参数通过窗口消息传递给多点处理器。

多点处理器MP由转发器和视频转换编码引擎两个部分组成。转发器通过窗口消息和视频转换编码引擎相连，负责接收和转发数据包，而不管数据包里面的数据类型、数据大小和数据内容。视频转换编码引擎和多点交互控制模块以及QoS参数控制模块通过窗口消息相连，根据获得的多媒体客户端的网络状况、是否支持组播和单播和设备的处理能力这些信息，把使用原始编码器采用原始比特率编码压缩的视频、音频和应用程序共享数据转换为使用另外一种编码器采用另外一个比特率编码压缩的视频、音频和屏幕数据。转发器既转发没有经过视频转换编码引擎处理过的视频、音频和屏幕数据，也转发经过视频转换编码引擎处理过的视频、音频和屏幕数据。

转发器采用三种不同的转发方式：(1)单播<->单播转发；(2)组播<->组播转发；(3)单播<->组播转发。每个转发器通过调用会议服务中心的网络服务来动态创建多个活动的会议室，每个会议室有1个组播地址和4个网络套接字(2个组播网络套接字和2个单播转发网络套接字)。

视频转换编码引擎参考了“MPEG-7转换编码提示”中的效用伸缩描述参数、抽取运动提示参数、难度提示参数和重要性提示参数，使用分层编码来转换、编码多媒体数据，采用普通计算机和手持设备作为多媒体客户端使用以太网和无线网络连入远程教学多模式实时多媒体交互系统，支持9.6kbps到768kbps范围的分层编码，满足了不同网络、不同设备、不同处理器、不同操作系统的个性化的多媒体访问需求。

多点控制单元采用分布式MCU和集中式MCU相结合的混合模型。多媒体客户端根据会议服务中心的控制信息智能地选择和切换本地的多点控制单元或者中央集中式的多点控制单元(客户端在不支持组播协议的情况下使用，例如ADSL网络连接使用的PPP协议)。分布式多点控制单元的跨网段传输机制是指系统所分布的每个组播网段都存在一个多点控制单元节点，各客户端通过组播连接本地多点控制单元，各个多点控制单元之间通过单播连接来转发数据，该机制实现了广域网上视频、音频和应用程序共享的组播传输，有效提高了网络带宽利用率，使得系统具有良好的可扩展性。集中式多点控制单元机制是指整个系统只存在一个多点控制单元节点，各客户端通过单播连接它，它适合于一些不支持组播的环境，例如ADSL网络连接使用的PPP协议。通过分布式MCU机制和集中式MCU机制相结合的模型，远程教学多模式实时多媒体交互系统通过这种混合模型，既减少了延时、提高了网络带宽利用率、服务质量和系统的可扩展性，又避免了一些不支持组播的客户端不能连接的问题。

因为多点控制单元是系统全部视频、音频和屏幕数据的交换中心，因此其把实时接收到的各个多媒体客户端发送出来的视频、音频和应用程序共享数据以及经过自己的视频编码转换引擎处理过的数据录制成流媒体文件。生成的流媒体文件使用IMS、SCORM标准包装，并且通过与数据分析中心的配合，使其具有智能化多媒体数据挖掘分析等功能，为教学创造一个科学的贴近自然的培训环境。

附图说明：

图1为本发明的系统结构图。

图2为本发明的客户端工作机制示意图。

图3为本发明的视频、音频和应用程序共享所使用的RTP包示意图。

图4为本发明的视频、音频和应用程序共享所使用的缓冲区处理流程示意图。

图5为本发明的会议服务中心工作机制示意图。

图6为本发明的多点控制单元MCU结构图。

图7为本发明的MCU的转发器模块工作机制示意图。

图8为本发明的MCU的视频转换编码引擎工作机制示意图。

图9为本发明的MCU的视频转换编码引擎使用的分层可扩展性编码工作机制示意图。

具体实施方式：

为了更清楚的理解本发明，以下结合附图对本发明的技术方案作进一步的详细描述。

本发明的远程教学多模式实时多媒体交互系统是一个面向实时网络教学的分布式多媒体应用系统。从物理分布上可分为多媒体客户端，会议服务中心和多点控制单元三个部分。系统结构如图1所示，图1中描述了本发明实际运行系统的结构以及模块间的连接关系。会议服务中心分别和多媒体客户端和多点控制单元通过网络服务调用相连，多媒体客户端和多点控制单元通过RTP/RTCP协议相连。会议服务中心控制客户端和多点控制单元的用户权限，客户端接收会议服务中心的指令控制本地的视频、音频和其他教学数据的发送和接收，多点控制单元接收会议服务中心的指令控制视频、音频和其他教学数据的转发。客户端在得到会议服务中心的授权后，向多点控制单元发送本地的视频、音频和其他教学数据，并从多点控制单元接收其他客户端的视频、音频和其他教学数据；多点控制单元根据会议服务中心提供的信息启动视频、音频和其他教学数据转发模块和视频转换编码引擎。

以下分别对本发明的各个子系统(包括多媒体客户端子系统，会议服务中心子系统和多点控制单元子系统)  的工作机制进行说明。多媒体客户端工作机制

多媒体客户端的工作机制如图2所示，由事务管理模块，视音频处理模块和应用程序共享模块三个部分组成。事务管理模块通过窗口消息和视音频处理模块以及应用程序共享模块相连。事务管理模块与会议服务中心通过网络服务相连，进行状态、控制信息的交互，并根据其交互结果发送窗口控制消息给视音频处理模块和应用程序共享模块，来控制视频、音频和应用程序共享数据采集、编码压缩、组播、接收、解码解压缩和回放；视音频处理模块与本地的媒体设备相连，从中读取视频、音频，根据事务管理模块的指令选用适当的编码器和QoS控制参数把数据组播到本网段的MCU或者单播到集中式MCU，同时调用QoS控制器从本网段的MCU或者集中式MCU接收视频、音频数据，根据事务管理模块的指令选用适当的解码器来播放视频、音频；应用程序共享模块和显卡以及内存相连，根据事务管理模块的指令选用适当的编码器和QoS控制参数把应用程序共享数据组播到本网段的MCU或者单播到集中式MCU，同时调用QoS控制器从本网段的MCU或者集中式MCU接收应用程序共享数据，根据事务管理模块的指令选用适当的解码器来播放应用程序共享数据。

本发明封装应用程序共享模块为一个Microsoft DirectShow Filter形式的MPEG-4编码解码器，并支持组播和单播方式发送和接收数据。

视频、音频和应用程序共享数据处理模块使用的RTP包如图3所示，对于视频、音频和应用程序共享，使用不同的AM_MEDIA_TYPE来标记其格式，使用DirectShow技术统一调用视频、音频和应用程序共享各自的Directshow Filter，其视频、音频和应用程序共享数据缓冲区中转流程如图4所示。会议服务中心工作机制

会议服务中心是整个系统的控制中心，由客户端控制模块、多点控制单元控制模块和信息统计模块三个部分组成，其工作机制如图5所示。会议服务中心通过网络服务调用与所有的多媒体客户端、所有的多点控制单元相连，从而获得整个系统最全面最完整的信息，并且提供接口供外部的日志分析、监控和诊断模块。它和客户端通过网络服务调用相连，控制客户端的权限，确定多媒体客户端的视频、音频和屏幕数据的采集参数，建议采用的编码压缩，解码解压缩参数，指导使用组播还是单播来收发数据。它和多点控制单元通过网络服务调用相连，控制多点控制单元是否收发视频、音频和屏幕数据，确定从哪个网络套接字收发视频、音频和屏幕数据的RTP/RTCP包，确定是否需要启动视频转换引擎，设置视频转换引擎的编码器和比特率参数。多点控制单元工作机制

多点控制单元是系统全部视频、音频和屏幕数据的交换中心，由多点控制器和多点处理器两部分组成，其系统结构如图6所示。多点控制器通过网络服务调用与会议服务中心相连，接收会议服务中心的指令来控制多点处理器，多点处理器通过窗口消息和多点控制器相连，把收到的RTP/RTCP网络状态信息反馈给多点控制器。

多点控制器由多点交互控制模块和服务质量参数控制模块组成。多点交互控制模块通过窗口消息与多点处理器相连，控制视频、音频和应用程序共享的收发权限，它还通过网络服务调用与会议中心相连，得到与客户端以及其他多点控制单元的连接状态信息。服务质量参数控制模块和多点交互控制模块通过窗口消息相连，根据多点交互控制模块提供的当前多点控制单元在网络拓扑中的角色和位置信息控制媒体流的服务质量参数，将此参数通过窗口消息传递给多点处理器。

多点处理器由转发器和视频转换编码引擎两个部分组成。转发器通过窗口消息和视频转换编码引擎相连，负责接收和转发数据包，而不管数据包里面的数据类型、数据大小和数据内容。视频转换编码引擎负责分别和多点交互控制模块以及服务质量参数控制模块通过窗口消息相连，根据获得的多媒体客户端的网络状况、是否支持组播和单播和设备的处理能力这些信息，把原来的使用某种编码器采用某个比特率编码压缩的视频、音频和屏幕数据转换为使用另外一种编码器采用另外一个比特率编码压缩的视频、音频和屏幕数据。转发器既转发没有经过视频转换编码引擎处理过的视频、音频和屏幕数据，也转发经过视频转换编码引擎处理过的视频、音频和屏幕数据。

转发器采用三种不同的转发方式：(1)单播<->单播转发；(2)单播<->组播转发；(3)组播<->组播转发。其3种不同的工作机制如图7所示，每个转发器通过调用会议服务中心的网络服务来动态创建多个活动的会议室，每个会议室有1个组播地址和4个网络套接字(2个组播网络套接字和2个单播转发网络套接字)。

视频转换编码引擎的工作机制如图8所示，它参考了MPEG-7转换编码提示的效用伸缩描述模式、运动提示描述模式、难度提示描述模式和重要性提示属性。首先使用MPEG-7转换编码提示参数配置工具设置转换编码参数；其次把原始码率的视频流数据通过相应的解码器解码得到未压缩过的视频流数据；然后调用自适应的MPEG-4编码器使用质量可扩展的分层编码算法重新编码，得到重编码码率的视频流。

视频转换编码引擎包含一个MPEG-7转换编码提示参数配置工具，它从已有的视频文件中抽取出来的运动提示参数、难度提示参数和重要性提示参数，通过调用会议服务中心的网络服务，自动地调整或者手动配置参数。视频转换编码引擎根据参数配置工具生成的MPEG-7转换编码提示来对多媒体内容进行相应的处理。

视频转换编码引擎使用分层可扩展性编码技术来支持9.6kbps到768kbps范围的不同带宽，满足不同网络、不同设备、不同处理器、不同操作系统的个性化的多媒体访问需求。本发明采用质量可扩展性分层编码，其工作机制如图9所示，对原始视频进行一次很粗的量化形成基本层码流，然后对原始视频和基本层视频的差再进行一次量化，生成增强层码流，如果有多个增强层码流则重复上面的过程。发送端通过网络把基本层码流和多个增强层码流发送出去；接收端根据自己的网络带宽和处理器能力选择接收相应的基本层码流和多个增强层码流，然后通过分层编码解码器重构原始视频数据。本发明实现了三层码流：第一层是使用二进制视频编码来产生9.6kbps的基本层码流，满足使用“通用分组无线业务GPRS”网络的手持设备用户；  第二层是增强层1，使用MPEG-4编码器得到128kbps的视频流，满足使用无线局域网的手持设备用户和带宽比较窄的计算机用户；第三层是增强层2，使用MPEG-4编码器得到768kbps的视频流，提供最高的视频质量，满足拥有最高带宽和最高处理能力的用户。

Claims (6)

1、一种远程教学多模式实时多媒体交互系统，其特征在于由多媒体客户端，会议服务中心和多点控制单元组成，会议服务中心分别和多媒体客户端和多点控制单元通过网络服务调用相连，多媒体客户端和多点控制单元通过实时传输RTP/实时控制RTCP协议相连，会议服务中心控制客户端和多点控制单元的用户权限，客户端接收会议服务中心的指令控制本地的视频、音频和其他教学数据的发送和接收，多点控制单元接收会议服务中心的指令控制视频、音频和其他教学数据的转发，客户端在得到会议服务中心的授权后，向多点控制单元发送本地的视频、音频和其他教学数据，并从多点控制单元接收其他客户端的视频、音频和其他教学数据；多点控制单元根据会议服务中心提供的信息启动视频、音频和其他教学数据转发模块和视频转换编码引擎。

2、如权利要求1所说的远程教学多模式实时多媒体交互系统，其特征在于多媒体客户端由事务管理模块，视音频处理模块和应用程序共享模块三个部分组成，事务管理模块与会议服务中心通过网络服务相连，进行状态、控制信息的交互，并根据其交互结果发送窗口控制信息给视音频处理模块和应用程序共享模块。

3、如权利要求1所说的远程教学多模式实时多媒体交互系统，其特征在于会议服务中心由客户端控制模块、多点控制单元控制模块和信息统计模块三个部分组成，通过网络服务调用与所有的多媒体客户端及多点控制单元相连。

4、如权利要求1所说的远程教学多模式实时多媒体交互系统，其特征在于多点控制单元采用分布式和集中式相结合的混合模型，由多点控制器MC和多点处理器MP两部分组成，多点控制器通过网络服务调用与会议服务中心相连，接收会议服务中心的指令来控制多点处理器，多点处理器通过窗口消息和多点控制器相连，把收到的RTP/RTCP网络状态信息反馈给多点控制器。

5、如权利要求4所说的远程教学多模式实时多媒体交互系统，其特征在于多点控制器MC由多点交互控制模块和服务质量参数控制模块组成，多点交互控制模块通过窗口消息与多点处理器相连，控制视频、音频和应用程序共享的收发权限，通过网络服务调用与会议中心相连，生成当前多点控制单元与其他客户端和多点控制单元的连接状态信息，服务质量参数控制模块和多点交互控制模块通过窗口消息相连，根据多点交互控制模块提供的当前多点控制单元在网络拓扑中的角色和位置信息控制媒体流的服务质量参数，将此参数通过窗口消息传递给多点处理器，多点处理器由转发器和视频转换编码引擎两个部分组成，转发器通过窗口消息和视频转换编码引擎相连，负责接收和转发数据包，视频转换编码引擎和多点交互控制模块及服务质量参数控制模块通过窗口消息相连。

6、如权利要求5所说的远程教学多模式实时多媒体交互系统，其特征在于视频转换编码引擎使用MPEG-7转换编码提示参数配置工具设置转换编码参数，把原始码率的视频流数据通过相应的解码器解码得到未压缩过的视频流数据，然后调用自适应的MPEG-4编码器使用质量可扩展的分层编码算法重新编码，得到重编码码率的视频流。

Images