CN104539436A - 一种课堂内容实时直播方法及系统 - Google Patents

Abstract

本发明提出一种课堂内容实时直播的方法及系统，将操作指令采用脚本形式与音视频流数据分离，有效降低了带宽要求，提高了播放的流畅性和屏幕适配性。该方法包括下列步骤：获取服务端配置数据并初始化客户端，所述客户端包括教师客户端和学生客户端；获取课程开始时间并开始课程直播；获取教师客户端显示数据并同步给其他学生客户端；根据教师客户端或授权学生客户端的请求开始或停止获取音视频数据；将获取的音视频数据实时传输给其他客户端；获取教师客户端及授权学生客户端操作数据并实时传输给其他客户端；获取客户端输入的聊天记录数据并实时传输给其他客户端；获取课程结束时间并结束课程直播。

Description

一种课堂内容实时直播方法及系统

技术领域

本发明涉及教育软件领域，且特别涉及一种课堂内容实时直播方法及系统。

背景技术

随着信息技术迅速发展，特别是从互联网到移动互联网，创造了跨时空的生活、工作和学习方式，使知识获取的方式发生了根本变化。教与学可以不受时间、空间和地点条件的限制，知识获取渠道灵活与多样化。

远程教育是学生与教师、学生与教育组织之间主要采取多种媒体方式进行系统教学和通信联系的教育形式，是将课程传送给校园外的一处或多处学生的教育。现代远程教育则是指通过音频、视频(直播或录像)以及包括实时和非实时在内的计算机技术把课程传送到校园外的教育。现代远程教育是随着现代信息技术的发展而产生的一种新型教育方式。计算机技术、多媒体技术、通信技术的发展，特别是互联网的迅猛发展，使远程教育的手段有了质的飞跃，成为高新技术条件下的远程教育。现代远程教育是以现代远程教育手段为主，兼容面授、函授和自学等传统教学形式，多种媒体优化组合的教育方式。

在目前的远程教育相关系统中，对于虚拟课堂直播的解决方案通常是将整个虚拟课堂的音视频内容在本地或者服务端使用摄影录音装置进行实时视频拍摄，同时实时同步传输给其他客户端的方式来实现的。

视频文件作为课堂直播的形式，存在着几个明显的缺点：

1.文件过大：视频是高数据量和计算量要求的呈现形式，对于存储的开销很大。无论在本地或者服务器上，上课次数越多，上课时间越长，对本地存储或网络流量会相应有更大的开销，而且这种情况对于移动设备而言会更加明显。

2.屏幕适配性差，举例来说，一个按照1080p标准进行采集的虚拟课堂视频直播，在PC或者电视上播放时，效果会很好，但是在4:3的显示设备或者平板、手机等小屏幕设备上播放时，效果就差强人意了。

3.版权保护风险，无论何种视频文件，作为一个独立的文件形式数据，相比于其他私有型数据而言，要更加容易传播和侵权。在远程教育情境下，教育机构或教师对于上课过程是否公开或可传播都有不同的考量，而视频文件的保密性不能覆盖这些不同的需求。

发明内容

本发明提出一种课堂内容实时直播方法及系统，能够将教师及学生端的音视频数据、上课素材数据及操作数据分别独立传输，上课素材数据独立加载，上课操作指令采用脚本形式与音视频流数据分离，对下载带宽要求较低并且有效提高了播放的流畅性。

为了达到上述目的，本发明提出一种课堂内容实时直播的方法，包括下列步骤：

获取服务端配置数据并初始化客户端，所述客户端包括教师客户端和学生客户端；

获取课程开始时间并开始课程直播；

获取教师客户端显示数据并同步给其他学生客户端；

根据教师客户端或授权学生客户端的请求开始或停止获取音视频数据；

将获取的音视频数据实时传输给其他客户端；

获取教师客户端及授权学生客户端操作数据并实时传输给其他客户端；

获取客户端输入的聊天记录数据并实时传输给其他客户端；

获取课程结束时间并结束课程直播。

进一步的，若教师在上课开始时间之前登陆教师客户端并进入课堂，那么直播的课程开始时间为该课堂的开始时间；若教师在上课开始时间之后登陆教师客户端并进入课堂，那么直播的课程开始时间为教师登陆时间。

进一步的，若教师在上课结束时间之前结束上课并且离开课堂，那么直播的课程结束时间为该堂课的结束时间；若教师在上课结束时间之后依然继续上课，那么直播的课程结束时间为教师下线并且5分钟之内未登陆课堂的时间。

进一步的，所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。

进一步的，所述获取音视频数据的步骤包括：教师客户端或授权学生端向服务端发起音视频连接，连接成功后所述教师客户端或授权学生端生成信令数据并发送给所述服务端，所述服务端收到信令数据后请求音视频直播服务开始获取音视频流数据；当教师客户端或授权学生端结束音视频直播时，所述教师客户端或授权学生端向服务端发起关闭音视频操作，并生成信令数据发送给服务端，所述服务端收到信令数据后请求音视频直播服务停止获取音视频流数据。

进一步的，所述信令数据为根据客户端的角色类型、角色ID和客户端当前时间生产的rtmp串数据。

进一步的，所述音视频直播服务通过RTMP流抓取模块获取音视频流数据。

进一步的，所述获取音视频数据的步骤还包括：所述服务端收到信令数据后请求音视频录制服务开始或停止录制从所述音视频直播服务获取音视频流数据，录制结束后将录制的音视频流数据生成flv或mp4文件同时添加课程ID并传输到数据存储端保存。

进一步的，所述教师客户端显示数据包括：教师打开的黑板或者课件信息，所述黑板信息包括黑板位置信息、切换黑板及相关操作数据，所述课件信息包括教师打开课件的文件地址以及开启、关闭及相关操作数据。

进一步的，所述教师客户端显示数据还包括多媒体数据，所述多媒体数据包括教师开启音视频的文件地址以及开启、关闭及相关操作数据。

进一步的，所述教师客户端的操作数据包括：黑板操作数据、课件操作数据、点名或要求学生发言，其中，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层，所述授权学生客户端的操作数据包括：签到、提问或授权发言。

进一步的，所述教师客户端或授权学生客户端将所述操作数据结合消息信令类型生成结构化数据并发送给服务端，所述服务端将所述结构化数据重新解析为操作数据，所述服务端再将所述操作数据封装成广播结构化数据并转发给其他客户端。

进一步的，所述结构化数据包括操作类型、操作数据、位置信息和消息信令类型。

进一步的，其他客户端接收到广播结构化数据后将其解析为操作数据，并将黑板操作数据或课件操作数据绘制到黑板或课件上层的描绘层，将点名签到、要求学生发言、提问或授权发言数据发送到交互服务处理。

进一步的，所述服务端将解析后的操作数据添加该数据的触发时间信息和课程ID后传输到数据存储端保存。

为了达到上述目的，本发明还提出一种课堂内容实时直播系统，包括：服务端、教师客户端、学生客户端和数据存储端，所述教师客户端或授权学生端获取课堂数据后发送给服务端处理，所述服务端将处理后的课堂数据转发到其他客户端，同时将课堂数据发送到数据存储端并添加课程ID后保存。

进一步的，所述课堂数据包括课程开始时间、课程结束时间、音视频数据、服务器配置数据、教师客户端显示数据、教师客户端和授权学生客户端操作数据、课堂内聊天记录。

进一步的，所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。

进一步的，所述服务端包括实时上课服务端、数据服务端和录像课程服务端，其中，所述实时上课服务端用于获取课堂数据，所述数据服务端用于提供课件数据服务及音视频数据服务，所述录像课程服务端用于录像回放服务。

进一步的，所述实时上课服务端包括授课信令服务模块、录像脚本保存服务模块和音视频录制服务模块，其中，所述授课信令服务模块用于获取教师客户端或授权学生客户端的信令数据，并通过所述信令数据请求所述音视频录制服务模块开始或停止录制音视频流数据，同时所述授课信令服务模块将除了音视频流数据以外的课堂数据发送给录像脚本保存服务模块处理后发送到数据存储端保存。

进一步的，所述信令数据为根据客户端的角色类型、角色ID、角色的音视频播放状态和客户端当前时间生产的rtmp串数据。

进一步的，所述音视频录制服务模块通过RTMP流抓取模块进行音视频流数据录制，并将所述音视频流数据生成flv或mp4文件后发送到数据存储端保存。

进一步的，所述数据服务端包括HTTP数据服务模块，音视频直播服务模块和音视频点播服务模块，其中，所述HTTP数据服务模块用于提供课件数据服务，所述音视频直播服务模块用于实时课堂中的音视频数据服务，所述音视频点播服务模块用于多媒体数据服务和录像回放的音视频数据服务。

进一步的，所述HTTP数据服务模块根据教师客户端请求从数据存储端获取课件数据并传输给所有客户端。

进一步的，所述服务端获取教师客户端或授权学生端的信令数据后请求所述音视频直播服务模块开始获取音视频流数据并实时传输给其他客户端，所述音视频直播服务模块通过RTMP流抓取模块进行音视频流数据获取。

进一步的，所述音视频点播服务模块用于多媒体数据服务时，根据教师客户端的请求从数据存储端获取多媒体文件数据并传输给所有客户端。

进一步的，所述数据存储端包括数据库模块和文件服务模块，所述数据库模块用于存储通过客户端信令数据获取的操作脚本数据，所述文件服务模块用于存储音视频流数据、课件数据和多媒体数据。

进一步的，所述教师客户端和学生客户端分别包括直播模块和录播模块，所述直播模块包括通信层模块和呈现层模块，其中所述通信层模块包括录像数据存储模块，所述呈现层模块包括课件显示模块、黑板显示模块、交互模块、音视频直播模块和音视频点播模块。

进一步的，所述课件显示模块用于存储课件信息及课件操作数据，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层；所述黑板显示模块用于存储黑板信息及黑板操作数据，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层。

进一步的，所述交互模块用于存储聊天记录、点名签到信息、要求学生发言信息、提问或授权发言数据；所述录像数据存储模块用于存储从数据存储端获取的除了音视频流数据以外的课堂数据。

进一步的，所述音视频点播模块用于存储从数据存储端获取的课堂录像音视频流数据、多媒体文件及相关操作信息；所述音视频直播模块用于实时播放从所述服务端获取的音视频流数据。

本发明提出的课堂内容实时直播方法及系统，其有益效果为：

1.带宽要求低，播放更流畅：将教师使用的黑板、课件或多媒体文件作为源文件独立加载，音视频文件仅录制教师及授权学生的语音数据以及教师的头像数据，将操作数据作为脚本，两者分开传输，整体数据量更小，网络适应性强：与将整个课堂内容全部拍摄的视频直播相比，无论在何种同等分辨率下，单位时间内的数据量都更小，对更窄的网络环境的适应性更强；

2.直播效果理想：原始数据以教师操作数据的脚本为基础，结合下载的黑板、课件或多媒体文件，通过不同类型或平台的客户端的本地化展示，可以达到最佳的直播效果，黑板、课件或多媒体文件可以自动适配电脑屏幕、电视屏幕、平板或手机屏幕的分辨率，结合教师操作数据脚本，实现完美播放；

3.有益于版权保护：所有数据全部来自于云端，通过对脚本数据、课件文件数据、音视频数据的访问限制和加密保护，以及不同类型平台客户端的加密保护，可以有效提升版权保护效果。

附图说明

图1所示为本发明较佳实施例的课堂内容实时直播方法流程图。

图2所示为本发明较佳实施例的结构化数据示意图。

图3所示为本发明较佳实施例的黑板描绘直播及回放示意图。

图4所示为本发明较佳实施例的课堂内容实时直播系统结构示意图。

图5所示为本发明较佳实施例的授课信令服务模块及录像脚本保存服务模块结构示意图。

图6所示为本发明较佳实施例的客户端直播模块结构示意图。

图7所示为本发明较佳实施例的黑板描绘及回放示意图。

图8所示为本发明较佳实施例的课件操作及回放示意图。

图9所示为本发明较佳实施例的教师音视频直播及回放示意图。

图10所示为本发明较佳实施例的学生音视频直播及回放示意图。

图11所示为本发明较佳实施例的多媒体课件播放及回放示意图。

具体实施方式

以下结合附图给出本发明的具体实施方式，但本发明不限于以下的实施方式。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用于方便、明晰地辅助说明本发明实施例的目的。

请参考图1，图1所示为本发明较佳实施例的课堂内容实时直播方法流程图。本发明提出一种课堂内容实时直播的方法，包括下列步骤：

步骤S110：获取服务端配置数据并初始化客户端，所述客户端包括教师客户端和学生客户端；

步骤S120：获取课程开始时间并开始课程直播；

步骤S130：获取教师客户端显示数据并同步给其他学生客户端；

步骤S140：根据教师客户端或授权学生客户端的请求开始或停止获取音视频数据；

步骤S150：将获取的音视频数据实时传输给其他客户端；

步骤S160：获取教师客户端及授权学生客户端操作数据并实时传输给其他客户端；

步骤S170：获取客户端输入的聊天记录数据并实时传输给其他客户端；

步骤S180：获取课程结束时间并结束课程直播。

根据本发明较佳实施例，若教师在上课开始时间之前登陆教师客户端并进入课堂，那么直播的课程开始时间为该课堂的开始时间；若教师在上课开始时间之后登陆教师客户端并进入课堂，那么直播的课程开始时间为教师登陆时间。

进一步的，若教师在上课结束时间之前结束上课并且离开课堂，那么直播的课程结束时间为该堂课的结束时间；若教师在上课结束时间之后依然继续上课，那么直播的课程结束时间为教师下线并且5分钟之内未登陆课堂的时间。

获取课程开始时间之后，当教师开启麦克风和摄像头后，课程正式开始，课程开始后即可获取音视频流数据、教师及授权学生的操作信息以及聊天记录等课堂数据。

根据本发明较佳实施例，所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。所述课堂ID为该堂课的标示信息，在教师或者系统管理员创建课堂时由系统自动分配；角色类型和数量分别定义为有几名教师进行授课，有多少学生进行听课，以及是否具有旁听人员，角色ID由各角色进入课堂时系统自动分配，以便起到标示作用；角色的音视频播放状态是指，在服务端配置数据中，每个课堂中的角色都会有两个文本类型的值分别表示其音频的流媒体地址和视频的流媒体地址，如果该音频流或视频流地址不为空，则表示该用户正在音频或者视频的播放状态，当前客户端会解析并进行播放，反之，则不进行解析播放。

根据本发明较佳实施例，所述获取音视频数据的步骤包括：教师客户端或授权学生端向服务端发起音视频连接，连接成功后所述教师客户端或授权学生端生成信令数据并发送给所述服务端，所述服务端收到信令数据后请求音视频直播服务开始获取音视频流数据；当教师客户端或授权学生端结束音视频直播时，所述教师客户端或授权学生端向服务端发起关闭音视频操作，并生成信令数据发送给服务端，所述服务端收到信令数据后请求音视频直播服务停止获取音视频流数据。

根据本发明较佳实施例，所述信令数据为根据客户端的角色类型、角色ID和客户端当前时间生产的rtmp串数据。举例来说，如果角色类型为老师，ID为10000，当前时间为2014-01-0110:00:00，当前的动作是推送音频(即说话)，则rtmp串数据为10000-teacher-audio-2014-01-01-10-00-00。RTMP(Real TimeMessaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。

所述音视频直播服务通过RTMP流抓取模块获取音视频流数据。进一步的，所述获取音视频数据的步骤还包括：所述服务端收到信令数据后请求音视频录制服务开始或停止录制从所述音视频直播服务获取的音视频流数据，录制结束后将录制的音视频流数据生成flv或mp4文件(也可设置生成其他类型文件)，同时添加课程ID并传输到数据存储端保存。

根据本发明较佳实施例，所述教师客户端显示数据包括：教师打开的黑板或者课件信息，所述黑板信息包括黑板位置信息、切换黑板及相关操作数据，所述课件信息包括教师打开课件的文件地址以及开启、关闭及相关操作数据。

进一步的，所述教师客户端显示数据还包括多媒体数据，所述多媒体数据包括教师开启音视频的文件地址以及开启、关闭及相关操作数据，例如教师打开一段视频文件播放作为演示讲解。

获取到的教师客户端显示数据同步推送到其他客户端上显示，这样在其他客户端上就可以同步显示教师打开的相应的黑板、课件或多媒体文件，实现课堂内容实时直播。

所述教师客户端的操作数据包括：黑板操作数据、课件操作数据、点名或要求学生发言(还包括同意学生提问、随堂测试，聊天等所有课堂操作内容)，其中，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层，所述授权学生客户端的操作数据包括：签到、提问或授权发言(还包括描绘、添加笔记、截图、随堂测试等所有课堂操作内容)。

描绘层是基于flash的可视化基础类编写出的一层能够支持黑板或课件描绘、文本输入、清除、橡皮擦等功能控件，其可叠加显示在黑板或课件上，并且其能够将界面的显示内容转化成结构化数据发送给服务器，还能将服务器接受到的结构化数据转化成界面的显示内容。

所述教师客户端或授权学生客户端将所述操作数据结合消息信令类型生成结构化数据并发送给服务端，所述服务端将所述结构化数据重新解析为操作数据，所述服务端再将所述操作数据封装成广播结构化数据并转发给其他客户端。

进一步的，所述结构化数据包括操作类型、操作数据、位置信息和消息信令类型。其中，所述消息信令类型包括黑板描绘操作、课件描绘操作，所述操作类型包括文本输入、图形线条描绘、画笔功能、橡皮擦功能、清空操作、截图、麦克风开关、摄像头开关、音视频播放、图形库选取、在线词典、权限设定及其他各种操作，所述绘制数据包括教师在黑板或课件上绘制的具体信息数据，所述位置信息为教师所绘制的数据在黑板或课件上的具体位置数据。

根据本发明较佳实施例，以下举例说明教师客户端获取黑板数据或课件数据并进行处理的过程：教师在课程第20分钟时，在实时课堂的黑板模块的第一块黑板上选择的画笔功能，并在选择的黑板上x＝10，y＝10的位置按下鼠标，此时黑板模块的绘图数据内记录了起始点位置信息(10,10)；当教师在黑板上移动按住的鼠标的时候，会将移动点的x值与y值都传递到黑板的绘图数据内进行记录每个点的位置信息；当教师在黑板上x＝200，y＝200的位置放开鼠标的时候，结束本次绘制操作，黑板模块的绘制数据记录下终点位置信息(200,200)；黑板模块根据获取的绘制数据、操作类型(画笔功能)、位置信息结合消息信令类型(黑板描绘操作)生成结构化数据并发送给服务端；所述服务端收到黑板模块发送来的结构化数据后，解析所述结构化数据，并根据解析后的消息信令类型为黑板描绘操作，将其解析后的数据添加时间信息(第20分钟作为时间标签)后保存到数据存储端。其中，教师客户端获取黑板数据或课件数据也可以由教师客户端获取每一帧的操作数据，包括在黑板或课件上的描绘(画线或写字)数据，并将其生成结构化数据后发送给服务端同步，当教师完成描绘操作后，教师客户端再发送一次包含完整描绘数据的信息并生成结构化数据发送给服务端。

请参考图2，图2所示为本发明较佳实施例的结构化数据示意图。本发明较佳实施例的黑板描绘生成的结构化数据如附图2所示，其生成的是JSON格式的结构化数据发送给服务端。

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它基于JavaScript(Standard ECMA-2623rd Edition-December 1999)的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C,C++,C#,Java,JavaScript,Perl,Python等)。这些特性使JSON成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成(网络传输速度快)。当然，其也可以生成为如附图2所示的XML格式的结构化数据。

XML是Extensible Markup Language的简写，其是一种可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。

根据本发明较佳实施例，其他客户端接收到广播结构化数据后将其解析为操作数据(根据消息信令类型区分为黑板操作数据或课件操作数据)，并再根据位置信息、操作类型及绘制数据将黑板操作数据或课件操作数据绘制到黑板或课件上层的描绘层，将点名签到、要求学生发言、提问或授权发言数据发送到交互服务处理。进一步的，所述服务端将解析后的操作数据添加该数据的触发时间信息和课程ID后传输到数据存储端保存。

根据本发明较佳实施例，同样由上面提到的实施例举例说明如下：当客户端播接收到服务端发出的广播结构化数据，便将所述结构化数据解析，根据解析后的消息信令类型为黑板描绘操作，因此将解析得到的黑板操作数据发送到黑板模块，黑板模块根据收到的数据进行黑板描绘操作，在黑板上层的描绘层描绘由数据中起始点的x＝10，y＝10到x＝200，y＝200这中间的所有数据，并且将所有点从起始点开始到终点进行连线展现到黑板上的描绘层(根据时间标签信息逐点描绘，显示动态描绘的过程直播)，实现教师黑板描绘操作的动作直播。

请参考图3，图3所示为本发明较佳实施例的黑板描绘直播及回放示意图。教师客户端黑板描绘操作直播及回放的整体过程可以参考图3，教师客户端采集教师在黑板上描绘的线条数据，将其生成结构化数据(JSON格式或XML格式)，并将结构化数据发送给服务端，所述服务端将结构化数据解析为直播课堂信令发送给学生客户端，或者解析为录像课堂信令发送给录像播放端。学生客户端获取直播课堂信令后将其还原为结构化数据并进行解析，然后进行黑板描绘数据渲染(将结构化数据解析为黑板描绘数据后描绘到黑板上层的描绘层)，最终显示教师端在黑板上描绘的线条数据。录像播放端获取录像课堂信令后对录像数据进行分时解析，之后进行直播消息模拟(逐帧查询是否存在当前触发时间的课堂数据)，查询到触发时间为当前时间的课堂数据后将其还原为结构化数据并进行解析，接着进行黑板描绘数据渲染(将结构化数据解析为黑板描绘数据后描绘到黑板上层的描绘层)，最终在录像播放端上显示教师端在黑板上描绘的线条数据。

请参考图4，图4所示为本发明较佳实施例的课堂内容实时直播系统结构示意图。本发明还提出一种课堂内容实时直播系统，包括：服务端100、教师客户端200、学生客户端300和数据存储端400，所述教师客户端200或授权学生端300获取课堂数据后发送给服务端100处理，所述服务端100将处理后的课堂数据转发到其他客户端，同时将课堂数据发送到数据存储端400并添加课程ID后保存。

根据本发明较佳实施例，所述课堂数据包括课程开始时间、课程结束时间、音视频数据、服务器配置数据、教师客户端显示数据、教师客户端和授权学生客户端操作数据、课堂内聊天记录。

若教师在上课开始时间之前登陆教师客户端200并进入课堂，那么直播的课程开始时间为该课堂的开始时间；若教师在上课开始时间之后登陆教师客户端200并进入课堂，那么直播的课程开始时间为教师登陆时间。

若教师在上课结束时间之前结束上课并且离开课堂，那么直播的课程结束时间为该堂课的结束时间；若教师在上课结束时间之后依然继续上课，那么直播的课程结束时间为教师下线并且5分钟之内未登陆课堂的时间。

获取课程开始时间之后，当教师开启麦克风和摄像头后，课程正式开始，课程开始后即可获取音视频流数据、教师及授权学生的操作信息以及聊天记录。

所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。所述课堂ID为该堂课的标示信息，在教师或者系统管理员创建课堂时由系统自动分配；角色类型和数量分别定义为有几名教师进行授课，有多少学生进行听课，以及是否具有旁听人员，角色ID由各角色进入课堂时系统自动分配，以便起到标示作用；角色的音视频播放状态是指，在服务端配置数据中，每个课堂中的角色都会有两个文本类型的值分别表示其音频的流媒体地址和视频的流媒体地址，如果该音频流或视频流地址不为空，则表示该用户正在音频或者视频的播放状态，当前客户端会解析并进行播放，反之，则不进行解析播放。

根据本发明较佳实施例，所述服务端100包括实时上课服务端110、数据服务端120和录像课程服务端130，其中，所述实时上课服务端110用于获取课堂数据，所述数据服务端120用于提供课件数据服务及音视频数据服务，所述录像课程服务端130用于录像回放服务。

所述数据存储端400包括数据库模块410和文件服务模块420，所述数据库模块410用于存储通过客户端信令数据获取的操作脚本数据，所述文件服务模块420用于存储音视频流数据、课件数据和多媒体数据。

进一步的，所述实时上课服务端110包括授课信令服务模块111、录像脚本保存服务模块112和音视频录制服务模块113，其中，所述授课信令服务模块111用于获取教师客户端200或授权学生客户端300的信令数据，并通过所述信令数据请求所述音视频录制服务模块113开始或停止录制音视频流数据(所述音视频流数据通过音视频直播服务模块122从教师客户端200或授权学生客户端300获取)，同时所述授课信令服务模块111将除了音视频流数据以外的课堂数据发送给录像脚本保存服务模块112处理，所述录像脚本保存服务模块112将获取的课堂数据传输到数据存储端400的数据库模块410进行保存，保存文件时添加相应课程ID标签便于管理、查询及后期下载回放。

请参考图5，图5所示为本发明较佳实施例的授课信令服务模块及录像脚本保存服务模块结构示意图。所述授课信令服务模块111通过Multi-Socket IO(多种输入输出服务接口)获取客户端信令数据，并将信令数据传输给编解码及加解密处理模块处理，所述编解码及加解密处理模块处理包括信令转换模块、内存数据存储模块、日志模块和广播模块，将处理后的信令数据传输给业务处理模块，所述业务处理模块包括全局业务、黑板/课件业务、直播点播业务和其他业务，根据不同类型的信令数据传输给不同业务模块处理，处理后的数据发送给录像脚本保存服务模块112，所述录像脚本保存服务模块112包括消息时间戳处理模块和录像处理模块，所述录像处理模块包括录像脚本队列模块和数据库通讯模块，所述录像脚本保存服务模块112将收到的脚本数据处理后发送给数据库模块410存储。

所述信令数据为根据客户端的角色类型、角色ID、角色的音视频播放状态和客户端当前时间生产的rtmp串数据。进一步的，所述音视频录制服务模块113通过RTMP流抓取模块进行音视频流数据录制，并将所述音视频流数据生成flv或mp4文件后发送到数据存储端400的文件服务模块420保存，当然也可以设置为生成其他类型的文件进行保存，保存文件时添加相应课程ID标签便于管理及后期下载回放。

教师客户端200或授权学生端300向服务端100发起音视频连接(教师端200为教师授课时的音视频录制连接请求，授权学生端300为教师授权学生发言时的音视频录制连接请求)，连接成功后所述教师客户端200或授权学生端300生成信令数据并发送给所述服务端100的授课信令服务模块111，所述授课信令服务模块111收到信令数据后请求音视频录制服务模块123开始录制音视频流数据。进一步的，当课程结束或者授权学生端学生发言结束后，教师客户端200或授权学生端300向服务端100发起关闭音视频操作，并生成信令数据发送给服务端100的授课信令服务模块111，所述授课信令服务模块111收到信令数据后请求音视频录制服务模块113停止录制音视频流数据，并将录制得到的音视频流数据生成flv或mp4文件保存到数据存储端400的文件服务模块420并添加相应的课程ID标签。

根据本发明较佳实施例，所述数据服务端120包括HTTP数据服务模块121，音视频直播服务模块122和音视频点播服务模块123，其中，所述HTTP数据服务模块121用于提供课件数据服务，包括Office文档文件(如doc、xls、ppt)、图片文件(如jpeg、gif、png)、音频或视频格式文件(如mp3、mp4)等，HTTP数据服务模块是将教师所使用的通用文件转化成swf文件类型，从而使得这些通用文件类型能够在课堂中进行展现，所述HTTP数据服务模块121根据教师客户端200请求从数据存储端400获取课件数据并传输给所有客户端。

所述音视频直播服务模块122用于实时课堂中的音视频数据服务，在实时课堂中，所述音视频直播服务模块122直接获取教师客户端200或授权学生端300的音视频流数据，并实时传输给其他客户端播放，同时将所获取的音视频流数据发送给音视频录制服务模块113进行录制。所述服务端100获取教师客户端200或授权学生端300的信令数据后请求所述音视频直播服务模块122开始获取音视频流数据并实时传输给其他客户端，所述音视频直播服务模块122通过RTMP流抓取模块进行音视频流数据获取。

所述音视频点播服务模块123用于多媒体数据服务和录像回放的音视频数据服务，所述音视频录制服务模块113将录制的教师客户端200或授权学生端300的音视频流数据传输给数据存储端400的文件服务模块420保存后，所述音视频点播服务模块123根据录像播放端(可以使教师客户端200或学生客户端300)的请求下载相应的音视频流数据并传授给该客户端进行录像回放。所述音视频点播服务模块123用于多媒体数据服务时，根据教师客户端200的请求从数据存储端400获取多媒体文件数据并传输给所有客户端。

所述录像课程服务端130包括录像脚本供应服务模块131，所述录像脚本供应服务模块131用于获取除了音视频流数据以外的课堂数据以及客户端的录像回放操作数据，所述录像脚本供应服务模块131根据客户端的请求获取存储于数据存储端400的数据库模块410中的课堂数据，包括服务器配置数据、教师客户端显示数据、教师客户端和学生客户端操作数据、课堂内聊天记录等等除了音视频流数据以外的课堂数据，并将这些课堂数据传输给相应的客户端进行处理。

请参考图6，图6所示为本发明较佳实施例的客户端直播模块结构示意图。所述教师客户端和学生客户端分别包括直播模块和录播模块，所述直播模块用于课堂内容实时直播，所述录播模块用于课堂内容录像回放。所述直播模块包括通信层模块500和呈现层模块600，其中所述通信层模块500包括编解码及加解密处理模块510、流媒体控制模块520和内部消息派发通道530，其中所述编解码及加解密处理模块510包括信令消息转换模块511、消息信令转换模块512、录像数据存储模块513、多种协议支持模块514和日志模块515，所述编解码及加解密处理模块510通过多种协议接口(Multi-Protocol Socket)获取除了音视频流数据以外的课堂数据，并存储在所述录像数据存储模块513中，并将课堂数据通过内部消息派发通道530发送给呈现层模块600；所述流媒体控制模块520包括状态监控模块521、质量控制模块522和日志模块523，所述流媒体控制模块520获取音视频流数据(Media Stream)，并将其直接发送给呈现层模块600。

所述呈现层模块600包括课件显示模块610、黑板显示模块620、交互模块630、音视频直播模块640和音视频点播模块650。所述各个模块分别包括显示层和交互层。其中，所述课件显示模块610、黑板显示模块620和交互模块630分别用于显示课件数据、黑板数据和聊天记录，所述音视频直播模块640用于实时直播时的音视频播放，所述音视频点播模块650用于多媒体数据播放，所述各个模块通过交互层获取数据并通过显示层呈现。

所述课件显示模块610用于存储课件信息及课件操作数据，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层；所述黑板显示模块620用于存储黑板信息及黑板操作数据，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层。

所述交互模块630用于存储聊天记录、点名签到信息、要求学生发言信息、提问或授权发言数据；所述音视频直播模块640用于存储课堂数据中的音视频流数据；所述音视频点播模块650用于存储多媒体数据，包括教师开启音视频的文件地址以及开启、关闭及相关操作数据。

依旧根据上面的实施例举例说明，当教师在课程第20分钟时，在实时课堂的黑板显示模块的第一块黑板上选择的画笔功能，并在选择的黑板上x＝10，y＝10的位置按下鼠标，此时黑板显示模块的描绘层的绘图数据内记录了起始点位置信息(10,10)；当教师在黑板上移动按住的鼠标的时候，会将移动点的x值与y值都传递到黑板描绘层的绘图数据内进行记录每个点的位置信息；当教师在黑板上x＝200，y＝200的位置放开鼠标的时候，结束本次绘制操作，黑板显示模块的描绘层的绘制数据记录下终点位置信息(200,200)；黑板显示模块根据获取的绘制数据、操作类型(画笔功能)、位置信息结合消息信令类型(黑板描绘操作)生成结构化数据并发送给服务端；所述服务端收到黑板模块发送来的结构化数据后，解析所述结构化数据，并根据解析后的消息信令类型为黑板描绘操作，将其解析后的数据添加时间信息(第20分钟作为时间标签)后保存到数据存储端的数据库模块。

所述服务端再将所述操作数据封装成广播结构化数据并转发给其他客户端，其他客户端接收到广播结构化数据后将其解析，根据解析后的消息信令类型为黑板描绘操作，因此将解析得到的黑板数据发送到黑板显示模块，黑板显示模块根据收到的数据进行黑板描绘操作，在黑板上层的描绘层描绘由数据中起始点的x＝10，y＝10到x＝200，y＝200这中间的所有数据，并且将所有点从起始点开始到终点进行连线展现到黑板上的描绘层(根据时间标签信息逐点描绘，显示动态描绘的过程直播)，实现教师黑板描绘操作的动作直播，从而实现了直播数据的展现。

再请参看图7，图7所示为本发明较佳实施例的黑板描绘及回放示意图。教师在教师端200上的黑板绘制数据传输给服务端100的授课信令服务模块111，并通过授课信令服务模块111同步传输给学生端300，并在学生端300上的黑板模块描绘实现同步直播，所述授课信令服务模块111将黑板描绘的脚本数据发送给录像脚本保存服务模块112处理，处理后的脚本数据发送到数据存储端400的数据库模块410保存，进行录像回放时，服务端100的录像脚本供应服务模块131根据录像播放端的请求获取存储在数据库模块410中的脚本数据，并将所述脚本数据发送给录像播放端的黑板模块处理，最终实现黑板描绘操作的回放。

请参考图8，图8所示为本发明较佳实施例的课件操作及回放示意图。教师在教师端200打开课件文件，所述课件文件为预先由教师在系统中上传，并保存在数据存储端400的文件服务模块420中，通过HTTP数据服务模块121下载打开，教师打开课件的信令数据通过授课信令服务模块111同步传输到学生端300，学生端300根据教师打开的课件文件信息通过HTTP数据服务模块121从文件服务模块420中下载对应的课件文件并在学生端300中打开；教师在教师端200上的课件绘制数据传输给服务端100的授课信令服务模块111，并通过授课信令服务模块111同步传输给学生端300，并在学生端300上的课件模块描绘实现同步直播，所述授课信令服务模块111将课件描绘的脚本数据发送给录像脚本保存服务模块112处理，处理后的脚本数据发送到数据存储端400的数据库模块410保存；进行录像回放时，服务端100的录像脚本供应服务模块131根据录像播放端的请求获取存储在数据库模块410中的脚本数据，同时录像播放端通过HTTP数据服务模块121根据脚本数据中教师打开的课件文件信息从文件服务模块420中下载对应的课件文件，并在录像播放端打开，同时所述录像脚本供应服务模块131将从数据库模块410中获取的课件描绘脚本数据发送给录像播放端，并通过录像播放端的课件模块处理后最终实现课件描绘操作的回放。

请参考图9，图9所示为本发明较佳实施例的教师音视频直播及回放示意图。教师在教师端200上打开麦克风或摄像头的信令数据发送给授课信令服务模块111，所述授课信令服务模块111根据教师的请求通过音视频录制服务模块113录制音视频流数据并发送给数据存储端400的文件服务模块420保存，所述音视频录制服务模块113通过音视频直播服务模块122获取音视频流数据，并由音视频直播服务模块122同步发送给学生端300，实现学生端300上的音视频数据同步播放，教师端200的操作信令数据由授课信令服务模块111发送给录像脚本保存服务模块112处理，处理后的脚本数据发送到数据存储端400的数据库模块410保存；进行录像回放时，服务端100的录像脚本供应服务模块131根据录像播放端的请求获取存储在数据库模块410中的脚本数据，同时录像播放端通过音视频点播服务模块123从文件服务模块420中获取音视频流数据，并根据脚本数据最终实现在录像播放端上回放教师音视频。

请参考图10，图10所示为本发明较佳实施例的学生音视频直播及回放示意图。教师端200授权学生发言，学生端300提问或获得授权的操作信令数据发送给授课信令服务模块111并同步给其他学生端300，所述授课信令服务模块111根据学生的请求通过音视频录制服务模块113录制音视频流数据并发送给数据存储端400的文件服务模块420保存，所述音视频录制服务模块113通过音视频直播服务模块122获取音视频流数据，并由音视频直播服务模块122同步发送给教师端200和其他学生端300，实现音视频数据同步播放，教师端200及授权学生端300的操作信令数据由授课信令服务模块111发送给录像脚本保存服务模块112处理，处理后的脚本数据发送到数据存储端400的数据库模块410保存；进行录像回放时，服务端100的录像脚本供应服务模块131根据录像播放端的请求获取存储在数据库模块410中的脚本数据，同时录像播放端通过音视频点播服务模块123从文件服务模块420中获取音视频流数据，并根据脚本数据最终实现在录像播放端上回放授权学生的音视频。

请参考图11，图11所示为本发明较佳实施例的多媒体课件播放及回放示意图。教师在教师端200打开多媒体文件，所述多媒体文件为预先由教师在系统中上传，并保存在数据存储端400的文件服务模块420中，通过音视频点播服务模块123下载打开，教师打开多媒体文件的信令数据通过授课信令服务模块111传输到学生端300，学生端300根据教师打开的多媒体文件信息通过音视频点播服务模块123从文件服务模块420中下载对应的多媒体文件并在学生端300中打开；所述授课信令服务模块111将教师打开多媒体文件的脚本数据发送给录像脚本保存服务模块112处理，处理后的脚本数据发送到数据存储端400的数据库模块410保存；进行录像回放时，服务端100的录像脚本供应服务模块131根据录像播放端的请求获取存储在数据库模块410中的脚本数据，同时录像播放端通过音视频点播服务模块123根据脚本数据中教师打开的多媒体文件信息从文件服务模块420中下载对应的多媒体文件，并在录像播放端打开，并根据脚本数据最终实现在录像播放端上回放多媒体文件。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (31)

1.一种课堂内容实时直播的方法，其特征在于，包括下列步骤：

获取服务端配置数据并初始化客户端，所述客户端包括教师客户端和学生客户端；

获取课程开始时间并开始课程直播；

获取教师客户端显示数据并同步给其他学生客户端；

根据教师客户端或授权学生客户端的请求开始或停止获取音视频数据；

将获取的音视频数据实时传输给其他客户端；

获取教师客户端及授权学生客户端操作数据并实时传输给其他客户端；

获取客户端输入的聊天记录数据并实时传输给其他客户端；

获取课程结束时间并结束课程直播。

2.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，若教师在上课开始时间之前登陆教师客户端并进入课堂，那么直播的课程开始时间为该课堂的开始时间；若教师在上课开始时间之后登陆教师客户端并进入课堂，那么直播的课程开始时间为教师登陆时间。

3.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，若教师在上课结束时间之前结束上课并且离开课堂，那么直播的课程结束时间为该堂课的结束时间；若教师在上课结束时间之后依然继续上课，那么直播的课程结束时间为教师下线并且5分钟之内未登陆课堂的时间。

4.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。

5.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，所述获取音视频数据的步骤包括：教师客户端或授权学生端向服务端发起音视频连接，连接成功后所述教师客户端或授权学生端生成信令数据并发送给所述服务端，所述服务端收到信令数据后请求音视频直播服务开始获取音视频流数据；当教师客户端或授权学生端结束音视频直播时，所述教师客户端或授权学生端向服务端发起关闭音视频操作，并生成信令数据发送给服务端，所述服务端收到信令数据后请求音视频直播服务停止获取音视频流数据。

6.根据权利要求5所述的课堂内容实时直播的方法，其特征在于，所述信令数据为根据客户端的角色类型、角色ID和客户端当前时间生产的rtmp串数据。

7.根据权利要求5所述的课堂内容实时直播的方法，其特征在于，所述音视频直播服务通过RTMP流抓取模块获取音视频流数据。

8.根据权利要求5所述的课堂内容实时直播的方法，其特征在于，所述获取音视频数据的步骤还包括：所述服务端收到信令数据后请求音视频录制服务开始或停止录制从所述音视频直播服务获取音视频流数据，录制结束后将录制的音视频流数据生成flv或mp4文件同时添加课程ID并传输到数据存储端保存。

9.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，所述教师客户端显示数据包括：教师打开的黑板或者课件信息，所述黑板信息包括黑板位置信息、切换黑板及相关操作数据，所述课件信息包括教师打开课件的文件地址以及开启、关闭及相关操作数据。

10.根据权利要求9所述的课堂内容实时直播的方法，其特征在于，所述教师客户端显示数据还包括多媒体数据，所述多媒体数据包括教师开启音视频的文件地址以及开启、关闭及相关操作数据。

11.根据权利要求1所述的课堂内容实时直播的方法，其特征在于，所述教师客户端的操作数据包括：黑板操作数据、课件操作数据、点名或要求学生发言，其中，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层，所述授权学生客户端的操作数据包括：签到、提问或授权发言。

12.根据权利要求11所述的课堂内容实时直播的方法，其特征在于，所述教师客户端或授权学生客户端将所述操作数据结合消息信令类型生成结构化数据并发送给服务端，所述服务端将所述结构化数据重新解析为操作数据，所述服务端再将所述操作数据封装成广播结构化数据并转发给其他客户端。

13.根据权利要求12所述的课堂内容实时直播的方法，其特征在于，所述结构化数据包括操作类型、操作数据、位置信息和消息信令类型。

14.根据权利要求12所述的课堂内容实时直播的方法，其特征在于，其他客户端接收到广播结构化数据后将其解析为操作数据，并将黑板操作数据或课件操作数据绘制到黑板或课件上层的描绘层，将点名签到、要求学生发言、提问或授权发言数据发送到交互服务处理。

15.根据权利要求12所述的课堂内容实时直播的方法，其特征在于，所述服务端将解析后的操作数据添加该数据的触发时间信息和课程ID后传输到数据存储端保存。

16.一种应用如权利要求1所述的课堂内容实时直播方法的课堂内容实时直播系统，其特征在于，包括：服务端、教师客户端、学生客户端和数据存储端，所述教师客户端或授权学生端获取课堂数据后发送给服务端处理，所述服务端将处理后的课堂数据转发到其他客户端，同时将课堂数据发送到数据存储端并添加课程ID后保存。

17.根据权利要求16所述的课堂内容实时直播系统，其特征在于，所述课堂数据包括课程开始时间、课程结束时间、音视频数据、服务器配置数据、教师客户端显示数据、教师客户端和授权学生客户端操作数据、课堂内聊天记录。

18.根据权利要求17所述的课堂内容实时直播系统，其特征在于，所述服务端配置数据包括：课堂ID、角色类型及数量、角色ID、角色的音视频播放状态和系统时间。

19.根据权利要求16所述的课堂内容实时直播系统，其特征在于，所述服务端包括实时上课服务端、数据服务端和录像课程服务端，其中，所述实时上课服务端用于获取课堂数据，所述数据服务端用于提供课件数据服务及音视频数据服务，所述录像课程服务端用于录像回放服务。

20.根据权利要求19所述的课堂内容实时直播系统，其特征在于，所述实时上课服务端包括授课信令服务模块、录像脚本保存服务模块和音视频录制服务模块，其中，所述授课信令服务模块用于获取教师客户端或授权学生客户端的信令数据，并通过所述信令数据请求所述音视频录制服务模块开始或停止录制音视频流数据，同时所述授课信令服务模块将除了音视频流数据以外的课堂数据发送给录像脚本保存服务模块处理后发送到数据存储端保存。

21.根据权利要求20所述的课堂内容实时直播系统，其特征在于，所述信令数据为根据客户端的角色类型、角色ID、角色的音视频播放状态和客户端当前时间生产的rtmp串数据。

22.根据权利要求20所述的课堂内容实时直播系统，其特征在于，所述音视频录制服务模块通过RTMP流抓取模块进行音视频流数据录制，并将所述音视频流数据生成flv或mp4文件后发送到数据存储端保存。

23.根据权利要求19所述的课堂内容实时直播系统，其特征在于，所述数据服务端包括HTTP数据服务模块，音视频直播服务模块和音视频点播服务模块，其中，所述HTTP数据服务模块用于提供课件数据服务，所述音视频直播服务模块用于实时课堂中的音视频数据服务，所述音视频点播服务模块用于多媒体数据服务和录像回放的音视频数据服务。

24.根据权利要求23所述的课堂内容实时直播系统，其特征在于，所述HTTP数据服务模块根据教师客户端请求从数据存储端获取课件数据并传输给所有客户端。

25.根据权利要求23所述的课堂内容实时直播系统，其特征在于，所述服务端获取教师客户端或授权学生端的信令数据后请求所述音视频直播服务模块开始获取音视频流数据并实时传输给其他客户端，所述音视频直播服务模块通过RTMP流抓取模块进行音视频流数据获取。

26.根据权利要求23所述的课堂内容实时直播系统，其特征在于，所述音视频点播服务模块用于多媒体数据服务时，根据教师客户端的请求从数据存储端获取多媒体文件数据并传输给所有客户端。

27.根据权利要求16所述的课堂内容实时直播系统，其特征在于，所述数据存储端包括数据库模块和文件服务模块，所述数据库模块用于存储通过客户端信令数据获取的操作脚本数据，所述文件服务模块用于存储音视频流数据、课件数据和多媒体数据。

28.根据权利要求16所述的课堂内容实时直播系统，其特征在于，所述教师客户端和学生客户端分别包括直播模块和录播模块，所述直播模块包括通信层模块和呈现层模块，其中所述通信层模块包括录像数据存储模块，所述呈现层模块包括课件显示模块、黑板显示模块、交互模块、音视频直播模块和音视频点播模块。

29.根据权利要求28所述的课堂内容实时直播系统，其特征在于，所述课件显示模块用于存储课件信息及课件操作数据，所述课件操作数据包括教师在课件上的描绘数据以及翻页的操作数据，其位于课件上层的描绘层；所述黑板显示模块用于存储黑板信息及黑板操作数据，所述黑板操作数据包括教师在黑板上描绘的数据与清理黑板的操作数据，其位于黑板上层的描绘层。

30.根据权利要求28所述的课堂内容实时直播系统，其特征在于，所述交互模块用于存储聊天记录、点名签到信息、要求学生发言信息、提问或授权发言数据；所述录像数据存储模块用于存储从数据存储端获取的除了音视频流数据以外的课堂数据。

31.根据权利要求28所述的课堂内容实时直播系统，其特征在于，所述音视频点播模块用于存储从数据存储端获取的课堂录像音视频流数据、多媒体文件及相关操作信息；所述音视频直播模块用于实时播放从所述服务端获取的音视频流数据。