CN106816055B - 一种可交互的低功耗教学直播录播系统及方法 - Google Patents

Abstract

本发明提供了一种可交互的低功耗教学直播录播系统及方法，在学生侧采用了专门的低功耗交互终端，还具有直播控制一体机；该直播控制一体机可采集音视频流媒体、课程教案画面或文件、以及附属媒体文件进行时轴同步化，生成实时课程数据流，上传至直播与录播中心服务器；直播控制一体机还从直播与录播中心服务器获得课程数据流进行解复用，将音视频流媒体以及附属媒体文件进行再现，并且将课程教案画面或文件推送给低功耗交互终端同步显示。本系统还实现互动内容和互动消息的交互。本发明提出了基于密集时间戳和内容重合度的二维时轴同步化技术，并且实现互动内容、互动消息与实时课程数据流的同步关联。

Description

一种可交互的低功耗教学直播录播系统及方法

技术领域

本发明涉及教学直播与录播技术领域，具体来说，涉及一种可交互的低功耗教学直播录播系统及方法。

背景技术

随着现代网络科技的快速发展和视频、音频编解码技术的不断提高，使得基于互联网的远程音视频交互设备迅速普及，并在远程会议、远程教学等方面大量应用。

在远程教育中，一般采用直播与录播系统将教师讲课内容制作为包括音频、视频在内的多媒体形式，由直播中心进行实况录播并可进行实况转播，学生可以通过手持终端接收和观看多媒体形式的教师讲课内容，并与老师实时交互，这样的系统称为教学直播与录播系统。

例如，申请号201610670229.5的中国专利申请“一种便携式教学视频直播系统”以校园网为载体，通过摄像机信号采集将教师授课现场的视频画面拍摄下来，并且进行教师机屏幕信号采集和鼠标移动轨迹采集，还通过本地视频信号采集将教师要在课堂上播放的视频文件拷贝到视频导播平台中，添加到视频直播信号源窗口并与教师同步播放；音频信号采集通过麦克风采集教师授课的声音信号；非编单元、调音单元分别对视、音频信号进行合成，得到画音质量较高的视音频信号，再接入视频导播平台；视频导播平台完成视频导播和视频编码；编码后的视频流从视频导播平台提供给流媒体服务器；教师和学生连接校园网，通过WEB浏览器、视频播放器就可以看到正在直播的视频。

又例如，申请号201510829387.6的中国专利申请“一种远程教学直播系统”包括主服务器模块、网络广播系统、模拟点播服务系统、信号插播与短消息广播系统、视频/屏幕同步传送系统、视频采集系统和视频互动系统；视频互动系统从主服务器模块获取远程直播教学视频，或下载教学视频文件。

在现有技术中，学生侧的终端一般使用平板电脑或者手机，平板电脑或者手机与直播中心使用了基于无线网络的连接技术。平板电脑或者手机维持显示和通信时耗电高，需要频繁充电，如上课使用时恰好没电则被迫中止上课。同时，如果学生在上课过程中频繁使用平板电脑，容易损伤视力。

直播中心的无线网关需要同时响应一个班内数十个甚至上百个学生的连接与多媒体数据请求，占用带宽大，消耗功耗高，需要企业级网关的支持，造成成本极高，硬件投资大，难以在实际教学中真正广泛投入使用。

现有技术中利用摄像装置采集教师授课现场的视频画面，并且采集教师端计算机屏幕同步显示的课程教案画面，以上画面被视频合成设备进行由多画面到单一画面的合成，然后再通过编码形成视频流媒体，连同采集、编码获得的音频流媒体一起，上传至服务器以供学生侧终端的实时或者非实时下载和观看。可见，现有系统中，课程教案信息与教师授课视频由于被合并编码为同一视频流，在学生侧的终端也以同一视频画面的形式共同予以显示。另外，教师在授课时也会引入一些其它视频文件，例如资料片等，这些视频文件要通过导播技术插入上述视频流媒体，实现复杂度比较高。

增强师生之间互动是教学直播与录播系统一个重要的关注点。现有的系统中设置了在教师机和学生侧终端之间的文件和消息收发功能；教师可以通过该文件和消息收发功能向学生侧推送随堂测验题目等互动内容；学生的测验结果也可以利用该文件和消息收发功能回传给教师机；另外教师机和学生侧之间也可以通过消息收发实现课堂对话和问答。测验和对话问答相关的互动内容以弹出窗口的形式叠加显示在课程的上述视频流媒体画面之上，或者是在视频流媒体的显示界面中划出一个片区来并列呈现互动内容。这两种方式都难免对课程本身流媒体的播放带来一些影响(特别是第一种方式会直接遮挡对课程本身流媒体的观看)，后一种方式中互动内容自身的显示和操作也受到限制。另外，互动内容与正在播放的课程本身流媒体内容之间的相关性不强，容易发生脱节现象。例如，课程本身已经进入下一个章节，但是随之显示的互动内容还停留在上一个章节的问答和测试之中。

发明内容

为了克服现有技术中的上述缺陷，本发明提供了一种可交互的低功耗教学直播录播系统及方法。本发明主要解决：(1)现有系统当中存在的学生侧终端功耗高、无线网关负荷大的问题；(2)直播视频画面、教案和互动内容在同一终端显示器上并行显示，造成界面复杂、效果不好的问题；(3)互动内容与直播音视频进程的相关度低、易于脱节的问题。

本发明在学生侧采用了专门的低功耗交互终端，用于实现对课程教案的接收显示，以及互动内容和互动消息的接收、发送和显示。本系统还具有直播控制一体机，该直播控制一体机可采集教师授课现场的音、视频信号并编码生成音视频流媒体，并且采集教师端屏幕所显示的课程教案画面或课程教案文件，以及获得授课过程中所应用的资料片等附属媒体文件，将上述音视频流媒体、课程教案画面或文件、以及附属媒体文件进行时轴同步化，生成实时课程数据流，上传至直播与录播中心服务器。直播控制机可以通过ZigBee或蓝牙技术与该控制机所负责教室区域之内的所述低功耗交互终端实现通讯连接，从而由直播控制机作为中间的网关节点，实现低功耗交互终端与直播与录播中心服务器之间的双向数据通信，用来进行互动内容和互动消息相互传输，并且将所述互动内容和互动消息进行时轴同步化之后，关联至所述实时课程数据流。直播控制一体机还可以从直播与录播中心服务器接收实时课程数据流，通过解复用从该数据流中分离授课过程中的音视频信号以及媒体文件，在该一体机的播放装置上进行再现，从而供该一体机所在教室区域之内的学生观看；并且从该数据流中分离出课程教案画面或课程教案文件，发送给与之建立通讯连接的低功耗交互终端进行同步化显示；以及，获得与该数据流同步关联的互动内容与互动消息，发送至与之建立通讯连接的低功耗交互终端进行同步化的交互操作。直播与录播中心服务器还可以接受远程学生终端的请求，向远程学生终端传输所述实时课程数据流，以便远程学生终端进行显示与交互操作。

本发明提出了基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容、互动消息与实时课程数据流的同步关联。

本发明提供的可交互的低功耗教学直播录播系统，其特征在于，包括：直播与录播中心服务器、主直播控制一体机、从直播控制一体机、低功耗交互终端、远程学生终端；

直播与录播中心服务器，用于与所述主直播控制一体机、从直播控制一体机、远程学生终端建立网络连接，从主直播控制一体机接收并存储实时课程数据流；并且，直播与录播中心服务器响应从直播控制一体机或者远程学生终端的请求，向从直播控制一体机或者远程学生终端转发被请求的课程数据流；还用于实现主直播控制一体机、从直播控制一体机以及远程学生终端相互之间互动内容和互动消息的转发；

主直播控制一体机，用于实时采集教师授课现场的音视频信号，并将信号编码为音视频流媒体；采集教师机屏幕显示的课程教案画面，或从教师机导入课程教案文件；以及从教师机导入附属媒体文件；将上述音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件进行时轴同步化，生成实时课程数据流；该实时课程数据流上传至直播与录播中心服务器；并且将课程教案画面或课程教案文件，发送给低功耗交互终端，进行同步化显示；与直播与录播中心服务器之间进行教师机或低功耗交互终端收、发的互动内容和互动消息的转发，并且将互动内容和互动消息与音视频流媒体时轴同步化；

从直播控制一体机，用于从直播与录播中心服务器接收实时直播或非实时录播的课程数据流；解复用课程数据流；从课程数据流分离出音视频流媒体以及附属媒体文件在从直播控制一体机上进行再现；从课程数据流分离出课程教案画面或课程教案文件，发送给低功耗交互终端，与音视频流媒体同步化显示；与直播与录播中心服务器之间进行低功耗交互终端收、发的互动内容和互动消息的转发，并且将互动内容和互动消息与音视频流媒体时轴同步化；

低功耗交互终端，通过ZigBee协议或者蓝牙协议与主、从直播控制一体机进行通讯连接，用于从所述主、从直播控制一体机接收并同步化显示课程教案画面或课程教案文件，以及用于实现互动内容和互动消息的接收、发送和同步化显示；

远程学生终端，用于与直播与录播中心服务器建立通讯连接，获得并显示所述课程数据流，还通过直播与录播中心服务器的中转实现互动内容和互动消息的收发。

优选的是，所述主直播控制一体机与从直播控制一体机采用相同的直播控制一体机设备；以授课教师身份登录的直播控制一体机作为主直播控制一体机，以辅助教师身份登录的直播控制一体机作为从直播控制一体机；并且基于登录身份的变化，所述主直播控制一体机与从直播控制一体机可相互切换。

优选的是，低功耗交互终端的显示屏为电子墨水屏或0LED屏。

优选的是，所述主直播控制一体机基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容、互动消息与实时课程数据流的同步关联。

优选的是，作为主、从直播控制一体机的直播控制一体机设备，包括：音视频流媒体编解码模块、计算机导入和交互模块、互动信息输入模块、时轴同步化处理模块、传输流复用和解复用模块、ZigBee/蓝牙通讯模块、IP通讯模块；音视频流媒体编解码模块用于对采集的授课现场音、视频信号进行编码，形成音视频流媒体，以及对所收到的音视频流媒体进行解码；计算机导入和交互模块用于与所连接的教师机进行传输交互，执行对课程教案文件、附属媒体文件的导入，以及实现对教师机演示课程教案画面各帧或课程教案文件各节、播放附属媒体文件的时刻采集；互动信息输入模块用于从所连接的教师机和低功耗交互终端获得互动内容与互动消息，并且采集获得这些互动内容和互动消息的时刻；时轴同步化处理模块用于执行对上述音视频流媒体、课程教案画面或文件、、附属媒体文件以及互动内容、互动消息的时轴同步化处理；传输流复用和解复用模块执行对音视频流媒体、课程教案画面或文件、附属媒体文件复合为传输数据流的处理，通过传输流中的附加数据实现时轴同步，以及将互动内容和互动消息同步关联；ZigBee/蓝牙通讯模块用于实现与低功耗交互终端的通讯连接；IP通讯模块用于执行与直播与录播中心服务器1之间的数据通讯。

本发明进而提供了可交互的低功耗教学直播录播方法，包括：

由主直播控制一体机实时采集教师授课现场的音视频信号，并将信号编码为音视频流媒体；采集教师机屏幕显示的课程教案画面，或从教师机导入课程教案文件；以及从教师机导入附属媒体文件；将上述音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件进行时轴同步化，生成实时课程数据流；该实时课程数据流上传至直播与录播中心服务器；

由直播与录播中心服务器接收并存储实时课程数据流，并响应从直播控制一体机或者远程学生终端的请求，向从直播控制一体机或者远程学生终端转发被请求的课程数据流；

由从直播控制一体机从直播与录播中心服务器接收实时直播或非实时录播的课程数据流；解复用课程数据流；从课程数据流分离出音视频流媒体以及附属媒体文件在从直播控制一体机上进行再现；从课程数据流分离出课程教案画面或课程教案文件，发送给低功耗交互终端，与音视频流媒体同步化显示；

由远程学生终端与直播与录播中心服务器建立通讯连接，获得并显示所述课程数据流；

由主、从直播控制一体机进行教师机或低功耗交互终端所收、发的互动内容和互动消息的转发，并且将互动内容和互动消息与音视频流媒体时轴同步化；

由直播与录播中心服务器进行主直播控制一体机、从直播控制一体机以及远程学生终端相互之间互动内容和互动消息的转发。

优选的是，以授课教师身份登录的直播控制一体机作为主直播控制一体机，以辅助教师身份登录的直播控制一体机作为从直播控制一体机；并且基于登录身份的变化，所述主直播控制一体机与从直播控制一体机可相互切换。

当从直播控制一体机将音视频流媒体播放到具有时轴同步关联的课程教案画面或课程教案文件的时间戳时，向低功耗交互终端发送同步显示指令，在该终端上显示所对应的课程教案画面帧或者课程教案文件的节单元。

优选的是，基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容、互动消息与实时课程数据流的同步关联。

优选的是，在时轴同步化过程中，为音视频流媒体中的每一个视频帧或者每一组视频帧(例如一个GOP)附加上一个时间戳；根据时间上的同步性以及内容上的重合度，将每一帧课程教案画面或者是课程教案文件中的每一个独立节与时间戳相关联；以及按照附属媒体文件再现播放时的时间点，将附属媒体文件与时间戳相关联；基于时间戳，完成音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件的时轴同步化，生成实时课程数据流。

可见，本发明提供了一种可交互的低功耗教学直播录播系统。该系统相比于现有技术，具有以下优点：

(1)采用电子墨水屏的低功耗交互终端耗电量相比手机、平板电脑等终端下降至1/100，不用频繁充电，方便易用，可降低教室中大量布置充电柜和插座的建设成本；该终端刷新率低，有利于保护学生视力；价格便宜，结实耐用。

(2)低功耗交互终端与直播控制一体机设备通过ZigBee或蓝牙协议连接，并且二者之间主要实现文本形式的教案信息、互动内容和互动消息的传输，提高了每台直播控制一体机设备可接入的终端数量；对比来看，一个家庭网关可有效接入的终端为8个左右，一个价格是家庭网关10倍的企业级网关可稳定工作的终端数量是25个左右，而本申请的每台直播控制一体机设备作为中间网关，可容纳的低功耗交互终端可达几百个，完全可以满足一个大班学生的教学需求。

(3)课程教案信息单独显示在低功耗交互终端，并且利用该终端进行互动内容和消息的收发与显示，因而不影响对教师授课音视频的播放与观看。

(4)运用了先进的时轴同步化技术，使课程教案信息、交互内容与交互消息随着音视频流媒体的播放同步地显示与逐页切换；而且降低了课程数据流复用的技术难度，一般不再需要人工导播；教案与音视频流媒体基于内容和时间同步性关联，相互同步度高。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是本系统的整体架构示意图；

图2是直播控制一体机外设和网络接口及其连接关系示意图；

图3是低功耗交互终端结构示意图；

图4是本系统的网络连接方式示意图；

图5是本系统的时轴同步化的示意图；

图6是本系统的直播控制一体机设备内部结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一步详细的说明。

本发明提供了一种可交互的低功耗教学直播录播系统，图1是该系统的整体架构示意图。本系统包括：直播与录播中心服务器1、主直播控制一体机2、从直播控制一体机3、低功耗交互终端4、远程学生终端5。

直播与录播中心服务器1，其布设在应用本系统的学校内，或者布设在远程教育平台的云存储中心。直播与录播中心服务器1与本系统中的主直播控制一体机2建立网络连接，从该主直播控制一体机2接收并存储实时课程数据流；并且，直播与录播中心服务器1响应从直播控制一体机3或者远程学生终端5的请求，向从直播控制一体机3或者远程学生终端5转发被请求的实时课程数据流。

除了对实时课程数据流的存储和转发之外，直播与录播中心服务器1还用于实现主直播控制一体机2、从直播控制一体机3以及远程学生终端5相互之间互动内容和互动消息的转发，并且对与实时课程数据流时轴同步化的互动内容与互动消息进行汇总、存储和管理。

主直播控制一体机2与从直播控制一体机3采用的是在硬件结构和可实现的功能方面完全相同的直播控制一体机设备。这些直播控制一体机设备均布设在各自的直播教室之中，一般每个直播教室有一台一体机。直播控制一体机设备可以通过自身的音视频和数据传输接口，外接音箱、显示装置(例如投影仪)、麦克风、摄像机以及计算机等外部设备；其中主直播控制一体机2为了实现对授课教师现场音视频信号的采集，以及对课程教案画面、课程教案文件以及媒体文件的导入，必须外接摄像机、麦克风以及计算机(由授课教师操作，因而下面称该计算机为教师机)；从直播控制一体机3则不必需外接摄像机和教师机。图2是直播控制一体机外设和网络接口及其连接关系示意图。

基于是以授课教师身份登录到直播控制一体机，还是以辅助教师身份登录到直播控制一体机，在本系统中对主直播控制一体机2与从直播控制一体机3二者予以区分；以授课教师身份登录的直播控制一体机在本系统中被作为主直播控制一体机2，而以辅助教师身份登录的直播控制一体机在本系统中作为从直播控制一体机3。基于登陆身份的上述差别，主直播控制一体机2与从直播控制一体机3开放的功能和权限存在区别。例如，授课教师身份登陆后，主直播控制一体机2开放音视频采集、暂存、编码功能；具备将编码的音视频信号以及从教师机中采集的教案画面、教案文件或附属媒体文件上传至直播与录播中心服务器1的权限；具备将互动内容和互动消息广播推送给全体从直播控制一体机3以及远程学生终端5的权限；具备查看由全体从直播控制一体机3以及远程学生终端5发来的互动内容与互动消息的权限；控制从直播控制一体机3以及远程学生终端5上授课过程中的音视频信号以及媒体文件的播放/暂停的权限。从直播控制一体机3则没有上述权限和功能。

主直播控制一体机2与从直播控制一体机3二者在本系统中的身份可以随时切换。例如，当某个原来以辅助教师身份登录的从直播控制一体机变更为以授课教师身份登录，则打开该直播控制一体机作为主直播控制一体机的权限和功能，然后该直播控制一体机向直播与录播中心服务器1发送身份变更消息；直播与录播中心服务器1响应该身份变更消息而将该直播控制一体机设置为主直播控制一体机，而将原主直播控制一体机变更设置为从直播控制一体机；再将身份变更消息转发到原主直播控制一体机，从而使得原主直播控制一体机进行自身功能和权限的变更设置。

在以授课教师的身份登陆之后，主直播控制一体机2实时采集教师授课现场的音视频信号，即教师讲课的语音和画面，将信号编码为音视频流媒体。并且，主直播控制一体机2可以通过VGA接口采集授课过程中教师机的屏幕所显示的每一帧课程教案画面；或者，通过与教师机连接的数据传输接口，主直播控制一体机2可预先导入预定文件格式(如WORD格式、PPT格式等格式化文档)的课程教案文件。教师在授课过程中还经常播放资料片的媒体资源，因此，主直播控制一体机2可以通过连接教师机的数据传输接口预先导入这些附属媒体文件。主直播控制一体机2将上述音视频流媒体、课程教案画面或课程教案文件、附属媒体文件进行时轴同步化，生成实时课程数据流，将该实时课程数据流上传至直播与录播中心服务器1。这里提到的时轴同步化的具体技术方案将在下文中予以描述。

授课教师在主直播控制一体机2上授课并生成实时课程数据流的同时，布置在其它教室的从直播控制一体机3用于从直播与录播中心服务器1接收由主直播控制一体机2上传的实时课程数据流。当然，从直播控制一体机3也可以接收由主直播控制一体机2上传并且在直播与录播中心服务器1上存储的非实时的课程数据流，也就是进行课程的录播。从直播控制一体机3进行解复用，从实时或非实时课程数据流中分离音视频流媒体以及附属媒体文件，在该一体机的音箱、投影仪等播放装置上进行再现，从而供该一体机所在教室区域之内的学生观看。并且，从直播控制一体机3从该课程数据流中分离出课程教案画面或课程教案文件，发送给与之建立通讯连接的低功耗交互终端4(一般是本教室内的低功耗交互终端4)，进行与音视频流媒体同步化显示。当然，对于主直播控制一体机2所在的教室来说，主直播控制一体机2也对其自身导入的课程教案画面或课程教案文件，发送给与之建立通讯连接的低功耗交互终端4进行显示。

低功耗交互终端4是学生侧持有和使用的一种低功耗的专用终端设备，图3是其结构示意图，包括ZigBee接入模块(或者蓝牙接入模块)、电子墨水显示器、交互按钮区以及电池。低功耗交互终端4用于接收和显示课程教案画面或课程教案文件，以及用于实现互动内容和互动消息的接收、发送和显示。低功耗交互终端4的显示屏使用了刷新率极低的电子墨水屏，这种屏幕不刷新显示就不耗电，因此功耗是非常低的，用纽扣电池或太阳能电池就可以实现充足供电，这就避免了平板电脑、手机作为学生侧终端时出现的待机时间短、频繁充电或者因中途没电而影响课程学习的情形；电子墨水屏近似纸张的显示效果对保护学生视力也有额外的益处。视频具有很高的刷新率，因而电子墨水屏目前还不能良好显示视频。不过，由于本系统中低功耗交互终端4用于显示课程教案画面或课程教案文件，以及主要是文字形态的互动内容和互动消息，这些内容用电子墨水屏显示是非常适合的。交互按钮区实现交互过程中信息的输入。当然，低功耗交互终端4的显示屏也可以采用其它类型的低功耗显示技术来实现，例如采用了OLED屏。

低功耗交互终端4内部有ZigBee接入模块或者蓝牙接入模块，通过ZigBee协议或者蓝牙协议与主、从直播控制一体机进行通讯连接。从而，由主、从直播控制机作为中间的ZigBee或蓝牙网关节点，实现低功耗交互终端4与直播与录播中心服务器1之间的双向数据通信，用来进行互动内容和互动消息相互传输。上述课程教案画面或课程教案文件也通过ZigBee或蓝牙通讯连接由主、从直播控制机发给低功耗交互终端4。主直播控制机2或者从直播控制机3与直播与录播中心服务器1之间则依靠IP网络连接实现彼此之间的通讯传输。图4是本申请系统的网络连接方式示意图。

当然，对于不在具有一体机的直播教室中的学生，可以利用平板电脑、手机等形态的远程学生终端5实现直播或录播的学习。直播与录播中心服务器1通过IP网络与远程学生终端5建立通讯连接，从而可以接受远程学生终端5的请求，向远程学生终端5传输该服务器上存储的所述实时或非实时的课程数据流。远程学生终端5可以打开特定的显示界面，在该显示界面上并行显示课程数据流当中的音视频流媒体画面、课程教案画面或课程教案文件、附属媒体文件。远程学生终端5也可以通过直播与录播中心服务器1的中转实现互动内容和互动消息的收发，以便远程学生参与交互。

教学过程中的交互是直播系统重要的关注点。本系统通过互动内容和互动消息的接收与发送，实现教学过程中师生的交互。直播与录播中心服务器1作为在主直播控制一体机2、从直播控制一体机3以及远程学生终端5之间进行互动内容和互动消息中转的平台。主、从直播控制一体机负责面向与之建立通讯连接的低功耗交互终端4进行互动内容和互动消息的中转收发；并且，主直播控制一体机2还用于实现与教师机之间的互动内容和互动消息的收发。举例来说，授课教师在授课过程中发起一个测验，则主直播控制一体机2从教师机中导入载有测验试题的格式化文件(例如带有交互式文本框、选择框的表单页面)作为互动内容，并将该互动内容推送给与之建立通讯连接的所有低功耗交互终端4；主直播控制一体机2还将该互动内容上传给直播与录播中心服务器1，并由该直播与录播中心服务器1将互动内容转发给各个从直播控制一体机3以及远程学生终端5；从直播控制一体机3会将该互动内容推送给与之建立通讯连接的所有低功耗交互终端4。每个学生在低功耗交互终端4上填写表单页面以便完成测试，然后上传该表单作为互动内容的反馈；作为反馈的表单传输给低功耗交互终端4所连接的主直播控制一体机2或者从直播控制一体机3；主直播控制一体机2或者从直播控制一体机3可以汇总收到的反馈表单并进行打包；其中，从直播控制一体机3将汇总后的反馈表单上传直播与录播中心服务器1，并经该服务器中转将反馈表单发送给主直播控制一体机2；远程学生终端5反馈的表单也发送给直播与录播中心服务器1，并经该服务器中转将反馈表单发送给主直播控制一体机2；主直播控制一体机2将收到的反馈表单传输给与之连接的教师机，以便授课教师进行查看。又例如，作为授课过程中的课堂问答，教师机可以发送互动消息给主直播控制一体机2，主直播控制一体机2将互动消息发送给与之建立通讯连接的所有低功耗交互终端4；主直播控制一体机2还将该互动消息上传给直播与录播中心服务器1，并由该直播与录播中心服务器1将互动消息转发给各个从直播控制一体机3以及远程学生终端5；从直播控制一体机3会将该互动消息发送给与之建立通讯连接的所有低功耗交互终端4。相类似的，学生可以在低功耗交互终端4上输入并发送的互动消息，这些互动消息传输给低功耗交互终端4所连接的主直播控制一体机2或者从直播控制一体机3；从直播控制一体机3经由直播与录播中心服务器1的中转将学生输入的互动消息传输给主直播控制一体机2；远程学生终端5将互动消息传输给直播与录播中心服务器1，并经直播与录播中心服务器1转发至主直播控制一体机2；主直播控制一体机2将收到的互动消息传输给与之连接的教师机，以便授课教师进行查看。

本发明采用了基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容、互动消息与实时课程数据流的同步关联。时轴同步化过程是由主直播控制一体机2或者从直播控制一体机3实现的。图5是时轴同步化的示意图。本系统中，以由主直播控制一体机采集教师授课现场的音、视频信号并编码生成的音视频流媒体再现时的时间轴X作为主时轴，可见沿着该主时轴X，音视频流媒体中的视频帧序列和音频被同步地解码和播放。本申请为音视频流媒体中的每一个视频帧或者每一组视频帧(例如一个GOP)附加上一个时间戳S；从而在主时轴X上形成密集的时间戳S序列。根据生成过程中时间上的同步性以及内容上的重合度，将每一帧课程教案画面或者是课程教案文件中的每一个独立节与主时轴X上时间戳绑定。以及按照附属媒体文件再现播放时的时间点，将附属媒体文件与主时轴X上时间戳绑定。从而，基于时间戳，完成音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件的时轴同步化，生成实时课程数据流。

下面具体介绍课程教案画面或课程教案文件的时轴同步化过程。

授课教师在讲课过程中，也会在在教师机上打开课程教案文件并逐步展示；课程教案文件是WORD格式、PPT格式等格式化文档，因而可以以每一个独立节(独立节是文档的构成单元，例如PPT的每一演示页面、WORD的每一文本段)为单位进行展示。主直播控制一体机2通过VGA接口采集教师机的屏幕上显示课程教案画面，并记录每一帧课程教案画面的采集时刻，作为同步参考时间点T1；或者，主直播控制一体机2预先从教师机导入课程教案文件，并且在教师机上演示该课程教案文件的过程中，通过数据传输接口与教师机进行交互，记录教师机上演示出课程教案文件每一独立节的时刻，作为同步参考时间点T1。

主直播控制一体机2获得每一帧课程教案画面或者课程教案文件中每一独立节对应的同步参考时间点T1，并将该同步参考时间点T1关联到时间上距离其最近的时间戳S。

进而，主直播控制一体机2针对课程教案内容与授课音视频流媒体的内容进行内容重合度的匹配判断。因为教案的演示时间完全受到教师的人为控制，难免出现教案演示与教师讲课时间偏离的现象，因此需要通过内容重合度进行二次调校。具体来说，主直播控制一体机2将课程教案文件每一独立节的内容进行处理，去除掉虚词和标点，对实词统计词频，形成第一实词数组向量，例如：

＜A：5；B：2；C：1，D：8，G：7，H，12......＞；

其中A-D表示实词，数字表示每个实词在该独立节当中的词频。

对于每一帧的课程教案画面，首先利用字符识别技术将画面中的文字提取出来，形成可处理的文本内容，然后按照同样的处理方法，为每一帧的课程教案画面形成所述第一实词数组向量。

主直播控制一体机2通过与每一帧课程教案画面或者课程教案文件每一独立节的同步参考时间点T1所关联的时间戳S，由该时间戳S为中心点，向前和向后各扩展一个时间长度，从而定位和截取出音视频流媒体当中的一段音视频；针对其中的音频数据，运用语音识别技术，将其转化为可供处理的文本形式，并采用同样的方法，取得第二实词数据向量：

＜B：3；A：8，E：7，F：6，C：2，D：10......＞

进而，统计第一实词数组向量与第二实词数组向量之间的重合度得分，即将重合度得分初始化为0，然后通过对比获得第一实词数组向量与第二实词数组向量当中相同的实词，例如上例中的A，B，C，D；对于每个相同实词，将两向量的词频数值求和，例如对于实词A，词频求和的值为13，然后将求和后的词频数值累计至重合度得分。判断该重合度得分是否大于预定的重合度阈值；若大于该重合度阈值，则判定同步参考时间点T1与时间戳S的关联性成立；若低于该重合度阈值，则判定同步参考时间点T1与时间戳S的关联性偏低；这时候可以将与该同步参考时间点T1关联的时间戳前移或后移若干个时间戳，再次计算重合度得分；若再次计算的重合度得分大于重合度阈值，则将该同步参考时间点T1与前移或后移之后的时间戳相关联；若再次计算后重合度得分仍然低于重合度阈值，则可以再次前移或后移；如果经若干次前移、后移之后仍然不能获得高于重合度阈值的重合度得分，则由主直播控制一体机2向教师机发起教案匹配失败的提示，由授课老师进行手动关联。

对于附属媒体文件的时轴同步化，主直播控制一体机2导入附属媒体文件；并且当教师机启动播放该附属媒体文件的时刻，主直播控制一体机2取得启动播放该附属媒体文件的时间点，作为同步参考时间点T2；将该同步参考时间点T2关联到时间上距离其最近的时间戳S。

如前文所述，主直播控制一体机2将音视频流媒体、课程教案画面或课程教案文件、附属媒体文件复用为一路传输数据流进行传输，并且对该传输数据流中加入附加数据，在附加数据中保存每个同步参考时间点T1和同步参考时间点T2与时间戳S的关联信息。

从直播控制一体机3进行解复用的过程中，提取和解析附加数据。从直播控制一体机3从复合的课程数据流当中分离音视频流媒体以及附属媒体文件，并且播放音视频流媒体，并播放到与T2相关联的时间戳时，则启动对附属媒体文件的播放。并且，从直播控制一体机3从该课程数据流中分离出课程教案画面或课程教案文件，发送给与之建立通讯连接的低功耗交互终端4；当从直播控制一体机3播放到具有相关联的T1的时间戳时，向低功耗交互终端4发送同步显示指令，在该终端上显示T1所对应的课程教案画面或者课程教案文件独立节。相类似地，主直播控制一体机2也可以控制与之相连接的低功耗交互终端4进行课程教案画面或者课程教案文件独立节的同步显示。

对于互动内容和互动消息的时轴同步化，当教师机或低功耗交互终端4发起一项互动内容或者互动消息时，与教师机或低功耗交互终端4相连接的主、从直播控制一体机采集该互动内容或者互动消息的发起时刻，作为同步参考时间点T3；将该同步参考时间点T3关联到时间上距离其最近的时间戳S；在所述传输流的附加数据中保存同步参考时间点T3与时间戳S之间的关联关系。特别是，当教师机发起一项课堂测验等互动内容时，将该发起时刻作为同步参考时间点T3并关联到时间上距离其最近的时间戳S；因而在直播或录播过程中，从直播控制一体机3播放到与T3相关联的时间戳S之时，即向对应的低功耗交互终端4发送该互动内容；而低功耗交互终端4对该互动内容的反馈表单等，也相应地关联到该与T3相关联的时间戳S。

为了实现上述功能，对于作为主、从直播控制一体机的直播控制一体机设备，其内部如图6所示，包括：音视频流媒体编解码模块601、计算机导入和交互模块602、互动信息输入模块603、时轴同步化处理模块604、传输流复用和解复用模块605、ZigBee/蓝牙通讯模块606、IP通讯模块607。音视频流媒体编解码模块601用于对采集的授课现场音、视频信号进行编码，形成音视频流媒体，以及对所收到的音视频流媒体进行解码；计算机导入和交互模块602用于与所连接的教师机进行传输交互，执行对课程教案文件、附属媒体文件的导入，以及实现对教师机演示课程教案画面各帧或课程教案文件各节、播放附属媒体文件的时刻采集；互动信息输入模块603用于从所连接的教师机和低功耗交互终端4获得互动内容与互动消息，并且采集获得这些互动内容和互动消息的时刻；时轴同步化处理模块604用于执行对上述音视频流媒体、课程教案画面或文件、、附属媒体文件以及互动内容、互动消息的时轴同步化处理；传输流复用和解复用模块605执行对音视频流媒体、课程教案画面或文件、附属媒体文件复合为传输数据流的处理，通过传输流中的附加数据实现时轴同步，以及将互动内容和互动消息同步关联；ZigBee/蓝牙通讯模块606用于实现与低功耗交互终端4的通讯连接；IP通讯模块607用于执行与直播与录播中心服务器1之间的数据通讯。

可见，本发明提供了一种可交互的低功耗教学直播录播系统。该系统相比于现有技术，具有以下优点：

以上描述中的尺寸和数量均仅为参考性的，本领域技术人员可根据实际需要选择适当的应用尺寸，而不脱离本发明的范围。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1.一种可交互的低功耗教学直播录播系统，其特征在于，包括：直播与录播中心服务器、主直播控制一体机、从直播控制一体机、低功耗交互终端、远程学生终端；

直播与录播中心服务器，用于与所述主直播控制一体机、从直播控制一体机、远程学生终端建立网络连接，从主直播控制一体机接收并存储实时课程数据流；并且，直播与录播中心服务器响应从直播控制一体机或者远程学生终端的请求，向从直播控制一体机或者远程学生终端转发被请求的课程数据流；直播与录播中心服务器还用于实现主直播控制一体机、从直播控制一体机以及远程学生终端相互之间互动内容的转发；

主直播控制一体机，用于实时采集教师授课现场的音视频信号，并将信号编码为音视频流媒体，采集教师机屏幕显示的课程教案画面，或从教师机导入课程教案文件，以及从教师机导入附属媒体文件，将上述音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件进行时轴同步化，生成实时课程数据流；该实时课程数据流上传至直播与录播中心服务器；并且将课程教案画面或课程教案文件，发送给低功耗交互终端，进行同步化显示；与直播与录播中心服务器之间进行教师机或低功耗交互终端收、发的互动内容的转发，并且将互动内容与音视频流媒体时轴同步化；

从直播控制一体机，用于从直播与录播中心服务器接收实时直播或非实时录播的课程数据流，解复用课程数据流，从课程数据流分离出音视频流媒体以及附属媒体文件在从直播控制一体机上进行再现，从课程数据流分离出课程教案画面或课程教案文件，发送给低功耗交互终端，与音视频流媒体同步化显示，与直播与录播中心服务器之间进行低功耗交互终端收、发的互动内容的转发，并且将互动内容与音视频流媒体时轴同步化；

低功耗交互终端，通过ZigBee协议或者蓝牙协议与主、从直播控制一体机进行通讯连接，用于从所述主、从直播控制一体机接收并同步化显示课程教案画面或课程教案文件，以及用于实现互动内容的接收、发送和同步化显示；

远程学生终端，用于与直播与录播中心服务器建立通讯连接，获得并显示所述课程数据流，还通过直播与录播中心服务器的中转实现互动内容的收发。

2.根据权利要求1所述的低功耗教学直播录播系统，其特征在于，所述主直播控制一体机与从直播控制一体机采用相同的直播控制一体机设备；以授课教师身份登录的直播控制一体机作为主直播控制一体机，以辅助教师身份登录的直播控制一体机作为从直播控制一体机；并且基于登录身份的变化，所述主直播控制一体机与从直播控制一体机可相互切换。

3.根据权利要求1所述的低功耗教学直播录播系统，其特征在于，低功耗交互终端的显示屏为电子墨水屏或OLED屏。

4.根据权利要求1所述的低功耗教学直播录播系统，其特征在于，所述主直播控制一体机基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容与实时课程数据流的同步关联。

5.根据权利要求1所述的低功耗教学直播录播系统，其特征在于，作为主、从直播控制一体机的直播控制一体机设备，包括：音视频流媒体编解码模块、计算机导入和交互模块、互动信息输入模块、时轴同步化处理模块、传输流复用和解复用模块、ZigBee/蓝牙通讯模块、IP通讯模块；音视频流媒体编解码模块用于对采集的授课现场音、视频信号进行编码，形成音视频流媒体，以及对所收到的音视频流媒体进行解码；计算机导入和交互模块用于与所连接的教师机进行传输交互，执行对课程教案文件、附属媒体文件的导入，以及实现对教师机演示课程教案画面各帧或课程教案文件各节、播放附属媒体文件的时刻采集；互动信息输入模块用于从所连接的教师机和低功耗交互终端获得互动内容，并且采集获得这些互动内容的时刻；时轴同步化处理模块用于执行对上述音视频流媒体、课程教案画面或文件、附属媒体文件以及互动内容的时轴同步化处理；传输流复用和解复用模块执行对音视频流媒体、课程教案画面或文件、附属媒体文件复合为传输数据流的处理，通过传输流中的附加数据实现时轴同步，以及将互动内容同步关联；ZigBee/蓝牙通讯模块用于实现与低功耗交互终端的通讯连接；IP通讯模块用于执行与直播与录播中心服务器1之间的数据通讯。

6.一种可交互的低功耗教学直播录播方法，其特征在于，包括以下步骤：

由主直播控制一体机实时采集教师授课现场的音视频信号，并将信号编码为音视频流媒体；采集教师机屏幕显示的课程教案画面，或从教师机导入课程教案文件；以及从教师机导入附属媒体文件；将上述音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件进行时轴同步化，生成实时课程数据流；该实时课程数据流上传至直播与录播中心服务器；

由直播与录播中心服务器接收并存储实时课程数据流，并响应从直播控制一体机或者远程学生终端的请求，向从直播控制一体机或者远程学生终端转发被请求的课程数据流；

由从直播控制一体机从直播与录播中心服务器接收实时直播或非实时录播的课程数据流；解复用课程数据流；从课程数据流分离出音视频流媒体以及附属媒体文件在从直播控制一体机上进行再现；从课程数据流分离出课程教案画面或课程教案文件，发送给低功耗交互终端，与音视频流媒体同步化显示；

由远程学生终端与直播与录播中心服务器建立通讯连接，获得并显示所述课程数据流；

由主、从直播控制一体机进行教师机或低功耗交互终端所收、发的互动内容的转发，并且将互动内容与音视频流媒体时轴同步化；

由直播与录播中心服务器进行主直播控制一体机、从直播控制一体机以及远程学生终端相互之间互动内容的转发。

7.根据权利要求6所述的低功耗教学直播录播方法，其特征在于，以授课教师身份登录的直播控制一体机作为主直播控制一体机，以辅助教师身份登录的直播控制一体机作为从直播控制一体机；并且基于登录身份的变化，所述主直播控制一体机与从直播控制一体机可相互切换。

8.根据权利要求6所述的低功耗教学直播录播方法，其特征在于，当从直播控制一体机将音视频流媒体播放到具有时轴同步关联的课程教案画面或课程教案文件的时间戳时，向低功耗交互终端发送同步显示指令，在该终端上显示所对应的课程教案画面帧或者课程教案文件的节单元。

9.根据权利要求6所述的低功耗教学直播录播方法，其特征在于，基于密集时间戳和内容重合度的二维时轴同步化技术，实现将授课过程中的音视频信号、课程教案画面或教案文件、附属媒体文件同步复合为所述实时课程数据流，并且实现互动内容与实时课程数据流的同步关联。

10.根据权利要求6所述的低功耗教学直播录播方法，其特征在于，在时轴同步化过程中，为音视频流媒体中的每一个视频帧或者每一组视频帧附加上一个时间戳；根据时间上的同步性以及内容上的重合度，将每一帧课程教案画面或者是课程教案文件中的每一个独立节与时间戳相关联；以及按照附属媒体文件再现播放时的时间点，将附属媒体文件与时间戳相关联；基于时间戳，完成音视频流媒体、课程教案画面或课程教案文件以及附属媒体文件的时轴同步化，生成实时课程数据流。