CN105407379A - 多种媒体的同步录制方法 - Google Patents

Abstract

本发明提供一种多种媒体同步录制的方法，包括：录制步骤，录制多种格式的媒体文件；以及同步标记步骤，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；其中，在录制步骤中，将音频或视频录制为流媒体格式。本发明还提供一种使用所述方法录制的内容的播放方法、使用所述录制和播放方法的录制和回放装置。

Description

多种媒体的同步录制方法

技术领域

本发明涉及一种多媒体录制方法和系统，尤其涉及一种可以同步录制多种媒体、在录制时可以同时播放录制内容、能够进行同步回放并能实现快速切换的方法和系统。

技术背景

随着信息技术和电子技术的发展，多媒体互动技术被应用在了各类展厅中，如：博物馆、科技馆、企业展厅、学校教室等等。但是，在传统的多媒体互动技术所采用的多媒体记录技术通常仅局限于几种常见的媒体信息的录制，比如音视频等，但在回放时，无法做到各媒体间的同步。例如，媒体信息包括PPT文档和与之相对应的视频，当用户浏览PPT时，视频无法实现与PPT联动，做到用户翻到某页PPT时，视频自动定位到相应的播放位置；同样，当用户浏览视频时，PPT也无法随着视频的播放位置定位到相应的页面。因此，现有的记录装置存在媒体格式单一，各媒体信息间的交互检索能力差等问题。能够真正地将多种媒体信息进行录制，并保留各种媒体格式间的关联，实现各媒体格式之间的互动的记录装置或方法目前尚未出现。

当记录多种媒体时，由于各媒体记录装置的时间不同步等原因会产生在播放多媒体信息时各媒体间难以同步的问题。与此同时，有些用户希望在不同的播放内容或者同一播放内容但是不同的时间点处进行切换，也就是希望在一个时间段收看本不连续的多媒体信息，或更希望在重点部分可以做到回看甚至反复播放。此外，由于时间原因，有些客户希望能在第一时间观看到录制的视频资料，就需要该多媒体的录制能实现边录制边播放的功能。

发明内容

为了解决以上技术问题，本发明提供一种多种媒体同步录制的方法，包括：录制步骤，录制多种格式的媒体文件；以及同步标记步骤，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度。其中，在录制步骤中，将音频或视频录制为流媒体格式。

优选地，在所述同步标记步骤，使用同步标记文件记录其他类型的媒体文件的录制进度。

优选地，所述同步标记文件是数据库文件。

优选地，所述同步标记文件中的每个条目分别对应于某一关键事件，条目的次序对应于关键事件的发生时间的顺序；所述同步标记文件中的每个条目中包括关键事件发生时所记录的所有其他类型的媒体文件的录制进度。

优选地，对于音频或视频，在录制时将流媒体文件片段按顺序编号，所述录制进度是相应的流媒体文件片段的编号及该片段的已录制时间。

优选地，对于音频或视频，在录制时使流媒体文件片段包含该片段的起始时间的信息，所述录制进度是相应的流媒体文件片段的起始时间的信息以及该片段的已录制时间。

优选地，所述起始时间的信息包含在所述流媒体文件片段的片段名中。

优选地，根据每次关键事件发生时记录的媒体文件的录制进度播放当时所涉及的媒体文件。

优选地，当某一类型的媒体文件的播放进度被改变时，根据记录的录制进度将其他类型的媒体文件的播放进度也改变为与所述某一类型的媒体文件一致。

优选地，如果被改变进度的媒体文件是包含时间信息的媒体类型，将其他包含时间信息的媒体类型的播放进度调整到该时间，将不包含时间信息的媒体类型的播放进度调整到与该时间相对应的关键事件发生时的状态。

优选地，如果被改变进度的媒体文件是不包含时间信息的媒体类型，将其他包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生的时间，将不包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生时的状态。

本发明还提供一种使用所述的多种媒体同步录制的方法录制多媒体电子课堂的多种媒体同步录制的方法，包括：录制步骤，录制多种格式的媒体文件；以及同步标记步骤，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度。其中，在录制步骤中，将音频或视频录制为流媒体格式。

本发明还提供一种同步录制多种媒体的装置，包括：录制单元，用于录制多种格式的媒体文件；以及同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；其中，录制单元将音频或视频录制为流媒体格式。

优选地，所述同步标记单元使用同步标记文件记录其他类型的媒体文件的录制进度。

优选地，所述同步标记文件是数据库文件。

优选地，所述同步标记文件中的每个条目分别对应于某一关键事件，条目的次序对应于关键事件的发生时间的顺序；所述同步标记文件中的每个条目中包括关键事件发生时所记录的所有格式的媒体文件的录制进度。

优选地，对于音频或视频，在录制时将流媒体文件片段按顺序编号，所述录制进度是相应的流媒体文件片段的编号及该片段的已录制时间。

优选地，对于音频或视频，在录制时使流媒体文件片段包含该片段的起始时间的信息，所述录制进度是相应的流媒体文件片段的起始时间的信息以及该片段的已录制时间。

优选地，所述起始时间的信息包含在所述流媒体文件片段的片段名中。

优选地，所述播放器根据每次关键事件发生时记录的媒体文件的录制进度播放当时所涉及的媒体文件。

优选地，当某一类型的媒体文件的播放进度被改变时，所述播放器根据记录的录制进度将其他类型的媒体文件的播放进度也改变为与所述某一类型的媒体文件一致。

优选地，如果被改变进度的媒体文件是包含时间信息的媒体类型，所述播放器将其他包含时间信息的媒体类型的播放进度调整到该时间，将不包含时间信息的媒体类型的播放进度调整到与该时间相对应的关键事件发生时的状态。

优选地，如果被改变进度的媒体文件是不包含时间信息的媒体类型，所述播放器将其他包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生的时间，将不包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生时的状态。

本发明还提供一种用于多媒体电子课堂的多媒体同步录制的装置，包括：录制单元，用于录制多种格式的媒体文件；以及同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度。其中，录制单元将音频或视频录制为流媒体格式。

本发明提供一种多媒体互动系统，包括：多个通过中央控制器进行通信的终端；用于根据终端的通信请求在终端间建立交互链路的中央控制器；录制终端间交互内容的多种媒体的录制设备；以及连接终端和中央控制器的通信链路；其中，所述中央控制器包括：录制单元，用于录制多种格式的媒体文件，将其中的音频或视频录制为流媒体格式；以及同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度。

优选地，所述多种媒体包括具有时间属性的媒体类型和不具有时间属性的媒体类型。

优选地，所述具有时间属性的媒体类型包括音频、视频、动画；所述不具有时间属性的媒体类型包括文档、图片。

本发明的多种媒体的同步录制方法克服了传统录制方法手段单一，不能保留原有媒体属性的弊端，使得各种媒体在录制后的属性不变，且互相间可以同步播放。通过在不含时间信息的媒体类型中标记节点性事件，将时间属性赋予不含时间信息的媒体类型，从而实现各媒体类型间的时间同步，实现了真正意义上的多媒体同步录制和播放。同时，由于各媒体被不同的装置录制，会产生由于不同装置记录时间的差别造成的媒体间不同步，而本发明的方法在每次关键事件发生时对各媒体的进度进行同步，减小媒体间不同步造成的影响。在录制时，音视频文件都被录制为流媒体格式，能够实现边录制边播放的功能；同时能够边下载视频边观看，缩短了下载缓冲时间，并能快速同步切换或者重复播放。

附图说明

图1为本发明实施方式涉及的多媒体录制系统的结构框图；

图2为本发明实施方式涉及的多媒体录制系统的中央控制器的结构框图；

图3为本发明实施方式涉及的多媒体录制系统的录制过程的处理流程图；

图4为本发明实施方式涉及的多媒体录制系统的同步标记数据库结构实施例1的示意图；

图5为本发明实施方式涉及的多媒体回放过程的处理流程图；

图6为本发明实施方式涉及的多媒体录制系统的同步标记数据库结构实施例2的示意图。

具体实施方式

本发明的多媒体互动系统包括演示设备、终端设备、多种媒体的录制设备和中央控制器等，本发明所述的多种媒体不仅包括通常意义上的多媒体格式，如音视频、动画等，还包括所有可以记录信息的媒体格式，比如PPT文档、书写笔迹等。在这些媒体格式中，有些媒体格式是包含时间信息的，如音视频。有些媒体格式本身不包含时间信息，如PPT文档。在通常的多媒体互动系统中，不含时间信息的媒体格式要被录制成包含时间信息的其他媒体格式才能完成同步，比如PPT文档被录制成视频，与之对应的讲解被录制成音频，从而实现二者之间的时间同步。但这种录制方式改变了原有媒体格式的属性，比如将PPT文档录制成视频增大了文件大小，也使得其文档属性丢失，不再具有可以修改复制等功能，无法发挥多种媒体本身所具有的优势。再比如，假设用户在某个时间段内想要实现对视频不连续时间点的内容进行快速切换，就必须将整个视频全部下载之后才能实现，这样就会很浪费时间。

目前，在网络中传输音频、视频和多媒体文件的形式多以流媒体的形式进行传输。流媒体文件格式是支持采用流式传输及播放的媒体格式，其中广泛采用的方式是M3U8格式的TS流，但不限于M3U8格式的TS流。在采用流式传输方式的系统中，用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到当中的内容，而是只需要经过几秒钟或几十秒的启动延时即可在用户计算机上利用相应的播放器对压缩的视频或音频等流式媒体文件进行播放，剩余的部分将在播放的同时继续进行下载，直至播放完毕，减少了下载的等待时间。本发明中涉及到的流媒体以M3U8格式的TS流为例进行说明。

本发明中的多种媒体的录制设备都通过通信介质连接到一个中央控制器，各录制设备将各自录制的媒体格式的记录传送给中央控制器。中央控制器中设置有标记计时装置，标记计时装置中存储有各媒体格式对应的关键事件的定义，能够在相应的关键事件发生时检测到该关键事件并对所有媒体格式记录进行同步标记。所述关键事件是指在某一媒体格式中的时间节点性事件，例如PPT的翻页操作、演示图片时图片的切换操作等。所述同步标记是指在相应的关键事件发生时，对所有媒体格式的记录进行时间同步。时间同步的方法是记录在关键事件发生时各媒体的播放进度。记录的信息可以保存成日志文件，也可以保存为数据库文件或类似的载体。将相关的视频与音频均录制成10秒时长的流媒体碎片文件。

在回放或者切换时，根据各媒体格式记录间的时间同步信息对各媒体的播放进行同步。如果用户选择播放具有时间属性的媒体格式的特定时间的记录，系统将其他具有时间属性的媒体格式的播放进度调整到该时间，根据该时间前后的同步标记将不具有时间属性的媒体格式的播放进度调整到与该时间相对应的位置。如果用户选择播放不具有时间属性的媒体格式的特定位置的记录，系统根据该特定位置对应的同步标记的时间将其他具有时间属性的媒体格式的播放进度调整到该时间，将不具有时间属性的媒体格式的播放进度调整到与该时间相对应的位置。如此，可以在各媒体之间建立时间同步。也就是说，对具有时间属性的媒体调整进度，可以将进度精确调整到该时间，对不具有时间属性的媒体调整进度，可以将进度调整到相应的关键事件的发生时间。

以下结合在教育领域的具体实施例说明本发明的多媒体互动系统。

实施例1

本实施例的多媒体互动系统是用于教育的电子课堂互动系统。图1为本实施例的电子课堂互动系统的系统概要图。如图1所示，该系统包括中央控制器1、路由器2、教师终端3、学生终端4、演示屏幕5、音视频采集设备6、云端系统7。其中，各设备均通过有线或无线方式连接到路由器2，路由器2为各节点提供数据链接；中央控制器1是整个系统的中心节点，各节点间的通信都要通过中央控制器1进行。中央控制器1、教师终端3、学生终端4、演示屏幕5、云端系统7均为由电脑、服务器、平板电脑、手机等具备数据处理和通信能力的设备。演示屏幕5相当于传统课堂中的黑板，其显示内容由教师终端3进行控制。例如，当讲课时，在演示屏幕5上显示教学PPT并进行翻页等；当教师或学生在自己的终端上进行书写时，在演示屏幕5上显示书写内容。音视频采集设备6对课堂进行实时的视频采集，采集的音视频发送给中央控制器1。教师终端3和学生终端4可以记录教师和学生在上课过程中形成的书写笔迹文件、课堂笔记文件等，并将上课所需的PPT文档、图片、视频等资源与上述文件一起发送给中央控制器1。

图2为本发明实施方式涉及的多媒体互动系统的中央控制器的结构框图。如图2所示，中央控制器1包括CPU11、ROM14a、RAM14b、与外部设备（例如路由器2）连接的通信接口13、与演示屏幕5连接的I/O（Input/Output，输入/输出）接口15、以及存储器12。

CPU11用于执行存储在ROM14a中的计算机程序和下载到RAM14b中的计算机程序。CPU11在执行这些计算机程序时，将RAM14b作为其工作空间使用。

CPU11通过通信接口13接受教师终端3、学生终端4、音视频采集设备6和远程客户端8等外部设备的指令和数据，并按照指令对相应的数据进行处理。

通信接口13能够可以通过路由器2连接教师终端3、学生终端4、音视频采集设备6、云端系统7和远程客户端8等外部设备，或直接连接教师终端3、学生终端4、音视频采集设备6、云端系统7和远程客户端8等外部设备，并将经过处理的数据发送到教师终端3、学生终端4、云端系统7和远程客户端8等外部设备。

I/O接口15向演示屏5输出图像数据等图像信号。同时，I/O接口15还可以向音箱、喇叭等外部音响设备（未图示）输出声音信号。

存储器12由非易失性存储器构成。在本实施例中，存储器12可以存储事先准备的PPT文档、音视频采集设备6所采集的音视频数据、经CPU11处理后的数据、用户权限信息等数据。

中央控制器1处理各终端的请求，当需要验证用户权限时，根据存储器12中所存储的用户权限信息进行处理。在接收到音视频采集设备6所采集的音视频数据时，CPU11将上述音视频数据和当前的图像数据进行同步标记，并将经同步标记后的各媒体的信息保存在上述存储器12中。上述存储器12可以对应每次标记媒体的动作存储各媒体在标记时的状态信息，比如在标记时，视频对应的时间进度、音频对应的时间进度、PPT对应的页码等。如果需要，CPU11可以通过通信接口13向云端系统7获取相关信息（例如权限信息）。

音视频采集设备6对课堂进行实时的课堂信息采集，如教师讲解的音频、视频等都以10s时长的TS流碎片文件的格式保存，以实现边录制边播放或者快速切换，并且录制的TS流文件是按时间顺序保存并顺序播放的。

云端系统7包括云端控制器71和云端存储装置72；云端控制器71负责验证用户权限和收发数据，云端存储装置72存储有用户权限信息、各课程的录制结果等系统数据和各用户的私有数据。本实施例的系统还可以包括远程客户端8，此时，路由器2接入互联网与远程客户端8进行通信，远程客户端8可以是教师终端3也可以是学生终端4。

本实施例涉及的系统可以记录多种媒体格式，包括具有时间属性的媒体类型和不具有时间属性的媒体类型。具有时间属性的媒体类型包括上课时录制的视频TS流、音频TS流、书写笔迹文件等，这些媒体类型所记录的内容与一定的时间相对应，例如视频TS流中的每一帧对应于一定的录制时间，书写笔迹文件中的每个笔迹点对应于一定的录制时间等。不具有时间属性的媒体类型包括WORD、PPT文档、课堂笔记文件及图片等，这类媒体类型本身不包含时间信息。

传统的记录系统在记录各媒体信息时，对于本身不包含时间信息的媒体类型是将其演示的过程的视频录制下来，例如将PPT的演示过程录制成视频，具有诸多弊端。本实施例涉及的系统在记录时，对各媒体的自身属性不做改变，即保留其原有的格式，通过记录本身不包含时间信息的媒体类型发生的关键事件及其发生时间来保证回放时各媒体间的同步，所述关键事件是指各媒体格式记录过程中出现的节点性事件。例如，PPT文档本身不具备时间属性，系统在记录时记录PPT每次翻页操作及其发生的时间，在回放时，播放到翻页时间时就开始显示后一页PPT的内容。

图3为本实施例的录制系统的录制过程的处理流程图。以下结合图3具体说明本实施例的系统的使用和处理流程。上课前，系统的各部分通电开机，尤其是中央控制器1和路由器2（步骤S1）。用户使用自己的用户名和密码登陆各自的终端，终端可以是固定在教室中的，也可以是用户自带的配置有相关功能模块的设备。用户在终端输入的用户名和密码被发送到中央控制器1，中央控制器1的CPU11查询存储器12中的权限信息确认用户的权限后将该终端与该用户绑定（步骤S2）。

开始上课前，演示屏幕5和音视频采集设备6开机，并且开始录制音频与视频，音频与视频均以10s时长的TS流文件格式存储到存储器12中，并且录制的音频与视频的TS流文件按文件名顺序依次保存。TS流文件按下述规则命名：文件名各部分以下划线分割，每部分的含义分别是：视频文件ID_码率_序号。例如，文件名可能是P420_800000_00000001.ts，表明该文件ID为P420（此处的P表示录制的为课程视频），码率为800000，在该TS文件中的序号为00000001。如此，后续的TS文件名分别为P420_800000_00000002.ts、P420_800000_00000003.ts，…（依此类推）。根据TS流文件的名称可以推算某TS流文件的录制时间，如序号为00000001的TS文件对应视频的第00s到09s，序号为00000002的TS文件对应视频的第10s到19s,以此类推。

同时，教师通过教师终端3将上课所需的资源上传给中央控制器1并存储到上述存储器12中，各学生终端4从中央控制器1的上述存储器12获取上述资源（步骤S3）。上述资源是供上课时演示用的资源，可以是WORD、PPT等格式的文档，也可以是图片、视频或音频等文件。

准备工作完成后，教师点击教师终端3的界面上的“开始上课”按钮，向中央控制器1发送开始上课的指令（步骤S4）。中央控制器1的CPU11收到开始上课的指令后，开始创建数据库文件，并向上述音视频采集设备6发出包含有,媒体格式信息的指令，并将上述音视频采集设备6按照上述媒体格式记录的音频和视频数据存储到上述存储器12中。在该录制过程中，音视频采集设备6采集的音频和视频文件格式为TS流文件格式。同时，中央控制器1的CPU11将来自上述教师终端3、学生终端4和远程客户端8等的教师和学生输入的书写笔迹文件等存储到上述存储器12中，并根据教师终端3的操作将相应的资源显示在各学生终端4、远程客户端8和演示屏幕5上。书写笔迹文件是指上课时教师或学生通过触摸屏或写字板输入的信息，其存储格式是表示笔迹点或笔迹曲线与时间的对应关系的TRD文件。

中央控制器1的CPU11接收到开始上课的指令后，进行同步标记，并将经同步标记后的数据存储在上述存储器12的同步标记的数据库中（步骤S5）。所述同步标记是指在数据库中添加一条标记条目，该条目包括记录的所有媒体格式在此关键事件发生时的状态。

图4是本实施例的同步标记的数据库条目的示例图。图中第一行为每个标记条目所涉及的项目，以下每行是一条标记条目，各标记条目按相应的关键事件发生时间的顺序进行记录。在图4中，每条标记条目的项目包括：演示文件名及进度、视频TS流、音频TS流、教师笔迹、所有学生笔记。演示文件名项目记录教师演示的文件的名称，进度项目记录演示文件的页码等信息，视频TS流和音频TS流项目记录TS流的类型（音频或者视频）及其在该TS流文件中对应的序号和时间位置，如图4中第一项上课开始时记录视频TS流P-11-00s的含义是：上课视频TS流第11个文件的第00s（每个TS流文件的时间标记为00s-09s，总共10s），前10个TS流文件为开始上课前录制的视频TS流（不会出现在数据库中）；S-11-00s的含义是上课音频TS流第11个文件的第00s。教师笔迹项目记录教师笔迹的录制时间，学生笔记项目记录该学生的笔记的文件名和创建或保存操作。为简单起见，图4中省略了部分项目，比如教师笔记、所有学生的书写笔迹等。

回到步骤S5，假定该课程开始时，教师演示文件名为0001-1.ppt的文档的第1页，系统默认上课开始即开始记录教师笔迹并继续录制音视频TS流文件。教师终端3发给中央控制器1的开始上课指令中还包括PPT文档的信息，中央控制器1收到上课开始指令后，CPU11在同步标记的数据库中创建第一条条目，如图4所示，记录内容包括演示文件的名称和进度以及音视频TS流文件名称及时间位置、教师笔迹的开始时间。由于此时学生未开始做笔记，因此学生笔记项目为空。

课程开始后，中央控制器1的CPU11循环检测是否存在关键事件（步骤S6）。在本实施例的系统中，对于PPT、WORD文档来说，演示时的翻页操作就是关键事件；对于保存在上课时教师或学生通过键盘输入的文本信息的笔记文件来说，其对应的关键事件就是某一条目的文本信息的创建与记录完成；对于图片来说，其对应的关键事件就是该图片开始被演示的时间和被切换的时间。各媒体类型对应的关键事件在系统运行前就被预设在中央控制器1的存储器12中。

如果中央控制器1的CPU11检测到在某个媒体类型中发生了关键事件（步骤S6：是），则在同步标记的数据库中添加一条对应于该关键事件的同步标记（步骤S7）。同步标记的数据库的每个同步标记的条目都包括记录的所有媒体格式在某一关键事件发生时的状态，假定当前时刻发生了PPT翻页这一关键事件，则该条目中与媒体格式PPT对应的项目记录PPT在哪一页进行了翻页；对于具有时间属性的媒体类型，如书写笔迹文件，该条目中与书写笔迹对应的项目记录了当前笔迹文件的名称和进度时间；对于不具有时间属性的媒体类型，如课堂笔记文件，该条目中的相应项目记录了当前笔记文件的名称。同步标记的数据库中对属于每个用户的关键事件均进行记录，例如，对教师来说，数据库中所记录的信息包括音视频TS流文件、演示内容的切换操作（PPT翻页、演示图片切换等）、书写笔迹操作等，对学生来说，所记录的信息只需要包括其书写笔迹操作、课堂笔记操作等。每个用户所需要记录的每个媒体类型在数据库的条目中都有对应的项目，如此，学生在回放时既可以看到教师在上课时的所有操作，如演示内容、书写笔迹等，又可以同步看到属于自己的记录，如上课时的书写笔迹、课堂笔记等。

以下仍然以图4为例说明如何向数据库中添加同步标记条目。假定教师在第50秒时将PPT翻至第二页，由于PPT翻页已被定义为关键事件，此时添加第二条同步标记条目，在该条目中演示文件名仍为0001-1.ppt，进度为2，代表PPT翻到第二页，音视频TS流项目中记录为S/P-16-00，教师笔迹记录此时的时间，即第50秒。在2分10秒时，学生2点击了本终端的“记笔记”按钮，系统因此为其创建了一个名为“002-01.txt”的文件存储笔记内容。此时添加第三条同步标记条目，其中学生2笔记项目中记录了“002-01.txtstart”，表示创建了该笔记文件，教师笔迹中记录此时的时间，即第2分10秒，演示文件、进度及其他学生笔记项目与上一条目相同，音视频TS流项目记录为S/P-24-00s。在3分20秒时，学生2记录完该笔记，并点击了本终端的“保存笔记”按钮，系统保存名为“002-01.txt”的笔记文件。此时添加第四条同步标记条目，其中学生2笔记项目中记录了“002-01.txtend”，表示保存了该笔记文件，音视频TS流项目记录为S/P-31-00s，教师笔迹中记录此时的时间，即第3分20秒，演示文件、进度及其他学生笔记项目与上一条目相同。在5分30秒时，教师用图片文件0219.bmp替换了PPT文档进行演示。此时添加第五条同步标记条目，其中演示文件名变为“0219.bmp”，进度变为1，音视频TS流项目记录为S/P-44-00s，教师笔迹中记录此时的时间，即第5分30秒，学生笔记部分为空。在7分4秒时，教师将演示文档重新切换回0001-1.ppt的第2页。此时添加第六条同步标记条目，其中演示文件名变为“0001-1.ppt”，进度为2，音视频TS流项目记录为S/P-53-04s，教师笔迹中记录此时的时间，即第7分4秒，学生笔记部分为空。在8分20秒时，教师从0001-1.ppt的第2页跳转到第5页进行演示。此时添加第七条同步标记条目，其中演示文件名为“0001-1.ppt”，进度为5，音视频TS流项目记录为S/P-61-00s教师笔迹中记录此时的时间，即第8分20秒，学生笔记部分为空。

课程结束后（步骤S8：是），中央控制器1的CPU11结束各媒体类型的录制，并将录制的各媒体的文件和同步标记的信息上传给云端系统7（步骤S9）。录制的媒体既包括教师讲解的音视频TS流文件、书写笔迹文件等，也包括学生记录的书写笔迹文件和课堂笔记文件等。云端控制器71按不同的文件类别将文件存储在云端存储装置72的不同路径，以备后续调用。至此，完成了对课程的录制。

课程录制完成后可以对录制的内容进行播放。可以通过安装在用户终端或其他设备上的具有相应功能的播放器进行多种媒体的同步播放，各媒体的记录内容分别按录制时的时间顺序进行显示；同时，用户可以改变某一媒体的播放进度从而使得其他媒体的播放进度与该媒体的播放进度一致。

当进行回放或者改变播放进度时，通常是将音视频文件、PPT文件、教师笔记文件等全部下载后才能实现同步播放，但是该实施例中将音视频文件录制为相应的TS流格式，就可以做到边下载边播放，节省了下载了时间。并且还能快速定位，实现录制时不同时间点处的音视频的快速切换。此时下载时就可以只下载除了录制音视频TS流文件以外的PPT文件、教师笔记等文件。

当进行回放时，如图5所示的流程图，用户终端利用自身的权限从云端系统7获取与自己相关的已录制课程的各种记录文件和数据库中记录的信息（步骤S11）。一般教师终端可以调取该课程的所有用户的数据和数据库中记录的信息，学生终端只能调取教师和本用户的数据和数据库信息，而不能调用其他用户的数据和数据库信息。然后，用户终端的播放器依次读取数据库中的记录信息，分析当前需要载入的媒体文件并进行播放（步骤S12）。播放器首先分析数据库中的第一条记录，判断第一次关键事件所涉及的媒体类型。第一条记录中记录的是课程开始时的信息，一般包括课程开始的音视频TS流文件、演示PPT文档首页等内容，播放器根据第一条记录的内容载入相关的媒体文件开始播放，音视频TS流会按照其名称中的序号顺序播放。接着，播放器分析数据库中的第二条记录，确定第二次关键事件发生的时间和所涉及的媒体，如果需要，在播放至第二次关键事件发生的时间时载入所涉及的其他媒体进行播放。播放器依次分析数据库中的各条记录，并依次播放相关的媒体文件。

以图4为例说明如何根据同步标记条目实现同步回放。以学生2为例，学生2的终端从云端系统获取教师和自己的文件和数据库信息。在此，数据库中其他学生笔记的项目与学生2无关，因此学生2的终端只能获取除了其他学生笔记以外的数据库项目。播放器首先载入第一个条目，根据该条目中的项目确定需要载入的文件并进行播放。根据图4中的第一个条目，播放器可以分析出在开始播放时涉及0001-1.ppt、视频TS流文件、音频TS流文件和教师笔迹文件，因此，播放器载入上述文件，开始播放音视频文件和教师笔迹，同时根据进度项目的记录演示0001-1.ppt的第1页。然后播放器调取第二个条目并与第一个条目进行对比，判断在教师笔迹播放到第50s时，将演示文件切换为0001-1.ppt的第2页，并在第50秒时按此操作，视频TS流播放到P/S-16-00s。播放器调取第三个条目，判断在教师笔迹播放到第2分10s时，，学生2创建了笔记文件002-01.txt，并载入该笔记文件，在2分10秒时显示该笔记文件，视频TS流播放到P/S-24-00s。播放器调取第四个条目，判断在教师笔迹播放到第3分20秒时，学生2保存了笔记文件002-01.txt，并在该时刻关闭该笔记文件，视频TS流播放到P/S-31-00s。播放器调取第五个条目，判断在教师笔迹播放到第5分30s时，，演示文件变为图片文件0219.bmp，则载入该文件，在5分30秒时将演示文件切换为该图片文件，视频TS流播放到P/S-44-00s。播放器调取第六个条目，判断在教师笔迹播放到第7分4秒时，演示文件切换回0001-1.ppt的第2页，并在7分4秒时将演示文件切换为0001-1.ppt的第2页，视频TS流播放到P/S-53-04s。播放器调取第七个条目，判断在教师笔迹播放到第8分20秒，演示文件由0001-1.ppt的第2页切换到第5页，并在8分20秒时将演示文件切换为0001-1.ppt的第5页，视频TS流播放到P/S-61-00s。在标记了开始上课时音视频TS流文件对应的序号和时间位置后，就能很容易的在教师笔迹记录时间与TS流文件之间进行时间对应的换算，即中央控制器1能根据播放的教师笔迹记录时间得到相应的音视频TS流文件名和时间位置。

如果以学生1的身份信息登录，则只能从云端系统7得到教师和学生1的相关文件和数据库信息。对学生1来说，播放器在调取第3和第4个条目时，与学生2的操作不同。学生1的条目3、4中没有与笔记相关的信息，因此，播放器在条目3、4对应的时间没有显示和关闭笔记文件的操作。播放器对其他条目的操作与学生2的操作相同。

在回放时，播放器还随时检测用户是否改变了某一媒体文件的播放进度或者用户是否发送了快速切换指令（步骤S13），例如，用户可以切换进度将视频的进度由第20分钟快速切换到第35分钟，或者从PPT的第1页跳到第10页。当播放器检测到切换进度变化指令时（步骤S13：是），播放器查询同步标记的数据库，将其他媒体的播放进度自动同步到该位置（步骤S14）。具体来说，当改变教师笔迹这样的具有时间属性的媒体文件的播放进度时，播放器根据该进度对应的时间在同步标记的数据库中逐条查询该媒体文件在每个关键事件发生时的时间，直至找到该时间之前与之距离最近的关键事件。改变音视频TS流进度时，中央控制器将该进度换算成时间，播放器根据该时间在同步标记的数据库中逐条查询该媒体文件在每个关键事件发生的时间，直至找到改时间之前与之距离最近的关键事件。当改变PPT文档这样的不具有时间属性的媒体文件的进度时，播放器根据要切换的PPT的页码在数据库中逐条查询PPT文件在每个关键事件发生时的进度，直至找到PPT翻到该页的关键事件。根据这个关键事件的数据库条目就可以确定PPT翻到该页时应该播放的所有媒体文件及相应的播放进度。

以下以图4为例说明进度切换时的处理。当学生2在播放进行中拖动教师笔迹条到2分30秒时，播放器在教师笔迹等项目中寻找2分30秒之前最近的条目，即2分10秒的条目3，播放器分析条目3中所有媒体的状态，判断要载入笔记文件002-01.txt进行显示，如果当前演示文件是0001-1.ppt则要载入该文件显示第2页，同时将音视频TS流文件根据教师笔迹的时间进度进行换算后调整到第26个TS流文件的第00s，同时进行播放。当学生2在播放进行中选择演示文件0001-1.ppt的第2页，播放器查找演示文件名项目为0001-1.ppt且进度为2的最早的条目，即条目2。根据条目2的内容，播放器显示0001-1.ppt的第2页并将音视频TS流文件和教师笔迹调整到条目2记录的时间进度。

当播放器检测到播放结束时（步骤S15：是），结束各媒体文件的播放（步骤S16）。

实施例2

本实施例与实施例1的多媒体的录制系统和中央控制器的结构框图是相同的，同时该多媒体的录制、回放流程也相同，分别如图1、2、3、5所示，在此不做详细叙述。实施例1与实施例2的不同在于音视频TS流的命名规则不同。

在本实施例中，TS流文件命名时较实施例1中的增加了时间戳，命名规则如下：文件名各部分以下划线分割，每部分的含义分别是：视频文件ID_码率_年月日_时分秒毫秒_序号。例如，文件名可能是P420_800000_20131211_124643962_00000001.ts，表明该文件ID为P420（此处的P表示录制课程的视频名称），码率为800000，录制的日期为2013年12月11日，该TS文件录制的起始时间是12时46分43秒962毫秒，该TS文件的序号为00000001，该序号为00000001的TS文件对应的录制时间为00秒到09秒的10秒的时间。如此，后续的TS文件名分别为P420_800000_20131211_124653962_00000002.ts（对应录制时间为10秒到19秒的十秒的时间）、P420_800000_20131211_124703962_00000003.ts（对应录制时间为20秒到29秒的十秒的时间），…（依此类推）。文件名中的年月日时分秒毫秒部分是该文件的时间戳。

在本实施例中，数据库中标记关键事件发生时的音视频TS流时，记录某关键事件发生时音视频TS流片段的开始录制时间以及该关键时间发生时在该TS流中对应的时间位置。例如，图6中视频TS流在序号3下记录为：12.50.33.962-00，表示关键事件学生2开始记录笔记发生在12时50分33秒962毫秒开始录制的TS流片段的第00秒；视频TS流在序号6下记录为：12.55.23.962-04，表示演示文件由0219.bmp转换到0001-1.ppt的第2页发生在12时55分23秒962毫秒开始录制的TS流片段的第04秒。根据带时间戳的TS流文件名就能很容易的定位关键事件发生时或者进行切换时对应的TS流及发生的时间点。

在本实施方式中，交互式系统被用于电子课堂，但不限于此。本发明也可以用于需要互动的会议系统、产品展示系统、电子演播系统等，其部分终端类型可能与本实施方式有较大差异，但系统架构与本实施方式基本相同。

在本实施方式中，中央控制器1的CPU11在课程结束后将记录结果上传给云端系统7，但不限于此。中央控制器1的CPU11也可以一边录制一边将数据上传给云端系统7。同时，远程客户端或者学生就能够在课程录制的同时下载并观看音视频。

在本实施方式中，在系统内部处理和输出时的TS文件均采用了10秒的时长，但不限于此，也可以采用其他时长。

在本实施方式中，以输入和输出M3U8格式的TS流为例，但不限于此，输入和输出也可以是其他格式的流媒体文件。此时，系统采用能够对该格式的流媒体文件进行处理的底层部件。

在本实施方式中，数据库中的同步标记的每个条目中没有包括系统时间，但不限于此。在条目中包括一个中央控制器的系统时间的项目会使得在回放时的各媒体间同步的实现更为简单便捷。

在本实施方式中，数据库中的同步标记的每个条目中记录了所有媒体类型在标记时的状态，但不限于此。如果部分具有时间属性的媒体类型间的时间可以进行同步，数据库条目中也可以不记录部分此类媒体类型的信息，以减小同步标记的数据库记录的数据量。例如，如果所有具有时间属性的媒体类型中的时间都与中央控制器的系统时间一致，在数据库条目中只记录该系统时间和所有不具有时间属性的媒体类型的信息就可以实现同步。但为了保证同步，数据库条目中应至少包括一个时间项目和所有不具有时间属性的媒体类型的信息，否则无法实现所有媒体间的同步。比如，图4中的同步标记的数据库的项目可以只包括视频时间、演示文件名和进度、笔记项目，其他媒体的时间参照视频时间进行换算。

在本实施方式中，中央控制器1和路由器分开设置，但不限于此。也可以将路由器集成在中央控制器1内部，路由器可以是无线路由器也可以是有线路由器。

应当理解以上说明书中所描述的具体实施方式和实施例仅用于说明本发明而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围。

Claims (27)

1.一种多种媒体同步录制的方法，包括：

录制步骤，录制多种格式的媒体文件；以及

同步标记步骤，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；

其中，在录制步骤中，将音频或视频录制为流媒体格式。

2.根据权利要求1所述的多种媒体同步录制的方法，其特征在于：

在所述同步标记步骤，使用同步标记文件记录其他类型的媒体文件的录制进度。

3.根据权利要求2所述的多种媒体同步录制的方法，其特征在于：

所述同步标记文件是数据库文件。

4.根据权利要求3所述的多种媒体同步录制的方法，其特征在于：

所述同步标记文件中的每个条目分别对应于某一关键事件，条目的次序对应于关键事件的发生时间的顺序；

每个条目中包括关键事件发生时所记录的所有其他类型的媒体文件的录制进度。

5.根据权利要求4所述的多种媒体同步录制的方法，其特征在于：

对于音频或视频，在录制时将流媒体文件片段按顺序编号，所述录制进度是相应的流媒体文件片段的编号及该片段的已录制时间。

6.根据权利要求4所述的多种媒体同步录制的方法，其特征在于：

对于音频或视频，在录制时使流媒体文件片段包含该片段的起始时间的信息，所述录制进度是相应的流媒体文件片段的起始时间的信息以及该片段的已录制时间。

7.根据权利要求6所述的多种媒体同步录制的方法，其特征在于：

所述起始时间的信息包含在所述流媒体文件片段的片段名中。

8.一种使用权利要求1所述的多种媒体同步录制的方法录制的多种媒体的同步播放方法，其特征在于：

根据每次关键事件发生时记录的媒体文件的录制进度播放当时所涉及的媒体文件。

9.根据权利要求8所述的同步播放方法，其特征在于：

当某一类型的媒体文件的播放进度被改变时，根据记录的录制进度将其他类型的媒体文件的播放进度也改变为与所述某一类型的媒体文件一致。

10.根据权利要求9所述的同步播放方法，其特征在于：

如果被改变进度的媒体文件是包含时间信息的媒体类型，将其他包含时间信息的媒体类型的播放进度调整到该时间，将不包含时间信息的媒体类型的播放进度调整到与该时间相对应的关键事件发生时的状态。

11.根据权利要求9所述的同步播放方法，其特征在于：

如果被改变进度的媒体文件是不包含时间信息的媒体类型，将其他包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生的时间，将不包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生时的状态。

12.一种用于多媒体电子课堂的多种媒体同步录制的方法，包括：

录制步骤，录制多种格式的媒体文件；以及

同步标记步骤，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；

其中，在录制步骤中，将音频或视频录制为流媒体格式。

13.一种同步录制多种媒体的装置，包括：

录制单元，用于录制多种格式的媒体文件；以及

同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；

其中，录制单元将音频或视频录制为流媒体格式。

14.根据权利要求13所述的同步录制多种媒体的装置，其特征在于：

所述同步标记单元使用同步标记文件记录其他类型的媒体文件的录制进度。

15.根据权利要求14所述的同步录制多种媒体的装置，其特征在于：

所述同步标记文件是数据库文件。

16.根据权利要求15所述的同步录制多种媒体的装置，其特征在于：

所述同步标记文件中的每个条目分别对应于某一关键事件，条目的次序对应于关键事件的发生时间的顺序；

所述同步标记文件中的每个条目中包括关键事件发生时所记录的所有格式的媒体文件的录制进度。

17.根据权利要求16所述的同步录制多种媒体的装置，其特征在于：

对于音频或视频，在录制时将流媒体文件片段按顺序编号，所述录制进度是相应的流媒体文件片段的编号及该片段的已录制时间。

18.根据权利要求16所述的同步录制多种媒体的装置，其特征在于：

对于音频或视频，在录制时使流媒体文件片段包含该片段的起始时间的信息，所述录制进度是相应的流媒体文件片段的起始时间的信息以及该片段的已录制时间。

19.根据权利要求18所述的同步录制多种媒体的装置，其特征在于：

所述起始时间的信息包含在所述流媒体文件片段的片段名中。

20.一种使用权利要求13所述的装置录制的多种媒体的同步播放用播放器，其特征在于：

所述播放器根据每次关键事件发生时记录的媒体文件的录制进度播放当时所涉及的媒体文件。

21.根据权利要求20所述的播放器，其特征在于：

当某一类型的媒体文件的播放进度被改变时，所述播放器根据记录的录制进度将其他类型的媒体文件的播放进度也改变为与所述某一类型的媒体文件一致。

22.根据权利要求21所述的播放器，其特征在于：

如果被改变进度的媒体文件是包含时间信息的媒体类型，所述播放器将其他包含时间信息的媒体类型的播放进度调整到该时间，将不包含时间信息的媒体类型的播放进度调整到与该时间相对应的关键事件发生时的状态。

23.根据权利要求21所述的播放器，其特征在于：

如果被改变进度的媒体文件是不包含时间信息的媒体类型，所述播放器将其他包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生的时间，将不包含时间信息的媒体类型的播放进度调整到与目标进度相对应的关键事件发生时的状态。

24.一种用于多媒体电子课堂的多种媒体同步录制的装置，包括：

录制单元，用于录制多种格式的媒体文件；以及

同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度；

其中，录制单元将音频或视频录制为流媒体格式。

25.一种多媒体互动系统，包括：

多个通过中央控制器进行通信的终端；

用于根据终端的通信请求在终端间建立交互链路的中央控制器；录制终端间交互内容的多种媒体的录制设备；以及

连接终端和中央控制器的通信链路；

其中，所述中央控制器包括：

录制单元，用于录制多种格式的媒体文件，将其中的音频或视频录制为流媒体格式；以及

同步标记单元，当某一媒体类型发生预定的关键事件时，记录其他类型的媒体文件的录制进度。

26.根据权利要求25所述的多媒体互动系统，其特征在于：

所述多种媒体包括具有时间属性的媒体类型和不具有时间属性的媒体类型。

27.根据权利要求26所述的多媒体互动系统，其特征在于：

所述具有时间属性的媒体类型包括音频、视频、动画；所述不具有时间属性的媒体类型包括文档、图片。