CN102821308A - 一种多场景流媒体课件录制与直播方法 - Google Patents

Abstract

本发明为一种多场景流媒体课件录制与直播方法，在录制时，通过屏幕视频关键帧补帧算法使录制的教师摄像头视频多媒体文件和屏幕视频多媒体文件同步；在流化直播过程中，通过视频PES包和音频PES包同步封装复用，将实时的视频流和音频流编码成TS流文件，分发到Web直播服务器中，通过多视频源同步直播控制实现同步播放教师摄像头视频和屏幕视频，本发明支持Windows/Linux跨平台运行，同时支持教师摄像头视频、教师音频和屏幕视频的多源录制以及流化直播技术，可以边录制边直播。

Description

一种多场景流媒体课件录制与直播方法

技术领域

本发明属于多媒体录制及直播领域，涉及到音视频的采集、编码以及播放领域，特别是涉及到一种多场景流媒体课件录制与直播方法。

背景技术

计算机技术的发展、Internet普及以及网络带宽的飞速增长带来了多媒体技术的广泛应用，同时，网络教育/远程教育也已普遍被人们所接受。将教师的授课过程通过录像录音设备录制成多媒体文件，有利于记忆、保存资料，借助于网络点播技术，有利于开展网上教学。检索到的以下几篇与本发明相关的属于多媒体录制领域的专利，它们分别是：

1.中国专利200910211202.X，多媒体会议的录播方法、装置及系统、回播方法及装置；

2.中国专利200610098514.0，实现多媒体录放的方法及装置；

3.中国专利200680012687.4，一种实现多媒体录制的方法、系统及媒体资源处理设备；

4.中国专利200910079892.8一种用于教学的课程录制系统；

5.中国专利200610091154.1实现多媒体录制的方法及系统；

6.中国专利200610033656.9一种通过H.248协议实现多媒体录制的方法及系统。

在上述专利1中，发明人提出了一种根据录制策略对多媒体会议中多路媒体流的数据进行组合录制处理方法，能够较佳地反应多媒体会议的综合情况。

在上述专利2中，发明人提出了一种用于解决在多媒体录放时一个媒体文件中的多条媒体流之间不能同步的问题的方法，通过该发明的实施，保证了一个媒体文件中的多条媒体流之间同步。

在上述专利3中，发明人提出了一种实现多媒体录制的方法，包括在媒体资源处理设备和录制数据源之间建立多媒体通道；媒体资源控制设备携带媒体控制参数，指示媒体资源处理设备启动录制操作；按照指定格式保存接收到的多媒体文件。

在上述专利4中，发明人提出了一种用于教学的课程录制系统，包括摄像模块、跟踪定位模块、多媒体教室模块、录播工作站、录播系统资源管理模块等，实现课堂无干扰、无意识控制、无人值守的全自动智能录播。

在上述专利5中，发明人提出了一种多媒体录制方法，该方法预先设置表示多媒体录制结束的DTMF键序列，当媒体处理设备检测到所述DTMF键序列中的键被按下时，停止录制并向媒体控制设备上报录制结束的事件，媒体控制设备接收到录制结束事件后，通知媒体处理设备保存多媒体信息。

在上述专利6中，发明人提出了一种通过H.248协议实现多媒体录制的方法及系统，利用该发明提供的方法及系统，使得可以在例如WCDMA或IMS的媒体资源控制和处理设备上实现多媒体留言信箱等业务。

根据上述查新，现有技术所存在的问题是，都没有考虑多场景录制和流化直播技术，导致录制场景不全面或对多视频源的请求播放不能同步。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种多场景流媒体课件录制与直播方法，不仅支持Windows/Linux下多场景流媒体课件同步录制，还支持录制场景的流化直播，实现边录制边直播及多视频源的同步控制功能。

为了实现上述目的，本发明采用的技术方案是：

一种多场景流媒体课件录制与直播方法，

在开始录制时，通过屏幕视频关键帧补帧算法使录制的教师摄像头视频多媒体文件和屏幕视频多媒体文件同步；

在流化直播过程中，通过视频PES包和音频PES包同步封装复用，将实时的视频流和音频流编码成TS流文件，分发到Web直播服务器中，通过多视频源同步直播控制实现同步播放教师摄像头视频和屏幕视频。

所述屏幕视频关键帧补帧算法包括如下步骤：

Step1：初始化屏幕视频帧缓存队列，录制教师音频流、教师摄像头视频流和屏幕视频流的编码参数，并置补帧标志位为假；

Step2：检测输入参数的有效性，如果有效，进入下一步，否则，直接结束；

Step3：启动教师音频采集线程、教师摄像头视频采集线程和屏幕视频采集线程，分别采集教师音频数据、教师摄像头视频数据和屏幕视频数据；

Step4：判断教师音频数据、教师摄像头视频数据和屏幕视频数据采集是否成功，如果成功，进入下一步，否则，直接结束；

Step5：根据编码参数对上述三路数据分别编码，输出编码后的教师音频流、教师摄像头视频流和屏幕视频流；

Step6：判断补帧标志位，若补帧标志位为真，则将收到的教师摄像头视频数据和教师音频数据组合写入教师摄像头视频媒体文件，将收到的屏幕视频数据和教师音频数据组合写入屏幕视频媒体文件，并跳转到Step9；若补帧标志位为假，则进入下一步；

Step7：检测教师摄像头视频流，直到收到教师摄像头视频关键帧，则开始写入教师摄像头视频媒体文件，并记录关键帧时间戳T；

Step8：将屏幕视频帧保存在屏幕视频帧缓存队列，并检测是否收到屏幕视频关键帧，若收到，则将该关键帧补到屏幕视频帧缓存队列头部，同时修改该关键帧的时间戳为T，再将缓存队列内的数据依次写入屏幕视频媒体文件，清空屏幕视频帧缓存队列，置补帧标志位为真；

Step9：判断录制是否结束，若未结束，则返回执行Step5；否则，直接跳转到结束。

所述视频PES包和音频PES包同步封装复用包括如下步骤：

Step1：初始化视音频缓存队列及各个参数，输入TS媒体文件的切片时长，开始接收视频PES流和音频PES流，根据接收的视音频数据分别计算视频帧的显示时间标志和音频帧的显示时间标志，其中显示时间标志是PES包头中可选字段，用于通知解码器显示已解码的图像帧的时间戳；

Step2：若音频帧的显示时间标志小于等于视频帧的显示时间标志，则将音频帧数据加入音频帧的缓存队列，并更新音频帧显示时间标志；否则，将视频帧数据加入视频帧的缓存队列，更新视频帧显示时间标志；

Step3：检测音频帧的缓存队列是否为空，若不为空，则将队列中的音频PES流数据写入TSi文件之中；检测视频帧的缓存队列是否为空，若不为空，则将队列中的视频PES流数据写入TSi文件之中；

Step4：检测TSi文件是否写完，若TSi文件还未写完，即TSi文件的帧数目小于TS媒体文件切片时长与视频帧速率之积，则返回Step2，否则，输出当前的TSi文件，并存储到服务器之中，上述TSi文件指媒体序列文件中的第i个TS文件；

Step5：服务器更新TS数据索引文件，重置所有参数；

Step6：判断录制是否结束，若未结束，则返回执行Step2；否则，直接结束。

音频帧的显示时间标志PTS利用如下公式计算：

$\mathrm{PTS}=\frac{\mathrm{AudioFrmNum}*\mathrm{AudioSamp}*\mathrm{Sequence}}{\mathrm{Sampling}}$

其中，AudioFrmNum是当前音频帧的在完整码流的音频帧中的序号；AudioSamp是音频帧的样本点，与采样率有关；Sequence为时钟频率；Sampling为音频采样率。

视频帧的显示时间标志PTS(i)利用如下公式计算：

$\mathrm{PTS}\left(i\right)=\mathrm{base}\_\mathrm{clock}\×(i\_\mathrm{frame}\_\mathrm{counter}+\mathrm{pic}\_\mathrm{order}\_\mathrm{cnt}\_\mathrm{lsb}/2)\×\frac{\mathrm{time}\_\mathrm{scale}}{\mathrm{num}\_\mathrm{units}\_\mathrm{in}\_\mathrm{tick}/2}$

其中，i_frame_counter为最近一次关键帧的帧序，再用时长和帧数目计算出帧率，time_scale为时长，num_units_in_tick为帧数目，pic_order_cnt_lsb为当前帧在视频序列中显示顺序位置，base_clock为基本时钟频率。

同步封装复用过程中，在音频帧的PES包中显示时间标志和视频帧的PES包中显示时间标志相等的情况下，优先把音频的PES包复用到TS流中。

所述多视频源同步直播控制具体步骤如下：

Step1：初始化视音频缓存队列，初始化编码器参数，输入TS媒体文件的切片时长，读入教师摄像头视频数据流、教师音频数据流和屏幕视频数据流；

Step2：根据教师摄像头数据流参数计算视频帧速率，将该视频帧速率与所述切片时长相乘得到教师摄像头视频TS流媒体文件中所含的视频帧个数；根据屏幕视频数据流参数计算出屏幕视频帧速率，将该屏幕视频帧速率与所述切片时长相乘得到屏幕视频TS流媒体文件中所含的屏幕帧个数；

Step3：根据教师摄像头视频数据流、教师音频数据流和屏幕视频数据流，分别计算相应的显示时间标志；

Step4：根据教师摄像头视频TS流媒体文件中所含的视频帧个数进行教师摄像头视频帧和教师音频帧的循环封装复用，根据屏幕视频TS流媒体文件中所含的屏幕帧个数进行屏幕视频帧和教师音频帧的循环封装复用，同时输出教师摄像头视频的TS流媒体序列文件和屏幕视频TS媒体序列文件；

Step5：根据教师摄像头视频的TS流媒体序列文件和屏幕视频的TS媒体序列文件，更新服务器相应的数据索引文件，实现多视频源的同步直播控制。

与现有技术相比，本发明的优点是：支持教师摄像头视频、教师音频和屏幕视频的多场景录制及录制场景的流化直播，实现支持Windows/Linux的多场景同步录制以及对多视频源的同步控制。

附图说明

图1为本发明多场景流媒体课件录制与直播方法流程图。

图2为本发明屏幕视频关键帧补帧算法流程图。

图3为公知的TS包结构图。

图4为公知的PES包结构图。

图5为本发明视频PES包和音频PES包的同步封装复用流程图。

图6为本发明多视频源的同步直播控制方法流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如附图1所示，本发明一种多场景流媒体课件录制与直播方法，首先需要进行对音视频数据进行采集，包括教师摄像头视频数据、教师音频数据和屏幕视频数据，然后对采集到数据分别进行编码，输出多路实时流，即教师音频流、教师摄像头视频流和屏幕视频流，开始录制时通过屏幕视频关键帧补帧算法，使录制的教师摄像头视频多媒体文件和屏幕视频多媒体文件能够同步；在流化直播过程中，采用视频PES包和音频PES包的同步封装复用方法，将实时的视频流和音频流编码成TS流文件，分发到Web直播服务器中，并采用多视频源的同步直播控制技术，协调请求端对多视频源的播放请求，使请求端可以同步播放教师摄像头视频和屏幕视频。

下面分步骤对本发明的技术方案进行详细叙述。

1、教师摄像头视频、教师音频及屏幕视频数据的采集与编码

多场景录制包括教师摄像头视频、教师音频和屏幕视频的采集、编码。首先，获取采集设备对象，从采集设备对象获取数据并由ffmpeg进行编码。

1）采集教师摄像头视频数据

本发明中采用跨平台计算机视觉库OpenCV来采集摄像头视频数据，具体步骤如下：

Step1：获取摄像头对象，检查是否有摄像头，若返回成功，则继续下面步骤，否则结束；

Step2：设置摄像头对象采集参数，包括摄像头采集图像的像素宽和高；

Step3：检查参数是否正确，若正确，则继续下面步骤，否则结束；

Step4：按帧速率定时从摄像头对象采集图像数据，数据格式为RGB24，将RGB24数据进行颜色空间转换成YUV420P，并调用ffmpeg的编码函数进行编码；

Step5：重复Step4，直到收到停止录制的消息；

Step6：收到停止录制消息，销毁摄像头对象；

2）采集屏幕视频数据

本发明采用跨平台的QT开发平台来采集教师计算机屏幕视频数据，具体步骤如下：

Step1：获取教师计算机屏幕对象，若返回成功，则继续下面步骤，否则结束；

Step2：获取录制计算机显示器屏幕对象大小；

Step3：定时从教师计算机屏幕对象采集屏幕图像数据，数据格式为RGB24，将RGB24数据进行颜色空间转换成YUV420P并进行缩放，并调用ffmpeg的编码函数进行编码；

Step4：重复Step3，直到收到停止录制的消息；

Step5：收到停止录制消息，销毁教师计算机屏幕对象；

3）采集教师音频数据

本发明采用跨平台的QT开发平台来采集教师音频数据，具体步骤如下：

Step1：获取采集声卡设备对象，若返回成功，则继续下面步骤，否则结束；

Step2：配置声卡采集对象采集参数，包括采集频率、声道、位宽等；

Step3：检查参数是否正确，若正确，则继续下面步骤，否则结束；

Step4：打开声卡设备，自动采集声音数据，并由ffmpeg进行编码；

Step5：重复Step4，直到收到停止录制的消息；

Step6：收到停止录制消息，销毁声卡采集对象；

4）采用ffmpeg对教师摄像头视频、教师音频和屏幕视频编码

本发明中ffmpeg对视音频编码的具体步骤如下：

Step1：初始化编码参数，并检查参数是否正确，若正确，则继续下面步骤，否则返回失败；

Step2：分别打开教师摄像头视频、教师音频和屏幕视频对应的编码器，准备编码；

Step3：若输入为视频RGB24数据，将RGB24数据进行颜色空间转换成YUV420P，再由编码器进行编码，输出视频H264数据帧；若输入为音频数据，则直接由编码器编码，输出音频AAC数据帧；

Step4：重复Step3，直到收到停止录制的消息；

Step5：收到停止录制消息，关闭编码器，销毁ffmpeg对象；

2、屏幕视频关键帧补帧算法

ffmpeg编码的视频帧分为帧内编码帧（I帧）、前向预测编码帧（P帧）和双向预测内插编码帧（B帧），其中I帧也称为关键帧，它可以不参考其他任何帧而独立编码。录制的视频文件需要以关键帧开始记录，即视频文件的第一个帧需要记录的是关键帧。教师摄像头视频和屏幕视频的关键帧间隔均设为4-6秒，由于两路视频流的关键帧并非同时到达，教师摄像头视频多媒体文件和屏幕视频多媒体文件不能同时开始录制，导致在点播课程的两种媒体文件时播放时间不能同步。本发明在录制文件时，通过屏幕视频关键帧补帧算法，使录制的教师摄像头视频多媒体文件和屏幕视频多媒体文件能够同步播放，算法流程图如附图2所示，具体步骤如下：

Step1：初始化屏幕视频帧缓存队列及录制参数，其中参数包括教师摄像头视频流、教师音频流和屏幕视频流的编码参数，并置补帧标志位为假；

Step2：检测输入参数的有效性，如果有效，进入下一步，否则，直接跳转到结束；

Step3：启动教师音频采集线程、教师摄像头视频采集线程和屏幕视频采集线程，分别采集教师音频数据、教师摄像头视频数据和屏幕视频数据；

Step4：判断教师音频数据、教师摄像头视频数据和屏幕视频数据采集是否成功，如果成功，进入下一步，否则，直接跳转到结束；

Step5：根据编码参数，对上述三路媒体数据分别采用相应的编码器进行编码，输出编码后数据流，包括教师音频流、教师摄像头视频流和屏幕视频流；

Step6：判断补帧标志位，若补帧标志位为真，说明已进行了补帧，将收到的教师摄像头视频数据和教师音频数据组合写入教师摄像头视频媒体文件，将收到的屏幕视频数据和教师音频数据组合写入屏幕视频媒体文件，并跳转到Step9；若补帧标志位为假，则进入下一步；

Step7：检测教师摄像头视频流，直到收到教师摄像头视频关键帧，则开始写入教师摄像头视频媒体文件，并记录关键帧时间戳T；

Step8：将屏幕视频帧保存在屏幕视频帧缓存队列，并检测是否收到屏幕视频关键帧，若收到，则将该关键帧补到屏幕视频帧缓存队列头部，同时修改该关键帧的时间戳为T，再将缓存队列内的数据依次写入屏幕视频媒体文件，清空屏幕视频帧缓存队列，置补帧标志位为真；

Step9：判断录制是否结束，若未结束，则返回执行Step5；否则，直接跳转到结束。

3、视频PES包和音频PES包的同步封装复用方法

在MPEG-2标准中，由于TS包有着固定大小，因此比较好确定帧的起始位置，因此也比较容易从丢包中恢复，使得TS适用于大多数误码环境之中。TS包长度固定为188B，由包头、调整头和净荷三部分组成。TS包结构图如附图3所示。

在MPEG-2标准之中，TS流文件是逐层打包的，首先要先把视音频的ES流数据打包成PES包数据，然后再将PES包复用成TS包。PES包由PES包头和PES数据块组成，PES包结构图如附图4所示。

在PES包头可选字段中有两个非常重要的字段：显示时间标志PTS(Presentation Time Stamp)以及解码时间标志DTS(Decoding Time Stamp)，PTS用于通知解码器什么时候显示一帧已解码的图像帧，而DTS用于指示什么时候对接收到的图像帧数据流进行解码。解码时间标志DTS必须和显示时间标志一起出现，不能独立存在的。一般来说DTS的值可以由PTS的值计算出来。

将音频帧打包成一个PES分组，只需要读取合适长度的音频帧数据，在具有音频帧帧头标识的PES包上加上包头内容，如PTS，PES长度等字段的内容。其中PTS的算法如下：

$\mathrm{PTS}=\frac{\mathrm{AudioFrmNum}*\mathrm{AudioSamp}*\mathrm{Sequence}}{\mathrm{Sampling}}$

其中，AudioFrmNum是当前音频帧的在完整码流的音频帧中的序号；AudioSamp是音频帧的样本点，与采样率有关；Sequence为时钟频率；Sampling是音频采样率。

流化模块传输的H264的ES原始流是以NAL的格式存在的，在使用H264的ES原始流来打包成PES包时，首先需要将数据流分割成一个一个的NALU(Network Abstract Layer Unit)数据。每一个NALU数据是由数据头和RBSP数据组成的。相对于音频的PES打包，视频流打包成PES包要复杂许多。视频编码和音频编码根本的不同在于它不仅采用帧内编码，同时也有帧间编码的编码方式。

设最近一次I帧的帧序为i_frame_counter，再用时长和帧数目计算出帧率，时长为time_scale，帧数目为num_units_in_tick，设当前帧在视频序列中显示顺序位置为pic_order_cnt_lsb，基本时钟频率为base_clock，计算H264视频PES包的PTS：

$\mathrm{PTS}\left(i\right)=\mathrm{base}\_\mathrm{clock}\×(i\_\mathrm{frame}\_\mathrm{counter}+\mathrm{pic}\_\mathrm{order}\_\mathrm{cnt}\_\mathrm{lsb}/2)\×\frac{\mathrm{time}\_\mathrm{scale}}{\mathrm{num}\_\mathrm{units}\_\mathrm{in}\_\mathrm{tick}/2}$

在获取到视频和音频的PES包之后，需要按照同步顺序将其复用到TS流中去。复用过程中要注意解码之前需要解码显示的数据必须到达缓存区，并且解码端的缓存区在解码过程中既不能上溢也不能下溢，同时这些缓存数据在缓存区停留的时间要尽量少。

在进行视频PES包和音频PES包的同步封装复用过程中，对于音频的PES包来说，由于音频帧长度很小，所以在进行复用的时候一般默认音频帧的PES包优先级高于视频帧的PES包优先级，在音频帧的PES包中PTS和视频帧的PES包中PTS相等的情况下，优先把音频的PES包复用到TS流中去。如果先复用视频帧的PES包，就可能因为复用的时间过长而使音频帧的PES包延时过大，造成解码端的缓冲区溢出。

视频PES包和音频PES包的同步封装复用流程图如附图5所示，具体步骤如下：

Step1：初始化视音频缓存队列及各个参数，输入TS媒体文件的切片时长Time_TS，开始接收视频PES流Video_PES和音频PES流Audio_PES，根据接收的视音频数据分别计算视频帧的显示时间标志Video_PTS(i)和音频帧的显示时间标志Audio_PTS(i)；

Step2：若Audio_PTS(i)小于等于Video_PTS(i)，则将音频帧数据加入音频帧的缓存队列Audio_Buf，并更新音频帧显示时间标志Audio_PTS(i)；否则，将视频帧数据加入视频帧的缓存队列Video_Buf，更新视频帧显示时间标志Video_PTS(i)；

Step3：检测Audio_Buf是否为空，若不为空，则将Audio_Buf中的音频PES流数据写入TSi文件之中；检测Video_Buf是否为空，若不为空，则将Video_Buf中的视频PES流数据写入TSi文件之中；

Step4：检测TSi文件是否写完，若TSi文件还未写完，即TSi文件的帧数目小于TS媒体文件切片时长Time_TS与视频帧速率之积，则返回Step2，否则，输出当前的TSi文件，并存储到服务器之中；

Step5：服务器更新TS数据索引文件，重置所有参数；

Step6：判断录制是否结束，若未结束，则返回执行Step2；否则，直接跳转到结束；

4、多视频源的同步直播控制

流化直播过程中，客户端请求的数据源分别有教师摄像头视频、屏幕视频和教师音频三个数据源，必须保证用户获取到的教师摄像头视频索引文件和屏幕视频的索引文件的一致性，多源播放才能够同步。索引文件的更新是基于TS切片文件内包含的帧个数，TS文件里面的帧个数，是由H264视频帧速率和TS划分时长决定的。教师摄像头视频的索引文件要和屏幕视频的索引文件同步更新，必须保证教师摄像头视频的TS媒体序列文件要和屏幕视频的TS媒体序列文件同步生成，需要教师摄像头视频的TS媒体序列文件和屏幕视频的TS媒体序列屏幕划分到相等的时长。

录制时教师摄像头视频和屏幕视频的帧速率是不同的。教师摄像头视频是通过摄像头以每秒15帧的帧速率进行采集图像数据，分辨率为320*240；屏幕视频是以每秒1帧的帧速率采集当前计算机显示器显示的信息，分辨率为1024*768。由于教师摄像头视频和屏幕视频的分辨率大小不同，以及视频帧速率差距都很大，若要使教师摄像头视频和屏幕视频播放时同步，必须使教师摄像头视频的TS切片文件和屏幕视频的TS切片文件一致。

多视频源的同步直播控制技术流程图如附图6所示，具体步骤如下：

Step1：初始化视音频缓存队列，初始化编码器参数，输入TS媒体文件的切片时长Time_TS，读入教师摄像头视频数据流Video、教师音频数据流Audio和屏幕视频数据流Screen；

Step2：根据教师摄像头数据流参数计算视频帧速率Video_FPS，计算Video_FPS与Time_TS的乘积，得到教师摄像头视频TS流媒体文件中所含的视频帧个数Video_Num；根据屏幕视频数据流参数计算出屏幕视频的帧速率Screen_FPS，计算Screen_FPS与Time_TS的乘积，得到屏幕视频TS流媒体文件中所含的屏幕帧个数Screen_Num；

Step3：根据教师摄像头视频数据流Video、教师音频数据流Audio和屏幕视频数据流Screen，分别计算Video_PTS、Audio_PTS和Screen_PTS；

Step4：根据Video_Num进行教师摄像头视频帧和教师音频帧的循环封装复用，根据Screen_Num进行屏幕视频帧和教师音频帧的循环封装复用，复用技术为本发明所述的视音频同步封装复用技术，同时输出教师摄像头视频的TS流媒体序列文件Video_TSi和屏幕视频TS媒体序列文件Screen_TSi；

Step5：根据教师摄像头视频的TS序列文件Video_TSi和屏幕视频的序列文件Screen_TSi，更新服务器相应的数据索引文件，实现多视频源的同步直播控制。

。

Claims (7)

1.一种多场景流媒体课件录制与直播方法，其特征在于，

在开始录制时，通过屏幕视频关键帧补帧算法使录制的教师摄像头视频多媒体文件和屏幕视频多媒体文件同步；

在流化直播过程中，通过视频PES包和音频PES包同步封装复用，将实时的视频流和音频流编码成TS流文件，分发到Web直播服务器中，通过多视频源同步直播控制实现同步播放教师摄像头视频和屏幕视频。

2.根据权利要求1所述多场景流媒体课件录制与直播方法，其特征在于，所述屏幕视频关键帧补帧算法包括如下步骤：

Step1：初始化屏幕视频帧缓存队列，录制教师音频流、教师摄像头视频流和屏幕视频流的编码参数，并置补帧标志位为假；

St ep2：检测输入参数的有效性，如果有效，进入下一步，否则，直接结束；

Step3：启动教师音频采集线程、教师摄像头视频采集线程和屏幕视频采集线程，分别采集教师音频数据、教师摄像头视频数据和屏幕视频数据；

Step4：判断教师音频数据、教师摄像头视频数据和屏幕视频数据采集是否成功，如果成功，进入下一步，否则，直接结束；

Step5：根据编码参数对上述三路数据分别编码，输出编码后的教师音频流、教师摄像头视频流和屏幕视频流；

Step6：判断补帧标志位，若补帧标志位为真，则将收到的教师摄像头视频数据和教师音频数据组合写入教师摄像头视频媒体文件，将收到的屏幕视频数据和教师音频数据组合写入屏幕视频媒体文件，并跳转到Step9；若补帧标志位为假，则进入下一步；

Step7：检测教师摄像头视频流，直到收到教师摄像头视频关键帧，则开始写入教师摄像头视频媒体文件，并记录关键帧时间戳T；

Step8：将屏幕视频帧保存在屏幕视频帧缓存队列，并检测是否收到屏幕视频关键帧，若收到，则将该关键帧补到屏幕视频帧缓存队列头部，同时修改该关键帧的时间戳为T，再将缓存队列内的数据依次写入屏幕视频媒体文件，清空屏幕视频帧缓存队列，置补帧标志位为真；

Step9：判断录制是否结束，若未结束，则返回执行Step5；否则，直接跳转到结束。

3.根据权利要求1所述多场景流媒体课件录制与直播方法，其特征在于，所述视频PES包和音频PES包同步封装复用包括如下步骤：

Step1：初始化视音频缓存队列及各个参数，输入TS媒体文件的切片时长，开始接收视频PES流和音频PES流，根据接收的视音频数据分别计算视频帧的显示时间标志和音频帧的显示时间标志，其中显示时间标志是PES包头中可选字段，用于通知解码器显示已解码的图像帧的时间戳；

Step2：若音频帧的显示时间标志小于等于视频帧的显示时间标志，则将音频帧数据加入音频帧的缓存队列，并更新音频帧显示时间标志；否则，将视频帧数据加入视频帧的缓存队列，更新视频帧显示时间标志；

Step3：检测音频帧的缓存队列是否为空，若不为空，则将队列中的音频PES流数据写入TSi文件之中；检测视频帧的缓存队列是否为空，若不为空，则将队列中的视频PES流数据写入TSi文件之中；

Step4：检测TSi文件是否写完，若TSi文件还未写完，即TSi文件的帧数目小于TS媒体文件切片时长与视频帧速率之积，则返回Step2，否则，输出当前的TSi文件，并存储到服务器之中，上述TSi文件指媒体序列文件中的第i个TS文件；

Step5：服务器更新TS数据索引文件，重置所有参数；

Step6：判断录制是否结束，若未结束，则返回执行Step2；否则，直接结束。

4.根据权利要求3所述多场景流媒体课件录制与直播方法，其特征在于，利用如下公式计算音频帧的显示时间标志PTS

$\mathrm{PTS}=\frac{\mathrm{AudioFrmNum}*\mathrm{AudioSamp}*\mathrm{Sequence}}{\mathrm{Sampling}}$

其中，AudioFrmNum是当前音频帧的在完整码流的音频帧中的序号；AudioSamp是音频帧的样本点，与采样率有关；Sequence为时钟频率；Sampling为音频采样率。

5.根据权利要求3所述多场景流媒体课件录制与直播方法，其特征在于，利用如下公式计算视频帧的显示时间标志PTS(i)

$\mathrm{PTS}\left(i\right)=\mathrm{base}\_\mathrm{clock}\×(i\_\mathrm{frame}\_\mathrm{counter}+\mathrm{pic}\_\mathrm{order}\_\mathrm{cnt}\_\mathrm{lsb}/2)\×\frac{\mathrm{time}\_\mathrm{scale}}{\mathrm{num}\_\mathrm{units}\_\mathrm{in}\_\mathrm{tick}/2}$

其中，i_frame_counter为最近一次关键帧的帧序，再用时长和帧数目计算出帧率，time_scale为时长，num_units_in_tick为帧数目，pic_order_cnt_lsb为当前帧在视频序列中显示顺序位置，base_clock为基本时钟频率。

6.根据权利要求3所述多场景流媒体课件录制与直播方法，其特征在于，同步封装复用过程中，在音频帧的PES包中显示时间标志和视频帧的PES包中显示时间标志相等的情况下，优先把音频的PES包复用到TS流中。

7.根据权利要求1所述多场景流媒体课件录制与直播方法，其特征在于，所述多视频源同步直播控制具体步骤如下：

Step1：初始化视音频缓存队列，初始化编码器参数，输入TS媒体文件的切片时长，读入教师摄像头视频数据流、教师音频数据流和屏幕视频数据流；

Step2：根据教师摄像头数据流参数计算视频帧速率，将该视频帧速率与所述切片时长相乘得到教师摄像头视频TS流媒体文件中所含的视频帧个数；根据屏幕视频数据流参数计算出屏幕视频帧速率，将该屏幕视频帧速率与所述切片时长相乘得到屏幕视频TS流媒体文件中所含的屏幕帧个数；

Step3：根据教师摄像头视频数据流、教师音频数据流和屏幕视频数据流，分别计算相应的显示时间标志；

Step4：根据教师摄像头视频TS流媒体文件中所含的视频帧个数进行教师摄像头视频帧和教师音频帧的循环封装复用，根据屏幕视频TS流媒体文件中所含的屏幕帧个数进行屏幕视频帧和教师音频帧的循环封装复用，同时输出教师摄像头视频的TS流媒体序列文件和屏幕视频TS媒体序列文件；

Step5：根据教师摄像头视频的TS流媒体序列文件和屏幕视频的TS媒体序列文件，更新服务器相应的数据索引文件，实现多视频源的同步直播控制。

Images