CN104063263B - 辅流处理的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种辅流处理的方法和装置，包括：用户设备接收辅流录制指令；根据所述辅流录制指令确定辅流录制的时间轴的起始时间；接收并识别用户通过输入设备输入的对操作文档的操作动作；获取所述操作动作相对应的当前界面状态信息；对所述操作动作和当前界面状态信息进行关联并生成操作指令；并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

Description

辅流处理的方法和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种辅流处理的方法和装置。

背景技术

当前的远程视频会议、视频电话、远程网络教学、多媒体会议和课堂等都是依赖于辅流传输的。辅流即是指与视频会议终端连接的计算机信号，比如一些会议需要共享一些计算机信号，包括电子会议文件或课件等等。参与上述场景的任何一方都可以对辅流进行录制和回放，以便日后需要时可以方便的回顾会议或教学的内容等。

目前通常的做法有以下两种：1.实时录制：直接在现场通过摄像机同步录制生成视音频文件，然后在后期通过将对应文件合成并编码成特定格式的多媒体文件，如H.264,MPEG等；之后可由通用解码器打开播放。2.将课件、文档操作者在计算机上操作课件的动作或者将抓屏软件直接抓取的计算机显示器上显示的视频图像文件，与话筒录制的音频文件等由软件实时同步处理，添加时间戳后，编码生成特定格式的流媒体文件；之后可以由开发者开发的流媒体播放器进行解码播放。这种对辅流的录制和回放的方法虽然实现起来简便易行，但由于存储的大多是经编码后的多媒体文件，因此编码后的辅流录制文件不易进行编辑和修改并且存储文件会占用大量的存储资源。

对此，中国发明专利“用于以一种语言独立语法记录宏的方法和系统”，专利号为CN200410005278.4，公开号为CN1519710，公开了一种基于目标指令语言(OIL)的以计算机语言独立语法进行宏录制的方法，记录的对象主要是计算机的后台动作，如鼠标轨迹，鼠标和键盘动作等，然后在宏录制好之后，即可通过运行宏实现将该宏记录的所有操作一键自动完成。该方法中描述的宏录制更侧重记录用户操作应用程序的动作，而没有与操作动作相关联的时间概念。因此将此方法应用于辅流录制时，在后续回放中，无法实现音频，录制的宏及课件的同步合成，即无法实现对辅流录制时，文档操作者对文档操作的准确还原。

发明内容

本发明实施例提供了一种辅流处理的方法和装置，能够方便的实现辅流录制，并通过运行辅流录制得到的操作指令宏和播放视音频文件，实现辅流录制时文档操作者对操作文档所进行的操作的准确还原，并且支持用户对操作指令宏进行编辑和修改等后期处理。

第一方面，本发明实施例提供了一种辅流处理的方法，所述方法包括：

用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收并识别用户通过输入设备输入的对操作文档的操作动作；

获取所述操作动作相对应的操作文档的界面状态信息；

对所述操作动作和对应的操作文档的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在第一种可能的实现方式中，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述操作动作为由所述结构体记录的输入设备输入的操作动作；所述对所述操作动作和对应的界面状态信息进行关联并生成操作指令具体为：

将所述操作动作与对应的界面状态信息通过关联关系式进行关联，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流处理帧频对所述操作指令进行打包处理。

在第三种可能的实现方式中，所述方法还包括：

采集输入的视音频数据；

根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述辅流播放指令指示的起始播放时间对应第一时间戳；所述基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息具体为：

获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

第二方面，所述方法包括：

第一用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在第一种可能的实现方式中，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息；

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议向第二用户传输所述结构体。

在第二种可能的实现方式中，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议接收第二用户发送的所述第二用户设备定义的结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

在第三种可能的实现方式中，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

接收第二用户设备发送的操作文档。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述辅流播放指令指示的起始播放时间为第一时间戳；所述基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息具体为：

获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

第三方面，本发明实施例提供了一种辅流处理的装置，包括：

接收单元，用于接收辅流录制指令；

时间管理单元，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

所述接收单元还用于，接收并识别用户通过输入设备输入的对操作文档的操作动作；

第一采集单元，用于获取所述操作动作相对应的界面状态信息；

处理单元，用于对所述操作动作和对应的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在第一种可能的实现方式中，所述装置还包括：

生成单元，用于定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述操作动作为由所述结构体记录的输入设备输入的操作动作，所述处理单元具体用于：

将所述操作动作与对应的界面状态信息通过关联关系式关联起来，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流播放帧频对所述操作指令进行打包处理。

在第三种可能的实现方式中，所述装置还包括：

第二采集单元，用于采集输入的视音频数据；

所述处理单元还用于，根据设定的辅流播放帧率向所述视音频数据的添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述装置还包括：

获取单元，用于获取所述操作文档、操作指令宏和视音频文件；

所述接收单元还用于，接收辅流播放指令；

所述处理单元还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

结合第三方面的第四种可能的实现方式，在第五种可能的实现方式中，所述辅流播放指令指示的起始播放时间对应第一时间戳；所述处理单元具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

第四方面，本发明实施例提供了一种辅流处理的装置，包括：

接收单元，用于接收辅流录制指令；

时间管理单元，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

所述接收单元还用于，接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

处理单元，用于根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在第一种可能的实现方式中，所述装置还包括：

生成单元，用于定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息；

所述处理单元还用于，建立与第二用户设备之间的通信协议，并通过所述通信协议向第二用户传输所述结构体。

在第二种可能的实现方式中，所述处理单元还用于：

建立与第二用户设备之间的通信协议；

通过所述通信协议接收第二用户发送的所述第二用户设备定义的结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

在第三种可能的实现方式中，所述接收单元还用于，接收第二用户设备发送的媒体流信息，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

所述处理单元还用于，提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

结合第四方面的第三种可能的实现方式，在第四种可能的实现方式中，所述接收单元还用于，接收第二用户设备发送的操作文档。

结合第四方面的第四种可能的实现方式，在第五种可能的实现方式中，所述装置还包括：

获取单元用于，获取所述操作文档、操作指令宏和视音频文件；

所述接收单元还用于，接收辅流播放指令；

所述处理单元还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

结合第四方面的第五种可能的实现方式，在第六种可能的实现方式中，所述辅流播放指令指示的起始播放时间为第一时间戳；所述处理单元具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

本发明实施例提供的辅流处理的方法和装置，通过对获取输入操作文档的操作动作和界面状态信息进行关联生成操作指令、并对获取的视音频数据分别进行处理，通过添加时间戳，分别得到操作指令宏和视音频文件。分别存储的操作指令宏和视音频文件占用更小的存储资源，能够方便的实现辅流录制。并通过运行辅流录制得到的操作指令宏和播放视音频文件，实现辅流录制时文档操作者对操作文档所进行的操作的准确还原，并且支持用户对操作指令宏进行编辑和修改等后期处理。

附图说明

图1为本发明实施例提供的一种辅流处理的方法流程图；

图2为本发明实施例提供的另一种辅流处理的方法流程图；

图3为本发明实施例提供的又一种辅流处理的方法流程图；

图4为本发明实施例提供的一种辅流处理装置的示意图；

图5为本发明实施例提供的另一种辅流处理装置的示意图。

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

具体实施方式

下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的方法可以为在用户终端本地进行的辅流处理的方法，还可以为在第一用户终端与第二用户终端之间进行交互的辅流处理方法，下面，以实施例1先说明在用户终端本地进行的辅流处理的方法。

图1为本发明实施例提供的一种辅流处理方法的流程图。首先，用户设备根据用户输入的软件开启指令打开辅流录制软件，在软件运行环境下，用户设备执行如图1所示的下述步骤：

步骤110，用户设备接收辅流录制指令；

具体的，在软件运行环境下，用户设备接收辅流录制指令。

所述辅流录制指令可以包括：用户通过鼠标、键盘、手写板、话筒或其他输入设备输入的启动辅流录制的操作指令，例如用户通过鼠标点击辅流录制功能按钮来启动辅流的录制，或者可以是以用户输入的软件开启指令作为辅流录制指令，即软件开启的同时就启动辅流的录制。

用户设备可以为：台式机、笔记本电脑、平板电脑、智能手机等。

步骤120，根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

具体的，用户设备根据接收到的辅流录制指令的时间，确定辅流录制的起始时间，并以此建立辅流录制的时间轴。比如可以将接收到启动辅流录制的操作指令的时间作为录制的起始时间，或者将辅流录制功能打开的时间为录制的起始点。

时间轴的起始时间点的格式可以由用户通过定义，比如可以将辅流录制的时间轴的起始时间设置为0,或者可以将辅流录制的起始时间所对应的时刻，如2000年1月1日12时00分00秒，设定为辅流录制的时间轴的起始时间。

步骤130，接收并识别用户通过输入设备输入的对操作文档的操作动作；

具体的，用户设备接收并识别用户通过输入设备输入的操作动作，例如用户对鼠标左键的双击操作、单击操作，键盘的快捷键操作输入等等。

步骤140,获取所述操作动作相对应的操作文档的界面状态信息；

具体的，用户设备获取与接收到的操作动作相对应的操作文档的界面状态信息。

其中，界面状态信息可以包括：鼠标光标的坐标信息,鼠标光标对应操作文档的具体位置,当前操作文档弹出的操作菜单窗口等。

步骤150，对所述操作动作和对应的操作文档的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

具体的，用户设备对操作动作和界面状态信息的关联记录是基于时间轴的，在用户设备对获取的操作动作的同时，记录获取的时间，将这个时间作为时间戳添加在操作动作和界面状态信息的关联记录中，生成操作指令宏。

其中，时间戳是指基于录制起始点的时间偏置，例如为接收到所述操作动作的时间与所述起始时间的偏差；在本发明的一个具体实施例中用32位表示。时间戳添加规则与RTP协议一致，在此不再阐述。

进一步的，在辅流录制之前，用户设备内存储有预先定义的结构体，结构体可以包括输入设备描述结构体和界面描述结构体。

其中，定义的输入设备描述结构体可以包括多个变量，每个变量都对应唯一的输入设备，比如键盘、鼠标、手写板等,而每个变量不同的取值则对应该输入设备不同的操作动作。以上结构体可以采用嵌套方式实现。此外，对于比较复杂的输入设备，还可以采用单独的针对输入设备动作描述的结构体来实现。

而定义的界面描述结构体主要是用于描述当前操作文档状态的结构体，其描述内容包括操作文档的界面状态信息。

本实施例中上述的操作动作可以具体为由所述结构体记录的输入设备输入的操作动作。则在接收辅流录制指令并确定起始时间后，辅流处理方法可以具体为：

检测并识别当前进行输入操作的输入设备，并使用结构体记录下该输入设备当前的操作动作；

记录下当前操作文档的界面与输入的操作动作相关的主要状态，例如当前操作文档中弹出的操作窗口是哪个，鼠标光标指向操作文档的位置等；

将输入的操作动作与当前界面的状态信息通过关联关系式使得两者关联起来，以生成操作指令。其中关联关系式主要用于描述：当前操作动作对应的界面的具体操作窗口或位置，以及当前操作动作的执行状态，是正在执行过程中，还是已经执行完毕等。

对生成的操作指令进行记录，具体可以是根据设定的辅流播放帧频来对操作指令进行打包，记录一帧辅流图像播放时间内的所有操作指令，并将这些指令打包后添加时间戳，以生成操作指令宏。

本发明实施例提供的辅流处理的方法和装置，通过对获取输入操作文档的操作动作和界面状态信息进行关联生成操作指令，并添加时间戳，生成操作指令宏，由此方便的实现辅流录制。并通过运行辅流录制得到的操作指令宏，实现辅流录制时文档操作者对操作文档所进行的操作的准确还原，并且支持用户对操作指令宏进行编辑和修改等后期处理。

进一步的，在上述步骤120之后，所述方法还包括：

步骤160，采集输入的视音频数据；

具体的，用户设备对用户输入的视音频数据进行采集。当然也可以是仅对视频数据，或者仅对音频数据进行采集。

步骤170，根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

具体的，用户设备根据预设的辅流播放帧率，为采集到的视音频数据添加时间戳，生成视音频文件。所添加时间戳也是基于步骤120中建立的辅流录制的时间轴的。视音频文件的时间轴与操作指令宏的时间轴具有相同的起始时间，可以同为用户设备接收到启动辅流录制的操作指令的时间，或者同为用户设备根据输入的辅流录制指令将辅流录制功能打开的时间。

在一个可选的方案中，视音频文件与操作指令宏两者的时间戳添加间隔是一致的。

在另一个可选的方案中，视音频文件的时间戳的间隔可以与操作指令宏的时间戳的间隔相同或者不同，具体可以由用户自行设定。但它们必须具有相同的起始时间。

分别录制的操作指令宏和视音频文件记录了用户对操作文档的动作操作和视音频数据的输入。在具体的实现中，分别录制的操作指令宏和视音频文件相比同步录制得到的流媒体文件占用更小的存储资源。

上述实施例中，给出了操作指令宏和视音频文件生成的步骤，在生成操作指令宏和视音频文件之后，用户设备对操作指令宏和视音频文件进行存储。用户可以方便对操作指令宏进行编辑和修改等后期处理，并使得后续任何获得该操作指令宏、视音频文件和操作文档的用户都能够通过运行操作指令宏来实现录制时文档操作者对操作文档所进行的操作的准确还原。

下面通过实施例2详述通过利用录制的操作指令宏和视音频文件进行辅流回放的方法。

首先，用户设备根据用户输入的软件开启指令打开辅流播放软件，在软件运行环境下，用户设备执行下述步骤。

步骤210，获取所述操作文档、操作指令宏和视音频文件；

具体的，用户设备根据用户输入的指令，获取所述操作文档、操作指令宏和视音频文件。该指令可以是指向所述操作文档、操作指令宏和视音频文件的访问地址；或者，该指令可以仅是指向所述操作指令宏的指令，所述操作指令宏中记录有与所述操作指令宏相对应的操作文档和视音频文件的存储地址信息，当用户设备加载运行所述操作指令宏的同时，根据所述操作指令宏中记录的信息自动查找并获取与所述操作指令宏相对应的操作文档和视音频文件。

步骤220，接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

所述辅流播放放指令可以包括：用户通过鼠标、键盘、手写板、话筒或其他输入设备输入的启动辅流回放的操作指令，例如用户通过鼠标点击辅流播放功能按钮来启动辅流的回放。

步骤230，基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

通常，在未接收到用户指定辅流回放的起始时间时，辅流回放是从时间轴的起始时间开始进行的。

在一个可选的方案中，当辅流播放指令指示的起始播放时间对应第一时间戳，则用户设备根据辅流播放指令获取所述第一时间戳对应的操作动作和相应的界面状态信息，并由第一时间戳开始沿时间轴进行辅流回放。

步骤240，根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

具体的，用户设备根据执行的操作指令宏，查找到相应的界面状态信息并加载所述操作文档中的相应内容，在时间轴的基础上还原操作指令宏录制时，文档操作者对操作文档的操作，比如：打开PPT文件，选择播放模式，翻页，将鼠标移动到某一位置，对相应内容进行操作等等。

步骤250，基于所述时间轴，同步对视音频文件进行播放。

具体的，在所述时间轴的基础上，同步播放视音频文件。

由此，通过在用户设备的辅流播放软件中运行加载操作文档、操作指令宏和视音频文件，可以方便的实现辅流录制时，文档操作者对操作文档所进行的操作的准确还原。

在一个例子中，用户选取由第一时刻开始播放，则用户设备找到时间轴上第一时刻的操作指令宏中记录的动作关联项中存储的相应的操作文档如PPT文件、word文件等等在第一时刻的页码编号对应的内容进行显示，同时基于时间轴查找到对应第一时刻的第I帧的视音频文件，根据时间轴上第一时刻的操作指令宏启动该页文档内容及之后的对文档的操作及视音频文件的播放。

此外，辅流录制者还可以对用户设备中存储的操作文档、操作指令宏和视音频文件通过拷贝、网络传输等方式分享给其他用户，当其他用户运行操作指令宏时，都能够实现录制时文档操作者对操作文档所进行的操作的准确还原，并且其他用户也可以方便对操作指令宏进行编辑和修改等后期处理，使得在回放辅流时能够显示出按自己需要的内容等等。

上述实施例对在用户终端本地进行的辅流处理的方法进行了详述，下面对在第一用户终端与第二用户终端之间进行交互的辅流处理方法进行说明。

图3为本发明实施例提供的一种辅流处理方法的流程图。如图所示，所述方法包括：

步骤310，第一用户设备接收辅流录制指令；

具体的，在软件运行环境下，用户设备接收辅流录制指令。

所述辅流录制指令可以包括：用户通过鼠标、键盘、手写板、话筒或其他输入设备输入的启动辅流录制的操作指令，例如用户通过鼠标点击辅流录制功能按钮来启动辅流的录制，或者可以是以用户输入的软件开启指令作为辅流录制指令，即软件开启的同时就启动辅流的录制。

第一用户设备可以为：台式机、笔记本电脑、平板电脑、智能手机等。

步骤320，根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

具体的，第一用户设备根据接收到的辅流录制指令的时间，确定辅流录制的起始时间，并以此建立辅流录制的时间轴。比如可以将接收到启动辅流录制的操作指令的时间作为录制的起始时间，或者将辅流录制功能打开的时间为录制的起始点。

时间轴的起始时间点的格式可以由用户通过定义，比如可以将辅流录制的时间轴的起始时间设置为0,或者可以将辅流录制的起始时间所对应的时刻，如2000年1月1日12时00分00秒，设定为辅流录制的时间轴的起始时间。

步骤330，接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

具体的，第二用户为对操作文档进行操作的用户，所述操作文档可以存储在第二用户设备的本地，或者存储在第二用户设备和第一用户设备连接的服务器上。第二用户设备同样可以为：台式机、笔记本电脑、平板电脑、智能手机等。

第二用户对所述操作文档的操作动作在第二用户设备内部转换成相应的操作指令。

其中，操作指令可以包括：鼠标对操作文档中的文字或图片的操作，例如定位、选择、标记、高亮、复制、移动、删除或其他操作；鼠标对操作文档中功能按钮的打开或关闭等；以及键盘操作的字符输入，快捷键操作，大、小写切换，定位等等。

步骤340，根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

具体的，第一用户设备提取接收到的数据包中的操作动作和相对应的操作文档的界面状态信息，并根据第一用户设备接收到数据包的时间添加时间戳，在第一用户设备中生成操作指令宏。

其中，时间戳是基于步骤320中建立的时间轴的时间戳，具体是指根据所述数据包的接收时间与所述起始时间的偏差；在本发明的一个具体实施例中用32位表示。本发明中时间戳的添加方式和规则与RTP协议一致，在此不再详细阐述。

在一个可选的方案中，在第一用户设备接收辅流录制开启指令进行辅流录制之前，第一用户设备内存储有预先定义的结构体，结构体可以包括输入设备描述结构体和界面描述结构体。

其中，定义的输入设备描述结构体可以包括多个变量，每个变量都对应唯一的输入设备，比如键盘、鼠标、手写板等,而每个变量不同的取值则对应该输入设备不同的操作动作。以上结构体可以采用嵌套方式实现。此外，对于比较复杂的输入设备，还可以采用单独的针对输入设备动作描述的结构体来实现。

而定义的界面描述结构体主要是用于描述当前操作文档状态的结构体，其描述内容包括操作文档的界面状态信息。

在辅流录制前，第一用户设备需要预先建立与第二用户设备之间的通信协议。

可选的，辅流录制步骤也可以在第二用户设备中进行，通过所述通信协议，第一用户设备可以向第二用户设备传输所述结构体，当第一用户设备和第二用户设备任何一方进行辅流录制时，都可以根据所述操作动作和相应的操作文档的界面状态信息生成相同的操作指令宏。

在另一个可选的方案中，在第一用户设备接收辅流录制开启指令进行辅流录制之前，首先第一用户设备建立与第二用户设备之间的通信协议。

可选的，辅流录制步骤也可以在第二用户设备中进行，通过所述通信协议，第一用户设备接收第二用户设备传输的结构体，这样当第一用户设备和第二用户设备任何一方进行辅流录制时，都可以根据所述操作动作和相应的操作文档的界面状态信息生成相同的操作指令宏。

第一用户设备接收到的第二用户设备传输的结构体包括多个变量，多每个变量都对应唯一的输入设备，比如键盘、鼠标、手写板等,而每个变量不同的取值则对应该输入设备不同的操作动作。以上结构体可以采用嵌套方式实现。此外，对于比较复杂的输入设备，还可以采用单独的针对输入设备动作描述的结构体来实现。而定义的界面描述结构体主要是用于描述当前操作文档状态的结构体，其描述内容包括操作文档的界面状态信息。

进一步的，在上述步骤320之后，所述方法还包括：

步骤350，接收第二用户设备发送的媒体流信息，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

步骤360，提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

具体的，第一用户设备对接收到的媒体流信息中的视音频数据进行提取。当然也可以是单独对视频数据，或者单独对音频数据进行提取。

第一用户设备根据所述媒体流信息的接收时间，为采集到的视音频数据添加时间戳，生成视音频文件。所添加时间戳也是基于步骤320中建立的辅流录制的时间轴的。视音频文件的时间轴与操作指令宏的时间轴具有相同的起始时间，可以同为第一用户设备接收到启动辅流录制的操作指令的时间。

进一步的，视音频文件的时间戳的间隔可以与操作指令宏的时间戳的间隔相同或者不同，具体可以由用户自行设定。但它们必须具有相同的起始时间。

分别录制的操作指令宏和视音频文件记录了第二用户通过第二用户设备对操作文档的动作操作和视音频数据的输入。

此外，还可以是操作指令宏记录了第二用户通过第二用户设备对操作文档的动作操作，以及第一用户通过第一用户设备的视音频数据的输入。

在具体的实现中，分别录制的操作指令宏和视音频文件相比同步录制得到的流媒体文件占用更小的存储资源。

可选的，为了后续用户在第一用户设备上对录制的辅流进行播放，所述方法还包括，获取存储在第二用户设备的本地，或者存储在第二用户设备和第一用户设备连接的服务器上的所述操作文档。

上述实施例中，给出了第一用户终端与第二用户终端之间进行交互的辅流处理方法的步骤，第一用户终端对接收到的第二用户终端传送的包括操作动作和动作关联项的信息的数据包和媒体流信息后，对数据包和媒体流信息进行解析，并对解析出的内容添加相应的时间戳，生成操作指令宏和视音频文件。用户可以方便对操作指令宏进行编辑和修改等后期处理，并使得后续任何获得该操作指令宏、视音频文件和操作文档的用户都能够通过运行操作指令宏来实现录制时文档操作者对操作文档所进行的操作的准确还原。具体的辅流回放方法，与上述实施例2相同，此处不再赘述。

此外，在第一用户终端与第二用户终端之间进行交互的情况下，第一用户终端可以在对第二用户终端传输的内容进行辅流录制的同时，进行辅流回放。从而实现边录制、边回放，即在第一用户终端上同步呈现第二用户终端对操作文档的操作。

相应的，本发明实施例提供了这一种辅流处理装置，用以实现本发明上述实施例1提供的辅流处理方法。如图4所示，所述装置包括：

接收单元401，用于接收辅流录制指令；

时间管理单元402，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

所述接收单元401还用于，接收第一用户通过输入设备输入的对操作文档的操作动作；

第一采集单元403，用于获取所述操作指令相对应的界面状态信息；

处理单元404，用于对所述操作动作和对应的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

当接收单元401接受到用户输入的辅流录制指令后，时间管理单元402根据辅流录制指令确定辅流录制的时间轴的起始时间；当接收单元401接收到第一用户通过输入设备输入的对操作文档的操作动作时，通过第一采集单元403获取所述操作动作相对应的操作文档的界面状态信息，发送给处理单元404；处理单元404对操作动作和对应的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

可选的，该装置还包括生成单元405，用于定义结构体；其中，输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。操作动作为由所述结构体记录的输入设备输入的操作动作，处理单元404可以将所述操作动作与对应的界面状态信息通过关联关系式关联起来，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；并根据设定的辅流播放帧频对所述操作指令进行打包。

可选的，所述装置还包括：

第二采集单元406，用于采集输入的视音频数据；

处理单元404还用于，根据所述采集的时间向所述视音频数据的添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

通过应用本发明实施例提供的装置，可以对根据用户输入操作文档的操作动作和界面状态信息进行关联生成操作指令，并添加时间戳，得到操作指令宏，同时还支持对视音频文件的同步生成。通过后续执行操作指令宏可以方便的实现辅流录制时对操作文档所进行的操作的准确还原。此外还可以支持用户对操作指令宏进行编辑和修改等后期处理。

可选的，本发明实施例提供的辅流处理装置还可以包括：

获取单元407，用于获取所述操作文档、操作指令宏和视音频文件；

接收单元401还用于，接收辅流播放指令；

处理单元404还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

在一个例子中，当所述辅流播放指令指示的起始播放时间对应第一时间戳时，处理单元404具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

本发明上述实施例提供的辅流处理装置，可以对录制的操作指令宏和视音频文件进行辅流回放。

相应的，本发明实施例还提供了一种辅流处理装置，用以实现上述实施例3提供的辅流处理方法。如图5所示，所述辅流处理装置包括：

接收单元501，用于接收辅流录制指令；

时间管理单元502，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收单元501还用于，接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

处理单元503，用于根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

当接收单元501接受到用户输入的辅流录制指令后，时间管理单元502根据辅流录制指令确定辅流录制的时间轴的起始时间；当接收单元501接收到第二用户设备发送的数据包时，通过处理单元503提取所述数据包中包括的第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令，并根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在一个可选的方案中，该装置还包括生成单元504，用于定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

处理单元503可以具体用于：建立与第二用户设备之间的通信协议；并通过所述通信协议向第二用户传输所述结构体。

在另一个可选的方案中，所述处理单元503还用于，建立与第二用户设备之间的通信协议；通过所述通信协议接收第二用户发送的所述第二用户设备定义的结构体；其中，所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

可选的，接收单元501还用于，接收第二用户设备发送的媒体流信息，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

处理单元503还用于，提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

可选的，接收单元501还用于，接收第二用户设备发送的操作文档。

上述实施例提供了一种辅流处理装置，用于实现与第二用户终端之间进行交互的辅流处理方法。辅流处理装置对接收到的第二用户终端传送的包括操作动作和动作关联项的信息的数据包和媒体流信息后，对数据包和媒体流信息进行解析，并对解析出的内容添加相应的时间戳，生成操作指令宏和视音频文件。用户可以方便对操作指令宏进行编辑和修改等后期处理，并使得后续任何获得该操作指令宏、视音频文件和操作文档的用户都能够通过运行操作指令宏来实现录制时文档操作者对操作文档所进行的操作的准确还原。

可选的，本发明实施例提供的辅流处理装置还可以包括：

获取单元505用于，获取所述操作文档、操作指令宏和视音频文件；

接收单元501还用于，接收辅流播放指令；

处理单元503还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的所述操作动作和和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

在一个例子中，当所述辅流播放指令指示的起始播放时间为第一时间戳，处理单元503具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

本发明上述实施例提供的辅流处理装置，可以对录制的操作指令宏和视音频文件进行辅流回放。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件来实现，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。具体地，所述运算和控制部分都可以通络逻辑硬件实现，其可以是使用集成电路工艺制造出来的逻辑集成电路，本实施例对此不作限定。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明实施例的保护范围，凡在本发明实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (22)

1.一种辅流处理的方法，其特征在于，所述方法包括：

用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收并识别用户通过输入设备输入的对操作文档的操作动作；

获取所述操作动作相对应的操作文档的界面状态信息；

对所述操作动作和对应的操作文档的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，在用户设备接收辅流录制指令之前，所述方法还包括：

定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

2.根据权利要求1所述的方法，其特征在于，所述操作动作为由所述结构体记录的输入设备输入的操作动作；所述对所述操作动作和对应的界面状态信息进行关联并生成操作指令具体为：

将所述操作动作与对应的界面状态信息通过关联关系式进行关联，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流播放帧频对所述操作指令进行打包处理。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集输入的视音频数据；

根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。

5.根据权利要求4所述的方法，其特征在于，所述辅流播放指令指示的起始播放时间对应第一时间戳；所述基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息具体为：

获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

6.一种辅流处理的方法，其特征在于，所述方法包括：

第一用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，在所述第一用户设备接收辅流录制指令之前，所述方法还包括：

定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息；

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议向第二用户设备传输所述结构体。

7.根据权利要求6所述的方法，其特征在于，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议接收第二用户设备发送的所述第二用户设备定义的结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收第二用户设备发送的媒体流信息，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收第二用户设备发送的操作文档。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。

11.根据权利要求10所述的方法，其特征在于，所述辅流播放指令指示的起始播放时间为第一时间戳；所述基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息具体为：

获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

12.一种辅流处理的装置，其特征在于，所述装置包括：

接收单元，用于接收辅流录制指令；

时间管理单元，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

所述接收单元还用于，接收并识别用户通过输入设备输入的对操作文档的操作动作；

第一采集单元，用于获取所述操作动作相对应的界面状态信息；

处理单元，用于对所述操作动作和对应的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，所述装置还包括：

生成单元，用于定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

13.根据权利要求12所述的装置，其特征在于，所述操作动作为由所述结构体记录的输入设备输入的操作动作，所述处理单元具体用于：

将所述操作动作与对应的界面状态信息通过关联关系式关联起来，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流播放帧频对所述操作指令进行打包处理。

14.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第二采集单元，用于采集输入的视音频数据；

所述处理单元还用于，根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

获取单元，用于获取所述操作文档、操作指令宏和视音频文件；

所述接收单元还用于，接收辅流播放指令；

所述处理单元还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

16.根据权利要求15所述的装置，其特征在于，所述辅流播放指令指示的起始播放时间对应第一时间戳；所述处理单元具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

17.一种辅流处理的装置，其特征在于，所述装置包括：

接收单元，用于接收辅流录制指令；

时间管理单元，用于根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

所述接收单元还用于，接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

处理单元，用于根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，所述装置还包括：

生成单元，用于定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息；

所述处理单元还用于，建立与第二用户设备之间的通信协议，并通过所述通信协议向第二用户设备传输所述结构体。

18.根据权利要求17所述的装置，其特征在于，所述处理单元还用于：

建立与第二用户设备之间的通信协议；

通过所述通信协议接收第二用户设备发送的所述第二用户设备定义的结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

19.根据权利要求17所述的装置，其特征在于，

所述接收单元还用于，接收第二用户设备发送的媒体流信息，所述媒体流信息包括第二用户设备采集的第二用户输入的视音频数据；

所述处理单元还用于，提取所述视音频数据，并根据设定的辅流播放帧率向所述视音频数据添加时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

20.根据权利要求19所述的装置，其特征在于，所述接收单元还用于，接收第二用户设备发送的操作文档。

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

获取单元用于，获取所述操作文档、操作指令宏和视音频文件；

所述接收单元还用于，接收辅流播放指令；

所述处理单元还用于，根据所述辅流播放指令运行所述操作指令宏；基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；基于所述时间轴，同步对视音频文件进行播放。

22.根据权利要求21所述的装置，其特征在于，所述辅流播放指令指示的起始播放时间为第一时间戳；所述处理单元具体用于，获取所述第一时间戳对应的操作动作和相对应的界面状态信息。