CN110099039B - 一种在线协作会议的录制和回放的方法及系统 - Google Patents

Abstract

本发明提供了一种在线协作会议的录制和回放的方法及系统，其中方法包括：引导一个或多个用户进行在线协作会议；接收一个或多个用户的流数据；将所接收到的流数据分发给一个或多个用户；执行一个或多个用户的协作操作；呈现活动时间线；录制分布式流数据和所呈现的活动时间线；回放所录制的流数据及所录制的活动时间线；导航所录制的流数据和所录制的活动时间线的回放。本发明能够使两个或更多的用户通过共享流数据来实现实时通信。利用本发明，用户能够采取协作操作远程控制用户的设备，还可以实现用户录制和回放在线协作会议及其相关的时间线。此外，在回放期间，用户可以单独或共同为流数据及其相关活动时间线提供导航功能。

Description

一种在线协作会议的录制和回放的方法及系统

技术领域

本发明涉及电子通信领域，更具体地，涉及一种在线协作会议的录制和回放的方法及系统。

背景技术

在线协作会议基于实时通信实现，它的形式包括电话会议、视频会议、web会议和消息传递，以及一些协作工具，如文件共享、屏幕共享、远程设备控制和白板。当前的协作服务提供了各种如上面描述的供用户协作的各项服务。

然而，当前市场的主流技术缺乏录制和回放完整协作会议的功能。比如，在会议中发生了什么行为，这些行为的实时记录，以及演讲者在讲话时所传达的重要信息和背景内容，这些对于充分理解所传达的信息是非常必要的。进一步地，会议中发布了什么样的消息、这条消息是什么时候发布的、这份文件在什么时候共享或注释的等等。此外，当前市面内的服务缺乏高效、智能导向性的录制会议的能力。例如，特定业务功能的管理人员在操作时可能会关注该功能的一个特定方面，例如有效交付商品或服务。目前，管理人员无法回放录制的会议，只能将活动时间轴滚动到相关的电子表格共享的位置，单击该动作，并将其带到讨论有效交付会议的那一刻。

因此，目前缺乏一种能够录制和回放在线协作会议的技术。

发明内容

为解决现有技术无法提供录制和回放完整在线协作会议的功能，本发明提供了一种在线协作会议的录制和回放的方法及系统，以解决该问题。本发明提供的技术能为录制会议提供高效和智能导航的服务，以及和会议相关的活动时间线。

本发明提供了一种在线协作会议的录制和回放方法，包括以下步骤：

引导一个或多个用户进行在线协作会议；

接收一个或多个用户的流数据；

将所接收到的流数据分发给一个或多个用户；

执行一个或多个用户的协作操作；

呈现活动时间线；

录制分布式流数据和所呈现的活动时间线；

回放所录制的流数据及所录制的活动时间线；

导航所录制的流数据和所录制的活动时间线的回放。

作为一种可实施方式，所述用户的协作操作包括：

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

作为一种可实施方式，引导一个或多个用户进行在线协作会议，包括以下步骤：

在第一个用户发起会议请求时，开始在线协作会议；

接收第一个用户的流数据；

如果另一个用户发起协作会议请求，则执行该用户所请求的协作操作，并在活动时间线中显示与该用户所请求的协作操作相关联的活动元数据。

作为一种可实施方式，录制分布式流数据，包括以下步骤：

初始化一个或多个流数据文件、流元数据文件和活动元数据文件；

将流数据保存到一个或多个流数据文件，将元数据流传输到流元数据文件，以及将活动元数据保存到活动元数据文件。

作为一种可实施方式，录制分布式流数据，还包括以下步骤：

若在线协作会议结束或者停止录制，则将流数据存储到一个或多个流数据文件，将元数据流传输到特定的流元数据文件，以及将活动元数据存储到活动元数据文件；或者，从一个或者多个流数据文件和已存储的流元数据文件中创建录制会议的视频文件。

作为一种可实施方式，回放所录制的流数据及所录制的活动时间线，包括以下步骤：

根据用户的请求启动会议回放；

加载录制会议的视频文件和存储的时间线元数据文件；

从存储的时间线元数据文件中重新创建录制的活动过时间线；从存储的时间线元数据文件中创建一个活动条；设置当前回放时间和当前时间线的值；从当前回放时间开始回放所录制的会议视频文件，同时将当前回放时间和所录制的会议视频文件的视频时间同步；从当前时间线时间开始呈现所录制的活动时间线，同时将当前时间线时间和当前回放时间同步。

作为一种可实施方式，回放所录制的流数据及所录制的活动时间线，还包括以下步骤：

当出现了影响所录制的会议视频文件的回放的用户导航操作时，确定当前播放时间，返回当前播放时间和当前时间线所设定的时间值；

或，当出现了影响所录制的活动时间线的呈现的用户导航操作时，确定当前时间线，以当前时间线中的时间开始显示录制的活动时间线。

作为一种可实施方式，导航所录制的流数据和所录制的活动时间线的回放，包括以下步骤：

当触发用户导航操作时，若该操作是选择媒介控制图标、选择进度条上的位置、选择活动条上的位置、或者是选择所录制的活动时间线上的位置中的任意一种，则确定当前新的回放时间；若该操作是移动了滚动条或选择时间线控制图标，则确定当前新的时间线。

相应地，本发明还提供一种在线协作会议的录制和回放系统，包括引导模块、接收模块、分发模块、执行模块、呈现模块、录制模块、回放模块、以及导航模块；

所述引导模块，用于引导一个或多个用户进行在线协作会议；

所述接收模块，用于接收一个或多个用户的流数据；

所述分发模块，用于将所接收的流数据分发给一个或多个用户；

所述执行模块，用于执行一个或多个用户的协作行为；

所述呈现模块，用于呈现活动时间线；

所述录制模块，用于录制分布式的流数据和所呈现的活动时间线；

所述回放模块，用于回放所录制的流数据和所录制的活动时间线；

所述导航模块，用于导航所录制的流数据和所录制的活动的回放。

作为一种可实施方式，所述用户的协作操作包括:

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

相应地，本发明还提供一种非暂时性的计算机可读存储介质，用于存储程序指令，当计算机的处理器执行其程序指令时，该处理器会执行以下操作：

引导一个或多个用户进行在线协作会议；

接收一个或多个用户的流数据；

将所接收到的流数据分发给一个或多个用户；

执行一个或多个用户的协作操作；

呈现活动时间线；

录制分布式流数据和所呈现的活动时间线；

回放所录制的流数据及所录制的活动时间线；

导航所录制的流数据和所录制的活动时间线的回放。

作为一种可实施方式，所述用户的协作操作包括:

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

本发明相比于现有技术的有益效果在于：

本发明提供了一种在线协作会议的录制和回放的方法及系统，能够使两个或更多的用户通过共享流数据，例如音频或视频流来实时通信。利用本发明，用户能够采取协作操作，比如发布消息、共享文件、共享屏幕、注释虚拟白板，以及允许远程控制用户的设备，还可以在活动时间线中呈现与用户的协作操作相关联的元数据，实现用户录制和回放在线协作会议及其相关的时间线。此外，在回放期间，用户可以单独或共同为流数据及其相关活动时间线提供导航功能。

附图说明

以下所描述的图表仅用于说明，而不用于限制当前披露的范围。

图1为本发明提供的技术可以在不同实例中运行的环境框图；

图2为本发明提供的会议协作服务、会议录制服务、以及会议回放服务的环境框图；

图3为图1所示的在线协作服务系统的框图；

图4为本发明提供的执行协作会议过程的流程图；

图5为本发明提供的录制协作会议过程的流程图；

图6A为本发明提供的播放录制的协作会议过程的流程图；

图6B为本发明提供的录制协作会议的用户活动过程的流程图；

图7为本发明提供的可能执行本发明的技术所描述的各种操作设备的组件的框图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

本发明中涉及到的技术术语如下：

活动栏：媒体播放器中的一个指示器，用于播放录制的会话视频文件，可以反映进度条，指示在视频过程中发生了多少用户活动。

活动元数据：描述和提供用户在在线协作会议中采取的协作操作的信息的数据。

活动时间轴：活动时间线中活动元数据的实时或重新创建的表示，描述和总结用户采取的协作操作，可以在与在线协作会议的流数据一起的垂直侧边栏中呈现。

回到当前图标：当活动时间轴滚动超过当前回放时间时，在重新创建的活动时间轴上显示的图标。选择该图标会将时间线导航回当前播放时间。

当前播放时间：表示当前正在媒体播放器中播放的录制的会话视频文件中的时间点的参数。在视频播放时，当用户暂停、快速前进、后退或重新定位视频时，当前播放时间将与视频时间同步。

当前时间线：表示当前呈现的重新创建的活动时间线中的时间点的一个参数。当用户移动滚动条时，当前时间线时间与活动时间线同步；在视频播放时，当用户暂停、快速前进、后退或重新定位视频时可以看到当前播放时间。

当前时间轴时间：表示当前正在呈现的重新创建的活动时间轴中的时间点的参数。当用户移动滚动条时，当前时间轴时间与活动时间轴同步，并与当前视频播放时的播放时间、以及用户暂停、快进、倒退或重新定位视频时的播放时间同步。

JavaScript对象表示法：一种开放标准的文件格式，使用人们可读的由属性-数值和阵列数据类型组成的数据对象的文本传输。

媒体播放器：播放多媒体文件(如视频)的计算机程序。媒体播放器通常显示标准的媒体控制图标，如播放、暂停、快进、后退、前进和停止按钮，以及进度条。

移动图像专家组(MPEG)是一套用于对视频图像进行编码和压缩的国际标准的文件格式。

MPEG-4第14部分(MP4)：一种数字多媒体格式，通常用于存储视频和音频，也可以用于存储其他数据，如字幕和图片。

在线协作会议：用户的联合会话，其中每个参与的用户的操作都可以在演示者的设备屏幕上看到，例如生成音频/视频流数据，共享文件或注释共享文档，这些实时地都反映在其他参与用户的设备屏幕上。

回放：允许用户回放记录的在线协作会议的服务，包括流数据和活动时间线。

导航回放：允许用户能分别导航录制的会议视频文件的回放和重新创建活动时间线的服务。

进度条：媒体播放器上的指示器，显示了视频的播放进度。

活动时间线的重置：按时间顺序重新创建活动元数据，它表示在记录的在线协作会议期间所呈现的活动时间线的情况。

录制的会议视频文件：按时间顺序排列存储的数据流文件，它代表了在记录的在线协作会议中呈现的数据流。

远程设备控制：允许用户在另一个位置连接到设备的功能，能查看设备的屏幕，并与之交互。

屏幕共享：允许来自不同位置的人实时查看另一台电脑屏幕的功能。

滚动条：属于交互技术，它能使连续文本或任何其他内容可以在预定的方向滚动(上、下、左、右)并在电脑上可以显示所有的内容，即使只有一小部分内容也可以在设备的屏幕上被看到。

流媒体数据：在在线协作会议中与其他参与用户共享的用户数据流。流媒体数据有不同的类型，如音频、视频、计算机文件、屏幕共享、远程设备控制和白板数据。

流动的元数据：描述在在线协作会议中共享的不同用户流数据的情况。

时间轴：某个事件发生的时间记录和采取的某些操作的描述。

视频编码：将数字视频文件从一种格式转换成另一种格式的功能。

白板：在在线协作会议中放置共享的虚拟白板，在这个虚拟白板中用户可以在会议中与其他用户实时地共享文件、输入文本、绘制图形以及插入图像。

本发明实施例提供了一种在线协作会议的录制和回放方法，该方法提供在线协作会议，为在线协作服务提供技术实现，以及在线会议(“技术”)的录制和回放，包括以下步骤：

引导一个或多个用户进行在线协作会议；

接收一个或多个用户的流数据；

将所接收到的流数据分发给一个或多个用户；

执行一个或多个用户的协作操作；

呈现活动时间线；

录制分布式流数据和所呈现的活动时间线；

回放所录制的流数据及所录制的活动时间线；

导航所录制的流数据和所录制的活动时间线的回放。

其中，用户的协作操作包括：

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

本发明提供了一种在线协作会议的录制和回放的方法及系统，该技术能使两个或更多的用户通过共享流数据，例如音频或视频流来实时通信。这项技术使这些用户能够采取协作操作，比如发布消息、共享文件、共享屏幕、注释虚拟白板，以及允许远程控制他们的设备。其中与用户的协作操作相关联的元数据在活动时间线中被显示出来。该技术还能使用户录制和回放在线协作会议及其相关的时间线。在回放期间，用户可以单独或共同为流数据及其相关活动时间线提供导航功能。

该技术提供了一个会议协作服务，这种服务可以实时地与大多数用户一起使用。例如，在一个实例中，6个用户中的5个人参与了一个在线协作会议：一个用户主持人和四个参与者用户。其中一名被邀请的用户无法参加会议。余下的五名用户中有四人以视频直播的方式通过台式电脑、笔记本电脑和智能手机连接到会议。其中一个用户通过电话的音频连接。在会议期间，发言用户的视频或音频数据流被传送给其他参与者。随着流媒体数据的发布，用户进行了各种各样的活动，包括加入会议或离开会议。在此期间，用户可以输入消息并与其他参与者共享信息。其中的一位用户分享了他的智能手机屏幕，并演示了一个应用程序。另一个用户共享并讨论了一个项目的电子表格。所有这些协作行为都显示在了参与者们的各自设备上。与这些用户操作相关联的元数据，如动作类型、用户、时间戳也在活动时间轴中实时被显示。活动时间线是在一个垂直的边栏中显示的，它与会议的视频/音频流一起运行。

该技术还提供了一个可用于录制在线协作会议的会议录制服务，以及允许用户回放录制在线协作会议的会议回放服务。再回到上面的例子，主持人角色的用户录制了该在线协作会议。随后，无法加入的邀请用户选择录制的会议文件进行回放。用户在播放器窗口中看到了显示了流数据，并在播放器窗口右侧的垂直侧栏中看到了显示活动时间线。通过这种方式，用户体验了这次会议，就好像是参与者一样。用户在需要时播放、暂停、快速转发、记录或跳过不必要的信息。其中一个用户对项目状态和项目电子表格的讨论特别感兴趣。用户可以向下滚动活动时间线，以找到与共享文件相关联的元数据。用户可以点击时间线上的那个点，将流数据和活动时间线都带到了那个时间点。然后点击播放，并充分体验了对用户来说最重要的会议部分。

图1对该技术的几个具体实施情况进行了更详细的描述。

参见图1，其列举了本发明的一个应运环境，在这个环境中，本发明可以在不同的场景中运行。环境100包含一个在线协作服务120，它提供了一组服务，包括诸如会议协作服务121、会话记录服务122、以及会议回放服务123，这些服务提供给用户101、用户102和用户103。用户可以通过使用各种设备(包括桌面、笔记本、平板电脑、智能手机或电话)的通信网络110访问在线协作服务120。

在不同的实例中，在线协作服务120向用户提供在线协作会议中的参与、录制和回放服务。会议协作服务121允许用户从会议开始、加入或邀请他人加入在线协作会议、以及联席会议，并且还能生成音频和视频流数据。通过共享文件，还能在屏幕上实时反映其他用户参与的设备情况。会议录制服务122允许用户记录在线协作会议，包括对流数据和用户操作的元数据进行描述。会议回放服务123允许用户回放录制的在线协作会议。关于会议协作、录制和回放的更多细节，请参考图2以及后面图5至图7。

在线协作服务120可以在各种配置中实现。一个典型的配置可以包括一个在线配置，其中在线协作服务120是在一个分布式网络中实现的，例如，LAN、WAN或Internet。用户可以通过网络110对在线协作服务120进行访问。在不同的实例中，在线协作服务120也可以在客户机-服务器配置中实现，并且在这个配置中，与客户端部分对应的应用程序可以安装在用户的设备上。用户可以使用web浏览器或安装在用户设备上的在线协作服务应用程序访问在线协作服务120。

接下来，参见图2。图2描述了图1的在线协作服务120的环境200。环境200的会议协作服务220类似于图1的会议协作服务121。环境200的会议录制服务240类似于图1的会议录制服务122。环境200的会议回放服务250类似于图1的会议回放服务123。环境200的用户201、用户202、以及用户203与图1的用户101、用户102、以及用户103相似。

关于会议协作服务

会议协作服务220在大多数用户之间(如用户201、用户202、以及用户203)建立了一个在线协作会议，例如协作会议210。用户可以加入在线协作会议，而且在线流媒体服务221允许用户共享流数据。例如，用户可以实时地从电话设备、视频设备、计算机文件数据、白板数据、屏幕数据和远程设备控制数据中传输音频。

在线流媒体服务221提供了各种流媒体数据的接收、选择和分发。例如，一个用户可能是协作会议210中的第一个演示者，例如从会议开始(例如，00:00:00)到之后的9分钟(例如，在09:17:05)进入会议。第一个演示者的视频流可以被接收、选择、放置在共享会议中并分发给参与的用户。第二个演示者可以在会议期间的09:17:06到21:54:33演示应用程序时分享他自己的设备的屏幕内容，并且第二个演示者的屏幕数据流可以被接收、选择、放置在共享会议中并分发给参与的用户。通过这种方式，用户可以通过接收流数据来参与在线协作会议。

用户操作服务222允许用户(如用户201，用户202和用户203)在一个在线协作会议中(如协作会议210)执行各种各样的协作操作。例如，用户可以做以下一个或多个选择(其他场景亦是如此)：开始或结束一个会议；加入或离开一个会议；邀请另一个用户加入一个会议；在一个会议中发布一条消息，在一个会议中共享设备的屏幕或在一个会议中的设备上共享一个文件；在一个会议中开始、结束使用白板；在一个会议中启动、结束或提供远程设备控制；开始或结束录制一个会议等等。

用户操作服务222可以创建活动元数据，并描述用户所采取的协作操作。例如与协作操作相关联的活动元数据可能包括一些用户信息，如姓名、用户id、电子邮件地址和电话号码；设备信息，如硬件类型和平台(如智能手机操作系统、Internet浏览器或桌面操作系统)；时间轴，例如开始和结束时所进行的操作；以及计算机文件信息，如文件名、大小和类型；元数据，比如活动元数据可以存储在JSON(JavaScript对象表示法)文件中。

活动时间线服务223在活动时间线上实时显示活动元数据，该活动时间线还可以描述用户(如用户201，用户202和用户203)在在线协作会议中(如协作会议210)所进行的协作操作(其他场景亦是如此)。在某些实例中，活动时间线还可以与协作会议的流数据一起显示在垂直的侧栏中。当用户进行某个操作时，相关的、新的活动元数据将被连接到与先前用户操作相关联的活动元数据之下。通过这种方式，旧的活动元数据垂直边栏向上滚动，并最终关闭。例如，一个呈现用户的视频流可能会显示在在线协作会议中。当演讲者在讲话时，一个用户可以在另一个用户发布消息的几秒钟后加入到会议中来。因此，在演示者的视频流旁边的活动时间线侧栏中，活动元数据“Mina Smith加入了会议——2:37pm”被连接到活动元数据“Peter Nemo-2:37pm-OK”之下。

关于会议录制服务

回到图2，会议录制服务240可以允许用户(如用户201，用户202和用户203)录制在线协作会议，例如协作会议210。会议录制服务240接收来自会议协作服务220的协作会议210的数据230(数据230包括流数据、流式元数据和活动元数据)。流媒体数据可能有不同的类型，如音频、视频、计算机文件、屏幕共享、远程设备控制和白板数据。而且流媒体数据还可能包括来自一个或多个用户的多个数据流。例如，一个用户可能是协作会议中的第一个演示者，例如从00:00到09:17:05进入会议。第一个演示者的流数据将是一个视频数据流，它将是与会议相关联的多个数据流之一。第二个演示者可以在会议期间的09:17:06到21:54:33演示应用程序时分享他的设备的屏幕内容。并且第二个演示者的流数据将是一个屏幕数据流，它将是与会议相关的众多数据流中的其中一个。

数据230中包含的流元数据描述了协作会议的不同数据流。例如，与音频流和视频流相关联的流元数据可能包括用户名、音频格式、启动时间、结束时间和源文件名。如上所述，活动元数据描述了用户所进行的协作操作。在某些实例中，元数据，如流媒体和活动元数据，可以存储在JSON(JavaScript对象表示法)文件中。

流数据服务241可以创建(当录制开始时)，并保存(当录制结束时)协作会议的不同数据流文件的最终版本。流数据服务241为协作会议的流元数据创建(当录制结束时)、并保存(当录制结束时)数据流文件的最终版本。活动元数据服务242可以创建(当录制开始时)，并保存(当录制结束时)用于协作会议活动元数据文件的最终版本。

会议录制服务240在录制结束时，可以创建一个表示在录制的在线协作会议期间所呈现的流数据录制的会议视频文件。会议录制服务240可以处理会议的流数据文件，并使用流元数据按时间顺序排列它们录制的会议视频文件。在某些实例中，视频编码被用来将不同的流数据转换成相同的标准格式，例如MPEG格式。还例如第一个演示者的视频数据流可以存储在一个视频流文件中，它的相关元数据可能显示一个表示开始的时间(00:00:00)和一个表示结束的时间(09:17:05)。第二个演示者的屏幕数据流可以被存储在一个屏幕数据流文件中，其相关的元数据可以显示09:17:06的演示开始时间，以及21:54:33的演示结束时间。会议录制服务240可以把视频流文件放在录制的会议视频文件中，通过这种方式，录制的会议视频文件将包含按照它们呈现给用户的时间顺序排列的会议数据流。

关于会议回放服务

回到图2，会议回放服务250可以允许用户(如用户201，用户202和用户203)回放录制的在线协作会议(如协作会议210)。回放流媒体服务251也可以允许用户回放录制的会议视频文件。在某些实例中，可以使用媒体播放器软件。回放流媒体服务251初始化并维护参数“当前回放时间”的值，该值表示当前正在播放的视频中的时间点。在播放视频时，当用户暂停、快速向前、翻转或重新定位视频时当前播放时间与录制的会议视频时间将同步。

回放时间线服务252能重新创建与录制在线协作会议相关的活动时间线，如同与各种环境相一致的协作会议210。回放时间线服务252能处理存储的活动元数据文件，它能使用与录制会议相关联的元数据按时间顺序对活动时间线上的活动进行排序，并且这些活动的情况会在会议期间显示。例如，活动元数据可以显示用户(Peter Nemo)在特定的时间(15:37:03)用文本(“OK”)进行的操作(发消息)。元数据还可以显示几秒钟后用户(MinaSmith)在特定时间(15:37:42)进行的一个操作(加入会议)。回放时间线服务252将放置在重新创建的活动时间线上，例如，活动元数据“Mina Smith参加会议-2:37pm”将放置在活动元数据“Peter Nemo-2:37pm-OK”的下面。通过这种方式，重新创建的活动时间线将包含活动元数据，并且其时间顺序与活动首次呈现给用户的时间顺序一致。

回放时间线服务252显示了与录制的在线协作会议相关联的重新创建的活动时间线，例如与各种环境一致的协作会议210。在一些实例中，可以在一个垂直的侧栏中显示重新创建的活动时间线，同时还可以回放录制的会议视频文件。回放时间线服务252能初始化并维护“当前时间线时间”的参数值，该值表示当前呈现的时间线中的时间点。回放时间线服务252同步当前时间线和活动时间线；例如用户移动时间线、前进或后退；当用户播放、暂停、快速转发、反向或重新定位录制的会议视频文件时，可以使用当前的回放时间。旧的活动元数据会滚动，直至最终关闭，并且在当前的时间线时间内，与当前播放时间同步的垂直侧边栏会增加。用这种方法，重新创建的活动时间线在回放中作为原始的活动时间线将会实时呈现。

回放时间线服务252能创建并显示与录制的在线协作会议相关联的活动条，例如，与各种环境一致的协作会议210。回放时间线服务252能处理存储的活动元数据文件，并能使用与录制会议相关联的元数据来确定会话期间按时间顺序发生的活动级别。在某些实例中，活动条可以反映媒体播放器的进度情况。例如，如果用户操作发生在00:01:00到00:14:33之间，那么活动栏的那个部分可以显示为橙色。如果没有发生在00:27:49到00:01:06，活动栏的那部分会显示为黑色。

导航服务253允许用户(如用户201、用户202和用户203)来导航录制的会议视频文件的回放。用户可以采取导航操作，对当前回放时间值的进行更改，这将导致视频中播放的时间点的更改。用户还可采取以下一种或多种导航操作:选择媒体控制图标，如播放、暂停、前进、快进、后退或停止按钮；选择进度条上的位置；在活动栏上选择一个位置；或者在与用户操作关联的重新创建的活动时间轴上选择一个位置。选择媒体控制图标可以改变当前播放时间的值。在进度条上选择一个位置可以将当前回放时间的值更改为与进度条上选择的时间值相同。选择与重新创建活动时间轴上的活动相关联的位置可能会改变当前播放时间的值，使其等于活动的时间戳。更改当前播放时间的值可能会改变当前时间线时间的值。这样，重新创建的活动时间线将与当前回放时间同步显示。

导航服务253允许用户(如用户201、用户202和用户203)导航重新创建的活动时间线。用户可以采取导航操作，从而导致对当前时间线时间的值的更改，这也将导致对重新创建的活动时间线中出现的时间点的更改。用户可以采取以下一种或多种导航操作:移动滚动条的位置；或者选择一个能返回当前位置的图标。移动滚动条的位置可能会增加或减少当前时间轴时间，这将导致活动元数据向上或向下滚动(以及打开或关闭)。当活动时间轴滚动到当前回放时间之后，将显示一个返回当前的图标。选择返回当前图标将更改当前时间线时间的值，使其与当前回放时间等同。通过这种方式，重新创建的活动时间线将被显示出来，以响应用户的导航操作。

会议协作服务，例如会议协作服务220和会议录制服务240，以及会议回放服务，例如会议回放服务250，可以使用台式计算机、笔记本电脑、智能手机或平板电脑等各种设备对其访问。还可以使用安装在用户设备上的web浏览器来访问它们。此外，在线协作服务环境200是与平台无关的，也就是说，用户可以从操作系统的运行的设备那里加入、录制或回放在线协作会议，例如在线协作会议210，这些从设备上运行的操作系统包括微软公司的Windows，苹果公司的macOS和iOS，谷歌公司的Chrome OSTM操作系统，以及各种Android OS操作系统。

在线协作服务示例系统

参见图3，图3是图1提供的在线协作服务系统的框图。

在各种实例中，系统300被实现以执行诸如环境100等功能。在各种实例中，在线协作服务310类似于图1的在线协作服务120。在线协作服务310包括提供服务的各种模块，其中包括会议协作服务、会议录制服务和会议回放服务。

在线协作服务310包括协作会议模块320、会议录制模块340和会议回放模块350。在不同的实例中，协作会议模块320与图1中的会议协作服务121相似。协作会议模块320包含进行在线协作会议的模块。这些模块类似于图2中的会议协作服务。在线流媒体模块321与图2中的在线流媒体服务221相似，它的功能是便于在协作会议中接收、选择和分发流媒体数据。用户操作模块322与图2中的用户操作服务222相似，它的功能是方便用户在协作会议中进行协作操作。活动时间线模块323与图2中的活动时间线服务223相似，它简化了活动时间线的表示，并且描述了用户所进行的协作操作。

在各种实例中，会议录制模块340与图1的会议录制服务122类似，并且它还包含记录在线协作会议的模块。这些模块可能类似于图2中的会议录制服务。流数据模块341可能类似于图2中的流数据服务241。流数据模块341为协作会议的不同数据流创建、保存和存储流数据文件和流元数据文件。活动元数据模块342类似于图2中的活动元数据服务242，它的功能是方便创建、保存和存储活动元数据文件，以便用户进行协作操作。

在各种实施中，会议回放模块350与图1中的会议回放服务123相似，它的功是包含用于回放录制的在线协作会议的模块。这些模块可能类似于图2的会议回放服务。回放流媒体模块351可能与图2中的回放流媒体服务251相似。回放流媒体模块351方便用户回放录制的会议视频文件。回放时间线模块352可能与图2的回放时间线服务252相似。回放时间线模块352简化了与录制的会议视频文件相关的活动时间线的重新创建、重新创建的活动时间线的表示以及活动栏的创建和显示。导航模块353可能与图2的导航服务253相似。导航模块353方便用户对录制的会议视频文件的回放和对重新创建的活动时间线进行导航操作。

参见图4，图4是执行在线协作会议过程的流程图，与其他应用场景一样。

在某些实例中，进程400可以在系统中执行，如图3中的系统300。在步骤410中，协作会议模块320接收来自第一个用户的请求后以启动协作会议。在步骤420中，在线流媒体模块321将第一个用户的数据流连接到协作会议。在步骤430中，用户操作模块322确定用户是否请求了操作。如果没有，用户操作模块322将重复判断用户是否请求了操作。如果有，在步骤440中，用户操作模块322将执行请求的操作。在步骤450中，活动时间线模块323将显示与活动时间轴上执行的操作相关的活动元数据。

参见图5，图5是记录在线协作会议过程的流程图。

在某些实例中，进程500可在系统中执行，如图3中的系统300。在步骤510中，当请求录制时，会议录制模块340将初始化流数据、流元数据和活动元数据的文件。在步骤520中，流数据模块341将保存与协作会议相关的流数据和流元数据。在步骤530中，活动元数据模块342保存与协作会议期间所采取的用户操作相关的活动元数据。在步骤540中，会议录制模块340决定是协作会议结束，还是录制停止。如果没有结束，进程500将重复从步骤520开始。如果结束了，在步骤550中，流数据模块341和活动元数据模块342将存储各自的流数据文件和元数据文件的最终版本。在步骤560中，会议录制模块340会通过处理流数据文件和流元数据文件创建一个录制的会议视频文件。

参见图6A，图6A是回放录制在线协作会议过程的流程图，其他应用场景亦是如此。

在某些实例中，进程600可以在系统中执行，如图3中的系统300。在步骤601中，会议回放模块350启动了一个回放会议。在步骤602中，会议回放模块350将加载录制的会议视频文件和存储的活动元数据文件，并且它们都与录制的在线协作会议相关联。在步骤603中，回放时间线模块352重新创建活动时间线，并从存储活动元数据文件的处理中创建活动条。在步骤604中，会议回放模块350为参数、当前回放时间和当前时间线的设置值。

在步骤605中，回放流媒体模块351从当前播放时间开始播放录制的会议视频文件，并在播放视频时将当前播放时间与视频时间同步。图6B中显示了与判断回放导航是否有关的进一步步骤，如图6A中圈出的字母“A”在605处，图6B中圈出的字母“A”在611处。在步骤606中，导航模块353决定了回放导航是否发生。如果没有发生，进程600将从步骤605开始重复。如果发生了，进程600将从步骤604开始重复。

在步骤607中，回放时间线模块352显示了从当前时间线开始重新创建的活动时间线，并在回放录制的会议视频文件时将当前时间线时间与当前回放时间线的时间同步。图6B显示了与确定时间线导航是否发生了相关的进一步步骤，如图6A中圈出的字母“C”在607处的显示，图6B在611处的显示。在步骤608中，导航模块353确定是否发生了时间线导航。如果没有，进程600将从模块607开始重复。如果是这样，在步骤609中，回放时间线模块352将显示从当前时间线开始的重新创建的活动时间线，并在导航时间线时将当前时间线与活动时间线同步。

参见图6B，图6B是执行用户导航过程的流程图。

在某些实例中，进程610可以在系统中执行，例如图3的系统300。在步骤611中，导航模块353监视用户与媒体播放器活动时间线的交互情况。在步骤612中，导航模块353的功能是确定是否发生了导航回放。也就是说，用户是否对录制的会议视频文件进行了导航操作，例如是否选择了媒体控制图标、进度条上的位置或活动条上的位置。如果选择了，在步骤613中，导航模块353将确定当前回放时间的新值。与回放视频相关的进一步步骤如图6A所示，图6B中圈出的字母“B”在613处，图6A在606处。

如果不是，在步骤614中，导航模块353将确定用户是否采取导航操作后选择与用户操作关联的重新创建的活动时间轴上的位置。如果是，在步骤615中，导航模块353将确定当前回放时间的新值。与回放视频相关的进一步步骤如图6A所示，图6B中圈出的字母“B”在615处，图6A中圈出的字母“B”在606处。

在步骤616中，导航模块353将确定是否发生了时间线导航。也就是说，用户是否针对显示重新创建的活动时间线(例如移动滚动条)来采取导航操作。如果是，在步骤617中，导航模块353将为当前时间线的时间确定一个新值。图6A展示了与展示时间线相关的进一步步骤，如图6B中圈出的字母D所示，图617处为D，608处为图6A。如果不是，在步骤618中，导航模块353确定用户是否采取了选择返回当前图标的操作。如果是，在步骤619中，导航模块353将为当前时间轴时间确定一个新值。图6A展示了与展示时间线相关的进一步步骤，图6B中圈出的字母“D”在图619处被表示出来，图6A在608处表示。

参见图7，图7是一个框图，它说明了可以进行技术描述的各种操作设备的组件。

图7是计算机系统的框图，可用于实现公开技术的某些实例的特性。计算系统700可包括一个或多个中央处理单元(即处理器)705、内存710、输入/输出设备725(例如：连接到互连715的存储设备720(如磁盘驱动器)和网络适配器730(如网络接口)。互连715表示任何一个或多个单独的物理总线、点到点连接，或者由适当的适配器或控制器连接。互连715包括一个系统总线，在这个系统中包括外围组件互连(PCI)总线和PCI-Express总线，超传输或工业标准体系结构(ISA)总线，小型计算机系统接口(SCSI)总线，通用串行总线(USB)，IIC I2C总线，或被称为“火线”的(IEEE)标准1394总线。

内存710和存储设备720是计算机的可读存储媒体，它们可以存储实现所述技术的部分指令。此外，数据结构和消息结构可以通过数据传输媒介(如通信链路上的信号)进行存储或传输。此处提到的通信链路包括如Internet、局域网、广域网或点对点拨号连接。因此，计算机可读的媒体可以包括“非短暂的”媒体和计算机可读的传输媒体。存储在内存710中的指令可以为软件和固件实现，并对处理器705进行编程，以执行上述操作。在某些实例中，这类软件或固件最初可以通过计算系统700(例如通过网络适配器730)从远程系统下载到计算系统700。

这里介绍的技术可以通过软件和固件编程的可编程电路(例如，一个或多个微处理器)实现，或者完全用专用的硬件(非可编程的程序)电路实现，或者用这种形式的组合实现。特殊用途的硬件电路可以采用一种或多种ASICs、PLDs、FPGAs等方式。

备注

以上的描述和图片是说明性的，它说明了许多具体细节，以提供对信息披露的全面了解。但是，在某些情况下，不描述众所周知的细节是为了避免模糊描述。此外，可以在不偏离本文范围的情况下进行各种修改。因此，本发明不受限制，除非附加索赔要求。

本发明中对“一个实例”的引用意味着与实例有关的相关特征、结构至少包含在披露的一个实例中。短语“在一个实例中”在规范中不同地方的出现不一定都指向同一个实例，也不一定是独立的实例。此外，所描述的各种特性可以由某些实例显示，而不能由其他实施例显示。所描述的各种需求可能是某些实例的需求。

本发明中使用的术语通常在技术、披露的上下文中以及使用每个术语的特定上下文中具有其普通含义。本规范中用于描述披露的某些术语可用于向从业者提供关于披露描述的附加指导。为了方便起见，可以将显示某些术语的突出部分使用斜体或引号。突出显示的使用对术语的范围和意义没有影响；在相同的上下文中，无论它是否被突出显示，术语的范围和含义仍是相同的。人们会认识到，“记忆”是“储存”的一种形式，而术语有时也可以互换使用。

因此，替代语言和同义词可以用于本发明所讨论的任何一种或更多的术语，但也不具有任何特殊的意义，不论是否在本发明中阐述或讨论一个术语。在本发明的任何地方使用示例，包括在本发明中讨论的任何术语的示例仅是说明性的，并不打算进一步限制任何示例术语的范围和意义。

本领域技术人员会清楚的知道上面讨论的每个流程图中的逻辑可以以不同的方式被改变。例如，可以重新排列逻辑的顺序，可以并行执行子步骤，可以省略演示逻辑和包含其他逻辑等等。

在无意进一步限制披露范围的情况下，根据本披露的内容给出了工具、设备、方法及其相关结果的示例。为了方便读者阅读，示例中可以使用不限制披露范围的标题或字幕。除非另有定义，否则本协议中使用的所有科学术语与本披露所涉及的普通技术中的术语含义相同。在冲突的情况下，本文件将加以控制。

此外，在说明书、图表和声明中，还引用了本发明的某些特性(包括方法步骤)。可以理解的是，本发明的披露包括此类特定特性的所有可能的组合。例如，如果在本发明的特定方面或特定主张的上下文中披露了特定的特性，则该特性也可以尽可能地与本发明的其他特定方面和实例结合使用。

某些术语及其派生词可用于以下描述，仅供参考，不受限制。例如，像“向上”、“向下”、“左”和“右”这样的词，将指的是绘制参考图的方向，除非另有说明。类似地，“向内”和“向外”等词分别指设备或区域的几何中心和指定部分的朝向和远离方向。单数时态中的引用包括复数，反之亦然，除非另有说明。

“包含”一词和语法上的对等词在这里被用来表示可选择的成分、步骤等。例如，“组成”(或“包含”)项A、B和C可以包括(即仅包含A、B和C的组件，或者可能包含组件A、B和C，但也包含一个或多个其他组件。

如果此处引用了包含两个或多个已定义步骤的方法，则可按任何顺序或同时执行的已定义的步骤(除非上下文排除这种可能性)，该方法可能包括一个或多个其他步骤，这些步骤在定义的步骤之前或在两个定义的步骤之间，或者在所有已定义的步骤之间(除了上下文排除这种可能性之外)执行。

在这里，“至少”一词后面跟着一个数字，表示以该数字开头的范围的开始(根据所定义的变量，可能是具有上限或没有上限的范围)。例如，“至少1”表示1或大于1。“至多”一词后面跟着一个数字(它可能是一个具有1或0作为其下限的范围，或者是一个没有下限的范围，这取决于所定义的变量)。例如，“至多4”表示4或小于4，“至多40％”表示40％或小于40％。在本规范中，当一个范围被给定为“(第一个数字)到(第二个数字)”或“(第一个数字)-(第二个数字)”时，这意味着一个范围的极限是第二个数字。例如，25到100毫米意味着范围的下限是25毫米，上限是100毫米。

本发明的某些方面可以体现为系统、方法或过程。因此，本发明的某些方面可能采取完全由硬件实施的形式和一个完全的软件实例形式(包括固件、常驻软件、微代码等)或一种结合软件和硬件的实例形式，这些通常被称为“电路”、“模块”、“程序”、“设备”或“系统”。此外，本发明的某些方面可以采取一种计算机程序产品的形式，具体表现在一种或多种包含计算机可读程序代码的计算机可读媒体中。

Claims (10)

1.一种在线协作会议的录制和回放方法，其特征在于，包括以下步骤： 引导一个或多个用户进行在线协作会议；

接收一个或多个用户的流数据；

将所接收到的流数据分发给一个或多个用户； 执行一个或多个用户的协作操作；

呈现活动时间线；

录制分布式流数据和所呈现的活动时间线； 回放所录制的流数据及所录制的活动时间线；

导航所录制的流数据和所录制的活动时间线的回放，当触发用户导航操作时，若该操作是选择媒介控制图标、选择进度条上的位置、选择活动条上的位置、或者是选择所录制的活动时间线上的位置中的任意一种，则确定当前新的回放时间；若该操作是移动了滚动条或选择时间线控制图标，则确定当前新的时间线。

其中，所述用户的协作操作包括:开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制以及结束远程设备控制中的一种或多种。

2.根据权利要求 1 所述的在线协作会议的录制和回放方法，其特征在于，引导一个或多个用户进行在线协作会议，包括以下步骤：

在第一个用户发起会议请求时，开始在线协作会议； 接收第一个用户的流数据；

如果另一个用户发起协作会议请求，则执行该用户所请求的协作操作，并在活动时间线中显示与该用户所请求的协作操作相关联的活动元数据。

3.根据权利要求 1 所述的在线协作会议的录制和回放方法，其特征在于，录制分布式流数据，包括以下步骤：

初始化一个或多个流数据文件、流元数据文件和活动元数据文件；

将流数据保存到一个或多个流数据文件，将元数据流传输到流元数据文件，以及将活动元数据保存到活动元数据文件。

4.根据权利要求 3 所述的在线协作会议的录制和回放方法，其特征在于，录制分布式流数据，还包括以下步骤：

若在线协作会议结束或者停止录制，则将流数据存储到一个或多个流数据文件，将元数据流传输到特定的流元数据文件，以及将活动元数据存储到活动元数据文件；或者，从一个或者多个流数据文件和已存储的流元数据文件中创建录制会议的视频文件。

5.根据权利要求 1 所述的在线协作会议的录制和回放方法，其特征在于，回放所录制的流数据及所录制的活动时间线，包括以下步骤：

根据用户的请求启动会议回放；

加载录制会议的视频文件和存储的时间线元数据文件；

从存储的时间线元数据文件中重新创建录制的活动过时间线； 从存储的时间线元数据文件中创建一个活动条；

设置当前回放时间和当前时间线的值；

从当前回放时间开始回放所录制的会议视频文件，

同时将当前回放时间和所录制的会议视频文件的视频时间同步；

从当前时间线时间开始呈现所录制的活动时间线，同时将当前时间线时间和当前回放时间同步。

6.根据权利要求 5 所述的在线协作会议的录制和回放方法，其特征在于，回放所录制的流数据及所录制的活动时间线，还包括以下步骤：

当出现了影响所录制的会议视频文件的回放的用户导航操作时，确定当前播放时间，返回当前播放时间和当前时间线所设定的时间值；

或，当出现了影响所录制的活动时间线的呈现的用户导航操作时，确定当前时间线，以当前时间线中的时间开始显示录制的活动时间线。

7.一种在线协作会议的录制和回放系统，其特征在于，包括引导模块、接收模块、分发模块、执行模块、呈现模块、录制模块、回放模块、以及导航模块；

所述引导模块，用于引导一个或多个用户进行在线协作会议； 所述接收模块，用于接收一个或多个用户的流数据；

所述分发模块，用于将所接收的流数据分发给一个或多个用户； 所述执行模块，用于执行一个或多个用户的协作行为；

所述呈现模块，用于呈现活动时间线；

所述录制模块，用于录制分布式的流数据和所呈现的活动时间线； 所述回放模块，用于回放所录制的流数据和所录制的活动时间线； 所述导航模块，用于导航所录制的流数据和所录制的活动的回放。

8.根据权利要求 7 所述的在线协作会议的录制和回放系统，其特征在于，所述用户的协作操作包括:

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

9.一种非暂时性的计算机可读存储介质，用于存储程序指令，其特征在于，当计算机的处理器执行其程序指令时，该处理器会执行以下操作：

引导一个或多个用户进行在线协作会议； 接收一个或多个用户的流数据；

将所接收到的流数据分发给一个或多个用户； 执行一个或多个用户的协作操作；

呈现活动时间线；

录制分布式流数据和所呈现的活动时间线； 回放所录制的流数据及所录制的活动时间线；

导航所录制的流数据和所录制的活动时间线的回放。

10.根据权利要求 9 所述的非暂时性的计算机可读存储介质，其特征在于，所述用户的协作操作包括:

开启会议、结束会议、加入会议、邀请用户、发消息、开启屏幕共享、结束屏幕共享、分享文件、结束文件分享、分享白板、白板协作、结束白板分享、开启远程设备控制、允许远程设备控制、以及结束远程设备控制中的一种或多种。

Images