CN111741324B - 录制回放方法、装置和电子设备 - Google Patents

Abstract

本申请实施例提供一种录制回放方法、装置和电子设备，在获取第一终端发送的待录制数据、音频数据和布局信息以及第二终端发送的音频数据后，通过待录制数据和布局信息获得录制控制信息，并将第一终端和第二终端的音频数据进行汇合，得到音频信息。根据得到的待录制数据、录制控制信息、布局信息和音频信息得到录制结果。该录制回放方案可通过获得录制控制信息、布局信息等，以便于后续需要进行回放时，可基于录制控制信息、布局信息等实现录制数据的及时回放，避免了现有技术中需要接收所有数据并转换得到录制结果之后，才能实现回放所存在的难以及时分享和及时回放的缺陷。

Description

录制回放方法、装置和电子设备

技术领域

本申请涉及互联网技术领域，具体而言，涉及一种录制回放方法、装置和电子设备。

背景技术

实时在线录制播放机制，为一种主要针对远程会议、远程课堂等领域设计的录播系统中的技术方案。在现有的录播系统中，主要有两种录制模式，一种是客户端录制，一种是云端录制。客户端录制是指在本地计算机电脑上录屏或者通过某种方式录制该端的数据存放在本地计算机磁盘，然后上传到服务器分享给需要的人进行下载。这种方式存在很明显的弊端，就是需要占用本地电脑资源，如磁盘、CPU(Central Processing Unit，中央处理单元)、内存、带宽等，并且还需要人为操作上传。作为用户或者作为产品来说，这显然是不可取的。云端录制是指各个端的数据在通过服务器的时候由服务器录制下来并生成可播放的媒体文件以供需要的人回放或下载观看。在云计算普及的今天，已有很多录播系统都使用了云端录制模式，但具体的使用场景和技术方案都有所差别。

目前的云端录制方式，一般是在接收到整个录制过程中的所有数据之后，再将接收到的数据进行转换，录制成可播放的媒体文件，后续用户需要回放时，再以该媒体文件作为回放内容反馈给用户。这种在接收到所有数据后进行转换的方式，无论是录制还是回放都要等到整个过程结束之后才能实现。难以满足用户的及时分享或及时回看的需求。

发明内容

本申请的目的包括，例如，提供了一种录制回放方法、装置和电子设备，其能够通过获得录制控制信息及布局信息等，实现及时录制和回放需求。

本申请的实施例可以这样实现：

第一方面，本申请实施例提供一种录制回放方法，应用于服务器，所述服务器与第一终端及至少一个第二终端通信，所述方法包括：

响应于所述第一终端发送的录制请求，获取所述第一终端发送的待录制数据、音频数据和布局信息，并获取所述第二终端发送的音频数据；

根据所述待录制数据和所述布局信息获得录制控制信息；

将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息；

根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果。

在可选的实施方式中，所述方法还包括：

响应于请求终端发送的回放请求，根据所述录制结果得到回放信息并反馈给所述请求终端，其中，所述请求终端为所述第一终端或任一第二终端。

在可选的实施方式中，所述将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息的步骤，包括：

记录录制起始点和录制终止点，其中，所述录制起始点为接收到第一个音频数据的时间点，所述录制终止点为接收到最后一个音频数据的时间点；

针对所述录制起始点和录制终止点之间的每个时间点，若该时间点接收到所述第一终端或任一第二终端的音频数据，则将接收到的音频数据进行汇合，作为该时间点的音频子信息，若该时间点未接收到所述第一终端和任一第二终端的音频数据，则将默认数据包作为该时间点的音频子信息；

根据所述录制起始点和录制终止点之间的多个时间点的音频子信息，得到音频信息。

在可选的实施方式中，所述根据所述待录制数据和所述布局信息获得录制控制信息的步骤，包括：

获取接收到所述待录制数据的时间点，获得该时间点相对于所述录制起始点的第一时间偏差；

获取接收到所述布局信息的时间点，获得该时间点相对于所述录制起始点的第二时间偏差；

根据所述第一时间偏差、第二时间偏差、待录制数据以及布局信息得到录制控制信息。

在可选的实施方式中，所述根据所述录制结果得到回放信息并反馈给所述请求终端的步骤，包括：

获得所述录制结果中包含的布局信息，获得该布局信息对应的布局模板、该布局信息中包含的数据ID以及该布局信息在回放时间轴上的时间偏差，所述布局模板包含多个布局窗口，所述回放时间轴由所述录制结果中的音频信息的时间信息获得；

根据所述布局信息的时间偏差，将所述数据ID对应的共享数据排布至所述布局模板上对应的布局窗口，所述共享数据为所述待录制数据包含的多类数据的一种或多种；

根据排布后的布局模板、所述音频信息以及所述录制控制信息得到回放信息并反馈给所述请求终端。

在可选的实施方式中，所述根据所述布局信息的时间偏差，将所述数据ID对应的共享数据排布至所述布局模板上对应的布局窗口的步骤，包括：

根据所述数据ID从所述录制结果包含的待录制数据中获得对应的共享数据；

针对每个所述共享数据，根据该共享数据的数据ID获得对应的窗口ID，并获得该窗口ID对应的布局窗口；

根据所述布局信息的时间偏差，将所述共享数据排布至获得的布局窗口。

在可选的实施方式中，在所述共享数据为视频数据或桌面数据时，所述根据所述布局信息的时间偏差，将所述共享数据排布至获得的布局窗口的步骤，包括：

获得所述共享数据在所述布局模板出现时在所述回放时间轴上的时间偏差，并获得该时间偏差对应的播放内容；

在排布时间点到达时将所述播放内容排布至获得的窗口ID对应的布局窗口，其中，所述排布时间点根据所述布局信息的时间偏差获得。

在可选的实施方式中，所述在排布时间点到达时将所述播放内容排布至获得的窗口ID对应的布局窗口的步骤，包括：

监测所述音频信息的播放时间点，在所述播放时间点进入所述布局信息的时间偏差的误差范围内时，确定排布时间点到达，并将所述播放内容排布至获得的窗口ID对应的布局窗口。

第二方面，本申请实施例提供一种录制回放装置，应用于服务器，所述服务器与第一终端及至少一个第二终端通信，所述装置包括：

响应模块，用于响应于所述第一终端发送的录制请求，获取所述第一终端发送的待录制数据、音频数据和布局信息，并获取所述第二终端发送的音频数据；

第一获得模块，用于根据所述待录制数据和所述布局信息获得录制控制信息；

汇合模块，用于将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息；

第二获得模块，用于根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果。

第三方面，本申请实施例提供一种电子设备，包括：

存储器，用于存储计算机程序；

与所述存储器连接的处理器，用于执行所述计算机程序，以实现前述实施方式任意一项所述的录制回放方法。

本申请实施例的有益效果包括，例如：

本申请实施例提供一种录制回放方法、装置和电子设备，在获取第一终端发送的待录制数据、音频数据和布局信息以及第二终端发送的音频数据后，通过待录制数据和布局信息获得录制控制信息，并将第一终端和第二终端的音频数据进行汇合，得到音频信息。根据得到的待录制数据、录制控制信息、布局信息和音频信息得到录制结果。该录制回放方案可通过获得录制控制信息、布局信息等，以便于后续需要进行回放时，可基于录制控制信息、布局信息等实现录制数据的及时回放，避免了现有技术中需要接收所有数据并转换得到录制结果之后，才能实现回放所存在的难以及时分享和及时回放的缺陷。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的录制回放方法的应用场景示意图；

图2为本申请实施例提供的录制回放的流程图；

图3为本申请实施例提供的录制控制信息获得方法的流程图；

图4为本申请实施例提供的音频信息获得方法的流程图；

图5为本申请实施例提供的回放信息获得方法的流程图；

图6为本申请实施例提供的共享数据布局方法的流程图；

图7为本申请实施例提供的电子设备的结构框图；

图8为本申请实施例提供的录制回放装置的功能模块图。

图标：100-服务器；110-存储介质；120-处理器；130-录制回放装置；131-响应模块；132-第一获得模块；133-汇合模块；134-第二获得模块；140-通信接口；200-第一终端；300-第二终端。

具体实施方式

远程会议也叫云会议，是指多个云会议终端通过云服务器建立联系以达到相互沟通的目的。

在服务器端，接收的是来自客户端的多路数据，要实现录制回放功能，首先需要把来自客户端的这些数据收集、管理并转换成可播放数据进行存储。现常用的技术是通过MCU(Multi-point Control Unit，多点控制单元)来实现的，MCU是多点视频会议系统的关键设备，能把多路音频混合成一路，也能合成多路视频，但对视频的合成有缺陷，如对要合成的图像格式有要求，并且只能合成固定布局的视频，合成之后视频分辨损失，视频路数不断增加的情况下合成性能严重降低。因而使用MCU合流之后实现的录制功能也带有相应的缺点，并且合成流都是针对音频视频，如遇文档、白板、聊天等功能的回放还合成不了。

另外还存在一些不通过MCU合流而实现的录制回放，如在服务器端录制从终端所接收到的所有数据，然后在结束录制了之后通过各种方法转换成一个可播放的媒体文件。这种方法行得通，但需要额外的服务器资源来完成，生成时间较长。并且，需要接收到完整的录制数据之后，再进行转换得到录制结果，难以实现及时录制以及后续及时回放的需求。

基于上述研究发现，本申请提供一种录制回放方案，可通过获得相关的录制控制信息、布局信息等，以满足及时录制和及时回放的需求。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

请参阅图1，为本申请实施例提供的录制回放方法的应用场景示意图，该应用场景中可包含服务器100、第一终端200和第二终端300，其中，服务器100可与第一终端200和第二终端300建立通信连接，以实现数据的传输及交互。该录制回放方法可应用于云课堂、云会议等场景中，以实现云课堂或云会议过程中的数据的录制和回放。

其中，第一终端200和第二终端300可以是计算机、手机、平板电脑、台式电脑或其他专用终端设备等，第一终端200可以是如云会议、云课堂的发起者、主持人等所持的终端设备，第二终端300可以是如参与云会议、云课堂的用户所持的终端设备。通过第一终端200、第二终端300可以在云会议或云课堂过程中提供音频、视频、桌面、文档、白板等共享数据。

本实施例中，在应用场景下，第二终端300可为至少一个，例如可以是一个，也可以是多个。第一终端200通常情况下为一个，但是，在其他可能的实施方式中，第一终端200也可能为多个，即云会议过程中可具有多个共同的发起者。

本实施例中的服务器100可以是单独的服务器，也可以是服务器集群，例如服务器100可以包含录制服务器和存储服务器，录制服务器可基于接收到的数据进行录制，存储服务器可实现录制数据的存储。本实施例中，录制服务器可以模拟一个终端，可以像其他终端一样接收到云会议等过程中的所有信息。录制服务器能接收到云会议数据，这个录制的起点。接收到的数据需要存放，可通过存储服务器实现存放，存储数据的过程就是录制的过程。已录制的数据需要发布到端，这是实现回放的起点。终端获得回放地址以不断获取数据的过程就是回放的过程。

图2示出了本申请实施例提供的录制回放方法的流程示意图，该录制回放方法可由图1中所示的服务器100执行。应当理解，在其它实施例中，本实施例的录制回放方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该录制回放方法的详细步骤介绍如下。

步骤S210，响应于所述第一终端200发送的录制请求，获取所述第一终端200发送的待录制数据、音频数据和布局信息，并获取所述第二终端300发送的音频数据。

步骤S220，根据所述待录制数据和所述布局信息获得录制控制信息。

步骤S230，将所述第一终端200的音频数据和所述第二终端300的音频数据进行汇合，得到音频信息。

步骤S240，根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果。

在云会议或云课堂过程中，发起者可通过第一终端200向服务器100发起录制请求，以告知服务器100开始进行云会议。而各个需要参与云会议的用户，可通过各自所持的第二终端300，进入云会议。

在云会议过程中，服务器100可接收第一终端200所共享的一些数据，即待录制数据。本实施例中，待录制数据包括视频数据、桌面数据、白板数据、文档数据等。对云会议信息进行录制，实质是对发起者所共享的数据进行录制。但是，在云会议过程中往往涉及到多方之间的讨论及沟通，因此，可能具有来自多个端的音频。因此，服务器100可接收第一终端200以及各个第二终端300所发送的音频数据。并且，对第一终端200和第二终端300的音频数据进行汇合，得到音频信息。

后续需要对接收到的数据进行回放，有一个重要的依据即布局，基于布局信息可呈现出录制现场的各种动态变化的情况，布局控制的是当前呈现的画面排布和变化情况，例如增加了一个视频的显示、减少了一个桌面的显示、共享了白板、翻了一页文档等。因此，第一终端200可基于录制时的具体情况，发送相关的布局信息至服务器100。而服务器100基于该布局信息，即可获得此时的排布情况，以及排布有具体哪些内容。

在录制过程中，当第一终端200布局发生变化时，将变化后的布局信息发送至服务器100。服务器100记录这个时间点第一终端200的布局状态。服务器100在没有接收到新的布局变化消息时，可认为第一终端200的布局一致保持有原有的状态。

此外，后续若要进行录制回放，除了需要有如上述的具体数据信息之外，还需要有整个云会议过程的过程信息，即录制控制信息。录制控制信息可包含一些静态信息，例如云会议的会议名称、会议ID、会议时间、会议中共享了哪些视频数据、桌面数据、文档和白板等，以及共享数据的存储路径、共享者的信息等。此外，还包括一些动态信息，动态信息可包括如共享时间点、共享时的变化情况、共享数据的生命周期等。

而上述的录制控制信息为服务器100根据接收到的待录制数据以及布局信息等所获得。在得到待录制数据、录制控制信息、布局信息和上述汇合后的音频信息后，可基于获得的这些信息构成录制结果。后续在需要进行回放时，基于录制结果进行解析，以得到回放信息反馈给用户。

本实施例通过上述的录制方式，可基于接收到的数据得到录制控制信息，并将布局信息、录制控制信息、待录制数据及音频信息等存储下来，如此，实现数据的及时录制，并且，在需要回放时，基于所存储的信息可得到回放信息，满足及时回放的需求。

本实施例中，对于回放来说，音频信息只能是一个能单独播放的流媒体文件，由多个端的多个音频数据汇合形成一个流得到。在回放时，以音频流贯穿始终，即音频的开始是整个录制回放的开始，音频的结束是整个录制回放的结束。音频信息需要承载录制现场的所有端产生的音频数据，也承载着这个录制过程的时间，音频延续的时间即为整个录制过程的时间。录制过程中的其他信息的时间点可以以相对于音频信息的相对时间进行记录，以便能够统一时间标准。

请参阅图3，本实施例中，上述得到录制控制信息的步骤可以通过以下方式获得：

步骤S310，获取接收到所述待录制数据的时间点，获得该时间点相对于所述录制起始点的第一时间偏差。

步骤S320，获取接收到所述布局信息的时间点，获得该时间点相对于所述录制起始点的第二时间偏差。

步骤S330，根据所述第一时间偏差、第二时间偏差、待录制数据以及布局信息得到录制控制信息。

在本实施例中，待录制数据包括视频数据、桌面数据、文档数据及白板数据等。其中，视频数据是以一路一个媒体流文件的形式存在。对于云会议来说，一般是录制会议发起者所发送的视频数据，即第一终端200发送的视频数据。在回放过程中，视频的展示是重要的组成部分。但接收到的视频可能数量较多，例如上百个，而屏幕上展现的空间是有限的。所以需要对视频数据有选择的录制。第一终端200可仅将需要录制的视频数据发送至服务器100，而不需要录制的视频数据则不用发给服务器100。如此，服务器100仅对接收到的视频数据进行录制，如此，既可以达到用户观看的需求，又能减少服务器100的数据处理压力。

本实施例中，服务器100接收到的桌面数据可以是较低帧率的H264数据流或者JPEG图像数据。服务器100可将接收到的桌面数据转换为可播放的媒体数据文件并进行保存。其中，JPEG图像数据需要解码出YUV数据后再把YUV数据编码成H264流，再按H264数据形式进行存储。

本实施例中，在会议过程中，发起者可能还会进行一些文档数据的共享。文档数据可能包含多页，服务器100针对文档的每一页，可采用转换工具将其转换为JPG图片后进行存储。在回放时，仅需一页一页地显示JPG图片即可。实际实施时，一个文档包含多页，但是并不是每一页用户均翻到展示以进行共享，所以并不是每一页文档都需要转换为JPG图片。服务器100可获得文档中用户翻到并展示的某些页，将这些页的内容转换成JPG图片即可。如此，可节省转换的成本，避免无意义的转换工作量。

此外，在会议过程中，发起者可能会为了对信息进行讲解，而利用白板进行绘制，以辅助阐述。因此，录制数据还包括白板数据，白板数据可以包括如形状、坐标、线条大小、线条颜色等信息数据。服务器100可接收第一终端200所发送的这些数据，并以json格式或其他可解析的文件格式存储，待回放时解析后重新绘制展示。

由上述可知，录制控制信息可以包括一些静态信息，例如音频数据的存储地址、文档数据的存储地址、白板数据的存储地址等。此外，还需要获得例如接收到音频数据、桌面数据时的时间点，以便于后续可以按其时间点排布显示，并且，还需要得到获取到布局信息的时间点，后续才能实现布局的准确显示。

本实施例中，以音频数据的时间为整体时间轴，即接收到第一音频数据的时间点为录制起始点，接收到最后一个音频数据的时间点为录制终止点。因此，可获取接收到待录制数据的时间点，并获得该时间点相对于录制起始点的第一时间偏差。并获取接收到布局信息的时间点，获得该时间点相对于录制起始点的第二时间偏差。如此，以第一时间偏差和第二时间偏差分别作为待录制数据和布局信息相对于音频数据的相对时间，可以明确例如视频在相对于音频开始了多久之后开启。以相对时间的方式，可以保障后续在回放时，视频能够在准确的时间点出现。

此外，录制控制信息还可包含对文档数据进行转换后的JPG图片的宽、高，后续可根据图片的宽、高确定回放时的显示情况，例如太宽或太高的情况下，可以按滚动条的形式对图片进行展示。

在实际应用过程中，录制过程中可能并不是整个过程均具有音频信息，整个会议过程中的音频数据并不是连续不断的，但是为了保障可以音频信息贯穿整个录制过程，因此，请参阅图4，本实施例中，音频信息的获得方式可通过以下步骤实现：

步骤S410，记录录制起始点和录制终止点，其中，所述录制起始点为接收到第一个音频数据的时间点，所述录制终止点为接收到最后一个音频数据的时间点。

步骤S420，针对所述录制起始点和录制终止点之间的每个时间点，若该时间点接收到所述第一终端200或任一第二终端300的音频数据，则将接收到的音频数据进行汇合，作为该时间点的音频子信息，若该时间点未接收到所述第一终端200和任一第二终端300的音频数据，则将默认数据包作为该时间点的音频子信息。

步骤S430，根据所述录制起始点和录制终止点之间的多个时间点的音频子信息，得到音频信息。

本实施例中，以默认数据包作为音频数据，以在未接收到任何音频数据时将默认数据包填充至音频文件，如此，得到的音频文件中具有各个时间点的音频数据。应当理解，默认数据包中的数据为播放时不具有任何声音的数据。如此，保障了得到的音频信息可以是贯穿整个录制过程的。

通过以上过程，则可以对会议过程中的信息进行录制、保存，在实际应用过程中，可以是在录制过程中实时进行录制和保存，而不需要等到整个会议过程结束之后，再进行接收到的所有数据的录制。因此，本实施例所提供的方式可以实现及时录制的目的。

在上述基础上，若接收到请求终端发送的回放请求，则响应该请求，并根据上述得到的录制结果得到回放信息并反馈给请求终端。其中，该请求终端可以是第一终端200或者是任意一个第二终端300，即与服务器100建立通信连接的终端设备均可向服务器100发起回放请求，从服务器100获取回放信息。

服务器100在基于录制结果得到回放信息时，依据的较为重要的信息为布局信息，因为该布局信息中包含有会议过程中共享的信息，以及共享信息的变化情况，共享信息在展示窗口上的排布情况等。

因此，请参阅图5，服务器100可通过以下方式得到回放信息，并返回给请求终端：

步骤S510，获得所述录制结果中包含的布局信息，获得该布局信息对应的布局模板、该布局信息中包含的数据ID以及该布局信息在回放时间轴上的时间偏差，所述布局模板包含多个布局窗口，所述回放时间轴由所述录制结果中的音频信息的时间信息获得。

步骤S520，根据所述布局信息的时间偏差，将所述数据ID对应的共享数据排布至所述布局模板上对应的布局窗口，所述共享数据为所述待录制数据包含的多类数据的一种或多种。

步骤S530，根据排布后的布局模板、所述音频信息以及所述录制控制信息得到回放信息并反馈给所述请求终端。

由上述可知，整个录制回放过程均是以音频信息的时间为时间轴进行，因此，布局信息的时间点，即何时展示布局信息、布局信息的变化时间点等均以相对于以音频信息的时间点为回放时间轴的时间偏差来执行。

第一终端200发送给服务器100的布局信息中携带有当时共享的数据的数据信息，例如数据ID，在回放时，服务器100即可根据该数据ID从上述所存储的录制结果中的待录制数据中获得对应的共享数据。该共享数据可以包含如上述的视频数据、桌面数据、白板数据、文档数据等中的一种或多种。

而布局信息还包含布局模板信息，如布局模板的名称、布局模板的ID等。服务器100可预先存储多个布局模板，可基于获得的布局模板信息获得对应的布局模板。而各个布局模板可体现出对共享数据进行呈现时的展示效果，即布局模板可包含多个布局窗口，共享数据可以被布局到对应的布局窗口进而进行呈现。

在对共享数据进行布局时，需要按照布局信息的时间偏差进行呈现，即需要对应录制时，共享数据呈现的时间点进行回放时的呈现布局。

此外，回放信息还应当包含录制得到的音频信息以及得到的录制控制信息，综合这些信息得到回放信息以反馈给请求终端。

请参阅图6，本实施例中，具体在将共享数据布局至布局模板的对应布局窗口时，可通过以下方式实现：

步骤S610，根据所述数据ID从所述录制结果包含的待录制数据中获得对应的共享数据。

步骤S620，针对每个所述共享数据，根据该共享数据的数据ID获得对应的窗口ID，并获得该窗口ID对应的布局窗口。

步骤S630，根据所述布局信息的时间偏差，将所述共享数据排布至获得的布局窗口。

在本实施中，可以根据布局信息中数据ID找到对应的共享数据，并且，每个布局窗口可以设置窗口ID，并且数据ID和窗口ID之间可以具有对应关系。因此，根据数据ID可以获得对应的窗口ID，基于窗口ID可以查找到对应的布局窗口。在此基础上，按上述的时间偏差将共享数据布局到对应的布局窗口。

对于共享数据中的视频数据和桌面数据这类可播放的媒体文件来说，在布局中的呈现仅仅是显示，布局的显示不能决定可播放媒体流的开始播放时间。视频和桌面的播放时间是在由静态信息里记录的时间偏移量来决定的。因此，针对视频数据和桌面数据这类共享数据而言，可获得共享数据在布局模板出现时在回放时间轴上的时间偏差，并获得该时间偏差对应的播放内容。在排布时间点到达时将播放内容排布至获得的窗口ID对应的布局窗口。其中，该排布时间点根据布局信息的时间偏差获得。

例如，设静态信息里记录的视频播放时间为t1，布局呈现的时间为t2，则在布局呈现的时候该视频应该是显示的是视频播放了t2-t1这么长时间之后的画面，并且处于正在播放中。如果是在暂停状态下拖动到t2时刻，则显示的时候视频播放了t2-t1之后的播放画面。在回放时，通过对动态布局变化的情况不断的更新显示，在布局变化的过程中，对于一个视频或桌面，可能一会显示、一会隐藏，只要是在播放，视频和桌面都认为是一直往前播放着，每次从隐藏到出现的时候均需要重新计算其播放的位置以便于和音频信息同步。

本实施例中，由音频信息的时间为回放时间轴执行，默认情况下，音频信息是一直存在的，开始回放时，若没有布局信息，即布局信息还未出现，则显示界面上不显示内容或者可以显示一些温馨提示的信息，此时只包含音频信息。以音频时间的走动计算录制的时间偏移量，这个时间偏移量是相对于音频数据的起始点的偏移，为了精确，本实施例中可以以毫秒为精度来计算。布局信息变化的时间点以相对于音频起始为偏移的毫秒值，当音频的播放走到某个布局出现的时间点时呈现该布局。但是，由于时间以毫秒为单位，可能存在一定的误差，音频的时间轴上每一点的时刻不一定能和布局信息的时间一一对应上，因此，本实施例中，还可设置一定的误差范围，来避免这个问题。

即上述所述的布局时间点到达时将播放内容排布至获得的窗口ID对应的布局窗口时，具体可以是监测音频信息的播放时间点，在播放时间点进入排布信息的时间偏差的误差范围内时，可确定排布时间点到达，并将播放内容排布至获得的窗口ID对应的布局窗口。

其中，该误差范围可以是如500毫秒，即表示音频的时间轴上的时间点同布局信息的时间点在相差500毫秒的情况下，则可以认为是相同的一个时间点，在该点按当前布局信息的排布情况呈现布局内容。该布局内容除了可以是视频数据、桌面数据之外，还可以是文档数据、白板数据等。

本实施例中，回放过程就是以音频走动不断结合布局呈现的过程，直到音频结束，即完成整个录制回放。整个录制回放过程，就是对音频、视频、桌面、文档、白板等实现如何建立、组织、管理、使用和正确呈现这些数据，以达到还原现场的一个过程。本实施例中，通过多种设计，例如，以音频信息的时间为过程的时间轴、按需录制视频的方式、将文档转换为图片以文档翻页的方式来滚动布局、将白板数据以特定格式存储后回放时再解析重新绘制展示、获得整个录制过程状况的录制控制信息等。

并且，本实施例中，为了保障上述共享数据的录制和转换可以是在录制过程中实时产生，在产生过程中为了保证实时性，还采用了多线程并行处理的方式来实现。通过上述方式不仅能够顺利完成整个录制回放的功能，还能达到录制回放更快捷、方便、灵活、稳定、全面和可靠的目的。

综上，本实施例所提供的录制回放方案，具有及时性的优点，用户在录制后能及时回看所录制的内容。而目前现有技术中所采用的方案，无论是客户端录制还是云端录制，都是在结束之后再耗时、耗资源将接收到的源数据转换成可播放的媒体源，难以满足用户想及时分享和及时回看的需求。而本申请实施例提供的录制回放方案，通过多并发技术且结合合理的数据组织形式和相应的回放机制，可实现快速、高效的转换，以满足用户及时分享、及时回放需求。

此外，本实施例中，在回放过程中能呈现录制现场共享过的多类对象数据，包括音频数据、桌面数据、白板数据、文档数据等。而现有技术中，远程视频会议或远程视频课堂的录制回放，或只针对音视频录制，或只针对文档录制，并没有同时对上述多类数据进行录制的方案。因此，本实施例中的录制回放方案可实现数据的全面录制，针对每一类数据设计合理的录制形式和综合数据关联模式，以便在回放时能够正确的同步展示。

进一步地，本实施例提供的录制回放方案中，用户可以选择性地进行录制，无论是在云会议还是云课堂上，可能都会出现很多个音视频终端，存在很多个视频，而显然要录制所有的视频是不现实的且也没有很大的意义。因为在回放时，在一个屏幕固定的显示区域上不可能同时展示出所有的视频，因此，本实施例中，仅对会议中发起者或主持人所持终端所共享的视频进行录制。如此，可实现对重要用户视频和重要共享数据的布局方案，更加高效且实用。

进一步地，本实施例考虑到在会议中往往涉及到一些机密信息，能参会的用户和能看会议录播的用户可能是不同用户权限层级的用户。有些会议内容可以分享给其他人，但有些会议内容是需要屏蔽的，即对于敏感的会议内容不进行录制，所以录制下来的数据可能不是完整的一个过程，而是一段一段拼接的结果。而针对这种情况，目前现有技术中，同类产品中有的是不提供该种技术的实现的，例如开源的Bigbluebutton。而有的虽然能够支持该种技术实现，但是主要是通过增加开启录制和停止录制的按钮来实现，但实质上还是进行全程录制，只是通过用户操作记录屏蔽点，待回放时跳过屏蔽的段或后期制作过程中剪掉需要屏蔽的段，以此来达到目的。但是，因为全程的数据实质已录制下，所以会增加数据转换的成本和占用过多资源的问题。且服务器100上仍然可以看到全过程的数据，严格来说并没有达到预期的安全级别。而本实施例中，仅对用户发送的数据进行录制，并通过后续的回放机制来实现录制数据的连贯拼接显示，在实现连贯回放的基础上，可保障隐私数据的泄露，提高方案的可靠性。

请参阅图7，为本申请实施例提供的电子设备的示例性组件示意图，该电子设备可为图1中所示的服务器100。该服务器100可包括存储介质110、处理器120、录制回放装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

录制回放装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述录制回放方法的软件功能模块。

如图8所示，上述录制回放装置130可以包括响应模块131、第一获得模块132、汇合模块133以及第二获得模块134。下面分别对该录制回放装置130的各个功能模块的功能进行详细阐述。

响应模块131，用于响应于所述第一终端200发送的录制请求，获取所述第一终端200发送的待录制数据、音频数据和布局信息，并获取所述第二终端300发送的音频数据。

可以理解，该响应模块131可以用于执行上述步骤S210，关于该响应模块131的详细实现方式可以参照上述对步骤S210有关的内容。

第一获得模块132，用于根据所述待录制数据和所述布局信息获得录制控制信息。

可以理解，该第一获得模块132可以用于执行上述步骤S220，关于该第一获得模块132的详细实现方式可以参照上述对步骤S220有关的内容。

汇合模块133，用于将所述第一终端200的音频数据和所述第二终端300的音频数据进行汇合，得到音频信息。

可以理解，该汇合模块133可以用于执行上述步骤S230，关于该汇合模块133的详细实现方式可以参照上述对步骤S230有关的内容。

第二获得模块134，用于根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果。

可以理解，该第二获得模块134可以用于执行上述步骤S240，关于该第二获得模块134的详细实现方式可以参照上述对步骤S240有关的内容。

进一步地，本申请实施例还提供一种计算机可读存储介质110，计算机可读存储介质110存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的录制回放方法。

其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述录制回放方法的解释说明。

综上所述，本申请实施例提供的录制回放方法、装置和电子设备，在获取第一终端200发送的待录制数据、音频数据和布局信息以及第二终端300发送的音频数据后，通过待录制数据和布局信息获得录制控制信息，并将第一终端200和第二终端300的音频数据进行汇合，得到音频信息。根据得到的待录制数据、录制控制信息、布局信息和音频信息得到录制结果。该录制回放方案可通过获得录制控制信息、布局信息等，以便于后续需要进行回放时，可基于录制控制信息、布局信息等实现录制数据的及时回放，避免了现有技术中需要接收所有数据并转换得到录制结果之后，才能实现回放所存在的难以及时分享和及时回放的缺陷。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种录制回放方法，其特征在于，应用于服务器，所述服务器与第一终端及至少一个第二终端通信，所述方法包括：

响应于所述第一终端发送的录制请求，获取所述第一终端发送的待录制数据、音频数据和布局信息，并获取所述第二终端发送的音频数据；

根据所述待录制数据和所述布局信息获得录制控制信息；

将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息；

根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果；

所述将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息的步骤，包括：

记录录制起始点和录制终止点，其中，所述录制起始点为接收到第一个音频数据的时间点，所述录制终止点为接收到最后一个音频数据的时间点；

针对所述录制起始点和录制终止点之间的每个时间点，若该时间点接收到所述第一终端或任一第二终端的音频数据，则将接收到的音频数据进行汇合，作为该时间点的音频子信息，若该时间点未接收到所述第一终端和任一第二终端的音频数据，则将默认数据包作为该时间点的音频子信息；

根据所述录制起始点和录制终止点之间的多个时间点的音频子信息，得到音频信息。

2.根据权利要求1所述的录制回放方法，其特征在于，所述方法还包括：

响应于请求终端发送的回放请求，根据所述录制结果得到回放信息并反馈给所述请求终端，其中，所述请求终端为所述第一终端或任一第二终端。

3.根据权利要求1所述的录制回放方法，其特征在于，所述根据所述待录制数据和所述布局信息获得录制控制信息的步骤，包括：

获取接收到所述待录制数据的时间点，获得该时间点相对于所述录制起始点的第一时间偏差；

获取接收到所述布局信息的时间点，获得该时间点相对于所述录制起始点的第二时间偏差；

根据所述第一时间偏差、第二时间偏差、待录制数据以及布局信息得到录制控制信息。

4.根据权利要求2所述的录制回放方法，其特征在于，所述根据所述录制结果得到回放信息并反馈给所述请求终端的步骤，包括：

获得所述录制结果中包含的布局信息，获得该布局信息对应的布局模板、该布局信息中包含的数据ID以及该布局信息在回放时间轴上的时间偏差，所述布局模板包含多个布局窗口，所述回放时间轴由所述录制结果中的音频信息的时间信息获得；

根据所述布局信息的时间偏差，将所述数据ID对应的共享数据排布至所述布局模板上对应的布局窗口，所述共享数据为所述待录制数据包含的多类数据的一种或多种；

根据排布后的布局模板、所述音频信息以及所述录制控制信息得到回放信息并反馈给所述请求终端。

5.根据权利要求4所述的录制回放方法，其特征在于，所述根据所述布局信息的时间偏差，将所述数据ID对应的共享数据排布至所述布局模板上对应的布局窗口的步骤，包括：

根据所述数据ID从所述录制结果包含的待录制数据中获得对应的共享数据；

针对每个所述共享数据，根据该共享数据的数据ID获得对应的窗口ID，并获得该窗口ID对应的布局窗口；

根据所述布局信息的时间偏差，将所述共享数据排布至获得的布局窗口。

6.根据权利要求5所述的录制回放方法，其特征在于，在所述共享数据为视频数据或桌面数据时，所述根据所述布局信息的时间偏差，将所述共享数据排布至获得的布局窗口的步骤，包括：

获得所述共享数据在所述布局模板出现时在所述回放时间轴上的时间偏差，并获得该时间偏差对应的播放内容；

在排布时间点到达时将所述播放内容排布至获得的窗口ID对应的布局窗口，其中，所述排布时间点根据所述布局信息的时间偏差获得。

7.根据权利要求6所述的录制回放方法，其特征在于，所述在排布时间点到达时将所述播放内容排布至获得的窗口ID对应的布局窗口的步骤，包括：

监测所述音频信息的播放时间点，在所述播放时间点进入所述布局信息的时间偏差的误差范围内时，确定排布时间点到达，并将所述播放内容排布至获得的窗口ID对应的布局窗口。

8.一种录制回放装置，其特征在于，应用于服务器，所述服务器与第一终端及至少一个第二终端通信，所述装置包括：

响应模块，用于响应于所述第一终端发送的录制请求，获取所述第一终端发送的待录制数据、音频数据和布局信息，并获取所述第二终端发送的音频数据；

第一获得模块，用于根据所述待录制数据和所述布局信息获得录制控制信息；

汇合模块，用于将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息；

第二获得模块，用于根据所述待录制数据、录制控制信息、布局信息和音频信息得到录制结果；

所述将所述第一终端的音频数据和所述第二终端的音频数据进行汇合，得到音频信息的步骤，包括：

记录录制起始点和录制终止点，其中，所述录制起始点为接收到第一个音频数据的时间点，所述录制终止点为接收到最后一个音频数据的时间点；

针对所述录制起始点和录制终止点之间的每个时间点，若该时间点接收到所述第一终端或任一第二终端的音频数据，则将接收到的音频数据进行汇合，作为该时间点的音频子信息，若该时间点未接收到所述第一终端和任一第二终端的音频数据，则将默认数据包作为该时间点的音频子信息；

根据所述录制起始点和录制终止点之间的多个时间点的音频子信息，得到音频信息。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

与所述存储器连接的处理器，用于执行所述计算机程序，以实现权利要求1-7任意一项所述的录制回放方法。

Images