CN112584087A - 视频会议录制方法、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种视频会议录制方法、电子装置和存储介质。其中，该方法包括：录播服务器获取多路媒体流，并确定各路媒体流的各初始帧的媒体流标识和传输时序的信息；录播服务器根据各初始帧的传输时序的信息生成各初始帧的存储时间戳；录播服务器将与各初始帧对应的更新帧头和各初始帧的有效载荷数据组合，得到单路复合媒体流；录播服务器存储单路复合媒体流。通过本申请，解决了相关技术中将多路媒体流融合为一路媒体流存储的方式对编解码资源消耗大的问题，避免了录制视频会议过程对编解码资源的消耗。

Description

视频会议录制方法、电子装置和存储介质

技术领域

本申请涉及视频会议领域，特别是涉及视频会议录制方法、电子装置和存储介质。

背景技术

视频会议系统包含作为视频会议服务器的多点控制单元（Multipoint ControlUnit，简称为MCU）以及软、硬终端、录播服务器等各类参与设备。终端采集图像、声音并经过编码发送给MCU。MCU则根据视频会议要求将多个终端发送的图像进行融合或不进行融合，声音混音或不混音后发送给各个参与终端，从而实现多方与会人的音视频通话。录播服务器通过模拟终端入会行为向MCU拉取多路媒体流后进行录像存储，以便后续提供给用户进行录像回放。

然而，在视频会议业务中，终端与MCU之间媒体流的交互往往包含多路视频媒体流，比如一路会场摄像头采集的摄像视频流，一路笔记本电脑PPT演示的演示视频流；此时会议录像存储时既要考虑在视频回放时两路视频流与音频流如何同步播放，又要考虑第二路视频流缺失时如何处理等技术问题。

相关技术中的录播服务器通常将多路媒体流中每路媒体流封装为视频文件并分别存储，并额外维护各路媒体流之间的关联关系。在进行视频回放时，则分别从多个视频文件中读取每路媒体流，然后通过各路媒体流之间的关联关系进行媒体流同步和回放。采用这种方式，在录播服务器要存储来自MCU的多路媒体流以及媒体流之间的关联关系，关联关系依赖于关系型数据库服务，不仅维护系统结构复杂、维护成本高，而且媒体流数据和关联关系数据分开存储，一旦关系型数据库被破坏则媒体流数据无法正常回放。

相关技术中的另一种多路媒体流的存储是通过对各路媒体流进行关键帧补帧，从而将多路媒体流进行同步对齐，然后将关键帧补帧处理后的各路媒体流进行存储。例如，对演示流中没有实际产生演示流数据的部分使用没有实际含义的关键帧进行补帧处理，以使得演示流最终与其他媒体流时长相等、显示时间同步对齐。这种方式虽然不需要维护媒体流之间的关联关系，但是关键帧补帧处理增加了存储的视频文件占用的存储空间，录像回放时补帧得到的数据也会传输给终端，而这些补帧得到的数据没有任何实际意义，导致了发送带宽的无意义的浪费。

相关技术中也有将多路媒体流存储为一路媒体流的存储方式，该方式通过将多路媒体流的画面按照固定的方式融合成一路视频流后进行存储。采用融合方案，不仅额外消耗了服务器端的编解码资源，而且由于多次进行视频流的编解码，也会导致媒体流的图像质量下降，以及融合媒体流也不能够进行个性化回放。

发明内容

在本实施例中提供了一种视频会议录制方法、电子装置和存储介质，以解决相关技术中将多路媒体流融合为一路媒体流存储的方式对编解码资源消耗大的问题。

第一个方面，在本实施例中提供了一种视频会议录制方法，应用于录播服务器，包括：获取多路媒体流，并确定各路所述媒体流的各初始帧的媒体流标识和传输时序的信息，其中，所述初始帧包括：初始帧头和有效载荷数据；根据各所述初始帧的传输时序的信息生成各所述初始帧的存储时间戳；将与各所述初始帧对应的更新帧头和各所述初始帧的有效载荷数据组合，得到单路复合媒体流，其中，所述更新帧头包括所述存储时间戳和所述媒体流标识，所述单路复合媒体流中各所述更新帧按照所述传输时序排列；存储所述单路复合媒体流。

在其中的一些实施例中，获取多路媒体流包括：向视频会议服务器请求所述多路媒体流；接收由所述视频会议服务器发送的所述多路媒体流。

在其中的一些实施例中，所述多路媒体流为参与到同一视频会议的部分同步信源生产的媒体流。

在其中的一些实施例中，所述媒体流标识用于标识所述初始帧的帧类型和/或所述初始帧所属的媒体流的媒体流类型，其中，帧类型包括以下至少之一：音频帧和视频帧，媒体流类型包括以下至少之一：音频流、演示视频流、摄像视频流、多画面融合视频流。

在其中的一些实施例中，所述多路媒体流为参与到同一视频会议的全部同步信源生产的媒体流。

在其中的一些实施例中，所述录播服务器与所述视频会议服务器部署在同一网络内，和/或，所述视频会议服务器到所述录播服务器的可用传输带宽不小于可靠传输所述多路媒体流所需的传输带宽。

在其中的一些实施例中，所述传输时序基于相同时间基准确定，所述传输时序包括：各相邻的所述初始帧之间的传输时间间隔和传输顺序。

在其中的一些实施例中，确定各路所述媒体流的各初始帧的传输时序的信息包括：当接收到各所述初始帧时，获取所述录播服务器的单调时钟值；根据与各所述初始帧对应的单调时钟值，确定各所述初始帧的所述传输时序的信息。

在其中的一些实施例中，根据与各所述初始帧对应的单调时钟值，确定各所述初始帧的所述传输时序的信息包括：将与各所述初始帧对应的所述单调时钟值的总毫秒数作为各所述初始帧的传输时序的信息；根据各所述初始帧的传输时序的信息生成各所述初始帧的存储时间戳包括：将与各所述初始帧对应的所述单调时钟值的总毫秒数与预设数值取模，将得到的余数作为各所述初始帧的存储时间戳，其中，所述预设数值为所述存储时间戳在所述更新帧头中占用的二进制位数能够表示的最大数值。

在其中的一些实施例中，所述更新帧头还包括与所述更新帧头对应的所述初始帧的墙上时间戳；所述方法还包括：当接收到各所述初始帧时，获取所述录播服务器的墙上时钟值；根据与各所述初始帧对应的所述墙上时钟值，确定各所述初始帧的所述墙上时间戳。

在其中的一些实施例中，所述多路媒体流是由视频会议服务器发送的实时媒体流，所述录播服务器与所述视频会议服务器时间同步。

在其中的一些实施例中，所述录播服务器和所述视频会议服务器均通过网络时间协议获取各自的系统时间；获取所述录播服务器的墙上时钟值包括：获取所述录播服务器的系统时间，并将所述录播服务器的系统时间的总秒数作为与各所述初始帧对应的所述墙上时钟值。

在其中的一些实施例中，存储所述单路复合媒体流包括：存储各所述更新帧，并将各所述更新帧的更新帧头中的墙上时间戳作为各所述更新帧的索引时间戳。

在其中的一些实施例中，所述多路媒体流为同一视频会议产生的媒体流；存储所述单路复合媒体流包括：将所述同一视频会议的会议唯一标识作为所述单路复合媒体流的存储流唯一标识，对所述单路复合媒体流进行存储。

在其中的一些实施例中，存储所述单路复合媒体流包括：将所述单路复合媒体流封装为视频文件，存储所述视频文件。

在其中的一些实施例中，存储所述单路复合媒体流包括：将所述单路复合媒体流未经封装地存储。

在其中的一些实施例中，将所述单路复合媒体流未经封装地存储包括：将所述单路复合媒体流和所述单路复合媒体流的索引信息存储到循环队列文件系统，其中，所述循环队列文件系统包括多个存储块和多个索引块，每个存储块对应于一个索引块，所述单路复合媒体流的各所述更新帧按照所述传输时序存储在所述循环队列文件系统的存储块内，与各存储块内存储的更新帧对应的索引信息存储在与存储块对应的索引块内。

在其中的一些实施例中，所述更新帧头还包括与各所述更新帧头对应的所述初始帧所属的媒体流的通道标识；所述方法还包括：当接收到各所述初始帧时，从用于封装各所述初始帧的传输层数据帧的帧头获取各所述初始帧的同步信源标识，其中，所述同步信源标识基于媒体流生产者唯一标识和媒体流标识可逆编码；根据所述同步信源标识确定各所述初始帧的帧类型和/或各所述初始帧所属的媒体流的媒体流类型；根据所述媒体流类型、所述帧类型和所述媒体流生产者唯一标识的至少之一，为各所述初始帧分配所述通道标识。

在其中的一些实施例中，根据所述媒体流类型、所述帧类型和所述媒体流生产者唯一标识的至少之一，为各所述初始帧分配所述通道标识包括：为与不同的同步信源标识对应的初始帧分配不同的通道标识，为与相同的同步信源标识对应的初始帧分配相同的通道标识；或者在所述初始帧的帧类型为视频帧的情况下，为属于不同的媒体流类型的初始帧分配不同的通道标识，为属于相同的媒体流类型的初始帧分配相同的通道标识。

在其中的一些实施例中，所述方法还包括：接收客户端的视频会议回放请求，其中，所述视频会议回放请求包括用于检索至少一部分所述单路复合媒体流的索引条件；获取符合所述索引条件的至少一部分所述单路复合媒体流；按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将至少一部分所述单路复合媒体流中各所述更新帧发送给所述客户端。

在其中的一些实施例中，所述方法还包括：接收客户端的视频会议回放请求，其中，所述视频会议回放请求包括用于检索至少一部分单路复合媒体流的索引条件；获取符合所述索引条件的至少一部分所述单路复合媒体流；根据所述媒体流标识和/或通道标识，从至少一部分所述单路复合媒体流中选取目标媒体流，所述目标媒体流中任意两组图像组GOP的存储时间戳的起止时间均不重叠；按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将所述目标媒体流中各所述更新帧发送给所述客户端。

在其中的一些实施例中，各所述更新帧的更新帧头中所述存储时间戳占用的二进制位数少于用于解码各所述更新帧的播放器所设置的显示时间戳的二进制位数；在按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将至少一部分所述单路复合媒体流中各所述更新帧发送给所述客户端之前，所述方法还包括：将至少一部分所述单路复合媒体流中各更新帧的更新帧头中所述存储时间戳的二进制位数扩展为所述显示时间戳的二进制位数相同。

第二个方面，在本实施例中提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的视频会议录制方法。

第三个方面，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的视频会议录制方法。

与相关技术相比，在本实施例中提供的视频会议录制方法、电子装置和存储介质，解决了相关技术中将多路媒体流融合为一路媒体流存储的方式对编解码资源消耗大的问题，避免了录制视频会议过程对编解码资源的消耗。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的视频会议录制方法的流程图。

图2是本优选实施例的视频会议系统的结构示意图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包括”、“具有”及其任何变体，其目的是涵盖不排他的包括；例如，包括一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供了一种视频会议录制方法，可以应用于录播服务器。图1是本实施例的视频会议录制方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，录播服务器获取多路媒体流，并确定各路媒体流的各初始帧的媒体流标识和传输时序的信息。

在本实施例中，仅仅是出于便于区分不同阶段的帧的目的，将录播服务器接收到的媒体流中的帧称为初始帧，其帧头称为初始帧头，并不代表该帧、帧头是初始的、或由录播服务器原始生成的，或者其他限定含义。

在视频会议系统中，演示设备、摄像设备和录音设备等作为视频会议的同步信源（又称为媒体流生产者）都能够生产媒体流。在同一视频会议中生产了多路媒体流的情况下，若有多路视频流，则视频会议服务器将多路视频流进行融合或不融合后发送给请求视频流的软、硬终端等参与设备；若有多路音频流，则视频会议服务器将多路音频流混音或不混音后发送给请求音频流的软、硬终端等参与设备。比较常见的情况是视频会议服务器从多路媒体流中选择一路摄像视频流作为主流、选择一路演示视频流作为演示流，并将一路音频流（或多路音频流混音为一路音频流）这三路媒体流发送给参与设备；在其他一些情况下，摄像视频流、演示视频流、音频流的路数也都可以为多路。此外，视频会议服务器还可能向参与设备发送一些具有控制功能的其他作用的流，例如辅流等。

在进行中的视频会议中，媒体流是由同步信源实时生产并由视频会议服务器实时传输给各参与设备的，媒体流的传输也通常是采用实时流式传输，以根据网络状况对传输的多路媒体流进行优先级、帧率等控制以保障媒体流的实时性。实时流式传输采用的流媒体服务器可以是QuickTime Streaming Server、RealServer或Windows Media Server。实时流式传输采用的流媒体传输协议可以采用RTSP协议（Realtime Streaming Protocol）或MMS协议（Microsoft Media Server）等协议。

在本实施例中，录播服务器可以通过模拟终端入会行为，向视频会议服务器请求多路媒体流，即对于视频会议服务器而言，可以将录播服务器作为与其他的参与设备无差别的参与设备，而将录播服务器请求的媒体流传输给录播服务器。录播服务器则接收由视频会议服务器响应于其终端入会行为而发送的多路媒体流。

在此需要说明的是，录播服务器在其网络传输带宽允许的情况下，录播服务器可以尽可能地向视频会议服务器请求参与到同一视频会议的全部同步信源生产的媒体流。或者录播服务器向视频会议服务器请求参与到同一视频会议的部分同步信源生产的媒体流。录播服务器所请求的部分同步信源生产的媒体流可以由媒体流的媒体流类型或者媒体流中各帧的帧类型来区分。

其中，媒体流标识用于标识帧的帧类型和/或帧所属的媒体流的媒体流类型。

其中，帧类型包括但不限于以下至少之一：音频帧和视频帧。

其中，媒体流类型包括但不限于以下至少之一：音频流、演示视频流、摄像视频流、多画面融合视频流。

例如，在比较常见的情况下，录播服务器可以向视频会议服务器请求作为主流的一路摄像视频流、一路演示视频流和一路音频流。在另一些实施例中，录播服务器除了向视频会议服务器请求上述三路媒体流之外，还可以请求一路多画面融合视频流。

为了保障媒体流数据的可靠传输，录播服务器与视频会议服务器部署在同一网络内，和/或，视频会议服务器到录播服务器的可用传输带宽足够大，以使得可用传输带宽不小于可靠传输多路媒体流所需的传输带宽。

在其中的一些实施例中，视频会议服务器传输到录播服务器的多路媒体流的传输优先级可以设置为相等，以保障各路媒体流具有相同的传输优先级，以及各路媒体流各自具有均衡的图像质量。当然，本申请实施例并不限于此，例如，在实际应用中，可以把诸如多画面融合视频流的传输优先级设置为相对其他媒体流较低的传输优先级，以在网络传输带宽受限的情况下，优先保障其他媒体流的可靠传输。

在其中的一些实施例中，本实施例的录播服务器在向视频会议服务器请求多路媒体流时采用顺序流式传输方式，以保证从视频会议服务器获取的多路流媒体都保持较高的传输质量，或者传输质量相当。在传输协议方面，本申请实施例采用可靠传输协议将多路媒体流传输到录播服务器。这些可靠传输协议包括但不限于：可靠用户数据报协议（ReliableUDP，简称为RUDP）或RAKNET协议等。本申请实施例所称的可靠传输是指有序可靠传输，即应用层中接收到的初始帧都是按照传输时序排列的。

本实施例的初始帧采用预设的媒体流帧格式，各初始帧都包括初始帧头和有效载荷数据。与其他的媒体流帧格式不同之处在于，在本实施例预设的媒体流帧格式的初始帧头中不仅包括初始帧的媒体流标识，还包括初始帧的传输时序的信息。其中尤其需要说明的是，该传输时序包括应用层接收到各初始帧时各相邻的初始帧之间的传输时间间隔和传输顺序；并且该传输时序基于相同时间基准确定。也就相当于，将同一视频会议的多路媒体流看作一路媒体流，而不考虑媒体流类型、生产者以及帧类型的差异，从而确定各初始帧的传输时序。

一种方式是将录播服务器的单调时钟值作为统一的时间基准来确定上述的传输时序。单调时钟是指时钟数值单调变化（通常是单调递增）的时钟，该单调时钟不同于可以被校准、调整的网络时间协议（Network Time Procotol，简称为TPN）时钟，单调时钟通常是不能被调整的，因此单调时钟可以用于判断事件发生的先后顺序和时间间隔。常见的单调时钟是自系统启动开始计数的单调时钟，可用clock_gettime时间函数（提供包括clock_monotonic在内的多种类型的时钟）获取。调用该clock_gettime时间函数返回的单调时钟值精度很高，可以达到纳秒级。每当录播服务器在应用层获取到多路媒体流中的某个初始帧时，则录播服务器获取录播服务器的单调时钟值，然后根据该单调时钟值确定这个初始帧的传输时序的信息。

单调时钟值通常为表示秒数、毫秒数或纳秒数的长整型数据。在本实施例中，以毫秒为时间粒度确定传输时序的信息即能够足够精确地表示各初始帧的传输时序的信息，因此，在本实施例中录播服务器将各初始帧对应的单调时钟值的总毫秒数作为各初始帧的传输时序的信息。

步骤S102，录播服务器根据各初始帧的传输时序的信息生成各初始帧的存储时间戳。

在存储时间戳的在初始帧头中占用的二进制位数大于传输时序的信息占用的二进制位数的情况下，则可以直接将各初始帧的传输时序的信息（例如上述单调时钟值的总毫秒数）作为各初始帧的存储时间戳。

以单调时钟值为例，在32位系统下单调时钟值为4字节（即二进制32位），在64位系统下单调时钟值为8字节（即二进制64位）。为了节约媒体流的帧头字节数，本申请的存储时间戳可以选用4字节（32位）或2字节（16位）。因此，在存储时间戳占用的二进制位数小于单调时钟值的总毫秒数占用的二进制位数的情况下，则需要将单调时钟值的总毫秒数的二进制位数转换为与存储时间戳的二进制位数相同。在本实施例中，通过对各初始帧的单调时钟值的总毫秒数与预设数值取模的方式，将得到的余数作为各初始帧的存储时间戳，其中，预设数值为存储时间戳在更新帧头中占用的二进制位数能够表示的最大数值。例如，16位二进制能够表示的最大数量为2的16次方，即65536，因此通过对单调时钟值的总毫秒数以65536为模取余数，就能够将单调时钟值的总毫秒数转换为能够用16位二进制表示的存储时间戳。

步骤S103，录播服务器将与各初始帧对应的更新帧头和各初始帧的有效载荷数据组合，得到单路复合媒体流。

在视频会议服务器发送给录播服务器的多路媒体流中的初始帧，其初始帧头通常包括媒体流标识字段或者类似功能的字段。媒体流标识例如可以是帧类型标识，帧类型包括视频帧和音频帧。媒体流标识还可以是用于标识媒体流的生产者的同步信源标识。

在诸如H.264协议帧的帧头并不包含存储时间戳。对于这类初始帧，本申请实施例中可以重新生成包含存储时间戳的更新帧头，并将重新生成的更新帧头与对应的有效载荷数据组合成更新帧；所有的更新帧按照传输时序的时间间隔和顺序排列，即得到单路复合媒体流。

在从视频会议服务器获取的初始帧的帧头中已经包含存储时间戳字段的情况下，则录播服务器可以将初始帧头中存储时间戳字段内的数值修改为步骤S102得到的存储时间戳，修改后得到的更新帧头与对应的有效载荷数据组合成更新帧，所有的更新帧按照传输时序的时间间隔和顺序排列，即得到单路复合媒体流。

同样需要说明的是，与初始帧类似的，在本实施例中，仅仅是出于便于区分不同阶段的帧的目的，将录播服务器对初始帧的帧头进行处理后得到的新的帧称为更新帧，其帧头称为更新帧头，并不代表该帧、帧头是最新的、或较新的，或者其他限定含义。

步骤S104，录播服务器存储单路复合媒体流。

通过上述步骤S101~步骤S103，根据初始帧的传输时序的信息生成存储时间戳，并将该时间戳新增或修改到帧头中得到不同媒体流的更新帧，并且这些不同媒体流的更新帧按照传输时序排列，得到单路复合媒体流，从而使得不同媒体流的帧能够基于存储时间戳进行读取间隔控制、发送间隔控制以及播放控制，就能够实现不同媒体流的帧按照传输时序同步播放。由于无需进行关键帧补帧处理，因此不会增加由关键帧补帧导致的存储空间的浪费。并且，多路媒体流之间的关联关系由来自统一时间基准的存储时间戳确定，且与有效载荷数据共同存储，无需额外维护关系型数据库服务，也降低了多路媒体流之间的关联关系缺失导致媒体流数据无法正常回放的问题。

此外，本实施例采用的视频会议录制方法，相比于采用融合编码方式将多路媒体流编码为一路相同帧类型的媒体流的方式而言，本实施例直接根据存储时间戳对多路媒体流进行帧头处理，从而合路得到包含多路媒体流数据的一路媒体流，不经过编码、解码过程，完全避免了视频会议录制过程对编解码资源的消耗。并且，基于由多路媒体流数据合路得到的一路媒体流，能够获取到原始的各路媒体流，便于播放器对多路媒体流进行诸如“视频主流大画面、演示流小画面”、“视频主流小画面、演示流大画面”、“视频主流优先”或“演示流优先”等各种灵活、个性化视频会议回放。

为了方便检索，在一些实施例中还在存储的单路复合媒体流的帧头中增加墙上时间戳。其中，墙上时间戳是基于墙上时钟值确定的。墙上时钟值可以理解为人类真实世界中定义的标准时间。

在其中的一些实施例中，当接收到各初始帧时，获取录播服务器的墙上时钟值；根据与各初始帧对应的墙上时钟值，确定各初始帧的墙上时间戳。此后，在步骤S103中，录播服务器使用包括存储时间戳、墙上时间戳和帧类型的更新帧头与对应的有效载荷数据组合，得到单路复合媒体流的更新帧。

在其中的一些实施例中，多路媒体流是由视频会议服务器发送的实时媒体流，录播服务器与视频会议服务器时间同步，从而保持视频会议服务器时间与录播服务器时间一致。为了实现时间同步，在其中的一些实施例中，录播服务器和视频会议服务器均通过网络时间协议获取各自的系统时间，则录播服务器获取录播服务器的系统时间，并将录播服务器的系统时间的总秒数作为与各初始帧对应的墙上时钟值。

在其中的一些实施例中，在步骤S104中，录播服务器存储各更新帧时，还将各更新帧的更新帧头中的墙上时间戳作为各更新帧的索引时间戳。

在其中的一些实施例中，多路媒体流为同一视频会议产生的媒体流。在步骤S104中，录播服务器将同一视频会议的会议唯一标识作为单路复合媒体流的存储流唯一标识，对单路复合媒体流进行存储。

在一些实施例中，录播服务器将单路复合媒体流封装为视频文件，并存储视频文件。存储为视频文件的优势在于能够减小单路复合媒体流存储时占用的存储空间。

在本申请的另一些实施例中，录播服务器将单路复合媒体流未经封装地存储，即对媒体流直接进行存储。

在本实施例中采用一种循环队列文件系统来存储单路复合媒体流数据。循环队列文件系统包括多个存储块和多个索引块，每个存储块对应于一个索引块，单路复合媒体流的各更新帧按照传输时序存储在循环队列文件系统的存储块内，与各存储块内存储的更新帧对应的索引信息存储在与存储块对应的索引块内。

通过这样的存储方式，在索引块中存储对应存储块中存储的媒体流数据的索引信息，从而能够快速定位到媒体流的存储位置。并且，为了能够快速索引，单路复合媒体流在循环队列文件系统中的连续的多个存储块内存储，且当整个循环队列文件系统存储空间用完后，将会从整个文件系统的第一个存储块内开始逐一地删除媒体流数据，并将新的媒体流数据从第一个存储块开始继续存储，从而实现循环存储。循环队列文件系统的总存储大小和单位时间写入循环队列文件系统的媒体流的数据量共同决定了整个循环队列文件系统能够保留的历史媒体流数据的时长。

本实施例的更新帧头还可以包括与各更新帧头对应的初始帧所属的媒体流的通道标识字段，客户端的播放器可以根据通道标识字段来灵活地、个性化地解码和播放选定通道的媒体流的视频画面。本实施例的帧头的通道标识字段可以通过下列的方式进行配置：当录播服务器接收到各初始帧时，从用于封装各初始帧的传输层数据帧的帧头获取各初始帧的同步信源标识，其中，同步信源标识基于媒体流生产者唯一标识和媒体流标识可逆编码。例如，同步信源标识（SSRC）被可以被编码为：“媒体流生产者ID×10+媒体流标识”，媒体流标识占用2个二进制位。其中，媒体流标识包括但不限于帧类型标识和/或媒体流类型标识。通过这样的编码方式，则录播服务器根据二进制SSRC的末两位就可以确定各初始帧的帧类型和/或各初始帧所属的媒体流的媒体流类型。此后，录播服务器根据媒体流类型、帧类型和媒体流生产者唯一标识的至少之一，为各初始帧分配通道标识。

本实施例中，录播服务器根据媒体流类型、帧类型和媒体流生产者唯一标识的至少之一，为各初始帧分配通道标包括但不限于以下方式：

方式一：录播服务器为与不同的同步信源标识对应的初始帧分配不同的通道标识，为与相同的同步信源标识对应的初始帧分配相同的通道标识。通过方式一，将生产自不同同步信源的无论摄像视频帧类型、演示视频帧类型还是音频帧类型的不同媒体流分别配置不同的通道标识，从而可以对每个媒体流都能够进行选择性的传输、解码和播放。

方式二：在初始帧的帧类型为视频帧的情况下，录播服务器为属于不同的媒体流类型的初始帧分配不同的通道标识，为属于相同的媒体流类型的初始帧分配相同的通道标识。通过方式二，根据媒体流类型为帧及媒体流分配通道标识，相当于将媒体流按照通道标识分为演示视频流、摄像视频流、音频流和多画面融合视频流等类型，以适应大多数视频回放需求，并满足标准媒体流协议的要求。

在其中的一些实施例中，录播服务器根据客户端的视频会议回放请求向客户端发送媒体流。其中，视频会议回放请求包括用于检索至少一部分单路复合媒体流的索引条件。在单路复合媒体流存储在循环队列文件系统时，录播服务器在检索块中检索符合索引条件的至少一部分单路复合媒体流，这里的至少一部分单路复合媒体流可以是包含符合索引条件的部分媒体流所属的完整媒体流，也可以仅是符合索引条件那一部分媒体流。这里的索引条件包括但不限于：存储流唯一标识、会议录像开始时间戳（即墙上时间戳的起始时间）、会议录像结束时间戳（即墙上时间戳的结束时间）。最后，录播服务器按照与各更新帧头中的存储时间戳对应的传输时序，将至少一部分单路复合媒体流中各更新帧发送给客户端。

当客户端进行录像回放拖动操作时，客户端将向录播服务器发送该拖动的进度条对应的墙上时间戳，由录播服务器根据该墙上时间戳重新寻找需要发送给客户端的新的至少一部分单路复合媒体流，并将重新寻找到的单路复合媒体流发送给客户端。

在另一些实施例中，在检索到至少一部分单路复合媒体流之后，录播服务器可以不直接将单路复合媒体流发送给客户端，而是对该至少一部分单路复合媒体流进行处理后再发送给客户端。例如，录播服务器根据媒体流标识和/或通道标识，从至少一部分单路复合媒体流中选取目标媒体流，目标媒体流中任意两组图像组（Group of Picture，简称为GOP）的存储时间戳的起止时间均不重叠；录播服务器按照与各更新帧头中的存储时间戳对应的传输时序，将目标媒体流中各更新帧发送给客户端。在一些实施例中，还可以对提取到的帧组成的媒体流的帧头修改为标准媒体流协议的帧头，再发送给客户端，使得客户端无需采用插件实现私有媒体流协议，而是直接根据标准媒体流协议实现对媒体流的解码和播放。

其中，GOP是一组连续的图像，每个GOP以I帧开始，直至下一个I帧之前的P帧或者B帧结束。例如，一个GOP中的多个帧按照如下方式排列：IPPBPPPBPPPP。在标准媒体流协议中，媒体流中任意两组GOP的显示时间戳的起止时间通常是不重叠的。

为了节约媒体流的帧头字节数，每个帧头中往往使用较少的二进制位数（例如16位）存储时间戳。而在流媒体点播时，则需要转换为64位二进制位数的显示时间戳，因此，在其中的一些实施例中，存储时间戳在帧头中所占的二进制位数少于显示时间戳所需占用的二进制位数的情况下；录播服务器将单路复合媒体流发送给客户端之前，录播服务器还可以将至少一部分单路复合媒体流中各更新帧的更新帧头中存储时间戳的二进制位数扩展为显示时间戳的二进制位数相同。

下面通过优选实施例对本申请进行描述和说明。

本优选实施例提供的视频会议系统结构如图2所示，包括多个软、硬终端，视频会议服务器（MCU）和录播服务器，其中，录播服务器与MCU部署在同一个网络，且之间带宽充足，录播服务器与MCU保持系统时间同步。

本优选实施例中，视频会议媒体流类型如表1所示。

表1 视频会议媒体流类型

类型	媒体流
		0	音频流
1	演示流（如桌面共享）
		2	视频主流（摄像头采集画面）

本优选实施例配置传输层帧的帧头包括同步信源标识字段，其中的同步信源标识（SSRC）根据“媒体流生产者ID×10+媒体流类型”生成。

本优选实施例的录播服务器通过下列步骤进行视频会议录制和存储：

步骤1，录播服务器模拟终端入会行为，向MCU获取视频会议中的多路媒体流，并配置所有音视频流使用相同网络传输优先级。

步骤2，录播服务器收到各路媒体流的一帧后，执行下列步骤：

步骤2-1：录播服务器获取当下录播服务器的单调时钟毫秒值（MonotonicClock），并与65536进行取模后，获得newPTS时间戳，并用newPTS值修改该帧帧头的16位PTS值。

步骤2-2，录播服务器获取当下录播服务器的墙上时钟值（Wall Clock）转换为秒数称为newDatetime，使用newDatetime修改该帧的帧头的墙上时间Datetime值。

步骤2-3，录播服务器通过帧头判断帧类型，若为视频帧，则根据传输层获得的SSRC值尾号获取媒体流类型，若为1（表示演示流），则修改帧头的通道标识字段（channel_id）值为0，否则修改帧头的channel_id值为1。

步骤2-4，帧头修改完成后，得到的帧组成了单路复合媒体流。录播服务器使用单路复合媒体流中各帧的newDatetime值作为循环队列文件系统（CQFS）的索引时间戳，使用会议唯一标识（如会议号）作为存储流唯一标识streamID，写入CQFS中（即一个录播会话中的多路音频视频流均视为CQFS文件系统中的一路存储流的成员，共用同一个存储流streamID）。

基于上述的媒体流存储方式，本优选实施例的录播服务器通过下列步骤读取并向请求视频回放的终端发送媒体流数据：

步骤1，录播服务器使用会议唯一标识作为存储流唯一标识streamID、会议录像开始时间戳（Wall Clock）、会议录像结束时间戳（Wall Clock）进行录像查找后，打开CQFS录像读取会话。

步骤2，录播服务器读取会话内各路媒体流的帧，使用帧内16位PTS值扩展为64位PTS值，进行媒体数据CQFS读取间隔控制以及媒体数据发送间隔控制。

为了节约媒体流的帧头字节数，每个帧的存储时间戳往往使用16位时间戳（记为pts16），而在流媒体服务器点播时，则需要将该16位的时间戳转换为64位的时间戳（记为pts64）。本优选实施例通过PTS转换算法对时间戳进行转换，该PTS转换算法包括如下步骤：

步骤2-1，设定64位绝对时间戳pts64默认值为0。

步骤2-2，读取到一个帧，获取帧头的绝对时间戳pts16值，若pts64为0，则设置pts64=pts16。

步骤2-3，若pts64不为0，则计算上一个pts值last_pts16与本次pts16的差值delta。若pts16大于等于last_pts16，则delta = pts16–last_pts16；否则delta= 65536+pts16–last_pts16。

步骤2-4，pts64=pts64+delta。

步骤2-5，记录last_pts16=pts16。

步骤3，录像回放拖动时，录播服务器同样使用墙上时间戳进行CQFS的Seek操作，获取相应位置的媒体流。

步骤4，录播服务器发送一个CQFS读取会话读取到的所有单路复合媒体流数据到客户端（包括音频流，演示流及视频主流）。

本优选实施例的客户端接收到录播服务器发送的单路复合媒体流数据后，通过下列逻辑进行视频会议回放：

1、客户端设定视频播放优先级，比如“演示流优先”或者“视频主流优先”。

2、客户端收到录播服务器发送的各路帧后，

a) 客户端根据帧头PTS值进行音视频流的同步播放；

b) 客户端根据帧头channel_id判断该帧为演示流视频还是视频主流；若设定为“演示流优先”，则有演示流就播放演示流，无演示流帧到达超过一定阈值（如2000毫秒）即自动切换播放视频主流。若设定为“视频主流优先”，则始终播放视频主流；

c) 客户端始终播放录像的音频流。

本优选实施例中存储的媒体流帧头格式示例如表2所示。

表2 媒体流帧头格式

帧头标识

类型

子类型

通道号

32位DateTime

16位PTS

帧长度

校验和

有效载荷数据等

其中，DateTime为系统墙上时间，用于录像索引以及录像查找；PTS为系统单调时钟时间，用于多路媒体流的同步发送及同步播放。

本优选实施例的单路复合媒体流格式示例如表3所示。

表3 单路复合媒体流格式示例

视频主流I帧
	视频主流P帧
音频帧
	音频帧
音频帧
	演示流I帧
演示流P帧
	视频主流P帧
视频主流P帧
	演示流P帧
音频帧
	…

单路复合媒体流的传输和存储均采用表3所示的格式。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，录播服务器获取多路媒体流，并确定各路媒体流的各初始帧的媒体流标识和传输时序的信息。

S2，录播服务器根据各初始帧的传输时序的信息生成各初始帧的存储时间戳。

S3，录播服务器将与各初始帧对应的更新帧头和各初始帧的有效载荷数据组合，得到单路复合媒体流。

S4，录播服务器存储单路复合媒体流。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的视频会议录制方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种视频会议录制方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (24)

1.一种视频会议录制方法，应用于录播服务器，其特征在于包括：

获取多路媒体流，并确定各路所述媒体流的各初始帧的媒体流标识和传输时序的信息，其中，所述初始帧包括：初始帧头和有效载荷数据；

根据各所述初始帧的传输时序的信息生成各所述初始帧的存储时间戳；

将与各所述初始帧对应的更新帧头和各所述初始帧的有效载荷数据组合，得到单路复合媒体流，其中，所述更新帧头包括所述存储时间戳和所述媒体流标识，所述单路复合媒体流中各所述更新帧按照所述传输时序排列；

存储所述单路复合媒体流。

2.根据权利要求1所述的视频会议录制方法，其特征在于，获取多路媒体流包括：

向视频会议服务器请求所述多路媒体流；

接收由所述视频会议服务器发送的所述多路媒体流。

3.根据权利要求1所述的视频会议录制方法，其特征在于，所述多路媒体流为参与到同一视频会议的部分同步信源生产的媒体流。

4.根据权利要求1所述的视频会议录制方法，其特征在于，所述媒体流标识用于标识所述初始帧的帧类型和/或所述初始帧所属的媒体流的媒体流类型，其中，帧类型包括以下至少之一：音频帧和视频帧，媒体流类型包括以下至少之一：音频流、演示视频流、摄像视频流、多画面融合视频流。

5.根据权利要求1所述的视频会议录制方法，其特征在于，所述多路媒体流为参与到同一视频会议的全部同步信源生产的媒体流。

6.根据权利要求2所述的视频会议录制方法，其特征在于，所述录播服务器与所述视频会议服务器部署在同一网络内，和/或，所述视频会议服务器到所述录播服务器的可用传输带宽不小于可靠传输所述多路媒体流所需的传输带宽。

7.根据权利要求1所述的视频会议录制方法，其特征在于，所述传输时序基于相同时间基准确定，所述传输时序包括：各相邻的所述初始帧之间的传输时间间隔和传输顺序。

8.根据权利要求1所述的视频会议录制方法，其特征在于，确定各路所述媒体流的各初始帧的传输时序的信息包括：

当接收到各所述初始帧时，获取所述录播服务器的单调时钟值；

根据与各所述初始帧对应的单调时钟值，确定各所述初始帧的所述传输时序的信息。

9.根据权利要求8所述的视频会议录制方法，其特征在于，

根据与各所述初始帧对应的单调时钟值，确定各所述初始帧的所述传输时序的信息包括：将与各所述初始帧对应的所述单调时钟值的总毫秒数作为各所述初始帧的传输时序的信息；

根据各所述初始帧的传输时序的信息生成各所述初始帧的存储时间戳包括：将与各所述初始帧对应的所述单调时钟值的总毫秒数与预设数值取模，将得到的余数作为各所述初始帧的存储时间戳，其中，所述预设数值为所述存储时间戳在所述更新帧头中占用的二进制位数能够表示的最大数值。

10.根据权利要求1所述的视频会议录制方法，其特征在于，所述更新帧头还包括与所述更新帧头对应的所述初始帧的墙上时间戳；所述方法还包括：

当接收到各所述初始帧时，获取所述录播服务器的墙上时钟值；根据与各所述初始帧对应的所述墙上时钟值，确定各所述初始帧的所述墙上时间戳。

11.根据权利要求10所述的视频会议录制方法，其特征在于，所述多路媒体流是由视频会议服务器发送的实时媒体流，所述录播服务器与所述视频会议服务器时间同步。

12.根据权利要求11所述的视频会议录制方法，其特征在于，所述录播服务器和所述视频会议服务器均通过网络时间协议获取各自的系统时间；获取所述录播服务器的墙上时钟值包括：

获取所述录播服务器的系统时间，并将所述录播服务器的系统时间的总秒数作为与各所述初始帧对应的所述墙上时钟值。

13.根据权利要求10所述的视频会议录制方法，其特征在于，存储所述单路复合媒体流包括：

存储各所述更新帧，并将各所述更新帧的更新帧头中的墙上时间戳作为各所述更新帧的索引时间戳。

14.根据权利要求1所述的视频会议录制方法，其特征在于，所述多路媒体流为同一视频会议产生的媒体流；存储所述单路复合媒体流包括：

将所述同一视频会议的会议唯一标识作为所述单路复合媒体流的存储流唯一标识，对所述单路复合媒体流进行存储。

15.根据权利要求14所述的视频会议录制方法，其特征在于，存储所述单路复合媒体流包括：

将所述单路复合媒体流封装为视频文件，存储所述视频文件。

16.根据权利要求13所述的视频会议录制方法，其特征在于，存储所述单路复合媒体流包括：

将所述单路复合媒体流未经封装地存储。

17.根据权利要求16所述的视频会议录制方法，其特征在于，将所述单路复合媒体流未经封装地存储包括：

将所述单路复合媒体流和所述单路复合媒体流的索引信息存储到循环队列文件系统，其中，所述循环队列文件系统包括多个存储块和多个索引块，每个存储块对应于一个索引块，所述单路复合媒体流的各所述更新帧按照所述传输时序存储在所述循环队列文件系统的存储块内，与各存储块内存储的更新帧对应的索引信息存储在与存储块对应的索引块内。

18.根据权利要求4所述的视频会议录制方法，其特征在于，所述更新帧头还包括与各所述更新帧头对应的所述初始帧所属的媒体流的通道标识；所述方法还包括：

当接收到各所述初始帧时，从用于封装各所述初始帧的传输层数据帧的帧头获取各所述初始帧的同步信源标识，其中，所述同步信源标识基于媒体流生产者唯一标识和媒体流标识可逆编码；

根据所述同步信源标识确定各所述初始帧的帧类型和/或各所述初始帧所属的媒体流的媒体流类型；

根据所述媒体流类型、所述帧类型和所述媒体流生产者唯一标识的至少之一，为各所述初始帧分配所述通道标识。

19.根据权利要求18所述的视频会议录制方法，其特征在于，根据所述媒体流类型、所述帧类型和所述媒体流生产者唯一标识的至少之一，为各所述初始帧分配所述通道标识包括：

为与不同的同步信源标识对应的初始帧分配不同的通道标识，为与相同的同步信源标识对应的初始帧分配相同的通道标识；或者

在所述初始帧的帧类型为视频帧的情况下，为属于不同的媒体流类型的初始帧分配不同的通道标识，为属于相同的媒体流类型的初始帧分配相同的通道标识。

20.根据权利要求1所述的视频会议录制方法，其特征在于，所述方法还包括：

接收客户端的视频会议回放请求，其中，所述视频会议回放请求包括用于检索至少一部分所述单路复合媒体流的索引条件；

获取符合所述索引条件的至少一部分所述单路复合媒体流；

按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将至少一部分所述单路复合媒体流中各所述更新帧发送给所述客户端。

21.根据权利要求1或18所述的视频会议录制方法，其特征在于，所述方法还包括：

接收客户端的视频会议回放请求，其中，所述视频会议回放请求包括用于检索至少一部分单路复合媒体流的索引条件；

获取符合所述索引条件的至少一部分所述单路复合媒体流；

根据所述媒体流标识和/或通道标识，从至少一部分所述单路复合媒体流中选取目标媒体流，所述目标媒体流中任意两组图像组GOP的存储时间戳的起止时间均不重叠；

按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将所述目标媒体流中各所述更新帧发送给所述客户端。

22.根据权利要求20所述的视频会议录制方法，其特征在于，各所述更新帧的更新帧头中所述存储时间戳占用的二进制位数少于用于解码各所述更新帧的播放器所设置的显示时间戳的二进制位数；在按照与各所述更新帧头中的所述存储时间戳对应的传输时序，将至少一部分所述单路复合媒体流中各所述更新帧发送给所述客户端之前，所述方法还包括：

将至少一部分所述单路复合媒体流中各更新帧的更新帧头中所述存储时间戳的二进制位数扩展为所述显示时间戳的二进制位数相同。

23.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至22中任一项所述的视频会议录制方法。

24.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至22中任一项所述的视频会议录制方法。

Images