CN115118922A

CN115118922A - 一种云会议中实时视频合屏插入动图的方法与装置

Info

Publication number: CN115118922A
Application number: CN202211054912.8A
Authority: CN
Inventors: 马华文
Original assignee: G Net Cloud Service Co Ltd
Current assignee: G Net Cloud Service Co Ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2022-09-27
Anticipated expiration: 2042-08-31
Also published as: CN115118922B

Abstract

本发明涉及云会议应用领域，具体公开了一种云会议中实时视频合屏插入动图的方法与装置，该方法包括：获取合屏动图队列；解析合屏动图队列：根据合屏动图队列的数据类型设置临时文件及帧类型，并将该动图数据写入对应的临时文件中；为临时文件内的数据查找对应的解码器进行解码，并根据解码后的参数进行输出帧初始化；将解码后动图数据写入到输出内存中；将输出内存中的动图数据放入合屏视频中。该方法通过动图解析标准化可以兼容处理大部分格式图片，有效解决了第三方兼容性问题。

Description

一种云会议中实时视频合屏插入动图的方法与装置

技术领域

本发明涉及云会议应用领域，具体涉及一种云会议中实时视频合屏插入动图的方法与装置。

背景技术

随着计算机网络技术和宽带建设的不断发展，云会议视频系统已经广泛应用于工作、生活、学习等领域。在会议过程中，需要将多个不同的参会终端以分屏的形式合成在一个视频合屏中进行显示。由于网络波动或其他人为因素的影响，可能导致部分参会人的视频输入不能以及发送至服务器端，造成部分合屏画面中部分分屏无视频内容显示。为了提高其他参会人员的感官体验，当参会视频没有到来时，增加动态等待业务，以及一些云会议动态特效等动图。

目前，在实时视频合屏插入动图的方案主要是实用JAVA接口插入等待动图画面，该方式无法兼容第三方硬件会议设备，硬件会议设备不支持在视频显示后增加动图合屏，从而影响了用户的会议使用体验。

发明内容

为了有效解决实时视频合屏过程中第三方硬件会议设备兼容问题，本发明提供了一种云会议中实时视频合屏插入动图的方法与装置、存储介质和云会议服务器。该方法通过采用动图解析标准化以及通道兼容技术，有效解决了第三方硬件会议设备兼容问题，提升了云会议的用户体验。其具体技术方案如下：

一种云会议中实时视频合屏插入动图的方法，包括：

获取合屏动图队列；

解析合屏动图队列：

根据合屏动图队列的数据类型设置临时文件及帧类型，并将该动图数据写入对应的临时文件中；

为临时文件内的数据查找对应的解码器进行解码，并根据解码后的参数进行输出帧初始化；

将解码后动图数据写入到输出内存中；

将输出内存中的动图数据放入合屏视频中。

进一步的，所述将解码后动图数据写入到输出内存中包括：

根据视频流帧数、解码后动图数据的宽/高、解码后动图数据的格式类型计算输出数据的大小；

判断缓冲器是否为空：

当缓存器为空时，根据输出数据的大小申请一块连续的输出内存，并存储解码后动图数据；

当缓冲器不为空时，根据当前解码帧数获取得到缓冲器偏移地址，并将格式支持的解码后动图数据存入输入内存中，将格式不支持的解码后动图数据进行色彩空间转换到默认BGRA格式后再写入到输出内存。

进一步的，所述将输出内存中的动图数据放入合屏视频中包括：

当某一合屏接口的接收队列为空时，从输出内存中取出一帧解码后动图数据；

判断该帧数据的类型：

当该帧数据的类型为H.264或H.265数据时，对该帧数据进行视频解码处理得到YUV数据；

当该帧数据为BGRA数据时，根据合屏布局信息Alpha通道进行同步处理、以及色彩空间和缩放处理得到Alpha数据；

当该帧数据为其它数据时，根据合屏布局信息进行色彩空间和缩放处理得到Alpha数据；

将处理后的YUV和Alpha数据推入该合屏接口中。

进一步的，所述合屏动图队列的数据类型包括JPG格式、BMP格式、PNG格式和GIF格式。

进一步的，当客户端推入动图数据时，所述客户端推入动图数据含有位置信息；

将客户端推入动图数据放入合屏动图队列中；

对合屏动图队列进行解析；

根据合屏布局信息和位置信息对合屏动图队列的解析结果进行合屏处理。

进一步的，所述将客户端推入动图数据放入合屏动图队列中包括：

循环遍历动图Map，当动图Map中存在客户端推入动图数据时，从动图Map中取出该客户端推入动图数据；

若当前时间不为动图间隔时间，则将该客户端推入动图数据放入合屏动图队列中；若当前时间为动图间隔时间，则从该客户端推入动图数据取出当前帧号的数据后，再放入合屏动图队列中。

一种云会议中实时合屏插入动图的装置，包括：

获取模块，被配置为获取合屏动图队列；

解析模块，被配置为解析合屏动图队列；

合屏模块，被配置为将输出内存中的动图数据放入合屏视频中；

所述解析模块包括：

第一写入模块，被配置为根据合屏动图队列的数据类型设置临时文件及帧类型，并将该动图数据写入对应的临时文件中；

解码模块，被配置为为临时文件内的数据查找对应的解码器进行解码，并根据解码后的参数进行输出帧初始化；

第二写入模块，被配置为将解码后动图数据写入到输出内存中。

进一步的，所述第二写入模块包括：

计算模块，被配置为根据视频流帧数、解码后动图数据的宽/高、解码后动图数据的格式类型计算输出数据的大小；

写入子模块，被配置为判断缓冲器是否为空：

一种计算机可读存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行上述任一项所述的云会议中实时视频合屏插入动图的方法。

一种云会议服务器，所述云会议服务器包括处理器、计算机可读存储介质和网络接口，所述计算机可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个参会终端通信连接，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以执行上述任一项所述的云会议中实时视频合屏插入动图的方法。

有益效果：本发明所提供的一种云会议中实时视频合屏插入动图的方法，通过动图解析标准化可以兼容处理大部分格式图片，有效解决了第三方兼容性问题。通道兼容技术使得等待画面与新视频无缝切换，进一步提升参会人员的视觉体验感。

附图说明

图1为本发明方法的流程框图；

图2为本发明装置的功能模块示意图；

图3为本发明第二写入模块的功能模块示意图；

图4为本发明云会议服务器的功能模块示意图。

附图标记：100、获取模块；200、解析模块；300、合屏模块；201、第一写入模块；202、解码模块；203、第二写入模块；2031、计算模块；2032、写入子模块；110、处理器；120、计算机可读存储介质；130、总线；140、收发器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明所提供的一种云会议中实时视频合屏插入动图的方法，包括如下步骤：

S1、获取合屏动图队列；

S2、解析合屏动图队列：

S201、根据合屏动图队列的数据类型设置临时文件及帧类型，并将该动图数据写入对应的临时文件中；

S202、为临时文件内的数据查找对应的解码器进行解码，并根据解码后的参数进行输出帧初始化；

S203、将解码后动图数据写入到输出内存中；

S3、将输出内存中的动图数据放入合屏视频中。

通过上述过程，在将动图放入合屏视频之前，对动图解析过程进行标准化处理，从而兼容支持更多不同格式的动图，解决第三方硬件会议设备兼容问题。

具体来说，动图解析过程中采用两个接口，一个是数据流接口，一个是读文件接口，利用数据流接口将动图数据根据其数据类型保存至相应的临时路径中；再统一由读文件接口对临时路径中的动图数据进行处理，提高动图数据解析的效率。

具体来说，述合屏动图队列的数据类型包括JPG格式、BMP格式、PNG格式和GIF格式。所述根据合屏动图队列的数据类型设置临时文件及帧类型的过程包括：按顺序依次判断合屏动图队列的数据类型是否为JPG格式、BMP格式、PNG格式或GIF格式；如果是，则根据该数据类型设置临时文件名并设置帧类型。

具体来说，所述将解码后动图数据写入到输出内存中包括：

S2031、根据视频流帧数、解码后动图数据的宽/高、解码后动图数据的格式类型计算输出数据的大小；

S2032、判断缓冲器是否为空：

将非BGRA、BGR24、RGB24格式进行标准化成BGRA格式，限制系统内支持图片格式，便于归一化处理，保证对第三方硬件的兼容性。

具体来说，所述将输出内存中的动图数据放入合屏视频中包括：

S301、当某一合屏接口的接收队列为空时，从输出内存中取出一帧解码后动图数据；

S302、判断该帧数据的类型：

S3021、当该帧数据的类型为H.264或H.265数据时，对该帧数据进行视频解码处理得到YUV数据；

S3022、当该帧数据为BGRA数据时，根据合屏布局信息Alpha通道进行同步处理、以及色彩空间和缩放处理得到Alpha数据；

S3023、当该帧数据为其它数据时，根据合屏布局信息进行色彩空间和缩放处理得到Alpha数据；

S303、将处理后的YUV和Alpha数据推入该合屏接口中。

当某一个合屏接口的接收队列为空时，表示对应的参会端没有推入视频数据，此时将动图数据推入该合屏接口中，使动图显示在对应的分屏上。将动图数据推入至合屏接口时，进行通道兼容处理，使同一个视频通道即支持视频数据，也支持图片数据，使得动图数据与参会端输入的视频数据在视频通道内无缝切换，避免动图与视频切换时的等待时间，进一步提高参会人员的体验感。

具体来说，从输出内存中取出一帧解码后动图数据包括：计算当前动图帧号，当前帧号=处理帧计数器%（动图帧数+1）；取出当前帧号的动图数据并设置动图播放时间。

具体来说，在云会议业务中，还可以由主持人端设置视频合屏动图特效效果，使动图显示在合屏视频的任意位置，这样增加云会议业务的拓展，在会议直播场景上会有更多的应用，提升用户的云会议使用体验。

具体来说，当客户端推入动图数据时，所述客户端推入动图数据含有位置信息；

S4、将客户端推入动图数据放入合屏动图队列中；

S5、对合屏动图队列进行解析；

S6、根据合屏布局信息和位置信息对合屏动图队列的解析结果进行合屏处理。

当客户端推入动图数据时，该动图根据客户端设置的位置信息显示在合屏视频中的对应位置，可以使得动图特效可以在视频合屏中任意出现，从而提升了云会议中用户直观体验及云会议的业务拓展性。

具体来说，所述将客户端推入动图数据放入合屏动图队列中包括：

S401、循环遍历动图Map，当动图Map中存在客户端推入动图数据时，从动图Map中取出该客户端推入动图数据；

S402、若当前时间不为动图间隔时间，则将该客户端推入动图数据放入合屏动图队列中；若当前时间为动图间隔时间，则从该客户端推入动图数据取出当前帧号的数据后，再放入合屏动图队列中。

其中，当前帧号=处理帧计数器%（动图帧数+1）。

在放入合屏动图队列时，每帧动图会存在对应的业务ID，根据业务ID放入到合屏动图队列，保证动图队列中每个ID只有一帧，这样做可以保证动图帧率与合屏帧率不匹配时能均匀合屏。

本实施例所提供的一种云会议中实时视频合屏插入动图的方法，实现了动图解析标准化提升了图片解析兼容性，解决第三方硬件兼容问题；采用通道兼容技术可以让动图与新视频进行无缝切换；通过在主持人端推入动图数据，实现动图任意合成，可以使得动图特效在视频合屏中任意位置出现，从而提升了云会议中用户直观体验及云会议的业务拓展性。

实施例2

参照图2所示，本实施例提供了一种云会议中实时合屏插入动图的装置，该装置用于实现实施例1中所提供的方法，其具体包括：

获取模块100，被配置为获取合屏动图队列；

解析模块200，被配置为解析合屏动图队列；

合屏模块300，被配置为将输出内存中的动图数据放入合屏视频中；

所述解析模块200包括：

第一写入模块201，被配置为根据合屏动图队列的数据类型设置临时文件及帧类型，并将该动图数据写入对应的临时文件中；

解码模块202，被配置为为临时文件内的数据查找对应的解码器进行解码，并根据解码后的参数进行输出帧初始化；

第二写入模块203，被配置为将解码后动图数据写入到输出内存中。

具体的，所述第二写入模块203包括：

计算模块2031，被配置为根据视频流帧数、解码后动图数据的宽/高、解码后动图数据的格式类型计算输出数据的大小；

写入子模块2032，被配置为判断缓冲器是否为空：

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例3

本实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如实施例1中所述的云会议中实时视频合屏插入动图的方法。

实施例4

本实施例提供了一种云会议服务器，所述云会议服务器包括处理器110、计算机可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述计算机可读存储介质120存储的计算机执行指令，使得处理器110可以执行如上方法实施例云会议中实时视频合屏插入动图的方法，其中，处理器110、计算机可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的参会终端进行数据收发。

处理器的具体实现过程可参见上述云会议服务器执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种云会议中实时视频合屏插入动图的方法，其特征在于，包括：

获取合屏动图队列；

解析合屏动图队列：

将解码后动图数据写入到输出内存中；

将输出内存中的动图数据放入合屏视频中。

2.根据权利要求1所述的一种云会议中实时视频合屏插入动图的方法，其特征在于，所述将解码后动图数据写入到输出内存中包括：

判断缓冲器是否为空：

3.根据权利要求2所述的一种云会议中实时视频合屏插入动图的方法，其特征在于，所述将输出内存中的动图数据放入合屏视频中包括：

判断该帧数据的类型：

将处理后的YUV和Alpha数据推入该合屏接口中。

4.根据权利要求1所述的一种云会议中实时视频合屏插入动图的方法，其特征在于，所述合屏动图队列的数据类型包括JPG格式、BMP格式、PNG格式和GIF格式。

5.根据权利要求2所述的一种云会议中实时视频合屏插入动图的方法，其特征在于，当客户端推入动图数据时，所述客户端推入动图数据含有位置信息；

将客户端推入动图数据放入合屏动图队列中；

对合屏动图队列进行解析；

6.根据权利要求5所述的一种云会议中实时视频合屏插入动图的方法，其特征在于，所述将客户端推入动图数据放入合屏动图队列中包括：

7.一种云会议中实时合屏插入动图的装置，其特征在于，包括：

获取模块，被配置为获取合屏动图队列；

解析模块，被配置为解析合屏动图队列；

所述解析模块包括：

8.根据权利要求7所述的装置，其特征在于，所述第二写入模块包括：

写入子模块，被配置为判断缓冲器是否为空：

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如权利要求1-6中任一项所述的云会议中实时视频合屏插入动图的方法。

10.一种云会议服务器，其特征在于，所述云会议服务器包括处理器、计算机可读存储介质和网络接口，所述计算机可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个参会终端通信连接，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以执行权利要求1-6中任一项所述的云会议中实时视频合屏插入动图的方法。