CN114615458B

CN114615458B - 一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器

Info

Publication number: CN114615458B
Application number: CN202210502970.6A
Authority: CN
Inventors: 马华文
Original assignee: G Net Cloud Service Co Ltd
Current assignee: G Net Cloud Service Co Ltd
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2022-07-19
Anticipated expiration: 2042-05-10
Also published as: CN114615458A

Abstract

本发明涉及云会议应用领域，具体涉及一种云会议中实时合屏快速出图的方法和装置，该方法包括根据参会终端的输入状态建立输入源池；为输入源池中存在的参会终端创建解码器和输入通道；获取作为输入源的参会终端，判断该参会终端是否存在于输入源池内：对于存在于输入源池的参会终端，通过输入通道获取解码后的输入数据；对于不存在于输入源池的参会终端，获取上层业务设置的默认等待背景图数据；创建输入合屏布局，将输入数据和默认等待背景图数据放到输入合屏布局的合屏队列中；将合屏队列发送至参会终端以显示合屏图像。该方法在合屏布局进行了变化时，能够快速响应处理输出新的合屏布局视频，不会出现画面卡住、黑屏等问题。

Description

一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器

技术领域

本发明涉及云会议应用领域，具体涉及一种云会议中实时合屏快速出图的方法和装置。

背景技术

随着计算机网络技术和宽带建设的不断发展，云会议视频系统已经广泛应用于工作、生活、学习等领域。在会议过程中，需要将多个不同的参会终端以分屏的形式合成在一个视频合屏中进行显示。当新的合屏布局到来时，分屏视频会出现长时间黑屏或画面卡住等问题。特别是在语音激励的场景下，系统会自动抓取当前说话者并以大屏显示，其余的参会者以小屏显示，这样视频的布局样式没有改变，但是分屏中的输入源发生变化，视频不断的发生改变，就会时不时的出现画面卡主的现象，影响使用体验和会议效果。

发明内容

为了解决上述存在的问题，本发明提供了一种云会议中实时快速合屏出图的方法、装置、存储介质和云会议服务器。该方法通过输入源池建立输入通道保留机制，采用通道复用技术和默认分屏背景，在合屏开始时无需等待输入解码数据，就能够直接在分屏上快速显示图像，避免出现黑屏或画面卡住等问题，其具体技术方案如下。

第一方面，本发明提供了一种云会议中实时快速合屏出图的方法，包括：

根据参会终端的输入状态建立输入源池；为输入源池中存在的参会终端创建解码器和输入通道；

获取作为输入源的参会终端，判断该参会终端是否存在于输入源池内：

对于存在于输入源池的参会终端，通过输入通道获取解码后的输入数据；

对于不存在于输入源池的参会终端，获取上层业务设置的默认等待背景图数据；

创建输入合屏布局，将输入数据和默认等待背景图数据放到输入合屏布局的合屏队列中；

将合屏队列发送至参会终端以显示合屏图像。

具体的，所述根据参会终端的输入状态建立输入源池包括：

接收到任一参会终端的输入；

为该参会终端创建合适的解码器，并初始化解码器所需要参数和接口；将该参会终端保留到输入源池中。

具体的，将参会端保留到输入源池中时，为该参会终端设置保留时长，若该参会终端已存在于输入源池中，则以当前时间作为该参会终端保留时长的开始时间；

删除输入源池内达到保留时长、且不存在于正在执行的合屏任务中的参会终端。

具体的，所述删除输入源池内达到保留时长、且不存在于正在执行的合屏任务中的参会终端的过程，在获取到删除某一参会终端的指令时或标准间隔时间内遍历输入源池时执行。

具体的，所述将合屏队列发送至参会终端以显示合屏图像包括：

从合屏队列中取出数据进行视频合屏，形成合屏数据；

当输入合屏布局更新后，为对应的合屏数据添加IDR标记；

对合屏线程编码，并将含有IDR标记的合屏布局数据编码成IDR帧；

将编码后的数据发送至参会终端，解码后显示合屏图像。

第二方面，本发明提供了一种云会议中实时合屏快速出图的装置，包括：

输入源池创建模块，被配置为根据参会终端的输入状态建立输入源池；为输入源池中存在的参会终端创建解码器和输入通道；

获取模块，被配置为获取作为输入源的参会终端，判断该参会终端是否存在于输入源池内：

合屏创建模块，被配置为创建输入合屏布局，将输入数据和默认等待背景图数据放到输入合屏布局的合屏队列中；

发送模块，被配置为将合屏队列发送至参会终端以显示合屏图像。

具体的，所述输入源池创建包括：

接收模块，被配置为接收到任一参会终端的输入；

判断模块，被配置为判断该参会终端是否存在于输入源池内；

处理模块，被配置为为该参会终端创建合适的解码器，并初始化解码器所需要参数和接口；将该参会终端保留到输入源池中。

具体的，所述发送模块包括：

视频合屏模块，被配置为从合屏队列中取出数据进行视频合屏，形成合屏数据；

标记模块，被配置为当输入合屏布局更新后，为对应的合屏数据添加IDR标记；

编码器，被配置为对合屏线程编码，并将含有IDR标记的合屏布局数据编码成IDR帧；

发送子模块，被配置为将编码后的数据发送至参会终端，解码后显示合屏图像。

第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如上述的云会议中实时合屏快速出图的方法的步骤。

第四方面，本发明提供了一种云会议服务器，所述云会议服务器包括处理器、计算机可读存储介质和网络接口，所述计算机可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个参会终端通信连接，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以执行上述的云会议中实时合屏快速出图的方法的步骤。

有益效果：本发明所提供的一种云会议中实时合屏快速出图的方法和装置，在输入布局创建的时候能够直接将参会终端的数据放入到合屏队列中，在合屏开始的时候无需等待参会终端输入数据的解码，就能够直接在合屏分屏上显示图像；在合屏布局进行了变化时，能够快速响应处理输出新的合屏布局视频，不会出现画面卡住、黑屏等问题。

附图说明

图1为本发明方法的流程框图；

图2为实施例1中的合屏视频示意图之一；

图3为实施例1中的合屏视频示意图之二；

图4为实施例1中的合屏视频示意图之三；

图5为本发明装置的功能模块示意图；

图6为本发明云会议服务器的功能模块示意图。

附图标记：101、输入源创建模块；102、获取模块；103、合屏创建模块；104、发送模块；110、处理器；120、计算机可读存储介质；130、总线；140、收发器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例提供了一种云会议中实时合屏快速出图的方法，为存在输入的参会终端建立输入源池，并为输入源池内的参会终端创建解码器和输入通道；当合屏任务中所包含的分屏图像为输入源池内的参会终端所传输入的数据时，直接将数据放入合屏队列中；当合屏任务中所包含的分屏图像不属于输入源池内的参会终端所传入的数据时，将上层业务设置的默认等待背景RGB格式图数据放入合屏队列中，使合屏开始时无需等待输入解码数据，能够直接快速的在合屏分屏上显示图像，不会出现黑影问题。

参照图1所示，所述云会议中实时合屏快速出图的方法主要包括如下步骤：

S101、根据参会终端的输入状态建立输入源池；为输入源池中存在的参会终端创建解码器和输入通道；

S102、获取作为输入源的参会终端，判断该参会终端是否存在于输入源池内：

S103、对于存在于输入源池的参会终端，通过输入通道获取解码后的输入数据；

S104、创建输入合屏布局，将输入数据和默认等待背景图数据放到输入合屏布局的合屏队列中；

S105、将合屏队列发送至参会终端以显示合屏图像。

通过上述方法，当布局发生变化，在合屏开始时无需等待输入解码数据，就能够直接快速地在合屏分屏上显示图像，解决了实时视频合屏布局切换时会产生黑屏和画面卡主的问题，提高了会议效果和用户体验。

具体来说，在步骤S101中，所述根据参会终端的输入状态建立输入源池的过程包括如下步骤：

S1011、接收到任一参会终端的输入；

S1012、为该参会终端创建合适的解码器，并初始化解码器所需要参数和接口；将该参会终端保留到输入源池中。

上述建立输入源池的实现过程包括如下：

首先需要说明的是，每个参会终端都包含全局唯一的输入ID，存储于输入源池内的参会终端以输入ID的形式记录。

当服务器接收到任一参会终端的输入时，为该参会终端创建一个输入对象，并根据输入数据的类型创建合适的解码器，并初始化解码器所需参数和接口，为该输入对象增加输入通道，将该输入对象放入到输入源池内，并记录对应的输入ID。

通过上述过程，在输入布局创建的时候能够直接将参会终端的数据放入到合屏队列中，在合屏开始的时候无需参会终端输入解码数据，就能够直接在合屏分屏上显示图像，即使布局进行了变化，也不会出现画面卡住、黑屏等问题。

具体来说，还包括：将参会端保留到输入源池中时，为该参会终端设置保留时长，若该参会终端已存在于输入源池中，则以当前时间作为该参会终端保留时长的开始时间；

当服务器接收到任一参会终端的输入时，先判断该参会终端的输入ID是否存在于输入源池内。如果该输入ID不存在于输入源池内，则按照前述过程将该输入对象放入到输入源池内；同时将当前时间做为该输入对象的保留开始的时间，并按照预设的保留时长进行保留。如果该输入ID存在于输入源池内，则将当前时间做为该输入对象的保留开始的时间，重新计算保留时长。

上述删除输入源池内的参会终端执行方式包括以下两种方式。

第一种是删除指定的参会终端，其过程包括在获取到删除某一指定的参会终端的指令时，启动输入源删除线程：

查询该参会终端的输入ID是否存在于输入源池内。

若该输入ID存在于输入源池内，继续判断是否达到保留时间；若没有达到保留时间则退出删除操作；若保留时间已到期则判断是否有合屏任务正在使用，若没有合屏任务正在使用则从输入源池中删除该输入ID以及对应的输入对象，若有合屏任务正在使用则退出删除操作。

第二种是通过输入源回收机制遍历输入源池内的所有输入ID时进行删除，其过程包括启动回收线程：

判断输入源池内是否存在输入源，若不存在则结束线程，若存在则继续线程；

遍历输入源池内所有输入对象，获取达到保留时长的输入对象，并判断该输入对象是否有合屏任务是否正在使用；没有合屏任务正在使用则从输入源池中删除该输入ID以及对应的输入对象，若有合屏任务正在使用则退出删除操作。

在本实施例中，通过将参会终端所对应地输入对象在输入源池内保留一定的预设时长，可以暂时保留出视频解码输出，使得在合屏开始时能够直接将参会终端所输入的数据直接放入到合屏队列中，并且及时地释放没有使用的资源，节省了设备资源。

为了对本实施例的方案进行进一步的解释说明，结合以下具体的合屏案例进行阐述。

参照图2所示，该图示为一具体合屏视频实例，在该合屏实例中包含参会终端A、参会终端B、参会终端C和参会终端D。其中，参会终端A为当前说话者，正处于大屏显示状态。此时输入源池内存在参会终端A、参会终端B、参会终端C和参会终端D所对应的输入对象。

当参会终端E加入云会议中时，且当前说话者变更为参会终端B时，布局样式以及对应的输入源均发生改变。此时输入源池内仅存在参会终端A、参会终端B、参会终端C和参会终端D对应的输入对象，合屏开始时直接将参会终端A、参会终端B、参会终端C和参会终端D的输入数据加入到合屏队列中，并获取上层业务设置的默认等待背景RGB格式图数据加入到合屏队列中，此时合屏视频如图3所示。

当参会终端E添加至输入源池内时，直接将输入终端E的输入数据加入到合屏队列中，此时合屏视频如图4所示。

通过上述过程，当合屏布局的样式以及对应的输入源发生改变时，就能直接将输入数据直接放到合屏队列中，在合屏开始时无需等待输入解码数据，直接在合屏分屏上显示图像，提高合屏出图的速度，避免产生长时间黑屏或画面卡住等问题。并且对输入对象进行了保留，即输入对象所对应的解码器会一直解码运行，使得合屏开始时能够快速获取解码数据。

具体来说，在步骤S105中的所述将合屏队列发送至参会终端以显示合屏图像包括如下步骤：

S1051、从合屏队列中取出数据进行视频合屏，形成合屏数据；

S1052、当输入合屏布局更新后，为对应的合屏数据添加IDR标记；

S1053、对合屏线程编码，并将含有IDR标记的合屏布局数据编码成IDR帧；

S1054、将编码后的数据发送至参会终端，解码后显示合屏图像。

其具体实现过程包括：

在合屏线程执行过程中，当合屏时间到了之后（合屏时间是根据输出的编码帧率换算成帧间隔时长，即前一合屏时间和后一合屏之间之间的间隔为相邻两画面帧之间的时间间隔），循环当前所有合屏布局，并根据布局信息进行视频合屏；若发现布局产生更新，则将更新后的布局对应的合屏数据设置IDR标记。

在编码线程执行过程中，判断数据中是否存在IDR标记，当存在IDR标记时，则告知编码器此帧以IDR帧数据输出。

在合屏队列中对根据布局变化设置IDR标记，并将相应的数据以IDR帧输出，实现同步编码IDR帧机制，有效达到当新的布局到来时能快速响应处理，并输出新布局合屏视频。

实施例2

参照图5所示，本实施例提供了一种云会议中实时合屏快速出图的装置，该装置用于实现实施例1中所提供的方法，其具体包括：

输入源池创建模块101，被配置为根据参会终端的输入状态建立输入源池；为输入源池中存在的参会终端创建解码器和输入通道；

获取模块102，被配置为获取作为输入源的参会终端，判断该参会终端是否存在于输入源池内：

合屏创建模块103，被配置为创建输入合屏布局，将输入数据和默认等待背景图数据放到输入合屏布局的合屏队列中；

发送模块104，被配置为将合屏队列发送至参会终端以显示合屏图像。

具体的，所述输入源池创建包括：

接收模块，被配置为接收到任一参会终端的输入；

具体的，所述发送模块包括：

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例3

本实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如实施例1中所述的云会议中实时合屏快速出图的方法的步骤。

实施例4

本实施例提供了一种云会议服务器，所述云会议服务器包括处理器110、计算机可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述计算机可读存储介质120存储的计算机执行指令，使得处理器110可以执行如上方法实施例云会议中实时合屏快速出图的方法，其中，处理器110、计算机可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的参会终端进行数据收发。

处理器的具体实现过程可参见上述云会议服务器执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种云会议中实时合屏快速出图的方法，其特征在于，包括：

将合屏队列发送至参会终端以显示合屏图像；

所述根据参会终端的输入状态建立输入源池包括：

接收到任一参会终端的输入；

为该参会终端创建合适的解码器，并初始化解码器所需要参数和接口；将该参会终端保留到输入源池中；

将参会端保留到输入源池中时，为该参会终端设置保留时长，若该参会终端已存在于输入源池中，则以当前时间作为该参会终端保留时长的开始时间；

2.根据权利要求1所述的一种云会议中实时合屏快速出图的方法，其特征在于，所述删除输入源池内达到保留时长、且不存在于正在执行的合屏任务中的参会终端的过程，在获取到删除某一参会终端的指令时或标准间隔时间内遍历输入源池时执行。

3.根据权利要求1所述的一种云会议中实时合屏快速出图的方法，其特征在于，所述将合屏队列发送至参会终端以显示合屏图像包括：

从合屏队列中取出数据进行视频合屏，形成合屏数据；

当输入合屏布局更新后，为对应的合屏数据添加IDR标记；

将编码后的数据发送至参会终端，解码后显示合屏图像。

4.一种实施权利要求1～3任一项所述云会议中实时合屏快速出图方法的装置，其特征在于，包括：

5.根据权利要求4所述的一种云会议中实时合屏快速出图的装置，其特征在于，所述输入源池创建包括：

接收模块，被配置为接收到任一参会终端的输入；

6.根据权利要求4所述的一种云会议中实时合屏快速出图的装置，其特征在于，所述发送模块包括：

7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如权利要求1-3中任一项所述的云会议中实时合屏快速出图的方法的步骤。

8.一种云会议服务器，其特征在于，所述云会议服务器包括处理器、计算机可读存储介质和网络接口，所述计算机可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个参会终端通信连接，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以执行权利要求1-3中任一项所述的云会议中实时合屏快速出图的方法的步骤。