CN116743954A - 视频会议的通讯方法及终端 - Google Patents

Abstract

本申请公开了视频会议的通讯方法及终端，该视频会议的通讯方法应用于服务端，包括：接收第一用户端的视频流发送能力信息；推送第一用户端的视频流发送能力信息到至少一第二用户端，并收集第二用户端的视频流请求信息；基于第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合；发送视频流有效订阅集合至第一用户端，以使第一用户端基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，且服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流。本申请通过服务端对第二用户端的视频流请求信息，进行信息整合，可以极大减少对第一用户端的压力。

Description

视频会议的通讯方法及终端

技术领域

本申请涉及通信技术领域，特别是涉及视频会议的通讯方法及终端。

背景技术

现有技术中，视频会议在进行多人会议时,不同的观看用户会根据编码器类型、窗口大小、设备性能限制以及网络带宽情况不同，选择向发送端去请求不同质量的视频流。然而，上述方案存在下述问题：(1)接收端不知道发送端的编码能力，有些请求发送端无法满足，只能降低视频流的质量；(2)在几百人的大会议室中，大部分人请求的视频流类型基本一致，每人去向发送端请求一次视频流就会产生很大的消息浪费；(3)消息请求的时间间隔可能很短，且并发量非常大的情况下会损失大量发送端的性能，发送端会忙于处理流的请求。

发明内容

本申请至少提供一种视频会议的通讯方法及终端。

本申请第一方面提供了一种视频会议的通讯方法，应用于服务端，该方法包括：

接收第一用户端的视频流发送能力信息，其中，第一用户端为需要发送当前视频的视频发送端；

推送第一用户端的视频流发送能力信息到至少一第二用户端，并收集第二用户端的视频流请求信息，其中，第二用户端为需要接收当前视频的视频接收端；

基于第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合；

发送视频流有效订阅集合至第一用户端，以使第一用户端基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，且服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流。

可选地，第一用户端的视频流发送能力信息包括视频流的最大发送路数、分辨率、编码能力和帧率范围。

可选地，第二用户端的视频流请求信息包括视频流的分辨率、编码能力、帧率和码率。

可选地，收集的第二用户端的视频流请求信息表示有至少两个第二用户端的视频流请求信息中的分辨率相同，而编码能力、帧率和码率至少之一不同时，生成的视频流有效订阅集合包括一路视频流有效订阅请求，其包括相同的分辨率请求、和编码能力、帧率和码率至少之一不同者的较低请求。

可选地，第二用户端的视频流请求信息还包括优先级别，生成的视频流有效订阅集合包括基于优先级别，匹配优先级别高的第二用户端的视频流有效订阅请求。

可选地，该方法进一步包括：

接收到新的第二用户端的视频流请求信息时，更新视频流有效订阅集合。

可选地，该方法进一步包括：

接收到任一第二用户端的取消视频流请求信息时，更新视频流有效订阅集合。

本申请第二方面提供了一种视频会议的通讯方法，应用于第一用户端，第一用户端为需要发送当前视频的视频发送端，该方法包括：

发送视频流发送能力信息至服务端，以使服务端推送第一用户端的视频流发送能力信息到至少一第二用户端，收集第二用户端的视频流请求信息，并基于第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合，其中，第二用户端为需要接收当前视频的视频接收端；

接收视频流有效订阅集合，并基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，以使服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流。

本申请第三方面提供了一种视频会议的通讯方法，应用于第二用户端，第二用户端为需要接收当前视频的视频接收端，该方法包括：

基于服务端转发的第一用户端的视频流发送能力信息，生成并发送视频流请求信息至服务端，以使服务端基于收集的第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成并发送视频流有效订阅集合至第一用户端，从而使得第一用户端基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，其中，第一用户端为需要发送当前视频的视频发送端；

接收服务端转发的一路匹配的视频流。

本申请第四方面提供了一种终端，该终端包括存储器和处理器，其中，存储器中存储有程序，处理器用于调取存储器中存储的程序，以执行如第二方面所述的视频会议的通讯方法或者如第三方面所述的视频会议的通讯方法。

本申请的有益效果是：区别于现有技术，本申请通过服务端对第二用户端的视频流请求信息，进行信息整合，可以极大减少对第一用户端的压力；同时，服务端根据第一用户端的视频流发送能力信息，进行视频流请求信息的筛选和整合，能够提高选流速度和可靠性；同时，本申请通过服务端对视频流请求信息进行智能决策，配合动态的决策算法去决定是否该让第一用户端发送对应的视频流，减少对第一用户端的压力，提高视频流选流速度和可靠性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请视频会议的通讯方法第一实施例的第一流程示意图；

图2是本申请视频会议的通讯方法第一实施例的第二流程示意图；

图3是本申请视频会议的通讯方法第一实施例的第三流程示意图；

图4是本申请视频会议的通讯方法第二实施例的流程示意图；

图5是本申请视频会议的通讯方法第三实施例的流程示意图；

图6是本申请终端一实施例的框架示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的视频会议的通讯方法及终端做进一步详细描述。可以理解的是，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

请参阅图1，图1是本申请视频会议的通讯方法第一实施例的第一流程示意图。

本申请的视频会议的通讯方法的执行主体可以是一种视频会议通讯装置，例如，视频会议的通讯方法可以由终端设备或服务器或其它处理设备执行，其中，视频会议通讯装置可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该视频会议的通讯方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

具体而言，本实施例的视频会议的通讯方法应用于服务端，可以包括以下步骤：

步骤S11：接收第一用户端的视频流发送能力信息。

其中，第一用户端为需要发送当前视频的视频发送端，第一用户端的视频流发送能力信息包括视频流的最大发送路数、分辨率、编码能力和帧率范围。

例如，第一用户端加入视频会议后，把视频流发送能力信息发送至服务端，可选地，在本实施例中，服务端具体可为服务端决策系统。

其中，第一用户的视频流发送能力信息具体可为只能发4路流，分辨率为1080p、720p、360p以及180p，编码能力为h264或h265，帧率是30fps。可选地，每个第一用户端的视频流发送能力不同，则视频流发送能力信息不同，当对应的第一用户端用于通过服务端发送视频流数据时，将自身的视频流发送能力信息发送至服务端。

步骤S12：推送第一用户端的视频流发送能力信息到至少一第二用户端，并收集第二用户端的视频流请求信息。

其中，第二用户端为需要接收当前视频的视频接收端，第二用户端的视频流请求信息包括视频流的分辨率、编码能力、帧率和码率。

具体地，第二用户端加入视频会议后，服务端把第一用户端的视频流发送能力信息推送到第二用户端，由于一场视频会议中包括至少一个第二用户端，则至少一个第二用户端协商好分辨率、编码能力、帧率以及码率范围等信息，向服务端发送视频流请求信息。

可选地，第二用户端可以是各种不同的拉流请求端，比如PC会议终端，小程序终端，安卓终端，大板终端，直播推流终端或sip会议设备终端等等，所有的终端的视频流请求还可以根据重要性去决定在决策算法中的优先级，优先级高的则将优先满足合适分视频流。

步骤S13：基于第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合。

其中，服务端根据收集到的第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合。

进一步地，服务端收集的第二用户端的视频流请求信息表示有至少两个第二用户端的视频流请求信息中的分辨率相同，而编码能力、帧率和码率至少之一不同时，生成的视频流有效订阅集合包括一路视频流有效订阅请求，其包括相同的分辨率请求、和编码能力、帧率和码率至少之一不同者的较低请求。

第二用户端的视频流请求信息还包括优先级别，生成的视频流有效订阅集合包括基于优先级别，匹配优先级别高的第二用户端的视频流有效订阅请求。

具体地，服务端把所有的视频流请求消息做一个收集、统计、过滤以及清洗后，生成一个视频流有效订阅集合后再转发给第一用户端。

例如，在一视频会议场景中，有三人观看视频流，即存在三个第二用户端，每个用户端的分辨率、码率以及编码类型均不相同。其中，服务端收到三个第二用户端的视频流请求信息分别为：第一个第二用户，h264编码，360p 2mbps带宽，默认30fps帧率；第二个第二用户，h264编码，360p 1mbps带宽，默认30fps帧率；第三个第二用户，h265编码，1080p4mbps带宽，默认30fps帧率。

此时，服务端发现同一分辨率出现了两种码率，360p 2mbps和360p1mbps；三个第二用户端帧率一致；出现了两种编码器类型，h264编码和h265编码，则选择最低的码率去进行给发送端请求，最终服务端所生成的视频流有效订阅集合为:{h264编码360p 1mbps，h265编码1080p4mbps}。

步骤S14：发送视频流有效订阅集合至第一用户端，以使第一用户端基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，且服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流。

其中，第一用户端接收服务端发送的视频流有效订阅集合，并根据视频流有效订阅集合发送相应的至少一路视频流至服务端，且服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流，以使各个第二用户端对应使用匹配视频流请求信息的视频流。

本实施例通过服务端对第二用户端的视频流请求信息，进行信息整合，可以极大减少对第一用户端的压力；同时，服务端根据第一用户端的视频流发送能力信息，进行视频流请求信息的筛选和整合，能够提高选流速度和可靠性；同时，本实施例通过服务端对视频流请求信息进行智能决策，配合动态的决策算法去决定是否该让第一用户端发送对应的视频流，减少对第一用户端的压力，提高视频流选流速度和可靠性。

当新的第二用户端加入视频会议时，进一步向服务端发送新的视频流请求信息，服务端根据视频流请求信息更新有效视频流有效订阅集合，具体过程请参阅图2，图2是本申请视频会议的通讯方法第一实施例的第二流程示意图。具体而言，本实施例的视频会议的通讯方法，包括以下步骤：

步骤S15：接收到新的第二用户端的视频流请求信息时，更新视频流有效订阅集合。

其中，新的第二用户端向服务端发送视频流请求信息，以进行视频流的订阅；服务端收到视频流请求信息后，将其与已经存在的视频流请求消息进行对比，过滤和决策出合适的视频流请求集合，最后选择性更新得到新的视频流有效订阅集合，并将其发送至第一用户端。

例如，新的第二用户端向服务端发送视频流请求信息为：h265编码，1080p 4mbps带宽，默认30fps帧率，与步骤S13中的三个第二用户端的视频流请求信息对比可知，第三个第二用户端的视频流请求信息重复。因此，服务端不更新视频流有效订阅集合，减少数据请求的量。

再例如，新的第二用户端向服务端发送视频流请求信息为：h264编码，1080p3mbps带宽，默认30fps帧率，与步骤S13中的三个第二用户端的视频流请求信息对比可知，此时有两路第二用户端同时请求了1080p，但是第一用户端根据视频流发送能力的支持，决定编码一路1080p的视频流，最终服务端所生成的视频流有效订阅集合为:{h264编码，360p1mbps，h265编码，1080p 3mbps}。

本实施例通过服务端接到新的第二用户端的视频流请求信息，以实现视频流有效订阅集合的更新，能够实时满足多个第二用户端的视频流需求，减少对第一用户端的压力，提高视频流选流速度和可靠性。

当至少一个第二用户端中的任一第二用户端退出视频会议时，进一步向服务端发送取消视频流请求信息，服务端根据取消视频流请求信息更新视频流有效订阅集合，具体过程请参阅图3，图3是本申请视频会议的通讯方法第一实施例的第三流程示意图。具体而言，本实施例的视频会议的通讯方法，包括以下步骤：

步骤S16：接收到任一第二用户端的取消视频流请求信息时，更新视频流有效订阅集合。

其中，第二用户端取消这一路视频流的请求时，会向服务端发送取消视频流请求信息，服务端进一步根据取消视频流请求信息进行智能决策，以更新请求视频流有效订阅集合。可选地，当更新后的视频流有效订阅集合和原来的视频流有效订阅集合一致时，将不重复发送请求集合给到第一用户端。

本实施例通过服务端接收任一第二用户端的取消视频流请求信息，以实现视频流有效订阅集合的更新，能够实时满足多个第二用户端的视频流需求，减少对第一用户端的压力，提高视频流选流速度和可靠性。

本申请还提供一种视频会议的通讯方法，请参阅图4，图4是本申请视频会议的通讯方法第二实施例的流程示意图。具体而言，本实施例的视频会议的通讯方法应用于第一用户端，可以包括以下步骤：

步骤S21：发送视频流发送能力信息至服务端，以使服务端推送第一用户端的视频流发送能力信息到至少一第二用户端，收集第二用户端的视频流请求信息，并基于第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成视频流有效订阅集合。

其中，第二用户端为需要接收当前视频的视频接收端。

步骤S22：接收视频流有效订阅集合，并基于视频流有效订阅集合而发送相应的至少一路视频流至服务端，以使服务端基于各个第二用户端的视频流请求信息而向各个第二用户端转发一路匹配的视频流。

其中，第一用户端根据视频流有效订阅集合向每个第二用户端转发一路匹配视频流请求信息的视频流。

本申请还提供一种视频会议的通讯方法，请参阅图5，图5是本申请视频会议的通讯方法第三实施例的流程示意图。具体而言，本实施例的视频会议的通讯方法应用于第二用户端，可以包括以下步骤：

步骤S31：基于服务端转发的第一用户端的视频流发送能力信息，生成并发送视频流请求信息至服务端，以使服务端基于收集的第二用户端的视频流请求信息和第一用户端的视频流发送能力信息，生成并发送视频流有效订阅集合至第一用户端，从而使得第一用户端基于视频流有效订阅集合而发送相应的至少一路视频流至服务端。

其中，第一用户端为需要发送当前视频的视频发送端。

步骤S32：接收服务端转发的一路匹配的视频流。

其中，第二用户端接收服务端转发的一路匹配视频流请求信息的视频流。

请继续参阅图6，图6是本申请终端一实施例的框架示意图。终端40包括相互耦接的存储器41和处理器42，存储器41中存储有程序411，处理器42用于调取存储器41中存储的程序411，以实现上述任一视频会议的通讯方法实施例中的步骤。在一个具体的实施场景中，终端40可以包括但不限于：微型计算机、服务器，此外，终端40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述任一视频会议的通讯方法实施例中的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

在一些实施例中，本实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频会议的通讯方法，应用于服务端，其特征在于，包括：

接收第一用户端的视频流发送能力信息，其中，所述第一用户端为需要发送当前视频的视频发送端；

推送所述第一用户端的视频流发送能力信息到至少一第二用户端，并收集所述第二用户端的视频流请求信息，其中，所述第二用户端为需要接收所述当前视频的视频接收端；

基于所述第二用户端的视频流请求信息和所述第一用户端的视频流发送能力信息，生成视频流有效订阅集合；

发送所述视频流有效订阅集合至所述第一用户端，以使所述第一用户端基于所述视频流有效订阅集合而发送相应的至少一路视频流至所述服务端，且所述服务端基于各个所述第二用户端的视频流请求信息而向各个所述第二用户端转发一路匹配的视频流。

2.根据权利要求1所述的方法，其特征在于，所述第一用户端的视频流发送能力信息包括视频流的最大发送路数、分辨率、编码能力和帧率范围。

3.根据权利要求2所述的方法，其特征在于，所述第二用户端的视频流请求信息包括视频流的分辨率、编码能力、帧率和码率。

4.根据权利要求3所述的方法，其特征在于，收集的所述第二用户端的视频流请求信息表示有至少两个所述第二用户端的视频流请求信息中的分辨率相同，而编码能力、帧率和码率至少之一不同时，生成的所述视频流有效订阅集合包括一路视频流有效订阅请求，其包括相同的分辨率请求、和编码能力、帧率和码率至少之一不同者的较低请求。

5.根据权利要求3所述的方法，其特征在于，所述第二用户端的视频流请求信息还包括优先级别，生成的所述视频流有效订阅集合包括基于所述优先级别，匹配优先级别高的第二用户端的视频流有效订阅请求。

6.根据权利要求1所述的方法，其特征在于，进一步包括：

接收到新的第二用户端的视频流请求信息时，更新所述视频流有效订阅集合。

7.根据权利要求1所述的方法，其特征在于，进一步包括：

接收到任一所述第二用户端的取消视频流请求信息时，更新所述视频流有效订阅集合。

8.一种视频会议的通讯方法，应用于第一用户端，所述第一用户端为需要发送当前视频的视频发送端，其特征在于，所述方法包括：

发送视频流发送能力信息至服务端，以使所述服务端推送所述第一用户端的视频流发送能力信息到至少一第二用户端，收集所述第二用户端的视频流请求信息，并基于所述第二用户端的视频流请求信息和所述第一用户端的视频流发送能力信息，生成视频流有效订阅集合，其中，所述第二用户端为需要接收所述当前视频的视频接收端；

接收所述视频流有效订阅集合，并基于所述视频流有效订阅集合而发送相应的至少一路视频流至所述服务端，以使所述服务端基于各个所述第二用户端的视频流请求信息而向各个所述第二用户端转发一路匹配的视频流。

9.一种视频会议的通讯方法，应用于第二用户端，所述第二用户端为需要接收当前视频的视频接收端，其特征在于，所述方法包括：

基于服务端转发的第一用户端的视频流发送能力信息，生成并发送视频流请求信息至所述服务端，以使所述服务端基于收集的所述第二用户端的视频流请求信息和所述第一用户端的视频流发送能力信息，生成并发送视频流有效订阅集合至所述第一用户端，从而使得所述第一用户端基于所述视频流有效订阅集合而发送相应的至少一路视频流至所述服务端，其中，所述第一用户端为需要发送当前视频的视频发送端；

接收所述服务端转发的一路匹配的视频流。

10.一种终端，其特征在于，包括存储器和处理器，其中，所述存储器中存储有程序，所述处理器用于调取所述存储器中存储的程序，以执行如权利要求8所述的通讯方法或者如权利要求9所述的通讯方法。