CN109218653B - 一种视频会议的多窗口显示方法、装置、设备和系统 - Google Patents

Abstract

本发明公开了一种视频会议的多窗口显示方法，包括：响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；接收所述主窗口待显示的视频流并在所述主窗口进行显示；当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。本发明实施例还公开了视频会议的多窗口显示装置、视频会议的多窗口显示设备和视频会议的多窗口显示系统。采用本发明实施例，能够减少服务器的上行，提升服务器的负载能力。

Description

一种视频会议的多窗口显示方法、装置、设备和系统

技术领域

本发明涉及多媒体播放领域，尤其涉及一种视频会议的多窗口显示方法、装置、设备和系统。

背景技术

在视频会议中根据客户端窗口的布局设计，可以出现两个窗口显示同一个成员的情况。不管是对发言人进行放大显示的自动模式还是客户端手动选择窗口进行放大。一般的窗口布局是中央一个大窗口显示一个成员，大窗口周围的小窗口显示包括大窗口显示的成员在内的所有会议成员。在这种情况下，为了达到最佳会议体验的同时减少服务器的上行，一般会让小窗口接收视频质量比较小，大窗口接收的视频质量比较大。按照以上方法，大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢。

发明内容

本发明实施例的目的是提供一种视频会议的多窗口显示方法、装置、设备和系统，能够减少服务器的上行，提升服务器的负载能力。

为实现上述目的，本发明实施例提供了一种视频会议的多窗口显示方法，包括：

响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；接收所述主窗口待显示的视频流并在所述主窗口进行显示；

当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，首先，响应于订阅指令时，订阅主窗口和副窗口；然后，根据绑定通知建立所述主窗口和所述副窗口的绑定关系，接收所述主窗口待显示的视频流并在所述主窗口进行显示；最后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述方法还包括：

当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

作为上述方案的改进，所述方法还包括：

当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知；

所述接收所述主窗口待显示的视频流并在所述主窗口进行显示，包括：

接收所述主窗口待显示的视频流和所述主窗口的标识码，根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示。

为实现上述目的，本发明实施例还提供另一种视频会议的多窗口显示方法，包括：

当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

在确定所述主窗口与所述副窗口后，向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，首先，当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，向客户端发送绑定通知；最后，将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述方法还包括：

当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

作为上述方案的改进，所述当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口后，还包括：

获取所述主窗口的标识码和所述副窗口的标识码；

所述在确定所述主窗口与所述副窗口后，向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系，包括：

向所述客户端发送绑定通知，同时发送所述主窗口的标识码和所述副窗口的标识码，使得所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口与所述副窗口之间的绑定关系。

为实现上述目的，本发明实施例还提供一种视频会议的多窗口显示装置，包括：

窗口订阅单元，用于响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

绑定关系建立单元，用于当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；

视频流显示单元，用于接收所述主窗口待显示的视频流并在所述主窗口进行显示；还用于当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

作为上述方案的改进，所述装置还包括解除绑定关系单元，所述解除绑定关系单元用于当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系；

所述装置还包括标识码发送单元，所述标识码发送单元用于当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知；

所述视频流显示单元还用于接收所述主窗口的标识码，根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示。

为实现上述目的，本发明实施例还提供一种视频会议的多窗口显示装置，包括：

会议成员检测单元，用于检测参加视频会议的客户端订阅了会议成员的成员显示窗口；

主窗口与副窗口确定单元，用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

绑定通知发送单元，用于向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

待显示视频流禁止发送单元，用于禁止将所述副窗口待显示的视频流发送给所述客户端；

待显示视频流发送单元，用于将所述主窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

作为上述方案的改进，所述装置还包括解除绑定通知发送单元，所述解除绑定通知发送单元用于当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系；

所述装置还包括标识码获取单元，所述标识码获取单元用于获取所述主窗口的标识码和所述副窗口的标识码；

所述绑定通知发送单元用于向所述客户端发送绑定通知，同时发送所述主窗口的标识码和所述副窗口的标识码，使得所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口与所述副窗口之间的绑定关系。

为实现上述目的，本发明实施例还提供一种视频会议的多窗口显示设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的视频会议的多窗口显示方法。

为实现上述目的，本发明实施例还提供视频会议的多窗口显示系统，包括服务器和至少一个客户端；其中，

所述服务器为如上述实施例中任一项所述的视频会议的多窗口显示装置。

所述客户端为如上述实施例中任一项所述的视频会议的多窗口显示装置。

附图说明

图1是本发明实施例提供的一种视频会议的多窗口显示方法的流程图；

图2是本发明实施例提供的一种视频会议的多窗口显示方法中窗口绑定的示意图；

图3是本发明实施例提供的一种视频会议的多窗口显示方法中客户端的成员显示窗口示意图；

图4是本发明实施例提供的一种视频会议的多窗口显示方法中窗口解除绑定的示意图；

图5是本发明实施例提供的另一种视频会议的多窗口显示方法的流程图；

图6是本发明实施例提供的另一种视频会议的多窗口显示方法的另一流程图；

图7是本发明实施例提供的一种视频会议的多窗口显示装置10的结构框图；

图8是本发明实施例提供的另一种视频会议的多窗口显示装置20的结构框图；

图9是本发明实施例提供的一种视频会议的多窗口显示设备30的结构框图；

图10是本发明实施例提供的另一种视频会议的多窗口显示设备40的结构框图；

图11是本发明实施例提供的一种视频会议的多窗口显示系统50的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

值得说明的是，本发明实施例所述的视频会议包括两种情况，一种是视频会议中每一参加视频会议的客户端上都显示有每个成员显示窗口，即各个客户端同步显示，比如远程视频会议。另一种是视频会议中只有一个客户端上显示有每个成员显示窗口，其余客户端只作为摄像头拍摄视频，然后汇总到一个客户端中显示，比如在同一个会议室的视频会议。

本发明实施例所述的成员显示窗口有两种类型，包括固定窗口和活动窗口。固定窗口可以是视频质量较小的成员显示窗口，这种是用来显示每一参加视频会议的成员，与参加视频会议的成员一一对应；另一种活动窗口可以是视频质量较大的成员显示窗口，这种是用来突出显示其中一个参加视频会议的成员，显示的成员可以与任一会议成员相同，或者与任一会议成员都不相同。则在本发明实施例中订阅了相同会议成员的两个成员显示窗口中主窗口为活动窗口，副窗口为固定窗口。

所述客户端在订阅所述成员显示窗口时，服务器一般不会分配给窗口质量高于视频质量的视频流，防止超出客户端最大解码能力。但是在本发明中，允许一个成员显示窗口的视频流超出一个成员显示窗口的视频质量，但不会超过客户端请求的一系列成员显示窗口中最大的视频质量，因此还是可以保证不超出客户端的最大解码能力。

在现有技术中，视频会议开始时，客户端会订阅成员显示窗口，服务器获取成员显示窗口的视频质量，服务器会获取到参加了视频会议的客户端发送过来的与成员显示窗口的视频质量对应的待显示视频流，此时一个客户端发送一路待显示视频流，然后服务器对所有待显示视频流进行汇总后再将汇总后的待显示视频流转发到客户端的成员显示窗口中。在上述过程中，当存在两个成员显示窗口需要显示同一个会议成员时，此时，服务器会接收到与该会议成员对应的客户端发送的两路待显示视频流，然后服务器再将该两路待显示视频流分别发送到需要显示同一个会议成员的成员显示窗口中进行显示。

而本发明的方案是，当存在两个成员显示窗口需要显示同一个会议成员时，此时，与该会议成员对应的客户端依旧只发送一路待显示视频流给服务器，服务器会接收到与该会议成员对应的客户端发送的一路待显示视频流，服务器再将与该会议成员对应的待显示视频流同时渲染到需要显示同一个会议成员的成员显示窗口中进行显示。此时服务器则不用再接收多一路待显示视频流，从而能够减少服务器的上行，提升服务器的负载能力。

实施例一

本实施例所提供的视频会议的多窗口显示方法可以通过客户端执行实现，则所述客户端与所述服务器的信息交互的协议可以采用DTLS(Datagram Transport LayerSecurity)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图1，图1是本发明实施例提供的一种视频会议的多窗口显示方法的流程图；包括：

S11、响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

S12、当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；接收所述主窗口待显示的视频流并在所述主窗口进行显示；

S13、当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

值得说明的是，本实施例所述视频会议的多窗口显示方法可由客户端执行实现。的具体的，在步骤S11中，当有任一客户端加入到视频会议时，响应订阅指令，会订阅客户端上的成员显示窗口，当任一客户端订阅了两个显示相同会议成员的成员显示窗口时，该两个显示相同会议成员的成员显示窗口即为所述主窗口和所述副窗口。优选的，所述客户端上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等，并且每个成员显示窗口都有特定的标识码，用于区分所述成员显示窗口。

具体的，在步骤S12中，当该成员显示窗口的视频质量小于另一成员显示窗口的视频质量时，那么此时接收到服务器发送的是该成员显示窗口绑定另一成员显示窗口的绑定通知，即此时所述客户端将较小视频质量的成员显示窗口(副窗口)绑定到较大视频质量的成员显示窗口(主窗口)上，具体的绑定过程可参见图2，成员显示窗口A为主窗口，成员显示窗口B为副窗口，当A和B订阅相同的会议成员之前，A和B分别接收不同视频质量的视频流；当接收到服务器发送的绑定通知时，建立B绑定A的绑定关系；当建立绑定关系后，只接收到与A的视频质量对应的待显示视频流，然后再将该待显示视频流分别在A和B中进行显示。

优选的，当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码给服务器，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知。在所述服务器发送所述绑定通知时，一并发送所述主窗口的标识码和所述副窗口的标识码，则此时客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口和所述副窗口的绑定关系，能够确保不会绑定错误。

优选的，接收所述主窗口待显示的视频流的同时，还接收所述主窗口的标识码，根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示，然后再根据所述绑定关系，将所述主窗口待显示的视频流在所述副窗口进行显示。

具体的，在步骤S13中，参见图3，成员显示窗口A(主窗口)和成员显示窗口D(副窗口)订阅了同一个客户端a，成员显示窗口B订阅了客户端b，成员显示窗口C订阅了客户端c，所述客户端在接收到服务器发送过来的多路待显示视频流时，有一路待显示视频(即所述主窗口待显示的视频流)需要同时渲染成员显示窗口A和成员显示窗口D，所述主窗口的待显示的视频流的视频质量为所述成员显示窗口A的视频质量。若此时所述成员显示窗口D已经订阅有内容，则此时所述客户端将所述成员显示窗口D的订阅内容置空(服务器已经停止发送所述成员显示窗口D的视频质量对应的待显示视频流)。客户端将与所述成员显示窗口A对应的所述主窗口待显示的视频流同时渲染到所述成员显示窗口A与所述成员显示窗口D进行显示。

进一步的，在步骤S13中接收所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示后，还包括步骤S14：当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

优选的，当订阅了相同会议成员的两个成员显示窗口中主窗口的订阅内容发生变化时，服务器发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，客户端根据所述解除绑定通知解除所述主窗口和所述副窗口的绑定关系。然后服务器再分别发送与解除绑定关系后的两个窗口对应的两路视频，客户端根据两个窗口对应的两路视频将解除绑定关系后的两个窗口分别渲染。具体的，上述过程可参见图4。

优选的，当订阅了相同会议成员的两个成员显示窗口中的所述副窗口的订阅内容发生变化时，服务器先发送所述副窗口待显示的视频流(此时还发送所述主窗口待显示的视频流)，客户端根据副窗口待显示的视频流将副窗口渲染。然后服务器再发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，客户端解除所述主窗口和所述副窗口的绑定关系。

具体实施时，首先，响应于订阅指令时，订阅主窗口和副窗口；然后，根据绑定通知建立所述主窗口和所述副窗口的绑定关系，接收所述主窗口待显示的视频流并在所述主窗口进行显示；最后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例二

本实施例所提供的视频会议的多窗口显示方法可以通过服务器执行实现，则所述服务器与所述客户端的信息交互的协议可以采用DTLS(Datagram Transport LayerSecurity)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图5，图5是本发明实施例提供的另一种视频会议的多窗口显示方法的流程图；包括：

S21、当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

S22、在确定所述主窗口与所述副窗口后，向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

S23、将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

具体的，在步骤S21中，当有任一客户端加入到视频会议时，会订阅所述成员显示窗口，对于参加视频会议的客户端上的每个成员显示窗口，首先获取每个成员显示窗口的视频质量。具体的，检测是否存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口，即检测此时所述客户端中是否有两个成员显示窗口显示相同的会议成员。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口。

优选的，可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口，所述另一成员显示窗口为副窗口。

具体的，在步骤S22中，在确定好所述主窗口与所述副窗口后，向所述客户端发送绑定通知，以使所述客户端根据所述绑定通知建立所述主窗口与所述副窗口的绑定关系。优选的，当该成员显示窗口的视频质量小于另一成员显示窗口的视频质量时，那么此时发送该成员显示窗口绑定另一成员显示窗口的绑定通知，即此时所述客户端将较小视频质量的成员显示窗口(副窗口)绑定到较大视频质量的成员显示窗口(主窗口)上。

优选的，在获取所述成员显示窗口的视频质量时，一并获取所述成员显示窗口的标识码，即此时能够获取所述主窗口的标识码和所述副窗口的标识码。在发送所述绑定通知时，一并发送所述主窗口的标识码和所述副窗口的标识码，则此时所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口和所述副窗口的绑定关系，能够确保所述客户端不会绑定错误。

在发送所述绑定通知之后，禁止将所述副窗口待显示的视频流发送给所述客户端，而其余剩下的待显示视频流都是被允许发送的。

具体的，在步骤S23中，将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

优选的，在发送所述主窗口待显示的视频流的同时，还发送所述主窗口的标识码，以使客户端根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示，然后再根据所述绑定关系，将所述主窗口待显示的视频流在所述副窗口进行显示。

优选的，结合图3，上述步骤S21～S23的过程可参考图6。

进一步的，在步骤S23中发送待显示视频流给所述客户端进行显示后，还包括步骤S24：当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

优选的，当订阅了相同会议成员的两个成员显示窗口中主窗口的订阅内容发生变化时，先发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，以使客户端解除所述主窗口和所述副窗口的绑定关系。然后再分别发送与解除绑定关系后的两个窗口对应的两路视频，以使客户端根据两个窗口对应的两路视频将解除绑定关系后的两个窗口分别渲染。

具体的，如图3所示的客户端中，成员显示窗口A和成员显示窗口D订阅内容相同，均为订阅了客户端a，其中，成员显示窗口A为所述主窗口，成员显示窗口D为所述副窗口。此时，若成员显示窗口A的订阅内容发生变化(此时可能与其他成员显示窗口建立绑定关系，或订阅与其他成员显示窗口均不相同的内容)，发送解除所述成员显示窗口D和成员显示窗口A的绑定关系的解除绑定通知，以使客户端根据所述解除绑定通知解除成员显示窗口D和成员显示窗口A的绑定关系。在发送解除绑定通知后，再发送所述成员显示窗口D的待显示视频流，同时发送成员显示窗口A的待显示视频流，以使客户端根据所述成员显示窗口D的待显示视频流将所述成员显示窗口D渲染，同时根据所述成员显示窗口A的待显示视频流将所述成员显示窗口A渲染。

优选的，当订阅了相同会议成员的两个成员显示窗口中的所述副窗口的订阅内容发生变化时，先发送所述副窗口待显示的视频流(此时还发送所述主窗口待显示的视频流)，以使客户端根据副窗口待显示的视频流将副窗口渲染。然后再发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，以使客户端解除所述主窗口和所述副窗口的绑定关系。

具体的，如图2所示的客户端中，若成员显示窗口D的订阅内容发生变化(可能订阅新的内容)，发送所述成员显示窗口D的待显示视频流，同时发送成员显示窗口A的待显示视频流，以使客户端根据所述成员显示窗口D的待显示视频流将所述成员显示窗口D渲染，同时根据所述成员显示窗口A的待显示视频流将所述成员显示窗口A渲染。然后再发送解除所述成员显示窗口D和成员显示窗口A的绑定关系的解除绑定通知，以使客户端根据所述解除绑定通知解除成员显示窗口A和成员显示窗口D的绑定关系。

进一步的，在步骤S21中，检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，服务器确定哪路待显示视频流的音频信息超过预设值(客户端需要将自身拍摄的会议成员的视频流发送给服务器，再由服务器统一汇总，因此服务器能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时服务器判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则在获取到该会议成员对应的待显示视频流中的音频信息超过预设值时，可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端发送需要订阅两个相同会议成员的成员显示窗口的控制指令给服务器，服务器在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述过程需要会议成员手动选择。

具体实施时，首先，当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，向客户端发送绑定通知；最后，将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例三

参见图7，图7是本发明实施例提供的一种视频会议的多窗口显示装置10的结构框图；包括：

窗口订阅单元11，用于响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

绑定关系建立单元12，用于当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；

视频流显示单元13，用于接收所述主窗口待显示的视频流并在所述主窗口进行显示；还用于当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

优选的，所述视频会议的多窗口显示装置10还包括解除绑定关系单元14，所述解除绑定关系单元14用于当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系；

所述视频会议的多窗口显示装置10还包括标识码发送单元15，所述标识码发送单元15用于当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知；

所述视频流显示单元13还用于接收所述主窗口的标识码，并根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示，然后再根据所述绑定关系，将所述主窗口待显示的视频流在所述副窗口进行显示。

具体的，当有任一客户端加入到视频会议时，所述窗口订阅单元11响应订阅指令，会订阅客户端上的成员显示窗口，当任一客户端订阅了两个显示相同会议成员的成员显示窗口时，该两个显示相同会议成员的成员显示窗口即为所述主窗口和所述副窗口。优选的，所述客户端上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等，并且每个成员显示窗口都有特定的标识码，用于区分所述成员显示窗口。

具体的，当该成员显示窗口的视频质量小于另一成员显示窗口的视频质量时，那么此时接收到服务器发送的是该成员显示窗口绑定另一成员显示窗口的绑定通知，即此时所述绑定关系建立单元12将较小视频质量的成员显示窗口(副窗口)绑定到较大视频质量的成员显示窗口(主窗口)上。

优选的，当所述主窗口和所述副窗口显示相同会议成员时，所述标识码发送单元15发送所述主窗口的标识码和所述副窗口的标识码给服务器，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知。在所述服务器发送所述绑定通知时，一并发送所述主窗口的标识码和所述副窗口的标识码，则此时所述绑定关系建立单元12根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口和所述副窗口的绑定关系，能够确保不会绑定错误。

进一步的，当订阅了相同会议成员的两个成员显示窗口中主窗口的订阅内容发生变化时，服务器发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，所述解除绑定关系单元14根据所述解除绑定通知解除所述主窗口和所述副窗口的绑定关系。然后服务器再分别发送与解除绑定关系后的两个窗口对应的两路视频，客户端根据两个窗口对应的两路视频将解除绑定关系后的两个窗口分别渲染。

优选的，当订阅了相同会议成员的两个成员显示窗口中的所述副窗口的订阅内容发生变化时，服务器先发送所述副窗口对应的待显示视频流(此时还发送与所述主窗口对应的待显示视频流)，所述解除绑定关系单元14根据副窗口对应的待显示视频流将副窗口渲染。然后服务器再发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，客户端解除所述主窗口和所述副窗口的绑定关系。

具体实施时，首先，响应于订阅指令时，窗口订阅单元11订阅主窗口和副窗口；然后，绑定关系建立单元12根据绑定通知建立所述主窗口和所述副窗口的绑定关系，视频流显示单元13接收所述主窗口待显示的视频流并在所述主窗口进行显示；最后，视频流显示单元13将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

与现有技术相比，本发明公开的视频会议的多窗口显示装置10，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例四

参见图8，图8是本发明实施例提供的另一种视频会议的多窗口显示装置20的结构框图；包括：

会议成员检测单元21，用于检测参加视频会议的客户端订阅了会议成员的成员显示窗口；

主窗口与副窗口确定单元22，用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

绑定通知发送单元23，用于向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

待显示视频流禁止发送单元24，用于禁止将所述副窗口待显示的视频流发送给所述客户端；

待显示视频流发送单元25，用于将所述主窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

优选的，所述视频会议的多窗口显示装置20还包括解除绑定通知发送单元26，所述解除绑定通知发送单元26用于当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

具体的，当有任一客户端加入到视频会议时，会订阅所述成员显示窗口，对于参加视频会议的客户端上的每个成员显示窗口，首先获取每个成员显示窗口的视频质量。具体的，所述会议成员检测单元21检测是否存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口，即检测此时所述客户端中是否有两个成员显示窗口显示相同的会议成员。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，所述主窗口与副窗口确定单元22确定该两个成员显示窗口中的主窗口与副窗口。

优选的，所述主窗口与副窗口确定单元22可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，所述主窗口与副窗口确定单元22判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，所述主窗口与副窗口确定单元22判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口，所述另一成员显示窗口为副窗口。

具体的，在确定好所述主窗口与所述副窗口后，所述绑定通知发送单元23向所述客户端发送绑定通知，以使所述客户端根据所述绑定通知建立所述主窗口与所述副窗口的绑定关系。优选的，当该成员显示窗口的视频质量小于另一成员显示窗口的视频质量时，那么此时发送该成员显示窗口绑定另一成员显示窗口的绑定通知，即此时所述客户端将较小视频质量的成员显示窗口(副窗口)绑定到较大视频质量的成员显示窗口(主窗口)上。

优选的，所述视频会议的多窗口显示装置20还包括标识码获取单元27，所述标识码获取单元27用于获取所述主窗口的标识码和所述副窗口的标识码。

具体的，在获取所述成员显示窗口的视频质量时，所述标识码获取单元27一并获取所述成员显示窗口的标识码，即此时能够获取所述主窗口的标识码和所述副窗口的标识码。在所述绑定通知发送单元23发送所述绑定通知时，一并发送所述主窗口的标识码和所述副窗口的标识码，则此时所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口和所述副窗口的绑定关系，能够确保所述客户端不会绑定错误。

在发送所述绑定通知之后，所述待显示视频流禁止发送单元24禁止将所述副窗口待显示的视频流发送给所述客户端，而其余剩下的待显示视频流都是被允许发送的。

具体的，所述待显示视频流发送单元25将所述主窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

优选的，在将所述主窗口待显示的视频流发送给所述客户端的同时，所述待显示视频流发送单元25还发送所有所述主窗口的标识码，以使客户端根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示，然后再根据所述绑定关系，将所述主窗口待显示的视频流在所述副窗口进行显示。

进一步的，当所述会议成员检测单元21检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，所述解除绑定通知发送单元26向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

优选的，当订阅了相同会议成员的两个成员显示窗口中主窗口的订阅内容发生变化时，所述解除绑定通知发送单元26先发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，以使客户端解除所述主窗口和所述副窗口的绑定关系。然后所述待显示视频流发送单元25分别发送与解除绑定关系后的两个窗口对应的两路视频，以使客户端根据两个窗口对应的两路视频将解除绑定关系后的两个窗口分别渲染。

优选的，当订阅了相同会议成员的两个成员显示窗口中的所述副窗口的订阅内容发生变化时，所述待显示视频流发送单元25先发送所述副窗口待显示的视频流(此时还发送所述主窗口待显示的视频流)，以使客户端根据副窗口待显示的视频流将副窗口渲染。然后所述解除绑定通知发送单元26再发送解除所述主窗口和所述副窗口绑定的解除绑定通知给客户端，以使客户端解除所述主窗口和所述副窗口的绑定关系。

进一步的，所述会议成员检测单元21检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，服务器确定哪路待显示视频流的音频信息超过预设值(客户端需要将自身拍摄的会议成员的视频流发送给服务器，再由服务器统一汇总，因此服务器能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时服务器判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则在获取到该会议成员对应的待显示视频流中的音频信息超过预设值时，可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端发送需要订阅两个相同会议成员的成员显示窗口的控制指令给服务器，服务器在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述过程需要会议成员手动选择。

具体实施时，首先，当会议成员检测单元21检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，主窗口与副窗口确定单元22确定该两个成员显示窗口中的主窗口与副窗口；然后，绑定通知发送单元23向客户端发送绑定通知；最后，待显示视频流发送单元25将所述主窗口待显示的视频流发送给所述客户端，待显示视频流禁止发送单元24禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示装置20，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例五

参见图9，图9是本发明实施例提供的一种视频会议的多窗口显示设备30的结构框图；该实施例的视频会议的多窗口显示设备30包括：处理器31、存储器32以及存储在所述存储器中并可在所述处理器31上运行的计算机程序。所述处理器31执行所述计算机程序时实现上述实施例一中的步骤，例如图1所示的步骤S11～S13。或者，所述处理器31执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如窗口订阅单元11。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述处理器31执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频会议的多窗口显示设备30中的执行过程。例如，所述计算机程序可以被分割成窗口订阅单元11、绑定关系建立单元12、视频流显示单元13、解除绑定关系单元14和标识码发送单元15。各模块具体功能参考上述实施例三所述的视频会议的多窗口显示装置10的功能，在此不再赘述。

所述视频会议的多窗口显示设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视频会议的多窗口显示设备30可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，所述示意图仅仅是视频会议的多窗口显示设备30的示例，并不构成对视频会议的多窗口显示设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频会议的多窗口显示设备30还可以包括输入输出设备、网络接入设备、总线等。

所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器31是所述视频会议的多窗口显示设备30的控制中心，利用各种接口和线路连接整个视频会议的多窗口显示设备30的各个部分。

所述存储器32可用于存储所述计算机程序和/或模块，所述处理器31通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述视频会议的多窗口显示设备30的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述视频会议的多窗口显示设备30集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器31执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例六

参见图10，图10是本发明实施例提供的一种视频会议的多窗口显示设备40的结构框图；该实施例的视频会议的多窗口显示设备40包括：处理器41、存储器42以及存储在所述存储器中并可在所述处理器41上运行的计算机程序。所述处理器41执行所述计算机程序时实现上述实施例二中的步骤，例如图5所示的步骤S21～S23。或者，所述处理器41执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如会议成员检测单元21。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器42中，并由所述处理器41执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频会议的多窗口显示设备40中的执行过程。例如，所述计算机程序可以被分割成会议成员检测单元21、主窗口与副窗口确定单元22、绑定通知发送单元23、待显示视频流禁止发送单元24、待显示视频流发送单元25和解除绑定通知发送单元26和标识码获取单元27。各模块具体功能参考上述实施例四所述的视频会议的多窗口显示装置20的功能，在此不再赘述。

所述视频会议的多窗口显示设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视频会议的多窗口显示设备40可包括，但不仅限于，处理器41、存储器42。本领域技术人员可以理解，所述示意图仅仅是视频会议的多窗口显示设备40的示例，并不构成对视频会议的多窗口显示设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频会议的多窗口显示设备40还可以包括输入输出设备、网络接入设备、总线等。

所称处理器41可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器41是所述视频会议的多窗口显示设备40的控制中心，利用各种接口和线路连接整个视频会议的多窗口显示设备40的各个部分。

所述存储器42可用于存储所述计算机程序和/或模块，所述处理器41通过运行或执行存储在所述存储器42内的计算机程序和/或模块，以及调用存储在存储器42内的数据，实现所述视频会议的多窗口显示设备40的各种功能。所述存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述视频会议的多窗口显示设备40集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器41执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例七

参见图11，图11是本发明实施例提供的一种视频会议的多窗口显示系统50的结构框图；包括服务器51和至少一个客户端52；其中，

所述服务器51为如上述实施例四中所述的视频会议的多窗口显示装置20；所述客户端52为如上述实施例三中所述的视频会议的多窗口显示装置10。所述服务器51与所述客户端52的信息交互的协议可以采用DTLS(Datagram Transport Layer Security)，即数据包传输层安全性协议。优选的，所述客户端52包括但不限于手机、电脑和投影装置。

具体的，当有任一客户端52加入到视频会议时，会订阅所述成员显示窗口，对于参加视频会议的客户端上的每个成员显示窗口，所述服务器51首先获取每个成员显示窗口的视频质量以及所述成员显示窗口的标识码。优选的，所述客户端52上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等，并且每个成员显示窗口都有特定的标识码，用于区分所述成员显示窗口。

具体的，所述服务器51检测是否存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口，即检测此时所述客户端52中是否有两个成员显示窗口显示相同的会议成员。当所述服务器51检测到存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口。

具体的，所述服务器51可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，所述服务器51判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，所述服务器51判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口。

具体的，在所述服务器51确定好所述主窗口与所述副窗口后，向所述客户端52发送绑定通知，以使所述客户端52根据所述绑定通知建立所述主窗口与所述副窗口的绑定关系。

优选的，当该成员显示窗口的视频质量小于另一成员显示窗口的视频质量时，那么此时所述服务器51发送该成员显示窗口绑定另一成员显示窗口的绑定通知，即此时所述客户端52将较小视频质量的成员显示窗口绑定到较大视频质量的成员显示窗口上。

优选的，在所述服务器51发送所述绑定通知时，一并发送所述主窗口的标识码和所述副窗口的标识码，则此时所述客户端52根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口和所述副窗口的绑定关系，此时则能够确保所述客户端52不会绑定错误。

则在所述服务器51发送所述绑定通知之后，禁止将所述副窗口待显示的视频流发送给所述客户端，而其余剩下的待显示视频流都是被允许发送的。

所述服务器51将所有允许被发送的待显示视频流发送给所述客户端52，使得所述客户端52将每一路待显示视频流分别渲染到相对应的成员显示窗口进行显示，其中，所述客户端52接收到服务器发送的所述主窗口待显示的视频流，并将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

优选的，所述服务器51在将所有允许被发送的待显示视频流发送给所述客户端52的同时，还发送所有与成员显示窗口对应的标识码，从而使得所述客户端52根据与成员显示窗口对应的标识码将每一路待显示视频流分别渲染到相对应的成员显示窗口进行显示。

进一步的，在所述服务器51发送待显示视频流给所述客户端52进行显示后，当所述服务器51检测到所述客户端52中订阅了相同会议成员的所述主窗口和所述副窗口中任一窗口的订阅内容发生变化时，所述服务器51向所述客户端52发送解除绑定通知，以使所述客户端52根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

优选的，当订阅了相同会议成员的两个成员显示窗口中主窗口的订阅内容发生变化时，所述服务器51先发送解除所述主窗口和所述副窗口的绑定解除绑定通知给客户端52，以使客户端52解除所述主窗口和所述副窗口的绑定关系。然后再分别发送与解除绑定关系后的两个窗口对应的两路视频，以使客户端52根据两个窗口对应的两路视频将解除绑定关系后的两个窗口分别渲染。

优选的，当订阅了相同会议成员的两个成员显示窗口中的所述副窗口的订阅内容发生变化时，所述服务器51先发送所述副窗口待显示的视频流(此时还发送与主窗口待显示的视频流)，以使客户52端根据所述副窗口待显示的视频流将所述副窗口渲染。然后所述服务器51再发送解除订阅了相同会议成员的两个成员显示窗口的绑定解除绑定通知给客户端52，以使客户端52解除所述主窗口和所述副窗口的绑定关系。

进一步的，所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，服务器51确定哪路待显示视频流的音频信息超过预设值(客户端52需要将自身拍摄的会议成员的视频流发送给服务器51，再由服务器51统一汇总，因此服务器51能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时服务器51判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则在获取到该会议成员的待显示视频流中的音频信息超过预设值时，所述服务器51可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端52存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端52可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端52发送需要订阅两个相同会议成员的成员显示窗口的控制指令给服务器51，服务器51在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述程需要会议成员手动选择。

具体实施时，首先通过所述服务器51检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，首先通过检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，在确定所述主窗口与所述副窗口后，向客户端52发送绑定通知，并且禁止将所述副窗口待显示的视频流发送给所述客户端52；最后，将所有允许被发送的待显示视频流发送给所述客户端52，使得所述客户端52将每一路待显示视频流分别渲染到相对应的成员显示窗口进行显示，并在查找到与待显示视频流所对应的成员显示窗口存在绑定关系的另一成员显示窗口时，将所述待显示视频流渲染到所述另一成员显示窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示系统50，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (13)

1.一种视频会议的多窗口显示方法，其特征在于，包括：

响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；接收所述主窗口待显示的视频流并在所述主窗口进行显示；

当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

2.如权利要求1所述的视频会议的多窗口显示方法，其特征在于，所述方法还包括：

当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

3.如权利要求1所述的视频会议的多窗口显示方法，其特征在于，所述方法还包括：

当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知；

所述接收所述主窗口待显示的视频流并在所述主窗口进行显示，包括：

接收所述主窗口待显示的视频流和所述主窗口的标识码，根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示。

4.一种视频会议的多窗口显示方法，其特征在于，包括：

当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

在确定所述主窗口与所述副窗口后，向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

将所述主窗口待显示的视频流发送给所述客户端，并禁止将所述副窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

5.如权利要求4所述的视频会议的多窗口显示方法，其特征在于，所述方法还包括：

当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系。

6.如权利要求4所述的视频会议的多窗口显示方法，其特征在于，所述当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口后，还包括：

获取所述主窗口的标识码和所述副窗口的标识码；

所述在确定所述主窗口与所述副窗口后，向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系，包括：

向所述客户端发送绑定通知，同时发送所述主窗口的标识码和所述副窗口的标识码，使得所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口与所述副窗口之间的绑定关系。

7.一种视频会议的多窗口显示装置，其特征在于，包括：

窗口订阅单元，用于响应于订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，且所述主窗口的视频质量大于所述副窗口的视频质量；

绑定关系建立单元，用于当接收到绑定通知时，根据所述绑定通知建立所述主窗口和所述副窗口的绑定关系；

视频流显示单元，用于接收所述主窗口待显示的视频流并在所述主窗口进行显示；还用于当完成所述主窗口和所述副窗口的绑定后，将所述主窗口待显示的视频流发送至与所述主窗口绑定的所述副窗口，并在所述副窗口上显示。

8.如权利要求7所述的视频会议的多窗口显示装置，其特征在于，所述装置还包括解除绑定关系单元，所述解除绑定关系单元用于当接收解除绑定通知时，根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系；

所述装置还包括标识码发送单元，所述标识码发送单元用于当所述主窗口和所述副窗口显示相同会议成员时，发送所述主窗口的标识码和所述副窗口的标识码，以使得服务器根据所述主窗口的标识码和所述副窗口的标识码发送所述主窗口和所述副窗口的绑定通知；

所述视频流显示单元还用于接收所述主窗口的标识码，根据所述主窗口的标识码将所述主窗口待显示的视频流在所述主窗口进行显示。

9.一种视频会议的多窗口显示装置，其特征在于，包括：

会议成员检测单元，用于检测参加视频会议的客户端订阅了会议成员的成员显示窗口；

主窗口与副窗口确定单元，用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；其中，所述主窗口的视频质量大于所述副窗口的视频质量；

绑定通知发送单元，用于向所述客户端发送绑定通知，使得所述客户端根据所述绑定通知建立所述主窗口与所述副窗口之间的绑定关系；

待显示视频流禁止发送单元，用于禁止将所述副窗口待显示的视频流发送给所述客户端；

待显示视频流发送单元，用于将所述主窗口待显示的视频流发送给所述客户端，使得所述客户端将所述主窗口待显示的视频流分别在所述主窗口和所述副窗口进行显示。

10.如权利要求9所述的视频会议的多窗口显示装置，其特征在于，所述装置还包括解除绑定通知发送单元，所述解除绑定通知发送单元用于当检测到所述客户端中订阅了相同会议成员的所述主窗口和所述副窗口中的任一窗口的订阅内容发生变化时，向所述客户端发送解除绑定通知，以使得所述客户端根据所述解除绑定通知解除所述主窗口与所述副窗口之间的绑定关系；

所述装置还包括标识码获取单元，所述标识码获取单元用于获取所述主窗口的标识码和所述副窗口的标识码；

所述绑定通知发送单元用于向所述客户端发送绑定通知，同时发送所述主窗口的标识码和所述副窗口的标识码，使得所述客户端根据所述绑定通知、所述主窗口的标识码和所述副窗口的标识码建立所述主窗口与所述副窗口之间的绑定关系。

11.一种视频会议的多窗口显示设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的视频会议的多窗口显示方法。

12.一种视频会议的多窗口显示设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求4至6中任意一项所述的视频会议的多窗口显示方法。

13.一种视频会议的多窗口显示系统，其特征在于，包括服务器和至少一个客户端；其中，

所述客户端为如权利要求7～8中任一项所述的视频会议的多窗口显示装置；

所述服务器为如权利要求9～10中任一项所述的视频会议的多窗口显示装置。

Images