CN112511783A - 音视频流的混合显示方法、装置、服务器和存储介质 - Google Patents

Abstract

本发明实施例公开了一种音视频流的混合显示方法、装置、服务器和存储介质，该方法包括：接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式；接收客户端发送的音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流；根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中；在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，以使客户端将混流房间中的每个用户发布的音视频流进行混合显示，从而实现对通信模式进行灵活切换。

Description

音视频流的混合显示方法、装置、服务器和存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种音视频流的混合显示方法、装置、服务器和存储介质。

背景技术

随着计算机技术的快速发展，应用程序不断地进行优化升级，以满足用户日益增长的需求。比如，在网络视频会议的场景中，可以在一个用户的显示界面上同时显示自已和其他用户的视频画面，以达到混合显示的效果。

现有技术中，通常是利用点到点的音视频实时互动技术WebRTC来实现至少两个用户的音视频通信。然而，现有的多人音视频通信方式只能支持一种通信模式，比如对带宽要求更低的MCU(Multipoint Control Unit，核心控制单元)模式或者通信延迟更低的SFU(Selective Forwarding Unit，选择性转发单元)模式。可见，现有的多人音视频通信方式中的通信模式是固定不变的，无法对通信模式进行灵活切换，降低了通信的灵活性，同时也无法合理利用资源，降低了资源利用率。

发明内容

本发明实施例提供了一种音视频流的混合显示方法、装置、服务器和存储介质，以对通信模式进行灵活切换，从而可以利用最佳的通信模式进行音视频的混合显示，提高了通信的灵活性以及资源利用率。

第一方面，本发明实施例提供了一种音视频流的混合显示方法，包括：

接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定所述混流房间对应的当前通信模式；

接收所述客户端发送的音视频流发布请求消息，并根据所述音视频流发布请求消息，对所述客户端待发布的音视频流分配相应的音视频流标识，并接收所述客户端发布的音视频流；

根据所述当前通信模式确定所述混流房间中的每个用户对应的待订阅音视频流标识，并将所述待订阅音视频流标识发送至相应的客户端中，以使所述客户端基于所述待订阅音视频流标识生成音视频流订阅请求消息；

在接收到所述客户端发送的音视频流订阅请求消息时，将所述待订阅音视频流标识对应的音视频流发送至所述客户端中，以使所述客户端将所述混流房间中的每个用户发布的音视频流进行混合显示。

第二方面，本发明实施例还提供了一种音视频流的混流显示装置，包括：

当前通信模式确定模块，用于接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定所述混流房间对应的当前通信模式；

音视频流接收模块，用于接收所述客户端发送的音视频流发布请求消息，并根据所述音视频流发布请求消息，对所述客户端待发布的音视频流分配相应的音视频流标识，并接收所述客户端发布的音视频流；

待订阅音视频流标识发送模块，用于根据所述当前通信模式确定所述混流房间中的每个用户对应的待订阅音视频流标识，并将所述待订阅音视频流标识发送至相应的客户端中，以使所述客户端基于所述待订阅音视频流标识生成音视频流订阅请求消息；

音视频流发送模块，用于在接收到所述客户端发送的音视频流订阅请求消息时，将所述待订阅音视频流标识对应的音视频流发送至所述客户端中，使得所述客户端将所述混流房间中的每个用户发布的音视频流进行混合显示。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的音视频流的混合显示方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的音视频流的混合显示方法。

本发明实施例通过根据混流房间中的当前用户数量实时确定出该混流房间对应的当前通信模式，使得当前通信模式可以基于当前用户数量实时进行改变，实现了通信模式的灵活切换。通过基于当前通信模式确定混流房间中每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的用户的客户端中，当接收到客户端发送的基于待订阅音视频流标识生成的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，使得客户端以当前通信模式来接收混流房间中每个用户发布的音视频流，并进行混合显示，从而可以利用最佳的通信模式进行音视频的混合显示，合理利用资源，提高了通信的灵活性以及资源利用率。

附图说明

图1是本发明实施例一提供的一种音视频流的混合显示方法的流程图；

图2是本发明实施例二提供的一种音视频流的混合显示方法的流程图；

图3是本发明实施例二所涉及的一种音视频流的混合显示的架构示意图；

图4是本发明实施例二所涉及的一种对两个用户进行混流显示的示例；

图5是本发明实施例三提供的一种音视频流的混合显示装置的结构示意图；

图6是本发明实施例四提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种音视频流的混合显示方法的流程图，本实施例可适用于对至少两个用户发布的音视频流进行混流显示的情况，尤其可以用于网络视频会议或者直播网络平台中，在每个用户的显示界面上同时混合显示各个用户的音视频流的场景。该方法可以由音视频流的混合显示装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于具有混流控制功能的服务器中。该方法具体包括以下步骤：

S110、接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式。

其中，混流房间进入请求消息可以是指用户申请进入某个混流房间的信令。混流房间进入请求消息可以包括但不限于混流房间标识、用户标识和用户身份。其中，用户身份可以包括主动邀请和被动邀请。混流房间标识可以是指在某个用户邀请其他用户的过程中自动分配的房间标识，也可以是指主动邀请的用户所对应的用户标识。当前用户数量可以是指当前时刻混流房间所包含的用户总数。本实施例中的当前用户数量为至少两个，以对至少两个用户的音视频流进行混合显示。当前用户数量可以随着时间实时变化。混流房间对应的当前通信模式可以是指该混流房间中的每个用户的客户端与服务器之间的数据通讯方式。当前通信模式可以随着当前用户数量的改变而改变，以便实现通信模式的灵活切换。当前通信模式可以包括但不限于MCU模式和SFU模式。其中MCU模式是指每个客户端与中心的服务器连接，该服务器负责所有的音视频流的编码、转码、解码和混合等复杂逻辑，从而服务器的压力较大，需要更高的配置，通信延迟较高，但每个客户端仅需要一个连接，从而对带宽要求更低。SFU模式是指每个客户端也与中心的服务器连接，该服务器只负责转发，不会处理复杂逻辑，从而服务器的压力较小，通信延迟更低，但每个客户端需要建立一个用于上传自身的音视频流的连接之外，还需要建立多个用于下载其他用户的音视频流的连接，从而所耗带宽较大，对带宽要求更高。

具体地，服务器可以接收每个用户的客户端发送的混流房间进入请求消息，并对每个混流房间进入请求消息进行解析，获得混流房间标识，从而可以将该用户添加至该混流房间标识对应的混流房间中。针对每个混流房间而言，可以实时获取该混流房间中的当前用户数量，或者每隔预设时间内获取混流房间中的当前用户数量，以避免短时间内进行多次切换，浪费资源。基于预设切换规则可以确定当前用户数量对应的当前通信模式，并在检测到正在运行的通信模式与当前通信模式不同，则将正在运行的通信模式切换至当前通信模式，以便实现通信模式的灵活切换，从而可以基于当前通信模式进行后续操作，即利用最佳的通信模式进行音视频的混合显示操作。

示例性地，S110中的“根据混流房间中的当前用户数量确定混流房间对应的当前通信模式”，可以包括：若混流房间中的当前用户数量小于或等于预设阈值，则确定混流房间对应的当前通信模式为选择性转发模式；若混流房间中的当前用户数量大于预设阈值时，确定混流房间对应的当前通信模式为核心控制模式。

其中，预设阈值可以是基于业务需求和设备配置预先设置的，对通信模式进行切换所满足的用户数量的临界值，即利用选择性转发模式SFU模式进行通讯时混流房间所包含的用户数量的最大值。

具体地，在获得混流房间中的当前用户数量时，检测该当前用户数量是否小于或等于预设阈值，若是，则表明该混流房间中的用户数量较少，此时可以将当前通信模式确定为选择性转发模式SFU模式，以便在通信延迟低的情况下，所耗带宽也在可接受范围内；若否，则表明该混流房间中的用户数量较多，若利用选择性转发模式则所耗带宽超出可接受范围，此时可以将当前通信模式确定为核心控制模式MCU模式，以降低所耗带宽，从而实现资源的合理利用。本实施例可以同时支持SFU模式和MCU模式的通信架构，并且可以基于用户需求和应用场景自由选择，解决了现有技术中整个架构不够灵活，仅能支持一种通信架构的弊端。

示例性地，服务器在将用户加入混流房间后，还可以向用户的客户端发送混流房间进入成功消息，以通知客户端成功加入混流房间中。

S120、接收客户端发送的音视频流发布请求消息，并根据音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流。

其中，音视频流发布请求消息可以是指向服务器请求发布音视频流的信令。音视频流发布请求消息可以包括但不限于混流房间标识和用户标识。音视频流标识可以是基于不同用户发送的音视频流发布请求消息实时生成的唯一标识，以便区分不同的音视频流。

具体地，用户的客户端可以在接收到服务器发送的混流房间进入成功消息时，向服务器发送音视频流发布请求消息，以建立客户端与混流服务模块之间的发布通道，从而服务器可以通过该发布通道接收客户端发布的音视频流。

示例性地，服务器可以预先设置一个用于生成音视频流标识的全局变量StreamIDIdx，当每生成一次音视频流标识，全局变量StreamIDIdx便累加1。例如，当接收到某个用户的客户端发送的音视频流发布请求消息时，将当前的全局变量的数值作为该用户发布的音视频流所对应的音视频流标识，然后将全局变量累加1，以更新全局变量的数值。本实施例可以建立并存储每个用户标识与音视频流标识之间的一一对应关系，以便基于用户标识可以确定出该用户发布的音视频流所对应的音视频流标识。

示例性地，服务器可以根据音视频流发布请求消息中的客户端协议信息，检测客户端与服务器是否满足连通条件，若是，则建立客户端与服务器之间的发布通道，并向客户端发送音视频流发布成功消息，以通知客户端通过该发布通道开始发布音视频流，使得服务器可以通过该发布通道开始接收所发布的音视频流。

S130、根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中，以使客户端基于待订阅音视频流标识生成音视频流订阅请求消息。

其中，待订阅音视频流标识可以是指混流房间中的用户需要订阅的音视频流标识，以便可以结束到所订阅的音视频流标识对应的音视频流。示例性地，待订阅音视频流标识可以是指混流房间中除自身之前其他用户发布的音视频流所对应的音视频流标识；也可以是指混流房间中的各个用户发布的音视频流进行混流后获得的一个混合音视频流对应的音视频流标识。音视频流订阅请求消息可以是指请求订阅所需音视频流的信令，以便获得所需的音视频流。

具体地，可以根据当前通信模式确定混流房间中每个用户的音视频流接收方式，从而基于音视频流接收方式确定出相应的待订阅音视频流标识。示例性地，在接收到客户端发送的混流房间进入请求消息或者音视频流发布请求消息后，会向该客户端返回一个混流房间进入响应消息或者音视频流发布响应消息，比如混流房间进入成功消息或者音视频流发布成功消息。若服务器在发送混流房间进入响应消息或者音视频流发布请求消息之前，确定出了该用户对应的待订阅音视频流标识时，则表明服务器当前已经接收到了待订阅音视频流标识对应的音视频流，可以进行订阅，此时可以将待订阅音视频流标识添加至混流房间进入响应消息或者音视频流发布响应消息中，从而可以通过向该客户端发送携带有待订阅音视频流标识的混流房间进入响应消息或者音视频流发布响应消息的方式，将待订阅音视频流标识发送至该客户端中，以通知该客户端可以订阅待订阅音视频流标识对应的音视频流。若服务器在发送当前音视频流发布响应消息之后，确定出了该用户对应的待订阅音视频流标识，则服务器可以单独向该客户端发送一个携带有待订阅音视频流标识的订阅通知消息，从而该客户端可以根据接收的订阅通知消息获得待订阅音视频流标识，并根据该待订阅音视频流标识生成音视频流订阅请求消息。

示例性地，S130中的“根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识”，可以包括：在当前通信模式为选择性转发模式时，获取混流房间中除当前用户之外的其他用户发布的第一音视频流所对应的第一音视频流标识，并将第一音视频流标识确定为当前用户对应的待订阅音视频流标识；在当前通信模式为核心控制模式时，对混流房间中的每个用户发布的音视频流进行混流操作，获得混流后的第二音视频流，并将第二音视频流对应的第二音视频流标识确定为混流房间中的每个用户对应的待订阅音视频流标识。

其中，针对某个混流房间而言，可以将混流房间中的任意一个用户作为当前用户。第一音视频流标识可以是指该混流房间中除当前用户之外的其他每个用户发布的第一音视频流所对应的音视频流标识。第一音视频流标识的数量为至少一个。第二音视频标识可以是指对混流房间中的各个用户发布的音视频流进行混流操作后获得的一个混合音视频流所对应的音视频流标识。第二音视频流标识的数量为一个。

具体地，对于混流房间中的任意一个用户(即当前用户)而言，在当前通信模式为选择性转发模式SFU时，表明当前用户的当前客户端需要与服务器建立多个订阅通道，以便通过每个订阅通道接收其他每个用户发布的音视频流，订阅通道的数量与混流房间中除当前用户之外的其他用户数量相等，此时可以根据该混流房间标识、当前用户标识，获得该混流房间中除当前用户标识之外的每个其他用户标识对应的第一音视频流标识，并将各个第一音视频流标识作为待订阅视频流标识，以使当前用户可以订阅其他用户所发布的音视频流。在当前通信模式为核心控制模式MCU时，表明当前用户的当前客户端仅需与服务器建立一个订阅通道，以便通过该订阅通道直接接收混流后的第二音视频流，此时服务器在接收到混流房间中的每个用户发布的音视频流时，可以对各个音视频流进行混流操作获得第二音视频流，对获得的第二音视频流分配一个第二音视频流标识，并将该第二音视频流标识作为待订阅音视频流标识，使得当前用户可以直接获得混流后的第二音视频流。

需要说明的是，在当前通信模式为选择性转发模式SFU时，若该混流房间除当前用户之外仅存在一个其他用户，则可以只需获得该其他用户对应的第一音视频流标识，以便当前用户可以订阅对方的音视频流。若该混流房间除当前用户之外存在至少两个其他用户，则需要逐个获得每个其他用户对应的第一音视频流标识，以使当前用户可以订阅每个其他用户发布的第一音视频流。需要注意的是，针对不同的当前用户，其所对应的第一音视频标识也不同，而其所对应的第二音视频流标识相同。

S140、在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，以使客户端将混流房间中的每个用户发布的音视频流进行混合显示。

具体地，服务器可以根据音视频流订阅请求消息，建立客户端与服务器之间的订阅通道，使得服务器可以通过该订阅通道向客户端发送待订阅的音视频流。服务器在建立订阅通道后，可以向客户端发送音视频流订阅成功消息，以便通知客户端可以开始接收服务器发送的所订阅的音视频流。在客户端接收到所订阅的音视频流时，可以基于当前通信方式确定待混合显示的音视频流，并通过在显示界面上显示该音视频流，从而达到混流房间中的每个用户发布的音视频流进行混合显示的效果，使得每个用户可以同时观看到所有用户的视频画面。

示例性地，S140可以包括：在当前通信模式为选择性转发模式时，将第一音视频流标识对应的第一音视频流发送至当前用户的当前客户端中，以使当前客户端基于预设混合显示方式，根据自身发布的当前音视频流和接收的第一音视频流进行混合显示；在当前通信模式为核心控制模式时，将第二音视频流标识对应的第二音视频流发送至混流房间中的每个用户对应的客户端，以使客户端直接显示混流后的第二音视频流。

具体地，在当前通信模式为选择性转发模式时，表明需要在当前客户端进行混和操作，减轻服务器的处理压力，此时当前客户端在接收到除当前用户之前的每个其他用户发布的第一音视频流时，可以基于预设混合显示方式，将自身发布的第一音视频流和每个其他用户发布的第一音视频流进行混合拼接在显示界面中，比如，若混流房间包括两个用户，则将显示界面一分为二，获得两个显示子界面，在每个显示子界面中显示一个音视频流，从而达到混合显示的效果，使得混流房间中的每个用户均可以看到其他所有用户的视频画面。在当前通信模式为核心控制模式时，表明服务器直接进行混流操作，降低了所耗带宽，此时当前客户端可以直接获得混流后的第二音视频流，无需进行音视频流混合，并在当前客户端的显示界面上直接显示第二音视频流，便可达到混流显示的效果。

本实施例的技术方案，通过根据混流房间中的当前用户数量实时确定出该混流房间对应的当前通信模式，使得当前通信模式可以基于当前用户数量实时进行改变，实现了通信模式的灵活切换。通过基于当前通信模式确定混流房间中每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的用户的客户端中，当接收到客户端发送的基于待订阅音视频流标识生成的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，使得客户端以当前通信模式来接收混流房间中每个用户发布的音视频流，并进行混合显示，从而可以利用最佳的通信模式进行音视频的混合显示，合理利用资源，提高了通信的灵活性以及资源利用率。

在上述技术方案的基础上，在接收用户的客户端发送的混流房间进入请求消息之前，还包括：客户端若检测到用户的用户身份为主动邀请，则将用户的用户标识作为混流房间标识；客户端若检测到用户的用户身份为被动邀请，则将预先获取的用户身份为主动邀请的用户标识作为混流房间标识；客户端根据用户对应的混流房间标识和用户标识生成混流房间进入请求消息，并发送混流房间进入请求消息。

具体地，当至少两个用户需要将各自发布的音视频流进行混流时，某个用户可以通过服务器中的邀请服务模块向其他用户的发送混流邀请信息，此时该用户的用户身份为主动邀请，其他用户的用户身份为被动邀请。当其他用户同意进行混流时，可以向该用户发送邀请同意消息，并根据接收的混流邀请信息中的混流房间标识生成混流房间进入请求消息。该用户接收到邀请同意消息时，可以根据预先确定的混流房间标识生成混流房间进入请求消息，从而使得每个用户的客户端可以向服务器发送进入同一个混流房间的混流房间进入请求消息。本实施例通过将用户身份为主动邀请的用户标识直接作为混流房间标识，可以进一步简化操作，提高混合显示效率。

实施例二

图2为本发明实施例二提供的一种音视频流的混合显示方法的流程图，本实施例在上述实施例的基础上，在接收到混流房间中的每个用户发布的音视频流时，还可以将混流后的目标音视频流推送至内容分发网络，以便除混流房间之外的其他用户的客户端也可以进行混流显示。其中与上述实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例提供的音视频流的混合显示方法具体包括以下步骤：

S210、接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式。

S220、接收客户端发送的音视频流发布请求消息，并根据音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流。

S230、根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中，以使客户端基于待订阅音视频流标识生成音视频流订阅请求消息。

S240、在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，以使客户端将混流房间中的每个用户发布的音视频流进行混合显示。

S250、在接收到混流房间中的每个用户发布的音视频流时，对各个音视频流进行混流操作，获得混流后的目标音视频流。

其中，混流操作可以是指将至少两路音视频流进行混合拼接为一路目标音视频流的操作。需要说明的是，目标音视频流与当前通信模式为MCU模式时所获得的第二音视频流相同。

具体地，对于每个混流房间而言，服务器可以实时检测是否均接收到该混流房间中的每个用户的客户端发布的音视频流。例如，若该混流房间中的每个用户的用户混流状态为已发布流状态，则表明服务器均接收到了该混流房间中的每个用户的客户端发布的音视频流，此时可以对该混流房间进行混流操作，获得混流后的目标音视频流。示例性地，在当前通信模式为选择性转发模式SFU时，可以通过执行步骤S250的操作获得目标音视频流。在当前通信模式为核心控制模式MCU时，可以直接将获取的第二音视频流作为目标音视频流。

需要说明的是，此处并不限定步骤S250执行时的执行顺序，步骤S250可以在步骤S220之后的任意时刻执行，并不局限于在步骤S240后执行。

示例性地，S250中的“对各个音视频流进行混流操作，获得混流后的目标音视频流”，可以包括：对每个音视频流进行解码，并基于预设布局方式，将每个解码后的音视频流进行混合拼接为一个第三音视频流；基于预设格式对第三音视频流进行编码，并将编码后的第三音视频流确定为混流后的目标音视频流。

其中，预设格式可以是指RTMP(Real Time Messaging Protocol，实时消息传输协议)所支持的格式，比如H.264(数字视频压缩格式)、AAC(Advanced Audio Coding，高级音频编码)格式。

S260、将目标音视频流推送至内容分发网络，以使除混流房间之外的其他用户的客户端通过内容分发网络获取目标音视频流。

具体地，服务器可以将混流后的目标音视频流通过RTMP协议推送至内容分发网络(Content Delivery Network，CDN)中，从而除混流房间之外的其他用户的客户端可以从内容分发网络中进行拉取，获得目标音视频流，使得除混流房间之外的其他用户也可以观看到混流后的视频内容，从而可以达到混流房间内的每个用户以及混流房间外的每个用户均可以看到混流后的视频画面，比如混流房间内的每个主播以及混流房间外的每个观众均可以同时观看到多个主播的视频画面，大大提升了直播的趣味性。

本实施例的技术方案，通过将混流房间内的各个音视频流进行混流后的目标音视频流推送至内容分发网络，从而可以使得混流房间内的每个用户以及混流房间外的每个用户均可以看到混流后的视频画面，进一步满足了用户个性化需求。

在上述技术方案的基础上，还可以利用两个独立的控制服务模块和混流服务模块来分别负责对混流消息的处理操作和对多个音视频流的混流操作，实现了音视频流的消息处理操作和混流操作的逻辑拆分和业务解耦，使得业务逻辑更加清晰，降低了模块部署复杂程度。需要说明的是，控制服务模块和混流服务模块可以集成在同一个服务器中，也可以集成在不同的服务器中，便于资源的合理部署。控制服务模块和混流服务模块的数量可以不同，其具体数量可以基于业务场景需求预先进行设置。

以对两个用户发布的音视频流进行混流显示为例，图3给出了一种音视频流的混合显示的架构示意图；图4给出了一种对两个用户进行混流显示的示例。当第一用户邀请第二用户进行音视频流混合显示时，第一用户的第一客户端根据第一用户标识生成邀请消息，并将邀请消息通过邀请服务模块发送至第二用户的第二客户端，第二用户若同意进行混合显示，则向第一用户的第一客户端发送邀请同意消息。第一客户端接收到邀请同意消息时，可以将第一用户标识作为混流房间标识生成第一混流房间进入请求消息。第二客户端可以将邀请消息中的第一用户标识作为混流房间标识生成第二混流房间进入请求消息。如图3和图4所示，对两个用户进行混流控制的过程可以包括如下步骤：

S310、第一客户端向控制服务模块发送第一混流房间进入请求消息。控制服务模块将第一混流房间进入请求消息中的第一用户混流信息进行存储，并向第一客户端发送第一混流房间进入响应消息。

S320、第一客户端在接收到第一混流房间进入响应消息为混流房间进入成功消息时，向控制服务模块发送第一音视频流发布请求消息，控制服务模块根据第一音视频流发布请求消息生成对应的第四音视频流标识，并将第四音视频流标识进行存储，并向第一客户端发送第一音视频流发布响应消息，以及向混流服务模块中的消息通信单元发送音视频流接收消息，以使混流服务模块接收第一客户端发布的第四音视频流，即图3中的音视频4。

S330、第二客户端向控制服务模块发送第二混流房间进入请求消息。控制服务模块将第二混流房间进入请求消息中的第二用户混流信息进行存储。控制服务模块根据混流房间中的当前用户数量2，可以确定出当前通信模式为选择性转发模式，此时可以将第四音视频流标识作为待订阅音视频流标识添加至第二混流房间进入响应消息中，向第二客户端发送携带有第四音视频流标识的第二混流房间进入响应消息，以使第二客户端获得第四音视频流标识。

S340、第二客户端在接收到第二混流房间进入响应消息为混流房间进入成功消息时，向控制服务模块发送第二音视频流发布请求消息，控制服务模块根据第二音视频流发布请求消息生成对应的第五音视频流标识，并将第五音视频流标识进行存储，向第二客户端发送第二音视频流发布响应消息，以及向混流服务模块发送音视频流接收消息，以使混流服务模块接收第二客户端发布的第五音视频流，即图3中的音视频5。

S350、控制服务模块将第五音视频流标识作为第一客户端的待订阅音视频流标识，并根据第五音视频流标识生成订阅通知消息，并将该订阅通知消息发送至第一客户端，使得第一客户端获得第五音视频流标识。

S360、第一客户端根据第五音视频流标识生成第一音视频流订阅请求消息，并将第一音视频流订阅请求消息发送至控制服务模块，控制服务模块可以根据第五音视频流标识向混流服务模块发送音视频流推送消息，以使混流服务模块将接收的第五音视频流标识对应的第五音视频流发送第一客户端中，以及控制服务模块向第一客户端发送第一音视频流订阅响应消息。

S370、第二客户端根据第四音视频流标识生成第二音视频流订阅请求消息，并将第二音视频流订阅请求消息发送至控制服务模块，控制服务模块可以根据第四音视频流标识向混流服务模块发送音视频流推送消息，以使混流服务模块将接收的第三音视频流标识对应的第四音视频流发送第二客户端中，以及控制服务模块向第二客户端发送第二音视频流订阅响应消息。

S380、控制服务模块在检测到混流服务模块均接收到第四音视频流和第五音视频时，向混流服务模块发送混流开始消息，以使混流服务模块中的音视频流混合单元将第四音视频流和第五音视频进行混流操作，获得混流后的目标音视频流；混流服务模块中的推送单元可以将目标音视频流推送至内容分发网络，以使除混流房间之外的其他用户可以通过内容分发网络获取目标音视频流，从而使得其他用户也可以同时观看到混流房间内的每个用户的视频画面。

需要说明的是，本实施例并不限定上述步骤S310-S380的执行顺序，只要满足每个步骤的执行触发条件便可进行执行，上述流程的执行顺序仅是给出的一种实现方式。

以下是本发明实施例提供的音视频流的混流显示装置的实施例，该装置与上述各实施例的音视频流的混流显示方法属于同一个发明构思，在音视频流的混流显示装置的实施例中未详尽描述的细节内容，可以参考上述音视频流的混流显示方法的实施例。

实施例三

图5为本发明实施例三提供的一种音视频流的混流显示装置的结构示意图，本实施例可适用于对至少两个用户发布的音视频流进行混流显示的情况，尤其可以用于网络视频会议或者直播网络平台中，在每个用户的显示界面上同时混合显示各个用户的音视频流的场景。如图5所示，该装置具体可以包括：当前通信模式确定模块410、音视频流接收模块420、待订阅音视频流标识发送模块430和音视频流发送模块440。

其中，当前通信模式确定模块410，用于接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式；音视频流接收模块420，用于接收客户端发送的音视频流发布请求消息，并根据音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流；待订阅音视频流标识发送模块430，用于根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中，以使客户端基于待订阅音视频流标识生成音视频流订阅请求消息；音视频流发送模块440，用于在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，使得客户端将混流房间中的每个用户发布的音视频流进行混合显示。

可选地，当前通信模式确定模块410，具体用于：

若混流房间中的当前用户数量小于或等于预设阈值，则确定混流房间对应的当前通信模式为选择性转发模式；若混流房间中的当前用户数量大于预设阈值时，确定混流房间对应的当前通信模式为核心控制模式。

可选地，待订阅音视频流标识发送模块430包括待订阅音视频流标识确定单元，用于：

在当前通信模式为选择性转发模式时，获取混流房间中除当前用户之外的其他用户发布的第一音视频流所对应的第一音视频流标识，并将第一音视频流标识确定为当前用户对应的待订阅音视频流标识；在当前通信模式为核心控制模式时，对混流房间中的每个用户发布的音视频流进行混流操作，获得混流后的第二音视频流，并将第二音视频流对应的第二音视频流标识确定为混流房间中的每个用户对应的待订阅音视频流标识。

可选地，音视频流发送模块440，具体用于：

在当前通信模式为选择性转发模式时，将第一音视频流标识对应的第一音视频流发送至当前用户的当前客户端中，以使当前客户端基于预设混合显示方式，根据自身发布的当前音视频流和接收的第一音视频流进行混合显示；在当前通信模式为核心控制模式时，将第二音视频流标识对应的第二音视频流发送至混流房间中的每个用户对应的客户端，以使客户端直接显示混流后的第二音视频流。

可选地，该装置还包括：

目标音视频流确定模块，用于在接收到混流房间中的每个用户发布的音视频流时，对各个音视频流进行混流操作，获得混流后的目标音视频流；

目标音视频流推送模块，用于将目标音视频流推送至内容分发网络，以使除混流房间之外的其他用户的客户端通过内容分发网络获取目标音视频流。

可选地，目标音视频流确定模块，具体用于：

对每个音视频流进行解码，并基于预设布局方式，将每个解码后的音视频流进行混合拼接为一个第三音视频流；基于预设格式对第三音视频流进行编码，并将编码后的第三音视频流确定为混流后的目标音视频流。

可选地，客户端还用于：若检测到用户的用户身份为主动邀请，则将用户的用户标识作为混流房间标识；若检测到用户的用户身份为被动邀请，则将预先获取的用户身份为主动邀请的用户标识作为混流房间标识；根据用户对应的混流房间标识和用户标识生成混流房间进入请求消息，并发送混流房间进入请求消息。

本发明实施例所提供的音视频流的混流显示装置可执行本发明任意实施例所提供的音视频流的混流显示方法，具备执行音视频流的混流显示方法相应的功能模块和有益效果。

值得注意的是，上述音视频流的混流显示装置的实施例中，所包括的各个模块和单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图6是本发明实施例四提供的一种服务器的结构示意图。参见图6，该服务器包括：

一个或多个处理器510；

存储器520，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器510执行，使得一个或多个处理器510实现如上述实施例中任意实施例所提供的音视频流的混合显示方法，该方法包括：

接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式；

接收客户端发送的音视频流发布请求消息，并根据音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流；

根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中，以使客户端基于待订阅音视频流标识生成音视频流订阅请求消息；

在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，以使客户端将混流房间中的每个用户发布的音视频流进行混合显示。

图6中以一个处理器510为例；服务器中的处理器510和存储器520可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的音视频流的混合显示方法对应的程序指令/模块(例如，音视频流的混合显示装置中的当前通信模式确定模块410、音视频流接收模块420、待订阅音视频流标识发送模块430和音视频流发送模块440)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的音视频流的混合显示方法。

存储器520主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本实施例提出的服务器与上述实施例提出的音视频流的混合显示方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行音视频流的混合显示方法相同的有益效果。

实施例五

本实施例五提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的音视频流的混合显示方法步骤，该方法包括：

接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定混流房间对应的当前通信模式；

接收客户端发送的音视频流发布请求消息，并根据音视频流发布请求消息，对客户端待发布的音视频流分配相应的音视频流标识，并接收客户端发布的音视频流；

根据当前通信模式确定混流房间中的每个用户对应的待订阅音视频流标识，并将待订阅音视频流标识发送至相应的客户端中，以使客户端基于待订阅音视频流标识生成音视频流订阅请求消息；

在接收到客户端发送的音视频流订阅请求消息时，将待订阅音视频流标识对应的音视频流发送至客户端中，以使客户端将混流房间中的每个用户发布的音视频流进行混合显示。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种音视频流的混合显示方法，其特征在于，包括：

接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定所述混流房间对应的当前通信模式；

接收所述客户端发送的音视频流发布请求消息，并根据所述音视频流发布请求消息，对所述客户端待发布的音视频流分配相应的音视频流标识，并接收所述客户端发布的音视频流；

根据所述当前通信模式确定所述混流房间中的每个用户对应的待订阅音视频流标识，并将所述待订阅音视频流标识发送至相应的客户端中，以使所述客户端基于所述待订阅音视频流标识生成音视频流订阅请求消息；

在接收到所述客户端发送的音视频流订阅请求消息时，将所述待订阅音视频流标识对应的音视频流发送至所述客户端中，以使所述客户端将所述混流房间中的每个用户发布的音视频流进行混合显示。

2.根据权利要求1所述的方法，其特征在于，根据混流房间中的当前用户数量确定所述混流房间对应的当前通信模式，包括：

若混流房间中的当前用户数量小于或等于预设阈值，则确定所述混流房间对应的当前通信模式为选择性转发模式；

若混流房间中的当前用户数量大于预设阈值时，确定所述混流房间对应的当前通信模式为核心控制模式。

3.根据权利要求2所述的方法，其特征在于，根据所述当前通信模式确定所述混流房间中的每个用户对应的待订阅音视频流标识，包括：

在所述当前通信模式为选择性转发模式时，获取所述混流房间中除当前用户之外的其他用户发布的第一音视频流所对应的第一音视频流标识，并将所述第一音视频流标识确定为所述当前用户对应的待订阅音视频流标识；

在所述当前通信模式为核心控制模式时，对所述混流房间中的每个用户发布的音视频流进行混流操作，获得混流后的第二音视频流，并将所述第二音视频流对应的第二音视频流标识确定为所述混流房间中的每个用户对应的待订阅音视频流标识。

4.根据权利要求3所述的方法，其特征在于，将所述待订阅音视频流标识对应的音视频流发送至所述客户端中，以使所述客户端将所述混流房间中的每个用户发布的音视频流进行混合显示，包括：

在所述当前通信模式为选择性转发模式时，将所述第一音视频流标识对应的第一音视频流发送至所述当前用户的当前客户端中，以使所述当前客户端基于预设混合显示方式，根据自身发布的当前音视频流和接收的所述第一音视频流进行混合显示；

在所述当前通信模式为核心控制模式时，将所述第二音视频流标识对应的第二音视频流发送至所述混流房间中的每个用户对应的客户端，以使所述客户端直接显示混流后的所述第二音视频流。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到所述混流房间中的每个用户发布的音视频流时，对各个所述音视频流进行混流操作，获得混流后的目标音视频流；

将所述目标音视频流推送至内容分发网络，以使除所述混流房间之外的其他用户的客户端通过所述内容分发网络获取所述目标音视频流。

6.根据权利要求5所述的方法，其特征在于，对各个所述音视频流进行混流操作，获得混流后的目标音视频流，包括：

对每个所述音视频流进行解码，并基于预设布局方式，将每个解码后的音视频流进行混合拼接为一个第三音视频流；

基于预设格式对所述第三音视频流进行编码，并将编码后的第三音视频流确定为混流后的目标音视频流。

7.根据权利要求1所述的方法，其特征在于，在接收用户的客户端发送的混流房间进入请求消息之前，还包括：

所述客户端若检测到所述用户的用户身份为主动邀请，则将所述用户的用户标识作为混流房间标识；

所述客户端若检测到所述用户的用户身份为被动邀请，则将预先获取的用户身份为主动邀请的用户标识作为混流房间标识；

所述客户端根据所述用户对应的混流房间标识和用户标识生成混流房间进入请求消息，并发送所述混流房间进入请求消息。

8.一种音视频流的混流显示装置，其特征在于，包括：

当前通信模式确定模块，用于接收用户的客户端发送的混流房间进入请求消息，并根据混流房间中的当前用户数量确定所述混流房间对应的当前通信模式；

音视频流接收模块，用于接收所述客户端发送的音视频流发布请求消息，并根据所述音视频流发布请求消息，对所述客户端待发布的音视频流分配相应的音视频流标识，并接收所述客户端发布的音视频流；

待订阅音视频流标识发送模块，用于根据所述当前通信模式确定所述混流房间中的每个用户对应的待订阅音视频流标识，并将所述待订阅音视频流标识发送至相应的客户端中，以使所述客户端基于所述待订阅音视频流标识生成音视频流订阅请求消息；

音视频流发送模块，用于在接收到所述客户端发送的音视频流订阅请求消息时，将所述待订阅音视频流标识对应的音视频流发送至所述客户端中，使得所述客户端将所述混流房间中的每个用户发布的音视频流进行混合显示。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的音视频流的混合显示方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的音视频流的混合显示方法。

Images