CN114979697A - 一种用于解耦信令服务器和音视频服务器的系统和方法 - Google Patents

Abstract

本发明涉及流媒体技术领域，公开了一种用于解耦信令服务器和音视频服务器的系统和方法，其中系统包括媒体发布客户端、信令服务器、音视频服务器和混流服务器，音视频服务器和媒体发布客户端、信令服务器、混流服务器通信连接。本发明使得客户端进入直播房间后，客户端和音视频服务器的所有交互都不再需要信令服务器的介入，实现了信令服务器和音视频服务器的解耦，减轻了信令服务器的负担，改善了媒体播放系统的性能。

Description

一种用于解耦信令服务器和音视频服务器的系统和方法

技术领域

本发明涉及流媒体技术领域，特别涉及一种用于解耦信令服务器和音视频服务器的系统和方法。

背景技术

随着移动互联网的发展，直播、云录像等应用场景越来越多的出现，在提供直播混流或云录像的过程中，每一个App都会有自己的配置，比如混流场景中的相关配置有：混流模型（混音视频、只混音频、只混视频等），视频的码流，分辨率，混流服务器地址等。录像场景中的相关配置有：录像服务器地址、视频排版、录制模式、录制格式等等。

这些App的相关配置是通过后台各自配置，然后存到数据库中的，信令服务器对这些配置进行读取和管理。信令服务器在整个音视频的架构中主要做的是人员的管理以及音视频资源的管理，包括一些App级别的配置管理等等。而混流服务器和录像服务如果想拿到对应App的相关配置，就需要请求信令服务器，拿到对应的App配置，然后进行相应的混流以及录像。

常见的信令服务器，例如，公开号为CN114710461A的中国专利申请提出一种多端音视频即时通讯方法，服务器与终端进行实时通信并将进行实时通信的多个终端聚集，创建房间统一管理，当有新终端加入房间时，则向房间内其他终端发送新终端的socket Id，各终端之间，服务器和终端之间均通过信令进行交互。

这一过程会不断耦合信令服务器和音视频服务器，增加了复杂的数据交互过程和信令服务器的负担，影响了媒体播放系统的性能和用户的体验。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明提供了一种用于解耦信令服务器和音视频服务器的系统和方法，以部分的或全部解决上述技术问题。

本发明的一个方面，提供了一种用于解耦信令服务器和音视频服务器的系统，包括媒体发布客户端、信令服务器、音视频服务器和混流服务器，其中，

媒体发布客户端，被配置为向信令服务器发送加入直播房间的请求信令；接收信令服务器返回的令牌数据和加入直播房间的应答信息；将令牌数据发送至音视频服务器；

信令服务器，被配置为响应请求信令，查询媒体发布客户端对应的混流配置信息和混流服务器地址，将该混流配置信息和混流服务器地址写入令牌数据，将该令牌数据和加入直播房间的应答信息一起返回至媒体发布客户端；

音视频服务器，被配置为接收并解析媒体发布客户端发送的令牌数据，获取混流配置信息和混流服务器地址；将混流配置信息发送至混流服务器；

混流服务器，被配置为接收音视频服务器发送的混流配置信息，根据混流配置信息对来自媒体发布客户端的媒体流进行混流。

进一步的，上述系统还包括录像服务器；

信令服务器，被进一步配置为查询媒体发布客户端对应的录像配置信息和录像服务器地址，将该录像配置信息和录像服务器地址写入令牌数据，将该令牌数据返回至媒体发布客户端；

音视频服务器，被进一步配置为接收并解析媒体发布客户端发送的令牌数据，获取录像配置信息和录像服务器地址；将录像配置信息发送至录像服务器；

录像服务器，被配置为接收音视频服务器发送的录像配置信息，根据录像配置信息对媒体流进行录制。

进一步的，混流配置信息包括混流的分辨率、排版模式和码率。

进一步的，音视频服务器，被进一步配置为接收媒体发布客户端发送的多路媒体流；响应混流服务器的请求，将多路媒体流发送至混流服务器。

进一步的，混流服务器，被进一步配置为接收音视频服务器发送的多路媒体流，根据混流配置信息对多路媒体流进行混流。

本发明的第二方面，还提供了一种用于解耦信令服务器和音视频服务器的方法，包括：

媒体发布客户端向信令服务器发送加入直播房间的请求信令；

信令服务器响应请求信令，查询媒体发布客户端对应的混流配置信息和混流服务器地址，将该混流配置信息和混流服务器地址写入令牌数据，将该令牌数据和加入直播房间的应答信息一起返回至媒体发布客户端；

媒体发布客户端接收信令服务器返回的令牌数据和加入直播房间的应答信息，并将令牌数据发送至音视频服务器；

音视频服务器接收并解析媒体发布客户端发送的令牌数据，获取混流配置信息和混流服务器地址，将混流配置信息发送至混流服务器；

混流服务器接收音视频服务器发送的混流配置信息，根据混流配置信息对媒体流进行混流。

进一步的，信令服务器查询媒体发布客户端对应的录像配置信息和录像服务器地址，将该录像配置信息和录像服务器地址写入令牌数据，将该令牌数据返回至媒体发布客户端；

音视频服务器接收并解析媒体发布客户端发送的令牌数据，获取录像配置信息和录像服务器地址，将录像配置信息发送至录像服务器；

录像服务器接收音视频服务器发送的录像配置信息，根据录像配置信息对来自媒体发布客户端的媒体流进行录制。

进一步的，音视频服务器接收媒体发布客户端发送的多路媒体流；

响应混流服务器的请求，将多路媒体流发送至混流服务器。

进一步的，混流服务器接收音视频服务器发送的多路媒体流，根据混流配置信息对多路媒体流进行混流。

进一步的，混流配置信息包括混流的分辨率、排版模式和码率。

本发明提供的一种用于解耦信令服务器和音视频服务器的系统和方法，使得客户端进入直播房间后，客户端和音视频服务器的所有交互都不再需要信令服务器的介入，实现了信令服务器和音视频服务器的解耦，减轻了信令服务器的负担，改善了媒体播放系统的性能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是本申请一个实施例提供的用于解耦信令服务器和音视频服务器的系统的结构示意图；

图2是本申请另一个实施例提供的用于解耦信令服务器和音视频服务器的方法的逻辑流程图；

图3是本申请另一个实施例提供的用于解耦信令服务器和音视频服务器的方法的另一逻辑流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”“所述”和“该”也旨在包括多数形式，除非上下文清楚的表示其他含义。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述获取模块，但这些获取模块不应限于这些术语。这些术语仅用来将获取模块彼此区分开。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似的，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要注意的是，本发明实施例所描述的“上”“下”“左”“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本发明实施例的限定。此外在上下文中，还需要理解的是，当提到一个元件被形成在另一个元件“上”或“下”时，其不仅能够直接形成在另一个元件“上”或者“下”，也可以通过中间元件间接形成在另一元件“上”或者“下”。

本发明为了解决App的相关配置参数传递导致信令服务器和音视频服务器耦合度增强以及信令服务器负担加重的技术问题，采用了以下技术方案，主要技术构思是：通过信令服务器生成一串加密过的字符串,该加密字符串被称为令牌，令牌中包含了App的配置参数，如混流服务和录像服务等的配置，令牌最终会传给混流服务器和录像服务器，混流服务器和录像服务器通过解密该令牌，进而拿到相关的配置，从而实现了音视频服务器和信令服务器的解耦。

具体的，参见图1，本发明一个实施例提供了一种用于解耦信令服务器和音视频服务器的系统100，该系统100包括至少一个媒体发布客户端101、信令服务器102、音视频服务器103和混流服务器104，其中，音视频服务器103分别与媒体发布客户端101、信令服务器102和混流服务器104通信连接。

在网络直播或视频会议场景下，一个直播用户在开播时首先要调用信令加入到直播的房间, 这个信令是由信令服务器来处理的。具体的，至少一个媒体发布客户端101即主播的App用于向信令服务器102发送创建/加入直播房间的请求信令，其它媒体订阅客户端106向信令服务器102发送加入直播房间的请求信令；还用于接收信令服务器102返回的令牌数据和加入直播房间的应答信息；进一步用于将令牌数据发送至音视频服务器103。

需要指出的，本实施例的令牌数据以token字符串为例进行说明。token是在客户端频繁向服务端请求数据，服务端频繁的去数据库查询用户名和密码并进行对比，判断用户名和密码正确与否，并做出相应提示的背景下产生的，其是服务端生成的一串字符串，作为向客户端进行请求的一个令牌，当第一次登录后，服务器生成一个token便将此token返回给客户端，以后客户端只需带上这个token前来请求数据即可，无需再次带上用户名和密码。

信令服务器102用于：响应请求信令，查询媒体发布客户端101即该App对应的混流配置信息和混流服务器地址，将该混流配置信息和混流服务器地址写入token中，将token混入直播房间的应答信息，返回至媒体发布客户端101。

需要指出的是，混流配置信息包括但不限于混流的分辨率、排版模式、码率等内容。直播房间的应答信息包括房间的ID信息（标识信息）。

音视频服务器103，用于接收并解密媒体发布客户端101发送的令牌数据，获取混流配置信息和混流服务器地址；将混流配置信息按照混流服务器地址发送至相应的混流服务器104。进一步的，音视频服务器103还接收至少一个媒体发布客户端101发来的多路媒体流，响应混流服务器104的请求，将多路媒体流发送至混流服务器104。

混流服务器104，用于接收音视频服务器103发送的混流配置信息和多路媒体流，根据混流配置信息对多路媒体流进行混流。进一步的，响应媒体订阅客户端106（观众端App）的请求，混流服务器104将混流后的媒体流转发至媒体订阅客户端106。

更进一步的，本实施例的用于解耦信令服务器和音视频服务器的系统100还包括录像服务器（图中未示出）。

该实施例中的信令服务器102被进一步用于：查询媒体发布客户端101对应的录像配置信息和录像服务器地址，将该录像配置信息和录像服务器地址写入token，将token返回至媒体发布客户端101。

该实施例中的音视频服务器103进一步用于接收并解析媒体发布客户端101发送的token，获取录像配置信息和录像服务器地址；将录像配置信息发送至录像服务器。

录像服务器，用于接收音视频服务器103发送的录像配置信息，根据录像配置信息对媒体流进行录制。本实施例中的录像配置信息包括但不限于视频排版、录制模式、录制格式等。

本发明的另一实施例还提供了一种用于解耦信令服务器和音视频服务器的方法，该方法能够被上述实施例中的用于解耦信令服务器和音视频服务器的系统执行，其实现原理和技术效果与系统类似。

参见图2，本实施例的一种用于解耦信令服务器和音视频服务器的方法包括如下步骤，步骤序号只是用来区分各个步骤，并不表示各个步骤之间存在严格的次序上的关系。

步骤S201，媒体发布客户端向信令服务器发送加入直播房间的请求信令。

具体的，在网络直播或视频会议场景下，一个直播用户在开播时首先要调用信令加入到直播的房间, 这个信令是由信令服务器来处理的。该步骤中，至少一个媒体发布客户端（主播的App）向信令服务器发送创建/加入直播房间的请求信令，其它媒体订阅客户端106向信令服务器102发送加入直播房间的请求信令。

步骤S202，信令服务器响应所述请求信令，查询媒体发布客户端对应的混流配置信息和混流服务器地址，将该混流配置信息和混流服务器地址写入令牌数据，将该令牌数据和加入直播房间的应答信息一起返回至媒体发布客户端；

具体的，响应请求信令，信令服务器从外接数据库或服务器上查询媒体发布客户端101，即该App对应的混流配置信息和混流服务器地址，将该混流配置信息和混流服务器地址写入token中，将token混入直播房间的应答信息，返回至媒体发布客户端101。

其中，混流配置信息包括但不限于混流的分辨率、排版模式、码率等内容，直播房间的应答信息包括房间的ID信息（标识信息）。

需要指出的，本实施例的令牌数据以token字符串为例进行说明。token是在客户端频繁向服务端请求数据，服务端频繁的去数据库查询用户名和密码并进行对比，判断用户名和密码正确与否，并做出相应提示的背景下产生的，其是服务端生成的一串字符串，作为向客户端进行请求的一个令牌，当第一次登录后，服务器生成一个token便将此token返回给客户端，以后客户端只需带上这个token前来请求数据即可，无需再次带上用户名和密码。

步骤S203，媒体发布客户端接收信令服务器返回的令牌数据和加入直播房间的应答信息，并将令牌数据发送至音视频服务器；

具体的，媒体发布客户端（主播App）接收从信令服务器返回的token和直播房间的ID标识，创建/加入房间完毕。开始直播后，主播App将多路媒体流和token一起发送至音视频服务器。媒体流可以是视频流、音频流或内容流的一种或多种。

步骤S204，音视频服务器接收并解析媒体发布客户端发送的令牌数据，获取混流配置信息和混流服务器地址，将混流配置信息发送至混流服务器。

具体的，音视频服务器接收主播App发送的多路媒体流和token数据，并对token进行解析，获取token中的混流配置信息和混流服务器地址，并按照混流服务器地址，将混流配置信息和多路媒体流发送至相应的混流服务器。

步骤S205，混流服务器接收音视频服务器发送的混流配置信息，根据混流配置信息对媒体流进行混流。

具体的，混流服务器接收视频服务器发送的混流配置信息和多路媒体流，根据混流配置信息对多路媒体流进行混流。

更进一步的，参见图3，本实施例还包括如下步骤：

步骤S206，信令服务器查询媒体发布客户端对应的录像配置信息和录像服务器地址，将该录像配置信息和录像服务器地址写入令牌数据，将该令牌数据返回至媒体发布客户端；

具体的，在云录像场景中，信令服务器在收到媒体发布客户端的请求后，查询外接数据库或服务器存储器，获取媒体发布客户端对应的录像配置信息和录像服务器地址，将该录像配置信息和录像服务器地址写入token，并将token返回至媒体发布客户端。该步骤中的录像配置信息包括但不限于视频排版、录制模式、录制格式等。

步骤S207，音视频服务器接收并解析媒体发布客户端发送的令牌数据，获取录像配置信息和录像服务器地址，将录像配置信息发送至录像服务器。

具体的，音视频服务器接收主播App发送的token数据，并对token进行解析，获取token中的录像配置信息和录像服务器地址，并按照录像服务器地址，将录像配置信息发送至相应的录像服务器。

步骤S208，录像服务器接收音视频服务器发送的录像配置信息，根据录像配置信息对来自媒体发布客户端的媒体流进行录制。

本发明的上述用于解耦信令服务器和音视频服务器的系统和方法，使客户端和音视频服务器的所有交互都不再需要信令服务器的介入，实现了信令服务器和音视频服务器的解耦，减轻了信令服务器的负担，改善了媒体播放系统的性能。

以上描述仅为本发明的较佳实施例。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于解耦信令服务器和音视频服务器的系统，其特征在于，包括媒体发布客户端、信令服务器、音视频服务器和混流服务器，其中，

所述媒体发布客户端，被配置为向信令服务器发送加入直播房间的请求信令；接收所述信令服务器返回的令牌数据和加入直播房间的应答信息；将所述令牌数据发送至所述音视频服务器；

所述信令服务器，被配置为响应所述请求信令，查询所述媒体发布客户端对应的混流配置信息和混流服务器地址，将所述混流配置信息和混流服务器地址写入所述令牌数据，将所述令牌数据和加入直播房间的应答信息一起返回至所述媒体发布客户端；

所述音视频服务器，被配置为接收并解析所述媒体发布客户端发送的令牌数据，获取所述混流配置信息和混流服务器地址；将所述混流配置信息发送至所述混流服务器；

所述混流服务器，被配置为接收所述音视频服务器发送的混流配置信息，根据所述混流配置信息对来自所述媒体发布客户端的媒体流进行混流。

2.根据权利要求1所述的一种用于解耦信令服务器和音视频服务器的系统，其特征在于：

该系统还包括录像服务器；

所述信令服务器，被进一步配置为查询所述媒体发布客户端对应的录像配置信息和录像服务器地址，将所述录像配置信息和录像服务器地址写入令牌数据，将所述令牌数据返回至所述媒体发布客户端；

所述音视频服务器，被进一步配置为接收并解析所述媒体发布客户端发送的令牌数据，获取所述录像配置信息和录像服务器地址；将所述录像配置信息发送至所述录像服务器；

所述录像服务器，被配置为接收所述音视频服务器发送的录像配置信息，根据所述录像配置信息对媒体流进行录制。

3.根据权利要求1所述的一种用于解耦信令服务器和音视频服务器的系统，其特征在于，所述混流配置信息包括混流的分辨率、排版模式和码率。

4.根据权利要求1所述的一种用于解耦信令服务器和音视频服务器的系统，其特征在于，所述音视频服务器，被进一步配置为接收所述媒体发布客户端发送的多路媒体流；响应所述混流服务器的请求，将所述多路媒体流发送至所述混流服务器。

5.根据权利要求4所述的一种用于解耦信令服务器和音视频服务器的系统，其特征在于，所述混流服务器，被进一步配置为接收所述音视频服务器发送的多路媒体流，根据所述混流配置信息对所述多路媒体流进行混流。

6.一种用于解耦信令服务器和音视频服务器的方法，其特征在于，包括：

媒体发布客户端向信令服务器发送加入直播房间的请求信令；

信令服务器响应所述请求信令，查询所述媒体发布客户端对应的混流配置信息和混流服务器地址，将所述混流配置信息和混流服务器地址写入令牌数据，将所述令牌数据和加入直播房间的应答信息一起返回至所述媒体发布客户端；

媒体发布客户端接收所述信令服务器返回的令牌数据和加入直播房间的应答信息，并将所述令牌数据发送至所述音视频服务器；

音视频服务器接收并解析所述媒体发布客户端发送的令牌数据，获取所述混流配置信息和混流服务器地址，将所述混流配置信息发送至所述混流服务器；

混流服务器接收所述音视频服务器发送的混流配置信息，根据所述混流配置信息对媒体流进行混流。

7.根据权利要求6所述的一种用于解耦信令服务器和音视频服务器的方法，其特征在于，还包括：

所述信令服务器查询所述媒体发布客户端对应的录像配置信息和录像服务器地址，将所述录像配置信息和录像服务器地址写入令牌数据，将所述令牌数据返回至所述媒体发布客户端；

所述音视频服务器接收并解析所述媒体发布客户端发送的令牌数据，获取所述录像配置信息和录像服务器地址，将所述录像配置信息发送至录像服务器；

所述录像服务器接收所述音视频服务器发送的录像配置信息，根据所述录像配置信息对来自所述媒体发布客户端的媒体流进行录制。

8.根据权利要求6所述的一种用于解耦信令服务器和音视频服务器的方法，其特征在于，还包括：

所述音视频服务器接收所述媒体发布客户端发送的多路媒体流；

响应所述混流服务器的请求，将所述多路媒体流发送至所述混流服务器。

9.根据权利要求8所述的一种用于解耦信令服务器和音视频服务器的方法，其特征在于，还包括：

所述混流服务器接收所述音视频服务器发送的多路媒体流，根据所述混流配置信息对所述多路媒体流进行混流。

10.根据权利要求6所述的一种用于解耦信令服务器和音视频服务器的方法，其特征在于，所述混流配置信息包括混流的分辨率、排版模式和码率。

Images