CN115734028A - 一种基于级联编码的媒体流推送方法及系统 - Google Patents

Abstract

一种基于级联编码的媒体流推送方法，包括：主播端开启互动直播功能，信令服务器创建一个互动房间；主播端向加入互动房间的第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收并解码后将自身媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁；第一互动观众端向第二互动观众端发送媒体帧M₁，第二互动观众端接收并解码后将自身媒体帧M_2o与媒体帧M₁再次拼接，编码为新媒体帧M₂；第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端将M_i推送至推流服务器；推流服务器将M_i推送给所有互动用户端，并分发给所有场外观众端。本发明还包括一种基于级联编码的媒体流推送系统。

Description

一种基于级联编码的媒体流推送方法及系统

技术领域

本发明涉及媒体流推送领域，尤其涉及一种基于级联编码的媒体流推送方法及系统。

背景技术

随着流媒体技术的发展，在线直播在连麦PK、远程教育、直播带货等领域大放光彩，并逐渐从PC端扩展到移动端。上述三种场景都涉及了媒体帧合成这一功能，使得观众能观看到主播与连麦用户同屏的媒体帧。现有技术中，有三类方案用于实现直播过程中的媒体帧合成。

1)云端合流模式。该模式下，主播与连麦用户会将各自的媒体帧推送至合流服务器，合流服务器将各端的独立媒体帧分别解码，并重新编码成一路视频流，然后将合成媒体帧推送至推流服务器。该模式增大了业务方的运营成本，随着用户量的增加，编码资源也要及时跟进部署，且对于合流服务器来说，下行带宽的压力也很大。

2)主播合流模式。该模式下，主播会与连麦用户分别建立RTC实时通讯连接，主播端获取到所有连麦用户的媒体帧后，重新编码进行媒体帧合成，然后将合成媒体帧推送至推流服务器。该模式对主播端硬件要求较高，不断增加的连麦用户会线性增加主播的下行带宽以及编解码资源的消耗。

3)SFU(Selective Forwarding Unit选择性转发单元)模式。该模式主要用于用户数不大的场景，如小班授课。该模式下，主播及连麦用户通过SFU进行星型连接，各端的媒体帧由SFU进行转发，各端可以选择性接收其他端的媒体帧，并在本端进行媒体帧合成。该模式对用户的下行带宽及编解码资源要求较高，带宽、编解码资源的消耗与观看媒体帧的数量成正比。

上述三种方案的编解码及带宽资源的负载压力分别处在服务中的一方(运营方、主播、观众)，对单一终端性能要求高、资源消耗大。因此，传统的媒体流推送方法具有很大的改进空间。

发明内容

为克服上述现有技术中存在的问题，本发明提供了一种基于级联编码的媒体流推送方法及系统，均摊了因媒体帧合成造成的编解码及带宽压力，有效利用连麦观众的编解码及带宽能力，提高了资源利用率。

为实现上述方法，本发明采用的技术方案如下：

一种基于级联编码的媒体流推送方法，包括以下步骤：

步骤S1：主播端开启互动直播功能，信令服务器将创建一个互动房间，等待互动观众端加入。

步骤S2：至少第一互动观众端加入互动房间，主播端向第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收主播端媒体帧M₀，解码后将第一互动观众端自身采集的媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁。

步骤S3：若加入互动的互动观众端数量大于1，则至少第二互动观众端加入房间，第一互动观众端向第二互动观众端发送第一互动观众端与主播端拼接编码后的媒体帧M₁，第二互动观众端接收第一互动观众端与主播端拼接编码后的媒体帧M₁，解码后将第二互动观众端自身媒体帧M_2o与第一互动观众端和主播端拼接编码后的媒体帧M₁再次拼接，编码为新媒体帧M₂。

步骤S4：第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端接收M_i，主播端停止向推流服务器推送媒体帧M_i-1，并将M_i推送至推流服务器。

步骤S5：推流服务器将M_i推送给所有互动用户端，并通过CDN内容分发网络将M_i分发给所有场外观众端。

进一步地，所诉步骤S1中，主播端开启互动直播功能后，信令服务器将建立一个基于RTC实时通讯的互动房间，后续所有互动观众端都将加入该房间进行SDP会话描述协议交互，进而建立RTC实时媒体流传输连接。

进一步地，所诉步骤S2、S3、S4中，主播端、第一互动观众端、……、第i互动观众端(i＝1,2,3,……,N)形成单向环路RTC实时媒体流传输连接，主播端与推流服务器形成一路RTC实时媒体流传输连接。

进一步地，所诉步骤S2中：

第一互动观众端使用自身设备资源对主播端媒体帧M₀进行解码，该解码包括图像帧V₀解码和音频帧A₀解码。

第一互动观众端使用自身设备资源对主播端媒体帧M₀以及自身媒体帧M_1o进行拼接，该拼接过程包括图像帧V₀、V_1o的拼接和音频帧A₀、A_1o的叠加。

进一步地，所诉步骤S3中：

若加入互动的互动观众端数量大于1，则：

第i互动观众端使用自身设备资源对第i-1互动观众端发送的媒体帧M_i-1进行解码，该解码包括图像帧V_i-1解码和音频帧A_i-1解码。

第i互动观众端使用自身设备资源对第i-1互动观众端发送的媒体帧M_i-1以及自身采集的媒体帧M_io进行拼接，该拼接过程包括图像帧V_i-1、V_io的拼接和音频帧A_i-1、A_io的叠加。

进一步地，所诉步骤S2、S3中，媒体帧的拼接方式为：

图像帧：画面布局由初始布局协议指定，该初始布局协议由主播端进行设置。

音频帧：进行线性叠加并钳位。

进一步地，所述步骤S4、S5中，主播端将媒体帧M_i推送至推流服务器，推流服务通过转码模块将RTC流转换为RTMP流，并由推流模块将RTMP流推送至CDN进行分发。

基于级联编码的媒体流推送系统，包括主播端、互动观众端、场外观众端、信令服务器、CDN服务器以及推流服务器：

主播端开启互动直播功能，信令服务器将创建一个互动房间，等待互动观众端加入；

至少第一互动观众端加入互动房间，主播端向第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收主播端媒体帧M₀，解码后将第一互动观众端自身采集的媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁；

若加入互动的互动观众端数量大于1，则至少第二互动观众端加入房间，第一互动观众端向第二互动观众端发送第一互动观众端与主播端拼接编码后的媒体帧M₁，第二互动观众端接收第一互动观众端与主播端拼接编码后的媒体帧M₁，解码后将第二互动观众端自身媒体帧M_o2与第一互动观众端和主播端拼接编码后的媒体帧M₁再次拼接，编码为新媒体帧M₂；

第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端接收M_i，主播端停止向推流服务器推送媒体帧M_i-1，并将M_i推送至推流服务器；推流服务器将M_i推送给所有互动用户端，并通过CDN将M_i分发给所有场外观众端。

进一步地，所述主播端和互动观众端具备编解码能力，场外观众端具备解码能力。

根据权利要求7所述的基于级联编码的媒体流推送系统，其特征在于，所述推流服务器包括转码模块和推流模块。

转码模块：用于将RTC流转换为RTMP流。

推流模块：用于将RTMP流推送到互动用户端，以及CDN服务器。

本发明的工作原理是：以级联方式将分布于不同设备的编码器协同调用，将性能消耗较大的媒体帧拼接过程拆分为若干轻量任务，交由不同设备进行处理，以降低对单一设备的配置要求及资源消耗。

本发明的优势和有益效果在于：本发明使用级联思想，充分利用参与直播的互动观众的设备资源，有效使用其编解码及带宽能力，均摊了因媒体帧合成造成的编解码及带宽压力，降低互动直播对于运营方或主播方单一终端资源的消耗，提高了各终端的资源利用率，均衡化负载，降低直播成本。

附图说明

图1为本发明实施例中的方法流程图；

图2为本发明实施例中SDP协议交互以及RTC媒体传输的示意图；

图3为本发明实施例中画面布局的示例图；

图4为本发明实施例中的系统架构图；

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明提出了一种基于级联编码的媒体流推送方法，通过将互动观众的终端设备资源级联，以实现带宽及编码资源消耗的均摊化。具体步骤为：

步骤S1：主播端开启互动直播功能，信令服务器将创建一个互动房间，等待互动观众端加入。

具体地，主播端向信令服务器发起创建房间的请求，该请求中包含以下字段：直播间ID、画面布局。其中，直播间ID用于创建RTC实时通讯房间，该房间名与直播间ID同名。如图2所示，互动观众将以该直播间ID为索引，相互间进行SDP会话描述协议交互。画面布局用于规定该互动直播中主播端、第一互动观众端、……、第i互动观众端(i＝1,2,3,……,N)画面的布局方式，图3展示了两种常见的画面布局方式。该布局方式可在直播过程中由主播端实时修改。

步骤S2：至少第一互动观众端加入互动房间，主播端向第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收主播端媒体帧M₀，解码后将第一互动观众端自身采集的媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁。

具体地，当第一互动观众端选择加入互动房间时，第一互动观众端会向信令服务器发起加入互动房间的请求，该请求包含字段：直播间ID、互动观众ID。直播间用于查询该互动房间是否存在。如果不存在，信令服务器会返回消息告知第一互动观众端当前直播未开启互动功能；如果存在，信令服务器会记录该互动观众ID，将成功加入互动房间的消息以及画面布局方式告知第一互动观众，并准备开启SDP会话描述协议交互。

具体地，第一互动观众端收到信令服务器返回的成功加入互动房间的消息后，生成SDP offer，并将该offer发送至信令服务器。信令服务器接收到该offer后，进行本地SDP协议交互，并生成SDP answer，将该answer发送至第一互动观众端。第一互动观众端接收到该answer后，进行本地SDP协议交互。该SDP协议包含音频编码格式、视频编码格式、网络候选人、加密方式、网络质量控制策略等信息。至此，一个RTC实时通讯的准备工作已完成。

完成SDP会话描述协议交互后，主播端与第一互动观众端将建立单向实时媒体流传输连接。如果此时第一互动观众端是唯一一个处于互动房间的互动观众端，则第一互动观众端也会与主播端主播端建立单向实时媒体流传输连接。将自身采集的媒体帧M_0o编码后发送给第一互动观众端，该媒体帧M_0o包含图像帧V_0o和音频帧A_0o。第一互动观众端收取到编码后的媒体帧M₀，将其解码后获得图像帧V₀和音频帧A₀。第一互动观众端根据信令服务器发送的画面布局信息来进行画面拼接，将图像帧V₀与自身采集的图像帧图像帧V_1o拼接，生成图像帧V₁。并将音频帧A₀与自身采集的音频帧A_1o进行线性叠加，如果线性叠加的结果有溢出，则进行钳位，生成音频帧A₁。至此，媒体帧M₁已生成。

如果此时第一互动观众端是唯一一个处于互动房间的互动观众端，则第一互动观众端会将媒体帧M₁发送至主播端，主播端将媒体帧M₁转发推送至推流服务器。

步骤S3：若加入互动的互动观众端数量大于1，则至少第二互动观众端加入房间，第一互动观众端向第二互动观众端发送第一互动观众端与主播端拼接编码后的媒体帧M₁，第二互动观众端接收第一互动观众端与主播端拼接编码后的媒体帧M₁，解码后将第二互动观众端自身媒体帧M_2o与第一互动观众端和主播端拼接编码后的媒体帧M₁再次拼接，编码为新媒体帧M₂。

具体地，当第二互动观众端加入时，如果此时还未建立由第一互动观众端到主播端的单向实时媒体流传输连接，则第一互动观众端可直接与第二互动观众端建立单向实时媒体流传输连接，并进行媒体帧的传输拼接；此时此时已建立由第一互动观众端到主播端的单向实时媒体流传输连接，则首先断开第一互动观众端到主播端的单向实时媒体流传输连接，然后建立第一互动观众端到第二互动观众端的连接。最后，减低第二观众端到主播端的单向实时媒体流传输连接。

步骤S4：第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端接收M_i，主播端停止向推流服务器推送媒体帧M_i-1，并将M_i推送至推流服务器。

具体地，该步骤是对步骤S3的扩展，已该形式可扩展到第i互动观众端的加入。无论何时有新的第i互动观众端加入互动房间，此时第i-1互动观众端会断开其与主播端之间的单向媒体流传输连接，并与第i互动观众端建立单向媒体流传输连接。而第i互动观众端与主播端会建立新的单向媒体流传输连接，以保证整个环路RTC实时媒体流传输通道是处于联通的状态。

第i互动观众端向主播端发送的媒体帧M_i将会是所有互动观众端媒体帧的合集，包括：图像帧V_i是由图像帧V_i-1、V_io拼接而成，即图像帧V_0o、V_1o、……、V_io的合集。而拼接的布局在各互动观众端加入房间时由主播端定义的画面布局协议决定。音频帧A_i是由音频帧A_i-1、A_io叠加而成，即音频帧A_0o、A_1o、……、A_io的合集。叠加通过线性叠加实现，如果采样结果发生溢出，则进行钳位。为防止溢出，主播端会指定互动观众端的发言权限，只有拥有发言权限的互动观众端才会参与音频帧的叠加。

具体地，该画面布局以及发言权限可在互动直播过程中随时更改。主播端拥有画面布局和发言权限设置权力。主播端在对这两项设置字段进行修改时，会将修改结果通过信令服务器转发至互动房间内的所有互动观众端，互动观众端在接收到相应消息后实时进行本地配置，更改画面拼接布局，以及本端是否参与音频叠加。

步骤S5：推流服务器将M_i推送给所有互动用户端，并通过CDN内容分发网络将M_i分发给所有场外观众端。

具体地，主播端将媒体帧M_i推送至推流服务器，推流服务器接收到媒体帧M_i后将其进行协议转换，该转换过程将RTC协议转换至RTMP协议，保证了该媒体协议能够广泛适配CDN厂商。最后，推流服务器将转换后的媒体帧推送至所有互动用户端，该互动用户端包括：主播端、互动观众端，同时，将该媒体帧推送至CDN内容分发网络，让所有场外观众端能够就近拉取到直播媒体流。

与前述一种基于级联编码的媒体流推送方法的实施例相对应，本发明还提供了一种基于级联编码的媒体流推送系统的实施例。

参照图4，本发明实施例提供的基于级联编码的媒体流推送系统，包括主播端、互动观众端、场外观众端、信令服务器、CDN服务器以及推流服务器，用于实现上述实施例中的一种基于级联编码的媒体流推送方法。

本发明提供的基于级联编码的媒体流推送系统的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，任意具备数据处理能力的设备的一种硬件结构图，除了处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于级联编码的媒体流推送方法，其特征在于，所述方法包括以下步骤：

步骤S1：主播端开启互动直播功能，信令服务器将创建一个互动房间，等待互动观众端加入。

步骤S2：至少第一互动观众端加入互动房间，主播端向第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收主播端媒体帧M₀，解码后将第一互动观众端自身采集的媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁。

步骤S3：若加入互动的互动观众端数量大于1，则至少第二互动观众端加入房间，第一互动观众端向第二互动观众端发送第一互动观众端与主播端拼接编码后的媒体帧M₁，第二互动观众端接收第一互动观众端与主播端拼接编码后的媒体帧M₁，解码后将第二互动观众端自身媒体帧M_2o与第一互动观众端和主播端拼接编码后的媒体帧M₁再次拼接，编码为新媒体帧M₂。

步骤S4：第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端接收M_i，主播端停止向推流服务器推送媒体帧M_i-1，并将M_i推送至推流服务器。

步骤S5：推流服务器将M_i推送给所有互动用户端，并通过CDN将M_i分发给所有场外观众端。

2.根据权利要求1所述的一种基于级联编码的媒体流推送方法，其特征在于，步骤S1中，主播端开启互动直播功能后，信令服务器将建立一个基于RTC实时通讯的互动房间，后续所有互动观众端都将加入该房间进行SDP会话描述协议交互，进而建立RTC实时媒体流传输连接。

3.根据权利要求1所述的一种基于级联编码的媒体流推送方法，其特征在于，步骤S2、S3、S4中，主播端、第一互动观众端、……、第i互动观众端(i＝1,2,3,……,N)形成单向环路RTC实时媒体流传输连接，主播端与推流服务器形成一路RTC实时媒体流传输连接。

4.根据权利要求1所述的一种基于级联编码的媒体流推送方法，其特征在于，步骤S2中：

第一互动观众端使用自身设备资源对主播端媒体帧M₀进行解码，该解码包括图像帧V₀解码和音频帧A₀解码；

第一互动观众端使用自身设备资源对主播端媒体帧M₀以及自身媒体帧M_1o进行拼接，该拼接过程包括图像帧V₀、V_1o的拼接和音频帧A₀、A_1o的叠加。

5.根据权利要求1所述的基于级联编码的媒体流推送方法，其特征在于，步骤S3中：

若加入互动的互动观众端数量大于1，则：

第i互动观众端使用自身设备资源对第i-1互动观众端发送的媒体帧M_i-1进行解码，该解码包括图像帧V_i-1解码和音频帧A_i-1解码；

第i互动观众端使用自身设备资源对第i-1互动观众端发送的媒体帧M_i-1以及自身采集的媒体帧M_io进行拼接，该拼接过程包括图像帧V_i-1、V_io的拼接和音频帧A_i-1、A_io的叠加。

6.根据权利要求1所述的一种基于级联编码的媒体流推送方法，其特征在于，步骤S2、S3中，媒体帧的拼接方式为：

图像帧：画面布局由初始布局协议指定，该初始布局协议由主播端进行设置；

音频帧：进行线性叠加并钳位。

7.根据权利要求1所述的一种基于级联编码的媒体流推送方法，其特征在于，步骤S4、S5中，主播端将媒体帧M_i推送至推流服务器，推流服务通过转码模块将RTC流转换为RTMP流，并由推流模块将RTMP流推送至CDN进行分发。

8.使用权利要求1～6任意一项所述方法的基于级联编码的媒体流推送系统，其特征在于，包括主播端、互动观众端、场外观众端、信令服务器、CDN服务器以及推流服务器：

主播端开启互动直播功能，信令服务器将创建一个互动房间，等待互动观众端加入；

至少第一互动观众端加入互动房间，主播端向第一互动观众端发送主播端自身采集的媒体帧M_0o编码后的媒体帧M₀，第一互动观众端接收主播端媒体帧M₀，解码后将第一互动观众端自身采集的媒体帧M_1o与主播端媒体帧M₀进行拼接，编码为新媒体帧M₁；

若加入互动的互动观众端数量大于1，则至少第二互动观众端加入房间，第一互动观众端向第二互动观众端发送第一互动观众端与主播端拼接编码后的媒体帧M₁，第二互动观众端接收第一互动观众端与主播端拼接编码后的媒体帧M₁，解码后将第二互动观众端自身媒体帧M_2o与第一互动观众端和主播端拼接编码后的媒体帧M₁再次拼接，编码为新媒体帧M₂；

第i互动观众端(i＝1,2,3,……,N)向主播端发送第i互动观众端拼接编码后的媒体帧M_i，主播端接收M_i，主播端停止向推流服务器推送媒体帧M_i-1，并将M_i推送至推流服务器；

推流服务器将M_i推送给所有互动用户端，并通过CDN将M_i分发给所有场外观众端。

9.根据权利要求8所述的基于级联编码的媒体流推送系统，其特征在于，所述主播端和互动观众端具备编解码能力，场外观众端具备解码能力。

10.根据权利要求8所述的基于级联编码的媒体流推送系统，其特征在于，所述推流服务器包括转码模块和推流模块。

转码模块：将RTC流转换为RTMP流。

推流模块：将RTMP流推送到互动用户端，以及CDN服务器。

Images