CN113766277A - 多路直播流切换装置、方法和系统 - Google Patents

Abstract

本申请涉及多路直播流切换装置、方法和系统，其中多路直播流切换装置包括直播流地址调度单元、直播流接入单元、直播流汇集单元和矩阵管理单元，其中，直播流地址调度单元将多路直播流分别标记直播流标识信息并为多路直播流分配相应的直播流接入单元，其中，直播流标识信息包括汇集直播流的目标地址；直播流接入单元根据多路直播流的目标地址，将多路直播流转发至对应的直播流汇集单元，采集并上传多路直播流相关状态信息至矩阵管理单元；矩阵管理单元根据多路直播流相关状态信息，确定是否切换直播流；直播流汇集单元根据矩阵管理单元的直播流切换指令，输出切换指令指定的目标直播流。根据本申请的方案，能够方便快捷地实现对多路直播流的切换。

Description

多路直播流切换装置、方法和系统

技术领域

本申请涉及音视频直播领域，尤其涉及一种多路直播流切换装置、方法和系统。

背景技术

目前，在一般的直播应用场景中，包含了推流端采集画面和声音、推流端编码、推流端网络传输、服务端集群对直播流转码和分发、观看端拉流、观看端解码和渲染等过程。这个过程中，即使存在多个推流端，但一条直播流地址的内容只能包含一个推流端的采集的画面和声音，推流端和观看端都无法灵活地选择和切换。例如：一场直播的推流端包括一个主持人推流端和一个嘉宾推流端，并且两人分隔两地，如何在过程中控制两人轮流主讲，并将当前主讲人的画面声音作为直播流内容。

对于上述问题，现有技术尚未有便捷且低成本的切换控制方案。

发明内容

基于此，本申请提供了一种多路直播流切换装置、方法和系统。

根据本申请的第一个方面，提供一种多路直播流切换装置，该装置包括直播流地址调度单元、直播流接入单元、直播流汇集单元和矩阵管理单元，其中，

所述直播流地址调度单元用于将多路直播流分别标记直播流标识信息并为所述多路直播流分配相应的直播流接入单元，其中，所述直播流标识信息包括汇集直播流的目标地址；

所述直播流接入单元用于接收所述多路直播流，根据所述多路直播流的所述目标地址，将所述多路直播流转发至所述目标地址对应的直播流汇集单元，采集多路直播流相关状态信息并将所述多路直播流相关状态信息上传所述矩阵管理单元；

所述矩阵管理单元用于接收切换相应直播流汇集单元处的直播流的控制指令，根据所述多路直播流相关状态信息，确定是否切换直播流；

所述直播流汇集单元用于根据所述矩阵管理单元的直播流切换指令，输出所述切换指令指定的目标直播流。

根据本申请的第二个方面，提供一种切换多路直播流的方法，包括：

通过直播流地址调度单元将多路直播流分别标记直播流标识信息，其中，所述直播流标识信息包括汇集直播流的目标地址；

通过直播流接入单元将所述多路直播流转发至所述目标地址对应的直播流汇集单元；

通过所述直播流接入单元采集所述多路直播流的相关状态信息；

通过所述矩阵管理单元接收切换直播流的控制指令，所述控制指令指示对相应直播流汇集单元的多路直播流进行切换；

通过所述矩阵管理单元根据所述相关状态信息确定是否切换直播流；以及

响应于所述矩阵管理单元的直播流切换指令，通过所述直播流汇集单元输出所述切换指令指定的目标直播流。

根据本申请的第三个方面，提供一种多路直播流切换系统，其包括：直播推流端、直播观看端和如第一方面所述的多路直播流切换装置，其中：

所述直播推流端用于采集、编码、封装并向多路直播流切换装置推送音视频直播流；以及

所述直播观看端用于从所述多路直播流切换装置拉取直播输出流，解码以及播放。

根据本申请提出的多路直播流切换装置、方法和系统，能够方便快捷地实现对多路直播流的切换，且实现方式简单，成本低。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1是根据本申请实施例的切换多路直播流的系统结构示意图。

图2是根据本申请实施例的多路直播流切换装置结构示意图。

图3是根据本申请实施例的切换多路直播流的方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决背景技术部分描述的如何对主持人和嘉宾的推流端的切换进行控制的问题，发明人考虑了三种切换推流端的直播流的方式：

1、按顺序轮流推流。即保证同一时间只存在一个推流端，当需要切换主讲画面时，当前主讲停止推流，改由下一个主讲推流。缺点是两人之间需要保持实时通信和协作，以防出现冲突和差错；

2、使用多个流地址同时推流。即每个推流端分配不同的直播流地址并同时推流，然后由观众端选择播放当前主讲对应的直播流地址。缺点是观看端数量众多，管理复杂，且多个直播流分别录制到多个视频文件中，无法合成回放；

3、采用导播台的形式。多个终端使用多个流地址同时推流，使用导播台拉取全部视频源，并控制导播画面输出值唯一的直播中。缺点是成本较高。

上述三种切换方式在协调性、复杂度和成本上存在不足，对此，发明人还提出一种切换多路直播流的方案，该方案能够同时管理多个直播间，可以实现对多个直播间的直播内容或直播画面分别进行管理和切换。首先，通过各个直播间的标识，将属于同一个直播间的多个直播流分配相同的目标地址，根据相同的目标地址，属于同一个直播间的多个直播流会被转发至相同的位置，同时，采集多个直播流的相关状态信息，当接收到外部对于该直播间所包含的多个直播流的切换控制指令时，首先根据多个直播流的相关状态信息判断是否能够进行切换，当能够进行切换时，根据切换控制指令，将该直播间的直播流切换至目标直播流，从而完成多个直播流的切换。

图1是根据本申请实施例的切换多路直播流的系统结构示意图。如图1所示，该系统包括多个直播推流端11和12，（例如RTMP直播推流端），多路直播流切换装置2以及直播观看端31和32。其中，直播推流端11和12采集、编码、封装并向多路直播流切换装置推送音视频直播流；多路直播流切换装置2用于向直播观看端推送多路直播流，例如，可推送至CDN（Content Delivery Network，内容分发网络），实现音视频分发，多路直播流切换装置2还用于根据用户输入的切换控制指令，对所接收的多路直播流进行切换，将属于同一个直播间的多路直播流从一个切换至另一个；直播观看端31和32，可以包含RTMP网络播放器，负责从多路直播流切换装置拉取直播输出流，解码以及播放。

在图1所示的实施例中，直播推流端和直播观看端的数量分别为两个，本领域及人员可以知道的是，直播推流端和直播观看端的数量可以为任意个。

图2是根据本申请实施例的多路直播流切换装置结构示意图。如图2所示，该多路直播流切换装置2包括推流地址调度单元21、直播流接入单元22、直播流汇集单元23和矩阵管理单元24。

直播流地址调度单元21用于将多路直播流分别标记直播流标识信息并为所述多路直播流分配相应的直播流接入单元22，其中，所述直播流标识信息包括汇集直播流的目标地址。也就是说，一方面，直播流接入单元22的数量可以是多个，直播流地址调度单元21为多路直播流分配相应的直播流接入单元22，所标记直播流标识信息中包括直播流接入单元22的地址信息，分配相应的直播流接入单元22一般是根据直播推流端的地理位置，分配就近的直播流接入单元22，从而提高网络利用率和传输质量。另一方面，直播流汇集单元23的数量可以是多个，直播流地址调度单元21为多路直播流分配直播流汇集单元23，将属于同一个直播间的多路直播流分配至相同的直播流汇集单元23，在每个直播流的标识信息中标识直播流汇集单元的地址，即直播流的目标地址。

此外，在为每个直播流标记的直播流标识信息中，还包括直播流域名、直播流名称和直播流的推流端的身份标识，用于标识该直播流属于哪一个直播间的直播流，以及该直播流在该直播间中身份，例如是由哪个主播或嘉宾的直播。

直播推流端11和12根据直播流地址调度单元21为直播流标记的直播流接入单元22的地址信息，将直播流推入对应的直播流接入单元22。直播流接入单元22用于接收多路直播流，根据多路直播流的目标地址，将多路直播流转发至目标地址对应的直播流汇集单元23；并且，直播流接入单元22采集多路直播流相关状态信息并将所采集的多路直播流相关状态信息上传矩阵管理单元。其中，直播流相关状态信息包括直播流是否正处于正常推流状态、是否已转发至直播流汇集单元和转发至哪个直播流汇集单元23。直播流相关状态信息用于向矩阵管理单元24表明各个直播流是否在正常推流（例如，是否被关闭、中断或下线等），是否转发至直播流汇集单元以及转发至哪个直播流汇集单元。这些信息使得矩阵管理单元24能够实时掌握各个直播流的状态，并且，矩阵管理单元24在执行切换控制指令时，会根据直播流相关状态信息来确定是否向直播流汇集单元23发送切换命令。直播流相关状态信息还可以包括直播流码率、直播流帧率、直播流分辨率等。

矩阵管理单元24用于接收切换相应直播流汇集单元处的直播流的控制指令，根据多路直播流相关状态信息，确定是否切换直播流。矩阵管理单元24在收到外部的切换控制指令后，会根据所接收的直播流相关状态信息判断当前直播间是否可以进行切换。如果可以进行切换，向直播流汇集单元23发送直播流切换指令；而如果不可以进行切换，例如切换的目标直播流处于中断状态或下线的状态，或者目标直播流没有按照预期转发至对应的直播流汇集单元23，此时进行切换没有意义，矩阵管理单元24会忽视该切换控制指令，可以向外部反馈不能执行该切换控制指令的原因，从而不会向直播流汇集单元23发送直播流切换指令。

如果矩阵管理单元24确认可以进行切换，向直播流汇集单元23发送直播流切换指令，直播流汇集单元23根据该直播流切换指令，输出所述切换指令指定的目标直播流。

在直播流汇集单元23执行直播流切换指令的过程中，如果直接将当前直播流切换为目标直播流，通常会导致直播观看端在一段时间内出现花屏，影响用户的观看体验。针对这一情况，在直播流汇集单元23输出目标直播流的过程中：首先缓存该目标直播流的一个关键帧间隔内的音视频数据，具体来说缓存该目标直播流的最接近当前切换时刻间隔的上一个关键帧至当前切换时刻间隔内的音视频数据，然后从该关键帧开始输出目标直播流的音视频数据。直播流关键帧是为了便于直播观看端3对直播流进行解码，直播观看端3在捕获到关键帧后，就能够正确对该直播流进行解码。

例如，关键帧在直播流中是间隔2秒出现一次，当前播放的直播流是A，需要切换到直播流B，在第9秒出现了直播流B的关键帧，在第10秒时需要执行直播流切换，直播流汇集单元会缓存直播流B第9秒的关键帧，第10秒切换直播流B的时候，会输出第9秒的关键帧，以及9-10秒之间的音视频数据。

通过在直播流切换过程中缓存目标直播流关键帧的方式，能够保证在直播流切换时声音和画面的无缝衔接，提升了用户体验。

另外，多路直播流切换装置还可以包括直播录制单元25，负责从直播流汇集单元拉取直播间的最终输出流，并录制为视频文件（例如MP4文件）进行存储。其中录制下来的画面和声音，与直播过程的实际情况保持一致。

需要注意的是，图2中，推流地址调度单元21、直播流接入单元22、直播流汇集单元23、矩阵管理单元24和直播录制单元25的数量显示为一个，然而，本领域技术人员可以理解这些单元的数量可以为任意个。

图3是根据本申请实施例的切换多路直播流的方法流程图。如图3所示，该方法包括如下步骤。

步骤S301，通过直播流地址调度单元将多路直播流分别标记直播流标识信息。

直播流地址调度单元21用于将多路直播流分别标记直播流标识信息并为所述多路直播流分配相应的直播流接入单元22，其中，所述直播流标识信息包括汇集直播流的目标地址。也就是说，一方面，直播流接入单元22的数量可以是多个，直播流地址调度单元21为多路直播流分配相应的直播流接入单元22，所标记直播流标识信息中包括直播流接入单元22的地址信息，分配相应的直播流接入单元22一般是根据直播推流端的地理位置，分配就近的直播流接入单元22，从而提高网络利用率和传输质量。另一方面，直播流汇集单元23的数量可以是多个，直播流地址调度单元21为多路直播流分配直播流汇集单元23，将属于同一个直播间的多路直播流分配至相同的直播流汇集单元23，在每个直播流的标识信息中标识直播流汇集单元的地址，即直播流的目标地址。

此外，在为每个直播流标记的直播流标识信息中，还包括直播流域名、直播流名称和直播流的推流端的身份标识，用于标识该直播流属于哪一个直播间的直播流，以及该直播流在该直播间中身份，例如是由哪个主播或嘉宾的直播。

步骤S302，通过直播流接入单元将多路直播流转发至目标地址对应的直播流汇集单元。

直播推流端11和12根据直播流地址调度单元21为直播流标记的直播流接入单元22的地址信息，将直播流推入对应的直播流接入单元22。直播流接入单元22用于接收多路直播流，根据多路直播流的目标地址，将多路直播流转发至目标地址对应的直播流汇集单元23。

步骤S303，通过直播流接入单元采集多路直播流的相关状态信息。

直播流接入单元22采集多路直播流相关状态信息并将所采集的多路直播流相关状态信息上传矩阵管理单元。其中，直播流相关状态信息包括直播流是否正处于正常推流状态、是否已转发至直播流汇集单元和转发至哪个直播流汇集单元23。直播流相关状态信息用于向矩阵管理单元24表明各个直播流是否在正常推流（例如，是否被关闭、中断或下线等），是否转发至直播流汇集单元以及转发至哪个直播流汇集单元。这些信息使得矩阵管理单元24能够实时掌握各个直播流的状态，并且，矩阵管理单元24在执行切换控制指令时，会根据直播流相关状态信息来确定是否向直播流汇集单元23发送切换命令。

步骤S304，通过矩阵管理单元接收切换直播流的控制指令，控制指令指示对相应直播流汇集单元的多路直播流进行切换。

步骤S305，通过矩阵管理单元根据相关状态信息确定是否切换直播流。

矩阵管理单元24用于接收切换相应直播流汇集单元处的直播流的控制指令，根据多路直播流相关状态信息，确定是否切换直播流。矩阵管理单元24在收到外部的切换控制指令后，会根据所接收的直播流相关状态信息判断当前直播间是否可以进行切换。如果可以进行切换，向直播流汇集单元23发送直播流切换指令；而如果不可以进行切换，例如切换的目标直播流处于中断状态或下线的状态，或者目标直播流没有按照预期转发至对应的直播流汇集单元23，此时进行切换没有意义，矩阵管理单元24会忽视该切换控制指令，可以向外部反馈不能执行该切换控制指令的原因，从而不会向直播流汇集单元23发送直播流切换指令。

步骤S306，响应于矩阵管理单元的直播流切换指令，通过直播流汇集单元输出切换指令指定的目标直播流。

如果矩阵管理单元24确认可以进行切换，向直播流汇集单元23发送直播流切换指令，直播流汇集单元23根据该直播流切换指令，输出所述切换指令指定的目标直播流。

在直播流汇集单元23执行直播流切换指令的过程中，如果直接将当前直播流切换为目标直播流，通常会导致直播观看端在一段时间内出现花屏，影响用户的观看体验。针对这一情况，在直播流汇集单元23输出目标直播流的过程中：首先缓存该目标直播流的一个关键帧间隔内的音视频数据，具体来说缓存该目标直播流的最接近当前切换时刻间隔的上一个关键帧至当前切换时刻间隔内的音视频数据，然后从该关键帧开始输出目标直播流的音视频数据。直播流关键帧是为了便于直播观看端3对直播流进行解码，直播观看端3在捕获到关键帧后，就能够正确对该直播流进行解码。

通过在直播流切换过程中缓存目标直播流关键帧的方式，能够保证在直播流切换时声音和画面的无缝衔接，提升了用户体验。

通过本申请的多路直播流切换装置、方法和系统，能够方便快捷地实现对多路直播流的切换，且实现方式简单，成本低。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种多路直播流切换装置，该装置包括直播流地址调度单元、直播流接入单元、直播流汇集单元和矩阵管理单元，其中，

所述直播流地址调度单元用于将多路直播流分别标记直播流标识信息并为所述多路直播流分配相应的直播流接入单元，其中，所述直播流标识信息包括汇集直播流的目标地址；

所述直播流接入单元用于接收所述多路直播流，根据所述多路直播流的所述目标地址，将所述多路直播流转发至所述目标地址对应的直播流汇集单元，采集多路直播流相关状态信息并将所述多路直播流相关状态信息上传所述矩阵管理单元；

所述矩阵管理单元用于接收切换相应直播流汇集单元处的直播流的控制指令，根据所述多路直播流相关状态信息，确定是否切换直播流；

所述直播流汇集单元用于根据所述矩阵管理单元的直播流切换指令，输出所述切换指令指定的目标直播流。

2.如权利要求1所述的多路直播流切换装置，其中，所述直播流相关状态信息包括直播流是否正处于正常推流状态、是否已转发至直播流汇集单元和转发至哪个直播流汇集单元。

3.如权利要求1或2所述的多路直播流切换装置，其中，所述直播流标识信息还包括直播流域名、直播流名称和直播流的推流端的身份标识。

4.如权利要求1或2所述的多路直播流切换装置，其中，所述直播流汇集单元输出所述切换指令指定的目标直播流包括：

缓存所述目标直播流的一个关键帧间隔内的音视频数据；以及

从所述关键帧开始输出目标直播流的音视频数据。

5.如权利要求1或2所述的多路直播流切换装置，还包括直播录制单元，用于录制所述直播流汇集单元输出的直播流。

6.一种切换多路直播流的方法，包括：

通过直播流地址调度单元将多路直播流分别标记直播流标识信息，其中，所述直播流标识信息包括汇集直播流的目标地址；

通过直播流接入单元将所述多路直播流转发至所述目标地址对应的直播流汇集单元；

通过所述直播流接入单元采集所述多路直播流的相关状态信息；

通过矩阵管理单元接收切换直播流的控制指令，所述控制指令指示对相应直播流汇集单元的多路直播流进行切换；

通过所述矩阵管理单元根据所述相关状态信息确定是否切换直播流；以及

响应于所述矩阵管理单元的直播流切换指令，通过所述直播流汇集单元输出所述切换指令指定的目标直播流。

7.如权利要求6所述的方法，其中，所述直播流相关状态信息包括直播流是否正处于正常推流状态、是否已转发至直播流汇集单元和转发至哪个直播流汇集单元。

8.如权利要求6或7所述的方法，其中，所述直播流标识信息还包括直播流域名、直播流名称和直播流的推流端的身份标识。

9.如权利要求6或7所述的方法，其中，所述通过所述直播流汇集单元输出所述切换指令指定的目标直播流包括：

通过所述直播流汇集单元缓存所述目标直播流的一个关键帧间隔内的音视频数据并且从所述关键帧开始输出目标直播流的音视频数据。

10.一种多路直播流切换系统，其包括：直播推流端、直播观看端和如权利要求1至5任一者所述的多路直播流切换装置，其中：

所述直播推流端用于采集、编码、封装并向多路直播流切换装置推送音视频直播流；以及

所述直播观看端用于从所述多路直播流切换装置拉取直播输出流，解码以及播放。

Images