CN117640979A - 一种直播视频的传输方法及装置 - Google Patents

Abstract

本发明提供了一种直播视频的传输方法及装置，用于传输直播设备的视频数据至用户客户端，传输方法由服务器执行，且传输方法中的所有消息格式均基于SRT传输协议，传输方法包括：响应于接收到客户端发出的直播请求，根据直播请求中的直播设备ID下发服务器的地址给直播设备，以使直播设备登录服务器；直播设备登录后，将直播设备的直播地址发送给客户端；响应于接收到客户端发出的直播发起指令，通知直播设备开始推送直播视频流；以及接收直播设备推送的直播视频流，并转发至客户端以完成直播视频的传输。

Description

一种直播视频的传输方法及装置

技术领域

本发明涉及安防监控领域，尤其涉及一种直播视频的传输方法及装置。

背景技术

随着视频监控平台的发展，接入平台的监控设备数量达到数千万。为了提升视频出流速度，减少直播视频传输过程中TCP协议固有的三次握手，现有技术中，监控设备通常以TCP长连接的方式与流媒体服务器进行交互。也就是说，在该种技术方式下，尽管当前没有用户观看，监控设备与服务器之间仍保持着TCP连接。

然而，随着监控设备与流媒体服务器的连接越来越多，导致服务器内存资源的浪费也就越来越多。此外，现有技术中服务器的调度服务根据流媒体最小连接数进行调度，使得直播设备与流媒体服务器保持连接，但又不出流到流媒体服务器，导致调度服务无法对流媒体服务进行最小直播路数的均衡调度，继而导致部分流媒体服务负载过高。进一步地，在网络波动明显、丢包率高的环境下，再通过传统的rtsp、rtmp进行直播，会导致卡顿、花屏、无法直播等问题的出现。

为了克服现有技术存在的上述缺陷，本领域亟需一种直播视频的传输方法及装置，用于降低直播视频传输过程中占用的内存资源，均衡流媒体服务器的负载，降低网络抖动对直播视频传输的影响，实现监控直播视频的流畅播放，提升用户体验。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为了克服现有技术存在的上述缺陷，本发明提供了一种直播视频的传输方法，用于传输直播设备的视频数据至用户客户端，该传输方法由服务器执行，且该传输方法中的所有消息格式均基于SRT传输协议，该传输方法可以包括：响应于接收到客户端发出的直播请求，根据该直播请求中的直播设备ID下发该服务器的地址给该直播设备，以使该直播设备登录该服务器；该直播设备登录后，将该直播设备的直播地址发送给该客户端；响应于接收到该客户端发出的直播发起指令，通知该直播设备开始推送直播视频流；以及接收该直播设备推送的直播视频流，并转发至该客户端以完成该直播视频的传输。

在一实施例中，优选地，该传输方法还可以包括：响应于接收到该客户端发出的直播停止指令，向该直播设备下发停止推送通知；接收该直播设备返回的停止确认并转发至该客户端；以及断开与该客户端及该直播设备之间的通信连接。

在一实施例中，优选地，该服务器中部署有调度服务和多个流媒体服务，该传输方法还可以包括：在接收该客户端发出的直播请求之前，该多个流媒体服务向该调度服务注册保活并上报各自的负载。

在一实施例中，优选地，该服务器中还部署有信令服务，该响应于接收到客户端发出的直播请求，下发该服务器的地址给该直播设备，可以包括：该信令服务接收到该客户端发出的直播请求后，问询该调度服务以获取当前负载最小的流媒体服务并返回给该信令服务；该信令服务下发该当前负载最小的流媒体服务的地址给该直播设备，以使该直播设备登录该流媒体服务。

在一实施例中，优选地，该直播设备登录后，将该直播设备的直播地址发送给该客户端，可以包括：当该直播设备成功登录该当前负载最小的流媒体服务后，该流媒体服务返回确认消息至该直播设备；以及该信令服务接收到该直播设备发出的流媒体登录成功确认消息后，返回该直播设备的直播地址。

在一实施例中，优选地，该服务器中还部署有音视频汇聚服务，该响应于接收到客户端发出的直播请求，下发该服务器的地址给该直播设备，还可以包括：由该音视频汇聚服务接收该客户端发出的直播请求，再转发至该信令服务；以及该信令服务基于该直播请求获取到当前负载最小的流媒体服务后，返回该直播设备的直播地址至该音视频汇聚服务，继而再转发至该客户端。

在一实施例中，优选地，该响应于接收到该客户端发出的直播发起指令，通知该直播设备开始推送直播视频流，可以包括：由该当前负载最小的流媒体服务接收该客户端发出的直播发起指令，并通知该直播设备开始推送直播视频流；该接收该直播设备推送的直播视频流，并转发至该客户端以完成该直播视频的传输，包括：该当前负载最小的流媒体服务接收到该客户端发出的推流通知收到确认消息后，继续接收该直播设备推送的直播视频流，并转发至该客户端。

在一实施例中，优选地，该响应于接收到该客户端发出的直播停止指令，向该直播设备下发停止推送通知，可以包括：由该当前负载最小的流媒体服务接收该客户端发出的直播停止指令，并向该直播设备下发停止推送通知；该接收该直播设备返回的停止确认并转发至该客户端，包括：由该当前负载最小的流媒体服务接收该直播设备返回的停止确认并转发至该客户端。

本发明的另一方面还提供了一种直播视频的传输装置，包括：存储器；以及与该存储器耦接的处理器，该处理器配置用于执行如上文中任一项所描述的直播视频的传输方法。

本发明还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上文中任一项所描述的直播视频的传输方法。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1是根据本发明的一方面绘示的直播视频的传输方法的方法流程示意图；

图2是根据本发明的一实施例绘示的直播视频的传输方法的消息流程示意图；以及

图3是根据本发明的另一方面绘示的直播视频的传输装置的装置结构示意图。

附图标记

201 客户端

2021 音视频汇聚服务

2022 信令服务

2023 调度服务

2024a、2024b 流媒体服务

203 直播设备

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

为了克服现有技术存在的上述缺陷，本发明提供了一种直播视频的传输方法及装置，用于降低直播视频传输过程中占用的内存资源，均衡流媒体服务器的负载，降低网络抖动对直播视频传输的影响，实现监控直播视频的流畅播放，提升用户体验。

图1是根据本发明的一方面绘示的直播视频的传输方法的方法流程示意图。

请参照图1，本发明提供的直播视频的传输方法，用于传输直播设备的视频数据至用户客户端，该传输方法由服务器执行，且该传输方法中的所有消息格式均基于SRT传输协议，该传输方法100可以包括：

步骤101：响应于接收到客户端发出的直播请求，根据该直播请求中的直播设备ID下发该服务器的地址给该直播设备，以使该直播设备登录该服务器；

步骤102：该直播设备登录后，将该直播设备的直播地址发送给该客户端；

步骤103：响应于接收到该客户端发出的直播发起指令，通知该直播设备开始推送直播视频流；以及

步骤104：接收该直播设备推送的直播视频流，并转发至该客户端以完成该直播视频的传输。

SRT传输协议，全称安全可靠传输协议(Secure Reliable Transport)，是一种基于UDT协议的开源互联网传输协议，是当前非常受欢迎的开源低延迟视频传输协议，其解决了复杂的传输时序问题，可以减少延迟，消除中心瓶颈，并降低网络成本。

相较于现有技术中多采用TCP协议进行直播视频的传输，本发明提供的直播视频传输方法采用SPR传输协议，可以显著降低流媒体服务器的内存成本。现有技术中为了提升直播出流速度，采用直播设备与流体服务器连接不断开的方式以减少TCP协议固有的3次握手。因而流媒体服务器会为一个直播设备的TCP连接分配大约4M(IO)内存。

然而，如今网络上存在上千万的监控设备，随着越来越多的监控设备进行直播，TCP连接越来越多，例如1000个设备连接就需要4G内存，假设现网有700多个监控设备，就需要2800G的内存。而使用SRT传输协议，就可以在不与流媒体服务器保持连接的情况下快速出流，直播结束后，SRT连接也随之结束，不占长期占用流媒体服务内存资源。.

除此以外，使用SRT协议还可以提升直播设备的出流质量。通过SRT协议，可以使得设备直播的延迟小于1秒，同时丢包率在[10％,60％]的区间内，依然保持良好的直播画面，而基于TCP实现的RTSP、RTMP、HLS则无法播放。

在一优选的实施例中，本发明提供的直播视频的传输方法还可以包括：响应于接收到该客户端发出的直播停止指令，向该直播设备下发停止推送通知；接收该直播设备返回的停止确认并转发至该客户端；以及断开与该客户端及该直播设备之间的通信连接。

在直播停止后断开客户端、直播设备与服务器之间的连接，可以提升流媒体设备直播均衡调度，降低服务压力。现有技术中为了提升直播出流速度，在停止直播后，不断开设备与流媒体服务的连接，导致流媒体无法按照连接数准确地上报直播路数，进而导致调度服务无法均衡调度。

本发明提供的直播视频的传输方法，在客户端直播结束后，流媒体服务向直播设备下发停止推流指令，直播设备收到指令停止推流后便断开与流媒体服务的SRT连接，因而与流媒体服务保持SRT连接都是正在推流的直播设备，可以使得流媒体直播调度更均衡。

在一优选的实施例中，本发明提供的直播视频的传输方法，该服务器中部署有调度服务和多个流媒体服务，该传输方法还可以包括：在接收该客户端发出的直播请求之前，该多个流媒体服务向该调度服务注册保活并上报各自的负载。

进一步，更优地，该服务器中还部署有信令服务，该响应于接收到客户端发出的直播请求，下发该服务器的地址给该直播设备，可以包括：该信令服务接收到该客户端发出的直播请求后，问询该调度服务以获取当前负载最小的流媒体服务并返回给该信令服务；该信令服务下发该当前负载最小的流媒体服务的地址给该直播设备，以使该直播设备登录该流媒体服务。

与此同时，在本发明一优选的实施例中，该直播设备登录后，将该直播设备的直播地址发送给该客户端，可以包括：当该直播设备成功登录该当前负载最小的流媒体服务后，该流媒体服务返回确认消息至该直播设备；以及该信令服务接收到该直播设备发出的流媒体登录成功确认消息后，返回该直播设备的直播地址。

进一步，优选地，该服务器中还部署有音视频汇聚服务，该响应于接收到客户端发出的直播请求，下发该服务器的地址给该直播设备，还可以包括：由该音视频汇聚服务接收该客户端发出的直播请求，再转发至该信令服务；以及该信令服务基于该直播请求获取到当前负载最小的流媒体服务后，返回该直播设备的直播地址至该音视频汇聚服务，继而再转发至该客户端。

在一优选的实施例中，本发明提供的直播视频的传输方法中，该响应于接收到该客户端发出的直播发起指令，通知该直播设备开始推送直播视频流，可以包括：由该当前负载最小的流媒体服务接收该客户端发出的直播发起指令，并通知该直播设备开始推送直播视频流。相应地，该接收该直播设备推送的直播视频流，并转发至该客户端以完成该直播视频的传输，也可以包括：该当前负载最小的流媒体服务接收到该客户端发出的推流通知收到确认消息后，继续接收该直播设备推送的直播视频流，并转发至该客户端。

在本发明一优选的实施例中，该响应于接收到该客户端发出的直播停止指令，向该直播设备下发停止推送通知，可以包括：由该当前负载最小的流媒体服务接收该客户端发出的直播停止指令，并向该直播设备下发停止推送通知。相应地，该接收该直播设备返回的停止确认并转发至该客户端，包括：由该当前负载最小的流媒体服务接收该直播设备返回的停止确认并转发至该客户端。

图2是根据本发明的一实施例绘示的直播视频的传输方法的消息流程示意图，图2清楚地展示了上述传输方法的消息流程。

在图2所示的实施例中，本发明提供的直播视频的传输方法基于SRT协议按照图2所示的以下流程进行消息的传输：

S1：流媒体服务2024a向调度服务2023注册和负载上报；

S2：客户端201向音视频汇聚服务2021请求SRT直播地址；

S3：音视频汇聚服务2021向信令服务2022请求SRT直播地址；

S4：信令服务2022向调度服务2023请求负载最小的流媒体服务，例如图2中流媒体服务2024b；

S7：调度服务2023给信令服务2022返回负载最小的流媒体服务；

S8：信令服务2022给直播设备203下发流媒体服务2024b的地址；

S9：设备收到流媒体服务2024b地址后，向流媒体服务2024b发起登录请求，并成功登录流媒体服务2024b；

S10：直播设备203给信令服务2022返回成功登录流媒体服务2024b的应答消息；

S10：信令服务2022给音视频汇聚服务2021返回SRT直播地址；

S11：音视频汇聚服务2021给客户端201返回SRT直播地址；

S12：客户端201向流媒体服务2024b发起SRT直播请求；

S13：流媒体服务2024b查找直播设备203的SRT连接，并向直播设备203发起SRT推流请求；

S12：直播设备203向流媒体服务2024b推送SRT视频流；

S13：流媒体服务2024b向客户端201转发SRT视频到客户端201；

S14：客户端201播放SRT视频流；

S15：客户端201向流媒体服务2024b发送停止播放SRT视频消息；

S16：流媒体服务2024b查找直播设备203SRT连接，并向直播设备203发起停止SRT推流请求消息；

S17：直播设备203停止SRT推流，并断开与流媒体服务2024b连接。

可以看到，本发明提供的直播视频的传输方法，采用SRT传输协议替代了传统的TCP协议，解决了流媒体服务器内存资源占用、负载不均衡、网络抖动直播质量差问题。需要说明的是，以上消息流程仅为示例性的说明，旨在给出一个本发明的直播视频的传输方法的优选示例，以清除阐述本发明如何基于SRT协议实现监控设备直播视频的传输，而非用于限制本发明的保护范围。

除此以外，在具体实现上，传输网络的服务器在原来基础上可以增设SRT服务模块和SRT传输模块，客户端与直播设备上亦增设相应的SRT模块。

其中，SRT服务模块用于负责SRT连接的管理，当客户端发起SRT连接时，该模块收到连接接入通知，并以对象的形式保存该连接信息到内存，并接收通过该连接传输的网络数据。当连接断开时，清除该连接对象以及释放与该对象申请的相关资源。而SRT传输模块用于负责应用层数据网络的io操作，客户端可以通过该模块写入直播请求、停止等应用层数据，然后通过SRT信道传输到另一端。

客户端中的SRT模块用于负责与SRT服务端建立通信连接和自定义协议通信。当SRT客户端与服务建立连接后，可以使用SRT连接通道发起请求视频直播、停止视频直播等指令操作，同时也可以通过此通道接收音视频流。

直播设备中的SRT模块负责接收经协议解释后的视频流和分发。每一个设备流对应唯一一个视频源，在代码层面，每一个视频源可以对应多个消费者。例如，客户端A过来请求视频时，首先确定该请求的视频是否有对应的视频源，如果没有则创建视频，并为该客户端分配一个消费者，客户端通过消费者获取来自视频源的视频流。而当客户端B请求同样的视频流时，视频源会为客户端B分配另一个消费者，客户端B通过此消费者获取视频流。视频流输入到视频源，视频源将流分发到对应的消费者实现视频分发。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

图3是根据本发明的另一方面绘示的直播视频的传输装置的装置结构示意图。

根据本发明的另一方面，本文还提供了一种直播视频的传输装置300的实施例。

如图3所示，本实施例提供的上述直播视频的传输装置300可以包括存储器301，以及耦接至该存储器301的处理器302。该处理器302可以配置用于实现上述任意一种直播视频的传输方法。

根据本发明的另一方面，本文还提供了一种计算机存储介质的实施例。

该计算机存储介质上存储有计算机程序。该计算机程序被处理器执行时，可以实现上述任意一种直播视频的传输方法的步骤。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

本案描述的处理器可使用电子硬件、计算机软件或其任何组合来实现。此类处理器是实现为硬件还是软件将取决于具体应用和加诸于系统的整体设计约束。作为示例，本公开中呈现的处理器、处理器的任何部分、或处理器的任何组合可用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立的硬件电路、以及配置成执行贯穿本公开描述的各种功能的其他合适的处理组件来实现。本公开中呈现的处理器、处理器的任何部分、或处理器的任何组合的功能性可用由微处理器、微控制器、DSP或其他合适的平台执行的软件来实现。。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种直播视频的传输方法，用于传输直播设备的视频数据至用户客户端，所述传输方法由服务器执行，且所述传输方法中的所有消息格式均基于SRT传输协议，所述传输方法包括：

响应于接收到客户端发出的直播请求，根据所述直播请求中的直播设备ID下发所述服务器的地址给所述直播设备，以使所述直播设备登录所述服务器；

所述直播设备登录后，将所述直播设备的直播地址发送给所述客户端；

响应于接收到所述客户端发出的直播发起指令，通知所述直播设备开始推送直播视频流；以及

接收所述直播设备推送的直播视频流，并转发至所述客户端以完成所述直播视频的传输。

2.如权利要求1所述的传输方法，其特征在于，所述传输方法还包括：

响应于接收到所述客户端发出的直播停止指令，向所述直播设备下发停止推送通知；

接收所述直播设备返回的停止确认并转发至所述客户端；以及

断开与所述客户端及所述直播设备之间的通信连接。

3.如权利要求2所述的传输方法，其特征在于，所述服务器中部署有调度服务和多个流媒体服务，所述传输方法还包括：

在接收所述客户端发出的直播请求之前，所述多个流媒体服务向所述调度服务注册保活并上报各自的负载。

4.如权利要求3所述的传输方法，其特征在于，所述服务器中还部署有信令服务，所述响应于接收到客户端发出的直播请求，下发所述服务器的地址给所述直播设备，包括：

所述信令服务接收到所述客户端发出的直播请求后，问询所述调度服务以获取当前负载最小的流媒体服务并返回给所述信令服务；

所述信令服务下发该当前负载最小的流媒体服务的地址给所述直播设备，以使所述直播设备登录该流媒体服务。

5.如权利要求4所述的传输方法，其特征在于，所述直播设备登录后，将所述直播设备的直播地址发送给所述客户端，包括：

当所述直播设备成功登录该当前负载最小的流媒体服务后，该流媒体服务返回确认消息至所述直播设备；以及

所述信令服务接收到所述直播设备发出的流媒体登录成功确认消息后，返回所述直播设备的直播地址。

6.如权利要求5所述的传输方法，其特征在于，所述服务器中还部署有音视频汇聚服务，所述响应于接收到客户端发出的直播请求，下发所述服务器的地址给所述直播设备，还包括：

由所述音视频汇聚服务接收所述客户端发出的直播请求，再转发至所述信令服务；以及

所述信令服务基于所述直播请求获取到当前负载最小的流媒体服务后，返回所述直播设备的直播地址至所述音视频汇聚服务，继而再转发至所述客户端。

7.如权利要求4所述的传输方法，其特征在于，所述响应于接收到所述客户端发出的直播发起指令，通知所述直播设备开始推送直播视频流，包括：由该当前负载最小的流媒体服务接收所述客户端发出的直播发起指令，并通知所述直播设备开始推送直播视频流；

所述接收所述直播设备推送的直播视频流，并转发至所述客户端以完成所述直播视频的传输，包括：该当前负载最小的流媒体服务接收到所述客户端发出的推流通知收到确认消息后，继续接收所述直播设备推送的直播视频流，并转发至所述客户端。

8.如权利要求4所述的传输方法，其特征在于，所述响应于接收到所述客户端发出的直播停止指令，向所述直播设备下发停止推送通知，包括：由该当前负载最小的流媒体服务接收所述客户端发出的直播停止指令，并向所述直播设备下发停止推送通知；

所述接收所述直播设备返回的停止确认并转发至所述客户端，包括：由该当前负载最小的流媒体服务接收所述直播设备返回的停止确认并转发至所述客户端。

9.一种直播视频的传输装置，包括：

存储器；以及

与所述存储器耦接的处理器，所述处理器配置用于执行如权利要求1～8中任一项所述的直播视频的传输方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～8中任一项所述的直播视频的传输方法。