CN112243027B - 一种基于集群技术解决海量媒体流分发问题的系统及方法 - Google Patents

一种基于集群技术解决海量媒体流分发问题的系统及方法 Download PDF

Info

Publication number
CN112243027B
CN112243027B CN202011069666.4A CN202011069666A CN112243027B CN 112243027 B CN112243027 B CN 112243027B CN 202011069666 A CN202011069666 A CN 202011069666A CN 112243027 B CN112243027 B CN 112243027B
Authority
CN
China
Prior art keywords
source
edge
cluster
media stream
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011069666.4A
Other languages
English (en)
Other versions
CN112243027A (zh
Inventor
程家明
孔繁东
周志祥
饶佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingtu Xinke Electronic Co ltd
Original Assignee
Wuhan Xingtu Xinke Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingtu Xinke Electronic Co ltd filed Critical Wuhan Xingtu Xinke Electronic Co ltd
Priority to CN202011069666.4A priority Critical patent/CN112243027B/zh
Publication of CN112243027A publication Critical patent/CN112243027A/zh
Application granted granted Critical
Publication of CN112243027B publication Critical patent/CN112243027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明公开了一种基于集群技术解决海量媒体流分发问题的系统及方法。所述系统包括：源站集群、边缘集群、负载均衡器、推流端和拉流端；所述方法包括以下步骤：边缘实例节点收到拉流端的拉流请求；边缘实例节点查询数据库，判断邻居边缘实例节点是否存在需要的源，若存在，边缘实例节点从有源的邻居边缘实例节点中选择最空闲的那个邻居边缘实例节点进行回源；否则直接从源站集群进行回源；回源成功后将媒体流转推给拉流端。本发明的有益效果是：将源站集群和边缘集群压缩到单节点进行部署，同时增加了边缘集群内部的二次转发能力，提升了媒体流分发的效率。

Description

一种基于集群技术解决海量媒体流分发问题的系统及方法
技术领域
本发明涉及海量媒体流分发领域，具体涉及一种基于集群技术解决海量媒体流分发问题的系统及方法。
背景技术
移动互联网时代，直播行业迎来高速发展。直播是通过视频形式输出内容与用户互动的音视频流媒体业务过程，当直播业务中用户访问量超大、突发流量时，容易造成服务器过载，在流媒体分发环节容易对其有效性和稳定性方面造成影响，需要增强服务器的分发能力。流媒体服务器上的流媒体分发处理过程分为以下三个环节：
源站(Origin)：音视频内容发布的原始站点，将资源分发到边缘(Edge)；
边缘(Edge)：缓存音视频内容的节点，将资源分发给终端用户；
回源：边缘实例节点在内容未缓存时向源站请求所需内容，源站将对应的流媒体转发到边缘的过程。
目前一般有以下两种服务器分发处理方案。
1.传统方案
源站和边缘都是独立部署，边缘进行多层部署，边缘回源方式为逐层回源，下层边缘向上层边缘回源，顶层向源站回源。而多源站通过固定ip部署，源站之间没有关联，边缘节点回源时需要根据固定ip回源(即静态回源)。这样的缺点是源站不容易扩展，添加源站时，需要通知所有边缘节点进行回源地址配置的更新，不能应对紧急突发流量。
2.SRS(Simple Realtime Server)方案
分别构建源站服务器集群和边缘服务器集群，更好的支持水平扩展，可以根据用户量随时调整服务器规模，支持较大规模的实时播放。SRS的回源是动态回源的方式，当边缘访问某个源站的时候，若该源站内没有所需资源，则会给边缘返回302重定向指令响应，并附上有请求资源的源站域名。动态回源机制可以避免静态回源机制带来的回源失败问题。该方案中的单层边缘节点对于处理海量分发的能力仍然有限。
发明内容
传统方案源站之间缺少关联无法应对紧急突发流量，SRS方案中单层边缘节点对于处理海量分发的能力仍然有限，鉴于以上技术问题，本发明在源站之间建立关联，将源站集群和边缘集群压缩到单节点进行部署，同时增加了边缘集群内部的二次转发能力。因此，本发明采取的技术方案为：提供了一种基于集群技术解决海量媒体流分发问题的系统及方法，能够进行高可靠海量媒体流的分发处理。
一种基于集群技术解决海量媒体流分发问题的系统，包括：源站集群、边缘集群、负载均衡器、推流端和拉流端；
所述源站集群由多个源站组成，所述边缘集群由多个边缘实例节点组成；
所述源站集群为媒体流发布的原始站点，负责推流端发送的媒体流的接收，并将媒体流分发到边缘集群；
所述边缘集群用于缓存媒体流的节点，负责将源站集群接收到的媒体流分发给拉流端的用户，边缘集群内部增加了二次转发能力，以提升媒体流分发的效率。
进一步地，所述源站集群和边缘集群都是在单节点内的多台物理机或者虚拟机上进行部署，通过内部局域网络进行回源；
所述负载均衡器包括上行负载均衡器和下行负载均衡器，上行负载均衡器用于上行负载均衡，将多个源均衡负载到多个源站上，下行负载均衡器用于下行负载均衡，将多个拉流请求加载到多个边缘实例节点上，进而形成边缘集群的下行流量均衡化。
推流端推送的媒体流称为源；
所述回源即边缘实例节点在媒体流未缓存时向源站集群请求所需媒体流的内容，源站集群将对应的流媒体转发到边缘集群的过程。
一种基于集群技术解决海量媒体流分发问题的方法，适用于一种基于集群技术解决海量媒体流分发问题的系统，具体包括以下步骤：
S1：所述边缘集群的边缘实例节点收到拉流端的拉流请求；
S2：所述边缘实例节点查询数据库，判断邻居边缘实例节点是否存在需要的源，若存在，执行步骤S3，否则，执行步骤S4；
S3：所述边缘实例节点从有源的邻居边缘实例节点中选择最空闲的那个邻居边缘实例节点进行回源；
S4：直接从源站集群进行回源；
S5：回源成功后将媒体流转推给拉流端。
进一步地，所述回源的方式为精准回源，边缘在回源之前会向数据库进行查询，获取该源所在源站的位置，然后直接向该源站回源；
本发明通过构建无状态源站集群和多层级边缘集群，以实现支持海量推流和海量拉流或分发，具有以下有益效果：
(1)将源站集群和边缘集群压缩到单节点进行部署，从而使单节点的媒体分发性能得到大幅度提升；
(2)边缘集群增加了内部二次转发能力，以支持海量媒体流的分发；相比SRS的单层边缘实例节点，本发明的回源方案可以增加n倍媒体分发能力(n为边缘实例节点的个数)；
(3)本发明中源站集群可以实现无状态化部署，媒体流信息均存储在数据库内，从而可以实现精准回源，提升回源效率，并且实现源站集群实例的高效利用。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于集群技术解决海量媒体流分发问题的系统结构图；
图2是本发明实施例中一种基于集群技术解决海量媒体流分发问题的方法流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，图1是本发明实施例中一种基于集群技术解决海量媒体流分发问题的系统结构图。
一种基于集群技术解决海量媒体流分发问题的系统，包括：源站集群、边缘集群、负载均衡器、推流端和拉流端；
所述源站集群由多个源站组成，所述边缘集群由多个边缘实例节点组成；
所述源站集群为媒体流发布的原始站点，负责推流端发送的媒体流的接收，并将媒体流分发到边缘集群；
所述边缘集群用于缓存媒体流的节点，负责将源站集群接收到的媒体流分发给拉流端的用户；
所述边缘集群内部增加了二次转发能力，以提升海量媒体流的分发效率。
所述源站集群和边缘集群都是在单节点内的多台物理机或者虚拟机上进行部署，通过内部局域网络进行回源；
推流端推送的媒体流称为源；
所述回源即边缘实例节点在媒体流未缓存时向源站集群请求所需媒体流的内容，源站集群将对应的流媒体转发到边缘集群的过程；
所述源站集群可以进行无状态化部署，媒体流信息均存储在数据库内；
所述回源方式为精准回源，边缘集群通过查询数据库获取源所在源站信息，从而直接向有源的源站回源，回源成功率达100％；
所述源站集群和边缘集群中的实例个数可以视推流数量和拉流数量进行灵活部署；
所述负载均衡器是通用的负载均衡器，包括上行负载均衡器和下行负载均衡器，上行负载均衡器用于上行负载均衡，将多个源均衡负载到多个源站上下行负载均衡器用于下行负载均衡，将多个拉流请求加载到多个边缘实例节点上，进而形成边缘实例的下行流量均衡化。
请参考图2，图2是本发明实施例中一种基于集群技术解决海量媒体流分发问题的方法流程图。
实施一种基于集群技术解决海量媒体流分发问题的方法，具体包括以下步骤：
S1：所述边缘集群的边缘实例节点收到拉流端的拉流请求；
S2：所述边缘实例节点查询数据库，判断邻居边缘实例节点是否存在需要的源，若存在，执行步骤S3，否则，执行步骤S4；
S3：所述边缘实例节点从有源的邻居边缘实例节点中选择最空闲的那个邻居边缘实例节点进行回源；
S4：直接从源站集群进行回源；
S5：回源成功后将媒体流转推给拉流端。
所述回源的方式为精准回源，边缘在回源之前会向数据库进行查询，获取该源所在源站的位置，然后直接向该源站回源；
本发明具有以下有益效果：
(1)将源站集群和边缘集群压缩到单节点进行部署，从而使单节点的媒体分发性能得到大幅度提升；
(2)边缘集群增加了内部二次转发能力，以支持海量媒体流的分发；相比SRS的单层边缘实例节点，本发明的回源方案可以增加n倍媒体分发能力(n为边缘实例节点的个数)；
(3)本发明中源站集群可以实现无状态化部署，媒体流信息均存储在数据库内，从而可以实现精准回源，提升回源效率，并且实现源站集群实例的高效利用。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于集群技术解决海量媒体流分发问题的系统，其特征在于，包括：源站集群、边缘集群、负载均衡器、推流端和拉流端；
所述源站集群由多个无状态源站组成，所述边缘集群由多个边缘实例节点组成；
所述源站集群为媒体流发布的原始站点，负责推流端发送的媒体流的接收，并将媒体流分发到边缘集群；
所述边缘集群用于缓存媒体流的节点，负责将源站集群接收到的媒体流分发给拉流端的用户；
所述边缘集群内部增加了二次转发能力，以提升媒体流分发的效率；
将源站集群和边缘集群压缩到单节点进行部署，通过内部局域网络进行回源。
2.根据权利要求1所述的一种基于集群技术解决海量媒体流分发问题的系统，其特征在于，
所述回源即边缘实例节点在媒体流未缓存时向源站集群请求所需媒体流的内容，源站集群将对应的流媒体转发到边缘集群的过程。
3.根据权利要求1所述的一种基于集群技术解决海量媒体流分发问题的系统，其特征在于，所述负载均衡器包括上行负载均衡器和下行负载均衡器，上行负载均衡器用于上行负载均衡，将多个源均衡负载到多个源站上，下行负载均衡器用于下行负载均衡，将多个拉流请求加载到多个边缘实例节点上，进而形成边缘集群的下行流量均衡化。
4.一种基于集群技术解决海量媒体流分发问题的方法，适用于任一项如权利要求1-3所述的一种基于集群技术解决海量媒体流分发问题的系统，其特征在于，具体包括以下步骤：
S1：所述边缘集群的边缘实例节点收到拉流端的拉流请求；
S2：所述边缘实例节点查询数据库，判断邻居边缘实例节点是否存在需要的源，若存在，执行步骤S3，否则，执行步骤S4；
S3：所述边缘实例节点从有源的邻居边缘实例节点中选择最空闲的那个邻居边缘实例节点进行回源；
S4：直接从源站集群进行回源；
所述回源的方式为精准回源，边缘在回源之前会向数据库进行查询，获取该源所在源站的位置，然后直接向该源站回源；
S5：回源成功后将媒体流转推给拉流端；
将源站集群和边缘集群压缩到单节点进行部署，通过内部局域网络进行回源。
5.根据权利要求4所述的一种基于集群技术解决海量媒体流分发问题的方法，其特征在于：
所述源为推流端推送的媒体流。
CN202011069666.4A 2020-09-30 2020-09-30 一种基于集群技术解决海量媒体流分发问题的系统及方法 Active CN112243027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011069666.4A CN112243027B (zh) 2020-09-30 2020-09-30 一种基于集群技术解决海量媒体流分发问题的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011069666.4A CN112243027B (zh) 2020-09-30 2020-09-30 一种基于集群技术解决海量媒体流分发问题的系统及方法

Publications (2)

Publication Number Publication Date
CN112243027A CN112243027A (zh) 2021-01-19
CN112243027B true CN112243027B (zh) 2023-04-07

Family

ID=74168625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011069666.4A Active CN112243027B (zh) 2020-09-30 2020-09-30 一种基于集群技术解决海量媒体流分发问题的系统及方法

Country Status (1)

Country Link
CN (1) CN112243027B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596105B (zh) * 2021-07-06 2023-12-26 深圳市华曦达科技股份有限公司 内容的获取方法、边缘节点及计算机可读存储介质
CN117082267B (zh) * 2023-10-13 2024-01-23 南京感动科技有限公司 一种高速公路全码流视频实时上云系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106888270A (zh) * 2017-03-30 2017-06-23 网宿科技股份有限公司 回源选路调度的方法和系统
CN109246224A (zh) * 2018-09-25 2019-01-18 麒麟合盛网络技术股份有限公司 Cdn系统的容器化部署方法及装置
WO2019057212A1 (zh) * 2017-09-22 2019-03-28 中兴通讯股份有限公司 Cdn节点内服务调度方法、装置、设备及存储介质
CN110493321A (zh) * 2019-07-24 2019-11-22 网宿科技股份有限公司 一种资源获取方法以及边缘调度系统、服务器
CN111263171A (zh) * 2020-02-25 2020-06-09 北京达佳互联信息技术有限公司 直播流的流媒体数据获取方法、边缘节点区域组网系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106888270A (zh) * 2017-03-30 2017-06-23 网宿科技股份有限公司 回源选路调度的方法和系统
WO2019057212A1 (zh) * 2017-09-22 2019-03-28 中兴通讯股份有限公司 Cdn节点内服务调度方法、装置、设备及存储介质
CN109542613A (zh) * 2017-09-22 2019-03-29 中兴通讯股份有限公司 一种cdn节点内服务调度的分配方法、装置及存储介质
CN109246224A (zh) * 2018-09-25 2019-01-18 麒麟合盛网络技术股份有限公司 Cdn系统的容器化部署方法及装置
CN110493321A (zh) * 2019-07-24 2019-11-22 网宿科技股份有限公司 一种资源获取方法以及边缘调度系统、服务器
CN111263171A (zh) * 2020-02-25 2020-06-09 北京达佳互联信息技术有限公司 直播流的流媒体数据获取方法、边缘节点区域组网系统

Also Published As

Publication number Publication date
CN112243027A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN106850581B (zh) 互动直播流媒体数据的分发备份方法、系统及服务器
CN100484069C (zh) 一种文件数据分发方法及相关设备
EP2281383B1 (en) Method and apparatus for pre-fetching data in a mobile network environment using edge data storage
CN112243027B (zh) 一种基于集群技术解决海量媒体流分发问题的系统及方法
CN101237429B (zh) 基于内容分发网络的流媒体直播系统、方法及装置
CN1981501A (zh) 调度内容文件的分发的方法和缓存服务器网络
EP1316901A2 (en) Content distribution system, description data distribution apparatus, content location management apparatus, data conversion apparatus, reception terminal apparatus, and content distribution method
CN114501073B (zh) 直播回源方法及装置
GB2477513A (en) Load balancing method between streaming servers based on weighting of connection and processing loads.
CN110300306B (zh) 基于rtmp协议直播流负载均衡方法
CN112543357B (zh) 一种基于dash协议的流媒体数据传输方法
CN112333108A (zh) 业务调度的方法及装置
CN101626385A (zh) 媒体服务方法及系统
US20140025838A1 (en) System and method of streaming data over a distributed infrastructure
CN111726646A (zh) 一种推送视频流的方法、装置、设备和存储介质
CN102055718A (zh) 一种在http streaming系统中实现分层请求内容的方法,装置和系统
CN105357281A (zh) 一种移动接入网分布式内容缓存访问控制方法及系统
CN107306279B (zh) 数据处理方法、内容分发网络节点和常驻网关
CN101980505A (zh) 一种基于3Tnet的视频点播的负载均衡方法
CN107925845B (zh) 用于高效内容递送的方法和装置
CN107920042A (zh) 一种直播间页面的优化传输方法和服务器
CN101635741A (zh) 分布式网络中查询资源的方法及其系统
KR20150096502A (ko) 콘텐츠 전달 네트워크들 및 사용자 장비들을 위한 효율적 캐시 선택
US20220070507A1 (en) Method for distributing audio/video stream in audio/video stream distribution system, and dynamic parent node
CN107438098B (zh) 一种动态内容分发方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A system and method based on cluster technology to solve the problem of massive media stream distribution

Effective date of registration: 20231226

Granted publication date: 20230407

Pledgee: Wuhan area branch of Hubei pilot free trade zone of Bank of China Ltd.

Pledgor: WUHAN XINGTU XINKE ELECTRONIC Co.,Ltd.

Registration number: Y2023980073771

PE01 Entry into force of the registration of the contract for pledge of patent right