CN111953538A - 一种基于大数据处理的cdn带宽调度系统 - Google Patents

一种基于大数据处理的cdn带宽调度系统 Download PDF

Info

Publication number
CN111953538A
CN111953538A CN202010760229.0A CN202010760229A CN111953538A CN 111953538 A CN111953538 A CN 111953538A CN 202010760229 A CN202010760229 A CN 202010760229A CN 111953538 A CN111953538 A CN 111953538A
Authority
CN
China
Prior art keywords
bandwidth
cdn node
cdn
task
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010760229.0A
Other languages
English (en)
Inventor
黄永权
李锦基
王勋
田华雨
符伟杰
骆新坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gold Sea Comm Corp
Original Assignee
Gold Sea Comm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gold Sea Comm Corp filed Critical Gold Sea Comm Corp
Priority to CN202010760229.0A priority Critical patent/CN111953538A/zh
Publication of CN111953538A publication Critical patent/CN111953538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于大数据处理的CDN带宽调度系统，包括：CDN节点监控单元、带宽调度管理中心和CDN节点带宽调度单元；所述CDN节点监控单元的输出端与带宽调度管理中心的输入端电性连接，且带宽调度管理中心的输出端与CDN节点带宽调度单元的输入端电性连接，所述CDN节点监控单元布置在CDN节点服务器上，且CDN节点监控单元用于实时对CDN节点服务器的状态进行监测和数据采集。本发明中，通过设置周期带宽处理单元和实时带宽处理单元即实现对CDN节点带宽进行周期调节，同时在CDN节点出现偶发任务时进行实时动态对CDN节点进行带宽调节，并对CDN节点偶发任务进行权重分析和队列维护，提高CDN响应效率，增强用户体验。

Description

一种基于大数据处理的CDN带宽调度系统
技术领域
本发明涉及CDN带宽调度处理技术领域，尤其涉及一种基于大数据处理的CDN带宽调度系统。
背景技术
CDN基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。
CDN带宽调度系统是用于对CDN各个节点的带宽进行调度管理的系统，目前CDN带宽调度系统多为更具CDN节点周期任务信息对CDN节点带宽进行周期调节，在出现偶发任务时无法及时合理的进行带宽调度。
发明内容
本发明的目的在于提供一种基于大数据处理的CDN带宽调度系统，实现对CDN节点进行周期性带宽调度，同时实现在出现偶发任务时对对CDN节点的带宽进行实时动态调整，并对偶发任务进行权重分析队列维护，提高用户体验。
为了实现上述目的，本发明采用了如下技术方案：一种基于大数据处理的CDN带宽调度系统，包括：CDN节点监控单元、带宽调度管理中心和CDN节点带宽调度单元；
所述CDN节点监控单元的输出端与带宽调度管理中心的输入端电性连接，且带宽调度管理中心的输出端与CDN节点带宽调度单元的输入端电性连接；
所述CDN节点监控单元布置在CDN节点服务器上，且CDN节点监控单元用于实时对CDN节点服务器的状态进行监测和数据采集；
所述带宽调度管理中心用于对CDN节点监控单元采集的数据基于大数据分析处理，获取各个节点服务器周期带宽信息和偶发任务情况信息，并根据周期信息以及偶发任务情况分析获取周期带宽调度方案和实时带宽调度方案；
所述带宽调度单元用于根据带宽调度管理中心获取的周期带宽调度方案和实时带宽调度方案对CDN节点进行带宽调度。
作为上述技术方案的进一步描述：
所述CDN节点监控单元包括节点任务监测模块、数据传输能力监测模块和链路数据量监测模块；
所述节点任务监测模块、数据传输能力监测模块和链路数据量监测模块分别对CDN节点进行任务检监测、数据传输能力监测和链路数据量进行监测，并将监测采集的数据传输至带宽调度管理中心。
作为上述技术方案的进一步描述：
所述带宽调度管理中心包括实时带宽处理单元和周期带宽处理单元；
所述实时带宽处理单元用于根据CDN节点监控单元采集的CDN节点偶发任务信息对CDN节点进行实时带宽调度分析；
所述周期带宽处理单元用于根据CDN节点监控单元采集的CDN节点周期任务信息对CDN节点进行周期带宽调度分析。
作为上述技术方案的进一步描述：
所述实时带宽处理单元包括任务状态读取模块和实时带宽计算模块；
所述任务状态读取模块用于调用CDN节点监控单元采集的CDN节点偶发任务信息；
所述实时带宽计算模块用于根据当前CDN节点的任务信息估算所需带宽信息。
作为上述技术方案的进一步描述：
所述周期带宽处理单元包括周期状态读取模块、大数据处理模块和周期带宽计算模块；
所述周期状态读取模块用于调用CDN节点监控单元采集的CDN节点周期任务信息；
所述大数据处理模块用于根据CDN节点周期任务信息获取CDN节点周期任务规律；
所述周期带宽计算模块用于根据CDN节点周期任务规律信息计算CDN节点带宽周期调整信息。
作为上述技术方案的进一步描述：
所述CDN节点带宽调度单元包括实时带宽调度单元块和周期带宽调度模块；
所述实时带宽调度单元用于根据带宽调度管理中心计算的当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
所述周期带宽调度模块用于根据带宽调度管理中心计算的CDN节点带宽周期调整信息对CDN节点带宽进行周期调度处理。
作为上述技术方案的进一步描述：
所述实时带宽调度单元还包括带宽调度模块、任务权重分析模块和任务队列维护模块；
所述带宽调度模块实现对当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
所述任务权重分析模块用于对当期CDN节点偶发任务对CDN节点固有任务进行权重分析；
所述任务队列维护模块用于根据任务权重分析模块获取的任务权重对CDN节点任务队列进行重新排序。
本发明提供了一种基于大数据处理的CDN带宽调度系统。具备以下有益效果：
该基于大数据处理的CDN带宽调度系统通过设置周期带宽处理单元和实时带宽处理单元即实现对CDN节点带宽进行周期调节，同时在CDN节点出现偶发任务时进行实时动态对CDN节点进行带宽调节，并对CDN节点偶发任务进行权重分析和队列维护，提高CDN响应效率，增强用户体验。
附图说明
图1为本发明提出的一种基于大数据处理的CDN带宽调度系统的整体示意图；
图2为本发明中CDN节点监控单元的示意图；
图3为本发明中实时带宽处理单元的示意图；
图4为本发明中周期带宽处理单元的示意图；
图5为本发明中CDN节点带宽调度单元的示意图；
图6为本发明中实时带宽调度单元的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-6，一种基于大数据处理的CDN带宽调度系统，包括：CDN节点监控单元、带宽调度管理中心和CDN节点带宽调度单元；
CDN节点监控单元的输出端与带宽调度管理中心的输入端电性连接，且带宽调度管理中心的输出端与CDN节点带宽调度单元的输入端电性连接；
CDN节点监控单元布置在CDN节点服务器上，且CDN节点监控单元用于实时对CDN节点服务器的状态进行监测和数据采集；
带宽调度管理中心用于对CDN节点监控单元采集的数据基于大数据分析处理，获取各个节点服务器周期带宽信息和偶发任务情况信息，并根据周期信息以及偶发任务情况分析获取周期带宽调度方案和实时带宽调度方案；
带宽调度单元用于根据带宽调度管理中心获取的周期带宽调度方案和实时带宽调度方案对CDN节点进行带宽调度。
CDN节点监控单元包括节点任务监测模块、数据传输能力监测模块和链路数据量监测模块；
节点任务监测模块、数据传输能力监测模块和链路数据量监测模块分别对CDN节点进行任务检监测、数据传输能力监测和链路数据量进行监测，并将监测采集的数据传输至带宽调度管理中心。
进一步的，CDN节点监控单元实现对CDN节点的任务状态以及相关数据进行监测和采集，为带宽调度管理中心计算CDN节点带宽调度值提供数据支持。
带宽调度管理中心包括实时带宽处理单元和周期带宽处理单元；
实时带宽处理单元用于根据CDN节点监控单元采集的CDN节点偶发任务信息对CDN节点进行实时带宽调度分析；
周期带宽处理单元用于根据CDN节点监控单元采集的CDN节点周期任务信息对CDN节点进行周期带宽调度分析。
实时带宽处理单元包括任务状态读取模块和实时带宽计算模块；
任务状态读取模块用于调用CDN节点监控单元采集的CDN节点偶发任务信息；
实时带宽计算模块用于根据当前CDN节点的任务信息估算所需带宽信息。
周期带宽处理单元包括周期状态读取模块、大数据处理模块和周期带宽计算模块；
周期状态读取模块用于调用CDN节点监控单元采集的CDN节点周期任务信息；
大数据处理模块用于根据CDN节点周期任务信息获取CDN节点周期任务规律；
周期带宽计算模块用于根据CDN节点周期任务规律信息计算CDN节点带宽周期调整信息。
CDN节点带宽调度单元包括实时带宽调度单元块和周期带宽调度模块；
实时带宽调度单元用于根据带宽调度管理中心计算的当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
周期带宽调度模块用于根据带宽调度管理中心计算的CDN节点带宽周期调整信息对CDN节点带宽进行周期调度处理。
进一步的，设置周期带宽处理单元和实时带宽处理单元即实现对CDN节点带宽进行周期调节，同时在CDN节点出现偶发任务时进行实时动态对CDN节点进行带宽调节，实现对CDN节点带宽进行全面调度管理。
实时带宽调度单元还包括带宽调度模块、任务权重分析模块和任务队列维护模块；
带宽调度模块实现对当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
任务权重分析模块用于对当期CDN节点偶发任务对CDN节点固有任务进行权重分析；
任务队列维护模块用于根据任务权重分析模块获取的任务权重对CDN节点任务队列进行重新排序。
实现对CDN节点偶发任务进行权重分析，并根据权重分析结果实现队列维护，提高CDN响应效率，增强用户体验。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于大数据处理的CDN带宽调度系统，其特征在于，包括：CDN节点监控单元、带宽调度管理中心和CDN节点带宽调度单元；
所述CDN节点监控单元的输出端与带宽调度管理中心的输入端电性连接，且带宽调度管理中心的输出端与CDN节点带宽调度单元的输入端电性连接；
所述CDN节点监控单元布置在CDN节点服务器上，且CDN节点监控单元用于实时对CDN节点服务器的状态进行监测和数据采集；
所述带宽调度管理中心用于对CDN节点监控单元采集的数据基于大数据分析处理，获取各个节点服务器周期带宽信息和偶发任务情况信息，并根据周期信息以及偶发任务情况分析获取周期带宽调度方案和实时带宽调度方案；
所述带宽调度单元用于根据带宽调度管理中心获取的周期带宽调度方案和实时带宽调度方案对CDN节点进行带宽调度。
2.根据权利要求1所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述CDN节点监控单元包括节点任务监测模块、数据传输能力监测模块和链路数据量监测模块；
所述节点任务监测模块、数据传输能力监测模块和链路数据量监测模块分别对CDN节点进行任务检监测、数据传输能力监测和链路数据量进行监测，并将监测采集的数据传输至带宽调度管理中心。
3.根据权利要求1所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述带宽调度管理中心包括实时带宽处理单元和周期带宽处理单元；
所述实时带宽处理单元用于根据CDN节点监控单元采集的CDN节点偶发任务信息对CDN节点进行实时带宽调度分析；
所述周期带宽处理单元用于根据CDN节点监控单元采集的CDN节点周期任务信息对CDN节点进行周期带宽调度分析。
4.根据权利要求3所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述实时带宽处理单元包括任务状态读取模块和实时带宽计算模块；
所述任务状态读取模块用于调用CDN节点监控单元采集的CDN节点偶发任务信息；
所述实时带宽计算模块用于根据当前CDN节点的任务信息估算所需带宽信息。
5.根据权利要求3所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述周期带宽处理单元包括周期状态读取模块、大数据处理模块和周期带宽计算模块；
所述周期状态读取模块用于调用CDN节点监控单元采集的CDN节点周期任务信息；
所述大数据处理模块用于根据CDN节点周期任务信息获取CDN节点周期任务规律；
所述周期带宽计算模块用于根据CDN节点周期任务规律信息计算CDN节点带宽周期调整信息。
6.根据权利要求1所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述CDN节点带宽调度单元包括实时带宽调度单元块和周期带宽调度模块；
所述实时带宽调度单元用于根据带宽调度管理中心计算的当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
所述周期带宽调度模块用于根据带宽调度管理中心计算的CDN节点带宽周期调整信息对CDN节点带宽进行周期调度处理。
7.根据权利要求6所述的一种基于大数据处理的CDN带宽调度系统，其特征在于，所述实时带宽调度单元还包括带宽调度模块、任务权重分析模块和任务队列维护模块；
所述带宽调度模块实现对当前CDN节点的任务信息所需带宽信息对CDN节点带宽进行调度处理；
所述任务权重分析模块用于对当期CDN节点偶发任务对CDN节点固有任务进行权重分析；
所述任务队列维护模块用于根据任务权重分析模块获取的任务权重对CDN节点任务队列进行重新排序。
CN202010760229.0A 2020-07-31 2020-07-31 一种基于大数据处理的cdn带宽调度系统 Pending CN111953538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760229.0A CN111953538A (zh) 2020-07-31 2020-07-31 一种基于大数据处理的cdn带宽调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760229.0A CN111953538A (zh) 2020-07-31 2020-07-31 一种基于大数据处理的cdn带宽调度系统

Publications (1)

Publication Number Publication Date
CN111953538A true CN111953538A (zh) 2020-11-17

Family

ID=73339077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760229.0A Pending CN111953538A (zh) 2020-07-31 2020-07-31 一种基于大数据处理的cdn带宽调度系统

Country Status (1)

Country Link
CN (1) CN111953538A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671612A (zh) * 2020-12-24 2021-04-16 深圳市高德信通信股份有限公司 一种基于cdn网络技术的网络带宽检测方法
CN113079045A (zh) * 2021-03-26 2021-07-06 北京达佳互联信息技术有限公司 带宽分配方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN107231436A (zh) * 2017-07-14 2017-10-03 网宿科技股份有限公司 一种进行业务调度的方法和装置
CN107465708A (zh) * 2016-06-02 2017-12-12 腾讯科技（深圳）有限公司 一种cdn带宽调度系统及方法
CN107665144A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 分布式任务的均衡调度中心、方法、系统和装置
CN106453143B (zh) * 2016-10-31 2019-10-11 北京百度网讯科技有限公司 带宽设置方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN107465708A (zh) * 2016-06-02 2017-12-12 腾讯科技（深圳）有限公司 一种cdn带宽调度系统及方法
CN107665144A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 分布式任务的均衡调度中心、方法、系统和装置
CN106453143B (zh) * 2016-10-31 2019-10-11 北京百度网讯科技有限公司 带宽设置方法、装置和系统
CN107231436A (zh) * 2017-07-14 2017-10-03 网宿科技股份有限公司 一种进行业务调度的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671612A (zh) * 2020-12-24 2021-04-16 深圳市高德信通信股份有限公司 一种基于cdn网络技术的网络带宽检测方法
CN112671612B (zh) * 2020-12-24 2022-05-03 深圳市高德信通信股份有限公司 一种基于cdn网络技术的网络带宽检测方法
CN113079045A (zh) * 2021-03-26 2021-07-06 北京达佳互联信息技术有限公司 带宽分配方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN109308221B (zh) 一种基于WebSocket长连接的Nginx动态负载均衡方法
CN103179217B (zh) 一种用于web应用服务器群组的负载均衡方法和装置
US20060179059A1 (en) Cluster monitoring system with content-based event routing
WO2021004063A1 (zh) 一种缓存服务器的带宽调度方法及装置
US9071540B2 (en) Proxy server, hierarchical network system, and distributed workload management method
CN111277648A (zh) 基于Nginx的动态权重负载均衡系统和方法
CN102480469B (zh) 一种sip服务集群中基于能量均衡的负载调度的方法及装置
CN106452919A (zh) 一种基于模糊理论的雾节点优化方法
CN111953538A (zh) 一种基于大数据处理的cdn带宽调度系统
CN102447719A (zh) Web GIS服务的动态负载均衡信息处理系统
CN113946436B (zh) 一种基于负载均衡的资源预调度方法
CN112866394B (zh) 一种负载均衡方法、装置、系统、计算机设备和存储介质
CN115604278A (zh) 动态负载均衡方法和系统
Singh et al. WSQ: web server queueing algorithm for dynamic load balancing
CN111865817A (zh) 遥测采集器负载均衡管控方法、装置、设备及存储介质
CN106789853A (zh) 一种转码器的动态调度方法及装置
Ramana et al. A multi-class load balancing algorithm (MCLB) for heterogeneous web cluster
US20060179342A1 (en) Service aggregation in cluster monitoring system with content-based event routing
Goldszmidt et al. Scaling internet services by dynamic allocation of connections
Fan et al. An edge computing service model based on information-centric networking
Banno et al. A scalable iot data collection method by shared-subscription with distributed mqtt brokers
Chunlei et al. Design and implementation of a TCP long connection load balancing algorithm based on negative feedback mechanism
Nakai et al. Improving the QoS of web services via client-based load distribution
Zhu et al. Load balancing algorithm for web server based on weighted minimal connections
Gao et al. Proportional delay differentiation service and load balancing in web cluster systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117

RJ01 Rejection of invention patent application after publication