CN112804110A - 基于内容分发网络指标系统的带宽精准控制方法及装置 - Google Patents

基于内容分发网络指标系统的带宽精准控制方法及装置 Download PDF

Info

Publication number
CN112804110A
CN112804110A CN202110293699.5A CN202110293699A CN112804110A CN 112804110 A CN112804110 A CN 112804110A CN 202110293699 A CN202110293699 A CN 202110293699A CN 112804110 A CN112804110 A CN 112804110A
Authority
CN
China
Prior art keywords
bandwidth
data
actual
middleware
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110293699.5A
Other languages
English (en)
Other versions
CN112804110B (zh
Inventor
吴信谊
姜智
余小伟
谢辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiniu Information Technology Co ltd
Original Assignee
Shanghai Qiniu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiniu Information Technology Co ltd filed Critical Shanghai Qiniu Information Technology Co ltd
Priority to CN202110293699.5A priority Critical patent/CN112804110B/zh
Publication of CN112804110A publication Critical patent/CN112804110A/zh
Application granted granted Critical
Publication of CN112804110B publication Critical patent/CN112804110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种基于内容分发网络指标系统的带宽精准控制方法及装置，所述方法包括获取向内容分发网络边缘节点发送的当前实际http请求；将所述当前实际http请求转发至预设的中间件，基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值。本发明实现采用最少的边缘存储开销，来达到边缘带宽数据采集的能力，并且通过采集到的带宽数据，来自动化的调整域名的单链接限速，以达到限制带宽最大值的目的。

Description

基于内容分发网络指标系统的带宽精准控制方法及装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于内容分发网络指标系统的带宽精准控制方法及装置。
背景技术
一台机器的资源的是有限的，这里的资源不仅仅是内容分发网络的资源，同样包含了用户源站的资源。所谓的资源包含了，磁盘空间，内存空间，网络带宽，CPU等等。带宽控制，主要是控制单位时间内回源的流量，也就是带宽的大小。保证了高并发的情况下，保证了源站的可用性。而所谓的高精度的流量控制，主要表现在实时性。因为大部分的内容分发网络服务商，提供的流量控制主要是基于访问日志，并且通过访问日志计算出单位时间内访问的带宽，如果超出预期，就进行限速，而访问日志的收集，计算，具有很高的延时性。因此要根据计算后的流量，调整限速，以达到控制带宽的目的就变得非常不精确。
对于现有的内容分发网络，要进行流控，通常是通过计算边缘访问日志，来计算单位时间的访问流量，但是对于流量较大的域名，所带来的计算量是非常大的，并且日志日志的收集通常具有一定的延时性，有时延时还比较大，日志收集这种方式时效性低的原因是因为访问量大，导致日志量特别大。而每条日志都有近百字节，导致将日志传输到中心节点的传输压力就特别大。而传输会以较低的匀速的方式传输到中心节点，所以计算出来的流量也具有一定的延时，因此要通过这个计算结果来进行精准的流量控制是做不到的。所以如果要进行精准的流量控制，必须能够实时的获取所有机房的内容分发网络边缘节点的流量。
但是，边缘的内存和磁盘的容量是宝贵的，所以不会有特别大的空间去存储各个域名的边缘流量，因为内容分发网络日志特别大，并且日志系统需要收集所有域名的边缘访问日志，所以日志收集的时效性就不是特别高，基本上日志的延时在5分钟-15分钟，而在这种延时下，获取的域名边缘访问带宽就不具有时效性，用该带宽来调整域名的单链接限速，是无法精准的控制域名在内容分发网络边缘的带宽的。
显然，现有技术中的带宽控制方法需要花费大量的时间，存在控制准确率下的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高带宽控制准确率高及精准性高的基于内容分发网络指标系统的带宽精准控制方法及装置。
本发明技术方案如下：
一种基于内容分发网络指标系统的带宽精准控制方法，所述方法包括：
步骤S100：获取向内容分发网络边缘节点发送的当前实际http请求；
步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
步骤S400：基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
具体地，所述带宽限速基础数据包括实时带宽数据和实时QPS数据；
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值；具体包括：
步骤S510：所述带宽控制中间件定时请求所述实时带宽数据；
步骤S520：所述带宽控制中间件定时请求所述实时QPS数据；
步骤S530：根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q；
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
步骤S540：查询并获取当前域名的实际限制带宽；
步骤S550：根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
步骤S560：将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
具体地，所述数据通道包括数据收集器、数据缓冲区和数据发送器，所述数据收集器、所述数据缓冲区和所述数据发送器依次连接；
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；具体包括：
步骤S310：基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
步骤S320：基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
步骤S330：基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
具体地，步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；具体包括：
步骤S210：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件；
步骤S220：所述中间件基于内容分发网络边缘节点获取所述当前实际http请求，并根据所述当前实际http请求资源，其中，当缓存中存在资源，则从缓存中获取，当缓存中不存在资源，则从回源站中获取；
步骤S230：基于内容分发网络获取域名开启的带宽存储中间件和QPS存储中间件，其中，所述带宽存储中间件和QPS存储中间件均对应管理有环形数组；
步骤S240：根据所述带宽存储中间件和所述QPS存储中间件判断当前域名是否开启带宽指标记录带宽存储中间件；
步骤S250：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中，并同时对所述QPS存储中间件所管理的QPS环形数组中的相应元素自增1，其中，所述环形数组中的资源即为当前待管理数据源。
具体地，步骤S250中：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中的步骤，具体包括：
步骤S251：若判断为是，则基于所述带宽存储中间件获取资源写入的时间戳；
步骤S252：根据基于所述带宽存储中间件获取资源写入的时间戳取环形数组对应的元素，其中，每个元素中记录了对应时间戳下产生的流量，因此将资源大小累加到该元素中。
具体地，提供一种基于内容分发网络指标系统的带宽精准控制装置，所述装置包括：
当前实际http请求获取模块，用于获取向内容分发网络边缘节点发送的当前实际http请求；
当前待管理数据源写入模块，用于基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
数据仓库存储模块，用于基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
带宽限速基础数据请求模块，用于基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
实际带宽应限速值生成模块，用于所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
具体地，所述实际带宽应限速值生成模块包括：
带宽数据请求模块，用于所述带宽控制中间件定时请求所述实时带宽数据；
实时QPS数据请求模块，用于所述带宽控制中间件定时请求所述实时QPS数据；
当前实际速率计算模块，用于根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q；
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
实际限制带宽查询模块，用于查询并获取当前域名的实际限制带宽；
实际带宽应限速值计算模块，用于根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
节点限速匹配模块，用于将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
具体地，所述数据仓库存储模块还包括：
源作数据取出模块，用于基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
带宽数据放入模块，用于基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
带宽数据取出并存储模块，用于基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
具体地，所述当前待管理数据源写入模块还用于：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件；所述中间件基于内容分发网络边缘节点获取所述当前实际http请求，并根据所述当前实际http请求资源，其中，当缓存中存在资源，则从缓存中获取，当缓存中不存在资源，则从回源站中获取；基于内容分发网络获取域名开启的带宽存储中间件和QPS存储中间件，其中，所述带宽存储中间件和QPS存储中间件均对应管理有环形数组；根据所述带宽存储中间件和所述QPS存储中间件判断当前域名是否开启带宽指标记录带宽存储中间件；若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中，并同时对所述QPS存储中间件所管理的QPS环形数组中的相应元素自增1，其中，所述环形数组中的资源即为当前待管理数据源。
具体地，所述当前待管理数据源写入模块还用于：若判断为是，则基于所述带宽存储中间件获取资源写入的时间戳；根据基于所述带宽存储中间件获取资源写入的时间戳取环形数组对应的元素，其中，每个元素中记录了对应时间戳下产生的流量，因此将资源大小累加到该元素中。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于内容分发网络指标系统的带宽精准控制方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于内容分发网络指标系统的带宽精准控制方法所述的步骤。
本发明实现技术效果如下：
上述基于内容分发网络指标系统的带宽精准控制方法及装置，所述方法先通过获取向内容分发网络边缘节点发送的当前实际http请求；基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值，进而实现采用最少的边缘存储开销，来达到边缘带宽数据采集的能力，并且通过采集到的带宽数据，来自动化的调整域名的单链接限速，以达到限制带宽最大值的目的。
附图说明
图1为一个实施例中基于内容分发网络指标系统的带宽精准控制方法的流程示意图；
图2为一个实施例中内容分发网络指标系统的架构图；
图3为一个实施例中数据通道的结构示意图；
图4为一个实施例中带宽存储中间件和QPS存储中间件管理的环形数组的结构示意图；
图5为一个实施例中基于内容分发网络指标系统的带宽精准控制装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1-图2所示，提供了一种基于内容分发网络指标系统的带宽精准控制方法，所述方法包括：
步骤S100：获取向内容分发网络边缘节点发送的当前实际http请求；
具体地，如图2所示，为内容分发网络指标系统的架构图，其中，客户端向内容分发网络边缘节点发送http请求时，即为获取向内容分发网络边缘节点发送的当前实际http请求。
步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
具体地，本步骤中，如图2所示中的中间件，用于基于所述中间件将当前资源写入至中间件管理的环形数组中。
进一步地，内容分发网络边缘指标系统，可以分为数据源、数据通道和数据仓库。其中，数据源即为写入至中间件管理的环形数组中的数据。
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
具体地，所述数据通道用于将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中。
步骤S400：基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
所述带宽限速基础数据用于后续生成实际带宽应限速值。
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
本发明通过获取向内容分发网络边缘节点发送的当前实际http请求；基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值，进而实现采用最少的边缘存储开销，来达到边缘带宽数据采集的能力，并且通过采集到的带宽数据，来自动化的调整域名的单链接限速，以达到限制带宽最大值的目的。
在一个实施例中，所述带宽限速基础数据包括实时带宽数据和实时QPS数据；
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值；具体包括：
步骤S510：所述带宽控制中间件定时请求所述实时带宽数据；
步骤S520：所述带宽控制中间件定时请求所述实时QPS数据；
本步骤中，通过请求得到的所述实时带宽数据和所述实时QPS数据实现对当前域名的当前实际速率的计算。
步骤S530：根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q；
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
步骤S540：查询并获取当前域名的实际限制带宽；
步骤S550：根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)；
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
步骤S560：将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
内容分发网络边缘节点获取到域名的限速规则，则该域名请求到边缘节点将被限速到该限速规则之下。
具体地，所述边缘配置如图2所示，带宽控制中间件实现有效的控制住域名在内容分发网络边缘带宽，通过很小的传输数据，以一种非常高效的传输到边缘的数据中心，在边缘做数据计算，而不回到中心做数据计算，能够更高效更精准的做出一系列的边缘控制，即带宽控制。
请参阅图3，图3为一个实施例中数据通道的结构示意图，在一个实施例中，所述数据通道包括数据收集器、数据缓冲区和数据发送器，所述数据收集器、所述数据缓冲区和所述数据发送器依次连接；
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；具体包括：
步骤S310：基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
本步骤中，数据仓库也具有一个环形数组，环形数组的数据存在内存中，而数据仓库的环形数组大约会存放5分钟的数据，5分钟后的数据会落入磁盘。数据仓库还会提供一个指标查询接口，如图2中所示。
步骤S320：基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
因为，中间件管理的环形数组就是数据源，而对于内容分发网络边缘节点来说，数据源通常会有多个，进而需要通过数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中。
步骤S330：基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
在一个实施例中，步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；具体包括：
步骤S210：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件；
具体地，如图2所示，将所述当前实际http请求转发至预设的中间件，方便所述中间件对数据进一步处理。
步骤S220：所述中间件基于内容分发网络边缘节点获取所述当前实际http请求，并根据所述当前实际http请求资源，其中，当缓存中存在资源，则从缓存中获取，当缓存中不存在资源，则从回源站中获取；
步骤S230：基于内容分发网络获取域名开启的带宽存储中间件和QPS存储中间件，其中，所述带宽存储中间件和QPS存储中间件均对应管理有环形数组；
步骤S240：根据所述带宽存储中间件和所述QPS存储中间件判断当前域名是否开启带宽指标记录带宽存储中间件；
步骤S250：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中，并同时对所述QPS存储中间件所管理的QPS环形数组中的相应元素自增1，其中，所述环形数组中的资源即为当前待管理数据源。
本步骤中，若判断为是，为判断当前域名是开启带宽指标记录带宽存储中间件，故此时将当前域名的资源大小写入带宽存储中间件所管理的环形数组中。
在一个实施例中，步骤S250中：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中的步骤，具体包括：
步骤S251：若判断为是，则基于所述带宽存储中间件获取资源写入的时间戳；
本步骤中，如图4所示，为带宽存储中间件和QPS存储中间件管理的环形数组的结构示意图，图4中，在QPS中间件中，每个格子代表某一秒的请求数。若是在带宽中间件中，每个格子代表请求流量。
步骤S252：根据基于所述带宽存储中间件获取资源写入的时间戳取环形数组对应的元素，其中，每个元素中记录了对应时间戳下产生的流量，因此将资源大小累加到该元素中。
具体地，采用环形数组的原因是对于内容分发网络边缘节点只需要记录大约1分钟的流量，因此为了防止记录带宽数据无限增长，采用环形数组是非常理想的数据结构。
在一个实施例中，如图5所示，提供一种基于内容分发网络指标系统的带宽精准控制装置，所述装置包括：
当前实际http请求获取模块，用于获取向内容分发网络边缘节点发送的当前实际http请求；
当前待管理数据源写入模块，用于基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
数据仓库存储模块，用于基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
带宽限速基础数据请求模块，用于基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
实际带宽应限速值生成模块，用于所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
在一个实施例中，所述实际带宽应限速值生成模块包括：
带宽数据请求模块，用于所述带宽控制中间件定时请求所述实时带宽数据；
实时QPS数据请求模块，用于所述带宽控制中间件定时请求所述实时QPS数据；
当前实际速率计算模块，用于根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q；
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
实际限制带宽查询模块，用于查询并获取当前域名的实际限制带宽；
实际带宽应限速值计算模块，用于根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)；
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
节点限速匹配模块，用于将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
在一个实施例中，所述数据仓库存储模块还包括：
源作数据取出模块，用于基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
带宽数据放入模块，用于基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
带宽数据取出并存储模块，用于基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
在一个实施例中，所述当前待管理数据源写入模块还用于：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件；所述中间件基于内容分发网络边缘节点获取所述当前实际http请求，并根据所述当前实际http请求资源，其中，当缓存中存在资源，则从缓存中获取，当缓存中不存在资源，则从回源站中获取；基于内容分发网络获取域名开启的带宽存储中间件和QPS存储中间件，其中，所述带宽存储中间件和QPS存储中间件均对应管理有环形数组；根据所述带宽存储中间件和所述QPS存储中间件判断当前域名是否开启带宽指标记录带宽存储中间件；若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中，并同时对所述QPS存储中间件所管理的QPS环形数组中的相应元素自增1，其中，所述环形数组中的资源即为当前待管理数据源。
在一个实施例中，所述当前待管理数据源写入模块还用于：若判断为是，则基于所述带宽存储中间件获取资源写入的时间戳；根据基于所述带宽存储中间件获取资源写入的时间戳取环形数组对应的元素，其中，每个元素中记录了对应时间戳下产生的流量，因此将资源大小累加到该元素中。
在一个实施例中，如图6所示，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于内容分发网络指标系统的带宽精准控制方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于内容分发网络指标系统的带宽精准控制方法所述的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于内容分发网络指标系统的带宽精准控制方法，其特征在于，所述方法包括：
步骤S100：获取向内容分发网络边缘节点发送的当前实际http请求；
步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
步骤S400：基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
2.根据权利要求1所述的基于内容分发网络指标系统的带宽精准控制方法，其特征在于，所述带宽限速基础数据包括实时带宽数据和实时QPS数据；
步骤S500：所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值；具体包括：
步骤S510：所述带宽控制中间件定时请求所述实时带宽数据；
步骤S520：所述带宽控制中间件定时请求所述实时QPS数据；
步骤S530：根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
步骤S540：查询并获取当前域名的实际限制带宽；
步骤S550：根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
步骤S560：将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
3.根据权利要求1所述的基于内容分发网络指标系统的带宽精准控制方法，其特征在于，所述数据通道包括数据收集器、数据缓冲区和数据发送器，所述数据收集器、所述数据缓冲区和所述数据发送器依次连接；
步骤S300：基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；具体包括：
步骤S310：基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
步骤S320：基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
步骤S330：基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
4.根据权利要求1-3任一项所述的基于内容分发网络指标系统的带宽精准控制方法，其特征在于，步骤S200：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；具体包括：
步骤S210：基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件；
步骤S220：所述中间件基于内容分发网络边缘节点获取所述当前实际http请求，并根据所述当前实际http请求资源，其中，当缓存中存在资源，则从缓存中获取，当缓存中不存在资源，则从回源站中获取；
步骤S230：基于内容分发网络获取域名开启的带宽存储中间件和QPS存储中间件，其中，所述带宽存储中间件和QPS存储中间件均对应管理有环形数组；
步骤S240：根据所述带宽存储中间件和所述QPS存储中间件判断当前域名是否开启带宽指标记录带宽存储中间件；
步骤S250：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中，并同时对所述QPS存储中间件所管理的QPS环形数组中的相应元素自增1，其中，所述环形数组中的资源即为当前待管理数据源。
5.根据权利要求4所述的基于内容分发网络指标系统的带宽精准控制方法，其特征在于，步骤S250中：若判断为是，则所述带宽存储中间件将当前域名的资源大小写入带宽存储中间件所管理的环形数组中的步骤，具体包括：
步骤S251：若判断为是，则基于所述带宽存储中间件获取资源写入的时间戳；
步骤S252：根据基于所述带宽存储中间件获取资源写入的时间戳取环形数组对应的元素，其中，每个元素中记录了对应时间戳下产生的流量，因此将资源大小累加到该元素中。
6.一种基于内容分发网络指标系统的带宽精准控制装置，其特征在于，所述装置包括：
当前实际http请求获取模块，用于获取向内容分发网络边缘节点发送的当前实际http请求；
当前待管理数据源写入模块，用于基于获取的所述当前实际http请求将所述当前实际http请求转发至预设的中间件，并基于所述中间件将当前资源写入至中间件管理的环形数组中，其中，所述环形数组中的资源即为当前待管理数据源；
数据仓库存储模块，用于基于预设的数据通道将写入至中间件管理的环形数组中的当前待管理数据源作数据取出处理并存储至预设的数据仓库中；
带宽限速基础数据请求模块，用于基于预设的带宽控制中间件定时从所述存储至预设的数据仓库中请求带宽限速基础数据；
实际带宽应限速值生成模块，用于所述带宽控制中间件根据从所述存储至预设的数据仓库中请求得到的带宽限速基础数据生成实际带宽应限速值，并将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
7.根据权利要求6所述的基于内容分发网络指标系统的带宽精准控制装置，其特征在于，所述实际带宽应限速值生成模块包括：
带宽数据请求模块，用于所述带宽控制中间件定时请求所述实时带宽数据；
实时QPS数据请求模块，用于所述带宽控制中间件定时请求所述实时QPS数据；
当前实际速率计算模块，用于根据所述实时带宽数据和所述实时QPS数据按照以下公式计算当前域名的当前实际速率：
s1＝w1/q
其中，s1为当前域名的当前实际速率，w1为所述实时带宽数据，q为所述实时QPS数据；
实际限制带宽查询模块，用于查询并获取当前域名的实际限制带宽；
实际带宽应限速值计算模块，用于根据所述实际限制带宽和所述当前实际速率基于以下公式计算并生成所述实际带宽应限速值：
s0＝s1*(1+(w0–w1)/w0)
其中，s0为所述实际带宽应限速值，s1为当前域名的当前实际速率，w0为所述实际限制带宽，w1为所述实时带宽数据；
节点限速匹配模块，用于将所述实际带宽应限速值发送至边缘配置，所述边缘配置用于基于所述实际带宽应限速值将内容分发网络边缘节点限速至与所述实际带宽应限速值相匹配的带宽值。
8.根据权利要求6所述的基于内容分发网络指标系统的带宽精准控制装置，其特征在于，所述数据仓库存储模块还包括：
源作数据取出模块，用于基于所述数据通道中的所述数据收集器从写入至中间件管理的环形数组中的当前待管理数据源作数据中取出特定时间段内的当前实际带宽数据，其中所述特定时间段为一分钟；
带宽数据放入模块，用于基于所述述数据通道中的数据收集器将所述当前实际带宽数据放入所述数据缓冲区中；
带宽数据取出并存储模块，用于基于所述述数据通道中的数据发送器将所述数据缓冲区中的所述当前实际带宽数据取出并存储至预设的数据仓库中。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202110293699.5A 2021-03-19 2021-03-19 基于内容分发网络指标系统的带宽精准控制方法及装置 Active CN112804110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110293699.5A CN112804110B (zh) 2021-03-19 2021-03-19 基于内容分发网络指标系统的带宽精准控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110293699.5A CN112804110B (zh) 2021-03-19 2021-03-19 基于内容分发网络指标系统的带宽精准控制方法及装置

Publications (2)

Publication Number Publication Date
CN112804110A true CN112804110A (zh) 2021-05-14
CN112804110B CN112804110B (zh) 2023-05-09

Family

ID=75817205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110293699.5A Active CN112804110B (zh) 2021-03-19 2021-03-19 基于内容分发网络指标系统的带宽精准控制方法及装置

Country Status (1)

Country Link
CN (1) CN112804110B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120818A1 (en) * 2010-11-16 2012-05-17 Edgecast Networks, Inc. Bandwidth Modification for Transparent Capacity Management in a Carrier Network
CN104320487A (zh) * 2014-11-11 2015-01-28 网宿科技股份有限公司 内容分发网络的http调度系统和方法
GB201613151D0 (en) * 2014-04-03 2016-09-14 Orbital Multi Media Holdings Corp Data flow control method and system
WO2016141820A1 (zh) * 2015-03-12 2016-09-15 阿里巴巴集团控股有限公司 Cdn网络系统及其限速控制方法、cdn节点和服务器
CN109361622A (zh) * 2018-11-30 2019-02-19 网宿科技股份有限公司 对cdn系统的业务连接进行带宽控制的方法及cdn系统
CN109787921A (zh) * 2019-03-19 2019-05-21 网宿科技股份有限公司 Cdn带宽调度方法、采集及调度服务器和存储介质
CN110048968A (zh) * 2019-04-12 2019-07-23 网宿科技股份有限公司 一种域名带宽调整方法及装置
CN110690988A (zh) * 2019-09-02 2020-01-14 网宿科技股份有限公司 带宽控制方法、带宽控制平台、服务器及存储介质
CN110858808A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种实现限速的方法、系统及装置
CN111770119A (zh) * 2020-09-03 2020-10-13 云盾智慧安全科技有限公司 网站资源获取方法、系统、装置及计算机存储介质
US20200328986A1 (en) * 2019-04-12 2020-10-15 Wangsu Science & Technology Co., Ltd. Domain name bandwidth adjustment method and apparatus

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120818A1 (en) * 2010-11-16 2012-05-17 Edgecast Networks, Inc. Bandwidth Modification for Transparent Capacity Management in a Carrier Network
GB201613151D0 (en) * 2014-04-03 2016-09-14 Orbital Multi Media Holdings Corp Data flow control method and system
CN104320487A (zh) * 2014-11-11 2015-01-28 网宿科技股份有限公司 内容分发网络的http调度系统和方法
WO2016141820A1 (zh) * 2015-03-12 2016-09-15 阿里巴巴集团控股有限公司 Cdn网络系统及其限速控制方法、cdn节点和服务器
CN110858808A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种实现限速的方法、系统及装置
CN109361622A (zh) * 2018-11-30 2019-02-19 网宿科技股份有限公司 对cdn系统的业务连接进行带宽控制的方法及cdn系统
CN109787921A (zh) * 2019-03-19 2019-05-21 网宿科技股份有限公司 Cdn带宽调度方法、采集及调度服务器和存储介质
CN110048968A (zh) * 2019-04-12 2019-07-23 网宿科技股份有限公司 一种域名带宽调整方法及装置
US20200328986A1 (en) * 2019-04-12 2020-10-15 Wangsu Science & Technology Co., Ltd. Domain name bandwidth adjustment method and apparatus
CN110690988A (zh) * 2019-09-02 2020-01-14 网宿科技股份有限公司 带宽控制方法、带宽控制平台、服务器及存储介质
CN111770119A (zh) * 2020-09-03 2020-10-13 云盾智慧安全科技有限公司 网站资源获取方法、系统、装置及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘洋;刘博;: "CDN及内容管理技术的研究", 科技风 *
黄永锋等: "数据中心间空闲带宽感知的内容分发算法", 《通信学报》 *

Also Published As

Publication number Publication date
CN112804110B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110109953B (zh) 一种数据查询方法、装置及设备
CN108667721B (zh) 订阅报表生成方法、装置、计算机设备和存储介质
KR102292471B1 (ko) 다이내믹 캐시 할당 및 네트워크 관리
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN111831699B (zh) 数据缓存方法、电子设备及计算机可读介质
US20200012602A1 (en) Cache allocation method, and apparatus
CN111221469B (zh) 同步缓存数据的方法、装置和系统
CN111431813B (zh) 访问限流方法、设备及存储介质
JP7300347B2 (ja) クライアント又はサーバとの接続を制御する方法
WO2018223964A1 (zh) 缓存数据控制方法及设备
JP2017034619A (ja) 通信管理装置、無線端末及びプログラム
CN111767297B (zh) 大数据处理方法、装置、设备及介质
CN111078585B (zh) 一种内存缓存管理方法、系统、存储介质及电子设备
CN110543509B (zh) 用户访问数据的监控系统、方法、装置及电子设备
CN113923216A (zh) 一种分布式集群限流系统及方法和分布式集群节点
CN112804110A (zh) 基于内容分发网络指标系统的带宽精准控制方法及装置
CN113836533B (zh) 一种文件监测方法、装置、电子设备及可读存储介质
CN111614717A (zh) 一种文件访问调度方法以及中心服务器
CN112637262B (zh) 一种内容刷新方法和装置
CN115865862B (zh) 一种数据访问方法、系统、装置、电子设备及存储介质
CN112416871B (zh) 一种数据访问的方法、装置及系统
CN115174696B (zh) 节点调度方法、装置、电子设备及存储介质
EP4336814A1 (en) Mme writer and identity service for ran parser
JP5487854B2 (ja) 文書情報収集システム、文書情報収集方法、文書情報収集プログラム
EP4033459A1 (en) Method of collecting data and computer-readable recording medium storing data collection program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant