CN111083058A - 内容分发网络服务限流方法及电子设备 - Google Patents
内容分发网络服务限流方法及电子设备 Download PDFInfo
- Publication number
- CN111083058A CN111083058A CN201911226579.2A CN201911226579A CN111083058A CN 111083058 A CN111083058 A CN 111083058A CN 201911226579 A CN201911226579 A CN 201911226579A CN 111083058 A CN111083058 A CN 111083058A
- Authority
- CN
- China
- Prior art keywords
- product line
- issued
- node
- issuing
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004044 response Effects 0.000 claims abstract description 49
- 230000015654 memory Effects 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101100190462 Caenorhabditis elegans pid-1 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了内容分发网络服务限流方法及电子设备,涉及信息流技术领域。具体实现方案为:接收终端的升级请求,升级请求包括产品线的产品线标识;根据与产品线标识对应的产品线分配额度,对升级请求进行响应,其中,产品线分配额度为从限流策略生成节点获取的产品线分配额度;将响应的响应结果记录在下发日志中,其中,下发日志包括产品线标识、产品线的实际下发流量和产品线的应下发流量。这样,不同的产品线具有不同的产品线分配额度,下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
Description
技术领域
本申请涉及计算机技术领域中的信息流技术,尤其涉及一种内容分发网络服务限流方法及电子设备。
背景技术
随着技术的发展,电子设备的使用越来越广泛,电子设备上安装的软件也越来越丰富。目前,升级平台允许多个厂商接入,不同的厂商可能有多个产品,对应不同的产品线。电子设备使用升级平台提供的内容分发网络(Content Delivery Network,简称CDN)服务,对电子设备上已安装的软件(即产品)进行更新,或者进行软件(即产品)下载。当电子设备向下发节点发送升级请求频率过高,可能会导致CDN服务向电子设备下发升级包的速度过快,会导致短时间内CDN服务峰值很高且不持续,CDN服务利用率低。
为解决上述问题,目前的方法是通过限制下发系统的每秒查询率(Queries PerSecond,简称QPS)来控制下发升级包的量,以达到控制整体CDN峰值的目的,但是,这种方法不能针对不同产品线分别进行限流设置,限流设置缺乏灵活性。
发明内容
本申请实施例提供一种内容分发网络服务限流方法及电子设备,以解决现有方法不能针对不同产品线分别进行限流设置,限流设置缺乏灵活性的问题。
为解决上述技术问题,本申请是这样实现的:
本申请第一方面提供一种内容分发网络服务限流方法,应用于下发节点,包括:
接收终端设备的升级请求,所述升级请求包括产品线的产品线标识;
根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;
将所述响应的响应结果记录在下发日志中;
其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
本申请第二方面提供一种内容分发网络服务限流方法,应用于限流策略生成节点,包括:
获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;
根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;
将所述产品线分配额度发送给所述下发节点。
本申请第三方面提供一种电子设备,所述电子设备为下发节点,包括:
接收模块,用于接收终端设备的升级请求,所述升级请求包括产品线的产品线标识;
响应模块,用于根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;
记录模块,用于将所述响应的响应结果记录在下发日志中;
其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
本申请第四方面提供一种电子设备,所述电子设备为限流策略生成节点,包括:
获取模块,用于获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;
确定模块,用于根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;
发送模块,用于将所述产品线分配额度发送给所述下发节点。
本申请第五方面提供一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法,或者所述至少一个处理器能够执行第二方面所述的方法。
本申请第六方面提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面所述的方法,或者所述计算机指令用于使所述计算机执行第二方面所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:接收终端的升级请求,所述升级请求包括产品线的产品线标识;根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;将所述响应的响应结果记录在下发日志中,其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。这样,不同的产品线具有不同的产品线分配额度,下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
在产品线分配额度满足q>=a+m时,向终端发送产品线的下发文件的CDN链接,并更新下发日志中的实际下发流量和应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在产品线分配额度满足q<a+m时,确定不向终端发送产品线的下发文件的CDN链接,并更新下发日志中的应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例提供的内容分发网络服务限流方法的流程图之一;
图2是根据本申请实施例提供的内容分发网络服务限流方法的流程图之二;
图2a是本申请提供的终端升级过程示意图;
图2b是本申请提供的限流的水池模型示意图;
图2c是本申请提供的MIS平台配置限流阈值示意图;
图2d是本申请提供的限流策略生成节点的处理流程示意图;
图2e是本申请提供的下发系统的处理流程示意图;
图3是根据本申请实施例提供的第一电子设备的结构图;
图4是根据本申请实施例提供的第二电子设备的结构图;
图5是用来实现本申请实施例的内容分发网络服务限流方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
参见图1,图1是本申请实施例提供的内容分发网络服务限流方法的流程图之一,如图1所示,本实施例提供一种内容分发网络服务限流方法,应用于下发节点,包括以下步骤:
步骤101、接收终端的升级请求,所述升级请求包括产品线的产品线标识。
不同的用户(厂商)可能有多个产品,对应不同的产品线,例如:度秘有几个产品线,分别是小度在家、小度音箱、小度音箱与小度在家的各个定制产品线等。
不同产品线的升级包一般不会有很大的变化,比如小度音箱普遍是40M左右,小度在家普遍是700M左右。因此相同设备量级与相同客户端升级频率的前提下,小度音箱和小度在家对比,小度在家产生的峰值会远远高于小度音箱。
在本申请中,终端是指安装有产品线的设备,或者请求安装产品线的设备。厂商通过控制平台给不同的产品线配置不同条件的下发任务,并将下发任务推送给下发系统。下发任务包括产品线的产品线标识,产品线的升级包的CDN链接或应用包的CDN链接等。下发系统包括多个下发节点。
终端会周期性的去调用升级接口,传送自身的设备和产品线等信息。即终端会向下发节点发送升级请求,所述升级请求包括产品线的产品线标识。产品线标识用于唯一标识产品线。
步骤102、根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度。
下发节点接收到终端发送的升级请求后,根据升级请求中的产品线标识,与产品线升级任务表中的产品线标识进行匹配,若未匹配到,不做处理;若匹配到,根据产品线标识对应的产品线分配额度,对升级请求进行响应。产品线升级任务表包括多个产品线的产品线标识,产品线的产品线标识可根据控制平台发送的下发任务确定。
产品线分配额度从限流策略生成节点中获取。在对升级请求进行响应时,可基于产品线分配额度进行响应,例如,若下发节点针对产品线的已使用额度小于产品线分配额度,则将产品线的下发文件的CDN链接发送给终端,下发文件包括升级包或应用包;若下发节点针对产品线的已使用额度大于产品线分配额度,则不向终端发送产品线的下发文件的CDN链接。
步骤103、将所述响应的响应结果记录在下发日志中,其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
产品线的实际下发流量为下发节点针对产品线实际下发的流量,由于限流的原因,下发节点并不会对所有终端的升级请求,都会发送下发文件的CDN链接,例如在产品线分配额度用完时,可不向终端发送下发文件的CDN链接。产品线的应下发流量为不考虑产品线限流的情况下,下发节点下发的流量。
将响应的响应结果记录在下发日志中,此处的响应结果可理解为下发节点是否向终端发送下发文件的CDN链接的结果。例如,若下发节点将产品线的下发文件的CDN链接发送给终端,则下发节点已使用额度会有增加,新增加的额度为下发文件的大小,即升级包或应用包的大小,此时,在下发日志中记录实际下发流量时,需在现有的实际下发流量基础上,加上下发文件的大小。若下发节点未将产品线的下发文件的CDN链接发送给终端,则下发节点已使用额度不变,但是应下发流量会有增加,新增加的额度为下发文件的大小,即升级包或应用包的大小。
下发日志可存储在预设位置,例如,指定目录中。下发日志可为预设格式的文件。下发系统中,每个下发节点对应一个日志采集器,例如,使用logstash实时监控指定目录、指定格式的文件,以获取到最新的下发日志。
本实施例中,接收终端的升级请求,所述升级请求包括产品线的产品线标识;根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;将所述响应的响应结果记录在下发日志中,其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。这样,不同的产品线具有不同的产品线分配额度,下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
在本申请一个实施例中,步骤102、根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,包括:
若所述产品线分配额度满足:q>=a+m,则向所述终端发送所述产品线的下发文件的内容分发网络CDN链接;
其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小;
步骤103、将所述响应的响应结果记录在下发日志中,包括:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的实际下发流量和应下发流量中。
具体的,下发节点在对升级请求进行响应时,判断产品线分配额度是否满足第一预设条件,此处第一预设条件为q>=a+m,其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小,即下发文件所占用的流量。此种情况下,即使下发节点向所述终端发送所述产品线的下发文件的CDN链接,也不会超出下发节点的产品线分配额度,可以向所述终端发送所述产品线的下发文件的CDN链接。
进一步的,下发节点还将所述产品线的下发文件大小累加到所述下发日志中所述产品线的实际下发流量和应下发流量中,即,将下发日志中的实际下发流量累加下发文件大小,将下发日志中的应下发流量累加下发文件大小。
本实施例中,在产品线分配额度满足q>=a+m时,向终端发送产品线的下发文件的CDN链接,并更新下发日志中的实际下发流量和应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在本申请一个实施例中,步骤102、根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,包括:
若所述产品线分配额度满足:q<a+m,则确定不向所述终端发送所述产品线的下发文件的CDN链接;
将所述响应的响应结果记录在下发日志中,包括:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的应下发流量中。
具体的,下发节点在对升级请求进行响应时,判断产品线分配额度是否满足第二预设条件,此处第二预设条件为q<a+m,其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小,即下发文件所占用的流量。若下发节点向所述终端发送所述产品线的下发文件的CDN链接,则会超出下发节点的产品线分配额度,此种情况下,下发节点不向所述终端发送所述产品线的下发文件的CDN链接,以避免下发节点的实际下发流量大于产品线分配额度。终端收到下发文件的CDN链接后,根据CDN链接进行文件下载,完成软件安装或软件升级。
进一步的,下发节点还将所述产品线的下发文件大小累加到所述下发日志中所述产品线的应下发流量中,即将下发日志中的应下发流量累加下发文件大小。
本实施例中,在产品线分配额度满足q<a+m时,确定不向终端发送产品线的下发文件的CDN链接,并更新下发日志中的应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在本申请一个实施例中,内容分发网络服务限流方法还包括:每隔预设时间,将下发日志中的实际下发流量和应下发流量清零。
参见图2,图2是本申请实施例提供的内容分发网络服务限流方法的流程图之二,如图2所示,本实施例提供一种内容分发网络服务限流方法,应用于限流策略生成节点,包括以下步骤:
步骤201、获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
具体的,限流策略生成节点可从下发节点存储下发日志的位置获取到下发日志,也可通过日志采集器获取下发日志。下发日志可存储在预设位置,例如,指定目录中,下发日志可为预设格式的文件。下发节点对应日志采集器,例如,使用logstash(数据收集处理引擎)实时监控指定目录、指定格式的文件,以获取到最新的下发日志,并将下发日志推送到elasticsearch(下文简称ES,ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎)指定索引中,限流策略生成节点从ES中获取下发日志。限流策略生成节点也可称为限流策略生成模块。
产品线的实际下发流量为下发节点针对产品线实际下发的流量,由于限流的原因,下发节点对所有终端的升级请求,并不会都发送下发文件的CDN链接,例如在产品线分配额度用完时,可不向终端发送下发文件的CDN链接。产品线的应下发流量为不考虑产品线限流的情况下,下发节点下发的流量。
步骤202、根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度。
限流策略生成节点根据下发节点的下发日志,确定下发节点针对产品线的产品线分配额度,以及时调整下发节点的产品线分配额度,提高下发节点限流设置的灵活性。
步骤203、将所述产品线分配额度发送给所述下发节点。
限流策略生成节点将产品线分配额度发送给下发节点,使得下发节点可根据产品线分配额度对终端的升级请求进行响应。
本实施例中,获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;将所述产品线分配额度发送给所述下发节点。这样,由于产品线分配额度与产品线标识对应,对于同一下发节点,限流策略生成节点可为不同的产品线分配不同的产品线分配额度,使得下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
在本申请一个实施例中,所述下发日志还包括时间戳;
步骤203、根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b>=Q*p2,则确定所述下发节点的所述产品线分配额度q=Q*b/B;
其中,b为所述产品线的应下发流量,Q为所述产品线配置总额度,B为所述限流策略生成节点检测到的所有活跃节点的产品线应下发流量,0<=p2<=1。
具体的,时间戳可理解为下发日志最后的更新时间,例如,下发日志最后的更新时间为8点10分,限流策略生成节点确定下发节点是否为活跃节点的条件是:下发日志的最后更新时间是否在以当前时间为起点的过去5分钟之内,若当前时间为8点12分,那么确定下发节点为活跃节点;若当前时间为8点16分,那么确定下发节点为不活跃节点。
在确定下发节点为活跃节点的情况下,若下发节点针对所述产品线的应下发流量满足表达式:b>=Q*p2,则确定所述下发节点的所述产品线分配额度q=Q*b/B,可以达到活跃节点均衡分配产品线配置总额度的目的,其中,b为所述产品线的应下发流量,Q为所述产品线配置总额度,B为所述限流策略生成节点检测到的所有活跃节点的产品线应下发流量,0<=p2<=1,即p2为0到1之间的数,p2也可取0和1。
产品线配置总额度可预先获取。具体的,产品线配置总额度可理解为产品线的限流阈值。在本实施例中,产品线配置总额度可由管理信息系统(Management InformationSystem,简称MIS)平台进行配置。MIS平台在对产品线进行限流阈值配置时,可配置全局限流配置、特殊限流配置和特殊任务豁免。全局限流配置针对所有的产品线生效,用于配置当前CDN每个预设间隔,例如每5分钟可以下发的总流量阈值,可以控制全局CDN峰值上限;特殊限流配置可以区分不同产品线配置,特殊产品线的配置优先级高于全局配置,用于配置针对某一产品线,每个预设间隔,例如每5分钟可以下发的流量阈值;特殊任务豁免用于配置某些不适用于限流场景的紧急任务下发。
全局限流配置可视为是每条产品线的默认配置,若某条产品线没有设置特殊限流配置,那么使用全局限流配置,否则,使用特殊限流配置,其中,特殊限流配置设置为无穷大时,可认为是特殊豁免配置(即不限流配置)。
在本实施例中,在下发节点为活跃节点,且下发节点针对产品线的应下发流量满足b>=Q*p2时,采用q=Q*b/B确定产品线分配额度,即根据下发节点的下发日志记载的信息,来更新下发节点的产品线分配额度,可以根据下发节点的下发情况动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在本申请一个实施例中,步骤203、根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b<Q*p2,则将第一分配额度和默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第一分配额度q1=Q/n,n为所述限流策略生成节点检测到的所有活跃节点个数,默认产品线分配额度q2=Q*p1,0<=p1<=1。
在确定下发节点为活跃节点的情况下,若下发节点针对所述产品线的应下发流量满足表达式:b<Q*p2,则将第一分配额度和默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度。b为所述产品线的应下发流量,Q为所述产品线配置总额度。0<=p1<=1,即p1为0到1之间的数,p1也可取0和1。p1可由限流策略生成节点检测到的所有下发节点的个数确定,例如,p1为1/N,N为限流策略生成节点检测到的所有下发节点的个数。
本实施例中,在下发节点为活跃节点,且下发节点针对产品线的应下发流量满足b<Q*p2时,采用第一分配额度和默认产品线分配额度确定产品线分配额度,即根据下发节点的下发日志记载的信息,来更新下发节点的产品线分配额度,可以根据下发节点的下发情况动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在本申请一个实施例中,步骤203、根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为不活跃节点,则将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第二分配额度q3=Q/N,N为所述限流策略生成节点检测到的所有下发节点个数。
在确定下发节点为不活跃节点的情况下,将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度,所述第二分配额度q3=Q/N,N为所述限流策略生成节点检测到的所有下发节点个数。
本实施例中,在下发节点为不活跃节点时,将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度。即限流策略生成节点根据下发节点的下发日志记载的信息,来更新下发节点的产品线分配额度,可以根据下发节点的下发情况动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
以下列举具体实施例对本申请提供的内容分发网络服务限流方法的具体实现过程进行详细说明。
不同的用户(厂商)可能有多个产品,对应不同的产品线,例如:度秘有几个产品线,分别是小度在家、小度音箱、小度音箱与小度在家的各个定制产品线等。
不同产品线的升级包一般不会有很大的变化,比如小度音箱普遍是40M左右,小度在家普遍是700M左右。因此相同设备量级与相同客户端升级频率的前提下,小度音箱和小度在家对比,小度在家产生的峰值会远远高于小度音箱。
厂商会不定时,在平台给不同的产品线,配置不同条件的下发任务,下发任务被通过kafka推送给下发系统,每个下发任务包含对应的升级包或APP的CDN链接。
如图2a所示,设备端会周期性地去调用升级接口,传送自身的设备和产品线等信息,请求升级任务。
下发系统中的下发节点接收设备端(即电子设备)的升级请求,会根据设备传输过来的信息(即产品线标识)进行匹配,匹配对应产品线的各个升级任务,如果匹配上,则将任务下发下去。
设备端收到升级任务(即下发节点对升级请求的响应)后,根据CDN链接进行文件下载,完成升级。
图2b所示,为CDN额度上限阈值的水池模型设计,图2b中,第一产品线(例如百度云)CDN服务全局限流阈值为y1;第二产品线(例如云加速)CDN服务全局限流阈值为y2;特殊限流pid=x1,对应限流阈值为y3;特殊限流pid=x2,对应限流阈值为y4;pid=x3,对应限流阈值为∞(即无穷大)。
每下发一个包,就相当于往水池倒一杯水,水池增加的水量相当于增加的流量,水池升高的高度等价于带宽增长,本文实现的峰值控制为5分钟内的平滑峰值控制;
不同的产品线有不同的限流阈值上限,相当于在水池边对应不同的刻度;
当前的水池高度对应的峰值为当前的带宽;
当水池高度达到某个产品线的刻度时,接下来,在当前5分钟周期内,该产品线将不能再继续下发;
pid=-1指当前CDN服务对应的所有的产品线。
如图2c所示为MIS系统(或MIS平台)配置限流阈值示意图。MIS系统配置各种限流阈值,配置完成以后存于数据库,同时通过kafka(kafka是一种高吞吐量的分布式发布订阅消息系统)推送到下发系统与策略制定模块(即限流策略生成节点),使配置实时生效。
全局限流配置(通用限流)针对所有的产品线生效,用于配置当前CDN每5min可以下发的总流量阈值。可以控制全局CDN峰值上限。
特殊限流配置可以区分不同产品线配置,特殊产品线的配置优先级高于全局配置。用于配置针对某一产品线,每5min可以下发的流量阈值。
用于配置某些不适用于限流场景的紧急任务下发。
如图2d所示为限流策略生成模块设计示意图,该模块通过从Elasticsearch(即ES)中获取最新的下发数据,根据当前的策略生成方案,产生新的针对各个产品线在各个节点下的不同的下发策略,按照指定格式写入kafka,推送出去。
采用的策略方案如下:
各节点针对产品线的实际下发流量之和大于该产品线的限流阈值,将每个节点对应的产品线额度调整为0,终止改产品线的下发;
检测节点日志最新时间(可理解为更新时间)在5分钟以内,认为节点是活跃节点,否则不是活跃节点;
默认产品线分配额度=产品线配置总额度*p1;(p1与总节点数有关,例如,p1可取1/N,其中,N为总节点数);
活跃节点的产品线对应的产品线应下发流量>=产品线配置总额度*p2,则所述下发节点的产品线分配额度=产品线配置总额度*所述下发节点的产品线应下发流量/(所述限流策略生成模块检测到的所有活跃节点的产品线应下发流量);其中,所述产品线配置总额度可理解为产品线的限流阈值,通过MIS平台配置,限流策略生成模块预先获取该产品线配置总额度,p2小于或等于0,且大于或等于1;
活跃节点的产品线对应的产品线应下发流量<产品线配置总额度*p2时,则所述下发节点的产品线分配额度=min(产品线配置总额度/所述限流策略生成模块检测到的所有活跃节点个数,默认产品线分配额度);min(第一参数,第二参数)表示取第一参数和第二参数中值最小的参数。
不活跃节点的产品线分配额度=min(产品线配置总额度/所述限流策略生成模块检测到的所有下发节点个数,默认产品线分配额度);
另外,本申请中的限流策略生成模块,还可支持根据更多维度的数据来生成更为精准的策略方案。
如图2e所示为下发系统限流设计。每个下发节点接收最新的策略,获取与自己节点有关的策略,没有就去默认节点的策略。
根据策略来执行对不同产品线的下发计数与限制。
节点每分钟进行一次报活。
节点每5分钟进行一次全局CDN下发计数清零。
节点按照要求打印下发日志,该日志将被采集器实时采集到Elasticsearch,用于制定限流策略。
日志采集模块设计,每个下发节点对应一个日志采集器,本文使用logstash实时监控指定目录,指定格式的文件,将最新的下发系统CDN下发日志信息,推送到elasticsearch指定索引中。
本申请针对不同产品线可以配置不同的CDN服务限流阈值;增加CDN日志采集模块,将下发日志推送到ES;增加策略生成模块,通过采集到的下发日志,结合预测能力,来制定不同的限流策略,推送给下发系统中的下发节点。上述具体实施例中,将日志的采集、限流策略的制定功能等解耦出来,并更改请求为推送的方式,使下发系统支持高并发,支持横向扩展、更灵活,可以结合预测,可以随时变更不同的限流策略,实现更多维度的策略生成。
本申请中的方案,能极大提升CDN服务利用率,通过削峰,降低CDN服务峰值,极大降低成本,针对不同产品线可以做细粒度的配置,模块间耦合度低,策略制定更为灵活。
参见图3,图3是本申请实施例提供的第一电子设备的结构图,如图3所示,本实施例提供一种第一电子设备300,所述第一电子设备300为下发节点,包括:
接收模块301,用于接收终端设备的升级请求,所述升级请求包括产品线的产品线标识;
响应模块302,用于根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;
记录模块303,用于将所述响应的响应结果记录在下发日志中;
其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
进一步的,所述响应模块302,用于:
若所述产品线分配额度满足:q>=a+m,则向所述终端设备发送所述产品线的下发文件的内容分发网络CDN链接;
其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小;
所述记录模块303,用于:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的实际下发流量和应下发流量中。
进一步的,所述响应模块302,用于:
若所述产品线分配额度满足:q<a+m,则确定不向所述终端设备发送所述产品线的下发文件的CDN链接;
所述记录模块303,用于:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的应下发流量中。
第一电子设备300能够实现图1所示的方法实施例中下发节点实现的各个过程,为避免重复,这里不再赘述。
本申请实施例的第一电子设备300,接收终端的升级请求,所述升级请求包括产品线的产品线标识;根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;将所述响应的响应结果记录在下发日志中,其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。这样,不同的产品线具有不同的产品线分配额度,下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
参见图4,图4是本申请实施例提供的第二电子设备的结构图,如图4所示,本实施例提供一种第二电子设备400,所述第二电子设备400为限流策略生成节点,包括:
获取模块401,用于获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;
确定模块402,用于根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;
发送模块403,用于将所述产品线分配额度发送给所述下发节点。
进一步的,所述下发日志还包括时间戳;
所述确定模块402,用于:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b>=Q*p2,则确定所述下发节点的所述产品线分配额度q=Q*b/B;
其中,b为所述产品线的应下发流量,Q为所述产品线配置总额度,B为所述限流策略生成节点检测到的所有活跃节点的产品线应下发流量,0<=p2<=1。
进一步的,所述确定模块402,用于:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b<Q*p2,则将第一分配额度和默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第一分配额度q1=Q/n,n为所述限流策略生成节点检测到的所有活跃节点个数,默认产品线分配额度q2=Q*p1,0<=p1<=1。
进一步的,所述确定模块402,用于:
若根据所述时间戳确定所述下发节点为不活跃节点,则将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第二分配额度q3=Q/N,N为所述限流策略生成节点检测到的所有下发节点个数。
第二电子设备400能够实现图2所示的方法实施例中限流策略生成节点实现的各个过程,为避免重复,这里不再赘述。
本申请实施例的第二电子设备400,获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;将所述产品线分配额度发送给所述下发节点。这样,由于产品线分配额度与产品线标识对应,对于同一下发节点,限流策略生成节点可为不同的产品线分配不同的产品线分配额度,使得下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图5所示,是根据本申请实施例的内容分发网络服务限流方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的内容分发网络服务限流方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的内容分发网络服务限流方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的内容分发网络服务限流方法对应的程序指令/模块(例如,附图3所示的接收模块301、响应模块302及记录模块303,或者附图4所示的获取模块401、确定模块402及发送模块403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的内容分发网络服务限流方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据实现内容分发网络服务限流方法的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至实现内容分发网络服务限流方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现内容分发网络服务限流方法的电子设备还可以包括:输入装置505和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与实现内容分发网络服务限流方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LaN)、广域网(WaN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,接收终端的升级请求,所述升级请求包括产品线的产品线标识;根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;将所述响应的响应结果记录在下发日志中,其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。这样,不同的产品线具有不同的产品线分配额度,下发节点可基于不同的产品线的产品线分配额度,对终端的升级请求进行响应,即本实施例中的方法可针对不同产品线分别进行限流,增加了限流设置的灵活性。
在产品线分配额度满足q>=a+m时,向终端发送产品线的下发文件的CDN链接,并更新下发日志中的实际下发流量和应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
在产品线分配额度满足q<a+m时,确定不向终端发送产品线的下发文件的CDN链接,并更新下发日志中的应下发流量,以对下发节点的响应结果做记录,便于限流策略生成节点根据下发日志调整下发节点的产品线分配额度,以动态调整下发节点的产品线分配额度,提高产品线分配额度的灵活性。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (16)
1.一种内容分发网络服务限流方法,应用于下发节点,其特征在于,包括:
接收终端设备的升级请求,所述升级请求包括产品线的产品线标识;
根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;
将所述响应的响应结果记录在下发日志中;
其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
2.根据权利要求1所述的方法,其特征在于,所述根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,包括:
若所述产品线分配额度满足:q>=a+m,则向所述终端设备发送所述产品线的下发文件的内容分发网络CDN链接;
其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小;
所述将所述响应的响应结果记录在下发日志中,包括:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的实际下发流量和应下发流量中。
3.根据权利要求2所述的方法,所述根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,包括:
若所述产品线分配额度满足:q<a+m,则确定不向所述终端设备发送所述产品线的下发文件的CDN链接;
所述将所述响应的响应结果记录在下发日志中,包括:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的应下发流量中。
4.一种内容分发网络服务限流方法,应用于限流策略生成节点,其特征在于,包括:
获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;
根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;
将所述产品线分配额度发送给所述下发节点。
5.根据权利要求4所述的方法,其特征在于,所述下发日志还包括时间戳;
所述根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b>=Q*p2,则确定所述下发节点的所述产品线分配额度q=Q*b/B;
其中,b为所述产品线的应下发流量,Q为所述产品线配置总额度,B为所述限流策略生成节点检测到的所有活跃节点的产品线应下发流量,0<=p2<=1。
6.根据权利要求5所述的方法,其特征在于,所述根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b<Q*p2,则将第一分配额度和默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第一分配额度q1=Q/n,n为所述限流策略生成节点检测到的所有活跃节点个数,默认产品线分配额度q2=Q*p1,0<=p1<=1。
7.根据权利要求5或者6所述的方法,其特征在于,所述根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度,包括:
若根据所述时间戳确定所述下发节点为不活跃节点,则将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第二分配额度q3=Q/N,N为所述限流策略生成节点检测到的所有下发节点个数。
8.一种电子设备,所述电子设备为下发节点,其特征在于,包括:
接收模块,用于接收终端设备的升级请求,所述升级请求包括产品线的产品线标识;
响应模块,用于根据与所述产品线标识对应的产品线分配额度,对所述升级请求进行响应,其中,所述产品线分配额度为从限流策略生成节点获取的产品线分配额度;
记录模块,用于将所述响应的响应结果记录在下发日志中;
其中,所述下发日志包括所述产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量。
9.根据权利要求8所述的下发节点,其特征在于,所述响应模块,用于:
若所述产品线分配额度满足:q>=a+m,则向所述终端设备发送所述产品线的下发文件的内容分发网络CDN链接;
其中,q为产品线分配额度,a为所述产品线的实际下发流量,m为所述产品线的下发文件大小;
所述记录模块,用于:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的实际下发流量和应下发流量中。
10.根据权利要求9所述的下发节点,所述响应模块,用于:
若所述产品线分配额度满足:q<a+m,则确定不向所述终端设备发送所述产品线的下发文件的CDN链接;
所述记录模块,用于:
将所述产品线的下发文件大小累加到所述下发日志中所述产品线的应下发流量中。
11.一种电子设备,所述电子设备为限流策略生成节点,其特征在于,包括:
获取模块,用于获取下发节点的下发日志,所述下发日志包括产品线的产品线标识、所述产品线的实际下发流量和所述产品线的应下发流量;
确定模块,用于根据所述下发日志,确定所述下发节点针对所述产品线的产品线分配额度;
发送模块,用于将所述产品线分配额度发送给所述下发节点。
12.根据权利要求11所述的限流策略生成节点,其特征在于,所述下发日志还包括时间戳;
所述确定模块,用于:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b>=Q*p2,则确定所述下发节点的所述产品线分配额度q=Q*b/B;
其中,b为所述产品线的应下发流量,Q为所述产品线配置总额度,B为所述限流策略生成节点检测到的所有活跃节点的产品线应下发流量,0<=p2<=1。
13.根据权利要求12所述的限流策略生成节点,其特征在于,所述确定模块,用于:
若根据所述时间戳确定所述下发节点为活跃节点,且所述下发节点针对所述产品线的应下发流量满足表达式:b<Q*p2,则将第一分配额度和默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第一分配额度q1=Q/n,n为所述限流策略生成节点检测到的所有活跃节点个数,默认产品线分配额度q2=Q*p1,0<=p1<=1。
14.根据权利要求12或者13所述的限流策略生成节点,其特征在于,所述确定模块,用于:
若根据所述时间戳确定所述下发节点为不活跃节点,则将第二分配额度和所述默认产品线分配额度中值最小的分配额度确定为所述产品线分配额度;
其中,所述第二分配额度q3=Q/N,N为所述限流策略生成节点检测到的所有下发节点个数。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法,或者所述至少一个处理器能够执行权利要求4-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法,或者所述计算机指令用于使所述计算机执行权利要求4-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911226579.2A CN111083058B (zh) | 2019-12-04 | 2019-12-04 | 内容分发网络服务限流方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911226579.2A CN111083058B (zh) | 2019-12-04 | 2019-12-04 | 内容分发网络服务限流方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111083058A true CN111083058A (zh) | 2020-04-28 |
CN111083058B CN111083058B (zh) | 2024-03-01 |
Family
ID=70312792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911226579.2A Active CN111083058B (zh) | 2019-12-04 | 2019-12-04 | 内容分发网络服务限流方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111083058B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111770180A (zh) * | 2020-06-29 | 2020-10-13 | 百度在线网络技术(北京)有限公司 | 部署方法、装置、设备以及存储介质 |
CN111988817A (zh) * | 2020-06-29 | 2020-11-24 | 百度在线网络技术(北京)有限公司 | Ota数据包下发流量的控制方法和装置 |
CN112600932A (zh) * | 2020-12-22 | 2021-04-02 | 百度在线网络技术(北京)有限公司 | 定量下发方法、控制台、下发节点、设备和介质 |
CN112866985A (zh) * | 2021-02-20 | 2021-05-28 | 百度在线网络技术(北京)有限公司 | 流量控制方法、资源下载方法、装置、设备和存储介质 |
CN113301076A (zh) * | 2020-05-18 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 流量控制方法、分布式系统、设备及存储介质 |
CN113596920A (zh) * | 2021-07-29 | 2021-11-02 | 百度在线网络技术(北京)有限公司 | 流量控制方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387165A (zh) * | 2010-08-27 | 2012-03-21 | 腾讯科技(深圳)有限公司 | 软件升级系统及方法 |
CN104778057A (zh) * | 2015-03-11 | 2015-07-15 | 小米科技有限责任公司 | 终端系统升级方法、装置及服务器 |
US20170034309A1 (en) * | 2014-04-16 | 2017-02-02 | Huawei Technologies Co., Ltd. | Software upgrade method and terminal |
CN106445621A (zh) * | 2016-10-31 | 2017-02-22 | 乐视控股(北京)有限公司 | 一种应用软件的升级方法、装置及电子设备 |
WO2018006677A1 (zh) * | 2016-07-06 | 2018-01-11 | 中兴通讯股份有限公司 | 智能升级方法、服务器、终端和系统 |
CN107734033A (zh) * | 2017-10-16 | 2018-02-23 | 深圳市金立通信设备有限公司 | 一种免流量下载应用程序的方法、终端、系统及计算机可读存储介质 |
CN109218362A (zh) * | 2017-07-03 | 2019-01-15 | 中国移动通信有限公司研究院 | 一种互联网内容分发方法、装置和系统 |
CN109688207A (zh) * | 2018-12-11 | 2019-04-26 | 北京云中融信网络科技有限公司 | 日志传输方法、装置及服务器 |
CN110245153A (zh) * | 2019-05-20 | 2019-09-17 | 平安银行股份有限公司 | 产品数据处理方法、系统、计算机设备和存储介质 |
CN110266510A (zh) * | 2018-03-21 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 网络控制策略生成方法及装置、网络控制方法、存储介质 |
-
2019
- 2019-12-04 CN CN201911226579.2A patent/CN111083058B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387165A (zh) * | 2010-08-27 | 2012-03-21 | 腾讯科技(深圳)有限公司 | 软件升级系统及方法 |
US20170034309A1 (en) * | 2014-04-16 | 2017-02-02 | Huawei Technologies Co., Ltd. | Software upgrade method and terminal |
CN104778057A (zh) * | 2015-03-11 | 2015-07-15 | 小米科技有限责任公司 | 终端系统升级方法、装置及服务器 |
WO2018006677A1 (zh) * | 2016-07-06 | 2018-01-11 | 中兴通讯股份有限公司 | 智能升级方法、服务器、终端和系统 |
CN106445621A (zh) * | 2016-10-31 | 2017-02-22 | 乐视控股(北京)有限公司 | 一种应用软件的升级方法、装置及电子设备 |
CN109218362A (zh) * | 2017-07-03 | 2019-01-15 | 中国移动通信有限公司研究院 | 一种互联网内容分发方法、装置和系统 |
CN107734033A (zh) * | 2017-10-16 | 2018-02-23 | 深圳市金立通信设备有限公司 | 一种免流量下载应用程序的方法、终端、系统及计算机可读存储介质 |
CN110266510A (zh) * | 2018-03-21 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 网络控制策略生成方法及装置、网络控制方法、存储介质 |
CN109688207A (zh) * | 2018-12-11 | 2019-04-26 | 北京云中融信网络科技有限公司 | 日志传输方法、装置及服务器 |
CN110245153A (zh) * | 2019-05-20 | 2019-09-17 | 平安银行股份有限公司 | 产品数据处理方法、系统、计算机设备和存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113301076A (zh) * | 2020-05-18 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 流量控制方法、分布式系统、设备及存储介质 |
CN113301076B (zh) * | 2020-05-18 | 2022-05-06 | 阿里巴巴集团控股有限公司 | 流量控制方法、分布式系统、设备及存储介质 |
CN111770180A (zh) * | 2020-06-29 | 2020-10-13 | 百度在线网络技术(北京)有限公司 | 部署方法、装置、设备以及存储介质 |
CN111988817A (zh) * | 2020-06-29 | 2020-11-24 | 百度在线网络技术(北京)有限公司 | Ota数据包下发流量的控制方法和装置 |
CN111988817B (zh) * | 2020-06-29 | 2024-05-24 | 百度在线网络技术(北京)有限公司 | Ota数据包下发流量的控制方法和装置 |
CN112600932A (zh) * | 2020-12-22 | 2021-04-02 | 百度在线网络技术(北京)有限公司 | 定量下发方法、控制台、下发节点、设备和介质 |
CN112600932B (zh) * | 2020-12-22 | 2023-04-07 | 百度在线网络技术(北京)有限公司 | 定量下发方法、控制台、下发节点、设备和介质 |
CN112866985A (zh) * | 2021-02-20 | 2021-05-28 | 百度在线网络技术(北京)有限公司 | 流量控制方法、资源下载方法、装置、设备和存储介质 |
CN112866985B (zh) * | 2021-02-20 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | 流量控制方法、资源下载方法、装置、设备和存储介质 |
CN113596920A (zh) * | 2021-07-29 | 2021-11-02 | 百度在线网络技术(北京)有限公司 | 流量控制方法、装置、电子设备及存储介质 |
CN113596920B (zh) * | 2021-07-29 | 2024-04-05 | 百度在线网络技术(北京)有限公司 | 流量控制方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111083058B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111083058A (zh) | 内容分发网络服务限流方法及电子设备 | |
CN112165691B (zh) | 内容分发网络调度方法、装置、服务器和介质 | |
CN111858248B (zh) | 应用监控方法、装置、设备以及存储介质 | |
CN111753997B (zh) | 分布式训练方法、系统、设备及存储介质 | |
CN111970132B (zh) | Ota数据包下发流量的控制方法、装置及服务器 | |
CN102523103B (zh) | 一种工业监控网络数据采集结点 | |
CN112437018A (zh) | 分布式集群的流量控制方法、装置、设备和存储介质 | |
CN112073994A (zh) | 用于空中升级的方法、装置、电子设备及可读存储介质 | |
CN111694646A (zh) | 资源调度方法、装置、电子设备及计算机可读存储介质 | |
CN111611023B (zh) | 智能设备的控制方法、装置、电子设备和存储介质 | |
CN110727557A (zh) | 日志采集器的管控方法、平台、电子设备及存储介质 | |
CN114095443B (zh) | 用于管控流量的方法、装置、电子设备及可读存储介质 | |
CN104995899A (zh) | 服务器负载管理 | |
CN111913884A (zh) | 分布式测试方法、装置、设备、系统和可读存储介质 | |
WO2017035199A1 (en) | Feed service engine | |
CN111970320B (zh) | Ota数据包下发流量的控制方法和装置 | |
CN111858628A (zh) | 基于数据库的管理方法、平台、电子设备及存储介质 | |
CN111988817B (zh) | Ota数据包下发流量的控制方法和装置 | |
CN110765075A (zh) | 自动驾驶数据的存储方法和设备 | |
CN112202567A (zh) | 一种证书发送方法、证书发送方法、云端以及终端设备 | |
CN111782229A (zh) | 一种小程序启动方法、装置及电子设备 | |
CN112565356A (zh) | 数据存储方法、装置以及电子设备 | |
CN111787088A (zh) | 小程序数据处理的方法和装置 | |
CN113010786A (zh) | 信息推送的方法、装置、设备以及存储介质 | |
US20210298033A1 (en) | Priority Control Method and Data Processing System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |