CN112995046B - 一种内容分发网络流量管理方法及设备 - Google Patents

一种内容分发网络流量管理方法及设备 Download PDF

Info

Publication number
CN112995046B
CN112995046B CN201911273757.7A CN201911273757A CN112995046B CN 112995046 B CN112995046 B CN 112995046B CN 201911273757 A CN201911273757 A CN 201911273757A CN 112995046 B CN112995046 B CN 112995046B
Authority
CN
China
Prior art keywords
domain name
target domain
addresses
head
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911273757.7A
Other languages
English (en)
Other versions
CN112995046A (zh
Inventor
胡金涌
李强
谢辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yundun Information Technology Co ltd
Original Assignee
Shanghai Yundun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yundun Information Technology Co ltd filed Critical Shanghai Yundun Information Technology Co ltd
Priority to CN201911273757.7A priority Critical patent/CN112995046B/zh
Publication of CN112995046A publication Critical patent/CN112995046A/zh
Application granted granted Critical
Publication of CN112995046B publication Critical patent/CN112995046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请的目的是提供一种内容分发网络流量管理方法及设备,本申请通过统计目标域名在预设时间段内的访问量并确定访问目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址;当目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问目标域名的各头部IP地址对应的访问请求,并将目标域名的各头部IP地址加入IP黑名单;当目标域名的访问量大于最大限速阈值时,拦截访问目标域名的所有IP地址对应的访问请求,即该方法通过两级限速,将限速逻辑进行局部化设计,避免对访问目标域名的IP地址造成误杀,保证了对访问目标域名的低频率的IP地址继续回源,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。

Description

一种内容分发网络流量管理方法及设备
技术领域
本申请涉及计算机领域,尤其涉及一种内容分发网络流量管理方法及设备。
背景技术
现有技术中,随着互联网的普及和高速发展,以及各个网站包含的各种信息越来越多,使用内容分发网络(Content Delivery Network,CDN)进行内容分发成为各个网站提升用户体验,降低源站负载的重要基础设施。当网站被攻击或者进行秒杀促销等活动时,流量相对于平常会有一个跳跃式的上升。如果不能及时应对,就会降低用户体验,甚至会导致网站服务不可用。为了解决这一问题,一方面当网站访问达到设定的限速阈值时,就会对全部的访问者进行拦截,虽然避免了访问高峰,但是容易造成误拦误防;另一方面,现有限流方案大部分是通过共享内存、锁等机制进行全局限流,对服务器性能有一定影响。因此,如何提高网站服务的高可用和系统性能成为当前研究的主要课题和方向。
发明内容
本申请的一个目的是提供一种内容分发网络流量管理方法及设备,以解决现有技术中如何提高网站服务的高可用和系统性能的问题。
根据本申请的一个方面,提供了一种内容分发网络流量管理方法包括:
统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址;
当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将访问所述目标域名的各所述头部IP地址加入IP黑名单;
当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求。
进一步地,上述内容分发网络流量管理方法中,所述统计目标域名在预设时间段内的访问量,包括:
采用进程私有变量统计目标域名在预设时间段内的访问量。
进一步地,上述内容分发网络流量管理方法中,确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址,包括:
统计访问所述目标域名的所有所述IP地址中的各所述IP地址的访问次数;
基于所述访问次数从所有所述IP地址中,确定出访问所述目标域名最频繁的所述预设数量的IP地址;
其中,所述预设数量由限速管理者预置或所述预设数量由所有所述IP地址的总数的预设比例确定的。
进一步地,上述内容分发网络流量管理方法中,所述当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将各所述头部IP地址加入访问黑名单的同时,还包括:设置所述目标域名的各所述头部IP地址加入所述IP黑名单的拦截时间;
其中,所述方法还包括:
当拦截所述目标域名的各所述头部IP地址对应的访问请求的时间超过所述拦截时间,则允许所述时间超过所述拦截时间的头部IP地址访问所述目标域名,并将所述时间超过所述拦截时间的头部IP地址从所述IP黑名单删除;
再次统计所述时间超过所述拦截时间的头部IP地址在所述预设时间段内访问所述目标域名的访问次数。
进一步地,上述内容分发网络流量管理方法中,将访问所述目标域名的各所述头部IP地址加入IP黑名单之前,还包括:
基于所述目标域名和所述头部IP地址,查询所述IP黑名单中是否存在所述目标域名与所述头部IP地址之间的对应关系条目。
进一步地,上述内容分发网络流量管理方法中,所述方法还包括:
周期性地对访问所述目标域名的所述预设数量的头部IP地址进行统计并更新。
根据本申请的另一方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述任一项所述的方法。
根据本申请的另一方面,还提供了一种内容分发网络流量管理设备,该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述中任一项所述的方法。
与现有技术相比,本申请通过统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址;当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将所述目标域名的各所述头部IP地址加入IP黑名单;当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求,即该方法通过两级限速,将限速逻辑进行局部化设计,避免对访问所述目标域名的IP地址造成误杀,保证了对访问所述目标域名的低频率的IP地址继续回源,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种内容分发网络流量管理方法的流程示意图;
图2示出根据本申请一个方面的一种内容分发网络流量管理方法的一实际应用场景的模块示意图;
图3示出根据本申请一个方面的一种内容分发网络流量管理方法的一实际应用场景的流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit,CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change RAM,PRAM)、静态随机存取存储器(Static Random Access Memory,SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disk,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种内容分发网络流量管理方法的流程示意图,该方法适用于网站服务的过程中,该方法包括步骤S11、步骤S12及步骤S13,其中,具体包括:
步骤S11,统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有网际互联协议(Internet Protocol,IP)地址中的预设数量的头部IP地址;在此,所述头部IP地址是访问所述目标域名最为活跃的请求者的IP地址;在统计目标域名中,如果当前的目标域名首次出现,或者已经过期,则设置过期时间为用户配置的访问频率的时间间隔,这个时间间隔就是上述预设时间;如果当前的目标域名不是首次出现或者已经过期的,即统计目标域名的访问量是在预置的预设时间段内进行统计的。
步骤S12,当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将访问所述目标域名的各所述头部IP地址加入IP黑名单;在此,所述IP黑名单中的IP地址包括但不限于访问所述目标域名的各头部IP地址中的一个或多个及访问其他域名的各头部IP地址中的一个或多个用于存储每个访问域名与其对应的头部IP之间的对应关系条目,以便后续能够了解到具体是哪一个域名下对应的哪一个头部IP地址被拉入黑名单进行限速。在步骤S12中,不仅实现了对访问量大于最小限速阈值且小于最大限速阈值时对应的目标域名下的各头部IP地址对应的访问请求进行限速,还避免了对访问所述目标域名的所有IP地址中除了所述预设数量的头部IP地址以外的IP地址造成误杀,从而保证了对低频率的访问目标域名的IP地址继续回源,进一步提高了网站服务的系统性能,从而提升了网站用户的使用体验。
步骤S13,当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求。例如,当所述目标域名的访问量V大于最大限速阈值Vmax时,此时已经超过了目标域名的网站服务的承受能力和承受负荷范围,所以拦截访问所述目标域名的所有所述IP地址:IP1、IP2、IP3、IP4、IP5......IPn对应的访问请求,实现了对网站访问流量进行限速,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
上述步骤S11至步骤S13,通过统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址;当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址(活跃的IP地址)对应的访问请求,并将所述目标域名的各所述头部IP地址加入IP黑名单;当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求,即该方法通过两级限速,将限速逻辑进行局部化设计,避免对访问所述目标域名的IP地址造成误杀,保证了对访问所述目标域名的低频率的IP地址继续回源,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
例如,首先,统计在预设时间段内的各个域名的访问次数,继而统计得到目标域名在预设时间段T内的访问量V;然后,确定访问所述目标域名的所有IP地址分别为:IP1、IP2、IP3、IP4、IP5......IPn中的预设数量的头部IP地址(访问所述目标域名最频繁的IP地址)IP1、IP3、IP4、IP5、IP10......IPm,其中,所述头部IP地址IP1、IP3、IP4、IP5、IP10......IPm的数量为预设数量,以便后续执行步骤S12和步骤S13。当所述目标域名的访问量V大于最小限速阈值Vmin且小于最大限速阈值Vmax时,拦截访问所述目标域名的各所述头部IP地址IP1、IP3、IP4、IP5、IP10......IPm对应的访问请求,并将访问所述目标域名的各所述头部IP地址IP1、IP3、IP4、IP5、IP10......IPm加入IP黑名单,即通过采用两级限速的方案,将限速逻辑进行局部化,避免对访问所述目标域名的IP地址造成误杀,保证了对低频率的访问所述目标域名的IP地址继续回源。当所述目标域名的访问量V大于最大限速阈值Vmax时,此时已经超过了目标域名的网站服务的承受能力范围,所以拦截访问所述目标域名的所有所述IP地址:IP1、IP2、IP3、IP4、IP5......IPn对应的访问请求,实现了对网站访问流量进行限速,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
接着本申请的上述实施例,所述统计目标域名在预设时间段内的访问量,包括:
采用进程私有变量统计目标域名在预设时间段内的访问量。
例如,本申请利用进程私有变量取代传统的共享内存来统计每个域名在预设时间内的访问量,即通过进程私有变量来统计每个域名(比如目标域名)的访问频率,避免了各个worker进程访问共享内存时的加锁等开销,提高了系统性能。
接着本申请的上述实施例,所述确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址,包括:
统计访问所述目标域名的所有所述IP地址中的各所述IP地址的访问次数;在此,本申请利用进程私有变量统计访问各个域名的所有IP地址中的各所述IP地址的访问次数,不仅实现了对访问不同域名的各个IP地址的访问次数的统计,还避免了各个worker进程访问共享内存时的加锁等开销,提高了系统性能。
基于所述访问次数从所有所述IP地址中,确定出访问所述目标域名最频繁的所述预设数量的头部IP地址;
其中,所述预设数量由限速管理者预置或所述预设数量由所有所述IP地址的总数的预设比例确定的。在此,所述预设数量可以是固定的数目,也可以是与域名下的所有所述IP地址的总数的预设比例确定的,以便后续进行回源限速处理;所述限速管理者可以是编写程序的工程师。
例如,首先,统计访问所述目标域名的所有所述IP地址:IP1、IP2、IP3、IP4、IP5......IPn中的各所述IP地址IP1、IP2、IP3、IP4、IP5......IPn的访问次数分别是80、40、90、91、89......100;然后,基于各IP地址对应的访问次数80、40、90、91、89......100从所有所述IP地址IP1、IP2、IP3、IP4、IP5......IPn中,确定出访问所述目标域名最频繁的所述预设数量的头部IP地址IP1、IP3、IP4、IP5、IP10......IPm,实现对访问所述目标域名的最频繁的预设数量的头部IP地址的确定。
接着本申请的上述实施例,当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将各所述头部IP地址加入访问黑名单的同时,还包括:设置访问所述目标域名的各所述头部IP地址加入所述IP黑名单的拦截时间;在此,所述拦截时间既可以是拦截时间点,也可以是拦截时长等,所述拦截时间既可以是目标域名下的不同的头部IP地址对应不同的拦截时间,也可以是同一目标域名下的不同的头部IP地址均对应同一的拦截时间。
其中,所述方法还包括:
当拦截所述目标域名的各所述头部IP地址对应的访问请求的时间超过所述拦截时间,则允许所述时间超过所述拦截时间的头部IP地址访问所述目标域名,并将所述时间超过所述拦截时间的头部IP地址从所述IP黑名单删除;
再次统计所述时间超过所述拦截时间的头部IP地址在所述预设时间段内访问所述目标域名的访问次数。
例如,在本申请一优选实施例中,所述步骤S12当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将各所述头部IP地址加入访问黑名单,同时还设置访问所述目标域名的各所述头部IP地址IP1、IP3、IP4、IP5、IP10......IPm加入所述IP黑名单的拦截时间T(拦截)=15分钟;若拦截访问所述目标域名的各所述头部IP地址:IP1、IP3、IP4、IP5、IP10......IPm对应的访问请求的时间分别为:T1、T3、T4、T5、T10......Tm,先判断拦截访问所述目标域名的各所述头部IP地址IP1、IP3、IP4、IP5、IP10......Pm对应的访问请求的时间T1、T3、T4、T5、T10......Tm是否超过所述拦截时间T(拦截)=15分钟(即该拦截时间为目标域名下的各头部IP地址均对应的同一拦截时间);若头部IP地址IP1对应的访问请求的时间T1大于所述拦截时间T(拦截),则允许头部IP地址IP1访问所述目标域名,并将头部IP地址IP1从所述IP黑名单删除,再次统计所述头部IP地址IP1在所述预设时间段内访问所述目标域名的访问次数,若头部IP地址IP3对应的访问请求的时间T3大于述拦截时间T(拦截),则允许头部IP地址IP3访问所述目标域名,并将头部IP地址IP3从所述IP黑名单删除,再次统计所述头部IP地址IP3在所述预设时间段内访问所述目标域名的访问次数,若头部IP地址IP4对应的访问请求的时间T3小于所述拦截时间T(拦截),则头部IP地址IP4访问所述目标域名的请求继续被拦截,......若头部IP地址Im对应的访问请求的时间Tm大于述拦截时间T(拦截),则允许头部IP地址IPm访问所述目标域名,并将头部IP地址IPm从所述IP黑名单删除,再次统计所述头部IP地址IPm在所述预设时间段内访问所述目标域名的访问次数,防止访问目标域名的各头部IP地址长时间被拦截,避免对所述访问目标域名的各头部IP地址造成误杀,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
本申请的又一优选实施例中,将访问所述目标域名的各所述头部IP地址加入IP黑名单之前,还包括:
基于所述目标域名和所述头部IP地址,查询所述IP黑名单中是否存在所述目标域名与所述头部IP地址之间的对应关系条目。
例如,将访问所述目标域名的各所述头部IP地址加入IP黑名单之前,将所述目标域名和所述头部IP地址作为关键要素key,查询所述IP黑名单中是否存在所述目标域名与所述头部IP地址之间的对应关系条目;如果存在,则生成用于指示所述目标域名及其对应的所述头部IP地址已存在于所述IP黑名单中的响应信息,即通过所述响应信息说明该IP地址在之前的访问历史中被回源限速模块加入到了IP黑名单中;若不存在,则执行上述步骤S12将访问所述目标域名的各所述头部IP地址加入IP黑名单,避免了重复将头部IP地址加入黑名单,便于计算所述头部IP地址的访问请求被拦截的时间,避免对访问所述目标域名的IP地址造成误杀,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
本申请的又一优选实施例中,所述方法还包括:
周期性地对访问所述目标域名的所述预设数量的头部IP地址进行统计并更新。在此,可以通过定时器任务或最小堆算法实现周期性地对访问所述目标域名的所述预设数量的头部IP地址进行统计并更新,有利于提高网站服务的高可用和系统性能,提升网站用户的使用体验。
例如,利用定时器任务算法,周期性地对访问目标域名的最频繁的头部IP地址:IP1、IP3、IP4、IP5、IP10......IPm进行访问次数的统计,并根据不同时期的预设时间段内的实时的访问次数来对目标域名下的头部IP地址:IP1、IP3、IP4、IP5、IP10......IPm进行更新,以得到目标域名下的更新后的头部IP地址分别为:IP1’、IP2’、IP4’、IP4’、IP8’......IPx’,以实现对目标域名下的头部IP地址的更新,不仅有利于对更新后的头部IP地址对应的访问请求进行拦截,还避免了对实际上已经不再是目标域名下的最频繁的头部IP地址进行误拦截的操作,从而提高网站服务的高可用和系统性能的同时,提升网站用户的使用体验。
本申请一实际应用场景中,如图2、3所示,首先,接收到用户发出的用户请求即访问请求,判断网站是否开启回源限速,若否则直接结束;若是则启动IP访问频率统计模块,进行IP访问域名频率统计,即统计预设时间段内不同域名下的各IP地址访问的次数,并计算出访问目标域名的所有IP地址中的的头部IP地址;然后,定时更新目标域名下的头部IP地址(对应图3中的top N IP);接下来,进入IP动态黑名单模块,判断IP黑名单中是否已经存在上述头部IP地址,若有说明该IP地址之前被回源限速模块加入了IP黑名单中,则当前该IP地址的访问请求会被拦截;若无则进入域名访问统计模块,利用进程私有变量从网站源服务器统计目标域名的访问量(对应图3中的回源频率),判断访问量(回源频率)是否大于最小限速阈值,若否则结束操作;若是则判断访问量(回源频率)是否大于最大限速阈值,若是则直接拦截所有用户的IP地址的访问请求;若否则返回IP动态黑名单模块,将访问最频繁的IP地址(即头部IP地址)放入所述IP黑名单中,并且拦截头部IP地址的访问请求。本申请通过上述两级限速,将限速逻辑进行局部化设计,避免对访问所述目标域名的IP地址造成误杀,保证了对访问所述目标域名的低频率的IP地址继续回源,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
根据本申请的另一个方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述控制用户对垒方法。
根据本申请的另一个方面,还提供了一种用于内容分发网络回源限速的设备,其特征在于,该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述在设备上控制用户对垒方法。
在此,所述设备的各实施例的详细内容,具体可参见上述设备端的控制用户对垒方法实施例的对应部分,在此,不再赘述。
综上所述,通过统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有网际互联协议IP地址中的预设数量的头部IP地址;当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将所述目标域名的各所述头部IP地址加入IP黑名单;当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求,即该方法通过两级限速,将限速逻辑进行局部化设计,避免对访问所述目标域名的IP地址造成误杀,保证了对访问所述目标域名的低频率的IP地址继续回源,提高了网站服务的高可用和系统性能,从而提升了网站用户的使用体验。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (8)

1.一种内容分发网络流量管理方法,其特征在于,
所述方法包括:
统计目标域名在预设时间段内的访问量并确定访问所述目标域名的所有IP地址中的预设数量的头部IP地址,其中,所述头部IP地址用于表示访问所述目标域名最为活跃的请求者的IP地址;
当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将访问所述目标域名的各所述头部IP地址加入IP黑名单,其中,所述IP黑名单包括访问所述目标域名的各头部IP地址中的一个或多个、访问其他域名的各头部IP地址中的一个或多个用于存储每个访问域名与其对应的头部IP之间的对应关系条目;
当所述目标域名的访问量大于所述最大限速阈值时,拦截访问所述目标域名的所有所述IP地址对应的访问请求。
2.根据权利要求1所述的方法,其中,
所述统计目标域名在预设时间段内的访问量,包括:
采用进程私有变量统计目标域名在预设时间段内的访问量。
3.根据权利要求1所述的方法,其特征在于,
确定访问所述目标域名的所有IP地址中的预设数量的头部IP地址,包括:
统计访问所述目标域名的所有所述IP地址中的各所述IP地址的访问次数;
基于所述访问次数从所有所述IP地址中,确定出访问所述目标域名最频繁的所述预设数量的头部IP地址;
其中,所述预设数量由限速管理者预置或所述预设数量由所有所述IP地址的总数的预设比例确定的。
4.根据权利要求1所述的方法,其中,
当所述目标域名的访问量大于最小限速阈值且小于最大限速阈值时,拦截访问所述目标域名的各所述头部IP地址对应的访问请求,并将各所述头部IP地址加入访问黑名单的同时,还包括:设置所述目标域名的各所述头部IP地址加入所述IP黑名单的拦截时间;
其中,所述方法还包括:
当拦截所述目标域名的各所述头部IP地址对应的访问请求的时间超过所述拦截时间,则允许所述时间超过所述拦截时间的头部IP地址访问所述目标域名,并将所述时间超过所述拦截时间的头部IP地址从所述IP黑名单删除;
再次统计所述时间超过所述拦截时间的头部IP地址在所述预设时间段内访问所述目标域名的访问次数。
5.根据权利要求1所述的方法,其特征在于,
将访问所述目标域名的各所述头部IP地址加入IP黑名单之前,还包括:
基于所述目标域名和所述头部IP地址,查询所述IP黑名单中是否存在所述目标域名与所述头部IP地址之间的对应关系条目。
6.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
周期性地对访问所述目标域名的所述预设数量的头部IP地址进行统计并更新。
7.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如权利要求1至6中任一项所述的方法。
8.一种用于内容分发网络回源限速的设备,其特征在于,
该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
CN201911273757.7A 2019-12-12 2019-12-12 一种内容分发网络流量管理方法及设备 Active CN112995046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273757.7A CN112995046B (zh) 2019-12-12 2019-12-12 一种内容分发网络流量管理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273757.7A CN112995046B (zh) 2019-12-12 2019-12-12 一种内容分发网络流量管理方法及设备

Publications (2)

Publication Number Publication Date
CN112995046A CN112995046A (zh) 2021-06-18
CN112995046B true CN112995046B (zh) 2023-05-26

Family

ID=76331728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273757.7A Active CN112995046B (zh) 2019-12-12 2019-12-12 一种内容分发网络流量管理方法及设备

Country Status (1)

Country Link
CN (1) CN112995046B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486229B (zh) * 2021-07-05 2023-11-07 北京百度网讯科技有限公司 抓取压力的控制方法、装置、电子设备及可读存储介质
CN114338159A (zh) * 2021-12-28 2022-04-12 中国电信股份有限公司 访问限制方法、装置、非易失性存储介质及处理器
CN114422228A (zh) * 2022-01-14 2022-04-29 中国建设银行股份有限公司 访问请求处理方法、装置、设备和存储介质
CN114793171B (zh) * 2022-04-13 2024-04-16 杭州盈高科技有限公司 访问请求的拦截方法、装置、存储介质及电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206701A1 (zh) * 2016-06-01 2017-12-07 中兴通讯股份有限公司 访问控制方法及家庭网关

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104901943A (zh) * 2012-03-31 2015-09-09 北京奇虎科技有限公司 一种访问网站的方法和系统
CN106034083B (zh) * 2015-03-12 2019-10-08 阿里巴巴集团控股有限公司 Cdn网络系统及其限速控制方法、cdn节点和服务器
CN106487708B (zh) * 2015-08-25 2020-03-13 阿里巴巴集团控股有限公司 网络访问请求控制方法和装置
CN109889451B (zh) * 2017-12-06 2020-07-17 贵州白山云科技股份有限公司 网络限速的系统及其方法和服务器
CN108234462A (zh) * 2017-12-22 2018-06-29 杭州安恒信息技术有限公司 一种基于云防护的智能拦截威胁ip的方法
US10742595B2 (en) * 2018-04-20 2020-08-11 Pulse Secure, Llc Fully qualified domain name-based traffic control for virtual private network access control
CN108768870B (zh) * 2018-05-04 2019-09-10 Oppo广东移动通信有限公司 流量控制方法、装置及移动终端
CN109842565B (zh) * 2018-12-15 2023-03-28 平安科技(深圳)有限公司 接口限流方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206701A1 (zh) * 2016-06-01 2017-12-07 中兴通讯股份有限公司 访问控制方法及家庭网关

Also Published As

Publication number Publication date
CN112995046A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112995046B (zh) 一种内容分发网络流量管理方法及设备
US20200220840A1 (en) Method, server and system for resolving domain name
US9860186B1 (en) Multiple-speed message channel of messaging system
US9525659B1 (en) Request routing utilizing point of presence load information
US7669241B2 (en) Streaming algorithms for robust, real-time detection of DDoS attacks
US9912682B2 (en) Aggregation of network traffic source behavior data across network-based endpoints
US20110276623A1 (en) File bundling for cache servers of content delivery networks
US10182033B1 (en) Integration of service scaling and service discovery systems
WO2021120355A1 (zh) 一种域名解析方法、权威域名服务器和本地域名服务器
CN103685213A (zh) 一种减少针对dns的攻击的装置、系统和方法
US7636769B2 (en) Managing network response buffering behavior
US10404651B2 (en) Domain name system network traffic management
CN1908915A (zh) 用于管理元数据的方法和系统
US6704781B1 (en) System and method for content caching implementing compensation for providing caching services
WO2021056716A1 (zh) 一种云服务质量监控方法及相关产品
CN113268518B (zh) 流量统计方法及装置、分布式流量统计系统
US9832200B2 (en) Multi-tiered protection platform
CN113905092A (zh) 一种确定可复用代理队列的方法、装置、终端及存储介质
WO2006026761A2 (en) Method and system for caching directory services
CN112968980B (zh) 一种概率确定方法、装置、存储介质及服务器
US10666602B2 (en) Edge caching in edge-origin DNS
CN110875894B (zh) 通讯安全防护系统、方法及消息缓存节点
KR20070050577A (ko) 네트워크 상에서 데이터 전송 효율을 제어하는 인덱싱서버의 동작 방법, 상기 데이터를 수신하는 클라이언트단말기의 동작 방법 및 상기 방법을 채용한 인덱싱 서버
CN115396509A (zh) 一种基于IPv6网络代理服务的处理访问受限的方法及设备
CN115314462A (zh) 基于IPv6网络代理服务的高并发访问的处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant