CN111585908B - 一种智能热点打散的方法、装置、存储介质及计算机设备 - Google Patents
一种智能热点打散的方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN111585908B CN111585908B CN201910117615.5A CN201910117615A CN111585908B CN 111585908 B CN111585908 B CN 111585908B CN 201910117615 A CN201910117615 A CN 201910117615A CN 111585908 B CN111585908 B CN 111585908B
- Authority
- CN
- China
- Prior art keywords
- url
- request
- urls
- hotspot
- request quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 88
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1019—Random or heuristic server selection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明公开了一种智能热点打散的方法、装置、存储介质及计算机设备。所公开的方法包括：基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量；将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对URL执行第一热点打散操作；将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对URL执行第二热点打散操作。所公开的技术方案能够自动预测非突发的热点URL请求、从而提前进行第一种打散操作，能够对不能预测的突发热点URL请求进行第二种打散操作，加快了热点业务的处理。
Description
技术领域
本发明涉及计算机网络负载均衡领域，尤其涉及一种智能热点打散的方法、装置、存储介质及计算机设备。
背景技术
为了减小服务器端的处理时延，改善用户体验，通常都需要对URL(特别是热点URL)进行打散/均衡操作。
现有技术通常采用将集中的URL随机或均匀地分散到后端机器(例如，源站节点服务器集群、边缘节点服务器集群)的方式，来实现针对热点URL的负载均衡。
然而，现有技术方案通常只是在热点URL出现之后，才执行打散操作，从而将针对热点URL的请求分散地分配到多台机器，因此存在以下缺点：
1、没有在前期针对热点URL可能存在的趋势做出判断，做出预先处理。只是在发现热点之后直接打散，没有缓存的机器会直接回上层节点或者源造成大量流量浪费。
2、即使采用组内共享缓存方案，将所有回源流量重新导回统一端口，在热点文件较大(例如，文件大小超过1G)时，在各个机器取完文件之前，热点堆积现象将无法解决，该统一端口的压力并没有减少。
为了解决上述问题，需要提出新的技术方案。
发明内容
根据本发明的智能热点打散的方法，包括：
基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量；
将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对URL执行第一热点打散操作；
将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对URL执行第二热点打散操作。
根据本发明的智能热点打散的方法，其对URL执行第一热点打散操作的步骤包括：
将第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程。
根据本发明的智能热点打散的方法，其对URL执行第二热点打散操作的步骤包括：
查找第二URL的落点进程；
将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程；和/或
将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程。
根据本发明的智能热点打散的方法，其对URL执行第二热点打散操作的步骤还包括：
确定第二URL的请求文件的大小大于指定文件大小；和/或
在落点进程执行完针对第二URL的请求的、获取并发送请求文件或发送请求文件的响应之后，将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程，和/或
基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量的步骤包括：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
根据本发明的智能热点打散的装置，包括：
人工智能学习模型，用于学习URL的请求量曲线并预测URL的请求量；
第一热点打散模块，用于将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对URL执行第一热点打散操作；
第二热点打散模块，用于将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对URL执行第二热点打散操作。
根据本发明的智能热点打散的装置，其第一热点打散模块还用于：
将第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程。
根据本发明的智能热点打散的装置，其第二热点打散模块还用于：
查找第二URL的落点进程；
将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程；和/或
将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程，和/或
人工智能学习模型还用于：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
根据本发明的智能热点打散的装置，其第二热点打散模块还用于：
确定第二URL的请求文件的大小大于指定文件大小；和/或
在落点进程执行完针对第二URL的请求的、获取并发送请求文件或发送请求文件的响应之后，将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程。
根据本发明的存储介质，该存储介质上存储有计算机程序，程序被处理器执行时实现上文所述方法的步骤。
根据本发明的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上文所述方法的步骤。
根据本发明的上述技术方案，能够自动预测非突发的热点URL请求、从而提前进行第一种打散操作，能够对不能预测的突发热点URL请求进行第二种打散操作，加快了热点业务的处理。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与相关的文字描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1示例性地示出了根据本发明的智能热点打散的方法的示意流程图。
图2示例性地示出了根据本发明的智能热点打散的装置的示意框图。
图3示例性地示出了可以实现根据本发明的智能热点打散的方法的一个实施例的示意图。
图4示例性地示出了根据本发明的智能热点打散的方法可以使用的人工智能学习模型所匹配出来的模型图的示例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了解决背景技术部分所述的技术问题，本发明基于针对在(可预测的)热点还未突发之前提前预测(即，预测请求量大于等于指定URL的预定请求量时)并执行第一种处理操作、在(不可预测的)热点突发时(即，请求量无法预测且实际请求量大于或等于指定URL的预定请求量时)执行第二种处理(例如，快速处理)操作的总体构思，提出了以下技术方案。
图1示例性地示出了根据本发明的智能热点打散的方法的示意流程图。
如图1所示，根据本发明的智能热点打散的方法，包括：
步骤S102：基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量；
步骤S104：将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对URL执行第一热点打散操作；
步骤S106：将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对URL执行第二热点打散操作。
可选地，在步骤S104中，对URL执行第一热点打散操作的步骤包括：
将第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程。
可选地，在步骤S106中，对URL执行第二热点打散操作的步骤包括：
查找第二URL的落点进程；
将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程；和/或
将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程。
可选地，在步骤S106中，对URL执行第二热点打散操作的步骤还包括：
确定第二URL的请求文件的大小大于指定文件大小；和/或
在落点进程执行完针对第二URL的请求的、获取并发送请求文件或发送请求文件的响应之后，将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程，和/或
步骤S102包括：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
可选地，请求量曲线采用三阶段模型曲线。
图2示例性地示出了根据本发明的智能热点打散的装置的示意框图。
如图2所示，根据本发明的智能热点打散的装置200包括：
人工智能学习模型201，用于学习URL的请求量曲线并预测URL的请求量；
第一热点打散模块203，用于将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对URL执行第一热点打散操作；
第二热点打散模块205，用于将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对URL执行第二热点打散操作。
可选地，第一热点打散模块203还用于：
将第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程。
可选地，第二热点打散模块205还用于：
查找第二URL的落点进程；
将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程；和/或
将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了落点进程之外的进程。
可选地，第二热点打散模块205还用于：
确定第二URL的请求文件的大小大于指定文件大小；和/或
在落点进程执行完针对第二URL的请求的、获取并发送请求文件或发送请求文件的响应之后，将第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程，和/或
人工智能学习模型201还用于：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
结合根据本发明的上述方法和装置，还提出了一种存储介质，存储介质上存储有计算机程序，程序被处理器执行时实现上文所述方法的步骤。
结合根据本发明的上述方法和装置，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上文所述方法的步骤。
为了使本领域技术人员更清楚地理解根据本发明的上述技术方案，下文将结合具体实施例进行描述。
图3示例性地示出了可以实现根据本发明的智能热点打散的方法的一个实施例的示意图。
如图3所示，该实施例(“热点文件分析预取打散”，对应于结合图1所述的上述智能热点打散的方法)包括以下处理步骤：
1、(可预测的)“热点未突发时”(对应于上述步骤S104)
1.1、人工智能学习模型预测可能的热点URL(对应于上述步骤S102)。
例如，热点URL预测主要核心可以为人工智能匹配出来的模型图(对应于上述请求量曲线)，针对不同业务(例如，对应于不同的URL)计算出参数(例如，上述URL所对应的第一预定请求量阈值)。
图4示例性地示出了根据本发明的智能热点打散的方法可以使用的人工智能学习模型所匹配出来的模型图的示例。
例如，实现了使用该模型图的上述智能热点打散的方法的存储介质，可以存储apk等形式的软件安装包，以便于产品的发布。
如图4所示的示例模型图所示，其包含A、B、C三个阶段(即，上述三阶段模型曲线)。在阶段A，业务还未突发，刚开始上量时请求较小。在阶段B，请求数升高，达到较高的业务值。在阶段C，业务突发，请求量在瞬间达到高点。
例如，模型会在A->B过程中预测出可能会有C突发的趋势。例如，上述URL所对应的第一预定请求量阈值可以被设置为阶段B和阶段C的分界点T所对应的纵坐标的数值。
可选地，可以将决策出的可能URL(即，上述预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL)提交给组(例如，多个缓存服务器组成的集群)内的预取中心(即，服务器集群中指定的、作为统一端口、执行预取操作的缓存服务器)。
1.2、提交URL到组内预取中心、将URL预取到组内指定进程。
例如，组内预取中心可以执行以下操作：
1.2.1、将获取的URL通过计算获取到URL的上层节点，父或者同节点省份的其他机器，此时尝试对父和源发起探测，计算两边的下载速度哪个更快，作为挑选出来的上层节点。
1.2.2、挑选整组机器中空闲的进程，作为要预取到的那个进程a。让进程a执行http的请求将文件取下，作为缓存基础文件afile(本地文件)，待文件取完，执行下一步。
1.2.3、计算出打散后该URL即将落在机器的进程号pid，预取程序告知这些进程都到之前的进程a上拿文件afile，从而保证只有一次回上层节点(即，父节点)或源节点的请求。
1.3、将URL打散。
例如，可以按照打散规则(例如，随机或均匀地等)，将该URL在调度服务器上做打散操作，在热点还未突发时将其快速解决。
然而，有些热点是前期没有任何预兆(即，其请求量是不可预测的)，此时需要采用下文所述的方法。
2、(不可预测的)“热点突发”时(对应于上述步骤S106)
2.1、热点打散与组内共享缓存。
例如，热点突发时，服务器上的热点检测装置(例如，可以对应于上述第二热点打散模块205)会识别出突发的热点将其打散。例如，在没有缓存的服务器上，还可以将请求导向原先hash的组内端口上，从而实现组内共享缓存。
然而，当文件超过1G(对应于上述指定文件大小)时，请求量大的请求下，此时组内其他服务器无法快速取完URL，会造成请求堆积，没有达到打散的效果，不能快速解决问题。此时，可以执行以下操作，以减小处理时延，改善用户体验。
2.2、查找热点URL。
2.3、计算URL落点进程，对其他URL做进程屏蔽。
例如，可以计算该热点URL的落点进程b，将其他业务的落点为该进程的请求重新做hash，将业务导向其他空闲进程，保护其他业务不受影响，此时热点URL还是正常运作在该繁忙进程中。
可选地，针对下载类型业务或其他支持断点续传的业务，可以强行kill掉保留在屏蔽进程b中的链接，让链接重新接入服务器时可以享受预取，且在另行打散后自动实现业务的流畅运行。
即，此时能够通过进程隔离，在单个业务突发且无法瞬间恢复时，将其他业务先迁移出执行突发业务的进程，保证其他业务的正常运行。
2.4、将URL提交组内预取中心，将URL预取到组内指定进程。
该步骤包含步骤1.2中的相同操作。
2.5、恢复屏蔽的进程状态。
在进程b的预取操作完成之后，恢复屏蔽的进程b的(可被用于分配和执行其他业务的)状态，从而恢复正常业务。
根据本发明的上述技术方案，具有以下优点：
1、能够自动预测非突发的热点URL请求，从而提前进行第一种打散操作(包括预取到缓存)，在热点还没造成实质的业务影响(例如，大的时延)时解决问题，能够对不能预测的突发热点URL请求进行第二种打散操作，加快了热点业务的处理。
2、例如，可以结合将所有回源流量重新导回统一端口的操作，减少多份回上层(即，上层的源站节点)取资源的流量，节省成本，提高边缘节点与上层节点的承载能力。还可以结合挑选较为空闲的链路和较为空闲的进程执行一次快速回源预取、再将文件快速复制到该统一端口对应的、通过内网连接的其他机器上的操作，节省多份回上层节点的回源流量。
3、能够在热点请求处理完成之后，为原本用于热点请求处理的进程分配其他请求，尽快修复热点产生的影响。
4、能够通过进程隔离，在单个业务突发且无法瞬间恢复时，将其他业务先迁移出执行突发业务的进程，保证其他业务的正常运行。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。
Claims (8)
1.一种智能热点打散的方法，其特征在于，包括：
基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量；
将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对所述第一URL执行第一热点打散操作；
将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对所述第二URL执行第二热点打散操作；
所述对所述第一URL执行第一热点打散操作的步骤包括：
将所述第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程。
2.如权利要求1所述的智能热点打散的方法，其特征在于，所述对所述第二URL执行第二热点打散操作的步骤包括：
查找所述第二URL的落点进程；
将所述第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了所述落点进程之外的进程；和/或
将所述第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了所述落点进程之外的进程。
3.如权利要求2所述的智能热点打散的方法，其特征在于，所述对所述第二URL执行第二热点打散操作的步骤还包括：
确定所述第二URL的请求文件的大小大于指定文件大小；和/或
在所述落点进程执行完针对所述第二URL的请求的、获取并发送所述请求文件或发送所述请求文件的响应之后，将所述第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将所述第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程，和/或
所述基于人工智能学习模型学习URL的请求量曲线并预测URL的请求量的步骤包括：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
4.一种智能热点打散的装置，其特征在于，包括：
人工智能学习模型，用于学习URL的请求量曲线并预测URL的请求量；
第一热点打散模块，用于将URL的预测请求量大于或等于该URL所对应的第一预定请求量阈值的URL确定为第一URL，对所述第一URL执行第一热点打散操作；将所述第一URL的请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程；
第二热点打散模块，用于将URL的请求量无法预测且实际请求量大于或等于该URL所对应的第二预定请求量阈值的URL确定为第二URL，对所述第二URL执行第二热点打散操作。
5.如权利要求4所述的智能热点打散的装置，其特征在于，所述第二热点打散模块还用于：
查找所述第二URL的落点进程；
将所述第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程中的、除了所述落点进程之外的进程；和/或
将所述第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程中的、除了所述落点进程之外的进程，和/或
所述人工智能学习模型还用于：
采用聚类算法对URL进行聚类分析，将相同类别的URL在预设历史时段内的请求量或实时请求量自动绘制为对应于该类别的URL的请求量曲线，根据该类别的URL的请求量曲线来预测该类别的URL的请求量。
6.如权利要求5所述的智能热点打散的装置，其特征在于，所述第二热点打散模块还用于：
确定所述第二URL的请求文件的大小大于指定文件大小；和/或
在所述落点进程执行完针对所述第二URL的请求的、获取并发送所述请求文件或发送所述请求文件的响应之后，将所述第一URL的新请求随机或均匀地分配到多个缓存服务器和/或源站服务器的进程，和/或，将所述第一URL的旧请求随机或均匀地重新分配到多个缓存服务器和/或源站服务器的进程。
7.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1至3中任意一项所述方法的步骤。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至3中任意一项所述方法的步骤。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117615.5A CN111585908B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
| CN202210316256.8A CN114884885B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
| US17/430,399 US11562042B2 (en) | 2019-02-15 | 2020-02-14 | Intelligent hotspot scattering method, apparatus, storage medium, and computer device |
| PCT/CN2020/075343 WO2020164612A1 (zh) | 2019-02-15 | 2020-02-14 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
| SG11202108623VA SG11202108623VA (en) | 2019-02-15 | 2020-02-14 | Intelligent hotspot scattering method, apparatus, storage medium, and computer device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117615.5A CN111585908B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316256.8A Division CN114884885B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111585908A CN111585908A (zh) | 2020-08-25 |
| CN111585908B true CN111585908B (zh) | 2022-03-04 |
Family
ID=72044002
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316256.8A Active CN114884885B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
| CN201910117615.5A Active CN111585908B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316256.8A Active CN114884885B (zh) | 2019-02-15 | 2019-02-15 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11562042B2 (zh) |
| CN (2) | CN114884885B (zh) |
| SG (1) | SG11202108623VA (zh) |
| WO (1) | WO2020164612A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112153713B (zh) * | 2020-10-23 | 2021-08-20 | 珠海格力电器股份有限公司 | 障碍物的确定方法和装置、存储介质、电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105610716A (zh) * | 2016-03-09 | 2016-05-25 | 北京邮电大学 | 一种基于sdn的多媒体流量优化调度方法、装置及系统 |
| CN107707597A (zh) * | 2017-04-26 | 2018-02-16 | 贵州白山云科技有限公司 | 一种突发热点访问均衡处理方法及装置 |
| CN109218441A (zh) * | 2018-10-18 | 2019-01-15 | 哈尔滨工业大学 | 一种基于预测和区域划分的p2p网络动态负载均衡方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728770B1 (en) * | 1999-12-03 | 2004-04-27 | Storage Technology Corporation | Method and apparatus for workload balancing along multiple communication paths to a plurality of devices |
| KR20050021752A (ko) | 2003-08-26 | 2005-03-07 | 정길도 | 분산 웹 캐싱의 성능 향상을 위한 핫 스팟의 예측 알고리즘 |
| US7680858B2 (en) * | 2006-07-05 | 2010-03-16 | Yahoo! Inc. | Techniques for clustering structurally similar web pages |
| JP4950596B2 (ja) * | 2006-08-18 | 2012-06-13 | クラリオン株式会社 | 予測交通情報生成方法、予測交通情報生成装置および交通情報表示端末 |
| US7584294B2 (en) * | 2007-03-12 | 2009-09-01 | Citrix Systems, Inc. | Systems and methods for prefetching objects for caching using QOS |
| US20100306249A1 (en) * | 2009-05-27 | 2010-12-02 | James Hill | Social network systems and methods |
| US8725866B2 (en) * | 2010-08-16 | 2014-05-13 | Symantec Corporation | Method and system for link count update and synchronization in a partitioned directory |
| US8964546B1 (en) * | 2012-01-31 | 2015-02-24 | Google Inc. | Indirect measurement of user traffic on links |
| US9167049B2 (en) | 2012-02-02 | 2015-10-20 | Comcast Cable Communications, Llc | Content distribution network supporting popularity-based caching |
| US10261938B1 (en) * | 2012-08-31 | 2019-04-16 | Amazon Technologies, Inc. | Content preloading using predictive models |
| CN103281367B (zh) * | 2013-05-22 | 2016-03-02 | 北京蓝汛通信技术有限责任公司 | 一种负载均衡方法及装置 |
| CN103414761B (zh) * | 2013-07-23 | 2017-02-08 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
| US9652538B2 (en) * | 2013-12-11 | 2017-05-16 | Ebay Inc. | Web crawler optimization system |
| US9961106B2 (en) * | 2014-09-24 | 2018-05-01 | Arbor Networks, Inc. | Filtering legitimate traffic elements from a DoS alert |
| CN104618493A (zh) | 2015-02-12 | 2015-05-13 | 小米科技有限责任公司 | 数据请求处理方法及装置 |
| CN106161485B (zh) | 2015-03-23 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 一种基础服务集群的资源调度方法、装置和系统 |
| JP2017028431A (ja) * | 2015-07-21 | 2017-02-02 | 富士通株式会社 | 伝送装置及び流量計測方法 |
| US10439990B2 (en) | 2015-11-25 | 2019-10-08 | Barracuda Networks, Inc. | System and method to configure a firewall for access to a captive network |
| US9990341B2 (en) * | 2015-12-04 | 2018-06-05 | International Business Machines Corporation | Predictive approach to URL determination |
| US10362098B2 (en) * | 2016-06-21 | 2019-07-23 | Facebook, Inc. | Load balancing back-end application services utilizing derivative-based cluster metrics |
| CN107124630B (zh) | 2017-03-30 | 2020-04-14 | 华为技术有限公司 | 节点数据管理的方法及装置 |
| US11195106B2 (en) * | 2017-06-28 | 2021-12-07 | Facebook, Inc. | Systems and methods for scraping URLs based on viewport views |
| CN107729139B (zh) * | 2017-09-18 | 2021-02-26 | 北京京东尚科信息技术有限公司 | 一种并发获取资源的方法和装置 |
| CN109327550B (zh) * | 2018-11-30 | 2022-02-18 | 网宿科技股份有限公司 | 一种访问请求的分配方法、装置、存储介质和计算机设备 |
-
2019
- 2019-02-15 CN CN202210316256.8A patent/CN114884885B/zh active Active
- 2019-02-15 CN CN201910117615.5A patent/CN111585908B/zh active Active
-
2020
- 2020-02-14 WO PCT/CN2020/075343 patent/WO2020164612A1/zh active Application Filing
- 2020-02-14 US US17/430,399 patent/US11562042B2/en active Active
- 2020-02-14 SG SG11202108623VA patent/SG11202108623VA/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105610716A (zh) * | 2016-03-09 | 2016-05-25 | 北京邮电大学 | 一种基于sdn的多媒体流量优化调度方法、装置及系统 |
| CN107707597A (zh) * | 2017-04-26 | 2018-02-16 | 贵州白山云科技有限公司 | 一种突发热点访问均衡处理方法及装置 |
| CN109218441A (zh) * | 2018-10-18 | 2019-01-15 | 哈尔滨工业大学 | 一种基于预测和区域划分的p2p网络动态负载均衡方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202108623VA (en) | 2021-09-29 |
| US20220107986A1 (en) | 2022-04-07 |
| WO2020164612A1 (zh) | 2020-08-20 |
| US11562042B2 (en) | 2023-01-24 |
| CN111585908A (zh) | 2020-08-25 |
| CN114884885A (zh) | 2022-08-09 |
| CN114884885B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109213600B (zh) | 一种基于ai云的gpu资源调度方法和装置 | |
| CN107872402B (zh) | 全局流量调度的方法、装置及电子设备 | |
| JP6441404B2 (ja) | クライアントをアップデートするための方法およびデバイス | |
| KR101595854B1 (ko) | 클라우드 시스템에서의 가상 머신 배치 방법 및 장치 | |
| JP2014526763A5 (zh) | ||
| KR20120116774A (ko) | 분산 저장 시스템의 복제 서버 장치 및 복제본 생성 방법 | |
| CN108958975B (zh) | 一种控制数据恢复速度的方法、装置及设备 | |
| US20200159565A1 (en) | Predicting transaction outcome based on artifacts in a transaction processing environment | |
| CN110769040B (zh) | 一种访问请求的处理方法、装置、设备及存储介质 | |
| US9851960B2 (en) | Tenant allocation in multi-tenant software applications | |
| CN109618174A (zh) | 一种直播数据传输方法、装置、系统以及存储介质 | |
| CN110858986A (zh) | 带宽调整方法、装置、通信设备及计算机可读存储介质 | |
| US9363199B1 (en) | Bandwidth management for data services operating on a local network | |
| CN111585908B (zh) | 一种智能热点打散的方法、装置、存储介质及计算机设备 | |
| CN111459681A (zh) | 一种基于微服务负载的动态弹性伸缩方法 | |
| CN107908730B (zh) | 一种下载数据的方法和装置 | |
| CN112260962B (zh) | 一种带宽控制方法及装置 | |
| CN108153794B (zh) | 页面缓存数据刷新方法、装置及系统 | |
| CN112311826B (zh) | 内容分发系统中访问请求的处理方法、装置及系统 | |
| CN110753006A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN106131187B (zh) | 一种授权的控制方法及装置 | |
| CN115794306A (zh) | 基于抢占实例的资源分配方法及装置、电子设备及介质 | |
| CN115086331A (zh) | 云设备调度方法、装置及系统、电子设备及存储介质 | |
| CN114553727A (zh) | 一种基于内容分发网络的数据处理方法及装置 | |
| CN112995241B (zh) | 服务调度方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |