CN107508758A - 一种热点文件自动扩散的方法 - Google Patents

Abstract

本发明公开了一种热点文件自动扩散的方法，将热点发现分为两个维度：请求数和带宽；只要有一个维度判断成功，则认为发现热点文件，负载均衡设备即进行热点扩散行为，访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再使该文件可以均匀访问到每一台缓存设备，结构合理，使用方便，集群各设备负载均匀，使这些文件对应设备的负载增大且便利的随时提供服务。

Description

一种热点文件自动扩散的方法

技术领域

本发明涉及互联网技术领域，尤其是涉及一种热点文件自动扩散的方法。

背景技术

随着社会的发展，互联网用户快速增长带动了互联网经济的蓬勃发展，移动互联网、电子商务、网络视频、品牌网络广告、网上招聘、网络游戏等在极短的时间得到快速发展并积累了众多用户，成为了人们生活中不可或缺的一部分。

让人们越来越关注互联网技术的更新，如何更好更快更方便的共享互联网资源，成为人们共同的焦点。

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定.通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上.其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。

热点文件在CDN领域中的解释为访问较为频繁的文件，比如一个门户网站上，当出现了一个热点的新闻事件，公众对这个新闻事件的访问比较频繁，这个文件就可称为热点文件；再比如一个热播的电视剧，公众通过下载观看的人数比较多，这个视频文件就可称为热点文件。

在CDN业务系统中，在cdn的缓存集群中，通常采用两层架构：负载均衡层和缓存层，负载均衡层通常采用一致性哈希策略将文件哈希到不同的缓存设备，达到节省集群存储和提高缓存命中率的作用。

在这种策略下，如果某些文件的访问特别集中，会造成集群各设备负载不均，使这些文件对应设备的负载增大甚至无法提供服务。

发明内容

本发明的目的在于提供一种热点文件自动扩散的方法，以解决上述背景技术中提出的问题和缺陷。

为实现上述目的，本发明提供如下技术方案：

一种热点文件自动扩散的方法，将热点发现分为两个维度：请求数和带宽；只要有一个维度判断成功，则认为发现热点文件，即进行热点扩散行为，热点文件的扩散由负载均衡设备来完成，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再将被判断为热点的文件均衡地调度到每一台缓存设备。

在上述技术方案中，发现热点文件的具体过程为：

Q1：负载均衡设备每接收到一次请求，通过一致性哈希策略选择一台缓存设备，增加该缓存设备的请求数或带宽计数，以及增加该url的访问次数或带宽计数；

Q2：判断是否出现热点，即负载均衡设备判断是否有缓存设备的请求计数值或带宽数值超过所有设备均值和一个热点系数的乘积，如果超过则认为该缓存设备出现热点，

Q3：负载均衡设备查找该缓存设备中访问次数最多的url，认为该url需要做热点扩散，将该url加入到热点url集合中；

Q4：负载均衡设备从该缓存设备的请求计数值减掉该url的请求计数值或带宽计数值，再次判断该缓存设备的请求计数值或宽计数值是否超过所有缓存设备均值和一个热点系数的乘积，循环该操作，直到该设备的请求计数值或宽计数值小于所有设备均值和一个热点系数的乘积；

Q5：负载均衡设备收到用户请求后，判断该请求的url是否在热点url集合中，如果命中，则认为是热点文件，进行热点扩散，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再使该文件可以均匀访问到每一台缓存设备。

本发明的优点：

本发明实施例提供的一种热点文件自动扩散的方法,提供了两种判断方式，结构合理，使用方便，集群各设备负载均匀，使这些文件对应设备的负载增大且便利的随时提供服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种热点文件自动扩散的方的当判断请求数维度时，负载均衡层的工作流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的 附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

当判断请求数维度时，负载均衡层维护了每台后端缓存设备的请求数，以及每个url的访问次数(所有url会以访问计数值构建红黑树(或其他数据结构，以获取最大访问计数的url))，该数据周期性清零。发现步骤如下：

Q1：负载均衡层每接收到一次请求，通过一致性哈希策略选择一台缓存设备，增加该缓存设备的请求数计数，以及增加该url的访问次数计数；

Q2：判断是否出现热点，即负载均衡层判断是否有缓存设备的请求计数值超过所有设备均值和一个热点系数的乘积，如果超过则认为该缓存设备出现热点，

Q3：负载均衡层查找该缓存设备中访问次数最多的url，认为该url需要做热点扩散，将该url加入到热点url集合中。

Q4：负载均衡设备从该缓存设备的请求计数值减掉该url的请求计数值，再次判断该缓存设备的请求计数值是否超过所有缓存设备均值和一个热点系数的乘积，循环该操作，直到该设备的请求计数值小于所有设备均值和一个热点系数的乘积。

Q5：负载均衡层收到用户请求后，判断该请求的url是否在热点url集合中，如果命中，则认为是热点文件，利用自身的负载均衡功能进行热点扩散，访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问。从而使该文件可以均匀访问到每一台缓存设备。

负载均衡设备能够将访问量进行均衡，分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。

实施例2

当判断带宽维度时，负载均衡层维护了每台后端缓存设备的带宽数，以及每个url的带宽数(所有url会以带宽数计数值构建红黑树(或其他数据结构，以获取最大带宽数计数的url))，该数据周期性清零。发现步骤如下：

Q1：负载均衡层每接收到一次请求，通过一致性哈希策略选择一台缓存设备，增加该缓存设备的带宽数计数，以及增加该url的访带宽数计数；

Q2：判断是否出现热点，即负载均衡层判断是否有缓存设备的带宽数计数值超过所有设备均值和一个热点系数的乘积，如果超过则认为该缓存设备出现热点，

Q3：负载均衡层查找该缓存设备中带宽数最多的url，认为该url需要做热点扩散，将该url加入到热点url集合中。

Q4：负载均衡设备从该缓存设备的带宽数计数值减掉该url的带宽数计数值，负载均衡设备再次判断该缓存设备的带宽数计数值是否超过所有缓存设备均值和一个热点系数的乘积，循环该操作，直到该设备的带宽数计数值小于所有设备均值和一个热点系数的乘积。

Q5：负载均衡层收到用户请求后，判断该请求的url是否在热点url集合中，如果命中，则认为是热点文件，利用自身的负载均衡功能进行热点扩散，访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问。从而使该文件可以均匀访问到每一台缓存设备。

以上所述仅为本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，本发明实施例还可以在不脱离本专利宗旨的前提下做出各种变化。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种热点文件自动扩散的方法，其特征在于，将热点发现分为两个维度：请求数和带宽；只要有一个维度判断成功，则认为发现热点文件，即进行热点扩散行为，热点文件的扩散由负载均衡设备来完成，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再将被判断为热点的文件均衡地调度到每一台缓存设备。

2.根据权利要求1所述的一种热点文件自动扩散的方法，其特征在于，发现热点文件的具体过程为：

Q1：负载均衡设备每接收到一次请求，通过一致性哈希策略选择一台缓存设备，增加该缓存设备的请求数或带宽计数，以及增加该url的访问次数或带宽计数；

Q2：判断是否出现热点，即负载均衡设备判断是否有缓存设备的请求计数值或带宽数值超过所有设备均值和一个热点系数的乘积，如果超过则认为该缓存设备出现热点，

Q3：负载均衡设备查找该缓存设备中访问次数最多的url，认为该url需要做热点扩散，将该url加入到热点url集合中；

Q4：负载均衡设备从该缓存设备的请求计数值减掉该url的请求计数值或带宽计数值，再次判断该缓存设备的请求计数值或宽计数值是否超过所有缓存设备均值和一个热点系数的乘积，循环该操作，直到该设备的请求计数值或宽计数值小于所有设备均值和一个热点系数的乘积；

Q5：负载均衡设备收到用户请求后，判断该请求的url是否在热点url集合中，如果命中，则认为是热点文件，进行热点扩散，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再使该文件可以均匀访问到每一台缓存设备。