CN110233892A - Cdn热点资源处理方法、系统及全局热片调度系统 - Google Patents

Abstract

本发明公开了一种CDN热点资源处理方法、系统及全局热片调度系统，统计一个周期内用户请求的文件；判断用户请求的文件是否为热片文件，若是热片文件，则进行热片调度；所述热片文件包含极热文件、次热文件。本发明能准确识别热片文件，并进行热片调度，能够使热片文件集中服务。热片越集中相应节点机的回源量就越少，IO操作，内存使用率交换频率也会越少，所以能有效提升该节点机服务质量。

Description

CDN热点资源处理方法、系统及全局热片调度系统

技术领域

本发明涉及内容分发网络，特别是一种CDN热点资源处理方法及系统。

背景技术

调度器是在很多大型系统中都存在的一个子系统，调度器的功能主要是为用户分配合适的资源地址，供用户使用。但由于某些资源的特殊性，可能导致最终分配给用户的资源地址，并非那么合理，下述以芒果TV为例说明。

芒果TV是一个主打综艺节目的视频平台，平台有非常多的热门综艺，如我是歌手、明星大侦探、快乐大本营等等，这些综艺节目有以下共同特点，1、定期更新，2、热度高访问集中。比如明星大侦探每周五12点会在芒果TV准时上线，在上线之后一段时间内，明星大侦探的最新一集的热度会非常高。这一时间段内，明星大侦探占全平台的VV比（即某一视频的播放量占全平台的播放量百分比）也会快速升高，CDN调度器如果未充分考虑到这一现象背后的逻辑，还依据原有的调度逻辑给用户分配资源，将可能影响到用户的使用体验，并增加系统的不稳定性。

传统方案由于节点机存储能力有限，无法保证每台节点机都是全副本，即包含全部的文件。以至于分发系统在分发时，不得不将文件分散到不同的节点机上面进行存储。这样一来，每个文件在每个机房很可能就只有一份数据，该数据可能存储在该机房中的某一台节点机上面。而当该节点机由于资源问题，比如带宽、内存、CPU等因素，导致无法为新用户提供服务，但新用户又必须要使用该节点机上面的文件，那么CDN系统将执行内部回源操作。回源操作过程如下，假设存储该文件F的节点机叫A，A无法提供服务，CDN系统将使用B机器提供服务。如果B机器上面没有存储文件F，那么B机器将从A机器下载文件F。当然可以边下载边给该用户提供服务，该过程就叫内部回源。

上述过程很明显给用户提供服务时多了一个环节。那就是B机器必须要从A机器回源文件F才能给用户提供服务，而且该过程比较耗时，受诸多因素影响，很有可能会影响对用户的服务质量。所以如果能够降低此类场景的出现，对提升CDN系统整体服务质量至关重要。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种CDN热点资源处理方法及系统。解决热门节目上线或热点事件爆发导致平台的热点过度集中，带来大量回源操作，导致平台不稳定因素增加，服务质量下降的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种CDN热点资源处理方法，该方法主要实现过程为：

统计一个周期内用户请求的文件；

判断用户请求的文件是否为热片文件，若是热片文件，则进行热片调度；所述热片文件包含极热文件、次热文件。

进行热片调度前，还进行如下处理：将热片文件列表，并发送至分发系统进行散片，让更多的节点机能够对该文件提供服务，提前防备流量激增的问题。

对热片文件进行散片的具体操作过程为：对于极热文件，确保该文件在全网50%的节点机中都存在；对于次热文件，确保该文件在全网10%的节点机中都存在。

热片调度过程中，将热片文件集中到某一节点机上进行服务，因为单台节点机服务能力是有限的，如果热片集中，那么冷片将减少，相应的节点机回源量、IO操作、内存交换等都会减少，如此将可以显著改善节点机的服务质量。

判断用户请求的文件是否为热片文件的具体实现过程包括：按文件被请求次数从高到低排序，并将下载次数超过预设阈值A的文件定义为极热文件，下载次数超过预设阈值B的文件定义为次热文件。

相应地，本发明还提供了一种CDN热点资源处理系统，其包括：

热片统计模块，用于统计一个周期内用户请求的文件，以及该文件的请求次数，根据所述请求次数判断用户请求的文件是否为热片文件；同时通知分发模块，对热片文件进行散片操作；

分发模块，用于接收热片统计模块发送的热片文件列表，执行散片操作；

调度模块，用于对散片后的热片文件进行调度。

相应地，本发明还提供了一种基于本地负载均衡器的全局热片调度系统，包括：

多个调度器，所述多个调度器均与热片统计模块通信；所述热片统计模块与分发模块通信；其中，

所述多个调度器用于统计一个周期内用户请求的文件，以及文件的请求次数；对散片后的热片文件进行调度；

所述热片统计模块用于根据所述请求次数判断用户请求的文件是否为热片文件；同时通知分发模块，对热片文件进行散片操作；

分发模块，用于接收热片统计模块发送的热片文件列表，执行散片操作。

所述热片统计模块包括：

判断单元，用于按文件被请求次数从高到低排序，并将请求次数超过预设阈值A的文件定义为极热文件，下载次数超过预设阈值B的文件定义为次热文件；

通知单元，用于将热片文件列表发送给分发模块，通知所述分发模块进行散片操作。

与现有技术相比，本发明所具有的有益效果为：

1、本发明能准确识别热片文件，并进行热片调度，能够使热片文件集中服务。热片越集中相应节点机的回源量就越少，IO操作，内存使用率交换频率也会越少，所以能有效提升该节点机服务质量；

2、本发明热片统计模块与分发模块结合，提前将热片文件进行散片操作。确保在用户请求大量到来前，已经有足够多的节点机可以直接给用户提供服务，而不需要进行内部回源操作，从而降低了内部回源操作，可以显著提升用户服务质量。

附图说明

图1为本发明热片统计原理框图；

图2为本发明散片原理框图。

具体实施方式

如图1所示，热片统计服务不间断的在一个周期（比如1分钟）内，对用户请求文件进行统计。按文件请求次数从高到低排序，并将超过预设阈值1的文件定义为极热文件，超过预设阈值2的文件定义为次热文件，其他文件不做处理。最终将形成热片数据，并及时发送给调度器。当调度器拿到热片文件列表后，用户请求的文件如果在热片列表中，将进行热片调度。

如图2所示，同时，热片统计服务还需将热片文件列表，发送至分发系统进行散片。分发服务接收热片统计服务散片命令，将需要进行散片的文进行分发，散片规模视文件热度而定。极热文件进行大规模散片，确保该文件在全网50%的节点机中都存在。次热文件进行小规模散片，确保该文件在全网10%的节点机中都存在。

从调度器角度来说，热片调度需要将热片文件进行集中服务（比如一个机房有10台机器，文件F可能存储在机器5上面，如果是非热片调度就会使用机器5给用户提供服务。但热片调度为了集中服务，会将热片文件全部集中到第1台机器进行服务，第一台服务不了，则用第2台进行服务，以此类推），确保相同条件下，节点优先服务热片文件。因为单台节点机服务能力是有限的，如果热片越集中，那么冷片越少。而热片文件经过上述散片操作，已经确保足够的机器已经存储该热片，随时准备对用户提供服务，不需要进行回源操作。而冷片文件没有散片，所以很有可能会要进行回源操作。回源操作越少，那节点机回源带宽、IO操作、内存交换等都会减少，如此可以显著改善节点机的服务质量。

本发明中，极热文件是指1分钟下载次数为1万的文件；次热文件是指1分钟下载次数为1000的文件。

或者，热片阈值为1000次/分钟，每分钟请求次数超过阈值5倍的热片，认为是极热片；每分钟请求次数超过阈值1倍，小于5倍的热片，认为是次热片；每分钟请求次数小于阈值1倍，大于阈值0.5倍的，认为是普通热片；普通热片如果持续热度超过5分钟，也作为次热片处理。

Claims (10)

1.一种CDN热点资源处理方法，其特征在于，该方法主要实现过程为：

统计一个周期内用户请求的文件；

判断用户请求的文件是否为热片文件，若是热片文件，则进行热片调度；所述热片文件包含极热文件、次热文件。

2.根据权利要求1所述的CDN热点资源处理方法，其特征在于，进行热片调度前，还进行如下处理：将热片文件列表，并发送至分发模块进行散片。

3.根据权利要求2所述的CDN热点资源处理方法，其特征在于，对热片文件进行散片的具体操作过程为：对于极热文件，确保该文件在全网50%的节点机中都存在；对于次热文件，确保该文件在全网10%的节点机中都存在。

4.根据权利要求2所述的CDN热点资源处理方法，其特征在于，热片调度过程中，将热片文件集中到某一节点机上进行服务。

5.根据权利要求1所述的CDN热点资源处理方法，其特征在于，判断用户请求的文件是否为热片文件的具体实现过程包括：按文件被请求次数从高到低排序，并将请求次数超过预设阈值A的文件定义为极热文件，下载次数超过预设阈值B的文件定义为次热文件。

6.一种CDN热点资源处理系统，其特征在于，包括：

热片统计模块，用于统计一个周期内用户请求的文件，以及该文件的请求次数，根据所述请求次数判断用户请求的文件是否为热片文件；同时通知分发模块，对热片文件进行散片操作；

分发模块，用于接收热片统计模块发送的热片文件列表，执行散片操作；

调度模块，用于对散片后的热片文件进行调度。

7.根据权利要求6所述的CDN热点资源处理系统，其特征在于，所述热片统计模块按文件被请求次数从高到低排序，并将请求次数超过预设阈值A的文件定义为极热文件，下载次数超过预设阈值B的文件定义为次热文件。

8.根据权利要求6所述的CDN热点资源处理系统，其特征在于，散片操作具体执行过程包括：对于极热文件，确保该文件在全网50%的节点机中都存在；对于次热文件，确保该文件在全网10%的节点机中都存在。

9.一种基于本地负载均衡器的全局热片调度系统，其特征在于，包括：

多个调度器，所述多个调度器均与热片统计模块通信；所述热片统计模块与分发模块通信；其中，

所述多个调度器用于统计一个周期内用户请求的文件，以及文件的请求次数；对散片后的热片文件进行调度；

所述热片统计模块用于根据所述请求次数判断用户请求的文件是否为热片文件；同时通知分发模块，对热片文件进行散片操作；

分发模块，用于接收热片统计模块发送的热片文件列表，执行散片操作。

10.根据权利要求9所述的基于本地负载均衡器的全局热片调度系统，其特征在于，所述热片统计模块包括：

判断单元，用于按文件被请求次数从高到低排序，并将请求次数超过预设阈值A的文件定义为极热文件，下载次数超过预设阈值B的文件定义为次热文件；

通知单元，用于将热片文件列表发送给分发模块，通知所述分发模块进行散片操作。