CN108769166A - 一种基于元数据的cdn缓存内容管理装置 - Google Patents

Abstract

本发明公开了一种基于元数据的CDN缓存内容管理装置，由节点元数据中心、元数据查询组件、元数据维护组件、缓存消息组件和节点缓存内容消息生成器构成，元数据查询组件与节点元数据中心通过指令相连互通，元数据维护组件与节点元数据中心、缓存消息组件通过指令相连互通，缓存消息组件与节点缓存内容消息生成器通过指令相连互通，可精准掌握每个节点已缓存的内容列表及已缓存内容的更多属性；独立部署，对已有系统性能影响较小，只需对每个节点改造增加节点缓存内容消息生成器组件，生成异步注册消息，基本上不影响边缘节点的服务性能；基于已缓存的内容元数据，可快速扩展出更多管理功能，如节点热点分析，全局热点分析等。

Description

一种基于元数据的CDN缓存内容管理装置

技术领域

本发明涉及互联网技术领域，尤其是涉及一种基于元数据的CDN缓存内容管理装置。

背景技术

随着社会的发展，互联网用户快速增长带动了互联网经济的蓬勃发展，移动互联网、电子商务、网络视频、品牌网络广告、网上招聘、网络游戏等在极短的时间得到快速发展并积累了众多用户，成为了人们生活中不可或缺的一部分。

在现有CDN技术中，需要实时监控CDN业务的各项基础数据，在大型CDN网络中，用来承载互联网用户的边缘节点很多，每个边缘节点一般是一组服务器或一个集群，缓存了大量文件(后文统称缓存内容或文件)，这些缓存内容都存储在边缘服务器或集群内部，由于缓存的内容存在主动删除(也称为内容刷新)动作或主动淘汰机制，这就带来了管理上的难度：

1、很难统计边缘节点的缓存文件的具体数量，特别是很难统计每个加速域名已缓存的文件数量，只能粗略的统计已缓存文件占用的存储空间。

2、由于每个节点缓存的内容都不一样，很难快速掌握具体文件在整个CDN网络的缓存状况，也很难对具体文件进行精确的管理动作，如查询，删除等操作，只能实施粗放式管理。

比如，要对某个文件进行删除动作，因为并不能精确知道具体已缓存此文件的节点，只能是针对这个文件所用到的节点进行全节点删除，效率低下。

3、无法获得节点已缓存文件列表，如果要判断一个文件是否缓存，只能一个节点一个点实施真实访问看返回状态来判断是否缓存。如果想快速判断大量文件列表是否缓存在边缘节点，查询负担非常高，如果实施大批量查询动作甚至影响节点响应性能。

发明内容

本发明的目的在于提供一种基于元数据的CDN缓存内容管理装置，以解决上述背景技术中提出的问题和缺陷,实现对CDN网络节点已缓存内容的高效查询、统计、及管理动作，解决CDN网络中缓存内容的管理问题及提升效率。

为实现上述目的，本发明提供如下技术方案：

一种基于元数据的CDN缓存内容管理装置，由节点元数据中心、元数据查询组件、元数据维护组件、缓存消息组件和节点缓存内容消息生成器构成，元数据查询组件与节点元数据中心通过指令相连互通，元数据维护组件与节点元数据中心、缓存消息组件通过指令相连互通，缓存消息组件与节点缓存内容消息生成器通过指令相连互通，其中，节点元数据中心用来存储已缓存内容的元数据，每个已缓存内容的元数据对应一条内容，采用Key-Value形式存储，每个Key为已缓存内容的URL，Value为每个已缓存内容的相应描述数据；

节点缓存内容消息生成器负责生成缓存内容注册或删除消息；

缓存消息组件是用来存储节点缓存内容消息生成器中的消息；

元数据维护组件：用来消费缓存消息组件中的消息，根据消息的类型对节点元数据中心注册的元数据进行添加、更新及删除动作；

元数据查询组件用来响应来自节点元数据中心的管理指令。

在上述技术方案中，当CDN节点上的内容在节点缓存内容消息生成器中生存、并在缓存消息组件中缓存下来的同时，则由节点缓存内容消息生成器产生一条缓存内容注册消息，此注册消息中包含了缓存内容的加速域名、URL、内容大小，保存时间、内容生成时间的属性字段；当CDN节点上的已缓存内容被主动删除或主动淘汰过期时，节点缓存内容消息生成器产生一条删除已缓存内容消息，包含用来删除已缓存内容注册的元数据，内容包括但不限于加速域名、URL。

在上述技术方案中，元数据维护组件根据消息的类型对节点元数据中心注册的元数据进行添加、更新及删除动作；具体是指，当数据类型是注册消息，则连接到节点元数据中心，判断已缓存内容URL是否已注册，如果未注册，则注册此内容的URL，如果已注册，则更新此URL的内容；当数据类型是删除消息，则对节点元数据中心的对应URL进行删除动作。

更进一步的，作为上述技术方案的优选，元数据查询组件用来响应的管理指令包括但不限于查询及统计动作，元数据查询组件接收到指令后，到节点元数据中心进行相应的检索及统计操作。

该申请公布了一种用于CDN缓存内容管理装置的硬件设备，该硬件设备相关的硬件模块包括数据处理器、模块间的通信接口、存储器和通信总线，其中，

数据处理器：节点元数据中心、元数据查询组件、元数据维护组件的载体，针对已缓存内容生成缓存内容注册消息，并缓存内容注册消息进行数据、查询、统计、及删除等操作；

通信接口模块：各个系统组件间通过通信接口模块进行数据通信；

存储器：缓存消息组件和节点缓存内容消息生成器的载体，用于存放缓存内容注册消息，当发生删除指令时，缓存内容注册消息将在存储器中被删除掉；

通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。

本发明的优点：

本发明实施例提供的一种基于元数据的CDN缓存内容管理装置，更科学，更精准，大大节省人力开支；系统具有很强的灵活性和时效性，其优点如下：

1.可精准掌握每个节点已缓存的内容列表及已缓存内容的更多属性。

2.独立部署，对已有系统性能影响较小，只需对每个节点改造增加节点缓存内容消息生成器组件，生成异步注册消息，基本上不影响边缘节点的服务性能。

3.基于已缓存的内容元数据，可快速扩展出更多管理功能，如节点热点分析，全局热点分析等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于元数据的CDN缓存内容管理装置的结构示意图。

图2为本发明实施例的一种基于元数据的CDN缓存内容管理装置的节点元数据中心的布置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在图1中，我们展示了本发明实施例的基于元数据的CDN缓存内容管理装置的结构示意图，数据处理器上设有节点元数据中心、元数据查询组件、元数据维护组件，存储器上设有缓存消息组件和节点缓存内容消息生成器，元数据查询组件与节点元数据中心通过指令相连互通，元数据维护组件与节点元数据中心、缓存消息组件通过指令相连互通，缓存消息组件与节点缓存内容消息生成器通过指令相连互通，

在图2中，展示了我们部署节点元数据的做法，节点元数据中心的每个已缓存内容的元数据对应一条内容，该内容为加速域名、内容大小、和、或保存时间的属性字段，且均可扩充，元数据中心于每个CDN节点部署一个，或多个CDN节点共用一个。

实施例1

删除消息

假设源站有一个URL:www.abc.com/1.html，当有用户访问CDN节点请求该URL 时，CDN节点检查本节点上是否有该URL所包含的内容，如果节点上没有该URL的内容， CDN节点便向源站请求该URL的内容。

节点缓存内容消息生成在CDN节点中将该URL的内容缓存下来的同时，节点缓存内容消息生成器生成一条缓存内容注册消息，包含了缓存内容的加速域名、URL、内容大小，保存时间(有效期，如2018年5月1日12:00)、内容生成时间等需要的属性字段。

当缓存内容过期时(超过2018年5月1日12:00)，节点缓存内容消息生成器产生一条删除已缓存内容消息，包含缓存内容的加速域名、URL等用来删除已缓存内容注册的元数据。

实施例2

URL内容更新

当源站的内容有更新情况发生时，由源站通过推送机制(通过push命令)将需要更新内容的URL推送各CDN节点元数据中心，元数据中心接收源站发出的更新指令以后，将更新指令下发到各CDN节点。

各CDN节点在接收到更新任务以后，由元数据维护组件对缓存内容注册消息进行更新，指标包括但不限于内容的加速域名、URL、内容大小，新的保存时间(有效期)、更新内容生成时间等属性字段。

最终由元数据维护组件将更新的内容与元数据中心所保存的信息进行比对，如比对结果一致，则更新操作结束。

需要额外说明的是，关于优点的基于已缓存的内容元数据，可快速扩展出更多管理功能，如节点热点分析，全局热点分析是如何实现的，由于热点文件的特性是更新频率比较快，通过已缓存的内容元数据所保存的信息，我们可以发现每一个URL的保存时间(有效期)，更新内容生成时间等涉及到热点文件的特性内容，因此可以根据URL在每个节点的内容元数据就可以对缓存内容进行节点热点分析，进而可进行全局热点分析。

关于热点文件的分析，比如我们可以设定一个频率，如30分钟，如果一个文件的缓存内容注册消息在30分钟内进行了更新，说明改文件更新比较快，就可以判断该文件为热点文件。

以上所述仅为本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，本发明实施例还可以在不脱离本专利宗旨的前提下做出各种变化。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于元数据的CDN缓存内容管理装置，其特征在于，由节点元数据中心、元数据查询组件、元数据维护组件、缓存消息组件和节点缓存内容消息生成器构成，元数据查询组件与节点元数据中心通过指令相连互通，元数据维护组件与节点元数据中心、缓存消息组件通过指令相连互通，缓存消息组件与节点缓存内容消息生成器通过指令相连互通，其中，

节点元数据中心用来存储已缓存内容的元数据，每个已缓存内容的元数据对应一条内容，采用Key-Value形式存储，每个Key为已缓存内容的URL，Value为每个已缓存内容的相应描述数据；

节点缓存内容消息生成器负责生成缓存内容注册或删除消息；

缓存消息组件是用来存储节点缓存内容消息生成器中的消息；

元数据维护组件：用来消费缓存消息组件中的消息，根据消息的类型对节点元数据中心注册的元数据进行添加、更新及删除动作；

元数据查询组件用来响应来自节点元数据中心的管理指令。

2.根据权利要求1所述的一种基于元数据的CDN缓存内容管理装置，其特征在于，当CDN节点上的内容在节点缓存内容消息生成器中生存、并在缓存消息组件中缓存下来的同时，则由节点缓存内容消息生成器产生一条缓存内容注册消息，此注册消息中包含了缓存内容的加速域名、URL、内容大小，保存时间、内容生成时间的属性字段；

当CDN节点上的已缓存内容被主动删除或主动淘汰过期时，节点缓存内容消息生成器产生一条删除已缓存内容消息，包含用来删除已缓存内容注册的元数据，内容包括但不限于加速域名、URL。

3.根据权利要求1所述的一种基于元数据的CDN缓存内容管理装置，其特征在于，元数据维护组件根据消息的类型对节点元数据中心注册的元数据进行添加、更新及删除动作；具体是指，当数据类型是注册消息，则连接到节点元数据中心，判断已缓存内容URL是否已注册，如果未注册，则注册此内容的URL，如果已注册，则更新此URL的内容；当数据类型是删除消息，则对节点元数据中心的对应URL进行删除动作。

4.根据权利要求1所述的一种基于元数据的CDN缓存内容管理装置，其特征在于，元数据查询组件用来响应的管理指令包括但不限于查询及统计动作，元数据查询组件接收到指令后，到节点元数据中心进行相应的检索及统计操作。

5.根据权利要求1所述的一种基于元数据的CDN缓存内容管理装置的硬件设备，其特征在于，该硬件设备相关的硬件模块包括数据处理器、模块间的通信接口、存储器和通信总线，其中，

数据处理器：节点元数据中心、元数据查询组件、元数据维护组件的载体，针对已缓存内容生成缓存内容注册消息，并缓存内容注册消息进行数据、查询、统计、及删除等操作；

通信接口模块：各个系统组件间通过通信接口模块进行数据通信；

存储器：缓存消息组件和节点缓存内容消息生成器的载体，用于存放缓存内容注册消息，当发生删除指令时，缓存内容注册消息将在存储器中被删除掉；

通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。