CN111552714A - 一种cdn节点智能存储动态资源方法及系统 - Google Patents

Abstract

本发明公开了一种CDN节点智能存储动态资源方法及系统，属于应用算法开发领域，本发明要解决的技术问题为如何提高CDN厂商存储资源利用率，避免内存资源浪费，采用的技术方案为：该方法是将动态资源作为待访问的数据，CDN节点作为存储数据的页面，结合LRU算法的最近最少使用被替换策略，将CDN节点中的动态资源替换更新，完成有效存储；具体如下：判断CDN节点中是否存在待存储的动态资源；设置动态资源所占CDN节点内存最大容量；分别计算每种动态资源对应的存储时间并设置有效时间；在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；动态资源达到设定的最大容量，置换出CDN节点中最先失效的资源。

Description

一种CDN节点智能存储动态资源方法及系统

技术领域

本发明涉及应用算法开发领域，具体地说是一种CDN节点智能存储动态资源方法及系统。

背景技术

CDN(Content Delivery Network)，内容分发网络，主要原理是在用户和服务器之间增加Cache层，通过DNS域名解析服务，智能调度将用户请求引导到Cache层，去获取原服务器数据。相比于传统网络访问方式，它不用直接访问原服务器，可以在就近cache上得到数据，此处所说的cache其实就是CDN节点上的cache缓存，能够就近存储源站数据。如今一些CDN厂商的传统做法就是，在各地节点只存储静态资源，如图片、文件、html静态页面等，这些资源占取资源少，但是也有些CDN厂商存储动态资源，但是往往造成资源浪费。

传统的CDN节点存储方式，就是从源站获取数据，分发到各地节点，存储在节点中，以便用户就近请求数据，形成局域网的效果，提升响应速度和节约带宽。但是不管是动态资源还是静态资源更新的方式都大不相同，基本途径就是只要有新资源到节点就存储，老资源到期后会被清理。这种方式比较原始，会造成资源利用率过低，命中率过低。

动态资源占取内存更大，刷新频率更快，能够极大的影响资源命中率，影响CDN服务质量，故如何提高CDN厂商存储资源利用率，避免内存资源浪费是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种CDN节点智能存储动态资源方法及系统，来解决如何提高CDN厂商存储资源利用率，避免内存资源浪费的问题。

本发明的技术任务是按以下方式实现的，一种CDN节点智能存储动态资源方法，该方法是将动态资源作为待访问的数据，CDN节点作为存储数据的页面，结合LRU算法的最近最少使用被替换策略，将CDN节点中的动态资源替换更新，完成有效存储；具体如下：

判断CDN节点中是否存在待存储的动态资源：

若否，则对CDN节点中未有的动态资源进行存储；

若是，则不再存储该动态资源；

设置动态资源所占CDN节点内存最大容量；

分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；

在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；

动态资源达到设定的最大容量，置换出CDN节点中最先失效的资源。

作为优选，所述存储时间的获取方法具体如下：

存储动态资源时，每个动态资源均有对应的tag标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

根据数据库中数据资源表的表字段中存储的动态资源的文件大小(resource_size)和属性内容(content)判断CDN节点中是否存在待存储的动态资源：

若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间(overTime)；

若CDN节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LRU算法的最近最少使用被替换策略进行数据库资源的更新。

更优地，所述数据资源表(data_resource_table)的表字段还包括id(tag)、资源名称(name)、更新时间(updated_time)、到期时间(overTime)、节点id(node_id)以及节点块id(section_id)；

所述数据库中还包括节点表，节点表的字段包括节点id(node_id)、节点块id(section_id)、节点尺寸(node_size)、节点块尺寸(section_size)、节点更新时间(updated_time)。

作为优选，设置失效时间是在资源数据存储到数据库时设置的到期时间(overTime)，资源数据指的是资源所对应的一条数据记录，并不是指资源，如资源是视频文件，存储的是文件信息，不是视频。

作为优选，设置动态资源所占CDN节点内存最大容量是根据动态资源的有效最大上限设定，比如在实际存储的过程中，发现1000个动态资源有990个以上大小是在1G以下，只有10个是超出1G的我们设定最大上限为1G，section_size设置为1G。

作为优选，置换出CDN节点中最先失效的资源具体如下：

对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；

把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

作为优选，对每个CDN节点的资源查询并按照失效时间进行排序的执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order byovertime desc。

一种CDN节点智能存储动态资源系统，该系统包括，

判断单元，用于判断CDN节点中是否存在待存储的动态资源：若否，则对CDN节点中未有的动态资源进行存储；若是，则不再存储该动态资源；

容量设置单元，用于根据动态资源的有效最大上限设定设置动态资源所占CDN节点内存最大容量；比如在实际存储的过程中，发现1000个动态资源有990个以上大小是在1G以下，只有10个是超出1G的我们设定最大上限为1G，section_size设置为1G；

失效时间设定单元，用于分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；其中，设置失效时间是在资源数据存储到数据库时设置的到期时间(overTime)，资源数据指的是资源所对应的一条数据记录，并不是指资源，如资源是视频文件，存储的是文件信息，不是视频；

存储时间获取单元，用于在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；

置换单元，用于在动态资源达到设定的最大容量时，置换出CDN节点中最先失效的资源。

作为优选，所述存储时间获取单元包括，

资源记录存储模块，用于在存储动态资源时，每个动态资源均有对应的tag标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

资源判定模块，用于根据数据库中数据资源表的表字段中存储的动态资源的文件大小(resource_size)和属性内容(content)判断CDN节点中是否存在待存储的动态资源：若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间(overTime)；若CDN节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LRU算法的最近最少使用被替换策略进行数据库资源的更新；其中，数据资源表(data_resource_table)的表字段还包括id(tag)、资源名称(name)、更新时间(updated_time)、到期时间(overTime)、节点id(node_id)以及节点块id(section_id)；

数据库中还包括节点表，节点表的字段包括节点id(node_id)、节点块id(section_id)、节点尺寸(node_size)、节点块尺寸(section_size)、节点更新时间(updated_time)。

更优地，所述置换单元包括，

查询及排序模块，用于对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order byovertime desc；

删除模块，用于把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

新资源存储模块，用于把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

本发明的CDN节点智能存储动态资源方法及系统具有以下优点：

(一)通过使用本发明可以帮助CDN厂商存储动态资源，提高资源请求命中率，节约内存资源；

(二)本发明通过记录每个动态资源的存储时间和设定失效时间、设定最大动态资源存储容量以及判断资源是否已存在，按最先失效时间进行动态资源排序，最大限度的在存储环节保障节点质量，保障CDN服务。

附图说明

下面结合附图对本发明进一步说明。

附图1为CDN节点智能存储动态资源方法的流程框图；

附图2为RLU算法图的示意图；

附图3为实施例2的示意图；

附图4为CDN节点智能存储动态资源系统结构框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种CDN节点智能存储动态资源方法及系统作以下详细地说明。

实施例1：

如附图1所示，本发明的CDN节点智能存储动态资源方法,该方法是将动态资源作为待访问的数据，CDN节点作为存储数据的页面，如附图2所示，结合LRU算法的最近最少使用被替换策略，将CDN节点中的动态资源替换更新，完成有效存储；具体如下：

S1、判断CDN节点中是否存在待存储的动态资源：

①、若否，则对CDN节点中未有的动态资源进行存储，下一步执行步骤S2；

②、若是，则不再存储该动态资源；

S2、设置动态资源所占CDN节点内存最大容量；设置动态资源所占CDN节点内存最大容量是根据动态资源的有效最大上限设定，比如在实际存储的过程中，发现1000个动态资源有990个以上大小是在1G以下，只有10个是超出1G的我们设定最大上限为1G，section_size设置为1G。

S3、分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；设置失效时间是在资源数据存储到数据库时设置的到期时间(overTime)，资源数据指的是资源所对应的一条数据记录，并不是指资源，如资源是视频文件，存储的是文件信息，不是视频。

S4、在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；存储时间的获取方法具体如下：

S401、存储动态资源时，每个动态资源均有对应的tag标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

S402、根据数据库中数据资源表的表字段中存储的动态资源的文件大小(resource_size)和属性内容(content)判断CDN节点中是否存在待存储的动态资源：

①、若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间(overTime)；

②、若CDN节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LRU算法的最近最少使用被替换策略进行数据库资源的更新。

其中，数据资源表(data_resource_table)的表字段还包括id(tag)、资源名称(name)、更新时间(updated_time)、到期时间(overTime)、节点id(node_id)以及节点块id(section_id)；

数据库中还包括节点表，节点表的字段包括节点id(node_id)、节点块id(section_id)、节点尺寸(node_size)、节点块尺寸(section_size)、节点更新时间(updated_time)。

S5、动态资源达到设定的最大容量，置换出CDN节点中最先失效的资源；具体如下：

S501、对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order byovertime desc。

S502、把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

S503、把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

实施例2：

假设设定动态资源最大容量为三，有效时间为5个月，存储动态资源分别按1，2，3，4，5命名。

(1)、最开始来了资源2，没有超过节点动态资源设定最大容量，存储进节点，此时节点资源为2。

(2)、过了10天，来了资源3，没有超过节点动态资源设定最大容量，进行存储，此时节点资源为2，3且资源2已经存储10天。

(3)、过了20天，又来了资源2，资源2已存在，不再存储，刷新资源2存储时间为当前，资源3已存储20天，此时节点资源还为2，3.

(4)、过了40天，再来新资源1，没有超过设定最大容量，进行存储，此时资源3已存储60天，资源2存储40天，节点资源为1，2，3。

(5)、又过了20天，来了新资源5，超过设定最大容量，按照规则资源3离失效时间最近，被置换，此时节点动态资源为1，2，5，以此类推，如附图3所示。

实施例3：

如附图4所示，本发明的CDN节点智能存储动态资源系统，该系统包括，

判断单元，用于判断CDN节点中是否存在待存储的动态资源：若否，则对CDN节点中未有的动态资源进行存储；若是，则不再存储该动态资源；

容量设置单元，用于根据动态资源的有效最大上限设定设置动态资源所占CDN节点内存最大容量；比如在实际存储的过程中，发现1000个动态资源有990个以上大小是在1G以下，只有10个是超出1G的我们设定最大上限为1G，section_size设置为1G；

失效时间设定单元，用于分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；其中，设置失效时间是在资源数据存储到数据库时设置的到期时间(overTime)，资源数据指的是资源所对应的一条数据记录，并不是指资源，如资源是视频文件，存储的是文件信息，不是视频；

存储时间获取单元，用于在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；存储时间获取单元包括，

资源记录存储模块，用于在存储动态资源时，每个动态资源均有对应的tag标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

资源判定模块，用于根据数据库中数据资源表的表字段中存储的动态资源的文件大小(resource_size)和属性内容(content)判断CDN节点中是否存在待存储的动态资源：若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间(overTime)；若CDN节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LRU算法的最近最少使用被替换策略进行数据库资源的更新；其中，数据资源表(data_resource_table)的表字段还包括id(tag)、资源名称(name)、更新时间(updated_time)、到期时间(overTime)、节点id(node_id)以及节点块id(section_id)；

数据库中还包括节点表，节点表的字段包括节点id(node_id)、节点块id(section_id)、节点尺寸(node_size)、节点块尺寸(section_size)、节点更新时间(updated_time)。

置换单元，用于在动态资源达到设定的最大容量时，置换出CDN节点中最先失效的资源；置换单元包括，

查询及排序模块，用于对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order byovertime desc；

删除模块，用于把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

新资源存储模块，用于把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种CDN节点智能存储动态资源方法，其特征在于，该方法是将动态资源作为待访问的数据，CDN节点作为存储数据的页面，结合LRU算法的最近最少使用被替换策略，将CDN节点中的动态资源替换更新，完成有效存储；具体如下：

判断CDN节点中是否存在待存储的动态资源：

若否，则对CDN节点中未有的动态资源进行存储；

若是，则不再存储该动态资源；

设置动态资源所占CDN节点内存最大容量；

分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；

在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；

动态资源达到设定的最大容量，置换出CDN节点中最先失效的资源。

2.根据权利要求1所述的CDN节点智能存储动态资源方法，其特征在于，所述存储时间的获取方法具体如下：

存储动态资源时，每个动态资源均有对应的tag标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

根据数据库中数据资源表的表字段中存储的动态资源的文件大小和属性内容判断CDN节点中是否存在待存储的动态资源：

若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间；

若CDN节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LRU算法的最近最少使用被替换策略进行数据库资源的更新。

3.根据权利要求2所述的CDN节点智能存储动态资源方法，其特征在于，所述数据资源表的表字段还包括id、资源名称、更新时间、到期时间、节点i d以及节点块id；

所述数据库中还包括节点表，节点表的字段包括节点id、节点块id、节点尺寸、节点块尺寸、节点更新时间。

4.根据权利要求1所述的CDN节点智能存储动态资源方法，其特征在于，设置失效时间是在资源数据存储到数据库时设置的到期时间。

5.根据权利要求1所述的CDN节点智能存储动态资源方法，其特征在于，设置动态资源所占CDN节点内存最大容量是根据动态资源的有效最大上限设定。

6.根据权利要求1所述的CDN节点智能存储动态资源方法，其特征在于，置换出CDN节点中最先失效的资源具体如下：

对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；

把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

7.根据权利要求6所述的CDN节点智能存储动态资源方法，其特征在于，对每个CDN节点的资源查询并按照失效时间进行排序的执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order by overtimedesc。

8.一种CDN节点智能存储动态资源系统，其特征在于，该系统包括，

判断单元，用于判断CDN节点中是否存在待存储的动态资源：若否，则对CDN节点中未有的动态资源进行存储；若是，则不再存储该动态资源；

容量设置单元，用于根据动态资源的有效最大上限设定设置动态资源所占CDN节点内存最大容量；

失效时间设定单元，用于分别计算每种动态资源对应的存储时间并设置有效时间；当超过有效时间时，则清除该CDN节点中存储的动态资源；其中，设置失效时间是在资源数据存储到数据库时设置的到期时间；

存储时间获取单元，用于在使用动态资源时，刷新获取该动态资源的存储时间，并重新计算失效时间；

置换单元，用于在动态资源达到设定的最大容量时，置换出CDN节点中最先失效的资源。

9.根据权利要求8所述的CDN节点智能存储动态资源系统，其特征在于，所述存储时间获取单元包括，

资源记录存储模块，用于在存储动态资源时，每个动态资源均有对应的ta g标签，根据生产的时间或生产的UUID把动态资源的资源记录存储到数据库中；

资源判定模块，用于根据数据库中数据资源表的表字段中存储的动态资源的文件大小和属性内容判断CDN节点中是否存在待存储的动态资源：若CDN节点中存在文件大小和内容相同的动态资源，则归类为同一资源，不再进行动态资源新入节点，通过定时任务获取存储并时间更新数据库中的失效时间；若CD N节点中不存在文件大小和内容相同的动态资源，则存储该动态资源并根据LR U算法的最近最少使用被替换策略进行数据库资源的更新；其中，数据资源表的表字段还包括id、资源名称、更新时间、到期时间、节点id以及节点块id；

数据库中还包括节点表，节点表的字段包括节点id、节点块id、节点尺寸、节点块尺寸、节点更新时间。

10.根据权利要求8或9所述的CDN节点智能存储动态资源系统，其特征在于，所述置换单元包括，

查询及排序模块，用于对每个CDN节点的资源查询并按照失效时间进行排序，获取最先失效资源；执行语句为：

select*from data_resource_table where node_id＝#{nodeId}order by overtimedesc；

删除模块，用于把最先失效资源在CDN节点中删除，并把最先失效资源对应的资源记录在数据库中删除；

新资源存储模块，用于把新资源存入CDN节点，并把新资源对应的资源记录存储到数据库中。

Images