CN102063462A

CN102063462A - 一种回收缓存服务器中存储资源的方法及装置

Info

Publication number: CN102063462A
Application number: CN 201010531117
Authority: CN
Inventors: 田江波; 栗伟
Original assignee: LANXUN NETWORK SCIENCE-TECHNOLOGY Co Ltd BEIJING
Current assignee: LANXUN NETWORK SCIENCE-TECHNOLOGY Co Ltd BEIJING
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2011-05-18

Abstract

本发明公开了一种回收缓存服务器中存储资源的方法及装置，用以解决现有技术中存在的回收cache server中存储资源的方法，会导致cache server服务能力下降的问题，该方法包括：当缓存系统的资源存储容量达到阈值时，确定需要回收的资源号，当有新的内容需要存储时，将新的内容写入需要回收的资源号对应的资源中，由于不对需要回收的存储资源进行物理删除，在存储资源回收时，cache server服务能力得到提升。

Description

一种回收缓存服务器中存储资源的方法及装置

技术领域

本发明属于计算机技术领域，特别涉及一种回收缓存服务器中存储资源的方法及装置。

背景技术

Cache server也就是通常所说的缓存服务器，在正常的为源站服务的过程中，会不断地从源站抓取新的源站内容，缓存在cache server本地的文件中，从而提高网民的下载速度，提升网民上网体验。

由于源站本地的内容数量非常大，cache server的存储容量是有限的，要想把源站所有的内容缓存下来显然是不现实的，于是cache server必须采用一定的机制，当存储容量达到一定的阈值时删除一些旧的文件，以保证新的源站内容有位置能够存储，这种机制称为cache server文件回收机制。

现有cache server软件的文件回收机制大致如下：

1、现有cache server软件有它自己的配置文件，运维人员通过配置配置文件来控制现有cache server软件的大部分行为，可以通过配置文件配置启动文件回收机制的阈值，还可以配置cache server软件可以使用的磁盘容量。例如阈值设置为90，当cache server上存储的文件容量达到了可以使用的磁盘容量的90％时，就要启动文件回收机制，将文件和文件中的内容删除。

2、现有cache server软件自身内部拥有一个监控事件，这个事件每一秒种运行一次，不断的查看磁盘的容量是否达到了阈值，如果达到了阈值就按照lru(Least Recently Unused，最近最久未使用)算法来找出那些最冷的文件，把这些文件从磁盘上做物理删除，物理删除分为两个步骤：一、将这些冷的文件号标记为可以使用，可以使用的意思是“该文件号现在没有被使用”，即释放该文件号，这样在下次有新的内容需要存储时就可以使用这个文件号来创建新的文件，并把内容写入到这个文件。二、物理上删除这个文件。

类似的情况是，Cache server在将磁盘中数据向内存中导入时也存在类似的问题，Cache server的内存的容量是有限的，当大量磁盘中数据导入到内存后，如不采取相应的措施则再次向内存中导入数据的时候，会导致内存中原有的数据丢失，现有技术中的对应机制是，当内存存储容量达到一定的阈值时集中释放一些内存中旧的地址空间，当有新的磁盘内容向内存中导入时，再重新分配一段地址空间，

现有技术一个很大问题是：通过在线服务环境的长期测试，当现有cache server软件在启动文件回收流程时，cache server的服务能力受到极大的影响，一般服务能力都能下降50％-70％。类似的当cache server执行内存中的地址空间释放和重新分配时，也会占用cache server一定的系统资源，导致cache server服务能力下降，无论是文件回收流程中涉及的文件，还是内存分配流程中涉及的地址空间都是一种存储资源，由此可见现有的回收cache server中存储资源的方法，会导致cache server服务能力下降。

发明内容

本发明提供一种回收缓存服务器中存储资源的方法及装置，用以解决现有技术中存在的启动存储资源回收机制时cache server服务能力下降的问题。

本发明实施例提供的一种回收缓存服务器中存储资源的方法包括：

当缓存系统的资源存储容量达到阈值时，确定需要回收的资源号；

当有新的内容需要存储时，将新的内容写入需要回收的资源号对应的资源中。

本发明实施例还提供一种回收缓存服务器中存储资源的方法，该方法包括：

当缓存服务器的存储容量达到阈值时，确定需要回收的资源号；

有新的内容需要存储时，删除需要回收的资源号对应的资源建立新的资源，将新的内容写入新的资源中。

本发明实施例还提供一种回收缓存服务器中存储资源的装置，该装置包括：

确定模块，用于当缓存系统的资源存储容量达到阈值时，确定需要回收的资源号；

第一写模块，用于当有新的内容需要存储时，将新的内容写入需要回收的资源号对应的资源中。

确定模块，用于当缓存服务器的存储容量达到阈值时，确定需要回收的资源号；

第二写模块，用于有新的内容需要存储时，删除需要回收的资源号对应的资源建立新的资源，将新的内容写入新的资源中。

本发明有益效果如下：相对于传统的cache server存储资源回收方法，采用了要回收的资源号先保存以备后用的方法，无需物理删除对应的资源实现了资源的再利用，或仅在有新的内容需要存储时，删除需要回收的资源，避免了现有技术中集中的删除操作，解决了在资源回收时cache server软件的服务能力下降的问题，从而极大的提高了cache server软件的服务能力。

附图说明

图1为本发明第一实施例提供的方法流程图；

图2为本发明第二实施例提供的方法流程图；

图3为本发明第三实施例提供的装置结构图；

图4为本发明第四实施例提供的装置结构图。

具体实施方式

为了解决现有技术中存在的启动存储资源回收机制时cache server服务能力下降的问题，本发明的第一实施例提供一种回收缓存服务器中存储资源的方法，本实施例提供方法以回收cache server中存储的文件为例进行说明，如图1所示包括如下步骤：

步骤101、定期查看cache server磁盘容量是否达到阈值。

本实施例中通过配置文件配置的可使用磁盘容量为100G，阈值设置为90，当cache server上存储的文件容量达到90G时，即达到了阈值。本实施例不对阈值的设置进行限定，实际应用时，可以根据磁盘容量的大小和具体的需求进行设定。

步骤102、如果达到阈值，则按照最近最久未使用lru算法找出需要回收的文件号。

例如：如果cache server上存储的文件容量达到了90G，则按照lru算法找出需要回收的文件号000001、00000A、100001、10000A、010001、01000A、110001、11000A。

步骤103、对找出的文件号做标记，表明这些文件号可以被使用。

步骤104、把带有标记的文件号保存起来，放入一个文件号pool(池子)中。

本实施例中文件号pool是内存中的一段固定的地址空间。例如将需要回收的文件号000001、00000A、100001、10000A、010001、01000A、110001、11000A放入文件号pool中。

步骤105、当有新的源站内容需要存储时，首先查看文件号pool中是否有带有标记的文件号文件号，如果有则从文件号pool中取出，把该文件号对应的文件中的原有内容删除，用新的源站内容写入该文件。

例如，新的源站内容contentl需要存储，首先查看文件号pool中是否有带有标记的文件号文件号，由于步骤104中，文件号000001、00000A、100001、10000A、010001、01000A、110001、11000A已存入文件号pool中，因此本步骤中可以从文件号pool中取出带有标记的文件号000001，将文件号为000001的文件中原有的内容新的源站内容content0删除，将新的源站内容content1写入文件号为000001的文件中。

相对于传统的cache server文件回收方法，充分利用了cache server软件自身应用层对文件的管理机制与低层操作系统对文件的管理机制相分离的特性，采用了要回收的文件号(即一种资源号)先保存以备后用的方法，无需删除对应的文件实现了文件的再利用，或仅在有新的源站内容需要存储时，删除需要回收的文件，避免了集中的删除操作，解决了在文件回收时磁盘输入输出io负载非常高的问题，从而极大的提高了cache server软件的服务能力。

类似的方法也可适用于内存中的地址空间的回收，过程类似，定期查看cache server内存容量是否达到阈值，如果达到阈值，则按照预定的规则找出需要回收的地址空间的地址(即资源号)，对找出的地址做标记，表明这些地址可以被使用，并将这些地址对应的地址空间进行置零处理，当有新的内容需要存储时，不需重新分配地址空间，直接将新的内容写入前述地址表明的地址空间中。

本发明的第二实施例提供一种回收缓存服务器中存储资源的方法，本实施例提供方法如图2所示包括如下步骤：

步骤201、定期查看cache server磁盘容量是否达到阈值。

步骤202、如果达到阈值，则按照lru算法找出需要回收的文件号。

步骤203、当有新的源站内容需要存储时，删除按照lru算法找出的文件号并建立新的文件，将新的源站内容写入新的文件中。

例如当有一个新的源站内容content1需要存储时，删除文件号000001对应的文件，并建立一个新的文件，将content1写入该新的文件中。又如，当有两个新的源站内容content1、content2需要存储时，删除文件号000001、00000A对应的文件，并建立两个新的文件，将content1、content2分别写入这两个新的文件中。

类似的方法也可适用于内存中的地址空间的回收，过程类似，定期查看cache server内存容量是否达到阈值，如果达到阈值，则按照预定的规则找出需要回收的地址空间的地址(即资源号)，仅当有新的内容需要存储时，释放旧的地址空间并重新分配新的地址空间。

本发明的第三实施例提供一种回收缓存服务器中存储资源的装置，本实施例提供的装置如图3所示包括：

确定模块301，用于当缓存系统的资源存储容量达到阈值时，确定需要回收的资源号；

第一写模块302，用于当有新的内容需要存储时，将新的内容写入需要回收的资源号对应的资源中。

进一步，确定模块301，还用于当缓存服务器的存储容量达到阈值时，确定需要回收的文件号；

第一写模块302，还用于源站有新的内容需要存储时，将源站新的内容写入需要回收的文件号对应的文件中。

进一步，确定模块301，还用于按照最近最久未使用算法查找并确定需要回收的文件号。

进一步，确定模块301，还用于将需要回收的文件号进行标记，表明能够被使用。

进一步，第一写模块302，还用于将带有标记的文件号放入内存一段固定的地址空间中，当有新的源站内容需要存储时，从该地址空间中取出文件号，将新的源站内容写入取出的文件号对应的文件中。

本发明的第四实施例提供一种回收缓存服务器中存储资源的装置，本实施例提供的装置如图4所示包括：

确定模块301，用于当缓存服务器的存储容量达到阈值时，确定需要回收的资源号；

第二写模块303，用于有新的内容需要存储时，删除需要回收的资源号对应的资源建立新的资源，将新的内容写入新的资源中。

进一步，确定模块301，用于当缓存服务器的存储容量达到阈值时，确定需要回收的文件号；

第二写模块303，用于源站有新的内容需要存储时，删除需要回收的文件号对应的文件建立新的文件，将源站新的内容写入新的文件中

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。此段为说明书的最后一段。

Claims

1.一种回收缓存服务器中存储资源的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，当缓存系统的资源存储容量达到阈值时，确定需要回收的资源号具体为：

当缓存服务器的存储容量达到阈值时，确定需要回收的文件号；

当有新的内容需要存储时，将新的内容写入需要回收的资源号对应的资源中具体为：

源站有新的内容需要存储时，将源站新的内容写入需要回收的文件号对应的文件中。

3.如权利要求2所述的方法，其特征在于，确定需要回收的文件号具体为：

按照最近最久未使用算法查找并确定需要回收的文件号。

4.如权利要求3所述的方法，其特征在于，确定需要回收的文件号后还包括：

将需要回收的文件号进行标记，表明能够被使用。

5.如权利要求4所述的方法，其特征在于，源站有新的内容需要存储时，将源站新的内容写入需要回收的文件号对应的文件中具体为：

将带有标记的文件号放入内存一段固定的地址空间中，源站有新的内容需要存储时，从该地址空间中取出文件号，将源站新的内容写入取出的文件号对应的文件中。

6.一种回收缓存服务器中存储的资源的方法，其特征在于，包括：

7.如权利要求6所述的方法，其特征在于，当缓存服务器的存储容量达到阈值时，确定需要回收的资源号具体为：

有新的内容需要存储时，删除需要回收的资源号对应的资源建立新的资源，将新的内容写入新的资源中具体为：

源站有新的内容需要存储时，删除需要回收的文件号对应的文件建立新的文件，将源站新的内容写入新的文件中。

8.一种回收缓存服务器中存储的文件的装置，其特征在于，包括：

9.如权利要求8所述的装置，其特征在于，确定模块，还用于当缓存服务器的存储容量达到阈值时，确定需要回收的文件号；

第一写模块，还用于源站有新的内容需要存储时，将源站新的内容写入需要回收的文件号对应的文件中。

10.如权利要求9所述的装置，其特征在于，确定模块，还用于按照最近最久未使用算法查找并确定需要回收的文件号。

11.如权利要求10所述的装置，其特征在于，确定模块，还用于将需要回收的文件号进行标记，表明能够被使用。

12.如权利要求11所述的装置，其特征在于，第一写模块，还用于将带有标记的文件号放入内存一段固定的地址空间中，当有新的源站内容需要存储时，从该地址空间中取出文件号，将新的源站内容写入取出的文件号对应的文件中。

13.一种回收缓存服务器中存储的资源的装置，其特征在于，包括：

14.如权利要求13所述的装置，其特征在于，确定模块，用于当缓存服务器的存储容量达到阈值时，确定需要回收的文件号；

第二写模块，用于源站有新的内容需要存储时，删除需要回收的文件号对应的文件建立新的文件，将源站新的内容写入新的文件中。