CN102332005A - 动态自适应垃圾清理方法及系统 - Google Patents

Abstract

本发明公开一种动态自适应垃圾清理方法及系统。该方法包括：FLR文件定位寄存器周期性地下发垃圾清理请求至FAS文件访问服务器；FAS收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR；FLR根据FAS上报的状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理。本发明通过FLR根据FAS上报的状态信息，生成相应地垃圾清理信息，下发至FAS进行垃圾清理，从而解决了现有技术中定时清理垃圾造成的资源浪费，使得其可以最大化利用资源，而且不影响业务，进一步改善了文件系统中垃圾清理的效率。

Description

动态自适应垃圾清理方法及系统

技术领域

本发明涉及文件系统领域，尤其涉及一种动态自适应垃圾清理方法及系统。

背景技术

网络互动电视(简称IPTV)既不同于传统的模拟式有线电视，也不同于经典的数字电视，它是三网融合过程中产生的一种非常成功的业务模式，利用宽带有线电视网，集互联网、多媒体、通讯等多种技术于一体，为用户提供时移电视、节目回看、点播等多种业务。

但这些业务也会产生海量数据，耗尽大量存储空间，同时节目的热度也都有时间特性。当节目过一段时间后，热度就会降低，再保留其内容，对存储空间也是一种浪费。因此网络互动电视系统对于过期的节目需要进行自动删除，以节省存储资源，而且由于删除不能影响正常业务，所以尽量在系统空闲时删除。

现有的网络互动电视系统一般采用定时清理垃圾，不会考虑系统的忙闲。如此方式比较机械，而且有可能影响业务，例如在用户大量点播节目的同时，到了清理垃圾时间，系统就会开始清理垃圾，从而将对系统造成一定压力。同时，在系统较闲的时候，比如凌晨，此时系统有较多的空闲时间，但是却不能利用空闲资源加快清理垃圾进程，对系统资源是一种浪费。

发明内容

本发明的主要目的是提供一种动态自适应垃圾清理方法，旨在改善文件系统中垃圾清理的效率。

本发明提供了一种动态自适应垃圾清理方法，包括以下步骤：

文件定位寄存器FLR周期性地下发垃圾清理请求至文件访问服务器FAS；

FAS收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR；

FLR根据FAS上报的状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理。

优选地，所述FAS收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR的步骤具体为：

FAS根据其当前的读写请求队列大小和当前磁盘I/O读写量，计算获得其状态信息；

当状态信息为忙时，则上报该FAS状态为忙；或者

当状态信息为闲时，则上报该FAS状态为闲，且上报文件存储单位chunk信息。

优选地，所述FLR根据FAS上报的状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理的步骤具体为：

FLR分析FAS上报的状态信息；

当所述FAS上报的状态信息为忙时，FLR置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；或者，当所述FAS上报的状态信息为闲时，根据FAS上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，并将其下发至FAS，以供FAS进行垃圾清理；

将垃圾清理频率和垃圾清理周期更新至FLR中的FAS信息表中。

优选地，所述FLR分析FAS上报的状态信息的步骤之前还包括：

FLR判断FAS是否需要强制清理垃圾，是则发送强制垃圾清理请求至FAS；否则执行所述FLR分析FAS上报的状态信息的步骤。

本发明还提供了一种动态自适应垃圾清理系统，包括文件定位寄存器FLR和文件访问服务器FAS，其中，

所述FLR用于周期性地下发垃圾清理请求至FAS；根据FAS上报的所述状态信息，生成垃圾清理信息，下发给FAS以供FAS进行垃圾清理；

所述FAS用于收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR。

优选地，所述FLR包括：

垃圾清理请求发送模块，用于周期性地下发垃圾清理请求至FAS；

垃圾清理信息生成模块，用于在收到FAS上报的状态信息后，生成垃圾清理信息，下发给FAS以供FAS进行垃圾清理。

优选地，所述垃圾清理信息生成模块具体用于：

分析FAS上报的状态信息，当FAS忙时，置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；

当FAS闲时，根据FAS上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，并将其下发至FAS以供FAS进行垃圾清理。

优选地，所述垃圾清理信息生成模块还用于：

判断FAS是否需要强制清理垃圾，是则发送强制垃圾清理请求至FAS，以供FAS进行垃圾清理。

优选地，所述动态自适应垃圾清理系统还包括：

FAS信息存储模块，用于存储FAS信息表；

FAS信息更新模块，用于将垃圾清理频率和垃圾清理周期更新至所述FAS信息表中。

优选地，所述FAS包括：

接收模块，用于接收垃圾清理请求；

状态信息获取模块，用于根据垃圾清理请求获取本身的状态信息；

状态信息上报模块，用于将所述状态信息上报至FLR。

优选地，所述状态信息获取模块具体用于：

根据其当前的读写请求队列大小和当前磁盘I/O读写量，计算获得其状态信息；

所述状态信息上报模块具体用于：

当状态信息为忙时，则上报FAS状态为忙；或者

当状态信息为闲时，则上报FAS状态为闲，且上报文件存储单位chunk信息。

本发明通过FLR根据FAS上报的状态信息，生成相应地垃圾清理信息，下发至FAS进行垃圾清理，从而解决了现有技术中定时清理垃圾造成的资源浪费，使得其可以最大化利用资源，而且不影响业务，进一步改善了文件系统中垃圾清理的效率。

附图说明

图1是本发明动态自适应垃圾清理方法一实施例的流程示意图；

图2是本发明动态自适应垃圾清理方法一实施例中FAS获取状态信息，并上报至FLR的流程示意图；

图3是本发明动态自适应垃圾清理方法一实施例中FLR根据状态信息，生成垃圾清理信息，下发至FAS的流程示意图；

图4是本发明动态自适应垃圾清理系统一实施例的结构示意图；

图5是本发明动态自适应垃圾清理系统一实施例中FAS的结构示意图；

图6是本发明动态自适应垃圾清理系统一实施例中FLR的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明动态自适应垃圾清理方法主要用于文件系统中，本实施例主要以网络互动电视系统中的文件系统为例对垃圾文件的清理过程进行描述，当然其他文件系统也适用，例如分布式文件系统等等。

图1，是本发明动态自适应垃圾清理方法一实施例的流程图。本发明动态自适应垃圾清理方法包括：

步骤S101、FLR周期性地下发垃圾清理请求至FAS；

FLR是指文件定位寄存器，File Locating Register；FAS是指文件访问服务器，File Accessing Server。

步骤S102、FAS收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR；

FAS收到垃圾清理请求后，搜集chunk信息，并根据自己当前处理的和待处理的业务量，计算获得自己的状态信息后，将其上报至FLR。该chunk为FAS的文件存储单位。

步骤S103、FLR根据FAS上报的状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理。

FLR根据FAS上报的状态信息，生成垃圾清理信息，例如是否要进行垃圾清理，或者垃圾清理的程度及区域等等。然后再将垃圾清理信息下发至FAS以供FAS进行垃圾清理。因此，FLR可以根据FAS上报的信息来灵活地控制垃圾清理。

本实施例动态自适应垃圾清理方法，通过FLR根据FAS上报的状态信息，生成相应地垃圾清理信息，下发至FAS进行垃圾清理，从而解决了现有技术中定时清理垃圾造成的资源浪费，使得其可以最大化利用资源，而且不影响业务，进一步改善了文件系统中垃圾清理的效率。

参照图2，步骤S102进一步包括：

步骤S1021、FAS根据其当前的读写请求队列大小或当前磁盘I/O读写量，计算获得其状态信息；若为忙，则执行步骤S1022；否则执行步骤S1023；

FAS收到FLR发送的垃圾清理请求后，搜集chunk信息，并查询自己当前的读写请求队列大小或当前磁盘I/O读写量，计算获得其状态信息。例如，当前的读写请求队列大小超过一第一预设阈值或者当前磁盘1/O读写量超过一第二预设阈值时，则其状态信息为忙；否则其状态信息为闲。当然这里需要说明的是，该第一阈值及第二阈值可以为多个，则获得的状态信息也为多个，例如非常忙、比较忙及一般忙，非常闲、比较闲及一般闲等等。另外，该状态信息除了包括FAS处于忙或者闲的状态，还可包括磁盘剩余空间等等。

步骤S1022、上报该FAS状态为忙；

步骤S1023、上报该FAS状态为闲，且上报chunk信息。

该chunk信息包括需要清理的垃圾chunk。

参照图3，步骤S103进一步包括：

步骤S1031、FLR分析FAS上报的状态信息，FAS忙时执行步骤S1032；否则执行步骤S1033；

步骤S1032、FLR置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；

当FAS此时的状态为忙时，则置FAS信息表中的垃圾清理频率和垃圾清理周期为最大值，并不下发垃圾清理要求至FAS，而等待下一周期到来，即返回执行步骤S101，重新发送垃圾清理请求至FAS。在这里需要说明的是，垃圾清理频率是指本次垃圾清理时的频率，即垃圾清理的速度，垃圾清理频率越大则垃圾清理的速度越慢；垃圾清理周期是指本次垃圾清理的时间与下次垃圾清理的时间之间的间隔时间，垃圾清理周期越大则FLR下发垃圾清理请求的间隔时间越长。因此，FLR和FAS可以根据FAS当前的繁忙程度调整垃圾清理的速度及周期，解决了定时清理垃圾造成的资源浪费，进一步改善了文件系统中垃圾清理的效率。

步骤S1033、FLR根据FAS上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，请将其下发至FAS以供FAS进行垃圾清理；

当FAS闲时，FLR根据chunk信息中需要清理的垃圾chunk数量，计算出垃圾清理频率和垃圾清理周期。当然，FLR也可以根据FAS上报的状态信息中闲的程度，计算垃圾清理频率和垃圾清理周期。例如，FAS较空闲、且垃圾多时，则可以减小垃圾清理频率和垃圾清理周期；反之则增大垃圾清理频率和垃圾清理周期。

步骤S1034、将垃圾清理频率和垃圾清理周期更新至FLR中的FAS信息表中。

FLR中存储有FAS信息表，包含以下项：

----------------------------------------------

上次清理垃圾时间：T

当前状态：S(取值为：1-忙，0-闲)

垃圾清理频率：(根据FAS忙闲可自动调整)

垃圾清理周期：(根据FAS忙闲可自动调整)

---------------------------------------------

上述步骤S1031之前还包括：

步骤S1030、FLR判断FAS是否需要强制清理垃圾，是则执行步骤S1035；否则执行步骤S1031；

FLR根据上次清理垃圾时间或者磁盘剩余空间来判断FAS是否需要强制清理垃圾，例如上次清理垃圾时间距现在的时间过长或者磁盘剩余空间过少(低于一阈值)时，则需要强制清理垃圾，以防止FAS长期不清理垃圾而造成磁盘满的现象。

步骤S1035、发送强制垃圾清理请求至FAS。

当FLR判断FAS需要强制清理垃圾时，发送强制垃圾清理请求至FAS，则无论FAS处于忙还是闲的状态，都进行垃圾清理。该强制垃圾清理请求中主要包括需要清理的垃圾chunk。

图4是本发明动态自适应垃圾清理系统一实施例的结构示意图。本发明动态自适应垃圾清理系统包括FLR100及FAS200。

FLR100包括：

垃圾清理请求发送模块101，用于周期性地下发垃圾清理请求至FAS200；

垃圾清理信息生成模块102，用于在收到FAS200上报的状态信息后，生成垃圾清理信息，下发给FAS200以供FAS200进行垃圾清理。

FAS200，用于收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR100。

FAS200收到垃圾清理请求后，搜集chunk信息，并根据自己当前处理的和待处理的业务量，计算获得自己的状态信息后，将其上报至FLR100。该chunk为FAS200的文件存储单位。FLR100的垃圾清理信息生成模块102则根据FAS200上报的状态信息，生成垃圾清理信息，例如是否要进行垃圾清理，或者垃圾清理的程度及区域等等。然后再将垃圾清理信息下发至FAS200以供FAS200进行垃圾清理。

本实施例动态自适应垃圾清理系统，通过FLR100根据FAS200上报的状态信息，生成相应地垃圾清理信息，下发至FAS200进行垃圾清理，从而解决了现有技术中定时清理垃圾造成的资源浪费，使得其可以最大化利用资源，而且不影响业务，进一步改善了文件系统中垃圾清理的效率。

参照图5，FAS200进一步包括：

接收模块201，用于接收垃圾清理请求；

状态信息获取模块202，用于根据根据垃圾清理请求获取FAS本身的状态信息；

状态信息获取模块202在接收模块201收到FLR100发送的垃圾清理请求后，搜集chunk信息，并查询自己当前的读写请求队列大小或当前磁盘I/O读写量，计算获得其状态信息。例如，当前的读写请求队列大小超过一第一预设阈值或者当前磁盘1/O读写量超过一第二预设阈值时，则其状态信息为忙；否则其状态信息为闲。当然这里需要说明的是，该第一阈值及第二阈值可以为多个，则获得的状态信息也为多个，例如非常忙、比较忙及一般忙，非常闲、比较闲及一般闲等等。另外，该状态信息除了包括FAS处于忙或者闲的状态，还可包括磁盘剩余空间等等。

状态信息上报模块203，用于将状态信息上报至FLR。

状态信息上报模块203具体用于：当FAS200忙时，上报该FAS200状态为忙；当FAS200闲时，上报该FAS200状态为闲，且上报chunk信息。该chunk信息包括需要清理的垃圾chunk。

垃圾清理信息生成模块102具体用于：

分析FAS200上报的状态信息，当FAS200忙时，置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；

当FAS200闲时，根据FAS200上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，并将其下发至FAS200以供FAS200进行垃圾清理。

当FAS200此时的状态为忙时，则FLR置FAS信息表中的垃圾清理频率和垃圾清理周期为最大值，且不下发垃圾清理请求至FAS200，而等待下一个垃圾清理周期到来时，再重新发送垃圾清理请求至FAS200。当FAS200闲时，FLR100根据FAS上报的chunk信息中需要清理的垃圾chunk数量，计算出垃圾清理频率和垃圾清理周期。当然，FAS200上报的状态信息中闲的程度，计算垃圾清理频率和垃圾清理周期。例如，FAS200较空闲、且垃圾多时，则可以减小垃圾清理频率和垃圾清理周期；反之则增大垃圾清理频率和垃圾清理周期。在这里需要说明的是，垃圾清理频率是指本次垃圾清理时的频率，即垃圾清理的速度，垃圾清理频率越大则垃圾清理的速度越慢；垃圾清理周期是指本次垃圾清理的时间与下次垃圾清理的时间之间的间隔时间，垃圾清理周期越大则FLR下发垃圾清理请求的间隔时间越大。

参照图6，上述FLR100还包括：

FAS信息存储模块103，用于存储FAS信息表；

所述FAS信息表包含以下项：

----------------------------------------------

上次清理垃圾时间：T

当前状态：S(取值为：1-忙，0-闲)

垃圾清理频率：(根据FAS忙闲可自动调整)

垃圾清理周期：(根据FAS忙闲可自动调整)

----------------------------------------------

FAS信息更新模块104，用于将垃圾清理频率和垃圾清理周期更新至FLR中的FAS信息表中。

上述垃圾清理信息生成模块102还具体用于判断FAS200是否需要强制清理垃圾，是则发送强制垃圾清理请求至FAS200，无论FAS200处于忙还是闲的状态，都进行垃圾清理。该强制清理垃圾请求中主要包括需要清理的垃圾chunk。

FLR100根据上次垃圾清理时间T或者磁盘剩余空间来判断FAS200是否需要强制清理垃圾，例如上次垃圾清理时间T距现在的时间间隔过长或者磁盘剩余空间过少(低于一阈值)时，则需要强制清理垃圾，以防止FAS200长期不清理垃圾而造成磁盘满的现象。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种动态自适应垃圾清理方法，其特征在于，包括以下步骤：

文件定位寄存器FLR周期性地下发垃圾清理请求至文件访问服务器FAS；

FAS收到所述垃圾清理请求后，获取自己的状态信息，并将其上报至FLR；

FLR根据FAS上报的所述状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理。

2.根据权利要求1所述的方法，其特征在于，所述FAS收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR的步骤具体为：

FAS根据其当前的读写请求队列大小和当前磁盘I/O读写量，计算获得其状态信息；

当状态信息为忙时，则上报FAS状态为忙；或者

当状态信息为闲时，则上报FAS状态为闲，且上报文件存储单位chunk信息。

3.根据权利要求1所述的方法，其特征在于，所述FLR根据FAS上报的状态信息，生成垃圾清理信息，下发至FAS以供FAS进行垃圾清理的步骤具体为：

FLR分析FAS上报的状态信息；

当所述FAS上报的状态信息为忙时，FLR置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；或者，当所述FAS上报的状态信息为闲时，根据FAS上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，并将其下发至FAS，以供FAS进行垃圾清理；

将垃圾清理频率和垃圾清理周期更新至FLR中的FAS信息表中。

4.根据权利要求3所述的方法，其特征在于，所述FLR分析FAS上报的状态信息的步骤之前还包括：

FLR判断FAS是否需要强制清理垃圾，是则发送强制垃圾清理请求至FAS；否则执行所述FLR分析FAS上报的状态信息的步骤。

5.一种动态自适应垃圾清理系统，其特征在于，包括文件定位寄存器FLR和文件访问服务器FAS，其中，

所述FLR用于周期性地下发垃圾清理请求至FAS；根据FAS上报的所述状态信息，生成垃圾清理信息，下发给FAS以供FAS进行垃圾清理；

所述FAS用于收到垃圾清理请求后，获取自己的状态信息，并将其上报至FLR。

6.根据权利要求5所述的动态自适应垃圾清理系统，其特征在于，所述FLR包括：

垃圾清理请求发送模块，用于周期性地下发垃圾清理请求至FAS；

垃圾清理信息生成模块，用于在收到FAS上报的状态信息后，生成垃圾清理信息，下发给FAS以供FAS进行垃圾清理。

7.根据权利要求6所述的动态自适应垃圾清理系统，其特征在于，所述垃圾清理信息生成模块具体用于：

分析FAS上报的状态信息，当FAS忙时，置垃圾清理频率和垃圾清理周期为最大值，且等待进入下一周期；

当FAS闲时，根据FAS上报的chunk信息，计算出垃圾清理频率和垃圾清理周期，并将其下发至FAS以供FAS进行垃圾清理。

8.根据权利要求6或7所述的动态自适应垃圾清理系统，其特征在于，所述垃圾清理信息生成模块还用于：

判断FAS是否需要强制清理垃圾，是则发送强制垃圾清理请求至FAS，以供FAS进行垃圾清理。

9.根据权利要求5所述的动态自适应垃圾清理系统，其特征在于，还包括：

FAS信息存储模块，用于存储FAS信息表；

FAS信息更新模块，用于将垃圾清理频率和垃圾清理周期更新至所述FAS信息表中。

10.根据权利要求5或9所述的动态自适应垃圾清理系统，其特征在于，所述FAS包括：

接收模块，用于接收垃圾清理请求；

状态信息获取模块，用于根据垃圾清理请求获取本身的状态信息；

状态信息上报模块，用于将所述状态信息上报至FLR。

11.根据权利要求10所述的动态自适应垃圾清理系统，其特征在于，所述状态信息获取模块具体用于：

根据其当前的读写请求队列大小和当前磁盘I/O读写量，计算获得其状态信息；

所述状态信息上报模块具体用于：

当状态信息为忙时，则上报FAS状态为忙；或者

当状态信息为闲时，则上报FAS状态为闲，且上报文件存储单位chunk信息。

Images