CN102456048A - 海量数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种海量数据处理方法及系统，其中，本发明公开的海量数据处理方法中，预先设定限额触发值和限额值，若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时，对所述存储设备执行文件处理操作，释放其存储空间，直至所述存储设备的当前使用空间小于所述限额值，再存储所述数据，解决了存储设备的存储空间届满时，无法存入数据的问题。

Description

海量数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种海量数据处理方法及系统。

背景技术

随着信息化程度的提高，数据已超出它原始的范畴，它包含各种业务操作数据、报表统计数据、办公文档、电子邮件、超文本、表格、报告以及图片、音视频等各种数据信息。当今，人们使用海量数据来形容巨大的、空前浩瀚的、并还在不断增长的数据。

海量数据是当今商业面对的一个现实。任何一个企业都在面对其企业设备由于规模扩大产生的沉重负担，提高海量数据访问能力和业务分析能力的要求也变得越来越迫切。

目前，一般根据数据的信息生命周期ILM(Information LifecycleManagement)对大规模的海量数据存储环境中的数据进行管理，其中，ILM是一种与成本与信息不断变化的价值相对应的管理方法，在信息创建到最终处置过程中对信息进行全程管理；是一种信息管理模型，认为信息有一个从产生、保护、读取、更改、迁移、存档、回收、再次激活以及退出的生命周期。

ILM的中心任务是根据不同的时间段和信息的价值对信息的管理，让具有不同价值的数据存放在合适的存储设备上。

数据存储在存储设备上之后，还需要对其进行有效的管理。具体的，ILM通过以下三个模块对存储在存储设备中的数据进行管理，所述三个模块为数据发现模块、数据管理模块以及策略执行模块，其中：

所述数据发现模块用于实时监控存储系统中储存的数据，记录可处理数据；所述数据管理模块用于将记录的数据进行分类处理，并制定相应的管理策略；所述策略执行模块用于根据管理策略处理数据。

虽然信息生命周期法是对海量数据的管理的一个相对有效的方法，其能对整个存储系统中的数据根据数据信息的所处的生命周期进行相应的管理操作。但是，对于多用户复杂的全局存储环境而言，多用户共用一个存储空间，将其拆分为不同的存储设备，并且，各个存储设备的存储空间也不相同，不能有效地对每个存储设备进行控制，一旦存储设备的存储空间届满，就会出现无法存入数据的现象。

发明内容

有鉴于此，本发明提供一种海量数据处理方法及系统，以解决现有技术中存在的存储设备的存储空间届满时，无法存入数据的问题。

未解决上述问题，提出的方案如下：

一种海量数据处理方法，包括：

获取数据并确定存储有该数据的对应文件的存储设备；

当所述存储设备的当前使用空间超过预设限额触发值、且达到限额值时，对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述限额值，存储所述数据至所述存储设备的对应文件；所述限额值不大于存储设备最大存储空间。

优选地，所述海量数据处理方法还包括：当所述存储设备的当前使用空间超过预设限额触发值、且未达到所述限额值时，判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间，若是，则对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于预设限额值，存储所述数据至所述存储设备的对应文件；否则，直接存储所述数据至所述存储设备的对应文件。

优选地，按照用户预设的数据管理策略优先级顺序执行所述存储设备的文件处理操作。

优选地，所述按照用户预设的数据管理策略优先级顺序执行所述存储设备的文件处理操作前，还包括：

监控所述存储设备中文件属性，记录可被处理的文件；

按照用户设定的归类原则将记录的文件归类，确定数据管理策略的优先级顺序。

优选地，所述归类原则包括：文件格式属性相同原则或者文件创建时间相同原则。

优选地，所述数据管理策略按照文件的时间属性包括：过期数据删除和历史数据压缩。

优选地，所述数据管理策略按照文件大小属性包括：删除长度为0的空文件策略、压缩大文件策略以及迁移大文件至其他存储设备策略。

优选地，执行所述存储设备的文件处理操作后，还包括：

更新所述文件中数据的属性。

一种海量数据处理系统，包括：

数据获取单元，用于获取数据；

存储设备确定单元，用于确定存储有该数据的对应文件的存储设备；

第一判断单元，用于判断所述存储设备的当前使用空间是否超过预设限额触发值，且是否达到限额值，该限额值不大于存储设备最大存储空间；

第二判断单元，用于当所述存储设备的当前使用空间超过预设限额触发值、且未达到所述限额值时，判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间；

文件操作执行单元，用于当所述存储设备的当前使用空间超过预设限额触发值、且达到所述限额值，或者，所述数据的存储占有空间超过所述存储设备的当前剩余空间时，对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值；

数据发送单元，用于当所述存储设备的当前使用空间未超过预设限额触发值，所述存储设备的当前使用空间超过预设限额触发值、但未达到所述限额值，或者，所述数据的存储占有空间未超过所述存储设备的当前剩余空间时，将所述数据发送至所述存储设备的对应文件。

优选地，所述海量数据处理系统还包括：

文件监测单元，用于监控所述存储设备中文件属性，记录可被处理的文件；

文件归类单元，用于按照用户设定的归类原则将记录的文件归类；

数据管理策略的顺序定制单元，用于对所述归类的文件确定文件处理操作的数据管理策略的优先级顺序。

从上述的技术方案可以看出，本发明公开的海量数据处理方法中，预先设定限额触发值和限额值，若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时，对所述存储设备执行文件处理操作，释放其存储空间，直至所述存储设备的当前使用空间小于所述限额值，再存储所述数据，解决了存储设备的存储空间届满时，无法存入数据的问题。

并且，本发明提供的海量数据处理方法，当存储设备的存储空间届满时，可以自动对该存储设备执行文件处理操作，不需要任何人为手工操作，还提高了工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种海量数据的处理方法的流程图；

图2为本发明再一实施例公开的一种海量数据处理方法的流程图；

图3为本发明再一实施例公开的一种海量数据处理方法的流程图；

图4为本发明再一实施例公开的一种海量数据处理方法的流程图；

图5为本发明实施例公开的一种海量数据处理系统的结构示意图；

图6为本发明再一实施例公开的一种海量数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种海量数据处理方法及系统，以解决现有技术中存在的存储设备的存储空间届满时，无法存入数据的问题。

如图1所示，本实施例公开的海量数据处理方法，包括：

步骤S11、获取数据并确定存储有该数据的对应文件的存储设备；

具体的，不同用户使用不同的存储设备，每个存储设备中存储有文件，而数据则以存储在文件中的形式保存在存储设备中。

步骤S12、当所述存储设备的当前使用空间超过预设限额触发值、且达到以不大于存储设备最大存储空间为原则设定的限额值时，对所述存储设备执行以释放存储空间为目的的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值，存储所述数据至所述存储设备的对应文件。

具体的，判断所述存储设备的当前使用空间是否超过预设限额触发值，以及判断所述存储设备的当前使用空间是否达到限额值的执行主体可以是本实施例公开的海量数据处理方法的执行主体，也可以是第三方。

第三方可以直接将判断结果发送至本实施例公开的海量数据处理方法的执行主体，由海量数据处理方法的主体判断为哪个判断结果；也可以是，第三方分别获取所述存储设备的当前使用空间，将其发送至本实施例公开的海量数据处理方法的执行主体，由其将接收到的所述存储设备的当前使用空间分别与预设限额触发值、限额值作比较。

本发明实施例公开的海量数据处理方法，与现有的仅采用信息生命周期法管理数据不同之处在于，预先设定了限额触发值和限额值，若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时，对所述存储设备执行文件处理操作，释放其存储空间，直至所述存储设备的当前使用空间小于所述限额值，再存储所述数据，解决了存储设备的存储空间届满时，无法存入数据的问题。

更重要的是，本发明实施例提供的海量数据处理方法，当存储设备的存储空间届满时，可以自动对该存储设备执行文件处理操作，不需要任何人为手工操作，还提高了工作效率。

本发明另一实施例还公开了一种海量数据处理方法，如图2所示，包括：

步骤S21、获取数据并确定存储有该数据的对应文件的存储设备；

步骤S22、判断所述存储设备的当前使用空间是否超过预设限额触发值；

若判断结果为否，则执行步骤S26、存储所述数据至所述存储设备的对应文件；

若判断结果为是，则执行步骤S23、判断所述存储设备的当前使用空间是否达到以不大于存储设备最大存储空间为原则设定的限额值；

若是，则执行步骤S25、对所述存储设备执行以释放存储空间为目的的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值，再执行步骤S26，否则，执行步骤S24、判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间；

若超过，则执行步骤S25和S26、否则，直接执行步骤S26。

具体的，不同的用户对应有不同的存储设备，每个存储设备的存储空间可以随机分配，为了区分用户之间的不同需求，最大限度的满足每个用户的要求，用户对应的存储设备的存储空间可以按照该用户的需求设定。

并且，所述限额值是以不大于存储设备的最大存储空间为原则设定的，当然，限额值可以是存储设备的最大存储空间。

所述限额触发值是以所述限额值为基础设置的，例如，所述限额值为存储设备的最大存储空间，此时的限额触发值可以是存储设备最大存储空间的80％。

在上述两个实施例公开的海量数据存储方法中，所述存储设备的文件处理操作是按照用户预设的数据管理策略优先级顺序执行。

具体的，所述文件处理操作是以释放所述存储设备空间为目的的操作，例如：删除数据、迁移数据至其他存储设备以及压缩数据等。

并且，不同用户存有不同的需求，需要执行的数据管理策略也不相同。具体的，数据管理策略要根据文件中数据的基本属性制定。

例如：根据文件中数据的时间属性定制数据管理策略，具体有过期数据删除、历史数据压缩等数据管理策略。

根据文件的大小属性执行数据管理策略，具体有删除长度为0的空文件、压缩大文件以及迁移大文件至空间更为充足的存储设备等数据管理策略。

当对存储在所述存储设备中文件的数据执行完文件处理操作外，还要更新数据的属性。

用户可以根据自己的需求，选取不同的策略执行的优先级顺序。在确定数据管理策略的优先级顺序前，还要执行以下操作：

监控所述存储设备中文件属性，记录可被处理的文件；

按照用户设定的归类原则将记录的文件归类。

以下通过两个实施例对此具体说明。

如图3所示，本发明另一实施例公开的海量数据处理方法中，在判断数据的存储占有空间超过存储设备的当前剩余空间后，增加步骤S37、监控所述存储设备中文件属性，记录可被处理的文件，以及步骤S38、按照用户设定的归类原则将记录的文件归类，确定数据管理策略的优先级顺序。

在该实施例中，步骤S31至步骤S36公开的内容与上述实施例公开的步骤S21至步骤S26公开的内容相同，请参见上述实施例公开的内容，此处不再赘述。

由于当判断数据的存储占有空间已经超过所述存储设备的当前剩余空间后，才执行确定可被处理的文件，以及将其归类的操作会降低数据处理的工作效率，所以本发明另一实施例又公开了一种海量数据处理方法，如图4所示。

同样，该实施例中，步骤S41至步骤S46公开的内容与图2对应的实施例公开的步骤S21至步骤S26公开的内容相同，请参见上述实施例公开的内容，此处也不再赘述。

不同的是，在步骤S42、判断存储设备的当前使用空间超过预设限额触发值之后，就立即执行步骤S47、监控所述存储设备中文件属性，记录可被处理的文件，步骤S48、按照用户设定的归类原则将记录的文件归类，确定数据管理策略的优先级顺序，为后续执行文件处理操作的做好准备工作。

与图3对应的实施例相比，本实施例一旦判断存储设备的当前使用空间达到预设限额值，或者，虽然，存储设备的当前使用空间未达到预设限额值，但存储设备的当前剩余空间已经不足以存储欲存储数据前，就可以直接执行文件处理操作，加快了处理时间，提高了工作效率。

具体的，上述两个实施例中公开的海量数据处理方法中，监控所述存储设备中文件属性，确定的可被处理的文件可以为：

文件内容长时间内保持不变的文件、文件内容长时间保持不变且为非空文件或者文件内容长时间保持不变且不属于临时文件。

同时，还可以记录下文件的诸如最近访问时间、访问频率等访问信息，将其作为数据管理策略的依据。

文件归类是按照用户设定的原则进行，反映出用户的需求。

具体的，可以按照文件的格式属性将存储在存储设备中的文件归类，例如，WORD文件全部归为一类，PDF文件全部归为一类等。可以按照文件的时间属性将存储在存储设备中的文件归类，例如，一年前创建的文件归为参考数据类，在最近一月创建的数据归为活跃数据类等。

可以按照数据的生产过程将数据分类，例如，需要处理的数据归为原始数据，处理数据的文件为程序数据，以及处理之后的结果数据归为一类。

文件归类操作完成后，执行确定数据管理策略的优先级顺序操作。

以下通过一个具体例子进行说明。

假设所述存储设备中存储有归类完成后的一个文件，定义为A文件，且该文件中分别存储有A₁-A₅五个数据。

具体以文件A中数据为例进行详细说明，假设A₁数据为历史数据，按照时间属性，确定的数据管理策略为压缩数据，但按照数据大小属性，确定的数据管理策略为删除数据，即该数据管理策略对A₁数据来说为最优的数据管理策略。

当用户的需求是最大限度的释放存储空间时，确定的数据管理策略的优先级顺序依次为删除数据、迁移数据和压缩数据，此时，确定A1数据的数据管理策略为删除数据。

同样，文件A中其他数据也可以按照上述的用户需求，确定其数据管理方法。

本发明另一实施例还公开了一种海量数据处理系统，如图5所示，包括：

数据获取单元101、存储设备确定单元102、第一判断单元103、第二判断单元104、文件操作执行单元105以及数据发送单元106，其中：

数据获取单元101用于获取数据；

存储设备确定单元102用于根据所述获取数据确定存储有该数据的对应文件的存储设备；

第一判断单元103用于判断所述存储设备的当前使用空间是否超过预设限额触发值，且是否达到以不大于存储设备最大存储空间为原则设定的限额值；

第二判断单元104用于判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间；

文件操作执行单元105用于对所述存储设备执行以释放存储空间为目的的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值；

数据发送单元106用于将所述数据发送至所述存储设备的对应文件。

具体的，数据获取单元101获取数据后，存储设备确定单元102根据其获取的数据，确定存储有该数据的对应文件的存储设备，第一判断单元103判断所述存储设备的当前使用空间是否超过预设限额触发值，且是否达到以不大于存储设备最大存储空间为原则设定的限额值，第二判断单元104、文件操作执行单元105以及数据发送单元106实时监控第一判断单元103的判断结果。

当第一判断单元103的判断结果是：所述存储设备的当前使用空间超过预设限额触发值、但未达到以不大于存储设备最大存储空间为原则设定的限额值时，第二判断单元104执行判断操作，即判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间，在此过程中，文件操作执行单元105和数据发送单元106实时监控第二判断单元104的判断结果，当第二判断单元104的判断结果为：数据的存储占有空间超过存储设备的当前剩余空间时，文件操作执行单元105对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值，之后，数据发送单元106在将所述数据发送至所述存储设备的文件中；当第二判断单元104的判断结果为：数据的存储占有空间未超过存储设备的当前剩余空间时，数据发送单元106直接执行发送数据操作。

当第一判断单元103的判断结果是：所述存储设备的当前使用空间超过预设限额触发值，且达到以不大于存储设备最大存储空间为原则设定的限额值，文件操作执行单元105直接执行操作，之后，数据发送单元106发送数据。

当第一判断单元103的判断结果是：所述存储设备的当前使用空间未超过预设限额触发值时，数据发送单元106就直接将所述数据发送至所述存储设备中。

如图6所示，本发明另一实施例还提供了一种海量数据处理系统，除包括数据获取单元201、存储设备确定单元202、第一判断单元203、第二判断单元204、文件操作执行单元205以及数据发送单元206外，还包括：

文件监测单元207、文件归类单元208以及数据管理策略的顺序定制单元209，其中：

文件监测单元207用于监控存储设备中文件属性，记录可被处理的文件；

文件归类单元208用于按照用户设定的归类原则将记录的文件归类。

数据管理策略的顺序定制单元209用于对所述归类的文件确定文件处理操作的数据管理策略的优先级顺序。

具体的，文件操作执行单元205按照数据管理策略的顺序定制单元209制定的优先级顺序的数据管理策略执行文件处理操作。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种海量数据处理方法，其特征在于，包括：

获取数据并确定存储有该数据的对应文件的存储设备；

当所述存储设备的当前使用空间超过预设限额触发值、且达到限额值时，对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述限额值，存储所述数据至所述存储设备的对应文件；所述限额值不大于存储设备最大存储空间。

2.根据权利要求1所述的方法，其特征在于，还包括：当所述存储设备的当前使用空间超过预设限额触发值、且未达到所述限额值时，判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间，若是，则对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于预设限额值，存储所述数据至所述存储设备的对应文件；否则，直接存储所述数据至所述存储设备的对应文件。

3.根据权利要求1或2所述的方法，其特征在于，按照用户预设的数据管理策略优先级顺序执行所述存储设备的文件处理操作。

4.根据权利要求3所述的方法，其特征在于，所述按照用户预设的数据管理策略优先级顺序执行所述存储设备的文件处理操作前，还包括：

监控所述存储设备中文件属性，记录可被处理的文件；

按照用户设定的归类原则将记录的文件归类，确定数据管理策略的优先级顺序。

5.根据权利要求4所述的方法，其特征在于，所述归类原则包括：文件格式属性相同原则或者文件创建时间相同原则。

6.根据权利要求4所述的方法，其特征在于，所述数据管理策略按照文件的时间属性包括：过期数据删除和历史数据压缩。

7.根据权利要求4所述的方法，其特征在于，所述数据管理策略按照文件大小属性包括：删除长度为0的空文件策略、压缩大文件策略以及迁移大文件至其他存储设备策略。

8.根据权利要求1或2所述的方法，其特征在于，执行所述存储设备的文件处理操作后，还包括：

更新所述文件中数据的属性。

9.一种海量数据处理系统，其特征在于，包括：

数据获取单元，用于获取数据；

存储设备确定单元，用于确定存储有该数据的对应文件的存储设备；

第一判断单元，用于判断所述存储设备的当前使用空间是否超过预设限额触发值，且是否达到限额值，该限额值不大于存储设备最大存储空间；

第二判断单元，用于当所述存储设备的当前使用空间超过预设限额触发值、且未达到所述限额值时，判断所述数据的存储占有空间是否超过所述存储设备的当前剩余空间；

文件操作执行单元，用于当所述存储设备的当前使用空间超过预设限额触发值、且达到所述限额值，或者，所述数据的存储占有空间超过所述存储设备的当前剩余空间时，对所述存储设备执行释放存储空间的文件处理操作，并更新所述存储设备的使用空间，直至所述存储设备的当前使用空间小于所述预设限额值；

数据发送单元，用于当所述存储设备的当前使用空间未超过预设限额触发值，所述存储设备的当前使用空间超过预设限额触发值、但未达到所述限额值，或者，所述数据的存储占有空间未超过所述存储设备的当前剩余空间时，将所述数据发送至所述存储设备的对应文件。

10.根据权利要求9所述的系统，其特征在于，还包括：

文件监测单元，用于监控所述存储设备中文件属性，记录可被处理的文件；

文件归类单元，用于按照用户设定的归类原则将记录的文件归类；

数据管理策略的顺序定制单元，用于对所述归类的文件确定文件处理操作的数据管理策略的优先级顺序。

Images