CN106897423A - 一种云平台垃圾数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种云平台垃圾数据处理方法，包括：获取垃圾数据处理协议；根据上述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；将上述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；根据用户对上述分类垃圾数据集的选择，进行清除或还原。可见，本发明针对那些无用的垃圾数据或者误操作导致的错误数据，通过建立垃圾数据处理协议，并根据此协议轮巡得到留存的垃圾数据，然后对垃圾数据进行过滤并分类存储，最后将存储后的分类垃圾数据返还给用户处理，从而有效处理云平台中的垃圾数据。本发明还公开了一种云平台垃圾数据处理系统，具有与上述方法相同的技术效果，在此不再赘述。

Description

一种云平台垃圾数据处理方法及系统

技术领域

本发明涉及云计算平台数据处理技术领域，特别涉及一种云平台垃圾数据处理方法及系统。

背景技术

随着云端大数据数量成指数的倍增趋势，对于数据质量的强化和分析过滤，显然让用户头疼，在这一堆庞大的数据面前，垃圾数据以及很多无用的数据不可避免，它们也会给我们的机房乃至数据中心带来数据处理上的压力和负担。

在实际操作中，如果用户做了一个错误的操作或使用了一个坏的数据，云计算平台也会按照预设逻辑对这个错误的操作或者坏的数据进行一系列运算，从而会像“病毒”一样引发连续的错误决策，占用了大量资源，让用户蒙受损失。垃圾数据一旦产生，就需要我们在数据处理的过程当中，对垃圾数据进行过滤和清洗，并且自动决策这些数据的去留，这样的环境下设计一种在云平台中使用的垃圾数据处理方法显得十分必要。由于云端大数据处理技术出现时间较短，目前垃圾数据所在的比例较低，占用的资源比例也较低，因此现有技术中没有对云平台中的垃圾数据的处理方法。

综上所述，如何有效处理云平台中的垃圾数据是本领域技术人员目前需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种云平台垃圾数据处理方法及系统，可以有效处理云平台中的垃圾数据。其具体方案如下：

一种云平台垃圾数据处理方法，包括：

获取垃圾数据处理协议；

根据所述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；

将所述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；

根据用户对所述分类垃圾数据集的选择，进行清除或还原。

优选的，所述垃圾数据处理协议包括定义垃圾数据的种类、定义垃圾数据的处理周期、定义垃圾数据的存储位置。

优选的，所述存储位置包括默认存储位置和用户自定义存储位置，其中，所述默认存储位置为预设路径下的设立的预设大小的存储空间。

优选的，所述存储空间中的垃圾数据的大小超过阈值，则向用户发出清理垃圾数据的提醒，其中所述阈值小于或等于所述存储空间的大小。

优选的，所述预设分类包括默认分类和用户自定义分类，其中，所述默认分类包括可还原类别和不可还原类别。

优选的，所述云平台垃圾数据处理方法还包括：

按照预设周期自动清理属于所述不可还原类别的垃圾数据集。

本发明还公开了一种云平台垃圾数据处理系统，包括：

协议获取模块，用于获取垃圾数据处理协议；

垃圾数据收集模块，用于根据所述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；

垃圾数据分类模块，用于将所述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；

垃圾数据处理模块，用于根据用户对所述分类垃圾数据集的选择，进行清除或还原。

一种云平台垃圾数据处理方法，包括：获取垃圾数据处理协议；根据上述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；将上述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；根据用户对上述分类垃圾数据集的选择，进行清除或还原。可见，本发明针对那些无用的垃圾数据或者误操作导致的错误数据，通过建立垃圾数据处理协议，并根据此协议轮巡得到留存的垃圾数据，然后对垃圾数据进行过滤并分类存储，最后将存储后的分类垃圾数据返还给用户处理，从而有效处理云平台中的垃圾数据。

本发明还公开了一种云平台垃圾数据处理系统，具有与上述方法相同的技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施方案公开的一种云平台垃圾数据处理方法的流程示意图；

图2为本发明实施方案公开的一种云平台垃圾数据处理系统的模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种云平台垃圾数据处理方法，参见图1所示，包括步骤S1至S4，其中：

步骤S1：获取垃圾数据处理协议。

由于云平台涉及到各种云计算，而不同的云计算产生的垃圾数据的数量和类型不同，例如，数据统计相关云平台中出现错误数据，在计算过程产生的数据和最终计算结果均为垃圾数据。因此，需要针对不同云平台采用不同的垃圾数据处理协议。

垃圾数据处理协议包括定义垃圾数据的种类、定义垃圾数据的处理周期、定义垃圾数据的存储位置。当然，也可以根据具体的需要垃圾数据的其他内容，例如垃圾数据的处理方式。

垃圾数据的处理周期包括按预设时间周期进行扫描，也包括系统闲时进行扫描，即系统使用率低于使用率阈值时进行扫描。

获取的垃圾数据处理协议包括预设协议和用户自定义协议。

预设协议中设定了垃圾数据的处理周期、通常情况下的垃圾数据类型，例如根据错误数据的计算得到的数据、过期缓存(超过预设时长的缓存)、安装文件、安装日志等；此外，还设置垃圾数据的存储位置与垃圾数据的处理方式，例如清除、还原。

此外，垃圾数据处理协议包括扫描垃圾数据的方式，包括扫描全部数据，例如对云平台中所有数据进行扫描；还包括扫描特定格式数据，例如，扫描云平台中特定格式的文件，并把该文件标记为垃圾数据。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。

垃圾数据的存储位置包括默认存储位置和用户自定义存储位置，其中，上述默认存储位置为预设路径下的设立的预设大小的存储空间。预设路径一般为垃圾处理程序所在的系统中，当然也可以存储在网络上指定存储器中。用户可以根据个人需要重新设定存储位置。

步骤S2：根据上述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集。

通常情况下，垃圾数据处理协议包括了扫描垃圾数据的方式，包括扫描全部数据和对特定格式数据的扫描。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。无论采用哪种扫描方式，均对系统中的数据进行轮巡扫描，以获取符合垃圾数据处理协议定义的垃圾数据集。

步骤S3：将上述垃圾数据集按预设分类进行存储，得到分类垃圾数据集。

可以理解的是，垃圾数据处理协议可以预先对垃圾数据进行分类，从而得到预设分类以进行分类存储，也可以在存储垃圾数据的时候按照存储位置的存储规则中相应的预设分类进行存储。

预设分类包括默认分类和用户自定义分类，其中，上述默认分类包括可还原类别和不可还原类别。

在一种具体的实施例中，可还原类别通常存储在相应的垃圾数据存储位置，而可还原类别一般会存在可被重复利用的功能，例如过期缓存虽然过期，但仍是经常浏览的缓存。不可还原类别通常为不具有再利用的作用，例如根据错误数据计算得到的结果，会根据垃圾数据处理协议中定义的处理方法进行清除。

可以理解的是，默认分类可也以包括其他类别，例如包括清除类别和还原类别，本发明提供的解决方案主要为分成具有被重复利用功能的类别和不具有被重复利用的类别。

步骤S4：根据用户对上述分类垃圾数据集的选择，进行清除或还原。

通常情况下，为了提高客户体验，向包括管理员在内的所有用户提供清除或还原垃圾数据集的选择项，用户可以根据实际需要选择删除不同分类的垃圾数据集。

需要说明的是，在上述设定了垃圾数据相应的存储空间的实施方案中，存储空间中的垃圾数据的大小超过阈值，则向用户发出清理垃圾数据的提醒，其中上述阈值小于或等于上述存储空间的大小。例如，设定10G的垃圾数据存储空间，当存储空间利用率大于或等于90％，则向用户发出清理垃圾数据的提醒。

需要进一步说明的是，相应的提醒包括文字提醒、图片提醒、动画提醒和语音提醒中的一种或几种，具体的实现方式可通过弹窗、向指定邮箱发邮件或通过其他软件的界面提醒。

当然，通常情况下，垃圾数据处理协议包括了扫描垃圾数据的方式，包括扫描全部数据和对特定格式数据的扫描。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。无论采用哪种扫描方式，均对系统中的数据进行轮巡扫描，以获取符合垃圾数据处理协议定义的垃圾数据集。上述云平台垃圾数据处理方法还包括：

当然，为了减少用户设置流程，本发明提供的垃圾数据方法，还可在垃圾数据处理协议中设置按照预设周期自动清理属于上述不可还原类别的垃圾数据集。

本发明还公开了一种云平台垃圾数据处理系统，参见图2所示，包括协议获取模块11、垃圾数据收集模块12、垃圾数据分类模块13和垃圾数据处理模块14，其中：

协议获取模块11，用于获取垃圾数据处理协议。

由于云平台涉及到各种云计算，而不同的云计算产生的垃圾数据的数量和类型不同，例如，数据统计相关云平台中出现错误数据，在计算过程产生的数据和最终计算结果均为垃圾数据。因此，需要针对不同云平台采用不同的垃圾数据处理协议。

垃圾数据处理协议包括定义垃圾数据的种类、定义垃圾数据的处理周期、定义垃圾数据的存储位置。当然，也可以根据具体的需要垃圾数据的其他内容，例如垃圾数据的处理方式。

获取的垃圾数据处理协议包括预设协议和用户自定义协议。

预设协议中设定了垃圾数据的处理周期、通常情况下的垃圾数据类型，例如根据错误数据的计算得到的数据、过期缓存(超过预设时长的缓存)、安装文件、安装日志等；此外，还设置垃圾数据的存储位置与垃圾数据的处理方式，例如清除、还原。

此外，垃圾数据处理协议包括扫描垃圾数据的方式，包括扫描全部数据，例如对云平台中所有数据进行扫描；还包括扫描特定格式数据，例如，扫描云平台中特定格式的文件，并把该文件标记为垃圾数据。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。

垃圾数据的存储位置包括默认存储位置和用户自定义存储位置，其中，上述默认存储位置为预设路径下的设立的预设大小的存储空间。预设路径一般为垃圾处理程序所在的系统中，当然也可以存储在网络上指定存储器中。

垃圾数据收集模块12，用于根据上述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集。

通常情况下，垃圾数据处理协议包括了扫描垃圾数据的方式，包括扫描全部数据和对特定格式数据的扫描。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。无论采用哪种扫描方式，均对系统中的数据进行轮巡扫描，以获取符合垃圾数据处理协议定义的垃圾数据集。

垃圾数据分类模块13，用于将上述垃圾数据集按预设分类进行存储，得到分类垃圾数据集。

可以理解的是，垃圾数据处理协议可以预先对垃圾数据进行分类，从而得到预设分类以进行分类存储，也可以在存储垃圾数据的时候按照存储位置的存储规则中相应的预设分类进行存储。

预设分类包括默认分类和用户自定义分类，其中，上述默认分类包括可还原类别和不可还原类别。

在一种具体的实施例中，可还原类别通常存储在相应的垃圾数据存储位置，而可还原类别一般会存在可被重复利用的功能，例如过期缓存虽然过期，但仍是经常浏览的缓存。不可还原类别通常为不具有再利用的作用，例如根据错误数据计算得到的结果，会根据垃圾数据处理协议中定义的处理方法进行清除。

可以理解的是，默认分类可也以包括其他类别，例如包括清除类别和还原类别，本发明提供的解决方案主要为分成具有被重复利用功能的类别和不具有被重复利用的类别。

垃圾数据处理模块14，用于根据用户对上述分类垃圾数据集的选择，进行清除或还原。

通常情况下，为了提高客户体验，向包括管理员在内的所有用户提供清除或还原垃圾数据集的选择项，用户可以根据实际需要选择删除不同分类的垃圾数据集。

需要说明的是，在上述设定了垃圾数据相应的存储空间的实施方案中，存储空间中的垃圾数据的大小超过阈值，则向用户发出清理垃圾数据的提醒，其中上述阈值小于或等于上述存储空间的大小。例如，设定10G的垃圾数据存储空间，当存储空间利用率大于或等于90％，则向用户发出清理垃圾数据的提醒。

需要进一步说明的是，相应的提醒包括文字提醒、图片提醒、动画提醒和语音提醒中的一种或几种，具体的实现方式可通过弹窗、向指定邮箱发邮件或通过其他软件的界面提醒。

当然，通常情况下，垃圾数据处理协议包括了扫描垃圾数据的方式，包括扫描全部数据和对特定格式数据的扫描。当然，还可根据具体需要使用其他扫描方式，例如扫描全部数据与扫描特定格式数据交替进行。无论采用哪种扫描方式，均对系统中的数据进行轮巡扫描，以获取符合垃圾数据处理协议定义的垃圾数据集。上述云平台垃圾数据处理方法还包括：

当然，为了减少用户设置流程，本发明提供的垃圾数据方法，还可在垃圾数据处理协议中设置按照预设周期自动清理属于上述不可还原类别的垃圾数据集。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种云平台垃圾数据处理方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种云平台垃圾数据处理方法，其特征在于，包括：

获取垃圾数据处理协议；

根据所述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；

将所述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；

根据用户对所述分类垃圾数据集的选择，进行清除或还原。

2.根据权利要求1所述的云平台垃圾数据处理方法，其特征在于，所述垃圾数据处理协议包括定义垃圾数据的种类、定义垃圾数据的处理周期、定义垃圾数据的存储位置。

3.根据权利要求2所述的云平台垃圾数据处理方法，其特征在于，所述存储位置包括默认存储位置和用户自定义存储位置，其中，所述默认存储位置为预设路径下的设立的预设大小的存储空间。

4.根据权利要求3所述的云平台垃圾数据处理方法，其特征在于，所述存储空间中的垃圾数据的大小超过阈值，则向用户发出清理垃圾数据的提醒，其中所述阈值小于或等于所述存储空间的大小。

5.根据权利要求1所述的云平台垃圾数据处理方法，其特征在于，所述预设分类包括默认分类和用户自定义分类，其中，所述默认分类包括可还原类别和不可还原类别。

6.根据权利要求5所述的云平台垃圾数据处理方法，其特征在于，还包括：

按照预设周期自动清理属于所述不可还原类别的垃圾数据集。

7.一种云平台垃圾数据处理系统，其特征在于，包括：

协议获取模块，用于获取垃圾数据处理协议；

垃圾数据收集模块，用于根据所述垃圾数据处理协议，轮巡获取系统中的数据，得到相应的垃圾数据集；

垃圾数据分类模块，用于将所述垃圾数据集按预设分类进行存储，得到分类垃圾数据集；

垃圾数据处理模块，用于根据用户对所述分类垃圾数据集的选择，进行清除或还原。