CN112559642A - 数据分类存储方法、装置及相关产品 - Google Patents

Abstract

本申请实施例提供一种数据分类存储方法、装置及相关产品，数据分类存储方法包括：根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；根据所述目标数据的类别，确定所述目标数据的存储方式；根据确定出的存储方式，对所述目标数据进行存储处理。本申请实施例提供了可以对海量数据进行分类存储的方案。

Description

数据分类存储方法、装置及相关产品

技术领域

本申请涉及互联网技术领域，尤其是涉及一种数据分类存储方法、装置及相关产品及存储介质。

背景技术

随着互联网各类网络应用的不断深入，互联网数据量增长迅速，并且需要处理的互联网的数据结构以及数据类型也越来越多样。海量并且多样的互联网数据的存储亟待成为解决的技术问题。

发明内容

有鉴于此，本申请实施例提供一种数据分类存储方法、装置及相关产品，用以克服上述缺陷。

1.一种数据分类存储方法，其特征在于，包括：

根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；

根据所述目标数据的类别，确定所述目标数据的存储方式；

根据确定出的存储方式，对所述目标数据进行存储处理。

2.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，包括：根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

3.根据权利要求1所述的数据分类存储方法，其特征在于，所述数据分类机制包括重要程度以及大小；所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括：根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

4.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

5.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。

6.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。

7.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。

8.根据权利要求1-7任一项所述的数据分类存储方法，其特征在于，所述根据确定出的存储方式，对所述目标数据进行存储处理包括：为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置。

9.根据权利要求8所述的数据分类存储方法，其特征在于，所述数据分类存储方法还包括：通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

10.一种数据分类存储装置，其特征在于，包括：

数据分类单元，用于根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；

存储方式确定单元，用于根据所述目标数据的类别，确定所述目标数据的存储方式；

存储处理单元，用于根据确定出的存储方式，对所述目标数据进行存储处理。

11.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类单元进一步用于根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

12.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类机制包括重要程度以及大小；所述数据分类单元进一步用于根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

13.根据权利要求10所述的数据分类存储装置，其特征在于，所述数据分类单元进一步用于获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

14.根据权利要求10所述的数据分类存储装置，其特征在于，所述存储方式确定单元进一步用于在所述目标数据的类别表征出所述目标数据属于须备份的数据时，所述目标数据的存储方式为分布式存储；否则，所述目标数据的存储方式为磁盘存储。

15.根据权利要求10所述的数据分类存储装置，其特征在于，所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。

16.根据权利要求10所述的数据分类存储装置，其特征在于，所述所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。

17.根据权利要求10-16任一项所述的数据分类存储装置，其特征在于，所述存储处理单元进一步用于为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置。

18.根据权利要求17所述的数据分类存储装置，其特征在于，所述数据分类存储装置还包括元数据中间件，所述元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

19.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器上存储有计算机软件程序，所述处理器用于运行所述计算机软件程序以执行权利要求1-10任一项所述的数据分类存储方法。

20.一种计算机存储介质，所述计算机存储介质上存储有计算机软件程序，所述计算机软件程序被运行时执行权利要求1-10任一项所述的数据分类存储方法。

本申请提供的技术方案中，由于根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；根据所述目标数据的类别，确定所述目标数据的存储方式；根据确定出的存储方式，对所述目标数据进行存储处理，从而提供了可以对海量数据进行分类存储的方案。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。

图1为本申请实施例一种数据分类存储方法的流程示意图；

图2为本申请实施例一种数据分类存储方法的流程示意图；

图3为本申请实施例一种数据分类存储方法的流程示意图；

图4为本申请实施例一种数据分类存储方法的流程示意图；

图5为本申请实施例一种数据分类存储方法的流程示意图；

图6为本申请实施例中一具体决策树的示意图；

图7为本申请实施例一种数据分类存储装置的结构示意图；

图8为本申请实施例数据分类存储装置的结构示意图；

图9为本申请实施例数据分类存储装置的结构示意图；

图10为本申请实施例数据分类存储装置的结构示意图；

图11为本申请实施例一种电子设备的结构示意图；

图12为本申请实施例一种电子设备结构示意图。

具体实施方式

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

本申请提供的技术方案中，

图1为本申请实施例一种数据分类存储方法的流程示意图；如图1所示，其包括：

S101、从数据源抓取原始数据形成原始数据流；

本实施例中，数据源比如为互联网，为此，在步骤S101中，具体从互联网的伺服服务器上抓取原始数据。

S102、对原始数据流中原始数据进行筛选得到目标数据进而形成目标数据流；

本实施例中，步骤S102中，可以通过设定的筛选规则从原始数据流的原始数据中筛选出目标数据从而形成目标数据流。

具体地，比如所述筛选规则比如为数据的抓取状态(或者又称之为采集状态)、数据类型，因此，在执行步骤S102时，如果抓取状态表明在抓取原始数据时出现过错误，则认为该抓取到的目标数据为脏数据；再者，若筛选规则中定义抓取的数据类型为数字，但原始数据为字符串，则该字符串类型的原始数据为脏数据。

本实施例中，通过上述步骤S102对原始数据流中的原始数据进行筛选，剔除了其中的脏数据，从而减少了整体的数据量，提高了数据处理的效率。

此处，上述筛选规则并非只限定为数据的抓取状态、数据类型，实际上，在本申请的启发下，本领域普通技术人员可以根据应用场景的需求灵活配置，比如，筛选规则还可以为数据的大小。

S103、根据设置的数据分类机制对目标数据流中的目标数据进行分类以确定所述目标数据的类别；

本实施例中，所述数据分类机制可以根据应用场景灵活配置，比如数据存取的频率，数据传输的通信环境如网络带宽等。

本实施例中，通过步骤S103对目标数据进行分类，从而便于后续存储处理时针对不同类型的目标数据确定不同的存储方式，即实现按照目标数据的类型差异化的存储方式，从而提高数据存储效率，同时节省存储资源。

S104、根据所述目标数据的类别，确定所述目标数据的存储方式；

本实施例中，所述存储方式比如为存储的位置、存储时数据的封装格式等等，只要便于便于提高数据的存储效率，节省存储资源即可。

S105、根据确定出的存储方式，对所述目标数据进行存储处理。

本实施例中，在执行步骤S105时，具体可以将目标数据存储到指定的存储位置，或者按照指定的数据格式进行封装并存储。

可选地，在一实施例中，也可以不包括上述步骤S101、S102，比如，通过其他方式已经得到的目标数据流。

图2为本申请实施例一种数据分类存储方法的流程示意图；如图2所示，其包括：

S201、根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

本实施例中，即所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，包括：根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

可选地，在一实施例中，所述数据分类机制包括重要程度以及大小；所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括：根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

本实施例中，所述目标数据的重要程度可以通过设置的重要程度判断机制来确定，比如，在重要程度判断机制中，如果目标数据需要被频繁读取或目标数据是敏感数据，则可以认为所述目标数据比较重要，反之，则认为所述目标数据不重要。当然此处，数据的重要程度可以分成若干级，实际根据应用场景灵活选择。

本实施例中，在确定出目标数据的数据重要性分类之后，进一步确定出数据的大小分类，从而相当于从重要性以及大小双重角度对数据进行了分类，从而使得后续存储处理时，可以综合重要性以及大小实现双重差异化的存储处理，进一步满足各种应用场景的需求，比如既能满足可靠性和读写速率，又能保障数据的安全性和可靠性。

S202、根据设置的数据分类机制对目标数据流中的目标数据进行分类以确定所述目标数据的类别；

S203、根据所述目标数据的类别，确定所述目标数据的存储方式；

S204、根据确定出的存储方式，对所述目标数据进行存储处理。

本实施例中，步骤S202-204类似上述图1所示实施例。当然，对于本领域普通技术人员来说，在本申请的启发下，在不脱离本申请核心思想的前提下，也可以使用未记载在本申请中的技术手段来实现上述步骤S203-205。

图3为本申请实施例一种数据分类存储方法的流程示意图；如图3所示，其包括：

S301、获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

本实施例中，即所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

S302、根据所述目标数据的数据重要性分类，确定所述目标数据的存储方式；

本实施例中，在执行步骤S302根据所述目标数据的类别，确定所述目标数据的存储方式时，若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。

本实施例中，可以对目标数据分配权重，用于表征目标数据的重要程度。权重越高，则表明目标数据越重要，反之，则表明目标数据不重要，从而便于后续根据目标数据的数据重要性分类，对其中重要的目标数据采取分布式存储，从而保障数据的安全性和可靠性，否则，采取磁盘存储，以满足不需要频繁修改和计算的需求。

S303、根据确定出的存储方式，对所述目标数据进行存储处理。

本实施例中，如果存储方式为分布式存储，则将对应的目标数据存储到分布式服务器上，如果存储方式为磁盘存储，则将对应的目标数据存储到磁盘服务器上。

图4为本申请实施例一种数据分类存储方法的流程示意图；如图4所示，其包括：

S401、获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；

S402、根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

本实施例中，即所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

本实施例中，所述目标数据的占用空间超过设定空间阈值的数据，则所述目标数据为大数据，否则，为正常数据。

S403、根据所述目标数据的类别，确定所述目标数据的存储方式；

本实施例中，在执行步骤403根据所述目标数据的类别，确定所述目标数据的存储方式时，包括：若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。

进一步地，所述根据所述目标数据的类别，确定所述目标数据的存储方式还包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。

进一步地，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库(又称之为Hbase数据库)。在分布式服务器上配置Hadoop文件分发库或者Hadoop数据库。

进一步地，本实施例中，在以非关系型存储方式存储目标数据时，可以将其具体存储在Hadoop文件分发库中，以关系型存储方式存储目标数据时，以将其具体存储在Hbase数据库中。

本实施例中，所述关系型存储方式比如为键值对存储方式，比如目标数据形成的文件名作为key，目标数据作为value存储在Hbase数据库中。为此，空间阈值可以设置为10M，超过10M，则认为是大数据，否则则认为正常数据。

S404、根据确定出的存储方式，对所述目标数据进行存储处理。

本实施例中，步骤S403可参见上述相关实施例的记载，只要可以实现具体存储方式即可。

图5为本申请实施例一种数据分类存储方法的流程示意图；如图5所示，其包括：

S501、从数据源抓取原始数据形成原始数据流；

S502、对原始数据流中原始数据进行筛选得到目标数据进而形成目标数据流；

S503、根据目标数据配置的权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，以根据所述数据重要性分类确定是否需要分布式存储或者备份存储以生成决策树；

S504、根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类以确定所述目标数据是大数据还是正常数据以生成决策树。

即，本实施例中，根据设置的数据分类机制对目标数据流中的目标数据进行分类以确定所述目标数据的类别包括上述步骤S503、S504。

S505、若所述目标数据需要分布式存储，则所述目标数据的存储方式为分布式存储，否则所述目标数据的存储方式为磁盘存储；且若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为：将所述目标数据存储到Hadoop文件分发库中，否则，所述目标数据的存储方式为：将所述目标数据存储到Hbase数据库中。

即本实施例中，所述根据所述目标数据的类别，确定所述目标数据的存储方式包括上述步骤S505。

S506、根据确定出的存储方式，对所述目标数据进行存储处理。

在上述任一实施例的基础上，或者本领域普通技术人员在理解本申请的核心思想基础上构建的其他未记载在本申请说明书中的实施例基础上，所述根据确定出的存储方式，对所述目标数据进行存储处理包括：为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置，从而便于对同类数据进行批量批量修改和查询，提高数据管理的效率。

在分配存储位置时，对相同类型的目标数据分配相同的存储子目录，不同的类型的目标数据分配不同的存储子目录。

进一步，根据所述存储子目录，生成所述目标数据的存储路径。

在上述任一实施例的基础上，或者本领域普通技术人员在理解本申请的核心思想基础上构建的其他未记载在本申请说明书中的实施例基础上，所述所述数据分类存储方法还包括：通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

本实施例中，由于根据目标数据的大小，重要程度等，根据确定出的存储方式，对所述目标数据进行存储处理时，对目标数据进行差异化存储，使得需要备份的目标数据按照分布式方式存储，不需要分布式存储的目标数据按照磁盘存储，且若目标数据属于大数据则存储到Hadoop文件分发库中，否则，存储到Hbase数据库中，从而优化了存储空间，提高了存储利用率，避免了现有技术中所有的目标数据都按照分布式存储导致的数据块过多和内存消耗过大的问题，同时也也避免了一些不频繁使用和修改的大数据，按照分布式存储方式盲目备份而造成的资源浪费。另外，相同类型的目标数据具有相同的存储目录，从而可实现批量修改、查询，提高了数据管理的效率。

图6为本申请实施例中一具体决策树的示意图；对应上述图5所示实施例，即按照重要程度，数据大小将目标数据进行重要性分类(比如从是否需要备份角度进行衡量)，从而实现将按照分布式存储的目标数据(比如称之为大文件)一部分存储到Hadoop文件分发库(简称HDFS数据库)，一部分目标数据(比如称之为小文件)存储到Hbase数据库，而将存储方式为磁盘存储的目标数据存储到磁盘服务器上。同时，通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

进一步，相同类型的目标数据具有相同的存储目录，类型比如是图片，文档、视频.....等，比如记为类型1....类型n予以区分。

图7为本申请实施例一种数据分类存储装置的结构示意图；其包括：

数据抓取单元701，用于从数据源抓取原始数据形成原始数据流；

数据筛选单元702，用于对原始数据流中原始数据进行筛选得到目标数据进而形成目标数据流；

数据分类单元703，用于根据设置的数据分类机制对目标数据流中的目标数据进行分类以确定所述目标数据的类别；

存储方式确定单元704，用于根据所述目标数据的类别，确定所述目标数据的存储方式；

存储处理单元705，用于根据确定出的存储方式，对所述目标数据进行存储处理。

本实施例中，数据源比如为互联网，为此，具体从互联网的伺服服务器上抓取原始数据。

本实施例中，可以通过设定的筛选规则从原始数据流的原始数据中筛选出目标数据从而形成目标数据流。

具体地，比如所述筛选规则比如为数据的抓取状态(或者又称之为采集状态)、数据类型，因此如果抓取状态表明在抓取原始数据时出现过错误，则认为该抓取到的目标数据为脏数据；再者，若筛选规则中定义抓取的数据类型为数字，但原始数据为字符串，则该字符串类型的原始数据为脏数据。

本实施例中，通过对原始数据流中的原始数据进行筛选，剔除了其中的脏数据，从而减少了整体的数据量，提高了数据处理的效率。

此处，上述筛选规则并非只限定为数据的抓取状态、数据类型，实际上，在本申请的启发下，本领域普通技术人员可以根据应用场景的需求灵活配置，比如，筛选规则还可以为数据的大小。

本实施例中，所述数据分类机制可以根据应用场景灵活配置，比如数据存取的频率，数据传输的通信环境如网络带宽等。

本实施例中，通过对目标数据进行分类，从而便于后续存储处理时针对不同类型的目标数据确定不同的存储方式，即实现按照目标数据的类型差异化的存储方式，从而提高数据存储效率，同时节省存储资源。

本实施例中，所述存储方式比如为存储的位置、存储时数据的封装格式等等，只要便于便于提高数据的存储效率，节省存储资源即可。

本实施例中，具体可以将目标数据存储到指定的存储位置，或者按照指定的数据格式进行封装并存储。

可选地，在一实施例中，也可以不包括上述数据抓取单元、数据筛选单元，比如，通过其他方式已经得到的目标数据流。

图8为本申请实施例数据分类存储装置的结构示意图；如图8所示，与上述图7所示实施例不同的是，不包括数据抓取单元、数据筛选单元，且所述数据分类单元进一步用于根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

进一步地，所述数据分类机制包括重要程度以及大小；所述数据分类单元进一步用于根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

本实施例中，所述目标数据的重要程度可以通过设置的重要程度判断机制来确定，比如，在重要程度判断机制中，如果目标数据需要被频繁读取或目标数据是敏感数据，则可以认为所述目标数据比较重要，反之，则认为所述目标数据不重要。当然此处，数据的重要程度可以分成若干级，实际根据应用场景灵活选择。

本实施例中，在确定出目标数据的数据重要性分类之后，进一步确定出数据的大小分类，从而相当于从重要性以及大小双重角度对数据进行了分类，从而使得后续存储处理时，可以综合重要性以及大小实现双重差异化的存储处理，进一步满足各种应用场景的需求，比如既能满足可靠性和读写速率，又能保障数据的安全性和可靠性。

具体的，本实施例中，所述数据分类单元703包括：

决策树生成子单元713，用于根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；

存储子单元723，用于将所述目标数据的类别存储到所述决策树的结果节点上。

进一步地，所述决策树生成子单元进一步用于根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

图9为本申请实施例数据分类存储装置的结构示意图；如图9所示，与上述图7实施例不同的是，不包括数据抓取单元、数据筛选单元，且所述数据分类单元进一步用于获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

本实施例中，可以对目标数据分配权重，用于表征目标数据的重要程度。权重越高，则表明目标数据越重要，反之，则表明目标数据不重要，从而便于后续根据目标数据的数据重要性分类，对其中重要的目标数据采取分布式存储，从而保障数据的安全性和可靠性，否则，采取磁盘存储，以满足不需要频繁修改和计算的需求。

进一步地，所述存储方式确定单元进一步用于在所述目标数据的类别表征出所述目标数据属于须备份的数据时，所述目标数据的存储方式为分布式存储；否则，所述目标数据的存储方式为磁盘存储。即通过数据重要性分类表征所述目标数据是否属于须备份的数据。

本实施例中，如果存储方式为分布式存储，则将对应的目标数据存储到分布式服务器上，如果存储方式为磁盘存储，则将对应的目标数据存储到磁盘服务器上。

具体地，所述数据分类单元可以包括：权重获取子单元733，用于获取给所述目标数据配置的权重；重要程度确定子单元743，用于根据所述权重确定所述目标数据的重要程度；重要程度分类子单元753，用于根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。所述决策树生成子单元713可以包括权重获取子单元733、重要程度确定子单元743、重要程度分类子单元753。

图10为本申请实施例数据分类存储装置的结构示意图；如图10所示，与上述图7实施例不同的是，不包括数据抓取单元、数据筛选单元，且所述数据分类单元703进一步用于获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

本实施例中，所述目标数据的占用空间超过设定空间阈值的数据，则所述目标数据为大数据，否则，为正常数据。

本实施例中，若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。

进一步地，所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。

进一步地，所述所述存储方式确定单元进一步用于当所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。

本实施例中，在以非关系型存储方式存储目标数据时，可以将其具体存储在Hadoop文件分发库中，以关系型存储方式存储目标数据时，以将其具体存储在Hbase数据库中。

本实施例中，所述关系型存储方式比如为键值对存储方式，比如目标数据形成的文件名作为key，目标数据作为value存储在Hbase数据库中。为此，空间阈值可以设置为10M，超过10M，则认为是大数据，否则则认为正常数据。

进一步地，所述存储处理单元进一步用于为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置，从而便于对同类数据进行批量批量修改和查询，提高数据管理的效率。

在分配存储位置时，对相同类型的目标数据分配相同的存储子目录，不同的类型的目标数据分配不同的存储子目录。

进一步，根据所述存储子目录，生成所述目标数据的存储路径。

进一步地，在上述实施例的基础上，所述数据分类存储装置还包括元数据中间件，所述元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

所述数据分类单元可以包括：权重获取子单元733，用于获取给所述目标数据配置的权重；重要程度确定子单元743，用于根据所述权重确定所述目标数据的重要程度；重要程度分类子单元753，用于根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；数据大小分类子单元763，用于根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

上述所述决策树生成子单元713可以包括权重获取子单元733、重要程度确定子单元743、重要程度分类子单元753、数据大小分类子单元763。

具体地，本实施例中，存储子单元723将数据重要性分类以及数据大小分类存储到所述决策树的结果节点上。

图11为本申请实施例一种电子设备的结构示意图；如图11所示，其包括存储器1101以及处理器1102，所述存储器上存储有计算机软件程序，所述处理器用于运行所述计算机软件程序以执行任一项权利要求所述的数据分类存储方法。

本申请实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机软件程序，所述计算机软件程序被运行时执行任一项权利要求所述的数据分类存储方法。

图12为本申请实施例一种电子设备结构示意图；如图12所示，该电子设备的硬件结构可以包括：处理器1201，通信接口1202，计算机可读介质1203和通信总线1204；

其中，处理器1201、通信接口1202、计算机可读介质1203通过通信总线1204完成相互间的通信；

可选的，通信接口1202可以为通信模块的接口，如GSM模块的接口；

其中，处理器1201具体可以配置为运行存储器上存储的计算机软件程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。

处理器1201可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据分类存储方法，其特征在于，包括：

根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；

根据所述目标数据的类别，确定所述目标数据的存储方式；

根据确定出的存储方式，对所述目标数据进行存储处理。

2.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，包括：根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别，并生成所述目标数据对应的决策树；将所述目标数据的类别存储到所述决策树的结果节点上。

3.根据权利要求1所述的数据分类存储方法，其特征在于，所述数据分类机制包括重要程度以及大小；所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括：根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类；根据数据的大小以及设定的数据量阈值，对任一权重分类对应的目标数据进行分类确定出数据大小分类。

4.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类，包括：获取给所述目标数据配置的权重；根据所述权重确定所述目标数据的重要程度；根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

5.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于须备份的数据，则所述目标数据的存储方式为分布式存储；否则，则所述目标数据的存储方式为磁盘存储。

6.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为非关系型存储方式；否则，所述目标数据的存储方式为关系型存储方式。

7.根据权利要求1所述的数据分类存储方法，其特征在于，所述根据所述目标数据的类别，确定所述目标数据的存储方式，包括：若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据，则所述目标数据的存储方式为HDFS存储方式；否则，则所述目标数据的存储方式为Hbase存储方式，所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中，Hbase存储方式使得所述目标数据存储在Hadoop数据库。

8.根据权利要求1-7任一项所述的数据分类存储方法，其特征在于，所述根据确定出的存储方式，对所述目标数据进行存储处理包括：为同一类型的所述目标数据分配相同的存储位置，而不同类型的所述目标数据分配不同的存储位置。

9.根据权利要求8所述的数据分类存储方法，其特征在于，所述数据分类存储方法还包括：通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

10.一种数据分类存储装置，其特征在于，包括：

数据分类单元，用于根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别；

存储方式确定单元，用于根据所述目标数据的类别，确定所述目标数据的存储方式；

存储处理单元，用于根据确定出的存储方式，对所述目标数据进行存储处理。

Images