CN104715040A - 一种数据分类的方法及装置 - Google Patents

Abstract

本发明提供了一种数据分类的方法及装置，该方法包括：预先设置多个数据的标识；根据样本数据确定每一种标识对应的分类规则；按组获取待标识的数据；将所述每组待标识的数据遍历所有分类规则；计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。通过本发明提供的一种数据分类的方法及装置，能够提高标识数据的效率。

Description

一种数据分类的方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种数据分类的方法及装置。

背景技术

云计算、移动互联、社交网络、物联网等技术蓬勃发展的时代下，数据正以不可估量的速度在被创造和传播，尤其是相同属性的数据，在不同的环境下，可能数据名称不一致，数据表示不一致，数据长度不一致，数据含义不一致，为了提高数据的查询检索效率，对数据进行有效的标识势在必行，而数据标识的核心价值就在于提升数据的质量，数据标识让多源异构的数据具有同样的属性。

现有技术中，标识数据主要通过以下方法：一种是人工选择excel中的某一列与已经定义好的元数据匹配，通过元数据对这一列的数据进行标识，另一种是通过正则表达式自动匹配元数据，通过数据所匹配的元数据对数据进行标识。

通过上述描述可见，现有技术中，第一种方法中通过人工匹配，工作量较大，速度较慢，第二种方法中，通过正则表达式自动匹配，正则表达式的数量较少，对应的标识较少。综上，现有的方法中，标识数据的效率较低。

发明内容

有鉴于此，本发明提供了一种数据分类的方法及装置，能够提高标识数据的效率。

本发明提供了一种数据分类的方法，包括：预先设置多个数据的标识，还包括：

S1：根据样本数据确定每一种标识对应的分类规则；

S2：按组获取待标识的数据；

S3：将所述每组待标识的数据遍历所有分类规则；

S4：计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

S5：确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

进一步地，所述S1，包括：

根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

在所述S3之前还包括：

实现每一种正则规则的处理类；

所述S3包括：将当前组待标识的数据通过所有处理类遍历所有正则规则。

进一步地，所述S1，包括：

根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述S3，包括：

通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述S4，包括：

S41：通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

S42：确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

进一步地，在所述S41之前还包括：获取当前组中每个待标识的数据的先验概率；

所述S41包括：根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

进一步地，所述预先设置数据的标识，包括：根据待标识的数据对应行业标准设置数据的标识。

另一方面，本发明提供了一种数据分类的装置，包括：

设置单元，用于设置多个数据的标识；

分类规则确定单元，用于根据样本数据确定每一种标识对应的分类规则；

获取单元，用于按组获取待标识的数据；

遍历单元，用于将所述每组待标识的数据遍历所有分类规则；

匹配个数计算单元，用于计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

标识确定单元，用于确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

进一步地，所述分类规则确定单元，用于根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

该装置还包括：实现单元，用于实现每一种正则规则的处理类；

所述遍历单元，用于将当前组待标识的数据通过所有处理类遍历所有正则规则。

进一步地，所述分类规则确定单元，用于根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述遍历单元，用于通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述匹配个数计算单元，包括：

后验概率计算子单元，用于通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

确定子单元，用于确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

进一步地，所述匹配个数计算单元还包括：获取子单元，用于获取当前组中每个待标识的数据的先验概率；

所述后验概率计算子单元，用于根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

进一步地，所述设置单元，用于根据待标识的数据对应行业标准设置数据的标识。

本发明提供了一种数据分类的方法及装置，根据样本数据确定分类规则，不会限制标识的数量，可以根据需要获得大量标识，自动遍历所有分类规则，对待标识的数据进行分类，无需人工匹配，提高了标识数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种数据分类的方法的流程图；

图2是本发明一实施例提供的另一种数据分类的方法的流程图

图3是本发明一实施例提供的一种数据分类的装置的示意图；

图4是本发明一实施例提供的另一种数据分类的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据分类的方法，该方法可以包括以下步骤：

S0：预先设置多个数据的标识；

S1：根据样本数据确定每一种标识对应的分类规则；

S2：按组获取待标识的数据；

S3：将所述每组待标识的数据遍历所有分类规则；

S4：计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

S5：确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

本发明实施例提供了一种数据分类的方法，根据样本数据确定分类规则，不会限制标识的数量，可以根据需要获得大量标识，自动遍历所有分类规则，对待标识的数据进行分类，无需人工匹配，提高了标识数据的效率。

在一种可能的实现方式中，所述S1，包括：

根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

在所述S3之前还包括：

实现每一种正则规则的处理类；

所述S3包括：将当前组待标识的数据通过所有处理类遍历所有正则规则。

其中，正则规则是通过一些符号来代表一种分类规则。上述的处理类是实现正则规则的一种方法，可以通过C语言、Java等语言中的类来实现。

在一种可能的实现方式中，所述S1，包括：

根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述S3，包括：

通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述S4，包括：

S41：通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

S42：确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

为了使得标识更加准确的反映待标识的数据的属性，所述S0，包括：根据待标识的数据对应行业标准设置数据的标识。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

如图2所示，本发明实施例提供了一种数据分类的方法，该方法可以包括以下步骤：

步骤201：预先设置多个数据的标识。

举例来说，标识可以是：身份证号、手机号、年龄、IP地址等。

步骤202：根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则。

步骤203：按组获取待标识的数据。

步骤204：通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则。

本发明实施例中的一组待标识的数据认为都是属于一个标识的，举例来说，都是身份证号。一组待标识的数据可以是存储待标识数据的表中的一列。该组待标识的数据中可以会有一些错误添加进去的数据，例如在一组身份证号中有一个手机号。在标识的过程中，只是对该组的大部分数据进行标识，其中的个别数据可以忽略。

举例来说，将获取的当前组待标识的数据分别与每个分类规则进行匹配。

步骤205：获取当前组中每个待标识的数据的先验概率。

步骤206：根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

通过后验概率的大小来判断当前的待标识的数据是否与当前规则匹配。

步骤207：确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

计算出每个待标识的数据在每个分类规则的后验概率，认为当前的待标识的数据与最大的后验概率对应的分类规则相匹配，在当前分类规则的匹配的待标识的数据的个数上加一。

步骤208：统计每种所述分类规则匹配的待标识的数据的匹配个数。

步骤209：确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

由于在匹配的过程中可能会出现误差，或者该组待标识的数据中混杂了一些其他数据，经过匹配后，可能在多个分类规则中都有相应的待标识的数据，为了确保标识的准确性，将匹配个数最大的分类规则作为该组待标识的数据的标识。

如图3、图4所示，本发明实施例提供了一种数据分类的装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种数据分类的装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种数据分类的装置，包括：

设置单元401，用于设置多个数据的标识；

分类规则确定单元402，用于根据样本数据确定每一种标识对应的分类规则；

获取单元403，用于按组获取待标识的数据；

遍历单元404，用于将所述每组待标识的数据遍历所有分类规则；

匹配个数计算单元405，用于计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

标识确定单元406，用于确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

在一种可能的实现方式中，所述分类规则确定单元402，用于根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

该装置还包括：实现单元，用于实现每一种正则规则的处理类；

所述遍历单元404，用于将当前组待标识的数据通过所有处理类遍历所有正则规则。

在一种可能的实现方式中，所述分类规则确定单元402，用于根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述遍历单元404，用于通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述匹配个数计算单元405，包括：

后验概率计算子单元，用于通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

确定子单元，用于确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

在该实现方式中，所述匹配个数计算单元还包括：获取子单元，用于获取当前组中每个待标识的数据的先验概率；

所述后验概率计算子单元，用于根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

在一种可能的实现方式中，所述设置单元401，用于根据待标识的数据对应行业标准设置数据的标识。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

另外，在本发明实施例中，可以根据每个分类规则的匹配个数计算出每个分类规则的命中率，该命中率为当前分类规则的匹配个数占该组所有数据的百分比。可以设置一个命中率的阈值，当有分类规则的命中率大于等于该阈值时，确定标识数据成功，并确定命中率最大的分类规则对应的标识为当前组待标识的数据的标识，当没有分类规则的命中率大于等于该阈值时，确定标识数据失败，结束处理。当标识数据失败后，还可以重新进行标识，或者通过其他方法来标识该组数据。其中，该阈值可以是80％。

上述实施例具有如下有益效果：

1、本发明实施例提供了一种数据分类的方法及装置，根据样本数据确定分类规则，不会限制标识的数量，可以根据需要获得大量标识，自动遍历所有分类规则，对待标识的数据进行分类，无需人工匹配，提高了标识数据的效率。

2、本发明实施例提供了一种数据分类的方法及装置，用户可以根据行业标准及样本数据无限的扩充数据标识，使数据的分类更加详细，更好的提升数据的质量，破除不同数据源数据不能连通的特性；解决了按照正则匹配的方式的有限性，增强了数据标识的功能；减少人工进行数据标识的工作量，从而简化操作，降低错误率。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据分类的方法，其特征在于，包括：预先设置多个数据的标识，还包括：

S1：根据样本数据确定每一种标识对应的分类规则；

S2：按组获取待标识的数据；

S3：将所述每组待标识的数据遍历所有分类规则；

S4：计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

S5：确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

2.根据权利要求1所述的方法，其特征在于，所述S1，包括：

根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

在所述S3之前还包括：

实现每一种正则规则的处理类；

所述S3包括：将当前组待标识的数据通过所有处理类遍历所有正则规则。

3.根据权利要求1所述的方法，其特征在于，所述S1，包括：

根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述S3，包括：

通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述S4，包括：

S41：通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

S42：确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

4.根据权利要求3所述的方法，其特征在于，在所述S41之前还包括：获取当前组中每个待标识的数据的先验概率；

所述S41包括：根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

5.根据权利要求1所述的方法，其特征在于，所述预先设置数据的标识，包括：根据待标识的数据对应行业标准设置数据的标识。

6.一种数据分类的装置，其特征在于，包括：

设置单元，用于设置多个数据的标识；

分类规则确定单元，用于根据样本数据确定每一种标识对应的分类规则；

获取单元，用于按组获取待标识的数据；

遍历单元，用于将所述每组待标识的数据遍历所有分类规则；

匹配个数计算单元，用于计算每种所述分类规则匹配的当前组中待标识的数据的匹配个数；

标识确定单元，用于确定匹配个数最大的分类规则对应的标识为当前组待标识的数据的标识。

7.根据权利要求6所述的装置，其特征在于，所述分类规则确定单元，用于根据样本数据对每一种标识设置对应的正则规则，其中，所述分类规则为所述正则规则；

该装置还包括：实现单元，用于实现每一种正则规则的处理类；

所述遍历单元，用于将当前组待标识的数据通过所有处理类遍历所有正则规则。

8.根据权利要求6所述的装置，其特征在于，所述分类规则确定单元，用于根据所述样本数据通过贝叶斯分类器对每一种标识进行训练，得到每一种标识对应的分类规则；

所述遍历单元，用于通过所述贝叶斯分类器将当前组待标识的数据遍历所有分类规则；

所述匹配个数计算单元，包括：

后验概率计算子单元，用于通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率；

确定子单元，用于确定最大的后验概率对应的分类规则为当前待标识的数据匹配的分类规则。

9.根据权利要求8所述的装置，其特征在于，所述匹配个数计算单元还包括：获取子单元，用于获取当前组中每个待标识的数据的先验概率；

所述后验概率计算子单元，用于根据每个待标识的数据的先验概率，通过所述贝叶斯分类器计算当前组待标识的数据中每个待标识的数据在每个分类规则中的后验概率。

10.根据权利要求6所述的装置，其特征在于，所述设置单元，用于根据待标识的数据对应行业标准设置数据的标识。