CN109918367A - 一种结构化数据的清洗方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种结构化数据的清洗方法、装置、电子设备及存储介质。所述方法包括：在当前待清洗的结构化数据中提取出至少一个键值对数据；采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本。

Description

一种结构化数据的清洗方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种结构化数据的清洗方法、装置、电子设备及存储介质。

背景技术

现有技术中的数据可以划分为：结构化数据、非结构化数据和半结构化数据；其中，结构化数据是指拥有严格的固定结构的数据，可以使用关系型数据库来表示和存储，如MySQL、Oracle、SQL Server等数据库中存储的数据，每个结构化数据可以包括多个属性，并且每个属性拥有固定的字段格式。非结构化数据是没有固定结构的数据，无法使用关系型数据库来表示和存储，如办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等，一般直接整体进行存储，而且一般存储为二进制的数据格式。半结构化数据是指拥有不严格的固定结构的数据，每个半结构化数据可以包括多个属性，有的属性拥有固定的字段格式，但是有的属性没有固定的字段格式。

在现有技术中，结构化数据的清洗方法通常包括以下两种：第一、垂类的数据清洗，该方法主要针对结构化数据中的单个属性制定相应的策略规则进行清洗。这种方式有利于针对某一方向的数据有针对性地调整清洗策略，但耗时较长。第二、先进行通用清洗，再基于特定的属性进行清洗。例如，先进行乱码字符的转换或者重复值的删除；然后再进行URL的合法性校验或者日期格式的转换。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在现有的第一类数据清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；在现有的第二类数据清洗方法中，不同类型的产品对于结构化数据的规范化需求不一致，例如，应用类产品仅仅需要结构化数据在文本意义上“可用可读”；而有些产品则需要结构化数据严格按照特定的数据类型进行约束，将其转化为特定的数据结构，由于对结构化数据“是否规范”的定义模糊不清，所以清洗结果质量参差不齐，可用性差。

发明内容

有鉴于此，本发明实施例提供一种结构化数据的清洗方法、装置、电子设备及存储介质，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本。

第一方面，本发明实施例提供了一种结构化数据的清洗方法，所述方法包括：

在当前待清洗的结构化数据中提取出至少一个键值对数据；

采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，所述采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据，包括：

若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，在所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据之前，所述方法还包括：

获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；

按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；

采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，执行所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据的操作。

在上述实施例中，其特征在于，所述按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵，包括：

将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；

按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

在上述实施例中，所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据，包括：

若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

若各个键值对数据对应的对象数据为多个语义项的对象数据，基于条件随机场模型CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

第二方面，本发明实施例提供了一种结构化数据的清洗装置，所述装置包括：提取模块、第一清洗模块和第二清洗模块；其中，

所述提取模块，用于在当前待清洗的结构化数据中提取出至少一个键值对数据；

所述第一清洗模块，用于采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

所述第二清洗模块，用于采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，所述第二清洗模块，具体用于若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

在上述实施例中，所述装置还包括：检测模块，用于获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

所述第一清洗模块，用于若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，执行所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据的操作。

在上述实施例中，所述检测模块，具体用于将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

在上述实施例中，所述第一清洗模块，具体用于若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将各个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

第三方面，本发明实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的结构化数据的清洗方法。

第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的结构化数据的清洗方法。

本发明实施例提出了一种结构化数据的清洗方法、装置、电子设备及存储介质，先在当前待清洗的结构化数据中提取出至少一个键值对数据；然后采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；再采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。也就是说，在本发明的技术方案中，针对不同类型的当前待清洗数据，都可以采用通用的数据清洗方法和基于schema的数据清洗方法，将当前待清洗数据中的各个键值对数据清洗为各个目标键值对数据。而在现有的结构化数据的清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；或者，先进行通用清洗，再基于特定的属性进行清洗。不同类型的产品对于结构化数据的规范化需求不一致，清洗结果质量参差不齐，可用性差。因此，和现有技术相比，本发明实施例提出的结构化数据的清洗方法、装置、电子设备及存储介质，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

附图说明

图1为本发明实施例一提供的数据清洗方法的流程示意图；

图2为本发明实施例二提供的数据清洗方法的流程示意图；

图3为本发明实施例三提供的数据清洗方法的流程示意图；

图4为本发明实施例四提供的数据清洗装置的结构示意图；

图5为本发明实施例五提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的结构化数据的清洗方法的流程示意图，该方法可以由结构化数据的清洗装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，结构化数据的清洗方法可以包括以下步骤：

S101、在当前待清洗的结构化数据中提取出至少一个键值对数据。

在本发明的具体实施例中，电子设备可以在当前待清洗的结构化数据中提取出至少一个键值对数据。在本发明的具体实施例中，键值对数据指的是包含Key值数据和对应的Value值数据的任何存储形式的二元组数据，包括但不限于：包含Key，Value的元组数据，字典数据、Map结构数据以及SPO数据中的P-O对数据、S-O对数据、Excel表格等格式化存储的“属性-值”数据。

较佳地，在本发明的具体实施例中，若当前待清洗的数据为非结构化数据，电子设备可以将该非结构化数据转换为结构化数据；若当前待清洗的数据为半结构化数据，电子设备也可以将该半结构化数据转换为结构化数据。

S102、采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。

在本发明的具体实施例中，电子设备可以采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。具体地，若各个键值对数据对应的对象数据为单个语义项的对象数据，电子设备可以采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，电子设备可以先基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，然后采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

具体地，在本发明的具体实施例中，CRF是一种判别式的概率无向图模型，即给定观测序列X和输出序列Y，通过定义P(Y|X)来描述模型。在处理小数量，特征较为简单的数据时，CRF往往能比神经网络模型有更好的拟合效果。在本发明的具体实施例中，可以先对多对象数据进行分词，然后利用工具对每个分词进行词性标注，再采用BIO2标注体系将结构化数据对应的多个语义项的对象数据拆分为N个单值的对象数据，从而可以将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据。

S103、采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在本发明的具体实施例中，电子设备可以采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段将各个语义可用的键值对数据映射到schema的数据约束规范中；然后按照schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段在schema中查找各个语义可用的键值对数据对应的数据约束规范；若根据预设类型的映射字段在schema中查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用各个语义可用的键值对数据对应的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据；若根据预设类型的映射字段在schema中未查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用默认的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，这里的schema可以是根据设定的规范和设计，构建出的一个或多个数据约束规范体系。例如，假设键值对数据为SPO数据中的P-O数据，预先构建的schema约束体系可以为BKG Schema。具体地，若各个语义可用的P-O数据可以通过预设规则映射在BKG Schema中查找到各个语义可用的SPO数据对应的特定的数据描述规范，电子设备可以使用各个语义可用的P-O数据对应的特定的schema约束规范将各个语义可用的SPO数据清洗为各个目标SPO数据。

本发明实施例提出的结构化数据的清洗方法，先在当前待清洗的结构化数据中提取出至少一个键值对数据；然后采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；再采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。也就是说，在本发明的技术方案中，针对不同类型的当前待清洗数据，都可以采用通用的数据清洗方法和基于schema的数据清洗方法，将当前待清洗数据中的各个键值对数据清洗为各个目标键值对数据。而在现有的结构化数据的清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；或者，先进行通用清洗，再基于特定的属性进行清洗。不同类型的产品对于结构化数据的规范化需求不一致，清洗结果质量参差不齐，可用性差。因此，和现有技术相比，本发明实施例提出的结构化数据的清洗方法，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例二

图2为本发明实施例二提供的数据清洗方法的流程示意图。如图2所示，数据清洗方法可以包括以下步骤：

S201、在当前待清洗的结构化数据中提取出至少一个键值对数据。

在本发明的具体实施例中，电子设备可以在当前待清洗的结构化数据中提取出至少一个键值对数据。在本发明的具体实施例中，键值对数据指的是包含Key值数据和对应的Value值数据的任何存储形式的二元组数据，包括但不限于：包含Key，Value的元组数据，字典数据、Map结构数据以及SPO数据中的P-O对数据、S-O对数据、Excel表格等格式化存储的“属性-值”数据。

较佳地，在本发明的具体实施例中，若当前待清洗的数据为非结构化数据，电子设备可以将该非结构化数据转换为结构化数据；若当前待清洗的数据为半结构化数据，电子设备也可以将该半结构化数据转换为结构化数据。

S202、获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中。

在本发明的具体实施例中，电子设备可以根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中。具体地，由于各个键值对数据对应的对象数据的分布主要依赖于属性数据，不同的属性数据对应的对象数据的差异可能非常大，例如，属性数据“日期”对应的对象数据一般是某年某月某日的格式；而属性数据“简介”对应的对象格式一般是文本格式。因此，在本发明的具体实施例中，可以先将各键值对数据划分到与其对应的当前属性分桶中，这样可以将相同属性数据对应的对象数据划分到相同的属性分桶中，后续可以按照当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵。

S203、按照当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵。

在本发明的具体实施例中，电子设备可以按照当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵。具体地，电子设备可以将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；然后按照当前属性分桶对应的特征转换规则，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

S204、采用异常点检测算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。

在本发明的具体实施例中，电子设备可以采用异常点检测算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。具体地，电子设备可以采用孤立森林Isolation Forest算法或者单分类OneClassSVM算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。

在Isolation Forest算法中，Isolation Forest是由一颗颗树(Isolation Tree)构成的，通过建树的方式来对特征进行划分，这棵树是一颗二叉树，每个节点要么有两个儿子，要么为叶子节点。建树过程如下：1)随机选择一个属性A；2)随机选择该数据A的一个属性值Value；3)根据属性A的每条记录，把A小于Value的记录放在左儿子节点，把大于Value的记录放在右儿子节点；4)递归地构造左儿子和右儿子节点，直到叶子节点或树高达到限制高度。Isolation Forest的假设是：异常点是稀有的，在数据中占少部分。在这个假设的前提下，最终通过计算叶子节点到根节点的距离来判断异常，距离越短，表示该点稀有，越可能为异常数据。此外，在Isolation Forest算法中，每次是通过随机采样一定数量的样本点来进行建树，从而一定程度避免了全部数据中异常数据和非异常数据在特征空间重合的问题，进行预测时，综合每棵树的结果，计算叶节点到根节点在每棵树的平均高度，相当于一种集成方法，从而达到较高的准确率。

在OneClassSVM算法中，假设获取到的SPO数据中多数为正例数据，仅仅有少量的负例数据，OneClassSVM用于训练一个分类超平面，将这些正例数据包起来。IsolationForest算法通常比OneClassSVM算法效果更好，OneClassSVM算法有时用于辅助选取和集成。

S205、若基于当前特征矩阵检测出各个键值对数据属于疑似杂质，采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。

在本发明的具体实施例中，若基于当前特征矩阵检测出各个键值对数据属于疑似杂质，电子设备可以采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。具体地，若各个键值对数据对应的对象数据为单个语义项的对象数据，电子设备可以采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，电子设备可以基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数；其中，N为大于1的自然数。

S206、采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在本发明的具体实施例中，电子设备可以采用采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段将各个语义可用的键值对数据映射到schema的数据约束规范中；然后按照schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段在schema中查找各个语义可用的键值对数据对应的数据约束规范；若根据预设类型的映射字段在schema中查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用各个语义可用的键值对数据对应的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据；若根据预设类型的映射字段在schema中未查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用默认的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，这里的schema可以是根据设定的规范和设计，构建出的一个或多个数据约束规范体系。例如，假设键值对数据为SPO数据中的P-O数据，预先构建的schema约束体系可以为BKG Schema。具体地，若各个语义可用的P-O数据可以通过预设规则映射在BKG Schema中查找到各个语义可用的SPO数据对应的特定的数据描述规范，电子设备可以使用各个语义可用的P-O数据对应的特定的schema约束规范将各个语义可用的SPO数据清洗为各个目标SPO数据。

本发明实施例提出的结构化数据的清洗方法，先在当前待清洗的结构化数据中提取出至少一个键值对数据；然后采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；再采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。也就是说，在本发明的技术方案中，针对不同类型的当前待清洗数据，都可以采用通用的数据清洗方法和基于schema的数据清洗方法，将当前待清洗数据中的各个键值对数据清洗为各个目标键值对数据。而在现有的结构化数据的清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；或者，先进行通用清洗，再基于特定的属性进行清洗。不同类型的产品对于结构化数据的规范化需求不一致，清洗结果质量参差不齐，可用性差。因此，和现有技术相比，本发明实施例提出的结构化数据的清洗方法，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例三

图3为本发明实施例三提供的数据清洗方法的流程示意图。如图3所示，数据清洗方法可以包括以下步骤：

S301、在当前待清洗的结构化数据中提取出至少一个键值对数据。

在本发明的具体实施例中，电子设备可以在当前待清洗的结构化数据中提取出至少一个键值对数据。在本发明的具体实施例中，键值对数据指的是包含Key值数据和对应的Value值数据的任何存储形式的二元组数据，包括但不限于：包含Key，Value的元组数据，字典数据、Map结构数据以及SPO数据中的P-O对数据、S-O对数据、Excel表格等格式化存储的“属性-值”数据。

较佳地，在本发明的具体实施例中，若当前待清洗的数据为非结构化数据，电子设备可以将该非结构化数据转换为结构化数据；若当前待清洗的数据为半结构化数据，电子设备也可以将该半结构化数据转换为结构化数据。

S302、获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中。

在本发明的具体实施例中，电子设备可以获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中。具体地，键值对数据中的Key值数据可以是属性数据，也可以不是属性数据；当键值对数据中的Key值数据是属性数据时，电子设备可以直接在键值对数据获取到Key值数据作为与其对应的属性数据；当键值对数据中的Key值数据不是属性数据时，电子设备可以根据键值对数据中的Key值数据获取到与其对应的属性数据。具体地，电子设备可以根据键值对数据中的Key值数据，按照预先确定的存储设计规则获取到与其对应的属性数据。由于各个键值对数据对应的对象数据的分布主要依赖于属性数据，不同的属性数据对应的对象数据的差异可能非常大，例如，属性数据“日期”对应的对象数据一般是某年某月某日的格式；而属性数据“简介”对应的对象格式一般是文本格式。因此，在本发明的具体实施例中，可以先将各键值对数据划分到与其对应的当前属性分桶中，这样可以将相同属性数据对应的对象数据划分到相同的属性分桶中，后续可以按照当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵。

S303、将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数。

在本发明的具体实施例中，电子设备可以将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数。具体地，电子设备可以根据各个对象数据中的各个字符的类型，将各个键值对数据对应的对象数据划分为M组分词；其中，各个对象数据中的各个字符的类型可以包括但不限于：数字类型、字母类型、汉字类型、特殊符号类型。例如，某个键值对数据对应的对象数据为：1987年10-02生。在本步骤中，电子设备可以将该对象数据划分为六组分词，分别为：“1987”、“年”、“10”、“-”、“02”和“生”。

S304、按照当前属性分桶对应的特征转换规则，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

在本发明的具体实施例中，电子设备可以按照当前属性分桶对应的特征转换规则，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。具体地，电子设备可以将不同类型的对象数据替换为不同的ID值。例如，电子设备可以将各个对象数据中的数字替换为1；将各个对象数据中的汉字替换为5；将各个对象数据中的特殊符号替换为6；将各个对象数据中的空格替换为0。假设某个键值对数据中的对象数据为：1987年10-02生。本步骤中，电子设备可以基于六组分词“1987”、“年”、“10”、“-”、“02”和“生”，将该键值对数据转换为与其对应的当前绝对特征矩阵[1，1，1，1，5，1，1，6，1，1，2]；或者，电子设备还可以基于六组分词“1987”、“年”、“10”、“-”、“02”和“生”将该键值对数据转换为与其对应的当前相对特征矩阵[1，5，1，6，1，2]。

S305、采用异常点检测算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。

在本发明的具体实施例中，电子设备可以采用异常点检测算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。具体地，电子设备可以采用Isolation Forest算法或者OneClassSVM算法，基于当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质。

S306、若基于当前特征矩阵检测出各个键值对数据属于疑似杂质，采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。

在本发明的具体实施例中，若基于当前特征矩阵检测出各个键值对数据属于疑似杂质，电子设备可以采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据。具体地，若各个键值对数据对应的对象数据为单个语义项的对象数据，电子设备可以采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，电子设备可以基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数；其中，N为大于1的自然数。

S307、采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

在本发明的具体实施例中，电子设备可以采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段将各个语义可用的键值对数据映射到schema的数据约束规范中；然后按照schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，若各个语义可用的键值对数据中包括预设类型的映射字段，电子设备可以根据预设类型的映射字段在schema中查找各个语义可用的键值对数据对应的数据约束规范；若根据预设类型的映射字段在schema中查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用各个语义可用的键值对数据对应的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据；若根据预设类型的映射字段在schema中未查找到各个语义可用的键值对数据对应的数据约束规范，电子设备可以使用默认的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。具体地，这里的schema可以是根据设定的规范和设计，构建出的一个或多个数据约束规范体系。例如，假设键值对数据为SPO数据中的P-O数据，预先构建的schema约束体系可以为BKG Schema。具体地，若各个语义可用的P-O数据可以通过预设规则映射在BKG Schema中查找到各个语义可用的SPO数据对应的特定的数据描述规范，电子设备可以使用各个语义可用的P-O数据对应的特定的schema约束规范将各个语义可用的SPO数据清洗为各个目标SPO数据。

本发明实施例提出的结构化数据的清洗方法，先在当前待清洗的结构化数据中提取出至少一个键值对数据；然后采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；再采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。也就是说，在本发明的技术方案中，针对不同类型的当前待清洗数据，都可以采用通用的数据清洗方法和基于schema的数据清洗方法，将当前待清洗数据中的各个键值对数据清洗为各个目标键值对数据。而在现有的结构化数据的清洗方法中，针对单个类型的结构化数据制定相应规则，这样在海量数据中就会耗费相当大的人力成本；或者，先进行通用清洗，再基于特定的属性进行清洗。不同类型的产品对于结构化数据的规范化需求不一致，清洗结果质量参差不齐，可用性差。因此，和现有技术相比，本发明实施例提出的结构化数据的清洗方法，不仅可以提高结构化数据的清洗质量，而且还可以节省结构化数据的清洗成本；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例四

图4为本发明实施例四提供的结构化数据的清洗装置的结构示意图。如图4所示，本发明实施例所述的结构化数据的清洗装置可以包括：提取模块401、第一清洗模块402和第二清洗模块403；其中，

所述提取模块401，用于在当前待清洗的结构化数据中提取出至少一个键值对数据；

所述第一清洗模块402，用于采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

所述第二清洗模块403，用于采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

进一步的，所述第二清洗模块403，具体用于若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

进一步的，所述装置还包括：检测模块404(图中未示出)，用于获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

所述第一清洗模块402，用于若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，执行所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据的操作。

进一步的，所述检测模块404，具体用于将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

进一步的，所述第一清洗模块402，具体用于若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将各个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

上述结构化数据的清洗装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的结构化数据的清洗方法。

实施例五

图5为本发明实施例五提供的电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的结构化数据的清洗方法。

实施例六

本发明实施例六提供了一种计算机存储介质。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种结构化数据的清洗方法，其特征在于，所述方法包括：

在当前待清洗的结构化数据中提取出至少一个键值对数据；

采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

采用基于约束规范体系schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

2.根据权利要求1所述的方法，其特征在于，所述采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据，包括：

若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

3.根据权利要求1所述的方法，其特征在于，在所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据之前，所述方法还包括：

获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；

按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；

采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，执行所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据的操作。

4.根据权利要求3所述的方法，其特征在于，所述按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵，包括：

将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；

按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

5.根据权利要求3所述的方法，其特征在于，所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据，包括：

若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

若各个键值对数据对应的对象数据为多个语义项的对象数据，基于条件随机场模型CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将N个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

6.一种数据清洗装置，其特征在于，所述装置包括：提取模块、第一清洗模块和第二清洗模块；其中，

所述提取模块，用于在当前待清洗的结构化数据中提取出至少一个键值对数据；

所述第一清洗模块，用于采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；

所述第二清洗模块，用于采用基于schema的数据清洗方法将各个语义可用的键值对数据清洗为各个目标键值对数据。

7.根据权利要求6所述的装置，其特征在于：

所述第二清洗模块，具体用于若各个语义可用的键值对数据中包括预设类型的映射字段，根据所述预设类型的映射字段将各个语义可用的键值对数据映射到所述schema的数据约束规范中；按照所述schema的数据约束规范将各个语义可用的键值对数据清洗为各个目标键值对数据。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：检测模块，用于获取各个键值对数据对应的属性数据；并根据各个键值对数据对应的属性数据，将各键值对数据划分到与其对应的当前属性分桶中；按照所述当前属性分桶对应的特征转换规则，将各个键值对数据对应的对象数据转换为各个对象数据对应的当前特征矩阵；采用异常点检测算法，基于所述当前特征矩阵检测各个键值对数据属于疑似杂质或者非疑似杂质；

所述第一清洗模块，用于若基于所述当前特征矩阵检测出各个键值对数据属于所述疑似杂质，执行所述采用通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据的操作。

9.根据权利要求8所述的装置，其特征在于：

所述检测模块，具体用于将各个键值对数据对应的对象数据划分为M组分词；其中，M为大于等于1的自然数；按照所述当前属性分桶对应的特征转换规则，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前绝对特征矩阵；或者，基于所述M组分词将各个键值对数据对应的对象数据转换为各个对象数据对应的当前相对特征矩阵。

10.根据权利要求8所述的装置，其特征在于：

所述第一清洗模块，具体用于若各个键值对数据对应的对象数据为单个语义项的对象数据，采用第一类通用的数据清洗方法将各个键值对数据清洗为与其对应的语义可用的键值对数据；若各个键值对数据对应的对象数据为多个语义项的对象数据，基于CRF的拆分方法将各个键值对数据拆分为与其对应的N个键值对子数据，采用第二类通用的数据清洗方法将各个键值对子数据清洗为与其对应的N个语义可用的键值对子数据；其中，N为大于1的自然数。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的结构化数据的清洗方法。

12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的结构化数据的清洗方法。