CN110852098A - 一种数据修正方法及电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种数据修正方法及一种电子设备和计算机可读存储介质，该方法包括：获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；利用所述异常类型对应的修正策略对所述待修正数据进行修正。本申请提供的数据修正方法，为不同异常类型设置不同的修正策略，可以对逻辑类型、结构类型和文本类型的异常进行自动修复，不仅在节约人力审核资源时间，提高效率，还可以在数据结构化中缩短数据处理流水线作业时间。

Description

一种数据修正方法及电子设备和存储介质

技术领域

本申请涉及数据处理技术领域，更具体地说，涉及一种数据修正方法及一种电子设备和一种计算机可读存储介质。

背景技术

在实际数据的撰写和录入过程中，会出现一些人为错误，例如错别字、逻辑指向错误、排版录入错误等。在相关技术中，一般对其进行人工校对并修复，效率较低。

因此，如何提高数据修正效率是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种数据修正方法及一种电子设备和一种计算机可读存储介质，提高了数据修正效率。

为实现上述目的，本申请提供了一种数据修正方法，包括：

获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；

利用所述异常类型对应的修正策略对所述待修正数据进行修正。

其中，所述利用所述异常类型对应的修正策略对所述待修正数据进行修正，包括：

若所述异常类型为所述逻辑类型，则确定所述待修正数据对应的目标文本，并建立所述待修正数据与所述目标文本的对应关系；

若所述异常类型为所述结构类型，则提取所述待修正数据的字段信息，并将所述字段信息填充至标准数据结构中；

若所述异常类型为所述文本类型，则生成所述待修正数据对应的词序列。

其中，所述确定所述待修正数据的异常类型，包括：

根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型。

其中，所述根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型，包括：

若所述待修正数据为执行数据过滤操作时产生，则将所述待修正数据的异常类型确定为所述文本类型；

若所述待修正数据为执行数据结构化操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型或所述结构类型；

若所述待修正数据为执行数据关联操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型。

其中，所述确定所述待修正数据对应的目标文本，包括：

提取所述待修正数据的指纹序列，并基于所述指纹序列确定待测位码序列；其中，所述指纹序列中每个指纹与所述待测位码序列中每个待测位码之间的海明距离小于预设值；

确定每个所述待测位码对应的文本，并根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本。

其中，所述根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本，包括：

利用第一预设公式确定所述待修正数据对应的目标文本；其中，所述第一预设公式具体为：

其中，

为与B_i相似的待测位码数量，

为B_i的指纹序列中的指纹数量，B_i为第i个文本，i∈[1,2,...m]。

其中，所述生成所述待修正数据对应的词序列，包括：

对所述待修正数据进行分词操作得到候选词序列，并生成所述候选词序列对应的主题序列；

利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词；

将所述候选词序列中每个所述待替换词替换为对应的所述替换词，得到所述待修正数据对应的词序列。

其中，所述利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词，包括：

将所述候选词序列中满足第二预设公式的词确定为所述待替换词；其中，所述第二预设公式具体为：

f_b(w_i,S_i)≤ε；

其中，w_i为所述候选词序列中的第i个词，S_i为所述主题序列中的第i个主题，ε∈(0,1)，f_b(w_i,S_i)为在主题S_i时词w_i出现的条件概率；

基于第三预设公式生成所述待替换词对应的替换词；其中，所述第三预设公式具体为：

w_i＝max(f_a(S_i-1,w_i-1)·f_b(w_i,S_i))；

其中，S_j＝f_b(w_i,S_i)为在词w_i时主题S_i转移至主题S_j的概率。

其中，所述待修正数据包括待修正汽修资料。

为实现上述目的，本申请提供了一种数据修正装置，包括：

获取模块，用于获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；

修正模块，用于利用所述异常类型对应的修正策略对所述待修正数据进行修正。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述数据修正方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据修正方法的步骤。

通过以上方案可知，本申请提供的一种数据修正方法，包括：获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；利用所述异常类型对应的修正策略对所述待修正数据进行修正。

本申请提供的数据修正方法，为不同异常类型设置不同的修正策略，可以对逻辑类型、结构类型和文本类型的异常进行自动修复，不仅在节约人力审核资源时间，提高效率，还可以在数据结构化中缩短数据处理流水线作业时间。本申请还公开了一种数据修正装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的一种数据修正方法的流程图；

图2为确定所述待修正数据对应的目标文本的流程图；

图3为指纹序列的生成示意图；

图4为生成所述待修正数据对应的词序列的流程图；

图5为一种汽修资料处理系统的流程图；

图6为根据一示例性实施例示出的一种数据修正装置的结构图；

图7为根据一示例性实施例示出的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种数据修正方法，提高了数据修正效率。

参见图1，根据一示例性实施例示出的一种数据修正方法的流程图，如图1所示，包括：

S101：获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；

本实施例可以应用于流水线类型的数据处理系统，在具体实施中，首先将所述数据划分为多个文件块，并对其进行编码得到[A₁,A₂,...,A_M]，M为所有数据块的数量。对数据块执行的操作可以包括资料检测、资料修复、数据过滤、数据结构化、数据n关联和数据标准化等。具体的，本步骤中的待修正数据可以具体为待修正汽修资料，数据处理系统可以具体为汽修资料处理系统。

对于逻辑类型的待修正数据，例如当前故障码为P0010，对应的维修引导为网络通信系统维修流程。但是，由于P开头的故障码是发动机系统下的错误，因此该数据为异常数据。如果网络通信系统维修流程已经有别的故障码指向，发动机下某维修流程没有故障码指向，那么P0010需要重新指向发动机下某维修流程。如果发动机下所有的流程都已经都有指向了，且网络通信系统维修流程没有指向，那么P0010可能人为打错，对比已处理过的数据里，该流程通常是C0011这个故障码，因此需要将P0010修复为C0011。结构类型的待修复数据为文本排版错误、知识结构错误等。文本类型的待修复数据为错别字、同音字、乱码、异常字符等错误。

优选的，所述确定所述待修正数据的异常类型，包括：根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型。具体的，若所述待修正数据为执行数据过滤操作时产生，则将所述待修正数据的异常类型确定为所述文本类型；若所述待修正数据为执行数据结构化操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型或所述结构类型；若所述待修正数据为执行数据关联操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型。

在具体实施中，执行数据过滤操作的过程中，对已确定文件类型的文件块进行预处理，去掉一定不需要的内容，提取一定需要的内容，因此此处产生的待修正数据的异常类型为文本类型。执行数据结构化的过程中，将数据块处理为预设的数据结构，此处产生的待修正数据的异常类型为逻辑类型或结构类型。执行数据n关联操作的过程中，对结构化后的数据进行编码，并确定各文件块之间的关联关系，此处产生的待修正数据的异常类型为逻辑类型。

S102：利用所述异常类型对应的修正策略对所述待修正数据进行修正。

在本步骤中，为不同异常类型设置不同的修正策略，可以对逻辑类型、结构类型和文本类型的异常进行自动修复。

具体的，若所述异常类型为所述逻辑类型，则确定所述待修正数据对应的目标文本，并建立所述待修正数据与所述目标文本的对应关系。在具体实施中，由于待修复数据的异常类型为逻辑异常，因此需要确定该数据对应的正常的目标文本，并确定逻辑正常的对应关系，即数据与目标文本的正确的逻辑关系，将该逻辑关系作为入库的数据。

若所述异常类型为所述结构类型，则提取所述待修正数据的字段信息，并将所述字段信息填充至标准数据结构中。在具体实施中，由于待修复数据的异常类型为结构类型，因此利用标准数据结构对该数据进行修复。首先利用实体识别技术提取标准数据结构的字段信息，并将其填充至标准数据结构中，将填充完成的标准数据结构作为入库的数据。

若所述异常类型为所述文本类型，则生成所述待修正数据对应的词序列。在具体实施中，由于待修复数据的异常类型为文本类型，可以提取该数据的词序列作为入库的数据，已完成数据的修复。

可以理解的是，若待修复数据的异常类型为除上述异常类型之外的其他类型，可以人工处理相关问题，并记录问题留底。

本申请实施例提供的数据修正方法，可以对逻辑类型、结构类型和文本类型的异常进行自动修复。对于逻辑错误的数据，需要确定其对应的正常的目标文本，并确定逻辑正常的对应关系，即数据与目标文本的正确的逻辑关系。对于结构错误的数据，按照标准数据结构对其进行修正。对于文本错误的数据，提取该数据的词序列，直接将其作为入库的数据，完成修复。由此可见，本申请实施例提供的数据修正方法，可以自动对各异常类型的数据进行修复，不仅在节约人力审核资源时间，提高效率，还可以在数据结构化中缩短数据处理流水线作业时间。

下面介绍一种具体的修正逻辑异常的方法，具体的，如图2所示，所述确定所述待修正数据对应的目标文本的步骤可以包括：

S21：提取所述待修正数据的指纹序列，并基于所述指纹序列确定待测位码序列；其中，所述指纹序列中每个指纹与所述待测位码序列中每个待测位码之间的海明距离小于预设值；

在本步骤中，如图3所示，首先对待修正数据(即图中的新文本)进行编码，生成由0、1组成的二进制块密文，待修正数据可以分解表达成有序的二进制数据块序列，由于二进制数据块的数量有限，因此可以生成二进制数据块的对照表，记录哪些文本包含哪些二进制数据块，本步骤中的指纹序列{α₁,α₂,...,α_n}记录了该数据中包含了哪些二进制数据块。

根据指纹序列按以下遍历距离生成待测位码序列

其中，simhash(α_i,β_ji)＜d，simhash(α_i,β_ji)为α_i与β_ji之间的海明距离，d∈(1,2^c)，c为上述介绍的二级制数据块的数量。

S22：确定每个所述待测位码对应的文本，并根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本。

在本步骤中，由采用K-V形式或者倒排查找检索相关文档系列{B₁,B₂,...,B_m}。K-V形式的计算实例如下：

其中，key为定长位码，位码个数满足2的幂次方。

根据上述相关文档系列可以确定待修正数据对应的目标文本，优选的，所述根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本的步骤包括：利用第一预设公式确定所述待修正数据对应的目标文本；其中，所述第一预设公式具体为：

其中，

为与B_i相似的待测位码数量，为B_i的指纹序列中的指纹数量，B_i为第i个文本，i∈[1,2,...m]。

下面介绍一种具体的生成词序列的方法，具体的，如图4所示，所述生成所述待修正数据对应的词序列的步骤可以包括：

S41：对所述待修正数据进行分词操作得到候选词序列，并生成所述候选词序列对应的主题序列；

在本步骤中，对待修正数据进行分词操作得到候选词序列{w₁,w₂,...,w_q}，并利用词-主题混合模型生成每个候选词对应的主题组成主题序列{S₁,S₂,...,S_q}。

S42：利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词；

在本步骤中，利用主题序列更新候选词序列。优选的，所述利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词的步骤包括：将所述候选词序列中满足第二预设公式的词确定为所述待替换词；基于第三预设公式生成所述待替换词对应的替换词；

其中，所述第二预设公式具体为：

f_b(w_i,S_i)≤ε；

其中，w_i为所述候选词序列中的第i个词，S_i为所述主题序列中的第i个主题，ε∈(0,1)，f_b(w_i,S_i)为在主题S_i时词w_i出现的条件概率；

所述第三预设公式具体为：

w_i＝max(f_a(S_i-1,w_i-1)·f_b(w_i,S_i))；

其中，S_j＝f_b(w_i,S_i)为在词w_i时主题S_i转移至主题S_j的概率。

上述f_a()和f_b(_i)为基本的条件概率函数，其中的参数可以根据实际情况训练得到。

S43：将所述候选词序列中每个所述待替换词替换为对应的所述替换词，得到所述待修正数据对应的词序列。

下面介绍本申请的一种应用实施例，对待修正汽修资料进行处理，首先将数据划分为多个文件块，并对其进行编码得到[A₁,A₂,...,A_M]，M为所有数据块的数量。汽修资料处理系统对数据块执行的操作如图5所示，可以包括资料检测、资料修复、数据过滤、数据结构化、数据n关联和数据标准化等。根据待修正汽修资料产生的系统流位置确定待修正数据的异常类型。具体的，若待修正汽修资料为执行数据过滤操作时产生，则异常类型为文本类型；若汽修资料为执行数据结构化操作时产生，则异常类型为逻辑类型或结构类型；若汽修资料为执行数据关联操作时产生，则异常类型为逻辑类型。

对于逻辑类型，首先对待修正汽修资料进行编码，生成由0、1组成的二进制块密文，进而得到待修正汽修资料是指纹序列{α₁,α₂,...,α_n}，根据指纹序列按以下遍历距离生成待测位码序列其中，sim has(hα_i,β_ji)＜，d simhash(α_i,β_ji)为α_i与β_ji之间的海明距离，d∈(1,2^c)，c为二级制数据块的数量。由

采用K-V形式或者倒排查找检索相关文档系列{B₁,B₂,...,B_m}。利用下述公式确定待修正汽修资料对应的目标文本；

其中，

为与B_i相似的待测位码数量，

为B_i的指纹序列中的指纹数量，B_i为第i个文本，i∈[1,2,...m]。

对于结构类型，首先利用实体识别技术提取标准数据结构的字段信息，并将其填充至标准数据结构中，将填充完成的标准数据结构作为入库的数据。

对于文本类型，对待修正汽修资料进行分词操作得到候选词序列{w₁,w₂,...,w_q}，并利用词-主题混合模型生成每个候选词对应的主题组成主题序列{S₁,S₂,...,S_q}。将候选词序列中满足f_b(w_i,S_i)≤ε的词确定为待替换词，其中，w_i为候选词序列中的第i个词，S_i为主题序列中的第i个主题，ε∈(0,1)，f_b(w_i,S_i)为在主题S_i时词w_i出现的条件概率。基于w_i＝max(f_a(S_i-1,w_i-1)·f_b(w_i,S_i))生成待替换词对应的替换词，其中，S_j＝f_b(w_i,S_i)为在词w_i时主题S_i转移至主题S_j的概率。将候选词序列中每个待替换词替换为对应的替换词，得到待修正汽修资料对应的词序列。

下面对本申请实施例提供的一种数据修正装置进行介绍，下文描述的一种数据修正装置与上文描述的一种数据修正方法可以相互参照。

参见图6，根据一示例性实施例示出的一种数据修正装置的结构图，如图6所示，包括：

获取模块601，用于获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；

修正模块602，用于利用所述异常类型对应的修正策略对所述待修正数据进行修正。

本申请实施例提供的数据修正装置，为不同异常类型设置不同的修正策略，可以对逻辑类型、结构类型和文本类型的异常进行自动修复，不仅在节约人力审核资源时间，提高效率，还可以在数据结构化中缩短数据处理流水线作业时间。

在上述实施例的基础上，作为一种优选实施方式，所述修正模块602包括：

建立单元，用于若所述异常类型为所述逻辑类型，则确定所述待修正数据对应的目标文本，并建立所述待修正数据与所述目标文本的对应关系；

提取单元，用于若所述异常类型为所述结构类型，则提取所述待修正数据的字段信息，并将所述字段信息填充至标准数据结构中；

生成单元，用于若所述异常类型为所述文本类型，则生成所述待修正数据对应的词序列。

在上述实施例的基础上，作为一种优选实施方式，所述获取模块601包括：

获取单元，用于获取待修正数据；

第一确定单元，用于根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型。

在上述实施例的基础上，作为一种优选实施方式，所述第一确定单元包括：

第一确定子单元，用于若所述待修正数据为执行数据过滤操作时产生，则将所述待修正数据的异常类型确定为所述文本类型；

第二确定子单元，用于若所述待修正数据为执行数据结构化操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型或所述结构类型；

第三确定子单元，用于若所述待修正数据为执行数据关联操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型。

在上述实施例的基础上，作为一种优选实施方式，所述建立单元包括：

提取子单元，用于提取所述待修正数据的指纹序列，并基于所述指纹序列确定待测位码序列；其中，所述指纹序列中每个指纹与所述待测位码序列中每个待测位码之间的海明距离小于预设值；

第四确定子单元，用于确定每个所述待测位码对应的文本，并根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本；

建立子单元，用于建立所述待修正数据与所述目标文本的对应关系。

在上述实施例的基础上，作为一种优选实施方式，所述第四确定子单元具体为确定每个所述待测位码对应的文本，并利用第一预设公式确定所述待修正数据对应的目标文本的子单元；其中，所述第一预设公式具体为：

其中，为与B_i相似的待测位码数量，

为B_i的指纹序列中的指纹数量，B_i为第i个文本，i∈[1,2,...m]。

在上述实施例的基础上，作为一种优选实施方式，所述生成单元包括：

分词子单元，用于对所述待修正数据进行分词操作得到候选词序列，并生成所述候选词序列对应的主题序列；

第五确定子单元，用于利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词；

替换子单元，用于将所述候选词序列中每个所述待替换词替换为对应的所述替换词，得到所述待修正数据对应的词序列。

在上述实施例的基础上，作为一种优选实施方式，所述第五确定子单元具体为将所述候选词序列中满足第二预设公式的词确定为所述待替换词，基于第三预设公式生成所述待替换词对应的替换词的子单元；

其中，所述第二预设公式具体为：

f_b(w_i,S_i)≤ε；

其中，w_i为所述候选词序列中的第i个词，S_i为所述主题序列中的第i个主题，ε∈(0,1)，f_b(w_i,S_i)为在主题S_i时词w_i出现的条件概率；

其中，所述第三预设公式具体为：

w_i＝max(f_a(S_i-1,w_i-1)·f_b(w_i,S_i))；

其中，S_j＝f_b(w_i,S_i)为在词w_i时主题S_i转移至主题S_j的概率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种电子设备，参见图7，本申请实施例提供的一种电子设备700的结构图，如图7所示，可以包括处理器11和存储器12。该电子设备700还可以包括多媒体组件13，输入/输出(I/O)接口14，以及通信组件15中的一者或多者。

其中，处理器11用于控制该电子设备700的整体操作，以完成上述的数据修正方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据修正方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述数据修正方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备700的处理器11执行以完成上述的数据修正方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据修正方法，其特征在于，包括：

获取待修正数据，并确定所述待修正数据的异常类型；其中，所述异常类型包括逻辑类型、结构类型和文本类型；

利用所述异常类型对应的修正策略对所述待修正数据进行修正。

2.根据权利要求1所述数据修正方法，其特征在于，所述利用所述异常类型对应的修正策略对所述待修正数据进行修正，包括：

若所述异常类型为所述逻辑类型，则确定所述待修正数据对应的目标文本，并建立所述待修正数据与所述目标文本的对应关系；

若所述异常类型为所述结构类型，则提取所述待修正数据的字段信息，并将所述字段信息填充至标准数据结构中；

若所述异常类型为所述文本类型，则生成所述待修正数据对应的词序列。

3.根据权利要求1所述数据修正方法，其特征在于，所述确定所述待修正数据的异常类型，包括：

根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型。

4.根据权利要求3所述数据修正方法，其特征在于，所述根据所述待修正数据产生的系统流位置确定所述待修正数据的异常类型，包括：

若所述待修正数据为执行数据过滤操作时产生，则将所述待修正数据的异常类型确定为所述文本类型；

若所述待修正数据为执行数据结构化操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型或所述结构类型；

若所述待修正数据为执行数据关联操作时产生，则将所述待修正数据的异常类型确定为所述逻辑类型。

5.根据权利要求2所述数据修正方法，其特征在于，所述确定所述待修正数据对应的目标文本，包括：

提取所述待修正数据的指纹序列，并基于所述指纹序列确定待测位码序列；其中，所述指纹序列中每个指纹与所述待测位码序列中每个待测位码之间的海明距离小于预设值；

确定每个所述待测位码对应的文本，并根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本。

6.根据权利要求5所述数据修正方法，其特征在于，所述根据每个所述文本的指纹序列确定所述待修正数据对应的目标文本，包括：

利用第一预设公式确定所述待修正数据对应的目标文本；其中，所述第一预设公式具体为：

其中，为与B_i相似的待测位码数量，

为B_i的指纹序列中的指纹数量，B_i为第i个文本，i∈[1,2,...m]。

7.根据权利要求2所述数据修正方法，其特征在于，所述生成所述待修正数据对应的词序列，包括：

对所述待修正数据进行分词操作得到候选词序列，并生成所述候选词序列对应的主题序列；

利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词；

将所述候选词序列中每个所述待替换词替换为对应的所述替换词，得到所述待修正数据对应的词序列。

8.根据权利要求7所述数据修正方法，其特征在于，所述利用所述主题序列在所述候选词序列中确定待替换词和每个所述待替换词对应的替换词，包括：

将所述候选词序列中满足第二预设公式的词确定为所述待替换词；其中，所述第二预设公式具体为：

f_b(w_i,S_i)≤ε；

其中，w_i为所述候选词序列中的第i个词，S_i为所述主题序列中的第i个主题，ε∈(0,1)，f_b(w_i,S_i)为在主题S_i时词w_i出现的条件概率；

基于第三预设公式生成所述待替换词对应的替换词；其中，所述第三预设公式具体为：

w_i＝max(f_a(S_i-1,w_i-1)·f_b(w_i,S_i))；

其中，S_j＝f_b(w_i,S_i)为在词w_i时主题S_i转移至主题S_j的概率。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述数据修正方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据修正方法的步骤。

Images