CN114416986A - 一种文本数据清洗方法、装置及存储介质 - Google Patents

Abstract

本公开实施例中提供了一种文本数据清洗方法、电子设备及存储介质，先对每个类目自身的数据进行自去重，然后每两个类目之间进行比较，找出标注混淆的数据并进行归纳。采用本公开实施例的方法，能够使所有类目的文本数据都趋近于均衡，提高数据分析样本均衡性。

Description

一种文本数据清洗方法、装置及存储介质

技术领域

本公开涉及机器学习技术领域，尤其涉及一种文本数据清洗方法、装置及存储介质。

背景技术

文本分类是自然语言处理中常见的任务之一，文本分类一般包括：情感分类、新闻主题分类、垃圾邮件分类和问句分类等问题。文本分类一般可以用传统机器学习方法，也可以用深度学习方法。无论是传统方法和还是深度学习方法，都需要有标注的文本数据作为训练集和测试集，进行建模和测试。在算法领域，数据的质量往往决定了算法能力的上限，而模型的好坏是让算法能力趋近于这个上限。

文本数据的质量一般包括：标注准确性和分布均衡性两个方面。其中，标注准确性由人工掌握，分布均衡性受应用场景限制，这两方面都具有较大的不确定因素。当拿到一份标注数据时，通常可以按照一定比例划分为训练集和测试集，然后直接用现有的机器学习方法对训练集进行建模，在测试集上进行验证。通过对数据本身和建模方法及相关参数的调优，提高算法能力。

标注准确性是由人掌控的，一份数据可以是由多个人，按照相同的判定规则协同完成标注，当然有些也是可以借助系统辅助标注+人工复核的形式完成。由于每个人的对于标准的理解有所不同，因此最终产出的标注结果也会大同小异。

分布均衡性受应用场景限制，在一些场景中，文本分类可能包含多级类目，1个大类里面包含多个小类，每个小类下面还可以再细分为若干个极小类，一般大类可能5～10类，每个类细分为3～5个小类，多级细分后，平铺展开，则可能达到上百个小类。一组包含10万条文本的数据集，按照多级细分平铺展开，有单个小类目可能包含1万条数据，而有些类目则只有几条数据，这与数据来源的场景有关。基于目前的机器学习方法，在样本不均衡的条件下，对数据量多的类目，模型拟合效果较好，而对于数据量少的类目则较差。通过分析可以发现，数据量多的类目数据可能包含许多重复或者相似的数据；类目与类目之间，也存在许多相同相似的数据，也即标注混淆的数据。

鉴于此，有必要在数据分析之前对数据进行清洗处理以提高数据的精准性。

发明内容

有鉴于此，本公开实施例提供一种文本数据清洗方法，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种文本数据清洗方法，所述文本数据清洗方法包括：

对待分析的文本数据进行分类；

按照第一预设规则对相同类目下的文本数据进行清洗处理；

在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理；

检测所有文本数据是否均已完成数据清洗处理；

若检测所有文本数据均已完成数据清洗，则反馈清洗处理后的文本数据。

根据本公开实施例的一种具体实现方式，所述按照第一预设规则对相同类目下的文本数据进行清洗处理的步骤，包括：

计算得到所有类目下的文本的句向量；

从所有类目下的句向量中获取基准句向量并将所述基准句向量导入至预设数组；

将所述基准句向量与所述基准句向量所在类目的其他句向量进行比较；

判断其他句向量与所述基准句向量之间的相似度是否大于阈值；

若相似度小于阈值，则将该句向量作为新增的基准句向量导入预设数组。

根据本公开实施例的一种具体实现方式，所述在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理的步骤，包括：

在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量；

获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度超过阈值的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过阈值的占比值；

若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值小于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则删除所述句向量A；若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值大于或者等于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则保留所述句向量A。

根据本公开实施例的一种具体实现方式，所述在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量的步骤之后，还包括：

将每个类目的所有句向量合并并对所有句向量创建faiss索引；

其中，获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度超过阈值的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过阈值的占比值的步骤，包括：

获取其中一个类目下的句向量A，通过faiss查询最临近N组句向量；

查询该N组句向量中其他句向量与所述句向量A的相似度的占比值以及该N组句向量中句向量A所在类目下的其他句向量与所述句向量A的相似度超过预设值的占比值。

根据本公开实施例的一种具体实现方式，所述对待分析的文本数据进行分类的步骤之前，还包括：

判断所述待分析的文本数据的数据量是否满足要求；

若所述待分析的文本数据的数据量不满足要求，则对所述待分析的文本数据进行数据增强处理。

根据本公开实施例的一种具体实现方式，所述对所述待分析的文本数据进行数据增强处理的步骤之后，还包括：

获取经过增强处理后新增的文本数据；

从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的文本数据。

根据本公开实施例的一种具体实现方式，所述从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的文本数据的步骤，包括

计算新增的文本数据的句向量；

根据新增的文本数据的句向量计算新增的文本数据与原始文本数据的余弦相似度CosSim；

筛选余弦相似度CosSim超过阈值的新增的文本数据作为达到预设标准的文本数据。

根据本公开实施例的一种具体实现方式，所述对待分析的文本数据进行增强处理的方法为通过回译的方法对文本数据进行增强处理。

第二方面，本公开实施例提供了一种文本数据清洗装置，包括：

分类模块，用于对待分析的文本数据进行分类；

自清洗模块，用于按照第一预设规则对相同类目下的文本数据进行清洗处理；

交叉清洗模块，用于在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理；

检测模块，用于检测所有文本数据是否均已完成数据清洗处理；

反馈模块，用于若检测已完成所有文本数据的清洗，则反馈清洗处理后的文本数据。

第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的文本数据清洗方法。

第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的文本数据清洗方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的文本数据清洗方法。

本公开实施例中的文本数据清洗方法，先对每个类目自身的数据进行自去重，然后每两个类目之间进行比较，找出标注混淆的数据并进行归纳。采用本公开实施例的方法，能够使所有类目的文本数据都趋近于均衡，提高数据分析样本均衡性。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种文本数据清洗方法流程示意图；

图2为本公开实施例提供的另一种文本数据清洗方法流程示意图；

图3为本公开实施例提供的另一种文本数据清洗方法流程示意图；

图4为本公开实施例提供的另一种文本数据清洗方法流程示意图；

图5为本公开实施例提供的电子设备示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种文本数据清洗方法。本实施例提供的消息发送方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。

参见图1，本公开实施例提供的一种文本数据清洗方法，所述文本数据清洗方法包括：

步骤S100，对待分析的文本数据进行分类；

文本分类是自然语言处理中常见的任务之一，文本分类一般包括：情感分类、新闻主题分类、垃圾邮件分类和问句分类等问题。文本分类一般可以用传统机器学习方法如：逻辑回归、SVM、朴素贝叶斯等实现，也可以用深度学习方法如fasttext、CNN、LSTM和微调bert等方法实现。

无论是传统方法和还是深度学习方法，都需要有标注的文本数据作为训练集和测试集，进行建模和测试。在算法领域，往往数据的质量决定了算法能力的上限，而模型的好坏是让算法能力趋近于这个上限。

本公开实施例选用深度学习方法中的微调bert进行文本分类。

步骤S200，按照第一预设规则对相同类目下的文本数据进行清洗处理；

本实施例中，对于进行分类后的文本数据进行清洗处理。清洗的过程主要分为两步，首先对同一类别的文本数据进行自清洗，再同一类别的文本数据清洗完成后再对不同类别的文本数据进行交叉清洗。

具体地，在文本分类任务中，可能还需要用句向量表达一个句子，句向量可以通过句子中所有词的词向量的平均计算得到。在文本处理方法中，常见方法是对文本进行分词，取得每个分词的词向量，然后再输入到模型中进行训练，实现各类下游任务。文本分词有开源的算法如HanLP、jieba、LTP等等，词向量的计算和生成也包括TF-IDF、word2vec、embedding层和ELMO等方式。当然句向量也可以通过一些模型如LSTM或bert学习得到。

如果两个句子表达相似的含义，其句向量也是相似的。计算句向量相似度的方法包括欧式距离、余弦距离等方法。

本公开实施例中采用bert模型学习得到句向量，并通过余弦距离求句向量相似度。通过余弦距离得到句向量的相似度在对各条文本进行比较，相似度超过阈值的则判定为两个文本重复，阈值可以根据经验值设置。

步骤S300，在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理；

在完成相同类目下的文本数据的数据清洗后，在对不同类目的文本数据进行二次清洗。虽然本公开实施例是基于文本分类是基本可靠，基本准备的前提下进行，但是不同分类下的文本也可能出现相同的文本。此外，也有可能出现文本分类出现偏差的问题。因此，即便在对相同类别下的文本数据进行自清洗，也不能保证不同类目下的文本数据没有重复的数据。因此，在对相同类目下的文本数据进行自清洗去重操作后，进一步对不同类目下的文本数据进行交叉清洗去重处理。同样地，不同类目下的文本数据的清洗方法也是采用句向量相似度的方式进行去重处理。

步骤S400，检测所有文本数据是否均已完成数据清洗处理；

步骤S500，若检测所有文本数据均已完成数据清洗，则反馈清洗处理后的文本数据。

最后检测所有文本数据是否均已经完成数据清洗处理，如果所有文本数据都已经完成数据清洗，则反馈最后清洗处理完成后的文本数据。

本文提出的数据清洗方法，先对每个类目自身的数据进行去重，然后每两个类目之间进行比较，找出标注混淆的数据并进行归纳。采用本公开实施例的方法，能够使所有类目的文本数据都趋近于均衡，提高数据分析样本均衡性。

进一步地，参见图2，在本公开的第二实施例中，所述按照第一预设规则对相同类目下的文本数据进行清洗处理的步骤，包括：

步骤S210，计算得到所有类目下的文本的句向量；

步骤S220，从所有类目下的句向量中获取基准句向量并将所述基准句向量导入至预设数组；

步骤S230，将所述基准句向量与所述基准句向量所在类目的其他句向量进行比较；

步骤S240，判断其他句向量与基准句向量之间的相似度是否大于阈值；

步骤S250，若相似度小于阈值，则将该句向量作为新增的基准句向量导入预设数组。

本公开实施例中，采用文本数据的句向量之间的相似度情况来进行数据的清洗处理。具体地，先计算得到所有类目下的文本的句向量，本公开实施例通过bert模型计算得到所有类目下的文本的句向量。可以理解的是，不同类目下的文本的句向量存储在不同存储模块中，在后续的比较中，是分别对每一个类目进行自清洗。所以在处理的过程中，先计算得到所有类目的文本的句向量，但是在进行清洗处理的过程中是先对其中一个类目进行处理，所以会对这些所有的句向量按照其本身的文本类别而进行区分。

以C类目文本为例进行说明，获取C类目下所有文本的句向量，随机选取一条句向量放到一个空数组中，将此句向量作为基础句向量，并将此数组作为存放基础句向量的数据库。将C类目下剩下的句向量与第一次随机选取的句向量进行比较，比较其他句向量与基准句向量之间的相似度是否超过阈值，如果超过阈值，则表明该句向量与基准句向量是重复的，因为空数组中已经存放一条相同的句向量，则对于对比到与基准句向量重复的句向量时，则不在将该重复句向量添加到空数组中。如果其他句向量与基准句向量之间的相似度没有超过阈值，则表明两个句向量之间未重复，此时将该其他句向量也加入到空数组中。然后再从C类目下的其他剩余句向量中去与数组中的加入的基础句向量进行比较，不断的重复比对，只要是相似度超过阈值的，则不加入到数组中，相似度未超过阈值的，则加入到数组中。重复上述的操作，直到检测到所有的句向量都已经对比完成，则反馈最终数组中保留的句向量作为最终的数据。

同上述的操作一样，对其他类目下的文本也进行清洗处理，直到完成所有类目的清洗处理。至此可以认为单个类目下的数据基本没有重复的文本数据。

当然，在本实施例中是采用的类似加法原则的处理方法对文本数据进行清洗处理，即不断往空数组中加入相似度未超过阈值的句向量，直到最后比较完毕。在其他实施例中，也可以采取减法原则的处理方法对文本数据进行清洗处理。即将全部的句向量作为比较的基础，随机抽取一条句向量与所有的句向量比较，如果相似度超过阈值，则删除。否则则保留，并标记为已对比。然后再所有的句向量中继续抽取其他句向量进行比较，如果相似度超过阈值，则删除，否则则保留。如此循环操作，直到完成所有句向量的比对，将最终剩余的句向量作为最终C类目的文本句向量。但是这类比对方法比本实施例的加法原则的比对方法更繁琐。

通过本实施例的方法，简化了同种类目下的文本数据的清洗流程，提高了清洗效率。

进一步地，参见图3，在本公开的第三实施例中，所述在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理的步骤，包括：

步骤S310，在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量；

步骤S320，获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过预设值的占比值；

步骤S330，若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值小于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则删除所述句向量A；若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值大于或者等于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则保留所述句向量A。

本公开实施例公开了在完成相同类目下的文本数据的数据清洗后，在对不同类目之间的文本数据进行交叉去重的方法。具体地，在完成相同类目的文本数据自去重之后，进一步获取剩余的每个类目的所有句向量。挑选其中一个类目中的句向量A，设定该类目为An，则获取类目An中句向量A，查询其他所有类目中的其他句向量与此句向量A的相似度超过阈值的占比值，即假设An中总共有X条句向量，与句向量A相似度超过阈值的句向量有Y条，则其他所有类目中的其他句向量与此句向量A的相似度超过阈值的占比值为Y/X。

若句向量A在其所在类目下的相似度超过阈值的占比值小于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则删除所述句向量A；若句向量A在其所在类目下的相似度超过阈值的占比值大于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则保留所述句向量A，并检测是否完成所有向量的检测。

进一步地，所述在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量的步骤之后，还包括：

将每个类目的所有句向量合并并对所有句向量创建faiss索引；

其中，获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过预设值的占比值的步骤，包括：

获取其中一个类目下的句向量A，通过faiss查询最临近N组句向量；

查询该N组句向量中其他句向量与所述句向量A的相似度的占比值以及该N组句向量中句向量A所在类目下的其他句向量与所述句向量A的相似度超过预设值的占比值。

生成faiss索引的目的是为了提高查询相似向量的效率。单纯从功能上，不生成faiss也可以完成后面的流程。实际上，在前述的同类目下的“自去重”过程中，也可以基于faiss做另一种实现方式。

本实施例以两个类目之间做交叉去重为例进行说明，由于数据标注包含主观成分，An类目中的数据可能参杂了少量Bn类目的数据，Bn类目数据也可能参杂少量An类目的数据。从最简单做法思考，当从An类目取得一条数据，发现它与Bn类目的一条数据相似，算法并不能直接判定应当从An还是从Bn中删除该数据。

因此在本实施例中假设，An类目中的数据有大部分应是属于An类，Bn类目的数据也有大部分应是属于Bn类。如果从An中随机抽取1条数据，然后用它和AnBn中所有向量进行比较，最终发现An中有更多数据与它相似，即“最临近向量id占比An类＞Bn类”，则有理由相信该条数据确实属于An类；相反地，若Bn中出现更多相似，可以怀疑该条数据是An类目中那部分少数的Bn数据参杂品，应当予以删除。当然，在其他实施例中也可以把这条数据重新归纳到Bn类目中。本方法设计的基本思想，就是假设一个类目中大部分数据在主观上是分类正确的。

经过上述两个过程的数据清洗，数据量多且重复的类目会被一定程度的削减，当然数据量少的类目也可能有所削减，但整体上数据量多的类目削减的程度会比数据量少的类目削减的幅度大许多，因此数据不均衡的问题可以得到一定程度的缓解。

进一步地，参见图4，在本公开的第四实施例中，所述对待分析的文本数据进行分类的步骤之前，还包括：

步骤410，判断所述待分析的文本数据的数据量是否满足要求；

步骤420，若所述待分析的文本数据的数据量不满足要求，则对所述待分析的文本数据进行数据增强处理。

通过文本增强方法，对数据量少的类目进行数据扩充，以进一步使数据均衡。常见的文本增强方法，包括有对原句的随机插入近义词、随机替换同义词、随机删除非关键词，以及使用“回译”的方式实现。

“回译”方法是通过翻译工具或者翻译模型将原文本先翻译成另一种中间语言，如英语、日语、法语等，然后再回译成中文。通常经过“回译”的文本与原句之间有所差异，但是又保留了原句的基本含义，因此可以视为一种文本增强的方法。本实施例中采用“回译”的方式实现文本数据量少的文本数据的增强。

其中，所述对所述待分析的文本数据进行数据增强处理的步骤之后，还包括：

获取经过增强处理后新增的文本数据；

从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的数据。

本文提出的增强方法使用了“回译”。“回译”方法可以对1条文本数据产生多条“回译”，假设使用3种翻译工具，5种中间语言，理论可以产生3*3*5＝45条“回译”。这45条“回译”可能产生两句完全一样的输出，也可能产生脱离原义的句子，这与翻译工具自身的精准度有关。用户总是希望产出的“回译”句子在文字组织上尽量与原句有所差异，也希望它仍能够很好的保持原句的含义。因此，需要对“回译”的质量进行评估。

“回译”句子在文字组织上与原句的差异，可以用最小编辑距离来描述。最小编辑距离：是指两段文本之间，由一个转成另一个所需的最少编辑操作次数。编辑距离为0，则表示两段文本完全一致。设两个句子的最小编辑距离为MinDis(A,B)，“回译”与原句的MinDis应该尽量大。

另一方面，“回译”句子要尽量保持原句含义。在上述的文本清洗中，对所有原句计算了bert句向量，现在进一步对所有原句的45条“回译”句子再次计算bert句向量，然后与原句向量计算余弦相似度，设为CosSim(A,B)，“回译”与原句的CosSim也应该尽量大。一般而言，MinDis较大，则CosSim会较小，二者一定程度上负相关。因此需要折中。设“回译”质量Quality＝MinDis*CosSim，则可按Quality降序排序，在前列的即为质量较高的“回译”。考虑到翻译工具本身可能存在的缺陷，可能产生脱离原义的“回译”。在质量较高的“回译”中，要求CosSim>阈值才定为可接受的“回译”。

如果给定要求一个类别至少包含500条数据，对于一个具有100条文本数据的类目，那么该类每条文本需要产生5条“回译”，即从质量较高的“回译”中，每次选取前5条。因此，对于数量少的类别，可以通过设定最低数量，按比例进行文本增强，达到均衡。

当然在其他实施例中，所述的从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的文本数据的方法还可以包括：

直接筛选选用较为常用的语言翻译的文本数据作为符合标准的数据，例如采用英文、日语、韩语这类使用语言翻译的文本数据作为符合标准的文本数据。在其他实施例中也还可以采用其他方法进行筛选，如前述提到的采用欧式距离来计算两个句向量的相似度的方，等等。

与上面的方法实施例相对应，本公开实施例还提供了一种文本数据清洗装置，包括：

分类模块，用于对待分析的文本数据进行分类；

自清洗模块，用于按照第一预设规则对相同类目下的文本数据进行清洗处理；

交叉清洗模块，用于在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理；

检测模块，用于检测所有文本数据是否均已完成数据清洗处理；

反馈模块，用于若检测已完成所有文本数据的清洗，则反馈清洗处理后的文本数据。

本实施例的装置可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。

参见图5，本公开实施例还提供了一种电子设备，该电子设备包括：

至少一个处理器；以及，

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的文本数据清洗方法。

本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中的文本数据清洗方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的的文本数据清洗方法。

下面参考图5，其示出了适于用来实现本公开实施例的电子设备50的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备50可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备50操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备50与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备50，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种文本数据清洗方法，其特征在于，所述文本数据清洗方法包括：

对待分析的文本数据进行分类；

按照第一预设规则对相同类目下的文本数据进行清洗处理；

在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理；

检测所有文本数据是否均已完成数据清洗处理；

若检测所有文本数据均已完成数据清洗，则反馈清洗处理后的文本数据。

2.根据权利要求1所述的文本数据清洗方法，其特征在于，所述按照第一预设规则对相同类目下的文本数据进行清洗处理的步骤，包括：

计算得到所有类目下的文本的句向量；

从所有类目下的句向量中获取基准句向量并将所述基准句向量导入至预设数组；

将所述基准句向量与所述基准句向量所在类目的其他句向量进行比较；

判断其他句向量与所述基准句向量之间的相似度是否大于阈值；

若相似度小于阈值，则将该句向量作为新增的基准句向量导入预设数组。

3.根据权利要求1所述的文本数据清洗方法，其特征在于，所述在完成相同类目下的文本数据的数据清洗后对不同类目之间的文本数据按照第二预设规则进行数据清洗处理的步骤，包括：

在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量；

获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度超过阈值的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过阈值的占比值；

若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值小于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则删除所述句向量A；若句向量A在其所在类目下与其他句向量的相似度超过阈值的占比值大于或者等于其他类目中其他句向量与所述句向量A的相似度超过阈值的占比值，则保留所述句向量A。

4.根据权利要求3所述的文本数据清洗方法，其特征在于，所述在完成相同类目下的文本数据的数据清洗后，获取每个类目的所有句向量的步骤之后，还包括：

将每个类目的所有句向量合并并对所有句向量创建faiss索引；

其中，获取其中一个类目下的句向量A，并查询所有类目中其他句向量与所述句向量A的相似度超过阈值的占比值以及句向量A所在类目下的其他句向量与所述句向量A的相似度超过阈值的占比值的步骤，包括：

获取其中一个类目下的句向量A，通过faiss查询最临近N组句向量；

查询该N组句向量中其他句向量与所述句向量A的相似度的占比值以及该N组句向量中句向量A所在类目下的其他句向量与所述句向量A的相似度超过预设值的占比值。

5.根据权利要求1所述的文本数据清洗方法，其特征在于，所述对待分析的文本数据进行分类的步骤之前，还包括：

判断所述待分析的文本数据的数据量是否满足要求；

若所述待分析的文本数据的数据量不满足要求，则对所述待分析的文本数据进行数据增强处理。

6.根据权利要求5所述的文本数据清洗方法，其特征在于，所述对所述待分析的文本数据进行数据增强处理的步骤之后，还包括：

获取经过增强处理后新增的文本数据；

从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的文本数据。

7.根据权利要求6所述的文本数据清洗方法，其特征在于，所述从新增的文本数据中按照预设的处理规则筛选出质量达到预设标准的文本数据的步骤，包括

计算新增的文本数据的句向量；

根据新增的文本数据的句向量计算新增的文本数据与原始文本数据的余弦相似度CosSim；

筛选余弦相似度CosSim超过阈值的新增的文本数据作为达到预设标准的文本数据。

8.根据权利要求5所述的文本数据清洗方法，其特征在于，所述对待分析的文本数据进行增强处理的方法为通过回译的方法对文本数据进行增强处理。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-8中任一项所述的文本数据清洗方法。

10.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-8中任一项所述的文本数据清洗方法。

Images