CN111563377A - 数据增强方法与装置 - Google Patents

Abstract

本公开提供一种数据增强方法与装置。数据增强方法包括：对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；根据所述特征值和所述词汇对所述训练语句进行噪声处理；将噪声处理后的训练语句与原有训练语句合并为新训练语句集。本公开提供的数据增强方法可以在弥补模型训练数据不足的同时提高新生成的训练数据的准确度。

Description

数据增强方法与装置

技术领域

本公开涉及机器学习技术领域，具体而言，涉及一种数据增强方法与装置。

背景技术

深度学习神经网络模型的训练效果很大程度依赖于训练数据，大量的特征多样的数据能得到更好的训练效果。而现实中，大量的数据往往不易获得，需要大量的人工标注，消耗财力物力人力。数据增强是解决训练数据不丰富的一个有效手段。数据增强指的是对有限训练数据通过某种变换操作，从而生产新数据的过程。通过数据增强可以得到更丰富的训练数据，从而提高模型效果。

客服机器人是数据增强的一个新的应用领域。随着咨询量的增加，对顾客输入的语句进行情绪判断可以提高客服机器人应对咨询的准确性，因此，需要使用大量的训练数据训练客服机器人识别语句表达的情绪，为了弥补训练数据的不足，需要对部分训练语句进行数据增强。噪声处理是一种常用的数据增强手段，即通过对原有训练数据中的元素进行随机替换而获得新的训练数据。在语义识别领域的数据增强过程中，往往根据英语习惯将文本中的单个汉字进行随机的噪声替换，以产生新的文本训练数据。但是在汉语中，单个字往往不能正确表达情感倾向，若是以汉字为单位进行噪声随机替换，会破坏原本文本中以该汉字为基础构成词的释义。在情感分类中，考虑到某些词对情感的指向性程度尤其明显，例如“滚蛋”、“谢谢”等词，能十分明显的表现为生气或开心的情绪，若将该类词进行噪声处理，将会影响对文本情感的分析判断。

因此，需要一种能够适用于客服机器人识别语义情感的训练数据增强方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据增强方法与数据增强装置，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的在数据增强过程中使用文字随机替换破坏原训练数据语义的问题。

根据本公开实施例的第一方面，提供一种数据增强方法，包括：对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；根据所述特征值和所述词汇对所述训练语句进行噪声处理；将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

在本公开的一种示例性实施例中，所述根据所述特征值和所述词汇对所述训练语句进行噪声处理包括：

计算每个所述词汇的词频total、后接词的种类数distinct；

将所述特征值大于第一预设值或者所述词频小于第二预设值的词汇的被替换概率P1设置为0；

将所述词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

将词频在所述第二预设值和所述第三预设值之间且特征值小于等于所述第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换。

在本公开的一种示例性实施例中，所述对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换包括：

将每个所述词汇在全部所述训练语句中的出现概率作为该词汇的参与替换概率；

按所述参与替换概率选择替换用词，按照所述被替换概率在多个相同词汇中选择被替换词；

使用所述替换用词替换所述被替换词。

在本公开的一种示例性实施例中，所述对多个带有种类标识的训练语句进行分词包括：

确定每个所述种类标识对应的训练语句的数量；

对数量符合预设条件的种类标识对应的训练语句进行分词。

在本公开的一种示例性实施例中，所述对数量符合预设条件的种类标识对应的训练语句进行分词包括：

根据种类标识对应的训练语句的数量与全部训练语句数量的比值确定n个种类标识对应的n个数量占比；

在所述n个数量占比的标准差大于第四预设值时，将大于第五预设值且小于第六预设值的数量占比对应的种类标识作为待增强种类标识；

在所述n个数量占比的标准差小于等于第四预设值时，将对应的训练语句的数量小于第七预设值的种类标识作为待增强种类标识；

对所述待增强种类标识对应的训练语句进行分词。

在本公开的一种示例性实施例中，所述种类标识包括情绪标识。

在本公开的一种示例性实施例中，还包括：

在对每个词汇标识所述训练语句对应的种类标识的同时计算并记录每个所述词汇的词向量：

根据所述新训练语句集中的训练语句的词向量对预设模型进行训练。

根据本公开实施例的第二方面，提供一种数据增强装置，包括：

分词模块，设置为对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

卡方检验模块，设置为对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

噪声处理模块，设置为根据所述特征值和所述词汇对所述训练语句进行噪声处理；

合集模块，设置为将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的数据增强方法。

本公开实施例提供的数据增强方法通过使用卡方检验对分词结果进行处理，确定与种类标识关联性较大的限定词汇，并在后续扩充训练样本时避免了对限定词汇的替换，可以有效保留对种类标识影响大的限定词，避免数据增强过程中替换掉关键词汇而导致新产生的训练数据不能正确表达原训练数据的语义。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开示例性实施例中数据增强方法的流程图。

图2是步骤S3的一个子流程图。

图3是步骤S35的一个子流程图。

图4是对训练语句进行挑选的流程图。

图5是本公开实施例中挑选进行数据增强的种类标识的流程图。

图6是本公开示例性实施例中一种数据增强装置的方框图。

图7是本公开示例性实施例中一种电子设备的方框图。

图8是本公开示例性实施例中一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图对本公开示例实施方式进行详细说明。

图1示意性示出本公开示例性实施例中数据增强方法的流程图。参考图1，数据增强方法100可以包括：

步骤S1，对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

步骤S2，对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

步骤S3，根据所述特征值和所述词汇对所述训练语句进行噪声处理；

步骤S4，将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

本公开实施例提供的数据增强方法通过使用卡方检验对分词结果进行处理，确定与种类标识关联性较大的限定词汇，并在后续扩充训练样本时避免了对限定词汇的替换，可以有效保留对种类标识影响大的限定词，避免数据增强过程中替换掉关键词汇而导致新产生的训练数据不能正确表达原训练数据的语义。

下面，对数据增强方法100的各步骤进行详细说明。

在步骤S1，对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识。

在本公开实施例中，种类标识包括情绪标识，例如高兴感谢、生气、失落、焦虑、迷茫、担忧、其他等。

表1是训练语句与种类标识的对应关系示例。

表1

训练语句	情绪标识
		好的，多谢	happy
退钱为什么不退运费	anger
		我也是醉了	sad
都一个月了，怎么还没发货	anxiety
		为什么我麦西西的衣服没有收到退款	lost
不会是收到钱不发货的骗子吧	fear
		好的，我去看看	other

对训练语句进行分词可以使用一般分词方法，例如种类标识为“anger”的文本“如果换货还是出现问题我就投诉了”，经分词之后的文本为“如果/换货/还是/出现/问题/我/就/投诉/了”；种类标识为“anxiety”的文本“我的退货为什么还没有消息呢？”，经分词后的文本为“我/的/退货/为什么/还/没有/消息/呢/？”。

对训练语句进行分词后，可以分出的每个词汇标记该训练语句对应的种类标识，例如将“投诉”对应的种类标识记为“anger”。一般而言，有些词汇能够出现在不同种类标识的训练语句中，分别记录即可，无需进行处理。在分词过程中，还可以根据预设词汇表标记每个词汇的种类，例如名词、动词等。

在步骤S2，对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值。

卡方检验是一种计数自恋的假设检验方法，能比较两个及两个以上样本率(构成比)以及两个分类变量的关联性。通过对词汇进行卡方检验可以知道各词汇与不同种类标识的关联程度，即特征值的大小。特征值越大说明该词汇与该种类词汇的关联程度越高。如“坑人”、“假货”、“投诉”等词出现的文本的情感标签往往是生气，“退款”、“没到”等词很大可能是因为焦虑。对于一个出现在不同种类标识的训练语句中的词汇，可以分别计算该词汇对每个种类标识的特征值，并将其中最大的特征值作为该词汇的特征值。

在步骤S3，根据所述特征值和所述词汇对所述训练语句进行噪声处理。

图2是步骤S3的一个子流程图。

参考图2，在一个实施例中，步骤S3可以包括：

步骤S31，计算每个词汇的词频total、后接词的种类数distinct；

步骤S32，将特征值大于第一预设值或者词频小于第二预设值的词汇的被替换概率P1设置为0；

步骤S33，将词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

步骤S34，将词频在第二预设值和第三预设值之间且特征值小于等于第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

步骤S35，对训练语句中的词汇按照其对应的被替换概率进行替换。

其中，词频为一个词汇在所有训练语句的分词结果中的出现次数，后接词的种类数为该词在所有训练语句中的所有后接词的种类的数量。

其中，一个词汇的后接词为在训练语句中该词汇后面紧挨着的词汇。当一个词的词频很高，且其后接词的种类数较多时，可认为该词特征性不强，可以以较大的概率被替换而不会对训练语句所要表达的意思产生大的影响。如“不”的词频和后接词的种类数分别为10624和744，而“要”的词频和后接词的种类数分别为2561和564，“不”表达的倾向更强烈，应该以小概率被替换，而“要”则较常见，出现场景多，即使被替换概率大也不会影响语义表达，可以将被替换概率设置为较小。

特征值大于第一预设值的词汇即为和某个种类标识关联度很高的词汇，被替换会影响语义对种类标识的表达，因此本公开实施例将其被替换概率设置为0，即不参与替换。

词频小于第二预设值的词汇如果被替换，该词汇的表现特征可能消失，为避免这种情况，将这种词汇的被替换概率设置为0，即不参与替换。

词频大于第三预设值的词汇被噪声处理后表现特征受影响较小，因此可以直接对这种出现次数很多的词汇设置较大的被替换概率。需要说明的是，可以获取第一参数λ作为基准概率，根据其他情况设置概率参数，并将基准概率与概率参数的乘积作为被替换概率。在本公开实施例中，可以将词频大于第三预设值的词汇的被替换概率设置为基准概率，即概率参数设置为1。上述基准概率可以由本领域技术人员自行设置，本公开不以此为限。

对于特征值不大、词频不大也不小的其他词汇，即除上述词汇词汇之外的其他词汇，可以使用后接词的种类数与词频的比值作为该词汇的概率参数，即将该词汇的被替换概率设置为P3＝λ*distinct/total。

设置被替换概率后，可以对每个词汇按照被替换概率进行替换。

图3是步骤S35的一个子流程图。

参考图3，在一个实施例中，步骤S35可以包括：

步骤S351，将每个词汇在全部训练语句中的出现概率作为该词汇的参与替换概率；

步骤S352，按参与替换概率选择替换用词，按照被替换概率在多个相同词汇中选择被替换词；

步骤S353，使用替换用词替换被替换词。

如果A词的被替换概率是0.4，则根据A词的词频与被替换概率的乘积确定被替换的A词，即如果A词出现了100次，有40个A词将被替换。

在选定被替换词后，可以根据参与替换概率选择替换用词。例如B词的词频为x，全部词汇的数量为y，则B词的参与替换概率P1为P1＝x/y。假如P1＝0.2，则在被替换的40个A词中，可以选择其中的40*0.2＝8个A词，将其替换为B词。

替换后，由于词频小、特征值大的词汇不参与替换，保证了不会对训练语句的语义产生较大影响。

在步骤S4，将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

在本公开实施例中，并非对所有种类标识的训练语句均做数据增强，因此新训练语句集可以包括仅部分种类标识对应的噪声处理后训练语句与原有训练语句。

本公开实施例还可以包括挑选进行数据增强的种类标识的步骤。

图4是对训练语句进行挑选的流程图。

参考图4，步骤S1中可以包括：

步骤S11，确定每个种类标识对应的训练语句的数量；

步骤S12，对数量符合预设条件的种类标识对应的训练语句进行分词。

表2是各种类标识对应的训练语句的数量的示例。

表2

种类标识	数量	占比(％)
			全体	51816	100
other	35213	67.96
			anxiety	10009	19.32
anger	3913	7.55
			happy	1246	2.40
lost	1240	2.39
			sad	127	0.25
fear	68	0.13

在实际应用中，如表2所示数据集的各种类数据不均衡问题时有发生，因此，只需挑选出不均衡的种类标识进行数据增强即可，无需对出现概率过小的种类标识(如sad、fear)进行数据增强，也无需对已经有充足训练数据的种类标识(如other)进行数据增强，从而可以节省时间。

图5是本公开实施例中挑选进行数据增强的种类标识的流程图。

参考图5，在一个实施例中，步骤S12可以包括：

步骤S121，根据种类标识对应的训练语句的数量与全部训练语句数量的比值确定n个种类标识对应的n个数量占比；

步骤S122，在所述n个数量占比的标准差大于第四预设值时，将大于第五预设值且小于第六预设值的数量占比对应的种类标识作为待增强种类标识；

步骤S123，在所述n个数量占比的标准差小于等于第四预设值时，将对应的训练语句的数量小于第七预设值的种类标识作为待增强种类标识；

步骤S124，对所述待增强种类标识对应的训练语句进行分词。

各种类标识的数量占比可以参考表2。

可以根据数量占比以及各数量占比的标准差评价这些训练语句的种类分布是否均衡。当标准差大于第四预设值时，可以认为训练语句的种类分布不均衡，此时首先可以剔除占比过小(大于第五预设值)的种类标识以提高效率，然后对占比还不够大(小于第六预设值)的种类标识进行数据增强。如果标准差不大于第四预设值，可以认为训练语句的种类分布均衡，此时可以仅凭训练语句的数量挑选待增强种类标识，即对训练语句的数量不满足训练要求(第七预设值)的种类标识进行数据增强。

上述第一预设值～第七预设值均可以由本领域技术人员自行设置，本公开不以此为限。

形成新训练语句集后，可以使用新训练语句集对模型进行训练。值得一提的是，由于参与训练的训练语句的词汇需要使用数值表达，可以在步骤S1分词动作的同时确定每个词汇的词向量，并将词向量作为词汇的数据表示加入新训练语句集。

在本公开实施例中，将图像分类中的CNN网络应用于文本领域，提取到用户情绪的深层次语义表达，训练的模型主要采用与种类标识对应的逻辑回归模型，模型对语句的识别结果为各种种类标识的分数，分数的大小代表了语句属于一个种类标识的可能性。可以选取分数最大值的种类标识为预测类别。

基于京东客服评论数据，表3和表4分别为在验证数据集和测试数据集上的对比结果，实验中参数λ的值设置为0.35。每种数据集分别进行了四种不同训练数据的实验，分别是baseline基准实验，即对输入数据不进行处理的实验；基于char分词的实验；基于subword分词的实验；基于subword分词和卡方分析选出的限定词的实验。实验中的评价指标为F1值，表中展现了四种不同情感类别的F1值和总的F1值。从表中可以看出，基于char分词的处理方法，总F1值在验证数据集上相较于基准值下降了0.004，在测试数据集提高了0.012，而subword分词处理的结果在测试数据集上下降了0.006，基于subword分词和限定词的处理方法，总的F1值提高幅度最大，在验证数据集和测试数据集上相对与基准分别提高了0.005和0.013。由此可知，在情感分类中，对原始训练数据进行subword分词和加限定词的噪音处理方法，相较于其他两种，收益最大，分类效果最佳。

表3.验证数据集实验对比结果

处理方法	anxiety	lost	anger	happy	all
						baseline	0.909	0.590	0.829	0.860	0.859
char分词+噪音	0.905	0.591	0.819	0.854	0.855
						subword分词+噪音	0.909	0.612	0.827	0.850	0.859
subword分词+限定词+噪音	0.912	0.640	0.831	0.868	0.864

表4.测试数据集实验对比结果

处理方法	anxiety	lost	anger	happy	all
						baseline	0.773	0.482	0.700	0.800	0.695
char分词+噪音	0.786	0.522	0.674	0.615	0.707
						subword分词+噪音	0.770	0.479	0.681	0.500	0.689
subword分词+限定词+噪音	0.779	0.561	0.680	0.533	0.708

本公开实施例通过对数据不充分和数据类别不均衡的数据进行基于分词的数据增强处理，对限定词和对不同词频的分词分别处理，可以使噪声处理后的数据质量尽可能高，数据增强的结果尽可能不改变原有语义，从而保证被训练的神经网络训练模型能够在获得充足训练数据的情况下增加识别准确度。

对应于上述方法实施例，本公开还提供一种数据增强装置，可以用于执行上述方法实施例。

图6示意性示出本公开一个示例性实施例中一种数据增强装置的方框图。

参考图6，数据增强装置600可以包括：

分词模块602，设置为对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

卡方检验模块604，设置为对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

噪声处理模块606，设置为根据所述特征值和所述词汇对所述训练语句进行噪声处理；

合集模块608，设置为将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

在本公开的一种示例性实施例中，噪声处理模块606设置为：

计算每个所述词汇的词频total、后接词的种类数distinct；

将所述特征值大于第一预设值或者所述词频小于第二预设值的词汇的被替换概率P1设置为0；

将所述词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

将词频在所述第二预设值和所述第三预设值之间且特征值小于等于所述第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换。

在本公开的一种示例性实施例中，所述噪声处理模块606中对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换包括：

将每个所述词汇在全部所述训练语句中的出现概率作为该词汇的参与替换概率；

按所述参与替换概率选择替换用词，按照所述被替换概率在多个相同词汇中选择被替换词；

使用所述替换用词替换所述被替换词。

在本公开的一种示例性实施例中，分词模块602设置为：

确定每个所述种类标识对应的训练语句的数量；

对数量符合预设条件的种类标识对应的训练语句进行分词。

在本公开的一种示例性实施例中，分词模块602中对数量符合预设条件的种类标识对应的训练语句进行分词包括：

根据种类标识对应的训练语句的数量与全部训练语句数量的比值确定n个种类标识对应的n个数量占比；

在所述n个数量占比的标准差大于第四预设值时，将大于第五预设值且小于第六预设值的数量占比对应的种类标识作为待增强种类标识；

在所述n个数量占比的标准差小于等于第四预设值时，将对应的训练语句的数量小于第七预设值的种类标识作为待增强种类标识；

对所述待增强种类标识对应的训练语句进行分词。

在本公开的一种示例性实施例中，所述种类标识包括情绪标识。

在本公开的一种示例性实施例中，还包括词向量记录模块，设置为：

在对每个词汇标识所述训练语句对应的种类标识的同时计算并记录每个所述词汇的词向量：

根据所述新训练语句集中的训练语句的词向量对预设模型进行训练。

由于装置600的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图1中所示的步骤S1：对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；步骤S2：对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；步骤S3：根据所述特征值和所述词汇对所述训练语句进行噪声处理；步骤S4：将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种数据增强方法，其特征在于，包括：

对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

根据所述特征值和所述词汇对所述训练语句进行噪声处理；

将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

2.如权利要求1所述的数据增强方法，其特征在于，所述根据所述特征值和所述词汇对所述训练语句进行噪声处理包括：

计算每个所述词汇的词频total、后接词的种类数distinct；

将所述特征值大于第一预设值或者所述词频小于第二预设值的词汇的被替换概率P1设置为0；

将所述词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

将词频在所述第二预设值和所述第三预设值之间且特征值小于等于所述第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换。

3.如权利要求2所述的数据增强方法，其特征在于，所述对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换包括：

将每个所述词汇在全部所述训练语句中的出现概率作为该词汇的参与替换概率；

按所述参与替换概率选择替换用词，按照所述被替换概率在多个相同词汇中选择被替换词；

使用所述替换用词替换所述被替换词。

4.如权利要求1所述的数据增强方法，其特征在于，所述对多个带有种类标识的训练语句进行分词包括：

确定每个所述种类标识对应的训练语句的数量；

对数量符合预设条件的种类标识对应的训练语句进行分词。

5.如权利要求4所述的数据增强方法，其特征在于，所述对数量符合预设条件的种类标识对应的训练语句进行分词包括：

根据种类标识对应的训练语句的数量与全部训练语句数量的比值确定n个种类标识对应的n个数量占比；

在所述n个数量占比的标准差大于第四预设值时，将大于第五预设值且小于第六预设值的数量占比对应的种类标识作为待增强种类标识；

在所述n个数量占比的标准差小于等于第四预设值时，将对应的训练语句的数量小于第七预设值的种类标识作为待增强种类标识；

对所述待增强种类标识对应的训练语句进行分词。

6.如权利要求1所述的数据增强方法，其特征在于，所述种类标识包括情绪标识。

7.如权利要求1所述的数据增强方法，其特征在于，还包括：

在对每个词汇标识所述训练语句对应的种类标识的同时计算并记录每个所述词汇的词向量：

根据所述新训练语句集中的训练语句的词向量对预设模型进行训练。

8.一种数据增强装置，其特征在于，包括：

分词模块，设置为对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

卡方检验模块，设置为对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

噪声处理模块，设置为根据所述特征值和所述词汇对所述训练语句进行噪声处理；

合集模块，设置为将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

9.一种电子设备，其特征在于，包括：

存储器；以及

耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-7任一项所述的数据增强方法。

10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1-7任一项所述的数据增强方法。

Images