CN112597748A - 语料生成方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种大数据处理，揭露一种语料生成方法，包括：根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板；获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；通过预设同义词扩展模型，对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。本发明还涉及区块链技术，所述预设同义词扩展模型存储于区块链中。本发明能够提升语料的有效覆盖面；生成批量式有效意图识别测试语料。

Description

语料生成方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及大数据处理，尤其涉及一种语料生成的方法、装置、电子设备及计算机可读存储介质。

背景技术

在自然语言处理(NLP)领域，语料的生成问题一直是测试工作的一大难题，如何快速生成大批量有效测试语料，已经成为NLP算法测试工作者必须面对且寻求解决的一道坎；在自然语言处理系统中，有意图识别算法的子系统，它是由意图管理—对话管理—词槽管理—词典管理—答案配置管理五大功能组成的子系统；在意图识别算法子系统中对话管理功能实现了意图与对话模板之间的关联关系；同时实现对话模板与槽位之间的关联关系。一个对话模板是由意图中的不同词槽(slot)字段组成的；词槽管理实现的是词槽信息与词典之间的关联关系。词典管理存储着词典字段及对应的词典值。

目前业界内出现了测试领域中用例覆盖不充分的问题。NLP意图识别测试中测试语料库的建设也面临着同样的难题。人工无法从已有的对话模板中进行有效快速的语料生成，通过人工生成的方法在实际工作可行度不高。因此语料的生成方法也成为业界必须面临解决的问题之一。

在目前业界存在各样的生成方法，如通过词槽的排列所生成的语料，但是这类生成方法往往大部分并不满足句子语法习惯，也无法满足实际用户场景的真实输入模拟诉求；与此同时仅通过词槽所在的词典值进行排序组合的句子，在用户输入语料的覆盖面存在较大的不足，仅通过词典值的排序组合的句子，在语法上比较生硬，与用户真实输入表达差异较大。

发明内容

本发明提供一种语料生成方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够提升语料的有效覆盖面；生成批量式有效意图识别测试语料。

第一方面，为实现上述目的，本发明提供的一种语料生成方法，包括：

根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

第二方面，为了解决上述问题，本发明还提供一种语料生成装置，所述装置包括：

意图语料模板获取模块，用于根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

词槽字段排列组合模块，用于获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

同义词扩展模块，用于通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

意图语料生成模块，用于根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

第三方面，为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现上述所述的语料生成方法的步骤。

第四方面，为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的语料生成方法的步骤。

本发明提出的语料生成方法、装置、电子设备及计算机可读存储介质，通过获取与意图语料生成指令相对应的意图语料模板；对意图语料模板中的词槽字段的位置进行排列组合，得到初级语料语句；再对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；最后根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。通过从预设噪声词词库中引入噪声词的方式，丰富了生成的意图语料；使得生成的意图语料更为接近用户真实输入语料，做到语料有效覆盖测试，提升了语料的有效覆盖面；通过对意图语料模板中的词槽字段的位置进行排列组合的形式，进一步全面的语料句式覆盖；通过意图语料模板便于对模板中的词槽字段进行同义词扩展，扩大了生成意图语料的数量；本发明能够生成批量式有效意图识别测试语料；提升语料的有效覆盖面。

附图说明

图1为本发明一实施例提供的语料生成方法的流程示意图；

图2为本发明一实施例提供的中文语料生成装置的模块示意图；

图3为本发明一实施例提供的实现中文语料生成方法的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种语料生成方法。参照图1所示，为本发明一实施例提供的语料生成方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，语料生成方法包括：

S110、根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板。

具体的，处理器收到意图语料生成指令，根据意图语料生成指令获取相应的意图语料模板，其中，意图语料生成指令中包括生成语料的意图，例如，生成关于天气怎样的语料指令，根据意图语料指令能够知晓需要生成的语料的所属领域，或者是生成语料的所属类别，根据意图语料生成指令确定好需要生成的语料的领域(或类别)后，选取相对应的意图语料模板，在意图语料模板中，带有该领域(或类别)相对应的词槽字段，例如，“天气如何”、“天气怎样”“今天天气”等。

作为本发明的一个可选实施例，根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板包括：

获取意图语料生成指令，其中，意图语料生成指令包括意图信息；

从预设意图列表中选取与意图信息相对应的意图语料模板；其中，预设意图列表包括意图信息和与意图信息相对应的意图语料模板。

具体的，在意图语料生成指令中至少需要包括意图信息，即生成的语料所属的领域(或种类)，如，天气类。根据意图信息，从预设意图列表中选取与意图信息相对应的意图语料模板。其中，预设意图列表包括各个领域(或种类)的意图信息，每个意图信息都对应有相应的意图语料模板，如，在预设意图列表中的意图信息是关于询问天气的，与其对应的模板可能会有多个，如“天气如何”、“天气怎样”、“今天天气”等。

S120、获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句。

具体的，处理器从获取的意图语料模板中获取词槽字段，并对词槽字段的位置进行排列组合，排列组合后得到，词槽字段之间的排列组合合集，如，在意图语料模板中有n个词槽字段，则排列组合为

记排列组合后的结果为：[C.slot[1],C.slot[2],…,C.slot[n]],其中C.slot[i]表示的是i个词槽字段之间的排列组合的集合。

作为本发明的一个可选实施例，获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句包括：

从意图语料模板中提取词槽字段，生成词槽列表；其中，意图语料模板包括与所述意图信息相匹配的词槽字段；

对词槽列表中的词槽字段进行排列组合，将排列组合后带有空白槽位的词槽列表作为初级语料语句。

具体的，处理器从意图语料模板中提取词槽字段，生成词槽列表，例如一个意图语料模板中的词槽字段为“天气如何”则将词槽字段提取出来，作为词槽列表，再对词槽列表中的词槽字段进行排列组合，上述的词槽列表排列后得到如“天气如何”和“如何天气”等，将其作为初级语料语句。

S130、通过预设同义词扩展模型，对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句。

具体的，例如在目前使用的意图识别算法的子系统中储存有相应的词典库，每个词槽都有对应的词典值，例如，对于民族类别，则有汉族、满族、维吾尔族、白族、傣族……若在某个初级语料语句中或者意图语料模板中出现了满族，则，满族为该词槽中的词典值，通过系统自带的词典库对初级语料语句中的词槽字段进行同义词扩展，扩展后得到带有空白槽位的扩展初级语料语句，其中，这里的扩展初级语料语句包括初级语料语句自身和扩展得到的同义初级语料语句。

作为本发明的一个可选实施例，预设同义词扩展模型存储于区块链中，预设同义词扩展模型包括：

获取初级语料语句的输入层、从预设词典库中获取与初级语料语句中的词槽字段属于同类别的同类词的同类词获取层、对初级语料语句中的词槽字段和同类词分别进行向量化处理的词向量处理层、通过相似度计算公式对词向量处理层得到的词槽字段向量和同类词向量进行相似度计算的相似度计算层、将与相似度计算层得到的计算结果大于预设相似度阈值的同类词向量所对应的同类词作为扩展词语的词语扩展层、将扩展词语替换相对应的词槽字段以形成同义初级语料语句的扩展替换层和将初级语料语句与所述同义初级语料语句一同作为扩展初级语料语句输出的输出层。

具体的，处理器将初级语料语句输入到预设同义词扩展模型中，预设同义词扩展模型的输入层获取初级语料语句，并通过同类词获取层从预设词典库中获取与该初级语料语句中的词槽字段属于同类别的同类词；再通过词向量处理层将初级语料语句中的词槽字段和同类词分别进行向量化处理，得到词槽字段词向量和同类词向量；再通过相似度计算层对词槽字段词向量和同类词向量的相似度进行计算，其中相似度计算公式可选择常用的余弦距离计算公式，得到相似度值，再通过词语扩展层将相似度值大于预设相似度阈值的同类词向量所对应的同类词作为扩展词语；然后通过扩展替换层对初级语料语句中词槽字段对应的扩展词语进行替换，得到同义初级语料语句；再通过输出层将初级语料语句与同义初级语料语句一同作为扩展初级语料语句输出。

S140、根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。

具体的，预设噪声词词库中包括大量的噪声词，例如，从NLP系统中的历史真实用户数据分析获取特定辅助词--诸如代词你、我、他/她、怎样/如何/怎么等等，或如业务办理语料中的短语词：怎么办理、我要查询、我要了解、什么材料、怎样的流程等等，又或如时间相关的词语：今天/明天/后天/一星期等等，又或一些针对创建相关的动作词如开、创办、建立、创建、办理等等，根据扩展初级语料语句的空白槽位所需填入词的词性从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，即可生成意图语料。

作为本发明的一个可选实施例，根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料包括：

从扩展初级语料语句中获取空白槽位的位置；

根据空白槽位的位置以及预设词性鉴定模板，确定空白槽位所需填入词的词性；

根据空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。

具体的，处理器从扩展初级语料语句中获取空白槽位的位置，再根据空白槽位的位置和预设词性鉴定模板，确定出空白槽位所需填入词的词性，其中，预设词性鉴定模板包括各种词性的排列顺序，最后生成意图语料。

作为本发明的一个可选实施例，在根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料之后，还包括：

将意图语料作为初级检索语料输入预设搜索引擎，获取预设搜索引擎得到的检索标题语句；

将检索标题语句与意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料；

按照预设检索次数阈值，将每次得到的增加意图语料作为新检索语料输入预设搜索引擎，获取预设搜索引擎得到的新检索标题语句；

将新检索标题语句与增加意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的新检索标题语句，作为新增加意图语料。

具体的，为了进一步扩充生成的意图语料，将意图语料作为初级检索语料输入预设搜索引擎，其中，预设搜索引擎为目前常用搜索引擎，例如百度、搜狗、谷歌等；获取预设搜索引擎得到的检索标题语句，其中检索标题语句可能与输入的意图语料相同，可能相似，也可能关联性很小，所以需要计算检索标题语句与意图语料的相似度，选出达到相似度大于预设语句相似度阈值的检索标题语句，作为增加意图语料，再将增加意图语料作为新检索语料输入预设搜索引擎，得到新检索标题语句，同样计算新检索标题语句与增加意图语料进行相似度，选出相似度大于预设语句相似度阈值的新检索标题语句，作为新增加意图语料，重复上述操作，直到达到设检索次数阈值，例如重复3次。

作为本发明的一个可选实施例，将检索标题语句与所述意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料包括：

对检索标题语句和所述意图语料分别进行分词处理，分别得到检索标题分词和意图语料分词；

对检索标题分词和意图语料分词分别进行词向量化处理，分别得到检索标题词向量和意图语料词向量；

对检索标题词向量和意图语料词向量分别进行归一化处理，分别得到检索标题句向量和意图语料句向量；

通过相似度计算公式对检索标题句向量和意图语料句向量进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料。

具体的，计算检索标题语句与意图语料的相似度，需要对语句进行向量化处理，所以先分别对两个句子进行分词处理，再对分词进行向量化处理，再进行归一化，得到两句向量，通过相似度计算公式，计算出相似值，其中，相似度计算公式可选择常用的余弦距离计算公式。

如图2所示，是本发明一个实施例的语料生成装置的功能模块图。

本发明所述语料生成装置200可以安装于电子设备中。根据实现的功能，所述语料生成装置可以包括意图语料模板获取模块210、词槽字段排列组合模块220、同义词扩展模块230、意图语料生成模块240。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

意图语料模板获取模块210，用于根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板。

具体的，处理器收到意图语料生成指令，根据意图语料生成指令获取相应的意图语料模板，其中，意图语料生成指令中包括生成语料的意图，例如，生成关于天气怎样的语料指令，根据意图语料指令能够知晓需要生成的语料的所属领域，或者是生成语料的所属类别，根据意图语料生成指令确定好需要生成的语料的领域(或类别)后，选取相对应的意图语料模板，在意图语料模板中，带有该领域(或类别)相对应的词槽字段，例如，“天气如何”、“天气怎样”“今天天气”等。

作为本发明的一个可选实施例，根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板包括：

获取意图语料生成指令，其中，意图语料生成指令包括意图信息；

从预设意图列表中选取与意图信息相对应的意图语料模板；其中，预设意图列表包括意图信息和与意图信息相对应的意图语料模板。

具体的，在意图语料生成指令中至少需要包括意图信息，即生成的语料所属的领域(或种类)，如，天气类。根据意图信息，从预设意图列表中选取与意图信息相对应的意图语料模板。其中，预设意图列表包括各个领域(或种类)的意图信息，每个意图信息都对应有相应的意图语料模板，如，在预设意图列表中的意图信息是关于询问天气的，与其对应的模板可能会有多个，如“天气如何”、“天气怎样”、“今天天气”等。

词槽字段排列组合模块220，用于获取意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句。

具体的，处理器从获取的意图语料模板中获取词槽字段，并对词槽字段的位置进行排列组合，排列组合后得到，词槽字段之间的排列组合合集，如，在意图语料模板中有n个词槽字段，则排列组合为C_n^1、A_2^2C_n^2、…、A_n^n C_n^n，记排列组合后的结果为：[C.slot[1],C.slot[2],…,C.slot[n]],其中C.slot[i]表示的是i个词槽字段之间的排列组合的集合。

作为本发明的一个可选实施例，获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句包括：

从意图语料模板中提取词槽字段，生成词槽列表；其中，意图语料模板包括与所述意图信息相匹配的词槽字段；

对词槽列表中的词槽字段进行排列组合，将排列组合后带有空白槽位的词槽列表作为初级语料语句。

具体的，处理器从意图语料模板中提取词槽字段，生成词槽列表，例如一个意图语料模板中的词槽字段为“天气如何”则将词槽字段提取出来，作为词槽列表，再对词槽列表中的词槽字段进行排列组合，上述的词槽列表排列后得到如“天气如何”和“如何天气”等，将其作为初级语料语句。

同义词扩展模块230，用于通过预设同义词扩展模型，对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句。

具体的，例如在目前使用的意图识别算法的子系统中储存有相应的词典库，每个词槽都有对应的词典值，例如，对于民族类别，则有汉族、满族、维吾尔族、白族、傣族……若在某个初级语料语句中或者意图语料模板中出现了满族，则，满族为该词槽中的词典值，通过系统自带的词典库对初级语料语句中的词槽字段进行同义词扩展，扩展后得到带有空白槽位的扩展初级语料语句，其中，这里的扩展初级语料语句包括初级语料语句自身和扩展得到的同义初级语料语句。

作为本发明的一个可选实施例，预设同义词扩展模型存储于区块链中，预设同义词扩展模型包括：

获取初级语料语句的输入层、从预设词典库中获取与初级语料语句中的词槽字段属于同类别的同类词的同类词获取层、对初级语料语句中的词槽字段和同类词分别进行向量化处理的词向量处理层、通过相似度计算公式对词向量处理层得到的词槽字段向量和同类词向量进行相似度计算的相似度计算层、将与相似度计算层得到的计算结果大于预设相似度阈值的同类词向量所对应的同类词作为扩展词语的词语扩展层、将扩展词语替换相对应的词槽字段以形成同义初级语料语句的扩展替换层和将初级语料语句与所述同义初级语料语句一同作为扩展初级语料语句输出的输出层。

具体的，处理器将初级语料语句输入到预设同义词扩展模型中，预设同义词扩展模型的输入层获取初级语料语句，并通过同类词获取层从预设词典库中获取与该初级语料语句中的词槽字段属于同类别的同类词；再通过词向量处理层将初级语料语句中的词槽字段和同类词分别进行向量化处理，得到词槽字段词向量和同类词向量；再通过相似度计算层对词槽字段词向量和同类词向量的相似度进行计算，其中相似度计算公式可选择常用的余弦距离计算公式，得到相似度值，再通过词语扩展层将相似度值大于预设相似度阈值的同类词向量所对应的同类词作为扩展词语；然后通过扩展替换层对初级语料语句中词槽字段对应的扩展词语进行替换，得到同义初级语料语句；再通过输出层将初级语料语句与同义初级语料语句一同作为扩展初级语料语句输出。

意图语料生成模块240，用于根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。

具体的，预设噪声词词库中包括大量的噪声词，例如，从NLP系统中的历史真实用户数据分析获取特定辅助词--诸如代词你、我、他/她、怎样/如何/怎么等等，或如业务办理语料中的短语词：怎么办理、我要查询、我要了解、什么材料、怎样的流程等等，又或如时间相关的词语：今天/明天/后天/一星期等等，又或一些针对创建相关的动作词如开、创办、建立、创建、办理等等，根据扩展初级语料语句的空白槽位所需填入词的词性从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，即可生成意图语料。

作为本发明的一个可选实施例，根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料包括：

从扩展初级语料语句中获取空白槽位的位置；

根据空白槽位的位置以及预设词性鉴定模板，确定空白槽位所需填入词的词性；

根据空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。

具体的，处理器从扩展初级语料语句中获取空白槽位的位置，再根据空白槽位的位置和预设词性鉴定模板，确定出空白槽位所需填入词的词性，其中，预设词性鉴定模板包括各种词性的排列顺序，最后生成意图语料。

作为本发明的一个可选实施例，在根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料之后，还包括：

将意图语料作为初级检索语料输入预设搜索引擎，获取预设搜索引擎得到的检索标题语句；

将检索标题语句与意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料；

按照预设检索次数阈值，将每次得到的增加意图语料作为新检索语料输入预设搜索引擎，获取预设搜索引擎得到的新检索标题语句；

将新检索标题语句与增加意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的新检索标题语句，作为新增加意图语料。

具体的，为了进一步扩充生成的意图语料，将意图语料作为初级检索语料输入预设搜索引擎，其中，预设搜索引擎为目前常用搜索引擎，例如百度、搜狗、谷歌等；获取预设搜索引擎得到的检索标题语句，其中检索标题语句可能与输入的意图语料相同，可能相似，也可能关联性很小，所以需要计算检索标题语句与意图语料的相似度，选出达到相似度大于预设语句相似度阈值的检索标题语句，作为增加意图语料，再将增加意图语料作为新检索语料输入预设搜索引擎，得到新检索标题语句，同样计算新检索标题语句与增加意图语料进行相似度，选出相似度大于预设语句相似度阈值的新检索标题语句，作为新增加意图语料，重复上述操作，直到达到设检索次数阈值，例如重复3次。

作为本发明的一个可选实施例，将检索标题语句与所述意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料包括：

对检索标题语句和所述意图语料分别进行分词处理，分别得到检索标题分词和意图语料分词；

对检索标题分词和意图语料分词分别进行词向量化处理，分别得到检索标题词向量和意图语料词向量；

对检索标题词向量和意图语料词向量分别进行归一化处理，分别得到检索标题句向量和意图语料句向量；

通过相似度计算公式对检索标题句向量和意图语料句向量进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料。

具体的，计算检索标题语句与意图语料的相似度，需要对语句进行向量化处理，所以先分别对两个句子进行分词处理，再对分词进行向量化处理，再进行归一化，得到两句向量，通过相似度计算公式，计算出相似值，其中，相似度计算公式可选择常用的余弦距离计算公式。

如图3所示，是本发明一个实施例实现语料生成方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如语料生成程序12。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如语料生成程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如语料生成程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的语料生成程序12是多个指令的组合，在所述处理器10中运行时，可以实现：

根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板；

获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

通过预设同义词扩展模型，对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。

具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述同义词扩展模型的私密和安全性，上述同义词扩展模型还可以存储于一区块链的节点中。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种语料生成方法，其特征在于，所述方法包括：

根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

2.根据权利要求1所述的语料生成方法，其特征在于，所述根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板包括：

获取意图语料生成指令，其中，所述意图语料生成指令包括意图信息；

从预设意图列表中选取与所述意图信息相对应的意图语料模板；其中，所述预设意图列表包括意图信息和与所述意图信息相对应的意图语料模板。

3.根据权利要求1所述的语料生成方法，其特征在于，所述获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句包括：

从所述意图语料模板中提取词槽字段，生成词槽列表；其中，所述意图语料模板包括与所述意图信息相匹配的词槽字段；

对所述词槽列表中的词槽字段进行排列组合，将排列组合后带有空白槽位的词槽列表作为初级语料语句。

4.根据权利要求1所述的语料生成方法，其特征在于，所述预设同义词扩展模型存储于区块链中，所述预设同义词扩展模型包括：

获取所述初级语料语句的输入层、从预设词典库中获取与所述初级语料语句中的词槽字段属于同类别的同类词的同类词获取层、对所述初级语料语句中的词槽字段和所述同类词分别进行向量化处理的词向量处理层、通过相似度计算公式对所述词向量处理层得到的词槽字段向量和同类词向量进行相似度计算的相似度计算层、将与所述相似度计算层得到的计算结果大于预设相似度阈值的同类词向量所对应的同类词作为扩展词语的词语扩展层、将所述扩展词语替换相对应的词槽字段以形成同义初级语料语句的扩展替换层和将所述初级语料语句与所述同义初级语料语句一同作为扩展初级语料语句输出的输出层。

5.根据权利要求1所述的语料生成方法，其特征在于，所述根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料包括：

从所述扩展初级语料语句中获取空白槽位的位置；

根据所述空白槽位的位置以及预设词性鉴定模板，确定所述空白槽位所需填入词的词性；

根据所述空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

6.根据权利要求1所述的语料生成方法，其特征在于，在所述根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料之后，还包括：

将所述意图语料作为初级检索语料输入预设搜索引擎，获取所述预设搜索引擎得到的检索标题语句；

将所述检索标题语句与所述意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料；

按照预设检索次数阈值，将每次得到的增加意图语料作为新检索语料输入预设搜索引擎，获取所述预设搜索引擎得到的新检索标题语句；

将所述新检索标题语句与所述增加意图语料进行相似度计算，选取相似度计算结果大于所述预设语句相似度阈值的新检索标题语句，作为新增加意图语料。

7.根据权利要求6所述的语料生成方法，其特征在于，所述将所述检索标题语句与所述意图语料进行相似度计算，选取相似度计算结果大于预设语句相似度阈值的检索标题语句，作为增加意图语料包括：

对所述检索标题语句和所述意图语料分别进行分词处理，分别得到检索标题分词和意图语料分词；

对所述检索标题分词和所述意图语料分词分别进行词向量化处理，分别得到检索标题词向量和意图语料词向量；

对所述检索标题词向量和所述意图语料词向量分别进行归一化处理，分别得到检索标题句向量和意图语料句向量；

通过相似度计算公式对所述检索标题句向量和所述意图语料句向量进行相似度计算，选取相似度计算结果大于所述预设语句相似度阈值的检索标题语句，作为增加意图语料。

8.一种语料生成装置，其特征在于，所述装置包括：

意图语料模板获取模块，用于根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

词槽字段排列组合模块，用于获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

同义词扩展模块，用于通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

意图语料生成模块，用于根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的语料生成方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的语料生成方法的步骤。

Images