CN112395390B - 意图识别模型的训练语料生成方法及其相关设备 - Google Patents

Abstract

本申请实施例属于大数据领域，应用于智慧医疗领域中，涉及一种意图识别模型的训练语料生成方法及其相关设备，包括接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，客户回答语料包括问询相关语料和非问询相关语料；建立问询相关语料库和非问询相关语料库；基于非问询相关语料与问询相关语料库间的相似度，调整问询相关语料库和非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；基于目标问询相关语料库建立第一训练样本；基于意图标签和非问询相关语料库建立第二训练样本；将所述第一训练样本和所述第二训练样本作为训练语料并输出。其中，训练语料可存储于区块链中。本申请提高训练语料的质量。

Description

意图识别模型的训练语料生成方法及其相关设备

技术领域

本申请涉及大数据技术领域，尤其涉及意图识别模型的训练语料生成方法及其相关设备。

背景技术

随着计算机技术的不断变革和发展，人工智能已经逐渐应用于各行各业中，改善人们的生活。人机对话是人工智能的重要发展领域，对话场景复杂多样，要求计算机能够在对话的过程中精准识别客户意图，以便于更好的展开对话。

目前，人机对话多是采用意图识别模型来识别客户的意图，由于存在有些场景中客户意图依赖AI(Artificial Intelligence，人工智能)问询，有些场景中客户意图不依赖AI问询。因此在意图识别模型训练过程大多是根据依赖情况决定训练样本中是否填充对应的AI问询。

但是，由于在实际生产过程中无法判断客户意图对AI问询的依赖情况，输入模型的预测参数都是含有AI问询的。导致模型训练模式和模型预测模式不一致，进而使得意图识别模型在生产上的精准度，比在训练环境中的精准度低。

发明内容

本申请实施例的目的在于提出一种意图识别模型的训练语料生成方法及其相关设备，提高意图识别模型的训练语料的质量。

为了解决上述技术问题，本申请实施例提供一种意图识别模型的训练语料生成方法，采用了如下所述的技术方案：

一种意图识别模型的训练语料生成方法，包括下述步骤：

接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系；

分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库；

计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；

获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本；

获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本；

将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练。

进一步的，所述计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度包括：

将当前所述问询相关语料输入至预先训练的语言表征模型中，获得问询相关词向量；

将所述非问询相关语料输入至预先训练的语言表征模型中，获得非问询相关词向量；

历遍计算当前所述非问询相关词向量与每个所述问询相关词向量之间的余弦相似度；

将数值最大的余弦相似度作为当前所述非问询相关语料与所述问询相关语料库之间的相似度。

进一步的，所述基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本包括：

确定每种所述意图标签所对应的目标非问询相关语料；

基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料；

基于预设的相同概率，将每种所述意图标签所对应的均衡语料与预设的问询类别进行关联，获得所述第二训练样本。

进一步的，所述数量阈值包括第一数量阈值和第二数量阈值，其中，所述第一数量阈值大于所述第二数量阈值，所述基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料包括：

识别当前意图标签所对应的目标非问询相关语料的数量是否大于所述第一数量阈值或是否小于所述第二数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量大于所述第一数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行随机筛选，直至当前意图标签所对应的目标非问询相关语料的数量小于等于所述第一数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量小于所述第二数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行语料扩充，直至当前意图标签所对应的目标非问询相关语料数量大于等于所述第二数量阈值。

进一步的，所述对所述当前意图标签所对应的目标非问询相关语料进行语料扩充包括：

调用预设的随机过采样包，通过所述随机过采样包对所述当前意图标签所对应的目标非问询相关语料进行随机复制。

进一步的，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为待确认语料，并通知指定人员对所述待确认语料进行分类；

当识别到所述指定人员完成对所述待确认语料的分类时，根据所述指定人员的分类将所述待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得目标问询相关语料库和目标非问询相关语料库。

进一步的，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第二相似度阈值，当所述相似度大于预设的第二相似度阈值时，从所述非问询相关语料库中删除对应的非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

为了解决上述技术问题，本申请实施例还提供一种意图识别模型的训练语料生成装置，采用了如下所述的技术方案：

一种意图识别模型的训练语料生成装置，包括：

匹配模块，用于接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系；

建立模块，用于分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库；

计算模块，用于计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；

生成模块，用于获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本；

关联模块，用于获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本；以及

输出模块，用于将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的意图识别模型的训练语料生成方法。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的意图识别模型的训练语料生成方法。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请通过计算非问询相关语料库中每条非问询相关语料与问询相关语料库之间的相似度，并基于相似度对问询相关语料库和非问询相关语料库进行调整，实现确定出的目标问询相关语料和目标非问询相关语料的准确性较高。通过基于意图标签，将目标非问询相关语料与预设的问询类别进行关联的方式，解决了对不依赖AI问询语料的训练语料不进行问询类别的填充的问题，同时没有造成训练语料的爆炸，保证了模型训练的效率。通过此方式生成的训练语料能够使意图识别模型的准确率保持在高水平。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的意图识别模型的训练语料生成方法的一个实施例的流程图；

图3是根据本申请的意图识别模型的训练语料生成装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、意图识别模型的训练语料生成装置；301、匹配模块；302、建立模块；303、计算模块；304、生成模块；305、关联模块；306、输出模块。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的意图识别模型的训练语料生成方法一般由服务器/终端设备执行，相应地，意图识别模型的训练语料生成装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的意图识别模型的训练语料生成方法的一个实施例的流程图。所述的意图识别模型的训练语料生成方法，包括以下步骤：

S1：接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系。

在本实施例中，标注人员预先对每一个问询类别下的客户回答语料进行意图标签的标注，其中，问询类别可包括Q1至Q6六种类别。接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，采用正则匹配的方式对客户回答语料进行匹配，确定客户回答语料与AI问询语料是否具有相关性，即将匹配成功的所述客户回答语料作为问询相关语料，将剩余的所述客户回答语料作为非问询相关语料，便于后续对客户回答语料的进一步处理。

问询相关语料举例如下：

在本实施例中，意图识别模型的训练语料生成方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收AI问询语料和客户回答语料。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

具体的，所述基于预设的正则表达式对所述客户回答语料进行匹配，将匹配成功的所述客户回答语料作为问询相关语料，将匹配失败的所述客户回答语料作为非问询相关语料包括：

基于预设的正则表达式对所述客户回答语料进行匹配，将匹配成功的所述客户回答语料作为疑似问询相关语料，将匹配失败的所述客户回答语料作为疑似非问询相关语料；

将所述疑似问询相关语料展示在预设的前端页面中，并通知指定人员对所述疑似问询相关语料进行确认；

当识别到所述指定人员完成确认时，基于指定人员对所述疑似问询相关语料的确认将所述疑似问询相关语料标记为问询相关或非问询相关；

将标记为问询相关的疑似问询相关语料作为所述问询相关语料，将所述疑似非问询相关语料与标记为非问询相关的疑似问询相关语料作为所述非问询相关语料。

在本实施例中，采用正则匹配的方式，提取客户回答语料中疑似问询相关语料，剩下的语料，即匹配失败的语料为疑似非问询相关语料。将这些疑似问询相关语料，交由指定人员确认，确定出的问询相关语料。将标记为问询相关的疑似问询相关语料作为问询相关语料；将疑似非问询相关语料与标记为非问询相关的疑似问询相关语料作为非问询相关语料。或者也可以在全部的客户回答语料中，去除确定的问询相关语料后，得到非问询相关语料。通过指定人员的确认，可以进一步确定出问询相关语料，提高对客户回答语料划分的准确性。

S2：分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库。

在本实施例中，通过建立问询相关语料库和非问询相关语料库，便于后续对问询相关语料和所述非问询相关语料进一步的处理。

S3：计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例中，计算每条非问询相关语料与问询相关语料库之间的相似度。通过相似度来调整问询相关语料库和所述非问询相关语料库中的语料。实现获得更加严谨的目标问询相关语料库和目标非问询相关语料库。

具体的，所述计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度包括：

将当前所述问询相关语料输入至预先训练的语言表征模型中，获得问询相关词向量；

将所述非问询相关语料输入至预先训练的语言表征模型中，获得非问询相关词向量；

历遍计算当前所述非问询相关词向量与每个所述问询相关词向量之间的余弦相似度；

将数值最大的余弦相似度作为当前所述非问询相关语料与所述问询相关语料库之间的相似度。

在本实施例中，调用语言表征模型对问询相关语料进行嵌入(Embedding),从而将问询相关语料转换成768维的问询相关词向量，其中，每个问询相关词向量代表一个语料的嵌入(Embedding)，嵌入(Embedding)指用一个低维的向量表示一个语料，语言表征模型可以为BERT(Bidirectional Encoder Representations from Transformers)模型，BERT模型具备广泛的通用性，能捕捉更长距离的依赖。同时调用语言表征模型将非问询相关语料转换成768维的非问询相关词向量，能够双向表征信息。遍历计算每一个非问询相关词向量与每个所述问询相关词向量之间的余弦相似度。遍历后，取出余弦相似度的最大值，作为当前非问询相关词向量与问询相关语料库之间的相似度。

问询相关词向量示例如下：

计算过程举例如下：非问询相关语料，如：我存好了。该非问询相关语料对应的非问询相关词向量为768维向量：[0.07,0.002,0.04,…,0.009],该非问询相关词向量分别与每个问询相关词向量进行计算余弦相似度。对于A、B两个同纬度向量，余弦相似度计算公式为：

通过以上公式，计算非问询相关语料“我存好了”，与问询相关语料库中每一条语料的余弦相似度，计算好之后，求余弦相似度的最大值作为当前所述非问询相关语料与所述问询相关语料库之间的相似度。

进一步的，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为待确认语料，并通知指定人员对所述待确认语料进行分类；

当识别到所述指定人员完成对所述待确认语料的分类时，根据所述指定人员的分类将所述待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例中，当所述相似度小于等于预设的第一相似度阈值时，认为该非问询相关语料依然属于非问询相关语料。例如，相似度为0.3，小于第一相似度阈值0.6，所以该语料为非问询相关语料。相似度为0.9，小于第一相似度阈值0.6，所以该语料为待确认语料。当将非问询相关语料作为待确认语料时，从非问询相关语料库中提取出该待确定语料进行重新分配。实现获得更加严谨的目标问询相关语料库和目标非问询相关语料库。

此外，作为本申请的另一实施例，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第二相似度阈值，当所述相似度大于预设的第二相似度阈值时，从所述非问询相关语料库中删除对应的非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例中，通过相似度大于预设的第二阈值，则直接删除对应的非问询相关语料的方式，能够有效的提升计算机的处理速度。

作为本申请的又一实施例，还可以，所述计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度；

识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为第一待确认语料，并通知指定人员对所述第一待确认语料进行分类；

当识别到所述指定人员完成对所述第一待确认语料的分类时，根据所述指定人员的分类将所述第一待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得第一问询相关语料库和第一非问询相关语料库；

计算所述第一非问询相关语料库中的每条第一非问询相关语料与所述第一问询相关语料库之间的第一相似度；

识别所述第一相似度是否大于预设的第一相似度阈值，当所述第二相似度大于预设的第一相似度阈值时，将对应的所述第一非问询相关语料作为第二待确认语料，并通知指定人员对所述第二待确认语料进行分类；

当识别到所述指定人员完成对所述第二待确认语料的分类时，根据所述指定人员的分类将所述第二待确认语料分配至所述第一非问询相关语料库中或所述第一问询相关语料库中，获得第二问询相关语料库和第二非问询相关语料库；

计算所述第二非问询相关语料库中的每条第二非问询相关语料与所述第二问询相关语料库之间的第二相似度；

识别所述第二相似度是否大于预设的第二相似度阈值，当所述第二相似度大于预设的第二相似度阈值时，从所述第二非问询相关语料库中删除对应的第二非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例中，本申请中的指定人员可以为标注人员。如果相似度的大于第一相似度阈值，则将该语料纳入需业务确认的语料，即将对应的非问询相关语料作为待确认语料，将该部分语料返给标注人员。标注人员对待确认语料标注是否与AI问询相关。根据标注人员的标注将与AI问询相关的待确认语料补充到问询相关语料库，不与AI问询相关的待确认语料补充到非问询相关语料库。在实践中，在这样进行两轮后，即业务确认两轮后，认为问询相关语料库已经足够丰富。为了节省标注人力成本，在第三轮中，相似度最大值，即第三相似度如果大于预设的第二相似度阈值，则直接删除。相似度若小于第二相似度阈值，则直接依然为非问询相关语料，依然存在于非问询相关语料库中。通过以上的方式，得到目标问询相关语料库和目标非问询相关语料库。

S4：获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本。

在本实施例中，生成的第一训练样本属于客户意图依赖AI问询语料的训练样本。通过目标问询相关语料和对应的问讯类别生成第一训练样本，保证第一训练样本与客户意图的之间的依赖性。

S5：获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本。

在本实施例中，基于意图标签，将目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本。第二训练样本属于客户意图不依赖AI问询语料的训练样本。通过将非问询相关语料与预设的问询类别进行关联，实现获得的第二训练样本中问询类别的位置不是空置的。

具体的，所述基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本包括：

确定每种所述意图标签所对应的目标非问询相关语料；

基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料；

基于预设的相同概率，将每种所述意图标签所对应的均衡语料与预设的问询类别进行关联，获得所述第二训练样本。

在本实施例中，基于意图标签，对每个意图标签下的非问询相关语料进行样本均衡，避免不同意图标签下的样本相差太大，影响后续对模型的训练效果。对每一个意图标签进行Q1-Q6的同机率的填充，在实现第二训练样本中问询类别的位置不是空置的同时，对每个不依赖客户意图的均衡语料进行了同概率的均匀填充，避免样本偏移。

其中，所述数量阈值包括第一数量阈值和第二数量阈值，其中，所述第一数量阈值大于所述第二数量阈值，所述基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料包括：

识别当前意图标签所对应的目标非问询相关语料的数量是否大于所述第一数量阈值或是否小于所述第二数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量大于所述第一数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行随机筛选，直至当前意图标签所对应的目标非问询相关语料的数量小于等于所述第一数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量小于所述第二数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行语料扩充，直至当前意图标签所对应的目标非问询相关语料数量大于等于所述第二数量阈值。

在本实施例中，本申请中第一数量阈值可以设置为2500，第二数量阈值可以设置为1000。在实际应用过程中，可以根据实际需要调整第一数量阈值和/或第二数量阈值的具体数值，适用即可。对于大于2500条语料的意图标签，随机筛选保留2500条非问询相关语料。对于小于1000条语料的意图标签，进行语料扩充，扩充成1000条。定为每个意图标签语料不超过2500条语料、不少于1000条语料，是因为模型训练的意图标签存在严重不均衡的现象。通过在训练语料上的大量实验得出，当标签语料大于2500条时，在该意图标签下增加语料，得到的模型准确率的提升非常有限，且会加剧训练集的样本不均衡，导致某些标签量比较少的意图标签识别准确率低。小于1000条语料的意图标签，会因标签在模型中占的权重过小，造成模型对该标签的识别准确率不足。

进一步的，所述对所述当前意图标签所对应的目标非问询相关语料进行语料扩充包括：

调用预设的随机过采样包，通过所述随机过采样包对所述当前意图标签所对应的目标非问询相关语料进行随机复制。

在本实施例中，进行语料扩充的方式为用python调用RandomOverSample(随机过采样)包，通过该RandomOverSample包，可以随机复制语料中的某些语料，使语料扩充到预先确定的值。RandomOverSample包常用于随机的复制、重复少数类样本，目标使得少数类与多数类的个数相同从而得到一个新的均衡的数据集。

S6：将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练。

在本实施例中，基于第一训练样本和所述第二训练样本生成的训练语料，获得较佳的训练语料，提高训练环境中的精确度与生产环境中的精确度的一致性，通过训练语料用于意图识别模型能够对客户意图识别更加准确。

训练语料举例如下：

获得训练语料后，通过训练语料训练预设的意图识别模型，获得训练后的意图识别模型。接收待识别客户回答语料和待识别AI问询语料，确定所述待识别AI问询语料具有一一对应的映射关系的问询类别，作为待识别问询类别，将待识别客户回答语料和待识别问询类别输入至训练后的意图识别模型中，获得客户意图。

需要强调的是，为进一步保证上述训练语料的私密和安全性，上述训练语料还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请可应用于智慧医疗领域中，从而推动智慧城市的建设。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种意图识别模型的训练语料生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的意图识别模型的训练语料生成装置300包括：匹配模块301、建立模块302、计算模块303、生成模块304、关联模块305以及输出模块306。其中，匹配模块301，用于接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系；建立模块302，用于分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库；计算模块303，用于计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；生成模块304，用于获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本；关联模块305，用于获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本；以及输出模块306，用于将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练。

在本实施例中，本申请通过计算非问询相关语料库中每条非问询相关语料与问询相关语料库之间的相似度，并基于相似度对问询相关语料库和非问询相关语料库进行调整，实现确定出的目标问询相关语料和目标非问询相关语料的准确性较高。通过基于意图标签，将目标非问询相关语料与预设的问询类别进行关联的方式，解决了对不依赖AI问询语料的训练语料不进行问询类别的填充的问题，同时没有造成训练语料的爆炸，保证了模型训练的效率。通过此方式生成的训练语料能够使意图识别模型的准确率保持在高水平。

匹配模块301包括匹配子模块、展示子模块、标记子模块和生成子模块。其中，匹配子模块用于基于预设的正则表达式对所述客户回答语料进行匹配，将匹配成功的所述客户回答语料作为疑似问询相关语料，将匹配失败的所述客户回答语料作为疑似非问询相关语料；展示子模块用于将所述疑似问询相关语料展示在预设的前端页面中，并通知指定人员对所述疑似问询相关语料进行确认；标记子模块用于当识别到所述指定人员完成确认时，基于指定人员对所述疑似问询相关语料的确认将所述疑似问询相关语料标记为问询相关或非问询相关；生成子模块用于将标记为问询相关的疑似问询相关语料作为所述问询相关语料，将所述疑似非问询相关语料与标记为非问询相关的疑似问询相关语料作为所述非问询相关语料。

计算模块303包括第一向量子模块、第二向量子模块、相似度计算子模块和相似度确认子模块。第一向量子模块用于将当前所述问询相关语料输入至预先训练的语言表征模型中，获得问询相关词向量；第二向量子模块用于将所述非问询相关语料输入至预先训练的语言表征模型中，获得非问询相关词向量；相似度计算子模块用于历遍计算当前所述非问询相关词向量与每个所述问询相关词向量之间的余弦相似度；相似度确认子模块用于将数值最大的余弦相似度作为当前所述非问询相关语料与所述问询相关语料库之间的相似度。

计算模块303还包括第一识别子模块和第一分配子模块。第一识别子模块用于识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为待确认语料，并通知指定人员对所述待确认语料进行分类；第一分配子模块用于当识别到所述指定人员完成对所述待确认语料的分类时，根据所述指定人员的分类将所述待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例的一些可选的实现方式中，上述计算模块303进一步用于：识别所述相似度是否大于预设的第二相似度阈值，当所述相似度大于预设的第二相似度阈值时，从所述非问询相关语料库中删除对应的非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

在本实施例的一些可选的实现方式中，计算模块303还包括第一计算子模块、第二识别子模块、第二分配子模块、第二计算子模块、第三识别子模块、第三分配子模块、第三计算子模块以及删除子模块。其中，第一计算子模块用于计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度；第二识别子模块用于识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为第一待确认语料，并通知指定人员对所述第一待确认语料进行分类；第二分配子模块用于当识别到所述指定人员完成对所述第一待确认语料的分类时，根据所述指定人员的分类将所述第一待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得第一问询相关语料库和第一非问询相关语料库；第二计算子模块用于计算所述第一非问询相关语料库中的每条第一非问询相关语料与所述第一问询相关语料库之间的第一相似度；第三识别子模块用于识别所述第一相似度是否大于预设的第一相似度阈值，当所述第二相似度大于预设的第一相似度阈值时，将对应的所述第一非问询相关语料作为第二待确认语料，并通知指定人员对所述第二待确认语料进行分类；第三分配子模块用于当识别到所述指定人员完成对所述第二待确认语料的分类时，根据所述指定人员的分类将所述第二待确认语料分配至所述第一非问询相关语料库中或所述第一问询相关语料库中，获得第二问询相关语料库和第二非问询相关语料库；第三计算子模块用于计算所述第二非问询相关语料库中的每条第二非问询相关语料与所述第二问询相关语料库之间的第二相似度；删除子模块用于识别所述第二相似度是否大于预设的第二相似度阈值，当所述第二相似度大于预设的第二相似度阈值时，从所述第二非问询相关语料库中删除对应的第二非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

关联模块305包括确定子模块、均衡子模块和关联子模块。其中，确定子模块用于确定每种所述意图标签所对应的目标非问询相关语料；均衡子模块用于基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料；关联子模块用于基于预设的相同概率，将每种所述意图标签所对应的均衡语料与预设的问询类别进行关联，获得所述第二训练样本。

所述数量阈值包括第一数量阈值和第二数量阈值，其中，所述第一数量阈值大于所述第二数量阈值，均衡子模块包括识别单元、筛选单元和扩充单元。其中，识别单元用于识别当前意图标签所对应的目标非问询相关语料的数量是否大于所述第一数量阈值或是否小于所述第二数量阈值；筛选单元用于在当前意图标签所对应的目标非问询相关语料的数量大于所述第一数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行随机筛选，直至当前意图标签所对应的目标非问询相关语料的数量小于等于所述第一数量阈值；扩充单元用于在当前意图标签所对应的目标非问询相关语料的数量小于所述第二数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行语料扩充，直至当前意图标签所对应的目标非问询相关语料数量大于等于所述第二数量阈值。

在本实施例的一些可选的实现方式中，上述扩充单元进一步用于：调用预设的随机过采样包，通过所述随机过采样包对所述当前意图标签所对应的目标非问询相关语料进行随机复制。

本申请通过计算非问询相关语料库中每条非问询相关语料与问询相关语料库之间的相似度，并基于相似度对问询相关语料库和非问询相关语料库进行调整，实现确定出的目标问询相关语料和目标非问询相关语料的准确性较高。通过基于意图标签，将目标非问询相关语料与预设的问询类别进行关联的方式，解决了对不依赖AI问询语料的训练语料不进行问询类别的填充的问题，同时没有造成训练语料的爆炸，保证了模型训练的效率。通过此方式生成的训练语料能够使意图识别模型的准确率保持在高水平。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如意图识别模型的训练语料生成方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述意图识别模型的训练语料生成方法的计算机可读指令。

所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。

在本实施例中，解决了对不依赖AI问询语料的训练语料不进行问询类别的填充的问题，同时获得较佳的训练语料，没有造成训练语料的爆炸，通过训练语料有效提升意图识别模型能够对客户意图识别的准确性。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的意图识别模型的训练语料生成方法。

在本实施例中，解决了对不依赖AI问询语料的训练语料不进行问询类别的填充的问题，同时获得较佳的训练语料，没有造成训练语料的爆炸，通过训练语料有效提升意图识别模型能够对客户意图识别的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (8)

1.一种意图识别模型的训练语料生成方法，其特征在于，包括下述步骤：

接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系；

分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库；

计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；

获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本；

获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本；

将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练；

所述基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本包括：

确定每种所述意图标签所对应的目标非问询相关语料；

基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料；

基于预设的相同概率，将每种所述意图标签所对应的均衡语料与预设的问询类别进行关联，获得所述第二训练样本；

所述数量阈值包括第一数量阈值和第二数量阈值，其中，所述第一数量阈值大于所述第二数量阈值，所述基于预设的数量阈值分别对每种所述意图标签所对应的目标非问询相关语料进行样本均衡处理，获得均衡语料包括：

识别当前意图标签所对应的目标非问询相关语料的数量是否大于所述第一数量阈值或是否小于所述第二数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量大于所述第一数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行随机筛选，直至当前意图标签所对应的目标非问询相关语料的数量小于等于所述第一数量阈值；

在当前意图标签所对应的目标非问询相关语料的数量小于所述第二数量阈值时，对所述当前意图标签所对应的目标非问询相关语料进行语料扩充，直至当前意图标签所对应的目标非问询相关语料数量大于等于所述第二数量阈值。

2.根据权利要求1所述的意图识别模型的训练语料生成方法，其特征在于，所述计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度包括：

将所述问询相关语料输入至预先训练的语言表征模型中，获得问询相关词向量；

将所述非问询相关语料输入至预先训练的语言表征模型中，获得非问询相关词向量；

历遍计算当前所述非问询相关词向量与每个所述问询相关词向量之间的余弦相似度；

将数值最大的余弦相似度作为所述非问询相关语料与所述问询相关语料库之间的相似度。

3.根据权利要求1所述的意图识别模型的训练语料生成方法，其特征在于，所述对所述当前意图标签所对应的目标非问询相关语料进行语料扩充包括：

调用预设的随机过采样包，通过所述随机过采样包对所述当前意图标签所对应的目标非问询相关语料进行随机复制。

4.根据权利要求1所述的意图识别模型的训练语料生成方法，其特征在于，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第一相似度阈值，当所述相似度大于预设的第一相似度阈值时，将对应的所述非问询相关语料作为待确认语料，并通知指定人员对所述待确认语料进行分类；

当识别到所述指定人员完成对所述待确认语料的分类时，根据所述指定人员的分类将所述待确认语料分配至所述非问询相关语料库中或所述问询相关语料库中，获得目标问询相关语料库和目标非问询相关语料库。

5.根据权利要求1所述的意图识别模型的训练语料生成方法，其特征在于，所述基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库包括：

识别所述相似度是否大于预设的第二相似度阈值，当所述相似度大于预设的第二相似度阈值时，从所述非问询相关语料库中删除对应的非问询相关语料，获得目标问询相关语料库和目标非问询相关语料库。

6.一种意图识别模型的训练语料生成装置，其特征在于，所述意图识别模型的训练语料生成装置使用如权利要求1至5任意一项所述的意图识别模型的训练语料生成方法，包括：

匹配模块，用于接收预标注问询类别的AI问询语料和预标注意图标签的客户回答语料，并基于预设的正则表达式对所述客户回答语料进行筛选操作，得到问询相关语料以及非问询相关语料，其中，所述客户回答语料与所述AI问询语料具有一一对应的映射关系；

建立模块，用于分别基于所述问询相关语料和所述非问询相关语料建立问询相关语料库和非问询相关语料库；

计算模块，用于计算所述非问询相关语料库中每条所述非问询相关语料与所述问询相关语料库之间的相似度，并基于所述相似度调整所述问询相关语料库和所述非问询相关语料库，获得目标问询相关语料库和目标非问询相关语料库；

生成模块，用于获取所述目标问询相关语料库中的目标问询相关语料，并基于所述AI问询语料确定所述目标问询相关语料对应的问询类别，基于所述目标问询相关语料对应的问询类别和所述目标问询相关语料生成第一训练样本；

关联模块，用于获取所述目标非问询相关语料库中的目标非问询相关语料，基于所述意图标签，将所述目标非问询相关语料与预设的问询类别进行关联，获得第二训练样本；以及

输出模块，用于将所述第一训练样本和所述第二训练样本作为训练语料并输出，其中，所述训练语料用于意图识别模型的训练。

7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的意图识别模型的训练语料生成方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的意图识别模型的训练语料生成方法。