CN116738973B - 一种搜索意图识别方法、构建预测模型的方法和电子设备 - Google Patents

Abstract

本申请实施例公开了一种搜索意图识别方法、构建预测模型的方法和电子设备，该搜索意图识别方法包括：从搜索文本中提取至少一个n元语法词；将至少一个n元语法词作为预测模型的输入数据，通过预测模型输出搜索文本的意图。其中，预测模型包括n元语法概率模型，文本分类模型和自注意力模型。根据自注意力模型输出的权重能够对n元语法概率模型输出的意图概率进行修正，基于修正后的意图概率生成的搜索文本意图比n元语法概率模型输出的意图概率更加准确。

Description

一种搜索意图识别方法、构建预测模型的方法和电子设备

技术领域

本申请涉及搜索领域，尤其涉及一种搜索意图识别方法、构建预测模型方法和电子设备。

背景技术

搜索意图识别是一种在用户搜索时预测用户意图的技术。

目前有一种搜索意图识别方法大致如下：对于n元语法类别，按照词频将每个类别的语法词排列为语法词序列，从搜索文本中提取多个n元语法词，按照词频将多个n元语法词排列为待识别序列，计算待识别序列与每个类别的语法词序列的距离，根据最小距离对应的语法词序列确定搜索意图。例如，短文本为“木鱼怎么做”，短文本的语法词以“鱼”，“木鱼”和“怎么做”为例，“鱼”，“木鱼”和“怎么做”与食谱类别的语法词之间的距离分别为10，300和10。“鱼”，“木鱼”和“怎么做”与手工类别的语法词之间的距离分别为300，200和10。短文本的语法词与食谱类别的语法词之间的距离之和为320，短文本的语法词与手工类别的语法词之间的距离之和为510，则确定搜索意图为食谱类别。

可以看出，在短文本中错误分类的语法词的占比可能过高，对序列间的距离影响大，因此根据序列间的距离值容易得到错误搜索意图。

发明内容

本申请提供了一种搜索意图识别方法、构建预测模型的方法、电子设备、计算机程序产品及计算机可读存储介质，目的在于解决短文本意图识别能力不足的问题。

为了实现上述目的，本申请提供了以下技术方案：

第一方面提供一种搜索意图识别方法，该方法包括：接收搜索文本后，从搜索文本中提取至少一个n元语法词；将至少一个n元语法词作为预测模型的输入数据，通过预测模型输出搜索文本的意图。其中，预测模型包括n元语法概率模型，文本分类模型和自注意力模型，n元语法概率模型用于根据n元语法词输出n元语法词的意图概率，文本分类模型用于将至少一个n元语法词转换为向量，自注意力模型用于根据文本分类模型输出的向量生成至少一个n元语法词的权重，乘法层用于根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率。

该方法中的自注意力模型能够拟合文本分类结果与真实意图标签的对应关系。自注意力模型能够为错误类别的语法词分配小权重，为正确类别相关的语法词分配大权重，这样根据自注意力模型输出的权重能够对n元语法概率模型输出的意图概率进行修正，减少错误分类语法词对搜索文本意图的影响。

在一种可能的实现方式中，通过预测模型输出搜索文本的意图包括：将至少一个n元语法词输入n元语法概率模型，通过n元语法概率模型输出至少一个n元语法词的意图概率；将至少一个n元语法词输入文本分类模型，通过文本分类模型输出向量；将向量输入自注意力模型，通过自注意力模型输出每个n元语法词的权重；根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；根据至少一个n元语法词的加权意图概率确定搜索文本的意图。

在另一种可能的实现方式中，根据至少一个n元语法词的加权意图概率确定搜索文本的意图包括：根据至少一个n元语法词的加权意图概率输入全连接层；使用归一化指数函数和全连接层的输出结果计算出搜索文本的意图。

结合以上可能的实现方式，在另一种可能的实现方式中，文本分类模型为文本卷积神经网络模型。

第二方面提供一种构建预测模型的方法，该方法包括：获取意图标签集合和数据集合；根据意图标签集合从数据集合中提取命名实体集合，数据集合包括外部数据和搜索点击日志；根据意图标签集合和命名实体集合生成n元语法概率模型；根据搜索点击日志包括的命名实体和意图标签训练文本分类模型；根据文本分类模型输出的向量和搜索点击日志包括的意图标签训练自注意力模型；根据n元语法概率模型，文本分类模型，自注意力模型和预设的乘法层组成预测模型。乘法层分别连接n元语法概率模型和自注意力模型。依此实施，根据命名实体的文本分类结果(即文本分类模型输出的向量)与意图标签之间的损失可以训练出自注意力模型，由此得到的自注意力模型可以拟合命名实体的文本分类结果与意图标签的对应关系。

在一种可能的实现方式中，根据意图标签集合和命名实体集合生成n元语法概率模型包括：根据意图标签集合和命名实体集合生成n元语法意图字典；根据n元语法意图字典生成n元语法概率模型。

在另一种可能的实现方式中，根据n元语法意图字典生成n元语法概率模型包括：对n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。

第三方面提供一种电子设备，该电子设备包括输入单元和预测单元，输入单元用于接收搜索文本；预测单元用于从搜索文本中提取至少一个n元语法词；将至少一个n元语法词作为预测模型的输入数据，通过预测模型输出搜索文本的意图。

其中，预测模型包括n元语法概率模型，文本分类模型和自注意力模型，n元语法概率模型用于根据至少一个n元语法词输出n元语法词的意图概率，文本分类模型用于将至少一个n元语法词转换为向量，自注意力模型用于根据文本分类模型输出的向量生成至少一个n元语法词的权重，乘法层用于根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率。

在一种可能的实现方式中，预测单元具体用于将至少一个n元语法词输入n元语法概率模型，通过n元语法概率模型输出至少一个n元语法词的意图概率；将至少一个n元语法词输入文本分类模型，通过文本分类模型输出向量；将向量输入自注意力模型，通过自注意力模型输出每个n元语法词的权重；根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；根据至少一个n元语法词的加权意图概率确定搜索文本的意图。

在另一种可能的实现方式中，预测单元具体用于根据至少一个n元语法词的加权意图概率输入全连接层；使用归一化指数函数和全连接层的输出结果计算出搜索文本的意图。

结合以上可能的实现方式，在另一种可能的实现方式中，文本分类模型为文本卷积神经网络模型。

第四方面提供一种电子设备，该电子设备包括获取单元，生成单元，第一训练单元，第二训练单元和组合单元；

获取单元用于获取意图标签集合和数据集合；

生成单元用于根据意图标签集合从数据集合中提取命名实体集合，数据集合包括外部数据和搜索点击日志；根据意图标签集合和命名实体集合生成n元语法概率模型；

第一训练单元用于根据搜索点击日志包括的命名实体和意图标签训练文本分类模型；

第二训练单元用于根据文本分类模型输出的向量和搜索点击日志包括的意图标签训练自注意力模型；

组合单元用于根据n元语法概率模型，文本分类模型和自注意力模型组成预测模型。

在一种可能的实现方式中，生成单元具体用于根据意图标签集合和命名实体集合生成n元语法意图字典；根据n元语法意图字典生成n元语法概率模型。

进一步的，生成单元具体用于对n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。

第五方面提供一种电子设备，其包括处理器和存储器，所述存储器用于存储程序；所述处理器通过执行程序用于实现第一方面的方法。

第六方面提供一种电子设备，其包括处理器和存储器，所述存储器用于存储程序；所述处理器通过执行程序用于实现第二方面的方法。

第七方面提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

第八方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。

附图说明

图1为本申请实施例中搜索场景的一个示意图；

图2为本申请实施例中构建预测模型的一个流程图；

图3A为本申请实施例中提取1元命名实体的一个示意图；

图3B为本申请实施例中提取2元命名实体的一个示意图；

图3C为本申请实施例中提取3元命名实体的一个示意图；

图3D为本申请实施例中提取4元命名实体的一个示意图；

图4为本申请实施例中构建预测模型的一个示意图；

图5为本申请实施例中搜索意图识别方法的一个流程图；

图6为本申请实施例中搜索意图识别方法的一个示意图；

图7为本申请实施例中电子设备的一个结构图；

图8为本申请实施例中电子设备的另一个结构图；

图9为本申请实施例中电子设备的一个硬件结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

本申请可以应用于各种搜索场景，例如短文本搜索场景、关闭个性化推荐服务的搜索场景或者冷启动搜索场景。

短文本具有长度短，涉及范围广的特点。第一，短文本缺乏上下文信息，易产生歧义。参阅图1，在一个示例中，搜索“三国演义”时，用户的搜索意图可能是查看百科的“三国演义”(即搜索意图3)，可能是看“三国演义”电视剧(即搜索意图2)，也有可能是阅读《三国演义》小说(即搜索意图1)。第二，涉及范围广会加剧长尾现象，搜索次数少的文本难以被模型记住。第三，网络小说、影视剧、音乐、医学药品等领域更新文本的速度快且搜索次数多，会导致识别错误或不能识别概率过高。

对于现有方法识别搜索意图的能力不足的问题，本申请提供一种预测模型能够提高识别搜索意图的准确率。下面对构建预测模型的方法进行介绍，参阅图2，在一个实施例中，本申请中构建预测模型的方法包括：

步骤201、获取意图标签集合。

本实施例中，可以预先收集用户搜索意图，根据收集的用户搜索意图生成意图标签集合。

步骤202、根据意图标签集合从数据集合中提取命名实体集合，数据集合包括外部数据和搜索点击日志。

命名实体可以包括人名、机构名、地名以及其他所有以名称为标识的实体，还可以包括数字、日期、货币、地址等等。

外部数据是指从外部网站的文本数据。外部网站可以是小说网，影视排行榜网站，图书网等等，本申请不作限定。可选的，搜索点击日志包括搜索词和搜索词对应的文档，文档标签可以作为意图标签。

步骤203、根据意图标签集合和命名实体集合生成n元语法概率模型。

获取意图标签集合和命名实体集合后，根据其中具有关联关系的意图标签和命名实体可以生成n元语法意图字典。n元语法意图字典也称为n-gram意图字典，其包括的命名实体的字数小于或等于n，n为正整数。下面对从短文本提取不同长度的命名实体的过程进行介绍，短文本以“辣炒五花肉的做法”为例，

参阅图3A，在一个示例中，从其中提取1元命名实体包括：辣、炒、五、花、肉、的、做、法。

参阅图3B，在另一个示例中，从其中提取2元命名实体包括：辣、炒、五、花、肉、的、做、法、辣炒、炒五、五花、花肉、肉的、的做、做法。

参阅图3C，在另一个示例中，从其中提取3元命名实体包括：辣、炒、五、花、肉、的、做、法、辣炒、炒五、五花、花肉、肉的、的做、做法、辣炒五、炒五花、五花肉、肉的做、的做法。

参阅图3D，在另一个示例中，从其中提取4元命名实体包括：辣、炒、五、花、肉、的、做、法、辣炒、炒五、五花、花肉、肉的、的做、做法、辣炒五、炒五花、五花肉、肉的做、的做法、辣炒五花、炒五花肉、五花肉的、花肉的做、肉的做法。

可选的，n元语法意图字典可以分为训练集、测试集和验证集。本申请可以根据n元语法意图字典或训练集生成n元语法概率模型。

可选的，根据n元语法意图字典生成n元语法概率模型包括：对n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。文本清洗是指去除n元语法意图字典中的停用词，停用词可以根据实际情况预先设置，例如“怎么做”、“是什么”等等，本申请不作限定。同理，可以去除训练集中的停用词。

具体的，n元语法意图字典包括多个意图标签，每个意图标签对应一个命名实体子集。命名实体子集包括一个或多个命名实体以及每个命名实体出现的次数。根据第i个命名实体出现的次数，第j个命名实体子集中所有命名实体出现的次数确定第i个命名实体具有第j个意图标签的意图概率，i和j均为正整数。

可选的，第j个命名实体子集包括K个命名实体，第j个命名实体子集中第i个命名实体的意图概率公式为：

p_ij为第i个命名实体具有第j个意图标签的意图概率，w_i为第i个命名实体出现的次数。

n元语法概率模型包括全部命名实体子集对应的意图概率公式，因此基于n元语法概率模型能够计算出某个命名实体具有各意图标签的意图概率。n元语法概率模型包括的意图概率公式不限于上述举例，具体可以根据实际情况进行设置。

步骤204、根据搜索点击日志包括的命名实体和意图标签训练文本分类模型。

每个命名实体可以对应多个意图标签，根据搜索点击日志包括的命名实体和意图标签可以确定每个命名实体的多个意图概率，根据命名实体与其对应的多个意图概率可以训练文本分类模型。文本分类模型用于将每个命名实体转换为向量。可选的，文本分类模型为文本卷积神经网络(text convolutional neural networks)模型。

步骤205、根据文本分类模型输出的向量和搜索点击日志包括的意图标签训练自注意力模型。

自注意力模型用于根据文本分类模型输出的向量生成命名实体的权重。具体的，计算出文本分类模型输出的向量和搜索点击日志包括的意图标签之间的损失(即差值)，根据损失训练出自注意力模型。训练自注意力模型的方法可以是但不限于反向传播算法(backpropagation algorithm)。

步骤206、根据n元语法概率模型，文本分类模型和自注意力模型和预设的乘法层组成预测模型。

乘法层分别连接n元语法概率模型和自注意力模型。可选的，步骤206包括：根据n元语法概率模型，文本分类模型，自注意力模型，乘法层，全连接层和输出层组成预测模型。全连接层分别连接乘法层和输出层，全连接层和输出层可以预先配置。

本实施例中，n元语法概率模型可以确定每个命名实体的意图概率分布，自注意力模型可以确定每个命名实体的权重，结合意图概率分布和权重能够提高预测意图的准确性，减少歧义问题。

其次，n元语法概率模型包括的公式是固定的。在新命名实体加入n元语法意图字典后，不需要重新训练n元语法概率模型，就可以获得新命名实体的意图概率。

再次，现有的深度学习模型通常对搜索次数多的命名实体给予高权重，对于搜索次数少的命名实体，深度学习模型可能忽略。由于搜索次数少的命名实体对应的意图标签也少，根据本申请的n元语法概率模型能够将与搜索次数少的命名实体无关的意图概率置0，提高预测搜索意图准确性的同时可以减少长尾现象。

下面以图4对本申请构建预测模型的过程进行介绍，参阅图4，在一个示例中，根据意图标签集合从外部数据中提取第一命名实体集合，根据意图标签集合从搜索点击日志中提取第二命名实体集合，根据意图标签集合、第一命名实体集合和第二命名实体集合生成n元语法意图字典，根据n元语法意图字典生成n元语法概率模型。以及，根据意图标签集合和第二命名实体集合训练文本分类模型，根据文本分类模型输出的向量训练出自注意力模型，然后根据n元语法概率模型，文本分类模型，自注意力模型以及乘法层，全连接层和输出层组成预测模型。

下面对本申请的搜索意图识别方法进行介绍，参阅图5，在一个实施例中，本申请的搜索意图识别方法包括：

步骤501、接收搜索文本。

步骤502、从搜索文本中提取至少一个n元语法词。

步骤503、将至少一个n元语法词作为预测模型的输入数据，通过预测模型输出搜索文本的意图。

可选的，通过预测模型输出搜索文本的意图包括：将至少一个n元语法词输入n元语法概率模型，通过n元语法概率模型输出至少一个n元语法词的意图概率；将至少一个n元语法词输入文本分类模型，通过文本分类模型输出向量；将向量输入自注意力模型，通过自注意力模型输出每个n元语法词的权重；根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；根据至少一个n元语法词的加权意图概率确定搜索文本的意图。

本实施例中的n元语法概率模型、文本分类模型和自注意力模型可参阅图2所示实施例中的n元语法概率模型、文本分类模型和自注意力模型。

本实施例中，根据自注意力模型输出的权重能够对n元语法概率模型输出的意图概率进行修正，基于修正后的意图概率生成的搜索文本意图比n元语法概率模型输出的意图概率更加准确，减少歧义问题。

其次，n元语法概率模型包括的公式是固定的。在新命名实体加入n元语法意图字典后，不需要重新训练n元语法概率模型，就可以获得新命名实体的意图概率。

再次，现有的深度学习模型通常对搜索次数多的命名实体给予高权重，对于搜索次数少的命名实体，深度学习模型可能忽略。由于搜索次数少的命名实体对应的意图标签也少，根据本申请的n元语法概率模型能够将与搜索次数少的命名实体无关的意图概率置0，提高预测搜索意图准确性的同时可以减少长尾现象。

在一个可选实施例中，根据至少一个n元语法词的加权意图概率确定搜索文本的意图包括：根据至少一个n元语法词的加权意图概率输入全连接层；使用归一化指数函数和全连接层的输出结果计算出搜索文本的意图。本实施例可以对加权意图概率进行全连接处理，得到更加准确的意图概率向量。归一化指数函数也称为softmax函数。

下面对图5所示的搜索意图识别方法进行介绍，参阅图6，在一个示例中，搜索文本为“辣炒五花肉的做法”，从“辣炒五花肉的做法”中提取4元语法词，4元语法词包括辣、炒、五、花、肉、的、做、法、辣炒、炒五、五花、花肉、肉的、的做、做法、辣炒五、炒五花、五花肉、肉的做、的做法、辣炒五花、炒五花肉、五花肉的、花肉的做、肉的做法。

将4元语法词输入n元语法概率模型得到每个语法词的意图概率。将4元语法词输入文本分类模型，经过文本分类模型和自注意模型处理为每个语法词的权重，通过乘法层将每个语法词的意图概率与权重相乘，再经过全连接层处理，由输出层输出搜索意图。搜索意图以“辣炒五花肉的做法”的视频为例，根据该搜索意图可以获取该视频的统一资源定位系统(uniform resource locator，URL)地址，然后将该视频的URL地址置顶，以便于用户观看视频。

参阅图7，本申请提供一种电子设备能够实现图5所示实施例的方法。在一个实施例中，本申请的电子设备700包括：

输入单元701用于接收搜索文本；

预测单元702用于从搜索文本中提取至少一个n元语法词；将至少一个n元语法词作为预测模型的输入数据，通过预测模型输出搜索文本的意图。

其中，预测模型包括n元语法概率模型，文本分类模型和自注意力模型，n元语法概率模型用于根据n元语法词输出n元语法词的意图概率，文本分类模型用于将至少一个n元语法词转换为向量，自注意力模型用于根据文本分类模型输出的向量生成至少一个n元语法词的权重，乘法层用于根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率。

在一个可选实施例中，预测单元702包括：

第一处理单元，用于将至少一个n元语法词输入n元语法概率模型，通过n元语法概率模型输出至少一个n元语法词的意图概率；

第二处理单元，用于将至少一个n元语法词输入文本分类模型，通过文本分类模型输出向量；

第三处理单元，用于将向量输入自注意力模型，通过自注意力模型输出每个n元语法词的权重；

加权单元，用于根据至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；

确定单元，用于根据至少一个n元语法词的加权意图概率确定搜索文本的意图。

在另一个可选实施例中，确定单元具体用于根据至少一个n元语法词的加权意图概率输入全连接层；使用归一化指数函数和全连接层的输出结果计算出搜索文本的意图。

参阅图8，本申请提供一种电子设备能够实现图2所示实施例的方法。在一个实施例中，电子设备800包括：

获取单元801用于获取意图标签集合和数据集合；

生成单元802用于根据意图标签集合从数据集合中提取命名实体集合，数据集合包括外部数据和搜索点击日志；根据意图标签集合和命名实体集合生成n元语法概率模型；

第一训练单元803用于根据搜索点击日志包括的命名实体和意图标签训练文本分类模型；

第二训练单元804用于根据文本分类模型输出的向量和搜索点击日志包括的意图标签训练自注意力模型；

组合单元805用于根据n元语法概率模型，文本分类模型，自注意力模型和预设的乘法层组成预测模型，乘法层分别连接n元语法概率模型和自注意力模型。

在一个可选实施例中，生成单元802具体用于根据意图标签集合和命名实体集合生成n元语法意图字典；根据n元语法意图字典生成n元语法概率模型。

在另一个可选实施例中，生成单元802具体用于对n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。

本申请还提供一种电子设备900。如图9所示，电子设备900包括：总线902、处理器904、存储器906和通信接口908。处理器904、存储器906和通信接口908之间通过总线902通信。应理解，本申请不限定电子设备900中的处理器、存储器的个数。

总线902可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。总线902可包括在电子设备900各个部件(例如，存储器906、处理器904、通信接口908)之间传送信息的通路。

处理器904可以包括中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、微处理器(micro processor，MP)或者数字信号处理器(digital signal processor，DSP)等处理器中的任意一种或多种。

存储器906可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。处理器904还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，机械硬盘(hard diskdrive，HDD)或固态硬盘(solid state drive，SSD)。

存储器906中存储有可执行的程序代码，处理器904执行该可执行的程序代码以分别实现前述输入单元701和预测单元702的功能，或者实现前述获取单元801，生成单元802，第一训练单元803，第二训练单元804和组合单元805的功能，从而实现搜索意图识别方法或构建预测模型的方法。也即，存储器906上存有用于执行搜索意图识别方法或构建预测模型的方法的指令。

通信接口908使用例如但不限于网络接口卡、收发器一类的收发模块，来实现电子设备900与其他设备或通信网络之间的通信。

该电子设备可以是服务器，例如是中心服务器、边缘服务器，或者是本地数据中心中的本地服务器。在一些实施例中，电子设备也可以是台式机、笔记本电脑或者智能手机等终端设备。

本申请实施例还提供了一种包含指令的计算机程序产品。计算机程序产品可以是包含指令的，能够运行在电子设备上或被储存在任何可用介质中的软件或程序产品。当计算机程序产品在电子设备上运行时，使得电子设备执行搜索意图识别方法或构建预测模型的方法。

本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是电子设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，所述指令指示电子设备执行搜索意图识别方法或构建预测模型的方法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (14)

1.一种搜索意图识别方法，其特征在于，包括：

接收搜索文本；

从所述搜索文本中提取至少一个n元语法词；

将所述至少一个n元语法词作为预测模型的输入数据，通过预测模型输出所述搜索文本的意图；

其中，所述预测模型包括n元语法概率模型，文本分类模型，自注意力模型和乘法层，所述n元语法概率模型用于根据所述n元语法词输出n元语法词的意图概率，所述文本分类模型用于将所述至少一个n元语法词转换为向量，所述自注意力模型用于根据文本分类模型输出的向量生成所述至少一个n元语法词的权重，所述乘法层用于根据所述至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；

所述文本分类模型输出的向量为命名实体的文本分类结果，所述自注意力模型用于拟合所述文本分类结果与真实意图标签的对应关系；

所述自注意力模型为错误类别的n元语法词分配小权重，为正确类别的n元语法词分配大权重。

2.根据权利要求1所述的方法，其特征在于，所述通过预测模型输出所述搜索文本的意图包括：

将所述至少一个n元语法词输入n元语法概率模型，通过所述n元语法概率模型输出至少一个n元语法词的意图概率；

将所述至少一个n元语法词输入文本分类模型，通过所述文本分类模型输出向量；

将所述向量输入自注意力模型，通过所述自注意力模型输出每个n元语法词的权重；

根据所述至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；

根据至少一个n元语法词的加权意图概率确定所述搜索文本的意图。

3.根据权利要求2所述的方法，其特征在于，所述根据至少一个n元语法词的加权意图概率确定所述搜索文本的意图包括：

根据所述至少一个n元语法词的加权意图概率输入全连接层；

使用归一化指数函数和全连接层的输出结果计算出所述搜索文本的意图。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述文本分类模型为文本卷积神经网络模型。

5.一种构建预测模型的方法，其特征在于，包括：

获取意图标签集合和数据集合；

根据所述意图标签集合从数据集合中提取命名实体集合，所述数据集合包括外部数据和搜索点击日志；

根据意图标签集合和命名实体集合生成n元语法概率模型；

根据所述搜索点击日志包括的命名实体和意图标签训练文本分类模型；

根据文本分类模型输出的向量和所述搜索点击日志包括的意图标签训练自注意力模型；

根据n元语法概率模型，文本分类模型，自注意力模型和预设的乘法层组成预测模型，所述乘法层分别连接所述n元语法概率模型和所述自注意力模型；

所述根据意图标签集合和命名实体集合生成n元语法概率模型包括：

根据意图标签集合和命名实体集合中具有关联关系的意图标签和命名实体，生成n元语法意图字典，所述n元语法意图字典包括多个意图标签，每个意图标签对应一个命名实体子集；

根据所述n元语法意图字典生成n元语法概率模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述n元语法意图字典生成n元语法概率模型包括：

对所述n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。

7.一种电子设备，其特征在于，包括：

输入单元，用于接收搜索文本；

预测单元，用于从所述搜索文本中提取至少一个n元语法词；将所述至少一个n元语法词作为预测模型的输入数据，通过预测模型输出所述搜索文本的意图；

其中，所述预测模型包括n元语法概率模型，文本分类模型，自注意力模型和乘法层，所述n元语法概率模型用于根据所述至少一个n元语法词输出n元语法词的意图概率，所述文本分类模型用于将所述至少一个n元语法词转换为向量，所述自注意力模型用于根据文本分类模型输出的向量生成所述至少一个n元语法词的权重，乘法层用于根据所述至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；

所述文本分类模型输出的向量为命名实体的文本分类结果，所述自注意力模型用于拟合所述文本分类结果与真实意图标签的对应关系；

所述自注意力模型为错误类别的n元语法词分配小权重，为正确类别的n元语法词分配大权重。

8.根据权利要求7所述的电子设备，其特征在于，所述预测单元包括：

第一处理单元，用于将所述至少一个n元语法词输入n元语法概率模型，通过所述n元语法概率模型输出至少一个n元语法词的意图概率；

第二处理单元，用于将所述至少一个n元语法词输入文本分类模型，通过所述文本分类模型输出向量；

第三处理单元，用于将所述向量输入自注意力模型，通过所述自注意力模型输出每个n元语法词的权重；

加权单元，用于根据所述至少一个n元语法词的意图概率与n元语法词的权重计算出至少一个n元语法词的加权意图概率；

确定单元，用于根据至少一个n元语法词的加权意图概率确定所述搜索文本的意图。

9.根据权利要求8所述的电子设备，其特征在于，所述确定单元具体用于根据所述至少一个n元语法词的加权意图概率输入全连接层；使用归一化指数函数和全连接层的输出结果计算出所述搜索文本的意图。

10.根据权利要求7至9中任一项所述的电子设备，其特征在于，所述文本分类模型为文本卷积神经网络模型。

11.一种电子设备，其特征在于，包括：

获取单元，用于获取意图标签集合和数据集合；

生成单元，用于根据所述意图标签集合从数据集合中提取命名实体集合，所述数据集合包括外部数据和搜索点击日志；根据意图标签集合和命名实体集合生成n元语法概率模型；

第一训练单元，用于根据所述搜索点击日志包括的命名实体和意图标签训练文本分类模型；

第二训练单元，用于根据文本分类模型输出的向量和所述搜索点击日志包括的意图标签训练自注意力模型；

组合单元，用于根据n元语法概率模型，文本分类模型，自注意力模型和预设的乘法层组成预测模型，所述乘法层分别连接所述n元语法概率模型和所述自注意力模型；

所述生成单元具体用于：

根据意图标签集合和命名实体集合中具有关联关系的意图标签和命名实体，生成n元语法意图字典，所述n元语法意图字典包括多个意图标签，每个意图标签对应一个命名实体子集；

根据所述n元语法意图字典生成n元语法概率模型。

12.根据权利要求11所述的电子设备，其特征在于，所述生成单元具体用于对所述n元语法意图字典进行文本清洗；根据文本清洗后的n元语法意图字典生成n元语法概率模型。

13.一种电子设备，其特征在于，包括处理器和存储器，存储器用于存储指令，处理器用于执行所述指令，使得所述电子设备执行权利要求1至6中任一项所述的方法。

14.一种存储有指令的计算机可读存储介质，其特征在于，当所述指令在计算机上运行时，使得计算机执行权利要求1至6中任一项所述的方法。