CN110019696A - 查询意图标注方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了查询意图标注方法、装置、设备及存储介质，其中方法包括：对待标注的query进行分词处理；利用预先训练得到的词向量模型，分别确定出各词的词向量；根据各词的词向量确定出query的query向量；将query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。应用本发明所述方案，能够提高标注效率及标注结果的准确性等。

Description

查询意图标注方法、装置、设备及存储介质

【技术领域】

本发明涉及计算机应用技术，特别涉及查询意图标注方法、装置、设备及存储介质。

【背景技术】

目前，对话式人工智能产品得到了迅速发展，这些产品每天都会接收到众多的来自用户的查询(query)，这些query根据产品appid的不同会被分发到下游的几个甚至几十个垂类，最后选出最满意的答复返回给用户。

用户的每一条query对于产品来说都是十分宝贵的资源，通过对这些query进行分析，可以了解用户的语言习惯、意图倾向等，进而为产品的改进提供依据。

而对这些query进行意图标注(识别)，即加入意图标签，则是分析中十分重要的一环，经过标注，可以知道用户的query究竟是想要做什么，如想要查天气、听故事、亦或只是想聊天等，再比较各个垂类的返回结果，看看有没有过召或者漏召，而对应的评价指标准确率和召回率则是衡量一个垂类性能好坏的重要依据。

现有的标注方法主要包括人工标注法以及关键词提取法。

其中，人工标注法即指人工对query进行意图标注，但这种方法十分的费时费力，效率低下。

关键词提取法是指分别为每个意图建立一系列关键词，若query中出现了对应意图的关键词，则认为该query属于这个意图，但中文的语言比较微妙，同一个关键词在不同的语境下可能会表达完全不同的意图，因此准确性较低，有时候会出现比较大的误差。

【发明内容】

有鉴于此，本发明提供了查询意图标注方法、装置、设备及存储介质，能够提高标注效率及标注结果的准确性。

具体技术方案如下：

一种查询意图标注方法，包括：

对待标注的查询query进行分词处理；

利用预先训练得到的词向量模型，分别确定出各词的词向量；

根据各词的词向量确定出所述query的query向量；

将所述query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

根据本发明一优选实施例，所述根据各词的词向量确定出所述query的query向量包括：

计算各词的词向量的平均值；

将计算结果作为所述query向量。

根据本发明一优选实施例，所述标注模型包括：深度残差网络模型；

所述深度残差网络模型由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成。

根据本发明一优选实施例，每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径；

所述主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍；

所述捷径上包括一个一维卷积层，卷积核数等于所述主径上的第三个一维卷积层的卷积核数；

所述主径和所述捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

根据本发明一优选实施例，所述全连接层中包括3层；

所述输出层通过softmax得到所述意图标注结果。

根据本发明一优选实施例，该方法进一步包括：

对每个一维卷积层和池化层输出的特征分别进行批归一化操作。

根据本发明一优选实施例，该方法进一步包括：

在每个一维卷积层和全连接层之后均采用ReLU作为激活函数。

根据本发明一优选实施例，

训练得到所述词向量模型包括：

利用获取到的语料训练得到所述词向量模型；

训练得到所述深度残差网络模型包括：

获取带有意图标注结果的query集合；

将所述query集合中的各query作为训练样本，训练得到所述深度残差网络模型。

一种查询意图标注装置，包括：分词单元、向量生成单元以及标注单元；

所述分词单元，用于对待标注的查询query进行分词处理，将得到的各词发送给所述向量生成单元；

所述向量生成单元，用于利用预先训练得到的词向量模型，分别确定出各词的词向量，并根据各词的词向量确定出所述query的query向量，将所述query向量发送给所述标注单元；

所述标注单元，用于将所述query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

根据本发明一优选实施例，所述向量生成单元计算各词的词向量的平均值，将计算结果作为所述query向量。

根据本发明一优选实施例，所述标注模型包括：深度残差网络模型；

所述深度残差网络模型由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成。

根据本发明一优选实施例，每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径；

所述主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍；

所述捷径上包括一个一维卷积层，卷积核数等于所述主径上的第三个一维卷积层的卷积核数；

所述主径和所述捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

根据本发明一优选实施例，所述全连接层中包括3层；

所述输出层通过softmax得到所述意图标注结果。

根据本发明一优选实施例，所述深度残差网络模型中的每个一维卷积层和池化层输出的特征分别进行批归一化操作。

根据本发明一优选实施例，所述深度残差网络模型中的每个一维卷积层和全连接层之后均采用ReLU作为激活函数。

根据本发明一优选实施例，所述装置中进一步包括：第一预处理单元以及第二预处理单元；

所述第一预处理单元，用于利用获取到的语料训练得到所述词向量模型，将所述词向量模型发送给所述向量生成单元；

所述第二预处理单元，用于获取带有意图标注结果的query集合，将所述query集合中的各query作为训练样本，训练得到所述深度残差网络模型，将所述深度残差网络模型发送给所述标注单元。

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，可首先对待标注的query进行分词处理，并利用预先训练得到的词向量模型，分别确定出各词的词向量，之后可根据各词的词向量确定出query的query向量，进而将query向量输入给预先训练得到的标注模型，从而得到输出的query的意图标注结果，相比于现有技术，本发明所述方案中无需人工操作，从而提高了标注效率，并且，采用通过深度学习得到的标注模型并结合query向量来对query进行意图标注，避免了现有技术中同一个关键词在不同的语境下可能会表达完全不同的意图等问题，从而提高了标注结果的准确性。

【附图说明】

图1为本发明所述查询意图标注方法实施例的流程图。

图2为本发明所述词向量的示意图。

图3为本发明所述深度残差网络模型的整体框架示意图。

图4为本发明所述残差模块的结构示意图。

图5为本发明所述查询意图标注装置实施例的组成结构示意图。

图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明所述查询意图标注方法实施例的流程图，如图1所示，包括以下具体实现方式。

在101中，对待标注的query进行分词处理。

在102中，利用预先训练得到的词向量模型，分别确定出各词的词向量。

在103中，根据各词的词向量确定出query的query向量。

在104中，将query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

可以看出，为实现上述方案，需要预先训练得到词向量模型以及标注模型，以下分别对这两个模型进行详细介绍。

一)词向量模型

词向量模型，可以将词向量化，相近的词在向量空间中的表示也相近，是一种将中文可度量化的常用工具。

可利用事先准备好的语料来进行词向量模型的训练。所述语料可以包括收集到的query(无意图标签的即可)，也可以包括相关背景方面的语言文字等。比如，针对产品的儿童垂类，用于词向量模型训练的语料中可以包括大量的儿童文学和儿童对话的内容，以保证对于儿童内容的精确理解。

词向量化所使用的算法和工具不作限制，比如，可以使用百度自然语言处理(NLP，Natural Language Processing)部提供的中文词向量表示服务，也可以使用word2vec等。

词向量的维度可以根据机器资源、query量大小等进行选择，较佳地，可以将词向量的维度设置为256维。

图2为本发明所述词向量的示意图，如图2所示，为了更直观的说明，将词向量的维度设置为了2维，可以看到在词向量空间中，意思相近的词在空间中的位置也十分相近。

二)标注模型

标注模型用于根据输入的query向量，给出query的意图标注结果。

标注模型通过深度学习的方法，利用训练样本训练得到，较佳地，标注模型可为深度残差网络模型。

图3为本发明所述深度残差网络模型的整体框架示意图，如图3所示，深度残差网络模型可由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成，其中，输入层、一维卷积层及三个残差模块后的数字表示各层输出的特征的层数和维度，全连接层及输出层后的数字表示各层节点数。

以下对图3中的各部分分别进行说明。

1)输入层

以103中确定出的query向量作为深度残差网络的输入层的输入，较佳地，query向量的维度为256维。

2)残差模块

第一残差模块、第二残差模块以及第三残差模块采用相同的结构，如图4所示，图4为本发明所述残差模块的结构示意图，每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径，主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍，捷径上包括一个一维卷积层，卷积核数等于主径上的第三个一维卷积层的卷积核数，主径和捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

较佳地，池化层的步长以及各一维卷积层的卷积核大小及数量等可如图4所示。

主径上的三个一维卷积层用于提取深层特征，捷径上只有一个一维卷积层，方便训练时残差的向上传播。主径和捷径输出的特征的层数和维度都是一样的，通过融合层进行加和融合(叠加汇合)，进入下一阶段。两条路径的融合，相当于深层特征与浅层特征的融合，可以得到更有效的特征。

3)全连接层

经过第三残差模块的处理之后，将所有特征层“压扁”(flatten)成列向量，输入全连接层。

全连接层中包括3层，较佳地，节点数可分别为16384、512和64。其中，第一个全连接层的节点数与上一层残差模块的输出相等，之后的两个全连接层的节点数可依据经验设定。

另外，还可在全连接层中加入Dropout操作，以提高模型的鲁棒性，防止过拟合。

4)输出层

输出层可通过softmax得到query的意图标注结果。

softmax是机器学习中的一个回归函数，是Logistic回归的推广。

如图3所示，输出层后的数字为4，表示意图分类的类别数，具体取值可根据实际需要而定。

为得到上述深度残差网络模型，可先获取数据源，即获取带有意图标注结果的query集合，之后，可将query集合中的各query作为训练样本，训练得到深度残差网络模型。

query集合中包括的query数可根据实际需要而定，另外，作为训练样本的query的意图标注结果可通过人工标注得到，以确保可信度。

在对深度残差网络模型进行训练时，代价函数可选择为交叉熵，并可采用随机梯度下降的方法来训练网络，学习率设置为1×10^-4，最大训练迭代次数为1000。

相比于传统的神经网络算法，深度残差网络已经达到了一个很深的数量级，而深度网络最大的问题就是训练难度大的问题，因此很多参数的选择，包括捷径的设置等，都是为了降低网络的训练难度。

在此基础上，为了进一步降低网络的训练难度，还可进行以下处理：

1)对每个一维卷积层和池化层输出的特征分别进行批归一化(BatchNormalization)操作；

为了优化深度残差网络的训练过程，可在每个一维卷积层及池化层之后均进行批归一化操作，即在每个一维卷积层及池化层之后可进一步包括一个批归一化层，通过批归一化操作，使得卷积后提取后的特征的均值为0，方差为1，加速训练并优化结果。

2)在每个一维卷积层和全连接层之后均采用ReLU作为激活函数。

除了最后一层使用softmax以外，每个一维卷积层和全连接层之后均采用ReLU(Rectified Linear Units)作为激活函数。

ReLU激活函数具有更快的训练速度，并且使用ReLU的网络在一些情况下的表现比预处理过的网络还要优异。

在实际应用中，可采用任何一款深度学习框架搭建出上述深度残差网络模型，如Tensorflow，caffe以及百度的paddlepaddle等，搭建好后，可使用训练样本进行训练，直至收敛。

三)意图标注

基于上述词向量模型以及深度残差网络模型，即可针对query进行实际的意图标注。

具体地，对于待标注的query，可首先对其进行分词处理。

可采用现有的各分词工具来对待标注的query进行分词处理，从而得到切分出的各词。

之后，可利用词向量模型，分别确定出各词的词向量，较佳地，可为256维的词向量，即分别将每个词变成一个256维的向量。

进一步地，可计算各词的词向量的平均值，并将计算结果作为待标注的query的query向量。

最后，将query向量输入给深度残差网络模型的输入层，得到输出的待标注的query的意图标注结果。

综合上述介绍，本发明所提供的方法实施例中，利用语料训练得到词向量模型，利用带有意图标注结果的query作为训练样本，训练得到深度残差网络模型，当两个模型均训练完成后，利用词向量模型以及深度残差网络模型来对待标注的query进行意图标注，由深度残差网络模型输出意图标注结果。

采用上述方法实施例所述方案，几乎无需人工操作，从而提高了标注效率，而且，采用通过深度学习得到的深度残差网络模型并结合query向量来对query进行意图标注，避免了现有技术中同一个关键词在不同的语境下可能会表达完全不同的意图等问题，从而提高了标注结果的准确性。

另外，上述方法实施例中所述的快速准确的意图标注方式，可以为后续的意图分布分析，各个垂类召回率和准确率的统计等打下基础，从而可以对用户的需求和产品的缺陷有更深一步的理解，对改进产品质量及提高用户的满意度有着十分重要的意义。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图5为本发明所述查询意图标注装置实施例的组成结构示意图，如图5所示，包括：分词单元501、向量生成单元502以及标注单元503。

分词单元501，用于对待标注的query进行分词处理，将得到的各词发送给向量生成单元502。

向量生成单元502，用于利用预先训练得到的词向量模型，分别确定出各词的词向量，并根据各词的词向量确定出query的query向量，将query向量发送给标注单元503。

标注单元503，用于将query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

较佳地，标注模型可为深度残差网络模型，可以看出，为实现上述方案，需要预先训练得到词向量模型以及深度残差网络模型，相应地，图5所示装置中可进一步包括：第一预处理单元504以及第二预处理单元505。

第一预处理单元504，用于利用获取到的语料训练得到词向量模型，将词向量模型发送给向量生成单元502。

第二预处理单元505，用于获取带有意图标注结果的query集合，将query集合中的各query作为训练样本，训练得到深度残差网络模型，将深度残差网络模型发送给标注单元503。

词向量模型，可以将词向量化，相近的词在向量空间中的表示也相近。

可利用事先准备好的语料来进行词向量模型的训练。所述语料可以包括收集到的query(无意图标签的即可)，也可以包括相关背景方面的语言文字等。

词向量的维度可以根据机器资源、query量大小等进行选择，较佳地，可以将词向量的维度设置为256维。

如图3所示，深度残差网络模型可由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成。

可以确定出的query向量作为深度残差网络的输入层的输入，较佳地，query向量的维度为256维。

第一残差模块、第二残差模块以及第三残差模块采用相同的结构，如图4所示，每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径，主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍，捷径上包括一个一维卷积层，卷积核数等于主径上的第三个一维卷积层的卷积核数，主径和捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

较佳地，池化层的步长以及各一维卷积层的卷积核大小及数量等可如图4所示。

主径上的三个一维卷积层用于提取深层特征，捷径上只有一个一维卷积层，方便训练时残差的向上传播。主径和捷径输出的特征的层数和维度都是一样的，通过融合层进行加和融合，进入下一阶段。两条路径的融合，相当于深层特征与浅层特征的融合，可以得到更有效的特征。

全连接层中包括3层，较佳地，节点数可分别为16384、512和64。其中，第一个全连接层的节点数与上一层残差模块的输出相等，之后的两个全连接层的节点数可依据经验设定。

另外，还可在全连接层中加入Dropout操作，以提高模型的鲁棒性，防止过拟合。

输出层可通过softmax得到query的意图标注结果。

为得到上述深度残差网络模型，第二预处理单元505可先获取数据源，即获取带有意图标注结果的query集合，之后，可将query集合中的各query作为训练样本，训练得到深度残差网络模型。

query集合中包括的query数可根据实际需要而定，另外，作为训练样本的query的意图标注结果可通过人工标注得到，以确保可信度。

在对深度残差网络模型进行训练时，代价函数可选择为交叉熵，并可采用随机梯度下降的方法来训练网络，学习率设置为1×10^-4，最大训练迭代次数为1000。

相比于传统的神经网络算法，深度残差网络已经达到了一个很深的数量级，而深度网络最大的问题就是训练难度大的问题，因此很多参数的选择，包括捷径的设置等，都是为了降低网络的训练难度。

在此基础上，为了进一步降低网络的训练难度，还可进行以下处理：

1)深度残差网络模型中的每个一维卷积层和池化层输出的特征分别进行批归一化操作；

为了优化深度残差网络的训练过程，可在每个一维卷积层及池化层之后均进行批归一化操作，加速训练并优化结果。

2)深度残差网络模型中的每个一维卷积层和全连接层之后均采用ReLU作为激活函数；

ReLU激活函数具有更快的训练速度，并且使用ReLU的网络在一些情况下的表现比预处理过的网络还要优异。

在训练得到词向量模型以及深度残差网络模型之后，即可针对query进行实际的意图标注。

相应地，针对待标注的query，分词单元501可对其进行分词处理，从而得到切分出的各词，发送给向量生成单元502。

向量生成单元502可利用词向量模型，分别确定出各词的词向量，并可进一步计算出各词的词向量的平均值，将计算结果作为待标注的query的query向量，发送给标注单元503。

标注单元503可将query向量输入给深度残差网络模型，从而得到输出的意图标注结果。

图5所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。

总之，采用上述装置实施例所述方案，几乎无需人工操作，从而提高了标注效率，而且，采用通过深度学习得到的深度残差网络模型并结合query向量来对query进行意图标注，避免了现有技术中同一个关键词在不同的语境下可能会表达完全不同的意图等问题，从而提高了标注结果的准确性。

另外，上述装置实施例中所述的快速准确的意图标注方式，可以为后续的意图分布分析，各个垂类召回率和准确率的统计等打下基础，从而可以对用户的需求和产品的缺陷有更深一步的理解，对改进产品质量及提高用户的满意度有着十分重要的意义。

图6示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图6显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法，即对待标注的query进行分词处理，利用预先训练得到的词向量模型，分别确定出各词的词向量，根据各词的词向量确定出query的query向量，将query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

具体实现请参照前述各实施例中的相关说明，不再赘述。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种查询意图标注方法，其特征在于，包括：

对待标注的查询query进行分词处理；

利用预先训练得到的词向量模型，分别确定出各词的词向量；

根据各词的词向量确定出所述query的query向量；

将所述query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

2.根据权利要求1所述的方法，其特征在于，

所述根据各词的词向量确定出所述query的query向量包括：

计算各词的词向量的平均值；

将计算结果作为所述query向量。

3.根据权利要求1所述的方法，其特征在于，

所述标注模型包括：深度残差网络模型；

所述深度残差网络模型由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成。

4.根据权利要求3所述的方法，其特征在于，

每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径；

所述主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍；

所述捷径上包括一个一维卷积层，卷积核数等于所述主径上的第三个一维卷积层的卷积核数；

所述主径和所述捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

5.根据权利要求3所述的方法，其特征在于，

所述全连接层中包括3层；

所述输出层通过softmax得到所述意图标注结果。

6.根据权利要求4所述的方法，其特征在于，

该方法进一步包括：

对每个一维卷积层和池化层输出的特征分别进行批归一化操作。

7.根据权利要求4所述的方法，其特征在于，

该方法进一步包括：

在每个一维卷积层和全连接层之后均采用ReLU作为激活函数。

8.根据权利要求3所述的方法，其特征在于，

训练得到所述词向量模型包括：

利用获取到的语料训练得到所述词向量模型；

训练得到所述深度残差网络模型包括：

获取带有意图标注结果的query集合；

将所述query集合中的各query作为训练样本，训练得到所述深度残差网络模型。

9.一种查询意图标注装置，其特征在于，包括：分词单元、向量生成单元以及标注单元；

所述分词单元，用于对待标注的查询query进行分词处理，将得到的各词发送给所述向量生成单元；

所述向量生成单元，用于利用预先训练得到的词向量模型，分别确定出各词的词向量，并根据各词的词向量确定出所述query的query向量，将所述query向量发送给所述标注单元；

所述标注单元，用于将所述query向量输入给预先训练得到的标注模型，得到输出的意图标注结果。

10.根据权利要求9所述的装置，其特征在于，

所述向量生成单元计算各词的词向量的平均值，将计算结果作为所述query向量。

11.根据权利要求9所述的装置，其特征在于，

所述标注模型包括：深度残差网络模型；

所述深度残差网络模型由输入层、一维卷积层、第一残差模块、第二残差模块、第三残差模块、全连接层以及输出层组成。

12.根据权利要求11所述的装置，其特征在于，

每个残差模块中输入的特征经过池化层后分为一条主径和一条捷径；

所述主径上包括三个一维卷积层，其中前两个一维卷积层的卷积核数相同，第三个一维卷积层的卷积核数翻倍；

所述捷径上包括一个一维卷积层，卷积核数等于所述主径上的第三个一维卷积层的卷积核数；

所述主径和所述捷径输出的特征经过融合层的加和融合后作为残差模块的输出。

13.根据权利要求11所述的装置，其特征在于，

所述全连接层中包括3层；

所述输出层通过softmax得到所述意图标注结果。

14.根据权利要求12所述的装置，其特征在于，

所述深度残差网络模型中的每个一维卷积层和池化层输出的特征分别进行批归一化操作。

15.根据权利要求12所述的装置，其特征在于，

所述深度残差网络模型中的每个一维卷积层和全连接层之后均采用ReLU作为激活函数。

16.根据权利要求11所述的装置，其特征在于，

所述装置中进一步包括：第一预处理单元以及第二预处理单元；

所述第一预处理单元，用于利用获取到的语料训练得到所述词向量模型，将所述词向量模型发送给所述向量生成单元；

所述第二预处理单元，用于获取带有意图标注结果的query集合，将所述query集合中的各query作为训练样本，训练得到所述深度残差网络模型，将所述深度残差网络模型发送给所述标注单元。

17.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。