CN114398902A - 基于人工智能的中文语义提取方法及相关设备 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种基于人工智能的中文语义提取方法及相关设备，对训练文本的字符序列和分词序列分别进行特征提取得到字符向量序列和分词向量序列，将分词向量序列按照字符向量序列进行对齐处理，基于字符向量序列和对齐处理后的分词向量序列计算第一损失函数值，在基于字符序列生成第一语句向量和基于分词序列生成第二语句向量后，根据第一语句向量和第二语句向量计算第二损失函数值，使用两个损失函数值迭代训练预设多任务模型得到中文语义提取模型，最后使用中文语义提取模型提取待识别中文文本的中文语义。本发明将字符序列和分词序列对齐并相结合，提升了中文语义提取模型的性能，从而提高了语义理解的准确率。

Description

基于人工智能的中文语义提取方法及相关设备

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的中文语义提取方法、装置、电子设备及存储介质。

背景技术

人机对话系统，例如：电话销售机器人、客服机器人、聊天机器人等都是中文口语进行交流的，模型需要在不同的场景下识别中文口语表达的意图、情感、槽值等多个任务。

发明人在实现本发明的过程中发现，中文口语由于存在短句、缩写、口语、重复、前后逻辑不对、没有语法结构等一系列问题，例如：你们那边的利什么息是那个多少啊，导致训练中文口语理解的模型比较困难。此外，与英文口语理解相比，中文口语需要进行分词，但是目前的分词技术还是存在一些问题，这样就会因为分词的错位，导致取槽失败，从而导致模型的准确率大大降低。而如果不进行分词，直接对字进行建模，这样就丢失了词语的信息，认为每个字代表的是一个意思，字与字之间的组合就是不同的意思，导致模型无法进行中文口语的理解。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的中文语义提取方法、装置、电子设备及存储介质，通过结合字和词的双重信息，来训练一个多任务的模型，提高对中文口语语义的理解。

本发明的第一方面提供一种基于人工智能的中文语义提取方法，所述方法包括：

获取训练文本的字符序列及获取所述训练文本的分词序列；

基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

使用所述中文语义提取模型提取待识别中文文本的中文语义。

根据本发明的一个可选的实施方式，所述获取所述训练文本的分词序列包括：

采用多种分割路径对所述训练文本进行分词处理；

获取每种分割路径对应的多个分词；

基于预设词性转换概率矩阵计算每种分割路径对应的多个分词的转换概率；

根据所述转换概率从所述多种分割路径中选取目标分割路径；

根据所述目标分割路径对应的多个分词得到所述分词序列。

根据本发明的一个可选的实施方式，所述采用多种分割路径对所述训练文本进行分词处理包括：

获取所述训练文本的字符数；

根据所述字符数建立网络拓补图；

当所述训练文本中的第i个字符与第j个字符之间的字符能够构成一个分词，在所述网络拓补图的第i个顶点和第j个顶点之间建立有向边，得到有向图，所述有向图的有向边对应的分词为第i个字符与第j个字符之间的字符；

采用最短图路径搜索算法搜索所述有向图中的多个最短路径；

根据多个所述最短路径对应的字符对所述训练文本进行分词处理。

根据本发明的一个可选的实施方式，所述将所述分词向量序列按照所述字符向量序列进行对齐处理包括：

计算所述分词向量序列中每个分词的字符长度；

根据所述字符长度将对应的分词向量进行复制，得到新的分词向量；

基于所述新的分词向量生成新的分词向量序列。

根据本发明的一个可选的实施方式，所述基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值包括：

获取所述字符向量序列中与所述对齐处理后的分词向量序列中相同位置的元素；

对相同位置的元素进行加权求和，得到新的元素；

基于所述新的元素得到新的向量序列；

基于所述新的向量序列计算条件随机场的第一损失函数值。

根据本发明的一个可选的实施方式，所述基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值包括：

输入所述字符序列至第一多层感知机注意力模块中，得到第一语句向量；

输入所述分词序列至第二多层感知机注意力模块中，得到第二语句向量；

基于所述第一语句向量和所述第二语句向量生成第三语句向量；

基于所述第三语句向量计算逻辑回归模型的第二损失函数值。

根据本发明的一个可选的实施方式，所述基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列包括：

通过第一自注意力模块对所述字符序列进行编码，得到第一序列上下文信息，输入所述第一序列上下文信息至第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，基于所述每个字符的字符向量生成字符向量序列；

通过第二自注意力模块对所述分词序列进行编码，得到第二序列上下文信息，输入所述第二序列上下文信息至第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，基于所述每个分词的分词向量生成分词向量序列。

本发明的第二方面提供一种基于人工智能的中文语义提取装置，所述装置包括：

序列获取模块，用于获取训练文本的字符序列及获取所述训练文本的分词序列；

特征提取模块，用于基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

第一计算模块，用于将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

第二计算模块，用于基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

迭代训练模块，用于基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

语义提取模块，用于使用所述中文语义提取模型提取待识别中文文本的中文语义。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述的基于人工智能的中文语义提取方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能的中文语义提取方法。

综上所述，本发明所述的基于人工智能的中文语义提取方法、装置、电子设备及存储介质，对训练文本的字符序列进行特征提取得到字符向量序列，对训练文本的分词序列进行特征提取得到分词向量序列，将分词向量序列按照字符向量序列进行对齐处理后，基于字符向量序列和对齐处理后的分词向量序列计算预设的标注模型的损失函数值，在基于字符序列生成第一语句向量和基于分词序列生成第二语句向量后，根据第一语句向量和第二语句向量计算预设的意图识别模型的损失函数值，接着两个损失函数值迭代训练预设多任务模型，最后使用所述中文语义提取模型提取待识别中文文本的中文语义。本发明通过将字符序列和分词序列对齐并相结合，能够提升中文语义提取模型的性能，从而提高了语义理解的准确率。

附图说明

图1是本发明实施例一提供的基于人工智能的中文语义提取方法的流程图。

图2是本发明实施例二提供的基于人工智能的中文语义提取装置的结构图。

图3是本发明实施例三提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的，不是旨在于限制本发明。

本发明实施例提供的基于人工智能的中文语义提取方法由电子设备执行，相应地，基于人工智能的中文语义提取装置运行于电子设备中。

实施例一

图1是本发明实施例一提供的基于人工智能的中文语义提取方法的流程图。所述基于人工智能的中文语义提取方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11，获取训练文本的字符序列，及获取所述训练文本的分词序列。

电子设备中预先存储有多个文本，响应于对待识别中文文本的口语语义理解的指令，将预先存储的多个文本作为训练文本训练中文口语语义提取模型。

在基于训练文本训练中文口语语义提取模型之前，电子设备对每个训练文本进行逐字分割，得到以字为单位的字符序列，并根据中文分词程序，例如，结巴分词工具，对每个训练文本进行分词处理，得到以词为单位的分词序列。其中，词是指包含1个字、2个字、3个字或者3个以上的字符。

在一个可选的实施方式中，所述获取所述训练文本的分词序列包括：

采用多种分割路径对所述训练文本进行分词处理；

获取每种分割路径对应的多个分词；

基于预设词性转换概率矩阵计算每种分割路径对应的多个分词的转换概率；

根据所述转换概率从所述多种分割路径中选取目标分割路径；

根据所述目标分割路径对应的多个分词得到所述分词序列。

由于结巴分词工具需要事先创建词库，那么创建的词库中的分词的多少及分词所涉及的领域的不同，都会导致在使用结巴分词工具在对训练文本进行分词时，可能会得到多种不同的分词结果。示例性的，假设训练文本为“他说的确实有道理”，进行分词处理，可以得到如下两种分词结果：他/说/的/确实/有道理；他/说/的确/实/有道理。

其中，预设词性转换概率矩阵是预先根据语料库中词性的标注统计得到的转换概率，是多次试验得到的经验值。其中，词性可以包括名词、形容词、拟声词、介词、量词、动词、代词、连词等。预设词性转换概率矩阵中记录了每一种词性转换为另一种词性的转换概率，比如，名词转换为动词的转换概率，数词转换为名词的转换概率。

采用不同的分割路径对训练文本进行分词处理时，会得到不同的分词结果。为了快速的确定多种分词结果中的哪一种分词结果最为准确，可以使用预设词性转换概率矩阵计算每种分词结果的转换概率，从而根据转换概率从多种分词结果中选取准确度最高的分词结果。具体实施时，根据预设词性转换概率矩阵匹配每种分词结果中前一个分词与后一个分词之间的词性转换概率，再将所有的词性转换概率进行加和计算，得到转换概率。如前述实施例，“他”为代词，“说”为动词，“的”为助动词，“确实”和“有道理”为形容词，则匹配代词转换为动词的转换概率p1，动词转换为助动词的转换概率p2，助动词转换为形容词的转换概率p3，形容词转换为形容词的转换概率p4，计算p1、p2、p3、p4之和，得到最终的转换概率。

该可选的实施方式中，电子设备可以预先确定多种分割路径，然后采用每种分割路径对训练文本进行分词处理，接着通过计算每种分割路径对应的多个分词的转换概率，来确定何种分割路径是最优的分割路径，从而采用最优的分割路径对训练文本进行分割，得到分词效果最优的分词序列。不仅能够消除歧义字段以准确切分文本语句，且通过匹配前一个分词转换为后一个分词的转换概率，能够快速且直接的计算分词处理得到的分词结果的转换概率，从而提高了确定目标分词结果的效率。

在一个可选的实施方式中，所述采用多种分割路径对所述训练文本进行分词处理包括：

获取所述训练文本的字符数；

根据所述字符数建立网络拓补图；

当所述训练文本中的第i个字符与第j个字符之间的字符能够构成一个分词，在所述网络拓补图的第i个顶点和第j个顶点之间建立有向边，得到有向图，所述有向图的有向边对应的分词为第i个字符与第j个字符之间的字符；

采用最短图路径搜索算法搜索所述有向图中的多个最短路径；

根据多个所述最短路径对应的字符对所述训练文本进行分词处理。

假设训练文本包括n个字符，则建立一个包含有n+1个顶点的网络拓补图。网络拓补图中相邻顶点之间建立有向边<Vk-1，Vk>，边对应的分词为Ck，k＝1,2，…，n。如果w＝cici+1…cj是一个词，则顶点Vi和Vj之间建立有向边<Vi-1，Vj>，边对应的词为w，不断重复这个过程，直到没有新的路径产生，即完成了将网络拓补图更新为有向图的过程。

可以采用最短图路径搜索算法搜索所述有向图中的最短路径，最短路径中每条有向边对应的分词作为一个分词，将最短路径上所有的有向边对应的分词组合起来得到分词结果。分词结果可以为一种或者多种，当采用最短图路径搜索算法在所述有向图中搜索到一条最短路径，则对应的分词结果为一种，当采用最短图路径搜索算法在所述有向图中搜索到多条最短路径，则对应的分词结果为多种，一条最短路径对应一种分词结果。

现有技术中，无论采用基于理解的分词方法还是基于统计的分词方法，都会经常出现一些共现频度高、但并不是词的常用字组，因此传统的这种分词方法对常用词的识别精度较差。该可选的实施方式，通过建立网络拓补图并采用最短图路径搜索算法进行分词处理得到分词结果，能够有效的提高分词的识别结果，从而有助于提高文本语义理解的准确度。

S12，基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列。

可以预先构造中文口语语义提取模型框架，所述中文口语语义提取模型框架包括标注模型和意图分类模型。

电子设备提取所述字符序列中每个字符的字符向量，从而基于字符向量得到字符向量序列，电子设备提取所述分词序列中每个分词的分词向量，从而基于分词向量得到分词向量序列。

在一个可选的实施方式种，所述基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列包括：

通过第一自注意力模块对所述字符序列进行编码，得到第一序列上下文信息，输入所述第一序列上下文信息至第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，基于所述每个字符的字符向量生成字符向量序列；

通过第二自注意力模块对所述分词序列进行编码，得到第二序列上下文信息，输入所述第二序列上下文信息至第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，基于所述每个分词的分词向量生成分词向量序列。

电子设备在得到字符序列和分词序列之后，将字符序列输入第一自注意力模块中进行编码，将分词序列输入第二自注意力模块中进行编码。其中，所述第一自注意力模块后面连接了第一长短时记忆神经网络，所述第二自注意力模块后面连接了第二长短时记忆神经网络。

第一自注意力模块在对字符序列中的每个字符进行编码之后，输入到第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，将字符序列中所有字符的字符向量，按照字符的顺序进行拼接，得到字符向量序列

第二自注意力模块在对分词序列中的每个分词进行编码之后，输入到第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，将分词序列中所有分词的分词向量，按照分词的顺序进行拼接，得到分词向量序列

长短时记忆神经网络(long short-term memory，LSTM)作为一种特殊类型的RNN，通过在每个隐含层单元内部引入记忆单元(memory cell)和门机制(gated mechanism)，用于控制信息流的输入和输出，有效解决了普通的RNN存在的梯度消失问题。与之相比，LSTM更加擅长处理序列化数据如自然语言文本，可对序列中较大范围的上下文信息建模。

S13，将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值。

将基于分词得到的分词向量序列

铺平成和基于字符得到字符向量序列一样长。

在一个可选的实施方式中，所述将所述分词向量序列按照所述字符向量序列进行对齐处理包括：

计算所述分词向量序列中每个分词的字符长度；

根据所述字符长度将对应的分词向量进行复制，得到新的分词向量；

基于所述新的分词向量生成新的分词向量序列。

示例性的，假设某个分词是由

和

这两个字符组成的，那么将该分词的分词向量

复制两次，得到新的分词向量

从而生成的新的分词向量序列为

在一个可选的实施方式中，所述基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值包括：

获取所述字符向量序列中与所述对齐处理后的分词向量序列中相同位置的元素；

对相同位置的元素进行加权求和，得到新的元素；

基于所述新的元素得到新的向量序列；

基于所述新的向量序列计算条件随机场的第一损失函数值。

预设的标注模型可以为条件随机场模型。

例如，将

和

进行加权求和得到

新的向量序列表示为：

连接一个条件随机场(conditional random field，CRF)得到标注模型：P(y＝i|V^s)＝CRF(V^s)。

S14，基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值。

在一个可选的实施方式中，所述基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值包括：

输入所述字符序列至第一多层感知机注意力模块中，得到第一语句向量；

输入所述分词序列至第二多层感知机注意力模块中，得到第二语句向量；

基于所述第一语句向量和所述第二语句向量生成第三语句向量；

基于所述第三语句向量计算逻辑回归模型的第二损失函数值。

电子设备可以在第一自注意力模块后面连接一个第一多层感知机注意力模块，在第二自注意力模块后面连接一个第二多层感知机注意力模块。

将所述字符序列作为第一多层感知机注意力模块的输入，通过第一多层感知机注意力模块的编码，得到第一语句向量S^c。将所述分词序列作为第二多层感知机注意力模块的输入，通过第二多层感知机注意力模块的编码，得到第二语句向量S^w。

将字符向量得到的句向量S^c和词语编码得到的句向量S^w进行加权求和得到一个新的向量v^I＝WA(S^C,S^w)＝(1-λ)S^C+λS^w，然后连接一个逻辑回归模型，例如，SoftMax，得到意图识别模型：P(y＝i|v^I)＝softmax(W^Iv^I+b^I)。

S15，基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型。

损失函数为两个模型的损失函数之和，训练过程中，采用mini-batch梯度下降法，k为每个批次大小，应用Dropout策略，以一定概率随机移除部分隐层单元及其权重，防止训练数据过拟合。

S16，使用所述中文语义提取模型提取待识别中文文本的中文语义。

待识别中文文本为需要进行语义理解的中文口语文本，可以获取一段音频文件，然后对该音频文件进行语音识别，得到中文口语文本。

本发明提供的基于人工智能的中文语义提取方法，通过对训练文本的字符序列进行特征提取得到字符向量序列，及对训练文本的分词序列进行特征提取得到分词向量序列，并将分词向量序列按照字符向量序列进行对齐处理，将字符序列和分词序列对齐并相结合，能够提升中文语义提取模型的性能，因为字符序列可以避免分词错误，而分词序列包含更丰富的语义信息；在基于字符序列生成第一语句向量和基于分词序列生成第二语句向量后，根据第一语句向量和第二语句向量计算预设的意图识别模型的损失函数值，并根据字符向量序列和对齐处理后的分词向量序列计算预设的标注模型的损失函数值，从而使用这两个损失函数值迭代训练预设多任务模型，提高了多任务模型的训练效果，最后使用所述中文语义提取模型提取待识别中文文本的中文语义，提高了语义理解的准确率。此外，由于本发明降低了中文口语语义提取模型对于标注数据的需求，从而减轻了成本，又由于海量无标注数据训练的语言模型提供了一个先验的文本信息编码器，所以中文口语语义提取模型可以对句子具有良好的泛化能力，提升了语义理解的性能。

实施例二

图2是本发明实施例二提供的基于人工智能的中文语义提取装置的结构图。

在一些实施例中，所述基于人工智能的中文语义提取装置20可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的中文语义提取装置20中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)中文口语语义提取的功能。

本实施例中，所述基于人工智能的中文语义提取装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：序列获取模块201、特征提取模块202、第一计算模块203、第二计算模块204、迭代训练模块205及语义提取模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

所述序列获取模块201，用于获取训练文本的字符序列，及获取所述训练文本的分词序列。

电子设备中预先存储有多个文本，响应于对待识别中文文本的口语语义理解的指令，将预先存储的多个文本作为训练文本训练中文口语语义提取模型。

在基于训练文本训练中文口语语义提取模型之前，电子设备对每个训练文本进行逐字分割，得到以字为单位的字符序列，并根据中文分词程序，例如，结巴分词工具，对每个训练文本进行分词处理，得到以词为单位的分词序列。其中，词是指包含1个字、2个字、3个字或者3个以上的字符。

在一个可选的实施方式中，所述序列获取模块201获取所述训练文本的分词序列包括：

采用多种分割路径对所述训练文本进行分词处理；

获取每种分割路径对应的多个分词；

基于预设词性转换概率矩阵计算每种分割路径对应的多个分词的转换概率；

根据所述转换概率从所述多种分割路径中选取目标分割路径；

根据所述目标分割路径对应的多个分词得到所述分词序列。

由于结巴分词工具需要事先创建词库，那么创建的词库中的分词的多少及分词所涉及的领域的不同，都会导致在使用结巴分词工具在对训练文本进行分词时，可能会得到多种不同的分词结果。示例性的，假设训练文本为“他说的确实有道理”，进行分词处理，可以得到如下两种分词结果：他/说/的/确实/有道理；他/说/的确/实/有道理。

其中，预设词性转换概率矩阵是预先根据语料库中词性的标注统计得到的转换概率，是多次试验得到的经验值。其中，词性可以包括名词、形容词、拟声词、介词、量词、动词、代词、连词等。预设词性转换概率矩阵中记录了每一种词性转换为另一种词性的转换概率，比如，名词转换为动词的转换概率，数词转换为名词的转换概率。

采用不同的分割路径对训练文本进行分词处理时，会得到不同的分词结果。为了快速的确定多种分词结果中的哪一种分词结果最为准确，可以使用预设词性转换概率矩阵计算每种分词结果的转换概率，从而根据转换概率从多种分词结果中选取准确度最高的分词结果。具体实施时，根据预设词性转换概率矩阵匹配每种分词结果中前一个分词与后一个分词之间的词性转换概率，再将所有的词性转换概率进行加和计算，得到转换概率。如前述实施例，“他”为代词，“说”为动词，“的”为助动词，“确实”和“有道理”为形容词，则匹配代词转换为动词的转换概率p1，动词转换为助动词的转换概率p2，助动词转换为形容词的转换概率p3，形容词转换为形容词的转换概率p4，计算p1、p2、p3、p4之和，得到最终的转换概率。

该可选的实施方式中，电子设备可以预先确定多种分割路径，然后采用每种分割路径对训练文本进行分词处理，接着通过计算每种分割路径对应的多个分词的转换概率，来确定何种分割路径是最优的分割路径，从而采用最优的分割路径对训练文本进行分割，得到分词效果最优的分词序列。不仅能够消除歧义字段以准确切分文本语句，且通过匹配前一个分词转换为后一个分词的转换概率，能够快速且直接的计算分词处理得到的分词结果的转换概率，从而提高了确定目标分词结果的效率。

在一个可选的实施方式中，所述采用多种分割路径对所述训练文本进行分词处理包括：

获取所述训练文本的字符数；

根据所述字符数建立网络拓补图；

当所述训练文本中的第i个字符与第j个字符之间的字符能够构成一个分词，在所述网络拓补图的第i个顶点和第j个顶点之间建立有向边，得到有向图，所述有向图的有向边对应的分词为第i个字符与第j个字符之间的字符；

采用最短图路径搜索算法搜索所述有向图中的多个最短路径；

根据多个所述最短路径对应的字符对所述训练文本进行分词处理。

假设训练文本包括n个字符，则建立一个包含有n+1个顶点的网络拓补图。网络拓补图中相邻顶点之间建立有向边<Vk-1，Vk>，边对应的分词为Ck，k＝1,2，…，n。如果w＝cici+1…cj是一个词，则顶点Vi和Vj之间建立有向边<Vi-1，Vj>，边对应的词为w，不断重复这个过程，直到没有新的路径产生，即完成了将网络拓补图更新为有向图的过程。

可以采用最短图路径搜索算法搜索所述有向图中的最短路径，最短路径中每条有向边对应的分词作为一个分词，将最短路径上所有的有向边对应的分词组合起来得到分词结果。分词结果可以为一种或者多种，当采用最短图路径搜索算法在所述有向图中搜索到一条最短路径，则对应的分词结果为一种，当采用最短图路径搜索算法在所述有向图中搜索到多条最短路径，则对应的分词结果为多种，一条最短路径对应一种分词结果。

现有技术中，无论采用基于理解的分词方法还是基于统计的分词方法，都会经常出现一些共现频度高、但并不是词的常用字组，因此传统的这种分词方法对常用词的识别精度较差。该可选的实施方式，通过建立网络拓补图并采用最短图路径搜索算法进行分词处理得到分词结果，能够有效的提高分词的识别结果，从而有助于提高文本语义理解的准确度。

所述特征提取模块202，用于基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列。

可以预先构造中文口语语义提取模型框架，所述中文口语语义提取模型框架包括标注模型和意图分类模型。

电子设备提取所述字符序列中每个字符的字符向量，从而基于字符向量得到字符向量序列，电子设备提取所述分词序列中每个分词的分词向量，从而基于分词向量得到分词向量序列。

在一个可选的实施方式种，所述特征提取模块202基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列包括：

通过第一自注意力模块对所述字符序列进行编码，得到第一序列上下文信息，输入所述第一序列上下文信息至第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，基于所述每个字符的字符向量生成字符向量序列；

通过第二自注意力模块对所述分词序列进行编码，得到第二序列上下文信息，输入所述第二序列上下文信息至第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，基于所述每个分词的分词向量生成分词向量序列。

电子设备在得到字符序列和分词序列之后，将字符序列输入第一自注意力模块中进行编码，将分词序列输入第二自注意力模块中进行编码。其中，所述第一自注意力模块后面连接了第一长短时记忆神经网络，所述第二自注意力模块后面连接了第二长短时记忆神经网络。

第一自注意力模块在对字符序列中的每个字符进行编码之后，输入到第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，将字符序列中所有字符的字符向量，按照字符的顺序进行拼接，得到字符向量序列

第二自注意力模块在对分词序列中的每个分词进行编码之后，输入到第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，将分词序列中所有分词的分词向量，按照分词的顺序进行拼接，得到分词向量序列

长短时记忆神经网络(long short-term memory，LSTM)作为一种特殊类型的RNN，通过在每个隐含层单元内部引入记忆单元(memory cell)和门机制(gated mechanism)，用于控制信息流的输入和输出，有效解决了普通的RNN存在的梯度消失问题。与之相比，LSTM更加擅长处理序列化数据如自然语言文本，可对序列中较大范围的上下文信息建模。

所述第一计算模块203，用于将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值。

将基于分词得到的分词向量序列

铺平成和基于字符得到字符向量序列一样长。

在一个可选的实施方式中，所述第一计算模块203将所述分词向量序列按照所述字符向量序列进行对齐处理包括：

计算所述分词向量序列中每个分词的字符长度；

根据所述字符长度将对应的分词向量进行复制，得到新的分词向量；

基于所述新的分词向量生成新的分词向量序列。

示例性的，假设某个分词是由

和

这两个字符组成的，那么将该分词的分词向量

复制两次，得到新的分词向量

从而生成的新的分词向量序列为

在一个可选的实施方式中，所述第一计算模块203基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值包括：

获取所述字符向量序列中与所述对齐处理后的分词向量序列中相同位置的元素；

对相同位置的元素进行加权求和，得到新的元素；

基于所述新的元素得到新的向量序列；

基于所述新的向量序列计算条件随机场的第一损失函数值。

预设的标注模型可以为条件随机场模型。

例如，将

和

进行加权求和得到

新的向量序列表示为：

连接一个条件随机场(conditional random field，CRF)得到标注模型：P(y＝i|V^S)＝CRF(V^S)。

所述第二计算模块204，用于基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值。

在一个可选的实施方式中，所述第二计算模块204基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值包括：

输入所述字符序列至第一多层感知机注意力模块中，得到第一语句向量；

输入所述分词序列至第二多层感知机注意力模块中，得到第二语句向量；

基于所述第一语句向量和所述第二语句向量生成第三语句向量；

基于所述第三语句向量计算逻辑回归模型的第二损失函数值。

电子设备可以在第一自注意力模块后面连接一个第一多层感知机注意力模块，在第二自注意力模块后面连接一个第二多层感知机注意力模块。

将所述字符序列作为第一多层感知机注意力模块的输入，通过第一多层感知机注意力模块的编码，得到第一语句向量S^c。将所述分词序列作为第二多层感知机注意力模块的输入，通过第二多层感知机注意力模块的编码，得到第二语句向量S^w。

将字符向量得到的句向量S^c和词语编码得到的句向量S^w进行加权求和得到一个新的向量v^I＝WA(S^c,S^w)＝(1-λ)S^c+λS^w，然后连接一个逻辑回归模型，例如，SoftMax，得到意图识别模型：P(y＝i|v^I)＝softmax(W^Iv^I+b^I)。

所述迭代训练模块205，用于基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型。

损失函数为两个模型的损失函数之和，训练过程中，采用mini-batch梯度下降法，k为每个批次大小，应用Dropout策略，以一定概率随机移除部分隐层单元及其权重，防止训练数据过拟合。

所述语义提取模块206，用于使用所述中文语义提取模型提取待识别中文文本的中文语义。

待识别中文文本为需要进行语义理解的中文口语文本，可以获取一段音频文件，然后对该音频文件进行语音识别，得到中文口语文本。

本发明提供的基于人工智能的中文语义提取装置，通过对训练文本的字符序列进行特征提取得到字符向量序列，及对训练文本的分词序列进行特征提取得到分词向量序列，并将分词向量序列按照字符向量序列进行对齐处理，将字符序列和分词序列对齐并相结合，能够提升中文语义提取模型的性能，因为字符序列可以避免分词错误，而分词序列包含更丰富的语义信息；在基于字符序列生成第一语句向量和基于分词序列生成第二语句向量后，根据第一语句向量和第二语句向量计算预设的意图识别模型的损失函数值，并根据字符向量序列和对齐处理后的分词向量序列计算预设的标注模型的损失函数值，从而使用这两个损失函数值迭代训练预设多任务模型，提高了多任务模型的训练效果，最后使用所述中文语义提取模型提取待识别中文文本的中文语义，提高了语义理解的准确率。此外，由于本发明降低了中文口语语义提取模型对于标注数据的需求，从而减轻了成本，又由于海量无标注数据训练的语言模型提供了一个先验的文本信息编码器，所以中文口语语义提取模型可以对句子具有良好的泛化能力，提升了语义理解的性能。

实施例三

本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于人工智能的中文语义提取方法实施例中的步骤，例如图1所示的S11-S16：

S11，获取训练文本的字符序列及获取所述训练文本的分词序列；

S12，基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

S13，将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

S14，基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

S15，基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

S16，使用所述中文语义提取模型提取待识别中文文本的中文语义。

或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图2中的模块201-206：

所述序列获取模块201，用于获取训练文本的字符序列及获取所述训练文本的分词序列；

所述特征提取模块202，用于基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

所述第一计算模块203，用于将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

所述第二计算模块204，用于基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

所述迭代训练模块205，用于基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

所述语义提取模块206，用于使用所述中文语义提取模型提取待识别中文文本的中文语义。

实施例四

参阅图3所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。

本领域技术人员应该了解，图3示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的基于人工智能的中文语义提取方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在一些实施例中，所述至少一个处理器32是所述电子设备3的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于人工智能的中文语义提取方法的全部或者部分步骤；或者实现基于人工智能的中文语义提取装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。

尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的中文语义提取方法，其特征在于，所述方法包括：

获取训练文本的字符序列及获取所述训练文本的分词序列；

基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

使用所述中文语义提取模型提取待识别中文文本的中文语义。

2.如权利要求1所述的基于人工智能的中文语义提取方法，其特征在于，所述获取所述训练文本的分词序列包括：

采用多种分割路径对所述训练文本进行分词处理；

获取每种分割路径对应的多个分词；

基于预设词性转换概率矩阵计算每种分割路径对应的多个分词的转换概率；

根据所述转换概率从所述多种分割路径中选取目标分割路径；

根据所述目标分割路径对应的多个分词得到所述分词序列。

3.如权利要求2所述的基于人工智能的中文语义提取方法，其特征在于，所述采用多种分割路径对所述训练文本进行分词处理包括：

获取所述训练文本的字符数；

根据所述字符数建立网络拓补图；

当所述训练文本中的第i个字符与第j个字符之间的字符能够构成一个分词，在所述网络拓补图的第i个顶点和第j个顶点之间建立有向边，得到有向图，所述有向图的有向边对应的分词为第i个字符与第j个字符之间的字符；

采用最短图路径搜索算法搜索所述有向图中的多个最短路径；

根据多个所述最短路径对应的字符对所述训练文本进行分词处理。

4.如权利要求1所述的基于人工智能的中文语义提取方法，其特征在于，所述将所述分词向量序列按照所述字符向量序列进行对齐处理包括：

计算所述分词向量序列中每个分词的字符长度；

根据所述字符长度将对应的分词向量进行复制，得到新的分词向量；

基于所述新的分词向量生成新的分词向量序列。

5.如权利要求1所述的基于人工智能的中文语义提取方法，其特征在于，所述基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值包括：

获取所述字符向量序列中与所述对齐处理后的分词向量序列中相同位置的元素；

对相同位置的元素进行加权求和，得到新的元素；

基于所述新的元素得到新的向量序列；

基于所述新的向量序列计算条件随机场的第一损失函数值。

6.如权利要求1至5中任意一项所述的基于人工智能的中文语义提取方法，其特征在于，所述基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值包括：

输入所述字符序列至第一多层感知机注意力模块中，得到第一语句向量；

输入所述分词序列至第二多层感知机注意力模块中，得到第二语句向量；

基于所述第一语句向量和所述第二语句向量生成第三语句向量；

基于所述第三语句向量计算逻辑回归模型的第二损失函数值。

7.如权利要求1至5中任意一项所述的基于人工智能的中文语义提取方法，其特征在于，所述基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列包括：

通过第一自注意力模块对所述字符序列进行编码，得到第一序列上下文信息，输入所述第一序列上下文信息至第一长短时记忆神经网络中进行特征提取，得到每个字符的字符向量，基于所述每个字符的字符向量生成字符向量序列；

通过第二自注意力模块对所述分词序列进行编码，得到第二序列上下文信息，输入所述第二序列上下文信息至第二长短时记忆神经网络中进行特征提取，得到每个分词的分词向量，基于所述每个分词的分词向量生成分词向量序列。

8.一种基于人工智能的中文语义提取装置，其特征在于，所述装置包括：

序列获取模块，用于获取训练文本的字符序列及获取所述训练文本的分词序列；

特征提取模块，用于基于所述字符序列进行特征提取，得到字符向量序列，及基于所述分词序列进行特征提取，得到分词向量序列；

第一计算模块，用于将所述分词向量序列按照所述字符向量序列进行对齐处理，并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值；

第二计算模块，用于基于所述字符序列生成第一语句向量，基于所述分词序列生成第二语句向量，基于所述第一语句向量和所述第二语句向量计算第二损失函数值；

迭代训练模块，用于基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练，得到中文语义提取模型；

语义提取模块，用于使用所述中文语义提取模型提取待识别中文文本的中文语义。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的基于人工智能的中文语义提取方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于人工智能的中文语义提取方法。

Images