CN108334487B - 缺失语意信息补全方法、装置、计算机设备和存储介质 - Google Patents
缺失语意信息补全方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108334487B CN108334487B CN201710577385.1A CN201710577385A CN108334487B CN 108334487 B CN108334487 B CN 108334487B CN 201710577385 A CN201710577385 A CN 201710577385A CN 108334487 B CN108334487 B CN 108334487B
- Authority
- CN
- China
- Prior art keywords
- information
- neural network
- vector
- network model
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/191—Automatic line break hyphenation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Abstract
本发明涉及一种缺失语意信息补全方法、装置、计算机设备和存储介质，所述方法包括：获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息。上述方法提高了补全后的完整语意信息与上文语境的关联性以及语句的连贯性。
Description
技术领域
本发明涉及自然语言处理领域，特别是涉及缺失语意信息补全方法、装置、计算机设备和存储介质。
背景技术
随着科技的发展，在许多场景下都会存在对缺失语意信息补全的需求，如识别用户输入的信息并根据输入的信息进行相应的处理的需求。例如在与聊天机器人进行对话时，聊天机器人需要识别用户输入的缺失语意语句，并将缺失语意语句补全，再根据补全语句查找对应的回答语句输出。
现有技术中，通过补全方法对缺失语意信息进行补全后，往往会破坏语句的连贯性，导致补全后的信息识别率低。
发明内容
基于此，有必要针对上述技术问题，提供一种缺失语意信息补全方法、装置、计算机设备和存储介质，在语意补全时结合待处理缺失语意信息和对应的上文信息，并输入神经网络模型得到完整语意信息，提高补全得到的完整语意信息与上文语境的关联性以及语句的连贯性。
一种缺失语意信息的补全方法，所述方法包括：
获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；
将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；
将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息。
一种缺失语意信息的补全装置，所述装置包括：
获取模块，用于获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；
当前文本序列确定模块，用于将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；
完整语意信息输出模块，用于将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述以下步骤：获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息。
上述缺失语意信息补全方法、装置、计算机设备和存储介质，获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息，然后将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列，并将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。由于在语意补全时结合待处理缺失语意信息和对应的上文信息，并输入神经网络模型得到完整语意信息，因此提高了补全后的完整语意信息与上文语境的关联性以及语句的连贯性。
附图说明
图1为一个实施例中提供的缺失语意信息补全方法的实施环境图；
图2为一个实施例中缺失语意信息补全方法的流程图；
图3为一个实施例中缺失语意信息补全方法的流程图；
图4为一个实施例中将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息的流程图；
图5为一个实施例中缺失语意信息补全方法的流程图；
图6为一个实施例中从历史会话中获取缺失语意查询信息对应的完整语意查询信息的流程图；
图7为一个实施例中当待处理缺失语意信息中存在代词时，进行指代消解的流程图；
图8为一个实施例中将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中得到代词向量的流程图；
图9为一个实施例中缺失语意信息补全装置的结构框图；
图10为一个实施例中完整语意信息输出模块的结构框图；
图11为一个实施例中缺失语意信息补全装置的结构框图；
图12为一个实施例中完整语意查询信息获取模块的结构框图；
图13为一个实施例中缺失语意信息补全装置的结构框图；
图14为一个实施例中对待处理缺失语意信息进行补全的示意图；
图15为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一神经网络模型称为第二神经网络模型，且类似地，可将第二神经网络模型称为第一神经网络模型。
图1为一个实施例中提供的缺失语意信息补全方法的实施环境图，如图1所示，在该实施环境中，包括终端110以及计算机设备120，计算机设备120用于提供对缺失语意补全的支持，可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端110可为智能手机、平板电脑、笔记本电脑以及台式计算机等，但并不局限于此。终端110可向计算机设备发送待处理缺失语意信息，可以是实时的也可以是非实时的待处理缺失语意信息，计算机设备120接收待处理缺失语意信息，计算机设备120以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络扥连接方式进行连接，本发明在此不做限制。
需要说明的是，上述的应用环境只是一个示例，在一些实施例中，计算机设备120可以不通过终端110，直接接收待处理缺失语意信息。例如，在手机上配置缺失语意补全装置，手机接收到待处理缺失语意信息后，利用手机上的缺失语意补全装置对待处理缺失语意信息进行语意补全，得到处理缺失语意信息对应的完整语意信息。
如图2所示，在一个实施例中，提出了一种缺失语意信息补全方法，该缺失语意信息补全方法可以应用于上述的计算机设备120中，具体可以包括以下步骤：
步骤202，获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息。
具体地，会话是指用户与用户的聊天或者人与机器进行聊天，可以为一对一的会话例如A与B单独会话，也可以为多用户会话例如群聊等。会话可以是即时通信会话例如在微信以及电话进行的会话。也可以是异步通信会话例如通过论坛进行的会话。待处理缺失语意信息指不完整或者不清楚的信息，如信息中省略了字符如名词、动词等等，或者存在歧义等等。待处理缺失语意信息的上文信息指在会话中待处理缺失语意信息之前的会话信息，待处理缺失语意信息与待处理缺失语意信息的上文信息可以是同时获取的，也可以是先后获取的。例如，当接收到的会话信息为待处理缺失语意信息后，再获取在该会话中待处理缺失语意信息之前进行的会话信息作为上文信息。本发明实施例在此不做限制。
在一些实施例中，可以预先设置获取的待处理缺失语意信息的上文信息的数量，例如，若人机会话有8轮，则可以只获取待处理缺失语意信息的上2轮的人机会话作为待处理缺失语意信息的上文信息。
步骤204，将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列。
具体地，会话顺序指会话中会话信息按照会话时间的先后排序。当前文本序列中待处理缺失语意信息的上文信息以及待处理缺失语意信息是按照会话时间进行拼接的，会话时间在先的信息排在会话时间在后的信息前面。例如，会话中的会话信息依次为第一信息、第二信息，则按照会话信息的会话时间顺序将第一信息、第二信息拼接在一起，形成当前文本序列。
在一个实施例中，可以将待处理缺失语意信息的上文信息中的标点符号以及待处理缺失语意信息中的标点符号去除后再进行拼接或者用预先设置的字符表示标点符号。句子与句子之间也可以用预先设置的字符进行区分。例如，以EOS区分句子，则按照会话顺序将第一信息、第二信息进行拼接得到的文本序列为{第一信息EOS第二信息}。
步骤206，将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。
具体地，完整语意信息是指句子完整或者没有歧义的信息。在将当前文本序列输入第一神经网络模型前，需要预先通过训练数据对神经网络进行训练，得到模型参数，进而根据模型参数生成第一神经网络模型。第一神经网络模型可以形式化定义为：q’＝F(q|C)，C指的是上文信息，q指待处理缺失语意信息，q’代表完整语意信息，F就是训练得到的第一神经网络模型，根据输入得到输出。训练时，缺失语意信息、缺失语意信息的上文信息以及缺失语意信息对应的完整语意信息都是已知的，因此可以通过训练数据对模型进行训练，得到模型中的模型参数，使得可以通过输入映射得到输出。
第一神经网络模型可以是卷积神经网络模型或者循环神经网络模型，例如CNN(Convolutional Neural Network、卷积神经网络)模型、RNN(Recurrent NeuralNetworks、循环神经网络)模型、LSTM(Long Short Term Memory networks、长短期记忆单元)模型以及GRU(Gated Recurrent Unit、门控循环单元)模型等等。在一些实施例中，第一神经网络模型可以采用Encoder-Decoder(编码-解码)框架，Encoder-Decoder框架是将输入序列转换为另一个序列输出的框架。在该框架中，编码神经网络模型将输入序列转化成向量，解码神经网络模型则将向量再转化成输出序列。编码神经网络模型以及解码神经网络模型可以采用相同类型的神经网络模型，也可以是不同类型的神经网络模型，具体可以根据需要进行选择。例如编码神经网络模型以及解码神经网络模型可以均为RNN模型，或者编码神经网络模型为双向LSTM模型，解码神经网络模型为RNN模型。
本实施例中，通过获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息，然后将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列，并将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。由于在语意补全时结合待处理缺失语意信息和对应的上文信息，并输入神经网络模型得到完整语意信息，因此提高了补全后的完整语意信息与上文语境的关联性以及语句的连贯性。
在一个实施例中，如图3所示，步骤S206之后，还包括：步骤S208，根据完整语意信息进行响应。
具体地，根据完整语意信息进行响应是指根据完整语意信息的内容进行相应的处理，例如根据完整语意新输出回应语句或者执行完整语意信息对应的操作等。根据完整语意新输出回应语句为根据完整语意信息进行搜索或者生成完整语意信息对应的回应语句，并输出回应语句。如完整语意信息为“静夜思的作者是谁”，则输出的回应语句为“李白”。执行完整语意信息对应的操作为根据完整语意信息中获取相应的操作指令以及操作对象，然后根据操作指令对操作对象进行操作，如完整语意信息为“帮我打扫一下房间”，从完整语意信息中提取到的操作指令为“打扫”，操作对象为“房间”。
本实施例中，在接收到缺失语意信息时，结合待处理缺失语意信息和对应的上文信息，并输入神经网络模型得到完整语意信息，然后根据完整语意信息进行响应，因此提高了接收到缺失语意信息时输出进行响应的准确性。
在一个实施例中，第一神经网络模型包括编码神经网络模型以及解码神经网络模型，如图4所示，步骤S206包括以下步骤：
S402，将当前文本序列输入到编码神经网络模型中进行编码，得到当前文本序列对应的输入隐层向量。
具体地，编码是指将输入序列转化为向量。输入隐层向量指将当前文本序列输入到编码神经网络模型中得到相应的词向量后，再将词向量输入到编码神经网络模型的隐层中得到的向量，隐层是神经网络建模中的一种术语，是相对于输入层和输出层的中间层，隐层中包括模型训练得到的模型参数。以当前文本序列为一个长度为n的序列为例，将当前文本序列输入到编码神经网络模型中进行编码，得到当前文本序列对应的输入隐层向量的过程如下：首先可以对句子进行分词，然后通过查询词典获取得到当前文本序列中每个词在词典中的位置，根据词的位置在预先训练好的词向量矩阵中获取得到该词的词向量x，因此当前文本序列对应的词向量序列可记为{x1，x2，……xn}，将该词向量序列输入到编码神经网络模型的隐层中，得到每一个输入的词向量对应的输入隐层向量，因此可以得当前文本序列对应的输入隐层向量{h1，h2，……，hn}。在一些实施例中，在循环神经网络模型中，当前文本序列对应的输入隐层向量也可以为一个。以RNN为例，在RNN中，如公式(1)所示，当前生成的输入隐层向量是根据当前词以及上一个词的输入隐层向量决定的，因此，可以将最后生成的输入隐层向量hn作为当前文本序列对应的输入隐层向量。
hj＝H(hj-1，xj)j∈n (1)
其中，hj表示当前输入序列中第j个词对应的输入隐层向量，hj-1表示当前输入序列中第j-1个词对应的输入隐层向量，xj表示当前文本序列中的第j个词的词向量。
S404，将输入隐层向量输入到解码神经网络模型中进行解码，得到缺失语意信息对应的完整语意信息。
具体地，解码是指将向量进行转换形成输出序列。在解码神经网络模型中，组成完整语音信息的字符是依次生成的。在生成当前生成字符时，将输入隐层向量以及当前生成字符的上一个生成字符的词向量输入到解码神经网络模型中，得到字典中的字符为当前生成字符的概率，并将概率最高的字符作为当前生成字符，如此重复，直到生成结束字符为止。例如，生成第二个字符时，将第一个生成的字符的词向量以及输入隐层向量输入到解码神经网络模型中进行解码。在解码神经网络模型中，获取概率的函数可以采用softmax函数。
在一个实施例中，进行解码的过程中，还可以对解码神经网络模型中隐层的隐藏状态进行更新，隐层的隐藏状态是指进行模型训练得到的模型参数。具体地，可以根据完整语意信息中上一个生成字符的隐藏状态、上一个生成字符的词向量以及输入隐层向量对当前生成字符的隐藏状态进行更新。当前隐藏状态与上一隐层状态的关系可如公式(2)表示，其中St表示生成第t个生成字符时解码神经网络模型的隐藏状态，St-1表示生成第t-1个生成字符时解码神经网络模型的隐藏状态，yt-1表示第t-1个生成字符的词向量，Ct表示生成第t个字符时的内容向量，内容向量可以为输入隐层向量，而在基于注意力机制的解码神经网络模型中，为生成第t个生成字符时注意力权重与输入隐层向量的加权值。
St＝f(St-1，yt-1，Ct) (2)
在一个实施例中，解码神经网络模型还可以基于注意力机制进行解码，以减弱当前文本序列中无关词的影响以及加强关键词的影响。注意力机制是指在生成字符的时候，还可以计算出当前文本序列中每个词对应的输入隐层向量的注意力权重，用以表示当前文本序列中每个词对应的输入隐藏向量对当前生成字符的影响力，注意力权重高的输入隐层向量比注意力权重低的输入隐向量对当前生成字符的影响大。当得到注意力权重后，将注意力权重与对应的输入隐层向量进行加权求和得到生成当前生成字符的当前内容向量，并将该当前内容向量、生成当前生成字符时解码神经网络模型的隐藏状态以及上一个生成字符的词向量输入解码神经网络模型中，得到当前生成字符。以输入序列的长度为n为例，生成第t个字符时的词向量yt、内容向量Ct以及第j个输入隐层向量的注意力权重atj可以如公式(3)、公式(4)、公式(5)以及公式(6)所示：
yt＝g(yt-1，st，Ct) (3)
etj＝d(st-1，hj) (4)
可以理解、上述的函数H、f、g、d等都是通过神经网络模型训练得到的。
本实施例中，通过编码神经网络模型将输入序列转换为输入隐层向量，然后再利用解码神经网络模型对输入隐层向量进行解码得到完整语意信息，而且，完整语意信息中当前生成字符是根据输入隐层向量以及当前生成字符的上一个生成字符生成的，因此，使完整语意信息字符与字符之间有了进一步地联系，提高了完整语意信息的连贯性。
在一个实施例中，如图5所示，在步骤S202之前，还可以包括以下步骤：
S502，从历史会话中获取会话查询方对应的缺失语意查询信息。
具体地，历史会话是指在待处理缺失语意信息之前已经完成的会话。会话查询方是指发出会话信息进行查询的一方，会话查询方对应的缺失语意查询信息指会话查询方发出的缺失语意的会话信息。例如，在与聊天机器人进行聊天的过程中，输入会话信息进行查询的为用户，则用户为会话查询方。聊天机器人的会话数据库中存储了与会话查询方进行会话时产生的历史会话。历史会话的会话查询方可以与待处理缺失语意信息中的查询方相同，但是在一般情况下，由于进行模型训练时需要大量的训练数据，例如，数十万的训练数据，因此会话查询方可能会有数十万个，因此，除少数缺失语意查询信息的会话查询方与待处理缺失语意信息的查询方相同外，其他都是不相同的。
S504，从历史会话中获取缺失语意查询信息对应的完整语意查询信息。
具体地，完整语意查询信息指会话查询方发出的清楚以及没有歧义的查询信息。缺失语意查询信息对应的完整语意查询信息可以是人工标注得到的。例如，当获取到缺失语意查询信息后，利用人工从历史会话中挑选出缺失语意查询信息对应的完整语意查询信息。为了进一步减少工作量，也可以根据一定的规则获取缺失语意查询信息对应的完整语意查询信息。例如，当历史会话中的查询信息包括了缺失语意查询信息，且历史会话中的查询信息的全部或者部分内容出现在缺失语意查询信息中时的上文或者下文中时，则为缺失语意查询信息对应的完整语意查询信息。
S506，将缺失语意查询信息以及缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列。
具体地，缺失语意查询信息的上文信息指在缺失语意查询信息所在的当前历史会话中，且在缺失语意查询信息之前的会话信息。
S508，将训练文本序列以及完整语意查询信息组成训练数据，并将训练数据输入到神经网络中进行训练，得到第一神经网络模型。
具体地，由于训练样本文本序列已知以及对应的完整语意查询信息也已知，因此，将训练文本序列以及完整语意查询信息组成训练数据，并将训练数据输入到神经网络中进行模型训练，可以训练得到模型参数，从而得到第一神经网络模型。在进行训练时，将训练样本序列输入到神经网络中，得到字典中的各个字符为要生成的字符的概率，然后取概率最大的字符作为生成的字符，为了使得生成的字符与对应的完整语意查询信息的字符相同，需要将训练生成的字符与完整语意查询信息的字符进行对比，根据对比结果调整模型参数。例如，若训练中生成的字符是与训练数据中已知的完整语意查询信息的字符相同，则给予正向奖励，若生成的是其他字符则给予惩罚，惩罚函数可以使用交叉熵，训练过程中可以使用梯度反向传播(Backpropagation Through Time，BPTT)进行模型参数更新，直到满足收敛的条件，从而得到模型参数，生成第一神经网络模型。
在一个实施例中，如图6所示，步骤S504从历史会话中获取缺失语意查询信息对应的完整语意查询信息可以包括以下步骤：
S602，对缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息。
具体地，语意无效信息指对缺失语意查询信息所表达的意思没有影响的词语，具体可以根据需要自定义设置。例如，语意无效信息可以为缺失语意查询信息中的语气助词、副词、介词以及连接词中的一个或多个，语气助词例如可以为“吧”、“吗”、“啊”等词，副词例如为“好”、“非常”等等。介词例如可以为“上面”、前面”等等。连接词例如可以为“和”、“与”等等。缺失语意查询信息中的语意无效信息进行过滤是指将缺失语意查询信息中的语意无效信息去除，去除后得到的为关键信息。
S604，从历史会话中获取包括关键信息的候选查询信息。
具体地，历史会话中的查询信息指在历史会话中由会话查询方发出的会话信息，候选查询信息指包括关键信息的查询信息。可以利用关键信息在历史会话中进行搜索，将历史会话中包括关键信息的查询信息作为候选查询信息。
在一个实施例中，候选查询信息是在缺失语意查询信息所在的当前历史会话的下文信息中获取的，以将会话查询方在发现缺失语意查询信息得不到正确回答后，自发纠正的查询信息作为缺失语意查询信息对应的完整语意信息。当前历史会话的下文信息指与缺失语意查询信息为同一会话，且是在缺失语意查询信息之后发出的信息。
在一个实施例中，还可以在缺失语意查询信息所在的当前历史会话之外的其它历史会话中进行搜索，获取包括关键信息的候选查询信息。
S606，在候选查询信息中去掉关键信息得到剩余信息。
具体地，在得到候选查询信息后，需要将候选查询信息的关键信息去除，将去掉关键信息后得到的信息作为剩余信息。在一些实施例中，还可以去除候选查询信息中的语意无效信息，语意无效信息指对缺失语意查询信息所表达的意思没有影响的词语，可以根据需要进行自定义设置。例如，语意无效信息可以为候选查询信息中的语气助词、副词、介词以及连接词中的一个或多个，可以利用词性标注方法标注候选查询信息中每一个字或者词的词性，进而根据标注的词性去掉语意无效信息。
S608，根据剩余信息从候选查询信息中筛选目标查询信息作为完整语意查询信息，目标查询信息对应的剩余信息包含在缺失语意查询信息的上文信息中。
具体地，得到剩余信息后，若缺失语意查询信息的上文信息中出现了候选查询信息的剩余信息，则该候选查询信息为目标查询信息，将该目标查询信息作为缺失语意查询信息对应的完整语意查询信息。若缺失语意查询信息的上文信息中没有候选查询信息的剩余信息，则该候选查询信息不是目标查询信息。
本发明实施例中，通过过滤得到缺失语意查询信息之后的关键信息后，从历史会话中获取包括关键信息的候选查询信息，并将候选查询信息去除关键信息之后得到的剩余信息与缺失语意查询信息的上文信息进行对比，根据剩余信息从候选查询信息中筛选目标查询信息作为所述完整语意查询信息，目标查询信息对应的剩余信息包含在缺失语意查询信息的上文信息中。因此可以获取到在输出缺失语意信息后会话查询方自发纠正的完整语意信息，或者在相似的语境中的其他会话中查找缺失语意查询信息对应的完整语意查询信息，提高了获取训练数据的效率。
在一些实施例中，如图7所示，当待处理缺失语意信息中存在代词时，还缺失语意补全方法还包括进行指代消解的步骤，指代消解指确定信息中的代词指向哪个命名实体，并用代词指向的命名实体替换代词，具体可以包括:
步骤702，获取当前文本序列中的命名实体。
具体地，代词指代替名词或名词短语的形式词，例如，你、我、他、它以及那个人等等。命名实体指人名、机构名、地名以及其他以名称为标识的实体。在一些实施例中，命名实体还包括数字、日期、货币、地址等等词语。
步骤704，将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中，得到代词向量。
具体地，命名实体序列包括当前文本序列中命名实体的上文信息，代词序列包括当前文本序列中代词的上文信息。上文信息可以包括命名实体或者代词本身，也可以不包括命名实体或者代词本身。第二神经网络模型是预先训练得到的。在进行第二神经模型的模型训练时，训练数据中代词以及代词所在文本序列的上文信息中替换代词的命名实体是已知的，因此可以通过训练数据对神经网络模型进行训练，得到使训练数据中代词的向量与替换代词的命名实体的向量的相似度最大的神经网络模型参数，进而根据神经网络模型参数得到第二神经网络模型。第二神经网络模型可以是卷积神经网络模型或者循环神经网络模型等，例如CNN(Convolutional Neural Network、卷积神经网络)、RNN(RecurrentNeural Networks、循环神经网络)、LSTM(Long Short Term Memory networks、长短期记忆单元)以及GRU(Gated Recurrent Unit、门控循环单元)等等，本发明在此不做限制。
步骤706，计算代词向量与各个命名实体向量之间的相似度。
具体地，相似度用于衡量对象之间相似的程度，相似度越大，表示对象之间差异越小，即越相像。相似度的算法可以根据需要进行选择或者定义，例如可以利用相似度余弦算法计算相似度，或者利用欧式距离计算方法计算相似度。
步骤708，利用与代词向量相似度最大的命名实体向量对应的命名实体替换待处理缺失语意信息中的代词。
具体地，当计算得到代词向量与各个命名实体向量之间的相似度后，将与代词向量相似度最大的命名实体向量对应的命名实体替换待处理缺失语意信息中的代词，得到指代消解后的待处理缺失语意信息。
本实施例中，当待处理缺失语意信息包括代词时，在获取到命名实体以及代词后，将命名实体序列以及代词序列输入到第二神经模型中便可以得到命名实体向量以及代词向量，进而根据命名实体向量以及代词向量的相似度获取替换代词的命名实体以替换代词，方法简单，而且通过采用神经网络，可通过大数据量的训练数据构建高准确率的神经网络模型，提高指代消解的可靠性。
在一些实施例中，命名实体序列包括命名实体当前文本序列中命名实体的上文信息以及下文信息，代词序列包括当前文本序列中代词的上文信息以及下文信息，第二神经网络模型可以为双向神经网络模型例如双向循环神经网络模型。如图8所示，步骤S704即将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中得到代词向量的步骤包括：
S802，将命名实体的上文信息输入到第二神经网络模型中进行正向编码得到命名实体正向编码向量。
S804，将命名实体的下文信息输入到第二神经网络模型中进行反向编码得到命名实体反向编码向量。
S806，将命名实体正向编码向量以及命名实体反向编码向量进行拼接，得到命名实体向量。
具体地，在正向编码中，当前词的正向编码向量都是根据当前词的上一个词的正向编码向量以及当前词的词向量获取的，在反向编码中，当前词的反向编码向量是根据当前词的下一个词的反向编码向量以及当前词的词向量获取的。以第二神经网络模型为双向LSTM模型为例，首先可在字典中查找到命名实体的下标i，然后选择词向量矩阵的第i行作为表示命名实体的词向量，例如为V命名实体＝(0.9，0.5，0.2，...，0.3)，词向量的维数可以根据实际设定。然后将V命名实体以及命名实体的上一个词进行正向编码得到的编码向量输入到双向LSTM模型中，得到命名实体正向编码向量h正。此外，将V命名实体以及命名实体的下一个词反向编码得到的反向编码向量输入到双向LSTM模型中，得到命名实体反向编码向量h反。然后将命名实体正向编码向量以及命名实体反向编码向量进行拼接。得到命名实体向量h＝[h正，h反]。需要说明的是，上述命名实体的上文信息或者下文信息可以包括命名实体本身，也可以不包括命名实体本身。在一些实施例中个，若上文信息中包括了命名实体本身，则下文信息中不包括命名实体本身。
S808，将代词的上文信息输入到第二神经网络模型中进行正向编码得到代词正向编码向量。
S810，将代词的在后文本序列输入到第二神经网络模型中进行反向编码得到代词反向编码向量。
S812，将代词正向编码向量以及代词反向编码向量进行拼接，得到代词向量。
代词向量的获取方式与上述的命名实体向量的获取方法相同，当前词的正向编码向量都是根据上一个词的正向编码向量以及当前词的词向量获取的，当前词的反向编码向量是根据下一个词的反向编码向量以及当前词的词向量获取的。在此不再赘述。需要说明的是，上述代词的上文信息或者下文信息可以包括代词本身，也可以不包括代词本身。在一些实施例中个，若上文信息中包括了代词本身，则下文信息中不包括代词本身。步骤S802～S806以及S808～812的执行顺序可以是同时进行，也可以是执行步骤S802～S806或者先执行S808～812，本发明实施例在此不做限制。
本实施例中，命名实体向量包括命名实体正向编码向量以及命名实体反向编码向量，代词向量包括代词正向编码向量以及代词反向编码向量，因此结合了命名实体以及代词上文信息以及下文信息分别对命名实体以及代词进行编码，提高了计算命名实体向量以及代词向量相似度的准确性。
如图9所示，在一个实施例中，提供了一种缺失语意信息补全装置，该缺失语意信息补全装置可以集成于上述的计算机设备120中，具体可以包括获取模块902、当前文本序列确定模块904以及完整语意信息输出模块906。
信息获取模块902，用于获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息。
当前文本序列确定模块904，用于将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列。
完整语意信息输出模块906，用于将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。
在一个实施例中，第一神经网络模型包括编码神经网络模型以及解码神经网络模型，如图10所示，完整语意信息输出模块906包括编码单元1002以及解码单元1004。
编码单元1002，用于将当前文本序列输入到编码神经网络模型中进行编码，得到当前文本序列对应的输入隐层向量。
解码单元1004，用于将输入隐层向量输入到解码神经网络模型中进行解码，得到缺失语意信息对应的完整语意信息，其中，解码神经网络模型中，完整语意信息中当前生成字符是根据输入隐层向量以及当前生成字符的上一个生成字符生成的。
在一个实施例中，如图11所示，缺失语意补全装置还包括：
缺失语意查询信息获取模块1102，用于从历史会话中获取会话查询方对应的缺失语意查询信息。
完整语意查询信息获取模块1104，用于从历史会话中获取缺失语意查询信息对应的完整语意查询信息。
拼接模块1106，用于将缺失语意查询信息以及缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列。
训练模块1108，用于将训练文本序列以及完整语意查询信息组成训练数据，并将训练数据输入到神经网络中进行训练，得到第一神经网络模型。
在一个实施例中，如图12所示，完整语意查询信息获取模块1104包括：
信息过滤单元1202，用于对缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息。
候选查询信息获取单元1204，用于从历史会话中获取包括关键信息的候选查询信息。
剩余信息确定单元1206，用于在候选查询信息中去掉关键信息得到剩余信息。
完整语意查询信息输出单元1208，用于根据剩余信息从候选查询信息中筛选目标查询信息作为完整语意查询信息，目标查询信息对应的剩余信息包含在缺失语意查询信息的上文信息中。
在一个实施例中，候选查询信息获取单元1204用于在缺失语意查询信息所在的当前历史会话的下文信息中获取包括关键信息的候选查询信息。
在一个实施例中，候选查询信息获取单元1204用于在缺失语意查询信息所在的当前历史会话之外的其它历史会话中进行搜索，获取包括关键信息的候选查询信息。
在一个实施例中，如图13所示，当待处理缺失语意信息中存在代词时，装置还包括：
命名实体获取单元1302，用于获取当前文本序列中的命名实体。
向量生成单元1304，用于将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中，得到代词向量，其中，命名实体序列包括当前文本序列中命名实体的上文信息，代词序列包括当前文本序列中代词的上文信息。
相似度计算单元1306，用于计算代词向量与各个命名实体向量之间的相似度。
替换单元1308，用于利用与代词向量相似度最大的命名实体向量对应的命名实体替换待处理缺失语意信息中的代词。
以下以一个具体实施例对本发明实施例提供的缺失语意补全方法进行说明：
以对话为：用户：讲个故事给我听；机器人：等我学会了给你讲哦；用户：我等着。采用编码-解码框架，且编码神经网络模型为双向LSTM模型、解码神经网络模型为RNN，并基于注意力机制进行解码为例，对缺失语意信息的补全方法进行说明。
如图14所示，当获取到“我等着”这一待处理缺失语意信息时，获取上文信息“讲个故事给我听”以及“等我学会了给你讲哦”，并按照会话顺序进行拼接，组成由{讲个故事给我听E等我学会了给你讲哦E我等着}共21个字符形成的文本序列。其中，以E表示句子与句子之间的分隔。然后以每个字符为中心，利用双向LSTM模型进行编码，得到21个输入隐层向量{h1，h1……h20，h21}。如图14所示，已经依次生成“我”、“等”、“着”以及“听”四个字符，因此根据公式(4)、公式(5)得到字符“听”的下一个生成字符的注意力权重{a41，a42……a420，a421}，根据公式(6)得到内容向量C4，根据公式(2)得到隐藏状态S4，然后将S4、C4以及上一个生成的字符“听”的词向量输入到解码神经网络模型中，得到字典中字符下一个生成的字为“故”的概率最大，故下一个生成的字为“故”。需要说明的是，当生成第一个字符时，由于没有上一个生成字符，因此输入的词向量可以为空值或者其他自定义的值。
双向LSTM模型进行编码的过程如下：对当前文本序列中的每个字符，对字符的上文信息进行正向编码以及下文信息进行反向编码，然后将正向编码得到的向量以及反向编码得到的向量进行拼接，形成该字符对应的输入隐层向量。其中，正向编码以及反向编码的一个示例如下：通过查询字典得到该字符在字典中的下标为i，然后选择词向量矩阵的第i行作为该字符的词向量，将该字符的词向量与当前文本序列中该字符的上一个字符正向编码得到的向量输入到双向LSTM模型中，得到该字符正向编码形成的向量h正，将该字符的向量与当前文本序列中该字符的下一个字符反向编码得到的向量输入到双向LSTM模型中，得到反向编码形成的向量h反。然后将h正与h反拼接在一起得到hj＝[h正；h反]
以下通过具体的实施例对发明实施例提供的进行指代消解的方法进行说明。
以会话内容为：“用户:你会念心经吗；机器人:会；用户:那就念一段吧”为例。在该会话中，“那就念一段吧”为缺失语意查询信息，“你会念心经吗”以及“那就念一段吧”为缺失语意查询信息的上文信息。首先将缺失语意查询信息中的“那”“就”以及“吧”这三个词语进行过滤，得到的关键信息为“念一段”，然后使用“念一段”在会话语料库中的历史会话中进行搜索，获取到历史对话中的查询信息中包括了“念一段”的查询信息有三个，分别为“念一段心经”、“念一段法华经”以及“念一段歌词”，这三个查询信息即为候选查询信息。将这三个候选查询信息中的关键信息“念一段”进行过滤后，得到的剩余信息分别为“心经”、“法华经”以及“歌词”。剩余信息“心经”包含在缺失语意查询信息的上文信息“你会念心经吗”中，而剩余信息“法华经”以及“歌词”没有包含在缺失语意查询信息的上文信息中，因此，从候选查询信息筛选得到的目标查询信息为“念一段心经”，将“念一段心经”作为完整语意查询信息。
再以会话内容为“用户:几点起床；机器人:早上4:30；用户:好早；机器人:早上好；用户:你那么早起床做什么”为例，“好早”为缺失语音查询信息，“几点起床”以及“早上4:30”为缺失语音查询信息的上文信息，“早上好”以及“你那么早起床做什么”为缺失语音查询信息的下文信息。将表示程度的副词“好”进行过滤，得到关键信息为“早”。然后使用关键信息“早”在缺失语音查询信息的下文信息中查找到包括关键信息“早”的查询信息为“你那么早起床做什么”，因此““你那么早起床做什么”为候选查询信息。将将关键信息“早”以及语意无效信息“你那么”、“做什么”去掉之后得到“起床”为候选查询信息的剩余信息，缺失语音查询信息的上文信息中包括剩余信息“起床”，因此，“你那么早起床做什么”是缺失语音查询信息“好早”的完整语意信息。
如图15所示，为一个实施例中计算机设备的内部结构图，该计算机设备通过系统连接总线连接处理器、非易失性存储介质、内存储器和网络接口。其中，该计算机设备的非易失性存储介质可存储操作系统和计算机可读指令，该计算机可读指令被执行时，可使得处理器执行一种缺失语意信息补全方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种缺失语意信息补全方法。计算机设备的网络接口用于进行网络通信，如接收待处理缺失语意信息等。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的缺失语意信息补全装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该缺失语意信息补全装置的各个程序模块，比如图9中的获取模块902、当前文本序列确定模块904以及完整语意信息输出模块906。各个程序模块中包括计算机可读指令，计算机可读指令用于使计算机设备执行本说明书中描述的本申请各个实施例的缺失语意信息补全方法中的步骤，例如，计算机设备可以通过如图9所示的缺失语意信息补全装置中的获取模块902获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息，通过当前文本序列确定模块904将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列，通过完整语意信息输出模块906将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息；将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。
在一个实施例中，第一神经网络模型包括编码神经网络模型以及解码神经网络模型，将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息，包括：将当前文本序列输入到编码神经网络模型中进行编码，得到当前文本序列对应的输入隐层向量；将输入隐层向量输入到解码神经网络模型中进行解码，得到缺失语意信息对应的完整语意信息，其中，解码神经网络模型中，完整语意信息中当前生成字符是根据输入隐层向量以及当前生成字符的上一个生成字符生成的。
在一个实施例中，计算机可执行指令被处理器执行时，还使得处理器执行以下步骤：从历史会话中获取会话查询方对应的缺失语意查询信息；从历史会话中获取缺失语意查询信息对应的完整语意查询信息；将缺失语意查询信息以及缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列；将训练文本序列以及完整语意查询信息组成训练数据，并将训练数据输入到神经网络中进行训练，得到第一神经网络模型。
在一个实施例中，从历史会话中获取缺失语意查询信息对应的完整语意查询信息，包括：对缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息；从历史会话中获取包括关键信息的候选查询信息；在候选查询信息中去掉关键信息得到剩余信息；根据剩余信息从候选查询信息中筛选目标查询信息作为完整语意查询信息，目标查询信息对应的剩余信息包含在缺失语意查询信息的上文信息中。
在一个实施例中，获取包括关键信息的候选查询信息，包括：在缺失语意查询信息所在的当前历史会话的下文信息中获取包括关键信息的候选查询信息；或者在缺失语意查询信息所在的当前历史会话之外的其它历史会话中进行搜索，获取包括关键信息的候选查询信息。
在一个实施例中，计算机可执行指令被处理器执行时，还使得处理器执行以下步骤：获取当前文本序列中的命名实体；将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中，得到代词向量，其中，命名实体序列包括当前文本序列中命名实体的上文信息，代词序列包括当前文本序列中代词的上文信息；计算代词向量与各个命名实体向量之间的相似度；利用与代词向量相似度最大的命名实体向量对应的命名实体替换待处理缺失语意信息中的代词。
在一个实施例中，命名实体序列包括命名实体当前文本序列中命名实体的上文信息以及下文信息，代词序列包括当前文本序列中代词的上文信息以及下文信息，将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中得到代词向量，包括：将命名实体的上文信息输入到第二神经网络模型中进行正向编码得到命名实体正向编码向量；以及将命名实体的下文信息输入到第二神经网络模型中进行反向编码得到命名实体反向编码向量；将命名实体正向编码向量以及命名实体反向编码向量进行拼接，得到命名实体向量；以及将代词的上文信息输入到第二神经网络模型中进行正向编码得到代词正向编码向量；将代词的在后文本序列输入到第二神经网络模型中进行反向编码得到代词反向编码向量，将代词正向编码向量以及代词反向编码向量进行拼接，得到代词向量。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取会话中的待处理缺失语意信息以及待处理缺失语意信息的上文信息；将待处理缺失语意信息的上文信息以及待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息。
在一个实施例中，第一神经网络模型包括编码神经网络模型以及解码神经网络模型，将当前文本序列输入预先训练的第一神经网络模型，得到待处理缺失语意信息对应的完整语意信息，包括：将当前文本序列输入到编码神经网络模型中进行编码，得到当前文本序列对应的输入隐层向量；将输入隐层向量输入到解码神经网络模型中进行解码，得到缺失语意信息对应的完整语意信息，其中，解码神经网络模型中，完整语意信息中当前生成字符是根据输入隐层向量以及当前生成字符的上一个生成字符生成的。
在一个实施例中，计算机可执行指令被处理器执行时，还使得处理器执行以下步骤：从历史会话中获取会话查询方对应的缺失语意查询信息；从历史会话中获取缺失语意查询信息对应的完整语意查询信息；将缺失语意查询信息以及缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列；将训练文本序列以及完整语意查询信息组成训练数据，并将训练数据输入到神经网络中进行训练，得到第一神经网络模型。
在一个实施例中，从历史会话中获取缺失语意查询信息对应的完整语意查询信息，包括：对缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息；从历史会话中获取包括关键信息的候选查询信息；在候选查询信息中去掉关键信息得到剩余信息；根据剩余信息从候选查询信息中筛选目标查询信息作为完整语意查询信息，目标查询信息对应的剩余信息包含在缺失语意查询信息的上文信息中。
在一个实施例中，获取包括关键信息的候选查询信息，包括：在缺失语意查询信息所在的当前历史会话的下文信息中获取包括关键信息的候选查询信息；或者在缺失语意查询信息所在的当前历史会话之外的其它历史会话中进行搜索，获取包括关键信息的候选查询信息。
在一个实施例中，计算机可执行指令被处理器执行时，还使得处理器执行以下步骤：获取当前文本序列中的命名实体；将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中，得到代词向量，其中，命名实体序列包括当前文本序列中命名实体的上文信息，代词序列包括当前文本序列中代词的上文信息；计算代词向量与各个命名实体向量之间的相似度；利用与代词向量相似度最大的命名实体向量对应的命名实体替换待处理缺失语意信息中的代词。
在一个实施例中，命名实体序列包括命名实体当前文本序列中命名实体的上文信息以及下文信息，代词序列包括当前文本序列中代词的上文信息以及下文信息，将命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中得到命名实体向量，将代词对应的代词序列输入到第二神经网络模型中得到代词向量，包括：将命名实体的上文信息输入到第二神经网络模型中进行正向编码得到命名实体正向编码向量；以及将命名实体的下文信息输入到第二神经网络模型中进行反向编码得到命名实体反向编码向量；将命名实体正向编码向量以及命名实体反向编码向量进行拼接，得到命名实体向量；以及将代词的上文信息输入到第二神经网络模型中进行正向编码得到代词正向编码向量；将代词的在后文本序列输入到第二神经网络模型中进行反向编码得到代词反向编码向量，将代词正向编码向量以及代词反向编码向量进行拼接，得到代词向量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种缺失语意信息的补全方法，所述方法包括：
获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；
将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；
将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息；
其中，所述第一神经网络模型是根据缺失语意查询信息以及所述缺失语意查询信息对应的完整语意查询信息训练得到的，得到所述缺失语意查询信息对应的完整语意查询信息的步骤包括：
对所述缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息；
在所述缺失语意查询信息所在的当前历史会话的下文信息中获取包括所述关键信息的候选查询信息；
在所述候选查询信息中去掉所述关键信息得到剩余信息；
根据所述剩余信息从所述候选查询信息中筛选目标查询信息作为所述完整语意查询信息，所述目标查询信息对应的剩余信息包含在所述缺失语意查询信息的上文信息中。
2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括编码神经网络模型以及解码神经网络模型，所述将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息的步骤包括：
将所述当前文本序列输入到所述编码神经网络模型中进行编码，得到所述当前文本序列对应的输入隐层向量；
将所述输入隐层向量输入到所述解码神经网络模型中进行解码，得到所述缺失语意信息对应的完整语意信息，其中，所述解码神经网络模型中，所述完整语意信息中当前生成字符是根据所述输入隐层向量以及所述当前生成字符的上一个生成字符生成的。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从历史会话中获取会话查询方对应的缺失语意查询信息；
将所述缺失语意查询信息以及所述缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列；
将所述训练文本序列以及所述完整语意查询信息组成训练数据，并将所述训练数据输入到神经网络中进行训练，得到所述第一神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息包括：
对所述缺失语意查询信息中的语气助词、副词、介词以及连接词中的一个或多个进行过滤，得到对应的关键信息。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
在所述缺失语意查询信息所在的当前历史会话之外的其它历史会话中进行搜索，获取包括所述关键信息的候选查询信息。
6.根据权利要求1所述的方法，其特征在于，当所述待处理缺失语意信息中存在代词时，所述方法还包括：
获取所述当前文本序列中的命名实体；
将所述命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将所述代词对应的代词序列输入到所述第二神经网络模型中，得到代词向量，其中，所述命名实体序列包括所述当前文本序列中所述命名实体的上文信息，所述代词序列包括所述当前文本序列中所述代词的上文信息；
计算所述代词向量与各个所述命名实体向量之间的相似度；
利用与所述代词向量相似度最大的命名实体向量对应的命名实体替换所述待处理缺失语意信息中的所述代词。
7.根据权利要求6所述的方法，其特征在于，所述命名实体序列包括所述命名实体所述当前文本序列中所述命名实体的上文信息以及下文信息，所述代词序列包括所述当前文本序列中所述代词的上文信息以及下文信息，所述将所述命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中得到命名实体向量，将所述代词对应的代词序列输入到所述第二神经网络模型中得到代词向量的步骤包括：
将所述命名实体的上文信息输入到所述第二神经网络模型中进行正向编码得到命名实体正向编码向量；
以及将所述命名实体的下文信息输入到所述第二神经网络模型中进行反向编码得到命名实体反向编码向量；
将所述命名实体正向编码向量以及命名实体反向编码向量进行拼接，得到所述命名实体向量；
以及
将所述代词的上文信息输入到所述第二神经网络模型中进行正向编码得到代词正向编码向量；
将所述代词的在后文本序列输入到所述第二神经网络模型中进行反向编码得到代词反向编码向量；
将所述代词正向编码向量以及代词反向编码向量进行拼接，得到所述代词向量。
8.一种缺失语意信息的补全装置，其特征在于，所述装置包括：
信息获取模块，用于获取会话中的待处理缺失语意信息以及所述待处理缺失语意信息的上文信息；
当前文本序列确定模块，用于将所述待处理缺失语意信息的上文信息以及所述待处理缺失语意信息按照会话顺序进行拼接，得到当前文本序列；
完整语意信息输出模块，用于将所述当前文本序列输入预先训练的第一神经网络模型，得到所述待处理缺失语意信息对应的完整语意信息；
其中，所述第一神经网络模型是根据缺失语意查询信息以及所述缺失语意查询信息对应的完整语意查询信息训练得到的，得到所述缺失语意查询信息对应的完整语意查询信息的完整语意查询信息获取模块包括：
信息过滤单元，用于对所述缺失语意查询信息中的语意无效信息进行过滤得到对应的关键信息；
候选查询信息获取单元，用于在所述缺失语意查询信息所在的当前历史会话的下文信息中获取包括所述关键信息的候选查询信息；
剩余信息确定单元，用于在所述候选查询信息中去掉所述关键信息得到剩余信息；
完整语意查询信息输出单元，用于根据所述剩余信息从所述候选查询信息中筛选目标查询信息作为所述完整语意查询信息，所述目标查询信息对应的剩余信息包含在所述缺失语意查询信息的上文信息中。
9.根据权利要求8所述的装置，其特征在于，所述第一神经网络模型包括编码神经网络模型以及解码神经网络模型，所述完整语意信息输出模块包括：
编码单元，用于将所述当前文本序列输入到所述编码神经网络模型中进行编码，得到所述当前文本序列对应的输入隐层向量；
解码单元，用于将所述输入隐层向量输入到所述解码神经网络模型中进行解码，得到所述缺失语意信息对应的完整语意信息，其中，所述解码神经网络模型中，所述完整语意信息中当前生成字符是根据所述输入隐层向量以及所述当前生成字符的上一个生成字符生成的。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
缺失语意查询信息获取模块，用于从历史会话中获取会话查询方对应的缺失语意查询信息；
拼接模块，用于将所述缺失语意查询信息以及所述缺失语意查询信息的上文信息按照会话顺序进行拼接，得到训练文本序列；
训练模块，用于将所述训练文本序列以及所述完整语意查询信息组成训练数据，并将所述训练数据输入到神经网络中进行训练，得到所述第一神经网络模型。
11.根据权利要求10所述的装置，其特征在于，所述信息过滤单元，用于：
对所述缺失语意查询信息中的语气助词、副词、介词以及连接词中的一个或多个进行过滤，得到对应的关键信息。
12.如权利要求8所述的装置，其特征在于，所述候选查询信息获取单元还用于：
在所述缺失语意查询信息所在的当前历史会话的下文信息中获取包括所述关键信息的候选查询信息。
13.根据权利要求8所述的装置，其特征在于，当所述待处理缺失语意信息中存在代词时，所述装置还包括：
命名实体获取单元，用于获取所述当前文本序列中的命名实体；
向量生成单元，用于将所述命名实体对应的命名实体序列输入到预先训练的第二神经网络模型中，得到命名实体向量，将所述代词对应的代词序列输入到所述第二神经网络模型中，得到代词向量，其中，所述命名实体序列包括所述当前文本序列中所述命名实体的上文信息，所述代词序列包括所述当前文本序列中所述代词的上文信息；
相似度计算单元，用于计算所述代词向量与各个所述命名实体向量之间的相似度；
替换单元，用于利用与所述代词向量相似度最大的命名实体向量对应的命名实体替换所述待处理缺失语意信息中的所述代词。
14.根据权利要求13所述的装置，其特征在于，所述命名实体序列包括所述命名实体所述当前文本序列中所述命名实体的上文信息以及下文信息，所述代词序列包括所述当前文本序列中所述代词的上文信息以及下文信息，所述向量生成单元用于：
将所述命名实体的上文信息输入到所述第二神经网络模型中进行正向编码得到命名实体正向编码向量；
以及将所述命名实体的下文信息输入到所述第二神经网络模型中进行反向编码得到命名实体反向编码向量；
将所述命名实体正向编码向量以及命名实体反向编码向量进行拼接，得到所述命名实体向量；
以及
将所述代词的上文信息输入到所述第二神经网络模型中进行正向编码得到代词正向编码向量；
将所述代词的在后文本序列输入到所述第二神经网络模型中进行反向编码得到代词反向编码向量；
将所述代词正向编码向量以及代词反向编码向量进行拼接，得到所述代词向量。
15.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述缺失语意信息补全方法的步骤。
16.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述缺失语意信息补全方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710577385.1A CN108334487B (zh) | 2017-07-14 | 2017-07-14 | 缺失语意信息补全方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710577385.1A CN108334487B (zh) | 2017-07-14 | 2017-07-14 | 缺失语意信息补全方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108334487A CN108334487A (zh) | 2018-07-27 |
| CN108334487B true CN108334487B (zh) | 2021-06-25 |
Family
ID=62922913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710577385.1A Active CN108334487B (zh) | 2017-07-14 | 2017-07-14 | 缺失语意信息补全方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334487B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110874399B (zh) * | 2018-08-31 | 2023-11-10 | 阿里巴巴集团控股有限公司 | 信息处理方法、装置、计算设备及终端 |
| CN109522395A (zh) * | 2018-10-12 | 2019-03-26 | 平安科技（深圳）有限公司 | 自动问答方法及装置 |
| CN109637520B (zh) * | 2018-10-16 | 2023-08-22 | 平安科技（深圳）有限公司 | 基于语音分析的敏感内容识别方法、装置、终端及介质 |
| CN109726389B (zh) * | 2018-11-13 | 2020-10-13 | 北京邮电大学 | 一种基于常识和推理的中文缺失代词补全方法 |
| CN109522419B (zh) * | 2018-11-15 | 2020-08-04 | 北京搜狗科技发展有限公司 | 会话信息补全方法及装置 |
| CN109657013A (zh) * | 2018-11-30 | 2019-04-19 | 杭州数澜科技有限公司 | 一种系统化生成标签的方法和系统 |
| CN109616128A (zh) * | 2019-01-30 | 2019-04-12 | 努比亚技术有限公司 | 语音发送方法、装置和计算机可读存储介质 |
| CN111984766B (zh) * | 2019-05-21 | 2023-02-24 | 华为技术有限公司 | 缺失语义补全方法及装置 |
| WO2020242383A1 (en) * | 2019-05-28 | 2020-12-03 | Active Intelligence Pte Ltd | Conversational diaglogue system and method |
| CN110427625B (zh) * | 2019-07-31 | 2022-12-27 | 腾讯科技（深圳）有限公司 | 语句补全方法、装置、介质及对话处理系统 |
| CN110472029B (zh) * | 2019-08-01 | 2024-03-19 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置以及计算机可读存储介质 |
| CN110610001B (zh) * | 2019-08-12 | 2024-01-23 | 大箴(杭州)科技有限公司 | 短文本完整性识别方法、装置、存储介质及计算机设备 |
| CN112309384B (zh) * | 2019-08-28 | 2023-01-06 | 抖音视界有限公司 | 一种语音识别方法、装置、电子设备及介质 |
| CN110544222B (zh) * | 2019-09-05 | 2023-01-03 | 重庆瑞信展览有限公司 | 一种视觉传达图像清晰化处理方法和系统 |
| CN112487155A (zh) * | 2019-09-12 | 2021-03-12 | 微软技术许可有限责任公司 | 对会话中的消息进行上下文补全 |
| CN111178063B (zh) * | 2019-12-04 | 2024-02-20 | 医渡云（北京）技术有限公司 | 一种文本处理方法、装置、可读介质及电子设备 |
| CN111159376A (zh) * | 2019-12-30 | 2020-05-15 | 深圳追一科技有限公司 | 会话处理方法、装置、电子设备以及存储介质 |
| CN111507088B (zh) * | 2020-04-15 | 2022-12-16 | 深圳前海微众银行股份有限公司 | 语句补全方法、设备及可读存储介质 |
| CN111475635B (zh) * | 2020-05-18 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 语义补全方法、装置和电子设备 |
| CN111831801B (zh) * | 2020-05-27 | 2022-02-25 | 北京市农林科学院 | 一种人机对话方法及系统 |
| CN111783429A (zh) * | 2020-07-31 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 信息处理方法、装置、电子设备以及存储介质 |
| CN112035651B (zh) * | 2020-09-25 | 2024-04-09 | 北京小米松果电子有限公司 | 语句补全方法、装置及计算机可读存储介质 |
| CN112259087A (zh) * | 2020-10-16 | 2021-01-22 | 四川长虹电器股份有限公司 | 基于时序神经网络模型补全语音数据的方法 |
| CN112560477B (zh) * | 2020-12-09 | 2024-04-16 | 科大讯飞(北京)有限公司 | 文本补全方法以及电子设备、存储装置 |
| CN112580310B (zh) * | 2020-12-28 | 2023-04-18 | 河北省讯飞人工智能研究院 | 一种缺失字/词的补全方法及电子设备 |
| CN112949280B (zh) * | 2021-03-02 | 2023-07-07 | 中国联合网络通信集团有限公司 | 一种数据处理方法和装置 |
| CN115909354B (zh) * | 2022-11-11 | 2023-11-10 | 北京百度网讯科技有限公司 | 文本生成模型的训练方法、文本获取方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398835A (zh) * | 2007-09-30 | 2009-04-01 | 日电（中国）有限公司 | 基于自然语言的服务选择系统与方法以及服务查询系统与方法 |
| CN103678358A (zh) * | 2012-09-13 | 2014-03-26 | 腾讯科技（深圳）有限公司 | 一种信息搜索方法及系统 |
| CN105589844A (zh) * | 2015-12-18 | 2016-05-18 | 北京中科汇联科技股份有限公司 | 一种用于多轮问答系统中缺失语义补充的方法 |
| CN106777018A (zh) * | 2016-12-08 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 一种智能聊天机器人中对输入语句的优化方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8856163B2 (en) * | 2003-07-28 | 2014-10-07 | Google Inc. | System and method for providing a user interface with search query broadening |
-
2017
- 2017-07-14 CN CN201710577385.1A patent/CN108334487B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398835A (zh) * | 2007-09-30 | 2009-04-01 | 日电（中国）有限公司 | 基于自然语言的服务选择系统与方法以及服务查询系统与方法 |
| CN103678358A (zh) * | 2012-09-13 | 2014-03-26 | 腾讯科技（深圳）有限公司 | 一种信息搜索方法及系统 |
| CN105589844A (zh) * | 2015-12-18 | 2016-05-18 | 北京中科汇联科技股份有限公司 | 一种用于多轮问答系统中缺失语义补充的方法 |
| CN106777018A (zh) * | 2016-12-08 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 一种智能聊天机器人中对输入语句的优化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108334487A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334487B (zh) | 缺失语意信息补全方法、装置、计算机设备和存储介质 | |
| CN109033068B (zh) | 基于注意力机制的用于阅读理解的方法、装置和电子设备 | |
| CN110444199B (zh) | 一种语音关键词识别方法、装置、终端及服务器 | |
| CN107273503B (zh) | 用于生成同语言平行文本的方法和装置 | |
| CN111444329B (zh) | 智能对话方法、装置和电子设备 | |
| US20200012953A1 (en) | Method and apparatus for generating model | |
| US20180336193A1 (en) | Artificial Intelligence Based Method and Apparatus for Generating Article | |
| CN110377916B (zh) | 词预测方法、装置、计算机设备及存储介质 | |
| WO2019080864A1 (zh) | 一种文本语义编码方法及装置 | |
| KR102565673B1 (ko) | 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
| CN110990555B (zh) | 端到端检索式对话方法与系统及计算机设备 | |
| CN109344242B (zh) | 一种对话问答方法、装置、设备及存储介质 | |
| WO2023201975A1 (zh) | 一种差异描述语句生成方法、装置、设备及介质 | |
| CN112131368B (zh) | 对话生成方法、装置、电子设备及存储介质 | |
| CN113268609A (zh) | 基于知识图谱的对话内容推荐方法、装置、设备及介质 | |
| CN112417855A (zh) | 文本意图识别方法、装置以及相关设备 | |
| JP2022006173A (ja) | 知識事前訓練モデルの訓練方法、装置及び電子機器 | |
| CN113672708A (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
| WO2019220113A1 (en) | Device and method for natural language processing | |
| CN113657100A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| RU2712101C2 (ru) | Предсказание вероятности появления строки с использованием последовательности векторов | |
| CN115309877A (zh) | 对话生成方法、对话模型训练方法及装置 | |
| CN111813923A (zh) | 文本摘要方法、电子设备及存储介质 | |
| CN113343692B (zh) | 搜索意图的识别方法、模型训练方法、装置、介质及设备 | |
| CN113779190B (zh) | 事件因果关系识别方法、装置、电子设备与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |