CN110704588B - 基于长短期记忆网络的多轮对话语义分析方法和系统 - Google Patents

基于长短期记忆网络的多轮对话语义分析方法和系统 Download PDF

Info

Publication number
CN110704588B
CN110704588B CN201910832540.9A CN201910832540A CN110704588B CN 110704588 B CN110704588 B CN 110704588B CN 201910832540 A CN201910832540 A CN 201910832540A CN 110704588 B CN110704588 B CN 110704588B
Authority
CN
China
Prior art keywords
vector
dialogue
long
information
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910832540.9A
Other languages
English (en)
Other versions
CN110704588A (zh
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910832540.9A priority Critical patent/CN110704588B/zh
Priority to PCT/CN2019/117767 priority patent/WO2021042543A1/zh
Publication of CN110704588A publication Critical patent/CN110704588A/zh
Application granted granted Critical
Publication of CN110704588B publication Critical patent/CN110704588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种基于长短期记忆网络的多轮对话语义分析方法，所述方法包括：获取当前对话信息；根据当前对话信息生成当前对话代表向量；根据当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量；将知识编码表示向量和当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到当前对话信息的预测序列标签；根据预测序列标签得到对应的语义信息，并根据所述语义信息执行相应的操作。本发明实施例提供了基于长短期记忆网络的多轮对话语义分析方法、系统、计算机设备和计算机可存储介质。本发明实施例可以精确理解对话信息，并可以解决多轮对话的歧义以及针对新对话预测能力差的问题。

Description

基于长短期记忆网络的多轮对话语义分析方法和系统
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种基于长短期记忆网络的多轮对话语义分析方法、系统、计算机设备及计算机可读存储介质。
背景技术
随着人工智能大规模普及和应用，人机对话作为人工智能领域不可或缺的方向，受到了越来越多的重视和关注。
自然语言理解(NLU，natural language understanding)是对话系统中非常重要的一部分，尤其体现在任务型多轮对话系统中。NLU主要是通过将对话进行标注，从而进行语义理解。对于多轮对话的情形，传统的对话系统将每轮对话单独处理，忽略历史对话信息，首先这种系统存在误差传播问题，其次也没有解决多轮对话的常常出现的歧义问题。
因此，有必要提供一种精确理解对话信息的多轮对话语义分析方法，以解决多轮对话的歧义以及针对新对话预测能力差的问题。
发明内容
有鉴于此，本发明实施例的目的是提供一种基于长短期记忆网络的多轮对话语义分析方法、系统、计算机设备和计算机可读存储介质，本发明可以精确理解对话信息，并可以解决多轮对话的歧义以及针对新对话预测能力差的问题。
为实现上述目的，本发明实施例提供了一种基于长短期记忆网络的多轮对话语义分析方法，包括以下步骤：
获取客户端提供的当前对话信息；
根据所述当前对话信息生成当前对话代表向量；
根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量；
将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签；
根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息；
执行与对应的操作信息对应的操作，并输出根据所述语义信息执行相应的操作结果至客户端。
优选地，所述根据所述当前对话信息生成当前对话代表向量的步骤，包括：
从所述当前对话信息中提取多个关键词；
根据所述多个关键词得到对应的多个子结构，每个子结构包括对应的关键词及该关键词的后续词语；
将所述每个子结构转换为对应的子结构向量，以得到多个子结构向量；
将所述多个子结构向量分别输入到第二长短期记忆模型中，得到对应的多个子结构编码向量；
对所述当前对话信息进行分词操作，得到多个分词，并将多个分词转换为对应的多个分词向量；
将多个分词向量输入到第三长短期记忆模型中，得到当前对话编码向量；
将所述当前对话编码向量和各个子结构编码向量通过归一化函数计算，以得到各个子结构的权重向量；
将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘法运算，以得到多个矩阵乘法运算结果；
对所述多个矩阵乘法运算结果进行求和，以得到子结构代表向量；
将所述子结构代表向量和所述当前对话编码向量进行矩阵加法运算，并将矩阵加法运算的结果输入到第四长短期记忆模型中，以得出当前对话代表向量。
优选地，所述归一化函数如下：
p′t＝softmax(u′Tm′i)
其中，u′为当前对话编码向量，u′T为u′的转置向量，mi′为子结构编码向量，pi为各个子结构的权重向量。
优选地，预先获取多个历史对话编码向量的步骤，包括：
提取预设数据库中的多条历史对话信息；
对所述多条历史对话信息进行分词操作，得到多个历史分词，并将多个历史分词转换为对应的多个历史分词向量；
将所述多个历史分词向量输入到第五长短期记忆模型中，得到多个历史对话编码向量。
优选地，所述根据所述当前对话代表向量和预先获取的历史对话编码向量，生成知识编码表示向量的步骤，包括：
根据所述历史对话编码向量和所述当前对话代表向量得到注意力分布；
对所述注意力分布进行矩阵乘法运算，以得到多个矩阵乘法运算结果；
对所述多个矩阵乘法运算结果进行求和，以得到历史对话代表向量；
根据所述当前对话代表向量和所述历史对话代表向量，得出所述知识编码表示向量。
优选地，所述根据所述当前对话代表向量和所述历史对话代表向量，得出知识编码表示向量的步骤，包括：
根据所述当前对话代表向量和所述历史对话代表向量，通过以下公式得出知识编码表示向量：
o＝Wkg(h+u)
其中u为当前对话代表向量，h为历史对话代表向量，o为知识编码表示向量，Wkg为知识编码表示向量的权重矩阵。
优选地，对知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项进行优化更新的步骤，包括：
将知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项分别与交叉熵损失函数进行关联，通过优化算法将所述交叉熵损失函数进行迭代，以根据迭代得到的最优解更新知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项；
所述交叉熵损失函数为：
Figure BDA0002191178120000041
其中p为真实分布，q为非真实分布。
为实现上述目的，本发明实施例还提供了一种基于长短期记忆网络的多轮对话语义分析系统，包括：
获取模块，用于获取客户端提供的当前对话信息；
第一生成模块，用于根据所述当前对话信息生成当前对话代表向量；
第二生成模块，用于根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量；
预测模块，用于将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签；
匹配模块，用于根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息；
执行模块，用于执行与对应的操作信息对应的操作，输出操作结果至客户端。。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上所述的脱敏方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的基于长短期记忆网络的多轮对话语义分析方法的步骤。
相较于现有技术，本发明实施例提供的基于长短期记忆网络的多轮对话语义分析方法、系统、计算机设备及计算机可读存储介质，获取当前对话信息之后，根据当前对话信息生成当前对话代表向量，再根据当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量，再将知识编码表示向量和当前对话信息中各个分词的词向量输入到长短期记忆模型中，以得到当前对话信息的预测序列标签，再根据预测序列标签得到对应的语义信息，并根据语义信息执行相应的操作。因此，本发明实施例可以精确理解对话信息，并可以解决多轮对话的歧义以及针对新对话预测能力差的问题。
附图说明
图1为本发明基于长短期记忆网络的多轮对话语义分析方法实施例一的流程图。
图2为本发明实施例图1中步骤S102的流程图。
图3为本发明实施例图1中步骤S104的流程图。
图4为本发明实施例图1中步骤S104的另一实施例的流程图。
图5为本发明基于长短期记忆网络的多轮对话语义分析系统实施例二的程序方块图。
图6为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1，示出了本发明实施例一之基于长短期记忆网络的多轮对话语义分析方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。具体如下：
步骤S100，获取客户端提供的当前对话信息。
步骤S102，根据所述当前对话信息生成当前对话代表向量。
在示例性的实施例中，如图2所示，步骤S102可以包括步骤S102A～S1021。
步骤S102A，从所述当前对话信息中提取多个关键词。
示例性地，根据预设的关键词模版从当前对话信息中提取多个关键词。
步骤S102B，根据所述多个关键词得到对应的多个子结构，每个子结构包括对应的关键词及该关键词的后续词语。
示例性的，在一个完整的句子中包括多个子句子，每个子句子对应一个在子结构，每个子结构中包括一个关键词，即，在每个子句子中包括对应的一个关键词及该关键词的多个后续词语，所述后续词语包括所述关键词在所述子句子中相邻的一个或多个词语。
示例性地，所述子结构通过语法树将所述当前对话进行拆解，形成以一个或多个关键词为核心，多个后续词语组成的树，将所述关键词和所述后续词语进行组合拾取，形成多个子结构。
步骤S102C，将所述每个子结构转换为对应的子结构向量，以得到多个子结构向量。
示例性地，将所述多个子结构通过word2vec量化成子结构向量x′
步骤S102D，将所述多个子结构向量分别输入到第二长短期记忆模型中，得到对应的多个子结构编码向量。
示例性地，将所述子结构向量x′输入到长短期记忆网络模型中，得到子结构编码向量m′，即：
m′i＝LSTM2(x′i)
步骤S102E，对所述当前对话信息进行分词操作，得到多个分词，并将多个分词转换为对应的多个分词向量。
示例性地，将指定存储区域中当前对话进行分词操作，得到多个分词，并通过word2vec量化成当前分词向量c。
步骤S102F，将多个分词向量输入到第三长短期记忆模型中，得到当前对话编码向量。
将所述当前分词向量c输入到第三RNN(LSTM)模型中，得到当前对话编码向量u′。
u′＝LSTM3(c)
步骤S102G，将所述当前对话编码向量和各个子结构编码向量通过归一化函数计算，以得到各个子结构的权重向量。
示例性地，根据所述前对话编码向量和所述子结构编码向量，通过以下归一化函数得到各个子结构的权重向量：
p′i＝softmax(u′Tm′i)
其中u′为当前对话编码向量，u′T为u′的转置向量，mi′为子结构编码向量，pi为各个子结构的权重向量。
示例性地，所述归一化Softmax函数是将多个值进行归一化运算，使得每一个元素的范围都在小缩放至0到1区间，并且所有元素的和为1，所述归一化Softmax函数的计算方式如下：
Figure BDA0002191178120000071
步骤S102H，将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘法运算，以得到多个矩阵乘法运算结果。
步骤S102I，对所述多个矩阵乘法运算结果进行求和，以得到子结构代表向量。
示例性地，将子结构的权重向量p′i和子结构编码向量m′i进行矩阵乘法运算，以得到子结构代表向量h′：
Figure BDA0002191178120000072
示例性地，因为每句话可能有多个子结构，其中p′是一个分布在0至1区间的向量，即代表了每个子结构的权重比例，将所述权重比例乘以子结构编码向量，即完成了权重调整，其中重要的子结构会有更加高的权重。
步骤S102J，将所述子结构代表向量和所述当前对话编码向量进行矩阵加法运算，并将矩阵加法运算的结果输入到第四长短期记忆模型中，以得出当前对话代表向量。
示例性地，将所述子结构代表向量h′和所述当前对话编码向量u′进行矩阵加法运算，将h′+u′输入到第四RNN(LSTM)模型中，从而得出当前对话的代表向量u。
u＝LSTM4(h′+u′)
步骤S104，根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量。
在示例性的实施例中，如图3所示，步骤S102可以包括步骤S104A～S104D。
步骤S104A，根据所述历史对话编码向量和所述当前对话代表向量得到注意力分布。
示例性地，对历史对话编码向量mi和当前对话的代表向量u进行归一化处理，得到注意力分布pi；
pi＝softmax(uTmi)
其中，uT为对当前对话的代表向量u进行转置。
具体地，注意力对象不再是当前对话，而是结合历史会话编码与当前会话编码进行注意力计算。
步骤S104B，对所述注意力分布进行矩阵乘法运算，以得到多个矩阵乘法运算结果。
步骤S104C，对所述多个矩阵乘法运算结果进行求和，以得到历史对话代表向量。
示例性地，即对所述注意力分布p进行权重调整，从而得到历史对话代表向量h；
Figure BDA0002191178120000081
其中，mi为历史对话编码向量。
步骤S104D，根据所述当前对话代表向量和所述历史对话代表向量，得出所述知识编码表示向量。
示例性地，根据所述当前对话代表向量和所述历史对话代表向量，通过以下公式得出知识编码表示向量：
o＝Wkg(h+u)
其中u为当前对话代表向量，h为历史对话代表向量，o为知识编码表示向量，Wkg为知识编码表示向量的权重矩阵，所述Wkg是一组随机生成的矩阵。
在示例性的实施例中，如图4所示，步骤S104还可以包括预先获取多个历史对话编码向量的步骤S1040～S1044。
步骤S1040，提取预设数据库中的多条历史对话信息。
步骤S1042，对所述多条历史对话信息进行分词操作，得到多个历史分词，并将多个历史分词转换为对应的多个历史分词向量。
示例性地，将数据库中的历史对话信息中的分词通过word2vec量化成历史分词向量x。
步骤S1044，将所述多个历史分词向量输入到第五长短期记忆模型中，得到多个历史对话编码向量。
示例性地，将多个历史分词向量x输入到第五RNN(LSTM)模型中，得到多个历史对话编码向量mi。
示例性地，所述长短期记忆网络模型(LSTM，Long Short-Term Memory)，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。为了使该长短期记忆网络模型适用于本实施例，还需要根据所述目标设备的历史运行数据和其它设备的海量数据对所述长短期记忆网络模型进行训练操作。其中，所述长短期记忆网络模型门的结构是由基本的前馈神经网络构成，所述前馈结构的基本概念是，对于一组向量x1...xn，构建一组权重向量w1...wn，进行相乘运算并求和，最终加上偏置项b输出，即为一个隐变量输出。前馈神经网络包含大量隐变量。本实施例在于对LSTM模型的具体应用。以下是一个LSTM模型示例，其不用于对本发明保护范围构成限制。
LSTM模型中包括遗忘门、输入门和输出门：
(1)遗忘门，会根据上一时刻的输出ht-1和当前输入向量xi(x0～xn)来产生一个0到1的ft值，来决定是否让上一时刻学到的信息Ct-1通过或部分通过；
遗忘门ft＝σ(Wf[xt，ht-1]+bf)，其中ft∈[0，1]，表示t时刻的节点对t-1时刻细胞记忆的选择权重，Wf为遗忘门的权重矩阵，bf为遗忘门的偏置项，ht-1表示t-1节点的隐层状态信息，非线性函数σ(x)＝1/(1+ex)；
(2)输入门，通过sigmoid来决定哪些值用来更新，并通过tanh层用来生成新的候选值
Figure BDA0002191178120000101
它作为当前层产生的候选值可能会添加到记忆单元状态中，把这两部分产生的值结合来进行更新；
输入门it＝σ(Wi[xt，ht-1]+bi)，其中it∈[0，1]表示t时刻的节点对当前节点信息的选择权重，bi为输入门的偏置项，Wi为输入门的权重矩阵，非线性函数σ(x)＝1/(1+ex)；
当前节点输入信息
Figure BDA0002191178120000102
其中/>
Figure BDA0002191178120000103
为偏置项，/>
Figure BDA0002191178120000104
表示待更新信息的权重矩阵，tanh为双曲正切激活函数，xt表示t时刻LSTM神经网络节点的输入向量，ht-1表示t-1节点的隐层状态信息；
对旧的记忆单元状态进行更新，添加新信息：
输出记忆信息
Figure BDA0002191178120000105
其中Ct-1表示t-1节点的记忆信息，ft表示t时刻的节点对t-1时刻细胞记忆的选择权重，it表示t时刻的节点对当前节点信息的选择权重；
(3)输出门，用于决定LSTM模型的输出；
输出ot＝σ(Wo[xt，ht-1]+bo)，其中ot∈[0，1]表示t时刻的节点细胞记忆信息的选择权重，bo为输出门的偏置，Wo为输出门的权重矩阵，
Figure BDA0002191178120000106
表示向量xt和ht-1拼接后的向量，即|xt|+|ht-1|维的向量，xt表示t时刻LSTM神经网络节点的输入向量，最终得到历史对话编码向量mi(m0～mn)。
示例性地，对本方案中出现的知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项进行优化更新的步骤，包括：
将知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项分别与交叉熵损失函数进行关联，通过ADAM优化算法将所述交叉熵损失函数进行迭代，以根据迭代得到的最优解更新知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项。
所述交叉熵损失函数为：
Figure BDA0002191178120000111
其中p为真实分布，q为非真实分布，这一公式可以度量模型输入结果与真实结果差异性。
步骤S106，将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签；
示例性地，将所述知识编码表示向量o和词向量Wt输入到第五RNN(LSTM)模型中，从而得到预测序列标签y，根据预测序列标签y完成序列标注。
先将所述知识编码表示向量o与词向量Wt进行拼接后，再输入到第五RNN(LSTM)模型中，即：
y＝LSTM5(o；wt)
其中，所述词向量Wt是通过Word2Vec算法利用训练文本训练得到的一组用于表示词义的向量，例如结巴词库对当前对话信息进行分词并转化成向量等；在本方案中，每一个中文词语均对应特定的300维向量；所述预测序列标签y是槽位填充的结果。
步骤S108，根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息；
示例性的，所述根据所述语义信息与预设的操作信息匹配的步骤，包括：
步骤S108a，提取所述语义信息的语义关键词；
步骤S108b，根据所述语义关键词生成所述信息匹配指令；
步骤S108c，根据所述信息匹配指令与所述操作信息携带的槽位之间预先配置的映射关系，以确定目标槽位，并根据目标槽位获取所述操作信息，其中，所述信息匹配指令对应一个或多个槽位。
示例性的，所述步骤S108c的步骤，还包括：
步骤S108c1，预先获取多个操作，并根据所述多个操作生成多个操作信息；
步骤S108c2，提取每个操作信息的操作关键词；
步骤S108c3，将所述多个操作关键词中的每个操作关键词分别配置一个槽位，所述槽位为所述操作信息携带的参数；
步骤S108c4，将所述多个槽位与多个信息匹配指令进行映射操作，生成所述槽位与所述信息匹配指令的映射关系，其中，所述信息匹配指令对应一个或多个槽位。
步骤S110，执行与对应的操作信息对应的操作，输出操作结果至客户端。
示例性的，对于任务型对话，以航班信息查询为例，就会设置出发地、目的地等槽位，再识别当前语句中是否存在目标槽位，根据目标槽位完成信息查询输出结果。
示例性地，槽位即上述任务型对话中的意图所带的参数，意图识别，也被称为SUC(Spoken Utterance Classification)，是将用户输入的自然语言会话进行划分，类别(classification)对应的就是用户意图。例如“今天天气如何”，其意图为“询问天气”。显然，可以将意图识别当作一个典型的分类问题。意图的分类和定义可参考ISO-24617-2标准，其中共有56种详细的定义。面向任务的对话系统中的意图识别通常可以视为文本分类任务。同时，意图的定义与对话系统自身的定位和所具有的知识库有很大关系，即意图的定义具有非常强的领域相关性。一个意图大概对应多个槽位，例如询问地铁路线时，需要给出出发地、目的地、时间等必要参数。以上参数即“询问地铁路线”这一意图对应的槽位。语义槽位填充任务的主要目标是在已知特定领域或特定意图的语义框架(semantic frame)的前提下，从输入语句中抽取该语义框架中预先定义好的语义槽的值。语义槽位填充任务可以转化为序列标注任务，即运用经典的IOB标记法，标记某一个词是某一语义槽的开始(begin)、延续(inside)，或是非语义槽(outside)。
示例性地，基于知识指导的当前语句表示和槽填充能够提高模型鲁棒性，对未出现在训练集中的对话也有良好的预测能力，同事双重知识记忆网络能够有效的利用句子本身的信息和历史对话信息，有效解决多轮对话的歧义问题。
实施例二
请继续参阅图5，示出了本发明基于长短期记忆网络的多轮对话语义分析系统20实施例二的程序模块示意图。在本实施例中，基于长短期记忆网络的多轮对话语义分析系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述基于长短期记忆网络的多轮对话语义分析方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述基于长短期记忆网络的多轮对话语义分析系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块200，用于获取客户端提供的当前对话信息。
第一生成模块202，用于根据所述当前对话信息生成当前对话代表向量。
进一步地，所述第一生成模块202还用于：
从所述当前对话信息中提取多个关键词；根据所述多个关键词得到对应的多个子结构，每个子结构包括对应的关键词及该关键词的后续词语；将所述每个子结构转换为对应的子结构向量，以得到多个子结构向量；将所述多个子结构向量分别输入到第二长短期记忆模型中，得到对应的多个子结构编码向量；对所述当前对话信息进行分词操作，得到多个分词，并将多个分词转换为对应的多个分词向量；将多个分词向量输入到第三长短期记忆模型中，得到当前对话编码向量；将所述当前对话编码向量和各个子结构编码向量通过归一化函数计算，以得到各个子结构的权重向量；将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘法运算，以得到多个矩阵乘法运算结果；对所述多个矩阵乘法运算结果进行求和，以得到子结构代表向量；将所述子结构代表向量和所述当前对话编码向量进行矩阵加法运算，并将矩阵加法运算的结果输入到第四长短期记忆模型中，以得出当前对话代表向量。
进一步地，所述第一生成模块202还用于：
根据所述前对话编码向量和所述子结构编码向量，通过以下归一化函数得到各个子结构的权重向量：
p′t＝softmax(u′Tm′i)
其中u′为当前对话编码向量，u′T为u′的转置向量，mi′为子结构编码向量，pi为各个子结构的权重向量。
第二生成模块204，用于根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量。
进一步地，所述第二生成模块204还用于：
提取预设数据库中的多条历史对话信息；对所述多条历史对话信息进行分词操作，得到多个历史分词，并将多个历史分词转换为对应的多个历史分词向量；将所述多个历史分词向量输入到第五长短期记忆模型中，得到多个历史对话编码向量。
示例性地，对本方案中出现的知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项进行优化更新的步骤，包括：
将知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项分别与交叉熵损失函数进行关联，通过ADAM优化算法将所述交叉熵损失函数进行迭代，以根据迭代得到的最优解更新知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项。
所述交叉熵损失函数为：
Figure BDA0002191178120000141
其中p为真实分布，q为非真实分布，这一公式可以度量模型输入结果与真实结果差异性。
进一步地，所述第二生成模块204还用于：
根据所述历史对话编码向量和所述当前对话代表向量得到注意力分布；对所述注意力分布进行矩阵乘法运算，以得到多个矩阵乘法运算结果；对所述多个矩阵乘法运算结果进行求和，以得到历史对话代表向量；根据所述当前对话代表向量和所述历史对话代表向量，得出所述知识编码表示向量。
进一步地，所述第二生成模块204还用于：
根据所述当前对话代表向量和所述历史对话代表向量，通过以下公式得出知识编码表示向量：
o＝Wkg(h+u)
其中u为当前对话代表向量，h为历史对话代表向量，o为知识编码表示向量，Wkg为知识编码表示向量的权重矩阵。
预测模块206，用于将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签。
匹配模块208，用于根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息。
执行模块210，用于执行与对应的操作信息对应的操作，输出操作结果至客户端。
实施例三
参阅图6，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及基于长短期记忆网络的多轮对话语义分析系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的基于长短期记忆网络的多轮对话语义分析系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于长短期记忆网络的多轮对话语义分析系统20，以实现实施例一的基于长短期记忆网络的多轮对话语义分析方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述基于长短期记忆网络的多轮对话语义分析系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图5示出了所述实现基于长短期记忆网络的多轮对话语义分析系统20实施例二的程序模块示意图，该实施例中，所述基于长短期记忆网络的多轮对话语义分析系统20可以被划分为获取模块200、第一生成模块202、第二生成模块204、预测模块206、匹配模块208和执行模块210。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述基于长短期记忆网络的多轮对话语义分析系统20在所述计算机设备2中的执行过程。所述程序模块200-210的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于长短期记忆网络的多轮对话语义分析系统20，被处理器执行时实现实施例一的基于长短期记忆网络的多轮对话语义分析方法。
相较于现有技术，本发明实施例提供的基于长短期记忆网络的多轮对话语义分析方法、系统、计算机设备及计算机可读存储介质，获取当前对话信息之后，根据当前对话信息生成当前对话代表向量，再根据当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量，再将知识编码表示向量和当前对话信息中各个分词的词向量输入到长短期记忆模型中，以得到当前对话信息的预测序列标签，再根据预测序列标签得到对应的语义信息，并根据语义信息执行相应的操作。因此，本发明实施例可以精确理解对话信息，并可以解决多轮对话的歧义以及针对新对话预测能力差的问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于长短期记忆网络的多轮对话语义分析方法，其特征在于，所述方法包括：
获取客户端提供的当前对话信息；
根据所述当前对话信息生成当前对话代表向量；
根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量；
将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签；
根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息；
执行与对应的操作信息对应的操作，输出操作结果至客户端；
其中，所述根据所述当前对话信息生成当前对话代表向量的步骤，包括：
从所述当前对话信息中提取多个关键词；
根据所述多个关键词得到对应的多个子结构，每个子结构包括对应的关键词及该关键词的后续词语；
将所述每个子结构转换为对应的子结构向量，以得到多个子结构向量；
将所述多个子结构向量分别输入到第二长短期记忆模型中，得到对应的多个子结构编码向量；
对所述当前对话信息进行分词操作，得到多个分词，并将多个分词转换为对应的多个分词向量；
将多个分词向量输入到第三长短期记忆模型中，得到当前对话编码向量；
将所述当前对话编码向量和各个子结构编码向量通过归一化函数计算，以得到各个子结构的权重向量；
将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘法运算，以得到多个矩阵乘法运算结果；
对所述多个矩阵乘法运算结果进行求和，以得到子结构代表向量；
将所述子结构代表向量和所述当前对话编码向量进行矩阵加法运算，并将矩阵加法运算的结果输入到第四长短期记忆模型中，以得出当前对话代表向量。
2.根据权利要求1所述的基于长短期记忆网络的多轮对话语义分析方法，其特征在于，所述归一化函数如下：
p′i＝softmax(u′Tm′i)
其中，u′为当前对话编码向量，u′T为u′的转置向量，mi′为子结构编码向量，p′i为各个子结构的权重向量。
3.根据权利要求1所述的基于长短期记忆网络的多轮对话语义分析方法，其特征在于，还包括预先获取多个历史对话编码向量的步骤：
提取预设数据库中的多条历史对话信息；
对所述多条历史对话信息进行分词操作，得到多个历史分词，并将多个历史分词转换为对应的多个历史分词向量；
将所述多个历史分词向量输入到第五长短期记忆模型中，得到多个历史对话编码向量。
4.根据权利要求1所述的基于长短期记忆网络的多轮对话语义分析方法，其特征在于，所述根据所述当前对话代表向量和预先获取的历史对话编码向量，生成知识编码表示向量的步骤，包括：
根据所述历史对话编码向量和所述当前对话代表向量得到注意力分布；
对所述注意力分布进行矩阵乘法运算，以得到多个矩阵乘法运算结果；
对所述多个矩阵乘法运算结果进行求和，以得到历史对话代表向量；
根据所述当前对话代表向量和所述历史对话代表向量，得出所述知识编码表示向量。
5.根据权利要求4所述的基于长短期记忆网络的多轮对话语义分析方法，其特征在于，所述根据所述当前对话代表向量和所述历史对话代表向量，得出知识编码表示向量的步骤，包括：
根据所述当前对话代表向量和所述历史对话代表向量，通过以下公式得出知识编码表示向量：
o＝Wkg(h+u)
其中u为当前对话代表向量，h为历史对话代表向量，o为知识编码表示向量，Wkg为知识编码表示向量的权重矩阵。
6.根据权利要求1-2任一项所述的基于长短期记忆网络的多轮对话语义分析方法，其特征在于，还包括对知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项进行优化更新的步骤，包括：
将知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项分别与交叉熵损失函数进行关联，通过优化算法将所述交叉熵损失函数进行迭代，以根据迭代得到的最优解更新知识编码表示向量的权重矩阵、各个长短期记忆模型中的权重矩阵及各个长短期记忆模型中的偏置项；
所述交叉熵损失函数为：
Figure QLYQS_1
其中p为真实分布，q为非真实分布。
7.一种基于长短期记忆网络的多轮对话语义分析系统，其特征在于，所述系统包括：
获取模块，用于获取客户端提供的当前对话信息；
第一生成模块，用于根据所述当前对话信息生成当前对话代表向量；
第二生成模块，用于根据所述当前对话代表向量和预先获取的多个历史对话编码向量，生成知识编码表示向量；
预测模块，用于将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短期记忆模型中，以得到所述当前对话信息的预测序列标签；
匹配模块，用于根据所述预测序列标签得到对应的语义信息，根据所述语义信息与预设的操作信息匹配，得到对应的操作信息；
执行模块，用于执行与对应的操作信息对应的操作，输出操作结果至客户端；
其中，所述第一生成模块还用于：
从所述当前对话信息中提取多个关键词；
根据所述多个关键词得到对应的多个子结构，每个子结构包括对应的关键词及该关键词的后续词语；
将所述每个子结构转换为对应的子结构向量，以得到多个子结构向量；
将所述多个子结构向量分别输入到第二长短期记忆模型中，得到对应的多个子结构编码向量；
对所述当前对话信息进行分词操作，得到多个分词，并将多个分词转换为对应的多个分词向量；
将多个分词向量输入到第三长短期记忆模型中，得到当前对话编码向量；
将所述当前对话编码向量和各个子结构编码向量通过归一化函数计算，以得到各个子结构的权重向量；
将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘法运算，以得到多个矩阵乘法运算结果；
对所述多个矩阵乘法运算结果进行求和，以得到子结构代表向量；
将所述子结构代表向量和所述当前对话编码向量进行矩阵加法运算，并将矩阵加法运算的结果输入到第四长短期记忆模型中，以得出当前对话代表向量。
8.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于长短期记忆网络的多轮对话语义分析方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至6中任一项所述的基于长短期记忆网络的多轮对话语义分析方法的步骤。
CN201910832540.9A 2019-09-04 2019-09-04 基于长短期记忆网络的多轮对话语义分析方法和系统 Active CN110704588B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910832540.9A CN110704588B (zh) 2019-09-04 2019-09-04 基于长短期记忆网络的多轮对话语义分析方法和系统
PCT/CN2019/117767 WO2021042543A1 (zh) 2019-09-04 2019-11-13 基于长短期记忆网络的多轮对话语义分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910832540.9A CN110704588B (zh) 2019-09-04 2019-09-04 基于长短期记忆网络的多轮对话语义分析方法和系统

Publications (2)

Publication Number Publication Date
CN110704588A CN110704588A (zh) 2020-01-17
CN110704588B true CN110704588B (zh) 2023-05-30

Family

ID=69194376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910832540.9A Active CN110704588B (zh) 2019-09-04 2019-09-04 基于长短期记忆网络的多轮对话语义分析方法和系统

Country Status (2)

Country Link
CN (1) CN110704588B (zh)
WO (1) WO2021042543A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475616B (zh) * 2020-03-13 2023-08-22 平安科技（深圳）有限公司 基于对话状态预测的多轮对话方法、装置和计算机设备
CN111414466A (zh) * 2020-03-17 2020-07-14 杭州博拉哲科技有限公司 一种基于深度模型融合的多轮对话建模方法
CN111476642A (zh) * 2020-04-14 2020-07-31 广东技术师范大学 一种基于社交平台用户头像分析的保险推荐方法及系统
CN111651573B (zh) * 2020-05-26 2023-09-05 上海智臻智能网络科技股份有限公司 一种智能客服对话回复生成方法、装置和电子设备
CN113836275B (zh) * 2020-06-08 2023-09-05 菜鸟智能物流控股有限公司 对话模型建立方法、装置、非易失性存储介质和电子装置
CN111950275B (zh) * 2020-08-06 2023-01-17 平安科技（深圳）有限公司 基于循环神经网络的情绪识别方法、装置及存储介质
CN112183105A (zh) * 2020-08-28 2021-01-05 华为技术有限公司 人机交互方法及装置
CN112069300A (zh) * 2020-09-04 2020-12-11 中国平安人寿保险股份有限公司 任务型对话的语义识别方法、装置、电子设备及存储介质
CN112199482B (zh) * 2020-09-30 2023-07-21 平安科技（深圳）有限公司 一种对话生成方法、装置、设备及可读存储介质
CN112182191B (zh) * 2020-10-16 2022-08-30 西北师范大学 多轮口语理解的结构化记忆图网络模型
CN112613308B (zh) * 2020-12-17 2023-07-25 中国平安人寿保险股份有限公司 用户意图识别方法、装置、终端设备及存储介质
CN112528655B (zh) * 2020-12-18 2023-12-29 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112818098B (zh) * 2021-01-29 2023-11-24 深圳平安智慧医健科技有限公司 基于知识库的对话生成方法、装置、终端及存储介质
CN112884440B (zh) * 2021-03-02 2024-05-24 岭东核电有限公司 核电试验中的试验工序执行方法、装置和计算机设备
CN112632961B (zh) * 2021-03-04 2021-06-18 支付宝(杭州)信息技术有限公司 基于上下文推理的自然语言理解处理方法、装置以及设备
CN113377933B (zh) * 2021-04-27 2023-05-30 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置
CN113158062A (zh) * 2021-05-08 2021-07-23 清华大学深圳国际研究生院 一种基于异构图神经网络的用户意图识别方法及装置
CN113239152B (zh) * 2021-05-18 2023-07-25 平安科技（深圳）有限公司 适用于多轮对话的对话修复方法、装置、设备及存储介质
CN113435196B (zh) * 2021-06-22 2022-07-29 平安科技（深圳）有限公司 意图识别方法、装置、设备及存储介质
CN113486674A (zh) * 2021-06-30 2021-10-08 河南光悦网络科技有限公司 基于人工智能的针对多轮对话进行语义分析的方法和装置
CN113537593A (zh) * 2021-07-15 2021-10-22 之江实验室 预测议员投票倾向的方法及其装置
CN113641792B (zh) * 2021-08-13 2023-11-21 南开大学 基于并行化零冗余长短期记忆网络的文本处理方法及系统
CN113673257B (zh) * 2021-08-18 2024-05-14 浪潮智能物联技术有限公司 一种多轮问答语义生成方法、设备及介质
CN113838461B (zh) * 2021-08-20 2022-11-01 北京百度网讯科技有限公司 智能语音交互方法、装置、设备和计算机存储介质
CN113705652B (zh) * 2021-08-23 2024-05-28 西安交通大学 一种基于指针生成网络的任务型对话状态追踪系统及方法
CN113792741B (zh) * 2021-09-17 2023-08-11 平安普惠企业管理有限公司 文字识别方法、装置、设备及存储介质
CN113918729B (zh) * 2021-10-08 2024-04-16 肇庆学院 一种基于知识树的任务协同方法及系统
CN115174949B (zh) * 2022-06-30 2024-02-23 广州汇才创新科技有限公司 一种基于投影的远程直播的互动方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776578A (zh) * 2017-01-03 2017-05-31 竹间智能科技（上海）有限公司 用于提升对话系统对话性能的方法及装置
WO2017162003A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种会话监控的方法、装置和系统
CN108829667A (zh) * 2018-05-28 2018-11-16 南京柯基数据科技有限公司 一种基于记忆网络的多轮对话下的意图识别方法
CN109727041A (zh) * 2018-07-03 2019-05-07 平安科技（深圳）有限公司 智能客服多轮问答方法、设备、存储介质及装置
CN110096516A (zh) * 2019-03-25 2019-08-06 北京邮电大学 自定义的数据库交互的对话生成方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369443B (zh) * 2017-06-29 2020-09-25 北京百度网讯科技有限公司 基于人工智能的对话管理方法及装置
US11501076B2 (en) * 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
CN108805087B (zh) * 2018-06-14 2021-06-15 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN109800294B (zh) * 2019-01-08 2020-10-13 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、系统、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017162003A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种会话监控的方法、装置和系统
CN106776578A (zh) * 2017-01-03 2017-05-31 竹间智能科技（上海）有限公司 用于提升对话系统对话性能的方法及装置
CN108829667A (zh) * 2018-05-28 2018-11-16 南京柯基数据科技有限公司 一种基于记忆网络的多轮对话下的意图识别方法
CN109727041A (zh) * 2018-07-03 2019-05-07 平安科技（深圳）有限公司 智能客服多轮问答方法、设备、存储介质及装置
CN110096516A (zh) * 2019-03-25 2019-08-06 北京邮电大学 自定义的数据库交互的对话生成方法及系统

Also Published As

Publication number Publication date
CN110704588A (zh) 2020-01-17
WO2021042543A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110704588B (zh) 基于长短期记忆网络的多轮对话语义分析方法和系统
CN111222317B (zh) 序列标注方法、系统和计算机设备
CN110866115B (zh) 序列标注方法、系统、计算机设备及计算机可读存储介质
CN112270379A (zh) 分类模型的训练方法、样本分类方法、装置和设备
CN111859991B (zh) 语言翻译处理模型训练方法和语言翻译处理方法
EP4131076A1 (en) Serialized data processing method and device, and text processing method and device
CN110162766B (zh) 词向量更新方法和装置
CN110569505B (zh) 一种文本输入方法及装置
US11016740B2 (en) Systems and methods for virtual programming by artificial intelligence
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN112766319A (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN111813923A (zh) 文本摘要方法、电子设备及存储介质
CN113362810A (zh) 语音处理模型的训练方法、装置、设备及存储介质
US20210049324A1 (en) Apparatus, method, and program for utilizing language model
US11941360B2 (en) Acronym definition network
CN113223502A (zh) 语音识别系统优化方法、装置、设备及可读存储介质
CN109033413B (zh) 一种基于神经网络的需求文档和服务文档匹配方法
CN111400340A (zh) 一种自然语言处理方法、装置、计算机设备和存储介质
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN113569578B (zh) 一种用户意图识别方法、装置和计算机设备
WO2022110730A1 (zh) 基于标签的优化模型训练方法、装置、设备及存储介质
WO2021217619A1 (zh) 基于标签平滑的语音识别方法、终端及介质
CN114491030A (zh) 技能标签的抽取、候选短语分类模型的训练方法及装置
CN113722584A (zh) 任务推送方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant