CN111738017A - 一种意图识别方法、装置、设备及存储介质 - Google Patents

一种意图识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111738017A
CN111738017A CN202010591744.0A CN202010591744A CN111738017A CN 111738017 A CN111738017 A CN 111738017A CN 202010591744 A CN202010591744 A CN 202010591744A CN 111738017 A CN111738017 A CN 111738017A
Authority
CN
China
Prior art keywords
sentence
intention
weight matrix
vector
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591744.0A
Other languages
English (en)
Other versions
CN111738017B (zh
Inventor
周楠楠
汤耀华
杨海军
徐倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010591744.0A priority Critical patent/CN111738017B/zh
Publication of CN111738017A publication Critical patent/CN111738017A/zh
Application granted granted Critical
Publication of CN111738017B publication Critical patent/CN111738017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种意图识别方法、装置、设备及存储介质，该方法包括获取对话中的各句子，对各句子分别进行向量化处理，得到各句子的句向量，基于第一预设权重矩阵，对各句子的句向量进行合并处理，得到合并后的句向量，其中，第一预设权重矩阵用于表示对话中的各句子对待识别句子的意图影响权重，意图影响权重为基于标注意图的样本句子和样本句子的上下文句子，对样本句子的意图的影响力进行训练学习得到的，基于合并后的句向量，确定出待识别句子的意图。由于不限制上下文句子的数量，并自适应确定对话中各上下文句子对待识别句子的意图影响权重，可以解决现有技术中存在结合固定权重的上下文对句子的意图进行识别，导致意图识别不准确的问题。

Description

一种意图识别方法、装置、设备及存储介质
技术领域
本发明涉及金融科技(Fintech)领域，尤其涉及一种意图识别方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域的客服服务中，快速准确地识别出人机交互中用户的意图成为客服面临的巨大挑战，若能及时识别出用户在对话中的意图，对提升整个对话的质量以及提升用户的体验，具有重大的意义。
现有的意图识别方法是结合固定权重的上下文对句子的意图进行识别。即从对话数据中选取固定数量的上下文，然后为选取的上下文配置固定权重，然而，若通过上述方式进行意图识别，需要人工定义选取上下文的数量和固定权重，人工选取受主观经验影响较大，会造成因数量和固定权重选取不当带来的误差，使得句子识别出来的意图和真实意图偏差较大，从而导致意图识别的准确性较低。
综上，目前亟需一种意图识别方法，用以解决现有技术中存在结合固定权重的上下文对句子的意图进行识别，导致意图识别不准确的问题。
发明内容
本发明提供了一种意图识别方法、装置、设备及存储介质，用以解决现有技术中存在结合固定权重的上下文对句子的意图进行识别，导致意图识别不准确的问题。
第一方面，本发明提供了一种意图识别方法，包括：
获取对话中的各句子；所述对话中的各句子包括待识别句子和所述待识别句子对应的上下文句子；
对所述各句子分别进行向量化处理，得到所述各句子的句向量；
基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量；其中，所述第一预设权重矩阵用于表示所述对话中的各句子对所述待识别句子的意图影响权重；所述意图影响权重为基于标注意图的样本句子和所述样本句子的上下文句子，对所述样本句子的意图的影响力进行训练学习得到的；
基于所述合并后的句向量，确定出所述待识别句子的意图。
上述技术方案中，通过根据待识别句子和待识别句子对应的上下文句子直接来进行意图识别，即可以根据待识别句子对应的所有上下文句子进行意图识别，无需选取固定数量的上下文句子，节省了意图识别过程中的句子选取的操作步骤，且不限制待识别句子对应的上下文句子的数量，可以增加句子意图识别的输入信息量，提升句子意图识别的准确性。此外，由于第一预设权重矩阵中的意图影响权重为基于标注意图的样本句子和样本句子的上下文句子，对样本句子的意图的影响力进行训练学习得到的，也即可以结合已知意图的样本学习的权重，自适应确定对话中各句子对待识别句子的意图影响权重，可以避免或者减小人工配置的固定权重带来的误差，从而基于对话中各句子对待识别句子的意图影响权重对各句子的句向量进行合并处理，得到合并后的句向量，并基于合并后的句向量，确定出待识别句子的意图，可以降低句子意图识别结果和真实意图的偏差，进而提升句子意图识别的准确率。
可选地，所述对所述各句子分别进行向量化处理，得到所述各句子的句向量，包括：
将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量；所述第二预设权重矩阵用于表示所述向量化处理模型中各层提取的语义特征向量的权重。
可选地，所述将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量，包括：
针对每个句子，将所述句子输入到所述向量化处理模型进行处理，得到所述句子在各层输出的语义特征向量，并根据所述第二预设权重矩阵，对所述句子在各层输出的语义特征向量进行加权处理，得到所述句子的句向量。
上述技术方案中，通过将各句子中的每个句子输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对向量化处理模型各层输出的语义特征向量进行加权处理，得到各句子的句向量。由于在预测意图时意图识别模型所需要的上下文的信息层次不同，因此通过每个句子在各层提取的语义特征向量的权重对每个句子在各层输出的语义特征向量进行加权处理，可以使得每个句子的句向量所包含的语义信息为准确地识别出待识别句子的意图提供支持，如此处理会更加合理，可以降低句子意图识别结果和真实意图的偏差，从而使得意图识别更加准确。
可选地，所述基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量，包括：
基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重；
根据所述各句子的意图影响权重对所述各句子的句向量进行加权合并，得到所述合并后的句向量。
可选地，所述基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重，包括：
针对每个句子，根据所述句子在所述对话中的位置，将所述第一预设权重矩阵中处于所述位置的参数值作为所述句子的意图影响权重。
上述技术方案中，通过每个句子在对话中的位置，将第一预设权重矩阵中处于位置的参数值作为句子的意图影响权重，根据各句子的意图影响权重对各句子的句向量进行加权合并，得到合并后的句向量。由于各句子的意图影响权重不是固定的，而是以不同的意图影响权重将各句子的句向量进行加权合并，如此处理会更加合理，可以降低句子意图识别结果和真实意图的偏差，从而使得意图识别更加准确。
可选地，所述第一预设权重矩阵是基于标注意图的样本句子和所述样本句子的上下文句子在进行意图识别模型训练时得到的；所述第二预设权重矩阵是基于所述标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的。
上述技术方案中，基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时得到第二预设权重矩阵，即由于每个句子在各层提取的语义特征向量的权重不相同，且在预测意图时意图识别模型所需要的上下文的信息层次不同，因此基于每个句子在各层提取的语义特征向量的权重对每个句子在各层输出的语义特征向量进行加权处理，可以使得每个句子的句向量所包含的语义信息为准确地识别出待识别句子的意图提供支持。此外，基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时得到第一预设权重矩阵，即结合已知意图的样本学习的权重，自适应确定对话中各句子对待识别句子的意图影响权重，可以避免或者减小人工配置的固定权重带来的误差，从而可以使得意图识别更加准确。
可选地，所述第一预设权重矩阵是基于标注意图的样本句子和所述样本句子的上下文句子在进行意图识别模型训练时得到的，包括：
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第一预设权重矩阵。
上述技术方案中，通过将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的预测意图，并通过该预测意图与标注意图之间的损失函数所得到的损失函数值不断更新初始的第一预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型和第一预设权重矩阵，可以为准确地识别出待识别句子的意图提供支持。
可选地，所述第二预设权重矩阵是基于所述标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的，包括：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据所述第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第二预设权重矩阵。
上述技术方案中，通过针对任一句子，根据初始的第二预设权重矩阵和向量化处理模型对该句子进行向量化处理，得到句子的句向量，并根据第一预设权重矩阵对各句子的句向量进行合并处理，得到合并处理后的句向量，将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的意图，通过该预测意图与标注意图之间的损失函数所得到的损失函数值不断更新初始的第二预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型和第二预设权重矩阵，可以使得每个句子的句向量所包含的语义信息为准确地识别出待识别句子的意图提供支持。
可选地，所述第一预设权重矩阵和所述第二预设权重矩阵分别是基于标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的，包括：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵、所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型、所述第一预设权重矩阵和所述第二预设权重矩阵。
上述技术方案中，通过针对任一句子，根据初始的第二预设权重矩阵和向量化处理模型对该句子进行向量化处理，得到句子的句向量，并根据初始的第一预设权重矩阵，对各句子的句向量进行合并处理，得到合并处理后的句向量，将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的意图，通过该预测意图与标注意图之间的损失函数所得到的损失函数值不断更新初始的第一预设权重矩阵、初始的第二预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型和第一预设权重矩阵、第二预设权重矩阵，可以为准确地识别出待识别句子的意图提供支持。
可选地，所述基于所述合并后的句向量，确定出所述待识别句子的意图，包括：
将所述合并后的句向量输入到意图识别模型进行识别，确定出所述待识别句子的意图。
上述技术方案中，通过将待识别的句子的向量输入到意图识别模型进行识别，可以快速准确地识别出当前句子的意图。
第二方面，本发明还提供了一种意图识别装置，包括：
获取单元，用于获取对话中的各句子；所述对话中的各句子包括待识别句子和所述待识别句子对应的上下文句子；
处理单元，用于对所述各句子分别进行向量化处理，得到所述各句子的句向量；基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量；其中，所述第一预设权重矩阵用于表示所述对话中的各句子对所述待识别句子的意图影响权重；所述意图影响权重为基于标注意图的样本句子和所述样本句子的上下文句子，对所述样本句子的意图的影响力进行训练学习得到的；基于所述合并后的句向量，确定出所述待识别句子的意图。
可选地，所述处理单元具体用于：
将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量；所述第二预设权重矩阵用于表示所述向量化处理模型中各层提取的语义特征向量的权重。
可选地，所述处理单元具体用于：
针对每个句子，将所述句子输入到所述向量化处理模型进行处理，得到所述句子在各层输出的语义特征向量，并根据所述第二预设权重矩阵，对所述句子在各层输出的语义特征向量进行加权处理，得到所述句子的句向量。
可选地，所述处理单元具体用于：
基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重；
根据所述各句子的意图影响权重对所述各句子的句向量进行加权合并，得到所述合并后的句向量。
可选地，所述处理单元具体用于：
针对每个句子，根据所述句子在所述对话中的位置，将所述第一预设权重矩阵中处于所述位置的参数值作为所述句子的意图影响权重。
可选地，所述处理单元具体用于：
所述第一预设权重矩阵是基于标注意图的样本句子和所述样本句子的上下文句子在进行意图识别模型训练时得到的；所述第二预设权重矩阵是基于所述标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的。
可选地，所述处理单元具体用于：
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第一预设权重矩阵。
可选地，所述处理单元具体用于：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据所述第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第二预设权重矩阵。
可选地，所述处理单元具体用于：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵、所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型、所述第一预设权重矩阵和所述第二预设权重矩阵。
可选地，所述处理单元具体用于：
将所述合并后的句向量输入到意图识别模型进行识别，确定出所述待识别句子的意图。
第三方面，本发明提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行意图识别方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行意图识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种意图识别方法的流程示意图；
图3为本发明实施例提供的一种意图识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种系统架构。如图1所示，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。
其中，通信接口120用于与终端设备进行通信，收发该终端设备传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种意图识别方法的流程，该流程可以由意图识别装置执行。
如图2所示，该流程具体包括：
步骤201，获取对话中的各句子。
本发明实施例中，该对话中的各句子可以为一轮对话中待识别句子和待识别句子对应的上下文句子。也就是说，本发明实施例是根据待识别句子对应的所有上下文句子进行意图识别，而未选取固定数量的上下文句子，可以节省意图识别过程中的句子选取的操作步骤，且不限制待识别句子对应的上下文句子的数量，从而可以增加句子意图识别的输入信息量。
步骤202，对所述各句子分别进行向量化处理，得到所述各句子的句向量。
本发明实施例中，针对各句子中的每个句子，将该句子输入到向量化处理模型进行处理，得到该句子在各层输出的语义特征向量，并根据第二预设权重矩阵，对该句子在各层输出的语义特征向量进行加权处理，得到该句子的句向量，从而得到各句子的句向量。其中，第二预设权重矩阵用于表示向量化处理模型中各层提取的语义特征向量的权重，第二预设权重矩阵是基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时得到的。由于在预测意图时意图识别模型所需要的上下文的信息层次不同，因此通过每个句子在各层提取的语义特征向量的权重对每个句子在各层输出的语义特征向量进行加权处理，可以使得每个句子的句向量所包含的语义信息为准确地识别出待识别句子的意图提供支持，如此处理会更加合理，可以降低句子意图识别结果和真实意图的偏差，从而使得意图识别更加准确。
具体地，在进行意图识别模型训练得到第二预设权重矩阵时，先获取带有标注意图的训练样本，训练样本由标注意图的样本句子和样本句子的上下文句子组成，针对标注意图的样本句子及样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和向量化处理模型对句子进行向量化处理，得到句子的句向量，并根据第一预设权重矩阵，对标注意图的样本句子的句向量和样本句子的上下文句子的句向量进行合并处理，得到合并处理后的句向量，之后将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的预测意图，并通过预测意图与标注意图之间的损失函数更新初始的第二预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型和第二预设权重矩阵。
进一步地，构建训练数据集T＝{(x1,y1)，(x2,y2)，…，(xn,yn)}，其中，n为数据的条数，x代表用户的当前输入以及本轮对话中位于当前输入之前用户的所有输入数据，y代表当前输入对应的意图，其中每一条数据是由用户输入的当前句子以及本轮对话中位于当前句子之前的用户输入的历史句子组成。随机初始化参数矩阵U，对训练数据进行向量化，输入x向量化的结果为
Figure BDA0002555819460000101
其中k为本轮对话到当前输入为止(包含当前输入)所有的句子数，ei为第i个句子的向量表示，W为参数矩阵，即为每个ei的权重；同时，每个句子的向量可以通过深层的预训练模型得到(如bert等)，
Figure BDA0002555819460000102
其中m为模型的层数，el为每一层的输出向量，U为参数矩阵，即为每个el的权重，通过训练学习得到；此外，标签y可以用one-hot进行向量化。然后将向量化后的训练数据输入到预设的分类模型中进行训练，得到意图识别模型，其中预设的分类模型可以是传统机器学习模型，如支持向量机、逻辑斯蒂回归等，也可以是深度学习模型，如卷积神经网络等，可以根据任务的复杂程度进行选择。
在训练学习过程中，通过向量化后的训练数据的预测意图与一起向量化合并后的训练数据中每个训练数据对应的真实意图之间的损失函数所得到的损失函数值更新初始的U和预设的分类模型，直至满足训练终止条件，得到意图识别模型和U。在预测时，对于用户输入的句子，使用预先确定好的W和训练学习得到的U并综合上下文进行向量化，然后输入到训练好的意图识别模型中进行识别，识别出用户输入的句子的意图。
步骤203，基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量。
本发明实施例中，针对各句子中的每个句子，根据该句子在对话中的位置，将第一预设权重矩阵中处于该位置的参数值作为该句子的意图影响权重，从而得到各句子的意图影响权重，并根据各句子的意图影响权重对各句子的句向量进行加权合并，得到合并后的句向量。其中，第一预设权重矩阵用于表示对话中的各句子对待识别句子的意图影响权重，意图影响权重为基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时得到的。基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时得到第一预设权重矩阵，即结合已知意图的样本学习的权重，自适应确定对话中各句子对待识别句子的意图影响权重，可以避免或者减小人工配置的固定权重带来的误差，从而可以使得意图识别更加准确。
具体地，在进行意图识别模型训练得到第一预设权重矩阵时，先获取带有标注意图的训练样本，训练样本由标注意图的样本句子和样本句子的上下文句子组成，根据的第一预设权重矩阵，对标注意图的样本句子的句向量和样本句子的上下文句子的句向量进行合并处理，得到合并处理后的句向量，并将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的预测意图，通过预测意图与标注意图之间的损失函数更新初始的第一预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型和第一预设权重矩阵。
进一步地，继续以上述训练数据集T作为训练初始的意图识别模型得到意图识别模型和第一预设权重矩阵的训练样本集，构建训练数据集T＝{(x1,y1)，(x2,y2)，…，(xn,yn)}，其中，n为数据的条数，x代表用户的当前输入以及本轮对话中位于当前输入之前用户的所有输入数据，y代表当前输入对应的意图，其中每一条数据是由用户输入的当前句子以及本轮对话中位于当前句子之前的用户输入的历史句子组成。随机初始化参数矩阵W，对训练数据进行向量化，输入x向量化的结果为
Figure BDA0002555819460000111
其中k为本轮对话到当前输入为止(包含当前输入)所有的句子数，ei为第i个句子的向量表示，W为参数矩阵，即为每个ei的权重，通过训练学习得到；同时，每个句子的向量可以通过深层的预训练模型得到(如bert等)，
Figure BDA0002555819460000112
其中m为模型的层数，el为每一层的输出向量，U为参数矩阵，即为每个el的权重；此外，标签y可以用one-hot进行向量化。然后将向量化后的训练数据输入到预设的分类模型中进行训练，得到意图识别模型，其中预设的分类模型可以是传统机器学习模型，如支持向量机、逻辑斯蒂回归等，也可以是深度学习模型，如卷积神经网络等，可以根据任务的复杂程度进行选择。
在训练学习过程中，通过向量化后的训练数据的预测意图与一起向量化合并后的训练数据中每个训练数据对应的真实意图之间的损失函数所得到的损失函数值更新初始的W和预设的分类模型，直至满足训练终止条件，得到意图识别模型和W。在预测时，对于用户输入的句子，使用预先确定好的U和训练学习得到的W并综合上下文进行向量化，然后输入到训练好的意图识别模型中进行识别，识别出用户输入的句子的意图。
需要说明的是，也可以基于标注意图的样本句子和样本句子的上下文句子在进行意图识别模型训练时同时得到第一预设权重矩阵、第二预设权重矩阵以及意图识别模型。具体地，先获取带有标注意图的训练样本，训练样本由标注意图的样本句子和样本句子的上下文句子组成，针对标注意图的样本句子及样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和向量化处理模型对句子进行向量化处理，得到句子的句向量，并根据初始的第一预设权重矩阵，对标注意图的样本句子的句向量和样本句子的上下文句子的句向量进行合并处理，得到合并处理后的句向量，之后将合并处理后的句向量输入到初始的意图识别模型进行训练，得到样本句子的预测意图，并通过预测意图与标注意图之间的损失函数更新初始的第一预设权重矩阵、初始的第二预设权重矩阵和初始的意图识别模型，直至满足训练终止条件，得到意图识别模型、第一预设权重矩阵和第二预设权重矩阵。
具体地，继续以上述训练数据集T作为训练初始的意图识别模型得到意图识别模型、第一预设权重矩阵和第二预设权重矩阵的训练样本集，构建训练数据集T＝{(x1,y1)，(x2,y2)，…，(xn,yn)}，其中，n为数据的条数，x代表用户的当前输入以及本轮对话中位于当前输入之前用户的所有输入数据，y代表当前输入对应的意图，其中每一条数据是由用户输入的当前句子以及本轮对话中位于当前句子之前的用户输入的历史句子组成。随机初始化参数矩阵W和U，对训练数据进行向量化，输入x向量化的结果为
Figure BDA0002555819460000121
其中k为本轮对话到当前输入为止(包含当前输入)所有的句子数，ei为第i个句子的向量表示，W为参数矩阵，即为每个ei的权重，通过训练学习得到；同时，每个句子的向量可以通过深层的预训练模型得到(如bert等)，
Figure BDA0002555819460000131
其中m为模型的层数，el为每一层的输出向量，U为参数矩阵，即为每个el的权重，也是通过训练学习得到；此外，标签y可以用one-hot进行向量化。然后将向量化后的训练数据输入到预设的分类模型中进行训练，得到意图识别模型，其中预设的分类模型可以是传统机器学习模型，如支持向量机、逻辑斯蒂回归等，也可以是深度学习模型，如卷积神经网络等，可以根据任务的复杂程度进行选择。
在训练学习过程中，通过向量化后的训练数据的预测意图与一起向量化合并后的训练数据中每个训练数据对应的真实意图之间的损失函数所得到的损失函数值更新初始的W、初始的U和预设的分类模型，直至满足训练终止条件，得到意图识别模型、W和U。在预测时，对于用户输入的句子，使用训练学习得到的W、U并综合上下文进行向量化，然后输入到训练好的意图识别模型中进行识别，识别出用户输入的句子的意图。
步骤204，基于所述合并后的句向量，确定出所述待识别句子的意图。
本发明实施例中，将合并后的句向量输入到意图识别模型进行识别，确定出待识别句子的意图。
上述实施例表明，通过根据待识别句子和待识别句子对应的上下文句子直接来进行意图识别，即可以根据待识别句子对应的所有上下文句子进行意图识别，无需选取固定数量的上下文句子，节省了意图识别过程中的句子选取的操作步骤，且不限制待识别句子对应的上下文句子的数量，可以增加句子意图识别的输入信息量，提升句子意图识别的准确性。此外，由于第一预设权重矩阵中的意图影响权重为基于标注意图的样本句子和样本句子的上下文句子，对样本句子的意图的影响力进行训练学习得到的，也即可以结合已知意图的样本学习的权重，自适应确定对话中各句子对待识别句子的意图影响权重，可以避免或者减小人工配置的固定权重带来的误差，从而基于对话中各句子对待识别句子的意图影响权重对各句子的句向量进行合并处理，得到合并后的句向量，并基于合并后的句向量，确定出待识别句子的意图，可以降低句子意图识别结果和真实意图的偏差，进而提升句子意图识别的准确率。
基于相同的技术构思，图3示例性的示出了本发明实施例提供的一种意图识别装置，该装置可以执行意图识别方法的流程。
如图3所示，该装置包括：
获取单元301，用于获取对话中的各句子；所述对话中的各句子包括待识别句子和所述待识别句子对应的上下文句子；
处理单元302，用于对所述各句子分别进行向量化处理，得到所述各句子的句向量；基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量；其中，所述第一预设权重矩阵用于表示所述对话中的各句子对所述待识别句子的意图影响权重；所述意图影响权重为基于标注意图的样本句子和所述样本句子的上下文句子，对所述样本句子的意图的影响力进行训练学习得到的；基于所述合并后的句向量，确定出所述待识别句子的意图。
可选地，所述处理单元302具体用于：
将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量；所述第二预设权重矩阵用于表示所述向量化处理模型中各层提取的语义特征向量的权重。
可选地，所述处理单元302具体用于：
针对每个句子，将所述句子输入到所述向量化处理模型进行处理，得到所述句子在各层输出的语义特征向量，并根据所述第二预设权重矩阵，对所述句子在各层输出的语义特征向量进行加权处理，得到所述句子的句向量。
可选地，所述处理单元302具体用于：
基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重；
根据所述各句子的意图影响权重对所述各句子的句向量进行加权合并，得到所述合并后的句向量。
可选地，所述处理单元302具体用于：
针对每个句子，根据所述句子在所述对话中的位置，将所述第一预设权重矩阵中处于所述位置的参数值作为所述句子的意图影响权重。
可选地，所述处理单元302具体用于：
所述第一预设权重矩阵是基于标注意图的样本句子和所述样本句子的上下文句子在进行意图识别模型训练时得到的；所述第二预设权重矩阵是基于所述标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的。
可选地，所述处理单元302具体用于：
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第一预设权重矩阵。
可选地，所述处理单元302具体用于：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据所述第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第二预设权重矩阵。
可选地，所述处理单元302具体用于：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵、所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型、所述第一预设权重矩阵和所述第二预设权重矩阵。
可选地，所述处理单元302具体用于：
将所述合并后的句向量输入到意图识别模型进行识别，确定出所述待识别句子的意图。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行意图识别方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行意图识别方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每个流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种意图识别方法，其特征在于，包括：
获取对话中的各句子；所述对话中的各句子包括待识别句子和所述待识别句子对应的上下文句子；
对所述各句子分别进行向量化处理，得到所述各句子的句向量；
基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量；其中，所述第一预设权重矩阵用于表示所述对话中的各句子对所述待识别句子的意图影响权重；所述意图影响权重为基于标注意图的样本句子和所述样本句子的上下文句子，对所述样本句子的意图的影响力进行训练学习得到的；
基于所述合并后的句向量，确定出所述待识别句子的意图。
2.如权利要求1所述的方法，其特征在于，所述对所述各句子分别进行向量化处理，得到所述各句子的句向量，包括：
将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量；所述第二预设权重矩阵用于表示所述向量化处理模型中各层提取的语义特征向量的权重。
3.如权利要求2所述的方法，其特征在于，所述将所述各句子分别输入到向量化处理模型进行处理，并基于第二预设权重矩阵，对所述向量化处理模型各层输出的语义特征向量进行调整，得到各句子的句向量，包括：
针对每个句子，将所述句子输入到所述向量化处理模型进行处理，得到所述句子在各层输出的语义特征向量，并根据所述第二预设权重矩阵，对所述句子在各层输出的语义特征向量进行加权处理，得到所述句子的句向量。
4.如权利要求1所述的方法，其特征在于，所述基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量，包括：
基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重；
根据所述各句子的意图影响权重对所述各句子的句向量进行加权合并，得到所述合并后的句向量。
5.如权利要求4所述的方法，其特征在于，所述基于所述第一预设权重矩阵，确定出所述各句子的意图影响权重，包括：
针对每个句子，根据所述句子在所述对话中的位置，将所述第一预设权重矩阵中处于所述位置的参数值作为所述句子的意图影响权重。
6.如权利要求1至5任一项所述的方法，其特征在于，所述第一预设权重矩阵是基于标注意图的样本句子和所述样本句子的上下文句子在进行意图识别模型训练时得到的，包括：
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第一预设权重矩阵。
7.如权利要求2至5任一项所述的方法，其特征在于，所述第二预设权重矩阵是基于所述标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的，包括：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据所述第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型和所述第二预设权重矩阵。
8.如权利要求2至5任一项所述的方法，其特征在于，所述第一预设权重矩阵和所述第二预设权重矩阵分别是基于标注意图的样本句子和所述样本句子的上下文句子在进行所述意图识别模型训练时得到的，包括：
针对所述标注意图的样本句子及所述样本句子的上下文句子中的任一句子，根据初始的第二预设权重矩阵和所述向量化处理模型对所述句子进行向量化处理，得到所述句子的句向量；
根据初始的第一预设权重矩阵，对所述标注意图的样本句子的句向量和所述样本句子的上下文句子的句向量进行合并处理，得到所述合并处理后的句向量；
将所述合并处理后的句向量输入到初始的意图识别模型进行训练，得到所述样本句子的预测意图，并通过所述预测意图与所述标注意图之间的损失函数更新所述初始的第一预设权重矩阵、所述初始的第二预设权重矩阵和所述初始的意图识别模型，直至满足训练终止条件，得到所述意图识别模型、所述第一预设权重矩阵和所述第二预设权重矩阵。
9.一种意图识别装置，其特征在于，包括：
获取单元，用于获取对话中的各句子；所述对话中的各句子包括待识别句子和所述待识别句子对应的上下文句子；
处理单元，用于对所述各句子分别进行向量化处理，得到所述各句子的句向量；基于第一预设权重矩阵，对所述各句子的句向量进行合并处理，得到合并后的句向量；其中，所述第一预设权重矩阵用于表示所述对话中的各句子对所述待识别句子的意图影响权重；所述意图影响权重为基于标注意图的样本句子和所述样本句子的上下文句子，对所述样本句子的意图的影响力进行训练学习得到的；基于所述合并后的句向量，确定出所述待识别句子的意图。
10.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至8任一项所述的方法。
CN202010591744.0A 2020-06-24 2020-06-24 一种意图识别方法、装置、设备及存储介质 Active CN111738017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591744.0A CN111738017B (zh) 2020-06-24 2020-06-24 一种意图识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591744.0A CN111738017B (zh) 2020-06-24 2020-06-24 一种意图识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738017A true CN111738017A (zh) 2020-10-02
CN111738017B CN111738017B (zh) 2024-09-10

Family

ID=72651149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591744.0A Active CN111738017B (zh) 2020-06-24 2020-06-24 一种意图识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111738017B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434492A (zh) * 2020-10-23 2021-03-02 北京百度网讯科技有限公司 文本标注方法、装置及电子设备
CN112507704A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 多意图识别方法、装置、设备及存储介质
CN113569918A (zh) * 2021-07-05 2021-10-29 北京淇瑀信息科技有限公司 分类温度调节方法、装置、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412882A (zh) * 2013-07-18 2013-11-27 百度在线网络技术（北京）有限公司 一种识别消费意图的方法及装置
US20170293651A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Natural language processing based on textual polarity
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN110188175A (zh) * 2019-04-29 2019-08-30 厦门快商通信息咨询有限公司 一种基于BiLSTM-CRF模型的问答对抽取方法、系统及存储介质
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
WO2019205318A1 (zh) * 2018-04-25 2019-10-31 平安科技（深圳）有限公司 舆情信息分类方法、装置、计算机设备和存储介质
CN110427490A (zh) * 2019-07-03 2019-11-08 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置
CN110825845A (zh) * 2019-10-23 2020-02-21 中南大学 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法
CN111062220A (zh) * 2020-03-13 2020-04-24 成都晓多科技有限公司 一种基于记忆遗忘装置的端到端意图识别系统和方法
CN111159358A (zh) * 2019-12-31 2020-05-15 苏州思必驰信息科技有限公司 多意图识别训练和使用方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412882A (zh) * 2013-07-18 2013-11-27 百度在线网络技术（北京）有限公司 一种识别消费意图的方法及装置
US20170293651A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Natural language processing based on textual polarity
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
WO2019205318A1 (zh) * 2018-04-25 2019-10-31 平安科技（深圳）有限公司 舆情信息分类方法、装置、计算机设备和存储介质
CN110188175A (zh) * 2019-04-29 2019-08-30 厦门快商通信息咨询有限公司 一种基于BiLSTM-CRF模型的问答对抽取方法、系统及存储介质
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
CN110427490A (zh) * 2019-07-03 2019-11-08 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置
CN110825845A (zh) * 2019-10-23 2020-02-21 中南大学 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法
CN111159358A (zh) * 2019-12-31 2020-05-15 苏州思必驰信息科技有限公司 多意图识别训练和使用方法及装置
CN111062220A (zh) * 2020-03-13 2020-04-24 成都晓多科技有限公司 一种基于记忆遗忘装置的端到端意图识别系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HE, LJ等: "Motion Intention Classification of Multi-class Upper Limbs Actions for Brain Machine Interface Applications", 《IEEE》, 31 December 2019 (2019-12-31) *
杨春妮;冯朝胜;: "结合句法特征和卷积神经网络的多意图识别模型", 计算机应用, no. 07, 20 March 2018 (2018-03-20) *
王丽花等: "意图识别与语义槽填充的双向关联模型", 《计算机工程与应用》, vol. 57, no. 3, 31 March 2020 (2020-03-31) *
王冲等: "融合敏感词规则和字符级RCNN模型的用户意图识别", 《计算机应用与软件》, vol. 37, no. 3, 31 March 2020 (2020-03-31) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434492A (zh) * 2020-10-23 2021-03-02 北京百度网讯科技有限公司 文本标注方法、装置及电子设备
CN112434492B (zh) * 2020-10-23 2021-10-15 北京百度网讯科技有限公司 文本标注方法、装置及电子设备
CN112507704A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 多意图识别方法、装置、设备及存储介质
CN112507704B (zh) * 2020-12-15 2023-10-03 中国联合网络通信集团有限公司 多意图识别方法、装置、设备及存储介质
CN113569918A (zh) * 2021-07-05 2021-10-29 北京淇瑀信息科技有限公司 分类温度调节方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111738017B (zh) 2024-09-10

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN109003624B (zh) 情绪识别方法、装置、计算机设备及存储介质
CN111738017B (zh) 一种意图识别方法、装置、设备及存储介质
CN108710704A (zh) 对话状态的确定方法、装置、电子设备及存储介质
CN111738018A (zh) 一种意图理解方法、装置、设备及存储介质
CN110399472A (zh) 面试提问提示方法、装置、计算机设备及存储介质
CN111461353A (zh) 一种模型训练的方法和系统
CN110852103A (zh) 一种命名实体识别方法及装置
CN114328821A (zh) 基于控制槽位和业务数据槽位的多轮对话控制方法及装置
CN113806501A (zh) 意图识别模型的训练方法、意图识别方法和设备
CN114238740A (zh) 一种确定代理主体代理品牌的方法及装置
CN115485694A (zh) 机器学习算法搜索
CN112308149A (zh) 基于机器学习的图像信息识别的优化方法及装置
CN116680385A (zh) 基于人工智能的对话问答方法、装置、计算机设备及介质
CN111666755B (zh) 一种复述句识别的方法及装置
CN113887535B (zh) 模型训练方法、文本识别方法、装置、设备和介质
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN115018627A (zh) 一种信用风险评价方法及装置、存储介质及电子设备
CN113792133A (zh) 判题方法、装置、电子设备和介质
CN113487453A (zh) 基于犯罪要素的法律判决预测方法及系统
CN113779360A (zh) 基于多头问答模型的解题方法、装置、设备及存储介质
CN112036188A (zh) 一种质检例句推荐的方法及装置
CN111881266A (zh) 一种应答方法及装置
CN111737988B (zh) 一种复述句识别的方法及装置
CN111767735B (zh) 执行任务的方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant