CN113157900A - 意图识别方法、装置、计算机设备及存储介质 - Google Patents

意图识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113157900A
CN113157900A CN202110585565.0A CN202110585565A CN113157900A CN 113157900 A CN113157900 A CN 113157900A CN 202110585565 A CN202110585565 A CN 202110585565A CN 113157900 A CN113157900 A CN 113157900A
Authority
CN
China
Prior art keywords
target
vector
dialogue
features
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110585565.0A
Other languages
English (en)
Inventor
赵知纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110585565.0A priority Critical patent/CN113157900A/zh
Publication of CN113157900A publication Critical patent/CN113157900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及一种意图识别方法、装置、设备及存储介质。该意图识别方法包括获取意图识别模型根据预设滑动窗口，从对话场景中提取目标对话集；其中，目标对话集包括目标对话以及在目标对话前，且在预设滑动窗口内的历史对话；采用第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征；获取目标对话集对应的目标语义特征集；采用第二transformer网络对目标语义特征集进行特征提取，得到上下文语义特征；采用融合特征层对目标语义特征以及上下文语义特征进行特征融合，得到待分类特征；采用分类器对待分类特征进行意图分类，得到意图识别结果。该方法可有效提高意图识别的准确率。

Description

意图识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种意图识别方法、装置、计算机设备及存储介质。
背景技术
在自然语言处理(Natural Language Processing，NLP)中，文本分类技术作为其中的一种基础技术被广泛应用，例如搜索引擎中通过文本分类技术识别别用户想要检索哪个主题的信息，比如游戏类、影视类等，可减少不必要的召回；在智能问答或者智能助手中通过文本分类技术识别用户意图，例如在旅游场景中识别用户是需要订酒店、订车票或是改行程等；
但目前在智能问答或者智能助手的类似对话场景中，在判断用户的意图时，一般只考虑当前轮对话，而未结合上下文进行综合考虑，导致用户意图识别不准确的问题。
发明内容
本发明实施例提供一种意图识别方法、装置、计算机设备及存储介质，以解决现有的意图识别不准确的问题。
一种意图识别方法，包括：
获取意图识别模型；其中，所述意图识别模型包括第一transformer网络、第二transformer网络、分别连接所述第一transformer网络和所述第二transformer网络的融合特征层以及连接所述融合特征层的分类器；
根据预设滑动窗口，从对话场景中提取目标对话集；其中，所述目标对话集包括所述目标对话以及在所述目标对话前，且在所述预设滑动窗口内的历史对话；
采用所述第一transformer网络对所述目标对话进行特征提取，得到所述目标对话对应的目标语义特征；
获取所述目标对话集对应的目标语义特征集；其中，所述目标语义特征集包括历史对话对应的历史语义特征以及所述目标语义特征；
采用所述第二transformer网络对所述目标语义特征集进行特征提取，得到上下文语义特征；
采用所述融合特征层对所述目标语义特征以及所述上下文语义特征进行特征融合，得到待分类特征；
采用所述分类器对所述待分类特征进行意图分类，得到意图识别结果。
一种意图识别装置，包括：
模型获取模块，用于获取意图识别模型；其中，所述意图识别模型包括第一transformer网络、第二transformer网络、分别连接所述第一transformer网络和所述第二transformer网络的融合特征层以及连接所述融合特征层的分类器；
目标对话集提取模块，用于根据预设滑动窗口，从对话场景中提取目标对话集；其中，所述目标对话集包括所述目标对话以及在所述目标对话前，且在所述预设滑动窗口内的历史对话；
第一特征提取模块，用于采用所述第一transformer网络对所述目标对话进行特征提取，得到所述目标对话对应的目标语义特征；
目标语义特征集获取模块，用于获取所述目标对话集对应的目标语义特征集；其中，所述目标语义特征集包括历史对话对应的历史语义特征以及所述目标语义特征；
第二特征提取模块，用于采用所述第二transformer网络对所述目标语义特征集进行特征提取，得到上下文语义特征；
特征融合模块，用于采用所述融合特征层对所述目标语义特征以及所述上下文语义特征进行特征融合，得到待分类特征；
意图分类模块，用于采用所述分类器对所述待分类特征进行意图分类，得到意图识别结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述意图识别方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述意图识别方法的步骤。
上述意图识别方法、装置、计算机设备及存储介质中，通过获取意图识别模型，该意图识别模型包括第一transformer网络、第二transformer网络，以通过设置两个transformer网络分别对目标对话以及处于预设滑动窗口内的多轮对话进行处理得到对应的语义特征，实现多任务的并行处理。然后，根据预设滑动窗口，从对话场景中提取目标对话集，以便采用意图识别模型中的第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征，采用意图识别模型中的第二transformer网络对目标对话集对应的目标语义特征集进行特征提取，以将处于滑动窗口内的多轮对话(包括历史对话以及目标对话)通过transformer网络的注意力机制合考虑目标对话与历史对话之间的相互关系，以得到上下文语义特征。接着，采用融合特征层对目标语义特征以及上下文语义特征进行特征融合，得到融合上下文信息的待分类特征，以便采用分类器对待分类特征进行意图分类，得到意图识别结果，从而提高意图识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中意图识别方法的一应用环境示意图；
图2是本发明一实施例中意图识别方法的一流程图；
图3是图2中步骤S203的一具体流程图；
图4是图2中步骤S205的一具体流程图；
图5是图2中步骤S204的一具体流程图；
图6是图3中步骤S303的一具体流程图；
图7是图3中步骤S304的一具体流程图；
图8是本发明一实施例中意图识别装置的一示意图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该意图识别方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种意图识别方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取意图识别模型；其中，意图识别模型包括第一transformer网络、第二transformer网络、分别连接第一transformer网络和第二transformer网络的融合特征层以及连接融合特征层的分类器。
其中，本实施例中可应用在对话场景下的意图识别，通过结合历史上下文以对当前对话进行意图识别，可更加准确地判断当前轮用户的意图。具体地，该目标对话为用户在对话场景下所录入的对话，包括但不限于语音、文本或图像的形式。进一步地，当该目标对话为非文本，例如语音或图像的情况下，还需要进一步将语音形式的目标对话或图像形式的目标对话转换为文本形式，具体可通过语音识别模型或图像识别模型以将语音或图像转换为对应的文本。
更进一步地，为保证后续意图识别的准确率，故应尽可能保证此处获取的文本(即目标对话)的有效性和可靠性，此处还可在将语音和图像转换为文本前，通过对其进行降噪处理，以提高文本转换的准确性。
S202：根据预设滑动窗口，从对话场景中提取目标对话集；其中，目标对话集包括目标对话以及在目标对话前，且在预设滑动窗口内的历史对话。
其中，在实际对话场景中可包含多轮对话，目标对话指对话场景中需要进行意图识别的待识别对话。该预设滑动窗口可在训练时，通过微调确定，此处不做限定。示例性地，假设目标对话为第3轮对话，且预设滑动窗口设置为3，则获取目标对话以及目标对话前的n-1，即2轮历史对话，并将这3轮对话作为目标对话集。
需要说明的是，本实施例中在根据预设滑动窗口提取目标对话集时，需要将目标对话包含在内，而并不仅仅只是多轮历史对话，有利于后续通过transformer的自注意力机制综合考虑当前轮对话与历史的n-1轮对话之间的相互关系。
具体地，当目标对话集中多轮历史对话的数量小于预设滑动窗口时，为保证模型的正常处理，可根据预设滑动窗口的大小，通过前向补零的方式对目标对话集进行补齐处理。
S203：采用第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征。
其中，第一transformer网络包括一第一自注意力模块，该第一自注意力模块包括三个训练确定的权重矩阵，即查询矩阵Q、键矩阵K以及值矩阵V；所谓注意力即指将查询矩阵Q和键值对K、V映射到输出的方法，以分析句子中词与词之间的关系。该第一自注意力模块的输出通过对矩阵V进行加权求和得到,权重即指矩阵Q与K的相似度。
具体地，可通过第一transformer网络对目标对话进行编码，并采用第一自注意力模块对目标对话进行计算，最后再对第一自注意力模块的输出进线性加权(即将第一自注意力模块的输出与查询矩阵的转置矩阵相加)，并对线性加权的结果进行归一化处理，从而得到目标对话对应的目标语义特征。
S204：获取目标对话集对应的目标语义特征集；其中，目标语义特征集包括历史对话对应的历史语义特征以及目标语义特征。
具体地，本实施例中获取目标对话集对应的目标语义特征集的方式可包括但不限于如下两种方式，一种是直接获取预存储的每轮历史对话对应的历史语义特征；另一种则是通过第二transformer网络对目标对话集中的每轮对话再次进行特征提取，以得到目标语义特征集。
S205：采用第二transformer网络对目标语义特征集进行特征提取，得到上下文语义特征。
其中，该第一transformer网络与第二transformer网络可连接，也可相互并行，此处不做限定。可以理解地是，当第一transformer网络与第二transformer网络连接，则第一transformer网络可用于提取单轮对话的语义特征，以将预设滑动窗口内的多个单轮对话对应的语义特征所组成的目标语义特征集输入至第二transformer网络进行上下文语义特征的提取。其中，单轮对话可指目标对话或每轮历史对话。当第一transformer网络与第二transformer网络并行，则第一transformer网络仅用于提取目标对话的语义特征，而第二transformer网络则用于提取目标对话集中每轮对话(包括目标对话以及每轮历史对话)的语义特征，得到目标语义特征集，再对目标语义特征集进行处理，以提取上下文语义特征。
S206：采用融合特征层对目标语义特征以及上下文语义特征进行特征融合，得到待分类特征。
S207：采用分类器对待分类特征进行意图分类，得到意图识别结果。
具体地，本实施例中通过在意图识别模型中设置一融合特征层，以便通过该融合特征层将目标语义特征与上下文语义特征进行特征融合，以达到充分提取特征目的。其中，具体融合方式可通过简单拼接实现，或者其他融合方式实现，此处不做限定。
本实施例中，通过获取意图识别模型，该意图识别模型包括第一transformer网络、第二transformer网络，以通过设置两个transformer网络分别对目标对话以及处于预设滑动窗口内的多轮对话进行处理得到对应的语义特征，实现多任务的并行处理。然后，根据预设滑动窗口，从对话场景中提取目标对话集，以便采用意图识别模型中的第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征，采用意图识别模型中的第二transformer网络对目标对话集对应的目标语义特征集进行特征提取，以将处于滑动窗口内的多轮对话(包括历史对话以及目标对话)通过transformer网络的注意力机制合考虑目标对话与历史对话之间的相互关系，以得到上下文语义特征。接着，采用融合特征层对目标语义特征以及上下文语义特征进行特征融合，得到融合上下文信息的待分类特征，以便采用分类器对待分类特征进行意图分类，得到意图识别结果，从而提高意图识别的准确率。
在一实施例中，如图3所示，第一transformer网络包括第一自注意力模块；步骤203中，即采用第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征中，具体包括如下步骤：
S301：将目标对话与一预设标识符进行拼接，得到第一拼接字符串。
具体地，设目标对话为QU，将QU与一预设标识符，如CLS进行拼接，以得到第一拼接字符串[CLS,QU]。该预设标识符可根据需要进行设置，此处不做限定。
S302：对第一拼接字符串中每一字符进行向量转化，得到第一初始向量。
具体地，通过embedding查询每一字符对应的向量，以得到第一拼接字符串对应的第一初始向量QE(
Figure BDA0003087892220000061
假设QU的长度为6，每个字符转换后的向量的长度均为he，那么最终得到的第一处向量的大小为he×6)。其中，Embedding能够用低维向量对字符进行编码且可保留字符含义。
S303：采用第一自注意力模块对第一初始向量进行处理，得到第一自注意力模块输出的第一中间向量。
其中，第一中间向量即为第一自注意力模块的输出向量。具体地，采用第一自注意力模块对第一初始向量进行处理，即注意力权值计算(即通过对值矩阵V进行加权求和得到,权重即指查询矩阵Q与键矩阵K的相似度)，以到第一自注意力模块输出的第一中间向量。本实施例中，通过对采用第一自注意力模块对第一初始向量进行处理，以得到词与词之间的依赖关系，使模型可更多的注意到对句子信息表达重要的词组，提高模型识别的准确率。
S304：对第一中间向量进行线性加权以及归一化处理，得到第一目标向量。
具体地，通过将第一中间向量进行线性加权，即先基于查询矩阵的转置矩阵对第一中间向量进行线性加权求和，得到加权矩阵；然后，对加权矩阵进行归一化处理，以得到第一目标向量。
S305：将第一目标向量中预设标识符对应的行向量作为目标语义特征。
可以理解地，由于本实施例中在目标对话前插入一个预设标识符，即可将该预设标识符对应的输出向量作为目标对话的语义表示，以便后续融合特征层可充分融合历史对话以及目标对话的语义特征，有利于提高意图识别的准确率。
在一实施例中，如图4所示，第二transformer网络包括第二自注意力模块；步骤S205中，即采用第二transformer网络对目标语义特征集进行特征提取，得到上下文语义特征，具体包括如下步骤：
S401：将目标语义特征集与预设标识符对应的标识向量进行拼接，得到拼接向量。
具体地，将目标语义特征集与预设标识符对应的标识向量进行拼接，以得到拼接向量，例如目前的目标特征集表示为QUhist＝[QUEt,QUEt-1,QUEt-2......QUt-n+1]，通过将预设标识符对应的标识向量如CLSE拼接，即得到拼接向量QUhist'＝[CLSE,QUEt,QUEt-1,QUEt-2......QUt-n+1]，其中，n表示预设滑动窗口大小。
S402：采用第二自注意力模块对拼接向量进行处理，得到第二自注意力模块输出的注意力向量。
具体地，通过采用第二自注意力模块对拼接向量进行处理，以得到预设滑动窗口内的多轮对话中词与词之间的依赖关系，以从全局角度综合考虑目标对话以及历史对话，使模型注意到多轮对话中对句子信息表达重要的词组，从而提高模型识别的准确率。
S403：对注意力向量进行线性加权以及归一化处理，得到归一化向量。
具体地，通过对注意力向量进行线性加权，即先基于查询矩阵的转置矩阵对注意力向量进行线性加权求和，得到加权结果；然后，对加权结果进行归一化处理，以得到归一化向量，以公式表示为Z＝LN(VT+O”)，
Figure BDA0003087892220000071
其中，O”表示注意力向量，QT表示查询矩阵的转置矩阵，Z表示归一化向量，大小为ha×6，LN表示归一化函数。
S404：将归一化向量中，与预设标识符对应的行向量作为目标语义特征集对应的上下文语义特征。
具体地，该预设标识符位所对应的行向量集标识即可表示整个输入序列的语义向量，可用于连结分类器进行意图分类，于本实施例中，通过选取归一化向量中预设标识符对应的行向量以作为目标语义特征集对应的上下文语义特征，以便后续通过融合特征层将目标语义特征以及上下文语义特征的语义特征融合，用于意图分类。
在一实施例中，步骤S204具体为：基于存储的每轮历史对话对应的历史语义特征以及目标对话对应的目标语义特征，得到目标语义特征集。
具体地，在得到目标对话对应的目标语义特征后，可将目标对话作为历史对话，将目标语义特征作为对应的历史语义特征关联存储，以在进行下一轮意图识别时，以在获取目标语义特征集时，可直接按照预设滑动窗口所指示的对话轮次，从预存储的数据中获取目标对话集中每轮对话对应的语义特征，进而获取目标语义特征集，而无需在第二transformer网络再次对目标对话集中每轮对话提取语义特征，有效减少数据处理量，节省时间。
具体地，由于预设标识符不变，故此处可将预设标识符与其对应的标识向量进行关联存储，这样在第二transformer网络中进行向量拼接时，无需再次执行对预设标识符进行向量转换的操作，节省时间。
可以理解地，在获取目标语义特征集时，可直接将存储的每轮历史对话对应的历史语义特征以及目标对话，作为目标语义特征集。
在一实施例中，如图5所示，步骤S204中，即获取目标对话集对应的目标语义特征集，具体包括如下步骤：
S501：遍历目标对话集，将目标对话集中的每轮对话与预设标识符进行拼接，得到每轮对话对应的第二拼接字符串。
具体地，可通过遍历目标对话集中的每轮对话(包括目标对话以及历史对话)并将其输入至第一transformer网络进行特征提取，以得到每轮对话的语义特征(包括目标对话的目标语义特征以及历史对话的历史语义特征)。
S502：将第二拼接字符串中每一字符进行向量转化，得到第二初始向量。
具体地，通过embedding查询第二拼接字符串中每一字符对应的向量，以得到该拼接字符串对应的第二初始向量。其中，Embedding能够用低维向量对字符进行编码且可保留字符含义。
S503：采用第二自注意力模块对第二初始向量进行处理，得到第二中间向量。
其中，第二中间向量即为第二自注意力模块的输出向量。具体地，采用第二自注意力模块对第一初始向量进行处理，即注意力权值计算，以到第二自注意力模块输出的第一中间向量。本实施例中，通过对采用第二自注意力模块对第一初始向量进行处理，以得到词与词之间的依赖关系，使模型可更多的注意到对句子信息表达重要的词组，提高模型识别的准确率。
具体地，该注意力权值计算的具体实现过程与步骤S303保持一致，为避免重复，此处不再赘述。
S504：对第二中间向量进行线性加权以及归一化处理，得到第二目标向量。
具体地，通过将第二中间向量进行线性加权，即先基于查询矩阵的转置矩阵对第二中间向量进行线性加权求和(即将第二中间向量与查询矩阵的转置矩阵相加)，得到加权矩阵；然后，对加权矩阵进行归一化处理，以得到第二目标向量。
S505：将第二目标向量中预设标识符对应的行向量作为每轮对话对应的单轮语义特征。
S506：将多个单轮语义特征作为目标语义特征集。
具体地，将目标向量中的与预设标识符对应的行向量作为目标对话集中每轮对话对应的单轮语义特征，进而将多个单轮语义特征作为目标语义特征集。
在一实施例中，如图6所示，步骤S303中，即采用第一自注意力模块对第一初始向量进行处理，得到第一自注意力模块输出的第一中间向量，具体包括如下步骤：
S601：对第一初始向量进行线性变换，得到多个变换矩阵；其中，多个变换矩阵包括查询矩阵、键矩阵以及值矩阵。
具体地，意图识别模型中的第一自注意力模块包括训练确定的三个权重矩阵，通过第一初始向量P与每一权重矩阵[wk,wq,wv]进行点乘，即可得到对应的查询矩阵Q、键矩阵K以及值矩阵V，例如以下公式所示，K＝wk·p，Q＝wq·p，V＝wv·p。
S602：基于查询矩阵和键矩阵，计算自注意力权重矩阵。
具体地，通过自注意分值计算公式对查询矩阵和键矩阵进行计算，以得到自注意力权重矩阵；其中，自注意分值计算公式为
Figure BDA0003087892220000091
其中，A表示自注意力权重矩阵，大小为6×6，KT表示键矩阵K的转置矩阵；Q表示查询矩阵；ha缩放因子，可根据实际需要设置，通过设置该缩放因子可使注意力值分散，即放大注意力值间的差异性。
S603：对自注意力权重矩阵和值矩阵的转置矩阵进行矩阵相乘处理，得到第一自注意力模块输出的第一中间向量。
具体地，通过如下公式表示第一中间向量的计算过程，即o'＝A·VT，其中，A表示自注意力权重矩阵，VT表示值矩阵的转置矩阵，O'表示第一中间向量，即第一自注意力模块的输出。
可以理解地，通过获取KT·Q相乘的结果，经过缩放因子与softmax函数处理之后，以得到各个词之间的相互关联程度，最后再与值矩阵VT相乘，即为第一自注意力模块输出的第一中间向量。
在一实施例中，如图7所示，步骤S304中，即对第一中间向量进行线性加权以及归一化处理，得到第一目标向量，具体包括如下步骤：
S701：基于查询矩阵的转置矩阵对第一中间向量进行线性加权求和，得到加权矩阵。
S702：对加权矩阵进行归一化处理，得到第一目标向量。
具体地，可通过如下公式表示步骤S701-S702的计算过程，即O＝LN(VT+O')，
Figure BDA0003087892220000101
其中，O'表示第一中间向量，QT表示查询矩阵的转置矩阵，O表示第一目标向量，大小为ha×6，LN表示归一化函数。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种意图识别装置，该意图识别装置与上述实施例中意图识别方法一一对应。如图8所示，该意图识别装置包括模型获取模块10、目标对话集提取模块20、第一特征提取模块30、目标语义特征集获取模块40、第二特征提取模块50、特征融合模块60以及意图分类模块70。各功能模块详细说明如下：
模型获取模块10，用于获取意图识别模型；其中，意图识别模型包括第一transformer网络、第二transformer网络、分别连接第一transformer网络和第二transformer网络的融合特征层以及连接融合特征层的分类器。
目标对话集提取模块20，用于根据预设滑动窗口，从对话场景中提取目标对话集；其中，目标对话集包括目标对话以及在目标对话前，且在预设滑动窗口内的历史对话。
第一特征提取模块30，用于采用第一transformer网络对目标对话进行特征提取，得到目标对话对应的目标语义特征。
目标语义特征集获取模块40，用于获取目标对话集对应的目标语义特征集；其中，目标语义特征集包括历史对话对应的历史语义特征以及目标语义特征。
第二特征提取模块50，用于采用第二transformer网络对目标语义特征集进行特征提取，得到上下文语义特征。
特征融合模块60，用于采用融合特征层对目标语义特征以及上下文语义特征进行特征融合，得到待分类特征。
意图分类模块70，用于采用分类器对待分类特征进行意图分类，得到意图识别结果。
具体地，第一transformer网络包括第一自注意力模块；第一特征提取模块包括第一拼接单元、第一向量转化单元、第一中间向量获取单、第一目标向量获取单元以及目标语义特征提取单元。
第一拼接单元，用于将目标对话与一预设标识符进行拼接，得到第一拼接字符串。
第一向量转化单元，用于对第一拼接字符串中每一字符进行向量转化，得到第一初始向量。
第一中间向量获取单元，用于采用第一自注意力模块对第一初始向量进行处理，得到第一自注意力模块输出的第一中间向量。
第一目标向量获取单元，用于对第一中间向量进行线性加权以及归一化处理，得到第一目标向量。
目标语义特征提取单元，用于将第一目标向量中预设标识符对应的行向量作为目标语义特征。
具体地，第二transformer网络包括第二自注意力模块；第二特征提取模块包括第二拼接单元、注意力向量获取单元、归一化向量获取单元以及上下文语义特征提取单元。
第二拼接单元，用于将目标语义特征集与预设标识符对应的标识向量进行拼接，得到拼接向量。
注意力向量获取单元，用于采用第二自注意力模块对拼接向量进行处理，得到第二自注意力模块输出的注意力向量。
归一化向量获取单元，用于对注意力向量进行线性加权以及归一化处理，得到归一化向量。
上下文语义特征提取单元，用于将归一化向量中，与预设标识符对应的行向量作为目标语义特征集对应的上下文语义特征。
具体地，目标语义特征集获取模块具体为，基于预存储的每轮历史对话对应的历史语义特征以及目标对话对应的目标语义特征，得到目标语义特征集。
具体地，目标语义特征集获取模块包括第三拼接单元、第二向量转化单元、第二中间向量获取单元、第二目标向量获取单元、单轮语义特征获取单元以及目标语义特征集获取单元。
第三拼接单元，用于遍历目标对话集，将目标对话集中的每轮对话与预设标识符进行拼接，得到每轮对话对应的第二拼接字符串。
第二向量转化单元，用于将第二拼接字符串中每一字符进行向量转化，得到第二初始向量。
第二中间向量获取单元，采用第二自注意力模块对第二初始向量进行处理，得到第二中间向量。
第二目标向量获取单元，用于对第二中间向量进行线性加权以及归一化处理，得到第二目标向量。
单轮语义特征获取单元，用于将第二目标向量中预设标识符对应的行向量作为每轮对话对应的单轮语义特征。
目标语义特征集获取单元，用于将多个单轮语义特征作为目标语义特征集。
具体地，第一注意力处理单元包括矩阵变换单元、自注意力权重矩阵计算单元以及第一中间向量获取单元。
矩阵变换单元，用于对第一初始向量进行线性变换，得到多个变换矩阵。其中，多个变换矩阵包括查询矩阵、键矩阵以及值矩阵。
自注意力权重矩阵计算单元，用于基于查询矩阵和键矩阵，计算自注意力权重矩阵。
第一中间向量获取单元，用于对自注意力权重矩阵和值矩阵的转置矩阵进行矩阵相乘处理，得到第一自注意力模块输出的第一中间向量。
具体地，第一线性归一化处理单元包括线性变换处理单元和归一化处理单元。
线性变换处理单元，用于基于查询矩阵的转置矩阵对第一中间向量进行线性加权求和，得到加权矩阵。
归一化处理单元，用于对加权矩阵进行归一化处理，得到第一目标向量。
关于意图识别装置的具体限定可以参见上文中对于意图识别方法的限定，在此不再赘述。上述意图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行意图识别方法过程中生成或获取的数据，如意图识别模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种意图识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的意图识别方法的步骤，例如图2所示的步骤S201-S207，或者图3至图7中所示的步骤。或者，处理器执行计算机程序时实现意图识别装置这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中意图识别方法的步骤，例如图2所示的步骤S201-S207，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述意图识别装置这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种意图识别方法，其特征在于，包括：
获取意图识别模型；其中，所述意图识别模型包括第一transformer网络、第二transformer网络、分别连接所述第一transformer网络和所述第二transformer网络的融合特征层以及连接所述融合特征层的分类器；
根据预设滑动窗口，从对话场景中提取目标对话集；其中，所述目标对话集包括目标对话以及在所述目标对话前，且在所述预设滑动窗口内的历史对话；
采用所述第一transformer网络对所述目标对话进行特征提取，得到所述目标对话对应的目标语义特征；
获取所述目标对话集对应的目标语义特征集；其中，所述目标语义特征集包括历史对话对应的历史语义特征以及所述目标语义特征；
采用所述第二transformer网络对所述目标语义特征集进行特征提取，得到上下文语义特征；
采用所述融合特征层对所述目标语义特征以及所述上下文语义特征进行特征融合，得到待分类特征；
采用所述分类器对所述待分类特征进行意图分类，得到意图识别结果。
2.如权利要求1所述意图识别方法，其特征在于，所述第一transformer网络包括第一自注意力模块；所述采用所述第一transformer网络对所述目标对话进行特征提取，得到所述目标对话对应的目标语义特征，包括；
将所述目标对话与一预设标识符进行拼接，得到第一拼接字符串；
对所述第一拼接字符串中每一字符进行向量转化，得到第一初始向量；
采用所述第一自注意力模块对所述第一初始向量进行处理，得到所述第一自注意力模块输出的第一中间向量；
对所述第一中间向量进行线性加权以及归一化处理，得到第一目标向量；
将所述第一目标向量中所述预设标识符对应的行向量作为所述目标语义特征。
3.如权利要求1所述意图识别方法，其特征在于，所述第二transformer网络包括第二自注意力模块；所述采用所述第二transformer网络对所述目标语义特征集进行特征提取，得到上下文语义特征，包括；
将所述目标语义特征集与所述预设标识符对应的标识向量进行拼接，得到拼接向量；
采用所述第二自注意力模块对所述拼接向量进行处理，得到所述第二自注意力模块输出的注意力向量；
对所述注意力向量进行线性加权以及归一化处理，得到归一化向量；
将所述归一化向量中，与所述预设标识符对应的行向量作为所述目标语义特征集对应的上下文语义特征。
4.如权利要求2所述意图识别方法，其特征在于，所述获取所述目标对话集对应的目标语义特征集，包括：
基于预存储的每轮历史对话对应的历史语义特征以及所述目标对话对应的目标语义特征，得到所述目标语义特征集。
5.如权利要求3所述意图识别方法，其特征在于，所述获取所述目标对话集对应的目标语义特征集，包括：
遍历所述目标对话集，将目标对话集中的每轮对话与所述预设标识符进行拼接，得到每轮对话对应的第二拼接字符串；
将所述第二拼接字符串中每一字符进行向量转化，得到第二初始向量；
采用所述第二自注意力模块对所述第二初始向量进行处理，得到第二中间向量；
对所述第二中间向量进行线性加权以及归一化处理，得到第二目标向量；
将所述第二目标向量中所述预设标识符对应的行向量作为所述目标对话集中每轮对话对应的单轮语义特征；
将多个所述单轮语义特征作为目标语义特征集。
6.如权利要求2所述意图识别方法，其特征在于，所述采用所述第一自注意力模块对所述第一初始向量进行处理，得到所述第一自注意力模块输出的第一中间向量，包括：
对所述第一初始向量进行线性变换，得到多个变换矩阵；其中，所述多个变换矩阵包括查询矩阵、键矩阵以及值矩阵；
基于所述查询矩阵和键矩阵，计算自注意力权重矩阵；
对所述自注意力权重矩阵和所述值矩阵的转置矩阵进行矩阵相乘处理，得到所述第一自注意力模块输出的第一中间向量。
7.如权利要求6所述意图识别方法，其特征在于，所述对所述第一中间向量进行线性加权以及归一化处理，得到第一目标向量，包括：
基于所述查询矩阵的转置矩阵对所述第一中间向量进行线性加权求和，得到加权矩阵；
对所述加权矩阵进行归一化处理，得到所述第一目标向量。
8.一种意图识别装置，其特征在于，包括：
模型获取模块，用于获取意图识别模型；其中，所述意图识别模型包括第一transformer网络、第二transformer网络、分别连接所述第一transformer网络和所述第二transformer网络的融合特征层以及连接所述融合特征层的分类器；
目标对话集提取模块，用于根据预设滑动窗口，从对话场景中提取目标对话集；其中，所述目标对话集包括目标对话以及在所述目标对话前，且在所述预设滑动窗口内的历史对话；
第一特征提取模块，用于采用所述第一transformer网络对所述目标对话进行特征提取，得到所述目标对话对应的目标语义特征；
目标语义特征集获取模块，用于获取所述目标对话集对应的目标语义特征集；其中，所述目标语义特征集包括历史对话对应的历史语义特征以及所述目标语义特征；
第二特征提取模块，用于采用所述第二transformer网络对所述目标语义特征集进行特征提取，得到上下文语义特征；
特征融合模块，用于采用所述融合特征层对所述目标语义特征以及所述上下文语义特征进行特征融合，得到待分类特征；
意图分类模块，用于采用所述分类器对所述待分类特征进行意图分类，得到意图识别结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述意图识别方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述意图识别方法的步骤。
CN202110585565.0A 2021-05-27 2021-05-27 意图识别方法、装置、计算机设备及存储介质 Pending CN113157900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110585565.0A CN113157900A (zh) 2021-05-27 2021-05-27 意图识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585565.0A CN113157900A (zh) 2021-05-27 2021-05-27 意图识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113157900A true CN113157900A (zh) 2021-07-23

Family

ID=76877905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585565.0A Pending CN113157900A (zh) 2021-05-27 2021-05-27 意图识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113157900A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638231A (zh) * 2022-03-21 2022-06-17 马上消费金融股份有限公司 实体链接方法、装置及电子设备
CN115527525A (zh) * 2022-11-23 2022-12-27 广州小鹏汽车科技有限公司 语音识别模型生成方法、语音交互方法、车辆和存储介质
CN116383391A (zh) * 2023-06-06 2023-07-04 深圳须弥云图空间科技有限公司 一种文本分类方法及装置
WO2023138188A1 (zh) * 2022-01-24 2023-07-27 腾讯科技（深圳）有限公司 特征融合模型训练及样本检索方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180124716A (ko) * 2017-05-11 2018-11-21 경희대학교 산학협력단 효과적인 대화 관리를 위한 의료 시스템에서의 의도-컨텍스트 융합 방법
CN112183101A (zh) * 2020-10-13 2021-01-05 深圳壹账通智能科技有限公司 文本意图识别方法、装置、电子设备及存储介质
WO2021027533A1 (zh) * 2019-08-13 2021-02-18 平安国际智慧城市科技股份有限公司 文本语义识别方法、装置、计算机设备和存储介质
CN112613308A (zh) * 2020-12-17 2021-04-06 中国平安人寿保险股份有限公司 用户意图识别方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180124716A (ko) * 2017-05-11 2018-11-21 경희대학교 산학협력단 효과적인 대화 관리를 위한 의료 시스템에서의 의도-컨텍스트 융합 방법
WO2021027533A1 (zh) * 2019-08-13 2021-02-18 平安国际智慧城市科技股份有限公司 文本语义识别方法、装置、计算机设备和存储介质
CN112183101A (zh) * 2020-10-13 2021-01-05 深圳壹账通智能科技有限公司 文本意图识别方法、装置、电子设备及存储介质
CN112613308A (zh) * 2020-12-17 2021-04-06 中国平安人寿保险股份有限公司 用户意图识别方法、装置、终端设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138188A1 (zh) * 2022-01-24 2023-07-27 腾讯科技（深圳）有限公司 特征融合模型训练及样本检索方法、装置和计算机设备
CN114638231A (zh) * 2022-03-21 2022-06-17 马上消费金融股份有限公司 实体链接方法、装置及电子设备
CN114638231B (zh) * 2022-03-21 2023-07-28 马上消费金融股份有限公司 实体链接方法、装置及电子设备
CN115527525A (zh) * 2022-11-23 2022-12-27 广州小鹏汽车科技有限公司 语音识别模型生成方法、语音交互方法、车辆和存储介质
CN116383391A (zh) * 2023-06-06 2023-07-04 深圳须弥云图空间科技有限公司 一种文本分类方法及装置
CN116383391B (zh) * 2023-06-06 2023-08-11 深圳须弥云图空间科技有限公司 一种文本分类方法及装置

Similar Documents

Publication Publication Date Title
CN109871532B (zh) 文本主题提取方法、装置及存储介质
CN110598206B (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN111460807B (zh) 序列标注方法、装置、计算机设备和存储介质
CN113157900A (zh) 意图识别方法、装置、计算机设备及存储介质
CN108595695B (zh) 数据处理方法、装置、计算机设备和存储介质
CN108763535B (zh) 信息获取方法及装置
WO2021051513A1 (zh) 基于神经网络的中英翻译方法、及其相关设备
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN112417855A (zh) 文本意图识别方法、装置以及相关设备
CN111223476B (zh) 语音特征向量的提取方法、装置、计算机设备和存储介质
CN110598210B (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
CN113158687B (zh) 语义的消歧方法及装置、存储介质、电子装置
CN111583911A (zh) 基于标签平滑的语音识别方法、装置、终端及介质
CN113240510A (zh) 异常用户预测方法、装置、设备及存储介质
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN111597339A (zh) 文档级多轮对话意图分类方法、装置、设备及存储介质
CN117520523B (zh) 数据处理方法、装置、设备及存储介质
CN111898363B (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN113836192A (zh) 平行语料的挖掘方法、装置、计算机设备及存储介质
CN113204630A (zh) 一种文本匹配方法、装置、计算机设备及可读存储介质
CN113051384A (zh) 基于对话的用户画像抽取方法及相关装置
CN112765330A (zh) 文本数据处理方法、装置、电子设备和存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN116150311A (zh) 文本匹配模型的训练方法、意图识别方法及装置
CN112668343B (zh) 文本重写方法以及电子设备、存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723