CN111931513B - 一种文本的意图识别方法及装置 - Google Patents

一种文本的意图识别方法及装置 Download PDF

Info

Publication number
CN111931513B
CN111931513B CN202010654023.XA CN202010654023A CN111931513B CN 111931513 B CN111931513 B CN 111931513B CN 202010654023 A CN202010654023 A CN 202010654023A CN 111931513 B CN111931513 B CN 111931513B
Authority
CN
China
Prior art keywords
text
sample
intention
target
semantic vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010654023.XA
Other languages
English (en)
Other versions
CN111931513A (zh
Inventor
潘申龄
刘设伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202010654023.XA priority Critical patent/CN111931513B/zh
Publication of CN111931513A publication Critical patent/CN111931513A/zh
Application granted granted Critical
Publication of CN111931513B publication Critical patent/CN111931513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种文本的意图识别方法、装置、计算机设备及计算机可读存储介质，包括：获取目标文本，以及预先设置的多个文本意图类别；将目标文本输入预训练语言模型，确定目标文本对应的语义向量；根据语义向量，确定目标文本属于每个所述文本意图类别的概率值，并确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想，使用NLP领域中已经经过海量数据预先训练，具有很好的语义表达效果的预训练语言模型，可以比较准确的生成表征目标文本语义特征的语义向量，进而在系统冷启动时，即使没有数量较大的样本文本，也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别，从而提高了意图识别系统的准确度。

Description

一种文本的意图识别方法及装置
技术领域
本发明属于自然语言处理技术领域，特别是涉及一种文本的意图识别方法、装置、计算机设备及计算机可读存储介质。
背景技术
自然语言处理(Nature Language Processing，NLP)是语言学、计算机科学，以及人工智能相互作用的领域，在NLP中，对用户语句进行意图识别的意图识别技术，被广泛的应用在智能外呼、智能问答和搜索引擎等需要意图识别的系统中进行语义理解。
现有技术中，意图识别技术往往利用卷积神经网络(Convolutional NeuralNetworks，CNN)或者循环神经网络等深度神经网络(Recurrent Neural Network，RNN)来构造多分类算法，将用户语句输入经过预先训练的CNN/RNN模型中，从预设的多个意图种类中，通过意图识别确定与输入语句对应的意图类别，其中，预先训练CNN/RNN模型的过程，是利用大量的样本语料和人工标注的与样本语料对应的意图标签，对CNN/RNN模型进行预先训练，得到意图识别模型，从而利用意图识别模型对用户语句进行意图识别，具体的，通过输入层将输入的文本序列映射成字向量或词向量序列，再对该字向量或词向量序列进行特征抽取，转化为具有全局信息的低维稠密的语义向量，最终利用语义向量得到该输入语句所对应的意图类别。
但是，目前的方案中，由于在进行意图识别之前，需要利用大量的样本语料和对应的意图标签对CNN/RNN模型进行预先训练，因此，在样本语料和对应的意图标签数量较少时，比如，系统冷启动时，意图识别模型的精度较低，从而导致意图识别系统的准确度降低。
发明内容
有鉴于此，本发明提供一种文本的意图识别方法、装置、计算机设备及计算机可读存储介质，在一定程度上解决了目前方案中在样本语料和对应的意图标签数量较少时，比如，系统冷启动时，利用样本语料预先训练得到的意图识别模型的精度较低，从而导致意图识别系统的准确度降低的问题。依据本发明的第一方面，提供了一种文本的意图识别方法，包括：
获取目标文本，以及预先设置的多个文本意图类别；
将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量；
根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值；
根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别。
依据本发明的第二方面，提供了一种文本的意图识别装置，该装置可以包括：
第一获取模块，用于获取目标文本，以及预先设置的多个文本意图类别；
第一确定模块，用于将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量；
第二确定模块，用于根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值；
第三确定模块，用于根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别。
第三方面，本发明实施例提供了一种计算机设备，所述计算机设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如第一方面所述的文本的意图识别方法包括的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的文本的意图识别方法的步骤。
针对在先技术，本发明具备如下优点：
本发明提供的一种文本的意图识别方法，包括：获取目标文本，以及预先设置的多个文本意图类别；将目标文本输入预训练语言模型，确定目标文本对应的语义向量；根据语义向量，确定目标文本属于每个所述文本意图类别的概率值；根据目标文本属于每个文本意图类别的概率值，从多个文本意图类别中，确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想，使用NLP领域中已经经过海量数据预先训练，具有很好的语义表达效果的预训练语言模型，可以比较准确的生成表征目标文本语义特征的语义向量，进而在系统冷启动时，即使没有数量较大的样本文本，也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别，从而提高了意图识别系统的准确度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种文本的意图识别方法的步骤流程图；
图2是本发明实施例提供的一种文本意图识别系统的结构示意图；
图3是本发明实施例提供的另一种文本的意图识别方法的步骤流程图；
图4是本发明实施例提供的另一种文本意图识别系统的结构示意图；
图5是本发明实施例提供的一种文本的意图识别装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种文本的意图识别方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取目标文本，以及预先设置的多个文本意图类别。
在该步骤中，文本意图识别系统可以获取目标文本，以及预选设置的多个文本意图类别。
具体的，在将人工智能结合到电话外呼业务中得到的智能外呼机器人的实际应用中，智能外呼机器人可以主动外呼用户，通过先进的人工智能技术达到与用户无障碍的语音交流，并提供各种业务服务。其中，语义理解是智能外呼机器人最核心的功能之一，是对用户语句进行意图识别，具体的，是在智能外呼机器人预先设置的多个文本意图类别中确定用户语句对应的文本意图类别。
例如，若智能外呼机器人的文本意图识别系统预先设置有“听不清”、“肯定”、“否定”和“买保险步骤”四个文本意图类别，则智能外呼机器人在通过语音识别系统确定了用户语句对应的文本之后，可以通过文本意图识别系统从预设的四个文本意图类别选择出该文本所属的文本意图类别，从而确定用户的意图，并针对用户的意图进行相应的应答。例如，若识别到用户语句对应的文本为：“怎么买保险”，则智能外呼机器人可以通过文本意图识别系统确定该文本所属的文本意图类别为“买保险步骤”，从而智能外呼机器人可以针对用户的这一输入语句，为用户输出关于买保险步骤的相关业务规则；若识别到用户语句对应的文本为：“我没有听清楚”，则智能外呼机器人可以通过文本意图识别系统确定该文本所属的文本意图类别为“听不清”，从而智能外呼机器人可以针对用户的这一输入语句，为用户重复输出上一次语音输出。
步骤102、将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量。
在该步骤中，可以在获取到目标文本之后，将所述目标文本输入预训练语言模型中，以供预训练语言模型根据目标文本，进行语义识别，从而确定与所述目标文本对应的语义向量。
图2是本发明实施例提供的一种文本意图识别系统的结构示意图，如图2所示，智能外呼机器人在获取到目标文本之后，可以将所述目标文本输入文本意图识别系统中的输入层10，输入层10将所述目标文本转化成计算机模型可以识别和处理的文本向量的形式，并将所述文本向量输入预训练语言模型20中，预训练语言模型20输出与目标文本对应的语义向量。
其中，所述预训练语言模型是属于NLP领域的迁移学习的范畴，语言模型表示序列文本的联合概率分布，具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性，在实践中，如果文本的长度较长，概率分布P的估算会非常困难，因此，研究者们提出使用一个简化模型：n元模型，在n元模型中估算条件概率时，只需要对当前词的前n-1个词进行计算，一般采用频率计数的比例来估算n元条件概率，但是当n较大时，会存在数据稀疏问题，导致估算结果不准确。为了缓解n元模型估算概率时遇到的数据稀疏问题，研究者们提出了神经网络语言模型，该语言模型使用了一个三层前馈神经网络来进行建模，其中第一层参数，用作词表示不仅低维紧密，而且能够蕴涵语义，也就为现在大家都用的语义向量打下了基础。其实，语言模型就是根据上下文去预测下一个词是什么，这不需要人工标注语料，所以语言模型能够从无限制的大规模单语语料中，学习到丰富的语义知识。
目前，神经网络在进行训练的时候基本都是基于后向传播算法，通过对网络模型参数进行随机初始化，然后通过后向传播算法去优化模型参数，而预训练的思想就是，该模型的参数不再是随机初始化，而是先有一个任务进行训练得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。即预训练的本质是模型参数不再是随机初始化，而是通过一些任务(如语言模型)进行预训练。
由于预训练语言模型具有非常复杂的模型结构，并且在事先就在海量数据上进行了大量的预训练，因此，预训练语言模型往往具有很好的语义表达效果。基于迁移学习的思想，在系统进行冷启动等只具有数量较少的样本语句和标注的情况下，可以直接使用预训练语言模型进行语义识别和表征，从而提高文本的语义识别过程的准确度，进而提高文本意图识别过程的准确度。
此外，在本发明实施例中，所述预训练语言模型可以是经过微调训练后得到的语言模型，即在系统进行冷启动时，利用可以获取到的数量较少的样本对预训练语言模型进行微调训练，采用样本训练集中的样本文本以及对应的意图标签，对预训练语言模型的参数和结构等进行微调，使得微调训练后的预训练语言模型更加贴近本发明中的任务，从而使得利用微调训练后的预训练语言模型可以获得质量较好的语义向量，进而提高包含预训练语言模型的文本意图识别系统的精度。
需要说明的是，所述预训练语言模型可以为基于transformers的双向编码器表征(Bidirectional Encoder Representations from Transformers，BERT)，BERT模型不同层学习到的信息不同，较深层所学习到的语义向量具有更好的语义表征性，但倒数第一层由于太靠近模型的输出层，容易受输出标签的影响，因此权衡两者，本发明中文本意图识别系统的预训练语言模型采用倒数第二层的隐含层输出向量，并将高维的输出向量进行平均获得语义向量，公式如下所示：
其中，T为文本意图类别的数量，Ct为预训练语言模型倒数第二层的隐含层输出向量，在将目标文本输入预训练语言模型之后，预训练语言模型倒数第二层的隐含层会输出数量为T的输出向量，因此，需要对输出向量进行平均处理，最终获得语义向量。
步骤103、根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值。
在该步骤中，在确定目标文本对应的语义向量之后，可以进一步根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值。
参照图2，文本意图识别系统中的预训练语言模型20输出与目标文本对应的语义向量之后，将所述语义向量输入适当神经元数目的全连接层30，全连接层30可以对该语义向量进行全连接处理和归一化处理，从而获得目标文本属于每个所述文本意图类别的概率值。
具体的，可以将目标文本的意图识别过程看作一个文本的多分类任务，因此，只需通过适当神经元数目的全连接层隐含层，在多个预先设置的多个文本意图类别中，确定所述目标文本属于各个文本意图类别的概率值，从而在多个文本意图类别中，确定出与目标文本对应的目标文本意图类别。
进一步的，将全连接层隐含层输出的多分类输出，利用softmax函数进行归一化，即可获得目标文本属于各个文本意图类别的概率值。具体的，可以根据以下公式获得目标文本属于各个文本意图类别的概率值：
P＝softmax(X×WT+b)
其中，X为最后一个隐含层的输出向量，W为隐含层和输出层之间的权重矩阵，WT为权重矩阵W的转置矩阵，b为输出层的偏置量。
步骤104、根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别。
在该步骤中，可以根据目标文本属于每个所述文本意图类别的概率值，从而在预先设置的多个文本意图类别中，确定与目标文本对应的目标文本意图类别。
参照图2，文本意图识别系统中的全连接层30输出目标文本属于每个所述文本意图类别的概率值之后，将所述目标文本属于每个所述文本意图类别的概率值输入文本意图识别系统的输出层40，输出层40可以根据目标文本属于每个所述文本意图类别的概率值，从而在预先设置的多个文本意图类别中，确定与目标文本对应的目标文本意图类别。
具体的，若确定目标文本属于每个所述文本意图类别的概率值分别为：P1、P2、P3、...、Pk，可以进一步将概率值进行大小排序，确定其中的最大值Pmax，并将与Pmax对应的文本意图类别确定为目标文本意图类别。
进一步的，还可以预先设置概率值阈值Pthreshold，在从目标文本与每个所述文本意图类别的概率值中确定了Pmax之后，可以进一步判断Pmax与Pthreshold的大小，若pmax≥pthreshold，则将与Pmax对应的文本意图类别确定为目标文本意图类别，若pmax<pthreshold，则输出“OOD意图”类别，表示目标文本未被系统设计的意图类别所覆盖。
综上所述，本发明实施例提供的一种文本的意图识别方法，包括：获取目标文本，以及预先设置的多个文本意图类别；将目标文本输入预训练语言模型，确定目标文本对应的语义向量；根据语义向量，确定目标文本属于每个所述文本意图类别的概率值；根据目标文本属于每个文本意图类别的概率值，从多个文本意图类别中，确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想，使用NLP领域中已经经过海量数据预先训练，具有很好的语义表达效果的预训练语言模型，可以比较准确的生成表征目标文本语义特征的语义向量，进而在系统冷启动时，即使没有数量较大的样本文本，也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别，从而提高了意图识别系统的准确度。
图3是本发明实施例提供的另一种文本的意图识别方法的步骤流程图，如图3所示，该方法可以包括：
步骤201、获取多个样本文本，以及与所述样本文本对应的文本意图标签。
在该步骤中，需要利用样本文本以及与所述样本文本对应的文本意图标签，对文本意图识别系统进行预先训练，从而使得文本意图识别系统能够在识别用户语句时具有较高的准确度。
具体的，可以先获取多个样本文本，以及与所述样本文本对应的文本意图标签。
需要说明的是，在系统进行冷启动等情况下，只能获取数量较少的样本文本和对应的文本意图标签，因此，利用数量较少的样本文本和对应的文本意图标签对文本意图识别系统进行预先训练，使得训练后得到的文本意图识别系统的精度较低，不能很准确的判断用户语句的真实意图，导致智能外呼机器人的文本意图识别系统的准确度较低。
因此，在本发明实施例中，可以通过预训练语言模型进行样本增强，利用获取到的数量较少的样本文本，生成增强文本，再利用样本文本和增强文本共同对文本意图识别系统进行预先训练，使得用于训练文本意图识别系统的样本数量增加，从而可以提高文本意图识别系统的精度，进而提高智能外呼机器人的文本意图识别系统的准确度，使得智能外呼机器人可以准确的判断用户语句的真实意图，从而针对用户语句执行相应的业务操作。
其中，所述样本文本可以是多个用户语句对应的文本内容，所述样本文本对应的文本意图标签是该用户语句对应的用户意图，例如，样本文本为“怎么买保险”，该样本文本对应的文本意图标签为“买保险步骤”；样本文本为“是的”，该样本文本对应的文本意图标签为“肯定”；样本文本为“不是”，该样本文本对应的文本意图标签为“否定”；样本文本为“我没有听清楚”，该样本文本对应的文本意图标签为“听不清”。
在本发明实施例中，可以将获取到的多个样本文本分为两个集合：训练集和测试集，所述训练集中的样本文本用于训练文本意图识别系统，所述测试集中的样本文本用于在训练文本意图识别系统的过程中，按照一定的训练步长定时验证文本意图识别系统的训练效果，防止文本意图识别系统的训练发生过拟合现象。
步骤202、根据所述多个样本文本和所述文本意图标签，对所述预训练语言模型进行微调训练。
在该步骤中，可以根据获取到的多个样本文本和所述文本意图标签，对所述预训练语言模型进行微调训练，从而使得利用微调训练后的预训练语言模型可以获得质量较好的语义向量。
具体的，可以利用训练集中的样本文本以及对应的意图标签，对预训练语言模型的参数和结构等进行微调训练，使得该预训练语言模型可以更加贴近本发明中的任务，提高包含预训练语言模型的文本意图识别系统的精度。
需要说明的是，本步骤中对预训练语言模型进行的微调训练，即为步骤201中所述对文本意图识别系统进行预先训练的一部分。
在本发明实施例中，在获取到多个样本文本和所述文本意图标签之后，需要将文本格式的样本文本，转化成计算机模型可以识别和处理的文本向量的形式，再将样本文本以文本向量的形式导入预训练语言模型，进行微调训练。
具体的，首先将获得的样本文本，根据预训练语言模型在预训练时建立的字符，转化成tokens数组格式，其中，所述预训练语言模型在预训练时建立的字符包括：[CLS]字符、[SEP]字符和[PAD]字符，所述[CLS]字符表示tokens数组的第一个字符，[SEP]字符表示tokens数组的最后一个字符，[PAD]字符表示在将样本文本转化成长度相同的tokens数组时的占位字符。
例如，若样本文本为“怎么买保险”，预先设定的数组长度为10，则该样本文本对应的tokens数组为[[CLS]怎么买保险[SEP][PAD][PAD][PAD]]。
进一步的，可以将目标文本对应的tokens数组，根据预训练语言模型在预训练时建立的包括字符与数字id之间映射关系的映射字典，转化成文本向量的形式，所述文本向量包括：token_id，segment_id和input_mask。
其中，所述token_id用于标识tokens数组中每个字符对应的id，segment_id用于在目标文本包含分割的两个句子时，标识目标文本中两个句子的分割，input_mask用于标识tokens数组中的字符是否为占位字符[PAD]。
例如，若tokens数组为[[CLS]怎么买保险[SEP][PAD][PAD][PAD]]，则通过查询字符与数字id之间映射关系的映射字典，确定tokens数组中每一个字符对应的数字id，进而生成目标文本对应的token_id。
进一步的，若tokens数组中的分割字符对应的数字id为1，非分割字符对应的数字id为0，则tokens数组：[[CLS]怎么买保险[SEP][PAD][PAD][PAD]]对应的segment_id为[0,0,0,0,0,0,0,0,0,0]。
进一步的，若tokens数组中的占位字符[PAD]对应的数字id为0，非占位字符[PAD]对应的数字id为1，则tokens数组：[[CLS]怎么买保险[SEP][PAD][PAD][PAD]]对应的input_mask为[1,1,1,1,1,1,1,0,0,0]。
具体的，在利用样本文本的文本向量的对预训练语言模型进行微调训练的过程中，可以在预训练语言模型的第一个标签位置，即字符[CLS]的位置输出语义向量，并接上适当神经元数目的全连接层隐含层和输出层，既可以得到最终的样本文本的文本意图类别，该样本文本意图类别应与样本文本对应的文本意图标签一致，从而实现预训练语言模型的微调训练。
在本发明实施例中，将全连接层隐含层的输出，利用softmax函数进行归一化，即可获得样本文本属于多个预先设置的文本意图类别的概率值。具体的，可以根据以下公式获得：
P＝softmax(X×WT+b)
其中，X为最后一个隐含层的输出向量，W为隐含层和输出层之间的权重矩阵，WT为权重矩阵W的转置矩阵，b为输出层的偏置量。
进一步的，训练上述预训练语言模型的损失函数采用交叉熵损失，公式如下所示：
其中，K是文本意图类别的数量，yi为第i个文本意图类别，pi为样本文本属于第i个文本意图类别的概率值，N是样本文本的数量。
最后，可以利用样本文本中的测试集按照一定的训练步长定时验证预训练语言模型的微调训练效果，检测预训练语言模型对测试集样本文本的预测准确率，当第若干次在测试集样本文本上的准确率未提升后，可停止微调训练过程，保存此时的文本意图识别系统中的预训练语言模型的模型结构和参数，完成预训练语言模型的微调训练，获得微调训练后的预训练语言模型。
步骤203、根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签。
在该步骤中，可以根据得到的多个样本文本，以及与所述样本文本对应的文本意图标签，利用微调训练后的预训练语言模型，获取增强文本以及与所述增强文本对应的文本意图标签，从而可以利用样本文本和增强文本进一步训练文本意图识别系统中的全连接层，使得用于训练全连接层的文本数量增加，进而可以获得更准确的模型参数，从而提高利用全连接层确定目标文本对应的目标文本意图类别的准确度。
可选的，步骤203具体可以包括以下子步骤：
子步骤2031、获取具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k。
在该步骤中，可以在样本文本中获取具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k。
例如，在样本文本中，可以将具有文本意图标签“买保险步骤”的三个样本文本“怎么买保险”、“我想买保险”和“买保险需要哪些步骤”，分别确定为样本文本i、样本文本j，以及样本文本k。
子步骤2032、将所述样本文本i、样本文本j，以及样本文本k输入所述预训练语言模型，确定与所述样本文本i对应的语义向量Ci，与所述样本文本j对应的语义向量Cj，以及与所述样本文本k对应的语义向量Ck。
在该步骤中，可以将具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k输入经过微调训练的预训练语言模型中，从而获得与样本文本i对应的语义向量Ci，与所述样本文本j对应的语义向量Cj，以及与所述样本文本k对应的语义向量Ck。
子步骤2033、通过以下公式计算所述增强文本：
增强文本对应的语义向量C＝Ci+α(Cj-Ck)，
其中，α为大于0，且小于1的随机数。
在该步骤中，可以根据以下公式，利用语义向量Ci、语义向量Cj和语义向量Ck，生成新的语义向量C，从而将该语义向量C确定为增强文本对应的语义向量：
C＝Ci+α(Cj-Ck)，
其中，α为大于0，且小于1的随机数，在该公式中，Cj-Ck可以表征具有相同文本意图标签的两个样本文本之间的特征差异，再将该特征差异与另一个具有相同文本意图标签的样本文本对应的语义向量Ci进行加和，即可以生成另一个也具有该文本意图标签的新的样本文本对应的语义向量，同时，在进行结合之前，可以利用大于0，且小于1的随机数值对Cj-Ck进行扰动处理，从而可以根据α取值的不同，得到多个新的样本文本，并将这些新的样本文本确定为增强文本。
例如，若α为0.2，则可以得到一个新的样本文本，该样本文本对应的语义向量C1＝Ci+0.2(Cj-Ck)；若α为0.5，则可以得到另一个新的样本文本，该样本文本对应的语义向量C2＝Ci+0.5(Cj-Ck)；若α为0.8，则可以继续得到另一个新的样本文本，该样本文本对应的语义向量C3＝Ci+0.8(Cj-Ck)。从而可以在不增加原有的样本文本数量的情况下，利用原有的样本文本，进行样本增强，获取增强文本，并利用原有的样本文本和新增的增强文本训练文本意图识别系统，使得在系统冷启动时，即在没有较大数量的样本文本的条件下，也可以通过对样本文本进行增强处理，从而增加训练文本意图识别系统的样本的数量，使得文本意图识别系统的准确度提高。
子步骤2034、将所述相同文本意图标签确定为与所述增强文本对应的文本意图标签。
在该步骤中，将上述相同文本意图标签确定为增强文本对应的文本意图标签。
具体的，利用具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k，确定增强样本时，将样本文本i、样本文本j，以及样本文本k具有的相同文本意图标签，也确定为增强样本对应的文本意图标签。
步骤204、利用所述样本文本和所述增强文本，以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签，预先训练所述全连接层。
在该步骤中，可以利用原有的样本文本，和与样本文本对应的文本意图标签，以及新增的增强文本，和与增强文本对应的文本意图标签，共同进行文本意图识别系统全连接层的预先训练。
在本发明实施例中，对预先训练所述全连接层的具体过程，可以是利用样本文本和所述增强文本，以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签，对文本意图识别系统进行预先训练，即在对全连接层进行预先训练同时，也可以利用原有的样本文本，和与样本文本对应的文本意图标签，以及新增的增强文本，和与增强文本对应的文本意图标签，对经过微调训练的预训练语言模型进行进一步的训练。
具体的，将原有的样本文本输入文本意图识别系统的输入层，获得样本文本对应的文本向量，再将文本向量传入经过微调训练的预训练语言模型，得到样本文本对应的语义向量，进一步将语义向量传入后续的全连接层隐含层和输出层，即可以获得最终的多分类输出概率值，确定该样本文本的意图类别。而经过数据增强后获得的增强文本，由于数据增强过程中获得的是增强文本对应的语义向量，因此，可以直接将增强文本对应的语义向量输入全连接层隐含层和输出层，即可以直接获得与该增强文本匹配的文本意图类别。
最后，同样可以利用样本文本中的测试集按照一定的训练步长定时验证文本意图识别系统的预先训练效果，检测文本意图识别系统对测试集样本文本的预测准确率，当第若干次在测试集样本文本上的准确率未提升后，可停止预先训练过程，保存此时的文本意图识别系统的结构和参数，完成文本意图识别系统的预先训练，获得预先训练后的文本意图识别系统。
步骤205、获取目标文本，以及预先设置的多个文本意图类别。
该步骤具体可以参照上述步骤101，此处不再赘述。
步骤206、将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量。
该步骤具体可以参照上述步骤102。
但是，需要说明的是，该步骤中的所述预训练语言模型可以是经过微调训练，或经过微调训练和预先训练后的预训练语言模型。
可选的，所述预训练语言模型包括：BERT、OpenAIGPT和ELMo中的任一一种。
可选的，在所述预训练语言模型包含N个隐含层，N为大于2的整数的情况下，步骤206具体可以包括以下子步骤：
子步骤2061、将所述目标文本输入所述预训练语言模型。
在该步骤中，可以在获取到目标文本之后，将所述目标文本输入预训练语言模型中，以供预训练语言模型根据目标文本，进行语义识别，从而确定与所述目标文本对应的语义向量。
子步骤2062、将所述预训练语言模型第N-1个隐含层输出的语义向量，确定为所述目标文本对应的语义向量。
在该步骤中，预训练语言模型根据目标文本，进行语义识别，从而确定与所述目标文本对应的语义向量的具体过程，是当预训练语言模型包含N个隐含层时，将第N-1个隐含层输出的语义向量，确定为所述目标文本对应的语义向量。
具体的，预训练语言模型不同层学习到的信息不同，较深层所学习到的语义向量具有更好的语义表征性，但倒数第一层由于太靠近模型的输出层，容易受输出标签的影响，因此权衡两者，本发明中文本意图识别系统的预训练语言模型将倒数第二层，即第N-1个隐含层输出的语义向量，确定为所述目标文本对应的语义向量。
步骤207、将所述语义向量输入经过预先训练的全连接层，进行全连接处理和归一化处理，得到所述目标文本属于每个所述文本意图类别的概率值。
在该步骤中，在确定目标文本对应的语义向量之后，可以进一步将语义向量输入经过预先训练的全连接层，以供全连接层对目标文本的语义向量进行全连接处理和归一化处理，从而得到所述目标文本属于每个文本意图类别的概率值。
图4是本发明实施例提供的另一种文本意图识别系统的结构示意图，如图4所示，在将输入层10生成的目标文本对应的文本向量输入微调训练后的预训练语言模型21中，微调训练后的预训练语言模型21可以输出与目标文本对应的语义向量，进一步将生成的语义向量输入经过预先训练的全连接层31，全连接层31可以对该语义向量进行全连接处理和归一化处理，从而获得目标文本属于每个所述文本意图类别的概率值。
步骤208、根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别。
在该步骤中，可以根据目标文本属于每个所述文本意图类别的概率值，从而在预先设置的多个文本意图类别中，确定与目标文本对应的目标文本意图类别。
参照图4，文本意图识别系统中的经过预先训练的全连接层31输出目标文本属于每个所述文本意图类别的概率值之后，将所述目标文本属于每个所述文本意图类别的概率值输入文本意图识别系统的输出层40，输出层40可以根据目标文本属于每个所述文本意图类别的概率值，从而在预先设置的多个文本意图类别中，确定与目标文本对应的目标文本意图类别。
具体的，在预先设置的多个文本意图类别中，确定与目标文本对应的目标文本意图类别的步骤具体可以参照上述步骤104，此处不再赘述。
综上所述，本发明实施例提供的一种文本的意图识别方法，包括：获取目标文本，以及预先设置的多个文本意图类别；将目标文本输入预训练语言模型，确定目标文本对应的语义向量；根据语义向量，确定目标文本属于每个所述文本意图类别的概率值；根据目标文本属于每个文本意图类别的概率值，从多个文本意图类别中，确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想，使用NLP领域中已经经过海量数据预先训练，具有很好的语义表达效果的预训练语言模型，可以比较准确的生成表征目标文本语义特征的语义向量，进而在系统冷启动时，即使没有数量较大的样本文本，也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别，从而提高了意图识别系统的准确度。
此外，可以利用微调训练之后的预训练语言模型对原有的样本文本进行增强处理，获取增强文本，并利用原有的样本文本和新增的增强文本训练文本意图识别系统，使得在系统冷启动时，即在没有较大数量的样本文本的条件下，也可以通过对样本文本进行增强处理，从而增加训练文本意图识别系统的样本的数量，使得文本意图识别系统的准确度提高。
图5是本发明实施例提供的一种文本的意图识别装置的框图，如图5所示，该装置可以包括：
第一获取模块301，用于获取目标文本，以及预先设置的多个文本意图类别；
第一确定模块302，用于将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量；
第二确定模块303，用于根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值；
第三确定模块304，用于根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别。
可选的，所述第二确定模块303，包括：
生成子模块，用于将所述语义向量输入经过预先训练的全连接层，进行全连接处理和归一化处理，得到所述目标文本属于每个所述文本意图类别的概率值。
可选的，所述装置还包括：
第二获取模块，用于获取多个样本文本，以及与所述样本文本对应的文本意图标签；
第三获取模块，用于根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签；
训练模块，用于利用所述样本文本和所述增强文本，以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签，预先训练所述全连接层。
可选的，所述第三获取模块，包括：
获取子模块，用于获取具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k；
第一确定子模块，用于将所述样本文本i、样本文本j，以及样本文本k输入所述预训练语言模型，确定与所述样本文本i对应的语义向量Ci，与所述样本文本j对应的语义向量Cj，以及与所述样本文本k对应的语义向量Ck；
计算子模块，用于通过以下公式计算所述增强文本：
增强文本对应的语义向量C＝Ci+α(Cj-Ck)，
其中，α为大于0，且小于1的随机数；
第二确定子模块，用于将所述相同文本意图标签确定为与所述增强文本对应的文本意图标签。
可选的，所述预训练语言模型包含N个隐含层，N为大于2的整数，
第一确定模块302，包括：
输入子模块，用于将所述目标文本输入所述预训练语言模型；
第三确定子模块，用于将所述预训练语言模型第N-1个隐含层输出的语义向量，确定为所述目标文本对应的语义向量。
可选的，所述装置还包括：
第四获取模块，用于获取多个样本文本，以及与所述样本文本对应的文本意图标签；
微调模块，用于根据所述多个样本文本和所述文本意图标签，对所述预训练语言模型进行微调训练。
可选的，所述预训练语言模型包括：BERT、OpenAIGPT和ELMo中的任一一种。
综上所述，本发明实施例提供的一种文本的意图识别装置，包括：获取目标文本，以及预先设置的多个文本意图类别；将目标文本输入预训练语言模型，确定目标文本对应的语义向量；根据语义向量，确定目标文本属于每个所述文本意图类别的概率值；根据目标文本属于每个文本意图类别的概率值，从多个文本意图类别中，确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想，使用NLP领域中已经经过海量数据预先训练，具有很好的语义表达效果的预训练语言模型，可以比较准确的生成表征目标文本语义特征的语义向量，进而在系统冷启动时，即使没有数量较大的样本文本，也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别，从而提高了意图识别系统的准确度。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
优选的，本发明实施例还提供一种计算机设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述文本的意图识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述文本的意图识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的文本的意图识别方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文本的意图识别方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种文本的意图识别方法，其特征在于，所述方法包括：
获取目标文本，以及预先设置的多个文本意图类别；
将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量；
根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值；所述概率值是由所述预训练语言模型的全连接层根据所述语义向量得到的；
根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别；
所述全连接层是通过如下步骤训练的：获取多个样本文本，以及与所述样本文本对应的文本意图标签；根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签；利用所述样本文本和所述增强文本，以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签，预先训练所述全连接层；
所述根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签的步骤，包括：
获取具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k；
将所述样本文本i、样本文本j，以及样本文本k输入所述预训练语言模型，确定与所述样本文本i对应的语义向量Ci，与所述样本文本j对应的语义向量Cj，以及与所述样本文本k对应的语义向量Ck；
通过以下公式计算所述增强文本：
增强文本对应的语义向量C＝Ci+α(Cj-Ck)，
其中，α为大于0，且小于1的随机数；
将所述相同文本意图标签确定为与所述增强文本对应的文本意图标签。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值的步骤，包括：
将所述语义向量输入经过预先训练的全连接层，进行全连接处理和归一化处理，得到所述目标文本属于每个所述文本意图类别的概率值。
3.根据权利要求1所述的方法，其特征在于，所述预训练语言模型包含N个隐含层，N为大于2的整数，
所述将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量的步骤，包括：
将所述目标文本输入所述预训练语言模型；
将所述预训练语言模型第N-1个隐含层输出的语义向量，确定为所述目标文本对应的语义向量。
4.根据权利要求1所述的方法，其特征在于，在所述将所述目标文本输入预训练语言模型的步骤之前，所述方法还包括：
获取多个样本文本，以及与所述样本文本对应的文本意图标签；
根据所述多个样本文本和所述文本意图标签，对所述预训练语言模型进行微调训练。
5.根据权利要求1所述的方法，其特征在于，所述预训练语言模型包括：BERT、OpenAIGPT和ELMo中的任一种。
6.一种文本的意图识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标文本，以及预先设置的多个文本意图类别；
第一确定模块，用于将所述目标文本输入预训练语言模型，确定所述目标文本对应的语义向量；
第二确定模块，用于根据所述语义向量，确定所述目标文本属于每个所述文本意图类别的概率值；所述概率值是由所述预训练语言模型的全连接层根据所述语义向量得到的；
第三确定模块，用于根据所述目标文本属于每个所述文本意图类别的概率值，从所述多个文本意图类别中，确定与所述目标文本对应的目标文本意图类别；
所述全连接层是通过如下步骤训练的：获取多个样本文本，以及与所述样本文本对应的文本意图标签；根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签；利用所述样本文本和所述增强文本，以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签，预先训练所述全连接层；
所述根据所述多个样本文本，以及与所述样本文本对应的文本意图标签，获取增强文本，以及与所述增强文本对应的文本意图标签，包括：
获取具有相同文本意图标签的样本文本i、样本文本j，以及样本文本k；
将所述样本文本i、样本文本j，以及样本文本k输入所述预训练语言模型，确定与所述样本文本i对应的语义向量Ci，与所述样本文本j对应的语义向量Cj，以及与所述样本文本k对应的语义向量Ck；
通过以下公式计算所述增强文本：
增强文本对应的语义向量C＝Ci+α(Cj-Ck)，
其中，α为大于0，且小于1的随机数；
将所述相同文本意图标签确定为与所述增强文本对应的文本意图标签。
7.一种计算机设备，其特征在于，所述计算机设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1至5中任一所述的文本的意图识别方法包括的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的文本的意图识别方法。
CN202010654023.XA 2020-07-08 2020-07-08 一种文本的意图识别方法及装置 Active CN111931513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654023.XA CN111931513B (zh) 2020-07-08 2020-07-08 一种文本的意图识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654023.XA CN111931513B (zh) 2020-07-08 2020-07-08 一种文本的意图识别方法及装置

Publications (2)

Publication Number Publication Date
CN111931513A CN111931513A (zh) 2020-11-13
CN111931513B true CN111931513B (zh) 2023-11-14

Family

ID=73312676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654023.XA Active CN111931513B (zh) 2020-07-08 2020-07-08 一种文本的意图识别方法及装置

Country Status (1)

Country Link
CN (1) CN111931513B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487823A (zh) * 2020-11-18 2021-03-12 广东电力信息科技有限公司 一种基于bert模型的文本语义相似度计算方法
CN112560458A (zh) * 2020-12-09 2021-03-26 杭州艾耕科技有限公司 基于端到端深度学习模型的文章标题生成方法
CN112466288B (zh) * 2020-12-18 2022-05-31 北京百度网讯科技有限公司 语音识别方法、装置、电子设备及存储介质
CN113326351A (zh) * 2021-06-17 2021-08-31 湖北亿咖通科技有限公司 一种用户意图确定方法及装置
CN113806542B (zh) * 2021-09-18 2024-05-17 上海幻电信息科技有限公司 文本分析方法及系统
CN114218381B (zh) * 2021-12-08 2022-08-30 北京中科闻歌科技股份有限公司 立场识别方法、装置、设备及介质
CN114398903B (zh) * 2022-01-21 2023-06-20 平安科技（深圳）有限公司 意图识别方法、装置、电子设备及存储介质
CN114676689A (zh) * 2022-03-09 2022-06-28 青岛海尔科技有限公司 语句文本的识别方法和装置、存储介质及电子装置
CN114757176B (zh) * 2022-05-24 2023-05-02 上海弘玑信息技术有限公司 一种获取目标意图识别模型的方法以及意图识别方法
CN114996422A (zh) * 2022-05-30 2022-09-02 北京京东方技术开发有限公司 指令识别方法及装置、训练方法、计算机可读存储介质
CN114818644B (zh) * 2022-06-27 2022-10-04 北京云迹科技股份有限公司 文本模板生成方法、装置、设备及存储介质
CN115099242B (zh) * 2022-08-29 2022-11-15 江西电信信息产业有限公司 意图识别方法、系统、计算机及可读存储介质
CN116738973B (zh) * 2022-09-30 2024-04-19 荣耀终端有限公司 一种搜索意图识别方法、构建预测模型的方法和电子设备
CN116364055B (zh) * 2023-05-31 2023-09-01 中国科学院自动化研究所 基于预训练语言模型的语音生成方法、装置、设备及介质
CN118133844B (zh) * 2024-05-07 2024-07-16 浙江大学 一种大语言模型隐含语义识别能力的评估方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224512A (ja) * 2015-05-27 2016-12-28 株式会社日立製作所 意思決定支援システム及び意思決定支援方法
CN110163241A (zh) * 2019-03-18 2019-08-23 腾讯科技（深圳）有限公司 数据样本生成方法、装置、计算机设备及存储介质
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224512A (ja) * 2015-05-27 2016-12-28 株式会社日立製作所 意思決定支援システム及び意思決定支援方法
CN110163241A (zh) * 2019-03-18 2019-08-23 腾讯科技（深圳）有限公司 数据样本生成方法、装置、计算机设备及存储介质
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111931513A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931513B (zh) 一种文本的意图识别方法及装置
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN109543039B (zh) 一种基于深度网络的自然语言情感分析方法
CN111914551B (zh) 自然语言处理方法、装置、电子设备及存储介质
CN111783462A (zh) 基于双神经网络融合的中文命名实体识别模型及方法
CN113987209A (zh) 基于知识指导前缀微调的自然语言处理方法、装置、计算设备和存储介质
CN108829662A (zh) 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN110633359B (zh) 语句等价性判断方法和装置
CN110210035B (zh) 序列标注方法、装置及序列标注模型的训练方法
CN111695335A (zh) 一种智能面试方法、装置及终端设备
CN115393933A (zh) 一种基于帧注意力机制的视频人脸情绪识别方法
KR20230171234A (ko) 사용자 참여 기반의 질의응답 서비스 제공방법 및 이를 위한 장치
CN110597968A (zh) 一种回复选择方法及装置
Luo et al. EmotionX-DLC: self-attentive BiLSTM for detecting sequential emotions in dialogue
CN117875395A (zh) 多模态预训练模型的训练方法、装置及存储介质
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN111914553A (zh) 一种基于机器学习的金融信息负面主体判定的方法
CN115563290A (zh) 一种基于语境建模的智能情感识别方法
CN113486174A (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN116821339A (zh) 滥用语言检测方法、装置及存储介质
CN112417118A (zh) 一种基于标记文本和神经网络的对话生成方法
CN116306869A (zh) 训练文本分类模型的方法、文本分类方法及对应装置
CN114154517B (zh) 一种基于深度学习的对话质量评估方法及系统
CN113761935B (zh) 一种短文本语义相似度度量方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant