CN114722153A - 一种意图分类的方法和装置 - Google Patents

一种意图分类的方法和装置 Download PDF

Info

Publication number
CN114722153A
CN114722153A CN202210397779.XA CN202210397779A CN114722153A CN 114722153 A CN114722153 A CN 114722153A CN 202210397779 A CN202210397779 A CN 202210397779A CN 114722153 A CN114722153 A CN 114722153A
Authority
CN
China
Prior art keywords
enhanced
sentence
statement
keywords
intention classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210397779.XA
Other languages
English (en)
Inventor
邓勇
马宝昌
陈亮宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shell Housing Network Beijing Information Technology Co Ltd
Original Assignee
Shell Housing Network Beijing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shell Housing Network Beijing Information Technology Co Ltd filed Critical Shell Housing Network Beijing Information Technology Co Ltd
Priority to CN202210397779.XA priority Critical patent/CN114722153A/zh
Publication of CN114722153A publication Critical patent/CN114722153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种意图分类的方法和装置，其中，所述方法包括：将待增强语句抽取关键词；将关键词进行掩盖处理得到处理后的待增强语句，将处理后的待增强语句输入意图分类模型得到多个增强预测语句；通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型通过初始样本语句执行训练任务得到，训练任务包括基于初始样本语句的词语掩盖预测任务以及基于标注语句的意图分类任务，从而提高意图分类模型的鲁棒性，进而提升模型的识别性能。

Description

一种意图分类的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种意图分类的方法和装置、存储介质以及计算机程序产品。
背景技术
意图识别能力是对话机器人的重要程度的体现，意图识别本质是个多分类问题，将待识别的文字输入至意图识别模型中，输出为某个特定的意图。
意图识别模型的识别能力决定了意图识别结果的优劣。目前，对于意图识别模型的训练语料主要是通过对收集到的人机对话语料进行人工的标注，得到一批标准的训练数据，再利用标注好的训练数据训练得到意图识别模型。
由于现有技术中的语料过多地依赖人工标注，标注资源成本比较高，且容易导致文本语义的变化，进而影响意图识别模型的识别性能。
发明内容
本发明提供一种意图分类的方法和装置、存储介质以及计算机程序产品，用以解决现有技术中人工标注导致标注资源成本比较高，且容易导致文本语义变化，影响意图识别模型的识别性能的缺陷。
本发明提供一种意图分类的方法，包括：
将待增强语句抽取关键词；
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
根据本发明提供的一种意图分类的方法，将待增强语句抽取关键词，包括：
将所述待增强语句进行词语分割，得到多个词语；
构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词；
或
将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；
确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
根据本发明提供的一种意图分类的方法，将所述关键词进行掩盖处理得到处理后的待增强语句，包括：
确定每个所述关键词包括的字单元个数；
设置不同字单元个数对应的关键词的掩盖比例；
基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
根据本发明提供的一种意图分类的方法，基于所述初始样本语句的词语掩盖预测任务对所述意图分类模型进行训练，包括：
对所述初始样本语句抽取样本关键词；
将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句；
确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度；
基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件；其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值。
根据本发明提供的一种意图分类的方法，将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，包括：
确定每个所述样本关键词包括的字单元个数；
设置不同字单元个数对应的样本关键词的掩盖比例；
基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
根据本发明提供的一种意图分类的方法，基于所述标注语句的意图分类任务对所述意图分类模型进行训练，包括：
通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
根据本发明提供的一种意图分类的方法，所述第一评估函数包括：
T＝Min(J(A1,B1))+Max(Sim(A1,B1))
其中，J(A1,B1)为待增强语句A1和所述增强预测语句B1的内容差异度；
Figure BDA0003598253160000041
Sim(A1,B1)为待增强语句A1和所述增强预测语句B1的语义相似度；
Figure BDA0003598253160000042
本发明还提供一种意图分类的装置，包括：
抽取模块，用于将待增强语句抽取关键词；
增强预测模块，用于将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
评估模块，用于通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
意图分类模块，用于将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述意图分类的方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述意图分类的方法的步骤。
本发明提供的意图分类的方法和装置，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的意图分类的方法的流程示意图之一；
图2是本发明提供的意图分类的方法的流程示意图之二；
图3是本发明的意图分类模型的训练方法的流程示意图；
图4是本发明提供的意图分类的方法的流程示意图之三；
图5是本发明提供的方法中生成增强预测语句的示意图；
图6是本发明提供的意图分类的装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明实施例的意图分类的方法。
本发明实施例公开了一种意图分类的方法，参见图1，包括：
101、将待增强语句抽取关键词。
首先，对本实施例中提到的增强任务进行解释。
文本增强，指的是通过输入的一种意图的文本，生成一个能表示相同意图但是内容上面存在比较大点的差异的文本，这样能够让意图识别模型学习到这种差异，提高意图分类模型的鲁棒性。
例如输入的文本为“今天天气如何”，通过文本增强任务，可以生成的增强文本为“今天气象如何”。
本实施例中，待增强语句可以为一个，也可以为多个，例如输入的一篇文章，文章包括多个语句。
其中，抽取关键词的方法有多种，例如：
一种方式下，将所述待增强语句进行词语分割，得到多个词语；构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词。
以PageRank方法为例，其原理参见以下公式(1)：
PR(A)＝(1-d)+d(PR(T1)/C(T1)+……+PR(Tn)/C(Tn)) (1)
其中，PR(A)为词语A的PR值，在本实施例中可以为排序值；
PR(Ti)为词语Ti的PR值；其中，词语Ti是与词语A有关联的任一词语；其中，i＝1至n。
C(Ti)是词语Ti的出度，也即词语Ti指向其他词语的边的个数；其中，i＝1至n。
d为阻尼系数。
另一种方式下，抽取关键词的方法可以包括：将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
最终的结果，可以将上述两种方式取并集，得到最终的关键词。
102、将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句。
具体地，参见图2，步骤102中将所述关键词进行掩盖处理得到处理后的待增强语句，包括：
201、确定每个所述关键词包括的字单元个数。
202、确定不同字单元个数对应的关键词的掩盖比例。
203、基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
本实施例中，针对部分关键词执行N-Gram mask任务，例如一种方式下，确定包括1个字单元的关键词的掩盖比例为0.3，2个字单元的关键词的掩盖比例为0.4，3个字单元的关键词的掩盖比例为0.3，则将文本中的所有待增强语句中的关键词按比例进行掩盖，即替换为mask，得到处理后的待增强语句。
本实施例中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
以意图分类模型为Bert模型为例，现有的Bert模型的预训练任务为随机的词语掩盖预测任务，其任务会比较简单：将随机选定的词语用Mask替代，然后让模型学习被mask掉的内容，从而能让Bert模型学习到词的向量表示。由于是随机的Mask，导致被选中的词很分散，不能很好地学习到词与词之间的关系，尤其是词之间的关联不能被很好学习到。
例如以语句“I am going to work”为例，将am和to用mask替代，则生成待预测语句“I<mask>going<mask>work”，将该待预测语句输入至Bert模型中，目标是输出“I amgoing to work”，从而让Bert模型识别到语句中的词语之间的关系。
本实施例中在对意图分类模型进行训练的过程中，通过执行两个训练任务：基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务，以提升意图分类模型的鲁棒性，从而可以提升模型的性能。
103、通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句。
其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值。
具体地，第一评估函数包括下式(2)-(4)：
T1＝Min(J(A1,B1))+Max(Sim(A1,B1)) (2)
其中，J(A1,B1)为待增强语句A1和所述增强预测语句B1的内容差异度；
Figure BDA0003598253160000081
Sim(A1,B1)为待增强语句A1和增强预测语句B1的语义相似度；
Figure BDA0003598253160000082
例如，通过将处理后的待增强语句输入意图分类模型，得到5个增强预测语句，然后通过第一评估函数对5个增强预测语句进行评估，得到的评估分数分别为0.8、0.7、0.65、0.53和0.3。将评估分数为0.8的增强预测语句作为最终增强语句。
104、将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类。
需要说明的是，本实施例中的意图分类模型可以完成两个任务：增强预测任务和意图分类任务。
例如最终增强语句为“查询到北京的路径”，则确定最终的意图分类为“路途查询”；最终增强语句为“查询北京的天气”，则确定最终的意图分类为“天气查询”。
对应地，通过在训练阶段对意图分类模型执行对应的上述两个训练任务，可以提升模型的鲁棒性，使模型在执行任务时有更好的性能。
本发明实施例提供的意图分类的方法，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
在确定所述最终增强语句对应的意图分类后，将携带有意图分类标签的增强语句和待增强语句作为训练语料添加至训练集中，重新训练意图分类模型，验证效果如下表1所示：
表1
训练用数据 模型 意图分类准确率
原始训练集 Bert 0.88
加入增强语句的训练集 Bert 0.93
从表中数据可见，通过本实施例的方法生成的增强语句能够显著的提高意图分类的准确率和鲁棒性。
进一步地，下面对本发明实施例的意图分类模型的训练过程进行说明。本发明实施例的意图分类模型包括两个训练任务：
对于第一个训练任务，为基于所述初始样本语句的词语掩盖预测任务，参见图3，包括：
步骤301、对所述初始样本语句抽取样本关键词。
步骤302、将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句。
具体地，步骤302包括：确定每个所述样本关键词包括的字单元个数；设置不同字单元个数对应的样本关键词的掩盖比例；基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
本实施例中，针对样本关键词执行N-Gram mask任务，例如一种方式下，确定包括1个字单元的关键词的掩盖比例为0.3，2个字单元的关键词的掩盖比例为0.4，3个字单元的关键词的掩盖比例为0.3，则将文本中的所有待增强语句中的关键词按比例进行掩盖，从而增大训练任务的难度，提高意图分类模型的训练效果。
步骤303、将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句。
步骤304、确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度。
步骤305、基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件。
其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值，如下式(5)-(7)：
T2＝Min(J(A2,B2))+Max(Sim(A2,B2)) (5)
其中，J(A2,B2)为初始样本语句A2和增强样本语句B2的内容差异度；
Figure BDA0003598253160000101
Sim(A2,B2)为待增强语句A2和所述增强预测语句B2的语义相似度；
Figure BDA0003598253160000111
由上述公式可见，为了使生成的句子内容差异比较大、且语义度比较高，在训练过程中使用T2第二评估函数作为评估方法来选择最优的意图分类模型。
在第一个训练任务中，用于训练的样本为初始样本语句，其中初始样本语句包括标注语句和未标注语句。
对于第二个训练任务，通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
其中，损失函数如下式(8)所示：
Figure BDA0003598253160000112
其中，xi表示第i个标注语句，yi表示第i个标注语句对应的意图分类标签，h(xi)表示第i个标注语句与其对应的意图分类标签的映射函数；l表示标注语句的数量。
为了进一步地对本实施例的方法进行说明，下面以一个具体示例进行示意性的说明。
参见图4和图5，本实施例的意图分类的方法包括：
401、将待增强语句抽取关键词。
例如，将待增强语句“帮我查一下明天天气”抽取关键词，例如“天气”。则对应地，“天”和“天气”均作为关键词。
402、确定每个所述关键词包括的字单元个数。
确定关键词“天”包括的字单元为1，关键词“天气”包括的字单元为2。
403、设置不同字单元个数对应的关键词的掩盖比例。
404、基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
本实施例中，生成处理后的待增强语句“帮我查一下明<mask><mask><mask>”。
405、将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句。
本实施例中，得到的增强预测语句包括：
帮我查一下明个气象；
帮我查一下明个天气；
帮我查一下明天天象。
406、通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句。
其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值。
得到的增强预测语句的评估分数为：
帮我查一下明个气象，对应的评估分数为0.8；
帮我查一下明个天气，对应的评估分数为0.3；
帮我查一下明天天气，对应的评估分数为0。
由上可见，对于与待增强语句完全一致的增强预测语句，应当将其排除。最终，确定“帮我查一下明个气象”作为最终增强语句。
407、将最终增强语句“帮我查一下明个气象”再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类为“天气查询”。
本实施例的方法，还带来了以下技术效果：
1)将预训练任务进行改造，实现两个训练任务相结合，可以有效解决现有技术中通过对文本修改进行增强带来的语义变化、语法不通顺的问题。
2)能够将标注语句和未标注语句都用上，降低标注资源成本。
3)能够明显地提升文本增强生成的文本的质量，保证语义的一致性和语法的通顺性，减少句子的困惑度。
4)在将生成的最终增强语句增加到训练数据后，能够明显提升模型的意图分类的准确率。
下面对本发明提供的意图分类的装置进行描述，下文描述的意图分类的装置与上文描述的意图分类的方法可相互对应参照。
本发明实施例公开了一种意图分类的装置，参见图6，包括：
抽取模块601，用于将待增强语句抽取关键词；
增强预测模块602，用于将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
评估模块603，用于通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
意图分类模块604，用于将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
可选地，抽取模块601，具体用于：
将所述待增强语句进行词语分割，得到多个词语；
构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词；
或
将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；
确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
可选地，增强预测模块602，具体用于：
确定每个所述关键词包括的字单元个数；
设置不同字单元个数对应的关键词的掩盖比例；
基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
可选地，所述装置还包括第一训练模块，用于：
对所述初始样本语句抽取样本关键词；
将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句；
确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度；
基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件；其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值。
可选地，第一训练模块，具体用于：
确定每个所述样本关键词包括的字单元个数；
设置不同字单元个数对应的样本关键词的掩盖比例；
基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
可选地，所述装置还包括第二训练模块，用于：
通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
可选地，第一评估函数包括：
T＝Min(J(A1,B1))+Max(Sim(A1,B1))
其中，J(A1,B1)为待增强语句A1和所述增强预测语句B1的内容差异度；
Figure BDA0003598253160000151
Sim(A1,B1)为待增强语句A1和所述增强预测语句B1的语义相似度；
Figure BDA0003598253160000152
本发明实施例提供的意图分类的装置，通过训练好的意图分类模型根据输入的待增强语句得到多个增强预测语句，再通过第一评估函数对增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句，将最终增强语句再次输入至意图分类模型，确定最终增强语句对应的意图分类；其中，意图分类模型为通过执行词语掩盖预测任务和意图分类任务进行联合训练，不仅可以有效利用初始样本语句中的未标注语句，避免人工标注导致的语义变化给模型的训练过程的负面影响，而且能够提高意图分类模型的鲁棒性，进而提升模型的识别性能。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行意图分类的方法，该方法包括：
将待增强语句抽取关键词；
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的意图分类的方法，该方法包括：
将待增强语句抽取关键词；
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的意图分类的方法，该方法包括：
将待增强语句抽取关键词；
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种意图分类的方法，其特征在于，包括：
将待增强语句抽取关键词；
将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
2.根据权利要求1所述的意图分类的方法，其特征在于，将待增强语句抽取关键词，包括：
将所述待增强语句进行词语分割，得到多个词语；
构建词语之间的连通权重图，基于所述词语之间的连通权重图确定权重排序，根据权重排序确定所述关键词；
或
将所述待增强语句输入至预先训练的主题模型中，输出候选关键词和所述待增强语句对应的文章主题；
确定所述文章主题以及候选关键词的相似度并排序，将前n个候选关键词作为所述关键词，其中，n为大于1的整数。
3.根据权利要求1所述的意图分类的方法，其特征在于，将所述关键词进行掩盖处理得到处理后的待增强语句，包括：
确定每个所述关键词包括的字单元个数；
设置不同字单元个数对应的关键词的掩盖比例；
基于所述掩盖比例，分别将所述待增强语句中不同字单元个数对应的关键词进行掩盖处理，得到所述处理后的待增强语句。
4.根据权利要求1所述的意图分类的方法，其特征在于，基于所述初始样本语句的词语掩盖预测任务对所述意图分类模型进行训练，包括：
对所述初始样本语句抽取样本关键词；
将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，将所述掩盖样本语句输入至意图分类模型，输出每个所述掩盖样本语句对应的增强样本语句；
确定所述初始样本语句与所述增强样本语句的内容差异度和语义相似度；
基于预设的第二评估函数以及所述初始样本语句与所述增强样本语句的内容差异度和语义相似度，对所述意图分类模型进行训练，直至第二评估函数达到收敛条件；其中，所述第二评估函数用于评估所述初始样本语句与所述增强样本语句的内容差异度和语义相似度的综合值。
5.根据权利要求4所述的意图分类的方法，其特征在于，将所述初始样本语句进行样本关键词的掩盖处理得到掩盖样本语句，包括：
确定每个所述样本关键词包括的字单元个数；
设置不同字单元个数对应的样本关键词的掩盖比例；
基于所述掩盖比例，分别将所述初始样本语句中不同字单元个数对应的样本关键词进行掩盖处理，得到所述掩盖样本语句。
6.根据权利要求1所述的意图分类的方法，其特征在于，基于所述标注语句的意图分类任务对所述意图分类模型进行训练，包括：
通过预设的损失函数，所述标注语句及其对应的意图分类标签，对所述意图分类模型进行有监督训练，直至所述损失函数的损失值小于预设值。
7.根据权利要求1所述的意图分类的方法，其特征在于，所述第一评估函数包括：
T＝Min(J(A1,B1))+Max(Sim(A1,B1))
其中，J(A1,B1)为待增强语句A1和所述增强预测语句B1的内容差异度；
Figure FDA0003598253150000031
Sim(A1,B1)为待增强语句A1和所述增强预测语句B1的语义相似度；
Figure FDA0003598253150000032
8.一种意图分类的装置，其特征在于，包括：
抽取模块，用于将待增强语句抽取关键词；
增强预测模块，用于将所述关键词进行掩盖处理得到处理后的待增强语句，将所述处理后的待增强语句输入意图分类模型，得到多个增强预测语句；
评估模块，用于通过第一评估函数对所述增强预测语句进行评估，将评估分数最高的增强预测语句作为最终增强语句；其中，所述第一评估函数用于评估所述待增强语句和所述增强预测语句之间的语义相似度和内容差异度的综合值；
意图分类模块，用于将最终增强语句再次输入至所述意图分类模型，确定所述最终增强语句对应的意图分类；
其中，所述意图分类模型通过初始样本语句执行训练任务得到，其中，所述初始样本语句包括标注语句和未标注语句，所述训练任务包括基于所述初始样本语句的词语掩盖预测任务，以及基于所述标注语句的意图分类任务。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述意图分类的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述意图分类的方法的步骤。
CN202210397779.XA 2022-04-15 2022-04-15 一种意图分类的方法和装置 Pending CN114722153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397779.XA CN114722153A (zh) 2022-04-15 2022-04-15 一种意图分类的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397779.XA CN114722153A (zh) 2022-04-15 2022-04-15 一种意图分类的方法和装置

Publications (1)

Publication Number Publication Date
CN114722153A true CN114722153A (zh) 2022-07-08

Family

ID=82243281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397779.XA Pending CN114722153A (zh) 2022-04-15 2022-04-15 一种意图分类的方法和装置

Country Status (1)

Country Link
CN (1) CN114722153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329883A (zh) * 2022-08-22 2022-11-11 桂林电子科技大学 一种语义相似度处理方法、装置、系统以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329883A (zh) * 2022-08-22 2022-11-11 桂林电子科技大学 一种语义相似度处理方法、装置、系统以及存储介质
CN115329883B (zh) * 2022-08-22 2023-05-09 桂林电子科技大学 一种语义相似度处理方法、装置、系统以及存储介质

Similar Documents

Publication Publication Date Title
CN107451126B (zh) 一种近义词筛选方法及系统
WO2021051521A1 (zh) 获取应答信息的方法、装置、计算机设备及存储介质
CN110110062B (zh) 机器智能问答方法、装置与电子设备
Dos Santos et al. Deep convolutional neural networks for sentiment analysis of short texts
CN106599032B (zh) 一种结合稀疏编码和结构感知机的文本事件抽取方法
CN104050256B (zh) 基于主动学习的问答方法及采用该方法的问答系统
CN112069298A (zh) 基于语义网和意图识别的人机交互方法、设备及介质
CN109002473B (zh) 一种基于词向量与词性的情感分析方法
CN109472022B (zh) 基于机器学习的新词识别方法及终端设备
CN108681574A (zh) 一种基于文本摘要的非事实类问答答案选择方法及系统
CN110209818B (zh) 一种面向语义敏感词句的分析方法
CN107818173B (zh) 一种基于向量空间模型的中文虚假评论过滤方法
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN107391565B (zh) 一种基于主题模型的跨语言层次分类体系匹配方法
CN111191442A (zh) 相似问题生成方法、装置、设备及介质
CN113326702B (zh) 语义识别方法、装置、电子设备及存储介质
CN115146629A (zh) 一种基于对比学习的新闻文本与评论相关性分析方法
CN111191463A (zh) 情感分析方法、装置、电子设备及存储介质
CN112380866A (zh) 一种文本话题标签生成方法、终端设备及存储介质
CN111310467B (zh) 一种在长文本中结合语义推断的主题提取方法及系统
CN111737420A (zh) 一种基于争议焦点的类案检索方法及系统及装置及介质
CN112632272B (zh) 基于句法分析的微博情感分类方法和系统
CN114722153A (zh) 一种意图分类的方法和装置
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN112528640A (zh) 一种基于异常子图检测的领域术语自动抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination