CN116150357A - 意图识别方法、装置、电子设备及可读存储介质 - Google Patents

意图识别方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116150357A
CN116150357A CN202211601630.5A CN202211601630A CN116150357A CN 116150357 A CN116150357 A CN 116150357A CN 202211601630 A CN202211601630 A CN 202211601630A CN 116150357 A CN116150357 A CN 116150357A
Authority
CN
China
Prior art keywords
intention
recognition
label
vector
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211601630.5A
Other languages
English (en)
Inventor
陈文俊
蒋宁
夏粉
肖冰
李宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Priority to CN202211601630.5A priority Critical patent/CN116150357A/zh
Publication of CN116150357A publication Critical patent/CN116150357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种意图识别方法、装置、电子设备及可读存储介质,用于提升意图识别的准确率。该方法包括:获取意图识别文本并进行向量化处理,得到意图识别文本向量;将意图识别文本向量输入意图识别模型;获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;根据第二意图标签,确定意图识别文本对应的初始意图类型;在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图。由此可见,该方法根据标签层级结构信息实现多分类的层级分类学习,从而提升意图识别模型在多意图场景下的性能,进一步提升意图识别的准确率。

Description

意图识别方法、装置、电子设备及可读存储介质
技术领域
本申请涉及自然语言处理领域,特别涉及一种意图识别方法、装置、电子设备及可读存储介质。
背景技术
意图识别指识别文本中蕴含的主题和意图,是偏向于应用层的自然语言理解任务。意图识别主要应用于智能问答客服系统,自动回答用户提出的问题,以减少人工成本。最早的意图识别主要使用规则匹配,通过正则项匹配用户的输入,以推荐相关的问题,随着NLP(Natural Language Processing,自然语言处理)技术的发展,目前基于深度学习的意图识别获得了巨大成功。但意图识别的样本来源存在类别数量庞大、各个类别之间存在一定的相似性、用户输入不规范,输入方式多样化甚至输入非标准的自然语言等问题,因此基于深度学习的意图识别方法也存在性能的不足。如何解决多意图场景下性能不足的问题,是工业界研究的重点。
发明内容
本申请提供了一种意图识别方法、装置、电子设备及可读存储介质,用于提升意图识别准确率。
第一方面,本申请提供了一种意图识别方法,包括以下步骤:
获取意图识别文本,针对意图识别文本进行向量化处理,得到意图识别文本向量;
将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到,标签层级结构信息为用于对已标注的意图识别样本的意图类型进行标注的树状结构信息,且标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,第一层级的意图标签为树状结构信息中的根节点,第二层级的意图标签为树状结构信息中的叶子节点;
获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级;
根据第二意图标签,确定意图识别文本对应的初始意图类型,初始意图类型用于表示在初次识别过程中确定的意图识别文本的意图类型;
在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图;其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。
第二方面,本申请提供了一种意图识别装置,包括:
文本处理模块,用于获取意图识别文本,针对意图识别文本进行向量化处理,得到意图识别文本向量;
模型输入模块,用于将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到,标签层级结构信息为用于对已标注的意图识别样本的意图类型进行标注的树状结构信息,且标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,第一层级的意图标签为树状结构信息中的根节点,第二层级的意图标签为树状结构信息中的叶子节点;
标签获取模块,用于获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级;
意图确定模块,用于根据第二意图标签,确定意图识别文本对应的初始意图类型,初始意图类型用于表示在初次识别过程中确定的意图识别文本的意图类型;
意图更新模块,用于在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图;其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。
第三方面,本申请提供了一种电子设备,该电子设备包括:至少一个处理器;至少一个存储器;以及一个或多个I/O接口,连接在处理器与存储器之间;其中,存储器存储有可被至少一个处理器执行的一个或多个计算机程序,一个或多个计算机程序被至少一个处理器执行,以使至少一个处理器能够执行如上述的意图识别方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序在被处理器/处理核执行时实现上述意图识别方法。
根据本申请提供的一种意图识别的方法,获取意图识别文本并进行向量化处理,得到意图识别文本向量;将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到;获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级;根据第二意图标签,确定意图识别文本对应的初始意图类型;在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图;其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。由此可见,该方法通过意图识别模型输出意图识别文本对应的至少两级意图标签,得到意图识别文本的标签层级结构信息,进而确定意图识别文本对应的意图类型,根据标签层级结构信息实现多分类的层级分类学习,从而提升意图识别模型在多意图场景下的性能,进一步提升意图识别的准确率。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用来提供对本申请的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请,并不构成对本申请的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1为本申请实施例一提供的一种意图识别方法的流程图;
图2为本申请实施例二提供的一种意图识别方法的流程图;
图3为本申请实施例二的具体示例提供的一种意图识别方法的整体流程图;
图4为本申请实施例二的具体示例提供的一种意图识别方法的模型训练流程图;
图5为本申请实施例二的具体示例提供的一种意图识别方法的流程图;
图6为本申请实施例三提供的一种意图识别装置的框图;
图7为本申请实施例四提供的一种电子设备的框图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案,以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下,本申请各实施例及实施例中的各特征可相互组合。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本申请。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本申请的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
根据本申请实施例的意图识别方法可以由终端设备或服务器等电子设备执行,终端设备可以为车载设备、用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等;所述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。所述方法具体可以是通过处理器调用存储器中存储的计算机程序的方式来实现。
在相关技术中,意图识别方法主要基于规则匹配和深度学习实现。基于规则匹配的方法主要通过模板匹配进行意图识别匹配,准确性较差,较依赖于搜索库文本的充足性和多样性。基于深度学习的方法很大程度上提升了意图识别的准确性,但用户输入文本可能包含多意图,而基于单分类的深度学习方法在多意图场景和意图间存在一定相似性的场景下存在不足,很难识别所有意图,并分析重要意图再返回结果。为了解决上述问题,本申请提出了一种意图识别方法,该方法通过意图识别模型输出意图识别文本对应的至少两级意图标签,得到意图识别文本的标签层级结构信息,进而确定意图识别文本对应的意图类型,根据标签层级结构信息实现多分类的层级分类学习,从而提升意图识别模型在多意图场景下的性能,进一步提升意图识别的准确率。
实施例一
图1为本申请实施例一提供的一种意图识别方法的流程图。参照图1,该方法包括:
步骤S110:获取意图识别文本,针对意图识别文本进行向量化处理,得到意图识别文本向量。
其中,意图识别文本是用户提供的用于表征其意图的文本,根据不同的应用场景可以通过文本或语音转译文本等多种方式获取,例如输入的意图识别文本为:请求人工客服。
其中,向量化处理即是对用户输入的意图识别文本进行编码,从而得到意图识别文本向量,以供后续步骤中将意图识别向量作为意图识别模型的输入来获取意图识别结果。
步骤S120:将意图识别文本向量输入意图识别模型。
其中,意图识别模型是基于深度学习技术训练得到的模型,用于对意图识别文本进行意图识别。具体的,意图识别模型根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到。其中,标签层级结构信息为用于对已标注的意图识别样本的意图类型进行标注的树状结构信息,且标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,第一层级的意图标签为树状结构信息中的根节点,第二层级的意图标签为树状结构信息中的叶子节点。相应的,目标标签是指标签层级结构信息中包含的用于标注意图识别样本的标签。
其中,已标注的意图识别样本是基于人工或其他模型训练方法预先对其进行标注的意图识别文本,用于作为意图识别模型的训练输入数据;其中,标签层级结构信息指对于意图识别文本的标注标签划分的层级结构的相关信息,用于通过多层级结构的标签对意图识别文本进行标注,标签层级结构信息中包含至少两个层级。例如,输入的意图识别文本为:请求人工客服,标签层级结构信息中包含第一层级和第二层级两个层级,第一层级中包含的标签为:请求人工;第二层级中包含的标签有:1.客服电话打不通,2.客服热线电话,3.人工客服。
步骤S130:获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签。
在一种可选的实现方式中,若标签层级结构信息包含第一层级和第二层级两个层级,则第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级;其中,第一层级高于第二层级,换言之,第一层级中标签的范围比第二层级中的标签范围更大,第二层级中的标签隶属于第一层级中某个标签。例如,输入的意图识别文本为:请求人工客服,位于第一层级的第一意图标签包括:请求人工;位于第二层级的第二意图标签包括:1.客服电话打不通,2.客服热线电话,3.人工客服;则上述三个第二意图标签都包含在第一意图标签“请求人工”的范围内。
步骤S140:根据第二意图标签,确定意图识别文本对应的初始意图类型。
其中,通过意图识别模型的结果获取第二意图标签及相应的预测分值,预测分值用于表征该第二意图标签的可信度,即该第二意图标签是真实结果的可能性;意图类型即为第二意图标签所对应的意图,选取预测分值最大的第二意图标签作为初始意图类型。其中,初始意图类型用于表示在初次识别过程中确定的意图识别文本的意图类型。
步骤S150:在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图。
其中,对于意图类型是否识别错误的判断,可以基于用户的反馈信息(例如用户回复满意或不满意等内容)实现:若用户的反馈信息为正反馈,则说明意图类型识别正确;若用户的反馈信息为负反馈,则说明意图类型识别错误。
由于初始意图类型是基于第二意图标签确定的,因此,若初始意图类型识别错误,则需要重新确定意图类型,在重新确定意图类型时,基于第一意图标签确定意图识别文本对应的更新意图类型。由于第一意图标签更加上位,且第一意图标签下进一步包含多个第二层级的标签,因此,借助第一意图标签能够重新确定意图识别文本对应的意图类型(即更新意图类型)。其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。
可选地,通过意图识别模型的结果获取第一意图标签以及该第一意图标签下除初始意图类型对应的第二意图标签之外的其他第二意图标签,从上述所有第二意图标签中选取预测分值最大的第二意图标签作为更新意图类型,并将更新意图类型确定为意图识别文本的目标意图。
综上所述,根据本实施例提供的一种意图识别的方法,获取意图识别文本并进行向量化处理,得到意图识别文本向量;将意图识别文本向量输入意图识别模型;获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;根据第二意图标签,确定意图识别文本对应的初始意图类型;在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图。由此可见,该方法通过意图识别模型输出意图识别文本对应的至少两级意图标签,得到意图识别文本的标签层级结构信息,进而确定意图识别文本对应的意图类型,根据标签层级结构信息实现多分类的层级分类学习,从而提升意图识别模型在多意图场景下的性能,进一步提升意图识别的准确率。
实施例二
图2为本申请实施例二提供的一种意图识别方法的流程图。参照图2,该方法包括:
步骤S200:根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到意图识别模型。
其中,已标注的意图识别样本是基于人工或其他模型训练方法预先对其进行标注的意图识别文本,用于作为意图识别模型的训练输入数据。
其中,标签层级结构信息指对于意图识别文本的标注标签划分的层级结构的相关信息,用于通过多层级结构的标签对意图识别文本进行标注。在一种可选的实现方式中,标签层级结构信息包含至少两个层级,由本领域技术人员在实施该方法时视具体情况设定,在此不作限制。
在一种具体的实现方式中,标签层级结构信息为树状结构信息,且标签层级结构信息的第一层级中包括多个一级意图标签,且标签层级结构信息的第二层级中包括多个二级意图标签;并且,每个二级意图标签隶属于一个一级意图标签,且每个一级意图标签对应于多个二级意图标签。例如,输入的意图识别文本为:请求人工客服,则第一层级中包括的第一意图标签有:请求人工;第二层级中包括的第二意图标签有:1.客服电话打不通,2.客服热线电话,3.人工客服;则上述三个第二意图标签都隶属于第一意图标签“请求人工”,第一意图标签“请求人工”对应于上述三个二级意图标签。
具体的,意图识别模型通过以下步骤训练得到:
步骤一:获取多个已标注的意图识别样本,将每个意图识别样本进行向量化处理,得到多个意图识别样本向量。
步骤二:针对标签层级结构信息进行向量化处理,得到标签层级结构向量。在一种可选的方式中,将标签层级结构信息输入图卷积模型,通过图卷积模型对标签层级结构信息进行向量化处理,得到标签层级结构向量;其中,图卷积模型用于学习标签层级结构信息中包含的各个意图标签之间的相关性,根据相关性学习结果得到标签层级结构向量。具体的,上述向量化处理可以通过其他方式实现,由本领域技术人员在实施该方法时自行选取。
其中,为了便于实现后续的相似度计算过程,标签层级结构向量中包含多个结构向量片段,且每个结构向量片段对应于标签层级结构信息中的一个意图标签。由于标签层级结构向量是根据包含多个意图标签的标签层级结构信息得到的,因此,可以将标签层级结构向量进一步划分为多个结构向量片段,以使每个结构向量片段对应于标签层级结构信息中的一个意图标签。
步骤三:针对每个意图识别样本向量,将意图识别样本向量划分为多个局部向量片段,利用注意力机制确定意图识别样本向量中的多个局部向量片段与标签层级结构向量中包含的多个结构向量片段之间的相似度,从意图识别样本向量所对应的意图识别样本中截取与结构向量片段之间的相似度最高的局部向量片段对应的局部文本片段,将局部文本片段进行向量化处理,得到意图识别样本向量对应的正样本向量。
具体的,步骤三的实质为对意图识别样本进行数据增强。其中,注意力机制是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案。
在一种可选的实现方式中,根据相似度计算结果确定意图识别样本向量对应的正样本向量包括:根据相似度计算结果,确定意图识别样本向量所对应的意图识别样本中包含的正样本片段;其中,正样本片段是从意图识别样本中截取的部分文本片段,且正样本片段与标签层级结构信息中的至少一个意图标签的相似度最高;将正样本片段进行向量化处理,得到意图识别样本向量对应的正样本向量。
在一个具体示例中,针对每个意图识别样本向量,将意图识别样本向量划分为多个局部向量片段,利用注意力机制确定意图识别样本向量中的多个局部向量片段与标签层级结构向量中包含的多个结构向量片段之间的相似度,从意图识别样本向量所对应的意图识别样本中截取与结构向量片段之间的相似度最高的局部向量片段对应的局部文本片段,将局部文本片段进行向量化处理,得到意图识别样本向量对应的正样本向量。
其中,意图识别样本向量是基于意图识别样本得到的,且一个意图识别样本中包含一个或多个语句,因此,将意图识别样本划分为多个局部文本片段,意图识别样本中的每个局部文本片段对应于意图识别样本向量中的一个局部向量片段。由此可见,一方面,标签层级结构向量中包含多个结构向量片段;另一方面,意图识别样本向量中包含多个局部向量片段,相应的,能够分别计算每个结构向量片段与每个局部向量片段之间的相似度,从而得到相似度最高的局部向量片段与结构向量片段之间的映射关系。根据相似度最高的局部向量片段与结构向量片段之间的映射关系,将与结构向量片段之间的相似度最高的局部向量片段作为目标局部向量片段,并从意图识别样本向量所对应的意图识别样本中截取与目标局部向量片段对应的局部文本片段,将该局部文本片段进行向量化处理后得到意图识别样本向量对应的正样本向量。举例而言,假设意图识别样本为“我需要请求帮助,因为目前我的客服电话打不通”,相应的,将意图识别样本划分为多个局部文本片段,其中一个局部文本片段为“客服电话打不通”,并且,标签层级结构信息中包含多个意图标签“1.客服电话打不通,2.客服热线电话,3.人工客服”,经过相似度计算发现,局部文本片段为“客服电话打不通”所对应的局部向量片段与意图标签“客服电话打不通”所对应的结构向量片段之间的相似度最高,因此,从意图识别样本中提取局部文本片段“客服电话打不通”,并进行向量化后得到正样本向量。
由此可见,正样本向量是根据意图识别样本中提取的局部文本片段得到的,且该局部文本片段是与标签层级结构信息中的某一个意图标签最相似的片段内容。因此,一方面,正样本向量是与意图标签最为近似的,能够在后续预测标签的过程中发挥作用;另一方面,正样本向量属于意图识别样本的一部分,因而与意图识别样本也是最相似的。通过上述方式,即可得到一组由意图识别样本向量和正样本向量构成的正样本对。具体的,对于数据增强和相似度计算的方法,由本领域技术人员在实现该步骤时自行选取,不应被本实施例中采用的技术手段所限制。
步骤四:将每个意图识别样本向量以及对应的正样本向量输入训练模型,通过对比学习方式对训练模型进行训练,根据训练结果得到意图识别模型。
其中,对比学习属于无监督学习的一种,即给一堆没有标签的数据,自行学习出一种特征表示,通常对样本通过数据增强等方法构造一个正样本对,然后通过损失函数使样本与其对应的正样本通过模型学习得到的向量越相似越好,与其他样本的向量越不相似越好。
在一种可选的实现方式中,通过对比学习方式对训练模型进行训练,根据训练结果得到意图识别模型包括:
首先,通过对比学习方式对训练模型进行预训练,以使预训练后的训练模型针对意图识别样本向量以及对应于意图识别样本向量的正样本向量得到的相似度计算结果大于预设阈值;其中,该预设阈值可以取值为100%或99%等各种数值,目的在于使模型学习到意图识别样本向量以及对应于意图识别样本向量的正样本向量之间是非常相似的。
然后,通过预训练后的训练模型,输出每个意图识别样本向量对应的预测意图标签。其中,通过预训练方式得到的训练模型主要是学习到了意图识别样本向量以及对应于意图识别样本向量的正样本向量之间的关系,能够基于该关系预测每个意图识别样本向量对应的预测意图标签。其中,预测意图标签可能是不准确的,需要在后续过程中修正。
最后,获取每个意图识别样本向量对应的标注意图标签,根据标注意图标签与预测意图标签之间的比较结果,对预训练后的训练模型进行更新,得到意图识别模型;其中,标注意图标签由人工预先对意图识别文本进行标注得到。
由此可见,本实施例通过构造正样本对的方式,使模型在预训练过程中学习到了各组正样本对之间的关联关系,并且,能够基于该关联关系调节模型内部的各个参数。另外,又进一步借助标注意图标签对预训练得到的训练模型进行了二次更新,以确保模型内部的参数设置更加合理。总之,由于预训练过程中使用的正样本对是与意图标签相近的,因此,借助预训练过程能够使模型学习到更多的相似性关联关系,从而提升后续预测过程的准确性。
需要强调的是,步骤S200为一个可选的步骤,适用于初次对用户提供的文本意图进行识别的场景,并且步骤S200可以在步骤S210和步骤S220之间进行。
步骤S210:获取意图识别文本,针对意图识别文本进行向量化处理,得到意图识别文本向量。
步骤S220:将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于已标注的标注意图识别样本的标签层级结构信息中的目标标签训练得到。
步骤S230:获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级。
上述步骤S210至S230与实施例一中提供方法的步骤S110至S130相同,在此不做赘述。
步骤S240:根据第二意图标签,确定意图识别文本对应的初始意图类型。
其中,初始意图类型用于表示在初次识别过程中确定的意图识别文本的意图类型;通过意图识别模型的结果获取第二意图标签及相应的预测分值,预测分值用于表征该第二意图标签的可信度,即该第二意图标签是真实结果的可能性。
在一种可选的实现方式中,意图识别模型针对意图识别文本输出的第二意图标签的数量为多个,则步骤S240包括:获取意图识别模型针对意图识别文本输出的每个第二意图标签的预测分值;其中,预测分值用于表征对应的第二意图标签的置信率;从多个第二意图标签中提取预测分值最大的一个第二意图标签作为目标意图标签;根据目标意图标签确定意图识别文本对应的初始意图类型。其中,置信率最大的第二意图标签的预测分值也最高,从而表征该第二意图标签正确的概率最大,因此,从多个第二意图标签中提取预测分值最大的一个第二意图标签作为目标意图标签的方式能够确保初始意图类型尽可能的准确。
步骤S250:在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图。
其中,对于意图类型是否识别错误的判断,基于用户的反馈信息(例如用户回复满意或不满意等内容)实现:若用户的反馈信息为正反馈,则说明意图类型识别正确;若用户的反馈信息为负反馈,则说明意图类型识别错误。
在一种可选的实现方式中,为了在初始意图类型识别错误的情况下,进一步获取正确的意图类型,通过以下方式确定意图识别文本对应的更新意图类型:
首先,根据标签层级结构信息,获取隶属于第一意图标签的多个二级意图标签;计算隶属于第一意图标签的多个二级意图标签与目标意图标签之间的相似度,得到多个相似度计算结果。其中,意图识别文本输出的第一意图标签的数量可以是一个,也可以是多个。可选的,在第一意图标签为多个的情况下,可以先从多个第一意图标签中选择目标意图标签所隶属的第一意图标签,然后,计算目标意图标签所隶属的第一意图标签下的多个二级意图标签与目标意图标签之间的相似度。其中,根据标签层级结构信息能够获取任一第一意图标签下的各个二级意图标签。
然后,根据多个相似度计算结果,从隶属于第一意图标签的多个二级意图标签中选取一个二级意图标签,并根据选取出的二级意图标签确定意图识别文本对应的更新意图类型。具体的,可以选取与目标意图标签之间的相似度最大的二级意图标签。该选取出的二级意图标签隶属于意图识别文本输出的第一意图标签,且与目标意图标签较为相似,因此,有可能是意图识别文本的真实意图标签,因此,根据选取出的二级意图标签确定意图识别文本对应的更新意图类型。其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。由此可见,在初始意图类型识别错误的情况下,能够借助意图识别文本输出的第一意图标签重新预测意图识别文本的意图,从而提升意图识别的准确性。
可选地,在根据更新意图类型确定意图识别文本的目标意图之后,进一步执行以下操作:
根据意图识别文本的目标意图,生成对应于意图识别文本的响应指令;
获取用户针对响应指令触发的反馈信息;若用户的反馈信息为正反馈,则说明意图类型识别正确;若用户的反馈信息为负反馈,则说明意图类型识别错误;
在反馈信息为负反馈的情况下,从意图识别模型针对意图识别文本输出的除目标意图标签之外的多个第二意图标签中,选取预测分值最大的一个第二意图标签,根据选取出的第二意图标签重新确定意图识别文本对应的更新意图类型;其中,选取出的第二意图标签不同于选取出的二级意图标签。在一种可选的实现方式中,先从与目标意图标签隶属于同一第一意图标签的多个第二意图标签中选取以更新意图类型;若隶属于同一第一意图标签下的所有第二意图标签都不是正确的目标意图标签,则从其他的第一意图标签下隶属的第二意图标签中进行选取。
由此可见,在更新意图类型依然不准确的情况下,本实施例能够进一步从意图识别模型针对意图识别文本输出的除目标意图标签之外的多个第二意图标签中,选取预测分值最大的一个第二意图标签,根据选取出的第二意图标签重新确定意图识别文本对应的更新意图类型。借助意图识别模型输出的其他第二意图标签,能够再次进行意图识别结果的纠正,从而最大程度的提升准确性。
总而言之,由于本实施例输出的意图标签为多级,因此,能够借助多级标签体系多次尝试从而进行多次意图识别,最大程度的意图识别的准确性。
综上所述,根据本实施例提供的一种意图识别的方法,根据已标注的意图识别样本以及用于标注意图识别样本的标签层级结构信息训练得到意图识别模型;获取意图识别文本并进行向量化处理,得到意图识别文本向量;将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于标注意图识别样本的标签层级结构信息训练得到;获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签位于标签层级结构信息中的第一层级,第二意图标签位于标签层级结构信息中的第二层级;根据第二意图标签,确定意图识别文本对应的初始意图类型;在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型。由此可见,该方法通过基于已标注的意图识别样本以及用于标注意图识别样本的标签层级结构信息预先训练得到的意图识别模型,输出意图识别文本对应的至少两级意图标签,得到意图识别文本的标签层级结构信息,进而确定意图识别文本对应的意图类型,根据标签层级结构信息实现多分类的层级分类学习,从而提升意图识别模型在多意图场景下的性能,进一步提升意图识别的准确率。
为了便于理解,下面以一个具体示例为例,详细描述本实施例的具体实现细节。
图3为本申请实施例二的具体示例提供的一种意图识别方法的整体流程图。参照图3,该方法包括:
步骤S310:获取已标注的意图识别样本以及对应的标签;
步骤S320:根据获取的标签得到标签层级结构信息;其中,标签层级结构信息指对于意图识别文本的标注标签划分的层级结构的相关信息,用于通过多层级结构的标签对意图识别文本进行标注,在本示例中,标签层级结构信息由人工预先进行设置,包括第一层级和第二层级这两个层级;
步骤S330:生成已标注的该意图识别样本对应的第一意图标签和第二意图标签;其中,第一意图标签属于上述第一层级,第二意图标签属于上述第二层级;
步骤S340:将已标注的意图识别样本及对应的标签(包括第一意图标签和第二意图标签)送入意图识别模型中进行训练;
步骤S350:训练后得到用于意图识别的意图识别模型;
步骤S360:将未标记的意图识别文本输入基于层次分类的意图识别模型得到输出结果,输出结果中包括未标记的意图识别文本对应的第一意图标签和第二意图标签。
图4为本申请实施例二的具体示例提供的一种意图识别方法的模型训练(对应于图3中的步骤S340)流程图。参照图4,该方法包括:
步骤S410:对已标注的意图识别训练样本进行编码,得到意图识别样本编码向量,例如,输入意图识别样本为:请求人工客服;
步骤S420:通过图卷积模型对标签层级结构信息进行编码,得到多个标签层级结构编码向量;例如,步骤S410中输入:请求人工客服,其对应的标签层级结构信息就是:(第一意图标签:请求人工),(第二意图标签:1.客服电话打不通,2.客服热线电话,3.人工客服),需要注意的是,这是一个树结构,即“请求人工”下面包含“1.客服电话打不通,2.客服热线电话,3.人工客服”这三个原子分类;
步骤S430:通过自注意力机制对意图识别样本编码向量和标签层级结构编码向量进行筛选,选出与该意图识别样本中与意图高度相关的正样本(pisitive text)文本;例如,步骤S410中输入的意图识别样本为:请求人工客服,则其对应的通过注意力机制选出的正样本文本为:人工客服。即选出输入意图识别样本中与意图高度相关的词语或短句;
步骤S440:对正样本文本(positive text)进行编码,得到正样本文本编码向量;
步骤S450:将意图识别样本编码向量和其对应的正样本文本分别送入bert模型进行编码,然后对bert模型输出的编码向量实施对比学习进行优化,使模型能学习到更多的意图标签层级信息;
步骤S460:得到最后的意图识别模型。
图5为本申请实施例二的具体示例提供的一种意图识别方法(对应于图3中的步骤S360)的流程图。参照图5,该方法包括:
步骤S510:对未标记的意图识别文本进行编码,得到意图识别文本编码向量;
步骤S520:将意图识别文本编码向量送入训练好的意图识别bert模型,得到意图识别分类结果(模型的输出结果为多分类结果,其中包含第一意图标签和第二意图标签,并且第一意图标签和第二意图标签都不一定只有一个,只要大于阈值都会输出);
步骤S530:根据第二意图标签中预测分值最大的结果返回意图识别结果,作为该意图识别文本对应的初始意图类型,若其为正确意图,则结束,若其不是正确意图,则执行步骤S540;
步骤S540:根据第一意图标签中预测分值最大的结果推荐类似意图,以获取正确意图,例如,第一意图标签为:请求人工,其对应的第二意图标签包括:1.客服电话打不通,2.客服热线电话,3.人工客服;若第二意图标签中预测分值最大的结果为:客服热线电话,并且其为错误意图,则可根据第一意图标签下的其他第二意图标签推荐相似意图,如:客服电话打不通、人工客服。
步骤S550:若步骤S540未能得到正确意图,且模型输出的第一意图标签不止一个,则也可以根据其他第一意图标签输出结果,得到正确意图。将得到的正确意图对应的标签作为该意图识别文本的更新意图类型,并将更新意图类型确定为该意图识别文本的目标意图。
综上可知,根据本具体示例提供的一种意图识别的方法,通过将标签层级结构信息融入模型,使模型能更好学习到意图之间的差异性,以提升意图识别的准确度;通过基于层次分类的意图识别模型输出的多层级分类标签,在模型意图识别不准确的情况下,进一步通过第一意图标签和额外预测的第二意图标签推荐相似意图,辅助意图识别,得到正确意图,从而进一步提升意图识别的准确性;具有通用性、复用性强、泛化能力强的特点,适用于所有多标签文本分类场景。
可以理解,本申请提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本申请不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
实施例三
图6为本申请实施例三提供的一种意图识别装置的框图。参照图6,该意图识别装置60包括:
文本处理模块61,用于获取意图识别文本,针对意图识别文本进行向量化处理,得到意图识别文本向量;
模型输入模块62,用于将意图识别文本向量输入意图识别模型;其中,意图识别模型根据已标注的意图识别样本以及用于标注已标注的意图识别样本的标签层级结构信息中的目标标签训练得到,标签层级结构信息为用于对已标注的意图识别样本的意图类型进行标注的树状结构信息,且标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,第一层级的意图标签为树状结构信息中的根节点,第二层级的意图标签为树状结构信息中的叶子节点;
标签获取模块63,用于获取意图识别模型针对意图识别文本输出的第一意图标签以及第二意图标签;其中,第一意图标签属于标签层级结构信息中的第一层级,第二意图标签属于标签层级结构信息中的第二层级;
意图确定模块64,用于根据第二意图标签,确定意图识别文本对应的初始意图类型,初始意图类型用于表示在初次识别过程中确定的意图识别文本的意图类型;
意图更新模块65,用于在确定初始意图类型识别错误的情况下,根据第一意图标签,确定意图识别文本对应的更新意图类型,根据更新意图类型确定意图识别文本的目标意图;其中,更新意图类型是在二次识别过程中确定的意图识别文本的意图类型。
可选地,意图识别模型针对意图识别文本输出的第二意图标签的数量为多个,则意图确定模块64具体用于:
获取意图识别模型针对意图识别文本输出的每个第二意图标签的预测分值;其中,预测分值用于表征对应的第二意图标签的置信率;
从多个第二意图标签中提取预测分值最大的一个第二意图标签作为目标意图标签;
根据目标意图标签确定意图识别文本对应的初始意图类型。
可选地,意图更新模块65具体用于:
根据标签层级结构信息,获取隶属于第一意图标签的多个二级意图标签;
计算隶属于第一意图标签的多个二级意图标签与目标意图标签之间的相似度,得到多个相似度计算结果;
根据多个相似度计算结果,从隶属于第一意图标签的多个二级意图标签中选取一个二级意图标签,并根据选取出的二级意图标签确定意图识别文本对应的更新意图类型。
可选地,意图更新模块65还用于:
根据意图识别文本的目标意图,生成对应于意图识别文本的响应指令;
获取用户针对响应指令触发的反馈信息;
在反馈信息为负反馈的情况下,从意图识别模型针对意图识别文本输出的除目标意图标签之外的多个第二意图标签中,选取预测分值最大的一个第二意图标签,根据选取出的第二意图标签重新确定意图识别文本的意图;其中,选取出的第二意图标签不同于选取出的二级意图标签。
可选地,意图识别装置60还包括模型训练模块,模型训练模块用于意图识别模型的训练,具体用于:
获取多个已标注的意图识别样本,将每个意图识别样本进行向量化处理,得到多个意图识别样本向量;
针对标签层级结构信息进行向量化处理,得到标签层级结构向量;其中,标签层级结构向量中包含多个结构向量片段,且每个结构向量片段对应于标签层级结构信息中的一个意图标签;
针对每个意图识别样本向量,将意图识别样本向量划分为多个局部向量片段,利用注意力机制确定意图识别样本向量中的多个局部向量片段与标签层级结构向量中包含的多个结构向量片段之间的相似度,从意图识别样本向量所对应的意图识别样本中截取与结构向量片段之间的相似度最高的局部向量片段对应的局部文本片段,将局部文本片段进行向量化处理,得到意图识别样本向量对应的正样本向量;
将每个意图识别样本向量以及对应的正样本向量输入训练模型,通过对比学习方式对训练模型进行训练,根据训练结果得到意图识别模型。
可选地,模型训练模块具体用于:
将标签层级结构信息输入图卷积模型,通过图卷积模型对标签层级结构信息进行向量化处理,得到标签层级结构向量;
其中,图卷积模型用于学习标签层级结构信息中包含的各个意图标签之间的相关性,根据相关性学习结果得到标签层级结构向量。
可选地,模型训练模块具体用于:
根据相似度计算结果,确定意图识别样本向量所对应的意图识别样本中包含的正样本片段;其中,正样本片段是从意图识别样本中截取的部分文本片段,且正样本片段与标签层级结构信息中的至少一个意图标签的相似度最高;
将正样本片段进行向量化处理,得到意图识别样本向量对应的正样本向量。
可选地,模型训练模块具体用于:
通过对比学习方式对训练模型进行预训练,以使预训练后的训练模型针对意图识别样本向量以及对应于意图识别样本向量的正样本向量得到的相似度计算结果大于预设阈值;
通过预训练后的训练模型,输出每个意图识别样本向量对应的预测意图标签;
获取每个意图识别样本向量对应的标注意图标签,根据标注意图标签与预测意图标签之间的比较结果,对预训练后的训练模型进行更新,得到意图识别模型。
实施例四
图7为本申请实施例四提供的一种电子设备的框图。参照图7,本申请实施例提供了一种电子设备70,该电子设备70包括:
至少一个处理器701;至少一个存储器702;以及一个或多个I/O接口703,连接在处理器701与存储器702之间;其中,存储器702存储有可被至少一个处理器701执行的一个或多个计算机程序,一个或多个计算机程序被至少一个处理器701执行,以使至少一个处理器701能够执行如上述的意图识别方法。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序在被处理器/处理核执行时实现上述的意图识别方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本申请实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当计算机可读代码在电子设备的处理器中运行时,电子设备中的处理器执行上述意图识别方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读存储介质上,计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM)、静态随机存取存储器(SRAM)、闪存或其他存储器技术、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本申请的范围的情况下,可进行各种形式和细节上的改变。

Claims (10)

1.一种意图识别方法,其特征在于,包括:
获取意图识别文本,针对所述意图识别文本进行向量化处理,得到意图识别文本向量;
将所述意图识别文本向量输入意图识别模型;其中,所述意图识别模型根据已标注的意图识别样本以及用于标注所述已标注的意图识别样本的标签层级结构信息中的目标标签训练得到,所述标签层级结构信息为用于对所述已标注的意图识别样本的意图类型进行标注的树状结构信息,且所述标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,所述第一层级的意图标签为所述树状结构信息中的根节点,所述第二层级的意图标签为所述树状结构信息中的叶子节点;
获取所述意图识别模型针对所述意图识别文本输出的第一意图标签以及第二意图标签;其中,所述第一意图标签属于所述标签层级结构信息中的第一层级,所述第二意图标签属于所述标签层级结构信息中的第二层级;
根据所述第二意图标签,确定所述意图识别文本对应的初始意图类型,所述初始意图类型用于表示在初次识别过程中确定的所述意图识别文本的意图类型;
在确定所述初始意图类型识别错误的情况下,根据所述第一意图标签,确定所述意图识别文本对应的更新意图类型,根据所述更新意图类型确定所述意图识别文本的目标意图;其中,所述更新意图类型是在二次识别过程中确定的所述意图识别文本的意图类型。
2.根据权利要求1所述的方法,其特征在于,所述意图识别模型针对所述意图识别文本输出的第二意图标签的数量为多个;所述根据所述第二意图标签,确定所述意图识别文本对应的初始意图类型包括:
获取所述意图识别模型针对所述意图识别文本输出的每个第二意图标签的预测分值;其中,所述预测分值用于表征对应的第二意图标签的置信率;
从所述多个第二意图标签中提取预测分值最大的一个第二意图标签作为目标意图标签;
根据所述目标意图标签确定所述意图识别文本对应的初始意图类型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一意图标签,确定所述意图识别文本对应的更新意图类型包括:
根据所述标签层级结构信息,获取隶属于所述第一意图标签的多个二级意图标签;
计算所述隶属于所述第一意图标签的多个二级意图标签与所述目标意图标签之间的相似度,得到多个相似度计算结果;
根据所述多个相似度计算结果,从所述隶属于所述第一意图标签的多个二级意图标签中选取一个二级意图标签,并根据选取出的二级意图标签确定所述意图识别文本对应的更新意图类型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述更新意图类型确定所述意图识别文本的目标意图之后,还包括:
根据所述意图识别文本的目标意图,生成对应于所述意图识别文本的响应指令;
获取用户针对所述响应指令触发的反馈信息;
在所述反馈信息为负反馈的情况下,从所述意图识别模型针对所述意图识别文本输出的除所述目标意图标签之外的多个第二意图标签中,选取预测分值最大的一个第二意图标签,根据选取出的第二意图标签重新确定所述意图识别文本的意图;其中,所述选取出的第二意图标签不同于所述选取出的二级意图标签。
5.根据权利要求1-4任一所述的方法,其特征在于,所述意图识别模型通过以下方式训练得到:
获取多个已标注的意图识别样本,将每个意图识别样本进行向量化处理,得到多个意图识别样本向量;
针对所述标签层级结构信息进行向量化处理,得到标签层级结构向量;其中,所述标签层级结构向量中包含多个结构向量片段,且每个结构向量片段对应于所述标签层级结构信息中的一个意图标签;
针对每个意图识别样本向量,将所述意图识别样本向量划分为多个局部向量片段,利用注意力机制确定所述意图识别样本向量中的多个局部向量片段与所述标签层级结构向量中包含的多个结构向量片段之间的相似度,从所述意图识别样本向量所对应的意图识别样本中截取与结构向量片段之间的相似度最高的局部向量片段对应的局部文本片段,将所述局部文本片段进行向量化处理,得到所述意图识别样本向量对应的正样本向量;
将每个意图识别样本向量以及对应的正样本向量输入训练模型,通过对比学习方式对所述训练模型进行训练,根据训练结果得到所述意图识别模型。
6.根据权利要求5所述的方法,其特征在于,所述针对所述标签层级结构信息进行向量化处理,得到标签层级结构向量包括:
将所述标签层级结构信息输入图卷积模型,通过所述图卷积模型对所述标签层级结构信息进行向量化处理,得到标签层级结构向量;
其中,所述图卷积模型用于学习所述标签层级结构信息中包含的各个意图标签之间的相关性,根据相关性学习结果得到所述标签层级结构向量。
7.根据权利要求5所述的方法,其特征在于,所述通过对比学习方式对所述训练模型进行训练,根据训练结果得到所述意图识别模型包括:
通过对比学习方式对所述训练模型进行预训练,以使预训练后的训练模型针对意图识别样本向量以及对应于所述意图识别样本向量的正样本向量得到的相似度计算结果大于预设阈值;
通过预训练后的训练模型,输出每个意图识别样本向量对应的预测意图标签;
获取每个意图识别样本向量对应的标注意图标签,根据所述标注意图标签与所述预测意图标签之间的比较结果,对所述预训练后的训练模型进行更新,得到所述意图识别模型。
8.一种意图识别装置,其特征在于,包括:
文本处理模块,用于获取意图识别文本,针对所述意图识别文本进行向量化处理,得到意图识别文本向量;
模型输入模块,用于将所述意图识别文本向量输入意图识别模型;其中,所述意图识别模型根据已标注的意图识别样本以及用于标注所述已标注的意图识别样本的标签层级结构信息中的目标标签训练得到,所述标签层级结构信息为用于对所述已标注的意图识别样本的意图类型进行标注的树状结构信息,且所述标签层级结构信息至少包括属于第一层级的多个意图标签以及属于第二层级的多个意图标签;其中,所述第一层级的意图标签为所述树状结构信息中的根节点,所述第二层级的意图标签为所述树状结构信息中的叶子节点;
标签获取模块,用于获取所述意图识别模型针对所述意图识别文本输出的第一意图标签以及第二意图标签;其中,所述第一意图标签属于所述标签层级结构信息中的第一层级,所述第二意图标签属于所述标签层级结构信息中的第二层级;
意图确定模块,用于根据所述第二意图标签,确定所述意图识别文本对应的初始意图类型,所述初始意图类型用于表示在初次识别过程中确定的所述意图识别文本的意图类型;
意图更新模块,用于在确定所述初始意图类型识别错误的情况下,根据所述第一意图标签,确定所述意图识别文本对应的更新意图类型,根据所述更新意图类型确定所述意图识别文本的目标意图;其中,所述更新意图类型是在二次识别过程中确定的所述意图识别文本的意图类型。
9.一种电子设备,其特征在于,包括:
至少一个处理器;
至少一个存储器;以及
一个或多个I/O接口,连接在所述处理器与所述存储器之间;其中,
所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序,一个或多个所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任一项所述的意图识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的意图识别方法。
CN202211601630.5A 2022-12-13 2022-12-13 意图识别方法、装置、电子设备及可读存储介质 Pending CN116150357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211601630.5A CN116150357A (zh) 2022-12-13 2022-12-13 意图识别方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211601630.5A CN116150357A (zh) 2022-12-13 2022-12-13 意图识别方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116150357A true CN116150357A (zh) 2023-05-23

Family

ID=86353441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211601630.5A Pending CN116150357A (zh) 2022-12-13 2022-12-13 意图识别方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116150357A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909508A (zh) * 2024-03-20 2024-04-19 成都赛力斯科技有限公司 意图识别方法、模型训练方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909508A (zh) * 2024-03-20 2024-04-19 成都赛力斯科技有限公司 意图识别方法、模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110457675B (zh) 预测模型训练方法、装置、存储介质及计算机设备
CN110298042A (zh) 基于Bilstm-crf与知识图谱影视实体识别方法
CN114492363B (zh) 一种小样本微调方法、系统及相关装置
CN110727779A (zh) 基于多模型融合的问答方法及系统
CN110717039A (zh) 文本分类方法和装置、电子设备、计算机可读存储介质
CN113065358B (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
KR20240067971A (ko) 음성 인식 방법, 음성 인식 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
CN116991875B (zh) 一种基于大模型的sql语句生成、别名映射方法及设备
CN115687610A (zh) 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质
CN116150357A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN116467417A (zh) 问题答案的生成方法、装置、设备及存储介质
CN116955630B (zh) 文本分类方法、装置、模型、设备和计算机可读存储介质
CN114925681B (zh) 知识图谱问答问句实体链接方法、装置、设备及介质
CN115248846B (zh) 文本识别方法、设备、介质
CN114254622B (zh) 一种意图识别方法和装置
CN115860002A (zh) 一种基于事件抽取的作战任务生成方法及系统
CN117235271A (zh) 信息抽取方法、装置、计算机存储介质及电子设备
CN115240704A (zh) 音频识别方法、装置、电子设备和计算机程序产品
CN113051385A (zh) 意图识别的方法、介质、装置和计算设备
CN118334489B (zh) 一种基于对抗式双提示学习的视觉语言模型领域自适应方法、终端机及可读存储介质
CN114385903B (zh) 应用账号的识别方法、装置、电子设备及可读存储介质
CN118551765A (zh) 意图识别样本的生成、模型训练、意图识别方法及装置
CN115688773A (zh) 实体关系抽取方法、装置及存储介质
CN117743530A (zh) 基于单意图的实时类问题的回复方法及装置
CN116561253A (zh) 用于训练语义特征向量生成模型和语义搜索的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination