CN114490993A - 小样本意图识别方法、系统、设备及存储介质 - Google Patents

小样本意图识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114490993A
CN114490993A CN202210163723.8A CN202210163723A CN114490993A CN 114490993 A CN114490993 A CN 114490993A CN 202210163723 A CN202210163723 A CN 202210163723A CN 114490993 A CN114490993 A CN 114490993A
Authority
CN
China
Prior art keywords
model
intention
corpus
target
small sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210163723.8A
Other languages
English (en)
Inventor
段旭欢
赵文婷
文俊杰
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Bank Co Ltd
Original Assignee
China Merchants Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Bank Co Ltd filed Critical China Merchants Bank Co Ltd
Priority to CN202210163723.8A priority Critical patent/CN114490993A/zh
Publication of CN114490993A publication Critical patent/CN114490993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种小样本意图识别方法、系统、设备及存储介质，所述小样本意图识别方法包括：获取待识别文本信息，将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息，基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得，基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。本申请解决了模型进行小样本意图识别的准确性较低的技术问题。

Description

小样本意图识别方法、系统、设备及存储介质
技术领域
本申请涉及机器学习技术领域，尤其涉及一种小样本意图识别方法、系统、设备及存储介质。
背景技术
当前小样本意图识别模型主要基于大量的监督数据，通过机器学习或深度学习模型等方法训练文本分类模型来识别分类，模型训练效果受监督数据数量及质量影响很大。但实际应用场景初始建设时，大量高质量监督语料数据较难获取，通常是通过人工标注初始数据，但是人工标注成本较高、标注周期长、标注语料语义空间有局限性，且存在与真实应用场景产生语料有偏差的情况，进而导致模型进行小样本意图识别的准确性较低。
发明内容
本申请的主要目的在于提供一种小样本意图识别方法、系统、设备及存储介质，旨在解决现有技术中的模型进行小样本意图识别的准确性较低的技术问题。
为实现上述目的，本申请提供一种小样本意图识别方法，所述小样本意图识别方法包括：
获取待识别文本信息；
将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
本申请还提供一种小样本意图识别系统，所述小样本意图识别系统为虚拟系统，所述小样本意图识别系统包括：
获取模块，用于获取待识别文本信息；
槽位抽取模块，用于将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
多任务识别模块，用于基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
融合判定模块，用于基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
本申请还提供一种小样本意图识别设备，所述小样本意图识别设备为实体设备，所述小样本意图识别设备包括：存储器、处理器以及存储在所述存储器上的小样本意图识别程序，所述小样本意图识别程序被所述处理器执行实现如上述的小样本意图识别方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储小样本意图识别程序，所述小样本意图识别程序被处理器执行实现如上述的小样本意图识别方法的步骤。
本申请提供了一种小样本意图识别方法、系统、设备及存储介质，本申请首先获取待识别文本信息，进而将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息，实现了通过预设槽位抽取模型，对待识别文本抽取影响类别区分的关键文本信息，进一步地，基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得，进而基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果，实现了基于小样本学习构建的训练语料集进行训练获得的意图分类模型以及意图匹配模型，有效减少项目冷启动所需的建模时间，并且通过意图匹配模型、意图分类模型及预设知识规则，对目标槽位文本信息进行多任务识别，加强目标领域相似类别区分度，从而有效提升模型进行意图识别精准度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请小样本意图识别方法第一实施例的流程示意图；
图2为本申请小样本意图识别方法中预测流程示意图；
图3为本申请小样本意图识别方法第二实施例的流程示意图；
图4为本申请小样本意图识别方法第三实施例的流程示意图；
图5为本申请小样本意图识别方法多模型训练流程示意图；
图6为本申请实施例方案涉及的硬件运行环境的小样本意图识别设备结构示意图；
图7为本申请小样本意图识别装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本发明实施例涉及的技术术语：
意图(intent)：其是NLU自然语言理解系统中重要的概念，意图代表了用户期望。换一种表达方式，在NLU中意图代表用户想要达到的目的，也即在语言表达中所体现出的“用户想要干什么”。
在本申请实施例中，意图可涵盖多个方面，包括但不限于导航、新闻、赛事、票务、快递、音乐、股市、投资、文学、收听、天气、翻译、闲聊等方面。
作为一个示例，“播放刘德华的冰雨”为music音乐意图，即该意图针对音乐方面；而“查看北京天气”为weather天气意图，即该意图针对天气方面。
槽位：其是NLU系统中重要的概念。在NLU中意图可以由槽位来表达，槽位即是意图的参数信息。
作为一个示例，比如针对query(提问)“我想听刘德华的冰雨”，其中，“singer歌手＝刘德华，song音乐＝冰雨”即是槽位，分别为一个歌手槽位和一个歌曲槽位。
本申请实施例提供一种小样本意图识别方法，在本申请小样本意图识别方法的第一实施例中，参照图1，所述小样本意图识别方法包括：
步骤S10，获取待识别文本信息；
在本实施例中，需要说明的是，待识别文本信息为自然语言的文本。用户输入文字形式或者语音形式的自然语言，如果用户输入的为文字形式的自然语音，则直接获得目标查询信息。如果用户输入的为语音形式的自然语音，则将语音形式的自然语言转换为文字形式的目标查询信息。
获取待识别文本信息，具体地，获取用户在系统或平台输入的语句信息，进而对所述语句信息进行预处理，得到预处理的待识别文本信息。
步骤S20，将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
在本实施例中，需要说明的是，所述预设槽位抽取模型为预先构建的训练集进行训练获得，其中，所述训练集包括训练文本信息以及对应的槽位标签。
具体地，通过将所述待识别文本信息输入至预设槽位抽取模型，以提取类别区分的关键要素，从而得到获得目标槽位文本信息。
步骤S30，基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
在本实施例中，需要说明的是，所述预设知识规则为领域专家根据当前应用场景预先通过正则方法设置的逻辑规则，在本申请中，将专家设置得到逻辑规则存储至专家知识库中，即可在所述专家知识库中获取到所述预设知识规则，例如，在金融投资场景下，假设文本信息存在日期表述的词语(三个月、时间、随用随去以及随时存取等词语)，则判定用户向存在咨询投资时间期限的意图，另外地，不同场景下专家设置的规则不尽相同。
具体地，通过所述意图分类模型，分别对所述目标槽位文本信息进行分类，得到意图分类结果，其中，所述意图分类结果包括预测分类的类别以及对应的概率，将所述目标槽位文本信息输入至所述意图匹配模型，从而在预设匹配语料库中匹配所述目标槽位文本信息对应的目标雨来，并将所述目标语料对应的意图标签作为所述意图匹配模型对应的意图匹配结果，其中，所述预设匹配语料库为当前已确认类别的意图语料，另外地，还通过预设知识规则对所述目标槽位文本信息进行识别判定，获得判定结果，进而将意图分类结果、意图匹配结果和判定结果作为所述不同任务的识别结果，通过对待识别文本信息进行多任务识别，从而加强目标领域相似类别区分度，有效在少量数据场景中提升意图识别精准度。
步骤S40，基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
在本实施例中，需要说明的是，所述目标融合模型也基于预设槽位抽取模型、意图分类模型和意图匹配模型训练输出的结果进行融合训练获得。
具体地，分别将所述不同任务的识别结果输入至所述目标融合模型中，以通过所述目标融合模型对所述不同任务的识别结果进行融合计算，可以理解地，可通过所述目标融合模型对所述不同任务的识别结果进行加权平均处理，从而获得结合专家规则的目标意图识别结果，其中，所述加权平均对应的系数为预先对不同任务的识别结果的权重。
进一步地，参考图2，图2为本申请小样本意图识别方法中预测流程示意图，具体地，获取待识别文本信息，对所述待识别文本信息进行预处理后，通过预设槽位抽取模型对预处理后的待识别文本信息进行槽位抽取，得到目标槽位文本信息，进而通过意图分类模型进行意图分类，得到意图分类结果，并通过意图匹配模型进行意图匹配，以从预设匹配语料库中得到与所述目标槽位文本信息相匹配的目标语料，基于所述目标语料的意图标签确定意图匹配结果，以及通过专家知识库中预设知识规则进行判定，得到判定结果，进而将意图分类结果、意图匹配结果和所述判定结果共同输入至目标融合模型，从而通过目标融合模型进行融合判定，得到所述目标意图识别结果。
本申请实施例提供了一种小样本意图识别方法，本申请实施例首先获取待识别文本信息，进而将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息，从而实现了通过预设槽位抽取模型，对待识别文本抽取影响类别区分的关键文本信息，进一步地，基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得，进而基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果，实现了基于小样本学习构建的训练语料集进行训练获得的意图分类模型以及意图匹配模型，有效减少项目冷启动所需的建模时间，并且通过意图匹配模型、意图分类模型及预设知识规则，对目标槽位文本信息进行多任务识别，加强目标领域相似类别区分度，从而有效提升模型进行意图识别精准度。
进一步地，参照图3，基于本申请中第一实施例，在本申请的另一实施例中，步骤S20：基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果包括：
步骤S21，通过所述意图分类模型对所述目标槽位文本信息进行分类识别，获得意图分类结果；
步骤S22，将所述目标槽位文本信息输入所述意图匹配模型，获得在预设匹配语料库中与所述目标槽位文本信息相匹配的目标语料，并将所述目标语料对应的意图标签作为意图匹配结果；
步骤S23，通过所述预设专家规则对所述目标槽位文本信息进行判定，获得判定结果；
步骤S24，将所述意图分类结果、所述意图匹配结果和所述判定结果，形成所述不同任务的识别结果。
作为一种实施方式，在本实施例中，具体地，将所述目标槽位文本信息输入主所述意图分类模型中进行分类，从而得到所述意图分类模型输出的意图分类结果，其中，所述意图分类结果包括当前待识别文本信息对应的预测类别以及类别对应的概率，并且将所述目标槽位文本信息输入所述意图匹配模型，以通过所述意图匹配模型将所述目标槽位文本信息与所述预设匹配语料库中的语料进行匹配，得到目标语料，进而将所述目标语料对应的意图标签作为所述意图匹配结果，以及通过所述预设专家规则对所述目标槽位文本信息进行判定，获得判定结果，从而将所述意图分类结果、所述意图匹配结果和所述判定结果作为所述不同任务的识别结果，另外地，本实施例中步骤S21、步骤S22和步骤S23之前的执行步骤顺序在此不做具体限制，可通过意图分类模型、意图匹配模型以及预设专家规则同时对所述目标槽位文本信息进行识别判断，提高模型意图识别的速度。
本实施例通过上述方案，也即，通过所述意图分类模型对所述目标槽位文本信息进行分类识别，获得意图分类结果，将所述目标槽位文本信息输入所述意图匹配模型，获得在预设匹配语料库中与所述目标槽位文本信息相匹配的目标语料，并将所述目标语料对应的意图标签作为意图匹配结果，通过所述预设专家规则对所述目标槽位文本信息进行判定，获得判定结果，进一步地，将所述意图分类结果、所述意图匹配结果和所述判定结果，形成所述不同任务的识别结果，从而实现了通过结合专家规则的多模型融合方法，结合多种识别方案加强金融领域相似类别区分度，有效提升小样本场景相似意图区分精确率。
进一步地，参照图4，基于本申请中第一实施例，在本申请的另一实施例中，所述获取待识别文本信息的步骤之前，所述小样本意图识别方法还包括：
步骤A10，获取目标语料信息集，并基于所述目标语料信息集，构建不同训练任务对应的训练语料集，其中，所述训练语料集包括分类训练语料集、匹配训练语料集以及槽位抽取语料集；
在本实施例中，需要说明的是，所述分类训练语料集用于训练得到意图分类模型，输入所述意图分类模型中的分类训练语料集形式为文本信息以及其对应的类别标签，例如：文本信息A和A的类别标签，所述匹配训练语料集用于训练得到意图匹配模型，输入至所述意图匹配模型中的匹配训练语料集形式为文本对信息以及各自对应的真实类别标签，例如：文本信息A、B和A、B各自对应的类别标签。
具体地，首先获取目标领域的语料信息，进而对所述语料信息进行预处理，其中，所述预处理为将语料信息中词语按照预设标准规则进行，例如，表示数字的词替换成标准格式的替换词，进一步地，对预处理后的无类别标签语料信息进行标注，以及对类别标签语料信息进行数据增强处理，从而获得大量由于模型训练的目标语料信息集，进一步地，基于所述目标语料信息集，构建不同训练任务对应的训练语料集。
其中，步骤A10：获取目标语料信息集包括：
步骤A11，获取目标领域的语料信息，其中，所述语料信息包括无类别标签语料信息和有类别标签语料信息；
步骤A12，通过关键词匹配方法对所述无类别标签语料信息进行数据标注，并对数据标注后的语料信息进行复核处理，获得标注语料信息；
步骤A13，对所述有类别标签语料信息进行数据增强处理，获得扩充语料信息；
步骤A14，基于所述标注语料信息和所述扩充语料信息，形成所述目标语料信息集。
在本实施例中，需要说明的是，在建模过程中需要大量的有标签语料，而初始建设时，高质量监督语料较难获取，且还会存在大量的无标签语料。
具体地，首先获取目标领域的语料信息，其中，所述语料信息包括无类别标签语料信息和有类别标签语料信息，针对大量的无标注语料信息，通过关键词匹配、专家规则等方式进行数据粗标注，进而通过人工复核进行数据精准标注，获得标注语料信息，进一步地，对所述标注语料信息进行重复语料过滤，例如，通过聚类方法进行过滤，另外地。针对有类别标签语料信息，对所述有类别标签语料信息进行数据增强处理，获得扩充语料信息，获得扩充语料信息，其中，所述数据增强处理包括同义词替换、近义字替换、临近字置换、随机字删除、翻译替换等数据增强方法进行语料泛化扩充，进一步地，基于所述标注语料信息和所述扩充语料信息，形成所述目标语料信息集，从而当语料类别不均衡或者训练语料数量不足的情况，通过上述方法，解决项目冷启动阶段数据缺少的问题，从而大大减少项目冷启动所需建模时间及标注成本。
步骤A20，基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，获得所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，并输出意图分类模型对应的分类结果、所述意图匹配模型对应的匹配结果和所述预设槽位抽取模型对应的槽位抽取结果。
在本实施例中，具体地，基于上述已构建好的构建不同训练任务对应的训练语料集，所述训练语料集包括分类训练语料集、匹配训练语料集以及槽位抽取语料集，以已训练好的预训练bert语言模型为基模型，进而将所述分类训练语料集中文本信息输入所述待训练分类模型练，输出所述文本信息对应的模型分类结果，进而基于所述模型分类结果和所述文本信息的真实类别标签，计算模型损失，进而基于所述模型损失，对所述待训练分类模型进行迭代训练，得到优化后的待训练分类模型，并判断所述优化后的待训练分类模型是否满足训练结束条件，若满足，则获得所述意图分类模型，并输出意图分类模型对应的分类结果，若不满足，则返回执行步骤：获取目标语料信息集，并基于所述目标语料信息集，构建不同训练任务对应的训练语料集。
基于匹配训练语料集中文本对信息输入至待训练意图匹配模型，输出模型匹配结果，进而基于所述模型匹配结果和所述文本对信息各自对应的真实类别标签，计算模型损失，进而基于所述模型损失，对所述待训练匹配模型进行迭代训练，获得所述意图匹配模型，并输出所述意图匹配模型对应的匹配结果，其中，所述文本对信息包括至少两个文本信息，例如，文本对信息包括文本信息A和文本信息B，将文本信息A和文本信息B输入至待训练匹配模型，得到模型匹配结果，进而基于文本信息A和文本信息B分别对应的真实类别标签，确定文本信息A和文本信息B之间的匹配程度，以基于匹配程度和所述模型匹配结果，对所述待训练匹配模型进行迭代训练。
基于所述槽位抽取语料集中文本信息以及对应的真实类别标签，对所述待训练抽取模型进行迭代训练，获得所述预设槽位抽取模型，并输出所述预设槽位抽取模型对应的槽位抽取结果。
在步骤A20之后，还包括：
步骤a1,将所述分类结果、匹配结果和所述槽位抽取结果输入至待训练融合模型进行迭代训练，获得所述目标融合模型。
在本实施例中，具体地，在训练得到所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，将上述模型各自输出的分类结果、匹配结果和所述槽位抽取结果作为待训练融合模型的输出，从而对所述待训练融合模型进行迭代训练，获得所述目标融合模型。
参照图5，图5为本申请小样本意图识别方法多模型训练流程示意图，其中，所述数据增强包括对无类别标签语料进行标注以及对有类别标签语料进行数据增强操作，具体地，获取目标领域的语料信息，并对所述语料信息进行预处理，进而将预处理后的语料信息中无类别标签语料信息进行数据标注以及对所述有类别标签语料信息进行数据增强处理，得到目标语料信息集，进而基于所述目标语料信息集，构建不同训练任务对应的训练语料集，基于所述不同训练任务对应的训练语料集，分别对意图分类模型、意图匹配模型以及预设槽位抽取模型进行训练，并将上述模型输出的结果作为所述目标融合模型的输入，以训练得到所述目标融合模型。
本实施例通过上述方案，也即，获取目标语料信息集，并基于所述目标语料信息集，构建不同训练任务对应的训练语料集，其中，所述训练语料集包括分类训练语料集、匹配训练语料集以及槽位抽取语料集，进而基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，获得所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，并输出意图分类模型对应的分类结果、所述意图匹配模型对应的匹配结果和所述预设槽位抽取模型对应的槽位抽取结果，实现了使用小样本学习方法，快速搭建意图分类模型、意图匹配模型以及预设槽位抽取模型，节省标注人力，减短项目启动所需要的建模时间，并且在后续预测，通过意图分类模型以及意图匹配模型，加强目标领域相似类别区分度，有效提升冷启动场景意图识别准确率。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的小样本意图识别设备结构示意图。
如图6所示，该小样本意图识别设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该小样本意图识别设备还可以包括矩形用户接口、网络接口、相机、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如WIFI接口)。
本领域技术人员可以理解，图6中示出的小样本意图识别设备结构并不构成对小样本意图识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及小样本意图识别程序。操作系统是管理和控制小样本意图识别设备硬件和软件资源的程序，支持小样本意图识别程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与小样本意图识别系统中其它硬件和软件之间通信。
在图6所示的小样本意图识别设备中，处理器1001用于执行存储器1005中存储的小样本意图识别程序，实现上述任一项所述的小样本意图识别方法的步骤。
本申请小样本意图识别设备具体实施方式与上述小样本意图识别方法各实施例基本相同，在此不再赘述。
此外，请参照图7，图7是本申请小样本意图识别装置的功能模块示意图，本申请还提供一种小样本意图识别系统，所述小样本意图识别系统包括：
获取模块，用于获取待识别文本信息；
槽位抽取模块，用于将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
多任务识别模块，用于基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
融合判定模块，用于基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
可选地，所述多任务识别模块还用于：
通过所述意图分类模型对所述目标槽位文本信息进行分类识别，获得意图分类结果；
将所述目标槽位文本信息输入所述意图匹配模型，获得在预设匹配语料库中与所述目标槽位文本信息相匹配的目标语料，并将所述目标语料对应的意图标签作为意图匹配结果；
通过所述预设专家规则对所述目标槽位文本信息进行判定，获得判定结果；
将所述意图分类结果、所述意图匹配结果和所述判定结果，形成所述不同任务的识别结果。
可选地，所述融合判定模块还用于：
通过所述目标融合模型对所述不同任务的识别结果进行加权平均处理，得到所述目标意图识别结果。
可选地，所述小样本意图识别系统还用于：
获取目标语料信息集，并基于所述目标语料信息集，构建不同训练任务对应的训练语料集，其中，所述训练语料集包括分类训练语料集、匹配训练语料集以及槽位抽取语料集；
基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，获得所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，并输出意图分类模型对应的分类结果、所述意图匹配模型对应的匹配结果和所述预设槽位抽取模型对应的槽位抽取结果。
可选地，所述小样本意图识别系统还用于：
基于所述分类训练语料集中文本信息以及对应的真实类别标签，对待训练分类模型进行迭代训练，获得所述意图分类模型；
基于匹配训练语料集中文本对信息以及各自对应的真实类别标签，对待训练意图匹配模型进行迭代训练，获得所述意图匹配模型，其中，所述文本对信息包括至少两个文本信息；
基于所述槽位抽取语料集中文本信息以及对应的真实类别标签，对所述待训练抽取模型进行迭代训练，获得所述预设槽位抽取模型。
可选地，所述小样本意图识别系统还用于：
将所述分类结果、匹配结果和所述槽位抽取结果输入至待训练融合模型进行迭代训练，获得所述目标融合模型。
可选地，所述小样本意图识别系统还用于：
获取目标领域的语料信息，其中，所述语料信息包括无类别标签语料信息和有类别标签语料信息；
通过关键词匹配方法对所述无类别标签语料信息进行数据标注，并对数据标注后的语料信息进行复核处理，获得标注语料信息；
对所述有类别标签语料信息进行数据增强处理，获得扩充语料信息；
基于所述标注语料信息和所述扩充语料信息，形成所述目标语料信息集。
本申请小样本意图识别系统的具体实施方式与上述小样本意图识别方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的小样本意图识别方法的步骤。
本申请计算机可读存储介质具体实施方式与上述小样本意图识别方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种小样本意图识别方法，其特征在于，所述小样本意图识别方法包括：
获取待识别文本信息；
将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
2.如权利要求1所述的小样本意图识别方法，其特征在于，所述基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果的步骤包括：
通过所述意图分类模型对所述目标槽位文本信息进行分类识别，获得意图分类结果；
将所述目标槽位文本信息输入所述意图匹配模型，获得在预设匹配语料库中与所述目标槽位文本信息相匹配的目标语料，并将所述目标语料对应的意图标签作为意图匹配结果；
通过所述预设专家规则对所述目标槽位文本信息进行判定，获得判定结果；
将所述意图分类结果、所述意图匹配结果和所述判定结果，形成所述不同任务的识别结果。
3.如权利要求1所述的小样本意图识别方法，其特征在于，所述基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果的步骤包括：
通过所述目标融合模型对所述不同任务的识别结果进行加权平均处理，得到所述目标意图识别结果。
4.如权利要求1所述的小样本意图识别方法，其特征在于，所述获取待识别文本信息的步骤之前，所述小样本意图识别方法还包括：
获取目标语料信息集，并基于所述目标语料信息集，构建不同训练任务对应的训练语料集，其中，所述训练语料集包括分类训练语料集、匹配训练语料集以及槽位抽取语料集；
基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，获得所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，并输出意图分类模型对应的分类结果、所述意图匹配模型对应的匹配结果和所述预设槽位抽取模型对应的槽位抽取结果。
5.如权利要求4所述的小样本意图识别方法，其特征在于，所述基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，得到所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型的步骤包括：
基于所述分类训练语料集中文本信息以及对应的真实类别标签，对待训练分类模型进行迭代训练，获得所述意图分类模型；
基于匹配训练语料集中文本对信息以及各自对应的真实类别标签，对待训练意图匹配模型进行迭代训练，获得所述意图匹配模型，其中，所述文本对信息包括至少两个文本信息；
基于所述槽位抽取语料集中文本信息以及对应的真实类别标签，对所述待训练抽取模型进行迭代训练，获得所述预设槽位抽取模型。
6.如权利要求4所述的小样本意图识别方法，其特征在于，在所述基于不同训练任务对应的训练语料集，分别对待训练分类模型、待训练意图匹配模型以及待训练抽取模型进行迭代训练，获得所述意图分类模型、所述意图匹配模型以及所述预设槽位抽取模型，并输出意图分类模型对应的分类结果、所述意图匹配模型对应的匹配结果和所述预设槽位抽取模型对应的槽位抽取结果的步骤之后，所述小样本意图识别方法包括：
将所述分类结果、匹配结果和所述槽位抽取结果输入至待训练融合模型进行迭代训练，获得所述目标融合模型。
7.如权利要求4所述的小样本意图识别方法，其特征在于，所述获取目标语料信息集的步骤包括：
获取目标领域的语料信息，其中，所述语料信息包括无类别标签语料信息和有类别标签语料信息；
通过关键词匹配方法对所述无类别标签语料信息进行数据标注，并对数据标注后的语料信息进行复核处理，获得标注语料信息；
对所述有类别标签语料信息进行数据增强处理，获得扩充语料信息；
基于所述标注语料信息和所述扩充语料信息，形成所述目标语料信息集。
8.一种小样本意图识别系统，其特征在于，所述小样本意图识别系统包括：
获取模块，用于获取待识别文本信息；
槽位抽取模块，用于将所述待识别文本信息输入至预设槽位抽取模型进行槽位抽取，获得目标槽位文本信息；
多任务识别模块，用于基于预设知识规则以及预设构建的多任务子模型，分别对所述目标槽位文本信息进行多任务识别，获得不同任务的识别结果，其中，所述多任务子模型包括意图分类模型和意图匹配模型，所述意图分类模型和所述意图匹配模型均是基于小样本学习构建的训练语料集进行迭代训练获得；
融合判定模块，用于基于预设构建的目标融合模型，对所述不同任务的识别结果进行融合判定，获得目标意图识别结果。
9.一种小样本意图识别设备，其特征在于，所述小样本意图识别设备包括：存储器、处理器以及存储在存储器上的小样本意图识别程序，
所述小样本意图识别程序被所述处理器执行实现如权利要求1至7中任一项所述小样本意图识别方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有小样本意图识别程序，所述小样本意图识别程序被处理器执行实现如权利要求1至7中任一项所述小样本意图识别方法的步骤。
CN202210163723.8A 2022-02-22 2022-02-22 小样本意图识别方法、系统、设备及存储介质 Pending CN114490993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210163723.8A CN114490993A (zh) 2022-02-22 2022-02-22 小样本意图识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210163723.8A CN114490993A (zh) 2022-02-22 2022-02-22 小样本意图识别方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114490993A true CN114490993A (zh) 2022-05-13

Family

ID=81482945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210163723.8A Pending CN114490993A (zh) 2022-02-22 2022-02-22 小样本意图识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114490993A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340523A (zh) * 2023-05-30 2023-06-27 北京中关村科金技术有限公司 会话意图识别方法及装置、计算机设备、存储介质、软件

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340523A (zh) * 2023-05-30 2023-06-27 北京中关村科金技术有限公司 会话意图识别方法及装置、计算机设备、存储介质、软件
CN116340523B (zh) * 2023-05-30 2023-09-26 北京中关村科金技术有限公司 会话意图识别方法及装置、计算机设备、存储介质、软件

Similar Documents

Publication Publication Date Title
CN109918673B (zh) 语义仲裁方法、装置、电子设备和计算机可读存储介质
CN107679039B (zh) 用于确定语句意图的方法和装置
CN107705066B (zh) 一种商品入库时信息录入方法及电子设备
CN110168535B (zh) 一种信息处理方法及终端、计算机存储介质
CN105677735B (zh) 一种视频搜索方法及装置
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN107102993B (zh) 一种用户诉求分析方法和装置
CN111488468B (zh) 地理信息知识点抽取方法、装置、存储介质及计算机设备
CN112163424A (zh) 数据的标注方法、装置、设备和介质
CN108549723B (zh) 一种文本概念分类方法、装置及服务器
CN111309910A (zh) 文本信息挖掘方法及装置
CN113836925B (zh) 预训练语言模型的训练方法、装置、电子设备及存储介质
CN109582788A (zh) 垃圾评论训练、识别方法、装置、设备及可读存储介质
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN111737990B (zh) 一种词槽填充方法、装置、设备及存储介质
CN111522901A (zh) 文本中地址信息的处理方法及装置
CN111782793A (zh) 智能客服处理方法和系统及设备
CN113821605A (zh) 一种事件抽取方法
CN116415017A (zh) 基于人工智能的广告敏感内容审核方法及系统
CN110874534A (zh) 数据处理方法和数据处理装置
CN110909768B (zh) 一种标注数据获取方法及装置
CN115526171A (zh) 一种意图识别方法、装置、设备及计算机可读存储介质
CN113220854B (zh) 机器阅读理解的智能对话方法及装置
CN110750626B (zh) 一种基于场景的任务驱动的多轮对话方法及系统
CN110795942A (zh) 基于语义识别的关键词确定方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination