CN113792540B - 意图识别模型更新方法及相关设备 - Google Patents

意图识别模型更新方法及相关设备 Download PDF

Info

Publication number
CN113792540B
CN113792540B CN202111095912.8A CN202111095912A CN113792540B CN 113792540 B CN113792540 B CN 113792540B CN 202111095912 A CN202111095912 A CN 202111095912A CN 113792540 B CN113792540 B CN 113792540B
Authority
CN
China
Prior art keywords
intention
corpus
mask
category
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111095912.8A
Other languages
English (en)
Other versions
CN113792540A (zh
Inventor
罗圣西
马骏
王少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111095912.8A priority Critical patent/CN113792540B/zh
Publication of CN113792540A publication Critical patent/CN113792540A/zh
Priority to PCT/CN2022/071694 priority patent/WO2023040153A1/zh
Application granted granted Critical
Publication of CN113792540B publication Critical patent/CN113792540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能领域,公开了一种意图识别模型更新方法及相关设备。该方法包括:获取原始对话语料,利用意图模型识别得到第一意图类别;将语料初始化为掩码列表,根据选取规则替换掩码列表中的元素值;进而构建原始对话语料对应的附属对话语料,并通过训练模型识别得到第二意图类别;对第一、二意图类别进行差异程度检测,得到第一检测结果,选取得到作为备选集外语料;通过训练模型识别备选集外语料得到第三意图类别;对第一、三意图类别进行差异程度检测,得到第二检测结果,选取得到最终集外语料;进而将其和原始对话语料进行重新训练得到意图识别模型。本发明提高了意图识别模型对语料意图的识别精准度。

Description

意图识别模型更新方法及相关设备
技术领域
本发明涉及人工智能领域,尤其涉及一种意图识别模型更新方法及相关设备。
背景技术
随着计算机技术的不断发展和创新的背景下,人工智能技术已经逐渐应用于各行各业之中,相关智能产品和技术应用也逐渐渗透于人们日常生活的方方面面之中,极大地改善人们的生产生活,其中人机对话是人工智能的一个重要研究领域,它是研究如何使计算机能够理解和运用人类社会的自然语言,实现人机之间的自然语言通信,起到计算机能代替人的部分脑力劳动,以及延伸人类大脑、减少人类部分工作的作用,在日常生活中,对话场景的复杂多样,要求计算机能够在对话的过程中准确地识别客户的意图,更好地理解客户的需要以便于更好地展开对话,满足客户真正的需求。
“意图识别”指的是对用户输入的一段用于表达查询需求的信息,判断用户所述的意图类别,目前的意图识别技术主要应用于搜索引擎、人机对话系统等,在应用于人机对话之时,通过构建一个意图识别模型用来识别客户的意图,由于在日常人机对话中,会受到环境噪音的干扰,会产生大量不属于已有意图类别的中的语料如果意图识别模型不能正确辨识出这种语料,则会对用户体验产生较大影响,严重时可能会有泄露用户隐私的风险。现有解决方法是通过数据增强方法生成集外语料,一般是随机插入、删除、交换等操作,通过集外语料训练意图识别模型的拒识能力,但是这种数据增强方法无法保证生成的语料一定属于集外类别,还会导致训练语料中出现语料纠缠的现象,影响所训练出来的意图识别模型对正常语料的识别效果,即现有意图识别模型的意图识别精准度较低的问题。
发明内容
本发明的主要目的在于解决现有意图识别模型的意图识别精准度较低的问题的技术问题。
本发明第一方面提供了一种意图识别模型更新方法,其特征在于,所述意图识别模型更新包括:获取原始对话语料,并通过预置意图识别模型,识别所述原始对话语料中每个语句的第一意图类别;初始化所述原始对话语料对应的掩码列表,并根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表;基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料,并通过所述意图识别模型,识别所述附属对话语料中每个语句的第二意图类别;对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果,并基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料;将所述最终集外语料标注为集外意图,并采用所述原始对话语料和所述最终集外语料,对所述意图识别模型进行训练,得到新的意图识别模型。
可选的,在本发明第一方面的第一种实现方式中,所述初始化所述原始对话语料对应的掩码列表包括:对所述原始对话语料进行分句处理,得到多个语句,并分别计算所述原始对话语料每个语句的字符串长度;采用与各所述字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;采用所述掩码构建所述原始对话语料对应的掩码列表。
可选的,在本发明第一方面的第二种实现方式中,所述根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表包括:根据预置选取规则,分别确定所述掩码列表中每段掩码对应的调整位置;采用预置第二元素值替换所述调整位置上的第一元素值,得到调整后的掩码列表。
可选的,在本发明第一方面的第三种实现方式中,所述基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料包括:分别确定所述数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取所述原始语料中每个语句与所述第一元素值位置相同的单字;按照所述第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;对各所述新的语句进行拼接,得到所述原始对话语料对应的附属对话语料。
可选的,在本发明第一方面的第四种实现方式中,在所述对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果之后,还包括:若所述第一检测结果为所述第一意图类别和所述第二意图类别相同,则将所述附属对话语料作为初始对话语料;若所述第一检测结果为所述第一意图类别和所述第二意图类别不同,则将所述原始对话语料作为初始对话语料;对所述初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到所述初始对话语料满足预置退出条件时停止,得到新的第一检测结果。
可选的,在本发明第一方面的第五种实现方式中,所述差异条件包括第一差异条件和第二差异条件,所述基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料包括:根据所述第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;通过所述意图识别模型识别所述备选集外语料中每个语句的第三意图类别;对所述第一意图类别和所述第三意图类别进行差异程度检测,得到第二检测结果,并根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
可选的,在本发明第一方面的第六种实现方式中,所述根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料包括:根据所述第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料。
本发明第二方面提供了一种意图识别模型更新装置,包括:语料获取模块,用于获取原始对话语料,并通过预置意图识别模型,识别所述原始对话语料中每个语句的第一意图类别;掩码构建模块,用于初始化所述原始对话语料对应的掩码列表,并根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表;第二意图模块,用于基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料,并通过所述意图识别模型,识别所述附属对话语料中每个语句的第二意图类别;最终集外模块,用于对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果,并基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料;语料训练模块,用于将所述最终集外语料标注为集外意图,并采用所述原始对话语料和所述最终集外语料,对所述意图识别模型进行训练,得到新的意图识别模型。
可选的,在本发明第二方面的第一种实现方式中,所述掩码构建模块包括:字符计算单元,用于对所述原始对话语料进行分句处理,得到多个语句,并分别计算所述原始对话语料每个语句的字符串长度;掩码组合单元,用于采用与各所述字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;语料对应单元,用于采用所述掩码构建所述原始对话语料对应的掩码列表。
可选的,在本发明第二方面的第二种实现方式中,所述掩码构建模块还包括:元素选取单元,用于根据预置选取规则,分别确定所述掩码列表中每段掩码对应的调整位置;元素替换单元,用于采用预置第二元素值替换所述调整位置上的第一元素值,得到调整后的掩码列表。
可选的,在本发明第二方面的第三种实现方式中,所述第二意图模块包括:词语选取单元,用于分别确定所述数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取所述原始语料中每个语句与所述第一元素值位置相同的单字;顺序组合单元,用于按照所述第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;语句拼接单元,用于对各所述新的语句进行拼接,得到所述原始对话语料对应的附属对话语料。
可选的,在本发明第二方面的第四种实现方式中,所述最终集外模块还包括:若所述第一检测结果为所述第一意图类别和所述第二意图类别相同,则将所述附属对话语料作为初始对话语料;若所述第一检测结果为所述第一意图类别和所述第二意图类别不同,则将所述原始对话语料作为初始对话语料;对所述初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到所述初始对话语料满足预置退出条件时停止,得到新的第一检测结果。
可选的,在本发明第二方面的第五种实现方式中,所述最终集外模块包括:差异判断单元,用于根据所述第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;备选选择单元,用于若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;备选识别单元,用于通过所述意图识别模型识别所述备选集外语料中每个语句的第三意图类别;最终选择单元,用于对所述第一意图类别和所述第三意图类别进行差异程度检测,得到第二检测结果,并根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
可选的,在本发明第二方面的第六种实现方式中,所述最终选择单元包括:根据所述第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料。
本发明第三方面提供了一种意图识别模型更新设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述意图识别模型更新设备执行上述的意图识别模型更新方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的意图识别模型更新方法。
本发明提供的技术方案中,相比于现有技术的对数据增强的处理方法是随机的插入、删除、交换等操作,本申请利用计算机数据处理方法中的掩码列表来实现对原始对话语料的语句处理,构建掩码列表进行相关数值替换得到满足第一差异条件的备选集外语料,语料的处理方法利用预设的数学规律进行处理,使得生成的备选集外语料更加满足集外意图类别,同时通过对得到的备选集外语料进行识别和第二差异条件比较,能进一步的避免的训练语料中出现语料纠缠的现象,从而将获得的最终集外语料与原始对话语料进行重新训练得到新的意图识别模型,此方法可以免去了通过设定置信度阈值来实现拒识功能的额外对比实验,缩短了意图识别模型上线和优化的周期,同时使训练出的意图识别模型具有拒识能力的同时,减轻对正常语料识别效果的影响,进而提高了意图识别模型的意图识别精准度。
附图说明
图1为本发明意图识别模型更新方法的第一个实施例示意图;
图2为本发明意图识别模型更新方法的第二个实施例示意图;
图3为本发明意图识别模型更新方法的第三个实施例示意图;
图4为本发明意图识别模型更新方法的第四个实施例示意图;
图5为本发明意图识别模型更新方法的第五个实施例示意图;
图6为本发明意图识别模型更新装置的一个实施例示意图;
图7为本发明意图识别模型更新装置的另一个实施例示意图;
图8为本发明意图识别模型更新设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种意图识别模型更新方法及相关设备。本发明实施例中,相比于现有技术的对数据增强的处理方法是随机的插入、删除、交换等操作,本申请利用计算机数据处理方法中的掩码列表来实现对原始对话语料的语句处理,构建掩码列表进行相关数值替换得到满足第一差异条件的备选集外语料,语料的处理方法利用预设的数学规律进行处理,使得生成的备选集外语料更加满足集外意图类别,此方法可以免去了通过设定置信度阈值来实现拒识功能的额外对比实验,缩短了意图识别模型上线和优化的周期,同时使训练出的意图识别模型具有拒识能力的同时,减轻对正常语料识别效果的影响,进而提高了意图识别模型的意图识别精准度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中意图识别模型更新方法的第一个实施例包括:
101、获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;
可以理解的是,本发明的执行主体可以为意图识别模型更新装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本实施例中,这里的原始对话语料,一般是由相关行业的业务人员,根据该行业常被咨询的问题和其常需处理的业务等进行收集总结得到的对话语料,它是建立意图识别模型的基础,而这里的预置意图识别模型可以是FastText(快速文本分类器)、textCNN(文本分类算法)或基于预训练语言模型的任何分类模型,通过获取原始对话语料,并通过预置的意图识别模型,识别得到的原始对话语料中每个语句的第一意图类别,这里的是意图类别的识别原理是由于预置意图识别模型本质上是一连串的数学运算,能够输出识别运算得到的不同意图的概率分数形式的结果,并选取其中意图运算概率最大的标签并记录下该标签和对应的概率进行输出。
在实际应用中,目标人机对话系统获取由相关业务人员收集的相关原始对话语料,并通过预置的意图识别模型,对获取得到的原始对话语料中的每个语句进行意图识别其对应的意图标签和概率,这里的概率代表该条语料属于这个类别的可能性,进而获取得到的原始对话语料中的每个语句中第一意图类别。
102、初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;
本实施例中,这里的掩码是一串二进制代码,在实际应用中也可用其他字符元素代替,由于计算机本质上是进行二进制代码进行运算处理的,本方案采用掩码列表,便于数值变换和计算机的处理,这里的预置选取规则,是根据所要训练的意图识别模型对话的业务种类而定的,根据原始对话语料的长度和对话处理难度,可设置两个及以上的掩码进行数值调整,而其调整的规则只要符合某种数学规律即可,如正常按照语料的读取顺序进行调整,将获取得到的原始对话语料初始化为掩码列表,并根据预置选取规则对掩码列表的元素进行调整替换,得到调整后的掩码列表。
在实际应用中,基于获取得到的原始对话语料,首先对每一条对话语料进行初始化一个和语料长度相同的掩码元素,其中的掩码元素都为0,进而选取该语料掩码中的前两个字符,将所选字符对应位置的掩码元素调整变为1,然后将原始对话语料中对应掩码列表位置元素为0的字符和变换后元素1的字符,按原来位置排列顺序组成一个新的句子,得到调整后的掩码列表。
103、基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;
本实施例中,采用调整后的掩码列表,分别确定调整后掩码列表中每段语料对应的第一元素值,这里的第一元素值是原始对话语料初始化处理得到的掩码列表中对应的掩码元素值,通过确定第一元素值的及其相应位置,采用原始对话语料对应的词语进行替换并按原序进行排列得到附属对话语料,将该附属对话语料通过意图识别模型,识别附属对话语料中每个语句的标签和相应概率得到第二意图类别。
在实际应用中,目标人机对话系统采用处理得到的数值变换后的掩码列表,先识别数值变换后掩码列表中第一掩码元素列表相应初始化掩码元素及其位置,再将识别得到的第一掩码元素及其对应位置利用与其对应的原对话语料中相对应位置的词语,进行替换第一掩码元素,进而将替换第一掩码元素的词语按照原始对话语料的顺序进行排列,得到原始对话语料对应的附属对话语料,然后将得到的附属对话语料通过当前所要训练采用的意图识别模型,识别附属对话语料中号每段语句对应的标签及其相应概率,进而得到附属对话语料对应的第二意图类别。
104、对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并基于第一检测结果,从附属对话语料中选取满足预置差异条件的语句作为最终集外语料;
本实施例中,这里的预置差异条件包含第一差异条件和第二差异条件;根据识别处理得到的第一意图类别和第二意图类别,利用意图识别得到每句语料对应的标签及其相对应概率进行差异程度的检测,这里的差异程度检测是指利用意图识别得到原始对话语料和附属对话语料中比较两者的标签是否不同,或者相同进行比较两者相对应的概率,一般附属对话语料的相应标签概率和原始对话语料的相应标签基础概率之间的差距大于一定阈值(该阈值是根据意图识别模型的概率特征进行设置,一般阈值较小),并将得到的结果进行掩码列表变化、意图识别、差异度检测的循环操作处理,直至满足预置的循环处理条件,进而得到第一检测结果,基于得到的第一检测结果,从附属对话语料中选取满足预置第一差异条件的语句作为备选集外语料,进而对备选集外语料进行了类别识别、差异检测后,得到第二检测结果,从备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
在实际应用中,目标人机对话系统根据第一意图类别和第二意图类别,对两者的相对应每句语料的意图类别机器对应概率进行差异程度的检测,比较两者的差异度是否大于预置的数值,并将所得结果进行再次进行掩码列表变换、意图识别和差异程度检测,直至满足将全部语料的词语都进行置换处理的退出条件时,得到第一检测结果,进而根据第一检测结果利用预置的第一差异条件,从每个对话语料中选取满足两者意图识别概率差值相差较大的差值的语句作为备选集外语料;通过意图识别模型识别备选集外语料中每个语句的第三意图类别;对第一意图类别和第三意图类别进行差异程度检测,得到第二检测结果,并根据第二检测结果,从备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
105、将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本实施例中,根据步骤104所得的最终集外语料,将其标注为本模型的集外意图,进而将原始对话语料和处理所得最终集外语料合并为新的训练语料,基于机器学习方法对新的训练语料进行意图识别训练,获得新的意图识别模型,进而得到具有拒识功能的意图识别模型,这里的基础机器学习方法是指运用得到的新的训练语料数据和以往的意图识别模型训练经验,利用人工智能等技术对模型进行不断训练,以此来提高的意图识别模型的识别准确率。
在实际应用中,目标人机对话系统根据得到的最终集外语料,将其标注为此次训练模型的集外意图,进而将原始对话语料和最终集外语料进行合并,从而得到新的训练语料,将该新的训练语料基于机器学习的方法在本次所要训练意图识别模型中进行反复的训练,从而得到新的具有拒识功能的意图识别模型。
本实施例中,通过训练得到新的意图识别模型,将获取的到待识别的语料传送至该意图识别模型中,新的意图识别模型根据所得到的待识别预料与模型中的集外语料进行语料识别,识别其中与真正意图无关的集外语料,进而获取该测试预料的真正意图对应的语料和其对应的意图类别,进而将识别得到的意图返回至目标人机对话系统中显示。
本发明实施例中,相比于现有技术的对数据增强的处理方法是随机的插入、删除、交换等操作,本申请利用计算机数据处理方法中的掩码列表来实现对原始对话语料的语句处理,构建掩码列表进行相关数值替换得到满足第一差异条件的备选集外语料,语料的处理方法利用预设的数学规律进行处理,使得生成的备选集外语料更加满足集外意图类别,此方法可以免去了通过设定置信度阈值来实现拒识功能的额外对比实验,缩短了意图识别模型上线和优化的周期,同时使训练出的意图识别模型具有拒识能力的同时,减轻对正常语料识别效果的影响,进而提高了意图识别模型的意图识别的精准度。
请参阅图2,本发明实施例中意图识别模型更新方法的第二个实施例包括:
201、获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;
202、对原始对话语料进行分句处理,得到多个语句,并分别计算原始对话语料每个语句的字符串长度;
本实施例中,通过对原始对话语料进行分句处理,这里的分句处理是通过识别原始对话语料中的基本标点符号来实现对原始对话语料的中语料的分句处理,从而可得到原始对话语料的多个语句,并通过预置的字符串函数实现分别计算原始对话语料中得到的每个语句的字符串长度,可以得到每个语句对应的字符串长度值。
203、采用与各字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;
本实施例中,通过得到每个语句对应的字符串长度,进而采用与每个字符串长度值对应的相同长度的预置第一掩码元素值,分别组合成得到每个语句对应的掩码。
204、采用掩码构建原始对话语料对应的掩码列表;
本实施例中,通过采用掩码构建原始对话语料的对应的掩码列表。
在实际应用中,人机对话系统根据由外部输入获得的原始对话语料,利用预置的分句处理函数对原始对话语料进行分句处理,这里的分句处理函数通过设置的基本标点符号(如句号、感叹号等),进而对原始对话语料中的标点符号识别并划分,实现对分句处理操作,得到多个语句,再利用字符串函数对得到的语句进行字符数量的统计计算,得到每个语句的字符串长度,然后采用与每个字符串长度对应的相同长度的预置第一掩码值,分别组合成每个语句对应的掩码,从而采用掩码构建的原始对话语料对应的掩码列表,例如将第一掩码值元素设置为0,根据得到的字符串长度,初始化一个和语料长度相同的掩码列表,其中掩码元素都为0,如原始语料为“我想修改我的账户密码”,长度为10,则生成的对应的掩码列表为长度为10的列表[0,0,0,0,0,0,0,0,0,0]。
205、根据预置选取规则,分别确定掩码列表中每段掩码对应的调整位置;
本实施例中,根据初始化处理得到的掩码列表,利用预置选取规则进行每段掩码位置选取,首先分别确定掩码列表中每段掩码对应的所要调整选取位置,然后分别选取每段掩码对应选取位置上的第一掩码值。
206、采用预置第二元素值替换调整位置上的第一元素值,得到调整后的掩码列表;
本实施例中,通过选取得到的每段掩码对应调整选取位置上的第一掩码值,进而采用第二掩码值来替换选取位置上的第一掩码值,替换后原有位置不变,从而可以得到数值变换后的掩码列表。
在实际应用中,人机对话系统根据初始化处理得到的掩码列表,利用预置的选取规则,分别确定掩码列表中每段掩码对应的选取位置,并且分别选取的掩码调整选取位置上的掩码元素,例如这里的选取规则采用按正常语句读取顺序,从左往右的顺序每次选取两个字符,第一次选取语句头两个掩码元素,从而得到选取位置上的第一掩码值[0,0],进而采用预置的第二掩码值来替换调整选取得到的相应位置上的第一掩码值,从而得到数值变换后的掩码列表,如设置第二掩码值为1,将所选取字符对应的掩码元0位置改为1,按上一个实施例的原始语料的列表则变为[1,1,0,0,0,0,0,0,0,0]。
207、基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;
208、对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并基于第一检测结果,从附属对话语料中选取满足预置差异条件的语句作为最终集外语料;
209、将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本发明实施例中,通过对原始对话语料进行分句处理,并进行字符串长度的计算得到每个语句的字符串长度,进而采用与各字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码,利用得到的掩码构建原始对话语料对应的掩码列表,从而基于预置选取规则,分别确定掩码列表中每段掩码对应的调整所选取的位置,并分别选取相应选取位置上的第一元素值,采用预置第二元素值替换选取位置上的第一元素值,进而得到调整后的掩码列表。相比于现有技术,本申请是利用掩码列表的方式对原始对话语料进行语句处理,通过计算每个语句的字符串长度后利用第一元素值组建新的掩码,进而利用预置选取规则用第二元素值代替选取的第一元素值,从而得到调整后的掩码列表,从而避免了现有技术对原始对话语料随机的插入、删除、交换等操作处理方法,进而对原始对话语料的处理更加符合数学运算规律,能得到更加符合要求训练集外语料。
请参阅图3,本发明实施例中意图识别模型更新方法的第三个实施例包括:
301、获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;
302、初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;
303、分别确定数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取原始语料中每个语句与第一元素值位置相同的单字;
本实施例中,系统通过利用第一掩码值识别函数,这个函数通过函数遍历的方式利用预置的第一掩码值作为识别标志符进行全语句遍历,识别得到掩码列表中相应的第一掩码值及其对应位置,分别确定数值变换后的掩码阿列表中每段掩码的第一掩码值及其相应位置,并根据初始化掩码列表和原始对话语料中每个语句间的对应关系,得到原始对话语料中每个语料与第一掩码相同位置的单字。
304、按照第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;
本实施例中,根据得到的原始对话语料中每个语料与第一掩码相同位置的单字,按照第一元素值原有位置的顺序,将每个语句对应选取得到的单字进行顺序组合,得到相对应的新语句。
305、对各新的语句进行拼接,得到原始对话语料对应的附属对话语料;
本实施例中,将得到相应的新语句进行拼接,按照原始对话语料的语句组合方式进行组合,得到原始对话语料对应的附属对话语料,进而将得到的附属对话语料通过所要训练的意图识别模型进行意图识别,识别附属对话语料中每个语句对应的第二意图类别。
在实际应用中,人机对话系统通过使用第一掩码值识别函数,识别得到数值变换后的掩码列表中每段掩码的第一掩码值位置,并分别进行选取原始对话语料中每个语句与第一掩码值相同位置的单字,如上一个实施例中得到的[1,1,0,0,0,0,0,0,0,0],通过识别并选取得到第3位置到第10个位置的第一掩码值及其相应位置,然后根据该原始对话语料为“我想修改我的账户密码”,将语料中对应掩码列表位置元素为0的字符进行选取,然后根据选取得到的单字进行按原来语句的读取顺序进行拼接,得到原始对话语料对应的附属对话语料,如对原始对话语料进行选取拼接可以组成一个新的句子,此处得到“修改我的账户密码”,进而将得到的附属对话语料通过所要训练的意图识别模型进行意图识别,识别附属对话语料中每个语句对应的意图类别,从而得到第二意图类别。
306、对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并基于第一检测结果,从附属对话语料中选取满足预置差异条件的语句作为最终集外语料;
307、将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本发明实施例中,基于调整后的掩码列表,通过分别确定数值变换后的掩码列表中每段掩码的第一元素值位置,并选取原始语料中每个语句与第一元素值位置相同的单字,进而按照第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句,将新的语句进行拼接,得到原始对话语料对应的附属对话语料,从而对附属对话语料进行意图识别处理得到第二意图类别。相比于现有技术,本申请通过对调整后的掩码列表通过确定相应元素位置,将相应位置转变为原始对话语句词语组合的语句,进而实现对组合语句的意图识别处理得到第二意图类别,通过对原始对话语料采用掩码列表的处理方式,将调整后的掩码列表转换为原来语句相对应的单字,以实现对附属对话语料的意图识别处理操作,处理实现方式简单,更快得到所需的意图识别结果。
请参阅图4,本发明实施例中意图识别模型更新方法的第四个实施例包括:
401、获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;
402、初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;
403、基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;
404、若第一检测结果为第一意图类别和第二意图类别相同,则将附属对话语料作为初始对话语料;
本实施例中,对两个所得的意图类别进行意图类别种类的判断,判断它们相对应的语句的意图类别是否相同,若判断第一检测结果为第一意图类别和第二意图类别的类别种类相同,则将本轮意图识别的附属对话语料作为新一轮的初始对话语料。
405、若第一检测结果为第一意图类别和第二意图类别不同,则将原始对话语料作为初始对话语料;
本实施例中,若判断第一检测结果为第一意图类别和第二意图类别种类不同,则将本轮原始对话语料作为新一轮的初始对话语料。
406、对初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到初始对话语料满足预置退出条件时停止,得到新的第一检测结果;
本实施例中,对初始对话语料案进行下一轮的对应掩码列表数值变换,意图识别和差异程度检测,直至初始对话语料满足预置退出条件时停止处理,得到新的第一检测结果,这里的预置退出条件是原始对话语料中每段语料的词语都被预置的选取规则全部遍历选取完时,则满足处理退出条件。
在实际应用中,人机对话系统根据对第一意图类别和第二意图类别进行意图种类是否相同的判断,若检测结果两者的意图类别相同,则将本轮意图类别的附属对话语料作为下一轮新的初始对话语料,若检测结果两者的意图类别不同,则将本轮意图识别的初始对话语料作为下一轮新的初始对话语料,如前面实施例所得的附属对话语料为“修改我的账户密码”,和初始对话语料为“我想修改我的账户密码”,这两者的意图识别标签应该是一样的,概率也会非常接近,所以掩码列表的前两个元素就会保持为1,可以认为掩码列表里面的元素为1就代表了其所对应的字符在原句中对语义的贡献程度不大,进而将附属对话语料即“修改我的账户密码”作为下一轮的新的初始对话语料,若判断两者的意图类别不相同,则将初始对话语料即“我想修改我的账户密码”作为下轮新的初始对话语料,然后对得到新的初始对话语料进行下一轮的对应掩码数值变换、意图识别、差异程度比较的循环处理操作,直至初始对话语料中所有的词语都被遍历置换完毕,如新的初始对话语料为“修改我的账户密码”,接着选取第二和第三个字符进行循环处理,然后当置换“密码”两个字符处理则满足退出条件,进而得到新的第一的检测结果。
407、根据第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;
本实施例中,根据处理得到的第一检测结果,依次判断原始对话语料中每段语料对应的第一意图类别和附属对话语料对应的第二意图类别的差异程度是否相同,这里的预置差异程度是否相同是当两个相应语料进行意图类别识别后,当两者的意图类别种类相同且两者的概率很大(一般大于80%),则满足差异程度是相同的。
408、若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;
本实施例中,这里的预置第一差异条件是根据原始对话语料意图识别进行意图识别得到的标签其相应概率和附属对话语料进行意图识别得到的标签及其概率进行差异检测,得到一个两者概率差值相差较大的差值条件。若与第一意图类别不同的第二意图类别对应的语句的意图类别不相同,则可以确定第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料。
在实际应用中,人机对话系统根据处理得到的第一检测结果,依次对原始对话语料的每段语料对应的第一意图类别和处理得到附属对话语料对应的第二意图类别进行判断,判断两者对应的类别是否类别相同且对应的概率较大,若判断结果两者的意图类别不相同的第二意图类别对应的语句,则可以确定该条第二意图类别对应的语句满足预置第一差异差异条件并作为备选集外语料。
409、通过意图识别模型识别备选集外语料中每个语句的第三意图类别;
本实施例中,根据步骤408得到的备选集外语料,利用本次所要训练的意图识别模型对选取处理得到的备选集外语料中每个语句进行意图标签及其相应概率的意图识别处理,进而可以得到备选集外语料中每个语句的第三意图类别。
410、对第一意图类别和第三意图类别进行差异程度检测,得到第二检测结果,并根据第二检测结果,从备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料;
本实施例中,根据原始对话语料进行意图识别得到的第一意图类别和根据备选集外语料进行意图识别得到的第三意图类别,利用意图识别得到每段语料对应的标签及其相对应概率进行差异程度检测,进而得到第二检测结果,并根据所得的第二检测结果,从备选集外语料中进行选取,从而得到满足预置第二差异条件的语句作为最终集外语料,这里的预置第二差异条件是根据原始对话语料意图识别进行意图识别得到的标签其相应概率,及备选集外语料进行意图识别得到的标签及其概率进行差异检测,比较得到一个两者概率差值相差较大的差值条件。
在实际应用中,目标人机对话系统对原始对话语料进行意图识别处理得到的第一意图类别和对备选集外语料进行意图识别处理得到的第三意图类别,根据两种语料中每段语句对应的标签及其相应概率进行差值比较,得到两者差值比较的检测结果,作为第二检测结果,进而根据第二检测结果,从备选集外语料中进行选取,利用第二检测结果中每段语句对应的标签及其对应概率,及原始对话语料中每段语料的标签及其对应概率进行对比概率差值比较,得到满足较大差值条件的的语料,进而得到满足预置第二差异条件的语句作为最终集外语料。
411、将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本发明实施例中,通过对所得的第一意图类别和第二意图类别进行差异程度检测,若检测结果相同则将附属对话语料作为新的初始对话语料,若检测结果不同则将初始对话语料作为新的初始对话语料,进而利用预置选取规则进行掩码变换、意图识别、差异检测的循环处理,当语句中的词语都进行置换处理后得到第一检测结果,进而基于第一检测结果,利用预置差异程度是否相同进行第一和第二意图类别进行判断,得到判断结果不相同的第二意图类别对应的语句作为备选集外语料,进而通过对备选集外语料进行意图识别、差异检测和差异条件判断后,得到最终集外语料。相对于现有技术,本申请能对训练的原始对话语料词语组合成的所有集外语料进行识别,从而得到一个备选集外语料,该方法能获得尽可能多的集外意图的语料,免去了现有方法的通过设定置信度阈值来实现拒识功能的额外对比实验,缩短了意图识别模型上线和后期优化所需的时间,进而得到意图识别准确率更高的意图识别模型。
请参阅图5,本发明实施例中意图识别模型更新方法的第五个实施例包括:
501、获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;
502、初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;
503、基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;
504、对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并根据第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;
505、若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;
506、通过意图识别模型识别备选集外语料中每个语句的第三意图类别;
507、对第一意图类别和第三意图类别进行差异程度检测,得到第二检测结果,并根据第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;
本实施例中,通过对所得的第一意图类别和第三意图类别进行差异程度检测,得到第二检测结果,进而根据第二检测结果,对原始对话语料的每个第一意图类别和备选集外语料对应的第三意图类别进行意图类别差异程度是否大于预置差异程度阈值的判断处理。
508、若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料;
本实施例中,若进行判断两者对应语句的意图类别大于预置差异程度阈值,则可以确定第三意图类别对应的语句满足第二差异条件并作为最终集外语料,这里的预置第二差异条件是根据原始对话语料意图识别进行意图识别得到的标签其相应概率,和备选集外语料进行意图识别得到的标签及其概率,判断两者对应语料意图类别是否不同且大于预置差异程度阈值(这里的差异程度阈值一般设置为80%,进而判断得到一个两者意图标签不同且概率值较大)的作为差异检测结果。
在实际应用中,人机对话系统根据第二检测结果,判断原始对话语料中每段语料意图识别所得到的第一意图识别模型,它和备选集外语料中对应的原始对话语料每段语料处理后意图识别得到的第三意图类别,判断所得的相应备选集外意图类别和对应的原始语料的意图种类是否大于预置差异程度阈值,如果大于即满足两者意图种类不同且其对应的概率大于一定的差异程度阈值,则选择这些不相同的第三意图类别对应的备选集外语料,作为模型训练得到的最终集外语料。
509、将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本发明实施例中,通过对由备选集外语料进行意图识别得到的第三意图类别和原始对话语料得到第一意图类别进行差异程度检测,进而对检测得到的第二检测结果进行选取,从备选集外语料中选取得到满足预置第二差异条件的语句作为最终集外语料。相比于现有技术,对备选集外语料进而二次的差异条件选取,能避免传统基于数据增强的语料合成方法所构建的集外语料可能与正常训练语料有纠缠的问题,通过使用掩码列表和现有意图识别模型,保证了生成语料的集外性质,从而在使训练出的意图识别模型具有拒识能力的同时,减轻对正常语料识别效果的影响。
上面对本发明实施例中意图识别模型更新方法进行了描述,下面对本发明实施例中意图识别模型更新装置进行描述,请参阅图6,本发明实施例中意图识别模型更新装置一个实施例包括:语料获取模块601,用于获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;掩码构建模块602,用于初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;第二意图模块603,用于基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;最终集外模块604,用于对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并基于第一检测结果,从附属对话语料中选取满足预置差异条件的语句作为最终集外语料;语料训练模块605,用于将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
本发明实施例中,相比于现有技术的对数据增强的处理方法是随机的插入、删除、交换等操作,本申请利用计算机数据处理方法中的掩码列表来实现对原始对话语料的语句处理,构建掩码列表进行相关数值替换得到满足第一差异条件的备选集外语料,语料的处理方法利用预设的数学规律进行处理,使得生成的备选集外语料更加满足集外意图类别,此方法可以免去了通过设定置信度阈值来实现拒识功能的额外对比实验,缩短了意图识别模型上线和优化的周期,同时使训练出的意图识别模型具有拒识能力的同时,减轻对正常语料识别效果的影响,进而提高了意图识别模型的意图识别精准度。
请参阅图7,本发明实施例中意图识别模型更新装置的另一个实施例包括:语料获取模块601,用于获取原始对话语料,并通过预置意图识别模型,识别原始对话语料中每个语句的第一意图类别;掩码构建模块602,用于初始化原始对话语料对应的掩码列表,并根据预置选取规则调整掩码列表中的一组元素值,得到调整后的掩码列表;第二意图模块603,用于基于调整后的掩码列表,构建原始对话语料对应的附属对话语料,并通过意图识别模型,识别附属对话语料中每个语句的第二意图类别;最终集外模块604,用于对第一意图类别和第二意图类别进行差异程度检测,得到第一检测结果,并基于第一检测结果,从附属对话语料中选取满足预置差异条件的语句作为最终集外语料;语料训练模块605,用于将最终集外语料标注为集外意图,并采用原始对话语料和最终集外语料,对意图识别模型进行训练,得到新的意图识别模型。
具体的,掩码构建模块602包括:字符计算单元6021,用于对原始对话语料进行分句处理,得到多个语句,并分别计算原始对话语料每个语句的字符串长度;掩码组合单元6022,用于采用与各字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;语料对应单元6023,用于采用掩码构建原始对话语料对应的掩码列表。
具体的,掩码构建模块602还包括:元素选取单元6024,用于根据预置选取规则,分别确定掩码列表中每段掩码对应的调整位置;元素替换单元6025,用于采用预置第二元素值替换调整位置上的第一元素值,得到调整后的掩码列表。
具体的,第二意图模块603包括:词语选取单元6031,用于分别确定数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取原始语料中每个语句与第一元素值位置相同的单字;顺序组合单元6032,用于按照第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;语句拼接单元6033,用于对各新的语句进行拼接,得到原始对话语料对应的附属对话语料。
具体的,最终集外模块604还包括:若第一检测结果为第一意图类别和第二意图类别相同,则将附属对话语料作为初始对话语料;若第一检测结果为第一意图类别和第二意图类别不同,则将原始对话语料作为初始对话语料;对初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到初始对话语料满足预置退出条件时停止,得到新的第一检测结果。
具体的,最终集外语料604包括:差异判断单元6041,用于根据第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;备选选择单元6042,用于若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;备选识别单元6043,用于通过意图识别模型识别备选集外语料中每个语句的第三意图类别;最终选择单元6044,用于对第一意图类别和第三意图类别进行差异程度检测,得到第二检测结果,并根据第二检测结果,从备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
具体的,最终集外单元6044包括根据第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料。
本实施例在上一实施例的基础上,详细描述了各个模块的具体功能以及部分模块的单元构成,通过本装置,通过使用掩码元素对原始对话语料进行处理得到掩码列表,进而通过元素置换、意图识别、差异检测的循环处理,直至将原始对话语料中每个语句中的词语都进行相应处理后,得到备选集外语料,进而通过对备选集外语料进行意图识别和差异条件判断得到最终集外语料,进行将其和原始对话语料进行基础机器学习方法训练,得到拒识功能的拒识意图识别模型,不仅能够加快模型的训练速度,还能避免产生语料纠缠的现象,得到对正常语料意图识别效率更高的意图识别模型。
上面图6和图7从模块化功能实体的角度对本发明实施例中的意图识别模型更新装置进行详细描述,下面从硬件处理的角度对本发明实施例中意图识别模型更新设备进行详细描述。
图8是本发明实施例提供的一种意图识别模型更新设备的结构示意图,该意图识别模型更新设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)810(例如,一个或一个以上处理器)和存储器820,一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对意图识别模型更新设备800中的一系列指令操作。更进一步地,处理器810可以设置为与存储介质830通信,在意图识别模型更新设备800上执行存储介质830中的一系列指令操作。
意图识别模型更新设备800还可以包括一个或一个以上电源840,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口860,和/或,一个或一个以上操作系统831,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图8示出的意图识别模型更新设备结构并不构成对意图识别模型更新设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种意图识别模型更新设备,计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的意图识别模型更新方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行意图识别模型更新方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种意图识别模型更新方法,其特征在于,所述意图识别模型的意图识别方法包括:
获取原始对话语料,并通过预置意图识别模型,识别所述原始对话语料中每个语句的第一意图类别;
初始化所述原始对话语料对应的掩码列表,并根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表;
基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料,并通过所述意图识别模型,识别所述附属对话语料中每个语句的第二意图类别;
对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果,并基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料;
将所述最终集外语料标注为集外意图,并采用所述原始对话语料和所述最终集外语料,对所述意图识别模型进行训练,得到新的意图识别模型;
所述初始化所述原始对话语料对应的掩码列表包括:
对所述原始对话语料进行分句处理,得到多个语句,并分别计算所述原始对话语料每个语句的字符串长度;
采用与各所述字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;
采用所述掩码构建所述原始对话语料对应的掩码列表;
所述根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表包括:
根据预置选取规则,分别确定所述掩码列表中每段掩码对应的调整位置;
采用预置第二元素值替换所述调整位置上的第一元素值,得到调整后的掩码列表;
所述基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料包括:
分别确定数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取原始语料中每个语句与所述第一元素值位置相同的单字;
按照所述第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;
对各所述新的语句进行拼接,得到所述原始对话语料对应的附属对话语料。
2.根据权利要求1所述的意图识别模型更新方法,其特征在于,在所述对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果之后,还包括:
若所述第一检测结果为所述第一意图类别和所述第二意图类别相同,则将所述附属对话语料作为初始对话语料;
若所述第一检测结果为所述第一意图类别和所述第二意图类别不同,则将所述原始对话语料作为初始对话语料;
对所述初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到所述初始对话语料满足预置退出条件时停止,得到新的第一检测结果。
3.根据权利要求1所述的意图识别模型更新方法,其特征在于,所述差异条件包括第一差异条件和第二差异条件,所述基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料包括:
根据所述第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;
若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;
通过所述意图识别模型识别所述备选集外语料中每个语句的第三意图类别;
对所述第一意图类别和所述第三意图类别进行差异程度检测,得到第二检测结果,并根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
4.根据权利要求3所述的意图识别模型更新方法,其特征在于,所述根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料包括:
根据所述第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;
若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料。
5.一种意图识别模型更新装置,其特征在于,所述意图识别模型更新装置包括:
语料获取模块,用于获取原始对话语料,并通过预置意图识别模型,识别所述原始对话语料中每个语句的第一意图类别;
掩码构建模块,用于初始化所述原始对话语料对应的掩码列表,并根据预置选取规则调整所述掩码列表中的一组元素值,得到调整后的掩码列表;
第二意图模块,用于基于所述调整后的掩码列表,构建所述原始对话语料对应的附属对话语料,并通过所述意图识别模型,识别所述附属对话语料中每个语句的第二意图类别;
最终集外模块,用于对所述第一意图类别和所述第二意图类别进行差异程度检测,得到第一检测结果,并基于所述第一检测结果,从所述附属对话语料中选取满足预置差异条件的语句作为最终集外语料;
语料训练模块,用于将所述最终集外语料标注为集外意图,并采用所述原始对话语料和所述最终集外语料,对所述意图识别模型进行训练,得到新的意图识别模型;
所述掩码构建模块包括:
字符计算单元,用于对所述原始对话语料进行分句处理,得到多个语句,并分别计算所述原始对话语料每个语句的字符串长度;
掩码组合单元,用于采用与各所述字符串长度相同的预置第一元素值,分别组合成每个语句对应的掩码;
语料对应单元,用于采用所述掩码构建所述原始对话语料对应的掩码列表;
所述掩码构建模块还包括:
元素选取单元,用于根据预置选取规则,分别确定所述掩码列表中每段掩码对应的调整位置;
元素替换单元,用于采用预置第二元素值替换所述调整位置上的第一元素值,得到调整后的掩码列表;
所述第二意图模块包括:
词语选取单元,用于分别确定数值变换后的掩码列表中每段掩码的第一元素值位置,并分别选取原始语料中每个语句与所述第一元素值位置相同的单字;
顺序组合单元,用于按照所述第一元素值位置的顺序,分别对每个语句对应选取到的单字进行顺序组合,对应得到新的语句;
语句拼接单元,用于对各所述新的语句进行拼接,得到所述原始对话语料对应的附属对话语料。
6.根据权利要求5所述的意图识别模型更新装置,其特征在于,所述最终集外模块还用于:
若所述第一检测结果为所述第一意图类别和所述第二意图类别相同,则将所述附属对话语料作为初始对话语料;
若所述第一检测结果为所述第一意图类别和所述第二意图类别不同,则将所述原始对话语料作为初始对话语料;
对所述初始对话语料进行下一轮的对应掩码列表数值变换、意图识别和差异程度检测,直到所述初始对话语料满足预置退出条件时停止,得到新的第一检测结果。
7.根据权利要求5所述的意图识别模型更新装置,其特征在于,所述最终集外模块包括:
差异判断单元,用于根据所述第一检测结果,依次判断每个第一意图类别和每个对应的第二意图类别是否相同;
备选选择单元,用于若不相同,则确定与第一意图类别不同的第二意图类别对应的语句满足预置第一差异条件并作为备选集外语料;
备选识别单元,用于通过所述意图识别模型识别所述备选集外语料中每个语句的第三意图类别;
最终选择单元,用于对所述第一意图类别和所述第三意图类别进行差异程度检测,得到第二检测结果,并根据所述第二检测结果,从所述备选集外语料中选取满足预置第二差异条件的语句作为最终集外语料。
8.根据权利要求7所述的意图识别模型更新装置,其特征在于,所述最终选择单元具体用于:
根据所述第二检测结果,判断每个第一意图类别和每个对应的第三意图类别的差异程度是否大于预置差异程度阈值;
若大于,则确定差异程度大于预置差异程度阈值的第三意图类别对应的语句满足第二差异条件并作为最终集外语料。
9.一种意图识别模型更新设备,其特征在于,所述意图识别模型更新设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述意图识别模型更新设备执行如权利要求1-4中任一项所述的意图识别模型更新方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-4中任一项所述意图识别模型更新方法的步骤。
CN202111095912.8A 2021-09-18 2021-09-18 意图识别模型更新方法及相关设备 Active CN113792540B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111095912.8A CN113792540B (zh) 2021-09-18 2021-09-18 意图识别模型更新方法及相关设备
PCT/CN2022/071694 WO2023040153A1 (zh) 2021-09-18 2022-01-13 意图识别模型更新方法、装置、设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111095912.8A CN113792540B (zh) 2021-09-18 2021-09-18 意图识别模型更新方法及相关设备

Publications (2)

Publication Number Publication Date
CN113792540A CN113792540A (zh) 2021-12-14
CN113792540B true CN113792540B (zh) 2024-03-22

Family

ID=78878897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095912.8A Active CN113792540B (zh) 2021-09-18 2021-09-18 意图识别模型更新方法及相关设备

Country Status (2)

Country Link
CN (1) CN113792540B (zh)
WO (1) WO2023040153A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792540B (zh) * 2021-09-18 2024-03-22 平安科技(深圳)有限公司 意图识别模型更新方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020143844A1 (zh) * 2019-01-10 2020-07-16 深圳Tcl新技术有限公司 意图分析方法、装置、显示终端及计算机可读存储介质
CN111552821A (zh) * 2020-05-14 2020-08-18 北京华宇元典信息服务有限公司 法律意图搜索方法、法律意图搜索装置和电子设备
CN112131890A (zh) * 2020-09-15 2020-12-25 北京慧辰资道资讯股份有限公司 一种会话意图智能识别模型的构建方法、装置及设备
CN112988963A (zh) * 2021-02-19 2021-06-18 平安科技(深圳)有限公司 基于多流程节点的用户意图预测方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559617B (en) * 2017-02-13 2020-06-24 Toshiba Kk A dialogue system, a dialogue method and a method of adapting a dialogue system
CN110070852B (zh) * 2019-04-26 2023-06-16 平安科技(深圳)有限公司 合成中文语音的方法、装置、设备及存储介质
CN111611366B (zh) * 2020-05-20 2023-08-11 北京百度网讯科技有限公司 意图识别优化处理方法、装置、设备及存储介质
CN112417127B (zh) * 2020-12-02 2023-08-22 网易(杭州)网络有限公司 对话模型的训练、对话生成方法、装置、设备及介质
CN112686051B (zh) * 2020-12-22 2024-05-31 中国科学技术大学 语义识别模型训练方法、识别方法、电子设备、存储介质
CN113792540B (zh) * 2021-09-18 2024-03-22 平安科技(深圳)有限公司 意图识别模型更新方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020143844A1 (zh) * 2019-01-10 2020-07-16 深圳Tcl新技术有限公司 意图分析方法、装置、显示终端及计算机可读存储介质
CN111552821A (zh) * 2020-05-14 2020-08-18 北京华宇元典信息服务有限公司 法律意图搜索方法、法律意图搜索装置和电子设备
CN112131890A (zh) * 2020-09-15 2020-12-25 北京慧辰资道资讯股份有限公司 一种会话意图智能识别模型的构建方法、装置及设备
CN112988963A (zh) * 2021-02-19 2021-06-18 平安科技(深圳)有限公司 基于多流程节点的用户意图预测方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2023040153A1 (zh) 2023-03-23
CN113792540A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN107330011A (zh) 多策略融合的命名实体的识别方法及装置
CN106919673A (zh) 基于深度学习的文本情绪分析系统
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
CN111339268A (zh) 实体词识别方法和装置
CN108536735B (zh) 基于多通道自编码器的多模态词汇表示方法与系统
CN113836928B (zh) 文本实体生成方法、装置、设备及存储介质
CN111858843A (zh) 一种文本分类方法及装置
CN114298121A (zh) 基于多模态的文本生成方法、模型训练方法和装置
CN113849653B (zh) 一种文本分类方法及装置
CN111666766A (zh) 数据处理方法、装置和设备
CN111539209A (zh) 用于实体分类的方法和装置
CN110969023B (zh) 文本相似度的确定方法及装置
CN112328748A (zh) 一种用于保险配置意图识别的方法
CN112528658A (zh) 层次化分类方法、装置、电子设备和存储介质
CN113704410A (zh) 情绪波动检测方法、装置、电子设备及存储介质
CN113312924A (zh) 一种基于nlp高精解析标签的风险规则分类方法及装置
CN113792540B (zh) 意图识别模型更新方法及相关设备
CN115687567A (zh) 一种不需要标注数据的短文本搜索相似长文本方法
CN113010643B (zh) 佛学领域词汇的处理方法、装置、设备及存储介质
Chandra et al. Contextual emotion detection in text using deep learning and big data
CN114611529B (zh) 意图识别方法和装置、电子设备及存储介质
CN114239583B (zh) 实体链指模型的训练及实体链指方法、装置、设备及介质
CN112364666B (zh) 文本表征方法、装置及计算机设备
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质
CN115408506A (zh) 联合语义解析和语义成分匹配的nl2sql的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant