CN110633724A - 意图识别模型动态训练方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种意图识别模型动态训练方法、设备和计算机可读存储介质，属于人工智能领域。其中，该方法包括：接收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别；当识别成功后，自动标注输入信息及意图识别结果，并将标注结果作为追加的训练语料；当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型进行动态训练，生成新的意图识别模型。本发明实施例在不增加标注语料的长度的前提下，能有效利用多样化输入对已有的意图识别模型进行动态训练及更新，弥补了现有意图识别模型需要大量标注好语料动态训练的不足，提高意图识别模型的精确度，也最大程度上降低意图识别模型的动态训练成本。

Description

意图识别模型动态训练方法、装置、设备和存储介质

技术领域

本发明涉及人工智能领域，特别涉及一种意图识别模型动态训练方法、装置、设备和存储介质。

背景技术

意图识别是自然语言处理领域中一个重要的研究方向，主要用于识别用户的行为意图。现有的意图识别系统都是在事先动态训练好的意图识别模型上进行识别，即意图识别系统的识别效果依赖于事先动态训练好的意图识别模型，而意图识别模型的生成又依赖于事先标注好的训练语料，事先标注的训练语料越多越全，意图识别系统识别效果就越好，但另一方面，训练语料太多也会增加意图识别模型的动态训练成本，且这种模型建立的方式的实用性也不强。

因此，如何在不增加标注语料的长度的前提下，有效地根据用户多样化的输入对事先动态训练好的意图识别模型进行动态训练及更新，提高意图识别模型的精确度，进而提高意图识别系统的识别准确率是急需解决的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种意图识别模型动态训练方法、设备和存储介质。以解决在不增加标注语料的长度的前提下，有效地根据用户多样化的输入对事先动态训练好的意图识别模型进行动态训练及更新，从而提高意图识别模型的精确度的问题。

本发明实施例解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供的一种意图识别模型动态训练方法包括：

接收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别；

当识别成功后，自动标注输入信息及意图识别结果，并将标注结果作为追加的训练语料；

当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型进行动态训练，生成新的意图识别模型。

根据本发明的另一个方面，提供一种意图识别模型的动态训练装置，该装置包括：

输入模块，用于接收待识别的输入信息；

识别模块，用于收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别；

自动标注模块，用于当识别成功后，自动标注输入信息及意图识别结果，并作为追加的训练语料，

训练模块，用于当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型再次进行动态训练，生成新的意图识别模型。

根据本发明的再一个方面，提供的一种意图识别模型动态训练设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述意图识别模型动态训练方法的步骤。

根据本发明的又一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现上述意图识别模型动态训练方法的步骤。

本发明实施例提供的意图识别模型动态训练方法、装置、设备和计算机可读存储介质，在不增加标注语料的长度的前提下，能有效利用多样化输入对已有的意图识别模型进行动态训练及更新，弥补了现有意图识别模型需要大量标注语料动态训练的不足，提高意图识别模型的精确度，也最大程度上降低意图识别模型的动态训练成本。

附图说明

图1为本发明实施例一提供的一种意图识别模型动态训练方法的流程图；

图2为本发明实施例二提供的另一种意图识别模型动态训练方法的流程图；

图3为本发明实施例三提供的基于输入信息及意图识别结果的自动标注方法流程图；

图4为本发明实施例四提供的基于输入信息的自动辅助人工的标注方法流程图；

图5为本发明实施例五提供的在足球领域意图识别模型动态训练方法的流程图；

图6为本发明实施例六提供的意图识别模型动态训练装置的模块结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本发明实施例提供一种意图识别模型的动态训练方法，该方法包括：

S101、接收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别。

S102、当识别成功后，自动标注输入信息及意图识别结果，将标注结果作为追加的训练语料。

具体的，如果意图识别成功，那么用户的输入信息已做好分词、实体识别和属性关系抽取，所以可结合用户的输入信息和识别结果自动进行标注，并将标注结果作为追加的训练语料。如果意图识别失败，则需要用户人工对识别失败的输入信息进行标注，再将标注结果作为追加的训练语料。

S103、当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型进行动态训练，生成新的意图识别模型。

具体的，当追加的语料的长度超过预设的阈值时，则根据训练语料对已有的意图识别模型再次进行动态训练，生成新的精确度更高的意图识别模型。

需要特别说明的是，意图识别系统加载意图识别模型的方式是热加载，即意图识别模型的动态训练不会影响意图识别系统的识别。另外，动态训练意图识别模型的具体方法可以基于现有的统计学习方法，也可以基于现有的机器学习方法。

本发明实施例中，在不增加标注语料的长度的前提下，能有效利用多样化输入对已有的意图识别模型进行动态训练及更新，弥补了现有意图识别模型需要大量标注语料动态训练的不足，提高意图识别模型的精确度，也最大程度上降低意图识别模型的动态训练成本。

实施例二

如图2所示，本发明实施例提供另一种意图识别模型的动态训练方法，该方法包括：

S201、接收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别。

S202、当识别成功后，自动标注输入信息及意图识别结果。

S203、当识别失败后，对输入信息进行自动辅助人工标注，并将标注结果作为追加的训练语料。

S204、当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型再次进行动态训练，生成新的意图识别模型。

本发明实施例在上述示例一的基础上，对识别失败的输入信息辅助人工标注后，同样作为追加的语料对意图识别模型进行动态训练。

实施例三

如图3所示，本发明实施例提供一种基于输入信息及识别结果的自动标注方法，该方法包括：

S301、获取意图识别得到的输入信息的语义分析结果和意图识别结果。

其中，语义分析结果包括分词结果、实体识别结果、属性抽取结果和/或关系抽取结果。

具体的，由于意图识别已成功，说明对用户的输入已做好分词、实体识别和属性关系抽取等语义分析成功，所以获取识别过程用户输入信息的语义分析结果和识别结果，并对用户输入及识别结果自动标注。

S302、根据语义分析结果自动标注实体标签、属性标签和/或关系标签。

具体的，根据分词结果及实体识别结果，将识别出的实体对应的词语标注为实体标签；根据分词结果及属性抽取结果，将识别出的属性名对应的词语标记为属性标签；根据分词结果及关系抽取结果，将识别出的关系对应的词语标记为关系标签。

S303、将意图识别结果标注为意图标签。

本发明实施例中，通过利用识别成功对应的用户输入信息的语义分析结果和意图识别结果，自动标注输入的信息，从而不需要人工标注，提高了训练的效率和准确性。

实施例四

如图4所示，本发明实施例提供一种基于输入信息的自动辅助人工标注方法，该方法包括：

S401、对输入信息进行分词处理，得到分词结果。

S402、根据分词结果进行依存句法分析，得到依存关系集合。

具体的，依存句法分析是利用句子中词与词之间的依存关系来表示词语的句法结构信息。比如主谓、动宾、定语等结构关系，并用树状结构来表示整句的结构(如主谓宾、定状补等)。此集合中主要包括词的词性及词与词之间的关系(如：主从关系、主从被动关系、动宾关系、并列关系、相关关系等)；依存句法分析可以直接使用现有的哈工大LTP进行分析。

S403、将依存关系集合中标记为主语的名词或人称代词作为候选主语集输出给用户确认，将用户确认的主语标记为实体标签。

具体的，首先从依存关系集合中查找是否有主从关系的词语，若有，直接从主从关系的词语中获取用户输入信息的主语；若没有，则将依存关系集合中所有标记为主语的名词或人称代词作为候选主语集，并将候选主语集输出给用户人工确定主语，将用户确定的主语标记为实体标签。

S404、将依存关系集合中标记为宾语的动词或名词作为候选宾语集输出给用户确认，将用户确认的宾语标记为意图标签/实体标签。

具体的，从依存关系集合查找宾语来确定意图标签或实体标签，当查找不到宾语时，再根据依存关系集合查找是否有动宾关系的词语，若有，直接从动宾关系的词语中获取用户输入信息的宾语；若没有，则依存关系集合中所有标记为宾语的动词或名词作为候选宾语集，并将候选宾语集输出给用户人工确定宾语，若确定的宾语为动词，则将其标记为意图标签；若确定的宾语为名词，则将其标记为实体标签。

S405、将依存关系集合中有依存关系的所有词语作为候选关系集输出给用户确认，将用户确认的关系标记为关系标签。

S406、将依存关系集合中排除用户确定的主语和宾语，从排除后的依存关系集合中将所有名词作为候选属性集输出给用户确认，将用户确认的属性标记为属性标签。

本发明实施例中，通过依存关系集合生成候选主语集、候选宾语集、候选关系集、和/或候选属性集，并输出给用户确定实体标签、意图标签、属性标签、和/或关系标签，降低了人工标注的难度，提高了人工标注的效率。

实施例五

如图5所示，本发明实施例以足球领域意图识别模型动态训练为例进行说明，仅为了简单起见，指定了足球领域的意图识别模型动态训练，需要说明的是，本发明也适用于其它领域的意图识别模型动态训练。

S501、获取足球领域相关联赛及相关球队的所有信息，并对其进行构建生成标准问答库。

具体的，可以通过爬虫或其它技术从互联网上抓取足球领域相关联赛及相关球队的所有信息，并对其进行构建生成标准问答库。

S502、从所有联赛及球队中选取典型的联赛及球队，并对其信息进行人工标注，生成原始的训练语料。

具体的，比如选取西甲联赛下的巴塞罗那球队，具体实现方式如下：

首先确定出球队集球员的所有属性，如球队的属性有球队名、球队所在城市、球队主场、球队成立时间、球队主教练等。球员的属性有球员姓名、球员号码、球员身高、球员体重、球员身价、球员国籍等。另外，球员和球队还存在一个所属关系。接着根据步骤S501中的语料、球队名称、球员姓名、确定的球队和球员属性、球员与球队的所属关系，分别标注实体标签、属性标签及关系标签。

S503、根据生成的训练语料进行动态训练，并生成初始的意图识别模型。

S504、接收到用户的询问信息后，根据初始的意图识别模型及特征模板对询问信息进行识别用户的意图。

其中，初始的意图识别模型对应一个初始的用于识别用户问法的特征模板，比如用户询问“巴塞罗那球队梅西的身价是多少？”，若根据初始的意图识别模型及特征模板可以成功识别出用户的意图，则进入步骤S506；否则进入步骤S507。

S505、判断识别是否成功，如果成功，则进入步骤S506；否则进入步骤S507。

S506、将用户的输入信息及识别结果自动标注并作为追加的训练语料，当追加的语料的长度超过预设的阈值时，对初始化意图识别模型再次进行动态训练，生成新的意图识别模型。

具体的，自动动态训练子模块会将用户的输入信息及识别结果自动标注并作为追加的训练语料。并根据预设的追加的语料的长度阈值判断是否对已有的意图识别模型再次进行动态训练，并动态更新用于识别用户问法的特征模板；对初始化意图识别模型再次进行动态训练，生成新的精确度更高的意图识别模型。

S507、将用户的输入信息通过自动辅助人工标注进行标注,将标注结果作为追加的训练语料，当追加的语料的长度超过预设的阈值时，对初始化意图识别模型进行训练得到新的意图识别模型，并同步更新特征模板。

本发明实施例中，仅为了简单起见，指定了足球领域的意图识别模型动态训练，需要说明的是，本发明也适用于其它领域的意图识别模型动态训练。

实施例六

如图6所示，本发明实施例提供一种意图识别模型的动态训练装置，该装置包括输入模块10、识别模块20、自动标注模块30、辅助人工标注模块40、以及训练模块50。

输入模块10，用于接收待识别的输入信息；

识别模块20，用于收到待识别的输入信息后，根据已有的意图识别模型对输入信息进行意图识别；

自动标注模块30，用于当识别成功后，自动标注输入信息及意图识别结果，并作为追加的训练语料。

辅助人工标注模块40，用于当识别失败后，对输入信息进行自动辅助人工标注，并将标注结果作为追加的训练语料。

训练模块50，用于当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型再次进行动态训练，生成新的意图识别模型。

具体的，输入模块10接收用户的输入请求，并将用户的输入信息送入识别模块20，意图识别模块20根据已有的意图识别模型识别用户的行为意图，当识别成功后，识别成功对应的用户输入及识别结果自动标注并作为追加的训练语料输出给训练模块50。

当识别失败后，辅助人工标注模块40对输入信息进行自动辅助人工标注，对识别失败的用户输入信息进行分词，对分词结果进行依存句法分析，利用句子中词与词之间的依存关系来表示词语的句法结构信息(如主谓、动宾、定中等结构关系)，并用树状结构来表示整句的结构(如主谓宾、定状补等)，生成依存关系集合，此集合中主要包括词的词性及词与词之间的关系(如：主从关系、主从被动关系、动宾关系、并列关系、相关关系等)；依存句法分析可以直接使用现有的哈工大LTP进行分析。并识别失败对应的用户输入信息以及标注结果作为追加的训练语料输出给训练模块50。

训练模块50用于当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型再次进行动态训练，生成新的意图识别模型。包括根据自动标注的语料和人工标标注的语料对已有的意图识别模型进行再次训练。需要特别说明的是，意图识别系统加载意图识别模型的方式是热加载，即意图识别模型的动态训练不会影响意图识别系统的识别。另外，动态训练意图识别模型的具体方法可以基于现有的统计学习方法，也可以基于现有的机器学习方法。

需要说明的是，上述意图识别模型动态训练装置与实施例一到实施例五的意图识别模型动态训练方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。

实施例七

本发明实施例还提供一种意图识别模型动态训练设备，该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如实施例一到实施例五的意图识别模型动态训练方法的步骤。

此外，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，如实施例一到实施例五的意图识别模型动态训练方法的步骤。

需要说明的是，上述意图识别模型动态训练设备和计算机可读存储介质，与意图识别模型动态训练方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。

本发明实施例提供的意图识别模型动态训练方法、装置、设备和存储介质，在不增加标注语料的长度的前提下，能有效利用多样化输入对已有的意图识别模型进行动态训练及更新，弥补了现有意图识别模型需要大量标注语料动态训练的不足，提高意图识别模型的精确度，也最大程度上降低意图识别模型的动态训练成本。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种意图识别模型的动态训练方法，该方法包括：

接收到待识别的输入信息后，根据已有的意图识别模型对所述输入信息进行意图识别；

当识别成功后，自动标注所述输入信息及意图识别结果，并将标注结果作为追加的训练语料；

当追加的语料的长度超过预设的阈值时，根据所述训练语料对已有的意图识别模型进行动态训练，生成新的意图识别模型。

2.根据权利要求1所述的意图识别模型动态训练方法，其特征在于，所述自动标注所述输入信息及意图识别结果，具体包括：

获取意图识别得到的输入信息的语义分析结果和意图识别结果，所述语义分析结果包括分词结果、实体识别结果、属性抽取结果和/或关系抽取结果；

根据所述语义分析结果自动标注实体标签、属性标签和/或关系标签；

将意图识别结果标注为意图标签。

3.根据权利要求1所述的意图识别模型动态训练方法，其特征在于，所述根据所述语义分析结果自动标注实体标签、属性标签和/或关系标签包括：

根据分词结果及实体识别结果，将识别出的实体对应的词语标注为实体标签；

根据分词结果及属性抽取结果，将识别出的属性名对应的词语标记为属性标签；

根据分词结果及关系抽取结果，将识别出的关系对应的词语标记为关系标签。

4.根据权利要求1所述的意图识别模型动态训练方法，其特征在于，所述根据已有的意图识别模型对所述输入信息进行意图识别之后，该方法还包括；

当识别失败后，对所述输入信息进行自动辅助人工标注，并将标注结果作为追加的训练语料。

5.根据权利要求3所述的意图识别模型动态训练方法，其特征在于，所述对所述输入信息进行自动辅助人工标注具体包括：

对所述输入信息进行分词处理，得到分词结果；

根据所述分词结果进行依存句法分析，得到依存关系集合；

根据所述依存关系集合生成候选主语集、候选宾语集、候选关系集、和/或候选属性集，并输出给用户确定实体标签、意图标签、属性标签、和/或关系标签。

6.根据权利要求5所述的意图识别模型动态训练方法，其特征在于，所述根据所述依存关系集合生成候选主语集、候选宾语集、候选属性集和/或候选关系集，具体包括：

将依存关系集合中标记为主语的名词或人称代词作为候选主语集；

将依存关系集合中标记为宾语的动词或名词作为候选宾语集；

将依存关系集合中有依存关系的所有词语作为候选关系集；

将依存关系集合中排除用户确定的主语和宾语，从排除后的依存关系集合中将所有名词作为候选属性集。

7.根据权利要求5所述的意图识别模型动态训练方法，其特征在于，所述输出给用户确定实体标签、意图标签、属性标签、和/或关系标签，具体包括：

将用户确定的主语标记为实体标签；

当用户确定的宾语是动词时，将所述宾语标记为意图标签，当用户确定的宾语是名词时，将所述宾语标记为实体标签；

将用户确定的关系标记为关系标签；

将用户确定的属性标记为属性标签。

8.一种意图识别模型动态训练装置，该装置包括：

输入模块，用于接收待识别的输入信息；

识别模块，用于收到待识别的输入信息后，根据已有的意图识别模型对所述输入信息进行意图识别；

自动标注模块，用于当识别成功后，自动标注所述输入信息及意图识别结果，并作为追加的训练语料，

训练模块，用于当追加的语料的长度超过预设的阈值时，根据训练语料对已有的意图识别模型再次进行动态训练，生成新的意图识别模型。

9.一种意图识别模型动态训练设备，其特征在于，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的意图识别模型动态训练方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的意图识别模型动态训练方法的步骤。

Images