CN110619047B - 一种自然语言模型的构建方法、装置以及可读存储介质 - Google Patents

Abstract

本发明公开了一种自然语言模型的构建方法、装置以及可读存储介质，包括：获取训练数据，训练数据包括测试集和多个对应于测试集的结果集；将所获取的测试集作为联合模型的输入，得到多个对应测试集的识别结果；根据所得到多个对应测试集的识别结果和所获取的结果集，得到多个对应识别结果的识别损失；根据所得到多个对应识别结果的识别损失，更新联合模型中的参数信息。由此，将训练集作为联合模型的输入，同时训练领域识别模型、意图识别模型和语义槽识别模型，当更新参数时，联合模型中的三种模型中的参数信息能互相被参与并配合着进行更新，本方案构建的模型能减少前后模块之间的误差传播，提高了模型的准确度。

Description

一种自然语言模型的构建方法、装置以及可读存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种自然语言模型的构建方法、装置以及可读存储介质。

背景技术

自然语言理解是对话系统的基础模块,这个模块的作用是对一条文本,确定这条文本的领域,意图,语义槽，领域和意图的确定是分类任务,语义槽的确定是序列标注任务。

现有技术中，自然语言模型作为一个链路来实现的,也就是说这个模块会有三个子模块,分别进行领域分类,意图分类,语义槽识别,这种做法有一个明显的缺点,就是误差传播,前一个模块的错误会导致后一个模块的错误,后一个模块的准确性强依赖链路前一个模块的效果，导致模型在使用过程中输出的准确度不高。

发明内容

本发明实施例提供了一种自然语言模型的构建方法、装置以及可读存储介质，具有提升模型输出的准确度。

本发明一方面提供一种自然语言模型的构建方法，所述方法包括：获取训练数据，所述训练数据包括测试集和多个对应于所述测试集的结果集；将所获取的测试集作为联合模型的输入，得到多个对应所述测试集的识别结果；根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失；根据所得到多个对应所述识别结果的识别损失，更新所述联合模型中的参数信息。

在一可实施方式中，所述多个对应于所述测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，所述多个对应所述测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果。

在一可实施方式中，所述根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失，包括：将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

在一可实施方式中，所述联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型；所述根据所得到多个对应所述识别结果的识别损失，更新所述联合模型中的参数信息，包括：将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值；根据所得到的损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

在一可实施方式中，根据所得到的损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息，包括：计算所得到的损失值和历史损失值在设定时间段内的损失变化率；若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本发明另一方面提供一种自然语言模型的构建装置，所述装置包括：获取模块，用于获取训练数据；所述训练数据包括测试集和多个对应于所述测试集的结果集；识别模块，用于将所获取的测试集作为联合模型的输入，得到多个对应所述测试集的识别结果；计算模块，用于根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失；更新模块，用于根据所得到多个对应所述识别结果的识别损失，更新所述联合模型中的参数信息。

在一可实施方式中，所述多个对应于所述测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，所述多个对应所述测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果；所述计算模块具体用于：将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

在一可实施方式中，所述联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型；所述更新模块，还具体用于将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值；根据所得到的损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

在一可实施方式中，所述更新模块在将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值之后，还具体用于：计算所得到的损失值和历史损失值在设定时间段内的损失变化率；若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本发明另一方面提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行一种自然语言模型的构建方法。

在本发明实施例中，将训练集作为联合模型的输入，同时对领域识别模型、意图识别模型和语义槽识别模型进行训练，当需要更新参数时，联合模型中的领域识别模型、意图识别模型和语义槽识别模型中的参数信息能互相被参与并且配合着进行更新。与传统中三个模型单独训练相比，本方案构建的模型在使用中能减少前后模块之间的误差传播，提高了模型的准确度。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1为本发明实施例一种自然语言模型的构建方法的实现流程示意图；

图2为本发明实施例一种自然语言模型的构建方法的具体实现流程示意图；

图3为本发明实施例一种自然语言模型的构建装置的结构组成示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种自然语言模型的构建方法的实现流程示意图；图2为本发明实施例一种自然语言模型的构建方法的具体实现流程示意图。

结合图1和图2所示，本发明实施例提供一种自然语言模型的构建方法，该方法包括：

步骤101，获取训练数据，训练数据包括测试集和多个对应于测试集的结果集。

步骤102，将所获取的测试集作为联合模型的输入，得到多个对应测试集的识别结果。

步骤103，根据所得到多个对应测试集的识别结果和所获取的结果集，得到多个对应识别结果的识别损失。

步骤104，根据所得到多个对应识别结果的识别损失，更新联合模型中的参数信息。

本实施例中，首先通过步骤101获取包含测试集和多个结果集的训练数据，其中，测试集和结果集均为非结构化的文本信息，测试集和多个结果集中各自分别包含多个文本信息。

在步骤102中，联合模型包括领域识别模型、意图识别模型和语义槽识别模型。具体步骤为：将所获取到的测试集分别作为领域识别模型、意图识别模型和语义槽识别模型的输入，从领域识别模型、意图识别模型和语义槽识别模型中分别得到对应测试集的识别结果。

然后再通过步骤103，然后将从领域识别模型、意图识别模型和语义槽识别模型中分别得到对应测试集的识别结果和训练数据中的结果集进行处理，得到对应识别结果的识别损失。

最后通过步骤104，根据所得到的识别损失来更新联合模型中的参数信息。

本方案中，将训练集作为联合模型的输入，同时对领域识别模型、意图识别模型和语义槽识别模型进行训练，当需要更新参数时，联合模型中的领域识别模型、意图识别模型和语义槽识别模型中的参数信息能互相被参与并且配合着进行更新。与传统中三个模型单独训练相比，本方案构建的模型在使用中能减少前后模块之间的误差传播，提高了模型的准确度。

在一可实施方式中，多个对应于测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，多个对应测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果。

本实施例中，在接收到的训练数据的结果集中包括对应于领域识别模型的实际领域结果、对应于意图识别模型的实际意图结果和对应于语义槽识别模型的实际语义槽结果。

相应的，在将所获取的测试集作为联合模型(即领域识别模型、意图识别模型和语义槽识别模型)的输入后，对应得到领域识别结果、意图识别结果和语义槽识别结果。

在一可实施方式中，根据所得到多个对应测试集的识别结果和所获取的结果集，得到多个对应识别结果的识别损失，包括：

将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

参考图2，本实施例中，步骤103的具体步骤为：将得到的领域识别结果、意图识别结果和语义槽识别结果各自与对应的实际领域结果、实际意图结果、实际语义槽结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

参考图2，在一可实施方式中，联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型。

根据所得到多个对应识别结果的识别损失，更新联合模型中的参数信息，包括：

将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值；

根据所得到的损失值和历史损失值，更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本实施例中，步骤104的具体步骤为：在计算得到领域识别损失、意图识别损失和语义槽识别损失之后，相加所计算得到的领域识别损失、意图识别损失和语义槽识别损失，得到总的损失值。

再根据当前得到的损失值与以往模型测试所得的历史损失值，来更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

在一可实施方式中，根据所得到的损失值和历史损失值，更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息，包括：

计算所得到的损失值和历史损失值在设定时间段内的损失变化率；

若判定所计算得到的损失变化率大于预设值时，则更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本实施例中，在获得当前得到的损失值和历史损失值后，将所有的损失值按照时间先后排序，并计算得到在某个设定时间段之间段损失变化率，该时间段由系统事先设定。

接着判断所计算得到的损失变化率是否小于预设值，若判定所计算得到的损失变化率小于预设值，则说明损失变化趋于平稳，此时，模型构建完成；相反，若判定所计算得到的损失变化率大于预设值，则同时更新领域识别模型、意图识别模型和语义槽识别模型中的参数信息，并继续训练更新后的模型，直到计算得到的损失率小于预设值为止。

图3为本发明实施例一种自然语言模型的构建装置的结构组成示意图。

基于上文提供的一种自然语言模型的构建方法，本发明还提供一种自然语言模型的构建装置，结合图3所示，装置包括：

获取模块201，用于获取训练数据；训练数据包括测试集和多个对应于测试集的结果集；

识别模块202，用于将所获取的测试集作为联合模型的输入，得到多个对应测试集的识别结果；

计算模块203，用于根据所得到多个对应测试集的识别结果和所获取的结果集，得到多个对应识别结果的识别损失；

更新模块204，用于根据所得到多个对应识别结果的识别损失，更新联合模型中的参数信息。

本实施例中，首先通过获取模块201获取包含测试集和多个结果集的训练数据，其中，训练集和结果集均为非结构化的文本信息，测试集和多个结果集中各自分别包含多个文本信息。

参考图2，联合模型包括领域识别模型、意图识别模型和语义槽识别模型。识别模块202的具体操作为：将所获取到的测试集分别作为领域识别模型、意图识别模型和语义槽识别模型的输入，从领域识别模型、意图识别模型和语义槽识别模型中分别得到对应测试集的识别结果。

然后再通过计算模块203，将从领域识别模型、意图识别模型和语义槽识别模型中分别得到对应测试集的识别结果和训练数据中的结果集进行处理，得到对应识别结果的识别损失。

最后通过更新模块204，根据所得到的识别损失来更新联合模型中的参数信息。

参考图2，本方案中，将训练集作为联合模型的输入，同时对领域识别模型、意图识别模型和语义槽识别模型进行训练，当需要更新参数时，联合模型中的领域识别模型、意图识别模型和语义槽识别模型中的参数信息能互相被参与并且配合着进行更新。与传统中三个模型单独训练相比，本方案构建的模型在使用中能减少前后模块之间的误差传播，提高了模型的准确度。

在一可实施方式中，多个对应于测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，多个对应测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果；

参考图2，计算模块203具体用于将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

本实施例中，在接收到的训练数据的结果集中包括对应于领域识别模型的实际领域结果、对应于意图识别模型的实际意图结果和对应于语义槽识别模型的实际语义槽结果。

计算模块203具体步骤为：将得到的领域识别结果、意图识别结果和语义槽识别结果各自与对应的实际领域结果、实际意图结果、实际语义槽结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

在一可实施方式中，联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型；

更新模块204还具体用于：将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值；

根据所得到的损失值和历史损失值，更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本实施例中，在计算得到领域识别损失、意图识别损失和语义槽识别损失之后，更新模块204还具体用于相加领域识别损失、意图识别损失和语义槽识别损失，得到总的损失值。

再根据当前得到的损失值与以往模型测试所得的历史损失值，来更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

在一可实施方式中，更新模块204在将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值之后，还具体用于：

计算所得到的损失值和历史损失值在设定时间段内的损失变化率；

若判定所计算得到的损失变化率大于预设值时，则更新联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

本实施例中，在获得当前得到的损失值和历史损失值后，更新模块204还具体用于将所有的损失值按照时间先后排序，并计算得到在某个设定时间段之间段损失变化率，该时间段由系统事先设定。

更新模块204接着判断所计算得到的损失变化率是否小于预设值，若判定所计算得到的损失变化率小于预设值，则说明损失变化趋于平稳，此时，模型构建完成；相反，若判定所计算得到的损失变化率大于预设值，则同时更新领域识别模型、意图识别模型和语义槽识别模型中的参数信息，并继续训练更新后的模型，直到计算得到的损失率小于预设值为止。

基于上文提供的一种自然语言模型的构建方法，本发明还提供一种计算机可读存储介质，当指令被执行时用于，方法包括：获取训练数据，训练数据包括测试集和多个对应于测试集的结果集；将所获取的测试集作为联合模型的输入，得到多个对应测试集的识别结果；根据所得到多个对应测试集的识别结果和所获取的结果集，得到多个对应识别结果的识别损失；根据所得到多个对应识别结果的识别损失，更新联合模型中的参数信息。

本方案中，将训练集作为联合模型的输入，同时对领域识别模型、意图识别模型和语义槽识别模型进行训练，当需要更新参数时，联合模型中的领域识别模型、意图识别模型和语义槽识别模型中的参数信息能互相被参与并且配合着进行更新。与传统中三个模型单独训练相比，本方案构建的模型在使用中能减少前后模块之间的误差传播，提高了模型的准确度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种自然语言模型的构建方法，其特征在于，所述方法包括：

获取训练数据，所述训练数据包括测试集和多个对应于所述测试集的结果集；

将所获取的测试集作为联合模型的输入，得到多个对应所述测试集的识别结果；其中，所述联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型；

相应的，所述将所获取的测试集作为联合模型的输入，得到多个对应所述测试集的识别结果，包括：

将所述测试集分别作为所述领域识别模型、所述意图识别模型和所述语义槽识别模型的输入，从所述领域识别模型、所述意图识别模型和所述语义槽识别模型中分别得到对应所述测试集的识别结果；

根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失，所述多个对应所述识别结果的识别损失包括：领域识别损失、意图识别损失和语义槽识别损失；

将所述领域识别损失、所述意图识别损失和所述语义槽识别损失进行相加，得到损失值；

根据所述损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

2.根据权利要求1所述的方法，其特征在于，所述多个对应于所述测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，所述多个对应所述测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失，包括：

将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

4.根据权利要求3所述的方法，其特征在于，根据所得到的损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息，包括：

计算所得到的损失值和历史损失值在设定时间段内的损失变化率；

若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

5.一种自然语言模型的构建装置，其特征在于，所述装置包括：

获取模块，用于获取训练数据；所述训练数据包括测试集和多个对应于所述测试集的结果集；

识别模块，用于将所获取的测试集作为联合模型的输入，得到多个对应所述测试集的识别结果；其中，所述联合模型至少包括领域识别模型、意图识别模型和语义槽识别模型；

相应的，所述识别模块，具体用于将所述测试集分别作为所述领域识别模型、所述意图识别模型和所述语义槽识别模型的输入，从所述领域识别模型、所述意图识别模型和所述语义槽识别模型中分别得到对应所述测试集的识别结果；

计算模块，用于根据所得到多个对应所述测试集的识别结果和所获取的结果集，得到多个对应所述识别结果的识别损失，所述多个对应所述识别结果的识别损失包括：领域识别损失、意图识别损失和语义槽识别损失；

更新模块，用于将所述领域识别损失、所述意图识别损失和所述语义槽识别损失进行相加，得到损失值；根据所述损失值和历史损失值，更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

6.根据权利要求5所述的装置，其特征在于，所述多个对应于所述测试集的结果集至少包括实际领域结果、实际意图结果、实际语义槽结果；相应的，所述多个对应所述测试集的识别结果至少包括领域识别结果、意图识别结果、语义槽识别结果；

所述计算模块具体用于：将结果集中的实际领域结果、实际意图结果、实际语义槽结果各自与对应的领域识别结果、意图识别结果、语义槽识别结果进行损失计算，对应得到领域识别损失、意图识别损失和语义槽识别损失。

7.根据权利要求6所述的装置，其特征在于，所述更新模块在将所得到的领域识别损失、意图识别损失和语义槽识别损失进行相加，得到损失值之后，还具体用于：

计算所得到的损失值和历史损失值在设定时间段内的损失变化率；

若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中领域识别模型、意图识别模型和语义槽识别模型中的参数信息。

8.一种计算机可读存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1-4任一项所述的一种自然语言模型的构建方法。

Images