CN113971459A - 分类网络模型的训练方法、装置以及电子设备 - Google Patents

Abstract

本申请提供分类网络模型的训练方法、装置、电子设备以及计算机存储介质。其中该方法包括：获得客户端提供的用于监督训练的第一样本数据；基于第一样本数据，获得监督训练参数；监督训练参数用于监督训练初始分类网络模型；获得客户端提供的第二样本数据；其中，第二样本数据为用于训练初始分类网络模型的小样本数据；利用监督训练参数与第二样本数据训练初始分类网络模型，获得目标分类网络模型。由于本申请的分类网络模型的训练方法，首先是通过第一样本数据，获得监督训练参数。之后，结合监督训练参数，利用小样本数据的第二样本数据对初始分类网络模型进行训练，获得目标分类网络模型。从而使获得的目标分类网络模型增强了分类泛化能力。

Description

分类网络模型的训练方法、装置以及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及分类网络模型的训练方法、装置、电子设备以及计算机存储介质。

背景技术

随着深度学习和自然语言处理技术的快速发展，神经网络技术在其中的应用也越来越广泛。尤其是在深度学习中，将深度学习技术与神经网络技术结合，能够获得较好的效果。在深度学习和自然语言处理技术的任务型对话中，最重要的就是对意图进行分类。然而在创建一个新任务型对话任务时，往往每个意图仅仅有少量的样本，因此亟需解决的问题是如何使用少量的样本构建意图分类模型。

现有技术采用一种基于meta-learning(元学习)的思想，针对少样本数据训练用于分类的神经网络模型以用于对意图进行分类。采用现有技术训练网络模型能够解决少样本数据训练问题。然而，由于元学习的思想是基于多个任务进行迁移，但是这种现有技术容易在多个任务之间的迁移过程中产生遗忘，导致模型的泛化能力较弱。

发明内容

本申请提供分类网络模型的训练方法，以解决采用现有的分类网络模型训练方法模型的泛化能力较弱的问题。本申请还提供分类网络模型的训练装置，以及与其对应的电子设备与计算机介质。

本申请提供一种分类网络模型的训练方法，包括：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

可选的，所述基于所述第一样本数据，获得监督训练参数，包括：

在所述第一样本数据中选择一部分数据，作为第一基本数据集；

基于所述第一基本数据集，获得监督训练参数。

可选的，所述基于所述第一基本数据集，获得监督训练参数，包括：

将所述第一基本数据集进行编码，获得所述第一基本数据集对应的编码信息；

根据所述第一基本数据集对应的编码信息，获得监督训练参数。

可选的，所述根据所述第一基本数据集对应的编码信息，获得监督训练参数，包括：

根据所述第一基本数据集对应的编码信息与第一基本数据集对应的类别信息，获得监督训练参数。

可选的，所述将所述第一基本数据集进行编码，获得所述第一基本数据集对应的编码信息，包括：

将所述第一基本数据集提供给所述初始分类网络模型的编码器，获得所述编码器输出的第一基本数据集对应的向量信息，将所述第一基本数据集对应的向量信息作为所述第一基本数据集对应的编码信息。

可选的，所述利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，包括：

采用动态存储机制将所述第二样本数据与所述监督训练参数进行融合，获得第二样本数据的融合数据；利用所述第二样本数据的融合数据训练所述初始分类网络模型。

可选的，所述采用动态存储机制将所述第二样本数据与所述监督训练参数进行融合，获得第二样本数据的融合数据，包括：

在所述第二样本数据中选择一部分数据，作为第二基本数据集；

将所述第二基本数据集进行编码，获得所述第二基本数据集对应的编码信息；

采用动态存储机制将所述第二基本数据集对应的编码信息与所述监督训练参数进行融合，获得第二样本数据的融合数据。

可选的，所述将所述第二基本数据集进行编码，获得所述第二基本数据集对应的编码信息，包括：

将所述第二基本数据集提供给所述编码器，获得所述编码器输出的第二基本数据集对应的向量信息，将所述第二基本数据集对应的向量信息作为所述第二基本数据集对应的编码信息。

可选的，所述第二基本数据集为所述第二样本数据中的指定数量类别的样本数据；其中，所述第二基本数据集的每个类别中的样本数据的数量相同。

可选的，所述采用动态存储机制将所述第二基本数据集对应的编码信息与所述监督训练参数进行融合，获得第二样本数据的融合数据，包括：

将所述第二基本数据集对应的编码信息与所述监督训练参数提供给所述初始分类网络模型中的动态存储机制模块，获得所述动态存储机制模块的第一输出结果；

将所述动态存储机制模块的第一输出结果作为第二样本数据的融合数据。

可选的，还包括：

采用所述目标分类网络模型对待分类数据进行分类；

所述采用所述目标分类网络模型对待分类数据进行分类，包括：

采用所述动态存储机制将所述待分类数据与所述监督训练参数进行融合，获得待分类数据的融合数据；

将所述待分类数据的融合数据提供给所述目标分类网络模型，获得分类结果。

可选的，所述采用所述动态存储机制将所述待分类数据与所述监督训练参数进行融合，获得待分类数据的融合数据，包括：

从所述第二基本数据集的所有类别样本数据中抽取一部分样本作为待分类数据；

将所述待分类数据进行编码，获得所述待分类数据对应的编码信息；

将所述待分类数据对应的编码信息与所述动态存储机制模块的第一输出结果提供给所述动态存储机制模块，获得待分类数据的融合数据。

可选的，所述将所述待分类数据进行编码，获得所述待分类数据对应的编码信息，包括：将所述待分类数据提供给所述编码器，获得所述编码器输出的待分类数据对应的向量信息，将所述待分类数据对应的向量信息作为所述待分类数据对应的编码信息。

可选的，所述将所述待分类数据对应的编码信息与所述动态存储机制模块的第一输出结果提供给所述动态存储机制模块，获得待分类数据的融合数据，包括：

将所述待分类数据对应的向量信息与所述动态存储机制模块的第一输出结果，使用所述动态存储机制模块进行融合，获得类向量；将所述类向量作为所述待分类数据的融合数据。

可选的，所述将所述待分类数据的融合数据提供给所述目标分类网络模型，获得分类结果，包括：

将所述待分类数据的融合数据提供给所述目标分类网络模型的距离分类器，获得所述距离分类器的输出结果；

将所述距离分类器的输出结果作为所述分类结果。

对应地，本申请提供一种分类网络模型的训练装置，包括：

监督训练参数获得单元，用于获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

样本数据获得单元，用于获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

训练单元，用于利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

本申请还提供一种分类网络模型的训练方法，包括：

获得客户端提供的用于监督训练的、涉及多对话领域的第一样本数据；基于所述涉及多对话领域的第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；所述初始分类网络模型用于对涉及多对话领域的自然语言信息进行分类；

获得客户端提供的涉及多对话领域的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

本申请提供一种电子设备，包括：

处理器；

存储器，用于存储计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

本申请提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

与现有技术相比，本申请具有以下优点：

本申请提供一种分类网络模型的训练方法，包括：获得客户端提供的用于监督训练的第一样本数据；基于第一样本数据，获得监督训练参数；其中，监督训练参数用于监督训练初始分类网络模型；获得客户端提供的第二样本数据；其中，第二样本数据为用于训练初始分类网络模型的小样本数据；利用监督训练参数与第二样本数据训练初始分类网络模型，获得目标分类网络模型。由于本申请的分类网络模型的训练方法，首先是通过第一样本数据，获得监督训练参数。之后，结合监督训练参数，利用小样本数据的第二样本数据对初始分类网络模型进行训练，获得目标分类网络模型。从而使获得的目标分类网络模型增强了分类泛化能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请第一实施例提供的应用场景实施例的示意图。

图2为本申请第二实施例提供的分类网络模型的训练方法流程图。

图3为本申请第二实施例提供的对初始分类网络模型进行训练的过程示意图。

图4为本申请第三实施例提供的分类网络模型的训练装置示意图。

图5为本申请第五实施例提供的电子设备示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。

本申请提供的实施例可以应用于客户端、服务端之间交互的场景。如图1所示，其为本申请第一实施例提供的应用场景实施例的示意图。首先，客户端将用于监督训练的第一样本数据以及用于训练初始分类网络模型的小样本数据发送至服务端，服务端获得用于监督训练的第一样本数据以及用于训练初始分类网络模型的小样本数据，在服务端获得用于监督训练的第一样本数据以及用于训练初始分类网络模型的小样本数据后，服务端进行如下处理过程：首先，基于第一样本数据，获得监督训练参数。之后，将第二样本数据(即：用于训练初始分类网络模型的小样本数据)与监督训练参数，提供给初始分类网络模型，从而对初始分类网络模型进行训练，基于训练结果进而获得目标分类网络模型。在获得目标分类网络模型之后，还可以采用目标分类网络模型进行分类。

具体地，上述用于监督训练的第一样本数据可以是已知类别的监督学习信息，例如，在深度学习和自然语言处理技术的任务型对话场景中，监督学习信息可以是指已知类别的自然语言信息。在多对话领域中，对于自然语言信息的分类尤为重要，即：获得自然语言信息在多对话领域属于哪个领域。

随着互联网技术的不断发展与进步，人机对话服务正在逐渐走进人们的工作与生活并给人们带来极大的便利。人们通过与智能产品(例如：智能机器人、智能音箱或者其他智能电子产品)进行对话，从而获得人们所需的信息。在人机对话过程中，智能产品通过深度学习和自然语言处理技术，将获取的语言信息进行分类，从而获得人们所需要的信息，进而完成与人们之间的对话交互过程。人机对话所涉及的领域非常广泛，包括：电商、电信、政务、金融、教育、文娱、健康、旅游等很多行业。例如，在电商行业，用户可以通过与智能客服进行人机对话，实现诸如：开发票、催发货、查物流、改地址、收快递等功能。又或者，在电信行业或者整个运营商的行业里面，用户可以通过与智能客服进行人机对话，实现查话费、查流量、买套餐、报故障、修改密码等功能。当然，在进行人机对话过程中，为了保证智能产品能够准确地服务用户，即为了提高服务质量，需要智能产品准确地识别对话过程中的用户意图，然后根据用户意图给予正确的反馈，从而提供用户所需的信息或者执行相应的动作。

具体地，在将人机对话服务应用在电信行业中时，可以通过智能客户完成用户的需求，并将获得的反馈信息提供给用户。例如，用户可能通过拨打电信运营商电话进行查询本月话费或者本月流量套餐使用情况。在现有技术中，用户通过在语音提示下选择数字键来进行后续的业务查询，这样会给用户增加操作的繁琐性。而通过人机对话业务，能够很好地解决该问题。用户在拨通运营商电话后，可以直接与智能客服进行人机对话，不必再选择人工客服或者通过按键的方式查询业务。在这个过程中，就需要智能客服对客户的查询业务对应的语音通过深度学习与自然语言理解。在人机对话过程中，智能客服具体是通过将客户查询的语音进行意图分类，即：智能客服需要了解用户具体查询的业务属于哪个领域，进而根据客户的意图去执行相应的操作或者获取与用户查询业务对应的信息，进而将信息反馈给用户或者通过相应的操作反馈给用户所需的信息。通过该方式，用户仅需通过语音就可以将查询需求以人机对话的方式提供给智能客服，智能客服通过上述方式将查询到的信息提供给用户。

采用监督学习信息能够为使用小样本数据训练初始分类网络模型的训练过程提供依据。由于监督学习信息是已知类别的样本数据，因此，基于此监督学习信息可以获得监督训练参数。当然，可以理解的是，获得监督训练参数之前需要预先获得已知类别的监督学习信息，获得已知类别的监督学习信息可以是按照如下方式：服务端向客户端发送获得已知类别的监督学习信息的请求，客户端在获得服务端发送的获得已知类别的监督学习信息的请求后，客户端针对该请求信息将预先存储的已知类别的监督学习信息发送至服务端。

与此同时，服务端在预先获得已知类别的监督学习信息的过程中，可以同时获得用于训练初始分类网络模型的小样本数据。与获得已知类别的监督学习信息的方式相同，获得用于训练初始分类网络模型的小样本数据可以是按照如下方式：服务端向客户端发送获得用于训练初始分类网络模型的小样本数据的请求，客户端在获得服务端发送的获得用于训练初始分类网络模型的小样本数据的请求后，客户端针对该请求信息将预先存储的用于训练初始分类网络模型的小样本数据发送至服务端。通过上述方式，服务端即可获得已知类别的监督学习信息与用于训练初始分类网络模型的小样本数据。

在上述过程中已经说明，在获得已知类别的监督学习信息后，即可获得监督训练参数，在获得用于训练初始分类网络模型的小样本数据之后，利用小样本数据对初始分类网络模型进行训练。

采用小样本数据对初始分类网络模型进行训练的过程如下：

在获得监督训练参数后，将用于训练初始分类网络模型的小样本数据与监督训练参数，提供给初始分类网络模型，获得目标分类网络模型。由于本申请的分类网络模型的训练方法，首先是通过第一样本数据，获得监督训练参数。之后，结合监督训练参数，利用小样本数据的第二样本数据对初始分类网络模型进行训练，获得目标分类网络模型。从而使获得的目标分类网络模型增强了分类泛化能力。

需要说明的是，应用场景仅仅是应用场景的一个实施例，提供此应用场景实施例的目的是便于理解本申请的分类网络模型的训练方法，而并非用于限定本申请的分类网络模型的训练方法。

本申请提供分类网络模型的训练方法、装置、电子设备以及计算机存储介质，以下为具体实施例。

如图2所示，其为本申请第二实施例提供的一种分类网络模型的训练方法实施例的流程图。所述方法包括如下步骤。

步骤S201：获得客户端提供的用于监督训练的第一样本数据。

作为第二实施例的分类网络模型的训练方法的首要步骤，首先获得客户端提供的用于监督训练的第一样本数据。具体地，上述用于监督训练的第一样本数据可以是已知类别的监督学习信息，例如，在深度学习和自然语言处理技术的任务型对话场景中，监督学习信息可以是指已知类别的自然语言信息，即：已知类别的意图数据。采用监督学习信息能够为使用小样本数据训练初始分类网络模型的训练过程提供依据。由于监督学习信息是已知类别的样本数据，因此，基于此监督学习信息可以获得监督训练参数。当然，可以理解的是，获得监督训练参数之前需要预先获得已知类别的监督学习信息。

作为获得已知类别的监督学习信息的其中一种方式，可以是按照如下的方式。服务端向客户端发送获得已知类别的监督学习信息的请求，客户端在获得服务端发送的获得已知类别的监督学习信息的请求后，客户端针对该请求信息将预先存储的已知类别的监督学习信息发送至服务端。

步骤S202：基于第一样本数据，获得监督训练参数；其中，监督训练参数用于监督初始训练分类网络模型。

在步骤S201获得第一样本数据，即获得已知类别的监督学习信息之后，基于第一样本数据，获得监督训练参数；其中，监督训练参数用于监督训练初始分类网络模型。

具体地，作为基于第一样本数据，获得监督训练参数的其中一种实施方式：首先，在第一样本数据中选择一部分数据，作为第一基本数据集。在选取第一基本数据集之后，基于第一基本数据集，获得监督训练参数。

基于第一基本数据集，获得监督训练参数可以按照如下描述的方式。

首先，将第一基本数据集进行编码，获得第一基本数据集对应的编码信息。之后，根据第一基本数据集对应的编码信息，获得监督训练参数。

更具体地，根据第一基本数据集对应的编码信息，获得监督训练参数可以是根据第一基本数据集对应的编码信息与第一基本数据集对应的类别信息，获得监督训练参数。

在上述过程中提及，将第一基本数据集进行编码，获得第一基本数据集对应的编码信息。作为将第一基本数据集进行编码，获得第一基本数据集对应的编码信息的一种方式：将第一基本数据集提供给初始分类网络模型的编码器，获得编码器输出的第一基本数据集对应的向量信息，将第一基本数据集对应的向量信息作为第一基本数据集对应的编码信息。

步骤S203：获得客户端提供的第二样本数据。

在本实施例中，第二样本数据为用于训练初始分类网络模型的小样本数据。

在本申请的步骤S201中，获得用于监督训练的第一样本数据。在获得用于监督训练的第一样本数据的同时，可以获得第二样本数据，即用于训练初始分类网络模型的小样本数据。

换言之，在预先获得已知类别的监督学习信息的过程中，可以同时获得用于训练初始分类网络模型的小样本数据。与获得已知类别的监督学习信息的方式相同，获得用于训练初始分类网络模型的小样本数据可以是按照如下方式：服务端向客户端发送获得用于训练初始分类网络模型的小样本数据的请求，客户端在获得服务端发送的获得用于训练初始分类网络模型的小样本数据的请求后，客户端针对该请求信息将预先存储的用于训练初始分类网络模型的小样本数据发送至服务端。通过上述方式，服务端即可获得已知类别的监督学习信息与用于训练初始分类网络模型的小样本数据。

可以理解的是，步骤S203获得第二样本数据，可以在步骤S201获得用于监督训练的第一样本数据之前。也可以在步骤S201获得用于监督训练的第一样本数据，基于第一样本数据，获得监督训练参数之后。

步骤S204：利用监督训练参数与第二样本数据训练初始分类网络模型，获得目标分类网络模型。

在获得监督训练参数与第二样本数据之后，利用监督训练参数与第二样本数据训练初始分类网络模型，获得目标分类网络模型。

具体地，作为利用监督训练参数与第二样本数据训练初始分类网络模型的一种实施方式，可以是：采用动态存储机制将第二样本数据与监督训练参数进行融合，获得第二样本数据的融合数据；利用第二样本数据的融合数据训练初始分类网络模型。

在步骤S203获得用于训练初始分类网络模型的小样本数据后，以及在步骤S202获得监督训练参数之后，采用动态存储机制将第二样本数据(即：用于训练初始分类网络模型的小样本数据)与监督训练参数进行融合，获得第二样本数据的融合数据。

具体地，作为采用动态存储机制将第二样本数据与监督训练参数进行融合，获得第二样本数据的融合数据的一种实施方式。可以采用如下描述的方式。

首先，在第二样本数据中选择一部分数据，作为第二基本数据集。

之后，将第二基本数据集进行编码，获得第二基本数据集对应的编码信息。

最终，采用动态存储机制将第二基本数据集对应的编码信息与监督训练参数进行融合，获得第二样本数据的融合数据。

作为将第二基本数据集进行编码，获得第二基本数据集对应的编码信息的其中一种方式，可以是按照如下描述的方式。

将第二基本数据集提供给初始分类网络模型的编码器，获得编码器输出的第二基本数据集对应的向量信息，将第二基本数据集对应的向量信息作为第二基本数据集对应的编码信息。

需要说明的是，在上述提及的第二基本数据集中，第二基本数据集为第二样本数据中的指定数量类别的样本数据。另外，第二基本数据集的每个类别中的样本数据的数量相同。

例如，在第二样本数据中随机抽取C类样本，每类样本K个样本(总共C×K个数据)构建一个元学习-任务，作为初始分类网络模型的支撑集输入。

具体地，上述将采用动态存储机制将第二基本数据集对应的编码信息与监督训练参数进行融合，获得第二样本数据的融合数据按照如下描述的方式。将第二基本数据集对应的编码信息与监督训练参数提供给初始分类网络模型中的动态存储机制模块，获得动态存储机制模块的第一输出结果。并将动态存储机制模块的第一输出结果作为第二样本数据的融合数据。

获得第二样本数据的融合数据之后，基于第二样本数据的融合数据训练初始分类网络模型，获得目标分类网络模型。

在获得第二样本数据的融合数据之后，基于第二样本数据的融合数据训练初始分类网络模型，获得目标分类网络模型。之后，即可采用目标分类网络模型进行分类。在本实施例中，实际上是采用监督训练参数对初始分类网络模型的训练过程进行监督，从而在训练之后，获得目标分类网络模型。

在获得目标分类网络模型之后，采用目标分类网络模型即可实现对待分类数据进行分类。

采用目标分类网络模型对待分类数据进行分类可以按照如下的方式：首先，采用动态存储机制将待分类数据与监督训练参数进行融合，获得待分类数据的融合数据。之后，将待分类数据的融合数据提供给目标分类网络模型，获得分类结果。

作为采用动态存储机制将待分类数据与监督训练参数进行融合，获得待分类数据的融合数据的一种实施方式：首先，从第二基本数据集的所有类别样本数据中抽取一部分样本作为待分类数据；之后，将待分类数据进行编码，获得待分类数据对应的编码信息；最终，将待分类数据对应的编码信息与动态存储机制模块的第一输出结果提供给动态存储机制模块，获得待分类数据的融合数据。

上述获得待分类数据可以是在这C类样本中抽取一批样本作为分类网络模型的预测对象。即分类网络模型从总共C×K个数据中学会如何区分上述的C个类别。在训练过程中，每轮抽取样本都会获得不同的元学习-任务，能够在抽样过程中涉及不同的类别组合，这种抽样方式使得目标分类网络模型能够识别不同元学习-任务中的共性部分。例如，如何提取重要特征及比较相似样本，或者忘掉元学习-任务中领域相关部分。通过这种学习机制训练的目标分类网络模型，在面对新的元学习-任务时，也能进行较好地分类。

上述将待分类数据进行编码，获得待分类数据对应的编码信息，可以是：将待分类数据提供给目标分类网络模型的编码器，获得编码器输出的待分类数据对应的向量信息，将待分类数据对应的向量信息作为待分类数据对应的编码信息。

上述将待分类数据对应的编码信息与动态存储机制模块的第一输出结果提供给动态存储机制模块，获得待分类数据的融合数据，可以是：将待分类数据对应的向量信息与动态存储机制模块的第一输出结果，使用动态存储机制模块进行融合，获得类向量；将类向量作为待分类数据的融合数据。

具体地，将待分类数据的融合数据提供给目标分类网络模型，获得分类结果，可以是将待分类数据的融合数据提供给目标分类网络模型的距离分类器，获得距离分类器的输出结果；并将距离分类器的输出结果作为分类结果。

以下为对初始分类网络模型进行训练以及进行分类的具体介绍。如图3所示，其为对初始分类网络模型进行训练的过程示意图。

本实施例的初始分类网络模型基于监督学习阶段获得监督训练参数，并结合监督训练参数对分类网络模型进行训练。如图3所示，在监督学习阶段选出训练集类别的第一样本数据作为训练集，共有C个类别。而在元学习阶段，训练集中随机抽取C个类别，每个类别K个样本(总共C×K个数据)构建第二样本数据。再从这C个类中抽取一批样本作为模型的预测对象，即图中的待分类数据。即要求模型从C×K个数据中学会如何区分这C个类别。训练过程中，每轮都会采样得到不同待分类数据，不同待分类数据包含了不同的类别组合。该机制使得目标分类网络模型能够识别不同元学习-任务中的共性部分。例如，如何提取重要特征及比较相似样本，或者忘掉元学习-任务中领域相关部分。通过这种学习机制训练的目标分类网络模型，在面对新的元学习-任务时，也能进行较好地分类。

监督学习阶段首先在所有训练数据中采集出一个第一样本数据，然后基于编码器(bert编码器)和距离分类器(cosine距离分类器)训练监督学习参数，如此监督训练参数可以作为每个类的特征表示，再以监督训练参数设计动态存储机制模块，以调整初始分类网络模型中的参数。

在元学习阶段，为了从支撑集中归纳得到类级别的表示，我们基于监督学习的知识设计了一个动态存储机制模块，和传统的静态记忆机制不同的是，动态存储机制模块使用动态路由机制赋予了记忆过程更好的灵活性，从而提高少样本学习的泛化能力，泛化能力是指对于新类别的识别能力。在最后分类时，将类向量送入距离分类器，并得到分类结果。分类结果可以是类别打分，传统的分类器一般是使用点乘的方式来获得打分，然后通过softmax归一化，但是这种分类器不适用于少样本学习中面临的全新的类别，因此，本实施例中使用cosine相似度来计算这一分数。

通过这种方式训练的分类器，属于同一个类的特征向量必然会和对应的分类参数特别接近，所以最后的分类参数W就可以作为第一样本数据的类别特征，进而作为动态存储机制模块。

本申请提供一种分类网络模型的训练方法，包括：获得客户端提供的用于监督训练的第一样本数据；基于第一样本数据，获得监督训练参数；其中，监督训练参数用于监督训练初始分类网络模型；获得客户端提供的第二样本数据；其中，第二样本数据为用于训练初始分类网络模型的小样本数据；利用监督训练参数与第二样本数据训练初始分类网络模型，获得目标分类网络模型。由于本申请的分类网络模型的训练方法，首先是通过第一样本数据，获得监督训练参数。之后，结合监督训练参数，利用小样本数据的第二样本数据对初始分类网络模型进行训练，获得目标分类网络模型。从而使获得的目标分类网络模型增强了分类泛化能力。

在上述的第二实施例中，提供了一种分类网络模型的训练方法，与之相对应的，本申请还提供一种分类网络模型的训练装置。如图4所示，其为本申请第三实施例提供的一种分类网络模型的训练装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例提供一种分类网络模型的训练装置，包括：

监督训练参数获得单元401，用于获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

样本数据获得单元402，用于获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

训练单元403，用于利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

可选的，所述监督训练参数获得单元，具体用于：

在所述第一样本数据中选择一部分数据，作为第一基本数据集；

基于所述第一基本数据集，获得监督训练参数。

可选的，所述监督训练参数获得单元，具体用于：

将所述第一基本数据集进行编码，获得所述第一基本数据集对应的编码信息；

根据所述第一基本数据集对应的编码信息，获得监督训练参数。

可选的，所述监督训练参数获得单元，具体用于：

根据所述第一基本数据集对应的编码信息与第一基本数据集对应的类别信息，获得监督训练参数。

可选的，所述监督训练参数获得单元，具体用于：

将所述第一基本数据集提供给所述初始分类网络模型的编码器，获得所述编码器输出的第一基本数据集对应的向量信息，将所述第一基本数据集对应的向量信息作为所述第一基本数据集对应的编码信息。

可选的，所述训练单元，具体用于：

采用动态存储机制将所述第二样本数据与所述监督训练参数进行融合，获得第二样本数据的融合数据；利用所述第二样本数据的融合数据训练所述初始分类网络模型。

可选的，所述训练单元，具体用于：

在所述第二样本数据中选择一部分数据，作为第二基本数据集；

将所述第二基本数据集进行编码，获得所述第二基本数据集对应的编码信息；

采用动态存储机制将所述第二基本数据集对应的编码信息与所述监督训练参数进行融合，获得第二样本数据的融合数据。

可选的，所述训练单元，具体用于：

将所述第二基本数据集提供给所述编码器，获得所述编码器输出的第二基本数据集对应的向量信息，将所述第二基本数据集对应的向量信息作为所述第二基本数据集对应的编码信息。

可选的，所述第二基本数据集为所述第二样本数据中的指定数量类别的样本数据；其中，所述第二基本数据集的每个类别中的样本数据的数量相同。

可选的，所述训练单元，具体用于：

将所述第二基本数据集对应的编码信息与所述监督训练参数提供给所述初始分类网络模型中的动态存储机制模块，获得所述动态存储机制模块的第一输出结果；

将所述动态存储机制模块的第一输出结果作为第二样本数据的融合数据。

可选的，还包括分类单元；

所述分类单元，用于：

采用所述目标分类网络模型对待分类数据进行分类；

所述分类单元，具体用于：

采用所述动态存储机制将所述待分类数据与所述监督训练参数进行融合，获得待分类数据的融合数据；

将所述待分类数据的融合数据提供给所述目标分类网络模型，获得分类结果。

可选的，所述分类单元，具体用于：

从所述第二基本数据集的所有类别样本数据中抽取一部分样本作为待分类数据；

将所述待分类数据进行编码，获得所述待分类数据对应的编码信息；

将所述待分类数据对应的编码信息与所述动态存储机制模块的第一输出结果提供给所述动态存储机制模块，获得待分类数据的融合数据。

可选的，所述分类单元，具体用于：将所述待分类数据提供给所述编码器，获得所述编码器输出的待分类数据对应的向量信息，将所述待分类数据对应的向量信息作为所述待分类数据对应的编码信息。

可选的，所述分类单元，具体用于：

将所述待分类数据对应的向量信息与所述动态存储机制模块的第一输出结果，使用所述动态存储机制模块进行融合，获得类向量；将所述类向量作为所述待分类数据的融合数据。

可选的，所述分类单元，具体用于：

将所述待分类数据的融合数据提供给所述目标分类网络模型的距离分类器，获得所述距离分类器的输出结果；

将所述距离分类器的输出结果作为所述分类结果。

基于第一实施例与第二实施例，本申请第四实施例还提供一种分类网络模型的训练方法，由于该实施例已经在第一实施例以及第二实施例进行了详细介绍，此处不再赘述。

本申请第四实施例提供一种分类网络模型的训练方法，包括：

获得客户端提供的用于监督训练的、涉及多对话领域的第一样本数据；基于所述涉及多对话领域的第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；所述初始分类网络模型用于对涉及多对话领域的自然语言信息进行分类；

获得客户端提供的涉及多对话领域的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

在上述的第二实施例中，提供了一种分类网络模型的训练方法，与之相对应的，本申请第五实施例给出了与第二实施例方法对应的电子设备。如图5所示，其示出了本实施例提供的电子设备的示意图。

本申请第五实施例提供一种电子设备，包括：

处理器501；

存储器502，用于存储计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

在上述的第二实施例中，提供了一种分类网络模型的训练方法，与之相对应的，本申请第六实施例给出了与第二实施例方法对应的计算机存储介质。

本申请第六实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (19)

1.一种分类网络模型的训练方法，其特征在于，包括：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本数据，获得监督训练参数，包括：

在所述第一样本数据中选择一部分数据，作为第一基本数据集；

基于所述第一基本数据集，获得监督训练参数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一基本数据集，获得监督训练参数，包括：

将所述第一基本数据集进行编码，获得所述第一基本数据集对应的编码信息；

根据所述第一基本数据集对应的编码信息，获得监督训练参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一基本数据集对应的编码信息，获得监督训练参数，包括：

根据所述第一基本数据集对应的编码信息与第一基本数据集对应的类别信息，获得监督训练参数。

5.根据权利要求3所述的方法，其特征在于，所述将所述第一基本数据集进行编码，获得所述第一基本数据集对应的编码信息，包括：

将所述第一基本数据集提供给所述初始分类网络模型的编码器，获得所述编码器输出的第一基本数据集对应的向量信息，将所述第一基本数据集对应的向量信息作为所述第一基本数据集对应的编码信息。

6.根据权利要求1所述的方法，其特征在于，所述利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，包括：

采用动态存储机制将所述第二样本数据与所述监督训练参数进行融合，获得第二样本数据的融合数据；利用所述第二样本数据的融合数据训练所述初始分类网络模型。

7.根据权利要求6所述的方法，其特征在于，所述采用动态存储机制将所述第二样本数据与所述监督训练参数进行融合，获得第二样本数据的融合数据，包括：

在所述第二样本数据中选择一部分数据，作为第二基本数据集；

将所述第二基本数据集进行编码，获得所述第二基本数据集对应的编码信息；

采用动态存储机制将所述第二基本数据集对应的编码信息与所述监督训练参数进行融合，获得第二样本数据的融合数据。

8.根据权利要求7所述的方法，其特征在于，所述将所述第二基本数据集进行编码，获得所述第二基本数据集对应的编码信息，包括：

将所述第二基本数据集提供给所述编码器，获得所述编码器输出的第二基本数据集对应的向量信息，将所述第二基本数据集对应的向量信息作为所述第二基本数据集对应的编码信息。

9.根据权利要求7所述的方法，其特征在于，所述第二基本数据集为所述第二样本数据中的指定数量类别的样本数据；其中，所述第二基本数据集的每个类别中的样本数据的数量相同。

10.根据权利要求7所述的方法，其特征在于，所述采用动态存储机制将所述第二基本数据集对应的编码信息与所述监督训练参数进行融合，获得第二样本数据的融合数据，包括：

将所述第二基本数据集对应的编码信息与所述监督训练参数提供给所述初始分类网络模型中的动态存储机制模块，获得所述动态存储机制模块的第一输出结果；

将所述动态存储机制模块的第一输出结果作为第二样本数据的融合数据。

11.根据权利要求10所述的方法，其特征在于，还包括：

采用所述目标分类网络模型对待分类数据进行分类；

所述采用所述目标分类网络模型对待分类数据进行分类，包括：

采用所述动态存储机制将所述待分类数据与所述监督训练参数进行融合，获得待分类数据的融合数据；

将所述待分类数据的融合数据提供给所述目标分类网络模型，获得分类结果。

12.根据权利要求11所述的方法，其特征在于，所述采用所述动态存储机制将所述待分类数据与所述监督训练参数进行融合，获得待分类数据的融合数据，包括：

从所述第二基本数据集的所有类别样本数据中抽取一部分样本作为待分类数据；

将所述待分类数据进行编码，获得所述待分类数据对应的编码信息；

将所述待分类数据对应的编码信息与所述动态存储机制模块的第一输出结果提供给所述动态存储机制模块，获得待分类数据的融合数据。

13.根据权利要求12所述的方法，其特征在于，所述将所述待分类数据进行编码，获得所述待分类数据对应的编码信息，包括：将所述待分类数据提供给所述编码器，获得所述编码器输出的待分类数据对应的向量信息，将所述待分类数据对应的向量信息作为所述待分类数据对应的编码信息。

14.根据权利要求13所述的方法，其特征在于，所述将所述待分类数据对应的编码信息与所述动态存储机制模块的第一输出结果提供给所述动态存储机制模块，获得待分类数据的融合数据，包括：

将所述待分类数据对应的向量信息与所述动态存储机制模块的第一输出结果，使用所述动态存储机制模块进行融合，获得类向量；将所述类向量作为所述待分类数据的融合数据。

15.根据权利要求14所述的方法，其特征在于，所述将所述待分类数据的融合数据提供给所述目标分类网络模型，获得分类结果，包括：

将所述待分类数据的融合数据提供给所述目标分类网络模型的距离分类器，获得所述距离分类器的输出结果；

将所述距离分类器的输出结果作为所述分类结果。

16.一种分类网络模型的训练装置，其特征在于，包括：

监督训练参数获得单元，用于获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

样本数据获得单元，用于获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

训练单元，用于利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

17.一种分类网络模型的训练方法，其特征在于，包括：

获得客户端提供的用于监督训练的、涉及多对话领域的第一样本数据；基于所述涉及多对话领域的第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；所述初始分类网络模型用于对涉及多对话领域的自然语言信息进行分类；

获得客户端提供的涉及多对话领域的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

18.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

19.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行分类网络模型的训练方法，所述方法包括如下步骤：

获得客户端提供的用于监督训练的第一样本数据；基于所述第一样本数据，获得监督训练参数；其中，所述监督训练参数用于监督训练初始分类网络模型；

获得客户端提供的第二样本数据；其中，所述第二样本数据为用于训练所述初始分类网络模型的小样本数据；

利用所述监督训练参数与所述第二样本数据训练所述初始分类网络模型，获得目标分类网络模型。

Images