CN116720548A - 模型训练方法及装置、内容推荐方法及装置 - Google Patents

Abstract

本申请公开了一种模型训练方法及装置、内容推荐方法及装置，方法通过获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。该方法可以提升训练得到的神经网络模型的准确性。

Description

模型训练方法及装置、内容推荐方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种模型训练方法及装置、内容推荐方法及装置。

背景技术

随着互联网技术的不断发展，日常生活已经与互联网密不可分。在互联网时代，随着内容量的快速扩大，内容的选择的压力也就随之不断增大，这降低了内容的使用效率，从而造成了信息超载问题。

推荐系统是根据对象的内容需求、对象特征等，将对象感兴趣的信息、产品等推荐给对象的个性化推荐系统。一个好的推荐系统，不仅能为对象提供个性化的内容和服务，还能和对象之间建立密切关系。

然而，在一些情况下，推荐系统中的内容推荐模型为对象推荐的内容不够准确。

发明内容

本申请实施例提供一种模型训练方法及装置、内容推荐方法及装置，该方法可以有效提升推荐模型的准确性，进而可以提升内容推荐的准确性。

本申请第一方面提供一种模型训练方法，方法包括：

获取第一神经网络模型，所述第一神经网络模型包括至少一个神经网络单元，所述神经网络单元包括自注意力模块以及前馈模块；

根据每一所述神经网络单元中所述自注意力模块与所述前馈模块的不同顺序组合关系生成多个第二神经网络模型；

采用初始训练样本对所述多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；

基于所述训练后的多个第二神经网络模型对所述初始训练样本进行样本扩充，得到目标训练样本；

利用所述目标训练样本对所述第一神经网络模型进行训练，得到目标神经网络模型。

相应的，本申请第二方面提供一种模型训练装置，装置包括：

第一获取单元，用于获取第一神经网络模型，所述第一神经网络模型包括至少一个神经网络单元，所述神经网络单元包括自注意力模块以及前馈模块；

生成单元，用于根据每一所述神经网络单元中所述自注意力模块与所述前馈模块的不同顺序组合关系生成多个第二神经网络模型；

第一训练单元，用于采用初始训练样本对所述多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；

扩充单元，用于基于所述训练后的多个第二神经网络模型对所述初始训练样本进行样本扩充，得到目标训练样本；

第二训练单元，用于利用所述目标训练样本对所述第一神经网络模型进行训练，得到目标神经网络模型。

在一些实施例中，生成单元，包括：

第一获取子单元，用于获取所述第一神经网络模型中所述神经网络单元的数量；

确定子单元，用于基于所述神经网络单元的数量确定多种神经网络模型结构，每一所述神经网络模型结构与自注意力模块和前馈模块的一种执行顺序组合相对应；

生成子单元，用于根据所述多种神经网络模型结构生成多个第二神经网络模型。

在一些实施例中，第一训练单元，包括：

第二获取子单元，用于获取初始训练样本，所述初始训练样本包括多个样本输入数据以及每个样本输入数据对应的标签数据；

输入子单元，用于将所述多个样本输入数据中的任一目标样本输入数据分别输入所述多个第二神经网络模型，得到所述目标样本输入数据对应的多个样本输出数据；

更新子单元，用于根据所述多个样本输出数据与所述目标样本数据对应的标签数据之间的差异对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数；

执行子单元，用于当所述多个第二神经网络模型未收敛时，返回执行将任一目标样本输入数据分别输入所述多个第二神经网络模型，并根据输出的多个样本输出数据与对应标签数据之间的差异更新所述多个第二神经网络模型的模型参数的步骤；

输出子单元，用于当所述多个第二神经网络模型收敛时，输出训练后的多个第二神经网络模型。

在一些实施例中，更新子单元，包括：

第一计算模块，用于分别计算所述多个样本输出数据中每一样本输出数据与所述目标样本数据对应的标签数据之间的差值，得到多个损失值；

第二计算模块，用于计算每一损失值对应的梯度值，得到多个梯度值；

更新模块，用于根据所述多个梯度值对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数。

在一些实施例中，扩充单元，包括：

扩充子单元，用于采用所述训练后的多个第二神经网络模型对所述初始训练样本进行扩充，得到扩充样本集合；

添加子单元，用于从所述扩充样本集合中确定多个扩充样本，并将所述多个扩充样本添加至所述初始训练样本中，得到目标训练样本。

在一些实施例中，扩充子单元，包括：

处理模块，用于采用每一训练后的第二神经网络模型对所述初始训练样本中的每一样本输入数据进行处理，得到每一训练后的第二神经网络模型输出的概率值集合；

确定模块，用于根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合。

在一些实施例中，确定模块，包括：

第一确定子模块，用于确定每一概率值集合中的最大值，得到每一训练后的第二神经网络模型输出的最大概率值；

第二确定子模块，用于确定每一最大概率值对应的扩充训练样本，得到多个扩充训练样本；

第三确定子模块，用于根据所述多个扩充训练样本确定扩充样本集合。

本申请第三方面提供一种内容推荐方法，方法包括；

获取目标对象的对象信息以及多个候选内容的内容信息；

采用预设神经网络模型对所述对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，所述预设神经网络模型为第一方面所述的目标神经网络模型；

根据所述相似度确定目标候选内容，并向所述目标对象推荐所述目标内容。

相应的，本申请第四方面提供一种内容推荐装置，装置包括：

第二获取单元，用于获取目标对象的对象信息以及多个候选内容的内容信息；

评估单元，用于采用预设神经网络模型对所述对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，所述预设神经网络模型为第一方面所述的目标神经网络模型；

推荐单元，用于根据所述相似度确定目标候选内容，并向所述目标对象推荐所述目标内容。

本申请第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的模型训练方法或者第三方面提供的内容推荐方法中的步骤。

本申请第六方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的内容推荐方法中的步骤。

本申请第七方面提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面所提供的模型训练方法或者第三方面提供的内容推荐方法中的步骤。

本申请实施例提供的模型训练方法，通过获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

以此，本申请提供的模型训练方法，通过对神经网络模型的处理模块的执行顺序进行调整得到多个辅助训练的神经网络模型，并采用集成式训练方法对多个辅助训练的神经网络模型进行集成训练。然后进一步采用训练后的多个辅助训练的神经网络模型对初始的训练样本进行扩充，以在不借助外部数据的基础上补充高置信度的训练样本，避免了训练数据量不足的情况造成的模型泛化能力不足的问题，从提升了神经网络模型的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请中模型训练的一个场景示意图；

图2是本申请提供的模型训练方法的流程示意图；

图3是本申请中Transformer模型中编码器的结构示意图；

图4是本申请提供的模型训练方法的另一流程示意图；

图5是本申请提供的内容推荐方法的流程示意图；

图6是本申请提供的模型训练装置的结构示意图；

图7是本申请提供的内容推荐装置的结构示意图；

图8是本申请提供的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种模型训练方法及装置、内容推荐方法及装置。其中，该模型训练方法可以使用于模型训练装置中。该模型训练装置可以集成在计算机设备中，该计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器可以为区块链中的节点。

请参阅图1，为本申请提供的模型训练方法的一场景示意图。如图所示，计算机设备A获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

需要说明的是，图1所示的模型训练场景示意图仅仅是一个示例，本申请实施例描述的模型训练场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着模型训练场景演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

基于上述实施场景以下分别进行详细说明。

在相关技术中，在对推荐系统中的神经网络模型进行训练时，一般需要大量的训练样本来保证训练得到的模型具有较强的泛化能力，从而可以保证神经网络模型的准确性。因此，在一些情况下，由于训练样本数据获取的限制或者其他原因导致的训练样本数量不足，就会导致训练得到的神经网络模型的泛化能力不足，进而导致模型的准确性不足。为了解决上述本申请提供了一种模型训练方法，可以针对性提高推荐系统中模型的鲁棒性，从而提升内容推荐的准确性。

本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集成在计算机设备中。其中，计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。如图2所示，为本申请提供的模型训练方法的流程示意图，该方法包括：

步骤101，获取第一神经网络模型。

其中，在基于人工智能(Artificial Intelligence，AI)技术的推荐系统中，一般采用神经网络模型来对待推荐对象的对象信息以及候选推荐内容的内容信息进行特征提取，得到对象信息与内容信息对应的特征向量。然后进一步通过对象信息的特征向量与内容信息对应的特征向量之间的相似度来召回与对象信息相似度较高的一定数量的候选推荐内容进行召回。

在本申请提供的模型训练方法中进行训练的对象可以为前述对待推荐对象的对象信息以及候选推荐内容的内容信息进行特征提取的神经网络模型，为与本申请中的其他神经网络模型进行区分，此处可以称之为第一神经网络模型。

具体地，本申请中第一神经网络模型的模型结构，可以包括至少一个神经网络单元，其中此处神经网络单元可以为第一神经网络模型的模型结构中一个独立的子结构体。当第一神经网络模型的模型结构中包含多个这种独立的子结构体，即包含了多个神经网络单元时，这多个神经网络单元可以相同也可以不同。具体地，在一个神经网络单元中，可以包括自注意力模块和前馈模块。此处自注意力模块可以为具有自注意力处理功能的神经网络层，前馈模块可以为前馈神经网络层，或者可以称之为全连接层。

在一个实施例中，本申请中提供的神经网络单元可以为Transformer模型的编码模块。其中，Transformer模型是为了解决机器翻译任务所提出的模型，该模型改进了循环神经网络(Rerrent Neural Network，RNN)训练速度慢的缺点，利用自注意力机制实现快速并行；并且Transformer模型可以增加到非常深的深度，充分发掘深度神经网络(DeepNeural Networks，DNN)的特性，从而能够提升模型的准确率。Transformer模型的模型结构具体包括了编码模块和解码模块，其中编码模块可以包括多个编码器，编码器中包含了一个自注意力层和一个前馈神经网络层。如图3所示，为Transformer模型中编码器的结构示意图，如图所示，编码器10包括自注意力层11和前馈神经网络层12，当有数据输入编码器10时，可以先经过自注意力层11进行自注意力处理，然后将自注意力处理得到的数据经前馈神经网络层12进行处理后输出。即本申请中的神经网络单元也可以为与编码器10相同的结构，神经网络单元中包含了自注意力模块和前馈模块，即在神经网络单元中也可以包括自注意力层11和前馈神经网络层12。当数据输入至神经网络单元时，可以由自注意力模块先对数据进行自注意力处理，然后再将自注意力处理后的数据输入至前馈模块进行处理然后输出。

步骤102，根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型。

其中，在相关技术中，在Transformer模型的编码器中，自注意力层和前馈神经网络层具有确定的执行顺序，即输入数据先经过自注意力层进行处理再经过前馈神经网络进行处理。本申请的发明人在研究中发现，对Transformer模型的编码器中的自注意力层和前馈神经网络层的执行顺序进行调节，即先采用前馈神经网络层对输入数据进行处理，然后将处理得到的数据再输入至自注意力层进行自注意力处理，也可以实现相同的编码效果。而且，本申请的发明人通过离线的实验验证，确定对编码器中的自注意力层和前馈神经网络层进行顺序调换后可以实现相同的编码效果。

如此，对第一神经网络模型中每个神经网络单元的自注意力模块和前馈模块的顺序进行调节，便可以得到多个模型结构不同但能够实现相同模型功能的神经网络模型，此处第一神经网络模型中每个神经网络单元的自注意力模块和前馈模块的顺序进行调节得到的神经网络模型，可以称为第二神经网络模型。

在一些实施例中，根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型，包括：

1、获取第一神经网络模型中神经网络单元的数量；

2、基于神经网络单元的数量确定多种神经网络模型结构，每一神经网络模型结构与自注意力模块和前馈模块的一种执行顺序组合相对应；

3、根据多种神经网络模型结构生成多个第二神经网络模型。

其中，在本申请实施例中，在对第一神经网络模型中每一神经网络单元的自注意力模块和前馈模块的执行顺序进行调节时，可以先获取第一神经网络模型中神经网络单元的数量，然后根据神经网络单元的数量来计算得到多种自注意力模块和前馈模块的执行顺序组合。例如，当第一神经网络模型中只包含一个神经网络单元时，则具有两种执行顺序组合，即自注意力模块在前执行且前馈模块在后执行，以及前馈模块在前执行且自注意力模块在后执行这两种。当第一神经网络模型中包含两个神经网络单元时，则可以具有四种执行顺序组合：SA，FF，SA，FF；SA，FF，FF，SA；FF，SA，SA，FF以及FF，SA，FF，SA。其中SA(Self-Attention)指自注意力模块，FF(Feed Forward)指前馈模块。当第一神经网络模型中包含三个神经网络单元时，则可以有八种执行顺序组合，以此类推。

在根据第一神经网络模型中神经网络单元的数量确定了多个执行顺序组合后，可以进一步根据每一种执行顺序组合确定一个神经网络模型结构，然后根据每一神经网络模型结构生成一个第二神经网络模型，得到多个神经网络模型。

步骤103，采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型。

其中，在根据第一神经网络模型的神经网络单元中自注意力模块和前馈模块的不同执行顺序组合生成了多个第二神经网络模型后，对多个第二神经网络模型进行训练。在相关技术中，对多个神经网络模型进行训练一般为采用训练样本数据分别对多个神经网络模型进行训练，得到多个训练后的神经网络模型。然而，对多个神经网络模型进行训练容易出现训练不同步、训练流程容易出错的问题，而如果只训练一个神经网络模型又会出现过拟合的情况。对此，本申请实施例提供的模型训练方法中，可以对多个第二神经网络模型进行集成训练，即在本申请中，多个第二神经网络模型共用模型参数，即对多个第二神经网络模型进行训练是同时进行的，在一个第二神经网络模型训练完成时，该第二神经网络模型的模型参数便确定了。由于多个第二神经网络模型时共用模型参数的，那么此时其他第二神经网络模型也就便训练完成了。对多个第二神经网络模型进行集成训练，可以避免训练不同步和流程出错的问题，可以进一步提升模型的准确性。

在一些实施例中，采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型，包括：

1、获取初始训练样本，初始训练样本包括多个样本输入数据以及每个样本输入数据对应的标签数据；

2、将多个样本输入数据中的任一目标样本输入数据分别输入多个第二神经网络模型，得到目标样本输入数据对应的多个样本输出数据；

3、根据多个样本输出数据与目标样本数据对应的标签数据之间的差异对多个第二神经网络模型的模型参数进行更新，多个第二神经网络模型共用模型参数；

4、当多个第二神经网络模型未收敛时，返回执行将任一目标样本输入数据分别输入多个第二神经网络模型，并根据输出的多个样本输出数据与对应标签数据之间的差异更新多个第二神经网络模型的模型参数的步骤；

5、当多个第二神经网络模型收敛时，输出训练后的多个第二神经网络模型。

在本申请实施例中，对多个第二神经网络模型进行集成训练，具体可以先获取初始训练样本，其中初始训练样本中包含了多个样本输入数据以及每个样本输入数据对应的标签数据。具体地，样本输入数据可以包括目标对象的对象信息以及目标候选内容的内容信息；样本输入数据对应的标签数据可以为目标对象对目标候选内容的感兴趣情况，当目标对象对目标候选内容感兴趣时，可以确定标签数据为1；当目标对象对目标候选内容不感兴趣时，可以确定标签数据为0。在获取到初始训练样本后，可以在初始训练样本中选取一个目标样本，目标样本中包含了目标样本输入数据以及其对应的标签数据。然后可以将目标样本输入数据分别输入到多个第二神经网络模型中，得到多个第二神经网络模型输出的多个样本输出数据，此处样本输出数据可以为概率值，该概率值代表了目标样本中目标对象对目标候选内容的感兴趣程度。

其中，可以理解的是，在本实施例中，前述第一神经网络模型和多个第二神经网络模型还包括词嵌入层和归一化层，其中词嵌入层用于将对象信息和内容信息映射到向量空间，得到对象信息和内容信息对应的特征向量。归一化层用于对最后一个神经网络单元输出的特征向量进行归一化处理，得到对象对内容的感兴趣程度值。

进一步地，在得到了目标样本输入数据对应的多个样本输出数据后，可以进一步根据多个样本输出数据与目标样本输入数据对应的标签值对多个第二神经网络模型的模型参数进行调整。由于在本申请中，多个第二神经网络模型共用模型参数，对多个第二神经网络模型的模型参数进行调整，也就是对其中任一第二神经网络模型的模型参数进行调整。

在每次对模型参数进行调整后，都可以检测模型参数是否收敛。其中，检测模型参数是否收敛，可以采用如下两种方法进行：

A、循环训练次数是否达到预设次数；

B、模型参数相对于本次调整前的模型参数的变化率是否小于预设阈值。

当循环训练的次数达到预设次数或者模型参数相对于本次调整前的模型参数的变化率小于预设阈值时，则可以判定模型参数收敛，否则则确定模型参数尚未收敛，需要进一步进行训练。

当模型参数未收敛时，则返回挑选目标样本，然后将目标样本中的样本输入数据输入多个第二神经网络模型，得到多个样本输出数据，然后再进一步根据多个样本输出数据和标签数据之间的差异对模型参数进行更新，直到模型参数收敛。

当确定了模型参数收敛，则可以输出收敛的模型参数，以及输出训练后的多个第二神经网络模型。

在一些实施例中，根据多个样本输出数据与目标样本数据对应的标签数据之间的差异对多个第二神经网络模型的模型参数进行更新，多个第二神经网络模型共用模型参数，包括：

3.1、分别计算多个样本输出数据中每一样本输出数据与目标样本数据对应的标签数据之间的差值，得到多个损失值；

3.2、计算每一损失值对应的梯度值，得到多个梯度值；

3.3、根据多个梯度值对多个第二神经网络模型的模型参数进行更新，多个第二神经网络模型共用模型参数。

其中，在本申请实施例中，在根据多个样本输出数据与标签数据之间的差异来对多个第二神经网络模型的模型参数进行更新时，具体可以先根据预设的损失函数来计算每一第二神经网络模型对应的损失值。其中，在本申请实施例中，具体可以为计算每一样本输出数据与标签数据之间的差值来确定每一第二神经网络模型对应的损失值。然后，再根据每一损失值计算对应的梯度值，得到多个梯度值。进一步地，可以根据多个梯度值计算对模型参数进行更新的目标梯度值，并采用该目标梯度值对多个第二神经网络模型的模型参数进行更新。其中，根据多个梯度值计算目标梯度值，具体可以采用加权求和的方法来计算目标梯度值。

步骤104，基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本。

其中，在本申请实施例中，在对生成的多个第二神经网络模型进行训练，得到训练后的多个第二神经网络模型后，还可以进一步采用训练后的多个第二神经网络模型对初始训练样本进行样本扩充，以提升对模型训练的样本数量，进而提升训练得到的神经网络模型的准确性。

在一些实施例中，基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本，包括：

1、采用训练后的多个第二神经网络模型对初始训练样本进行扩充，得到扩充样本集合；

2、从扩充样本集合中确定多个目标扩充样本，并将多个目标扩充样本添加至初始训练样本中，得到目标训练样本。

其中，在本实施例中，可以先采用训练后的多个第二神经网络模型对初始训练样本进行扩充以得到包含多个扩充样本的扩充样本集合，然后可以在扩充样本集合中进行选择，选择一定数量的优质样本添加到初始训练样本中，得到目标训练样本。

在一些实施例中，采用训练后的多个第二神经网络模型对初始训练样本进行扩充，得到扩充样本集合，包括：

1.1、采用每一训练后的第二神经网络模型对初始训练样本中的每一样本输入数据进行处理，得到每一训练后的第二神经网络模型输出的概率值集合；

1.2、根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合。

其中，在本申请实施例中，采用训练后的多个第二神经网络模型对初始训练样本进行扩充，具体可以为采用训练后的多个第二神经网络模型对初始训练样本进行召回，得到当前初始样本中多个有较大可能为正样本的训练样本组成扩充样本集合。

具体地，可以采用每一训练后的第二神经网络模型对初始样本中的每一样本输入数据进行处理，得到每一训练后的第二神经网络模型输出的概率值集合。其中，样本输入数据可以包括对象信息和候选内容信息，那么第二神经网络模型输出的概率值便为对象对候选内容的感兴趣程度。

在确定了每一训练后的第二神经网络模型输出的概率值集合后，便可以根据该概率值集合确定扩充样本集合。

在一些实施例中，根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合，包括：

1.2.1、确定每一概率值集合中的最大值，得到每一训练后的第二神经网络模型输出的最大概率值；

1.2.2、确定每一最大概率值对应的扩充训练样本，得到多个扩充训练样本；

1.2.3、根据多个扩充训练样本确定扩充样本集合。

在本申请实施例中，可以在每一第二神经网络模型对应的概率值集合中确定最大概率值，该最大概率值可以为一个也可以为多个。然后可以将最大概率值对应的训练样本作为扩充训练样本补充到初始训练样本中，得到目标训练样本。

步骤105，利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

其中，在对初始训练样本进行样本扩充得到目标样本后，便可以使用目标训练样本对前述第一神经网络模型进行训练，得到最终的目标神经网络模型。

根据上述描述可知，本申请实施例提供的模型训练方法，通过获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

以此，本申请提供的模型训练方法，通过对神经网络模型的处理模块的执行顺序进行调整得到多个辅助训练的神经网络模型，并采用集成式训练方法对多个辅助训练的神经网络模型进行集成训练。然后进一步采用训练后的多个辅助训练的神经网络模型对初始的训练样本进行扩充，以在不借助外部数据的基础上补充高置信度的训练样本，避免了训练数据量不足的情况造成的模型泛化能力不足的问题，从提升了神经网络模型的准确性。

本申请还提供了一种模型训练方法，该方法可以使用于计算机设备中，该计算机设备可以为终端也可以为服务器。如图4所示，为本申请提供的内容推荐方法的另一流程示意图，方法具体包括：

步骤201，计算机设备对预设神经网络模型的模型结构进行调整，得到多个教师模型。

其中，预设神经网络模型的模型结构可以包括至少一个如Transformer模型中编码器结构的模块。即该模块包括一个自注意力层和一个前馈神经网络层。在本申请实施例中，可以对每一编码器结构的模块中自注意力层和前馈神经网络层的位置进行调整，从而生成多个新的神经网络模型。在本申请中，可以采用知识蒸馏的方法将多个模型集成带来的效果提升蒸馏到一个新的模型中，因此此处多个新的模型可以称为教师模型。

步骤202，计算机设备获取初始训练样本。

其中，初始训练样本可以包括多个训练样本，每个训练样本包括了模型输入数据以及其对应的标签数据。其中，模型输入数据可以包括对象的对象信息以及候选内容的内容信息，标签信息为0或1，即代表了正样本和负样本。

步骤203，计算机设备从初始训练样本中选取目标训练样本。

其中，在本申请实施例中，在对多个教师模型进行集成训练时，可以逐一采用初始训练样本中的训练样本来对教师模型的模型参数进行调整。例如先从初始训练样本中选取一个目标训练样本，使用该训练样本对模型的参数进行拟合调整。其中，由于教师模型为对预设神经网络模型中的自注意力层和前馈神经网络层的位置进行调整得到的多个神经网络模型，即多个教师模型是共用模型参数的。

步骤204，计算机设备将目标训练样本输入至多个教师模型中，得到多个输出值。

其中，在对多个教师模型进行集成训练时，计算机设备可以将选择的目标训练样本中的模型输入数据分别输入至每一教师模型中，得到每一教师模型输出的数据。

步骤205，计算机设备计算每一输出值与目标训练样本中标签值之间的损失值，并根据损失值计算后向梯度。

在对多个教师模型进行集成训练时，通过预设的损失函数、教师模型输出的数据以及目标训练样本中标签值来计算损失值。在计算得到每一教师模型的损失值后，进一步根据每一教师模型对应的损失值计算后向梯度，得到每一教师模型对应的后向梯度。然后，可以根据每一教师模型对应的后向梯度计算出对教师模型的模型参数进行调整的后向梯度。

步骤206，计算机设备根据后向梯度对教师模型的模型参数进行更新。

其中，在计算得到与目标训练样本对应的，对教师模型的模型参数进行调整的后向梯度后，计算机设备可以进一步采用该后向梯度对教师模型的模型参数进行更新。

步骤207，计算机设备判断教师模型是否收敛。

每次对教师模型的模型参数进行更新后，都进行以此模型收敛判断，以确定教师模型是否收敛。具体地，可以判断循环次数是否达到预设次数，若循环次数达到预设次数则确定教师模型收敛，输出当前模型参数，得到训练后的多个教师模型。若循环次数未达到预设次数，则确定教师模型尚未收敛，则返回执行步骤203，重新从初始训练样本中选择目标训练样本对多个教师模型进行集成训练。

或者可以判断模型参数相对于本次调整前的模型参数的变化率是否小于预设比例。若小于预设比例，则可以确定教师模型收敛，输出当前模型参数，得到训练后的多个教师模型。若不小于预设比例，则可以确定教师模型尚未收敛，则返回执行步骤203，重新从初始训练样本中选择目标训练样本对多个教师模型进行集成训练。

步骤208，计算机设备采用多个训练后的教师模型在初始训练样本中确定多个正样本。

其中，在对多个教师模型进行训练，得到多个训练后的教师模型后。计算机设备可以进一步采用训练后的多个教师模型对初始训练样本进行样本扩充。具体地，对每一个训练后的教师模型，可以先采用该训练后的教师模型对初始训练样本进行一次召回，得到当前数据有可能的正样本，然后从前几个正样本中随机选择一个作为目标正样本。然后遍历每一训练后的教师模型，得到每一教师模型对应的目标正样本。

步骤209，计算机设备采用多个正样本扩充初始训练样本，得到目标训练样本。

进一步地，计算机设备可以将前述每一教师模型对应的目标正样本补充到初始训练样本中以扩充训练样本，得到目标训练样本。

步骤210，计算机设备计算采用目标训练样本对预设神经网络模型进行训练，得到学生模型。

在得到目标训练样本后，便可以使用目标训练样本对前述预设神经网络模型进行训练，得到学生模型。本申请用多个教师模型来补充置信度高的样本至训练样本中，从而实现将多个教师模型学到的有用的信息都蒸馏到学生模型中，如此可以便提高训练得到的模型的准确性。

如表1所示，为本申请训练得到的学生模型与基线模型以及采用一个教师模型进行蒸馏得到的学生模型的离线实验数据。

模型/准确率	第一数据集	第二数据集
			基线模型	25.97％	38.13％
第一学生模型	26.49％	39.30％
			第二学生模型	26.92％	39.85％

表1模型准确率实验数据表

其中，基线模型可以为SASRec序列召回模型，第一学生模型可以为采用一个教师模型进行蒸馏训练得到的学生模型，第二学生模型为本申请采用多个教师模型进行集成学习蒸馏得到的学生模型。根据表1数据可知，本申请提供的模型训练方法训练得到的模型在两个数据集中进行离线验证均取得了更为良好的模型效果。

根据上述描述可知，本申请提供的模型训练方法，通过获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

以此，本申请提供的模型训练方法，通过对神经网络模型的处理模块的执行顺序进行调整得到多个辅助训练的神经网络模型，并采用集成式训练方法对多个辅助训练的神经网络模型进行集成训练。然后进一步采用训练后的多个辅助训练的神经网络模型对初始的训练样本进行扩充，以在不借助外部数据的基础上补充高置信度的训练样本，避免了训练数据量不足的情况造成的模型泛化能力不足的问题，从提升了神经网络模型的准确性。

本申请另一方面还提供了一种内容推荐方法，该内容推荐方法可应用于内容推荐装置中，该内容推荐装置可以集成在计算机设备中。如图5所示，为本申请提供的内容推荐方法的流程示意图。该方法包括：

步骤301，获取目标对象的对象信息以及多个候选内容的内容信息。

其中，在本申请中，可以将本申请提供的模型训练方法训练得到的目标神经网络模型应用于推荐系统中进行内容推荐。在对目标对象进行内容推荐时，可以先获取目标对象的对象信息以及候选内容信息库，候选内容信息库中可以包括多个候选内容的内容信息。

步骤302，采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度。

其中，此处预设神经网络模型可以为采用本申请前述实施例提供的模型训练方法训练得到的神经网络模型。将目标对象的对象信息和任一候选内容的内容信息输入至该神经网络模型中，便可以输出目标对象和候选内容的内容信息对应的特征向量。然后通过计算目标对象的特征向量与候选内容的内容信息对应的特征向量之间的余弦相似度，便可以得到每一候选内容与目标对象的相似度。该相似度也可以为目标对象对候选内容的感兴趣程度。

步骤303，根据相似度确定目标候选内容，并向目标对象推荐目标候选内容。

在确定了每一候选内容与目标对象的相似度后，便可以根据相似度的高低确定相似度最高的目标数量个目标候选内容，然后向目标对象推荐这写目标候选内容。

根据上述描述可知，本申请提供的内容推荐方法，通过获取目标对象的对象信息以及多个候选内容的内容信息；采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，预设神经网络模型为本申请提供的模型训练方法训练得到的目标神经网络模型；根据相似度确定目标候选内容，并向目标对象推荐目标内容。以此，由于本申请中的预设神经网络模型为采用本申请提供的模型训练方法训练得到的更为准确的模型，因此用该模型进行内容推荐也可以提高内容推荐的准确性。

为了更好地实施以上模型训练方法，本申请实施例还提供一种模型训练装置，该模型训练装置可以集成在终端或服务器中。

例如，如图6所示，为本申请实施例提供的模型训练装置的结构示意图，该模型训练装置可以包括第一获取单元401、生成单元402、第一训练单元403、扩充单元404以及第二训练单元405，如下：

第一获取单元401，用于获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；

生成单元402，用于根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；

第一训练单元403，用于采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；

扩充单元404，用于基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；

第二训练单元405，用于利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

在一些实施例中，生成单元，包括：

第一获取子单元，用于获取第一神经网络模型中神经网络单元的数量；

确定子单元，用于基于神经网络单元的数量确定多种神经网络模型结构，每一神经网络模型结构与自注意力模块和前馈模块的一种执行顺序组合相对应；

生成子单元，用于根据多种神经网络模型结构生成多个第二神经网络模型。

在一些实施例中，第一训练单元，包括：

第二获取子单元，用于获取初始训练样本，初始训练样本包括多个样本输入数据以及每个样本输入数据对应的标签数据；

输入子单元，用于将多个样本输入数据中的任一目标样本输入数据分别输入多个第二神经网络模型，得到目标样本输入数据对应的多个样本输出数据；

更新子单元，用于根据多个样本输出数据与目标样本数据对应的标签数据之间的差异对多个第二神经网络模型的模型参数进行更新，多个第二神经网络模型共用模型参数；

执行子单元，用于当多个第二神经网络模型未收敛时，返回执行将任一目标样本输入数据分别输入多个第二神经网络模型，并根据输出的多个样本输出数据与对应标签数据之间的差异更新多个第二神经网络模型的模型参数的步骤；

输出子单元，用于当多个第二神经网络模型收敛时，输出训练后的多个第二神经网络模型。

在一些实施例中，更新子单元，包括：

第一计算模块，用于分别计算多个样本输出数据中每一样本输出数据与目标样本数据对应的标签数据之间的差值，得到多个损失值；

第二计算模块，用于计算每一损失值对应的梯度值，得到多个梯度值；

更新模块，用于根据多个梯度值对多个第二神经网络模型的模型参数进行更新，多个第二神经网络模型共用模型参数。

在一些实施例中，扩充单元，包括：

扩充子单元，用于采用训练后的多个第二神经网络模型对初始训练样本进行扩充，得到扩充样本集合；

添加子单元，用于从扩充样本集合中确定多个扩充样本，并将多个扩充样本添加至初始训练样本中，得到目标训练样本。

在一些实施例中，扩充子单元，包括：

处理模块，用于采用每一训练后的第二神经网络模型对初始训练样本中的每一样本输入数据进行处理，得到每一训练后的第二神经网络模型输出的概率值集合；

确定模块，用于根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合。

在一些实施例中，确定模块，包括：

第一确定子模块，用于确定每一概率值集合中的最大值，得到每一训练后的第二神经网络模型输出的最大概率值；

第二确定子模块，用于确定每一最大概率值对应的扩充训练样本，得到多个扩充训练样本；

第三确定子模块，用于根据多个扩充训练样本确定扩充样本集合。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

根据上述描述可知，本申请实施例提供的模型训练装置，通过第一获取单元401获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；生成单元402根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；第一训练单元403采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；扩充单元404基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；第二训练单元405利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

以此，本申请提供的模型训练方法，通过对神经网络模型的处理模块的执行顺序进行调整得到多个辅助训练的神经网络模型，并采用集成式训练方法对多个辅助训练的神经网络模型进行集成训练。然后进一步采用训练后的多个辅助训练的神经网络模型对初始的训练样本进行扩充，以在不借助外部数据的基础上补充高置信度的训练样本，避免了训练数据量不足的情况造成的模型泛化能力不足的问题，从提升了神经网络模型的准确性。

为了更好地实施以上内容推荐方法，本申请实施例还提供一种内容推荐装置，该内容推荐装置可以集成在终端或服务器中。

例如，如图7所示，为本申请实施例提供的内容推荐装置的结构示意图，该内容推荐装置可以包括第二获取单元501、评估单元502以及推荐单元503，如下：

第二获取单元501，用于获取目标对象的对象信息以及多个候选内容的内容信息；

评估单元502，用于采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，预设神经网络模型为采用本申请提供的模型训练方法训练得到的目标神经网络模型；

推荐单元503，用于根据相似度确定目标候选内容，并向目标对象推荐目标内容。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

根据上述描述可知，本申请实施例提供的内容推荐装置，通过第二获取单元501获取目标对象的对象信息以及多个候选内容的内容信息；评估单元502采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，预设神经网络模型为本申请提供的模型训练方法训练得到的目标神经网络模型；推荐单元503根据相似度确定目标候选内容，并向目标对象推荐目标内容。以此，由于本申请中的预设神经网络模型为采用本申请提供的模型训练方法训练得到的更为准确的模型，因此用该模型进行内容推荐也可以提高内容推荐的准确性。

本申请实施例还提供一种计算机设备，该计算机设备可以为终端或服务器，如图8所示，为本申请提供的计算机设备的结构示意图。具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理单元601、一个或一个以上存储介质的存储单元602、电源模块603和输入模块604等部件。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理单元601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储单元602内的软件程序和/或模块，以及调用存储在存储单元602内的数据，执行计算机设备的各种功能和处理数据。可选的，处理单元601可包括一个或多个处理核心；优选的，处理单元601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、对象界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理单元601中。

存储单元602可用于存储软件程序以及模块，处理单元601通过运行存储在存储单元602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储单元602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元602还可以包括存储器控制器，以提供处理单元601对存储单元602的访问。

计算机设备还包括给各个部件供电的电源模块603，优选的，电源模块603可以通过电源管理系统与处理单元601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源模块603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入模块604，该输入模块604可用于接收输入的数字或字符信息，以及产生与对象设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理单元601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元602中，并由处理单元601来运行存储在存储单元602中的应用程序，从而实现各种功能，如下：

获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

或者，获取目标对象的对象信息以及多个候选内容的内容信息；采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，预设神经网络模型为本申请提供的模型训练方法训练得到的目标神经网络模型；根据相似度确定目标候选内容，并向目标对象推荐目标内容。

应当说明的是，本申请实施例提供的计算机设备与上文实施例中的方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：

获取第一神经网络模型，第一神经网络模型包括至少一个神经网络单元，神经网络单元包括自注意力模块以及前馈模块；根据每一神经网络单元中自注意力模块与前馈模块的不同顺序组合关系生成多个第二神经网络模型；采用初始训练样本对多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；基于训练后的多个第二神经网络模型对初始训练样本进行样本扩充，得到目标训练样本；利用目标训练样本对第一神经网络模型进行训练，得到目标神经网络模型。

或者，获取目标对象的对象信息以及多个候选内容的内容信息；采用预设神经网络模型对对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，预设神经网络模型为本申请提供的模型训练方法训练得到的目标神经网络模型；根据相似度确定目标候选内容，并向目标对象推荐目标内容。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述模型训练方法或内容推荐方法中各种可选实现方式中提供的方法。

以上对本发明实施例所提供的模型训练方法及装置、内容推荐方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种模型训练方法，其特征在于，所述方法包括：

获取第一神经网络模型，所述第一神经网络模型包括至少一个神经网络单元，所述神经网络单元包括自注意力模块以及前馈模块；

根据每一所述神经网络单元中所述自注意力模块与所述前馈模块的不同顺序组合关系生成多个第二神经网络模型；

采用初始训练样本对所述多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；

基于所述训练后的多个第二神经网络模型对所述初始训练样本进行样本扩充，得到目标训练样本；

利用所述目标训练样本对所述第一神经网络模型进行训练，得到目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据每一所述神经网络单元中所述自注意力模块与所述前馈模块的不同顺序组合关系生成多个第二神经网络模型，包括：

获取所述第一神经网络模型中所述神经网络单元的数量；

基于所述神经网络单元的数量确定多种神经网络模型结构，每一所述神经网络模型结构与自注意力模块和前馈模块的一种执行顺序组合相对应；

根据所述多种神经网络模型结构生成多个第二神经网络模型。

3.根据权利要求1或2所述的方法，其特征在于，所述采用初始训练样本对所述多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型，包括：

获取初始训练样本，所述初始训练样本包括多个样本输入数据以及每个样本输入数据对应的标签数据；

将所述多个样本输入数据中的任一目标样本输入数据分别输入所述多个第二神经网络模型，得到所述目标样本输入数据对应的多个样本输出数据；

根据所述多个样本输出数据与所述目标样本数据对应的标签数据之间的差异对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数；

当所述多个第二神经网络模型未收敛时，返回执行将任一目标样本输入数据分别输入所述多个第二神经网络模型，并根据输出的多个样本输出数据与对应标签数据之间的差异更新所述多个第二神经网络模型的模型参数的步骤；

当所述多个第二神经网络模型收敛时，输出训练后的多个第二神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个样本输出数据与所述目标样本数据对应的标签数据之间的差异对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数，包括：

分别计算所述多个样本输出数据中每一样本输出数据与所述目标样本数据对应的标签数据之间的差值，得到多个损失值；

计算每一损失值对应的梯度值，得到多个梯度值；

根据所述多个梯度值对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述训练后的多个第二神经网络模型对所述初始训练样本进行样本扩充，得到目标训练样本，包括：

采用所述训练后的多个第二神经网络模型对所述初始训练样本进行扩充，得到扩充样本集合；

从所述扩充样本集合中确定多个目标扩充样本，并将所述多个目标扩充样本添加至所述初始训练样本中，得到目标训练样本。

6.根据权利要求5所述的方法，其特征在于，所述采用所述训练后的多个第二神经网络模型对所述初始训练样本进行扩充，得到扩充样本集合，包括：

采用每一训练后的第二神经网络模型对所述初始训练样本中的每一样本输入数据进行处理，得到每一训练后的第二神经网络模型输出的概率值集合；

根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合。

7.根据权利要求6所述的方法，其特征在于，所述根据每一训练后的第二神经网络模型输出的概率值集合确定扩充样本集合，包括：

确定每一概率值集合中的最大值，得到每一训练后的第二神经网络模型输出的最大概率值；

确定每一最大概率值对应的扩充训练样本，得到多个扩充训练样本；

根据所述多个扩充训练样本确定扩充样本集合。

8.一种内容推荐方法，其特征在于，所述方法包括：

获取目标对象的对象信息以及多个候选内容的内容信息；

采用预设神经网络模型对所述对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，所述预设神经网络模型为权利要求1至7中任意一项所述的目标神经网络模型；

根据所述相似度确定目标候选内容，并向所述目标对象推荐所述目标候选内容。

9.一种模型训练装置，其特征在于，所述装置包括：

第一获取单元，用于获取第一神经网络模型，所述第一神经网络模型包括至少一个神经网络单元，所述神经网络单元包括自注意力模块以及前馈模块；

生成单元，用于根据每一所述神经网络单元中所述自注意力模块与所述前馈模块的不同顺序组合关系生成多个第二神经网络模型；

第一训练单元，用于采用初始训练样本对所述多个第二神经网络模型进行集成训练，得到训练后的多个第二神经网络模型；

扩充单元，用于基于所述训练后的多个第二神经网络模型对所述初始训练样本进行样本扩充，得到目标训练样本；

第二训练单元，用于利用所述目标训练样本对所述第一神经网络模型进行训练，得到目标神经网络模型。

10.根据权利要求9所述的装置，其特征在于，所述生成单元，包括：

第一获取子单元，用于获取所述第一神经网络模型中所述神经网络单元的数量；

确定子单元，用于基于所述神经网络单元的数量确定多种神经网络模型结构，每一所述神经网络模型结构与自注意力模块和前馈模块的一种执行顺序组合相对应；

生成子单元，用于根据所述多种神经网络模型结构生成多个第二神经网络模型。

11.根据权利要求9或10所述的装置，其特征在于，所述第一训练单元，包括：

第二获取子单元，用于获取初始训练样本，所述初始训练样本包括多个样本输入数据以及每个样本输入数据对应的标签数据；

输入子单元，用于将所述多个样本输入数据中的任一目标样本输入数据分别输入所述多个第二神经网络模型，得到所述目标样本输入数据对应的多个样本输出数据；

更新子单元，用于根据所述多个样本输出数据与所述目标样本数据对应的标签数据之间的差异对所述多个第二神经网络模型的模型参数进行更新，所述多个第二神经网络模型共用模型参数；

执行子单元，用于当所述多个第二神经网络模型未收敛时，返回执行将任一目标样本输入数据分别输入所述多个第二神经网络模型，并根据输出的多个样本输出数据与对应标签数据之间的差异更新所述多个第二神经网络模型的模型参数的步骤；

输出子单元，用于当所述多个第二神经网络模型收敛时，输出训练后的多个第二神经网络模型。

12.一种内容推荐装置，其特征在于，所述装置包括：

第二获取单元，用于获取目标对象的对象信息以及多个候选内容的内容信息；

评估单元，用于采用预设神经网络模型对所述对象信息以及多个候选内容的内容信息进行相似度评估，得到每一候选内容对应的相似度，所述预设神经网络模型为权利要求1至7中任意一项所述的目标神经网络模型；

推荐单元，用于根据所述相似度确定目标候选内容，并向所述目标对象推荐所述目标内容。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7中任一项所述的模型训练方法或权利要求8所述的内容推荐方法中的步骤。

14.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的模型训练方法或权利要求8所述的内容推荐方法中的步骤。

15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的模型训练方法或权利要求8所述的内容推荐方法中的步骤。