CN114565105A - 处理数据的方法和深度学习模型的训练方法、装置 - Google Patents

Abstract

本公开提供了一种采用深度学习模型处理数据的方法和深度学习模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及分布式处理领域和深度学习领域。深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络。采用深度学习模型处理数据的方法包括：针对每个子网络组，将数据特征输入门网络，得到分别针对N个专家子网络的N个权重值；根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果；以及根据针对M个子网络组的M组处理结果，确定针对数据特征的处理结果。

Description

处理数据的方法和深度学习模型的训练方法、装置

技术领域

本公开涉及人工智能领域，具体涉及分布式处理领域和深度学习领域，尤其涉及一种采用深度学习模型处理数据的方法和深度学习模型的训练方法、装置、设备和介质。

背景技术

随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。在深度学习模型的网络参数较多或待处理数据较多时，可以采用分布式架构对数据进行处理。

发明内容

本公开旨在提供一种采用深度学习模型处理数据的方法和深度学习模型的训练方法、装置、设备和介质，以提高数据处理效率和计算资源的利用率。

根据本公开的一个方面，提供了一种采用深度学习模型处理数据的方法，其中，深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；该方法包括：针对所述每个子网络组，将数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；以及根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的处理结果，其中，M、N均为大于1的整数。

根据本公开的一个方面，提供了一种深度学习模型的训练方法，其中，所述深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；该方法包括：针对所述每个子网络组，将样本数据的数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；所述样本数据包括第一处理结果；根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；以及根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的第二处理结果；以及根据所述第一处理结果和所述第二处理结果，对所述深度学习模型进行训练，其中，M、N均为大于1的整数。

根据本公开的一个方面，提供了一种采用深度学习模型处理数据的装置，其中，深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络；该装置包括：权重确定模块，用于针对每个子网络组，将数据特征输入门网络，得到分别针对N个专家子网络的N个权重值；数据处理模块，用于根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果；以及结果确定模块，用于根据针对M个子网络组的M组处理结果，确定针对数据特征的处理结果，其中，M、N均为大于1的整数。

根据本公开的一个方面，提供了一种深度学习模型的训练装置，其中，深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络；N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络；装置包括：权重确定模块，用于针对每个子网络组，将样本数据的数据特征输入门网络，得到分别针对N个专家子网络的N个权重值；样本数据包括第一处理结果；数据处理模块，用于根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果；结果确定模块，用于根据针对M个子网络组的M组处理结果，确定针对数据特征的第二处理结果；以及模型训练模块，用于根据第一处理结果和第二处理结果，对深度学习模型进行训练，其中，M、N均为大于1的整数。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法。

根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的采用深度学习模型处理数据的方法和深度学习模型的训练方法、装置的应用场景示意图；

图2是根据本公开实施例的采用深度学习模型处理数据的方法的流程示意图；

图3是根据本公开实施例的采用深度学习模型处理数据的方法的原理示意图；

图4是根据本公开实施例的采用专家网络包括的多个专家子网络得到处理结果的原理示意图；

图5是根据本公开另一实施例的采用深度学习模型处理数据的方法的结构示意图；

图6是根据本公开实施例的深度学习模型的训练方法的流程示意图；

图7是根据本公开实施例的深度学习模型的训练方法的原理示意图；

图8是根据本公开实施例的采用深度学习模型处理数据的装置的结构框图；

图9是根据本公开实施例的深度学习模型的训练装置的结构框图；以及

图10是用来实施本公开实施例的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种采用深度学习模型处理数据的方法，该方法权重确定阶段、数据处理阶段和结果确定阶段。其中，深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络。在权重确定阶段中，针对每个子网络组，将数据特征输入门网络，得到分别针对N个专家子网络的N个权重值。在数据处理阶段中，根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果。在结果确定阶段中，根据针对M个子网络组的M组处理结果，确定针对数据特征的处理结果。其中，M、N均为大于1的整数。

以下将结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的采用深度学习模型处理数据的方法和深度学习模型的训练方法、装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括电子设备110和多个计算节点130_1～130_M。多个计算节点130_1～130_M可以构成分布式系统，电子设备110可以作为分布式系统的管理节点。

其中，电子设备110和多个计算节点130_1～130_M可以为具有处理功能的各种电子设备，包括但不限于膝上型便携计算机、台式计算机和服务器等等。

电子设备110在接收到待处理数据120时，例如可以将该待处理数据120广播至多个计算节点130_1～130_M，由该多个计算节点130_1～130_M分别对待处理数据120进行处理，得到处理结果。例如，计算节点130_1对待处理数据120处理后，可以得到处理结果140_1，计算节点130_M对待处理数据120处理后，可以得到处理结果140_M。电子设备110可以对多个计算节点130_1～130_M得到的处理结果进行融合，从而得到待处理数据120的处理结果。

在一实施例中，分布式系统可以采用深度学习模型对待处理数据进行处理。其中，深度学习模型可以分布式的设置于多个计算节点130_1～130_M中，例如，该实施例可以将深度学习模型沿模型的深度方向切分为M个网络，并将该M个网络分别设置在M个计算节点中。

其中，深度学习模型例如可以用于对多媒体数据进行识别或分类，例如，该深度学习模型可以为图像分类模型、目标检测模型等。在一实施例中，深度学习模型还可以为专家混合模型(Mixture of Expert，MoE)，以经由深度学习模型完成多个数据处理任务。

在一实施例中，电子设备110例如还可以向多个计算节点分发样本数据，并根据多个计算节点对样本数据进行处理后得到的处理结果进行融合，对融合结果与样本数据的标签指示的真值进行比对，确定训练梯度，并将该训练梯度反馈给多个计算节点，由多个计算节点根据该训练梯度对各自部署的网络的参数进行调整，从而实现对深度学习模型的分布式训练。

需要说明的是，电子设备110例如可以为多个计算节点中的任一计算节点，多个计算节点彼此之间可以通过网络通信连接，每个计算节点可以通过网络来获取其他计算节点得到的处理结果，并对得到的所有处理结果进行融合，从而得到待处理数据的处理结果，同时还可以对深度学习模型的训练。本公开提供的深度学习模型的训练方法可以由多个计算节点中的任一计算节点执行，本公开提供的采用深度学习模型处理数据的方法也可以由该多个计算节点中的任一计算节点执行。

应该理解，图1中的电子设备110和多个计算节点的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110和计算节点。

以下将结合图1，通过以下图2～图5对本公开提供的采用深度学习模型处理数据的方法进行详细描述。

图2是根据本公开实施例的采用深度学习模型处理数据的方法的流程示意图。

如图2所示，该实施例的采用深度学习模型处理数据的方法可以包括操作S210～操作S230。

根据本公开的实施例，深度学习模型可以包括门网络(gating network)和N个专家网络(expert network)。其中，N为大于1的整数，N个专家网络可以分别用于执行N个数据处理任务。例如，N个专家网络可以包括检测猫的专家网络、检测狗的专家网络和检测兔子的专家网络等。该N个专家网络中的每个专家网络可以被切分为M个专家子网络，则N个专家网络可以总计被切分为M*N个专家子网络。该实施例可以划分该M*N个专家子网络，得到M个子网络组。该M个子网络组中的每个子网络组包括N个专家子网络，该N个专家子网络分别属于N个专家网络。可以理解的是，该深度学习模型可以为MoE模型。其中，M、N均为大于1的整数。其中，N的取值可以根据实际需求进行设定，M的取值可以根据分布式系统中包括的计算节点的个数来设定，本公开对此不做限定。

在操作S210，针对每个子网络组，将数据特征输入门网络，得到分别针对N个专家子网络的N个权重值。

根据本公开的实施例，数据特征可以为提取的待处理数据的特征，例如可以采用骨干(backbone)网路提取待处理数据的特征。其中，骨干网络可以为Transformer编码器，卷积神经网络、残差网络(ResNet)等，本公开对此不做限定。

该实施例可以将数据特征输入门网络，由门网络输出权重向量。该权重向量包括针对N个专家网络的N个权重值，对于每个子网络组，该N个权重值可以分别作为针对N个专家子网络的权重值。

在操作S220，根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果。

根据本公开的实施例，可以将数据特征输入每个子网络组包括的N个专家子网络中，由该N个专家子网络输出N个处理后特征。随后，根据该N个权重值与专家子网络的对应关系，对专家子网络输出的处理后特征进行加权，将加权得到的特征作为处理结果。如此，针对每个子网络组包括的N个专家子网络，可以得到N个处理结果，该N个处理结果构成一组处理结果。

在操作S230，根据针对M个子网络组的M组处理结果，确定针对数据特征的处理结果。

根据本公开的实施例，该实施例可以将位于M组处理结果的相同位置处的M个处理结果拼接，得到多个拼接后结果。该拼接后结果的个数取决于每组处理结果包括的处理结果的个数。随后，对多个拼接后结果分别进行逻辑回归处理，得到多个归一化结果。随后，该实施例可以将该多个归一化结果的平均值，作为针对数据特征的处理结果。

根据本公开的实施例，还可以针对M组处理结果包括的所有处理结果，先挑选出属于相同专家网络的M个专家子网络得到的M个处理结果，该M个处理结果可以组成一个结果序列，总计得到多个结果序列。该多个结果序列的个数取决于每组处理结果包括的处理结果的个数。其中，由专家子网络得到的处理结果即为：数据特征输入该专家子网络后，根据专家子网络输出的数据所得到的处理结果。

该实施例可以通过属于同一专家网络的M个专家子网路彼此之间的通信，来对由该M个专家子网络得到的M个处理结果进行聚集，从而得到一个结果序列。例如，每个专家子网络可以将得到的处理结果广播给与其属于同一专家网络的其他专家子网络，从而实现M个处理结果的聚集。在得到多个结果序列后，该实施例可以融合多个结果序列，得到针对数据特征的处理结果。例如，该实施例可以将该多个结果序列中位于相同位置的结果进行求和，从而得到针对数据特征的处理结果。或者，也可以对多个结果序列中位于相同位置的结果计算平均值或加权和，从而得到针对数据特征的处理结果。其中，计算加权和时采用的权重可以根据实际需求进行设定，本公开对此不做限定。

可以理解的是，本公开提供的采用深度学习模型处理数据的方法200可以由分布式系统中的每个计算节点执行，该每个计算节点中设置有门网络和一组专家子网络。分布式系统中的多个计算节点可以通过网络将各自得到的一组处理结果广播给其他计算节点，以使得每个计算节点可以得到M组处理结果，并根据M组处理结果来确定针对数据特征的处理结果。

综上可知，本公开实施例通过将每个专家网络切分为多个专家子网络，并根据多个专家子网络处理数据特征得到的处理结果来确定最终的处理结果，可以实现对数据特征的分布式处理。本公开实施例的方法由于对专家网络进行了切分，则在分布式系统中设置深度学习模型时，可以根据实际需求灵活设置专家网络的个数，并因此可以有效利用各计算节点的内存空间。这是由于在需要新增专家网络时，无需要求各计算节点的剩余内存容量能够支持整个专家网络的运行。

图3是根据本公开实施例的采用深度学习模型处理数据的方法的原理示意图。

在一实施例中，在根据N个权重值，将数据特征输入所述每个子网络组包括的专家子网络时，该实施例可以根据权重值选择权重较高的子网络作为处理数据特征的网络。以此，可以在一定程度上减小数据特征进行处理的计算量，避免计算资源的浪费。

示例性地，该实施例可以根据N个权重值中取值较大的前K个权重值，将数据特征输入每个子网络组中K个权重值所针对的K个专家子网络，得到针对该K个专家子网络的K个处理结果。其中，K个处理结果可以分别由K个专家子网络输出。其中，K为大于等于1的整数，且K小于等于N，该K的取值可以根据实际需求进行设定，本公开对此不做限定。

例如，如图3所示，在实施例300中，深度学习模型可以包括骨干网络310、门网络320和三个专家网络。其中，三个专家网络中的每个专家网络包括两个专家子网络。例如，三个专家网络中的专家网络1包括专家子网络1_1330_1和专家子网络1_2 330_2，专家网络2包括专家子网络2_1 340_1和专家子网络2_2 340_2，专家网络3包括专家子网络3_1 350_1和专家子网络3_2 350_2。骨干网络310和门网络320的整体网络结构均设置在分布式系统中的计算节点300-1和计算节点300-2中。每个专家网络包括的两个专家子网络分别设置在计算节点300-1和计算节点300-2中，即每个计算节点设置有一组专家子网络。例如，计算节点300-1设置的一组专家子网络包括专家子网络1-1330-1、专家子网络2_1 340_1和专家子网络3_1 350_1，计算节点300-2设置的一组专家子网络包括专家子网络1-2 330-2、专家子网络2_2 340_2和专家子网络3_2 350_2。

在对待处理数据301进行处理时，该实施例300可以将待处理数据301输入每个计算节点设置的骨干网络310，由骨干网络310输出数据特征。在将该数据特征输入门网络320后，该门网络320可以得到包括三个元素的权重向量，三个元素分别为三个专家网络的权重值。若设定K为2，且专家网络1和专家网络3的权重值均大于专家网络2的权重值，则该门网络320即可选中专家网络1和专家网络3。如此，计算节点300-1上设置的门网络320可以将输入的数据特征发送给专家网络1包括的专家子网络1_1 330_1和专家网络3包括的专家子网络3_1 350_1，计算节点300-2上设置的门网络320可以将输入的数据特征发送给专家网络1包括的专家子网络1_2 330_2和专家网络3包括的专家子网络3_2 350_2。如此，计算节点300-1可以得到专家子网络1_1 330_1输出的处理结果a-1和专家子网络3_1 350_1输出的处理结果b-1，计算节点300-2可以得到专家子网络1_2 330_2输出的处理结果a-2和专家子网络3_2 350_2输出的处理结果b-2。处理结果a-1和处理结果b-1构成一组处理结果，处理结果a-2和处理结果b-2构成一组处理结果。

在每个计算节点得到一组处理结果后，该每个计算节点可以根据预定规则将得到的处理结果广播给分布式系统中的其他计算节点。例如，每个计算节点可以将得到的所有处理结果广播给其他计算节点，或者可以选择性的对多个专家得到的处理结果广播给不同的其他计算节点，以使得每个计算节点可以仅对部分专家得到的处理结果进行聚集，减少网络通信量，节省计算资源。例如，计算节点300-1可以将处理结果b-1广播给计算节点300-2，同时，计算节点300-2可以将处理结果a-2广播给计算节点300-1。计算节点对专家子网络1-1 330_1的处理结果和接收的专家子网络1-2 330_2的处理结果进行聚集，得到结果序列302。类似地，计算节点300-2可以得到结果序列303。可以理解的是，该实施例可以采用Allgather消息传递接口(Message Passing Interface，MPI)来进行处理结果的广播和聚集，从而得到结果序列302和结果序列303。

在得到结果序列302和结果序列303后，每个计算节点可以将各自得到的结果序列广播给其他计算节点，使得每个计算节点可以得到全量的结果序列。随后，每个计算节点可以对该全量的结果序列进行融合，从而得到针对数据特征的处理结果304。例如，该实施例可以采用AllreduceSumMPI来进行结果序列的广播和融合。

以下将结合图4对将每个专家网络切分为多个专家子网络来处理数据的原理进行描述。

图4是根据本公开实施例的采用专家网络包括的多个专家子网络得到处理结果的原理示意图。

如图4所示，该实施例400中，设定专家网络的网络参数可以由参数矩阵420来表示，待处理数据的数据特征由特征矩阵410表示。设定在专家网络对待处理数据进行处理时，为对待处理数据进行简单的矩阵乘法计算，即通过将特征矩阵410与参数矩阵420进行矩阵乘法计算，来完成对待处理数据的处理，从而得到处理结果430。

在一实施例中，若将专家网络切分为两个专家子网络，则参数矩阵420相应地被切分为矩阵421和矩阵422。该实施例对特征矩阵410与矩阵421进行矩阵乘法计算，可以得到相乘后矩阵431，对特征矩阵410与矩阵422进行矩阵乘法计算，可以得到相乘后矩阵432。通过将该相乘后矩阵431和相乘后矩阵432拼接，可以得到拼接后矩阵。该拼接后矩阵即为特征矩阵410与参数矩阵420进行矩阵乘法计算所得到的矩阵，即该拼接后矩阵为处理结果430。

图5是根据本公开另一实施例的采用深度学习模型处理数据的方法的结构示意图。

在一实施例中，可以对专家网络和骨干网络均进行切分，以此避免因骨干网络较大而使得计算节点允许设置的专家子网络的数量较少的情形。如此，可以进一步提高深度学习模型中设置的专家网络数量的灵活性。

示例性地，深度学习模型包括的骨干网络可以包括M个骨干子网络，M个骨干子网络可以分别设置于分布式系统包括的M个计算节点中。该实施例可以采用该M个骨干子网络来得到待处理数据的数据特征。例如，该实施例可以将待处理数据输入该M个骨干子网络中，得到M个数据子特征。随后，根据该M个数据子特征，得到数据特征。

具体地，在每个骨干子网络输出数据子特征后，该每个骨干子网络所在的计算节点可以将得到的数据子特征广播给其他计算节点，同时，该每个骨干子网络所在的计算节点可以接收到M个骨干子网络中其他骨干子网络得到的数据子特征。随后，每个计算节点例如可以根据获得的M个数据子特征，来得到待处理数据的数据特征。例如，每个计算节点可以对M个数据子特征进行拼接、求和、计算平均值等操作，从而得到数据特征。

如图5所示，该实施例500中，深度学习模型包括的骨干网络包括两个骨干子网络，分别为骨干子网络_1 510_1和骨干子网络_2 510_2。骨干子网络_1 510_1设置于分布式系统中的计算节点500-1中，骨干子网络_2 510_2设置于分布式系统中的计算节点500-2中。该实施例500将待处理数据501分别输入骨干子网络_1 510_1和骨干子网络_2 510_2，由骨干子网络_1 510_1和骨干子网络_2 510_2分别输出一个数据子特征。随后，计算节点500-1可以将骨干子网络_1 510_1输出的数据子特征广播给计算节点500-2，同时，计算节点500-2可以将骨干子网络_2 510_2输出的数据子特征广播给计算节点500-1。随后，计算节点500-1和计算节点500-2根据得到的两个数据子特征，来得到输入门网络520和三个专家网络的数据特征。例如，计算节点可以采用Allgather消息传递接口来进行数据子特征的广播和处理，从而得到数据特征。

可以理解的是，在实施例300和实施例500中，相似的附图标记表示相同的元素，且该三个实施例中门网络和专家网络的设置，及对数据特征的处理均类似，本公开在实施例500中不再展开描述。

在一实施例中，可以根据分布式系统中多个计算节点的内存容量来切分专家网络，以此进一步提高多个计算节点的计算资源的利用率。同时，通过该方式，可以在不增加计算节点的前提下，最大程度地增加专家网络的个数，利于实现大规模的深度学习模型对待处理数据的处理。其中，内存容量具体可以为显存容量等，本公开对此不做限定。

例如，在切分N个专家网络得到的M个子网络组中，每个子网络组包括的N个专家子网络的网络参数的个数与设置该每个子网络组的计算节点的显存容量相匹配。例如，若分布式系统包括两个计算节点，该两个计算节点的显存容量的比值为1∶3，则该实施例中切分每个专家网络得到的两个专家子网络的网络参数的个数比值也可以为1∶3。具体地，若某个专家网络的网络参数由尺寸为H*W的矩阵表示，则表示切分得到的两个专家子网络的网络参数的矩阵可以包括尺寸为H*0.25W的矩阵和尺寸为H*0.75W的矩阵。

本公开还提供了一种深度学习模型的训练方法，以下将结合图6对该方法进行详细描述。

图6是根据本公开实施例的深度学习模型的训练方法的流程示意图。

如图6所示，该实施例的深度学习模型的训练方法600可以包括操作S610～操作S640。其中，深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络。该N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络。其中，M、N均为大于1的整数。可以理解的是，该深度学习模型可以与前文描述的深度学习模型类似，在此不再赘述。

在操作S610，针对每个子网络组，将样本数据的数据特征输入门网络，得到分别针对N个专家子网络的N个权重值。

根据本公开的实施例，样本数据包括第一处理结果。例如，若N个专家网络的任务为图像分类任务，则该第一处理结果可以指示作为样本数据的图像的实际类别。该实施例S610与前文描述的操作S210类似，在此不再赘述。

在操作S620，根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果。该操作S620与前文描述的操作S220类似，在此不再赘述。

在操作S630，根据针对M个子网络组的M组处理结果，确定针对数据特征的第二处理结果。该操作S630与前文描述的操作S230类似，在此不再赘述。

在操作S640，根据第一处理结果和第二处理结果，对深度学习模型进行训练。

根据本公开的实施例，在图像分类任务中，第二处理结果例如可以采用概率向量来表示，该概率向量包括作为样本数据的图像属于多个预定类别中每个类别的预测概率，第二处理结果指示为样本数据的图像的实际类别。该实施例可以以图像属于实际类别的预测概率趋近于1为目标，对深度学习模型进行训练。

例如，该实施例可以先确定概率向量中图像属于实际类别的预测概率，随后采用交叉熵损失函数来确定深度学习模型的损失值。以最小化该损失值为目标训练深度学习模型。其中，可以采用梯度下降算法来对深度学习模型进行训练。

该实施例的深度学习模型的训练方法600，通过将专家网络切分为多个专家子网络，并根据多个专家子网络处理数据特征得到的处理结果来确定预测的处理结果，可以实现对深度学习模型的分布式训练。同时，由于对专家网络进行了切分，则对深度学习模型进行分布式训练时，可以根据实际需求灵活设置专家网络的个数，便于提高模型训练的灵活性和训练效率。

可以理解的是，该实施例的深度学习模型的训练方法，还可以采用前文描述的包括多个骨干子网络的骨干网络来得到样本数据的数据特征，在此不再赘述。

图7是根据本公开实施例的深度学习模型的训练方法的原理示意图。

根据本公开的实施例，可以采用数据并行的方式来对深度学习模型进行训练，以使得分布式系统中的多个计算节点可以并行地对不同样本数据进行处理，并因此提高模型的训练效率。

示例性地，训练深度学习模型的多个样本数据可以被划分为M个样本数据集。该M个样本数据集可以分别作为分布式系统中M个计算节点所设置的骨干网络的数据源。具体地，M个样本数据集分别输入M个计算节点中的骨干网络，每个计算节点中的骨干网络可以输出一个特征集。最后，通过聚集M个计算节点的骨干网络输出的M个特征集，可以得到样本数据的数据特征。例如，每个计算节点在骨干网络输出特征集后，可以将该特征集广播给M个计算节点中的其他计算节点。如此，每个计算节点可以得到M个特征集，且该每个计算节点可以对该M个特征集聚集，从而得到作为门网络和专家网络的输入的数据特征。

例如，如图7所示，在该实施例700中，样本数据可以被划分为两个样本数据集，即样本数据集_1 701_1和样本数据集_2 701_2。在该实施例700中，计算节点700-1和计算节点700-2中均设置有骨干网络710和门网络720。该实施例可以将样本数据集_1 701_1中的多个样本数据依次输入计算节点700-1中设置的骨干网络710，由该骨干网络输出多个数据特征，该多个数据特征即可构成一个特征集。类似地，将样本数据集27012中的多个样本数据依次输入计算节点700-2中设置的骨干网络710，可以得到一个特征集。随后，计算节点700-1可以将得到的特征集广播给计算节点700-2，同时，计算节点700-2可以将得到的特征集广播给计算节点700-1。随后，计算节点700-1和计算节点700-2可以对得到的两个特征集进行聚集，从而得到样本数据的数据特征。例如，计算节点可以采用Allgather消息传递接口来进行特征集的广播和聚集，从而得到数据特征。

可以理解的是，在实施例300和实施例700中，相似的附图标记表示相同的元素，且该三个实施例中门网络和专家网络的设置，及对数据特征的处理均类似，本公开在实施例700中不再展开描述。

基于本公开提供的采用深度学习模型处理数据的方法，本公开还提供了一种采用深度学习模型处理数据的装置，以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的采用深度学习模型处理数据的装置的结构框图。

如图8所示，该实施例的采用深度学习模型处理数据的装置800可以包括权重确定模块810、数据处理模块820和结果确定模块830。

根据本公开的实施例，深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络。N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络。其中，M、N均为大于1的整数。

权重确定模块810用于针对每个子网络组，将数据特征输入门网络，得到分别针对N个专家子网络的N个权重值。在一实施例中，权重确定模块810可以用于执行前述描述的操作S210，在此不再赘述。

数据处理模块820用于根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果。在一实施例中，数据处理模块820可以用于执行前述描述的操作S220，在此不再赘述。

结果确定模块830用于根据针对M个子网络组的M组处理结果，确定针对数据特征的处理结果。在一实施例中，结果确定模块830可以用于执行前述描述的操作S230，在此不再赘述。

根据本公开的实施例，上述数据处理模块820具体可以用于：根据N个权重值中取值较大的前K个权重值，将数据特征输入每个子网络组中K个权重值所针对的K个专家子网络，得到针对每个子网络组的K个处理结果，其中，K为大于等于1的整数，且K小于等于N。

根据本公开的实施例，M个子网络组分别设置于分布式系统包括的M个计算节点中；门网络设置于M个计算节点中的每个计算节点中。每个子网络组包括的N个专家子网络的网络参数个数与设置每个子网络组的计算节点的内存容量相匹配。

根据本公开的实施例，深度学习模型还包括骨干网络；骨干网络包括M个骨干子网络。上述采用深度学习模型处理数据的装置800还可以包括特征确定模块，用于根据将待处理数据输入M个骨干子网络所得到的M个数据子特征，确定待处理数据的数据特征。

根据本公开的实施例，上述结果确定模块830可以包括序列获得子模块和融合子模块。序列获得子模块用于针对M组处理结果包括的所有处理结果，将由属于相同专家网络的M个专家子网络得到的M个处理结果组成一个结果序列，得到多个结果序列。融合子模块用于融合多个结果序列，得到针对数据特征的处理结果。

基于本公开提供的深度学习模型的训练方法，本公开还提供了一种深度学习模型的训练装置，以下将结合图9对该装置进行详细描述。

图9是根据本公开实施例的深度学习模型的训练装置的结构框图。

如图9所示，该实施例的深度学习模型的训练装置900可以包括权重确定模块910、数据处理模块920、结果确定模块930和模型训练模块940。

根据本公开的实施例，深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络；N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于N个专家网络的N个专家子网络。其中，M、N均为大于1的整数。

权重确定模块910用于针对每个子网络组，将样本数据的数据特征输入门网络，得到分别针对N个专家子网络的N个权重值；样本数据包括第一处理结果。在一实施例中，权重确定模块910可以用于执行前述描述的操作S610，在此不再赘述。

数据处理模块920用于根据N个权重值，将数据特征输入每个子网络组包括的专家子网络，得到针对每个子网络组的一组处理结果。在一实施例中，数据处理模块920可以用于执行前述描述的操作S620，在此不再赘述。

结果确定模块930用于根据针对M个子网络组的M组处理结果，确定针对数据特征的第二处理结果。在一实施例中，结果确定模块930可以用于执行前述描述的操作S630，在此不再赘述。

模型训练模块940用于根据第一处理结果和第二处理结果，对深度学习模型进行训练。在一实施例中，模型训练模块940可以用于执行前述描述的操作S640，在此不再赘述。

根据本公开的实施例，深度学习模型还包括骨干网络；M个子网络组分别设置于分布式系统包括的M个计算节点中；骨干网络和门网络设置于M个计算节点中的每个计算节点中。样本数据包括多个数据，多个数据构成M个数据集；多个数据中的每个数据包括一个第一处理结果。上述深度学习模型的训练装置还可以包括特征获得模块，用于聚集将M个数据集分别输入M个计算节点中的骨干网络所得到的M个特征集，得到样本数据的数据特征。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开实施例的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如采用深度学习模型处理数据的方法和/或深度学习模型的训练方法。例如，在一些实施例中，采用深度学习模型处理数据的方法和/或深度学习模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的采用深度学习模型处理数据的方法和/或深度学习模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行采用深度学习模型处理数据的方法和/或深度学习模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种采用深度学习模型处理数据的方法，其中，所述深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；所述方法包括：

针对所述每个子网络组，将数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；

根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；以及

根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的处理结果，

其中，M、N均为大于1的整数。

2.根据权利要求1所述的方法，其中，所述根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果包括：

根据所述N个权重值中取值较大的前K个权重值，将所述数据特征输入所述每个子网络组中所述K个权重值所针对的K个专家子网络，得到针对所述每个子网络组的K个处理结果，

其中，K为大于等于1的整数，且K小于等于N。

3.根据权利要求1所述的方法，其中：

所述M个子网络组分别设置于分布式系统包括的M个计算节点中；所述门网络设置于所述M个计算节点中的每个计算节点中；以及

所述每个子网络组包括的N个专家子网络的网络参数个数与设置所述每个子网络组的计算节点的内存容量相匹配。

4.根据权利要求1所述的方法，其中，所述深度学习模型还包括骨干网络；所述骨干网络包括M个骨干子网络；所述方法还包括：

根据将待处理数据输入所述M个骨干子网络所得到的M个数据子特征，确定所述待处理数据的数据特征。

5.根据权利要求1所述的方法，其中，所述根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的处理结果包括：

针对所述M组处理结果包括的所有处理结果，将由属于相同专家网络的M个专家子网络得到的M个处理结果组成一个结果序列，得到多个结果序列；以及

融合所述多个结果序列，得到针对所述数据特征的处理结果。

6.一种深度学习模型的训练方法，其中，所述深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；所述方法包括：

针对所述每个子网络组，将样本数据的数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；所述样本数据包括第一处理结果；

根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；

根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的第二处理结果；以及

根据所述第一处理结果和所述第二处理结果，对所述深度学习模型进行训练，

其中，M、N均为大于1的整数。

7.根据权利要求6所述的方法，其中：

所述深度学习模型还包括骨干网络；所述M个子网络组分别设置于分布式系统包括的M个计算节点中；所述骨干网络和所述门网络设置于所述M个计算节点中的每个计算节点中；

所述样本数据包括多个数据，所述多个数据构成M个数据集；所述多个数据中的每个数据包括一个第一处理结果；

所述方法还包括：聚集将所述M个数据集分别输入所述M个计算节点中的骨干网络所得到的M个特征集，得到所述样本数据的数据特征，

其中，所述M个特征集与所述M个数据集一一对应。

8.一种采用深度学习模型处理数据的装置，其中，所述深度学习模型包括门网络和N个专家网络，每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；该装置包括：

权重确定模块，用于针对所述每个子网络组，将数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；

数据处理模块，用于根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；以及

结果确定模块，用于根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的处理结果，

其中，M、N均为大于1的整数。

9.根据权利要求8所述的装置，其中，所述数据处理模块用于：

根据所述N个权重值中取值较大的前K个权重值，将所述数据特征输入所述每个子网络组中所述K个权重值所针对的K个专家子网络，得到针对所述每个子网络组的K个处理结果，

其中，K为大于等于1的整数，且K小于等于N。

10.根据权利要求8所述的装置，其中：

所述M个子网络组分别设置于分布式系统包括的M个计算节点中；所述门网络设置于所述M个计算节点中的每个计算节点中；以及

所述每个子网络组包括的N个专家子网络的网络参数个数与设置所述每个子网络组的计算节点的内存容量相匹配。

11.根据权利要求8所述的装置，其中，所述深度学习模型还包括骨干网络；所述骨干网络包括M个骨干子网络；所述装置包括：

特征确定模块，用于根据将待处理数据输入所述M个骨干子网络所得到的M个数据子特征，确定所述待处理数据的数据特征。

12.根据权利要求8所述的装置，其中，所述结果确定模块包括：

序列获得子模块，用于针对所述M组处理结果包括的所有处理结果，将由属于相同专家网络的M个专家子网络得到的M个处理结果组成一个结果序列，得到多个结果序列；以及

融合子模块，用于融合所述多个结果序列，得到针对所述数据特征的处理结果。

13.一种深度学习模型的训练装置，其中，所述深度学习模型包括门网络和N个专家网络；每个专家网络包括M个专家子网络；所述N个专家网络包括的M*N个专家子网络构成M个子网络组，每个子网络组包括分别属于所述N个专家网络的N个专家子网络；所述装置包括：

权重确定模块，用于针对所述每个子网络组，将样本数据的数据特征输入所述门网络，得到分别针对所述N个专家子网络的N个权重值；所述样本数据包括第一处理结果；

数据处理模块，用于根据所述N个权重值，将所述数据特征输入所述每个子网络组包括的专家子网络，得到针对所述每个子网络组的一组处理结果；

结果确定模块，用于根据针对所述M个子网络组的M组处理结果，确定针对所述数据特征的第二处理结果；以及

模型训练模块，用于根据所述第一处理结果和所述第二处理结果，对所述深度学习模型进行训练，

其中，M、N均为大于1的整数。

14.根据权利要求13所述的装置，其中：

所述深度学习模型还包括骨干网络；所述M个子网络组分别设置于分布式系统包括的M个计算节点中；所述骨干网络和所述门网络设置于所述M个计算节点中的每个计算节点中；

所述样本数据包括多个数据，所述多个数据构成M个数据集；所述多个数据中的每个数据包括一个第一处理结果；

所述装置还包括特征获得模块，用于聚集将所述M个数据集分别输入所述M个计算节点中的骨干网络所得到的M个特征集，得到所述样本数据的数据特征。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～7中任一项所述方法的步骤。

Images