CN112348161A - 神经网络的训练方法、神经网络的训练装置和电子设备 - Google Patents
神经网络的训练方法、神经网络的训练装置和电子设备 Download PDFInfo
- Publication number
- CN112348161A CN112348161A CN201910736303.2A CN201910736303A CN112348161A CN 112348161 A CN112348161 A CN 112348161A CN 201910736303 A CN201910736303 A CN 201910736303A CN 112348161 A CN112348161 A CN 112348161A
- Authority
- CN
- China
- Prior art keywords
- neural network
- neural networks
- loss function
- training
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 304
- 238000012549 training Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004913 activation Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 97
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011423 initialization method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
公开了一种神经网络的训练方法、神经网络的训练装置和电子设备。该神经网络的训练方法包括：通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；将对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；对于所述每个神经网络，基于所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及，基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。这样，提高了神经网络对标签噪声的鲁棒性。
Description
技术领域
本申请涉及深度学习领域，且更为具体地，涉及神经网络的训练方法、神经网络的训练装置和电子设备。
背景技术
目前，在深度学习领域中，常见的工作是使用带标签的数据训练神经网络以实现分类、回归或其他目的，这种训练模型学习规律的方法一般被称为监督学习。
在监督学习中，训练数据所对应的标签质量对于学习效果至关重要。如果学习时使用的标签数据是错误的，那么不可能训练出有效的模型。同时，由于深度学习使用的神经网络往往结构复杂，为了得到良好的学习效果，对于带标签的训练数据的数量也有较高要求。
但是，在海量数据标注过程中，总会不可避免地产生标签噪声，这在训练过程中会严重降低模型的性能。这是由于给数据打标签这个工作在很多场景下需要人工实现，海量、高质量标签本身费时费力，在经济上相对昂贵。因此，在实际应用中，深度学习问题必须面对标签噪声的影响，即每个带标签的数据集都要假定其中是包含噪声的。
因此，需要能够有效应对标签噪声的神经网络的训练方法。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的训练方法、神经网络的训练装置和电子设备，其将其他神经网络的标签对应位置的概率输出值作为课程学习的权重对每个神经网络的原损失函数值进行加权，从而使得每个神经网络以课程学习的方式进行训练，提高了神经网络对标签噪声的鲁棒性。
根据本申请的一方面，提供了一种神经网络的训练方法，包括：通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；将对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；对于所述每个神经网络，基于所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及，基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
根据本申请的另一方面，提供了一种神经网络的训练装置，包括：特征图获取单元，用于通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；概率值获得单元，用于将所述特征图获取单元对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；损失函数计算单元，用于对于所述每个神经网络，基于所述概率值获得单元所获得的所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及，参数更新单元，用于基于所述损失函数计算单元所获得的所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。
本申请提供的神经网络的训练方法、神经网络的训练装置和电子设备在使用带标签噪声的数据集训练神经网络时，使用其他神经网络的softmax层后所给标签位置的概率输出值作为分配给每个神经网络的原损失函数值的权重，从而以课程学习的方式进行神经网络的训练。
这样，由于在神经网络的训练过程中，通过课程学习的权重减小了噪声样本的影响而相对增加了正样本在训练中的比重，使得神经网络在以课程学习的方式训练时能够更加专注于对正样本的学习，从而实现了对标签噪声的鲁棒性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的神经网络的训练方法的流程图。
图2图示了根据本申请实施例的每个神经网络的框架结构的示意图。
图3图示了根据本申请实施例的交叉训练过程的示意图
图4图示了根据本申请实施例的神经网络的预训练过程的示例的流程图。
图5图示了根据本申请实施例的神经网络的训练装置的第一示例的框图。
图6图示了根据本申请实施例的神经网络的训练装置的第二示例的框图。
图7图示了根据本申请实施例的神经网络的训练装置的网络更新单元的第一示例的框图。
图8图示了根据本申请实施例的神经网络的训练装置的网络更新单元的第二示例的框图。
图9图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，针对标签噪声，目前的方法包括通过预测噪声转移矩阵的方法，使用鲁棒性的损失函数以及课程学习的方法。通常，在数据集较小且模型简单时，会使用预测噪声转移矩阵的方法或是鲁棒性的损失函数方法；在处理海量的带噪声数据集时，会使用课程学习的方法。
但是，预测噪声转移矩阵的方法需要使用额外的网络结构来预测噪声的转移矩阵，而鲁棒性的损失函数很难训练应用于多分类任务的大网络结构，其都难以在海量带噪声数据集下发挥作用。而课程学习的方法依赖于训练时所给课程的好坏，并且其基于损失的课程采用硬阈值的方法使得模型的性能下降，而使用额外的课程生成结构将带来大量的额外计算和超参数使得训练十分复杂。
针对上述技术问题，本申请的基本构思是将多个带标签数据集分别输入多个神经网络以获得所述多个带标签数据集各自的多个特征图，再将所述多个特征图输入所述多个神经网络的Softmax激活函数以获得所述标签对应位置的概率输出值，并基于所获得的概率输出值对所述多个神经网络进行交叉训练，即对每个神经网络的原损失函数值进行加权，从而以加权后的新损失函数值来更新每个神经网络的参数。
具体地，本申请提供的神经网络的训练方法，神经网络的训练装置和电子设备首先通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图，然后将对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值，再基于其他神经网络的所述概率输出值对每个神经网络的原损失函数值进行加权以获得每个神经网络的新损失函数值，最后基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
也就是，本申请提供的神经网络的训练方法、神经网络的训练装置和电子设备在使用带标签噪声的数据集训练多个神经网络时，使用其他神经网络的softmax层后所给标签位置的概率输出值的作为课程的权重来对每个神经网络的损失函数值进行更新，从而以课程学习的方式进行神经网络的训练。
这样，由于在神经网络的训练过程中通过课程学习的权重减小了噪声样本的影响而相对增加了正样本在训练中的比重，使得神经网络在以课程学习的方式训练时能够更加专注于对正样本的学习，从而实现了对标签噪声的鲁棒性。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1图示了根据本申请实施例的神经网络的训练方法的流程图。
如图1所示，根据本申请实施例的神经网络的训练方法包括以下步骤。
步骤S110，通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图。这里，所述带标签数据集是用于训练所述多个相同结构的神经网络的带标签的训练数据，例如，可以是带标签的多幅图像。相应地，通过每个神经网络所获得的所述带标签数据集的特征图可以是对应于多幅图像各自对应的特征图，得到多个特征图。
图2图示了根据本申请实施例的每个神经网络的框架结构的示意图。如图2所示，带标签数据集，例如多个图像IN输入作为基本模型的神经网络N，并获得特征图F。
步骤S120，将对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值。这里，如上所述，带标签数据集中的标签包含标签噪声，也就是，所述标签可能为真也可能为假。但是，因为神经网络会首先学习数据当中的真实模式，因此，假标签对应位置的概率输出值较低。
继续参考图2，将特征图F输入Softmax激活函数后，可以获得标签B对应位置的概率输出值pt。这里，所述概率输出值pt可以如下式计算：
其中，x是所述神经网络的输入，也就是带标签数据集，fc(x)是所述神经网络获得的特征图，u是所述神经网络的节点的权重，b是所述神经网络的节点的偏差。
继续参考图2，对于所述概率输出值pt，可以直接将其作为课程学习的权重v：
v＝pt
这样，就获得了课程学习(curriculums)的权重v，从而可以将生成的课程学习的权重加权到损失函数值L上。这里，在深度学习领域中，课程学习指的是对用于加权的权重进行学习，所述权重可以是用于直接对损失函数值进行加权，也可以用于对数据，例如样本数据进行加权。
这里，所述概率输出值pt能够体现标签样本为真或者为假，因此，所述概率输出值可以作为样本置信值，从而使得神经网络的训练更专注于标签的正样本而忽略标签错误的噪声样本。所以，训练好的神经网络能够表现出对标签噪声的鲁棒性。
步骤S130，基于其他神经网络的所述概率输出值对每个神经网络的原损失函数值进行加权以获得每个神经网络的新损失函数值。也就是说，在本申请实施例中，通过交叉训练的方式来进行每个神经网络的课程学习。图3图示了根据本申请实施例的交叉训练过程的示意图。
如图3所示，如上所述，将训练集同时输入多个相同结构的神经网络MA、MB和MC，以获得多个课程学习的权重vA、vB和vC。然后，对于每个神经网络的MA、MB和MC的原损失函数LA、LB和LC，以其他神经网络的课程学习的权重对其进行加权以获得新损失函数。具体地，以神经网络MB和MC的课程学习的权重vB和vC对MA的原损失函数LA进行加权以获得新损失函数LA’，并且，以相同方式获得神经网络MB和MC的新损失函数LB’和LC’。
也就是，对于进行交叉训练的多个神经网络来说，所述其他神经网络指的是所述多个神经网络中除了对其原损失函数值进行加权以获得新损失函数值的神经网络以外的其他神经网络。例如，在图3中，基于神经网络MB和MC的所述概率输出值对神经网络MA的原损失函数值进行加权以获得每个神经网络的新损失函数值，其他神经网络指MB和MC。并且，基于神经网络MA和MB的所述概率输出值对神经网络MC的原损失函数值进行加权以获得每个神经网络的新损失函数值，其他神经网络指MA和MB。此外，基于神经网络MA和MC的所述概率输出值对神经网络MB的原损失函数值进行加权以获得每个神经网络的新损失函数值，其他神经网络指MA和MC。
步骤S140，基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。也就是，参考图3，如虚线所示，基于新损失函数值LA’，LB’和LC’，分别更新神经网络MA、MB和MC的参数。具体地，可以利用梯度下降算法更新神经网络的参数，即，神经网络节点的权重u和偏差b。
这样，由于在神经网络的参数的更新过程中，通过以课程学习的权重对损失函数值加权，以课程学习的权重减小了噪声样本的影响而相对增加了正样本在训练中的比重，从而减弱了标签的噪声数据所产生的影响。这样，神经网络在以课程学习的方式训练时能够更加专注于对标签的正样本的学习，从而实现了对标签噪声的鲁棒性。
图4图示了根据本申请实施例的神经网络的预训练过程的示例的流程图。
如图4所示，在如图1所示的实施例的基础上，在步骤S110之前，进一步包括以下步骤。
步骤S140，使用相同的初始化方式和不同的随机数种子对所述多个神经网络进行参数初始化。也就是，所述多个相同结构的神经网络的初始化方式相同，但是随机数种子不同，从而使得所述多个相同结构的神经网络之间可以进行交叉训练。
步骤S150，对进行了参数初始化的所述多个神经网络进行预训练。这里，可以分别对所述多个神经网络进行相同周期的预训练，包括计算损失函数值并反向传播更新参数，从而得到具有不同参数的多个相同结构的神经网络模型，并且，这些模型均具有一定的分类能力。
这样，通过如图4所示的神经网络的预训练过程，可以获得具有不同参数且均具有一定的分类能力的多个相同结构的神经网络，使得每个神经网络输出的课程的权重可以用于其他神经网络的交叉训练，促进了根据本申请实施例的神经网络的交叉训练过程。
也就是，如果没有上述预训练过程，在通过如图1所示的神经网络的训练方法对所述多个神经网络进行基于课程学习的交叉训练时，可能导致神经网络的训练速度过慢。甚至，如果每个神经网络完全没有分类能力，则可能导致训练无法进行，因此，通过所述预训练过程，可以使得神经网络的交叉训练过程更快，且计算更加简单。
在一个示例中，在根据本申请实施例的神经网络的训练方法中，基于其他神经网络的所述概率输出值对每个神经网络的原损失函数值进行加权以获得每个神经网络的新损失函数值包括：将其他神经网络对应的所述概率输出值与所述每个神经网络的原损失函数值的乘积进行累乘以获得所述每个神经网络的新损失函数值。
也就是，通过计算以课程的权重加权的每个神经网络的原损失函数值的乘积来获得新损失函数值，如下式所示：
其中，N表示交叉训练的神经网络的数目，j表示当前正在计算损失的神经网络，L表示该神经网络的原损失函数，而Lr表示该神经网络的加权后的新损失函数值。
因此，通过使用以课程的权重加权的每个神经网络的原损失函数值的乘积来获得新损失函数值，可以方便地获得能够体现出其他神经网络的课程权重的作用的新损失函数值，从而提高神经网络的训练效果。
在一个示例中，在根据本申请实施例的神经网络的训练方法中，基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数包括：以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤。
也就是，可以通过迭代训练的方式，不断地通过其他神经网络生成的课程学习的权重v来减弱标签的噪声数据所产生的影响，从而提升神经网络的预测精度。并且，随着迭代过程的进行，噪声样本所被分配的权重会趋近于零，同时正样本被分配的权重也会趋近于一。因此，神经网络通过迭代的课程学习的方式，能够在训练时更加专注于对正样本的学习而忽略标签的噪声样本，从而实现对标签噪声的鲁棒性。
在实际的神经网络的训练过程中，可以设置迭代的停止条件，例如，迭代后的神经网络是否收敛，以及神经网络的迭代是否达到预定次数。在停止迭代之后，可以使用验证集来选择最优的神经网络。
也就是，在根据本申请实施例的神经网络的训练方法中，以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤包括：确定所述更新后的每个神经网络是否收敛；以及，响应于所述更新后的每个神经网络收敛，停止所述每个神经网络的迭代更新。具体地，可以获得更新后的神经网络对于验证集的准确率，并且通过验证集的准确率来判定所述神经网络是否收敛。也就是，如果验证集输入更新后的神经网络后获得准确率不再上升，则可以认为所述神经网络已经收敛，从而停止所述神经网络的迭代更新。
或者，在根据本申请实施例的神经网络的训练方法中，以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤包括：确定每个神经网络的最大迭代更新次数；以及，响应于所述每个神经网络的迭代更新次数达到所述最大迭代更新次数，停止所述每个神经网络的迭代更新。这里，所述神经网络的最大迭代更新次数可以为5次到20次，例如，可以设置所述最大迭代更新次数为10次，如果所述神经网络已经迭代更新了10次，则停止所述神经网络的迭代更新。
这样，通过设置神经网络的训练过程中的迭代的停止条件，可以避免神经网络的迭代次数过多，从而防止过拟合，还可以减少训练时间降低训练成本。
示例性装置
图5图示了根据本申请实施例的神经网络的训练装置的第一示例的框图。
如图5所示，根据本申请实施例的神经网络的训练装置200包括：特征图获取单元210，用于通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；概率值获得单元220，用于将所述特征图获取单元210对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；损失函数计算单元230，用于对于所述每个神经网络，基于所述概率值获得单元220所获得的所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及，参数更新单元240，用于基于所述损失函数计算单元230所获得的所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
图6图示了根据本申请实施例的神经网络的训练装置的第二示例的框图。
如图6所示，在如图5所示的实施例的基础上，所述神经网络的训练装置200’进一步包括：初始化单元250，用于在所述特征图获取单元210通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图之前，使用相同的初始化方式和不同的随机数种子对所述多个神经网络进行参数初始化；以及，预训练单元260，用于对所述初始化单元250进行了参数初始化的所述多个神经网络进行预训练。
在一个示例中，在根据本申请实施例的神经网络的训练装置中，所述损失函数计算单元230用于：将其他神经网络对应的所述概率输出值与所述每个神经网络的原损失函数值的乘积进行累乘以获得所述每个神经网络的新损失函数值。
在一个示例中，在根据本申请实施例的神经网络的训练装置中，所述参数更新单元240用于：以迭代方式重复所述特征图获取单元获取特征图、所述概率值获得单元获得概率输出值、所述损失函数计算单元获得新损失函数以及更新所述每个神经网络的参数。
图7图示了根据本申请实施例的神经网络的训练装置的网络更新单元的第一示例的框图。
如图7所示，在如图5所示的实施例的基础上，所述网络更新单元240包括：收敛确定子单元241，用于确定所述更新后的每个神经网络是否收敛；以及，第一停止子单元242，用于响应于所述收敛确定子单元241确定所述更新后的每个神经网络收敛，停止所述每个神经网络的迭代更新。
图8图示了根据本申请实施例的神经网络的训练装置的网络更新单元的第二示例的框图。
如图8所示，在如图5所示的实施例的基础上，所述网络更新单元240包括：次数设置子单元243，设定所述每个神经网络的最大迭代更新次数；以及，第二停止子单元244，用于响应于所述每个神经网络的迭代更新次数达到所述次数设置子单元243所设置的所述最大迭代更新次数，停止所述每个神经网络的迭代更新。
这里，本领域技术人员可以理解，上述神经网络的训练装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的神经网络的训练方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的神经网络的训练装置200可以实现在各种终端设备中，例如用于训练神经网络的服务器等。在一个示例中，根据本申请实施例的神经网络的训练装置200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该神经网络的训练装置200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该神经网络的训练装置200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该神经网络的训练装置200与该终端设备也可以是分立的设备，并且该神经网络的训练装置200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图9来描述根据本申请实施例的电子设备。
图9图示了根据本申请实施例的电子设备的框图。
如图9所示，电子设备10包括一个或多个处理器11和存储器12。
处理器13可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的神经网络的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如课程权重值、损失函数值等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括训练好的神经网络模型等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种神经网络的训练方法，包括：
通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；
将对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；
对于所述每个神经网络，基于所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及
基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
2.如权利要求1所述的神经网络的训练方法，其中，通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图之前包括：
使用相同的初始化方式和不同的随机数种子对所述多个神经网络进行参数初始化；以及
对进行了参数初始化的所述多个神经网络进行预训练。
3.如权利要求1所述的神经网络的训练方法，其中，基于其他神经网络的所述概率输出值对每个神经网络的原损失函数值进行加权以获得每个神经网络的新损失函数值包括：
将其他神经网络对应的所述概率输出值与所述每个神经网络的原损失函数值的乘积进行累乘以获得所述每个神经网络的新损失函数值。
4.如权利要求1所述的神经网络的训练方法，其中，基于所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数包括：
以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤。
5.如权利要求4所述的神经网络的训练方法，其中，以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤包括：
确定所述更新后的每个神经网络是否收敛；以及
响应于所述更新后的每个神经网络收敛，停止所述每个神经网络的迭代更新。
6.如权利要求4所述的神经网络的训练方法，其中，以迭代方式重复所述获取特征图、获得概率输出值、获得新损失函数以及更新所述每个神经网络的参数的步骤包括：
确定每个神经网络的最大迭代更新次数；以及
响应于所述每个神经网络的迭代更新次数达到所述最大迭代更新次数，停止所述每个神经网络的迭代更新。
7.一种神经网络的训练装置，包括：
特征图获取单元，用于通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图；
概率值获得单元，用于将所述特征图获取单元对于每个神经网络分别获取的所述多个特征图输入所述每个神经网络的Softmax激活函数以获得所述带标签数据集的标签对应位置的概率输出值；
损失函数计算单元，用于对于所述每个神经网络，基于所述概率值获得单元所获得的所述多个神经网络中除了所述每个神经网络以外的其他神经网络的所述概率输出值对所述每个神经网络的原损失函数值进行加权以获得所述每个神经网络的新损失函数值；以及
参数更新单元，用于基于所述损失函数计算单元所获得的所述每个神经网络的新损失函数值分别更新所述每个神经网络的参数。
8.如权利要求7所述的神经网络的训练装置，进一步包括：
初始化单元，用于在所述特征图获取单元通过多个相同结构的神经网络从输入的带标签数据集分别获取所述带标签数据集的多个特征图之前，使用相同的初始化方式和不同的随机数种子对所述多个神经网络进行参数初始化；以及
预训练单元，用于对所述初始化单元进行了参数初始化的所述多个神经网络进行预训练。
9.如权利要求7所述的神经网络的训练装置，其中，所述参数更新单元用于：
以迭代方式重复所述特征图获取单元获取特征图、所述概率值获得单元获得概率输出值、所述损失函数计算单元获得新损失函数以及更新所述每个神经网络的参数。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的神经网络的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910736303.2A CN112348161A (zh) | 2019-08-09 | 2019-08-09 | 神经网络的训练方法、神经网络的训练装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910736303.2A CN112348161A (zh) | 2019-08-09 | 2019-08-09 | 神经网络的训练方法、神经网络的训练装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348161A true CN112348161A (zh) | 2021-02-09 |
Family
ID=74367067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910736303.2A Pending CN112348161A (zh) | 2019-08-09 | 2019-08-09 | 神经网络的训练方法、神经网络的训练装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348161A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014706A1 (ko) * | 2022-07-13 | 2024-01-18 | 삼성전자주식회사 | 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694443A (zh) * | 2017-04-05 | 2018-10-23 | 富士通株式会社 | 基于神经网络的语言模型训练方法和装置 |
| US20180336471A1 (en) * | 2017-05-19 | 2018-11-22 | Mehdi Rezagholizadeh | Semi-supervised regression with generative adversarial networks |
| CN108875779A (zh) * | 2018-05-07 | 2018-11-23 | 深圳市恒扬数据股份有限公司 | 神经网络的训练方法、装置及终端设备 |
| CN109472360A (zh) * | 2018-10-30 | 2019-03-15 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
| CN109635920A (zh) * | 2018-11-12 | 2019-04-16 | 北京市商汤科技开发有限公司 | 神经网络优化方法及装置、电子设备和存储介质 |
| CN109902722A (zh) * | 2019-01-28 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 分类器、神经网络模型训练方法、数据处理设备及介质 |
| US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
-
2019
- 2019-08-09 CN CN201910736303.2A patent/CN112348161A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694443A (zh) * | 2017-04-05 | 2018-10-23 | 富士通株式会社 | 基于神经网络的语言模型训练方法和装置 |
| US20180336471A1 (en) * | 2017-05-19 | 2018-11-22 | Mehdi Rezagholizadeh | Semi-supervised regression with generative adversarial networks |
| US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
| CN108875779A (zh) * | 2018-05-07 | 2018-11-23 | 深圳市恒扬数据股份有限公司 | 神经网络的训练方法、装置及终端设备 |
| CN109472360A (zh) * | 2018-10-30 | 2019-03-15 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
| CN109635920A (zh) * | 2018-11-12 | 2019-04-16 | 北京市商汤科技开发有限公司 | 神经网络优化方法及装置、电子设备和存储介质 |
| CN109902722A (zh) * | 2019-01-28 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 分类器、神经网络模型训练方法、数据处理设备及介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014706A1 (ko) * | 2022-07-13 | 2024-01-18 | 삼성전자주식회사 | 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544573B2 (en) | Projection neural networks | |
| CN111414987B (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| CN111126592A (zh) | 输出预测结果、生成神经网络的方法及装置和存储介质 | |
| WO2018035878A1 (zh) | 缺陷分类方法和缺陷检查系统 | |
| CN110674880A (zh) | 用于知识蒸馏的网络训练方法、装置、介质与电子设备 | |
| CN111653274B (zh) | 唤醒词识别的方法、装置及存储介质 | |
| JP6172317B2 (ja) | 混合モデル選択の方法及び装置 | |
| US10885593B2 (en) | Hybrid classification system | |
| CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
| CN114330588A (zh) | 一种图片分类方法、图片分类模型训练方法及相关装置 | |
| CN109919214B (zh) | 一种神经网络模型的训练方法及训练装置 | |
| CN111523351A (zh) | 神经网络的训练方法、装置和电子设备 | |
| CN112348161A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
| CN112465805A (zh) | 用于钢筋冲压折弯的质量检测的神经网络的训练方法 | |
| CN112348045A (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| CN113656669B (zh) | 标签更新方法及装置 | |
| KR102413588B1 (ko) | 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램 | |
| CN112651467B (zh) | 卷积神经网络的训练方法和系统以及预测方法和系统 | |
| US20210374612A1 (en) | Interpretable imitation learning via prototypical option discovery | |
| CN113971183A (zh) | 实体打标模型训练的方法、装置及电子设备 | |
| JP7462206B2 (ja) | 学習装置、学習方法、及び学習プログラム | |
| CN113537295B (zh) | 基于离群点引导的视线估计跨场景适配方法和装置 | |
| CN113869516B (zh) | 知识图谱嵌入模型训练方法、装置、电子设备及介质 | |
| CN115879446B (zh) | 文本处理方法、深度学习模型训练方法、装置以及设备 | |
| US20240185578A1 (en) | Image encoding learning and application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |