CN112257855B - 一种神经网络的训练方法及装置、电子设备及存储介质 - Google Patents

一种神经网络的训练方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112257855B
CN112257855B CN202011344334.2A CN202011344334A CN112257855B CN 112257855 B CN112257855 B CN 112257855B CN 202011344334 A CN202011344334 A CN 202011344334A CN 112257855 B CN112257855 B CN 112257855B
Authority
CN
China
Prior art keywords
clean
data
noise
processing
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011344334.2A
Other languages
English (en)
Other versions
CN112257855A (zh
Inventor
尹康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011344334.2A priority Critical patent/CN112257855B/zh
Publication of CN112257855A publication Critical patent/CN112257855A/zh
Application granted granted Critical
Publication of CN112257855B publication Critical patent/CN112257855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络的训练方法及装置、电子设备及存储介质。所述方法包括：通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络。

Description

一种神经网络的训练方法及装置、电子设备及存储介质
技术领域
本申请涉及神经网络技术领域，尤其涉及一种神经网络的训练方法及装置、电子设备及存储介质。
背景技术
神经网络的训练一般有两种方式，一种是基于全监督学习的训练方式，另一种是基于弱监督学习的训练方式。对于基于全监督学习的训练方式来说，由于需要对所有训练样本进行人工标注，因而需要耗费大量的人力。对于基于弱监督学习的训练方式来说，只需要对极少数的训练样本进行人工标注，能够极大地减小神经网络训练过程对训练样本标注的要求。
目前，对于基于弱监督学习的训练方式来说，没有充分利用噪声样本中的特征信息，因而有待进一步改进。
发明内容
为解决上述技术问题，本申请实施例提供了一种神经网络的训练方法及装置、电子设备及存储介质。
本申请实施例提供的神经网络的训练方法，包括：
通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，其中，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；
根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络。
本申请一可选实施方式中，所述神经网络包括特征提取器、干净分类器以及噪声分类器；
所述通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，包括：
通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据；
通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据；
通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果；
通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，包括：
通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；
通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；
根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
本申请一可选实施方式中，所述根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果，包括：
将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
本申请一可选实施方式中，所述基于得到的第一处理结果确定所述干净数据对应的干净结果，包括：
对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果；
所述基于得到的第二处理结果确定所述噪声数据对应的噪声结果，包括：
对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络，包括：
根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值；
根据所述目标损失值，对所述神经网络的参数进行更新；
基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
本申请一可选实施方式中，所述根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值，包括：
根据所述干净结果和所述干净标签，确定第一损失值；
根据所述噪声结果和所述噪声标签，确定第二损失值；
对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
本申请一可选实施方式中，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
本申请一可选实施方式中，所述通过神经网络对干净数据和噪声数据进行处理之前，所述方法还包括：
获取干净数据集和噪声数据集；
根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；
其中，所述第一数量和所述第二数量之和等于所述批量大小。
本申请一可选实施方式中，所述获取干净数据集和噪声数据集，包括：
获取训练样本集；
从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；
从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
本申请一可选实施方式中，所述方法还包括：
针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；
将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。
本申请实施例提供的神经网络的训练装置，包括：
处理单元，用于通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，其中，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络。
本申请一可选实施方式中，所述神经网络包括特征提取器、干净分类器以及噪声分类器；
所述处理单元包括：
第一处理子单元，用于通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据；通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据；
第二处理子单元，用于通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果；
第三处理子单元，用于通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述第三处理子单元，用于通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
本申请一可选实施方式中，所述第三处理子单元，用于将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
本申请一可选实施方式中，所述第二处理子单元，用于对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果；
所述第三处理子单元，用于对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述处理单元，用于根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值；根据所述目标损失值，对所述神经网络的参数进行更新；基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
本申请一可选实施方式中，所述处理单元，用于根据所述干净结果和所述干净标签，确定第一损失值；根据所述噪声结果和所述噪声标签，确定第二损失值；对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
本申请一可选实施方式中，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
本申请一可选实施方式中，所述装置还包括：
获取单元，用于获取干净数据集和噪声数据集；
选取单元，用于根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；
其中，所述第一数量和所述第二数量之和等于所述批量大小。
本申请一可选实施方式中，所述获取单元，用于获取训练样本集；从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
本申请一可选实施方式中，所述处理单元，还用于针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。
本申请实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的神经网络的训练方法。
本申请实施例提供的包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的神经网络的训练方法。
本申请实施例的技术方案中，提出了一种基于弱监督学习的神经网络的训练方法，一方面，通过神经网络获得干净数据对应的干净结果和噪声数据对应的噪声结果，并根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络，从而实现利用噪声数据训练神经网络的目的；另一方面，由于利用噪声数据训练神经网络，因而能够有效减小神经网络训练过程中对干净样本(即干净数据)数量的需求，从而节约了标注成本，提升了训练效率。
附图说明
图1是本申请实施例提供的神经网络的训练方法的流程示意图一；
图2是本申请实施例提供的神经网络的组成架构图；
图3是本申请实施例提供的神经网络的训练方法的流程示意图二；
图4是本申请实施例提供的神经网络的训练装置的结构组成示意图；
图5是本申请实施例的电子设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明，需要说明的是，以下相关技术的描述是用于理解本申请实施例的技术方案，并不造成对本申请实施例技术方案的限定。
随着图形处理器(Graphics Processing Unit，GPU)等高性能计算设备的普及与大量兼顾性能与效率的模型结构的提出，以卷积神经网络(Convolutional NeuralNetwork，CNN)为代表的深度学习算法成为了计算机视觉领域的主流方法，被广泛应用于图片分类、视频理解、动作识别等领域。
作为一种数据驱动的算法，CNN的典型应用过程是先在经过人工标注的数据集(即训练集)上进行参数优化(即训练)，再在实际应用场合对新数据进行预测。因此，训练集的质量好坏直接决定了CNN的实际表现。但是，随着CNN的结构越来越复杂、可训练参数越来越多，CNN所需的训练集(即训练样本集合)规模也越来越大，对所有数据进行精细地人工标注需要耗费大量的人力、物力与时间，基本变成了不可能的任务。为此，提出了本申请实施例的以下技术方案，本申请实施例的技术方案提出了一种基于弱监督学习的神经网络训练方法，能够极大地减小神经网络训练过程对标注数据的要求，可以有效减少标注成本，提升训练效率。
本申请实施例提供的神经网络的训练方法应用于神经网络的训练装置，该神经网络的训练装置可设置在终端设备或者服务器上。在一些实施方式中，该终端设备例如是：体感游戏机，互动广告机、手机、平板电脑、游戏机、台式机、一体机、车载终端等等。
以下对本申请实施例提供的神经网络的训练方法以及神经网络的训练装置进行说明。
图1是本申请实施例提供的神经网络的训练方法的流程示意图一，如图1所示，所述神经网络的训练方法包括以下步骤：
步骤101：通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签。
本申请实施例中，神经网络可以但不局限于是CNN。需要说明的是，神经网络也可以称为“神经网络模型”或者“网络模型”。
本申请实施例中，神经网络用于实现的任务可以但不局限于是图片分类任务、或者视频理解任务、或者目标对象的识别任务等。
本申请实施例中，干净数据是指标注有干净标签的数据，干净数据也可以称为干净样本。噪声数据是指未标注有干净标签的数据，噪声数据标注有噪声标签，这里，噪声标签相对于干净标签来说也可以称为粗略标签或者脏标签，噪声数据也可以称为噪声样本。
需要说明的是，干净数据和噪声数据的类型可以但不局限于是图片。
本申请实施例中，干净数据和噪声数据的获取，可以通过以下方式来实现：
获取干净数据集和噪声数据集；根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；其中，所述第一数量和所述第二数量之和等于所述批量大小。
在一个示例中，批量大小通过batch_size表示，batch_size可以是预设的。第一数量为batch_size×T，第二数量为batch_size-batch_size×T，T为大于0且小于1的数。根据预设的batch_size，在干净数据集中随机选取batch_size×T个训练样本(即干净样本)，在噪声数据集中随机选取batch_size-batch_size×T个训练样本(即噪声样本)，然后，将选择的干净样本和噪声样本随机打乱顺序组成一个批次的数据输入神经网络。需要说明的是，所述一个批次的数据既包含了干净数据又包含了噪声数据。
本申请实施例中，干净数据集内包含的训练样本称为干净样本(也即干净数据)，噪声数据集内包含的训练样本称为噪声样本(也即噪声数据)。
在一可选方式中，干净数据集和噪声数据集的获取，可以通过以下方式实现：
获取训练样本集；从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
上述方案中，训练样本集内包含了大量的训练样本(即数据)，如果训练样本集中有一部分数据已经有人工标注了标签(即干净标签)，则直接选取这部分数据及其标签形成干净数据集；否则，从训练样本集中随机选择预定数量的数据进行人工标注，从而形成干净数据集。这里，如果训练样本集内有一部分数据来自高质量公开数据集，则这部分数据已经有人工标注了标签，可以直接选取这部分数据及其标签形成干净数据集。
上述方案中，训练样本集内除了干净数据集以外的部分，可以从中选取一部分数据形成噪声数据集，针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。这里，预训练模型可以是来在ImageNet上预训练的公开模型。
在一可选方式中，当公开的预训练模型所预测的标签(即上述预测标签)与目标任务对应的标签体系差异过大，难以进行标签映射时，可以通过在预训练模型的特征空间对噪声样本进行k最邻近分类算法(k-Nearest Neighbor，KNN)聚类的方式获得噪声标签。
在一可选方式中，通过上述过程获得干净数据和噪声数据后，可以对所述干净数据和所述噪声数据进行数据预处理，需要说明的是，由于所述干净数据和所述噪声数据组成一个批次的数据输入所述神经网络，因而可以将所述一个批次的数据作为一个数据集来看待。以所述干净数据和所述噪声数据为图片为例，数据预处理的操作包括但不局限于以下至少之一：
A)通过one-hot编码等方式将数据集中的各个图片对应的标签转换为标签向量。
B)将数据集中的各个图片的尺寸进行归一化。
具体地，将数据集中的各个图片的尺寸通过插值、裁剪等方式归一化为统一的大小，例如224×224像素的大小。
C)将数据集中的各个图片的像素值进行归一化。
具体地，对于图片的RGB三通道，在整个数据集上分别统计均值和标准差，再将三通道的像素值减去对应的均值并除以对应的标准差。
例如：数据集包括n张图片，每张图片的大小是m×m像素。对于R通道来说，把n张图片的R通道上的像素值都抽离出来，得到n×m×m个数值，对这些数值求均值和标准差。对于G通道来说，把n张图片的G通道上的像素值都抽离出来，得到n×m×m个数值，对这些数值求均值和标准差。对于B通道来说，把n张图片的B通道上的像素值都抽离出来，得到n×m×m个数值，对这些数值求均值和标准差。然后，对于数据集中的每一张图片，将该图片在三通道的像素值减去对应的均值并除以对应的标准差，从而实现对该图片的像素值的归一化处理。
需要说明的是，上述数据预处理的操作中的“标签”对于干净数据来说，是指干净标签，对于噪声数据来说，是指噪声标签。
在本申请一可选方式中，参照图2，所述神经网络包括特征提取器、干净分类器以及噪声分类器。其中，特征提取器可以由若干个级联的卷积模块组成，用于提取输入数据的特征。干净分类器和噪声分类器可以由若干个级联的全连接模块组成，干净分类器用于获取干净数据对应的分类结果(称为干净结果)，噪声分类器用于获取噪声数据对应的分类结果(称为噪声结果)。需要说明的是，干净分类器和噪声分类器的网络结构可以相同也可以不同。
基于以上神经网络的结构，本申请实施例可以通过以下方式对干净数据和噪声数据进行处理：
1)通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据。
2)通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据。
3)通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果。
具体地，参照图2，通过所述干净分类器对所述第一特征数据进行处理，得到第一处理结果，对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果。
4)通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
具体地，通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
对于上述方案中的步骤4)，参照图2，通过干净分类器和噪声分类器对第二特征数据进行处理的过程，可以包括：4.1)通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；4.2)通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；4.3)根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
在一可选方式中，上述方案中的4.3)步骤，可以通过以下方式来实现：将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
步骤102：根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络。
本申请实施例中，通过上述步骤101得到干净结果和噪声结果后，本申请实施例可以通过以下方式训练神经网络：
I)根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值。
在一可选方式中，根据所述干净结果和所述干净标签，确定第一损失值；根据所述噪声结果和所述噪声标签，确定第二损失值；对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
II)根据所述目标损失值，对所述神经网络的参数进行更新。
III)基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
在一可选方式中，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
本申请实施例的技术方案，通过在训练过程中设置干净分类器和噪声分类器两个支路，使得神经网络能够在正确学习干净标签映射关系的基础上，抑制噪声标签的特征表达，实现利用噪声数据训练网络的目的，能够用极少量的标注数据实现大规模的网络训练，具有极强的实用价值。另一方面，由于本申请实施例的技术方案不需要滤除噪声样本，因而可以减小对干净样本数量的需求，节约了标注成本，提升了训练效率。
图3是本申请实施例提供的神经网络的训练方法的流程示意图二，如图3所示，所述神经网络的训练方法包括以下步骤：
步骤301：获取训练样本集。
具体地，可以根据具体任务采集足够的训练样本(如视频、图片等)，形成训练样本集。训练样本集中包含训练样本的数量级一般在105～106。
步骤302：基于训练样本集，生成干净数据集和噪声数据集。
具体地，从训练样本集中选取部分数据作为干净数据集，干净数据集占训练样本集的比例为预设值T，T的取值例如是5％。具体实现时，如果训练样本集中的部分数据已经有人工标注标签(如该部分数据来自高质量公开数据集)，则可以直接选取这部分数据及其标签，形成干净数据集；否则，从训练样本集中随机选择预定数量的数据进行标注，形成干净数据集。
对训练样本集中剩下的数据(即干净数据集以外的数据)，利用预训练模型进行粗略标注。具体实现时，可以选取在ImageNet上预训练的公开模型对这部分数据进行标签预测，再通过标签映射将预测的标签转换为实际任务的标签。如：实际任务中有一类标签为“动物”，则ImageNet预训练模型预测出的“猫”“狗”等标签均可以映射为“动物”。进一步，对于无法完成标签映射的数据，则直接放弃。由于通过这种方式得到的标签并不是准确的，因而将这部分数据及其标签形成的数据集称为噪声数据集。
步骤303：对干净数据集和噪声数据集进行数据预处理。
这里，预处理的目的是将实际数据转换为神经网络能够高效处理的格式，数据预处理的操作包括但不局限于以下至少之一：
A)通过one-hot编码等方式将数据集中的各个图片对应的标签转换为标签向量。
B)将数据集中的各个图片的尺寸进行归一化。
具体地，将数据集中的各个图片的尺寸通过插值、裁剪等方式归一化为统一的大小，例如224×224像素的大小。
C)将数据集中的各个图片的像素值进行归一化。
具体地，对于图片的RGB三通道，在整个数据集上分别统计均值和标准差，再将三通道的像素值减去对应的均值并除以对应的标准差。
步骤304：基于干净数据集和噪声数据集，对神经网络进行训练。
本申请实施例中，基于干净数据集和噪声数据集，对神经网络进行训练的过程可以包括如下步骤：
1、组成批数据。
具体地，根据预设的batch_size，在干净数据集中随机选取batch_size×T个训练样本，在噪声数据集中随机选取batch_size-batch_size×T个训练样本，然后随机打乱顺序组成一个批次的数据输入神经网络。
2、前传过程。
参照图2，干净数据和噪声数据共享一个特征提取器F，干净数据经特征提取器F处理后输出特征f1，噪声数据经特征提取器F处理后输出特征f2。将特征f1输入干净分类器C1，特征f1经干净分类器C1处理后输出特征向量c1。将特征f2输入噪声分类器C2，特征f2经噪声分类器C2处理后输出特征向量c2，；再将特征f2输入干净分类器C1，特征f2经干净分类器C1处理后输出特征向量c21；最后将特征向量c21和特征向量c2相加得到特征向量c22。对特征向量c1进行归一化处理，得到干净数据对应的干净结果(即概率分布Y1)；对特征向量c22进行归一化处理，得到噪声数据对应的噪声结果(即概率分布Y2)。
这里，可以利用以下公式(1)所示的softmax函数对特征向量c1和特征向量c22分别进行归一化处理：
Figure BDA0002799401520000141
其中，xi为特征向量X的第i位，softmx(xi)为概率向量Y的第i位，概率向量Y即为特征向量X归一化处理后的向量，特征向量X为特征向量c1或者特征向量c22。
上述技术方案，由于干净分类器C1主要由人工标记的数据进行全监督训练，因此可以更好地捕捉真实对应的数据-标签关系，因此特征向量c21中包含了噪声数据的真实标签，将其与特征向量c2相加，就可以使得噪声分类器获得干净分类器的信息，从而剔除噪声特征，实现用噪声数据进行弱监督训练神经网络的目的。
3、计算损失。
假设对特征向量c1进行归一化后得到的向量为概率向量Y1，对特征向量c22进行归一化后得到的向量为概率向量Y2，干净标签对应的标签向量为标签向量L1，噪声标签对应的标签向量为标签向量L2。可以利用以下公式(3)分别计算概率向量Y1和标签向量L1之间的交叉熵损失loss1，以及概率向量Y2和标签向量L2之间的交叉熵损失loss2：
Figure BDA0002799401520000142
其中，L为标签向量L，Y为概率向量，li为标签向量L的第i位，yi为概率向量的第i位。标签向量L可以是L1，概率向量Y可以是Y1，或者，标签向量L可以是L2，概率向量Y可以是Y2。
然后，利用以下公式(3)对交叉熵损失loss1和交叉熵损失loss2，进行加权求和，即可得到最终的目标损失值：
Loss＝Loss1+αLoss2 公式(3)
其中，Loss1为交叉熵损失loss1，Loss2为交叉熵损失loss2，Loss为目标损失值，α为加权因子。
4、反传过程。
根据目标损失值计算神经网络中的参数的梯度值，根据梯度值按照Adam等优化方法对神经网络的参数进行更新。
基于参数更新后的神经网络，重复上述前传过程的步骤和计算损失的步骤，直至神经网络收敛。这里，神经网络收敛的判定条件包括但不限于：达到预设迭代步骤；目标损失值满足预设条件。
这里，目标损失值满足预设条件表征了目标损失值不再有下降趋势。例如：当本次迭代产生的目标损失值小于等于一个预设值时，则代表目标损失值不再有下降趋势；或者，当本次迭代的目标损失值和上一次迭代产生的目标损失值的差值小于等于一个预设值时，则代表目标损失值不再有下降趋势；或者，动态统计最近n次迭代产生的目标损失值的平均值，当平均值小于等于预设值时，则代表目标损失值不再有下降趋势。
经过上述过程对神经网络训练完成后，神经网络中的各个参数得到优化，利用训练完成后的神经网络可以对数据进行标签预测，具体地，可以包括以下步骤：
1、数据预处理
这里，预处理的目的是将实际数据转换为神经网络能够高效处理的格式，数据预处理的操作包括但不局限于以下至少之一：将图片的尺寸进行归一化。将图片的像素值进行归一化。
2、标签预测
参照图2，将数据依次输入特征提取器、干净分类器、归一化操作，即可得到最终的预测结果(即干净结果)。
图4是本申请实施例提供的神经网络的训练装置的结构组成示意图，如图4所示，所述神经网络的训练装置包括：
处理单元401，用于通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，其中，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络。
本申请一可选实施方式中，所述神经网络包括特征提取器、干净分类器以及噪声分类器；
所述处理单元401包括：
第一处理子单元(图中未示出)，用于通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据；通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据；
第二处理子单元(图中未示出，用于通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果；
第三处理子单元(图中未示出，用于通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述第三处理子单元，用于通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
本申请一可选实施方式中，所述第三处理子单元，用于将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
本申请一可选实施方式中，所述第二处理子单元，用于对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果；
所述第三处理子单元，用于对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
本申请一可选实施方式中，所述处理单元401，用于根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值；根据所述目标损失值，对所述神经网络的参数进行更新；基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
本申请一可选实施方式中，所述处理单元401，用于根据所述干净结果和所述干净标签，确定第一损失值；根据所述噪声结果和所述噪声标签，确定第二损失值；对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
本申请一可选实施方式中，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
本申请一可选实施方式中，所述装置还包括：
获取单元402，用于获取干净数据集和噪声数据集；
选取单元403，用于根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；
其中，所述第一数量和所述第二数量之和等于所述批量大小。
本申请一可选实施方式中，所述获取单元402，用于获取训练样本集；从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
本申请一可选实施方式中，所述处理单元401，还用于针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。
本领域技术人员应当理解，图4所示的神经网络的训练装置中的各单元的实现功能可参照前述神经网络的训练方法的相关描述而理解。图4所示的神经网络的训练装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本申请实施例上述的神经网络的训练装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本申请实施例的上述的神经网络的训练方法。
图5是本申请实施例的电子设备的结构组成示意图，如图5所示，电子设备可以包括一个或多个(图中仅示出一个)处理器502(处理器502可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable Gate Array)等的处理装置)、用于存储数据的存储器504、以及用于通信功能的传输装置506。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
存储器504可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/模块，处理器502通过运行存储在存储器504内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (22)

1.一种神经网络的训练方法，其特征在于，所述方法包括：
通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；所述干净数据和所述噪声数据的类型是图片；其中，通过神经网络对干净数据和噪声数据进行处理之前，还包括：将数据集中的各个图片的尺寸进行归一化，所述数据集包括所述干净数据和所述噪声数据；
根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络；
其中，所述神经网络包括特征提取器、干净分类器以及噪声分类器；
所述通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，包括：
通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据；
通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据；
通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果；
通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，包括：
通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；
通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；
根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果，包括：
将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
4.根据权利要求1所述的方法，其特征在于，所述基于得到的第一处理结果确定所述干净数据对应的干净结果，包括：
对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果；
所述基于得到的第二处理结果确定所述噪声数据对应的噪声结果，包括：
对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
5.根据权利要求1所述的方法，其特征在于，所述根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络，包括：
根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值；
根据所述目标损失值，对所述神经网络的参数进行更新；
基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
6.根据权利要求5所述的方法，其特征在于，所述根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值，包括：
根据所述干净结果和所述干净标签，确定第一损失值；
根据所述噪声结果和所述噪声标签，确定第二损失值；
对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
7.根据权利要求5所述的方法，其特征在于，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述通过神经网络对干净数据和噪声数据进行处理之前，所述方法还包括：
获取干净数据集和噪声数据集；
根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；
其中，所述第一数量和所述第二数量之和等于所述批量大小。
9.根据权利要求8所述的方法，其特征在于，所述获取干净数据集和噪声数据集，包括：
获取训练样本集；
从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；
从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；
将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。
11.一种神经网络的训练装置，其特征在于，所述装置包括：
处理单元，用于通过神经网络对干净数据和噪声数据进行处理，得到所述干净数据对应的干净结果和所述噪声数据对应的噪声结果，其中，所述干净数据标注有干净标签，所述噪声数据标注有噪声标签；所述干净数据和所述噪声数据的类型是图片；根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，训练所述神经网络；其中，所述处理单元，还用于在通过神经网络对干净数据和噪声数据进行处理之前，将数据集中的各个图片的尺寸进行归一化，所述数据集包括所述干净数据和所述噪声数据；
其中，所述神经网络包括特征提取器、干净分类器以及噪声分类器；
所述处理单元包括：
第一处理子单元，用于通过所述特征提取器对所述干净数据进行处理，得到所述干净数据对应的第一特征数据；通过所述特征提取器对所述噪声数据进行处理，得到所述噪声数据对应的第二特征数据；
第二处理子单元，用于通过所述干净分类器对所述第一特征数据进行处理，并基于得到的第一处理结果确定所述干净数据对应的干净结果；
第三处理子单元，用于通过所述干净分类器和所述噪声分类器对所述第二特征数据进行处理，并基于得到的第二处理结果确定所述噪声数据对应的噪声结果。
12.根据权利要求11所述的装置，其特征在于，所述第三处理子单元，用于通过所述干净分类器对所述第二特征数据进行处理，得到第一处理子结果；通过所述噪声分类器对所述第二特征数据进行处理，得到第二处理子结果；根据所述第一处理子结果和所述第二处理子结果，确定所述第二处理结果。
13.根据权利要求12所述的装置，其特征在于，所述第三处理子单元，用于将所述第一处理子结果和所述第二处理子结果进行相加运算，得到所述第二处理结果。
14.根据权利要求11所述的装置，其特征在于，
所述第二处理子单元，用于对所述第一处理结果进行归一化处理，得到所述干净数据对应的干净结果；
所述第三处理子单元，用于对所述第二处理结进行归一化处理，得到所述噪声数据对应的噪声结果。
15.根据权利要求11所述的装置，其特征在于，所述处理单元，用于根据所述干净结果、所述干净标签、所述噪声结果以及所述噪声标签，确定目标损失值；根据所述目标损失值，对所述神经网络的参数进行更新；基于更新后的所述神经网络的参数，迭代执行所述通过神经网络对干净数据和噪声数据进行处理的步骤，直至所述神经网络收敛。
16.根据权利要求15所述的装置，其特征在于，所述处理单元，用于根据所述干净结果和所述干净标签，确定第一损失值；根据所述噪声结果和所述噪声标签，确定第二损失值；对所述第一损失值和所述第二损失值进行加权求和，得到所述目标损失值。
17.根据权利要求15所述的装置，其特征在于，所述神经网络收敛的判定条件包括以下至少之一：
当前步骤达到预设的迭代步骤；
所述目标损失值满足预设条件。
18.根据权利要求11至17中任一项所述的装置，其特征在于，所述装置还包括：
获取单元，用于获取干净数据集和噪声数据集；
选取单元，用于根据批量大小，在所述干净数据集中选取第一数量的训练样本作为输入所述神经网络的干净数据以及在所述噪声数据集中选取第二数量的训练样本作为输入所述神经网络的噪声数据；
其中，所述第一数量和所述第二数量之和等于所述批量大小。
19.根据权利要求18所述的装置，其特征在于，所述获取单元，用于获取训练样本集；从所述训练样本集中选取第一部分训练样本，作为干净数据集；其中，所述干净数据集中的每个训练样本标注有干净标签；从所述训练样本集中选取第二部分训练样本，作为噪声数据集。
20.根据权利要求19所述的装置，其特征在于，所述处理单元，还用于针对所述噪声数据集中的每个训练样本，通过预训练模型对所述训练样本进行处理，得到所述训练样本的预测标签；将所述训练样本的预测标签映射为目标任务对应的标签，作为所述训练样本的噪声标签；其中，所述目标任务是指所述神经网络实现的任务。
21.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至10任一项所述的方法步骤。
22.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至10任一项所述的方法步骤。
CN202011344334.2A 2020-11-26 2020-11-26 一种神经网络的训练方法及装置、电子设备及存储介质 Active CN112257855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344334.2A CN112257855B (zh) 2020-11-26 2020-11-26 一种神经网络的训练方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344334.2A CN112257855B (zh) 2020-11-26 2020-11-26 一种神经网络的训练方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112257855A CN112257855A (zh) 2021-01-22
CN112257855B true CN112257855B (zh) 2022-08-16

Family

ID=74225579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344334.2A Active CN112257855B (zh) 2020-11-26 2020-11-26 一种神经网络的训练方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112257855B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112019A (zh) * 2021-05-14 2021-07-13 电子科技大学成都学院 基于改进抗噪鲁棒性学习算法的数据标签降噪系统
CN114428887B (zh) * 2021-12-30 2024-06-21 北京百度网讯科技有限公司 点击数据去噪方法、装置、电子设备及存储介质
CN116959616A (zh) * 2022-11-30 2023-10-27 腾讯科技（深圳）有限公司 噪声数据确定模型的训练、噪声数据的确定方法及装置
CN117523212B (zh) * 2023-11-09 2024-04-26 广州航海学院 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679501A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于标签自提纯的深度学习方法
CN108694443A (zh) * 2017-04-05 2018-10-23 富士通株式会社 基于神经网络的语言模型训练方法和装置
CN110147456A (zh) * 2019-04-12 2019-08-20 中国科学院深圳先进技术研究院 一种图像分类方法、装置、可读存储介质及终端设备
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN110263845A (zh) * 2019-06-18 2019-09-20 西安电子科技大学 基于半监督对抗深度网络的sar图像变化检测方法
CN110472665A (zh) * 2019-07-17 2019-11-19 新华三大数据技术有限公司 模型训练方法、文本分类方法及相关装置
CN111079836A (zh) * 2019-12-16 2020-04-28 浙江大学 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111341341A (zh) * 2020-02-11 2020-06-26 腾讯科技（深圳）有限公司 音频分离网络的训练方法、音频分离方法、装置及介质
CN111898754A (zh) * 2020-08-11 2020-11-06 香港中文大学（深圳） 一种神经网络模型的训练方法、装置、存储介质及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755172B2 (en) * 2016-06-22 2020-08-25 Massachusetts Institute Of Technology Secure training of multi-party deep neural network
US11003995B2 (en) * 2017-05-19 2021-05-11 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694443A (zh) * 2017-04-05 2018-10-23 富士通株式会社 基于神经网络的语言模型训练方法和装置
CN107679501A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于标签自提纯的深度学习方法
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN110147456A (zh) * 2019-04-12 2019-08-20 中国科学院深圳先进技术研究院 一种图像分类方法、装置、可读存储介质及终端设备
CN110263845A (zh) * 2019-06-18 2019-09-20 西安电子科技大学 基于半监督对抗深度网络的sar图像变化检测方法
CN110472665A (zh) * 2019-07-17 2019-11-19 新华三大数据技术有限公司 模型训练方法、文本分类方法及相关装置
CN111079836A (zh) * 2019-12-16 2020-04-28 浙江大学 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111341341A (zh) * 2020-02-11 2020-06-26 腾讯科技（深圳）有限公司 音频分离网络的训练方法、音频分离方法、装置及介质
CN111898754A (zh) * 2020-08-11 2020-11-06 香港中文大学（深圳） 一种神经网络模型的训练方法、装置、存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Leveraging Unlabelled Data for Emotion Recognition with Enhanced Collaborative Semi-Supervised Learning;Zixing Zhang 等;《IEEE ACCESS》;20180424;1-14 *
基于半监督学习的远程监督细粒度实体分类技术研究;陈博;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200815(第（2020）08期);I138-880 *
弱监督场景下的行人重识别研究综述;祁磊 等;《软件学报》;20200915;第31卷(第9期);2883-2902 *

Also Published As

Publication number Publication date
CN112257855A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112257855B (zh) 一种神经网络的训练方法及装置、电子设备及存储介质
CN109816009B (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN109344884B (zh) 媒体信息分类方法、训练图片分类模型的方法及装置
CN109840530A (zh) 训练多标签分类模型的方法和装置
CN111444878A (zh) 一种视频分类方法、装置及计算机可读存储介质
CN111476309A (zh) 图像处理方法、模型训练方法、装置、设备及可读介质
KR20200145827A (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
Ahn et al. Convolutional neural network-based classification system design with compressed wireless sensor network images
CN113326930A (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
WO2022166344A1 (zh) 动作计数方法、装置、设备及存储介质
Grigorev et al. Depth estimation from single monocular images using deep hybrid network
Gu et al. No-reference image quality assessment with reinforcement recursive list-wise ranking
CN112785441A (zh) 数据处理方法、装置、终端设备及存储介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN113920382A (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN112084371B (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
CN112132253B (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
CN110781936B (zh) 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
Jin et al. Blind image quality assessment for multiple distortion image
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN115862015A (zh) 文字识别系统的训练方法及装置、文字识别方法及装置
CN114429579A (zh) 图像处理、分类方法及装置、电子设备及存储介质
CN114580731A (zh) 人群计数预测方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant