CN111861909A - 一种网络细粒度图像去噪分类方法 - Google Patents

Abstract

本发明公开了一种网络细粒度图像去噪分类方法，使用深度神经网络进行预训练并记录和更新最近几次的预测历史，预训练后通过全局样本选择和动态不确定性损失修正来让神经网络在含有噪声的训练集中进行鲁棒地学习。本发明通过进行样本选择和不确定性损失校正，网络图像数据集可以直接用于细粒度视觉分类训练，获得仅略低于干净的人工标注数据集的准确率。

Description

一种网络细粒度图像去噪分类方法

技术领域

本发明属于机器学习技术，具体为一种网络细粒度图像去噪分类方法。

背景技术

深度神经网络在图像分类任务中已经取得了卓越的成就，但是这项任务需要大量正确的人工标记数据，尤其是对于细粒度图像来说，标记任务往往需要由具有相关专 业知识的人来进行标注，并且即使是人工标注也会因为人类主观判断导致不完全准确， 因此大量精准标注的数据集是很昂贵的。为了克服这一问题，一些使用网络数据的方 法被提出来。相比于人工标注数据，网络数据大量且容易获得。一些搜索引擎支持使 用文字来进行图像检索，因此很容易根据标签获取大量图像数据。但是由于缺乏人为 检验，其中数据中往往含有大量标签噪声。如果训练数据中存在标签噪声，即使是对 效果最好的分类器也会造成重大的分类问题。由于深度神经网络会在训练中拟合数据， 如果数据集中存在噪声，错误的标签通过反向传播会让神经网络朝着错误的方向进行 学习，随着训练进行，深度神经网络会逐渐记忆这些噪声数据，将会对分类效果造成 非常大的影响。

此网络数据集虽然容易获取，如果对噪声处理不当依然会造成很差的效果。基于网络数据集的细粒度分类的重点是让深度神经网络在含有噪声的数据集中进行鲁棒的 学习，通过在训练过程中减轻噪声对神经网络训练的影响来提高深度神经网络在网络 数据集中的学习效果。目前针对从含有噪声的数据集中进行学习的方法主要有两种： 样本选择和标签修正。样本选择是选择正确的样本进行训练，标签修正是将数据的错 误标签修正为正确标签后再放入神经网络中进行学习。但是这两种方法都是针对人工 打乱标签的数据集，此类数据集不包含无关噪声，不适用于网络数据集。

发明内容

本发明的目的在于提供一种网络细粒度图像去噪分类方法。

实现本发明目的的技术解决方案为：一种网络细粒度图像去噪分类方法，具体步骤为：

步骤1：获取网络数据集，所述网络数据集包括训练集与测试集，所述训练集由使用基准数据集对应的所有类别名称在搜索引擎上进行搜索抓取得到的图像构成，所述 测试集由基准数据集中原始的测试图像构成；

步骤2：利用训练集进行深度神经网络预训练；

步骤3：将训练集输入预训练好的深度神经网络中进行预测，并计算交叉熵损失，选择交叉熵损失最低的部分训练数据构成训练样本集；

步骤4：根据训练样本集对应的预测结果计算不确定性动态损失，将不确定性动态损失进行反向传播更新深度神经网络；

步骤5：将测试集输入更新后的深度神经网络，获得更新后的深度神经网络的预测准确率；

步骤6：重复步骤3～5直至达到设定的次数，选取预测准确率最高时对应的深度神经网络对图像进行预测分类。

优选地，所述基准数据集为三个细粒度基准图像数据集：CUB200-2011， FGVC-aircraft和Cars-196。

优选地，利用网络数据集中的训练集进行深度神经网络预训练的具体方法为：

训练集输入深度神经网络中进行T_k次预训练，预训练过程中使用交叉熵损失进行反向传播和参数更新，交叉熵损失具体公式如下：

其中，h_θ(x_i)是深度神经网络最后一层softmax的输出，具体为：

式中，f_s(x_i)，s∈{1,2,...,k}是softmax层前的全连接层对应类别s的输出，f_θ(x_i)是 全连接层对应类别θ的输出；

每个训练图像x_i通过深度神经网络得到对应的预测结果

为：

优选地，选择交叉熵损失最低的部分训练数据，具体为交叉熵最低的δ％*N的训练数据，构成的训练样本集

具体为：

式中，y_i为图像x_i的标签，δ为设定的常数，N表示训练集的样本数。

优选地，不确定性动态损失的具体公式为：

式中，h_θ(x_i)是深度神经网络最后一层softmax的输出，F(x_i)为归一化后的不确定性，y_i为图像x_i的标签，

为通过深度神经网络得到对应的预测结果。

优选地，归一化后的不确定性具体为：

式中，ξ＝-log(1/ε)，ε为设定的记录预测次数，entropy(P(y|x；q))为归一化前的不确定性。

优选地，归一化前的不确定性具体为：

式中，P(j|x；q)为预测为类别j的次数在记录的最近ε次预测中的概率。

优选地，预测为类别j的次数在记录的最近ε次预测中的概率具体为：

式中，

为记录的深度神经网络对样本x'_i的最近ε次预测结果，公式为：

本发明与现有技术相比，其显著优点：(1)本发明利用网络图像数据，大量且方 便获取；(2)本发明提出的是端到端的方法，适用于任何深度神经网络，方便快捷， 不需要额外的消耗；(3)本发明提出的方法能同时处理网络数据集中的两种标签噪声 类型：无关噪声和内部噪声；(3)本发明在利用含有网络噪声的数据集的情况下，可 以获得仅略低于干净的人工标注数据集的准确率，极大地减轻了深度神经网络对人工 标注数据集的依赖程度，尤其是针对细粒度图像这类需要专业知识进行标注的数据。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是BCNN深度神经网络结构图。

图2是open-set和close-set的区别和不同图像类型的分布。

图3是本发明的流程图。

图4分别表示不同图像类型在open-set中的损失和不确定性分布。

图5表示mini-batch的噪声率分布。

具体实施方式

一种网络细粒度图像去噪分类方法，具体步骤为：

步骤1：获取网络数据集，所述网络数据集包括训练集与测试集，所述训练集由使用基准数据集对应的所有类别名称在互联网搜索引擎上进行搜索，抓取得到的图像构 成，所述测试集由基准数据集中原始的测试图像构成。

具体地，所述基准数据集为三个细粒度基准图像数据集(CUB200-2011， FGVC-aircraft和Cars-196)。

具体地，为了避免抓取的训练图像与测试图像有重叠，使用最近邻聚类方法移除网络数据集中重复图像。

由于互联网的开放性，网络数据集中的训练集为open-set，不仅包括正确标签的图 像，还有内部噪声和无关噪声。图2表示open-set和close-set的区别和不同图像类型的分布。内部噪声的真实标签存在于网络数据集中，而无关噪声真实标签不存在于网 络数据集中。

步骤2：利用网络数据集中的训练集进行深度神经网络预训练。

假设网络数据集中的训练集D中图像为x_i，y_i图像x_i的标签为y_i。y_i∈{1,2,...,k}，其中k是网络数据集的类别数，i∈{1,2,...,N}，N表示网络数据集中训练集的样本数。 由于训练集中存在噪声，所以y_i不一定是x_i的正确的标签。假设y_i ^*是样本x_i的真实标 签，如果样本标签干净，则y_i ^*＝y_i。

将步骤1中获得的网络数据集中的训练集输入深度神经网络中进行T_k次预训练，预训练过程中使用交叉熵损失进行反向传播和参数更新，交叉熵损失公式如下：

其中，h_θ(x_i)是深度神经网络最后一层softmax的输出，公式如下：

式中，f_s(x_i)，s∈{1,2,...,k}是softmax层前的全连接层对应类别s的输出，f_θ(x_i)是 全连接层对应类别θ的输出。

每个训练图像x_i通过深度神经网络得到对应的预测结果

公式如下：

记录样本x_i的最近ε次预测结果，

并且随着训练过程进行实时更新。

步骤3：将网络数据集中的训练集D输入预训练好的深度神经网络中进行再次预测，并计算交叉熵损失，选择交叉熵最低的δ％*N的训练数据构成训练样本集

具 体为：

步骤4：根据步骤3得到的训练样本集

对应的预测结果计算不确定性动态损失，将不确定性动态损失进行反向传播并更新深度神经网络。

不确定性动态损失函数的确定过程为：

如图4(a)所示，网络数据集中的内部噪声、无关噪声和干净样本的界限并不分明，即使进行了样本选择，剩下的图像中依然含有噪声。对于内部噪声，预训练后的 BCNN网络已经具有了一定的分类能力，倾向于将内部噪声的标签预测为其真实标签 y_i ^*。假设x_i'是

中的训练样本，之前记录的样本x'_i的最近ε次预测历史

其中每 个预测在预测历史中的概率P由下式计算得出：

一个预测结果在预测历史记录中的占比越高，说明这个样本的真实标签越可能是这个预测结果，这个样本也就具有越少的不确定性。相反，如果预测历史记录中的预 测总是在变化，每个预测的占比都很低，这个样本很难确定其真实标签，也就是具有 高不确定性。因此，使用概率来计算熵，以此衡量每个样本的不确定性，计算公式如 下：

当预测记录中的所有预测都一样时，P(y|x；q)＝1，熵entropy(P(y|x；q))＝0。这种情况下不确定性最小。

相反，当预测记录中的所有预测都彼此不相同时，预测概率为如下：

本网络数据集中，数据集的类别数远远大于记录的历史数，则minP(y|x；q)＝1/ε，此时不确定性最大，为：

使用ξ将熵归一化为[0,1]，ξ定义为：

ξ＝-log(1/ε)

归一化后的不确定性为：

如果直接使用步骤3选中的样本的交叉熵损失进行反向传播，样本集中没有被丢弃 的内部噪声会影响学习的方向，神经网络会拟合噪声。Bootstrap提出使用标签和预测来共同修正损失，损失函数修正为：

其中y_i是样本标签，

是网络预测标签。

参数ω_i被设定为固定的数0.8来进行赋值，但是使用固定的权重并不适用于所有的 数据集。因此，本发明使用归一化后的不确定性作为动态权重替换ω_i。不确定性越低，样本更有可能是一个干净样本或者内部噪声，如图4(b)所示，此时修正的损失更多 地取决于其预测的标签。相反，如果样本的预测标签不断变化，这个样本具有更高的 不确定性，也就越可能是一个困难的样本或者无关噪声。为了避免错误丢弃困难样本， 仍然使用这些高不确定性样本，并且让其损失更多地取决于其原始标签。最终得到不 确定性动态损失函数为：

步骤5：将测试集输入更新后的深度神经网络，获得更新后的深度神经网络的预测准确率；

步骤6：重复步骤3～5直至达到设定的次数，选取预测准确率最高时对应的深度神经网络对图像进行预测分类。

实施例

本发明可适用于任何深度神经网络，本实施例以用于细粒度分类的BCNN深度神经网络为例，神经网络结构如图1所示：

步骤1：获取网络数据集，所述网络数据集包括训练集与测试集。

具体地，使用基准数据集对应的所有类别名称在互联网搜索引擎上进行搜索，抓取得到的图像作为训练集，

本实施例中，所述基准数据集为三个细粒度基准图像数据集(CUB200-2011，FGVC-aircraft和Cars-196)。。

步骤2：利用网络数据集中的训练集进行深度神经网络预训练。

步骤3：在使用BCNN网络对所有训练样本进行T_k次预训练后，BCNN网络已经 具有了初级的分类能力。由于网络训练集中含有噪声，如果直接对所有训练样本进行 训练，会让深度神经网络朝着错误的方向进行学习，最后导致很差的测试准确率，不 能正确分类图像。所以在BCNN网络进行预训练后，本发明先进行全局样本选择，在 当前迭代中尽可能选择干净样本用于后续的损失计算。研究表明噪声图像的损失一般 高于干净标签图像，如图4(a)所示，内部噪声和无关噪声的损失一般大于干净样本。 假设(x'_i,y'_i)是选择的损失较低的图像，通过选择，y_i'更有可能为其真实标签y_i ^*，由于 网络数据集内的实际噪声率是未知的，通过随机分配到不同的mini-batch后不同的 batch内的噪声率也是不同的。为了避免在部分噪声率高的batch中无法丢弃大部分无 关噪声，或者在噪声率低的batch中错误丢弃干净样本或者内部噪声，本实施例中使用 全局样本选择选择交叉熵最低的δ％*N的训练数据构成样本集

具体公式为：

图5显示了设定的全局丢弃率δ％和每个Mini-batch的实际丢弃率及其分布。

步骤4：使用步骤3得到的样本集

对应的预测结果计算不确定性动态损失，将 不确定性动态损失进行反向传播并更新深度神经网络，不确定性动态损失函数具体为：

步骤5：将测试集输入更新后的深度神经网络，获得更新后的深度神经网络的预测准确率；

步骤6：重复步骤3～5直至进行了200次迭代，训练完成后的BCNN网络可以在CUB200-2011的测试集中获得78％的准确率，接近于干净训练集的84％测试准确率， 说明BCNN网络已经学习到分类能力。

通过本发明可以让神经网络从含有噪声的网络数据集中训练得到较高的分类能力，且本发明不局限于任何深度神经网络结构，可以在神经网络训练中尽量减少噪声 图像的影响，从而可以应用在实际生活中以减少人工标注的成本，尤其是在细粒度图 像领域。

Claims (8)

1.一种网络细粒度图像去噪分类方法，其特征在于，具体步骤为：

步骤1：获取网络数据集，所述网络数据集包括训练集与测试集，所述训练集由使用基准数据集对应的所有类别名称在搜索引擎上进行搜索抓取得到的图像构成，所述测试集由基准数据集中原始的测试图像构成；

步骤2：利用训练集进行深度神经网络预训练；

步骤3：将训练集输入预训练好的深度神经网络中进行预测，并计算交叉熵损失，选择交叉熵损失最低的部分训练数据构成训练样本集；

步骤4：根据训练样本集对应的预测结果计算不确定性动态损失，将不确定性动态损失进行反向传播更新深度神经网络；

步骤5：将测试集输入更新后的深度神经网络，获得更新后的深度神经网络的预测准确率；

步骤6：重复步骤3～5直至达到设定的次数，选取预测准确率最高时对应的深度神经网络对图像进行预测分类。

2.根据权利要求1所述的网络细粒度图像去噪分类方法，其特征在于，所述基准数据集为三个细粒度基准图像数据集：CUB200-2011，FGVC-aircraft和Cars-196。

3.根据权利要求1所述的网络细粒度图像去噪分类方法，其特征在于，利用网络数据集中的训练集进行深度神经网络预训练的具体方法为：

训练集输入深度神经网络中进行T_k次预训练，预训练过程中使用交叉熵损失进行反向传播和参数更新，交叉熵损失具体公式如下：

其中，h_θ(x_i)是深度神经网络最后一层softmax的输出，具体为：

式中，f_s(x_i)，s∈{1,2,...,k}是softmax层前的全连接层对应类别s的输出，f_θ(x_i)是全连接层对应类别θ的输出；

每个训练图像x_i通过深度神经网络得到对应的预测结果

为：

4.根据权利要求3所述的网络细粒度图像去噪分类方法，其特征在于，选择交叉熵损失最低的部分训练数据，具体为交叉熵最低的δ％*N的训练数据，构成的训练样本集

具体为：

式中，y_i为图像x_i的标签，δ为设定的常数，N表示训练集的样本数。

5.根据权利要求1所述的网络细粒度图像去噪分类方法，其特征在于，不确定性动态损失的具体公式为：

式中，h_θ(x_i)是深度神经网络最后一层softmax的输出，F(x_i)为归一化后的不确定性，y_i为图像x_i的标签，

为通过深度神经网络得到对应的预测结果。

6.根据权利要求5所述的网络细粒度图像去噪分类方法，其特征在于，归一化后的不确定性具体为：

式中，ξ＝-log(1/ε)，ε为设定的记录预测次数，entropy(P(y|x；q))为归一化前的不确定性。

7.根据权利要求6所述的网络细粒度图像去噪分类方法，其特征在于，归一化前的不确定性具体为：

式中，P(j|x；q)为预测为类别j的次数在记录的最近ε次预测中的概率。

8.根据权利要7所述的网络细粒度图像去噪分类方法，其特征在于，预测为类别j的次数在记录的最近ε次预测中的概率具体为：

式中，为记录的深度神经网络对样本x′_i的最近ε次预测结果，公式为：

Images