CN111507396B - 缓解神经网络对未知类样本产生错误分类的方法及装置 - Google Patents

Abstract

本发明公开了一种缓解神经网络对未知类样本产生错误分类的方法及装置，所述方法在训练神经网络的时候，将原始训练集和未知类样本训练集输入到神经网络中进行训练，对于原始训练集通过第一损失函数进行训练，对于未知类样本训练集通过第二损失函数进行训练，当神经网络的总损失函数达到最小值时，神经网络训练完成，由于只有当神经网络对原始训练集中的训练样本的类别做出最高置信度的正确预测时，第一损失函数的损失值最小，而当神经网络对未知类样本的训练样本的类别做出最低置信度的错误预测时，第二损失函数的损失值最小，因此通过实施本发明实施例能缓解现有神经网络对于未知类样本产生高置信度错误分类的问题。

Description

缓解神经网络对未知类样本产生错误分类的方法及装置

技术领域

本发明涉及人工智能领域，尤其涉及一种缓解神经网络对未知类样本产生错误分类的方法及装置。

背景技术

随着人工智能的快速发展，利用深度学习的独特优势，神经网络近年来在机器人视觉目标识别、图像分类等应用领域取得了很好的效果。它们已经成为许多学习任务的标准，尽管这是一个巨大的成功案例，而且有很好的预测性能，但神经网络的工作也有一些方面是不可取的。任何分类器，特别是用于安全关键系统的分类器，不仅应该具有良好的泛化特性，而且还应该在遇到远离训练数据的未知类样本时做出低可信度的预测。这在安全关键领域特别重要,比如自动驾驶机器人、医疗型智能机器人。因此，它是分类器的一个极其重要的特性，但它并没有受到如此多的关注。而现有的产生分段仿射分类函数的神经网络，或多或少都不可避免的产生对远离训练数据集的未知类样本产生高置信度(一般置信度高于50％称为高置信度)的错误分类结果，将未知类样本的类型识别为原始训练集中的类别。

发明内容

本发明实施例提供一种缓解神经网络对未知类样本产生错误分类的方法及装置能缓解现有神经网络技术对远离训练数据集的未知类样本产生高置信度错误分类的情况。

本发明实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法，包括：

获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；

将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

所述第二损失函数为：

所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、f_yi(x_i)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、f_k(x_i)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、f_l(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；

在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。

进一步的，所述总损失函数为：

其中，λ为预设权重，E为数学期望的字母表示。

进一步的，所述原始训练集和所述未知类样本训练集中的训练样本均为图像。

进一步的，所述未知类样本训练集的生成方式包括：

将所述原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本；

获取除第一未知训练样本之外的若干与所述原始训练集中训练样本类别不同的图像，得到若干第二未知训练样本；

将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本，生成所述未知类样本训练集。

进一步的，在将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本之前，还包括：

通过高斯滤波器对所述若干第一未知训练样本和所述若干第二未知训练样本进行图像处理。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例提供了一种缓解神经网络对未知类样本产生错误分类的装置，包括训练集获取模块和神经网络训练模块以及已训练神经网络生成模块；

所述训练集获取模块，用于获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；

所述神经网络训练模块，用于将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

所述第二损失函数为：

所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、f_yi(x_i)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、f_k(x_i)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、f_l(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；

所述已训练神经网络生成模块，用于在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。

通过实施本发明实施例具有如下有益效果：

本发明实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法及装置，所述方法在训练神经网络的时候，同时将原始训练集和未知类样本训练集输入到神经网络中进行训练，对于原始训练集通过第一损失函数进行训练，对于未知类样本训练集通过第二损失函数进行训练，当神经网络的总损失函数达到最小值时，神经网络训练完成，由于只有当神经网络在对原始训练集中的各训练样本进行类别识别的时候，对各训练样本预测为原始训练集中的类别的这种情况做出高置信度的预测结果时，第一损失函数的损失值最小，而当神经网络对未知类样本进行类别识别时，对未知类样本预测为原始训练集中的类别的这一情况做出最低置信度的预测时，第二损失函数的损失值最小，因此通过上述方法训练完成的神经网络，能够在样本识别时，针对原始训练集中的各样本，对各训练样本预测为原始训练集中的类别的这种情况做出高置信度的预测结果，而在针对未知类样本时，对未知类样本预测为原始训练集中的类别的这种情况做出低置信度的预测，缓解现有神经网络对于未知类样本产生高置信度错误分类，将未知类样本识别为原始训练集的类别的问题。

附图说明

图1是本发明一实施例提供的一种缓解神经网络对未知类样本产生错误分类的方法的流程示意图。

图2是本发明一实施例提供的一种缓解神经网络对未知类样本产生错误分类的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法，包括：

步骤S101、获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同。

步骤S102、将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

所述第二损失函数为：

所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、f_yi(x_i)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、f_k(x_i)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、f_l(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度。

步骤S103、在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。

对于步骤S101、首先本发明最后所生成的神经网络需要在类别识别时，针对原始训练集的样本，需要能对将样本预测为原始训练集中的类别的这一情况，做出高置信度的预测。而针对未知类的样本，需要能对将未知类样本预测为原始训练集中的类别的这一情况，做出低置信度的预测。基于上述目的，在这一步骤中，首先获取原始训练集和未知类样本训练集，原始训练集中的训练样本在训练前已进行了人工标注，注明了各训练样本的类别，而未知类样本训练集中的训练样本指的是与原始训练集中类别不同的训练样本。在优选的实施例中，原始训练集和所述未知类样本训练集中的训练样本均为图像。

未知类样本训练集的生成方式包括：将原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本；获取除第一未知训练样本之外的若干与原始训练集中训练样本类别不同的图像，得到若干第二未知训练样本；将若干第一未知训练样本和若干第二未知训练样本，作为未知类样本训练集中的训练样本，生成未知类样本训练集。

例如，可以MINIST数据集(一个训练样本为灰度手写数字图片的数据集)或SVHN数据集(一个街景数字图片的数据集)，作为原始训练集；假设选取的原始训练集为MINIST数据集，那么此时的未知类样本训练集，可以先获取MINIST数据集的若干数字图像，然后将每一张获取的数字图像的像素点打乱，进行随机排列，获得上述第一未知训练样本，然后再获取不属于数字图像的图片，例如人物图片，动物图片，风景图片等作为第二未知训练样本，然后将第一未知训练样本和第二未知训练样，作为本发明所提及的未知类样本训练集。

当然未知类样本训练集中的训练样本也可以全部由，将原始训练集中的图像的像素点打乱，进行随机排列后生成的新的图像组成。也可以全部由，额外获取的不属于数字图像的图片，例如人物图片，动物图片，风景图片组成。

在一个优选的实施例中，在将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本之前，还包括：

通过高斯滤波器对所述若干第一未知训练样本和所述若干第二未知训练样本进行图像处理。具体的将标准差σ∈[1.0,2.5]作为低通滤波器的高斯滤波器应用于第一未知训练样本和第二未知训练样的图像，使其在噪声中具有更多的低频结构。

对于步骤S102、在训练时对于原始训练集和未知类样本训练集，在神经网络中分别进行训练，具体分为两部分。

由于训练完成的神经网络需要能够对原始训练的样本的类别做出准确的预测，即对样本预测为原始训练集中的类别的这一情况，产生高置信度的预测，因此第一部分，对于原始训练集的训练样本，根据第一损失函数进行训练，第一损失函数如下：

LCE就是通常的交叉熵损失，K是原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本，f(xi)代表是神经网络f对输入图片xi预测的类别结果，f_yi(x_i)则表示神经网络f将图片xi预测为第yi类的置信度。在上述公式中，只有f_yi(x_i)最大的时候，函数的损失值最小，因此当第一损失函数取最小值时，神经网络会以最高置信度预测图片xi预测为类别yi。

由于训练完成的神经网络需要能够对未知类样本的训练样本的类别做出低置信度的预测，即对未知类样本预测为原始训练集的类别的这一情况，做出低置信度的预测。因此第二部分，对于未知类样本训练集的训练样本，根据第二损失函数进行训练，第二损失函数如下：

在这个公式中，对于未知类样本训练集中训练样本Z，神经网络f预测其预测为K个类别的得分都最小的时候，损失值才最小。因此当第二损失函数取最小值时，神经网络会以最低的置信度预测图片Z预测为原始训练集中各个分类K。

对于步骤S103、优选的神经网络的总函数为

其中，λ为预设权重，E为数学期望的字母表示。

当总损失函数最小的时候，或者是达到一定训练次数之后损失函数的变化趋于稳定则训练完成,获得上述已训练神经网络。

需要说明的是本文所描述的“错误分类”指的是在样本识别时，将未知类样本的类别识别为原始训练集的类别的这一情况。

由于上述损失函数的设置方式，使得当使用已训练神经网络来识别原始训练集中的样本时；

针对原始训练集的样本，能对样本预测为原始训练集中的类别的这一情况，做出高置信度的预测。

而针对未知类的样本，能对未知类样本预测为原始训练集中的类别的这一情况，做出低置信度的预测。即一旦已训练神经网络接收与原始训练集类别不同的样本时，已训练神经网络会对该样本预测为原始训练集中的类别做出低置信度的预测结果，然后过滤舍弃掉识别结果，这样就解决了现有的神经网络在对未知类进行类别预测时，作出高置信度的错误分类结果的情况。

如图2所示，在本发明上述方法项实施例的基础上，对应提供了装置项实施例。

本发明另一实施例提供了一种缓解神经网络对未知类样本产生错误分类的装置，包括训练集获取模块和神经网络训练模块以及已训练神经网络生成模块；

所述训练集获取模块，用于获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；

所述神经网络训练模块，用于将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

所述第二损失函数为：

所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、f_yi(x_i)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、f_k(x_i)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、f_l(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；

所述已训练神经网络生成模块，用于在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。

需要说明的是上述装置项实施例是与本发明方法项实施例对应的，其可以实现本发明任意一项方法项实施例所述的一种缓解神经网络对未知类样本产生错误分类的方法。

所述缓解神经网络对未知类样本产生错误分类的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述缓解神经网络对未知类样本产生错误分类的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图2仅仅是缓解神经网络对未知类样本产生错误分类的装置的示例，并不构成对缓解神经网络对未知类样本产生错误分类的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述缓解神经网络对未知类样本产生错误分类的装置还可以包括输入输出设备、网络接入设备、总线等。

通过实施本发明的实施例具有如下有益效果：

本发明实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法及装置，所述方法在训练神经网络的时候，同时将原始训练集和未知类样本训练集输入到神经网络中进行训练，对于原始训练集通过第一损失函数进行训练，对于未知类样本训练集通过第二损失函数进行训练，当神经网络的总损失函数达到最小值时，神经网络顺利完成，由于只有当神经网络对原始训练集中的训练样本的类别做出最高置信度错误的预测时，第一损失函数的损失值最小，而当神经网络对未知类样本的训练样本的类别做出最低置信度的预测时，第二损失函数的损失值最小，因此通过上述方法训练完成的神经网络，能够在样本识别时，针对原始训练集中的各样本，对各训练样本预测为原始训练集中的类别的这种情况做出高置信度的预测结果，而在针对未知类样本时，对未知类样预测为原始训练集中的类别的这种情况做出低置信度的预测，从而缓解现有神经网络在进行类别识别时，将未知类样本预测为原训练集中的类别的这种情况，做出高置信度的预测结果，错误的将未知类样本的类别识别为原训练集中的类别的问题。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种缓解神经网络对未知类样本产生错误分类的方法，其特征在于，包括：

获取原始训练集；

将所述原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本图像；

获取除第一未知训练样本图像之外的若干与所述原始训练集中训练样本类别不同的图像，得到若干第二未知训练样本图像；

将所述若干第一未知训练样本图像和所述若干第二未知训练样本图像，作为未知类样本训练集中的训练样本图像，生成所述未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；所述原始训练集和所述未知类样本训练集中的训练样本均为图像；

将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

；

所述第二损失函数为：

；

所述K为所述原始训练集中训练样本所属的类别、为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、/>为神经网络将原始训练集中训练样本/>预测为第/>类的置信度、/> 为神经网络将原始训练集中训练样本/>预测为第k类的置信度、/> 为神经网络将未知类样本训练集中训练样本Z预测为第/>类的置信度；

在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。

2.如权利要求1所述的缓解神经网络对未知类样本产生错误分类的方法，其特征在于，所述总损失函数为：

其中，为预设权重，E为数学期望的字母表示。

3.如权利要求1所述的缓解神经网络对未知类样本产生错误分类的方法，其特征在于，在将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本之前，还包括：

通过高斯滤波器对所述若干第一未知训练样本和所述若干第二未知训练样本进行图像处理。

4.一种缓解神经网络对未知类样本产生错误分类的装置，其特征在于,包括训练集获取模块和神经网络训练模块以及已训练神经网络生成模块；

所述训练集获取模块，用于获取原始训练集；将所述原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本图像；获取除第一未知训练样本图像之外的若干与所述原始训练集中训练样本类别不同的图像，得到若干第二未知训练样本图像；将所述若干第一未知训练样本图像和所述若干第二未知训练样本图像，作为未知类样本训练集中的训练样本图像，生成所述未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；所述原始训练集和所述未知类样本训练集中的训练样本均为图像；

所述神经网络训练模块，用于将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；

所述第一损失函数为：

；

所述第二损失函数为：

；

所述K为所述原始训练集中训练样本所属的类别、为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、/>为神经网络将原始训练集中训练样本/>预测为第/>类的置信度、/> 为神经网络将原始训练集中训练样本/>预测为第k类的置信度、/> 为神经网络将未知类样本训练集中训练样本Z预测为第/>类的置信度；

所述已训练神经网络生成模块，用于在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。