CN112966724B - 一种图像单类别分类的方法及装置 - Google Patents

Abstract

本发明涉及一种图像单类别分类的方法，按照以下步骤进行：步骤1，先采集多张目标图像，并放入一个设定的目标图像文件夹内；步骤2，采集多张非目标图像，并放入一个设定的非目标图像文件夹内；步骤3，将多张目标图像和多张非目标图像传入选定的深度神经网络进行分类训练，经过一段时间分类训练后得到一个分类器；步骤4，输入一张图像于分类器中，可得到该图像的分类预测结果。本发明可用于动物或者人物或者建筑或者物体的识别，还可用于产品缺陷的判断，特别是产品外表的品质自动检验识别，从而减少了人眼目测带来的疲劳，提高了检测精度，提高了检验工作效率，具有很高的实用价值。

Description

一种图像单类别分类的方法及装置

技术领域

本发明涉及图像分类技术领域，尤其涉及一种图像单类别分类的方法及装置。

背景技术

现有的图像分类包括以下三种方法：

第一种图像分类，例如要判断一个图像是否是猫而不是其它的物体，可以收集很多猫的图片和非猫的图片，训练一个二分类器来进行判断，但是这样训练出来的分类器，会存在过分地去关注如何区分训练集中正样本和训练集中负样本，导致泛化能力较差的缺陷。

第二种图像分类，也是单分类训练方案，例如one class SVM(一类支持向量机)和SVDD(支持向量域描述)，这两类方法都只有一个类别的样本，通过设计损失函数来学习此类别的聚合特征。但是，两类方案存在的问题是：只训练了正样本的聚合特征，并没有考虑到正样本和负样本之间的区别。

第三种图像分类，是通过设计损失函数让同一类别的特征在特征空间中聚合，不同类别的特征在特征空间尽可能的分开。例如contrastive loss(对比损失)通过样本对进行训练，center loss(中心损失)则通过计算每个类别和它们各自的中心来定义损失函数。这种方法的缺陷是：将样本被分成很多张类别(例如猫类、狗类、兔类等)，图像分类的效率低。

为了克服上述问题，我们发明了一种图像单类别分类的方法及装置。

发明内容

本发明的发明目的在于解决现有的图像分类，存在过分地去关注如何区分训练集中正样本和训练集中负样本，导致泛化能力较差，或者只训练了正样本的聚合特征，没有考虑正样本和负样本之间的区别，或者样本被分成很多张类别，图像分类的效率低的问题。其具体解决方案如下：

一种图像单类别分类的方法，按照以下步骤进行：

步骤1，先采集多张目标图像，并放入一个设定的目标图像文件夹内；

步骤2，采集多张非目标图像，并放入一个设定的非目标图像文件夹内；

步骤3，将多张目标图像和多张非目标图像传入选定的深度神经网络进行分类训练，经过一段时间分类训练后得到一个分类器；

步骤4，输入一张图像于分类器中，可得到该张图像的分类预测结果。

可选地，目标图像包括动物或人物或建筑或物体或合格产品图像中的一种。

可选地，非目标图像包括与目标图像不同的不同类别图像或缺陷产品图像中的一种。

可选地，深度神经网络为V66或Resnet或Mobilenet中的任一种。

具体地，步骤3中分类训练的方法按照以下步骤进行：

步骤3-1，随机抽取N张目标图像对，记为

{(I₁，J₁)、(I₂，J₂)、.....(I_N，J_N)}

其中I、J为任意的目标图像，N为正整数；

步骤3-2，随机抽取N张目标图像、非目标图像对，记为

{(I₁，K₁)、(I₂，K₂)、.....(I_N，K_N)}

其中I为任意的目标图像，K为任意的非目标图像，N为正整数；

步骤3-3，设计损失函数：L＝L₁+L₂

其中L₁为第一损失函数，L₂为第二损失函数；

步骤3-4，第一损失函数设计为对比损失函数contrastive loss：

L₁＝∑_1≤i≤N||f(I_i)-f(J_i)||²+∑_1≤i≤Nmax{0，2-||f(I_i)-f(K_i)||²}；

步骤3-5，第二损失函设计为中心损失函数center loss：

L₂＝∑_1≤i≤N||f(I_i)-c||²+∑_1≤i≤Nmax{0，2-||f(K_i)-c||²}；

步骤3-6，按下式求目标图像分类器：

f^*＝min_fL(f(x))

其中f(x)为拟合函数，其自变量x为输入图像，其函数值为一个1*M的向量，M为输入图像提取到的特征维度，f^*为通过最小化优化算法对L(f(x))进行优化后得到的最小函数值。

进一步地，对比损失函数contrastive loss最小化，一方面使得目标图像特征f(I_i)与f(J_i)之间的距离靠近，另一方面使得目标图像特征f(I_i)与非目标图像特征f(K_i)之间的距离远离。

进一步地，中心损失函数center loss最小化，一方面使得目标图像特征f(I_i)与中心图像特征c之间的距离靠近，另一方面使得非目标图像特征f(K_i)与中心图像特征c之间的距离远离。

可选地，最小化优化算法包括SGD或Adam中的任一种优化算法。

进一步地，目标图像分类器：

f^*＝min_fL(f(x))

输入一张图像x，通过函数f(x)计算出图像的特征，最后计算f(x)与c之间的差距，通过设定一个阈值来判断图像x是否为目标图像。

一种图像单类别分类的装置，用于上述一种图像单类别分类的方法，包括输入模块，与输入模块电连接的处理器，分别与处理器电连接的存储器、训练模块、显示模块、输出模块。其中，输入模块包括目标图像采集模块和非目标图像采集模块。存储器包括用于存储图像的目标图像文件单元和非目标图像文件单元，存储器中存有用于图像单类别分类的预设程序。训练模块为深度神经网络模块，用于图像分类训练，包括第一损失函数单元和第二损失函数单元。显示模块为显示屏，用于显示图像类别预测结果。输出模块为预测模块，用于预测输入图像类别。处理器为单片机，用于按照预设程序对各个模块的工作进行控制。

综上所述，采用本发明的技术方案具有以下有益效果：

本方案解决了现有的图像分类，存在过分地去关注如何区分训练集中正样本和训练集中负样本，导致泛化能力较差，或者只训练了正样本的聚合特征，没有考虑正样本和负样本之间的区别，或者样本被分成很多张类别，图像分类的效率低的问题。本发明有效地解决了单类别分类问题，有效地学习到正样本的聚合特征。本发明当输入一张图像，就能精确地判断此图像是否属于目标的类别。本发明可用于动物或者人物或者建筑或者物体的识别，还可用于产品缺陷的判断，特别是产品外表的品质自动检验识别，从而减少了人眼目测带来的疲劳，提高了检测精度，提高了检验工作效率，具有很高的实用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还能够根据这些附图获得其他的附图。

图1为本发明一种图像单类别分类的方法的步骤图；

图2为本发明一种图像单类别分类的装置的结构图；

图3为深度神经网络之一VGG网络结构的示意图；

图4为通过softmax损失函数和center loss中心损失进行监督训练获得的特征分布图；

图5为本发明实施例1中单类猫的图像；

图6为本发明实施例1中单类狗的图像；

图7为本发明实施例2中合格产品的图像；

图8为本发明实施例2中缺陷产品1的图像；

图9为本发明实施例2中缺陷产品2的图像；

图10为本发明实施例2中缺陷产品3的图像；

图11为本发明实施例2中异类产品的图像。

附图标记说明：

10-输入模块，11-目标图像采集模块，12-非目标图像采集模块，20处理器，30-存储器，31-目标图像文件单元，32-非目标图像文件单元，40-训练模块，41-深度神经网络模块，50-显示模块，51-显示屏，60-输出模块，61-预测模块，411-第一损失函数单元，412-第二损失函数单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方案中的英文述语解释如下：VGG英文为Very Deep Convolutional Networksfor Large-Scale lmage Recognition中文是用于大规模图像识别的超深卷积网络的意思。Resnet(即残差网络)、Mobilenet(即移动端网络)为深度神经网络中的一种。SGD为英文Stochastic gradient descent缩写，中文是随机梯度下降，属于一种优化算法。Adam为随机最小化的一种方法。softmax为损失函数的一种。ReLu(英文为Rectified Linear Units，中文为非线性激活单元)是一种激活函数。

如图1所示，一种图像单类别分类的方法，按照以下步骤进行：

步骤1，先采集多张目标图像，并放入一个设定的目标图像文件夹内；

步骤2，采集多张非目标图像，并放入一个设定的非目标图像文件夹内；

步骤3，将多张目标图像和多张非目标图像传入选定的深度神经网络进行分类训练，经过一段时间分类训练后得到一个分类器；

步骤4，输入一张图像于分类器中，可得到该张图像的分类预测结果。

可选地，目标图像包括动物或人物或建筑或物体或合格产品图像中的一种。

可选地，非目标图像包括与目标图像不同的不同类别图像或缺陷产品图像中的一种。

可选地，深度神经网络为VGG或Resnet或Mobilenet中的任一种。

具体地，步骤3中分类训练的方法按照以下步骤进行：

步骤3-1，随机抽取N张目标图像对，记为

{(I₁，J₁)、(I₂，J₂)、.....(I_N，J_N)}

其中I、J为任意的目标图像，N为正整数；

步骤3-2，随机抽取N张目标图像、非目标图像对，记为

{(I₁，K₁)、(I₂，K₂)、.....(I_N，K_N)}

其中I为任意的目标图像，K为任意的非目标图像，N为正整数；

步骤3-3，设计损失函数：L＝L₁+L₂

其中L₁为第一损失函数，L₂为第二损失函数；

步骤3-4，第一损失函数设计为对比损失函数contrastive loss：

L₁＝∑_1≤i≤N||f(I_i)-f(J_i)||²+∑_1≤i≤Nmax{0，2-||f(I_i)-f(K_i)||²}；

步骤3-5，第二损失函设计为中心损失函数center loss：

L₂＝∑_1≤i≤N||f(I_i)-c||²+∑_1≤i≤Nmax{0，2-||f(K_i)-c||²}；

步骤3-6，按下式求目标图像分类器：

f^*＝min_fL(f(x))

其中f(x)为拟合函数，其自变量x为输入图像，其函数值为一个1*M的向量，M为输入图像提取到的特征维度，f^*为通过最小化优化算法对L(f(x))进行优化后得到的最小函数值。如图3所示，表示了深度神经网络之一的V66网络结构示意图，这个网络相当于一个拟合函数f(x)，关于拟合函数f(x)属于现有技术，具体的细节在此不作详述。

具体地，对比损失函数contrastive loss最小化，一方面使得目标图像特征f(I_i)与f(J_i)之间的距离靠近，另一方面使得目标图像特征f(I_i)与非目标图像特征f(K_i)之间的距离远离。

具体地，中心损失函数center loss最小化，一方面使得目标图像特征f(I_i)与中心图像特征c之间的距离靠近，另一方面使得非目标图像特征f(K_i)与中心图像特征c之间的距离远离。如图4所示，展示了softmax损失函数和center loss中心损失进行监督训练获得的四个过程中的特征分布图，其中有0-9级深浅不一的灰度图像，每个灰度级代表一个类别的图像，每个类别中又包括多张图像，图中的白点代表中心目标图像C，通过(a)→(b)→(c)→(d)四个过程，可以清楚地看到不同的类别被逐渐训练，同类别的目标图像逐渐靠近中心目标图像C，不同类别的非目标图像逐渐远离中心目标图像C。

可选地，最小化优化算法包括SGD或Adam中的任一种优化算法。

进一步地，目标图像分类器(也就是步骤3中的分类器)：

f^*＝min_fL(f(x))

输入一张图像x，通过函数f(x)计算出图像的特征，最后计算f(x)与c之间的差距，通过设定一个阈值来判断图像x是否为目标图像。

如图2所示，一种图像单类别分类的装置，用于上述一种图像单类别分类的方法，包括输入模块10，与输入模块10电连接的处理器20，分别与处理器20电连接的存储器30、训练模块40、显示模块50、输出模块60。其中，输入模块10包括目标图像采集模块11和非目标图像采集模块12。存储器30包括用于存储图像的目标图像文件单元31和非目标图像文件单元32，存储器30中存有用于图像单类别分类的预设程序。训练模块40为深度神经网络模块41，用于图像分类训练，包括第一损失函数单元411和第二损失函数单元412。显示模块50为显示屏，用于显示图像类别预测结果。输出模块60为预测模块61，用于预测输入图像类别。处理器20为单片机，型号为AT89S52或者STC89C51RC或STC89C52RC中的任一种，用于按照预设程序对各个模块的工作进行控制。由于单片机属于现有技术，所以其具体工作原理在此不作赘述。

实施例1：

如图5、6所示，本实施例用于动物图像的识别。将猫的图像作为目标图像，狗的图像作为非目标图像，也可将兔的图像或猴的图像(图中未画出)作为非目标图像，采集多张猫的图像、多张狗的图像进行本发明的深度神经网络分类训练，经过一段时间分类训练后得到一个猫的图像分类器，输入任意一张图像(包括猫、狗、兔、猴的图像)，分类器即可输出一个分类预测结果：是猫图像或者不是猫图像。

实施例2：

如图7-11所示，本实施例用于产品缺陷的检测。图7为合格产品图像，作为目标图像，图8为缺陷产品1(B区左下角少螺钉)、图9为缺陷产品2(A区右下角少螺钉)、图10为缺陷产品3(少C区的部件)的图像，作为非目标图像，还有图11为异类产品(包括异类合格产品及异类缺陷产品)也作为非目标图像。分别采集多张目标图像及多张非目标图像，进行本发明的深度神经网络分类训练，经过一段时间分类训练后得到一个合格产品分类器，当我们输入任一张产品图像，合格产品分类器即可输出一个判定结果：该产品图像是合格图像或者是不合格图像。

综上所述，采用本发明的技术方案具有以下有益效果：

本方案解决了现有的图像分类，存在过分地去关注如何区分训练集中正样本(也就是目标图像)和训练集中负样本(也就是非目标图像)，导致泛化能力较差，或者只训练了正样本的聚合特征，没有考虑正样本和负样本之间的区别，或者样本被分成很多张类别，图像分类的效率低的问题。本发明有效地解决了单类别分类问题，有效地学习到正样本(即目标图像)的聚合特征。本发明当输入一张图像，就能精确地判断此图像是否属于目标的类别。本发明可用于动物或者人物或者建筑或者物体的识别，还可用于产品缺陷的判断(或者检测)，特别是产品外表的品质自动检验识别，从而减少了人眼目测带来的疲劳，提高了检测精度，提高了检验工作效率，具有很高的实用价值。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (6)

1.一种图像单类别分类的方法，其特征在于，按照以下步骤进行：

步骤1，先采集多张目标图像，并放入一个设定的目标图像文件夹内；

步骤2，采集多张非目标图像，并放入一个设定的非目标图像文件夹内；

步骤3，将多张目标图像和多张非目标图像传入选定的深度神经网络进行分类训练，经过一段时间分类训练后得到一个分类器；

步骤4，输入一张图像于分类器中，可得到该张图像的分类预测结果；

所述分类训练的方法按照以下步骤进行：

步骤3-1，随机抽取N张目标图像对，记为

{(I₁,J₁)、(I₂,J₂)、.....(I_N,J_N)}

其中I、J为任意的目标图像，N为正整数；

步骤3-2，随机抽取N张目标图像、非目标图像对，记为

{(I₁,K₁)、(I₂,K₂)、.....(I_N,K_N)}

其中I为任意的目标图像，K为任意的非目标图像，N为正整数；

步骤3-3，设计损失函数：L＝L₁+L₂

其中L₁为第一损失函数，L₂为第二损失函数；

步骤3-4，第一损失函数设计为对比损失函数contrastive loss：

L₁＝∑_1≤i≤N‖f(I_i)-f(J_i)‖²+∑_1≤i≤Nmax{0,2-‖f(I_i)-f(K_i)‖²}；

步骤3-5，第二损失函设计为中心损失函数center loss：

L₂＝∑_1≤i≤N‖f(I_i)-c‖²+∑_1≤i≤Nmax{0,2-‖f(K_i)-c‖²}；

步骤3-6，按下式求目标图像分类器：

f^*＝min_fL(f(x))

其中f(x)为拟合函数，其自变量x为输入图像，其函数值为一个1*M的向量，M为输入图像提取到的特征维度,f^*为通过最小化优化算法对L(f(x))进行优化后得到的最小函数值；

所述对比损失函数contrastive loss最小化，一方面使得目标图像特征f(I_i)与f(J_i)之间的距离靠近，另一方面使得目标图像特征f(I_i)与非目标图像特征f(K_i)之间的距离远离；

所述中心损失函数center loss最小化，一方面使得目标图像特征f(I_i)与中心图像特征c之间的距离靠近，另一方面使得非目标图像特征f(K_i)与中心图像特征c之间的距离远离；

所述目标图像分类器：

f^*＝min_fL(f(x))

输入一张图像x,通过函数f(x)计算出图像的特征，最后计算f(x)与c之间的差距，通过设定一个阈值来判断图像x是否为目标图像。

2.根据权利要求1所述一种图像单类别分类的方法，其特征在于：所述目标图像包括动物或人物或建筑或物体或合格产品图像中的一种。

3.根据权利要求2所述一种图像单类别分类的方法，其特征在于：所述非目标图像包括与目标图像不同的不同类别图像或缺陷产品图像中的一种。

4.根据权利要求1所述一种图像单类别分类的方法，其特征在于：所述深度神经网络为VGG或Resnet或Mobilenet中的任一种。

5.根据权利要求1所述一种图像单类别分类的方法，其特征在于：所述最小化优化算法包括SGD或Adam中的任一种优化算法。

6.一种图像单类别分类的装置，用于实现权利要求1至5中任一项所述一种图像单类别分类的方法，其特征在于：包括输入模块，与输入模块电连接的处理器，分别与处理器电连接的存储器、训练模块、显示模块、输出模块；

所述输入模块包括目标图像采集模块和非目标图像采集模块；

所述存储器包括用于存储图像的目标图像文件单元和非目标图像文件单元，存储器中存有用于图像单类别分类的预设程序；

所述训练模块为深度神经网络模块，用于图像分类训练，包括第一损失函数单元和第二损失函数单元；

所述显示模块为显示屏，用于显示图像类别预测结果；

所述输出模块为预测模块，用于预测输入图像类别；

所述处理器为单片机，用于按照预设程序对各个模块的工作进行控制。