CN110533107B - 梯度增强型Softmax分类器系统、训练信号产生方法及其应用 - Google Patents

梯度增强型Softmax分类器系统、训练信号产生方法及其应用 Download PDF

Info

Publication number
CN110533107B
CN110533107B CN201910821917.0A CN201910821917A CN110533107B CN 110533107 B CN110533107 B CN 110533107B CN 201910821917 A CN201910821917 A CN 201910821917A CN 110533107 B CN110533107 B CN 110533107B
Authority
CN
China
Prior art keywords
class
score
image sample
gradient
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910821917.0A
Other languages
English (en)
Other versions
CN110533107A (zh
Inventor
孙琳钧
李卫军
宁欣
张丽萍
董肖莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN201910821917.0A priority Critical patent/CN110533107B/zh
Publication of CN110533107A publication Critical patent/CN110533107A/zh
Application granted granted Critical
Publication of CN110533107B publication Critical patent/CN110533107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种梯度增强型Softmax分类器系统、训练信号产生方法及其应用，该分类器系统包括：得分计算模块，用于：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；以及损失计算模块，用于：通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解。在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强。

Description

梯度增强型Softmax分类器系统、训练信号产生方法及其应用
技术领域
本公开属于计算机视觉技术领域，涉及一种梯度增强型Softmax(软最大值)分类器系统、训练信号产生方法及其应用。
背景技术
近几年，图像分类问题是机器视觉领域中的研究热点，深度卷积神经网络的发展极大推动了图像分类技术的进步。通过对图像特征的分层抽象与数据驱动的训练方式，深度卷积神经网络可以学习到对类别变化鲁棒的图像特征。
现阶段，基于深度卷积神经网络的图像分类模型通常由两个部分构成：特征提取器和监督器。特征提取器将原始图像映射到特征空间，监督器使用提取的特征与图像的类别标签产生训练信号驱动特征提取器的学习，因此，监督器的特性直接影响特征提取器的特征提取能力进而影响分类性能。
发明内容
(一)要解决的技术问题
本公开提供了一种梯度增强型Softmax分类器系统、训练信号产生方法及其应用，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面，提供了一种梯度增强型Softmax分类器系统，用作基于深度卷积神经网络的图像分类模型中训练特征提取器的监督器，包括：得分计算模块，用于：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；以及损失计算模块，用于：通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值(softmax)；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
在本公开的一实施例中，该分类器系统中，所述图像样本对应各个类别的得分的表达式如下：
Figure GDA0002685604990000021
其中，si表示图像样本在第i个类别上的得分，
Figure GDA0002685604990000022
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure GDA0002685604990000023
表示
Figure GDA0002685604990000024
与x的点积运算；||*||表示二范数。
在本公开的一实施例中，该分类器系统中，所述通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure GDA0002685604990000025
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
在本公开的一实施例中，所述损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Sofimax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
在本公开的一实施例中，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值关于所述各个类别的得分的梯度呈分层趋势。
根据本公开的另一个方面，提供了一种训练信号产生方法，基于本公开的梯度增强型Softmax分类器系统作为深度卷积神经网络的图像分类模型中训练特征提取器的监督器，来产生所述训练信号，该方法包括：
将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；
通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值(softmax)；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
在本公开的一实施例中，该训练信号产生方法还包括：得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
在本公开的一实施例中，该随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值对所述各个类别的得分的梯度呈分层趋势。
在本公开的一实施例中，该方法中，所述图像样本对应各个类别的得分的表达式如下：
Figure GDA0002685604990000031
其中，si表示图像样本在第i个类别上的得分，
Figure GDA0002685604990000032
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure GDA0002685604990000033
表示
Figure GDA0002685604990000034
与x的点积运算；||*||表示二范数。
在本公开的一实施例中，该方法中，通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure GDA0002685604990000041
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
根据本公开的又一个方面，提供了一种梯度增强型Softmax分类器系统或者训练信号产生方法在图像分类中的应用。
(三)有益效果
从上述技术方案可以看出，本公开提供的梯度增强型Softmax分类器系统、训练信号产生方法及其应用，具有以下有益效果：
(1)与普通的Softmax分类器系统相比，梯度增强型Softmax分类器系统的区别点体现在两个模块：得分计算模块和损失计算模块，现有的Softmax分类器系统在样本正确分类后，其产生的监督信号急剧减弱，导致训练过程无法继续，所学习到的特征区分性不强，而本公开的梯度增强型Softmax分类器系统通过得分计算模块和损失计算模块的设置，最大化类内得分且最小化类间得分，在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强；改进了普通Softmax分类器系统中的得分计算方式并设计了新型的损失计算方法，缓解了普通Softmax分类中存在的梯度衰减问题，其产生的训练信号可以使特征提取器学习到区分性更强的特征。
(2)在得分计算模块中，采用点积的形式计算出图像样本对应各个类别的得分，即采用图像样本的特征向量与类别代理向量的余弦的形式作为图像样本在该类别的得分，使得图像的相似程度可直接使用特征的余弦进行度量；
(3)所述损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练，即使训练样本在特征空间已经正确分类，本公开设置新型的损失计算模块还是会产生强度充足的梯度信号来训练特征提取器，进一步实现特征的类内距离最小化类间距离最大化的目的；反传给深度卷积神经网络的监督信号强，基于深度卷积神经网络的图像分类模型收敛快。
附图说明
图1为根据本公开一实施例所示的梯度增强型Softmax分类器系统的结构示意图。
图2为根据现有技术中的普通Softmax分类器系统在进行手写体数字分类任务的训练过程中，其损失值关于各个类别的得分的梯度变化曲线。
图3为根据现有技术中的进行手写体数字分类实验时普通Softmax分类器系统训练的深度卷积神经网络提取的特征在特征空间的分布情况。
图4为根据本公开一实施例所示的梯度增强型Softmax分类器系统在进行手写体数字分类任务的训练过程中，其损失值关于各个类别的得分的梯度变化曲线。
图5为根据本公开一实施例所示的进行手写体数字分类实验时梯度增强型Softmax分类器系统训练的深度卷积神经网络提取的特征在特征空间的分布情况。
具体实施方式
在现有的主流方法中，Softmax分类器系统是一种最为常用且有效的监督器。然而通过观察发现，在特征提取器(例如深度卷积神经网络作为特征提取器)的训练过程中，普通的Softmax分类器系统存在梯度消失的问题，进而导致特征的类内分布不够紧致以及类间分界不够清晰等问题。针对上述发现的技术问题，本申请提供了一种梯度增强型Softmax分类器系统、训练信号产生方法及其应用，该梯度增强型Softmax分类器系统在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强，可大幅提升深度卷积神经网络在图像分类任务中的分类性能。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
第一实施例
在本公开的第一个示例性实施例中，提供了一种梯度增强型Softmax分类器系统。
图1为根据本公开一实施例所示的梯度增强型Softmax分类器系统的结构示意图。图1中以点划线形成的框表示与该梯度增强型Softmax分类器系统相关联的其它结构，以实线框表示该梯度增强型Softmax分类器系统中的各个模块及对应实现的功能。
参照图1所示，本公开的梯度增强型Softmax分类器系统，用作基于深度卷积神经网络的图像分类模型中训练特征提取器的监督器，包括：
得分计算模块，用于：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；以及
损失计算模块，用于：通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值(softmax)；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
基于深度卷积神经网络的图像分类模型通常由两个部分构成：特征提取器和监督器特征提取器将原始图像映射到特征空间，监督器使用提取的特征与图像的类别标签产生训练信号驱动特征提取器的学习。
在得分计算模块中，采用点积的形式计算出图像样本对应各个类别的得分，即采用图像样本的特征向量与类别代理向量的余弦的形式作为图像样本在该类别的得分，使得图像的相似程度可直接使用特征的余弦进行度量。
在本公开的一实施例中，如图1所示，所述损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
反传给深度卷积神经网络的监督信号强，基于深度卷积神经网络的图像分类模型收敛快。
本实施例中，该梯度增强型Softmax分类器系统中，所述图像样本对应各个类别的得分的表达式如下：
Figure GDA0002685604990000071
其中，si表示图像样本在第i个类别上的得分，
Figure GDA0002685604990000072
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure GDA0002685604990000073
表示
Figure GDA0002685604990000074
与x的点积运算；||*||表示二范数。
本实施例中，所述通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；该类内得分st满足公式(1)；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure GDA0002685604990000075
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
本实施例中，将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数。
具体的，图像样本的损失值，即损失计算函数的表达式如下：
Figure GDA0002685604990000076
其中，
Figure GDA0002685604990000077
表示图像样本的损失值；λ∈(0，1)，用于控制类内最小化与类间最大化监督信号的比例。
得到损失计算函数的表达式之后，将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
普通Softmax分类器系统在计算损失时，通常先是计算所有的类别的软最大值，然后得到损失值，在样本正确分类后，其产生的监督信号急剧减弱，导致训练过程无法继续，所学习到的特征区分性不强。本公开的梯度增强型Softmax分类器系统与普通Softmax分类器系统相比，通过设置得分计算模块和损失计算模块，最大化类内得分且最小化类间得分，从而产生梯度增强的效果，在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强，而避免了现有技术中梯度消失的情形。
在本公开的一实施例中，基于损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
下面在一实例中基于现有技术中普通Softmax分类器系统和基于本公开的梯度增强型Softmax分类器系统进行了手写体数字分类的对比实验。
图2为根据现有技术中的普通Softmax分类器系统在进行手写体数字分类任务的训练过程中，其损失值关于各个类别的得分的梯度变化曲线。
图2中，
Figure GDA0002685604990000081
表示采用普通Softmax分类器系统计算得到的图像样本的损失值，s0-s9表示采用普通Softmax分类器系统计算的图像样本在各个类别的得分，图例中9个图形分别对应9个类别，参照图2所示，普通Softmax分类器系统在监督深度卷积网络进行手写体数字分类任务中存在梯度消失现象，该手写体数字识别实验说明，随着训练迭代次数的增加，损失关于类别得分的梯度快速衰减到0附近，因此，Softmax分类器系统无法继续为前方的深度卷积神经网络(特征提取器)提供有效的监督信号。
图3为根据现有技术中的进行手写体数字分类实验时普通Softmax分类器系统训练的深度卷积神经网络提取的特征在特征空间的分布情况。
图3中，该手写体数字分类实验对应的特征空间的维度为3，图例中9个图形分别对应9个类别，由图3可以看出，各个类别之间的分界面较为模糊，由此可知，采用普通Softmax分类器系统作为监督器训练深度卷积神经网络(特征提取器)提取的特征在特征空间中各个类别分界不明显，所学习到的特征区分性不强。
图4为根据本公开一实施例所示的梯度增强型Softmax分类器系统在进行手写体数字分类任务的训练过程中，其损失值关于各个类别的得分的梯度变化曲线。
图4中，
Figure GDA0002685604990000091
表示采用梯度增强型Softmax分类器系统计算得到的图像样本的损失值，s0-s9表示采用梯度增强型Softmax分类器系统计算的图像样本在各个类别的得分(这里为了图例表示的简化，采用了相同的字母s0-s9在图2和图4中分别表示不同的含义，具体以说明书的解释为准)，图例中9个图形分别对应9个类别，参照图4所示，随着训练迭代次数(训练周期)的增加，该梯度增强型Softmax分类器系统的损失值关于所述各个类别的得分的梯度呈分层趋势，不同类别下的损失值关于类别得分的梯度(导数)值具有较大差异，呈现分层状态，相较于现有技术来说梯度消失问题得到了很好的缓解。
图5为根据本公开一实施例所示的进行手写体数字分类实验时梯度增强型Softmax分类器系统训练的深度卷积神经网络提取的特征在特征空间的分布情况。
图5中，该手写体数字分类实验对应的特征空间的维度为3，图例中9个图形分别对应9个类别，由图5可以看出，各个类别之间的界限清晰，说明基于梯度增强型Softmax分类器系统作为监督器训练的深度卷积神经网络(特征提取器)学习到的特征在类内分布更加紧致、类间界限更加清晰。
第二实施例
在本公开的第二个示例性实施例中，提供了一种训练信号产生方法，基于本公开的梯度增强型Softmax分类器系统作为深度卷积神经网络的图像分类模型中训练特征提取器的监督器，来产生所述训练信号，该方法包括：
步骤S21：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；
本实施例中，该步骤S21由得分计算模块执行。
步骤S22：通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值(softmax)；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
本实施例中，该步骤S22由损失计算模块执行。
在一实施例中，还包括如下步骤：
步骤S23：得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
该步骤S23由损失计算模块执行。
当然，步骤S23以及后续过程与现有技术中分类器系统的实施过程类似，这里不再详细介绍。
其中，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值对所述各个类别的得分的梯度呈分层趋势，有效克服了现有技术中存在梯度衰减为零对应产生的监督信号急剧减弱，导致训练过程无法继续，所学习到的特征区分性不强的问题，该训练信号产生方法在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强。
该方法中，所述图像样本对应各个类别的得分的表达式如下：
Figure GDA0002685604990000101
其中，si表示图像样本在第i个类别上的得分，
Figure GDA0002685604990000102
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure GDA0002685604990000103
表示
Figure GDA0002685604990000104
与x的点积运算；||*||表示二范数。
该方法中，通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure GDA0002685604990000105
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数。具体的，图像样本的损失值，即损失计算函数的表达式如下：
Figure GDA0002685604990000111
其中，
Figure GDA0002685604990000112
表示图像样本的损失值；λ∈(0，1)，用于控制类内最小化与类间最大化监督信号的比例。
第三实施例
在本公开的第三个示例性实施例中，提供了一种梯度增强型Softmax分类器系统或者训练信号产生方法在图像分类中的应用。
基于该梯度增强型Softmax分类器系统作为图像分类中用于训练特征提取器(例如深度卷积神经网络作为特征提取器)的监督器，或者利用该训练信号产生方法在图像分类中响应于特征提取器提取的特征向量并反馈给出误差信号以及更新内部的类别代理向量，从而在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强。
综上所述，本公开提供了一种梯度增强型Softmax分类器系统、训练信号产生方法及其应用，与普通的Softmax分类器系统相比，梯度增强型Softmax分类器系统的区别点体现在两个模块：得分计算模块和损失计算模块，现有的Softmax分类器系统在样本正确分类后，其产生的监督信号急剧减弱，导致训练过程无法继续，所学习到的特征区分性不强，而本公开的梯度增强型Softmax分类器系统通过得分计算模块和损失计算模块的设置，最大化类内得分且最小化类间得分，在样本正确分类后也可以产生较强的监督信号，使得同类样本在特征空间中继续往类别中心聚集，其学习到的特征分布类别更加紧致，可区分性更强；在得分计算模块中，采用点积的形式计算出图像样本对应各个类别的得分，即采用图像样本的特征向量与类别代理向量的余弦的形式作为图像样本在该类别的得分，使得图像的相似程度可直接使用特征的余弦进行度量；反传给深度卷积神经网络的监督信号强，基于深度卷积神经网络的图像分类模型收敛快。
本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种梯度增强型Softmax分类器系统，其特征在于，用作基于深度卷积神经网络的图像分类模型中训练特征提取器的监督器，包括：
得分计算模块，用于：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；以及
损失计算模块，用于：通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
2.根据权利要求1所述的梯度增强型Softmax分类器系统，其特征在于，所述图像样本对应各个类别的得分的表达式如下：
Figure FDA0002685604980000011
其中，si表示图像样本在第i个类别上的得分，
Figure FDA0002685604980000012
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure FDA0002685604980000013
表示
Figure FDA0002685604980000014
与x的点积运算；||*||表示二范数。
3.根据权利要求2所述的梯度增强型Softmax分类器系统，其特征在于，
所述通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure FDA0002685604980000021
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
4.根据权利要求1所述的梯度增强型Softmax分类器系统，其特征在于，所述损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
5.根据权利要求4所述的梯度增强型Softmax分类器系统，其特征在于，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值关于所述各个类别的得分的梯度呈分层趋势。
6.一种训练信号产生方法，其特征在于，基于如权利要求1-5中任一项所述的梯度增强型Softmax分类器系统作为深度卷积神经网络的图像分类模型中训练特征提取器的监督器，来产生所述训练信号，该方法包括：
将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；
通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。
7.根据权利要求6所述的训练信号产生方法，其特征在于，还包括：
得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。
8.根据权利要求7所述的训练信号产生方法，其特征在于，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值对所述各个类别的得分的梯度呈分层趋势。
9.根据权利要求6所述的训练信号产生方法，其特征在于，
所述图像样本对应各个类别的得分的表达式如下：
Figure FDA0002685604980000031
其中，si表示图像样本在第i个类别上的得分，
Figure FDA0002685604980000032
表示wi的转置，wi为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；
Figure FDA0002685604980000033
表示
Figure FDA0002685604980000034
与x的点积运算；||*||表示二范数。
10.根据权利要求9所述的训练信号产生方法，其特征在于，通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：
基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分st；
基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：
Figure FDA0002685604980000035
其中，ss为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e*表示e指数运算。
11.一种如权利要求1-5中任一项所述的梯度增强型Softmax分类器系统或者如权利要求6-10中任一项所述的训练信号产生方法在图像分类中的应用。
CN201910821917.0A 2019-08-30 2019-08-30 梯度增强型Softmax分类器系统、训练信号产生方法及其应用 Active CN110533107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910821917.0A CN110533107B (zh) 2019-08-30 2019-08-30 梯度增强型Softmax分类器系统、训练信号产生方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910821917.0A CN110533107B (zh) 2019-08-30 2019-08-30 梯度增强型Softmax分类器系统、训练信号产生方法及其应用

Publications (2)

Publication Number Publication Date
CN110533107A CN110533107A (zh) 2019-12-03
CN110533107B true CN110533107B (zh) 2020-11-13

Family

ID=68666072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910821917.0A Active CN110533107B (zh) 2019-08-30 2019-08-30 梯度增强型Softmax分类器系统、训练信号产生方法及其应用

Country Status (1)

Country Link
CN (1) CN110533107B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680697B (zh) * 2020-03-17 2024-03-22 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN111832406B (zh) * 2020-06-05 2022-12-06 中国科学院计算技术研究所 一种长尾目标检测方法与系统
CN112801208B (zh) * 2021-02-25 2023-01-03 清华大学 基于结构化代理的深度度量学习方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN108491864A (zh) * 2018-02-27 2018-09-04 西北工业大学 基于自动确定卷积核大小卷积神经网络的高光谱图像分类
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110103816B (zh) * 2019-03-15 2022-04-19 河南理工大学 一种驾驶状态检测方法
CN110033041B (zh) * 2019-04-13 2022-05-03 湖南大学 一种基于深度学习的基因表达谱距离度量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN108491864A (zh) * 2018-02-27 2018-09-04 西北工业大学 基于自动确定卷积核大小卷积神经网络的高光谱图像分类
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Additive Margin Softmax for Face Verification;Feng Wang 等;《IEEE SIGNAL PROCESSING LETTERS》;20180404;第25卷(第7期);926-930 *
Large-Margin Softmax Loss for Convolutional Neural Networks;Weiyang Liu 等;《arXiv:1612.02295v4 [stat.ML]》;20171117;1-10 *
基于卷积神经网络的行人再识别算法;姚万超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170115(第1期);I138-1181 *

Also Published As

Publication number Publication date
CN110533107A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
Cruz et al. Detection of grapevine yellows symptoms in Vitis vinifera L. with artificial intelligence
CN110533107B (zh) 梯度增强型Softmax分类器系统、训练信号产生方法及其应用
Cheng et al. Facial expression recognition method based on improved VGG convolutional neural network
CN107403426B (zh) 一种目标物体检测方法及设备
CN108133188A (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
WO2018169708A1 (en) Learning efficient object detection models with knowledge distillation
CN104318221A (zh) 一种基于elm的人脸表情识别方法
CN113378676A (zh) 基于多特征融合的图像中人物交互检测方法
Naghavi et al. Integrated real-time object detection for self-driving vehicles
CN112541529A (zh) 表情与姿态融合的双模态教学评价方法、设备及存储介质
CN110276784B (zh) 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
Zong et al. Emotion recognition in the wild via sparse transductive transfer linear discriminant analysis
CN114155397B (zh) 一种小样本图像分类方法及系统
CN116740384B (zh) 洗地机的智能控制方法及系统
CN112949469A (zh) 针对人脸篡改图像特点分布的图像识别方法、系统及设备
Zhao et al. Cbph-net: A small object detector for behavior recognition in classroom scenarios
CN114626461A (zh) 基于领域自适应的跨域目标检测方法
CN109190471B (zh) 基于自然语言描述的视频监控行人搜索的注意力模型方法
Savio et al. Image processing for face recognition using HAAR, HOG, and SVM algorithms
CN116720057A (zh) 基于特征筛选与权值分配的江河水质预测方法及系统
CN113158878B (zh) 一种基于子空间的异构迁移故障诊断方法、系统和模型
Chen et al. Gradtail: Learning long-tailed data using gradient-based sample weighting
Sapkal et al. Analysis of classification by supervised and unsupervised learning
CN112946682B (zh) 一种高准确率高敏捷性的水下激光目标识别仪
KR102263375B1 (ko) 커널 기법을 사용한 제한된 볼츠만 머신 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant