CN113033696B - 基于对比对抗网络的小样本商品图像分类算法及其系统 - Google Patents

基于对比对抗网络的小样本商品图像分类算法及其系统 Download PDF

Info

Publication number
CN113033696B
CN113033696B CN202110393261.4A CN202110393261A CN113033696B CN 113033696 B CN113033696 B CN 113033696B CN 202110393261 A CN202110393261 A CN 202110393261A CN 113033696 B CN113033696 B CN 113033696B
Authority
CN
China
Prior art keywords
sample
similarity
network
convolution
sample pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110393261.4A
Other languages
English (en)
Other versions
CN113033696A (zh
Inventor
孙立
盛楠
陈刚
程乐超
冯尊磊
宋明黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Binhai Industrial Technology Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Binhai Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Binhai Industrial Technology Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202110393261.4A priority Critical patent/CN113033696B/zh
Publication of CN113033696A publication Critical patent/CN113033696A/zh
Application granted granted Critical
Publication of CN113033696B publication Critical patent/CN113033696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

基于对比对抗网络的小样本商品图像分类算法，包括下列步骤：1)同类别与不同类别样本对组成；2)样本对相似性分类网络构建；3)相似性全局网络卷积；4)同类别样本对判别网络；5)分类网络与判别网络对抗优化。本发明还提供一种基于对比对抗网络的小样本商品图像分类系统。本发明利用大量标注的非目标类别商品样本，可以实现在标注少量目标类别商品图像时，通过对抗的方式实现相似性比对知识的转化，实现小样本商品图像的精准分类。

Description

基于对比对抗网络的小样本商品图像分类算法及其系统
技术领域
本发明属于小样本图像分类领域，具体涉及一种小样本商品图像分类算法。
背景技术
针对基于深度学习的图像分类方法存在需要大量标注样本的不足以及已有基于深度学习的小样本图像分类算法少量标注样本提供监督信息不足的问题，提出了一种基于对比对抗网络的小样本商品图像分类算法，模仿人眼进行图像识别时即使不知道图像中商品类别，但给定包含某一商品的参考图片后仍然能够准确地识别包含同类别商品的图片。本发明提出的基于对比对抗网络的小样本商品图像分类算法，利用不重叠类别标注数据学习出一个能够识别输入图像样本对是否为包含同一商品的判别器；基于该判别器，通过与分类网络对抗训练的形式，来获得能够进行样本对是否包含同类别商品识别的对比分类网络。该对比分类网络与传统分类网络进行图像类别的分类不同，该对比分类网络的输出为样本对是否包含同类商品的概率。
随着计算机技术的不断发展，深度学习技术在图像分类领域中取得了突破性的进展。然而，现有的深度学习技术在图像分类中的成功应用，大部分均依赖于大量的标注数据。为了克服需要大量标注数据来训练深度网络的不足，诸多学者开展了小样本图像分类的研究工作。
已有的小样本图像分类方法主要分为三类：基于模型的小样本图像分类方法、基于度量的小样本图像分类方法与基于优化的小样本图像分类方法。基于模型的小样本图像分类方法通过模型结构的设计实现在少量样本上参数的快速更新，建立输入样本与预测概率值之间的映射函数；基于度量的小样本图像分类方法通过在特征空间构建表征的度量关系来实现小样本图像的分类；基于优化的小样本图像分类方法适应小样本数量通过构建参数快速更新策略来实现模型参数的更新，解决小样本分类问题。
此外，与本发明密切相关的创新点对比学习，也有诸多学者开展了研究工作。这些工作主要包含基于对比学习的无监督学习与基于对比学习的小样本图像分类两方面的研究。在基于对比学习的无监督学习方面，Hinton等学者基于单张图片中获取不同的图像块具有相似性，与其它图片中获取图像块应有差异性的特点，提出了多个无监督的表征学习框架与方法；此外，何凯明等学者通过构建类别样本库，基于同类别商品应该具有相似性的特点，提出的对比学习框架实现了无监督的表征学习。在基于对比学习的小样本图像分类方面，孪生网络基于同类别图像应该具有相似性的特点，构建了同类别与不同类别的样本对，输入双分支的孪生网络，通过相似性与非相似性的标注信息来监督训练整个孪生网络；匹配网络利用同类别图像应该具有相似性的特点，在抽取不同类别图像表征的基础上通过比对表征相似性来实现小样本图像的分类；进一步地，相似关系网络通过构建编码器，获得不同类别图像样本的深度表征，通过拼接查询样本的表征，实现小样本图片的分类。
此外，与本发明相关的另一个技术为对抗网络，目前对抗网络主要用于图像生成任务，结合小样本学习策略，已经在小样本图像分割领域得到了应用。但在图像分类领域，已有的方法主要采用生成对抗网络生成多样性样本辅助小样本或半监督网络实现分类。此外，基于条件对抗网络的方法也被应用于图像分类任务，但该方法本质仍然为图像生成任务，在生成特定类别图片的同时，可以实现指定类别的图像分类。
已有的小样本图像分类方法基于“meta-learning”也就是“学会学习”的思想来学习小样本图像的分类。但基于学会学习的思想仍然需要识别图像中的多个属性特征，然后基于汇总的多属性特征进行小样本图像的分类。人眼在比对商品进行商品识别时，并不需要知道商品的类别，仅需对比主要特征便可进行准确的商品识别。因此而言，识别两个商品是否同类别相比于识别单个商品是否某个类别更加容易些。为了解决当前小样本学习需要识别商品所有特征并汇总后识别商品类别难度较大的问题。
发明内容
本发明要解决当前基于深度学习的小样本图像分类任务中不同类别间分类知识难以迁移导致的分类效果差的问题，提供一种基于对比对抗网络的小样本商品图像分类算法及其系统。本发明通过学习商品样本对的相似性判别能力，基于参考商品样本图片来实现新类别商品的对比分类。
该发明中的对比对抗网络主要包含两个子网络：样本对相似性分类网络与是否为同类别样本对判别网络。样本对相似性分类网络的输入包含多个类别的单张图片与一张未知商品类别图片，输出为未知类别与每个类别中的单张图片的相似性值；同类别样本对判别网络的输入为两张样本图片与相似度值，输出为相似度值与图像样本对是否匹配的判别结果，其中真实样本对的输入为构造的真实同类别样本对与不同类别样本对以及对应的相似度值，假的样本对为样本对相似性分类网络生成的相似性值与对应的输入样本对。需要强调的是判别器输入的样本对类别与样本对相似性分类网络输入的样本对类别可以不存在重叠，更好实现相似性知识的迁移，完成小样本图像分类任务。
基于对比对抗网络的小样本商品图像分类算法，包括如下步骤：
1)同类别与不同类别商品样本对组成；
基于对比对抗网络的小样本商品图像分类算法及其系统中，包含少量标注的类别样本集合
Figure BDA0003017593880000031
与大量标注的其它类别样本集合
Figure BDA0003017593880000032
Figure BDA0003017593880000033
针对样本对相似性分类网络构造的样本对集合为
Figure BDA0003017593880000034
针对同类别样本对判别网络组成的真条件训练样本对集合为
Figure BDA0003017593880000035
Figure BDA0003017593880000036
其中
Figure BDA0003017593880000037
为同类别样本对，Vs为与图像等宽高的矩阵，矩阵中数值全部相同为[0.9,1]区间的随机数，其中
Figure BDA0003017593880000038
为不同类别样本对，Vo为与图像等宽高的矩阵，矩阵中数值全部相同为[0,0.1]区间的随机数；
2)样本对相似性分类网络构建；
样本对相似性分类网络的为多层全局卷积分类网络，网络的输入为{(I1,In′),(I2,In′),(I3,In′),…,(IN,In′),n'∈{1,2,3,…,N}}其中In′为从第n'个类别图片中随机抽取的样本，对于输入N个类别的样本对，必有其中一个样本与样本In′同类别，网络的输出为N×1的向量[v1,v2,v3,…,vN]，其中vn为第n个样本对的相似性值,与其它分类网络不同，多层全局卷积分类网络包含N个共享参数的子分支，每个分支的输出相似性值，N个分支的输入相似性值通过softmax函数获得N×1的相似性向量[v1,v2,v3,…,vN]；
3)相似性全局网络卷积；
对于多层全局卷积分类网络中的每个子分支，输入为一个样本对(In,In′),第一层网络包含T1个卷积核
Figure BDA0003017593880000041
卷积核的大小为S1×S2，对于样本对(In,In′)的全局卷积
Figure BDA0003017593880000042
定义如下：对于In的卷积步长为d,对于卷积核
Figure BDA0003017593880000043
在In某个位置的卷积，需要拼接卷积核
Figure BDA00030175938800000419
在图像样本In′上衣步长d进行卷积的全部结果，然后通过maxpooling操作获得特征图对应的数值，对于输入的样本对(In,In′),经过T1个卷积核后将获得T1个特征图
Figure BDA0003017593880000045
此外，输入的图像样本对将按照特征图的尺寸进行下采样得到(In/d,In′/d)然后与特征图进行拼接，第二层网络包含T2个卷积核
Figure BDA0003017593880000046
Figure BDA0003017593880000047
卷积核的大小同样为S1×S2，对于T1个特征图
Figure BDA0003017593880000048
Figure BDA0003017593880000049
与降采样后的样本对(In/d,In′/d)然后经过T2个卷积核的全局卷积
Figure BDA00030175938800000410
与
Figure BDA00030175938800000411
获得2T2个特征图
Figure BDA00030175938800000412
Figure BDA00030175938800000413
对于T1个特征图
Figure BDA00030175938800000414
利用T2个卷积核
Figure BDA00030175938800000415
通过通用卷积方式获得T2个特征图
Figure BDA00030175938800000416
在网络的第三层，拼接后的3T2特征图
Figure BDA00030175938800000417
Figure BDA00030175938800000418
与再次降采样的样本对(In/(d×d),In′/(d×d))以第二层的全局卷积与通用卷积形式获得新的特征图，以此方式可进行多层网络的卷积，卷积网络的层数可根据输入数据的大小进行调整适配，对于倒数第二层获得特征图通过TL个神经元以全连接的方式获得相似性数值vn；
4)同类别样本对判别网络；
同类别样本对判别网络的输入包含真假两种条件的输入，真条件的输入为步骤1)中组建的真实样本对与相似性矩阵，假条件为样本对相似性分类网络的输入样本对以及相应的相似度预测值，为防止预测相似度值的信息淹没，本发明将相似度预测值乘上一个全1的矩阵，获得相似性预测矩阵，处理后的相似性预测矩阵与原始输入样本构成同类别样本对判别网络假条件输入，因此同类别样本对判别网络的输入包含样本对图片与相似性矩阵，为计算相似性与输入样本对间的匹配关系，对于样本对图片将采用步骤3)中的相似性卷积进行同样的卷积操作，相似性矩阵将在第一次卷积后拼接到卷积后的特征图中，进行后续的全局卷积操作，经过L-1层的卷积，通过TL个神经元以全连接的方式获得预测的真假值，该真假值为相似度值与图像样本对是否匹配的判别结果。
5)分类网络与判别网络对抗优化；
基于样本对相似性分类网络输出的相似性值与对应的图像样本对构成的假条件样本，以及从大量标注类别中获得真条件样本，通过样本对相似性分类网络与是否为同类别样本对判别网络之间的对抗训练形式，实现大量标注样本对间同类别判别知识到小样本标注样本对之间的迁移，最终达到高准确率的小样本图像分类。
本发明还提供一种基于对比对抗网络的小样本图像分类系统，包括：依次连接的同类别与不同类别商品样本对组成模块、样本对相似性分类网络模块、相似性全局网络卷积模块、同类别样本对判别网络模块、分类网络与判别网络对抗优化模块。
本发明具有的有益效果是：对于少量标注的样本图像，通过构建对比对抗网络，可以实现大量标注类别图片的相似性知识到少量标注类别图片的迁移，解决小样本图像分类难的问题；此外，本发明提出的全局卷积相比通用卷积方式，可以更好地解决样本对中商品位置对相似性判别的干扰，实现更加精准的相似性预测。
附图说明
图1是本发明方法的流程图。
图2是本发明系统的结构图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明基于对比对抗网络的小样本商品图像分类算法及其系统，包括如下步骤：
1)同类别与不同类别商品样本对组成；
基于对比对抗网络的小样本商品图像分类算法及其系统中，包含少量标注的类别样本集合
Figure BDA0003017593880000061
与大量标注的其它类别样本集合
Figure BDA0003017593880000062
Figure BDA0003017593880000063
针对样本对相似性分类网络构造的样本对集合为
Figure BDA0003017593880000064
针对同类别样本对判别网络组成的真条件训练样本对集合为
Figure BDA0003017593880000065
Figure BDA0003017593880000066
其中
Figure BDA0003017593880000067
为同类别样本对，Vs为与图像等宽高的矩阵，矩阵中数值全部相同为[0.9,1]区间的随机数，其中
Figure BDA0003017593880000068
为不同类别样本对，Vo为与图像等宽高的矩阵，矩阵中数值全部相同为[0,0.1]区间的随机数，该相似性随机数用于辅助对抗网络训练的快速收敛，防止对抗网络对真假条件的快速识别；
2)样本对相似性分类网络构建；
样本对相似性分类网络的为多层全局卷积分类网络，网络的输入为{(I1,In′),(I2,In′),(I3,In′),…,(IN,In′),n'∈{1,2,3,…,N}}其中In′为从第n'个类别图片中随机抽取的样本，对于输入N个类别的样本对，必有其中一个样本与样本In′同类别，网络的输出为N×1的向量[v1,v2,v3,…,vN]，其中vn为第n个样本对的相似性值,与其它分类网络不同，多层全局卷积分类网络包含N个共享参数的子分支，每个分支的输出相似性值，N个分支的输入相似性值通过softmax函数获得N×1的相似性向量[v1,v2,v3,…,vN]；
3)相似性全局网络卷积；
对于多层全局卷积分类网络中的每个子分支，输入为一个样本对(In,In′),第一层网络包含T1个卷积核
Figure BDA0003017593880000071
卷积核的大小为S1×S2，对于样本对(In,In′)的全局卷积
Figure BDA0003017593880000072
定义如下：对于In的卷积步长为d,对于卷积核
Figure BDA0003017593880000073
在In某个位置的卷积，需要拼接卷积核
Figure BDA00030175938800000719
在图像样本In′上衣步长d进行卷积的全部结果，然后通过maxpooling操作获得特征图对应的数值，对于输入的样本对(In,In′),经过T1个卷积核后将获得T1个特征图
Figure BDA0003017593880000075
此外，输入的图像样本对将按照特征图的尺寸进行下采样得到(In/d,In′/d)然后与特征图进行拼接，第二层网络包含T2个卷积核
Figure BDA0003017593880000076
Figure BDA0003017593880000077
卷积核的大小同样为S1×S2，对于T1个特征图
Figure BDA0003017593880000078
{1，2，3，..{，T1}}与降采样后的样本对(In/d,In′/d)然后经过T2个卷积核的全局卷积
Figure BDA00030175938800000710
与
Figure BDA00030175938800000711
获得2T2个特征图
Figure BDA00030175938800000712
Figure BDA00030175938800000713
对于T1个特征图
Figure BDA00030175938800000714
利用T2个卷积核
Figure BDA00030175938800000715
通过通用卷积方式获得T2个特征图
Figure BDA00030175938800000716
在网络的第三层，拼接后的3T2特征图
Figure BDA00030175938800000717
Figure BDA00030175938800000718
与再次降采样的样本对(In/(d×d),In′/(d×d))以第二层的全局卷积与通用卷积形式获得新的特征图，以此方式可进行多层网络的卷积，卷积网络的层数可根据输入数据的大小进行调整适配，对于倒数第二层获得特征图通过TL个神经元以全连接的方式获得相似性数值vn，对于输入的N个样本对{(I1,In′),(I2,In′),(I3,In′),…,(IN,In′),n'∈{1,2,3,…,N}}，将获得N个相似性值，通过softmanx函数，最终可以获得N个样本对对应的N×1的相似性向量[v1,v2,v3,…,vN]；
4)同类别样本对判别网络；
同类别样本对判别网络的输入包含真假两种条件的输入，真条件的输入为步骤1)中组建的真实样本对与相似性矩阵，假条件为样本对相似性分类网络的输入样本对以及相应的相似度预测值，为防止预测相似度值的信息淹没，本发明将相似度预测值乘上一个全1的矩阵，获得相似性预测矩阵，处理后的相似性预测矩阵与原始输入样本构成同类别样本对判别网络假条件输入，因此同类别样本对判别网络的输入包含样本对图片与相似性矩阵，为计算相似性与输入样本对间的匹配关系，对于样本对图片将采用步骤3)中的相似性卷积进行同样的卷积操作，相似性矩阵将在第一次卷积后拼接到卷积后的特征图中，进行后续的全局卷积操作，经过L-1层的卷积，通过TL个神经元以全连接的方式获得预测的真假值，该真假值为相似度值与图像样本对是否匹配的判别结果；
5)分类网络与判别网络对抗优化；
基于样本对相似性分类网络输出的相似性值与对应的图像样本对构成的假条件样本，以及从大量标注类别中获得真条件样本，通过样本对相似性分类网络与是否为同类别样本对判别网络之间的对抗训练形式，实现大量标注样本对间同类别判别知识到小样本标注样本对之间的迁移，最终达到高准确率的小样本图像分类。
本发明的方法是一种基于对比对抗网络的小样本商品图像分类算法，用于在极少量目标类别标注样本的情况下，基于对比对抗网络，通过对抗的形式实现大量标注类别中对比知识的转化，实现小样本图像的精准分类。
通过上述步骤，利用大量标注的非目标类别样本，可以实现在标注少量目标类别标注样本图像时，通过对抗的方式实现相似性比对知识的转化，解决小样本图像分类准确率低的问题。
基于对比对抗网络的小样本图像分类系统，包括：依次连接的同类别与不同类别样本对组成模块、样本对相似性分类网络模块、相似性全局网络卷积模块、同类别样本对判别网络模块、分类网络与判别网络对抗优化模块；
同类别与不同类别样本对组成模块，包含少量标注的类别样本集合
Figure BDA0003017593880000081
与大量标注的其它类别样本集合
Figure BDA0003017593880000082
针对样本对相似性分类网络构造的样本对集合为
Figure BDA0003017593880000083
Figure BDA0003017593880000084
针对同类别样本对判别网络组成的真条件训练样本对集合为
Figure BDA0003017593880000085
Figure BDA0003017593880000086
Figure BDA0003017593880000087
其中
Figure BDA0003017593880000088
为同类别样本对，Vs为与图像等宽高的矩阵，矩阵中数值全部相同为[0.9,1]区间的随机数，其中
Figure BDA0003017593880000091
为不同类别样本对，Vo为与图像等宽高的矩阵，矩阵中数值全部相同为[0,0.1]区间的随机数；
样本对相似性分类网络模块，为多层全局卷积分类网络，网络的输入为{(I1,In′),(I2,In′),(I3,In′),…,(IN,In′),n'∈{1,2,3,…,N}}其中In′为从第n'个类别图片中随机抽取的样本，对于输入N个类别的样本对，必有其中一个样本与样本In′同类别，网络的输出为N×1的向量[v1,v2,v3,…,vN]，其中vn为第n个样本对的相似性值,与其它分类网络不同，多层全局卷积分类网络包含N个共享参数的子分支，每个分支的输出相似性值，N个分支的输入相似性值通过softmax函数获得N×1的相似性向量[v1,v2,v3,…,vN]；
相似性全局网络卷积模块，对于多层全局卷积分类网络中的每个子分支，输入为一个样本对)In,In′),第一层网络包含T1个卷积核
Figure BDA00030175938800000917
卷积核的大小为S1×S2，对于样本对)In,In′)的全局卷积
Figure BDA0003017593880000093
定义如下：对于In的卷积步长为d,对于卷积核
Figure BDA0003017593880000094
在In某个位置的卷积，需要拼接卷积核
Figure BDA00030175938800000918
在图像样本In′上衣步长d进行卷积的全部结果，然后通过maxpooling操作获得特征图对应的数值，对于输入的样本对(In,In′),经过T1个卷积核后将获得T1个特征图
Figure BDA0003017593880000096
此外，输入的图像样本对将按照特征图的尺寸进行下采样得到(In/d,In′/d)然后与特征图进行拼接，第二层网络包含T2个卷积核
Figure BDA0003017593880000097
卷积核的大小同样为S1×S2，对于T1个特征图
Figure BDA00030175938800000919
与降采样后的样本对(In/d,In′/d)然后经过T2个卷积核的全局卷积
Figure BDA0003017593880000099
与
Figure BDA00030175938800000910
获得2T2个特征图
Figure BDA00030175938800000911
对于T1个特征图
Figure BDA00030175938800000912
利用T2个卷积核
Figure BDA00030175938800000913
通过通用卷积方式获得T2个特征图
Figure BDA00030175938800000914
在网络的第三层，拼接后的3T2特征图
Figure BDA00030175938800000915
Figure BDA00030175938800000916
与再次降采样的样本对(In/(d×d),In′/(d×d))以第二层的全局卷积与通用卷积形式获得新的特征图，以此方式可进行多层网络的卷积，卷积网络的层数可根据输入数据的大小进行调整适配，对于倒数第二层获得特征图通过TL个神经元以全连接的方式获得相似性数值vn；
同类别样本对判别网络模块，同类别样本对判别网络的输入包含真假两种条件的输入，真条件的输入为同类别与不同类别样本对组成模块组建的真实样本对与相似性矩阵，假条件为样本对相似性分类网络的输入样本对以及相应的相似度预测值，为防止预测相似度值的信息淹没，将相似度预测值乘上一个全1的矩阵，获得相似性预测矩阵，处理后的相似性预测矩阵与原始输入样本构成同类别样本对判别网络假条件输入，因此同类别样本对判别网络的输入包含样本对图片与相似性矩阵，为计算相似性与输入样本对间的匹配关系，对于样本对图片将采用相似性全局网络卷积模块的相似性卷积进行同样的卷积操作，相似性矩阵将在第一次卷积后拼接到卷积后的特征图中，进行后续的全局卷积操作，经过L-1层的卷积，通过TL个神经元以全连接的方式获得预测的真假值，该真假值为相似度值与图像样本对是否匹配的判别结果。
分类网络与判别网络对抗优化模块，基于样本对相似性分类网络输出的相似性值与对应的图像样本对构成的假条件样本，以及从大量标注类别中获得真条件样本，通过样本对相似性分类网络与是否为同类别样本对判别网络之间的对抗训练形式，实现大量标注样本对间同类别判别知识到小样本标注样本对之间的迁移，最终达到高准确率的小样本图像分类。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.基于对比对抗网络的小样本商品图像分类算法，包括下列步骤：
1)组成同类别与不同类别商品样本对；
包含少量标注的类别样本集合
Figure FDA0003017593870000011
Figure FDA0003017593870000012
与大量标注的其它类别样本集合
Figure FDA0003017593870000013
Figure FDA0003017593870000014
针对样本对相似性分类网络构造的样本对集合为
Figure FDA0003017593870000015
Figure FDA0003017593870000016
针对同类别样本对判别网络组成的真条件训练样本对集合为
Figure FDA0003017593870000017
Figure FDA0003017593870000018
其由
Figure FDA0003017593870000019
为同类别样本对，Vs为与图像等宽高的矩阵，矩阵中数值全部相同为[0.9，1]区间的随机数，其中
Figure FDA00030175938700000110
为不同类别样本对，Vo为与图像等宽高的矩阵，矩阵中数值全部相同为[0，0.1]区间的随机数；
2)构建样本对相似性分类网络；
为多层全局卷积分类网络，网络的输入为{(I1，In′)，(I2，In′)，(I3，In′)，...，(IN，In′)，n′∈{1，2，3，...，N}}其中In′为从第n′个类别图片中随机抽取的样本，对于输入N个类别的样本对，必有其中一个样本与样本In′同类别，网络的输出为N×1的向量[v1，v2，v3，...，vN]，其中vn为第n个样本对的相似性值，与其它分类网络不同，多层全局卷积分类网络包含N个共享参数的子分支，每个分支的输出相似性值，N个分支的输入相似性值通过softmax函数获得N×1的相似性向量[v1，v2，v3，...，vN]；
3)卷积相似性全局网络；
对于多层全局卷积分类网络中的每个子分支，输入为一个样本对(In，In′)，第一层网络包含T1个卷积核
Figure FDA00030175938700000111
卷积核的大小为S1×S2，对于样本对(In，In′)的全局卷积
Figure FDA00030175938700000112
定义如下：对于In的卷积步长为d，对于卷积核
Figure FDA00030175938700000113
在In某个位置的卷积，需要拼接卷积核
Figure FDA00030175938700000114
在图像样本In′上衣步长d进行卷积的全部结果，然后通过maxpooling操作获得特征图对应的数值，对于输入的样本对(In，In′)，经过T1个卷积核后将获得T1个特征图
Figure FDA00030175938700000115
此外，输入的图像样本对将按照特征图的尺寸进行下采样得到(In/d，In′/d)然后与特征图进行拼接，第二层网络包含T2个卷积核
Figure FDA00030175938700000116
Figure FDA0003017593870000021
卷积核的大小同样为S1×S2，对于T1个特征图
Figure FDA0003017593870000022
Figure FDA0003017593870000023
与降采样后的样本对(In/d，In′/d)然后经过T2个卷积核的全局卷积
Figure FDA0003017593870000024
与
Figure FDA0003017593870000025
获得2T2个特征图
Figure FDA0003017593870000026
Figure FDA0003017593870000027
对于T1个特征图
Figure FDA0003017593870000028
利用T2个卷积核
Figure FDA0003017593870000029
通过通用卷积方式获得T2个特征图
Figure FDA00030175938700000210
在网络的第三层，拼接后的3T2特征图
Figure FDA00030175938700000211
Figure FDA00030175938700000212
与再次降采样的样本对(In/(d×d)，In′/(d×d))以第二层的全局卷积与通用卷积形式获得新的特征图，以此方式可进行多层网络的卷积，卷积网络的层数可根据输入数据的大小进行调整适配，对于倒数第二层获得特征图通过TL个神经元以全连接的方式获得相似性数值vn；
4)构建同类别样本对判别网络；
同类别样本对判别网络的输入包含真假两种条件的输入，真条件的输入为步骤1)中组建的真实样本对与相似性矩阵，假条件为样本对相似性分类网络的输入样本对以及相应的相似度预测值，为防止预测相似度值的信息淹没，将相似度预测值乘上一个全1的矩阵，获得相似性预测矩阵，处理后的相似性预测矩阵与原始输入样本构成同类别样本对判别网络假条件输入，因此同类别样本对判别网络的输入包含样本对图片与相似性矩阵，为计算相似性与输入样本对间的匹配关系，对于样本对图片将采用步骤3)中的相似性卷积进行同样的卷积操作，相似性矩阵将在第一次卷积后拼接到卷积后的特征图中，进行后续的全局卷积操作，经过L-1层的卷积，通过TL个神经元以全连接的方式获得预测的真假值，该真假值为相似度值与图像样本对是否匹配的判别结果；
5)分类网络与判别网络对抗优化；
基于样本对相似性分类网络输出的相似性值与对应的图像样本对构成的假条件样本，以及从大量标注类别中获得真条件样本，通过样本对相似性分类网络与是否为同类别样本对判别网络之间的对抗训练形式，实现大量标注样本对间同类别判别知识到小样本标注样本对之间的迁移，最终达到高准确率的小样本图像分类。
2.基于对比对抗网络的小样本商品图像分类系统，其特征包括：依次连接的同类别与不同类别样本对组成模块、样本对相似性分类网络模块、相似性全局网络卷积模块、同类别样本对判别网络模块、分类网络与判别网络对抗优化模块；
同类别与不同类别样本对组成模块，包含少量标注的类别样本集合
Figure FDA0003017593870000031
与大量标注的其它类别样本集合
Figure FDA0003017593870000032
针对样本对相似性分类网络构造的样本对集合为
Figure FDA0003017593870000033
Figure FDA0003017593870000034
针对同类别样本对判别网络组成的真条件训练样本对集合为
Figure FDA0003017593870000035
Figure FDA0003017593870000036
Figure FDA0003017593870000037
其中
Figure FDA0003017593870000038
为同类别样本对，Vs为与图像等宽高的矩阵，矩阵中数值全部相同为[0.9，1]区间的随机数，其中
Figure FDA0003017593870000039
为不同类别样本对，Vo为与图像等宽高的矩阵，矩阵中数值全部相同为[0，0.1]区间的随机数；
样本对相似性分类网络模块，为多层全局卷积分类网络，网络的输入为{(I1，In′)，(12，In′)，(I3，In′)，...，(IN，In′)，n′∈(1，2，3，...，N}}其中In′为从第n′个类别图片中随机抽取的样本，对于输入N个类别的样本对，必有其中一个样本与样本In′同类别，网络的输出为N×1的向量[v1，v2，v3，...，vN]，其中vn为第n个样本对的相似性值，与其它分类网络不同，多层全局卷积分类网络包含N个共享参数的子分支，每个分支的输出相似性值，N个分支的输入相似性值通过softmax函数获得N×1的相似性向量[v1，v2，v3，...，vN]；
相似性全局网络卷积模块，对于多层全局卷积分类网络中的每个子分支，输入为一个样本对(In，In′)，第一层网络包含T1个卷积核
Figure FDA00030175938700000310
卷积核的大小为S1×S2，对于样本对(In，In′)的全局卷积
Figure FDA00030175938700000311
定义如下：对于In的卷积步长为d，对于卷积核
Figure FDA00030175938700000312
在In某个位置的卷积，需要拼接卷积核
Figure FDA00030175938700000313
在图像样本In′上衣步长d进行卷积的全部结果，然后通过maxpooling操作获得特征图对应的数值，对于输入的样本对(In，In′)，经过T1个卷积核后将获得T1个特征图
Figure FDA0003017593870000041
此外，输入的图像样本对将按照特征图的尺寸进行下采样得到(In/d，In′/d)然后与特征图进行拼接，第二层网络包含T2个卷积核
Figure FDA0003017593870000042
卷积核的大小同样为S1×S2，对于T1个特征图
Figure FDA0003017593870000043
与降采样后的样本对(In/d，In′/d)然后经过T2个卷积核的全局卷积
Figure FDA0003017593870000044
与
Figure FDA0003017593870000045
获得2T2个特征图
Figure FDA0003017593870000046
对于T1个特征图
Figure FDA0003017593870000047
利用T2个卷积核
Figure FDA0003017593870000048
通过通用卷积方式获得T2个特征图
Figure FDA0003017593870000049
在网络的第三层，拼接后的3T2特征图
Figure FDA00030175938700000410
Figure FDA00030175938700000411
与再次降采样的样本对(In/(d×d)，In′/(d×d))以第二层的全局卷积与通用卷积形式获得新的特征图，以此方式可进行多层网络的卷积，卷积网络的层数可根据输入数据的大小进行调整适配，对于倒数第二层获得特征图通过TL个神经元以全连接的方式获得相似性数值vn；
同类别样本对判别网络模块，同类别样本对判别网络的输入包含真假两种条件的输入，真条件的输入为同类别与不同类别样本对组成模块组建的真实样本对与相似性矩阵，假条件为样本对相似性分类网络的输入样本对以及相应的相似度预测值，为防止预测相似度值的信息淹没，将相似度预测值乘上一个全1的矩阵，获得相似性预测矩阵，处理后的相似性预测矩阵与原始输入样本构成同类别样本对判别网络假条件输入，因此同类别样本对判别网络的输入包含样本对图片与相似性矩阵，为计算相似性与输入样本对间的匹配关系，对于样本对图片将采用相似性全局网络卷积模块的相似性卷积进行同样的卷积操作，相似性矩阵将在第一次卷积后拼接到卷积后的特征图中，进行后续的全局卷积操作，经过L-1层的卷积，通过TL个神经元以全连接的方式获得预测的真假值，该真假值为相似度值与图像样本对是否匹配的判别结果；
分类网络与判别网络对抗优化模块，基于样本对相似性分类网络输出的相似性值与对应的图像样本对构成的假条件样本，以及从大量标注类别中获得真条件样本，通过样本对相似性分类网络与是否为同类别样本对判别网络之间的对抗训练形式，实现大量标注样本对间同类别判别知识到小样本标注样本对之间的迁移，最终达到高准确率的小样本图像分类。
CN202110393261.4A 2021-04-13 2021-04-13 基于对比对抗网络的小样本商品图像分类算法及其系统 Active CN113033696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110393261.4A CN113033696B (zh) 2021-04-13 2021-04-13 基于对比对抗网络的小样本商品图像分类算法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393261.4A CN113033696B (zh) 2021-04-13 2021-04-13 基于对比对抗网络的小样本商品图像分类算法及其系统

Publications (2)

Publication Number Publication Date
CN113033696A CN113033696A (zh) 2021-06-25
CN113033696B true CN113033696B (zh) 2022-06-17

Family

ID=76456428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393261.4A Active CN113033696B (zh) 2021-04-13 2021-04-13 基于对比对抗网络的小样本商品图像分类算法及其系统

Country Status (1)

Country Link
CN (1) CN113033696B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN109190665B (zh) * 2018-07-30 2023-07-04 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN109753992B (zh) * 2018-12-10 2020-09-01 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110569905B (zh) * 2019-09-10 2023-04-14 中电鸿信信息科技有限公司 基于生成对抗网络和注意力网络的细粒度图像分类方法
CN111369498B (zh) * 2020-02-19 2022-06-28 浙江大学城市学院 基于改进生成对抗网络的种苗生长势评估的数据增强方法

Also Published As

Publication number Publication date
CN113033696A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN110717526A (zh) 一种基于图卷积网络的无监督迁移学习方法
Liu et al. Real-time classification of steel strip surface defects based on deep CNNs
CN112036447A (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
Sun et al. Traffic Sign Recognition Method Integrating Multi-Layer Features and Kernel Extreme Learning Machine Classifier.
CN110598759A (zh) 一种基于多模态融合的生成对抗网络的零样本分类方法
CN114821014A (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Moate et al. Vehicle detection in infrared imagery using neural networks with synthetic training data
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN114170659A (zh) 一种基于注意力机制的面部情感识别方法
CN113033696B (zh) 基于对比对抗网络的小样本商品图像分类算法及其系统
Salih et al. Deep learning for face expressions detection: Enhanced recurrent neural network with long short term memory
CN116935100A (zh) 一种基于特征融合和自注意力机制的多标签图像分类方法
Abdulhussien et al. Hybrid deep neural network for facial expressions recognition
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
Chen et al. Few-shot person re-identification based on Feature Set Augmentation and Metric Fusion
CN113449631A (zh) 图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant