CN116152570A - 基于分层卷积神经网络的商品图像分类方法 - Google Patents

基于分层卷积神经网络的商品图像分类方法 Download PDF

Info

Publication number
CN116152570A
CN116152570A CN202310218038.5A CN202310218038A CN116152570A CN 116152570 A CN116152570 A CN 116152570A CN 202310218038 A CN202310218038 A CN 202310218038A CN 116152570 A CN116152570 A CN 116152570A
Authority
CN
China
Prior art keywords
image
commodity image
feature
commodity
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310218038.5A
Other languages
English (en)
Inventor
姜元春
陈莉
袁昆
钱洋
刘业政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310218038.5A priority Critical patent/CN116152570A/zh
Publication of CN116152570A publication Critical patent/CN116152570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分层卷积神经网络的商品图像分类方法，包括：步骤1、获取仅包含单一商品的原始商品图像集并进行预处理；步骤2、构建分层卷积神经网络模型，包括特征提取模块、层级融合分类模块；步骤3、对商品图像数据集使用有监督对比学习优化所述特征提取模块；步骤4、利用分类损失和有监督对比损失训练所述分层卷积神经网络模型，进行商品图像标签分类。本发明能有效解决数据特征和标签关系利用不充分的问题，从而能在提高商品图像分类准确率的同时提升商品图像分类模型的鲁棒性。

Description

基于分层卷积神经网络的商品图像分类方法
技术领域
本发明属于计算机图像分类领域，具体的说是一种基于分层卷积神经网络的商品图像分类方法。
背景技术
在电子商务平台上，图像是商品展示最直观的方式，标签是商品描述最简洁、核心的方式。现有技术主要通过采集商品图像进行分类，一方面现有技术只考虑商品图像的粗粒度标签，忽略了商品图像的细粒度标签分类，而在电商平台中，细粒度标签对商品图像的描述价值更高，更能体现商品的信息；另一方面现有的标签监督学习方法仅使用单一特征训练且没有充分利用标签之间的关系，因此网络需要学习数据尽可能多的特征，这使得模型对数据的要求很高，抗噪性差，泛化和迁移能力不足。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于分层卷积神经网络的商品图像分类方法，以期能同时考虑商品图像的粗细粒度标签，通过融合商品图像局部特征和全局特征，充分利用不同图像标签之间的相关性和同一图像标签内部的层级关系训练得到特征提取能力和泛化能力更优的分类网络来实现商品图像标签分类，从而能丰富商品图像标签分类空间，更好地提取商品图像特征，以提高商品图像的标签分类准确率，更加适用于现有的电子商品平台。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于分层卷积神经网络的商品图像分类方法的特点在于，是按如下步骤进行：
步骤1.获取仅包含单一商品的原始商品图像集并进行预处理，得到商品图像集X＝{X1,X2,...,Xi,...,Xn}，Xi∈RC×H×W表示第i个商品图像，C、H和W分别表示图像的通道数、高度和宽度，1≤i≤n，n为商品图像的总数；
定义粗细粒度标签集Y＝{Yj|j＝1,2,…,J}，其中，Yj表示第j类标签集，J表示标签的种类；且
Figure SMS_1
yj,z表示第j类标签集Yj中第z个标签，Zj表示第j类标签集Yj中的标签数量；
将第i个商品图像Xi在第j类标签集Yj中第z个标签记为
Figure SMS_2
则第i个商品图像Xi对应标签集合记为/>
Figure SMS_3
Figure SMS_4
表示第i个商品图像Xi未对应第j类标签集Yj中第z个标签，/>
Figure SMS_5
表示第i个商品图像Xi对应第j类标签集Yj中第z个标签；
步骤2.构建分层卷积神经网络模型，包括：特征提取模块、层级融合分类模块；
步骤2.1所述特征提取模块依次由1个卷积层、1个最大池化层、若干个block块组成；其中，每个block块均包含个c二维卷积层、c个批归一化层，c个RELU激活层，且每个二维卷积层后依次连接1个批归一化层、1个RELU激活层；
将所述商品图像集X＝{X1,X2,…,Xi,…,Xn}输入所述分层卷积神经网络模型中，并经过所述特征提取模块中的卷积层和最大池化层的处理后，得到商品图像局部特征集
Figure SMS_6
再经过若干个block块的处理后，得到商品图像全局特征集
Figure SMS_7
其中，/>
Figure SMS_8
表示第i个商品图像Xi的局部特征，/>
Figure SMS_9
表示第i个商品图像Xi的全局特征；
步骤2.2所述层级融合分类模块由一个平均池化层和J个全连接层组成，其中，第j个全连接层作为第j类标签集的分类器，并包含Zj个神经元，且第z个神经元的输出表示第j类标签集Yj中第z个标签yj,z的分类概率值；
所述商品图像局部特征集Fl和商品图像全局特征集Ft分别输入所述平均池化层中进行处理，得到图像局部池化特征集
Figure SMS_10
和图像全局池化特征集/>
Figure SMS_11
其中/>
Figure SMS_12
表示第i个商品图像Xi的局部池化特征，/>
Figure SMS_13
表示第i个商品图像Xi的全局池化特征；
当j＝1时，全局池化特征
Figure SMS_14
输入第j个全连接层中进行处理，得到第j类标签集Yj的分类结果/>
Figure SMS_15
Figure SMS_16
表示第i个商品图像Xi在第j类标签集Yj中第z个标签/>
Figure SMS_17
的分类概率值；
当j＝2,3,…,J时，将局部池化特征
Figure SMS_20
全局池化特征/>
Figure SMS_23
和第j-1类标签集的分类概率值/>
Figure SMS_25
通过融合操作后得到元特征/>
Figure SMS_19
后，输入第j个全连接层中进行处理，得到第i个商品图像Xi在第j类标签集Yj的分类概率值/>
Figure SMS_22
从而将局部池化特征/>
Figure SMS_24
全局池化特征/>
Figure SMS_26
和第J-1类标签集的分类概率值/>
Figure SMS_18
通过融合操作后输入第J个全连接层中进行处理，并输出第i个商品图像Xi在第J类标签集YJ的分类概率值/>
Figure SMS_21
步骤2.3根据式(1)计算各类标签的分类损失Lcls：
Figure SMS_27
步骤3.构建分层卷积神经网络模型中特征提取模块的优化策略；
步骤3.1对第i个商品图像Xi进行随机数据增强得到增强后的第i个商品图像Xi′；
步骤3.2将所述商品图像集X＝{X1,X2,…,Xi,…,Xn}和增强后的商品图像集X′＝{X1′,X2′,…,Xi′,…,Xn′}合并后，得到新的商品图像集
Figure SMS_28
和标签集/>
Figure SMS_29
其中，/>
Figure SMS_30
表示第e个新商品图像，ys,e表示第e个新商品图像/>
Figure SMS_31
的标签；
根据式(2)计算第e个新商品图像
Figure SMS_32
所对应的标签ys,e与标签集{ys,1,ys,2,…,ys ,e,…,ys,2n}中所有标签的相似度Se，从而得到标签相似矩阵S＝[S1,S2,…,Se,…,S2n]；/>
Figure SMS_33
式(2)中，se,k表示第e个新商品图像
Figure SMS_34
所对应的标签ys,e与第k个新商品图像/>
Figure SMS_35
所对应的标签ys,k的相似度，⊙表示点乘操作，|| ||表示向量的模；
步骤3.3将所述新的商品图像集Xs输入特征提取模块中进行处理，并输出新的商品图像局部特征
Figure SMS_36
和新的商品图像全局特征
Figure SMS_37
将所述新的商品图像全局特征Fs,t输入所述层级融合分类模块中的平均池化层进行后，得到新的图像全局池化特征/>
Figure SMS_38
其中，/>
Figure SMS_39
表示第e个新商品图像的局部特征，/>
Figure SMS_40
表示第e个新商品图像的全局特征，/>
Figure SMS_41
表示第e个新商品图像的全局池化特征；
步骤3.4采用式(3)构建数据训练的有监督对比损失函数Lcon：
Figure SMS_42
式(3)中，|代表条件符号，β表示标签相似度阈值，
Figure SMS_45
表示新的商品图像集Xs中与锚图像/>
Figure SMS_46
标签相似度大于等于β的图像个数，/>
Figure SMS_48
表示第r个全局池化特征/>
Figure SMS_44
与相似度大于等于阈值β的第e个全局池化特征/>
Figure SMS_47
的点积结果，/>
Figure SMS_49
表示第r个全局池化特征/>
Figure SMS_50
与2n个全局池化特征中除/>
Figure SMS_43
自身的其他全局池化特征的点积之和，t是点积温度参数；
步骤4.所述分层卷积神经网络模型的训练，包括两阶段：
第一阶段训练：
基于所述商品图像集X＝{X1,X2,...,Xi,...,Xn}，对所述分层卷积神经网络进行训练，并计算所述分类损失函数Lcls用于反向传播训练所述分层卷积神经网络模型，当训练次数epoch达到设定的阈值λ时，执行第二阶段训练；
第二阶训练：
基于所述新的商品图像集
Figure SMS_51
采用对比学习方法先对所述分层卷积神经网络模型中的特征提取模块进行优化，计算所述对比学习损失Lcon用于反向传播优化所述分层卷积神经网络模型中的特征提取模块，再基于所述商品图像集X＝{X1,X2,...,Xi,...,Xn}，对所述分层卷积神经网络模型进行训练，并计算所述分类损失函数Lcls用于反向传播训练所述分层卷积神经网络模型，经过多次迭代训练，得到最优分层卷积神经网络模型，用于电子商务平台的商品标签分类。/>
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述商品图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述商品图像分类方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明考虑了商品图像的粗细粒度标签，扩充商品图像的标签空间，更加适用于当前电子商务平台应用需求。
2、本发明通过提取商品图像的局部特征和全局特征，利用标签内部的层级关系，融合局部特征、全局特征和上一级标签预测值得到新的特征表示进而进行下一级标签分类，从而提高了商品图像分类网络的准确率。
3、本发明使用有监督对比学习方法，充分利用不同图像标签之间的相关性得到提取有效商品图像特征能力更强的特征提取模块，在进一步提高了网络性能的同时提升了模型的鲁棒性。
附图说明
图1为本发明整体流程图；
图2为本发明网络整体结构图；
图3为本发明网络模型中block块结构图；
图4为本发明网络模型中层级融合分类模块结构图；
图5为获取的原始商品图像；
图6为数据增强后的商品图像。
具体实施方式
本实施例中，如图1所示，一种基于分层卷积神经网络的商品图像分类方法是按如下步骤进行：
步骤1.获取仅包含单一商品的原始商品图像集并进行预处理，得到商品图像集X＝{X1,X2,...,Xi,…,Xn}，Xi∈RC×H×W表示第i个商品图像，C、H和W分别表示图像的通道数、高度和宽度，1≤i≤n，n为商品图像的总数。
定义标签集Y＝{Yj|j＝1,2,…,J}，其中，Yj表示第j类标签集，J表示标签的种类；且
Figure SMS_52
yj,z表示第j类标签集Yj中第z个标签，Zj表示第j类标签集Yj中的标签数量。
将第i个商品图像Xi在第j类标签集Yj中第z个标签记为
Figure SMS_53
则第i个商品图像Xi对应的标签集合记为/>
Figure SMS_54
Figure SMS_55
表示商品图像Xi未对应第j类标签集Yj中第z个标签，/>
Figure SMS_56
表示商品图像Xi对应第j类标签集Yj中第z个标签。
具体实施中，在步骤1中，将获取的商品图像统一预处理为R3×256×256大小，将标签集分为3个类别，分别是：类别标签、属性标签和风格标签，类别标签包括T恤、外套、连衣裙等，属性标签包括印花、雪纺、圆领、短袖等，风格标签包括时尚、休闲、复古等。
步骤2.构建分层卷积神经网络模型，结构如图2所示，包括：特征提取模块、层级融合分类模块，并对商品图像集进行处理；
步骤2.1特征提取模块依次由1个卷积层、1个最大池化层、若干个block块组成；其中，每个block块均包含个c二维卷积层、c个批归一化层，c个RELU激活层，且每个二维卷积层后依次连接1个批归一化层、1个RELU激活层。
将商品图像集X＝{X1,X2,…,Xi,…,Xn}输入分层卷积神经网络模型中，并经过特征提取模块中的卷积层和最大池化层的处理后，得到商品图像局部特征集
Figure SMS_57
再经过若干个block块的处理后，得到商品图像全局特征集
Figure SMS_58
其中，Fi l表示第i个商品图像Xi的局部特征，/>
Figure SMS_59
表示第i个商品图像Xi的全局特征。
具体实施中，特征提取模块由1个卷积层、1个最大池化层和5个block组成，其中，每个block块均包含3个二维卷积层、3个批归一化层，3个RELU激活层，结构如图3所示；这里根据商品图像的复杂程度可以选择更为复杂的深度残差网络结构构建特征提取模块。
步骤2.2层级融合分类模块由1个平均池化层和J个全连接层组成，其中，第j个全连接层作为第j类标签集的分类器，并包含Zj个神经元，且第z个神经元的输出表示第j类标签集Yj中第z个标签yj,z的分类概率值；
具体实施中，层级融合分类模块由1个平均池化层和3个全连接层组成，结构如图4所示。
商品图像局部特征集Fl和商品图像全局特征集Ft分别输入平均池化层中进行处理，得到图像局部池化特征集
Figure SMS_60
和图像全局池化特征集
Figure SMS_61
其中/>
Figure SMS_62
表示第i个商品图像Xi的局部池化特征，/>
Figure SMS_63
表示第i个商品图像Xi的全局池化特征。
当j＝1时，全局池化特征
Figure SMS_64
输入第j个全连接层中进行处理，得到第j类标签集Yj的分类结果/>
Figure SMS_65
Figure SMS_66
表示第i个商品图像Xi在第j类标签集Yj中第z个标签/>
Figure SMS_67
的分类概率值；
当j＝2,3,…,J时，将局部池化特征
Figure SMS_69
全局池化特征/>
Figure SMS_73
和第j-1类标签集的分类概率值/>
Figure SMS_75
通过融合操作后得到元特征/>
Figure SMS_70
后，输入第j个全连接层中进行处理，得到第i个商品图像Xi在第j类标签集Yj的分类概率值/>
Figure SMS_72
从而将局部池化特征/>
Figure SMS_74
全局池化特征
Figure SMS_76
和第J-1类标签集的分类概率值/>
Figure SMS_68
通过融合操作后输入第J个全连接层中进行处理，并输出第i个商品图像Xi在第J类标签集YJ的分类概率值/>
Figure SMS_71
步骤2.3根据式(1)计算各类标签的分类损失Lcls：
Figure SMS_77
步骤3.构建分层卷积神经网络模型中特征提取模块的优化策略；
具体实施中，本发明一共使用了两个数据集，一个数据集是采集并进行预处理的原始数据集，记为数据集1，另一个数据集是原始数据集和增强后数据集合并得到的，记为数据集2。
步骤3.1对如图5所示的第i个商品图像Xi进行随机数据增强得到增强后的第i个商品图像Xi′，如图6所示。
步骤3.2将商品图像集X＝{X1,X2,…,Xi,…,Xn}和增强后的商品图像集X′＝{X1′,X2′,…,Xi′,…,Xn′}合并后，得到新的商品图像集
Figure SMS_78
和标签集
Figure SMS_79
其中，/>
Figure SMS_80
表示第e个新商品图像，ys,e表示第e个新商品图像/>
Figure SMS_81
所对应的标签。
根据式(2)计算第e个新商品图像
Figure SMS_82
所对应的标签/>
Figure SMS_83
与标签集
Figure SMS_84
中所有标签的相似度Se，从而得到标签相似矩阵S＝[S1,S2,…,Se,…,S2n]；
Figure SMS_85
式(2)中，se,k表示第e个新商品图像
Figure SMS_86
所对应的标签ys,e与第k个新商品图像/>
Figure SMS_87
所对应的标签ys,k的相似度，⊙表示点乘操作，|| ||表示向量的模。
步骤3.3将新的商品图像集Xs输入特征提取模块中进行处理，并输出新的商品图像局部特征
Figure SMS_88
和新的商品图像全局特征
Figure SMS_89
将新的商品图像全局特征Fs,t输入层级融合分类模块中的平均池化层进行后，得到新的图像全局池化特征/>
Figure SMS_90
其中，/>
Figure SMS_91
表示第e个新商品图像的局部特征，/>
Figure SMS_92
表示第e个新商品图像的全局特征，/>
Figure SMS_93
表示第e个新商品图像的全局池化特征。
步骤3.4采用式(3)构建数据训练的有监督对比损失函数Lcon：
Figure SMS_94
式(3)中，|代表条件符号，β表示标签相似度阈值，
Figure SMS_96
表示新的商品图像集Xs中与锚图像/>
Figure SMS_98
标签相似度大于等于β的图像个数，/>
Figure SMS_102
表示第r个全局池化特征/>
Figure SMS_97
与相似度大于等于阈值β的第e个全局池化特征/>
Figure SMS_99
的点积结果，/>
Figure SMS_100
表示第r个全局池化特征/>
Figure SMS_101
与2n个全局池化特征中除/>
Figure SMS_95
自身的其他全局池化特征的点积之和，t是点积温度参数。
步骤4.模型训练，分层卷积神经网络训练过程分为两阶段，具体过程如下：
第一阶段训练：
基于商品图像集X＝{X1,X2,...,Xi,...,Xn}，对分层卷积神经网络进行训练，并计算分类损失函数Lcls用于反向传播训练分层卷积神经网络，当训练次数epoch达到设定的阈值λ时，执行第二阶段训练。
第二阶训练：
基于新的商品图像集
Figure SMS_103
采用对比学习方法先对分层卷积神经网络中的特征提取模块进行优化，计算对比学习损失Lcon用于反向传播优化分层卷积神经网络中的特征提取模块，再基于商品图像集X＝{X1,X2,...,Xi,…,Xn}，对分层卷积神经网络进行训练，并计算分类损失函数Lcls用于反向传播训练分层卷积神经网络，经过多次迭代训练，得到分类效果良好的分层卷积神经网络模型，从而将训练好的分层卷积神经网络模型用于淘宝等电子商务平台的商品标签分类。
具体实施中，设定训练阈值λ＝10，这里训练阈值可以根据第一阶段网络训练结果进行设定。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

Claims (3)

1.一种基于分层卷积神经网络的商品图像分类方法，其特征在于，是按如下步骤进行：
步骤1.获取仅包含单一商品的原始商品图像集并进行预处理，得到商品图像集X＝{X1,X2,…,Xi,…,Xn}，Xi∈RC×H×W表示第i个商品图像，C、H和W分别表示图像的通道数、高度和宽度，1≤i≤n，n为商品图像的总数；
定义粗细粒度标签集Y＝{Yj|j＝1,2,…,J}，其中，Yj表示第j类标签集，J表示标签的种类；且
Figure QLYQS_1
yj,z表示第j类标签集Yj中第z个标签，Zj表示第j类标签集Yj中的标签数量；
将第i个商品图像Xi在第j类标签集Yj中第z个标签记为
Figure QLYQS_2
则第i个商品图像Xi对应标签集合记为/>
Figure QLYQS_3
Figure QLYQS_4
表示第i个商品图像Xi未对应第j类标签集Yj中第z个标签，/>
Figure QLYQS_5
表示第i个商品图像Xi对应第j类标签集Yj中第z个标签；
步骤2.构建分层卷积神经网络模型，包括：特征提取模块、层级融合分类模块；
步骤2.1所述特征提取模块依次由1个卷积层、1个最大池化层、若干个block块组成；其中，每个block块均包含个c二维卷积层、c个批归一化层，c个RELU激活层，且每个二维卷积层后依次连接1个批归一化层、1个RELU激活层；
将所述商品图像集X＝{X1,X2,…,Xi,…,Xn}输入所述分层卷积神经网络模型中，并经过所述特征提取模块中的卷积层和最大池化层的处理后，得到商品图像局部特征集
Figure QLYQS_6
再经过若干个block块的处理后，得到商品图像全局特征集
Figure QLYQS_7
其中，Fi l表示第i个商品图像Xi的局部特征，Fi t表示第i个商品图像Xi的全局特征；
步骤2.2所述层级融合分类模块由一个平均池化层和J个全连接层组成，其中，第j个全连接层作为第j类标签集的分类器，并包含Zj个神经元，且第z个神经元的输出表示第j类标签集Yj中第z个标签yj,z的分类概率值；
所述商品图像局部特征集Fl和商品图像全局特征集Ft分别输入所述平均池化层中进行处理，得到图像局部池化特征集favgpool(Fl)＝{F1′l,…,Fi′l,…,Fn′l}和图像全局池化特征集
Figure QLYQS_8
其中Fi′l表示第i个商品图像Xi的局部池化特征，Fi′t表示第i个商品图像Xi的全局池化特征；
当j＝1时，全局池化特征Fi′t输入第j个全连接层中进行处理，得到第j类标签集Yj的分类结果
Figure QLYQS_9
Figure QLYQS_10
表示第i个商品图像Xi在第j类标签集Yj中第z个标签/>
Figure QLYQS_11
的分类概率值；
当j＝2,3,…,J时，将局部池化特征Fi′l、全局池化特征Fi′t和第j-1类标签集的分类概率值
Figure QLYQS_12
通过融合操作后得到元特征/>
Figure QLYQS_13
后，输入第j个全连接层中进行处理，得到第i个商品图像Xi在第j类标签集Yj的分类概率值/>
Figure QLYQS_14
从而将局部池化特征Fi′l、全局池化特征Fi′t和第J-1类标签集的分类概率值/>
Figure QLYQS_15
通过融合操作后输入第J个全连接层中进行处理，并输出第i个商品图像Xi在第J类标签集YJ的分类概率值/>
Figure QLYQS_16
/>
步骤2.3根据式(1)计算各类标签的分类损失Lcls：
Figure QLYQS_17
步骤3.构建分层卷积神经网络模型中特征提取模块的优化策略；
步骤3.1对第i个商品图像Xi进行随机数据增强得到增强后的第i个商品图像Xi′；
步骤3.2将所述商品图像集X＝{X1,X2,…,Xi,…,Xn}和增强后的商品图像集X′＝{X′1,X′2,…,X′i,…,X′n}合并后，得到新的商品图像集
Figure QLYQS_18
和标签集{ys ,1,ys,2,…,ys,e,…,ys,2n}，其中，/>
Figure QLYQS_19
表示第e个新商品图像，ys,e表示第e个新商品图像/>
Figure QLYQS_20
的标签；
根据式(2)计算第e个新商品图像
Figure QLYQS_21
所对应的标签ys,e与标签集{ys,1,ys,2,…,ys,e,…,ys,2n}中所有标签的相似度Se，从而得到标签相似矩阵S＝[S1,S2,…,Se,…,S2n]；
Figure QLYQS_22
式(2)中，se,k表示第e个新商品图像
Figure QLYQS_23
所对应的标签ys,e与第k个新商品图像/>
Figure QLYQS_24
所对应的标签ys,k的相似度，⊙表示点乘操作，|| ||表示向量的模；
步骤3.3将所述新的商品图像集Xs输入特征提取模块中进行处理，并输出新的商品图像局部特征
Figure QLYQS_25
和新的商品图像全局特征/>
Figure QLYQS_26
将所述新的商品图像全局特征Fs,t输入所述层级融合分类模块中的平均池化层进行后，得到新的图像全局池化特征/>
Figure QLYQS_27
其中，/>
Figure QLYQS_28
表示第e个新商品图像的局部特征，/>
Figure QLYQS_29
表示第e个新商品图像的全局特征，F′e s,t表示第e个新商品图像的全局池化特征；
步骤3.4采用式(3)构建数据训练的有监督对比损失函数Lcon：
Figure QLYQS_30
式(3)中，|代表条件符号，β表示标签相似度阈值，
Figure QLYQS_32
表示新的商品图像集Xs中与锚图像/>
Figure QLYQS_34
标签相似度大于等于β的图像个数，/>
Figure QLYQS_36
表示第r个全局池化特征/>
Figure QLYQS_33
与相似度大于等于阈值β的第e个全局池化特征/>
Figure QLYQS_35
的点积结果，/>
Figure QLYQS_37
表示第r个全局池化特征/>
Figure QLYQS_38
与2n个全局池化特征中除/>
Figure QLYQS_31
自身的其他全局池化特征的点积之和，t是点积温度参数；
步骤4.所述分层卷积神经网络模型的训练，包括两阶段：
第一阶段训练：
基于所述商品图像集X＝{X1,X2,…,Xi,…,Xn}，对所述分层卷积神经网络进行训练，并计算所述分类损失函数Lcls用于反向传播训练所述分层卷积神经网络模型，当训练次数epoch达到设定的阈值λ时，执行第二阶段训练；
第二阶训练：
基于所述新的商品图像集
Figure QLYQS_39
采用对比学习方法先对所述分层卷积神经网络模型中的特征提取模块进行优化，计算所述对比学习损失Lcon用于反向传播优化所述分层卷积神经网络模型中的特征提取模块，再基于所述商品图像集X＝{X1,X2,…,Xi,…,Xn}，对所述分层卷积神经网络模型进行训练，并计算所述分类损失函数Lcls用于反向传播训练所述分层卷积神经网络模型，经过多次迭代训练，得到最优分层卷积神经网络模型，用于电子商务平台的商品标签分类。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述商品图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述商品图像分类方法的步骤。
CN202310218038.5A 2023-03-08 2023-03-08 基于分层卷积神经网络的商品图像分类方法 Pending CN116152570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310218038.5A CN116152570A (zh) 2023-03-08 2023-03-08 基于分层卷积神经网络的商品图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310218038.5A CN116152570A (zh) 2023-03-08 2023-03-08 基于分层卷积神经网络的商品图像分类方法

Publications (1)

Publication Number Publication Date
CN116152570A true CN116152570A (zh) 2023-05-23

Family

ID=86361819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310218038.5A Pending CN116152570A (zh) 2023-03-08 2023-03-08 基于分层卷积神经网络的商品图像分类方法

Country Status (1)

Country Link
CN (1) CN116152570A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407772A (zh) * 2023-12-13 2024-01-16 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407772A (zh) * 2023-12-13 2024-01-16 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统
CN117407772B (zh) * 2023-12-13 2024-03-26 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统

Similar Documents

Publication Publication Date Title
Li et al. Contrast-oriented deep neural networks for salient object detection
Zhang et al. Mask SSD: An effective single-stage approach to object instance segmentation
CN110428428A (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN108629367B (zh) 一种基于深度网络增强服装属性识别精度的方法
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
Vishwakarma Comparative analysis of deep convolutional generative adversarial network and conditional generative adversarial network using hand written digits
CN111914085A (zh) 文本细粒度情感分类方法、系统、装置及存储介质
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN110046249A (zh) 胶囊网络的训练方法、分类方法、系统、设备及存储介质
CN112199536A (zh) 一种基于跨模态的快速多标签图像分类方法和系统
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN113377981B (zh) 基于多任务深度哈希学习的大规模物流商品图像检索方法
CN111476315A (zh) 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN111368197B (zh) 一种基于深度学习的评论推荐系统及方法
CN112465226B (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
CN116152570A (zh) 基于分层卷积神经网络的商品图像分类方法
Melek et al. Object detection in shelf images with YOLO
CN110705490A (zh) 视觉情感识别方法
CN112183602A (zh) 一种带有并行卷积块的多层特征融合细粒度图像分类方法
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法
CN113344069B (zh) 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
CN111259938A (zh) 基于流形学习和梯度提升模型的图片偏多标签分类方法
CN113688826A (zh) 基于特征融合的花粉图像检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination