CN109325513B - 一种基于海量单类单幅图像的图像分类网络训练方法 - Google Patents

一种基于海量单类单幅图像的图像分类网络训练方法 Download PDF

Info

Publication number
CN109325513B
CN109325513B CN201810867642.XA CN201810867642A CN109325513B CN 109325513 B CN109325513 B CN 109325513B CN 201810867642 A CN201810867642 A CN 201810867642A CN 109325513 B CN109325513 B CN 109325513B
Authority
CN
China
Prior art keywords
training
data set
network
class
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810867642.XA
Other languages
English (en)
Other versions
CN109325513A (zh
Inventor
章东平
郑寅
陶禹诺
陈思瑶
毕崇圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810867642.XA priority Critical patent/CN109325513B/zh
Publication of CN109325513A publication Critical patent/CN109325513A/zh
Application granted granted Critical
Publication of CN109325513B publication Critical patent/CN109325513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于海量单类单幅图像的图像分类网络训练方法，采用单类单幅和单类多幅的双数据形式的训练数据集交替循环训练海量单类单幅图像的图像分类网络，将训练数据输入层替换为训练数据集1输入层和训练数据集2输入层两个网络层，当训练的迭代次数为奇数时，将训练数据集1作为基于海量单类单幅图像的图像分类网络的输入数据，基于迭代次数的动态损失函数采用类间距离损失函数，对网络进行训练，当迭代次数为偶数时，将训练数据集2作为基于海量单类单幅图像的图像分类网络的输入数据，基于迭代次数的动态损失函数采用center loss和Soft‑max损失函数相结合作为训练网络的损失函数对网络进行训练，得到图像分类模型。

Description

一种基于海量单类单幅图像的图像分类网络训练方法
技术领域
本发明涉及计算机视觉、模式识别，机器学习等技术领域，特别是一种基于单类单幅图像的图像分类网络训练方法。
背景技术
机器学习方法被广泛用于图像分析，通过在给定数据集上训练模型来完成新数据上的特定任务，比如分类、识别和分割等。常用的算法有支持向量机(SVM),隐马尔科夫(HMM)以及人工神经网络等。然而，传统的机器学习算法祈要利用先验知识从原始数据中人工提取特征，从而训练模型。由于特征选取难度较大，模型可能存在过拟合问题，泛化能力难以保证；另一方面，传统模型难以适应大规模数据集，模型可扩展性差。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习。深度学习是一种数据驱动型模型，能够模拟人脑视觉机理自动地学习到数据各个层次的抽象特征，从而更好地反映数据的本质特征。
DeepID是目前效果不错的人脸图像识别算法，采用的就是深度学习的方法，在DeepID的实验过程中，使用的外部数据集为CelebFaces+，达到了97.20的效果。但是DeepID采用人脸身份证数据集进行实验，效果却不是很理想。这是因为人脸身份证数据集只是单类单幅数据集，本身没有类内距离，DeepID失去了一定的效果。
在深度学习的应用中，时常就会碰到训练例如人脸身份证图片这样的单类单幅图像的问题解决上述问题的关键就是如何使得该模型能够克服训练数据集只有单类单幅数据集的形式，并能够使得训练数据集的类间距离更加大，类内距离更加小。根据单类单幅图片和单类多幅图片的关联性，利用单类多幅图片训练数据集含有的类内距离属性，弥补单类单幅图片没有类内距离的特点，并且利用海量单类单幅图片训练数据集含有的类间距离属性，增大多类单幅图片的的类间距离。
发明内容
本发明克服了难以训练只具有类间距离而没有类内距离的单类单幅图片，从而得到识别单类单副和单类多幅图片准确率高的模型。
本发明为达上述发明目的，采用如下技术方案：
一种基于海量单类单幅图像的图像分类网络训练方法，其步骤包括：
步骤(1)：将包含N类单类单幅的图像数据集作为训练数据集1，将包含M类单类多幅的图像数据集作为训练数据集2，训练数据集1的图片数量要远多于训练数据集2的图片数量，所述单类单幅是每一类图像中仅包含一张该类的图像，单类多幅是每一类图像中包含多张同类的图像。
步骤(2)：在DeepID网络结构的基础上进行改进，将训练数据输入层替换为训练数据集1输入层和训练数据集2输入层两个网络层，将DeepID网络结构中的Soft-max层替换为基于迭代次数的动态损失函数，该基于迭代次数的动态损失函数会根据迭代次数的奇偶性对损失函数计算公式进行动态选择，将改进后的网络称为基于海量单类单幅图像的图像分类网络，所述DeepID网络结构包含四个卷积层(每个卷积层后带有一个最大池化层)、一个全连接层Fc1、一个Soft-max层。
步骤(3)：当训练的迭代次数为奇数时，将训练数据集1作为基于海量单类单幅图像的图像分类网络的输入数据，步骤二中的基于迭代次数的动态损失函数采用类间距离损失函数，对网络进行训练，当迭代次数为偶数时，将训练数据集2作为基于海量单类单幅图像的图像分类网络的输入数据，步骤(2)中的基于迭代次数的动态损失函数采用centerloss和Soft-max损失函数相结合作为训练网络的损失函数对网络进行训练，得到图像分类模型，所述center loss、softmax损失函数的公式分别为Ls和Lc：
Figure BDA0001750679850000021
Figure BDA0001750679850000022
当训练的迭代次数为偶数时，训练数据集2作为网络的输入，基于迭代次数的动态损失函数计算公式为：
Figure BDA0001750679850000031
其中，Wi T是第i个训练样本所在训练网络的权重参数，bi是偏置项，xi是第i个训练样本在Fc1层输出的特征，yi是第i个训练样本的类别标签，
Figure BDA0001750679850000032
第yi类的特征中心，m表示每一次迭代输入的训练样本数量，n表示训练数据集1的类别数。
当训练的迭代次数为奇数时，训练数据集1作为网络的输入，基于迭代次数的动态损失函数计算公式为：
Figure BDA0001750679850000033
其中zs表示第s个训练样本在Fc1层输出的特征，zt表示第t个训练样本在Fc1层输出的特征。
步骤(4)：将图像输入到基于海量单类单幅图像的图像分类网络中，并利用图像分类模型进行特征提取，获得图像分类结果。
与现有技术相比，本发明的有益效果体现在：
采用海量的单类单幅图片训练集和单类多幅图片训练集交替循环训练网络可以有效增大训练集图片的类间距离，减小训练训练集的类内距离，从而得到识别准确率高的模型。
附图说明
图1是本发明的训练流程图。
具体实施方式
本实施例中，流程如图1所示，一种基于海量单类单幅图像的图像分类网络训练流程图，具体实现主要包括如下步骤：
步骤(1)：数据准备：采用100万张单类单幅人脸身份证数据集作为训练数据集1，采用Webface人脸数据集作为训练数据集2。
步骤(2)：数据预处理：将准备好的2种人脸数据集图片都转换成128*128的分辨率。
步骤(3)：交替循环训练基于海量单类单幅图像的图像分类网络：Mini-batch是每批次训练处理的数据样本的个数，本发明采用每批次训练个数为64张，当训练的迭代次数为奇数时，任意不重复地从数据集1中选出64张图片，输入到图像分类网络中去，动态损失函数采用类间距离损失函数的，根据类间距离损失函数进行反向传播计算，迭代更新每一层的权重。上次训练结束后就是偶数次训练，再从CASIA-WebFace人脸数据集的图片中选出64张CASIA-WebFace人脸数据集的图片，输入到图像分类网络中去，动态损失函数采用center loss和Soft-max损失函数，根据center loss和softmax层损失函数值的大小来进行反向传播迭代，训练参数。最终完成设置的训练迭代次数，得到图像分类模型。
步骤(4)：网络测试：将测试图像输入到基于海量单类单幅图像的图像分类网络中，并利用图像分类模型进行特征提取，获得该测试图像的图像分类结果。

Claims (1)

1.一种基于海量单类单幅图像的图像分类网络训练方法，其特征在于：包括如下步骤：
步骤一，数据准备：将包含N类单类单幅的图像数据集作为训练数据集1，将包含M类单类多幅的图像数据集作为训练数据集2，训练数据集1的图片数量要远多于训练数据集2的图片数量，所述单类单幅是每一类图像中仅包含一张该类的图像，单类多幅是每一类图像中包含多张同类的图像；
步骤二，网络结构：在DeepID网络结构的基础上进行改进，将训练数据输入层替换为训练数据集1输入层和训练数据集2输入层两个网络层，将DeepID网络结构中的Soft-max层替换为基于迭代次数的动态损失函数，基于迭代次数的动态损失函数会根据迭代次数的奇偶性对损失函数计算公式进行动态选择，将改进后的网络称为基于海量单类单幅图像的图像分类网络，所述DeepID网络结构包含四个卷积层、一个全连接层Fc1、一个Soft-max层；
步骤三，网络训练：当训练的迭代次数为奇数时，将训练数据集1作为基于海量单类单幅图像的图像分类网络的输入数据，步骤二中的基于迭代次数的动态损失函数采用类间距离损失函数，对网络进行训练，当迭代次数为偶数时，将训练数据集2作为基于海量单类单幅图像的图像分类网络的输入数据，步骤二中的基于迭代次数的动态损失函数采用centerloss和Soft-max损失函数数值的大小来进行反向传播迭代对网络进行训练，得到图像分类模型，所述center loss、Soft-max损失函数的公式分别为Ls和Lc：
Figure FDA0003031274680000011
步骤四，网络测试：将测试图像输入到基于海量单类单幅图像的图像分类网络中，并利用图像分类模型进行特征提取，获得该测试图像的分类结果；
步骤二中基于迭代次数的动态损失函数的公式如下:
当训练的迭代次数为偶数时，训练数据集2作为网络的输入，基于迭代次数的动态损失函数计算公式为：
Figure FDA0003031274680000012
其中，Wi是第i个训练样本所在训练网络的权重参数，bi是偏置项，xi是第i个训练样本在Fc1层输出的特征，yi是第i个训练样本的类别标签，
Figure FDA0003031274680000022
第yi类的特征中心，m表示每一次迭代输入的训练样本数量，n表示训练数据集2的类别数；
当训练的迭代次数为奇数时，训练数据集1作为网络的输入，基于迭代次数的动态损失函数计算公式为：
Figure FDA0003031274680000021
其中zs表示第s个训练样本在Fc1层输出的特征，zt表示第t个训练样本在Fc1层输出的特征。
CN201810867642.XA 2018-08-01 2018-08-01 一种基于海量单类单幅图像的图像分类网络训练方法 Active CN109325513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810867642.XA CN109325513B (zh) 2018-08-01 2018-08-01 一种基于海量单类单幅图像的图像分类网络训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810867642.XA CN109325513B (zh) 2018-08-01 2018-08-01 一种基于海量单类单幅图像的图像分类网络训练方法

Publications (2)

Publication Number Publication Date
CN109325513A CN109325513A (zh) 2019-02-12
CN109325513B true CN109325513B (zh) 2021-06-25

Family

ID=65264651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810867642.XA Active CN109325513B (zh) 2018-08-01 2018-08-01 一种基于海量单类单幅图像的图像分类网络训练方法

Country Status (1)

Country Link
CN (1) CN109325513B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738080A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸检测和对齐的方法及装置
CN112487227B (zh) * 2020-11-27 2023-12-26 北京邮电大学 一种深度学习的细粒度图像分类方法及装置
CN113283368B (zh) * 2021-06-08 2023-10-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113345538B (zh) * 2021-06-23 2022-09-30 北京理工大学重庆创新中心 一种基于动态选取训练集的材料性能预测方法
CN113807186B (zh) * 2021-08-18 2024-07-12 南京理工大学 基于多通道复用卷积神经网络的雷达目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN108351967A (zh) * 2017-12-28 2018-07-31 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680337B2 (en) * 2005-02-22 2010-03-16 Spectral Sciences, Inc. Process for finding endmembers in a data set

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN108351967A (zh) * 2017-12-28 2018-07-31 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质

Also Published As

Publication number Publication date
CN109325513A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109325513B (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN105205448B (zh) 基于深度学习的文字识别模型训练方法和识别方法
CN104268593B (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN109376692A (zh) 面向人脸表情识别的迁移卷积神经网络方法
CN107464217B (zh) 一种图像处理方法及装置
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN109359527B (zh) 基于神经网络的头发区域提取方法及系统
CN107944459A (zh) 一种rgb‑d物体识别方法
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN102982539A (zh) 一种基于图像复杂性的特征自适应图像共分割方法
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN108898269A (zh) 基于度量的电力图像环境影响评估方法
CN115641583B (zh) 一种基于自监督和主动学习的点云检测方法、系统及介质
CN108446605A (zh) 复杂背景下双人交互行为识别方法
CN108416795A (zh) 基于排序池化融合空间特征的视频动作识别方法
CN105809200B (zh) 一种生物启发式自主抽取图像语义信息的方法及装置
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN107622476A (zh) 基于概率生成模型的图像超分辨处理方法
CN105389573B (zh) 一种基于局部三值模式分层重构的人脸识别方法
CN103927540B (zh) 一种基于生物视觉分层模型的不变特征提取方法
CN115049781B (zh) 一种基于深度学习的页岩数字岩心三维重建方法
CN113177602B (zh) 图像分类方法、装置、电子设备和存储介质
CN113538484B (zh) 一种深度细化的多重信息嵌套边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant