CN108960342B - 基于改进Soft-Max损失函数的图像相似度计算方法 - Google Patents

基于改进Soft-Max损失函数的图像相似度计算方法 Download PDF

Info

Publication number
CN108960342B
CN108960342B CN201810864947.5A CN201810864947A CN108960342B CN 108960342 B CN108960342 B CN 108960342B CN 201810864947 A CN201810864947 A CN 201810864947A CN 108960342 B CN108960342 B CN 108960342B
Authority
CN
China
Prior art keywords
image
layer
image recognition
max
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864947.5A
Other languages
English (en)
Other versions
CN108960342A (zh
Inventor
章东平
李建超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810864947.5A priority Critical patent/CN108960342B/zh
Publication of CN108960342A publication Critical patent/CN108960342A/zh
Application granted granted Critical
Publication of CN108960342B publication Critical patent/CN108960342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进型Soft‑Max损失函数的图像相似度计算方法，图像识别网络中的改进型Soft‑Max层的激活函数采用改进型Soft‑Max激活函数，反向传播过程中采用改进型Soft‑Max损失函数更新网络权值，改进型Soft‑Max损失函数与传统的Soft‑Max损失函数相比增加了通过图像识别网络学习得到的决策边缘；在测试阶段用训练好的图像识别模型对两张测试图像提取特征向量，计算得到特征向量之间的余弦相似度，和设置的图像相似度阈值比较，如果大于等于图像相似度阈值则判定两张图像为同一类图像，如果小于图像相似度阈值则判定两张图像为不同类图像。

Description

基于改进Soft-Max损失函数的图像相似度计算方法
技术领域
本发明属于深度神经网络提取图像特征的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到一种基于改进型Soft-Max损失函数的图像相似度计算方法。
背景技术
图像识别技术是现今人工智能以及模式识别的研究热点，是一种根据观测到的图像对其中的物体进行类别鉴别的生物识别技术。它在航空航天、医学、工业自动化、机器人、及军事等领域都有广泛的应用。
随着科技的发展，图像识别的应用范围不断扩大，逐渐从公安刑侦领域，推广到工业邻域，如做激光定位切割、定位打标、定位焊接时非常需要图像识别技术的帮助、自动化生产线物品的分类等，也被广泛应用于安防领域。这些应用是用在现实场景过程中所以对于识别准确率有较高要求，但是现代图像识别技术的一个不足就是识别准确率比较低，现实场景中的图像识别效果及准确率明显偏低，在实时场景中的图像常常受到光照、遮挡等影响，造成图像噪声过大，对于抓拍到的图像存在识别准确率比较低的问题。
解决上述问题的关键就是要克服图像识别准确率的问题，本发明根据深度神经网络和改进型Soft-Max损失函数训练图像识别模型，提高现实场景下图像识别准确率。目前,深度学习由于其强大的表征能力,提取的特征相比传统方法手工构造的特征具有更强的鲁棒性,因此被广泛应用于图像识别中。用深度学神经网络和传统的Soft-Max损失函数训练的图像识别模型比传统方法训练的模型在识别准确率上要高很多，但是识别准确率还是有待提高。所以要实现高识别准确率的图像识别要通过更有效的解决方法。
发明内容
本发明克服了现有技术的不足之处，提出了一种基于改进型Soft-Max损失函数的图像相似度计算方法，意在利用改进型Soft-Max损失函数训练出高识别准确率的图像识别模型，提高现实场景中图像识别过程的图像分类正确性。
本发明为达上述发明目的，采用如下技术方案：
一种基于改进型Soft-Max损失函数的图像相似度计算方法，其步骤包括：
步骤(1)：准备图像识别训练数据集和，将图像识别训练数据集输入到基于卷积神经网络的图像识别网络中开始训练，所述基于卷积神经网络的图像识别网络中包含卷积层，最大采样层，全连接层，改进型Soft-Max层四种网络层，其中，一个卷积层与一个最大采样层构成一个图像识别子结构，图像识别网络包含N个串联的子结构，图像识别网络的最后三层分别为图像特征层、图像分类层和改进型Soft-Max层，所述图像特征层和图像分类层分别为输出维度是C维和 D维的全连接层，C表示图像特征数，D表示图像类别数，改进型Soft-Max层激活函数为：
Figure BDA0001750684090000021
其中，σ(xi)表示在图像识别网络中的改进型Soft-Max层对第i个样本属于正确类别的预测概率值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重的第j列，b表示偏置项,n表示总训练样本的类别数，m表示决策边缘，由网络训练得到。
步骤(2)：选用改进型Soft-Max损失函数来进行图像识别网络的反向传播更新网络权值，训练得到一个图像识别的模型，所述改进型Soft-Max损失函数计算公式为：
Figure BDA0001750684090000022
进一步地，图像识别网络中的图像特征层和图像分类层之间的反向传播求导公式为：
第i个样本的损失函数对决策边缘m求偏导的公式为：
Figure BDA0001750684090000031
第i个样本的损失函数对权重wyi求偏导的公式为：
Figure BDA0001750684090000032
第i个样本的损失函数对偏置项bi求偏导的公式为：
Figure BDA0001750684090000033
第i个样本的损失函数对权重wj求偏导的公式为：
Figure BDA0001750684090000034
其中，Li表示第i个样本的损失值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重的第j列，b表示偏置项,n表示总训练样本的类别数，λ表示权重系数，m表示决策边缘，由网络训练得到。
步骤(3)：将两张待测试的图像P1和P2利用步骤(2)中得到的图像识别模型进行图像特征的提取，分别得到图像特征向量Pf1和Pf2，通过计算得到Pf1和Pf2之间的余弦相似度Pc,设置图像相似度阈值为Pt，如果Pc≥Pt，则判定图像P1和P2是同一类图像，如果Pc＜Pt，则判定图像P1和P2不是同一类图像，所述图像特征为步骤(1)中的图像特征层的输出。
与现有技术相比，本发明的有益效果体现在：
本发明采取改进型Soft-Max损失函数的图像相似度计算方法，采用基于深度学习的图像识别网络提取图像特征，使得提取到的特征具有更强的图像特征表达能力，能够有效避免传统手工方法提取的特征由于表征能力不足造成的图像识别准确率不高的问题，图像识别网络中的改进型Soft-Max层的激活函数采用改进型Soft-Max激活函数，反向传播过程中采用改进型Soft-Max损失函数更新网络权值，使得图像特征具有更大的类间距离和更小的类内距离，训练得到图像识别模型；在测试阶段用训练好的图像识别模型对两张测试图像提取特征向量，计算得到特征向量之间的余弦相似度，和设置的图像相似度阈值比较，如果大于等于图像相似度阈值则判定两张图像为同一类图像，如果小于图像相似度阈值则判定两张图像为不同类图像；本发明适用于图像识别，能够克服采用基于深度学习的图像识别网络和传统Soft-Max损失函数训练的图像识别模型计算图像相似度存在的识别不准确问题，提高图像识别的准确性。
附图说明
图1是图像识别网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示为图像识别网络结构示意图，本发明的基于改进型Soft-Max损失函数的图像相似度计算方法主要包括如下步骤：
步骤(1)：准备图像识别训练数据集，训练数据集为开源的图像识别数据库ImageNet 2012,包括1000个类别的1百多万张图像，将图像识别训练数据集输入到基于卷积神经网络的图像识别网络中开始训练，所述基于卷积神经网络的图像识别网络中包含卷积层，最大采样层，全连接层，改进型Soft-Max层四种网络层，其中，一个卷积层与一个最大采样层构成一个图像识别子结构，图像识别网络包含N＝34个串联的子结构，图像识别网络的最后三层分别为图像特征层、图像分类层和改进型Soft-Max层，所述图像特征层和图像分类层分别为输出维度是512维和1000维的全连接层，512表示图像特征数，1000表示图像类别数，改进型Soft-Max层激活函数为：
Figure BDA0001750684090000051
其中，σ(xi)表示在图像识别网络中改进型Soft-Max层对第i个样本属于正确类别的预测概率值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重的第j列，b表示偏置项,n＝1000表示总训练样本的类别数，m表示决策边缘，由网络训练得到。
步骤(2)：选用改进型Soft-Max损失函数来进行图像识别网络的反向传播更新网络权值，训练得到一个图像识别的模型，所述改进型Soft-Max损失函数计算公式为：
Figure BDA0001750684090000052
进一步地，图像识别网络中的图像特征层和图像分类层之间的反向传播求导公式为：
第i个样本的损失函数对决策边缘m求偏导的公式为：
Figure BDA0001750684090000053
第i个样本的损失函数对权重wyi求偏导的公式为：
Figure BDA0001750684090000061
第i个样本的损失函数对偏置项bi求偏导的公式为：
Figure BDA0001750684090000062
第i个样本的损失函数对权重wj求偏导的公式为：
Figure BDA0001750684090000063
其中，Li表示第i个样本的损失值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重的第j列，b表示偏置项,n＝1000表示总训练样本的类别数，λ表示权重系数，取λ＝0.5，m表示决策边缘，由网络训练得到。
步骤(3)：将两张待测试的图像P1和P2利用步骤(2)中得到的图像识别模型进行图像特征的提取，分别得到图像特征向量Pf1和Pf2，通过计算得到Pf1和 Pf2之间的余弦相似度Pc,设置图像相似度阈值为Pt＝0.8，如果Pc≥0.8，则判定图像P1和P2是同一类图像，如果Pc＜0.8，则判定图像P1和P2不是同一类图像，所述图像特征为步骤(1)中的图像特征层的输出。

Claims (2)

1.一种基于改进型Soft-Max损失函数的图像相似度计算方法，其特征在于按照如下步骤进行：
步骤(1)：准备图像识别训练数据集，将图像识别训练数据集输入到基于卷积神经网络的图像识别网络中开始训练，所述基于卷积神经网络的图像识别网络中包含卷积层，最大采样层，全连接层，改进型Soft-Max层四种网络层，其中，一个卷积层与一个最大采样层构成一个图像识别子结构，图像识别网络包含N个串联的子结构，图像识别网络的最后三层分别为图像特征层、图像分类层和改进型Soft-Max层，所述图像特征层和图像分类层分别为输出维度是C维和D维的全连接层，C表示图像特征数，D表示图像类别数，改进型Soft-Max层激活函数为：
Figure FDA0003017932250000011
其中，σ(xi)表示在图像识别网络中的改进型Soft-Max层对第i个样本属于正确类别的预测概率值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重矩阵的第j列向量，n表示总训练样本的类别数，m表示决策边缘，由网络训练得到；
步骤(2)：选用改进型Soft-Max损失函数来进行图像识别网络的反向传播更新网络权值，训练得到一个图像识别的模型，所述改进型Soft-Max损失函数计算公式为：
Figure FDA0003017932250000012
其中，Li表示第i个样本的损失值，xi∈Rd表示第i个样本在图像识别网络中的图像特征层的输出值，yi表示第i个样本的图像类别标签，wj表示图像特征层与图像分类层之间的权重矩阵的第j列向量，n表示总训练样本的类别数，λ表示权重系数，m表示决策边缘，由网络训练得到；
步骤(3)：将两张待测试的图像P1和P2利用步骤(2)中得到的图像识别模型进行图像特征的提取，分别得到图像特征向量Pf1和Pf2，通过计算得到Pf1和Pf2之间的余弦相似度Pc,设置图像相似度阈值为Pt，如果Pc≥Pt，则判定图像P1和P2是同一类图像，如果Pc＜Pt，则判定图像P1和P2不是同一类图像，所述图像特征为步骤(1)中的图像特征层的输出。
2.如权利要求1所述的一种基于改进型Soft-Max损失函数的图像相似度计算方法，其特征在于：步骤(2)中图像识别网络中的图像特征层和图像分类层之间的反向传播求导公式为：
第i个样本的损失函数对决策边缘m求偏导的公式为：
Figure FDA0003017932250000021
第i个样本的损失函数对权重
Figure FDA0003017932250000022
求偏导的公式为：
Figure FDA0003017932250000023
第i个样本的损失函数对偏置项bi求偏导的公式为：
Figure FDA0003017932250000024
第i个样本的损失函数对权重wj求偏导的公式为：
Figure FDA0003017932250000031
CN201810864947.5A 2018-08-01 2018-08-01 基于改进Soft-Max损失函数的图像相似度计算方法 Active CN108960342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810864947.5A CN108960342B (zh) 2018-08-01 2018-08-01 基于改进Soft-Max损失函数的图像相似度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864947.5A CN108960342B (zh) 2018-08-01 2018-08-01 基于改进Soft-Max损失函数的图像相似度计算方法

Publications (2)

Publication Number Publication Date
CN108960342A CN108960342A (zh) 2018-12-07
CN108960342B true CN108960342B (zh) 2021-09-14

Family

ID=64466798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864947.5A Active CN108960342B (zh) 2018-08-01 2018-08-01 基于改进Soft-Max损失函数的图像相似度计算方法

Country Status (1)

Country Link
CN (1) CN108960342B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059705B (zh) * 2019-04-22 2021-11-09 厦门商集网络科技有限责任公司 一种基于建模的ocr识别结果判决方法和设备
CN110197200B (zh) * 2019-04-23 2022-12-09 东华大学 一种基于机器视觉的服装电子标签生成方法
CN110458217B (zh) * 2019-07-31 2024-04-19 腾讯医疗健康(深圳)有限公司 图像识别方法及装置、眼底图像识别方法和电子设备
CN110543565A (zh) * 2019-08-30 2019-12-06 广西电网有限责任公司南宁供电局 基于卷积神经网络模型的审计方法、系统和可读存储介质
CN112861626B (zh) * 2021-01-04 2024-03-08 西北工业大学 基于小样本学习的细粒度表情分类方法
CN114155388B (zh) * 2022-02-10 2022-05-13 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107330355A (zh) * 2017-05-11 2017-11-07 中山大学 一种基于正样本平衡约束的深度行人再标识方法
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法
CN108766445A (zh) * 2018-05-30 2018-11-06 苏州思必驰信息科技有限公司 声纹识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792532B2 (en) * 2013-06-28 2017-10-17 President And Fellows Of Harvard College Systems and methods for machine learning enhanced by human measurements
CN105243398B (zh) * 2015-09-08 2018-09-04 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
CN108009528B (zh) * 2017-12-26 2020-04-07 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108235770B (zh) * 2017-12-29 2021-10-19 达闼机器人有限公司 图像识别方法及云端系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107330355A (zh) * 2017-05-11 2017-11-07 中山大学 一种基于正样本平衡约束的深度行人再标识方法
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法
CN108766445A (zh) * 2018-05-30 2018-11-06 苏州思必驰信息科技有限公司 声纹识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Additive Margin Softmax for Face Verification;Feng Wang et al.;《IEEE Signal Processing Letters》;20180731;第25卷(第7期);第926-930页 *
ArcFace:Additive Angular Margin Loss for Deep Face Recognition;Jiankang Deng et al.;《http://arxiv.org/abs/1801.07698v1》;20180123;第1-13页 *
CosFace: Large Margin Cosine Loss for Deep Face Recognition;Hao Wang et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第5265-5274页 *
Multi-Pose Face Recognition by Dynamic Loss Weights;Yunuo Tao et al.;《The 2017 4th International Conference on Systems and Informatics》;20171113;第453-458页 *

Also Published As

Publication number Publication date
CN108960342A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108960342B (zh) 基于改进Soft-Max损失函数的图像相似度计算方法
CN111126360B (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN108171184B (zh) 基于Siamese网络的用于行人重识别的方法
CN107330396B (zh) 一种基于多属性和多策略融合学习的行人再识别方法
CN113220919B (zh) 一种大坝缺陷图像文本跨模态检索方法及模型
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
Lu et al. Object detection based on SSD-ResNet
CN111680706B (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN110263845B (zh) 基于半监督对抗深度网络的sar图像变化检测方法
CN109657716A (zh) 一种基于深度学习的车辆外观损伤识别方法
CN108960330A (zh) 基于快速区域卷积神经网络的遥感图像语义生成方法
CN111382690B (zh) 基于多损失融合模型的车辆再识别方法
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN103886332A (zh) 一种检测与识别金属网栅缺陷的方法
CN115953630A (zh) 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法
CN104268553A (zh) 基于核模糊Foley-Sammon转换的SAR图像目标识别方法
CN104143088B (zh) 一种基于图像检索和特征权重学习的人脸识别方法
CN109241315B (zh) 一种基于深度学习的快速人脸检索方法
CN114241310A (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
CN109685823A (zh) 一种基于深度森林的目标跟踪方法
CN110569764B (zh) 一种基于卷积神经网络的手机型号识别方法
CN111191027A (zh) 一种基于高斯混合分布vae的广义零样本识别方法
Sarikabuta et al. Impacts of layer sizes in deep residual-learning convolutional neural network on flower image classification with different class sizes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant