CN113343787A - 一种基于深度学习的适用于图谱对比场景中等级评定方法 - Google Patents

一种基于深度学习的适用于图谱对比场景中等级评定方法 Download PDF

Info

Publication number
CN113343787A
CN113343787A CN202110550431.5A CN202110550431A CN113343787A CN 113343787 A CN113343787 A CN 113343787A CN 202110550431 A CN202110550431 A CN 202110550431A CN 113343787 A CN113343787 A CN 113343787A
Authority
CN
China
Prior art keywords
grade
deep learning
value
label
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110550431.5A
Other languages
English (en)
Other versions
CN113343787B (zh
Inventor
李巨文
于涵
李兴捷
尚尔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Research Institute of Foundry Co Ltd
Original Assignee
Shenyang Research Institute of Foundry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Research Institute of Foundry Co Ltd filed Critical Shenyang Research Institute of Foundry Co Ltd
Priority to CN202110550431.5A priority Critical patent/CN113343787B/zh
Publication of CN113343787A publication Critical patent/CN113343787A/zh
Application granted granted Critical
Publication of CN113343787B publication Critical patent/CN113343787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One‑hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。本发明与传统one‑hot标签相比，该机制模拟了人工标注等级时的不确定性，避免失去内在的等级之间的相关性，实现了更好的等级评定准确率。本方法提出了一种基于多任务学习的卷积神经网络框架，通过联合最小化多个损失函数，相比于使用单个任务，收敛更快且取得更优的效果。

Description

一种基于深度学习的适用于图谱对比场景中等级评定方法
技术领域
本发明具体涉及一种基于深度学习的适用于图谱对比场景中等级评定方法。
背景技术
目前，在一些工业检测场景中，如铸件缺陷、晶粒度等，需要根据国家标准或自行定义的标准中的各等级参考图谱对采集到的图像明确其相应的等级。准确地等级评定对保证产品质量，提高利润率具有重要意义。
现有技术中一些基于计算机视觉及深度学习技术的适用于图谱对比场景的等级评估方法：参见公布号：CN111161224A的一篇专利申请，在此方法中，首先基于国家标准铸件缺陷等级参考图谱对采集的铸造缺陷的图片进行人工的等级评定，缺陷图像作为网络输入，等级评定结果作为网络的标签。其次构造带有残差模块及双流通道注意力模块的卷积神经网络模型并进行网络的训练，实现缺陷的等级评价。
相似地，参见公布号：CN109034217A的一篇专利申请，其收集了不同材料及不同金相状态的晶粒度数据库，并根据参考图谱由人工对每张晶粒度金相图片进行等级评定，最后基于深度学习进行训练，从而实现晶粒度等级评定。
上述方法的本质与共同点是将等级评估问题视为图像分类问题，因而存在三个明显的缺点。其一，由于人在图谱对比过程中的主观性，不同的检测专家对同一图像的等级判断往往具有差异，即等级标注具有一定的不确定性；其二，不同等级图像之间的相似程度不同，相邻等级间的图像相似程度更高，图像分类方法会丧失等级间的相关性。其三，在类别数较大时，基于图像分类的算法会间接降低每一类的训练数据量，增大了过拟合的风险。
鉴于上述方法存在的一些弊端，本发明提出了一种适用于图谱对比场景中等级评定的深度学习方法，以实现更高准确率的等级评价。
发明内容
针对现有技术中存在的缺陷，本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One-hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。
基于深度学习的适用于图谱对比场景中等级评定方法具体步骤如下：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像，对每张待测图像Ik进行等级的评定，标注等级值gk；将所有的图像数据及其对应的标注等级值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％；
(2)one-hot标签软化
(3)构造基于多任务学习的卷积神经网络，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成；
(4)训练网络：搭建好模型后，使用步骤(1)中的训练集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定；
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk，计算最终的等级值，计算公式如下：
Figure BDA0003075216260000031
进一步，所述步骤(2)中one-hot标签软化具体为：将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素
Figure BDA0003075216260000032
由下式计算获得：
Figure BDA0003075216260000033
其中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，τ是归一化系数。
进一步，所述特征提取网络为ImageNet预训练的VGG16、AlexNet、ResNet、DenseNet或Xception，不使用特征提取网络中全局池化层之后的部分。
进一步，所述分布投影模块由全连接层1与soft-max层顺接组成，具体如下：
特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk，其中，W1 T,b1是全连接层1的参数；
sk＝W1 Tfk+b1
Figure BDA0003075216260000034
进一步，等级值投影模块直接获得图像的归一化等级值mk，由全连接层2和sigmoid激活函数来实现，具体如下：
Figure BDA0003075216260000035
其中
Figure BDA0003075216260000036
b2指的是全连接层2的参数。
进一步，多任务损失函数具体为：使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr，具体公式如下：
Figure BDA0003075216260000041
Figure BDA0003075216260000042
Figure BDA0003075216260000043
L＝Ld+Le+Lr。
相对于现有技术，本发明的优点如下：
1.该方法提出了one-hot标签软化机制。与传统one-hot标签相比，该机制模拟了人工标注等级时的不确定性，避免失去内在的等级之间的相关性，实现了更好的等级评定准确率。
2.该方法提出了一种基于多任务学习的卷积神经网络框架，通过联合最小化多个损失函数，相比于使用单个任务，收敛更快且取得更优的效果。
附图说明
图1是one-hot软化标签的概率分布示意图。
图2是多任务学习网络模型框架示意图。
具体实施方式
现结合附图和实施例对本发明作出进一步详细的说明。
实施例1
本实施例提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，所述的基于深度学习的适用于图谱对比场景中等级评定方法包括以下步骤：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像若干张，根据其相应的国家标准或自行定义的标准中的等级评定参考图谱，由专业的检测人员对每张待测图像Ik进行等级的评定，如1级、5级、8级。对于某些图像的等级gk可能介于两个等级之间，标注的等级值可以不为整数，如4.5级，5.2级。将所有的图像数据及其对应的标注值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％。
(2)one-hot标签软化：基于本发明提出的one-hot标签软化机制，将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素
Figure BDA0003075216260000053
由下式计算获得：
Figure BDA0003075216260000051
在公式(1)中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，σ越大，概率分布越离散，等级间相关性越大，对标注正确性的信心就越小。反之，概率分布越集中，等级间相关性越小，对标注正确性的信心就越大。σ可根据具体任务自行确定。τ是归一化系数，确保
Figure BDA0003075216260000054
中各元素之和为1。图1是当最大等级为8，标注等级为6时的软化标签的概率分布示意图。
(3)构造基于多任务学习的卷积神经网络：网络模型结构如图2所示，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成。其中，使用在ImageNet预训练的VGG16作为特征提取网络，除VGG16以外，还可以选择AlexNet，ResNet，DenseNet，Xception等网络。本发明不使用特征提取网络中全局池化层之后的部分。分布投影模块由全连接层1与soft-max层顺接组成，其目的是是将特征提取网络提取的特征向量转化为概率分布向量。特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk。公式(2)中的W1 T,b1是全连接层1的参数。
sk＝W1 Tfk+b1 (2)
Figure BDA0003075216260000052
等级值投影模块旨在直接获得图像的归一化等级值mk，其功能是由全连接层2和sigmoid激活函数来实现的。
Figure BDA0003075216260000061
其中
Figure BDA0003075216260000062
b2指的是全连接层2的参数。本发明中使用多个损失函数来联合学习等级评估过程，具体而言，使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr。
Figure BDA0003075216260000063
Figure BDA0003075216260000064
Figure BDA0003075216260000065
L＝Ld+Le+Lr (8)
(4)训练网络：搭建好模型后，使用步骤(1)中的训练数据集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数。重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定。
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk。通过公式(9)即可计算最终的等级值。
Figure BDA0003075216260000066

Claims (9)

1.一种基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，该等级评定方法采用One-hot标签软化机制，结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。
2.根据权利要求1所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，所述One-hot标签软化机制为：将原始的等级标签转化为离散概率分布，建模等级标签的不确定性、歧义性及其跨等级相关性。
3.根据权利要求1所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，基于深度学习的适用于图谱对比场景中等级评定方法具体步骤如下：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像，对每张待测图像Ik进行等级的评定，标注等级值gk；将所有的图像数据及其对应的标注等级值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％；
(2)one-hot标签软化
(3)构造基于多任务学习的卷积神经网络，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成；
(4)训练网络：搭建好模型后，使用步骤(1)中的训练集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定；
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk，计算最终的等级值。
4.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，所述步骤(2)中one-hot标签软化具体为：将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素
Figure FDA0003075216250000021
由下式计算获得：
Figure FDA0003075216250000022
其中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，τ是归一化系数。
5.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，所述特征提取网络为ImageNet预训练的VGG16、AlexNet、ResNet、DenseNet或Xception，不使用特征提取网络中全局池化层之后的部分。
6.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，所述分布投影模块由全连接层1与soft-max层顺接组成，具体如下：
特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk，其中，W1 T,b1是全连接层1的参数；
sk＝W1 Tfk+b1
Figure FDA0003075216250000023
7.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，等级值投影模块直接获得图像的归一化等级值mk，由全连接层2和sigmoid激活函数来实现，具体如下：
Figure FDA0003075216250000024
其中W2 T,b2指的是全连接层2的参数。
8.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，多任务损失函数具体为：使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr，具体公式如下：
Figure FDA0003075216250000031
Figure FDA0003075216250000032
Figure FDA0003075216250000033
L＝Ld+Le+Lr。
9.根据权利要求3所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，计算最终的等级值公式如下：
Figure FDA0003075216250000034
CN202110550431.5A 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法 Active CN113343787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550431.5A CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550431.5A CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Publications (2)

Publication Number Publication Date
CN113343787A true CN113343787A (zh) 2021-09-03
CN113343787B CN113343787B (zh) 2023-09-01

Family

ID=77470155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550431.5A Active CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Country Status (1)

Country Link
CN (1) CN113343787B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
CN110751170A (zh) * 2019-09-06 2020-02-04 武汉精立电子技术有限公司 面板质量检测方法、系统、终端设备及计算机可读介质
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
CN111161224A (zh) * 2019-12-17 2020-05-15 沈阳铸造研究所有限公司 基于深度学习的铸件内部缺陷分级评估系统及方法
CN111461345A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 深度学习模型训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
CN110751170A (zh) * 2019-09-06 2020-02-04 武汉精立电子技术有限公司 面板质量检测方法、系统、终端设备及计算机可读介质
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
CN111161224A (zh) * 2019-12-17 2020-05-15 沈阳铸造研究所有限公司 基于深度学习的铸件内部缺陷分级评估系统及方法
CN111461345A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 深度学习模型训练方法及装置

Also Published As

Publication number Publication date
CN113343787B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN108805200B (zh) 基于深度孪生残差网络的光学遥感场景分类方法及装置
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110837846A (zh) 一种图像识别模型的构建方法、图像识别方法及装置
US20230162522A1 (en) Person re-identification method of integrating global features and ladder-shaped local features and device thereof
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN114283320A (zh) 基于全卷积的无分支结构目标检测方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN115659966A (zh) 基于动态异构图和多级注意力的谣言检测方法及系统
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN111861046B (zh) 基于大数据和深度学习的专利价值智能评估系统
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN111026887A (zh) 一种跨媒体检索的方法及系统
CN112465929B (zh) 一种基于改进图卷积网络的图像生成方法
CN113343787B (zh) 一种基于深度学习的适用于图谱对比场景中等级评定方法
CN116363469A (zh) 一种少样本红外目标检测方法、装置和系统
CN112613533B (zh) 基于排序约束的图像分割质量评价网络系统、方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115601745A (zh) 一种面向应用端的多视图三维物体识别方法
CN110647630A (zh) 检测同款商品的方法及装置
CN113724325A (zh) 一种基于图卷积网络的多场景单目相机位姿回归方法
CN116596915A (zh) 基于多尺度特征和长距离依赖的盲图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 110000 No.17, Yunfeng South Street, Tiexi District, Shenyang City, Liaoning Province

Applicant after: Shenyang Foundry Research Institute Co., Ltd. of China National Machinery Research Institute Group

Address before: 110000 No.17, Yunfeng South Street, Tiexi District, Shenyang City, Liaoning Province

Applicant before: SHENYANG RESEARCH INSTITUTE OF FOUNDRY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant