CN110956092B - 一种基于深度学习的智能金相检测评级方法及系统 - Google Patents

一种基于深度学习的智能金相检测评级方法及系统 Download PDF

Info

Publication number
CN110956092B
CN110956092B CN201911076264.4A CN201911076264A CN110956092B CN 110956092 B CN110956092 B CN 110956092B CN 201911076264 A CN201911076264 A CN 201911076264A CN 110956092 B CN110956092 B CN 110956092B
Authority
CN
China
Prior art keywords
image
neural network
layer
metallographic
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911076264.4A
Other languages
English (en)
Other versions
CN110956092A (zh
Inventor
许桢英
包金叶
张奕坚
武子乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201911076264.4A priority Critical patent/CN110956092B/zh
Publication of CN110956092A publication Critical patent/CN110956092A/zh
Application granted granted Critical
Publication of CN110956092B publication Critical patent/CN110956092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的智能金相检测评级方法及系统，包括以下步骤：采集金属样片图像；在U‑net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络的构建；通过改进的全卷积神经网络对所采集的金属样片图像进行自动分割，得到金相分割图；通过深度神经网络对得到的金相分割图进行自动评级分类；本发明采用深度学习的算法，在U‑net全卷积神经网络的基础上进行改进，避免了传统图像手工提取特征的繁琐和不稳定，同时基于梯度下降法的参数优化提高了提取特征适用性；本发明基于深度神经网络，大大提高了系统计算时间，避免了繁琐的分类计算；本发明分割和分类正确率高、且一键融合分割和评级，避免了传统方法的多步骤操作，灵活便捷。

Description

一种基于深度学习的智能金相检测评级方法及系统
技术领域
本发明属于视觉测量检测技术领域，具体涉及一种基于深度学习的智能金相检测评级方法及系统。
背景技术
现代工业社会在各行各业对于金属原材料的质量要求越来越高，原材料的品级不良会带来各种各样的安全隐患，比如常见的汽车的断轴，金属成品的腐蚀锈蚀等等，为了对金属原材料的品级的分类，在出厂前会对金属原材料进行抽样，然后评级，晶粒度是一个重要的评判标准，单位面积内金属颗粒越多的话，意味着金属性能越好，传统的人工评级受到各个因素的干扰，无法快速准确的对金属原材料进行评级，随着数字图像处理处理技术的发展，图像处理这一技术越来越多的被运用在金属金相评级上。
目前市面上关于金相评级的设备和系统还很少，而且大部分需要对金相原图像先做复杂的预处理，然后手工挑选特征，然后再分类评级，不仅耗时间，而且准确率得不到保证，并且大部分都只能针对特定的产品进行评级，不具有普适性和移植性。
发明内容
针对上述问题，本发明提供一种基于深度学习的智能金相检测评级方法及系统，采用深度学习的算法，在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络，避免了传统图像手工提取特征的繁琐和不稳定，同时基于梯度下降法的参数优化提高了提取特征适用性；本发明基于深度神经网络，大大提高了系统计算时间，避免了繁琐的分类计算；本发明分割和分类正确率高、且一键融合分割和评级，避免了传统方法的多步骤操作，灵活便捷，具有广阔的市场前景。
本发明解决其技术问题所采用的技术方案是：一种基于深度学习的智能金相检测评级方法，其特征在于，包括以下步骤：
图像采集：采集金属样片图像；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络的构建；
图像分割：通过改进的全卷积神经网络对所采集的金属样片图像进行自动分割，得到金相分割图；
图像分类：通过深度神经网络对得到的金相分割图进行自动评级分类；
结果显示：将分割和评级分类的结果显示。
上述方案中，所述图像采集具体为：
采集金属样片图像将模拟信号图像转换为RGB三通道的彩色图像。
上述方案中，所述构建改进的全卷积神经网络包括以下步骤：
制作训练数据集：先用标准图片与其相对应的标准金相分割图制作训练数据集；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上，将下采样的所有maxpool层修改为自适应的mixpool，第一层为3*3*64和3*3*64的卷积层，然后通过自适应下采样层的融合最大池化和平均池化参数来保存边缘信息，所述自适应下采样层公式为mix(x)＝αmax(x)+(1-α)avg(x)
X代表的是输入信息，α为取值在0-1之间的自适应参数，第二层是两个3*3*128卷积层，然后再经过自适应下采样降维，第三层是两个3*3*256卷积层，然后经过自适应下采样降维，第四层是两个3*3*512卷积层，再经过自适应下采样降维，得到32*32*512的特征图，再经过3*3*1024卷积层拓展成32*32*1024,经过第六层的一个上采样层和两个512*3*3的卷积层，第七层的一个上采样层和两个256*3*3的卷积层，第八层的一个上采样层和两个128*3*3的卷积层，第九层的一个上采样层和两个64*3*3的卷积层，最后得到最终的512*512的原始分割图，完成改进的全卷积神经网络的构建；
改进的全卷积神经网络的训练：通过改进的全卷积神经网络，将输入的原始灰度图进行前向传播，然后与标准图片相对比，通过梯度下降法优化参数，然后得到最终所有卷积层的卷积核参数，完成改进的全卷积神经网络的训练。
进一步的，所述改进的全卷积神经网络从输入到输出依次是卷据层cov1_1、卷积层cov1_2、混合池化层、卷积层cov2_1、卷积层cov2_2、混合池化层、卷积层cov3_1、卷积层cov3_2、混合池化层、卷积层cov4_1、卷积层cov4_2、混合池化层、卷积层cov5_1、上采样contact、卷积层cov6_1、卷积层cov6_2、上采样contact、卷积层cov7_1、卷积层cov7_2、上采样add、卷积层cov8_1、卷积层cov8_2、上采样add、卷积层cov9_1和卷积层cov9_2。
上述方案中，所述图像分割具体包括以下步骤：
图像转换：将采集到的金属样片图像的RGB三通道图像转换为单通道的灰度图像；
中值滤波：将得到的灰度图像进行中值滤波；
基于改进的全卷积神经网络的图像分割：将中值滤波后的灰度图像送入改进后的U-net全卷积神经网络，得到粗糙的金相分割图；
组合形态学运算：对得到的粗糙的金相分割图，进行灰度开运算和灰度腐蚀操作，然后进行减运算，得到增强过的金相分割图。
上述方案中，所述图像分类具体包括以下步骤：
制作金相分割图的分类数据集；
用所述分类数据集训练一个深度神经网络，训练好的深度神经网络能够自动提取金相分割图的特征并进行分类；
将待分类的金相分割图送入训练好的深度神经网络中，通过前向传播，得到金相分割图的分类。
进一步的，所述深度神经网络为VGG分类网络。
进一步的，所述分类数据集包括1-8级的分类级别。
一种实现所述基于深度学习的智能金相检测评级方法的系统，包括图像采集模块、图像转换模块、图像处理模块和显示模块；
所述图像采集模块用于采集金属样片图像，并将金属样片图像传送到图像转换模块；
所述图像转换模块用于将采集金属样片图像的模拟信号图像转换为RGB三通道的彩色图像并传送到图像处理模块；
所述图像处理模块包括分割模块和分类模块；所述分割模块用于对接收到的金属样片图像进行转码操作得到灰度图，再通过改进的全卷积神经网络，得到粗糙的金相分割图，对所述粗糙的分割图进行组合形态学运算，得到增强过后的金相分割图；所述分类模块用于通过深度神经网络对得到的增强后的金相分割图进行自动评级分类，并将分割和评级结果传送到显示模块；
所述显示模块用于显示分割和评级结果。
进一步的，所述图像采集模块包括金相显微镜和图像传出模块，金相显微镜和图像传出模块连接；
所述图像转换模块和图像处理模块为PC机；
所述显示模块为LCD显示屏；
所述PC机分别与图像传出模块和LCD显示屏连接。
与现有技术相比，本发明的有益效果是：本发明采用深度学习的算法，在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络，避免了传统图像手工提取特征的繁琐和不稳定，同时基于梯度下降法的参数优化提高了提取特征适用性；本发明基于深度神经网络，大大提高了系统计算时间，避免了繁琐的分类计算；本发明一键融合分割和评级，避免了传统方法的多步骤操作，同时在20#碳钢金相金界分割的正确率上达到95％左右，改进后的全卷积神经网络对分割的正确率比没有改进前提升大概在2％左右，且高于目前市面系统正确率约70％左右的分割算法，在金相等级评级的正确率上达到91％左右。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一较佳实施方式所述的基于深度学习的智能金相检测评级方法和系统的智能金相评级图；
图2是本发明一较佳实施方式的检测示例图，其中(a)为原始灰度图，(b)为粗糙的金相分割图，(c)为增强过的金相分割图；
图3是本发明一较佳实施方式的算法流程图；
图4是本发明一较佳实施方式的改进的全卷积神经网络结构立体图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1所示为本发明所述基于深度学习的智能金相检测评级方法的一种较佳的实施方式，所述基于深度学习的智能金相检测评级方法，包括以下步骤：
图像采集：采集金属样片图像；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络的构建；
图像分割：通过改进的全卷积神经网络对所采集的金属样片图像进行自动分割，得到金相分割图；
图像分类：通过深度神经网络对得到的金相分割图进行自动评级分类；
结果显示：将分割和评级分类的结果显示。
所述图像采集具体为：
采集金属样片图像将模拟信号图像转换为RGB三通道的彩色图像。
所述构建改进的全卷积神经网络包括以下步骤：
制作训练数据集：先用标准图片与其相对应的标准金相分割图制作训练数据集；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上，将下采样的所有maxpool层修改为自适应的mixpool，第一层为3*3*64和3*3*64的卷积层，然后通过自适应下采样层的融合最大池化和平均池化参数来保存边缘信息，所述自适应下采样层公式为mix(x)＝αmax(x)+(1-α)avg(x)
X代表的是输入信息，α为取值在0-1之间的自适应参数，第二层是两个3*3*128卷积层，然后再经过自适应下采样降维，第三层是两个3*3*256卷积层，然后经过自适应下采样降维，第四层是两个3*3*512卷积层，再经过自适应下采样降维，得到32*32*512的特征图，再经过3*3*1024卷积层拓展成32*32*1024,经过第六层的一个上采样层和两个512*3*3的卷积层，第七层的一个上采样层和两个256*3*3的卷积层，第八层的一个上采样层和两个128*3*3的卷积层，第九层的一个上采样层和两个64*3*3的卷积层，最后得到最终的512*512的原始分割图，完成改进的全卷积神经网络的构建；
改进的全卷积神经网络的训练：通过改进的全卷积神经网络，将输入的原始灰度图进行前向传播，然后与标准图片相对比，通过梯度下降法优化参数，然后得到最终所有卷积层的卷积核参数，完成改进的全卷积神经网络的训练。
所述改进的全卷积神经网络从输入到输出依次是卷据层cov1_1、卷积层cov1_2、混合池化层、卷积层cov2_1、卷积层cov2_2、混合池化层、卷积层cov3_1、卷积层cov3_2、混合池化层、卷积层cov4_1、卷积层cov4_2、混合池化层、卷积层cov5_1、上采样contact、卷积层cov6_1、卷积层cov6_2、上采样contact、卷积层cov7_1、卷积层cov7_2、上采样add、卷积层cov8_1、卷积层cov8_2、上采样add、卷积层cov9_1和卷积层cov9_2。
所述图像分割具体包括以下步骤：
图像转换：将采集到的金属样片图像的RGB三通道图像转换为单通道的灰度图像；
中值滤波：将得到的灰度图像进行中值滤波；
基于改进的全卷积神经网络的图像分割：将中值滤波后的灰度图像送入改进后的U-net全卷积神经网络，得到粗糙的金相分割图；
组合形态学运算：对得到的粗糙的金相分割图，进行灰度开运算和灰度腐蚀操作，然后进行减运算，得到增强过的金相分割图。
所述图像分类具体包括以下步骤：
制作金相分割图的分类数据集；
用所述分类数据集训练一个深度神经网络，训练好的深度神经网络能够自动提取金相分割图的特征并进行分类；
将待分类的金相分割图送入训练好的深度神经网络中，通过前向传播，得到金相分割图的分类。
所述深度神经网络为VGG分类网络。
所述分类数据集包括1-8级的分类级别，级别的分类根据国家标准GB/T6394-2002金属平均晶粒度测定方法。
如图1所示，一种实现所述基于深度学习的智能金相检测评级方法的系统，包括图像采集模块、图像转换模块、图像处理模块和显示模块；所述图像采集模块用于采集制备和打磨好的金属样片图像，并将金属样片图像传送到图像转换模块；所述图像转换模块用于将采集金属样片图像的模拟信号图像转换为RGB三通道的彩色图像并传送到图像处理模块；所述图像处理模块用于对采集的金相图片进行金属晶界的分割和金相分类评级，包括分割模块和分类模块；所述分割模块用于对接收到的金属样片图像进行转码操作得到灰度图，再通过改进的全卷积神经网络，得到粗糙的金相分割图，对所述粗糙的分割图进行组合形态学运算，得到增强过后的金相分割图；所述分类模块用于通过深度神经网络对得到的增强后的金相分割图进行自动评级分类，并将分割和评级结果传送到显示模块；所述显示模块用于实时显示分割和评级结果。
所述图像采集模块包括金相显微镜和图像传出模块，金相显微镜和图像传出模块连接；所述图像转换模块和图像处理模块为PC机；所述显示模块为LCD显示屏；所述PC机分别与图像传出模块和LCD显示屏连接。
所述金相显微镜优选用的南京崛宇精密仪器有限公司研制的IM300倒置金相显微镜，该金相显微镜的观察方式具备明场和偏光两种，该显微镜的目镜是高眼点大视野平场目镜PL10X/18mm,物镜是长工作距平场消色差专业金相物镜5X，10X，20X，50X，观察头是三目观察头，载物台是三层机械移动平台，面积是180mm*155mm,行程75mm*40mm,焦距的调节是粗动每转行程38mm；微调精度2um；带松紧调机构，该显微镜用的是JY-1000型相机，传感器尺寸：1/2.3，最大分辨率：3664*2748，帧率3.9fps；图像传出模块即金相显微镜通过总线连接到PC机，PC机获取到传感器采集到的模拟信号图像，经过图像采集软件转换成常见的图片保存格式。
所述图像处理模块用于图像转换、中值滤波、图像分割、图像增强和分类：
图像转换：当金相显微镜采集到的切割好的金属样片的图像后进行转码操作，将生成的RGB三通道图像转换为单通道的灰度图如图2(a)，转换比例为g＝0.299r+0.578g+0.144b；
中值滤波：对转码操作后得到的灰度图像进行中值滤波，以减弱图像在采集或传输过程中产生的噪声；
基于改进的全卷积神经网络的图像分割：将平滑过后的灰度图送入已经学习好的改进的全神经网络，得到粗糙的分割图如图2(b)；
组合形态学：对粗糙的分割图，进行灰度开操作和灰度腐蚀操作，然后进行减运算，得到增强过后比较完整的分割图如图2(c)；
图像分类：对增强过后的分割图进行分类操作，共分1-8级，因为分割后的金相图的特征点提取并不明确，所以选用深度神经网络进行分类操作。
所述基于改进的全卷积神经网络的图像分割具体包括以下步骤：
先用标准图片与其相对应的标准金相分割图制作数据集，通过TF工具压缩打包数据集。
如图3和4所示，构建改进的全卷积神经网络，在U-net全卷积神经网络的基础上，将下采样的所有maxpool层修改为自适应的mixpool，第一层为3*3*64和3*3*64的卷积层，保留一部分参数，然后通过自适应下采样层，该下采样通过融合最大池化和平均池化参数来尽可能的保存边缘信息，公式为mix(x)＝αmax(x)+(1-α)avg(x)
X代表的是输入信息，目标像素3领域范围像素值，α为取值在0-1之间的自适应参数，根据目标像素周边3领域像素值与卷积核的卷积值和周边像素值的比率确定α；第二层是两个3*3*128卷积层，然后再经过下采样降维，第三层是两个3*3*256卷积层，然后经过下采样降维，第四层是两个3*3*512卷积层，再经过下采样降维，得到32*32*512的特征图，再经过3*3*1024卷积层拓展成32*32*1024,经过第六层的一个上采样层和两个512*3*3的卷积层，第七层的一个上采样层和两个256*3*3的卷积层，第八层的一个上采样层和两个128*3*3的卷积层，第九层的一个上采样层和两个64*3*3的卷积层，最后得到最终的512*512的原始分割图，完成改进的全卷积神经网络的构建；每次下采样前保留一部分原始信息，原始图片从512*512降维到32*32，之后进行上采样将图片回复到512*512，在每一次恢复的操作在加入之前对应下采样层的保留信息，已达到丰富特征的目的。最下面两层是通过叠加通道的方法，最上面两层是通过通道相加的方法来扩展特征。
改进的全卷积神经网络的训练：通过改进的全卷积神经网络，将输入的原始灰度图进行前向传播，然后与标准图片相对比，通过梯度下降法优化参数，然后得到最终所有卷积层的卷积核参数，完成改进的全卷积神经网络的训练；表1所示为改进的全卷积神经网络的输入和输出。
将待分割图片送入训练好的改进的全卷积神经网络中前向传播后得到原始分割图，然后对该图像进行灰度形态学操作和逻辑运算图像增强，得到最终金相分割图。
表1改进的全卷积神经网络的输入和输出
Figure BDA0002262541630000071
Figure BDA0002262541630000081
所述图像分类具体包括以下步骤：
将1-8级不同分类的金相分割图放入不同文件夹，然后通过旋转，位移等不同操作，拓展金相库，制作分类数据集；
用所述分类数据集训练一个VGG分类网络，训练好的VGG分类网络是一个自动提取特征和分类的工具；
将待分类的金相分割图送入VGG分类网络中，通过前向传播，能准确得到该金相的准确分类。
通过本发明所述方法和系统得到20#碳钢金相金界分割的正确率上达到95％左右，评判的标准是通过逐个对比像素值，若预测正确则记1，若错误则记0，统计预测正确个数与总像素个数比值得到正确率。改进后的全卷积神经网络对分割的正确率提升大概在2％左右，如下表2所示。
表2分割的正确率对比
Figure BDA0002262541630000082
在金相等级评级的正确率上达到91％左右，通过评级等级与标准等级对应的次数与总的次数对比的比例得到正确率。改进后的全卷积神经网络对分类的正确率提升大概在3％左右，如下表3所示。
表3分类正确率对比
Figure BDA0002262541630000091
综上可以看出，本发明采用深度学习的算法，在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络，避免了传统图像手工提取特征的繁琐和不稳定，同时基于梯度下降法的参数优化提高了提取特征适用性；本发明基于深度神经网络，大大提高了系统计算时间，避免了繁琐的分类计算；本发明一键融合分割和评级，避免了传统方法的多步骤操作，同时在20#碳钢金相金界分割的正确率上达到95％左右，改进后的全卷积神经网络对分割的正确率比没有改进前提升大概在2％左右，在金相等级评级的正确率上达到91％左右，改进后的全卷积神经网络比没有改进前对分类的正确率提升大概在3％左右，效果显著。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的智能金相检测评级方法，其特征在于，包括以下步骤：
图像采集：采集金属样片图像；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上进行改进，得到改进后的全卷积神经网络的构建，
所述构建改进的全卷积神经网络包括以下步骤：
制作训练数据集：先用标准图片与其相对应的标准金相分割图制作训练数据集；
构建改进的全卷积神经网络：在U-net全卷积神经网络的基础上，将下采样的所有maxpool层修改为自适应的mixpool，第一层为3*3*64和3*3*64的卷积层，然后通过自适应下采样层的融合最大池化和平均池化参数来保存边缘信息，所述自适应下采样层公式为
mix(x)＝αmax(x)+(1-α)avg(x)
X代表的是输入信息，α为取值在0-1之间的自适应参数，第二层是两个3*3*128卷积层，然后再经过自适应下采样降维，第三层是两个3*3*256卷积层，然后经过自适应下采样降维，第四层是两个3*3*512卷积层，再经过自适应下采样降维，得到32*32*512的特征图，再经过3*3*1024卷积层拓展成32*32*1024,经过第六层的一个上采样层和两个512*3*3的卷积层，第七层的一个上采样层和两个256*3*3的卷积层，第八层的一个上采样层和两个128*3*3的卷积层，第九层的一个上采样层和两个64*3*3的卷积层，最后得到最终的512*512的原始分割图，完成改进的全卷积神经网络的构建；
改进的全卷积神经网络的训练：通过改进的全卷积神经网络，将输入的原始灰度图进行前向传播，然后与标准图片相对比，通过梯度下降法优化参数，然后得到最终所有卷积层的卷积核参数，完成改进的全卷积神经网络的训练；
图像分割：通过改进的全卷积神经网络对所采集的金属样片图像进行自动分割，得到金相分割图；
图像分类：通过深度神经网络对得到的金相分割图进行自动评级分类；
结果显示：将分割和评级分类的结果显示。
2.根据权利要求1所述的基于深度学习的智能金相检测评级方法，其特征在于，所述图像采集具体为：
采集金属样片图像将模拟信号图像转换为RGB三通道的彩色图像。
3.根据权利要求1所述的基于深度学习的智能金相检测评级方法，其特征在于，所述改进的全卷积神经网络从输入到输出依次是卷据层cov1_1、卷积层cov1_2、混合池化层、卷积层cov2_1、卷积层cov2_2、混合池化层、卷积层cov3_1、卷积层cov3_2、混合池化层、卷积层cov4_1、卷积层cov4_2、混合池化层、卷积层cov5_1、上采样contact、卷积层cov6_1、卷积层cov6_2、上采样contact、卷积层cov7_1、卷积层cov7_2、上采样add、卷积层cov8_1、卷积层cov8_2、上采样add、卷积层cov9_1和卷积层cov9_2。
4.根据权利要求1所述的基于深度学习的智能金相检测评级方法，其特征在于，所述图像分割具体包括以下步骤：
图像转换：将采集到的金属样片图像的RGB三通道图像转换为单通道的灰度图像；
中值滤波：将得到的灰度图像进行中值滤波；
基于改进的全卷积神经网络的图像分割：将中值滤波后的灰度图像送入改进后的U-net全卷积神经网络，得到粗糙的金相分割图；
组合形态学运算：对得到的粗糙的金相分割图，进行灰度开运算和灰度腐蚀操作，然后进行减运算，得到增强过的金相分割图。
5.根据权利要求1所述的基于深度学习的智能金相检测评级方法，其特征在于，所述图像分类具体包括以下步骤：
制作金相分割图的分类数据集；
用所述分类数据集训练一个深度神经网络，训练好的深度神经网络能够自动提取金相分割图的特征并进行分类；
将待分类的金相分割图送入训练好的深度神经网络中，通过前向传播，得到金相分割图的分类。
6.根据权利要求5所述的基于深度学习的智能金相检测评级方法，其特征在于，所述深度神经网络为VGG分类网络。
7.根据权利要求5所述的基于深度学习的智能金相检测评级方法，其特征在于，所述分类数据集包括1-8级的分类级别。
8.一种实现权利要求1-7任意一项所述基于深度学习的智能金相检测评级方法的系统，其特征在于，包括图像采集模块、图像转换模块、图像处理模块和显示模块；
所述图像采集模块用于采集金属样片图像，并将金属样片图像传送到图像转换模块；
所述图像转换模块用于将采集金属样片图像的模拟信号图像转换为RGB三通道的彩色图像并传送到图像处理模块；
所述图像处理模块包括分割模块和分类模块；所述分割模块用于对接收到的金属样片图像进行转码操作得到灰度图，再通过改进的全卷积神经网络，得到粗糙的金相分割图，对所述粗糙的分割图进行组合形态学运算，得到增强过后的金相分割图；所述分类模块用于通过深度神经网络对得到的增强后的金相分割图进行自动评级分类，并将分割和评级结果传送到显示模块；
所述显示模块用于显示分割和评级结果。
9.根据权利要求8所述的基于深度学习的智能金相检测评级方法的系统，其特征在于，所述图像采集模块包括金相显微镜和图像传出模块，金相显微镜和图像传出模块连接；
所述图像转换模块和图像处理模块为PC机；
所述显示模块为LCD显示屏；
所述PC机分别与图像传出模块和LCD显示屏连接。
CN201911076264.4A 2019-11-06 2019-11-06 一种基于深度学习的智能金相检测评级方法及系统 Active CN110956092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076264.4A CN110956092B (zh) 2019-11-06 2019-11-06 一种基于深度学习的智能金相检测评级方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076264.4A CN110956092B (zh) 2019-11-06 2019-11-06 一种基于深度学习的智能金相检测评级方法及系统

Publications (2)

Publication Number Publication Date
CN110956092A CN110956092A (zh) 2020-04-03
CN110956092B true CN110956092B (zh) 2023-05-12

Family

ID=69976090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076264.4A Active CN110956092B (zh) 2019-11-06 2019-11-06 一种基于深度学习的智能金相检测评级方法及系统

Country Status (1)

Country Link
CN (1) CN110956092B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680696B (zh) * 2020-06-19 2023-06-30 广东韶钢松山股份有限公司 识别素材晶粒度的方法以及钢材晶粒度检测方法
CN112754511A (zh) * 2021-01-20 2021-05-07 武汉大学 一种基于深度学习的ct影像颅内血栓检测及性质分类方法
CN112819815A (zh) * 2021-02-25 2021-05-18 汇鸿智能科技(辽宁)有限公司 金相组织识别方法、装置、计算机设备及存储介质
CN113751920B (zh) * 2021-08-04 2022-07-22 华南理工大学 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法
CN113643265A (zh) * 2021-08-19 2021-11-12 深圳赛安特技术服务有限公司 基于人工智能的质量等级确定方法、装置、设备及介质
CN113793308A (zh) * 2021-08-25 2021-12-14 北京科技大学 一种基于神经网络的球团矿质量智能评级方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967695A (zh) * 2017-12-25 2018-04-27 北京航空航天大学 一种基于深度光流和形态学方法的运动目标检测方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967695A (zh) * 2017-12-25 2018-04-27 北京航空航天大学 一种基于深度光流和形态学方法的运动目标检测方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法

Also Published As

Publication number Publication date
CN110956092A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956092B (zh) 一种基于深度学习的智能金相检测评级方法及系统
CN111429403B (zh) 一种基于机器视觉的汽车齿轮成品缺陷检测方法
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
WO2021129569A1 (zh) 一种人体动作识别方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN111914843B (zh) 文字检测方法、系统、设备及存储介质
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
US20240007600A1 (en) Spatially Varying Reduction of Haze in Images
CN113850324B (zh) 一种基于Yolov4的多光谱目标检测方法
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN114742799A (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN110070122B (zh) 一种基于图像增强的卷积神经网络模糊图像分类方法
CN113222904B (zh) 改进PoolNet网络结构的混凝土路面裂缝检测方法
CN113313669B (zh) 一种地铁隧道表面病害图像顶层语义特征增强方法
Avinash et al. Color hand gesture segmentation for images with complex background
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant