CN112862811A - 基于深度学习的材料显微图像缺陷识别方法、设备及装置 - Google Patents

基于深度学习的材料显微图像缺陷识别方法、设备及装置 Download PDF

Info

Publication number
CN112862811A
CN112862811A CN202110259892.7A CN202110259892A CN112862811A CN 112862811 A CN112862811 A CN 112862811A CN 202110259892 A CN202110259892 A CN 202110259892A CN 112862811 A CN112862811 A CN 112862811A
Authority
CN
China
Prior art keywords
defect
image
model
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110259892.7A
Other languages
English (en)
Other versions
CN112862811B (zh
Inventor
曹元成
徐佐
沙武鑫
朱志华
武汉琦
程丹芃
曹志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
CITIC Dicastal Co Ltd
Original Assignee
Huazhong University of Science and Technology
CITIC Dicastal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, CITIC Dicastal Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN202110259892.7A priority Critical patent/CN112862811B/zh
Publication of CN112862811A publication Critical patent/CN112862811A/zh
Application granted granted Critical
Publication of CN112862811B publication Critical patent/CN112862811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的材料显微图像缺陷识别方法、设备及装置。首先采用分类标记对获取的材料结构显微图像进行缺陷标注；然后利用仿射变换将样本图片集分割形成训练集；接着利用含有分类标注的训练集对预先构建的缺陷识别模型进行训练；最后利用训练好的缺陷识别模型对待识别缺陷样本进行缺陷检测，获得目标缺陷样本中的缺陷类别与位置。本发明采用分类标注的方法对缺陷图像进行标注，并综合卷积神经网络模型、区域生成模型和语义分割模型，从而实现高精度的图像分割和识别，提高缺陷识别的速度和精度，有助于推动合金工业的智能化进展，加速第四次工业革命在金属铸造行业的应用。

Description

基于深度学习的材料显微图像缺陷识别方法、设备及装置
技术领域
本发明涉及图像识别技术技术领域，尤其涉及一种基于深度学习的材料显微图像缺陷识别方法、设备及装置。
背景技术
合金产品已广泛应用于交通运输、航空航天、建筑制造等各个领域，在生产生活中的需求量巨大。虽然铝合金的制造加工工艺已经相当成熟，但是多变的使用和加工环境为合金的规模化制造带来了挑战。通过先进的表征手段探测铸造产品内部的状态和缺陷，并采取对应的调整措施，可以挽回大量的经济损失，并大大提高生产效率。因此，及时、准确并批量的分析出合金的内在状态并反馈给铸造工艺系统，对于现代智能制造来说至关重要。
由于合金的宏观力学性质在很大程度上取决于微观组织的组成和结构，因此常常采用显微谱图进行表征。金相图像分析是金属材料微观结构的重要工具。金相图像的自动化处理将为整个合金铸造行业带了巨大效益。幸运的是，先进的深度学习算法，超强并行计算架构和大量的训练数据在图像处理上获得了巨大的成功。这些方法可以巧妙地嫁接在显微金属图像的处理上，实现显微金属图像的自动处理、分类和定量统计，进一步加快金属铸造行业的智能化。然而，现有的图像处理方法对显微图像的识别精度和速度还有待提高。
有鉴于此，有必要设计一种改进的基于深度学习的材料显微图像缺陷识别方法，以解决上述问题。
发明内容
为了克服上述现有技术中精度低、速度慢等不足，本发明的目的在于提供一种基于深度学习的材料显微图像缺陷识别方法、设备及装置。
为实现上述发明目的，本发明提供了一种基于深度学习的材料显微图像缺陷识别方法，包括：
获取待识别图像；
将所述待识别图像分割成若干预设大小的图像子块，输入到预先训练好的缺陷识别模型，得到待识别图像的缺陷信息；
其中，所述缺陷识别模型包括：
卷积神经网络模型，用于提取图像特征集合以及预测得分；
区域生成模型，用于确定缺陷位置信息；
和语义分割模型，用于确定缺陷类别信息。
作为本发明的进一步改进，所述缺陷识别模型的训练方法包括如下步骤：
S1.获取若干显微图像，并对所述显微图像的缺陷类别和缺陷位置进行分类标注；将含有一或多个缺陷的显微图像通过仿射变换分割成按预设权重配比的训练集；
S2.利用所述训练集对预配置权重的缺陷识别模型进行训练。
作为本发明的进一步改进，所述训练方法包括：
按显微图像缺陷信息分配训练集权重，将所述训练集输入构建的所述卷积神经网络模型；
使用预配置权重的缺陷识别模型进行权重迁移；
收集所述卷积神经网络模型最后一个卷积层输出的特征图，ROI Align层将多尺度特征图转化为相同尺寸，全连接层对特征图实现缺陷分类与回归，mask层实现语义分割。
作为本发明的进一步改进，所述缺陷识别模型训练采用的损失函数为：
L＝Lcls+Lbox+Lmask
式中，Lcls为分类损失，Lbox为框的回归损失，Lmask为掩码损失。
作为本发明的进一步改进，所述语义分割模型的损失函数为：
Figure BDA0002969499480000031
其中，M表示类别数量；yc是指示变量(0或1)，如果该类别和样本的类别相同就是1，否则是0；pc代表观测样本属于c类别的预测概率。
作为本发明的进一步改进，所述训练方法包括：
coco.h文件作为缺陷预设权重，利用随机高斯过程设置所述卷积神经网络模型的内参数；所述卷积神经网络模型接收上次训练返回的loss值对参数进行调整，将输入图像进行操作，提取出多组不同尺度的特征图；
所述多组不同尺度的特征图经ROI Align层调整为统一尺度的特征图，输入所述区域生成模型，判断缺陷位置信息；
最后，经所述语义分割模型判断缺陷类别信息，画出掩膜，输出图像，并与所述训练集的图像比较，计算出class、box、mask三种loss值，然后返回至所述卷积神经网络模型，重复上述步骤。
作为本发明的进一步改进，在步骤S1中，所述分类标注的方法为包围框标注；所述仿射变换是将图像边界进行灰度填充后，再进行旋转、缩放、翻转，以丰富图像集。
为实现上述发明目的，本发明还提供了一种基于深度学习的图像缺陷识别模型训练装置，其特征在于，包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行陷类型与缺陷位置的标注；
训练集生成模块，用于经仿射变换丰富图像集，将含有标注的显微图像分割成若干大小的图像子块，子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的缺陷识别模型进行训练，所述缺陷识别模型包括卷积神经网络模型、区域生成模型和语义分割模型；在所述训练过程中，所述卷积神经网络模型的输入为所述训练集，所述区域生成模型的输入为所述训练集以及所述卷积神经网络模型的输出，所述语义分割模型的输入为所述区域生成模型的输出。
为实现上述发明目的，本发明还提供了一种基于深度学习的显微图像缺陷识别装置，其特征在于，包括：
数据输入模块，用于获取待识别图像；
图像处理模块，用于将所述待识别图像分割成若干预设大小的图像子块，
缺陷识别模块，用于将所述图像子块输入训练好的缺陷识别模型中进行缺陷识别，获得所述待识别显微图像的缺陷类别以及缺陷位置信息。
为实现上述发明目的，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，执行权利要求1至6中任一项所述的基于深度学习的材料显微图像缺陷识别方法。
本发明的有益效果是：
1.本发明提供的基于深度学习的材料显微图像缺陷识别方法，首先采用分类标记对获取的材料结构显微图像进行缺陷标注；然后利用仿射变换将样本图片集分割形成训练集；接着利用含有分类标注的训练集对预先构建的缺陷识别模型进行训练；最后利用训练好的缺陷识别模型对待识别缺陷样本进行缺陷检测，获得目标缺陷样本中的缺陷类型与个数。与现有技术相比，本发明采用分类标注的方法对缺陷图像进行标注，从而实现高精度的实例分割，提高缺陷检测结果的准确性，推动合金工业的智能化进展，加速第四次工业革命在金属铸造行业的应用。
2.本发明提供的基于深度学习的材料显微图像缺陷识别方法，采用的缺陷识别模型包括卷积网络模型、区域生成模型和语义分割模型三个子模型。在模型训练过程中，卷积网络模型提取训练集中子图片的特征集合以及预测得分，区域生成模型以训练集和卷积网络模型为输入，不断调整预测框位置以确定缺陷位置信息，最后经语义分割模型对像素进行检测判断缺陷类型，得到正确语义分割信息。相比传统堆砌卷积层的网络模型，本发明通过特征金字塔融合了底层到高层的特征图，在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。本发明法显著降低模型复杂度及运算时间，提高了模型计算速度和预测精度。
附图说明
图1为实例中的材料显微图像缺陷位置以及预测框图标注结果。
图2为本发明材料显微图像缺陷识别模型的网络结构示意图。
图3为本发明材料显微图像缺陷识别模型的识别过程示意图。
图4为本发明材料显微图像缺陷识别模型的训练方法整体流程图。
图5为本发明材料显微图像缺陷识别模型的训练方法循环迭代流程图。
图6为本发明基于深度学习的材料显微图像缺陷识别模型训练框架的组成结构框图。
图7为本发明基于深度学习的材料显微图像缺陷识别模型的推理流程框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合具体实施例对本发明进行详细描述。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在具体实施例中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本发明提供的材料显微图像缺陷识别方法，可以应用如下应用环境中，应用环境中可以包括终端和服务器，终端通过网络与服务器进行通信。该方法既可以应用在终端，也可以应用于服务器。其中，终端可以但不限于是各种工业计算机、个人计算机、笔记本电脑、智能手机、平板电脑。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
请参阅图1至7所示，本发明提供的图像缺陷识别方法，是一种基于多任务学习和基于深度学习的材料显微图像缺陷识别方法，包括：
获取待识别图像；
将所述待识别图像分割成若干预设大小的图像子块，输入到预先训练好的缺陷识别模型，得到待识别图像的缺陷信息。所述缺陷信息包括缺陷类别信息和缺陷位置信息。类别包括合金制品的常见微观缺陷检测，包括夹渣，浇不足，缩松，缩孔等，位置信息包括图像相对位置信息与相对面积。
其中，所述缺陷识别模型包括：
卷积神经网络模型，用于提取图像特征集合以及预测得分；
区域生成模型，用于确定缺陷位置信息；
和语义分割模型，用于确定缺陷类别信息。
请参阅图4和5所示，所述缺陷识别模型的训练方法包括如下步骤：
S1.获取若干显微图像，并对所述显微图像的缺陷类别和缺陷位置进行分类标注；将含有一或多个缺陷的显微图像通过仿射变换分割成按预设权重配比的训练集。
显微图像为通过高倍率显微镜采集的材料结构样本的各个视野下的图像。
所述分类标注的方法优选为包围框标注。请参阅图1所示，红色区域标出了显微图像缺陷类型以及相对图片位置以及相对面积大小。
接着经仿射变换丰富图像集，将图片分为若干预设大小的图像子块，成为训练集；仿射变换是通过将图片边界进行灰度填充后，再进行旋转，缩放，翻转，丰富图片集的操作。
具体地，所述分类标注和仿射变换包括：
1、获取若干显微图像；
2、利用labelme对显微图像进行缺陷位置与类别标注；
3、将标注的缺陷位置与类别信息输出到json文件中；
在实际操作过程中，打开labelme，导入显微图像，在显微图像中手动标记缺陷位置与缺陷类别，同时，可以利用仿射变换丰富图片集内容，软件会自动记录每个缺陷的位置范围，并将位置信息保存在json文件中。在缺陷位置标注时，通过软件可设置缺陷对应的类别，同样保存在json文件中。
如此操作，本发明采用分类标注的方法对缺陷图像进行标注，从而实现高精度的实例分割，提高缺陷检测结果的准确性，推动合金工业的智能化进展，加速第四次工业革命在金属铸造行业的应用。
特别地，在一些实施方式中，对于步骤S1，在获取若干显微图像后，需先剔除空白图像后再进行标注。
S2.利用所述训练集对预配置权重的缺陷识别模型进行训练。
其中，利用所述训练集对预先构建的缺陷识别模型进行训练，所述缺陷识别模型包括卷积神经网络模型、区域生成模型和语义分割模型。在所述训练过程中，所述卷积神经网络模型的输入为所述训练集，所述区域生成模型的输入为所述训练集以及所述卷积神经网络模型的输出，所述语义分割模型的输入为所述卷积神经网络和区域生成模型的输出。具体地，按显微图像缺陷信息分配训练集权重，将所述训练集输入构建的所述卷积神经网络模型；使用预配置权重的缺陷识别模型进行权重迁移；收集所述卷积神经网络模型最后一个卷积层输出的特征图，ROI Align层将多尺度特征图转化为相同尺寸，全连接层对特征图实现缺陷分类与回归，mask层实现语义分割。
通过采用上述技术方案，本发明缺陷识别模型包括卷积网络模型、区域生成模型和语义分割模型三个子模型，在模型训练过程中，卷积网络模型提取训练集中子图片的特征集合以及预测得分，区域生成模型以训练集和卷积网络模型为输入，不断调整预测框位置以确定缺陷位置信息，最后经语义分割模型对像素进行检测判断缺陷类型，得到正确语义分割信息。相比传统堆砌卷积层的网络模型，本发明的方法显著降低模型复杂度及运算时间，提高了模型计算速度和预测精度。
更具体地，请参阅图5所示，所述训练方法包括：
coco.h文件作为缺陷预设权重，利用随机高斯过程设置所述卷积神经网络模型的内参数；所述卷积神经网络模型接收上次训练返回的loss值对参数进行调整，将输入图像进行操作，提取出多组不同尺度的特征图；其中，coco.h文件为模型预设的一个预权重，是通过训练coco图像获得的一个已经完成的参数集，以此参数集为基础能够更快更准确的训练出模型。
所述多组不同尺度的特征图经ROI Align层调整为统一尺度的特征图，输入所述区域生成模型，判断缺陷位置信息；
最后，经所述语义分割模型判断缺陷类别信息，画出掩膜，输出图像，并与所述训练集的图像比较，计算出class、box、mask三种loss值，然后返回至所述卷积神经网络模型，重复上述步骤。
其中，所述缺陷识别模型训练采用的损失函数为：
L＝Lcls+Lbox+Lmask
其中，Lcls为分类损失，Lbox为框的回归损失，Lmask为掩码损失。
Lcls：利用softmax函数对候选区域进行分类，得到框的类别k。分类损失Lcls计算如下：
Lcls(Pi，Pi *)＝-log[Pi*Pi *+(1-Pi *)(1-Pi)]
其中，i为框的索引，Pi为目标的预测概率。当框内有物体时，Pi *为1，否则为0。
Lbox：实为先验框(Px,Py,Pw,Ph)与实际框(Gx,Gy,Gw,Gh)的回归，使用SmoothL1Loss计算回归框Lbox的损失。其公式如下：
Figure BDA0002969499480000081
Figure BDA0002969499480000082
Figure BDA0002969499480000083
其中，ti为先验框(Px,Py,Pw,Ph)的坐标，为实际框(Gx,Gy,Gw,Gh)的坐标。x，y，w，h分别为框的中心坐标，长与宽。
Lmask：利用Lcls得到框的类别k，仅在k类别上计算误差。预测出二值掩膜后，对掩膜的每个像素点应用sigmoid函数，整体损失的计算使用平均二值交叉损失熵，公式如下：
Figure BDA0002969499480000091
式中，y为预测像素点，yi为真实像素点。
在一些实施方式中，对于步骤S2，利用训练集对预先构建的缺陷识别模型中的卷积神经网络模型进行训练，包括：
1、将训练集输入预先构建的卷积神经网络模型，设置模型预设系数；
2、卷积神经网络模型中每一卷积层提取出不同尺度的语义较强的特征图，特征金字塔融合四个卷积层的特征图；
3、利用随机高斯分布初始化卷积神经网络模型的所有权值，并利用训练集对卷积神经网络模型进行训练，获取卷积神经网络模型中最后一个卷积层输出的特征图。
请参阅图2所示，本发明卷积神经网络模型分为了5个层，每一层不同尺度的特征图都具有较强的语义信息。特征金字塔融合了底层到高层的特征图，在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。
全连接模块bbox和score实质上是一个回归子网络，bbox和score均包括2个卷积层，bbox和score中的第一个卷积层均用于对输入的特征图采用n n滑动窗口在该特征图上滑动扫描，将该特征图中的每个像素(每个滑窗位置)编码成一个低维的特征向量，输出的低维特征向量输入第二个卷积层；bbox和score中的第二个卷积层分别回归输出每个滑窗位置的多个参考包围框以及每个参考包围框的预测得分(预测得分表示参考包围框属于对应缺陷的概率)。
特别地，在一些实施方式中，所述卷积神经网络模型如图2中Resnet残差网络所示，依次包括5个阶段101个卷积层、2个并行的全连接模块(bbox和score)以及1个输出层。上述每个卷积层后均接有一个batchnorm层进行归一化，卷积层均用于对输入的特征图进行特征提取。其中一个全连接模块(bbox)中的第二卷积层用于对第一卷积层的输出进行回归并输出每个滑窗位置内多个参考包围框，另一个全连接模块(score)中的第二卷积层用于对第一卷积层的输出进行回归并输出每个参考包围框对应的预测得分(预测得分表示参考包围框属于对应缺陷的概率)。
本实施例中，利用均值为0和标准差为0.1的插值方式初始化卷积神经网络的所有权值，所有偏置最初设置为0.1，利用随机梯度下降法(SGM)对卷积神经网络权值进行学习，设定初始学习率为10-4。
在一些实施方式中，所述区域生成模型如图2中的RPN网络所示，包括5个卷积层、2个并行的全连接模块以及1个输出层，输出层后接1个RoI Align模块。
其中，前3个卷积层后面均连接1个共享最大池化层；每个子网络依次包括3个卷积层以及一个softmax层或者1个regression层。
利用训练集以及卷积神经网络模型的输出对预先构建的缺陷识别模型中的区域生成模型进行训练，包括：
1、由上述卷积神经网络模型输出后的结果得到缺陷的初步位置。
2、使用平移和缩放对应的线性回归方法对识别位置进行具体调整，将新得到的位置信息返回，判断是否超出原初步位置范畴。
3、设置重叠率阈值，计算所述卷积神经网络模型输出的预测细胞包围框与实际缺陷包围框的重叠率，将大于所述重叠率阈值的所述重叠率对应的预测缺陷包围框作为样本框；
所述重叠率阈值是指预测缺陷包围框与实际缺陷包围框的重叠率阈值。本实施例中，重叠率阈值为0.5。
特别地，对于每个样本框，首先进行二值分割掩码标注，具体为：使用插值方式将样本框裁剪为固定大小(例如，细胞包围框的大小为15*50，而二值分割掩码的固定大小为25*25，因此需要将15*50进行裁剪插值变成25*25大小)。然后将每个样本框内细胞边界外的区域作为背景。
4、返回重新平移或缩放，否则以新位置信息作为初步位置循环。
在另一些实施方式中，所述语义分割模型如图2和图3右下所示，依次包括1个feature map层，3个并行的全连接模块以及1个输出层。
利用所述区域生成模型的输出对预先构建的缺陷识别模型中的语义分割模型进行训练，包括：
通过RoI Align层对输入不同尺寸的特征图进行归一化调整；
采用梯度优化算法，利用分割掩码生成网络模型输出的二值分割掩码图对预先构建的语义分割模型进行训练，语义分割模型采用的损失函数为：
Figure BDA0002969499480000111
其中，M表示类别数量；yc是指示变量(0或1)，如果该类别和样本的类别相同就是1，否则是0；pc代表观测样本属于c类别的预测概率。
优选地，为解决缺陷图像样本不均衡问题，引入交叉熵权重解决样本不均衡的问题：
Figure BDA0002969499480000112
其中wc为每个类别的权重，其计算公式为：
Figure BDA0002969499480000113
式中，N表示总的像素个数，而Nc表示类别为c的像素个数。相比于原始的交叉熵Loss，在样本数量不均衡的情况下可以获得更好的效果。
请参阅图6所示，基于上述图像缺陷识别方法，本发明还提供一种基于深度学习的材料显微图像缺陷识别模型训练装置，包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行陷类型与缺陷位置的标注；
训练集生成模块，用于经仿射变换丰富图像集，将含有标注的显微图像分割成若干大小的图像子块，子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的缺陷识别模型进行训练，所述缺陷识别模型包括卷积神经网络模型、区域生成模型和语义分割模型；在所述训练过程中，所述卷积神经网络模型的输入为所述训练集，所述区域生成模型的输入为所述训练集以及所述卷积神经网络模型的输出，所述语义分割模型的输入为所述区域生成模型的输出。
请参阅图7所示，基于上述图像缺陷识别方法，本发明还提供基于深度学习的材料显微图像缺陷识别装置，包括：
数据输入模块，用于获取待识别图像；
图像处理模块，用于将所述待识别图像分割成若干预设大小的图像子块，
缺陷识别模块，用于将所述图像子块输入训练好的缺陷识别模型中进行缺陷识别，获得所述待识别显微图像的缺陷类别以及缺陷位置信息。
基于上述图像缺陷识别方法，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的材料显微图像缺陷识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像分割成若干预设大小的图像子块，输入到预先训练好的缺陷识别模型，得到待识别图像的缺陷信息；
其中，所述缺陷识别模型包括：
卷积神经网络模型，用于提取图像特征集合以及预测得分；
区域生成模型，用于确定缺陷位置信息；
和语义分割模型，用于确定缺陷类别信息。
2.根据权利要求1所述的基于深度学习的材料显微图像缺陷识别方法，其特征在于，所述缺陷识别模型的训练方法包括如下步骤：
S1.获取若干显微图像，并对所述显微图像的缺陷类别和缺陷位置进行分类标注；将含有一或多个缺陷的显微图像通过仿射变换分割成按预设权重配比的训练集；
S2.利用所述训练集对预配置权重的缺陷识别模型进行训练。
3.根据权利要求2所述的基于深度学习的图像缺陷识别方法，其特征在于，所述训练方法包括：
按显微图像缺陷信息分配训练集权重，将所述训练集输入构建的所述卷积神经网络模型；
使用预配置权重的缺陷识别模型进行权重迁移；
收集所述卷积神经网络模型最后一个卷积层输出的特征图，ROI Align层将多尺度特征图转化为相同尺寸，全连接层对特征图实现缺陷分类与回归，mask层实现语义分割。
4.根据权利要求3所述的基于深度学习的图像缺陷识别方法，其特征在于，所述缺陷识别模型训练采用的损失函数为：
L＝Lcls+Lbox+Lmask
式中，Lcls为分类损失，Lbox为框的回归损失，Lmask为掩码损失。
5.根据权利要求3所述的基于深度学习的图像缺陷识别方法，其特征在于，所述语义分割模型的损失函数为：
Figure FDA0002969499470000021
其中，M表示类别数量；yc是指示变量，如果该类别和样本的类别相同就是1，否则是0；pc代表观测样本属于c类别的预测概率。
6.根据权利要求4所述的基于深度学习的图像缺陷识别方法，其特征在于，所述训练方法包括：
coco.h文件作为缺陷预设权重，利用随机高斯过程设置所述卷积神经网络模型的内参数；所述卷积神经网络模型接收上次训练返回的loss值对参数进行调整，将输入图像进行操作，提取出多组不同尺度的特征图；
所述多组不同尺度的特征图经ROI Align层调整为统一尺度的特征图，输入所述区域生成模型，判断缺陷位置信息；
最后，经所述语义分割模型判断缺陷类别信息，画出掩膜，输出图像，并与所述训练集的图像比较，计算出class、box、mask三种loss值，然后返回至所述卷积神经网络模型，重复上述步骤。
7.根据权利要求2所述的基于深度学习的图像缺陷识别方法，其特征在于，在步骤S1中，所述分类标注的方法为包围框标注；所述仿射变换是将图像边界进行灰度填充后，再进行旋转、缩放、翻转，以丰富图像集。
8.一种基于深度学习的材料显微图像缺陷识别模型训练装置，其特征在于，包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行陷类型与缺陷位置的标注；
训练集生成模块，用于经仿射变换丰富图像集，将含有标注的显微图像分割成若干大小的图像子块，子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的缺陷识别模型进行训练，所述缺陷识别模型包括卷积神经网络模型、区域生成模型和语义分割模型；在所述训练过程中，所述卷积神经网络模型的输入为所述训练集，所述区域生成模型的输入为所述训练集以及所述卷积神经网络模型的输出，所述语义分割模型的输入为所述区域生成模型的输出。
9.一种基于深度学习的材料显微图像缺陷识别装置，其特征在于，包括：
数据输入模块，用于获取待识别图像；
图像处理模块，用于将所述待识别图像分割成若干预设大小的图像子块，
缺陷识别模块，用于将所述图像子块输入训练好的缺陷识别模型中进行缺陷识别，获得所述待识别显微图像的缺陷类别以及缺陷位置信息。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，执行权利要求1至7中任一项所述的基于深度学习的材料显微图像缺陷识别方法。
CN202110259892.7A 2021-03-10 2021-03-10 基于深度学习的材料显微图像缺陷识别方法、设备及装置 Active CN112862811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259892.7A CN112862811B (zh) 2021-03-10 2021-03-10 基于深度学习的材料显微图像缺陷识别方法、设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259892.7A CN112862811B (zh) 2021-03-10 2021-03-10 基于深度学习的材料显微图像缺陷识别方法、设备及装置

Publications (2)

Publication Number Publication Date
CN112862811A true CN112862811A (zh) 2021-05-28
CN112862811B CN112862811B (zh) 2023-06-13

Family

ID=75993849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259892.7A Active CN112862811B (zh) 2021-03-10 2021-03-10 基于深度学习的材料显微图像缺陷识别方法、设备及装置

Country Status (1)

Country Link
CN (1) CN112862811B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298168A (zh) * 2021-06-01 2021-08-24 中国地质大学（北京） 野外地质露头图像构造识别方法及系统
CN113378825A (zh) * 2021-07-09 2021-09-10 中海石油(中国)有限公司 一种基于人工智能的砂岩薄片图像鉴定方法和系统
CN113408662A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 图像识别、图像识别模型的训练方法和装置
CN113469177A (zh) * 2021-06-30 2021-10-01 河海大学 基于深度学习的排水管道缺陷检测方法及系统
CN113724231A (zh) * 2021-09-01 2021-11-30 广东工业大学 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN114782286A (zh) * 2022-06-21 2022-07-22 奥蒂玛光学科技（深圳）有限公司 缺陷修复方法、光学修复设备、电子设备及存储介质
CN115661140A (zh) * 2022-12-13 2023-01-31 深圳思谋信息科技有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN116363161A (zh) * 2023-06-02 2023-06-30 清华大学 一种水泥水化图像多类别分割方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993094A (zh) * 2019-03-26 2019-07-09 苏州富莱智能科技有限公司 基于机器视觉的材料缺陷智能检测系统及方法
CN110310262A (zh) * 2019-06-19 2019-10-08 上海理工大学 一种用于检测轮胎缺陷的方法、装置及系统
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置
CN112017154A (zh) * 2020-07-08 2020-12-01 林智聪 基于Mask R-CNN模型的一种射线缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993094A (zh) * 2019-03-26 2019-07-09 苏州富莱智能科技有限公司 基于机器视觉的材料缺陷智能检测系统及方法
CN110310262A (zh) * 2019-06-19 2019-10-08 上海理工大学 一种用于检测轮胎缺陷的方法、装置及系统
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置
CN112017154A (zh) * 2020-07-08 2020-12-01 林智聪 基于Mask R-CNN模型的一种射线缺陷检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298168A (zh) * 2021-06-01 2021-08-24 中国地质大学（北京） 野外地质露头图像构造识别方法及系统
CN113298168B (zh) * 2021-06-01 2023-11-24 中国地质大学（北京） 野外地质露头图像构造识别方法及系统
CN113469177A (zh) * 2021-06-30 2021-10-01 河海大学 基于深度学习的排水管道缺陷检测方法及系统
CN113469177B (zh) * 2021-06-30 2024-04-26 河海大学 基于深度学习的排水管道缺陷检测方法及系统
CN113378825A (zh) * 2021-07-09 2021-09-10 中海石油(中国)有限公司 一种基于人工智能的砂岩薄片图像鉴定方法和系统
CN113378825B (zh) * 2021-07-09 2024-04-05 中海石油(中国)有限公司 一种基于人工智能的砂岩薄片图像鉴定方法和系统
CN113408662A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 图像识别、图像识别模型的训练方法和装置
CN113724231A (zh) * 2021-09-01 2021-11-30 广东工业大学 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN113724231B (zh) * 2021-09-01 2023-12-29 广东工业大学 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN114782286A (zh) * 2022-06-21 2022-07-22 奥蒂玛光学科技（深圳）有限公司 缺陷修复方法、光学修复设备、电子设备及存储介质
CN115661140A (zh) * 2022-12-13 2023-01-31 深圳思谋信息科技有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN116363161A (zh) * 2023-06-02 2023-06-30 清华大学 一种水泥水化图像多类别分割方法和装置
CN116363161B (zh) * 2023-06-02 2023-08-01 清华大学 一种水泥水化图像多类别分割方法和装置

Also Published As

Publication number Publication date
CN112862811B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN112862811B (zh) 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112085735B (zh) 一种基于自适应锚框的铝材质图像缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111461134A (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN111027443B (zh) 一种基于多任务深度学习的票据文本检测方法
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111860171A (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN113591795A (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN114821014A (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
Gao et al. Traffic signal image detection technology based on YOLO
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN113408505B (zh) 一种基于深度学习的染色体极性识别方法和系统
CN113538342B (zh) 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN110163090B (zh) 一种基于多特征和尺度估计的pcb板标识跟踪方法
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN113033482B (zh) 一种基于区域注意力的交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant