CN116403212B - 基于改进U-net网络的金相图像的像素中小颗粒识别方法 - Google Patents

基于改进U-net网络的金相图像的像素中小颗粒识别方法 Download PDF

Info

Publication number
CN116403212B
CN116403212B CN202310552098.0A CN202310552098A CN116403212B CN 116403212 B CN116403212 B CN 116403212B CN 202310552098 A CN202310552098 A CN 202310552098A CN 116403212 B CN116403212 B CN 116403212B
Authority
CN
China
Prior art keywords
feature
feature map
residual block
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310552098.0A
Other languages
English (en)
Other versions
CN116403212A (zh
Inventor
燕并男
王聪慧
吕坤珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Shiyou University
Original Assignee
Xian Shiyou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Shiyou University filed Critical Xian Shiyou University
Priority to CN202310552098.0A priority Critical patent/CN116403212B/zh
Publication of CN116403212A publication Critical patent/CN116403212A/zh
Application granted granted Critical
Publication of CN116403212B publication Critical patent/CN116403212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于改进U‑net网络的金相图像的像素中小颗粒识别方法，该方法包括：对金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；对提取的多个初始特征图的特征进行第一特征分类操作得到融合特征图，对提取的融合特征图的特征进行第二特征分类操作得到第一拼接特征图；对第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对第二拼接特征图和多个初始特征图进行上采样操作得到最终特征图；对最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到待识别的金相图像中小颗粒的识别结果。本发明克服原始网络对金相显微组织分割精度的不足问题，提高金相图像中小颗粒识别的精度。

Description

基于改进U-net网络的金相图像的像素中小颗粒识别方法
技术领域
本发明涉及金相图像分割技术领域，特别是涉及基于改进U-net网络的金相图像的像素中小颗粒识别方法。
背景技术
微观组织分析是表征材料力学性能的关键，金相显微组织中不同相的比例决定了钢的性能。传统的图像处理方法很难对对比度低、边界模糊、结构复杂的金相图像进行精确分割，深度学习方法应用于微结构的图像分割中表现出了强大的性能。然而，由于金相显微组织存在对比度低、边缘信息不显著等特点，利用FCN做图像分割得到的结果还是不够精细，没有充分考虑像素与像素之间的关系，对图像中的细节不敏感，对细小相组织检测效果不佳并难以识别晶界附近和边界。U-Net采用解码器-编码器模型结构，前半部分进行特征提取，后半部分是上采样，其改进了FCN的缺陷，采用逐步上采样和特征拼接来修复物体的细节和空间维度，在分割效果上有不错的提升。但提取多尺度特征信息不足限制了模型对微小颗粒的像素分类，其次连续的下采样使特征图尺寸变小、分辨率降低，再进行下采样会丢失很多图像的空间细节信息、边缘特征以及上下文信息，虽然上采样可以恢复一些空间细节信息，但远远不够。以使得尤其是金相图像中微小颗粒的像素识别造成很大的精度不准确的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种基于改进U-net网络的金相图像的像素中小颗粒识别方法。解决U-Net算法提取多尺度特征信息不足以及连续的下采样使得特征分辨率降低，不能使得分割的像素中小颗粒分类识别的精度问题。
本发明的另一个目的在于提出一种基于改进U-net网络的金相图像的像素中小颗粒识别装置。
为达上述目的，本发明一方面提出一种基于改进U-net网络的金相图像的像素中小颗粒识别方法，包括：
将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；
利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
另外，根据本发明上述实施例的基于改进U-net网络的金相图像的像素中小颗粒识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；所述利用第一残差块对所述金相图像进行基于特征提取和最大池化操作的特征分类操作得到多个初始特征图，包括：
将所述待识别的金相图像输入至所述第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
将所述第一特征图输入至所述第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
将所述第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
将所述第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。
进一步地，在本发明的一个实施例中，所述利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图，包括：
将所述第四特征图输入至所述第一残差U型块进行特征提取得到局部特征和多尺度特征，对所述局部特征和多尺度特征进行融合连接得到融合特征图；其中，所述第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
将所述融合特征图输入至所述ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，所述ASPP采用空洞率为6、12、18、24的空洞卷积；
将所述第五特征图进行拼接得到第六特征图，并通过1*1卷积对所述第六特征图的通道数进行降低操作以得到所述第一拼接特征图。
进一步地，在本发明的一个实施例中，述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；所述通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图，包括：
将所述第二拼接特征图与所述第四特征图进行拼接得到的第七特征图输入至所述第五子残差块提取得到的特征进行上采样操作得到第八特征图；
将所述第八特征图与所述第三特征图拼接后的特征图输入至所述第六子残差块提取得到的特征进行上采样操作得到第九特征图；
将所述第九特征图与所述第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；
将所述第十特征图与所述第一特征图拼接后的特征图输入至所述第八子残差块提取得到所述最终特征图。
进一步地，在本发明的一个实施例中，对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果，包括：
通过1*1卷积对所述最终特征图的特征通道进行通道降低操作得到第十一特征图；
利用Sigmoid函数对所述第十一特征图的每个特征通道的像素逐次预测，以根据像素预测结果输出所述待识别的金相图像的图像识别结果；其中，所述图像识别结果，包括像素分割后的金相图像中的小颗粒图像的识别结果。
为达上述目的，本发明另一方面提出一种基于改进U-net网络的金相图像的像素中小颗粒识别装置，包括：
初始特征分类模块，用于将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
第一特征分类模块，用于利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；
第二特征分类模块，用于利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
像素分割识别模块，用于对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
本发明实施例的基于改进U-net网络的金相图像分割方法和装置，克服原始网络对金相显微组织分割精度的不足，以提升原始图像中的小颗粒识别精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于改进U-net网络的金相图像的像素中小颗粒识别方法的流程图；
图2是根据本发明实施例的改进U-Nett网络分割模型结构图；
图3是根据本发明实施例中步骤S1的子流程图；
图4是根据本发明实施例的Residual block残差块结构图；
图5是根据本发明实施例中步骤S2的子流程图；
图6是根据本发明实施例的RSU残差U型块的结构图；
图7是根据本发明实施例的ASPP空洞空间金字塔池化模块结构图；
图8是根据本发明实施例中步骤S3的子流程图；
图9是根据本发明实施例的基于改进U-net网络的金相图像的像素中小颗粒识别装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于改进U-net网络的金相图像的像素中小颗粒识别方法和装置。
图1是本发明实施例的基于改进U-net网络的金相图像的像素中小颗粒识别方法的流程图。
如图1所示，该方法包括但不限于以下步骤：
S1，将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
S2，利用第一残差U型块对提取的多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，第一特征分类操作，包括对提取的多个初始特征图的特征进行基于空间细节信息特征融合；第二特征分类操作，包括对提取的融合特征图的特征进行基于多尺度语义信息的特征拼接；
S3，利用第二残差U型块对第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对第二拼接特征图和多个初始特征图进行上采样操作得到最终特征图；其中，第三特征分类操作，包括对第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
S4，对最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到待识别的金相图像中小颗粒的识别结果。
具体地，如图2所示，本发明所述的改进U-Net网络分割模型结构由编码器和解码器两部分组成。编码器负责特征提取，解码器负责特征定位。整个架构由8个残差块(Residual block)、3个池化层、2个残差U型块(RSU)、1个空洞空间金字塔池化模块(ASPP)、3个上采样块组成。卷积核大小为3*3、采样大小为2*2、输入图像256*256*1，随着特征图像经过特征提取、下采样(最大池化)、上采样等一系列操作，得到大小为256*256*2的分割图像。ResU-Net网络加入了RSU和ASPP，层次更加深入，提取的特征更加丰富，训练参数更多，在一定程度上弥补了U-Net网络不够深，提取特征不足的问题，同时由于残差网络的特性，解决了随着深度增加深度卷积神经网络性能退化的问题。
进一步地，上述步骤S1中第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；如图3所示，为本发明实施例的步骤S1的具体流程子图，包括：
S11，将待识别的金相图像输入至第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
S12，将第一特征图输入至第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
S13，将第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
S14，将第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。
具体地，图4为本发明的残差块的结构图，本发明改进U-Net网络分割模型，采用ResNet网络中的残差块来替换原始U-Net网络的卷积层，如图4所示，并附加一个批归一化层(BN)和ReLU激活操作，控制参数数量，降低模型对初始化参数的敏感性，发挥正则化的效果并规避梯度消失问题。网络输入图像(大小为256*256*1)，利用残差块来提取特征，然后通过最大池化将特征图变小，图像输入第一个残差块再经最大池化操作后，特征图大小变为128*128*64，接着输入第二个残差块并经最大池化后，特征图大小变为64*64*128，再经第三个残差块、第三次最大池化后特征图为32*32*256，经过上述的三次最大池化操作，特征图尺寸变小、分辨率变低，所以经过第四个残差块特征提取后(特征图大小为32*32*512)，不再进行下采样。
进一步地，如图5所示，为本发明实施例的步骤S2的具体流程子图，包括：
S21，将第四特征图输入至第一残差U型块进行特征提取得到局部特征和多尺度特征，对局部特征和多尺度特征进行融合连接得到融合特征图；其中，第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
S22，将融合特征图输入至ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，ASPP采用空洞率为6、12、18、24的空洞卷积；
S23，将第五特征图进行拼接得到第六特征图，并通过1*1卷积对第六特征图的通道数进行降低操作以得到第一拼接特征图。
具体地，图6为本发明的残差U型块的结构图，如图6所示，将第四个残差块输出大小为32*32*512的特征图输入第一个残差U型块进行特征提取，残差U型块其采用3*3卷积以及空洞率为1、3、5、3、1的空洞卷积扩大特征感受野，学习提取和编码上下文信息，融合连接局部特征和多尺度特征，增强网络对空间细节信息的提取。同时，为了缓解多次下采样导致的分辨率下降问题，过渡层采用空洞空间金字塔池化模块(ASPP)，图7为本发明的ASPP空洞空间金字塔池化模块的结构图，如图7所示，将第一个残差U型块输出的32*32*512的特征图作为ASPP的输入，输入的特征图以并联的空洞率为6、12、18、24的空洞卷积进行特征提取，得到的结果拼接在一起，扩大通道数，再通过1*1卷积将通道数降低，以多个比例捕获图像的上下文信息，促进特征图中多尺度语义信息的提取。ASPP输出大小为32*32*512的特征图作为第二个残差U型块的输入，提取更加高效和抽象的特征图。
进一步地，上述步骤S3中，第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；如图8所示，为本发明实施例的步骤S3的具体流程子图，包括：
S31，将第二拼接特征图与第四特征图进行拼接得到的第七特征图输入至第五子残差块提取得到的特征进行上采样操作得到第八特征图；
S32，将第八特征图与第三特征图拼接后的特征图输入至第六子残差块提取得到的特征进行上采样操作得到第九特征图；
S33，将第九特征图与第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；
S34，将第十特征图与第一特征图拼接后的特征图输入至第八子残差块提取得到最终特征图。
具体地，解码器路径中，为了减少数据丢失，将第二个残差U型块获得的大小为32*32*512特征图与第四个残差块特征提取后得到大小为32*32*512的特征图拼接在一起，将拼接后大小为32*32*1024特征图像作为第五个残差块的输入，再将第五个残差块输出的特征图像进行上采样，上采样后的特征图像与第三个残差块特征提取得到特征图大小一致，将两者拼接得到64*64*512特征图作为第六个残差块的输入，第六个残差块提取特征后的特征图，经上采样与经第二个残差块的输出的特征图拼接，得到的128*128*256的特征图，将其作为第七个残差块的输入，再经上采样得到大小为256*256*64的特征图，让其与第一个残差块输出的特征图进行拼接，将拼接后256*256*128的特征图作为第八个残差块的输入。前四个残差块对输入图像进行浅层特征提取，后四个残差块对图像的深层特征进行提取，通过拼接操作，将图像高分辨的浅层特征和低分辨率的深层特征进行融合，增强特征的利用率，使特征图包含足够的空间细节信息，提高网络的特征提取能力和预测结果的准确性。
进一步地，将第八个残差块输出的大小为256*256*64的特征图像通过1*1卷积将特征通道降低，得到大小为256*256，通道数为2的特征图像，再利用Sigmoid函数对恢复后的特征图像每个特征通道的像素逐次产生了一个预测，输出最终的分割结果。
根据本发明实施例的基于改进U-net网络的金相图像的像素中小颗粒识别方法，采用ResNet网络中的残差模块来替换原始U-Net网络的卷积层，并附加一个批归一化层，控制参数数量，消除梯度消失的问题，促进更快的收敛，使得模型可以提取更多的特征信息。将底层的下采样和上采样去除，用残差U型块(RSU)替换最底层的普通卷积块，用经过权重层变换的局部特征替换原始特征，在保持分辨率不损失太多、保留图像的空间细节信息的情况下，提取丰富的局部特征和多尺度特征信息。将U-Net解码器和编码器中间的过渡层替换为空洞空间金字塔池化模块(ASPP)，采用不同采样率的多个并行空洞卷积构建不同感受野的卷积核，从而增强获取特征图的特征信息。通过残差块替换原始U-Net网络的卷积层、去除底层下采样、RSU替换普通卷积层以及ASPP替换过渡层的改进的U-Net网络模型，以克服原始网络对金相显微组织分割精度的不足，使得对金相图像的小颗粒的识别精度显著提升。
为了实现上述实施例，如图9所示，本实施例中还提供了基于改进U-net网络的金相图像的像素中小颗粒识别装置10，该装置10包括，初始特征分类模块100、第一特征分类模块200、第二特征分类模块300和像素分割识别模块400。
初始特征分类模块100，用于将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
第一特征分类模块200，用于利用第一残差U型块对提取的多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，第一特征分类操作，包括对提取的多个初始特征图的特征进行基于空间细节信息特征融合；第二特征分类操作，包括对提取的融合特征图的特征进行基于多尺度语义信息的特征拼接；
第二特征分类模块300，用于利用第二残差U型块对第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对第二拼接特征图和多个初始特征图进行上采样操作得到最终特征图；其中，第三特征分类操作，包括对第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
像素分割识别模块400，用于对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
进一步地，第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；上述初始特征分类模块100，还用于：
将待识别的金相图像输入至第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
将第一特征图输入至第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
将第二特征图输入至第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
将第三特征图输入至第四子残差块进行特征提取得到第四特征图。
进一步地，上述第一特征分类模块200，还用于：
将第四特征图输入至第一残差U型块进行特征提取得到局部特征和多尺度特征，对局部特征和多尺度特征进行融合连接得到融合特征图；其中，第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
将融合特征图输入至ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，ASPP采用空洞率为6、12、18、24的空洞卷积；
将第五特征图进行拼接得到第六特征图，并通过1*1卷积对第六特征图的通道数进行降低操作以得到第一拼接特征图。
进一步地，上述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；上述第二特征分类模块300，还用于：
将第二拼接特征图与第四特征图进行拼接得到的第七特征图输入至第五子残差块提取得到的特征进行上采样操作得到第八特征图；
将第八特征图与第三特征图拼接后的特征图输入至第六子残差块提取得到的特征进行上采样操作得到第九特征图；
将第九特征图与第二特征图拼接后的特征图输入至第七子残差块提取得到的特征进行上采样操作得到第十特征图；
将第十特征图与第一特征图拼接后的特征图输入至第八子残差块提取得到最终特征图。
进一步地，上述像素分割识别模块400，还用于：
通过1*1卷积对最终特征图的特征通道进行通道降低操作得到第十一特征图；
利用Sigmoid函数对第十一特征图的每个特征通道的像素逐次预测，以根据像素预测结果输出待识别的金相图像的图像识别结果；其中，图像识别结果，包括像素分割后的金相图像中的小颗粒图像的识别结果。
根据本发明实施例的基于改进U-net网络的金相图像的像素中小颗粒识别装置，采用ResNet网络中的残差模块来替换原始U-Net网络的卷积层，并附加一个批归一化层，控制参数数量，消除梯度消失的问题，促进更快的收敛，使得模型可以提取更多的特征信息。将底层的下采样和上采样去除，用残差U型块(RSU)替换最底层的普通卷积块，用经过权重层变换的局部特征替换原始特征，在保持分辨率不损失太多、保留图像的空间细节信息的情况下，提取丰富的局部特征和多尺度特征信息。将U-Net解码器和编码器中间的过渡层替换为空洞空间金字塔池化模块(ASPP)，采用不同采样率的多个并行空洞卷积构建不同感受野的卷积核，从而增强获取特征图的特征信息。通过残差块替换原始U-Net网络的卷积层、去除底层下采样、RSU替换普通卷积层以及ASPP替换过渡层的改进的U-Net网络模型，以克服原始网络对金相显微组织分割精度的不足，使得对金相图像的小颗粒的识别精度显著提升。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (10)

1.一种基于改进U-net网络的金相图像的像素中小颗粒识别方法，其特征在于，包括以下步骤：
将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；
利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；所述利用第一残差块对所述金相图像进行基于特征提取和最大池化操作的特征分类操作得到多个初始特征图，包括：
将所述待识别的金相图像输入至所述第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
将所述第一特征图输入至所述第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
将所述第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
将所述第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。
3.根据权利要求2所述的方法，其特征在于，所述利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图，包括：
将所述第四特征图输入至所述第一残差U型块进行特征提取得到局部特征和多尺度特征，对所述局部特征和多尺度特征进行融合连接得到融合特征图；其中，所述第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
将所述融合特征图输入至所述ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，所述ASPP采用空洞率为6、12、18、24的空洞卷积；
将所述第五特征图进行拼接得到第六特征图，并通过1*1卷积对所述第六特征图的通道数进行降低操作以得到所述第一拼接特征图。
4.根据权利要求3所述的方法，其特征在于，所述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；所述通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图，包括：
将所述第二拼接特征图与所述第四特征图进行拼接得到的第七特征图输入至所述第五子残差块提取得到的特征进行上采样操作得到第八特征图；
将所述第八特征图与所述第三特征图拼接后的特征图输入至所述第六子残差块提取得到的特征进行上采样操作得到第九特征图；
将所述第九特征图与所述第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；
将所述第十特征图与所述第一特征图拼接后的特征图输入至所述第八子残差块提取得到所述最终特征图。
5.根据权利要求4所述的方法，其特征在于，对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果，包括：
通过1*1卷积对所述最终特征图的特征通道进行通道降低操作得到第十一特征图；
利用Sigmoid函数对所述第十一特征图的每个特征通道的像素逐次预测，以根据像素预测结果输出所述待识别的金相图像的图像识别结果；其中，所述图像识别结果，包括像素分割后的金相图像中的小颗粒图像的识别结果。
6.一种基于改进U-net网络的金相图像的像素中小颗粒识别装置，其特征在于，包括：
初始特征分类模块，用于将待识别的金相图像输入至U-Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
第一特征分类模块，用于利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；
第二特征分类模块，用于利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
像素分割识别模块，用于对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
7.根据权利要求6所述的装置，其特征在于，所述第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；所述初始特征分类模块，还用于：
将所述待识别的金相图像输入至所述第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
将所述第一特征图输入至所述第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
将所述第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
将所述第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。
8.根据权利要求7所述的装置，其特征在于，所述第一特征分类模块，还用于：
将所述第四特征图输入至所述第一残差U型块进行特征提取得到局部特征和多尺度特征，对所述局部特征和多尺度特征进行融合连接得到融合特征图；其中，所述第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
将所述融合特征图输入至所述ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，所述ASPP采用空洞率为6、12、18、24的空洞卷积；
将所述第五特征图进行拼接得到第六特征图，并通过1*1卷积对所述第六特征图的通道数进行降低操作以得到所述第一拼接特征图。
9.根据权利要求8所述的装置，其特征在于，所述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；所述第二特征分类模块，还用于：
将所述第二拼接特征图与所述第四特征图进行拼接得到的第七特征图输入至所述第五子残差块提取得到的特征进行上采样操作得到第八特征图；
将所述第八特征图与所述第三特征图拼接后的特征图输入至所述第六子残差块提取得到的特征进行上采样操作得到第九特征图；
将所述第九特征图与所述第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；
将所述第十特征图与所述第一特征图拼接后的特征图输入至所述第八子残差块提取得到所述最终特征图。
10.根据权利要求9所述的装置，其特征在于，所述像素分割识别模块，还用于：
通过1*1卷积对所述最终特征图的特征通道进行通道降低操作得到第十一特征图；
利用Sigmoid函数对所述第十一特征图的每个特征通道的像素逐次预测，以根据像素预测结果输出所述待识别的金相图像的图像识别结果；其中，所述图像识别结果，包括像素分割后的金相图像中的小颗粒图像的识别结果。
CN202310552098.0A 2023-05-16 2023-05-16 基于改进U-net网络的金相图像的像素中小颗粒识别方法 Active CN116403212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552098.0A CN116403212B (zh) 2023-05-16 2023-05-16 基于改进U-net网络的金相图像的像素中小颗粒识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552098.0A CN116403212B (zh) 2023-05-16 2023-05-16 基于改进U-net网络的金相图像的像素中小颗粒识别方法

Publications (2)

Publication Number Publication Date
CN116403212A CN116403212A (zh) 2023-07-07
CN116403212B true CN116403212B (zh) 2024-02-02

Family

ID=87020036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552098.0A Active CN116403212B (zh) 2023-05-16 2023-05-16 基于改进U-net网络的金相图像的像素中小颗粒识别方法

Country Status (1)

Country Link
CN (1) CN116403212B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118275309B (zh) * 2024-05-29 2024-08-06 中国环境科学研究院 工业排放烟气中可凝结颗粒物的在线监测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010105528A1 (zh) * 2009-03-19 2010-09-23 华为技术有限公司 在线计费方法、装置和系统
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法
CN113935989A (zh) * 2021-11-23 2022-01-14 沈阳建筑大学 基于深度学习的金属材料断口疲劳条带识别与分割方法
CN114283158A (zh) * 2021-12-08 2022-04-05 重庆邮电大学 一种视网膜血管图像分割方法、装置及计算机设备
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN114841972A (zh) * 2022-05-09 2022-08-02 浙江大学 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN115424016A (zh) * 2022-08-22 2022-12-02 池州学院 一种高压输电线识别方法
CN115482463A (zh) * 2022-09-01 2022-12-16 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010105528A1 (zh) * 2009-03-19 2010-09-23 华为技术有限公司 在线计费方法、装置和系统
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法
CN113935989A (zh) * 2021-11-23 2022-01-14 沈阳建筑大学 基于深度学习的金属材料断口疲劳条带识别与分割方法
CN114283158A (zh) * 2021-12-08 2022-04-05 重庆邮电大学 一种视网膜血管图像分割方法、装置及计算机设备
CN114841972A (zh) * 2022-05-09 2022-08-02 浙江大学 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN115424016A (zh) * 2022-08-22 2022-12-02 池州学院 一种高压输电线识别方法
CN115482463A (zh) * 2022-09-01 2022-12-16 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于证件照人像分割与应用系统开发;车飞;硕士电子期刊(第02期);全文 *

Also Published As

Publication number Publication date
CN116403212A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111126453A (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN112927253B (zh) 基于卷积神经网络的岩心fib-sem图像分割方法
CN116403212B (zh) 基于改进U-net网络的金相图像的像素中小颗粒识别方法
CN111696110A (zh) 场景分割方法及系统
CN111723841A (zh) 文本检测方法、装置、电子设备及存储介质
CN115359370B (zh) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN114742799A (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN115439493A (zh) 一种乳腺组织切片癌变区域分割方法及装置
CN117409412A (zh) 一种基于细节增强的双分辨率实时语义分割方法
CN116030342A (zh) 绿化植物缺水状态检测的方法、装置、设备及存储介质
CN117409208B (zh) 一种实时服装图像语义分割方法及系统
CN114418987A (zh) 一种多阶段特征融合的视网膜血管分割方法及系统
CN117746130A (zh) 一种基于遥感影像点状语义标签的弱监督深度学习分类方法
CN117274355A (zh) 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法
CN117067112A (zh) 一种水切割机及其控制方法
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
CN114463187B (zh) 基于聚合边缘特征的图像语义分割方法及系统
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN112488115B (zh) 一种基于two-stream架构的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant