CN112489039B - 基于深度学习的铝合金微米级第二相定量统计表征方法 - Google Patents

基于深度学习的铝合金微米级第二相定量统计表征方法 Download PDF

Info

Publication number
CN112489039B
CN112489039B CN202011500498.XA CN202011500498A CN112489039B CN 112489039 B CN112489039 B CN 112489039B CN 202011500498 A CN202011500498 A CN 202011500498A CN 112489039 B CN112489039 B CN 112489039B
Authority
CN
China
Prior art keywords
aluminum alloy
image
phase
micron
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011500498.XA
Other languages
English (en)
Other versions
CN112489039A (zh
Inventor
孙丹丹
韩冰
万卫浩
王海舟
赵雷
李冬玲
董彩常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Iron and Steel Research Institute
Original Assignee
Central Iron and Steel Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Iron and Steel Research Institute filed Critical Central Iron and Steel Research Institute
Priority to CN202011500498.XA priority Critical patent/CN112489039B/zh
Publication of CN112489039A publication Critical patent/CN112489039A/zh
Priority to US17/229,531 priority patent/US20230184703A1/en
Application granted granted Critical
Publication of CN112489039B publication Critical patent/CN112489039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/32—Polishing; Etching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/2202—Preparing specimens therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/418—Imaging electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种基于深度学习的铝合金微米级第二相定量统计表征方法，包括：获取标准试样的特征数据库，利用基于深度学习的图像分割网络U‑Net对特征数据库进行训练，得到U‑Net分割模型，选择最优精度对应参数建立U‑Net目标模型；将待测铝合金图像进行裁剪后输入到U‑Net目标模型中，通过连通区域算法获得第二相的尺寸、面积、位置信息，结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。本发明基于深度学习图像分割算法，对铝合金微米级第二相进行自动识别、提取，对提取后的特征进行定位和统计，具有视场大、信息全、准确可靠的特点。

Description

基于深度学习的铝合金微米级第二相定量统计表征方法
技术领域
本发明涉及铝合金中微米级第二相表征技术领域，特别是涉及一种基于深度学习的铝合金微米级第二相定量统计表征方法。
背景技术
铝合金中未熔或难熔的第二相粒子一般是在铸造时产生的，在后续的热处理和热变形中无法回熔。这些难熔的第二相在变形时会破碎并拉长，沿变形方向呈直线状排列，由短的互补相连的条状组成。这些粒子是硬而脆的，分布在晶粒内部或者晶界上，在塑性变形时在相界面上容易形成孔隙，产生微裂纹，显著降低材料的断裂韧性。此外，由于微米级第二相与基体间存在微区电化学的差异，容易发生点蚀、晶间腐蚀及应力腐蚀等局部腐蚀。这不仅降低了高强铝合金及其构件的可靠性，也显著缩短了材料的使用寿命。
目前，铝合金微米级第二相定量表征尚无统一的标准，现有方法多使用人工参与的软件标记，数据量通常为几十到几百张图像；从统计学角度来看，材料是非均匀的，几十到几百张的局部视场不能代表材料组织分布真实情况；另外，软件单张处理可以达到较高的精度，但需要人工参与的时间长，不适于处理大批量数据；软件批量处理可以实现快速处理大量图像，由于泛化能力问题，不能同时实现高精度。最后，目前铝合金中第二相定量表征参数较单一，仅为面积分数、个数等常用参数，缺乏精细的定量化空间与位置分布信息的表征。
随着科技的发展，深度学习具有强大的自适应、自学习以及并行处理能力被越来越多的应用于图像分割领域。高通量扫描电镜具有高效、快速的特点，可以在短时间内获取大尺寸全视场扫描图像，从而提供了一种有效的方式获取数据集，解决了数据集来源问题。将高通量图像数据采集方式与人工智能方法结合是目前材料表征的应用化趋势。因此，加强高通量扫描电镜以及深度学习算法在铝合金微米级第二相定量表征中的应用具有意义，也是一项重要的研究课题。
发明内容
本发明的目的是提供一种基于深度学习的铝合金微米级第二相定量统计表征方法，采用高通量图像数据采集方式和深度学习算法实现铝合金微米级第二相的自动识别，并结合数学方法挖掘第二相的多种表征参数，定量统计材料表面全视场及分区间分布差异，解决传统铝合金中第二相定量表征参数较单一的问题，具有视场大、信息全、准确可靠的特点。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的铝合金微米级第二相定量统计表征方法，该方法包括以下步骤：
a)选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像；
b)基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库；
c)利用基于深度学习的图像分割网络U-Net对特征数据库进行训练，得到U-Net分割模型；
d)将未经过训练的特征数据库中的原图输入到建立的U-Net分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证U-Net分割模型预测得到的二值图像的精度值，使用交并比IOU作为评估指标，评估分割模型分割精度，选择最优精度对应参数建立U-Net目标模型；
e)使用高通量扫描电镜对抛光后的待测铝合金表面进行显微组织连续自动采集，得到待测铝合金图像；
f)将步骤e采集得到的单张待测铝合金图像进行裁剪，将裁剪后的序列测试图像输入到步骤d建立的U-Net目标模型中，分割提取待测铝合金中的第二相，得到二值图像；
g)通过连通区域算法处理步骤f中获得的二值图像，得到一个完整的数据集，数据集中包含每个第二相的尺寸、面积、位置信息；
h)结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。
进一步的，所述步骤a中，选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像，具体包括：
打磨并抛光标准铝合金试样表面，采用机械抛光，抛光试剂采用SiO2研磨膏；
采用Navigator-OPA高通量全自动扫描电镜，采集抛光后标准铝合金试样表面的显微组织图像，得到微米级第二相图像。
进一步的，所述步骤b中，基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库，具体包括：
使用MIPAR图像处理软件对单张图像进行分割处理，所述分割处理包括中值滤波、阈值分割、形态学处理、筛除干扰四步，建立准确的分割模板；
将分割模板导入批处理区域，对数据集中的微米级第二相图像进行批量分割处理，然后进行单张人工筛选，将筛选后的特征数据集生成特征数据库。
进一步的，所述步骤c中，所述图像分割网络U-Net，其结构左侧为下采样层，由卷积层和池化层交替组合，激活函数使用ReLu，通过对输入的图像进行路径收缩，从而捕捉全局内容，右侧为上采样层，由卷积层和反卷积层交替组合，训练过程中对下采样层的特征图进行路径扩张，从而精确定位图像的每个像素。
进一步的，所述步骤e中，采用与标准铝合金试样相同的抛光和图像采集方法，对待测铝合金进行处理。
进一步的，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，任两张连续图像重叠区设置为0-10％。
进一步的，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入最近邻欧式距离参数，所述最近邻欧式距离表征两相邻不溶相在空间中的最小距离。
进一步的，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入长宽比参数，所述长宽比中长为费雷特直径，宽为像素面积与费雷特直径的比值。
进一步的，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，采集图像为4096*4096像素，且相邻图像之间无重叠区域。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法与现有技术比具有以下有益效果：
第一，现行的方法主要依靠人工视觉观察或者通过人工与图像处理软件结合的方式完成评估与定量统计，软件对单张图像处理可达到较高精度，但效率极低，软件批量处理，可实现快速统计，由于泛化能力太差，分割精度不够；本发明基于高通量扫描电镜，结合深度学习的图像分割提取算法与数学统计算法，建立的分割模型能自动、快速实现铝合金中微米级第二相的分割提取，提高图像处理效率；
第二，现行的第二相统计是对单一视场进行图像分析，观察的视场面积和显微组织数量有限，本发明通过大范围全视场全自动采集，获得面积超过100平方毫米的大尺度连续特征图谱，由于是对全视场图像进行统计分析，极大地消除了单一视场统计误差，因此，本发明具有统计的视场大、信息全的优点，统计的数据更为准确可靠；
第三，现行的深度学习方法制作标签时需要复杂的手工标志；本方法通过MIPAR软件处理单张图像获得准确的分割模板，在模板的基础上对图像进行批量处理，处理后结合人工单张筛选制作标签，该方法避免了复杂的手工标记，节省了人工时间；
第四，现行的第二相表征参数较单一，通过对大尺度图像特征的分割提取，可实现位置与空间信息的统计及全局与局部区域的定量分布统计等多种精细化表征结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习的铝合金微米级第二相定量统计表征方法的流程图；
图2(a)为本发明实施例的T4-6铝合金材料的微米级第二相图像；
图2(b)为本发明实施例的T4-15铝合金材料的微米级第二相图像；
图2(c)为本发明实施例的T5-10铝合金材料的微米级第二相图像；
图2(d)为本发明实施例的T5-15铝合金材料的微米级第二相图像；
图3为本发明实施例的图像分割网络U-Net；
图4为本发明实施例的图像分割细节展示；
图5(a)是以面积236μm2为统计单元，得到的T4-6第二相在50mm2范围内面积分布可视化图像；
图5(b)是以面积655μm2为统计单元，得到的T4-15第二相在120mm2范围内面积分布可视化图像；
图5(c)是以面积655μm2为统计单元，得到的T5-10第二相在70mm2范围内面积分布可视化图像；
图5(d)是以面积655μm2为统计单元，得到的T5-15第二相在110mm2范围内面积分布可视化图像；
图6(a)是以面积236μm2为统计单元，得到的T4-6第二相在50mm2范围内数量分布可视化图像；
图6(b)是以面积655μm2为统计单元，得到的T4-15第二相在120mm2范围内数量分布可视化图像；
图6(c)是以面积655μm2为统计单元，得到的T5-10第二相在70mm2范围内数量分布可视化图像；
图6(d)是以面积655μm2为统计单元，得到的T5-15第二相在110mm2范围内数量分布可视化图像；
图7(a)至图7(b)分别为本发明实施例的四种材料T4-6、T4-15、T5-10、T5-15最相邻第二相间的欧式距离频度分布图；
图8(a)至图8(b)分别为本发明实施例的四种材料T4-6、T4-15、T5-10、T5-15的长宽比频度分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的铝合金微米级第二相定量统计表征方法，采用高通量图像数据采集方式和深度学习算法实现铝合金微米级第二相的自动识别，并结合数学方法挖掘分割提取后第二相的多种表征参数，定量统计材料表面全视场及分区间分布差异，解决传统铝合金中第二相定量表征参数较单一的问题，具有视场大、信息全、准确可靠的特点。该方法避免人工选择视场带来的主观性误差，解决了人工测量、统计存在的效率低的问题；该方法避免人工标记制作数据集，节省了人工时间；该方法实现了自动、精确、全面、快速对铝合金中微米级第二相的表征。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法，包括以下步骤：
a)选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像；
b)基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库；
c)利用基于深度学习的图像分割网络U-Net对特征数据库进行训练，得到U-Net分割模型；
d)将未经过训练的特征数据库中的原图输入到建立的U-Net分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证U-Net分割模型预测得到的二值图像的精度值，使用交并比IOU作为评估指标，评估分割模型分割精度，选择最优精度对应参数建立U-Net目标模型；此外U-Net模型分割单张图像时间约为0.4031s，分割细节如图4所示；
e)使用高通量扫描电镜对抛光后的待测铝合金表面进行显微组织连续自动采集，得到待测铝合金图像；
f)将步骤e采集得到的单张待测铝合金图像进行裁剪，将裁剪后的序列测试图像输入到步骤d建立的U-Net目标模型中，分割提取待测铝合金中的第二相，得到二值图像；
g)通过连通区域算法处理步骤f中获得的二值图像，得到一个完整的数据集，数据集中包含每个第二相的尺寸、面积、位置信息；
h)结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。
其中，所述步骤a中，选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像，具体包括：
打磨并抛光标准铝合金试样表面，采用机械抛光，抛光试剂采用SiO2研磨膏；
采用Navigator-OPA高通量全自动扫描电镜，采集抛光后标准铝合金试样表面的显微组织图像，得到微米级第二相图像，图像像素为4096*4096。
所述步骤b中，基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库，具体包括：
使用MIPAR图像处理软件对单张图像进行分割处理，所述分割处理包括中值滤波、阈值分割、形态学处理、筛除干扰四步，建立准确的分割模板；
将分割模板导入批处理区域，对数据集中的微米级第二相图像进行批量分割处理，然后进行单张人工筛选，将筛选后的特征数据集生成特征数据库。
其中，MIPAR图像处理软件分割单张图像耗时约为60s，批量处理分割图像每张耗时约为0.4016s。
所述步骤c中，所述图像分割网络U-Net，其结构左侧为下采样层，由卷积层和池化层交替组合，激活函数使用ReLu，通过对输入的图像进行路径收缩，从而捕捉全局内容，右侧为上采样层，由卷积层和反卷积层交替组合，训练过程中对下采样层的特征图进行路径扩张，从而精确定位图像的每个像素。
所述步骤d中U-Net网络预测第二相最高IOU为86.22％。
所述步骤e中，采用与标准铝合金试样相同的抛光和图像采集方法，对待测铝合金进行处理，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，任两张连续图像重叠区设置为0-10％，采集图像为4096*4096像素，且相邻图像之间无重叠区域。
所述步骤f中，铝合金测试图像是将单张图像按位置裁剪为四张2048*2048像素的序列背散射图像形成的；单张测试图像分割时间为0.4031s。
所述步骤g中，采集面积超过100mm2，第二相个数接近40万。
所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入最近邻欧式距离和长宽比等参数，所述最近邻欧式距离表征两相邻不溶相在空间中的最小距离，所述长宽比中长为费雷特直径，宽为像素面积与费雷特直径的比值。
在具体实施例中，选用四种不同规格的枕梁用铝合金，成分如表1所示。目前高铁枕梁材料依然依赖进口，与进口材料相比，国产耐候钢整体稳定性低、耐久性差，根本原因在于，国产材料内部微观尺度上成分、组织结构控制精度低、波动大。因此，通过高通量表征的方式对枕梁用铝合金显微组织进行均匀性评价，对研究枕梁用材料稳定性和耐久性有重要意义。
表1四种铝合金的化学成分
元素 Zn Mg Cu Fe Si Mn Cr Zr Ti
T4-6 4.53 1.1 0.23 0.17 0.088 0.34 0.18 0.12 0.046
T4-15 4.39 1.38 0.022 0.16 0.067 0.35 0.084 0.071 0.02
T5-10 4.31 1.01 0.15 0.17 0.062 0.37 0.23 0.097 0.05
T5-15 4.23 1.09 0.16 0.17 0.058 0.37 0.22 0.11 0.048
首先，采用步骤a获得的四种铝合金材料的微米级第二相图像如图2(a)-(d)所示，像素大小为4096*4096。将步骤a获得的标准图像经过MIPAR图像处理软件分割，建立流程为中值滤波、阈值分割、形态学处理、筛除干扰的分割模板，单张图像分割耗时约为60s。在步骤b中，MIPAR中图像处理软件导入3200张2048*2048像素的批量图像，使用分割模板进行分割处理，单张图像耗时0.4016s，对分割后的单张图像进行人工筛选，通过微调参数使分割效果达到最优，建立特征数据库。
建立U-Net图像分割网络，网络框架如图3所示。分别用800张、1600张、2400张2048*2048像素图像作为训练数据，训练后保存参数，建立目标分割模型。将未经过训练的特征数据库中的原图输入到建立的分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证U-Net网络预测得到的二值图像的精度值，三种不同训练集所得测试精度对比如表2所示。
以经过人工筛选的二值图像为标准对比验证MIPAR软件批量处理得到的二值图像的精度如表2所示。
表2
Figure GDA0003219153290000091
四种待测铝合金轧板垂直轧制方向截面的尺寸分别为50mm2、120mm2、70mm2、110mm2，采用与步骤a相同的制样方式，用Navigator-OPA高通量扫描电镜对抛光后的样品进行全视场显微组织特征图谱自动采集，采集分别得到3362、11508、7056、10668张4096*4096像素的背散射原始图像。
将步骤e中获得的待检测图像裁剪成2048*2048像素的小视场图像。将裁剪后的待测试图像输入到步骤c建立的基于深度学习的U-Net图像分割模型中测试。
使用连通区域法对步骤e中获得的二值图像进行统计，获取完整的数据集，包括大尺寸范围内，全视场上第二相的位置、面积、尺寸等信息，统计结果如表3所示。将样品表面面积均分为上表面区域、中间区域和下表面区域，分别用1/3、2/3和3/3表示，分区间统计结果如表4所示，分别显示数量、面积占比和第二相平均面积。
表3
Figure GDA0003219153290000092
Figure GDA0003219153290000101
表4
Figure GDA0003219153290000102
如图5(a)-(d)所示，是四种铝合金材料以面积236μm2、655μm2为统计单元，得到的第二相在50mm2、120mm2、70mm2、110mm2范围内面积分布可视化图像。图6(a)-(d)所示，为四种铝合金材料第二相的数量分布可视化图像。由此可知，轧板中间区域面积分布较大，数量较少，表面区域数量较多，面积分布较小；分布方向与轧向一致，厚度越大趋势越明显；另外，局部区域出现富集和缺失现象。
此外，铝合金微米级第二相的间距与材料抵抗裂纹能力、断裂韧性、点蚀等性能密切相关。用数学统计方法，把每张图片的位置信息还原到样品截面上，分区统计相邻特征的最小欧式距离，用以表征第二相空间分布状态。如图7(a)-(d)分别为四种材料最小间距频度分布图，由图可知频度图分布一致，出现两个峰值，分别在0-1、1-2微米两个区间，说明大多数不溶相呈聚集分布。
对微米级第二相形状的表征采用长宽比参数表示，这里长为费雷特直径，宽为像素面积与费雷特直径的比值。图8(a)-(d)为四种材料长宽比分布频率直方图，可知，四种材料长宽比分布频率直方图一致，峰值分布在1.5-2区间内。
本发明步骤e中通过高通量扫描电镜对抛光后的铝合金表面进行采集，短时间内连续采集序列图像，整体的采集速度比普通电镜快10倍，可获取大尺寸图像信息，实现图像数据的高通量采集；深度学习数据集制作过程采用MIPAR批量处理与人工微调相结合，大大节省人工时间。将待测图像输入训练好的图像分割模型中，输出耗时0.4031s，准确率达到86.22％。步骤g中，得到完整的包含截面中第二相尺寸、数量、面积、位置信息的全局数据。步骤h中选择合适大小的区域作为统计单元，得到大尺寸截面及分区间统计分布信息，并对全局数据进行可视化；另外，实现了最近邻欧氏距离及长宽比这两种参数表征样品表面第二相空间分布及形状信息。综上，该方法用于大尺寸范围内，铝合金微米级第二相的自动识别、分割提取、定量统计表征。
本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法，基于高通量扫描电镜对第二相图像进行快速采集，得到连续分布的图像数据。基于深度学习语义分割算法，自动识别与分割连续图像中的第二相目标。最后结合数学方法挖掘分割提取后第二相的面积、尺寸、个数、分布密度、形状因子等信息，定量统计材料表面全视场及分区间分布差异。本发明能自动、快速实现对第二相的全视场定位、提取，能精细表征第二相的尺寸、面积、位置、长宽比、分布信息，解决了人工识别、测量、统计显微组织带来的视场小、效率低、精度低、统计信息单一的问题。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，包括以下步骤：
a)选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像；
b)基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库，具体包括：
使用MIPAR图像处理软件对单张图像进行分割处理，所述分割处理包括中值滤波、阈值分割、形态学处理、筛除干扰四步，建立准确的分割模板；
将分割模板导入批处理区域，对数据集中的微米级第二相图像进行批量分割处理，然后进行单张人工筛选，将筛选后的特征数据集生成特征数据库；
c)利用基于深度学习的图像分割网络U-Net对特征数据库进行训练，得到U-Net分割模型；
d)将未经过训练的特征数据库中的原图输入到建立的U-Net分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证U-Net分割模型预测得到的二值图像的精度值，使用交并比IOU作为评估指标，评估分割模型分割精度，选择最优精度对应参数建立U-Net目标模型；
e)使用高通量扫描电镜对抛光后的待测铝合金表面进行显微组织连续自动采集，得到待测铝合金图像；
f)将步骤e采集得到的单张待测铝合金图像进行裁剪，将裁剪后的序列测试图像输入到步骤d建立的U-Net目标模型中，分割提取待测铝合金中的第二相，得到二值图像；
g)通过连通区域算法处理步骤f中获得的二值图像，得到一个完整的数据集，数据集中包含每个第二相的尺寸、面积、位置信息；
h)结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。
2.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤a中，选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像，具体包括：
打磨并抛光标准铝合金试样表面，采用机械抛光，抛光试剂采用SiO2研磨膏；
采用Navigator-OPA高通量全自动扫描电镜，采集抛光后标准铝合金试样表面的显微组织图像，得到微米级第二相图像。
3.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤c中，所述图像分割网络U-Net，其结构左侧为下采样层，由卷积层和池化层交替组合，激活函数使用ReLu，通过对输入的图像进行路径收缩，从而捕捉全局内容，右侧为上采样层，由卷积层和反卷积层交替组合，训练过程中对下采样层的特征图进行路径扩张，从而精确定位图像的每个像素。
4.根据权利要求2所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤e中，采用与标准铝合金试样相同的抛光和图像采集方法，对待测铝合金进行处理。
5.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，任两张连续图像重叠区设置为0-10％。
6.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入最近邻欧式距离参数，所述最近邻欧式距离表征两相邻不溶相在空间中的最小距离。
7.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入长宽比参数，所述长宽比中长为费雷特直径，宽为像素面积与费雷特直径的比值。
8.根据权利要求1所述的基于深度学习的铝合金微米级第二相定量统计表征方法，其特征在于，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，采集图像为4096*4096像素，且相邻图像之间无重叠区域。
CN202011500498.XA 2020-12-17 2020-12-17 基于深度学习的铝合金微米级第二相定量统计表征方法 Active CN112489039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011500498.XA CN112489039B (zh) 2020-12-17 2020-12-17 基于深度学习的铝合金微米级第二相定量统计表征方法
US17/229,531 US20230184703A1 (en) 2020-12-17 2021-04-13 Quantitative statistical characterization method of micron-level second phase in aluminum alloy based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011500498.XA CN112489039B (zh) 2020-12-17 2020-12-17 基于深度学习的铝合金微米级第二相定量统计表征方法

Publications (2)

Publication Number Publication Date
CN112489039A CN112489039A (zh) 2021-03-12
CN112489039B true CN112489039B (zh) 2021-11-16

Family

ID=74914617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011500498.XA Active CN112489039B (zh) 2020-12-17 2020-12-17 基于深度学习的铝合金微米级第二相定量统计表征方法

Country Status (2)

Country Link
US (1) US20230184703A1 (zh)
CN (1) CN112489039B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114252444A (zh) * 2021-12-15 2022-03-29 昆山晶微新材料研究院有限公司 合金内组织统计方法及铝合金内锌含量的比较方法
CN114708269B (zh) * 2022-06-08 2022-08-23 武汉理工大学 一种基于图像识别预测轴承钢第二相颗粒最大尺寸的方法
CN116130037B (zh) * 2023-01-28 2023-10-10 钢研纳克检测技术股份有限公司 一种材料高通量制备-统计映射表征一体化研发系统
CN117542048B (zh) * 2024-01-05 2024-03-22 中信戴卡股份有限公司 一种亚共晶铝硅合金显微组织特征、缺陷特征的自动识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169236A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 一种基于视觉的金属表面缺陷检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701482B (zh) * 2016-02-29 2019-02-05 公安部第一研究所 基于非平衡标签信息融合的人脸识别方法
EP3499459A1 (en) * 2017-12-18 2019-06-19 FEI Company Method, device and system for remote deep learning for microscopic image reconstruction and segmentation
CN108226159B (zh) * 2017-12-29 2019-11-22 钢铁研究总院 金属材料中析出相颗粒的全视场定量统计分布表征方法
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
CN109741347B (zh) * 2018-12-30 2021-03-16 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
CN109902751B (zh) * 2019-03-04 2022-07-08 福州大学 融合卷积神经网络和半字模板匹配的表盘数字字符识别法
CN110579473B (zh) * 2019-09-03 2022-03-25 钢研纳克检测技术股份有限公司 金属材料中枝晶组织的自动全视场定量统计分布表征方法
CN111639480A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 基于人工智能的文本标签化方法、电子装置及存储介质
CN111696632B (zh) * 2020-06-22 2023-10-10 钢铁研究总院有限公司 一种金属材料中γ′相微观组织全视场定量统计分布表征方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169236A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 一种基于视觉的金属表面缺陷检测方法

Also Published As

Publication number Publication date
CN112489039A (zh) 2021-03-12
US20230184703A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
CN112489039B (zh) 基于深度学习的铝合金微米级第二相定量统计表征方法
US10895521B2 (en) Full-view-field quantitative statistical distribution characterization method of precipitate particles in metal material
US11506650B2 (en) Method for automatic quantitative statistical distribution characterization of dendrite structures in a full view field of metal materials
CN112395932B (zh) 一种金属材料中显微组织全视场定量统计分布表征方法
US20050266395A1 (en) Method and system for morphology based mitosis identification and classification of digital images
CN111696632B (zh) 一种金属材料中γ′相微观组织全视场定量统计分布表征方法
CN104880389A (zh) 一种钢材晶粒混晶度的自动测量、精细分类方法及其系统
CN110232334A (zh) 一种基于卷积神经网络的钢结构锈蚀识别方法
CN111860176B (zh) 一种非金属夹杂全视场定量统计分布表征方法
CN111402236A (zh) 一种基于图像灰度值的热轧带钢表面缺陷分级方法
JP6033716B2 (ja) 金属内の異物弁別方法
CN108074025A (zh) 基于表面缺陷分布特征的钢卷表面缺陷判定方法
CN111738131A (zh) 一种合金两相微结构参数特征提取方法
CN114594118A (zh) 基于微束x射线荧光的铝合金组织显微偏析定量表征方法
CN111289542B (zh) 一种材料中第二相颗粒的定量统计表征方法
CN116564419B (zh) 一种空间转录组特征富集差异分析方法及其应用
CN114324437B (zh) 一种钢中夹杂物原位统计分布的表征方法及系统
CN116953006A (zh) 一种铸造材料扫描电镜图像缺陷识别与量化方法
CN116434054A (zh) 一种基于线面结合的密集遥感地物提取方法
CN102494987A (zh) 球墨铸铁中显微粒子的自动分类评级方法
CN104616264B (zh) 基因芯片图像的自动对比度增强方法
CN112268762A (zh) 一种铁素体/珠光体显微组织定量化分析方法
CN111833297A (zh) 一种骨髓细胞形态学自动检测系统的疾病联想方法
CN113591809B (zh) 一种网点内客户行动轨迹确定方法及装置
CN117147601B (zh) 一种钢中不同状态稀土元素及其分布的定量统计表征方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Han Bing

Inventor after: Sun Dandan

Inventor after: Wan Weihao

Inventor after: Wang Haizhou

Inventor after: Zhao Lei

Inventor after: Li Dongling

Inventor after: Dong Caichang

Inventor before: Sun Dandan

Inventor before: Han Bing

Inventor before: Wan Weihao

Inventor before: Wang Haizhou

Inventor before: Zhao Lei

Inventor before: Li Dongling

Inventor before: Dong Caichang

CB03 Change of inventor or designer information
CP03 Change of name, title or address

Address after: 100000 No. 76 South College Road, Beijing, Haidian District

Patentee after: General Iron and Steel Research Institute Co.,Ltd.

Address before: 100089 No. 76 South College Road, Beijing, Haidian District

Patentee before: CENTRAL IRON AND STEEL Research Institute

CP03 Change of name, title or address