CN109615630A - 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 - Google Patents
基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 Download PDFInfo
- Publication number
- CN109615630A CN109615630A CN201910049844.8A CN201910049844A CN109615630A CN 109615630 A CN109615630 A CN 109615630A CN 201910049844 A CN201910049844 A CN 201910049844A CN 109615630 A CN109615630 A CN 109615630A
- Authority
- CN
- China
- Prior art keywords
- image
- microstructure
- semi
- continuous casting
- alusil alloy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 229910045601 alloy Inorganic materials 0.000 title claims abstract description 43
- 239000000956 alloy Substances 0.000 title claims abstract description 43
- 238000009749 continuous casting Methods 0.000 title claims abstract description 39
- 229910000632 Alusil Inorganic materials 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 title claims abstract description 10
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims abstract description 80
- 230000007547 defect Effects 0.000 claims abstract description 55
- 229910052742 iron Inorganic materials 0.000 claims abstract description 40
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims abstract description 29
- 229910052710 silicon Inorganic materials 0.000 claims abstract description 29
- 239000010703 silicon Substances 0.000 claims abstract description 29
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 239000002245 particle Substances 0.000 claims abstract description 5
- 238000012797 qualification Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 229910001092 metal group alloy Inorganic materials 0.000 description 3
- KMWBBMXGHHLDKL-UHFFFAOYSA-N [AlH3].[Si] Chemical compound [AlH3].[Si] KMWBBMXGHHLDKL-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 229910021364 Al-Si alloy Inorganic materials 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Abstract
本发明公开了一种基于图像处理技术的半连续铸造铝硅合金微观组织分析方法，具有如下步骤：S1、针对半连续铸造铝硅合金组织进行评估；S2、针对半连续铸造铝硅合金图像中的缺陷进行检测与去除；S3、基于K‑means聚类和形态学方法对微观组织进行分割及分析。经实验对比结果证明，基于K‑means聚类和形态学方法对金相组织进行分割及分析的方法可以准确分割半连续铸造铝硅合金图像中大部分微观组织，同时能够准确统计修正后的铁相图像和修正后的硅相图像中微观组织、包括小颗粒微观组织的面积信息，以及统计微观组织面积分布区间。
Description
技术领域
本发明以半连续铸造铝硅合金图像为对象，结合图像处理、机器学习以及深度学习先进理论，对金相图像分析方法进行深入研究，提出了对半连续铸造Al-12.7Si-0.7Mg合金图像微观组织的准确分割及分析的方法。
背景技术
在材料工业中，金属合金的微观组织结构以及分布决定了合金的化学特性，这些化学特性可以决定合金的性能，从而影响合金的使用价值。因此，对合金微观组织进行评估以及分析十分必要，金相分析技术目的在于确定金属合金微观组织的成分、性能和工艺之间存在的联系，这种分析方法可以在揭示这种联系的内在本质的同时，使金属合金材料在生产过程中的检验和操控更准确便捷。
传统金相分析技术主要由研究人员基于经验进行人工观测，由于不同人员评价标准不同，故金相分析结果易受到人为因素影响，且传统金相分析速度慢、分析效率和准确率低、可重现性不高。即使在凭借显微镜的情况下，研究人员也不能达到分析标准完全一致，且在待测金相图像数量较大的情况下，金相图像分析结果易出现疏漏。
随着数字图像处理技术的发展，金相图像得到有效的图像处理效果。基于图像处理技术的金相分析方法主要分为两个方向，分别为基于阈值分割的金相分析方法以及基于形态学方法的金相分析方法。基于阈值分割方法的金相图像分析方法在图像分割阶段存在的问题主要是在很多情况下不同金相图像中待分割的组织和背景图像灰度分布区间不同，当待分割对象类别较多时，不同分割对象灰度分布区间也存在交叉的情况下，无法选取一个分割效果准确的固定阈值来分割图像。而针对基于形态学方法的金相分析方法而言，由于合金本身的微观组织比较复杂并且没有规律，有时金相图像中会存在缺陷，或者由于金相图片拍摄光照以及噪声问题，一些微观组织的轮廓灰度会产生变化，导致丢失或者模糊不清，基于形态学方法的金相分析方法也不能达到十分准确的效果。
随着近年来人工智能和计算机能力的发展，机器学习和深度学习方法也被逐渐用来解决金相图像分析问题。金相分析技术在不断地更新进步，逐渐取代了人工，目前基于深度学习和机器学习方法针对金相分析相关研究较少。
发明内容
根据上述提出的技术问题，而提供一种基于图像处理技术的半连续铸造铝硅合金微观组织分析方法。本发明提出一种基于改进分类网络、目标检测网络、聚类和图像处理技术的集成方法，该方法能够对半连续铸造铝硅合金图像微观组织进行准确分析。本发明采用的技术手段如下：
一种基于图像处理技术的半连续铸造铝硅合金微观组织分析方法，具有如下步骤：
S1、针对半连续铸造铝硅合金组织进行评估：
将裁剪成224×224的半连续铸造铝硅合金图像划分为包含“合格”微观组织的图像和包含“不合格”微观组织的图像，对包含“合格”微观组织的图像标注为“合格”，对包含“不合格”微观组织的图像标注为“不合格”；
对标注后的图像采用数据扩增的方法增加其数量(标注完成后由于原图像数量较少，模型容易产生过拟合现象，因此，需要扩增)，扩增后的图像集按照一定比例随机抽取图像作为训练集和测试集；
将训练集作为V-MOB网络模型的输入，V-MOB网络模型对训练集中的图像的微观组织进行二分类，评估训练集中的图像的微观组织是否“合格”，将包含“合格”微观组织的图像提取出来；
对比了V-MOB网络模型与VGG-16和MobileNet v1两种网络分类评价指标，实验表明V-MOB网络模型可以准确评估半连续铸造铝硅合金图像的微观组织是否“合格”，分类的准确率为85.0％。
S2、针对半连续铸造铝硅合金图像中的缺陷进行检测与去除：
将步骤S1中提取出来的包含“合格”微观组织的图像使用LabelImg图像标注软件对图像中的缺陷进行人工标注，将人工标注后的图像分别旋转90°、180°、270°以及将人工标注后的图像的亮度和对比度分别调整为0.8倍和1.2倍后和人工标注后的图像组成数据集；
运用深度学习目标检测网络Faster-RCNN来检测数据集中图像的缺陷，若图像经过检测存在缺陷，则利用阈值分割的方法将缺陷去除；
调整去除缺陷后的图像的背景灰度，使背景与待分割的微观组织的对比度增大；
S3、基于K-means聚类和形态学方法对微观组织进行分割及分析：
基于K-means聚类法对步骤S2得到的调整背景灰度后的图像的微观组织中硅相和铁相进行分割，得到硅相图像和铁相图像；
本发明采用基于灰度聚类的图像分割方法对两种微观组织(硅相和铁相)图像进行分割，聚类方法采用K-means无监督聚类方法，两种微观组织的灰度不同，所以基于灰度特征对两种微观组织进行聚类。基于K-means聚类结果并不是很准确，原因在于原图中由于拍摄等问题，半连续铸造铝硅合金图像硅相微观组织的边缘灰度与铁相微观组织灰度相近，所以单纯基于灰度进行聚类，一部分硅相的边缘会被聚类为铁相，所以考虑采用形态学方法对K-means聚类后的图像进行后处理。
采用Canny算子边缘检测方法和形态学方法对硅相图像和铁相图像进行后处理：
本发明在提高背景与待分割的微观组织的对比度的同时，采用Canny算子边缘检测的方法将铁相图像的二值图像边缘进行检测，提取铁相微观组织的边缘，采用形态学闭运算填充提取的铁相微观组织的边缘图像，填充边缘图像细小空洞，使处理后的边缘图像更加平滑并不明显改变边缘图像的面积。
采用减法运算将铁相图像的二值图像减去填充后的边缘图像，得到修正后的铁相图像；
采用加运算在硅相图像的二值图像上填充边缘图像，将硅相图像边缘还原，得到修正后的硅相图像；
利用基于区域生长的八连通区域统计方法将修正后的铁相图像和修正后的硅相图像中的微观组织颗粒的像素面积进行统计，并绘制微观组织面积分布和面积占比统计表。
所述步骤S1中根据图像中微观组织的分布、结构等特征将半连续铸造铝硅合金图像划分为“合格”微观组织图像和“不合格”微观组织图像。
V-MOB网络模型为本发明提出的针对金相图像微观组织进行正确评估的网络，V-MOB网络模型是基于VGG-16和MobileNet v1两种常用的网络模型进行改进的，结合半连续铸造铝硅合金图像数据集的类别较少的情况，特征更容易进行提取，故考虑减少卷积层数，简化卷积层的结构从而减少网络的参数量。
所述V-MOB网络模型的输入图像尺寸为224×224；
所述V-MOB网络共有15层卷积层，其中前10层是传统卷积层，卷积核尺寸均为3x3；
第11层卷积层为深度卷积层，卷积核尺寸为3x3，通道数为1，与第10层输出的512个通道的特征图逐层做卷积运算，同样输出深度为512个通道的特征图；
第12层为逐点卷积层，深度卷积层的输出作为逐点卷积层的输入，逐点卷积层的卷积核尺寸为1x1，通道数与特征图的通道数相同，均为512个通道，之后连接两个全连接层以及一个softmax层。
原本Faster-RCNN只输出对输入图像所预测的候选窗口，本申请：
所述步骤S2中，所述Faster-RCNN既可以输出候选窗口，还可以将候选窗口左上角以及右下角坐标输出到文本文件中，作为对缺陷的定位信息，将定位信息中的缺陷再利用阈值分割的方法将缺陷去除。
本发明的所述Faster-RCNN对缺陷进行检测的方法经实验证明是准确有效的：
由观察可得，所述Faster-RCNN检测后的数据集的图像的缺陷图像局部区域中，缺陷所占的面积最大，包含其他微观组织数量很小，因此将缺陷去除后不会删除微观组织。除此之外，还可以观察到局部区域图像中，缺陷的颜色最深，而图像作为背景的铝相颜色较浅，所以缺陷与背景的灰度差较大，故考虑使用基于灰度的阈值分割的方法将缺陷去除：
将定位信息中的缺陷再利用阈值分割的方法将缺陷去除的具体步骤如下：
对带有缺陷处的局部区域图像统计灰度直方图，基于灰度直方图确定带有缺陷处的局部区域图像的分割阈值，通过阈值分割法将缺陷去除。同时保证除缺陷外其他区域的微观组织不变，缺陷的定位信息由所述Faster-RCNN输出到文本文件中的候选窗口左上角以及右下角坐标来确定。
经实验证明，结合所述Faster-RCNN与阈值分割法可以在不改变半连续铸造铝硅合金图像硅相和铁相微观组织结构与灰度的情况下，准确去除缺陷部分图像。
经实验对比结果证明，基于K-means聚类和形态学方法对金相组织进行分割及分析的方法可以准确分割半连续铸造铝硅合金图像中大部分微观组织，同时能够准确统计修正后的铁相图像和修正后的硅相图像中微观组织、包括小颗粒微观组织的面积信息，以及统计微观组织面积分布区间。
基于上述理由本发明可在针对半连续铸造铝硅合金的金相分析等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明半连续铸造铝硅合金(Al-12.7Si-0.7Mg)的高倍显微组织图像；
图2为本发明的包含缺陷的半连续铸造铝硅合金图像；
图3为本发明的基于图像处理技术的半连续铸造铝硅合金微观组织分析方法流程图；
图4为本发明的半连续铸造铝硅合金组织评估过程简图；
图5为本发明的V-MOB网络模型结构图；
图6为本发明的半连续铸造铝硅合金图像缺陷检测与去除主要流程图；
图7为本发明的基于Faster-RCNN目标检测网络检测缺陷结果图；
图8为本发明的缺陷面积局部区域灰度直方图；
图9为本发明的基于阈值分割的缺陷图像去除后效果图；
图10为本发明半连续铸造铝硅合金图像微观组织分割与统计主要流程图；
图11为本发明的半连续铸造铝硅合金图像的K-means聚类结果；
图12为本发明的铁相图像的二值图像；
图13为本发明的Canny算子对铁相图像的二值图像边缘检测效果图；
图14为本发明的硅相图像后处理结果；
图15为本发明的铁相图像后处理结果；
图16为本发明的基于Canny算子边缘检测和形态学方法后处理效果图；
图17为本发明的修正后的硅相图像中的微观组织颗粒分析结果统计直方图；
图18为本发明的修正后的铁相图像中的微观组织颗粒分析结果统计直方图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图18所示，一种基于图像处理技术的半连续铸造铝硅合金微观组织分析方法，其特征在于具有如下步骤：
S1、针对半连续铸造铝硅合金组织进行评估：
将裁剪成224×224的半连续铸造铝硅合金图像划分为包含“合格”微观组织的图像和包含“不合格”微观组织的图像，对包含“合格”微观组织的图像标注为“合格”，对包含“不合格”微观组织的图像标注为“不合格”；
对标注后的图像采用数据扩增的方法增加其数量，扩增后的图像集按照一定比例随机抽取图像作为训练集和测试集；
将训练集作为V-MOB网络模型的输入，V-MOB网络模型对训练集中的图像的微观组织进行二分类，评估训练集中的图像的微观组织是否“合格”，将包含“合格”微观组织的图像提取出来；
最后对比了V-MOB网络模型与VGG-16和MobileNet v1两种网络分类评价指标，实验表明V-MOB网络模型可以准确评估半连续铸造铝硅合金图像的微观组织是否“合格”，分类的准确率为85.0％。
S2、针对半连续铸造铝硅合金图像中的缺陷进行检测与去除：
如图6所示，将步骤S1中提取出来的包含“合格”微观组织的图像使用LabelImg图像标注软件对图像中的缺陷进行人工标注，将人工标注后的图像分别旋转90°、180°、270°以及将人工标注后的图像的亮度和对比度分别调整为0.8倍和1.2倍后和人工标注后的图像组成数据集；
运用深度学习目标检测网络Faster-RCNN来检测数据集中图像的缺陷，检测出包含缺陷的图像效果图如图7所示，若图像经过检测存在缺陷，则利用阈值分割的方法将缺陷去除；
调整去除缺陷后的图像的背景灰度，使背景与待分割的微观组织的对比度增大；
S3、基于K-means聚类和形态学方法对微观组织进行分割及分析：
如图10所示，基于K-means聚类法对步骤S2得到的调整背景灰度后的图像的微观组织中硅相和铁相进行分割，得到硅相图像和铁相图像，聚类结果如图11所示；
采用Canny算子边缘检测方法和形态学方法对硅相图像和铁相图像进行后处理：
本发明在提高背景与待分割的微观组织的对比度的同时，采用Canny算子边缘检测的方法将铁相图像的二值图像(铁相图像的二值图像如图12所示)边缘进行检测，提取铁相微观组织的边缘，铁相微观组织的边缘图像如图13所示，采用形态学闭运算填充提取的铁相微观组织的边缘图像，填充边缘图像细小空洞，使处理后的边缘图像更加平滑并不明显改变边缘图像的面积。
采用减法运算将铁相图像的二值图像减去填充后的边缘图像，得到修正后的铁相图像如图15所示；
采用加运算在硅相图像的二值图像上填充边缘图像，将硅相图像边缘还原，得到修正后的硅相图像如图14所示；
最终的分割结果如图16所示。
利用基于区域生长的八连通区域统计方法将修正后的铁相图像和修正后的硅相图像中的微观组织颗粒的像素面积进行统计，并绘制微观组织面积分布和面积占比统计表，分析结果如图17和18以及下表所示。
所述步骤S1中根据图像中微观组织的分布、结构等特征将半连续铸造铝硅合金图像划分为“合格”微观组织图像和“不合格”微观组织图像。
如图5及下表所示，所述V-MOB网络模型的输入图像尺寸为224×224；
所述V-MOB网络共有15层卷积层，其中前10层是传统卷积层，卷积核尺寸均为3x3；
第11层卷积层为深度卷积层，卷积核尺寸为3x3，通道数为1，与第10层输出的512个通道的特征图逐层做卷积运算，同样输出深度为512个通道的特征图；
第12层为逐点卷积层，深度卷积层的输出作为逐点卷积层的输入，逐点卷积层的卷积核尺寸为1x1，通道数与特征图的通道数相同，均为512个通道，之后连接两个全连接层以及一个softmax层。
所述步骤S2中，所述Faster-RCNN既可以输出候选窗口，还可以将候选窗口左上角以及右下角坐标输出到文本文件中，作为对缺陷的定位信息，将定位信息中的缺陷再利用阈值分割的方法将缺陷去除。
将定位信息中的缺陷再利用阈值分割的方法将缺陷去除的具体步骤如下：
如图8所示，对带有缺陷处的局部区域图像统计灰度直方图，基于灰度直方图确定带有缺陷处的局部区域图像的分割阈值，通过阈值分割法将缺陷去除。同时保证除缺陷外其他区域的微观组织不变，缺陷的定位信息由所述Faster-RCNN输出到文本文件中的候选窗口左上角以及右下角坐标来确定，缺陷去除后的图像如图9所示。
经实验证明，结合所述Faster-RCNN与阈值分割法可以在不改变半连续铸造铝硅合金图像硅相和铁相微观组织结构与灰度的情况下，准确去除缺陷部分图像。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于图像处理技术的半连续铸造铝硅合金微观组织分析方法，其特征在于具有如下步骤：
S1、针对半连续铸造铝硅合金组织进行评估：
将裁剪成224×224的半连续铸造铝硅合金图像划分为包含“合格”微观组织的图像和包含“不合格”微观组织的图像，对包含“合格”微观组织的图像标注为“合格”，对包含“不合格”微观组织的图像标注为“不合格”；
对标注后的图像采用数据扩增的方法增加其数量，扩增后的图像集按照一定比例随机抽取图像作为训练集和测试集；
将训练集作为V-MOB网络模型的输入，V-MOB网络模型对训练集中的图像的微观组织进行二分类，评估训练集中的图像的微观组织是否“合格”，将包含“合格”微观组织的图像提取出来；
S2、针对半连续铸造铝硅合金图像中的缺陷进行检测与去除：
将步骤S1中提取出来的包含“合格”微观组织的图像使用LabelImg图像标注软件对图像中的缺陷进行人工标注，将人工标注后的图像分别旋转90°、180°、270°以及将人工标注后的图像的亮度和对比度分别调整为0.8倍和1.2倍后和人工标注后的图像组成数据集；
运用深度学习目标检测网络Faster-RCNN来检测数据集中图像的缺陷，若图像经过检测存在缺陷，则利用阈值分割的方法将缺陷去除；
调整去除缺陷后的图像的背景灰度，使背景与待分割的微观组织的对比度增大；
S3、基于K-means聚类和形态学方法对微观组织进行分割及分析：
基于K-means聚类法对步骤S2得到的调整背景灰度后的图像的微观组织中硅相和铁相进行分割，得到硅相图像和铁相图像；
采用Canny算子边缘检测方法和形态学方法对硅相图像和铁相图像进行后处理：
采用Canny算子边缘检测的方法将铁相图像的二值图像边缘进行检测，提取铁相微观组织的边缘，采用形态学闭运算填充提取的铁相微观组织的边缘图像，填充边缘图像细小空洞；
采用减法运算将铁相图像的二值图像减去填充后的边缘图像，得到修正后的铁相图像；
采用加运算在硅相图像的二值图像上填充边缘图像，得到修正后的硅相图像；
利用基于区域生长的八连通区域统计方法将修正后的铁相图像和修正后的硅相图像中的微观组织颗粒的像素面积进行统计，并绘制微观组织面积分布和面积占比统计表。
2.根据权利要求1所述的分析方法，其特征在于：所述步骤S1中根据图像中微观组织的分布、结构等特征将半连续铸造铝硅合金图像划分为“合格”微观组织图像和“不合格”微观组织图像。
3.根据权利要求1所述的分析方法，其特征在于：所述V-MOB网络模型的输入图像尺寸为224×224；
所述V-MOB网络共有15层卷积层，其中前10层是传统卷积层，卷积核尺寸均为3x3；
第11层卷积层为深度卷积层，卷积核尺寸为3x3，通道数为1，与第10层输出的512个通道的特征图逐层做卷积运算，同样输出深度为512个通道的特征图；
第12层为逐点卷积层，深度卷积层的输出作为逐点卷积层的输入，逐点卷积层的卷积核尺寸为1x1，通道数与特征图的通道数相同，均为512个通道，之后连接两个全连接层以及一个softmax层。
4.根据权利要求1所述的分析方法，其特征在于：所述步骤S2中，所述Faster-RCNN既可以输出候选窗口，还可以将候选窗口左上角以及右下角坐标输出到文本文件中，作为对缺陷的定位信息，将定位信息中的缺陷再利用阈值分割的方法将缺陷去除。
5.根据权利要求4所述的分析方法，其特征在于：将定位信息中的缺陷再利用阈值分割的方法将缺陷去除的具体步骤如下：
对带有缺陷处的局部区域图像统计灰度直方图，基于灰度直方图确定带有缺陷处的局部区域图像的分割阈值，通过阈值分割法将缺陷去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910049844.8A CN109615630A (zh) | 2019-01-18 | 2019-01-18 | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910049844.8A CN109615630A (zh) | 2019-01-18 | 2019-01-18 | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109615630A true CN109615630A (zh) | 2019-04-12 |
Family
ID=66017020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910049844.8A Pending CN109615630A (zh) | 2019-01-18 | 2019-01-18 | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615630A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907498A (zh) * | 2019-11-18 | 2021-06-04 | 中国商用飞机有限责任公司 | 一种孔隙识别方法、装置、设备及存储介质 |
| CN113155851A (zh) * | 2021-04-30 | 2021-07-23 | 西安交通大学 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639872A (zh) * | 2008-07-30 | 2010-02-03 | 通用汽车环球科技运作公司 | 用于预测金属合金的特高循环疲劳特性的方法和系统 |
| CN102494976A (zh) * | 2011-11-18 | 2012-06-13 | 江苏大学 | 一种超细晶粒钢晶粒的自动测量及其形态分类统计方法 |
| US20120232685A1 (en) * | 2011-03-09 | 2012-09-13 | GM Global Technology Operations LLC | Systems and methods for computationally developing manufacturable and durable cast components |
| CN105869169A (zh) * | 2016-04-11 | 2016-08-17 | 南京信息工程大学 | 一种肿瘤组织微排列图像的自动分割方法 |
| CN106548483A (zh) * | 2016-10-27 | 2017-03-29 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
| CN107274413A (zh) * | 2017-05-27 | 2017-10-20 | 江苏大学 | 一种钢材金相组织晶界自动提取方法 |
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
| US9898832B1 (en) * | 2015-08-07 | 2018-02-20 | The United States Of America, As Represented By The Secretary Of The Navy | Surface metallographic method for characterizing the degree of sensitization of aluminum-magnesium alloys |
-
2019
- 2019-01-18 CN CN201910049844.8A patent/CN109615630A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639872A (zh) * | 2008-07-30 | 2010-02-03 | 通用汽车环球科技运作公司 | 用于预测金属合金的特高循环疲劳特性的方法和系统 |
| US20120232685A1 (en) * | 2011-03-09 | 2012-09-13 | GM Global Technology Operations LLC | Systems and methods for computationally developing manufacturable and durable cast components |
| CN102494976A (zh) * | 2011-11-18 | 2012-06-13 | 江苏大学 | 一种超细晶粒钢晶粒的自动测量及其形态分类统计方法 |
| US9898832B1 (en) * | 2015-08-07 | 2018-02-20 | The United States Of America, As Represented By The Secretary Of The Navy | Surface metallographic method for characterizing the degree of sensitization of aluminum-magnesium alloys |
| CN105869169A (zh) * | 2016-04-11 | 2016-08-17 | 南京信息工程大学 | 一种肿瘤组织微排列图像的自动分割方法 |
| CN106548483A (zh) * | 2016-10-27 | 2017-03-29 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
| CN107274413A (zh) * | 2017-05-27 | 2017-10-20 | 江苏大学 | 一种钢材金相组织晶界自动提取方法 |
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN YAN 等: "Metallographic Image Segmentation Based on Ridge Detection and Region-Merger", 《INTERNATIONAL CONFERENCE ON ON SOFT COMPUTING》 * |
| 王宝珠 等: "基于图像处理技术的多晶体材料金相图像", 《铸造》 * |
| 陈大力 等: "基于余弦相似度模型的最佳教练遴选算法", 《东北大学学报(自然科学版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907498A (zh) * | 2019-11-18 | 2021-06-04 | 中国商用飞机有限责任公司 | 一种孔隙识别方法、装置、设备及存储介质 |
| CN112907498B (zh) * | 2019-11-18 | 2024-04-30 | 中国商用飞机有限责任公司 | 一种孔隙识别方法、装置、设备及存储介质 |
| CN113155851A (zh) * | 2021-04-30 | 2021-07-23 | 西安交通大学 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565479B1 (en) | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring | |
| CN106056118B (zh) | 一种用于细胞的识别计数方法 | |
| CN109978822B (zh) | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 | |
| CN107977682B (zh) | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 | |
| CN107256558A (zh) | 一种无监督式的宫颈细胞图像自动分割方法及系统 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| US9239281B2 (en) | Method and device for dividing area of image of particle in urine | |
| CN114926463B (zh) | 一种适用于芯片电路板的生产质量检测方法 | |
| CN114067114B (zh) | 一种基于藻类细胞形态的面积核分割计数方法 | |
| CN110532946B (zh) | 一种基于卷积神经网络识别绿通车车辆轴型的方法 | |
| CN103984939B (zh) | 一种样本有形成分分类方法及系统 | |
| CN108052886A (zh) | 一种小麦条锈病菌夏孢子自动统计计数方法 | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN111402267A (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| CN113111796B (zh) | 一种芽生孢子的自动细化标注类别的检测识别方法 | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN112560941A (zh) | 基于图像检测的煤矸识别方法 | |
| CN109615630A (zh) | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 | |
| CN114549446A (zh) | 一种基于深度学习的气缸套缺陷标检测方法 | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
| CN110322466B (zh) | 一种基于多层区域限制的有监督图像分割方法 | |
| CN111986802A (zh) | 一种肺腺癌病理分化等级的辅助判定系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231208 |