CN113506240A - 一种基于深度学习的金相晶界提取和连通方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的金相晶界提取和连通方法，属于钢铁产品质量智能检测技术领域。本发明方法包括：采集金相图像，对图像进行预处理进行去噪并增强晶粒边界，然后建立图像‑标签数据库；使用第一深度学习模型分割金相图像中的晶粒边界；对分割边界后的图像先采用基于深度学习的金相图像缺失区域连通方法进行修复，再用基于八邻域和区域生长的连通方法进行晶粒边界连通；标注晶粒边界的连通域，并计算每个晶粒的实际面积，生成晶粒度的统计柱状图。本发明方法能更好地恢复图像的细节，获得更精准的边界信息，使最终的晶粒连通域更为清晰准确，从而计算出各个晶粒的面积，获得更加准确可信的评级结果，使评级结果更具有实际意义。

Description

一种基于深度学习的金相晶界提取和连通方法

技术领域

本发明属于钢铁产品质量智能检测技术领域，涉及一种估算金相混合晶粒度的技术，具体涉及一种基于深度学习的金相晶界提取和连通方法，适用于钢铁金相图像混合晶粒度的识别、统计和评级。

背景技术

金相指金属或合金的化学成分以及各种成分在合金内部的物理状态和化学状态。金相混合晶粒度的统计和评级在钢铁产品质量检测领域受到越来越多的关注，但目前金相混合晶粒度的评级方法仍采用专业人员的经验结果。专业人员在电子显微镜的辅助下，通过经验找到混晶最严重的视场，对混晶现象做出两个主要级别占比的估算结果，但此类结果只能作为大致的参考，对目标金相试样的钢铁产品质量分析基本没有意义，而一般的平均晶粒度结果又对金相混合晶粒度没有参考价值。

金相混合晶粒度自动评级过程的基础是对金相图像的晶粒边界进行提取，得到完整的晶粒边界，按照国家标准GB/T 6394-201-金属平均晶粒度测定方法中的比较法、面积法和截点法等，对晶粒进行特征分析，从而得到较为准确可信的评级结果。金相晶粒边界的自动分割和提取是一个关键问题，但目前对金相混合晶边界的提取存在问题。在金相试样的制备过程中，由于仪器磨抛过程所造成的金相试样表面不平整和侵蚀处理过程中的过度腐蚀以及仪器操作不规范等问题，容易出现晶粒边缘断裂、模糊等情况，对金相晶粒边界的完整提取增加了困难。目前除了专家利用经验识别，也有利用计算机图像处理技术对金相进行分析的技术方案，但通过传统的利用数字图像处理、拓扑学、数学等知识来对图像进行分割的方法不足以解决这种情况。如，参考文献1(吴建军.计算机图像处理技术在定量金相分析中的应用研究[D].重庆大学,2002.)利用计算机图像处理技术对金相分析，对采集的数字图像转换为灰度图并二值化，再采用二值图像轮廓跟踪算法提取金相轮廓，采用扫描线种子填充算法来确定晶粒数目，计算出晶粒平均面积。参考文献1中计算机采用二值图像轮廓跟踪算法对金相轮廓识别，但若存在缺口，则将对完整连通域的识别造成很大的影响，进而影响金相混合晶粒的识别和评级。此外，参考文献1也仅是计算出晶粒平均面积，对金相混合晶粒度的评级精度低。

目前技术中，若由不同专业人员对相同的金相进行分析，进行混合晶粒度识别和评级，分析结果将受到经验的影响，将会得到不一致的结果，存在检测和评级精度低、一致性差的问题。而若直接利用计算机图像处理技术，仍存在由于晶粒边缘不闭合导致的图像缺失区域连通的问题。

目前深度学习在智能检测领域发挥着越来越重要的作用，对于金相图像此类需要像素级分割的图像，深度学习中的语义分割给出了良好的解决方案。但如何利用深度学习技术，解决上述由于多种因素导致的金相图像存在的边界缺失问题，解决对金相混合晶粒度检测精度和评级精度低的问题，仍然需要进一步研究，目前未有公开文献给出解决方案。

发明内容

针对目前对金相混合晶粒度检测精度和评级精度低、一致性差的问题，以及多种因素导致的晶粒边缘不闭合等图像缺失区域连通的问题，本发明提供了一种基于深度学习的金相晶界提取和连通方法，基于边云协同的物理架构，结合深度学习网络模型，实现了金相晶粒边界的自动分割和提取。

本发明的一种基于深度学习的金相晶界提取和连通方法，包括：

步骤1，采集金相图像，对图像进行预处理进行去噪并增强晶粒边界，建立图像-标签数据库；所述图像-标签数据库中存储的每一对样本包括一张金相图像和对应的标签图像，标签图像为金相图像对应的晶粒边界图；

步骤2，使用Resnet-UNet网络分割金相图像中的晶粒边界；预先利用步骤1建立的图像-标签数据库训练Resnet-UNet网络；

步骤3，对金相图像中的晶粒边界进行连通，修复图像存在的边界缺失的缺陷；

先采用基于深度学习的金相图像缺失区域连通方法对图像中的晶粒边界进行修复，对修复后的图像继续利用基于八邻域和区域生长的连通方法进行晶粒边界连通；所述基于深度学习的金相图像缺失区域连通方法中的第二深度学习模型为Resnet-UNet网络，预先利用所述图像-标签数据库中晶粒边界无缺失区域的样本对第二深度学习模型进行训练；

步骤4，标注连通域，计算晶粒实际面积。

所述的步骤1中，将预处理得到的图像和对应的标签图像每隔128像素进行有重叠地切分，切分获取大小为512*512像素的图像，将切分后得到的一张金相图像和对应的标签图像作为一对样本；对得到的样本进行数据增强以扩充样本数据量。

所述步骤3中，采用基于八邻域和区域生长的金相图像晶界连通方法，包括：(11)对通过深度学习语义分割好的图像进行二值化操作，使其边界全由相同灰度像素构成；(12)对二值化后的图像进行细化骨架操作，删除不需要的轮廓点，只保留其骨架点，使金相晶粒边界由单像素值构成；(13)使用八邻域轮廓跟踪算法查找端点；(14)去除“毛刺”；(15)晶粒边界填充，先将距离小于预定阈值的两个端点相连，然后将较远端点按照端点八邻域为1的点的反方向生长，修复缺失区域，形成新的连通域。

所述步骤3中，采用基于深度学习的金相图像缺失区域连通方法，包括：对获取的晶粒边界无缺失区域的样本，按照自然的晶粒边缘闭合情况，制作晶界缺失的掩膜mask，将样本中的标签图像叠加mask的图像形成新的图像，作为第二深度学习模型的输入图像，将样本中的标签图像作为第二深度学习模型的输出结果，对第二深度学习模型进行训练。

所述的步骤4中，每个晶粒均为独立个体，每个连通域即为一个拥有闭合边界的晶粒，通过opencv标注连通域，计算连通域像素面积，根据比例尺换算出其实际面积，统计整张图片的晶粒个数和对应的评级结果，生成统计柱状图，最终呈现更直观的检测报告。

本发明还实现一种金相混合晶粒度自动评级系统，包括云服务器、边缘推理设备、结果显示设备和图像采集设备；其中，图像采集设备采集金相图像输入给边缘推理设备；边缘推理设备中设置有所述的基于深度学习的金相晶界提取和连通方法，以及金相混合晶粒度自动评级模型；边缘推理设备由所述的基于深度学习的金相晶界提取和连通方法获取金相图像的晶粒面积后，再通过金相混合晶粒度自动评级模型获得晶粒评级结果；边缘推理设备将晶粒度评级结果输入结果显示设备，以展示给用户，用户对评级结果进行反馈；云服务器中对所述的基于深度学习的金相晶界提取和连通方法中所使用的第一深度学习模型和第二深度学习模型进行预训练与更新，下发给边缘设备，同时还接收用户的反馈，以更新训练数据。

相对于现有技术，本发明的优点和积极效果在于：

(1)本发明针对金相图像数据量匮乏、所需精度要求较高、标注较为困难等问题，采用有重叠地切分方式以及数据增强方式进行样本获取，以扩充样本的数据量；

(2)本发明采用Resnet-UNet网络模型来对金相图像进行像素级分割，来提取金相晶界，具有分割精准度高、金相晶界提取效果好的优点；

(3)本发明采用基于八邻域和区域生长的金相图像晶界连通方法和基于深度学习的图像缺失区域连通方法相结合的方式，来修复晶粒边界缺失，解决了采用深度学习修复时制作的掩膜mask难以全部覆盖所有的缺失情况的问题，同时生成更符合实际的金相晶粒边界图像，从而更好地实现金相图像混合晶粒度的自动评级；

(4)本发明针对每张采集的金相图像，计算出其中各个晶粒的面积，并非计算的平均晶粒面积，进而可以对晶粒进行特征分析，获得更加准确可信的评级结果；本发明整体上实现了从金相图像中获取每个混合晶粒的面积大小的技术，实现了对金相混合晶粒度的统计和评级，对进一步检测钢铁产品质量有重要的参考价值。

附图说明

图1是本发明实施例建立的金相混合晶粒度自动评级系统的架构图；

图2是本发明实施例实现的进行金相晶界提取和连通方法的流程图；

图3是本发明实施例获取的一对样本的示意图，左边为金相图像，右边为灰度标签图像；

图4是本发明实施例获得的一个晶粒度测试报告示意图。

具体实施方式

下面结合附图和实施例来说明本发明的技术方案。

本发明实施例实现的一种基于深度学习的金相晶界提取和连通方法，用于在边云协同的物理架构上实现的金相混合晶粒度自动评级系统，如图1所示，金相混合晶粒度自动评级系统将丰富的云端业务能力延伸到边缘节点，实现容器、设备、应用的协同，数据在边云无缝的连接，算法在边云无缝升级。用户根据需求，在边缘侧完成高效的自动评级工作，在云端完成长期积累统计性的任务。通过大量数据积累，在云端实现对整个系统算法能力、计算能力的升级，并将升级后的模型适时在边缘侧进行更新。如图1所示，本实施例的金相混合晶粒度自动评级系统包括云服务器、边缘推理设备、结果显示设备和图像采集设备。通过图像采集设备采集金相图像输入给边缘推理设备。边缘推理设备里设置有实现金相晶界提取和连通的方法，以及金相混合晶粒度自动评级模型。边缘推理设备，在利用本发明的金相晶界提取和连通的方法获得金相图像的晶粒面积统计后，在金相混合晶粒度自动评级模型中进一步根据国家标准GB/T 6394-201对晶粒进行特征分析，从而得到评级结果。边缘推理设备将晶粒度评级结果输入结果显示设备，以展示给用户，用户还可对评级结果进行反馈。云服务器预训练和更新本发明的金相晶界提取和连通方法中所使用的深度学习模型，同时还接收用户的反馈，以更新训练数据。云服务器通过数据积累更新深度学习网络模型下发给边缘推理设备。

如图2所示，本发明实施例实现的基于深度学习的金相晶界提取和连通方法，包括如下步骤1～4。

步骤1，采集金相图像，对图像进行预处理，建立图像-标签数据库。图像-标签数据库中存储的每对样本包括一张金相图像和标签图像，标签图像为对应金相图像的晶粒边界图像。

由于金相显微镜采集的图像往往存在噪声，晶粒间的晶界大多不是非常清晰，不便于自动分析，所以有必要在此之前进行去噪处理，从而使金相图像的细节更为突出。本发明实施例对采集的金相图形预处理，去除图像在采集过程中产生的噪声，并且增强晶粒的边缘。预处理操作包括：首先实现自适应直方图均衡化，重新分布亮度来改变图像对比度，以获得更多的图像细节，然后通过高斯滤波消除高斯噪声。

深度学习中，数据量的大小将会直接影响深度学习的性能，小样本模型的训练一直都是一个难题，由于金相图像数据量匮乏、所需精度要求较高、标注较为困难，所以本发明采取了先对2045*1536像素的大尺寸样本手工进行标注，再通过对原图和标签图每隔128px有重叠地切分成多个大小为512*512像素的小尺寸样本，再通过旋转、畸变等方法进行数据增强，来扩充样本的数据量。

本发明实施例中，对采集的原始金相图像进行预处理后，标注出对应的晶粒边界图得到标签图像，再将预处理得到的金相图像和标签图像进行切分，切分后的每张金相图像与对应的标签图像组成一对样本，如图3的左图和右图所示。在对得到的样本对进行数据增强，扩充数据量。本发明实施例中获得的数据集中包含1684对包含边界清晰的、存在划痕杂质的、存在噪声的、晶粒边缘不完全闭合的等融合多种情况的图像-标签样本，构建出用于本发明提取晶界和进行金相图像评级的数据集，将其分为训练数据集、验证数据集和测试数据集，训练集占总数据的70％，验证集占20％，测试集占10％。

在实际应用的时候，即测试时，将采集的图像按照上述方法进行预处理后并切分，输入步骤2处理。

步骤2，采用深度学习语义分割金相图像晶粒边界。

通过传统的利用数字图像处理、拓扑学、数学等知识来对图像进行分割的方法，不能完整提取金相晶粒边界(即晶界)，本发明采用深度学习全卷积神经网络衍生出的一系列语义分割模型来对金相图像进行像素级分割，来提取金相晶界。在全卷积神经网络之中的上采样-反卷积结构中，对输入图像先进行扩大像素的上采样操作，再进行卷积，通过学习获得权值。目前，全卷积神经网络已经成为图像语义分割的基本框架，后续更多算法框架都是在这个框架中改进而来。

本发明实例选用改进的U-Net网络进行晶粒边界分割。U-Net网络是标准的编码-解码网络，特点是参数少，计算快，应用性强，对于一般场景适应度很高。U-Net网络不同于其他全卷积神经网络衍生网络的是，该网络在上采样和下采样的对应网络层使用了跳跃连接，以拼接的方式将解码器和编码器中相同分辨率的特征图feature map进行特征融合，帮助解码器更好地恢复目标的细节。

U-Net做下采样的主干网络BackNone是普通的CBR模块(Conv+BN+ReLU)堆叠的，本发明用学习能力更强的ResNet代替U-Net的下采样，在原始的U-Net中引入了残差连接，形成新的Resnet-UNet网络，添加一条从两次卷积的输入到输出的连接，并做一次卷积操作，直接将编码器与解码器连接来提高准确率，一定程度上减少了处理时间。通过这种方式，改善了网络的梯度流通，避免网络退化，并能加速网络收敛，保留了编码部分中不同层丢失的信息，同时，在进行重新学习丢失的信息时并未增加额外的参数与操作。最终实验证明残差连接的引入使得mIoU从0.8769提升至0.8903。mIoU是一个语义分割评价指标，是计算真实值和预测值两个集合的交集和并集之比。

预先利用步骤1获取的图像-标签数据库对Resnet-UNet网络进行训练，训练时，将样本中的金相图像输入Resnet-UNet网络，对应的标签图像应为输出结果，迭代获取Resnet-UNet网络的最佳参数，完成本步骤中Resnet-UNet网络的训练。

在测试的时候，对切分的各512*512像素的图像输入训练好的Resnet-UNet网络提取晶粒边界。

步骤3，对金相图像的晶界进行连通，以修复原图像存在的边界缺失的缺陷。

由于金相图像样本量较少、晶粒边界缺失的方式和金相图像的复杂程度又多种多样，会影响深度学习模型的识别效果，甚至有些晶粒在制样时会因腐蚀程度等因素直接导致晶粒边缘不闭合等缺陷。金相混合晶粒度自动评级的基础是识别出具有完整闭合边界的晶粒，晶粒边缘的细小缺口可能不影响人眼的观察和评测，但计算机的识别是对完整连通域的识别，存在的缺口会对其造成很大的影响，所以需要对金相图像进行边界连通。

本发明对步骤2输出的图像，先通过基于深度学习的金相图像缺失区域连通方法对晶粒边界的缺失区域进行修复，然后将修复后的图像利用基于八邻域和区域生长的连通方法进一步进行晶界连通，以实现对分割后的图像的缺陷修复，并提高晶界识别的准确率，提高金相混合晶粒度自动评级的准确率。

金相图像边界连通的目的是在给定一个掩膜mask的情况下，对晶粒边界的缺失区域进行像素填充，使其整体达到纹理和结构的一致性，或者语义和视觉的可信性。但金相图像边界连通本身就是一个高度病态问题，其过程带有高度的主观性。现有的大多数基于深度学习的图像缺失区域的连通方法是将图像修复视为一个条件生成问题，输入到输出的映射是一对多，最后生成一个最优的结果。然而该结果没有丰富的语义内容，可能生成的结果内容与缺失前不同，但仍看似合理。

本发明基于深度学习的金相图像缺失区域连通方法是采用在已具备完美无缺失区域的金相图像的基础下，按照自然的晶粒边缘闭合情况，制作晶界缺失的mask掩膜，得到一个新的图像，将其作为深度神经网络的输入，晶界完整的图像作为对应的标签图像，对深度学习网络模型进行训练。通过训练好的深度学习网络模型对图像的缺失区域进行像素填充，使其整体达到纹理和结构的一致性，或者语义和视觉的可信性。

所用的深度学习网络模型可采用全卷积神经网络，本发明实施例中优选Resnet-UNet网络，利用无缺失区域的样本中的标签图像叠加mask的图像作为深度学习网络模型的输入图像，将对应的具有完整边界的标签图像作为深度学习网络模型的输出图像。通过不断获取补充缺失边界区域的完整晶粒边界图像不断扩充训练数据集，再进一步对网络进行训练和迭代，令深度学习网络模型最终产生晶粒边界完整的输出。

由于深度学习模型的效果和数据量有着极大的关联，本发明中制作的mask难以全部覆盖所有的缺失情况，所以本发明使用的金相图像晶粒边界连通方法结合了基于八邻域跟踪和扩散生长的传统图像连通方法和基于深度学习的图像缺失区域连通方法，使最终的晶粒连通域更为清晰准确，生成更符合实际的金相晶粒边界图像，从而更好地实现金相图像混合晶粒度的自动评级，使评级结果更具有实际意义。

本步骤在进行了基于深度学习的金相图像缺失区域连通方法后，继续进行基于八邻域和区域生长的金相图像晶界连通方法，对边缘缺口进行查找和判断，利用待修复区域的边缘信息，确定生长扩散的方向，向目标方向填充已知的信息。

基于八邻域和区域生长的金相图像晶界连通方法是采用传统的图像缺失区域连通手段，对边缘缺口进行查找和判断，利用待连通区域的边缘信息，确定生长扩散的方向，向目标方向填充已知的信息。该方法适用于尺度较小的缺陷，当缺失区域较大或几个相邻缺失区域较近纹理较为复杂时，该方法的修复结果存在模糊问题。该方法无法对图像缺失部分的纹理进行推理，连通结果存在结构和纹理的不一致问题，但经测试，对金相混合晶粒度的评级统计不会造成太大影响。

具体地，本发明实施例所实现的基于八邻域和区域生长的金相图像晶界连通方法，包括：

首先，对输入的图像进行二值化操作，使其边界全由相同灰度像素构成；

第二步，对二值化处理后的图像进行细化骨架操作，删除不需要的轮廓点，只保留其骨架点，使金相晶粒边界由单像素值构成；

第三步，将二值化多像素边界图像细化为单像素边界后，使用八邻域轮廓跟踪算法查找端点；

第四步，去除“毛刺”，由于第二步细化骨架中，在某些较粗的晶粒边界部分不可避免地产生了一些“毛刺”，这些“毛刺”的存在会影响对端点的识别与判断，对后续操作产生不小影响，因此需要去除“毛刺”，具体步骤包括：(1)从列表中提取端点，设置阈值为n，(2)从目标点第n层的(8*n)邻域开始查找，若第n层邻域和等于1，(n+1)层的邻域和不等于1，则去除第n层值为1的点，(3)若第n层的邻域和不等于1，则查找下一层n＝n-1，循环步骤(2)，直至查找到目标点所在层，(4)从端点列表删除“毛刺”的端点。阈值设置过大，会将一些较短的存在缺陷的边缘去除，设置过小又回残留一些“毛刺”，经过实验，本发明实施例将阈值n设置为7较为理想；

最后一步，进行缺陷填充，先将距离小于预设阈值的两个端点相连，然后将较远端点按照端点八邻域为1的点的反方向生长，修复缺陷区域，形成新的连通域。

步骤4，对步骤3输出的金相图像标注连通域，计算晶粒实际面积。

经过步骤3得到修复的晶界图像，首先进行重新拼接，恢复到初始的2045*1536像素大小的图像。每个晶粒均为独立个体，每个连通域即为一个拥有闭合边界的晶粒，本发明实施例通过openCV对拼接图像标注连通域，计算连通域的像素面积，根据采集图像设备的比例尺换算出连通域的实际面积，即得到晶粒面积，进而可对照国家标准GB/T 6394-201-金属平均晶粒度测定方法中的面积法对晶粒进行特征分析，从而得到较为准确可信的晶粒评级结果。本发明实施例统计整张图片的晶粒个数和对应的评级结果，生成统计柱状图，最终呈现更直观的检测报告。

本发明方法采用深度学习语义分割Resnet-UNet网络模型实现金相图像晶粒边界的自动分割和提取，通过编码-解码结构的网络，能更好地恢复图像的细节，获得更精准的边界信息，最终在基于U-Net的语义分割网络上实现了晶界识别96％的准确度，详细结果如表1所示。

表1本发明实施例识别出晶界和晶粒的效果

类别	精准率	召回率	交并比
				晶界	0.9607	0.9735	0.9362
晶粒	0.9315	0.9004	0.8445

再结合基于八邻域跟踪和扩散生长的传统图像修复方法和基于深度学习的图像修复方法，使最终的晶粒连通域更为清晰准确，从而使评级结果更具有实际意义。最终生成包含平均晶粒度级别、晶粒大小分布个数的表格、晶粒度分布等级柱状图、原始图片和晶界重构图片的PDF晶粒度测试报告，如图4所示。由图4可看出，本发明方法能获得晶粒大小分布，包括晶粒度和个数，不同与现有技术中计算平均晶粒的面积，本发明关注各个晶粒面积，进而能准确进行晶粒度评价。

Claims (8)

1.一种基于深度学习的金相晶界提取和连通方法，其特征在于，包括以下步骤：

步骤1，采集金相图像，对图像进行预处理进行去噪并增强晶粒边界，然后建立图像-标签数据库；所述图像-标签数据库中存储的每一对样本包括一张金相图像和对应的标签图像，标签图像为金相图像的晶粒边界图；

测试时，对采集的金相图像进行预处理后并切分，输入步骤2；

步骤2，使用第一深度学习模型分割金相图像中的晶粒边界；所述第一深度学习模型采用Resnet-UNet网络，并预先利用所述图像-标签数据库中的样本进行训练；

步骤3，对步骤2输出的图像中的晶粒边界进行连通；

先采用基于深度学习的金相图像缺失区域连通方法对图像中的晶粒边界进行修复，对修复后的图像继续利用基于八邻域和区域生长的连通方法进行晶粒边界连通；所述基于深度学习的金相图像缺失区域连通方法中的第二深度学习模型为Resnet-UNet网络，预先利用所述图像-标签数据库中晶粒边界无缺失区域的样本对第二深度学习模型进行训练；

步骤4，将步骤3输出的晶粒边界图进行组合，恢复成初始图像大小，标注图像中晶粒边界的连通域，并计算每个晶粒的实际面积。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，对原始采集的金相图像进行预处理，包括：进行自适应直方图均衡化；调整图像对比度，以突出金相图像的细节；进行高斯滤波。

3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1中，在建立图像-标签数据库时，将预处理得到的图像和对应的标签图像每隔128像素进行有重叠地切分，切分获取大小为512*512像素的图像，将切分后得到的一张金相图像和对应的标签图像作为一对样本；对得到的样本进行数据增强以扩充样本数据量。

4.根据权利要求1所述的方法，其特征在于，所述的步骤3中，对获取的晶粒边界无缺失区域的样本，按照自然的晶粒边缘闭合情况，制作晶界缺失的掩膜mask，将样本中的标签图像叠加mask的图像形成新的图像，作为第二深度学习模型的输入图像，将样本中的标签图像作为第二深度学习模型的输出结果，对第二深度学习模型进行训练。

5.根据权利要求1所述的方法，其特征在于，所述的步骤3中，基于八邻域和区域生长的连通方法进行晶粒边界连通的方法，包括：(31)对输入图像进行二值化操作，使图像中的晶粒边界全由相同的灰度像素构成；(32)对二值化处理后的图像进行细化骨架操作，删除不需要的轮廓点，使金相晶粒边界由单像素值构成；(33)使用八邻域轮廓跟踪算法查找端点；(34)去除“毛刺”；(35)进行缺陷填充，先将距离小于预设阈值的两个端点相连，然后将较远端点按照端点八邻域为1的点的反方向生长，修复缺陷区域，形成新的连通域。

6.根据权利要求5所述的方法，其特征在于，所述的步骤(34)去除“毛刺”，包括：

(1)从列表中提取端点，设置阈值n＝7；从目标点第n层的(8*n)邻域开始查找，取当前层k＝n；(2)若第k层的邻域和等于1，第k+1层的邻域和不等于1，则去除第k层值为1的点；所删除的点为属于“毛刺”的端点；(3)若第k层的邻域和不等于1，继续查找下一层，更新当前层k为第k-1层，继续执行(2)，直到查找到目标点。

7.根据权利要求1所述的方法，其特征在于，所述的步骤4中，每个连通域为一个拥有闭合边界的晶粒，注连通域，计算连通域像素面积，根据晶粒面积获得对应的晶粒度评级结果，统计整张图片的晶粒个数和对应的评级结果，生成统计柱状图。

8.基于权利要求1或4或5所述的方法实现的一种金相混合晶粒度自动评级系统，其特征在于，包括云服务器、边缘推理设备、结果显示设备和图像采集设备；其中，图像采集设备采集金相图像输入给边缘推理设备；边缘推理设备中设置有所述的基于深度学习的金相晶界提取和连通方法，以及金相混合晶粒度自动评级模型；边缘推理设备由所述的基于深度学习的金相晶界提取和连通方法获取金相图像的晶粒面积统计后，再通过金相混合晶粒度自动评级模型获得晶粒评级结果；边缘推理设备将晶粒度评级结果输入结果显示设备，以展示给用户，用户对评级结果进行反馈；云服务器中对所述的基于深度学习的金相晶界提取和连通方法中所使用的第一深度学习模型和第二深度学习模型进行预训练与更新，下发给边缘设备，同时还接收用户的反馈，以更新训练数据。

Images