CN109658396A - 一种基于选择性搜索与cnn的铸件x光图像缺陷识别方法 - Google Patents

Abstract

本发明属于铸件制造配套工艺相关技术领域，并公开了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其包括：针对待进行质量检测的每个铸件拍摄X射线图像并进行图像预处理；采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来；建立模型图像数据库，基于卷积神经网络构建缺陷分类模型，并训练直至满足预测精度要求；基于上述构建的缺陷分类模型预测各缺陷类别并标记，同时根据图像像素信息计算缺陷相对尺寸和位置，获得铸件X射线图像缺陷检测报告。通过本发明，能够更为精确、便捷地自动检测出铸件X射线图像内各类缺陷，并自动判定出缺陷类别，减少人工工作量，且部分检测结果可直接与生产相联，从而为优化铸造工艺提供数据反馈。

Description

一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法

技术领域

本发明属于铸件制造配套工艺相关技术领域，更具体地，涉及一种基于选择性搜索与CNN(卷积神经网络)的铸件X光图像缺陷识别方法。

背景技术

铸造是现代制造工业的基础工艺之一。铸件各类缺陷严重影响铸造产品的安全使用，因此实现铸件缺陷检测是控制铸件质量的重要环节。随着无损检测技术的高速发展，各类检测技术在工业检测领域获得了广泛应用，如超声检测、红外检测和射线检测等，这些检测结果为提升产品的质量安全提供了数据支持；其中X射线成像检测通过透射试件内部，可高效获得其内部缺陷数量、各缺陷形态和位置分布等信息，因此越来越多地获得了本领域的重视和关注。

然而，进一步的研究表明，现有的铸件X射线图像检测方案仍具备以下的缺陷或不足：首先，目前常规的做法是，当铸件经过X射线实时扫描和成像后，将对应底片物理打印出来，专业人员再对成像胶片进行人工检测，从而判定缺陷的类型、量化尺寸并记录位置信息等；该种手工检测方法存在人员主观依赖性强、缺陷存在误检漏检等问题，且过程步骤较为繁琐，缺陷检测效率不高，信息保存和查询极为不便，不能实时反馈被检铸件的质量情况。其次，对于造型浇注的整体生产线而言，其涉及到的环节和数据信息较多，质量检测环节作为检验铸件工艺成果的主要环节之一，保持检测结果与整体生产流程信息的及时关联性尤为重要，从而能及时为工艺优化提供准确的数据反馈。相应地，本领域亟需寻找针对性的解决方案，以便更好地满足实际生产实践中面临的以上技术需求。

发明内容

针对现有技术的以上不足或改进需求，本发明提供了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其中通过紧密结合浇注成型生产线的相关数据特征及工艺需求分析，从多种算法中选择引入特定的图像搜索和缺陷类别预测模型，相应不仅可以更为精确、及时地反馈铸件质量检测结果信息，跟踪追溯得出铸件质量缺陷的根源及关键过程，进而能够快速掌握整个浇注工艺过程质量问题产生的规律性，因此尤其适用于现代化制造过程中需要对铸件质量执行高效率、高质量在线监控的应用场合。

为实现上述目的，按照本发明，提供了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其特征在于，该方法包括下列步骤：

(S1)针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理；

(S2)采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；

(S3)将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和验证集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；

(S4)将上述步骤(S2)框选出来的候选区域输入至通过上述步骤(S3)优化后的预测模型，相应得出铸件质量缺陷的所属类别并给予位置标定，由此完成整体的铸件X光图像缺陷识别过程。

作为进一步优选地，在步骤(S1)中，所述增强处理优选包括亮度增强、色度增强、对比度增强和锐度增强等操作。

作为进一步优选地，在步骤(S4)中，优选还包括得出铸件质量缺陷相对尺寸大小的操作，该过程设计如下：当确定所述候选区域的缺陷类别后，优选将其标记在图像内的缺陷一侧，同时打印各缺陷外接区域方框左下和右上对角线上的两个参考点的坐标值，由此对缺陷在候选区域中的位置给予定位；接着将这两个参考点的坐标值做差以计算外接方框的宽高，由此对缺陷在候选区域中的尺寸大小给予表征。

作为进一步优选地，在步骤(S4)中，优选还包括以一张完整的铸件X射线图像为单位，对应生成铸件缺陷检测报告的操作，并且将此报告存储在所述数据库中备用。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1、该方法依据图像内目标物体特征自动进行搜索和分类，脱离了人为主观性，减少了漏检和误检情况；此外整个检测过程无需将底片打印出来单独检测和管理，节省人力物力成本，同时减少人工劳动量，缩短检测时间，提高了检测效率；

2、本发明还进一步通过对铸件缺陷类别预测过程的特定模型相应算法进行了优化设计，较多的实际测试表明，其相应能够显著提高铸件缺陷类型的预测准确度及缺陷位置和尺寸的数据精度；

3、该检测方法实时检测铸件即出电子化缺陷检测报告，报告存储和归档查询与铸件信息直接对应，部分检测结果可单独提取与铸件生产制造相联系，为优化铸造工艺及时提供准确的数据反馈。

附图说明

图1是按照本发明优选实施方式所构建的铸件X光图像缺陷识别方法的整体工艺流程示意图；

图2是更为具体地显示了按照本发明采用CNN来构建分类模型及预测的处理过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是按照本发明优选实施方式所构建的铸件X光图像缺陷识别方法的整体工艺流程示意图。如图1中所示，该工艺主要包括下列流程步骤：

首先，针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理等预处理。

更具体而言，可根据铸件X射线图像目标特征，选取适合的图像滤波与增强组合，以改善后续处理的图像质量。滤波时考虑到铸件存在尺寸较小的缺陷，所以在选择滤波器或者窗口尺寸时注意保留图像细节。针对铸件X射线图像为灰度图像，可适当增强图像亮度、色度、对比度以及锐度，以提高图像目标与背景的对比，改善后续检测效果。

接着，优选可采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；

更具体而言，铸件X射线图像经过处理后，可以检测图像内目标的相似度，包括纹理相似度、尺度相似度和交叠相似度等，基于选择性搜索算法将图像内可疑区域全部框选出来，并譬如可按照图像从左到右从上至下顺序编号。此处的目标既包括真实缺陷，也可能包括铸件结构设计所造成的灰度突变区域，所有候选区域留待后续详细分类。

接着，是构建并训练基于CNN的缺陷类别预测模型的步骤。

如图2更具体所示，在本发明中将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和测试集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；模型结构主要包括输入层、5层卷积池化层、3层全连接层和输出层，此构建原理为本领域所熟知，因此在此不再赘述。

更具体而言，在进行模型训练之前，先准备图像数据集。将图像内框选出来的候选区域给定标签，具体类别为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景等8个类别，分类依据为各类别目标的灰度差别、边界规则度、边缘形状和内部纹理特征等，上述数据优选按比例4:1分为训练集和验证集。

此外，基于卷积神经网络(CNN)构建缺陷分类模型，模型主要包括输入层、卷积池化层、全连接层和输出层。训练时以目标图像为X，标签为Y进行模型训练。模型训练好之后再将验证集图像输入，验证预测精度，若精度不满足要求则改善模型结构或调整学习速率等参数进行优化，直至达到需求精度。

最后，将上述已框选出来的候选区域输入至通过优化后的预测模型，相应得出铸件质量缺陷的所属类别并给予位置标定，由此完成整体的铸件X光图像缺陷识别过程。

更具体而言，将已经过预处理和区域检测的图像送入训练好的上述模型，输出为上述8个类别，类别标记在图像内缺陷侧旁，同时打印各缺陷外接方框左下和右上对角线两点坐标值，用以缺陷在图像上的定位。并将这两点坐标值作差，计算外接方框的宽高，用该值表征缺陷的尺寸大小。综合上述所获得的缺陷信息，以一张完整铸件X射线图像为单位，对应生成一张铸件缺陷检测报告，报告名称与当前图像名称同名，报告内容按缺陷类别记录各缺陷的编号、相对位置和尺寸，且进行汇总后统计数量。

按照本发明的另一优选实施方式，在完成铸件质量缺陷的预测之后，还可以增加质量缺陷的追溯步骤。该步骤具体涉及如下：将包含有缺陷类别及位置的质量缺陷等信息映射到所述数据库中，并且使得此质量缺陷信息与生产系统和工艺系统内的数据相关联，明确该铸件在系统内的具体参数，进而基于铸件已有的推荐参数范围来在线追溯铸件质量缺陷的具体原因及相关信息。

更具体而言，通过把质量信息映射至铸件当前生命周期历史记录将该问题铸件与同类铸件在生产过程中的例如铸件工艺卡信息和设备监控信息进行对比，并探索多个铸件缺陷问题产生的规律性，分析质量问题产生的根源。

例如，想要查看特定铸件编号铸件的相关信息，可在精确搜索栏中输入相应编号，即可查看资源管理系统内已录入的该铸件的所有信息，例如工艺设计方案和历史生产在制监控信息，经过比对工艺设计参数和实际生产信息，排查数值差距超标的参数，从而追溯到铸件产生缺陷的可能根源。

综上，按照本发明的识别方法，通过对铸件缺陷类别预测过程的特定模型及相应算法的优化设计，相应能够提高铸件缺陷类型的预测准确度及缺陷位置和尺寸的数据精度，同时与生产过程的其他记录共同形成质量分析系统，进而高效、便于操控地探索其中规律性问题。此外，整个操作过程可自动进行，减轻人工劳动量，提升检测精度和检测效率，且为铸件生产工艺改进提供质量数据反馈支持。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其特征在于，该方法包括下列步骤：

(S1)针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理；

(S2)采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；

(S3)将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和验证集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；

(S4)将上述步骤(S2)框选出来的候选区域输入至通过上述步骤(S3)优化后的预测模型，相应得出铸件质量缺陷的所属类别，并给予位置标定，由此完成整体的铸件X光图像缺陷识别过程。

2.如权利要求1所述的铸件X光图像缺陷识别方法，其特征在于，在步骤(S1)中，所述增强处理优选包括亮度增强、色度增强、对比度增强和锐度增强等操作。

3.如权利要求1或2所述的铸件X光图像缺陷识别方法，其特征在于，在步骤(S4)中，优选还包括得出铸件质量缺陷相对尺寸大小的操作，该过程设计如下：当确定所述候选区域的缺陷类别后，优选将其标记在图像内的缺陷一侧，同时打印各缺陷外接区域方框左下和右上对角线上的两个参考点的坐标值，由此对缺陷在候选区域中的位置给予定位；接着将这两个参考点的坐标值做差以计算外接方框的宽高，由此对缺陷在候选区域中的尺寸大小给予表征。

4.如权利要求1-3任意一项所述的铸件X光图像缺陷识别方法，其特征在于，在步骤(S4)中，优选还包括以一张完整铸件X射线图像为单位，对应生成铸件缺陷检测报告的操作，并且将此报告存储在所述数据库中备用。