CN112881424A - Ai+荧光渗透小型管件表面缺陷检测及质量分级方法与系统 - Google Patents

Abstract

本发明公开了一种AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统，包括：采集荧光渗透处理后的管件表面图像，并将管件表面检测图片分类标注，将标注后的管件表面检测结果放入深度学习神经网络MaskR‑CNN训练集中训练；使用训练后的Mask R‑CNN检测管件表面图片上缺陷类型，并记数；提取管件表面图像缺陷区域，并计算图像缺陷区域面积、长度；根据无损检测质量分级标准，评价管件表面质量等级。所述系统包括工业相机固定支架、工业相机、镜头、上位机。

Description

AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统

技术领域

本发明涉及无损检测技术领域，尤其涉及一种基于AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统。

背景技术

小型管件是一种工业中常见承压元件，主要用于气体、液体等介质的传输。小型管件具有功能多样、种类繁多、使用场景灵活的明显优势，其在实际生产生活中更是得到广泛而高频的应用。为了保证工业生产的可靠性、安全性、对小型管件表面缺陷做出检测，并对其质量进行分级评价，是非常有必要的。加之近年来管件质量问题所造成的安全事故时有发生，管件质量安全引起无损检测领域的广泛关注。为检测小型管件质量，无损检测领域通常采用荧光渗透法。首先对小型管件喷涂荧光试剂，然后喷涂显色剂，这样管件表面的缺陷部分就会因为毛细现象吸附荧光剂，又在显色剂作用下显色，从而达到管件表面缺陷检测的作用。由于显色步骤需在工业紫外灯下进行，且需佩戴防紫外设备进行作业。同时，工作人员还需人为计算缺陷数量，并使用尺子等工具进行定量评定。因此，如何使用机器代人的方式实现小型管件表面缺陷检测与质量分级评价，从而提高小型管件表面缺陷检测效率就成了亟待解决的问题。

基于AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统，主要包含图像采集装置、管件缺陷检测方法、管件表面质量分级评价方法。图像采集系统如专利号CN111678865A等，使用导向机构搭配三台不同角度的相机，实现产品外观在线质量检测。管件表面缺陷检测方法如专利申请号 CN212133534U、CN112070766A等，采用机器视觉的方式对元件表面缺陷进行检测。管件表面质量分级评价方法如专利申请号CN110618134A等，使用工控机完成缺陷分类和钢板质量的评级。

上述具体专利对比文件为：

1)、“基于深度自学习的外观在线质量检测系统的图像采集装置”，专利号CN111678865A。该发明涉及一种基于深度自学习的外观在线质量检测系统的图像采集装置，包括拱形的光源罩，光源罩的底部空间为烟包外观拍摄区域，烟包外观拍摄区域的一侧为烟包进口，另一侧为烟包出口，烟包进口处设有烟包进入导向机构，烟包出口处设有烟包出去导向机构，烟包进口处设有第一相机，烟包出口处设有第二相机，光源罩的侧面设有第三相机。本装置的光源设置以及相机的布局角度，有效解决反光问题。主光源入口导向、烟包进入导向机构，烟包出去导向机构，均提高了烟包通过检测区域的稳定性，提高了监测正确率。本发明的管件拍摄装置与上述不同，为完整拍摄管件侧面缺陷检测图片，首先本装置的相机数量只有一个，为实现小型管件侧表面完整图像采集，本装置将小型管件放置于旋转台上，使旋转台旋转固定角度后才进行图像拍摄。另外，本装置的遮光罩也与上述装置设计的不同，本装置的遮光罩位于相机拍摄的一侧，且内部设置有旋转台和光源，保证相机拍摄时，管件表面图像清晰完整，且避免外部杂光干扰，影响检测效果。因此本专利与上述专利明显不同。

2)、“一种金属表面缺陷检测装置”，专利号CN212133534U。该专利公开了一种金属表面缺陷检测装置，包括滑杆，所述滑杆的两侧均固定连接有支撑板，所述滑杆的表面活动套设有滑套，所述滑套的背表面贯穿设置有第二螺纹杆，所述第二螺纹杆的内腔前侧贯穿至滑套的内腔，第二螺纹杆的后侧贯穿至滑套的后侧并固定连接有紧固旋钮。该专利通过滑杆、安装板、调节旋钮、滑套、支撑板、第一螺纹杆、对比刻度线、检测头、固定板、螺纹筒和平衡线的配合使用，能够对金属表面缺陷进行精确检测，同时操作简单，方便使用者使用，解决了现有金属表面缺陷检测通常为目测，这种方法精确度很差，无法满足精密工件的检测，即使有小部分检测装置，但大都操作复杂，不方便使用者使用的问题。本发明的AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统与上述发明不同。本发明是在荧光渗透检测法的基础上进行改良，通过机器视觉的方式实现机器代人进行小型管件表面缺陷检测。采集到的图片将传输给上位机，进行图像处理，使用深度学习算法的方式，得到的管件表面缺陷检测方法。因此本申请文件与上述专利明显不同。

3)、“缺陷检测方法及装置、检测设备及可读存储介质”，专利号 CN112070766A。该专利本申请公开了一种缺陷检测方法，用于检测晶圆的边缘，缺陷检测方法包括：处理边缘的图像信息以建立第一图像；依据第一图像的轮廓线中，倾斜角度在预设角度范围内的直线，建立第二图像；依据第一图像及第二图像，重建边缘的图像为第三图像，第三图像包括重建的边缘分界线；及依据边缘分界线及第一图像，识别边缘的缺陷的位置。本申请还公开了一种缺陷检测装置、检测设备及计算机可读存储介质。通过重建边缘分界线，可以检测晶圆的边缘，且检测到的边缘的缺陷比较准确，另外对正常图像的误检程度较低。本申请文件与上述发明不同，虽然本申请文件采用的检测方法与上述专利类似，都属于利用机器视觉的表面缺陷检测方式，但本申请文件的在相机拍摄图片后进行图像处理的算法显然与上述算法不同。上述检测过程主要使用边缘检测算法，且图片之间具有继承性、在执行算法的过程中，图片之间存在相互依靠。而本发明使用的检测算法则主要是利用深度学习的目标检测算法与实力分割算法，通过改良这两种算法，对每张图片独立进行检测。因此本发明无论在算法原理上，还是在算法执行上，都与上述专利不同。

4)、“钢板表面质量缺陷检测评级系统及方法”，专利号CN110618134A。该专利本公开了一种钢板表面质量缺陷检测评级系统及方法，该方法包括：采集模块获取钢板表面图像信息；FPGA图像采集板卡将图像信息传输至 DSP数据处理模块；DSP数据处理模块完成缺陷检测和分割，并将检测出的缺陷发送给工控机；工控机完成缺陷分类和钢板质量的评级。本发明的钢板表面质量缺陷检测评级系统及方法，采用FPGA+DSP结合的方式，高速采集处理图像，能够自动完成钢板表面的缺陷检测和评级，减少了劳动力消耗，避免人工检测主观性导致的误检，检测效率和准确性较高。本申请文件与上述发明不同，虽然本申请文件采用的检测方法与上述专利类似，都属于利用机器视觉的表面缺陷检测方式，但本申请文件的在相机拍摄图片后进行缺陷检测、质量评级的方式却与上述专利有显著区别。首先本专利的缺陷检测过程是通过深度学习神经网络实现的，这与上述专利的检测算法原理有本质区别。其次本专利中计算缺陷部分面积的部分是上述专利所没有的。而且由于国家标准中对质量分级进行了详细规范，本专利还需计算缺陷长度，并进行计数，该部分也是上述专利不具有的。因此本专利与上述专利明显不同。

发明内容

为解决上述技术问题，本发明的目的是提供一种AI+荧光渗透小型管件表面缺陷检测及质量分级方法与系统。

本发明的目的通过以下的技术方案来实现：

一种AI+荧光渗透的小型管件表面缺陷检测及质量分级方法，包括：

A采集荧光渗透处理后的管件表面图像，并将管件表面检测图片分类标注，将标注后的管件表面检测结果放入深度学习神经网络Mask R-CNN训练集中训练；

B使用训练后的Mask R-CNN检测管件表面图片上缺陷类型，并记数；

C提取管件表面图像缺陷区域，并计算图像缺陷区域面积、长度；

D根据无损检测质量分级标准，评价管件表面质量等级。

一种AI+荧光渗透的小型管件表面缺陷检测及质量分级系统，包括：

工业相机固定支架、工业相机、镜头、上位机；所述：

工业相机固定支架，用于安装、固定业相机，能够进行微调；

工业相机，用于安装镜头，能够进行微调；

镜头，用于拍摄小型管件外表面图像，并上传至上位机；

上位机，用于处理管件表面图像，进行管件表面缺陷检测及质量分级。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

通过工业相机、旋转台、上位机，可采集到小型管件完整表面图片，并在上位机通过深度学习方式进行表面缺陷检测与质量分级评价；工业相机固定支架，实现对摄像头的安装固定，并能够进行微调；小型管件置于旋转台上，可通过对旋转台角度使其上的小型管件能完整展示侧表面信息；可通过采集荧光渗透处理后的管件表面图像，并将管件表面检测图片分类标注，对深度学习神经网络Mask R-CNN进行训练；可使用训练后的Mask R-CNN检测管件表面图片上缺陷类型，并记数；可提取管件表面图像缺陷区域，并计算面积、长度；根据无损检测质量分级标准，评价管件表面缺陷等级。该方法具有自动化程度高、速度快、劳动成本低和对准精度高的特点，具有实际意义和推广价值。

附图说明

图1是AI+荧光渗透小型管件表面缺陷检测及质量分级方法流程图；

图2是小型管件图像采集装置俯视图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为AI+荧光渗透的小型管件表面缺陷检测及质量分级方法流程，包括以下步骤：

步骤10采集荧光渗透处理后的管件表面图像，并将管件表面检测图片分类标注，将标注后的管件表面检测结果放入深度学习神经网络Mask R-CNN 训练集中训练；

步骤20使用训练后的Mask R-CNN检测管件表面图片上缺陷类型，并记数；

步骤30提取管件表面图像缺陷区域，并计算图像缺陷区域面积、长度；

步骤40根据无损检测质量分级标准，评价管件表面质量等级。

上述步骤10具体包括：

管件表面图像来拍摄于荧光渗透处理后的小型管件；管件表面检测结果分为焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷；

采集图片时，管件下方旋转台静止，待该角度采集完毕后，旋转台按固定角度旋转，待管件和旋转台状态稳定后，相机再采集管件表面图像。旋转台旋转一周后，相机向上位机传输管件表面图片，并编写上位机图像处理程序。

使用标注工具标注出数据集图片上的焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷区域及类型。

将数据集划分为训练集、验证集、测试集。需使用训练集训练Mask R-CNN，并使用验证集对其参数进行二次调整和回归，Mask R-CNN是两阶段神经网络，在第一阶段，即主干网络部分，Mask R-CNN利用残差神经网络(ResNet)与特征金字塔结构(Feature PyramidNetworks,FPN)习得管件表面缺陷特征，并通过区域建议网络(Region ProposalNetworks,RPN)生成多个管件表面缺陷的锚点区域。在第二阶段，即功能网络部分，Mask R-CNN根据候选框的分类损失函数、坐标回归损失函数、掩码结果生成管件表面缺陷的类别、实力分割结果。需使用测试集检验模型训练效果，以及泛化能力，从而得到适用于检测管件表面缺陷的Mask R-CNN模型。

上述步骤20具体包括：

Mask R-CNN检测管件表面缺陷类型具体流程为：主干网络提取特征图，并分别降采样为1/4、1/8、1/16、1/32原图大小的图片，FPN通过融合分别输出1/4、1/8、1/16、1/32原图大小的特征图共256个，RPN在这四个尺度下的分别取出512个锚框，并进行分类识别、检测边界框、分割形状。

设RPN分类识别中某点的某个锚框为box_k(k∈N^*,k≤512)对应焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷这六类的神经元输出分别为t₁、t₂、t₃、t₄、t₅、t₆，设该锚框属于焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷的概率分别为p₁、p₂、p₃、p₄、p₅、 p₆，设该区域的初步分类结果为r_box-k：

设RPN分类识别后得到缺陷区域共m块，该区域的分类结果为r_j，统计后该图像中焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷的数量分别为n_weld、 n_dent、n_arc、n_crack：

上述步骤30具体包括：

设图像中像素的横纵坐标分别为u、v，其微分分别为du、dv。设在垂直于相机光轴的平面内像素对应的实际物理坐标分别为x、y，其微分分别为dx、dy。设拍摄小型管件表面时，采用张氏标定法标定得到图像上每个像素实际平均宽度

每个像素实际平均高度

设待检图片中，经过RPN 区域位置回归得到缺陷所在位置向量[u₁ v₁ u₂ v₂]，设以(u₁,v₁)位左上角坐标、以(u₂,v₂)为右下角坐标的矩形区域为D_box，其中掩膜区域为D_mask，掩膜面积为S_mask，掩膜区域对应的实际缺陷面积为S。

上述步骤40具体包括：

设RPN检测得缺陷中，线性缺陷的最大长度l，判断管件缺陷质量等级:

设RPN检测得缺陷中，回归得到缺陷检测结果矩形框区域D_mask内，存在 n块圆形缺陷，且其中最大尺寸d，判断管件缺陷质量等级:

AI+荧光渗透的小型管件表面缺陷检测及质量分级系统，包括工业相机固定支架、工业相机、镜头、上位机；所述：

工业相机固定支架，用于安装、固定业相机，能够进行微调；

工业相机，用于安装镜头，能够进行微调；

镜头，用于拍摄小型管件外表面图像，并上传至上位机；

上位机，用于处理管件表面图像，进行管件表面缺陷检测及质量分级。

如图2所示，管件表面图像需拍摄来自荧光渗透处理后的小型管件，相机1需在管件水平横截面的直径方向，通过镜头2，能够进行微调。管件3 需放置于水平旋转台中心位置，且位于相机成像视野中心位置。旋转台需置于遮光罩4中心位置，且始终保持底面水平。遮光罩面置于相机拍摄的一侧，且内部设置有旋转台和光源5，且保证面向相机的一侧设置有足够大镂空面积，保证相机能采集管件表面图片时不被遮挡，管件表面图像清晰完整。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.AI+荧光渗透小型管件表面缺陷检测及质量分级方法，其特征在于，所述方法包括：

A采集荧光渗透处理后的管件表面图像，并将管件表面检测图片分类标注，将标注后的管件表面检测结果放入深度学习神经网络Mask R-CNN训练集中训练；

B使用训练后的Mask R-CNN检测管件表面图片上缺陷类型，并记数；

C提取管件表面图像缺陷区域，并计算图像缺陷区域面积、长度；

D根据无损检测质量分级标准，评价管件表面质量等级。

2.如权利要求1所述的AI+荧光渗透小型管件表面缺陷检测及质量分级方法，其特征在于，所述步骤A中：管件表面图像来拍摄于荧光渗透处理后的小型管件；管件表面检测结果分为焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷；

所述训练集Mask R-CNN通过验证集对缺陷参数进行二次调整和回归，Mask R-CNN为两阶段神经网络，在第一阶段，即主干网络部分，Mask R-CNN利用残差神经网络ResNet与特征金字塔结构习得管件表面缺陷特征，并通过区域建议网络生成多个管件表面缺陷的锚点区域；在第二阶段，即功能网络部分，Mask R-CNN根据候选框的分类损失函数、坐标回归损失函数、掩码结果生成管件表面缺陷的类别、实力分割结果，使用测试集检验模型训练效果及泛化能力得到适用于检测管件表面缺陷的Mask R-CNN模型。

3.如权利要求1所述的AI+荧光渗透小型管件表面缺陷检测及质量分级方法，其特征在于，所述步骤B中检测管件表面图片上缺陷类型具体流程包括：主干网络提取特征图，并分别降采样为1/4、1/8、1/16、1/32原图大小的图片，FPN通过融合分别输出1/4、1/8、1/16、1/32原图大小的特征图共256个，RPN在这四个尺度下的分别取出512个锚框，并进行分类识别、检测边界框、分割形状；

设RPN分类识别中某点的某个锚框为box_k对应焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷这六类的神经元输出分别为t₁、t₂、t₃、t₄、t₅、t₆，其中k∈N^*,k≤512，设该锚框属于焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷、其他缺陷、无缺陷的概率分别为p₁、p₂、p₃、p₄、p₅、p₆，设该区域的初步分类结果为r_box-k：

设RPN分类识别后得到缺陷区域共m块，该区域的分类结果为r_j，统计后该图像中焊瘤缺陷、凹陷缺陷、电弧损伤缺陷、裂纹缺陷的数量分别为n_weld、n_dent、n_arc、n_crack：

4.如权利要求1所述的AI+荧光渗透小型管件表面缺陷检测及质量分级方法，其特征在于，所述步骤C具体包括：

设图像中像素的横坐标、纵坐标分别为u、v，其微分分别为du、dv，设在垂直于相机光轴的平面内像素对应的实际物理坐标分别为x、y，其微分分别为dx、dy；设拍摄小型管件表面时，采用张氏标定法标定得到图像上每个像素实际平均宽度为

每个像素实际平均高度为

设待检图片中，经过RPN区域位置回归得到缺陷所在位置向量[u₁ v₁ u₂ v₂]，设以(u₁,v₁)位左上角坐标、以(u₂,v₂)为右下角坐标的矩形区域为D_box，其中掩膜区域为D_mask，掩膜面积为S_mask，掩膜区域对应的实际缺陷面积为S；

5.如权利要求1所述的AI+荧光渗透小型管件表面缺陷检测及质量分级方法，其特征在于，所述步骤D具体包括：

设RPN检测得缺陷中，线性缺陷的最大长度l，判断管件缺陷质量等级:

设RPN检测得缺陷中，回归得到缺陷检测结果矩形框区域D_mask内，存在n块圆形缺陷，设其中最大尺寸为d，判断管件缺陷质量等级:

6.AI+荧光渗透的小型管件表面缺陷检测及质量分级系统，其特征在于，所述系统包括：工业相机固定支架、工业相机、镜头、上位机；所述：

工业相机固定支架，用于安装、固定业相机，能够进行微调；

工业相机，用于安装镜头，能够进行微调；

镜头，用于拍摄小型管件外表面图像，并上传至上位机；

上位机，用于处理管件表面图像，进行管件表面缺陷检测及质量分级。

Images