CN117218428A - 基于深度学习的铸件表面缺陷检测方法和系统 - Google Patents
基于深度学习的铸件表面缺陷检测方法和系统 Download PDFInfo
- Publication number
- CN117218428A CN117218428A CN202311175377.6A CN202311175377A CN117218428A CN 117218428 A CN117218428 A CN 117218428A CN 202311175377 A CN202311175377 A CN 202311175377A CN 117218428 A CN117218428 A CN 117218428A
- Authority
- CN
- China
- Prior art keywords
- modules
- casting
- module
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005266 casting Methods 0.000 title claims abstract description 103
- 230000007547 defect Effects 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000013434 data augmentation Methods 0.000 claims abstract description 7
- 230000003190 augmentative effect Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- WPBKQAUPVSRZPK-UHFFFAOYSA-N CBSC Chemical compound CBSC WPBKQAUPVSRZPK-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000428 dust Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 102100022430 Melanocyte protein PMEL Human genes 0.000 claims description 2
- 108091058557 SILV Proteins 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 235000013372 meat Nutrition 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108091028732 Concatemer Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的铸件表面缺陷检测方法和系统，所述方法包括：步骤一：获取含铸造件表面缺陷的图像数据，并对图像进行数据增广，得到增广后的图像数据，作为训练集；步骤二：构建基于深度学习网络的铸造件表面缺陷检测模型，采用训练集训练模型，得到训练后的铸造件表面缺陷检测模型；步骤三：将待检缺陷图像输入训练后的铸造件表面缺陷检测模型，对待检缺陷图像中的缺陷进行定位和分类。有效的克服了现有铸件缺陷检测技术中存在的铸造件缺陷识别率低、误检率和漏检率高以及较小缺陷检测不精确的难题，实现了铸件表面多类型缺陷精准识别。
Description
技术领域
本发明属于铸造件表面缺陷检测技术领域，具体涉及基于深度学习的铸件表面缺陷检测方法和系统。
背景技术
汽车发动机是汽车最主要的组成部分，其性能好坏直接决定汽车的行驶性能。而缸体又是发动机的基础零件和骨架，同时又是发动机总装配时的基础零件。缸体负责将发动机的曲轴连杆机构以及配气机构、还有供油、润滑、冷却等系统全部连接起来，形成一个整体。缸体的加工质量将直接影响发动机的性能，因此发动机缸体的制造加工长期以来一直备受关注。
当前由于种种原因，缸体的制造还有一些企业是通过铸造的方式进行加工生产。而由于铸造行业本身的工艺特点，铸造件的表面质量通常会存在砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、微小孔眼、标识不清等缺陷。因此在铸造后的汽车发动机缸体的毛坯件在后面的半精加工和精加工时，甚至在其装配之前，需要对其进行产品质量检测。
传统的发动机缸体缺陷检测更多的是依靠人工肉眼的检测，由于发动机缸体铸件体态较大，内部结构复杂性较高，人工进行翻动检测较为困难，所以，传统的检测方法周期长，效率低。由于发动机铸造件本身的结构特点以及工人检测经验等主观因素的影响，导致的误检和漏检率较高，难以达到表面缺陷精准检测的目的，使得产品的合格率得不到有效的保障。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供基于深度学习的铸件表面缺陷检测方法和系统。
为实现上述技术目的，本发明采取的技术方案为：
基于深度学习的铸件表面缺陷检测方法，包括：
步骤一：获取含铸造件表面缺陷的图像数据，并对图像进行数据增广，得到增广后的图像数据，作为训练集；
步骤二：构建基于深度学习网络的铸造件表面缺陷检测模型，采用训练集训练模型，得到训练后的铸造件表面缺陷检测模型；
步骤三：将待检缺陷图像输入训练后的铸造件表面缺陷检测模型，对待检缺陷图像中的缺陷进行定位和分类。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤一所述对图像进行数据增广包括：对图像数据进行随机旋转并添加高斯噪声，然后对图像数据进行随机组合与拼接，得到增广后的图像数据。
上述的深度学习网络包括Backbone网络、Neck网络、Prediction网络，输入训练集，Backbone网络对输入的图像进行特征提取，Neck网络对提取到的特征图像进行多尺度融合，Prediction网络对融合后的特征图进行分类和回归预测；在Prediction网络输出后，将预测得到的结果与训练集中的真实值之间进行损失计算，利用反向传播算法，从最后一层网络开始向前反馈以及更新权重，经过多次训练更新，使得网络最后收敛到一个全局最优解，即最终得到训练后的铸造件表面缺陷检测模型。
上述的Backbone网络包含依次连接的两组CBM模块，以及Downsampleone、Downsampletwo、Downsamplethree模块；输入的图像数据经过两组CBM模块实现初始特征提取，然后依次经过Downsampleone、Downsampletwo、Downsamplethree模块实现三个不同尺度的特征提取；
所述CBM模块包含Conv卷积层、BN层、Mish激活层；所述Downsampleone包含五组CBM模块、以及两组残差块Resblock模块；Backbone网络提取到的特征图像输入Downsampleone中的一组CBM模块后产生侧分支和主分支，侧分支只经过一组CBM模块，主分支依次经过CBM模块、残差块Resblock模块、CBM模块、残差块Resblock模块，侧分支和主分支的输出结果在通道维度上进行一次contact拼接后再对拼接后的图像数据进行一次CBM模块的特征提取；所述Resblock模块采用二分支结构，其主分支是由两个卷积核大小分别为1×1、3×3、个数分别为32和64的CBM模块构成；输送进Resblock模块的原始数据构成了该模块的侧分支，主分支与侧分支的数据进行addition相加操作。
上述的Neck网络包含一组CPC模块、四组CCP模块、一组PAN模块，其中CPC模块由两组串联的平均池化层与一组最大池化层并联而成，两组平均池化层与一组最大池化层得到的三组结果在通道维上拼接后输出；CCP模块包含四组CBM模块，输送到CCP模块的数据，分别通过三组CBM模块，获得三组输出，获得的输出数据进行concat拼接后再经过一组CBM模块，获得整个CCP模块的输出；四组CCP模块与PAN模块联合使用，分别布置在每次PAN上或下采样之后，经由CCP模块后输入与输出尺寸与通道数不变。
上述的平均池化层卷积核大小依次为5×5、3×3，最大池化层卷积核大小为7×7。
上述的Prediction网络包括三组CBSC模块，用于预测边界框回归参数，包括长宽偏移误差以及长宽比、可靠性参数、n处缺陷类别参数；所述CBSC模块由两个卷积层，一个BN归一化层，一个SILU激活函数层构成，其中的第二个卷积层的卷积核大小为1×1、卷积核个数为(5+n)×2。
上述的prediction网络的长宽偏移量引入tanh激活函数，具体为：
Bx＝tanh(Tx)+1+Cx
By＝tanh(Ty)+1+Cy
其中Tx与Ty为GT在feature map上的中心点坐标与Grid cell左上角点之间分别在x与y方向上的距离，Cx与Cy为GT在feature map上的x与y方向上的中心点坐标，Bx与By为其计算得到的偏移量；
所述prediction网络采用CDIOU-LOSS损失函数。
基于深度学习的铸件表面缺陷检测系统，包括硬件子系统和软件子系统；
所述硬子系统包括：暗房、安全光栅、夹紧装置、机械臂、工业相机、光源，其中暗房用于防止的粉尘进入铸件检测区域，同时用于将现场工作人员与机械臂分离开；安全光栅用于进一步保障工作人员安全，在安全光栅开启后，如果检测到有人员进入，机械臂暂停动作，并发出相应信号到plc系统，控制报警灯亮黄灯进行提醒，交互界面显示暂停；夹紧装置用于对进入检测区域的待检铸件进行夹紧定位，并根据不同型号的铸件进行相应匹配夹具的更换；机械臂悬置于铸件上方，末端连接工业相机以及光源，机械臂用于带动工业相机到达根据铸件型号并通过机械手示教模式确定的拍照点位，对铸件进行除底面以外的5个表面拍照取相；光源为围绕相机周围的矩形点阵式白色光源，用于对相机拍照工作时进行补光照明；
上述的软件子系统包括：视觉取样模块、图像检测模块、检测反馈装置、软件登录模块，其中视觉取样模块用于对待检的铸件进行全方位的取相并传送到图像检测模块；图像检测模块包含处理器和储存器，储存器用于存储在处理器上等待执行的计算机程序，同时用于存储训练后的模型；处理器运行计算机程序以实现基于深度学习的铸件表面缺陷检测；所述图像检测模块还将检测过的数据发送到本地MES系统进行存储，对各种缺陷种类数量以及占比进行统计，同时使得工作人员可以在软件交互界面查看到统计结果；检测反馈装置为报警三色灯，其根据铸件表面的缺陷情况进行不同颜色的反馈，用于提醒工作人员在检铸件的表面质量状况；软件登录模块，用于保障软件子系统使用的安全性。
本发明具有以下有益效果：
本发明有效的克服了现有铸件缺陷检测技术中存在的铸造件缺陷识别率低、误检率和漏检率高以及较小缺陷检测不精确的难题，实现了铸件表面多类型缺陷精准识别，各项实验指标均验证了本发明内容的准确性与可靠性，达到了低概率的误检、漏检率。同时提高了检测效率，减少了检测时间以及人工成本，更好地满足了工业生产中对铸造件表面缺陷检测的需求。
本发明所涉及到的网络模型检测算法是基于数据处理技术、神经网络技术、机器学习技术以及深度学习技术等，并将其应用到汽车发动机外壳的铸造件表面缺陷识别与检测，且对于铸造类产品均有一定的通用性。
本发明可对铸件表面缺陷进行推理分析得知铸件表面存在有砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、微小孔眼、标识不清等缺陷类型进行有效检测，同时本发明提高了输送样本之间的平衡性，以及模型对不同数据之间的鲁棒性，使得模型在准确率、召回率、精准率上有明显的提高；有效的解决了人工目视检测效率低下，以及由于缺陷类型相似度较高、类型多、结构复杂等难点所带来的误检问题频发，难以满足铸造件表面缺陷精准检测要求的问题。
附图说明
图1为本发明基于深度学习的铸件表面缺陷检测方法和系统的原理图；
图2为本发明基于深度学习网络的铸造件表面缺陷检测模型整体结构图；
图3为本发明Downsample模块结构示意图；
图4为本发明CPC模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1所示，本发明提供一种基于深度学习的汽车发动机铸件表面缺陷检测方法和系统，其中的检测方法包括如下步骤：
步骤一：获取含铸造件表面缺陷的图像数据，并对图像进行数据增广预处理操作，得到增广后的图像数据，作为训练集；该步骤的铸造件表面缺陷的图像数据预处理操作如下：
在输送进深度学习网络模型之前，需要先对图像进行数据增广，其中，首先对图像数据按一定比例进行随机旋转180度或90度；再将图像数据加入高斯噪声；之后将图像数据按一定比例随机组合四张图像进行拼接，完成上述增广处理后将图像收集在一起组成增广后的图像数据集，增广后的数据集极大的提高了样本之间的不平衡性，丰富了样本数据的多样性，增加了图像中的检测目标个数，以及由于设备自身的硬件限制约束了训练模型中batch_size的大小，经过随机拼接后提高了后续模型训练的BN层所一次性统计到的数据量，使得BN层的方差和均值更接近整个样本数据集的方差和均值，且由于其增加了小目标含有的概率，从而同时提高了对小目标检测的性能，进而提升了整体的网络模型检测精度。
步骤二：构建基于深度学习网络的铸造件表面缺陷检测模型，采用训练集训练模型，得到训练后的铸造件表面缺陷检测模型；
深度学习目标检测网络是一种多层次网络结构，其主要由Backbone、Neck、Prediction三部分模型组成，将步骤一处理后的图片数据输送进Backbone模型，进行特征信息提取；将提取到的重要特征信息输送到Neck模型中进行再次加工以及合理利用；将由Neck模型重构处理的特征信息输送给Prediction模型进行分类和回归预测；每一部分模型均包含多个卷积层，池化层、激活层等；在prediction模型输出后，将经网络模型预测后得到的结果与训练集中的真实值之间进行损失计算，利用反向传播算法，从最后一层网络开始向前反馈以及更新权重，经过多次训练更新，使得网络模型最后可以收敛到一个全局最优解，即最终可以得到一个训练好的网络模型。基于深度学习网络的铸造件表面缺陷检测模型的整体结构如图2-4所示，图中k表示卷积核大小，s代表卷积核的步距，p代表卷积核的扩充，n代表卷积核的数量。
如图2所示，所述的Backbone网络模型中包含有两组CBM模块，以及Downsampleone、Downsampletwo、Downsamplethree模块。
经由步骤一图像增广后的数据输入至两组CBM模块中，CBM模块包含Conv卷积层、BN层、Mish激活层，其使得输入图像数据尺寸大小逐步降低，而维度逐步升高，完成简单的初始特征提取功能；再依次经由Downsampleone、Downsampletwo、Downsamplethree模块分别完成三次不同尺度的特征提取功能。其中Downsampleone包含五组CBM模块、以及两组残差块Resblock模块，经过初始特征提取后的数据图像输送进Downsampleone模块，其对输入数据完成第二次特征提取，如图3所示，通过CBM模块后产生两处分支，侧分支只经过一组CBM模块、主分支经过一组CBM模块进行特征提取后，经残差块Resblock结构，加大网络深度的同时增强了网络学习能力，再进行一次CBM模块特征提取，经残差块Resblock结构，最后，将两个分支的输出结果在通道维度上进行一次contact拼接，后再对拼接后的图像数据进行一次CBM模块的特征提取；其中的Resblock模块采用二分支结构，其主分支是由两个卷积核大小分别为1×1、3×3、个数分别为32和64的CBM模块构成；输送进Resblock模块的原始数据构成了该模块的侧分支，主分支与侧分支的数据进行addition相加操作；其中的Downsampletwo和Downsamplethree模块与所述的Downsampleone模块结构相似，除去卷积核大小和个数不同以外，Downsampletwo包含两个残差块，而Downsamplethree包含三个残差块结构。最后，将经由整个Backbone网络模型提取到的特征图像送入Neck模型。
如图2所示，所述的Neck网络模型中包含一组CPC模块、四组CCP模块、一组PAN模块。
如图4所示，CPC模块是由两组串联的平均池化层与一组最大池化层并联而成，最后将三组结果在通道维上拼接而成，其平均池化层卷积核大小依次为5×5、3×3、而最大池化层卷积核大小为7×7，该模块实现了不同尺度的特征融合，初步解决了网络学习中的多尺度问题；CCP模块包含有四组CBM模块，其中三组CBM模块并联而成，输送到CCP模块的数据，需分别通过三组CBM模块，获得三组输出，经由三组CBM模块后的数据大小并未发生变化，但其在通道维度上的个数被均分成了三份，将获得的三份输出数据进行concat拼接，最后再经过一组CBM模块，获得整个CCP模块的输出。所述的四组CCP模块与PAN模块联合使用，分别布置在每次PAN上或下采样之后，经由CCP模块后输入与输出尺寸与通道数不变，而提高了网络对图像特征的抽取能力。PAN模块是在FPN基础上进行的一次提升，分别自顶向下采样与自下向上采样进行了四次不同尺度的特征融合，这样以来不仅增强了获取的语义信息，同时也提高了目标检测位置的定位精度。
如图2所示，所述Prediction网络中包括三组CBSC模块，该模块负责预测四个边界框回归参数，其中包括长宽偏移误差以及长宽比，一个可靠性参数，n处缺陷类别参数，其中CBSC模块是由两个卷积层，一个BN归一化层，一个SILU激活函数层构成，其中的第二个卷积层的卷积核大小为1×1、卷积核个数为(5+n)×2，最终通过该参数逐步调整边界框之间的误差，更加有效的帮助模型提升预测精准度。
prediction网络负责预测铸件表面缺陷的位置与类别信息，其在进行样本时，其长宽偏移量引入tanh激活函数，即：
Bx＝tanh(Tx)+1+Cx
By＝tanh(Ty)+1+Cy
其中Tx与Ty为GT在feature map上的中心点坐标与Grid cell左上角点之间分别在x与y方向上的距离，Cx与Cy为GT在feature map上的x与y方向上的中心点坐标，Bx与By为其计算得到的偏移量。此处将预测偏移量的范围扩大了两倍，其目的是为增加负责预测目标边界框的Grid cell个数，其预测的Grid cell由之前的一个变为其周围的五个，这样一来，在进行后续正负样本匹配时，正样本的数量便得到了五倍的扩充，在一定程度上有效的解决了网络模型的样本不平衡性问题。
prediction网络负责预测铸件表面缺陷的位置与类别信息，其利用CDIOU-LOSS损失函数来对评估RP与GT之间的差异性，该方法更加有效合理的对其之间存在的差异进行预测，并同时降低了模型的计算成本；在训练网络模型时需要对各个参数进行初步设置，经过后期的实验，根据实验的结果验证，确定好网络模型的各参数值，最终，将一张表面带有缺陷的铸件图片输入进基于该深度学习的铸件表面检测网络模型，得到一张利用矩形框框出缺陷位置的并带有缺陷类别信息的图片。
步骤三：将待检缺陷图像输入训练后的铸造件表面缺陷检测模型，对待检缺陷图像中的缺陷进行定位和分类。
本发明的汽车发动机铸造件表面缺陷检测系统的设计：
汽车发动机铸造件表面缺陷检测系统的硬件设计部分包括：机械臂、工业相机、光源；机械臂负责带动工业相机按照预先规划好的轨迹对铸造件进行定点运动拍摄，光源负责对铸造件进行补光照明。
汽车发动机铸造件表面缺陷检测系统的软件设计部分包括：图像数据的采集功能、图像处理功能、图像信息存储、设备选择连接功能、铸造件表面的缺陷检测以及检测结果的查询和统计功能。
具体的，本发明汽车发动机铸造件表面缺陷检测系统的硬件子系统包括：暗房、安全光栅、夹紧装置、机械臂、工业相机、光源。
A:暗房：暗房用于防止由现场加工等原因造成的粉尘进入铸件检测区域，影响到工业相机的成像质量；同时也用于将现场工作人员与机械臂分离开，防止机械臂误伤现场工作人员；
B.安全光栅：用于进一步保障工作人员安全，在安全光栅开启后，如果检测到有人员进入，机械臂暂停动作，并发出相应信号到plc系统，控制报警灯亮黄灯进行提醒，交互界面显示暂停。
C.夹紧装置:该装置用于对进入检测区域的待检铸件进行夹紧定位，并可根据不同型号的铸件进行相应匹配夹具的更换，以实现更高精度的定位和夹紧工作。
D.机械臂和工业相机：该机械臂悬置于铸件上方，末端连接工业相机以及光源；其带动工业相机到达根据铸件型号并通过机械手示教模式确定的拍照点位，对铸件进行除底面以外的5个表面拍照取相，并将其传入软件检测系统。
E.光源：其为围绕相机周围的矩形点阵式白色光源，负责对相机拍照工作时进行补光照明，提升采集到的图像质量。
本发明汽车发动机铸造件表面缺陷检测系统的软件子系统包括以下几个模块：视觉取样模块、图像检测模块、检测反馈装置、软件登录模块。
A:视觉取样模块：对采集到的数据样本进行取相，以及对算法模型的训练和优化，以实现更高精度的缺陷检测和特征识别；还可以用于对待检的铸件进行全方位的取相，同时根据先前取相得到的图像数据将待检铸件的数据信息传送到检测模块。
B.图像检测模块：该检测模块包含处理器和储存器，储存器用于存储在处理器上等待执行的计算机程序，同时用于存储优化训练后的算法模型；处理器需要运行计算机程序以实现基于深度学习的铸件表面缺陷检测方法；该模块还会将检测过的数据发送到本地MES系统进行存储，对各种缺陷种类数量以及占比进行统计，同时使得工作人员可以在软件交互界面查看到统计结果。
C.检测反馈装置:反馈装置即为报警三色灯，其根据铸件表面的缺陷情况进行不同颜色的反馈，用于提醒工作人员在检铸件的表面质量状况，黄色为铸件需要重新返回相应工位进行修整或者是机械臂暂停动作；绿色为铸件质量合格，输送到下一步工序；红色为铸件质量不合格。
D.软件登录模块：输入基于数据库存储的账号和密码后即可以正常登录铸件检测系统软件，若输入的账号或密码错误系统会进行相应的提示；该模块的设立有效的保障了系统使用的安全性，使得非工作人员禁止登录到该铸件检测系统。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.基于深度学习的铸件表面缺陷检测方法，其特征在于，包括：
步骤一：获取含铸造件表面缺陷的图像数据，并对图像进行数据增广，得到增广后的图像数据，作为训练集；
步骤二：构建基于深度学习网络的铸造件表面缺陷检测模型，采用训练集训练模型，得到训练后的铸造件表面缺陷检测模型；
步骤三：将待检缺陷图像输入训练后的铸造件表面缺陷检测模型，对待检缺陷图像中的缺陷进行定位和分类。
2.根据权利要求1所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，步骤一所述对图像进行数据增广包括：对图像数据进行随机旋转并添加高斯噪声，然后对图像数据进行随机组合与拼接，得到增广后的图像数据。
3.根据权利要求1所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，所述深度学习网络包括Backbone网络、Neck网络、Prediction网络，输入训练集，Backbone网络对输入的图像进行特征提取，Neck网络对提取到的特征图像进行多尺度融合，Prediction网络对融合后的特征图进行分类和回归预测；在Prediction网络输出后，将预测得到的结果与训练集中的真实值之间进行损失计算，利用反向传播算法，从最后一层网络开始向前反馈以及更新权重，经过多次训练更新，使得网络最后收敛到一个全局最优解，即最终得到训练后的铸造件表面缺陷检测模型。
4.根据权利要求3所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，所述Backbone网络包含依次连接的两组CBM模块，以及Downsampleone、Downsampletwo、Downsamplethree模块；输入的图像数据经过两组CBM模块实现初始特征提取，然后依次经过Downsampleone、Downsampletwo、Downsamplethree模块实现三个不同尺度的特征提取；
所述CBM模块包含Conv卷积层、BN层、Mish激活层；所述Downsampleone包含五组CBM模块、以及两组残差块Resblock模块；Backbone网络提取到的特征图像输入Downsampleone中的一组CBM模块后产生侧分支和主分支，侧分支只经过一组CBM模块，主分支依次经过CBM模块、残差块Resblock模块、CBM模块、残差块Resblock模块，侧分支和主分支的输出结果在通道维度上进行一次contact拼接后再对拼接后的图像数据进行一次CBM模块的特征提取；所述Resblock模块采用二分支结构，其主分支是由两个卷积核大小分别为1×1、3×3、个数分别为32和64的CBM模块构成；输送进Resblock模块的原始数据构成了该模块的侧分支，主分支与侧分支的数据进行addition相加操作。
5.根据权利要求3所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，所述Neck网络包含一组CPC模块、四组CCP模块、一组PAN模块，其中CPC模块由两组串联的平均池化层与一组最大池化层并联而成，两组平均池化层与一组最大池化层得到的三组结果在通道维上拼接后输出；CCP模块包含四组CBM模块，输送到CCP模块的数据，分别通过三组CBM模块，获得三组输出，获得的输出数据进行concat拼接后再经过一组CBM模块，获得整个CCP模块的输出；四组CCP模块与PAN模块联合使用，分别布置在每次PAN上或下采样之后，经由CCP模块后输入与输出尺寸与通道数不变。
6.根据权利要求5所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，所述平均池化层卷积核大小依次为5×5、3×3，最大池化层卷积核大小为7×7。
7.根据权利要求3所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，所述Prediction网络包括三组CBSC模块，用于预测边界框回归参数，包括长宽偏移误差以及长宽比、可靠性参数、n处缺陷类别参数；所述CBSC模块由两个卷积层，一个BN归一化层，一个SILU激活函数层构成，其中的第二个卷积层的卷积核大小为1×1、卷积核个数为(5+n)×2。
8.根据权利要求3所述的基于深度学习的铸件表面缺陷检测方法，其特征在于，prediction网络的长宽偏移量引入tanh激活函数，具体为：
Bx＝tanh(Tx)+1+Cx
By＝tanh(Ty)+1+Cy
其中Tx与Ty为GT在feature map上的中心点坐标与Grid cell左上角点之间分别在x与y方向上的距离，Cx与Cy为GT在feature map上的x与y方向上的中心点坐标，Bx与By为其计算得到的偏移量；
所述prediction网络采用CDIOU-LOSS损失函数。
9.基于深度学习的铸件表面缺陷检测系统，其特征在于，包括硬件子系统和软件子系统；
所述硬子系统包括：暗房、安全光栅、夹紧装置、机械臂、工业相机、光源，其中暗房用于防止的粉尘进入铸件检测区域，同时用于将现场工作人员与机械臂分离开；安全光栅用于进一步保障工作人员安全，在安全光栅开启后，如果检测到有人员进入，机械臂暂停动作，并发出相应信号到plc系统，控制报警灯亮黄灯进行提醒，交互界面显示暂停；夹紧装置用于对进入检测区域的待检铸件进行夹紧定位，并根据不同型号的铸件进行相应匹配夹具的更换；机械臂悬置于铸件上方，末端连接工业相机以及光源，机械臂用于带动工业相机到达根据铸件型号并通过机械手示教模式确定的拍照点位，对铸件进行除底面以外的5个表面拍照取相；光源为围绕相机周围的矩形点阵式白色光源，用于对相机拍照工作时进行补光照明。
10.根据权利要求9所述的基于深度学习的铸件表面缺陷检测系统，其特征在于，所述软件子系统包括：视觉取样模块、图像检测模块、检测反馈装置、软件登录模块，其中视觉取样模块用于对待检的铸件进行全方位的取相并传送到图像检测模块；图像检测模块包含处理器和储存器，储存器用于存储在处理器上等待执行的计算机程序，同时用于存储训练后的模型；处理器运行计算机程序以实现基于深度学习的铸件表面缺陷检测；所述图像检测模块还将检测过的数据发送到本地MES系统进行存储，对各种缺陷种类数量以及占比进行统计，同时使得工作人员可以在软件交互界面查看到统计结果；检测反馈装置为报警三色灯，其根据铸件表面的缺陷情况进行不同颜色的反馈，用于提醒工作人员在检铸件的表面质量状况；软件登录模块，用于保障软件子系统使用的安全性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175377.6A CN117218428A (zh) | 2023-09-13 | 2023-09-13 | 基于深度学习的铸件表面缺陷检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175377.6A CN117218428A (zh) | 2023-09-13 | 2023-09-13 | 基于深度学习的铸件表面缺陷检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218428A true CN117218428A (zh) | 2023-12-12 |
Family
ID=89038286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311175377.6A Pending CN117218428A (zh) | 2023-09-13 | 2023-09-13 | 基于深度学习的铸件表面缺陷检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218428A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710377A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习算法的cmos的缺陷检测方法 |
-
2023
- 2023-09-13 CN CN202311175377.6A patent/CN117218428A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710377A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习算法的cmos的缺陷检测方法 |
| CN117710377B (zh) * | 2024-02-06 | 2024-05-24 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习算法的cmos的缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111272763B (zh) | 用于工件检查的系统和方法 | |
| US11341626B2 (en) | Method and apparatus for outputting information | |
| US8116529B2 (en) | Populating fleet maintenance data using 2D feature recognition | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN117218428A (zh) | 基于深度学习的铸件表面缺陷检测方法和系统 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| CN114037703B (zh) | 基于二维定位和三维姿态解算的地铁阀门状态检测方法 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN113267452A (zh) | 一种基于机器视觉的发动机缸体表面缺陷检测方法及系统 | |
| CN110633738A (zh) | 一种用于工业零件图像的快速分类方法 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN116337887A (zh) | 铸造缸体上表面缺陷检测方法及系统 | |
| CN115035082A (zh) | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 | |
| CN116223375A (zh) | 一种识别零部件表面缺陷的检测装置 | |
| CN116343027A (zh) | 利用注意力机制融合的YOLOv5遥感图像目标检测方法 | |
| CN115355952A (zh) | 一种原油储罐智能巡检系统 | |
| CN113420646B (zh) | 一种基于深度学习的锁站连接锁检测系统及方法 | |
| CN115326814A (zh) | 一种汽车冲压件制造缺陷在线智能识别检测方法与介质 | |
| TW202326114A (zh) | 長碼拉鏈的缺陷或瑕疵檢測系統 | |
| Maunder et al. | Ai-based general visual inspection of aircrafts based on yolov5 | |
| CN117934980B (zh) | 基于注意力监督调整的玻璃容器缺陷检测方法及系统 | |
| CN117409005B (zh) | 基于图像的收板机用不良品检测系统及方法 | |
| CN116843615B (zh) | 一种基于柔性光路的引线框架智能全检方法 | |
| US20230080491A1 (en) | Optical inspection systems and methods for moving objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |