CN115272310A - 工件的缺陷检测方法及装置 - Google Patents
工件的缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN115272310A CN115272310A CN202211171360.9A CN202211171360A CN115272310A CN 115272310 A CN115272310 A CN 115272310A CN 202211171360 A CN202211171360 A CN 202211171360A CN 115272310 A CN115272310 A CN 115272310A
- Authority
- CN
- China
- Prior art keywords
- picture
- network
- training
- workpiece
- optical surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims description 112
- 230000008439 repair process Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 210000002969 egg yolk Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及工业质检技术领域，提供一种工件的缺陷检测方法及装置，方法包括：从标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对多个标注图片进行处理后作为训练图片集；获取选择的每张标注图片对应的参照工件原图，以得到标签集；基于训练图片集和标签集对U‑Net网络进行训练；在对U‑Net网络训练完成后获取U‑Net网络的输出结果，并基于U‑Net网络的输出结果对Yolo网络进行训练；通过训练后的U‑Net网络和训练后的Yolo网络对待检测工件图片进行缺陷检测。由此，可以避免或者减少训练用工件图片模糊、分辨率低导致的缺陷难以识别的现象，可以提高缺陷识别能力，改善工业质检效果。
Description
技术领域
本发明涉及工业质检技术领域，具体涉及一种工件的缺陷检测方法和一种工件的缺陷检测装置。
背景技术
在工业质检领域，机械臂根据具体的光学方案，运行至工件的不同角度利用高速摄像机拍摄训练用工件图片，然后交由标注员在训练用图片上标注缺陷的位置，最后送入神经网络中进行训练，并利用训练后的神经网络检测缺陷。
然而，在网络训练以及缺陷检测时，受到机械臂运行轨迹不稳定（例如加速度曲线不连续）、光源角度等因素的影响，训练用工件图片可能会出现模糊、分辨率降低等情况，导致缺陷难以识别。
发明内容
本发明为解决工件图片出现模糊、分辨率降低等的情况导致缺陷难以识别的问题，提出了如下技术方案。
本发明第一方面实施例提出了一种工件的缺陷检测方法，包括：获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的；从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对所述多个标注图片进行处理后作为训练图片集；获取选择的每张所述标注图片对应的参照工件原图，以得到标签集；基于所述训练图片集和所述标签集对U-Net网络进行训练；在对所述U-Net网络训练完成后获取所述U-Net网络的输出结果，并基于所述U-Net网络的输出结果对Yolo网络进行训练；获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测。
另外，根据本发明上述实施例的工件的缺陷检测方法还可以具有如下附加的技术特征。
根据本发明的一个实施例，对所述多个标注图片进行处理后作为训练图片集，包括：对每张所述标注图片进行下采样；将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
根据本发明的一个实施例，所述U-Net网络包括特征提取网络、分类网络和去噪网络，基于所述训练图片集和所述标签集对U-Net网络进行训练，包括：将多个训练图片和对应的所述参照工件原图输入所述U-Net网络的特征提取网络，以得到各个所述训练图片对应的特征图片；将多个所述特征图片输入所述U-Net网络的分类网络，以得到各个所述特征图片中的光学面和非光学面；将多个所述特征图片输入所述U-Net网络的去噪网络，以生成各个所述特征图片对应的第一修复图片。
根据本发明的一个实施例，基于所述U-Net网络的输出结果对Yolo网络进行训练，包括：根据各个所述特征图片中的光学面和非光学面确定对应的所述第一修复图片中的光学面和非光学面；根据所述第一修复图片中的光学面和非光学面对所述第一修复图片进行剪切处理，以保留所述第一修复图片中的光学面、剔除所述第一修复图片中的非光学面；基于剪切后的第一修复图片对Yolo网络进行训练。
根据本发明的一个实施例，通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测，包括：将所述待检测工件图片输入训练后的U-Net网络，以得到所述待检测工件图片中的光学面和非光学面、以及所述待检测工件图片对应的第二修复图片；根据所述待检测工件图片中的光学面和非光学面对所述第二修复图片进行剪切处理，以保留所述第二修复图片中的光学面、剔除所述第二修复图片中的非光学面；将剪切后的第二修复图片输入训练后的Yolo网络进行缺陷检测。
根据本发明的一个实施例，所述U-Net网络的分类网络的损失函数为：
其中，
为所述分类网络的损失函数，N为所述特征图片中的像素总数，(i,j)为
所述特征图片中像素点的坐标，i为横向坐标，j为纵向坐标，
表示所述参照工件原图中
坐标(i,j)处像素点的真实标签，1为光学面，0为非光学面，
表示所述分类网络预测的
所述特征图片的坐标(i,j)处像素点的值。
根据本发明的一个实施例，所述U-Net网络的去噪网络的损失函数为：
其中，
为所述去噪网络的损失函数，
为所述特征图片，
为所述特征
图片经过所述去噪网络处理后生成的第一修复图片。
本发明第二方面实施例提出了一种工件的缺陷检测装置，包括：第一获取模块，用于获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的；处理模块，用于从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对所述多个标注图片进行处理后作为训练图片集；第二获取模块，用于获取选择的每张所述标注图片对应的参照工件原图，以得到标签集；第一训练模块，用于基于所述训练图片集和所述标签集对U-Net网络进行训练；第二训练模块，用于在对所述U-Net网络训练完成后获取所述U-Net网络的输出结果，并基于所述U-Net网络的输出结果对Yolo网络进行训练；检测模块，用于获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测。
另外，根据本发明上述实施例的工件的缺陷检测装置还可以具有如下附加的技术特征。
根据本发明的一个实施例，所述处理模块具体用于：对每张所述标注图片进行下采样；将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
根据本发明的一个实施例，所述U-Net网络包括特征提取网络、分类网络和去噪网络，所述第一训练模块具体用于：将多个训练图片和对应的所述参照工件原图输入所述U-Net网络的特征提取网络，以得到各个所述训练图片对应的特征图片；将多个所述特征图片输入所述U-Net网络的分类网络，以得到各个所述特征图片中的光学面和非光学面；将多个所述特征图片输入所述U-Net网络的去噪网络，以生成各个所述特征图片对应的第一修复图片。
本发明实施例的技术方案，在基于训练图片集和标签集对U-Net网络训练后，基于U-Net网络的输出结果对Yolo网络进行训练，从而得到训练好的U-Net网络和Yolo网络，结合训练好的U-Net网络和Yolo网络对待检测工件图片进行缺陷检测，通过端到端的方式实现了缺陷检测，可以避免或者减少训练用工件图片模糊、分辨率低导致的缺陷难以识别的现象，可以提高缺陷识别能力，改善工业质检效果。
附图说明
图1为本发明实施例的工件的缺陷检测方法的流程图。
图2为本发明一个示例中对U-Net网络和Yolo网络进行训练的原理图。
图3为本发明一个示例的通过训练好的U-Net网络和Yolo网络进行缺陷检测的原理图。
图4为本发明实施例的工件的缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的工件的缺陷检测方法的流程图。
如图1所示，该工件的缺陷检测方法包括以下步骤S1至S6。
S1，获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的。
具体地，机械臂根据具体的光学方案，运行至工件的不同角度利用高速摄像机拍摄训练用工件图片（其清晰度可能高，也可能低），然后交由标注人员在训练用工件图片中标注出缺陷的位置和缺陷的类别，之后将多个标注后的训练用工件图片整合得到包含多个标注图片的标注图片集。
S2，从标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对多个标注图片进行处理后作为训练图片集。
其中，预设清晰度可以是事先设定的，也可以根据标注图片中的清晰度确定。
具体地，可以确定标注图片集中各个标注图片的清晰度，并从标注图片集中挑选出清晰度达到预设清晰度的多个标注图片，以得到标注图片集中清晰度较高、质量较好的标注图片，例如，从标注图片集中的1000个标注图片中挑选出500个清晰度较高的标注图片，并对挑选出的500个标注图片进行处理后整合为训练U-Net网络的训练图片集。
S3，获取选择的每张标注图片对应的参照工件原图，以得到标签集。
其中，参照工件原图是指标注图片的训练用工件图片对应的高清晰度的图。
具体地，可以通过依次拍摄、修复的方式得到选择的每张标注图片对应的参照工件原图，作为训练U-Net网络的标签，并将各个参照工件原图整合为标签集。
S4，基于训练图片集和标签集对U-Net网络进行训练。
具体地，将训练图片和对应的参照工件原图，输入U-Net网络进行训练，得到训练后的U-Net网络，其中，参照工件原图作为训练的标签，以验证训练效果的好坏。
S5，在对U-Net网络训练完成后获取U-Net网络的输出结果，并基于U-Net网络的输出结果对Yolo网络进行训练。
其中，U-Net网络是 Encoder-Decoder （编码器-解码器）结构，可以实现End-to-End（端到端）学习。
具体地，在将U-Net网络训练完成后，获取对U-Net网络训练过程中U-Net网络的输出结果，即U-Net网络的Decoder部分的输出结果，并基于该输出结果对Yolo网络进行训练，得到训练后的Yolo网络。
S6，获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对待检测工件图片进行缺陷检测。
具体地，在将U-Net网络和Yolo网络训练好后，若需检测工件的缺陷，则获取待检测工件图片（用光学相机流水线上拍摄图片），并将待检测工件图片依次输入训练后的U-Net网络和训练后的Yolo网络，以使Yolo网络输出待检测工件图片中的缺陷类别及缺陷位置。
基于上述描述可知，本发明实施例采用标注图片集构建训练U-Net网络的训练图片集，并获取训练U-Net网络的标签集，训练图片集中的训练图片与标签集中的标签（参照工件原图）一一对应，在基于训练图片集和标签集对U-Net网络训练后，基于U-Net网络的输出结果对Yolo网络进行训练，从而得到训练好的U-Net网络和Yolo网络，结合训练好的U-Net网络和Yolo网络对待检测工件图片进行缺陷检测，如此通过端到端的方式实现了缺陷检测。
本发明实施例的工件的缺陷检测方法，可以避免或者减少训练用工件图片模糊、分辨率低导致的缺陷难以识别的现象，可以提高缺陷识别能力，改善工业质检效果。
在本发明的一个实施例中，对多个标注图片进行处理后作为训练图片集，可包括：对每张标注图片进行下采样；将下采样后的各个标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
具体而言，如图2所示，在得到清晰度相对较高的多个标注图片之后，对每张标注图片进行下采样，使标注图片达到模糊的效果，以模拟低清晰度的效果，进而下采样后的标注图片的尺寸变小，并将下采样后的标注图片的尺寸还原为下采样前的尺寸后，将多个标注图片整合为训练图片集，由此得到的训练图片为各个标注图片对应的清晰度较低、质量较低的训练图片。
在本发明的一个实施例中，U-Net网络包括特征提取网络、分类网络和去噪网络。上述步骤S4即基于训练图片集和标签集对U-Net网络进行训练，可包括：将多个训练图片和对应的参照工件原图输入U-Net网络的特征提取网络，以得到各个训练图片对应的特征图片；将多个特征图片输入U-Net网络的分类网络，以得到各个特征图片中的光学面和非光学面；将多个特征图片输入U-Net网络的去噪网络，以生成各个特征图片对应的第一修复图片。
其中，特征图片中的光学面是指特征图片中需要保留即需要检测的部分、非光学面是指特征图片中不需要保留即无需检测的部分。第一修复图片是指特征图片经去噪网络处理后得到的图片。
进一步地，U-Net网络的分类网络的损失函数为二元交叉熵损失，其公式为：
其中，
为分类网络的损失函数，N为特征图片中的像素总数，(i,j)为特征图片
中像素点的坐标，i为横向坐标，j为纵向坐标，
表示参照工件原图中坐标(i,j)处像素点
的真实标签，1为光学面，0为非光学面，
表示分类网络预测的所述特征图片的坐标(i,j)
处像素点的值。
U-Net网络的去噪网络的损失函数为均方误差（Mean Square Error，简称MSE），其公式为：
其中，
为去噪网络的损失函数，
为特征图片，
为特征图片经过去噪
网络处理后生成的第一修复图片。
具体而言，参照图2，将训练图片和对应的参照工件原图（作为标签）送入U-Net网络进行训练，首先，U-Net网络的特征提取网络即Encoder（编码器）部分提取训练图片的特征，例如语义信息、纹理、灰度等特征，以得到每个训练图片对应的特征图片，之后将所有特征图片分别送入两个不同的Decoder（解码器）中进行处理，其中第一Decoder为区分光学、非光学面的分类网络，其损失函数为二元交叉熵损失，第二Decoder为修复图片清晰度的去噪网络，其损失函数为均方误差损失，这个损失函数不仅鼓励去噪网络提取到特征图片的语义信息，还生成了特征图片对应的像素级的高质量、高清晰度的第一修复图片。在二元交叉熵损失和均方误差损失收敛时，U-Net网络的训练完成，之后，获取U-Net网络的输出结果，并基于U-Net网络的输出结果对Yolo网络进行训练（Yolo网络用于检测缺陷），得到训练后的Yolo网络。
也就是说，对U-Net网络训练得到的结果有两个，一个是修复标注图片清晰度以得到第一修复图片，另一个是区分标注图片上哪些部分是需要保留的，哪些是不需要保留的，即得到标注图片的光学面、非光学面。
相关技术中，输入到神经网络的图片由工件的不同角度拍摄得到的，网络难以区分光学面和非光学面（无需检测的区域），从而导致缺陷检测速度下降、浪费算力在无需检测的区域的问题。而本发明实施例中训练后的U-Net网络的Decoder部分能够区分图片的光学面和非光学面，从而能够避免算力的浪费，提高检测速度。
由此，利用下采样得到的标注图片结合参照工件原图训练得到的U-Net网络的Encoder部分可以提取输入图片的语义信息、第一Decoder部分能够区分输入图片的光学面和非光学面，第二Decoder部分能够将输入图片的清晰度进行修复，以将输入图片修复为清晰度高、质量高的图片，凸显缺陷的特征，从而提高后续网络识别缺陷的能力。
在本发明的一个实施例中，上述步骤S5即基于U-Net网络的输出结果对Yolo网络进行训练，可包括：根据各个特征图片中的光学面和非光学面确定对应的第一修复图片中的光学面和非光学面；根据第一修复图片中的光学面和非光学面对第一修复图片进行剪切处理，以保留第一修复图片中的光学面、剔除第一修复图片中的非光学面；基于剪切后的第一修复图片对Yolo网络进行训练。
具体而言，多个特征图片与多个第一修复图片一一对应，因此得到每个特征图片的光学面和非光学面后，即可得到对应的第一修复图片的光学面和非光学面，进而可将第一修复图片进行剪切，即将第一修复图片中的非光学面剔除、保留第一修复图片中的光学面，之后，基于剪切后的第一修复图片对Yolo网络进行训练，此时剪切后的第一修复图片为高清晰度的图片，因此基于第一修复图片训练得到的Yolo网络，具有缺陷识别能力强的优点。
其中，Yolo网络的损失函数为：
其中，
为检测框位置和大小的损失函数、
为缺陷类别的损失函数、
为
置信度的损失函数，
为检测框位置和大小的损失函数的权重系数，
缺陷类别的损
失函数的权重系数，
置信度的损失函数的权重系数。
因此将U-Net网络和Yolo网络结合起来的总损失函数
为：
其中，
为分类网络的损失函数，
为去噪网络的损失函数，
为Yolo网络
的损失函数，
为分类网络的损失函数的权重系数，
为去噪网络的损失函数的权重系
数，
为Yolo网络的损失函数的权重系数。
在本发明的另一个实施例中，上述步骤S6中的通过训练后的U-Net网络和训练后的Yolo网络对待检测工件图片进行缺陷检测，可包括：将待检测工件图片输入训练后的U-Net网络，以得到待检测工件图片中的光学面和非光学面、以及待检测工件图片对应的第二修复图片；根据待检测工件图片中的光学面和非光学面对第二修复图片进行剪切处理，以保留第二修复图片中的光学面、剔除第二修复图片中的非光学面；将剪切后的第二修复图片输入训练后的Yolo网络进行缺陷检测。
具体而言，如图3所示，在通过光学相机从流水线上获取到待检测工件图片后，先将待检测工件图片输入训练后的U-Net网络，进而U-Net网络通过分类处理输出待检测工件图片中的光学面和非光学面，并通过去噪处理将待检测工件的清晰度进行修复后输出对应的清晰度高的第二修复图片，此时U-Net网络输出的光学面和非光学面也为第二修复图片中的光学面和非光学面，于是将第二修复图片中的光学面保留、非光学面剔除后，输入训练后的Yolo网络，进而检测出待检测工件图片中是否存在缺陷，如果存在缺陷，则检测出缺陷位置框和缺陷类别，即可确定待检测工件为NG（No Good，不良品）；如果不存在缺陷，即可确定待检测工件为良品（Good）。
也就是说，将流水线上用光学相机拍摄到的图片送入训练好的U-Net网络中提高图片质量并区分光学、非光学面，然后在光学面区域利用训练好的Yolo网络检测工件缺陷。
综上所述，本发明实施例利用下采样得到的标注图片结合参照工件原图训练U-Net网络的Encoder部分和两个不同的Decoder部分，通过Encoder提取图片的语义信息，可通过两个Decoder并行的方式，在生成高质量图片的同时，区分高质量图片的光学面和非光学面，避免算力的浪费，降低过检率，通过端到端的方式，降低了训练网络的繁杂程度。
对应上述实施例的工件的缺陷检测方法，本发明还提出一种工件的缺陷检测装置。
图4为本发明实施例的工件的缺陷检测装置的方框示意图。
如图4所示，该工件的缺陷检测装置100包括：第一获取模块10、处理模块20、第二获取模块30、第一训练模块40、第二训练模块50及检测模块60。
其中，第一获取模块10用于获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的；处理模块20用于从标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对多个标注图片进行处理后作为训练图片集；第二获取模块30用于获取选择的每张标注图片对应的参照工件原图，以得到标签集；第一训练模块40用于基于训练图片集和标签集对U-Net网络进行训练；第二训练模块50用于在对U-Net网络训练完成后获取U-Net网络的输出结果，并基于U-Net网络的输出结果对Yolo网络进行训练；检测模块60用于获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对待检测工件图片进行缺陷检测。
在本发明的一个实施例中，处理模块20具体用于：对每张标注图片进行下采样；将下采样后的各个标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
在本发明的一个实施例中，U-Net网络包括特征提取网络、分类网络和去噪网络，第一训练模块40具体用于：将多个训练图片和对应的参照工件原图输入U-Net网络的特征提取网络，以得到各个训练图片对应的特征图片；将多个特征图片输入U-Net网络的分类网络，以得到各个特征图片中的光学面和非光学面；将多个特征图片输入U-Net网络的去噪网络，以生成各个特征图片对应的第一修复图片。
在本发明的一个实施例中，第二训练模块50具体用于：根据各个特征图片中的光学面和非光学面确定对应的第一修复图片中的光学面和非光学面；根据第一修复图片中的光学面和非光学面对第一修复图片进行剪切处理，以保留第一修复图片中的光学面、剔除第一修复图片中的非光学面；基于剪切后的第一修复图片对Yolo网络进行训练。
在本发明的一个实施例中，检测模块60具体可用于：将待检测工件图片输入训练后的U-Net网络，以得到待检测工件图片中的光学面和非光学面、以及待检测工件图片对应的第二修复图片；根据待检测工件图片中的光学面和非光学面对第二修复图片进行剪切处理，以保留第二修复图片中的光学面、剔除第二修复图片中的非光学面；将剪切后的第二修复图片输入训练后的Yolo网络进行缺陷检测。
在本发明的一个实施例中，U-Net网络的分类网络的损失函数为：
其中，
为分类网络的损失函数，N为特征图片中的像素总数，(i,j)为特征图片
中像素点的坐标，i为横向坐标，j为纵向坐标，
表示参照工件原图中坐标(i,j)处像素
点的真实标签，1为光学面，0为非光学面，
表示分类网络预测的特征图片的坐标(i,j)
处像素点的值。
在本发明的一个实施例中，U-Net网络的去噪网络的损失函数为：
其中，
为去噪网络的损失函数，
为特征图片，
为特征图片经过去噪
网络处理后生成的第一修复图片。
需要说明的是，该工件的缺陷检测装置的具体实施方式及实施原理可参见上述工件的缺陷检测方法的具体实施方式，为避免冗余，此处不再详细赘述。
本发明实施例的工件的缺陷检测装置，可以避免或者减少工件图片模糊、分辨率低导致的缺陷难以识别的现象，可以提高缺陷识别能力，改善工业质检效果。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种工件的缺陷检测方法，其特征在于，包括：
获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的；
从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对所述多个标注图片进行处理后作为训练图片集；
获取选择的每张所述标注图片对应的参照工件原图，以得到标签集；
基于所述训练图片集和所述标签集对U-Net网络进行训练；
在对所述U-Net网络训练完成后获取所述U-Net网络的输出结果，并基于所述U-Net网络的输出结果对Yolo网络进行训练；
获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测。
2.根据权利要求1所述的工件的缺陷检测方法，其特征在于，对所述多个标注图片进行处理后作为训练图片集，包括：
对每张所述标注图片进行下采样；
将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
3.根据权利要求1所述的工件的缺陷检测方法，其特征在于，所述U-Net网络包括特征提取网络、分类网络和去噪网络，基于所述训练图片集和所述标签集对U-Net网络进行训练，包括：
将多个训练图片和对应的所述参照工件原图输入所述U-Net网络的特征提取网络，以得到各个所述训练图片对应的特征图片；
将多个所述特征图片输入所述U-Net网络的分类网络，以得到各个所述特征图片中的光学面和非光学面；
将多个所述特征图片输入所述U-Net网络的去噪网络，以生成各个所述特征图片对应的第一修复图片。
4.根据权利要求3所述的工件的缺陷检测方法，其特征在于，基于所述U-Net网络的输出结果对Yolo网络进行训练，包括：
根据各个所述特征图片中的光学面和非光学面确定对应的所述第一修复图片中的光学面和非光学面；
根据所述第一修复图片中的光学面和非光学面对所述第一修复图片进行剪切处理，以保留所述第一修复图片中的光学面、剔除所述第一修复图片中的非光学面；
基于剪切后的第一修复图片对Yolo网络进行训练。
5.根据权利要求3所述的工件的缺陷检测方法，其特征在于，通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测，包括：
将所述待检测工件图片输入训练后的U-Net网络，以得到所述待检测工件图片中的光学面和非光学面、以及所述待检测工件图片对应的第二修复图片；
根据所述待检测工件图片中的光学面和非光学面对所述第二修复图片进行剪切处理，以保留所述第二修复图片中的光学面、剔除所述第二修复图片中的非光学面；
将剪切后的第二修复图片输入训练后的Yolo网络进行缺陷检测。
6.根据权利要求5所述的工件的缺陷检测方法，其特征在于，所述U-Net网络的分类网络的损失函数为：
其中，
为所述分类网络的损失函数，N为所述特征图片中的像素总数，(i,j)为所述特
征图片中像素点的坐标，i为横向坐标，j为纵向坐标，
表示所述参照工件原图中坐标(i,
j)处像素点的真实标签，1为光学面，0为非光学面，
表示所述分类网络预测的所述特征
图片的坐标(i,j)处像素点的值。
7.根据权利要求6所述的工件的缺陷检测方法，其特征在于，所述U-Net网络的去噪网络的损失函数为：
其中，
为所述去噪网络的损失函数，
为所述特征图片，
为所述特征图片
经过所述去噪网络处理后生成的第一修复图片。
8.一种工件的缺陷检测装置，其特征在于，包括：
第一获取模块，用于获取标注图片集，其中，标注图片是通过对训练用工件图片的缺陷进行标注得到的；
处理模块，用于从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片，并对所述多个标注图片进行处理后作为训练图片集；
第二获取模块，用于获取选择的每张所述标注图片对应的参照工件原图，以得到标签集；
第一训练模块，用于基于所述训练图片集和所述标签集对U-Net网络进行训练；
第二训练模块，用于在对所述U-Net网络训练完成后获取所述U-Net网络的输出结果，并基于所述U-Net网络的输出结果对Yolo网络进行训练；
检测模块，用于获取待检测工件图片，并通过训练后的U-Net网络和训练后的Yolo网络对所述待检测工件图片进行缺陷检测。
9.根据权利要求8所述的工件的缺陷检测装置，其特征在于，所述处理模块具体用于：
对每张所述标注图片进行下采样；
将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合为训练图片集。
10.根据权利要求8所述的工件的缺陷检测装置，其特征在于，所述U-Net网络包括特征提取网络、分类网络和去噪网络，所述第一训练模块具体用于：
将多个训练图片和对应的所述参照工件原图输入所述U-Net网络的特征提取网络，以得到各个所述训练图片对应的特征图片；
将多个所述特征图片输入所述U-Net网络的分类网络，以得到各个所述特征图片中的光学面和非光学面；
将多个所述特征图片输入所述U-Net网络的去噪网络，以生成各个所述特征图片对应的第一修复图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211171360.9A CN115272310B (zh) | 2022-09-26 | 2022-09-26 | 工件的缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211171360.9A CN115272310B (zh) | 2022-09-26 | 2022-09-26 | 工件的缺陷检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272310A true CN115272310A (zh) | 2022-11-01 |
| CN115272310B CN115272310B (zh) | 2023-01-03 |
Family
ID=83756548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211171360.9A Active CN115272310B (zh) | 2022-09-26 | 2022-09-26 | 工件的缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272310B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977921A (zh) * | 2019-04-11 | 2019-07-05 | 广东电网有限责任公司 | 一种输电线路隐患检测方法 |
| US20200134810A1 (en) * | 2018-10-26 | 2020-04-30 | Taiwan Semiconductor Manufacturing Company Ltd. | Method and system for scanning wafer |
| CN111127454A (zh) * | 2019-12-27 | 2020-05-08 | 上海交通大学 | 基于深度学习生成工业缺陷样本的方法及系统 |
| CN113298757A (zh) * | 2021-04-29 | 2021-08-24 | 同济大学 | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 |
| CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
| CN113592822A (zh) * | 2021-08-02 | 2021-11-02 | 郑州大学 | 一种电力巡检图像的绝缘子缺陷定位方法 |
| WO2021217857A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安科技（深圳）有限公司 | 切片缺陷检测方法、装置、电子设备及可读存储介质 |
| US20210374940A1 (en) * | 2019-12-30 | 2021-12-02 | Goertek Inc. | Product defect detection method, device and system |
| CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
| CN114399505A (zh) * | 2022-03-25 | 2022-04-26 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
| CN114445429A (zh) * | 2022-01-29 | 2022-05-06 | 北京邮电大学 | 基于多标签与多解码器的全心脏ct分割方法及装置 |
| WO2022146234A1 (en) * | 2020-12-30 | 2022-07-07 | National University Of Singapore | Classifying joints |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN115035108A (zh) * | 2022-08-10 | 2022-09-09 | 四川中电启明星信息技术有限公司 | 一种基于深度学习的绝缘子缺陷检测方法 |
-
2022
- 2022-09-26 CN CN202211171360.9A patent/CN115272310B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200134810A1 (en) * | 2018-10-26 | 2020-04-30 | Taiwan Semiconductor Manufacturing Company Ltd. | Method and system for scanning wafer |
| CN109977921A (zh) * | 2019-04-11 | 2019-07-05 | 广东电网有限责任公司 | 一种输电线路隐患检测方法 |
| CN111127454A (zh) * | 2019-12-27 | 2020-05-08 | 上海交通大学 | 基于深度学习生成工业缺陷样本的方法及系统 |
| US20210374940A1 (en) * | 2019-12-30 | 2021-12-02 | Goertek Inc. | Product defect detection method, device and system |
| WO2021217857A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安科技（深圳）有限公司 | 切片缺陷检测方法、装置、电子设备及可读存储介质 |
| WO2022146234A1 (en) * | 2020-12-30 | 2022-07-07 | National University Of Singapore | Classifying joints |
| CN113298757A (zh) * | 2021-04-29 | 2021-08-24 | 同济大学 | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 |
| CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
| CN113592822A (zh) * | 2021-08-02 | 2021-11-02 | 郑州大学 | 一种电力巡检图像的绝缘子缺陷定位方法 |
| CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
| CN114445429A (zh) * | 2022-01-29 | 2022-05-06 | 北京邮电大学 | 基于多标签与多解码器的全心脏ct分割方法及装置 |
| CN114399505A (zh) * | 2022-03-25 | 2022-04-26 | 江苏智云天工科技有限公司 | 工业检测中的检测方法、检测装置 |
| CN114782391A (zh) * | 2022-04-29 | 2022-07-22 | 广州大学 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
| CN115035108A (zh) * | 2022-08-10 | 2022-09-09 | 四川中电启明星信息技术有限公司 | 一种基于深度学习的绝缘子缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| YING WANG等: "DDU-Net: Dual-Decoder-U-Net for Road Extraction Using High-Resolution Remote Sensing Images", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 亢洁等: "基于分水岭修正与U-Net的肝脏图像分割算法", 《计算机工程》 * |
| 毕秀丽等: "基于双解码U型卷积神经网络的胰腺分割", 《软件学报》 * |
| 罗东亮等: "工业缺陷检测深度学习方法综述", 《中国科学:信息科学》 * |
| 陈涵: "基于深度学习的陶质焊接衬垫缺陷检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272310B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN111612751A (zh) | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 | |
| CN111738249B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN111861990B (zh) | 一种产品不良外观检测的方法、系统及存储介质 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN112990392A (zh) | 基于改进YOLOv5算法的新材料地板缺陷目标检测系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN112215907A (zh) | 一种焊缝缺陷自动提取方法 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN112017154A (zh) | 基于Mask R-CNN模型的一种射线缺陷检测方法 | |
| CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
| CN117036271A (zh) | 生产线质量监测方法及其系统 | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| CN114663382A (zh) | 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法 | |
| CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
| CN117011300B (zh) | 一种实例分割与二次分类相结合的微小缺陷检测方法 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 | |
| CN115272310B (zh) | 工件的缺陷检测方法及装置 | |
| CN114581911B (zh) | 一种钢卷标号识别方法及系统 | |
| CN113763384B (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN113781449A (zh) | 一种基于多尺度特征融合的纺织品瑕疵分类方法 | |
| CN111680691A (zh) | 文字检测方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |