CN109584206A - 零件表面瑕疵检测中神经网络的训练样本的合成方法 - Google Patents
零件表面瑕疵检测中神经网络的训练样本的合成方法 Download PDFInfo
- Publication number
- CN109584206A CN109584206A CN201811221719.2A CN201811221719A CN109584206A CN 109584206 A CN109584206 A CN 109584206A CN 201811221719 A CN201811221719 A CN 201811221719A CN 109584206 A CN109584206 A CN 109584206A
- Authority
- CN
- China
- Prior art keywords
- flaw
- image
- synthesis
- sample
- synthetic method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000010189 synthetic method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000007547 defect Effects 0.000 title claims abstract description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 80
- 238000003786 synthesis reaction Methods 0.000 claims description 80
- 230000002194 synthesizing effect Effects 0.000 claims description 23
- 230000005484 gravity Effects 0.000 claims description 10
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 238000001308 synthesis method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 17
- 230000002950 deficient Effects 0.000 abstract description 12
- 230000001537 neural effect Effects 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明属于表面瑕疵检测技术领域，具体提供了一种零件表面瑕疵检测中神经网络的训练样本的合成方法。训练样本的合成方法包括：步骤S1：获取带瑕疵零件样本的图像；步骤S2：从带瑕疵零件样本的图像中获取瑕疵图像；步骤S3：提取瑕疵图像的图像特征并将扰动加入图像特征来生成训练样本。通过这样的方法获取训练样本，只需获取少量的带有瑕疵的零件，通过获取少量的瑕疵零件表面的图像，对图像中存在的瑕疵进行提取获取各种瑕疵的图像，从各种瑕疵的图像中提取瑕疵的图像特征，再对各图像特征加入相应的扰动以生成数量巨大的训练样本，满足了神经网络的训练需求，解决了用于神经网络训练的训练样本获取困难，无法获取大量训练样本的问题。
Description
技术领域
本发明属于表面瑕疵检测技术领域，具体提供了一种零件表面瑕疵检测中神经网络的训练样本的合成方法。
背景技术
传统的精密零件表面瑕疵的检测方法主要是人工检测。人工检测方法受限于检测人员的工作状态、检测技能水平以及熟练水平等因素，不可避免地出现错检、漏检的情况。采用人工检测零件表面瑕疵，劳动强度大、检测效率低、出错率高。
近年来，随着深度学习在语义识别、图像理解中取得的显著效果，利用神经网络自动训练特征表达的目标检测方法得到了越来越快的发展(Krizhevsky A,Sutskever I,Hinton G E.Image Net classification with deep convolutional neural networks[C].In:Proceedings of the 25th International Conference on Neural InformationProcessing Systems.Lake Tahoe,Nevada,USA:MIT Press,2012.1097-1105；Ren S Q,HeK M,Girshick R,Sun J.Faster R-CNN:towards real-time object detection withregion proposal networks[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2017,39(6):1137-1149；[98]Girshick R.Fast R-CNN[C].In:Proceedingsof the 2015IEEE International Conference on Computer Vision(ICCV).Santiago,Chile:IEEE,2015.1440-1448.)。鉴于卷积神经网络在图像识别领域的优秀表现，其被广泛应用于目标检测领域。为了利用图像识别的技术，在图像进行目标检测前，先要给识别网络输入一个需要识别的候选区域，这种先提取候选区域再进行分类的目标检测方法称为基于区域建议的目标检测方法(He K,Zhang X,Ren S,et al.Spatial pyramid pooling indeep convolutional networks for visual recognition[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2014,37(9):1904-1916；Girshick R,DonahueJ,Darrell T,Malik J.Rich feature hierarchies for accurate object detectionand semantic segmentation[C].In:Proceedings of the 2014IEEE Conference onComputer Vision and Pattern Recognition(CVPR).Columbus,Ohio,USA:IEEE,2014.580-587；Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N,Senior A,Vanhoucke V,Nguyen P,Sainath T N,Kingsbury B.Deep neural networks foracoustic modeling in speech recognition:the shared views of four researchgroups[J].IEEE Signal Processing Magazine,2012,29(6):82-97.)。借助卷积神经网络和图像识别技术，实现了精密零件表面瑕疵检测的自动化，提高了检测效率，保证了检测合格率。在瑕疵检测之前，需要使用大量的样本图像对卷积神经网络进行训练。若使用的训练样本过少，使用训练后的卷积神经网络进行零件表面瑕疵检测时将出现过拟合、泛化能力弱、检测错误率高等问题。然而，在实际应用中，通常无法获取大量的带有瑕疵的零件样本，只能通过少量的零件样本对卷积神经网络进行训练，这样将会出现过拟合、泛化能力弱的问题，进而影响零件表面瑕疵的准确检测。
相应地，本领域需要一种新的训练样本合成方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决用于神经网络训练的训练样本获取困难，无法获取大量训练样本的问题，本发明提供了一种零件表面瑕疵检测中神经网络的训练样本的合成方法，所述合成方法包括：步骤S1：获取带瑕疵零件样本的图像；步骤S2：从带瑕疵零件样本的图像中获取瑕疵图像；步骤S3：提取所述瑕疵图像的图像特征并将扰动加入所述图像特征来生成训练样本。
在上述合成方法的优选技术方案中，步骤S2具体为：利用全局阈值法对所述带瑕疵零件样本的图像进行分割以获取所述瑕疵图像；其中，按照以下公式(1)计算全局阈值法中的全局阈值TH：
其中，P0(t)(u0(t))2为瑕疵图像的方差，P1(t)(u1(t))2为背景的方差，L为带瑕疵零件的图像中灰度级的数量，ω为瑕疵图像的方差权重，取值范围为[0,1]。
在上述合成方法的优选技术方案中，步骤S3具体包括：步骤S31：提取所述瑕疵图像的图像特征并将扰动加入所述图像特征生成合成瑕疵；步骤S32：将所述合成瑕疵与合格零件样本的图像进行拼接生成所述训练样本。
在上述合成方法的优选技术方案中，所述图像特征包括瑕疵面积，步骤S31具体包括：按照以下公式(2)计算瑕疵面积S：
其中，x、y分别为瑕疵图像中的像素点的横坐标和纵坐标，R为瑕疵图像中的像素点的点集；给定瑕疵的扰动面积；按照以下公式(3)计算合成瑕疵的面积S'：
S'＝S+ΔS (3)
其中，S为瑕疵面积，S′为合成瑕疵的面积，ΔS为瑕疵扰动面积。
在上述合成方法的优选技术方案中，所述图像特征包括瑕疵矩形度，步骤S31具体包括：按照以下公式(4)计算瑕疵矩形度Rl：
其中，Rl为瑕疵矩形度，L1为瑕疵的最小外接矩形的短边边长，L2为瑕疵的最小外接矩形的长边边长；给定瑕疵的最小外接矩形的短边扰动长度和长边扰动长度；按照以下公式(5)计算合成瑕疵的最小外接矩形的参数：
其中，L1、L2分别为瑕疵的最小外接矩形的短边边长和长边边长，L1'、L2'分别为合成瑕疵的最小外接矩形的短边边长和长边边长，ΔL1、ΔL2分别为瑕疵的最小外接矩形的短边扰动长度和长边扰动长度。
在上述合成方法的优选技术方案中，所述图像特征包括瑕疵平均灰度，步骤S31具体包括：按照以下公式(6)计算瑕疵平均灰度M：
其中，f(x,y)为图像灰度函数，S为瑕疵面积，x、y分别为瑕疵图像中的像素点的横坐标和纵坐标；给定瑕疵的扰动灰度；按照以下公式(7)计算合成瑕疵的平均灰度M'：
M'＝M+ΔM (7)
其中，M为瑕疵平均灰度，M'为合成瑕疵的平均灰度，ΔM为瑕疵的扰动灰度。
在上述合成方法的优选技术方案中，所述图像特征包括分布角度，步骤S31具体包括：按照以下公式(8)确定合成瑕疵的分布角度：
其中，θ′为合成瑕疵的分布角度，f(θ′)为合成瑕疵的分布角度的分布概率密度函数；将瑕疵按照分布角度分布生成合成瑕疵。
在上述合成方法的优选技术方案中，步骤S32具体为：S321：确定合成瑕疵的重心坐标；S322：确定合成瑕疵的重心在合格零件样本图像中的随机坐标分布；S323：计算所述重心坐标指向所述随机坐标的向量；S324：合成瑕疵的所有像素点相对于合格零件样本图像按照所述向量移动生成训练样本。
在上述合成方法的优选技术方案中，步骤S321中的合成瑕疵的重心坐标按照以下公式(9)计算：
其中，xc,yc分别为合成瑕疵的重心的横纵坐标，S′表示合成瑕疵的面积，x、y分别为合成瑕疵图像中像素点的横纵坐标，R′为合成瑕疵图像中的像素点的点集。
在上述合成方法的优选技术方案中，步骤S322中的随机坐标分布按照以下公式(10)计算：
其中，(xc′，yc′)为合成瑕疵的重心在合格零件样本的图像上的坐标，D为零件的表面面积，f(x′c,y′c)为合成瑕疵的重心坐标的分布概率密度函数。
本领域技术人员能够理解的是，在本发明的技术方案中，零件表面瑕疵检测中神经网络的训练样本的合成方法主要包括：步骤S1：获取带瑕疵零件样本的图像；步骤S2：从带瑕疵零件样本的图像中获取瑕疵图像；步骤S3：提取瑕疵的图像特征并将扰动加入所述图像特征来生成训练样本。通过这样的方法合成训练样本，只需获取少量的带有瑕疵的零件，通过获取少量的瑕疵零件表面的图像，对图像中存在的瑕疵进行提取获取各种瑕疵的图像，从各种瑕疵的图像中提取瑕疵的图像特征，再对各图像特征加入相应的扰动以生成数量巨大的训练样本，满足了神经网络的训练需求，解决了用于神经网络训练的训练样本获取困难，无法获取大量训练样本的问题。
在本发明的优选技术方案中，步骤S2具体为：利用全局阈值法对带瑕疵零件样本的图像进行分割以获取瑕疵图像；其中，按照公式计算全局阈值法中的全局阈值TH。其中，P0(t)(u0(t))2为瑕疵图像的方差，P1(t)(u1(t))2为背景的方差，L为带瑕疵零件样本的图像中灰度级的数量，ω为瑕疵图像的方差权重，取值范围为[0,1]。优选地，步骤S3具体包括：步骤S31：提取瑕疵图像的图像特征并将扰动加入图像特征生成合成瑕疵；步骤S32：将合成瑕疵与合格零件样本的图像进行拼接生成训练样本。按照公式(1)(即使用最大类间方差法)计算全局阈值，能够减小错分概率，提高瑕疵图像分割的准确性。
附图说明
下面参照附图并结合一种内部中空的方形零件的表面瑕疵的训练样本的合成方法来描述本发明的技术原理。附图中：
图1是本发明的零件表面瑕疵检测中神经网络的训练样本的合成方法的主要步骤示意图；
图2是本发明一种实施例的零件表面瑕疵检测的神经网络的训练样本的获取步骤图；
图3是本发明一种实施例的利用获取的训练样本进行训练并进行零件表面瑕疵检测的步骤图。
具体实施方式
本领域技术人员应当理解的是，本节实施方式仅仅用于解释本发明的技术原理，并非用于限制本发明的保护范围。例如，虽然本发明是结合内部中空的方形零件的表面瑕疵的训练样本的合成方法来进行介绍说明的，但是本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，如本发明的训练样本的合成方法也可用于合成表面为圆形、菱形或者其他形状的零件的训练样本。
随着神经网络技术和图像识别技术的飞速发展，神经网络技术和图像识别技术被应用于精密零件表面的瑕疵检测。首先，需要找到表面带有瑕疵的零件并获取零件图像，使用零件图像对神经网络进行训练使其获得识别零件表面瑕疵的能力。将待检测零件的图像输入神经网络，神经网络对待检测零件的图像进行识别和分析，输出检测结果。通常，在一批零件中只有少量的零件表面存在瑕疵，经过筛选后能够获取其中少量的表面带有瑕疵的零件。然而零件表面的瑕疵种类多种多样，少量的表面带有瑕疵的零件上的瑕疵仅是瑕疵种类中的一少部分，通过获取的少量的表面带有瑕疵的零件并通过这些零件的表面图像对神经网络进行训练，将会出现过拟合、泛化能力弱的问题，严重影响神经网络对零件表面瑕疵检测结果的准确性。鉴于此，需要合成大量的用于神经网络的训练样本。本发明提供了一种零件表面瑕疵检测中神经网络的训练样本的合成方法。
参照图1，图1是本发明的零件表面瑕疵检测中神经网络的训练样本的合成方法的主要步骤示意图。如图1所示，本发明的零件表面瑕疵检测中神经网络的训练样本的合成方法主要包括以下步骤：
步骤S1、获取带瑕疵零件样本的图像；
步骤S2、从带瑕疵零件样本的图像中获取瑕疵图像；
步骤S3、提取瑕疵图像的图像特征并将扰动加入图像特征来生成训练样本。
具体而言，将现有的少量带有瑕疵的零件逐个放置在显微摄像头下方，利用显微摄像头对带瑕疵零件的各个表面进行拍照以获取现有的少量带瑕疵零件的表面图像。然后，逐个观测带瑕疵零件的表面图像，找出其中存在的瑕疵，并将其中瑕疵所在区域的图像分离出来从而获取瑕疵的瑕疵图像，对所有瑕疵的瑕疵图像进行分类标注，形成典型的瑕疵数据库。最后，对典型的瑕疵数据库中的各个瑕疵图像提取图像特征，对提取的每个瑕疵图像的图像特征加入相应的扰动以获取新的图像特征，每个瑕疵图像的图像特征可以加入大量不同的扰动从而形成多个训练样本，因此基于现有的少量瑕疵样本便能够获取大量的训练样本，以满足神经网络的训练需求，避免了训练样本数量不足导致训练后的神经网络易出现过拟合、泛化能力弱的问题而影响零件表面瑕疵的准确检测。
优选地，步骤S2具体为：利用全局阈值法对带瑕疵零件样本的图像进行分割以获取瑕疵图像；其中，按照以下公式(1)计算全局阈值法中的全局阈值TH：
其中，P0(t)(u0(t))2为瑕疵图像的方差，P1(t)(u1(t))2为背景的方差，L为带瑕疵零件样本的图像中灰度级的数量，ω为瑕疵图像的方差权重，取值范围为[0,1]。需要说明的是，在设置ω的值时，需要根据瑕疵的大小进行选择，瑕疵越小ω的取值越小。
具体而言，先对带瑕疵零件的图像依次进行图像灰度化、图像增强等预处理，然后按照公式(1)使用带权重的最大类间方差法计算全局阈值，对带瑕疵零件的图像进行分割以获取瑕疵图像。先对带瑕疵零件的图像进行图像灰度化处理，使带瑕疵零件的图像变成黑白图像，减少了后续处理的数据量，提高了处理速度。在图像灰度化处理之后，进行图像增强处理，能够将不清晰的图像变得清晰，扩大了图像中背景与瑕疵之间的差别，改善了图像质量，增强了图像判读和识别效果，方便了使用最大类间方差法计算全局阈值对带瑕疵零件的图像进行分割以提取瑕疵图像。使用最大类间方差法计算全局阈值，能够减小错分概率，提高图像分割的准确性。
本领域技术人员可以理解的是，“利用全局阈值法对带瑕疵零件样本的图像进行分割”仅仅是图像分割方法的一种示例性的描述，通过图像分割获取瑕疵图像时，可以采用基于边缘的分割方法如Roberts算子、Sobel算子、Prewitt算子、Canny算子、Laplacian算子和Marr算子等，也可以采用基于区域的分割方法如区域生长法、分裂合并法和分水岭分割方法等。
参照图2，图2是本发明一种实施例的零件表面瑕疵检测的神经网络的训练样本的获取步骤图。优选地，步骤S3具体包括：步骤S31：提取所述瑕疵图像的图像特征并将扰动加入所述图像特征生成合成瑕疵；步骤S32：将所述合成瑕疵与合格零件样本的图像进行拼接生成所述训练样本。如图2所示，在一种实施例中，根据种子样本(带瑕疵零件的图像)共获取三类瑕疵图像并标记瑕疵的类型，分别为块状瑕疵、长条状瑕疵和月牙状瑕疵。对带瑕疵零件的图像分割获取瑕疵图像并提取瑕疵图像的图像特征，对每个瑕疵的各个图像特征加入相应的扰动以生成合成瑕疵，再将生成的合成瑕疵与合格零件的图像进行拼接以生成训练样本。
继续参照图2，优选地，图像特征包括瑕疵面积、瑕疵矩形度、瑕疵平均灰度以及瑕疵角度。生成合成瑕疵的第一种具体方式为：
按照以下公式(2)计算瑕疵面积S：
其中，x、y分别为瑕疵图像中的像素点的横坐标和纵坐标，R为瑕疵图像中的像素点的点集，也就是说，将瑕疵图像的像素点的点集中每个像素点作为占用一个单位面积，计算获得点集中像素点的总个数即瑕疵图像的瑕疵面积；给定瑕疵的扰动面积；按照以下公式(3)计算合成瑕疵的面积S'：
S'＝S+ΔS (3)
其中，S为瑕疵面积，S′为合成瑕疵的面积，ΔS为瑕疵的扰动面积。如图2中通过面积变换生成的四个合成瑕疵，先按照公式(2)计算瑕疵面积，再给定瑕疵的扰动面积，再按照公式(3)在瑕疵面积上加上给定的瑕疵的扰动面积得到合成瑕疵的面积从而生成相应大小的合成瑕疵。通过给定多个不同的扰动面积，能够生成多个新的合成瑕疵。
生成合成瑕疵的第二种具体方式为：
按照以下公式(4)计算瑕疵矩形度Rl：
其中，Rl为瑕疵矩形度，L1为瑕疵的最小外接矩形的短边边长，L2为瑕疵的最小外接矩形的长边边长；给定瑕疵的最小外接矩形的短边扰动长度和长边扰动长度；按照以下公式(5)计算合成瑕疵的最小外接矩形的参数：
其中，L1、L2分别为瑕疵的最小外接矩形的短边边长和长边边长，L1'、L2'分别为合成瑕疵的最小外接矩形的短边边长和长边边长，ΔL1、ΔL2分别为瑕疵的最小外接矩形的短边扰动长度和长边扰动长度。如图2中通过几何变换生成的四个合成瑕疵，先获取瑕疵的最小外接矩形的短边边长和长边边长，按照公式(4)计算出瑕疵矩形度，然后给定瑕疵的最小外接矩形的短边扰动长度和长边扰动长度，最后按照公式(5)瑕疵的最小外接矩形的短边边长和长边边长分别加上短边扰动长度和长边扰动长度获得合成瑕疵的最小外接矩形的短边边长和长边边长，从而生成不同矩形度的合成瑕疵。本领域技术人员可以理解的是，也可以给定瑕疵矩形度的扰动值以及最小外接矩形的短边扰动长度或者长边扰动长度中的任一个，从而确定出合成瑕疵的最小外接矩形的参数，生成新的合成瑕疵。
生成合成瑕疵的第三种具体方式为：
按照以下公式(6)计算瑕疵平均灰度M：
其中，f(x,y)为图像灰度函数，S为瑕疵面积，x、y分别为瑕疵图像中的像素点的横坐标和纵坐标；给定瑕疵的扰动灰度；按照以下公式(7)计算合成瑕疵的平均灰度M'：
M'＝M+ΔM (7)
其中，M为瑕疵平均灰度，M'为合成瑕疵的平均灰度，ΔM为瑕疵的扰动灰度。如图2中通过灰度变换生成的四个合成瑕疵，先通过公式(6)计算出瑕疵平均灰度，再给定瑕疵的扰动灰度，通过公式(7)计算出合成瑕疵的平均灰度，进而生成合成瑕疵。
生成合成瑕疵的第四种具体方式为：
按照以下公式(8)计算合成瑕疵的分布角度：
其中，θ′为合成瑕疵的分布角度，f(θ′)为合成瑕疵的分布角度的分布概率密度函数；将瑕疵按照分布角度分布生成合成瑕疵。如图2中通过位姿变换生成的四个合成瑕疵，先按照公式(8)计算出合成瑕疵的分布角度，将瑕疵按照随机生成的分布角度分布从而生成合成瑕疵。
通过以上生成合成瑕疵的第一种具体方式、第二种具体方式、第三种具体方式以及第四种具体方式分别对每个瑕疵的瑕疵面积S、瑕疵矩形度Rl、瑕疵平均灰度M以及分布位置加入相应的扰动而得到合成瑕疵图像特征进而根据每一类瑕疵生成大量不同的合成瑕疵。每一类的合成瑕疵形成了相应的合成瑕疵数据集RS、RL1、RL2和RM，合成瑕疵数据集共同形成了合成瑕疵样本集R'＝{RS，RL1，RL2，RM}。
本领域技术人员可以理解的是，图2中对于一个瑕疵图像加入多个扰动后形成四个合成瑕疵仅仅是示例性的描述，也可以根据需要加入不同数量的扰动进而生成多个合成瑕疵，如可以生成6个、10个、20个或者其他数量的合成瑕疵。另外，虽然在上述实施例中图像特征包括瑕疵面积、瑕疵矩形度、瑕疵平均灰度以及瑕疵角度等四种图像特征，可以理解的是，也可以仅通过对上述四种图像特征中的一种加入相应的扰动生成大量的合成瑕疵，也可以通过对四种图像特征中的多种加入相应的生成合成瑕疵。此外，图像特征还可以包括纹理特征或者其他合适的图像特征。
通常，在零件表面上产生瑕疵的位置是不确定的，为了使训练样本更为全面地模拟带有瑕疵的零件，将合成瑕疵样本集中的合成瑕疵以随机位置与合格零件的图像进行拼接以生成训练样本。步骤S32具体为：S321：确定合成瑕疵的重心坐标；S322：确定合成瑕疵的重心在合格零件样本图像中的随机坐标分布；S323：计算重心坐标指向随机坐标的向量；S324：合成瑕疵的所有像素点相对于合格零件样本图像按照向量移动生成训练样本。其中，合成瑕疵的重心坐标按照以下公式(9)计算：
其中，xc、yc分别为合成瑕疵的重心的横纵坐标，S′表示合成瑕疵的面积，x、y分别为合成瑕疵图像中像素点的横纵坐标，R′为合成瑕疵图像中的像素点的点集。
随机坐标分布按照以下公式(10)计算：
其中，(xc′，yc′)为合成瑕疵的重心在合格零件样本的图像上的坐标，D为零件的表面面积，f(x′c,y′c)为合成瑕疵的重心坐标的分布概率密度函数。
对于生成的大量合成瑕疵，按照公式(9)计算出合成瑕疵的重心坐标，并按照公式(10)计算出合成瑕疵在合格零件样本图像中的随机坐标，计算出合成瑕疵的重心坐标指向随机坐标的向量，使合成瑕疵上的所有像素点相对于合格零件样本图像按照向量移动从而生成带有合成瑕疵的零件表面图像作为训练样本。如图2所示，对四种图像特征加入相应的扰动生成的合成瑕疵按照随机位置拼接在真实合格样本(合格零件的图像)上，从而形成了数量巨大的合成样本(即训练样本)，形成了合成样本库，以方便对神经网络进行训练。
通过将合成瑕疵以随机的位置拼接在合格零件的图像上而形成大量的训练样本，不仅极大地扩大了训练样本的数量，而且能够覆盖各种带有瑕疵的零件，使经过该训练样本训练后的神经网络能够识别检测零件中的绝大数瑕疵，提高了检测准确性，减小了瑕疵漏检的概率。
参照图3，图3是本发明一种实施例的利用获取的训练样本进行训练并进行零件表面瑕疵检测的步骤图。如图3所示，在一种零件表面瑕疵检测的整个过程中，先根据现有的少量带瑕疵零件按照本发明的训练样本的合成方法获得大量的合成样本(即训练样本)，利用大量的合成样本对神经网络进行训练。优选地，采用的神经网络为卷积神经网络(CNN)。该卷积神经网络由九层组成，其中第一层为输入层；第二层为卷积层，卷积核尺寸为3×3，步进为1，并采用ReLU函数作为非线性激活函数；第三层为最大池化层，尺寸为2×3，步进为2；第四层同第二层，为卷积层，激活函数为ReLU函数；第五层与第三层相同，为最大池化层；第六层同第二层，为卷积层，激活函数为ReLU函数；第七、八层为全连接层，对前层提取的特征进行加权计算，得到一维向量；最后一层为用于对输出特征进行分类的LogSoftmax层。
将大量的训练样本的图像输入至卷积神经网络，卷积神经网络对输入的训练样本的图像进行学习记忆，并输出相应的瑕疵类型，将输入的训练样本中的瑕疵与输出结果进行对比，不断调整卷积神经网络的参数，使卷积神经网络获得优良的检测瑕疵的能力。在瑕疵检测过程中，获取待检测零件的图像并将图像进行灰度化、图形增强等预处理，并将图像按照4行×4列的形式等分成16个图像块，依次将16个图像块叔叔训练好的卷积神经网络中，卷积神经网络对图像特征进行提取分析后输出相应的检测结果。如零件表面的瑕疵可以通过图像显示装置直接在输入的零件图像中框出，并通过文字方式显示零件表面瑕疵的类型和数量。
使用卷积神经网络来进行零件表面瑕疵检测，由于卷积神经网络的神经元的连接为非全连接，并且神经元之间的连接的权重是共享的，因此减小了网络模型的复杂度，减小了权值的数量，在神经网络训练和瑕疵检测过程中，大大减小了计算量，提高了训练效率和瑕疵检测效率。本领域技术人员可以理解的是，卷积神经网络作为神经网络仅仅是一种优选的实施方式，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，如神经网络也可以是BP神经网络、RBF神经网络、DBN神经网络等。
优选地，在训练阶段，先使用图像分类通用样本如ILVCR2012数据集中的所有数据对网络进行预训练。卷积神经网络提取的特征为4096维，将这些特征送入4096到1000类的全连接层进行分类，学习率为0.01。卷积神经网络经过预训练之后，再使用合成的大量的训练样本对卷积神经网络进行调优训练。将预训练后的卷积神经网络中最后一层4096到1000类的分类层改为4096到4类的分类层并进行调优训练，学习率为0.001。
通过这样的设置，先使用ILVCR 2012数据集中的所有数据对网络进行预训练，使卷积神经网络具有识别通用样本的基本能力，再使用训练样本对卷积神经网络进行训练，极大地提高了卷积神经网络的学习能力和训练效率。本领域技术人员可以理解的是，ILVCR2012数据集仅仅是图像分类通用样本的一种示例性描述，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，如图像分类通用样本还可以是ImageNet，ILSVRC2016，ILSVRC2012，COCO，PASCAL VOC，CIFAR-100等。
通过以上描述可以看出，在本发明的优选技术方案中，零件表面瑕疵检测中神经网络的训练样本的合成方法主要包括以下步骤：步骤S1、获取带瑕疵零件样本的图像；步骤S2、从带瑕疵零件样本的图像中获取瑕疵图像；步骤S3、提取瑕疵的图像特征并将扰动加入图像特征来生成训练样本。优选地，步骤S2具体为：利用全局阈值法对带瑕疵零件样本的图像进行分割以获取瑕疵图像；其中，按照公式计算全局阈值法中的全局阈值TH。其中，P0(t)(u0(t))2为瑕疵图像的方差，P1(t)(u1(t))2为背景的方差，L为带瑕疵零件样本的图像中灰度级的数量，ω为瑕疵图像的方差权重，取值范围为[0,1]。
通过这样的方法合成训练样本，只需获取少量的带有瑕疵的零件，通过获取少量的瑕疵零件表面的图像，对图像中存在的瑕疵进行提取并分类标注获取各种瑕疵的图像，从各种瑕疵的图像中提取瑕疵的图像特征，再对各图像特征加入相应的扰动以生成数量巨大的训练样本，满足对神经网络的训练需求。使用最大类间方差法计算全局阈值，能够减小错分概率，提高瑕疵图像分割的准确性。
以上实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种零件表面瑕疵检测中神经网络的训练样本的合成方法，其特征在于，所述合成方法包括：
步骤S1：获取带瑕疵零件样本的图像；
步骤S2：从带瑕疵零件样本的图像中获取瑕疵图像；
步骤S3：提取所述瑕疵图像的图像特征并将扰动加入所述图像特征来生成训练样本。
2.根据权利要求1所述的合成方法，其特征在于，步骤S2具体为：
利用全局阈值法对所述带瑕疵零件样本的图像进行分割以获取所述瑕疵图像；
其中，按照以下公式(1)计算全局阈值法中的全局阈值TH：
其中，P0(t)(u0(t))2为瑕疵图像的方差，P1(t)(u1(t))2为背景的方差，L为带瑕疵零件样本的图像中灰度级的数量，ω为瑕疵图像的方差权重，取值范围为[0,1]。
3.根据权利要求1所述的合成方法，其特征在于，步骤S3具体包括：
步骤S31：提取所述瑕疵图像的图像特征并将扰动加入所述图像特征生成合成瑕疵；
步骤S32：将所述合成瑕疵与合格零件样本的图像进行拼接生成所述训练样本。
4.根据权利要求3所述的合成方法，其特征在于，所述图像特征包括瑕疵面积，步骤S31具体包括：
按照以下公式(2)计算瑕疵面积S：
其中，x、y分别为所述瑕疵图像中的像素点的横坐标和纵坐标，R为瑕疵图像中的像素点的点集；
给定瑕疵的扰动面积；
按照以下公式(3)计算合成瑕疵的面积S'：
S'＝S+ΔS (3)
其中，S为瑕疵面积，S′为合成瑕疵的面积，ΔS为瑕疵的扰动面积。
5.根据权利要求3所述的合成方法，其特征在于，所述图像特征包括瑕疵矩形度，步骤S31具体包括：
按照以下公式(4)计算瑕疵矩形度Rl：
其中，Rl为瑕疵矩形度，L1为瑕疵的最小外接矩形的短边边长，L2为瑕疵的最小外接矩形的长边边长；
给定瑕疵的最小外接矩形的短边扰动长度和长边扰动长度；
按照以下公式(5)计算合成瑕疵的最小外接矩形的参数：
其中，L1、L2分别为瑕疵的最小外接矩形的短边边长和长边边长，L1'、L2'分别为合成瑕疵的最小外接矩形的短边边长和长边边长，ΔL1、ΔL2分别为瑕疵的最小外接矩形的短边扰动长度和长边扰动长度。
6.根据权利要求3所述的合成方法，其特征在于，所述图像特征包括瑕疵平均灰度，步骤S31具体包括：
按照以下公式(6)计算瑕疵平均灰度M：
其中，f(x,y)为图像灰度函数，S为瑕疵面积，x、y分别为瑕疵图像中的像素点的横坐标和纵坐标；
给定瑕疵的扰动灰度；
按照以下公式(7)计算合成瑕疵的平均灰度M'：
M'＝M+ΔM (7)
其中，M为瑕疵平均灰度，M'为合成瑕疵的平均灰度，ΔM为瑕疵的扰动灰度。
7.根据权利要求3所述的合成方法，其特征在于，所述图像特征包括瑕疵角度，步骤S31具体包括：
按照以下公式(8)确定合成瑕疵的角度分布：
其中，θ′为合成瑕疵的角度，f(θ′)为合成瑕疵的角度的分布概率密度函数；
将瑕疵按照角度分布生成合成瑕疵。
8.根据权利要求3至7中任一项所述的合成方法，其特征在于，步骤S32具体为：
S321：确定合成瑕疵的重心坐标；
S322：确定合成瑕疵的重心在合格零件样本图像中的随机坐标分布；
S323：计算所述重心坐标指向所述随机坐标的向量；
S324：合成瑕疵的所有像素点相对于合格零件样本图像按照所述向量移动生成训练样本。
9.根据权利要求8所述的合成方法，其特征在于，步骤S321中的合成瑕疵的重心坐标按照以下公式(9)计算：
其中，xc,yc分别为合成瑕疵的重心的横纵坐标，S′表示合成瑕疵的面积，x、y分别为合成瑕疵图像中像素点的横纵坐标，R′为合成瑕疵图像中的像素点的点集。
10.根据权利要求8所述的合成方法，其特征在于，步骤S322中的随机坐标分布按照以下公式(10)计算：
其中，(xc′，yc′)为合成瑕疵的重心在合格零件样本的图像上的坐标，D为零件的表面面积，f(xc′,yc′)为合成瑕疵的重心坐标的分布概率密度函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811221719.2A CN109584206B (zh) | 2018-10-19 | 2018-10-19 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811221719.2A CN109584206B (zh) | 2018-10-19 | 2018-10-19 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584206A true CN109584206A (zh) | 2019-04-05 |
| CN109584206B CN109584206B (zh) | 2021-07-06 |
Family
ID=65920764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811221719.2A Active CN109584206B (zh) | 2018-10-19 | 2018-10-19 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584206B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689477A (zh) * | 2019-09-07 | 2020-01-14 | 创新奇智(重庆)科技有限公司 | 一种通用的瑕疵图像模拟方法 |
| CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
| CN113393388A (zh) * | 2021-05-26 | 2021-09-14 | 联合汽车电子有限公司 | 一种图像增强方法及采用该方法的装置、存储介质、车辆 |
| CN113516615A (zh) * | 2020-11-24 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 一种样本生成方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404059A (zh) * | 2008-09-24 | 2009-04-08 | 中国科学院自动化研究所 | 基于块状纹理采样的虹膜图像数据库合成方法 |
| CN103886301A (zh) * | 2014-03-28 | 2014-06-25 | 中国科学院自动化研究所 | 一种人脸活体检测方法 |
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN106338520A (zh) * | 2016-09-18 | 2017-01-18 | 南京林业大学 | 一种表板为拼板的多层实木复合地板表面缺陷的识别方法 |
| CN107358636A (zh) * | 2017-06-16 | 2017-11-17 | 华南理工大学 | 一种基于纹理合成的疏松缺陷图像生成方法 |
| CA2987846A1 (fr) * | 2016-12-07 | 2018-06-07 | Idemia Identity & Security France | Systeme de traitement d'images |
| CN108648169A (zh) * | 2018-03-20 | 2018-10-12 | 中国科学院自动化研究所 | 高压输电塔绝缘子缺陷自动识别的方法及装置 |
-
2018
- 2018-10-19 CN CN201811221719.2A patent/CN109584206B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404059A (zh) * | 2008-09-24 | 2009-04-08 | 中国科学院自动化研究所 | 基于块状纹理采样的虹膜图像数据库合成方法 |
| CN103886301A (zh) * | 2014-03-28 | 2014-06-25 | 中国科学院自动化研究所 | 一种人脸活体检测方法 |
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN106338520A (zh) * | 2016-09-18 | 2017-01-18 | 南京林业大学 | 一种表板为拼板的多层实木复合地板表面缺陷的识别方法 |
| CA2987846A1 (fr) * | 2016-12-07 | 2018-06-07 | Idemia Identity & Security France | Systeme de traitement d'images |
| CN107358636A (zh) * | 2017-06-16 | 2017-11-17 | 华南理工大学 | 一种基于纹理合成的疏松缺陷图像生成方法 |
| CN108648169A (zh) * | 2018-03-20 | 2018-10-12 | 中国科学院自动化研究所 | 高压输电塔绝缘子缺陷自动识别的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| M. HASELMANN等: ""Supervised machine learning based surface inspection by synthetizing artificial defects"", 《2017 16TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS》 * |
| 巢渊: ""基于机器视觉的半导体芯片表面缺陷在线检测关键技术研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 王东等: ""基于机器视觉的微小零件表面缺陷检测研究"", 《应用科技》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689477A (zh) * | 2019-09-07 | 2020-01-14 | 创新奇智(重庆)科技有限公司 | 一种通用的瑕疵图像模拟方法 |
| CN110689477B (zh) * | 2019-09-07 | 2023-01-10 | 创新奇智(重庆)科技有限公司 | 一种通用的瑕疵图像模拟方法 |
| CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
| CN112505049B (zh) * | 2020-10-14 | 2021-08-03 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
| CN113516615A (zh) * | 2020-11-24 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 一种样本生成方法、系统、设备及存储介质 |
| CN113516615B (zh) * | 2020-11-24 | 2024-03-01 | 阿里巴巴集团控股有限公司 | 一种样本生成方法、系统、设备及存储介质 |
| CN113393388A (zh) * | 2021-05-26 | 2021-09-14 | 联合汽车电子有限公司 | 一种图像增强方法及采用该方法的装置、存储介质、车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584206B (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Defect detection of hot rolled steels with a new object detection framework called classification priority network | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| Wan et al. | Ceramic tile surface defect detection based on deep learning | |
| CN109584206A (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| Garg et al. | Deep convolution neural network approach for defect inspection of textured surfaces | |
| CN108647585A (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN113449784B (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
| CN108520203A (zh) | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 | |
| CN105574545B (zh) | 街道环境图像多视角语义切割方法及装置 | |
| CN111401293A (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
| Li et al. | A weak supervision machine vision detection method based on artificial defect simulation | |
| CN114549507B (zh) | 改进Scaled-YOLOv4的织物瑕疵检测方法 | |
| Lei et al. | Defect Detection for Polymeric Polarizer Based on Faster R-CNN. | |
| CN113012153A (zh) | 一种铝型材瑕疵检测方法 | |
| CN113506239A (zh) | 一种基于跨阶段局部网络的带钢表面缺陷检测方法 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| CN110508510A (zh) | 一种塑料泵缺陷检测方法、装置及系统 | |
| Sornalakshmi et al. | Real Time Object Detection Using Deep Learning | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| CN109284752A (zh) | 一种车辆的快速检测方法 | |
| Liu et al. | Fabric defect detection using fully convolutional network with attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |