CN114119554A - 一种基于卷积神经网络的表面微缺陷检测方法及装置 - Google Patents
一种基于卷积神经网络的表面微缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN114119554A CN114119554A CN202111428143.9A CN202111428143A CN114119554A CN 114119554 A CN114119554 A CN 114119554A CN 202111428143 A CN202111428143 A CN 202111428143A CN 114119554 A CN114119554 A CN 114119554A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- defect
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000007547 defect Effects 0.000 claims abstract description 85
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 25
- 230000006872 improvement Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000003709 image segmentation Methods 0.000 description 12
- 238000012795 verification Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 6
- 239000005350 fused silica glass Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种基于卷积神经网络的表面微缺陷检测方法及装置，涉及机器学习技术领域，用以解决现有技术对于元件表面缺陷的检测准确率不高且自动识别效率不高的问题。本发明的技术要点包括：采集获取多个元件表面缺陷区域的图像作为图像训练集；对训练集图像进行预处理；将预处理后的训练集图像输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；将包含元件表面缺陷区域的待检测图像输入训练好的基于卷积神经网络的分割模型中，获得分割结果；基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。本发明解决了传统图像处理算法较难获得缺陷的完整轮廓且会检测出多个目标干扰信息的问题，且极大的降低了图片处理的时间。
Description
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于卷积神经网络的表面微缺陷检测方法及装置。
背景技术
大口径熔石英光学元件是高功率固体激光装置的终端光学组件中应用最为普遍的光学元器件，在冷加工过程中易产生微裂纹、凹坑等表层或亚表层微缺陷，尤其是在高功率固体激光系统中，当大口径熔石英光学元件在三倍频紫外强激光的辐照下，更易于产生微裂纹、微凹坑等烧蚀点微缺陷。研究表明，当微裂纹或烧蚀点等微缺陷产生时，随着激光辐照次数的增加，光学元件的后表面微缺陷尺寸以指数性增长。当微缺陷的面积总和超过一定比例后，熔石英光学元件将视为彻底损坏而不能继续使用。对于大口径熔石英光学元件，其加工时间周期长，成本高；为了延缓光学元件的使用寿命，国内外主要采取的解决措施是对已产生的微缺陷进行激光微修复，使其抗损伤能力大幅度提升，从而达到抑制损伤增长的目的，由此降低高功率固体激光装置的运行成本。
在进行修复之前要对光学元件进行检测以获得真伪缺陷以及缺陷的具体位置等信息。目前采用较多的是基于图像梯度的检测方法，该方法能够实现缺陷检测以及最小外接圆的计算，但该方法存在以下缺点：有大量误检的情况，需要进行尺寸筛选和后处理过程；当视野中出现多个缺陷目标时，该方法没有识别能力；需要人工设定的参数较多，如：梯度阈值、开/闭运算的结构元尺寸、缺陷的筛选依据、轮廓归类依据的距离等，不利于实现检测过程的自动化。
发明内容
鉴于以上问题，本发明提出一种基于卷积神经网络的表面微缺陷检测方法及装置，用以解决现有技术对于元件表面缺陷的检测准确率不高且自动识别效率不高的问题。
根据本发明一方面，提出一种基于卷积神经网络的表面微缺陷检测方法，该方法包括以下步骤：
步骤一、采集获取多个元件表面缺陷区域的图像作为图像训练集；
步骤二、对图像训练集进行预处理；
步骤三、将预处理后的图像训练集输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；
步骤四、将包含元件表面缺陷区域的待检测图像输入训练好的分割模型中，获得分割结果；所述分割结果包括区分为缺陷区域和其他区域；
步骤五、基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。
进一步地，步骤二中所述预处理包括：对图像进行二值化处理，将缺陷区域像素标签值标注为1，其他区域像素标签值标注为0；对经过二值化处理的图像训练集进行数据增强处理。
进一步地，步骤三中所述改进的卷积神经网络模型是对现有的卷积神经网络结构进行改进，改进之处包括：使用深度可分离卷积来代替普通卷积；在卷积过程中使用倒残差结构；编码器和解码器之间通过直接叠加的方式进行连接；采用金字塔池化模块结构用于聚合不同区域的上下文信息。
进一步地，步骤三中模型训练过程中计算所有像素点的交叉熵并以其平均值作为损失函数J，该值越接近0，表明实际预测图像越接近期望分割图像；所述损失函数计算公式为：
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率。
进一步地，步骤五中对于分割结果中的缺陷区域，计算包络缺陷区域的最小外接圆，以最小外接圆圆心作为该缺陷区域的像素坐标，以最小外接圆半径作为该缺陷区域像素尺寸，从而获得缺陷区域在图像中的坐标位置和尺寸。
根据本发明另一方面，提出一种基于卷积神经网络的表面微缺陷检测装置，该装置包括：
数据获取模块，用于采集获取多个元件表面缺陷区域的图像作为图像训练集；
预处理模块，用于对图像训练集进行预处理；
模型训练模块，用于将预处理后的训练集图像输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；
分割处理模块，用于将包含元件表面缺陷区域的待检测图像输入训练好的分割模型中，获得分割结果；所述分割处理模块中分割结果包括区分为缺陷区域和其他区域；
缺陷获取模块，用于基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。
进一步地，所述预处理模块中预处理包括：对图像进行二值化处理，将缺陷区域像素标签值标注为1，其他区域像素标签值标注为0；对经过二值化处理的图像训练集进行数据增强处理。
进一步地，所述模型训练模块中改进的卷积神经网络模型是对现有的卷积神经网络结构进行改进，改进之处包括：使用深度可分离卷积来代替普通卷积；在卷积过程中使用倒残差结构；编码器和解码器之间通过直接叠加的方式进行连接；采用金字塔池化模块结构用于聚合不同区域的上下文信息。
进一步地，所述模型训练模块中计算所有像素点的交叉熵并以其平均值作为模型训练的损失函数J，该值越接近0，表明实际预测图像越接近期望分割图像；所述损失函数计算公式为：
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率。
进一步地，所述缺陷获取模块中对于分割结果中的缺陷区域，计算包络缺陷区域的最小外接圆，以最小外接圆圆心作为该缺陷区域的像素坐标，以最小外接圆半径作为该缺陷区域像素尺寸，从而获得缺陷区域在图像中的坐标位置和尺寸。
本发明的有益技术效果是：
本发明采用了数据集扩充的数据增强方法，可在数据集不易获取的情况下极大的增加数据集图片数量，使得训练模型更加精准；解决了传统图像处理算法较难获得缺陷的完整轮廓且会检测出多个目标干扰信息的问题；进一步地，改进的卷积神经网络模型极大的降低了图片处理的时间，其中，采用深度可分离卷积来代替普通卷积使得卷积计算量缩减了8-9倍。本发明自动计算出缺陷的最小外接圆圆心及半径，为后续缺陷的精定位及缺陷激光自动化修复提供了重要参考信息。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中光学元件表面微缺陷检测方法的流程示意图；
图2是本发明实施例中用于图像分割的卷积神经网络架构图；
图3是本发明实施例中普通卷积与深度可分离卷积示意图；
图4是本发明实施例中倒残差结构示意图；
图5是本发明实施例中金字塔池化模块结构示意图；
图6是本发明实施例中扩充后的图像分割数据集示例图；
图7是本发明实施例中分割模型训练集准确率示意图；
图8是本发明实施例中分割模型验证集准确率示意图；
图9是本发明实施例中不同分割方法的效果对比图；其中，图(a)为原图像；图(b)为基于固定阈值分割算法的分割结果；图(c)为基于梯度分割算法的分割结果；图(d)为本发明方法的分割结果；
图10是本发明实施例中分割模型可视化特征图示例图；
图11是本发明实施例中缺陷分割后定位结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
本发明提出一种基于卷积神经网络的表面微缺陷检测方法，该方法将卷积神经网络引入到光学元件表面缺陷的图像分割中，搭建了预测模型，通过数据增强的方法提升了预测准确率，并对模型的有效性进行了验证。本发明可实现缺陷目标的自动检测分割，降低了人工操作的时间和错误率。
本发明实施例提供一种基于卷积神经网络的表面微缺陷检测方法，该方法流程如图1所示。在前一阶段已经通过暗场相机采集得到暗场图片并获得了含有目标点粗略位置信息的暗场文件；导入暗场文件并读入信息后，显微相机根据暗场信息逐个定位目标点，调整相机位置，使目标点位于明场图片中央，显微相机进行对焦以获得清晰的明场图片；获得图片后，采用基于卷积神经网络的分割模型对图片进行分割预测并获得二值化图像；之后对目标轮廓进行提取，计算出轮廓的最小外接矩形，截取出目标图片；计算并获得缺陷最小外接圆圆心坐标及半径，为缺陷精定位提供精确信息。该方法的具体步骤如下：
步骤1.数据集获取与标注。
根据本发明实施例，选取不同区域、不同尺寸、不同形貌的一定数量的目标图片作为总数据集，数据集包含了元件不同区域、不同尺寸、不同形貌的目标点显微图像，从而使数据集更具代表性。人为对图片进行标注以获得标准的二值化图像，即通过自主开发的图像标注软件对其进行标注，软件能自动选择灰度值差异较大的位置，这些位置往往是目标的边缘。利用该工具便可提取目标的准确轮廓，得到目标轮廓内部像素标签值填充为1，外部像素标签值填充为0的标签图片。
步骤2.数据集划分。
根据本发明实施例，按照4:1的比例对图片进行划分得到训练集和验证集，对图片进行扩充以增大样本数量。数据集划分是随机从总数据集中抽取1/4作为验证集，剩余的3/4作为训练集，训练集对模型进行训练，而验证集对模型的性能进行评估。由于数据量较少，为增加模型抗噪能力同时防止卷积神经网络出现过拟合，在不实质性增加数据的情况下对数据集进行剪切、旋转、缩放、拉伸等数据增强操作。
步骤3.模型搭建。
根据本发明实施例，为实现缺陷图像的准确快速分割，本发明搭建了如图2所示的卷积神经网络，包括模型的基本框架、深度可分离卷积(DSConv)操作、倒残差模块、金字塔池化模块和编码器与解码器连接操作，具体结构为：
1、基本框架。该网络以编码器-解码器结构(encoder-decoder)为基本框架，编码部分通过卷积操作不断缩减特征图尺寸，使模型学习到更多的语义特征，有助于区分目标与背景。该过程通过6次卷积操作将尺寸为1228×1029×1的输入图像编码为39×33×96的特征层。解码部分通过反卷积等操作逐步恢复目标的细节和相应的空间尺度。该过程通过三次反卷积操作将尺寸为39×33×96的特征层还原为原图像尺寸1228×1029×1大小的输出层。在编码器和解码器之间存在信息连接，如图2中Add箭头所示，该连接将编码过程中的特征信息传输到解码阶段，能够为解码器的目标分割过程提供更加精细的特征。
2、深度可分离卷积(DSConv)操作。模型中的卷积操作使用深度可分离卷积，常规卷积是对所有特征层进行卷积操作，而深度可分离卷积操作是对每一个特征层进行逐层卷积然后再进行逐点卷积，如图3所示。在输出特征层数相同的条件下，深度可分离卷积能够有效减少模型的参数量，可明显加快模型的训练与预测速度同时减小过拟合的发生。
3、倒残差模块。在网络的卷积过程中使用了倒残差结构，防止梯度消失。如图4所示，该模块通过对输入特征层采用1×1的卷积层进行升维，通过3×3的深度可分离卷积进行卷积处理，最后通过1×1的卷积层进行降维，将降维后的特征层与输入特征层进行逐层叠加得到输出特征层。
4、编码器和解码器之间通过对应元素直接叠加的方式进行连接，而不是采用通道合并。这种方法在保证编码过程特征信息能够传输到解码过程的同时，能够减小模型的参数量和计算量。
5、采用金字塔池化模块结构(PPM)用于聚合不同区域的上下文信息，该结构示意图如图5所示。该模块放置在编码器的尾端，将编码器尺寸为39×33×96的输出特征层通过池化和卷积操作生成不同尺度的特征层，不同尺度的金字塔结构的特征层代表了不同区域的信息，将这些特征层通过反卷积还原为96×96×24，并与金字塔模块池化操作之前的特征层进行合并，通过卷积操作输出尺寸为39×33×96的特征层。该结构融合了不同区域的信息，能够提高图像分割的精度。
步骤3.模型训练。
根据本发明实施例，将数据集中的测试集导入模型中进行训练，训练一定轮数后得到可用于图像分割的卷积神经网络模型。模型训练过程选取了如式(1)所示的交叉熵函数作为损失函数，该函数求取了所有像素点的交叉熵并以其平均值作为分割模型的损失值，该值越接近0，表明实际预测图像越接近期望分割图像。
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率。
选取如式(2)、(3)所示的Adam优化器作为优化函数，该优化器是一种自适应调整学习率的优化器，能够自然地实现步长退火过程，实现简单且计算高效。
步骤4.模型有效性验证。
根据本发明实施例，应用数据集中的验证集对训练后的模型进行验证，使用验证集的准确率对模型的性能进行评估。采用式(4)所示的交并比(Intersection over Union，IOU)来计算神经网络模型的准确率。交并比是预测目标区域与真实目标区域的交集和并集的比值，该值越接近1表明预测结果与标注的缺陷部分重合程度越高，网络对目标的分割能力越强。
其中，Atrue表示标注图中标注值为1的像素区域；Apred表示预测图中预测值为1的像素区域。
模型有效性验证过程将验证集图片导入训练后的卷积神经网络模型进行预测，统计验证集的预测准确率，用准确率对模型性能进行评估。将目标点图像输入到卷积神经网络预测模型后会直接输出预测结果，中间的所有操作都包含在卷积神经网络内部，为了更好的观察模型内部处理过程，对特征层1～8进行可视化处理，可视化处理后可以更加直观的观察卷积神经网络操作过程中的具体细节。
步骤5.将分割模型应用到缺陷点显微图像检测中，获取缺陷的种类、位置和尺寸信息。
根据本发明实施例，使用训练好的图像分割模型对表面微缺陷图像进行二值化处理，通过二值化图像可以获取目标区域用于目标点分类，同时利用二值化后的图像可以获取缺陷点位置和尺寸信息。目标轮廓处灰度梯度存在较大变化，对灰度梯度进行检测获得轮廓位置信息，通过对轮廓位置信息计算得到最小外接圆圆心及半径。
模型应用过程为将显微相机获得的图像输入到训练好的基于卷积神经网络的图像分割预测模型中，模型首先对输入图片进行二值化处理，得到二值化图片，之后模型对二值化图片进行图像分割，获得只包含一个目标点的分割图片。模型通过目标点内各像素的坐标信息得到整个目标的尺寸及位置信息。对图片灰度值进行检测，灰度梯度出现较大变化处即为目标的边缘，通过此方法可获得目标边缘坐标值，进行计算便能得到目标的最小外接圆圆心及半径，此数据将为缺陷的精定位提供信息。
本发明另一实施例提供一种大口径熔石英光学元件基于卷积神经网络的表面微缺陷检测方法的实例分析，利用上述方法对大口径熔石英光学元件表面微缺陷检测。表面微缺陷检测是整个光学元件自动化修复流程的一部分，其具体过程如下：
1.图像分割模型的训练
(1)获取数据集，进行人工标注并按比例进行训练集和验证集划分，将图片进行剪切、旋转、缩放、拉伸等变换，得到扩充后的数据集，如图6所示。
(2)搭建模型框架并对模型进行训练。由于训练图像分辨率较高而显存有限，无法将所有数据同时进行计算，因此本发明采用小批量计算方式(mini-batch)进行训练。在每一轮训练开始前，对所有数据进行随机混洗，将测试集图像分为众多batch即批量，通过计算每个batch的平均损失来对模型参数进行更新。为提高训练速度，将图像尺寸缩小到1/4进行训练，共训练100轮。图7中下侧及上侧阴影区域分别代表每轮训练中127个batch损失值和准确率的取值范围，图中曲线代表每轮训练的平均损失和平均准确率。由损失函数变化曲线可以看出经过80轮训练损失值接近于0且变化很小，表明模型已经拟合。
(3)模型有效性验证。图8为验证集的准确率变化曲线，模型的预测准确率最终稳定在了91％左右。图9为传统图像处理算法(基于固定阈值分割算法和基于梯度分割算法)与本发明方法对比图，可见本发明基于卷积神经网络的图像处理算法的效果最好。对卷积神经网络中的特征层ph1～ph8进行可视化处理，部分特征图如图10所示。ph1～ph4为编码阶段特征图，其中ph1、ph2是较浅的卷积层，感知域较小，特征图中反映的是一些细节轮廓；ph3、ph4是较深的卷积层，感知域较大，其包含的主要是语义特征，即对目标区域的预测。ph5～ph8为解码阶段特征图，随着解码的进行缺陷的轮廓逐渐清晰，表明编码器和解码器之间直接叠加的处理方式对于轮廓分割的精细化是有效的。
2.图像分割模型的应用
(1)加载训练好的图像分割预测模型。(2)根据暗场检测结果将缺陷点移动至显微视野，显微相机对目标进行对焦获取清晰的显微图像。(3)将显微相机获得的图像输入到图像分割预测模型中完成分割。(4)计算目标区域的最小外接圆圆心及半径，将目标区域框选出来，为后续缺陷的精定位及缺陷激光自动化修复提供重要参考信息。效果如图11所示。
本发明通过上述过程实现了光学元件表面缺陷的高精度自动检测，进一步提升了大口径光学元件的自动化检测水平。
本发明另一实施例提供一种基于卷积神经网络的表面微缺陷检测装置，该装置包括：
数据获取模块，用于采集获取多个元件表面缺陷区域的图像作为图像训练集；
预处理模块，用于对训练集图像进行预处理；
模型训练模块，用于将预处理后的训练集图像输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；计算所有像素点的交叉熵并以其平均值作为模型训练的损失函数J，该值越接近0，表明实际预测图像越接近期望分割图像；损失函数计算公式为：
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率；
分割处理模块，用于将包含元件表面缺陷区域的待检测图像输入训练好的基于卷积神经网络的分割模型中，获得分割结果；分割结果包括区分为缺陷区域和其他区域；
缺陷获取模块，用于基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。
本实施例中，可选地，预处理模块中预处理包括：对图像进行二值化处理，将缺陷区域像素标签值标注为1，其他区域像素标签值标注为0；对经过二值化处理的训练集图像进行数据增强处理。
本实施例中，可选地，模型训练模块中改进的卷积神经网络模型是对现有的卷积神经网络结构进行改进，改进之处包括：使用深度可分离卷积来代替普通卷积；在卷积过程中使用倒残差结构；编码器和解码器之间通过直接叠加的方式进行连接，而不是采用通道合并；采用金字塔池化模块结构用于聚合不同区域的上下文信息。
本实施例中，可选地，缺陷获取模块中对于分割结果中的缺陷区域，计算包络缺陷区域的最小外接圆，以最小外接圆圆心作为该缺陷区域的像素坐标，以最小外接圆半径作为该缺陷区域像素尺寸，从而获得缺陷区域在图像中的坐标位置和尺寸。
本发明实施例所述一种基于卷积神经网络的表面微缺陷检测装置的功能可以由前述一种基于卷积神经网络的表面微缺陷检测方法说明，因此本实施例未详述部分可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (10)
1.一种基于卷积神经网络的表面微缺陷检测方法，其特征在于，包括以下步骤：
步骤一、采集获取多个元件表面缺陷区域的图像作为图像训练集；
步骤二、对图像训练集进行预处理；
步骤三、将预处理后的图像训练集输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；
步骤四、将包含元件表面缺陷区域的待检测图像输入训练好的分割模型中，获得分割结果；所述分割结果包括区分为缺陷区域和其他区域；
步骤五、基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。
2.根据权利要求1所述的一种基于卷积神经网络的表面微缺陷检测方法，其特征在于，步骤二中所述预处理包括：对图像进行二值化处理，将缺陷区域像素标签值标注为1，其他区域像素标签值标注为0；对经过二值化处理的图像训练集进行数据增强处理。
3.根据权利要求2所述的一种基于卷积神经网络的表面微缺陷检测方法，其特征在于，步骤三中所述改进的卷积神经网络模型是对现有的卷积神经网络结构进行改进，改进之处包括：使用深度可分离卷积来代替普通卷积；在卷积过程中使用倒残差结构；编码器和解码器之间通过直接叠加的方式进行连接；采用金字塔池化模块结构用于聚合不同区域的上下文信息。
4.根据权利要求3所述的一种基于卷积神经网络的表面微缺陷检测方法，其特征在于，步骤三中模型训练过程中计算所有像素点的交叉熵并以其平均值作为损失函数J，该值越接近0，表明实际预测图像越接近期望分割图像；所述损失函数计算公式为：
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率。
5.根据权利要求4所述的一种基于卷积神经网络的表面微缺陷检测方法，其特征在于，步骤五中对于分割结果中的缺陷区域，计算包络缺陷区域的最小外接圆，以最小外接圆圆心作为该缺陷区域的像素坐标，以最小外接圆半径作为该缺陷区域像素尺寸，从而获得缺陷区域在图像中的坐标位置和尺寸。
6.一种基于卷积神经网络的表面微缺陷检测装置，其特征在于，包括：
数据获取模块，用于采集获取多个元件表面缺陷区域的图像作为图像训练集；
预处理模块，用于对图像训练集进行预处理；
模型训练模块，用于将预处理后的训练集图像输入改进的卷积神经网络模型中进行训练，获得训练好的基于卷积神经网络的分割模型；
分割处理模块，用于将包含元件表面缺陷区域的待检测图像输入训练好的分割模型中，获得分割结果；所述分割处理模块中分割结果包括区分为缺陷区域和其他区域；
缺陷获取模块，用于基于分割结果，计算获得缺陷区域在图像中的位置和尺寸。
7.根据权利要求6所述的一种基于卷积神经网络的表面微缺陷检测装置，其特征在于，所述预处理模块中预处理包括：对图像进行二值化处理，将缺陷区域像素标签值标注为1，其他区域像素标签值标注为0；对经过二值化处理的图像训练集进行数据增强处理。
8.根据权利要求7所述的一种基于卷积神经网络的表面微缺陷检测装置，其特征在于，所述模型训练模块中改进的卷积神经网络模型是对现有的卷积神经网络结构进行改进，改进之处包括：使用深度可分离卷积来代替普通卷积；在卷积过程中使用倒残差结构；编码器和解码器之间通过直接叠加的方式进行连接；采用金字塔池化模块结构用于聚合不同区域的上下文信息。
9.根据权利要求8所述的一种基于卷积神经网络的表面微缺陷检测装置，其特征在于，所述模型训练模块中计算所有像素点的交叉熵并以其平均值作为模型训练的损失函数J，该值越接近0，表明实际预测图像越接近期望分割图像；所述损失函数计算公式为：
其中，yi,j表示像素坐标为(i,j)的标签值，取值为0或1；Row,Col分别表示图像的行数和列数；
表示像素坐标为(i,j)的预测值，表示该像素位置值为1的置信率。
10.根据权利要求9所述的一种基于卷积神经网络的表面微缺陷检测装置，其特征在于，所述缺陷获取模块中对于分割结果中的缺陷区域，计算包络缺陷区域的最小外接圆，以最小外接圆圆心作为该缺陷区域的像素坐标，以最小外接圆半径作为该缺陷区域像素尺寸，从而获得缺陷区域在图像中的坐标位置和尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111428143.9A CN114119554A (zh) | 2021-11-29 | 2021-11-29 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111428143.9A CN114119554A (zh) | 2021-11-29 | 2021-11-29 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119554A true CN114119554A (zh) | 2022-03-01 |
Family
ID=80370753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111428143.9A Pending CN114119554A (zh) | 2021-11-29 | 2021-11-29 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119554A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693670A (zh) * | 2022-04-24 | 2022-07-01 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
| CN114782286A (zh) * | 2022-06-21 | 2022-07-22 | 奥蒂玛光学科技（深圳）有限公司 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
| CN114998315A (zh) * | 2022-07-18 | 2022-09-02 | 东声(苏州)智能科技有限公司 | 基于深度学习的缺陷检测模型的训练方法和装置 |
| CN115713533A (zh) * | 2023-01-10 | 2023-02-24 | 佰聆数据股份有限公司 | 基于机器视觉的电力设备表面缺陷检测方法及装置 |
| CN116051541A (zh) * | 2023-03-06 | 2023-05-02 | 杭州深度视觉科技有限公司 | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
| CN116228672A (zh) * | 2023-01-04 | 2023-06-06 | 哈尔滨岛田大鹏工业股份有限公司 | 一种基于形状特征的金属加工表面缺陷检测系统及检测方法 |
| CN117173072A (zh) * | 2023-11-03 | 2023-12-05 | 四川大学 | 一种基于深度学习的弱激光图像增强方法及装置 |
| CN117197006A (zh) * | 2023-09-27 | 2023-12-08 | 上海世禹精密设备股份有限公司 | 区域过滤方法、装置、电子设备及计算机可读存储介质 |
| CN117474925A (zh) * | 2023-12-28 | 2024-01-30 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
| CN118587226A (zh) * | 2024-08-07 | 2024-09-03 | 宁波兴波机械有限公司 | 基于机器视觉的模具板件质量检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2973074A1 (en) * | 2016-07-13 | 2018-01-13 | Sightline Innovation Inc. | System and method for surface inspection |
| CN108154508A (zh) * | 2018-01-09 | 2018-06-12 | 北京百度网讯科技有限公司 | 产品缺陷检测定位的方法、装置、存储介质及终端设备 |
| CN110411346A (zh) * | 2019-08-12 | 2019-11-05 | 哈尔滨工业大学 | 一种非球面熔石英元件表面微缺陷快速定位方法 |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
| CN111598856A (zh) * | 2020-05-08 | 2020-08-28 | 浙江工商大学 | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 |
| US20210150700A1 (en) * | 2019-11-19 | 2021-05-20 | UnitX, Inc. | Defect detection device and method |
| CN113298757A (zh) * | 2021-04-29 | 2021-08-24 | 同济大学 | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 |
-
2021
- 2021-11-29 CN CN202111428143.9A patent/CN114119554A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2973074A1 (en) * | 2016-07-13 | 2018-01-13 | Sightline Innovation Inc. | System and method for surface inspection |
| CN108154508A (zh) * | 2018-01-09 | 2018-06-12 | 北京百度网讯科技有限公司 | 产品缺陷检测定位的方法、装置、存储介质及终端设备 |
| CN110411346A (zh) * | 2019-08-12 | 2019-11-05 | 哈尔滨工业大学 | 一种非球面熔石英元件表面微缺陷快速定位方法 |
| US20210150700A1 (en) * | 2019-11-19 | 2021-05-20 | UnitX, Inc. | Defect detection device and method |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
| CN111598856A (zh) * | 2020-05-08 | 2020-08-28 | 浙江工商大学 | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 |
| CN113298757A (zh) * | 2021-04-29 | 2021-08-24 | 同济大学 | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| （保）伊凡·瓦西列夫: "Python深度学习 模型 方法与实现", vol. 2021, 30 September 2021, 机械工业出版社, pages: 84 * |
| 方志军: "TensorFlow应用案例教程", vol. 2020, 31 August 2020, 中国铁道出版社, pages: 112 * |
| 田萱: "基于深度学习的图像语义分割技术", vol. 2019, 31 May 2019, 海洋出版社, pages: 43 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693670A (zh) * | 2022-04-24 | 2022-07-01 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
| CN114693670B (zh) * | 2022-04-24 | 2023-05-23 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
| CN114782286A (zh) * | 2022-06-21 | 2022-07-22 | 奥蒂玛光学科技（深圳）有限公司 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
| CN114998315A (zh) * | 2022-07-18 | 2022-09-02 | 东声(苏州)智能科技有限公司 | 基于深度学习的缺陷检测模型的训练方法和装置 |
| CN114998315B (zh) * | 2022-07-18 | 2022-11-01 | 东声(苏州)智能科技有限公司 | 基于深度学习的缺陷检测模型的训练方法和装置 |
| CN116228672A (zh) * | 2023-01-04 | 2023-06-06 | 哈尔滨岛田大鹏工业股份有限公司 | 一种基于形状特征的金属加工表面缺陷检测系统及检测方法 |
| CN115713533A (zh) * | 2023-01-10 | 2023-02-24 | 佰聆数据股份有限公司 | 基于机器视觉的电力设备表面缺陷检测方法及装置 |
| CN116051541B (zh) * | 2023-03-06 | 2023-07-18 | 杭州深度视觉科技有限公司 | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
| CN116051541A (zh) * | 2023-03-06 | 2023-05-02 | 杭州深度视觉科技有限公司 | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
| CN117197006A (zh) * | 2023-09-27 | 2023-12-08 | 上海世禹精密设备股份有限公司 | 区域过滤方法、装置、电子设备及计算机可读存储介质 |
| CN117197006B (zh) * | 2023-09-27 | 2024-05-10 | 上海世禹精密设备股份有限公司 | 区域过滤方法、装置、电子设备及计算机可读存储介质 |
| CN117173072A (zh) * | 2023-11-03 | 2023-12-05 | 四川大学 | 一种基于深度学习的弱激光图像增强方法及装置 |
| CN117173072B (zh) * | 2023-11-03 | 2024-02-02 | 四川大学 | 一种基于深度学习的弱激光图像增强方法及装置 |
| CN117474925A (zh) * | 2023-12-28 | 2024-01-30 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
| CN117474925B (zh) * | 2023-12-28 | 2024-03-15 | 山东润通齿轮集团有限公司 | 一种基于机器视觉的齿轮点蚀检测方法及系统 |
| CN118587226A (zh) * | 2024-08-07 | 2024-09-03 | 宁波兴波机械有限公司 | 基于机器视觉的模具板件质量检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114119554A (zh) | 一种基于卷积神经网络的表面微缺陷检测方法及装置 | |
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| CN111681240A (zh) | 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 | |
| CN111415329A (zh) | 一种基于深度学习的工件表面缺陷检测方法 | |
| CN111507998B (zh) | 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 | |
| CN112184655A (zh) | 一种基于卷积神经网络的宽厚板轮廓检测方法 | |
| CN112991344A (zh) | 基于深度迁移学习的检测方法、存储介质和检测系统 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN117974601B (zh) | 基于模板匹配的硅片表面缺陷检测方法及系统 | |
| CN111127454A (zh) | 基于深度学习生成工业缺陷样本的方法及系统 | |
| CN110853041A (zh) | 一种基于深度学习与声呐成像的水下桥墩构件分割方法 | |
| CN112150418A (zh) | 一种磁粉探伤智能识别方法 | |
| Gwon et al. | CNN-based image quality classification considering quality degradation in bridge inspection using an unmanned aerial vehicle | |
| CN110852318A (zh) | 一种排水管道缺陷精准定位方法及系统 | |
| CN113538385B (zh) | 基于深度学习的隧道表观病害类型及等级判别方法 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
| CN118072193A (zh) | 一种基于无人机图像和深度学习的堤坝裂缝检测方法 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN117115095A (zh) | 一种实现复杂纹理瓷砖细小缺陷检测的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |