CN112907519A - 一种基于深度学习的金属曲面缺陷分析系统及方法 - Google Patents
一种基于深度学习的金属曲面缺陷分析系统及方法 Download PDFInfo
- Publication number
- CN112907519A CN112907519A CN202110129347.6A CN202110129347A CN112907519A CN 112907519 A CN112907519 A CN 112907519A CN 202110129347 A CN202110129347 A CN 202110129347A CN 112907519 A CN112907519 A CN 112907519A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- library
- curved surface
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 79
- 239000002184 metal Substances 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的金属曲面缺陷分析系统及方法，它包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块。系统通过深度学习的智能检测技术，通过对叶片对待识别的金属曲面图像进行检测识别，采用深度学习技术不断训练系统对于金属曲面各种缺陷组成的检测过程，对金属曲面如叶片表面的各种缺陷进行识别、分类、分析、图像分割，最终达到对金属曲面已定义的各种缺陷的智能高精度识别和检测，为金属曲面各种缺陷类型检测提供有意义的方法。
Description
技术领域
本发明涉及高光金属曲面缺陷检测领域，尤其涉及一种基于深度学习的金属曲面缺陷分析系统及方法。
背景技术
随着科技的发展，精密光学系统对高光金属零件表面疵病的要求也越来越高，国内对高光金属零件曲面疵病检测主要为人工目视检测法，或者通过一些市面上普通的视觉算法，人眼长期检测容易产生视觉疲劳，普通算法难以覆盖所有缺陷，存在漏检，且效率低下，造成判断标准不一，难以定量判断。目前已有不少基于机器视觉技术的光学检测软件，但都是针对平面且背景纹理不复杂的技术方案。因此，需要一种针对金属高光曲面疵病检测的系统软件。
现有技术缺点：在航空发动机叶片缺陷检测识别中，由于叶片型号种类多、加工工艺复杂，导致其表面缺陷成像差异大，基于机器视觉的图像处理算法在进行缺陷检测时，存在识别准确率低等问题。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于深度学习的金属曲面缺陷分析系统及方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的金属曲面缺陷分析系统，它包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块。
进一步地，主界面模块的作用是对图像实时采集及可视化；对相机参数进行设置；对检测结果进行可视化包括结果图像和统计结果可视化。
进一步地，图像预处理模块的作用是采用预处理算法使图像滤波、图像对比度增强，用于减少图像噪声，提高缺陷图像质量。
进一步地，图像训练库模块用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库。
进一步地，卷积神经网络算法模块对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷检测。
进一步地，输出模块用于输出识别结果并输出到用户主界面，识别结果可外部保存。
一种基于深度学习的金属曲面缺陷分析系统的方法，方法的步骤为，
步骤一，通过相机实时采集图像作为输入图像，输入图像包括缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数；
步骤二，用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位，系统存储目标区域在图像中的坐标RECT建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库；
步骤三，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；
1)图像均值滤波用其像素点周围像素的平均值代替原像素值，在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：
其中，ksize表示滤波核，ksize.width，ksize.height分别表示滤波核的长和宽；
2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显；变换公式就是对原图像上每一个像素值做乘积运算：
s＝crγ r∈[0，1]
其中，c和γ为正常数，r为输入像素值，s为输出像素值；
3)图像阈值分割利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；
步骤四，收集建立起所有缺陷样本库输入至基于深度学习开源库搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；
步骤五，搭建神经网络层，推算损失函数；
神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；
卷积层利用卷积核对图像进行卷积计算，得到初步特征图；
归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：
Z＝P-u/σ
其中，Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；
最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；
平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；
经过五个依次级联的神经网络特征提取，最终输出特征图像；
步骤六，在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；
调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；
步骤七，完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；
步骤八，输出检测结果，并对检测结果和结果图像进行可视化。
本发明公开了一种基于深度学习的金属曲面缺陷分析系统及方法，其通过深度学习的智能检测技术，对待识别的金属曲面图像进行检测识别，采用深度学习技术不断训练系统对于金属曲面各种缺陷组成的检测过程，对金属曲面如叶片表面的各种缺陷进行识别、分类、分析、图像分割，最终达到对金属曲面已定义的各种缺陷的智能高精度识别和检测，为金属曲面各种缺陷类型检测提供有意义的方法。
附图说明
图1为本发明基于深度学习的金属曲面缺陷分析系统的结构示意图。
图2为本发明基于深度学习的金属曲面缺陷分析系统的操作步骤示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示的基于深度学习的金属曲面缺陷分析系统，包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块；
主界面模块的作用是：对图像实时采集及可视化；对相机参数进行设置，包括曝光时间、采集帧率等参数设置；对检测结果进行可视化包括结果图像和统计结果可视化；
图像预处理模块的作用是：即预处理算法，包括图像滤波、图像对比度增强等，用于减少图像噪声，提高缺陷图像质量；
图像训练库模块的作用是：用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库；
卷积神经网络算法模块的作用是：对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷识别；
输出模块的作用是：输出识别结果并输出到用户主界面，识别结果可外部保存。
如图2所示，本发明基于深度学习的金属曲面缺陷分析系统的具体操作步骤。流程步骤如下：
通过相机实时采集图像作为输入图像，输入图像包括输入缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数，采集参数包括曝光时间、采集帧率等；
用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位ROI(regionof interest)，系统存储目标区域在图像中的坐标RECT(left，top，width，height)建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库，收集越多后面越精准；
噪声滤波，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；
图像增强：
1)图像均值滤波用其像素点周围像素的平均值代替原像素值。在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：
其中ksize表示滤波核，ksize.width,ksize.height分别表示滤波核的长和宽；
2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显。变换公式就是对原图像上每一个像素值做乘积运算：
s＝crγ r∈[0，1]
其中c和γ为正常数，r为输入像素值，s为输出像素值；
局部阈值分割：
3)图像阈值分割是一种广泛应用的分割技术，利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；
特征提取：收集建立起所有缺陷样本库输入至基于pytorch(深度学习开源库)搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；
神经网络学习：搭建神经网络层，推算损失函数；
建立分类模板：神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；
卷积层利用卷积核对图像进行卷积计算，得到初步特征图；
归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：
其中Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；
最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；
平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；
经过五个依次级联的神经网络特征提取，最终输出特征图像；
读入识别图像，缺陷提取：在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；
调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；
1)卷积核
控制卷积核的大小可以控制各层提取不同的特征，而每个卷积核(矩阵)中每个元素通过训练确定，即训练时需要修改权重。对图像进行卷积计算，是对图像中的每个像素与卷积核的每个元素对应相乘，所有乘积之和作为中心像素的结果。
2)损失函数
是对最终输出结果的进行评价，用来计算分类结果与真实值之间的差距。
完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；
输出检测结果，并对检测结果和结果图像进行可视化。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。
Claims (7)
1.一种基于深度学习的金属曲面缺陷分析系统，其特征在于：它包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块。
2.根据权利要求1所述的模块化无线多路通，其特征在于：所述主界面模块的作用是对图像实时采集及可视化；对相机参数进行设置；对检测结果进行可视化包括结果图像和统计结果可视化。
3.根据权利要求1所述的模块化无线多路通，其特征在于：所述图像预处理模块的作用是采用预处理算法使图像滤波、图像对比度增强，用于减少图像噪声，提高缺陷图像质量。
4.根据权利要求1所述的模块化无线多路通，其特征在于：所述图像训练库模块用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库。
5.根据权利要求1所述的模块化无线多路通，其特征在于：所述卷积神经网络算法模块对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷检测。
6.根据权利要求1所述的模块化无线多路通，其特征在于：所述输出模块用于输出识别结果并输出到用户主界面，识别结果可外部保存。
7.一种基于深度学习的金属曲面缺陷分析系统的方法，其特征在于：所述方法的步骤为，
步骤一，通过相机实时采集图像作为输入图像，输入图像包括缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数；
步骤二，用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位，系统存储目标区域在图像中的坐标RECT建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库；
步骤三，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；
1)图像均值滤波用其像素点周围像素的平均值代替原像素值，在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：
其中，ksize表示滤波核，ksize.width，ksize.height分别表示滤波核的长和宽；
2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显；变换公式就是对原图像上每一个像素值做乘积运算：
s＝crγ r∈[0，1]
其中，c和γ为正常数，r为输入像素值，s为输出像素值；
3)图像阈值分割利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；
步骤四，收集建立起所有缺陷样本库输入至基于深度学习开源库搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；
步骤五，搭建神经网络层，推算损失函数；
神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；
卷积层利用卷积核对图像进行卷积计算，得到初步特征图；
归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：
Z＝P-u/σ
其中，Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；
最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；
平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；
经过五个依次级联的神经网络特征提取，最终输出特征图像；
步骤六，在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；
调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；
步骤七，完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；
步骤八，输出检测结果，并对检测结果和结果图像进行可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129347.6A CN112907519A (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129347.6A CN112907519A (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112907519A true CN112907519A (zh) | 2021-06-04 |
Family
ID=76121619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110129347.6A Pending CN112907519A (zh) | 2021-01-29 | 2021-01-29 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907519A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610843A (zh) * | 2021-08-30 | 2021-11-05 | 合肥智大信息技术有限公司 | 一种光纤编织层的实时缺陷识别系统及其方法 |
| CN113920087A (zh) * | 2021-10-09 | 2022-01-11 | 东北林业大学 | 基于深度学习的微小元器件缺陷检测系统及方法 |
| CN116109638A (zh) * | 2023-04-13 | 2023-05-12 | 中铁四局集团有限公司 | 一种钢轨折断检测方法及系统 |
| CN116330319A (zh) * | 2023-05-26 | 2023-06-27 | 泓浒(苏州)半导体科技有限公司 | 一种搬运机械手状态监测系统及监测方法 |
| CN116593493A (zh) * | 2023-04-21 | 2023-08-15 | 江苏精益智控科技有限公司 | 一种高速检测钢管内表面缺陷的装置和方法 |
| CN116778263A (zh) * | 2023-08-22 | 2023-09-19 | 四川坤鸿电子科技有限公司 | 分拣设备控制方法、电子设备和计算机可读介质 |
| CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117250208A (zh) * | 2023-11-20 | 2023-12-19 | 青岛天仁微纳科技有限责任公司 | 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法 |
| CN117893467A (zh) * | 2023-12-06 | 2024-04-16 | 江苏新丝路纺织科技有限公司 | 一种纺织品缺陷类型识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| US20180253836A1 (en) * | 2015-06-16 | 2018-09-06 | South China University Of Technology | Method for automated detection of defects in cast wheel products |
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
| CN110009019A (zh) * | 2019-03-26 | 2019-07-12 | 苏州富莱智能科技有限公司 | 磁性材料裂纹智能检测系统及方法 |
| CN110766689A (zh) * | 2019-11-06 | 2020-02-07 | 深圳微品致远信息科技有限公司 | 基于卷积神经网络进行物品图像缺陷检测的方法及装置 |
-
2021
- 2021-01-29 CN CN202110129347.6A patent/CN112907519A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180253836A1 (en) * | 2015-06-16 | 2018-09-06 | South China University Of Technology | Method for automated detection of defects in cast wheel products |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
| CN109613002A (zh) * | 2018-11-21 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种玻璃缺陷检测方法、装置和存储介质 |
| CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
| CN110009019A (zh) * | 2019-03-26 | 2019-07-12 | 苏州富莱智能科技有限公司 | 磁性材料裂纹智能检测系统及方法 |
| CN110766689A (zh) * | 2019-11-06 | 2020-02-07 | 深圳微品致远信息科技有限公司 | 基于卷积神经网络进行物品图像缺陷检测的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 周颖 等: "基于图像处理的焊点缺陷识别方法的研究", 《计算机工程与应用》, vol. 49, no. 01, 15 January 2013 (2013-01-15), pages 239 - 241 * |
| 张立川 等著: "《自主水下航行器导航与控制技术》", 31 October 2020, 上海：上海科学技术出版社, pages: 149 - 150 * |
| 韩九强 等著: "《数字图像处理 基于XAVIS组态软件》", 31 May 2018, 西安：西安交通大学出版社, pages: 51 - 52 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610843B (zh) * | 2021-08-30 | 2023-10-24 | 合肥工业大学智能制造技术研究院 | 一种光纤编织层的实时缺陷识别系统及其方法 |
| CN113610843A (zh) * | 2021-08-30 | 2021-11-05 | 合肥智大信息技术有限公司 | 一种光纤编织层的实时缺陷识别系统及其方法 |
| CN113920087A (zh) * | 2021-10-09 | 2022-01-11 | 东北林业大学 | 基于深度学习的微小元器件缺陷检测系统及方法 |
| CN116109638A (zh) * | 2023-04-13 | 2023-05-12 | 中铁四局集团有限公司 | 一种钢轨折断检测方法及系统 |
| CN116593493A (zh) * | 2023-04-21 | 2023-08-15 | 江苏精益智控科技有限公司 | 一种高速检测钢管内表面缺陷的装置和方法 |
| CN116330319A (zh) * | 2023-05-26 | 2023-06-27 | 泓浒(苏州)半导体科技有限公司 | 一种搬运机械手状态监测系统及监测方法 |
| CN116330319B (zh) * | 2023-05-26 | 2023-07-21 | 泓浒(苏州)半导体科技有限公司 | 一种搬运机械手状态监测系统及监测方法 |
| CN116778263A (zh) * | 2023-08-22 | 2023-09-19 | 四川坤鸿电子科技有限公司 | 分拣设备控制方法、电子设备和计算机可读介质 |
| CN116778263B (zh) * | 2023-08-22 | 2023-11-14 | 四川坤鸿电子科技有限公司 | 分拣设备控制方法、电子设备和计算机可读介质 |
| CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117058125B (zh) * | 2023-09-01 | 2024-03-15 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117250208A (zh) * | 2023-11-20 | 2023-12-19 | 青岛天仁微纳科技有限责任公司 | 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法 |
| CN117250208B (zh) * | 2023-11-20 | 2024-02-06 | 青岛天仁微纳科技有限责任公司 | 基于机器视觉的纳米压印晶圆缺陷精准检测系统及方法 |
| CN117893467A (zh) * | 2023-12-06 | 2024-04-16 | 江苏新丝路纺织科技有限公司 | 一种纺织品缺陷类型识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN110389127B (zh) | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 | |
| CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
| CN111598856B (zh) | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 | |
| CN113554631B (zh) | 一种基于改进网络的芯片表面缺陷检测方法 | |
| CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN110969620A (zh) | 一种磁瓦波纹类缺陷的检测方法及装置 | |
| CN109815923B (zh) | 基于lbp特征与深度学习的金针菇菇头分选识别方法 | |
| CN109685030A (zh) | 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法 | |
| CN115311250A (zh) | 基于深度学习和时空特征融合的烟支外观检测方法 | |
| CN111754525A (zh) | 一种基于非精确切分的工业字符检测流程 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN116523916B (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
| CN112288765A (zh) | 一种用于车载红外行人检测跟踪的图像处理方法 | |
| CN116664540A (zh) | 基于高斯线检测的橡胶密封圈表面缺陷检测方法 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN112581487B (zh) | 自动提取检测区域及定位核的方法 | |
| CN114881984A (zh) | 一种大米加工精度的检测方法、装置、电子设备及介质 | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |