CN111344559B - 缺陷检测方法及缺陷检测系统 - Google Patents
缺陷检测方法及缺陷检测系统 Download PDFInfo
- Publication number
- CN111344559B CN111344559B CN201880071455.9A CN201880071455A CN111344559B CN 111344559 B CN111344559 B CN 111344559B CN 201880071455 A CN201880071455 A CN 201880071455A CN 111344559 B CN111344559 B CN 111344559B
- Authority
- CN
- China
- Prior art keywords
- speckle
- neural network
- speckle image
- different wavelengths
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000007547 defect Effects 0.000 title claims abstract description 90
- 230000001427 coherent effect Effects 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 11
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000005311 autocorrelation function Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 239000002184 metal Substances 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Immunology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种缺陷检测方法，包括：利用不同波长的相干光源(11、12、13、14)照射被测物体；拍摄被测物体在不同波长的相干光源(11、12、13、14)照射下生成的多幅散斑图像；利用散斑图像检测被测物体的缺陷。有益效果：测量精度达到了光波波长量级，可以检测微米级别的微缺陷，是一种非接触、高精度、在线式、实时性的无损检测方法。
Description
技术领域
本发明涉及检测技术领域，特别涉及一种缺陷检测方法及缺陷检测系统。
背景技术
现有技术中，金属材质的产品在机械加工、化学加工、喷镀涂层等过程中由于摩擦、切削引起的变形和撕裂以及加工环境变化等原因，会在金属材质的产品表面留下一些形状、尺寸各异的不良缺陷，主要包括缩孔、气泡、裂纹、翻皮、白点、晶间裂纹等肉眼无法识别的细微缺陷。同时，对于低纹理高反光的曲面物体，例如封装用锡球(BGA锡球)、高亮金属球、手机金属外壳等，其表面纹理特征单一甚至是缺失的，其表面光滑且具极强的反光特性，导致其容易产生过亮的光斑。
现有技术中的一种常规检测方法为自动光学检测(Automatic OpticInspection，简称AOI)方法，AOI检测方法对检测对象进行直接或间接的显微放大，通过显微成像后利用数字图像算法进行目标分割识别处理，从而检测出产品表面各个缺陷区域。AOI检测方法对光学检测系统的纵向及横向分辨率要求较高，而金属材质的产品表面的高反光和表面曲率不同则会造成光照不均匀，即在AOI检测中照明光源对检测结果的影响很大，照明光源必须能够适用于各种缺陷的检测，并且对各种缺陷的检测都能表现良好而不能丢失任何缺陷信息。
现有技术中的另外一种常规检测方法为基于主动结构光投影的三维重构方法，然而由于大面积的耀斑会影响光栅条纹的提取从而导致在检测中无法获得准确的深度信息，从而会出现大面积的数据空洞，虽然通过在金属产品的表面喷涂白色粉末可以减少这种误差的产生，但是这些白色粉末又会把缺陷遮挡而使得检测系统失去检测能力。
发明人经研究发现，现有技术中常用的二维成像方法和光学三维扫描方法都很难对金属表面进行有效的缺陷检测；同时，现有技术中，传统的检测系统所用的光源大都是非相干光源，其相对于利用相干光源的检测系统来说检测灵敏度偏低，尤其是对于微米尺度的划伤缺陷或者麻点表面缺陷，非相干光平行入射至待侧面后朝各个方向反射出来，造成缺陷和背景区域的成像对比度不大，缺陷会完全被淹没在背景干扰中而无法被检测出来。
发明内容
基于此，为解决现有技术中的技术问题，特提出了一种缺陷检测方法，包括：
利用不同波长的相干光源照射被测物体；
拍摄所述被测物体在所述不同波长的相干光源照射下生成散斑图像；
利用神经网络及所述散斑图像检测所述被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类。
在一种实施例中，所述由散斑图像提取的特征参数包括通过所述散斑图像的自相关函数计算得到的散斑延长率。
在一种实施例中，所述由散斑图像提取的特征参数包括通过计算得到的所述散斑图像的一阶统计特性和二阶统计特性。
在一种实施例中，所述利用神经网络及所述散斑图像检测所述被测物体的缺陷包括训练阶段及检测阶段；
所述训练阶段包括：
对多个被测物体样品的不同缺陷进行分类，分类结果作为神经网络输出层的输出特征；切换不同的波长拍摄所述多个被测物体样品的多幅散斑图像，针对每类缺陷采集多幅被测物体表面的散斑图像，利用所述散斑图像和/或由所述散斑图像提取的特征参数构成用于训练神经网络的训练数据集；
将上述能够间接反映表面微细结构的散斑图像和/或由所述散斑图像提取的特征参数作为神经网络输入层的输入特征，将分类结果作为神经网络输出层的输出特征，利用所述输入特征、输出特征对神经网络进行训练，训练得到所述被测物体表面散斑图像和/或由所述散斑图像提取的特征参数与所述被测物体表面缺陷之间关系的神经网络模型；
所述检测阶段包括：
将所述不同波长的相干光源对应的散斑图像和/或由所述散斑图像提取的特征参数输入至训练得到的神经网络模型的输入层中进行检测，其中，所述散斑图像和/或由所述散斑图像提取的特征参数为神经网络的输入特征；
所述神经网络的输出层输出检测结果，所述检测结果为包括无缺陷、气泡、变形中的一种或多种。
在一种实施例中，在利用神经网络及所述散斑图像检测所述被测物体的缺陷之前，采用包括邻域均值滤波、中值滤波、低通滤波、同态滤波中的一种或多种滤除所述散斑图像中的噪声。
此外，为解决现有技术中的技术问题，特提出了一种缺陷检测系统，包括：
所述缺陷检测系统包括相干光源组、光源控制器、光束调整模块、光电传感模块、检测模块；
其中，不同波长的相干光源构成所述缺陷检测系统的相干光源组；
其中，所述光源控制器利用软件程序开关来控制所述相干光源组，实现不同波长的相干光源之间的切换；
其中，所述光束调整模块包括合束器、准直扩束镜和分光镜；利用所述光束调整模块调整所述相干光源形成的光路在所述光电传感模块上形成散斑图像；
其中，所述光电传感模块包括一个或者多个光电传感器，利用所述光电传感器对所述散斑图像进行拍摄，将拍摄的散斑图像传输至所述检测模块进行检测处理；
其中，所述检测模块利用神经网络及所述散斑图像检测被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类。
在一种实施例中，所述利用所述光束调整模块调整所述相干光源形成的光路在所述光电传感模块上形成散斑图像包括，所述相干光源为激光；
利用合束器将不同波长的激光光源在同一高度、同一时刻出射时的激光束重合为一束；
经过合束器合束的激光光束再经过准直扩束镜，所述准直扩束镜使得出射的激光光束在白屏上投射为光强分布均匀的光斑，且出射的激光光束为平行的激光光束，利用准直扩束镜来完成光束的准直处理；
平行的激光光束经过反射镜后发生偏转，再经过分光镜照射到被测物体表面，被测物体表面的散射光经过分光镜反射后进入光电传感器中。
在一种实施例中，所述光电传感模块包括一个或者多个成像镜头，被测物体表面反射回来的散射光首先经过所述成像镜头再投射到光电传感器中；
在另一种实施例中，所述光电传感模块中不包含成像镜头，被测物体表面反射回来的散射光直接投射到光电传感器上；上述这种非透镜成像方式能够避免当被测物体距离的改变时为了成像清晰而需调节焦平面的问题，因此适用于检测表面为曲面的被测物体。
在一种实施例中，所述缺陷检测系统利用液晶可调滤光片实现不同波长之间的切换，通过光源控制器发出的控制电信号变换所述液晶可调滤光片的滤光波段。
在一种实施例中，所述检测模块利用神经网络及所述散斑图像检测被测物体的缺陷包括训练阶段及检测阶段；
所述训练阶段包括：
对多个被测物体样品的不同缺陷进行分类，分类结果作为神经网络输出层的输出特征；切换不同的波长拍摄所述多个被测物体样品的多幅散斑图像，针对每类缺陷采集多幅被测物体表面的散斑图像，利用所述散斑图像和/或由所述散斑图像提取的特征参数构成用于训练神经网络的训练数据集；
将上述能够间接反映表面微细结构的散斑图像和/或由所述散斑图像提取的特征参数作为神经网络输入层的输入特征，将分类结果作为神经网络输出层的输出特征，利用所述输入特征、输出特征对神经网络进行训练，训练得到所述被测物体表面散斑图像和/或由所述散斑图像提取的特征参数与所述被测物体表面缺陷之间关系的神经网络模型；
所述检测阶段包括：
将所述不同波长的相干光源对应的散斑图像和/或由所述散斑图像提取的特征参数输入至训练得到的神经网络模型的输入层中进行检测，其中，所述散斑图像和/或由所述散斑图像提取的特征参数为神经网络的输入特征；
所述神经网络的输出层输出检测结果，所述检测结果为包括无缺陷、气泡、变形中的一种或多种。
在一种实施例中，所述光电传感器为CCD光电传感器或者CMOS光电传感器。
实施本发明实施例，将具有如下有益效果：
本发明中公开的检测方法，其检测精度达到了光波波长量级，可以检测微米(um)级别的微缺陷，是一种非接触、高精度、在线式、实时性的无损检测方法。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中缺陷检测系统的示意图；
图2为本发明中基于神经网络的缺陷检测方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相干光源经过表面反射后，会形成干涉图案，通过分析干涉图案的空间分布，能够有效地检测出微缺陷的存在。在本发明的技术方案中，利用多色散斑延长效应来检测金属产品表面的缺陷。相干光源照射金属产品表面后的出射光场函数的振幅和相位带有大量的金属产品表面微观结构信息；不同波长的相干光源组合后可以同轴、分时入射到被测物体表面，数字采样后的散斑直径与相干光源的波长成正比，不同波长的单色散斑沿径向相互错位，而由单色散斑合成得到的多色散斑场在一个环形区域内会出现散斑斑粒延长现象。散斑斑粒延长的幅度依赖于被测金属产品表面的微观结构：对于光滑平整的表面，由于微观结构尺度空间变化很小，相干光源发出的相干光波长的细微变化会使得散斑变化激烈，从而使得散斑斑粒延长的幅度较大；而对于那些存在缺陷的表面区域，所述表面区域微观结构的变化都在微米(um)或者毫米(mm)级别，对相干光源发出的相干光波长的改变不敏感，散斑斑粒延长的幅度较小。由此，通过光电成像器件采集多色散斑场的强度分布信号，通过自相关计算即可以得到斑粒延长率，从而检测出金属表面微细的缺陷，如划伤、凹坑、磨损点等缺陷。
同时，本发明的技术方案中的缺陷检测方法对于一些特定材料的被测物体也是适用的，如半透明塑料材质的物体、不同材料混叠的物体，其表面的缺陷如浅层气泡、气孔，所述检测方法中相干光源进行干涉时，所述光源投射出的光会穿透到物体内部，如此物体的内部信息同样会显示在散斑信号中而被识别出来。本发明的技术方案可以用在其它各种领域的缺陷检测，如产品形状的变化、产品内部材料结构的变化、产品物理损伤、产品颜色变化等。
本发明公开了一种缺陷检测系统，如图1所示，包括相干光源组1、光源控制器2、光束调整模块3、光电传感模块4、检测模块(图中未示出)；
1)相干光源组1，由于激光具有单色性好、直线性好、输出稳定的优点，利用不同波长的激光作为所述检测系统的相干光源；
在一种实施例中，采用不同波长的多组激光作为所述检测系统的相干光源，构成相干光源组；其中，所述不同波长的多组激光光源可以是2组、3组、4组任意配置的激光光源；优选地，如图1所示，采用波长分别为λ1、λ2、λ3、λ4的4组激光光源11、12、13、14作为相干光源组；
在另一种实施例中，所述检测系统利用液晶可调滤光片实现不同波长之间的切换，所述液晶可调滤光片固定在光电传感器前面，通过光源控制器发出的控制电信号快速地变换液晶可调滤光片的滤光波段，可以实现最小为10nm的波长选择，从而实现更高精度的表面微结构的检测；
2)光源控制器2，所述光源控制器利用软件程序开关来控制所述相干光源组，实现不同波长的激光光源之间的切换；
3)光束调整模块3，包括合束器31、准直扩束镜32、反射镜33和分光镜34；由于所述检测系统中多束激光需要同轴，利用合束器31将不同波长的激光光源在同一高度、同一时刻出射时的激光束重合为一束；经过合束器31合束的激光光束再经过准直扩束镜32，所述准直扩束镜32使得出射的激光光束在白屏上投射为光强分布均匀的光斑，且出射的激光光束为平行的激光光束，利用准直扩束镜32中的单个大孔径透镜来完成光束的准直处理；接着，平行的激光光束经过反射镜33后发生偏转，再通过分光比为1:1的分光镜34照射到被测物体表面，其中，被测物体表面的散射光经过分光镜反射后进入光电传感器42中。
4)光电传感模块4，其中包括一个或者多个光电传感器42、成像镜头41，利用所述光电传感器42对散斑进行拍摄；将拍摄的散斑图像传输至所述检测模块进行检测处理；其中，可以根据需求设置或者移除所述成像镜头41；
在一种实施例中，所述光电传感器42为CCD光电传感器或者CMOS光电传感器；
在一种实施例中，被测物体表面反射回来的散射光首先经过成像镜头41再投射到光电传感器42中进行数字化成像处理；
在另一种实施例中，移除所述成像镜头41，即所述光电传感模块4不需要成像镜头41，将被测物体表面反射回来的散射光直接投射到光电传感器42上；上述这种非透镜成像方式能够避免当被测物体距离的改变时为了成像清晰而需调节焦平面的问题，因此适用于检测表面为曲面的被测物体。
在一种实施例中，采用一个或者多个光电传感器从不同的角度检测得到的散斑图像，并作进一步的检测识别处理；该种方式适用于非透镜成像方式进行检测，也适用于透镜成像的方式进行测量。
5)检测模块，所述检测模块利用神经网络及所述散斑图像检测被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类。
本发明公开了一种表面缺陷检测方法，包括：
利用不同波长的相干光源照射被测物体；
拍摄所述被测物体在所述不同波长的相干光源照射下生成散斑图像；
利用神经网络及所述散斑图像检测所述被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类。
在一种实施例中，通过光源控制器对相干光源组中作为多色入射激光光源的多组激光光源分别进行开关操作，分别拍摄多幅不同波长激光所对应的单色散斑图像；
在一种实施例中，所述多个不同波长分别为λ1、λ2、λ3、λ4四种波长；
在一种实施例中，通过散斑自相关函数计算得到的散斑延长率检测被测物体表面缺陷。
多色散斑延长效应与入射发激光光源的波长组合密切相关；其中，波长差决定了散斑延长区域的位置；对于固定的激光波长变化组合，在光滑、无缺陷的物体表面，此时物体表面粗糙度和入射激光光源的波长尺度都在纳米(nm)级别，此时由于激光光源波长的改变造成的散斑斑粒延长幅度较大；而对于存在凹凸缺陷的物体表面，缺陷的物理尺度都是微米(um)及毫米(mm)级别，对光源波长的改变不敏感，散斑斑粒延长幅度较小；如此，通过散斑自相关函数计算得到的散斑延长率可以有效地检测物体表面的微缺陷。
在一种实施例中，将散斑图像视作一种纹理图像，通过计算所述散斑图像的一阶统计特性和二阶统计特性，将所述一阶统计特性和二阶统计特性作为纹理特征参数，建立正常表面和缺陷区域表面与散斑图像的纹理特征之间的关联模型，利用显著关联的纹理特征参数来表征不同的缺陷；利用拍摄被测物体获得的多幅散斑图像计算得到其纹理特征参数，利用所述关联模型检测得到所述纹理特征对应的缺陷。
多色激光动态散斑图像可以提供许多有用信息，激光散斑图像的动态特性可以借助统计的方法，将散斑图像看作为一种纹理图像，通过计算所述纹理图像的一阶统计特性和二阶统计特性，得到正常表面和有缺陷区域表面与动态散斑图像的纹理特征对应模型,找到显著关联的纹理特征参数用来检测缺陷。在一种实施例中，由于散斑图像存在大量的随机噪声，消除或降低所述随机噪声是精确获得散斑图像信息的前提；可以采用包括邻域均值滤波、中值滤波、低通滤波、同态滤波中一种或多种方法来滤除噪声。
在本发明的一种实施例中，如图2所示，采用神经网络进行大样本、不同波长的散斑数据的学习训练并利用所述神经网络进行缺陷检测；所述神经网络为基于深度学习的深度神经网络。
所述表面缺陷检测方法包括训练阶段及检测阶段；
在训练阶段中：
对多个被测物体样品的不同缺陷进行分类，分类结果作为神经网络输出层的输出特征；切换不同的波长拍摄所述多个被测物体样品的多幅散斑图像，针对每类缺陷采集1000幅及以上的被测物体表面散斑图像，构成用于训练神经网络的训练数据集；
其中，所述输出特征包括无缺陷、气泡、变形等；
将上述能够间接反映表面微细结构的散斑图像作为神经网络输入层的输入特征，将分类结果作为神经网络输出层的输出特征，利用所述输入特征、输出特征对神经网络进行训练，得到所述被测物体表面散斑图像与所述被测物体表面缺陷之间关系的神经网络模型。
在检测阶段中：
通过光源控制器对相干光源组中作为多色入射激光光源的多组激光光源分别进行开关操作，分别拍摄多个不同波长激光所对应的单色散斑图像；
在一种实施例中，所述多个不同波长分别为λ1、λ2、λ3、λ4四种波长；
将多色激光对应的散斑图像信号输入至神经网络的输入层中进行检测，其中，所述散斑图像信号为神经网络的输入特征；
所述神经网络的输出层输出检测结果，所述检测结果包括无缺陷、气泡、变形等输出特征。
实施本发明实施例，将具有如下有益效果：
许多行业都需要对金属表面的微缺陷进行检测，检测出光滑金属表面微细的缺陷，如划伤、凹坑、磨损点等。本发明采用的照明光学设计和光电传感器可以进行改造以适应于不同的应用场景，从而实现不同检测分辨率的需求。本发明的测量精度达到了光波波长量级，可以检测微米(um)级别的微缺陷，是一种非接触、高精度、在线式、实时性的无损检测方法。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (7)
1.一种缺陷检测方法，其特征在于，包括：
利用不同波长的相干光源照射被测物体；
拍摄所述被测物体在所述不同波长的相干光源照射下生成的散斑图像；
利用神经网络及所述散斑图像检测所述被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类；
其中，由所述散斑图像提取的特征参数包括通过所述散斑图像的自相关函数计算得到的散斑延长率，所述不同波长的单色散斑沿径向相互错位，所述不同波长的波长差决定了散斑延长区域的位置。
2.根据权利要求1所述的缺陷检测方法，其特征在于，
所述利用神经网络及所述散斑图像检测所述被测物体的缺陷包括训练阶段及检测阶段；
所述训练阶段包括：
对多个被测物体样品的不同缺陷进行分类，分类结果作为神经网络输出层的输出特征；切换不同的波长拍摄所述多个被测物体样品的多幅散斑图像，针对每类缺陷采集多幅被测物体表面的散斑图像，利用所述散斑图像和/或由所述散斑图像提取的特征参数构成用于训练神经网络的训练数据集；
将所述散斑图像和/或由所述散斑图像提取的特征参数作为神经网络输入层的输入特征，将分类结果作为神经网络输出层的输出特征，利用所述输入特征、输出特征对神经网络进行训练，训练得到所述被测物体表面散斑图像和/或由所述散斑图像提取的特征参数与所述被测物体表面缺陷之间关系的神经网络模型；
所述检测阶段包括：
将所述不同波长的相干光源对应的散斑图像和/或由所述散斑图像提取的特征参数输入至训练得到的神经网络模型的输入层中进行检测，其中，所述散斑图像和/或由所述散斑图像提取的特征参数为神经网络的输入特征；
所述神经网络的输出层输出检测结果，所述检测结果为包括无缺陷、气泡、变形中的一种或多种。
3.根据权利要求2所述的缺陷检测方法，其特征在于，
在利用神经网络及所述散斑图像检测所述被测物体的缺陷之前，采用包括邻域均值滤波、中值滤波、低通滤波、同态滤波中的一种或多种滤除所述散斑图像中的噪声。
4.一种缺陷检测系统，其特征在于，所述缺陷检测系统包括相干光源组、光源控制器、光束调整模块、光电传感模块和检测模块；
其中，不同波长的相干光源构成所述缺陷检测系统的相干光源组；
其中，所述光源控制器利用软件程序开关来控制所述相干光源组，实现不同波长的相干光源之间的切换；
其中，所述光束调整模块包括合束器、准直扩束镜和分光镜；利用所述光束调整模块调整所述相干光源形成的光路在所述光电传感模块上形成散斑图像；
其中，所述光电传感模块包括一个或者多个光电传感器，利用所述光电传感器对所述散斑图像进行拍摄，将拍摄的散斑图像传输至所述检测模块进行检测处理；其中，所述检测模块利用神经网络及所述散斑图像检测被测物体的缺陷，将所述散斑图像和/或由所述散斑图像提取的特征参数输入至所述神经网络，由所述神经网络输出检测结果，所述检测结果为所述被测物体的缺陷种类；
所述利用所述光束调整模块调整所述相干光源形成的光路在所述光电传感模块上形成散斑图像包括，所述相干光源为激光；
首先，利用合束器将不同波长的激光光源在同一高度、同一时刻出射时的激光束重合为一束；
其次，经过合束器合束的激光光束再经过准直扩束镜，所述准直扩束镜使得出射的激光光束在白屏上投射为光强分布均匀的光斑，且出射的激光光束为平行的激光光束，利用准直扩束镜来完成光束的准直处理；
最后，平行的激光光束经过反射镜后发生偏转，再经过分光镜照射到被测物体表面，被测物体表面的散射光经过分光镜反射后进入光电传感器中。
5.根据权利要求4所述的缺陷检测系统，其特征在于，
其中，所述光电传感模块包括一个或者多个成像镜头，被测物体表面反射回来的散射光首先经过所述成像镜头再投射到光电传感器中。
6.根据权利要求4所述的缺陷检测系统，其特征在于，
其中，所述光电传感模块中不包含成像镜头，被测物体表面反射回来的散射光直接投射到光电传感器上。
7.根据权利要求4-6中任一项所述的缺陷检测系统，其特征在于，
所述缺陷检测系统利用液晶可调滤光片实现不同波长之间的切换，通过光源控制器发出的控制电信号变换所述液晶可调滤光片的滤光波段。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/123966 WO2020132960A1 (zh) | 2018-12-26 | 2018-12-26 | 缺陷检测方法及缺陷检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111344559A CN111344559A (zh) | 2020-06-26 |
| CN111344559B true CN111344559B (zh) | 2023-09-15 |
Family
ID=71128450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880071455.9A Active CN111344559B (zh) | 2018-12-26 | 2018-12-26 | 缺陷检测方法及缺陷检测系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111344559B (zh) |
| WO (1) | WO2020132960A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784684B (zh) * | 2020-07-13 | 2023-12-01 | 合肥市商巨智能装备有限公司 | 基于激光辅助的透明产品内部缺陷定深检测方法及装置 |
| CN112858341B (zh) * | 2020-12-23 | 2022-11-18 | 北京纬百科技有限公司 | 一种检测方法、拍摄系统及检测系统 |
| CN112633181B (zh) * | 2020-12-25 | 2022-08-12 | 北京嘀嘀无限科技发展有限公司 | 数据处理方法、系统、装置、设备和介质 |
| CN113628136B (zh) * | 2021-07-29 | 2023-07-25 | 北京科技大学 | 一种高动态范围激光散斑数字图像相关变形测量方法 |
| CN114965506B (zh) * | 2022-07-29 | 2022-11-15 | 深圳市中钞科信金融科技有限公司 | 检测防伪卡缺陷装置及其方法 |
| CN116523906B (zh) * | 2023-06-28 | 2023-09-12 | 长沙韶光芯材科技有限公司 | 一种玻璃基板光学性能检测方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013091584A1 (zh) * | 2011-12-20 | 2013-06-27 | 法国圣戈班玻璃公司 | 一种检测基质内缺陷的方法及装置 |
| CN104094104A (zh) * | 2012-02-07 | 2014-10-08 | 肖特公开股份有限公司 | 用于识别透明片体内的缺陷部位的装置和方法以及该装置的使用 |
| CN105842257A (zh) * | 2016-05-09 | 2016-08-10 | 南京理工大学 | 一种亚微米量级的玻璃亚表面缺陷检测装置及方法 |
| CN106568783A (zh) * | 2016-11-08 | 2017-04-19 | 广东工业大学 | 一种五金零件缺陷检测系统及方法 |
| CN108007375A (zh) * | 2017-12-18 | 2018-05-08 | 齐齐哈尔大学 | 一种基于合成波长双光源剪切散斑干涉的三维变形测量方法 |
| CN108280824A (zh) * | 2018-01-18 | 2018-07-13 | 电子科技大学 | 基于图像配准及融合的激光剪切散斑干涉缺陷检测系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8896827B2 (en) * | 2012-06-26 | 2014-11-25 | Kla-Tencor Corporation | Diode laser based broad band light sources for wafer inspection tools |
| CN102854191B (zh) * | 2012-07-18 | 2014-09-10 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| CN102830123B (zh) * | 2012-08-16 | 2014-07-02 | 北京科技大学 | 一种金属板带表面微小缺陷的在线检测方法 |
-
2018
- 2018-12-26 CN CN201880071455.9A patent/CN111344559B/zh active Active
- 2018-12-26 WO PCT/CN2018/123966 patent/WO2020132960A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013091584A1 (zh) * | 2011-12-20 | 2013-06-27 | 法国圣戈班玻璃公司 | 一种检测基质内缺陷的方法及装置 |
| CN104094104A (zh) * | 2012-02-07 | 2014-10-08 | 肖特公开股份有限公司 | 用于识别透明片体内的缺陷部位的装置和方法以及该装置的使用 |
| CN105842257A (zh) * | 2016-05-09 | 2016-08-10 | 南京理工大学 | 一种亚微米量级的玻璃亚表面缺陷检测装置及方法 |
| CN106568783A (zh) * | 2016-11-08 | 2017-04-19 | 广东工业大学 | 一种五金零件缺陷检测系统及方法 |
| CN108007375A (zh) * | 2017-12-18 | 2018-05-08 | 齐齐哈尔大学 | 一种基于合成波长双光源剪切散斑干涉的三维变形测量方法 |
| CN108280824A (zh) * | 2018-01-18 | 2018-07-13 | 电子科技大学 | 基于图像配准及融合的激光剪切散斑干涉缺陷检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 双波长剪切散斑干涉法在复合材料缺陷检测中的应用;郭媛等;《光子学报》;20150331(第03期);全文 * |
| 基于多色散斑延长效应的表面粗糙度测量及影响因素分析;刘恒彪等;《光学学报》;20080215(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020132960A1 (zh) | 2020-07-02 |
| CN111344559A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111344559B (zh) | 缺陷检测方法及缺陷检测系统 | |
| US5270794A (en) | Fine structure evaluation apparatus and method | |
| US9891168B2 (en) | Device and method for sensing at least one partially specular surface with column-by-column analysis of the global or local intensity maximum | |
| US8654352B1 (en) | Chromatic confocal scanning apparatus | |
| JP2011526375A (ja) | 光学検査プローブ | |
| JP2017198491A (ja) | 膜厚測定装置及び膜厚測定方法 | |
| CN106691394A (zh) | 一种基于光程编码的高分辨长焦深oct成像系统和方法 | |
| US20110255097A1 (en) | Method and system for evaluating a height of structures | |
| TWI407078B (zh) | Micro - lens array surface profile detection system and its detection method | |
| Daneshpanah et al. | Surface sensitivity reduction in laser triangulation sensors | |
| JP2024515421A (ja) | 表面上のラフネス及び／又は欠陥測定のための測定装置並びに方法 | |
| WO2020029237A1 (zh) | 检测方法和系统 | |
| CN111344553B (zh) | 曲面物体的缺陷检测方法及检测系统 | |
| US10598604B1 (en) | Normal incidence phase-shifted deflectometry sensor, system, and method for inspecting a surface of a specimen | |
| CA2897751C (en) | A method and apparatus for quantitative measurement of surface accuracy of an area | |
| CN112505057A (zh) | 一种滚动面缺陷检测系统和方法 | |
| JP2008002891A (ja) | 表面状態検査装置及び表面状態検査方法 | |
| CN110763686B (zh) | 一种透明样品的缺陷检测装置和检测方法 | |
| US11781861B2 (en) | Surface measurement method, component manufacturing method, component inspection method, and component measurement device | |
| KR101423276B1 (ko) | 표면형상 측정장치 | |
| FR2593599A1 (fr) | Procede et dispositif de determination sans contact du relief d'une surface | |
| CN116840260B (zh) | 晶圆表面缺陷检测方法及装置 | |
| Alam et al. | Real time surface measurement technique in a wide range of wavelengths spectrum | |
| CN219714305U (zh) | 一种线激光轮廓扫描装置 | |
| JPH09138201A (ja) | 表面検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |