CN113192013A - 一种反光表面缺陷检测方法、系统及电子设备 - Google Patents
一种反光表面缺陷检测方法、系统及电子设备 Download PDFInfo
- Publication number
- CN113192013A CN113192013A CN202110409731.1A CN202110409731A CN113192013A CN 113192013 A CN113192013 A CN 113192013A CN 202110409731 A CN202110409731 A CN 202110409731A CN 113192013 A CN113192013 A CN 113192013A
- Authority
- CN
- China
- Prior art keywords
- light intensity
- stripe
- image
- layer
- diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000012544 monitoring process Methods 0.000 claims abstract description 45
- 238000010587 phase diagram Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 11
- 230000010363 phase shift Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000001028 reflection method Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005498 polishing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Abstract
本发明提供了一种反光表面缺陷检测方法、系统及电子设备。该方案包括使用LCD显示屏产生4幅相位步长差为π/2的标准正弦条纹光栅，并投影在反光表面，然后通过相机采集经反光面反射的条纹图像发送至所述监测计算机；在所述4幅条纹图像中确定平面坐标系，计算包裹相位图和调制度图；通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图，并通过数据增强处理，进行目标网络的训练，生成目标检测模型，判断所述目标检测模型的评价性能。该方案通过条纹反射法进行包裹相位和调制度数据提取，进而结合包裹相位和调制度数据的多源融合数据处理，并利用改进网络结构，实现光滑表面缺陷精准识别。
Description
技术领域
本发明涉及图像缺陷检测技术领域，更具体地，涉及一种反光表面缺陷检测方法、系统及电子设备。
背景技术
为了控制产品的品质，每台笔记本电脑面板生产出厂前要经过多道流程反复的检验，才能进入市场。因此，必须经过严格的检查工作，但是检查工作量大，重复且枯燥，采用人工目检的方式基本成为历史，实现缺陷的自动化检测是工业界发展的大趋势。因此，必需研究如何使用机器视觉更高效和可靠地完成缺陷检测。
但是，在本发明技术之前，现有方案在缺陷检测方面存在诸多问题，一方面，现有方案对采用基于机器学习的视觉，而且主要有赖于缺陷特征大部分为纹理特征，虽然在低层次特征的判别上表现相对突出，例如，利用光学照明模块和机构控制模块收集图像，通过软件比如边缘检测、亚像素分析进行图像处理，进而经过机器学习和数据管理进行智能分析，然而笔记本电脑平板缺陷特征大多数为纹理特征同时带有一点语义信息，带语义信息的缺陷很难通过人为规则设定阈值，最终导致传统方法缺少了局部和整体的关系等高层次的语义信息，无法准确获知检测缺陷；另一方面，对于反光物体、五金器件、玻璃上的细小缺陷检测时，在机器视觉中广泛采用的打光方法，通常会使得图像呈现大面积的白斑，难以提取缺陷特征，而由于不同外观缺陷有着不同的特征，极难实现针对不同缺陷需求采用针对性图像采集方式，导致现有照明方式对缺陷体现不够全面，检测率低。
发明内容
鉴于上述问题，本发明提出了一种反光表面缺陷检测方法、系统及电子设备，通过条纹反射法进行包裹相位和调制度数据提取，进而结合包裹相位和调制度数据的多源融合数据处理，并利用改进网络结构，实现光滑表面缺陷精准识别。
根据本发明实施例第一方面，提供了一种反光表面缺陷检测方法。
在一个或多个实施例中，优选地，所述的一种反光表面缺陷检测方法包括：
监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
对所述中间融合图通过数据增强处理，生成训练图像；
对所述训练图像进行目标网络的训练，生成目标检测模型；
根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
在一个或多个实施例中，优选地，监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅，具体包括：
监测计算机向LCD显示屏发出控制命令；
使用LCD显示屏依次产生4幅光栅条纹光源，其中，所述4幅光栅条纹光源分别为第一条纹光源、第二条纹光源、第三条纹光源和第四条纹光源；
所述4幅光栅条纹光源投射至待检测物体表面；
通过所述相机拍摄所述待检测物体表面，依次生成所述4幅条纹图像，其中，所述4幅条纹图像具体包括第一条纹图像、第二条纹图像、第三条纹图像和第四条纹图像；
将所述4幅条纹图像由所述相机发送至监测计算机。
在一个或多个实施例中，优选地，所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式，具体包括：
在所述4幅条纹图像中确定对应的所述平面坐标系，其中，所述平面坐标系包括第一坐标系、第二坐标系、第三坐标系和第四坐标系；
在所述第一坐标系内，提取所述第一条纹图像的背景光强、条纹对比度和相位值，并利用第一计算公式将所述第一条纹图像表示为所述第一合成光强的形式；
在所述第二坐标系内，提取所述第二条纹图像的背景光强、条纹对比度和相位值，并利用第二计算公式将所述第二条纹图像表示为所述第二合成光强的形式；
在所述第三坐标系内，提取所述第三条纹图像的背景光强、条纹对比度和相位值，并利用第三计算公式将所述第三条纹图像表示为所述第三合成光强的形式；
在所述第四坐标系内，提取所述第四条纹图像的背景光强、条纹对比度和相位值，并利用第四计算公式将所述第四条纹图像表示为所述第四合成光强的形式；
所述第一计算公式为：
其中，I1为所述第一合成光强，a1(x1，y1)为所述第一条纹图像的背景光强，b1(x1，y1)为所述第一条纹图像的条纹对比度，
为所述第一条纹图像的相位值，x1为所述第一坐标系内的横坐标值，y1为所述第一坐标系内的纵坐标值；
所述第二计算公式为：
其中，I2为所述第二合成光强，a2(x2，y2)为所述第二条纹图像的背景光强，b2(x2，y2)为所述第二条纹图像的条纹对比度，
为所述第二条纹图像的相位值，x2为所述第二坐标系内的横坐标值，y2为所述第二坐标系内的纵坐标值；
所述第三计算公式为：
其中，I3为所述第三合成光强，a3(x3，y3)为所述第三条纹图像的背景光强，b3(x3，y3)为所述第三条纹图像的条纹对比度，
为所述第三条纹图像的相位值，x3为所述第三坐标系内的横坐标值，y3为所述第三坐标系内的纵坐标值；
所述第四计算公式为：
其中，I4为所述第四合成光强，a4(x4，y4)为所述第四条纹图像的背景光强，b4(x4，y4)为所述第四条纹图像的条纹对比度，
为所述第四条纹图像的相位值，x4为所述第四坐标系内的横坐标值，y4为所述第四坐标系内的纵坐标值。
在一个或多个实施例中，优选地，所述获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图，具体包括：
获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强；
利用第五计算公式计算获得所述包裹相位图；
利用第六计算公式计算所述调制度图；
所述第五计算公式为：
其中，
为所述包裹相位图中一个点的包裹相位，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强；
所述第六计算公式为：
其中，M为所述调制度图中一个点的调制度，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强。
在一个或多个实施例中，优选地，所述图像融合网络，具体包括：编码层、融合层和解码层；
所述编码层用于提取深度特征；
所述编码层结构依次包括第一图卷积层、稠密块；
所述融合层用于融合所述深度特征；
所述解码层用于根据融合后的所述深度特征进行重新构建融合图像；
所述解码层依次包括第二图卷积层、第三图卷积层、第四图卷积层、第五图卷积层；
所述第一图卷积层、所述第二图卷积层、所述第三图卷积层、所述第四图卷积层和所述第五图卷积层的空间卷积核大小设置为3×3。
在一个或多个实施例中，优选地，所述数据增强处理，具体包括：水平上下翻转、旋转、滤波、去噪、以预设的概率随机增加高斯噪声，并对图像上的缺陷类型进行标注。
在一个或多个实施例中，优选地，所述目标网络，具体包括：头部阶段、第二阶段、第三阶段、第四阶段和第五阶段；
所述头部阶段包括第六图卷积层、第七图卷积层和第八图卷积层；
所述第六图卷积层的空间卷积核大小设置为3×3；
所述第六图卷积层的输入通道数为64；
所述第六图卷积层的卷积步长为2；
所述第七图卷积层的空间卷积核大小设置为3×3；
所述第七图卷积层的输入通道数为64；
所述第七图卷积层的卷积步长为1；
所述第八图卷积层的空间卷积核大小设置为3×3；
所述第八图卷积层的输入通道数为128；
所述第八图卷积层的卷积步长为1；
所述第二阶段包括1个基础模块；
所述第三阶段包括1个所述基础模块；
所述第四阶段包括4个所述基础模块；
所述第五阶段包括3个所述基础模块。
在一个或多个实施例中，优选地，所述基础模块，具体包括：第九图卷积层、第十图卷积层、第十一图卷积层、第十二图卷积层、第十三图卷积层、第十四图卷积层、第十五图卷积层、第十六图卷积层、第一全连接层、第二全连接层；
所述第九图卷积层、所述第十图卷积层、所述第十一图卷积层、所述第十二图卷积层、所述第十三图卷积层、所述第十四图卷积层的空间卷积核大小均设置为3×3；
所述第十五图卷积层、所述第十六图卷积层的空间卷积核大小均设置为1×1。
根据本发明实施例第二方面，提供了一种反光表面缺陷检测系统。
在一个或多个实施例中，优选地，所述的一种反光表面缺陷检测系统包括：
监测控制子系统，用于监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
相移子系统，用于所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
包裹与调制图像子系统，用于获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
图像融合子系统，用于通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
数据增强子系统，用于对所述中间融合图通过数据增强处理，生成训练图像；
目标检测网络，用于对所述训练图像进行目标网络的训练，生成目标检测模型；
性能评价子系统，用于根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
根据本发明实施例第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如本发明实施例第一方面任一项所述的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例提供了利用图像融合网络把包裹相位数据和调制度图像进行特征融合，进而优化数据集的方法，使缺陷特征有更好的表征和解决数据较少的问题。
2)本发明实施例采用相移条纹反射的方法获取包裹相位图，并基于富含语义信息的包裹相位图，提出一种更适合微小缺陷检测任务的主干网络，加强了网络对缺陷特征的捕捉能力。
3)本发明实施例利用融合图像的神经网络结构对反光表面进行完整的缺陷检测，与目前基于深度学习的目标检测方法相比，更适用于反光表面的缺陷检测。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种反光表面缺陷检测方法的流程图。
图2是本发明一个实施例的一种反光表面缺陷检测方法中的监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅的流程图。
图3是本发明一个实施例的一种反光表面缺陷检测方法中的4幅条纹图像获取的示意图。
图4是本发明一个实施例的一种反光表面缺陷检测方法中的所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式的流程图。
图5是本发明一个实施例的一种反光表面缺陷检测方法中的获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图的流程图。
图6是本发明一个实施例的一种反光表面缺陷检测方法中的图像融合网格的示意图。
图7是本发明一个实施例的一种反光表面缺陷检测方法中的目标网络的示意图。
图8是本发明一个实施例的一种反光表面缺陷检测方法中的基础模块的示意图。
图9是本发明一个实施例的一种反光表面缺陷检测系统的结构图。
图10是本发明一个实施例中一种电子设备的结构图。
图11为本发明实施例中的目标网络获得的笔记本电脑面板缺陷检测成像效果对比图。
图12为本发明实施例中的通过传统光学图像获得的缺陷处理图。
图13为本发明实施例中的通过投影条纹获得的缺陷处理图。
图14为本发明实施例中的通过包裹相位获得的缺陷处理图。
图15为本发明实施例中的目标网络获得的融合图像获得的缺陷处理图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了控制产品的品质，每台笔记本电脑面板生产出厂前要经过多道流程反复的检验，才能进入市场。因此，必须经过严格的检查工作，但是检查工作量大，重复且枯燥，采用人工目检的方式基本成为历史，实现缺陷的自动化检测是工业界发展的大趋势。因此，必需研究如何使用机器视觉更高效和可靠地完成缺陷检测。
但是，在本发明技术之前，现有方案在缺陷检测方面存在诸多问题，一方面，现有方案对采用基于机器学习的视觉，而且主要有赖于缺陷特征大部分为纹理特征，虽然在低层次特征的判别上表现相对突出，例如，利用光学照明模块和机构控制模块收集图像，通过软件比如边缘检测、亚像素分析进行图像处理，进而经过机器学习和数据管理进行智能分析，然而笔记本电脑平板缺陷特征大多数为纹理特征同时带有一点语义信息，带语义信息的缺陷很难通过人为规则设定阈值，最终导致传统方法缺少了局部和整体的关系等高层次的语义信息，无法准确获知检测缺陷；另一方面，对于反光物体、五金器件、玻璃上的细小缺陷检测时，在机器视觉中广泛采用的打光方法，通常会使得图像呈现大面积的白斑，难以提取缺陷特征，而由于不同外观缺陷有着不同的特征，极难实现针对不同缺陷需求采用针对性图像采集方式，导致现有照明方式对缺陷体现不够全面，检测率低。
本发明实施例中，提供了一种反光表面缺陷检测方法、系统及电子设备。该方案通过条纹反射法进行包裹相位和调制度数据提取，进而结合包裹相位和调制度数据的多源融合数据处理，并利用改进网络结构，实现光滑表面缺陷精准识别。
本发明实施例第一方面，提供了一种反光表面缺陷检测方法。
图1是本发明一个实施例的一种反光表面缺陷检测方法的流程图。
如图1所示，在一个或多个实施例中，优选地，所述的一种反光表面缺陷检测方法包括：
S101、监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
S102、所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
S103、获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
S104、通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
S105、对所述中间融合图通过数据增强处理，生成训练图像；
S106、对所述训练图像进行目标网络的训练，生成目标检测模型；
S107、根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
在本发明实施例中，提供了一种利用深度学习进行反光表面缺陷检测的方法，通过缺陷检测的主干网络，引入包裹相位和调制度数据的多源融合数据处理用于笔记本电脑面板的缺陷检测。首先，采集条纹图像，经过算法处理获得包裹相位图和调制度图；其次，对包裹相位图和调制度图进行融合得到目标融合图像；最终，通过数据增强，具体的数字增强方式包括水平上下翻转、旋转、滤波、去噪等操作，并对图像上的缺陷类型进行标注；最终，送入目标检测网络训练，并利用训练好的目标检测模型来定位缺陷位置。通过该方式能够有效的获知实际中的笔记本电脑面板缺陷。
图2是本发明一个实施例的一种反光表面缺陷检测方法中的监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅的流程图。
如图2所示，在一个或多个实施例中，优选地，所述监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅，具体包括：
S201、监测计算机向LCD显示屏发出控制命令；
S202、使用LCD显示屏依次产生4幅光栅条纹光源，其中，所述4幅光栅条纹光源分别为第一条纹光源、第二条纹光源、第三条纹光源和第四条纹光源；
S203、所述4幅光栅条纹光源投射至待检测物体表面；
S204、通过所述相机拍摄所述待检测物体表面，依次生成所述4幅条纹图像，其中，所述4幅条纹图像具体包括第一条纹图像、第二条纹图像、第三条纹图像和第四条纹图像；
S205、将所述4幅条纹图像由所述相机发送至监测计算机。
在本发明实施例中，为了能够通过LCD显示屏发出不同类型的条纹光，利用监测计算机发出通知命令，进而生成不同类型的光栅条纹，由于每种光栅条纹按照固定的顺序生成。因此，通过相机发送至监测计算机进行数据解析。解析后，投影的四张光栅条纹图片在同一个位置，形成的相位步长差为π/2。
图3是本发明一个实施例的一种反光表面缺陷检测方法中的4幅条纹图像获取的示意图。
如图3所示，在本发明实施例中，使用LCD显示屏产生条纹光，在待测物体表面上反射条纹光，通过相机采集条纹图。由于，物体表面的缺陷存在轻微的高低起伏，正弦条纹投射在物体表面后随物体形貌的变化发生变形，这种形变的程度记录了物体表面的缺陷信息。从相机采集到的一系列物体表面的结构光图案中得到包含物体表形貌信息的包裹相位和调制度。因此，可以利用包裹相位图进行目标检测。通过反射条纹光可以产生两方面优势。一方面是，相位图像数据拥有较为丰富的语义信息，提高可供后续神经网络模型学习的空间。为后续图像融合做准备；另一方面是，解决了对高反光物体进行图像收集时遇到的打光困难的难题。
图4是本发明一个实施例的一种反光表面缺陷检测方法中的所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式的流程图。
如图4所示，在一个或多个实施例中，优选地，所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式，具体包括：
S401、在所述4幅条纹图像中确定对应的所述平面坐标系，其中，所述平面坐标系包括第一坐标系、第二坐标系、第三坐标系和第四坐标系；
S402、在所述第一坐标系内，提取所述第一条纹图像的背景光强、条纹对比度和相位值，并利用第一计算公式将所述第一条纹图像表示为所述第一合成光强的形式；
S403、在所述第二坐标系内，提取所述第二条纹图像的背景光强、条纹对比度和相位值，并利用第二计算公式将所述第二条纹图像表示为所述第二合成光强的形式；
S404、在所述第三坐标系内，提取所述第三条纹图像的背景光强、条纹对比度和相位值，并利用第三计算公式将所述第三条纹图像表示为所述第三合成光强的形式；
S405、在所述第四坐标系内，提取所述第四条纹图像的背景光强、条纹对比度和相位值，并利用第四计算公式将所述第四条纹图像表示为所述第四合成光强的形式；
所述第一计算公式为：
其中，I1为所述第一合成光强，a1(x1，y1)为所述第一条纹图像的背景光强，b1(x1，y1)为所述第一条纹图像的条纹对比度，
为所述第一条纹图像的相位值，x1为所述第一坐标系内的横坐标值，y1为所述第一坐标系内的纵坐标值；
所述第二计算公式为：
其中，I2为所述第二合成光强，a2(x2，y2)为所述第二条纹图像的背景光强，b2(x2，y2)为所述第二条纹图像的条纹对比度，
为所述第二条纹图像的相位值，x2为所述第二坐标系内的横坐标值，y2为所述第二坐标系内的纵坐标值；
所述第三计算公式为：
其中，I3为所述第三合成光强，a3(x3，y3)为所述第三条纹图像的背景光强，b3(x3，y3)为所述第三条纹图像的条纹对比度，
为所述第三条纹图像的相位值，x3为所述第三坐标系内的横坐标值，y3为所述第三坐标系内的纵坐标值；
所述第四计算公式为：
其中，I4为所述第四合成光强，a4(x4，y4)为所述第四条纹图像的背景光强，b4(x4，y4)为所述第四条纹图像的条纹对比度，
为所述第四条纹图像的相位值，x4为所述第四坐标系内的横坐标值，y4为所述第四坐标系内的纵坐标值。
在本发明实施例中，通过LCD显示屏投射四张光栅条纹图像，再通过所述相机拍摄获取对应的变形光栅，采用同一部工业相机作为拍摄硬件。原因是，四张图像要进行图像融合，进而得到图像要定位出缺陷的位置。所以，拍摄要确保是同一场景。为获取包裹相位值和调制度值奠定数据基础。而且，所述四张光栅条纹图像相位步长差为π/2。
图5是本发明一个实施例的一种反光表面缺陷检测方法中的获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图的流程图。
如图5所示，在一个或多个实施例中，优选地，所述获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图，具体包括：
S501、获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强；
S502、利用第五计算公式计算获得所述包裹相位图；
S503、利用第六计算公式计算所述调制度图；
所述第五计算公式为：
其中，
为所述包裹相位图中一个点的包裹相位，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强；
所述第六计算公式为：
其中，M为所述调制度图中一个点的调制度，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强。
在本发明实施例中，进一步给出了利用第一合成光强、第二合成光强、第三合成光强和第四合成光强生成包裹相位值和调制度值的方案。由于，采用相移条纹时，使用了多幅相移条纹计算的相位值和调制度，因此，该方案的稳定性和抗噪能力强，适用于反光表面的缺陷检测。
图6是本发明一个实施例的一种反光表面缺陷检测方法中的图像融合网格的示意图。
如图6所示，在一个或多个实施例中，优选地，所述图像融合网络，具体包括：编码层、融合层和解码层；
所述编码层用于提取深度特征；
所述编码层结构依次包括第一图卷积层、稠密块；
所述融合层用于融合所述深度特征；
所述解码层用于根据融合后的所述深度特征进行重新构建融合图像；
所述解码层依次包括第二图卷积层、第三图卷积层、第四图卷积层、第五图卷积层；
所述第一图卷积层、所述第二图卷积层、所述第三图卷积层、所述第四图卷积层和所述第五图卷积层的空间卷积核大小设置为3×3。
在本发明实施例中，输入网络的数据是包裹相位图和调制度图融合后的融合图像。融合数据尽可能地保留了两个数据源中各自有用的信息，是对缺陷的特征更佳的表征。将融合图像用于后续目标检测模型的训练，可以增强网络的适应能力及鲁棒性。
具体的，包裹相位进行目标识别的精确度明显的高于原始图像的精确度。对包裹相位信息提取的过程中对图像信息进行了压缩，所以用神经网络分析与处理时，所消耗的内存与时间与没经过处理的原始图像相比都会减小，所需图像的实时性就会有所提高，计算速度也比原始图像识别缺陷快。可是包裹相位生成的时候也会损失一部分的细节性特征，此时调制度图则起到弥补特征损失的作用。因此，利用了两幅或多幅图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对缺陷有更全面、清晰的描述，更有利于缺陷检测。最终，图像融合网络对缺陷的特征进行很好的表征，实现了多源数据的优势互补。
在一个或多个实施例中，优选地，所述数据增强处理，具体包括：水平上下翻转、旋转、滤波、去噪、以预设的概率随机增加高斯噪声，并对图像上的缺陷类型进行标注。
图7是本发明一个实施例的一种反光表面缺陷检测方法中的目标网络的示意图。
如图7所示，在一个或多个实施例中，优选地，所述目标网络，具体包括：头部阶段、第二阶段、第三阶段、第四阶段和第五阶段；
所述头部阶段包括第六图卷积层、第七图卷积层和第八图卷积层；
所述第六图卷积层的空间卷积核大小设置为3×3；
所述第六图卷积层的输入通道数为64；
所述第六图卷积层的卷积步长为2；
所述第七图卷积层的空间卷积核大小设置为3×3；
所述第七图卷积层的输入通道数为64；
所述第七图卷积层的卷积步长为1；
所述第八图卷积层的空间卷积核大小设置为3×3；
所述第八图卷积层的输入通道数为128；
所述第八图卷积层的卷积步长为1；
所述第二阶段包括1个基础模块；
所述第三阶段包括1个所述基础模块；
所述第四阶段包括4个所述基础模块；
所述第五阶段包括3个所述基础模块。
在本发明实施例中，缺陷检测主要是进行纹理特征的信息处理，为了加强网络对底层特征的学习能力，在设计所述目标网络时，通过头部阶段进行特征提取。通过在头部阶段利用三个卷积层进行特征提取的基础上，利用不同数量的基础模块进行进一步优化，获得融合的顶层特征。
图8是本发明一个实施例的一种反光表面缺陷检测方法中的基础模块的示意图。
如图8所示，在一个或多个实施例中，优选地，所述基础模块，具体包括：第九图卷积层、第十图卷积层、第十一图卷积层、第十二图卷积层、第十三图卷积层、第十四图卷积层、第十五图卷积层、第十六图卷积层、第一全连接层、第二全连接层；
所述第九图卷积层、所述第十图卷积层、所述第十一图卷积层、所述第十二图卷积层、所述第十三图卷积层、所述第十四图卷积层的空间卷积核大小均设置为3×3；
所述第十五图卷积层、所述第十六图卷积层的空间卷积核大小均设置为1×1。
在本发明实施例中，为了加强网络对底层特征的学习能力，设置了多层卷积层的通道。因为，3×3的卷积层在网络中起关键作用，是唯一能够学习空间模式的组件。若底层接收的输入/输出通道数量较少，则无法有效获得缺陷特征，需要在最多的通道和更高的空间来增强自身的对底层特征的学习能力。此外，在空间和通道两个维度上都引入注意力机制，从两维度引入注意力机制比单一维度有更好的表现。为了让网络能够检测出更多的缺陷位置，在基础模块中加入了eCBAM(effective Convolutional Block AttentionModule)模块，用来进一步增强特征。CBAM模块包含两个全连接层，在丢掉中间的全连接层进行降维，从而获得更好空间的依赖性及空间注意力，获取更多空间和通道这两个维度上的有意义特征。
本发明实施例第二方面，提供了一种反光表面缺陷检测系统。
图9是本发明一个实施例的一种反光表面缺陷检测系统的结构图。
如图9所示，在一个或多个实施例中，优选地，所述的一种反光表面缺陷检测系统包括：
监测控制子系统901，用于监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
相移子系统902，用于所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
包裹与调制图像子系统903，用于获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
图像融合子系统904，用于通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
数据增强子系统905，用于对所述中间融合图通过数据增强处理，生成训练图像；
目标检测网络906，用于对所述训练图像进行目标网络的训练，生成目标检测模型；
性能评价子系统907，用于根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
本发明实施例第三方面，提供一种电子设备。图10是本发明一个实施例中一种电子设备的结构图。图10所示的电子设备为通用反光表面检测装置，其包括通用的计算机硬件结构，其至少包括处理器1001和存储器1002。处理器1001和存储器1002通过总线1003连接。存储器1002适于存储处理器1001可执行的指令或程序。处理器1001可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1001通过执行存储器1002所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1003将上述多个组件连接在一起，同时将上述组件连接到显示控制器1004和显示装置以及输入/输出(I/O)装置1005。输入/输出(I/O)装置1005可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1005通过输入/输出(I/O)控制器1006与系统相连。
下面以一个具体实施例详细说明本发明的上述技术方案。
在进行目标网络数据训练前，数据集包含同一场景收集的笔记本电脑面板收集的包裹相位图、条纹图、制度图和融合图，一共四类图片，总共2400张。其中，包含划痕、裂纹和污点三种笔记本电脑面板的表面缺陷。每1张图有一种或多种缺陷，大小为1000*600像素。每类图片分别按照8:1:1随机分成训练集、验证集、测试集。训练集用于模型训练，用验证集来选择模型的超参数，使用测试集来评价模型性能。数据集都严格经过手工注释。
图11为采用本发明实施例中的目标网络获得的笔记本电脑面板缺陷检测成像效果对比图。结果表明采用同轴光源成像效果，可以看到面板表面整体被均匀照射，黑色框里为缺陷，但缺陷几乎不可见；采用条纹光源检测的效果，缺陷较为清晰可见；采用包裹相位图，缺陷边界明确，丢失了部分细节；采用调制度图，缺陷边界模糊，细节较为丰富；采用为融合图，缺陷边界明确，细节丰富。
图12-图15依次为本发明实施例中的通过传统光学图像、投影条纹、包裹相位和融合图像获得的缺陷处理图。在本发明实施例中，在同一场景下电脑面板上的缺陷检测结果显示使用调制度图时，裂纹可见，其他种类缺陷难以被发现，使用包裹相位图时，划痕和污点可见，裂纹基本不可见。因此，在实际检测过程中，将包裹相位图和调制度进行融合，可以很好地检测玻璃盖板上的所有缺陷。
为了评估本发明实施例给出的缺陷检测算法整体性能。与工业上主流方法面板进行检测，得出结果进行对比。工业主流的方法为利用线光源+线阵相机组合装置采集图像数据，采用Faster-RCNN-r50、SSD300、YOLOV3网络作为检测模型来检测缺陷。其中，Faster-RCNN-r50和SSD300均为用于检测缺陷的常用神经网络。YOLO(You Only Look Once)系列目标检测算法中的第三版，是针对小目标的目标检测算法。然后，采集同一场景的图像数据，进行缺陷检测利用精确率和召回率的性能指标分数来评价网络模型的性能，并利用fps来评价网络模型的检测速度，其中，fps(figure per second)为网络模型每秒能够检测的图片数量。性能指标分数通过如下公式计算获得：
其中，F1为性能指标分数，Precision为准确率，Recall为召回率。
具体的，算法性能对比如表1所示。
表1缺陷辨识算法性能对比表
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例提供了利用图像融合网络把包裹相位数据和调制度图像进行特征融合，进而优化数据集的方法，使缺陷特征有更好的表征和解决数据较少的问题。
2)本发明实施例采用相移条纹反射的方法获取包裹相位图，并基于富含语义信息的包裹相位图，提出一种更适合微小缺陷检测任务的主干网络，加强了网络对缺陷特征的捕捉能力。
3)本发明实施例利用融合图像的神经网络结构对反光表面进行完整的缺陷检测，与目前基于深度学习的目标检测方法相比，更适用于反光表面的缺陷检测。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种反光表面缺陷检测方法，其特征在于，该方法包括：
监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
对所述中间融合图通过数据增强处理，生成训练图像；
对所述训练图像进行目标网络的训练，生成目标检测模型；
根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
2.如权利要求1所述的一种反光表面缺陷检测方法，其特征在于，监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅，具体包括：
监测计算机向LCD显示屏发出控制命令；
使用LCD显示屏依次产生4幅光栅条纹光源，其中，所述4幅光栅条纹光源分别为第一条纹光源、第二条纹光源、第三条纹光源和第四条纹光源；
所述4幅光栅条纹光源投射至待检测物体表面；
通过所述相机拍摄所述待检测物体表面，依次生成所述4幅条纹图像，其中，所述4幅条纹图像具体包括第一条纹图像、第二条纹图像、第三条纹图像和第四条纹图像；
将所述4幅条纹图像由所述相机发送至监测计算机。
3.如权利要求2所述的一种反光表面缺陷检测方法，其特征在于，所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式，具体包括：
在所述4幅条纹图像中确定对应的所述平面坐标系，其中，所述平面坐标系包括第一坐标系、第二坐标系、第三坐标系和第四坐标系；
在所述第一坐标系内，提取所述第一条纹图像的背景光强、条纹对比度和相位值，并利用第一计算公式将所述第一条纹图像表示为所述第一合成光强的形式；
在所述第二坐标系内，提取所述第二条纹图像的背景光强、条纹对比度和相位值，并利用第二计算公式将所述第二条纹图像表示为所述第二合成光强的形式；
在所述第三坐标系内，提取所述第三条纹图像的背景光强、条纹对比度和相位值，并利用第三计算公式将所述第三条纹图像表示为所述第三合成光强的形式；
在所述第四坐标系内，提取所述第四条纹图像的背景光强、条纹对比度和相位值，并利用第四计算公式将所述第四条纹图像表示为所述第四合成光强的形式；
所述第一计算公式为：
其中，I1为所述第一合成光强，a1(x1，y1)为所述第一条纹图像的背景光强，b1(x1，y1)为所述第一条纹图像的条纹对比度，
为所述第一条纹图像的相位值，x1为所述第一坐标系内的横坐标值，y1为所述第一坐标系内的纵坐标值；
所述第二计算公式为：
其中，I2为所述第二合成光强，a2(x2，y2)为所述第二条纹图像的背景光强，b2(x2，y2)为所述第二条纹图像的条纹对比度，
为所述第二条纹图像的相位值，x2为所述第二坐标系内的横坐标值，y2为所述第二坐标系内的纵坐标值；
所述第三计算公式为：
其中，I3为所述第三合成光强，a3(x3，y3)为所述第三条纹图像的背景光强，b3(x3，y3)为所述第三条纹图像的条纹对比度，
为所述第三条纹图像的相位值，x3为所述第三坐标系内的横坐标值，y3为所述第三坐标系内的纵坐标值；
所述第四计算公式为：
其中，I4为所述第四合成光强，a4(x4，y4)为所述第四条纹图像的背景光强，b4(x4，y4)为所述第四条纹图像的条纹对比度，
为所述第四条纹图像的相位值，x4为所述第四坐标系内的横坐标值，y4为所述第四坐标系内的纵坐标值。
4.如权利要求1所述的一种反光表面缺陷检测方法，其特征在于，所述获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图，具体包括：
获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强；
利用第五计算公式计算获得所述包裹相位图；
利用第六计算公式计算所述调制度图；
所述第五计算公式为：
其中，
为所述包裹相位图中一个点的包裹相位，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强；
所述第六计算公式为：
其中，M为所述调制度图中一个点的调制度，I1为所述第一合成光强，I2为所述第二合成光强，I3为所述第三合成光强，I4为所述第四合成光强。
5.如权利要求1所述的一种反光表面缺陷检测方法，其特征在于，所述图像融合网络，具体包括：编码层、融合层和解码层；
所述编码层用于提取深度特征；
所述编码层结构依次包括第一图卷积层、稠密块；
所述融合层用于融合所述深度特征；
所述解码层用于根据融合后的所述深度特征进行重新构建融合图像；
所述解码层依次包括第二图卷积层、第三图卷积层、第四图卷积层、第五图卷积层；
所述第一图卷积层、所述第二图卷积层、所述第三图卷积层、所述第四图卷积层和所述第五图卷积层的空间卷积核大小设置为3×3。
6.如权利要求1所述的一种反光表面缺陷检测方法，其特征在于，所述数据增强处理，具体包括：水平上下翻转、旋转、滤波、去噪、以预设的概率随机增加高斯噪声，并对图像上的缺陷类型进行标注。
7.如权利要求1所述的一种反光表面缺陷检测方法，其特征在于，所述目标网络，具体包括：头部阶段、第二阶段、第三阶段、第四阶段和第五阶段；
所述头部阶段包括第六图卷积层、第七图卷积层和第八图卷积层；
所述第六图卷积层的空间卷积核大小设置为3×3；
所述第六图卷积层的输入通道数为64；
所述第六图卷积层的卷积步长为2；
所述第七图卷积层的空间卷积核大小设置为3×3；
所述第七图卷积层的输入通道数为64；
所述第七图卷积层的卷积步长为1；
所述第八图卷积层的空间卷积核大小设置为3×3；
所述第八图卷积层的输入通道数为128；
所述第八图卷积层的卷积步长为1；
所述第二阶段包括1个基础模块；
所述第三阶段包括1个所述基础模块；
所述第四阶段包括4个所述基础模块；
所述第五阶段包括3个所述基础模块。
8.如权利要求7所述的一种反光表面缺陷检测方法，其特征在于，所述基础模块，具体包括：第九图卷积层、第十图卷积层、第十一图卷积层、第十二图卷积层、第十三图卷积层、第十四图卷积层、第十五图卷积层、第十六图卷积层、第一全连接层、第二全连接层；
所述第九图卷积层、所述第十图卷积层、所述第十一图卷积层、所述第十二图卷积层、所述第十三图卷积层、所述第十四图卷积层的空间卷积核大小均设置为3×3；
所述第十五图卷积层、所述第十六图卷积层的空间卷积核大小均设置为1×1。
9.一种反光表面缺陷检测系统，其特征在于，该系统包括：
监测控制子系统，用于监测计算机向LCD显示屏发出控制命令，在待测物体表面生成4幅条纹图像，并通过相机采集经过所述待测物体表面反射生成的所述4幅条纹图像，并将所述4幅条纹图像发送至所述监测计算机，其中，所述4幅条纹图像为相位步长差为π/2的标准正弦条纹光栅；
相移子系统，用于所述监测计算机根据所述4幅条纹图像，自动识别像素点，在对应平面坐标系下将所述4幅条纹图像分别表示为第一合成光强、第二合成光强、第三合成光强和第四合成光强的形式；
包裹与调制图像子系统，用于获取所述第一合成光强、所述第二合成光强、所述第三合成光强、所述第四合成光强，计算包裹相位图和调制度图；
图像融合子系统，用于通过图像融合网络将所述包裹相位图和所述调制度图融合为中间融合图；
数据增强子系统，用于对所述中间融合图通过数据增强处理，生成训练图像；
目标检测网络，用于对所述训练图像进行目标网络的训练，生成目标检测模型；
性能评价子系统，用于根据所述目标检测模型计算准确度、召回率和性能指标分数，判断所述目标检测模型的评价性能。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8任一项所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110409731.1A CN113192013A (zh) | 2021-04-16 | 2021-04-16 | 一种反光表面缺陷检测方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110409731.1A CN113192013A (zh) | 2021-04-16 | 2021-04-16 | 一种反光表面缺陷检测方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113192013A true CN113192013A (zh) | 2021-07-30 |
Family
ID=76977046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110409731.1A Pending CN113192013A (zh) | 2021-04-16 | 2021-04-16 | 一种反光表面缺陷检测方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192013A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115791806A (zh) * | 2022-12-27 | 2023-03-14 | 浙江大学 | 一种用于汽车漆面缺陷的检测成像方法、电子设备、介质 |
| CN116402819A (zh) * | 2023-06-08 | 2023-07-07 | 季华实验室 | 类镜面缺陷检测方法、装置、电子设备及存储介质 |
| CN116559179A (zh) * | 2023-07-06 | 2023-08-08 | 海伯森技术（深圳）有限公司 | 一种反光表面形貌与缺陷检测方法及其系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110031482A (zh) * | 2019-05-05 | 2019-07-19 | 苏州天准科技股份有限公司 | 一种基于反射式结构光照明的玻璃瑕疵检测方法 |
| CN112116576A (zh) * | 2020-09-20 | 2020-12-22 | 中国人民解放军空军工程大学 | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 |
| CN112505057A (zh) * | 2020-12-08 | 2021-03-16 | 广西师范大学 | 一种滚动面缺陷检测系统和方法 |
-
2021
- 2021-04-16 CN CN202110409731.1A patent/CN113192013A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110031482A (zh) * | 2019-05-05 | 2019-07-19 | 苏州天准科技股份有限公司 | 一种基于反射式结构光照明的玻璃瑕疵检测方法 |
| CN112116576A (zh) * | 2020-09-20 | 2020-12-22 | 中国人民解放军空军工程大学 | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 |
| CN112505057A (zh) * | 2020-12-08 | 2021-03-16 | 广西师范大学 | 一种滚动面缺陷检测系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| 钟建平: "类镜面物体的三维重建关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 黄易杨: "相位测量偏折术关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115791806A (zh) * | 2022-12-27 | 2023-03-14 | 浙江大学 | 一种用于汽车漆面缺陷的检测成像方法、电子设备、介质 |
| CN115791806B (zh) * | 2022-12-27 | 2024-04-05 | 浙江大学 | 一种用于汽车漆面缺陷的检测成像方法、电子设备、介质 |
| CN116402819A (zh) * | 2023-06-08 | 2023-07-07 | 季华实验室 | 类镜面缺陷检测方法、装置、电子设备及存储介质 |
| CN116402819B (zh) * | 2023-06-08 | 2023-09-12 | 季华实验室 | 类镜面缺陷检测方法、装置、电子设备及存储介质 |
| CN116559179A (zh) * | 2023-07-06 | 2023-08-08 | 海伯森技术（深圳）有限公司 | 一种反光表面形貌与缺陷检测方法及其系统 |
| CN116559179B (zh) * | 2023-07-06 | 2023-09-12 | 海伯森技术（深圳）有限公司 | 一种反光表面形貌与缺陷检测方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Deng et al. | Automatic indoor construction process monitoring for tiles based on BIM and computer vision | |
| CN113192013A (zh) | 一种反光表面缺陷检测方法、系统及电子设备 | |
| Zhu et al. | Concrete column recognition in images and videos | |
| CN105426530B (zh) | 一种商标检索方法、装置和系统 | |
| Kang et al. | Learning efficient illumination multiplexing for joint capture of reflectance and shape. | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN110378900A (zh) | 产品缺陷的检测方法、装置及系统 | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| Wu et al. | Object recognition in construction-site images using 3D CAD-based filtering | |
| CN105574161B (zh) | 一种商标图形要素识别方法、装置和系统 | |
| O’Byrne et al. | An underwater lighting and turbidity image repository for analysing the performance of image-based non-destructive techniques | |
| CN103196917A (zh) | 基于ccd线阵相机的在线卷板材表面瑕疵检测系统及其检测方法 | |
| CN111444964B (zh) | 一种基于自适应roi划分的多目标快速图像匹配方法 | |
| CN110288612B (zh) | 铭牌定位与校正方法及设备 | |
| CN113538603B (zh) | 一种基于阵列产品的光学检测方法、系统和可读存储介质 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| US20220092856A1 (en) | Crack detection, assessment and visualization using deep learning with 3d mesh model | |
| CN116777877A (zh) | 电路板缺陷检测方法、装置、计算机设备及存储介质 | |
| CN112102253A (zh) | 基于机器视觉的无纺布表面缺陷自动化检测方法及系统 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN114078127A (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| Stent et al. | Precise deterministic change detection for smooth surfaces | |
| CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、系统 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| Li et al. | Automated bridge crack detection based on improving encoder–decoder network and strip pooling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |