CN113155851A - 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 - Google Patents
基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 Download PDFInfo
- Publication number
- CN113155851A CN113155851A CN202110481235.7A CN202110481235A CN113155851A CN 113155851 A CN113155851 A CN 113155851A CN 202110481235 A CN202110481235 A CN 202110481235A CN 113155851 A CN113155851 A CN 113155851A
- Authority
- CN
- China
- Prior art keywords
- copper
- defect
- clad plate
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 242
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002950 deficient Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000008439 repair process Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 38
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 23
- 229910052802 copper Inorganic materials 0.000 claims description 23
- 239000010949 copper Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004904 shortening Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007373 indentation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010010957 Copper deficiency Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Textile Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明一种基于深度学习的覆铜板表面缺陷视觉在线检测方法，通过线阵扫描相机，对传送带上匀速通过的覆铜板逐行连续扫描完成图像采集，得到完整清晰的覆铜板图像；对采集到的覆铜板图像进行缺陷检测，如果检测到缺陷，则将其标记为缺陷覆铜板并报警，同时截取覆铜板中的缺陷图像；对于缺陷图像，采用深度神经网络学习的方法，搭建TensorFlow框架进行缺陷分类，对不同类别的缺陷加以区分并给出针对性的修复方案；将缺陷检测和缺陷分类的结果显示在显示屏上，方便现场工作人员及时查看覆铜板的实时状态，并做后续处理。本发明还提供了相应的装置，可解决目前的覆铜板缺陷分类系统对人工和设备依赖性强、准确率低、用时长的问题。
Description
技术领域
本发明属于表面缺陷检测技术领域，特别涉及一种基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置。
背景技术
覆铜板是印制电路板制造中的基板材料，随着科技水平的不断提高和电子信息、通讯业的发展，覆铜板在电子信息产业中的地位就显得越来越重要，几乎涉及了所有电子信息产品。而在覆铜板的生产过程中，常常因为生产环境、制作工业等因素，致使覆铜板表面出现不同类型的缺陷，而直接影响它的质量安全和使用性能。而对覆铜板表面的缺陷进行分类，从而根据分类结果对不同的缺陷进行对应的修复成为工业上的难点，也是研究重点。
覆铜板的缺陷检测及分类是制造过程中的重要环节。传统的人工目测检测存在人工成本高、检测效率低、主观性强、存在局限性等问题，对产品质量提高造成了一定不利的影响。而近年来大火的机器学习方法虽在缺陷分类问题取得了不错成效，但由于不同目标识别任务差别较大，往往一个算法模型很难直接迁移到另一个任务上，需要设计新的算法完成新的检测任务，任务量很大，人工提取特征的方法没办法满足不同任务的需求。基于深度学习的缺陷分类方法，在给定大量的输入图像的前提下，由机器学习算法自动提取出图像的特征，并将特征提取融入到模型建立的过程中，从而减少人工提取特征造成的不完备性，使用深度学习的方法来解决图像的分类问题已经成为学者们的研究热点。基于深度学习的缺陷分类因检测分类速度快、结果稳定、人工成本低，广泛地应用于缺陷检测领域。
专利“一种基于在线序列极限学习机的覆铜板带表面缺陷检测方法，申请号201310478213.0”使用主成分分析法对覆铜板带表面缺陷特征进行降维处理，再设计基于在线序列极限学习机的分类器进行缺陷分类处理，但这种方法需要手动提取特征，工作量较大且移植性不够好，不适用于新增缺陷类别或者变动的数据集。专利“一种印刷电路板生产质量检测方法，申请号202010201080.2”，提出了一整套电路板生产质量检测办法，但表面缺陷检测使用目视表面缺陷检测和扫描仪表面缺陷检测的方法，需要较高的人工成本和机器成本。
通过上述专利分析，发现现有的发明在使用进行表面缺陷检测时，对于人工和设备有较强的依赖，导致检测成本高精度低。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置，以解决目前的覆铜板缺陷分类系统对人工和设备依赖性强、准确率低、用时长的问题。
为了实现上述目的，本发明采用的技术方案是：
一种基于深度学习的覆铜板表面缺陷视觉在线检测方法，包括如下步骤：
步骤1：通过线阵扫描相机，对传送带上匀速通过的覆铜板进行逐行连续扫描完成图像采集，得到完整清晰的覆铜板图像；
步骤2：对采集到的覆铜板图像进行缺陷检测，如果未检测到缺陷，则标记为正常覆铜板，继续下一工序；如果检测到缺陷，则将其标记为缺陷覆铜板并报警，同时截取覆铜板中的缺陷图像；
步骤3：对于缺陷图像，采用深度神经网络学习的方法，搭建TensorFlow框架进行缺陷分类，对不同类别的缺陷加以区分并给出针对性的修复方案；
步骤4：将缺陷检测和缺陷分类的结果显示在显示屏上，方便现场工作人员及时查看覆铜板的实时状态，并做后续处理。
进一步地，所述步骤2中，对于采集到的覆铜板图像，缺陷检测的方法如下：
步骤2.1，绘制整张图像的灰度图，通过灰度阈值分割的方法确定覆铜板的四个顶点，并画出外接矩形确定覆铜板位置；
步骤2.2，将覆铜板图像等分成600个大小相同的检测区，通过位置计算的方法区别版面点和背景点，背景点不参与后续的缺陷检测与缺陷分类；
步骤2.3，对于版面点，通过灰度阈值分割的方法确定缺陷点的位置；
步骤2.4，在确定缺陷点位置后，切割缺陷点的外接矩形，得到缺陷图像。因为缺陷分类前会将缺陷图像统一尺寸，而覆铜板上缺陷的大小形状对于缺陷类别的判定有很重要的影响，为了避免拉伸变换使缺陷变形而影响缺陷分类的结果，缺陷点的外接矩形需要为相同大小，从而得到大小完全相同的缺陷图像。
步骤2.5，将缺陷覆铜板的缺陷图像进行标号，并依次对缺陷图像进行缺陷分类操作。
进一步地，所述步骤2.2中，将覆铜板图像横向平均分成20份，纵向平均分成30份，得到600个大小相同的检测区，检测区内覆铜板上的像素点为版面点，而相机拍摄到的不是覆铜板上的像素点为背景点。已知覆铜板四个顶点的坐标，可以求得覆铜板四条边的直线方程，计算每个像素点与直线的位置关系，在直线外的像素点为背景点，反之是版面点。由于每个小区域亮度不同，无法确定统一的阈值，因此选择每个检测区内部的平均灰度值作为阈值，大于该阈值的像素点为缺陷点，从而得到检测区内缺陷点的位置，最后，所述步骤2.4中，切割缺陷点的128*128的外接矩形，得到若干大小相同的缺陷图像。
进一步地，所述步骤2.5中，将缺陷图像的地址和标号信息存储到队列中，用socket端口将图像地址和标号信息发送到工控机，通过软件算法依次进行缺陷分类操作，为了将不同的缺陷覆铜板加以区分，不同的缺陷覆铜板图像分批次发送，对同一批次的覆铜板缺陷图像进行粘包处理，数据包尾用“END”间隔。
进一步地，所述步骤3中，缺陷分类的方法如下：
步骤3.1，数据预处理
将训练库中的覆铜板图像按比例缩放成尺寸相同的图像；
步骤3.2：模型训练
模型开发框架选择TensorFlow框架，深度学习模型选择带有短连接残差网络的ResNet模型，激活函数选择ReLU，损失函数选择categorical_crossentropy交叉熵损失函数，在GPU上进行模型训练；
步骤3.3：在线检测
通过socket与上位机进行通信，接收线阵扫描相机现场采集的覆铜板图像，对于缺陷覆铜板上截取的缺陷图像，用训练好的模型进行缺陷分类。
进一步地，所述训练库中的覆铜板图像是实际生产中收集并分类的覆铜板缺陷图像，共有250138张图像，包含19种不同种类的缺陷，包括划痕、氧化油污、异物缺铜、切边等，不同的缺陷存在大小、形状的差异。
通过图像旋转、左右上下平移、随机放大缩小、随机翻转中的一种或者多种操作，进行数据增强处理，扩大训练数据集，提高模型的鲁棒性；
所述ResNet模型的层数选择18，并使用GPU以加快模型训练的时间，训练过程中，不断调整模型参数，提高缺陷分类准确率；
所述步骤3.3中，通过socket分批接收缺陷图像，同一批次的缺陷图像来自同一个缺陷覆铜板，通过包尾的“END”将数据包分包，依次对每个缺陷覆铜板的每张缺陷图像进行缺陷分类。
进一步地，所述步骤3.2中，模型训练后，将模型训练结果和中间数据存储在h5文件中，以便在线测试使用，所述步骤3.3中首先预加载h5文件中的模型数据，得到完整的ResNet模型，对于每一张缺陷图像调用模型进行缺陷分类，并将分类结果通过socket返回给上位机。
进一步地，所述步骤3中，缺陷分类使用分布式系统同步作业，并且使用线程池自由创建一定数量的新线程，用于处理更多的请求，主线程将所有待处理子任务放置在队列中，子线程从队列中获取子任务去处理，使用队列保证消息序列的有序性。
进一步地，所述步骤4中，显示屏在线实时显示线阵扫描相机获取的覆铜板的原图像，并在缺陷覆铜板的对应缺陷位置处显示缺陷类别。
本发明还提供了一种基于深度学习的覆铜板表面缺陷视觉在线检测装置，包括：
图像采集模块，包括设置在覆铜板传送设备上方以采集覆铜板图像的线阵扫描相机；
图像处理模块，包括工控机，接收采集的覆铜板图像，对其进行缺陷检测，在检测到缺陷时进行标记，并截取缺陷图像，调用基于深度神经网络和TensorFlow框架搭建的模型进行缺陷分类检测；
图像显示模块，包括显示器，实时显示缺陷检测结果。
与现有技术相比，本发明的有益效果是：
(1)本发明使用CCD线阵扫描相机替代传统的面阵相机。在工业使用中，需要连续高速高精度获取覆铜板图像，而传送带搭配线阵扫描相机，可以在覆铜板匀速运动过程中，对其逐行连续扫描，以达到对其整个表面均匀检测。并且，传感器的高分辨率也保证了采集的源图像的质量，有利于后续的图像处理。
(2)本发明使用深度学习算法进行覆铜板的缺陷分类。相比于传统的机器学习算法，深度学习让计算机自动学习出模式特征，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性，更加适用于解决复杂的分类问题，增强了模型的可移植性。在模型选择上，考虑模型训练时间和训练准确率的平衡，通过理论验证和实验测试的方法，ResNet18模型表现最佳。
(3)本发明使用线程池和队列的组合提高检测效率，满足工业生产在线测试的时间要求，使每张图像的检测时间达到5ms以内。
(4)本发明通过与上位机的通讯，将缺陷分类的结果在计算机屏幕显示，现场工作人员可以实时查看覆铜板的情况，是否是缺陷覆铜板，覆铜板上的缺陷种类以及对应的具体位置，并做出相应的应变处理。
(5)本发明的图像采集、缺陷检测、缺陷分类、效率提升、在线显示流程，可以适用于其他的工业材料的检测。
(6)本发明使用的深度学习算法对于工件缺陷分类准确率可以达到96％，该模型有较强的可移植性，可以应用于其他工件的缺陷分类中。
附图说明
图1是覆铜板在线缺陷检测装置图。
图2是覆铜板在线缺陷检测与分类流程图。
图3是不同种类的缺陷覆铜板示例图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
图1示出了本发明覆铜板表面缺陷视觉在线检测装置的结构，主要由光电传感器2、线光源1、线阵扫描相机9、工控机4、显示器10等构成。覆铜板传送设备7由若干个匀速运动的滚轮组成，负责将覆铜板8匀速平稳地传送；线光源1、线阵扫描相机9安装在覆铜板传送设备7中间正上方，当覆铜板8通过时，光电传感器2检测到覆铜板8通过，通过线阵扫描相机9获取覆铜板8的图像数据，而线光源1可以提供足够的光照，保证线阵扫描相机9拍摄到明亮清晰的图像；工控机4装有Windows系统，可以接收采集到的覆铜板图像，通过软件算法进行缺陷检测，在检测到缺陷时进行标记，获取缺陷位置，并进行缺陷分类，并截取缺陷图像，调用基于深度神经网络和TensorFlow框架搭建的模型进行缺陷分类检测，最后通过上方的显示器10在线实时显示缺陷检测结果。线光源1可由工控机4通过光源控制器3控制，光电传感器2可由工控机4通过控制器5控制。AC/DC滤波器6将交流电变为直流电，供设备使用。
从功能角度，上述装置包括图像采集、图像处理和图像显示三个模块，图像采集模块包括光电传感器2、线光源1、线阵扫描相机9；图像处理模块主要为工控机4，图像显示模块主要为显示器10。
图2示出了本发明覆铜板表面缺陷视觉在线检测方法的流程，包括如下步骤：
步骤1：通过高分辨率的线阵扫描相机9，对覆铜板传送设备7传送带上匀速通过的覆铜板8进行逐行连续扫描完成图像采集，得到完整清晰的覆铜板图像。
步骤2：对采集到的覆铜板图像进行缺陷检测，图3中的(1)～(19)分别示出了D、RD、DCU、皱纹CF、划痕、氧化油污、异物缺铜、切边、压凹、密凹、小凹、褶皱、粉尘、光点、光尾黑、头尾白、撞板、轻擦花以及标识共计19类缺陷类型。如果未检测到缺陷，则标记为正常覆铜板，继续进行尺寸检测等下一工序；如果检测到缺陷，则将其标记为缺陷覆铜板并报警，同时截取覆铜板中的缺陷图像，进入步骤3。
步骤3：对于缺陷图像，为了对不同类别的缺陷加以区分，采用深度神经网络学习的方法，搭建TensorFlow框架进行缺陷分类，对不同类别的缺陷加以区分并给出针对性的修复方案；为提高覆铜板在线缺陷分类的速度，可使用分布式系统同步作业，并且使用线程池自由创建一定数量的新线程，用于处理更多的请求，使用队列保证消息序列的有序性。
步骤4：将缺陷检测和缺陷分类的结果显示在显示器10的显示屏上，方便现场工作人员及时查看覆铜板的实时状态，并做后续处理。
下面结合上述的三个模块以及流程对本发明做出详细说明。
1、图像采集模块
实际生产过程中，覆铜板8批量依次通过操作台上的覆铜板传送设备7，光电传感器2放置在线光源1前方的滚筒间隙内，末端离覆铜板8的距离为1～2cm，光电传感器2连接下方的控制器5，控制器串口最终连接到工控机4。当光电传感器2检测到覆铜板8即将通过时，提示工控机4启动图像采集。线光源1将光均匀照射到覆铜板8上，线阵扫描相机9接收到覆铜板8的反射光，对通过的覆铜板8逐行扫描得到条状图像，最后对得到的条状图像进行拼接，从而得到完整的覆铜板图像，并将采集到的图像储存到工控机4中。
线阵扫描相机相9比于面阵相机，更适用于传送带上细长的覆铜板图像的采集，且分辨率较高，为后续的缺陷检测和缺陷分类提供更好的源图像。
2、图像处理模块
该模块实时对图像采集模块采集到的覆铜板图像进行处理，主要包括缺陷检测和缺陷分类两部分。
(1)缺陷检测
利用线阵扫描相机9，得到同样大小(例如1096*1080)的覆铜板图像若干，但覆铜板图像周围存在背景图并且覆铜板可能存在偏移的情况，因此需要在覆铜板图像中找到覆铜板所在位置并进行切割，方便后续的缺陷检测。
首先，绘制整张图像的灰度图，通过灰度阈值分割的办法找到覆铜板的四个顶点，并画出覆铜板的外接矩形，确定覆铜板的位置。
其次，为找到缺陷位置，本实施例中，先将覆铜板图像进行切割，横向等分成20份，纵向等分成30份，切割成600个大小相同的检测区，通过位置计算的方法区别版面点和背景点，背景点不参与后续的缺陷检测与缺陷分类。其中，检测区内覆铜板上的像素点为版面点，而相机拍摄到的不是覆铜板上的像素点为背景点。已知覆铜板四个顶点的坐标，可以求得覆铜板四条边的直线方程，计算每个像素点与直线的位置关系，在直线外的像素点为背景点，反之是版面点。
然后，对于版面点，通过灰度阈值分割的方法确定缺陷点的位置。由于每个小区域亮度不同，无法确定统一的阈值，因此选择每个检测区内部的平均灰度值作为阈值，大于该阈值的像素点为缺陷点，从而得到检测区内缺陷点的位置。
接着，在确定缺陷点位置后，切割缺陷点的外接矩形，得到若干大小相同的缺陷图像，继续缺陷分类的操作。因为覆铜板上缺陷的大小深度形状对于缺陷类别的判定有很重要的影响，为了避免缺陷分类时拉伸使缺陷变形影响结果，需要固定缺陷图像的大小，并保持大小统一。如果缺陷图像过小，那么对于较小的缺陷，可能因为图像中信息不足无法判断缺陷类别。如果缺陷图像过大，可能导致缺陷分类过程中训练时间过长。在通过实验对比不同尺寸的缺陷矩阵效果后，确定缺陷矩阵大小为128*128。
最后，将缺陷覆铜板的缺陷图像进行标号，并依次对缺陷图像进行缺陷分类操作。具体地，可将缺陷图像的地址和标号信息存储到队列中，用socket端口将图像地址和标号信息发送到工控机，通过软件算法依次进行缺陷分类操作，为了将不同的缺陷覆铜板加以区分，不同的缺陷覆铜板图像分批次发送，对同一批次的覆铜板缺陷图像进行粘包处理，数据包尾用“END”间隔。
(2)缺陷分类
对于缺陷覆铜板，应用深度学习算法，对缺陷图像进行分类，其中缺陷分类算法的具体使用过程如下：
步骤一：数据预处理。
首先，准备训练数据时要尽量多，理论上训练数据越多，训练模型结果越好。并且不同类别的缺陷图像数量应尽量一致，缺陷非常相似的类别应区分清楚，避免掺杂，影响分类结果，并且训练库中的覆铜板图像应按比例缩放成尺寸相同的图像。其次，为了扩大训练数据集，进行数据增强处理，将部分源图像随机进行图像旋转、左右上下平移、随机放大缩小、随机翻转等操作，提高模型的鲁棒性。
本实施例中，训练库中的覆铜板图像是实际生产中收集并分类的覆铜板缺陷图像，共有250138张图像，包含19种不同种类的缺陷，包括划痕、氧化油污、异物缺铜、切边等，不同的缺陷存在大小、形状的差异。
步骤二：模型训练。
首先，模型开发框架选择TensorFlow框架。因为在训练过程的可视化方面，TensorFlow自带的TensorBoard可以增强模型的可诊断性，跟踪训练过程以及实现更方便的调试。并且TensorFlow框架更成熟，更加适用于工业上的使用。
其次，深度学习模型选择带有短连接残差网络的ResNet模型。在对比目前分类效果较好的几种深度学习模型后，发现虽然层数较少的VGG网络模型结果较好，但该模型参数数量过多，计算量较大，训练时间过长，并且随着网络越来深，网络连接会变得臃肿，存在网络退化的问题。而ResNet模型采用了残差跳跃式结构，打破了传统的神经网络n-1层的输出只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，不仅使神经网络的层数可以超越之前的约束，也降低了计算量和参数数目，减少了计算量，其拟合高维函数的能力比普通连接的网络更强，这有助于解决网络退化、梯度消失和梯度爆炸问题，在训练更深网络的同时，又能保证良好的性能。
然后，激活函数选择ReLU。对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中。而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。
最后，损失函数选择categorical_crossentropy交叉熵损失函数，用来评估实际输出(概率)与期望输出(概率)的距离，即当前训练得到的概率分布与真实分布的差异情况。公式如下：其中y为期望的输出，a为神经元实际输出。
求导可得：
可以看出，导数中没有σ′(z)这一项，权重得更新受σ(z)-y这一项影响，即受误差影响。当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这种损失函数更加适用于多分类问题，可以更快更准确的得到想要的结果。
本实施例中，ResNet模型的层数选择18，18层的ResNet模型在测试准确率上表现良好，且训练时间较短，选择ResNet18是在模型训练时间和训练准确率间做取舍的结果，为了加快模型训练的速度，模型训练在GPU上进行。将模型训练结果和中间数据存储在h5文件中，以便在线测试使用。训练过程中，不断调整epoch、batch size、learning rate等重要参数，使缺陷分类准确率达到最高。
表1是覆铜板在线缺陷检测与分类结果，缺陷分类平均加权准确率为96.15％。
表1覆铜板在线缺陷检测与分类结果。
步骤三：在线测试。
通过socket与上位机进行通信，分批接收线阵扫描相机现场采集的覆铜板图像，同一批次的缺陷图像来自同一个缺陷覆铜板，通过包尾的“END”将数据包分包，依次对每个缺陷覆铜板得每张缺陷图像进行缺陷分类。预加载h5文件中的模型数据，得到完整的ResNet模型，对于每一张缺陷图像调用模型进行缺陷分类，并将分类结果通过socket返回给上位机。
步骤四：加速处理。
为加快处理收到，缺陷分类可使用分布式系统同步作业，并且使用线程池自由创建一定数量的新线程，用于处理更多的请求。
具体地，应用分布式系统建立一对多网络，上位机将所有任务进行编号并分为3等份，同时发送给3个GPU工作，最后将处理结果和编号进行总结并返回结果。并且在每个GPU上，使用线程池和队列的方法，提高图像处理时间。在实际工业中，在线检测系统对于每张图像的处理时间要求较高，一般在5ms以内。线程池是预先创建线程的一种技术。线程池在还没有任务到来之前，创建一定数量的线程，放入空闲队列中，注意多线程最大设置数量应该为系统中的CPU数量os.cpu_count()的五倍。这些线程都是处于睡眠状态，即均为启动，不消耗CPU，而只是占用较小的内存空间。当请求到来之后，缓冲池给这次请求分配一个空闲线程，把请求传入此线程中运行，进行处理。当预先创建的线程都处于运行状态，即预制线程不够，线程池可以自由创建一定数量的新线程，用于处理更多的请求。当系统比较闲的时候，也可以通过移除一部分一直处于停用状态的线程。同时，使用消息队列完成不同线程间的通信，可用于线程间传递子任务。主程序将实时待处理的子任务存放到消息队列中，每当有空闲的子线程，便可以从消息队列中获取任务进行处理。使用Queue实现一个任务队列，用于在线程间传递子任务。主线程将所有待处理子任务放置在队列中，子线程从队列中获取子任务去处理，使用队列保证消息序列的有序性。通过线程池和队列的搭配，实现缺陷分类的优化加速。
3、图像显示模块
该模块对图像处理模块的处理结果进行显示。为了方便现场工作人员及时查看覆铜板的实时状态，显示器10与工控机4连接，除了可以在线实时显示线阵扫描相机获取的覆铜板的原图像外，还会在缺陷覆铜板的对应缺陷位置处清晰的显示缺陷类别，方便工作人员做后续对应的修复处理。
本发明应用于覆铜板表面缺陷视觉在线检测之上，检测速度快、精度高、一致性强，且不损伤被检测覆铜板表面，可以有效替代甚至超越人工缺陷检测。
以上所述的本发明优选实施例，并非对本发明的范围进行限定。任何对上述实施例的技术解决方案进行的改进，或者对部分技术特征进行的替换，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，包括如下步骤：
步骤1：通过线阵扫描相机，对传送带上匀速通过的覆铜板进行逐行连续扫描完成图像采集，得到完整清晰的覆铜板图像；
步骤2：对采集到的覆铜板图像进行缺陷检测，如果未检测到缺陷，则标记为正常覆铜板，继续下一工序；如果检测到缺陷，则将其标记为缺陷覆铜板并报警，同时截取覆铜板中的缺陷图像；
步骤3：对于缺陷图像，采用深度神经网络学习的方法，搭建TensorFlow框架进行缺陷分类，对不同类别的缺陷加以区分并给出针对性的修复方案；
步骤4：将缺陷检测和缺陷分类的结果显示在显示屏上，方便现场工作人员及时查看覆铜板的实时状态，并做后续处理。
2.根据权利要求1所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤2中，对于采集到的覆铜板图像，缺陷检测的方法如下：
步骤2.1，绘制整张图像的灰度图，通过灰度阈值分割的方法确定覆铜板的四个顶点，并画出外接矩形确定覆铜板位置；
步骤2.2，将覆铜板图像等分成600个大小相同的检测区，通过位置计算的方法区别版面点和背景点，背景点不参与后续的缺陷检测与缺陷分类；
步骤2.3，对于版面点，通过灰度阈值分割的方法确定缺陷点的位置；
步骤2.4，在确定缺陷点位置后，切割缺陷点的外接矩形，得到缺陷图像；
步骤2.5，将缺陷覆铜板的缺陷图像进行标号，并依次对缺陷图像进行缺陷分类操作。
3.根据权利要求2所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤2.2中，检测区内覆铜板上的像素点为版面点，选择每个检测区内部的平均灰度值作为阈值，大于该阈值的像素点为缺陷点，从而得到检测区内缺陷点的位置，所述步骤2.4中，切割缺陷点的128*128的外接矩形，得到若干大小相同的缺陷图像。
4.根据权利要求2所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤2.5中，将缺陷图像的地址和标号信息存储到队列中，用socket端口将图像地址和标号信息发送到工控机，依次进行缺陷分类操作，不同的缺陷覆铜板图像分批次发送，对同一批次的覆铜板缺陷图像进行粘包处理，数据包尾用“END”间隔。
5.根据权利要求1所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤3中，缺陷分类的方法如下：
步骤3.1，数据预处理
将训练库中的覆铜板图像按比例缩放成尺寸相同的图像；
步骤3.2：模型训练
模型开发框架选择TensorFlow框架，深度学习模型选择带有短连接残差网络的ResNet模型，激活函数选择ReLU，损失函数选择categorical_crossentropy交叉熵损失函数，在GPU上进行模型训练；
步骤3.3：在线检测
通过socket与上位机进行通信，接收线阵扫描相机现场采集的覆铜板图像，对于缺陷覆铜板上截取的缺陷图像，用训练好的模型进行缺陷分类。
6.根据权利要求5所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述训练库中的覆铜板图像是实际生产中收集并分类的覆铜板缺陷图像，包含19种不同种类的缺陷，通过图像旋转、左右上下平移、随机放大缩小、随机翻转中的一种或者多种操作，进行数据增强处理，扩大训练数据集，提高模型的鲁棒性；
所述ResNet模型的层数选择18，并使用GPU以加快模型训练的时间，训练过程中，不断调整模型参数，提高缺陷分类准确率；
所述步骤3.3中，通过socket分批接收缺陷图像，同一批次的缺陷图像来自同一个缺陷覆铜板，通过包尾的“END”将数据包分包，依次对每个缺陷覆铜板的每张缺陷图像进行缺陷分类。
7.根据权利要求6所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤3.2中，模型训练后，将模型训练结果和中间数据存储在h5文件中，以便在线测试使用，所述步骤3.3中首先预加载h5文件中的模型数据，得到完整的ResNet模型，对于每一张缺陷图像调用模型进行缺陷分类，并将分类结果通过socket返回给上位机。
8.根据权利要求1或5或6或7所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤3中，缺陷分类使用分布式系统同步作业，并且使用线程池自由创建一定数量的新线程，用于处理更多的请求，主线程将所有待处理子任务放置在队列中，子线程从队列中获取子任务去处理，使用队列保证消息序列的有序性。
9.根据权利要求1所述基于深度学习的覆铜板表面缺陷视觉在线检测方法，其特征在于，所述步骤4中，显示屏在线实时显示线阵扫描相机获取的覆铜板的原图像，并在缺陷覆铜板的对应缺陷位置处显示缺陷类别。
10.基于深度学习的覆铜板表面缺陷视觉在线检测装置，其特征在于，包括：
图像采集模块，包括设置在覆铜板传送设备上方以采集覆铜板图像的线阵扫描相机；
图像处理模块，包括工控机，接收采集的覆铜板图像，对其进行缺陷检测，在检测到缺陷时进行标记，并截取缺陷图像，调用基于深度神经网络和TensorFlow框架搭建的模型进行缺陷分类检测；
图像显示模块，包括显示器，实时显示缺陷检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481235.7A CN113155851A (zh) | 2021-04-30 | 2021-04-30 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481235.7A CN113155851A (zh) | 2021-04-30 | 2021-04-30 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113155851A true CN113155851A (zh) | 2021-07-23 |
Family
ID=76872789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110481235.7A Pending CN113155851A (zh) | 2021-04-30 | 2021-04-30 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113155851A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706477A (zh) * | 2021-08-10 | 2021-11-26 | 南京旭锐软件科技有限公司 | 缺陷类别识别方法、装置、设备及介质 |
| CN113758932A (zh) * | 2021-09-07 | 2021-12-07 | 广东奥普特科技股份有限公司 | 一种基于深度学习的锂电池膈膜缺陷视觉系统 |
| CN113888506A (zh) * | 2021-09-30 | 2022-01-04 | 电子科技大学 | 基于深度分割网络的包覆药形状缺陷检测算法 |
| CN114235837A (zh) * | 2021-12-20 | 2022-03-25 | 重庆大学 | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 |
| CN114577816A (zh) * | 2022-01-18 | 2022-06-03 | 广州超音速自动化科技股份有限公司 | 一种氢燃料双极板检测方法 |
| CN114742828A (zh) * | 2022-06-09 | 2022-07-12 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
| WO2023134286A1 (zh) * | 2022-01-11 | 2023-07-20 | 三门三友科技股份有限公司 | 一种阴极铜在线质量自动检测分类方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202002894U (zh) * | 2011-01-10 | 2011-10-05 | 山东轻工业学院 | 基于机器视觉的快速在线纸病检测系统 |
| CN102902512A (zh) * | 2012-08-31 | 2013-01-30 | 浪潮电子信息产业股份有限公司 | 一种基于多线程编程及消息队列的多线程并行处理方法 |
| CN106708614A (zh) * | 2016-11-21 | 2017-05-24 | 桂林远望智能通信科技有限公司 | 多线程创建系统及方法、多线程处理系统及方法 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| CN206740668U (zh) * | 2017-06-01 | 2017-12-12 | 江苏双星彩塑新材料股份有限公司 | 一种薄膜缺陷在线检测设备 |
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN109615630A (zh) * | 2019-01-18 | 2019-04-12 | 东北大学 | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110751619A (zh) * | 2019-08-28 | 2020-02-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种绝缘子缺陷检测方法 |
| CN110766660A (zh) * | 2019-09-25 | 2020-02-07 | 上海众壹云计算科技有限公司 | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| CN111862025A (zh) * | 2020-07-14 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于深度学习的pcb缺陷自动检测方法 |
| CN111881987A (zh) * | 2020-07-31 | 2020-11-03 | 西安工业大学 | 基于深度学习的苹果病毒识别方法 |
| CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
| CN112330682A (zh) * | 2020-11-09 | 2021-02-05 | 重庆邮电大学 | 一种基于深度卷积神经网络的工业ct图像分割方法 |
| CN112700435A (zh) * | 2021-01-12 | 2021-04-23 | 华南理工大学 | 一种基于深度学习的墙体缺陷检测方法 |
-
2021
- 2021-04-30 CN CN202110481235.7A patent/CN113155851A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202002894U (zh) * | 2011-01-10 | 2011-10-05 | 山东轻工业学院 | 基于机器视觉的快速在线纸病检测系统 |
| CN102902512A (zh) * | 2012-08-31 | 2013-01-30 | 浪潮电子信息产业股份有限公司 | 一种基于多线程编程及消息队列的多线程并行处理方法 |
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN106708614A (zh) * | 2016-11-21 | 2017-05-24 | 桂林远望智能通信科技有限公司 | 多线程创建系统及方法、多线程处理系统及方法 |
| CN206740668U (zh) * | 2017-06-01 | 2017-12-12 | 江苏双星彩塑新材料股份有限公司 | 一种薄膜缺陷在线检测设备 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| CN109615630A (zh) * | 2019-01-18 | 2019-04-12 | 东北大学 | 基于图像处理技术的半连续铸造铝硅合金微观组织分析方法 |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN110751619A (zh) * | 2019-08-28 | 2020-02-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种绝缘子缺陷检测方法 |
| CN110674861A (zh) * | 2019-09-19 | 2020-01-10 | 国网山东省电力公司电力科学研究院 | 一种输变电巡检图像智能分析方法及装置 |
| CN110766660A (zh) * | 2019-09-25 | 2020-02-07 | 上海众壹云计算科技有限公司 | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| CN111862025A (zh) * | 2020-07-14 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于深度学习的pcb缺陷自动检测方法 |
| CN111881987A (zh) * | 2020-07-31 | 2020-11-03 | 西安工业大学 | 基于深度学习的苹果病毒识别方法 |
| CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
| CN112330682A (zh) * | 2020-11-09 | 2021-02-05 | 重庆邮电大学 | 一种基于深度卷积神经网络的工业ct图像分割方法 |
| CN112700435A (zh) * | 2021-01-12 | 2021-04-23 | 华南理工大学 | 一种基于深度学习的墙体缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| TING HE ET AL.: "Application of deep convolutional neural network on feature extraction and detection of wood defects", MEASUREMENT, vol. 152 * |
| XIAOQING ZHENG ET AL.: "A deep learning-based approach for the a utomated sur f ace inspec tion o f copper clad laminate images", APPLIED INTELLIGENCE, vol. 51 * |
| 汪鑫耘;赵卫东;: "卷积神经网络在指针缺陷检测系统中的应用", 兰州工业学院学报, no. 06 * |
| 蔡汉明;刘明;: "基于Inception-V3模型的金属板材表面缺陷检测系统", 轻工机械, no. 01 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706477A (zh) * | 2021-08-10 | 2021-11-26 | 南京旭锐软件科技有限公司 | 缺陷类别识别方法、装置、设备及介质 |
| CN113706477B (zh) * | 2021-08-10 | 2024-02-13 | 南京旭锐软件科技有限公司 | 缺陷类别识别方法、装置、设备及介质 |
| CN113758932A (zh) * | 2021-09-07 | 2021-12-07 | 广东奥普特科技股份有限公司 | 一种基于深度学习的锂电池膈膜缺陷视觉系统 |
| CN113758932B (zh) * | 2021-09-07 | 2022-11-25 | 广东奥普特科技股份有限公司 | 一种基于深度学习的锂电池膈膜缺陷视觉检测方法 |
| CN113888506A (zh) * | 2021-09-30 | 2022-01-04 | 电子科技大学 | 基于深度分割网络的包覆药形状缺陷检测算法 |
| CN113888506B (zh) * | 2021-09-30 | 2023-05-05 | 电子科技大学 | 基于深度分割网络的包覆药形状缺陷检测算法 |
| CN114235837A (zh) * | 2021-12-20 | 2022-03-25 | 重庆大学 | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 |
| WO2023134286A1 (zh) * | 2022-01-11 | 2023-07-20 | 三门三友科技股份有限公司 | 一种阴极铜在线质量自动检测分类方法 |
| CN114577816A (zh) * | 2022-01-18 | 2022-06-03 | 广州超音速自动化科技股份有限公司 | 一种氢燃料双极板检测方法 |
| CN114742828A (zh) * | 2022-06-09 | 2022-07-12 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
| CN114742828B (zh) * | 2022-06-09 | 2022-10-14 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件定损智能分析方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113155851A (zh) | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 | |
| CN111179225B (zh) | 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法 | |
| CN106952250B (zh) | 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置 | |
| CN107643295A (zh) | 一种基于机器视觉的布匹缺陷在线检测的方法和系统 | |
| CN111080622A (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN109142383B (zh) | 一种基于形态学的字符缺陷检测方法 | |
| CN104574389A (zh) | 基于彩色机器视觉的电池片色差分选控制方法 | |
| CN104992449A (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
| CN113030108A (zh) | 一种基于机器视觉的涂层缺陷检测系统与方法 | |
| CN112802016A (zh) | 基于深度学习的实时布匹缺陷检测方法及系统 | |
| CN110490842A (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN112819844B (zh) | 一种图像边缘检测方法及装置 | |
| CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
| CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
| CN112200776A (zh) | 芯片封装缺陷检测方法和检测装置 | |
| CN111968100B (zh) | 机器视觉检测方法与系统 | |
| WO2023134286A1 (zh) | 一种阴极铜在线质量自动检测分类方法 | |
| CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
| CN114372980A (zh) | 一种工业缺陷检测方法及系统 | |
| CN111986145A (zh) | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 | |
| CN111693535A (zh) | 基于机器视觉分析的触摸屏缺陷检测设备及方法 | |
| CN110596118A (zh) | 印刷图案检测方法及印刷图案检测装置 | |
| CN113808104A (zh) | 一种基于分块的金属表面缺陷检测方法及系统 | |
| CN112101060A (zh) | 基于平移不变性和小区域模板匹配的二维码定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |