CN116596880A - 一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 - Google Patents
一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 Download PDFInfo
- Publication number
- CN116596880A CN116596880A CN202310556941.2A CN202310556941A CN116596880A CN 116596880 A CN116596880 A CN 116596880A CN 202310556941 A CN202310556941 A CN 202310556941A CN 116596880 A CN116596880 A CN 116596880A
- Authority
- CN
- China
- Prior art keywords
- module
- pcb
- detection
- defect
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 230000007547 defect Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 29
- 230000003993 interaction Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 101000863875 Mus musculus Tyrosine-protein phosphatase non-receptor type substrate 1 Proteins 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，涉及PCB缺陷检测技术领域，本发明针对传统PCB缺陷方法存在精度低、速度慢以及如今基于图像处理、机器学习和深度学习检测方法存在的模型检测效果不佳、部署工作缺乏等问题，设计了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，有效提升了PCB缺陷检测的检测精度和检测速度，具有广阔的应用前景。
Description
技术领域：
本发明涉及PCB缺陷检测技术领域，具体涉及一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法。
背景技术：
PCB(印制电路板)已经成为人们日常生活中很多电子产品的关键部件，在新能源、汽车、计算机、军事、工业控制等领域有着广泛的应用。PCB生产过程中可能产生的缺陷种类繁多，位置不定，存在缺陷的PCB会使相关电子产品的日常使用存在风险，故在实际检测中对PCB缺陷的检测速度和精度都提出了极高的要求。
早期的PCB缺陷检测方法需要凭借检测工人肉眼观测PCB产品，判断是否存在缺陷，检测人员的情绪、身体状态、工作经验等对检测效果影响很大，该检测方法检测精度低，检测速度慢，不符合实际的生产需要。传统的PCB检测方法已经无法满足现在PCB检测的实际需求，图像处理、机器学习、深度学习领域的蓬勃发展，给PCB缺陷检测带来了新的检测方法，这些领域的检测方法凭借非接触检测、检测效率高、检测效果稳定的优势，在PCB缺陷检测任务中有着广阔的应用前景。
发明内容：
为了克服传统PCB缺陷检测方法存在的检测速度慢、精度不高的问题，本发明提供了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，可以精确且快速地检测PCB表面常见的缺陷。
本发明所要解决的技术问题采用以下的技术方案来实现：
本发明的第一个目的是提供一种基于NVIDIA Jetson TX2的PCB缺陷检测系统，包括布置在NVIDIA Jetson TX2板卡上的PCB图像采集模块、缺陷检测模块以及人机交互界面模块。
所述PCB图像采集模块利用NVIDIA Jetson TX2上外接的摄像头拍摄待测的PCB图片，采集到的图像传送给缺陷检测模块进行检测。
所述缺陷检测模块利用部署在NVIDIAJetson TX2上的改进YOLOv5模型对PCB图像采集模块传送来的待测PCB图片进行检测，并输出检测结果，检测结果包括每种缺陷的位置、类别信息以及单张图片的检测耗时。
所述人机交互界面模块用于对检测结果进行归纳和分析，显示检测到的PCB缺陷总数、每类PCB缺陷的数目、检测过程的总耗时以及包含标注信息的检测后的PCB图片。
本发明的第二个目的是提供一种基于NVIDIAJetson TX2的PCB缺陷检测方法，包括以下步骤：
S1、PCB图像采集模块通过外接摄像头采集PCB图片，并对图片进行裁剪和填充处理，将图片调整到检测模型指定的图片大小，调整后的图片输入到缺陷检测模块；
S2、利用部署在NVIDIA Jetson TX2上的改进YOLOv5模型对采集的PCB图像依次通过由Focus、Conv、C3、SPP、upsample构成的卷积网络进行特征提取和特征融合，生成包含各种图像语义信息的特征图，再通过大小分别为40×40、80×80和160×160的检测层对图片进行多尺度检测；
S3、检测结果输出到人机交互界面上，在检测信息区中显示检测到的PCB缺陷总数、每类PCB缺陷的数目以及检测过程的总耗时，在检测结果区中显示包含标注信息的检测后的PCB图片。
步骤S2中，所述改进YOLOv5模型是在YOLOv5特征融合网络的第二个Concat模块后依次添加C3模块、Conv模块和upsample模块，upsample模块的输出与特征提取层模块第一个C3模块的输出在通道维度上进行堆叠，堆叠后的特征图通过C3模块和Conv模块进行特征提取，提取后的特征图输入到YOLOv5特征融合网络中的第二个C3模块，将特征融合网络结构中第四个C3模块的输出通过上采样进行扩展，并与特征融合网络中第三个C3模块的输出进行堆叠，特征融合网络中第五个C3模块的输出通过上采样与第四个C3模块的输出进行堆叠，特征融合网络中第六个C3模块的输出通过上采样与第五个C3模块的输出进行堆叠，增加一层在新的特征融合网络中第三个C3模块输出的尺寸大小为160×160的特征图上进行预测的检测层，同时删去YOLOv5模型在大小为20×20的特征图上进行检测的检测层，并把由ECA注意力和CBAM中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与Concat模块紧邻的C3模块后。
步骤S3中，所述人机交互界面分为待测区、参数选择区、功能按钮区、检测结果区和检测信息区。待测区展示待测的PCB图片；参数选择区可以选择检测使用的模型、模型权重、预设的Confidence阈值和IoU阈值；功能按钮区包括选择本地图片、选择外部图片、选择本地视频、选择外部视频、开始检测、结果保存、结果删除和程序退出；检测结果区展示检测完成后的PCB图片，在图片上利用矩形框标注检测到的缺陷位置，并在矩形框上面标注缺陷类别和置信度，置信度表示模型认为该缺陷属于标注缺陷类别的概率；检测信息区展示检测到的缺陷总数和每类缺陷的具体数目以及检测过程的耗时。
本发明所述检测系统包括PCB图像采集模块、缺陷检测模块以及人机交互界面模块，为了提升模型对微小缺陷的检测效果，降低检测过程中的误检率和漏检率，改进YOLOv5模型在YOLOv5模型中增加了一个大小为160×160的检测头，删除原有的大小为20×20的检测头，构建了新的特征融合网络；并在特征融合网络中，把由ECA注意力和CBAM中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与Concat模块紧邻的C3模块后。
本发明的有益效果是：本发明针对传统PCB缺陷方法存在精度低、速度慢以及如今基于图像处理、机器学习和深度学习检测方法存在的模型检测效果不佳、部署工作缺乏等问题，设计了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，有效提升了PCB缺陷检测的检测精度和检测速度，具有广阔的应用前景。
附图说明：
图1为本发明PCB缺陷检测系统的检测流程图；
图2为现有YOLOv5模型的网络结构图；
图3为本发明改进YOLOv5模型的网络结构图；
图4为归一化后PCB各类缺陷的分布和大小；
图5为PCB缺陷检测的人机交互界面；
图6为本发明改进YOLOv5模型在NVIDIA Jetson TX2上的检测结果。
具体实施方式：
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和图示，进一步阐述本发明。
本发明提供了一种基于NVIDIA Jetson TX2的PCB缺陷检测方法，如图1所示，具体包括如下步骤：
S1、构建PCB数据集，对数据集中的数据进行扩充。选择北京大学智能机器人开放实验室提供的开源的PCB缺陷数据集作为模型训练的数据集，PCB数据集图片包含六类缺陷，分别为缺孔(Missing Hole)、缺口(Mouse Bite)、铜渣(Spurious Copper)、短路(Short)、开路(Open Circuit)和毛刺(Spur)，各类缺陷数目如表1所示。为了解决数据集样本较小的问题，采用图像预处理方法扩充数据集，包括图像旋转、镜像处理、平移、暗化、添加噪声几种预处理方法，扩充后的各类缺陷数目如表2所示。
表1PCB各类缺陷的数目
表2PCB各类缺陷扩充后的数目
S2、使用Labelimg软件标注每张图片存在的缺陷，标注完成，生成包含标注信息的xml文件。
S3、分析PCB数据集中各种缺陷样本的位置和大小。PCB各类缺陷相对于整张PCB图片的相对中心坐标分布信息如图4(a)所示，从图4(a)中可以看出，各类缺陷均匀分布在PCB图片的各个位置，图片边缘处缺陷分布较稀疏。PCB各类缺陷的相对于整张PCB图片的相对宽度和高度信息如图4(b)所示，训练集中的各种缺陷的宽度和高度主要分布在整个图像宽度和高度的6％以内，这些缺陷尺寸小，对模型检测微小缺陷提出了很高的要求。
S4、将YOLOv5检测算法应用的PCB缺陷检测任务中，YOLOv5检测算法是一种基于卷积神经网络的检测算法，YOLOv5模型的网络结构图如图2所示，广泛应用于各种实时检测任务中。
S5、特征融合网络的改进，在YOLOv5特征融合网络的第二个Concat模块后依次添加C3模块、Conv模块和upsample模块，upsample模块的输出与特征提取层模块第一个C3模块的输出在通道维度上进行堆叠，堆叠后的特征图通过C3模块和Conv模块进行特征提取，提取后的特征图输入到YOLOv5特征融合网络中的第二个C3模块；将特征融合网络结构中第四个C3模块的输出通过上采样进行扩展，并与特征融合网络中第三个C3模块的输出进行堆叠，特征融合网络中第五个C3模块的输出通过上采样与第四个C3模块的输出进行堆叠，特征融合网络中第六个C3模块的输出通过上采样与第五个C3模块的输出进行堆叠。
S6、特征检测头的优化。增加一层在新的特征融合网络中第三个C3模块输出的尺寸大小为160×160的特征图上进行预测的检测层，同时删去YOLOv5模型在大小为20×20的特征图上进行检测的检测层，提升模型的检测速度。
S7、混合注意力机制的加入。把由ECA注意力和CBAM中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与Concat模块紧邻的C3模块后。Concat模块负责把宽高尺度相同但来自不同网络层的特征图拼接在一起，C3模块负责整合堆叠后的特征图的特征信息，混合注意力机制模块负责提取特征图中的关键信息，忽略无用的信息，该混合注意力机制包括ECA网络和CBAM中的空间注意力网络，使得网络既能够实现跨通道特性信息交互，又能够获取不同空间上的特征信息，从而增强模型的检测精度，改进YOLOv5模型的网络结构图如图3所示。
S8、数据集划分。在PCB缺陷检测任务中，构建的PCB数据集的数据量偏少，为了简化数据集的划分，采用固定比例划分的方法，按照8:1:1的比例划分训练集、验证集、测试集，赋予训练集较大比例，保证训练数据样本量的充足。
S9、标注信息归一化。在YOLO算法中需要对数据集的中的位置信息进行归一化，这样可以提高模型的训练速度。YOLO算法中采用的数据归一化流程如下：
(1)给定图片的宽度w和高度h，单个缺陷的四个坐标信息xmin、xmax、ymin和ymax；
(2)计算包含缺陷信息的矩形框的宽度w1和高度h1；
w1 ＝ xmax – xmin (1)
h1 ＝ ymax – ymin (2)
(3)计算矩形框的中点位置x、y；
(4)归一化操作得到Xout、Yout、Wout和Hout；
Xout ＝ x × dw (7)
Yout ＝ y × dh (8)
Wout ＝ w1 × dw (9)
Hout ＝ h1 × dh (10)
通过上述计算，得到每个标注信息的归一化操作后的Xout、Yout、Wout和Hout。
S10、设置模型训练的超参数。训练中采用的超参数如表3所示。
表3模型训练主要超参数设置
S11、开始模型训练，训练结束生成模型权重。在PCB缺陷检测实验中，模型训练采用的硬件环境和软件环境分别如表4、表5所示。采用的权重是原始模型在coco数据集上训练得到的权重，利用迁移学习的知识，模型在PCB数据集上进行迁移训练。模型训练结束后，得到包含权重信息的pt文件。
表4硬件环境
表5软件环境
S12、训练结果分析。为了验证改进YOLOv5模型在台式机上的训练结果，本发明分别列举了单阶段经典目标检测算法YOLOv3、YOLOv3-spp、RetinaNet网络和双阶段经典目标检测算法Faster R-CNN在PCB数据集上的台式机上性能，主要从模型精度、模型生成的权重大小以及模型的检测速度三个方面进行分析，具体数据如表6所示。
表6不同检测算法在PCB数据集上的检测性能
从表6中的数据可以看出，本发明提出的改进YOLOv5模型的mAP@0.5和mAP@0.5:0.95分别达到0.986和0.554，模型的权重文件只有15.5M，模型的检测速度达到143FPS。相较于其它几种模型，本发明提出的改进YOLOv5模型的检测精度最高，检测速度最快，模型权重也最小。
S13、利用TensorRT将台式机上训练的改进YOLOv5模型部署到TX2板卡上。
S14、搭建检测平台。将待测的PCB样品放置在检测工作台上，在检测台上方安装罗技Pro C920摄像头，摄像头通过USB线连接到NVIDIA Jetson TX2板卡上，从顶部拍摄PCB样品。
S15、在NVIDIA Jetson TX2上开启模型检测，通过外接摄像头拍摄检测工作台上的PCB样品。
S16、对输入图像进行裁剪或填充，把图像大小调整到检测模型的预设大小。
S17、预处理后的图像输入到NVIDIA Jetson TX2上的改进YOLOv5模型中，模型对图像进行网格化划分，每个网格负责检测目标中心落在该网格内的物体，并需要预测B个边界框，边界框预测的结果包括四个位置信息和一个置信度分数Confidence，Confidence表达式如式(11)所示，Confidence参数包含了预测的边界框包含物体的概率信息和这个边界框与目标真实位置的重合程度信息，位置的重合程度采用IoU来表示，其表达式如式(12)所示，IoU参数越大，代表预测框与真实框的重叠程度越高。每个网格还要负责类别预测任务，预测的结果需要通过NMS算法删除冗余的边界框，得到最终的检测结果。
Confidence＝Pr(object)×IoU (11)
式中，当网格中没有待测物体时，Pr(Object)＝0，当网格中存在待测物体，Pr(object)＝1，IoU代表预测框与真实框的交并比。
式中，A、B分别代表模型预测的矩形框与真实包含物体的矩形框。
S18、检测完成，模型利用矩形框准确标记出检测到的所有缺陷位置，并在矩形框上方标记出置信度分数。
S19、统计检测到的所有缺陷数目、每类缺陷数目以及检测过程总耗时。
S20、将检测结果输送给人机交互界面，人机交互界面如图5所示，检测的结果展示在交互界面的检测结果区，并在检测信息区显示检测的具体信息。
S21、改进YOLOv5模型在NVIDIA Jetson TX2上对PCB六类缺陷的检测效果如图6所示。从图6中可以看出，改进YOLOv5模型能够精确的检测出每张图片中存在的missinghole、mouse bite、open circuit、short、spur和spurious copper六类缺陷，且缺陷位置预测准确，基本符合PCB缺陷检测模型部署的实际需求。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于NVIDIAJetson TX2的PCB缺陷检测系统，其特征在于：包括布置在NVIDIAJetson TX2板卡上的PCB图像采集模块、缺陷检测模块以及人机交互界面模块。
2.根据权利要求1所述的PCB缺陷检测系统，其特征在于：所述PCB图像采集模块利用NVIDIAJetson TX2上外接的摄像头拍摄待测的PCB图片，采集到的图像传送给缺陷检测模块进行检测。
3.根据权利要求1所述的PCB缺陷检测系统，其特征在于：所述缺陷检测模块利用部署在NVIDIAJetson TX2上的改进YOLOv5模型对PCB图像采集模块传送来的待测PCB图片进行检测，并输出检测结果，检测结果包括每种缺陷的位置、类别信息以及单张图片的检测耗时。
4.根据权利要求1所述的PCB缺陷检测系统，其特征在于：所述人机交互界面模块用于对检测结果进行归纳和分析，显示检测到的PCB缺陷总数、每类PCB缺陷的数目、检测过程的总耗时以及包含标注信息的检测后的PCB图片。
5.一种基于NVIDIAJetson TX2的PCB缺陷检测方法，通过应用权利要求1-4任一项所述的PCB缺陷检测系统实现，其特征在于，包括以下步骤：
S1、PCB图像采集模块通过外接摄像头采集PCB图片，并对图片进行裁剪和填充处理，将图片调整到检测模型指定的图片大小，调整后的图片输入到缺陷检测模块；
S2、利用部署在NVIDIA Jetson TX2上的改进YOLOv5模型对采集的PCB图像依次通过由Focus、Conv、C3、SPP、upsample构成的卷积网络进行特征提取和特征融合，生成包含各种图像语义信息的特征图，再通过大小分别为40×40、80×80和160×160的检测层对图片进行多尺度检测；
S3、检测结果输出到人机交互界面上，在检测信息区中显示检测到的PCB缺陷总数、每类PCB缺陷的数目以及检测过程的总耗时，在检测结果区中显示包含标注信息的检测后的PCB图片。
6.根据权利要求5所述的PCB缺陷检测方法，其特征在于：步骤S2中，所述改进YOLOv5模型是在YOLOv5特征融合网络的第二个Concat模块后依次添加C3模块、Conv模块和upsample模块，upsample模块的输出与特征提取层模块第一个C3模块的输出在通道维度上进行堆叠，堆叠后的特征图通过C3模块和Conv模块进行特征提取，提取后的特征图输入到YOLOv5特征融合网络中的第二个C3模块，将特征融合网络结构中第四个C3模块的输出通过上采样进行扩展，并与特征融合网络中第三个C3模块的输出进行堆叠，特征融合网络中第五个C3模块的输出通过上采样与第四个C3模块的输出进行堆叠，特征融合网络中第六个C3模块的输出通过上采样与第五个C3模块的输出进行堆叠，增加一层在新的特征融合网络中第三个C3模块输出的尺寸大小为160×160的特征图上进行预测的检测层，同时删去YOLOv5模型在大小为20×20的特征图上进行检测的检测层，并把由ECA注意力和CBAM中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与Concat模块紧邻的C3模块后。
7.根据权利要求5所述的PCB缺陷检测方法，其特征在于：步骤S3中，所述人机交互界面分为待测区、参数选择区、功能按钮区、检测结果区和检测信息区。
8.根据权利要求7所述的PCB缺陷检测方法，其特征在于：所述待测区展示待测的PCB图片；所述参数选择区选择检测使用的模型、模型权重、预设的Confidence阈值和IoU阈值；所述功能按钮区包括选择本地图片、选择外部图片、选择本地视频、选择外部视频、开始检测、结果保存、结果删除和程序退出；所述检测结果区展示检测完成后的PCB图片，在图片上利用矩形框标注检测到的缺陷位置，并在矩形框上面标注缺陷类别和置信度；所述检测信息区展示检测到的缺陷总数和每类缺陷的具体数目以及检测过程的耗时。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556941.2A CN116596880A (zh) | 2023-05-17 | 2023-05-17 | 一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556941.2A CN116596880A (zh) | 2023-05-17 | 2023-05-17 | 一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596880A true CN116596880A (zh) | 2023-08-15 |
Family
ID=87593213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310556941.2A Pending CN116596880A (zh) | 2023-05-17 | 2023-05-17 | 一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596880A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218457A (zh) * | 2023-11-07 | 2023-12-12 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
-
2023
- 2023-05-17 CN CN202310556941.2A patent/CN116596880A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218457A (zh) * | 2023-11-07 | 2023-12-12 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
| CN117218457B (zh) * | 2023-11-07 | 2024-01-26 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Detection of surface defects on solar cells by fusing Multi-channel convolution neural networks | |
| CN106980858A (zh) | 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法 | |
| CN109961068A (zh) | 图像识别、训练、搜索方法和装置及设备、介质 | |
| CN110378206B (zh) | 一种智能审图系统及方法 | |
| CN111680594A (zh) | 一种基于手势识别的增强现实交互方法 | |
| CN114638784A (zh) | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 | |
| CN111898406A (zh) | 基于焦点损失和多任务级联的人脸检测方法 | |
| CN116596880A (zh) | 一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法 | |
| CN113326558B (zh) | 一种基于Grasshopper平台二次开发的参数化门窗详图快速出图方法 | |
| CN113723328B (zh) | 一种图表文档面板分析理解方法 | |
| Bai et al. | Automatic orientation detection of abstract painting | |
| US11373022B2 (en) | Designing a structural product | |
| Wang et al. | A deep learning-based experiment on forest wildfire detection in machine vision course | |
| Jiang et al. | MA-YOLO: a method for detecting surface defects of aluminum profiles with attention guidance | |
| CN110321867A (zh) | 基于部件约束网络的遮挡目标检测方法 | |
| Yanmin et al. | Research on ear recognition based on SSD_MobileNet_v1 network | |
| CN113806574A (zh) | 一种软硬件一体化的人工智能图像识别数据处理方法 | |
| Gao et al. | Chinese character components segmentation method based on faster RCNN | |
| Pinitjitsamut et al. | Logo Detection with Artificial Intelligent | |
| Zhou et al. | Training convolutional neural network for sketch recognition on large-scale dataset. | |
| CN112633327B (zh) | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 | |
| Yuan et al. | Surface defect detection based on improved YOLOv3-tiny algorithm | |
| Zheng et al. | Interface Identification of Automatic Verification System Based on Deep Learning | |
| CN113807463B (zh) | 一种基于Faster-RCNN对BI图标题检测的方法 | |
| Austria et al. | Defect detection and classification in printed circuit boards using Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |