CN116503401B - 一种pcb连板目标检测方法、装置、设备和介质 - Google Patents
一种pcb连板目标检测方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116503401B CN116503401B CN202310757065.XA CN202310757065A CN116503401B CN 116503401 B CN116503401 B CN 116503401B CN 202310757065 A CN202310757065 A CN 202310757065A CN 116503401 B CN116503401 B CN 116503401B
- Authority
- CN
- China
- Prior art keywords
- pcb
- image
- target
- board
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 claims description 118
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000004519 manufacturing process Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 4
- 229910052802 copper Inorganic materials 0.000 claims description 4
- 239000010949 copper Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种PCB连板目标检测方法、装置、设备和介质，涉及面板检测技术领域，解决了现有PCB连板的目标检测效率的技术问题。所述检测方法，包括以下步骤：获取待检测PCB连板图像；将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像；基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。
Description
技术领域
本申请涉及面板检测技术领域，尤其涉及一种PCB连板目标检测方法、装置、设备和介质。
背景技术
工业制造过程中因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，因此需要对产品缺陷进行识别分类。在对PCB进行缺陷识别分类时，常会遇到产线相机拍照视野中出现不止一块待检测板（即PCB连板）的检测场景，而现有技术通常只能对上述多块待检测板进行逐一检测标注。
因此，目前对PCB连板的目标检测效率较低。
发明内容
本申请实施例提供了一种PCB连板目标检测方法、装置、设备和介质，解决了现有PCB连板的目标检测效率的技术问题。
一方面，本申请实施例提供了一种PCB连板目标检测方法，包括以下步骤：
获取待检测PCB连板图像；
将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；
基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。
作为本申请一些可选实施方式，在所述获取待检测PCB连板图像之前，还包括：
获取样本图像集；所述样本图像集包括PCB连板样本图像；
利用所述PCB连板样本图像对初始目标检测模型进行训练，以获得所述目标检测模型。
在具体实施例中，通过上述步骤，可以获得检测率更高的目标检测模型。
作为本申请一些可选实施方式，所述获取样本图像集，包括：
获取PCB连板样本初始图像；
对所述PCB连板样本初始图像中的目标缺陷区域进行标注，以获得PCB连板样本图像；
基于所述PCB连板样本图像，获得样本图像集。
在具体实施例中，通过上述步骤，可以使得在训练时，目标检测模型更快更准确的识别判断图像中的目标缺陷区域的的位置信息、尺寸信息和类型信息。
作为本申请一些可选实施方式，所述对所述PCB连板样本初始图像中的目标缺陷区域进行标注，以获得PCB连板样本图像，包括：
将所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像；所述单板子样本图像中包含标注信息；
将多个单板子样本图像进行堆叠，获得PCB连板样本图像。
在具体实施例中，通过上述步骤，可以获得目标缺陷区域更为明确的PCB连板样本图像，以便于提高后续对目标检测模型进行训练时的准确率。
作为本申请一些可选实施方式，所述将所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像，包括：
将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板子样本图像。
在具体实施例中，通过上述步骤，可以保证每张单板子样本图像中均包含至少一个完整单板区域，以便于在后续目标检测模型在对目标缺陷区域进行检测时，更好地区别每个单板区域，从而更好的适用于，当不同单板区域所需检测缺陷不同时的应用场景。
作为本申请一些可选实施方式，所述将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板子样本图像，包括：
将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板区域；
对各单板区域中的目标缺陷区域进行标注后，获得多个包含标注信息的单板子样本图像；其中，所述标注信息包括目标缺陷区域的位置信息、目标缺陷区域的尺寸信息和目标缺陷区域的类型信息。
在具体实施例中，通过上述步骤，可以保证在训练完成后，所述目标检测模型可以更好的对待检测图像中的目标缺陷区域进行检测。
作为本申请一些可选实施方式，所述将多个单板子样本图像进行堆叠，获得PCB连板样本图像，包括：
基于单板子样本图像的标注信息，获得各单板子样本图像的图像矩阵；
将所述各单板子样本图像的图像矩阵进行堆叠，获得连板样本图像矩阵；
基于所述连板样本图像矩阵，获得PCB连板样本图像。
在具体实施例中，通过上述步骤，通过将单板子样本图像转换为图像矩阵，以便于后续计算机对各图像矩阵进行堆叠，从而获得更符合需求的PCB连板样本图像。
作为本申请一些可选实施方式，所述待检测PCB连板图像是利用多个图像采集设备从PCB连板的上方采集获得。
在具体实施例中，通过上述步骤，能更好的获得各个角度的待检测PCB连板图像，以提高后续检测效率，避免漏检或过检的情形。
作为本申请一些可选实施方式，所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果，包括：
基于所述PCB连板目标图像及PCB连板标注信息，判断所述PCB连板是否存在目标缺陷；
若存在，则PCB连板目标检测结果为异常；
若不存在，则PCB连板目标检测结果为无异常。
在具体实施例中，通过上述步骤，能更好的判断所述PCB连板是否存在缺陷，从而便于后续生产工作。
作为本申请一些可选实施方式，在所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果之后，还包括：
将PCB连板目标检测结果为异常的PCB连板剔除出生产线；
将PCB连板目标检测结果为无异常的PCB连板保留在生产线。
在具体实施例中，通过上述步骤，使得实际生产线更加准确且有效率的将PCB连板目标检测结果为异常的PCB连板剔除出生产线，且将PCB连板目标检测结果为无异常的PCB连板保留在生产线，从而提高后续生产效率。
再一方面，本申请实施例提供了一种PCB连板目标检测装置，包括：
获取模块，用于获取待检测PCB连板图像；
目标检测模块，用于将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；
输出模块，用于基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。
再一方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述存储器中存储有获取机程序，所述处理器执行所述获取机程序，实现前述方法。
再一方面，本申请实施例提供了一种获取机可读存储介质，所述获取机可读存储介质上存储有获取机程序，所述处理器执行所述获取机程序，实现前述方法。
与现有技术相比，工业制造过程中因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，因此需要对产品缺陷进行识别分类。在对PCB进行缺陷识别分类时，常会遇到产线相机拍照视野中出现不止一块待检测板（即PCB连板）的检测场景，而现有技术通常只能对上述多块待检测板进行逐一检测标注。因此，目前对PCB连板的目标检测效率较低。针对上述技术问题，本申请实施例提供了一种PCB连板目标检测方法，包括以下步骤：获取待检测PCB连板图像；将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。通过将一张包含多块待检测板的图像输入至目标检测模型中，无需对上述多块待检测板进行逐一检测，可以直接获得待检测PCB连板图像中的目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息，并以此判断所述待检测PCB连板图像中是否存在目标缺陷以及缺席位置和大小，进而提高了缺陷检测效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种PCB连板目标检测方法的流程示意图；
图3是本申请实施例提供的单板子图像示意图；
图4是本申请实施例提供的一种PCB连板目标图像示意图；
图5是本申请实施例提供的另一种PCB连板目标图像示意图；
图6是本申请实施例提供的一种PCB连板目标检测装置的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
工业制造过程中因其工艺波动、机台差异等因素会产生各种各样形态的缺陷，因此需要对产品缺陷进行识别分类。在对PCB进行缺陷识别分类时，常会遇到产线相机拍照视野中出现不止一块待检测板（即PCB连板）的检测场景，而现有技术通常只能对上述多块待检测板进行逐一检测标注。因此，目前对PCB连板的目标检测效率较低。
为此，本申请提供了一种解决方案，即通过获取待检测PCB连板图像；将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；基于所述PCB连板目标图像及PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的PCB连板目标检测装置，并执行本申请实施例提供的PCB连板目标检测方法。
参见图2，本申请的实施例提供了一种PCB连板目标检测方法，包括以下步骤：
步骤S10、获取待检测PCB连板图像。
在实际应用中，所述待检测PCB连板是指，需要检测是否存在目标缺陷区域的PCB连板；所述待检测PCB连板图像是基于人工拍照或AOI（Automated Optical Inspection，自动光学检测）获得的，所述待检测PCB连板图像还可以是经过计算机视觉算法处理后获得的。其中，所述AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。AOI是新兴起的一种新型测试技术，但发展迅速，很多厂家都推出了AOI测试设备。当自动检测时，机器通过摄像头自动扫描PCB，采集图像等。所述计算机视觉算法是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器识别的图像。在实际应用中，所述待检测PCB连板图像还可以是利用多个图像采集设备从待检测PCB连板的上方采集获得。
需要说明的是，所述PCB连板是指工程人员通过将多个PCB单板根据实际业务需求进行排布所获得的PCB连板，以增加生产线的产出或减少板材的损耗。最常见的PCB连板通常会以两片以上的相同电路板合成一块大的电路板，但也存在将不同形状的电路板合成一块大的电路板的情况，如阴阳板等。因此在对所述PCB连板进行缺陷检测时，每块PCB单板所需检测的缺陷可能是相同的，也可能是不同的，因此在对其进行缺陷时，区分不同PCB单板尤为重要，以使得对不同的PCB单板中的不同缺陷进行检测。
具体地，所述目标缺陷区域包括异物缺陷区域、虚焊缺陷区域、缺件缺陷区域、漏铜缺陷区域、短路缺陷区域、划伤缺陷区域、脏污缺陷区域或引脚未出缺陷区域等含有缺陷的区域。
在实际应用中，在所述获取待检测PCB连板图像之前，还包括对模型训练的过程，具体来说，即：获取样本图像集；所述样本图像集包括PCB连板样本图像；利用所述PCB连板样本图像对初始目标检测模型进行训练，以获得所述目标检测模型。
具体来说，所述PCB连板样本图像是指，对初始目标检测模型进行训练时所采用的图像，所述PCB连板样本图像同样是基于人工拍照或AOI（Automated Optical Inspection，自动光学检测）获得的，还可以是经过计算机视觉算法处理后获得的。其中，所述AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。AOI是新兴起的一种新型测试技术，但发展迅速，很多厂家都推出了AOI测试设备。当自动检测时，机器通过摄像头自动扫描PCB，采集图像等。所述计算机视觉算法是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器识别的图像。在实际应用中，所述PCB连板样本图像还可以是利用多个图像采集设备从PCB连板的上方采集获得。所述PCB连板样本图像可以是包括目标缺陷区域的图像，也可以不包括目标缺陷区域的图像。
更具体地，为了便于初始目标检测模型的深度学习，本申请在使用所述样本图像集对初始目标检测模型进行训练之前，会先对其所述样本图像进行标注，如对所述样本图像中的缺陷类型、缺陷位置和缺陷等级等进行标注。即所述获取样本图像集，包括：获取PCB连板样本初始图像；对所述PCB连板样本初始图像中的目标缺陷区域进行标注，以获得PCB连板样本图像；基于所述PCB连板样本图像，获得样本图像集。
更具体地，为了获得更有训练意义的PCB连板样本图像，本申请将所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像；所述单板子样本图像中包含标注信息；将多个单板子样本图像进行堆叠，获得PCB连板样本图像。其中，在对所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像时，是基于图像中的完整单板区域进行裁剪的，即每一张单板子样本图像中应当包含至少一个完整单板区域。
其中，所述将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板子样本图像，包括：将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板区域；对各单板区域中的目标缺陷区域进行标注后，获得多个包含标注信息的单板子样本图像；其中，所述标注信息包括目标缺陷区域的位置信息、目标缺陷区域的尺寸信息和目标缺陷区域的类型信息。
其中，所述将多个单板子样本图像进行堆叠，获得PCB连板样本图像，包括：基于单板子样本图像的标注信息，获得各单板子样本图像的图像矩阵；将所述各单板子样本图像的图像矩阵进行堆叠，获得连板样本图像矩阵；基于所述连板样本图像矩阵，获得PCB连板样本图像。需要说明的是，所述图像矩阵是指数字图像矩阵，可以采用矩阵理论和矩阵算法对数字图像进行分析和处理。由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据。下面以灰度图像作为例子对图像矩阵进行说明，如灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据，如在本申请实施例中，将二维数组的行对应图像的高，二维数组的列对应图像的宽，二维数组的元素对应图像的像素，二维数组元素的值就是像素的灰度值；采用二维数组来存储数字图像，符合二维图像的行列特性，同时也便于程序的寻址操作，使得计算机图像编程十分方便，以便于后续图像堆叠。
步骤S20、将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息。
需要说明的是，由于在对所述目标检测模型进行训练时所采用的样本图像带有标注信息，因此，将通过上述步骤处理后获得的待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像和PCB连板标注信息。
具体地，所述已训练完成的目标检测模型在实际应用时，通过输入的待检测PCB连板图像，会自行将所述待检测PCB连板图像进行基于图像中的完整单板区域进行裁剪，获得多个单板子图像，并对各单板子图像中的目标缺陷区域进行标注，标注内容包括目标缺陷区域的位置信息、目标缺陷区域的尺寸信息和目标缺陷区域的类型信息。再基于单板子图像的标注信息，获得各单板子图像的图像矩阵；将所述各单板子图像的图像矩阵进行堆叠，获得连板图像矩阵；基于所述连板图像矩阵，获得PCB连板目标图像和PCB连板标注信息。
需要说明的是，所述图像矩阵是指数字图像矩阵，可以采用矩阵理论和矩阵算法对数字图像进行分析和处理。由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据。下面以灰度图像作为例子对图像矩阵进行说明，如灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据，如在本申请实施例中，将二维数组的行对应图像的高，二维数组的列对应图像的宽，二维数组的元素对应图像的像素，二维数组元素的值就是像素的灰度值；采用二维数组来存储数字图像，符合二维图像的行列特性，同时也便于程序的寻址操作，使得计算机图像编程十分方便，以便于后续图像堆叠。
步骤S30、基于所述PCB连板目标图像和PCB连板标注信息，获得PCB连板目标检测结果。
在实际应用中，基于所述目标检测模型输出的PCB连板标注信息，可以判断所述待检测PCB连板是否存在目标缺陷。具体地，所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果，包括：基于所述PCB连板目标图像及PCB连板标注信息，判断所述PCB连板是否存在目标缺陷；若存在，则PCB连板目标检测结果为异常；若不存在，则PCB连板目标检测结果为无异常。其中，所述目标缺陷包括异物缺陷、虚焊缺陷、缺件缺陷、漏铜缺陷、短路缺陷、划伤缺陷、脏污缺陷或引脚未出缺陷等含有缺陷。
在实际的生产线上，为了便于生产管理，在所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果之后，还包括：将PCB连板目标检测结果为异常的PCB连板剔除出生产线；将PCB连板目标检测结果为无异常的PCB连板保留在生产线。
综上所述，本申请所述技术方案可以总结为：
本申请提出使用WindowsPaint3D软件对连板图像进行裁剪，使用矩阵堆叠方式生成各种排列方式的连板图像，同时生成标注数据，不仅减少了标注工作量，同时可以使用单板标注的方式检测连板数据。
所述获得PCB连板目标图像及PCB连板标注信息的方法，包括步骤：
步骤1，对产线AOI机台输出的PCB连板图像（也称为待检测样本图像数据）进行收集。
步骤2，使用WindowsPaint3D工具对连板中完整单板进行裁剪，裁剪后的单板子图像如图3所示。
步骤3，使用Labelimg等目标检测标注工具对单板检测类型区域进行标注。
步骤4，基于python使用opencv，PIL等图像库读取图像矩阵。
步骤5，基于python使用numpy对图像矩阵进行堆叠，根据连板需求生成对应规格或更多的连板图像数据。
步骤6，根据单板图像尺寸及连板规格设定，生成对应新的连板标注.xml图像，堆叠后的新的连板标注.xml图像如图4-图5所示，也可称为PCB连板目标图像。 其中，图4和图5均为堆叠后获得的PCB连板目标图像，但其是基于不同业务要求的规格而生成的，因此所堆叠后获得的图像不同。
参见图6，基于相同的发明思路，本申请实施例提供了一种PCB连板目标检测装置，包括：
获取模块，用于获取待检测PCB连板图像；
目标检测模块，用于将所述待检测PCB连板图像输入至已训练的目标检测模型中，以获得PCB连板目标图像及PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像；
输出模块，用于基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果。
需要说明的是，本实施例中PCB连板目标检测装置中各模块是与前述实施例中的PCB连板目标检测方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述PCB连板目标检测方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种电子设备，所述电子设备包括处理器，存储器以及存储在所述存储器中的获取机程序，所述获取机程序被处理器运行时实现前述实施例中方法的步骤。
此外，在一种实施例中，本申请还提供一种获取机存储介质，所述获取机存储介质上存储有获取机程序，所述获取机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，获取机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。获取机可以是包括智能终端和服务器在内的各种获取设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在获取环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个获取设备上执行，或者在位于一个地点的多个获取设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个获取设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该获取机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，获取机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (12)
1.一种PCB连板目标检测方法，其特征在于，包括以下步骤：
获取待检测PCB连板图像；
将所述待检测PCB连板图像输入至已训练的目标检测模型中，获得多个单板子图像；其中，所述单板子图像中包括至少一个单板区域、目标缺陷区域和标注信息；基于各所述单板子图像，获得各单板子图像的图像矩阵；将各所述单板子图像的图像矩阵进行堆叠，获得连板图像矩阵；基于所述连板图像矩阵，获得PCB连板目标图像和PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；
基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果；所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果，包括：基于所述PCB连板目标图像及PCB连板标注信息，判断所述PCB连板是否存在目标缺陷；若存在，则PCB连板目标检测结果为异常；若不存在，则PCB连板目标检测结果为无异常；所述目标缺陷包括异物缺陷、虚焊缺陷、缺件缺陷、漏铜缺陷、短路缺陷、划伤缺陷、脏污缺陷或引脚未出缺陷。
2.根据权利要求1所述PCB连板目标检测方法，其特征在于，在所述获取待检测PCB连板图像之前，还包括：
获取样本图像集；所述样本图像集包括PCB连板样本图像；
利用所述PCB连板样本图像对初始目标检测模型进行训练，以获得所述目标检测模型。
3.根据权利要求2所述PCB连板目标检测方法，其特征在于，所述获取样本图像集，包括：
获取PCB连板样本初始图像；
对所述PCB连板样本初始图像中的目标缺陷区域进行标注，以获得PCB连板样本图像；
基于所述PCB连板样本图像，获得样本图像集。
4.根据权利要求3所述PCB连板目标检测方法，其特征在于，所述对所述PCB连板样本初始图像中的目标缺陷区域进行标注，以获得PCB连板样本图像，包括：
将所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像；所述单板子样本图像中包含标注信息；
将多个单板子样本图像进行堆叠，获得PCB连板样本图像。
5.根据权利要求4所述PCB连板目标检测方法，其特征在于，所述将所述PCB连板样本初始图像进行裁剪，获得多个单板子样本图像，包括：
将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板子样本图像。
6.根据权利要求5所述PCB连板目标检测方法，其特征在于，所述将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板子样本图像，包括：
将所述PCB连板样本初始图像基于图像中的完整单板区域进行裁剪，获得多个单板区域；
对各单板区域中的目标缺陷区域进行标注后，获得多个包含标注信息的单板子样本图像；其中，所述标注信息包括目标缺陷区域的位置信息、目标缺陷区域的尺寸信息和目标缺陷区域的类型信息。
7.根据权利要求6所述PCB连板目标检测方法，其特征在于，所述将多个单板子样本图像进行堆叠，获得PCB连板样本图像，包括：
基于单板子样本图像的标注信息，获得各单板子样本图像的图像矩阵；
将所述各单板子样本图像的图像矩阵进行堆叠，获得连板样本图像矩阵；
基于所述连板样本图像矩阵，获得PCB连板样本图像。
8.根据权利要求1所述PCB连板目标检测方法，其特征在于，所述待检测PCB连板图像是利用多个图像采集设备从PCB连板的上方采集获得。
9.根据权利要求1所述PCB连板目标检测方法，其特征在于，在所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果之后，还包括：
将PCB连板目标检测结果为异常的PCB连板剔除出生产线；
将PCB连板目标检测结果为无异常的PCB连板保留在生产线。
10.一种PCB连板目标检测装置，其特征在于，包括：
获取模块，用于获取待检测PCB连板图像；
目标检测模块，用于将所述待检测PCB连板图像输入至已训练的目标检测模型中，获得多个单板子图像；其中，所述单板子图像中包括至少一个单板区域、目标缺陷区域和标注信息；基于各所述单板子图像，获得各单板子图像的图像矩阵；将各所述单板子图像的图像矩阵进行堆叠，获得连板图像矩阵；基于所述连板图像矩阵，获得PCB连板目标图像和PCB连板标注信息；其中，所述目标检测模型基于样本图像集训练获得，所述样本图像集中包括PCB连板样本图像，所述PCB连板样本图像为多张单板子样本图像进行堆叠后获得的；所述PCB连板标注信息包括目标缺陷的位置信息、目标缺陷的尺寸信息和目标缺陷的类型信息；
输出模块，用于基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果；所述基于所述PCB连板目标图像及PCB连板标注信息，获得PCB连板目标检测结果，包括：基于所述PCB连板目标图像及PCB连板标注信息，判断所述PCB连板是否存在目标缺陷；若存在，则PCB连板目标检测结果为异常；若不存在，则PCB连板目标检测结果为无异常；所述目标缺陷包括异物缺陷、虚焊缺陷、缺件缺陷、漏铜缺陷、短路缺陷、划伤缺陷、脏污缺陷或引脚未出缺陷。
11.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有获取机程序，所述处理器执行所述获取机程序，实现如权利要求1-9中任一项所述的方法。
12.一种获取机可读存储介质，其特征在于，所述获取机可读存储介质上存储有获取机程序，处理器执行所述获取机程序，实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310757065.XA CN116503401B (zh) | 2023-06-26 | 2023-06-26 | 一种pcb连板目标检测方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310757065.XA CN116503401B (zh) | 2023-06-26 | 2023-06-26 | 一种pcb连板目标检测方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503401A CN116503401A (zh) | 2023-07-28 |
| CN116503401B true CN116503401B (zh) | 2023-09-22 |
Family
ID=87330508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310757065.XA Active CN116503401B (zh) | 2023-06-26 | 2023-06-26 | 一种pcb连板目标检测方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503401B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7177458B1 (en) * | 2000-09-10 | 2007-02-13 | Orbotech Ltd. | Reduction of false alarms in PCB inspection |
| CN108241118A (zh) * | 2017-11-10 | 2018-07-03 | 精华电子(苏州)有限公司 | 一种pcb连板贴片加工系统及方法 |
| CN108288295A (zh) * | 2018-01-30 | 2018-07-17 | 深圳大学 | 基于结构信息的红外小目标图像的快速重构方法及系统 |
| CN108830838A (zh) * | 2018-05-28 | 2018-11-16 | 江苏大学 | 一种亚像素级的pcb板残缺基准点检测方法 |
| CN108987558A (zh) * | 2018-09-20 | 2018-12-11 | 东莞市春瑞电子科技有限公司 | Led支架集成板材 |
| CN109829911A (zh) * | 2019-02-01 | 2019-05-31 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于轮廓超差算法的pcb板表面检测方法 |
| CN209086839U (zh) * | 2018-12-29 | 2019-07-09 | 深圳市华泰敏信息技术有限公司 | 一种新型综合业务处理器 |
| CN112069974A (zh) * | 2020-09-02 | 2020-12-11 | 安徽铜峰电子股份有限公司 | 一种识别元器件缺损的图像识别方法及其系统 |
| CN113379734A (zh) * | 2021-07-09 | 2021-09-10 | 无锡时代天使医疗器械科技有限公司 | 质量检测方法、装置、设备及计算机可读存储介质 |
| CN114926385A (zh) * | 2021-02-02 | 2022-08-19 | Tcl科技集团股份有限公司 | 一种面板缺陷检测方法、存储介质及终端设备 |
| CN115035032A (zh) * | 2022-05-07 | 2022-09-09 | 奥蒂玛光学科技（深圳）有限公司 | 神经网络训练方法、相关方法、设备、终端及存储介质 |
| CN115283835A (zh) * | 2022-07-05 | 2022-11-04 | 深圳明锐理想科技有限公司 | 一种pcb板的缺陷打标方法及设备 |
| CN115856101A (zh) * | 2022-11-30 | 2023-03-28 | 大连理工大学 | 一种基于稀疏矩阵的超声频域全聚焦方法 |
| CN218850829U (zh) * | 2022-12-22 | 2023-04-11 | 浙江红苹果电子有限公司 | 一种模块化音视频矩阵 |
| CN116258707A (zh) * | 2023-03-15 | 2023-06-13 | 常州京信新一代信息技术研究院有限公司 | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 |
-
2023
- 2023-06-26 CN CN202310757065.XA patent/CN116503401B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7177458B1 (en) * | 2000-09-10 | 2007-02-13 | Orbotech Ltd. | Reduction of false alarms in PCB inspection |
| CN108241118A (zh) * | 2017-11-10 | 2018-07-03 | 精华电子(苏州)有限公司 | 一种pcb连板贴片加工系统及方法 |
| CN108288295A (zh) * | 2018-01-30 | 2018-07-17 | 深圳大学 | 基于结构信息的红外小目标图像的快速重构方法及系统 |
| CN108830838A (zh) * | 2018-05-28 | 2018-11-16 | 江苏大学 | 一种亚像素级的pcb板残缺基准点检测方法 |
| CN108987558A (zh) * | 2018-09-20 | 2018-12-11 | 东莞市春瑞电子科技有限公司 | Led支架集成板材 |
| CN209086839U (zh) * | 2018-12-29 | 2019-07-09 | 深圳市华泰敏信息技术有限公司 | 一种新型综合业务处理器 |
| CN109829911A (zh) * | 2019-02-01 | 2019-05-31 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于轮廓超差算法的pcb板表面检测方法 |
| CN112069974A (zh) * | 2020-09-02 | 2020-12-11 | 安徽铜峰电子股份有限公司 | 一种识别元器件缺损的图像识别方法及其系统 |
| CN114926385A (zh) * | 2021-02-02 | 2022-08-19 | Tcl科技集团股份有限公司 | 一种面板缺陷检测方法、存储介质及终端设备 |
| CN113379734A (zh) * | 2021-07-09 | 2021-09-10 | 无锡时代天使医疗器械科技有限公司 | 质量检测方法、装置、设备及计算机可读存储介质 |
| CN115035032A (zh) * | 2022-05-07 | 2022-09-09 | 奥蒂玛光学科技（深圳）有限公司 | 神经网络训练方法、相关方法、设备、终端及存储介质 |
| CN115283835A (zh) * | 2022-07-05 | 2022-11-04 | 深圳明锐理想科技有限公司 | 一种pcb板的缺陷打标方法及设备 |
| CN115856101A (zh) * | 2022-11-30 | 2023-03-28 | 大连理工大学 | 一种基于稀疏矩阵的超声频域全聚焦方法 |
| CN218850829U (zh) * | 2022-12-22 | 2023-04-11 | 浙江红苹果电子有限公司 | 一种模块化音视频矩阵 |
| CN116258707A (zh) * | 2023-03-15 | 2023-06-13 | 常州京信新一代信息技术研究院有限公司 | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Integrated multilayer stretchable printed circuit boards paving the way for deformable active matrix;Shantonu Biswas等;《Nature Communications》;1-8 * |
| 基于多尺度特征的 PCB 裸板缺陷识别;李任鹏等;《中国测试》;1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503401A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
| CN116109631B (zh) | 一种pcba虚焊缺陷检测方法、装置、设备和介质 | |
| CN114549512A (zh) | 一种电路板缺陷检测方法、装置、设备及介质 | |
| CN114202543B (zh) | Pcb板脏污缺陷检测方法、装置、设备及介质 | |
| CN107179324A (zh) | 检测产品包装的方法、装置和系统 | |
| CN106168582B (zh) | 检查装置及检查方法 | |
| CN115578377B (zh) | 一种面板缺陷的检测方法、训练方法、装置、设备及介质 | |
| CN113870256B (zh) | Pcb板缺陷评估方法、装置、设备及介质 | |
| CN114842275B (zh) | 电路板缺陷判别方法、训练方法、装置、设备及存储介质 | |
| CN115861327A (zh) | 一种pcb颜色变化缺陷检测方法、装置、设备及介质 | |
| CN114399484A (zh) | 一种光伏组件缺陷检测方法、装置、设备及介质 | |
| KR102228957B1 (ko) | 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN115239734A (zh) | 模型训练方法、装置、存储介质、设备及计算机程序产品 | |
| CN111421954B (zh) | 智能判定回馈方法及装置 | |
| CN114627122A (zh) | 一种缺陷检测方法及装置 | |
| CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
| CN116503401B (zh) | 一种pcb连板目标检测方法、装置、设备和介质 | |
| CN117589770A (zh) | Pcb贴片板检测方法、装置、设备及介质 | |
| CN116091500B (zh) | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 | |
| CN115830599B (zh) | 工业字符识别方法、模型训练方法、装置、设备和介质 | |
| CN114782431B (zh) | 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 | |
| CN116128823A (zh) | Ic载板的金点检测方法、装置和电子设备 | |
| CN115827435A (zh) | 前端性能测试方法、电子设备及计算机可读存储介质 | |
| CN115496894A (zh) | 针对pcba的检测方法以及检测终端 | |
| CN112115043B (zh) | 一种基于图像的端上智能化页面质量巡检方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |