CN117593287A - 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 - Google Patents
减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 Download PDFInfo
- Publication number
- CN117593287A CN117593287A CN202311744095.3A CN202311744095A CN117593287A CN 117593287 A CN117593287 A CN 117593287A CN 202311744095 A CN202311744095 A CN 202311744095A CN 117593287 A CN117593287 A CN 117593287A
- Authority
- CN
- China
- Prior art keywords
- detection
- pcba
- aoi
- algorithm
- false alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 206
- 230000007547 defect Effects 0.000 title claims abstract description 70
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 title claims abstract 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 26
- 238000007689 inspection Methods 0.000 description 22
- 238000004519 manufacturing process Methods 0.000 description 22
- 238000012360 testing method Methods 0.000 description 14
- 230000002950 deficient Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000011990 functional testing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009920 chelation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了减少AOI检测设备误报率的PCBA缺陷检测方法、检测设备,其中方法包括步骤一、确定AOI检测设备在第一次检测中误报率高的缺陷类型;步骤二、针对步骤一中的误报率高的缺陷类型构建检测算法并部署到AOI检测设备中;步骤三、将所有PCBA在AOI检测设备内进行第一次检测,检测出的所有异常数据图作为待检测图传输到检测算法内进行第二次检测;步骤四、仅将第二次检测中不合格的PCBA判定为不合格产品。利用现有的AOI检测设备,减小AOI检测设备的误判率。
Description
技术领域
本发明涉及PCBA检测设备技术领域,尤其涉及减少AOI检测设备误报率的PCBA缺陷检测方法、检测设备。
背景技术
PCBA(Printed Circuit Board Assembly)是指在印刷电路板的表面贴装电子元器件的电路板。在过去的几十年中,PCBA技术经历了从手工插件贴装到自动化插件贴装的转变,实现了高速、高精度、大规模的生产。由于PCBA集成度高、元器件小且密集,其返修难度大,所以在不破坏样品的前提下对PCBA进行质检就十分重要。
随着印刷电路板的精度、集成度、复杂度、以及数量的不断提高,PCBA的缺陷检测已成为整个电子行业中重要的检测内容。PCB的缺陷检测方法可总结为以下四类:
1、人工目视主观判定法
借助于校准的显微镜或者放大镜,完全依据操作人员直观视觉测量来确定电路板的合格率,获得校正操作的时间。他虽然预算成本低且不需要测试夹具,但此种方法因人员主观判断因素强而准确率低、人员成本投入高、缺陷检测不连续、数据集合困难度大等诸多缺点被淘汰。
2、仪器线上检测法
线上测试法是通过模拟测试实验和电性能的测试,检查电路板焊接的开路、短路及故障元器件和元器件的功能检测。若电板上元器件部署密度过大,测试点的设置具有一定难度,此时可使用边界扫描技术,通过预先设计的测试电路把测试点汇总至电路板焊接的边缘连接器,使各个位置的点都能被在线测试仪所检测到。基于电信号为媒介的在线测试技术,可以非常接近于实用情况下的检测到电路板焊接的实际形态。仪器线上测试技术具有使用转换率高、成本低廉、缺陷检测覆盖大、易于操控的优点。但需要测试夹具且夹具制造成本高,使用难度大、编程与调试时间多等缺点。
3、功能测试法
系统功能测试法是借用专门的测试设备在生产线的中、末端,全面测试电路板的功能模块,以便于及时确认电路板的好坏。但用于过程改进的元器件级诊断等深层数据,是功能测试法所无法提供的,而且需用特种设计的测试流程和专门的测试设备,不仅测试程序的编写复杂,而且推广使用局限性大。
4、视觉检测技术
基于以上缺陷检测方法的局限性,视觉检测技术已经成为当前PCBA缺陷检测研究的主体方向。具体又可细分为:
(1)自动光学检测技术(AOI):它综合采用自动控制、图像分析处理、电子计算机应用等多种技术,基于光学原理对生产中遇到的焊接缺陷进行检测和处理,是一种能快速、准确检测出制造缺陷的方法。它主要通过相机对PCBA板进行扫描获取到PCBA缺陷区域的图像,运用视觉处理技术高速、精准完成自动检测PCBA上的缺陷,提取相应缺陷的特征。根据提取的缺陷特征与数据库中标准特征进行对比,确定缺陷类型并标记,分析质量问题给出检测结果数据,等待相关人员处理。该方法原理简单,但易受环境影响,算法检出率不高。
(2)机器视觉检测技术(MVI):视觉检测技术的应用范围和实用功能伴随着不断发展和进步的现代工业自动化,也越来越广泛和完善,特别是CMOS和CCD摄像机、图像处理和模式识别技术、数字图像传感器、嵌入式技术DSP、FPGA、ARM的快速发展,快速的推动了机器视觉检测的进步。简而言之,机器视觉检测技术就是利用机器代替人眼来作各种测量和判断。MVI作为最具有发展潜力的新技术在精密测试技术领域独占鳌头。其强大之处表现为它是图像处理技术(SRC)、光电探测技术(MSM)、计算机应用技术(Enterterms)的集合体。之所以将机器视觉检测技术引入到工业PCBA检测中,是因其具有速度快、非接触、柔性好的突出优点,且在电子制作行业检测中发挥着非常重要的作用。同时机器视觉也可实现PCB光板的自动缺陷检测,避免生产过程中的巨大损失,对电子领域的发展具有现实的较高经济价值。但是其集成众多精密测试技术,软硬件成本高,一般的小公司无力承担高昂的购买和后期维护费用。
(3)计算机视觉检测技术(AVI):建立在计算机视觉研究基础上的计算机视觉检测技术是一门新兴的工业检测技术。它采用图像传感器实现三维测算被测物的尺寸及空间位置,所得数据通过计算机对标准和故障图像进行比对后提取或直接从图像中提取,并依据检测参数引导设备动作。这种基于视觉传感器的智能检测系统具有时效高、结构简单、抗扰力强等优点,非常适合现代工业生产要求。但开发难度高,计算机视觉检测技术虽然算法鲁棒,但是该类算法高度定制化,不容易快速迁移或适配到其他场景中,一般需要根据具体需求重新定制算法,且算法开发难度大,对开发者的代码能力要求高。
诸多公司已经购买大批的传统光学(AOI)缺陷检测设备应用于产线上,但若使用AOI检测设备,还需在出货前需要安排人员检测,以防止不良品流出。究其原因,是因为AOI检测设备在检测前道生产过程中对产生的制造缺陷时有大量错误召回,所以不得不在后道生产完成后再安排人工检查一次。机器视觉检测技术和计算机视觉检测技术虽然检测精度高,但若公司更换所有的传统AOI检测设备,重新购买机器视觉检测设备和计算机视觉检测设备,必然造成成本的提高。而且AOI设备也具有一定的检测能力,只是检出率不高,不足以适应现代工业的生产需求。因此,根据公司的实际现状,在传统AOI检测设备的基础上,如何提高检出率和减少误报成为有待解决的技术问题。
发明内容
为克服上述缺点,本发明的目的在于提供减少AOI检测设备误报率的PCBA缺陷检测方法,利用现有的AOI检测设备,减小AOI检测设备的误判率。
为了达到以上目的,本发明采用的技术方案是:减少AOI检测设备误报率的PCBA缺陷检测方法,包括如下步骤:
步骤一、确定AOI检测设备在第一次检测中误报率高的缺陷类型;
步骤二、针对步骤一中的误报率高的缺陷类型构建检测算法并部署到AOI检测设备中;
步骤三、将所有PCBA在AOI检测设备内进行第一次检测,检测出的所有异常数据图作为待检测图传输到检测算法内进行第二次检测;
步骤四、仅将第二次检测中不合格的PCBA判定为不合格产品。
本发明的有益效果在于:改善传统AOI检测设备出现大量误报的问题,对AOI检测设备检测出的所有异常数据图作为待检测图进行二次检测,进一步筛选不合格的PCBA,避免误判,提高缺陷检测的准确性。无需更改原硬件设备(AOI检测设备),将构建的检测算法插入AOI检测设备内打补丁,即插即用,用较少的成本弥补原硬件设备的不足之处,为企业省下一笔购置新设备的费用。
进一步来说,误报率高的所述缺陷类型有三个,分别为元器件是否偏移、元器件极性是否贴错和元器件上文字方向是否有误。所述检测算法与缺陷类型对应,分别为元器件偏移算法、元器件极性算法和文字方向算法。
缺陷类型根据实际情况确认,检测算法需要能对所有误报率高的所述缺陷类型进行二次检测。
进一步来说,所述元器件偏移算法包括如下步骤:
步骤11、采集焊盘图;
步骤12、将所述待检测图与焊盘图通过图像处理进行对齐并融合,得到融合图;
步骤13、对所述融合图用检测网络检测焊盘和引脚的位置,在待检测图上得到焊盘的精确位置和引脚的精确位置,即焊盘目标框和引脚目标框;
步骤14、通过计算焊盘目标框与引脚目标框的位置关系,判断元器件是否偏移。
由于制作工艺的原因,焊盘位置会被焊锡覆盖,若直接对待检测图检测焊盘和引脚的位置,则焊盘的位置找不准,造成大量误报,通过待检测图和焊盘图对齐融合后的融合图来查找焊盘和引脚位置,大大提高了焊盘和引脚定位的准确度。
进一步来说,所述步骤14具体包括:
通过匈牙利算法分配焊盘目标框与其最近的引脚目标框为一对,然后计算该焊盘目标框和引脚目标框的交并比,再将交并比与设定的阈值比较判断位置关系,当所述交并比小于设定的阈值时,认为存在偏移。
进一步来说,元器件极性算法包括如下步骤:
步骤21、采集模板图;
步骤22、用检测网络分别对待检测图和模板图检测极性标识,并将极性标识标记出来形成极性标识位置;
步骤23、用传统图像处理算法判断待检测图上的极性标识位置和模板图上的极性标识位置是否一致,以判断元器件极性是否贴错。
进一步来说,所述文字方向算法包括如下步骤:
步骤31、加载模板图;
步骤32、用检测网络分别定位待检测图和模板图检测文字位置;
步骤33、将文字位置裁剪出来,用传统算法对文字的方向做分类,判断待检测图上的文字方向和模板图上的文字方向是否一致。
进一步来说,三个所述检测算法中任意一个PCBA检测不合格时,PCBA均为不合格产品。
进一步来说,所述检测网络为YOLOv5。
本发明还公开一种检测设备,包括AOI检测设备,所述AOI检测设备采用上述的PCBA缺陷检测方法对PCBA进行检测。
附图说明
图1为本发明实施例的流程图一;
图2为现有技术中PCBA的质检流程图;
图3为本发明实施例的流程图二;
图4为本发明实施例的流程图三;
图5为本发明实施例的流程图四。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
附图2为PCBA的质检流程,参见附图2所示,PCBA的质检过程由前道加工、AOI质检、后道加工和打包出货四个部分组成。其中前道加工是指通过光刻,刻蚀和沉积工艺可以构建出晶体管等元器件,这一过程技术难点多,操作复杂,是整个半导体制造流程的核心。AOI质检是对前道加工的PCBA进行缺陷检测,将缺陷元器件抛出来,防止流入后道中。后道加工是指将前道中构建的元器件连接起来,实现电力信号的发送和接收。打包出货是指后道加工完后,将PCBA打包流入市场。
AOI质检由AOI检测设备检测完成,现有的AOI检测设备检测时,误报率高,通常需要在后道生产完成后和打包出货前安排工人进行人工目检,防止不良品流入市场,但这就浪费了人力,且人为检测的效率也不够高,无法满足检测需求。
参见附图1所示,本发明的减少AOI检测设备误报率的PCBA缺陷检测方法,包括如下步骤:
步骤一、确定AOI检测设备在第一次检测中误报率高的缺陷类型。
步骤二、针对步骤一中的误报率高的缺陷类型构建检测算法并部署到AOI检测设备中。
步骤三、将所有PCBA在AOI检测设备内进行第一次检测,检测出的所有异常数据图作为待检测图传输到检测算法内进行第二次检测。
步骤四、仅将第二次检测中不合格的PCBA判定为不合格产品。
第一次检测是现有的AOI检测设备检测过程,也就是现有技术的检测过程,其核心是通过比对模板图像与待测图像之间的差异,找出缺陷所在位置。在第一次检测后,仍然需要后续检测。现有技术中是采用人工检测,而本申请中,针对误判率高的缺陷类型,构建检测算法进行二次检测,提高检出率。
在本实施例中,改善传统AOI检测设备出现大量误报的问题,对AOI检测设备检测出的误报数据进行二次检测,进一步筛选不合格的PCBA,避免误判,提高缺陷检测的准确性。无需更改原硬件设备(AOI检测设备),将构建的检测算法插入AOI检测设备内打补丁,即插即用,用较少的成本弥补原硬件设备的不足之处,为企业省下一笔购置新设备的费用。
当然在一个实施例中,本实施例中的方法也可用于相同领域的其他问题,或者不同领域的相似问题,也就是均能采用二次检测的思路,来减小检测的误报率。
在一个实施例中,AOI质检中存在大量误报的三类缺陷,也就是步骤一中的缺陷类型为三个,分别为元器件是否偏移、元器件极性是否贴错和元器件上文字方向是否有误。现有的AOI检测设备在缺陷检测时,在这三类缺陷上检测的出错率较高,无法满足PCBA缺陷检测要求。
因此,构建三种检测算法,分别为元器件偏移算法、元器件极性算法和文字方向算法,元器件偏移算法用于检测元器件是否偏移,若有偏移则不合格;元器件极性算法用于检测元器件极性是否贴错,若极性贴错则不合格;文字方向算法用于检测元器件上文字是否有误,若有误则不合格。这三种任意一种检测算法检测不合格时,PCBA均为不合格产品。
误报高的缺陷类型根据实际情况确定,在一些应用场合,误报率高的缺陷类型也可能不是这三种,只要检测算法与误报率高的缺陷类型对应即可,保证检测算法能对所有误报率高的缺陷类型进行二次检测,相当于重新打入补丁,提高检测的准确率。
步骤三中的异常数据图为AOI检测设备原先内置的对缺陷的检测方法检测出的缺陷PCBA的图像数据,这些数据中,可能存在PCBA本身是合格的,但被误判为不合格产品。现有的AOI检测设备在第一检测过程中,一旦检测到异常数据图时,会将这些数据作为待检测图保存下来,进行第二次检测。
检测元器件是否偏移是为了挑出在生产过程中因各种因素导致元器件偏移的缺陷产品,其中,元器件偏移是指贴在焊盘(PCB光板)上的元器件的引脚与焊盘底座之间的重合度小于规定的标准。
参见附图3所示,元器件偏移算法包括如下步骤:
步骤11、采集焊盘图。
焊盘图只需要采集一次即可,后面可重复使用,焊盘图上未贴任何元器件。焊盘图和待检测图的拍摄方式一致。相机拍摄出的待检测图和焊盘图的空间位置一致,参见附图3中所示,图中待检测图与焊盘图对应PCBA上同一块区域,只是待检测图贴了元器件,焊盘图没贴。
步骤12、将待检测图与焊盘图通过图像处理进行对齐并融合,得到融合图。
为了防止待检测图和焊盘图因外界因素,有不一致的情况,这里是对两张图做了图像处理算法中的透视变换,使二者一致。融合成的融合图参见附图3中的融合图所示。
步骤13、对融合图用检测网络检测焊盘和引脚的位置,在待检测图上得到焊盘的精确位置和引脚的精确位置。
由于制作工艺的原因,焊盘位置会被焊锡覆盖,若直接对待检测图检测焊盘和引脚的位置,则焊盘的位置找不准,造成大量误报,通过待检测图和焊盘图对齐融合后的融合图来查找焊盘和引脚位置,大大提高了焊盘和引脚定位的准确度。
检测网络为YOLOv5,YOLOv5为一个成熟的检测网络,可直接调用,对得到的融合图标记其焊盘和引脚的位置,将批量的融合图和标记信息送入YOLOv5中,让该网络自动学习焊盘和引脚的特性,得到一个检测焊盘和引脚的模型。该模型生成后,后面可反复使用。用该模型定位焊盘和引脚的位置,即焊盘目标框和引脚目标框。参见附图3所示,在图中焊盘和引脚位置图中,已经定位出焊盘布标框和引脚目标框,也就是在焊盘的位置画框标记出焊盘目标框,在引脚对应的位置处画框标记出引脚目标框。
步骤14、通过计算焊盘目标框与引脚目标框的位置关系,判断元器件是否偏移。
在步骤13中,定位出焊盘的位置和引脚的位置后,我们就会知道焊盘和引脚的坐标。通过匈牙利算法分配焊盘目标框与其最近的引脚目标框为一对,然后计算该焊盘目标框和引脚目标框的交并比,再将交并比与设定的阈值比较判断位置关系,去判断元器件是否有偏移。交并比小于设定的阈值,则认为存在偏移。当没有偏移时,判断为合格产品,否则为不合格产品。
本发明将PCBA上元器件的偏移检测由58.5%的检出率提升到90%以上。据了解,某公司采购AOI检测设备对PCBA元器件是否偏移进行检测,在前道生产中,该AOI设备的检出率为58.5%,存在约50%的误报,该公司需要在后道生产完成后、打包出货前安排工人进行人工目检,防止不良品流入市场。本实施例在该设备中,通过添加对误报数据图的元器件偏移算法,将最终检出率提升到90%以上。
元器件贴错则会影响产品的功能,而正确的元器件位置是有模板的,因此判断方法需要与模板作比较。元器件极性贴错是指元器件上的标识符与模板的标识符位置不一致。
参见附图4所示,元器件极性算法包括如下步骤:
步骤21、采集模板图。
模板图只需要采集一次即可,后面可重复使用。参见附图4所示,图中的模板图就是元器件极性贴正确状态下的图片,且模板图和待检测图的拍摄方式一致,采集位置保持一致。图中的待检测图就是AOI检测设备在第一次检测过程中的异常数据图。
步骤22、用检测网络分别对待检测图和模板图检测极性标识,并将极性标识标记出来形成极性标识位置。
检测网络为YOLOv5,对待检测图和模板图两种图标记极性标识,将待检测图、模板图和二者的标记信息送入YOLOv5中,让该网络自动学习极性标识的特性,得到一个检测极性标识的模型。该模型得到后,后面可反复使用。然后用该模型检测待检测图和模板图上的极性标识。参见附图4所示,在定位出极性标识后的待检测图和模板图上,已经标记出极性标识,会在表示极性的带有“-”的黑色长矩形上做出极性标识,框出带有“-”的黑色长矩形形成极性标识位置。
步骤23、用传统图像处理算法判断待检测图上的极性标识位置和模板图上的极性标识位置是否一致,以判断元器件极性是否贴错。
若一致,则说明待检测的元器件贴的正确,即功能完好,反之,则贴错,报出不良品。参见附图所示,模板图的极性标识框位于图像的左侧,那么,根据待检测图上极性标识框的坐标信息,也能判断该标识框在待检测图的左侧,所以两个极性标识位置一致。
本发明将PCBA上元器件是否贴错的检测由25.2%提升到80%以上。据了解,某公司采购AOI检测设备对PCBA元器件是否贴错进行检测,在前道生产中,该AOI设备的检出率为25.2%,存在约75%的误报,由于误报率过大,该公司需要打包出货前安排工人进行人工目检,防止不良品流入市场。本发明在该设备中,通过添加对误报数据的元器件极性算法,将最终检出率提升到80%以上。
元器件上的文字方向若有误也会影响产品的功能,而正确的元器件文字方向也是有模板的,因此判断方法需要与模板作比较。元器件文字方向有误是指元器件上的文字方向与模板上的文字方向不一致。
参见附图5所示,文字方向算法包括如下步骤:
步骤31、加载模板图。
模板图就是步骤21中的模板图,步骤21中的模板图包含了文字方向,因此可直接加载使用。参见附图5所示,图中定位出文字位置前的待检测图和模板就是在本算法中进行处理的待检测图和模板图,两者拍摄位置保持一致。
步骤32、用检测网络分别定位待检测图和模板图上的文字位置。
检测网络为YOLOv5,对待检测图和模板图标记文字位置,将待检测图、模板图和二者的标记信息送入YOLOv5中,该网络自动学习文字的特性,生成一个模型。然后用该模型检测待检测图和模板图中的文字位置,如图5中定位出文字位置后的待检测图和模板图上,已经定位出文字位置,两者上的“ABED”就是待检测的文字,两者在图上框出的”ABEB”所在的位置就是文字位置。
步骤33、将文字位置裁剪出来,用传统算法对文字的方向做分类,判断待检测图上的文字方向和模板图上的文字方向是否一致。
若一致,则说明待检测的元器件功能完好,反之,则功能有误,报出不良品。根据图中的目标框,知文字区域在原图中的坐标信息,根据坐标信息裁剪原图,得到文字区域。
传统算法做文字方向分类时,文字方向只有4个类别,分别是上下左右。先将裁剪出来的文字区域标记方向,然后将文字区域和标记信息送入支持向量机中,支持向量机会在高维空间中寻找一个能将4个方向的文字区域区分开的超平面,使得四个方向的文字区域彼此之间的间隔越来越大。对新的未知样本进行分类时,将其映射到高维空间,然后根据超平面的位置确定其所属类别。
本发明将PCBA上元器件上的文字方向是否有误的检测由5.1%提升到80%以上。据了解,某公司采购AOI检测设备对PCBA元器件上的文字方向是否有误进行检测,在前道生产中,该AOI设备的检出率为5.1%,存在约95%的误报,该公司需要在后道生产完成后、打包出货前安排工人进行人工目检,防止不良品流入市场。本实施例在该设备中,通过添加对漏检数据的文字方向算法,将最终检出率提升到80%以上。
在本实施中,不需要公司更换AOI检测设备,依赖于公司现有的条件,对当前设备重复利用,通过添加候补算法(元器件偏移算法、元器件极性算法和文字方向算法)提高PCBA上元器件是否偏移、元器件是否贴错、元器件上文字方向是否有误的检出率。
在一个实施例中,本发明还公开一种检测设备,采用AOI检测设备,AOI检测设备采用上述缺陷检测方法进行PCBA检测,也就是在AOI检测设备中增加检测算法对误报率高的缺陷类型进行二次检测,减少误报率。
在一个实施例中还提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,执行指令被处理器执行时用于实现上述的上述缺陷检测方法。
以上实施方式只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人了解本发明的内容并加以实施,并不能以此限制本发明的保护范围,凡根据本发明精神实质所做的等效变化或修饰,都应涵盖在本发明的保护范围内。
Claims (9)
1.减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:包括如下步骤:
步骤一、确定AOI检测设备在第一次检测中误报率高的缺陷类型;
步骤二、针对步骤一中的误报率高的缺陷类型构建检测算法并部署到AOI检测设备中;
步骤三、将所有PCBA在AOI检测设备内进行第一次检测,检测出的所有异常数据图作为待检测图传输到检测算法内进行第二次检测;
步骤四、仅将第二次检测中不合格的PCBA判定为不合格产品。
2.根据权利要求1所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:误报率高的所述缺陷类型有三个,分别为元器件是否偏移、元器件极性是否贴错和元器件上文字方向是否有误;
所述检测算法与缺陷类型对应,分别为元器件偏移算法、元器件极性算法和文字方向算法。
3.根据权利要求2所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:所述元器件偏移算法包括如下步骤:
步骤11、采集焊盘图;
步骤12、将所述待检测图与焊盘图通过图像处理进行对齐并融合,得到融合图;
步骤13、对所述融合图用检测网络检测焊盘和引脚的位置,在待检测图上得到焊盘的精确位置和引脚的精确位置,即焊盘目标框和引脚目标框;
步骤14、通过计算焊盘目标框与引脚目标框的位置关系,判断元器件是否偏移。
4.根据权利要求3所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:所述步骤14具体包括:
通过匈牙利算法分配焊盘目标框与其最近的引脚目标框为一对,然后计算该焊盘目标框和引脚目标框的交并比,再将所述交并比与设定的阈值比较判断位置关系,当所述交并比小于设定的阈值时,认为存在偏移。
5.根据权利要求2所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:元器件极性算法包括如下步骤:
步骤21、采集模板图;
步骤22、用检测网络分别对待检测图和模板图检测极性标识,并将极性标识标记出来形成极性标识位置;
步骤23、用传统图像处理算法判断待检测图上的极性标识位置和模板图上的极性标识位置是否一致,以判断元器件极性是否贴错。
6.根据权利要求2所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:所述文字方向算法包括如下步骤:
步骤31、加载模板图;
步骤32、用检测网络分别定位待检测图和模板图检测文字位置;
步骤33、将文字位置裁剪出来,用传统算法对文字的方向做分类,判断待检测图上的文字方向和模板图上的文字方向是否一致。
7.根据权利要求2所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:三个所述检测算法中任意一个PCBA检测不合格时,PCBA均为不合格产品。
8.根据权利要求3-6任一所述的减少AOI检测设备误报率的PCBA缺陷检测方法,其特征在于:所述检测网络为YOLOv5。
9.一种检测设备,其特征在于:包括AOI检测设备,所述AOI检测设备采用权利要求1-8任一所述的PCBA缺陷检测方法对PCBA进行检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311744095.3A CN117593287A (zh) | 2023-12-18 | 2023-12-18 | 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311744095.3A CN117593287A (zh) | 2023-12-18 | 2023-12-18 | 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117593287A true CN117593287A (zh) | 2024-02-23 |
Family
ID=89909994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311744095.3A Pending CN117593287A (zh) | 2023-12-18 | 2023-12-18 | 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117593287A (zh) |
-
2023
- 2023-12-18 CN CN202311744095.3A patent/CN117593287A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659662B (zh) | 利用人工智能的瑕疵检测系统及其方法 | |
US10542651B2 (en) | Inspection apparatus and quality control system for surface mounting line | |
CN108802046B (zh) | 一种混合集成电路组件缺陷光学检测装置及其检测方法 | |
CN112053318B (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
CN103500459B (zh) | 一种基于规则化参数的印刷电路板缺陷检测方法 | |
CN106651857B (zh) | 一种印刷电路板贴片缺陷检测方法 | |
CN110186375A (zh) | 智能化高铁白车身焊接装配特征检测装置及检测方法 | |
JP6277754B2 (ja) | 品質管理システムおよび内部検査装置 | |
CN115170497A (zh) | 一种基于ai视觉检测技术的pcba在线检测平台 | |
JP5045591B2 (ja) | 検査領域の領域設定データの作成方法および基板外観検査装置 | |
CN114518526A (zh) | 一种适用于pcb板ict的自动测试机控制系统 | |
Leta et al. | Computer vision system for printed circuit board inspection | |
Malge et al. | A survey: Automated visual pcb inspection algorithm | |
CN117593287A (zh) | 减少aoi检测设备误报率的pcba缺陷检测方法、检测设备 | |
CN113933309B (zh) | 一种复测aoi机台检盲孔孔内不良的方法 | |
JP6387620B2 (ja) | 品質管理システム | |
CN114913119B (zh) | 一种半导体晶圆检测工艺中的自动探针状态识别方法 | |
CN116012285A (zh) | 一种基于激光超声的bga焊点缺陷检测系统及检测方法 | |
CN105277569B (zh) | 基于三维特征的线路板检测方法 | |
US7747066B2 (en) | Z-axis optical detection of mechanical feature height | |
CN114062391A (zh) | 自动光学检测设备的检测方法及系统 | |
KR102618194B1 (ko) | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 | |
Loh et al. | Printed circuit board inspection using image analysis | |
TWI837941B (zh) | 引線框架的出貨方法 | |
CN117788400A (zh) | 一种基于双目视觉的光伏组件缺陷检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |