CN117456168B - 一种基于数据分析的pcba智能检测系统及方法 - Google Patents
一种基于数据分析的pcba智能检测系统及方法 Download PDFInfo
- Publication number
- CN117456168B CN117456168B CN202311476105.XA CN202311476105A CN117456168B CN 117456168 B CN117456168 B CN 117456168B CN 202311476105 A CN202311476105 A CN 202311476105A CN 117456168 B CN117456168 B CN 117456168B
- Authority
- CN
- China
- Prior art keywords
- defect
- detection
- pcba
- picture
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000007405 data analysis Methods 0.000 title claims abstract description 12
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 title claims abstract 41
- 230000007547 defect Effects 0.000 claims abstract description 293
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于数据分析的PCBA智能检测系统及方法，涉及PCBA检测技术领域，获取缺陷特征和特征元素的对应关系，根据特征元素划定待检测区域，通过清晰图评价函数评价特征元素是否清晰，对不清晰的区域对应的图片进行重新获取，分析缺陷数量在缺陷种类和PCBA种类上的变化情况，设置第一检测模式和第二检测模式，调整图片获取设备的检测模式，构建PCBA缺陷检测用时与图片分辨率的模型，计算第一检测模式采用的第一检测分辨率，根据不同缺陷种类的缺陷数量，设置第二检测模式的第二检测分辨率，根据检测模式采用对应的分辨率，调整获取PCBA的完整图片时的图片分辨率。
Description
技术领域
本发明涉及PCBA检测技术领域，具体为一种基于数据分析的PCBA智能检测系统及方法。
背景技术
PCBA(Printed Circuit Board Assembly)，即印刷电路板组装，是指将电子元器件通过表面贴装技术(SMT)或者插件技术(THT)等方法固定并焊接在印刷电路板(PCB)上，从而形成一个具备特定功能的电子装置。随着电子科技的快速发展，电子产品越来越追求轻薄短小、功能强大。因此，PCBA需要具备极高的集成度和精密度，以满足现代电子产品对于体积、重量和性能的要求。虽然现有PCB生产制造工艺在科技的推动下不断地迭代升级，但也无法完全避免在设计和生产过程中受人工误操作、设备运行状态、环境变化等各种外在因素的影响，产生短路、开路、缺口、毛刺、假铜、漏铜等缺陷。
目前已有通过提取PCBA缺陷特征提取，通过人工智能模型训练并机器视觉的方法进行缺陷比对和识别，但是需要对不同的PCBA类型进行模型调整，无法实现根据PCBA类型或缺陷自身类型对识别模式进行调整，所以目前PCBA缺陷检测效率不高。
发明内容
本发明的目的在于提供一种基于数据分析的PCBA智能检测系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于数据分析的PCBA智能检测方法，方法包括：
步骤S100：从PCBA缺陷检测的历史记录中，根据缺陷尺寸的不同，获取各个缺陷种类对应尺寸的特征图片，获取PCBA中存在缺陷位置周围布局的特征元素，将特征图片和特征元素作为训练样本，通过机器学习的方法获取缺陷特征和特征元素的对应关系；
步骤S200：通过图片获取设备获取待检测PCBA的图片信息，识别图片信息中的特征元素，根据特征元素划定待检测区域，通过清晰图评价函数评价特征元素是否清晰，对不清晰的区域对应的图片进行重新获取；
步骤S300：获取不同缺陷种类对应的缺陷检测最低分辨率，获取缺陷检测过程中，处理不同分辨率图片的单位时间；
步骤S400：分析缺陷数量在缺陷种类和PCBA种类上的变化情况，将缺陷数量随PCBA种类变化的情况设置为第一检测模式，将缺陷数量随缺陷种类变化的情况设置为第二检测模式，调整图片获取设备的检测模式；
步骤S500：构建PCBA缺陷检测用时与图片分辨率的模型，计算第一检测模式采用的第一检测分辨率，根据第二检测模式中的不同缺陷种类的缺陷数量，设置第二检测模式的第二检测分辨率，在对待检测PCBA进行缺陷检测时，根据检测模式采用对应的分辨率，调整获取PCBA的完整图片时的图片分辨率。
进一步的，步骤S100包括：
步骤S101：从PCBA缺陷检测的历史记录中获取不同种类缺陷的缺陷特征图像，分别提取不同缺陷种类的图像特征，根据缺陷种类的尺寸，设置不同缺陷种类对应的缺陷特征图片的尺寸，将缺陷特征图片的几何中心与图片中缺陷特征图像的几何中心重合，计算缺陷特征图片中缺陷特征图像面积占对应缺陷特征图片面积的比例，记为第一特征比例；
步骤S102：获取第二特征图片，所述第二特征图片包括缺陷特征图片和特征元素，所述特征元素为：第二特征图片包括的PCBA中的电子元件、电子配件或电子元件和电子配件的组合，计算缺陷特征图片占对应第二特征图片面积的比例，记为第二特征比例；
步骤S103：通过机器学习方法对第二特征图片中缺陷特征图片和特征元素进行模型训练，得到缺陷特征图片和特征元素特征的对应关系。
进一步的，步骤S200包括：
步骤S201：将待检测PCBA的完整图片设置为目标图片，在所述目标图片上进行特征元素的目标检测，将待检测PCBA上具有特征元素的区域设置为待检测区域，根据检测到的特征元素在所述目标图片上提取待检测区域对应的待检测图片，所述待检测图片中包括的特征元素图像的面积占目标特征图片总面积的比例大于等于第二特征比例，待检测图片的尺寸与所述待检测区域中特征元素对应的第二特征图片的尺寸相等；
其中，通过对已检测到的PCBA中缺陷进行标注，获取到PCBA周围线路或者电子元器件特征，构成用于训练的数据集，通过识别缺陷周围的特征，获得需要重点查看的PCBA结构，获取需要重点查看的PCBA结构作为待检测区域；
步骤S202：通过清晰度评价函数，计算待检测图片中特征元素图像的清晰度评价值，当所述清晰度评价值大于等于清晰度阈值时，判定待检测图片的图片特征清晰，当所述清晰度评价值小于清晰度阈值时，判定待检测图片的图片特征不清晰；
PCBA的缺陷出现在不同的电子元件、电子配件或电子元件和电子配件的组合上，不同的电子元件或电子配件的尺寸不相同，为了节省计算资源，当某个电子元件或电子配件可以被清楚地识别后，就不需要进一步提高图片的清晰程度，避免过渡占用计算资源。
步骤S203：对图片特征不清晰对应的待检测图片对应的待检测区域重新进行图片获取，使得所有待检测区域对应的待检测图片都判定为特征清晰。
进一步的，步骤S300包括：
步骤S301：根据缺陷种类的尺寸设置不同缺陷种类对应的清晰度阈值，当某种缺陷种类对应的待检测图片的清晰度评价值等于对应的清晰度阈值时，待检测图片的分辨率为所述某种缺陷种类对应的缺陷检测最低分辨率；
步骤S302：获取不同图像分辨率进行缺陷检测需要的单位时间，所述单位时间是处理单位面积的不同分辨率图像需要的时间。
进一步的，步骤S400包括：
步骤S401：将对一个PCBA的一次缺陷识记为一次缺陷检测，一次缺陷检测对应一条缺陷检测记录，其中一条检测记录中包括：PCBA类型、检测到的缺陷类型和各个缺陷的类型对应的数量；
步骤S402：从若干条检测记录中获取到缺陷总个数N，计算不同种类的PCBA出现的缺陷次数占N的比例，汇集各种PCBA出现缺陷的次数占N的比例值，得到第一缺陷占比序列，计算不同种类的缺陷次数占N的比例，汇集各个缺陷种类出现的次数占N的比例值，得到第二缺陷比例序列，计算第一缺陷占比序列中数据的离散程度δ1和第二缺陷比例序列中数据的离散程度δ2；
步骤S403：根据δ1和δ2的数值，当δ1≥δ2时，判定为第一检测模式，当δ1＜δ2时判定为第二检测模式。
第一检测模式对应检测到的缺陷数量随PCBA种类的变化大于随缺陷种类的变化，说明不同的PCBA种类间缺陷数量差别较大，所以根据PCBA种类匹配不同PCBA种类的检测模式，第二检测模式对应检测到的缺陷数量随缺陷种类的变化大于随PCBA种类的变化，所以根据缺陷种类的不同，不同PCBA种类需要根据同种缺陷种类匹配检测模式。
进一步的，步骤S500包括：
步骤S501：当δ1≥δ2时，获取PCBA在所述若干条检测记录中，各个缺陷种类对应出现次数的数量，将所有k个缺陷种类对应的缺陷检测最低分辨率从低到高排列，汇集成缺陷检测分辨率序列R，其中R＝{r1、r2、r3、……、rk}，其中，r1、r2、r3、……和rk分别表示分辨率从低到高排列后的第1种、第2种、第3种、……、第k种缺陷对应的缺陷检测最低分辨率；
步骤S502：通过函数模型TF(rx)计算初始分辨率为rx时完成对某种PCBA一次检测需要的时间，其中，其中ni表示第i种缺陷在所述某种PCBA中出现的次数，ui表示第i种缺陷对应的缺陷检测最低分辨率，Ci表示第i种缺陷对应的第二特征图片的图片尺寸，ti表示第i种缺陷在采用对应的缺陷检测最低分辨率进行缺陷检测时需要的单位时间，TD(rx)表示在分辨率为rx条件下，对所述某种PCBA的完整图片进行缺陷识别花费的时间，其中，rx的数值从R中取，满足条件1≤x≤k，调整rx取值使得TF(rx)的值最小时rx为所述某种PCBA对应的第一检测分辨率；
TD(rx)表示对待检测PCBA的完整图片进行全图检测需要的时间， 表示待检测PCBA的完整图片分辨率不足时，对相关待检测区域重新获取图片重新检测需要的时间，TF(rx)表示对一个PCBA进行缺陷识别需要的总时间；
步骤S503：当δ1＜δ2时，将第二缺陷比例序列中最大值对应的缺陷种类设置为目标缺陷种类，获取目标缺陷种类对应的缺陷检测最低分辨率ry，将ry设置为获取到的PCBA完整图片的第二检测分辨率。
为了更好实现上述方法，还提出一种基于数据分析的PCBA智能检测方法的PCBA智能检测系统，系统包括：缺陷特征关联模块、清晰度判断模块、分辨率管理模块、测试模式管理模块和检测分辨率管理模块，其中，缺陷特征关联模块用于提取和管理PCBA的缺陷特征，获取各个缺陷特征对应的获取第二特征图片，清晰度判断模块用于通过清晰图评价函数评价特征元素是否清晰，分辨率管理模块用于计算缺陷识别模型处理不同分辨率图片的单位时间，测试模式管理模块用于管理图片获取设备的工作模式，检测分辨率管理模块用于计算第一检测分辨率和第二检测分辨率。
进一步的，清晰度判断模块包括：特征比对单元、待检测区域选择单元、清晰度计算单元和清晰度评价单元，其中，特征比对单元用于比对PCBA图片中的特征元素，待检测区域选择单元用于选择PCBA图片上的待检测区域，清晰度计算单元用于通过清晰度评价函数计算待检测图片的清晰度，清晰度评价单元用于评价待检测图片都判定为特征清晰。
进一步的，测试模式管理模块包括：缺陷记录单元、记录统计单元、离散程度计算单元和模式判断单元，其中，缺陷记录单元用于记录PCBA的缺陷记录，记录统计单元用于计算不同种类的PCBA出现的缺陷次数占缺陷总个数的比例和计算不同种类的缺陷次数占缺陷总个数的比例，离散程度计算单元用于计算第一缺陷占比序列中数据的离散程度和第二缺陷比例序列中数据的离散程度，模式管理单元用于管理图片获取设备的工作模式。
进一步的，检测分辨率管理模块包括：分辨率排序单元、时间消耗计算单元、第一检测分辨率选择单元和第二分检测辨率选择单元，分辨率排序单元用于将缺陷种类对应的缺陷检测最低分辨率从低到高排列，时间消耗计算单元用于计算某种PCBA一次检测需要的时间，第一检测分辨率选择单元用于选择第一检测分辨率，第二检测分辨率选择单元用于选择第二检测分辨率。
与现有技术相比，本发明所达到的有益效果是：本发明通过对特征元素进行识别，从一张完整的PCBA图片中获取不同的待检测区域，根据待检测区域的特征设置待检测区域对应待检测图片的不同分辨率，通过时间函数模型取到一次检测的最少时间，以提升每次缺陷检测的效率和计算机进行比对的计算资源。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明专利一种基于数据分析的PCBA智能检测系统的结构示意图；
图2是本发明专利一种基于数据分析的PCBA智能检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供技术方案：
其中，方法包括：
步骤S100：从PCBA缺陷检测的历史记录中，根据缺陷尺寸的不同，获取各个缺陷种类对应尺寸的特征图片，获取PCBA中存在缺陷位置周围布局的特征元素，将特征图片和特征元素作为训练样本，通过机器学习的方法获取缺陷特征和特征元素的对应关系；
其中，步骤S100包括：
步骤S101：从PCBA缺陷检测的历史记录中获取不同种类缺陷的缺陷特征图像，分别提取不同缺陷种类的图像特征，根据缺陷种类的尺寸，设置不同缺陷种类对应的缺陷特征图片的尺寸，将缺陷特征图片的几何中心与图片中缺陷特征图像的几何中心重合，计算缺陷特征图片中缺陷特征图像面积占对应缺陷特征图片面积的比例，记为第一特征比例；
缺陷特征图片的尺寸通过图片的长×宽表示，其中长和宽的计算单位使用长度单位例如厘米、毫米或英寸；
步骤S102：获取第二特征图片，所述第二特征图片包括缺陷特征图片和特征元素，所述特征元素为：第二特征图片包括的PCBA中的电子元件、电子配件或电子元件和电子配件的组合，计算缺陷特征图片占对应第二特征图片面积的比例，记为第二特征比例；
特征元素表示PCBA缺陷处于的周围环境，例如PCBA缺陷周围的电子元件如电阻、电容、三极管或芯片，PCBA缺陷周围的电子配件如导线、焊盘或焊锡；
步骤S103：通过机器学习方法对第二特征图片中缺陷特征图片和特征元素进行模型训练，得到缺陷特征图片和特征元素特征的对应关系。
步骤S200：通过图片获取设备获取待检测PCBA的图片信息，识别图片信息中的特征元素，根据特征元素划定待检测区域，通过清晰图评价函数评价特征元素是否清晰，对不清晰的区域对应的图片进行重新获取；
其中，步骤S200包括：
步骤S201：将待检测PCBA的完整图片设置为目标图片，在所述目标图片上进行特征元素的目标检测，将待检测PCBA上具有特征元素的区域设置为待检测区域，根据检测到的特征元素在所述目标图片上提取待检测区域对应的待检测图片，所述待检测图片中包括的特征元素图像的面积占目标特征图片总面积的比例大于等于第二特征比例，待检测图片的尺寸与所述待检测区域中特征元素对应的第二特征图片的尺寸相等；
步骤S202：通过清晰度评价函数，计算待检测图片中特征元素图像的清晰度评价值，当所述清晰度评价值大于等于清晰度阈值时，判定待检测图片的图片特征清晰，当所述清晰度评价值小于清晰度阈值时，判定待检测图片的图片特征不清晰；
步骤S203：对图片特征不清晰对应的待检测图片对应的待检测区域重新进行图片获取，使得所有待检测区域对应的待检测图片都判定为特征清晰。
在实际实施过程中，清晰度评价函数可选用能量梯度函数或Roberts函数，
其中，能量梯度函数F1可表示为： 将p1方向和q1方向的相邻像素的灰度值之差的平方和作为每个像素点的梯度值，对所有像素梯度值累加作为清晰度评价函数值，p1的取值范围是(a1，b1)q1的取值范围是(a2，b2)，f表示像素点的灰度值，a1、a2、b1和b2表示像素坐标；
Roberts函数F2可表示为： 利用对角线方向像素点灰度值之差，将4个相邻像素点的灰度值交叉想见的平方和作为每个像素点的梯度值，对所有像素梯度值累加作为清晰度评价函数值，p2的取值范围是(a3，b3)q2的取值范围是(a4，b4)，f表示像素点的灰度值，a3、a4、b3和b4表示像素坐标；
步骤S300：获取不同缺陷种类对应的缺陷检测最低分辨率，获取缺陷检测过程中，处理不同分辨率图片的单位时间；
其中，步骤S300包括：
步骤S301：根据缺陷种类的尺寸设置不同缺陷种类对应的清晰度阈值，当某种缺陷种类对应的待检测图片的清晰度评价值等于对应的清晰度阈值时，待检测图片的分辨率为所述某种缺陷种类对应的缺陷检测最低分辨率；
步骤S302：获取不同图像分辨率进行缺陷检测需要的单位时间，所述单位时间是处理单位面积的不同分辨率图像需要的时间。
步骤S400：分析缺陷数量在缺陷种类和PCBA种类上的变化情况，将缺陷数量随PCBA种类变化的情况设置为第一检测模式，将缺陷数量随缺陷种类变化的情况设置为第二检测模式，调整图片获取设备的检测模式；
其中，步骤S400包括：
步骤S401：将对一个PCBA的一次缺陷识记为一次缺陷检测，一次缺陷检测对应一条缺陷检测记录，其中一条检测记录中包括：PCBA类型、检测到的缺陷类型和各个缺陷的类型对应的数量；
步骤S402：从若干条检测记录中获取到缺陷总个数N，计算不同种类的PCBA出现的缺陷次数占N的比例，汇集各种PCBA出现缺陷的次数占N的比例值，得到第一缺陷占比序列，计算不同种类的缺陷次数占N的比例，汇集各个缺陷种类出现的次数占N的比例值，得到第二缺陷比例序列，计算第一缺陷占比序列中数据的离散程度δ1和第二缺陷比例序列中数据的离散程度δ2；
步骤S403：根据δ1和δ2的数值，当δ1≥δ2时，判定为第一检测模式，当δ1＜δ2时判定为第二检测模式。
步骤S500：构建PCBA缺陷检测用时与图片分辨率的模型，计算第一检测模式采用的第一检测分辨率，根据第二检测模式中的不同缺陷种类的缺陷数量，设置第二检测模式的第二检测分辨率，在对待检测PCBA进行缺陷检测时，根据检测模式采用对应的分辨率，调整获取PCBA的完整图片时的图片分辨率；
其中，步骤S500包括：
步骤S501：当δ1≥δ2时，获取PCBA在所述若干条检测记录中，各个缺陷种类对应出现次数的数量，将所有k个缺陷种类对应的缺陷检测最低分辨率从低到高排列，汇集成缺陷检测分辨率序列R，其中R＝{r1、r2、r3、……、rk}，其中，r1、r2、r3、……和rk分别表示分辨率从低到高排列后的第1种、第2种、第3种、……、第k种缺陷对应的缺陷检测最低分辨率；
步骤S502：通过函数模型TF(rx)计算初始分辨率为rx时完成对某种PCBA一次检测需要的时间，其中，其中ni表示第i种缺陷在所述某种PCBA中出现的次数，ui表示第i种缺陷对应的缺陷检测最低分辨率，Ci表示第i种缺陷对应的第二特征图片的图片尺寸，ti表示第i种缺陷在采用对应的缺陷检测最低分辨率进行缺陷检测时需要的单位时间，TD(rx)表示在分辨率为rx条件下，对所述某种PCBA的完整图片进行缺陷识别花费的时间，其中，rx的数值从R中取，满足条件1≤x≤k，调整rx取值使得TF(rx)的值最小时rx为所述某种PCBA对应的第一检测分辨率；
在实施过程中，取到TF(rx)最小值后，每次通过分辨率rx的规格，取到待检测PCBA的完整图片，当rx不满足部分缺陷特征的清晰度判断条件时，对待检测区域进行重新获取花费的时间为TD(rx)，进一步花费计算结果表示的时间完成一次PCBA的检测；
步骤S503：当δ1＜δ2时，将第二缺陷比例序列中最大值对应的缺陷种类设置为目标缺陷种类，获取目标缺陷种类对应的缺陷检测最低分辨率ry，将ry设置为获取到的PCBA完整图片的第二检测分辨率。
系统包括：
缺陷特征关联模块、清晰度判断模块、分辨率管理模块、测试模式管理模块和检测分辨率管理模块；
其中，缺陷特征关联模块用于提取和管理PCBA的缺陷特征，获取各个缺陷特征对应的获取第二特征图片，其中，清晰度判断模块包括：特征比对单元、待检测区域选择单元、清晰度计算单元和清晰度评价单元，其中，特征比对单元用于比对PCBA图片中的特征元素，待检测区域选择单元用于选择PCBA图片上的待检测区域，清晰度计算单元用于通过清晰度评价函数计算待检测图片的清晰度，清晰度评价单元用于评价待检测图片都判定为特征清晰；
其中，清晰度判断模块用于通过清晰图评价函数评价特征元素是否清晰；
其中，分辨率管理模块用于计算缺陷识别模型处理不同分辨率图片的单位时间；
其中，测试模式管理模块用于管理图片获取设备的工作模式，其中，测试模式管理模块包括：缺陷记录单元、记录统计单元、离散程度计算单元和模式判断单元，其中，缺陷记录单元用于记录PCBA的缺陷记录，记录统计单元用于计算不同种类的PCBA出现的缺陷次数占缺陷总个数的比例和计算不同种类的缺陷次数占缺陷总个数的比例，离散程度计算单元用于计算第一缺陷占比序列中数据的离散程度和第二缺陷比例序列中数据的离散程度，模式管理单元用于管理图片获取设备的工作模式；
其中，检测分辨率管理模块用于计算第一检测分辨率和第二检测分辨率，其中，检测分辨率管理模块包括：分辨率排序单元、时间消耗计算单元、第一检测分辨率选择单元和第二分检测辨率选择单元，分辨率排序单元用于将缺陷种类对应的缺陷检测最低分辨率从低到高排列，时间消耗计算单元用于计算某种PCBA一次检测需要的时间，第一检测分辨率选择单元用于选择第一检测分辨率，第二检测分辨率选择单元用于选择第二检测分辨率
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于数据分析的PCBA智能检测方法，其特征在于，所述方法包括以下步骤：
步骤S100：从PCBA缺陷检测的历史记录中，根据缺陷尺寸的不同，获取各个缺陷种类对应尺寸的特征图片，获取PCBA中存在缺陷位置周围布局的特征元素，将特征图片和特征元素作为训练样本，通过机器学习的方法获取缺陷特征和特征元素的对应关系；
步骤S100包括：
步骤S101：从PCBA缺陷检测的历史记录中获取不同种类缺陷的缺陷特征图像，分别提取不同缺陷种类的图像特征，根据缺陷种类的尺寸，设置不同缺陷种类对应的缺陷特征图片的尺寸，将缺陷特征图片的几何中心与图片中缺陷特征图像的几何中心重合，计算缺陷特征图片中缺陷特征图像面积占对应缺陷特征图片面积的比例，记为第一特征比例；
步骤S102：获取第二特征图片，所述第二特征图片包括缺陷特征图片和特征元素，所述特征元素为：第二特征图片包括的PCBA中的电子元件、电子配件或电子元件和电子配件的组合，计算缺陷特征图片占对应第二特征图片面积的比例，记为第二特征比例；
步骤S103：通过机器学习方法对第二特征图片中缺陷特征图片和特征元素进行模型训练，得到缺陷特征图片和特征元素特征的对应关系；
步骤S200：通过图片获取设备获取待检测PCBA的图片信息，识别图片信息中的特征元素，根据特征元素划定待检测区域，通过清晰图评价函数评价特征元素是否清晰，对不清晰的区域对应的图片进行重新获取；
步骤S300：获取不同缺陷种类对应的缺陷检测最低分辨率，获取缺陷检测过程中，处理不同分辨率图片的单位时间；
步骤S300包括：
步骤S301：根据缺陷种类的尺寸设置不同缺陷种类对应的清晰度阈值，当某种缺陷种类对应的待检测图片的清晰度评价值等于对应的清晰度阈值时，待检测图片的分辨率为所述某种缺陷种类对应的缺陷检测最低分辨率；
步骤S302：获取不同图像分辨率进行缺陷检测需要的单位时间，所述单位时间是处理单位面积的不同分辨率图像需要的时间；
步骤S400：分析缺陷数量在缺陷种类和PCBA种类上的变化情况，将缺陷数量随PCBA种类变化的情况设置为第一检测模式，将缺陷数量随缺陷种类变化的情况设置为第二检测模式，调整图片获取设备的检测模式；
步骤S400包括：
步骤S401：将对一个PCBA的一次缺陷识记为一次缺陷检测，一次缺陷检测对应一条缺陷检测记录，其中一条检测记录中包括：PCBA类型、检测到的缺陷类型和各个缺陷的类型对应的数量；
步骤S402：从若干条检测记录中获取到缺陷总个数N，计算不同种类的PCBA出现的缺陷次数占N的比例，汇集各种PCBA出现缺陷的次数占N的比例值，得到第一缺陷占比序列，计算不同种类的缺陷次数占N的比例，汇集各个缺陷种类出现的次数占N的比例值，得到第二缺陷比例序列，计算第一缺陷占比序列中数据的离散程度δ1和第二缺陷比例序列中数据的离散程度δ2；
步骤S403：根据δ1和δ2的数值，当δ1≥δ2时，判定为第一检测模式，当δ1＜δ2时判定为第二检测模式；
步骤S500：构建PCBA缺陷检测用时与图片分辨率的模型，计算第一检测模式采用的第一检测分辨率，根据第二检测模式中的不同缺陷种类的缺陷数量，设置第二检测模式的第二检测分辨率，在对待检测PCBA进行缺陷检测时，根据检测模式采用对应的分辨率，调整获取PCBA的完整图片时的图片分辨率；
步骤S500包括：
步骤S501：当δ1≥δ2时，获取PCBA在所述若干条检测记录中，各个缺陷种类对应出现次数的数量，将所有k个缺陷种类对应的缺陷检测最低分辨率从低到高排列，汇集成缺陷检测分辨率序列R，其中R＝{r1、r2、r3、……、rk}，其中，r1、r2、r3、……和rk分别表示分辨率从低到高排列后的第1种、第2种、第3种、……、第k种缺陷对应的缺陷检测最低分辨率；
步骤S502：通过函数模型TF(rx)计算初始分辨率为rx时完成对某种PCBA一次检测需要的时间，其中，其中ni表示第i种缺陷在所述某种PCBA中出现的次数，ui表示第i种缺陷对应的缺陷检测最低分辨率，Ci表示第i种缺陷对应的第二特征图片的图片尺寸，ti表示第i种缺陷在采用对应的缺陷检测最低分辨率进行缺陷检测时需要的单位时间，TD(rx)表示在分辨率为rx条件下，对所述某种PCBA的完整图片进行缺陷识别花费的时间，其中，rx的数值从R中取，满足条件1≤x≤k，调整rx取值使得TF(rx)的值最小时rx为所述某种PCBA对应的第一检测分辨率；
步骤S503：当δ1＜δ2时，将第二缺陷比例序列中最大值对应的缺陷种类设置为目标缺陷种类，获取目标缺陷种类对应的缺陷检测最低分辨率ry，将ry设置为获取到的PCBA完整图片的第二检测分辨率。
2.根据权利要求1所述的一种基于数据分析的PCBA智能检测方法，其特征在于：步骤S200包括：
步骤S201：将待检测PCBA的完整图片设置为目标图片，在所述目标图片上进行特征元素的目标检测，将待检测PCBA上具有特征元素的区域设置为待检测区域，根据检测到的特征元素在所述目标图片上提取待检测区域对应的待检测图片，所述待检测图片中包括的特征元素图像的面积占目标特征图片总面积的比例大于等于第二特征比例，待检测图片的尺寸与所述待检测区域中特征元素对应的第二特征图片的尺寸相等；
步骤S202：通过清晰度评价函数，计算待检测图片中特征元素图像的清晰度评价值，当所述清晰度评价值大于等于清晰度阈值时，判定待检测图片的图片特征清晰，当所述清晰度评价值小于清晰度阈值时，判定待检测图片的图片特征不清晰；
步骤S203：对图片特征不清晰对应的待检测图片对应的待检测区域重新进行图片获取，使得所有待检测区域对应的待检测图片都判定为特征清晰。
3.一种用于权利要求1-2中任意一项所述的一种基于数据分析的PCBA智能检测方法的PCBA智能检测系统，其特征在于，所述系统包括以下模块：
缺陷特征关联模块、清晰度判断模块、分辨率管理模块、测试模式管理模块和检测分辨率管理模块，其中，缺陷特征关联模块用于提取和管理PCBA的缺陷特征，获取各个缺陷特征对应的获取第二特征图片，清晰度判断模块用于通过清晰图评价函数评价特征元素是否清晰，分辨率管理模块用于计算缺陷识别模型处理不同分辨率图片的单位时间，测试模式管理模块用于管理图片获取设备的工作模式，检测分辨率管理模块用于计算第一检测分辨率和第二检测分辨率。
4.根据权利要求3所述的PCBA智能检测系统，其特征在于：清晰度判断模块包括：特征比对单元、待检测区域选择单元、清晰度计算单元和清晰度评价单元，其中，特征比对单元用于比对PCBA图片中的特征元素，待检测区域选择单元用于选择PCBA图片上的待检测区域，清晰度计算单元用于通过清晰度评价函数计算待检测图片的清晰度，清晰度评价单元用于评价待检测图片都判定为特征清晰。
5.根据权利要求4所述的PCBA智能检测系统，其特征在于：测试模式管理模块包括：缺陷记录单元、记录统计单元、离散程度计算单元和模式判断单元，其中，缺陷记录单元用于记录PCBA的缺陷记录，记录统计单元用于计算不同种类的PCBA出现的缺陷次数占缺陷总个数的比例和计算不同种类的缺陷次数占缺陷总个数的比例，离散程度计算单元用于计算第一缺陷占比序列中数据的离散程度和第二缺陷比例序列中数据的离散程度，模式管理单元用于管理图片获取设备的工作模式。
6.根据权利要求5所述的PCBA智能检测系统，其特征在于：检测分辨率管理模块包括：分辨率排序单元、时间消耗计算单元、第一检测分辨率选择单元和第二分检测辨率选择单元，分辨率排序单元用于将缺陷种类对应的缺陷检测最低分辨率从低到高排列，时间消耗计算单元用于计算某种PCBA一次检测需要的时间，第一检测分辨率选择单元用于选择第一检测分辨率，第二检测分辨率选择单元用于选择第二检测分辨率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476105.XA CN117456168B (zh) | 2023-11-08 | 2023-11-08 | 一种基于数据分析的pcba智能检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476105.XA CN117456168B (zh) | 2023-11-08 | 2023-11-08 | 一种基于数据分析的pcba智能检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456168A CN117456168A (zh) | 2024-01-26 |
| CN117456168B true CN117456168B (zh) | 2024-04-16 |
Family
ID=89590719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311476105.XA Active CN117456168B (zh) | 2023-11-08 | 2023-11-08 | 一种基于数据分析的pcba智能检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456168B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5784484A (en) * | 1995-03-30 | 1998-07-21 | Nec Corporation | Device for inspecting printed wiring boards at different resolutions |
| KR20100095760A (ko) * | 2009-02-23 | 2010-09-01 | 삼성전기주식회사 | 카메라 모듈 |
| JP2012052968A (ja) * | 2010-09-02 | 2012-03-15 | Sharp Corp | 欠陥検出装置、欠陥検出方法、欠陥検出用プログラムおよび記録媒体 |
| WO2013118306A1 (ja) * | 2012-02-10 | 2013-08-15 | シャープ株式会社 | 欠陥検出装置、欠陥検出方法、欠陥検出用プログラムを記録したコンピュータ読取り可能な記録媒体 |
| CN111462094A (zh) * | 2020-04-03 | 2020-07-28 | 联觉(深圳)科技有限公司 | Pcba元器件检测方法、装置及计算机可读存储介质 |
| CN113573569A (zh) * | 2021-07-28 | 2021-10-29 | 珠海博瑞通电子科技有限公司 | 一种可视门铃pcba板封装设备及封装方法 |
| CN113724216A (zh) * | 2021-08-24 | 2021-11-30 | 广东工业大学 | 一种波峰焊点缺陷检测方法及系统 |
| KR20220056584A (ko) * | 2020-10-28 | 2022-05-06 | 주식회사 에머릭스 | Pcba 검사장치 |
| WO2022135787A1 (de) * | 2020-12-23 | 2022-06-30 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten |
| CN115601341A (zh) * | 2022-10-26 | 2023-01-13 | 上海闻泰信息技术有限公司（Cn） | Pcba板缺陷检测方法、系统、设备、介质及产品 |
| CN115775246A (zh) * | 2022-12-07 | 2023-03-10 | 广东工业大学 | 一种pcb元器件缺陷检测的方法 |
| CN115861291A (zh) * | 2023-01-06 | 2023-03-28 | 曲阜天博汽车电器有限公司 | 基于机器视觉的贴片电路板生产缺陷检测方法 |
| CN116091416A (zh) * | 2022-12-12 | 2023-05-09 | 北京百度网讯科技有限公司 | 印制电路板组装缺陷检测、变化检测模型训练方法及装置 |
| CN116228741A (zh) * | 2023-04-10 | 2023-06-06 | 广东工业大学 | 一种pcba元器件缺陷检测方法及装置 |
| CN116740460A (zh) * | 2023-06-30 | 2023-09-12 | 重庆宇隆电子技术研究院有限公司 | 一种基于卷积神经网络的pcb缺陷检测系统及检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10175177B2 (en) * | 2012-01-30 | 2019-01-08 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods |
| US11016035B2 (en) * | 2017-09-18 | 2021-05-25 | Elite Semiconductor Inc. | Smart defect calibration system and the method thereof |
-
2023
- 2023-11-08 CN CN202311476105.XA patent/CN117456168B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5784484A (en) * | 1995-03-30 | 1998-07-21 | Nec Corporation | Device for inspecting printed wiring boards at different resolutions |
| KR20100095760A (ko) * | 2009-02-23 | 2010-09-01 | 삼성전기주식회사 | 카메라 모듈 |
| JP2012052968A (ja) * | 2010-09-02 | 2012-03-15 | Sharp Corp | 欠陥検出装置、欠陥検出方法、欠陥検出用プログラムおよび記録媒体 |
| WO2013118306A1 (ja) * | 2012-02-10 | 2013-08-15 | シャープ株式会社 | 欠陥検出装置、欠陥検出方法、欠陥検出用プログラムを記録したコンピュータ読取り可能な記録媒体 |
| CN111462094A (zh) * | 2020-04-03 | 2020-07-28 | 联觉(深圳)科技有限公司 | Pcba元器件检测方法、装置及计算机可读存储介质 |
| KR20220056584A (ko) * | 2020-10-28 | 2022-05-06 | 주식회사 에머릭스 | Pcba 검사장치 |
| WO2022135787A1 (de) * | 2020-12-23 | 2022-06-30 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten |
| CN113573569A (zh) * | 2021-07-28 | 2021-10-29 | 珠海博瑞通电子科技有限公司 | 一种可视门铃pcba板封装设备及封装方法 |
| CN113724216A (zh) * | 2021-08-24 | 2021-11-30 | 广东工业大学 | 一种波峰焊点缺陷检测方法及系统 |
| CN115601341A (zh) * | 2022-10-26 | 2023-01-13 | 上海闻泰信息技术有限公司（Cn） | Pcba板缺陷检测方法、系统、设备、介质及产品 |
| CN115775246A (zh) * | 2022-12-07 | 2023-03-10 | 广东工业大学 | 一种pcb元器件缺陷检测的方法 |
| CN116091416A (zh) * | 2022-12-12 | 2023-05-09 | 北京百度网讯科技有限公司 | 印制电路板组装缺陷检测、变化检测模型训练方法及装置 |
| CN115861291A (zh) * | 2023-01-06 | 2023-03-28 | 曲阜天博汽车电器有限公司 | 基于机器视觉的贴片电路板生产缺陷检测方法 |
| CN116228741A (zh) * | 2023-04-10 | 2023-06-06 | 广东工业大学 | 一种pcba元器件缺陷检测方法及装置 |
| CN116740460A (zh) * | 2023-06-30 | 2023-09-12 | 重庆宇隆电子技术研究院有限公司 | 一种基于卷积神经网络的pcb缺陷检测系统及检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| A Contactless PCBA Defect Detection Method: Convolutional Neural Networks With Thermographic Images;M. Jeon 等;IEEE Transactions on Components, Packaging and Manufacturing Technology;20220127;第12卷(第1期);489-501 * |
| Algorithmic Scheme for Concurrent Detection and Classification of Printed Circuit Board Defects;Jakkrit Onshaunjit 等;Computers, Materials & Continua;20211103;355-367 * |
| Defect Detection for Printed Circuit Board Assembly Using Deep Learning;J. Ren 等;2022 8th International Conference on Control Science and Systems Engineering (ICCSSE);20230331;85-89 * |
| PCBA板载DDR芯片焊点缺陷检测研究;姜也 等;仪器仪表学报;20230215;第44卷(第2期);129-137 * |
| 基于机器视觉的三维锡膏测量;师雪超;中国优秀硕士学位论文全文数据库 (信息科技辑);20111215(第(2011)12期);I138-956 * |
| 基于深度学习的PCBA表面工艺缺陷检测系统设计与实现;汤鹏;万方;20231101;1-119 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456168A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6922168B2 (ja) | 表面実装ラインの品質管理システム及びその制御方法 | |
| CN111899241B (zh) | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 | |
| CN101303226A (zh) | 一种基于最大连通域的线路板线宽测量方法 | |
| CN111681235B (zh) | 一种基于学习机制的ic焊点缺陷检测方法 | |
| CN114862832A (zh) | 缺陷检测模型的优化方法、装置、设备及存储介质 | |
| CN111882547A (zh) | 一种基于神经网络的pcb漏件检测方法 | |
| US6807288B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| CN117456168B (zh) | 一种基于数据分析的pcba智能检测系统及方法 | |
| CN116778520B (zh) | 一种海量证照数据质量检验方法 | |
| CN105704405B (zh) | 影像感测装置与缺陷像素检测与补偿方法 | |
| US7593571B2 (en) | Component edge detecting method, computer-readable recording medium and component inspection apparatus | |
| CN116067671B (zh) | 一种用于测试车辆漆面质量的方法、系统及介质 | |
| CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN116068378A (zh) | 一种基于物联网的光芯片生产检测系统及方法 | |
| TW202113599A (zh) | 依據標準值建立檢測模型以確認焊接狀態之系統及方法 | |
| CN115941934A (zh) | 基于深度卷积神经网络的多帧融合视频噪声评估方法 | |
| JP3342581B2 (ja) | 塗膜劣化自動診断方法及び装置 | |
| CN109975686B (zh) | 一种基于红外图像处理的电路板短路自动识别方法 | |
| CN112149546B (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
| CN111582015A (zh) | 利用云端存储的多参数解析平台 | |
| JP5130257B2 (ja) | 画像処理装置 | |
| KR102129970B1 (ko) | 전자부품 검사 데이터 매칭 방법 및 장치 | |
| Tan et al. | Fast retrievals of test-pad coordinates from photo images of printed circuit boards | |
| KR101032917B1 (ko) | 홀 군집체 검사 방법 | |
| CN117934487B (zh) | 一种扫描噪点和误差的检测方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |