CN118169144B - 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质 - Google Patents

一种基于多级匹配和ai复检的缺陷检测方法、系统及介质 Download PDF

Info

Publication number
CN118169144B
CN118169144B CN202410527838.XA CN202410527838A CN118169144B CN 118169144 B CN118169144 B CN 118169144B CN 202410527838 A CN202410527838 A CN 202410527838A CN 118169144 B CN118169144 B CN 118169144B
Authority
CN
China
Prior art keywords
image
defect
areas
imposition
pcb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410527838.XA
Other languages
English (en)
Other versions
CN118169144A (zh
Inventor
张振
程克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Hexin Technology Co ltd
Original Assignee
Suzhou Hexin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Hexin Technology Co ltd filed Critical Suzhou Hexin Technology Co ltd
Priority to CN202410527838.XA priority Critical patent/CN118169144B/zh
Publication of CN118169144A publication Critical patent/CN118169144A/zh
Application granted granted Critical
Publication of CN118169144B publication Critical patent/CN118169144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多级匹配和AI复检的缺陷检测方法、系统及介质，所述方法包括以下步骤：基于多PC架构配置采集端、处理端及中控端，对采集端和中控端进行工作逻辑初始化，在处理端选取高效处理器；调用采集端以及中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至高效处理器；调用高效处理器对接收的来料PCB图像进行单元化分级分析处理；本发明能够基于多工作设备的调控配合，实现高效的传输调度，提高检测效率；基于多级匹配方案和自适应区域划分方案，提升图像对准精度；基于AI网络进行检测结果验证，降低产品误判率及人工成本，具有较高的应用价值以及较广的应用范围。

Description

一种基于多级匹配和AI复检的缺陷检测方法、系统及介质
技术领域
本发明涉及自动光学检测技术领域，具体的，本发明应用于PCB检测领域，特别是涉及一种基于多级匹配和AI复检的缺陷检测方法、系统及介质。
背景技术
目前，生产PCB板的过程中，需要对PCB板进行缺陷检测，从而保证PCB板的质量和品质。
现有的PCB裸板检测方式包括：
（一）人工目检：通过显微镜来检测PCB板是否有质量问题。
（二）接触式检测：如电测试，使用针床对PCB板进行接触式电测。
（三）非接触式检测：如基于机器视觉的AOI检测技术；这种方式的灵活性高，检测速度快，检测损伤小，可靠性强，已成为主要的检测技术；
具体的，AOI检测系统，通常由图像采集系统、光学系统、运动控制系统以及图像处理系统这几个重要模块组成；
其中，图像采集系统、光学系统与运动控制系统组合构建了一个机器视觉成像系统，用于采集PCB裸板的待检测图像（更具体的，运动控制系统将PCB板传送到采集相机视野下，经由光学系统模块的照明打光，扫描获取到高质量的PCB成像图）；
其中，图像处理系统，利用图像处理技术对采集的图像进行分析、提取及数据处理，将图像中存在缺陷的区域检测出来；图像分析过程中，采用的PCB检测算法包括直接检测分析法和参考比较法；直接检测分析法主要通过边界分析，基元提取，并结合数学形态学处理来达到检测效果；参考比较法是基于模
板匹配算法，将模板图像与实际图像进行配准对位，然后比较两幅图像的差异，将差异部分提取进行分析，实现PCB板缺陷的提取；但是，目前不管哪种算法，在检测效率、误判率、漏检率以及检测精度方面都存在欠缺，需要不断改进和提升。
另外，目前生产线上，通常会将检测后的缺陷PCB进行人工复判，这种方式无疑增加了检修站复判的工作量，增加了人工成本，同时降低了生产效率。
发明内容
本发明的目的在于，提供一种基于多级匹配和AI复检的缺陷检测方法、系统及介质，进而解决现有技术中存在的上述所有问题或问题之一。
为解决上述技术问题，本发明的具体技术方案如下：
一方面，本发明提供一种基于多级匹配和AI复检的缺陷检测方法，包括以下步骤：
初始化步骤：
基于多PC架构配置采集端、处理端及中控端，对所述采集端和所述中控端进行工作逻辑初始化，在所述处理端选取高效处理器；
图像采集步骤：
调用所述采集端以及所述中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至所述高效处理器；
图像处理步骤：
调用所述高效处理器对接收的所述来料PCB图像进行单元化分级分析处理；所述单元化分级分析处理，包括：基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，根据配准后的图像进行缺陷按类分析，得到分类缺陷结果；对所述分类缺陷结果进行基于AI模型的误判检测。
作为一种改进的方案，所述对所述采集端和所述中控端进行工作逻辑初始化，包括：设置所述中控端基于来料起始信号和来料停止信号对所述采集端的采集存储动作进行触发；设置所述采集端在所述中控端未收到所述来料起始信号前，进行图像片段式采集，并将采集的图像进行丢弃；
所述在所述处理端选取高效处理器，包括：调用所述中控端监控所述处理端的处理进度；响应于所述中控端收到所述来料起始信号，根据所述处理端的处理进度以及所述处理端的空闲情况计算所述处理端对于所述来料PCB的处理时长；选取所述处理时长最小的所述处理端作为所述高效处理器；调用所述中控端根据所述来料PCB的序列号和所述高效处理器的处理器编号生成地址信号，并将所述地址信号发送至所述采集端。
作为一种改进的方案，所述图像采集步骤，进一步包括：
调用所述采集端对所述来料PCB进行扫描；
响应于扫描过程中，调用所述采集端每隔第一间隔参数输出所述来料PCB的部分图像，调用所述采集端将采集的所述部分图像根据所述地址信号存储至缓存段；
响应于扫描过程中，每当所述缓存段存在所述部分图像时，将所述部分图像发送至所述高效处理器；
响应于一片所述来料PCB扫描结束，调用所述中控端向所述采集端发送停止信号；调用所述采集端在收到所述停止信号时，停止将采集的图像置入所述缓存段，调用所述高效处理器将所有所述部分图像拼接为所述来料PCB图像。
作为一种改进的方案，所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准之前，包括：设置与所述来料PCB对应的模板图像，在所述模板图像中划分若干拼版区域以及若干单元检测区域，将划分后的所述模板图像作为所述预置模版文件；
所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，包括：根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准；
所述根据配准后的图像进行缺陷按类分析，得到分类缺陷结果，包括：按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果作为所述分类缺陷结果；
所述对所述分类缺陷结果进行基于AI模型的误判检测之前，包括：配置训练数据集，基于所述训练数据集和随机梯度下降算法训练AI检测模型。
作为一种改进的方案，所述在所述模板图像中划分若干拼版区域以及若干单元检测区域，包括：
根据PCB的图纸信息划分所述模板图像中的若干所述拼版区域；
对每个所述拼版区域分别进行基于轮廓特征点遍历的特征点调整；
在特征点调整后的每个所述拼版区域中，划分若干所述单元检测区域；
设置单个所述单元检测区域的尺寸上限以及特征点个数要求；
根据所述尺寸上限以及所述特征点个数要求调整每个所述拼版区域中若干所述单元检测区域的尺寸及数量。
作为一种改进的方案，所述根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准，包括：
基于所述来料PCB的特征，将所述来料PCB图像与所述模板图像进行初级对准，令所述初级对准后的所述模板图像中的若干所述拼版区域分别为若干第一拼版区域，令所述第一拼版区域中的若干所述单元检测区域分别为若干第一单元检测区域；
根据若干所述第一拼版区域将所述来料PCB图像划分出若干第二拼版区域，依次对每个所述第二拼版区域，均执行单元对准操作，所述单元对准操作，包括：根据所述第二拼版区域对应的所述第一拼版区域的mark信息，将所述第二拼版区域与所述第一拼版区域进行对位；对位后，根据所述第一拼版区域中若干所述第一单元检测区域的划分方式，在所述第二拼版区域中划分若干第二单元检测区域；将若干所述第二单元检测区域与若干所述第一单元检测区域分别进行一一对准。
作为一种改进的方案，所述按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果，包括：
设置第一颜色范围，根据所述第一颜色范围提取所述配准后的图像中的铜材部分，生成第一二值图，将所述第一二值图与所述模板图像作差，得到第一差异结果图；
设置第二颜色范围，根据所述第二颜色范围提取所述配准后的图像中的基材部分，生成第二二值图，将所述第二二值图与所述模板图像作差，得到第二差异结果图；
将所述第一差异结果图和所述第二差异结果图合并，得到第三差异结果图；
确认所述第三差异结果图中的缺陷位置，并根据所述缺陷位置对应的元素类型判断所述缺陷位置是否达标，得到所述第一缺陷结果；
对所述铜材部分进行颜色达标分析，得到所述第二缺陷结果；
对所述配准后的图像中的孔区域及环区域进行尺寸达标分析，得到所述第三缺陷结果。
作为一种改进的方案，所述对所述分类缺陷结果进行基于AI模型的误判检测，包括：
根据所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果，在所述来料PCB图像中裁剪对应位置的缺陷图像；
将裁剪的所述缺陷图像输入至所述AI检测模型进行分析，根据所述AI检测模型输出的判定结果，判断所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果的正确性。
另一方面，本发明还提供一种基于多级匹配和AI复检的缺陷检测系统，包括：
初始化模块，用于：基于多PC架构配置采集端、处理端及中控端，对所述采集端和所述中控端进行工作逻辑初始化，在所述处理端选取高效处理器；
图像采集模块，用于：调用所述采集端以及所述中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至所述高效处理器；
图像处理模块，用于：调用所述高效处理器对接收的所述来料PCB图像进行单元化分级分析处理；所述单元化分级分析处理，包括：基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，根据配准后的图像进行缺陷按类分析，得到分类缺陷结果；对所述分类缺陷结果进行基于AI模型的误判检测。
另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多级匹配和AI复检的缺陷检测方法的步骤。
本发明技术方案的有益效果是：
本发明所述的基于多级匹配和AI复检的缺陷检测方法，可以基于多工作设备的调控配合，实现高效的传输调度，提高检测效率；基于多级匹配方案和自适应区域划分方案，提升图像对准精度；基于AI网络进行检测结果的验证，降低产品的误判率以及操作的人工成本，具有较高的应用价值以及较广的应用范围。
本发明所述的基于多级匹配和AI复检的缺陷检测系统，可以通过初始化模块、图像采集模块和图像处理模块的相互配合，进而基于多工作设备的调控配合，实现高效的传输调度，提高检测效率；基于多级匹配方案和自适应区域划分方案，提升图像对准精度；基于AI网络进行检测结果的验证，降低产品的误判率以及操作的人工成本，具有较高的应用价值以及较广的应用范围。
本发明所述的计算机可读存储介质，可以实现引导初始化模块、图像采集模块和图像处理模块进行配合，进而实现本发明所述的基于多级匹配和AI复检的缺陷检测方法，且本发明所述的计算机可读存储介质还有效提高所述基于多级匹配和AI复检的缺陷检测方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述基于多级匹配和AI复检的缺陷检测方法的流程示意图；
图2是本发明实施例1所述基于多级匹配和AI复检的缺陷检测方法中所述中控端的工作流程示意图：
图3是本发明实施例1所述基于多级匹配和AI复检的缺陷检测方法中所述采集端的工作流程示意图：
图4是本发明实施例1所述基于多级匹配和AI复检的缺陷检测方法进行来料PCB图像检测处理时的流程示意图：
图5是本发明实施例1所述基于多级匹配和AI复检的缺陷检测方法中所述AI模型的网络结构示意图：
图6是本发明实施例2所述基于多级匹配和AI复检的缺陷检测系统的架构示意图；
图7是本发明实施例4所述计算机设备的结构示意图；
附图中的标记说明如下：
1501、处理器；1502、通信接口；1503、存储器；1504、通信总线。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明的描述中，需要说明的是，现有的PCB的质检工序，主要包括：检测PCB板的线路是否存在开路、短路、缺口、线幼以及蚀刻不尽等问题；检测PCB板是否存在孔洞缺失，偏移现象；检测PCB板焊盘大小是否满足需求；检测PCB板的铜面是否存在刮伤、破损、压痕及脏污等问题。
在本发明的描述中，需要说明的是，PCB裸板的尺寸一般比较大，这就使得PCB整板的图像数据量特别大，若全部放在一台机器上进行处理，处理速度就会跟不上产线的产能，可由多组机器合作完成PCB裸板的检测；因此，如何安排分配各个机器的任务，图像数据流如何传输才能在有限的机器基础上进行最高效的检测是我们需要解决的问题；常用的检测方法中，直接检测分析法是通过边界分析和基元提取，对PCB板上各个模块进行分析检测，这种方法比较受PCB板类型的限制，当PCB板元素多且复杂时，计算量便会明显增加，而且由于要单独分析，算法的复杂度，操作复杂性都会增加；参考比较法是通过模板匹配和图像比较的方式进行检测的，图像配准的精度会直接影响检测的结果，模板匹配后对检测图像进行变换时，如果图像区域比较大，图像对准的精度就更加不好保证，如果选取图像区域过小，一方面会增加计算量，另一方面区域内特征点偏少，也不利于模板匹配算法；另外，每个区域的规格标准并不完全一致，仅通过比较的差异来判断会引入一部分不必要的误判。
在本发明的描述中，需要说明的是，模板图像与实际图像的对准精度，对检测的最终结果有着很大的影响，单元检测区域的划分如果不合适，模板匹配的方案和算法精度如果不能满足要求，模板图像与实际图像对准的准确度就会降低，从而导致检测结果不佳；选择一套合适的模板匹配方案，划分合适的单元检测区域，是很多人会忽略的但又十分重要的问题。
在本发明的描述中，需要说明的是，线路、铜片以及孔环的检测规格是不一样的，与模板图像比较作差后，提取出来的差异部分，如果统一进行分析处理，会引入误判，如何对提取出来的差异部分进行分类分析，是提高PCB检测性能的一个关键问题。
在本发明的描述中，需要说明的是，PCB（Printed Circuit Board）是印刷电路板。
实施例1
本实施例提供一种基于多级匹配和AI复检的缺陷检测方法，如图1~图5所示，包括以下步骤：
本方法的核心功能在于，设计多设备并行处理图像的采集、传输以及处理任务，提升了工作效率；基于分级定位匹配策略提升了图像对准的精度以及差异缺陷的识别正确性，最终还基于AI模型进行检测结果的核实验证，防止检测误判，提升了整个检测过程的精准度，无需人工复检，降低了使用成本，具体步骤如下：
S100、初始化步骤：
在本步骤中，进行本方法中所需设备的配置以及各种控制逻辑的设置，具体如下：
在一种实现方式中，进行扫描设备和处理设备的配置，如下：
其中，采用4+4个16K彩色线扫相机作为本方法的PCB采集设备，进而实现PCB板扫描图像的采集；
其中，采用2+1+4个PC作为本方法的控制中心，进行实现PCB板的采集、传输与处理等；由于单张PCB板的图像数据量非常大，因此上述设计能够有效的提升处理效率及性能；
其中，控制中心的2台PC用于控制线扫相机的采集工作，本实施方式中将其定义为采集端；
其中，控制中心的4台PC用于采集后图像的检测处理，本实施方式中将其定义为kernel端（即处理端）；
其中，控制中心的1台PC用于核心调控，本实施方式中将其定义为中控端。
在一种实现方式中，进行中控端的初始化，并设置线扫相机的工作逻辑以及中控端对于初始化过程中所采集图像的处理逻辑，如下：
其中，响应于机台的运动过程，通过sensor向中控端发送PCB来料的起始信号和停止信号；
其中，进行线扫相机的初始化，控制线扫相机持续进行图像采集，每隔2k输出一图像；
其中，为了防止初始化过程中计算资源和存储资源的占用，在中控端未收到来料开始信号前，将线扫相机采集到的图像直接丢弃，不占用磁盘和传输通道的空间。
在一种实现方式中，为了提升工作效率，在来料时需要计算kernel端处理器的来料图像处理时间，选用处理等待时间最小的处理器进行来料PCB图像的处理，如下：
其中，调用中控端实时监控kernel端的处理进度；
其中，响应于中控端收到sensor发送的来料开始信号，自动生成SN号，并计算当前各个kernel处理器分别处理完该来料PCB板所需要的时间；
其中，任一kernel处理器处理完该来料PCB板所需要时间的计算公式如下：
；
该公式中，，为该kernel处理器处理此类PCB板的最近10片平均处理时间；为该kernel处理器正在处理的产品已耗费的时间；，为缓存序列中等待该kernel处理器处理的产品数量；
其中，根据计算出的时间结果，选择所需时间最小的kernel处理器编号；基于此编号生成地址信号，即：SN+Start+kernel编号的信号；将此地址信号发送至采集端，采集端根据此信号将对应采集的图像进行传输。
S200、图像采集步骤：
在本步骤中，采集端和中控端相互配合，根据前述的地址信号以及并行操作和处理方式，进行图像的高效采集，具体如下：
在一种实现方式中，采集端对来料PCB进行片段式采集处理，每次采集的片段式图像会根据前述的地址信号存储缓存段，缓存段会实时将存储的图像按照地址信号传输至对应的kernel处理器；上述采集和传输过程并行处理，极大的提高了处理效率，如下：
其中，考虑到等待一片完整产品全部扫描完后，再生成一张图像进行传输，会面临巨大的数据量传输及处理问题，会极大的降低处理时效；因此，设置线扫相机每隔2k（即第一间隔参数）导出一张图像；
其中，响应于采集端收到来料信号，将线扫相机采集到的每片图像数据段（16K*2K）根据前述得到SN号依次放入缓存段；
其中，响应于缓存段出现数据，直接将SN+图片+序号发送至对应的kernel处理器；在发送时，还需要将对应数据打包备份至本地磁盘；
其中，响应于一片完整产品扫描结束，通过中控端向采集端发送SN+End信号（即停止信号）；当采集端收到End信号时，说明当前PCB无需再进行图像采集，故将目前采集到的图片直接丢弃，不再放入缓存段；
其中，当采集端收到下一片产品的来料开始信号时，重复上述操作。
S300、图像处理步骤：
在本步骤中，采用处理所需时长最小的kernel处理器接收缓存段发送的来料PCB的每片图像，对每片图像按照标定结果进行拼接，形成一整片来料PCB的图像；过程中，为了能够更加精细化的进行图像的处理，增加模板图像与实际图像的对准精度，达到更加精准和高质量的检测结果，在kernel处理器进行处理时，kernel处理器根据预置的模板文件以及分级定位匹配策略进行来料PCB图像的自适应区域对比；对比后将差异定位至原图纸上，根据不同差异的属性进行针对性分析，实现分类缺陷判断，判断是否满足生产工艺；最终再基于AI技术进行误差筛选，完成来料PCB图像的整个处理过程，具体如下：
S301、配置用于分级定位的模板文件，如下：
其中，首先基于模板图像提取拼版区域：
根据ODB++文件导出模板图像，根据图纸信息提取出模板图像中的Step区域，将Step区域定义为拼版区域；
其中，对拼版区域的特征点进行调整：
提取拼版区域图像中的轮廓，逐段计算每条轮廓的一阶导数和二阶导数；根据计算出的一阶导和二阶导，按照预设的特征点调整策略进行特征点调整；
具体的，特征点调整策略，如下：
1、将所提取轮廓上所有二阶导数不为0的点均提取作特征点；
2、在该轮廓上任意取一点为起始点，沿轮廓方向遍历特征点，计算特征点间的距离，根据距离近判断：
3、若当前特征点与下一特征点间的距离大于，则沿着轮廓线方向每隔插入一个点作为特征点，此插入点为轮廓线上的点；
4、若当前特征点与下一特征点间的距离小于，则计算当前特征点与再下个特征点间的距离；若该距离仍小于，则将这三点中间的特征点删除，并继续计算当前特征点与再下个特征点间的距离；如此重复，直至大于时截止；
5、以上述起始点为参考点，依次遍历轮廓线上的其他特征点，按照上述策略对轮廓线上的特征点进行删除调整，直至所有的特征点均被遍历过。
其中，对调整特征点后的拼版区域图像进行单元检测区域尺寸的计算：
为了提高处理效率以及对准精度，根据分级定位匹配策略，本方法中需要将拼版区域图像划分为多个单元检测区域进行来料PCB图像间的一一对准检测；由于图像处理过程中受匹配等算法的限制，单元测试区域的图像不宜过大；但单元检测区域中的特征点个数若偏少时，图像对准的效果又会降低，因此，需要对合适的单元检测区域进行计算；
具体的，设单元检测区域的大小上限为M*N，且单个单元检测区域中的特征点个数不得少于S个；故将拼版区域图像平均划分为m*n份，如下：
；
；
划分后，单元检测区域的尺寸为：，；
上述公式中，单个拼版区域图像的大小为X*Y；单元检测区域的图像大小上限尺寸为M*N；图像的重合尺寸为L；
其中，上述尺寸计算完毕后，进行每个单元检测区域的修正：
1、计算每个单元检测区域内的特征点个数；
2、根据个数，筛选出特征点个数少于S的区域；
3、将筛选出的区域作为不满足要求的区域，并进行简易聚类；
4、简易聚类时，间隔距离3个区域以内的视为一类；
5、计算出每一类的外接矩形区；
6、对外接矩形的四个方向分别进行一个区域的外扩，形成新的板块区，板块区为a*b个区域；
7、将板块区重新划分为(a+1)*(b+1)份子区域，其中每个子区域的大小为：；
8、循环上述操作，直至所有单元检测区域满足特征点个数要求或迭代次数超过5次以上；若上述两种情况下均未满足要求，则需要操作者进行手动划分；
其中，每个模板图像中会存在多个拼版区域，对于每个拼版区域，都进行上述单元检测区域的划分；最终，将均划分有若干个单元检测区域的若干拼版区域图像作为最终的模板文件。
S302、采用模板文件的图像与收到的来料PCB图像进行配准，如下：
其中，根据来料PCB板的外边缘轮廓（或板材边缘区的属性特征）进行来料PCB图像与模板文件图像的整版初对位，将模板文件图像与实际采集的来料PCB图像进行初级对准；
其中，初级对准后，根据模板文件图像的图纸信息，将实际采集的来料PCB图像划分为边缘区+若干个拼版区域（即第二拼版区域）；
其中，根据图纸上拼版区域的mark信息，将来料PCB图像中划分的拼版区域图像与模板文件图像的拼版区域进行二次对位；
其中，拼版区域对位后，根据单个拼版区域的单元检测区域划分方式，将来料PCB图像的对应拼版区域划分为若干个单元检测区域；
其中，将来料PCB图像与模板文件图像中的单个单元检测区域进行一一精准对位，完成对准。
S303、根据对准后的图像，进行缺陷的分级定位匹配检测，如下：
其中，进行铜材区的检测：
根据预设颜色范围（RGB或HSV，即第一颜色范围），将对准区域中的铜材部分全部提取，生成对应的单张二值图（即第一二值图），将此图与模板图像作差，生成第一差异结果图；
其中，进行基材区的检测：
根据预设颜色范围（RGB或HSV，即第二颜色范围），将对准区域中的基材部分全部提取，生成对应的单张二值图（即第二二值图），将此图与模板图像作差，生成第二差异结果图；
其中，进行缺陷定位及分类判断：
将第一差异结果图和第二差异结果图合并，得到一张结果图，即第三差异结果图；
对第三差异结果图中的差异部分逐一分析，分析时根据模板文件图像和已知信息，确定缺陷所在位置；根据缺陷所在位置对应的元素类型，确认对应的元素区域规格标准；按照确认的规格标准，分类判断对应类型的缺陷所在位置是否满足指标要求；
其中，按颜色对铜材区的缺陷进行针对判断：
根据颜色范围提取的上述铜材区，进行颜色分析；
根据颜色通道间的相互关系进行检测，如：R通道与G通道的比值在1-2之间；R通道与B通道的比值在1.2-1.8之间等；
预设颜色差值；在某固定窗口内，选取某通道或灰度值，计算该区域内的平均值和方差，根据颜色差值，检测不满足要求的部分；
作为可选的实施方式，上述根据颜色范围进行区域提取时，包括但不限于：进行RGB以及对应HSV空间变化的颜色抽取；例如，还可以按照0.3r+0.5g+0.6b（或独立取xH+yS+zV的交集作为颜色区域）的颜色空间进行提取；本方法中的提取方式不限于上述举例的其他类似方式；
其中，对孔区域、环区域的缺陷进行针对判断：
根据图纸定位所有孔/环区域；
提取每个圆环，计算圆环的半径是否满足相应要求；
检测孔环的偏差（外层环宽）是否满足要求。
其中，上述步骤中，共得到三种缺陷检测结果，即根据融合的第三差异结果图生成的缺陷结果一（即第一缺陷结果）、按颜色对铜材区进行判断的缺陷结果二（即第二缺陷结果）以及对孔/环区域进行判断的缺陷结果三（即第三缺陷结果）。
S304、对上述结果进行AI误差筛选，如下：
其中，首先需要准备训练AI模型的数据集：
收集不同缺陷类型的图片和没有任何缺陷的图片；
收集时使不同缺陷类型的图片数量尽量保持一致，实现样本均衡，提升训练效果以及模型精准性；
进行收集数据的标注，区分不同的缺陷以及无缺陷的图片，将上述图片划分为训练集、验证集以及测试集；整合上述集作为模型的训练数据集；
其中，使用随机梯度下降算法进行AI模型训练，至模型收敛；
其中，训练好模型后，导出为onnx模型，之后使用TensorRT进行序列化与GPU加速；
其中，AI模型的网络结构，包括：
浅层特征提取模块，用于提取图像局部特征，由L1和L2卷积块组成；
L1，由卷积核大小为3的卷积层（3x3Conv）、批标准化层（BN）和激活层（Relu）组成；
L2，由卷积核大小为1的卷积层（1x1Conv）、批标准化层（BN）和激活层（Relu）组成；
深层特征提取模块，用于提取图像全局特征和深层语义信息，该模块的构成方式与浅层特征提取模块中的L1相同；
缺陷类别分类模块，用于对缺陷类型进行区分，该模块由全连接层（FC）和softmax分类器组成；
其中，根据缺陷结果一、缺陷结果二和缺陷结果三，裁剪出对应位置的缺陷图像；将对应的缺陷图像输入至AI模型中；基于AI模型输出的判定结果，判断上述缺陷结果一、缺陷结果二和缺陷结果三是否为真正缺陷部位，实现检测结果的复判与筛选。
实施例2
本实施例基于与实施例1中所述的一种基于多级匹配和AI复检的缺陷检测方法相同的发明构思，提供一种基于多级匹配和AI复检的缺陷检测系统，如图6所示，包括：
初始化模块，用于：基于多PC架构配置采集端、处理端及中控端，对所述采集端和所述中控端进行工作逻辑初始化，在所述处理端选取高效处理器；
在本系统中，初始化模块，包括：逻辑初始化单元和处理器选择单元；
在本系统中，逻辑初始化单元，用于：设置所述中控端基于来料起始信号和来料停止信号对所述采集端的采集存储动作进行触发；设置所述采集端在所述中控端未收到所述来料起始信号前，进行图像片段式采集，并将采集的图像进行丢弃；
在本系统中，处理器选择单元，用于：调用所述中控端监控所述处理端的处理进度；响应于所述中控端收到所述来料起始信号，根据所述处理端的处理进度以及所述处理端的空闲情况计算所述处理端对于所述来料PCB的处理时长；选取所述处理时长最小的所述处理端作为所述高效处理器；调用所述中控端根据所述来料PCB的序列号和所述高效处理器的处理器编号生成地址信号，并将所述地址信号发送至所述采集端。
图像采集模块，用于：调用所述采集端以及所述中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至所述高效处理器；
在本系统中，图像采集模块调用所述采集端对所述来料PCB进行扫描；图像采集模块响应于扫描过程中，调用所述采集端每隔第一间隔参数输出所述来料PCB的部分图像，调用所述采集端将采集的所述部分图像根据所述地址信号存储至缓存段；图像采集模块响应于扫描过程中，每当所述缓存段存在所述部分图像时，将所述部分图像发送至所述高效处理器；图像采集模块响应于一片所述来料PCB扫描结束，调用所述中控端向所述采集端发送停止信号；调用所述采集端在收到所述停止信号时，停止将采集的图像置入所述缓存段，调用所述高效处理器将所有所述部分图像拼接为所述来料PCB图像。
图像处理模块，用于：调用所述高效处理器对接收的所述来料PCB图像进行单元化分级分析处理；所述单元化分级分析处理，包括：基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，根据配准后的图像进行缺陷按类分析，得到分类缺陷结果；对所述分类缺陷结果进行基于AI模型的误判检测；
在本系统中，图像处理模块，包括：模版文件配置单元（模版文件配置单元中设置有区域划分单元）、区域划分单元、分级配准单元、缺陷分类识别单元、模型训练单元和模型调用单元；
在本系统中，模版文件配置单元，用于：设置与所述来料PCB对应的模板图像，在所述模板图像中划分若干拼版区域以及若干单元检测区域，将划分后的所述模板图像作为所述预置模版文件；
具体的，模版文件配置单元调用区域划分单元根据PCB的图纸信息划分所述模板图像中的若干所述拼版区域；模版文件配置单元调用区域划分单元对每个所述拼版区域分别进行基于轮廓特征点遍历的特征点调整；模版文件配置单元调用区域划分单元在特征点调整后的每个所述拼版区域中，划分若干所述单元检测区域；模版文件配置单元调用区域划分单元设置单个所述单元检测区域的尺寸上限以及特征点个数要求；模版文件配置单元调用区域划分单元根据所述尺寸上限以及所述特征点个数要求调整每个所述拼版区域中若干所述单元检测区域的尺寸及数量。
在本系统中，分级配准单元，用于：根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准；
具体的，分级配准单元基于所述来料PCB的特征，将所述来料PCB图像与所述模板图像进行初级对准，令所述初级对准后的所述模板图像中的若干所述拼版区域分别为若干第一拼版区域，令所述第一拼版区域中的若干所述单元检测区域分别为若干第一单元检测区域；分级配准单元根据若干所述第一拼版区域将所述来料PCB图像划分出若干第二拼版区域，依次对每个所述第二拼版区域，均执行单元对准操作，所述单元对准操作，包括：分级配准单元根据所述第二拼版区域对应的所述第一拼版区域的mark信息，将所述第二拼版区域与所述第一拼版区域进行对位；对位后，分级配准单元根据所述第一拼版区域中若干所述第一单元检测区域的划分方式，在所述第二拼版区域中划分若干第二单元检测区域；分级配准单元将若干所述第二单元检测区域与若干所述第一单元检测区域分别进行一一对准。
在本系统中，缺陷分类识别单元，用于：按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果作为所述分类缺陷结果；
具体的，缺陷分类识别单元设置第一颜色范围，根据所述第一颜色范围提取所述配准后的图像中的铜材部分，生成第一二值图，将所述第一二值图与所述模板图像作差，得到第一差异结果图；缺陷分类识别单元设置第二颜色范围，根据所述第二颜色范围提取所述配准后的图像中的基材部分，生成第二二值图，将所述第二二值图与所述模板图像作差，得到第二差异结果图；缺陷分类识别单元将所述第一差异结果图和所述第二差异结果图合并，得到第三差异结果图；缺陷分类识别单元确认所述第三差异结果图中的缺陷位置，并根据所述缺陷位置对应的元素类型判断所述缺陷位置是否达标，得到所述第一缺陷结果；缺陷分类识别单元对所述铜材部分进行颜色达标分析，得到所述第二缺陷结果；缺陷分类识别单元对所述配准后的图像中的孔区域及环区域进行尺寸达标分析，得到所述第三缺陷结果。
在本系统中，模型训练单元，用于：配置训练数据集，基于所述训练数据集和随机梯度下降算法训练AI检测模型；
在本系统中，模型调用单元，用于：根据所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果，在所述来料PCB图像中裁剪对应位置的缺陷图像；将裁剪的所述缺陷图像输入至所述AI检测模型进行分析，根据所述AI检测模型输出的判定结果，判断所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果的正确性。
实施例3
本实施例提供一种计算机可读存储介质，包括：
所述存储介质用于储存将上述实施例1所述的基于多级匹配和AI复检的缺陷检测方法实现所用的计算机软件指令，其包含用于执行上述为所述基于多级匹配和AI复检的缺陷检测方法所设置的程序；具体的，该可执行程序可以内置在实施例2所述的基于多级匹配和AI复检的缺陷检测系统中，这样，基于多级匹配和AI复检的缺陷检测系统就可以通过执行内置的可执行程序实现所述实施例1所述的基于多级匹配和AI复检的缺陷检测方法。
此外，本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。
作为本发明的一种实施方式，上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
区别于现有技术，采用本申请一种基于多级匹配和AI复检的缺陷检测方法、系统、设备及介质，可以基于多工作设备的调控配合，实现高效的传输调度，提高检测效率；基于多级匹配方案和自适应区域划分方案，提升图像对准精度；基于AI网络进行检测结果的验证，降低产品的误判率以及操作的人工成本，具有较高的应用价值以及较广的应用范围。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于多级匹配和AI复检的缺陷检测方法，其特征在于，包括以下步骤：
初始化步骤：
基于多PC架构配置采集端、处理端及中控端，对所述采集端和所述中控端进行工作逻辑初始化，在所述处理端选取高效处理器；
图像采集步骤：
调用所述采集端以及所述中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至所述高效处理器；
图像处理步骤：
调用所述高效处理器对接收的所述来料PCB图像进行单元化分级分析处理；所述单元化分级分析处理，包括：基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，根据配准后的图像进行缺陷按类分析，得到分类缺陷结果；对所述分类缺陷结果进行基于AI模型的误判检测；
所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准之前，包括：设置与所述来料PCB对应的模板图像，在所述模板图像中划分若干拼版区域以及若干单元检测区域，将划分后的所述模板图像作为所述预置模版文件；
所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，包括：根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准；
所述根据配准后的图像进行缺陷按类分析，得到分类缺陷结果，包括：按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果作为所述分类缺陷结果；
所述根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准，包括：基于所述来料PCB的特征，将所述来料PCB图像与所述模板图像进行初级对准，令所述初级对准后的所述模板图像中的若干所述拼版区域分别为若干第一拼版区域，令所述第一拼版区域中的若干所述单元检测区域分别为若干第一单元检测区域；根据若干所述第一拼版区域将所述来料PCB图像划分出若干第二拼版区域，依次对每个所述第二拼版区域，均执行单元对准操作；
所述按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果，包括：设置第一颜色范围，根据所述第一颜色范围提取所述配准后的图像中的铜材部分，生成第一二值图，将所述第一二值图与所述模板图像作差，得到第一差异结果图；设置第二颜色范围，根据所述第二颜色范围提取所述配准后的图像中的基材部分，生成第二二值图，将所述第二二值图与所述模板图像作差，得到第二差异结果图；将所述第一差异结果图和所述第二差异结果图合并，得到第三差异结果图；确认所述第三差异结果图中的缺陷位置，并根据所述缺陷位置对应的元素类型判断所述缺陷位置是否达标，得到所述第一缺陷结果；对所述铜材部分进行颜色达标分析，得到所述第二缺陷结果；对所述配准后的图像中的孔区域及环区域进行尺寸达标分析，得到所述第三缺陷结果。
2.根据权利要求1所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述对所述采集端和所述中控端进行工作逻辑初始化，包括：设置所述中控端基于来料起始信号和来料停止信号对所述采集端的采集存储动作进行触发；设置所述采集端在所述中控端未收到所述来料起始信号前，进行图像片段式采集，并将采集的图像进行丢弃；
所述在所述处理端选取高效处理器，包括：调用所述中控端监控所述处理端的处理进度；响应于所述中控端收到所述来料起始信号，根据所述处理端的处理进度以及所述处理端的空闲情况计算所述处理端对于所述来料PCB的处理时长；选取所述处理时长最小的所述处理端作为所述高效处理器；调用所述中控端根据所述来料PCB的序列号和所述高效处理器的处理器编号生成地址信号，并将所述地址信号发送至所述采集端。
3.根据权利要求2所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述图像采集步骤，进一步包括：
调用所述采集端对所述来料PCB进行扫描；
响应于扫描过程中，调用所述采集端每隔第一间隔参数输出所述来料PCB的部分图像，调用所述采集端将采集的所述部分图像根据所述地址信号存储至缓存段；
响应于扫描过程中，每当所述缓存段存在所述部分图像时，将所述部分图像发送至所述高效处理器；
响应于一片所述来料PCB扫描结束，调用所述中控端向所述采集端发送停止信号；调用所述采集端在收到所述停止信号时，停止将采集的图像置入所述缓存段，调用所述高效处理器将所有所述部分图像拼接为所述来料PCB图像。
4.根据权利要求1所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述对所述分类缺陷结果进行基于AI模型的误判检测之前，包括：配置训练数据集，基于所述训练数据集和随机梯度下降算法训练AI检测模型。
5.根据权利要求4所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述在所述模板图像中划分若干拼版区域以及若干单元检测区域，包括：
根据PCB的图纸信息划分所述模板图像中的若干所述拼版区域；
对每个所述拼版区域分别进行基于轮廓特征点遍历的特征点调整；
在特征点调整后的每个所述拼版区域中，划分若干所述单元检测区域；
设置单个所述单元检测区域的尺寸上限以及特征点个数要求；
根据所述尺寸上限以及所述特征点个数要求调整每个所述拼版区域中若干所述单元检测区域的尺寸及数量。
6.根据权利要求4所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述单元对准操作，包括：根据所述第二拼版区域对应的所述第一拼版区域的mark信息，将所述第二拼版区域与所述第一拼版区域进行对位；对位后，根据所述第一拼版区域中若干所述第一单元检测区域的划分方式，在所述第二拼版区域中划分若干第二单元检测区域；将若干所述第二单元检测区域与若干所述第一单元检测区域分别进行一一对准。
7.根据权利要求4所述的基于多级匹配和AI复检的缺陷检测方法，其特征在于：
所述对所述分类缺陷结果进行基于AI模型的误判检测，包括：
根据所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果，在所述来料PCB图像中裁剪对应位置的缺陷图像；
将裁剪的所述缺陷图像输入至所述AI检测模型进行分析，根据所述AI检测模型输出的判定结果，判断所述第一缺陷结果、所述第二缺陷结果和所述第三缺陷结果的正确性。
8.一种基于多级匹配和AI复检的缺陷检测系统，其特征在于，包括：
初始化模块，用于：基于多PC架构配置采集端、处理端及中控端，对所述采集端和所述中控端进行工作逻辑初始化，在所述处理端选取高效处理器；
图像采集模块，用于：调用所述采集端以及所述中控端，按照并行操作方式对来料PCB图像进行片段式采集，将采集的来料PCB图像片段式传输至所述高效处理器；
图像处理模块，用于：调用所述高效处理器对接收的所述来料PCB图像进行单元化分级分析处理；所述单元化分级分析处理，包括：基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，根据配准后的图像进行缺陷按类分析，得到分类缺陷结果；对所述分类缺陷结果进行基于AI模型的误判检测；所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准之前，包括：设置与所述来料PCB对应的模板图像，在所述模板图像中划分若干拼版区域以及若干单元检测区域，将划分后的所述模板图像作为所述预置模版文件；所述基于预置模版文件和分级匹配策略对所述来料PCB图像进行图像配准，包括：根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准；所述根据配准后的图像进行缺陷按类分析，得到分类缺陷结果，包括：按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果作为所述分类缺陷结果；所述根据若干所述拼版区域以及若干所述单元检测区域对所述来料PCB图像进行划分，根据划分后的所述来料PCB图像与所述拼版区域及所述单元检测区域进行分级配准，包括：基于所述来料PCB的特征，将所述来料PCB图像与所述模板图像进行初级对准，令所述初级对准后的所述模板图像中的若干所述拼版区域分别为若干第一拼版区域，令所述第一拼版区域中的若干所述单元检测区域分别为若干第一单元检测区域；根据若干所述第一拼版区域将所述来料PCB图像划分出若干第二拼版区域，依次对每个所述第二拼版区域，均执行单元对准操作；所述按照材质区域、缺陷元素类型、颜色标准和尺寸标准对所述配准后的图像进行缺陷分析，得到第一缺陷结果、第二缺陷结果和第三缺陷结果，包括：设置第一颜色范围，根据所述第一颜色范围提取所述配准后的图像中的铜材部分，生成第一二值图，将所述第一二值图与所述模板图像作差，得到第一差异结果图；设置第二颜色范围，根据所述第二颜色范围提取所述配准后的图像中的基材部分，生成第二二值图，将所述第二二值图与所述模板图像作差，得到第二差异结果图；将所述第一差异结果图和所述第二差异结果图合并，得到第三差异结果图；确认所述第三差异结果图中的缺陷位置，并根据所述缺陷位置对应的元素类型判断所述缺陷位置是否达标，得到所述第一缺陷结果；对所述铜材部分进行颜色达标分析，得到所述第二缺陷结果；对所述配准后的图像中的孔区域及环区域进行尺寸达标分析，得到所述第三缺陷结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1~7中任一项所述基于多级匹配和AI复检的缺陷检测方法的步骤。
CN202410527838.XA 2024-04-29 2024-04-29 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质 Active CN118169144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410527838.XA CN118169144B (zh) 2024-04-29 2024-04-29 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410527838.XA CN118169144B (zh) 2024-04-29 2024-04-29 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN118169144A CN118169144A (zh) 2024-06-11
CN118169144B true CN118169144B (zh) 2024-08-23

Family

ID=91360651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410527838.XA Active CN118169144B (zh) 2024-04-29 2024-04-29 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN118169144B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445277A (zh) * 2015-11-12 2016-03-30 湖北工业大学 一种fpc表面质量视觉智能检测方法
CN111855701A (zh) * 2020-07-29 2020-10-30 深圳芯通互联科技有限公司 一种aoi系统检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560473B2 (ja) * 1998-05-26 2004-09-02 大日本スクリーン製造株式会社 プリント基板の検査装置およびプリント基板の検査方法
JP3691503B2 (ja) * 2003-12-10 2005-09-07 シライ電子工業株式会社 印刷物の検査方法およびその検査装置
JP2006038582A (ja) * 2004-07-26 2006-02-09 Dainippon Screen Mfg Co Ltd 画像の領域分割による欠陥の検出
CN112666182A (zh) * 2020-12-29 2021-04-16 苏州天准科技股份有限公司 柔性电路板用自动视觉检测方法及装置
CN113155851A (zh) * 2021-04-30 2021-07-23 西安交通大学 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置
CN114216915B (zh) * 2021-12-15 2024-03-29 江门市浩远科技有限公司 一种基于线路板污渍和缺陷类型类别级别检测分类的方法
JP2023122140A (ja) * 2022-02-22 2023-09-01 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成装置、教師データ生成方法およびプログラム
CN114720473A (zh) * 2022-03-08 2022-07-08 武汉海微科技有限公司 基于机器视觉的车载屏幕背板的缺陷检测方法
CN116256371A (zh) * 2023-02-28 2023-06-13 广州赛奥碳纤维技术股份有限公司 一种碳纤维卷线质量实时检测方法、装置及存储介质
CN116105604B (zh) * 2023-04-17 2023-06-20 中科视语(北京)科技有限公司 钢管质量检测系统及检测方法
CN116380919B (zh) * 2023-06-02 2023-08-15 深圳市磐锋精密技术有限公司 基于aoi在线技术的柔外观缺陷检测系统及检测方法
CN116907341B (zh) * 2023-07-06 2024-06-25 深圳市塔联科技有限公司 一种pcb板智能检测方法及系统
CN117647527A (zh) * 2023-10-31 2024-03-05 湖南科洛德科技有限公司 玻璃板的缺陷检测方法及设备、存储介质
CN117557514A (zh) * 2023-11-08 2024-02-13 西南科技大学 一种空调铜管焊接缺陷检测装置及检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445277A (zh) * 2015-11-12 2016-03-30 湖北工业大学 一种fpc表面质量视觉智能检测方法
CN111855701A (zh) * 2020-07-29 2020-10-30 深圳芯通互联科技有限公司 一种aoi系统检测方法

Also Published As

Publication number Publication date
CN118169144A (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
EP1703465B1 (en) Color-based inspection of printed circuit boards
JP4155496B2 (ja) 分類支援装置、分類装置およびプログラム
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN107895362B (zh) 一种微型接线端子质量检测的机器视觉方法
CN114581742A (zh) 基于线性度的连通域聚类融合方法、装置、系统及介质
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN112088387A (zh) 检测成像物品缺陷的系统和方法
CN112634203B (zh) 图像检测方法、电子设备及计算机可读存储介质
WO2020125528A1 (zh) 锚定物检测方法及装置、电子设备及存储介质
TWI823419B (zh) 試料觀察裝置及方法
CN116678898B (zh) 一种通用化的晶片缺陷检测方法、系统、设备及介质
US20240104715A1 (en) Production-speed component inspection system and method
CN110596118A (zh) 印刷图案检测方法及印刷图案检测装置
CN112634259A (zh) 一种键盘键帽自动建模定位方法
CN117635599A (zh) 缺陷检测模型训练及缺陷检测方法、装置、设备及介质
CN118169144B (zh) 一种基于多级匹配和ai复检的缺陷检测方法、系统及介质
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
JP2004296592A (ja) 欠陥分類装置、欠陥分類方法およびプログラム
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN115791641B (zh) 一种基于智能水杯进行液体成分检测的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant