CN114202543B - Pcb板脏污缺陷检测方法、装置、设备及介质 - Google Patents

Pcb板脏污缺陷检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN114202543B
CN114202543B CN202210149532.6A CN202210149532A CN114202543B CN 114202543 B CN114202543 B CN 114202543B CN 202210149532 A CN202210149532 A CN 202210149532A CN 114202543 B CN114202543 B CN 114202543B
Authority
CN
China
Prior art keywords
image
detected
target
black
pcb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210149532.6A
Other languages
English (en)
Other versions
CN114202543A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202210149532.6A priority Critical patent/CN114202543B/zh
Publication of CN114202543A publication Critical patent/CN114202543A/zh
Application granted granted Critical
Publication of CN114202543B publication Critical patent/CN114202543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供一种PCB板脏污缺陷检测方法、装置、设备及介质，该方法包括：利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。对脏污缺陷的检测效率和和准确性显著提高。

Description

PCB板脏污缺陷检测方法、装置、设备及介质
技术领域
本发明涉及PCB板缺陷检测技术领域，具体涉及一种PCB板脏污缺陷检测方法、装置、设备及介质。
背景技术
PCB（印刷电路板）生产制造过工艺流程由多个段别组成，在复杂且繁琐的制造过程过程中也容易引入各种各样的产品缺陷。脏污类缺陷作为最为常见的缺陷类型，当其完整覆盖基材线路可能造成两侧线路直接连通，从而造成短路等重大风险，因此，目前亟需一种对PCB板上的脏污类缺陷进行准确检测的方法。
发明内容
本申请的主要目的在于提供一种PCB板脏污缺陷检测方法、装置、设备及介质，解决现有技术对PCB板脏污缺陷检测不准确的技术问题。
为实现上述目的，本申请的实施例提供一种PCB板脏污缺陷检测方法，包括：
利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；
将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；
对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；
分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；
根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
可选地，所述利用已训练的分割模型对待检测图像进行分割，获得目标图像的步骤之前，还包括：
获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
利用训练集对初始分割模型进行训练，获得所述分割模型。
在该实施方式中，提前进行分割模型训练，可以提高图像分割效率。
可选地，所述分割模型基于Mask RCNN算法获得。
在该实施方式中，Mask RCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
可选地，所述对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像的步骤，包括：
对所述待检测标注图像和所述目标图像分别进行灰度化处理，获得待检测灰度图像和目标灰度图像；
对所述待检测灰度图像和所述目标灰度图像分别进行二值化处理，获得待检测黑白图像和目标黑白图像。
在该实施方式中，生成黑白图像，由于黑白图像的像素计算更加容易，因此，可以使得后续像素级的计算连通个数时更加准确，也更加高效。
可选地，所述分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k的步骤，包括：
利用opencv工具，获取所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k。
在该实施方式中，利用opencv工具，通过连通区域分析方法可以获得待检测黑白图像中的连通区域个数m和目标黑白图像中的连通区域个数。由于使用像素遍历的方法进行连通区域的计算，其计算精度为像素级，准确性高。
可选地，所述根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷的步骤，包括：
若m不等于k，则判定所述待检测PCB板存在脏污缺陷。
在该实施方式中，由于脏污缺陷会导致连通区域的改变，因此，利用连通区域的不同，来判定存在脏污缺陷，准确可靠。
可选地，所述根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷的步骤之后，还包括：
根据m与k的差值，确定所述待检测PCB板的脏污缺陷等级。
在该实施方式中，确定待检测PCB板的脏污缺陷等级，可以实现对待检测PCB板的分类处置，利于产品线的管理，避免不良产品的出厂，也可避免可用产品的误处理。
此外，为实现上述目的，本申请的实施例还提供一种模型训练方法，包括：
获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
利用训练集对初始分割模型进行训练，获得所述分割模型。
此外，为实现上述目的，本申请的实施例还提供一种PCB板脏污缺陷检测装置，包括：
图像分割模块，用于利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；
区域映射模块，用于将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；
图像处理模块，用于对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；
连通统计模块，用于分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；
缺陷判定模块，用于根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
此外，为实现上述目的，本申请的实施例还提供一种模型训练装置，包括：
获取模块，用于获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
训练模块，用于利用训练集对初始分割模型进行训练，获得所述分割模型。
此外，为实现上述目的，本申请的实施例还提供一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述的方法。
此外，为实现上述目的，本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现前述的方法。
此外，为实现上述目的，本申请的实施例还提供一种计算机程序产品，所述计算机程序产品在被处理器时，实现前述的方法。
与现有技术相比，本发明的有益效果在于：
本申请的实施例提供一种PCB板脏污缺陷检测方法、装置、设备及介质，该方法包括：利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。也即，该方法结合人工智能和图像像素处理的方法，在像素级别中通过黑白像素计算连通区域的方式来判定是否存在脏污缺陷，由于黑白像素可以清晰的界定边界，因此，通过黑白像素计算连通区域的方式，相较于现有通过人工进行识别，其准确性显著提高，且对脏污缺陷的检测效率也显著提高。
附图说明
图1为本申请的实施例涉及的硬件运行环境的电子设备结构示意图；
图2为本申请的实施例提供的一种PCB板脏污缺陷检测方法的流程示意图；
图3为本申请的实施例提供的一张待检测图像；
图4为图3分割后的目标图像；
图5为本申请的实施例中为训练集中的一张训练图像；
图6为本申请的实施例中的一张目标黑白图像；
图7为本申请的实施例中的一张待检测黑白图像；
图8为本申请的实施例提供的一种模型训练方法的流程示意图；
图9为本申请的实施例提供的一种PCB板脏污缺陷检测装置的功能模块示意图；
图10为本申请的实施例提供的一种模型训练装置的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提供一种PCB板脏污缺陷检测方法、装置、设备及介质，该方法利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
现有技术中主要采用人员目检的方式进行判别，其准确率往往受到人员主管意识和判别经验影响，从而容易造成过检或漏检发生。
本申请提供一种解决方案，该方法结合人工智能和图像像素处理的方法，在像素级别中通过黑白像素计算连通区域的方式来判定是否存在脏污缺陷，由于黑白像素可以清晰的界定边界，因此，通过黑白像素计算连通区域的方式，相较于现有通过人工进行识别，其准确性显著提高，且对脏污缺陷的检测效率也显著提高。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的PCB板脏污缺陷检测装置，并执行本申请实施例提供的PCB板脏污缺陷检测方法。
参照图2，本申请的实施例提供一种PCB板脏污缺陷检测方法，包括：
S20、利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像。
在具体实施过程中，待检测PCB板为存在缺陷的PCB板，待检测图像为对待检测PCB板采集的图像。在本实施例中，目标缺陷为PCB中常见的脏污缺陷，当其完整覆盖基材线路可能造成两侧线路直接连通，从而造成短路等重大风险。
目标图像为标记出目标缺陷的图像，具体的，该目标缺陷区域利用mask覆盖，因此，目标图像中包括mask覆盖区域，该mask覆盖区域即为目标缺陷所在的区域。
具体的，可以通过人工智能的方法对待检测图像进行目标分割，即利用已训练的分割模型对待检测图像进行分割。分割模型可以是神经网络模型，在一种具体实施方式中，分割模型基于Mask RCNN算法获得。Mask RCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
参照图3和4，图3为本实施例提供的一张待检测图像，图4为图3分割后的目标图像，图中箭头指向的不同颜色的区域则为目标缺陷的mask覆盖区域。
在一种实施方式中，所述利用已训练的分割模型对待检测图像进行分割，获得目标图像的步骤之前，还包括：
获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
在具体实施过程中，收集包含脏污缺陷的图像后，可以使用labelme标注软件对缺陷进行区域范围标注，生成json格式的训练数据文本。参见图5，图5为训练集中的一张训练图像，图中圈中的区域即为缺陷区域范围。本实施例中共使用训练数据100张左右的图像。
利用训练集对初始分割模型进行训练，获得所述分割模型。
在具体实施过程中，初始分割模型基于Mask RCNN框架，即分割模型基于MaskRCNN算法获得。Mask RCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
在该实施方式中，提前进行分割模型训练，可以提高图像分割效率。此外，MaskRCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
S40、将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像。
在具体实施过程中，mask覆盖区域是通过掩膜图得到，可以从掩膜图中扣取缺陷区域的像素点添加到待检测图像上，获得待检测标注图像。
S60、对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像。
在具体实施过程中，为了获得黑白图像，本实施例中的图像处理可以包括灰度处理和二值化处理。
作为一种实施方式，所述对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像的步骤，包括：
S601、对所述待检测标注图像和所述目标图像分别进行灰度化处理，获得待检测灰度图像和目标灰度图像；
在具体实施过程中，可以利用opencv工具对所述待检测标注图像和所述目标图像分别进行灰度化处理。灰度处理的方法这里不再进行赘述。
S602、对所述待检测灰度图像和所述目标灰度图像分别进行二值化处理，获得待检测黑白图像和目标黑白图像。
在具体实施过程中，二值化处理即把图像的像素转化为0和225，呈现为黑白图像，便于后续进行连通区域的计算。具体的，本实施例中也可以利用opencv工具对所述待检测灰度图像和所述目标灰度图像分别进行二值化处理。
在该实施方式中，生成黑白图像，由于黑白图像的像素计算更加容易，因此，可以使得后续像素级的计算连通个数时更加准确，也更加高效。
S80、分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k。
在具体实施过程中，连通区域（Connected Component）一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域（Region，Blob）。对于PCB板，印刷的电路可以形成多个区域，也可能包括一些连通区域，如果产生脏污缺陷，其覆盖基材线路，经过上述处理后，则可能改变连通区域个数。因此，待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k，可以反映脏污缺陷的存在。因此，本实施例中采用像素级的运算来获得待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k。
在一种实施方式中，本实施例中利用opencv工具，获取所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k。
具体可采用连通区域分析的方法获得连通区域个数，连通区域分析（ConnectedComponent Analysis,Connected Component Labeling）是指将图像中的各个连通区域找出并标记。具体的，将每个连通域设置一个标记，就完成了连通域分析。因此，该方法的关键是如何确定一个像素属于哪个连通区域。
本实施例中可以通过以下两种方法获得连通区域个数：
第一种方法：Two-Pass(两次遍历)
two-pass算法，需要两次遍历图像，第一次遍历给图像所有的像素设置一个标记，并记录各个标记属于哪个连通域，第二次遍历将每个像素标记为所属的连通域。
具体流程如下：
1、 第一次遍历图像对所有感兴趣的像素执行以下操作
a 如果左领域和上领域都为0（假设是从上到下，从左至右遍历）：赋予像素一个新的标签label， 然后label ++。即 labelImg(x,y) = label++;
b 当前像素的label与领域像素相同
将领域像素所属的label中最小的赋值给当前像素即： labelImg(x,y)= min(Neighbors)
记录label所属的联通区域，也就是那些label是一个联通区域。 labelSet[i] ={label_n, ... , label_m}。可以采用不同的记录方式。
2、第二次遍历图像
第一遍已经给像素分配了一个label，同时知道每个label所属的联通区域。所以只需要把分配的label跟换为所属的联通区域。第二遍遍历完成后具有相同label的像素组成了一个联通区域，可以对联通区域进行进一步分析，例如计算面积，计算外接矩形，计算质心等等。
第二种方法：Seed-Filling（种子填充法）
种子填充法从一个种子开始向领域周围搜索，发现有相等的像素值则标记为相同的label，然后继续在领域搜索，直到周围都没有相同的像素值后就找到一个联通区域。然后再以其他的种子，继续搜索下一个联通区域。这里的种子就是一个感兴趣的像素。
具体流程如下
1、 遍历图像，如果像素值为1则执行以下操作：
a 将当前像素作为种子，并赋予一个新的label，然后将其所有领域的感兴趣的像素的位置加入栈中。
b 弹出栈顶的像素，赋予相同的label，并将其所有领域的感兴趣的像素的位置加入栈中。
c 重复b 步骤直到栈为空。此时找到一个联通区域。并且被标记为相同的label。
参见图6和7，图6为本实施例的方法生成的一张目标黑白图像，图中箭头指向的位置为脏污缺陷位置；图7为本实施例的方法生成的一张待检测黑白图像，图中箭头指向的位置为脏污缺陷位置。
由此可见，在该实施方式中，利用opencv工具，通过连通区域分析方法可以获得待检测黑白图像中的连通区域个数m和目标黑白图像中的连通区域个数。由于使用像素遍历的方法进行连通区域的计算，其计算精度为像素级，准确性高。
S100、根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
在具体实施过程中，m与k的大小关系可以辅助判定脏污缺陷是否存在。具体的，可以分为以下两种情况：
在一种可选的实方式中，若m不等于k，则判定所述待检测PCB板存在脏污缺陷。具体的，如果不存在脏污缺陷，则生成的待检测黑白图像和目标黑白图像中不会因为脏污缺陷的存在而导致的连通区域个数变化；如果存在脏污缺陷，因为脏污缺陷的覆盖范围的不同，则生成的待检测黑白图像和目标黑白图像中可能会因为脏污缺陷的存在而导致的连通区域个数变化；但是，若m不等于k，则一定存在脏污缺陷，且该脏污缺陷完全覆盖线路。
作为一种可选地实施方式，所述根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷的步骤之后，还包括：
根据m与k的差值，确定所述待检测PCB板的脏污缺陷等级。
在具体实施过程中，m与k的差值越大，代表脏污缺陷的点越多，对应的脏污缺陷等级更高；反之，则脏污缺陷等级越低。
在该实施方式中，确定待检测PCB板的脏污缺陷等级，可以实现对待检测PCB板的分类处置，利于产品线的管理，避免不良产品的出厂，也可避免可用产品的误处理。
应当理解的是，以上仅为举例说明，对本申请的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。
通过上述描述不难发现，本实施例提供一种PCB板脏污缺陷检测方法，利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。也即，该方法结合人工智能和图像像素处理的方法，在像素级别中通过黑白像素计算连通区域的方式来判定是否存在脏污缺陷，由于黑白像素可以清晰的界定边界，因此，通过黑白像素计算连通区域的方式，相较于现有通过人工进行识别，其准确性显著提高，且对脏污缺陷的检测效率也显著提高。
参见图8，本申请的实施例还提供一种模型训练方法，包括：
S102、获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
在具体实施过程中，收集包含脏污缺陷的图像后，可以使用labelme标注软件对缺陷进行区域范围标注，生成json格式的训练数据文本。参见图5，图5为训练集中的一张训练图像，图中圈中的区域即为缺陷区域范围。本实施例中共使用训练数据100张左右的图像。
S104、利用训练集对初始分割模型进行训练，获得所述分割模型。
在具体实施过程中，初始分割模型基于Mask RCNN框架，即分割模型基于MaskRCNN算法获得。Mask RCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
在该实施方式中，提前进行分割模型训练，可以提高图像分割效率。此外，MaskRCNN为一个实例分割（Instance segmentation）算法，利用其训练获得的分割模型可以学习、推理像素级的目标信息，从而能够得到缺陷像素级的覆盖范围信息，从而更准确的得到mask覆盖区域。
参照图9，基于同样的发明原理，本申请的实施例还提供一种PCB板脏污缺陷检测装置，包括：
图像分割模块，用于利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；
区域映射模块，用于将所述mask覆盖区域映射到所述待检测图像中，获得待检测标注图像；
图像处理模块，用于对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；
连通统计模块，用于分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；
缺陷判定模块，用于根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
需要说明的是，本实施例中PCB板脏污缺陷检测装置中各模块是与前述实施例中的PCB板脏污缺陷检测方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述PCB板脏污缺陷检测方法的实施方式，这里不再赘述。
参照图10，基于同样的发明原理，本申请的实施例还提供一种模型训练装置，包括：
获取模块，用于获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
训练模块，用于利用训练集对初始分割模型进行训练，获得所述分割模型。
需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述模型训练方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请的实施例还提供一种计算机程序产品，所述计算机程序产品在被处理器时，实现前述的方法。
此外，在一种实施例中，本申请的实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种PCB板脏污缺陷检测方法，其特征在于，包括：
利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；
从所述目标图像中抠取包括目标缺陷的mask覆盖区域的像素点，并将所述像素点添加到所述待检测图像上，获得待检测标注图像；
对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；
分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；
根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
2.根据权利要求1所述的方法，其特征在于，所述利用已训练的分割模型对待检测图像进行分割，获得目标图像的步骤之前，还包括：
获取训练集，所述训练集包括若干包含脏污缺陷的训练图像，各训练图像中已对脏污缺陷进行标注；
利用训练集对初始分割模型进行训练，获得所述分割模型。
3.根据权利要求1或2所述的方法，其特征在于，所述分割模型基于Mask RCNN算法获得。
4.根据权利要求1所述的方法，其特征在于，所述对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像的步骤，包括：
对所述待检测标注图像和所述目标图像分别进行灰度化处理，获得待检测灰度图像和目标灰度图像；
对所述待检测灰度图像和所述目标灰度图像分别进行二值化处理，获得待检测黑白图像和目标黑白图像。
5.根据权利要求1所述的方法，其特征在于，所述分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k的步骤，包括：
利用opencv工具，获取所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k。
6.根据权利要求1所述的方法，其特征在于，所述根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷的步骤，包括：
若m不等于k，则判定所述待检测PCB板存在脏污缺陷。
7.根据权利要求6所述的方法，其特征在于，所述根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷的步骤之后，还包括：
根据m与k的差值，确定所述待检测PCB板的脏污缺陷等级。
8.一种PCB板脏污缺陷检测装置，其特征在于，包括：
图像分割模块，用于利用已训练的分割模型对待检测图像进行分割，获得目标图像；其中，所述目标图像中包括目标缺陷的mask覆盖区域，所述待检测图像为对待检测PCB板采集的图像；
区域映射模块，用于从所述目标图像中抠取包括目标缺陷的mask覆盖区域的像素点，并将所述像素点添加到所述待检测图像上，获得待检测标注图像；
图像处理模块，用于对所述待检测标注图像和所述目标图像分别进行图像处理，获得待检测黑白图像和目标黑白图像；
连通统计模块，用于分别统计所述待检测黑白图像中的连通区域个数m和所述目标黑白图像中的连通区域个数k；
缺陷判定模块，用于根据m与k的大小关系，判定所述待检测PCB板是否存在脏污缺陷。
9.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。
CN202210149532.6A 2022-02-18 2022-02-18 Pcb板脏污缺陷检测方法、装置、设备及介质 Active CN114202543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210149532.6A CN114202543B (zh) 2022-02-18 2022-02-18 Pcb板脏污缺陷检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210149532.6A CN114202543B (zh) 2022-02-18 2022-02-18 Pcb板脏污缺陷检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114202543A CN114202543A (zh) 2022-03-18
CN114202543B true CN114202543B (zh) 2022-04-26

Family

ID=80645524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210149532.6A Active CN114202543B (zh) 2022-02-18 2022-02-18 Pcb板脏污缺陷检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114202543B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627113B (zh) * 2022-05-12 2022-07-29 成都数之联科技股份有限公司 一种印制电路板缺陷检测方法及系统及装置及介质
CN114842275B (zh) * 2022-07-06 2023-04-07 成都数之联科技股份有限公司 电路板缺陷判别方法、训练方法、装置、设备及存储介质
CN115631160A (zh) * 2022-10-19 2023-01-20 武汉海微科技有限公司 Led灯故障检测方法、装置、设备及存储介质
CN116612116A (zh) * 2023-07-19 2023-08-18 天津伍嘉联创科技发展股份有限公司 一种基于深度学习图像分割的晶体外观缺陷检测方法
CN117173200B (zh) * 2023-11-03 2024-02-02 成都数之联科技股份有限公司 一种图像分割方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
CN113344901A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 涂胶缺陷检测方法、装置、存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105092598B (zh) * 2015-09-28 2018-02-06 深圳大学 一种基于连通域的大幅面pcb板缺陷快速识别方法及系统
US20170091948A1 (en) * 2015-09-30 2017-03-30 Konica Minolta Laboratory U.S.A., Inc. Method and system for automated analysis of cell images
CN109100370A (zh) * 2018-06-26 2018-12-28 武汉科技大学 一种基于投影法和连通域分析的pcb板缺陷检测方法
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质
CN112508910A (zh) * 2020-12-02 2021-03-16 创新奇智(深圳)技术有限公司 用于多分类缺陷检测的缺陷提取方法及装置
CN113470024B (zh) * 2021-09-02 2021-12-21 深圳市信润富联数字科技有限公司 轮毂内部缺陷检测方法、装置、设备、介质及程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
CN113344901A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 涂胶缺陷检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114202543A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN114202543B (zh) Pcb板脏污缺陷检测方法、装置、设备及介质
CN109711319B (zh) 一种粮食不完善粒图像识别样本库建立的方法及系统
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN116542975B (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN115063618B (zh) 一种基于模板匹配的缺陷定位方法、系统、设备及介质
CN113870256B (zh) Pcb板缺陷评估方法、装置、设备及介质
CN115578377B (zh) 一种面板缺陷的检测方法、训练方法、装置、设备及介质
CN115861327A (zh) 一种pcb颜色变化缺陷检测方法、装置、设备及介质
CN114519743A (zh) 一种面板缺陷区域提取方法、装置、设备及存储介质
CN114677567B (zh) 模型训练方法、装置、存储介质及电子设备
CN113704313A (zh) 基于拓扑检查的地图注记压盖自动识别方法、装置及介质
CN114549390A (zh) 电路板检测方法、电子装置及存储介质
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN114842275B (zh) 电路板缺陷判别方法、训练方法、装置、设备及存储介质
CN112541372A (zh) 一种困难样本筛选方法及装置
CN113435407A (zh) 一种输电系统的小目标识别方法及装置
CN115239734A (zh) 模型训练方法、装置、存储介质、设备及计算机程序产品
CN117437227B (zh) 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN116091503B (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN114937037B (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN109145916B (zh) 一种图像文字识别切割方法及一种存储设备
CN115830599A (zh) 工业字符识别方法、模型训练方法、装置、设备和介质
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN116091933A (zh) 基于遥感技术的水域地形的地质分析方法及装置
CN112115043B (zh) 一种基于图像的端上智能化页面质量巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant