CN112419260A - 一种pcb文字区域缺陷检测方法 - Google Patents

一种pcb文字区域缺陷检测方法 Download PDF

Info

Publication number
CN112419260A
CN112419260A CN202011299780.6A CN202011299780A CN112419260A CN 112419260 A CN112419260 A CN 112419260A CN 202011299780 A CN202011299780 A CN 202011299780A CN 112419260 A CN112419260 A CN 112419260A
Authority
CN
China
Prior art keywords
image
pcb
character
area
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011299780.6A
Other languages
English (en)
Inventor
李海青
陈丽
侯广琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongxing Intelligent Co ltd
Original Assignee
Shenzhen Hongxing Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongxing Intelligent Co ltd filed Critical Shenzhen Hongxing Intelligent Co ltd
Priority to CN202011299780.6A priority Critical patent/CN112419260A/zh
Publication of CN112419260A publication Critical patent/CN112419260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种PCB文字区域缺陷检测方法。该方法包括以下步骤：S1获取标准图像子区域图像，将标准图像拆分为便于处理的小图像；S2使用已训练好的文字检测模型筛选包含文字的标准子区域图像；S3利用一种快速定位方法获取和标准子区域图像对应的测试子区域图像，并标注数据构建训练数据集；S4搭建模型，并使用训练数据集训练模型；S5将标准文字区域图像和测试文字区域图像送入训练好的网络，获得预测结果；S6根据网络预测结果判断子区域图像是否含有缺陷。利用本发明，能够准确地检测PCB文字区域的缺陷，排除了文字不一致时的误判。本发明可广泛用于工业视觉中PCB板相关的缺陷检测系统中。

Description

一种PCB文字区域缺陷检测方法
技术领域
本发明涉及数字图像处理、模式识别和统计学习等技术领域，尤其涉及一种PCB文字区域缺陷检测方法。
背景技术
PCB(Printed Circuit Board)，中文名称为印制电路板，又称印刷线路板，是重要的电子部件，是电子元器件的支撑体，是电子元器件电器连接的载体。PCB板本身是否存在缺陷将直接影响使用该PCB电路板的设备性能，所以对于PCB电路板的缺陷检测显得尤为必要。PCB缺陷种类较多，包含露铜、板污、线路刮伤、阻焊过薄、防焊偏移、文字模糊等十几种缺陷，不同的缺陷形状、大小、颜色、位置均不一样，导致检出困难，尤其是文字区域。文字作为PCB板上的标识区域，在PCB板面上占有相当大一部分比重。有作为元件型号标识的固定文字区域，还有作为版本号或者生产日期标识的可变文字区域。文字区域的缺陷主要包含两种类型：一种是文字本身的缺陷，如文字模糊、文字缺失；另一种是其他类型的缺陷，比如露铜、脏污等。当前现有的一些缺陷检测技术中，大部分是基于差影法，通过对比标准图像和测试图像的特征差异或者连通域的差异，若不一致则认为有缺陷，不一致区域即为缺陷位置；另一种是基于深度学习的方法，深度学习包含两种思路，一种是基于目标检测的思路，把缺陷当做一种目标来进行检测；另一种是基于分割的思想，对图像区域每个像素进行分类判断，再经过连通域等后处理来定位缺陷。文字相比其他区域特殊的地方在于不能简单地把差异的地方当做缺陷，差异也可能是文字内容的差异，不一定是缺陷。针对文字的缺陷，现有方法大部分使用文字识别、或者文字特征模板的比对来判断是否有差异，以此来检测文字缺陷。无论是传统的方法还是深度学习方法，这两种方法对于文字区域会存在以下问题：无法将真正的缺陷和文字内容差异区分开来。当文字占比较大时，检测准确度明显下降，所以需要对文字区域部分做特殊处理，以此来更进一步提升缺陷检测的准确率。
发明内容
本发明的目的在于提供一种PCB文字区域缺陷检测方法，以解决上述技术问题。
为了实现上述目的，本发明提出的一种PCB文字区域缺陷检测方法包括以下步骤：
步骤S1，获取标准图像子区域图像，将标准图像裁剪为便于处理的小块图像；
步骤S2，使用已训练好的文字检测模型筛选包含文字的所述标准子区域图像；
步骤S3，获取和所述标准子区域图像对应的测试子区域图像。结合PCB图像内容较规整的特点，采用基于边缘特征的匹配方法粗对位，进一步采用归一化互相关NCC作为图像相似度判断准则进行精对位。标注获取的图像对构成训练集；
步骤S4，搭建所述模型并训练模型。所述模型结合了文字检测和分割的方法，对所述图像进行文字和缺陷的像素级别分类；
步骤S5，将所述标准文字区域图像和测试文字区域图像在通道方向做连接，送入训练好的网络，获得预测结果；
步骤S6，根据所述预测结果，结合PCB设计文件的位置信息、预测缺陷区域的大小等判断是否含有缺陷。
本发明中提出的PCB文字区域缺陷包括但不限于：阻焊过薄、防焊偏移、板污、露铜、文字不清、字符模糊、文字缺失、文字偏移上焊盘。
本发明提出一种PCB文字区域缺陷检测方法。本发明所述方法对于提高计算机视觉PCB缺陷检测的准确性和鲁棒性具有重要意义，其主要优点如下：
1.本发明提出的方法对于PCB缺陷检测中的文字区域和其他区域进行区别处理，排除文字差异造成的误判，可减少检测过程中的误识率和拒真率。
2.本发明提出的方法采用的快速匹配对位方法，结合PCB图像内容特点，利用边缘特征进行快速对位，显著提高了缺陷检测处理速度。
3.本发明提出的方法对文字区域进行像素级别标注和预测，区别于一般文字检测方法中的区域预测，可准确分割文字像素。
4.本发明提出的方法对文字区域像素的预测结合了一般文字检测的方法，将检测区域限制于文字区域。
5.本发明提出的方法将文字和缺陷检测问题转化为像素分类问题，有效区分文字像素和缺陷像素。
6.本发明提出的方法在标准图和测试图文字内容一致和不一致的情况下均能实现缺陷的正确检测。
得益于上述优点，本发明提出的一种PCB文字区域缺陷检测方法，可以显著提升PCB文字区域缺陷检测的鲁棒性和实时性，准确地区分文字像素和缺陷像素，防止因正常文字差异产生错误判断，降低了识别过程中的误识率和拒真率，并进一步减少人工干预，可广泛应用于PCB文字区域缺陷检测系统中，例如集成电路板品控检测系统、印刷电路板出厂流水线、PCB产品车间管理系统等，特别适合应用针对检测含有文字的PCB检测系统中。
附图说明
为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明一实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出发明实施例提供了一种PCB文字区域缺陷检测方法的原理图；
图2示出本发明实施例提供了一种PCB文字区域缺陷检测方法的非文字区域缺陷示意图；
图3示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内容缺陷示意图；
图4示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内正常差异示意图；
图5示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内容异同且包含缺陷时正确检测示意图；
图6示出本发明实施例提供了一种PCB文字区域缺陷检测方法的边缘像素位置记录
图7示出本发明实施例提供了一种PCB文字区域缺陷检测方法的模型结构图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
利用本发明，能够准确地检测PCB文字区域的缺陷，排除了文字不一致时的误判，可广泛用于工业视觉中PCB板相关的缺陷检测系统中。
请参照图1，本实施例提供了一种PCB文字区域缺陷检测方法，用于对PCB印刷电路板文字区域是否存在缺陷进行检测，该PCB缺陷检测方法包括：
步骤S1，获取标准图P子区域图像Pi(i＝0，1，2，...n)。
步骤S2，使用已训练好的文字检测模型筛选包含有文字的子区域图像Pi(i＝0，1，2，...n)；
步骤S3，利用一种基于边缘特征的对位方法，在测试图像Q截取出与所述标准子区域图像Pi对应的测试子区域Qi(i＝0，1，2，...n)，构建像素点位置匹配的训练图像对；
步骤S4，搭建结合文字检测方法和分割方法的卷积神经网络模型，训练图像对在通道方向进行连接作为输入，对模型进行训练；
步骤S5，将S1和S3获取的匹配子区域图像送入所述训练好的模型，获得文字和缺陷像素预测特征图，并在通道方向计算最大值获取对应位置像素的分类索引，获得最终的预测分割结果；
步骤S6，根据模型预测分割结果，结合所述PCB设计文件提供的位置和缺陷预测区域大小等信息，判断是否包含缺陷；
其中，所述标准图P定义为标准模板图，所述标准模板图为判断检测此类PCB文字区域缺陷的依据标准。
上述技术方案中，具体而言，所述S1步骤中，将所述标准PCB图像P∈R(7000*8000*3)(数字7000、8000、3分别表示PCB图像P的长、宽、通道数)划分为200*200的子区域图像Pi(i＝0，1，2，...n)，其中n是总子区域的个数。
其中，需要说明的是，本文中提及图像数据的单位是像素。
本实施例中，若所述待测图像边缘不满足200*200，则延中心方向外扩边，保证所述子区域大小是200*200。
其中，如图2所示的一种PCB文字区域缺陷检测方法的非文字区域缺陷示意图，在缺陷检测流程中首先对非文字区域缺陷进行单独的检测。
所述S2步骤中，将所述图像Pi(i＝0，1，2，...n)送入已所述经训好的文字检测网络，得到检测结果D。D若不为空，则说明被检测图像包含文字。
进一步地，解析D中的数据，包含n*8数据，n代表文字区域数量，8代表文字区域4个顶点的位置坐标(x，y)。位置信息以水平左上角为起点，顺时针方向，4个顶点坐标分别是(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，作为步骤S3标注数据时文字区域的位置参考。
所述S3步骤中，以标所述注子区域图像Pi坐标为准，在所述测试图像Q截取对应的搜索区域图像，截取的宽高均与标准子区域图像的宽高比例系数为r(1.6＞r＞1.3)，所截取图像记为S。
其中，截取的宽高系数r＝1.3，所述标准子区域图像Pi∈R(200*200*3)，截取图像S∈R(260*260*3)。
进一步地，在搜索区域查找与所述标准子区域图像Pi相似性最高的区域作为测试子区域图像。图像的相似性判断准则选用归一化互相关NCC，计算公式如(1)所示：
Figure BSA0000225193220000061
一般的基于灰度的NCC相似性匹配算法过程是逐像素遍历搜索区域的每个子区域，找到相似性最大的位置作为最终的匹配区域，此过程存在的问题是效率很低，耗时不符合工业要求。考虑到PCB板图像内容形状规整，尤其是焊盘和线路等区域，具有明显的边缘特征，通过提取特定的边缘特征，计算标准图和测试图边缘特征的相似性来实现图像的粗对位。进一步对相似性进行排序，取前k个区域作为候选NCC计算区域。其中边缘特征选取水平边缘和垂直边缘。
步骤S31，检测标准图和测试图的水平边缘，并将符合一定长度的边缘像素位置记录下来，分别记为H，H′，格式如图6所示。
索引index代表第几条边缘，Point-1，Point-2等代表这条边缘的像素点位置；
步骤S32，检测所述标准图和测试图的垂直边缘，并将符合一定长度的边缘像素位置记录下来，记为V，V′，格式同H；
步骤S33，对H和H′的边缘以y坐标均值进行从小到大排序；
步骤S34，对V和V′的边缘以x坐标均值进行从小到大排序；
步骤S35，横向边缘匹配。以H的边缘为迭代单位，计算H和H′对应边缘的距离，并将结果记录到match_result；
步骤S36，对match_result进行从小到大排序，选择前k个值，将边缘的y坐标平均值作为候选位置，获得垂直方向候选位置集合Y。k的值一般选取总边缘数量的前30％；
步骤S37，同理对垂直边缘进行匹配排序，获得水平方向候选位置集合X；
步骤S38，遍历X，Y，分别计算NCC，NCC位置最大的位置即为最终匹配位置。
此方法的优点是：
(1)提高了查找最佳匹配位置的效率；
(2)结合PCB实际图像内容，利用边缘特征，快速进行粗对位；
(3)NCC既包含位置结构信息，也包含像素灰度信息，对光照影响鲁棒，对位的精度较高。
进一步地，将S1和S3获取的子区域图像成对保存，并制作训练集TrainSet。其中标签制作说明如下：像素分为背景、文字、缺陷三类，索引分别为0，1，2，以像素级别进行标注。其中文字区域以左上角为起始点，顺时针方向标注4个区域顶点，将文字区域向内收缩一定比例，作为文字区域的标签。
所述步骤S4中，搭建模型的结构如图7所示。
其中，模型的输入input将标准图和测试图在通道方向进行合并，textmap分支表示检测到的文字区域，loss记为Lt；defect map分支表示缺陷的检测结果，loss记为Ld。Ld和Lt均使用交叉熵，整个模型loss如公式(2)所示：
L＝Lt+Ld，(2)
由于在PCB大部分图像中缺陷和文字像素占比较少，导致正负样本比例不平衡，所以需要一种机制来避免这种问题。此处采用hard negative mining，对占比较大的负样本进行采样，使得正负样本比例为1∶3。
进一步地，利用所述训练数据集对模型进行训练，获得模型M。
所述步骤S5中，将所述标准图子区域图像Pi(i＝0，1，2，...n)和所述测试子区域图像Qi(i＝0，1，2，...，n)送入训练好的模型M进行预测，预测结果为对于每个像素的分类图F∈R(200*200*3)，以及文字区域检测图T∈R(200*200*1)。结合F和T的信息确定最终的缺陷检测区域。
步骤S51，将T大于阈值的区域设置像素点为255，否则设置为0，并将所获区域按照标签制作时的比例还原，获得文字区域Ta。
步骤S52，在通道方向计算F的最大值索引，其中将索引为2的区域设置像素点为255，否则设置为0，获得缺陷区域Fa。
步骤S53，将文字区域Ta与缺陷区域Fa进行“与”操作，获得最终的缺陷区域Froi。
所述步骤S6中，所述PCB文字区域缺陷检测系统对所述预测结果Froi进行阈值判断，若大于一定阈值Th，则判断包含缺陷。
其中，Th＝10个像素，若大于10个像素，则判定为当前文字区域有缺陷。
通过以上步骤，最终可以得到PCB文字区域缺陷检测的识别结果。
其中，如图3所示的一种PCB文字区域缺陷检测方法的文字区域内容缺陷示意图，本发明提出的方法首先对文字本身是否存在缺陷，如图中的检测结果，可以首先检测出PCB文字区域的文字内容缺陷；
其中，如图4所示的一种PCB文字区域缺陷检测方法的文字区域内正常差异示意图，如图所示，PCB板存在正常的批次差异，本发明提出的方法可以对PCB文字区域的正常差异进行缺陷排除，避免因正常文字差异而导致的缺陷误识或拒真判断；
其中，如图5所示的了一种PCB文字区域缺陷检测方法的文字区域内容异同且包含缺陷时正确检测示意图，如图所示，当PCB文字区域存在正常的文字内容异同时，本发明提出的方法首先排除区域内的文字缺陷，并进一步对其他缺陷进行检测，最终得到准确的识别结果。
本发明有效的将PCB文字区域的检测对象进行了分类检测，防止因正常文字差异产生错误判断，降低了识别过程中的误识率和拒真率，并进一步得减少人工干预过程的发生，可广泛应用于PCB文字区域缺陷检测系统中，例如集成电路板品控检测系统、印刷电路板出厂流水线、PCB产品车间管理系统等，特别适合应用针对检测含有文字或丝文的PCB检测系统中。
综上，所述对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (15)

1.一种PCB文字区域缺陷检测方法，其特征在于，该方法包括以下步骤：
步骤S1，获取标准图像子区域图像，将标准图像裁剪为便于处理的小块图像；
步骤S2，使用已训练好的文字检测模型筛选包含文字的所述标准子区域图像；
步骤S3，获取和所述标准子区域图像对应的测试子区域图像。结合PCB图像内容较规整的特点，采用基于边缘特征的匹配方法粗对位，进一步采用归一化互相关NCC作为图像相似度判断准则进行精对位。标注获取的图像对构成训练集；
步骤S4，搭建所述模型并训练模型。所述模型结合了文字检测和分割的方法，对所述图像进行文字和缺陷的像素级别分类；
步骤S5，将所述标准文字区域图像和测试文字区域图像在通道方向做连接，送入训练好的网络，获得预测结果；
步骤S6，根据所述预测结果，结合PCB设计文件的位置信息、预测缺陷区域的大小等判断是否含有缺陷。
2.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述PCB文字区域缺陷包括但不限于：阻焊过薄、板污、露铜、文字不清、字符模糊、文字缺失、文字偏移上焊盘。
3.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S1中的标准图像子区域和步骤S3中测试图像子区域标准均为200*200。
4.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述S2步骤中，将所述子区域图像送入已训练好的文字检测网络，筛选含有文字的子区域图像。
5.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S3中，结合所述PCB图像内容较规整的特点，采用基于边缘特征的方法进行粗对位，提高图像匹配效率。
6.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S3中，所述标准子区域图像和测试子区域图像精对位使用归一化互相关NCC作为图像相似度判断准则。NCC计算方法如下所示：
Figure FSA0000225193210000021
7.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述S3步骤中，利用所述S1和S3获取的子区域图像成对保存，并使用标定工具进行像素级别标注。
8.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述S3步骤中，所述像素类别分为背景、文字、缺陷三类，索引分别对应0，1，2。
9.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S3中，对所述文字的标注既有基于区域的标注，也有基于像素级别的标注。
10.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S4中，所述搭建的模型结合文字检测和分割的方法，对每个像素进行分类预测。
11.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S4中，将所述标准图子区域图像和所述测试子区域图像在通道方向连接作为模型的输入。
12.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S4中，所述模型的输出包含(1)文字区域的预测；(2)像素分类的预测。
13.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，对所述预测结果进行结果解析，在通道方向求最大值，获得对应像素的分类索引，结合文字区域的检测结果，获得最终的缺陷区域。
14.根据权利要求1所述的一种PCB文字区域缺陷检测方法，其特征在于，所述步骤S6中，结合所述PCB设计文件信息，对最终缺陷区域的大小进行阈值判断，若大于一定阈值，则判断包含缺陷。
15.根据权利要求13所述的一种PCB文字区域缺陷检测方法，其特征在于，所述阈值为10个像素，若大于10个像素，则判定为当前文字区域有缺陷。
CN202011299780.6A 2020-11-19 2020-11-19 一种pcb文字区域缺陷检测方法 Pending CN112419260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011299780.6A CN112419260A (zh) 2020-11-19 2020-11-19 一种pcb文字区域缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011299780.6A CN112419260A (zh) 2020-11-19 2020-11-19 一种pcb文字区域缺陷检测方法

Publications (1)

Publication Number Publication Date
CN112419260A true CN112419260A (zh) 2021-02-26

Family

ID=74773481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011299780.6A Pending CN112419260A (zh) 2020-11-19 2020-11-19 一种pcb文字区域缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112419260A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN114943738A (zh) * 2022-07-25 2022-08-26 武汉飞恩微电子有限公司 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN115035101A (zh) * 2022-07-22 2022-09-09 苏州康代智能科技股份有限公司 半导体芯片载板的缺陷验证方法、检测方法及aoi设备
CN116678898A (zh) * 2023-07-28 2023-09-01 苏州赫芯科技有限公司 一种通用化的晶片缺陷检测方法、系统、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN115035101A (zh) * 2022-07-22 2022-09-09 苏州康代智能科技股份有限公司 半导体芯片载板的缺陷验证方法、检测方法及aoi设备
CN114943738A (zh) * 2022-07-25 2022-08-26 武汉飞恩微电子有限公司 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN116678898A (zh) * 2023-07-28 2023-09-01 苏州赫芯科技有限公司 一种通用化的晶片缺陷检测方法、系统、设备及介质
CN116678898B (zh) * 2023-07-28 2023-10-24 苏州赫芯科技有限公司 一种通用化的晶片缺陷检测方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112419260A (zh) 一种pcb文字区域缺陷检测方法
CN111650220B (zh) 一种基于视觉的图文缺陷检测方法
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN106033535B (zh) 电子阅卷方法
CN101122953A (zh) 一种图片文字分割的方法
CN109886954B (zh) 一种印刷品缺陷检测方法
CN110047063B (zh) 一种物料掉落的检测方法、装置、设备及存储介质
CN101122952A (zh) 一种图片文字检测的方法
CN110929720B (zh) 一种基于logo匹配和ocr的元器件检测方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN113033558B (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN114022439A (zh) 一种基于形态学图像处理的柔性电路板缺陷检测方法
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
Kalina et al. Application of template matching for optical character recognition
CN110633635A (zh) 一种基于roi的交通标志牌实时检测方法及系统
Lue et al. A novel character segmentation method for text images captured by cameras
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN115100158A (zh) 一种实现图像精准匹配的印刷检测方法
JP2005250786A (ja) 画像認識方法
Rosner et al. Text line processing for high-confidence skew detection in image documents
CN114324405B (zh) 基于菲林检测的数据标注系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210226