CN114972230A - 一种生产线上电路板缺陷检测方法及系统 - Google Patents

一种生产线上电路板缺陷检测方法及系统 Download PDF

Info

Publication number
CN114972230A
CN114972230A CN202210539282.7A CN202210539282A CN114972230A CN 114972230 A CN114972230 A CN 114972230A CN 202210539282 A CN202210539282 A CN 202210539282A CN 114972230 A CN114972230 A CN 114972230A
Authority
CN
China
Prior art keywords
image
pixel
module
circuit board
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210539282.7A
Other languages
English (en)
Inventor
王小平
曹万
熊波
陈列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Finemems Inc
Original Assignee
Wuhan Finemems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Finemems Inc filed Critical Wuhan Finemems Inc
Priority to CN202210539282.7A priority Critical patent/CN114972230A/zh
Publication of CN114972230A publication Critical patent/CN114972230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种生产线上电路板缺陷检测方法，包括：获取待测电路板拍摄的图像，计算出图像的灰度平均值生成标准图像，将拍摄的图像与生成的标准图像对应像素进行像素信息差分，得到对应像素的差分值；通过图像预处理模块将与拍摄的图像中对应的像素进行合成；对输入图像进行XOR操作和细化操作；通过标记模块对输入图像中所有的元件及轮廓进行识别；计算识别模块获取标记后的输入图像的缺陷像素单元和与缺陷像素单元的缺陷类别标识，并将分类和标记后的输入图像经训练建立分类模型，以根据所述分类模型确定待测电路板的缺陷信息。

Description

一种生产线上电路板缺陷检测方法及系统
技术领域
本发明涉及视觉检测技术领域，尤其涉及一种生产线上电路板缺陷检测方法及系统。
背景技术
电路板在制造过程中，在投入应用前，需要对产品各方面的性能(例如，短路、开路、焊桥、元件松动或错位)进行检测分析，现有技术中，电路板生成企业主要采用人工检测方法对电路板进行缺陷检测。但是，人工检测需要工作人员用肉眼进行检查，存在检测成本高、准确性较低、效率低等缺点。
鉴于此，实有必要提供一种新型的生产线上电路板缺陷检测方法及系统以克服上述缺陷。
发明内容
本发明的目的是提供一种生产线上电路板缺陷检测方法，实现了生产线上全自动快速持续检测，检测精准，效率高，节省了大量人力和时间。
为了实现上述目的，本发明提供一种生产线上电路板缺陷检测方法，用于检测待测电路板，包括如下步骤，
S1：通过图像采集模块获取待测电路板的多幅特征图像，计算出多幅特征图像的同一像素点的灰度平均值生成标准图像，将拍摄的多幅特征图像与生成的标准图像对应像素采用F(i，j)＝D(i，j)-T(i，j)的公式进行像素信息差分，得到对应像素的差分值，得到对应像素的差分值；
其中，D(i，j)为待检测图像的像素灰度值；T(i，j)为参考图像的像素灰度值；F(i，j)为两幅对应像素差值的绝对值；
S2：通过图像预处理模块将所述对应像素的差分值与拍摄的多幅特征图像中对应的像素信息进行合成，得到输入图像；
S3：对输入图像进行XOR操作；；
S4：对进行XOR操作后的输入图像进行细化操作求出细化图像X thinT；
S5：通过标记模块对所述XOR操作和细化操作后的输入图像中所有的元件及轮廓进行识别；并将包括缺损的元件和/或轮廓缺损的所述输入图像标记为缺陷图像，将不包括缺损的元件或轮廓的所述输入图像标记为无缺陷图像；
S6：计算识别模块获取标记后的输入图像的缺陷像素单元和与缺陷像素单元的缺陷类别标识，并将分类和标记后的输入图像经训练建立分类模型，以根据所述分类模型确定待测电路板的缺陷信息；其中，分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征。
优选的，步骤S1还包括步骤S11：将拍摄的图像与标准图像中对应像素进行像素信息差分计算得到对应像素的深度差分值，和将拍摄的图像与标准图像中对应的像素进行灰度值差分，得到对应像素在各色彩通道的灰度差分值；将深度差分值、深度值以及在各色彩通道的灰度差分值和灰度值增加到拍摄图像中各像素的像素信息中，得到输入图像中对应像素的像素信息。
优选的，通过XOR操作，将拍摄的图像分为若干个区域，XOR操作具体如下：
D＝X/R；其中，D为拍摄的图像和标准图像之间的差值；X为待拍摄的图像；
R为标准图像；
进行细化操作求出细化图像X thinT，
Figure BDA0003647620890000021
其中，/为差值计算；X为待测印刷电路板图像；T为用于细化的结构元素；
Figure BDA0003647620890000031
为击不中操作；
和进行修剪操作求出修剪图像Xpruned，
输入待测印刷电路板图像X1，X1＝Xthinnedthin{P} (2)；
输入待测印刷电路板图像X2，
Figure BDA0003647620890000032
Figure BDA0003647620890000033
其中，P为用于修剪的结构元素；G为3×3的基本矩阵；j为参数。
优选的，步骤S1还包括在步骤S11之后的步骤S12：采用平滑线性滤波方法对输入图像进行处理得到滤波后图像，将滤波后图像采用灰度直方图处理，得到滤波后图像中像素点的灰度值的变换函数为
Figure BDA0003647620890000034
通过图像采集模块对滤波后图像中像素点的灰度值的变换函数
Figure BDA0003647620890000035
采用Hough变换检测来获得电路板上的坐标S(a，b)，a表示在X轴上的值，b表示在Y轴上的值；所获得的检测的坐标S(a，b)构成电路板的标准图像的数据。
优选的，步骤S6还包括步骤S61：分类模型通过深度卷积神经网络对训练样本图像进行训练得到，并且训练建立的分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征。
优选的，步骤S6还包括在步骤S61之后的步骤S62：将训练样本图像输入分类模型的卷积层，采用分类模型的卷积层对所述输入图像中各像素的像素信息进行图像特征提取；采用分类模型的池化层对所述卷积层提取的特征进行降维操作；采用分类模型的全连接层根据所述池化层降维后的图像特征进行分类。
优选的，步骤S62还进一步包括步骤S621：分类模型的卷积层对所述输入的训练样本图像中进行自动分割，划分出样本图像中包含的对象或颜色区域，然后根据对象或颜色区域提取图像特征，并建立索引；所述池化层仅保留图像特征中的主要特征，通过全连接层对池化层降维后的图像特征进行分类后，输出分类后的缺陷信息。
优选的，步骤S62还包括在步骤S621之后的步骤S622：通过图像提取模块对经过标记的训练样本图像提取图像特征，并根据图像特征获取多通道调整图像特征，将多通道调整图像特征输入到分类模型的池化层进行降维操作，进而将降维操作后的图像特征输入到全连接层，对样本图像进行像素级别的预测，获取测试缺陷像素单元与对应的测试缺陷类别标识。
优选的，步骤S62还包括在步骤S622之后的步骤S623：将标记的图像中的样本图像输入到分类模型中，通过卷积层获取图像特征，池化层对图像提取模块提取到的图像特征进行降维操作，最终通过全连接层对降维后的图像特征进行处理，通过二分插值的方式获取图像中各像素点的类别。
优选的，步骤S622还进一步包括步骤S6221：将每个图像特征对应的N维图像特征输入预设的挤压模型，获取与每个图像特征对应的一维图像特征；其中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数；
根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值，再根据相关值确定每个一维图像特征的权重，根据权重对每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。
一种生产线上电路板缺陷检测系统，包括图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台；所述图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台相互通信连接，
所述图像采集模块用于拍摄获取待测电路板的拍摄图像，所述图像预处理模块用于将拍摄的图像的像素信息与对应像素的差分值，与拍摄的图像中对应的像素信息进行合成得到输入图像，所述标记模块用于对输入图像进行分类和图像中所有的元件及轮廓进行标记，所述图像提取模块用于在图像中进行特征提取，所述计算识别模块自动识别缺陷，判断其种类、获得其位置信息，服务平台接收计算识别模块的检测判断信息通过数据接口输出识别结果。
与现有技术相比，有益效果在于：1)通过进行像素信息差分，可以快速分辨两幅特征图像之间存在缺陷的几率，有效提升了计算缺陷的速度。
2)通过标记模块对合成的输入图像进行分类和采取不同的颜色标记，可以方便在服务平台直观地观察出检测结果，且可通过图像采集模块持续地拍摄实现生产线上全自动快速持续检测，效率高，节省了大量人力和时间，进而全面提高产品质量。
3)通过池化层对图像提取模块提取到的图像特征进行降维操作以删除不必要的特征列表来选择正确的特征，从而使分类模型能够以更少的维度更快地训练，提高分类模型的准确性，进而提高检测的精准度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的生产线上电路板缺陷检测方法的流程图。
图2为本发明提供的生产线上电路板缺陷检测系统的原理图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
还需要说明的是，除非另有明确的规定和限定，“安装”、“相连”、“连接”、“固定”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况上述术语在本发明中的具体含义。
此外，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征。此外，“多个”、“若干”的含义是指两个或两个以上，除非另有明确具体的限定。
请参阅图1至图2，本发明提供一种生产线上电路板缺陷检测方法，包括如下步骤，
S1：通过图像采集模块获取待测电路板拍摄的多幅特征图像，计算出多幅拍摄的所述特征图像的同一像素点的灰度平均值生成标准图像，将拍摄的多幅特征图像与生成的标准图像对应像素进行像素信息差分，得到对应像素的差分值，定义灰度共生矩阵特征参数作为特征图像的特征信息。
具体的，采用F(i，j)＝D(i，j)-T(i，j)的公式进行像素信息差分，上式中，D(i，j)为待检测图像的像素灰度值；T(i，j)为参考图像的像素灰度值；F(i，j)为两幅对应像素差值的绝对值。若F(i，j)越小，则表明两幅特征图像之间存在缺陷的几率较低，反之亦然。如此，通过上述的像素信息差分有效提升了计算速度。
需要说明的是，拍摄的多幅特征图像和标准图像中各像素的像素信息均包括深度值和各色彩通道的灰度值。拍摄的多幅特征图像和标准图像的像素信息均包括深度值以及R，G，B三个色彩通道对应的灰度值。其中，深度值，是指对应像素所成像的对象与摄像头之间的距离。各色彩通道的灰度值，是指每个色彩通道的亮度，也就是每个色彩的深浅程度。灰度值的范围一般从0到255，白色为255，黑色为0。
S2：通过图像预处理模块将步骤S1中的得到的对应像素的差分值与拍摄的多幅特征图像中对应的像素进行合成，得到输入图像；
S3：对输入图像进行XOR操作(exclusive OR操作，异或操作)；
S4：对进行XOR操作后的输入图像进行细化操；
S5：通过标记模块对输入图像采用Labelme软件对图像中所有的元件及轮廓进行识别；并将包括缺损的元件和/或轮廓缺损的所述输入图像标记为缺陷图像，将不包括缺损的元件或轮廓的所述输入图像标记为无缺陷图像；其中，标记方式为矩形框，或者是沿着缺陷边缘所描绘的矢量图及其坐标数据集，并以xml格式或json格式或其他格式化信息保存。
S6：计算识别模块获取标记后的输入图像的缺陷像素单元和与缺陷像素单元的缺陷类别标识，并将分类和标记后的输入图像经训练建立分类模型，以根据所述分类模型确定待测电路板的缺陷信息；其中，分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征。
具体的，步骤S1还包括步骤S11：将拍摄的多幅图像与生成的标准图像中对应像素进行像素信息差分计算得到对应像素的深度差分值，和将拍摄的多幅图像与生成的标准图像中对应的像素进行灰度值差分，得到对应像素在各色彩通道的灰度差分值。将深度差分值、深度值以及在各色彩通道的灰度差分值和灰度值增加到拍摄图像中各像素的像素信息中，得到输入图像中对应像素的像素信息。此时，输入图像中各像素的像素信息包括像素的深度值、各色彩通道的灰度值、深度差分值以及在各色彩通道的灰度差分值。
具体的，步骤S1还包括在步骤S11之后的步骤S12：采用平滑线性滤波方法对输入图像进行处理得到滤波后图像，将滤波后图像采用灰度直方图处理，得到滤波后图像中像素点的灰度值的变换函数为
Figure BDA0003647620890000091
通过图像采集模块对滤波后图像中像素点的灰度值的变换函数
Figure BDA0003647620890000092
采用Hough变换检测来获得电路板上的坐标S(a，b)，a表示在X轴上的值，b表示在Y轴上的值；所获得的检测的坐标S(a，b)构成电路板的标准图像的数据；
具体的，通过XOR操作(exclusive OR操作，异或操作)，将拍摄的图像分为若干个区域，XOR操作具体如下：
采用D＝X/R的公式将拍摄的图像分为若干个区域；其中，D为拍摄的图像和标准图像之间的差值；X为待拍摄的图像；R为标准图像；
然后进行细化操作求出细化图像X thinT，
采用下述的公式(1)将XOR操作后的输入图像进行细化操作，
Figure BDA0003647620890000093
其中，/为差值计算；X为待测印刷电路板图像；T为用于细化的结构元素；
Figure BDA0003647620890000094
为击不中操作；
和采用下述公式(2)和(3)进行修剪操作求出修剪图像Xpruned，输入待测印刷电路板图像X1，X1＝Xthinnedthin{P} (2)；
输入待测印刷电路板图像X2，
Figure BDA0003647620890000095
Figure BDA0003647620890000096
其中，P为用于修剪的结构元素；G为3×3的基本矩阵；j为参数。
步骤S6还包括步骤S61：分类模型可以通过深度卷积神经网络(DeepConvolutional Neural Network，简称DCNN)对训练样本图像进行训练得到，并且训练建立的分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征，因此，将待测电路板对应的输入图像输入到分类模型后，根据分类模型可以确定待测电路板的缺陷信息。
需要说明的是，将标记图像中的已标记的电路板的缺陷(断路、短路、毛刺、元件错位等)信息作为模型训练的特征，是因为缺陷信息能够清楚的表示出相应样本图像展示的电路板是否存在缺陷，以及缺陷类型，从而将缺陷信息作为特征对分类模型进行训练，将待测电路板的对应的输入图像输入到分类模型后，能够根据输出的该待测电路板的缺陷信息，确定待测电路板是否存在缺陷，以及存在的缺陷类型。
分类模型为通过训练后得到计算机程序，用于人工输入或自动读取图像，在图像中通过图像提取模块自动进行特征提取，并通过计算识别模块自动识别缺陷，判断其种类、获得其位置信息，服务平台通过数据接口输出识别结果。
步骤S6还包括在步骤S61之后的步骤S62：所述分类模型包括卷积层、池化层和全连接层；将训练样本图像输入分类模型的卷积层，采用分类模型的卷积层对所述输入图像中各像素的像素信息进行图像特征提取；采用分类模型的池化层对所述卷积层提取的图像特征进行降维操作；采用分类模型的全连接层根据所述池化层降维后的图像特征进行分类。
具体地，将像素信息合成后的样本图像输入分类模型中，分类模型的卷积层根据样本图像已标记缺陷信息对输入的样本图像中各像素的像素信息进行图像特征提取。对于图像进行特征提取的方法有两种，一种方法是首先对样本图像进行自动分割，划分出样本图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将样本图像均匀地划分为若干规则子块，然后对每个样本图像子块提取特征，并建立索引。由于分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征，因此，通过将该差分值增加到拍摄图像的像素信息中进行图像特征提取，能够丰富分类模型的输入数据，有助于提高待测电路板缺陷检测的精度和效率。
进一步的，步骤S62还进一步包括步骤S621：分类模型的卷积层对所述输入的训练样本图像中进行自动分割，划分出样本图像中包含的对象或颜色区域，然后根据对象或颜色区域提取图像特征，并建立索引；所述池化层仅保留图像特征中的主要特征，通过全连接层对池化层降维后的图像特征进行分类后输出分类后的缺陷信息。
进一步的，步骤S62还包括在步骤S621之后的步骤S622：通过图像提取模块对经过标记的训练样本图像提取图像特征，并根据图像特征获取多通道调整图像特征，将多通道调整图像特征输入到分类模型的池化层进行降维操作，进而将降维操作后的图像特征输入到全连接层，对样本图像进行像素级别的预测，获取测试缺陷像素单元与对应的测试缺陷类别标识。通过获取每个图像特征对应的权重，并根据权重对相应的图像特征进行加权，实现对原图像特征的重标定，获取多通道调整图像特征，能够进一步提高缺陷检测的效果。
具体的，步骤S622还进一步包括步骤S6221：将每个图像特征对应的N维图像特征输入预设的挤压模型，获取与每个图像特征对应的一维图像特征；其中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数；
根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值，再根据相关值确定每个一维图像特征的权重，根据权重对每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。
进一步的，步骤S62还包括在步骤S622之后的步骤S623：将标记的图像中的样本图像输入到分类模型中，通过卷积层获取图像特征，池化层对图像提取模块提取到的图像特征进行降维操作以删除不必要的特征列表来选择正确的特征，从而使分类模型能够以更少的维度更快地训练，提高分类模型的准确性，最终通过全连接层对降维后的图像特征进行处理，通过二分插值的方式获取图像中各像素点的类别，从而实现像素级别的预测。
本发明还提供一种生产线上电路板缺陷检测系统，包括图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台；所述图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台相互通信连接，
所述图像采集模块用于拍摄获取待测电路板的拍摄图像，所述图像预处理模块用于将拍摄的图像的像素信息与对应像素的差分值，与拍摄的图像中对应的像素信息进行合成得到输入图像，所述标记模块用于对输入图像进行分类和图像中所有的元件及轮廓进行标记，所述图像提取模块用于在图像中进行特征提取，所述计算识别模块自动识别缺陷，判断其种类、获得其位置信息，服务平台接收计算识别模块的检测判断信息通过数据接口输出识别结果。
需要说明的是，所述标记模块根据计算识别模块的识别结果，对应不同的缺陷种类和位置进行不同颜色的标记，以便快速识别。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。

Claims (7)

1.一种生产线上电路板缺陷检测方法，用于检测待测电路板，其特征在于，包括：
S1：通过图像采集模块获取所述待测电路板的多幅特征图像，计算出多幅所述特征图像的同一像素点的灰度平均值生成标准图像，将拍摄的多幅特征图像与生成的标准图像对应像素采用F(i，j)＝D(i，j)-T(i，j)的公式进行像素信息差分，得到对应像素的差分值；
其中，D(i，j)为待检测图像的像素灰度值；T(i，j)为参考图像的像素灰度值；F(i，j)为两幅对应像素差值的绝对值；
S2：通过图像预处理模块将所述对应像素的差分值与拍摄的多幅特征图像中对应的像素进行合成，得到输入图像；
S3：对输入图像进行XOR操作将拍摄的图像分为若干个区域，
采用D＝X/R的公式将拍摄的图像分为若干个区域；其中，D为拍摄的图像和标准图像之间的差值；X为待拍摄的图像；R为标准图像；
S4：对进行XOR操作后的输入图像进行细化操作求出细化图像X thinT，
采用下述的公式(1)将XOR操作后的输入图像进行细化操作，
Figure FDA0003647620880000011
其中，/为差值计算；X为待测印刷电路板图像；T为用于细化的结构元素；
Figure FDA0003647620880000012
为击不中操作；
和采用下述公式(2)和(3)进行修剪操作求出修剪图像Xprured
X1＝Xthinnedthin{P} (2)；
Figure FDA0003647620880000013
Figure FDA0003647620880000021
其中，P为用于修剪的结构元素；G为3×3的基本矩阵；j为参数；
S5：通过标记模块对所述XOR操作和细化操作后的输入图像中所有的元件及轮廓进行识别，并将包括缺损的元件和/或轮廓缺损的所述输入图像标记为缺陷图像，将不包括缺损的元件或轮廓的所述输入图像标记为无缺陷图像；
S6：计算识别模块获取标记后的输入图像的缺陷像素单元和与缺陷像素单元的缺陷类别标识，并将分类和标记后的输入图像经训练建立分类模型，以根据所述分类模型确定待测电路板的缺陷信息；
采用平滑线性滤波方法对输入图像进行处理得到滤波后图像，将滤波后的图像采用灰度直方图处理，得到滤波后图像中像素点的灰度值的变换函数为
Figure FDA0003647620880000022
通过图像采集模块对滤波后图像中像素点的灰度值的变换函数
Figure FDA0003647620880000023
采用Hough变换检测来获得电路板上的坐标S(a,b)，a表示在X轴上的值，b表示在Y轴上的值；所获得的检测的坐标S(a,b)构成电路板的标准图像的数据；
通过图像提取模块对经过标记的训练样本图像提取图像特征，并根据图像特征获取多通道调整图像特征，将多通道调整图像特征输入到分类模型的池化层进行降维操作，进而将降维操作后的图像特征输入到全连接层，对样本图像进行像素级别的预测，获取测试缺陷像素单元与对应的测试缺陷类别标识；
将每个图像特征对应的N维图像特征输入预设的挤压模型，获取与每个图像特征对应的一维图像特征；其中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数；
根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值，再根据相关值确定每个一维图像特征的权重，根据权重对每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。
2.如权利要求1所述的生产线上电路板缺陷检测方法，其特征在于，步骤S1还包括步骤S11：将拍摄的多幅图像与生成的标准图像中对应像素进行像素信息差分计算得到对应像素的深度差分值，和将拍摄的多幅图像与生成的标准图像中对应的像素进行灰度值差分，得到对应像素在各色彩通道的灰度差分值；将深度差分值、深度值以及在各色彩通道的灰度差分值和灰度值增加到拍摄图像中各像素的像素信息中，得到输入图像中对应像素的像素信息。
3.如权利要求1所述的生产线上电路板缺陷检测方法，其特征在于，步骤S6还包括步骤S61：分类模型通过深度卷积神经网络对训练样本图像进行训练得到，并且训练建立的分类模型已经学习得到各类缺陷的电路板对应的输入图像的图像特征。
4.如权利要求3所述的生产线上电路板缺陷检测方法，其特征在于，步骤S6还包括在步骤S61之后的步骤S62：将训练样本图像输入分类模型的卷积层，采用分类模型的卷积层对所述输入图像中各像素的像素信息进行图像特征提取；采用分类模型的池化层对所述卷积层提取的图像特征进行降维操作；采用分类模型的全连接层根据所述池化层降维后的图像特征进行分类。
5.如权利要求4所述的生产线上电路板缺陷检测方法，其特征在于，步骤S62还进一步包括步骤S621：分类模型的卷积层对所述输入的训练样本图像中进行自动分割，划分出样本图像中包含的对象或颜色区域，然后根据对象或颜色区域提取图像特征，并建立索引；所述池化层仅保留图像特征中的主要特征，通过全连接层对池化层降维后的图像特征进行分类后，输出分类后的缺陷信息。
6.如权利要求5所述的生产线上电路板缺陷检测方法，其特征在于，步骤S62还包括步骤S622之后的步骤S623：将标记的图像中的样本图像输入到分类模型中，通过卷积层获取图像特征，池化层对图像提取模块提取到的图像特征进行降维操作，最终通过全连接层对降维后的图像特征进行处理，通过二分插值的方式获取图像中各像素点的类别。
7.一种生产线上电路板缺陷检测系统，包括图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台；所述图像采集模块、图像预处理模块、标记模块、图像提取模块、计算识别模块以及服务平台相互通信连接，
所述图像采集模块用于拍摄获取待测电路板的拍摄图像，所述图像预处理模块用于将拍摄的图像的像素信息与对应像素的差分值，与拍摄的图像中对应的像素信息进行合成得到输入图像，所述标记模块用于对输入图像进行分类和图像中所有的元件及轮廓进行标记，所述图像提取模块用于在图像中进行特征提取，所述计算识别模块自动识别缺陷，判断其种类、获得其位置信息，服务平台接收计算识别模块的检测判断信息通过数据接口输出识别结果。
CN202210539282.7A 2022-05-17 2022-05-17 一种生产线上电路板缺陷检测方法及系统 Pending CN114972230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210539282.7A CN114972230A (zh) 2022-05-17 2022-05-17 一种生产线上电路板缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210539282.7A CN114972230A (zh) 2022-05-17 2022-05-17 一种生产线上电路板缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN114972230A true CN114972230A (zh) 2022-08-30

Family

ID=82982809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539282.7A Pending CN114972230A (zh) 2022-05-17 2022-05-17 一种生产线上电路板缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN114972230A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152251A (zh) * 2023-04-20 2023-05-23 成都数之联科技股份有限公司 电视机背板检测方法、模型训练方法、装置、设备和介质
CN117078604A (zh) * 2023-07-31 2023-11-17 台州道致科技股份有限公司 无人实验室智能管理方法及系统
CN117876367A (zh) * 2024-03-11 2024-04-12 惠州威尔高电子有限公司 一种用于电路板印刷的曝光优化方法
CN118169547A (zh) * 2024-05-13 2024-06-11 常州忆隆信息科技有限公司 一种电动吻合器单次使用电路检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152251A (zh) * 2023-04-20 2023-05-23 成都数之联科技股份有限公司 电视机背板检测方法、模型训练方法、装置、设备和介质
CN117078604A (zh) * 2023-07-31 2023-11-17 台州道致科技股份有限公司 无人实验室智能管理方法及系统
CN117078604B (zh) * 2023-07-31 2024-03-12 台州道致科技股份有限公司 无人实验室智能管理方法及系统
CN117876367A (zh) * 2024-03-11 2024-04-12 惠州威尔高电子有限公司 一种用于电路板印刷的曝光优化方法
CN117876367B (zh) * 2024-03-11 2024-06-07 惠州威尔高电子有限公司 一种用于电路板印刷的曝光优化方法
CN118169547A (zh) * 2024-05-13 2024-06-11 常州忆隆信息科技有限公司 一种电动吻合器单次使用电路检测方法及系统

Similar Documents

Publication Publication Date Title
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
CN109978822B (zh) 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN114549522A (zh) 基于目标检测的纺织品质量检测方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN113706490B (zh) 一种晶片缺陷检测方法
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN111160301A (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
Wah et al. Analysis on feature extraction and classification of rice kernels for Myanmar rice using image processing techniques
CN113390882A (zh) 一种基于机器视觉和深度学习算法的轮胎内侧缺陷检测仪
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN116542975A (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
CN115861220A (zh) 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN112329770B (zh) 一种仪表刻度识别方法及装置
KR101782366B1 (ko) 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법
CN114677670A (zh) 一种身份证篡改自动识别与定位的方法
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination