CN116168218A - 一种基于图像识别技术的电路板故障诊断方法 - Google Patents

一种基于图像识别技术的电路板故障诊断方法 Download PDF

Info

Publication number
CN116168218A
CN116168218A CN202211463581.3A CN202211463581A CN116168218A CN 116168218 A CN116168218 A CN 116168218A CN 202211463581 A CN202211463581 A CN 202211463581A CN 116168218 A CN116168218 A CN 116168218A
Authority
CN
China
Prior art keywords
image
circuit board
fault
judging
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211463581.3A
Other languages
English (en)
Inventor
康成伟
石坚
丛培城
孙洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Changchun Railway Vehicles Co Ltd
Original Assignee
CRRC Changchun Railway Vehicles Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Changchun Railway Vehicles Co Ltd filed Critical CRRC Changchun Railway Vehicles Co Ltd
Priority to CN202211463581.3A priority Critical patent/CN116168218A/zh
Publication of CN116168218A publication Critical patent/CN116168218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像识别技术的电路板故障诊断方法，该方法包括以下步骤：采用可见光相机采集电路板可见光图像数据；对电路板可见光图像数据进行处理：将被测电路板上的元器件与标准库中对应的元器件图片进行余弦相似度比较，遍历所有元器件，判断可能存在故障的元器件；对可能存在故障的元器件进行具体故障判定，元器件具体故障判定时采用边缘提取算法及相应的规则进行判断；再采用模板匹配算法对被测电路板进行检测，判定是否存在电路板级故障，若存在缺陷，则采用Canny等方法对电路板级故障进行具体判定。该方法能够准确识别出缺件、器件偏移、器件翻件、器件歪斜、错件等故障，以及电路板级的烧毁、多锡等故障，诊断结果准确、可靠。

Description

一种基于图像识别技术的电路板故障诊断方法
技术领域
本发明涉及故障电路板测试技术领域，具体涉及一种基于图像识别技术的电路板故障诊断方法。
背景技术
电路板的故障识别是电路板检修流程中的基本环节，如果在测试前期就发现电路板的表面故障甚至是内部故障，会大幅提高检修效率。
电路板的典型故障包括元器件故障和电路板级故障。元器件故障包括：缺件(元器件丢失或未贴装，所在位置无元器件)；器件偏移(元器件存在水平方向和/或垂直方向位移，中心点有偏移)；器件歪斜(待测元器件与标准元器件的外边界存在夹角，即有倾斜角度)；器件立碑/侧立(零件两端的锡膏融化时间不一致，而导致片式元件两端受力不均，在应力的作用下造成一边翘起的现象)；翻件(正反面颠倒)；错件(元器件型号或类型贴装错误)。电路板级故障包括：污染、烧损、断裂、裂纹、变形(凹陷、翘曲等板面形变)、多锡等。
目前电路板故障识别，主要还是靠有经验的维修人员通过一些光学仪器进行人工检测，效率较低，且无法检测到板卡的内部问题。
中国专利CN 113536868 A公开了“一种电路板故障识别方法”，该方法包括以下步骤：获取被测电路板的被测电路板图像，所述被测电路板包括多个待测元件；在所述被测电路板图像中对所述多个待测元件进行图像标注，得到各个待测元件的候选图像；根据各个待测元件的候选图像获取各个待测元件的位置信息；基于聚合通道特征方法提取各个候选图像的元件特征，得到各个候选图像的第一特征向量；根据各个候选图像的第一特征向量识别各个待测元件的元件类型；根据各个待测元件的元件类型和位置信息判断所述被测电路板是否存在故障，并在所述被测电路板存在故障时，输出故障信息。然而，该专利只能确定元器件故障，除掉件故障、撞件故障外不能准确识别其他故障类型；另外，该专利对电路板图像处理时，若电路板发生偏转，则直接影响最终的诊断结果，导致诊断结果不准确。
发明内容
本发明的目的在于提供一种基于图像识别技术的电路板故障诊断方法，该方法能够准确识别出缺件、器件偏移、器件翻件、器件歪斜、错件等故障，以及电路板级的烧毁、多锡等故障，诊断结果准确、可靠。
为实现上述目的，本发明采用如下技术方案：
一种基于图像识别技术的电路板故障诊断方法，该方法包括以下步骤：
步骤S1、调节控制光源，采用可见光相机采集电路板可见光图像数据；
步骤S2、对电路板可见光图像数据进行处理：
步骤S2.1电路板图像定位
以设置在电路板任意三个角的铜制定位圆为标志物，三个定位圆中有两个铜制定位圆的中心在同一水平线上，有两个铜制定位圆的中心在同一竖直线上，选择基于图像色彩信息的方法对定位圆初步提取，计算出HSI三个分量，之后根据HSI分量的阈值进行图像二值化，进行膨胀处理，用基于连通区域标记的方法进行定位圆提取，最后计算三个定位圆的中心，将其作为参考点；
步骤S2.2电路板图像的旋转
电路板图像定位之后，得到三个参考点的坐标信息，分别记作(x1,y1)、(x2,y2)、(x3,y3)；根据三个参考点的坐标信息判断电路板图像是否发生偏转；若偏转，则旋转校正，旋转后保存图像的RGB颜色特征，并通过转化公式计算出HSI分量保存；
步骤S2.3图像增强
将图像转换成灰度图像，采用灰度直方图均衡化对图像进行增强处理；
步骤S2.4：采用均值滤波的方式对图像进行去噪；
步骤S3、根据步骤S2获取的电路板图像进行元器件类故障检测
步骤S3.1对被测电路板图像进行识别分析，确定被测电路板上的所有元器件及位置，将被测电路板上的元器件与标准库中对应的元器件图片进行余弦相似度比较，遍历所有元器件，判断可能存在故障的元器件；
步骤S3.2对可能存在故障的元器件进行具体故障判定，元器件具体故障判定的方法为：
(1)电阻缺件故障判定
用边缘提取算法定位并检测电路板图像上电阻两端的方形焊接区域内黑白点的分布情况，设定一个阈值s0，计算区域内白色点占比s＝区域内白色点数量/区域内点的数量；若s<s0，则判定为缺件；
(2)电阻偏移故障判定
经过边缘提取算法处理后，计算焊接区域内黑白点的数量，根据焊接区域内黑白点的数量判定是否发生左、右偏移；之后从焊接区域中心出发，先向上或下移动一定距离，再向内侧移动一定距离，若途中遇到白色点，则判定没有发生上、下偏移；反之，则判定此电阻向下或向上偏移；
(3)电阻翻件故障判定
经过边缘提取算法处理后，取图像中心的一块区域作为判定区域，计算区域内黑色点数量占比s，若s大于0.95，则判定此电阻前后翻转；
(4)电阻歪斜故障判定
经过边缘提取算法处理后，从两端焊接区域中心出发，向图像中心移动，找到第一个白色点，再向周围搜索，把一定范围内的，变化趋势相同的白色点找出，之后进行最小二乘法拟合，得到拟合直线的斜率，算出直线与水平线的夹角，若夹角小于设定的阈值，则判定此电阻歪斜；
(5)错件故障判定
采用卷积神经网络模型识别元器件上的型号，然后将其与标准电路板上对应位置元器件型号进行对比，判断元器件型号是否一致，若不一致，则判定错件；
步骤S4、电路板级故障检测：
步骤S4.1首先采用模板匹配算法对被测电路板进行检测，判定是否存在电路板级故障，若存在缺陷，则执行步骤S4.2；
步骤S4.2对电路板级故障进行具体判定
(1)电路板级的烧毁判定
选用Canny算子进行图像边缘的粗定位，把图像边缘定位在像素级，检测出电路板图像中各元器件的边缘，污损边缘，将被检测图像边缘与标准图像边缘进行比对，设定阈值s0，检测标准图像外的不相关边缘面积s＝不相关像素点总数，之后判断不相关边缘面积s是否大于设定阈值s0；若高于阈值，则该区域存在烧毁、污损缺陷；
(2)电路板级的多锡判定
标准图电路板图像进行均值滤波去噪后进行二值化处理，之后对图像进行反复的腐蚀和膨胀操作，处理后得到一个标准的二值图像，作为模板图像使用；
被测电路板图像进行均值滤波去噪后进行二值化处理，然后对模板图像和待测图像进行异或操作，得到被测图像问题区域，设定阈值s0，求差影图像瑕疵面积s＝异或后某区域内白色点数量，若s>s0，则认为该区域为多锡。
作为本发明的优选，步骤S2.1中HSI三分量由图像[0,1]之间的RGB值计算出，计算公式如下：
Figure BDA0003956441530000031
Figure BDA0003956441530000032
Figure BDA0003956441530000033
作为本发明的优选，步骤S2.3灰度直方图均衡化时，设总像素数为N，共有L个灰度级，其中设第k个灰度级rk出现的像素数为nk，则第k个灰度级出现的概率为：
Figure BDA0003956441530000041
进行灰度直方图均衡化的变化函数为：
Figure BDA0003956441530000042
作为本发明的优选，步骤S2.4对图像进行均值滤波处理去噪时，使用下述公式所示的权值系数，将待处理像素点的领域点进行加权平均计算，将得到的计算结果赋予该点，直至将图像中的每一个像素点都处理完毕：
Figure BDA0003956441530000043
本发明的优点和积极效果是：
(1)本发明提供的方法利用电路板上的三个定位圆并结合图像处理技术能够对电路板图像进行准确定位，若电路板发生偏转可以旋转校正，保证获取的电路板图像数据的准确性和可靠性。
(2)本发明提供的方法在确定可能存在故障的元器件后通过边缘提取算法等方法可进一步对元器件故障类型进行识别，能够准备识别出缺件故障、器件偏移故障、器件翻件故障、器件歪斜故障、错件等故障，便于检测人员准确了解电路板故障。
(3)本发明提供的方法还可实现对电路板级故障的检测，具体包括烧毁、污损、多锡等故障，诊断结果准确、可靠。
附图说明
图1为定位圆在电路板上的安装示意图。
图2为存在偏转的电路板图像和旋转后的电路板图像的对比图；其中，a为偏转的电路板图像；b为旋转后的电路板图像。
图3为电路板图像增强前与直方图均衡化增强后的对比图；其中，a为增强前图像，b为增强后图像。
图4为电路板图像去噪前与去噪后的对比图；其中，a为去噪前图像，b为去噪后图像。
图5为电路板上的电阻进行边缘处理前后的对比图；其中，a为边缘处理前图像，b为边缘处理后图像。
图6为经过边缘提取算法处理后正常电阻的图像。
图7为电阻前后翻转图像
图8为电阻翻转图像的边缘提取图像；
图9为经过边缘提取算法处理后倾斜电阻的图像；
图10为标准电路板与检测电路板焊点图像的对比图；其中，a为标准电路板图像，b为检测电路板图像；
图11为多锡焊点二值图像与异或后图像的对比图；其中，a为多锡焊点二值图像，b为异或后图像。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明提供一种基于图像识别技术的电路板故障诊断方法，该方法包括以下步骤：
步骤S1、调节控制光源，采用2000万像素可见光相机采集电路板可见光图像数据；
步骤S2、对电路板可见光图像数据进行处理：
步骤S2.1电路板图像定位
以设置在电路板任意三个角的铜制定位圆为标志物，三个定位圆中有两个铜制定位圆的中心在同一水平线上，有两个铜制定位圆的中心在同一竖直线上(见图1)，选择基于图像色彩信息的方法对定位圆初步提取，计算出HSI三个分量，之后根据HSI分量的阈值进行图像二值化，进行膨胀处理，用基于连通区域标记的方法进行定位圆提取，最后计算三个定位圆的中心，将其作为参考点；
HSI三分量由图像[0,1]之间的RGB值计算出，计算公式如下：
Figure BDA0003956441530000051
Figure BDA0003956441530000052
Figure BDA0003956441530000053
其中，H表示色调，S表示饱和度，I表示密度；
步骤S2.2电路板图像的旋转
电路板图像定位之后，得到三个参考点的坐标信息，分别记作(x1,y1)、(x2,y2)、(x3,y3)；若同一竖直线上的两个定位圆的横坐标x1与x2不相等，则图像中的电路板出现偏转的情况，不利于标准信息的生成与保存，因此需要将图像依据其偏转情况进行旋转校正。
图2为存在偏转的电路板图像和旋转后的电路板图像，以左上和左下两个参考点(x1,y1)、(x2,y2)为基准，对图像进行角度为
Figure BDA0003956441530000061
的旋转；旋转后，保存以(X1,Y1)为起点，(X3,Y2)为终点的矩形范围内图像的RGB颜色特征，并通过上述转化公式计算出HSI分量保存。
步骤S2.3图像增强
图像增强就是对图像进行增强处理，以保证图像的信息可以保留；直方图均衡化是通过非线性拉伸，使得图像的像素灰度值重新分配，从而实现对比度增强的方法。灰度直方图是以图像的灰度级为横坐标，以灰度级出现的概率为纵坐标绘制的直方图，直方图均衡化就是通过改变图像的灰度值分布实现图像的增强，其变化过程如下：
设总像素数为N，共有L个灰度级，其中设第k个灰度级rk出现的像素数为nk，则第k个灰度级出现的概率为：
Figure BDA0003956441530000062
进行灰度直方图均衡化的变化函数为：
Figure BDA0003956441530000063
本实施例将图像转换成灰度图像，之后采用灰度直方图均衡化对图像进行增强处理，图3为电路板图像增强前与直方图均衡化增强后的对比图；其中，a为增强前图像，b为增强后图像；
步骤S2.4图像去噪
用图像滤波的方式进行去噪。在图像当中，噪声的出现会使得某点的像素比周围亮很多或者暗很多，对于这样的异常点的处理就是滤波。均值滤波以某一像素为中心，在它的周围选择一领域，用其领域内的所有点的平均值来代替某点的像素值，用模块运算系数表示如下面公式所示：
Figure BDA0003956441530000064
可以利用改变权系数来改进均值滤波的效果，得到加权平均滤波器，如下面公式所示：
Figure BDA0003956441530000071
本实施例对图像进行均值滤波处理是使用上述公式所示的权值系数，将待处理像素点的领域点进行加权平均计算，将得到的计算结果赋予该点，直至将图像中的每一个像素点都处理完毕。
图4为电路板图像去噪前与去噪后的对比图；其中，a为去噪前图像，b为去噪后图像。
步骤S3、根据步骤S2获取的电路板图像进行元器件类故障检测
步骤S3.1对被测电路板图像进行识别分析，确定被测电路板上的所有元器件及位置，将被测电路板上的元器件与标准库中对应的元器件图片进行余弦相似度比较，遍历所有元器件，判断可能存在故障的元器件；
步骤S3.2对可能存在故障的元器件进行具体故障判定，检测完后以方框在被测电路板上标注出故障位置和故障种类；其中，元器件具体故障判定的方法为：
(1)电阻缺件故障判定
电阻两端存在方形的焊接区域，只有在缺件时会完全显露出来，可依此判断此位置是否缺件。
用边缘提取算法定位并检测电路板图像上电阻两端的方形焊接区域内黑白点的分布情况，在边缘提取后，图像矩阵在黑色处值为0，白色处值为255，可以大致定位并检测方形区域内黑白点的分布情况，如果是缺件，那么绝大部分都是黑色点，因此设定一个阈值s0，计算区域内白色点占比s＝区域内白色点数量/区域内点的数量；若s<s0，则认定为缺件。
图5为电路板上的电阻进行边缘处理前后的对比图；其中，a为边缘处理前图像，b为边缘处理后图像。
(2)电阻偏移故障判定
经过边缘提取算法处理后，正常电阻的图像如图6所示；如果电阻发生左右偏移，则左边或右边的焊接区域会显露出来，因此通过计算焊接区域内黑白点的数量判断左侧或右侧是否露出焊接区域，进而完成左右偏移的判断；
如果电阻发生上下偏移，则焊接区域内侧竖边缘会露出一段边，因此从焊接区域中心出发，先向上或下移动一定距离(例如四分之一图像高度)，再向内侧移动一定距离(例如四分之一图像高度)，如果途中遇到白色点，则证明上面或下面没有露出一小段边；反之，则可以判定此电阻是向下或向上偏移。
(3)电阻翻件故障判定
考虑到贴片电阻的背面无任何图案，如图7所示，因此可在边缘提取的基础上，如图8所示，取图像中心的一块区域，例如以(w/2,h/2)为中心，宽为2w/5，高为h/2的矩形作为判定区域，计算区域内黑色点数量占比s，若s大于0.95，则判定此电阻前后翻转。
(4)电阻歪斜故障判定
经过边缘提取算法处理后，歪斜电阻的图像如图9所示，可以从两端焊接区域中心出发，向图像中心移动，找到第一个白色点，再向周围搜索，将一定范围内(例如距离小于5)的，变化趋势相同(例如往左上或右下，这保证了大致在一条线上)的白色点找出，这些点的集合即为电阻左斜边或右斜边；再分别进行最小二乘法拟合，得到拟合直线的斜率，进而算出直线与水平线的夹角，如果夹角小于设定的阈值(比如80度)，则判定此电阻歪斜。
(5)错件故障判定：采用卷积神经网络模型识别元器件上的型号，然后将其与标准电路板上对应位置元器件型号进行对比，判断元器件型号是否正确。
步骤S4、电路板级故障检测
步骤S4.1首先采用模板匹配算法对被测电路板进行检测，判定是否存在电路板级故障；模板匹配时，输入模板图像(标准电路板图像)和需要检测的图像，对图像进行预处理，将图像的信息提取出来，比如图像的特征或者灰度等；对待测图像和模板图像的相似度进行计算，然后设置合适的阈值，通过该阈值来进行判断被测电路板是否存在缺陷；若存在缺陷，则执行步骤S4.2；
步骤S4.2对电路板级故障进行具体判定
(1)电路板级的烧毁判定
选用Canny算子进行图像边缘的粗定位，把图像边缘定位在像素级，检测出电路板图像中各元器件的边缘，污损边缘，将待检测图像边缘与标准图像边缘进行比对，设定阈值s0，检测标准图像外的不相关边缘面积s＝不相关像素点总数，之后判断不相关边缘面积s是否大于设定阈值s0；若高于阈值，则该区域存在烧毁等污损缺陷；
(2)电路板级的多锡判定
设定二值化参数c，若某一点灰度值大于c，则二值化后为255，否则为0；被测电路板进行滤波去噪后按照上述方式进行二值化处理，再对该二值图像进行后续的缺陷提取和识别。
先将标准电路板的二值图像进行形态学处理；首先，考虑受到噪声的影响，可对图像进行腐蚀处理；另外，考虑二值化过程中的偏差，图像上可能会出现微小的毛刺、多余的连接等，因此对图像进行反复的腐蚀和膨胀操作，即开操作、闭操作；其中，用同一结构元素对图像进行先腐蚀后膨胀(开操作)，即可以消除毛刺和线路多余的连接；用同一结构元素先膨胀后腐蚀(闭操作)，可圆滑图像缺损部分，补充微小的断开；处理后，标准电路板上的微小缺陷被去除，可得到一个标准的二值图像，作为模板图像使用。
对于被检测的图像，不进行开闭等操作，以保留图像缺陷问题；然后对模板图像和被测图像进行异或操作，即可得到待测图像问题区域；由于噪声影响，可能存早微小的瑕疵，设定阈值s0，求差影图像瑕疵面积s＝异或后某区域内白色点数量，若s>s0，则认为该区域为多锡，否则滤掉以去除其他干扰。
本专利由国家重点研发计划资助，课题名“超大城市轨道交通智能维护关键技术与应用研究”，课题编号“2020YFB1600704”，英文标注“National Key R&D Program ofChina”。
最后应说明的是，以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims (4)

1.一种基于图像识别技术的电路板故障诊断方法，其特征在于，该方法包括以下步骤：
步骤S1、调节控制光源，采用可见光相机采集电路板可见光图像数据；
步骤S2、对电路板可见光图像数据进行处理：
步骤S2.1电路板图像定位
以设置在电路板任意三个角的铜制定位圆为标志物，三个定位圆中有两个铜制定位圆的中心在同一水平线上，有两个铜制定位圆的中心在同一竖直线上，选择基于图像色彩信息的方法对定位圆初步提取，计算出HSI三个分量，之后根据HSI分量的阈值进行图像二值化，进行膨胀处理，用基于连通区域标记的方法进行定位圆提取，最后计算三个定位圆的中心，将其作为参考点；
步骤S2.2电路板图像的旋转
电路板图像定位之后，得到三个参考点的坐标信息，分别记作(x1,y1)、(x2,y2)、(x3,y3)；根据三个参考点的坐标信息判断电路板图像是否发生偏转；若偏转，则旋转校正，旋转后保存图像的RGB颜色特征，并通过转化公式计算出HSI分量保存；
步骤S2.3图像增强
将图像转换成灰度图像，采用灰度直方图均衡化对图像进行增强处理；
步骤S2.4：采用均值滤波的方式对图像进行去噪；
步骤S3、根据步骤S2获取的电路板图像进行元器件类故障检测
步骤S3.1对被测电路板图像进行识别分析，确定被测电路板上的所有元器件及位置，将被测电路板上的元器件与标准库中对应的元器件图片进行余弦相似度比较，遍历所有元器件，判断可能存在故障的元器件；
步骤S3.2对可能存在故障的元器件进行具体故障判定，元器件具体故障判定的方法为：
(1)电阻缺件故障判定
用边缘提取算法定位并检测电路板图像上电阻两端的方形焊接区域内黑白点的分布情况，设定一个阈值s0，计算区域内白色点占比s＝区域内白色点数量/区域内点的数量；若s<s0，则判定为缺件；
(2)电阻偏移故障判定
经过边缘提取算法处理后，计算焊接区域内黑白点的数量，根据焊接区域内黑白点的数量判定是否发生左、右偏移；之后从焊接区域中心出发，先向上或下移动一定距离，再向内侧移动一定距离，若途中遇到白色点，则判定没有发生上、下偏移；反之，则判定此电阻向下或向上偏移；
(3)电阻翻件故障判定
经过边缘提取算法处理后，取图像中心的一块区域作为判定区域，计算区域内黑色点数量占比s，若s大于0.95，则判定此电阻前后翻转；
(4)电阻歪斜故障判定
经过边缘提取算法处理后，从两端焊接区域中心出发，向图像中心移动，找到第一个白色点，再向周围搜索，把一定范围内的，变化趋势相同的白色点找出，之后进行最小二乘法拟合，得到拟合直线的斜率，计算出直线与水平线的夹角，若夹角小于设定的阈值，则判定此电阻歪斜；
(5)错件故障判定
采用卷积神经网络模型识别元器件上的型号，然后将其与标准电路板上对应位置元器件型号进行对比，判断元器件型号是否一致，若不一致，则判定错件；
步骤S4、电路板级故障检测：
步骤S4.1首先采用模板匹配算法对被测电路板进行检测，判定是否存在电路板级故障，若存在缺陷，则执行步骤S4.2；
步骤S4.2对电路板级故障进行具体判定
(1)电路板级的烧毁判定
选用Canny算子进行图像边缘的粗定位，把图像边缘定位在像素级，检测出电路板图像中各元器件的边缘，污损边缘，将被检测图像边缘与标准图像边缘进行比对，设定阈值s0，检测标准图像外的不相关边缘面积s＝不相关像素点总数，之后判断不相关边缘面积s是否大于设定阈值s0；若高于阈值，则该区域存在烧毁、污损缺陷；
(2)电路板级的多锡判定
标准图电路板图像进行均值滤波去噪后进行二值化处理，之后对图像进行反复的腐蚀和膨胀操作，处理后得到一个标准的二值图像，作为模板图像使用；
被测电路板图像进行均值滤波去噪后进行二值化处理，然后对模板图像和待测图像进行异或操作，得到被测图像问题区域，设定阈值s0，求差影图像瑕疵面积s＝异或后某区域内白色点数量，若s>s0，则认为该区域为多锡。
2.根据权利要求1所述的一种基于图像识别技术的电路板故障诊断方法，其特征在于，步骤S2.1中HSI三分量由图像[0,1]之间的RGB值计算出，计算公式如下：
Figure FDA0003956441520000021
Figure FDA0003956441520000022
Figure FDA0003956441520000031
3.根据权利要求1所述的一种基于图像识别技术的电路板故障诊断方法，其特征在于，步骤S2.3灰度直方图均衡化时，设总像素数为N，共有L个灰度级，其中设第k个灰度级rk出现的像素数为nk，则第k个灰度级出现的概率为：
Figure FDA0003956441520000032
进行灰度直方图均衡化的变化函数为：
Figure FDA0003956441520000033
4.根据权利要求1所述的一种基于图像识别技术的电路板故障诊断方法，其特征在于，步骤S2.4对图像进行均值滤波处理去噪时，使用下述公式所示的权值系数，将待处理像素点的领域点进行加权平均计算，将得到的计算结果赋予该点，直至将图像中的每一个像素点都处理完毕：
Figure FDA0003956441520000034
/>
CN202211463581.3A 2022-11-22 2022-11-22 一种基于图像识别技术的电路板故障诊断方法 Pending CN116168218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211463581.3A CN116168218A (zh) 2022-11-22 2022-11-22 一种基于图像识别技术的电路板故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211463581.3A CN116168218A (zh) 2022-11-22 2022-11-22 一种基于图像识别技术的电路板故障诊断方法

Publications (1)

Publication Number Publication Date
CN116168218A true CN116168218A (zh) 2023-05-26

Family

ID=86415255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211463581.3A Pending CN116168218A (zh) 2022-11-22 2022-11-22 一种基于图像识别技术的电路板故障诊断方法

Country Status (1)

Country Link
CN (1) CN116168218A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664529A (zh) * 2023-06-05 2023-08-29 青岛信驰电子科技有限公司 一种基于特征识别的电子元件排线校对方法
CN116863175A (zh) * 2023-08-31 2023-10-10 中江立江电子有限公司 一种直角连接器缺陷识别方法、装置、设备及介质
CN116958125A (zh) * 2023-09-18 2023-10-27 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664529A (zh) * 2023-06-05 2023-08-29 青岛信驰电子科技有限公司 一种基于特征识别的电子元件排线校对方法
CN116863175A (zh) * 2023-08-31 2023-10-10 中江立江电子有限公司 一种直角连接器缺陷识别方法、装置、设备及介质
CN116863175B (zh) * 2023-08-31 2023-12-26 中江立江电子有限公司 一种直角连接器缺陷识别方法、装置、设备及介质
CN116958125A (zh) * 2023-09-18 2023-10-27 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法
CN116958125B (zh) * 2023-09-18 2023-12-26 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法

Similar Documents

Publication Publication Date Title
CN115601364B (zh) 基于图像分析的金手指电路板检测方法
CN110210409B (zh) 表格单据中表格框线检测方法及系统
WO2018068415A1 (zh) 元件错件检测方法和系统
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
TWI796681B (zh) 基於深度學習的二維ｐｃｂ外觀缺陷實時自動檢測之方法
US20010028732A1 (en) Method and system for detecting defects on a printed circuit board
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
JPH07302304A (ja) イメージの文字を解析する装置
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN104331695B (zh) 一种鲁棒的圆形标志符形状质量检测方法
CN116993744B (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN112115948A (zh) 一种基于深度学习的芯片表面字符识别方法
CN112419260A (zh) 一种pcb文字区域缺陷检测方法
CN113111903A (zh) 智能产线监测系统及监测方法
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN112561875A (zh) 一种基于人工智能的光伏电池板粗栅检测方法
CN115170501A (zh) 缺陷检测方法、系统、电子设备及存储介质
CN114677348A (zh) 一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质
TW201512649A (zh) 偵測晶片影像瑕疵方法及其系統與電腦程式產品
CN116993725B (zh) 一种柔性电路板智能贴片信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination