CN114742832A - 一种MiniLED薄板的焊接缺陷检测方法 - Google Patents

一种MiniLED薄板的焊接缺陷检测方法 Download PDF

Info

Publication number
CN114742832A
CN114742832A CN202210659049.2A CN202210659049A CN114742832A CN 114742832 A CN114742832 A CN 114742832A CN 202210659049 A CN202210659049 A CN 202210659049A CN 114742832 A CN114742832 A CN 114742832A
Authority
CN
China
Prior art keywords
boundary
miniled
point
sheet
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210659049.2A
Other languages
English (en)
Other versions
CN114742832B (zh
Inventor
陈星�
吴建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Welgao Electronics Co ltd
Original Assignee
Huizhou Welgao Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Welgao Electronics Co ltd filed Critical Huizhou Welgao Electronics Co ltd
Priority to CN202210659049.2A priority Critical patent/CN114742832B/zh
Publication of CN114742832A publication Critical patent/CN114742832A/zh
Application granted granted Critical
Publication of CN114742832B publication Critical patent/CN114742832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种MiniLED薄板的焊接缺陷检测方法。该方法在根据语义分割网络得到待测MiniLED薄板的语义分割效果图后，额外计算了训练语义分割网络时所使用的标签图像中，每个标签图像相较于所有标签图像的焊接点位置信息的偏移程度，得到了用于对焊接点边界位置进行校正的焊接点边界表征模型，基于该模型得到了待测薄板的边界处理效果图，结合边界处理效果图和语义分割效果图，完成了待测薄板上焊接区域的准确确定，基于所确定的更准确的焊接区域，提高焊接缺陷检测准确度。

Description

一种MiniLED薄板的焊接缺陷检测方法
技术领域
本发明涉及图像数据处理技术领域，具体涉及一种MiniLED薄板的焊接缺陷检测方法。
背景技术
随着智能设备的显示技术不断创新发展，对屏幕的分辨率要求越来越高，MiniLED阵列器件应运而生。与常规LED相比，MiniLED的尺寸进一步减少，制作工艺更为复杂，MiniLED采用LED芯片尺寸为微米等级，每张MiniLED电路板上通常会有数千个芯片，上万个焊点，因此对MiniLED的检测要求及难度会进一步提高。
当前对电路板上焊接点缺陷检测常用方法有图像识别技术，其中最常用的是语义分割图像识别。但由于MiniLED上焊接点尺寸的减小以及焊接点分布的密集度提高，所以现有语义分割图像识别技术，在识别MiniLED薄板图像而确定焊接点所处的感兴趣区域时，常常出现对焊接点边界像素点识别不准确以及不同焊接点边界像素点粘连的问题，感兴趣区域识别不准确，便会直接导致对MiniLED薄板上焊接点的焊接缺陷检测不够准确。
也即，现有技术存在着语义分割图像识别技术在面对MiniLED薄板焊接点时，无法准确地完成焊接缺陷检测的问题。
发明内容
为解决语义分割图像识别技术在面对MiniLED薄板焊接点时，无法准确地完成焊接缺陷检测的问题，本发明提供了一种MiniLED薄板的焊接缺陷检测方法，所采用的技术方案具体如下：
本发明的一种MiniLED薄板的焊接缺陷检测方法，包括以下步骤：
采集待测MiniLED薄板表面图像，将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图；
采集所述语义分割网络训练过程中所使用的标签图像上各个焊接点的边界信息，得到标签图像上各个焊接点的边界表征向量；
根据所采集的焊接点在各个标签图像上的边界信息，确定焊接点在各个标签图像中的边界表征均值向量；
根据边界表征向量以及边界表征均值向量，确定每个标签图像的偏移向量；
根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，根据所述焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图；
根据所述语义分割效果图以及边界处理效果图，确定待测MiniLED薄板表面图像的感兴趣区域；
将所述待测MiniLED薄板表面图像的感兴趣区域与所有焊接点均焊接正常的标准图像进行对比，确定待测MiniLED薄板的焊接缺陷。
本发明的有益效果为：
本发明在根据语义分割网络得到待测MiniLED薄板的语义分割效果图后，还计算了训练语义分割网络时所使用的标签图像中，每个标签图像相较于所有标签图像的焊接点位置信息的偏移程度，根据所得偏移程度得到了用于对焊接点边界位置进行校正的焊接点边界表征模型，基于该模型得到了待测MiniLED薄板的边界处理效果图，结合边界处理效果图和语义分割效果图，完成了待测MiniLED薄板上焊接区域的准确确定，由于所确定的待测MiniLED薄板上焊接区域更为准确，所以在后续将待测MiniLED薄板上焊接区域与不存在焊接缺陷的标准图像进行比对后，便可得到更为准确的焊接缺陷判断结果，提高对待测MiniLED薄板焊接缺陷检测的准确度，解决了现有语义分割算法无法完成对MiniLED薄板的焊接缺陷的准确识别的问题。
进一步的，所述边界表征向量为：
Figure 410894DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
表示第q个标签图像中第c个焊接点的边界表征向量，N为焊接点边界上 采样点的数量，
Figure 53097DEST_PATH_IMAGE004
为边界表征向量的尺寸，
Figure 100002_DEST_PATH_IMAGE005
为焊接点边界上所采样的第一个采 样点的坐标，
Figure 952920DEST_PATH_IMAGE006
为焊接点边界上所采样的第N个采样点的坐标。
进一步的，得到所述边界表征均值向量的具体过程为：
根据焊接点在各个标签图像中的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure 456713DEST_PATH_IMAGE008
其中，
Figure 100002_DEST_PATH_IMAGE009
为焊接点c的边界上第i个采样点的平均坐标点，
Figure 492802DEST_PATH_IMAGE010
表示焊接点c的第i 个采样点在第
Figure 100002_DEST_PATH_IMAGE011
张标签图像中的横坐标，
Figure 305906DEST_PATH_IMAGE012
为焊接点c的第i个采样点在第
Figure 693025DEST_PATH_IMAGE011
张标签图像 中的纵坐标，Q为训练语义分割网络时所使用的标签图像的总数；
根据所得焊接点c的边界上第i个采样点的平均坐标点，确定各个标签图像中第c个焊接点的边界表征均值向量：
Figure 734931DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE015
为各个标签图像中第c个焊接点的边界表征均值向量。
进一步的，所述每个标签图像的偏移向量为：
Figure 100002_DEST_PATH_IMAGE017
其中，
Figure 78056DEST_PATH_IMAGE018
为第q张标签图像的偏移向量。
进一步的，所述焊接点边界表征模型的确定过程为：
计算每个标签图像对应的偏移向量，根据所有标签图像对应的偏移向量构建边界 特征偏移矩阵
Figure 100002_DEST_PATH_IMAGE019
，计算所述边界特征偏移矩阵
Figure 875111DEST_PATH_IMAGE019
的所有特征值以及对应的特征向量，选 取较大的前k个特征值对应的特征向量，得到焊接点边界表征模型：
Figure 100002_DEST_PATH_IMAGE021
其中，
Figure 421630DEST_PATH_IMAGE022
为第c个焊接点的边界表征模型，
Figure 100002_DEST_PATH_IMAGE023
为特征向量
Figure 782073DEST_PATH_IMAGE024
的偏移权值，
Figure 792754DEST_PATH_IMAGE024
为边界 特征偏移矩阵
Figure 760710DEST_PATH_IMAGE019
的前k个较大特征值对应的特征向量中第j个特征向量；
所述偏移权值根据特征向量
Figure 794525DEST_PATH_IMAGE024
对应的特征值大小确定，特征值越大，对应的偏移 权值越大。
进一步的，所述感兴趣区域为：
Figure 240550DEST_PATH_IMAGE026
其中，
Figure 100002_DEST_PATH_IMAGE027
为待测MiniLED薄板表面图像的感兴趣区域，
Figure 558268DEST_PATH_IMAGE028
为待测MiniLED 薄板表面图像上位置
Figure 100002_DEST_PATH_IMAGE029
处的权值函数；
位置
Figure 697125DEST_PATH_IMAGE029
处的权值函数
Figure 218237DEST_PATH_IMAGE028
的确定过程为：
以位置
Figure 467952DEST_PATH_IMAGE029
处的像素点为中心像素点，得到以中心像素点为中心的窗口区域，计 算窗口区域中所有像素点的像素值的均值，作为位置
Figure 453226DEST_PATH_IMAGE029
处的像素点的像素表征值
Figure 949935DEST_PATH_IMAGE030
；
计算所述像素表征值
Figure 20659DEST_PATH_IMAGE030
的出现概率：
Figure 11749DEST_PATH_IMAGE032
其中，
Figure 100002_DEST_PATH_IMAGE033
为位置
Figure 851529DEST_PATH_IMAGE029
上像素点的像素表征值在待测MiniLED薄板表面图像上 所有像素点对应所得像素表征值中出现的概率，
Figure 519140DEST_PATH_IMAGE034
为位置
Figure 811581DEST_PATH_IMAGE029
上像素点的像素表征值 在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测 MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数；
位置
Figure 668678DEST_PATH_IMAGE029
处的权值函数
Figure 362965DEST_PATH_IMAGE028
为：
Figure 952209DEST_PATH_IMAGE036
其中，
Figure 100002_DEST_PATH_IMAGE037
为待测MiniLED薄板表面图像上位置
Figure 997526DEST_PATH_IMAGE029
处的权值函数。
附图说明
图1是本发明的MiniLED薄板的焊接缺陷检测方法流程图。
具体实施方式
下面结合附图及实施例，对本发明的一种MiniLED薄板的焊接缺陷检测方法进行详细说明。
方法实施例：
本发明的一种MiniLED薄板的焊接缺陷检测方法实施例，其整体流程如图1所示，具体过程如下：
1、采集待测MiniLED薄板表面图像。
考虑到MiniLED薄板尺寸较小，其上的焊接点同样较小且密集，普通的相机无法获取高精度高分辨率的MiniLED薄板表面图像，所以本实施例采用带有高放大倍率大视野工业镜头的工业相机，采集高倍率高分辨率的MiniLED薄板表面图像，以便后续对MiniLED薄板焊接缺陷进行检测识别。
同时，为进一步提高后续缺陷检测精确度，对所采集的图像进行去噪处理，消除待测MiniLED薄板图像中的噪声的影响。现有去噪处理算法有很多，本发明采用高斯滤波去噪算法对图像进行处理，以获取去噪后的待测MiniLED薄板表面图像数据，用于后续对待测MiniLED薄板焊接缺陷进行识别检测。
2、将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图。
考虑到MiniLED薄板表面除了存在较多的焊接点外，还存在许多如芯片的元器件以及不存在器件和焊接点的空白区域，因此，本实施例对薄板表面的焊接区域进行提取，避免无关因素及区域的影响，提高焊接缺陷检测的精度。
本实施例通过语义分割网络对待测MiniLED薄板表面图像中的焊接区域像素点进行识别，所采用的语义分割网络，是采用人为给出的Q张标签图像已经训练好的语义分割网络，其中标签图像为二值图像，图像中的焊接点位置处的像素点的像素值均设置为1，其他背景区域的像素点的像素值均设置为0，并通过交叉熵损失函数对网络进行监督训练，不断地更新网络参数，得到最终可用的训练好的语义分割网络。
将待测MiniLED薄板表面图像输入训练好的语义分割网络后，便可得到语义分割 效果图
Figure 579685DEST_PATH_IMAGE038
。
3、基于语义分割网络训练过程中所使用的标签图像，建立MiniLED薄板上焊接点边界表征模型，对焊接点边界进行显著处理并对应得到边界处理效果图。
考虑到MiniLED薄板表面的焊接点较多且面积较小，位置都比较接近，在传统语义分割识别各焊接点的过程中极易出现边界像素点识别不准确问题，同时边界像素点之间也会存在较多的粘连，因此，为保证对焊接点区域也即感兴趣区域的提取精度，准确识别各焊接点，本发明将对各焊接点的边界信息进行显著处理。
a）采集训练语义分割网络时所使用的标签图像上各个焊接点的边界信息，以边界表征向量对各个标签图像中每个焊接点的边界信息进行表征。
对于一张标签图像，本实施例获取标签图像上各个焊接点的最小外接矩形，对于各个焊接点，以焊接点的最小外接矩形的中心点所在竖直方向为对称线，向左右两方向按照固定采样间隔对焊接点边缘上像素点进行采样，得到若干个采样点，本实施例中保持每个焊接点对应所得采样点的数量一致，均记为N。
对训练语义分割网络时所使用的所有标签图像均进行上述各个焊接点边缘上采样点的获取，由此，便可得到每张标签图像中的每个焊接点边缘上的采样点。
基于所提取的标签图像上焊接点边缘上的采样点，本实施例设置边界表征向量，来对焊接点的边界信息进行表征，边界表征向量为：
Figure 128478DEST_PATH_IMAGE002
其中，
Figure 216520DEST_PATH_IMAGE003
表示第q个标签图像中第c个焊接点的边界表征向量，N表示一个焊接点 边界上采样点的数量，
Figure 421237DEST_PATH_IMAGE004
为边界表征向量的尺寸，
Figure 354558DEST_PATH_IMAGE005
为焊接点边界上所采样的第 一个采样点的坐标，
Figure 23436DEST_PATH_IMAGE006
为焊接点边界上所采样的第N个采样点的坐标。
b）基于所采集的焊接点在各个标签图像上的边界信息，确定该焊接点在各个标签图像中的边界表征均值向量。
本实施例以标签图像中的一个焊接点为例进行说明，对于标签图像上所有C个焊接点中的第c个焊接点而言，基于所有标签图像中第c个焊接点的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure 469330DEST_PATH_IMAGE008
其中，
Figure 958080DEST_PATH_IMAGE009
为焊接点c的边界上第i个采样点的平均坐标点，
Figure 960671DEST_PATH_IMAGE010
表示焊接点c的第i 个采样点在第
Figure 421740DEST_PATH_IMAGE011
张标签图像中的横坐标，
Figure 586005DEST_PATH_IMAGE012
为焊接点c的第i个采样点在第
Figure 827630DEST_PATH_IMAGE011
张标签图像 中的纵坐标，Q为训练语义分割网络时所使用的标签图像的总数。
由上述焊接点边界上各个采样点的平均坐标计算方法，便可得到各个标签图像中第c个焊接点的边界表征均值向量：
Figure 555284DEST_PATH_IMAGE014
c）根据边界表征向量以及边界表征均值向量，确定标签图像的偏移向量。
通过步骤a）以及步骤b），本实施例得到了表征某个标签图像中，各个焊接点的边界信息的边界表征向量，以及表征所有标签图像中某个焊接点的边界信息平均值的边界表征均值向量，由此，便可根据某个标签图像中每个焊接点的便捷信息相较于所有标签图像中该焊接点的边界信息平均值之间的差值，得到该标签图像相较于所有标签图像整体的边界信息偏移程度，并以偏移向量具体表示：
Figure 933175DEST_PATH_IMAGE017
其中，
Figure 533921DEST_PATH_IMAGE018
为第q张标签图像的偏移向量，
Figure 934946DEST_PATH_IMAGE003
为第q张标签图像中第c个焊接点的边 界表征向量，为所有标签图像中第c个焊接点的边界表征均值向量。
d）根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，基于所得焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图。
基于步骤c）中所给出的偏移向量计算方法，可得到所有标签图像各自对应的偏移 向量，基于所有标签图像各自对应的偏移向量，构建边界特征偏移矩阵
Figure 279340DEST_PATH_IMAGE019
，所述边界特征 偏移矩阵尺寸为N
Figure DEST_PATH_IMAGE039
。
获得该边界特征偏移矩阵
Figure 511738DEST_PATH_IMAGE019
的所有特征值
Figure 17806DEST_PATH_IMAGE040
及对应的特征向量
Figure DEST_PATH_IMAGE041
，然后通过PCA 主成分分析算法对其进行分析，选取较大的前k个特征值对应的特征向量，用于对标签图像 中的边界信息相对于边界表征均值向量的偏移方向进行表征。其中k值可根据需求自行设 定，在其它实施例中，还可以直接以所得边界特征偏移矩阵
Figure 647674DEST_PATH_IMAGE019
的所有特征向量来表征标签 图像中的边界信息相对于边界表征均值向量的偏移方向，而不再选取较大的前k个特征值 对应的特征向量。
根据所得边界表征均值向量以及表征偏移方向的特征向量，得到焊接点边界表征模型：
Figure 530180DEST_PATH_IMAGE021
其中，
Figure 69614DEST_PATH_IMAGE022
为第c个焊接点的边界表征模型，
Figure 746583DEST_PATH_IMAGE015
为第c个焊接点的边界表征均值向 量，
Figure 122201DEST_PATH_IMAGE042
为特征向量
Figure 808397DEST_PATH_IMAGE024
的偏移权值，
Figure 15387DEST_PATH_IMAGE024
为边界特征偏移矩阵
Figure 315788DEST_PATH_IMAGE019
的前k个较大特征值对应的特 征向量中第j个特征向量；偏移权值根据特征向量
Figure 241018DEST_PATH_IMAGE024
对应的特征值大小确定，特征值越大， 则对应的偏移权值越大。
至此 ，即可得到MiniLED薄板表面各个焊接点的边界表征模型值。
基于所得焊接点边界表征模型确定待测MiniLED薄板表面图像中各个焊接点的边 界，将所确定的待测MiniLED薄板表面图像中各个焊接点边界上以及边界内部像素点的像 素值设置为1，将各个焊接点边界外部像素点的像素值设置为0，也即将待测MiniLED薄板表 面图像中的焊接点位置处的像素点的像素值均设置为1，其他背景区域的像素点的像素值 均设置为0，由此便可得到基于边界表征模型的边界处理效果图
Figure DEST_PATH_IMAGE043
。
4、根据所获取的边界处理效果图以及语义分割效果图，确定待测MiniLED薄板表面图像的感兴趣区域。
基于语义分割效果图
Figure 199747DEST_PATH_IMAGE038
以及边界处理效果图
Figure 526823DEST_PATH_IMAGE043
，可得待测MiniLED薄 板表面图像的感兴趣区域为：
Figure 811174DEST_PATH_IMAGE044
其中，
Figure 348335DEST_PATH_IMAGE027
为待测MiniLED薄板表面图像的感兴趣区域，
Figure 376333DEST_PATH_IMAGE028
为待测MiniLED 薄板表面图像上位置
Figure 557916DEST_PATH_IMAGE029
处的权值函数。
位置
Figure 950851DEST_PATH_IMAGE029
处的权值函数的确定过程为：
以位置
Figure 850674DEST_PATH_IMAGE029
处的像素点为中心像素点，确定中心像素点周围八邻域的像素点，得 到以中心像素点为中心的3*3的窗口区域，当然，在其它实施例中邻域范围可进行不同于本 实施例的设置。
获取3*3的窗口区域内所有像素点的像素均值，将该像素均值作为处于位置
Figure 416785DEST_PATH_IMAGE029
上的像素点的像素表征值
Figure 187295DEST_PATH_IMAGE030
，由此得到待测MiniLED薄板表面图像上每个位置上像素 点的像素表征值，然后计算位置
Figure 813448DEST_PATH_IMAGE029
上的像素点的像素表征值
Figure 934988DEST_PATH_IMAGE030
在待测MiniLED薄板 表面图像上所有像素点对应所得像素表征值中出现的概率：
Figure DEST_PATH_IMAGE045
其中，
Figure 695002DEST_PATH_IMAGE033
为位置
Figure 851177DEST_PATH_IMAGE029
上像素点的像素表征值在待测MiniLED薄板表面图像上 所有像素点对应所得像素表征值中出现的概率，
Figure 382653DEST_PATH_IMAGE034
为位置
Figure 991489DEST_PATH_IMAGE029
上像素点的像素表征值 在待测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测 MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数。
基于所得位置
Figure 899402DEST_PATH_IMAGE029
上像素点的像素表征值在待测MiniLED薄板表面图像上所有 像素点对应所得像素表征值中出现的概率，可确定待测MiniLED薄板表面图像上位置
Figure 300296DEST_PATH_IMAGE029
处的权值函数：
Figure 268252DEST_PATH_IMAGE046
其中，
Figure 364384DEST_PATH_IMAGE037
即为待测MiniLED薄板表面图像上位置
Figure 262939DEST_PATH_IMAGE029
处的权值函数。由此便 可得到待测MiniLED薄板表面图像上所有位置处的权值函数，权值函数经过归一化处理，保 证其函数值处于[0，1]。
权值函数的值越大，则表示该权值函数对应位置处的纹理以及细节信息越复杂，在进行语义分割的过程中越有可能出现分割不准确的问题，因此，通过图像中像素点的权值函数可进一步保证对ROI区域的准确提取，提高提高感兴趣区域的提取精度。
5、基于所确定的待测MiniLED薄板表面图像的感兴趣区域完成待测MiniLED薄板焊接缺陷检测。
首先，选取一张MiniLED薄板表面所有焊接点均焊接正常的图像，根据本实施例的感兴趣区域确定方法获取其对应的感兴趣区域，并获取其中的各个正常焊接点，将其作为焊接缺陷检测的标准图像。
获取标准图像后，将待测MiniLED薄板表面图像上感兴趣区域与标准图像进行对比，完成待测MiniLED薄板焊接质量检测。对比分析过程为公知算法，如常用的归一化互相关算法等，在此不再赘述。
至此，通过对语义分割网络确定MiniLED薄板上感兴趣区域的确定方法进行改进，本发明便可提高对MiniLED薄板上焊接点焊接缺陷的检测准确度，实现对MiniLED薄板焊接缺陷的准确检测。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种MiniLED薄板的焊接缺陷检测方法，其特征在于，包括以下步骤：
采集待测MiniLED薄板表面图像，将待测MiniLED薄板表面图像输入训练好的语义分割网络，得到待测MiniLED薄板表面图像的语义分割效果图；
采集所述语义分割网络训练过程中所使用的标签图像上各个焊接点的边界信息，得到标签图像上各个焊接点的边界表征向量；
根据所采集的焊接点在各个标签图像上的边界信息，确定焊接点在各个标签图像中的边界表征均值向量；
根据边界表征向量以及边界表征均值向量，确定每个标签图像的偏移向量；
根据每个标签图像的偏移向量，以及每个焊接点的边界表征均值向量，确定焊接点边界表征模型，根据所述焊接点边界表征模型对待测MiniLED薄板表面图像进行处理，得到待测MiniLED薄板表面图像的边界处理效果图；
根据所述语义分割效果图以及边界处理效果图，确定待测MiniLED薄板表面图像的感兴趣区域；
将所述待测MiniLED薄板表面图像的感兴趣区域与所有焊接点均焊接正常的标准图像进行对比，确定待测MiniLED薄板的焊接缺陷。
2.根据权利要求1所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述边界表征向量为：
Figure 879572DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示第q个标签图像中第c个焊接点的边界表征向量，N为焊接点边界上采样 点的数量，
Figure 84288DEST_PATH_IMAGE004
为边界表征向量的尺寸，
Figure DEST_PATH_IMAGE005
为焊接点边界上所采样的第一个采样点 的坐标，
Figure 470139DEST_PATH_IMAGE006
为焊接点边界上所采样的第N个采样点的坐标。
3.根据权利要求2所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，得到所述边界表征均值向量的具体过程为：
根据焊接点在各个标签图像中的边界采样点的坐标信息，确定该焊接点边界上各个采样点的平均坐标信息：
Figure 873439DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为焊接点c的边界上第i个采样点的平均坐标点，
Figure 70065DEST_PATH_IMAGE010
表示焊接点c的第i个采 样点在第
Figure DEST_PATH_IMAGE011
张标签图像中的横坐标，
Figure 11345DEST_PATH_IMAGE012
为焊接点c的第i个采样点在第
Figure 748357DEST_PATH_IMAGE011
张标签图像中的 纵坐标，Q为训练语义分割网络时所使用的标签图像的总数；
根据所得焊接点c的边界上第i个采样点的平均坐标点，确定各个标签图像中第c个焊接点的边界表征均值向量：
Figure 271742DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为各个标签图像中第c个焊接点的边界表征均值向量。
4.根据权利要求3所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述每个标签图像的偏移向量为：
Figure DEST_PATH_IMAGE017
其中，
Figure 639269DEST_PATH_IMAGE018
为第q张标签图像的偏移向量。
5.根据权利要求4所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述焊接点边界表征模型的确定过程为：
计算每个标签图像对应的偏移向量，根据所有标签图像对应的偏移向量构建边界特征 偏移矩阵
Figure DEST_PATH_IMAGE019
，计算所述边界特征偏移矩阵
Figure 802266DEST_PATH_IMAGE019
的所有特征值以及对应的特征向量，选取较 大的前k个特征值对应的特征向量，得到焊接点边界表征模型：
Figure DEST_PATH_IMAGE021
其中，
Figure 280652DEST_PATH_IMAGE022
为第c个焊接点的边界表征模型，
Figure DEST_PATH_IMAGE023
为特征向量
Figure 924123DEST_PATH_IMAGE024
的偏移权值，
Figure 446240DEST_PATH_IMAGE024
为边界特征 偏移矩阵
Figure 175162DEST_PATH_IMAGE019
的前k个较大特征值对应的特征向量中第j个特征向量；
所述偏移权值根据特征向量
Figure 191659DEST_PATH_IMAGE024
对应的特征值大小确定，特征值越大，对应的偏移权值 越大。
6.根据权利要求5所述的MiniLED薄板的焊接缺陷检测方法，其特征在于，所述感兴趣区域为：
Figure 689637DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
为待测MiniLED薄板表面图像的感兴趣区域，
Figure 382655DEST_PATH_IMAGE028
为待测MiniLED薄板 表面图像上位置
Figure DEST_PATH_IMAGE029
处的权值函数；
位置
Figure 598873DEST_PATH_IMAGE029
处的权值函数
Figure 481378DEST_PATH_IMAGE028
的确定过程为：
以位置
Figure 974807DEST_PATH_IMAGE029
处的像素点为中心像素点，得到以中心像素点为中心的窗口区域，计算窗 口区域中所有像素点的像素值的均值，作为位置
Figure 917356DEST_PATH_IMAGE029
处的像素点的像素表征值
Figure 355290DEST_PATH_IMAGE030
；
计算所述像素表征值
Figure 759596DEST_PATH_IMAGE030
的出现概率：
Figure 232165DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE033
为位置
Figure 17719DEST_PATH_IMAGE029
上像素点的像素表征值在待测MiniLED薄板表面图像上所有 像素点对应所得像素表征值中出现的概率，
Figure 942949DEST_PATH_IMAGE034
为位置
Figure 167257DEST_PATH_IMAGE029
上像素点的像素表征值在待 测MiniLED薄板表面图像上所有像素点对应所得像素表征值中出现的频次，M为待测 MiniLED薄板表面图像上所有像素点对应所得像素表征值的种类数；
位置
Figure 681284DEST_PATH_IMAGE029
处的权值函数
Figure 965635DEST_PATH_IMAGE028
为：
Figure 315845DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
为待测MiniLED薄板表面图像上位置
Figure 78264DEST_PATH_IMAGE029
处的权值函数。
CN202210659049.2A 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法 Active CN114742832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210659049.2A CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210659049.2A CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114742832A true CN114742832A (zh) 2022-07-12
CN114742832B CN114742832B (zh) 2022-09-09

Family

ID=82287650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210659049.2A Active CN114742832B (zh) 2022-06-13 2022-06-13 一种MiniLED薄板的焊接缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114742832B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115792473A (zh) * 2023-01-29 2023-03-14 惠州威尔高电子有限公司 一种MiniLED薄板生产过程的质量检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112967272A (zh) * 2021-03-25 2021-06-15 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN113077416A (zh) * 2021-03-12 2021-07-06 宁波职业技术学院 一种基于图像处理的焊点焊接缺陷检测方法与系统
US20210334587A1 (en) * 2018-09-04 2021-10-28 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质
CN114581412A (zh) * 2022-03-07 2022-06-03 武汉飞恩微电子有限公司 一种基于神经网络的键合焊点缺陷智能识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210334587A1 (en) * 2018-09-04 2021-10-28 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN113077416A (zh) * 2021-03-12 2021-07-06 宁波职业技术学院 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN112967272A (zh) * 2021-03-25 2021-06-15 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN113724218A (zh) * 2021-08-27 2021-11-30 联合汽车电子有限公司 图像识别芯片焊接缺陷的方法、装置及存储介质
CN114581412A (zh) * 2022-03-07 2022-06-03 武汉飞恩微电子有限公司 一种基于神经网络的键合焊点缺陷智能识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAOYANG ZENG ET AL: "Reference-Based Defect Detection Network", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
胡珊珊 等: "基于深度学习的PCB缺陷检测研究", 《电测与仪表》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115792473A (zh) * 2023-01-29 2023-03-14 惠州威尔高电子有限公司 一种MiniLED薄板生产过程的质量检测方法

Also Published As

Publication number Publication date
CN114742832B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN111080582B (zh) 工件内外表面缺陷检测方法
CN115049653A (zh) 基于计算机视觉的集成电路板质量检测系统
CN109035273B (zh) 一种免疫层析试纸卡的图像信号快速分割方法
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN110992322A (zh) 基于卷积神经网络的贴片掩膜检测系统及检测方法
CN115984284A (zh) 一种用于船舶维护的x射线船体焊缝图像检测方法
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN115719332A (zh) 一种焊接质量检测方法
CN115841434A (zh) 一种用于气体浓度分析的红外图像增强方法
CN112862770A (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN115082466A (zh) 一种pcb表面焊点缺陷检测方法及系统
CN112308854A (zh) 一种芯片表面瑕疵的自动检测方法、系统及电子设备
CN113222938A (zh) 芯片缺陷检测方法及系统与计算机可读存储介质
CN117689655B (zh) 基于计算机视觉的金属钮扣表面缺陷检测方法
CN114742832B (zh) 一种MiniLED薄板的焊接缺陷检测方法
CN112085700A (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN113269769A (zh) 一种基于图像配准的缺陷检测方法、系统及设备
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN111768455A (zh) 一种基于图像的木材区域和主色提取方法
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN117237747B (zh) 基于人工智能的五金件缺陷分类识别方法
CN111639708B (zh) 图像处理方法、装置、存储介质及设备
CN116385440B (zh) 一种弧形刀片视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant