CN113034498B - Led灯珠缺陷检测和评估方法、装置、计算机设备及介质 - Google Patents

Led灯珠缺陷检测和评估方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN113034498B
CN113034498B CN202110465976.6A CN202110465976A CN113034498B CN 113034498 B CN113034498 B CN 113034498B CN 202110465976 A CN202110465976 A CN 202110465976A CN 113034498 B CN113034498 B CN 113034498B
Authority
CN
China
Prior art keywords
led lamp
lamp bead
model
sampling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110465976.6A
Other languages
English (en)
Other versions
CN113034498A (zh
Inventor
任祥云
盛刚
何小元
徐向阳
刘跃斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Amicc Optoelectronics Technology Co ltd
Original Assignee
Changzhou Amicc Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Amicc Optoelectronics Technology Co ltd filed Critical Changzhou Amicc Optoelectronics Technology Co ltd
Priority to CN202110465976.6A priority Critical patent/CN113034498B/zh
Publication of CN113034498A publication Critical patent/CN113034498A/zh
Application granted granted Critical
Publication of CN113034498B publication Critical patent/CN113034498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种LED灯珠缺陷检测和评估方法，包括获取整体的LED灯珠图像，形成I类标签图像；将I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像；对多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据；通过多个II类标签数据对深度神经网络模型进行训练和测试，得到LED灯珠缺陷检测模型；对所有II类标签数据进行抽样检测，构建抽样模型；将待检测的多个单一的LED灯珠图像输入LED灯珠缺陷检测模型中进行检测，并将LED灯珠缺陷检测模型的检测结果输入抽样模型中进行评估；将抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。利用本发明，可以提高LED灯珠缺陷检测的正确率及检测效率。

Description

LED灯珠缺陷检测和评估方法、装置、计算机设备及介质
技术领域
本发明涉及计算机视觉与概率抽样检验技术领域，尤其涉及一种LED灯珠缺陷检测和评估方法、装置、计算机设备及介质。
背景技术
LED（lighting emitting diode）灯珠具有体积小、发光效率高、寿命长、节能环保等优点，可以应用照明、背光、家电指示灯等多个场合。LED灯珠缺陷检测一直是灯珠封装厂商生产过程中的重要一环，需要对LED灯珠进行光电性能、外观全检以剔除光电性能失效和有外观缺陷的不良品。
目前外观缺陷不良检测主要还是依靠人员视力观察来完成，LED缺陷种类有数十种，这不仅需要检验人员很高的能力要求，且效率低，经常会漏检。
发明内容
本发明要解决的技术问题是：为了解决现有技术中LED灯珠检测效率低且漏检率高的技术问题，本发明提供一种LED灯珠缺陷检测和评估方法，通过将LED灯珠图像进行标签化处理并输入LED灯珠缺陷检测模型进行检测，对LED灯珠缺陷检测模型的检测结果再进行抽样评估，可以提高检测的准确率。
本发明解决其技术问题所采用的技术方案是：一种LED灯珠缺陷检测和评估方法，包括以下步骤：
S1：获取LED灯珠板图像，对所述LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像；
S2：将所述I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像；
S3：对所述多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据；
S4：将多个所述II类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到LED灯珠缺陷检测模型；
S5：对所有所述II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型；
S6：获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像；对所述待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将所述待检测的多个单一的LED灯珠图像输入所述LED灯珠缺陷检测模型中进行检测，并将所述LED灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
S7：将所述抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
本发明的LED灯珠缺陷检测和评估方法，通过对LED灯珠板图像进行分割，可以一次性获得多个单一的LED灯珠图像，并能快速地对这些LED灯珠图像进行标记（标记缺陷种类）；利用这些带标记的LED灯珠图像对深度神经网络模型进行训练得到LED灯珠缺陷检测模型；将待检测的LED灯珠图像输入该LED灯珠缺陷检测模型中进行检测，再利用抽样模型对该检测结果进行二次评估，可以更为准确地评判LED灯珠的缺陷情况，并且可以简化神经网络结构，提高模型的运算效率。
进一步，具体的，根据所述阈值Nij和Mij将所述评估结果A分为A1、A2和A3三类，A1为大于所述阈值Nij的评估结果，A2为小于或等于所述阈值Nij且大于或等于所述阈值Mij的评估结果，A3为小于所述阈值Mij的评估结果；所述评估结果A1表示所述LED灯珠具有缺陷，所述评估结果A3表示所述LED灯珠没有缺陷，所述评估结果A2表示需要进行人工复检。这样不仅能够快速地判断LED灯珠是否具有缺陷，而且对于无法确定的评估结果进行人工复检，及时发现模型的缺陷并进行调整。
进一步，具体的，如果所述评估结果A1、A2或A3中的存储结果大于X张图像时，则重新进行步骤S4。其中，X例如可以是5000，如果每一类存储的结果大于5000张图像时，认为检测结果的误判率较大，需要重新优化LED灯珠缺陷检测模型。
进一步，具体的，如果人工复检发现检测结果的错误率超过10%时，根据所述评估结果A1、A2和A3中存储结果以及所述训练集重新进行步骤S4。当人工复检发现错误率较高时，也需要重新优化LED灯珠缺陷检测模型；这个过程是对LED缺陷检测模型检测结果的二次评估，可以尽快发现LED灯珠缺陷检测模型存在的问题，及时对模型进行优化和调整，进一步提高缺陷检测的准确率。
进一步，优选的，所述II类标签数据的编码位数为3-5位，所述编码为0或1，所述编码0表示所述LED灯珠无缺陷，所述编码1表示所述LED灯珠有缺陷。通过设计的多位编码标签可以一次性辨别LED灯珠的多种缺陷，与传统的神经网络结构相比，采用编码标签后的网络结构能够更为简洁，降低运算的复杂程度，提高运算的效率。
进一步，优选的，所述阈值Nij和Mij分别设定为0.8和0.6。阈值的设定可以对抽样模型的评估结果进行分类，如果抽样模型的评估结果大于0.8时，则认为LED灯珠具有缺陷；如果抽样模型的评估结果小于0.6时，则认为LED灯珠没有缺陷；如果抽样模型的评估结果介于0.6和0.8之间（包含0.6和0.8），则认为需要进行人工复检；阈值Nij和Mij分别设定为0.8和0.6可以提高评估结果的准确率，降低错检率和漏检率，使得检测结果的可信度更高。
进一步，优选的，所述训练集和测试集的比例为7:3。训练集内的数据是用来训练深度神经网络，并进行模型参数调整，测试集内的数据可以评估模型的检测能力，训练集和测试集的划分要尽可能保持数据分布的一致性。
进一步，优选的，所述抽样模型为，所述抽样检测结果分为良品和缺陷品。随机变量X服从正态分布N（/>），其中，μ为均值，σ2为方差，将II类标签数据带入可以求解参数/>，可以得到抽样模型的分布状态图，从中可以发现II类标签数据主要集中在哪一部分。
本发明还提供了一种LED灯珠缺陷检测和评估装置，用于实现如上所述LED灯珠缺陷检测和评估方法，包括：
获取模块，其被配置为获取LED灯珠板图像，对所述LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像；
分割处理模块，其与所述获取模块连接，被配置为将所述I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像；
标签处理模块，其与所述分割处理模块连接，被配置为对所述多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据；
训练模块，其与所述标签处理模块连接，被配置为将多个所述II类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到LED灯珠缺陷检测模型；
抽样模块，其与所述标签处理模块连接，被配置为对所有所述II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型；
检测模块，所述训练模块、所述抽样模块分别与所述检测模块连接，其被配置为获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像；对所述待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将所述待检测的多个单一的LED灯珠图像输入所述LED灯珠缺陷检测模型中进行检测，并将所述LED灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
评估模块，其与所述检测模块连接，被配置为将所述抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上所述的LED灯珠缺陷检测和评估方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被理器执行时实现如上所述的LED灯珠缺陷检测和评估方法。
本发明的有益效果是，本发明的LED灯珠缺陷检测和评估方法和装置，通过对LED灯珠板图像进行分割，可以一次性获得多个单一的LED灯珠图像，并能快速地对这些LED灯珠图像进行标记（标记缺陷种类）；利用这些带标记的LED灯珠图像对深度神经网络模型进行训练得到LED灯珠缺陷检测模型；将待检测的LED灯珠图像输入该LED灯珠缺陷检测模型中进行检测，再利用抽样模型对该检测结果进行二次评估，可以更为准确地评判LED灯珠的缺陷情况；本方法还依据加工经验，构建抽样模型，使得LED灯珠缺陷检测模型具有良好的再学习性，能够适应不同的加工环境所带来的缺陷检测问题，具有一定的可迁移性；本发明基于深度神经网络与抽样模型评估，采用多个编码标签对多种LED灯珠缺陷进行一次性检测，可以简化深度神经网络的结构，且多个LED灯珠缺陷检测模型可以进行串联分析，依次对不同缺陷进行检测，加快检测速度。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的LED灯珠缺陷检测和评估方法的流程图；
图2是本发明II类标签三位编码的示意图；
图3是本发明三位编码标签的缺陷网络结构示意图；
图4是本发明LED灯珠缺陷检测模型的基本ResNet单元结构；
图5是本发明抽样模型的评估结果示意图；
图6是本发明的LED灯珠缺陷检测和评估装置的结构示意图。
图中：1、获取模块，2、分割处理模块，3、标签处理模块，4、训练模块，5、抽样模块，6、检测模块，7、评估模块。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，一种LED灯珠缺陷检测和评估方法，包括以下步骤：
S1：获取LED灯珠板图像，对LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像。
需要说明的是，可以通过工业相机获取LED灯珠板图像，LED灯珠板为一次成型，可以包括多个LED灯珠，这样可以省去逐一采样产生的人工成本，对LED灯珠板图像根据LED灯珠的大小利用边界算法提取LED灯珠的整体图像，形成I类标签，例如，对LED灯珠板图像进行二值化处理，利用7×7像素大小的腐蚀区域进行腐蚀操作后，再进行边界提取，形成I类标签，也就是说I类标签中包含了多个LED灯珠的图像。
S2：将I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像。
需要说明的是，图像语义分割是指对图片的内容根据像素的角度分割出图像中的不同对象，在本实施例中，可以采用基于ResNet为基本框架的图像分割方法，将I类标签图像进行语义分割后，可以得到多个单一的LED灯珠图像。
S3：对多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据。
需要说明的是，II类标签数据的编码位数可以是3-5位，II类标签编码采用0和1进行组合，0表示无，1表示有，例如可以形成100,0001,01101等标签。以4位编码为例，每一位编码代表不同的缺陷种类，例如，0000可以表示无缺陷，0100可以表示有漏焊缺陷，0010可以表示有掉晶缺陷，0001可以表示有异物缺陷，等等，每一位编码代表的缺陷种类可以进行自行定义。
S4：将多个II类标签数据分成训练集和测试集，通过训练集对深度神经网络模型进行训练，通过测试集对深度神经网络模型进行测试，得到LED灯珠缺陷检测模型。
需要说明的是，训练集和测试集的比例可以为7:3，LED缺陷检测模型的框架可以根据II类标签编码的位数进行确定，例如，3位标签编码可以采用3-6层的卷积网络，分别进行卷积和正则操作，构建深度神经网络模型；小于3位的标签编码，可以选择ResNet-18神经网络结构；大于5位的标签编码，可以采用ResNet-32或50及其以上的神经网络结构。训练集可以用来拟合缺陷检测模型，测试集可以对拟合的缺陷检测模型模型的准确率进行测试，根据测试集测试得到的准确率对拟合的缺陷检测模型模型进行重复训练和测试，当测试准确率可以达到95%以上（例如99%）时，形成LED灯珠缺陷检测模型，LED灯珠缺陷检测模型能够对LED灯珠缺陷进行识别。在本实施例中，优选3位编码（如图2所示），3位编码中的第一位和第二位可以表示不同的缺陷类型，第三位编码可以表示是否为正常品，例如，010的三位编码分别表示“无掉晶缺陷”、“有漏焊缺陷”、“无正常品”，这样可以简化LED缺陷检测模型，提高LED缺陷检测模型的学习效率，3位编码的缺陷检测网络结构如图3所示，图4为基本ResNet单元结构。
S5：对所有II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型。
需要说明的是，根据LED灯珠制造的出厂参数及实践经验，抽样模型可以为，抽样检测的结果可以分为良品和缺陷品，将II类标签数据带入抽样模型中求解参数/>，并计算马尔科夫链状态转移矩阵Q(i,j)，其中，可以根据蒙特卡洛法或Metropolis-Hastings 采样进行抽样求解参数/>。
S6：获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像；对待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将待检测的多个单一的LED灯珠图像输入LED灯珠缺陷检测模型中进行检测，并将LED灯珠缺陷检测模型的检测结果输入抽样模型中进行评估。
需要说明的是，将待检测的LED灯珠板图像按照步骤S1-S2处理成待检测的多个单一的LED灯珠图像，然后输入已经训练好的LED灯珠缺陷检测模型中进行检测，LED灯珠缺陷检测模型可以分类出带有缺陷的LED灯珠图像，然后再将LED灯珠缺陷检测模型检测的结果输入抽样模型中进行评估。
S7：将抽样模型的评估结果根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
需要说明的是，根据阈值Nij和Mij可以将评估结果A分为A1、A2和A3三类，A1为大于阈值Nij的评估结果，A2为小于或等于阈值Nij且大于或等于阈值Mij的评估结果，A3为小于阈值Mij的评估结果；评估结果A1表示LED灯珠具有缺陷，评估结果A3表示LED灯珠没有缺陷，评估结果A2表示需要进行人工复检。阈值Nij和Mij分别可以设定为0.8和0.6，其中，如果抽样模型的评估结果大于0.8时，则认为LED灯珠具有缺陷；如果抽样模型的评估结果小于0.6时，则认为LED灯珠没有缺陷；如果抽样模型的评估结果介于0.6和0.8之间（包含0.6和0.8），则认为需要进行人工复检。如图5所示，对6个LED灯珠图像通过抽样模型进行评估，得到的评估结果分别为，/>，/>，，/>，/>，从评估结果可知，第一个LED灯珠图像有掉晶缺陷，第二个LED灯珠图像有掉晶缺陷，第三个LED灯珠图像有漏焊缺陷，第四个LED灯珠图像需要进行人工复检，第五个LE灯珠图像需要进行人工复检，第六个LED灯珠图像需要进行人工复检，可以快速地识别出LED灯珠是否具有缺陷以及具有什么缺陷。
另外，当评估结果A1、A2或A3中的存储结果大于X（例如5000）张图像时则重新进行步骤S4。或者，当人工复检发现检测结果的错误率超过10%时，根据评估结果A1、A2和A3中存储结果以及训练集重新进行步骤S4。
在本实施例中，重复步骤S1-S7可以获得多个检测不同缺陷的LED缺陷检测模型，再将这多个LED缺陷检测模型依次排列可以对LED灯珠缺陷进行一一检测。
如图6所示，对应上述LED灯珠缺陷检测和评估方法，本发明还提出了一种LED灯珠缺陷检测和评估装置，包括获取模块1、分割处理模块2、标签处理模块3、训练模块4、抽样模块5、检测模块6及评估模块7。其中，获取模块1被配置为获取LED灯珠板图像，对LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像。分割处理模块2与获取模块1连接，被配置为将I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像。标签处理模块3与分割处理模块2连接，被配置为对多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据。训练模块4与标签处理模块3连接，被配置为将多个II类标签数据分成训练集和测试集，通过训练集对深度神经网络模型进行训练，通过测试集对深度神经网络模型进行测试，得到LED灯珠缺陷检测模型。抽样模块5与标签处理模块3连接，被配置为对所有II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型。训练模块4、抽样模块5分别与检测模块6连接，被配置为获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像。对待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将待检测的多个单一的LED灯珠图像输入LED灯珠缺陷检测模型中进行检测，并将LED灯珠缺陷检测模型的检测结果输入抽样模型中进行评估。评估模块7与检测模块6连接，被配置为将抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
本发明实施例LED灯珠缺陷检测和评估装置的具体实施方式可参照上述LED灯珠缺陷检测和评估方法的实施例，在此不再赘述。
对应上述实施例，本发明还提出一种计算机设备。本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的LED灯珠缺陷检测和评估方法。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
对应上述实施例，本发明还提出一种计算机可读存储介质。本发明实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的LED灯珠缺陷检测和评估方法。计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))、或者半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。

Claims (10)

1.一种LED灯珠缺陷检测和评估方法，其特征在于，包括以下步骤：
S1：获取LED灯珠板图像，对所述LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像；
S2：将所述I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像；
S3：对所述多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据；
S4：将多个所述II类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到LED灯珠缺陷检测模型；
S5：对所有所述II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型，所述抽样模型为，/>为模型的参数，所述抽样检测结果分为良品和缺陷品；
S6：获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像；对所述待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将所述待检测的多个单一的LED灯珠图像输入所述LED灯珠缺陷检测模型中进行检测，并将所述LED灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
S7：将所述抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
2.如权利要求1所述的LED灯珠缺陷检测和评估方法，其特征在于，所述步骤S7具体包括：根据所述阈值Nij和Mij将所述评估结果A分为A1、A2和A3三类，A1为大于所述阈值Nij的评估结果，A2为小于或等于所述阈值Nij且大于或等于所述阈值Mij的评估结果，A3为小于所述阈值Mij的评估结果；所述评估结果A1表示所述LED灯珠具有缺陷，所述评估结果A3表示所述LED灯珠没有缺陷，所述评估结果A2表示需要进行人工复检。
3.如权利要求2所述的LED灯珠缺陷检测和评估方法，其特征在于，如果所述评估结果A1、A2或A3中的存储结果大于X张图像时，则重新进行步骤S4。
4.如权利要求2所述的LED灯珠缺陷检测和评估方法，其特征在于，如果人工复检发现检测结果的错误率超过10%时，根据所述评估结果A1、A2和A3中存储结果以及所述训练集重新进行步骤S4。
5.如权利要求1所述的LED灯珠缺陷检测和评估方法，其特征在于，所述II类标签数据的编码位数为3-5位，所述编码为0或1，所述编码0表示所述LED灯珠无缺陷，所述编码1表示所述LED灯珠有缺陷。
6.如权利要求1或2任一项所述的LED灯珠缺陷检测和评估方法，其特征在于，所述阈值Nij和Mij分别设定为0.8和0.6。
7.如权利要求1所述的LED灯珠缺陷检测和评估方法，其特征在于，所述训练集和测试集的比例为7:3。
8.一种LED灯珠缺陷检测和评估装置，用于实现如权利要求1-7任一项所述LED灯珠缺陷检测和评估方法，其特征在于，包括：
获取模块（1），其被配置为获取LED灯珠板图像，对所述LED灯珠板图像进行处理，获得整体的LED灯珠图像，形成I类标签图像；
分割处理模块（2），其与所述获取模块（1）连接，被配置为将所述I类标签图像进行语义分割处理，得到多个单一的LED灯珠图像；
标签处理模块（3），其与所述分割处理模块（2）连接，被配置为对所述多个单一的LED灯珠图像分别进行标签化处理，得到多个II类标签数据；
训练模块（4），其与所述标签处理模块（3）连接，被配置为将多个所述II类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到LED灯珠缺陷检测模型；
抽样模块（5），其与所述标签处理模块（3）连接，被配置为对所有所述II类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型；
检测模块（6），所述训练模块（4）、所述抽样模块（5）分别与所述检测模块（6）连接，其被配置为获取待检测的LED灯珠板图像并进行处理，获得整体的待检测的LED灯珠图像，形成待检测的I类标签图像；对所述待检测的I类标签图像进行语义分割处理，得到待检测的多个单一的LED灯珠图像；将所述待检测的多个单一的LED灯珠图像输入所述LED灯珠缺陷检测模型中进行检测，并将所述LED灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
评估模块（7），其与所述检测模块（6）连接，被配置为将所述抽样模型的评估结果A根据阈值Nij和Mij进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-7中任一项所述的LED灯珠缺陷检测和评估方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被理器执行时实现如权利要求1-7中任一项所述的LED灯珠缺陷检测和评估方法。
CN202110465976.6A 2021-04-28 2021-04-28 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质 Active CN113034498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110465976.6A CN113034498B (zh) 2021-04-28 2021-04-28 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465976.6A CN113034498B (zh) 2021-04-28 2021-04-28 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN113034498A CN113034498A (zh) 2021-06-25
CN113034498B true CN113034498B (zh) 2023-11-28

Family

ID=76454926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110465976.6A Active CN113034498B (zh) 2021-04-28 2021-04-28 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN113034498B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185188A (zh) * 2021-12-15 2022-03-15 江阴飞阳电子科技有限公司 一种液晶显示器整体生产加工方法
CN117269826A (zh) * 2023-09-13 2023-12-22 深圳市柯瑞光电科技有限公司 一种led背光源灯珠生产自动检测方法及其系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104990925A (zh) * 2015-06-23 2015-10-21 泉州装备制造研究所 一种基于梯度多阈值优化缺陷检测方法
CN106650770A (zh) * 2016-09-29 2017-05-10 南京大学 一种基于样本学习和人眼视觉特性的mura缺陷检测方法
CN109584208A (zh) * 2018-10-23 2019-04-05 西安交通大学 一种针对工业结构缺陷智能识别模型的检验方法
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN110378618A (zh) * 2019-07-26 2019-10-25 杭州安脉盛智能技术有限公司 基于在线烟丝表面缺陷检测的质量评价方法及系统
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111968084A (zh) * 2020-08-08 2020-11-20 西北工业大学 一种基于人工智能的航空发动机叶片缺陷快速精准识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921334B2 (en) * 2018-03-22 2021-02-16 Applied Materials Israel Ltd. System, method and computer program product for classifying defects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104990925A (zh) * 2015-06-23 2015-10-21 泉州装备制造研究所 一种基于梯度多阈值优化缺陷检测方法
CN106650770A (zh) * 2016-09-29 2017-05-10 南京大学 一种基于样本学习和人眼视觉特性的mura缺陷检测方法
CN109584208A (zh) * 2018-10-23 2019-04-05 西安交通大学 一种针对工业结构缺陷智能识别模型的检验方法
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN110378618A (zh) * 2019-07-26 2019-10-25 杭州安脉盛智能技术有限公司 基于在线烟丝表面缺陷检测的质量评价方法及系统
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111968084A (zh) * 2020-08-08 2020-11-20 西北工业大学 一种基于人工智能的航空发动机叶片缺陷快速精准识别方法

Also Published As

Publication number Publication date
CN113034498A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034498B (zh) Led灯珠缺陷检测和评估方法、装置、计算机设备及介质
CN112115927B (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN115187527B (zh) 一种多源混合型特高频局部放电图谱的分离识别方法
CN112200237B (zh) 一种结构健康监测系统时序监测数据异常诊断方法
TW202139131A (zh) 用於影像分類之適應學習
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN117152119A (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN117571742B (zh) 基于人工智能实现芯片质检的方法及装置
CN115184054A (zh) 机械设备半监督故障检测分析方法、装置、终端及介质
CN114627435B (zh) 基于图像识别的智能灯光调节方法、装置、设备及介质
CN115456107A (zh) 一种时间序列异常检测系统及方法
Park et al. Robust inspection of micro-LED chip defects using unsupervised anomaly detection
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN112418529B (zh) 基于lstm神经网络的户外广告在线倒塌预测方法
CN116089894B (zh) 基于半监督对抗变分自动编码的冷水机组未知故障诊断方法
CN114170548B (zh) 一种基于深度学习的油田现场微目标检测方法及系统
Fang et al. Application of genetic algorithm (GA) trained artificial neural network to identify tomatoes with physiological diseases
US20230053878A1 (en) Systems and methods for predicting a quality of a printed circuit board assembly
CN113516179B (zh) 一种地下基础设施渗漏水性态辨识方法及系统
CN111681223B (zh) 基于卷积神经网络的低照度条件下矿井井壁检测方法
Yang et al. Improving quality control with industrial AIoT at HP factories: Experiences and learned lessons
CN111833325A (zh) 一种基于深度学习的胶体金试剂条检测方法及系统
CN111767181A (zh) 一种led显示屏用大规模集群管理系统
de Oliveira et al. System for PCB Defect Detection Using Visual Computing and Deep Learning for Production Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant