CN113160128A - 用于led的缺陷检测方法以及存储介质 - Google Patents

用于led的缺陷检测方法以及存储介质 Download PDF

Info

Publication number
CN113160128A
CN113160128A CN202110235766.8A CN202110235766A CN113160128A CN 113160128 A CN113160128 A CN 113160128A CN 202110235766 A CN202110235766 A CN 202110235766A CN 113160128 A CN113160128 A CN 113160128A
Authority
CN
China
Prior art keywords
led
positive sample
defect
defect target
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110235766.8A
Other languages
English (en)
Other versions
CN113160128B (zh
Inventor
郑飞
林贵成
闫锋
李林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Tuxun Electronic Technology Co ltd
Original Assignee
Hefei Tuxun Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Tuxun Electronic Technology Co ltd filed Critical Hefei Tuxun Electronic Technology Co ltd
Priority to CN202110235766.8A priority Critical patent/CN113160128B/zh
Publication of CN113160128A publication Critical patent/CN113160128A/zh
Application granted granted Critical
Publication of CN113160128B publication Critical patent/CN113160128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种用于LED的缺陷检测方法以及存储介质,用于LED的缺陷检测方法包括以下步骤:以深度卷积残差网络和特征金字塔网络作为特征提取器构建RetinaNet网络;构建LED训练图像集,并对LED训练图像集中的各LED训练图像进行缺陷标注,得到对应的缺陷目标信息;利用LED训练图像集中的各LED训练图像及其对应的缺陷目标信息,训练RetinaNet网络;利用训练好的RetinaNet网络,对获取的胶后LED图像进行缺陷检测。由此,该用于LED的缺陷检测方法,可以实现根据胶后LED产品的图像对胶后LED产品上的缺陷进行检测。

Description

用于LED的缺陷检测方法以及存储介质
技术领域
本发明涉及LED技术领域,尤其涉及一种用于LED的缺陷检测方法以及存储介质。
背景技术
相关技术中,LED产品在完成封胶后,常常会出现如裂纹、破损等影响产品质量的缺陷,从而降低了胶后LED产品的质量。因而,如何对存在缺陷的胶后LED产品进行识别,是提高胶后LED产品的整体质量的关键步骤。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种用于LED的缺陷检测方法,以实现根据胶后LED产品的图像对胶后LED产品上的缺陷进行检测。
本发明的第二个目的在于提出一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出一种用于LED的缺陷检测方法,包括以下步骤:以深度卷积残差网络和特征金字塔网络作为特征提取器构建RetinaNet网络;构建LED训练图像集,并对所述LED训练图像集中的各LED训练图像进行缺陷标注,得到对应的缺陷目标信息;利用所述LED训练图像集中的各LED训练图像及其对应的缺陷目标信息,训练所述RetinaNet网络;利用训练好的RetinaNet网络,对获取的胶后LED图像进行缺陷检测。
为达到上述目的,本发明第二方面实施例提出一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现上述的用于LED的缺陷检测方法。
本发明实施例的用于LED的缺陷检测方法以及存储介质,可以实现根据胶后LED产品的图像对胶后LED产品上的缺陷进行检测。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明第一实施例的用于LED的缺陷检测方法的流程图;
图2是本发明第二实施例的用于LED的缺陷检测方法的流程图;
图3是本发明第三实施例的用于LED的缺陷检测方法的流程图;
图4是本发明一个示例的标注框的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图1-4描述本发明实施例的用于LED的缺陷检测方法以及存储介质。
图1是本发明一个实施例的用于LED的缺陷检测方法的流程图。
如图1所示,用于LED的缺陷检测方法包括以下步骤:
S11,以深度卷积残差网络和特征金字塔网络作为特征提取器构建RetinaNet网络。
具体地,该深度卷积残差网络和特征金字塔网络可以为预先完成构建的网络。例如,可以预先根据实际需求对其进行构建。
S12,构建LED训练图像集,并对LED训练图像集中的各LED训练图像进行缺陷标注,得到对应的缺陷目标信息。
具体地,上述缺陷目标信息包括缺陷目标的标注框和标注标签。上述缺陷目标的标注框如图4所示,可以为一个二维矩形框(x_left_bottom,y_left_bottom;x_right_top,y_right_top),用于表示对应的LED训练图像中的缺陷Pc在图像中所处的位置;上述缺陷目标的标注标签category_id用于表示对应的LED训练图像中的缺陷的类型。上述缺陷目标信息可以由用户自行进行缺陷标注得到;上述各LED训练图像可以为预先获取的图像。由此,可以得到LED训练图像集I={I1,I2,…,Ii,…,In},其中,Ii表示该LED训练图像集I中第i张LED训练图像以及与其对应的缺陷目标信息。
S13,利用LED训练图像集中的各LED训练图像及其对应的缺陷目标信息,训练RetinaNet网络。
具体地,可以对LED训练图像集中的各LED训练图像及其对应的缺陷目标信息进行预处理;分别将预处理后的各LED训练图像输入至深度卷积残差网络,得到各LED训练图像的N层特征;分别将各N层特征中的后N-1层特征输入至特征金字塔网络,得到各LED训练图像整合后的后N-1层特征;根据整合后的后N-1层特征划分正负样本;利用划分后的正负样本训练RetinaNet网络。
S14,利用训练好的RetinaNet网络,对获取的胶后LED图像进行缺陷检测。
进一步地,在对获取的胶后LED图像进行缺陷检测后,可以针对存在缺陷的胶后LED产品进行修复,从而提高胶后LED产品的整体质量。
在本发明的一个实施例中,上述对LED训练图像及其对应的缺陷目标信息进行预处理,包括:对LED训练图像进行尺度归一化处理和像素归一化处理,并根据LED训练图像的缺陷目标信息计算归一化处理后的LED训练图像的缺陷目标信息;即,对缺陷目标信息也进行归一化处理。
在本发明的一个实施例中,可以选用ResNet-N深度卷积残差网络作为待输入的深度卷积残差网络。在将预处理后的各LED训练图像输入至该ResNet-N深度卷积残差网络得到各LED训练图像的N层特征后,即可分别将各N层特征中的后N-1层特征输入至特征金字塔网络。
作为一个示例,上述特征金字塔网络包括4个核大小为1×1的卷积层、4个核大小为3×3的卷积层和3个最近邻上采样层,N的取值为5时,此时,上述各LED训练图像的N层特征Ci={C1,C2,C3,C4,C5},上述将后N-1层特征输入至特征金字塔网络,得到整合后的后N-1层特征的具体步骤包括:
Step1:后四层特征Ci={C2,C3,C4,C5}分别经过4个核大小为1×1的卷积层,得到四层特征C’i={C’2,C’3,C’4,C’5}。
Step2:特征C’5通过两倍最近邻上采样后与特征C’4逐像素相加得到特征C”4,特征C”4通过两倍最近邻上采样后与特征C’3逐像素相加得到特征C”3,C”3通过两倍最近邻上采样后与特征C’2逐像素相加得到特征C”2
Step3:四层特征C={C”2,C”3,C”4,C’5}分别经过4个核大小为3×3的卷积层,得到整合后的四层特征Pi={P2,P3,P4,P5}。
需要说明的是,由于低层特征C2具有弱语义信息、强细节信息的特点,因而可以利用根据低层特征C2整合得到的特征层P2获取更多的小尺度缺陷的特征,从而增强对小尺度缺陷的识别能力。
在本发明的一个实施例中,如图2所示,上述根据整合后的后N-1层特征划分正负样本,包括:
S21,针对预处理后的各缺陷目标信息中的各缺陷目标,选择相应的候选正样本。
具体地,针对整合后的各后N-1层特征中的每层特征,铺设与之关联的单个锚框;计算各缺陷目标的标注框与相应后N-1层特征关联锚框的中心点距离,并根据中心点距离大小分别对每层特征关联的锚框进行降序排序,为每个缺陷目标分别在每层特征关联的锚框中选择中心距离最近的前k个锚框,作为相应缺陷目标的候选正样本,其中,k为超参数。
下面结合一个具体示例对步骤S21进行详细说明。为了便于描述,在该示例中采用上述整合后的四层特征Pi={P2,P3,P4,P5}作为整合后的各后N-1层特征进行描述。具体而言:针对整合后的四层特征Pi={P2,P3,P4,P5}上的每个特征,铺设与之关联的单个锚框,即每一层均只铺设一个长宽比的锚框;对于四层特征Pi={P2,P3,P4,P5},铺设的锚框的中心点像素间隔分别为{4,8,16,32},铺设的锚框的长宽比分别为{16,32,64,128}。例如,对于P2层,铺设的锚框之间的中心点间隔为4,锚框的长宽比为4×4=16;对于P3层,铺设的锚框之间的中心点间隔为8,锚框的长宽比为8×4=32;对于P4层,铺设的锚框之间的中心点间隔为16,锚框的长宽比为16×4=64;对于P5层,铺设的锚框之间的中心点间隔为32,锚框的长宽比为32×4=128。
进一步地,计算与上述四层特征对应的缺陷目标的标注框的中心点与上述P2层中的各个锚框的中心点距离,并根据中心点距离大小分别对每层特征关联的锚框进行降序排序,为每个缺陷目标分别在每层特征关联的锚框中选择中心距离最近的前k个锚框,作为相应缺陷目标的候选正样本,从而得到k个候选正样本。进而计算该缺陷目标的标注框的中心点与上述P3、P4、P5层的锚框的中心点距离,从而得到3k个候选正样本。由此,可以得到4k个候选正样本。
S22,计算各缺陷目标候选正样本的交并比阈值。
具体地,计算每个缺陷目标的标注框与所有铺设锚框的区域面积的交并比,并计算每个缺陷目标的交并比的均值和标准差;计算每个缺陷目标对应的均值与标准差之间的和值,并将和值作为相应缺陷目标候选正样本的交并比阈值。由此,可以得到与每个缺陷目标一一关联的交并比阈值集合Ti={T1,T2,T3,…,Tn}。
S23,根据各交并比阈值和相应候选正样本中标注框的中心点划分正负样本。
具体地,针对每个缺陷目标的所有候选正样本,选择交并比大于相应交并比阈值的候选正样本,得到每个缺陷目标的第一候选正样本集;针对每个缺陷目标的第一候选正样本集中的候选正样本,计算标注框的中心点到候选正样本四条边的矢量距离,以判断标注框的中心点是否位于候选正样本内,选择判断为是的候选正样本组成相应缺陷目标的第二候选正样本集;如果同一个候选正样本属于多个不同第二候选正样本集,则将该候选正样本仅分配给与该候选正样本交并比最高的缺陷目标,同时将该候选正样本从其他缺陷目标的第二候选正样本集中移除,得到每个缺陷目标的正样本集;将不属于任何正样本集的样本作为负样本。
需要说明的是,由于针对各缺陷目标候选正样本均计算对应的交并比阈值,从而实现在针对一层特征只铺设一种长宽比的锚框的情况下,也可以为每个缺陷目标选择适合的正样本,从而减少了计算量。
在本发明的一个实施例中,如图3所示,上述利用划分后的正负样本训练RetinaNet网络,包括:
S31,在训练迭代次数达到预设次数时,选择困难正样本。
作为一个示例,上述预设次数为训练迭代总次数的2/3,此时,上述选择困难正样本的步骤具体包括:
A1、将整合后的后N-1层特征中的每层特征分别输入到用于预测的卷积神经网络中,以对每层特征进行逐个特征预测,得到每处特征所关联锚框的位置偏移和各标注标签的置信分数。
A2、取所有正样本的预测信息,使用sigmoid函数将各标注标签的置信分数转换到[0,1]区间的置信度,选择最大值置信度及其对应标注标签作为样本的类别预测信息。
可选地,若出现小于0.05的最大值置信度,则将与其对应的标注标签赋值为背景标签。
A3、遍历每个缺陷目标的正样本集,根据预测的锚框位置偏移和锚框铺设位置,计算正样本集中每个样本预测的检测框位置信息,并计算正样本集中每个样本的检测框和缺陷目标的标注框的交并比。
A4、判断正样本集中每个样本的预测标签与关联缺陷目标的标注标签是否一致,若是则放入第一正样本子集中,并判断第一正样本子集中每个样本的交并比是否大于第一预设值,若是则放入第二正样本子集中,统计第二正样本子集中的样本数量,若样本数量为0,则判定所关联的缺陷目标为难检测目标,并将该难检测目标关联的正样本集中所有样本判定为困难正样本,并将困难正样本放入困难正样本集中,其中,第一预设值的取值范围为0.3~0.7,且优选为0.5。
S32,调整困难正样本的损失权重,并利用困难正样本及其调整后的损失权重训练RetinaNet网络。
具体地,给所有正样本设定权重为1.0,并对困难正样本集中的样本权重赋值为w,其中,w为超参数;将设定的权重输入至预设损失计算函数,以在计算得到每个样本的损失后,对各样本的损失大小调整。例如,可以针对困难正样本集中的样本设置大权重,从而使得训练得到的RetinaNet网络更多关注困难且重要的样本拟合,同时减轻训练后期的简单样本和困难样本极端不均衡问题。
综上,本发明实施例的用于LED的缺陷检测方法,可以实现根据胶后LED产品的图像对胶后LED产品上的缺陷进行检测;尤其可以实现对小尺度缺陷的检测。
进一步地,本发明提出一种计算机可读存储介质。
在本发明实施例中,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时,可以实现上述的用于LED的缺陷检测方法。
本发明实施例的计算机可读存储介质,在其上的计算机程序被处理器执行时,可以实现根据胶后LED产品的图像对胶后LED产品上的缺陷进行检测;尤其可以实现对小尺度缺陷的检测。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种用于LED的缺陷检测方法,其特征在于,包括以下步骤:
以深度卷积残差网络和特征金字塔网络作为特征提取器构建RetinaNet网络;
构建LED训练图像集,并对所述LED训练图像集中的各LED训练图像进行缺陷标注,得到对应的缺陷目标信息;
利用所述LED训练图像集中的各LED训练图像及其对应的缺陷目标信息,训练所述RetinaNet网络;
利用训练好的RetinaNet网络,对获取的胶后LED图像进行缺陷检测。
2.如权利要求1所述的用于LED的缺陷检测方法,其特征在于,所述利用所述LED训练图像集中的各LED训练图像及其对应的缺陷目标信息,训练所述RetinaNet网络,包括:
对所述LED训练图像集中的各LED训练图像及其对应的缺陷目标信息进行预处理;
分别将预处理后的各LED训练图像输入至所述深度卷积残差网络,得到各所述LED训练图像的N层特征;
分别将各所述N层特征中的后N-1层特征输入至所述特征金字塔网络,得到各所述LED训练图像整合后的后N-1层特征;
根据所述整合后的后N-1层特征划分正负样本;
利用划分后的正负样本训练所述RetinaNet网络。
3.如权利要求2所述的用于LED的缺陷检测方法,其特征在于,所述利用划分后的正负样本训练所述RetinaNet网络,包括:
在训练迭代次数达到预设次数时,选择困难正样本;
调整所述困难正样本的损失权重,并利用所述困难正样本及其调整后的损失权重训练所述RetinaNet网络。
4.如权利要求2所述的用于LED的缺陷检测方法,其特征在于,对LED训练图像及其对应的缺陷目标信息进行预处理,包括:
对所述LED训练图像进行尺度归一化处理和像素归一化处理,并根据所述LED训练图像的缺陷目标信息计算归一化处理后的LED训练图像的缺陷目标信息。
5.如权利要求2所述的用于LED的缺陷检测方法,其特征在于,所述特征金字塔网络包括4个核大小为1×1的卷积层、4个核大小为3×3的卷积层和3个最近邻上采样层,N的取值为5时,将后N-1层特征输入至所述特征金字塔网络,得到整合后的后N-1层特征,包括:
所述后四层特征Ci={C2,C3,C4,C5}分别经过4个核大小为1×1的卷积层,得到四层特征C’i={C’2,C’3,C’4,C’5};
特征C’5通过两倍最近邻上采样后与特征C’4逐像素相加得到特征C”4,所述特征C”4通过两倍最近邻上采样后与特征C’3逐像素相加得到特征C”3,所述C”3通过两倍最近邻上采样后与特征C’2逐像素相加得到特征C”2
四层特征C={C”2,C”3,C”4,C’5}分别经过4个核大小为3×3的卷积层,得到整合后的四层特征Pi={P2,P3,P4,P5}。
6.如权利要求2所述的用于LED的缺陷检测方法,其特征在于,所述缺陷目标信息包括缺陷目标的标注框和标注标签,所述根据所述整合后的后N-1层特征划分正负样本,包括:
针对预处理后的各缺陷目标信息中的各缺陷目标,选择相应的候选正样本;
计算各缺陷目标候选正样本的交并比阈值;
根据各所述交并比阈值和相应候选正样本中标注框的中心点划分正负样本。
7.如权利要求6所述的用于LED的缺陷检测方法,其特征在于,所述针对预处理后的各缺陷目标信息中的各缺陷目标,选择相应的候选正样本,包括:
针对整合后的各后N-1层特征中的每层特征,铺设与之关联的单个锚框;
计算各缺陷目标的标注框与相应后N-1层特征关联锚框的中心点距离,并根据中心点距离大小分别对每层特征关联的锚框进行降序排序,为每个缺陷目标分别在每层特征关联的锚框中选择中心距离最近的前k个锚框,作为相应缺陷目标的候选正样本,其中,k为超参数。
8.如权利要求6所述的用于LED的缺陷检测方法,其特征在于,所述计算各缺陷目标候选正样本的交并比阈值,包括:
计算每个缺陷目标的标注框与所有铺设锚框的区域面积的交并比,并计算每个缺陷目标的交并比的均值和标准差;
计算每个缺陷目标对应的均值与标准差之间的和值,并将所述和值作为相应缺陷目标候选正样本的交并比阈值。
9.如权利要求6所述的用于LED的缺陷检测方法,其特征在于,根据各所述交并比阈值和相应候选正样本中标注框的中心点划分正负样本,包括:
针对每个缺陷目标的所有候选正样本,选择交并比大于相应交并比阈值的候选正样本,得到每个缺陷目标的第一候选正样本集;
针对每个缺陷目标的第一候选正样本集中的候选正样本,计算标注框的中心点到候选正样本四条边的矢量距离,以判断标注框的中心点是否位于候选正样本内,选择判断为是的候选正样本组成相应缺陷目标的第二候选正样本集;
如果同一个候选正样本属于多个不同第二候选正样本集,则将该候选正样本仅分配给与该候选正样本交并比最高的缺陷目标,同时将该候选正样本从其他缺陷目标的第二候选正样本集中移除,得到每个缺陷目标的正样本集;
将不属于任何正样本集的样本作为负样本。
10.如权利要求3所述的用于LED的缺陷检测方法,其特征在于,所述预设次数为训练迭代总次数的2/3,所述选择困难正样本,包括:
将整合后的后N-1层特征中的每层特征分别输入到用于预测的卷积神经网络中,以对每层特征进行逐个特征预测,得到每处特征所关联锚框的位置偏移和各标注标签的置信分数;
取所有正样本的预测信息,使用sigmoid函数将各标注标签的置信分数转换到[0,1]区间的置信度,选择最大值置信度及其对应标注标签作为样本的类别预测信息;
遍历每个缺陷目标的正样本集,根据预测的锚框位置偏移和锚框铺设位置,计算正样本集中每个样本预测的检测框位置信息,并计算正样本集中每个样本的检测框和缺陷目标的标注框的交并比;
判断所述正样本集中每个样本的预测标签与关联缺陷目标的标注标签是否一致,若是则放入第一正样本子集中,并判断所述第一正样本子集中每个样本的交并比是否大于第一预设值,若是则放入第二正样本子集中,统计所述第二正样本子集中的样本数量,若样本数量为0,则判定所关联的缺陷目标为难检测目标,并将该难检测目标关联的正样本集中所有样本判定为困难正样本,并将困难正样本放入困难正样本集中,其中,所述第一预设值的取值范围为0.3~0.7。
11.如权利要求3所述的用于LED的缺陷检测方法,其特征在于,所述调整所述困难正样本的损失权重,包括:
给所有正样本设定权重为1.0,并对困难正样本集中的样本权重赋值为w,其中,w为超参数;
将设定的权重输入至预设损失计算函数,以在计算得到每个样本的损失后,对各样本的损失大小调整。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-11中任一项所述的用于LED的缺陷检测方法。
CN202110235766.8A 2021-03-03 2021-03-03 用于led的缺陷检测方法以及存储介质 Active CN113160128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110235766.8A CN113160128B (zh) 2021-03-03 2021-03-03 用于led的缺陷检测方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110235766.8A CN113160128B (zh) 2021-03-03 2021-03-03 用于led的缺陷检测方法以及存储介质

Publications (2)

Publication Number Publication Date
CN113160128A true CN113160128A (zh) 2021-07-23
CN113160128B CN113160128B (zh) 2022-11-01

Family

ID=76884090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110235766.8A Active CN113160128B (zh) 2021-03-03 2021-03-03 用于led的缺陷检测方法以及存储介质

Country Status (1)

Country Link
CN (1) CN113160128B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619787A (zh) * 2022-12-19 2023-01-17 苏州赫芯科技有限公司 一种uv胶缺陷检测方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111340787A (zh) * 2020-02-28 2020-06-26 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN111967305A (zh) * 2020-07-01 2020-11-20 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN112070747A (zh) * 2020-09-09 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 Led灯珠缺陷检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN111126399A (zh) * 2019-12-28 2020-05-08 苏州科达科技股份有限公司 一种图像检测方法、装置、设备及可读存储介质
CN111340787A (zh) * 2020-02-28 2020-06-26 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111967305A (zh) * 2020-07-01 2020-11-20 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN112070747A (zh) * 2020-09-09 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 Led灯珠缺陷检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIFENG ZHANG ET AL.: ""Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
刘国文 等: ""基于改进RetinaNet 模型的接触网鸟巢检测"", 《数据采集与处理》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619787A (zh) * 2022-12-19 2023-01-17 苏州赫芯科技有限公司 一种uv胶缺陷检测方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113160128B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
US11144814B2 (en) Structure defect detection using machine learning algorithms
Guo et al. Façade defects classification from imbalanced dataset using meta learning‐based convolutional neural network
Naddaf-Sh et al. An efficient and scalable deep learning approach for road damage detection
KR101917000B1 (ko) 화물을 검사하는 방법 및 그 시스템
CN109117879B (zh) 图像分类方法、装置及系统
CN114067109B (zh) 谷物检测方法及检测设备、存储介质
CN114749342B (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
US20110299787A1 (en) Invariant visual scene and object recognition
Carr et al. Road crack detection using a single stage detector based deep neural network
CN110428357A (zh) 图像中水印的检测方法、装置、电子设备及存储介质
CN113160128B (zh) 用于led的缺陷检测方法以及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN112707058A (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
Mishra et al. Two-stage method based on the you only look once framework and image segmentation for crack detection in concrete structures
Wen et al. PCDNet: Seed operation–based deep learning model for pavement crack detection on 3D asphalt surface
CN109558801B (zh) 道路网络提取方法、介质、计算机设备及系统
Ni et al. Toward high-precision crack detection in concrete bridges using deep learning
Zhang et al. Image-based approach for parking-spot detection with occlusion handling
CN116522565B (zh) 一种基于bim的电力工程设计配电网规划方法及计算机设备
CN113506288A (zh) 基于transform注意力机制的肺结节检测方法及装置
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN112446231A (zh) 一种人行横道检测方法、装置、计算机设备及存储介质
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN111932578B (zh) 融入类指数抑制因子的像素块聚类无损检测图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant