CN117876303A - 一种MiniLED外观缺陷检测方法及系统 - Google Patents

一种MiniLED外观缺陷检测方法及系统 Download PDF

Info

Publication number
CN117876303A
CN117876303A CN202311777283.6A CN202311777283A CN117876303A CN 117876303 A CN117876303 A CN 117876303A CN 202311777283 A CN202311777283 A CN 202311777283A CN 117876303 A CN117876303 A CN 117876303A
Authority
CN
China
Prior art keywords
miniled
image
feature extraction
feature
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311777283.6A
Other languages
English (en)
Inventor
吴宗泽
黄广俊
张坤
周磊
彭胜龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority to CN202311777283.6A priority Critical patent/CN117876303A/zh
Publication of CN117876303A publication Critical patent/CN117876303A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种MiniLED外观缺陷检测方法及系统,其中,所述方法包括:获取MiniLED产品图像;对MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;将图像特征信息输入外观缺陷检测模型中,基于外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。本发明有效提高了MiniLED外观缺陷检测的性能,从而提高了缺陷检测的检测效率和准确性。

Description

一种MiniLED外观缺陷检测方法及系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种MiniLED外观缺陷检测方法及系统。
背景技术
目前,国内MiniLED生产商和液晶面板厂家,仍然普遍采用人工目视方法和电学检测方法离线检测MiniLED外观缺陷,人工目视方法,即显微镜配合光源通过人眼检测产品,能够及时发现某些缺陷,但人工目视检测劳动强度大,容易受到人眼分辨能力和易疲劳等主观因素的影响,并且差异性大,检测速度和准确率都难以进一步提高;而电学检测方法有全屏点亮法、电荷读出法,电子束扫描像素电极法和探针扫描法等,但因其只能检测出由于电学因素导致的缺陷,只能用于终端屏幕的检测,无法对其制造过程进行监控;机器视觉早已广泛应用于各种不同产品的缺陷检测,相对于人工检测,机器视觉不但具有客观、可靠和重复性好的优点,还可以实现缺陷的定量测量,从而实现更准确、更快速的产品质量分类。
针对MiniLED外观缺陷检测,现阶段的研究主要有传统的机器视觉方法和深度学习方法,传统的基于机器视觉的表面缺陷检测方法主要有基于图像特征检测和基于模板匹配,传统机器视觉方法难以提取有效的高维缺陷特征,且需要大量数据,实时性较低,难以满足实际生产需要;基于有监督深度学习的表面缺陷检测算法主要通过从像素中提取缺陷特征的方式以识别其缺陷,主要方法有支持向量机和卷积神经网络,深度学习的方法虽然保证了准确率,但其数据特征提取复杂需对数据进行大量的参数学习,时间成本较高,训练过程需要有大量的标注数据对其模型进行训练获得有效的模型,这在实际工业应用中限制了它们的可行性。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种MiniLED外观缺陷检测方法及系统,有效提高了MiniLED外观缺陷检测的性能,从而提高了缺陷检测的检测效率和准确性。
为了解决上述技术问题,本发明提供了一种MiniLED外观缺陷检测方法,所述方法包括:
获取MiniLED产品图像;
对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
可选的,所述对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像,包括:
对所述MiniLED产品图像进行灰度化处理,获得灰度化MiniLED产品图像;
对所述灰度化MiniLED产品图像进行图像增强处理,获得图像增强处理后的灰度化MiniLED产品图像;
对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,获得预处理后的MiniLED产品图像;
可选的,所述含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,其中,所述教师特征提取网络采用预训练的ResNet18网络,所述学生特征提取网络采用未预训练的ResNet18网络,所述预训练的ResNet18网络与所述未预训练的ResNet18网络之间利用知识蒸馏方法进行增量学习。
可选的,所述预训练的ResNet18网络的卷积阶段分为第一卷积阶段、第二卷积阶段和第三卷积阶段,每个卷积阶段提取不同尺度的特征图。
可选的,所述含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练,包括:
所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图;
基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量;
所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,获得第三尺度特征图和第四尺度特征图;
基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,获得第二patch嵌入向量;
基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数;
基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分;
基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新。
可选的,所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图,包括:
所述教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,获得特征图;
所述教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,获得第一尺度特征图;
所述教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,获得第二尺度特征图。
可选的,所述基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量,包括:
基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;
对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,获得第一patch嵌入向量。
可选的,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸。
可选的,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量。
另外,本发明还提供了一种MiniLED外观缺陷检测系统,所述系统包括:
图像获取模块,用于获取MiniLED产品图像;
图像预处理模块,用于对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
特征提取模块,用于对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
外观缺陷检测模块,用于将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
在本发明实施例中,通过构建含增量学习的深度神经网络模型,可以更加充分地挖掘特征信息,将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中进行训练,引入了图注意力机制至深度神经网络模型中的教师特征提取网络中提取重要区域,使获得的特征图更具有上下文信息,同时基于Patch聚合方法将两个尺度特征图进行融合,增加感受野的大小和对小空间偏差的鲁棒性,通过Patch聚合方法和图注意力机制对模型的训练优化,提高模型的精确度,从而使外观缺陷检测模型能够进一步提高MiniLED外观缺陷检测的检测效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的MiniLED外观缺陷检测方法的流程示意图;
图2是本发明实施例中的MiniLED外观缺陷检测系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
请参阅图1,图1是本发明实施例中的MiniLED外观缺陷检测方法的流程示意图。
如图1所示,一种MiniLED外观缺陷检测方法,所述方法包括:
S11:获取MiniLED产品图像;
在本发明具体实施过程中,可采用高分辨率的相机对MiniLED产品进行拍摄,获得MiniLED产品图像。
S12:对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
在本发明具体实施过程中,所述对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像,包括:对所述MiniLED产品图像进行灰度化处理,获得灰度化MiniLED产品图像;对所述灰度化MiniLED产品图像进行图像增强处理,获得图像增强处理后的灰度化MiniLED产品图像;对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,获得预处理后的MiniLED产品图像。
具体的,对所述MiniLED产品图像进行灰度化处理,计算MiniLED产品图像中红绿蓝三种颜色的数值,根据三种颜色的数值计算平均值,根据人眼对三种颜色的敏感度利用平均值进行加权平均,获得灰度化MiniLED产品图像;对灰度化MiniLED产品图像进行图像增强处理,对灰度化MiniLED产品图像进行锐化处理,通过拉普拉斯算子对灰度化MiniLED产品图像中的边缘和细节进行增强,使用拉普拉斯算子可以将图像中心像素的强度值增加,周围像素的强度值减少,使得锐化后的图像具有更强的边缘和更清晰的细节,对锐化后的MiniLED产品图像进行灰度变换处理,通过灰度变换函数将图像的像素灰度变换为新的图像灰度,完成灰度变换处理后,获得图像增强处理后的灰度化MiniLED产品图像;对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,使用中值滤波方法对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,把图像中一个点的值用该点的邻域中的各点值的中值替代,使周围的像素值更加接近真实值,消除孤立的噪声点,获得预处理后的MiniLED产品图像。
S13:对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
在本发明具体实施过程中,可采用局部二值模式特征提取算法对预处理后的MiniLED产品图像进行特征提取处理,获取预处理后的MiniLED产品图像的邻域中心像素,基于邻域中心像素获取与其相邻的八个像素灰度值,八个像素灰度值通过与邻域中心像素值的比较,生成八个标记值,将八个标记值根据预设顺序进行排列,得到局部二值特征图像;将局部二值特征图像划分为若干个区域,对每个区域计算对应的直方图,并将对应的直方图归一化至[0,1],将每个区域的归一化后的直方图进行连接,得到图像特征信息。
S14:将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
在本发明具体实施过程中,所述含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,其中,所述教师特征提取网络采用预训练的ResNet18网络,所述学生特征提取网络采用未预训练的ResNet18网络,所述预训练的ResNet18网络与所述未预训练的ResNet18网络之间利用知识蒸馏方法进行增量学习;所述预训练的ResNet18网络的卷积阶段分为第一卷积阶段、第二卷积阶段和第三卷积阶段,每个卷积阶段提取不同尺度的特征图。
进一步的,所述含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练,包括:所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图;基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量;所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,获得第三尺度特征图和第四尺度特征图;基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,获得第二patch嵌入向量;基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数;基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分;基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新,获得优化后的含增量学习的深度神经网络模型。
进一步的,所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图,包括:所述教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,获得特征图;所述教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,获得第一尺度特征图;所述教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,获得第二尺度特征图。
进一步的,所述基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量,包括:基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,获得第一patch嵌入向量。
进一步的,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸。
进一步的,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量。
具体的,构建含增量学习的深度神经网络模型作为初始外观缺陷检测模型,含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,含增量学习的深度神经网络模型允许教师特征提取网络和学生特征提取网络对新数据进行持续学习而不是重头训练整个模型,即特征提取网络只进行关于新增图像数据的更新,使得模型可以不断学习新知识,并且可以适应复杂多变的变化,使用预训练的ResNet18网络作为教师特征提取网络,使用未预训练的ResNet18网络作为学生特征提取网络,ResNet18网络是一种深度卷积神经网络,为减少信息丢失,教师特征提取网络和学生特征提取网络共享相同的体系结构,预训练的ResNet18网络包括第一卷积阶段、第二卷积阶段和第三卷积阶段,利用知识蒸馏方法,充分挖掘中间层特征信息,以实现学生网络学习到教师网络中有利于异常检测的特征,知识蒸馏即是将教师特征提取网络的能力和学习到的知识进行迁移至学生特征提取网络中,对于增量学习,教师网络用知识蒸馏的方法让学生网络的输出拟合教师网络的输出,从而实现教师网络的知识转移,完成对学生网络的优化,通过知识蒸馏对中间层特征学习的挖掘和相互的训练以达到增量学习的目的,在深度神经网络中,随着卷积网络层数不断加深,其输出的特征图分辨率不断减小,预训练的ResNet18网络在第一卷积阶段、第二卷积阶段和第三卷积阶段的特征图的尺度便在不断变化,在本发明中,在三种不同分辨率的特征图上进行知识蒸馏,让教师特征提取网络和学生特征提取网络的特征相似,第一层特征图分辨率降为原图的1/4,但未获取到足够的上下文信息,无法对大块连续异常进行有效识别。第四层特征图分辨率降为原图的1/32,虽有充分的上下文信息,但却丢失异常的位置及轮廓信息,适用于整图异常检测,第二层和第三层的特征图分辨率为1/8和1/16,既保留异常区域的位置信息,也有足够的上下文信息对异常进行有效识别,保证学生特征提取网络对教师特征提取网络特征表征的学习能力,同时组合不同深度的特征图,以形成特征金字塔来检测不同大小的异常区域,因此,对于特征提取网络而言,第二卷积阶段和第三卷积阶段尤为重要。
MiniLED产品初始图像包括MiniLED产品初始正常图像和MiniLED产品初始异常图像,异常类型包括气泡、油污和灰尘等,图像分辨率为160*192,使用1471张MiniLED产品初始正常图像用于训练,142张异常图像用于检测;对MiniLED产品初始图像进行预处理,获得训练样本图像;所述深度神经网络模型中的教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,根据教师特征提取网络在第一卷积阶段的卷积核对预处理后的MiniLED产品初始图像进行卷积计算,获得若干个中间矩阵,将若干个中间矩阵中相同位置的元素的多项式进行合并同类项处理,获得若干个合并同类项处理后的多项式,对每个合并同类项处理后的多项式进行求值,获得特征图;教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,图注意力机制的本质是找到网络所要关注的焦点,以获取关注目标更多的细节信息,弱化其他无用信息,这一机制的引入使正常区域的学生特征提取网络中的特征与教师特征提取网络中的特征更接近,图注意力机制接收教师特征提取网络的特征图,并将这些特征图聚合到一个通道中,若将教师特征提取网络得到的特征图直接与学生特征提取网络得到的特征图聚合,学生特征提取网络的后续输出将无法检测出异常缺陷区域,因此将教师特征提取网络的特征图通过额外的卷积层获得其中的重点区域,通过与后续学生特征提取网络的特征图点乘强调重点区域,从而获得新的更具有上下文信息的特征图;对特征图计算语义特征向量,使用语义特征向量与特征图进行位置点乘处理,获得注意力图,将注意力图与特征图进行位置点乘处理,由第二卷积阶段的卷积核来进行特征提取,通过卷积核与特征图点对点处理,以此来增强特征,得到其中的重点区域,获得第一尺度特征图;教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,在第三卷积阶段同样是计算第一尺度特征图的语义特征向量,将该特征向量与第一尺度特征图进行位置点乘处理,获得第二注意力图,将注意力图与第一尺度特征图进行点乘处理,在第三卷积阶段的特征提取使用第三卷积阶段的卷积核进行处理,获得第二尺度特征图,与通道注意力机制相比,图注意力机制通过强调重要的像素更有利于像素级异常检测中的位置信息获取,图注意力机制只获得教师特征提取网络的输出,并不反馈回教师特征提取网络中,而由于只使用正常产品图像作为训练数据,因此图注意机制有效地提高了特征提取网络表现正常区域的特征;基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,patch表示为特征映射,也表示为像素补丁,通过邻域聚集来增加感受野的大小和对小空间偏差的鲁棒性,但不损失空间分辨率,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,将第一尺度特征图和第二特征尺度图进行连接处理,是实现保留分辨率和上下文信息的编码,由于特征图比输入图像分辨率低,直接映射到输入图像的分辨率时许多像素都有相同的嵌入,因此为了像素补丁不重叠,我们将所聚合特征的分辨率与尺度特征图对齐,获得第一patch嵌入向量,该patch嵌入向量为携带不同语义层次和分辨率信息的嵌入向量;所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,学生特征提取网络对预处理后的MiniLED产品初始图像进行第一阶段的卷积处理,得到其对应的特征图,再对特征图进行两次不同尺度的卷积处理,获得第三尺度特征图和第四尺度特征图;基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,该特征聚合处理步骤与第一尺度特征图和第二尺度特征图的特征聚合步骤一致,在此不再赘述,获得第二patch嵌入向量;基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数,并不需要和时空投影模型一样对每一层的特征向量单独进行归一化计算损失,在此使用L2距离来作为损失函数,L2损失函数为最小平方误差,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸;
基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量;
基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新;此处引入了图注意力机制提取教师特征提取网络中的重要区域,同时通过基于Patch聚合方法将两个尺度的特征图进行融合后,增加感受野的大小和对小空间偏差的鲁棒性。
通过外观缺陷检测模型对MiniLED产品进行外观缺陷检测,获得异常图和异常标签,从而可以检测出MiniLED产品是出现灰尘、油污、漏锡或线状的外观缺陷,与时空投影模型和其他基于预训练的模型相比,该外观缺陷检测模型的检测精度要更高,能够更加有效地提高检测性能和提高对MiniLED产品的外观缺陷检测的检测效率和准确性。
在本发明实施例中,通过构建含增量学习的深度神经网络模型,可以更加充分地挖掘特征信息,将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中进行训练,引入了图注意力机制至深度神经网络模型中的教师特征提取网络中提取重要区域,使获得的特征图更具有上下文信息,同时基于Patch聚合方法将两个尺度特征图进行融合,增加感受野的大小和对小空间偏差的鲁棒性,通过Patch聚合方法和图注意力机制对模型的训练优化,提高模型的精确度,从而能够进一步提高MiniLED外观缺陷检测的检测效率和准确性。
实施例二
请参阅图2,图2是本发明实施例中的MiniLED外观缺陷检测系统的结构组成示意图。
如图2所示,一种MiniLED外观缺陷检测系统,所述系统包括:
图像获取模块21:用于获取MiniLED产品图像;
在本发明具体实施过程中,可采用高分辨率的相机对MiniLED产品进行拍摄,获得MiniLED产品图像。
图像预处理模块22:用于对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
在本发明具体实施过程中,所述对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像,包括:对所述MiniLED产品图像进行灰度化处理,获得灰度化MiniLED产品图像;对所述灰度化MiniLED产品图像进行图像增强处理,获得图像增强处理后的灰度化MiniLED产品图像;对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,获得预处理后的MiniLED产品图像。
具体的,对所述MiniLED产品图像进行灰度化处理,计算MiniLED产品图像中红绿蓝三种颜色的数值,根据三种颜色的数值计算平均值,根据人眼对三种颜色的敏感度利用平均值进行加权平均,获得灰度化MiniLED产品图像;对灰度化MiniLED产品图像进行图像增强处理,对灰度化MiniLED产品图像进行锐化处理,通过拉普拉斯算子对灰度化MiniLED产品图像中的边缘和细节进行增强,使用拉普拉斯算子可以将图像中心像素的强度值增加,周围像素的强度值减少,使得锐化后的图像具有更强的边缘和更清晰的细节,对锐化后的MiniLED产品图像进行灰度变换处理,通过灰度变换函数将图像的像素灰度变换为新的图像灰度,完成灰度变换处理后,获得图像增强处理后的灰度化MiniLED产品图像;对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,使用中值滤波方法对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,把图像中一个点的值用该点的邻域中的各点值的中值替代,让周围的像素值接近真实值,消除孤立的噪声点,获得预处理后的MiniLED产品图像。
特征提取模块23:用于对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
在本发明具体实施过程中,可采用局部二值模式特征提取算法对预处理后的MiniLED产品图像进行特征提取处理,获取预处理后的MiniLED产品图像的邻域中心像素,基于邻域中心像素获取与其相邻的八个像素灰度值,八个像素灰度值通过与邻域中心像素值的比较,生成八个标记值,将八个标记值根据预设顺序进行排列,得到局部二值特征图像;将局部二值特征图像划分为若干个区域,对每个区域计算对应的直方图,并将对应的直方图归一化至[0,1],将每个区域的归一化后的直方图进行连接,得到图像特征信息。
外观缺陷检测模块24:用于将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
在本发明具体实施过程中,所述含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,其中,所述教师特征提取网络采用预训练的ResNet18网络,所述学生特征提取网络采用未预训练的ResNet18网络,所述预训练的ResNet18网络与所述未预训练的ResNet18网络之间利用知识蒸馏方法进行增量学习;所述预训练的ResNet18网络的卷积阶段分为第一卷积阶段、第二卷积阶段和第三卷积阶段,每个卷积阶段提取不同尺度的特征图。
进一步的,所述含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练,包括:所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图;基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量;所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,获得第三尺度特征图和第四尺度特征图;基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,获得第二patch嵌入向量;基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数;基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分;基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新,获得优化后的含增量学习的深度神经网络模型。
进一步的,所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图,包括:所述教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,获得特征图;所述教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,获得第一尺度特征图;所述教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,获得第二尺度特征图。
进一步的,所述基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量,包括:基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,获得第一patch嵌入向量。
进一步的,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸。
进一步的,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量。
具体的,构建含增量学习的深度神经网络模型作为初始外观缺陷检测模型,含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,含增量学习的深度神经网络模型允许教师特征提取网络和学生特征提取网络对新数据进行持续学习而不是重头训练整个模型,即特征提取网络只进行关于新增图像数据的更新,使得模型可以不断学习新知识,并且可以适应复杂多变的变化,使用预训练的ResNet18网络作为教师特征提取网络,使用未预训练的ResNet18网络作为学生特征提取网络,ResNet18网络是一种深度卷积神经网络,为减少信息丢失,教师特征提取网络和学生特征提取网络共享相同的体系结构,预训练的ResNet18网络包括第一卷积阶段、第二卷积阶段和第三卷积阶段,利用知识蒸馏方法,充分挖掘中间层特征信息,以实现学生网络学习到教师网络中有利于异常检测的特征,知识蒸馏即是将教师特征提取网络的能力和学习到的知识进行迁移至学生特征提取网络中,对于增量学习,教师网络用知识蒸馏的方法让学生网络的输出拟合教师网络的输出,从而实现教师网络的知识转移,完成对学生网络的优化,通过知识蒸馏对中间层特征学习的挖掘和相互的训练以达到增量学习的目的,在深度神经网络中,随着卷积网络层数不断加深,其输出的特征图分辨率不断减小,预训练的ResNet18网络在第一卷积阶段、第二卷积阶段和第三卷积阶段的特征图的尺度便在不断变化,在本发明中,在三种不同分辨率的特征图上进行知识蒸馏,让教师特征提取网络和学生特征提取网络的特征相似,第一层特征图分辨率降为原图的1/4,但未获取到足够的上下文信息,无法对大块连续异常进行有效识别。第四层特征图分辨率降为原图的1/32,虽有充分的上下文信息,但却丢失异常的位置及轮廓信息,适用于整图异常检测,第二层和第三层的特征图分辨率为1/8和1/16,既保留异常区域的位置信息,也有足够的上下文信息对异常进行有效识别,保证学生特征提取网络对教师特征提取网络特征表征的学习能力,同时组合不同深度的特征图,以形成特征金字塔来检测不同大小的异常区域,因此,对于特征提取网络而言,第二卷积阶段和第三卷积阶段尤为重要。
MiniLED产品初始图像包括MiniLED产品初始正常图像和MiniLED产品初始异常图像,异常类型包括气泡、油污和灰尘等,图像分辨率为160*192,使用1471张MiniLED产品初始正常图像用于训练,142张异常图像用于检测;对MiniLED产品初始图像进行预处理,获得训练样本图像;所述深度神经网络模型中的教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,根据教师特征提取网络在第一卷积阶段的卷积核对预处理后的MiniLED产品初始图像进行卷积计算,获得若干个中间矩阵,将若干个中间矩阵中相同位置的元素的多项式进行合并同类项处理,获得若干个合并同类项处理后的多项式,对每个合并同类项处理后的多项式进行求值,获得特征图;教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,图注意力机制的本质是找到网络所要关注的焦点,以获取关注目标更多的细节信息,弱化其他无用信息,这一机制的引入使正常区域的学生特征提取网络中的特征与教师特征提取网络中的特征更接近,图注意力机制接收教师特征提取网络的特征图,并将这些特征图聚合到一个通道中,若将教师特征提取网络得到的特征图直接与学生特征提取网络得到的特征图聚合,学生特征提取网络的后续输出将无法检测出异常缺陷区域,因此将教师特征提取网络的特征图通过额外的卷积层获得其中的重点区域,通过与后续学生特征提取网络的特征图点乘强调重点区域,从而获得新的更具有上下文信息的特征图;对特征图计算语义特征向量,使用语义特征向量与特征图进行位置点乘处理,获得注意力图,将注意力图与特征图进行位置点乘处理,由第二卷积阶段的卷积核来进行特征提取,通过卷积核与特征图点对点处理,以此来增强特征,得到其中的重点区域,获得第一尺度特征图;教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,在第三卷积阶段同样是计算第一尺度特征图的语义特征向量,将该特征向量与第一尺度特征图进行位置点乘处理,获得第二注意力图,将注意力图与第一尺度特征图进行点乘处理,在第三卷积阶段的特征提取使用第三卷积阶段的卷积核进行处理,获得第二尺度特征图,与通道注意力机制相比,图注意力机制通过强调重要的像素更有利于像素级异常检测中的位置信息获取,图注意力机制只获得教师特征提取网络的输出,并不反馈回教师特征提取网络中,而由于只使用正常产品图像作为训练数据,因此图注意机制有效地提高了特征提取网络表现正常区域的特征;基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,patch表示为特征映射,也表示为像素补丁,通过邻域聚集来增加感受野的大小和对小空间偏差的鲁棒性,但不损失空间分辨率,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,将第一尺度特征图和第二特征尺度图进行连接处理,是实现保留分辨率和上下文信息的编码,由于特征图比输入图像分辨率低,直接映射到输入图像的分辨率时许多像素都有相同的嵌入,因此为了像素补丁不重叠,我们将所聚合特征的分辨率与尺度特征图对齐,获得第一patch嵌入向量,该patch嵌入向量为携带不同语义层次和分辨率信息的嵌入向量;所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,学生特征提取网络对预处理后的MiniLED产品初始图像进行第一阶段的卷积处理,得到其对应的特征图,再对特征图进行两次不同尺度的卷积处理,获得第三尺度特征图和第四尺度特征图;基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,该特征聚合处理步骤与第一尺度特征图和第二尺度特征图的特征聚合步骤一致,在此不再赘述,获得第二patch嵌入向量;基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数,并不需要和时空投影模型一样对每一层的特征向量单独进行归一化计算损失,在此使用L2距离来作为损失函数,L2损失函数为最小平方误差,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸;
基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量;
基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新;此处引入了图注意力机制提取教师特征提取网络中的重要区域,同时通过基于Patch聚合方法将两个尺度的特征图进行融合后,增加感受野的大小和对小空间偏差的鲁棒性。
通过外观缺陷检测模型对MiniLED产品进行外观缺陷检测,获得异常图和异常标签,从而可以检测出MiniLED产品是出现灰尘、油污、漏锡或线状的外观缺陷,与时空投影模型和其他基于预训练的模型相比,该外观缺陷检测模型的检测精度要更高,能够更加有效地提高检测性能和提高对MiniLED产品的外观缺陷检测的检测效率和准确性。
在本发明实施例中,通过构建含增量学习的深度神经网络模型,可以更加充分地挖掘特征信息,将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中进行训练,引入了图注意力机制至深度神经网络模型中的教师特征提取网络中提取重要区域,使获得的特征图更具有上下文信息,同时基于Patch聚合方法将两个尺度特征图进行融合,增加感受野的大小和对小空间偏差的鲁棒性,通过Patch聚合方法和图注意力机制对模型的训练优化,提高模型的精确度,从而能够进一步提高MiniLED外观缺陷检测的检测效率和准确性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种MiniLED外观缺陷检测方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种MiniLED外观缺陷检测方法,其特征在于,所述方法包括:
获取MiniLED产品图像;
对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
2.根据权利要求1所述的MiniLED外观缺陷检测方法,其特征在于,所述对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像,包括:
对所述MiniLED产品图像进行灰度化处理,获得灰度化MiniLED产品图像;
对所述灰度化MiniLED产品图像进行图像增强处理,获得图像增强处理后的灰度化MiniLED产品图像;
对图像增强处理后的灰度化MiniLED产品图像进行去噪处理,获得预处理后的MiniLED产品图像。
3.根据权利要求1所述的MiniLED外观缺陷检测方法,其特征在于,所述含增量学习的深度神经网络模型包括教师特征提取网络和学生特征提取网络,其中,所述教师特征提取网络采用预训练的ResNet18网络,所述学生特征提取网络采用未预训练的ResNet18网络,所述预训练的ResNet18网络与所述未预训练的ResNet18网络之间利用知识蒸馏方法进行增量学习。
4.根据权利要求3所述的MiniLED外观缺陷检测方法,其特征在于,所述预训练的ResNet18网络的卷积阶段分为第一卷积阶段、第二卷积阶段和第三卷积阶段,每个卷积阶段提取不同尺度的特征图。
5.根据权利要求1所述的MiniLED外观缺陷检测方法,其特征在于,所述含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练,包括:
所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图;
基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量;
所述深度神经网络模型中的学生特征提取网络对预处理后的MiniLED产品初始图像进行特征提取,获得第三尺度特征图和第四尺度特征图;
基于Patch聚合方法将所述第三尺度特征图和第四尺度特征图进行特征聚合,获得第二patch嵌入向量;
基于所述第一patch嵌入向量和所述第二patch嵌入向量计算损失函数;
基于所述第一patch嵌入向量和所述第二patch嵌入向量利用余弦相似度算法计算每个像素位置的异常得分;
基于所述损失函数和异常得分进行反向传播处理,在每个批次的处理结束时,基于优化器对模型参数进行更新。
6.根据权利要求5所述的MiniLED外观缺陷检测方法,其特征在于,所述深度神经网络模型中的教师特征提取网络基于图注意力机制对预处理后的MiniLED产品初始图像进行特征提取,获得第一尺度特征图和第二尺度特征图,包括:
所述教师特征提取网络在第一卷积阶段对预处理后的MiniLED产品初始图像进行特征提取,获得特征图;
所述教师特征提取网络在第二卷积阶段基于图注意力机制对所述特征图进行点乘和特征提取处理,获得第一尺度特征图;
所述教师特征提取网络在第三卷积阶段基于图注意力机制对所述第一尺度特征图进行点乘和特征提取处理,获得第二尺度特征图。
7.根据权利要求5所述的MiniLED外观缺陷检测方法,其特征在于,所述基于Patch聚合方法将所述第一尺度特征图和第二尺度特征图进行特征聚合,获得第一patch嵌入向量,包括:
基于尺寸为3*3的patch对所述第一尺度特征图和第二尺度特征图进行邻域聚集处理,获得邻域聚集处理后的第一尺度特征图和第二尺度特征图;
对邻域聚集处理后的第一尺度特征图和第二尺度特征图进行连接和对齐处理,获得第一patch嵌入向量。
8.根据权利要求5所述的MiniLED外观缺陷检测方法,其特征在于,所述损失函数的计算表达式为:
其中,Loss为损失函数,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量,w和h为训练样本的图像尺寸。
9.根据权利要求5所述的MiniLED外观缺陷检测方法,其特征在于,所述异常得分的计算表达式为:
其中,Score为异常得分值,xs与xt分别为学生特征提取网络与教师特征提取网络对应的patch嵌入向量。
10.一种MiniLED外观缺陷检测系统,其特征在于,所述系统包括:
图像获取模块,用于获取MiniLED产品图像;
图像预处理模块,用于对所述MiniLED产品图像进行图像预处理,获得预处理后的MiniLED产品图像;
特征提取模块,用于对预处理后的MiniLED产品图像进行特征提取处理,获得图像特征信息;
外观缺陷检测模块,用于将所述图像特征信息输入外观缺陷检测模型中,基于所述外观缺陷检测模型进行MiniLED产品的外观缺陷检测处理,所述外观缺陷检测模型为将预处理后的MiniLED产品初始图像输入含增量学习的深度神经网络模型中利用图注意力机制和Patch聚合方法进行训练得到的收敛模型。
CN202311777283.6A 2023-12-22 2023-12-22 一种MiniLED外观缺陷检测方法及系统 Pending CN117876303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311777283.6A CN117876303A (zh) 2023-12-22 2023-12-22 一种MiniLED外观缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311777283.6A CN117876303A (zh) 2023-12-22 2023-12-22 一种MiniLED外观缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN117876303A true CN117876303A (zh) 2024-04-12

Family

ID=90578296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311777283.6A Pending CN117876303A (zh) 2023-12-22 2023-12-22 一种MiniLED外观缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN117876303A (zh)

Similar Documents

Publication Publication Date Title
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN112070158B (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
JP2023519525A (ja) オートエンコーダ及びクラスタリングに基づく異常検知
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN105913093A (zh) 一种用于文字识别处理的模板匹配方法
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN110866915A (zh) 基于度量学习的圆形砚台质量检测方法
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN115527072A (zh) 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN111311515B (zh) 一种错误区域自动检测的深度图像快速迭代修复方法
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN117876303A (zh) 一种MiniLED外观缺陷检测方法及系统
CN114529517A (zh) 基于单样本学习的工业产品缺陷检测方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统
CN117078608B (zh) 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN113792630B (zh) 一种基于对比学习的地外探测图像识别方法及系统
Yang et al. A comprehensive end-to-end computer vision framework for restoration and recognition of low-quality engineering drawings
CN115937143A (zh) 一种织物缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination