CN115564702A - 模型训练方法、系统、设备、存储介质及缺陷检测方法 - Google Patents

模型训练方法、系统、设备、存储介质及缺陷检测方法 Download PDF

Info

Publication number
CN115564702A
CN115564702A CN202110747268.1A CN202110747268A CN115564702A CN 115564702 A CN115564702 A CN 115564702A CN 202110747268 A CN202110747268 A CN 202110747268A CN 115564702 A CN115564702 A CN 115564702A
Authority
CN
China
Prior art keywords
training
image
sample
verification
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110747268.1A
Other languages
English (en)
Inventor
张潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202110747268.1A priority Critical patent/CN115564702A/zh
Publication of CN115564702A publication Critical patent/CN115564702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种模型训练方法、系统、设备、存储介质及缺陷检测方法，涉及了图像检测技术领域，方法包括：获取样本原图集以及根据样本原图集确定训练噪声图集；将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。本申请实现在推理过程中分割缺陷区域，解决了目前工业检测中异常样本出现概率小，无法通过有监督学习的方式训练精确模型进行缺陷判断的问题。

Description

模型训练方法、系统、设备、存储介质及缺陷检测方法
技术领域
本申请涉及图像检测技术领域，具体涉及一种模型训练方法、系统、设备、存储介质及缺陷检测方法。
背景技术
在制造业中，通过光学检测来判断生产线上的产品是否包含有缺陷是非常关键的步骤，尽管人类非常善于异常检测，但是让人类操作员监督组装线生产的每件产品，都存在着有限的人类注意力跨度、大规模装配线的人工成本高、不同的产线间通常不会保持一致的质量水平等的问题，因此自动化的光学异常检测在工业视觉检测领域中非常有价值。
然而，在制造业中，由于较高的生产可靠性，光学检测任务经常缺乏足够的一场样本用作训练，同时，对于生产线上那些较少出现的缺陷可能更为致命，所以，想要用缺陷数据以监督学习的方式来训练一个精确的深度模型有时候并不现实。
发明内容
本申请提供一种模型训练方法、系统、设备、存储介质及缺陷检测方法，解决了目前工业检测中异常样本出现概率小，无法通过有监督学习的方式训练精确模型进行缺陷判断的问题。
本申请提供一种模型训练方法，包括：
获取样本原图集以及根据样本原图集确定训练噪声图集；
将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
另一方面，本申请还提供一种模型训练系统，包括：
获取模块，用于获取样本原图集；
确定模块，用于根据样本原图集确定训练噪声图集；
重建模块，用于将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
训练模块，用于根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
另一方面，本申请还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上执行的计算机程序，处理器执行计算机程序以实现模型训练方法中的步骤。
另一方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现模型训练方法中的步骤。
另一方面，本申请还提供一种缺陷检测方法，包括：
获取待测原图像和待测噪声图像；
将待测噪声图像输入预设的缺陷检测模型进行图像重建，得到训练重建图像；
根据待测原图像和训练重建图像确定待测原图像的异常区域。
本申请中使用正常样本进行模型训练，得到缺陷检测模型，实现缺陷检测模型的模型训练，解决了无法通过有监督学习的方式检测出概率非常小的缺陷的问题，采用缺陷检测模型，对待测原图像进行缺陷检测，得到待测原图像中的异常阈值，定位待测原图像的异常区域，缺陷检测精度更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中SegNet网络的结构示意图；
图2是本申请实施例中模型训练方法的一个实施例流程示意图；
图3是本申请实施例中模型训练方法的一个实施例流程示意图；
图4是本申请实施例中模型训练方法的一个实施例流程示意图；
图5是本申请实施例中模型训练方法的一个实施例流程示意图；
图6是本申请实施例中正态分布的结构示意图；
图7是本申请实施例中模型训练系统的一个实施例结构示意图；
图8是本申请实施例中电子设备的一个实施例结构示意图；
图9是本申请实施例中缺陷检测方法的一个实施例流程示意图；
图10是本申请实施例中缺陷检测方法的一个实施例流程示意图；
图11是本申请实施例中检测热力图像的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
首先对本申请实施例涉及的名词进行介绍：
SegNet网络：如图1所示，是一种基于卷积运算组成的语义分割网络，它由编码器(Encoder)和解码器(Decoder)两个部分组成，每个编码器都对应一个解码器，VGG 16网络由13层卷积层和3层全连接层而组成，SegNet网络的编码器是采用的VGG 16网络的前13层卷积层，即conv1_1-conv1_2-pool-conv2_1-conv2_2-pool-conv3_1-conv3_2-conv3_3-pool-conv4_1-conv4_2-conv4_3-poo l的结构，每个卷积层都包含卷积化、批量归一化、线性整流函数(Rectified Linear Unit，ReLU)。
卷积：卷积过程是使用一个卷积核(Filter)，在每层像素矩阵上不断按步长扫描下去，每次扫到的数值会和卷积核中对应位置的数进行相乘，然后相加求和，得到的值将会生成一个新的矩阵，卷积核相当于卷积操作中的一个过滤器，用于提取我们图像的特征，特征提取完后会得到一个特征图像。
池化：相当于降维操作，可分为最大池化(max pooling)和平均池化(Ave ragePooling)，经过卷积操作后我们提取到的特征图像，特征图像中的相邻区域会有相似特征信息，这是可以相互替代的，如果全部保留这些特征信息会存在信息冗余，增加计算难度，通过池化会不断地减小数据的空间大小，参数的数量和计算量会有相应的下降，有效控制了过拟合。
热力图像：是一种可视化手段，热力图像使用一种渐进的色带来表现大量聚合数据，可以直观地展现空间数据的疏密程度或频率高低。
salt-and-pepper noise：指的是盐噪声(salt noise)及椒噪声(pepper noise)，是数字图像中的常见噪声，盐噪声一般是白色噪声，椒噪声一般是黑色噪声，前者高灰度噪声，后者属于低灰度噪声，一般两种噪声同时出现，呈现在图像上就是黑白杂点。
本申请实施例提供一种模型训练方法、系统、设备、存储介质及缺陷检测方法，以下分别进行详细说明。
如图2所示，为本申请实施例中模型训练方法的一个实施例流程示意图，在本实施例中，将基于SegNet网络的模型作为训练模型，通过该训练模型进行本实施例中的模型训练方法，该模型训练方法包括步骤101～103：
101、获取样本原图集以及根据样本原图集确定训练噪声图集。
样本原图集是用于输入训练模型进行模型训练的多个样本原图，在进行模型训练之前，在生产过程中，人工对需要进行缺陷检测的正常无缺陷的物件进行图像采集，得到多个样本原图，为了便于模型训练更加具有差异性，多个样本原图可以是目标物体从多个不同角度获取的样本原图,收集多个不同情况下(可以是不同角度或者不同光照强度)的样本原图，以构成样本原图集，通过样本原图集和训练噪声图集对训练模型进行训练。
102、将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像。
由于本实施例中采用的是基于SegNet网络的模型作为训练模型，将训练噪声图集输入至训练模型中，训练模型中的多个卷积核对训练噪声图集中的噪声图像的像素值进行卷积计算，通过池化层对卷积核得到的特征矩阵值进行池化，经过多次卷积、激活、池化、拉平以及全连接，实现图像重建，得到多个训练重建图像。
其中，卷积核的大小可以选择3x3或5x5，也可以根据需要设定，卷积核里面的每个值是训练模型过程中的神经元参数(权重)，权重值可以人为设定，也可以是由训练模型自动随机设定。
103、根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
得到多个训练重建图像后，将多个训练重建图像与对应的样本原图集中的多个样本原图进行模型训练，训练过程中，分析得到的训练重建图像与样本原图之间的重建损失值，通过重建损失计算进行评估，并调整训练模型的超参数，直到重建损失值趋近于零，同时通过训练模型的自动反向传播不断更新权重值，寻找到最佳的权重值，最终得到已训练的缺陷检测模型。
本申请中使用正常样本进行模型训练，得到已训练的缺陷检测模型，实现缺陷检测模型的模型训练，解决了无法通过有监督学习的方式检测出概率非常小的缺陷的问题，采用缺陷检测模型，对待测原图像进行缺陷检测，得到待测原图像中的异常阈值，定位待测原图像的异常区域，缺陷检测精度更高。
在本申请的另一个实施例中，样本原图集包括训练样本原图集，根据样本原图集确定训练噪声图集，包括：
将训练样本原图集中的所有图像均加入图像噪声，得到训练噪声图集。
为了加强模型的训练效果，降低模型训练的过拟合，预先对获取的训练样本原图集的所有样本原图加入图像噪声，加入的图像噪声可以是salt-and-pepp er noise噪声，也可以根据需要加入其他噪声，在本实施例中，可以设定加入10％的salt-and-peppernoise噪声，即可以随机设定5％的样本原图的像素值为黑色，随机设定5％的样本原图的像素值为白色，样本原图剩余的90％像素值保持不变，使样本原图形成具有黑白杂点的图像噪声图像，加入噪声的比例可以根据需要进行设定。得到多个加入图像噪声的样本原图，即构成训练噪声图集。
另外，训练样本原图集中的每条数据可以同时包含样本原图和与该样本原图对应的具有噪声的噪声样本原图。
在本申请的另一个实施例中，如图3所示，根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型，包括以下步骤201～202：
201、根据训练样本原图集和多个训练重建图像进行重建损失计算，得到多个重建损失值。
根据训练样本原图集和多个训练重建图像进行重建损失计算，得到多个重建损失值，包括：
通过预设的第一损失函数根据训练样本原图集和多个训练重建图像进行重建损失计算，得到多个重建损失值。
损失重建函数可以是第一损失函数。
通过第一损失函数进行训练样本原图集与多个训练重建图像的重建损失计算，第一损失函数为：
Figure BDA0003144746690000061
x1i为训练噪声图集中的图像于i位置的像素值，f是训练模型函数，即基于SegNet网络的模型，f(x1i)为训练重建图像于i位置的像素值，y1i为训练样本原图集中的图像于i位置的像素值，计算得到的loss(x1,y1)即为重建损失值。
在本实施例中，还可以通过预设的第二损失函数根据训练样本原图集和多个训练重建图像进行重建损失计算，得到多个重建损失值。
损失重建函数可以是第二损失函数。
通过第二损失函数进行训练样本原图集与多个训练重建图像的重建损失计算，第二损失函数为：
Figure BDA0003144746690000071
x2i为训练噪声图集中的图像于i位置的像素值，f是训练模型函数，即基于SegNet网络的模型，f(x2i)为训练重建图像于i位置的像素值，y2i为训练样本原图集中的图像于i位置的像素值，计算得到的loss(x2,y2)即为重建损失值。
202、根据多个重建损失值对预设的缺陷检测模型进行模型训练，得到已训练的缺陷检测模型。
根据多个重建损失值，得到缺陷检测模型，包括：
根据多个重建损失值，得到多个训练样本热力图像；
定位训练样本热力图像的异常区域；
根据训练样本热力图像的异常区域，调整训练模型的超参数；
训练模型更新权重值，得到缺陷检测模型。
其中，根据多个样本重建损失值，得到训练样本热力图像，具体为：
多个样本重建损失值为训练样本热力图像的像素值。
样本原图和对应的训练重建图像重建损失计算后，所生成的训练样本热力图像的大小与对应的训练重建图像的大小相同，示例性的，若训练重建图像的大小为HxW，则对应生成的训练样本热力图像的大小也为HxW。
定位训练样本热力图像的异常区域，具体为：
判断训练样本热力图像的像素值是否超过异常阈值来判断训练样本热力图像中是否存在异常区域，如果存在超过异常阈值的像素值，则该像素值对应的训练样本热力图像的图像区域即为异常区域。其中，异常阈值通过验证模型计算得到，具体参照下文。
依次根据多个训练样本热力图像存在的异常区域，调整训练模型的超参数，具体为：
分析得到的多个训练样本热力图像存在的异常区域的情况，如果得到异常区域不符合预期，则调整训练模型的超参数，训练模型的超参数是通过人为调整，通过调整训练模型的超参数使训练模型得到的重建损失值趋近于零。
训练模型更新权重值，得到缺陷检测模型，具体为：
在调整训练模型的超参数的同时，通过训练模型的自动反向传播不断更新权重值，使得到的异常区域符合预期，从而寻找到最佳的权重值，最终得到缺陷检测模型。
在本申请的另一个实施例中，如图4所示，如上文，判断训练重建图像是否存在异常区域，需要采用异常阈值作为基准进行判断，异常阈值则是通过分析从样本原图集中划分出的验证样本原图集得到。
在本申请的另一个实施例中，样本原图集还包括验证样本原图集。
训练样本原图集用于输入训练模型进行模型训练，验证样本原图集用于对训练模型输出的多个训练重建图像进行数据验证。
训练样本原图集和验证样本原图集是按照预设的比例对样本原图集进行划分得到的。
样本原图集采集完毕后，在进行模型训练之前，按照预设的比例划分多个样本原图集，形成训练样本原图集和验证样本原图集。
预设的比例可以为8：2或者9：1。
当预设的比例为8：2时，即将样本原图集中的80％样本原图作为训练样本原图集，将样本原图集中的20％样本原图作为验证样本原图集；
当预设的比例为9：1时，即将样本原图集中的90％样本原图作为训练样本原图集，将样本原图集中的10％样本原图作为验证样本原图集。
划分样本原图集的比例也可以根据需要进行设定，训练样本原图集和验证样本原图集的样本原图可以重复出现，且验证样本原图集中可以包含样本原图集中与样本原图对应的验证噪声图集。
因此，在实施例中，模型训练方法还包括以下步骤301～303：
301、根据验证样本原图集确定验证噪声图集。
根据验证样本原图集获取验证噪声图集，包括：
将验证样本原图集中的所有图像均加入图像噪声，得到验证噪声图集。
为了加强模型的训练效果，降低模型验证过程中的过拟合，预先对获取的验证样本原图集中的所有样本原图加入图像噪声，加入的图像噪声可以是salt-and-peppernoise噪声，也可以根据需要加入其他噪声，在本实施例中，可以设定加入10％的salt-and-pepper noise噪声，即可以随机设定5％的样本原图的像素值为黑色，随机设定5％的样本原图的像素值为白色，样本原图剩余的90％像素值保持不变，使样本原图形成具有黑白杂点的图像噪声图像，加入噪声的比例可以根据需要进行设定。得到多个加入图像噪声的样本原图，即得到验证样本原图集。
另外，验证样本原图集中的每条数据可以同时包含样本原图和与该样本原图对应的具有噪声的噪声样本原图。
302、将验证噪声图集作为目标输入进行图像重建，得到多个验证重建图像。
为了区别训练步骤和异常阈值计算步骤，在本实施例中，将基于SegNet网络的模型作为验证模型，本实例中的验证模型与上述的训练模型相同。
将验证噪声图集输入至验证模型中，验证模型中的多个卷积核对正常样本图像的像素值进行卷积计算，通过池化层对卷积核得到的特征矩阵值进行池化，经过多次卷积、激活、池化、拉平以及全连接，实现图像重建，得到多个验证重建图像。
其中，卷积核的大小可以选择3x3或5x5，也可以根据需要设定，卷积核里面的每个值是验证模型过程中的神经元参数(权重)，权重值可以人为设定，也可以是由验证模型自动随机设定。
303、根据验证样本原图集和多个验证重建图像确定异常阈值。
得到多个验证重建图像后，将多个验证重建图像与对应的样本原图集中的多个样本原图进行对比，得到验证重建图像与样本原图之间的样本像素比较值，统计分析多个样本像素比较值，定位出异常阈值。
在本申请的另一个实施例中，如图5所示，根据验证样本原图集和多个验证重建图像确定异常阈值，包括以下步骤401～402：
401、根据验证样本原图集和多个验证重建图像进行像素值比较计算，得到多个像素比较值集合。
根据验证样本原图集和多个验证重建图像进行像素值比较计算，得到多个像素比较值集合，包括：
将验证样本原图集的样本原图的像素值与对应的验证重建图像的像素值依次输入至像素值比较函数中进行像素值比较计算，得到多个样本像素比较值，多个样本像素比较值构成一个样本像素比较值集合，多个验证样本原图集的样本原图与多个对应的验证重建图像进行像素值比较计算，则得到多个样本像素比较值集合。
像素值比较函数可以是第一比较函数。
通过预设的第一比较函数根据验证样本原图集中的图像和验证重建图像进行像素值比较计算，得到像素比较值集合。
其中，第一比较函数为：
heatmap(x3i)＝|y3i-f(x3i)|
x3i为验证噪声图集中的图像于i位置的像素值，f是验证模型函数，即基于SegNet网络的模型，f(x3i)为验证重建图像于i位置的像素值，y3i为验证样本原图集中的图像于i位置的像素值，计算得到的heatmap(x3i)即为样本像素比较值。
像素值比较函数也可以是第二比较函数。
通过预设的第二比较函数根据验证样本原图集中的图像和验证重建图像进行像素值比较计算，得到像素比较值集合。
其中，第二比较函数为：
heatmap(x4i)＝(y4i-f(x4i))2
x4i为验证噪声图集中的图像于i位置的像素值，f是验证模型函数，即基于SegNet网络的模型，f(x4i)为验证重建图像于i位置的像素值，y4i为验证样本原图集中的图像于i位置的像素值，计算得到的heatmap(x4i)即为样本像素比较值。
402、根据多个像素比较值集合确定异常阈值。
根据多个像素比较值集合确定异常阈值，包括：
根据多个像素比较值集合，得到验证样本热力图像；
统计多个验证样本热力图像的像素值，得到多个验证样本热力图像的像素值的正态分布；
根据正态分布，定位异常阈值。
根据多个像素比较值集合，得到验证样本热力图像，具体为：
多个像素比较值集合为验证样本热力图像的像素值结合。
样本原图和对应的验证重建图像进行像素值比较计算后，所生成的验证样本热力图像的大小与对应的验证重建图像的大小相同，示例性的，若训练重建图像的大小为MxN，则对应生成的验证样本热力图像的大小也为MxN。
其中，将验证样本原图集的多个样本原图与对应的多个验证重建图像分别进行像素值比较计算，则得到多个验证样本热力图像，同样的，若将验证样本原图集的样本原图与对应的验证重建图像进行N次像素值比较计算，则得到N张验证样本热力图像。
统计多个验证样本热力图像的像素值，得到多个验证样本热力图像的像素值的正态分布，具体为：
在进行N次像素值比较计算，得到N张验证样本热力图像后，由于N张验证样本热力图像中的像素值都是随机分布的，本实施例中，则将N张验证样本热力图像中的所有像素值进行统计，并得到N张验证样本热力图像中的所有像素值对应的均值为μ、方差为σ2的正态分布，正态分布记为N(μ，σ2)，通过正态分布来分析异常阈值，得到的正态分布如图6所示。
根据正态分布，定位异常阈值，包括：
得到均值为μ、方差为σ2的正态分布后，根据不同的标准，设定异常阈值。在本实施例中，异常阈值设为μ+2σ或者μ+3σ。即当像素值超过μ+2σ或者μ+3σ对应的数值时，则定义该像素值对应的图像区域为异常区域。也可以根据具体需要设置均值μ与均方差σ，自行设定异常阈值，该异常阈值对应的则是样本热力图像中的异常区域，在缺陷检测模型中，通过该异常阈值来定位所检测的图像中的异常区域。
为了更好实施本申请实施例中模型训练方法，在模型训练方法基础之上，本申请实施例中还提供一种模型训练系统，如图7所示，系统500包括：
获取模块501，用于获取样本原图集；
确定模块502，用于根据样本原图集确定训练噪声图集；
重建模块503，用于将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
训练模块504，用于根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
确定模块502具体为：
用于将训练样本原图集中的所有图像均加入图像噪声，得到训练噪声图集。
训练模块504具体为：
用于根据训练样本原图集和多个训练重建图像进行重建损失计算，得到多个重建损失值；
用于根据多个重建损失值对预设的缺陷检测模型进行模型训练，得到已训练的缺陷检测模型。
确定模块502还具体为：
用于根据验证样本原图集确定验证噪声图集。
重建模块503还具体为：
用于将验证噪声图集作为目标输入进行图像重建，得到多个验证重建图像。
训练模块504还具体为：
用于根据验证样本原图集和多个验证重建图像确定异常阈值。
确定模块502还具体为：
将验证样本原图集中的所有图像均加入图像噪声，得到验证噪声图集。
训练模块504还具体为：
根据验证样本原图集和多个验证重建图像进行像素值比较计算，得到多个像素比较值集合；
根据多个像素比较值集合确定异常阈值。
在本申请的另一个实施例中，还提供一种电子设备，如图8所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图8中示出的该电子设备结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该该电子设备的控制中心，利用各种接口和线路连接整个该电子设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行该电子设备的各种功能和处理数据，从而对该电子设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据该电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
该电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该该电子设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，该电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，该电子设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取样本原图集以及根据样本原图集确定训练噪声图集；
将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
在本申请一些实施例中，本申请还提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的无监督检测方法模型训练方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取样本原图集以及根据样本原图集确定训练噪声图集；
将训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
根据样本原图集和多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
在本申请的另一个实施例中，采用基于SegNet网络进行模型训练得到的缺陷检测模型进行图像的缺陷检测，如图9所示，缺陷检测方法包括以下步骤701～703：
701、获取待测原图像和待测噪声图像。
待测原图像即为需要进行缺陷检测的待测图片，待测原图像可以是产品本身或产品的图片，其中，产品可以是自然界中任何一种物件。
获取待测原图像和待测噪声图像，包括：
将待测原图像加入图像噪声，得到待测噪声图像。
通过人工拍摄或机器扫描的方式得到产品的待测原图像。为了加强模型的训练效果，降低模型训练的过拟合，预先对获取的待测原图像加入图像噪声，加入的图像噪声可以是salt-and-pepper noise噪声，也可以根据需要加入其他噪声，在本实施例中，可以设定加入10％的salt-and-pepper noise噪声，即可以随机设定5％的待测原图像的像素值为黑色，随机设定5％的待测原图像的像素值为白色，待测原图像剩余的90％像素值保持不变，使待测原图像形成具有黑白杂点的图像噪声图像，加入噪声的比例可以根据需要进行设定。得到加入图像噪声的待测原图像，即待测噪声图像。
702、将待测噪声图像输入预设的缺陷检测模型进行图像重建，得到训练重建图像。
将待测噪声图像输入预设的缺陷检测模型进行图像重建，得到训练重建图像，包括：
对待测原图像进行卷积和池化，得到特征图像；
对特征图像进行上采样和转置卷积，得到训练重建图像。
对待测原图像进行卷积和池化，得到特征图像，具体为：
在缺陷检测模型的编码器端，对待测原图像进行多次卷积化和多次池化操作，通过卷积核对待测原图像进行滑动分割，得到多个图像块，并将该图像块卷积形成卷积值，多次卷积化后得到底层特征图像，完成待测原图像的卷积化。多次对底层特征图像进行分辨率减少一半的降采样，完成多次池化操作，得到特征图像。在本实施例中，卷积核的参数和池化的参数是在训练模型的过程中反向传播学习得到，卷积化和池化的步长可以根据需要进行设定，这里不做限定，池化采用的是最大池化操作。
对特征图像进行上采样和转置卷积，得到训练重建图像，具体为：
在缺陷检测模型的解码器端，对得到的特征图像进行上采样和转置卷积化，即对特征图像进行还原，得到转置卷积后结果，则该转置卷积后的结果即为图像重建后的训练重建图像。
703、根据待测原图像和训练重建图像确定待测原图像的异常区域。
得到训练重建图像后，将待测原图像与图像重建训练重建图像进行对比，分析得到的检测像素比较值，将检测像素比较值与预设的异常阈值进行对比，定位出待测原图像的异常区域。
在本申请的另一个实施例中，根据待测原图像和训练重建图像确定待测原图像的异常区域，如图10所示，包括以下步骤801～802：
801、将待测原图像和训练重建图像进行像素值比较，得到检测像素比较值集合。
将待测原图像和训练重建图像进行像素值比较计算，得到检测像素比较值集合，包括：
将待测原图像的像素值与对应的训练重建图像的像素值依次输入至像素值比较函数中进行像素值比较计算，得到检测像素比较值集合。
其中，像素比较函数可以是第三比较函数。
通过第三比较函数进行待测原图像和训练重建图像进行像素值比较计算，第三比较函数为：
heatmap(x5i)＝|y5i－f(x5i)|
其中，x5i为待测噪声图像于i位置的像素值，f是缺陷检测模型函数，即通过训练基于SegNet网络的模型得到的缺陷检测模型，f(x5i)为训练重建图像于i位置的像素值，y5i为待测原图像于i位置的像素值，计算得到的heatmap(x5i)即为检测像素比较值。
像素比较函数可以是第四比较函数。
通过第四比较函数进行待测原图像和训练重建图像进行像素值比较计算，第四比较函数为：
heatmap(x6i)＝(y6i-f(x6i))2
其中，x6i为待测噪声图像于i位置的像素值，f是缺陷检测模型函数，即通过训练基于SegNet网络的模型得到的缺陷检测模型，f(x6i)为训练重建图像于i位置的像素值，y6i为待测原图像于i位置的像素值，计算得到的heatmap(x6i)即为检测像素比较值。
802、根据检测像素比较值与预设的异常阈值，定位待测原图像的异常区域。
预设的异常阈值通过利用预先获取的验证噪声图集作为目标输入，多个验证重建图像作为训练输出进行模型训练得到。
由于待测原图像的像素值与对应的训练重建图像的像素值经过像素值比较计算后，得到多个检测像素比较值，且该多个检测像素比较值均是随机值。在本实施例中，通过将多个随机的检测像素比较值与预设的异常阈值进行比较，筛选出多个随机的检测像素比较值中对应于异常区域的像素值，从而获得对应待测原图像的异常区域。
根据检测像素比较值与预设的异常阈值，定位待测原图像的异常区域，包括：
将检测像素比较值与异常阈值进行比较，得到比较结果；
比较结果包括检测像素比较值大于异常阈值进和检测像素比较值小于或者等于异常阈值；
当比较结果为检测像素比较值大于异常阈值时，输出异常信息，异常信息为待测原图像存在异常区域；
当比较结果为检测像素比较值小于或者等于异常阈值时，输出正常信息，正常信息为待测原图像不存在异常区域。
根据检测像素比较值与预设的异常阈值，定位待测原图像的异常区域，还包括：
根据检测像素比较值，得到检测热力图像；
根据比较结果和检测热力图像，得到待测原图像的异常区域。
根据检测像素比较值，得到检测热力图像，具体为：
待测原图像和对应的训练重建图像进行像素值比较计算后，得到的多个检测像素比较值构成检测热力图像，所生成的检测热力图像的大小与对应的训练重建图像的大小相同。
根据比较结果和检测热力图像，得到待测原图像的异常区域，具体为：
当比较结果为检测像素比较值大于异常阈值时，输出的异常信息为待测原图像存在异常区域时，将该大于异常阈值的检测像素比较值所对应的检测热力图像的区域定义为异常区域，大于异常阈值的检测像素比较值所对应的检测热力图像的异常区域如图11所示。
由于检测热力图像与训练重建图像大小相同，则对应的训练重建图像的图像区域为异常区域，由于训练重建图像是由待测原图像进行图像重建得到，因此，可以根据训练重建图像的异常区域定位出对应的待测原图像的异常区域。
在本申请的另一个实施例中，对待测原图像进行卷积和池化，得到特征图像，包括：
记录待测原图像的池化索引和池化索引对应的池化索引值。
在本实施例中，缺陷检测模型的编码器具备池化索引功能。
记录待测原图像的池化索引和池化索引对应的池化索引值，具体为：
在对卷积后得到的底层特征图像进行池化的过程中，记录池化操作选出权值在卷积核中的相对位置，即记录池化索引，并记录下池化索引对应的池化索引值，即记录该权值在卷积核中的相对位置信息。
在本申请的另一个实施例中，对特征图像进行上采样和转置卷积，得到训练重建图像，包括：
放大特征图像，得到放大特征图像；
根据池化索引值，对放大特征图像进行上采样。
放大特征图像，得到放大特征图像，具体为：
在缺陷检测模型的解码器端，对特征图像进行上采样操作，即将特征图像进行放大，得到放大特征图像，可以选择放大两倍，也可以自行设定。
根据池化索引值，对放大特征图像进行上采样，具体为：
在缺陷检测模型的解码器端，将编码器保存的池化索引值放入放大特征图像中，即将池化操作选出的权值在卷积核中的相对位置放入放大特征图像中，再对放大特征图像进行上采样和转置卷积操作。从而有效避免了在编码器的最大池化操作中，卷积化得到的权重丢失的问题。
以上对本申请实施例所提供的一种模型训练方法、系统、设备、存储介质及缺陷检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种模型训练方法，其特征在于，包括：
获取样本原图集以及根据所述样本原图集确定训练噪声图集；
将所述训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
根据所述样本原图集和所述多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
2.如权利要求1所述的方法，其特征在于，所述样本原图集包括训练样本原图集，所述根据所述样本原图集确定训练噪声图集，包括：
将所述训练样本原图集中的所有图像均加入图像噪声，得到训练噪声图集。
3.如权利要求2所述的方法，其特征在于，所述根据所述样本原图集和所述多个训练重建图像进行模型训练，得到已训练的缺陷检测模型，包括：
根据所述训练样本原图集和所述多个训练重建图像进行重建损失计算，得到多个重建损失值；
根据所述多个重建损失值对预设的缺陷检测模型进行模型训练，得到已训练的缺陷检测模型。
4.如权利要求3所述的方法，其特征在于，所述根据所述训练样本原图集和所述多个训练重建图像进行重建损失计算，得到多个重建损失值，包括：
通过预设的第一损失函数根据所述训练样本原图集和所述多个训练重建图像进行重建损失计算，得到多个重建损失值；
其中，所述第一损失函数为：
Figure FDA0003144746680000011
x1i为所述训练噪声图集中的图像于i位置的像素值，f是训练模型函数，f(x1i)为所述训练重建图像于i位置的像素值，y1i为所述训练样本原图集中的图像于i位置的像素值。
5.如权利要求3所述的方法，其特征在于，所述根据所述训练样本原图集和所述多个训练重建图像进行重建损失计算，得到多个重建损失值，包括：
通过预设的第二损失函数根据所述训练样本原图集和所述多个训练重建图像进行重建损失计算，得到多个重建损失值；
其中，所述第二损失函数为：
Figure FDA0003144746680000021
x2i为所述训练噪声图集中的图像于i位置的像素值，f是训练模型函数，f(x2i)为所述训练重建图像于i位置的像素值，y2i为所述训练样本原图集中的图像于i位置的像素值。
6.如权利要求2所述的方法，其特征在于，所述样本原图集还包括验证样本原图集，所述方法还包括：
根据所述验证样本原图集确定验证噪声图集；
将所述验证噪声图集作为目标输入进行图像重建，得到多个验证重建图像；
根据所述验证样本原图集和所述多个验证重建图像确定异常阈值。
7.如权利要求6所述的方法，其特征在于，所述根据所述验证样本原图集确定验证噪声图集，包括：
将所述验证样本原图集中的所有图像均加入图像噪声，得到验证噪声图集。
8.如权利要求7所述的方法，其特征在于，所述根据所述验证样本原图集和所述多个验证重建图像确定异常阈值，包括：
根据所述验证样本原图集和所述多个验证重建图像进行像素值比较计算，得到多个像素比较值集合；
根据所述多个像素比较值集合确定异常阈值。
9.如权利要求8所述的方法，其特征在于，所述根据所述验证样本原图集和所述多个验证重建图像进行像素值比较计算，得到多个像素比较值集合，包括：
通过预设的第一比较函数根据所述验证样本原图集中的图像和所述验证重建图像进行像素值比较计算，得到像素比较值集合；
其中，所述第一比较函数为：
heatmap(x3i)＝|y3i－f(x3i)|
x3i为所述验证噪声图集中的图像于i位置的像素值，f是验证模型函数，f(x3i)为所述验证重建图像于i位置的像素值，y3i为所述验证样本原图集中的图像于i位置的像素值。
10.如权利要求8所述的方法，其特征在于，所述根据所述验证样本原图集和所述多个验证重建图像进行像素值比较计算，得到多个像素比较值集合，包括：
通过预设的第二比较函数根据所述验证样本原图集中的图像和所述验证重建图像进行像素值比较计算，得到像素比较值集合；
其中，所述第二比较函数为：
heatmap(x4i)＝(y4i-f(x4i))2
x4i为所述验证噪声图集中的图像于i位置的像素值，f是验证模型函数，f(x4i)为所述验证重建图像于i位置的像素值，y4i为所述验证样本原图集中的图像于i位置的像素值。
11.一种模型训练系统，其特征在于，包括：
获取模块，用于获取样本原图集；
确定模块，用于根据所述样本原图集确定训练噪声图集；
重建模块，用于将所述训练噪声图集作为目标输入进行图像重建，得到多个训练重建图像；
训练模块，用于根据所述样本原图集和所述多个训练重建图像进行模型训练，得到已训练的缺陷检测模型。
12.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至10中任一项所述的模型训练方法中的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至10任一项所述的模型训练方法中的步骤。
14.一种缺陷检测方法，其特征在于，包括：
获取待测原图像和待测噪声图像；
将所述待测噪声图像输入预设的缺陷检测模型进行图像重建，得到训练重建图像：
根据所述待测原图像和所述训练重建图像确定所述待测原图像的异常区域。
CN202110747268.1A 2021-07-02 2021-07-02 模型训练方法、系统、设备、存储介质及缺陷检测方法 Pending CN115564702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110747268.1A CN115564702A (zh) 2021-07-02 2021-07-02 模型训练方法、系统、设备、存储介质及缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110747268.1A CN115564702A (zh) 2021-07-02 2021-07-02 模型训练方法、系统、设备、存储介质及缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115564702A true CN115564702A (zh) 2023-01-03

Family

ID=84737020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110747268.1A Pending CN115564702A (zh) 2021-07-02 2021-07-02 模型训练方法、系统、设备、存储介质及缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115564702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173200A (zh) * 2023-11-03 2023-12-05 成都数之联科技股份有限公司 一种图像分割方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173200A (zh) * 2023-11-03 2023-12-05 成都数之联科技股份有限公司 一种图像分割方法、装置、设备和介质
CN117173200B (zh) * 2023-11-03 2024-02-02 成都数之联科技股份有限公司 一种图像分割方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US11645744B2 (en) Inspection device and inspection method
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
CN111932510B (zh) 一种图像清晰度的确定方法及装置
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN114612469B (zh) 产品缺陷检测方法、装置、设备及可读存储介质
US20070223839A1 (en) Signal noise estimation
CN109858352A (zh) 一种基于压缩感知与改进多尺度网络的故障诊断方法
KR20210141060A (ko) 머신러닝 기반의 이미지 이상 탐지 시스템
JP2006098152A (ja) 欠陥検出装置および欠陥検出方法
CN108919059A (zh) 一种电网故障诊断方法、装置、设备及可读存储介质
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN107590512A (zh) 一种模板匹配中参数的自适应方法和系统
Abouelaziz et al. Blind 3D mesh visual quality assessment using support vector regression
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
CN115526847A (zh) 一种基于半监督学习的主板表面缺陷检测方法
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN113012157A (zh) 一种设备缺陷视觉检测方法及系统
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN115485740A (zh) 异常晶片图像分类
Chang et al. An unsupervised neural network approach for automatic semiconductor wafer defect inspection
CN115564702A (zh) 模型训练方法、系统、设备、存储介质及缺陷检测方法
CN113256608B (zh) 工件缺陷检测方法和装置
CN114169460A (zh) 样本筛选方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination