CN114240926A - 板卡缺陷类别识别方法、装置、设备及可读存储介质 - Google Patents
板卡缺陷类别识别方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114240926A CN114240926A CN202111616771.XA CN202111616771A CN114240926A CN 114240926 A CN114240926 A CN 114240926A CN 202111616771 A CN202111616771 A CN 202111616771A CN 114240926 A CN114240926 A CN 114240926A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- low
- board card
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Abstract
本发明提供了板卡缺陷类别识别方法、装置、设备及可读存储介质，所述方法包括：获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；根据所述第一图像集合和卷积神经网络模型建立异常检测模型；根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。本发明通过层层递进的方法可以提高缺陷所在区域的三维图像的清晰度，进而可以提高缺陷类别识别的准确性。
Description
技术领域
本发明涉及缺陷处理技术领域，具体而言，涉及板卡缺陷类别识别方法、装置、设备及可读存储介质。
背景技术
目前对板卡缺陷的识别方法中，主要依赖于人工经验，以及综合一些板卡的加工方法、加工材料和一些性能数据进行缺陷识别，而这种方法对工作人员来讲，效率较低，并且受到工作人员的主观因素的影响较大，因此采用目前的缺陷识别方法可能会导致无法准确的识别出板卡的缺陷类别。
发明内容
本发明的目的在于提供板卡缺陷类别识别方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了板卡缺陷类别识别方法，所述方法包括：
获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
可选的，所述根据所述第一图像集合和卷积神经网络模型建立异常检测模型，包括：
获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
可选的，所述基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像，包括：
获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像：
基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
可选的，所述基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像，包括：
对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
可选的，所述基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别，包括:
采用显著活动轮廓模型对所述缺陷所在区域的三维图像进行定位检测，得到所述板卡上所述缺陷所在的位置信息，并提取所述缺陷所在的位置的三维图像；
对提取得到的所述缺陷所在的位置的三维图像进行验证，验证其是否属于真缺陷，若属于所述真缺陷则利用缺陷分类模型对缺陷所在的位置的三维图像进行识别，得到所述缺陷的类别。
可选的，所述对提取得到的所述缺陷所在的位置的三维图像进行验证，验证其是否属于真缺陷，包括：
获取两张没有缺陷的板卡的三维图像和差异阈值；
根据所述所述缺陷所在的位置信息对所述没有缺陷的板卡的三维图像进行截取，得到截取后的三维图像，截取的位置与所述缺陷所在的位置相同；
分别计算每张所述截取后的三维图像的灰度值，得到第一结果和第二结果；计算所述缺陷所在的位置的三维图像的灰度值，得到第三结果；
计算所述第一结果与所述第三结果的之间的第一差值，计算所述第一结果与所述第二结果的之间的第二差值，若所述第一差值与所述第二差值之间的差值大于所述阈值，则所述缺陷属于真缺陷。
第二方面，本申请实施例提供了板卡缺陷类别识别装置，所述装置包括获取模块、建立模块、检测模块、处理模块和识别模块。
获取模块，用于获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
建立模块，用于根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
检测模块，用于根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
处理模块，用于基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
识别模块，用于基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
可选的，所述建立模块，包括：
第一获取单元，用于获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
划分单元，用于对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
计算单元，用于根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
训练单元，用于基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
可选的，所述处理模块，包括：
第二获取单元，用于获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
变换单元，用于对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
第一分割单元，用于利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像：
第二分割单元，用于基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
处理单元，用于基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
可选的，所述第二分割单元，包括：
抑制子单元，用于对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
重构子单元，用于基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
分割子单元，用于对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
可选的，所述识别模块，包括：
定位单元，用于采用显著活动轮廓模型对所述缺陷所在区域的三维图像进行定位检测，得到所述板卡上所述缺陷所在的位置信息，并提取所述缺陷所在的位置的三维图像；
验证单元，用于对提取得到的所述缺陷所在的位置的三维图像进行验证，验证其是否属于真缺陷，若属于所述真缺陷则利用缺陷分类模型对缺陷所在的位置的三维图像进行识别，得到所述缺陷的类别。
可选的，所述验证单元，包括：
获取子单元，用于获取两张没有缺陷的板卡的三维图像和差异阈值；
截取子单元，用于根据所述所述缺陷所在的位置信息对所述没有缺陷的板卡的三维图像进行截取，得到截取后的三维图像，截取的位置与所述缺陷所在的位置相同；
第一计算子单元，用于分别计算每张所述截取后的三维图像的灰度值，得到第一结果和第二结果；计算所述缺陷所在的位置的三维图像的灰度值，得到第三结果；
第二计算子单元，用于计算所述第一结果与所述第三结果的之间的第一差值，计算所述第一结果与所述第二结果的之间的第二差值，若所述第一差值与所述第二差值之间的差值大于所述阈值，则所述缺陷属于真缺陷。
第三方面，本申请实施例提供了板卡缺陷类别识别设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述板卡缺陷类别识别方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述板卡缺陷类别识别方法的步骤。
本发明的有益效果为：
1、在本发明中，通过利用第一图像集合对卷积神经网络模型进行训练即可得到异常检测模型，得到异常检测模型后即可识别出第一异常区域；在本发明中，通过利用单层非下采样Shearlet变换方法可以得到缺陷所在区域的清晰三维图像，通过此种方法有利于提高最终识别出的缺陷类别的准确性。
2、在本发明中，通过卷积神经网络模型对待检测的板卡的三维图像进行检测，可以得到一个大概的异常区域，然后再在这个异常区域的基础上，获取包含这个异常区域的区域图像，即上述提及的异常三维图像，通过这种方法可以保证板卡上的异常区域被完全截取到，然后对异常三维图像进行处理，进行处理的目的在于得到异常三维图像中缺陷所在区域的清晰的三维图像；然后再将得到的清晰的三维图像输入显著活动轮廓模型即可得到缺陷所在的位置；通过层层递进的方法可以提高缺陷所在区域的三维图像的清晰度并且还可以使缺陷被完全识别出来，进而就可以提高缺陷类别识别的准确性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的板卡运行状态预警方法流程示意图；
图2是本发明实施例中所述的板卡运行状态预警装置结构示意图；
图3是本发明实施例中所述的板卡运行状态预警设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了板卡缺陷类别识别方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
步骤S2、根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
步骤S3、根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
步骤S4、基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
步骤S5、基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
在本实施例中，通过利用第一图像集合对卷积神经网络模型进行训练即可得到异常检测模型，得到异常检测模型后即可识别出第一异常区域；在本实施例中，通过利用单层非下采样Shearlet变换方法可以得到缺陷所在区域的清晰三维图像，通过此种方法有利于提高最终识别出的缺陷类别的准确性。
在本实施例中的步骤S3中，利用所述异常检测模型对所述待检测的板卡的三维图像进行检测，若检测到第一异常区域则继续执行步骤S4和步骤S5，若未检测到第一异常区域，则证明此张三维图像所对应的待测板卡无缺陷，无需进入步骤S4和步骤S5。
在本公开的一种具体实施方式中，所述步骤S2，还可以包括步骤S21、步骤S22和步骤S23。
步骤S21、获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
步骤S22、对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
步骤S23、根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
步骤S24、基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
在本实施例中，一个循环可以理解为一个训练轮回，即完成一次前馈和反向传播的过程为一个轮回，其中，本实施例中的循环次数也就是轮回次数可以由用户自定义的输入；在本实施例中通过对图像进行亮度修正处理和分辨率调整处理后可以提高图像的质量，进而提高训练得到的模型的精度；同时本实施例中采用轮回的次数决定前馈和反向传播过程在训练中进行的次数，通过此种方法可以加快卷积神经网络模型的训练速度，从而避免了训练模型出现过拟合和欠拟合的问题，因此可以提高训练效率，进而提升对板卡缺陷识别的效率。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S41、步骤S42、步骤S43、步骤S44和步骤S45。
步骤S41、获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
步骤S42、对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
步骤S43、利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像：
步骤S44、基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
步骤S45、基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
在本实施例中，当经过异常检测模型检测后，可以得到一个异常区域，此时对异常区域所在的区域进行截取，即截取的异常三维图像包括这个异常区域，通过此种方法可以保证异常区域被完全截取；同时在本实施例中，当得到第一异常区域之后，可以由工作人员根据第一异常区域所在的区域确定一个截取范围，然后再根据这个截取范围得到异常三维图像；在另一种实施方式中还可以预设一个截取比例，在第一异常区域的基础上根据截取比例进行截取得到异常三维图像；
截取后利用单层非下采样Shearlet变换和脉冲耦合神经网络方法对其进行处理后，将所述第一分割后的低频图像和所述第二分割后的低频图像进行融合可以得到所述第一异常区域中缺陷所在区域的清晰三维图像。也就是说，通过本实施例中的方法可以保障第一异常区域完全截取，进而保证缺陷部位被完全包含在内，最终还可以得到清晰、精准的缺陷所在区域的三维图像，进而有利于提高缺陷类别识别的准确性。
在本公开的一种具体实施方式中，所述步骤S44，还可以包括步骤S441、步骤S442和步骤S443。
步骤S441、对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
步骤S442、基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
步骤S443、对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
在本公开的一种具体实施方式中，所述步骤S5，还可以包括步骤S51和步骤S52。
步骤S51、采用显著活动轮廓模型对所述缺陷所在区域的三维图像进行定位检测，得到所述板卡上所述缺陷所在的位置信息，并提取所述缺陷所在的位置的三维图像；
步骤S52、对提取得到的所述缺陷所在的位置的三维图像进行验证，验证其是否属于真缺陷，若属于所述真缺陷则利用缺陷分类模型对缺陷所在的位置的三维图像进行识别，得到所述缺陷的类别。
在本实施例中，通过上述方法计算后可以得到缺陷所在区域的清晰图像，此时再将缺陷所在区域的清晰图像输入训练好的显著活动轮廓模型即可得到缺陷所在的位置；此时再确认此缺陷是否为真缺陷，若为真缺陷则再利用训练好的缺陷分类模型对缺陷所在的位置的三维图像进行识别，得到所述缺陷的类别；
在本实施例中，通过卷积神经网络模型对待检测的板卡的三维图像进行检测，可以得到一个大概的异常区域，然后再在这个异常区域的基础上，获取包含这个异常区域的区域图像，即上述提及的异常三维图像，通过这种方法可以保证板卡上的异常区域被完全截取到，然后对异常三维图像进行处理，进行处理的目的在于得到异常三维图像中缺陷所在区域的清晰的三维图像；然后再将得到的清晰的三维图像输入显著活动轮廓模型即可得到缺陷所在的位置；通过层层递进的方法可以提高缺陷所在区域的三维图像的清晰度并且还可以使缺陷被完全识别出来，进而就可以提高缺陷类别识别的准确性。
在本公开的一种具体实施方式中，所述步骤S52，还可以包括步骤S521、步骤S522、步骤S523和步骤S524。
步骤S521、获取两张没有缺陷的板卡的三维图像和差异阈值；
步骤S522、根据所述所述缺陷所在的位置信息对所述没有缺陷的板卡的三维图像进行截取，得到截取后的三维图像，截取的位置与所述缺陷所在的位置相同；
步骤S523、分别计算每张所述截取后的三维图像的灰度值，得到第一结果和第二结果；计算所述缺陷所在的位置的三维图像的灰度值，得到第三结果；
步骤S524、计算所述第一结果与所述第三结果的之间的第一差值，计算所述第一结果与所述第二结果的之间的第二差值，若所述第一差值与所述第二差值之间的差值大于所述阈值，则所述缺陷属于真缺陷。
在本实施例中，差异阈值可以由工作人员根据需求进行自定义，通过将缺陷所在位置的三维图像与没有缺陷的三维图像进行灰度值比较，可以识别出当前位置是否是真缺陷，避免因为一些因素导致的出现伪缺陷的情况，进而保证缺陷识别效率。
实施例2
如图2所示，本实施例提供了板卡缺陷类别识别装置，所述装置包括获取模块701、建立模块702、检测模块703、处理模块704和识别模块705。
获取模块701，用于获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
建立模块702，用于根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
检测模块703，用于根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
处理模块704，用于基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
识别模块705，用于基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
在本实施例中，通过利用第一图像集合对卷积神经网络模型进行训练即可得到异常检测模型，得到异常检测模型后即可识别出第一异常区域；在本实施例中，通过利用单层非下采样Shearlet变换方法可以得到缺陷所在区域的清晰三维图像，通过此种方法有利于提高最终识别出的缺陷类别的准确性。
在本公开的一种具体实施方式中，所述建立模块702，还包括第一获取单元7021、划分单元7022、计算单元7023和训练单元7024。
第一获取单元7021，用于获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
划分单元7022，用于对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
计算单元7023，用于根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
训练单元7024，用于基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
在本公开的一种具体实施方式中，所述处理模块704，还包括第二获取单元7041、变换单元7042、第一分割单元7043、第二分割单元7044和处理单元7045。
第二获取单元7041，用于获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
变换单元7042，用于对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
第一分割单元7043，用于利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像：
第二分割单元7044，用于基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
处理单元7045，用于基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
在本公开的一种具体实施方式中，所述第二分割单元7044，还包括抑制子单元70441、重构子单元70442和分割子单元70443。
抑制子单元70441，用于对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
重构子单元70442，用于基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
分割子单元70443，用于对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
在本公开的一种具体实施方式中，所述识别模块705，还包括定位单元7051和验证单元7052。
定位单元7051，用于采用显著活动轮廓模型对所述缺陷所在区域的三维图像进行定位检测，得到所述板卡上所述缺陷所在的位置信息，并提取所述缺陷所在的位置的三维图像；
验证单元7052，用于对提取得到的所述缺陷所在的位置的三维图像进行验证，验证其是否属于真缺陷，若属于所述真缺陷则利用缺陷分类模型对缺陷所在的位置的三维图像进行识别，得到所述缺陷的类别。
在本公开的一种具体实施方式中，所述验证单元7052，还包括获取子单元70521、截取子单元70522、第一计算子单元70523和第二计算子单元70524。
获取子单元70521，用于获取两张没有缺陷的板卡的三维图像和差异阈值；
截取子单元70522，用于根据所述所述缺陷所在的位置信息对所述没有缺陷的板卡的三维图像进行截取，得到截取后的三维图像，截取的位置与所述缺陷所在的位置相同；
第一计算子单元70523，用于分别计算每张所述截取后的三维图像的灰度值，得到第一结果和第二结果；计算所述缺陷所在的位置的三维图像的灰度值，得到第三结果；
第二计算子单元70524，用于计算所述第一结果与所述第三结果的之间的第一差值，计算所述第一结果与所述第二结果的之间的第二差值，若所述第一差值与所述第二差值之间的差值大于所述阈值，则所述缺陷属于真缺陷。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了板卡缺陷类别识别设备，下文描述的板卡缺陷类别识别设备与上文描述的板卡缺陷类别识别方法可相互对应参照。
图3是根据一示例性实施例示出的板卡缺陷类别识别设备800的框图。如图3所示，该板卡缺陷类别识别设备800可以包括：处理器801，存储器802。该板卡缺陷类别识别设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该板卡缺陷类别识别设备800的整体操作，以完成上述的板卡缺陷类别识别方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该板卡缺陷类别识别设备800的操作，这些数据例如可以包括用于在该板卡缺陷类别识别设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕,例如,可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该板卡缺陷类别识别设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该板卡缺陷类别识别设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的板卡缺陷类别识别方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的板卡缺陷类别识别方法。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该板卡缺陷类别识别设备800的处理器801执行以完成上述的板卡缺陷类别识别方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的板卡缺陷类别识别方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的板卡缺陷类别识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.板卡缺陷类别识别方法，其特征在于，包括：
获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
2.根据权利要求1所述的板卡缺陷类别识别方法，其特征在于，所述根据所述第一图像集合和卷积神经网络模型建立异常检测模型，包括：
获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
3.根据权利要求1所述的板卡缺陷类别识别方法，其特征在于，所述基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像，包括：
获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像；
基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
4.根据权利要求3所述的板卡缺陷类别识别方法，其特征在于，所述基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像，包括：
对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
5.板卡缺陷类别识别装置，其特征在于，包括：
获取模块，用于获取第一图像集合和待检测的板卡的三维图像，所述第一图像集合中包括至少一张具有缺陷的板卡的三维图像；
建立模块，用于根据所述第一图像集合和卷积神经网络模型建立异常检测模型；
检测模块，用于根据所述异常检测模型对所述待检测的板卡的三维图像进行检测，得到第一异常区域；
处理模块，用于基于单层非下采样Shearlet变换和所述第一异常区域，得到所述板卡上缺陷所在区域的三维图像；
识别模块，用于基于所述缺陷所在区域的三维图像和缺陷分类模型得到所述板卡上缺陷所属的缺陷类别。
6.根据权利要求5所述的板卡缺陷类别识别装置，其特征在于，所述建立模块，包括：
第一获取单元，用于获取第一数据，所述第一数据包括在对所述卷积神经网络模型训练的过程中的循环次数，在对所述卷积神经网络模型进行训练的过程中，进行一次前馈和反向传播为一个循环；
划分单元，用于对所述第一图像集合中的每张图像进行亮度修正处理和分辨率调整处理，得到第二图像集合，根据所述第二图像集合获取第二数据，所述第二数据包括在进行训练的过程中所述第二图像集合在每个训练循环内被处理的次数；
计算单元，用于根据所述第一数据、所述第二数据和所述第二图像集合中三维图像的个数得到迭代停止的条件；
训练单元，用于基于所述第一图像集合对所述卷积神经网络模型进行训练，当达到迭代停止的条件时停止训练，得到异常检测模型。
7.根据权利要求5所述的板卡缺陷类别识别装置，其特征在于，所述处理模块，包括：
第二获取单元，用于获取异常三维图像，所述异常三维图像为包含所述第一异常区域的三维图像；
变换单元，用于对所述异常三维图像进行单层非下采样Shearlet变换，得到低频图像集合和高频图像集合，所述低频图像集合包括一张低频图像，所述高频图像集合包括至少一张高频图像；
第一分割单元，用于利用脉冲耦合神经网络方法对所述低频图像进行分割，得到第一分割后的低频图像：
第二分割单元，用于基于所述第一分割后的低频图像和基于边缘的分割方法得到第二分割后的低频图像；
处理单元，用于基于所述第一分割后的低频图像和所述第二分割后的低频图像，得到所述板卡上缺陷所在区域的三维图像。
8.根据权利要求7所述的板卡缺陷类别识别装置，其特征在于，所述第二分割单元，包括：
抑制子单元，用于对所述第一分割后的低频图像进行背景抑制处理，得到背景抑制后的低频图像；
重构子单元，用于基于所述背景抑制后的低频图像、所述高频图像和逆非下采样Shearlet变换，得到高频特征图像；
分割子单元，用于对所述高频特征图像进行两次分割处理，其中，两次分割处理包括一次粗分割，粗分割后再利用基于边缘的分割方法进行第二次分割，得到第二分割后的低频图像。
9.板卡缺陷类别识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述板卡缺陷类别识别方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述板卡缺陷类别识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111616771.XA CN114240926B (zh) | 2021-12-28 | 2021-12-28 | 板卡缺陷类别识别方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111616771.XA CN114240926B (zh) | 2021-12-28 | 2021-12-28 | 板卡缺陷类别识别方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240926A true CN114240926A (zh) | 2022-03-25 |
| CN114240926B CN114240926B (zh) | 2022-12-13 |
Family
ID=80763608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111616771.XA Active CN114240926B (zh) | 2021-12-28 | 2021-12-28 | 板卡缺陷类别识别方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240926B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100110A (zh) * | 2022-05-20 | 2022-09-23 | 厦门微亚智能科技有限公司 | 一种偏光镜片缺陷检测方法、装置、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036495A (zh) * | 2014-05-22 | 2014-09-10 | 南京航空航天大学 | 一种焊接缺陷提取方法及焊接缺陷检测方法 |
| CN106093066A (zh) * | 2016-06-24 | 2016-11-09 | 安徽工业大学 | 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法 |
| CN108346141A (zh) * | 2018-01-11 | 2018-07-31 | 浙江理工大学 | 单边侧入光式导光板缺陷提取方法 |
| CN108827969A (zh) * | 2018-03-20 | 2018-11-16 | 中国科学院自动化研究所 | 金属零件表面缺陷检测与识别方法及装置 |
| CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN112164042A (zh) * | 2020-09-22 | 2021-01-01 | 华中科技大学 | 三维砂型打印铺砂过程中缺陷自动识别方法及系统 |
| CN113269769A (zh) * | 2021-06-08 | 2021-08-17 | 深圳市英视自动化科技有限公司 | 一种基于图像配准的缺陷检测方法、系统及设备 |
| CN113516661A (zh) * | 2021-09-15 | 2021-10-19 | 深圳新视智科技术有限公司 | 基于特征融合的缺陷检测方法及装置 |
-
2021
- 2021-12-28 CN CN202111616771.XA patent/CN114240926B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036495A (zh) * | 2014-05-22 | 2014-09-10 | 南京航空航天大学 | 一种焊接缺陷提取方法及焊接缺陷检测方法 |
| CN106093066A (zh) * | 2016-06-24 | 2016-11-09 | 安徽工业大学 | 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法 |
| CN108346141A (zh) * | 2018-01-11 | 2018-07-31 | 浙江理工大学 | 单边侧入光式导光板缺陷提取方法 |
| CN108827969A (zh) * | 2018-03-20 | 2018-11-16 | 中国科学院自动化研究所 | 金属零件表面缺陷检测与识别方法及装置 |
| CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN112164042A (zh) * | 2020-09-22 | 2021-01-01 | 华中科技大学 | 三维砂型打印铺砂过程中缺陷自动识别方法及系统 |
| CN113269769A (zh) * | 2021-06-08 | 2021-08-17 | 深圳市英视自动化科技有限公司 | 一种基于图像配准的缺陷检测方法、系统及设备 |
| CN113516661A (zh) * | 2021-09-15 | 2021-10-19 | 深圳新视智科技术有限公司 | 基于特征融合的缺陷检测方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| A. KUMAR, A. ALAVI ， R. CHELLAPPA: "KEPLER: Keypoint and Pose Estimation of Unconstrained Faces by Learning Efficient H-CNN Regressors", 《 IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION》 * |
| 姚晓辉，杨宏辉，李益青: "基于卷积神经网络的水声通信调制识别", 《无人系统技术》 * |
| 杨成立，殷鸣，向召伟，殷国富，范奎: "基于非下采样Shearlet变换的磁瓦表面缺陷检测", 《工程科学与技术》 * |
| 杨成立，殷鸣，蒋红海，向召伟，殷国富: "基于非下采样Shearlet变换的磁瓦表面裂纹检测", 《农业机械学报》 * |
| 橡皮人生: "了解基于视觉的缺陷检测的原理与方法", 《HTTPS://BLOG.CSDN.NET/QQ_40719550/ARTICLE/DETAILS/84030419》 * |
| 谢磊，王士同: "基于数据驱动的标签分布方法的面部表情分析", 《计算机科学与探索》 * |
| 赵建敏，李艳，李琦，芦建文: "基于卷积神经网络的马铃薯叶片病害识别系统", 《江苏农业科学》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100110A (zh) * | 2022-05-20 | 2022-09-23 | 厦门微亚智能科技有限公司 | 一种偏光镜片缺陷检测方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240926B (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472675B (zh) | 图像分类方法、图像分类装置、存储介质与电子设备 | |
| CN105825524B (zh) | 目标跟踪方法和装置 | |
| JP4727732B2 (ja) | 車両番号認識装置 | |
| CN111886599A (zh) | 用于文档认证的机器学习 | |
| US11694474B2 (en) | Interactive user authentication | |
| CN110363220B (zh) | 行为类别检测方法、装置、电子设备和计算机可读介质 | |
| CN109740609B (zh) | 一种轨距检测方法及装置 | |
| CN111626371A (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
| US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
| CN112183289A (zh) | 一种花屏检测方法、装置、设备及介质 | |
| CN111797820A (zh) | 一种视频数据处理方法、装置、电子设备及存储介质 | |
| CN114549993A (zh) | 实验中线段图像的评分方法、系统、设备及可读存储介质 | |
| CN114240926B (zh) | 板卡缺陷类别识别方法、装置、设备及可读存储介质 | |
| CN114445768A (zh) | 目标识别方法、装置、电子设备及存储介质 | |
| JP2009245314A (ja) | 時系列データの識別装置および動画像への人物メタ情報付与装置 | |
| US10755074B2 (en) | Latent fingerprint pattern estimation | |
| CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
| CN112560791B (zh) | 识别模型的训练方法、识别方法、装置及电子设备 | |
| KR20200048256A (ko) | 객체 정보 추출 장치 및 방법 | |
| JP2019215728A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2021111279A (ja) | ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置 | |
| CN110163032B (zh) | 一种人脸检测方法及装置 | |
| US11494704B2 (en) | Information processing method and information processing system | |
| CN111985423A (zh) | 活体检测方法、装置、设备及可读存储介质 | |
| CN114241471B (zh) | 视频文本识别方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |