CN112598646A - 电容缺陷检测方法、装置、电子设备及存储介质 - Google Patents
电容缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112598646A CN112598646A CN202011544534.2A CN202011544534A CN112598646A CN 112598646 A CN112598646 A CN 112598646A CN 202011544534 A CN202011544534 A CN 202011544534A CN 112598646 A CN112598646 A CN 112598646A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- detected
- defect detection
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 139
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 238000003860 storage Methods 0.000 title claims description 9
- 238000000605 extraction Methods 0.000 claims abstract description 67
- 239000003990 capacitor Substances 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 238000001914 filtration Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公布了提供一种电容缺陷检测方法，包括：获取待检测图像，所述待检测图像包括待检测电容；将所述待检测图像进行随机切块，得到若干个图像块；将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。通过第一特征提取操作对待检测图像进行全局特征提取，和通过第二特征提取操作对图像块进行局部特征提取，可以从局部特征挖掘出电容缺陷的信息表征，从而提高了电容缺陷的检测准确度。
Description
技术领域
本发明涉及人工智能领域，更具体的说，是涉及一种电容缺陷检测方法、装置、电子设备及存储介质。
背景技术
随着我国工业的发展壮大，各行各业对电子元器件的需求也越来越大。电容作为使用最普遍的电子元器件之一，各大生产厂家面对其日益增长的市场需求，早已实现了电容规模化、批量化生产。但是对于电容器外观缺陷，生产厂家多采用人工检测，效率低下，出错率高，成本也日益增加。近年来，机器视觉技术日益成熟，在工业自动化方面发挥着举足轻重的作用。机器视觉技术可以应用在物品外观缺陷的检测中，能够模拟人眼进行外观缺陷检测，效率更高，准确性更加可靠，同时成本更低，有效提升生产效率。物品表面缺陷检测的方法多种多样，传统的基于机器视觉的表面缺陷检测方法已经得到广泛的研究和应用，但这些方法还是存在很多不足的地方。主要难点在于，不同的检测任务背景纹理各异，缺陷种类多且不规则，基于结构和模板匹配的方法难以应对复杂的背景；统计学方法和基于特征分类的方法很难设计出能够有效区分缺陷模式和正常模式的特征算子，而在电容器检测任务中，陷分割任务中可能存在与背景相近的微弱缺陷，由于电容器尺度偏小，缺电容器常常出现一些微弱缺陷，甚至微弱到人眼也难以辨认；另外有些微弱缺陷与正常区域缓慢过度，不存在明显的分界；这样，导致了缺陷分割任务准确率不高，进而影响电容缺陷检测的准确度。
申请内容
本发明的目的是针对上述现有技术存在的缺陷，提供一种电容缺陷检测方法，可以提高电容缺陷检测准确度。
本发明的目的是通过以下技术方案来实现的：
第一方面，提供一种电容缺陷检测方法，所述方法包括：
获取待检测图像，所述待检测图像包括待检测电容；
将所述待检测图像进行随机切块，得到若干个图像块；
将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
可选的，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，包括：
通过所述第一网络对所述待检测图像进行卷积操作，得到所述待检测图像在所述第一网络中不同深度时提取出的第一特征与第二特征，所述第一特征的提取深度小于所述通风管特征的提取深度。
可选的，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，还包括：
通过所述第二网络对所述图像块进行卷积操作，得到所述图像块对应的第三特征。
可选的，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，还包括：
通过所述解码网络对所述第一特征、第二特征与所述第三特征进行特征融合，得到待解码特征，并对所述待解码特征进行特征解码。
可选的，所述将所述第一特征、第二特征与所述第三特征进行特征融合，得到待解码特征，对所述待解码特征进行解码，还包括：
对所述第二特征进行第一上采样，得到与所述第一特征尺度相同的第一上采样特征，并将所述第一特征与所述第一上采样特征进行第一融合，得到第一融合特征；
对所述第一融合特征进行第二上采样，得到所述第三特征尺度相同的第二上采样特征，并将所述第三特征与所述第二上采样特征进行第二融合，得到第二融合特征作为待解码特征；
对所述待解码特征进行第三上采样，得到特征解码结果。
可选的，所述方法还包括：
在所述对所述第二特征进行第一上采样之前，对所述第二特征进行第一卷积；
在所述将所述第一特征与所述第一上采样特征进行第一融合之前，对所述第一特征进行第二卷积；
在所述将将所述第三特征与所述第二上采样特征进行第二融合之前，对所述第三特征进行第三卷积。
可选的，所述电容缺陷检测模型的训练，包括：
获取训练样本集以及待训练电容缺陷检测模型，所述训练样本集包括训练样本图像与对应的真实标签；
将训练样本图像进行随机切块，得到若干个样本图像块；
将所述训练样本图像输入与所述样本图像块输入到所述待训练电容缺陷检测模型中，并通过所述待训练电容缺陷检测模型中第二网络的损失函数进行误差反向传播，以调整所述待训练电容缺陷检测模型的模型参数。
第二方面，本发明实施例还提供一种电容缺陷检测装置，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像包括待检测电容；
处理模块，用于将所述待检测图像进行随机切块，得到若干个图像块；
检测模块，用于将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
第三方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的电容缺陷检测方法中的步骤。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的电容缺陷检测方法中的步骤。
本发明带来的有益效果：获取待检测图像，所述待检测图像包括待检测电容；将所述待检测图像进行随机切块，得到若干个图像块；将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。通过将待检测图像进行随机切块，得到若干个图像块，并通过第一特征提取操作对待检测图像进行全局特征提取，和通过第二特征提取操作对图像块进行局部特征提取，可以从局部特征挖掘出电容缺陷的信息表征，从而提高了电容缺陷的检测准确度。
附图说明
图1是本发明实施例提供的一种电容缺陷检测方法的流程示意图；
图2是本发明实施例提供的一种电容缺陷检测模型的结构示意图；
图3是本发明实施例提供的一种解码方法的流程图；
图4是本发明实施例提供的一种电容缺陷检测模型的训练方法的流程示意图；
图5是本发明实施例提供的一种电容缺陷检测装置的结构示意图；
图6为本发明实施例提供的一种检测模块的结构示意图；
图7为本发明实施例提供的另一种检测模块的结构示意图；
图8为本发明实施例提供的另一种电容缺陷检测装置的结构示意图。
具体实施方式
下面描述本发明的优选实施方式，本领域普通技术人员将能够根据下文所述用本领域的相关技术加以实现，并能更加明白本发明的创新之处和带来的益处。
本发明提供了一种电容缺陷检测方法。本发明的目的是通过以下技术方案来实现的：
请参见图1，图1是本发明实施例提供的一种电容缺陷检测方法的流程示意图，如图1所示，所述方法包括以下步骤：
101、获取待检测图像，待检测图像包括待检测电容。
其中，上述第一电容缺陷图像可以是通过相机采集到的电容缺陷图像，可以是工作人员通过相机进行采集，也可以工作人员通过无人机上的相机进行采集。
在本发明实施例中，由于电容的尺寸较小，且是在出厂前对电容的缺陷进行测，以保证电容产品的质量。因此，上述待检测图像可以是经工业相机采集的电筒原图。
可选的，本发明实施例中，上述待检测图像可以是对经工业相机采集的电筒原图进行预处理后的图像。经工业相机采集的电筒原图，一般会存在噪声，轻微的噪声会影响图像的对比度，严重的噪声会使待测对象的特征不明显。
进一步的，可以采用均值滤波算法，对上述电筒原图进行噪声抑制。噪声往往与图像信号糅合在一起，是图像去噪的难点，如果滤波器选择不合理，不仅起不到滤波的效果，反而使得图像质量更差，进而影响后续的图像分析。为了最大程度地对电筒原图进行去除噪声并保留图像细节，在本发明实施例中，优选采用均值滤波算法(均值滤波器)，有效抑制图像得噪声信号。均值滤波算法简单快捷，符合实时性检测的需求。在均值滤波算法中，用某一像素点的领域内几个像素灰度值的均值来替换该点的灰度，可形象的描述为将纸上的一个墨点用水冲淡。设原始图像为f(x,y)，取f(x,y)的每个像素点一个领域S，N表示领域S内的像素个数，具体可以通过下述式子进行表示：
用空间域卷积运算的方式来描述，把均值化处理看作是用一个M*N大小的均值滤波器对图像f(x,y)进行平滑，均值滤波器输出的图像g(x,y)可以表示为：
其中，k＝(m-1)/2，l＝(n-1)/2，根据所选领域大小来决定模板大小，一般将h(r,s)称为掩模(MASK)或模板。领域S的选择是影响均值滤波效果的重要因素，在本发明实施例中，可以选择4点领域，即与某一像素点的上下左右连接的4个像素点。
通过上述的预处理，可以得到上述待处理图像。
102、将待检测图像进行随机切块，得到若干个图像块。
在本发明实施例中，上述可以将待检测图像按预设大小进行随机切块，得到预设大小的图像块。在本发明实施例中，对待检测图像进行切块，可以获取待检测图像的局部特征，有效提升进行第二特征提取操作时感受野的多样性。
上述预设的大小可以根据待检测图像的分辨率进行确定，比如，上述图像块的分辨率可以是待检测图像的1/2、1/4等。
103、将待检测图像与图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果。
在本发明实施例中，上述预先训练好的电容缺陷检测模型包括用于对待检测图像进行第一特征提取操作的第一网络、用于对图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
进一步的，可以将待检测图像输入到第一网络中进行第一特征提取操作，将图像块输入到第二网络中进行第二特征提取操作，上述第一网络与第二网络为并行的两个网络，上述第一网络与第二网络均可以基于卷积神经网络进行构建的，更进五步，上述第一网络与第二网络均可以是基于残差神经网络进行构建的，通过在卷积过程中，加入残差，可以更好对特征进行提取。
在一种可能的实施例中，考虑到缺陷分割任务中的语义信息简单(指没有复杂前景信息和背景信息)，且训练样本量级小，本发明实施例中优选网络层数更少、更容易优化的ResNet-50作为第一网络的构建基础。因此，上述第一网络可以是基于ResNet-50残差神经网络进行构建的。具体的，另外，考虑到由于电容缺陷分割任务中缺陷的尺度一般偏小且相对固定，在第一网络中，可以去掉ResNet-50残差神经网络中有用于提取多尺度特征的金字塔池化结构。上述第二网络也可以是基于ResNet-50残差神经网络进行构建的。具体的，在本发明实施例中，第二网络通过ResNet-50中的第一个残差块结构进行构建，更具体的，分支网络由一个预设大小的卷积核和ResNet-50中的第一个残差块结构组成，比如，可以由一个7*7大小的卷积核和ResNet-50中的第一个残差快结构组成。
可选的，在本发明实施例中，可以通过第一网络对待检测图像进行第一特征提取操作，得到待检测图像在第一网络中不同深度时提取出的第一特征与第二特征，第一特征的提取深度小于第二特征的提取深度。
举例来说，上述第一网络是基于ResNet-50残差神经网络进行构建的，在第一网络中，上述第一特征的提取深度可以是第二个残差块的输出，上述第二特征的提取深度可以是最后一个残差块的输出。具体的，可以如图2所示，图2是本发明实施例提供的一种电容缺陷检测模型的结构示意图。在图2中，第一网络为主干网络，第二网络为分支网络。在主干网络中，待检测图像输入到主干网络的输入层后，进行一次滑动步长为2的7*7卷积操作，再进行一次池化步长为2的池化操作，得到特征图，残差的原理为，每次卷积操作的输出特征图作为下一次卷积操作的输入特征图，且与下一次卷积操作的输出特征图进行相加。在经过第一个残差块a后，可以得到第一特征，然后继续进行计算，直到最后一个残差块d输出第二特征。可以理解的是，第一特征为一个浅层特征，具有较多的局部信息，第二特征为一个深层特征，具有高级语义表征的特征。
可选的，在本发明实施例中，可以通过第二网络对所述图像块进行第二特征提取操作，得到图像块对应的第三特征。进一步的，如图2所示，图像块可以是经过一次滑动步长为1的7*7卷积操作得到初始特征，再经过残差块a进行残差计算，得到第三特征。可以看出，第一特征经过一次步长为2的卷积和一次步长为2的池化，使得第一特征的分辨率为待检测图像的1/4，而第三特征在待检测图像切块时，图像块的分辨率为待检测图像的1/2，在经过一次步长为1的卷积后，第三特征的分辨率为待检测图像的1/2，因此，第一特征分辨率尺度是第三特征分辨率尺度的1/2。第二特征分辨率尺度是第一特征分辨率尺度的1/4。
可选的，在本发明实施例中，可以通过解码网络对第一特征、第二特征与第三特征进行特征融合，得到待解码特征，并对待解码特征进行特征解码。
具体的，请参见图3，图3是本发明实施例提供的一种解码方法的流程图，如图3所示，包括以下步骤：
301、可以对第二特征进行第一上采样，得到与第一特征尺度相同的第一上采样特征，并将第一特征与第一上采样特征进行第一融合，得到第一融合特征。
在本发明实施例中，可以在对所述第二特征进行第一上采样之前，对第二特征进行第一卷积。上述第一卷积可以是通过一个1×1卷积核进行卷积。
302、对第一融合特征进行第二上采样，得到第三特征尺度相同的第二上采样特征，并将第三特征与第二上采样特征进行第二融合，得到第二融合特征作为待解码特征。
在本发明实施例中，可以在将所述第一特征与第一上采样特征进行第一融合之前，对第一特征进行第二卷积。上述第二卷积可以是通过一个3×3卷积核进行卷积。
303、对待解码特征进行第三上采样，得到特征解码结果。
在将第三特征与第二上采样特征进行第二融合之前，对第三特征进行第三卷积。上述第二卷积可以是通过一个3×3卷积核进行卷积。
在本发明实施例中，请结合图2进行理解，第二特征为第一特征经过两次步长为2的残差块得到，因此，第二特征为分辨率尺度为第一特征的1/4，在将第二特征进行第一卷积(1×1卷积)后，进行4倍上采样，得到的第一上采样特征，此时，第一上采样特征与第一特征的分辨率尺度相同。在将第一特征进行第二卷积(3×3卷积)后，进行第一特征与第一上采样特征进行第一融合，得到第一融合特征，上述融合为将第一特征与第一上采样特征进行连接。上述第一融合特征的分辨率尺度是第三特征分辨率尺度的1/2，因此，第二上采样可以对第一融合特征进行2倍上采样，得到第二上采样特征，第二上采样特征与第三特征具有相同的分辨率尺度，且第三特征具有与图像块相同的分辨率尺度。在将第一特征进行第二卷积(3×3卷积)后，对第二上采样特征与第三特征进行第二融合，得到第二融合特征，第二融合特征与图像块具有相同的分辨率尺度，上述第二融合特征的分辨率尺度为原图的1/2，上述第二融合特征可以作为待解码特征，对该待解码特征再进行一次2倍上采样，则解码出该待解码特征的特征解码结果。
在本发明实施例中，获取待检测图像，所述待检测图像包括待检测电容；将所述待检测图像进行随机切块，得到若干个图像块；将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。通过将待检测图像进行随机切块，得到若干个图像块，并通过第一特征提取操作对待检测图像进行全局特征提取，和通过第二特征提取操作对图像块进行局部特征提取，可以从局部特征挖掘出电容缺陷的信息表征，从而提高了电容缺陷的检测准确度。
可选的，请参见图4，图4是本发明实施例提供的一种电容缺陷检测模型的训练方法的流程示意图，如图4所示，所述方法包括以下步骤：
401、获取训练样本集以及待训练电容缺陷检测模型。
在本发明实施例中，上述训练样本集包括训练样本图像与对应的真实标签。
402、将训练样本图像进行随机切块，得到若干个样本图像块。
在本发明实施例中，可以将训练样本图像按预设大小进行随机切块，上述预设大小根据训练样本图像进行确定，比如按训练样本图像分辨率的1/2进行随机切块。
403、将训练样本图像输入与样本图像块输入到待训练电容缺陷检测模型中，并通过待训练电容缺陷检测模型中第二网络的损失函数进行误差反向传播，以调整待训练电容缺陷检测模型的模型参数。
在本发明实施例中，上述待训练电容缺陷检测模型中包括第一网络、第二网络、解码网络。训练样本图像输入到第一网络，样本图像块输入到第二网络，并通过解码网络进行解码得到样本检测结果，该样本检测结果。通过样本检测结果与真实标签的误差损失，将误差进行反向传播，从而根据梯度下降法调整待训练电容缺陷检测模型的模型参数，直到误差损失最小。
可选的，在一种可能的实施例中，训练过程中，可以仅计算样本图像块，即第二网络的损失函数来进行反向传播。这样，可以加快模型的训练速度。
通过对训练样本图像和待检测图像进行随机切块，第一，可以迫使分支网络专注于局部特征(第二特征)的学习。由于输入为局部图像(图像块)，分支网络无法获取全局信息，只能从局部挖掘与缺陷问题相关的表征。解码网络进而通过融合主干网络(第一网络)提供的全局信息(第一特征与第二特征)和分支网络(第二网络)提取的分支信息(第三特征)综合判断缺陷位置和类别。第二，可以通过随机切块的方法增加网络的随机性，提高网络的泛化能力，在缺乏缺陷训练样本的情况下，在训练中加入分块策略相当于隐性地对样本进行了扩增，从而减小模型过拟合。第三，可以减小训练过程中分支网络的计算量，提高训练效率，由于分支网络(第二网络)保留了较大的图像分辨率，由于分支网络(第二网络)中残差模块的计算量是主干网络中残差块的四倍，采取分块策略，可以有效降低分支网络计算量，从而提高训练和推理效率。
请参见图5，图5是本发明实施例提供的一种电容缺陷检测装置的结构示意图，如图5所示，所述装置包括：
获取模块501，用于获取待检测图像，所述待检测图像包括待检测电容；
处理模块502，用于将所述待检测图像进行随机切块，得到若干个图像块；
检测模块503，用于将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
可选的，所述检测模块503还用于通过所述第一网络对所述待检测图像进行卷积操作，得到所述待检测图像在所述第一网络中不同深度时提取出的第一特征与第二特征，所述第一特征的提取深度小于所述通风管特征的提取深度。
可选的，所述检测模块503还用于通过所述第二网络对所述图像块进行卷积操作，得到所述图像块对应的第三特征。
可选的，所述检测模块503还用于通过所述解码网络对所述第一特征、第二特征与所述第三特征进行特征融合，得到待解码特征，并对所述待解码特征进行特征解码。
可选的，如图6所示，所述检测模块503，包括：
第一解码单元5031，用于对所述第二特征进行第一上采样，得到与所述第一特征尺度相同的第一上采样特征，并将所述第一特征与所述第一上采样特征进行第一融合，得到第一融合特征；
第二解码单元5032，用于对所述第一融合特征进行第二上采样，得到所述第三特征尺度相同的第二上采样特征，并将所述第三特征与所述第二上采样特征进行第二融合，得到第二融合特征作为待解码特征；
第三解码单元5033，用于对所述待解码特征进行第三上采样，得到特征解码结果。
可选的，如图7所示，所述检测模块503还包括：
第一传输单元5034，用于在所述对所述第二特征进行第一上采样之前，对所述第二特征进行第一卷积；
第二传输单元5035，用于在所述将所述第一特征与所述第一上采样特征进行第一融合之前，对所述第一特征进行第二卷积；
第三传输单元5036，用于在所述将将所述第三特征与所述第二上采样特征进行第二融合之前，对所述第三特征进行第三卷积。
可选的，如图8所示，所述装置还包括：
样本获取模块504，用于获取训练样本集以及待训练电容缺陷检测模型，所述训练样本集包括训练样本图像与对应的真实标签；
样本处理模块505，用于将训练样本图像进行随机切块，得到若干个样本图像块；
训练模块506，用于将所述训练样本图像输入与所述样本图像块输入到所述待训练电容缺陷检测模型中，并通过所述待训练电容缺陷检测模型中第二网络的损失函数进行误差反向传播，以调整所述待训练电容缺陷检测模型的模型参数。
本发明实施例中，获取待检测图像，所述待检测图像包括待检测电容；将所述待检测图像进行随机切块，得到若干个图像块；将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。通过将待检测图像进行随机切块，得到若干个图像块，并通过第一特征提取操作对待检测图像进行全局特征提取，和通过第二特征提取操作对图像块进行局部特征提取，可以从局部特征挖掘出电容缺陷的信息表征，从而提高了电容缺陷的检测准确度。
本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的电容缺陷检测方法中的步骤。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的电容缺陷检测方法中的步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的
另外，在本发明各个实施例中的处理器、芯片可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上硬件集成在一个单元中。计算机可读存储介质或计算机可读程序可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种电容缺陷检测方法，其特征在于，所述方法包括：
获取待检测图像，所述待检测图像包括待检测电容；
将所述待检测图像进行随机切块，得到若干个图像块；
将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
2.如权利要求1所述的电容缺陷检测方法，其特征在于，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，包括：
通过所述第一网络对所述待检测图像进行第一特征提取操作，得到所述待检测图像在所述第一网络中不同深度时提取出的第一特征与第二特征，所述第一特征的提取深度小于所述第二特征的提取深度。
3.如权利要求2所述的电容缺陷检测方法，其特征在于，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，还包括：
通过所述第二网络对所述图像块进行第二特征提取操作，得到所述图像块对应的第三特征。
4.如权利要求3所述的电容缺陷检测方法，其特征在于，所述将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，还包括：
通过所述解码网络对所述第一特征、第二特征与所述第三特征进行特征融合，得到待解码特征，并对所述待解码特征进行特征解码。
5.如权利要求4所述的电容缺陷检测方法，其特征在于，所述将所述第一特征、第二特征与所述第三特征进行特征融合，得到待解码特征，对所述待解码特征进行解码，还包括：
对所述第二特征进行第一上采样，得到与所述第一特征尺度相同的第一上采样特征，并将所述第一特征与所述第一上采样特征进行第一融合，得到第一融合特征；
对所述第一融合特征进行第二上采样，得到所述第三特征尺度相同的第二上采样特征，并将所述第三特征与所述第二上采样特征进行第二融合，得到第二融合特征作为待解码特征；
对所述待解码特征进行第三上采样，得到特征解码结果。
6.如权利要求5所述的电容缺陷检测方法，其特征在于，所述方法还包括：
在所述对所述第二特征进行第一上采样之前，对所述第二特征进行第一卷积；
在所述将所述第一特征与所述第一上采样特征进行第一融合之前，对所述第一特征进行第二卷积；
在所述将所述第三特征与所述第二上采样特征进行第二融合之前，对所述第三特征进行第三卷积。
7.如权利要求1至6中任一所述的电容缺陷检测方法，其特征在于，所述电容缺陷检测模型的训练，包括：
获取训练样本集以及待训练电容缺陷检测模型，所述训练样本集包括训练样本图像与对应的真实标签；
将训练样本图像进行随机切块，得到若干个样本图像块；
将所述训练样本图像输入与所述样本图像块输入到所述待训练电容缺陷检测模型中，并通过所述待训练电容缺陷检测模型中第二网络的损失函数进行误差反向传播，以调整所述待训练电容缺陷检测模型的模型参数。
8.一种电容缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像包括待检测电容；
处理模块，用于将所述待检测图像进行随机切块，得到若干个图像块；
检测模块，用于将所述待检测图像与所述图像块输入预先训练好的电容缺陷检测模型中进行缺陷进行特征提取和特征解码，得到电容缺陷检测结果，所述预先训练好的电容缺陷检测模型包括用于对所述待检测图像进行第一特征提取操作的第一网络、用于对所述图像块进行第二特征提取操作的第二网络以及用于特征解码的解码网络。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的电容缺陷检测方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的电容缺陷检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011544534.2A CN112598646A (zh) | 2020-12-23 | 2020-12-23 | 电容缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011544534.2A CN112598646A (zh) | 2020-12-23 | 2020-12-23 | 电容缺陷检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598646A true CN112598646A (zh) | 2021-04-02 |
Family
ID=75200654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011544534.2A Pending CN112598646A (zh) | 2020-12-23 | 2020-12-23 | 电容缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598646A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN112001903A (zh) * | 2020-08-21 | 2020-11-27 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络构建方法、异常检测方法及系统、存储介质 |
| CN112037166A (zh) * | 2020-07-10 | 2020-12-04 | 武汉迈格驷友科技有限公司 | 一种表面缺陷检测方法及检测装置 |
-
2020
- 2020-12-23 CN CN202011544534.2A patent/CN112598646A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN112037166A (zh) * | 2020-07-10 | 2020-12-04 | 武汉迈格驷友科技有限公司 | 一种表面缺陷检测方法及检测装置 |
| CN112001903A (zh) * | 2020-08-21 | 2020-11-27 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络构建方法、异常检测方法及系统、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598287B (zh) | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN108009554A (zh) | 一种图像处理方法以及装置 | |
| CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
| CN110889837A (zh) | 一种具有瑕疵分级功能的布匹瑕疵检测方法 | |
| CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN112733929A (zh) | 一种改进Yolo水下图像小目标和遮挡目标的检测方法 | |
| CN110782385A (zh) | 一种基于深度学习的图像水印的去除方法 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
| CN113673396A (zh) | 一种孢子发芽率计算方法、装置及存储介质 | |
| CN113901945A (zh) | 一种基于Faster RCNN的海面溢油检测方法及系统 | |
| CN109859141B (zh) | 一种深立井井壁图像去噪方法 | |
| CN111368856A (zh) | 一种基于视觉的图书盘点系统的书脊提取方法及装置 | |
| CN104102911A (zh) | 一种基于aoi的子弹表观缺陷检测系统的图像处理算法 | |
| CN116630286A (zh) | 一种图像异常检测与定位的方法、装置、设备及存储介质 | |
| CN112598646A (zh) | 电容缺陷检测方法、装置、电子设备及存储介质 | |
| CN113487538B (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| CN115761451A (zh) | 花粉分类方法、装置、电子设备及存储介质 | |
| CN114387213A (zh) | 一种基于深度迁移学习的汽车钣金件表面缺陷检测方法 | |
| CN111968087A (zh) | 一种植物病害区域检测方法 | |
| CN111047550A (zh) | 一种基于机器视觉的产品异常检测方法、装置及设备 | |
| CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| CN116977334B (zh) | 一种光缆表面瑕疵检测方法及装置 | |
| CN114898148B (zh) | 一种基于深度学习的鸡蛋污损检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |