CN109902584A - 一种口罩缺陷的识别方法、装置、设备及存储介质 - Google Patents
一种口罩缺陷的识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109902584A CN109902584A CN201910080138.XA CN201910080138A CN109902584A CN 109902584 A CN109902584 A CN 109902584A CN 201910080138 A CN201910080138 A CN 201910080138A CN 109902584 A CN109902584 A CN 109902584A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- layer
- submodel
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 3
- 238000000513 principal component analysis Methods 0.000 claims 2
- 238000003475 lamination Methods 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 28
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 8
- 230000015654 memory Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004745 nonwoven fabric Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009975 flexible effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明适用机器视觉图像检测与深度学习技术领域，提供了一种口罩缺陷的识别方法、装置、设备及存储介质，该方法包括：通过多特征融合卷积神经网络模型中的第一子模型对待进行口罩缺陷识别的口罩图像进行空间变换处理，得到第一口罩图像，通过多特征融合卷积神经网络模型中的第二子模型对该口罩图像进行降维处理，得到第二口罩图像，将第一子图像和第二子图像进行图像融合，得到第三口罩图像，采用Softmax函数对该第三口罩图像的图像特征进行分类预测，得到与口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。
Description
技术领域
本发明属于机器视觉图像检测与深度学习技术领域，尤其涉及一种口罩缺陷的识别方法、装置、设备及存储介质。
背景技术
随着经济水平的不断提高，工业生产的加快和城市汽车用量的增多，其排放的废气和尾气对环境造成严重污染，使得空气质量严重下降，雾霾也越来越严重，由此导致的呼吸道疾病病例增多、细菌病菌等感染几率变大，口罩的使用从之前的医用、工业应用等发展成为大众生活用品。目前，绝大多数口罩都是采用无纺布来生产的，无纺布口罩在生产过程中会产生耳带焊接不良、鼻条未安装、耳带鼻条长短不一、口罩重叠焊接在一起、口罩本体上染上了生产设备的黑点和油污等各种缺陷，这些缺陷可能导致口罩不能良好的固定在使用者脸上，有些甚至会影响到使用者的身体健康。
目前无纺布口罩表面的缺陷检测主要是人工目检和机器检测。人工目检由于需要检测人员长时间用眼，容易造成眼睛疲劳，检测费时费力，人工目检还容易受到检测人员主观因素的影响，导致经常出现误检、漏检等情况。随着机器视觉技术的不断进步，基于机器视觉的相关检测算法受到广泛的关注，机器检测主要通过图像处理的方法实现口罩缺陷的检测和识别，而传统的机器检测方法需要人为设定图像特征提取和识别的参数，需要操作者具有一定的专业知识背景，根据不同的口罩缺陷类型制定不同的检测方案，不具有灵活性。
发明内容
本发明的目的在于提供一种口罩缺陷的识别方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的口罩缺陷的识别方法，导致口罩缺陷识别不准确的问题。
一方面，本发明提供了一种口罩缺陷的识别方法，所述方法包括下述步骤：
当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；
通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；
通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；
将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；
采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。
另一方面，本发明提供了一种口罩缺陷的识别装置，所述装置包括：
口罩图像获取单元，用于当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；
空间变换处理单元，用于通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；
图像降维处理单元，用于通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；
图像融合单元，用于将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；以及
口罩缺陷识别单元，用于采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述口罩缺陷的识别方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述口罩缺陷的识别方法所述的步骤。
本发明根据接收到的口罩缺陷的识别请求获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型，通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像，通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像，将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像，采用Softmax函数对该第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。
附图说明
图1是本发明实施例一提供的口罩缺陷的识别方法的实现流程图；
图2是本发明实施例一提供的MFCNN模型对口罩图像的口罩缺陷识别过程的示意图；
图3是本发明实施例二提供的口罩缺陷的识别装置的结构示意图；
图4是本发明实施例三提供的口罩缺陷的识别装置的结构示意图；以及
图5是本发明实施例四提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的口罩缺陷的识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型。
本发明实施例适用于图像数据处理平台、系统及设备，例如，个人计算机、服务器。在获取待识别的口罩图像之后，将口罩图像输入到预先训练好的多特征融合卷积神经网络(Multiple-feature Fusion Convolutional Neural Network，MFCNN)模型中之前，优选地，对获取到的口罩图像进行预处理，将预处理后的该口罩图像输入到多特征融合卷积神经网络模型中，从而提高口罩图像中口罩缺陷特征的识别度。
在对获取到的口罩图像进行预处理时，优选地，通过感兴趣区域(Region OfInterest，ROI)提取方法将口罩图像中口罩边缘部分从口罩图像中裁剪掉，并将将裁剪后得到口罩图像缩放至256×256大小，从而进一步提高口罩图像中口罩缺陷特征的识别度。
在获取待识别的口罩图像之前，优选地，根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练，即当目标损失函数的值最小时，得到最优化的权重参数，形成最优化的MFCNN模型，从而提高MFCNN对口罩图像的口罩缺陷的识别准确度，其中，目标损失函数H(p,q)为x为口罩缺陷图像数据集中的口罩缺陷图像，n为口罩缺陷类型的数量，p(x)表示x期望输出的概率，q(x)表示x实际输出的概率，口罩缺陷图像数据集(Defective Mask Dataset，DMD)包括：正常口罩图像、脏污缺陷口罩图像、耳带缺陷口罩图像、以及重叠缺陷口罩图像，耳带缺陷口罩图像又包括耳带打结缺陷图像、双耳带缺陷图像、耳带脱落缺陷图像、以及耳带缺失缺陷图像。
在通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练之前，优选地，对口罩缺陷图像数据集进行预处理，通过预处理后的口罩缺陷图像数据集对MFCNN模型进行权值参数训练，从而提高口罩缺陷图像数据集中口罩图像的口罩缺陷特征的识别度。
在通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练之前，又一优选地，将训练MFCNN模型的超参数epoch大小设置为50，从而避免过拟合，将超参数mini-batch的大小设置为2的幂数，且范围是10-100，将学习率初始化的大小取值为0.1，从而在训练初期提高目标损失函数的收敛速度，之后每10个epoch后将学习率的大小降为原来的1/10，如0.01、0.001、0.0001等，从而避免训练后期目标损失函数在谷底来回震荡。
在步骤S102中，通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像。
在本发明实施例中，通过多特征融合卷积神经网络模型中的第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像。
在本发明实施例中，优选地，第一子模型包括14层巻积层，其中，第一子模型中的第13层巻积层和第14层巻积层之间连接一个空间变换网络(Spatial Transform Network，STN)，从而通过STN对经过卷积层处理后的口罩图像进行矫正，降低经过卷积层处理后的口罩图像中重要信息或特征丢失的概率。
第13层巻积层输出的口罩图像数据输入STN后，优选地，根据输入输出特征图坐标点的关系计算得到映射关系Tθ之后，再通过公式使用STN的采样器(sampler)根据输入特征图Unm c和Tθ得到输出特征图Vo c，从而对经过卷积层处理后的口罩图像进行矫正，降低经过卷积层处理后的口罩图像中重要信息或特征丢失的概率，其中，(xi,yi)为输入特征图Unm c的每个像素点坐标，(xo,yo)为输出特征图Vo c的每个像素点坐标，c表示图像通道，nm表示Unm c的坐标(n,m)，θ为通过STN中的参数预测网络(LocalisationNetwork)生成的仿射变换系数，Aθ为仿射变换系数矩阵，W和H分别为Unm c的宽度和高度。
在得到输出特征图Vo c之后，优选地，在MFCNN模型根据目标损失函数的值反向传播过程中，通过下述公式对Unm c、xi、yi、θ进行反向求导，
分别为反向传播中的求偏导数，从而提高MFCNN模型的训练效果。
优选地，第一子模型中的第10层巻积层和第11层巻积层之间连接一个特征融合操作，特征融合操作的输入数据为第10层巻积层的输出数据和输入到第一子模型的原始数据，即输入到特征融合操作的数据有2个，一个为第10层巻积层的输出数据，一个为原始数据，从而解决深度网络的退化现象。
又一优选地，第一子模型中的第1层至第10层巻积层每层由卷积操作(Conv)、自适配归一化(Switchable Normalization，SN)、以及高斯误差线性单元(Gaussian ErrorLinear Unit，GELU)激活函数组成，从而通过SN在小批量图像处理时，提高口罩图像的识别率，同时提高多特征融合卷积神经网络模型训练过程中的收敛速度，通过GELU激活函数使得多特征融合卷积神经网络模型收敛速度快且准确，第11层至第13层巻积层每层由卷积操作(Conv)和修正线性单元(Rectified Linear Unit，ReLU)激活函数组成，从而通过ReLU激活函数进一步提高多特征融合卷积神经网络模型训练过程中的收敛速度，第14层巻积层由卷积操作(Conv)和Tanh激活函数组成，从而通过Tanh激活函数的输出均值为0的特性，提高了多特征融合卷积神经网络模型的训练效果。
优选地，SN的计算公式为从而通过SN在小批量图像处理时，提高口罩图像的识别率，同时提高多特征融合卷积神经网络模型训练过程中的收敛速度，其中，xncwh表示第n个口罩样本、通道为c、宽度高度为(w,h)的口罩图像数据，经过SN算法的归一化处理之后，输出像素数据为γ为缩放系数，且β为偏移系数，且β＝∑k∈Ωwkuk，ε为超参数，集合Ω＝{bn,in,ln}，bn,in,ln分别表示批归一化(Batch Normalization，BN)，实例归一化(Instance Normalization，IN)和层归一化(LayerNormalization，LN)方法，uk表示通过第k种归一化方法计算得到的均值，σk 2表示通过第k种归一化方法得到的方差，IN、LN、BN对应的均值和方差分别通过公式
计算得到，N表示样本总数，n表示第
n个样本，C表示口罩图像的颜色通道总数，c表示口罩图像的第c个颜色通道，一般地，灰色图像通道数1，彩色图像通道数为3，w表示图像的宽度，h表示图像的高度，wk和w′k分别为uk和σk 2对应的权重系数，令参数λk、参数λm的初始化值为1，在MFCNN模型训练的反向传播中λk、λm的值可被优化学习。
优选地，第一子模型所有卷积层中的所有卷积操作(Conv)的卷积核大小都为3×3，从而有效减少多特征融合卷积神经网络模型的参数，避免过拟合。
在步骤S103中，通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像。
在本发明实施例中，优选地，第二子模型包括5层巻积层，每层巻积层由卷积操作(Conv)、自适配归一化SN、以及ReLU激活函数组成，且在第一层巻积层之前连接一个主成分分析(Principal components analysis，PCA)处理层，即输入到第二子模型的口罩图像先经过PCA处理之后，再输入到卷积层，从而通过PCA对口罩图像数据进行降维，减少口罩图像中冗余信息，使用相对较少的变量来描述口罩图像中最主要的特征，提高口罩图像的口罩缺陷识别速度。
在本发明实施例中，优选地，通过下述步骤实现通过PCA处理层对口罩图像的降维处理：
(1)对原始输入的口罩图像矩阵数据X的每一行进行零均值化；
(2)求出协方差矩阵其中a为X的行数，XT为X的转置；
(3)求出协方差矩阵C的特征值以及对应的特征向量；
(4)将特征向量按其对应特征值的大小从上往下排列成矩阵，取前k行组成矩阵A；
(5)则k维矩阵为Y＝AX，Y即为原始输入的口罩图像对应的低维度矩阵数据。
从而通过上述步骤(1)-(5)实现对口罩图像的降维处理。
优选地，第二子模型所有卷积层中的所有卷积操作(Conv)的卷积核大小都为3×3，从而有效减少多特征融合卷积神经网络模型的参数，避免过拟合。
作为示例地，一张口罩图片大小为256×256，那么口罩图片就有256×256＝65536个像素，将65536个像素用向量表示，就有了65536个维度，通过第二子模型的PCA处理层提取口罩图片的100个主成分，让口罩图片的65536个维度降维至100个维度，那么这100个维度就包含了口罩图片的绝大部分信息，且可以大致表示这幅口罩图片。
在步骤S104中，将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像。
在本发明实施例中，通过多特征融合卷积神经网络模型中的cat操作将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像。
在步骤S105中，采用Softmax函数对第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别。
在本发明实施例中，Softmax函数是卷积神经网络用于分类的函数，采用Softmax函数根据预设口罩缺陷类型将图像融合后得到的该第三口罩图像的图像特征映射到(0，1)区间内，得到与口罩缺陷类型对应的各分类概率，再根据与口罩缺陷类型对应的分类概率的高低对口罩图像的口罩缺陷进行识别，以确定口罩图像对应的缺陷类型，其中，口罩缺陷类型包括：无缺陷、脏污缺陷、耳带缺陷、以及重叠缺陷类型，耳带缺陷又包括：耳带打结缺陷、双耳带缺陷、耳带脱落缺陷、以及耳带缺失缺陷类型。
作为示例地，图2示出了MFCNN模型对口罩图像的口罩缺陷识别过程的示意图，原始口罩图像经过MFCNN模型处理后，MFCNN模型预测原始输入图像为耳带打结缺陷图像、双耳带缺陷图像、耳带脱落缺陷图像、耳带缺失缺陷图像的概率为70％、20％、5％、5％，因此，MFCNN模型对原始输入的口罩图像的最终预测结果为耳带打结缺陷图像。
在本发明实施例中，通过MFCNN模型中的第一子模型对待进行口罩缺陷识别的口罩图像进行空间变换处理，得到第一口罩图像，通过MFCNN模型中的第二子模型对该口罩图像进行降维处理，得到第二口罩图像，将第一子图像和第二子图像进行图像融合，得到第三口罩图像，采用Softmax函数对图像融合后得到的该第三口罩图像的图像特征进行分类预测，得到与口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度和灵活性。
实施例二：
图3示出了本发明实施例二提供的口罩缺陷的识别装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
口罩图像获取单元31，用于当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型；
空间变换处理单元32，用于通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像；
图像降维处理单元33，用于通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像；
图像融合单元34，用于将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像；以及
口罩缺陷识别单元35，用于采用Softmax函数对第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别。
在本发明实施例中，口罩缺陷的识别装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
实施例三：
图4示出了本发明实施例三提供的口罩缺陷的识别装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
模型训练单元41，用于根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对多特征融合卷积神经网络模型进行权重参数训练，其中，目标损失函数H(p,q)为x为口罩缺陷图像数据集中的口罩缺陷图像，n为口罩缺陷类型的数量，p(x)表示x期望输出的概率，q(x)表示x实际输出的概率；
口罩图像获取单元42，用于当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型；
空间变换处理单元43，用于通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像；
图像降维处理单元44，用于通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像；
图像融合单元45，用于将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像；以及
口罩缺陷识别单元46，用于采用Softmax函数对第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别。
在本发明实施例中，口罩缺陷的识别装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
实施例四：
图5示出了本发明实施例四提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述口罩缺陷的识别方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。
在本发明实施例中，根据接收到的口罩缺陷的识别请求获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型，通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像，通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像，将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像，采用Softmax函数对图像融合后得到的该第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。
本发明实施例的计算设备可以为个人计算机、服务器。该计算设备5中处理器50执行计算机程序52时实现口罩缺陷的识别方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述口罩缺陷的识别方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。
在本发明实施例中，根据接收到的口罩缺陷的识别请求获取待识别的口罩图像，并将口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，多特征融合卷积神经网络模型包括第一子模型、第二子模型，通过第一子模型对口罩图像进行空间变换处理，得到对应的第一口罩图像，通过第二子模型对口罩图像进行降维处理，得到对应的第二口罩图像，将第一子图像和第二子图像进行图像融合，得到对应的第三口罩图像，采用Softmax函数对图像融合后得到的该第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据该分类概率对口罩图像的口罩缺陷进行识别，从而通过多特征融合卷积神经网络模型提高口罩缺陷特征的区分度，以及提高了对不同口罩缺陷类型识别的精确度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种口罩缺陷的识别方法，其特征在于，所述方法包括下述步骤：
当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；
通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；
通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；
将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；
采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。
2.如权利要求1所述的方法，其特征在于，所述第一子模型包括14层巻积层，其中，所述第一子模型中的第13层巻积层和第14层巻积层之间连接一个空间变换网络，所述第一子模型中的第10层巻积层和第11层巻积层之间连接一个特征融合操作，所述特征融合操作的输入数据为所述第10层巻积层的输出数据和输入到所述第一子模型的原始数据。
3.如权利要求2所述的方法，其特征在于，所述第一子模型中的第1层至第10层巻积层每层由卷积操作、自适配归一化、以及高斯误差线性单元激活函数组成，第11层至第13层巻积层每层由卷积操作和修正线性单元激活函数组成，第14层巻积层由卷积操作和Tanh激活函数组成。
4.如权利要求1所述的方法，其特征在于，所述第二子模型包括5层巻积层，每层巻积层由卷积操作、自适配归一化、以及修正线性单元激活函数组成，且在第一层巻积层之前连接一个主成分分析处理层。
5.如权利要求1所述的方法，其特征在于，在获取待识别的口罩图像的步骤之前，所述方法包括：
根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对所述多特征融合卷积神经网络模型进行权重参数训练，其中，所述目标损失函数H(p,q)为x为所述口罩缺陷图像数据集中的口罩缺陷图像，n为所述口罩缺陷类型的数量，p(x)表示所述x期望输出的概率，q(x)表示所述x实际输出的概率。
6.一种口罩缺陷的识别装置，其特征在于，所述装置包括：
口罩图像获取单元，用于当接收到口罩缺陷的识别请求时，获取待识别的口罩图像，并将所述口罩图像输入到预先训练好的多特征融合卷积神经网络模型中，所述多特征融合卷积神经网络模型包括第一子模型、第二子模型；
空间变换处理单元，用于通过所述第一子模型对所述口罩图像进行空间变换处理，得到对应的第一口罩图像；
图像降维处理单元，用于通过所述第二子模型对所述口罩图像进行降维处理，得到对应的第二口罩图像；
图像融合单元，用于将所述第一子图像和所述第二子图像进行图像融合，得到对应的第三口罩图像；以及
口罩缺陷识别单元，用于采用Softmax函数对所述第三口罩图像的图像特征进行分类预测，得到与预设口罩缺陷类型对应的各分类概率，根据所述分类概率对所述口罩图像的口罩缺陷进行识别。
7.如权利要求6所述的装置，其特征在于，所述第一子模型包括14层巻积层，其中，所述第一子模型中的第13层巻积层和第14层巻积层之间连接一个空间变换网络，所述第一子模型中的第10层巻积层和第11层巻积层之间连接一个特征融合操作，所述特征融合操作的输入数据为所述第10层巻积层的输出数据和输入到所述第一子模型的原始数据。
8.如权利要求6所述的装置，其特征在于，所述第二子模型包括5层巻积层，每层巻积层由卷积操作、自适配归一化、以及修正线性单元激活函数组成，且在第一层巻积层之前连接一个主成分分析处理层。
9.如权利要求6所述的装置，其特征在于，所述装置还包括：
模型训练单元，用于根据预先构建的口罩缺陷图像数据集，通过最小化预设的目标损失函数对所述多特征融合卷积神经网络模型进行权重参数训练，其中，所述目标损失函数H(p,q)为x为所述口罩缺陷图像数据集中的口罩缺陷图像，n为所述口罩缺陷类型的数量，p(x)表示所述x期望输出的概率，q(x)表示所述x实际输出的概率。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910080138.XA CN109902584B (zh) | 2019-01-28 | 2019-01-28 | 一种口罩缺陷的识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910080138.XA CN109902584B (zh) | 2019-01-28 | 2019-01-28 | 一种口罩缺陷的识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109902584A true CN109902584A (zh) | 2019-06-18 |
| CN109902584B CN109902584B (zh) | 2022-02-22 |
Family
ID=66944361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910080138.XA Expired - Fee Related CN109902584B (zh) | 2019-01-28 | 2019-01-28 | 一种口罩缺陷的识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109902584B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659665A (zh) * | 2019-08-02 | 2020-01-07 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111062429A (zh) * | 2019-12-12 | 2020-04-24 | 上海点泽智能科技有限公司 | 基于深度学习的厨师帽和口罩佩戴的检测方法 |
| CN111369551A (zh) * | 2020-03-12 | 2020-07-03 | 广东利元亨智能装备股份有限公司 | 口罩耳带焊接检测方法 |
| CN111400040A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 基于深度学习和边缘计算的工业互联网系统及工作方法 |
| CN111428604A (zh) * | 2020-03-19 | 2020-07-17 | 上海东普信息科技有限公司 | 面部佩戴口罩识别方法、装置、设备及存储介质 |
| CN111602912A (zh) * | 2020-05-30 | 2020-09-01 | 湖北羽林防护用品有限公司 | 一种口罩机以及用于口罩机的控制系统 |
| CN111710009A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 人流密度的生成方法、装置、电子设备以及存储介质 |
| CN111768404A (zh) * | 2020-07-08 | 2020-10-13 | 北京滴普科技有限公司 | 口罩外观缺陷检测系统、方法、装置以及存储介质 |
| CN112200251A (zh) * | 2020-10-15 | 2021-01-08 | 重庆科技学院 | 一种基于多尺度卷积神经网络的监测系统数据评估方法 |
| CN116092166A (zh) * | 2023-03-06 | 2023-05-09 | 深圳市慧为智能科技股份有限公司 | 口罩人脸识别方法、装置、计算机设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874889A (zh) * | 2017-03-14 | 2017-06-20 | 西安电子科技大学 | 基于卷积神经网络的多特征融合sar目标鉴别方法 |
| CN107014822A (zh) * | 2017-02-28 | 2017-08-04 | 深圳市维图视技术有限公司 | 一种无纺布口罩缺陷视觉检测系统及方法 |
| CN107122796A (zh) * | 2017-04-01 | 2017-09-01 | 中国科学院空间应用工程与技术中心 | 一种基于多分支网络融合模型的光学遥感图像分类方法 |
| CN107784282A (zh) * | 2017-10-24 | 2018-03-09 | 北京旷视科技有限公司 | 对象属性的识别方法、装置及系统 |
| US20180075594A1 (en) * | 2016-09-14 | 2018-03-15 | Kla-Tencor Corporation | Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion |
| CN108596892A (zh) * | 2018-04-23 | 2018-09-28 | 西安交通大学 | 一种基于改进LeNet-5模型的焊缝缺陷识别方法 |
| CN108830296A (zh) * | 2018-05-18 | 2018-11-16 | 河海大学 | 一种改进的基于深度学习的高分遥感影像分类方法 |
| CN108985217A (zh) * | 2018-07-10 | 2018-12-11 | 常州大学 | 一种基于深度空间网络的交通标志识别方法及系统 |
| CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
-
2019
- 2019-01-28 CN CN201910080138.XA patent/CN109902584B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075594A1 (en) * | 2016-09-14 | 2018-03-15 | Kla-Tencor Corporation | Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion |
| CN107014822A (zh) * | 2017-02-28 | 2017-08-04 | 深圳市维图视技术有限公司 | 一种无纺布口罩缺陷视觉检测系统及方法 |
| CN106874889A (zh) * | 2017-03-14 | 2017-06-20 | 西安电子科技大学 | 基于卷积神经网络的多特征融合sar目标鉴别方法 |
| CN107122796A (zh) * | 2017-04-01 | 2017-09-01 | 中国科学院空间应用工程与技术中心 | 一种基于多分支网络融合模型的光学遥感图像分类方法 |
| CN107784282A (zh) * | 2017-10-24 | 2018-03-09 | 北京旷视科技有限公司 | 对象属性的识别方法、装置及系统 |
| CN108596892A (zh) * | 2018-04-23 | 2018-09-28 | 西安交通大学 | 一种基于改进LeNet-5模型的焊缝缺陷识别方法 |
| CN108830296A (zh) * | 2018-05-18 | 2018-11-16 | 河海大学 | 一种改进的基于深度学习的高分遥感影像分类方法 |
| CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
| CN108985217A (zh) * | 2018-07-10 | 2018-12-11 | 常州大学 | 一种基于深度空间网络的交通标志识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SIMONYAN K 等: "Very Deep Convolutional Networks for Large-Scale Image Recognition", 《COMPUTER SCIENCE》 * |
| 李腾飞 等: "基于迭代深度学习的缺陷检测", 《计算机与数字工程》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659665A (zh) * | 2019-08-02 | 2020-01-07 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN110659665B (zh) * | 2019-08-02 | 2023-09-29 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111008961B (zh) * | 2019-11-25 | 2021-10-19 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111062429A (zh) * | 2019-12-12 | 2020-04-24 | 上海点泽智能科技有限公司 | 基于深度学习的厨师帽和口罩佩戴的检测方法 |
| CN111369551A (zh) * | 2020-03-12 | 2020-07-03 | 广东利元亨智能装备股份有限公司 | 口罩耳带焊接检测方法 |
| CN111400040A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 基于深度学习和边缘计算的工业互联网系统及工作方法 |
| CN111369551B (zh) * | 2020-03-12 | 2021-09-14 | 广东利元亨智能装备股份有限公司 | 耳带朝外的口罩耳带焊接检测方法 |
| CN111428604B (zh) * | 2020-03-19 | 2023-06-13 | 上海东普信息科技有限公司 | 面部佩戴口罩识别方法、装置、设备及存储介质 |
| CN111428604A (zh) * | 2020-03-19 | 2020-07-17 | 上海东普信息科技有限公司 | 面部佩戴口罩识别方法、装置、设备及存储介质 |
| CN111710009A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 人流密度的生成方法、装置、电子设备以及存储介质 |
| CN111602912A (zh) * | 2020-05-30 | 2020-09-01 | 湖北羽林防护用品有限公司 | 一种口罩机以及用于口罩机的控制系统 |
| CN111768404A (zh) * | 2020-07-08 | 2020-10-13 | 北京滴普科技有限公司 | 口罩外观缺陷检测系统、方法、装置以及存储介质 |
| CN112200251A (zh) * | 2020-10-15 | 2021-01-08 | 重庆科技学院 | 一种基于多尺度卷积神经网络的监测系统数据评估方法 |
| CN116092166A (zh) * | 2023-03-06 | 2023-05-09 | 深圳市慧为智能科技股份有限公司 | 口罩人脸识别方法、装置、计算机设备及存储介质 |
| CN116092166B (zh) * | 2023-03-06 | 2023-06-20 | 深圳市慧为智能科技股份有限公司 | 口罩人脸识别方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109902584B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902584A (zh) | 一种口罩缺陷的识别方法、装置、设备及存储介质 | |
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN112926410B (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
| CN111882579A (zh) | 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN109522855A (zh) | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 | |
| CN110634116B (zh) | 一种面部图像评分方法及摄像机 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN114842238B (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| JP2022018066A (ja) | 畳み込み知覚ハッシュアルゴリズムに基づくループ検出方法 | |
| CN104182723B (zh) | 一种视线估计的方法和装置 | |
| CN112163530B (zh) | 基于特征增强和样本选择的ssd小目标检测方法 | |
| EP3671635B1 (en) | Curvilinear object segmentation with noise priors | |
| CN112307984A (zh) | 基于神经网络的安全帽检测方法和装置 | |
| CN117557840A (zh) | 一种基于小样本学习的眼底病变分级方法 | |
| CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质 | |
| CN112132137A (zh) | 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法 | |
| CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
| CN114067159A (zh) | 一种基于eus的粘膜下肿瘤细粒度分类方法 | |
| CN115546828A (zh) | 一种复杂牛场环境牛脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220222 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |