CN112132196A - 一种结合深度学习和图像处理的烟盒缺陷识别方法 - Google Patents
一种结合深度学习和图像处理的烟盒缺陷识别方法 Download PDFInfo
- Publication number
- CN112132196A CN112132196A CN202010962684.9A CN202010962684A CN112132196A CN 112132196 A CN112132196 A CN 112132196A CN 202010962684 A CN202010962684 A CN 202010962684A CN 112132196 A CN112132196 A CN 112132196A
- Authority
- CN
- China
- Prior art keywords
- image
- cigarette case
- defect
- thermodynamic diagram
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000019504 cigarettes Nutrition 0.000 title claims abstract description 129
- 230000007547 defect Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000009795 derivation Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 4
- 238000009776 industrial production Methods 0.000 abstract description 2
- 230000002950 deficient Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007647 flexography Methods 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007645 offset printing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合深度学习和图像处理的烟盒缺陷识别方法，该方法包括：获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像；根据样本图像训练神经网络模型，得到特征提取模型；将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图；根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽。通过使用本发明，能准确判断工业流水线上的烟盒是否存在缺陷并计算出烟盒中的缺陷区域范围和缺陷的具体大小。本发明作为一种结合深度学习和图像处理的烟盒缺陷识别方法，可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种结合深度学习和图像处理的烟盒缺陷识别方法。
背景技术
近年来，国内烟包印刷竞争日趋激烈，精美烟包产品层出不穷，烟包设计和印刷工艺越来越复杂，所用材料也越来越讲究，凹印、胶印、柔印、全息烫印、镭射铝箔纸等技术纷纷上阵，多种印刷技术组合的烟盒随处可见。随着印刷工艺的复杂化和多样化，对成品检验的要求也越来越高。各道工序出现烟盒缺陷(如污渍、刮痕、炸耳等)后，最终流入到最后检验工序，若全部由人工完成，工作量极大，且仅依靠人的视力检测很难保持持久和稳定，检测效率低、成本高、劳动强度大，容易产生疲劳和漏检现象，有缺陷的烟盒流入到烟厂或用户手中，将造成质量事故。
发明内容
为了解决上述技术问题，本发明的目的是提供一种结合深度学习和图像处理的烟盒缺陷识别方法，能准确判断工业流水线上的烟盒是否存在缺陷并计算出烟盒中的缺陷区域范围和缺陷的具体大小。
本发明所采用的第一技术方案是：一种结合深度学习和图像处理的烟盒缺陷识别方法，包括以下步骤：
获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像；
根据样本图像训练神经网络模型，得到特征提取模型；
将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图；
根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽。
进一步，所述获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像这一步骤，其具体包括：
获取原始图像并对原始图像进行预处理，得到分类后的预处理图像；
将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像。
进一步，所述对原始图像进行预处理具体为将原始图像大小调整为384x512并根据原始图像的真实缺陷情况对原始图像进行缺陷分类。
进一步，所述将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像这一步骤，其具体包括：
对分类后的预处理图像进行随机裁剪、左右翻转和随机旋转的操作，得到第一样本图像；
对分类后的预处理图像的缺陷区域进行粗截取，得到各种类型不同角度的缺陷贴图；
将缺陷贴图进行缩放和旋转操作后融合到原始图像中，得到第二样本图像；
结合第一样本图像、第二样本图像和原始图像，得到多个样本图像和烟盒图像。
进一步，所述训练神经网络模型具体为基于resnet18神经网络结构模型进行训练并使用交叉熵损失函数、三元组损失函数进行训练。
进一步，将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图这一步骤，其具体包括：
将烟盒图像输入到特征提取模型，对烟盒图像进行推断并提取得到特征图；
对特征提取模型中最后一个卷积层的数据进行求导得到梯度，并将梯度的均值作为特征图的权重；
将特征图乘以对应权重得到带权重的特征图并对带权重的特征图求平方和，归一化处理得到热力图。
进一步，所述归一化处理得到热力图还包括将热力图缩放到原始图像尺寸大小后再与原始图像进行加权混合，得到烟盒缺陷区域热力图图像。
进一步，所述根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽这一步骤，其具体包括：
将热力图转换为HSV格式，得到HSV格式的热力图；
对HSV格式的热力图中的区域进行颜色设置并根据区域对应的颜色得到烟盒缺陷区域的掩膜图像；
对掩膜图像进行图像处理，得到图像轮廓和缺陷坐标；
根据缺陷坐标对烟盒图像进行裁剪，得到裁剪后的缺陷区域；
对裁剪后的缺陷区域进行膨胀和腐蚀操作，得到缺陷区域最小面积矩形框；
根据最小面积矩形框计算得到烟盒图像的缺陷长宽。
进一步，还包括：
根据缺陷区域最小面积矩形框的信息在烟盒图像中绘制对应的矩形框。
进一步，所述对掩膜图像进行图像处理具体包括灰度转换处理、高斯滤波除噪处理和二值化处理。
本发明方法的有益效果是：通过图像处理增加大量样本图像缺陷数据并将样本图像用以训练模型，解决了产线数据量较少的情况导致模型准确率较低的情况，通过构建热力图和原始的烟盒图像，经过计算获得待测烟盒图像具体缺陷的位置和长宽，实现精准的缺陷定位和测量。
附图说明
图1是本发明一种结合深度学习和图像处理的烟盒缺陷识别方法的步骤流程图；
图2是本发明具体实施例的步骤简略图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，本发明提供了一种结合深度学习和图像处理的烟盒缺陷识别方法，该方法包括以下步骤：
S1、获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像。
具体地，通过工业相机获取烟盒在流水线上不同机位下的原始图像(包含正常与缺陷的图像)，对于有缺陷的烟盒图像，根据缺陷类别进行分类，并且针对烟盒缺陷图像数据量稀少的情况，对真实缺陷图像进行截取获得各类缺陷贴图，通过翻转、缩放、移位、旋转等操作融合到正常烟盒图像中进行数据增强。
S2、根据样本图像训练神经网络模型，得到特征提取模型；
具体地，获得大量原始烟盒图像数据后，使用多种神经网络模型进行训练，通过不断调整误差函数、学习率、衰减率等参数，获得准确率高的神经网络模型。
S3、将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图；
具体地，通过神经网络模型缺陷图像提取的特征图，对卷积层求导并加权求和，对烟盒中的缺陷构造热力图。
S4、根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽。
具体地，结合热力图和原始图像，使用灰度转换、高斯滤波去噪、二值化、膨胀腐蚀等图像处理方法获取缺陷具体的长宽。
进一步作为本方法的优选实施例，所述获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像这一步骤，其具体包括：
获取原始图像并对原始图像进行预处理，得到分类后的预处理图像；
将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像。
进一步作为本方法的优选实施例，所述对原始图像进行预处理具体为将原始图像大小调整为384x512并根据原始图像的真实缺陷情况对原始图像进行缺陷分类。
具体地，将原始烟盒图像大小调整为384x512，在尽可能保持原始图像特征的同时减小训练模型的复杂度，根据原始烟盒图像的真实缺陷情况，对烟盒图像进行分类，目前存在的烟盒缺陷类别有污渍、划痕、炸耳、破损、脱色等。
进一步作为本方法的优选实施例，所述将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像这一步骤，其具体包括：
对分类后的预处理图像进行随机裁剪、左右翻转和随机旋转的操作，得到第一样本图像；
对分类后的预处理图像的缺陷区域进行粗截取，得到各种类型不同角度的缺陷贴图；
将缺陷贴图进行缩放和旋转操作后融合到原始图像中，得到第二样本图像；
结合第一样本图像、第二样本图像和原始图像，得到多个样本图像和烟盒图像。
具体地，图像增强包括对对原始图像进行随机裁剪、随机左右翻转、随机旋转，对原始图像的亮度、饱和度、对比度进行调整；通过对真实缺陷图像的缺陷区域进行截取，获得各种类型不同角度的缺陷贴图，对获得的缺陷贴图进行翻转、缩放、移位、旋转等操作，再融合到正常的烟盒图片中，以此产生更多的烟盒缺陷样本数据。
进一步作为本方法的优选实施例，所述训练神经网络模型具体为基于resnet18神经网络结构模型进行训练并使用交叉熵损失函数、三元组损失函数进行训练。
具体地，训练神经网络模型时，基于resnet18神经网络结构模型进行训练，使用交叉熵损失函数、三元组损失函数进行训练，并且进行正则化操作，对损失函数添加L2正则；对每一个神经网络层的输入输出变量都进行归一化操作，以解决梯度消失的问题；梯度下降优化使用随机梯度下降算法，并且使用mini-batch将数据集分割成多个小块，分别执行梯度下降，加快训练速度；在全连接层时使用Global average pooling(GAP)代替Flatten，来解决全连接层参数过多的问题，并且得到缺陷图像的特征图，其中每一个特征图包含了不同类别的信息；在计算匹配结果时，使用softmax回归多分类器对图像进行分类，除此之外，在最后输出时修改结果的特征维度，并且计算训练集中对应缺陷数据类别的特征平均值，并传到本地磁盘中进行持久化，在最终调用训练好的模型进行推断时，不仅根据模型的输出结果进行分类，还计算模型输出的特征与持久化的平均特征的余弦相似度，综合得到图像的缺陷类型，提高推断的准确率。
进一步作为本方法的优选实施例，所述将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图这一步骤，其具体包括：
将烟盒图像输入到特征提取模型，对烟盒图像进行推断并提取得到特征图；
对特征提取模型中最后一个卷积层的数据进行求导得到梯度，并将梯度的均值作为特征图的权重；
将特征图乘以对应权重得到带权重的特征图并对带权重的特征图求平方和，归一化处理得到热力图。
具体地，定义第k个特征图对应类别c的权重为
权重的计算公式为：
其中Z为特征图的像素个数，yc为第c类得分的梯度，
为第k个特征图中，(i，j)位置处的像素值。
进一步作为本方法的优选实施例，所述归一化处理得到热力图还包括将热力图缩放到原始图像尺寸大小后再与原始图像进行加权混合，得到烟盒缺陷区域热力图图像。
具体地，使用训练过后的高准确率的神经网络模型，对烟盒缺陷图像进行推断并提取特征，获得该烟盒缺陷图像的特征图；选择置信度最高的类别进行反向传播，对最后一个卷积层进行求导获得梯度，每张特征图的梯度的均值作为该张特征图的权重；每张特征图乘以权重得到带权重的特征图后，对这些带权重的特征图求平方和，最后进行归一化处理(避免有些值不在0-255范围内)，来得到烟盒图像的热力图；最后将图像的热力图缩放到原始图像尺寸大小，再与原始图像进行加权混合，得到最终烟盒缺陷区域热力图图像。
进一步作为本方法的优选实施例，所述根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽这一步骤，其具体包括：
将热力图转换为HSV格式，得到HSV格式的热力图；
对HSV格式的热力图中的区域进行颜色设置并根据区域对应的颜色得到烟盒缺陷区域的掩膜图像；
对掩膜图像进行图像处理，得到图像轮廓和缺陷坐标；
根据缺陷坐标对烟盒图像进行裁剪，得到裁剪后的缺陷区域；
对裁剪后的缺陷区域进行膨胀和腐蚀操作，得到缺陷区域最小面积矩形框；
根据最小面积矩形框计算得到烟盒图像的缺陷长宽。
具体地，烟盒缺陷热力图图像转换为HSV格式，将其中的非红色区域置为黑色，红色区域置为白色，来定位热力图红色区域，这个区域就是烟盒缺陷所在的区域；然后通过与操作来获得烟盒缺陷区域的掩膜；然后将这个掩膜图像进行灰度转换、高斯滤波除噪、二值化，最后使用轮廓提取算法得到掩膜图像的轮廓和红色区域在图像中的坐标位置，步骤图参照图2。
另外，烟盒缺陷长宽大小计算的方法包括，对于原始图像，也转换为HSV格式，并通过排除米色和黄色(烟盒无关颜色)获得图像掩膜，对掩膜图像进行灰度转换、高斯滤波除噪、二值化，获得图像轮廓后，找到图像的最大区域并填充，对于最大连通区域外的部分使用相反的颜色填充。
进一步作为本方法的优选实施例，还包括：
根据缺陷区域最小面积矩形框的信息在烟盒图像中绘制对应的矩形框。
进一步作为本方法的优选实施例，所述对掩膜图像进行图像处理具体包括灰度转换处理、高斯滤波除噪处理和二值化处理。
本发明的详细有益效果在于结合深度学习和图像处理的烟盒缺陷识别方法，对原始烟盒图形进行预处理及分类，目前存在的烟盒缺陷类别有污渍、划痕、炸耳、破损、脱色等，并且针对数据量少的情况，通过截取真实烟盒缺陷贴图，通过旋转、缩放、移位等方式进行数据增强，有效地增加了大量烟盒缺陷数据；使用多种神经网络模型，对烟盒缺陷数据进行训练，通过调整学习率、衰减率、误差函数等关键参数，获得高准确率的神经网络模型，能够对烟盒缺陷图像提取关键特征；通过使用神经网络模型，对烟盒缺陷图像提取多维特征图，每一张特征图包含了缺陷图像中不同类别的信息；对最后一个卷积层进行求导获得梯度并且加权求和，能够对烟盒缺陷图像进行热力图构建，并获取缺陷在烟盒中的具体区域；通过结合烟盒缺陷的热力图和原始图像，使用二值化、膨胀腐蚀等操作，能够计算出烟盒缺陷的具体长宽大小。
本发明还提供另一种实施例，一种结合深度学习和图像处理的烟盒缺陷识别装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种一种结合深度学习和图像处理的烟盒缺陷识别方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，包括以下步骤：
获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像；
根据样本图像训练神经网络模型，得到特征提取模型；
将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图；
根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽。
2.根据权利要求1所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像这一步骤，其具体包括：
获取原始图像并对原始图像进行预处理，得到分类后的预处理图像；
将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像。
3.根据权利要求2所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述对原始图像进行预处理具体为将原始图像大小调整为384x512并根据原始图像的真实缺陷情况对原始图像进行缺陷分类。
4.根据权利要求3所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像这一步骤，其具体包括：
对分类后的预处理图像进行随机裁剪、左右翻转和随机旋转的操作，得到第一样本图像；
对分类后的预处理图像的缺陷区域进行粗截取，得到各种类型不同角度的缺陷贴图；
将缺陷贴图进行缩放和旋转操作后融合到原始图像中，得到第二样本图像；
结合第一样本图像、第二样本图像和原始图像，得到多个样本图像和烟盒图像。
5.根据权利要求4所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述训练神经网络模型具体为基于resnet18神经网络结构模型进行训练并使用交叉熵损失函数、三元组损失函数进行训练。
6.根据权利要求5所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图这一步骤，其具体包括：
将烟盒图像输入到特征提取模型，对烟盒图像进行推断并提取得到特征图；
对特征提取模型中最后一个卷积层的数据进行求导得到梯度，并将梯度的均值作为特征图的权重；
将特征图乘以对应权重得到带权重的特征图并对带权重的特征图求平方和，归一化处理得到热力图。
7.根据权利要求6所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述归一化处理得到热力图还包括将热力图缩放到原始图像尺寸大小后再与原始图像进行加权混合，得到烟盒缺陷区域热力图图像。
8.根据权利要求7所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽这一步骤，其具体包括：
将热力图转换为HSV格式，得到HSV格式的热力图；
对HSV格式的热力图中的区域进行颜色设置并根据区域对应的颜色得到烟盒缺陷区域的掩膜图像；
对掩膜图像进行图像处理，得到图像轮廓和缺陷坐标；
根据缺陷坐标对烟盒图像进行裁剪，得到裁剪后的缺陷区域；
对裁剪后的缺陷区域进行膨胀和腐蚀操作，得到缺陷区域最小面积矩形框；
根据最小面积矩形框计算得到烟盒图像的缺陷长宽。
9.根据权利要求8所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，还包括：
根据缺陷区域最小面积矩形框的信息在烟盒图像中绘制对应的矩形框。
10.根据权利要求9所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述对掩膜图像进行图像处理具体包括灰度转换处理、高斯滤波除噪处理和二值化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962684.9A CN112132196B (zh) | 2020-09-14 | 2020-09-14 | 一种结合深度学习和图像处理的烟盒缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962684.9A CN112132196B (zh) | 2020-09-14 | 2020-09-14 | 一种结合深度学习和图像处理的烟盒缺陷识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132196A true CN112132196A (zh) | 2020-12-25 |
| CN112132196B CN112132196B (zh) | 2023-10-20 |
Family
ID=73845138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010962684.9A Active CN112132196B (zh) | 2020-09-14 | 2020-09-14 | 一种结合深度学习和图像处理的烟盒缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132196B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818888A (zh) * | 2021-02-09 | 2021-05-18 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN112883797A (zh) * | 2021-01-19 | 2021-06-01 | 红云红河烟草(集团)有限责任公司 | 一种基于Yolo V3模型的烟丝杂物检测方法 |
| CN113436138A (zh) * | 2021-03-31 | 2021-09-24 | 成都飞机工业（集团）有限责任公司 | 一种基于数字图像的航空结构件识别的图像预处理方法 |
| CN113792506A (zh) * | 2021-09-27 | 2021-12-14 | 中山大学 | 基于图像处理与机器学习的mocvd腔内状态识别方法 |
| CN114235759A (zh) * | 2022-02-25 | 2022-03-25 | 季华实验室 | 缺陷检测方法、装置、设备及计算机可读存储介质 |
| WO2024183440A1 (zh) * | 2023-03-09 | 2024-09-12 | 红云红河烟草(集团)有限责任公司 | 基于对商标表面参数检测与控制以降低成品次品率的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN110570396A (zh) * | 2019-08-07 | 2019-12-13 | 华中科技大学 | 一种基于深度学习的工业产品缺陷检测方法 |
-
2020
- 2020-09-14 CN CN202010962684.9A patent/CN112132196B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN110570396A (zh) * | 2019-08-07 | 2019-12-13 | 华中科技大学 | 一种基于深度学习的工业产品缺陷检测方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883797A (zh) * | 2021-01-19 | 2021-06-01 | 红云红河烟草(集团)有限责任公司 | 一种基于Yolo V3模型的烟丝杂物检测方法 |
| CN112818888A (zh) * | 2021-02-09 | 2021-05-18 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
| CN113436138A (zh) * | 2021-03-31 | 2021-09-24 | 成都飞机工业（集团）有限责任公司 | 一种基于数字图像的航空结构件识别的图像预处理方法 |
| CN113436138B (zh) * | 2021-03-31 | 2023-07-21 | 成都飞机工业（集团）有限责任公司 | 一种基于数字图像的航空结构件识别的图像预处理方法 |
| CN113792506A (zh) * | 2021-09-27 | 2021-12-14 | 中山大学 | 基于图像处理与机器学习的mocvd腔内状态识别方法 |
| CN113792506B (zh) * | 2021-09-27 | 2024-04-02 | 中山大学 | 基于图像处理与机器学习的mocvd腔内状态识别方法 |
| CN114235759A (zh) * | 2022-02-25 | 2022-03-25 | 季华实验室 | 缺陷检测方法、装置、设备及计算机可读存储介质 |
| WO2024183440A1 (zh) * | 2023-03-09 | 2024-09-12 | 红云红河烟草(集团)有限责任公司 | 基于对商标表面参数检测与控制以降低成品次品率的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132196B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN108562589A (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
| CN106204618A (zh) | 基于机器视觉的产品包装表面缺陷检测与分类方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN112330628A (zh) | 一种金属工件表面缺陷图像检测方法 | |
| CN108985337A (zh) | 一种基于图像深度学习的产品表面划痕检测方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN112669300A (zh) | 瑕疵检测方法及装置、计算机设备和存储介质 | |
| CN115272303A (zh) | 基于高斯模糊的纺织物缺陷程度评估方法、装置及系统 | |
| CN110751690A (zh) | 铣床刀头视觉定位方法 | |
| CN112381794B (zh) | 一种基于深度卷积生成网络的印刷缺陷检测方法 | |
| CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 | |
| CN117197146A (zh) | 一种铸件内部缺陷自动识别方法 | |
| CN115409841B (zh) | 一种基于视觉的印刷品检验方法 | |
| CN116645351A (zh) | 一种复杂场景的缺陷在线检测方法及系统 | |
| CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
| CN114581536B (zh) | 基于特征感知和多通道学习的图像色差检测方法 | |
| CN115861259A (zh) | 一种基于模板匹配的引线框架表面缺陷检测方法及装置 | |
| CN112819823A (zh) | 一种面向家具板材的圆孔检测方法、系统及装置 | |
| CN114898148B (zh) | 一种基于深度学习的鸡蛋污损检测方法及系统 | |
| CN117333762B (zh) | 一种基于多特征融合的图像翻拍识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |