CN112508935A - 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 - Google Patents
基于深度学习的产品包装检测方法及系统和产品包装分拣系统 Download PDFInfo
- Publication number
- CN112508935A CN112508935A CN202011524402.3A CN202011524402A CN112508935A CN 112508935 A CN112508935 A CN 112508935A CN 202011524402 A CN202011524402 A CN 202011524402A CN 112508935 A CN112508935 A CN 112508935A
- Authority
- CN
- China
- Prior art keywords
- detection
- image data
- date
- product
- seal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000004519 manufacturing process Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000007789 sealing Methods 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 230000002950 deficient Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 238000007639 printing Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009776 industrial production Methods 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于工业化产品包装检测技术领域，特别涉及一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统，该方法包含：实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别位置日期合格产品，利用分割算法确定日期合格产品；将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域，进而识别封口合格产品。本发明可满足工业生产检测中的实际需求，利用深度学习网络技术实现更精确快速的剔除包装缺陷产品。
Description
技术领域
本发明属于工业化产品包装检测技术领域，特别涉及一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统。
背景技术
为避免不合格产品流入市场，对产品包装进行检验是质量控制的重要环节。其中日期和封口是包装是否合格的两个重要指标，直接影响产品质量。目前，包装袋的外观检测主要依靠人工进行，人工检测耗费巨大，不但增大了生产成本，且效率低下。随着工业的快速发展，对如何更加快速精确的剔除工业生产过程中的缺陷产品也提出了更高的要求。
发明内容
为此，本发明提供一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统，满足工业生产检测中的实际需求，利用深度学习网络技术实现更精确快速的剔除包装缺陷产品。
按照本发明所提供的设计方案，一种基于深度学习的产品包装检测方法，用于产品流水线包装缺陷产品自动化分拣，包含如下内容：
实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法确定日期是否合格；
将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；
针对日期不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。
作为本发明基于深度学习的产品包装检测方法，进一步的，在产品包装流水线的打日期工位和封口工位上分别设置用于获取产品包装图像数据的视觉采集设备。
作为本发明基于深度学习的产品包装检测方法，进一步地，图像数据的裁剪处理中，首先对图像数据进行灰度化和分割处理。
作为本发明基于深度学习的产品包装检测方法，进一步地，所述检测模型包含用于待检测区域识别的目标定位网络和用于产品包装检验的目标识别网络，其中，目标定位网络包含：用于对输入数据进行卷积操作的若干卷积层、及用于从样本数据中获取多个固定参考框的分阶下采样层及上采样层；目标识别网络包含多个卷积层、全连接层和损失层。
作为本发明基于深度学习的产品包装检测方法，进一步地，目标定位网络的损失函数loss表示为：loss＝lbox+lobj+lcls，其中，lbox表示针对固定参考框大小的预测框位置偏移损失，lobj表示置信度损失，lcls表示类别损失。
作为本发明基于深度学习的产品包装检测方法，进一步地，目标识别网络的损失函数采用softmax函数。
作为本发明基于深度学习的产品包装检测方法，进一步地，检测模型训练过程中，首先获取图像样本数据，并对图像样本数据进行区域类别标注，生成用于日期检测模型训练的第一样本数据集和用于封口检测模型训练的第二样本数据集；在每个样本数据集中分别划分用于模型训练的训练集、用于模型测试的测试集及用于模型验证的验证集。
作为本发明基于深度学习的产品包装检测方法，进一步地，针对日期检测的图像样本数据，采用多类别日期检测区域位置进行标注；针对封口检测的图像样本数据，采用单类别封口检测区域进行标注，其中，标注数据包含：区域位置标注和检测类别标注。
进一步地，本发明还提供一种基于深度学习的产品包装检测系统，用于产品流水线包装缺陷产品自动化分拣，包含：图像采集模块、日期检测模块和封口检测模块，其中，
图像采集模块，用于实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
日期检测模块，用于通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，并利用分割算法识别日期是否合格；
封口检测模块，用于将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；
进一步地，本发明还提供一种产品包装分拣系统，用于产品流水线包装缺陷产品自动化分拣，包含控制装置及连接有若干分拣道口的输送装置，所述输送装置还连接有用于过滤包装缺陷产品的剔除装置；所述剔除装置包含与控制装置连接的气缸及设置在输送装置上且与气缸连接的导流板；该分拣系统的控制装置与产品包装流水线权利要求9所述的产品包装检测系统连接，通过控制装置控制气缸动作进而带动导流板升起，剔除包装日期不合格及封口不合格的产品。
本发明的有益效果：
本发明将传统图像处理与深度卷积神经网络相结合，利用传统图像处理获取目标所在区域，利用深度卷积网络强大的学习能力获取缺陷位置，深度学习网络模型具有泛化能力强、准确率高、速度快的特点，有效地规避因位置偏移、光照强度变化导致的目标位置定位引起的误差，大大提高检测的准确率，与产品包装流水线及分拣系统结合，实现包装袋缺陷自动定位和分流，节省人工成本、提高检测效果，具有较好的应用前景。
附图说明：
图1为实施例中产品包装检测方法流程示意；
图2为实施例中产品包装检测算法原理示意；
图3为实施例中日期检测模块流程示意；
图4为实施例中封口检测模块流程示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，参见图1所示，提供一种基于深度学习的产品包装检测方法，包含如下内容：
S101、实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
S102、通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法识别日期是否合格；
S103、将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；
S104、针对日期位置不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。
将传统图像处理与深度卷积神经网络相结合，利用传统图像处理获取目标所在区域，利用深度卷积网络强大的学习能力获取缺陷位置，深度学习网络模型具有泛化能力强、准确率高、速度快的特点，有效地规避因位置偏移、光照强度变化导致的目标位置定位引起的误差，大大提高检测的准确率，与产品包装流水线及分拣系统结合，实现包装袋缺陷自动定位和分流，节省人工成本、提高检测效果。
作为本发明实施例中基于深度学习的产品包装检测方法，进一步的，在产品包装流水线的打日期工位和封口工位上分别设置用于获取产品包装图像数据的视觉采集设备。进一步地，图像数据的裁剪处理中，首先对图像数据进行灰度化和分割处理。
对日期和封口分别构建视觉设备，并通过工业相机获取生产线产品图片原始数据样本，对原始数据样本中的图像进行灰度化、分割、裁剪等处理，分别获取日期检测和封口检测第一图像数据集。
作为本发明实施例中基于深度学习的产品包装检测方法，进一步地，所述检测模型包含用于待检测区域识别的目标定位网络和用于产品包装检验的目标分类网络，其中，目标定位网络包含：用于对输入数据进行卷积操作的若干卷积层、及用于从样本数据中获取多个固定参考框的分阶下采样层及上采样层；目标分类网络包含多个卷积层、全连接层和损失层。进一步地，目标定位网络的损失函数loss表示为：loss＝lbox+lobj+lcls，其中，lbox表示针对固定参考框大小的预测框位置偏移损失，lobj表示置信度损失，lcls表示类别损失。进一步地，目标分类网络的损失函数采用softmax函数。
目标定位网络可包含多层卷积网络、分阶下采样层和上采样层。目标定位网络采用残差结构更好的学习待检测目标特征，采用下采样层替代池化层来减少特征损失，采用从样本数据中计算获取多个anchor大小来提升检测性能，避免目标大小不均引起的漏检和误检。其损失函数loss三部分中，lbox：针对每个anchor大小的预测框位置偏移损失；lobj：置信度损失；均采用L2-loss，其公式如下：
L2＝|f(x)-Y|2；
其中，对所述lbox中，f(x)代表预测框的顶点坐标及宽高值，Y代表预测框所在的cell坐标值，lbox即为位置偏移量最小的预测框；对所述lobj中，f(x)代表预测的boundingbox，Y代表ground truth，lobj即为两者IOU最大的预测框。
lcls：针对每个class的类别损失，采用交叉熵函数，公式如下：
其中，xi代表预测框的预测类别，p(xi)代表条件概率，q(xi)代表预测框的置信度。
作为本发明实施例中基于深度学习的产品包装检测方法，进一步地，检测模型训练过程中，首先获取图像样本数据，并对图像样本数据进行区域类别标注，生成用于日期检测模型训练的第一样本数据集和用于封口检测模型训练的第二样本数据集；在每个样本数据集中分别划分用于模型训练的训练集、用于模型测试的测试集及用于模型验证的验证集。进一步地，针对日期检测的图像样本数据，采用多类别日期检测区域位置进行标注；针对封口检测的图像样本数据，采用单类别封口检测区域进行标注，其中，标注数据包含：区域位置标注和检测类别标注。
参见图2～4所示，对日期和封口工位分别构建视觉设备，可通过工业相机获取生产线产品图片原始数据样本，对原始数据样本中的图像进行灰度化、分割、裁剪等处理，分别获取日期检测和封口检测第一图像数据集；对数据样本集进行目标标注，画出检测目标位置，选定目标类别，可保存为xml标注文件，分为训练集和测试集。初始化目标定位模型，包括初始化权重，检测目标类别数，输入图像大小，以及训练周期数，anchors个数和根据样本集计算anchors大小；训练目标检测模型，利用测试集检测训练所得模型的召回率和准确率，直至模型收敛，得到目标定位模型。用目标检测模型对输入图像进行检测，获取检测目标区域，根据检测结果初步判断目标有无，如果未检测到目标，则返回NG；进行日期检测模块，如图3所示，利用目标定位模型获取日期目标区域，返回原图，获取图像上日期目标位置以及参照目标位置，根据相对位置判断日期位置是否不良，如果超出目标位置范围，则返回NG；进一步，对日期字符串区域进行分割处理，采用形态学处理和轮廓提取方法，或者上述目标定位网络方法，获取单字符目标位置，进一步判断日期打印是否不良，包括打印不全，字符残缺等，如果不良，则返回NG；如日期检测结果为OK，进入封口检测模块，如图4所示，根据训练所得目标检测模型，获取封口区域，如果未检测封口，则返回NG；通过对封口区域进行分割，形态学处理和轮廓提取等传统图像处理方法，结合深度学习模型进行缺陷检测，若有缺陷，则返回NG，否则返回OK。检测结果可通过进行非极大值抑制过滤，以获取最佳检测结果。其中，目标定位网络可采用残差结构，更好的学习待检测目标特征，将残差结构在多个数据层分级联合，更好的融合浅层特征和深层特征，采用下采样层替代池化层以及用连接层连接各个anchor大小的featuremap来替换全连接层，均能减少特征损失，采用从样本数据中计算获取多个anchor大小来提升检测性能，避免目标大小不均引起的漏检和误检。目标分类网络可采用多层卷积层学习缺陷特征，可采用caffe框架下训练。将日期和封口检测模块中的检测结果合并，返回剔除装置，完成自动化分拣。
进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习的产品包装检测系统，用于产品流水线包装缺陷产品自动化分拣，包含：图像采集模块、日期检测模块和封口检测模块，其中，
图像采集模块，用于实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
日期检测模块，用于通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法识别日期是否合格；
封口检测模块，用于将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；针对日期位置不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。
进一步地，基于上述的系统和方法，本发明还提供一种产品包装分拣系统，用于产品流水线包装缺陷产品自动化分拣，包含控制装置及连接有若干分拣道口的输送装置，所述输送装置还连接有用于过滤包装缺陷产品的剔除装置；所述剔除装置包含与控制装置连接的气缸及设置在输送装置上且与气缸连接的导流板；该分拣系统的控制装置与产品包装流水线上述的产品包装检测系统连接，通过控制装置控制气缸动作进而带动导流板升起，剔除包装日期不合格及封口不合格的产品。
利用深度卷积神经网络强大的学习能力，提取图像深层特征，大幅度改善了漏检误检的问题，另外检测过程中，可以不断添加新的样本进行学习，更新特征提高准确率，适应性强，稳定性高，实时性好，更好地实现工业场景下的包装袋实时检测需求。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。
基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的产品包装检测方法，用于产品流水线包装缺陷产品自动化分拣，其特征在于，包含如下内容：
实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，并利用分割算法确定日期是否合格；
将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口待检测区域并识别封口合格产品；
针对日期不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。
2.根据权利要求1所述的基于深度学习的产品包装检测方法，其特征在于，在产品包装流水线的打日期工位和封口工位上分别设置用于获取产品包装图像数据的视觉采集设备。
3.根据权利要求1所述的基于深度学习的产品包装检测方法，其特征在于，图像数据的裁剪处理中，首先对图像数据进行灰度化和分割处理。
4.根据权利要求1所述的基于深度学习的产品包装检测方法，其特征在于，所述检测模型包含用于待检测区域识别的目标定位网络和用于产品包装检验的目标识别网络，其中，目标定位网络包含：用于对输入数据进行卷积操作的若干卷积层、及用于从样本数据中获取多个固定参考框的分阶下采样层及上采样层；目标识别网络包含多个卷积层、全连接层和损失层。
5.根据权利要求4所述的基于深度学习的产品包装检测方法，其特征在于，目标定位网络的损失函数loss表示为：loss＝lbox+lobj+lcls，其中，lbox表示针对固定参考框大小的预测框位置偏移损失，lobj表示置信度损失，lcls表示类别损失。
6.根据权利要求4所述的基于深度学习的产品包装检测方法，其特征在于，目标分类网络的损失函数采用softmax函数。
7.根据权利要求1～6任一项所述的基于深度学习的产品包装检测方法，其特征在于，检测模型训练过程中，首先获取图像样本数据，并对图像样本数据进行区域类别标注，生成用于日期检测模型训练的第一样本数据集和用于封口检测模型训练的第二样本数据集；在每个样本数据集中分别划分用于模型训练的训练集、用于模型测试的测试集及用于模型验证的验证集。
8.根据权利要求7所述的基于深度学习的产品包装检测方法，其特征在于，针对日期检测的图像样本数据，采用多类别日期检测区域位置进行标注；针对封口检测的图像样本数据，采用单类别封口检测区域进行标注，其中，标注数据包含：区域位置标注和检测类别标注。
9.一种基于深度学习的产品包装检测系统，用于产品流水线包装缺陷产品自动化分拣，其特征在于，包含：图像采集模块、日期检测模块和封口检测模块，其中，
图像采集模块，用于实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；
日期检测模块，用于通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法识别日期是否合格；
封口检测模块，用于将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口是否合格；针对日期不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。
10.一种产品包装分拣系统，用于产品流水线包装缺陷产品自动化分拣，包含控制装置及连接有若干分拣道口的输送装置，其特征在于，所述输送装置还连接有用于过滤包装缺陷产品的剔除装置；所述剔除装置包含与控制装置连接的气缸及设置在输送装置上且与气缸连接的导流板；该分拣系统的控制装置与产品包装流水线权利要求9所述的产品包装检测系统连接，通过控制装置控制气缸动作进而带动导流板升起，剔除包装日期不合格及封口不合格的产品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524402.3A CN112508935A (zh) | 2020-12-22 | 2020-12-22 | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524402.3A CN112508935A (zh) | 2020-12-22 | 2020-12-22 | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508935A true CN112508935A (zh) | 2021-03-16 |
Family
ID=74922934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011524402.3A Pending CN112508935A (zh) | 2020-12-22 | 2020-12-22 | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508935A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658141A (zh) * | 2021-08-19 | 2021-11-16 | 珠海格力电器股份有限公司 | 透明包装袋封口识别方法、装置、存储介质及电子设备 |
| CN113901934A (zh) * | 2021-10-14 | 2022-01-07 | 四川科伦药业股份有限公司 | 一种大输液包装产品的智能视觉检测方法、系统及装置 |
| CN114255382A (zh) * | 2021-12-28 | 2022-03-29 | 中通服公众信息产业股份有限公司 | 一种基于神经网络的防疫耳标识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105675614A (zh) * | 2016-02-19 | 2016-06-15 | 清华大学 | 一种包装袋封口质量检测设备和包装袋封口质量检测方法 |
| CN108548820A (zh) * | 2018-03-28 | 2018-09-18 | 浙江理工大学 | 化妆品纸质标签缺陷检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN110639836A (zh) * | 2019-09-27 | 2020-01-03 | 常熟耀皮汽车玻璃有限公司 | 一种玻璃印刷商标在线自动检测系统 |
| CN111223088A (zh) * | 2020-01-16 | 2020-06-02 | 东南大学 | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 |
| CN111242900A (zh) * | 2019-12-31 | 2020-06-05 | 电子科技大学中山学院 | 一种产品合格确定方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-22 CN CN202011524402.3A patent/CN112508935A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105675614A (zh) * | 2016-02-19 | 2016-06-15 | 清华大学 | 一种包装袋封口质量检测设备和包装袋封口质量检测方法 |
| CN108548820A (zh) * | 2018-03-28 | 2018-09-18 | 浙江理工大学 | 化妆品纸质标签缺陷检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN110639836A (zh) * | 2019-09-27 | 2020-01-03 | 常熟耀皮汽车玻璃有限公司 | 一种玻璃印刷商标在线自动检测系统 |
| CN111242900A (zh) * | 2019-12-31 | 2020-06-05 | 电子科技大学中山学院 | 一种产品合格确定方法、装置、电子设备及存储介质 |
| CN111223088A (zh) * | 2020-01-16 | 2020-06-02 | 东南大学 | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 安超 等: "基于Mask R-CNN 的铁谱磨粒智能分割与识别", vol. 45, no. 3, pages 107 - 112 * |
| 张富凯 等: "基于改进YOLOv3的快速车辆检测方法", vol. 55, no. 9, pages 12 - 20 * |
| 方志军 等: "TensorFlow应用案例教程", 北京：中国铁道出版社, pages: 86 - 87 * |
| 蒋芸 等: "基于YOLO算法的眼底图像视盘定位方法", vol. 41, no. 9, pages 1662 - 1670 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658141A (zh) * | 2021-08-19 | 2021-11-16 | 珠海格力电器股份有限公司 | 透明包装袋封口识别方法、装置、存储介质及电子设备 |
| CN113901934A (zh) * | 2021-10-14 | 2022-01-07 | 四川科伦药业股份有限公司 | 一种大输液包装产品的智能视觉检测方法、系统及装置 |
| CN114255382A (zh) * | 2021-12-28 | 2022-03-29 | 中通服公众信息产业股份有限公司 | 一种基于神经网络的防疫耳标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829893B (zh) | 一种基于注意力机制的缺陷目标检测方法 | |
| CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN112508935A (zh) | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN111932501A (zh) | 一种基于语义分割的密封圈表面缺陷检测方法 | |
| CN111080620A (zh) | 一种基于深度学习的道路病害检测方法 | |
| CN113780087B (zh) | 一种基于深度学习的邮政包裹文本检测方法及设备 | |
| CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN111461133A (zh) | 快递面单品名识别方法、装置、设备及存储介质 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
| CN113111875A (zh) | 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法 | |
| CN115829965A (zh) | 一种基于深度学习的x射线图像中气孔缺陷的检测方法 | |
| CN117036243A (zh) | 刨花板表面缺陷检测的方法、装置、设备和存储介质 | |
| CN114119505A (zh) | 一种检测芯片粘连区域缺陷的方法及装置 | |
| CN112017154A (zh) | 基于Mask R-CNN模型的一种射线缺陷检测方法 | |
| CN116758545A (zh) | 一种基于深度学习的纸质医药包装钢印字符识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210316 |
|
| RJ01 | Rejection of invention patent application after publication |