CN113716146A - 基于深度学习的纸巾产品包装检测方法 - Google Patents
基于深度学习的纸巾产品包装检测方法 Download PDFInfo
- Publication number
- CN113716146A CN113716146A CN202110838883.3A CN202110838883A CN113716146A CN 113716146 A CN113716146 A CN 113716146A CN 202110838883 A CN202110838883 A CN 202110838883A CN 113716146 A CN113716146 A CN 113716146A
- Authority
- CN
- China
- Prior art keywords
- tissue box
- face
- tissue
- images
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 15
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
- B65B57/00—Automatic control, checking, warning, or safety devices
- B65B57/02—Automatic control, checking, warning, or safety devices responsive to absence, presence, abnormal feed, or misplacement of binding or wrapping material, containers, or packages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的纸巾产品包装检测方法，包括以下步骤：1、利用多种不同包装的纸巾盒五个面的图片分别对每一面对应的网络模型进行训练，得到每一面对应的最终网络模型；2、实际进行某一类纸巾盒的包装生产检测时，将该类标准纸巾盒样本和实际纸巾盒的五个面图像分别输入每一面相应的网络模型中，得到标准特征参数和实际特征参数，计算同一面的实际特征参数与标准特征参数之间的欧式距离β，若β小于预设阈值α则判断该面纸巾盒包装完好，若β大于预设阈值α则判断该面纸巾盒包装破损。本发明具有识别效率高、精准度可以自主调节、便于二次部署等优点。可针对多种纸巾盒包装进行检测，具有可移植性和广泛的应用性。
Description
技术领域
本专利属于产品包装质量检测领域，特别是一种基于深度学习的纸巾产品包装检测方法。
背景技术
影响纸巾包装质量的主要因素是抽纸口处开裂、抽纸口未封合以及侧面封口开裂，导致纸巾从包装处溢出。一般的基于计算机视觉的图像处理来完成纸巾产品包装检测，这样的方法只能针对单一的一种产品，更换产品就需要重新训练整个神经网络，而且不能动态的控制剔除残次品的精准度。亦或是迁移网络重新训练也需要较大量的新的包装的图片，这样的系统缺乏可移植性，不具有广泛的应用性。包装检测又是产品生产流水线不可或缺的一环，如果检测的速度不够快就会影响企业的生产效率，直接影响企业的效益。而且，在传统的流水线上采用的是人工检测的方法，人工检测受环境因素影响大、主观因素较多、效率低下。而且人工检测不能实时的查看流水线的质量情况，不利于信息化、智能化工厂的建设。
发明内容
本发明所要解决的技术问题是提供一种检测结果准确，效率高的基于深度学习的纸巾产品包装检测方法。
基于深度学习的纸巾盒的产品包装检测方法，包括以下步骤：
步骤1、采集多个纸巾盒产品除底面外的五个面图像，设纸巾盒的包装种类有n种，分别为A1、A2…Ai…An，i＝1…n,则每种纸巾盒Ai的每一面的图片均分别采集m张，m和n均为自然数；
步骤2、将采集的图像与标准纸巾将每一个面的图像划分为破损和完好两个类别，即每种纸巾盒的每面图片均有有完好类和破损类两类图片；每一面的所有种类纸巾盒的图片组成该面的训练集；
步骤3、分别对纸巾盒每一面图片进行训练，对某面进行训练时，首先随机选取纸巾盒种类，若选择Ai类,则从该面的训练集中的Ai类纸巾盒的完好类图片里面选一张作为标准，选一张作为正例，再从Ai类纸巾盒的破损类图片里面随机选一张作为负例，标准、正例和负例组成标准-好-坏组成三元组，输入Triplet network网络训练，重复上述步骤，直到网络损失函数达到收敛条件，则该面训练完成，最终的Triplet network网络即为该面对应的网络模型，分别训练得到五个面对应的网络模型；
步骤4、实际进行某一类纸巾盒的包装生产检测时，将该类标准纸巾盒样本的五个面图像输入每一面相应的网络模型中，得到每一面的标准特征参数；采集生产的纸巾盒的五个面的图像，分别将每一面的图像输入相应的网络模型中，得到每一面的实际特征参数，计算同一面的实际特征参数与标准特征参数之间的欧式距离β，若β小于预设阈值α则判断该面纸巾盒包装完好，若β大于预设阈值α则判断该面纸巾盒包装破损。
进一步的，还包括步骤5：对步骤4的判断结果进行人工核对，若判断错误，则将相应的纸巾盒图片和输入对应的网络模型，对网络模型进行优化调整。
进一步的，步骤2中，还包括对采集的图片进行去除光照不匀和去噪的处理步骤。
进一步的，步骤2中，还包括对图像增强扩充训练集的步骤。
本发明的有益效果为：本发明将深度学习里面的Triplet network网络框架结合残差网络Resnet深度学习网络，改进传统基于计算机视觉的图像处理技术。让该系统具有识别效率高、精准度可以自主调节、便于二次部署等优点，前期对纸巾盒每一面进行训练后，在更换生产纸巾盒的种类时，无需重新对模型进行训练，具有可移植性和广泛的应用性。
附图说明
图1为本发明的流程示意图；
图2为Triplet network网络结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一段分实施例，而不是全段的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于机器学习的纸巾产品包装检测方法，包括以下步骤；
1、神经网络的预训练。用工业摄像头，拍摄工厂流水线上的后续可能会生产的所有纸巾盒包装的五个面(除底面)的图像储存起来。每一个面的图像当作是一个神经网络的训练集。
2、对采取到的五个面的图像进行辨别、划分，每一个面的图像划分为破损、完好两个类别，用来训练神经网络。
3、对采取的图像采用光照不匀、去噪等预处理，采取旋转、平移、直方图增强图像增强算法扩充训练集。
4、采用Triplet network深度学习算法对网络进项训练，网络框架如图2所示。
数据采取三元组(X0,X1,X2)的形式，从破损(或完好)训练集选择一张图片X0，选取另外两张图片X1、X2，一张来自破损X1(或完好)训练集作为同类样本，一张来自完好X2(或破损)训练集作为异类样本。将三张图片X0、X1、X2输入同样的NET，NET选用残差神经网络残差网络Resnet，残差网络Resnet的层数更深，作为特征提取器可以提取出更多的特征值的同时也可以让网络避免过拟合；
以正面来说，例如现有A、B、C这3种包装，先采集A、B、C这3种包装的正面照片，假设完好的为A100张B100张C100，破损的为A100张B100张C100，然后从A(或B或C)的完好里面选一张作为标准，再在A(或B或C)的完好里面选一张作为正例子，再在A(或B或C)的破损里面选一张作为负例，组成标准-好-坏组成三元组，丢入网络训练，然后再重复上述选照片步骤再训练，重复n次直到网络收敛就OK了。
5、经过NET后图片数据X0、X1、X2被转换成一维数组，X0’,X1’,X2’，这样的一维向量可以在数值上反应图片的特征。通过欧氏距离(公式1)来对比样本X1,X0,X2之间的差距。(注：Distance函数用于计算两个向量的欧氏距离)
Distance(X0’,X1’)＝||X0’-X1’||2(式1)
Distance(X0’,X2’)＝||X0’-X2’||2
通过训练集训练特征参数W，让样本X0经过残差网络Resnet后的参数X0’与同类样本X1经过残差网络Resnet后的参数X1’之间的欧氏距离Distance1(X0’,X1’)尽可能地小。让样本X0经过残差网络Resnet后的参数X0’与同类样本X2经过残差网络Resnet后的参数X2’之间的欧氏距离Distance1(X0’,X2’)尽可能地大。通过训练集训练特征参数W，得到较为理想的特征参数W。神经网络模型训练完成。
6、将要检测的一类纸巾包装的图片的五个面导入到五个网络模型里面，完好纸巾包装正面图片为X正导入神经网络模型之后得到固定的参数X正’，将X正’保存在系统之中。在流水线上将采集到的纸巾包装的正面照片X验导入到系统之中，经过神经网络模型NET，得到参数X验’，比较X正’与X验’之间的欧氏距离。如果差距在α之内则证明两个照片很小则判断为该照片所属的纸巾包装为完好(公式2)，反之则认为破损(公式3)。
Distance(X正’,X验’)＝||X正’-X验’||2>α(式2)
Distance(X正’,X验’)＝||X正’-X验’||2<α(式3)
α可以根据系统所需要的准确性来调节。
7、将检测失误的纸巾包装的照片再次导入系统中来训练神经网络，使得特征参数W不断地收敛，可以动态的提升系统检测的准确度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.基于深度学习的纸巾盒的产品包装检测方法，其特征在于，包括以下步骤：
步骤1、采集多个纸巾盒产品除底面外的五个面图像，设纸巾盒的包装种类有n种，分别为A1、A2…Ai…An，i＝1…n,则每种纸巾盒Ai的每一面的图片均分别采集m张，m和n均为自然数；
步骤2、将采集的图像与标准纸巾将每一个面的图像划分为破损和完好两个类别，即每种纸巾盒的每面图片均有有完好类和破损类两类图片；每一面的所有种类纸巾盒的图片组成该面的训练集；
步骤3、分别对纸巾盒每一面图片进行训练，对某面进行训练时，首先随机选取纸巾盒种类，若选择Ai类,则从该面的训练集中的Ai类纸巾盒的完好类图片里面选一张作为标准，选一张作为正例，再从Ai类纸巾盒的破损类图片里面随机选一张作为负例，标准、正例和负例组成标准-好-坏组成三元组，输入Triplet network网络训练，重复上述步骤，直到网络损失函数达到收敛条件，则该面训练完成，最终的Triplet network网络即为该面对应的网络模型，分别训练得到五个面对应的网络模型；
步骤4、实际进行某一类纸巾盒的包装生产检测时，将该类标准纸巾盒样本的五个面图像输入每一面相应的网络模型中，得到每一面的标准特征参数；采集生产的纸巾盒的五个面的图像，分别将每一面的图像输入相应的网络模型中，得到每一面的实际特征参数，计算同一面的实际特征参数与标准特征参数之间的欧式距离β，若β小于预设阈值α则判断该面纸巾盒包装完好，若β大于预设阈值α则判断该面纸巾盒包装破损。
2.根据权利要求1所述的基于深度学习的纸巾产品包装检测方法，其特征在于，还包括步骤5：对步骤4的判断结果进行人工核对，若判断错误，则将相应的纸巾盒图片和输入对应的网络模型，对网络模型进行优化调整。
3.根据权利要求1所述的基于深度学习的纸巾产品包装检测方法，其特征在于，步骤2中，还包括对采集的图片进行去除光照不匀和去噪的处理步骤。
4.根据权利要求1所述的基于深度学习的纸巾产品包装检测方法，其特征在于，步骤2中，还包括对图像增强扩充训练集的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838883.3A CN113716146B (zh) | 2021-07-23 | 2021-07-23 | 基于深度学习的纸巾产品包装检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838883.3A CN113716146B (zh) | 2021-07-23 | 2021-07-23 | 基于深度学习的纸巾产品包装检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113716146A true CN113716146A (zh) | 2021-11-30 |
| CN113716146B CN113716146B (zh) | 2023-04-07 |
Family
ID=78673939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110838883.3A Active CN113716146B (zh) | 2021-07-23 | 2021-07-23 | 基于深度学习的纸巾产品包装检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113716146B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330383A (zh) * | 2017-06-18 | 2017-11-07 | 天津大学 | 一种基于深度卷积神经网络的人脸识别方法 |
| CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
| CN109886590A (zh) * | 2019-02-28 | 2019-06-14 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的产品封装质量检测系统 |
| CN109919320A (zh) * | 2019-01-23 | 2019-06-21 | 西北工业大学 | 基于语义层次结构的Triplet网络学习方法 |
| CN110796057A (zh) * | 2019-10-22 | 2020-02-14 | 上海交通大学 | 行人重识别方法、装置及计算机设备 |
| CN110837860A (zh) * | 2019-11-06 | 2020-02-25 | 惠州皓赛技术有限公司 | 基于深度学习的贴片检测方法及相关系统 |
| CN111062424A (zh) * | 2019-12-05 | 2020-04-24 | 中国科学院计算技术研究所 | 小样本食品图像识别模型训练方法及食品图像识别方法 |
| CN111507976A (zh) * | 2020-04-28 | 2020-08-07 | 浙江省北大信息技术高等研究院 | 基于多角度成像的缺陷检测方法及系统 |
| CN111539931A (zh) * | 2020-04-21 | 2020-08-14 | 三固（厦门）科技有限公司 | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 |
| CN111582294A (zh) * | 2019-03-05 | 2020-08-25 | 慧泉智能科技（苏州）有限公司 | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 |
| CN112232117A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
| CN112862767A (zh) * | 2021-01-28 | 2021-05-28 | 中山大学 | 基于度量学习的解决难分不平衡样本的表面缺陷检测方法 |
| CN113034476A (zh) * | 2021-03-30 | 2021-06-25 | 广东工业大学 | 皮革瑕疵检测方法、系统、储存介质及计算机设备 |
-
2021
- 2021-07-23 CN CN202110838883.3A patent/CN113716146B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330383A (zh) * | 2017-06-18 | 2017-11-07 | 天津大学 | 一种基于深度卷积神经网络的人脸识别方法 |
| CN108399428A (zh) * | 2018-02-09 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
| CN109919320A (zh) * | 2019-01-23 | 2019-06-21 | 西北工业大学 | 基于语义层次结构的Triplet网络学习方法 |
| CN109886590A (zh) * | 2019-02-28 | 2019-06-14 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的产品封装质量检测系统 |
| CN111582294A (zh) * | 2019-03-05 | 2020-08-25 | 慧泉智能科技（苏州）有限公司 | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 |
| CN110796057A (zh) * | 2019-10-22 | 2020-02-14 | 上海交通大学 | 行人重识别方法、装置及计算机设备 |
| CN110837860A (zh) * | 2019-11-06 | 2020-02-25 | 惠州皓赛技术有限公司 | 基于深度学习的贴片检测方法及相关系统 |
| CN111062424A (zh) * | 2019-12-05 | 2020-04-24 | 中国科学院计算技术研究所 | 小样本食品图像识别模型训练方法及食品图像识别方法 |
| CN111539931A (zh) * | 2020-04-21 | 2020-08-14 | 三固（厦门）科技有限公司 | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 |
| CN111507976A (zh) * | 2020-04-28 | 2020-08-07 | 浙江省北大信息技术高等研究院 | 基于多角度成像的缺陷检测方法及系统 |
| CN112232117A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
| CN112862767A (zh) * | 2021-01-28 | 2021-05-28 | 中山大学 | 基于度量学习的解决难分不平衡样本的表面缺陷检测方法 |
| CN113034476A (zh) * | 2021-03-30 | 2021-06-25 | 广东工业大学 | 皮革瑕疵检测方法、系统、储存介质及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113716146B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376792B (zh) | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 | |
| CN109919934B (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
| CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
| CN110991435A (zh) | 一种基于深度学习的快递运单关键信息定位方法和装置 | |
| CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
| CN108428231B (zh) | 一种基于随机森林的多参数零件表面粗糙度学习方法 | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN107179324A (zh) | 检测产品包装的方法、装置和系统 | |
| KR20220095216A (ko) | Sem 이미지에 대한 bbp 지원 결함 검출 흐름 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN111914902B (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
| CN110473201A (zh) | 一种刹车片表面缺陷的自动检测方法及装置 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| Kim et al. | Deep learning based automatic defect classification in through-silicon via process: Fa: Factory automation | |
| CN109816048A (zh) | 一种基于属性迁移的图像合成方法 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN115375635A (zh) | 一种晶圆缺陷的识别方法 | |
| CN109886936B (zh) | 一种低对比度缺陷检测方法和装置 | |
| CN111709936B (zh) | 一种基于多级特征比对的令纸缺陷检测方法 | |
| CN113716146B (zh) | 基于深度学习的纸巾产品包装检测方法 | |
| CN104680118B (zh) | 一种人脸属性检测模型生成方法及系统 | |
| CN115601747A (zh) | 一种贴壁细胞汇合度的计算方法和系统 | |
| CN115082416A (zh) | 镜片瑕疵检测方法、装置、设备及存储介质 | |
| CN113808129A (zh) | 易混淆缺陷的有效检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |