CN113935988A - 基于机器视觉的箱体表面缺陷检测识别方法及装置 - Google Patents
基于机器视觉的箱体表面缺陷检测识别方法及装置 Download PDFInfo
- Publication number
- CN113935988A CN113935988A CN202111366992.6A CN202111366992A CN113935988A CN 113935988 A CN113935988 A CN 113935988A CN 202111366992 A CN202111366992 A CN 202111366992A CN 113935988 A CN113935988 A CN 113935988A
- Authority
- CN
- China
- Prior art keywords
- data
- defect
- detection
- box body
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 201
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000015654 memory Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000004064 recycling Methods 0.000 abstract description 10
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000013434 data augmentation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于机器视觉的箱体表面缺陷检测识别方法及装置，包括搭建检测模型，并使用参考数据对所述检测模型完成训练；获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。本发明基于深度神经网络的目标检测实现对箱体表面缺陷的检测与识别，实现基于制作的箱体表面缺陷数据集对数据进行精准的、高效的缺陷识别，提取较深层的箱体表面缺陷的特征，识别出具体的缺陷种类，计算出缺陷的面积，从而对箱体的再循环利用进行科学的评判。
Description
技术领域
本发明涉及包装技术领域，可应用于瓦楞纸箱的箱体表面常见缺陷检测、缺陷识别以及缺陷区域面积计算，具体涉及一种基于机器视觉的箱体表面缺陷检测识别方法及装置。
背景技术
近年来，瓦楞纸箱在各行各业的包装应用越来越广泛、普遍。市场需求的日益广泛，保护环境的迫切需求，都让人们对瓦楞纸箱的质量保证提出了更高的要求，为了使瓦楞纸箱的质量得到提高，也为了提高瓦楞纸箱的循环利用率，都对纸箱的质量检测提出了迫切要求。
针对瓦楞纸箱的各类质量指标（如外观类指标：标志、印刷、综合尺寸、方正度、结合、钉距、压痕线、裱合、裁切刀口、箱角、合拢、摇盖耐折；物理性指标：抗压强度、耐破强度、戳穿强度、厚度、粘合强度、边压强度等），可对瓦楞纸箱的主要几类缺陷进行分类，进而我们可以把将纸箱缺陷归类为轻型缺陷与重型缺陷。重缺陷如戳穿、压裂、粘合失效等，会使纸箱质量下降影响实际使用。轻缺陷如印刷模糊、污渍、外观缺陷等虽不影响使用，但是会影响纸箱标识度，因此必须要精准检测出各类缺陷以达到纸箱循环使用、保护环境、减少成本的检测目的。
随着包装瓦楞纸箱的需求逐渐增大，仅凭人工无法有效完成如此产品数量庞大且对效率有着高要求的检测任务，而且人工对纸箱缺陷的判别以及纸箱是否可再次利用往往采用经验来做出判断，缺少一个较为统一的判别标准。因此，我们需要发展高质量可靠高效的检测系统。
发明内容
本发明的目的是提供一种基于机器视觉的箱体表面缺陷检测识别方法及装置，基于深度神经网络的目标检测实现对箱体表面缺陷的检测与识别，实现基于制作的箱体表面缺陷数据集对数据进行精准的、高效的缺陷识别，提取较深层的箱体表面缺陷的特征，识别出具体的缺陷种类，计算出缺陷的面积，从而对箱体的再循环利用进行科学的评判。
根据本发明的第一方面，提出一种基于机器视觉的箱体表面缺陷检测识别方法，包括：
搭建检测模型，并使用参考数据对所述检测模型完成训练；
获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；
根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
进一步的，在搭建检测模型之前还包括：
获取原始数据，所述原始数据均通过机器视觉获得；将获取原始数据的基本环境条件与原始数据绑定；
对已收集的原始数据进行批量标注，确定原始数据中的缺陷信息，并将之定义为参考数据；将所有的参考数据统一从而形成数据集；
随机将上述数据集划分为训练集（70%）、验证集（20%）、测试集（10%）；所述训练集内所包含的数据总量大于所述验证集与所述测试集的数据总量之和。
优选的，预设检测环境的光照条件，并与原始数据绑定。具体的，在原始数据的采集过程中，假定了两种基本条件的检测环境：在自然光照下进行检测与在固定的灯光条件下进行检测。以这两种情况为原始数据的基本态，在后续的数据增广时，随机变化与之不产生冲突，可以理解的是，数据增广时所产生的增广数据均为衍生态。衍生态与基本态的数据均处于数据集内，并进行随机划分。
进一步的，在开启训练之前，还包括数据增广：对数据集中的原始数据进行随机变化以期望得到相似但不相同的样本，扩充数据集的丰富程度，进一步提升检测模型的泛化效果；
将通过数据增广得到的数据定义为镜像数据，并与原始数据进行区分。
本发明的实施例中，原始数据为图片，基于图片的所述随机变化包括：随机改变图片的对比度、图片颜色；随机翻转图片；随机裁剪图片；随机缩放图片；随机填充图片；几何变换；加噪声等。
进一步的，搭建检测模型，并使用参考数据对所述检测模型完成训练，具体包括：
搭建适用于检测箱体表面缺陷的检测模型；
调用所述训练集中的参考数据，将所述参考数据中的原始数据作为检测模型的输入，将原始数据所对应的缺陷信息定义为理想输出；
提取原始数据中的深层特征并对其进行抽象表达，与所述理想输出的缺陷信息进行对比，整合所获取到的关于箱体表面特征的信息，建立特征到目标结果的映射关系；
调用所述测试集中的参考数据，对检测模型中已建立的映射关系进行检测验证，从而完成检测模型的训练。
进一步的，在训练的过程中进行交替评估，对当前检测模型的拟合性能进行检测评估，具体包括：
调用所述验证集中的参考数据，并将之定义为测试参数；所述测试参数至少包括输入参数、标准输出；
将所述输入参数倒入至当前检测模型，并获取当前检测模型的待评输出；
根据所述标准输出验证所述待评输出，计算箱体表面的缺陷检测的准确率以判断当前检测模型的拟合良度；
依次记录每次交替评估的结果，并计算当前检测模型的成长曲线。
优选的，在训练的过程中以边训练边评估的方式，即在训练中交替评估，可以用于调整模型的超参数，在每个阶段性的训练结束后可对模型的能力进行初步评估，有利于最佳模型的析出、保存。在训练模型出现偏差时，可返回前一阶段较为优异的训练模型进行再训练，确保检测模型的稳定成长。
进一步的，获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据，具体包括：
通过机器视觉获取待测箱体的表面数据，并依次输入至已完成训练的检测模型，检测所述待测箱体表面的缺陷信息并输出检测数据；所述缺陷信息包括缺陷类型、位置以及基础面积；
根据所述检测数据，将待测箱体的表面进行标记；标记内容包括缺陷类型、位置以及基础面积；
将待测箱体表面的标记内容输出展示。
进一步的，根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表，具体包括：
基于机器视觉，对比检测面的真实面积，从而获取缺陷真实的基础面积，并依次计算每个缺陷的影响面积；将每个缺陷的影响面积与其自身相关联；
统计检测面上所存在的缺陷的类型以及该类型缺陷的个数；
计算得出每种缺陷的个数、每种缺陷的总面积，生成缺陷报表并与标记内容同步输出展示。
进一步的，获取缺陷报表之后，还包括循环再利用的判定：
预定义缺陷指标，所述缺陷指标至少包括缺陷个数所允许的最大值、缺陷总面积所允许的最大值；
提取并计算所述缺陷报表中待测箱体的相应参量与所述缺陷指标进行对比：
若存在任一参量指标超标，则判定当前待测箱体为不可循环利用；
反之，则判定当前待测箱体为可循环利用。
进一步的，缺陷类型主要包括划痕（线状破损）、破洞（面状破损）、污渍（污染）三种。
判定当前待测箱体为不可循环利用还包括：划痕的长度超出阈值。
根据本发明的第二方面，提供了一种基于机器视觉的箱体表面缺陷检测识别装置，包括：
构建模块：搭建检测模型，并使用参考数据对检测模型完成训练；
检测运算模块：获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；
报表生成模块：根据检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项的所述方法步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项的所述方法步骤。
本发明的有益效果为：
本发明提供了一种基于机器视觉的箱体表面缺陷检测识别方法及装置，自动识别箱体的表面缺陷，并判别箱体的表面缺陷程度，为瓦楞纸箱的回收再利用提供有效化的判定数据，能够大量节省人力物力；对箱体的循环再利用提供量化数据，能够形成明确的回收标准，有助于建立良好的循环回收产业链。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于机器视觉的箱体表面缺陷检测识别方法的流程图；
图2为本发明实施例的一种基于机器视觉的箱体表面缺陷检测识别装置的模块化框图；
图3为本发明实施例提供的训练集与测试集的损失函数曲线图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更清楚的说明本发明实施例和现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创在性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。另，设计方位的属于仅表示各部件间的相对位置关系，而不是绝对位置关系。
本发明的目的在于通过基于深度神经网络的目标检测实现对纸箱表面缺陷检测与识别，实现基于制作的纸箱表面缺陷数据集对数据进行精准的、高效的缺陷识别，提取较深层的纸箱表面缺陷的特征，识别出具体的缺陷种类，计算出总的缺陷面积，对该瓦楞纸箱能否再循环利用做出科学的、可视化的评判。
实施例一
根据本发明的第一方面，提供了一种基于机器视觉的箱体表面缺陷检测识别方法，如图1所示，为基于机器视觉的箱体表面缺陷检测识别方法的流程图，包括：
步骤S101：搭建检测模型，并使用参考数据对检测模型完成训练。
本发明的实施例中，检测模型所检测的对象为瓦楞纸箱，所获取的数据形式为图片，获取途径与实际情况相同，均为机器视觉获取。可由工作人员预先准备基于瓦楞纸箱的原始数据，即原始图片，并对原始图片上的缺陷进行批量标记，从而形成参考数据。可以理解的是，参考数据至少应包括两部分数据结构，一为原始图片，二为标记内容；以原始图片为输入参量，标记内容为输出参量对检测模型进行训练即可，在检测模型内形成输入参量与标记内容的映射关系。
因此，在搭建检测模型之前还包括训练数据的获取以及预处理，具体步骤包括：
获取原始数据，所述原始数据均通过机器视觉获得；将获取原始数据的基本环境条件与原始数据绑定；
对已收集的原始数据进行批量标注，确定原始数据中的缺陷信息，并将之定义为参考数据；将所有的参考数据统一从而形成数据集；
随机将上述数据集划分为训练集、验证集、测试集；所述训练集内所包含的数据总量大于所述验证集与所述测试集的数据总量之和
本发明的实施例中，原始数据的获取可由瓦楞纸箱的待检测面直接拍摄获取，进一步的，工作人员可在检测面上随机制作缺陷，增加缺陷的密集程度，降低纸箱间隙的等待时间。
对于原始数据（图片）的预处理，可通过labelme软件，对已收集的缺陷照片进行批量标注，将图片中的每一处缺陷标注出来，确定图片中的缺陷信息，包括每个缺陷所属类型及缺陷的位置信息，缺陷的实际面积则应通过原始图片与检测面的实际尺寸对比并计算获得。
基于图片采集的实际情况，可预设检测环境的光照条件，并与原始数据绑定。具体的，在原始数据的采集过程中，假定了两种基本条件的检测环境：在自然光照下进行检测与在固定的灯光条件下进行检测。以这两种情况为原始数据的基本态，在后续的数据增广时，随机变化与之不产生冲突，可以理解的是，数据增广时所产生的增广数据均为衍生态。衍生态与基本态的数据均处于数据集内，并进行随机划分。
在完成标注之后，可对每张图片都对应生成一个.xml文件，文件中包含图片中缺陷数量、缺陷类型以及缺陷的位置等关键信息，形成绑定效果。可将原始数据采集是的基本环境条件与原始数据同步绑定，基本环境条件可量化为可调参数，便于数据增广。
为了便于后期的机器学习，可将数据集进行划分，本发明的实施例中，随机将数据集中70%的数据量归类为训练集、20%的数据量归类为验证集、10%的数据量归类为测试集。数据量为图片的张数而非内存量。
进一步的，可使用训练集对检测模型进行训练，促使模型拟合，从而构建模型。测试集则用可来评估最终版的检测模型的预测结果。验证集则可训练过程中实现边训练边评估，即在训练中交替评估，可以用于调整模型的超参数和用于在每个epoch结束后对模型的能力进行初步评估，还可以评判出阶段内的最佳模型。
可以理解的是，在训练模型出现偏差时，可返回前一阶段较为优异的训练模型进行再训练，确保检测模型的稳定成长。
本发明的实施例中，在开启训练之前，还包括数据增广：对数据集中的原始数据进行随机变化以期望得到相似但不相同的样本，扩充数据集的丰富程度，进一步提升检测模型的泛化效果；将通过数据增广得到的数据定义为镜像数据，并与原始数据进行区分。
本发明的实施例中，原始数据为图片，基于图片的所述随机变化包括：随机改变图片的对比度、图片颜色；随机翻转图片；随机裁剪图片；随机缩放图片；随机填充图片；几何变换；加噪声等。
本发明的实施例中，在训练的过程中进行交替评估，对当前检测模型的拟合性能进行检测评估，具体包括：
调用所述验证集中的参考数据，并将之定义为测试参数；所述测试参数至少包括输入参数、标准输出；
将所述输入参数倒入至当前检测模型，并获取当前检测模型的待评输出；
根据所述标准输出验证所述待评输出，计算箱体表面的缺陷检测的准确率以判断当前检测模型的拟合良度；
依次记录每次交替评估的结果，并计算当前检测模型的成长曲线。
本发明的实施例中，针对检测模型每个阶段的成长均应进行保存备份。成长曲线可反应检测模型在各阶段的训练中的拟合效果，若成长曲线存在较大偏差、错误时，则可将检测模型恢复至前期具备较为优秀的拟合良度的成长阶段。更有利于检测模型的快速训练，减少模型在成长过程中的弯路。
本发明的实施例中，可基于卷积神经网络搭建适用于检测箱体表面缺陷的检测模型，卷积神经网络主要囊括三种网络层结构，即卷积层、池化层和全连接层，卷积层、池化层的作用在于提取原始输入图像数据中的深层特征并对其进行抽象表达，全连接层用于机器学习特征到目标结果的映射关系。
搭建检测模型，并使用参考数据对所述检测模型完成训练，具体包括：
搭建适用于检测箱体表面缺陷的检测模型；
调用所述训练集中的参考数据，将所述参考数据中的原始数据作为检测模型的输入，将原始数据所对应的缺陷信息定义为理想输出；
提取原始数据中的深层特征并对其进行抽象表达，与所述理想输出的缺陷信息进行对比，整合所获取到的关于箱体表面特征的信息，建立特征到目标结果的映射关系；
调用所述测试集中的参考数据，对检测模型中已建立的映射关系进行检测验证，从而完成检测模型的训练。
本发明的实施例中，以训练集中的数据对检测模型进行训练，检测模型已经建立了特征到目标结果的映射关系，已经初步达到了训练目的，此时可以通过测试集中的数据对其进行检验，评估检测模型的预测结果。
可以理解的是，测试集与训练集中的数据同源但不相同，具备良好的检测应用效果，能够有效体现出检测模型拟合效果。
步骤S102：获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据。
本发明的实施例中，对于已完成训练的检测模型，可应用于生产线中对回收的瓦楞纸箱进行检测，识别其外表面的缺陷信息，并将缺陷进行分类、整理、计算，形成有效化的判定参数，对瓦楞纸箱的再回收利用提供量化数据。有利于自动化生产线的开发设计。
获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据，具体步骤包括：
通过机器视觉获取待测箱体的表面数据，并依次输入至已完成训练的检测模型，检测所述待测箱体表面的缺陷信息并输出检测数据；所述缺陷信息包括缺陷类型、位置以及基础面积；
根据所述检测数据，将待测箱体的表面进行标记；标记内容包括缺陷类型、位置以及基础面积；
将待测箱体表面的标记内容输出展示。
本发明的实施例中，待测箱体的表面数据为图片，与基本态的原始数据的获取方式基本一致；当外部环境变化时，则会出现衍生态的图片，因此本发明在训练阶段所进行的数据增广具备长远意义。
检测模型在进行缺陷信息的识别时，基于图片识别、处理的原理，可对输入的图片进行标记，将识别的信息对应标记至图片上，并将之输出展示，以此显示检测结果。
进一步的，对于检测、识别所得到的基本参量，即得到缺陷信息基本数据，可与展示标记的图片关联保存，以便后期调用、查询。
步骤S103：根据检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
本发明的实施例中，检测模型在获取待测纸箱的表面图片之后，即可对其上的缺陷进行识别、检测，实现对缺陷类型、位置、面积等基本参数的确定，进而可以在原始图片上进行标注，并将检测结果清晰的展示出来。
工作人员可针对性的设置展示内容，本发明以每种缺陷的个数、每种缺陷的总面积为例进行报表的生成，并与标记内容进行同步展示。
根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表，具体步骤包括：
基于机器视觉，对比检测面的真实面积，从而获取缺陷真实的基础面积，并依次计算每个缺陷的影响面积；将每个缺陷的影响面积与其自身相关联；
统计检测面上所存在的缺陷的类型以及该类型缺陷的个数；
计算得出每种缺陷的个数、每种缺陷的总面积，生成缺陷报表并与标记内容同步输出展示。
本发明的实施例中，缺陷的真实面积可通过机器视觉所获取的图片与箱体的真实面积之间的有效比例进行计算获得，从而对每个缺陷真实的基础面积进行影响范围的计算，从而获取每个缺陷的影响面积。
针对不同类型的缺陷，其影响面积为在修改该缺陷时，所需要占据的面积，因此，影响面积应至少外接于缺陷的基础面积，甚至更大一些。以外接矩形为影响面积的扩充，在获取基础面积的真实尺寸之后，即可快速计算出影响面积的面积。
可以理解的是，对于较长的缺陷，可进行多段分解，以各个分段的外接矩形的面积之和为影响面积的总量。
本发明的实施例中，可在标记内容中同步标识出影响面积的矩形框，以显示后期修复时的预测情况。
本发明的实施例中，获取缺陷报表之后，还包括循环再利用的判定：
预定义缺陷指标，所述缺陷指标至少包括缺陷个数所允许的最大值、缺陷总面积所允许的最大值；
提取并计算所述缺陷报表中待测箱体的相应参量与所述缺陷指标进行对比：
若存在任一参量指标超标，则判定当前待测箱体为不可循环利用；
反之，则判定当前待测箱体为可循环利用。
本发明的实施例中，缺陷报表中的参数可由工作人员自主设置，能够通过检测数据直接或者间接的计算获取即可。在对缺陷指标进行设定时，本发明以缺陷个数、缺陷总面积为例进行说明。缺陷个数可限定可循环利用的纸箱所要进行的修复次数，缺陷总面积则可限定纸箱表面的整体修复面积的涵盖率。
对于不可循环利用的瓦楞纸箱，可按照相关规定进行报废处理，或者依常规处理方式进行回收。
对于可循环利用的瓦楞纸箱，可进行修复，对既有的缺陷进行重整恢复，降低回收利用的瓦楞纸箱与新制作的瓦楞纸箱的直观外在差距。
本发明的实施例中，缺陷类型主要包括划痕（线状破损）、破洞（面状破损）、污渍（污染）三种。
在判定当前待测箱体为不可循环利用的过程中，基于修复阶段的结构稳定性考虑，其判定条件还包括：划痕的长度超出阈值。
当划痕的长度过长，划痕的存在会严重影响瓦楞纸箱的结构稳定性，修复过程中对此种缺陷不能进行良好的修复还原，无法实现与原结构基本相同的支撑、连接效果。
尤其是，当划痕的走向与瓦楞纸箱的瓦楞线条的走向一致、垂直时，对瓦楞纸箱的结构稳定性影响最大。
基于上述方法步骤，在一个具体实例中，数据集中的所有图像均保存为.jpeg格式，且为RGB三通道图像，数据集数量约为1000张照片左右。
本发明基于python、pycharm和anaconda等软件，选择机器学习中tensorflow框架，建立基于yolov3算法的机器学习网络架构，通过调整网络结构和网络参数，提高网络性能，通过机器学习，得到用于训练的纸箱表面缺陷数据集的样品特征权重，借助于样品特征权重对待检测的纸箱进行缺陷检测，检测出各缺陷的位置以及识别出各缺陷的种类。再借助于opencv开放源代码计算机视觉库，提取各缺陷的矩形区域，计算缺陷的总面积。
应用tensorflow框架进行网络结构的搭建和模型训练。首先导入已标注好的纸箱表面缺陷数据集，设定训练参数，再通过服务器开始训练，同时训练过程中可以使用边训练边评估的功能，对纸箱表面缺陷检测系统的准确率以及损失函数的变化做出分析，观察系统对纸箱表面缺陷检测能力。
当样本拟合情况较好时，确定参数为Dropout 值设为 0.5，学习率为 0.001， 批训练样本数设置为 32，迭代次数为 100 次，训练集与测试集的损失函数曲线如图3所示，可以观察到模型具有较好的拟合情况。
进一步的，将训练好的神经网络结构及权值参数（模型文件）导出，通过训练好的权重文件，随机打开训练集中的一张图片，同样进行预处理之后输入到缺陷检测神经网络进行前向计算，预测一张图片中纸箱表面所有缺陷类别以及数量。
实施例二
根据本发明的第二方面，提供了一种基于机器视觉的箱体表面缺陷检测识别装置。如图2所示，为基于机器视觉的箱体表面缺陷检测识别装置的模块化框图，包括：
构建模块201：搭建检测模型，并使用参考数据对检测模型完成训练；
检测运算模块202：获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；
报表生成模块203：根据检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
可以理解的是，本发明实施例提供的装置均适用于实施例一所述的方法，各个模块的具体功能可参照上述方法流程，此处不再赘述。
实施例三
本发明实施例提供的一种电子设备，用于实现实施例一所述的方法。图4是本发明实施例提供的一种电子设备的实体结构示意图。电子设备可以包括：至少一个中央处理器，至少一个网络接口，控制接口，存储器，至少一个通信总线。
其中，通信总线用于实现各组件之间的连接通信，信息交互。
其中，网络接口可选的可以包括标准的有线接口、无线接口（如Wi-Fi接口）。
其中，控制接口用于传输控制指令。
其中，中央处理器可以包括一个或者多个处理核心。中央处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，根据实施例一所述的方法执行终端的各种功能和处理数据。
其中，存储器可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述实施例一的方法等；存储数据区可存储上面各个方法实施例中涉及到的数据等。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例一所述的方法。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包含一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施例只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，包括：
搭建检测模型，并使用参考数据对所述检测模型完成训练；
获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；
根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
2.根据权利要求1所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，在搭建检测模型之前还包括：
获取原始数据，所述原始数据均通过机器视觉获得；将获取原始数据的基本环境条件与原始数据绑定；
对已收集的原始数据进行批量标注，确定原始数据中的缺陷信息，并将之定义为参考数据；将所有的参考数据统一从而形成数据集；
随机将上述数据集划分为训练集、验证集、测试集；所述训练集内所包含的数据总量大于所述验证集与所述测试集的数据总量之和。
3.根据权利要求2所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，搭建检测模型，并使用参考数据对所述检测模型完成训练，具体包括：
搭建适用于检测箱体表面缺陷的检测模型；
调用所述训练集中的参考数据，将所述参考数据中的原始数据作为检测模型的输入，将原始数据所对应的缺陷信息定义为理想输出；
提取原始数据中的深层特征并对其进行抽象表达，与所述理想输出的缺陷信息进行对比，整合所获取到的关于箱体表面特征的信息，建立特征到目标结果的映射关系；
调用所述测试集中的参考数据，对检测模型中已建立的映射关系进行检测验证，从而完成检测模型的训练。
4.根据权利要求2所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，在训练的过程中进行交替评估，对当前检测模型的拟合性能进行检测评估，具体包括：
调用所述验证集中的参考数据，并将之定义为测试参数；所述测试参数至少包括输入参数、标准输出；
将所述输入参数倒入至当前检测模型，并获取当前检测模型的待评输出；
根据所述标准输出验证所述待评输出，计算箱体表面的缺陷检测的准确率以判断当前检测模型的拟合良度；
依次记录每次交替评估的结果，并计算当前检测模型的成长曲线。
5.根据权利要求1所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据，具体包括：
通过机器视觉获取待测箱体的表面数据，并依次输入至已完成训练的检测模型，检测所述待测箱体表面的缺陷信息并输出检测数据；所述缺陷信息包括缺陷类型、位置以及基础面积；
根据所述检测数据，将待测箱体的表面进行标记；标记内容包括缺陷类型、位置以及基础面积；
将待测箱体表面的标记内容输出展示。
6.根据权利要求5所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，根据所述检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表，具体包括：
基于机器视觉，对比检测面的真实面积，从而获取缺陷真实的基础面积，并依次计算每个缺陷的影响面积；将每个缺陷的影响面积与其自身相关联；
统计检测面上所存在的缺陷的类型以及该类型缺陷的个数；
计算得出每种缺陷的个数、每种缺陷的总面积，生成缺陷报表并与标记内容同步输出展示。
7.根据权利要求6所述的一种基于机器视觉的箱体表面缺陷检测识别方法，其特征在于，获取缺陷报表之后，还包括循环再利用的判定：
预定义缺陷指标，所述缺陷指标至少包括缺陷个数所允许的最大值、缺陷总面积所允许的最大值；
提取并计算所述缺陷报表中待测箱体的相应参量与所述缺陷指标进行对比：
若存在任一参量指标超标，则判定当前待测箱体为不可循环利用；
反之，则判定当前待测箱体为可循环利用。
8.一种基于机器视觉的箱体表面缺陷检测识别装置，其特征在于，包括：
构建模块：搭建检测模型，并使用参考数据对检测模型完成训练；
检测运算模块：获取待测箱体的表面数据输入已完成训练的检测模型，并输出检测数据；
报表生成模块：根据检测数据计算并输出待测箱体表面的缺陷数据，并输出缺陷报表。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述一种基于机器视觉的箱体表面缺陷检测识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于机器视觉的箱体表面缺陷检测识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111366992.6A CN113935988A (zh) | 2021-11-18 | 2021-11-18 | 基于机器视觉的箱体表面缺陷检测识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111366992.6A CN113935988A (zh) | 2021-11-18 | 2021-11-18 | 基于机器视觉的箱体表面缺陷检测识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935988A true CN113935988A (zh) | 2022-01-14 |
Family
ID=79287048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111366992.6A Pending CN113935988A (zh) | 2021-11-18 | 2021-11-18 | 基于机器视觉的箱体表面缺陷检测识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935988A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239737A (zh) * | 2022-09-26 | 2022-10-25 | 淄博永丰环保科技有限公司 | 基于图像处理的瓦楞纸缺陷检测方法 |
| CN115810005A (zh) * | 2022-12-21 | 2023-03-17 | 广州科盛隆纸箱包装机械有限公司 | 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质 |
| CN115861736A (zh) * | 2022-12-14 | 2023-03-28 | 广州科盛隆纸箱包装机械有限公司 | 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质 |
-
2021
- 2021-11-18 CN CN202111366992.6A patent/CN113935988A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239737A (zh) * | 2022-09-26 | 2022-10-25 | 淄博永丰环保科技有限公司 | 基于图像处理的瓦楞纸缺陷检测方法 |
| CN115861736A (zh) * | 2022-12-14 | 2023-03-28 | 广州科盛隆纸箱包装机械有限公司 | 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质 |
| CN115861736B (zh) * | 2022-12-14 | 2024-04-26 | 广州科盛隆纸箱包装机械有限公司 | 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质 |
| CN115810005A (zh) * | 2022-12-21 | 2023-03-17 | 广州科盛隆纸箱包装机械有限公司 | 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质 |
| CN115810005B (zh) * | 2022-12-21 | 2024-04-02 | 广州科盛隆纸箱包装机械有限公司 | 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113935988A (zh) | 基于机器视觉的箱体表面缺陷检测识别方法及装置 | |
| CN111401419A (zh) | 基于改进RetinaNet的员工着装规范检测方法 | |
| CN109886928A (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN111144749A (zh) | 电网图像智能标注众包平台及工作方法 | |
| CN111368682A (zh) | 一种基于faster RCNN台标检测与识别的方法及系统 | |
| CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN115357906A (zh) | 面向网络安全等级保护2.0的智能辅助测评方法及系统 | |
| WO2020237480A1 (zh) | 基于图像识别的控制方法与装置 | |
| CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
| CN110751170A (zh) | 面板质量检测方法、系统、终端设备及计算机可读介质 | |
| CN114049540A (zh) | 基于人工智能的标注图像检测方法、装置、设备及介质 | |
| CN110377768B (zh) | 一种智能识图系统及方法 | |
| CN108805121B (zh) | 一种车牌检测定位方法、装置、设备及计算机可读介质 | |
| CN114596439A (zh) | 一种基于图像的车险智能定损及核损方法、装置和电子设备 | |
| CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
| CN115546108A (zh) | 基于边云协同和ar的汽车轮胎外观质量智能检测方法 | |
| CN111709991B (zh) | 一种铁路工机具的检测方法、系统、装置和存储介质 | |
| CN114418951A (zh) | 一种焊盘检测方法、装置、计算机设备及存储介质 | |
| CN114155522A (zh) | 一种点云数据质检修复方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |