CN111709451B - 酒瓶表面缺陷检测方法、电子装置及存储介质 - Google Patents

Abstract

本发明公开了一种酒瓶表面缺陷检测方法，并公开了具有酒瓶表面缺陷检测方法的电子装置和计算机可读存储介质，酒瓶表面缺陷检测方法包括：基于所获取到的酒瓶表面图片得到训练数据集；构建卷积神经网络并基于训练数据集训练卷积神经网络，得到深度学习神经网络；将待检测的酒瓶表面图片输入到深度学习神经网络，以获得待检测的酒瓶表面图片对应的表面缺陷信息；本发明实施例能够对瓶装酒瓶进行表面缺陷的质检，从而大大提高企业的生产效率，减少生产成本，并且具有针对大量检测数据的学习能力和图像特征提取能力，无需人为设计复杂的特征提取算法，从而降低智能检测难度。

Description

酒瓶表面缺陷检测方法、电子装置及存储介质

技术领域

本发明涉及酒瓶表面缺陷检测技术领域，特别涉及一种酒瓶表面缺陷检测方法、电子装置及存储介质。

背景技术

在瓶装酒瓶的工业生产过程中会受到原材料质量、酒瓶图纸设计方案、加工工艺(灌装)以及机床设备质量、生产环境等因素的影响，最终形成的瓶装酒中可能存在各类表面缺陷而影响到整体的产品质量，当今消费者对工业产品的要求在不断提高，消费者的消费欲望并不再局限于产品的质量好坏，还对产品的外观、视觉效果也有着额外的需求，故针对酿酒行业而言，瓶装酒瓶表面缺陷的质检工作将显得尤为重要，提高瓶装酒瓶表面缺陷的质检能力能在一定程度上影响瓶装酒的销售前景。

传统的人工目检工件表面缺陷或者人工抽样检测工件表面缺陷所造成的产品漏检率和错判率可能极高，针对产品的检测质量效果也因人而异并且缺乏效率，导致工件产品无法大批量生产，不但降低企业的生产效率，还增加企业的生产成本。

基于传统机器视觉的检测方法主要依赖于模板匹配，同时对结构复杂、缺陷种类多，特征差别大的工件表面缺陷图像难以提取合适的特征向量，导致最终的检测效果不佳。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种酒瓶表面缺陷检测方法，能够对瓶装酒瓶进行表面缺陷的质检，从而大大提高企业的生产效率，减少生产成本，并且具有针对大量检测数据的学习能力和图像特征提取能力，无需人为设计复杂的特征提取算法，从而降低智能检测难度。

本发明还提出一种具有上述酒瓶表面缺陷检测方法的电子装置。

本发明还提出一种具有上述酒瓶表面缺陷检测方法的计算机可读存储介质。

根据本发明的第一方面实施例的酒瓶表面缺陷检测方法，包括：

基于所获取到的酒瓶表面图片得到训练数据集；

构建卷积神经网络并基于所述训练数据集训练所述卷积神经网络，得到深度学习神经网络；

将待检测的酒瓶表面图片输入到所述深度学习神经网络，以获得待检测的所述酒瓶表面图片对应的表面缺陷信息。

根据本发明实施例的酒瓶表面缺陷检测方法，至少具有如下有益效果：将训练数据集中的酒瓶表面图片输入对卷积神经网络，从而对其进行训练，得到具有良好检测性能的深度学习神经网络，然后将待检测的酒瓶表面图片输入深度学习神经网络，得到表面缺陷信息，表面缺陷信息能够表示当前酒瓶表面图片中的表面缺陷，因此能够快速、准确地检测到酒瓶表面的缺陷，大大提高企业的生产效率，减少生产成本，并且卷积神经网络能够降低智能检测难度。

根据本发明的一些实施例，所述基于所获取到的酒瓶表面图片得到训练数据集之后，还包括以下步骤：

对所述酒瓶表面图片进行Y轴镜像翻转；

对所述酒瓶表面图片进行增强颜色；

对所述酒瓶表面图片进行增强对比度。

根据本发明的一些实施例，所述构建卷积神经网络并基于所述训练数据集训练所述卷积神经网络，得到深度学习神经网络，包括以下步骤：

基于Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

基于ResNeXt残差网络结构和FPN网络结构优化所述卷积神经网络，得到第一卷积神经网络；

基于所述训练数据集训练所述第一卷积神经网络，得到所述深度学习神经网络。

根据本发明的一些实施例，所述将待检测的酒瓶表面图片输入到所述深度学习神经网络，以获得待检测的所述酒瓶表面图片对应的表面缺陷信息包括以下步骤：

基于所述深度学习神经网络中的检测矩形框将所述酒瓶表面图片中的表面缺陷框出；

根据所述检测矩形框与预设的标注矩形框计算IoU值，若所述IoU值大于预设的IoU阈值，则判断为所述深度学习神经网络检测成功，否则判断为所述深度学习神经网络检测失败。

根据本发明的一些实施例，所述酒瓶表面图片包含至少一个所述表面缺陷信息。

根据本发明的一些实施例，所述深度学习神经网络包括卷积层、RPN层、第一池化层、第二池化层、第三池化层、第一全连接层、第二全连接层、第三全连接层，所述第一全连接层的输出信息为所述第二池化层的输入信息，所述第二全连接层的输出信息为所述第三池化层的输入信息。

根据本发明的一些实施例，所述第一池化层、所述第二池化层、所述第三池化层预设的所述IoU阈值各不相同，所述第一全连接层、所述第二全连接层、所述第三全连接层均执行以下步骤：

基于所述深度学习神经网络中的所述检测矩形框将所述酒瓶表面图片中的表面缺陷框出；

根据所述检测矩形框与预设的所述标注矩形框计算IoU值，若所述IoU值大于预设的IoU阈值，则输出所述检测矩形框。

根据本发明的一些实施例，所述表面缺陷信息包括以下任意一种：

所述表面缺陷的类别；所述表面缺陷的类别名；表示所述表面缺陷的位置对应的检测矩形框；所述深度学习神经网络的置信度排名及数值；判定结果。

根据本发明的第二方面实施例的电子装置，包括：存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面中任一项所述的酒瓶表面缺陷检测方法。

由于本发明实施例的一种电子装置执行如本发明第一方面中任一项所述的酒瓶表面缺陷检测方法，因此具有本发明第一方面的所有有益效果。

根据本发明的第三方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如本发明第一方面中任一项所述的酒瓶表面缺陷检测方法。

由于本发明实施例的计算机可读存储介质上存储有用于执行如本发明第一方面中任一项所述的酒瓶表面缺陷检测方法的计算机可执行指令，因此具有本发明第一方面的所有有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种酒瓶表面缺陷检测方法的流程图；

图2为本发明实施例提供的一种酒瓶表面缺陷检测方法的基于所获取到的酒瓶表面图片得到训练数据集这一步骤之后的流程图；

图3为本发明实施例提供的一种酒瓶表面缺陷检测方法的构建卷积神经网络并基于所述训练数据集训练卷积神经网络，得到深度学习神经网络这一步骤的流程图；

图4为本发明实施例提供的一种酒瓶表面缺陷检测方法的将待检测的酒瓶表面图片输入到深度学习神经网络，以获得待检测的酒瓶表面图片对应的表面缺陷信息这一步骤的流程图；

图5为本发明实施例提供的一种酒瓶表面缺陷检测方法的深度学习神经网络的整体网络结构图；

图6为本发明实施例提供的一种电子装置的结构示意图。

附图标记：

电子装置100、处理器101、存储器102。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，多个的含义是两个以上。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明提供了一种酒瓶表面缺陷检测方法、电子装置及存储介质，首先使用Faster R-CNN和Cascade R-CNN网络作为瓶装酒瓶表面缺陷检测的基础卷积神经网络的结构，同时结合ResNeXt残差网络结构来增加卷积神经网络的深度，提升卷积神经网络提取深层次特征能力，再搭配FPN网络结构来提取更好的特征信息，从而提高卷积神经网络最终的检测效果；然后对酒瓶表面缺陷的训练数据集进行数据增强以扩增训练数据的数量，使用训练数据集对卷积神经网络进行训练，得到具有酒瓶表面缺陷检测能力的深度学习神经网络，然后，将待检测的酒瓶表面图片输入深度学习神经网络，并且人为使用标注矩形框将酒瓶表面图片中的表面缺陷框出，表示缺陷的实际位置，深度学习神经网络寻找酒瓶表面图片中的表面缺陷并用检测矩形框将其框出，然后计算检测矩形框与标注矩形框的I oU值，若IoU值大于预设的IoU阈值，则认为检测成功，判断为正例，否则检测失败并判断为负例，最后深度学习神经网络输出表面缺陷信息。

参照图6，为本发明第一方面实施例提供的一种电子装置100，包括存储器 102、处理器101，图6中以一个处理器101和一个存储器102为例。

处理器和存储器可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器102作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器102可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器102可选包括相对于处理器远程设置的存储器102，这些远程存储器可以通过网络连接至该电子装置100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域技术人员可以理解，图6中示出的装置结构并不构成对电子装置100 的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

参照图1和图6所示，在本发明第一方面实施例的电子装置中，电子装置 100中处理器101可以用于调用存储器102中存储的酒瓶表面缺陷检测方法，并执行以下步骤：

S110、基于所获取到的酒瓶表面图片得到训练数据集；

S120、构建卷积神经网络并基于训练数据集训练卷积神经网络，得到深度学习神经网络；

S130、将待检测的酒瓶表面图片输入到深度学习神经网络，以获得待检测的酒瓶表面图片对应的表面缺陷信息。

基于上述电子装置的硬件结构，提出本发明的一种酒瓶表面缺陷检测方法的各个实施例。

参照图1所示，为本发明第二方面实施例的酒瓶表面缺陷检测方法，包括：

S110、基于所获取到的酒瓶表面图片得到训练数据集；

S120、构建卷积神经网络并基于训练数据集训练卷积神经网络，得到深度学习神经网络；

S130、将待检测的酒瓶表面图片输入到深度学习神经网络，以获得待检测的酒瓶表面图片对应的表面缺陷信息。

将检测数据集中的酒瓶表面图片输入卷积神经网络，从而对卷积神经网络进行训练，每一次训练产生一个检测模型，然后卷积神经网络计算得到损失函数最小的检测模型，损失函数最小的检测模型即为本实施例所需的深度学习神经网络，从而得到针对酒瓶表面缺陷具有良好检测能力的深度学习神经网络，然后，将待检测的酒瓶表面图片输入训练好的深度学习神经网络中，深度学习神经网络识别并提取该酒瓶表面图片中的表面缺陷特征，即能得到表面缺陷信息，因此本发明实施例一种酒瓶表面缺陷检测方法能够节省对瓶装酒瓶表面缺陷检测工作的人力物力，并且，本发明实施例中的卷积神经网络具有针对大量检测数据的学习能力，卷积神经网络在训练过程中，能够不断改善卷积神经模型，从而无需人为设计复杂的特征提取算法就能够拥有强大的图像特征提取能力，大大降低智能检测的难度。

参照图2，在本实施例中，步骤S110基于所获取到的酒瓶表面图片得到训练数据集之后，还包括以下步骤：

S111、对酒瓶表面图片进行Y轴镜像翻转；

S112、对酒瓶表面图片进行增强颜色；

S113、对酒瓶表面图片进行增强对比度。

对训练数据集中的图片进行数据增强能够扩展原始的训练数据集，在保证数据精确可靠的前提下，获取新的有效数据，若训练数据集中的瓶装酒瓶数据的缺陷种类多，数据量较少，在训练的过程中容易导致训练好的模型出现对某种缺陷的倾向性，导致部分缺陷的权重较小，未能全面的识别出来，对训练数据集进行数据增强方法能够避免这一问题，其中Y轴镜像是为了改变酒瓶表面缺陷的位置，符合缺陷随意产生的特点，同时又不与原图位置相重合，颜色增强以及对比度增强是为了适应酒瓶图像获取过程中的光线问题，适应不同的光照条件，同时也突出缺陷的轮廓以及与非缺陷区域的差异。

参照图3，在本实施例中，步骤S120构建卷积神经网络并基于训练数据集训练卷积神经网络，得到深度学习神经网络包括以下步骤：

S121、基于Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

S122、基于ResNeXt残差网络结构和FPN网络结构优化卷积神经网络，得到第一卷积神经网络；

S123、基于训练数据集训练第一卷积神经网络，得到深度学习神经网络。

Faster R-CNN网络和Cascade R-CNN网络都是常用的R-CNN神经网络结构，FasterR-CNN网络使用RPN层来替换传统的选择性搜索算法，使得最终的检测速率大幅度提升，但存在如何选择IoU阈值的问题；Cascade R-CNN网络，通过连接多个检测网络来改进模型训练后的预测结果，其中通过设置不同IoU阈值来确定正例样本和负例样本的训练数量来训练检测网络，因此本实施例结合F aster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

传统目标检测算法在预测的时候只利用到最顶层的特征图谱，虽然顶层的特征语义信息丰富，但同时也丧失部分待检测目标的精确位置信息，而低层特征当中却拥有大量精确位置信息，若能合理使用低层特征信息，有利于提升对小物体检测的精度，FPN网络结构的顶层特征输出后不做预测，而是经过上采样之后再与低层特征做融合，最后再进行预测，同时保持每一层之间都是独立预测。通过这种网络结构能够保留低层和高层特征中的有效信息，从而，结合了每一层的特征信息，使所有尺度下的特征都具有丰富的语义信息；

在卷积神经网络中加入ResNeXt残差网络结构使用平行堆叠的残差结构块，在参数数量没有太大改变的情况下去提升检测效果的准确率，然后将网络的输入以及输出相加得到的特征图谱作为残差网络的输出，能够实现在不明显增加参数数量的情况下提升网络模型精确度的目的，同时还因为ResNeXt网络的残差块结构相同，训练网络相应的超参数也会减少，更有利于模型的移植；

本发明实施例在卷积神经网络中搭配FPN网络结构来提取更好的特征信息，再结合ResNeXt残差网络结构来增加整体网络的深度，以此改进模型提取深层次特征的能力，进而提高最终的检测效果。

参照图4，在本实施例中，步骤S130将待检测的酒瓶表面图片输入到深度学习神经网络，以获得待检测的酒瓶表面图片对应的表面缺陷信息包括以下步骤：

S131、基于深度学习神经网络中的检测矩形框将酒瓶表面图片中的表面缺陷框出；

S132、根据检测矩形框与预设的标注矩形框计算IoU值，

S133、若IoU值大于预设的IoU阈值，则判断为S134、深度学习神经网络检测成功，否则判断为S135、深度学习神经网络检测失败。

首先，深度学习神经网络用检测矩形框框出待检测图片中的表面缺陷，并且人为事先用标注矩形框框出待检测图片中的表面缺陷，标注矩形框表示表面缺陷的实际位置，然后计算检测矩形框与标注矩形框的IoU值，将IoU值与预设的I oU阈值进行比较，若IoU值大于IoU阈值，则说明检测矩形框与标注矩形框吻合，深度学习神经网络已成功找出待检测图片中的表面缺陷，否则说明检测矩形框与标注矩形框不吻合，深度学习神经网络检测失败。

参照图3，在本实施例中，酒瓶表面图片包含至少一个表面缺陷信息。如果训练数据集中存在了大量的正常图片，正常图片中并没有需要检测的瓶装酒瓶表面缺陷信息，对模型的训练并没有任何帮助，同时带缺陷的工件也包含正常图片的特征，因此若在训练模型的过程中训练大量的正常图片会造成对模型检测工件表面缺陷能力有所下降，因此为了保证卷积神经网络的检测能力，训练数据集中的图片至少包含一个表面缺陷特征。

参照图5，在本实施例中，深度学习神经网络包括卷积层、RPN层、第一池化层、第二池化层、第三池化层、第一全连接层、第二全连接层、第三全连接层，第一全连接层的输出信息为第二池化层的输入信息，第二全连接层的输出信息为第三池化层的输入信息。将待检测图片的输入深度学习神经网络后，经过卷积层形成特征图谱，并且经过RPN层生成推荐区域，推荐区域表示待检测图片中的表面缺陷的初始预测位置，最后特征图谱和推荐区域一起输入第一池化层进行处理，第一全连接层、第二全连接层、第三全连接层的输出为表面缺陷的种类和表示表面缺陷位置的检测矩形框。

参照图5，在本实施例中，第一池化层、第二池化层、第三池化层预设的IoU 阈值各不相同，第一全连接层、第二全连接层、第三全连接层均执行以下步骤：

基于深度学习神经网络中的检测矩形框将酒瓶表面图片中的表面缺陷框出；

根据检测矩形框与预设的标注矩形框计算IoU值，

若IoU值大于的IoU阈值，则输出检测矩形框。第一池化层、第二池化层、第三池化层处理信息的IoU阈值被设置为不同值，数值从低到高，IoU阈值表示对检测矩形框的准确度要求，其数值越高，对检测矩形框的准确度要求越高，由于第二池化层预设的IoU阈值比第一池化层预设的IoU阈值高，所以第一池化层和第一全连接层通过调整检测矩形框的位置，给第二池化层输出一个适合更高I oU阈值要求的检测矩形框，从而第二全连接层输出的检测矩形框与第一全连接层输出的检测矩形框相比，其准确度更高，更接近图片中表面缺陷的实际位置，第二全连接层与第三池化层的工作原理同上，通过级联的池化层与全连接层可使每次检测矩形框的精度都有所提高，越来越接近图片中表面缺陷的实际位置，从而提升深度学习神经网络的检测精度。

在本实施例中，表面缺陷信息包括以下任意一种：

表面缺陷的类别；表面缺陷的类别名；表示表面缺陷的位置对应的检测矩形框；深度学习神经网络的置信度排名及数值；判定结果。本实施例涉及的瓶装酒瓶表面缺陷类别包含瓶盖破损、瓶盖变形、瓶盖坏边、瓶盖打旋、瓶盖断点、标贴歪斜、标贴起皱、标贴气泡、喷码异常、喷码正常共十类；深度学习神经网络的置信度排名及其数值表示当前模型的准确度，可以作为提高深度学习神经网络的检测准确度的参考数据；判定结果表示卷积神经网络是否已准确找出当前图片中的表面缺陷。

本发明第三方面实施例的计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如上述第二方面实施例所述的酒瓶表面缺陷检测方法。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种酒瓶表面缺陷检测方法，其特征在于，包括：

基于所获取到的酒瓶表面图片得到训练数据集；

基于Faster R-CNN网络和Cascade R-CNN网络构建卷积神经网络；

基于ResNeXt残差网络结构和FPN网络结构优化所述卷积神经网络，得到第一卷积神经网络；

基于所述训练数据集训练所述第一卷积神经网络，得到深度学习神经网络，其中，所述深度学习神经网络包括卷积层、RPN层、第一池化层、第二池化层、第三池化层、第一全连接层、第二全连接层、第三全连接层，所述第一全连接层的输出信息为所述第二池化层的输入信息，所述第二全连接层的输出信息为所述第三池化层的输入信息所述第一池化层、所述第二池化层、所述第三池化层预设的IoU阈值各不相同，所述第一全连接层、所述第二全连接层、所述第三全连接层均执行以下步骤：基于所述深度学习神经网络中的检测矩形框将所述酒瓶表面图片中的表面缺陷框出；根据所述检测矩形框与预设的标注矩形框计算IoU值，若所述IoU值大于预设的所述IoU阈值，则输出所述检测矩形框；

将待检测的酒瓶表面图片输入到所述深度学习神经网络，以获得待检测的所述酒瓶表面图片对应的表面缺陷信息。

2.根据权利要求1所述的一种酒瓶表面缺陷检测方法，其特征在于，所述基于所获取到的酒瓶表面图片得到训练数据集之后，还包括以下步骤：

对所述酒瓶表面图片进行Y轴镜像翻转；

对所述酒瓶表面图片进行增强颜色；

对所述酒瓶表面图片进行增强对比度。

3.根据权利要求1所述的一种酒瓶表面缺陷检测方法，其特征在于，所述将待检测的酒瓶表面图片输入到所述深度学习神经网络，以获得待检测的所述酒瓶表面图片对应的表面缺陷信息包括以下步骤：

基于所述深度学习神经网络中的所述检测矩形框将所述酒瓶表面图片中的表面缺陷框出；

根据所述检测矩形框与预设的所述标注矩形框计算所述IoU值，若所述IoU值大于预设的所述IoU阈值，则判断为所述深度学习神经网络检测成功，否则判断为所述深度学习神经网络检测失败。

4.根据权利要求1所述的一种酒瓶表面缺陷检测方法，其特征在于，所述酒瓶表面图片包含至少一个所述表面缺陷信息。

5.根据权利要求3所述的一种酒瓶表面缺陷检测方法，其特征在于，所述表面缺陷信息包括以下任意一种：所述表面缺陷的类别；所述表面缺陷的类别名；表示所述表面缺陷的位置对应的检测矩形框；所述深度学习神经网络的置信度排名及数值；判定结果。

6.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至5中任一项所述的酒瓶表面缺陷检测方法。

7.计算机可读存储介质，存储有计算机可执行指令，其特征在于：所述计算机可执行指令用于执行如权利要求1至5中任一项所述的酒瓶表面缺陷检测方法。