CN111709948B - 容器瑕疵检测方法和装置 - Google Patents

容器瑕疵检测方法和装置 Download PDF

Info

Publication number
CN111709948B
CN111709948B CN202010834459.7A CN202010834459A CN111709948B CN 111709948 B CN111709948 B CN 111709948B CN 202010834459 A CN202010834459 A CN 202010834459A CN 111709948 B CN111709948 B CN 111709948B
Authority
CN
China
Prior art keywords
container
image sample
training
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010834459.7A
Other languages
English (en)
Other versions
CN111709948A (zh
Inventor
陈海波
方娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Xunshi Technology Shanghai Co ltd
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202010834459.7A priority Critical patent/CN111709948B/zh
Publication of CN111709948A publication Critical patent/CN111709948A/zh
Application granted granted Critical
Publication of CN111709948B publication Critical patent/CN111709948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种容器瑕疵检测方法和装置，其中，该方法包括以下步骤：对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；对无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本；对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集；根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。由此，能够合理利用有限资源获取更多有效的样本数据，提高容器瑕疵检测的准确性。

Description

容器瑕疵检测方法和装置
技术领域
本发明涉及目标检测识别技术领域，具体涉及一种容器瑕疵检测方法和一种容器瑕疵检测装置。
背景技术
目前，应用于工业检测领域的传统机器视觉系统依赖于工业相机中受保护的数字传感器以及用于拍摄图像的专用光学元件，然后这些图像数据使用专业的软件（Halcon）处理、分析、测量各种特征以便做出决定。传统的机器视觉系统使用规则算法，对于处理一致且制造精良的部件位置和方向的定位能够可靠地运行，通过与规定的公差进行对比，对于药瓶上的一些规律性的异常，如是否有安全密封、加盖或药液高度测量等，能够程序化得解决，比原始的人工检测能带来效益上的大幅度提高。其中，传统的视觉检测算法大致可分为5个步骤：特征感知、图像预处理、特征提取、特征筛选、推理预测与识别。
然而，手工设计特征需要大量的经验，需要对这个领域和数据特别了解，然后设计出特征还需要大量的调试工作，还要在此基础上有一个比较合适的分类器的算法。因此，传统的目标检测算法具有很强的目标特定性，泛化能力及鲁棒性差。而在现场实际应用中遇到如光照背景变化或药瓶瓶身瓶内出现类型、大小、范围、位置均不相同的各种具有随机性异物缺陷时，这类基于传统的规则的机器视觉算法受限较多，不能很好地满足工厂自动化检测定位的要求。
相关技术中，可通过训练卷积神经网络学习目标特征的自动提取以降低人工提取特征的众多弊端。然而，目标检测深度学习算法的成功运用依赖于大量的有效训练样本数据，对于特定领域的目标检测，例如药瓶瓶内异物和瓶身缺陷检测来说，已有的目标检测开源数据无法适用，仅有厂家提供的少量无缺陷药瓶数据，造成了算法训练的巨大瓶颈。
发明内容
本发明为解决上述技术问题，提供了一种容器瑕疵检测方法，在特定领域、训练样本数据极度匮乏的情况下，能够合理利用有限资源获取更多有效的样本数据，以为神经网络训练提供更多的数据支持，从而提高容器瑕疵检测的准确性。
本发明采用的技术方案如下：
一种容器瑕疵检测方法包括以下步骤：对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；对无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本；对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集；根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本，包括：在开源的缺陷检测数据库中截取瓶身有缺陷的容器图像；对所述容器图像进行缩放和旋转处理；通过泊松融合的图像融合方式将处理后的容器图像和所述无瑕疵的容器的图像样本进行融合，以生成所述第一容器图像样本。
对所述第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本，包括：通过泊松融合的图像融合方式将处理后的容器图像和所述第二容器图像样本进行融合，以生成所述第三容器图像样本。
根据所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本生成容器瑕疵检测数据集，包括：采用labelImg工具对所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本进行单类别的缺陷框标注，并筛除未成功标注缺陷框的图像样本，以生成所述容器瑕疵检测数据集。
根据所述容器瑕疵检测数据集对神经网络进行训练之前，包括：采用RegNet网络代替RetinaNet算法中的ResNet主干网络，以对所述RetinaNet算法进行改进，并将改进后的RetinaNet算法作为所述神经网络对应的算法。
根据所述容器瑕疵检测数据集对神经网络进行训练，包括：将所述容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集；根据所述第一训练集对所述神经网络进行迭代训练，并在每次迭代训练完成后，计算所述验证集的平均精度均值；根据所述平均精度均值判断所述神经网络的训练是否结束。
根据所述平均精度均值判断所述神经网络的训练是否结束，包括：判断所述平均精度均值是否大于上一轮迭代训练完成时计算出的所述验证集的平均精度均值；如果是，则判断所述神经网络的训练未结束；如果否，则判断所述神经网络的训练结束，并将上一轮迭代训练得到的算法模型作为所述容器瑕疵检测算法模型。
根据所述第一训练集对所述神经网络进行迭代训练，包括：对所述第一训练集进行色彩抖动以及R-Stitch拼接操作，以生成第二训练集；将所述第二训练集作为所述神经网络的输入，以对所述神经网络进行迭代训练。
一种容器瑕疵检测装置，包括：第一处理模块，第一处理模块用于对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；获取模块，获取模块用于获取容器内有异物但瓶身无缺陷的第二容器图像样本，其中，第二容器图像样本为对无瑕疵的容器进行人工处理后生成的图像样本；第二处理模块，第二处理模块用于对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；生成模块，生成模块用于根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集；训练模块，训练模块用于根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；检测模块，检测模块用于根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的容器瑕疵检测方法。
本发明的有益效果：
本发明在特定领域、训练样本数据极度匮乏的情况下，能够合理利用有限资源获取更多有效的样本数据，以为神经网络训练提供更多的数据支持，从而提高容器瑕疵检测的准确性。
附图说明
图1为本发明实施例的容器瑕疵检测方法的流程图；
图2a-2c为本发明一个具体实施例的瓶身有缺陷的容器图像、第一容器图像样本和第二容器图像样本的示意图；
图3为本发明一个具体实施例的R-Stitch拼接操作的示意图；
图4为本发明一个具体实施例的容器瑕疵检测方法的流程图；
图5为本发明实施例的容器瑕疵检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的容器瑕疵检测方法的流程图。其中，容器可为药瓶等。
如图1所示，本发明实施例的容器瑕疵检测方法包括以下步骤：
S1，对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本。
根据本发明的一个实施例，对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本，包括：在开源的缺陷检测数据库中截取瓶身有缺陷的容器图像；对容器图像进行缩放和旋转处理；通过泊松融合的图像融合方式将处理后的容器图像和无瑕疵的容器的图像样本进行融合，以生成第一容器图像样本。
具体而言，首先，可在开源的缺陷检测竞赛（例如，天池瓶装白酒疵品质检智能算法赛）数据库中截取的缺陷块（即，瓶身有缺陷的容器图像），其次，对有缺陷的容器图像进行随机的长宽尺度缩放，例如，缩放尺度为10~100个像素点的随机数值，并随机旋转一定的角度，然后，通过泊松融合的图像融合方式将处理后的容器图像融合到无瑕疵的容器的图像样本的瓶身位置上，以生成第一容器图像样本。
S2，对无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本。
具体而言，人工向有限的无瑕疵的药瓶中随机加入毛发、玻璃碎渣、金属屑等异物进行瓶内异物药瓶的制作，并采用200mm*200mm的面阵光源进行打光，采用工业相机背光拍摄以获取多角度的药瓶瓶内异物图像，并通过软件工具截取像素值大小为640*1000的ROI区域作为后续融合使用到的图像样本。
3，对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本。
根据本发明的一个实施例，对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本，包括：通过泊松融合的图像融合方式将处理后的容器图像和第二容器图像样本进行融合，以生成第三容器图像样本。
具体而言，首先，可在开源的缺陷检测竞赛（例如，天池瓶装白酒疵品质检智能算法赛）数据库中截取的缺陷块（即，瓶身有缺陷的容器图像），如图2a所示，其次，对有缺陷的容器图像进行随机的长宽尺度缩放，例如，缩放尺度为10~100个像素点的随机数值，并随机旋转一定的角度，然后，通过泊松融合的图像融合方式将处理后的容器图像融合到第二容器图像样本的瓶身位置上，以生成第三容器图像样本，其中，第二容器图像样本和第三容器图像样本如图2b和2c所示。
S4，根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集。
根据本发明的一个实施例，根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集，包括：采用labelImg工具对第一容器图像样本、第二容器图像样本和和第三容器图像样本进行单类别的缺陷框标注，并筛除未成功标注缺陷框的图像样本，以生成容器瑕疵检测数据集。
具体而言，在获取到第一容器图像样本、第二容器图像样本和第三容器图像样本后，可使用labelImg工具对第一容器图像样本、第二容器图像样本和第三容器图像样本进行单类别的缺陷框标注（本发明实施例中暂时不考虑缺陷类别，所以只标注单类别），并筛除无法有效标注缺陷框的图像样本，最终得到了若干药瓶瓶内异物和瓶身缺陷图像及一一对应生成的标签文件，即容器瑕疵检测数据集。其中，标签文件的每行表示一个目标，其中，标签文件的格式为：[类别标号x y w h]，其中，x表示标框的中心点横坐标相对图像的宽的归一化值，y表示标框的中心点纵坐标相对图像的高的归一化值，w表示标框的宽相对图像的宽的归一化值，h表示标框的高相对图像的高的归一化值。
S5，根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型。
S6，根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
具体而言，本发明实施例中，针对瓶内异物数据，采用人工制造的方法获取，即，人为地向有限的无瑕疵药瓶中加入毛发、玻璃碎渣、金属屑等异物，并在面阵光源打光下采用工业相机进行背光拍摄以获取多角度图像，并通过软件工具进行截取，以获取第二容器图像样本；针对瓶身缺陷数据，采用泊松融合的图像融合方法，将由开源的缺陷检测竞赛数据库中截取的缺陷块分别融入无瑕疵的容器的图像样本和已拍摄获取的第二容器图像样本中，以生成第一容器图像样本和第三容器图像样本。然后，根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集，并根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型，最后，根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
由此，在特定领域、训练样本数据极度匮乏的情况下，采取人工制造瓶内异物数据和泊松融合瓶身缺陷数据的手段，能够合理利用有限资源获取更多有效的样本数据，为神经网络训练提供更多的数据支持，解决了后续算法训练的巨大瓶颈，从而大大提高了容器瑕疵检测的准确性。
下面结合具体实施例来详细说明如何根据容器瑕疵检测数据集对神经网络进行训练。
需要说明的是， 根据本发明的一个实施例，根据容器瑕疵检测数据集对神经网络进行训练之前，包括：采用RegNet网络代替RetinaNet算法中的ResNet主干网络，以对RetinaNet算法进行改进，并将改进后的RetinaNet算法作为神经网络对应的算法。
具体而言，可对现有技术中的RetinaNet算法进行改进，并将改进后的RetinaNet算法作为神经网络对应的算法。其中，可采用RegNet网络代替RetinaNet算法中的ResNet主干网络，即根据现有的硬件内存条件，选择合适参数量的RegNet-X作为RetinaNet算法中的主干网络部分，并加载官方的预训练权重作为网络的初始参数。
也就是说，本发明实施例中，可采用改进的神经网络RetinaNet算法作为检测模型，从而使得检测方法在有限的硬件资源的情况下能够达到检测速度和精度最大的均衡。
进一步而言，根据本发明的一个实施例，根据容器瑕疵检测数据集对神经网络进行训练，包括：将容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集；根据第一训练集对神经网络进行迭代训练，并在每次迭代训练完成后，计算验证集的平均精度均值；根据平均精度均值判断神经网络的训练是否结束。
根据本发明的一个实施例，根据平均精度均值判断神经网络的训练是否结束，包括：判断平均精度均值是否大于上一轮迭代训练完成时计算出的验证集的平均精度均值；如果是，则判断神经网络的训练未结束；如果否，则判断神经网络的训练结束，并将上一轮迭代训练得到的算法模型作为容器瑕疵检测算法模型。
具体而言，首先，可将容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集，例如，第一训练集和验证集的划分比例可为4:1，其次，可根据第一训练集对神经网络进行迭代训练，以及在每次迭代训练完成后，计算验证集的平均精度均值mAPt，直到平均精度均值不再增加时结束训练，即，将平均精度均值mAPt与上一轮迭代训练完成时计算出的验证集的平均精度均值mAPt-1进行比较，如果平均精度均值mAPt大于上一轮迭代训练完成时计算出的验证集的平均精度均值mAPt-1，则判断神经网络的训练未结束，因此可继续对神经网络进行训练，如果平均精度均值mAPt小于或等于上一轮迭代训练完成时计算出的验证集的平均精度均值mAPt-1，则判断神经网络的训练结束，此时，可将上一轮迭代训练得到的算法模型作为容器瑕疵检测算法模型。
需要说明的是，作为另一种可能的实施方式，在将第一训练集输入神经网络之前，还可对第一训练集进行处理，以生成第二训练集，并将第二训练集作为输入对神经网络进行训练。
对应的，根据第一训练集对神经网络进行迭代训练，包括：对第一训练集进行色彩抖动以及R-Stitch拼接操作，以生成第二训练集；将第二训练集作为神经网络的输入，以对神经网络进行迭代训练。
具体而言，将输入神经网络的第一训练集进行在线的色彩抖动，例如亮度（-0.1~0.1随机）、色度（以0.5的随机概率决定深浅）、对比度（以0.5的随机概率决定强弱）调节，并进行R-Stitch拼接操作，即，如图3所示，从第一训练集中随机选择一张图像与已定图像进行缩放，两张图片的缩放比例服从β（1.5，1.5）分布，将缩放后的图像进行水平方向的拼接，拼接后的图像宽即为两者宽之和，统一拼接后的图像高为两者的最大值，多余的空白处的像素为0，并将两者的标签进行合并，舍弃像素值大小或小于10*10的框标签，作为神经网络的最终训练输入。
由此，间接增加了训练的batch数同时，均衡了不同尺度物体在训练过程中的分布，取代了低效的多尺度训练方式，节省了内存空间的利用，并且由于拼接图像的选择组合是随机的，增加了样本的多样性，有效地防止了网络训练过程中过拟合现象的发生，同时增加了最终算法模型对输入检测数据的尺度大小的鲁棒性。
为使本领域技术人员更清楚的了解本发明，下面结合本发明的具体示例来做进一步说明。
具体地，如图4所示，本发明一个实施例的容器瑕疵检测方法，可包括以下步骤：
S401，对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本。其中，可在开源的缺陷检测数据库中截取瓶身有缺陷的容器图像，并对容器图像进行缩放和旋转处理，以及通过泊松融合的图像融合方式将处理后的容器图像和无瑕疵的容器的图像样本进行融合，以生成第一容器图像样本。
S402，对无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本。
S403，对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本。其中，可在开源的缺陷检测数据库中截取瓶身有缺陷的容器图像，并对容器图像进行缩放和旋转处理，以及通过泊松融合的图像融合方式将处理后的容器图像和第二容器图像样本进行融合，以生成第三容器图像样本。
S404，采用labelImg工具对第一容器图像样本、第二容器图像样本和第三容器图像样本进行单类别的缺陷框标注，并筛除未成功标注缺陷框的图像样本，以生成容器瑕疵检测数据集。
S405，将容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集。
S406，对第一训练集进行色彩抖动以及R-Stitch拼接操作，以生成第二训练集。
S407，将第二训练集作为神经网络的输入，以对神经网络进行迭代训练，并在每次迭代训练完成后，计算验证集的平均精度均值。其中，可将改进后的RetinaNet算法作为神经网络对应的算法。
S408，判断平均精度均值是否大于上一轮迭代训练完成时计算出的验证集的平均精度均值。如果是，则返回执行步骤S407；如果否，则执行步骤S409。
S409，判断神经网络的训练结束，并将上一轮迭代训练得到的算法模型作为容器瑕疵检测算法模型。
S410，根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
综上所述，根据本发明实施例的容器瑕疵检测方法，对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本，以及对无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本，并对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本，以及根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集，并根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型，以及根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。由此，在特定领域、训练样本数据极度匮乏的情况下，能够合理利用有限资源获取更多有效的样本数据，以为神经网络训练提供更多的数据支持，从而提高容器瑕疵检测的准确性。
对应上述实施例的容器瑕疵检测方法，本发明还提出一种容器瑕疵检测装置。
如图5所示，本发明实施例的容器瑕疵检测装置可包括：第一处理模块100、获取模块200、第二处理模块300、生成模块400、训练模块500和检测模块600。
其中，第一处理模块100用于对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；获取模块200用于获取容器内有异物但瓶身无缺陷的第二容器图像样本，其中，第二容器图像样本为对无瑕疵的容器进行人工处理后生成的图像样本；第二处理模块300用于对第二容器图像样本进行处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；生成模块400用于根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集；训练模块500用于根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；检测模块600用于根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
根据本发明的一个实施例，第一处理模块100具体用于：在开源的缺陷检测数据库中截取瓶身有缺陷的容器图像；对容器图像进行缩放和旋转处理；通过泊松融合的图像融合方式将处理后的容器图像和无瑕疵的容器的图像样本进行融合，以生成第一容器图像样本。
根据本发明的一个实施例，第二处理模块300具体用于：通过泊松融合的图像融合方式将处理后的容器图像和第二容器图像样本进行融合，以生成第三容器图像样本。
根据本发明的一个实施例，生成模块400具体用于：采用labelImg工具对第一容器图像样本、第二容器图像样本和第三容器图像样本进行单类别的缺陷框标注，并筛除未成功标注缺陷框的图像样本，以生成容器瑕疵检测数据集。
根据本发明的一个实施例，训练模块500在根据容器瑕疵检测数据集对神经网络进行训练之前，还用于：将改进后的RetinaNet算法作为神经网络对应的算法，其中，采用RegNet网络代替RetinaNet算法中的ResNet主干网络，以对RetinaNet算法进行改进。
根据本发明的一个实施例，训练模块500具体用于：将容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集；根据第一训练集对神经网络进行迭代训练，并在每次迭代训练完成后，计算验证集的平均精度均值；根据平均精度均值判断神经网络的训练是否结束。
根据本发明的一个实施例，训练模块500具体用于：判断平均精度均值是否大于上一轮迭代训练完成时计算出的验证集的平均精度均值；如果是，则判断神经网络的训练未结束；如果否，则判断神经网络的训练结束，并将上一轮迭代训练得到的算法模型作为容器瑕疵检测算法模型。
根据本发明的一个实施例，训练模块500具体用于：对第一训练集进行色彩抖动以及R-Stitch拼接操作，以生成第二训练集；将第二训练集作为神经网络的输入，以对神经网络进行迭代训练。
需要说明的是，本发明实施例的容器瑕疵检测装置更具体的实施方式可参照上述容器瑕疵检测方法的实施例，在此不再赘述。
根据本发明实施例的容器瑕疵检测装置，第一处理模块对无瑕疵的容器的图像样本进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本，以及通过获取模块获取容器内有异物但瓶身无缺陷的第二容器图像样本，其中，第二容器图像样本为对无瑕疵的容器进行人工处理后生成的图像样本，并通过处理模块对第二容器图像样本进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本，以及通过生成模块根据第一容器图像样本、第二容器图像样本和第三容器图像样本生成容器瑕疵检测数据集，并通过训练模块根据容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型，以及通过检测模块根据容器瑕疵检测算法模型对待检测容器进行瑕疵检测。由此，在特定领域、训练样本数据极度匮乏的情况下，能够合理利用有限资源获取更多有效的样本数据，以为神经网络训练提供更多的数据支持，从而提高容器瑕疵检测的准确性。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述实施例的容器瑕疵检测方法。
根据本发明实施例的计算机设备，在特定领域、训练样本数据极度匮乏的情况下，能够合理利用有限资源获取更多有效的样本数据，以为神经网络训练提供更多的数据支持，从而提高容器瑕疵检测的准确性。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种容器瑕疵检测方法，其特征在于，包括以下步骤：
对无瑕疵的容器的图像样本和瓶身有缺陷的容器图像进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；
对所述无瑕疵的容器进行人工处理，以获取容器内有异物但瓶身无缺陷的第二容器图像样本，其中，对所述无瑕疵的容器进行人工处理包括：向所述无瑕疵的容器中随机加入异物；
对所述第二容器图像样本和所述瓶身有缺陷的容器图像进行所述图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；
根据所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本生成容器瑕疵检测数据集；
根据所述容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；
根据所述容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
2.根据权利要求1所述的容器瑕疵检测方法，其特征在于，对无瑕疵的容器的图像样本和瓶身有缺陷的容器图像进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本，包括：
在开源的缺陷检测数据库中截取所述瓶身有缺陷的容器图像；
对所述容器图像进行缩放和旋转处理；
通过泊松融合的图像融合方式将处理后的容器图像和所述无瑕疵的容器的图像样本进行融合，以生成所述第一容器图像样本。
3.根据权利要求2所述的容器瑕疵检测方法，其特征在于，对所述第二容器图像样本和所述瓶身有缺陷的容器图像进行图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本，包括：
在开源的缺陷检测数据库中截取所述瓶身有缺陷的容器图像；
对所述容器图像进行缩放和旋转处理；
通过所述泊松融合的图像融合方式将所述处理后的容器图像和所述第二容器图像样本进行融合，以生成所述第三容器图像样本。
4.根据权利要求1所述的容器瑕疵检测方法，其特征在于，根据所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本生成容器瑕疵检测数据集，包括：
采用labelImg工具对所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本进行单类别的缺陷框标注，并筛除未成功标注缺陷框的图像样本，以生成所述容器瑕疵检测数据集。
5.根据权利要求1所述的容器瑕疵检测方法，其特征在于，根据所述容器瑕疵检测数据集对神经网络进行训练之前，包括：
采用RegNet网络代替RetinaNet算法中的ResNet主干网络，以对所述RetinaNet算法进行改进，并将改进后的RetinaNet算法作为所述神经网络对应的算法。
6.根据权利要求5所述的容器瑕疵检测方法，其特征在于，根据所述容器瑕疵检测数据集对神经网络进行训练，包括：
将所述容器瑕疵检测数据集按照预设比例随机划分为第一训练集和验证集；
根据所述第一训练集对所述神经网络进行迭代训练，并在每次迭代训练完成后，计算所述验证集的平均精度均值；
根据所述平均精度均值判断所述神经网络的训练是否结束。
7.根据权利要求6所述的容器瑕疵检测方法，其特征在于，根据所述平均精度均值判断所述神经网络的训练是否结束，包括：
判断所述平均精度均值是否大于上一轮迭代训练完成时计算出的所述验证集的平均精度均值；
如果是，则判断所述神经网络的训练未结束；
如果否，则判断所述神经网络的训练结束，并将上一轮迭代训练得到的算法模型作为所述容器瑕疵检测算法模型。
8.根据权利要求6所述的容器瑕疵检测方法，其特征在于，根据所述第一训练集对所述神经网络进行迭代训练，包括：
对所述第一训练集进行色彩抖动以及R-Stitch拼接操作，以生成第二训练集；
将所述第二训练集作为所述神经网络的输入，以对所述神经网络进行迭代训练。
9.一种容器瑕疵检测装置，其特征在于，包括：
第一处理模块，所述第一处理模块用于对无瑕疵的容器的图像样本和瓶身有缺陷的容器图像进行图像融合处理，以生成容器内无异物但瓶身有缺陷的第一容器图像样本；
获取模块，所述获取模块用于获取容器内有异物但瓶身无缺陷的第二容器图像样本，其中，所述第二容器图像样本为对所述无瑕疵的容器进行人工处理后生成的图像样本，其中，对所述无瑕疵的容器进行人工处理包括：向所述无瑕疵的容器中随机加入异物；
第二处理模块，所述第二处理模块用于对所述第二容器图像样本和所述瓶身有缺陷的容器图像进行所述图像融合处理，以生成容器内有异物且瓶身有缺陷的第三容器图像样本；
生成模块，所述生成模块用于根据所述第一容器图像样本、所述第二容器图像样本和所述第三容器图像样本生成容器瑕疵检测数据集；
训练模块，所述训练模块用于根据所述容器瑕疵检测数据集对神经网络进行训练，以生成容器瑕疵检测算法模型；
检测模块，所述检测模块用于根据所述容器瑕疵检测算法模型对待检测容器进行瑕疵检测。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据权利要求1-8中任一项所述的容器瑕疵检测方法。
CN202010834459.7A 2020-08-19 2020-08-19 容器瑕疵检测方法和装置 Active CN111709948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010834459.7A CN111709948B (zh) 2020-08-19 2020-08-19 容器瑕疵检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010834459.7A CN111709948B (zh) 2020-08-19 2020-08-19 容器瑕疵检测方法和装置

Publications (2)

Publication Number Publication Date
CN111709948A CN111709948A (zh) 2020-09-25
CN111709948B true CN111709948B (zh) 2021-03-02

Family

ID=72546931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010834459.7A Active CN111709948B (zh) 2020-08-19 2020-08-19 容器瑕疵检测方法和装置

Country Status (1)

Country Link
CN (1) CN111709948B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
CN113189109A (zh) * 2021-01-15 2021-07-30 深圳锦绣创视科技有限公司 一种基于人工智能的瑕疵判定系统及瑕疵判定方法
CN112884691B (zh) * 2021-03-10 2024-09-10 深圳中科飞测科技股份有限公司 数据增强及装置、数据增强设备和存储介质
CN113160141A (zh) * 2021-03-24 2021-07-23 华南理工大学 一种钢板表面缺陷检测系统
CN113095400A (zh) * 2021-04-09 2021-07-09 安徽芯纪元科技有限公司 一种用于机器视觉缺陷检测的深度学习模型训练方法
CN114066809A (zh) * 2021-10-11 2022-02-18 安庆师范大学 一种包装盒软边瑕疵检测的方法及装置
CN114092396A (zh) * 2021-10-11 2022-02-25 安庆师范大学 一种包装盒撞角瑕疵检测的方法及装置
CN114119607B (zh) * 2022-01-20 2022-05-13 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN116754484B (zh) * 2023-06-19 2024-01-05 江苏省特种设备安全监督检验研究院 一种非金属内胆纤维缠绕容器的无损检测方法
CN117333467B (zh) * 2023-10-16 2024-05-14 山东景耀玻璃集团有限公司 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统
CN117372275A (zh) * 2023-11-02 2024-01-09 凯多智能科技(上海)有限公司 一种图像数据集扩充方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050607B2 (ja) * 2006-05-09 2012-10-17 オムロン株式会社 検査装置、検査方法、検査プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
CN105869154B (zh) * 2015-09-23 2018-10-16 长沙理工大学 一种250ml医药大输液可见异物与气泡的分类识别检测方法
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN111105391B (zh) * 2019-11-20 2023-05-02 复旦大学 一种基于深度神经网络增广训练的表面缺陷检测方法
CN111145177B (zh) * 2020-04-08 2020-07-31 浙江啄云智能科技有限公司 图像样本生成方法、特定场景目标检测方法及其系统

Also Published As

Publication number Publication date
CN111709948A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709948B (zh) 容器瑕疵检测方法和装置
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN111311542A (zh) 一种产品质量检测方法及装置
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN111861990B (zh) 一种产品不良外观检测的方法、系统及存储介质
US20240095983A1 (en) Image augmentation techniques for automated visual inspection
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN113554630A (zh) 芯片表面缺陷检测方法、系统、计算机设备和存储介质
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN117495786A (zh) 缺陷检测元模型构建方法、缺陷检测方法、设备及介质
CN115601341A (zh) Pcba板缺陷检测方法、系统、设备、介质及产品
CN115222705A (zh) 基于改进yolov5的化纤丝饼外观缺陷检测方法
CN115023603A (zh) 不良图片缺陷等级识别的方法、装置及存储介质
US20240296661A1 (en) Method of analyzing a component, method of training a system, apparatus, computer program, and computer-readable storage medium
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN114627114B (zh) 产品缺陷严重程度测量方法及系统及装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220329

Address after: Building C, No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Shenlan Intelligent Technology (Shanghai) Co.,Ltd.

Address before: 213000 No.103, building 4, Chuangyan port, Changzhou science and Education City, No.18, middle Changwu Road, Wujin District, Changzhou City, Jiangsu Province

Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240726

Address after: No. 101, Building A, 588 Shengang Road, Xinqiao Town, Songjiang District, Shanghai, 201600

Patentee after: Shenlan Xunshi Technology (Shanghai) Co.,Ltd.

Country or region after: China

Address before: Building C, No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee before: Shenlan Intelligent Technology (Shanghai) Co.,Ltd.

Country or region before: China