CN113538417A - 基于多角度和目标检测的透明容器缺陷检测方法及装置 - Google Patents
基于多角度和目标检测的透明容器缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN113538417A CN113538417A CN202110975940.2A CN202110975940A CN113538417A CN 113538417 A CN113538417 A CN 113538417A CN 202110975940 A CN202110975940 A CN 202110975940A CN 113538417 A CN113538417 A CN 113538417A
- Authority
- CN
- China
- Prior art keywords
- transparent container
- detected
- defect
- angle
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 137
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003631 expected effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- -1 cracks Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于多角度和目标检测的透明容器缺陷检测方法及装置。本发明方法包括：多角度获取待测透明容器不同部位的系列原始图像；应用深度学习目标检测方法，以待测透明容器的缺陷为检测目标，对系列原始图像进行检测；通过机器视觉方法对系列原始图像中检测出的缺陷的参数进行计算，并统计同一待测透明容器的所有缺陷数据；根据预设的过滤参数，对待测透明容器的缺陷数据进行过滤，判定待测透明容器是否合格。本发明装置包括取图模块、目标检测模块、计算模块及判定模块。本发明利用深度学习目标检测方法，配合多角度获取图像，可以检测形态各异的透明容器，扩大了检测方法与装置的适用范围，提高了检测的准确性和全面性。
Description
技术领域
本发明涉及包装行业的透明容器制品的检测设备，具体地说是一种基于多角度和目标检测的透明容器缺陷检测方法及装置。
背景技术
透明容器，例如玻璃容器，在包装行业被广泛使用。玻璃因其稳定、环保等各种优点被广泛应用于包装行业，如酒类、化妆品、食品、医学药品的包装等。玻璃容器因其生产工艺的原因，常常伴有气泡、结石、裂纹、料印、烧伤等缺陷。
目前，因玻璃容器产品形态各异，缺陷种类繁多，常用人工目测全检的方法来做质量把关，需要耗费大量人工成本。并且，人的个性差异、心理定势、视力好坏、疲劳状态等因素都会影响检测的判断结果，因此漏检率较高。
当前市场上已经有一些用视觉方法对玻璃容器进行检测的应用案例，如以啤酒瓶、管制瓶为主的形态统一的玻璃瓶的视觉检测机，但其视觉方法都是用的传统机器视觉方案。传统视觉算法对于形态规整，且统一规格的玻璃容器检测有不错的效果。但是对于经常更换的瓶子样式，则显得无能为力，或者设置十分繁琐。当光照发生些许偏差时，传统算法很容易发生误判。
发明内容
本发明针对现有的玻璃容器检测方法无法检测形态各异的透明容器的问题，提供一种通用性高的基于多角度和目标检测的透明容器缺陷检测方法及装置。
第一方面，本发明提供了一种基于多角度和目标检测的透明容器缺陷检测方法，包括：
多角度获取待测透明容器不同部位的系列原始图像；
应用深度学习目标检测方法，以待测透明容器的缺陷为检测目标，对系列原始图像进行检测；
通过机器视觉方法对系列原始图像中检测出的缺陷的参数进行计算，并统计同一待测透明容器的所有缺陷数据；
根据预设的过滤参数，对待测透明容器的缺陷数据进行过滤，判定待测透明容器是否合格。
由于不同品种的透明容器的缺陷类型大多是相似的，本发明所提出的透明容器缺陷检测方法，利用深度学习目标检测方法，配合多角度获取图像，可以绕开透明容器的具体形态，只针对缺陷的特性进行检测，使得同一个检测方法能够检测形态各异的透明容器，提高了检测方法的使用范围。
进一步地，多角度获取待测透明容器不同部位的系列原始图像包括：
让待测透明容器依次通过多个工位，在每个工位上对待测透明容器的一个待测部位进行拍照；
旋转每个工位上的待测透明容器，按照预设数量n，待测透明容器每旋转360°/n角度拍摄一张图像，共取n张图像；或者，在每个工位上在360°范围内布置n个相机，获取n张图像。
通过多个工位、多个角度获取待测透明容器多部位的图像，可以对透明容器进行全方位的检测，避免漏检。
进一步地，深度学习目标检测方法包括：
根据图像属性和缺陷特性，设计并搭建合理的深度学习模型；
用大量图片和标注数据对模型进行训练；
将训练好的模型用于对图像进行缺陷检测。
进一步地，过滤参数包括缺陷类型、面积、光学对比度、球型度、宽度、高度、宽高比、外接矩形面积和角度中的一种或者多种，每种缺陷最大容许数量，以及所有缺陷最大容许数量。
通过选择不同的过滤参数，可以满足不同检测标准的实际应用需求。
进一步地，深度学习目标检测方法的模型训练方法包括：
图片收集和分类；
图片预处理，清洗图片上存在的干扰特征，使得特征更加明显；
确定标注标准，确定标注原则和标注位置；
图片标注，根据已经确定好的标注标准进行标注；
添加已标注图片到训练集，遵循少量多次的原则；
设置训练参数，包括迭代次数、数据自动增强及精度控制相关参数，训练模型；
对模型效果进行测试，根据结果分析优化方案，再次训练，直到模型满足预设要求。
第二方面，本发明还提供了一种基于多角度和目标检测的透明容器缺陷检测装置，包括：
取图模块，用于多角度获取待测透明容器不同部位的系列原始图像；
目标检测模块，用于应用深度学习目标检测方法，以待测透明容器的缺陷为检测目标，对系列原始图像进行检测；
计算模块，用于通过机器视觉方法对系列原始图像中检测出的缺陷的参数进行计算，并统计同一待测透明容器的所有缺陷数据；
判定模块，用于根据预设的过滤参数，对待测透明容器的缺陷数据进行过滤，判定待测透明容器是否合格。
本发明所提出的透明容器缺陷检测装置，通过各个模块的配合，应用深度学习目标检测方法，配合多角度获取图像，使得同一台检测装置能够检测形态各异的透明容器，提高了检测装置的使用范围。
进一步地，取图模块分多个工位对透明容器不同检测部位进行取图，透明容器的不同检测部位包括瓶身、瓶口、瓶底、瓶肩和瓶颈中的一种或者多种；每个工位的取图模块分别包括相机、旋转机构及光源，待测透明容器被放置或固定在旋转机构上，相机与光源按照拍摄部位的不同布置在旋转机构的相应位置；旋转机构带动待测透明容器转动，相机用于拍摄待测透明容器的多角度图像。
通过旋转机构使待测透明容器旋转，从而能获取待测透明容器的多角度图像，便于发现各部位的缺陷，减少漏检率。
进一步地，在检测瓶身或者瓶口缺陷时，光源使用平行背光源，光源正对待测透明容器的瓶身或者瓶口，相机布置在光源的对面；在检测瓶底缺陷时，光源使用白色普通背光，光源正对待测透明容器的瓶身，相机布置在光源的侧下方，从下方侧向拍摄瓶底；在检测瓶肩缺陷时，光源使用白色底部背光或者斜背光，光源位于待测透明容器的侧下方，光线从待测透明容器的底面或侧面经过进入相机，相机布置在待测透明容器另一侧的上方；在检测瓶颈缺陷时，光源使用条形光源，光源位于待测透明容器的侧上方高于瓶口的位置并且照向瓶口，相机布置在待测透明容器另一侧的上方。
通过不同的光源与相机进行配合，检测透明容器相应部位的缺陷，使缺陷更容易地被检测到，从而提高检测效率。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，存储器和处理器电性连接，存储器中存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
第四方面，本发明还提供了一种计算机存储介质，该计算机存储介质内存储有计算机程序，计算机程序被计算机执行时实现上述方法的步骤。
本发明利用深度学习目标检测方法，配合多角度获取图像，可以检测形态各异的透明容器，扩大了检测方法与装置的适用范围，提高了检测的准确性和全面性。本发明结合传统机器视觉的参数计算和过滤功能，可以适应不同检测标准的应用需求。
附图说明
图1为本发明实施例提供的基于多角度和目标检测的透明容器缺陷检测方法的一种流程示意图；
图2为图1所示方法中深度学习目标检测方法的模型训练方法的流程示意图；
图3为本发明实施例提供的基于多角度和目标检测的透明容器缺陷检测装置的结构框图；
图4为本发明实施例提供的电子设备的结构框图；
图5(a)-图5(d)为本发明检测装置中的取图模块的几种具体实施例的结构示意图；
图6(a)-图6(e)为本发明检测装置下拍摄的玻璃瓶各部位缺陷的图像；其中：图6(a)为瓶身缺陷、图6(b)为瓶口缺陷、图6(c)为瓶底缺陷、图6(d) 为颈部缺陷、图6(e)为肩部缺陷。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供了一种基于多角度和目标检测的透明容器缺陷检测方法，用于透明容器(比如说玻璃瓶)的缺陷检测。
图1所示为该基于多角度和目标检测的透明容器缺陷检测方法的一种可选的实施例的流程图。
如图1所示，该基于多角度和目标检测的透明容器缺陷检测方法，包括以下步骤：
S100，多角度获取待测透明容器不同部位的系列原始图像；
S200，应用深度学习目标检测方法，以待测透明容器的缺陷为检测目标，对系列原始图像进行检测；
S300，通过机器视觉方法对系列原始图像中检测出的缺陷的参数进行计算，并统计同一待测透明容器的所有缺陷数据；
S400，根据预设的过滤参数，对待测透明容器的缺陷数据进行过滤，判定待测透明容器是否合格。
由于不同品种的透明容器的缺陷类型大多是相似的，本发明所提出的透明容器缺陷检测方法，利用深度学习目标检测方法，配合多角度获取图像，可以绕开透明容器的具体形态，只针对缺陷的特性进行检测，使得同一个检测方法能够检测形态各异的透明容器，提高了检测方法的使用范围。
可选地，在步骤S100中，多角度获取待测透明容器不同部位的系列原始图像包括以下步骤：
让待测透明容器依次通过多个工位，在每个工位上对待测透明容器的一个待测部位进行拍照；工位可以按照容器的各个待测部位来设置，每个工位可以根据需要采用不同的光源和相机，并布置在相应位置；
旋转被放置或固定在每个工位上的待测透明容器，按照预设数量n，待测透明容器每旋转360°/n角度拍摄一张图像，共取n张图像；具体地，可在每个工位上安装旋转机构，将待测透明容器固定在旋转机构上，通过旋转机构的旋转带动容器转动；
或者，在每个工位上在360°范围内布置n个相机，通过n个相机获取 n张图像。
通过多个工位、多个角度获取待测透明容器多部位的图像，可以对透明容器进行全方位的检测，避免漏检。
可选地，在步骤S200中，深度学习目标检测方法包括：
根据图像属性和缺陷特性，设计并搭建合理的深度学习模型；
用大量图片和标注数据对模型进行训练；
将训练好的模型用于对图像进行缺陷检测。
深度学习是当下机器学习算法领域的热门分支算法，深度学习算法具有较好的学习能力，覆盖范围广，适应性好，大数据驱动，上限高，可移植性好。
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
目标检测方法关注目标的特征，并具有很好的泛化能力，省去了传统机器视觉对不同高度和形状的产品需要重新设置大量参数的情况，且不再像传统机器视觉当光照发生少量变化时，检测结果就容易发生错误。
可选地，在步骤S200中，缺陷包括黑点、脏污、结石、粘瓶、气泡、裂纹、料印、烧伤、冷模、爆口和爆脖中的一种或者多种；缺陷的参数包括缺陷面积、光学对比度、球型度、宽度、高度、宽高比、外接矩形面积和角度中的一种或者多种。缺陷类型和缺陷的参数可以根据实际情况添加。
通过选择缺陷及其参数的种类，可以根据实际情况灵活运用，从而可以适应各种具体的检测要求。
可选地，在步骤S400中，过滤参数包括缺陷类型、面积、光学对比度、球型度、宽度、高度、宽高比、外接矩形面积和角度中的一种或者多种，每种缺陷最大容许数量，以及所有缺陷最大容许数量。
通过选择不同的过滤参数，可以满足不同检测标准的实际应用需求。
对于每一种缺陷都可以添加多个条件，满足其中一个条件的，则被判为不可接收缺陷。每一个条件可以添加多个子条件，每个子条件全部满足，才说明该条件满足。
如图2所示，可选地，在步骤S200中，深度学习目标检测方法的模型训练方法包括：
S201，图片收集和分类；
样本的收集需要达到一定数量，并且样本需要丰富化，缺陷位置、形态要尽量全面。用于标注的数据集需要无偏、全面、尽可能均衡；不同类型的缺陷要注意样本的平衡，但也不需要绝对均衡，对于弱势类要重采样；
S202，图片预处理，清洗图片上存在的干扰特征，使得特征更加明显，如锐化、滤波等；
S203，确定标注标准，确定标注原则和标注位置；
图片中哪些目标是可以标注的，即标注原则，另一个就是标注位置，比如沿外边界还是内边界，间隔几个像素进行标注。确定标注标准时可以参考一些已经成熟的标注规则，如Pascal VOC标注规则。
标注标准一旦确定，所有标注都必须符合这个标准，切不可前后标准不一致。如若要更换标注标准，则必须所有标准都按照新的标准执行；
S204，图片标注，根据已经确定好的标注标准进行标注；
S205，添加标注图片到训练集，遵循少量多次的原则；
S206，设置训练参数，包括迭代次数、数据自动增强(如图片翻转，启用模糊，启用光照变化，尺寸缩放等)及精度控制等相关参数，训练模型；
S207，对模型效果进行测试；测试效果分成以下两种：
S208，达到预期效果，则完成；否则，执行以下步骤；
S209，未达到预期效果，根据结果分析原因，确定优化方案，分别返回步骤S201、S205或者S206，再次训练，直到模型满足预设要求。
效果测试根据准确率(Precision)、召回率(Recall)、F值(F-Measure)确定模型效果，效果达到预期，模型训练完成，得到的模型用于检测中；效果达不到预期，则分析原因，确定优化方案，然后根据优化方案，修改参数或添加样本，重新训练，直至达到预期效果。
通过模型不断优化，使模型的精度更好，效果更优，更能满足检测的要求。
如图3示，本发明还提供了一种基于多角度和目标检测的透明容器缺陷检测装置500，包括：
取图模块501，用于多角度获取待测透明容器不同部位的系列原始图像；
目标检测模块502，用于应用深度学习目标检测方法，以待测透明容器的缺陷为检测目标，对系列原始图像进行检测；
计算模块503，用于通过机器视觉方法对系列原始图像中检测出的缺陷的参数进行计算，并统计同一待测透明容器的所有缺陷数据；
判定模块504，用于根据预设的过滤参数，对待测透明容器的缺陷数据进行过滤，判定待测透明容器是否合格。
本发明所提出的透明容器缺陷检测装置500，通过各个模块的配合，应用深度学习目标检测方法，配合多角度获取图像，使得同一台检测装置能够检测形态各异的透明容器，提高了检测装置的使用范围。
可选地，取图模块501包括相机、旋转机构及光源，待测透明容器被放置或固定在旋转机构上，相机与光源按照拍摄部位的不同布置在旋转机构的相应位置；旋转机构带动待测透明容器转动，相机用于拍摄待测透明容器的多角度图像。
相机可以采用CCD或者CMOS工业相机。旋转机构可以是旋转台，也可以是可旋转的固定或夹取机构。取图模块分多个工位对透明容器不同检测部位进行取图，透明容器的不同检测部位包括瓶身、瓶口、瓶底、瓶肩和瓶颈中的一种或者多种。
通过旋转机构使待测透明容器旋转，从而能获取待测透明容器的多角度图像，便于发现各部位的缺陷，减少漏检率。
下面以玻璃瓶缺陷检测为例来说明本发明透明容器缺陷检测装置500的使用方法。
玻璃瓶缺陷包括瓶身缺陷、瓶口缺陷、瓶底缺陷、颈部缺陷及肩部缺陷等等，针对不同部位的缺陷配置不同的取图机构。图5(a)-图5(d)为检测装置500中的取图模块的几种具体实施例。图中，包括相机701、光源702和玻璃容器800。图6(a)-图6(e)为本发明装置下获取的玻璃瓶各部位缺陷的图像。
在检测瓶身缺陷时，采用如图5(a)所示的取图模块，光源702使用平行背光源，光源702正对待测透明容器800的瓶身，相机701布置在光源702 的对面。平行光透过玻璃容器800，到达工业镜头和相机701，相机701获取图片。瓶身的缺陷会遮挡光线或使光线方向发生偏折，对应地在图像上显示出暗色区域或变形效果，如图6(a)所示。平行光因其光线平行的特性，减少了多角度光线的补给作用，使得缺陷区域更加明显。
在检测瓶口缺陷时，采用多方向检测，光源702也使用平行背光源，光源702正对待测透明容器800的瓶口，相机701布置在光源702的对面。可以利用瓶身检测工位的取图模块，在瓶身缺陷打光工位上，再添加一个相机 701，专门拍摄瓶口即可，无需添加其他光源。瓶口裂纹因缺陷表面形状特性，往往使平行光线弯折，无法按照原来路线射入相机701，所以裂纹呈现暗色条纹。结合多角度机构，瓶口上细小的裂纹也可以在特定角度被观察到，如图6(b)所示。实验得到，需要完全无死角地检测瓶口裂纹，需要8个角度的图像。
在检测瓶底缺陷时，采用如图5(b)所示的取图模块，光源702采用白色普通背光，光源702正对待测透明容器800的瓶身，相机701布置在光源702 的侧下方，从下方侧向拍摄瓶底。带有扩展板的面光源发出的散射光，透过瓶身，射入下方相机701中。结合多角度旋转机构，可以从多个角度检测到瓶底的各种缺陷，包括裂纹、料印、模具印等，如图6(c)所示。对于最难检测的细小裂纹也可以在多角度的情况下被检测出来。
在检测瓶颈缺陷时，主要是检测爆脖，采用如图5(c)所示的取图模块，光源702使用条形光源，光源702位于待测透明容器800的侧上方高于瓶口的位置并且照向瓶口，相机701布置在待测透明容器800另一侧的上方。采用相机701从侧上方30°左右角度拍摄，条形光源稍微高于瓶口的方式，这样需要从至少3个方向拍摄。散射光源直接照向瓶口，直射光不会进入相机 701。当光线遇到缺陷区域，光线发生偏折，偏折光线进入相机701，相机 701获取图像，如图6(d)所示。从图像中可以看出，瓶身大多为暗色，缺陷区域显示为高亮色。这一装置对于瓶颈处缺陷有很好的显现效果。
在检测瓶肩缺陷时，采用如图5(d)所示的取图模块，侧上方拍摄，光源 702使用白色底部背光或者斜背光，且不可被遮挡，光源702位于待测透明容器800的侧下方，相机701布置在待测透明容器800另一侧的上方。散射光从光源702发出，从底面或侧面经过玻璃容器800，进入镜头和相机701。当光线遇到缺陷时，被遮挡或偏转，使得缺陷在图像中显示为暗区或扭曲形态，如图6(e)所示。该装置对玻璃容器的肩部和颈部缺陷都有很好的检测效果。
通过不同的光源702与相机701进行配合，检测透明容器800相应部位的缺陷，使缺陷更容易地被检测到，从而提高检测效率。
如图4所示，本发明还提供了一种电子设备600，包括存储器601和处理器602，存储器601和处理器602电性连接，存储器601中存储有计算机程序，处理器602执行计算机程序时实现上述透明容器缺陷检测方法的步骤。
此外，本发明还提供了一种计算机存储介质，该计算机存储介质内存储有计算机程序，计算机程序被计算机执行时实现上述方法的步骤。
可选地，计算机存储介质可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM))、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行用于透明容器缺陷检测的计算机可读的程序代码。
在一个实施例中，计算机程序指令在被计算机运行时可以实现根据本发明实施例的透明容器缺陷检测装置的各个功能模块，和/或可以执行根据本发明实施例的用于透明容器缺陷检测方法。
在一个实施例中，计算机程序指令在被计算机运行时执行以上用于透明容器缺陷检测方法。
综上所述，本发明利用深度学习目标检测方法，配合多角度获取图像，可以检测形态各异的透明容器，扩大了检测方法与装置的适用范围。
上文对本发明进行了足够详细的具有一定特殊性的描述。所属领域内的普通技术人员应该理解，实施例中的描述仅仅是示例性的，在不偏离本发明的真实精神和范围的前提下做出所有改变都应该属于本发明的保护范围。本发明所要求保护的范围是由所述的权利要求书进行限定的，而不是由实施例中的上述描述来限定的。
Claims (10)
1.一种基于多角度和目标检测的透明容器缺陷检测方法，其特征在于，所述方法包括：
多角度获取待测透明容器不同部位的系列原始图像；
应用深度学习目标检测方法，以所述待测透明容器的缺陷为检测目标，对所述系列原始图像进行检测；
通过机器视觉方法对所述系列原始图像中检测出的缺陷的参数进行计算，并统计同一所述待测透明容器的所有缺陷数据；
根据预设的过滤参数，对所述待测透明容器的缺陷数据进行过滤，判定所述待测透明容器是否合格。
2.根据权利要求1所述的基于多角度和目标检测的透明容器缺陷检测方法，其特征在于，所述多角度获取待测透明容器不同部位的系列原始图像包括：
让所述待测透明容器依次通过多个工位，在每个工位上对所述待测透明容器的一个待测部位进行拍照；
旋转每个工位上的所述待测透明容器，按照预设数量n，所述待测透明容器每旋转360°/n角度拍摄一张图像，共取n张图像；或者，在每个工位上在360°范围内布置n个相机，获取n张图像。
3.根据权利要求1所述的基于多角度和目标检测的透明容器缺陷检测方法，其特征在于，所述深度学习目标检测方法包括：
根据图像属性和缺陷特性，设计并搭建合理的深度学习模型；
用大量图片和标注数据对模型进行训练；
将训练好的模型用于对图像进行缺陷检测。
4.根据权利要求1所述的基于多角度和目标检测的透明容器缺陷检测方法，其特征在于，所述过滤参数包括缺陷类型、面积、光学对比度、球型度、宽度、高度、宽高比、外接矩形面积和角度中的一种或者多种，每种缺陷最大容许数量，以及所有缺陷最大容许数量。
5.根据权利要求1所述的基于多角度和目标检测的透明容器缺陷检测方法，其特征在于，所述深度学习目标检测方法的模型训练方法包括：
图片收集和分类；
图片预处理，清洗图片上存在的干扰特征，使得特征更加明显；
确定标注标准，确定标注原则和标注位置；
图片标注，根据已经确定好的标注标准进行标注；
添加已标注图片到训练集，遵循少量多次的原则；
设置训练参数，包括迭代次数、数据自动增强及精度控制相关参数，训练模型；
对模型效果进行测试，根据结果分析优化方案，再次训练，直到模型满足预设要求。
6.一种基于多角度和目标检测的透明容器缺陷检测装置，其特征在于，所述装置包括：
取图模块，用于多角度获取待测透明容器不同部位的系列原始图像；
目标检测模块，用于应用深度学习目标检测方法，以所述待测透明容器的缺陷为检测目标，对所述系列原始图像进行检测；
计算模块，用于通过机器视觉方法对所述系列原始图像中检测出的缺陷的参数进行计算，并统计同一所述待测透明容器的所有缺陷数据；
判定模块，用于根据预设的过滤参数，对所述待测透明容器的缺陷数据进行过滤，判定所述待测透明容器是否合格。
7.根据权利要求6所述的基于多角度和目标检测的透明容器缺陷检测装置，其特征在于，所述取图模块分多个工位对所述透明容器的不同检测部位进行取图，所述透明容器的不同检测部位包括瓶身、瓶口、瓶底、瓶肩和瓶颈中的一种或者多种；
每个工位的所述取图模块分别包括相机、旋转机构及光源，待测透明容器被放置或固定在所述旋转机构上，所述相机与所述光源按照拍摄部位的不同布置在所述旋转机构的相应位置；所述旋转机构带动所述待测透明容器转动，所述相机用于拍摄所述待测透明容器的多角度图像。
8.根据权利要求7所述的基于多角度和目标检测的透明容器缺陷检测装置，其特征在于，
在检测瓶身或者瓶口缺陷时，所述光源使用平行背光源，所述光源正对所述待测透明容器的瓶身或者瓶口，所述相机布置在所述光源的对面；
在检测瓶底缺陷时，所述光源使用白色普通背光，所述光源正对所述待测透明容器的瓶身，所述相机布置在所述光源的侧下方，从下方侧向拍摄瓶底；
在检测瓶肩缺陷时，所述光源使用白色底部背光或者斜背光，所述光源位于所述待测透明容器的侧下方，光线从所述待测透明容器的底面或侧面经过进入所述相机，所述相机布置在所述待测透明容器另一侧的上方；
在检测瓶颈缺陷时，所述光源使用条形光源，所述光源位于所述待测透明容器的侧上方高于瓶口的位置并且照向瓶口，所述相机布置在所述待测透明容器另一侧的上方。
9.一种电子设备，其特征在于，所述设备包括存储器和处理器，所述存储器和所述处理器电性连接，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序，所述计算机程序被计算机执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975940.2A CN113538417A (zh) | 2021-08-24 | 2021-08-24 | 基于多角度和目标检测的透明容器缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975940.2A CN113538417A (zh) | 2021-08-24 | 2021-08-24 | 基于多角度和目标检测的透明容器缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538417A true CN113538417A (zh) | 2021-10-22 |
Family
ID=78092033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110975940.2A Pending CN113538417A (zh) | 2021-08-24 | 2021-08-24 | 基于多角度和目标检测的透明容器缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538417A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861688A (zh) * | 2022-11-22 | 2023-03-28 | 首都医科大学宣武医院 | 一种药品包装和容器外形建模识别和计数方法及系统 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3516752A1 (de) * | 1984-07-27 | 1986-02-06 | Owens-Illinois, Inc., Toledo, Ohio | System zur erfassung von selektiven lichtbrechenden defekten in transparenten gegenstaenden |
| US20060000968A1 (en) * | 2002-10-18 | 2006-01-05 | Kirin Techno-System Corporation | Glass bottle inspection device |
| US20080093538A1 (en) * | 2006-10-23 | 2008-04-24 | Diehr Richard D | Machine for inspecting glass containers |
| CN102141379A (zh) * | 2010-12-31 | 2011-08-03 | 山东省药用玻璃股份有限公司 | 新型玻璃瓶罐检测装置 |
| CN102207468A (zh) * | 2011-03-30 | 2011-10-05 | 浙江新康药用玻璃有限公司 | 玻璃瓶缺陷检测平台 |
| CN102539443A (zh) * | 2011-12-29 | 2012-07-04 | 天津普达软件技术有限公司 | 基于机器视觉的瓶身缺陷自动检测装置及方法 |
| JP2014157121A (ja) * | 2013-02-18 | 2014-08-28 | N Tech:Kk | 容器の検査装置 |
| CN105158267A (zh) * | 2015-09-22 | 2015-12-16 | 安徽省科亿信息科技有限公司 | 一种360度瓶身流水线背光视觉检测装置及方法 |
| CN109035232A (zh) * | 2018-07-24 | 2018-12-18 | 桂林电子科技大学 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
| CN109242830A (zh) * | 2018-08-18 | 2019-01-18 | 苏州翔升人工智能科技有限公司 | 一种基于深度学习的机器视觉技术检测方法 |
| CN109406539A (zh) * | 2018-11-28 | 2019-03-01 | 广州番禺职业技术学院 | 一种透明药瓶底部积料缺陷检测系统与方法 |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN111507976A (zh) * | 2020-04-28 | 2020-08-07 | 浙江省北大信息技术高等研究院 | 基于多角度成像的缺陷检测方法及系统 |
| CN111537520A (zh) * | 2020-06-05 | 2020-08-14 | 淮南师范学院 | 一种基于机器视觉的饮料瓶缺陷检测系统 |
| CN111709919A (zh) * | 2020-06-01 | 2020-09-25 | 深圳市深视创新科技有限公司 | 玻璃缺陷视觉检测算法 |
| CN112129783A (zh) * | 2020-09-22 | 2020-12-25 | 广州番禺职业技术学院 | 基于深度学习的透明药瓶底部缺陷检测装置与检测方法 |
| US20210003512A1 (en) * | 2019-05-28 | 2021-01-07 | Schott Schweiz Ag | Classification method and system for high-throughput transparent articles |
| CN112452801A (zh) * | 2020-09-28 | 2021-03-09 | 江苏孚日玻璃科技有限公司 | 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法 |
| CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
| CN112497219A (zh) * | 2020-12-06 | 2021-03-16 | 北京工业大学 | 一种基于目标检测和机器视觉的柱状工件分类定位方法 |
| CN112748120A (zh) * | 2020-12-29 | 2021-05-04 | 中国联合网络通信集团有限公司 | 缺陷检测系统及方法、装置、设备和存储介质 |
| CN112750113A (zh) * | 2021-01-14 | 2021-05-04 | 深圳信息职业技术学院 | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 |
| CN112912964A (zh) * | 2018-10-19 | 2021-06-04 | 豪夫迈·罗氏有限公司 | 利用卷积神经网络对冻干药物产品的缺陷检测 |
-
2021
- 2021-08-24 CN CN202110975940.2A patent/CN113538417A/zh active Pending
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3516752A1 (de) * | 1984-07-27 | 1986-02-06 | Owens-Illinois, Inc., Toledo, Ohio | System zur erfassung von selektiven lichtbrechenden defekten in transparenten gegenstaenden |
| US20060000968A1 (en) * | 2002-10-18 | 2006-01-05 | Kirin Techno-System Corporation | Glass bottle inspection device |
| US20080093538A1 (en) * | 2006-10-23 | 2008-04-24 | Diehr Richard D | Machine for inspecting glass containers |
| CN102141379A (zh) * | 2010-12-31 | 2011-08-03 | 山东省药用玻璃股份有限公司 | 新型玻璃瓶罐检测装置 |
| CN102207468A (zh) * | 2011-03-30 | 2011-10-05 | 浙江新康药用玻璃有限公司 | 玻璃瓶缺陷检测平台 |
| CN102539443A (zh) * | 2011-12-29 | 2012-07-04 | 天津普达软件技术有限公司 | 基于机器视觉的瓶身缺陷自动检测装置及方法 |
| JP2014157121A (ja) * | 2013-02-18 | 2014-08-28 | N Tech:Kk | 容器の検査装置 |
| CN105158267A (zh) * | 2015-09-22 | 2015-12-16 | 安徽省科亿信息科技有限公司 | 一种360度瓶身流水线背光视觉检测装置及方法 |
| CN109035232A (zh) * | 2018-07-24 | 2018-12-18 | 桂林电子科技大学 | 一种基于深度学习和机器视觉融合的夹片缺陷检测方法 |
| CN109242830A (zh) * | 2018-08-18 | 2019-01-18 | 苏州翔升人工智能科技有限公司 | 一种基于深度学习的机器视觉技术检测方法 |
| CN112912964A (zh) * | 2018-10-19 | 2021-06-04 | 豪夫迈·罗氏有限公司 | 利用卷积神经网络对冻干药物产品的缺陷检测 |
| CN109406539A (zh) * | 2018-11-28 | 2019-03-01 | 广州番禺职业技术学院 | 一种透明药瓶底部积料缺陷检测系统与方法 |
| US20210003512A1 (en) * | 2019-05-28 | 2021-01-07 | Schott Schweiz Ag | Classification method and system for high-throughput transparent articles |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN111507976A (zh) * | 2020-04-28 | 2020-08-07 | 浙江省北大信息技术高等研究院 | 基于多角度成像的缺陷检测方法及系统 |
| CN111709919A (zh) * | 2020-06-01 | 2020-09-25 | 深圳市深视创新科技有限公司 | 玻璃缺陷视觉检测算法 |
| CN111537520A (zh) * | 2020-06-05 | 2020-08-14 | 淮南师范学院 | 一种基于机器视觉的饮料瓶缺陷检测系统 |
| CN112129783A (zh) * | 2020-09-22 | 2020-12-25 | 广州番禺职业技术学院 | 基于深度学习的透明药瓶底部缺陷检测装置与检测方法 |
| CN112452801A (zh) * | 2020-09-28 | 2021-03-09 | 江苏孚日玻璃科技有限公司 | 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法 |
| CN112497219A (zh) * | 2020-12-06 | 2021-03-16 | 北京工业大学 | 一种基于目标检测和机器视觉的柱状工件分类定位方法 |
| CN112748120A (zh) * | 2020-12-29 | 2021-05-04 | 中国联合网络通信集团有限公司 | 缺陷检测系统及方法、装置、设备和存储介质 |
| CN112750113A (zh) * | 2021-01-14 | 2021-05-04 | 深圳信息职业技术学院 | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 |
| CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 夏贤华;谢经明;柯丰恺;张代林;陈幼平;: "基于机器视觉的玻璃瓶在线检测系统研究与开发", 机械与电子, no. 11, 30 November 2013 (2013-11-30), pages 67 - 70 * |
| 陈儒侠;任德均;严扎杰;高永勋;付兴勇;: "基于机器视觉的注塑空瓶缺陷检测系统", 科技与创新, no. 19, 5 October 2018 (2018-10-05) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861688A (zh) * | 2022-11-22 | 2023-03-28 | 首都医科大学宣武医院 | 一种药品包装和容器外形建模识别和计数方法及系统 |
| CN115861688B (zh) * | 2022-11-22 | 2023-08-11 | 首都医科大学宣武医院 | 一种药品包装和容器外形建模识别和计数方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915407B2 (en) | Automated system and method for clarity measurements and clarity grading | |
| CN111693549B (zh) | 一种手机盖板玻璃缺陷检测与分类方法 | |
| WO2017067023A1 (zh) | 一种基于专用试纸对体液的检测方法 | |
| CN108229561B (zh) | 一种基于深度学习的颗粒产品缺陷检测方法 | |
| TWI772897B (zh) | 用於非破壞性檢測-流體中未溶解粒子之方法及裝置 | |
| CN110044405B (zh) | 一种基于机器视觉的汽车仪表自动化检测装置及方法 | |
| CN109856156A (zh) | 一种基于aoi的显示面板微小缺陷判定方法与装置 | |
| CN105510340B (zh) | 对琢石成像的方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN1285910A (zh) | 镜片自动检验系统 | |
| CN109632007B (zh) | 一种边缘点提取方法及齿轮高精度视觉测量系统 | |
| CN113139894A (zh) | 显微镜和确定显微镜的测量位置的方法 | |
| CN101793840A (zh) | 钻石切工参数测量方法及测量装置 | |
| CN110567976A (zh) | 基于机器视觉的手机盖板丝印缺陷检测装置及检测方法 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN113608378A (zh) | 一种基于lcd制程的全自动缺陷检测方法和系统 | |
| CN104766310B (zh) | 光源检测系统和检测方法 | |
| CN113658155A (zh) | 一种基于光度立体的物体表面瑕疵检测分析方法及装置 | |
| TW200844426A (en) | On-line mechanical visional inspection system of an object and method thereof | |
| CN113538417A (zh) | 基于多角度和目标检测的透明容器缺陷检测方法及装置 | |
| CN114565848B (zh) | 一种复杂场景的药液液位检测方法及系统 | |
| CN114998308A (zh) | 一种基于光度立体的缺陷检测方法及系统 | |
| CN112881424A (zh) | Ai+荧光渗透小型管件表面缺陷检测及质量分级方法与系统 | |
| CN113192013A (zh) | 一种反光表面缺陷检测方法、系统及电子设备 | |
| TW419634B (en) | Automatic detection system and method using bar code positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |