CN111861990A - 一种产品不良外观检测的方法、系统及存储介质 - Google Patents
一种产品不良外观检测的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111861990A CN111861990A CN202010523514.0A CN202010523514A CN111861990A CN 111861990 A CN111861990 A CN 111861990A CN 202010523514 A CN202010523514 A CN 202010523514A CN 111861990 A CN111861990 A CN 111861990A
- Authority
- CN
- China
- Prior art keywords
- image
- appearance
- product
- pixel
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000007547 defect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明的提供了一种产品不良外观检测的方法，包括以下步骤：获取产品外观图像，对产品外观图像进行灰度化，得到第一灰度图像；对第一灰度图像进行二值化，得到第二灰度图像；从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类，根据分类结果识别外观不良产品；发明通过依次进行灰度化和二值化进行轮廓提取，避免了因光线的影响而导致识别准确率下降；并通过对轮廓组合的最小外接矩形结合神经网络，减少运算资源的占用，图像处理速度是毫秒级别，运算实时性较高、检测效果较好，能够实现自动化识别与测试，可广泛应用于产品质量检测技术领域。
Description
技术领域
本发明涉及产品质量检测技术领域，尤其是一种产品不良外观检测的方法、系统及存储介质。
背景技术
在生产线上，大批量生产会以不同概率出现各种各样的不良品。其中有一部分是外观不良品，若通过人工筛选，对于人力消耗极大。
而在现有技术，多数采用安装一套基于摄像头和识别算法的辅助检测系统的方式，实现自动化地识别出外观不良品。但是现有的识别系统容易受到光线影响，光照效果不好会导致识别效果差。复杂的程序能提升单张图像的识别效果，却有识别时间太长的缺点。传统的图像识别算法对于不同的机器，在安装好软件后仍需要多次现场调试已适配当前环境、提高识别率。基于云计算的图像识别方案有图像识别率较高的特点，但是每次计算都需要联网、图像处理速度受网络传输速率的影响。测试夹具过于简单会造成每台测试系统差异性较大，对软件要求高，夹具过于复杂会不便于工人测试、降低每个小时的测试完成产品数量。
综上所述，现有技术对于生产线上对外观不良品的自动化筛选的方法所存在的缺点有：
1.测试结果容易受到光线影响；
2.识别效果较好的程序运行速度慢、算法远程调试难度大；
3.本地运算效果，识别的准确度较低。
发明内容
有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种具有抗干扰能力，同时运算实时性较高，检测效果较好的产品不良外观检测方法，以及可以对应实现产品不良外观检测方法的系统、装置以及存储介质。
第一方面，本发明的提供了一种产品不良外观检测的方法，包括以下步骤：
获取产品外观图像，对产品外观图像进行灰度化，得到第一灰度图像；
对第一灰度图像进行二值化，得到第二灰度图像；
从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；
获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类，根据分类结果识别外观不良产品。
此外，在本发明的一些实施例中，对第一灰度图像进行二值化，得到第二灰度图像这一步骤，其具体包括：
选取一个像素点以及像素点周围像素点作为第一像素区域，根据第一像素区域的像素均值确定第一像素区内的像素阈值；
像素点的像素值高于像素阈值，将像素值重置为0；或，像素点的像素值高于像素阈值，将像素值重置为255；
根据像素值重置后的像素点得到第二灰度图像。
在本发明的一些实施例中，从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合这一步骤，其具体包括：
在第二灰度图像中选取目标区域，对目标区域内目标对象之间的空隙进行填补，得到连通的目标对象；目标对象包括印刷文字和商标图像；
根据连通的目标对象进行轮廓提取，并根据预设的面积区间筛选得到轮廓组合。
在本发明的一些实施例中，获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类这一步骤，其具体包括：
生成轮廓组合的最小外接矩形，并获取最小外接矩形的特征参数，其中，特征参数包括：中心位置、尺寸大小、旋转角度以及最小外接矩形中的点集；
根据最小外接矩形的特征参数旋转轮廓组合得到第一子图像；
根据最小外接矩形剪裁第一子图像，得到第二子图像；
根据第二子图像，通过神经网络完成产品外观图像的外观特征分类。
在本发明的一些实施例中，获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类这一步骤，其还包括：
对第二子图像进行二值化，并对二值化后的第二子图像进行图像尺寸调整，得到第三子图像。
在本发明的一些实施例中，获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类，根据分类结果识别外观不良产品这一步骤中，通过神经网络完成产品外观图像的外观特征分类具体包括以下步骤：
筛选轮廓组合的图像，得到训练集以及测试集；训练集包括：至少一个正样本集、至少一个负样本集以及忽略样本集；
根据训练集对神经网络模型进行训练；
通过训练后的神经网络模型，对测试集进行外观特征分类。
在本发明的一些实施例中，获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类，根据分类结果识别外观不良产品这一步骤中，根据分类结果识别外观不良产品的具体步骤为：
将分类结果触发产品测试，产品测试包括商标检测以及数字面板检测；
商标检测和数字面板检测中任一项存在不合格，确定为外观不良产品。
第二方面，本发明的技术方案还提供一种产品不良外观检测的软件系统，包括：
数据获取单元，用于获取产品外观图像；
图像处理单元，用于对产品外观图像进行灰度化，得到第一灰度图像；对第一灰度图像进行二值化，得到第二灰度图像；以及从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；
深度学习单元，用于获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类；
产品识别单元，用于根据深度学习单元的分类结果识别外观不良产品。
第三方面，本发明的技术方案还提供一种产品不良外观检测的硬件系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现第一方面中所提供的一种产品不良外观检测的方法。
第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现第一方面中提供的一种产品不良外观检测的方法。
本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：
本发明技术方案通过对产品的外观图像依次进行灰度化和二值化进行轮廓提取，避免了在识别过程中因光线的影响而导致识别准确率下降；方法通过对轮廓组合的最小外接矩形结合神经网络的方式，完成外观图像的外观特征分类，占用较少的运算资源，但图像处理速度却是毫秒级别，运算实时性较高、检测效果较好，能够较好地实现自动化识别与测试。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种产品不良外观检测的方法步骤流程图；
图2为本发明实施例一种产品不良外观检测的神经网络模型；
图3为本发明实施例一种产品不良外观检测的系统的架构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，实施例一种产品不良外观检测的方法，其包括，步骤S01-S04：
S01、获取产品外观图像，对产品外观图像进行灰度化，得到第一灰度图像；在实施例中，方法中图像处理的过程均是基于OpenCV完成的。具体到步骤S01中，通过OpenCV调用整套设备或系统中的摄像头获得彩色图像。该彩色图像每个像素都带有红(R)绿(G)蓝(B)三通道。每个通道是0-255之间的数值。例如某一像素的RGB分别是255、0、0则该像素显示红色，RGB是255、255、0则显示黄色，RGB是255、255、255则显示白色。在灰度化后，每个像素只有一个通道。这个通道也是0-255之间的数值。0为纯黑，0-255之间是灰色，255是纯白。将采集到的产品外观图像灰度化处理后得到的第一灰度图像记作图像a。
S02、对第一灰度图像进行二值化，得到第二灰度图像；即通过自适应阈值二值化算法处理图像a即第一灰度图像，得到图像b即第二灰度图像。现有技术中，多数采用的二值化算法是全张图片统一阈值：当像素的值低于阈值则置0，当像素的值高于阈值则置255。因此二值化后的图像像素只有纯黑和纯白两种颜色。全图统一阈值的缺点是受光线影响严重。图像中的反光会影响整张图片的处理效果。本实施例中，自适应阈值二值化这一过程，可进一步细分为步骤S021-S023：
S021、选取一个像素点以及像素点周围像素点作为第一像素区域，根据第一像素区域的像素均值确定第一像素区内的像素阈值；
S022、像素点的像素值高于像素阈值，将像素值重置为0；或，像素点的像素值高于像素阈值，将像素值重置为255；
S023、根据像素值重置后的像素点得到第二灰度图像。
具体的，在自适应阈值二值化中，首先选取一个像素点，读取本像素的值以及该像素周围的像素的值，用算术平均法计算出当前像素的阈值。然后通过遍历的方式，判断该范围内各个像素点的值是否高于或低于这一阈值，若高于阈值则将像素点置为黑色，其像素值为255，否则置为白色，其像素值为0；而后遍历整个图像完成二值化。自适应阈值的方法比较适合提取出感兴趣的区域、设置为白色，而将背景设置为黑色。
S03、从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；即用膨胀算法处理图像b即第二灰度图像，得到图像c，再从膨胀后的图像c提取每个轮廓，得到轮廓组合a。在本实施例中，轮廓提取这一步骤S03，可进一步细分为步骤S031-S032：
S031、在第二灰度图像中选取目标区域，对目标区域内目标对象之间的空隙进行填补，得到连通的目标对象；目标对象包括印刷文字和商标图像；
S032、根据连通的目标对象进行轮廓提取，并根据预设的面积区间筛选得到轮廓组合。
具体的，印刷文字、LOGO或商标图像之间都会有字距、空隙。用提取轮廓法提取出感兴趣的区域之前，可以通过膨胀算法，把印刷字体、LOGO图像之间的空隙都进行填补。让目标对象成为一个连通的整体。随后再用轮廓提取，将能避免把LOGO错误的分成几个部分。
此外，对于轮廓组合a，通过初步筛选，剔除大小不合理的轮廓，得到轮廓组合b。在具体的实施过程中，有些轮廓大小异常，可能是由于摄像头镜头不干净、待测物体上粘上了灰尘等其他杂质，导致经过步骤S03得到了多余的轮廓。可以提前根据调试经验设置面积区间，过滤掉不合适的轮廓，以减少运算量，同时能降低运算消耗的时间。
S04、获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类，根据分类结果识别外观不良产品；首先在步骤S04中，对轮廓组合b中的每个轮廓作以下处理：
S041、生成轮廓组合的最小外接矩形，并获取最小外接矩形的特征参数，其中，特征参数包括：中心位置、尺寸大小、旋转角度以及最小外接矩形中的点集；具体的，可通过OpenCV的内中函数直接得到每个轮廓的最小外接矩形，同时还可以获取最小外接矩形的中心位置、尺寸大小、旋转角度、每个点的集合。
S042、根据最小外接矩形的特征参数旋转轮廓组合得到第一子图像；当最小外接矩形的旋转角度不为0时，则以该角度通过OpenCV中的仿射变换旋转图像a即第一灰度图像，得到图像d即第一子图像。
S043、根据最小外接矩形剪裁第一子图像，得到第二子图像；具体的，通过最小外接矩形，裁剪图像d即第一子图像得出无旋转角度的子图像e为第二子图像。
此外，在其他的实施例中，可以对第二子图像进行二值化，并对二值化后的第二子图像进行图像尺寸调整，得到第三子图像；具体的，对子图像e用OTSU阈值进行二值化处理，得到子图像f记作第三子图像，并将图像调整到像素宽48、高48的统一格式，该过程能使模糊的图像变清晰。
经过步骤S01至步骤S043，通过采用自适应二值化算法，能提高在光线不均匀的条件下的效果。然后提取出轮廓，根据轮廓的最小外接矩形的旋转角度旋转图像，使得图像视角为正。通过本实施例的方法，允许摄像头能偏移一小段距离或者旋转些角度；只要能让待识别目标在摄像头视野范围内，即可自动提取待识别区域为子图像、并实现旋转校正方向。
S044、根据第二子图像，通过神经网络完成产品外观图像的外观特征分类。具体的，本实施例的深度学习是基于Tensorflow的LeNet神经网络算法，LeNet是一种神经网络算法。是最早的卷积神经网络算法之一。其网络层数为6层，最初应用是在字符识别而有比较高的识别率。由于半导体行业的迅速发展，并随着电脑CPU的运算能力越来越强，网络算法的已经相对地占用较少的运算资源。目前在工控计算机中的计算实时性较好，而对于不太复杂的图像识别效果较好。而运用Keras，可以比较方便的建立模型，每增加一层网络结构只需要增加一、二行代码。Keras是前端程序，Tensorflow是后端程序。而步骤S044可以进一步细化为步骤S0441-S0443：
S0441、筛选轮廓组合的图像，得到训练集以及测试集；训练集包括：至少一个正样本集、至少一个负样本集以及忽略样本集；数据集对识别效果影响较大。对于本实施例，为了识别出某个外观特征是好或不良，需要在数据集中收集足够多的训练样本。根据实现使用的分类，将不同类别的样本分开存放在各自的文件夹内。文件夹名字即是样本标签。
S0442、根据训练集对神经网络模型进行训练；具体的，参照图2，神经网络的模型结构包括：卷积层1、池化层1、卷积层2、池化层2、全连接层和全连接输出层。输入的图像大小调整为长48像素、宽48像素、通道数为3。卷积层1的卷积核数量为20，每个大小是(5,5)。激活函数是线性整流函数“ReLU”。接着池化层1的池化窗口大小是(2,2)，下采样因子是(2,2)。卷积层2的卷积核数量为50，每个大小是(5,5)。激活函数是线性整流函数“ReLU”。池化层2的池化窗口大小是(2,2)，下采样因子是(2,2)。全连接层的神经元数量是500个，排列成一列。其激活函数是“ReLU”。最后一层全连接输出层的神经元只有5个。因为数据集有五个种类：“正确的LOGO”、“错误的LOGO”、“正确的数字显示面板”、“错误的数字显示面板”、“无效”。
S0443、通过训练后的神经网络模型，对测试集进行外观特征分类；若算法检测结果不理想、或是出现了新类型的外观不良品，可以通过远程桌面，抓取样本图像提取数据集，重新训练模型。
本实施例的最后，通过串口反馈到生产执行系统(MES)。对于产品测试通常会有各种不同的功能测试。在待测产品到位后，MES系统会自动触发各种测试。并把测试结果对应着产品的编号进行存储。本程序接收MES系统的控制命令，目前是当本程序接收“～T^”这三个字节触发外观测试。在触发测试后，若超时或者出现外观不良品则回复“～0^”到MES系统表示检测失败；若检测到外观正常品(同时检测到“正确的LOGO”以及“正确的数字显示面板”)，则回复“～2^”表示测试通过。
本发明实施例还提供了一种产品不良外观检测的系统，包括：
数据获取单元，用于获取产品外观图像；
图像处理单元，用于对产品外观图像进行灰度化，得到第一灰度图像；对第一灰度图像进行二值化，得到第二灰度图像；以及从第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；
深度学习单元，用于获取轮廓组合的最小外接矩形，根据最小外接矩形通过神经网络完成产品外观图像的外观特征分类；
产品识别单元，用于根据深度学习单元的分类结果识别外观不良产品。
本发明实施例还提供了一种系统，包括处理器以及存储器；
存储器用于存储程序；
处理器用于根据程序执行如图1所示的一种产品不良外观检测的方法；
参照图3，在一些可选的系统实施例中，除了必要的处理器以及存储器外，还包括测试夹具、摄像头以及MES系统。例如，在一个系统实施例中，测试夹具能稳住待测产品同时在产品上方固定一个USB摄像头、USB摄像头连接一台装有Windows的电脑，包括处理器和存储器、电脑安装了如图1所示的一种产品不良外观检测的方法程序、同时本系统支持串口通信可以和生产执行系统MES对接。处理器CPU布置了Win10、Python3.7.4、Tensorflow1.14.0和Keras 2.2.5的运行环境。
在该系统实施例的实施过程中，CPU实现了摄像头图像调用，图像预处理，图像识别，检测结果通过串口输出到MES系统。图像预处理包括了灰度化、自适应二值化、膨胀、提取轮廓、按照每个轮廓裁剪二值化后的图像、根据轮廓最小外接矩形的旋转角度旋转子图像。图像识别核心算法为LeNet神经网络算法。
将该系统实施例运用至某品牌电子秤的生产线中，能有效检测出LOGO错误、体重数据面板显示错误等不良。工控电脑检测一张图片的时间能在100毫秒左右。但硬盘老化也会影响识别时间。一般正常情况识别时间不会超过1秒。能满足生产线上对检测系统的识别率、实时性的要求。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本发明实施例还提供了一种存储介质，存储介质存储有程序，程序被处理器执行如图1所示的方法。
从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：
1、本发明所提供的方案，通过图像预处理算法，能提取图像中的有用部分，筛选掉无用部分。增加了抗干扰能力，减少了对图像识别的压力。同时用图像缩小的功能，减少图像像素、丢弃一部分无用信息，在不影响使用的前提下使得程序运算更快。
2、本发明所提供的方案的核心识别算法为LeNet神经网络算法。运算量较少，对于小型LOGO图像识别效果较好；
3、本发明所提供的方案可远程调试，通过增加图像样本可提高识别概率；
4、本发明所提供的方案支持串口连接产线执行系统、实现测试自动化。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
其中，功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种产品不良外观检测的方法，其特征在于，包括以下步骤：
获取产品外观图像，对所述产品外观图像进行灰度化，得到第一灰度图像；
对所述第一灰度图像进行二值化，得到第二灰度图像；
从所述第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；
获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类，根据分类结果识别外观不良产品。
2.根据权利要求1所述的一种产品不良外观检测的方法，其特征在于，所述对所述第一灰度图像进行二值化，得到第二灰度图像这一步骤，其具体包括：
选取一个像素点以及像素点周围像素点作为第一像素区域，根据所述第一像素区域的像素均值确定所述第一像素区内的像素阈值；
所述像素点的像素值高于所述像素阈值，将像素值重置为0；或，所述像素点的像素值高于所述像素阈值，将像素值重置为255；
根据像素值重置后的像素点得到第二灰度图像。
3.根据权利要求1所述的一种产品不良外观检测的方法，其特征在于，所述从所述第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合这一步骤，其具体包括：
在所述第二灰度图像中选取目标区域，对所述目标区域内目标对象之间的空隙进行填补，得到连通的目标对象；所述目标对象包括印刷文字和商标图像；
根据所述连通的目标对象进行轮廓提取，并根据预设的面积区间筛选得到所述轮廓组合。
4.根据权利要求1所述的一种产品不良外观检测的方法，其特征在于，所述获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类这一步骤，其具体包括：
生成所述轮廓组合的最小外接矩形，并获取所述最小外接矩形的特征参数，其中，特征参数包括：中心位置、尺寸大小、旋转角度以及最小外接矩形中的点集；
根据所述最小外接矩形的特征参数旋转所述轮廓组合得到第一子图像；
根据所述最小外接矩形剪裁所述第一子图像，得到第二子图像；
根据所述第二子图像，通过神经网络完成所述产品外观图像的外观特征分类。
5.根据权利要求4所述的一种产品不良外观检测的方法，其特征在于，所述获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类这一步骤，其还包括：
对所述第二子图像进行二值化，并对二值化后的第二子图像进行图像尺寸调整，得到第三子图像。
6.根据权利要求1-5任一项所述的一种产品不良外观检测的方法，其特征在于，所述获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类，根据分类结果识别外观不良产品这一步骤中，通过神经网络完成所述产品外观图像的外观特征分类具体包括以下步骤：
筛选所述轮廓组合的图像，得到训练集以及测试集；所述训练集包括：至少一个正样本集、至少一个负样本集以及忽略样本集；
根据所述训练集对神经网络模型进行训练；
通过训练后的神经网络模型，对所述测试集进行外观特征分类。
7.根据权利要求1-5任一项所述的一种产品不良外观检测的方法，其特征在于，所述获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类，根据分类结果识别外观不良产品这一步骤中，根据分类结果识别外观不良产品的具体步骤为：
将所述分类结果触发产品测试，所述产品测试包括商标检测以及数字面板检测；
所述商标检测和所述数字面板检测中任一项存在不合格，确定为外观不良产品。
8.一种产品不良外观检测的系统，其特征在于，包括：
数据获取单元，用于获取产品外观图像；
图像处理单元，用于对所述产品外观图像进行灰度化，得到第一灰度图像；对所述第一灰度图像进行二值化，得到第二灰度图像；以及从所述第二灰度图像进行轮廓提取，并进行筛选得到轮廓组合；
深度学习单元，用于获取所述轮廓组合的最小外接矩形，根据所述最小外接矩形通过神经网络完成所述产品外观图像的外观特征分类；
产品识别单元，用于根据深度学习单元的分类结果识别外观不良产品。
9.一种产品不良外观检测的系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种产品不良外观检测的方法。
10.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行完成如权利要求1-7中任一项所述一种产品不良外观检测的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010523514.0A CN111861990B (zh) | 2020-06-10 | 2020-06-10 | 一种产品不良外观检测的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010523514.0A CN111861990B (zh) | 2020-06-10 | 2020-06-10 | 一种产品不良外观检测的方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861990A true CN111861990A (zh) | 2020-10-30 |
| CN111861990B CN111861990B (zh) | 2024-02-13 |
Family
ID=72987170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010523514.0A Active CN111861990B (zh) | 2020-06-10 | 2020-06-10 | 一种产品不良外观检测的方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861990B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112481839A (zh) * | 2020-11-27 | 2021-03-12 | 杭州数迈科技有限公司 | 织物缝合方法、系统、设备及存储介质 |
| CN112560821A (zh) * | 2021-02-22 | 2021-03-26 | 浙江大胜达包装股份有限公司 | 回收瓦楞纸原料检测的自动分类分拣系统及方法 |
| CN113610090A (zh) * | 2021-07-29 | 2021-11-05 | 广州广电运通金融电子股份有限公司 | 印章图像识别分类方法、装置、计算机设备和存储介质 |
| CN114654315A (zh) * | 2022-02-17 | 2022-06-24 | 杭州深度视觉科技有限公司 | 一种圆锥滚子基面磨削不良的机器视觉检测系统及方法 |
| CN115903704A (zh) * | 2022-11-29 | 2023-04-04 | 青岛丰拓力行科技服务有限公司 | 智能工业产品加工控制方法、系统、介质、设备及应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021914A (zh) * | 2017-12-27 | 2018-05-11 | 清华大学 | 基于卷积神经网络的印刷品字符区域提取方法 |
| CN108764358A (zh) * | 2018-05-31 | 2018-11-06 | 广东工业大学 | 一种太赫兹图像识别方法、装置、设备及可读存储介质 |
| WO2019232853A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 中文模型训练、中文图像识别方法、装置、设备及介质 |
-
2020
- 2020-06-10 CN CN202010523514.0A patent/CN111861990B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021914A (zh) * | 2017-12-27 | 2018-05-11 | 清华大学 | 基于卷积神经网络的印刷品字符区域提取方法 |
| CN108764358A (zh) * | 2018-05-31 | 2018-11-06 | 广东工业大学 | 一种太赫兹图像识别方法、装置、设备及可读存储介质 |
| WO2019232853A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 中文模型训练、中文图像识别方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 魏中雨;黄海松;姚立国;: "基于机器视觉和深度神经网络的零件装配检测", 组合机床与自动化加工技术, no. 03 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112481839A (zh) * | 2020-11-27 | 2021-03-12 | 杭州数迈科技有限公司 | 织物缝合方法、系统、设备及存储介质 |
| CN112560821A (zh) * | 2021-02-22 | 2021-03-26 | 浙江大胜达包装股份有限公司 | 回收瓦楞纸原料检测的自动分类分拣系统及方法 |
| CN113610090A (zh) * | 2021-07-29 | 2021-11-05 | 广州广电运通金融电子股份有限公司 | 印章图像识别分类方法、装置、计算机设备和存储介质 |
| CN113610090B (zh) * | 2021-07-29 | 2023-12-26 | 深圳广电银通金融电子科技有限公司 | 印章图像识别分类方法、装置、计算机设备和存储介质 |
| CN114654315A (zh) * | 2022-02-17 | 2022-06-24 | 杭州深度视觉科技有限公司 | 一种圆锥滚子基面磨削不良的机器视觉检测系统及方法 |
| CN115903704A (zh) * | 2022-11-29 | 2023-04-04 | 青岛丰拓力行科技服务有限公司 | 智能工业产品加工控制方法、系统、介质、设备及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861990B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111861990B (zh) | 一种产品不良外观检测的方法、系统及存储介质 | |
| CN109829914B (zh) | 检测产品缺陷的方法和装置 | |
| CN115351598A (zh) | 一种数控机床轴承检测方法 | |
| CN110930390B (zh) | 基于半监督深度学习的芯片管脚缺失检测方法 | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| CN111311542A (zh) | 一种产品质量检测方法及装置 | |
| CN114494259A (zh) | 一种基于人工智能的布匹缺陷检测方法 | |
| CN112767369A (zh) | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 | |
| CN111179263B (zh) | 一种工业图像表面缺陷检测模型、方法、系统及装置 | |
| US20180308236A1 (en) | Image Background Subtraction For Dynamic Lighting Scenarios | |
| CN113610773B (zh) | 一种垫片孔洞质量检测方法、系统、装置及存储介质 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN114445707A (zh) | 瓶装水标签缺陷智能化视觉精细检测方法 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN114820626B (zh) | 一种汽车前脸零件配置智能检测方法 | |
| CN113034488A (zh) | 一种喷墨印刷品的视觉检测方法 | |
| CN114926441A (zh) | 一种注塑件加工成型的缺陷检测方法及系统 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN115266732A (zh) | 基于机器视觉的碳纤维丝束缺陷检测方法 | |
| CN114881996A (zh) | 缺陷检测方法及装置 | |
| CN114972246A (zh) | 一种基于深度学习的模切产品表面缺陷检测方法 | |
| CN113392819B (zh) | 一种批量化学术图像自动分割标注装置和方法 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 510630 room 1101, building 1, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province (office use only) Applicant after: Guangdong Yitong Lianyun Intelligent Information Co.,Ltd. Address before: 510630 building 1101, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province Applicant before: YITONG CENTURY INTERNET OF THINGS RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |