CN113240647A - 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 - Google Patents
一种基于深度学习的手机外壳后盖缺陷检测方法和系统 Download PDFInfo
- Publication number
- CN113240647A CN113240647A CN202110539677.2A CN202110539677A CN113240647A CN 113240647 A CN113240647 A CN 113240647A CN 202110539677 A CN202110539677 A CN 202110539677A CN 113240647 A CN113240647 A CN 113240647A
- Authority
- CN
- China
- Prior art keywords
- mobile phone
- layer
- deep learning
- rear cover
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000002950 deficient Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000003801 milling Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及视觉检测技术领域，更具体的说是一种基于深度学习的手机外壳后盖缺陷检测方法和系统。一种基于深度学习的手机外壳后盖缺陷检测方法，包括以下步骤：步骤1：图像采集模块采集图像；步骤2：选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；步骤3：搭建用于学习训练以及预测的深度学习神经网络；步骤4：利用训练样本离线集训练深度学习算法；步骤5：利用训练好的深度学习算法，在线检测识别手机表面外壳图像的缺陷。一种基于深度学习的手机外壳后盖缺陷检测系统，包括：手机承载平台、图像采集模块、图像处理模块和控制反馈模块。
Description
技术领域
本发明涉及视觉检测技术领域，，更具体的说是一种基于深度学习的手机外壳后盖缺陷检测方法和系统。
背景技术
随着智能手机产业的蓬勃发展，手机配件及其周边产品的生产量持续大幅度增长。目前在流水线生产中主要，手机表面缺陷的质量检测工作主要通过人工借助一定的辅助工具进行逐一的观察等方式实现。而对于具有在光源的照射下，可根据不同视线角度进行不同颜色、不同花纹甚至不同质感的成像与反射的特点的手机外壳后盖，这种方法会面临着光线造成可视范围较小、缺陷不易发现或错记漏记的问题，而不能有效的实现对于表面损伤的高效检测。
在生产中,对手机外壳后盖加工质量高水平的苛求,尤其在流水线上高效准确的检测手机外壳后盖缺陷,使得传统的人工检测方式已经难以胜任。现在急需一种高效率的检测方法和系统来实现手机外壳后盖缺陷检测在流水线上的自动化。
近年来，机器视觉技术得到了快速发展，在工业生产中，人们已经利用该技术成功对各种产品外观检测实现自动化操作。手机外壳后盖作为安装于通常智能手机后部、起保护和美观作用的覆盖零件。通常由表面处理过的金属、玻璃或陶瓷，以及表面处理并进行镀层处理的塑料制造，其在光照特性上可分为磨砂处理的漫反射手机后盖和多层流光处理的镜面反射手机后盖两种类别。目前市面上生产的主流后盖种类为质感较好的玻璃后盖、着色容易且成本较低的电镀塑料后盖以及前两种材质结合的多成分组合型后盖，其特点为在光源的照射下，可根据不同视线角度进行不同颜色、不同花纹甚至不同质感的成像与反射。通过机器视觉系统采集的手机外壳后盖图像，利用传统的图像处理算法检测手机外壳后盖的缺陷，会面对巨大的挑战。
随之深度学习算法的快速发展、神经网络提取特征能力的增强和网络深度的加深，其在计算机视觉领域有着非常出色表现，使得传统的图像处理算法无法解决的难题相继得到了解决，因此可以尝试利用手机外壳后盖不同种类的缺陷的图像训练深度学习算法，再利用训练好的深度学习算法在线检测手机外壳后盖的缺陷，这是一种收到广泛认可、行之有效的解决方法。
发明内容
为克服现有技术的不足，本发明提供一种基于深度学习的手机外壳后盖缺陷检测方法和系统，其有益效果为利用手机外壳后盖缺陷各种不同的特征图像训练深度学习算法，再利用训练好的深度学习算法在线检测手机外壳后盖的缺陷，可以满足工业中流水线高效生产的应用的实时性要求。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的手机外壳后盖缺陷检测方法，包括以下步骤：
步骤1：图像采集模块采集图像；
步骤2：选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
步骤3：搭建用于学习训练以及预测的深度学习神经网络；
步骤4：利用训练样本离线集训练深度学习算法；
步骤5：利用训练好的深度学习算法，在线检测识别手机表面外壳图像的缺陷。
所述步骤3包括：
步骤3.1：采用选择性搜索算法Selective Search进行区域选择，找出图片中可能存在目标的侯选区域Region Proposal；
步骤3.2：调整图片的大小以适应后续深度残差网络的输入，将输入图像的张量大小调整为224×224；
步骤3.3：通过深度残差网络对候选区域提取特征向量，步骤3.1生成的2000个建议框的特征组合成2000×4096维张量；
步骤3.4：使用支持向量机SVM学习器将2000×4096维特征张量与n个SVM组成的权值张量4096×n相乘(n种分类，SVM是二分类器，则有20个SVM，获得2000×20维张量；
步骤3.5：筛选CNN网络最后预测的候选区域，因为共有2000个候选区域，检测一个目标不可能同时显示这么多候选区域；
步骤3.6：修正边界箱Bounding box，对边界箱做回归微调；
步骤3.7：得到最终分析的结果并在图片上可视化输出。
所述步骤4包括：
步骤4.1：训练样本集的准备，包括典型损伤中的划伤、镀层斑块、过铣、麻点、异色、杂质6大类手机外壳后盖缺陷图像和无缺陷手机外壳后盖图像作为训练样本集，其中每一类缺陷采集5000块图像块以及5000块无缺陷图像块；
步骤4.2：通过对选取的图像进行简单的预处理和数据增强增加训练样本集，提高算法的泛化特性；
步骤4.3：迭代15000次对本发明内开法的算法中的添加残差连接的卷积神经网络进行训练，每一次迭代随机从训练样本集中选取20块图像块作为输入Batch size＝20，采用ADAM算法对使用残差连接多层卷积神经网络的损失函数loss的梯度做最速下降优化。
所述步骤3.1包括：
步骤3.1.1：将输入图片中的每一个像素作为一组，并计算每个像素的纹理；
步骤3.1.2：将步骤3.1.1中得到的纹理相近的像素认为是同一个像素组，将其组合起来形成更大的像素组，然后继续合并各个像素组；
步骤3.1.3：在设定的像素组大小阈值内迭代步骤3.1.2并逐渐扩大像素组，最终通过像素组的分布获得建议的的检测框；
步骤3.1.4：在设定的大小范围内，选取符合标准的检测建议框2000个。
所述步骤3.3包括：
步骤3.3.1：经过前面两步的候选区域提取的子图，进入卷积神经网络进行特征提取，每张子图生成尺寸为4096大小的特征向量；
步骤3.3.2：将提取好的特征数据存于磁盘中，该步骤存储的特征数据是最终要进行训练的数据；
步骤3.3.3：设定一张图片中的候选区域大约2000个，最终得到的总的训练张量的维数就是2000*4096。
所述步骤3.4包括：
步骤3.4.1：预设一共六种手机外壳后盖缺陷，与一种无缺陷正常样本一共7种分类，使用每个分类器对2000个候选区域进行分类判断；
步骤3.4.2：对于一个子推荐框的判断结果，可以得到7种分类器所给的分数，这个分数也可以说是该特征为所检测缺陷的概率分数；
步骤3.4.3：通过7个分数所得到的结果，取极大值便可判断机器学习预测所给出的结果及其置信概率。
所述步骤3.5包括：
步骤3.5.1：分别对2000×20维张量中每一列即每一类进行非极大值抑制Non-Maximum Suppression，选取分数最大的候选区域；
步骤3.5.2：对其余候选区域与它进行交并比IoU计算,即两个候选区域相交部分与两候选区域总面积之比；
步骤3.5.3：设置一个阈值，比如阈值为0.5，如果IoU>＝0.5，那么分数小的候选区域会被剔除重叠建议框，得到该列即该类中得分最高的一些建议框；
步骤3.5.4：IoU的值越接近1，说明两候选区域越接近重合，也就是说两候选区域预测的是同一个目标，只有分数大的会被保留。
所述步骤3.6包括：
步骤3.6.1：以最后一个候选区域的特征值，与目标值Grounding Truth建立回归方程计算，使用候选区域参考真实标注的目标来进行偏移；
步骤3.6.2：经过建立回归方程的计算得出Grounding Truth，使最后的候选区域更接近真实目标，从而提高预测的准确率。
所述步骤3.3所描述的残差网络，其中有1层平均池化层、1层最大池化层、17层卷积层、8条残差连接，具体结构为：第1层为大小为3*224*224的图像块的输入层；第2层为卷积层，卷积核的大小为7*7，过滤器数量为64个；第3层为最大池化层，池化范围为2*2，步长为1；第4、5、6、7层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为64个；第8、9、10、11层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为128个；第12、13、14、15层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为256个；第16、17、18、19层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为512个；第20层为平均池化层，第20层为全连接层；其中，在第3层输出和第5层输出之间添加残差连接，在第5层输出和第7层输出之间添加残差连接，在第9层输出和第11层输出之间添加残差连接，在第13层输出和第15层输出之间添加残差连接，在第17层输出和第19层输出之间添加残差连接；并且，在第7层输出和第9层输出之间添加残差连接，在第11层输出和第13层输出之间添加残差连接，在第15层输出和第17层输出之间添加残差连接，并在以上3个残差连接中进行卷积，卷积核的大小为1*1，过滤器数量为128/256/512个，以实现对X维度升维并下采样。
一种基于深度学习的手机外壳后盖缺陷检测方法，还使用一种基于深度学习的手机外壳后盖缺陷检测系统，包括：手机承载平台、图像采集模块、图像处理模块和控制反馈模块；
所述手机承载平台是一种用于承载手机并实现二自由度平面移动的自动平移装置，实现对手机的平面定位、承载以及二自由度移动；
所述图像采集模块为采用线阵CCD的工业相机，利用机器视觉专用光源和工业相机成像表面图像，通过上位机进行数字成像采集；
所述图像处理模块为采用工控机搭载图像处理模块的上位机软件，该软件包括图像处理交互界面、深度学习算法、数据库以及通信模块，可利用深度学习算法对采集的图像进行缺陷检测，并把缺陷信息发送给控制执行单元；所述深度学习算法利用Google开源深度学习系统TensorFlow进行开发，并利用英伟达GPU对深度学习算法进行加速。
所述控制反馈模块为手机承载平台控制电路及其相应算法，根据图像处理模块传送过来的缺陷信息，采用可编程脉冲信号控制器控制承载手机的二自由度平面移动平台进行相应的位移以变更检测范围，并通过上位机使用人机交互系统进行输出与标示或者使用控制信号控制相应的信号输出端对表面缺陷进行提示。
本发明一种基于深度学习的手机外壳后盖缺陷检测方法和系统的有益效果是：
本发明基于深度学习原理的手机外壳后盖缺陷检测方法，通过在手机外壳后盖不同缺陷类型的特征图像块训练深度学习算法，再利用训练好的深度学习算法检测识别出手机外壳后盖的缺陷，解决了传统图像处理算法无法检测识别出复杂纹理缺陷的难题。
本发明基于深度学习的手机外壳后盖缺陷检测方法，通过高像素的线阵CCD工业相机能在光学特性复杂的手机外壳后盖表面高精度的对缺陷进行成像，然后利用Google开源深度学习系统TensorFlow进行深度学习算法的开发，并利用英伟达GPU对深度学习算法进行加速，以识别缺陷的类型，最终得到的算法可以在实施时满足工业应用的实时性要求。
本发明基于深度学习原理的手机外壳后盖缺陷检测方法，通过手机承载平台、图像采集模块、图像处理模块和控制反馈模块之间的配合可以高效实现对不同复杂纹理手机外壳后盖缺陷的检测，不仅检测精度高，适应性广泛，而且鲁棒性强，速度快。
附图说明
下面结合附图和具体实施方法对本发明做进一步详细的说明。
图1为本发明中基于深度学习的手机外壳后盖缺陷检测方法的流程图；
图2为本发明内开法的算法中的卷积神经网络示意图；
图3为手机承载平台的整体结构示意图。
图中：定制定位夹具1；滑动组件I2；滑动组件II3。
具体实施方式
具体实施方式一：
参照图1-2所示，
一种基于深度学习的手机外壳后盖缺陷检测方法，包括以下步骤：
步骤1：图像采集模块采集图像；
步骤2：选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
步骤3：搭建用于学习训练以及预测的深度学习神经网络；
步骤4：利用训练样本离线集训练深度学习算法；
步骤5：利用训练好的深度学习算法，在线检测识别手机表面外壳图像的缺陷。
所述步骤3包括：
步骤3.1：采用选择性搜索算法Selective Search进行区域选择，找出图片中可能存在目标的侯选区域Region Proposal；
步骤3.2：调整图片的大小以适应后续深度残差网络的输入，将输入图像的张量大小调整为224×224；
步骤3.3：通过深度残差网络对候选区域提取特征向量，步骤3.1生成的2000个建议框的特征组合成2000×4096维张量；
步骤3.4：使用支持向量机SVM学习器将2000×4096维特征张量与n个SVM组成的权值张量4096×n相乘(n种分类，SVM是二分类器，则有20个SVM，获得2000×20维张量；
步骤3.5：筛选CNN网络最后预测的候选区域，因为共有2000个候选区域，检测一个目标不可能同时显示这么多候选区域；
步骤3.6：修正边界箱Boundingbox，对边界箱做回归微调；
步骤3.7：得到最终分析的结果并在图片上可视化输出。
所述步骤4包括：
步骤4.1：训练样本集的准备，包括典型损伤中的划伤、镀层斑块、过铣、麻点、异色、杂质6大类手机外壳后盖缺陷图像和无缺陷手机外壳后盖图像作为训练样本集，其中每一类缺陷采集5000块图像块以及5000块无缺陷图像块；
步骤4.2：通过对选取的图像进行简单的预处理和数据增强增加训练样本集，提高算法的泛化特性；
步骤4.3：迭代15000次对本发明内开法的算法中的添加残差连接的卷积神经网络进行训练，每一次迭代随机从训练样本集中选取20块图像块作为输入Batch size＝20，采用ADAM算法对使用残差连接多层卷积神经网络的损失函数loss的梯度做最速下降优化。
所述步骤3.1包括：
步骤3.1.1：将输入图片中的每一个像素作为一组，并计算每个像素的纹理；
步骤3.1.2：将步骤3.1.1中得到的纹理相近的像素认为是同一个像素组，将其组合起来形成更大的像素组，然后继续合并各个像素组；
步骤3.1.3：在设定的像素组大小阈值内迭代步骤3.1.2并逐渐扩大像素组，最终通过像素组的分布获得建议的的检测框；
步骤3.1.4：在设定的大小范围内，选取符合标准的检测建议框2000个。
所述步骤3.3包括：
步骤3.3.1：经过前面两步的候选区域提取的子图，进入卷积神经网络进行特征提取，每张子图生成尺寸为4096大小的特征向量；
步骤3.3.2：将提取好的特征数据存于磁盘中，该步骤存储的特征数据是最终要进行训练的数据；
步骤3.3.3：设定一张图片中的候选区域大约2000个，最终得到的总的训练张量的维数就是2000*4096。
所述步骤3.4包括：
步骤3.4.1：预设一共六种手机外壳后盖缺陷，与一种无缺陷正常样本一共7种分类，使用每个分类器对2000个候选区域进行分类判断；
步骤3.4.2：对于一个子推荐框的判断结果，可以得到7种分类器所给的分数，这个分数也可以说是该特征为所检测缺陷的概率分数；
步骤3.4.3：通过7个分数所得到的结果，取极大值便可判断机器学习预测所给出的结果及其置信概率。
所述步骤3.5包括：
步骤3.5.1：分别对2000×20维张量中每一列即每一类进行非极大值抑制Non-Maximum Suppression，选取分数最大的候选区域；
步骤3.5.2：对其余候选区域与它进行交并比IoU计算,即两个候选区域相交部分与两候选区域总面积之比；
步骤3.5.3：设置一个阈值，比如阈值为0.5，如果IoU>＝0.5，那么分数小的候选区域会被剔除重叠建议框，得到该列即该类中得分最高的一些建议框；
步骤3.5.4：IoU的值越接近1，说明两候选区域越接近重合，也就是说两候选区域预测的是同一个目标，只有分数大的会被保留。
所述步骤3.6包括：
步骤3.6.1：以最后一个候选区域的特征值，与目标值Grounding Truth建立回归方程计算，使用候选区域参考真实标注的目标来进行偏移；
步骤3.6.2：经过建立回归方程的计算得出Grounding Truth，使最后的候选区域更接近真实目标，从而提高预测的准确率。
所述步骤3.3所描述的残差网络，其中有1层平均池化层、1层最大池化层、17层卷积层、8条残差连接，具体结构为：第1层为大小为3*224*224的图像块的输入层；第2层为卷积层，卷积核的大小为7*7，过滤器数量为64个；第3层为最大池化层，池化范围为2*2，步长为1；第4、5、6、7层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为64个；第8、9、10、11层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为128个；第12、13、14、15层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为256个；第16、17、18、19层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为512个；第20层为平均池化层，第20层为全连接层；其中，在第3层输出和第5层输出之间添加残差连接，在第5层输出和第7层输出之间添加残差连接，在第9层输出和第11层输出之间添加残差连接，在第13层输出和第15层输出之间添加残差连接，在第17层输出和第19层输出之间添加残差连接；并且，在第7层输出和第9层输出之间添加残差连接，在第11层输出和第13层输出之间添加残差连接，在第15层输出和第17层输出之间添加残差连接，并在以上3个残差连接中进行卷积，卷积核的大小为1*1，过滤器数量为128/256/512个，以实现对X维度升维并下采样。
具体实施方式二：
参照图1-3所示，
一种基于深度学习的手机外壳后盖缺陷检测方法，还使用一种基于深度学习的手机外壳后盖缺陷检测系统，包括：手机承载平台、图像采集模块、图像处理模块和控制反馈模块；
所述手机承载平台是一种用于承载手机并实现二自由度平面移动的自动平移装置，实现对手机的平面定位、承载以及二自由度移动；
所述手机承载平台包括定制定位夹具1、滑动组件I2和滑动组件II3，定制定位夹具1用来放置手机，滑动组件I2和滑动组件II3均通过电机驱动滑块移动的方式驱动定制定位夹具1在X轴和Y轴方向移动，进而带动定制定位夹具1上的手机做二自由度移动。
所述图像采集模块为采用线阵CCD的工业相机，利用机器视觉专用光源和工业相机成像表面图像，通过上位机进行数字成像采集；
所述图像处理模块为采用工控机搭载图像处理模块的上位机软件，该软件包括图像处理交互界面、深度学习算法、数据库以及通信模块，可利用深度学习算法对采集的图像进行缺陷检测，并把缺陷信息发送给控制执行单元；所述深度学习算法利用Google开源深度学习系统TensorFlow进行开发，并利用英伟达GPU对深度学习算法进行加速。
所述控制反馈模块为手机承载平台控制电路及其相应算法，根据图像处理模块传送过来的缺陷信息，采用可编程脉冲信号控制器控制承载手机的二自由度平面移动平台进行相应的位移以变更检测范围，并通过上位机使用人机交互系统进行输出与标示或者使用控制信号控制相应的信号输出端对表面缺陷进行提示。
Claims (10)
1.一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：包括以下步骤：
步骤1：图像采集模块采集图像；
步骤2：选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
步骤3：搭建用于学习训练以及预测的深度学习神经网络；
步骤4：利用训练样本离线集训练深度学习算法；
步骤5：利用训练好的深度学习算法，在线检测识别手机表面外壳图像的缺陷。
2.根据权利要求1所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3包括：
步骤3.1：采用选择性搜索算法Selective Search进行区域选择，找出图片中可能存在目标的侯选区域Region Proposal；
步骤3.2：调整图片的大小以适应后续深度残差网络的输入，将输入图像的张量大小调整为224×224；
步骤3.3：通过深度残差网络对候选区域提取特征向量，步骤3.1生成的2000个建议框的特征组合成2000×4096维张量；
步骤3.4：使用支持向量机SVM学习器将2000×4096维特征张量与n个SVM组成的权值张量4096×n相乘(n种分类，SVM是二分类器，则有20个SVM，获得2000×20维张量；
步骤3.5：筛选CNN网络最后预测的候选区域，因为共有2000个候选区域，检测一个目标不可能同时显示这么多候选区域；
步骤3.6：修正边界箱Bounding box，对边界箱做回归微调；
步骤3.7：得到最终分析的结果并在图片上可视化输出。
3.根据权利要求1所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤4包括：
步骤4.1：训练样本集的准备，包括典型损伤中的划伤、镀层斑块、过铣、麻点、异色、杂质6大类手机外壳后盖缺陷图像和无缺陷手机外壳后盖图像作为训练样本集，其中每一类缺陷采集5000块图像块以及5000块无缺陷图像块；
步骤4.2：通过对选取的图像进行简单的预处理和数据增强增加训练样本集，提高算法的泛化特性；
步骤4.3：迭代15000次对本发明内开法的算法中的添加残差连接的卷积神经网络进行训练，每一次迭代随机从训练样本集中选取20块图像块作为输入Batch size＝20，采用ADAM算法对使用残差连接多层卷积神经网络的损失函数loss的梯度做最速下降优化。
4.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.1包括：
步骤3.1.1：将输入图片中的每一个像素作为一组，并计算每个像素的纹理；
步骤3.1.2：将步骤3.1.1中得到的纹理相近的像素认为是同一个像素组，将其组合起来形成更大的像素组，然后继续合并各个像素组；
步骤3.1.3：在设定的像素组大小阈值内迭代步骤3.1.2并逐渐扩大像素组，最终通过像素组的分布获得建议的的检测框；
步骤3.1.4：在设定的大小范围内，选取符合标准的检测建议框2000个。
5.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.3包括：
步骤3.3.1：经过前面两步的候选区域提取的子图，进入卷积神经网络进行特征提取，每张子图生成尺寸为4096大小的特征向量；
步骤3.3.2：将提取好的特征数据存于磁盘中，该步骤存储的特征数据是最终要进行训练的数据；
步骤3.3.3：设定一张图片中的候选区域大约2000个，最终得到的总的训练张量的维数就是2000*4096。
6.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.4包括：
步骤3.4.1：预设一共六种手机外壳后盖缺陷，与一种无缺陷正常样本一共7种分类，使用每个分类器对2000个候选区域进行分类判断；
步骤3.4.2：对于一个子推荐框的判断结果，可以得到7种分类器所给的分数，这个分数也可以说是该特征为所检测缺陷的概率分数；
步骤3.4.3：通过7个分数所得到的结果，取极大值便可判断机器学习预测所给出的结果及其置信概率。
7.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.5包括：
步骤3.5.1：分别对2000×20维张量中每一列即每一类进行非极大值抑制Non-MaximumSuppression，选取分数最大的候选区域；
步骤3.5.2：对其余候选区域与它进行交并比IoU计算,即两个候选区域相交部分与两候选区域总面积之比；
步骤3.5.3：设置一个阈值，比如阈值为0.5，如果IoU>＝0.5，那么分数小的候选区域会被剔除重叠建议框，得到该列即该类中得分最高的一些建议框；
步骤3.5.4：IoU的值越接近1，说明两候选区域越接近重合，也就是说两候选区域预测的是同一个目标，只有分数大的会被保留。
8.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.6包括：
步骤3.6.1：以最后一个候选区域的特征值，与目标值Grounding Truth建立回归方程计算，使用候选区域参考真实标注的目标来进行偏移；
步骤3.6.2：经过建立回归方程的计算得出Grounding Truth，使最后的候选区域更接近真实目标，从而提高预测的准确率。
9.根据权利要求2所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：所述步骤3.3所描述的残差网络，其中有1层平均池化层、1层最大池化层、17层卷积层、8条残差连接，具体结构为：第1层为大小为3*224*224的图像块的输入层；第2层为卷积层，卷积核的大小为7*7，过滤器数量为64个；第3层为最大池化层，池化范围为2*2，步长为1；第4、5、6、7层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为64个；第8、9、10、11层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为128个；第12、13、14、15层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为256个；第16、17、18、19层为卷积层，卷积核的大小都为3*3，并且过滤器数量都为512个；第20层为平均池化层，第20层为全连接层；其中，在第3层输出和第5层输出之间添加残差连接，在第5层输出和第7层输出之间添加残差连接，在第9层输出和第11层输出之间添加残差连接，在第13层输出和第15层输出之间添加残差连接，在第17层输出和第19层输出之间添加残差连接；并且，在第7层输出和第9层输出之间添加残差连接，在第11层输出和第13层输出之间添加残差连接，在第15层输出和第17层输出之间添加残差连接，并在以上3个残差连接中进行卷积，卷积核的大小为1*1，过滤器数量为128/256/512个，以实现对X维度升维并下采样。
10.根据权利要求1所述的一种基于深度学习的手机外壳后盖缺陷检测方法，其特征在于：还使用一种基于深度学习的手机外壳后盖缺陷检测系统，包括：手机承载平台、图像采集模块、图像处理模块和控制反馈模块；
所述手机承载平台是一种用于承载手机并实现二自由度平面移动的自动平移装置，实现对手机的平面定位、承载以及二自由度移动；
所述图像采集模块为采用线阵CCD的工业相机，利用机器视觉专用光源和工业相机成像表面图像，通过上位机进行数字成像采集；
所述图像处理模块为采用工控机搭载图像处理模块的上位机软件，该软件包括图像处理交互界面、深度学习算法、数据库以及通信模块，可利用深度学习算法对采集的图像进行缺陷检测，并把缺陷信息发送给控制执行单元；
所述控制反馈模块为手机承载平台控制电路及其相应算法，根据图像处理模块传送过来的缺陷信息，采用可编程脉冲信号控制器控制承载手机的二自由度平面移动平台进行相应的位移以变更检测范围，并通过上位机使用人机交互系统进行输出与标示或者使用控制信号控制相应的信号输出端对表面缺陷进行提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110539677.2A CN113240647A (zh) | 2021-05-18 | 2021-05-18 | 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110539677.2A CN113240647A (zh) | 2021-05-18 | 2021-05-18 | 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240647A true CN113240647A (zh) | 2021-08-10 |
Family
ID=77134898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110539677.2A Pending CN113240647A (zh) | 2021-05-18 | 2021-05-18 | 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240647A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332083A (zh) * | 2022-03-09 | 2022-04-12 | 齐鲁工业大学 | 一种基于PFNet的工业品伪装瑕疵识别方法 |
| CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117786415A (zh) * | 2024-02-27 | 2024-03-29 | 常州微亿智造科技有限公司 | 缺陷检测方法和系统 |
| CN118036414A (zh) * | 2024-04-12 | 2024-05-14 | 东莞理工学院 | 一种基于超声导波机器学习的涂层厚度表征方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| CN111667465A (zh) * | 2020-05-22 | 2020-09-15 | 广东顺德募优网络科技有限公司 | 一种基于远红外图像的金属洗手盆缺陷检测方法 |
-
2021
- 2021-05-18 CN CN202110539677.2A patent/CN113240647A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| CN111667465A (zh) * | 2020-05-22 | 2020-09-15 | 广东顺德募优网络科技有限公司 | 一种基于远红外图像的金属洗手盆缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 夏诗娴: "电子制造生产线中的手机外壳缺陷视觉检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 7, 15 July 2020 (2020-07-15), pages 136 - 393 * |
| 赵鸣 等: "《智能系统与技术丛书 基于深度学习的自然语言处理》", 31 May 2020, pages: 51 - 53 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332083A (zh) * | 2022-03-09 | 2022-04-12 | 齐鲁工业大学 | 一种基于PFNet的工业品伪装瑕疵识别方法 |
| CN117058125A (zh) * | 2023-09-01 | 2023-11-14 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117058125B (zh) * | 2023-09-01 | 2024-03-15 | 无锡维凯科技有限公司 | 基于手机后盖玻璃的检测方法和系统 |
| CN117786415A (zh) * | 2024-02-27 | 2024-03-29 | 常州微亿智造科技有限公司 | 缺陷检测方法和系统 |
| CN118036414A (zh) * | 2024-04-12 | 2024-05-14 | 东莞理工学院 | 一种基于超声导波机器学习的涂层厚度表征方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN113240647A (zh) | 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 | |
| CN111007073B (zh) | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 | |
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN112085735A (zh) | 一种基于自适应锚框的铝材质图像缺陷检测方法 | |
| CN112037219B (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN111415329A (zh) | 一种基于深度学习的工件表面缺陷检测方法 | |
| CN113920090B (zh) | 一种基于深度学习的预制棒外观缺陷自动化检测方法 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| CN110929795A (zh) | 高速焊线机焊点快速识别与定位方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN116071294A (zh) | 一种光纤表面缺陷检测方法和装置 | |
| AU2024202801A1 (en) | Acquiring and inspecting images of ophthalmic lenses | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| Banus et al. | A deep-learning based solution to automatically control closure and seal of pizza packages | |
| CN113538342A (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
| CN117252817A (zh) | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| Nguyen et al. | Detection of weak micro-scratches on aspherical lenses using a Gabor neural network and transfer learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |