CN114092410B - 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 - Google Patents
一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 Download PDFInfo
- Publication number
- CN114092410B CN114092410B CN202111252569.3A CN202111252569A CN114092410B CN 114092410 B CN114092410 B CN 114092410B CN 202111252569 A CN202111252569 A CN 202111252569A CN 114092410 B CN114092410 B CN 114092410B
- Authority
- CN
- China
- Prior art keywords
- layer
- iterations
- neural network
- convolutional neural
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 72
- 230000007547 defect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000002699 waste material Substances 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 16
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 6
- 238000004064 recycling Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000009270 solid waste treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法，针对废旧手机回收过程中表面缺陷难以精准识别的问题。本发明利用灰度化和索贝尔算子对数据集进行预处理得到清晰的图像数据，构造了一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法实现对表面缺陷的快速准确识别。本发明对不同场景下的手机表面缺陷识别均保持较好的快速性和准确性，能够提高废旧手机回收的效率和回收企业经济效益。
Description
技术领域
本发明利用基于多尺度卷积神经网络的废旧手机表面缺陷识别方法实现废旧手机回收过程中手机表面缺陷的精准识别。在废旧手机回收过程中，将手机按缺陷分类处理是重要步骤之一，手机表面缺陷各异，相似度高，且手机表面容易受到偏光、遮挡等因素影响，对手机表面缺陷识别任务造成了一定困难。将基于多尺度卷积神经网络的废旧手机表面缺陷识别方法应用于废旧手机回收过程中，能够节约人力成本，提高废旧手机回收的准确性和快速性，是图像识别领域的重要分支，又属于固体废物的处理领域。
背景技术
废旧手机表面缺陷的快速准确识别能够提高手机回收效率，节省人力，同时还能提升废旧手机回收企业经济效益，是提高城市固体废物资源再利用的重要举措；不但具有较好的经济效益，而且具有显著的环境和社会效益。因此，本发明的研究成果具有广阔的应用前景。
废旧手机表面缺陷识别是一个图像识别与分类的过程，由于验机人员回收手机时拍摄的验机照片角度、设备、光源等拍摄条件各异，分辨率也不一，严重影响了废旧手机表面缺陷识别的准确性。由于部分手机缺陷受光照的影响严重，更是增大了建立模型的难度，利用灰度化和索贝尔算子对数据集进行预处理得到清晰的图像，可以降低卷积模型缺陷识别难度，提高分类准确性，满足废旧手机回收的需要。从而提高回收效率，加速废旧手机的流通过程，同时也能够减少人工费用，提高回收企业的效益。
本发明设计了一种基于多尺度卷积神经网络的手机表面缺陷识别方法，主要通过灰度化和索贝尔算子对数据集进行预处理得到较清晰的图像，采用多尺度卷积神经网络识别模型对训练数据进行特征提取和识别，实现废旧手机表面缺陷的快速检测和精准识别。
发明内容
本发明获得了一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法，该方法采用灰度化和索贝尔算子对废旧手机图像进行预处理并通过建立基于多尺度卷积神经网络的手机表面缺陷精准识别模型，利用回收过程的图像数据完成识别模型的参数调整，实现废旧手机表面缺陷的精准识别。
本发明采用了如下的技术方案及实现步骤：
1.一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法，通过灰度化和索贝尔算子对废旧手机图像进行预处理得到较清晰的灰度图像，采用多尺度卷积神经网络识别模型对训练图像数据进行特征提取和识别，实现废旧手机表面缺陷的快速检测和精准识别，包括以下步骤：
(1)运行数据采集
废旧手机表面缺陷严重影响手机的回收价格，因此对废旧手机屏幕进行缺陷检测是必要的；采集系统是由工业相机和同步编码器共同搭建的，拍摄由流水线传送而来的手机屏幕，并将拍摄的图片通过千兆网卡传到与相机相连的计算机上，软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，选用RGB颜色空间作为手机表面缺陷识别模型的输入变量，AR(t)表示在t迭代时的红色通道像素矩阵，AG(t)表示在t迭代时的绿色通道像素矩阵，AB(t)表示在t迭代时的蓝色通道像素矩阵；
(2)运行基于边缘检测算法的废旧手机图像预处理方法
为了得到较清晰的灰度图像，从废旧手机图像中获取AR(t)，AG(t)，AB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.30，0.59和0.11，具体计算公式如下：
D(t)＝0.30AR(t)+0.59AG(t)+0.11AB(t) (1)
其中，D(t)表示在t迭代时待识别手机表面图像A灰度化后的像素矩阵；t表示迭代次数；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体计算公式如下：
U(t)＝E*D(t) (2)
其中，U(t)表示在t次迭代时该点边缘检测的灰度值；
其中，E表示索贝尔算子卷积因子，由一组3×3的矩阵组成；
(3)设计基于多尺度卷积神经网络的废旧手机表面缺陷识别模型
利用多尺度卷积神经网络搭建废旧手机表面缺陷识别模型，多尺度卷积神经网络包括输入层、特征提取层和输出层，特征提取层包含激活层、池化层和正则化层，该网络输入层的维度为416×416，特征提取层的维度为104×104，输出层的维度分别为52×52，26×26，13×13，13×13这个尺度输出用于检测小型目标，26×26为中型目标，52×52用于检测大型目标；基于多尺度卷积神经网络的废旧手机表面缺陷识别模型各层表示如下：
多尺度卷积神经网络输入层：输入层的计算公式如下：
G(t)＝U(t) (4)
其中，G(t)表示在t次迭代时输入层的输出；
多尺度卷积神经网络激活层：该层的输入为输入层的输出G(t)，该层输出表示为：
Q(t)＝f(ω(t)G(t)+β) (5)
其中，Q(t)表示在t次迭代时由G(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；ω(t)表示在t次迭代时多尺度卷积神经网络结构的权值；β是多尺度卷积神经网络的输出偏置参数，β为介于0到1之前的常数；
多尺度卷积神经网络池化层：该层的输入为激活层的输出Q(t)，该层输出表示为：
其中，H(t)表示在t次迭代时Q(t)经过池化后的输出向量；Z1表示水平池化步长；Z2表示垂直池化步长；a表示平均池化后卷积特征图的水平方向的维度；b表示平均池化后卷积特征图的垂直方向的维度；m表示特征矩阵中的行数；n表示特征矩阵中的列数；
多尺度卷积神经网络正则化层：该层的输入为池化层的输出H(t)，该层输出表示为：
其中，Rev(t)表示在t次迭代时矩阵H(t)中特征元素正则化后的输出向量；v表示模型输出的尺度，v＝1,2,3；||||2表示二范数归一化操作；sign表示符号函数；当H(t)为正定矩阵，sign(H(t))＝1；当H(t)为非正定矩阵时，sign(H(t))＝0；当H(t)为半正定矩阵时，sign(H(t))＝-1；
多尺度卷积神经网络输出层：该层的输入为正则化层的输出Rev(t)，该层输出表示为：
O(t)＝[Re1(t)，Re2(t)，Re3(t)] (8)
其中，O(t)表示在t次迭代时多尺度卷积神经网络的输出矩阵；
多尺度卷积神经网络将输入图像分成S×S的网格，每个网格根据锚盒参数及特征图预测出候选框的位置及候选框内疑似目标对应的目标种类置信度，由锚盒参数获得目标候选框位置的方法如公式10-14所示：
其中，kij x(t)表示在t次迭代时第i个方格第j个边框横坐标的预测值；qx表示横向网格位置；αx表示横向预测坐标偏移值；是逻辑回归函数；
其中，kij y(t)表示在t次迭代时第i个方格第j个边框纵坐标的预测值；qy表示纵向网格位置；αy表示纵向预测坐标偏移值；
其中，kij w(t)表示在t次迭代时第i个方格第j个的宽度预测值；pw表示预设边框的宽；αw表示宽度方向上的尺度缩放；
其中，kij h(t)表示在t次迭代时第i个方格第j个的高度预测值；ph表示预设边框的高；αh表示高度方向上的尺度缩放；
卷积神经网络损失函数的具体公式如下：
L(t)＝L1(t)+L2(t)+L3(t)+L4(t) (13)
其中，L(t)表示在t次迭代时损失函数；
中心坐标误差损失函数L1(t)的计算公式如下所示：
其中，S×S表示网格个数；B表示该网格中边界框的个数；Iij σ(t)表示在t次迭代时第i个方格第j个边框的锚定框控制函数，当锚定框含有目标时，Iij σ(t)＝0；当锚定框不含目标时，Iij σ(t)＝1；σ表示锚定框中是否含有目标；表示在t次迭代时第i个方格第j个边框横坐标的真实值；/>表示在t次迭代时第i个方格第j个边框纵坐标的真实值；
宽高坐标误差损失函数L2(t)的计算公式如下所示：
其中，表示在t次迭代时第i个方格第j个边框宽度的真实值；/>表示在t次迭代时第i个方格第j个边框高度的真实值；
置信度误差损失函数L3(t)的计算公式如下所示：
其中，Iij γ(t)表示在t次迭代时第i个方格第j个边框的边界框控制函数，当边界框含有目标时，Iij γ(t)＝0，当边界框不含目标时，Iij γ(t)＝1；γ表示边界框中是否含有目标；Cij(t)表示在t次迭代时第i个方格第j个边框置信度的预测值；表示在t次迭代时第i个方格第j个边框置信度的真实值；当边界框负责预测对象时，/>当边界框不负责预测对象时，/>
分类误差损失函数L4(t)的计算公式如下所示：
其中，Pij(t)表示在t次迭代时第i个方格第j个边框的预测类别概率；表示在t次迭代时第i个方格第j个边框的真实类别概率；C表示类别集合；log为取对数符号；
利用梯度下降算法训练卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在t+1次迭代时卷积神经网络层中的权重；ω(t)表示在t次迭代时卷积神经网络层中的权重，ω(t)的初始值ω(1)各元素为介于0到1之前的常数；ρ为梯度下降算法的学习率，在区间[0.01,0.1]中随机取值；
(4)废旧手机表面缺陷分类决策
利用训练好的多尺度卷积神经网络的废旧手机表面缺陷识别模型，使用待识别手机表面图像像素矩阵A作为模型的输入变量，得到识别模型的输出值，使用Logistic分类器进行缺陷分类决策，即根据待测样本所属类别Pij(t)预测值进行判断，其包括：当预测值Pij(t)<0.5时，表示手机的缺陷类别为划痕；当Pij(t)≥0.5时，表示手机的缺陷类别为碎裂；
本发明的创造性主要体现在：
(1)本发明针对当前废旧手机回收过程中的手机表面缺陷识别过程，需要准确快速的对手机表面缺陷进行识别，提高废旧手机回收的效率，然而由于验机人员回收手机时拍摄的验机照片角度、设备、光源等拍摄条件各异，分辨率也不一，严重影响了废旧手机表面缺陷识别的准确性。由于部分手机表面缺陷受光照的影响严重，更是增大了建立模型的难度，利用灰度化和索贝尔算子对数据集进行预处理得到较清晰的图像，可以降低卷积模型缺陷识别学习难度，提高识别准确性，从而提高回收效率，加速废旧手机的流通过程，同时也能够减少人工费用，提高回收企业的效益。
(2)本发明提出了一种基于多尺度卷积神经网络的废旧手机表面缺陷识别方法，该识别方法通过灰度化和索贝尔算子对数据集进行预处理得到较清晰的图像，采用多尺度卷积神经网络识别模型对训练数据进行特征提取和识别；解决了废旧手机回收过程中表面缺陷识别的问题，提高了手机的回收效率。
特别要注意：本发明只是为了描述方便，采用多尺度卷积神经网络和边缘检测算法对手机图像进行处理，将其他的特征提取算法和识别区域提取算法相结合等相同原理的图像识别方法都应该属于本发明的范围。
附图说明
图1是本发明缺陷识别训练收敛曲线图
具体实施方式
本发明采用了如下的技术方案及实现步骤：
2.一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法，通过灰度化和索贝尔算子对废旧手机图像进行预处理得到较清晰的灰度图像，采用多尺度卷积神经网络识别模型对训练图像数据进行特征提取和识别，实现废旧手机表面缺陷的快速检测和精准识别，包括以下步骤：
(2)运行数据采集
废旧手机表面缺陷严重影响手机的回收价格，因此对废旧手机屏幕进行缺陷检测是必要的；采集系统是由工业相机和同步编码器共同搭建的，拍摄由流水线传送而来的手机屏幕，并将拍摄的图片通过千兆网卡传到与相机相连的计算机上，软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，选用RGB颜色空间作为手机表面缺陷识别模型的输入变量，AR(t)表示在t迭代时的红色通道像素矩阵，AG(t)表示在t迭代时的绿色通道像素矩阵，AB(t)表示在t迭代时的蓝色通道像素矩阵；
(3)运行基于边缘检测算法的废旧手机图像预处理方法
为了得到较清晰的灰度图像，从废旧手机图像中获取AR(t)，AG(t)，AB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.30，0.59和0.11，具体计算公式如下：
D(t)＝0.30AR(t)+0.59AG(t)+0.11AB(t) (1)
其中，D(t)表示在t迭代时待识别手机表面图像A灰度化后的像素矩阵；t表示迭代次数；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体计算公式如下：
U(t)＝E*D(t) (2)
其中，U(t)表示在t次迭代时该点边缘检测的灰度值；
其中，E表示索贝尔算子卷积因子，由一组3×3的矩阵组成；
(3)设计基于多尺度卷积神经网络的废旧手机表面缺陷识别模型
利用多尺度卷积神经网络搭建废旧手机表面缺陷识别模型，多尺度卷积神经网络包括输入层、特征提取层和输出层，特征提取层包含激活层、池化层和正则化层，该网络输入层的维度为416×416，特征提取层的维度为104×104，输出层的维度分别为52×52，26×26，13×13，13×13这个尺度输出用于检测小型目标，26×26为中型目标，52×52用于检测大型目标；基于多尺度卷积神经网络的废旧手机表面缺陷识别模型各层表示如下：
多尺度卷积神经网络输入层：输入层的计算公式如下：
G(t)＝U(t) (4)
其中，G(t)表示在t次迭代时输入层的输出；
多尺度卷积神经网络激活层：该层的输入为输入层的输出G(t)，该层输出表示为：
Q(t)＝f(ω(t)G(t)+β) (5)
其中，Q(t)表示在t次迭代时由G(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；ω(t)表示在t次迭代时多尺度卷积神经网络结构的权值；β是多尺度卷积神经网络的输出偏置参数，β为介于0到1之前的常数；
多尺度卷积神经网络池化层：该层的输入为激活层的输出Q(t)，该层输出表示为：
其中，H(t)表示在t次迭代时Q(t)经过池化后的输出向量；Z1表示水平池化步长；Z2表示垂直池化步长；a表示平均池化后卷积特征图的水平方向的维度；b表示平均池化后卷积特征图的垂直方向的维度；m表示特征矩阵中的行数；n表示特征矩阵中的列数；
多尺度卷积神经网络正则化层：该层的输入为池化层的输出H(t)，该层输出表示为：
其中，Rev(t)表示在t次迭代时矩阵H(t)中特征元素正则化后的输出向量；v表示模型输出的尺度，v＝1,2,3；||||2表示二范数归一化操作；sign表示符号函数；当H(t)为正定矩阵，sign(H(t))＝1；当H(t)为非正定矩阵时，sign(H(t))＝0；当H(t)为半正定矩阵时，sign(H(t))＝-1；
多尺度卷积神经网络输出层：该层的输入为正则化层的输出Rev(t)，该层输出表示为：
O(t)＝[Re1(t)，Re2(t)，Re3(t)] (8)
其中，O(t)表示在t次迭代时多尺度卷积神经网络的输出矩阵；
多尺度卷积神经网络将输入图像分成S×S的网格，每个网格根据锚盒参数及特征图预测出候选框的位置及候选框内疑似目标对应的目标种类置信度，由锚盒参数获得目标候选框位置的方法如公式10-14所示：
其中，kij x(t)表示在t次迭代时第i个方格第j个边框横坐标的预测值；qx表示横向网格位置；αx表示横向预测坐标偏移值；是逻辑回归函数；
其中，kij y(t)表示在t次迭代时第i个方格第j个边框纵坐标的预测值；qy表示纵向网格位置；αy表示纵向预测坐标偏移值；
其中，kij w(t)表示在t次迭代时第i个方格第j个的宽度预测值；pw表示预设边框的宽；αw表示宽度方向上的尺度缩放；
其中，kij h(t)表示在t次迭代时第i个方格第j个的高度预测值；ph表示预设边框的高；αh表示高度方向上的尺度缩放；
卷积神经网络损失函数的具体公式如下：
L(t)＝L1(t)+L2(t)+L3(t)+L4(t) (13)
其中，L(t)表示在t次迭代时损失函数；
中心坐标误差损失函数L1(t)的计算公式如下所示：
其中，S×S表示网格个数；B表示该网格中边界框的个数；Iij σ(t)表示在t次迭代时第i个方格第j个边框的锚定框控制函数，当锚定框含有目标时，Iij σ(t)＝0；当锚定框不含目标时，Iij σ(t)＝1；σ表示锚定框中是否含有目标；表示在t次迭代时第i个方格第j个边框横坐标的真实值；/>表示在t次迭代时第i个方格第j个边框纵坐标的真实值；
宽高坐标误差损失函数L2(t)的计算公式如下所示：
其中，表示在t次迭代时第i个方格第j个边框宽度的真实值；/>表示在t次迭代时第i个方格第j个边框高度的真实值；
置信度误差损失函数L3(t)的计算公式如下所示：
其中，Iij γ(t)表示在t次迭代时第i个方格第j个边框的边界框控制函数，当边界框含有目标时，Iij γ(t)＝0，当边界框不含目标时，Iij γ(t)＝1；γ表示边界框中是否含有目标；Cij(t)表示在t次迭代时第i个方格第j个边框置信度的预测值；表示在t次迭代时第i个方格第j个边框置信度的真实值；当边界框负责预测对象时，/>当边界框不负责预测对象时，/>
分类误差损失函数L4(t)的计算公式如下所示：
其中，Pij(t)表示在t次迭代时第i个方格第j个边框的预测类别概率；表示在t次迭代时第i个方格第j个边框的真实类别概率；C表示类别集合；log为取对数符号；
利用梯度下降算法训练卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在t+1次迭代时卷积神经网络层中的权重；ω(t)表示在t次迭代时卷积神经网络层中的权重，ω(t)的初始值ω(1)各元素为介于0到1之前的常数；ρ为梯度下降算法的学习率，在区间[0.01,0.1]中随机取值；
(4)废旧手机表面缺陷分类决策
利用训练好的多尺度卷积神经网络的废旧手机表面缺陷识别模型，使用待识别手机表面图像像素矩阵A作为模型的输入变量，得到识别模型的输出值，使用Logistic分类器进行缺陷分类决策，即根据待测样本所属类别Pij(t)预测值进行判断，其包括：当预测值Pij(t)<0.5时，表示手机的缺陷类别为划痕；当Pij(t)≥0.5时，表示手机的缺陷类别为碎裂。
Claims (1)
1.一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法
其特征在于，包括以下步骤：
(1)运行数据采集
采集系统是由工业相机和同步编码器共同搭建的，拍摄由流水线传送而来的手机屏幕，并将拍摄的图片通过千兆网卡传到与相机相连的计算机上，软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，选用RGB颜色空间作为手机表面缺陷识别模型的输入变量，AR(t)表示在t迭代时的红色通道像素矩阵，AG(t)表示在t迭代时的绿色通道像素矩阵，AB(t)表示在t迭代时的蓝色通道像素矩阵；
(2)运行基于边缘检测算法的废旧手机图像预处理方法
从废旧手机图像中获取AR(t)，AG(t)，AB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.30，0.59和0.11，具体计算公式如下：
D(t)＝0.30AR(t)+0.59AG(t)+0.11AB(t) (1)
其中，D(t)表示在t迭代时待识别手机表面图像A灰度化后的像素矩阵；t表示迭代次数；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体计算公式如下：
U(t)＝E*D(t) (2)
其中，U(t)表示在t次迭代时边缘检测的灰度值；
其中，E表示索贝尔算子卷积因子，由一组3×3的矩阵组成；
(3)设计基于多尺度卷积神经网络的废旧手机表面缺陷识别模型
利用多尺度卷积神经网络搭建废旧手机表面缺陷识别模型，多尺度卷积神经网络包括输入层、特征提取层和输出层，特征提取层包含激活层、池化层和正则化层，该网络输入层的维度为416×416，特征提取层的维度为104×104，输出层的维度分别为52×52，26×26，
13×13，13×13这个尺度输出用于检测小型目标，26×26为中型目标，52×52用于检测大型目标；基于多尺度卷积神经网络的废旧手机表面缺陷识别模型各层表示如下：
多尺度卷积神经网络输入层：输入层的计算公式如下：
G(t)＝U(t) (4)
其中，G(t)表示在t次迭代时输入层的输出；
多尺度卷积神经网络激活层：该层的输入为输入层的输出G(t)，该层输出表示为：
Q(t)＝f(ω(t)G(t)+β) (5)
其中，Q(t)表示在t次迭代时由G(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；
ω(t)表示在t次迭代时多尺度卷积神经网络结构的权值；β是多尺度卷积神经网络的输出偏置参数，β为介于0到1之前的常数；
多尺度卷积神经网络池化层：该层的输入为激活层的输出Q(t)，该层输出表示为：
其中，H(t)表示在t次迭代时Q(t)经过池化后的输出向量；Z1表示水平池化步长；Z2表示垂直池化步长；a表示平均池化后卷积特征图的水平方向的维度；b表示平均池化后卷积特征图的垂直方向的维度；m表示特征矩阵中的行数；n表示特征矩阵中的列数；
多尺度卷积神经网络正则化层：该层的输入为池化层的输出H(t)，该层输出表示为：
其中，Rev(t)表示在t次迭代时矩阵H(t)中特征元素正则化后的输出向量；v表示模型输出的尺度，v＝1,2,3；||||2表示二范数归一化操作；sign表示符号函数，当H(t)为正定矩阵，sign(H(t))＝1；当H(t)为非正定矩阵时，sign(H(t))＝0；当H(t)为半正定矩阵时，sign(H(t))＝-1；
多尺度卷积神经网络输出层：该层的输入为正则化层的输出Rev(t)，该层输出表示为：
O(t)＝[Re1(t)，Re2(t)，Re3(t)] (8)
其中，O(t)表示在t次迭代时多尺度卷积神经网络的输出矩阵；
多尺度卷积神经网络将输入图像分成S×S的网格，每个网格根据锚盒参数及特征图预测出候选框的位置及候选框内疑似目标对应的目标种类置信度，由锚盒参数获得目标候选框位置的方法如公式(9)所示：
其中，表示在t次迭代时第i个方格第j个边框横坐标的预测值；qx表示横向网格位置；αx表示横向预测坐标偏移值；/>是逻辑回归函数；
其中，表示在t次迭代时第i个方格第j个边框纵坐标的预测值；qy表示纵向网格位置；αy表示纵向预测坐标偏移值；
其中，表示在t次迭代时第i个方格第j个的宽度预测值；pw表示预设边框的宽；
αw表示宽度方向上的尺度缩放；
其中，表示在t次迭代时第i个方格第j个的高度预测值；ph表示预设边框的高；αh表示高度方向上的尺度缩放；
卷积神经网络损失函数的具体公式如下：
L(t)＝L1(t)+L2(t)+L3(t)+L4(t) (13)其中，L(t)表示在t次迭代时损失函数；
中心坐标误差损失函数L1(t)的计算公式如下所示：
其中，S×S表示网格个数；B表示该网格中边界框的个数；表示在t次迭代时第i个方格第j个边框的锚定框控制函数，当锚定框含有目标时，/>当锚定框不含目标时，σ表示锚定框中是否含有目标；/>表示在t次迭代时第i个方格第j个边框横坐标的真实值；/>表示在t次迭代时第i个方格第j个边框纵坐标的真实值；
宽高坐标误差损失函数L2(t)的计算公式如下所示：
其中，表示在t次迭代时第i个方格第j个边框宽度的真实值；/>表示在t次迭代时第i个方格第j个边框高度的真实值；
置信度误差损失函数L3(t)的计算公式如下所示：
其中，表示在t次迭代时第i个方格第j个边框的边界框控制函数，当边界框含有目标时，/>当边界框不含目标时，/>γ表示边界框中是否含有目标；Cij(t)表示在t次迭代时第i个方格第j个边框置信度的预测值；/>表示在t次迭代时第i个方格第j个边框置信度的真实值；当边界框负责预测对象时，/>当边界框不负责预测对象时，
分类误差损失函数L4(t)的计算公式如下所示：
其中，Pij(t)表示在t次迭代时第i个方格第j个边框的预测类别概率；表示在t次迭代时第i个方格第j个边框的真实类别概率；C表示类别集合；log为取对数符号；
利用梯度下降算法训练卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在t+1次迭代时卷积神经网络层中的权重；ω(t)表示在t次迭代时卷积神经网络层中的权重，ω(t)的初始值ω(1)各元素为介于0到1之前的常数；ρ为梯度下降算法的学习率，在区间[0.01,0.1]中随机取值；
(4)废旧手机表面缺陷分类决策
利用训练好的多尺度卷积神经网络的废旧手机表面缺陷识别模型，使用待识别手机表面图像像素矩阵A作为模型的输入变量，得到识别模型的输出值，使用Logistic分类器进行缺陷分类决策，即根据待测样本所属类别Pij(t)预测值进行判断；当预测值Pij(t)<0.5时，表示手机的缺陷类别为划痕；当Pij(t)≥0.5时，表示手机的缺陷类别为碎裂。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252569.3A CN114092410B (zh) | 2021-10-27 | 2021-10-27 | 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252569.3A CN114092410B (zh) | 2021-10-27 | 2021-10-27 | 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114092410A CN114092410A (zh) | 2022-02-25 |
| CN114092410B true CN114092410B (zh) | 2024-06-14 |
Family
ID=80297772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111252569.3A Active CN114092410B (zh) | 2021-10-27 | 2021-10-27 | 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092410B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820582B (zh) * | 2022-05-27 | 2024-05-31 | 北京工业大学 | 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569764A (zh) * | 2019-08-28 | 2019-12-13 | 北京工业大学 | 一种基于卷积神经网络的手机型号识别方法 |
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
-
2021
- 2021-10-27 CN CN202111252569.3A patent/CN114092410B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569764A (zh) * | 2019-08-28 | 2019-12-13 | 北京工业大学 | 一种基于卷积神经网络的手机型号识别方法 |
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114092410A (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126115B (zh) | 暴力分拣行为识别方法和装置 | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN111161292B (zh) | 一种矿石尺度测量方法及应用系统 | |
| CN111680705B (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN107392237B (zh) | 一种基于迁移视觉信息的交叉域地基云图分类方法 | |
| CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN111292321A (zh) | 一种输电线路绝缘子缺陷图像识别方法 | |
| CN113989604B (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
| CN111767915A (zh) | 车牌检测方法、装置、设备及存储介质 | |
| CN112784834A (zh) | 一种自然场景下的车牌自动识别方法 | |
| CN114092410B (zh) | 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法 | |
| CN110569764B (zh) | 一种基于卷积神经网络的手机型号识别方法 | |
| Acharya et al. | Deep neural network based approach for detection of defective solar cell | |
| CN114820582B (zh) | 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法 | |
| CN110569716A (zh) | 一种货架图像翻拍检测方法 | |
| CN116740652B (zh) | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 | |
| CN116977859A (zh) | 基于多尺度图像切割和实例困难度的弱监督目标检测方法 | |
| CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 | |
| CN107563452B (zh) | 一种基于判别测度学习的交叉域地基云图分类方法 | |
| Yin et al. | Flue gas layer feature segmentation based on multi-channel pixel adaptive | |
| CN113780306B (zh) | 一种基于深度卷积神经网络的废旧手机颜色识别方法 | |
| CN116013091B (zh) | 基于车流量大数据的隧道监控系统与分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |