CN114820582B - 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法 - Google Patents

一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法 Download PDF

Info

Publication number
CN114820582B
CN114820582B CN202210590772.XA CN202210590772A CN114820582B CN 114820582 B CN114820582 B CN 114820582B CN 202210590772 A CN202210590772 A CN 202210590772A CN 114820582 B CN114820582 B CN 114820582B
Authority
CN
China
Prior art keywords
matrix
neural network
convolutional neural
mobile phone
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210590772.XA
Other languages
English (en)
Other versions
CN114820582A (zh
Inventor
韩红桂
张奇宇
甄晓玲
李方昱
杜永萍
吴玉锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210590772.XA priority Critical patent/CN114820582B/zh
Publication of CN114820582A publication Critical patent/CN114820582A/zh
Application granted granted Critical
Publication of CN114820582B publication Critical patent/CN114820582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于形变卷积神经网络的废旧手机表面缺陷精准分级方法，针对废旧手机回收过程中表面缺陷难以精准分级的问题。本发明设计混合注意力机制模型，能够优化模型的性能，建立基于形变卷积神经网络的识别模型，实现对废旧手机表面缺陷的准确分级。本发明对不同场景下的手机表面缺陷分级均保持较好的快速性和准确性，能够提高废旧手机回收的效率和回收企业经济效益。

Description

一种基于混合注意力形变卷积神经网络的手机表面缺陷精准 分级方法
技术领域
本发明利用混合注意力机制形变卷积神经网络的废旧手机表面缺陷识别方法实现废旧手机回收过程中手机表面缺陷快速精准识别。在废旧手机回收过程中，手机的不同程度的缺陷是影响回收品质的重要评判标准之一，然而手机的表面缺陷受光照和拍摄角度等影响，易导致缺陷不清晰，并且缺陷形状各异，大小不一，卷积网络模型难以有效捕获局部特征细节，严重影响手机表面缺陷的精准识别。将基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷识别方法应用于废旧手机回收过程中，降低了大大提高了对手机表面缺陷的识别精度，由此实现快速精准的废旧手机回收，本方法属于图像识别领域的重要分支，又属于固体废物的处理领域。
背景技术
废旧手机表面缺陷的快速准确识别能够提高手机回收效率，节省人力，同时还能提升废旧手机回收企业经济效益，是提高城市固体废物资源再利用的重要举措；不但具有较好的经济效益，而且具有显著的环境和社会效益。因此，本发明的研究成果在废旧手机资源循环利用上具有广阔的应用前景。
废旧手机表面表面缺陷识别是一个图像目标检测的过程，检测过程包含缺陷的识别与分类。在回收手机过程中，依靠验机人员拍摄的照片进行废旧手机的图像采集，然而由于验机照片角度、设备、光源等条件影响，导致手机表面缺陷的图像清晰度受到影响，加大了模型的识别难度。并且由于缺陷大小和形状各异，模型在提取特征的过程中，很容易忽略掉部分特征细节，由此导致传统卷积网络模型在检测手机表面缺陷时识别精度欠佳。
本发明设计了一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷精准分级方法，主要通过灰度化和索贝尔算子对数据集进行预处理得到缺陷清晰的废旧手机图像，采用混合注意力机制形变卷积神经网络识别模型对训练数据进行特征提取和识别，可以降低卷积模型缺陷识别难度，提高分类准确性，满足废旧手机回收的需要，实现废旧手机表面缺陷的快速检测和精准识别。从而提高回收效率，加速废旧手机的流通过程，同时也能够减少人工费用，提高回收企业的效益。
发明内容
本发明获得了一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷精准分级方法，该方法采用灰度化和索贝尔算子对废旧手机图像进行预处理并通过建立基于混合注意力机制形变卷积神经网络的手机表面缺陷精准识别模型，利用回收过程的图像数据完成识别模型的参数调整，实现废旧手机表面缺陷的精准识别。
本发明采用了如下的技术方案及实现步骤：
1.一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷精准分级方法，通过设计混合注意力机制模型优化模型的性能，建立基于形变卷积神经网络的识别模型，实现废旧手机表面缺陷的准确分级，包括以下步骤：
(1)废旧手机数据采集
废旧手机屏幕受损程度严重影响废旧手机的回收价格，因此对废旧手机表面缺陷进行精准分级是必不可少的步骤；首先，通过拍摄废旧手机屏幕，将拍摄的图像上传至与工业相机相连的计算机上，最后利用软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，I为图像数据矩阵；选用RGB颜色空间作为废旧手机表面缺陷识别模型的输入变量，IR(t)表示在第t次迭代时的红色通道像素矩阵，IG(t)表示在第t次迭代时的绿色通道像素矩阵，IB(t)表示在第t次迭代时的蓝色通道像素矩阵；
(2)废旧手机图像预处理
以废旧手机图像数据为研究对象，为了得到较清晰的灰度图像，从废旧手机图像中获取IR(t)，IG(t)，IB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.29，0.52和0.19，具体为：
H(t)＝0.29IR(t)+0.52IG(t)+0.19IB(t) (1)
其中，H(t)表示在第t次迭代时待识别废旧手机表面图像矩阵I灰度化后的像素矩阵；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体公式如下：
Gx(t)＝Ex*H(t) (2)
Gy(t)＝Ey*H(t) (3)
其中，Gx(t)表示在第t次迭代时该点在x方向边缘检测的图像灰度矩阵；Gy(t)表示在第t次迭代时该点在y方向边缘检测的图像灰度矩阵；*表示Sobel算子矩阵与原始图像像素点的乘积运算；
Ex具体为：
其中，Ex表示x方向的索贝尔算子卷积因子，由一组3×3的矩阵组成；
Ey具体为：
其中，Ey表示y方向的Sobel算子卷积因子；
图像中每个像素x方向和y方向的灰度表示公式为：
|G(t)|＝|Gx(t)|+|Gy(t)| (6)
其中，G(t)表示在t次迭代时图像边缘检测的灰度值矩阵；；
(3)建立混合注意力机制形变卷积神经网络的废旧手机表面缺陷分级模型
混合注意力机制形变卷积神经网络输入层：输入层的计算公式如下：
U(t)＝G(t) (7)
其中，U(t)表示在第t次迭代时输入层的输出；
混合注意力机制形变卷积神经网络激活层：激活层的输入为输入层的输出U(t)，该层输出表示为：
Q(t)＝f(ω(p+Δp,q+Δq)(t)U(t)+β) (8)
其中，Q(t)表示在第t次迭代时U(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；
ω(p+Δp，q+Δq)(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，p表示初始混合注意力机制形变卷积核垂直方向维度，Δp表示混合注意力机制形变卷积核垂直方向可变偏移量，q表示初始混合注意力机制形变卷积核水平方向维度，Δq表示混合注意力机制形变卷积核水平方向可变偏移量；β为混合注意力机制形变卷积神经网络的输出偏置参数，网络初始阶段β可取介于0到1之间的任意常数；
混合注意力机制形变卷积神经网络池化层：池化层的输入为激活层的输出Q(t)，该层输出表示为：
其中，D(t)表示在第t次迭代时Q(t)经过池化后的输出向量；L1表示池化的水平维度；L2表示池化的垂直维度；Q(m,n)(t)表示在t次迭代时Q(t)特征矩阵中对应(m,n)坐标位置的特征元素值，其中m表示Q(t)特征矩阵中的水平位置坐标，n表示Q(t)特征矩阵中的垂直位置坐标；
混合注意力机制形变卷积神经网络正则化层：正则化层的输入为池化层的输出D(t)，该层输出表示为：
其中，Re(t)表示在第t次迭代时矩阵D(t)中特征元素正则化后的输出向量；||||2表示二范数归一化操作；sign表示符号函数，当D(t)为正定矩阵，sign(D(t))＝1；当D(t)为非正定矩阵时，sign(D(t))＝0；当D(t)为半正定矩阵时，sign(D(t))＝-1；
混合注意力机制形变卷积神经网络输出层：输出层的输入为正则化层的输出Re(t)，该层输出表示为：
O(t)＝Re(t) (11)
其中，O(t)表示在第t次迭代时多尺度卷积神经网络的输出矩阵；
形变卷积神经网络损失函数的表达公式如下：
其中，α(t)描述实际概率分布，γ(t)描述预测概率分布，w为形变卷积神经网络损失函数的权重，Z(t)为形变卷积神经网络损失函数；
利用梯度下降算法训练形变卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在第t+1次迭代时混合注意力机制形变卷积核的权值矩阵；ω(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，ω(t)的初始值ω(1)各元素为介于0到1之间的常数；ρ为梯度下降算法的学习率，在区间[0.001,0.1]中随机取值；
(4)废旧手机缺陷分级过程
使用混合注意力机制形变卷积神经网络结构进行废旧手机缺陷分级的过程具体为：
1)利用废旧手机在回收验机过程中采集的图像作为训练数据，从中选取图像矩阵，通过公式(1)所示的灰度化对原始图像矩阵进行操作，得到较清晰的图像并得到灰度图像矩阵；
2)通过公式(2)～(6)所示的索贝尔算子方法对灰度图像进行处理，获得更加精确的边缘信息和特征；
3)通过公式(7)～(11)所示的混合注意力机制形变卷积特征提取模型的网络结构，计算网络结构的每一层，并得到每个输出矩阵；
4)通过公式(12)～(13)所示的形变卷积神经网络损失函数，获得交叉损失函数；
5)将样本随机输入到混合注意力机制形变卷积神经网络的缺陷分级模型中，并设置模型的权重参数，将模型输出的特征矩阵输入到损失函数中进行分级识别，进而得到分级后该样本的目标缺陷分级标签值，该标签值即为废旧手机缺陷的类别。
本发明的创造性主要体现在：
(1)本发明针对当前废旧手机回收过程中的手机表面缺陷识别过程，在拍摄采集手机外观图像环节，采集到的废旧手机图像很容易受到光照、角度、设备等因素的影响，导致手机表面的缺陷清晰度受到影响，加大了模型的识别难度。利用灰度化和索贝尔算子对数据集进行预处理，减少了上述采集过程中的客观影响，可以有效恢复废旧手机表面缺陷原有的清晰度，提高了卷积模型的学习性能，由此提高了废旧手机缺陷识别精度。
(2)本发明提出了一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷识别方法，针对手机表面缺陷大小和形状各异，采用混合注意力机制形变卷积神经网络可以有效捕获形状尺度各异的手机表面缺陷特征信息，增强手机表面缺陷特征的提取能力，由此提升网络模型的整体识别性能。实现了废旧手机回收过程中智能自动化表面缺陷精准识别，提高了手机的回收效率，加速废旧手机的流通过程，同时也能够减少人工费用，提高回收企业的效益。
附图说明
图1是本发明缺陷识别训练准确曲线图
图2是本发明曲线识别训练损失曲线图
具体实施方式
本发明采用了如下的技术方案及实现步骤：
2.一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷精准分级方法，通过设计混合注意力机制模型优化模型的性能，建立基于形变卷积神经网络的识别模型，实现废旧手机表面缺陷的准确分级，包括以下步骤：
(1)废旧手机数据采集
废旧手机屏幕受损程度严重影响废旧手机的回收价格，因此对废旧手机表面缺陷进行精准分级是必不可少的步骤；首先，通过拍摄废旧手机屏幕，将拍摄的图像上传至与工业相机相连的计算机上，最后利用软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，I为图像数据矩阵；选用RGB颜色空间作为废旧手机表面缺陷识别模型的输入变量，IR(t)表示在第t次迭代时的红色通道像素矩阵，IG(t)表示在第t次迭代时的绿色通道像素矩阵，IB(t)表示在第t次迭代时的蓝色通道像素矩阵；
(2)废旧手机图像预处理
以废旧手机图像数据为研究对象，为了得到较清晰的灰度图像，从废旧手机图像中获取IR(t)，IG(t)，IB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.29，0.52和0.19，具体为：
H(t)＝0.29IR(t)+0.52IG(t)+0.19IB(t) (1)
其中，H(t)表示在第t次迭代时待识别废旧手机表面图像矩阵I灰度化后的像素矩阵；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体公式如下：
Gx(t)＝Ex*H(t) (2)
Gy(t)＝Ey*H(t) (3)
其中，Gx(t)表示在第t次迭代时该点在x方向边缘检测的图像灰度矩阵；Gy(t)表示在第t次迭代时该点在y方向边缘检测的图像灰度矩阵；*表示Sobel算子矩阵与原始图像像素点的乘积运算；
Ex具体为：
其中，Ex表示x方向的索贝尔算子卷积因子，由一组3×3的矩阵组成；
Ey具体为：
其中，Ey表示y方向的Sobel算子卷积因子；
图像中每个像素x方向和y方向的灰度表示公式为：
|G(t)|＝|Gx(t)|+|Gy(t)| (6)
其中，G(t)表示在t次迭代时图像边缘检测的灰度值矩阵；；
(3)建立混合注意力机制形变卷积神经网络的废旧手机表面缺陷分级模型
混合注意力机制形变卷积神经网络输入层：输入层的计算公式如下：
U(t)＝G(t) (7)
其中，U(t)表示在第t次迭代时输入层的输出；
混合注意力机制形变卷积神经网络激活层：激活层的输入为输入层的输出U(t)，该层输出表示为：
Q(t)＝f(ω(p+Δp,q+Δq)(t)U(t)+β) (8)
其中，Q(t)表示在第t次迭代时U(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；
ω(p+Δp，q+Δq)(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，其中p表示初始混合注意力机制形变卷积核垂直方向维度，Δp表示混合注意力机制形变卷积核垂直方向可变偏移量，q表示初始混合注意力机制形变卷积核水平方向维度，Δq表示混合注意力机制形变卷积核水平方向可变偏移量；β为混合注意力机制形变卷积神经网络的输出偏置参数，网络初始阶段β可取介于0到1之间的任意常数；
混合注意力机制形变卷积神经网络池化层：池化层的输入为激活层的输出Q(t)，该层输出表示为：
其中，D(t)表示在第t次迭代时Q(t)经过池化后的输出向量；L1表示池化的水平维度；L2表示池化的垂直维度；Q(m,n)(t)表示在t次迭代时Q(t)特征矩阵中对应(m,n)坐标位置的特征元素值，其中m表示Q(t)特征矩阵中的水平位置坐标，n表示Q(t)特征矩阵中的垂直位置坐标；
混合注意力机制形变卷积神经网络正则化层：正则化层的输入为池化层的输出D(t)，该层输出表示为：
其中，Re(t)表示在第t次迭代时矩阵D(t)中特征元素正则化后的输出向量；||||2表示二范数归一化操作；sign表示符号函数，当D(t)为正定矩阵，sign(D(t))＝1；当D(t)为非正定矩阵时，sign(D(t))＝0；当D(t)为半正定矩阵时，sign(D(t))＝-1；
混合注意力机制形变卷积神经网络输出层：输出层的输入为正则化层的输出Re(t)，该层输出表示为：
O(t)＝Re(t) (11)
其中，O(t)表示在第t次迭代时多尺度卷积神经网络的输出矩阵；
形变卷积神经网络损失函数的表达公式如下：
其中，α(t)描述实际概率分布，γ(t)描述预测概率分布，w为形变卷积神经网络损失函数的权重，Z(t)为形变卷积神经网络损失函数；
利用梯度下降算法训练形变卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在第t+1次迭代时混合注意力机制形变卷积核的权值矩阵；ω(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，ω(t)的初始值ω(1)各元素为介于0到1之间的常数；ρ为梯度下降算法的学习率，在区间[0.001,0.1]中随机取值；
(4)废旧手机缺陷分级过程
使用混合注意力机制形变卷积神经网络结构进行废旧手机缺陷分级的过程具体为：
1)利用废旧手机在回收验机过程中采集的图像作为训练数据，从中选取图像矩阵，通过公式(1)所示的灰度化对原始图像矩阵进行操作，得到较清晰的图像并得到灰度图像矩阵；
2)通过公式(2)～(6)所示的索贝尔算子方法对灰度图像进行处理，获得更加精确的边缘信息和特征；
3)通过公式(7)～(11)所示的混合注意力机制形变卷积特征提取模型的网络结构，计算网络结构的每一层，并得到每个输出矩阵；
4)通过公式(12)～(13)所示的形变卷积神经网络损失函数，获得交叉损失函数；
5)将样本随机输入到混合注意力机制形变卷积神经网络的缺陷分级模型中，并设置模型的权重参数，将模型输出的特征矩阵输入到损失函数中进行分级识别，进而得到分级后该样本的目标缺陷分级标签值，该标签值即为废旧手机缺陷的类别。

Claims (1)

1.一种基于混合注意力机制形变卷积神经网络的废旧手机表面缺陷精准分级方法，其特征在于，包括以下步骤：
(1)废旧手机数据采集
通过拍摄废旧手机外观，将拍摄的图像上传至与工业相机相连的计算机上，利用软件平台完成图像数据的接收；以软件平台接收的图像数据为研究对象，I为图像数据矩阵；选用RGB颜色空间作为废旧手机表面缺陷识别模型的输入变量，IR(t)表示在第t次迭代时的红色通道像素矩阵，IG(t)表示在第t次迭代时的绿色通道像素矩阵，IB(t)表示在第t次迭代时的蓝色通道像素矩阵；
(2)废旧手机图像预处理
以废旧手机图像数据为研究对象，为了得到较清晰的灰度图像，从废旧手机图像中获取IR(t)，IG(t)，IB(t)三个输入变量，并对三个输入变量进行灰度化处理，设定灰度化调和参数分别为0.29，0.52和0.19，具体为：
H(t)＝0.29IR(t)+0.52IG(t)+0.19IB(t) (1)
其中，H(t)表示在第t次迭代时待识别废旧手机表面图像矩阵I灰度化后的像素矩阵；
为提取更加精确的边缘信息，利用索贝尔算子对灰度图像进行处理，具体公式如下：
Gx(t)＝Ex*H(t) (2)
Gy(t)＝Ey*H(t) (3)
其中，Gx(t)表示在第t次迭代时该点在x方向边缘检测的图像灰度矩阵；Gy(t)表示在第t次迭代时该点在y方向边缘检测的图像灰度矩阵；*表示Sobel算子矩阵与原始图像像素点的乘积运算；
Ex具体为：
其中，Ex表示x方向的索贝尔算子卷积因子，由一组3×3的矩阵组成；
Ey具体为：
其中，Ey表示y方向的Sobel算子卷积因子；
图像中每个像素x方向和y方向的灰度表示公式为：
|G(t)|＝|Gx(t)|+|Gy(t)| (6)
其中，G(t)表示在t次迭代时图像边缘检测的灰度值矩阵；
(3)建立混合注意力机制形变卷积神经网络的废旧手机表面缺陷分级模型
混合注意力机制形变卷积神经网络输入层：输入层的计算公式如下：
U(t)＝G(t) (7)
其中，U(t)表示在第t次迭代时输入层的输出；
混合注意力机制形变卷积神经网络激活层：激活层的输入为输入层的输出U(t)，该层输出表示为：
Q(t)＝f(ω(p+Δp,q+Δq)(t)U(t)+β) (8)
其中，Q(t)表示在第t次迭代时U(t)通过非线性变换得到的特征矩阵；f(·)是激活函数；ω(p+Δp，q+Δq)(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，其中p表示初始混合注意力机制形变卷积核垂直方向维度，Δp表示混合注意力机制形变卷积核垂直方向可变偏移量，q表示初始混合注意力机制形变卷积核水平方向维度，Δq表示混合注意力机制形变卷积核水平方向可变偏移量；β为混合注意力机制形变卷积神经网络的输出偏置参数，网络初始阶段β可取介于0到1之间的任意常数；
混合注意力机制形变卷积神经网络池化层：池化层的输入为激活层的输出Q(t)，该层输出表示为：
其中，D(t)表示在第t次迭代时Q(t)经过池化后的输出向量；L1表示池化的水平维度；L2表示池化的垂直维度；Q(m,n)(t)表示在t次迭代时Q(t)特征矩阵中对应(m,n)坐标位置的特征元素值，其中m表示Q(t)特征矩阵中的水平位置坐标，n表示Q(t)特征矩阵中的垂直位置坐标；
混合注意力机制形变卷积神经网络正则化层：正则化层的输入为池化层的输出D(t)，该层输出表示为：
其中，Re(t)表示在第t次迭代时矩阵D(t)中特征元素正则化后的输出向量；|| ||2表示二范数归一化操作；sign表示符号函数，当D(t)为正定矩阵，sign(D(t))＝1；当D(t)为非正定矩阵时，sign(D(t))＝0；当D(t)为半正定矩阵时，sign(D(t))＝-1；
混合注意力机制形变卷积神经网络输出层：输出层的输入为正则化层的输出Re(t)，该层输出表示为：
O(t)＝Re(t) (11)
其中，O(t)表示在第t次迭代时混合注意力机制形变卷积神经网络的输出矩阵；
形变卷积神经网络损失函数的表达公式如下：
其中，α(t)描述实际概率分布，γ(t)描述预测概率分布，w为形变卷积神经网络损失函数的权重，Z(t)为形变卷积神经网络损失函数；
利用梯度下降算法训练形变卷积神经网络模型参数；更新表达式如下所示：
其中，ω(t+1)表示在第t+1次迭代时混合注意力机制形变卷积核的权值矩阵；ω(t)表示在第t次迭代时混合注意力机制形变卷积核的权值矩阵，ω(t)的初始值ω(1)各元素为介于0到1之间的常数；ρ为梯度下降算法的学习率，在区间[0.001,0.1]中随机取值；
(4)废旧手机缺陷分级过程具体为：
1)利用废旧手机在回收验机过程中采集的图像作为训练数据，从中选取图像矩阵，通过公式(1)所示的灰度化对原始图像矩阵进行操作，得到较清晰的图像并得到灰度图像矩阵；
2)通过公式(2)～(6)所示的索贝尔算子方法对灰度图像进行处理，获得更加精确的边缘信息和特征；
3)通过公式(7)～(11)所示的混合注意力机制形变卷积特征提取模型的网络结构，计算网络结构的每一层，并得到混合注意力机制形变卷积神经网络输出矩阵；
4)通过公式(12)～(13)所示的形变卷积神经网络损失函数，获得交叉损失函数；
5)将样本随机输入到混合注意力机制形变卷积神经网络的缺陷分级模型中，并设置模型的权重参数，将模型输出的特征矩阵输入到损失函数中进行分级识别，进而得到分级后该样本的目标缺陷分级标签值，该标签值即为废旧手机缺陷的类别。
CN202210590772.XA 2022-05-27 2022-05-27 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法 Active CN114820582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210590772.XA CN114820582B (zh) 2022-05-27 2022-05-27 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210590772.XA CN114820582B (zh) 2022-05-27 2022-05-27 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法

Publications (2)

Publication Number Publication Date
CN114820582A CN114820582A (zh) 2022-07-29
CN114820582B true CN114820582B (zh) 2024-05-31

Family

ID=82518851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210590772.XA Active CN114820582B (zh) 2022-05-27 2022-05-27 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法

Country Status (1)

Country Link
CN (1) CN114820582B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274263B (zh) * 2023-11-22 2024-01-26 泸州通源电子科技有限公司 一种显示器瘢痕缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766681A (zh) * 2019-10-28 2020-02-07 福建帝视信息科技有限公司 一种基于三重损失网络的竹条表面缺陷检测方法
CN111881756A (zh) * 2020-06-28 2020-11-03 北京工业大学 一种基于卷积神经网络的废旧手机型号识别方法
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
CN114092410A (zh) * 2021-10-27 2022-02-25 北京工业大学 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766681A (zh) * 2019-10-28 2020-02-07 福建帝视信息科技有限公司 一种基于三重损失网络的竹条表面缺陷检测方法
CN111881756A (zh) * 2020-06-28 2020-11-03 北京工业大学 一种基于卷积神经网络的废旧手机型号识别方法
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
CN114092410A (zh) * 2021-10-27 2022-02-25 北京工业大学 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法

Also Published As

Publication number Publication date
CN114820582A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN107392237B (zh) 一种基于迁移视觉信息的交叉域地基云图分类方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN111292321A (zh) 一种输电线路绝缘子缺陷图像识别方法
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN114910480A (zh) 一种基于机器视觉的晶圆表面缺陷检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN108460344A (zh) 屏幕中的动态区域智能识别系统及智能识别方法
CN114820582B (zh) 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法
CN108108678B (zh) 一种钨矿矿石识别分选方法
CN114219773A (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN110569764B (zh) 一种基于卷积神经网络的手机型号识别方法
CN110569716A (zh) 一种货架图像翻拍检测方法
CN114092410B (zh) 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
CN107545565B (zh) 一种太阳能网版检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant