CN112614125A - 手机玻璃缺陷检测方法、装置、计算机设备及存储介质 - Google Patents

手机玻璃缺陷检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112614125A
CN112614125A CN202011606765.1A CN202011606765A CN112614125A CN 112614125 A CN112614125 A CN 112614125A CN 202011606765 A CN202011606765 A CN 202011606765A CN 112614125 A CN112614125 A CN 112614125A
Authority
CN
China
Prior art keywords
detection
network
mobile phone
defect
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011606765.1A
Other languages
English (en)
Other versions
CN112614125B (zh
Inventor
伍济钢
成远
邵俊
赵前程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202011606765.1A priority Critical patent/CN112614125B/zh
Publication of CN112614125A publication Critical patent/CN112614125A/zh
Application granted granted Critical
Publication of CN112614125B publication Critical patent/CN112614125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种手机玻璃缺陷检测方法、装置、计算机设备及存储介质。手机玻璃缺陷检测方法包括步骤：获取手机盖板玻璃的原始缺陷图像数据；利用WGAN‑GP网络对原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据；获得手机盖板玻璃的VOC缺陷数据集；搭建改进YOLOv3检测网络；利用K‑means算法对标记框进行聚类，以得到多个锚箱，并添加进检测层；利用改进YOLOv3检测网络对VOC缺陷数据集进行基础训练，得到权重文件；根据改进YOLOv3检测网络中BN层的权重系数对权重文件进行稀疏训练，得到权重和网络框架；对权重和网络框架进行检测数据集的测试，得到检测目标的类别信息、位置信息及置信度信息。上述方法在具有较高的缺陷检测效率的同时，还兼顾较高的缺陷检测精度。

Description

手机玻璃缺陷检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及通信技术领域，特别是涉及一种手机玻璃缺陷检测方法、装置、计算机设备及存储介质。
背景技术
随着5G时代的到来，智能手机越来越成为人们不可缺少的沟通工具。手机玻璃屏作为手机与用户的沟通媒介，其外观质量影响着用户的使用体验。而手机盖板玻璃在加工过程中会产生点状、线状等缺陷，严重影响着手机玻璃屏的产生质量。
而用于检测玻璃缺陷的传统方式包括人工检测方式、基于深度学习方法的玻璃缺陷检测方式、基于传统模板匹配方法的缺陷检测方式、基于深度学习的目标检测方法的玻璃缺陷检测方式。
但是，人工检测的方式受人的主观意识及经验的影响，存在误检率高、检测效率低等问题；而基于深度学习方法的检测方式，其检测实时性和准确性难以满足工业要求；基于传统模板匹配方法及深度学习的目标检测方法的检测方式，则需要大量的原始缺陷数据，与在生产现场由于数据获取难度大而所能获取的数据量较少存在矛盾。
因此，传统的玻璃缺陷检测方式，存在无法兼顾检测效率和检测准确性的问题。
发明内容
基于此，有必要针对传统的玻璃检测方式存在检测效率及检测精度较低的问题，提供一种可提高玻璃缺陷检测效率及检测精度的手机玻璃缺陷检测方法、装置、计算机设备及存储介质。
一种手机玻璃缺陷检测方法，包括步骤：
获取手机盖板玻璃的原始缺陷图像数据；
利用WGAN-GP网络对所述原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据；
根据所述原始缺陷图像数据和所述扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集；
搭建改进YOLOv3检测网络；所述改进YOLOv3检测网络包括特征提取层和检测层；
利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中；
利用所述改进YOLOv3检测网络对所述VOC缺陷数据集进行基础训练，以得到权重文件；
根据所述改进YOLOv3检测网络中BN层的权重系数对所述权重文件进行稀疏训练，以得到权重和网络框架；
对所述权重和所述网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。
在其中一些实施例中，所述获取手机盖板玻璃的原始缺陷图像数据的步骤为：
利用工业相机获取手机盖板玻璃的原始缺陷图像数据。
在其中一些实施例中，所述利用WGAN-GP网络对所述原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据的步骤，包括步骤：
搭建WGAN-GP网络；
利用WGAN-GP网络对所述原始缺陷图像数据进行训练，以得到所述扩充后的缺陷图像数据。
在其中一些实施例中，所述根据原始缺陷图像数据和扩充后的缺陷信息获得手机盖板玻璃的缺陷数据集的步骤，包括步骤：
利用LabelImg程序对所述原始缺陷图像数据及所述扩充后的缺陷图像数据进行标记，以得到xml文件；
利用python程序对xml文件进行格式转换，以得到txt文件；所述txt文件包括训练集和测试集；
对所述训练集和测试集的比例进行调节，以得到所述VOC缺陷数据集。
在其中一些实施例中，所述搭建改进YOLOv3检测网络的步骤，包括步骤：
利用可变形卷积层进行采样及加权运算，以获得改进的特征提取层；
在原YOLOv3检测层中增加一层特征检测层，并融合更浅层的特征和更深层的特征对图像小目标进行检测，以获得检测层。
在其中一些实施例中，根据所述改进YOLOv3检测网络中BN层的权重系数对所述权重文件进行稀疏训练，以得到权重和网络框架的步骤为：
根据所述权重文件中的训练权重，对网络模型进行通道剪枝和层剪枝，以获得相对应的权重和网络框架。
在其中一些实施例中，所述对网络模型进行通道剪枝的步骤为：
根据BN层的缩放因子λ系数作为重要性因子，当λ越小，则说明此通道越不重要，对此通道进行剪枝；所述缩放因子λ系数根据方程式
Figure BDA0002873787060000031
计算得到；
其中，第一项为模型预测损失，第二项是关于γ的正则项，λ是权衡两项的超参数，一般赋值为1e-4或1e-5，g(*)表达式为g(s)＝|s|，即L1范数。
一种手机盖板玻璃缺陷检测装置，其特征在于，包括：
图像采集模块，用于获取手机盖板玻璃的原始缺陷图像数据；
数据扩充模块，用于生成WGAN-GP网络，并在所述WGAN-GP网络中对所述原始缺陷图像数据进行扩充，得到所述扩充后的缺陷图像数据；
数据集制作模块，用于根据所述原始缺陷图像数据和所述扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集；
网络搭建模块，用于搭建改进YOLOv3检测网络；
聚类模块，用于利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中；
数据检测模块，用于对权重和网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。
一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，是所述处理器执行如上所述的手机玻璃缺陷检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的手机玻璃缺陷检测方法的步骤。
上述玻璃缺陷检测方法、装置、计算机设备及存储介质，利用WGAN-GP网络对所述原始缺陷图像数据进行扩充增强，以得到更多用于YOLOv3检测网络的训练数据，故而只需要获取很少的手机盖板玻璃的原始缺陷图像数据，就可以实现对手机盖板玻璃的缺陷检测，从而减少缺陷数据集获取工作，以提高缺陷检测效率。而YOLOv3检测网络的应用，则可在准确得到手机盖板玻璃缺陷信息的同时，满足工业实时性要求，提高了手机玻璃缺陷检测的准确性。因此，本发明提出了一种结合WGAN-GP网络与改进YOLOv3网络的手机玻璃缺陷检测方法，在提高检测效率的同时，还兼顾较高的检测精度。
附图说明
图1为本发明一实施例提供的手机玻璃缺陷检测方法的应用环境图；
图2为本发明一个实施例中的手机玻璃缺陷检测方法的流程示意图；
图3为图2所示手机玻璃缺陷检测方法的步骤S300中VOC缺陷数据及文件夹所包含内容及关系图；
图4为图2所示手机玻璃缺陷检测方法的步骤S400中改进YOLOv3检测网络图；
图5为图2所示手机玻璃缺陷检测方法中步骤S400的流程示意图；
图6a为实施图2所示手机玻璃缺陷检测方法的步骤后得到的一个手机盖板玻璃缺陷检测图；
图6b为实施图2所示手机玻璃缺陷检测方法的步骤后得到的另一个手机盖板玻璃缺陷检测图；
图7为本发明一实施例中手机玻璃缺陷检测装置的结构框图。
标号说明：100、手机玻璃缺陷检测装置；110、图像采集模块；120、数据扩充模块；130、数据集制作模块；140、网络搭建模块；150、聚类模块；160、数据检测模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。
本申请提供的玻璃缺陷检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。本申请实施例所提供的玻璃缺陷检测方法可以通过终端或服务器单独执行，还可以通过终端102和服务器104共同协作执行。其中，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种手机玻璃缺陷检测方法，以该方法应用于图1所示的计算机设备(比如图1中的终端102或服务器104)为例进行说明。该方法用于对手机盖板玻璃的进行缺陷检测，包括步骤S100至步骤S800。
步骤S100，获取手机盖板玻璃的原始缺陷图像数据。
具体的，利用工业相机获取手机盖板玻璃的原始缺陷图像数据。其中，手机盖板玻璃的原始缺陷图像数据为利用工业相机拍摄的多个合适大小的手机盖板玻璃缺陷照片组成。
具体的，采用透射光方式和折射光方式对手机盖板玻璃进行全局拍摄，缺陷图像文件命名从00000号开始依次进行编号，获得原始缺陷图像数据。
步骤S200，利用WGAN-GP网络对原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据。
将步骤S100中采集到的手机盖板玻璃的原始缺陷图像数据输入到WGAN-GP网络中，初始化网络的参数，设定迭代次数；训练过后得到大量的手机盖板玻璃缺陷数据集，对获得照片进行筛选，剔除缺陷不明显以及图片质量存在明显不足的照片；将剩余照片(即扩充后的缺陷图像数据)放至指定文件夹下。
具体的，步骤S200包括步骤S210至步骤S220。
步骤S210，搭建WGAN-GP网络。
生成对抗网络(GAN)由生成器模型(Generative Model)和判别器模型(Discriminative Model)两个模块组成。原始的GAN网络中，优化函数表达式为：
Figure BDA0002873787060000061
其中，生成器模型在训练过程中主要任务是接受已知分布的随机噪声z，并通过这个噪声生成图片记为G(z)；判别器模型的输入参数为x，x表示从真实样本或生成器产生的样本中的一张图片，输出参数D(x)表示x为真实样本的概率，若x为真实样本则D(x)＝1，否则D(x)＝0；生成器和判别器交替训练，最终两者会达到一个纳什均衡。
但是，对于原始GAN网络，存在两个主要的问题：1.等价优化的距离衡量(KL散度、JS散度)设计不合理；2.生成器模型随机初始化后的生成分布与真实分布存在不可忽略的重叠，从而导致在判别器模型优化的很好的时候，生成器那块存在梯度消失的情况。为了改善两个问题，提出基于Wasserstein距离GAN网络，即WGAN-GP网络，其中Wasserstein距离定义表达式为：
Figure BDA0002873787060000062
Wasserstein距离相比于KL散度、JS散度，即使在两个分布没有重叠的情况下，仍能反映他们之间的距离。
步骤S220，利用WGAN-GP网络对原始缺陷图像数据进行训练，以得到扩充后的缺陷图像数据。
具体的，对判别器模型进行训练，训练时，固定生成器模型，从服从某种分布的随机噪声中采取样本输入生成模型，不进行反向传播，让其产生图像记为G(z)；从真实拍摄的手机盖板玻璃的原始缺陷图片中和G(z)中选取部分照片送入判别器模型中，通过判别各个图像的类别结合损失函数，得到总的误差然后进行反向传播，从而更新判别器模型的参数；
对于生成器模型的训练，固定判别器模型，输入噪声向量z到生成器模型，生成器模型会产生输出图像G(z)，将得到的图像输入到判别器模型，判别器模型会输出图像为真实图像的概率D(x)，根据这个概率和损失函数，对生成器模型进行反向传播梯度下降从而更新生成器模型参数。由此在训练过程中，生成器模型和判别器模型进行交替训练，最终两者达到一个动态平衡。生成大量扩充图片数据集，对扩充之后的数据集进行筛选，将不合格的照片剔除，最终得到扩充后的缺陷图像数据集。
由此，采用WGAN网络对数据进行扩充，彻底解决了GAN网络训练不稳定问题，不再需要小心平衡生成器模型和判别器模型的训练程度。
步骤S300，根据原始缺陷图像数据和扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集。其中，VOC缺陷数据集是指，VOC格式的缺陷图像数据集。
具体的，步骤S300包括：
利用LabelImg程序对原始缺陷图像数据及扩充后的缺陷图像数据进行标记，以得到xml文件；
利用python程序对xml文件进行格式转换，以得到txt文件；所述txt文件包括训练集和测试集；
对所述训练集和测试集的比例进行调节，以得到VOC缺陷数据集。
数据存放的文件夹个文件的内容及关系如图3所示。具体的，将原始缺陷图像数据和扩充后的缺陷图像数据放入JPEGImg文件夹中，图片命名方式从00000开始命名，依次传递；采用LabelImg程序对缺陷进行标记，标签点缺陷记为point和线缺陷记为line，将标记得到的xml文件放入Annotation文件夹中，利用python程序将xml文件转换为txt文件并放入Label文件夹中；根据训练集与测试集比例9：1，即训练数据集占总数据集的90％，测试数据集占总数据集的10％分配数据集，随机生成相对应的txt文件并存放至ImageSet文件夹下的main文件夹，至此VOC缺陷数据集制作完成。
步骤S400，搭建YOLOv3检测网络。搭建YOLOv3检测网络如图4所示。YOLOv3检测网络包括特征提取层和检测层。
请参阅图5，具体的，步骤S400包括步骤S410至步骤S420：
步骤S410，利用可变形卷积层进行采样及加权运算，以获得改进的特征提取层。
针对特征提取层，原YOLOv3采用的提取框架采用网络Darknet-53网络。其中，特征提取层中大量采用了普通卷积方式，而其卷积方式以固定正方形对特征进行提取，对于手机盖板玻璃的长条形线缺陷特征提取能力不足。基于此，提出对原YOLOv3采用可变形卷积Deformable Convolutional代替传统卷积方式进行改进，以获得改进YOLOv3检测网络。
在可变形卷积中，使用偏置序列{Δqn|n＝1,2,3......N}来增强采样点qn的各个位置。在可变形卷积操作中，每个位置q0的计算公式如下：
Figure BDA0002873787060000081
其中，N为采样点个数，Δqn在单独卷积层中通过双线性插值方法求出。
根据以上原理，编写代码，将YOLOv3检测网络中的普通二维卷积替换为可变形卷积。
步骤S420，在原YOLOv3检测层中增加一层特征检测层，并融合更浅层的特征和更深层的特征对图像小目标进行检测，以获得检测层。
具体的，在原YOLOv3检测层的基础上增加一层特征检测层，该特征检测层融合4倍下采样的更浅层次特征图与更深层次特征图，大小为104*104，此操作可获取更多的细节与语义信息，完成对图像小目标的检测；得到的最终网络结构如图4所示，具体在本实施例中，网络设置初始图像尺寸为416*416*3，检测类别为classes＝2。
在整个改进YOLOv3检测网络搭建过程中，整个网络结构及相关图像信息如下所述：手机盖板玻璃缺陷照片首先进行尺寸调整，调整为符合YOLOv3网络需要的尺寸，接着送入特征提取层，首先经过一个卷积层，共计卷积核32个，每个卷积核大小为3*3，步长为1。接着将输出的特征图经过一个含64个卷积核的卷积层，卷积核大小为3*3，步长为2，特征图尺寸缩小一半。接着输出的特征图经过一个可变形卷积层，卷积核数量为32，接着经过普通卷积层，卷积核数量64，卷积核大小为3*3，步长为1，接着经过一层快捷链路层，以上三层组成一个改进的残差网络层，简称改进的RES层。接着将得到的特征图经过一层卷积层，包含128个卷积核，卷积核大小3*3，步长为2，接着经过2个相同的改进的RES层。接着特征图经过一个包含256个卷积核的卷积层，卷积核大小为3*3，步长为2。将得到的特征图经过8个原始的RES层，该层即采用两个卷积层与一个快捷链路组成。接着经过一层包含512个卷积核的卷积层，卷积核大小为3*3，步长为2，接着经过含8个原始的RES层。将得到的特征图经过一层包含1024个卷积核的卷积层，卷积核大小为3*3，步长为2，接着经过含4个原始的RES层。至此特征提取层已经设计完毕。经过特征提取层，已经对图像进行了32倍下采样，特征图深度为1024。在第一层检测层，经过7层交替的3*3和1*1的卷积层进行下采样，检测层此时检测的特征图大小为图像经过32倍下采样得到的大小，深度为3*(5+classes),class代表检测的类别。第二层检测层，融合整个YOLOv3网络的87层和63层输出的特征图进行检测，经过7层交替的3*3和1*1的卷积层进行下采样，检测层此时检测的特征图大小为图像经过16倍下采样得到的大小，深度为3*(5+classes)。对于第三层检测层融合整个YOLOv3网络的99层和38层输出的特征图进行检测，经过7层交替的3*3和1*1的卷积层进行下采样，检测层此时检测的特征图大小为图像经过8倍下采样得到的大小，深度为3*(5+classes)。第四层检测层，融合整个YOLOv3网络的111层和13层输出的特征图进行检测，经过7层交替的3*3和1*1的卷积层进行下采样，检测层此时检测的特征图大小为图像经过4倍下采样得到的大小，深度为3*(5+classes)。至此，整个改进YOLOv3检测网络搭建完毕。
步骤S500，利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中。
具体的，利用K-means算法对标记框进行聚类，以获得多个锚箱；对多个锚箱进行排序，并添加到检测网络框架中。即，采用K-means算法聚类出所需要的锚箱数量，将锚箱具体信息加入到检测网络框架中作为先验框。
其中，对标注框进行聚类，得到聚类中心，作为锚箱。在K-means算法中，有4个检测特征图，每个特征图分配3个锚箱，为此，总共需要12个锚箱。
具体的，采用K-means算法对标记框进行聚类，由于K-means采用距离作为度量值，而对于标记框有长和宽两个数值，为此，采用IoU作为度量值进行聚类。而对聚类后的锚箱进行排序添加进网络检测框架中，作为先验框。
步骤S600，利用改进YOLOv3检测网络对VOC缺陷数据集进行基础训练，以得到权重文件。
对改进YOLOv3检测网络进行训练。首先需要对一些超参数进行设置，其中包括训练样本数batch_size＝16、一次训练中分几次投入训练参数subdivisions＝8、训练的学习率策略设计以及学习率设置方式policy＝steps、本次训练500次，初始学习率设置为0.001，在前400次学习率不变，经过400次后，学习率衰减0.1；设置完参数后，不加载预训练权重对VOC缺陷数据集进行训练，训练完成后得到权重文件。
步骤S700，根据改进YOLOv3检测网络中BN层(即为Batch Normalization层)的权重系数对权重文件进行稀疏训练，以得到权重和网络框架。
具体的，根据权重文件中的训练权重，对网络模型进行通道剪枝和层剪枝，以获得相对应的权重和网络框架。其中，对网络模型进行通道剪枝的步骤为：
根据BN层的缩放因子λ系数作为重要性因子，当λ越小，则说明此通道越不重要，对此通道进行剪枝；缩放因子λ系数根据方程式
Figure BDA0002873787060000101
计算得到；
其中，第一项为模型预测损失，第二项是关于γ的正则项，λ是权衡两项的超参数，一般赋值为1e-4或1e-5，g(*)表达式为g(s)＝|s|，即L1范数。
根据以上关于模型剪枝原理，设计代码；根据已有的训练权重，对模型根据比例进行通道剪枝和层剪枝；其中比例可以进行自我调节，进行模型剪枝后，会得到相对应的权重及网络框架。
至此，通过步骤S500及步骤S600实现对改进YOLOv3检测网络的训练，从而实现对网络模型的剪枝，减少了运算量，并提高了检测速度，同时还满足了工业实时性要求。
步骤S800，对权重和网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。平均检测一张图像的时间为：27.5毫秒,得到的检测结果如图6所示。由图中可以看出，通过本发明的方法，可以准确得到手机盖板玻璃缺陷信息，以及可以满足工业实时性要求。
因此，由于上述手机玻璃缺陷检测方法中结合了WGAN-GP网络与改进YOLOv3网络，所以上述方法在提高手机盖板玻璃缺陷的检测效率的同时，还兼顾较高的检测精度。
在一个实施例中，如图7所示，提供了一种手机玻璃缺陷检测装置100，包括图像采集模块110、数据扩充模块120、数据集制作模块130、网络搭建模块140、聚类模块150、数据检测模块160。
图像采集模块110用于获取手机盖板玻璃的原始缺陷图像数据。其中，原始缺陷图像数据包括多个手机盖板玻璃照片。
数据扩充模块120生成WGAN-GP网络，并在WGAN-GP网络中对原始缺陷图像数据进行扩充，得到扩充后的缺陷图像数据。其中，数据扩充模块120包括生成器及判别器，生成器及判别器用于生成WGAN-GP网络。
数据集制作模块130用于根据原始缺陷图像数据和扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集。
网络搭建模块140用于搭建改进YOLOv3检测网络。其中，改进YOLOv3检测网络包括特征提取层及检测层。
聚类模块150用于利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中。
数据检测模块160用于对权重和网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。其中，数据检测模块160包括分类检测单元及目标检测单元。
关于手机玻璃缺陷检测装置100的具体限定可以参见上文中对于手机玻璃缺陷检测方法的限定，在此不再赘述。上述手机玻璃缺陷检测装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形成内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同部件的布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述手机玻璃缺陷检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在实行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手机玻璃缺陷检测方法，其特征在于，包括步骤：
获取手机盖板玻璃的原始缺陷图像数据；
利用WGAN-GP网络对所述原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据；
根据所述原始缺陷图像数据和所述扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集；
搭建改进YOLOv3检测网络；所述改进YOLOv3检测网络包括特征提取层和检测层；
利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中；
利用所述改进YOLOv3检测网络对所述VOC缺陷数据集进行基础训练，以得到权重文件；
根据所述改进YOLOv3检测网络中BN层的权重系数对所述权重文件进行稀疏训练，以得到权重和网络框架；
对所述权重和所述网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。
2.根据权利要求1所述的手机玻璃缺陷检测方法，其特征在于，所述获取手机盖板玻璃的原始缺陷图像数据的步骤为：
利用工业相机获取手机盖板玻璃的原始缺陷图像数据。
3.根据权利要求1所述的手机玻璃缺陷检测方法，其特征在于，所述利用WGAN-GP网络对所述原始缺陷图像数据进行扩充，以得到扩充后的缺陷图像数据的步骤，包括步骤：
搭建WGAN-GP网络；
利用WGAN-GP网络对所述原始缺陷图像数据进行训练，以得到所述扩充后的缺陷图像数据。
4.根据权利要求1所述的手机玻璃缺陷检测方法，其特征在于，所述根据原始缺陷图像数据和扩充后的缺陷信息获得手机盖板玻璃的缺陷数据集的步骤，包括步骤：
利用LabelImg程序对所述原始缺陷图像数据及所述扩充后的缺陷图像数据进行标记，以得到xml文件；
利用python程序对xml文件进行格式转换，以得到txt文件；所述txt文件包括训练集和测试集；
对所述训练集和测试集的比例进行调节，以得到所述VOC缺陷数据集。
5.根据权利要求1所述的手机玻璃缺陷检测方法，其特征在于，所述搭建改进YOLOv3检测网络的步骤，包括步骤：
利用可变形卷积层进行采样及加权运算，以获得改进的特征提取层；
在原YOLOv3检测层中增加一层特征检测层，并融合更浅层的特征和更深层的特征对图像小目标进行检测，以获得检测层。
6.根据权利要求1所述的手机玻璃缺陷检测方法，其特征在于，所述根据改进YOLOv3检测网络中BN层的权重系数对所述权重文件进行稀疏训练，以得到权重和网络框架的步骤为：
根据所述权重文件中的训练权重，对网络模型进行通道剪枝和层剪枝，以获得相对应的权重和网络框架。
7.根据权利要求6所述的手机玻璃缺陷检测方法，其特征在于，所述对网络模型进行通道剪枝的步骤为：
根据BN层的缩放因子λ系数作为重要性因子，当λ越小，则说明此通道越不重要，对此通道进行剪枝；所述缩放因子λ系数根据方程式
Figure FDA0002873787050000021
计算得到；
其中，第一项为模型预测损失，第二项是关于γ的正则项，λ是权衡两项的超参数，一般赋值为1e-4或1e-5，g(*)表达式为g(s)＝|s|，即L1范数。
8.一种手机玻璃缺陷检测装置，其特征在于，包括：
图像采集模块，用于获取手机盖板玻璃的原始缺陷图像数据；
数据扩充模块，用于生成WGAN-GP网络，并在所述WGAN-GP网络中对所述原始缺陷图像数据进行扩充，得到所述扩充后的缺陷图像数据；
数据集制作模块，用于根据所述原始缺陷图像数据和所述扩充后的缺陷图像数据获得手机盖板玻璃的VOC缺陷数据集；
网络搭建模块，用于搭建改进YOLOv3检测网络；
聚类模块，用于利用K-means算法对标记框进行聚类，以得到多个锚箱，并添加进所述检测层中；
数据检测模块，用于对所述权重和网络框架进行检测数据集的测试，以得到检测目标的类别信息、位置信息及置信度信息。
9.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，是所述处理器执行如权利要求1至7中任一项所述的手机玻璃缺陷检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的手机玻璃缺陷检测方法的步骤。
CN202011606765.1A 2020-12-30 2020-12-30 手机玻璃缺陷检测方法、装置、计算机设备及存储介质 Active CN112614125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011606765.1A CN112614125B (zh) 2020-12-30 2020-12-30 手机玻璃缺陷检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011606765.1A CN112614125B (zh) 2020-12-30 2020-12-30 手机玻璃缺陷检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112614125A true CN112614125A (zh) 2021-04-06
CN112614125B CN112614125B (zh) 2023-12-01

Family

ID=75249368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011606765.1A Active CN112614125B (zh) 2020-12-30 2020-12-30 手机玻璃缺陷检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112614125B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592814A (zh) * 2021-07-30 2021-11-02 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN114246767A (zh) * 2022-01-10 2022-03-29 河海大学 基于云端计算的盲人智能导航眼镜系统及装置
CN114519798A (zh) * 2022-01-24 2022-05-20 东莞理工学院 一种基于对抗神经网络的多目标图像数据增强方法
CN114612468A (zh) * 2022-05-09 2022-06-10 西南交通大学 一种基于正样本的设备外部缺陷检测方法
CN115018842A (zh) * 2022-08-08 2022-09-06 中科航迈数控软件(深圳)有限公司 基于机器视觉的缺陷检测方法、装置、终端及存储介质
CN117058125A (zh) * 2023-09-01 2023-11-14 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145815A (zh) * 2018-08-21 2019-01-04 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN110895714A (zh) * 2019-12-11 2020-03-20 天津科技大学 一种YOLOv3的网络压缩方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145815A (zh) * 2018-08-21 2019-01-04 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN110895714A (zh) * 2019-12-11 2020-03-20 天津科技大学 一种YOLOv3的网络压缩方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱茂桃 等: "基于YOLO-TridentNet的车辆检测方法", 重庆理工大学学报(自然科学) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592814A (zh) * 2021-07-30 2021-11-02 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN113592814B (zh) * 2021-07-30 2023-04-07 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN114246767A (zh) * 2022-01-10 2022-03-29 河海大学 基于云端计算的盲人智能导航眼镜系统及装置
CN114519798A (zh) * 2022-01-24 2022-05-20 东莞理工学院 一种基于对抗神经网络的多目标图像数据增强方法
CN114612468A (zh) * 2022-05-09 2022-06-10 西南交通大学 一种基于正样本的设备外部缺陷检测方法
CN114612468B (zh) * 2022-05-09 2022-07-15 西南交通大学 一种基于正样本的设备外部缺陷检测方法
CN115018842A (zh) * 2022-08-08 2022-09-06 中科航迈数控软件(深圳)有限公司 基于机器视觉的缺陷检测方法、装置、终端及存储介质
CN115018842B (zh) * 2022-08-08 2022-11-11 中科航迈数控软件(深圳)有限公司 基于机器视觉的缺陷检测方法、装置、终端及存储介质
CN117058125A (zh) * 2023-09-01 2023-11-14 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统
CN117058125B (zh) * 2023-09-01 2024-03-15 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统

Also Published As

Publication number Publication date
CN112614125B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN112614125A (zh) 手机玻璃缺陷检测方法、装置、计算机设备及存储介质
US11514260B2 (en) Information recommendation method, computer device, and storage medium
US11710293B2 (en) Target detection method and apparatus, computer-readable storage medium, and computer device
WO2021135499A1 (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
JPWO2020008919A1 (ja) 機械学習装置及び方法
WO2019218136A1 (zh) 图像分割方法、计算机设备和存储介质
CN112989085B (zh) 图像处理方法、装置、计算机设备及存储介质
CN105528620B (zh) 一种联合鲁棒主成分特征学习与视觉分类方法及系统
Wong et al. Segmentation of additive manufacturing defects using U-net
CN111767883A (zh) 一种题目批改方法及装置
CN109840559A (zh) 图像筛选方法、装置以及电子设备
CN113221947A (zh) 一种基于图像识别技术的工业质检方法及系统
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN110942090A (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN112132776A (zh) 基于联邦学习的视觉检测方法及系统、存储介质、设备
CN114783034A (zh) 基于局部敏感特征与全局特征融合的人脸表情识别方法
CN112464798A (zh) 文本识别方法及装置、电子设备、存储介质
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN111310995A (zh) 基于卷积神经网络的业务预测方法以及装置
CN114912972A (zh) 基于区块链的网络推广营销平台及其方法
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113936314A (zh) 一种面部表情识别的方法和系统
JP2023552048A (ja) ハードウェアアクセラレータのためのニューラルアーキテクチャスケーリング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant