CN106875381A - 一种基于深度学习的手机外壳缺陷检测方法 - Google Patents

一种基于深度学习的手机外壳缺陷检测方法 Download PDF

Info

Publication number
CN106875381A
CN106875381A CN201710034677.0A CN201710034677A CN106875381A CN 106875381 A CN106875381 A CN 106875381A CN 201710034677 A CN201710034677 A CN 201710034677A CN 106875381 A CN106875381 A CN 106875381A
Authority
CN
China
Prior art keywords
image
feature extraction
phone housing
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710034677.0A
Other languages
English (en)
Other versions
CN106875381B (zh
Inventor
李树
陈启军
王德明
颜熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201710034677.0A priority Critical patent/CN106875381B/zh
Publication of CN106875381A publication Critical patent/CN106875381A/zh
Application granted granted Critical
Publication of CN106875381B publication Critical patent/CN106875381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的手机外壳缺陷检测方法，该方法包括如下步骤：(1)获取待检测手机外壳图像并进行预处理；(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。与现有技术相比，本发明检测精度高，检测结果准确可靠。

Description

一种基于深度学习的手机外壳缺陷检测方法
技术领域
本发明涉及一种手机外壳缺陷检测方法，尤其是涉及一种基于深度学习的手机外壳缺陷检测方法。
背景技术
随着手机的普及及其快速的更新换代，工业产线的手机外壳产品，有着极大的产量需求。从配料到最终成型的整个过程中，由于运输、生产工艺、意外等情况，手机外壳上常常存在各种缺陷(例如磕伤、划伤、擦伤、异色不均等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因而是不允许流入市场的。尽管在过去的十几年中，工业产品生产有了极大的进步且生产需求日益增加，但对相关工业产品的缺陷检测仍依赖人工完成，现在主流的人工目视检测不仅效率低下，而且检测标准主观因素大，严重制约工业制造的自动化进程，并且人工在线缺陷检测不但会使成本上升，也对人力资源提出了考验。近年来，基于机器视觉的自动化缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐，但现行方法检测精度低且耗时长，不能满足实时检测需求，成为了制约机器取代人类进行缺陷检测的主要因素。
目前尚未有针对手机外壳的缺陷检测专利，但存在对于手机液晶屏幕缺陷检测以及对手机底板连接器的缺陷检测。已有的手机缺陷检测检测技术，大多采用传统的图像处理与识别技术，例如灰度变换、图像二值化、边缘检测、模板匹配等；且利用了较为经典的人工特征，例如SIFT，SURF，Haar，HOG等算子，并通过神经网络或SVM分类器进行图像分类。
其中对手机屏幕的缺陷检测是通过采集液晶屏清晰图像，将采集到的图像进行灰度处理，随后对灰度图像分别进行列投影和行投影，根据投影的极小值，将最开始获取的图像划分为网状的像素块图像，再将整个图像划分为多个区域，每个区域包含多个像素块，针对各区域根据各像素块灰度与该区域平均灰度的差距检测出有缺陷的像素块；从而多种像素的缺陷检测的。
而对手机底板连接器的缺陷检测则是主要通过模板匹配进行的。首先要制作标准的手机底板连接器灰度图像模板；随后，对待测试图像进行预处理和灰度变换；并分别对测试图像和模板进行SURF算法处理获取特征点和仿射变化，用最近邻匹配法匹配特征点；之后，用RANSAC模型来消除误匹配特征点；再根据仿射矩阵将待测试图像转换到模板尺度空间上，得到一副新图像，分别对矫正后的测试图像和标准图像进行二值化，并将二值化图像进行相减；最后，对差值图像进行形态学处理，以此为依据判断测试图像是否为合格，如果有缺陷，标记缺陷位置。
类似的以传统图像处理与特征提取为主要手段的缺陷检测方式，还运用到了太阳能板的缺陷检测，钢轨的缺陷检测，LED缺陷检测等领域上，但是对于手机外壳的缺陷检测这一问题，由于手机外壳缺陷存在面积较小，极其轻微，缺陷形式多种多样，与背景对比度不强的特点，上述传统算法并不能良好地应用于手机外壳的缺陷检测中，无论从处理时间还是检测的精准度上，都不能满足工业生产的需求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的手机外壳缺陷检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习的手机外壳缺陷检测方法，该方法包括如下步骤：
(1)获取待检测手机外壳图像并进行预处理；
(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；
其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。
步骤(1)中预处理具体包括如下步骤：
(101)将待检测手机外壳图像进行尺寸变换至设定大小；
(102)将步骤(101)中尺寸变换后的图像进行边缘检测得到边缘图像；
(103)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
(104)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
步骤(102)中采用Canny算子进行边缘检测。
缺陷检测模型的训练方法为：
(a)建立所述的深度网络；
(b)采集大量手机外壳图像并进行人工标记，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标，进而得到数据样本；
(c)将数据样本输入至深度网络进行特征提取与分类回归得到缺陷的位置和缺陷的置信度；
(d)将步骤(c)得到的缺陷位置和缺陷的置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
所述的特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；
所述的卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；
所述的局部响应归一化层采用3像素*3像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；
所述的最大池化层采用3像素*3像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；
所述的平均池化层采用3像素*3像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，所述的精确的特征图即最终对应的特征提取基本单元输出的特征图；
经过5个依次级联的特征提取基本单元最终输出特征图像。
5个依次级联的特征提取基本单元中的卷积层设置方式如下：
第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30；
第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60；
第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90；
第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128；
第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。
所述的分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器；
所述的第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量；
所述的第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量；
所述的分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于缺陷并给出属于缺陷的置信度；
所述的回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的缺陷的位置信息。
与现有技术相比，本发明具有如下优点：
(1)本发明建立基于深度学习的深度网络并进行训练得到缺陷检测模型，通过该缺陷检测模型进行缺陷检测，检测精度高，检测结果准确可靠；
(2)本发明对待检测手机外壳图像进行一系列的预处理，一方面减少后续程序的处理量，提高检测速度，另一方面对提取出的区域进行了局部放大，使可能存在缺陷的位置更加突出，即缺陷特征更为突出，为后面的特征提取步骤做好准备，最终提高检出率降低错误率；
(3)本发明采用Canny算子进行边缘检测，Canny边缘提取的效果好，在设定合适的阈值后，可以使待检测区域与背景区域界限明显，提高后续缺陷检测的效果；
(4)本发明特征提取网络采用5个依次级联的特征提取基本单元，分别提取了图像中较大、中等、较细节的特征，一方面避免了较少卷积层对图像特征提取不够充分且特征模糊的缺点，另一方面仅仅使用5个卷积层足以提取手机外壳缺陷的特征，避免了过多卷积层带来的巨大的计算量的问题，减少了占用资源也节省了总体识别时间。
附图说明
图1为本发明基于深度学习的手机外壳缺陷检测方法的流程框图；
图2为本发明待检测手机外壳图像预处理的流程图；
图3为本发明霍夫变换确定ROI的流程图；
图4为本发明特征提取网络的结构示意图；
图5为本发明分类器与回归器网络的结构示意图；
图6为本实施例预处理后的待检测手机外壳图像；
图7为本实施例特征提取得到特征图像；
图8为本实施例缺陷检测结束输出的图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种基于深度学习的手机外壳缺陷检测方法，该方法包括如下步骤：
(1)获取待检测手机外壳图像并进行预处理；
(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；
其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，特征提取网络对预处理的图像进行特征提取得到特征图像，分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。
步骤(1)中预处理具体包括如下步骤：
(101)将待检测手机外壳图像进行尺寸变换至设定大小；
(102)将步骤(101)中尺寸变换后的图像进行边缘检测得到边缘图像；
(103)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
(104)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
步骤(102)中采用Canny算子进行边缘检测。
缺陷检测模型的训练方法为：
(a)建立深度网络；
(b)采集大量手机外壳图像并进行人工标记，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标，进而得到数据样本；
(c)将数据样本输入至深度网络进行特征提取与分类回归得到缺陷的位置和缺陷的置信度；
(d)将步骤(c)得到的缺陷位置和缺陷的置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；
卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；
局部响应归一化层采用3像素*3像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；
最大池化层采用3像素*3像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；
平均池化层采用3像素*3像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，精确的特征图即最终对应的特征提取基本单元输出的特征图；
经过5个依次级联的特征提取基本单元最终输出特征图像。
5个依次级联的特征提取基本单元中的卷积层设置方式如下：
第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30；
第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60；
第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90；
第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128；
第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。
分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器；
第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量；
第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量；
分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于缺陷并给出属于缺陷的置信度；
回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的缺陷的位置信息。
根据上述叙述，本发明详细技术说明将分为以下四部分：
1.待识别区域的提取；
2.深度网络的搭建；
3.样本标记与模型训练；
4.利用已有模型进行缺陷识别。
具体地：
1、待识别区域的提取：
该步骤的目的，由于图像中会存在无需检测的部分，比如手机壳夹具，及背景等，且采集到的图像存在旋转、缩放等变化，于是需要设计一种算法来突出外壳区域，一方面减少后续程序的处理量，提高检测速度，另一方面对提取出的区域进行了局部放大，使可能存在缺陷的位置更加突出，即缺陷特征更为突出，为后面的特征提取步骤做好准备，最终提高检出率降低错误率。
设计的算法与实现：本步骤采用基于OpenCV(开源计算机视觉库)的源图像检测区域提取方法，将从工业相机采集到的原始图片裁剪掉无需检测的部分并将剪裁后的图像旋转、缩放到同一尺寸。其算法的核心是将前期工业摄像机采集到的图像，通过边缘检测、霍夫变换等对兴趣区域进行粗略定位，在此基础上进行倾斜矫正，排除图片倾斜带来的误差，提高兴趣区域定位的准确度，最终，将提取到的细长兴趣区域进行分割，为下一步的缺陷检测打好基础。检测流程如下2所示，该算法的输入为工业相机采集到的原始图像，由于工业相机采集的图像分辨率极高(约1920*1440)，为了降低算法的处理时间，同时也减少噪声的影响，首先对图像进行1/4缩放。随后由于检测对象是手机外壳，其外形有较长的直线部分，所以通过如下的边缘检测与霍夫变换来检测直线，并通过判断检测到的直线的互相关系来确定手机外壳区域，最终输出只含有手机待检测外壳且大小统一的图片，具体算法细节如下：
(1)边缘检测
图像边缘是图像重要特征信息之一，在灰度上表现为不连续性，对于分析图像信息和特征具有重要意义，本方案使用Canny算子对图像进行边缘检测。
Canny边缘检测算法是一种将最优化思想应用于图像处理的算法，与传统微分算子相比，不仅拥有较高的信噪输出比，还有相当可靠的精度，Canny边缘提取的效果能够很好的满足本项目的要求，在设定合适的阈值后，可以使待检测区域区域与背景区域界限明显。本步骤中输入为原始图像，输出为边沿图像。
(2)霍夫变换与ROI框选
该步骤是在边缘检测的结果上进行的，目的是检测直线(由于手机外壳的边沿大部分为直线)共分为一下四个步骤，具体流程如图3所示：
Step1：对上一步中输出的边缘提取图像进行霍夫变换，可以得到一系列的直线，霍夫变换的输出为每条直线的极径和极角，进而可以确定每条直线在x-y坐标系下的表达式:；
Step2：利用每条直线的表达式确定该条直线在图像上界与图像下界上的截距，在这一过程中应特别注意直线斜率为无穷大的情况，在这种情况下，直接令该条直线在图像上下界上的截距等于极径；
Step3：确定四边形ROI的四个角点：分别取直线在图像上下边界上截距的最大值和最小值，可以得到四边形ROI区域的四个角点；
Step4:通过四个角点构造出四条直线，四条直线确定的封闭四边形即我们所需要的ROI区域，其中ROI为感兴趣区域。本步骤中输入为：原始图像与边缘图像，输出为：只含有手机壳区域的图像。
(3)倾斜图片校正
在实际过程中，通过机械臂控制相机采集到的手机外壳图像存在旋转、平移与尺度变化等问题，为了方便后续步骤的检测，在本方案中，利用已获得的角点坐标，对倾斜图片进行校正，最终对于不同输入的图片，使输出图片为一个大小尺度相同，无旋转，垂直于水平线的图像。本步骤中输入为：原始图像与边缘图像，输出为：只含有手机壳区域的图像。
本方案中手机壳区域校正算法利用(2)输出中区域的左上角、右上角和左下角的三个角点，求出仿射变换所需要的变换矩阵M，映射的思路为上面两角点不变，角点的横坐标映射到与左上角的横坐标的相同。设定容忍度阈值，对超过容忍度的倾斜图片进行仿射变换。本步骤中输入为：只含有手机壳区域的图像(此时存在旋转与尺度变化)，输出：只含有手机区域的图像(统一尺度，无旋转)。
(4)手机外壳图像分割：
通过上述的图像预处理、霍夫变换以及倾斜图像的校正，可以相当准确地提取出手机外壳区域，但由于该区域为细长的长方形，而本方案设计的深度学习网络对正方形图像的检测效果较好，从而在将提取结果输入给深度学习缺陷检测系统之前，需要对其进行分割处理，进而提高缺陷检测系统的检测效率，降低缺陷检测系统的压力。本步骤中输入为(3)中生成的只含有手机壳区域的图像(长方形)，输出：按一定规则切割好的只含有手机壳区域的图像(正方形)。
2、深度网络的搭建：
该步骤的目的是，对上一步提取出的待检测区域进行特征提取，得到待检测图像的有效特征，以便后续网络进行分类、回归。(因为对于一个深度学习网络(也是神经网络的一种)，特征是分类的依据，特征选取的越有代表性，则分类结果越好)。
优点：相比于传统的基于SIFT、HOG等人工特征提取的方法，本方案使用卷积网络进行自动特征提取。人工提取的特征往往不能较好的将一张图片的特征完全表示出来，而自动特征提取网络则能高效地提取出图像的重要特征。
本方案使用深度学习目标检测领域中的最前沿算法——Faster-RCNN算法思想，结合图像处理，搭建了适于缺陷检测的深度学习网络。重要思想是将目标检测的四个基本步骤(候选区域生成，特征提取，分类，位置精修)统一到同一个深度网络框架之内。所有计算没有重复，完全在GPU中完成，从而大大提高了运行速度。
为了生成待检测的候选框并为之后的分类与回归提供依据，首先需要对一幅图像进行特征提取。其结构如图4所示。卷积层：即利用卷积核在图像上滑动，对图像进行卷积操作。卷积操作可以用来对图像做边缘检测，锐化，模糊等，在此处可用作对图像特征的提取。在本方案中，通过控制卷积核的大小来控制各层提取不同的特征，而每个卷积核(就是个矩阵)中每个元素通过训练部分确定(即训练时需要修改的权重，在特征提取网络中，只有卷积层的卷积核是需要训练的)。
对图像进行卷积操作，是对图像区域中的每个像素分别于卷积核(权矩阵)的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。
ReLU(线性纠正函数)激活函数：可以加快网络在训练时的收敛速度(被神经学家认为是更加符合神经元信号激励原理的一种函数)，且由于运算简单，可以节省运算资源。本方案使用Leaky ReLU激活函数。
局部响应归一化层：对图像领域内(本方案使用3*3的区域)的每个像素值进行均值和方差的归一化，达到消除背景和光照影响，突出特征的作用。均值和方差的归一化即，将原始图像领域内每个像素值集归一化为均值为0、方差1的数据，这样的数据具有良好的度量性。归一化公式为：
z＝χ-μ/σ
其中z表示归一化之后的值，x表示归一化前的像素值，μ表示输入图像领域内像素值的均值，σ表示输入图像领域内像素值的方差。
最大池化层：即对邻域内(本方案使用3*3的区域)所有像素值求最大值，可以缩小数据量，同时实现对提取的特征的平移不变性。
平均池化层：即对邻域内(本方案使用3*3的区域)所有像素值球平均值，可以缩小数据量，同时增强提取的特征对微小形变的鲁棒性。
经过这样的网络，每输入一张图片便可以得到256张特征图(即输出)，在提取好的特征图上，要生成候选框，候选框的作用是用来判断某一区域是否可能存在缺陷，随后对这些候选框进行分类与回归，分类的作用是判断每个候选框内是否包括待检测的物体；回归的作用是将所有可能包含待检测物体的候选框进行组合、合并，并对位置进行修正。进行候选框分类与回归的网络结构由两个全连接层完成，每个全连接层的节点数为1024个，其拓扑结构如图5所示。在如图5的网络中，分类层(cls_score)最终输出每一个位置上属于前景(待检测物体)和背景的概率；窗口回归层(bbox_pred)最终输出每一个位置上应该平移缩放的参数。
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
由此，就完成了对一张图片的特征提取，同时生成了候选框，并对可能包含待检测物体(即缺陷)的候选框进行了分类，并给出了回归参数。全连接层：即该层的任意一个节点，都和下一层的所有节点有连接，这样下一层的输出就和上一层的所有输入有关(即普通BP神经网络)；而由于第一个全连接层与特征提取网络的最好中输出相连，也就是使得最终的输出与所有提取出的特征有关；全连接层的每个节点的权重需要通过训练确定(方法为反向传播法)。
ReLU层：参数和作用同“特征提取网络”中的ReLu层，在该部分中，作为全连接层的激活函数。
dropout层：由于全连接层的存在，使得最终输出与每个特征都相关，但有时训练样本可能不能代表被识别的所有情况，就可能出现过拟合情况(过拟合就是对训练样本可以有很高的正确率，而在实际应用时，对训练样本中没见过的情况，并不能得到很好的效果)。dropout层通过随机地隐藏一些全连接层的节点增加来防止过拟合，增强泛化能力。
SoftmaxWithLoss层：该层仅在训练时存在，是对全连接层最终输出结果的评价，用来计算分类器分类结果与真实值之间的差距。
在如图5的网络中，分类器最终输出每一个位置上属于前景(待检测物体)和背景的概率；窗口器最终输出每一个位置上应该平移缩放的参数。
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
由此，就完成了对一张图片的特征提取，同时生成了候选框，并对可能包含待检测物体(即缺陷)的候选框进行了分类，并给出了回归参数。
3、样本标记与模型训练：
首先对摄像机采集到的图像进行人工识别，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标。随后将大量标记好的样本送入3.2节中描述的深度网络中进行训练。该训练过程一般在GPU上完成。其训练过程可概括为：
A)首先考察训练集中的每张图像：
a.对每个标定的真值候选区域，与其重叠比例最大的候选框记为前景样本；
b.对a)剩余的候选框，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；
c.对a),b)剩余的候选框，弃去不用；
d.跨越图像边界的候选框弃去不用。
B)随后将所有提取到的特征及生成的候选框送入3.2中所描述的分类与回归网络中，便可以得到每个候选框属于前景和背景的概率以及用以回归的参数。将这些得到的结果与真实值(人工标记的结果)进行对比，使用3.2中所述的两个代价函数来评价识别值与真实值的差异，最后通过神经网络通用的反向迭代算法，调整网络中的各个链接权值，使得3.2中所述的分类误差和回归误差同时最小化。
4、利用已有模型进行缺陷识别：
在本方案中，可以直接输入原始图像进行缺陷检测，最终输出该图像中是否存在缺陷，若存在缺陷，则给出缺陷位置的坐标及其置信度。
本实施例任意输入一张待检测图片，该图片为手机壳的侧边，首先进行预处理得到预处理后的待检测手机外壳图像，如图6所示，然后送入深度网络进行特征提取得到如图7所示的特征图像，最后得到图8所示的缺陷检测结束输出的图像，该图像中标注处存在缺陷的坐标位置与属于缺陷的置信度。

Claims (7)

1.一种基于深度学习的手机外壳缺陷检测方法，其特征在于，该方法包括如下步骤：
(1)获取待检测手机外壳图像并进行预处理；
(2)将预处理后的图像输入至预先训练好的缺陷检测模型进行缺陷检测得到手机外壳上存在缺陷的位置，并给出该位置为缺陷的置信度；
其中，缺陷检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到手机外壳缺陷位置以及置信度。
2.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，步骤(1)中预处理具体包括如下步骤：
(101)将待检测手机外壳图像进行尺寸变换至设定大小；
(102)将步骤(101)中尺寸变换后的图像进行边缘检测得到边缘图像；
(103)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
(104)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
3.根据权利要求2所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，步骤(102)中采用Canny算子进行边缘检测。
4.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，缺陷检测模型的训练方法为：
(a)建立所述的深度网络；
(b)采集大量手机外壳图像并进行人工标记，圈出存在缺陷的区域，给出存在缺陷区域的起点坐标与终点坐标，进而得到数据样本；
(c)将数据样本输入至深度网络进行特征提取与分类回归得到缺陷的位置和缺陷的置信度；
(d)将步骤(c)得到的缺陷位置和缺陷的置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
5.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，所述的特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；
所述的卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；
所述的局部响应归一化层采用3像素*3像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；
所述的最大池化层采用3像素*3像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；
所述的平均池化层采用3像素*3像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，所述的精确的特征图即最终对应的特征提取基本单元输出的特征图；
经过5个依次级联的特征提取基本单元最终输出特征图像。
6.根据权利要求5所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，5个依次级联的特征提取基本单元中的卷积层设置方式如下：
第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30；
第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60；
第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90；
第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128；
第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。
7.根据权利要求1所述的一种基于深度学习的手机外壳缺陷检测方法，其特征在于，所述的分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器；
所述的第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量；
所述的第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量；
所述的分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于缺陷并给出属于缺陷的置信度；
所述的回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的缺陷的位置信息。
CN201710034677.0A 2017-01-17 2017-01-17 一种基于深度学习的手机外壳缺陷检测方法 Active CN106875381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710034677.0A CN106875381B (zh) 2017-01-17 2017-01-17 一种基于深度学习的手机外壳缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710034677.0A CN106875381B (zh) 2017-01-17 2017-01-17 一种基于深度学习的手机外壳缺陷检测方法

Publications (2)

Publication Number Publication Date
CN106875381A true CN106875381A (zh) 2017-06-20
CN106875381B CN106875381B (zh) 2020-04-28

Family

ID=59158719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710034677.0A Active CN106875381B (zh) 2017-01-17 2017-01-17 一种基于深度学习的手机外壳缺陷检测方法

Country Status (1)

Country Link
CN (1) CN106875381B (zh)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481231A (zh) * 2017-08-17 2017-12-15 广东工业大学 一种基于深度卷积神经网络的五金件缺陷分类识别方法
CN107730504A (zh) * 2017-10-17 2018-02-23 太原理工大学 基于改进bp神经网络的图像分割方法
CN108009990A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 倾斜对象处理方法及装置
CN108009581A (zh) * 2017-11-30 2018-05-08 中国地质大学（武汉） 一种基于cnn的裂纹识别方法、设备及存储设备
CN108021914A (zh) * 2017-12-27 2018-05-11 清华大学 基于卷积神经网络的印刷品字符区域提取方法
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
CN108362703A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板检测方法和检测设备
CN108362702A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板缺陷检测方法、系统及设备
CN108355981A (zh) * 2018-01-08 2018-08-03 西安交通大学 一种基于机器视觉的电池连接器质量检测方法
CN108460413A (zh) * 2018-02-12 2018-08-28 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置以及设备
CN108510469A (zh) * 2018-02-08 2018-09-07 郑州瑞富德机电科技有限公司 一种腕臂检测方法及装置
CN108596167A (zh) * 2018-04-19 2018-09-28 上海亿锎智能科技有限公司 一种变长光学字符文字快速识别系统及方法、模型
CN108685158A (zh) * 2018-05-28 2018-10-23 杭州安脉盛智能技术有限公司 基于自动光学检测技术的切丝机智能维护方法和系统
CN109087294A (zh) * 2018-07-31 2018-12-25 深圳辰视智能科技有限公司 一种产品缺陷检测方法、系统及计算机可读存储介质
CN109117858A (zh) * 2017-06-26 2019-01-01 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
CN109146873A (zh) * 2018-09-04 2019-01-04 凌云光技术集团有限责任公司 一种基于学习的显示屏缺陷智能检测方法及装置
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN109544501A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109670518A (zh) * 2018-12-25 2019-04-23 浙江大学常州工业技术研究院 一种测量图片中目标物的边界的方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109726754A (zh) * 2018-12-25 2019-05-07 浙江大学昆山创新中心 一种lcd屏缺陷识别方法及装置
CN109859169A (zh) * 2019-01-03 2019-06-07 重庆信息通信研究院 一种基于卷积神经网络的tft-lcd模组白印检测方法
CN109919941A (zh) * 2019-03-29 2019-06-21 深圳市奥特立德自动化技术有限公司 内螺纹缺陷检测方法、装置、系统、设备及介质
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110021005A (zh) * 2018-01-05 2019-07-16 财团法人工业技术研究院 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN110119677A (zh) * 2019-03-28 2019-08-13 东南大学 基于图像分类网络的碳纤维复合芯电缆破损检测方法
CN110648323A (zh) * 2019-09-26 2020-01-03 上海御微半导体技术有限公司 一种缺陷检测分类系统及其方法
CN110675399A (zh) * 2019-10-28 2020-01-10 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备
CN110706205A (zh) * 2019-09-07 2020-01-17 创新奇智(重庆)科技有限公司 一种使用计算机视觉技术检测布匹破洞缺陷的方法
CN110781931A (zh) * 2019-10-14 2020-02-11 国家广播电视总局广播电视科学研究院 一种局部特征提取和融合的超高清片源转换曲线检测方法
CN110781888A (zh) * 2019-10-25 2020-02-11 北京字节跳动网络技术有限公司 回归视频画面中屏幕的方法、装置、可读介质及电子设备
CN110796647A (zh) * 2019-10-28 2020-02-14 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN110827249A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
CN110827246A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 电子设备边框外观瑕疵检测方法及设备
CN110910360A (zh) * 2019-11-14 2020-03-24 腾讯云计算（北京）有限责任公司 电网图像的定位方法和图像定位模型的训练方法
CN110942450A (zh) * 2019-11-19 2020-03-31 武汉大学 一种基于深度学习的多生产流水线实时缺陷检测方法
CN110969620A (zh) * 2019-12-19 2020-04-07 中国农业大学 一种磁瓦波纹类缺陷的检测方法及装置
CN110992361A (zh) * 2019-12-25 2020-04-10 创新奇智(成都)科技有限公司 基于代价平衡的发动机紧固件检测系统及检测方法
CN111062417A (zh) * 2019-11-19 2020-04-24 武汉大学 一种基于Lie-Mean的平板外壳缺陷检测方法和系统
CN111079629A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车心盘脱出故障图像识别方法
WO2020137222A1 (ja) * 2018-12-28 2020-07-02 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN111369545A (zh) * 2020-03-10 2020-07-03 创新奇智(重庆)科技有限公司 边缘缺陷检测方法、装置、模型、设备及可读存储介质
CN111400040A (zh) * 2020-03-12 2020-07-10 重庆大学 基于深度学习和边缘计算的工业互联网系统及工作方法
CN111768404A (zh) * 2020-07-08 2020-10-13 北京滴普科技有限公司 口罩外观缺陷检测系统、方法、装置以及存储介质
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN111833328A (zh) * 2020-07-14 2020-10-27 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN112132196A (zh) * 2020-09-14 2020-12-25 中山大学 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112149594A (zh) * 2020-09-29 2020-12-29 同济大学 基于深度学习和高分辨率卫星影像的城市建设评估方法
WO2021057395A1 (zh) * 2019-09-29 2021-04-01 五邑大学 一种鞋跟型号识别方法、装置及存储介质
CN112907519A (zh) * 2021-01-29 2021-06-04 广州信邦智能装备股份有限公司 一种基于深度学习的金属曲面缺陷分析系统及方法
CN113112497A (zh) * 2021-05-06 2021-07-13 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113168687A (zh) * 2019-01-22 2021-07-23 株式会社日立高新技术 图像评价装置和方法
CN113192061A (zh) * 2021-05-25 2021-07-30 安徽睿微信息科技有限公司 Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN113240647A (zh) * 2021-05-18 2021-08-10 哈尔滨工业大学（深圳） 一种基于深度学习的手机外壳后盖缺陷检测方法和系统
CN113302649A (zh) * 2018-10-16 2021-08-24 香港中文大学 用于自动诊断的方法、装置和系统
CN113610754A (zh) * 2021-06-28 2021-11-05 浙江文谷科技有限公司 一种基于Transformer的缺陷检测方法及系统
TWI745767B (zh) * 2019-10-18 2021-11-11 汎思數據股份有限公司 光學檢測二次圖像分類方法
CN113705442A (zh) * 2021-10-09 2021-11-26 广东博媒广告传播有限公司 一种户外大牌广告画面监控识别系统及方法
CN113744274A (zh) * 2021-11-08 2021-12-03 深圳市巨力方视觉技术有限公司 产品外观缺陷检测方法、装置及存储介质
CN115147409A (zh) * 2022-08-30 2022-10-04 深圳市欣冠精密技术有限公司 基于机器视觉的手机壳生产品质检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102218406A (zh) * 2011-01-04 2011-10-19 华南理工大学 一种基于机器视觉的手机外壳缺陷智能检测装置
CN105118044A (zh) * 2015-06-16 2015-12-02 华南理工大学 一种轮形铸造产品缺陷自动检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102218406A (zh) * 2011-01-04 2011-10-19 华南理工大学 一种基于机器视觉的手机外壳缺陷智能检测装置
CN105118044A (zh) * 2015-06-16 2015-12-02 华南理工大学 一种轮形铸造产品缺陷自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D.SOUKUP ET AL.: "Convolutional Neural Networks for Steel Surface Defect Detection from Photometric Stereo Images", 《SPRINGER INTERNATIONAL PUBLISHING SWITZERLAND 2014》 *
XIU LI ET AL.: "Fast Accurate Fish Detection and Recognition of Underwater Images with Fast R-CNN", 《IEEE》 *

Cited By (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117858B (zh) * 2017-06-26 2024-02-13 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
CN109117858A (zh) * 2017-06-26 2019-01-01 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
WO2019000818A1 (zh) * 2017-06-26 2019-01-03 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
EP3457326A4 (en) * 2017-06-26 2019-09-25 Beijing Goldwind Science & Creation Windpower Equipment Co., Ltd. METHOD AND DEVICE FOR MONITORING THE IRONING OF WIND TURBINE BLADES
US11286913B2 (en) * 2017-06-26 2022-03-29 Beijing Goldwind Science & Creation Windpower Equipment Co., Ltd. Method and apparatus for monitoring formation of ice on wind turbine blade
CN107481231A (zh) * 2017-08-17 2017-12-15 广东工业大学 一种基于深度卷积神经网络的五金件缺陷分类识别方法
CN107730504A (zh) * 2017-10-17 2018-02-23 太原理工大学 基于改进bp神经网络的图像分割方法
CN108009581A (zh) * 2017-11-30 2018-05-08 中国地质大学（武汉） 一种基于cnn的裂纹识别方法、设备及存储设备
CN108009990A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 倾斜对象处理方法及装置
CN108362702A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板缺陷检测方法、系统及设备
CN108362703A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板检测方法和检测设备
CN108021914A (zh) * 2017-12-27 2018-05-11 清华大学 基于卷积神经网络的印刷品字符区域提取方法
CN108021914B (zh) * 2017-12-27 2020-07-28 清华大学 基于卷积神经网络的印刷品字符区域提取方法
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
CN110021005B (zh) * 2018-01-05 2022-03-15 财团法人工业技术研究院 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN110021005A (zh) * 2018-01-05 2019-07-16 财团法人工业技术研究院 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN108355981A (zh) * 2018-01-08 2018-08-03 西安交通大学 一种基于机器视觉的电池连接器质量检测方法
CN108510469A (zh) * 2018-02-08 2018-09-07 郑州瑞富德机电科技有限公司 一种腕臂检测方法及装置
CN108460413A (zh) * 2018-02-12 2018-08-28 北京市商汤科技开发有限公司 图像处理方法、神经网络的训练方法、装置以及设备
CN109544501A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN108596167B (zh) * 2018-04-19 2020-08-21 上海亿锎智能科技有限公司 一种变长光学字符文字快速识别系统及方法、装置
CN108596167A (zh) * 2018-04-19 2018-09-28 上海亿锎智能科技有限公司 一种变长光学字符文字快速识别系统及方法、模型
CN108685158A (zh) * 2018-05-28 2018-10-23 杭州安脉盛智能技术有限公司 基于自动光学检测技术的切丝机智能维护方法和系统
CN108685158B (zh) * 2018-05-28 2021-11-09 杭州安脉盛智能技术有限公司 基于自动光学检测技术的切丝机智能维护方法和系统
CN109087294A (zh) * 2018-07-31 2018-12-25 深圳辰视智能科技有限公司 一种产品缺陷检测方法、系统及计算机可读存储介质
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN109146873B (zh) * 2018-09-04 2020-12-29 凌云光技术股份有限公司 一种基于学习的显示屏缺陷智能检测方法及装置
CN109146873A (zh) * 2018-09-04 2019-01-04 凌云光技术集团有限责任公司 一种基于学习的显示屏缺陷智能检测方法及装置
CN113302649A (zh) * 2018-10-16 2021-08-24 香港中文大学 用于自动诊断的方法、装置和系统
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109711474B (zh) * 2018-12-24 2023-01-17 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109670518A (zh) * 2018-12-25 2019-04-23 浙江大学常州工业技术研究院 一种测量图片中目标物的边界的方法
CN109726754A (zh) * 2018-12-25 2019-05-07 浙江大学昆山创新中心 一种lcd屏缺陷识别方法及装置
CN109670518B (zh) * 2018-12-25 2022-09-23 浙江大学常州工业技术研究院 一种测量图片中目标物的边界的方法
WO2020137222A1 (ja) * 2018-12-28 2020-07-02 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11830174B2 (en) 2018-12-28 2023-11-28 Omron Corporation Defect inspecting device, defect inspecting method, and storage medium
JP2020106467A (ja) * 2018-12-28 2020-07-09 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN109859169B (zh) * 2019-01-03 2022-12-16 重庆信息通信研究院 一种基于卷积神经网络的tft-lcd模组白印检测方法
CN109859169A (zh) * 2019-01-03 2019-06-07 重庆信息通信研究院 一种基于卷积神经网络的tft-lcd模组白印检测方法
CN113168687A (zh) * 2019-01-22 2021-07-23 株式会社日立高新技术 图像评价装置和方法
CN109934811B (zh) * 2019-03-08 2022-12-30 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110119677A (zh) * 2019-03-28 2019-08-13 东南大学 基于图像分类网络的碳纤维复合芯电缆破损检测方法
CN110119677B (zh) * 2019-03-28 2022-03-11 东南大学 基于图像分类网络的碳纤维复合芯电缆破损检测方法
CN109919941A (zh) * 2019-03-29 2019-06-21 深圳市奥特立德自动化技术有限公司 内螺纹缺陷检测方法、装置、系统、设备及介质
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110706205A (zh) * 2019-09-07 2020-01-17 创新奇智(重庆)科技有限公司 一种使用计算机视觉技术检测布匹破洞缺陷的方法
CN110648323A (zh) * 2019-09-26 2020-01-03 上海御微半导体技术有限公司 一种缺陷检测分类系统及其方法
WO2021057395A1 (zh) * 2019-09-29 2021-04-01 五邑大学 一种鞋跟型号识别方法、装置及存储介质
CN110781931A (zh) * 2019-10-14 2020-02-11 国家广播电视总局广播电视科学研究院 一种局部特征提取和融合的超高清片源转换曲线检测方法
CN110781931B (zh) * 2019-10-14 2022-03-08 国家广播电视总局广播电视科学研究院 一种局部特征提取和融合的超高清片源转换曲线检测方法
TWI745767B (zh) * 2019-10-18 2021-11-11 汎思數據股份有限公司 光學檢測二次圖像分類方法
CN110781888A (zh) * 2019-10-25 2020-02-11 北京字节跳动网络技术有限公司 回归视频画面中屏幕的方法、装置、可读介质及电子设备
JP2022539909A (ja) * 2019-10-28 2022-09-13 上海万物新生▲環▼保科技集団有限公司 電子デバイスフレーム外観瑕疵検査方法及び装置
CN110675399A (zh) * 2019-10-28 2020-01-10 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备
WO2021082919A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN110796647A (zh) * 2019-10-28 2020-02-14 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN110827249A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
CN110827246A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 电子设备边框外观瑕疵检测方法及设备
CN110910360B (zh) * 2019-11-14 2023-06-13 腾讯云计算（北京）有限责任公司 电网图像的定位方法和图像定位模型的训练方法
CN110910360A (zh) * 2019-11-14 2020-03-24 腾讯云计算（北京）有限责任公司 电网图像的定位方法和图像定位模型的训练方法
CN111062417A (zh) * 2019-11-19 2020-04-24 武汉大学 一种基于Lie-Mean的平板外壳缺陷检测方法和系统
CN110942450A (zh) * 2019-11-19 2020-03-31 武汉大学 一种基于深度学习的多生产流水线实时缺陷检测方法
CN111079629A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车心盘脱出故障图像识别方法
CN110969620A (zh) * 2019-12-19 2020-04-07 中国农业大学 一种磁瓦波纹类缺陷的检测方法及装置
CN110992361A (zh) * 2019-12-25 2020-04-10 创新奇智(成都)科技有限公司 基于代价平衡的发动机紧固件检测系统及检测方法
CN111369545A (zh) * 2020-03-10 2020-07-03 创新奇智(重庆)科技有限公司 边缘缺陷检测方法、装置、模型、设备及可读存储介质
CN111369545B (zh) * 2020-03-10 2023-04-25 创新奇智(重庆)科技有限公司 边缘缺陷检测方法、装置、模型、设备及可读存储介质
CN111400040A (zh) * 2020-03-12 2020-07-10 重庆大学 基于深度学习和边缘计算的工业互联网系统及工作方法
CN111768404A (zh) * 2020-07-08 2020-10-13 北京滴普科技有限公司 口罩外观缺陷检测系统、方法、装置以及存储介质
CN111833328A (zh) * 2020-07-14 2020-10-27 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN111833328B (zh) * 2020-07-14 2023-07-25 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN112132196A (zh) * 2020-09-14 2020-12-25 中山大学 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112132196B (zh) * 2020-09-14 2023-10-20 中山大学 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112149594A (zh) * 2020-09-29 2020-12-29 同济大学 基于深度学习和高分辨率卫星影像的城市建设评估方法
CN112907519A (zh) * 2021-01-29 2021-06-04 广州信邦智能装备股份有限公司 一种基于深度学习的金属曲面缺陷分析系统及方法
CN113112497A (zh) * 2021-05-06 2021-07-13 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113112497B (zh) * 2021-05-06 2024-06-07 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113240647A (zh) * 2021-05-18 2021-08-10 哈尔滨工业大学（深圳） 一种基于深度学习的手机外壳后盖缺陷检测方法和系统
CN113192061B (zh) * 2021-05-25 2023-08-29 安徽睿微信息科技有限公司 Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN113192061A (zh) * 2021-05-25 2021-07-30 安徽睿微信息科技有限公司 Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN113610754A (zh) * 2021-06-28 2021-11-05 浙江文谷科技有限公司 一种基于Transformer的缺陷检测方法及系统
CN113610754B (zh) * 2021-06-28 2024-05-07 浙江文谷科技有限公司 一种基于Transformer的缺陷检测方法及系统
CN113705442A (zh) * 2021-10-09 2021-11-26 广东博媒广告传播有限公司 一种户外大牌广告画面监控识别系统及方法
CN113744274B (zh) * 2021-11-08 2022-02-08 深圳市巨力方视觉技术有限公司 产品外观缺陷检测方法、装置及存储介质
CN113744274A (zh) * 2021-11-08 2021-12-03 深圳市巨力方视觉技术有限公司 产品外观缺陷检测方法、装置及存储介质
CN115147409A (zh) * 2022-08-30 2022-10-04 深圳市欣冠精密技术有限公司 基于机器视觉的手机壳生产品质检测方法

Also Published As

Publication number Publication date
CN106875381B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN106875381A (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110909690B (zh) 一种基于区域生成的遮挡人脸图像检测方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN109993094A (zh) 基于机器视觉的材料缺陷智能检测系统及方法
CN109711474A (zh) 一种基于深度学习的铝材表面缺陷检测算法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN108009509A (zh) 车辆目标检测方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN104077577A (zh) 一种基于卷积神经网络的商标检测方法
CN109145846A (zh) 材料微观结构智能识别分析系统及分析方法
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN108334955A (zh) 基于Faster-RCNN的身份证复印件检测方法
CN110082821A (zh) 一种无标签框微地震信号检测方法及装置
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN108664839A (zh) 一种图像处理方法和设备
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN111738178A (zh) 一种基于深度学习的戴口罩人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant