CN113205136A - 一种用于电源适配器外观缺陷的实时高精度检测方法 - Google Patents
一种用于电源适配器外观缺陷的实时高精度检测方法 Download PDFInfo
- Publication number
- CN113205136A CN113205136A CN202110485735.8A CN202110485735A CN113205136A CN 113205136 A CN113205136 A CN 113205136A CN 202110485735 A CN202110485735 A CN 202110485735A CN 113205136 A CN113205136 A CN 113205136A
- Authority
- CN
- China
- Prior art keywords
- defect
- power adapter
- feature
- detection
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 238000009776 industrial production Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于电源适配器外观缺陷的实时高精度检测方法，包括步骤：将多个高分辨率的相机固定在流水线的左右和正上方，对电源适配器的外观图像进行采集；对缺陷图片中的缺陷部位进行提取，把矩形标注框部分从原图中截取出来，然后通过图像旋转的方式，增强缺陷图片的数量和类型；使用扩充增强后的缺陷数据集进行多阶段跨尺度的卷积神经网络模型训练。本发明的有益效果是：本发明可以减少计算量，提高检测的速度，通过多尺度特征融合和规则过滤提升了检测的精度，为工业流水线中的手机电源适配器表面缺陷实时的检测提供了切实可用的技术方案，有效提高缺陷目标的检测范围。
Description
技术领域
本发明属于工业产品的缺陷检测领域，尤其涉及一种利用计算机视觉技术的电源适配器外观缺陷检测。
背景技术
近年来，随着智能终端设备的快速更新迭代和发展，在工业流水线中设备的电源适配器生产规模也随之扩大，但是在生产过程中会因为不当操作导致电源适配器的表面出现脏污划痕等缺陷。生产流水线中自动化电源适配器观缺陷检测越来越成为研究的热点问题，尤其是针对不规则的细小的缺陷检测，可以保证产品的品质。
随着机器视觉技术的飞速发展，彻底的改变的人们的生产和生活环境。机器视觉检测技术综合了机器视觉和自动化技术，广泛应用于日常生活中，例如人脸识别等。在这几年中，许多优秀的卷积神经网络模型陆续出现。深度学习在特征提取和检测分类上取得了非常好的效果，越来越多的研究人员和工程师开始将深度学习算法应用于工业检测领域，希望可以替代人工检测，减小人力成本，提高生产效率。
但是现有的深度学习方法具有很大的局限性，很难应用于智能终端设备的电源适配器外观检测中：首先，深度学习方法是数据驱动型，需要大量的有标注的缺陷样本，但是在工业生产流水线中很难采集到大量的有缺陷的样本；其次，训练的样本的特征需要涵盖应用时用于检测的目标样本，但是因为缺陷具有尺寸差异大同时外形特征具有随机性；最后，由于工业中的缺陷检测非常注重实时性、无漏检，而大部分的深度学习都会出现不同程度的漏检。所以在工业流水线中，深度学习往往是没有办法替代人工和满足实际应用中的需要的。
发明内容
本发明的目的是克服现有技术中的不足，提供一种用于电源适配器外观缺陷的实时高精度检测方法。
这种用于电源适配器外观缺陷的实时高精度检测方法，包括以下步骤：
步骤1、将多个高分辨率的相机固定在流水线的左右和正上方，对电源适配器的外观图像进行采集；在第一轮采集后，机械臂进行交接和翻转，对剩下的三个面表面图像进行采集；所述交接指一个机械臂把充电器穿过另一个机械臂；获得电源适配器六个面的高清图像；从高清图像中获取少量电源适配器外观缺陷图片，对缺陷图片中的缺陷区域进行人工标注，得到的标注为最小外接矩形：
[name_id，category，Xmin，Ymin，w，h]
上式中，name_id表示缺陷在缺陷图片中是第几个缺陷，category表示该缺陷的种类，(Xmin，Ymin)表示矩形标注框的左上角横坐标，w表示矩形标注框的宽，h表示矩形标注框的高；人工提供正确的标注才能保证卷积神经网络模型能进行学习；
步骤2、对缺陷图片中的缺陷部位进行提取，把矩形标注框部分从原图中截取出来，然后通过图像旋转的方式，增强缺陷图片的数量和类型：
X′＝(X0-Xcenter)cosθ-(Y0-Ycenter)sinθ+Xcenter
Y′＝(X0-Xcenter)sinθ-(Y0-Ycenter)cosθ+Ycenter
上式中，(Xcenter,Ycenter)表示缺陷对象的中心点坐标，缺陷对象的左上角坐标为(Xleft,Ytop),右下角坐标为(Xright,Ybottom),其中(X0,Y0)为缺陷图片上任意一点,(X′,Y′)为(X0,Y0)旋转θ度后的位置坐标；
然后将缺陷对象随机贴到准备的完好图片数据中，得到扩充增强后的缺陷数据集；
步骤3、使用扩充增强后的缺陷数据集进行多阶段跨尺度的卷积神经网络模型训练；
步骤4、将电源适配器六个面的高清图像分别输入多阶段跨尺度的卷积神经网络模型中进行缺陷检测，多阶段跨尺度的卷积神经网络模型输出缺陷检测结果，对多阶段跨尺度的卷积神经网络模型的预测输出进行后处理；
步骤5、当该电源适配器个体的检测结果为完好时，直接通过该电源适配器，返回执行步骤4，继续检测下一个电源适配器；当该电源适配器个体的检测结果为存在缺陷时，将缺陷图片保存，缺陷图片用于出现误检后模型存在问题的复查和对于训练样本的扩充；发出相应的提示信号提醒对出现缺陷的手机电源适配器进行处理。
作为优选，步骤4具体包括如下步骤：
步骤4.1、多阶段跨尺度的卷积神经网络模型对输入的高清图像进行预处理：转换高清图像的尺寸，使得高清图像的尺寸和多阶段跨尺度的卷积神经网络的输入大小相同，同时通过初步的处理可以减少后面的计算量；
步骤4.2、经过卷积网络最终抽取的信息都是非常抽象的，比较适用于大的缺陷的检测，但是对于小缺陷的检测效果很差，所以多阶段跨尺度的卷积神经网络使用改进的特征提取网络，使用了底层特征复用地思路，结构和现有特征提取网络有相似的残差学习结构，但是为了减少计算的数量，在特征提取网络中加入改进的循环结构金字塔结构(FPN)，对图片进行特征抽取(抽取小目标特征)，减少了时间消耗，极大的减少网络的层数，减少特征提取网络的卷积次数；将每一个卷积块得到的特征都融合到下一次的卷积中，得到最终特征图，加入FPN会对特征进行增强，整个特征提取只进行了5次卷积计算但是性能和深层的卷积网络效果相似，比如对图片放大后，小的目标就比较清晰，有利于小目标的检测；了提升检测的速度，使用三个GPU并行对电源适配器六个面的高清图像同步进行检测，这样只用花费两个面的串行检测时间就可以完成六个面的逐一检测；
步骤4.3、改进的候选框生成网络将候选框生成网络的候选框从固定形状比例改为可调节的自适应形状，改进的候选框生成网络由形状预测子模块、位置预测子模块和特征调整子模块组成，通过形状预测子模块进行形状预测，通过位置预测子模块进行位置预测，通过特征调整子模块进行特征调整；
步骤4.4、改进的区域辨别网络在区域辨别网络中引入稀疏目标提议网络(通常就是全连接层)来进行区域辨别，减少计算量；改进的区域辨别网络根据候选框的范围把候选区域的特征从融合后的最终特征图中切割出来，用于之后的检测；
步骤4.5、使用从业人员推荐的规则对检测出的目标置信度进行过滤，只保留置信度超过设定值(0.9)的检测结果；然后对检测出的检测框进行过滤，只保留检测框大于设定尺寸(100像素)的检测框，避免细粒度的误检；最终的目的是减少多阶段跨尺度的卷积神经网络模型造成的错误检测，主要是避免检测得粒度过于细腻，导致很多完好得图片也会被判断为存在缺陷得图片，最终把对于检测框得筛选定为100个像素单位，对于检测置信度阈值得设定定为0.9；步骤4.6、把电源适配器六个面的最终检测结果进行融合，得到电源适配器个体的检测结果；若电源适配器六个面的最终检测结果中均未检测出缺陷，则该电源适配器个体的检测结果为完好，否则该电源适配器个体的检测结果为存在缺陷。
作为优选，步骤4.2具体包括如下步骤：
步骤4.2.1、使用第一个卷积块提取浅层的特征：用可变形的卷积核进行特征提取，在卷积过后进行池化操作：
上式中，输入池化的图片宽为W，高为H，F为卷积核的尺寸大小，S为进行池化的步长，W1为池化后输出的宽，H1为池化后输出的高；通过激活函数ReLU得到该卷积块的特征：
上式中，x表示激活函数的输入，ReLU(x)表示激活函数的最终输出；先池化后激活和先激活后池化得到的效果是一样的，但是先池化进行了下采样，那么在激活函数的时候就减少了计算量；
步骤4.2.2、每经过一次卷积后，整体的特征尺寸会减半，然后把被步骤4.2.1中卷积块提取特征的图片作为第二个卷积块的输入，进行与步骤4.2.1相同的特征提取操作；
步骤4.2.3、确定循环特征融合的轮数n；
步骤4.2.4、把前面第一个卷积块提取的特征和前面第二个卷积块提取的特征融合，输入当前卷积块中继续进行与步骤4.2.1相同的特征提取操作，进行底层特征复用；
步骤4.2.5、返回执行步骤4.2.4，直至循环次数达到循环特征融合的轮数；
步骤4.2.6、把最后一个卷积块的提取结果作为循环结构金字塔结构(FPN)的最顶层特征，将最顶层特征输出作为特征图n；
步骤4.2.7、对特征图n使用1*1的卷积核进行扩充，然后拼接卷积块n-1的输出得到特征图n-1，n＝n-1；
步骤4.2.8、重复步骤4.2.7，直至得到特征图1；
步骤4.2.9、把步骤4.2.6和步骤4.2.8得到的n张特征图作为第一个卷积块的输入，重复执行步骤4.2.1至步骤4.2.8，将再次得到的多张特征图进行融合，得到最终特征图。
作为优选，步骤3中多阶段跨尺度的卷积神经网络模型包括改进的特征提取网络、改进的候选框生成网络、改进的区域辨别网络和改进的分类回归网络；改进的分类回归网络使用稀疏目标级联分类网络，设计新的更好的softmax分类函数来进行分类；提升检测的精确率和速度：
上式中，J(θ)为损失函数softmax；N为训练样本的数量，yi为训练样本的实际类别，
为训练样本的预测类别，θ为多阶段跨尺度的卷积神经网络模型的参数，λR(θ)是为了防止网络出现过拟合而引入的正则项，λ在多阶段跨尺度的卷积神经网络模型中取值为0.00002。
作为优选，步骤1中电源适配器的外观缺陷包括：黑点、脏污、划痕、毛发和异色；对缺陷图片中的缺陷区域进行人工标注时，采用的标注格式为coco数据集的json文件标注格式。
本发明的有益效果是：本发明提供了一种基于卷积网络的实时高精度的手机电源适配器表面缺陷检测方法，对现有的卷积网络进行了改进：对特征提取网络加入了循环结构金字塔结构，将候选生成网络中候选框的形状从固定形状比例改为可调节的自适应形状，在区域辨别网络中引入了稀疏矩阵进行区域辨别减少计算量，在分类回归网络中设计了更优的softmax分类函数；本发明可以减少计算量，提高检测的速度，通过多尺度特征融合和规则过滤提升了检测的精度，为工业流水线中的手机电源适配器表面缺陷实时的检测提供了切实可用的技术方案，有效提高缺陷目标的检测范围。
附图说明
图1为实施例中用于电源适配器外观缺陷的实时高精度检测方法的流程图；
图2为实施例中多阶段跨尺度的卷积神经网络模型的检测流程图；
图3为实施例中多阶段跨尺度的卷积神经网络模型的结构图；
图4为实施例中底层特征复用的卷积网络的特征提取流程图；
图5为实施例中底层特征复用的卷积网络的结构图；
图6为实施例中改进的循环特征金字塔特征融合的流程图；
图7为实施例中改进的循环特征金字塔特征融合的网络结构图。
附图标记说明：
改进的特征提取网络1、改进的候选框生成网络2、改进的区域辨别网络3、改进的分类回归网络4。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1：
如图1所示，用于电源适配器外观缺陷的实时高精度检测方法，包括如下步骤：
S101、获取电源适配器的高清图片，并进行标注：
首先对于电源适配器的缺陷判断是需要对该电源适配器的六个面进行逐个判断的，通过布置在生产流水线正左方，正右方，正上方的三个高清摄像头一次可以获取三个不同面的图片，当机械手臂进行交换和翻转后可以获得另外三个面的图片，这样就得到了全部的高清图片，之后对图片进行标注，确定缺陷的位置和类型。
S102、对数据集进行相应的扩充增强：
对图片中的缺陷部位进行提取，然后进行缺陷数据集扩充增强，主要的扩充增强方法为基本的变换，缺陷部位的平移旋转等操作。
S103、训练如图3所示的多阶段跨尺度的深度卷积神经网络模型：
使用GPU对模型进行训练，训练集和测试集的比例划分为8:2，通过多GPU并行计算加快训练速度。
S104、使用多阶段跨尺度的深度卷积神经网络模型对六个面进行检测：
将六个图片逐一输入训练好的多个卷积神经网络中，为了提升检测的速度，本实施采取并行的检测方式，即使用3个GPU同步进行检测，这样只用花费两个面的串行检测时间就可以完成六个面的逐一检测。
S105、将检测的结果进行规则的过滤：
具体而言，采用了从业人员给出的缺陷判断标准，最终的目的是减少卷积神经网络造成得错误检测，主要是避免检测得粒度过于细腻，导致很多完好得图片也会被判断为存在缺陷得图片，最终把对于检测框得筛选定为100个像素单位，对于检测置信度阈值得设定定为0.9。
S106、把六个面的最终检测结果进行合并，得到电源适配器个体的检测结果：
将6个面的检测结果进行合并，合并得规则是当六个面都没有检测出缺陷时，才认为这个电源适配器是完好的，否则认为这个电源适配器是存在缺陷的。
S107、若无缺陷就直接通过，若检测出缺陷则进行图片的保存和提示：
当检测出缺陷后，将检测的图片进程保存，用于出现误检后模型存在问题的复查，和对于训练样本的扩充，之后给出相应的提示用于处理出现缺陷的手机电源适配器。
实施例2：
在实施例1的基础上，如图2所示，对步骤S102中数据集进行相应的扩充增强的具体操作为：
S201、输入的图片，对图片进行预处理：
对输入的图片进行预处理，转换图像的尺寸，使得图像的尺寸和如图5所示特征复用的卷积网络要求的输入大小相同，同时通过初步的处理可以减少后面的计算量。
S202、将预处理后的图片输入特征复用的卷积网络中：
使用不同的卷积核对图片进行特征的抽取，为了减少时间消耗，设计了特征复用的卷积形式，可以极大的减少网络的层数。
S203、使用循环特征金字塔进行特征的融合：
经过卷积网络最终抽取的信息都是非常抽象的，比较适用于大的缺陷的检测，但是对于小缺陷的检测效果很差，所以添加了循环特征金字塔，把每一次的卷积特征都抽取出来，这样有利于小目标的检测。
S204、使用候选生成网络提供候选的图片区域：
使用候选生成网络提供出可能存在缺陷目标的检测候选区，在从融合后的特征中把该区域中的内容截取出来，该网络主要做一个背景和缺陷的粗略判断，并不具体的判断缺陷的类别，同时提出的候选框可能错误。
S205、根据提出的候选区域进行特征的提取：
根据候选框的范围把候选区域的特征从融合后的特征图中切割出来，用于之后的检测。
S206、第一次预测缺陷类别和检测框：
第一次的检测阈值设置的比较低，通常设置在0.6，主要是为了进一步的修改候选框的位置，并排除一些错误的候选框，减少最终检测的计算量。
S207、第二次预测缺陷类别和检测框：
第二次的检测阈值设置的比较高，通常设置再0.9，主要是作为检测的最终类别的确定和最终的检测框修改，也是作为最终的检测输出。
实施例3：
在实施例1和实施例2的基础上，如图4所示，步骤S202中将预处理后的图片输入特征复用的卷积网络中的具体操作为：
S301、输入处理好的图片：
对输入的图片进行预处理，转换图像的尺寸，使得图像的尺寸和特征复用的卷积网络要求的输入大小相同，同时通过初步的处理可以减少后面的计算量
S302、使用第一个卷积块提取浅层的特征：
用可变形的卷积核进行特征的提取，在卷积过后进行池化操作，公式入下：
其中输入池化的图片的宽为W，高为H，F为卷积核的尺寸大小，S为进行池化的步长，W1为池化后输出的宽，H1为池化后输出的高。
最后通过激活函数ReLU得到该卷积块的特征，公式如下：
其中x表示激活函数的输入，ReLU(x)表示激活函数最终的输出。
先池化后激活和先激活后池化得到的效果是一样的，但是先池化进行了下采样，那么在激活函数的时候就减少了计算量。
S303、把第一个卷积块提取的内容输入第二个卷积块中提取更深的特征：
每经过一次卷积后，整体的特征尺寸会减半，然后把这些图片作为下一个卷积块的输入，进行之后的特征提取操作。
S304、把第一个卷积块提取的内容和第二个卷积块提取的内容进行融合输入第三个卷积块中，实现底层特征的复用：
经过的卷积块越多，里面的信息就越抽象，而本实施例的缺陷大都是表面的纹理信息，所以需要表面的纹理信息要尽可能地多，为了这个目的，在每一个新的卷积块地输入中都融合了前面所有卷积块地输出。
S305、同样的步骤，第四个卷积块的输入是前面三个卷积块的全部特征：
第四个卷积块地输入是第一个卷积块，第二个卷积块和第三个卷积块地输出内容地融合，这样的特征复用，可以提供非常丰富的表面纹理信息。
S306、完成五次卷积得到最终的特征提取：
经过多次的模型修改对比实验，发现使用五个卷积块时，计算的复杂程度相对少，但是特征抽取的性能已经完全满足需求了。
实施例4：
在实施例1和实施例2的基础上，如图6所示，步骤S203中使用循环特征金字塔进行特征的融合的具体操作为：
S501、确定循环特征融合的轮数：
通常综合考虑到性能和时间，把循环的次数设定为两轮。
S502、使用卷积块进行特征的提取，一直到所有的卷积结束：
使用底层特征复用的卷积网络的特征，和图3中描述的流程相同。
S503、把第五层的卷积的输出作为特征图的处理的开始，进行升采样：
在图像进行卷积到最后一层时，把最后一层的结果作为特征金字塔FPN的最顶层特征即把卷积块5的输出作为特征图5。
S504、通过当前层的特征图和对应层的卷积块的输出得到对应的：
对特征图5使用1*1的卷积核进行扩充，然后拼接卷积块4的输出得到特征图4，重复这样的运算直到得到特征图1。
S505、开始进行特征的循环提取：
把得到的特征图再作为卷积块的输入，重新进行一次特征的提取，这样复用了原有的卷积权重参数，大大缩减了模型，同时可以取得更好的特征效果。
S506、如图7所示，多次循环得到的特征图进行融合得到最终的特征图：
当结束了循环后最终的五层特征图的大小是不同的，通过1*1的卷积核进行卷积运算，使得其大小相同，然后进行不同层次的特征的拼接，得到最终的融合特征图。
实验结果：
综合实施例1至实施例4，通过使用收集的数据集进行多阶段跨尺度的卷积神经网络模型训练和测试，实验对比的基本方法为传统滑动窗口特征提取加svm分类器进行检测，实验结果如下表1所示。可以看出本实施例的方法可以达到每秒钟检测30张图片，实现了实时高精度的检测。
表1本发明和现有方法的实验结果对比表
| 对比的方法 | 准确率 | 检测时间(s) |
| 多阶段跨尺度的卷积神经网络模型 | 96.43％ | 0.032 |
| 滑动窗口特征提取+svm分类器 | 87.93％ | 0.253 |
Claims (5)
1.一种用于电源适配器外观缺陷的实时高精度检测方法，其特征在于，包括以下步骤：
步骤1、将多个高分辨率的相机固定在流水线的左右和正上方，对电源适配器的外观图像进行采集；在第一轮采集后，机械臂进行交接和翻转，对剩下的三个面表面图像进行采集；获得电源适配器六个面的高清图像；从高清图像中获取少量电源适配器外观缺陷图片，对缺陷图片中的缺陷区域进行人工标注，得到的标注为最小外接矩形：
[name_id，category，Xmin，Ymin，w，h]
上式中，name_id表示缺陷在缺陷图片中是第几个缺陷，category表示该缺陷的种类，(Xmin，Ymin)表示矩形标注框的左上角横坐标，w表示矩形标注框的宽，h表示矩形标注框的高；
步骤2、对缺陷图片中的缺陷部位进行提取，把矩形标注框部分从原图中截取出来，然后通过图像旋转的方式，增强缺陷图片的数量和类型：
X′＝(X0-Xcenter)cosθ-(Y0-Ycenter)sinθ+Xcenter
Y′＝(X0-Xcenter)sinθ-(Y0-Ycenter)cosθ+Ycenter
上式中，(Xcenter,Ycenter)表示缺陷对象的中心点坐标，缺陷对象的左上角坐标为(Xleft,Ytop),右下角坐标为(Xright,Ybottom),其中(X0,Y0)为缺陷图片上任意一点,(X′,Y′)为(X0,Y0)旋转θ度后的位置坐标；
然后将缺陷对象随机贴到准备的完好图片数据中，得到扩充增强后的缺陷数据集；
步骤3、使用扩充增强后的缺陷数据集进行多阶段跨尺度的卷积神经网络模型训练；
步骤4、将电源适配器六个面的高清图像分别输入多阶段跨尺度的卷积神经网络模型中进行缺陷检测，多阶段跨尺度的卷积神经网络模型输出缺陷检测结果，对多阶段跨尺度的卷积神经网络模型的预测输出进行后处理；
步骤5、当该电源适配器个体的检测结果为完好时，直接通过该电源适配器，返回执行步骤4，继续检测下一个电源适配器；当该电源适配器个体的检测结果为存在缺陷时，将缺陷图片保存，发出相应的提示信号提醒对出现缺陷的手机电源适配器进行处理。
2.根据权利要求1所述用于电源适配器外观缺陷的实时高精度检测方法，其特征在于，步骤4具体包括如下步骤：
步骤4.1、多阶段跨尺度的卷积神经网络模型对输入的高清图像进行预处理：转换高清图像的尺寸，使得高清图像的尺寸和多阶段跨尺度的卷积神经网络的输入大小相同；
步骤4.2、多阶段跨尺度的卷积神经网络使用改进的特征提取网络，在特征提取网络中加入循环结构金字塔结构，对图片进行特征抽取；将每一个卷积块得到的特征都融合到下一次的卷积中，得到最终特征图；
步骤4.3、改进的候选框生成网络将候选框生成网络的候选框从固定形状比例改为可调节的自适应形状，改进的候选框生成网络由形状预测子模块、位置预测子模块和特征调整子模块组成，通过形状预测子模块进行形状预测，通过位置预测子模块进行位置预测，通过特征调整子模块进行特征调整；
步骤4.4、改进的区域辨别网络在区域辨别网络中引入稀疏目标提议网络来进行区域辨别；改进的区域辨别网络根据候选框的范围把候选区域的特征从融合后的最终特征图中切割出来；
步骤4.5、对检测出的目标置信度进行过滤，只保留置信度超过设定值的检测结果；然后对检测出的检测框进行过滤，只保留检测框大于设定尺寸的检测框；
步骤4.6、把电源适配器六个面的最终检测结果进行融合，得到电源适配器个体的检测结果；若电源适配器六个面的最终检测结果中均未检测出缺陷，则该电源适配器个体的检测结果为完好，否则该电源适配器个体的检测结果为存在缺陷。
3.根据权利要求2所述用于电源适配器外观缺陷的实时高精度检测方法，其特征在于，步骤4.2具体包括如下步骤：
步骤4.2.1、使用第一个卷积块提取浅层的特征：用可变形的卷积核进行特征提取，在卷积过后进行池化操作：
上式中，输入池化的图片宽为W，高为H，F为卷积核的尺寸大小，S为进行池化的步长，W1为池化后输出的宽，H1为池化后输出的高；通过激活函数ReLU得到该卷积块的特征：
上式中，x表示激活函数的输入，ReLU(x)表示激活函数的最终输出；
步骤4.2.2、把被步骤4.2.1中卷积块提取特征的图片作为第二个卷积块的输入，进行与步骤4.2.1相同的特征提取操作；
步骤4.2.3、确定循环特征融合的轮数n；
步骤4.2.4、把前面第一个卷积块提取的特征和前面第二个卷积块提取的特征融合，输入当前卷积块中继续进行与步骤4.2.1相同的特征提取操作；
步骤4.2.5、返回执行步骤4.2.4，直至循环次数达到循环特征融合的轮数；
步骤4.2.6、把最后一个卷积块的提取结果作为循环结构金字塔结构的最顶层特征，将最顶层特征输出作为特征图n；
步骤4.2.7、对特征图n使用卷积核进行扩充，然后拼接卷积块n-1的输出得到特征图n-1，n＝n-1；
步骤4.2.8、重复步骤4.2.7，直至得到特征图1；
步骤4.2.9、把步骤4.2.6和步骤4.2.8得到的n张特征图作为第一个卷积块的输入，重复执行步骤4.2.1至步骤4.2.8，将再次得到的多张特征图进行融合，得到最终特征图。
4.根据权利要求1所述用于电源适配器外观缺陷的实时高精度检测方法，其特征在于：步骤3中多阶段跨尺度的卷积神经网络模型包括改进的特征提取网络、改进的候选框生成网络、改进的区域辨别网络和改进的分类回归网络；改进的分类回归网络使用稀疏目标级联分类网络，设计新的softmax分类函数来进行分类：
上式中，J(θ)为损失函数softmax；N为训练样本的数量，yi为训练样本的实际类别，
为训练样本的预测类别，θ为多阶段跨尺度的卷积神经网络模型的参数，λR(θ)是引入的正则项。
5.根据权利要求1所述用于电源适配器外观缺陷的实时高精度检测方法，其特征在于，步骤1中电源适配器的外观缺陷包括：黑点、脏污、划痕、毛发和异色；对缺陷图片中的缺陷区域进行人工标注时，采用的标注格式为coco数据集的json文件标注格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110485735.8A CN113205136A (zh) | 2021-04-30 | 2021-04-30 | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110485735.8A CN113205136A (zh) | 2021-04-30 | 2021-04-30 | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113205136A true CN113205136A (zh) | 2021-08-03 |
Family
ID=77029807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110485735.8A Pending CN113205136A (zh) | 2021-04-30 | 2021-04-30 | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205136A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911411A (zh) * | 2024-03-19 | 2024-04-19 | 南京认知物联网研究院有限公司 | 一种基于图片流并行检测的计算机视觉检测方法及装置 |
| CN117911411B (zh) * | 2024-03-19 | 2024-05-24 | 南京认知物联网研究院有限公司 | 一种基于图片流并行检测的计算机视觉检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322443A (zh) * | 2019-07-12 | 2019-10-11 | 四川虹美智能科技有限公司 | 一种智能家电的质量检测方法及装置 |
| CN111768365A (zh) * | 2020-05-20 | 2020-10-13 | 太原科技大学 | 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 |
| CN112508857A (zh) * | 2020-11-17 | 2021-03-16 | 华南理工大学 | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 |
-
2021
- 2021-04-30 CN CN202110485735.8A patent/CN113205136A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322443A (zh) * | 2019-07-12 | 2019-10-11 | 四川虹美智能科技有限公司 | 一种智能家电的质量检测方法及装置 |
| CN111768365A (zh) * | 2020-05-20 | 2020-10-13 | 太原科技大学 | 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 |
| CN112508857A (zh) * | 2020-11-17 | 2021-03-16 | 华南理工大学 | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911411A (zh) * | 2024-03-19 | 2024-04-19 | 南京认知物联网研究院有限公司 | 一种基于图片流并行检测的计算机视觉检测方法及装置 |
| CN117911411B (zh) * | 2024-03-19 | 2024-05-24 | 南京认知物联网研究院有限公司 | 一种基于图片流并行检测的计算机视觉检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| CN111047554B (zh) | 一种基于实例分割的复合绝缘子过热缺陷检测方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111179229A (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
| CN110992317A (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| CN113239930B (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN107909005A (zh) | 基于深度学习的监控场景下人物姿态识别方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN112070158A (zh) | 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN113012153A (zh) | 一种铝型材瑕疵检测方法 | |
| CN111210417B (zh) | 基于卷积神经网络的布匹缺陷检测方法 | |
| CN113409355A (zh) | 一种基于fpga的运动目标识别系统及方法 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN113191352A (zh) | 一种基于目标检测和二值图像检测的水表指针读数识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210803 |