CN113096102A - 一种基于多尺度转移的充电器表面缺陷检测方法 - Google Patents

一种基于多尺度转移的充电器表面缺陷检测方法 Download PDF

Info

Publication number
CN113096102A
CN113096102A CN202110403328.8A CN202110403328A CN113096102A CN 113096102 A CN113096102 A CN 113096102A CN 202110403328 A CN202110403328 A CN 202110403328A CN 113096102 A CN113096102 A CN 113096102A
Authority
CN
China
Prior art keywords
scale
layer
defect
network
charger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110403328.8A
Other languages
English (en)
Inventor
张成英
李缃珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bohr Zhizao Technology Co ltd
Original Assignee
Shenzhen Bohr Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bohr Zhizao Technology Co ltd filed Critical Shenzhen Bohr Zhizao Technology Co ltd
Priority to CN202110403328.8A priority Critical patent/CN113096102A/zh
Publication of CN113096102A publication Critical patent/CN113096102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明涉及一种基于多尺度转移的充电器表面缺陷检测方法，包括步骤：数据预处理；搭建稠密卷积神经网络；搭建多尺度转移模型；得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成。本发明的有益效果是：本发明使用基于稠密卷积神经网络的多尺度转移算法，搭建了一种端到端的多尺度目标检测模型，应用多特征匹配的方法，可以对电子设备的充电器外表面进行自动且高效的缺陷目标检测；图像级标签缺省的手机屏幕缺陷检测对于工业应用具有重大应用价值，可以节约企业生产成本，并保护消费者权益。

Description

一种基于多尺度转移的充电器表面缺陷检测方法
技术领域
本发明属于缺陷检测技术领域，具体涉及一种基于多尺度转移的充电器表面缺陷检测方法，用以解决充电器表面缺陷检测问题。
背景技术
随着计算机技术、通信技术以及互联网技术的高速发展，电子设备在人们生产生活中所扮演的角色越来越重要，而配套的充电器更是不可或缺的。为了保护消费者权益，以及提高品牌价值，防止存在缺陷的充电器流入市场，在充电器出厂前，对充电器的质量进行检测是必需的过程，而对其外观表面的缺陷检测则是一个研究重点。
传统的检测手段是在生产线上安排工人值守，工人对生产线上的屏幕用肉眼逐一进行检测。但是这种手段存在检测效率慢、人工成本高、缺乏统一的判断标准等缺点。
近年来，随着机器学习、深度学习在计算机视觉、模式识别等领域大放异彩，对于充电器外观表面缺陷检测又提供了另外的强有力的方法。目标检测要求在给定的图像中定位所要提取的对象类别的所有实例，基于卷积神经网络(CNN)的检测框架在速度和精度方面取得了显著进展。在其中，尺度问题是缺陷目标检测的核心问题，为了检测不同尺度的目标，一种基本策略是利用图像特征图谱获取不同尺度的特征。而由于CNN中每一层的感受野是固定的，所以充电器缺陷图像中固定的感受野与不同尺度的缺陷存在不一致。并且，浅层特征图有小的感受野，用于检测小的目标，而深层特征地图有大的感受野，用于检测大的缺陷目标。然而，浅层特征的语义信息较少，这可能会影响小目标的缺陷检测的性能。
发明内容
本发明的目的是克服现有技术中的不足，提供一种基于多尺度转移的充电器表面缺陷检测方法。
这种基于多尺度转移的充电器表面缺陷检测方法，包括以下步骤：
步骤1、数据预处理：在输入模型前，将充电器外表面缺陷图像分别进行尺度放缩、直方图均衡、均值平滑和图像校正；
步骤2、搭建稠密卷积神经网络：将步骤1预处理得到的充电器外表面缺陷图像输入稠密卷积神经网络中进行特征提取，并在每一个稠密单元层中获取不同的特征；
步骤3、搭建多尺度转移模型；将步骤2中每一个卷积单元层不同尺度的输出特征输入多尺度转移模型中，获取不同尺度的特征图，结合不同分辨率的特征图进行多尺度的缺陷目标检测；
步骤3.1、利用稠密卷积神经网络的网络结构得到强语义特征映射，通过concat操作将底层特征直接转移到稠密卷积神经网络的顶层；
步骤3.2、在多尺度转移模型中使用平均池化层来获得低分辨率的特征图；使用尺度转移层技术获得高分辨率的特征图；将多尺度转移模型直接嵌入稠密卷积神经网络中，从稠密卷积神经网络的最后一个稠密卷积单元层得到不同尺度的特征图；
步骤3.3、利用步骤3.2所得不同尺度的特征图的特征来映射构造多尺度缺陷目标检测模型；
步骤4、将步骤3中得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成；分类子网络对多尺度缺陷目标进行目标分类，边界回归子网络对多尺度缺陷目标进行边界位置回归分析。
作为优选，步骤1具体包括如下步骤：
步骤1.1、将充电器外表面缺陷图像进行尺度放缩，达到设定的尺度大小；
步骤1.2、使用直方图均衡将充电器外表面缺陷图像变换为均匀分布的形式；统计均匀分布形式下充电器外表面缺陷图像中各个像素占全部像素的比例；
步骤1.3、使用均值平滑方式对充电器外表面缺陷图像进行平滑处理；
步骤1.4、采用参考点匹配进行缺陷图像校正并计算旋转参数。
作为优选，步骤2具体包括如下步骤：
步骤2.1、将卷积神经网络的每一个卷积单元替换成3个3×3卷积层和一个2×2平均池化层；将第一个卷积层步长设置为2，另外两个卷积层步长为1，将三个卷积层的输出通道设置为64；所述卷积神经网络的每一个卷积单元由步长为2的7×7卷积层和步长为2的3×3最大池化层组成；
步骤2.2、将若干步骤2.1所述的卷积单元进行线性堆叠，搭建完整的稠密卷积神经网络；
步骤2.3、将预处理后的充电器外表面缺陷图像输入稠密卷积神经网络的第一个卷积单元层中，获得该单元层的图像特征；
步骤2.4、卷积神经网络第一单元层之后的每一个卷积单元层的输入为前面所有卷积单元层的输出，每一个卷积单元层均输出经过本单元的特征。
作为优选，步骤4具体包括如下步骤：
步骤4.1、将一组预设的目标边界框与尺度转移层技术获得的每个高分辨率的特征图中的特征映射相关联；在每个预测输出层使用预设的长宽高比；目标边界框与任何相交高于阈值的标签匹配，将其余的边界框视为背景；在匹配步骤之后使用负挖掘得到的边界框映射关系，将得到的边界框映射关系分别输入分类子网络和边界回归子网络进行处理；
步骤4.2、将边界框映射关系输入分类子网络，通过分类子网络预测每个目标边界框属于一个类别的概率；
步骤4.3、将边界框映射关系输入边界回归子网络，边界回归子网络将每个目标边界框的偏移量回归到匹配的标签目标上；
步骤4.4、搭建目标检测网络建立学习模型，训练得到最小化分类和定位的联合损失：
Figure BDA0003021227640000031
上式中，a是目标边界框，I是充电器缺陷图像，θ是优化参数，Lcls是分类损失，Lloc是定位损失；ya∈{0，1，...，K}是类标签，K是缺陷目标类的数量；当目标边界框a不匹配时，ya＝0；ploc(I，a，θ)和pcls(I，a，θ)分别是预测边界的编码以及预测边界的编码对应的类；
Figure BDA0003021227640000032
是标签框对匹配目标边界框的编码，λ是权衡系数。
作为优选，步骤1.1中充电器外表面缺陷图像设定的尺度大小为300×300×3像素；步骤1.2中均匀分布形式下充电器外表面缺陷图像中，像素x进行直方图均衡后的像素值为：(x的比例+所有像素值比x小的比例)*255。
作为优选，步骤1.3中使用3×3元素全为1的三阶方阵作为均值算子，对充电器外表面缺陷图像进行卷积计算，并将步长设置为1进行算子平移。
作为优选，步骤3中多尺度转移模型包括平均池层和尺度转移层。
作为优选，步骤3.2中使用尺度转移层技术获得高分辨率的特征图的具体方式为：假设尺度转移层的输入张量的维数为H×W×C·r2，其中，H、W、C均为常数，r为上采样因子；尺度转移层通过压缩特征图中的通道数量来扩展宽度和高度：
Figure BDA0003021227640000033
Figure BDA0003021227640000034
cSR＝r·mod(y，r)+mod(x，r)+cLR·r2
上式中xSR、ySR、cSR分别是高分辨率特征图在三个维度上的尺度，而xLR、yLR、cLR分别是低分辨率特征图的在三个维度上的尺度。
作为优选，步骤4中分类子网络包含一个1×1的卷积层和两个3×3的卷积层，每个卷积层前有batchnorm层和relu层，分类子网络最后一个卷积层有KA个滤波器，其中K是缺陷目标类的数量，A是每个空间位置的边界框的数量，分类子网络的分类损失是softmax在多个类上的损失；边界回归子网的结构与分类子网相同，但边界回归子网结构的最后一个卷积层有4A个滤波器，边界回归子网结构的平滑L1损失用于定位损失，边界回归子网结构的边界框损失仅用于正样本。
作为优选，步骤4.1中每个预测输出层预设的长宽高比为1.6∶2.0∶3.0；阈值为0.5；采用负挖掘使负与正的比率最多为3∶1。
本发明的有益效果是：本发明使用基于稠密卷积神经网络的多尺度转移算法，搭建了一种端到端的多尺度目标检测模型，应用多特征匹配的方法，可以对电子设备的充电器外表面进行自动且高效的缺陷目标检测；图像级标签缺省的手机屏幕缺陷检测对于工业应用具有重大应用价值，可以节约企业生产成本，并保护消费者权益。
附图说明
图1为实施例中的整体框架流程图；
图2为实施例中的数据预处理流程图；
图3为实施例中搭建稠密卷积神经网络流程图；
图4为实施例中搭建高效的多尺度转移模型流程图；
图5为实施例中搭建缺陷目标检测流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
本发明基于稠密卷积神经网络的多尺度转移算法，对于充电器表面缺陷目标检测构建了一种解决方法，可以对电子设备的充电器外表面进行自动且高效的缺陷检测。
作为一种实施例，这种基于多尺度转移的充电器表面缺陷检测方法，其整体框架流程图如图1所示，包括：
步骤1、如图2所示，进行数据预处理：在输入模型前，将充电器外表面缺陷图像进行预处理，分别进行尺度放缩、直方图均衡、均值平滑和图像校正；
步骤1.1、将充电器外表面缺陷图像进行尺度放缩，使充电器外表面缺陷图像的尺度达到设定的300×300×3像素；
步骤1.2、使用直方图均衡将充电器外表面缺陷图像变换为均匀分布的形式，增加像素灰度值的动态范围，提高图像对比度；统计均匀分布形式下充电器外表面缺陷图像中各个像素占全部像素的比例，像素x进行直方图均衡后的像素值为：(x的比例+所有像素值比x小的比例)*255；实现图像均衡；
步骤1.3、使用均值平滑方式对充电器外表面缺陷图像进行平滑处理；使用3×3元素全为1的三阶方阵作为均值算子，对充电器外表面缺陷图像进行卷积计算，并将步长设置为1进行算子平移，以及后续的卷积计算；
步骤1.4、采用参考点匹配进行缺陷图像校正并计算旋转参数；具体地，记录七组点的坐标，进行方程拟合：
x＝k100+k110u+k101v+k120u2+k102v2+k111uv
y＝k200+k210u+k201v+k220u2+k202v2+k211uv
上式中，u，v是充电器外表面缺陷图像的坐标；x，y是充电器外表面缺陷图像旋转后的坐标；采用最小二乘法计算参数ki；其中i＝100，110，101，120，102，111，200，210，201，220，202，211；
步骤2、如图3所示，搭建稠密卷积神经网络(稠密卷积神经网络的本质是一个卷积神经网络，由若干块卷积单元组成)：将步骤1预处理得到的充电器外表面缺陷图像输入稠密卷积神经网络中进行特征提取，并在每一个稠密单元层中获取不同的特征；
步骤2.1、将卷积神经网络的每一个卷积单元替换成3个3×3卷积层和一个2×2平均池化层；将第一个卷积层步长设置为2，另外两个卷积层步长为1，将三个卷积层的输出通道设置为64；所述卷积神经网络的每一个卷积单元由步长为2的7×7卷积层和步长为2的3×3最大池化层组成；
步骤2.2、将若干步骤2.1所述的卷积单元进行线性堆叠，搭建完整的稠密卷积神经网络；
步骤2.3、将预处理后的充电器外表面缺陷图像输入稠密卷积神经网络的第一个卷积单元层中，获得该单元层的图像特征；
步骤2.4、卷积神经网络第一单元层之后的每一个卷积单元层的输入为前面所有卷积单元层的输出，每一个卷积单元层均输出经过本单元的特征；
步骤3、对于步骤2中每一个卷积单元层不同尺度的输出特征，底层特征映射缺乏缺陷目标的语义信息，可能导致缺陷检测性能低下；如图4所示，本发明搭建高效的多尺度转移模型；将步骤2中每一个卷积单元层不同尺度的输出特征输入多尺度转移模型中，获取不同尺度的特征图，结合不同分辨率的特征图进行多尺度的缺陷目标检测；多尺度转移模型包括平均池层和尺度转移层；
步骤3.1、利用稠密卷积神经网络的网络结构得到强语义特征映射，通过concat操作将底层特征直接转移到稠密卷积神经网络的顶层，使稠密卷积神经网络顶部的特征图既有低层的细节信息，也有高层的语义信息，提高目标定位和分类的性能；
步骤3.2、在多尺度转移模型中使用平均池化层来获得低分辨率的特征图；使用尺度转移层技术获得高分辨率的特征图；将多尺度转移模型直接嵌入稠密卷积神经网络中，从稠密卷积神经网络的最后一个稠密卷积单元层得到六幅不同尺度的特征图；使用尺度转移层技术获得高分辨率的特征图的具体方式为：假设尺度转移层的输入张量的维数为H×W×C·r2，其中，H、W、C均为常数，r为上采样因子；尺度转移层是卷积神经单元周期性重排的一种操作，通过压缩特征图中的通道数量来扩展宽度和高度：
Figure BDA0003021227640000061
Figure BDA0003021227640000062
cSR＝r·mod(y，r)+mod(x，r)+cLR·r2
上式中xSR、ySR、cSR分别是高分辨率特征图在三个维度上的尺度，而xLR、yLR、cLR分别是低分辨率特征图的在三个维度上的尺度；与使用反卷积层不同的是，尺度转移层没有额外的参数和计算开销，反卷积层在卷积操作之前需要在非池化步骤中填充零；
步骤3.3、利用步骤3.2所得六幅不同尺度的特征图的特征来映射构造多尺度缺陷目标检测模型；减少稠密卷积神经网络中卷积单元最后一层的通道数量，减少下一卷积预测层的参数和计算量，提高了探测器的速度；
步骤4、如图5所示，将步骤3中得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成；分类子网和边界回归子网分别对不同尺度的特征图进行处理，建立学习模型；上述稠密卷积神经网络和多尺度转移模型完成了特征图的提取，分类子网络对多尺度缺陷目标进行目标分类，边界回归子网络对多尺度缺陷目标进行边界位置回归分析；分类子网络包含一个1×1的卷积层和两个3×3的卷积层，每个卷积层前有batchnorm层和relu层，分类子网络最后一个卷积层有KA个滤波器，其中K是缺陷目标类的数量，A是每个空间位置的边界框的数量，分类子网络的分类损失是softmax在多个类上的损失；边界回归子网的结构与分类子网相同，但边界回归子网结构的最后一个卷积层有4A个滤波器，边界回归子网结构的平滑L1损失用于定位损失，边界回归子网结构的边界框损失仅用于正样本；
步骤4.1、将一组预设的目标边界框与尺度转移层技术获得的每个高分辨率的特征图中的特征映射相关联；在每个预测输出层使用预设的长宽高比为1.6∶2.0∶3.0；目标边界框与任何相交高于阈值的标签匹配，阈值为0.5；将其余的边界框视为背景；在匹配步骤之后，大多数默认的边界框都是否定的(不匹配)，使用负挖掘得到的边界框映射关系，使负与正的比率最多为3∶1；将得到的边界框映射关系分别输入分类子网络和边界回归子网络进行处理；
步骤4.2、将边界框映射关系输入分类子网络，通过分类子网络预测每个目标边界框属于一个类别的概率；
步骤4.3、将边界框映射关系输入边界回归子网络，边界回归子网络将每个目标边界框的偏移量回归到匹配的标签目标上；
步骤4.4、搭建目标检测网络建立学习模型，训练得到最小化分类和定位的联合损失：
Figure BDA0003021227640000071
上式中，a是目标边界框，I是充电器缺陷图像，θ是优化参数，Lcls是分类损失，Lloc是定位损失；ya∈{0，1，...，K}是类标签，K是缺陷目标类的数量；当目标边界框a不匹配时，ya＝0；ploc(I，a，θ)和pcls(I，a，θ)分别是预测边界的编码以及预测边界的编码对应的类；
Figure BDA0003021227640000072
是标签框对匹配目标边界框的编码，λ是权衡系数。

Claims (10)

1.一种基于多尺度转移的充电器表面缺陷检测方法，其特征在于，包括以下步骤：
步骤1、数据预处理：在输入模型前，将充电器外表面缺陷图像分别进行尺度放缩、直方图均衡、均值平滑和图像校正；
步骤2、搭建稠密卷积神经网络：将步骤1预处理得到的充电器外表面缺陷图像输入稠密卷积神经网络中进行特征提取，并在每一个稠密单元层中获取不同的特征；
步骤3、搭建多尺度转移模型；将步骤2中每一个卷积单元层不同尺度的输出特征输入多尺度转移模型中，获取不同尺度的特征图，结合不同分辨率的特征图进行多尺度的缺陷目标检测；
步骤3.1、利用稠密卷积神经网络的网络结构得到强语义特征映射，通过concat操作将底层特征直接转移到稠密卷积神经网络的顶层；
步骤3.2、在多尺度转移模型中使用平均池化层来获得低分辨率的特征图；使用尺度转移层技术获得高分辨率的特征图；将多尺度转移模型直接嵌入稠密卷积神经网络中，从稠密卷积神经网络的最后一个稠密卷积单元层得到不同尺度的特征图；
步骤3.3、利用步骤3.2所得不同尺度的特征图的特征来映射构造多尺度缺陷目标检测模型；
步骤4、将步骤3中得到的不同尺度的特征图输入多尺度缺陷目标检测模型中，多尺度缺陷目标检测模型中的多尺度缺陷目标检测网络由分类子网络和边界回归子网络组成；分类子网络对多尺度缺陷目标进行目标分类，边界回归子网络对多尺度缺陷目标进行边界位置回归分析。
2.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤1具体包括如下步骤：
步骤1.1、将充电器外表面缺陷图像进行尺度放缩，达到设定的尺度大小；
步骤1.2、使用直方图均衡将充电器外表面缺陷图像变换为均匀分布的形式；统计均匀分布形式下充电器外表面缺陷图像中各个像素占全部像素的比例；
步骤1.3、使用均值平滑方式对充电器外表面缺陷图像进行平滑处理；
步骤1.4、采用参考点匹配进行缺陷图像校正并计算旋转参数。
3.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤2具体包括如下步骤：
步骤2.1、将卷积神经网络的每一个卷积单元替换成3个3×3卷积层和一个2×2平均池化层；将第一个卷积层步长设置为2，另外两个卷积层步长为1，将三个卷积层的输出通道设置为64；所述卷积神经网络的每一个卷积单元由步长为2的7×7卷积层和步长为2的3×3最大池化层组成；
步骤2.2、将若干步骤2.1所述的卷积单元进行线性堆叠，搭建完整的稠密卷积神经网络；
步骤2.3、将预处理后的充电器外表面缺陷图像输入稠密卷积神经网络的第一个卷积单元层中，获得该单元层的图像特征；
步骤2.4、卷积神经网络第一单元层之后的每一个卷积单元层的输入为前面所有卷积单元层的输出，每一个卷积单元层均输出经过本单元的特征。
4.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤4具体包括如下步骤：
步骤4.1、将一组预设的目标边界框与尺度转移层技术获得的每个高分辨率的特征图中的特征映射相关联；在每个预测输出层使用预设的宽高比；目标边界框与任何相交高于阈值的标签匹配，将其余的边界框视为背景；在匹配步骤之后使用负挖掘得到的边界框映射关系，将得到的边界框映射关系分别输入分类子网络和边界回归子网络进行处理；
步骤4.2、将边界框映射关系输入分类子网络，通过分类子网络预测每个目标边界框属于一个类别的概率；
步骤4.3、将边界框映射关系输入边界回归子网络，边界回归子网络将每个目标边界框的偏移量回归到匹配的标签目标上；
步骤4.4、搭建目标检测网络建立学习模型，训练得到最小化分类和定位的联合损失：
Figure FDA0003021227630000021
上式中，a是目标边界框，I是充电器缺陷图像，θ是优化参数，Lcls是分类损失，Lloc是定位损失；ya∈{0，1，...，K}是类标签，K是缺陷目标类的数量；当目标边界框a不匹配时，ya＝0；ploc(I，a，θ)和pcls(I，a，θ)分别是预测边界的编码以及预测边界的编码对应的类；
Figure FDA0003021227630000022
是标签框对匹配目标边界框的编码，λ是权衡系数。
5.根据权利要求2所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于：步骤1.1中充电器外表面缺陷图像设定的尺度大小为300×300×3像素；步骤1.2中均匀分布形式下充电器外表面缺陷图像中，像素x进行直方图均衡后的像素值为：(x的比例+所有像素值比x小的比例)*255。
6.根据权利要求2所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于：步骤1.3中使用3×3元素全为1的三阶方阵作为均值算子，对充电器外表面缺陷图像进行卷积计算，并将步长设置为1进行算子平移。
7.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于：步骤3中多尺度转移模型包括平均池层和尺度转移层。
8.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于，步骤3.2中使用尺度转移层技术获得高分辨率的特征图的具体方式为：假设尺度转移层的输入张量的维数为H×W×C·r2，其中，H、W、C均为常数，r为上采样因子；尺度转移层通过压缩特征图中的通道数量来扩展宽度和高度：
Figure FDA0003021227630000031
Figure FDA0003021227630000032
cSR＝r·mod(y，r)+mod(x，r)+cLR·r2
上式中xSR、ySR、cSR分别是高分辨率特征图在三个维度上的尺度，而xLR、yLR、cLR分别是低分辨率特征图的在三个维度上的尺度。
9.根据权利要求1所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于：步骤4中分类子网络包含一个1×1的卷积层和两个3×3的卷积层，每个卷积层前有batchnorm层和relu层，分类子网络最后一个卷积层有KA个滤波器，其中K是缺陷目标类的数量，A是每个空间位置的边界框的数量，分类子网络的分类损失是softmax在多个类上的损失；边界回归子网的结构与分类子网相同，但边界回归子网结构的最后一个卷积层有4A个滤波器，边界回归子网结构的平滑L1损失用于定位损失，边界回归子网结构的边界框损失仅用于正样本。
10.根据权利要求4所述基于多尺度转移的充电器表面缺陷检测方法，其特征在于：步骤4.1中每个预测输出层预设的长宽高比为1.6∶2.0∶3.0；阈值为0.5；采用负挖掘使负与正的比率最多为3∶1。
CN202110403328.8A 2021-04-15 2021-04-15 一种基于多尺度转移的充电器表面缺陷检测方法 Pending CN113096102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403328.8A CN113096102A (zh) 2021-04-15 2021-04-15 一种基于多尺度转移的充电器表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403328.8A CN113096102A (zh) 2021-04-15 2021-04-15 一种基于多尺度转移的充电器表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113096102A true CN113096102A (zh) 2021-07-09

Family

ID=76677532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403328.8A Pending CN113096102A (zh) 2021-04-15 2021-04-15 一种基于多尺度转移的充电器表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113096102A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091498A (zh) * 2023-04-07 2023-05-09 飞杨电源技术(深圳)有限公司 用于铅酸蓄电池智能充电器的视觉缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206235299U (zh) * 2016-12-14 2017-06-09 昆山麦信宁机械科技有限公司 一种手机充电器检测装置
CN107561087A (zh) * 2017-08-31 2018-01-09 广东工业大学 一种基于机器视觉的鼠标logo定位及缺陷检测方法
CN110544231A (zh) * 2019-07-24 2019-12-06 华南理工大学 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法
CN111652221A (zh) * 2019-06-29 2020-09-11 浙江大学 一种用于usb插头表面缺陷检测的roi提取方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206235299U (zh) * 2016-12-14 2017-06-09 昆山麦信宁机械科技有限公司 一种手机充电器检测装置
CN107561087A (zh) * 2017-08-31 2018-01-09 广东工业大学 一种基于机器视觉的鼠标logo定位及缺陷检测方法
CN111652221A (zh) * 2019-06-29 2020-09-11 浙江大学 一种用于usb插头表面缺陷检测的roi提取方法和系统
CN110544231A (zh) * 2019-07-24 2019-12-06 华南理工大学 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENG ZHOU等: "Scale-Transferrable Object Detection", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091498A (zh) * 2023-04-07 2023-05-09 飞杨电源技术(深圳)有限公司 用于铅酸蓄电池智能充电器的视觉缺陷检测方法

Similar Documents

Publication Publication Date Title
WO2020108358A1 (zh) 图像修复方法、装置、计算机设备和存储介质
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111709909B (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
WO2021238019A1 (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN109034119A (zh) 一种基于优化的全卷积神经网络的人脸检测方法
CN111160108A (zh) 一种无锚点的人脸检测方法及系统
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN107220643A (zh) 基于紧凑型神经网络的深度学习模型的交通标志识别系统
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN109949209A (zh) 一种基于深度学习的绳索检测与去除方法
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN112508851A (zh) 一种基于cnn分类算法的泥岩岩性识别系统
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN113096102A (zh) 一种基于多尺度转移的充电器表面缺陷检测方法
CN111292308A (zh) 基于卷积神经网络的光伏太阳能板红外缺陷检测方法
CN115240020A (zh) 基于弱光补偿的MaskRCNN渗水检测方法及系统
CN110544249A (zh) 一种面向任意角度机箱装配视觉检测的卷积神经网络质量鉴别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210709

WD01 Invention patent application deemed withdrawn after publication