CN113012153A - 一种铝型材瑕疵检测方法 - Google Patents
一种铝型材瑕疵检测方法 Download PDFInfo
- Publication number
- CN113012153A CN113012153A CN202110479076.7A CN202110479076A CN113012153A CN 113012153 A CN113012153 A CN 113012153A CN 202110479076 A CN202110479076 A CN 202110479076A CN 113012153 A CN113012153 A CN 113012153A
- Authority
- CN
- China
- Prior art keywords
- aluminum profile
- sample
- flaw
- model
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 title claims abstract description 64
- 229910052782 aluminium Inorganic materials 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000001788 irregular Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- 230000000694 effects Effects 0.000 description 7
- 229910000838 Al alloy Inorganic materials 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种铝型材瑕疵检测方法，包括：采用铝型材表面瑕疵检测模型对铝型材表面进行检测；若检测出瑕疵，则对瑕疵进行类别判断和回归定位；其中，铝型材表面瑕疵检测模型以Resnet‑101为主干网络；铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对铝型材表面的不规则瑕疵进行针对性检测；铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。通过形变卷积算法改进特征金字塔网络模型，使检测模型对于不规则瑕疵特征具有更强匹配能力；通过改进候选框生成网络损失函数，使检测模型对微小瑕疵的回归定位更为精确。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种铝型材瑕疵检测方法。
背景技术
在非标设计中，经常用到铝型材，工业铝型材表面经过氧化后，外观非常漂亮，组装成产品时，采用专用铝型材配件，不需要焊接，较环保，而且安装、拆卸、携带、搬移极为方便。
铝型材的生产需要进行产品合格检测，例如针对物体表面瑕疵，传统的检测方式采用人工检测，不仅费时费力，还由于铝型材纹路与瑕疵之间区分度微小、人工检测易疲劳等因素，造成漏检率高、检出率低。随着深度学习、机器视觉技术的发展，针对物体表面瑕疵的研究也出现了新的方向，但由于铝型材表面瑕疵种类较多、纹理较为复杂且细小、瑕疵大小差异较大，使得现有疵点检测算法无法在这种特定材料上得到较好的泛化，尤其是对于不同种类的瑕疵的泛化效果较差。
发明内容
有鉴于此，本发明实施例提供了一种铝型材瑕疵检测方法，以解决现有疵点检测方法无法在铝型材上得到较好的泛化，尤其是对于不同种类的瑕疵的泛化效果较差的问题。
本发明实施例提供了一种铝型材瑕疵检测方法，包括：
采用铝型材表面瑕疵检测模型对铝型材表面进行检测；
若检测出瑕疵，则对瑕疵进行类别判断和回归定位；
其中，铝型材表面瑕疵检测模型以Resnet-101为主干网络；铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对铝型材表面的不规则瑕疵进行针对性检测；铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。
可选地，铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位，包括：
用双线性内插法计算浮点坐标的像素值；
ROI Align提取特征图算法的反向传播计算公式如下：
其中，xi为池化前的特征像素点，yij为池化后的第i个感兴趣区的第j个点，i*(i,j)为yij像素点来源，Δh为xi与xi*(i,j)的横坐标差值，Δw为xi与xi*(i,j)的纵坐标差值。
可选地，形变卷积算法为特征金字塔网络的最后一个卷积核。
可选地，特征金字塔网络通过对原始采样点增加偏置量ΔPn，使原始采样点达到预设点位；其中，偏置量ΔPn为{ΔPn|n＝1，2，...，N}，N＝|R|。
可选地，在形变卷积算法中，每一个位置的可形变卷积计算公式如下：
其中，Pm为卷积核的每一个位置，x为特征图，W为采样点权重；
对输出的像素增加一个偏置量ΔPuv，生成可偏置矩阵；
通过全连接层将可偏置矩阵进行相加，得到形变卷积池化模型：
其中，P0是感兴趣区域区域左上角的点，nuv是u行v列的总像素数；γ为标量经验参数，w和h分别为检测图片的宽和高。
可选地，特征金字塔网络还包括噪声过滤算法：将瑕疵样本特征图与正常样本特征图进行叠加，将叠加后的特征图乘以预设的卷积核得到经过过滤后输出的特征图：
其中，Mq为经过过滤后输出的特征图；
表示瑕疵样本特征图，
表示正常样本特征图；q为通道数；Cq为1×1的卷积核。
可选地，改进候选框生成网络损失函数采用两阶段损失函数，计算公式如下：
其中，
t为初始感兴趣区域；at为初始感兴趣区域与目标的重合概率；Ne为类别数；Ns为回归框个数；xd为目标框中心点的横坐标，yd为目标框中心点的纵坐标，l为目标框的长，h为目标框的长；xt为样本标定框中心点的横坐标，yt为样本标定框中心点的纵坐标，lt为样本标定框的长，ht样本标定框的长；
为对应样本标定框bt的真实标签；λ为权重参数；
为样本类别标签；
为初始感兴趣区域与目标重合时的回归函数。
可选地，铝型材表面瑕疵检测模型通过以下多阶段训练方式进行训练：
阶段1，使用瑕疵样本进行训练，得到初始模型；
阶段2，使用初始模型对无瑕疵样本进行检验，得到预测无瑕疵样本组和预测有瑕疵样本组；将预测无瑕疵样本组作为预测有瑕疵样本组的对抗样本；
阶段3，将对抗样本与瑕疵样本相结合，对初始模型进行次轮训练。
可选地，多阶段训练方式还包括：在逻辑回归模型的基础上联立中心损失函数；中心损失函数为：
L＝Ls+λCLC
其中，zk为未通过全连接层的特征；
为yk的特征中心；L为联立中心损失函数后的优化损失函数；LS为逻辑回归模型；λC为中心损失函数的权重参数。
本发明实施例提供了一种铝型材瑕疵检测方法具有以下优点：
1.本发明实施例提供的铝型材瑕疵检测方法一方面通过形变卷积算法改进特征金字塔网络模型，使检测模型对于不规则瑕疵特征具有更强匹配能力；另一方面通过ROIAlign提取特征图算法及改进候选框生成网络损失函数，使检测模型对微小瑕疵的回归定位更为精确。
2.在本发明实施例提供的铝型材瑕疵检测方法中，检测模型还设置了一种噪声过滤特征金字塔，在增强整体特征语义表达、增强小目标特征映射分辨率的同时，对特征图中的噪声特征进行卷积过滤。同时采用改进RPN损失函数，提升了Region Proposal Net生成候选区域的准确率。
3.本发明实施例提供的铝型材瑕疵检测方法，采用多阶段训练的方式对数据集添加对抗样本，采用Center Loss与Softmax加权联立对损失函数进行优化，通过对不同类别瑕疵样本产生的损失进行动态加权，增强了模型在样本不均衡条件下的泛化能力。最后通过对比实验验证了本文模型的有效性，整体检测精度达到97.50％，mAP值达到84.16％，较当前主流物体目标检测模型具有更高的精度。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了一种铝型材瑕疵检测方法的流程图；
图2示出了改进后的Faster RCNN整体框架；
图3示出了针对铝型材表面不规则瑕疵使用形变卷积后特征匹配效果；
图4示出了M-FPN的工作流程图；
图5示出了检测模型的多阶段训练步骤；
图6示出了训练过程Accuracy及LOSS曲线变化图；
图7示出了一组模型检测效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例提供了一种铝型材瑕疵检测方法，如图1所示，包括：
步骤1，采用铝型材表面瑕疵检测模型对铝型材表面进行检测。
步骤2，若检测出瑕疵，则对瑕疵进行类别判断和回归定位。
其中，铝型材表面瑕疵检测模型以Resnet-101为主干网络；铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对铝型材表面的不规则瑕疵进行针对性检测；铝型材表面瑕疵检测模型采用感兴趣区域层叠(ROI Align)提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。
在本实施例中，铝型材表面瑕疵检测模型采用Resnet-101残差网络作为特征提取的主干网络，引入特征金字塔网络(Feature Pyramid Networks，FPN)及形变卷积(Deformable Convolutional Networks，DCN)算法，在网络中添加FPN以增强整体特征语义表达，同时增强小目标特征映射分辨率；采用DCN网络使模型对于不同形态的瑕疵能够更好地学习特征提取位置，使得卷积区域尽可能集中在瑕疵部位；对于微小瑕疵，使用ROIAlign对原始的ROI Pooling进行替换，以获取更为精准的Bounding Box，提高相应的检测性能，提高了对于微小瑕疵的定位精度。
针对目前工业现场铝型材表面瑕疵检测的准确率和实时性问题，本实施例通过形变卷积算法改进特征金字塔网络模型，使检测模型对于不规则瑕疵特征具有更强匹配能力；另一方面通过ROI Align提取特征图算法及改进候选框生成网络损失函数，使检测模型对微小瑕疵的回归定位更为精确。
作为可选的实施方式，铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位，包括：
用双线性内插法计算浮点坐标的像素值；
ROI Align提取特征图算法的反向传播计算公式如下：
其中，xi为池化前的特征像素点，yij为池化后的第i个感兴趣区的第j个点，i*(i,j)为yij像素点来源，Δh为xi与xi*(i,j)的横坐标差值，Δw为xi与xi*(i,j)的纵坐标差值。L(Loss)代表损失函数。
在本实施例中，检测模型采用ROI Align，取消了回归框的量化操作，通过双线性内插法求得浮点坐标的像素值，提高了微小目标回归框的精度。
作为可选的实施方式，形变卷积算法为特征金字塔网络的最后一个卷积核。
图2示出了改进后的Faster RCNN整体框架，在本实施例中，将Resnet-101原始网络中的ROI Pooling替换为ROI Align。ROI Pooling在特征候选框的映射中采用插入邻近像素值方法进行量化操作，对于微小尺寸框的回归中会产生信息丢失问题。ROI Align则取消了回归框的量化操作，通过双线性内插法求得浮点坐标的像素值，提高了微小目标回归框的精度。
作为可选的实施方式，特征金字塔网络通过对原始采样点增加偏置量ΔPn，使原始采样点达到预设点位；其中，偏置量ΔPn为{ΔPn|n＝1，2，...，N}，N＝|R|。
在本实施例中，通过对原始采样点设置偏置量ΔPn，便于检测模型后续计算。
作为可选的实施方式，在形变卷积算法中，每一个位置的可形变卷积计算公式如下：
其中，Pm为卷积核的每一个位置，x为特征图，W为采样点权重；
对输出的像素增加一个偏置量ΔPuv，生成可偏置矩阵；
通过全连接层将可偏置矩阵进行相加，得到形变卷积池化模型：
其中，P0是感兴趣区域区域左上角的点，nuv是u行v列的总像素数；γ为标量经验参数，w和h分别为检测图片的宽和高。
在本实施例中，卷积核的每一个位置Pm为分数形式的数值。图3示出了针对铝型材表面不规则瑕疵使用形变卷积后特征匹配效果。
作为可选的实施方式，特征金字塔网络还包括噪声过滤算法：将瑕疵样本特征图与正常样本特征图进行叠加，将叠加后的特征图乘以预设的卷积核得到经过过滤后输出的特征图：
其中，Mq为经过过滤后输出的特征图；
表示瑕疵样本特征图，
表示正常样本特征图；q为通道数；Cq为1×1的卷积核。
在本实施例中，通过FPN使得经过卷积及两倍上采样操作后的浅层结构与高层的语义信息相融合，为进一步过滤特征图中的部分噪声特征，在原有特征金字塔网络的基础上，提出一种噪声过滤特征金字塔M-FPN，图4示出了M-FPN的工作流程图，通过M-FPN，网络可对不同特征进行自适应加权求和，避免有效瑕疵语义信息损失。
作为可选的实施方式，改进候选框生成网络损失函数采用两阶段损失函数，计算公式如下：
其中，
t为初始感兴趣区域；at为初始感兴趣区域与目标的重合概率；Ne为类别数；Ns为回归框个数；xd为目标框中心点的横坐标，yd为目标框中心点的纵坐标，l为目标框的长，h为目标框的长；xt为样本标定框中心点的横坐标，yt为样本标定框中心点的纵坐标，lt为样本标定框的长，ht样本标定框的长；
为对应样本标定框bt的真实标签；λ为权重参数；
为样本类别标签；
为初始感兴趣区域与目标重合时的回归函数。
由于训练样本中存在瑕疵类别样本量不均衡、尺寸差异大的问题，在本实施例中，采用一种两阶段损失函数(T-stage Loss)以提升Region Proposal Net生成候选区域的准确率。具体地，当交并比介于0.2-0.8之间时，样本类别标签
不起作用。
作为可选的实施方式，铝型材表面瑕疵检测模型通过以下多阶段训练方式进行训练：
阶段1，使用瑕疵样本进行训练，得到初始模型；
阶段2，使用初始模型对无瑕疵样本进行检验，得到预测无瑕疵样本组和预测有瑕疵样本组；将预测无瑕疵样本组作为预测有瑕疵样本组的对抗样本；
阶段3，将对抗样本与瑕疵样本相结合，对初始模型进行次轮训练。
作为可选的实施方式，多阶段训练方式还包括：在逻辑回归模型的基础上联立中心损失函数；中心损失函数为：
L＝Ls+λCLC
其中，zk为未通过全连接层的特征；
为yk的特征中心；L为联立中心损失函数后的优化损失函数；LS为逻辑回归模型；λC为中心损失函数的权重参数。
图5示出了检测模型的多阶段训练步骤。由于铝型材表面瑕疵大小不一、人工标注误差、图片背景干扰等原因导致模型训练易出现过拟合现象，因此本实施例通过多阶段的训练方式对模型进行训练，进一步提高模型检测精度。首先使用瑕疵样本进行训练，再使用训练后的模型对无瑕疵样本进行检验，使用预测为有瑕疵的数据生成对抗样本，最后将生成的对抗样本与原瑕疵样本相结合，对模型进行次轮训练。通过多阶段训练可降低模型的误判，使得模型具有更强的鲁棒性。
在多阶段训练的基础上，在原有的Softmax基础上联立Center Loss，在增大类间差异的同时，缩小同类别特征变化，能够进一步提升模型泛化性能。
针对目前工业现场铝型材表面瑕疵检测的准确率和实时性问题，本实施例提出一种铝型材表面瑕疵检测模型，通过改进原有卷积核计算模式，融合改进噪声过滤特征金字塔及可形变卷积以提升检测模型对多尺度及不规则瑕疵表征的学习能力；同时改用ROIAlign提取特征图及改进候选框生成网络损失函数以提高对微小瑕疵的定位能力；针对铝型材表面瑕疵多样性、类间相似问题，提出一种多阶段模型训练方法，并在原有Softmax损失函数基础上联立Center Loss优化损失函数，以提高模型的相似类别检测能力。
实施例2
本实施例中的检测模型训练所用环境配置为Intel i7-9700K处理器，64GB内存，两块NVIDIA GeForce RTX 2080Ti显卡，所用深度学习框架为Pytorch，取值为0.5，训练epochs为100，训练过程中的精度曲线(Accuracy)及损失曲线(LOSS)如图6所示。模型训练完毕后，在测试集上的部分检测效果如图7所示。
为检验本文改进模型对铝型材不同种类瑕疵的检测识别能力，首先实验选取脏点、凸粉、起坑等10类铝型材瑕疵进行验证，结果如表1所示。
表1不同瑕疵种类模型性能
对表中数据进行分析可以得出对于不同类别瑕疵检测具有较高精度，对于脏点、凸粉等微小瑕疵也有较高的检出率，平均分类精度达到97.50％，平均mAP为80.15。
其次使用YOLOv4、Mask RCNN、Cascade RCNN及本文所构建的瑕疵检测模型设计四组对比实验，对比各模型在本文所用数据集上的分类精度、mAP值、误检率及漏检率四项指标，实验结果如表2所示。
表2不同模型对比结果
由表2数据可知，本文所构建模型性能整体优于其他模型，精度较YOLOv4模型提升4.13％，mAP值较其他模型提升明显，漏检率降低4.63％，Cascade RCNN漏检率略低于本文模型，但准确率不及本文所构建模型，分析其原因，由于Cascade RCNN在对ROI框检测的过程中所采用的结构为级联结构，对阈值的提升是逐步进行的，故漏检率较低；
为验证本文模型改进方案的有效性，采用模块分离的方法对各阶段模型进行分离训练，得到相应模块添加后模型mAP值，其结果如表3所示。
表3改进Faster RCNN分模块对比结果
由表3中数据可得，本文各阶段改进模块较前阶段mAP值均有一定提升。在原网络架构上根据不同需求对特征提取方式、相应卷积核及ROI框提取替换优化后mAP值较基础模型提升7.24％，在此基础采用本文改进的两阶段候选框生成损失函数及噪声过滤特征金字塔对模型架构进行经一部优化后，mAP值较基础模型提升12.47％，模型效果得到显著提升，验证了本文改进方案的有效性。
对于实际工业生产场景中的铝型材瑕疵检测问题，本文提出一种改进FasterRCNN模型架构的铝型材瑕疵检测算法，使用DCN对原有模型中最后一个卷积核进行替换，使模型对于不规则瑕疵特征具有更强匹配能力；采用ROIAilgn替换原有模型的ROIPooling层对Bounding Box框进行优化，得到更为精确的瑕疵回归框。提出一种噪声过滤特征金字塔，在增强整体特征语义表达，增强小目标特征映射分辨率的同时对特征图中的噪声特征进行卷积过滤。同时采用改进RPN损失函数，提升了Region Proposal Net生成候选区域的准确率。
为增强模型泛化能力，采用多阶段训练的方式对数据集添加对抗样本，采用Center Loss与Softmax加权联立对损失函数进行优化，通过对不同类别瑕疵样本产生的损失进行动态加权，增强了模型在样本不均衡条件下的泛化能力。最后通过对比实验验证了本文模型的有效性，整体检测精度达到97.50％，mAP值达到84.16％，较当前主流物体目标检测模型具有更高的精度。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (9)
1.一种铝型材瑕疵检测方法，其特征在于，包括：
采用铝型材表面瑕疵检测模型对铝型材表面进行检测；
若检测出瑕疵，则对所述瑕疵进行类别判断和回归定位；
其中，所述铝型材表面瑕疵检测模型以Resnet-101为主干网络；所述铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对所述铝型材表面的不规则瑕疵进行针对性检测；所述铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。
2.根据权利要求1所述的铝型材瑕疵检测方法，其特征在于，所述铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位，包括：
用双线性内插法计算浮点坐标的像素值；
所述ROIAlign提取特征图算法的反向传播计算公式如下：
其中，xi为池化前的特征像素点，yij为池化后的第i个感兴趣区的第j个点，i*(i,j)为yij像素点来源，Δh为xi与xi*(i,j)的横坐标差值，Δw为xi与xi*(i,j)的纵坐标差值。
3.根据权利要求1所述的铝型材瑕疵检测方法，其特征在于，所述形变卷积算法为所述特征金字塔网络的最后一个卷积核。
4.根据权利要求3所述的铝型材瑕疵检测方法，其特征在于，所述特征金字塔网络通过对原始采样点增加偏置量ΔPn，使所述原始采样点达到预设点位；其中，所述偏置量ΔPn为{ΔPn|n＝1，2，...，N}，N＝|R|。
5.根据权利要求4所述的铝型材瑕疵检测方法，其特征在于，在所述形变卷积算法中，每一个位置的可形变卷积计算公式如下：
其中，Pm为卷积核的每一个位置，x为特征图，W为采样点权重；
对输出的像素增加一个偏置量ΔPuv，生成可偏置矩阵；
通过全连接层将所述可偏置矩阵进行相加，得到形变卷积池化模型：
其中，P0是感兴趣区域区域左上角的点，nuv是u行v列的总像素数；γ为标量经验参数，w和h分别为检测图片的宽和高。
6.根据权利要求1所述的铝型材瑕疵检测方法，其特征在于，所述特征金字塔网络还包括噪声过滤算法：将瑕疵样本特征图与正常样本特征图进行叠加，将叠加后的特征图乘以预设的卷积核得到经过过滤后输出的特征图：
其中，Mq为所述经过过滤后输出的特征图；
表示所述瑕疵样本特征图，
表示所述正常样本特征图；q为通道数；Cq为1×1的卷积核。
7.根据权利要求1所述的铝型材瑕疵检测方法，其特征在于，所述改进候选框生成网络损失函数采用两阶段损失函数，计算公式如下：
其中，
t为初始感兴趣区域；at为所述初始感兴趣区域与目标的重合概率；Ne为类别数；Ns为回归框个数；xd为目标框中心点的横坐标，yd为所述目标框中心点的纵坐标，l为所述目标框的长，h为所述目标框的长；xt为样本标定框中心点的横坐标，yt为所述样本标定框中心点的纵坐标，lt为所述样本标定框的长，ht所述样本标定框的长；
为对应样本标定框bt的真实标签；λ为权重参数；
为样本类别标签；
为所述初始感兴趣区域与目标重合时的回归函数。
8.根据权利要求1所述的铝型材瑕疵检测方法，其特征在于，所述铝型材表面瑕疵检测模型通过以下多阶段训练方式进行训练：
阶段1，使用瑕疵样本进行训练，得到初始模型；
阶段2，使用所述初始模型对无瑕疵样本进行检验，得到预测无瑕疵样本组和预测有瑕疵样本组；将所述预测无瑕疵样本组作为所述预测有瑕疵样本组的对抗样本；
阶段3，将所述对抗样本与所述瑕疵样本相结合，对所述初始模型进行次轮训练。
9.根据权利要求8所述的铝型材瑕疵检测方法，其特征在于，所述多阶段训练方式还包括：在逻辑回归模型的基础上联立中心损失函数；所述中心损失函数为：
L＝LS+λCLC
其中，zk为未通过全连接层的特征；
为yk的特征中心；L为联立中心损失函数后的优化损失函数；LS为逻辑回归模型；λC为中心损失函数的权重参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110479076.7A CN113012153A (zh) | 2021-04-30 | 2021-04-30 | 一种铝型材瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110479076.7A CN113012153A (zh) | 2021-04-30 | 2021-04-30 | 一种铝型材瑕疵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113012153A true CN113012153A (zh) | 2021-06-22 |
Family
ID=76380487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110479076.7A Pending CN113012153A (zh) | 2021-04-30 | 2021-04-30 | 一种铝型材瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012153A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596273A (zh) * | 2022-03-02 | 2022-06-07 | 江南大学 | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 |
| CN115049644A (zh) * | 2022-08-12 | 2022-09-13 | 山东三微新材料有限公司 | 一种基于铝管表面瑕疵识别的温度控制方法及系统 |
| CN115082386A (zh) * | 2022-06-07 | 2022-09-20 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
| CN115601357A (zh) * | 2022-11-29 | 2023-01-13 | 南京航空航天大学（Cn） | 一种基于小样本的冲压件表面缺陷检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140015921A1 (en) * | 2012-07-16 | 2014-01-16 | Noiseless Imaging Oy Ltd. | Methods and systems for suppressing noise in images |
| WO2019114147A1 (zh) * | 2017-12-15 | 2019-06-20 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
| CN110852450A (zh) * | 2020-01-15 | 2020-02-28 | 支付宝(杭州)信息技术有限公司 | 识别对抗样本以保护模型安全的方法及装置 |
| CN110853015A (zh) * | 2019-11-12 | 2020-02-28 | 中国计量大学 | 基于改进Faster-RCNN的铝型材缺陷检测方法 |
| CN110889838A (zh) * | 2019-11-26 | 2020-03-17 | 武汉纺织大学 | 一种织物疵点检测方法及装置 |
| CN111028163A (zh) * | 2019-11-28 | 2020-04-17 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN111429347A (zh) * | 2020-03-20 | 2020-07-17 | 长沙理工大学 | 图像超分辨率重建方法、装置及计算机可读存储介质 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN111598807A (zh) * | 2020-05-16 | 2020-08-28 | 武汉青铜科技信息咨询有限公司 | 一种基于区块链的汽车零部件检测数据共享系统及方法 |
| CN111881918A (zh) * | 2020-06-11 | 2020-11-03 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度旋转船舶目标检测算法 |
| CN112380319A (zh) * | 2020-11-12 | 2021-02-19 | 平安科技（深圳）有限公司 | 一种模型训练的方法及相关装置 |
-
2021
- 2021-04-30 CN CN202110479076.7A patent/CN113012153A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140015921A1 (en) * | 2012-07-16 | 2014-01-16 | Noiseless Imaging Oy Ltd. | Methods and systems for suppressing noise in images |
| WO2019114147A1 (zh) * | 2017-12-15 | 2019-06-20 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
| CN110853015A (zh) * | 2019-11-12 | 2020-02-28 | 中国计量大学 | 基于改进Faster-RCNN的铝型材缺陷检测方法 |
| CN110889838A (zh) * | 2019-11-26 | 2020-03-17 | 武汉纺织大学 | 一种织物疵点检测方法及装置 |
| CN111028163A (zh) * | 2019-11-28 | 2020-04-17 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN110852450A (zh) * | 2020-01-15 | 2020-02-28 | 支付宝(杭州)信息技术有限公司 | 识别对抗样本以保护模型安全的方法及装置 |
| CN111429347A (zh) * | 2020-03-20 | 2020-07-17 | 长沙理工大学 | 图像超分辨率重建方法、装置及计算机可读存储介质 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN111598807A (zh) * | 2020-05-16 | 2020-08-28 | 武汉青铜科技信息咨询有限公司 | 一种基于区块链的汽车零部件检测数据共享系统及方法 |
| CN111881918A (zh) * | 2020-06-11 | 2020-11-03 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度旋转船舶目标检测算法 |
| CN112380319A (zh) * | 2020-11-12 | 2021-02-19 | 平安科技（深圳）有限公司 | 一种模型训练的方法及相关装置 |
Non-Patent Citations (7)
| Title |
|---|
| 戴凌峰: "基于机器视觉的按压泵缺陷检测系统研究与实现", 《中国优秀硕士学位论文全文数据库工程科技II辑》, no. 2, pages 5 * |
| 戴文君等: "面向坦克火控系统的多尺度形变目标检测方法", 《计算机辅助设计与图形学学报》, vol. 31, no. 12, pages 2082 - 2090 * |
| 朱超平;杨永斌;: "基于改进的Faster-RCNN模型的汽车轮毂表面缺陷在线检测算法研究", 表面技术, no. 06 * |
| 石杰;周亚丽;张奇志;: "基于改进Mask RCNN和Kinect的服务机器人物品识别系统", 仪器仪表学报, no. 04 * |
| 袁公萍;汤一平;韩旺明;陈麒;: "基于深度卷积神经网络的车型识别方法", 浙江大学学报(工学版), no. 04 * |
| 袁公萍等: "基于深度卷积神经网络的车型识别方法", 《浙江大学学报(工学版)》, vol. 52, no. 4, pages 694 - 702 * |
| 许笑;陈奕君;冯诗羽;谢理哲;曹玖新;胡轶宁;: "基于冗余信息压缩的深度学习对抗样本防御方案", 网络空间安全, no. 08 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596273A (zh) * | 2022-03-02 | 2022-06-07 | 江南大学 | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 |
| CN114596273B (zh) * | 2022-03-02 | 2022-11-25 | 江南大学 | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 |
| CN115082386A (zh) * | 2022-06-07 | 2022-09-20 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
| CN115082386B (zh) * | 2022-06-07 | 2024-04-26 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
| CN115049644A (zh) * | 2022-08-12 | 2022-09-13 | 山东三微新材料有限公司 | 一种基于铝管表面瑕疵识别的温度控制方法及系统 |
| CN115049644B (zh) * | 2022-08-12 | 2022-11-01 | 山东三微新材料有限公司 | 一种基于铝管表面瑕疵识别的温度控制方法及系统 |
| CN115601357A (zh) * | 2022-11-29 | 2023-01-13 | 南京航空航天大学（Cn） | 一种基于小样本的冲压件表面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533084B (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN113012153A (zh) | 一种铝型材瑕疵检测方法 | |
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN109919934B (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
| CN111598861A (zh) | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| CN111292305A (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
| CN113610822B (zh) | 一种基于多尺度信息融合的表面缺陷检测方法 | |
| CN104680144A (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| Park et al. | MarsNet: multi-label classification network for images of various sizes | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN110738030A (zh) | 表格重建方法、装置、电子设备及存储介质 | |
| CN113538331A (zh) | 金属表面损伤目标检测识别方法、装置、设备及存储介质 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN112861915A (zh) | 一种基于高级语义特征无锚框非合作目标检测方法 | |
| CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
| CN115423796A (zh) | 一种基于TensorRT加速推理的芯片缺陷检测方法及系统 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN117197146A (zh) | 一种铸件内部缺陷自动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |