CN114494250A - 基于神经网络模型的地板缺陷检测方法 - Google Patents

基于神经网络模型的地板缺陷检测方法 Download PDF

Info

Publication number
CN114494250A
CN114494250A CN202210338119.4A CN202210338119A CN114494250A CN 114494250 A CN114494250 A CN 114494250A CN 202210338119 A CN202210338119 A CN 202210338119A CN 114494250 A CN114494250 A CN 114494250A
Authority
CN
China
Prior art keywords
model
data
convolution
prediction
floor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210338119.4A
Other languages
English (en)
Inventor
张伟
蔡振宇
许超
李传祥
孙恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Institute of Zhejiang University
Original Assignee
Huzhou Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huzhou Institute of Zhejiang University filed Critical Huzhou Institute of Zhejiang University
Priority to CN202210338119.4A priority Critical patent/CN114494250A/zh
Publication of CN114494250A publication Critical patent/CN114494250A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于神经网络模型的地板缺陷检测方法，包括以下步骤：步骤一：通过工业线阵相机采集地板缺陷数据，并根据对象特性与背景特点采用合适的数据增广策略，制作缺陷数据集；步骤二：用神经网络构建检测框架，特征提取网络采用全卷积神经网络；整体检测框架包括自底向上路径、自顶向下路径和侧边路径；最终在38×38和76×76共两个检测层级实现对地板缺陷的检测。该方法具有检测准确率高、硬件负载低的特点。

Description

基于神经网络模型的地板缺陷检测方法
技术领域
本发明涉及智能监控、工业视觉、深度学习领域，具体涉及一种基于神经网络模型的地板缺陷检测方法，重点完成对工业生产场景下的地板缺陷的位置回归与识别方法。
背景技术
木地板表面缺陷直接影响其质量与等级，因此，表面缺陷信息的检测已成为实木地板加工的重要工艺过程。作为简单检测方法的人工目测，虽然在中小型地板加工企业中仍在沿用，但其检测过程具有费时耗力、主观性强、误识率高的弊端，因此难以保证在线生产的速度与分选质量。
发明内容
由于现有技术中存在的问题，本发明的目的在于提供一种检测准确率高、硬件负载低的基于神经网络模型的地板缺陷检测方法，用以辅助工厂的地板生产工作。
本发明通过以下技术方案予以解决：
基于神经网络模型的地板缺陷检测方法，包括以下步骤：
步骤1)搭建工业视觉平台，视觉平台的作用为采集图像数据，采集的数据用途包括训练模型以及缺陷预测两种；
步骤2)通过安置于流水线上的视觉系统对地板缺陷数据进行采集，获取初始样本数据，并根据对象特性与背景特点采用旋转、缩放以及镜像翻转这三种数据增广策略，制作缺陷数据集，数据尺寸统一为1024×1024；
步骤3)用神经网络构建检测框架，采用608×608的高分辨率模型输入尺寸，并对模型骨干网络部分的52 层卷积进行层向剪枝处理以减少模型的参数，经精简过后的模型其特征提取部分构建为一43层的全卷积网络结构；
步骤4)通过k均值的思想对经步骤2）后的样本进行聚类；
步骤5)训练检测模型；
步骤6)对于视觉系统采集到的数据样本，输入已训练模型，实现多类别地板缺陷的预测工作。
进一步地，所述工业视觉平台组成部分包括线阵相机一台，线光源，光源控制器以及配套的传送设备。
进一步地，所述工业视觉平台置于一光学暗室中，所述线光源的激发状态保持为常亮，所述线阵相机的安装视角为正下视角安装，地板对象的运输速度和相机行频相配合，保持正常画面的输出。
进一步地，所述步骤3）中，在进行卷积计算的过程中一共采取两种不同的计算策 略，分别为
Figure 986048DEST_PATH_IMAGE001
和
Figure 81174DEST_PATH_IMAGE002
，对于无法整除的情况则采用向上取整的方式获得输出结果，
Figure 907048DEST_PATH_IMAGE003
其中，
Figure 901198DEST_PATH_IMAGE004
表示为卷积输出的特征图尺寸，
Figure 445312DEST_PATH_IMAGE005
表示进入卷积前的特征图尺寸，
Figure 531080DEST_PATH_IMAGE006
表示卷积核尺寸，
Figure 837558DEST_PATH_IMAGE007
表示卷积核的移动步长，特征图的外部填充圈数为
Figure 108003DEST_PATH_IMAGE008
，在卷积过程中，当
Figure 342675DEST_PATH_IMAGE009
为1时按
Figure 966554DEST_PATH_IMAGE010
的方式进行运算，
Figure 859031DEST_PATH_IMAGE007
为2时按
Figure 644584DEST_PATH_IMAGE011
的方式进行运算。
进一步地，所述神经网络检测框架包含自底向上路径，自顶向下路径和侧边路径部分。
进一步地，所述自底向上路径为所述模型骨干网络部分，该路径网络不断加深，实现对多级特征的提取。
进一步地，所述自底向上路径的网络由ren_n模块组合搭建，在每个残差块中通过内核尺寸1×1 的卷积实现不同通道的信息整合，再通过串联内核尺寸为3×3的卷积以达到网络参数减少的目的。
进一步地，所述步骤3）中，考虑先验框要求达到更高的交并比，距离公式采取：
Figure 491186DEST_PATH_IMAGE012
一共设置聚类为6种大小不同的先验框，在每个预测尺度上放置三种不同的框，大尺度下放置三种小尺寸先验框负责较小目标的检测，剩下的框放置于另一较小尺度中以负责视野中较大目标的检测。
进一步地，所述模型训练通过最小化损失函数实现。
进一步地，所述损失函数由四部分组成，分别为坐标误差
Figure 881540DEST_PATH_IMAGE013
和
Figure 536513DEST_PATH_IMAGE014
，置信度误差
Figure 24126DEST_PATH_IMAGE015
和类别误差
Figure 127998DEST_PATH_IMAGE016
；
Figure 93680DEST_PATH_IMAGE017
用GT表示为真实值，P表示为网络输出的预测值，BCE为预测值和真实值的二值交 叉熵，
Figure 462213DEST_PATH_IMAGE015
和
Figure 855148DEST_PATH_IMAGE016
采用BCE进行计算，
Figure 708966DEST_PATH_IMAGE018
和
Figure 212759DEST_PATH_IMAGE014
则由均方误差表示，其中预测值需要经过 Sigmoid函数
Figure 576745DEST_PATH_IMAGE019
激活，对于坐标损失，考虑对于不同尺寸边界框的预测，小的边界框预 测偏差在相同的尺寸下对IOU影响更大，设定尺寸因子为：
Figure 999636DEST_PATH_IMAGE020
Figure 947607DEST_PATH_IMAGE021
表示为真实边界框的面积，
Figure 769938DEST_PATH_IMAGE022
表示为坐标损失的权重，以平衡 各部分损失之间的关系，本申请
Figure 863796DEST_PATH_IMAGE022
=0.5；
Figure 880425DEST_PATH_IMAGE015
由两部分组成，其中
Figure 426944DEST_PATH_IMAGE023
和
Figure 662753DEST_PATH_IMAGE024
皆为布尔值，在YOLOv3算法中图像被划分为s ×s个网格，并在划分的网格基础上进行目标预测，当网格负责正样本目标
Figure 376498DEST_PATH_IMAGE023
为1，
Figure 78875DEST_PATH_IMAGE024
为0， 反之当网格负责负样本背景检测时为0，
Figure 361958DEST_PATH_IMAGE025
为1，考虑数据中严重的正负样本不均 衡现象， 引入focal loss在针对负样本置信度损失计算的交叉熵基础上进行改进：
Figure 902923DEST_PATH_IMAGE026
Figure 236952DEST_PATH_IMAGE027
为输出预测值，
Figure 562760DEST_PATH_IMAGE028
为真实值，其中γ的作用为降低易分类样本的损失，使 置信度损失能更关注于预测值更低的难区分样本，α则用以平衡正负样本本身的比例不均 衡现象，当网格负责负样本置信度预测时，
Figure 552713DEST_PATH_IMAGE029
=1，真实置信度
Figure 864746DEST_PATH_IMAGE030
=0，从而负样本置信 度预测部分表示为：
Figure 535505DEST_PATH_IMAGE031
默认参数为α=0.25 γ=2。
进一步地，所述步骤6）中，对于视觉系统采集到的数据样本，通过GigE的方式将数据传输至工控机本地，并通过分帧的方法将数据图像按时间轴顺序输入已训练模型，实现多类别地板缺陷的预测工作，预测工作在两个不同的层级（38×38；76×76）上进行，预测输出信息包括缺陷的种类信息、位置信息（x,y,w,h）、置信度信息以及状态信息，其中0表示状态正常；1表示目标存在缺陷。
有益效果
本发明是一种检测准确率高、硬件负载低的基于神经网络模型的地板缺陷检测方法，可很好地用于辅助工厂的地板生产工作。
附图说明
图1为地板缺陷检测系统框架图；
图2为地板缺陷检测方法训练流程示意图；
图3为识别模型架构图；
图4为模型中采用的残差块；
图5为地板缺陷预测流程图。
具体实施方式
图1所示为本发明的缺陷检测系统框架图。第一步，搭建工业相机采集平台，主要构成为用于采集数据的工业相机一台，搭载win10的工控机一台，线光源一台，光源控制器一台。通过线光源与光源控制器配合使用实现光源的常亮状态，在光源常量的状态下开启相机对流水线上的地板进行数据采集，获得原始数据样本，数据通过GigE方式传输至工控机进行模型的训练与预测工作，输出预测信息。
图2所示为本发明的地板缺陷检测方法训练流程示意图，通过搭建的硬件平台（工业视觉系统）对样本数据进行采集工作，后续通过图像旋转、缩放、镜像翻转等数据增广手段对数据进行进一步扩容，对于处理过后的样本图片统一剪裁至1:1的长宽比，样本尺寸为1024×1024。利用标注工具labelimg对样本图片中的缺陷进行标注工作，得到xml标签文件，标注信息包含目标左上角坐标、右下角坐标、类别、数量，根据xml文件分组生成训练集train.txt，验证集val.txt，测试集test.txt，三者数据量比值为8:1:1。按pascal voc数据集的格式制作，主目录中Annontations文件中存放标签文件，JPEGImages文件存放数据图片。划分数据集得到的txt则存放于Imagesets目录下。数据输入神经网络模型，并通过在大型公开数据集VOC2012上进行预训练操作辅以迁移学习方法，最终输出固定权重的训练模型，完成模型的训练工作。
图3所示为本发明的模型架构图。模型的骨干网络基于darknet53进行修改得到， 为强化网络输入数据的信息量，我们将输入尺寸由默认的416×416扩展至608×608，通道 数为3。模型骨干网路部分的52 层卷积进行层向剪枝处理以减少模型的参数，经精简过后 的模型其特征提取部分构建为一43层的全卷积网络结构。在进行卷积计算的过程中一共采 取两种不同的计算策略，分别为
Figure 517367DEST_PATH_IMAGE032
和
Figure 243884DEST_PATH_IMAGE011
。对于无法整除的情况则采用向上取整的 方式获得输出结果。
总体来说，修改后的网络结构包含自底向上路径，自顶向下路径，侧边路径等部分。整个自底向上的过程为模型的骨干网络部分，该过程网络不断加深，实现对多级特征的提取。自底向上的网络由ren_n模块组合搭建，其中借鉴了深度残差网络(ResNet)的残差块思想，使用残差结构解决深层网络训练时梯度消失的问题。在每个残差块中通过内核尺寸1×1 的卷积实现不同通道的信息整合，再通过串联内核尺寸为3×3的卷积以达到网络参数减少的目的，ren_n模块见图4。
自底向上的过程中网络共历经4次下采样操作。为了保留特征中的细节信息，下采样的整个过程中无池化层参与，均由步伐大小为2的卷积操作实现。在整个自底向上的结构中，我们采用38×38 与76×76这两个特征图尺度作为该过程的输出。选取原则为，对于相同大小的特征图，考虑到最深的层拥有最强的特征，本申请选择位于最后层的特征图。
在自顶向下的路径中主要是通过上采样的方式扩展深层特征图的尺寸，再通过侧边路径将扩展尺寸后的特征图和浅层同尺寸特征图进行串联操作，从而输出信息量更加丰富的特征图。与RetinaNet类似，对于76×76 尺度的输出，本申请采取最邻近上采样的策略将高一层的特征图在分辨率上进行两倍的上采样工作，并与同尺寸的自底向上输出的最高层特征图进行串联叠加。
在卷积操作过后，我们加上batch norm层标准化处理以加速训练并减少过拟合现象并串联一个激活层，激活函数选用Leaky RELU。模型网络输出拥有2个不同尺度的特征图输出，每个尺度内，通过卷积核(3×3 和1×1)的叠加实现特征图之间的局部特征交互。最后模型在y1与y2两个层级上进行缺陷的预测工作，在此基础上进行目标的位置回归和分类。
在本发明中，我们通过k均值的思想对收集样本进行聚类，考虑先验框要求达到更高的交并比，距离公式采取：
Figure 969394DEST_PATH_IMAGE012
本申请一共设置聚类为6种大小不同的先验框。在每个预测尺度上放置三种不同的框，大尺度下放置三种小尺寸先验框负责较小目标的检测，剩下的框放置于另一较小尺度中以负责视野中较大目标的检测。其中每个anchor 的预测的维度为 (4+1+缺陷类别数)，即四个位置信息，一个置信度信息和缺陷类别数。
检测模型训练。模型的训练通过最小化损失函数实现，因而模型最终的收敛效果 和损失函数的设计密不可分。本申请所设计的损失函数由四部分组成，分别为坐标误差
Figure 605912DEST_PATH_IMAGE018
和
Figure 509408DEST_PATH_IMAGE014
，置信度误差
Figure 5112DEST_PATH_IMAGE015
和类别误差
Figure 190105DEST_PATH_IMAGE016
；
Figure 841316DEST_PATH_IMAGE033
用GT表示为真实值，P表示为网络输出的预测值，BCE为预测值和真实值的二值交 叉熵，
Figure 289615DEST_PATH_IMAGE015
和
Figure 741456DEST_PATH_IMAGE016
采用BCE进行计算，
Figure 58037DEST_PATH_IMAGE013
和
Figure 810092DEST_PATH_IMAGE014
则由均方误差表示，其中预测值需要经过 Sigmoid函数
Figure 55391DEST_PATH_IMAGE019
激活，对于坐标损失，考虑对于不同尺寸边界框的预测，小的边界框预 测偏差在相同的尺寸下对IOU影响更大，设定尺寸因子为：
Figure 119162DEST_PATH_IMAGE020
Figure 255745DEST_PATH_IMAGE021
表示为真实边界框的面积，
Figure 845996DEST_PATH_IMAGE022
表示为坐标损失的权重，以平衡 各部分损失之间的关系，本申请
Figure 511463DEST_PATH_IMAGE022
=0.5；
Figure 951279DEST_PATH_IMAGE015
由两部分组成，其中
Figure 78503DEST_PATH_IMAGE023
和
Figure 539572DEST_PATH_IMAGE024
皆为布尔值，在YOLOv3算法中图像被划分为s ×s个网格，并在划分的网格基础上进行目标预测，当网格负责正样本目标
Figure 126673DEST_PATH_IMAGE023
为1，
Figure 165036DEST_PATH_IMAGE024
为0， 反之当网格负责负样本背景检测时为0，
Figure 564794DEST_PATH_IMAGE025
为1，考虑数据中严重的正负样本不均 衡现象， 引入focal loss在针对负样本置信度损失计算的交叉熵基础上进行改进：
Figure 145948DEST_PATH_IMAGE026
Figure 567265DEST_PATH_IMAGE027
为输出预测值，
Figure 217558DEST_PATH_IMAGE028
为真实值，其中γ的作用为降低易分类样本的损失，使 置信度损失能更关注于预测值更低的难区分样本，α则用以平衡正负样本本身的比例不均 衡现象，当网格负责负样本置信度预测时，
Figure 296373DEST_PATH_IMAGE025
=1，真实置信度
Figure 217186DEST_PATH_IMAGE034
=0，从而负样本置信 度预测部分表示为：
Figure 926516DEST_PATH_IMAGE031
默认参数为α=0.25 γ=2。
图5为地板缺陷的预测流程。预测的输入为工业相机在流水线上实时获取的数据，通过GigE的方式将数据传输至工控机本地，并通过分帧的方法将数据图像按时间轴顺序输入已训练模型，实现多类别地板缺陷的预测工作。预测输出信息包括缺陷的种类信息、位置信息（x,y,w,h）、置信度信息以及状态信息（0：状态正常；1：目标存在缺陷）。在模型的输入阶段，将预测样本规范至608×608的尺寸，之后将数据传入骨干网络进行特征的提取工作，之后在38×38和76×76两个检测层级中进行地板缺陷的分类和位置信息的预测，绘制边界框，最终实现预测工作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于神经网络模型的地板缺陷检测方法，其特征在于，包括以下步骤：
步骤1）搭建工业视觉平台，视觉平台的作用为采集图像数据，采集的数据用途包括训练模型以及缺陷预测两种；
步骤2）通过安置于流水线上的视觉系统对地板缺陷数据进行采集，获取初始样本数据，并根据对象特性与背景特点采用旋转、缩放以及镜像翻转这三种数据增广策略，制作缺陷数据集，数据尺寸统一为1024×1024；
步骤3）用神经网络构建检测框架，采用608×608的高分辨率模型输入尺寸，并对模型骨干网络部分的52 层卷积进行层向剪枝处理以减少模型的参数，经精简过后的模型其特征提取部分构建为一43层的全卷积网络结构；
步骤4）通过k均值的思想对经步骤2）后的样本进行聚类；
步骤5）训练检测模型；
步骤6）对于视觉系统采集到的数据样本，输入已训练模型，实现多类别地板缺陷的预测工作。
2.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述工业视觉平台组成部分包括线阵相机一台，线光源，光源控制器以及配套的传送设备。
3.根据权利要求2所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述工业视觉平台置于一光学暗室中，所述线光源的激发状态保持为常亮，所述线阵相机的安装视角为正下视角安装，地板对象的运输速度和相机行频相配合，保持正常画面的输出。
4.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所 述步骤3）中，在进行卷积计算的过程中一共采取两种不同的计算策略，分别为
Figure 966010DEST_PATH_IMAGE001
和
Figure 574715DEST_PATH_IMAGE002
，对于无法整除的情况则采用向上取整的方式获得输出结果，
Figure 43873DEST_PATH_IMAGE003
其中，
Figure 338195DEST_PATH_IMAGE004
表示为卷积输出的特征图尺寸，
Figure 449370DEST_PATH_IMAGE005
表示进入卷积前的特征图尺寸，
Figure 912582DEST_PATH_IMAGE006
表示卷积核尺寸，
Figure 709899DEST_PATH_IMAGE007
表示卷积核的移动步长，特征图的外部填充圈数为
Figure 743714DEST_PATH_IMAGE008
， 在卷积过程中，当
Figure 642268DEST_PATH_IMAGE009
为1时按
Figure 976298DEST_PATH_IMAGE010
的方式进行运算，
Figure 60361DEST_PATH_IMAGE007
为2时按
Figure 971685DEST_PATH_IMAGE002
的方式 进行运算。
5.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述神经网络检测框架包含自底向上路径，自顶向下路径和侧边路径部分。
6.根据权利要求5所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述自底向上路径为所述模型骨干网络部分，该路径网络不断加深，实现对多级特征的提取。
7.根据权利要求5或6所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述自底向上路径的网络由ren_n模块组合搭建，在每个残差块中通过内核尺寸1×1的卷积实现不同通道的信息整合，再通过串联内核尺寸为3×3的卷积以达到网络参数减少的目的。
8.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述步骤3）中，考虑先验框要求达到更高的交并比，距离公式采取：
Figure 424663DEST_PATH_IMAGE011
一共设置聚类为6种大小不同的先验框，在每个预测尺度上放置三种不同的框，大尺度下放置三种小尺寸先验框负责较小目标的检测，剩下的框放置于另一较小尺度中以负责视野中较大目标的检测。
9.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述模型训练通过最小化损失函数实现。
10.根据权利要求9所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于， 所述损失函数由四部分组成，分别为坐标误差
Figure 98352DEST_PATH_IMAGE012
和
Figure 611373DEST_PATH_IMAGE013
，置信度误差
Figure 869048DEST_PATH_IMAGE014
和类别误差
Figure 860138DEST_PATH_IMAGE015
；
Figure 650983DEST_PATH_IMAGE016
用GT表示为真实值，P表示为网络输出的预测值，BCE为预测值和真实值的二值交叉熵，
Figure 69326DEST_PATH_IMAGE014
和
Figure 548718DEST_PATH_IMAGE015
采用BCE进行计算，
Figure 343498DEST_PATH_IMAGE017
和
Figure 460621DEST_PATH_IMAGE013
则由均方误差表示，其中预测值需要经过Sigmoid 函数
Figure 315445DEST_PATH_IMAGE018
激活，对于坐标损失，考虑对于不同尺寸边界框的预测，小的边界框预测偏差在 相同的尺寸下对IOU影响更大, 设定尺寸因子为：
Figure 547712DEST_PATH_IMAGE019
Figure 615025DEST_PATH_IMAGE020
表示为真实边界框的面积，
Figure 855163DEST_PATH_IMAGE021
表示为坐标损失的权重，以平衡各部分 损失之间的关系，本申请
Figure 880888DEST_PATH_IMAGE021
=0.5；
Figure 334872DEST_PATH_IMAGE014
由两部分组成，其中
Figure 205876DEST_PATH_IMAGE022
和
Figure 563170DEST_PATH_IMAGE023
皆为布尔值，在YOLOv3算法中图像被划分为s×s 个网格，并在划分的网格基础上进行目标预测，当网格负责正样本目标
Figure 759796DEST_PATH_IMAGE022
为1，
Figure 435497DEST_PATH_IMAGE023
为0， 反之当网格负责负样本背景检测时为0，
Figure 110192DEST_PATH_IMAGE024
为1，考虑数据中严重的正负样本不均衡现 象， 引入focal loss在针对负样本置信度损失计算的交叉熵基础上进行改进：
Figure 584642DEST_PATH_IMAGE025
Figure 686591DEST_PATH_IMAGE026
为输出预测值，
Figure 849588DEST_PATH_IMAGE027
为真实值，其中γ的作用为降低易分类样本的损失，使置信 度损失能更关注于预测值更低的难区分样本，α则用以平衡正负样本本身的比例不均衡现 象，当网格负责负样本置信度预测时，
Figure 327973DEST_PATH_IMAGE028
=1，真实置信度
Figure 394281DEST_PATH_IMAGE029
=0，从而负样本置信度预 测部分表示为：
Figure 932709DEST_PATH_IMAGE030
默认参数为α=0.25 γ=2。
11.根据权利要求1所述的一种基于神经网络模型的地板缺陷检测方法，其特征在于，所述步骤6）中，对于视觉系统采集到的数据样本，通过GigE的方式将数据传输至工控机本地，并通过分帧的方法将数据图像按时间轴顺序输入已训练模型，实现多类别地板缺陷的预测工作，预测工作在两个不同的层级（38×38；76×76）上进行，预测输出信息包括缺陷的种类信息、位置信息（x,y,w,h）、置信度信息以及状态信息，其中0表示状态正常；1表示目标存在缺陷。
CN202210338119.4A 2022-04-01 2022-04-01 基于神经网络模型的地板缺陷检测方法 Withdrawn CN114494250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210338119.4A CN114494250A (zh) 2022-04-01 2022-04-01 基于神经网络模型的地板缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210338119.4A CN114494250A (zh) 2022-04-01 2022-04-01 基于神经网络模型的地板缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114494250A true CN114494250A (zh) 2022-05-13

Family

ID=81489021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210338119.4A Withdrawn CN114494250A (zh) 2022-04-01 2022-04-01 基于神经网络模型的地板缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114494250A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228672A (zh) * 2023-01-04 2023-06-06 哈尔滨岛田大鹏工业股份有限公司 一种基于形状特征的金属加工表面缺陷检测系统及检测方法
WO2024026932A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science And Technology Research Institute Co., Ltd Optimized Path Planning for Defect Inspection based on Effective Region Coverage

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
CN111814704A (zh) * 2020-07-14 2020-10-23 陕西师范大学 基于级联注意力与点监督机制的全卷积考场目标检测方法
CN112541483A (zh) * 2020-12-25 2021-03-23 三峡大学 Yolo和分块-融合策略结合的稠密人脸检测方法
CN113255659A (zh) * 2021-01-26 2021-08-13 南京邮电大学 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN113283395A (zh) * 2021-06-28 2021-08-20 西安科技大学 一种运煤皮带转接处堵塞异物的视频检测方法
CN113869413A (zh) * 2021-09-28 2021-12-31 南京荣新智能科技有限公司 一种中药饮片小包装目标检测识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
CN111814704A (zh) * 2020-07-14 2020-10-23 陕西师范大学 基于级联注意力与点监督机制的全卷积考场目标检测方法
CN112541483A (zh) * 2020-12-25 2021-03-23 三峡大学 Yolo和分块-融合策略结合的稠密人脸检测方法
CN113255659A (zh) * 2021-01-26 2021-08-13 南京邮电大学 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN113283395A (zh) * 2021-06-28 2021-08-20 西安科技大学 一种运煤皮带转接处堵塞异物的视频检测方法
CN113869413A (zh) * 2021-09-28 2021-12-31 南京荣新智能科技有限公司 一种中药饮片小包装目标检测识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024026932A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science And Technology Research Institute Co., Ltd Optimized Path Planning for Defect Inspection based on Effective Region Coverage
CN116228672A (zh) * 2023-01-04 2023-06-06 哈尔滨岛田大鹏工业股份有限公司 一种基于形状特征的金属加工表面缺陷检测系统及检测方法

Similar Documents

Publication Publication Date Title
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN109800631B (zh) 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN113192040A (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN114494250A (zh) 基于神经网络模型的地板缺陷检测方法
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN111260614A (zh) 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN114842019B (zh) 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN112200045A (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN108268865A (zh) 一种基于级联卷积网络的自然场景下车牌识别方法及系统
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN116168033B (zh) 基于深度学习的晶圆晶格位错图像检测方法及系统
CN115049619A (zh) 一种针对复杂场景的高效瑕疵检测方法
CN115375635A (zh) 一种晶圆缺陷的识别方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220513

WW01 Invention patent application withdrawn after publication