CN114511503B - 一种自适应板材厚度的刨花板表面缺陷检测方法 - Google Patents
一种自适应板材厚度的刨花板表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114511503B CN114511503B CN202111680878.0A CN202111680878A CN114511503B CN 114511503 B CN114511503 B CN 114511503B CN 202111680878 A CN202111680878 A CN 202111680878A CN 114511503 B CN114511503 B CN 114511503B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- training
- thickness
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 239000002245 particle Substances 0.000 title claims description 15
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 230000002787 reinforcement Effects 0.000 claims description 11
- 239000003623 enhancer Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 239000000428 dust Substances 0.000 claims description 3
- 239000003292 glue Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000011093 chipboard Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种自适应板材厚度的刨花板表面缺陷检测方法，包括以下步骤：（1）数据集制作；（2）构建自适应板材厚度的多任务网络；所述多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；（3）构建多任务网络损失函数；（4）模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的厚度分类网络损失函数进行监督训练，训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；（5）模型推理。本发明通过图像增强、实例分割与分类任务结合的多任务学习方式进行特征互补训练，以适应不同板材厚度的图像，提高特征可靠性，提升训练收敛稳定性，最终提升缺陷检测准确率。
Description
技术领域
本发明涉及刨花板表面缺陷检测的技术领域，更具体地，涉及一种自适应板材厚度的刨花板表面缺陷检测方法。
背景技术
刨花板表面缺陷是刨花板质量的重要影响因素，随着机械自动化的发展，刨花板表面缺陷检测系统对于刨花板品质把控、生产线效率提升具有重要价值。
生产线上刨花板速度达1.5～2m/s，刨花板表面缺陷检测系统通常采用线阵相机与线性光源配合完成缺陷图像采集。刨花板规格与客户需求有关，不同客户对于板材长度、宽度、厚度都有不同要求，但线阵相机与线性光源的配置参数均固定，不同厚度的刨花板图像亮度差别较大，较暗或过曝图像将影响缺陷检测效果。
常见的做法是在模型训练阶段对图像进行增强，增加或减少亮度，让模型适应不同的亮度变化，但此做法训练样本变化较小，导致模型泛化能力没有明显提升；基于生成对抗网络生成仿真图像的方式可提升训练样本丰富性，但生成样本的特征空间在现有样本周围，且容易生成歧义图像，改变缺陷类别语义，导致训练不收敛。
发明内容
本发明针对现有技术不足，提供一种自适应板材厚度的刨花板表面缺陷检测方法，利用图像增强网络自主学习增强参数，将增强参数应用于原始图像得到增强图像，对增强图像进行实例分割得到分割结果；对原始图像与增强图像进行拼接，得到拼接图像，利用厚度分类网络进行不同板材厚度的分类，通过图像增强、实例分割与分类任务结合的多任务学习方式进行特征互补训练，以适应不同板材厚度的图像，提高特征可靠性，提升训练收敛稳定性，最终提升缺陷检测准确率。
一种自适应板材厚度的刨花板表面缺陷检测方法，包括以下步骤：
(1)数据集制作：收集海量刨花板表面缺陷的图片，设定缺陷类别；将所有图片按一定比例划分为训练集、验证集与测试集；将训练集和验证集的图片裁剪成若干个指定尺寸的分块图像；对分块图片依据缺陷类别进行语义分割标注；
(2)构建自适应板材厚度的多任务网络；所述多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；
所述输入模块用于将输入的分块图像的每个像素除以255得到[0,1]归一化后的输入图像，且输入图像中每个像素值设为p；
所述图像增强模块用于通过图像增强法对输入图像进行自适应图像增强；所述图像增强法包括以下子步骤：
增强学习子步骤，通过图像增强网络进行学习获得增强参数；
图像增强子步骤，将增强参数应用于输入图像形成增强公式，将p带入增强公式后获得增强后的像素值p′；
图像拼接子步骤，将p与p′按通道维度，依据拼接得到拼接图像
所述实例分割模块采用网络结构为ResNet-50的Mask R-CNN算法，用于对图像增强子步骤获得的像素值p′进行特征提取，由Mask R-CNN的检测框分支输出得到每个缺陷的矩形框，分类分支输出得到每个缺陷的类别，掩码分支输出得到每个缺陷的掩码，每个缺陷的实例分割结果包含矩形框、类别以及对应的掩码；
厚度分类网络采用ResNet-18网络，用于对输入图像的板材厚度进行分类，将拼接图像输入至ResNet-18网络进行推理，对ResNet-18网络最后一层的输出特征进行softmax归一化，得到每个厚度类别的可信度，选取可信度最高的类别作为该图像的板材厚度类别；
(3)构建多任务网络损失函数：通过交叉熵损失函数及Mask R-CNN的3个损失函数之和作为多任务网络损失函数；
(4)模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的多任务网络损失函数进行监督训练，训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；
(5)模型推理：将步骤(4)中训练好的模型参数加载至步骤(2)的多任务网络，并将步骤(1)中测试集的刨花板表面缺陷图片进行滑窗裁剪成指定尺寸的分块图片，将分块图片依次输入至多任务网络进行推理，得到每个分块图片的输出结果，最后将每个分块图片的输出结果合并成整块结果。
特别的，所述步骤(1)中，指定尺寸为800x800x1。
特别的，所述缺陷类别包含大刨花、划痕、砂穿、粉尘斑、鼓泡、胶斑、裂缝、乌云斑、油污、缺边、缺角、凹坑。
特别的，所述步骤(2)中，增强学习子步骤的具体方法为：采用图像增强网络是最后一层维度为1的ResNet-18网络，通过以下公式计算出增强参数：
其中，图像增强网络最后一层特征为t，将t传入激活函数tanh(t)进行范围约束，得到增强参数α，且-1＜α＜1。
特别的，所述步骤(2)中，图像增强子步骤的具体方法为：将通过增强学习子步骤学习到的增强参数α应用于输入图像，通过以下公式获得增强后的像素值p′：
p′＝-αp2+(α+1)p；
其中，p表示输入图像的单个像素值，0≤p≤1；p′表示对应的增强后的像素值，0≤p′≤1。
特别的，所述步骤(2)中，图像拼接子步骤的具体方法为：将p与p′按通道维度拼接依据以下公式得到拼接图像
其中，p表示输入图像的单个像素值，0≤p≤1；p′表示对应的增强后的像素值，0≤p′≤1；表示p与p′按通道维度拼接后的图像，/>
特别的，所述厚度类别为8mm、10mm、12mm、28mm、30mm、35mm。
特别的，所述交叉熵损失函数为
其中，Lthickness表示厚度分类网络损失函数，K表示类别数，qk表示对厚度类别经过one-hot编码的分类标签，qk∈{0,1}；当k为输入图像的真实厚度类别时，qk＝1，否则qk＝0；pk表示识别为类别k的概率，且0＜pk＜1；
则通过交叉熵损失函数构成的厚度分类网络损失函数为
L＝Lthickness+Lcis+Lbox+Lmask；
其中，L为多任务损失，Lcls为缺陷分类损失函数，Lbox为缺陷矩形框损失函数，Lmask为掩码损失函数；Lcls、Lbox、Lmask为Mask R-CNN的3个损失函数。
特别的，所述步骤(4)中，采用步骤(3)中的厚度分类网络损失函数进行监督训练的具体方法为使用SGD优化器，图像增强模块在训练初期不稳定，采用warmup学习率调整策略进行模型训练，在训练初期以较低学习率进行训练，使网络逐渐适应输入的训练集数据，在训练过程中逐渐增大学习率，学习率增大到设定的基准学习率之后就从基准学习率开始正常训练，基准学习率设置为0.01。
与现有技术相比，本发明所具有的有益效果为：
本发明与现有刨花板表面缺陷检测做法相比，利用图像增强网络自主学习增强参数，将增强参数应用于原始图像得到增强图像，对增强图像进行实例分割得到分割结果；对原始图像与增强图像进行拼接，得到拼接图像，利用厚度分类网络进行不同板材厚度的分类，通过图像增强、实例分割与分类任务结合的多任务学习方式进行特征互补训练，以适应不同板材厚度的图像，提高特征可靠性，提升训练收敛稳定性，最终提升缺陷检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的缺陷检测方法流程图。
图2为本发明实施例的多任务网络的结构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，本实施例的一种自适应板材厚度的刨花板表面缺陷检测方法，包括以下步骤：
(1)数据集制作：收集海量刨花板表面缺陷的图片，设定缺陷类别；将图片裁剪成若干个尺寸为800x800x1的分块图像；对分块图片依据缺陷类别进行语义分割标注，将分块图片按一定的比例划分训练集、验证集与测试集。缺陷类别包含大刨花、划痕、砂穿、粉尘斑、鼓泡、胶斑、裂缝、乌云斑、油污、缺边、缺角、凹坑。
(2)构建自适应板材厚度的多任务网络；如图2所示，多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；
输入模块用于将输入的分块图像的每个像素除以255得到[0,1]归一化后的输入图像，且输入图像中每个像素值设为p；
图像增强模块用于通过图像增强法对输入图像进行自适应图像增强。图像增强法包括以下子步骤：
增强学习子步骤，通过图像增强网络进行学习获得增强参数；增强学习子步骤的具体方法为：采用图像增强网络是最后一层维度为1的ResNet-18网络，通过以下公式计算出增强参数：
其中，图像增强网络最后一层特征为t，将t传入激活函数tanh(t)进行范围约束，得到增强参数α，且-1＜α＜1。
图像增强子步骤，将增强参数应用于输入图像形成增强公式，将p带入增强公式后获得增强后的像素值p′；图像增强子步骤的具体方法为：将通过增强学习子步骤学习到的增强参数α应用于输入图像，通过以下公式获得增强后的像素值p′：
p′＝-αp2+(α+1)p ；
其中，p表示输入图像的单个像素值，0≤p≤1；p′表示对应的增强后的像素值，0≤p′≤1。
图像拼接子步骤，将p与p′按通道维度，依据拼接得到拼接图像图像拼接子步骤的具体方法为：将p与p′按通道维度拼接依据以下公式得到拼接图像/>
其中，p表示输入图像的单个像素值，0≤p≤1；p′表示对应的增强后的像素值，0≤p′≤1；表示p与p′按通道维度拼接后的图像，/>
实例分割模块采用网络结构为ResNet-50的Mask R-CNN算法，用于对图像增强子步骤获得的像素值p′进行特征提取，
由Mask R-CNN的检测框分支输出得到每个缺陷的矩形框，分类分支输出得到每个缺陷的类别，掩码分支输出得到每个缺陷的掩码，每个缺陷的实例分割结果包含矩形框、类别以及对应的掩码；
厚度分类网络采用ResNet-18网络，用于对输入图像的板材厚度进行分类，通过拼接图像最终得到每张图像的板材厚度分类；厚度类别为8mm、10mm、12mm、28mm、30mm、35mm。
(3)构建厚度分类网络损失函数：通过交叉熵损失函数及Mask R-CNN的3个损失函数之和作为厚度分类网络损失函数。交叉熵损失函数为
其中，Lthickness表示厚度分类网络损失函数，K表示厚度类别数，K＝6，qk表示对厚度类别经过one-hot编码的分类标签，qk∈{0,1}；当k为输入图像的真实厚度类别时，qk＝1，否则qk＝0；pk表示识别为类别k的概率，且0＜pk＜1；
则通过交叉熵损失函数构成的多任务损失函数为
L＝Lthickness+Leis+Lbox+Lmask；
其中，L为多任务损失函数，Lcls为缺陷分类损失，Lbox为缺陷矩形框损失，Lmask为掩码损失；Lcls、Lbox、LmaskMask R-CNN的3个损失函数。
(4)模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的厚度分类网络损失函数进行监督训练。本实施例厚度分类网络损失函数进行监督训练的具体方法为使用SGD优化器，图像增强模块在训练初期不稳定，采用warmup学习率调整策略进行模型训练，在训练初期以较低学习率进行训练，使网络逐渐适应输入的训练集数据，在训练过程中逐渐增大学习率，学习率增大到设定的基准学习率之后就从基准学习率开始正常训练，基准学习率设置为0.01。训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；
(5)模型推理：将步骤(4)中训练好的模型参数加载至步骤(2)的多任务网络，并将步骤(1)中测试集的刨花板表面缺陷图片进行滑窗裁剪成指定尺寸的分块图片，将分块图片依次输入至多任务网络进行推理，得到每个分块图片的输出结果，最后将每个分块图片的输出结果合并成整块结果。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。
Claims (7)
1.一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：包括以下步骤：
(1)数据集制作：收集海量刨花板表面缺陷的图片，设定缺陷类别；将所有图片按一定比例划分为训练集、验证集与测试集；将训练集和验证集的图片裁剪成若干个指定尺寸的分块图像；对分块图片依据缺陷类别进行语义分割标注；
(2)构建自适应板材厚度的多任务网络；所述多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；
所述输入模块用于将输入的分块图像的每个像素除以255得到[0,1]归一化后的输入图像，且输入图像中每个像素值设为p；
所述图像增强模块用于通过图像增强法对输入图像进行自适应图像增强；所述图像增强法包括以下子步骤：
增强学习子步骤，通过图像增强网络进行学习获得增强参数；
图像增强子步骤，将增强参数应用于输入图像形成增强公式，将p带入增强公式后获得增强后的像素值p'；
图像拼接子步骤，将p与p'按通道维度，依据拼接得到拼接图像
所述实例分割模块采用网络结构为ResNet-50的MaskR-CNN算法，用于对图像增强子步骤获得的像素值p'进行特征提取，由MaskR-CNN的检测框分支输出得到每个缺陷的矩形框，分类分支输出得到每个缺陷的类别，掩码分支输出得到每个缺陷的掩码，每个缺陷的实例分割结果包含矩形框、类别以及对应的掩码；
厚度分类网络采用ResNet-18网络，用于对输入图像的板材厚度进行分类，将拼接图像输入至ResNet-18网络进行推理，对ResNet-18网络最后一层的输出特征进行softmax归一化，得到每个厚度类别的可信度，选取可信度最高的类别作为该图像的板材厚度类别；
(3)构建多任务网络损失函数：通过交叉熵损失函数及Mask R-CNN的3个损失函数之和作为多任务网络损失函数；
(4)模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的多任务网络损失函数进行监督训练，训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；
(5)模型推理：将步骤(4)中训练好的模型参数加载至步骤(2)的多任务网络，并将步骤(1)中测试集的刨花板表面缺陷图片进行滑窗裁剪成指定尺寸的分块图片，将分块图片依次输入至多任务网络进行推理，得到每个分块图片的输出结果，最后将每个分块图片的输出结果合并成整块结果；
所述步骤(2)中，增强学习子步骤的具体方法为：采用图像增强网络是最后一层维度为1的ResNet-18网络，通过以下公式计算出增强参数：
其中，图像增强网络最后一层特征为t，将t传入激活函数tanh(t)进行范围约束，得到增强参数α，且-1<α<1；
所述步骤(2)中，图像增强子步骤的具体方法为：将通过增强学习子步骤学习到的增强参数α应用于输入图像，通过以下公式获得增强后的像素值p'：
p'＝-αp2+(α+1)p；
其中，p表示输入图像的单个像素值，0≤p≤1；p'表示对应的增强后的像素值，0≤p'≤1。
2.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述步骤(1)中，指定尺寸为800x800x1。
3.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述缺陷类别包含大刨花、划痕、砂穿、粉尘斑、鼓泡、胶斑、裂缝、乌云斑、油污、缺边、缺角、凹坑。
4.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述步骤(2)中，图像拼接子步骤的具体方法为：将p与p'按通道维度拼接依据以下公式得到拼接图像
其中，p表示输入图像的单个像素值，0≤p≤1；p'表示对应的增强后的像素值，0≤p'≤1；表示p与p'按通道维度拼接后的图像，/>
5.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述厚度类别为8mm、10mm、12mm、28mm、30mm、35mm。
6.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述交叉熵损失函数为
其中，Lthickness表示厚度分类网络损失函数，K表示类别数，qk表示对厚度类别经过one-hot编码后的标签，qk∈{0,1}，当k为输入图像的真实厚度类别时，qk＝1，否则qk＝0；pk表示识别为类别k的概率，且0<pk<1；
则通过交叉熵损失函数构成的多任务损失函数为
L＝Lthickness+Lcls+Lbox+Lmask；
其中，L为多任务损失函数，Lcls为缺陷分类损失函数，Lbox为缺陷矩形框损失函数，Lmask为掩码损失函数；Lcls、Lbox、Lmask为Mask R-CNN的3个损失函数。
7.根据权利要求1所述的一种自适应板材厚度的刨花板表面缺陷检测方法，其特征在于：所述步骤(4)中，采用步骤(3)中的厚度分类网络损失函数进行监督训练的具体方法为使用SGD优化器，图像增强模块在训练初期不稳定，采用warmup学习率调整策略进行模型训练，在训练初期以较低学习率进行训练，使网络逐渐适应输入的训练集数据，在训练过程中逐渐增大学习率，学习率增大到设定的基准学习率之后就从基准学习率开始正常训练，基准学习率设置为0.01。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680878.0A CN114511503B (zh) | 2021-12-30 | 2021-12-30 | 一种自适应板材厚度的刨花板表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680878.0A CN114511503B (zh) | 2021-12-30 | 2021-12-30 | 一种自适应板材厚度的刨花板表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511503A CN114511503A (zh) | 2022-05-17 |
| CN114511503B true CN114511503B (zh) | 2024-05-17 |
Family
ID=81548262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111680878.0A Active CN114511503B (zh) | 2021-12-30 | 2021-12-30 | 一种自适应板材厚度的刨花板表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511503B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095231A (zh) * | 2023-09-04 | 2023-11-21 | 中兴协力(山东)数字科技集团有限公司 | 一种两阶段基于功能模块的图像多任务处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN111339882A (zh) * | 2020-02-19 | 2020-06-26 | 山东大学 | 基于实例分割的输电线路隐患检测方法 |
| CN111986170A (zh) * | 2020-08-14 | 2020-11-24 | 湖南理工学院 | 一种基于深度神经网络Mask R-CNN的缺陷检测算法 |
| CN112113978A (zh) * | 2020-09-22 | 2020-12-22 | 成都国铁电气设备有限公司 | 一种基于深度学习的车载隧道缺陷在线检测系统及方法 |
| WO2021135302A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN113112501A (zh) * | 2021-05-11 | 2021-07-13 | 上海市东方海事工程技术有限公司 | 一种基于深度学习的车载轨道巡检装置及方法 |
| WO2021232149A1 (en) * | 2020-05-22 | 2021-11-25 | Nidec-Read Corporation | Method and system for training inspection equipment for automatic defect classification |
-
2021
- 2021-12-30 CN CN202111680878.0A patent/CN114511503B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| WO2021135302A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN111339882A (zh) * | 2020-02-19 | 2020-06-26 | 山东大学 | 基于实例分割的输电线路隐患检测方法 |
| WO2021232149A1 (en) * | 2020-05-22 | 2021-11-25 | Nidec-Read Corporation | Method and system for training inspection equipment for automatic defect classification |
| CN111986170A (zh) * | 2020-08-14 | 2020-11-24 | 湖南理工学院 | 一种基于深度神经网络Mask R-CNN的缺陷检测算法 |
| CN112113978A (zh) * | 2020-09-22 | 2020-12-22 | 成都国铁电气设备有限公司 | 一种基于深度学习的车载隧道缺陷在线检测系统及方法 |
| CN113112501A (zh) * | 2021-05-11 | 2021-07-13 | 上海市东方海事工程技术有限公司 | 一种基于深度学习的车载轨道巡检装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511503A (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN111553929A (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN111583198A (zh) | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 | |
| CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN115829999A (zh) | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN112084859B (zh) | 一种基于稠密边界块和注意力机制的建筑物分割方法 | |
| CN114757938B (zh) | 一种变压器漏油识别方法和系统 | |
| CN114511503B (zh) | 一种自适应板材厚度的刨花板表面缺陷检测方法 | |
| CN112801182B (zh) | 一种基于困难样本感知的rgbt目标跟踪方法 | |
| CN111209907A (zh) | 一种复杂光污染环境下产品特征图像人工智能识别方法 | |
| CN116563230A (zh) | 焊缝缺陷识别方法及系统 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN115205363A (zh) | 基于改进ResNet网络的传送带实时判空检测方法与系统 | |
| CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
| CN113870236A (zh) | 一种基于深度学习算法的复合材料缺陷无损探伤方法 | |
| CN115587964A (zh) | 一种基于熵筛选的伪标签交叉一致性变化检测方法 | |
| CN114913132A (zh) | 一种基于卷积神经网络的汽车电镀件缺陷检测方法 | |
| CN117593264A (zh) | 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法 | |
| CN117252839A (zh) | 基于改进YOLO-v7模型的纤维预浸料缺陷检测方法及系统 | |
| CN116385293A (zh) | 基于卷积神经网络的雾天自适应目标检测方法 | |
| CN116542962A (zh) | 一种基于改进Yolov5m模型光伏电池缺陷检测方法 | |
| CN117132551A (zh) | 一种双输入特征差分的复杂花纹瓷砖表面检测方法 | |
| CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
| CN114862724A (zh) | 一种基于指数移动平均知识蒸馏的对比式图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |