CN113763364B - 一种基于卷积神经网络的图像缺陷检测方法 - Google Patents

一种基于卷积神经网络的图像缺陷检测方法 Download PDF

Info

Publication number
CN113763364B
CN113763364B CN202111056024.5A CN202111056024A CN113763364B CN 113763364 B CN113763364 B CN 113763364B CN 202111056024 A CN202111056024 A CN 202111056024A CN 113763364 B CN113763364 B CN 113763364B
Authority
CN
China
Prior art keywords
layer
convolution
step length
module
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111056024.5A
Other languages
English (en)
Other versions
CN113763364A (zh
Inventor
杨利军
邓新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yonggu Precision Fixture Co ltd
Original Assignee
Shenzhen Yonggu Precision Fixture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yonggu Precision Fixture Co ltd filed Critical Shenzhen Yonggu Precision Fixture Co ltd
Priority to CN202111056024.5A priority Critical patent/CN113763364B/zh
Publication of CN113763364A publication Critical patent/CN113763364A/zh
Application granted granted Critical
Publication of CN113763364B publication Critical patent/CN113763364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于卷积神经网络的图像缺陷检测方法，目标检测技术领域，包括训练阶段和测试阶段；训练阶段：选取Q幅原始的缺陷检测图像及每幅原始的缺陷检测图像对应的真实检测分类图像构成训练集；构建卷积神经网络检测模型；将训练集中的每幅原始的RGB彩色图像进行数据增强，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的缺陷图像对应的缺陷图像的检测结果；测试阶段：取多幅原始的缺陷图像以及相应的真实检测图像作为测试集；将检测的缺陷图像输入到卷积神经网络检测模型中，得到待检测图像对应的边框回归坐标、目标分类结果和置信度大小。本发明能够比较准确地描述缺陷存在的位置，从而有效地提高了缺陷检测的精确度。

Description

一种基于卷积神经网络的图像缺陷检测方法
技术领域
本发明属于深度学习的目标检测技术领域，更具体的说是涉及一种基于卷积神经网络的图像缺陷检测方法。
背景技术
随着新一代信息技术与制造业的深入融合，引发制造业产生了巨大变革，逐步从数量扩增向质量提升转变。影响产品质量的因素多种多样，如产品存在变形等问题就会严重影响产品的价值。因此，产品图像缺陷的目标检测就异常重要。所谓目标检测，简单来讲就是检测图像中的对象是什么以及在哪里的问题，即“目标分类+定位”问题。
深度学习用于目标检测的算法从思路上来看，可以分为两大类，一类是两阶段检测方法，也就是把整个分为两部分，生成候选框和识别框内物体，它在检测准确率和定位精度上占优；另一类是单阶段检测方法，把整个流程统一在一起，直接给出检测结果，在算法速度上占优。前者作为特征提取器，给出图像不同大小、不同抽象层次的表示；后者则依据这些表示和监督信息学习类别和位置关联。检测头部负责的类别预测和位置回归两个任务常常是并行进行的，构成多任务的损失进行联合训练。其检测速度快，但在小物体目标检测任务上的效果却不太好。
因此，如何提供一种基于卷积神经网络的图像缺陷检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于卷积神经网络的图像缺陷检测方法，能够比较准确地描述缺陷存在的位置，从而有效地提高了缺陷检测的精确度。
为了实现上述目的，本发明采用如下技术方案：
一种基于卷积神经网络的图像缺陷检测方法，包括：训练阶段和测试阶段两个过程；
所述的训练阶段过程的步骤为：
步骤S11：选取Q幅原始的缺陷检测图像及每幅原始的缺陷检测图像对应的真实检测分类图像，并构成训练集；
步骤S12：构建卷积神经网络检测模型；
步骤S13：将训练集中的每幅原始的RGB彩色图像进行数据增强之后作为初始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的缺陷图像对应的缺陷图像的检测结果；
步骤S14：计算训练集中的每幅原始的缺陷图像对应的边框回归坐标、目标分类结果和置信度大小构成的集合与对应的真实边框回归坐标、目标分类结果和置信度大小构成的集合之间的损失函数值；
所述的测试阶段过程的步骤为：
步骤S21：取多幅原始的缺陷图像以及相应的真实检测图像作为测试集；
步骤S22：将检测的缺陷图像的R通道分量、G通道分量和B通道分量输入到卷积神经网络检测模型中，并利用已经训练好的网络权重进行预测，得到待检测图像对应的边框回归坐标、目标分类结果和置信度大小。
进一步的，卷积神经网络检测模型包括特征提取层，编码层和解码层和检测层四个部分；特征提取层包含6个模块，分别定义为头部卷积模块，第1个提取模块，第2个提取模块，第3个提取模块，第4个提取模块，第5个提取模块；对于编码层，包含2个模块，分别定义为基础编码模块和编码模块；解码层包含2个模块，分别定义为分类子网络模块和边界框子网络模块；检测层包含1个检测模块。
进一步的，头部卷积模块，由依次设置的第一卷积层，第一批量归一化层，第一激活层组成；其中第一卷积层采用卷积核大小为3，步长为1，边缘填充为1，卷积核个数为32；第一卷积层的输入端接收原始输入图像的RGB三通道分量，要求输入端接收的原始输入图像的宽度为W、高度为H；经过第一批量归一化层的归一化操作之后再经过第一激活层输出32幅输出特征图；将32副特征图构成的集合记为N1，其中每幅特征图的宽度为W、高度为H。
进一步的，第1个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为64；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；阶段模块，则由1个残差模块组成，残差模块的主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第2个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为128；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；阶段模块，由2个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；第二个残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第3个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为256；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为128，归一化层和激活层组成；阶段模块，则由8个残差模块组成，第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第4个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为512；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为256，归一化层和激活层组成；阶段模块，则由8个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第5个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，空洞系数为2，卷积核个数为1024；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为512，归一化层和激活层组成；阶段模块，则由4个残差模块组成，第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。
进一步的，基础编码模块，依次由第一卷积层，第一归一化层，第二卷积层，第二归一化层组成；对于第一卷积层，卷积核大小为1，步长为1，卷积核个数为512；对于第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512。
进一步的，编码模块，依次由第1个残差单元，第2个残差单元，第3个残差单元，第4个残差单元，第5个残差单元，第6个残差单元，第7个残差单元和第8个残差单元组成；对于第1个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；第2个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；第3个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为3，空洞系数为3，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第4个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为4，空洞系数为4，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第5个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为5，空洞系数为5，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第6个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为6，空洞系数为6，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第7个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为7，空洞系数为7，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第8个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为8，空洞系数为8，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成。
进一步的，分类子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层和分类得分模块组成；第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；分类得分模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为144。
进一步的，边界框子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层，第三卷积层，第三归一化层，第三激活层，第四卷积层，第四归一化层，第四激活层和边界框预测模块组成；第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；其他卷积层，参数与第一卷积层完全相同；边界框预测模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为24。
进一步的，检测模块，由一个卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为6。
本发明的有益效果在于：
(1)本发明方法构建卷积神经网络检测模型，使用训练集中的RGB图像输入到卷积神经网络中进行训练，得到卷积神经网络分类训练模型；再将待检测的图像输入到卷积神经网络分类训练模型中，预测得到缺陷检测图像，由于本发明方法在构建卷积神经网络时使用了新的特征提取方法，使网络可以更好的学习RGB信息，充分利用了特征的信息，因此能够比较准确地描述缺陷存在的位置，从而有效地提高了缺陷检测的精确度。
(2)本发明方法使用了新型的编码模块，有效的提高了缺陷检测的检测精度。
(3)本发明方法在解码部分使用了多级残差结构，进而在训练集和测试集上都获得了很好的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明方法的总体实现框图。
图2为头部卷积模块的实现框图。
图3为提取模块的实现框图。
图4为第i个提取模块中阶段模块的实现框图(1<＝i<＝8)。
图5为编码阶段基础编码模块的实现框图。
图6为编码阶段编码模块的实现框图。
图7为编码模块中第i个残差单元的实现框图(1<＝i<＝8)。
图8为解码阶段分类子网络模块的实现框图。
图9为解码阶段边界框子网络模块的实现框图。
图10a为第一幅原始的图像。
图10b为利用本发明方法对图10a所示的第一幅原始的图像进行检测，所得到的缺陷检测图像。
图11a为第二幅原始的图像。
图11b为利用本发明方法对图11a所示的第二幅原始的图像进行检测，所得到的缺陷检测图像。
图12a为第三幅原始的图像。
图12b为利用本发明方法对图12a所示的第三幅原始的图像进行检测，所得到的缺陷检测图像。
图13a为第四幅原始的图像。
图13b为利用本发明方法对图13a所示的第三幅原始的图像进行检测，所得到的缺陷检测图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的一种基于卷积神经网络的图像缺陷检测方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤S11：选取Q幅原始的缺陷检测图像及每幅原始的缺陷检测图像对应的真实检测分类图像，并构成训练集，将训练集中的第q幅原始的待检测缺陷图像的边框坐标、分类结果、置信度大小分别记为将训练集中与/>对应的真实目标检测图像的边框坐标、分类结果、置信度大小分别记为/>和/>其中，缺陷检测图像为RGB彩色图像，Q为正整数，Q≥10000，如取Q＝7718，q为正整数，1≤q≤Q，在此，原始的缺陷图像采用7718张不同的缺陷图像。
步骤S12：构建卷积神经网络：卷积神经网络包括特征提取层，编码层和解码层和检测层四个部分，参考附图1-9。
特征提取层包含6个模块，分别定义为头部卷积模块，第1个提取模块，第2个提取模块，第3个提取模块，第4个提取模块，第5个提取模块。对于编码层，包含2个模块，分别定义为基础编码模块和编码模块。解码层包含2个模块，分别定义为分类子网络模块和边界框子网络模块。检测层只包括一个检测模块。其中，要求特征提取层的输入端接收的原始输入图像的宽度为W、高度为H。
对于头部卷积模块，其由依次设置的第一卷积层(Convolution，Conv)，第一批量归一化层(BatchNorm)，第一激活层(Activation，Act)组成。其中第一卷积层采用卷积核(kernel_size)大小为3，步长(stride)为1，边缘填充(padding)为1，卷积核个数为32。基础卷积块的输入端接收原始输入图像的RGB三通道分量，要求输入端接收的原始输入图像的宽度为W、高度为H。经过第一批量归一化层的归一化操作之后再经过第一激活层(激活方式为Mish)输出32幅输出特征图。将32副特征图构成的集合记为N1，其中每幅特征图的宽度为W、高度为H。
对于第1个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成。对于基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为64；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；对于阶段模块，则由1个残差模块组成，对于残差模块的主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成，其捷径分支无其他操作，只是单纯的输入数据的流动。每个残差单元最后的操作都是主分支与捷径分支进行Add操作，然后得到输出；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。其中，部分转换模块一为第一个提取模块的分支结构，部分转换模块一的输入为基础模块的输出，部分转换模块一的输出与部分转换模块二的输出进行拼接操作，然后将所得到的特征作为融合转换模块的输入，最终输出64副特征图。将64副特征图构成的集合记为N2，其中每幅特征图的宽度为高度为/>
对于第2个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成。对于基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为128；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；对于阶段模块，则由2个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成，其捷径分支无其他操作，只是单纯的输入数据的流动。每个残差单元最后的操作都是主分支与捷径分支进行Add操作，然后得到输出。
对于第二个残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。其中，部分转换模块一为第一个提取模块的分支结构，部分转换模块一的输入为基础模块的输出，部分转换模块一的输出与部分转换模块二的输出进行拼接操作，然后将所得到的特征作为融合转换模块的输入，最终输出128副特征图。将128副特征图构成的集合记为N3，其中每幅特征图的宽度为高度为/>
对于第3个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成。对于基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为256；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为128，归一化层和激活层组成；对于阶段模块，则由8个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成，其捷径分支无其他操作，只是单纯的输入数据的流动。每个残差单元最后的操作都是主分支与捷径分支进行Add操作，然后得到输出。
对于其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。其中，部分转换模块一为第一个提取模块的分支结构，部分转换模块一的输入为基础模块的输出，部分转换模块一的输出与部分转换模块二的输出进行拼接操作，然后将所得到的特征作为融合转换模块的输入，最终输出256副特征图。将256副特征图构成的集合记为N4，其中每幅特征图的宽度为高度为/>
对于第4个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成。对于基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为512；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为256，归一化层和激活层组成；对于阶段模块，则由8个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成，其捷径分支无其他操作，只是单纯的输入数据的流动。每个残差单元最后的操作都是主分支与捷径分支进行Add操作，然后得到输出，对于其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。其中，部分转换模块一为第一个提取模块的分支结构，部分转换模块一的输入为基础模块的输出，部分转换模块一的输出与部分转换模块二的输出进行拼接操作，然后将所得到的特征作为融合转换模块的输入，最终输出512副特征图。将512副特征图构成的集合记为N5，其中每幅特征图的宽度为高度为/>
对于第5个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成。对于基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，空洞系数为2，卷积核个数为1024；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为512，归一化层和激活层组成；对于阶段模块，则由4个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，第二归一化层和第二激活层组成，其捷径分支无其他操作，只是单纯的输入数据的流动。每个残差单元最后的操作都是主分支与捷径分支进行Add操作，然后得到输出，对于其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成。其中，部分转换模块一为第一个提取模块的分支结构，部分转换模块一的输入为基础模块的输出，部分转换模块一的输出与部分转换模块二的输出进行拼接操作，然后将所得到的特征作为融合转换模块的输入，最终输出1024副特征图。将1024副特征图构成的集合记为N6，其中每幅特征图的宽度为高度为/>
对于基础编码模块，依次由第一卷积层，第一归一化层，第二卷积层，第二归一化层组成。对于第一卷积层，卷积核大小为1，步长为1，卷积核个数为512；对于第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512。编码基础模块的输入为第5个提取模块的输出，最终输出512副特征图。将512副特征图构成的集合记为N7，其中每幅特征图的宽度为高度为/>
对于编码模块，依次由第1个残差单元，第2个残差单元，第3个残差单元，第4个残差单元，第5个残差单元，第6个残差单元，第7个残差单元和第8个残差单元组成。对于第1个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为1，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第2个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第3个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为3，空洞系数为3，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第4个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为4，空洞系数为4，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第5个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为5，空洞系数为5，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第6个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为6，空洞系数为6，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第7个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为7，空洞系数为7，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。对于第8个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层(激活方式为LeakyReLU)，第二卷积层，卷积核为3，步长为1，填充系数为8，空洞系数为8，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；其捷径分支无其他操作，只是单纯的输入数据的流动，残差单元最后的操作是主分支与捷径分支进行Add操作，然后得到输出。编码模块的输入为编码基础模块的输出，最终输出512副特征图。将512副特征图构成的集合记为N8，其中每幅特征图的宽度为高度为/>
对于分类子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层和分类得分模块组成。对于第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；对于第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512。对于分类得分模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为144。
对于边界框子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层，第三卷积层，第三归一化层，第三激活层，第四卷积层，第四归一化层，第四激活层和边界框预测模块组成。对于第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；对于其他卷积层，参数与第一卷积层完全相同。对于边界框预测模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为24。
对于检测模块，由一个卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为6。将上述分类子网络模块的输出和边界框子网络模块的输出输入到检测模块，得到物体的边框回归坐标、目标分类结果以及置信度大小。
步骤S13：将训练集中的每幅原始的RGB彩色图像通过裁剪，明亮度，翻转等方式进行数据增强之后作为初始输入图像，批次大小为20。输入到卷积神经网络中进行训练，得到训练集中的每幅原始的缺陷图像对应的缺陷图像的检测结果，将对应的缺陷图像检测得到的边框回归坐标、目标分类结果和置信度大小分别记为Jpre1、Jpre2、Jpre3。
步骤S14：计算训练集中的每幅原始的缺陷图像对应的边框回归坐标、目标分类结果和置信度大小构成的集合与对应的真实边框回归坐标、目标分类结果和置信度大小构成的集合之间的损失函数值，将与/>之间的损失函数值记为/>采用二分类交叉熵(binary categorical crossentropy)获得，将/>与/>之间的损失函数值记为/> 采用二分类交叉熵获得，将/>与/>之间的损失函数值记为/>采用二分类交叉熵获得。
测试阶段过程的具体步骤为：
步骤S21：取8576幅原始的缺陷图像以及相应的真实检测图像作为测试集。令表示检测的缺陷图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示/>的宽度，H'表示/>的高度，/>表示/>中坐标位置为(i,j)的像素点的像素值。
步骤S22：将的R通道分量、G通道分量和B通道分量输入到卷积神经网络检测模型中，并利用已经训练好的网络权重进行预测，得到待检测图像对应的边框回归坐标、目标分类结果和置信度大小，分别记为/>其中/>表示Iq通过网络后的得到的预测的边框回归坐标，/>表示Iq通过网络后的得到的预测的目标分类结果，/>表示Iq通过网络后的得到的预测的置信度大小。
本发明其在训练阶段，构建卷积神经网络，其卷积神经网络由1个头部卷积模块，5个特征提取模块，1个基础编码模块，1个编码模块，1个分类子网络模块，1个边界框子网络模块和一检测模块组成；使用原始的缺陷图像输入到卷积神经网络中进行训练，得到原始输入图像对应的边框回归坐标、目标分类结果和置信度大小；再通过计算原始输入图像对应的边框回归坐标、目标分类结果和置信度大小构成的集合与对应的原始输入图像对应的真实边框回归坐标、真实目标分类结果和真实置信度大小构成的集合之间的损失函数值，从而获得卷积神经网络分类检测训练模型的最优权值矢量和偏置项；在测试阶段，将待检测的道缺陷图像输入到卷积神经网络分类训练模型中，得到缺陷检测预测图像；优点是提高了缺陷图像的检测效率和准确度。
为了进一步验证本发明方法的可行性和有效性，进行实验。
使用基于Python的深度学习库Pytorch搭建卷积神经网络的架构。采用自制的缺陷检测图像的测试集来分析利用本发明方法检测缺陷图像(取x幅道路场景图像)的效果如何。这里，利用评估目标检测方法的常用客观参量作为评价指标，即平均精度均值(mAP：mean average precision)来评价预测缺陷图像的检测性能。
利用本发明方法对测试集中的每幅缺陷图像进行检测，得到每幅缺陷图像对应的边框回归坐标、目标分类结果和置信度大小，反映本发明方法的目标检测效果的平均精度均值如表1所示。从表1所示的数据可知，按本发明方法得到的缺陷图像检测结果是较好的，表明利用本发明方法来检测缺陷图像是可行性且有效的。
/>
表1
图10a给出了同一场景的第1幅原始的缺陷图像，图10b给出了利用本发明方法对图10a所示的原始的缺陷图像进行检测，得到的缺陷分类图像；图11a给出了同一场景的第2幅原始的缺陷图像，图11b给出了利用本发明方法对图11a所示的原始的缺陷图像进行检测，得到的缺陷分类图像；图12a给出了同一场景的第3幅原始的缺陷图像，图12b给出了利用本发明方法对图12a所示的原始的缺陷图像进行检测，得到的缺陷分类图像；图13a给出了同一场景的第1幅原始的缺陷图像，图13b给出了利用本发明方法对图13a所示的原始的缺陷图像进行检测，得到的缺陷分类图像对比图10a和图10b，对比图11a和图11b，对比图12a和图12b，对比图13a和图13b，可以看出利用本发明方法得到的目标检测图像的精确率较高。

Claims (1)

1.一种基于卷积神经网络的图像缺陷检测方法，其特征在于，包括：训练阶段和测试阶段两个过程；
所述的训练阶段过程的步骤为：
步骤S11：选取Q幅原始的缺陷检测图像及每幅原始的缺陷检测图像对应的真实检测分类图像，并构成训练集；
步骤S12：构建卷积神经网络检测模型；
步骤S13：将训练集中的每幅原始的RGB彩色图像进行数据增强之后作为初始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的缺陷图像对应的缺陷图像的检测结果；
步骤S14：计算训练集中的每幅原始的缺陷图像对应的边框回归坐标、目标分类结果和置信度大小构成的集合与对应的真实边框回归坐标、目标分类结果和置信度大小构成的集合之间的损失函数值；
所述的测试阶段过程的步骤为：
步骤S21：取多幅原始的缺陷图像以及相应的真实检测图像作为测试集；
步骤S22：将检测的缺陷图像的R通道分量、G通道分量和B通道分量输入到卷积神经网络检测模型中，并利用已经训练好的网络权重进行预测，得到待检测图像对应的边框回归坐标、目标分类结果和置信度大小；
卷积神经网络检测模型包括特征提取层，编码层和解码层和检测层四个部分；特征提取层包含6个模块，分别定义为头部卷积模块，第1个提取模块，第2个提取模块，第3个提取模块，第4个提取模块，第5个提取模块；对于编码层，包含2个模块，分别定义为基础编码模块和编码模块；解码层包含2个模块，分别定义为分类子网络模块和边界框子网络模块；检测层包含1个检测模块；
头部卷积模块，由依次设置的第一卷积层，第一批量归一化层，第一激活层组成；其中第一卷积层采用卷积核大小为3，步长为1，边缘填充为1，卷积核个数为32；第一卷积层的输入端接收原始输入图像的RGB三通道分量，要求输入端接收的原始输入图像的宽度为W、高度为H；经过第一批量归一化层的归一化操作之后再经过第一激活层输出32幅输出特征图；将32副特征图构成的集合记为N1，其中每幅特征图的宽度为W、高度为H；
第1个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为64；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；阶段模块，则由1个残差模块组成，残差模块的主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第2个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为128；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为64，归一化层和激活层组成；阶段模块，由2个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；第二个残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；对于部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；对于融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第3个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为256；对于部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为128，归一化层和激活层组成；阶段模块，则由8个残差模块组成，第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第4个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，卷积核个数为512；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为256，归一化层和激活层组成；阶段模块，则由8个残差模块组成，对于第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
第5个提取模块，依次由基础模块，部分转换模块一，阶段模块，部分转换模块二，融合转换模块组成；基础模块依次由卷积层，归一化层和激活层组成，对于卷积层，卷积核大小为3×3，步长为2，填充系数为1，空洞系数为2，卷积核个数为1024；部分转换模块一，依次由卷积层，卷积核为1，步长为1，卷积核个数为512，归一化层和激活层组成；阶段模块，则由4个残差模块组成，第一个残差模块，主分支依次由下采样层，第一卷积层，卷积核为1，步长为1，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，第二归一化层和第二激活层组成；其他残差模块，与第一个残差模块相比没有下采样层，其他结构完全相同；部分转换模块二，依次由卷积层，卷积核为1，步长为1，归一化层和激活层组成；融合转换模块，依次由卷积层，卷积核大小为1，步长为1，归一化层，激活层组成；
基础编码模块，依次由第一卷积层，第一归一化层，第二卷积层，第二归一化层组成；对于第一卷积层，卷积核大小为1，步长为1，卷积核个数为512；对于第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；
编码模块，依次由第1个残差单元，第2个残差单元，第3个残差单元，第4个残差单元，第5个残差单元，第6个残差单元，第7个残差单元和第8个残差单元组成；对于第1个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为1，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；第2个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为2，空洞系数为2，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；第3个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为3，空洞系数为3，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第4个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为4，空洞系数为4，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第5个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为5，空洞系数为5，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第6个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为6，空洞系数为6，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第7个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为7，空洞系数为7，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；对于第8个残差单元，主分支依次由第一卷积层，卷积核为1，步长为1，卷积核个数为128，第一归一化层，第一激活层，第二卷积层，卷积核为3，步长为1，填充系数为8，空洞系数为8，卷积核个数为128，第二归一化层，第二激活层，第三卷积层，卷积核为1，步长为1，卷积核个数为512，第三归一化层，第三激活层组成；
分类子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层和分类得分模块组成；第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；第二卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；分类得分模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为144；
边界框子网络模块，依次由第一卷积层，第一归一化层，第一激活层，第二卷积层，第二归一化层，第二激活层，第三卷积层，第三归一化层，第三激活层，第四卷积层，第四归一化层，第四激活层和边界框预测模块组成；第一卷积层，卷积核大小为3，步长为1，填充系数为1，卷积核个数为512；其他卷积层，参数与第一卷积层完全相同；边界框预测模块，由卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为24；
检测模块，由一个卷积层组成，卷积核大小为3，步长为1，填充系数为1，卷积核个数为6。
CN202111056024.5A 2021-09-09 2021-09-09 一种基于卷积神经网络的图像缺陷检测方法 Active CN113763364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111056024.5A CN113763364B (zh) 2021-09-09 2021-09-09 一种基于卷积神经网络的图像缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111056024.5A CN113763364B (zh) 2021-09-09 2021-09-09 一种基于卷积神经网络的图像缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113763364A CN113763364A (zh) 2021-12-07
CN113763364B true CN113763364B (zh) 2024-04-12

Family

ID=78794428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111056024.5A Active CN113763364B (zh) 2021-09-09 2021-09-09 一种基于卷积神经网络的图像缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113763364B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581723A (zh) * 2022-05-06 2022-06-03 成都数之联科技股份有限公司 缺陷分类方法、装置、存储介质、设备及计算机程序产品
CN117011231B (zh) * 2023-06-27 2024-04-09 盐城工学院 一种基于改进YOLOv5的带钢表面缺陷检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190092299A (ko) * 2018-01-30 2019-08-07 연세대학교 원주산학협력단 딥러닝 기술을 통한 흉부 물질 분리 영상 획득 방법 및 시스템
CN110287969A (zh) * 2019-06-14 2019-09-27 大连理工大学 基于图残差注意力网络的摩尔文本图像二值化系统
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN112884033A (zh) * 2021-02-06 2021-06-01 浙江净禾智慧科技有限公司 一种基于卷积神经网络的生活垃圾分类检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190092299A (ko) * 2018-01-30 2019-08-07 연세대학교 원주산학협력단 딥러닝 기술을 통한 흉부 물질 분리 영상 획득 방법 및 시스템
CN110287969A (zh) * 2019-06-14 2019-09-27 大连理工大学 基于图残差注意力网络的摩尔文本图像二值化系统
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN112884033A (zh) * 2021-02-06 2021-06-01 浙江净禾智慧科技有限公司 一种基于卷积神经网络的生活垃圾分类检测方法

Also Published As

Publication number Publication date
CN113763364A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN112561910B (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN112750129B (zh) 一种基于特征增强位置注意力机制的图像语义分割模型
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN111209907A (zh) 一种复杂光污染环境下产品特征图像人工智能识别方法
CN114372968A (zh) 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN114723833A (zh) 一种基于改进yolov5的深度学习晶圆焊点检测方法
CN111709936A (zh) 一种基于多级特征比对的令纸缺陷检测方法
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN115272819A (zh) 一种基于改进Faster-RCNN的小目标检测方法
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
CN115272814B (zh) 一种远距离空间自适应多尺度的小目标检测方法
CN115170970B (zh) 一种用于检测城市街道景观破损的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant