CN113052834A - 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 - Google Patents

一种基于卷积神经网络多尺度特征的管道缺陷检测方法 Download PDF

Info

Publication number
CN113052834A
CN113052834A CN202110424184.4A CN202110424184A CN113052834A CN 113052834 A CN113052834 A CN 113052834A CN 202110424184 A CN202110424184 A CN 202110424184A CN 113052834 A CN113052834 A CN 113052834A
Authority
CN
China
Prior art keywords
network
constructing
loss
scale
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110424184.4A
Other languages
English (en)
Other versions
CN113052834B (zh
Inventor
郝昕源
张德华
梁惠清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Longzhi Electromechanical Technology Co ltd
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110424184.4A priority Critical patent/CN113052834B/zh
Publication of CN113052834A publication Critical patent/CN113052834A/zh
Application granted granted Critical
Publication of CN113052834B publication Critical patent/CN113052834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络多尺度特征的管道缺陷检测方法，属于缺陷检测技术领域，包括以下步骤：S1：构建网络的输入端部分；S2：构建网络的主干网络部分；S3：构建网络的多尺度融合特征金字塔部分；S4：构建网络的损失函数；S5：构建网络的输出预测部分；S6：使用数据集对构建网络进行训练得到优先网络权重；S7：使用训练完成的检测网络来执行管道内缺陷图片检测的任务。将卷积神经网络作为缺陷检测的主要方法，实现检测过程的智能化以及实时性。

Description

一种基于卷积神经网络多尺度特征的管道缺陷检测方法
技术领域
本发明涉及缺陷检测技术领域，特别涉及一种基于卷积神经网络多尺度特征的管道缺陷检测方法。
背景技术
管道运输不仅是一个国家国民经济综合运输的重要组成部分，也是衡量这个国家运输业和能源是否发达的特征之一。由于受自然条件，运输介质以及人为破坏等因素的影响，管道极易出现腐蚀，裂纹等损伤问题，因此定期对管路进行检查就显得十分重要了。
缺陷检测方法的最终目的是获取目标缺陷的类别和位置。早期的传统方法是使用不同方法提取手工特征，例如HOG(Histogram of Or iented Gradient，方向梯度直方图)和LBP(Local Binary Pattern，局部二值模式)，然后利用滑窗法获取目标的大致位置，最后基于这些区域使用分类器进行分类，如SVM(Support Vector Machine，支持向量机)。此类的方法所执行的并不是完整的缺陷检测，由于它们所获得的只是缺陷的大致位置，而且方法的选择过于主观，检测结果主要取決于手工特征的选择。CNN(Convolutional NeuralNetworks，卷积神经网络)以自动特征学习和端到端高性能分类能力引起了人们的高度关注。CNN首先被应用于手写字符识别，后来扩展到其他应用，如对象识别，人脸检测，图像分类，语音识别等等。经过几年的发展，深度学习在机器视觉领域发展迅速，且大量方法在工程应用领域得到较好的结果。目前主流的机器视觉技术在管道内壁缺陷检测领域的应用大致分为两个步骤：(1)使用机器人携带工业摄像机采集图像，并进行预处理。(2)选择适当的分类器提取图像特征并进行分类。由于在实际环境中，管道内壁缺陷存在不连续、缺陷尺度变化大等特点，导致目前的分类器算法检测精度不能达到理想效果。另外，部分得到图像后，由于不同角度得到的图像的光源情况不同，目前算法在分离研究区域与背景这一块仍存在较大困难，即无法很好解决小目标检测，且训练得到的分类器常面临检测速度慢、识别精度低等问题，距实现精准的、实时处理的工业应用目标有一定的差距。
发明内容
本发明的目的在于提供一种基于卷积神经网络多尺度特征的管道缺陷检测方法，将卷积神经网络作为缺陷检测的主要方法，以实现检测过程的智能化以及实时性，具有重要的应用价值，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于卷积神经网络多尺度特征的管道缺陷检测方法，包括以下步骤：
S1：构建网络的输入端部分；
S2：构建网络的主干特征提取网络部分，所述主干特征提取网络主要由CSPDarkNet53网络与DenseNet(Densely Connected Convolutional Networks，密集连接型卷积网络)网络融合构成；
S3：构建网络的多尺度融合特征金字塔部分，并与主干网络部分进行连接融合，为了更好地提取特征融合特征，使用特征金字塔对图片进一步的提取特征；
S4：构建网络的损失函数，目标检测的损失函数包含三部分：回归损失、置信度损失和分类损失；
S5：构建网络的输出预测部分，在经过上述主干网络与多尺度融合特征金字塔结构后，对特征层进行卷积操作，最后得到特征层的预测结果，将其进行解码操作得到相关锚框的坐标与置信度分数，设置置信度阈值后进行锚框的挑选任务；
S6：使用数据集对构建网络进行训练得到优先网络权重，即设置网络的训练参数，并使用数据集进行训练；
S7：使用训练完成的检测网络来执行管道内缺陷图片检测的任务，将管道缺陷图片输入本网络进行预测验证，得出缺陷的类别、置信度分数与锚框。
进一步地，构建网络的输入端部分包括以下步骤：
S101：在训练阶段使用Mosaic数据增强，随机选取数据集中的4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，使用拼接后的图片进行训练；
S102：在训练阶段加入自适应锚框计算方法，将锚框的计算部分整合进网络之中；
S103：在测试阶段使用自适应图片缩放，指的是抛弃以往图片原本的尺寸和比例，全部转换为相同的尺寸大小的图片，并使用黑色像素块填充缺失区域，使用计算缩放比例的方式、自适应的调整图片大小。
进一步地，构建网络的主干网络部分包括以下步骤：
S201：图像进入网络后首先进入focus结构，将输入的图片进行切片操作；
S202：构建卷积块模块，卷积块由卷积、BN正则化、激活三种操作组成的；
S203：构建主干网络的主体部分，主干网络的主体部分由4个CSP结构与2个DenseBlock(Densely Connected Block，密集连接块)构成。
进一步地，构建卷积块模块中卷积块的激活函数采用Mish激活函数和Leaky Relu激活函数。
进一步地，构建主干网络的主体部分中4个CSP结构依次为CSP_2、CSP_8、CSP_8、CSP_4。
进一步地，构建主干网络的主体部分中每个DenseBlock均由4个密集卷积层构成，每个密集卷积层包含2个卷积块结构，其中每个密集卷积层都与另外3个密集卷积层相连。
进一步地，构建网络的多尺度融合特征金字塔部分包括以下步骤：
S301：构建SPP模块，首先将输入进来的图片经过3个卷积块模块，其次使用padding方式进行最大池化，再将4种尺度的特征图进行堆叠；
S302：构建多尺度特征金字塔模块，并与主干网络连接。
进一步地，特征金字塔模块共有3个分支，定义为b1、b2、b3。
进一步地，所述构建网络的损失函数包括以下步骤：
S401：构建location_loss部分，location_loss部分需要进行由网络预测得到的锚框与真实锚框的对比操作，使用CIoU(Complete Intersection over Union，完整交并比)损失函数进行回归损失的评价；
S402：构建confidence_loss部分，confidence_loss代表网络的置信度分数损失；
S403：构建class_loss部分，class_loss代表分类损失。
进一步地，S6中网络的训练参数包括学习率、输入图片大小、CUDA、初始化权重、数据增强方法、batch_size、epoch。
与现有技术相比，本发明的有益效果是：
1、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，采用Mosaic数据增强方法随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。
2、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，采用自适应图片缩放，对原始图像自适应的添加最少的填充区域，减少了计算量，提高了模型预测时的速度。
3、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，网络结构采用了focus结构，focus结构可以得到没有信息丢失情况下的二倍下采样特征图，相对于使用卷积的下采样操作减少了计算量,加快了模型的检测速度。
4、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，网络主干网络采用CSPDarknet53网络与DenseNet网络相融合的结构，CSPDarknet53网络增强了卷积神经网络的学习能力，使得在轻量化的同时保持准确性，降低了计算瓶颈，并且降低了内存成本；且网络模型融合使用了DenseNet网络中密集连接块的结构，使得网络可以在预测前接收由密集连接块输出的多层卷积特征，从而提高特征的重用性和融合性。
5、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，网络采用SPP模块的方式，有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征。
6、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，网络采用了结合FPN(Feature Pyramid Networks，特征金字塔网络)结构与PAN(PathAggregation Network，路径聚合网络)结构的多尺度融合特征金字塔结构，FPN结构自顶层向底层传达强语义特征，PAN自底层向顶层传达强定位特征，从不同的主干层对不同的检测层进行特征聚合，极大地提高了特征提取的能力。
7、本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，采用的CIoU损失函数在DIoU(Distance Intersection over Union，距离交并比)损失函数与GIoU(Generalized Intersection over Union，广义交并比)损失函数的基础上，综合考虑了真实锚框与预测锚框的重叠面积、中心点距离与长宽比，进一步的提高预测框回归的速度和精度。
附图说明
图1为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法流程图；
图2为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中网络整体结构图；
图3为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中切片操作流程图；
图4为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中卷积块结构图；
图5为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中CSP模块结构图；
图6为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中残差组件结构图；
图7为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中DenseBlock结构图；
图8为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中SPP模块结构图；
图9为本发明的基于卷积神经网络多尺度特征的管道缺陷检测方法中结合了FPN结构与PAN结构的多尺度融合特征金字塔结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1至图2，一种基于卷积神经网络多尺度特征的管道缺陷检测方法，包括以下步骤：
S1：构建网络的输入端部分；
S2：构建网络的主干特征提取网络部分，所述主干特征提取网络主要由CSPDarkNet53网络与DenseNet网络融合构成；
S3：构建网络的多尺度融合特征金字塔部分，并与主干网络部分进行连接融合，为了更好地提取特征融合特征，使用特征金字塔对图片进一步的提取特征，此部分网络主要由上述卷积块、SPP模块，FPN结构与PAN结构构成；
S4：构建网络的损失函数，目标检测的损失函数包含三部分：回归损失、置信度损失和分类损失，用公式表示为：
Loss＝location_loss+confidence_loss+class_loss
S5：构建网络的输出预测部分，在经过上述主干网络与多尺度融合特征金字塔结构后，对由b1、b2、b3三个分支组成的3种特征层分别进行1次卷积核大小为3*3与1*1的卷积操作，最后得到了3个特征层的预测结果，将其进行解码操作得到相关锚框的坐标与置信度分数，设置置信度阈值后进行锚框的挑选任务，使用融入了DIoU方法的NMS(non maximumsuppression，非极大抑制)进行预测框的筛选；
其步骤为：假设有N个框，每个框被分类器计算得到的分数为Si，1<＝i<＝N，此时非极大抑制的算法步骤为：
(1)建造一个存放待处理候选框的集合H，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集；
(2)将所有集合H中的框进行排序，选出分数最高的框m，从集合H移到集合M；
(3)遍历集合H中的框，分别与框m计算DIoU损失，如果高于某个阈值(一般为0～0.5)，则认为此框与m重叠，将此框从集合H中去除；
(4)回到第2步进行迭代，直到集合H为空，集合M中的框为我们所需；
S6：使用数据集对构建网络进行训练得到优先网络权重，即设置网络的训练参数，并使用数据集进行训练，其中，网络的训练超参数，包括学习率、迭代次数、输入图片大小、CUDA、初始化权重、数据增强方法、batch_size(一次训练所选取的样本数)、epoch(训练周期)，本网络的学习率采用余弦退火的学习率衰减法进行设置，其实现公式如下：
Figure BDA0003029186310000081
其中，i为本算法的索引值，表示第几次运行本算法，θt为本周期的学习率，
Figure BDA0003029186310000083
和
Figure BDA0003029186310000082
分别表示学习率的最大值和最小值，定义了学习率的范围，Ecur表示已经执行了多少个epoch，Ei表示第i次运行本算法中总的epoch数；
网络在训练阶段使用余弦退火学习率衰减法设置学习率；以往的网络使用梯度下降算法来优化目标函数的时候，当越来越接近损失值的全局最小值时，学习率应该变得更小来使得模型尽可能接近这一点，我们的目标优化函数可能是多峰的，除了全局最优解之外还有多个局部最优解，在训练时梯度下降算法可能陷入局部最小值，此时可以通过突然提高学习率，来跳出局部最小值并找到通向全局最小值的路径；余弦退火(Cosineannealing)可以通过余弦函数动态地改变学习率；余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降；这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果；
S7：使用训练完成的检测网络来执行管道内缺陷图片检测的任务，将管道缺陷图片输入本网络进行预测验证，得出缺陷的类别、置信度分数与锚框。
构建网络的输入端部分包括以下步骤：
S101：在训练阶段使用Mosaic数据增强，其具体方法为：随机选取数据集中的4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，使用拼接后的图片进行训练；
S102：在训练阶段加入自适应锚框计算方法，将锚框的计算部分整合进网络之中，不采用以往的将锚框计算部分单独执行的方法；
S103：在测试阶段使用自适应图片缩放，指的是抛弃以往图片原本的尺寸和比例，全部转换为相同的尺寸大小的图片，并使用黑色像素块填充缺失区域，使用计算缩放比例的方式、自适应的调整图片大小；
以要进行5次下采样的网络与800*600的图片转为416*416的图片这两个条件为例，其具体算法步骤为：
(1)原始缩放尺寸是416×416，都除以原始图像的尺寸后，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52；
(2)原始图片的长宽都乘以最小的缩放系数0.52，宽变成了416，而高变成了312；
(3)计算长宽之差除以32的余数，即(416-312)/32的余数为8，再除以2就得到了最终图像上下需要填充的像素长度4；其中，取32的原因是：网络总共进行5次下采样，2的5次方为32。
参阅图3至图6，构建网络的主干网络部分包括以下步骤：
S201：图像进入网络后首先进入focus结构，将输入的图片进行切片操作，以640*640*3大小的输入图像为例：原始的640*640*3的图像输入focus结构，首先将图片变为4个640*640*3的图片，然后分别对4张图片进行下采样变为4张320*320*3的图片，最后将4张图片进行堆叠，变成320*320*12的特征图，再经过一次32个卷积核的卷积操作，最终变成320*320*32的特征图，具体流程如图3所示；
S202：构建卷积块模块，卷积块由卷积、BN(batch normal ization)正则化、激活三种操作组成的；在本网络中，主干特征提取网络中CSP结构中卷积块的激活函数采用mish激活函数，其具体公式为：
Mish＝x×tanh(softplus(x))
主干特征提取网络中的DenseBlock与之后的FPN结构、PAN结构中卷积块模块中的激活函数全部采用Leaky Relu激活函数，在本发明中leaky值均取0.1，其具体公式为：
f(x)＝max(0，x)+leaky×min(0，x)其中，卷积块具体结构如图4所示；
S203：构建主干特征提取网络的主体部分，主干网络的主体部分由4个CSP结构与2个DenseBlock构成，经过focus结构后，304*304*64的图片需要经过4个CSP结构与2个密集连接块，所述CSP结构为：首先经过一个卷积块模块，其次将图片分别送入两个分支B1与B2，B1分支经过1个卷积块、X个残差结构、1个卷积块，B2分支经过1个卷积块，然后将经过了B1分支与B2分支的图片进行堆叠操作(直接进行通道的合并)，最后再经过1个卷积块进行整合，其中X代表本个CSP结构的B1分支中残差结构的个数，记为CSP_X；所述残差结构分为两部分：一部分由残差边构成，既不进行操作，另一部分由2个连续的卷积块构成，最后将两部分相加得到结果；本网络的4个CSP结构依次为CSP_2、CSP_8、CSP_8、CSP_4；CSP结构、残差结构如图5、图6所示，所述密集连接块由4个密集卷积层构成，其中每个密集卷积层都与其他层相连，用公式表示为：
xi＝T([x0,x1,......,xi-1])(i＝1,2,3,4)
公式中的[x0，x1，......，xi-1]表示将0到i-1层的输出特征图进行堆叠(合并通道)，其详细实现步骤为：
(1)对通道数为t1的x0层的特征图进行1*1的卷积操作调整通道数至t1；
(2)再使用3*3卷积获得一个通道数为t2的特征层x1；
(3)将x0与x1进行堆叠，通道数变为t1+t2，新的特征层会保留x0的特征与经过卷积处理后的特征；
(4)重复上述步骤，原始的特征会一直得到保留，经过卷积处理后的特征也会得到保留，当网络程度不断加深，就可以实现前面所有层与后面层的具有密集连接；
本网络主干网络部分的具体结构为：CSP_2、CSP_8、DenseBlock、CSP_8、DenseBlock、CSP_4，每个CSP_X中包含5+2*X个卷积层，每个DenseBlock中包含8层卷积层，因此整个主干网络中一共包含(5+2×2)+(5+2×8)+8+(5+2×8)+8+(5+2×4)＝80层卷积层。
参阅图7至图9，构建网络的多尺度融合特征金字塔部分包括以下步骤：
S301：构建SPP模块，SPP(Spatial Pyramid Pooling,空间金字塔池化)模块首先将输入进来的图片经过3个卷积块模块，其次使用k(池化核大小)＝{1×1，5×5，9×9，13×13}的padding方式(在图像周围填充空白像素以使得进行卷积或池化操作后图像大小不变)进行最大池化，再将4种尺度的特征图进行堆叠，SPP模块可以极大地增加感受特征，分离出最显著的上下文特征，具体流程如图8所示；
S302：构建多尺度特征金字塔模块，并与主干网络连接，特征金字塔结构采用FPN(Feature Pyramid Networks)结构+PAN(Path Aggregation Network)结构的方式搭建，其中，FPN结构是自顶向下，将高层的强语义特征传递下来，对整个金字塔进行增强，不过只增强了语义信息，对定位信息没有传递，故在FPN结构之后再补充添加PAN结构，将低层的强定位特征传递上去；
所述特征金字塔模块共有3个分支，定义为b1、b2、b3；
b1分支由主干网络中的第1个CSP_8结构作为起始，图像经过第1个CSP_8结构后同时输入给主干网络中的第1个密集连接块与b2分支中经过上采样的特征层进行堆叠，堆叠后的特征层经过5个卷积块，将结果下采样后分别送入b2分支与输出预测部分；
b2分支由主干网络中的第2个CSP_8结构作为起始，图像经过第2个CSP_8结构后同时输入给主干网络中的第2个密集连接块与b3分支中经过上采样的特征层进行堆叠，堆叠后的特征层经过5个卷积块，然后接收上述从b1分支下采样后的结果，与其进行堆叠操作后再次经过5个卷积块，最后将结果下采样后分别送入b3分支与输出预测部分；
b3分支是由SPP模块作为起始，首先经过3个卷积块，然后其结果：与b2分支经过下采样的结果进行堆叠后在经过5个卷积块，最后送入输出预测部分；上采样送入b2分支；此部分的结构示例演示如图9所示。
所述构建网络的损失函数包括以下步骤：
S401：构建location_loss部分，location_loss部分需要进行由网络预测得到的锚框与真实锚框的对比操作，使用CIoU损失函数进行回归损失的评价，对于CIoU的的公式如下：
Figure BDA0003029186310000121
其中D2为预测框和目标框中心点距离，Dc为为最小外接矩形C的对角线距离，H表示权重函数，表达式为：
Figure BDA0003029186310000122
其中ξ是衡量长宽比一致性的参数，将其定义为：
Figure BDA0003029186310000123
其中，a代表锚框的宽度，b代表锚框的长度。最终CIoU损失函数的公式为：location_loss＝1-CIoU；
S402：构建confidence_loss部分，confidence_loss代表网络的置信度分数损失，其公式为：
Figure BDA0003029186310000124
其中，P表示整个网络将图像划分为P*P的网格，K表示每个网格输出K个锚框，
Figure BDA0003029186310000131
为0-1二值变量，用于表示单元格中是否存在待测物体的区域(即缺陷)，fi表示由网络预测得到的锚框的置信度，
Figure BDA0003029186310000132
表示缺陷的真实锚框置信度；
S403：构建class_loss部分，class_loss代表分类损失，其公式为：
Figure BDA0003029186310000133
其中，Ri(f)表示由网络分类的预测结果，
Figure BDA0003029186310000134
表示物体真实的类别。
综上所述：本发明提出的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，采用Mosaic数据增强方法随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好；采用自适应图片缩放，对原始图像自适应的添加最少的填充区域，减少了计算量，提高了模型预测时的速度；网络结构采用了focus结构，focus结构可以得到没有信息丢失情况下的二倍下采样特征图，相对于使用卷积的下采样操作减少了计算量；网络主干网络采用CSPDarknet53网络与DenseNet网络相融合的结构，CSPDarknet53网络增强了卷积神经网络的学习能力，使得在轻量化的同时保持准确性，降低了计算瓶颈，并且降低了内存成本；且网络模型融合使用了DenseNet网络中密集连接块的结构，使得网络可以在预测前接收由密集连接块输出的多层卷积特征，从而提高特征的重用性和融合性；本网络采用SPP模块的方式，有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征；本网络采用了结合FPN结构与PAN结构的多尺度融合特征金字塔结构，FPN层自顶向下传达强语义特征，PAN自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合，极大地提高了特征提取的能力；采用的CIoU_Loss在DIoU_loss的基础上，考虑边界框宽高比的尺度信息，进一步的提高预测框回归的速度和精度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，包括以下步骤：
S1：构建网络的输入端部分；
S2：构建网络的主干网络部分，所述主干网络主要由CSP DarkNet53网络与denseNet网络融合构成；
S3：构建网络的多尺度融合特征金字塔部分，并与主干网络部分进行连接融合，为了更好地提取特征融合特征，使用特征金字塔对图片进一步的提取特征；
S4：构建网络的损失函数，目标检测的损失函数包含三部分：回归损失、置信度损失和分类损失；
S5：构建网络的输出预测部分，在经过上述主干网络与多尺度融合特征金字塔结构后，对特征层进行卷积操作，最后得到特征层的预测结果，将其进行解码操作得到相关锚框的坐标与置信度分数，设置置信度阈值后进行锚框的挑选任务；
S6：使用数据集对构建网络进行训练得到优先网络权重，即设置网络的训练参数，并使用数据集进行训练；
S7：使用训练完成的检测网络来执行管道内缺陷图片检测的任务，将管道缺陷图片输入本网络进行预测验证，得出缺陷的类别、置信度分数与锚框。
2.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建网络的输入端部分包括以下步骤：
S101：在训练阶段使用Mosaic数据增强，随机选取数据集中的4张图片进行随机缩放、随机裁剪、随机排布的方式进行拼接，使用拼接后的图片进行训练；
S102：在训练阶段加入自适应锚框计算方法，将锚框的计算部分整合进网络之中；
S103：在测试阶段使用自适应图片缩放，指的是抛弃以往图片原本的尺寸和比例，全部转换为相同的尺寸大小的图片，并使用黑色像素块填充缺失区域，使用计算缩放比例的方式、自适应的调整图片大小。
3.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建网络的主干网络部分包括以下步骤：
S201：图像进入网络后首先进入focus结构，将输入的图片进行切片操作；
S202：构建卷积块模块，卷积块由卷积、BN正则化、激活三种操作组成的；
S203：构建主干网络的主体部分，主干网络的主体部分由4个CSP结构与2个密集连接块构成。
4.如权利要求3所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建卷积块模块中卷积块的激活函数采用mish激活函数和leaky relu激活函数。
5.如权利要求3所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建主干网络的主体部分中4个CSP结构依次为CSP_2、CSP_8、CSP_8、CSP_4。
6.如权利要求3所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建主干网络的主体部分中每个密集连接块均由4个密集卷积层构成，其中每个密集卷积层都与另外3个密集卷积层相连。
7.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，构建网络的多尺度融合特征金字塔部分包括以下步骤：
S301：构建SPP模块，首先将输入进来的图片经过3个卷积块模块，其次使用padding方式进行最大池化，再将4种尺度的特征图进行堆叠；
S302：构建多尺度特征金字塔模块，并与主干网络连接。
8.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，特征金字塔模块共有3个分支，定义为b1、b2、b3。
9.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，所述构建网络的损失函数包括以下步骤：
S401：构建location_loss部分，location_loss部分需要进行由网络预测得到的锚框与真实锚框的对比操作，使用CIoU损失函数进行回归损失的评价；
S402：构建confidence_loss部分，confidence_loss代表网络的置信度分数损失；
S403：构建class_loss部分，class_loss代表分类损失。
10.如权利要求1所述的一种基于卷积神经网络多尺度特征的管道缺陷检测方法，其特征在于，S6中网络的训练参数包括学习率、迭代次数、输入图片大小、CUDA、初始化权重、数据增强方法、batch_size和epoch。
CN202110424184.4A 2021-04-20 2021-04-20 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 Active CN113052834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424184.4A CN113052834B (zh) 2021-04-20 2021-04-20 一种基于卷积神经网络多尺度特征的管道缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424184.4A CN113052834B (zh) 2021-04-20 2021-04-20 一种基于卷积神经网络多尺度特征的管道缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113052834A true CN113052834A (zh) 2021-06-29
CN113052834B CN113052834B (zh) 2023-04-18

Family

ID=76519682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424184.4A Active CN113052834B (zh) 2021-04-20 2021-04-20 一种基于卷积神经网络多尺度特征的管道缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113052834B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420844A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 物体缺陷检测方法、装置、电子设备和存储介质
CN113569981A (zh) * 2021-08-13 2021-10-29 桂林电子科技大学 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN113689385A (zh) * 2021-07-29 2021-11-23 天津中科智能识别产业技术研究院有限公司 虹膜内外圆边界自动分割方法、装置、设备及存储介质
CN113850242A (zh) * 2021-11-30 2021-12-28 北京中超伟业信息安全技术股份有限公司 一种基于深度学习算法的仓储异常目标检测方法及系统
CN115374879A (zh) * 2022-09-19 2022-11-22 南京航空航天大学 基于深度学习与历史经验数据的桌面冰壶轨迹预测方法
CN116342596A (zh) * 2023-05-29 2023-06-27 云南电网有限责任公司 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882743B1 (ko) * 2017-04-17 2018-08-30 인하대학교 산학협력단 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN111951266A (zh) * 2020-09-01 2020-11-17 厦门汉舒捷医疗科技有限公司 一种染色体畸变的人工智能识别分析方法
CN112258446A (zh) * 2020-08-31 2021-01-22 洛阳中信成像智能科技有限公司 一种基于改进yolo算法的工业零件缺陷检测方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN112434672A (zh) * 2020-12-18 2021-03-02 天津大学 一种基于改进YOLOv3的海上人体目标检测方法
CN112633162A (zh) * 2020-12-22 2021-04-09 重庆大学 适于高速公路外场遮挡条件下的行人快速检测及跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882743B1 (ko) * 2017-04-17 2018-08-30 인하대학교 산학협력단 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN112258446A (zh) * 2020-08-31 2021-01-22 洛阳中信成像智能科技有限公司 一种基于改进yolo算法的工业零件缺陷检测方法
CN111951266A (zh) * 2020-09-01 2020-11-17 厦门汉舒捷医疗科技有限公司 一种染色体畸变的人工智能识别分析方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN112434672A (zh) * 2020-12-18 2021-03-02 天津大学 一种基于改进YOLOv3的海上人体目标检测方法
CN112633162A (zh) * 2020-12-22 2021-04-09 重庆大学 适于高速公路外场遮挡条件下的行人快速检测及跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIMEI SONG 等: "Weak Micro-Scratch Detection Based on Deep Convolutional Neural Network" *
王丹峰 等: "基于深度可分离卷积的YOLOv3行人检测算法" *
陈嘉琛 等: "基于改进YOLOv3 的输电线路缺陷识别方法" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689385A (zh) * 2021-07-29 2021-11-23 天津中科智能识别产业技术研究院有限公司 虹膜内外圆边界自动分割方法、装置、设备及存储介质
CN113689385B (zh) * 2021-07-29 2023-10-20 天津中科智能识别产业技术研究院有限公司 虹膜内外圆边界自动分割方法、装置、设备及存储介质
CN113569981A (zh) * 2021-08-13 2021-10-29 桂林电子科技大学 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN113420844A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 物体缺陷检测方法、装置、电子设备和存储介质
CN113420844B (zh) * 2021-08-23 2021-12-21 深圳市信润富联数字科技有限公司 物体缺陷检测方法、装置、电子设备和存储介质
CN113850242A (zh) * 2021-11-30 2021-12-28 北京中超伟业信息安全技术股份有限公司 一种基于深度学习算法的仓储异常目标检测方法及系统
CN115374879A (zh) * 2022-09-19 2022-11-22 南京航空航天大学 基于深度学习与历史经验数据的桌面冰壶轨迹预测方法
CN115374879B (zh) * 2022-09-19 2024-02-09 南京航空航天大学 基于深度学习与历史经验数据的桌面冰壶轨迹预测方法
CN116342596A (zh) * 2023-05-29 2023-06-27 云南电网有限责任公司 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法
CN116342596B (zh) * 2023-05-29 2023-11-28 云南电网有限责任公司 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法

Also Published As

Publication number Publication date
CN113052834B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113392960A (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN114445430B (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN112381763A (zh) 一种表面缺陷检测方法
CN112528913A (zh) 一种基于图像的砂石颗粒物粒径检测分析系统
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN114005094A (zh) 航拍车辆目标检测方法、系统及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113822287B (zh) 一种图像处理方法、系统、设备以及介质
CN114022727B (zh) 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法
CN114419005A (zh) 基于改进轻量型cnn与迁移学习的裂缝自动检测方法
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
CN112837281A (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN115272819A (zh) 一种基于改进Faster-RCNN的小目标检测方法
CN115205518A (zh) 一种基于YOLO v5s网络结构的目标检测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Dehua

Inventor after: Hao Xinyuan

Inventor after: Liang Huiqing

Inventor before: Hao Xinyuan

Inventor before: Zhang Dehua

Inventor before: Liang Huiqing

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240430

Address after: 230000 B-2704, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI LONGZHI ELECTROMECHANICAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 475001 Henan province city Minglun Street No. 85

Patentee before: Henan University

Country or region before: China

TR01 Transfer of patent right