CN111339858A - 一种基于神经网络的油气管道标志物识别方法 - Google Patents

一种基于神经网络的油气管道标志物识别方法 Download PDF

Info

Publication number
CN111339858A
CN111339858A CN202010096021.3A CN202010096021A CN111339858A CN 111339858 A CN111339858 A CN 111339858A CN 202010096021 A CN202010096021 A CN 202010096021A CN 111339858 A CN111339858 A CN 111339858A
Authority
CN
China
Prior art keywords
convolution
coefficient
target detection
model
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010096021.3A
Other languages
English (en)
Other versions
CN111339858B (zh
Inventor
于永斌
唐倩
彭辰辉
陆瑞军
买峰
汤亦凡
戚敏惠
邓权芯
毛宇涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010096021.3A priority Critical patent/CN111339858B/zh
Publication of CN111339858A publication Critical patent/CN111339858A/zh
Application granted granted Critical
Publication of CN111339858B publication Critical patent/CN111339858B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Abstract

本发明提供了一种基于神经网络的油气管道标志物识别方法,该方法包括步骤:构建模型,获取训练集、验证集和测试集,经过训练得到最优模型,采用测试集进行测试,得到检测结果并计算检测精度。本发明使用参数少的Mobilenet作为基础网络,在多尺度特征映射上直接回归的SSD算法作为目标检测算法,实现了多尺度的目标检测,且检测模型小、检测速度快,使检测模型部署在移动端,对油气管道的标志物进行实时检测;并通过CBAM注意力机制从全局和局部范围突出标志物的显著特征,获得更好的检测效果;同时注意力机制嵌入在基础网络的每层后面,可以从第一层逐层增强特征表达能力,有效剔除干扰信息,提高检测精度。

Description

一种基于神经网络的油气管道标志物识别方法
技术领域
本发明属于油气管道安全领域,尤其涉及一种基于神经网络的油气管道标志物识别方法。
背景技术
石油、天然气等资源具有重要战略作用,其运输具有距离长、范围广的特点,由于油气管道系统自身的磨损、腐蚀以及其他因素,泄漏时有发生,油气泄漏容易引起爆炸、火灾,产生有毒有害气体,因此,加强油气管道的安全管理具有重要意义。
在油气管道安全领域,除了耗时耗力的人工巡检外,目前还有基于神经网络训练管道焊缝缺陷数据或管道泄漏时压力波信号进行管道漏检的方法,这些方法都是基于管道内部的特征判断是否泄漏,但管道周边环境的变化同样影响着管道安全,可在管道周边隔一定距离设置标志物,通过对航拍的图片进行标志物检测判断环境是否有异常,实现管道安全管理。
随着卷积神经网络在图片分类任务取得成功,由于其能够自动提取高效特征,也被应用在目标检测任务中。目前基于神经网络的目标检测算法主要有两类:一是基于region propos al的方法,主要的算法有R-CNN,SPP-Net,Fast R-CNN,Faster R-CNN;二是基于回归的方法,主要的算法有YOLO和SSD。第一类算法不断进行改进,在精度和速度上都得到较大提升,但是速度无法满足实时检测的需求,所以提出基于回归的算法,直接从图片中回归出目标物体的位置以及种类,大大提升了检测的速度,其中SSD算法不仅速度快,精度也略高于Faster R-CNN。在现代目标检测系统中,通常需要部署基础网络进行特征提取,主要有V GG、Mobilenet、Resnet等网络结构可作为基础网络,在目标检测算法相同时,使用Mobilen et部署可以在计算量更小模型参数更小的情况下,达到与其他网络结构相近的精度。
在管道安全管理中,更希望能对航拍的图片进行实时检测判断是否有异常;对于航拍的图片,标志物相对于整个背景比较小,由于场景复杂地形多变,干扰较大,并且随着航拍的高度变化标志物还存在频繁的尺度变化;所以,目前主要挑战是如何用更小更快的模型识别多尺度目标及较小目标。
发明内容
针对上述问题,为了实现更小更快的模型检测多尺度目标,尤其是提高小目标检测效果,本发明提出了一种基于神经网络的油气管道标志物识别方法。
本发明提出使用Mobilenet-SSD目标检测模型实现目标检测,利用Mobilenet参数少、S SD算法可直接在多尺度特征映射进行回归的特性,达到目标检测模型速度快、模型小、精度高的目的;在基础网络Mobilenet中嵌入CBAM(Convolutional Block AttentionModule,卷积块注意力模块),对目标特征显著性进行增强,使得SSD算法能够在特征层上更有效更准确地进行目标检测。
一种基于神经网络的油气管道标志物识别方法,包括以下步骤:
1)基于神经网络构建目标检测网络结构模型。
2)获取油气管道周围环境的航拍图片,从中选取正样本与易干扰的负样本,对正样本与负样本进行数据增广,得到进行数据增广后的航拍图片,将进行数据增广后的航拍图片与原航拍图片混合作为数据集。
3)将上述数据集按照预设比例分为训练集、验证集和测试集,并建立数据集中的数据与对应标签之间的一一映射。
4)将步骤3)中的训练集输入到目标检测网络结构模型中进行训练,训练的同时对验证集进行评估,得到训练集与验证集表现俱优的目标检测网络结构模型,保存该训练集与验证集表现俱优的目标检测网络结构模型。
5)将测试集中的数据输入到步骤4)保存的训练集与验证集表现俱优的目标检测网络结构模型中进行检测,得到检测结果并计算检测精度。
所述步骤2)中的数据增广是深度学习中用于增加数据集的方法,它让数据集尽可能的多样化。本发明采用旋转、剪切、改变图像色差、改变图像尺寸的方式对数据集进行增广。
进一步地,基于神经网络构建的目标检测网络结构模型包含三部分:作为基础网络的Mo bilenet网络、CBAM注意力模块和SSD算法。
进一步地,Mobilenet-SSD结构的基础网络Mobilenet网络除了第1层为标准卷积层外,之后由13个连续的深度可分离卷积模块构成,然后在基础网络后添加4层标准卷积层组成M obilenet-SSD结构。
进一步地,深度可分离卷积模块由Depthwise卷积与Pointwise卷积串联组成。
进一步地,CBAM注意力模块由通道注意力模块和空间注意力模块串联组成。
具体地,CBAM注意力模块嵌入在本发明中的基础网络Mobilenet的标准卷积层和每个深度可分离卷积模块后。
具体地,SSD算法提取基础网络Mobilenet中的第11个和第13个深度可分离卷积模块的特征图,以及后面4层标准卷积层的特征图,在这6个尺度不同的特征图上提取特征回归出目标的位置与分类的置信度。
本发明的有益效果在于:
(1)使用参数少的Mobilenet作为基础网络,在多尺度特征映射上直接回归的SSD算法作为目标检测算法,能够实现多尺度的目标检测,且检测模型小、检测速度快,可以使检测模型部署在移动端,对油气管道的标志物进行实时检测。
(2)通过使用CBAM注意力机制,从全局和局部范围突出标志物的显著特征,能够获得更好的检测效果;同时注意力机制嵌入在基础网络的每层后面,可以从第一层逐层增强特征表达能力,有效剔除干扰信息,提高检测精度。
附图说明
图1为本发明基于神经网络构建目标检测网络结构模型图
图2为本发明的目标检测流程图
图3为本发明的深度可分离卷积模块图
图4为本发明的CBAM注意力模块图
图5为标准Mobilenet-SSD模型与本发明模型检测油气管道图片的结果输出图
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
如图1所示为本发明的基于神经网络构建的目标检测网络结构模型图,即嵌入CBAM的Mobilenet-SSD网络结构图。输入为大小为300×300×3的图片,第1层为标准卷积层,由Co nv表示,由32个3×3×3卷积核进行步长为2的卷积,输出为150×150×32的特征图;之后13层代表13个深度可分离卷积模块,由Depthwise表示;第2层的深度可分离卷积模块先由1个3×3×32卷积核进行步长为1的Depthwise卷积输出150×150×32的特征图,然后再由64个1×1×32的卷积核进行步长为1的Pointwise卷积得到150×150×64的特征图;第3层的深度可分离卷积模块先由1个3×3×64卷积核进行步长为2的Depthwise卷积输出75×75×64的特征图,然后再由128个1×1×64的卷积核进行步长为1的Pointwise卷积得到75×75×128的特征图;第4层的深度可分离卷积模块先由1个3×3×128卷积核进行步长为1的Dept hwise卷积输出75×75×128的特征图,然后再由128个1×1×128的卷积核进行步长为1的P ointwise卷积得到75×75×128的特征图;第5层的深度可分离卷积模块先由一个3×3×128卷积核进行步长为2的Depthwise卷积输出38×38×128的特征图,然后再由256个1×1×128的卷积核进行步长为1的Pointwise卷积得到38×38×256的特征图;第6层的深度可分离卷积模块先由一个3×3×256卷积核进行步长为1的Depthwise卷积输出38×38×256的特征图,然后再由256个1×1×256的卷积核进行步长为1的Pointwise卷积得到38×38×256的特征图;第7层的深度可分离卷积模块先由一个3×3×256卷积核进行步长为2的Depthwise卷积输出19×19×256的特征图,然后再由512个1×1×256的卷积核进行步长为1的Pointwise卷积得到19×19×512的特征图;第8~12层深度可分离卷积模块的结构相同,先由一个3×3×512卷积核进行步长为1的Depthwise卷积输出19×19×256的特征图,然后再由512个1×1×256的卷积核进行步长为1的Pointwise卷积得到19×19×512的特征图;第13层的深度可分离卷积模块先由一个3×3×512卷积核进行步长为2的Depthwise卷积输出10×10×256的特征图,然后再由1024个1×1×256的卷积核进行步长为1的Pointwise卷积得到10×10×1024的特征图;第14层的深度可分离卷积模块先由一个3×3×1024卷积核进行步长为1的Depth wise卷积输出10×10×1024的特征图,然后再由1024个1×1×1024的卷积核进行步长为1的Pointwise卷积得到10×10×1024的特征图;在上述的每层后都嵌入了CBAM模块,每层输出的特征图都将被CBAM模块处理,得到与输入CBAM的特征图同样尺寸的特征图。第15层是标准卷积层,由512个3×3×1024卷积核进行步长为2的卷积,得到5×5×512的特征图;第16层是标准卷积层,由256个3×3×512卷积核进行步长为2的卷积,得到3×3×256的特征图;第17层是标准卷积层,由256个3×3×256卷积核进行步长为2的卷积,得到2×2×256的特征图;第18层是标准卷积层,由128个3×3×256卷积核进行步长为2的卷积,得到1×1×128的特征图;然后SSD算法提取第12层和14层的特征图,以及后面4层标准卷积层的特征图,在这6个尺度不同的特征图上提取特征回归出目标的位置与分类的置信度,通过非极大抑制保留最好的检测结果。
如图2所示,为本发明实现的基于神经网络的油气管道标志物识别方法流程图:
S1:在基于Python下的Tensorflow框架构建嵌入CBAM的Mobilenet-SSD网络结构模型,即基于神经网络构建目标检测网络结构模型。
S2:获取油气管道周围环境的航拍图片,从中选取正样本与易干扰的负样本,对正样本与负样本进行数据增广,得到进行数据增广后的航拍图片,将进行数据增广后的航拍图片与原航拍图片混合作为数据集,使用LabelImage对数据集中的每一幅航拍图片分别进行图片标注,即建立数据集中的数据与对应标签之间的一一映射,并将标注好的航拍图片按照6:2:2的比例分为训练集,验证集,测试集。
S3:将训练集的数据输入所述嵌入CBAM的Mobilenet-SSD网络结构模型进行训练,并同时在验证集上进行评估,得到训练并评估后的嵌入CBAM的Mobilenet-SSD网络结构模型。
S4:保存训练并评估后的嵌入CBAM的Mobilenet-SSD网络结构模型及其相关参数。
S5:将步骤S2中测试集数据输入到步骤S4中保存的训练并评估后的嵌入CBAM的Mobilenet-SSD网络结构模型中,输出目标检测的位置信息,以及目标的分类结果,并计算目标检测结果的平均精度(Mean Average Precision,mAP)。
步骤S1所构建的嵌入CBAM的Mobilenet-SSD网络结构模型如图1所示,输入大小为300×300×3的图片,将Mobilenet网络结构作为基础网络,并在基础网络的标准卷积层和每个可分离卷积模块后面添加CBAM注意力模块增强特征表达,SSD算法提取Mobilenet中第11个和13个深度可分离卷积模块及后面4层标准卷积层作为特征图,在6个尺度不同的特征图上回归目标的位置及类别的置信度。
具体地,在嵌入CBAM注意力机制前,第1层标准卷积层后接有1层批量归一化层和Relu函数,深度可分离卷积模块的Depthwise卷积和Pointwise卷积后分别接有1层批量归一化层和Relu函数。图3所示为深度可分离卷积模块的结构图,深度可分离卷积将一个标准的卷积核分成Depthwise卷积核和1×1的Pointwise卷积核分别进行Depthwise卷积和Pointwis e卷积,假设输入是DF×DF×M的特征图,DF是特征图的宽高,M是特征图的通道数,卷积核大小为DK×DK,输出通道为N,那么在标准卷积中需要N个DK×DK×M的卷积核,这N个标准卷积核可以如图3所示分解为M个DK×DK×1的Depthwise卷积核和N个1×1×M的Pointwise卷积核,首先进行Depthwise卷积,相当于在输入的特征图的M个通道上,分别用一个DK×DK×1的卷积核进行标准卷积,输出的特征图通道数为M,然后进行Pointwise卷积,相当于将Depthwise卷积输出的特征图用N个DK×DK×1卷积核进行标准卷积,这两步卷积构成了深度可分离卷积模块,其作用等同于标准卷积,但标准卷积的计算量为DF×DF×DK×DK×M×N,深度可分离卷积模块的计算量为DF×DF×DK×DK×M+DF×DF×M×N,深度可分离卷积模块的计算量比标准卷积计算量少了
Figure BDA0002385299350000051
倍。
具体地,如图4所示,CBAM注意力模块由通道注意力模块和空间注意力模块串联组成,给定一个特征图F∈RC×H×W作为输入,其中R为实数域,C为特征图的通道数,H为特征图高度,W为特征图的宽度,CBAM通过通道注意力模块产生一维通道注意力映射Mc∈RC×1×1,与原特征图F作点乘得到F1∈RC×H×W,然后F1通过空间注意力模块产生二维通道注意力映射Ms∈R1×H×W,与F1点乘得到显著特征图F2∈RC×H×W。注意力模块的整个过程可以描述为:
Figure BDA0002385299350000061
其中,
Figure BDA0002385299350000062
代表点乘,即特征图对应像素相乘。在通道注意力机制和空间注意力机制后得到的映射都与最初的输入进行点乘进行了尺度变化,得到F1∈RC×H×W,F2∈RC×H×W
具体地,通道注意力机制先对输入的特征图F同时进行全局最大池化和全局平均池化压缩图像信息,然后通过共享的多层感知机(MLP)减少参数,再使用点和操作合并两个输出的特征图,过程可以描述为:
Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
=σ(W1(W0(AvgPool(F))))+W1(W0(MaxPool(F))))
其中σ代表激活函数,W0∈RC/r×C,W1∈RC×C/r,全局最大池化和全局平均池化输出的结果输入MLP,共享MLP的权重参数W0和W1,r是减少参数的减速比,C是特征图的通道数。
空间注意力机制先对输入的特征图F1在通道的方向进行全局最大池化和全局平均池化,并将输出的特征图拼接,然后对拼接的特征图进行卷积,卷积核大小为7×7,个数为1,得到Ms(F1),过程可描述为:
Ms(F1)=σ(f7×7([AvgPool(F);MaxPool(F)])),
其中f7×7代表作卷积核大小为7×7的卷积。
具体地,在基础网络进行特征提取并进行CBAM增强特征表达后,如图1所示,SSD算法提取基础网络的第12层和14层的特征图,以及最后4层标准卷积的特征图作为回归目标位置和分类信息的特征层,得到位置信息和分类置信度。更具体的可参考现有技术,本实例不再赘述。
步骤S2通过旋转、剪切、改变图像色差、改变图像尺寸的方式对数据集进行增广,并使用LabelImage工具以VOC格式标注图片,得到具有航拍图片名称、目标位置及目标类别信息的文件,并将标注文件转换为tensorflow可以读取的文件作为模型输入。
步骤S3训练时,batchsize设置为4,学习率设置为0.004,权重衰减率为0.0001,迭代步数不少于15000步;对提取的6个尺度特征图设置5个比例的默认框{1.0,2.0,0.5,3.0,0.3333},以应对不同尺度的目标;训练中使用的momentum优化,损失函数是分类损失和位置损失之和,位置损失是预测框和真实框之间的Smooth L1 loss,分类损失是softmaxloss;评估指标使用目标检测最常用的Mean Average Precision,采用Interpolatedaverage precisio n方法计算mAP。训练时每隔10分钟保存模型并在验证集上评估模型,当验证集和训练集的loss都很小并趋于一致且评估的mAP高时,得到最优模型。
步骤S4,导出步骤S3中最优的模型,保存模型参数。
步骤S5,使用步骤S4保存的模型检测测试集图片,输出检测带有目标位置及目标类别信息的图片,并计算mAP结果。
基于Python的学习库Tensorflow搭建网络模型,在计算机CPU型号i5-9700f、显卡GT X-1080、内存大小16GB的实验环境下,使用上述数据集,对标准Mobilenet-SSD与上述网络模型训练和测试,得到的模型mAP如下表1所示:
表1:Mobilenet-SSD与本文提出模型的测试结果
模型 mAP
标准Mobilenet-SSD 97.92%
本文提出的模型 99.98%
本发明识别油气管道标志物的方法与标准的Mobilenet-SSD识别标志物相比,本发明的标志物检测精度提高2.06%。图5为两种模型检测标志物输出结果对比,图5(a)是标准Mo bilenet-SSD模型检测结果,从第二行可以看出它不仅存在漏检还存在错检情况,图5(b)是本发明模型的检测结果,从图上可以看出图中既无错检也无漏检,精度高。所以本发明不仅能检测不同尺度的标志物,还能有效剔除无用信息,减少漏检错减情况,提高检测精度。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围。凡采用等同替换或等效替换,这些变化是显而易见,一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于神经网络的油气管道标志物识别方法,其特征在于,该方法包括以下步骤:
1)基于神经网络构建目标检测网络结构模型;
2)获取油气管道周围环境的航拍图片,从中选取正样本与易干扰的负样本,对正样本与负样本进行数据增广,得到进行数据增广后的航拍图片,将进行数据增广后的航拍图片与原航拍图片混合作为数据集;
3)将上述数据集按照预设比例分为训练集、验证集和测试集,并建立数据集中的数据与对应标签之间的一一映射;
4)将步骤3)中的训练集输入到目标检测网络结构模型中进行训练,训练的同时对验证集进行评估,得到训练集与验证集表现俱优的目标检测网络结构模型;
5)保存该训练集与验证集表现俱优的目标检测网络结构模型及相关参数;
6)将测试集中的数据输入到步骤4)保存的训练集与验证集表现俱优的目标检测网络结构模型中进行检测,得到检测结果并计算检测精度。
2.根据权利要求1所述的基于神经网络的油气管道标志物识别方法,其特征在于,所述步骤1)中基于神经网络构建的目标检测网络结构模型是在基于Python下的Tensorflow框架下构建的嵌入CBAM的Mobilenet-SSD网络结构模型,其输入为大小为300×300×3的图片,第1层为标准卷积层,由Conv表示,由32个3×3×3卷积核进行步长为2的卷积,输出为150×150×32的特征图;之后13层代表13个深度可分离卷积模块,由Depthwise表示;第2层的深度可分离卷积模块先由1个3×3×32卷积核进行步长为1的Depthwise卷积输出150×150×32的特征图,然后再由64个1×1×32的卷积核进行步长为1的Pointwise卷积得到150×150×64的特征图;第3层的深度可分离卷积模块先由1个3×3×64卷积核进行步长为2的Depthwise卷积输出75×75×64的特征图,然后再由128个1×1×64的卷积核进行步长为1的Pointwise卷积得到75×75×128的特征图;第4层的深度可分离卷积模块先由1个3×3×128卷积核进行步长为1的Depthwise卷积输出75×75×128的特征图,然后再由128个1×1×128的卷积核进行步长为1的Pointwise卷积得到75×75×128的特征图;第5层的深度可分离卷积模块先由一个3×3×128卷积核进行步长为2的Depthwise卷积输出38×38×128的特征图,然后再由256个1×1×128的卷积核进行步长为1的Pointwise卷积得到38×38×256的特征图;第6层的深度可分离卷积模块先由一个3×3×256卷积核进行步长为1的Depthwise卷积输出38×38×256的特征图,然后再由256个1×1×256的卷积核进行步长为1的Pointwise卷积得到38×38×256的特征图;第7层的深度可分离卷积模块先由一个3×3×256卷积核进行步长为2的Depthwise卷积输出19×19×256的特征图,然后再由512个1×1×256的卷积核进行步长为1的Pointwise卷积得到19×19×512的特征图;第8~12层深度可分离卷积模块的结构相同,先由一个3×3×512卷积核进行步长为1的Depthwise卷积输出19×19×256的特征图,然后再由512个1×1×256的卷积核进行步长为1的Pointwise卷积得到19×19×512的特征图;第13层的深度可分离卷积模块先由一个3×3×512卷积核进行步长为2的Depth wise卷积输出10×10×256的特征图,然后再由1024个1×1×256的卷积核进行步长为1的P ointwise卷积得到10×10×1024的特征图;第14层的深度可分离卷积模块先由一个3×3×1024卷积核进行步长为1的Depthwise卷积输出10×10×1024的特征图,然后再由1024个1×1×1024的卷积核进行步长为1的Pointwise卷积得到10×10×1024的特征图;在上述的每层后都嵌入了CBAM模块,每层输出的特征图都将被CBAM模块处理,得到与输入CBAM的特征图同样尺寸的特征图;第15层是标准卷积层,由512个3×3×1024卷积核进行步长为2的卷积,得到5×5×512的特征图;第16层是标准卷积层,由256个3×3×512卷积核进行步长为2的卷积,得到3×3×256的特征图;第17层是标准卷积层,由256个3×3×256卷积核进行步长为2的卷积,得到2×2×256的特征图;第18层是标准卷积层,由128个3×3×256卷积核进行步长为2的卷积,得到1×1×128的特征图;然后SSD算法提取第12层和14层的特征图,以及后面4层标准卷积层的特征图,在这6个尺度不同的特征图上提取特征回归出目标的位置与分类的置信度,通过非极大抑制保留最好的检测结果;
具体地,在嵌入CBAM注意力机制前,第1层标准卷积层后接有1层批量归一化层和R elu函数,深度可分离卷积模块的Depthwise卷积和Pointwise卷积后分别接有1层批量归一化层和Relu函数。图3所示为深度可分离卷积模块的结构图,深度可分离卷积将一个标准的卷积核分成Depthwise卷积核和1×1的Pointwise卷积核分别进行Depthwise卷积和Pointwise卷积,假设输入是DF×DF×M的特征图,DF是特征图的宽高,M是特征图的通道数,卷积核大小为DK×DK,输出通道为N,那么在标准卷积中需要N个DK×DK×M的卷积核,这N个标准卷积核分解为M个DK×DK×1的Depthwise卷积核和N个1×1×M的Pointwise卷积核,首先进行Depthwise卷积,相当于在输入的特征图的M个通道上,分别用一个DK×DK×1的卷积核进行标准卷积,输出的特征图通道数为M,然后进行Pointwise卷积,相当于将Depth wise卷积输出的特征图用N个DK×DK×1卷积核进行标准卷积,这两步卷积构成了深度可分离卷积模块,其作用等同于标准卷积,但标准卷积的计算量为DF×DF×DK×DK×M×N,深度可分离卷积模块的计算量为DF×DF×DK×DK×M+DF×DF×M×N,深度可分离卷积模块的计算量比标准卷积计算量少了
Figure FDA0002385299340000031
倍;
具体地,CBAM注意力模块由通道注意力模块和空间注意力模块串联组成,给定一个特征图F∈RC×H×W作为输入,其中R为实数域,C为特征图的通道数,H为特征图高度,W为特征图的宽度,CBAM通过通道注意力模块产生一维通道注意力映射Mc∈RC×1×1,与原特征图F作点乘得到F1∈RC×H×W,然后F1通过空间注意力模块产生二维通道注意力映射Ms∈R1×H×W,与F1点乘得到显著特征图F2∈RC×H×W。注意力模块的整个过程可以描述为:
Figure FDA0002385299340000032
其中,
Figure FDA0002385299340000033
代表点乘,即特征图对应像素相乘。在通道注意力机制和空间注意力机制后得到的映射都与最初的输入进行点乘进行了尺度变化,得到
F1∈RC×H×W,F2∈RC×H×W
具体地,通道注意力机制先对输入的特征图F同时进行全局最大池化和全局平均池化压缩图像信息,然后通过共享的多层感知机(MLP)减少参数,再使用点和操作合并两个输出的特征图,过程可以描述为:
Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
=σ(W1(W0(AvgPool(F))))+W1(W0(MaxPool(F))))
其中σ代表激活函数,W0∈RC/r×C,W1∈RC×C/r,全局最大池化和全局平均池化输出的结果输入MLP,共享MLP的权重参数W0和W1,r是减少参数的减速比,C是特征图的通道数;
空间注意力机制先对输入的特征图F1在通道的方向进行全局最大池化和全局平均池化,并将输出的特征图拼接,然后对拼接的特征图进行卷积,卷积核大小为7×7,个数为1,得到Ms(F1),过程可描述为:
Ms(F1)=σ(f7×7([AvgPool(F);MaxPool(F)])),
其中f7×7代表作卷积核大小为7×7的卷积。
3.根据权利要求2所述的基于神经网络的油气管道标志物识别方法,其特征在于,所述步骤2)中进行数据增广是通过旋转、剪切、改变图像色差、改变图像尺寸的方式对数据集进行增广,并使用LabelImage工具以VOC格式标注原航拍图片,得到具有航拍图片名称、目标位置及目标类别信息的文件,并将标注文件转换为tensorflow可读取的文件作为所述目标检测网络结构模型的输入。
4.根据权利要求3所述的基于神经网络的油气管道标志物识别方法,其特征在于,所述步骤4)中对所述目标检测网络结构模型进行训练时,batchsize设置为4,学习率设置为0.004,权重衰减率为0.0001,迭代步数不少于15000步;对提取的6个尺度特征图设置5个比例的默认框{1.0,2.0,0.5,3.0,0.3333},以应对不同尺度的目标;训练中使用的momentum优化,损失函数是分类损失和位置损失之和,位置损失是预测框和真实框之间的Smooth L1loss,分类损失是softmax loss;评估指标使用目标检测最常用的Mean AveragePrecision,采用Interpolated average precision方法计算mAP;训练时每隔10分钟保存模型并在验证集上评估模型,当验证集和训练集的loss都很小并趋于一致且评估的mAP高时,得到最优的目标检测网络结构模型。
5.根据权利要求4所述的基于神经网络的油气管道标志物识别方法,其特征在于,所述步骤6)中得到检测结果并计算检测精度具体为输出检测带有目标位置及目标类别信息的图片,并计算mAP结果。
6.根据权利要求1-5任意一项所述的基于神经网络的油气管道标志物识别方法,其特征在于,所述步骤6)中的检测是在计算机CPU型号i5-9700f、显卡GTX-1080、内存大小16GB的实验环境下,使用所述测试集,对所述目标检测网络结构模型进行测试的。
CN202010096021.3A 2020-02-17 2020-02-17 一种基于神经网络的油气管道标志物识别方法 Expired - Fee Related CN111339858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096021.3A CN111339858B (zh) 2020-02-17 2020-02-17 一种基于神经网络的油气管道标志物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096021.3A CN111339858B (zh) 2020-02-17 2020-02-17 一种基于神经网络的油气管道标志物识别方法

Publications (2)

Publication Number Publication Date
CN111339858A true CN111339858A (zh) 2020-06-26
CN111339858B CN111339858B (zh) 2022-07-29

Family

ID=71183466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096021.3A Expired - Fee Related CN111339858B (zh) 2020-02-17 2020-02-17 一种基于神经网络的油气管道标志物识别方法

Country Status (1)

Country Link
CN (1) CN111339858B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832576A (zh) * 2020-07-17 2020-10-27 济南浪潮高新科技投资发展有限公司 一种用于移动端的轻量级目标检测方法及系统
CN111860393A (zh) * 2020-07-28 2020-10-30 浙江工业大学 一种安防系统上的人脸检测识别方法
CN111931792A (zh) * 2020-08-12 2020-11-13 桂林电子科技大学 一种基于目标检测的瑶族纹样符号识别方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112069868A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 一种基于卷积神经网络的无人机实时车辆检测方法
CN112085728A (zh) * 2020-09-17 2020-12-15 哈尔滨工程大学 一种海底管道及泄漏点检测方法
CN112149742A (zh) * 2020-09-25 2020-12-29 济南浪潮高新科技投资发展有限公司 一种基于目标检测网络的智能标注方法
CN112270347A (zh) * 2020-10-20 2021-01-26 西安工程大学 一种基于改进ssd的医疗废弃物分类检测方法
CN112270381A (zh) * 2020-11-16 2021-01-26 电子科技大学 基于深度学习的人流量检测方法
CN112308013A (zh) * 2020-11-16 2021-02-02 电子科技大学 一种基于深度学习的足球球员追踪方法
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
CN112396035A (zh) * 2020-12-07 2021-02-23 国网电子商务有限公司 基于注意力检测模型的物体检测方法和装置
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112560828A (zh) * 2021-02-25 2021-03-26 佛山科学技术学院 一种轻量级口罩人脸识别方法、系统、存储介质及设备
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN112818893A (zh) * 2021-02-10 2021-05-18 北京工业大学 一种面向移动终端的轻量化开集地标识别方法
CN112950546A (zh) * 2021-02-03 2021-06-11 中南民族大学 一种钡餐造影图像的食道癌检测方法及系统
CN113049084A (zh) * 2021-03-16 2021-06-29 电子科技大学 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN113255650A (zh) * 2021-06-24 2021-08-13 北京市水利自动化研究所 一种基于slimSSD模型的水表计量快速精准识别方法
CN113392728A (zh) * 2021-05-28 2021-09-14 杭州电子科技大学 一种基于ssa锐化注意机制的目标检测方法
CN113569866A (zh) * 2021-07-15 2021-10-29 桂林电子科技大学 一种基于深度学习识别hpv试纸的方法
CN113837004A (zh) * 2021-08-20 2021-12-24 北京工业大学 一种基于深度学习的游梁式抽油机运动学分析方法
CN114419306A (zh) * 2021-11-23 2022-04-29 西南交通大学 基于改进型ssd的小目标物体高精度检测方法、系统及装置
CN114463772A (zh) * 2022-01-13 2022-05-10 苏州大学 基于深度学习的交通标志检测与识别方法及系统
WO2022121186A1 (zh) * 2020-12-11 2022-06-16 平安科技(深圳)有限公司 基于目标匹配的油气管道巡检方法、装置、设备及介质
CN114821289A (zh) * 2022-01-17 2022-07-29 电子科技大学 一种森林火灾图片实时分割和火灾边缘点监测算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN109325960A (zh) * 2018-11-20 2019-02-12 南京信息工程大学 一种红外云图气旋分析方法及分析系统
CN110263819A (zh) * 2019-05-28 2019-09-20 中国农业大学 一种用于贝类图像的目标检测方法及装置
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN110705338A (zh) * 2018-07-10 2020-01-17 浙江宇视科技有限公司 车辆检测方法、装置及监控设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN110705338A (zh) * 2018-07-10 2020-01-17 浙江宇视科技有限公司 车辆检测方法、装置及监控设备
CN109325960A (zh) * 2018-11-20 2019-02-12 南京信息工程大学 一种红外云图气旋分析方法及分析系统
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN110263819A (zh) * 2019-05-28 2019-09-20 中国农业大学 一种用于贝类图像的目标检测方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HASHIR ALI: "Object Recognition for Dental Instruments Using SSD-MobileNet", 《2019 INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND COMMUNICATION TECHNOLOGY (ICISCT)》 *
SANGHYUN WOO: "CBAM: Convolutional Block Attention Module", 《HTTPS://OPENACCESS.THECVF.COM/CONTENT_ECCV_2018/HTML/SANGHYUN_WOO_CONVOLUTIONAL_BLOCK_ATTENTION_ECCV_2018_PAPER.HTML》 *
于永斌: "基于阈值自适应忆阻器Hopfield神经网络的关联规则挖掘算法", 《计算机应用》 *
杨晋生等: "基于深度可分离卷积的交通标志识别算法", 《液晶与显示》 *
杨辉华: "基于MobileNet的移动端城管案件目标识别算法", 《计算机应用》 *
林昌伟: "基于深度学习的目标检测服务平台研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
苏蒙等: "一种基于SSD改进的目标检测算法", 《计算机与现代化》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069868A (zh) * 2020-06-28 2020-12-11 南京信息工程大学 一种基于卷积神经网络的无人机实时车辆检测方法
CN111832576A (zh) * 2020-07-17 2020-10-27 济南浪潮高新科技投资发展有限公司 一种用于移动端的轻量级目标检测方法及系统
CN111860393A (zh) * 2020-07-28 2020-10-30 浙江工业大学 一种安防系统上的人脸检测识别方法
CN111931792B (zh) * 2020-08-12 2022-04-26 桂林电子科技大学 一种基于目标检测的瑶族纹样符号识别方法
CN111931792A (zh) * 2020-08-12 2020-11-13 桂林电子科技大学 一种基于目标检测的瑶族纹样符号识别方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112085728B (zh) * 2020-09-17 2022-06-21 哈尔滨工程大学 一种海底管道及泄漏点检测方法
CN112085728A (zh) * 2020-09-17 2020-12-15 哈尔滨工程大学 一种海底管道及泄漏点检测方法
CN112149742A (zh) * 2020-09-25 2020-12-29 济南浪潮高新科技投资发展有限公司 一种基于目标检测网络的智能标注方法
CN112270347A (zh) * 2020-10-20 2021-01-26 西安工程大学 一种基于改进ssd的医疗废弃物分类检测方法
CN112418020A (zh) * 2020-11-09 2021-02-26 南京信息工程大学 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN112365476B (zh) * 2020-11-13 2023-12-08 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112365480A (zh) * 2020-11-13 2021-02-12 哈尔滨市科佳通用机电股份有限公司 制动夹钳装置闸片丢失故障识别方法
CN112270381B (zh) * 2020-11-16 2022-06-03 电子科技大学 基于深度学习的人流量检测方法
CN112270381A (zh) * 2020-11-16 2021-01-26 电子科技大学 基于深度学习的人流量检测方法
CN112308013B (zh) * 2020-11-16 2023-03-31 电子科技大学 一种基于深度学习的足球球员追踪方法
CN112308013A (zh) * 2020-11-16 2021-02-02 电子科技大学 一种基于深度学习的足球球员追踪方法
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112487915B (zh) * 2020-11-25 2024-04-23 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN112396035A (zh) * 2020-12-07 2021-02-23 国网电子商务有限公司 基于注意力检测模型的物体检测方法和装置
WO2022121186A1 (zh) * 2020-12-11 2022-06-16 平安科技(深圳)有限公司 基于目标匹配的油气管道巡检方法、装置、设备及介质
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置
CN112950546A (zh) * 2021-02-03 2021-06-11 中南民族大学 一种钡餐造影图像的食道癌检测方法及系统
CN112950546B (zh) * 2021-02-03 2023-10-31 中南民族大学 一种钡餐造影图像的食道癌检测方法及系统
CN112818893A (zh) * 2021-02-10 2021-05-18 北京工业大学 一种面向移动终端的轻量化开集地标识别方法
CN112560828A (zh) * 2021-02-25 2021-03-26 佛山科学技术学院 一种轻量级口罩人脸识别方法、系统、存储介质及设备
CN113049084B (zh) * 2021-03-16 2022-05-06 电子科技大学 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法
CN113049084A (zh) * 2021-03-16 2021-06-29 电子科技大学 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法
CN113129266B (zh) * 2021-03-22 2022-03-29 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN113392728A (zh) * 2021-05-28 2021-09-14 杭州电子科技大学 一种基于ssa锐化注意机制的目标检测方法
CN113392728B (zh) * 2021-05-28 2022-06-10 杭州电子科技大学 一种基于ssa锐化注意机制的目标检测方法
CN113255650B (zh) * 2021-06-24 2021-10-01 北京市水利自动化研究所 一种基于slimSSD模型的水表计量快速精准识别方法
CN113255650A (zh) * 2021-06-24 2021-08-13 北京市水利自动化研究所 一种基于slimSSD模型的水表计量快速精准识别方法
CN113569866A (zh) * 2021-07-15 2021-10-29 桂林电子科技大学 一种基于深度学习识别hpv试纸的方法
CN113837004A (zh) * 2021-08-20 2021-12-24 北京工业大学 一种基于深度学习的游梁式抽油机运动学分析方法
CN114419306A (zh) * 2021-11-23 2022-04-29 西南交通大学 基于改进型ssd的小目标物体高精度检测方法、系统及装置
CN114463772A (zh) * 2022-01-13 2022-05-10 苏州大学 基于深度学习的交通标志检测与识别方法及系统
CN114463772B (zh) * 2022-01-13 2022-11-25 苏州大学 基于深度学习的交通标志检测与识别方法及系统
CN114821289B (zh) * 2022-01-17 2023-10-17 电子科技大学 一种森林火灾图片实时分割和火灾边缘点监测算法
CN114821289A (zh) * 2022-01-17 2022-07-29 电子科技大学 一种森林火灾图片实时分割和火灾边缘点监测算法

Also Published As

Publication number Publication date
CN111339858B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111339858B (zh) 一种基于神经网络的油气管道标志物识别方法
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
Zhu et al. Detection of large-scale concrete columns for automated bridge inspection
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN112395987B (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN109191424B (zh) 一种乳腺肿块检测与分类系统、计算机可读存储介质
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN112132012A (zh) 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN104820841A (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN113408540B (zh) 一种合成孔径雷达图像叠掩区提取方法及存储介质
CN114241332A (zh) 一种基于深度学习的固废场识别方法、装置以及存储介质
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116523858A (zh) 基于注意力机制的电力设备漏油检测方法及存储介质
CN116824488A (zh) 一种基于迁移学习的目标检测方法
CN109614970A (zh) 一种红外目标隐身效能的评估方法及系统
CN113553708B (zh) 一种溯源仿真模型关键影响因素的方法和装置
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220729