CN113298181A - 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 - Google Patents
基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 Download PDFInfo
- Publication number
- CN113298181A CN113298181A CN202110666479.2A CN202110666479A CN113298181A CN 113298181 A CN113298181 A CN 113298181A CN 202110666479 A CN202110666479 A CN 202110666479A CN 113298181 A CN113298181 A CN 113298181A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- image
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 25
- 238000007689 inspection Methods 0.000 abstract description 13
- 239000002002 slurry Substances 0.000 description 5
- 238000005299 abrasion Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于密集连接的Yolov3网络的井下管道异常目标识别方法，通过改进的密集连接Yolov3网络进行样本处理，确定管道检测点位置，再对检测点对象分类，结果进行三维度映射输出。其中改进Yolov3网络具体处理过程大致如下，先将输入图像进行多特征层的提取，本发明采用密集串联网络进行特征提取。对图像进行卷积，上采样，特征拼接，及用于输出预测结果。预测结果解码得出边界框坐标，确定管道检测点边界的位置，再对选出的边框按照得分进行筛选，确定故障识别位置。本发明的优点是采用改进的Yolov3网络对井下管道巡检图像进行处理，有效的提升了检测准确度，一定程度上保障了检测实时性，提高特征提取能力。
Description
技术领域
本发明涉及井下管道巡检图像目标识别技术领域，具体来说是基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统。
背景技术
在工业采矿现场，矿井管道承受着非常高的输送压力，随着管道内部的磨损，充填管道不可避免会发生爆裂、跑浆、泄漏等现象，已成为影响矿井充填系统正常运转的最主要的安全问题。由于充填系统的管道工况恶劣，磨损较快，管路磨损破裂事故随机性大，国内外尚无成熟的充填管路泄漏监测预测预控技术，目前主要靠投入大量人力，采用人工巡检的方式检测管道是否泄漏。
申请号为CN202010818527.0公开的一种管道异常识别方法装置及系统，该方法包括：接收检测设备采集的待识别管道的应变数据；将所述应变数据输入预设识别模型，获得所述待识别管道的异常类型，其中预设识别模型是根据不同异常类型管道的应变数据训练得到的；将所述异常类型发送至管道管理平台，以使管理人员根据所述异常类型分析管道异常原因。本发明实施例提供的管道异常识别方法，利用预设识别模型自动的识别管道的异常类型，提高了识别管道异常方法的效率和准确率。该方法虽然能够检测管道的异常，但是前提是管道存在应变情况，对于复杂环境下管道存在异常则不适用。
发明内容
本发明所要解决的技术问题在于针对井下管道处于复杂环境下，提供一种基于密集连接的Yolov3网络的井下管道异常目标识别方。
本发明通过以下技术手段实现解决上述技术问题的：
基于密集连接的Yolov3网络的井下管道异常目标识别方法，包括以下步骤：
步骤1、从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
步骤2、对处理图像输入进行特征提取，其中每个卷积块内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测，得到预测结果；
步骤3、对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，宽高bw,bh，得出了边界框的位置；
步骤4、根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框；得出识别结果。
本发明根据井下图像的特征摒弃传统残差连接，采用密集串联网络进行特征提取，三个特征层位于主干特征提取网络不同位置，中间层，中下层及底层。对图像进行卷积，上采样，特征拼接，及用于输出预测结果。预测结果解码得出边界框坐标bx,by，以及宽高bw,bh，共四个参数。确定管道检测点边界的位置，再对选出的边框按照得分进行筛选，确定相对准确的管道巡检点的故障识别位置。本发明的优点是采用改进的Yolov3网络对井下管道巡检图像进行处理，有效的提升了检测准确度，一定程度上保障了检测实时性，提高特征提取能力。
进一步的，所述步骤1的具体执行过程如下：
步骤11.采用过残差模型进行非线性映射，一个残差单元的基本公式表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x；
步骤12.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
其中FLR表示由特征学习模块提取的特征，并假定缩放因子是r，ISR(i,j)表示对于SR图像上的每个像素(i,j)，它由ILR图像上像素(i′,j′)的特征与一组相应卷积滤波器的权重W(i,j)所共同决定。
步骤13.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应；
步骤14.再通过同时将真实数据与生成的数据输入TESRGAN网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
进一步的，所述步骤2的具体执行过程如下：
步骤21.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测；
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接；
步骤22.本发明采用密集串联网络提取特征；
步骤23.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与Yolov3网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同理，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小；之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接(Concat),同理，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层；
步骤24.若目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，若目标物较小则用预测记过输出shape为(52,52,75)的特征层来检测。
进一步的，所述步骤3中边界框的位置采用sigmoid函数计算，计算过程如下所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数。
进一步的，所述步骤4的具体执行过程如下：
步骤41.首先设定阈值对步骤3中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引；
(3)再根据设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes；
步骤42.在过滤完成之后将对过滤之后的边框进行非极大值抑制，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除；
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框；
(3)重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
本发明还提供一种基于密集连接的Yolov3网络的井下管道异常目标识别系统，包括：
预处理模块，从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
特征提取模块，对处理图像输入进行特征提取，其中每个卷积块内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测，得到预测结果；
解码模块，对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，宽高bw,bh，得出了边界框的位置；
结果识别模块，根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框；得出识别结果。
进一步的，所述预处理模块具体执行过程如下：
步骤11.采用过残差模型进行非线性映射，一个残差单元的基本公式表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x；
步骤12.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
其中FLR表示由特征学习模块提取的特征，并假定缩放因子是r，ISR(i,j)表示对于SR图像上的每个像素(i,j)，它由ILR图像上像素(i′,j′)的特征与一组相应卷积滤波器的权重W(i,j)所共同决定。
步骤13.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应；
步骤14.再通过同时将真实数据与生成的数据输入TESRGAN网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
进一步的，所述特征提取模块具体执行过程如下：
步骤21.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测；
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接；
步骤22.本发明采用密集串联网络提取特征；
步骤23.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与Yolov3网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同理，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小；之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接(Concat),同理，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层；
步骤24.若目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，若目标物较小则用预测记过输出shape为(52,52,75)的特征层来检测。
进一步的，所述解码模块中边界框的位置采用sigmoid函数计算，计算过程如下所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数。
进一步的，所述结果识别模块的具体执行过程如下：
步骤41.首先设定阈值对步骤3中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引；
(3)再根据设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes；
步骤42.在过滤完成之后将对过滤之后的边框进行非极大值抑制，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除；
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框；
(3)重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
本发明的优点在于：
本发明根据井下图像的特征摒弃传统残差连接，采用密集串联网络进行特征提取，三个特征层位于主干特征提取网络不同位置，中间层，中下层及底层。对图像进行卷积，上采样，特征拼接，及用于输出预测结果。预测结果解码得出边界框坐标bx,by，以及宽高bw,bh，共四个参数。确定管道检测点边界的位置，再对选出的边框按照得分进行筛选，确定相对准确的管道巡检点的故障识别位置。本发明的优点是采用改进的Yolov3网络对井下管道巡检图像进行处理，有效的提升了检测准确度，一定程度上保障了检测实时性，提高特征提取能力。
附图说明
图1为本发明实施例的基于密集连接的Yolov3网络的井下管道异常目标识别方法的步骤流程图；
图2为本发明实施例中密集串联具体网络层级模型；
图3为本发明实施例中改进密集连接网络的Yolov3神经网络主体结构；
图4为本发明实施例中具体密集连接层级在Yolov3网络中的层级体现关系；
图5为本发明实施例中具体边界框得分排序与非极大筛选过程。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，所示为本发明实施例中的一种基于密集连接的Yolov3网络的井下管道异常目标识别方法的步骤流程图。其实施过程可以分为以下的四大步骤：
步骤一，从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
步骤二，对处理图像输入进行特征提取，其中每个卷积快内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测。
步骤三，由于预测结果并不对应最终的预测框在图片上的位置，故对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，以及宽高bw,bh，得出了边界框的位置。
步骤四，根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框。得出识别结果。
在步骤一中，包括如下步骤：
1.采用过残差模型进行非线性映射，一个残差单元的基本公式可以表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x。
2.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
3.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应。
4.再通过同时将真实数据与生成的数据输入TESRGAN网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
在步骤二中，包括如下步骤：
1.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测。这也是为了Yolov3网络提取多特征层进行目标检测做基础。
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接(Concat)。
2.请参阅图2，显示为图二中基于本发明的密集串联具体网络层级模型。
本发明采用密集串联网络代替原传统Yolov3中的残差连接网络，原残差连接网络第l层卷积网络的特征图输出表示为：
Xl＝Hl(Xl-1)+Xl-1
由数学公式可知，残差连接网络的卷积网络的层数从0开始，第l层接收当前层与上一层的特征图作为输出，准确度不够高；而对于密集串联网络中第l层卷积网络的特征图输出表示为：
Xl＝Hl([X0,X1,X2,···,Xl-1])
即第l层可以接受前面所有层特征图作为输出。与残差连接不同，密集串联网络将本层的特征整合维数传递至往后的所有密集串联层，可以避免原图像特征在卷积层的传递过程中导致的信息丢失问题.从而能有效提升对图像检测的准确度，特别是在浅层增加卷积核个数，能很有效地提升特征提取能力。
3.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同样上述步骤，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小。之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接(Concat),同上述步骤，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层。
其中，采用2D卷积作为卷积层的方法，信号处理中，卷积被定义为：一个函数经过翻转和移动后与另一个函数的乘积的积分，数学表达如下：
在这个过程视作将一个3D过滤器矩阵滑动通过输入层。这个输入层和过滤器的深度都是相同的，即通道数等于卷积核数。但是这个3D过滤器仅沿着2个方向，也就是图像的高和宽移动。
对于一个大小为i，卷积核大小为k，填充为p，步长为s的输入图像，经过2D卷积的输出图像大小为：
以上步骤请参阅图3，所示为基于本发明改进密集连接网络的Yolov3神经网络主体结构
4.在井下管道巡检中，如遇到漏浆，管道泄漏等重大问题，即目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，如遇到管道裂缝，预警危险等物体在图中比较小的情况，就会归为shape为(52,52,75)的特征层来检测。
在步骤三中，包括如下步骤：
在上述步骤中Yolov3分别将整幅图分为13x13、26x26、52x52的网格，每个网络点负责对一个区域片的检测。翻译解码过程就是将网络输出参数通过计算转换，得出最后将显示在图像上的边界框的坐标bx,by，以及宽高bw,bh，由这四个参数即可以确定边界框的位置，计算过程如下图所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数，本发明采用的是sigmoid函数，即在[0,1]之间概率，之所以用sigmoid取代之前版本的softmax，原因是softmax会扩大最大类别概率值而抑制其他类别概率值，从而使最后判定结果准确度收到影响。
在步骤四中，包括如下步骤：
以下步骤请参阅图5，所示为基于本发明的具体边界框得分排序与非极大筛选过程。
1.首先设定阈值对上述步骤中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引，也就是记录边框的分类；
(3)再根据之前设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)；
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes。
2.在过滤完成之后我们将对过滤之后的边框进行非极大值抑制(NMS)，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除。
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框。
其中，IOU置信度就是预测的先验框和真实框ground truth box(真实对象的框)的IOU值，即先验框中是否有目标检测对象的概率Pr(Object)，如在管道巡检当中，当井下拍摄图片为正常环境下，无譬如漏浆，管道破损出现裂缝等故障问题，那么在识别的时候就没有需要识别的对象，那么这些地方的置信度就是0，图像先验框中若出现了上述的故障问题，故障越多，则置信度IOU的参数数值就越大。其数学表达形式如下：
重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
本发明根据井下图像的特征摒弃传统残差连接，采用密集串联网络进行特征提取，三个特征层位于主干特征提取网络不同位置，中间层，中下层及底层。对图像进行卷积，上采样，特征拼接，及用于输出预测结果。预测结果解码得出边界框坐标bx,by，以及宽高bw,bh，共四个参数。确定管道检测点边界的位置，再对选出的边框按照得分进行筛选，确定相对准确的管道巡检点的故障识别位置。本发明的优点是采用改进的Yolov3网络对井下管道巡检图像进行处理，有效的提升了检测准确度，一定程度上保障了检测实时性，提高特征提取能力。
与上述方法对应的，请参阅图1，本实施还公开了一种基于密集连接的Yolov3网络的井下管道异常目标识别系统，包括：
预处理模块，从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
特征提取模块，对处理图像输入进行特征提取，其中每个卷积快内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测。
解码模块，由于预测结果并不对应最终的预测框在图片上的位置，故对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，宽高bw,bh，得出了边界框的位置。
结果识别模块，根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框。得出识别结果。
在预处理模块中，包括如下步骤：
1.采用过残差模型进行非线性映射，一个残差单元的基本公式可以表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x。
2.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
其中FLR表示由特征学习模块提取的特征，并假定缩放因子是r，IsR(i,j)表示对于SR图像上的每个像素(i,j)，它由ILR图像上像素(i′,j′)的特征与一组相应卷积滤波器的权重W(i,j)所共同决定。
3.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应。
4.再通过同时将真实数据与生成的数据输入TESRGAN网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
在特征提取模块中，包括如下步骤：
1.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测。这也是为了Yolov3网络提取多特征层进行目标检测做基础。
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接(Concat)。
2.请参阅图2，显示为图二中基于本发明的密集串联具体网络层级模型。
本发明采用密集串联网络代替原传统Yolov3中的残差连接网络，原残差连接网络第l层卷积网络的特征图输出表示为：
Xl＝Hl(Xl-1)+Xl-1
由数学公式可知，残差连接网络的卷积网络的层数从0开始，第l层接收当前层与上一层的特征图作为输出，准确度不够高；而对于密集串联网络中第l层卷积网络的特征图输出表示为：
Xl＝Hl([X0,X1,X2,···,Xl-1])
即第l层可以接受前面所有层特征图作为输出。与残差连接不同，密集串联网络将本层的特征整合维数传递至往后的所有密集串联层，可以避免原图像特征在卷积层的传递过程中导致的信息丢失问题.从而能有效提升对图像检测的准确度，特别是在浅层增加卷积核个数，能很有效地提升特征提取能力。
3.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同样上述步骤，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小。之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接(Concat)，同上述步骤，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层。
其中，采用2D卷积作为卷积层的方法，信号处理中，卷积被定义为：一个函数经过翻转和移动后与另一个函数的乘积的积分，数学表达如下：
在这个过程视作将一个3D过滤器矩阵滑动通过输入层。这个输入层和过滤器的深度都是相同的，即通道数等于卷积核数。但是这个3D过滤器仅沿着2个方向，也就是图像的高和宽移动。
对于一个大小为i，卷积核大小为k，填充为p，步长为s的输入图像，经过2D卷积的输出图像大小为：
以上步骤请参阅图3，所示为基于本发明改进密集连接网络的Yolov3神经网络主体结构
4.在井下管道巡检中，如遇到漏浆，管道泄漏等重大问题，即目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，如遇到管道裂缝，预警危险等物体在图中比较小的情况，就会归为shape为(52,52,75)的特征层来检测。
在解码模块中，包括如下步骤：
在上述步骤中Yolov3分别将整幅图分为13x13、26x26、52x52的网格，每个网络点负责对一个区域片的检测。翻译解码过程就是将网络输出参数通过计算转换，得出最后将显示在图像上的边界框的坐标bx,by，以及宽高bw,bh，由这四个参数即可以确定边界框的位置，计算过程如下图所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数，本发明采用的是sigmoid函数，即在[0,1]之间概率，之所以用sigmoid取代之前版本的softmax，原因是softmax会扩大最大类别概率值而抑制其他类别概率值，从而使最后判定结果准确度收到影响。
在结果识别模块中，包括如下步骤：
以下步骤请参阅图5，所示为基于本发明的具体边界框得分排序与非极大筛选过程。
1.首先设定阈值对上述步骤中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引，也就是记录边框的分类；
(3)再根据之前设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)；
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes。
2.在过滤完成之后我们将对过滤之后的边框进行非极大值抑制(NMS)，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除。
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框。
其中，IOU置信度就是预测的先验框和真实框ground truth box(真实对象的框)的IOU值，即先验框中是否有目标检测对象的概率Pr(Object)，如在管道巡检当中，当井下拍摄图片为正常环境下，无譬如漏浆，管道破损出现裂缝等故障问题，那么在识别的时候就没有需要识别的对象，那么这些地方的置信度就是0，图像先验框中若出现了上述的故障问题，故障越多，则置信度IOU的参数数值就越大。其数学表达形式如下：
重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，包括以下步骤：
步骤1、从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
步骤2、对处理图像输入进行特征提取，其中每个卷积块内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测，得到预测结果；
步骤3、对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，宽高bw,bh，得出了边界框的位置；
步骤4、根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框；得出识别结果。
2.根据权利要求1所述的基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，所述步骤1的具体执行过程如下：
步骤11.采用过残差模型进行非线性映射，一个残差单元的基本公式表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x；
步骤12.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
其中FLR表示由特征学习模块提取的特征，并假定缩放因子是r，ISR(i,j)表示对于SR图像上的每个像素(i,j)，它由ILR图像上像素(i′,j′)的特征与一组相应卷积滤波器的权重W(i,j)所共同决定；
步骤13.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应；
步骤14.再通过同时将真实数据与生成的数据输入TESRGAN增强型超分辨率对抗网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
3.根据权利要求1所述的基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，所述步骤2的具体执行过程如下：
步骤21.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测；
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接；
步骤22.本发明采用密集串联网络提取特征；
步骤23.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与Yolov3网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同理，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小；之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接,同理，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层；
步骤24.若目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，若目标物较小则用预测记过输出shape为(52,52,75)的特征层来检测。
4.根据权利要求1所述的基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，所述步骤3中边界框的位置采用sigmoid函数计算，计算过程如下所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数，e为为自然对数的底数。
5.根据权利要求1所述的基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，所述步骤4的具体执行过程如下：
步骤41.首先设定阈值对步骤3中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引；
(3)再根据设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes；
步骤42.在过滤完成之后将对过滤之后的边框进行非极大值抑制，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除；
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框；
(3)重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
6.基于密集连接的Yolov3网络的井下管道异常目标识别系统，其特征在于，包括：
预处理模块，从井下采集的模糊图像经过TESRGAN网络去噪超分辨率重构预处理；
特征提取模块，对处理图像输入进行特征提取，其中每个卷积块内部的连续卷积层采用密集串联方式，在主干特征提取网络的中间，中下，底层分别进行三层提取多特征层，分别卷积特征处理之后，进行上采样，相互堆叠拼接，同时另一部分用于结果预测，得到预测结果；
解码模块，对预测结果进行翻译解码，得出最后显示边界框的坐标bx,by，宽高bw,bh，得出了边界框的位置；
结果识别模块，根据生成的若干边界框，将最大概率的框筛选出来，作为最终边界框；得出识别结果。
7.根据权利要求6所述的基于密集连接的Yolov3网络的井下管道异常目标识别系统，其特征在于，所述预处理模块具体执行过程如下：
步骤11.采用过残差模型进行非线性映射，一个残差单元的基本公式表示为：
^x＝R(x)＝σ(F(x,W)+h(x))
其中^x表示残差单元的输出，R(x)表示残差单元结构的函数，函数σ表示的是RELU激活函数，W表示一组权重，F(x,W)表示需要学习的残差映射，h(x)表示恒等映射，也就是h(x)＝x；
步骤12.再通过上层Meta-Upscale采样层和卷积层，得到根据真实图像数据重构生成的高分辨率图像数据，采样原理如下：
ISR(i,j)＝ψ(FLR(i’,j’),W(i,j))
其中FLR表示由特征学习模块提取的特征，并假定缩放因子是r，ISR(i,j)表示对于SR图像上的每个像素(i,j)，它由ILR图像上像素(i′,j′)的特征与一组相应卷积滤波器的权重W(i,j)所共同决定；
步骤13.通过Location Projection、Weight Prediction、Feature Mapping三个模块，完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和LR特征图上的对应；
步骤14.再通过同时将真实数据与生成的数据输入TESRGAN网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像特征，通过特征向量的比较获得LOSS值，将结果反馈给生成网络，完成生成对抗的学习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。
8.根据权利要求6所述的基于密集连接的Yolov3网络的井下管道异常目标识别方法，其特征在于，所述特征提取模块具体执行过程如下：
步骤21.将处理图像传入改进的Yolov3网络，网络先将其转化为416×416大小的网格，并在图片上下方通过增加灰度条的方式用于防止失真，之后图片会被分成三个网格图片，其大小比例分别是13×13，26×26，52×52，其中13×13网格划分用于对图像中的小目标进行检测，26×26网格划分用于对图像中的中小目标进行检测，52×52网格划分用于对图像中的大目标进行检测；
在主干Yolov3网络中，一共提取三个特征层，三个特征层分别位于主干特征提取网络的不同位置，分别位于中间层，中下层以及底层，并且三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，这三个特征层后面将用于后面步骤中与上采样后的其他特征层进行堆叠拼接；
步骤22.本发明采用密集串联网络提取特征；
步骤23.提取完之后得到Yolov3网络输出的三个层面的特征图，首先对第三个特征层，即shape为(13,13,1024)的特征图，进行5次卷积处理提取特征，处理完后的一部分用于卷积+上采样UpSampling，卷积+上采样后得到shape为(26,26,256)的特征层，然后与Yolov3网络中的第二个主干网络输出特征层(26,26,512)进行拼接，得到的shape为(26,26,768)，再进行5次卷积，同理，处理完后一部分用于卷积上采样，另一部分用于输出对应的预测结果，预测结果shape为(26,26,75)，另一部分用于输出对应的预测结果，且预测结果输出shape为(13,13,75)，其中利用Conv2D两个卷积起通道调整的作用，即调整成输出需要的大小；之后再将第二次卷积+上采样的特征层与shape为(52,52,256)的主干网络第一层输出特征层进行拼接同理，再进行卷积得到shape为(52,52,128)的特征层，最后再通过两个卷积，得到shape为(52,52,75)的特征层；
步骤24.若目标物体相对在图中较大，就用预测结果输出shape为(13,13,75)的特征图检测，若目标物较小则用预测记过输出shape为(52,52,75)的特征层来检测。
9.根据权利要求6所述的基于密集连接的Yolov3网络的井下管道异常目标识别系统，其特征在于，所述解码模块中边界框的位置采用sigmoid函数计算，计算过程如下所示：
bx＝σ(tx)+cz
by＝σ(ty)+cy
Pr(object)*IOU(b,Object)＝σ(to)
其中，(cx,cy)表示该点所在网格的左上角距离图像最左上角相差的格子数，(pw,ph)表示Yolo v3网络的先验框的边长，(tx,ty)表示目标中心点相对于该点所在网格左上角的偏移量，(tw,th)表示Yolov3网络预测边框的宽和高，σ表示激活函数。
10.根据权利要求6所述的基于密集连接的Yolov3网络的井下管道异常目标识别系统，其特征在于，所述结果识别模块的具体执行过程如下：
步骤41.首先设定阈值对步骤3中生成的边框进行过滤，步骤如下：
(1)先计算所有box中每个类别的得分：box_confidence*box_class_probs；
(2)再找到每个box所有类别中的最高分，并记录其索引；
(3)再根据设定的阈值进行过滤并创建掩码：
filtering_mask＝(box_class_scores>＝threshold)
(4)最后使用掩码只输出经过阈值过滤后的先验框得分score,边框box,分类classes；
步骤42.在过滤完成之后将对过滤之后的边框进行非极大值抑制，步骤如下：
(1)先选择得分值最高的边界框添加到输出列表中，并同时将其从边界框列表中删除；
(2)再计算得分值最高的边界框与其他候选框的置信度IOU，并删除置信度IOU大于设定的阈值IOU的边界框；
(3)重复以上添加输出列表和删除边界框列表的过程，直至删除到边界框列表为空时，将最后输出列表里的边界框显示在图片，并显示分数score和所属类别classes；即完成了对管道图像故障目标识别的全部过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110666479.2A CN113298181A (zh) | 2021-06-16 | 2021-06-16 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110666479.2A CN113298181A (zh) | 2021-06-16 | 2021-06-16 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113298181A true CN113298181A (zh) | 2021-08-24 |
Family
ID=77328484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110666479.2A Pending CN113298181A (zh) | 2021-06-16 | 2021-06-16 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298181A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850269A (zh) * | 2021-12-01 | 2021-12-28 | 西南石油大学 | 一种基于多分支选择性内核嵌套连接残差网络的方法 |
| CN114693605A (zh) * | 2022-03-07 | 2022-07-01 | 重庆亲禾智千科技有限公司 | 一种基于deepstream的道路裂缝检测方法 |
| CN117351420A (zh) * | 2023-10-18 | 2024-01-05 | 江苏思行达信息技术有限公司 | 一种智能开关门检测方法 |
| CN117523177A (zh) * | 2023-11-09 | 2024-02-06 | 北京航天拓扑高科技有限责任公司 | 一种基于人工智能混合大模型的燃气管道监测系统和方法 |
| CN117351420B (zh) * | 2023-10-18 | 2024-06-04 | 江苏思行达信息技术股份有限公司 | 一种智能开关门检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
| CN109919058A (zh) * | 2019-02-26 | 2019-06-21 | 武汉大学 | 一种基于Yolo V3的多源视频影像重点目标快速检测方法 |
| CN109934121A (zh) * | 2019-02-21 | 2019-06-25 | 江苏大学 | 一种基于YOLOv3算法的果园行人检测方法 |
| CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN111461039A (zh) * | 2020-04-07 | 2020-07-28 | 电子科技大学 | 基于多尺度特征融合的地标识别方法 |
| CN112907448A (zh) * | 2021-02-09 | 2021-06-04 | 长视科技股份有限公司 | 一种任意比率图像超分辨率方法、系统、设备及存储介质 |
-
2021
- 2021-06-16 CN CN202110666479.2A patent/CN113298181A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
| CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
| CN109934121A (zh) * | 2019-02-21 | 2019-06-25 | 江苏大学 | 一种基于YOLOv3算法的果园行人检测方法 |
| CN109919058A (zh) * | 2019-02-26 | 2019-06-21 | 武汉大学 | 一种基于Yolo V3的多源视频影像重点目标快速检测方法 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN111461039A (zh) * | 2020-04-07 | 2020-07-28 | 电子科技大学 | 基于多尺度特征融合的地标识别方法 |
| CN112907448A (zh) * | 2021-02-09 | 2021-06-04 | 长视科技股份有限公司 | 一种任意比率图像超分辨率方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐晨玉: ""基于YOLOv3的危险物品检测模型研究与改进"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850269A (zh) * | 2021-12-01 | 2021-12-28 | 西南石油大学 | 一种基于多分支选择性内核嵌套连接残差网络的方法 |
| CN113850269B (zh) * | 2021-12-01 | 2022-03-15 | 西南石油大学 | 一种基于多分支选择性内核嵌套连接残差网络的去噪方法 |
| CN114693605A (zh) * | 2022-03-07 | 2022-07-01 | 重庆亲禾智千科技有限公司 | 一种基于deepstream的道路裂缝检测方法 |
| CN117351420A (zh) * | 2023-10-18 | 2024-01-05 | 江苏思行达信息技术有限公司 | 一种智能开关门检测方法 |
| CN117351420B (zh) * | 2023-10-18 | 2024-06-04 | 江苏思行达信息技术股份有限公司 | 一种智能开关门检测方法 |
| CN117523177A (zh) * | 2023-11-09 | 2024-02-06 | 北京航天拓扑高科技有限责任公司 | 一种基于人工智能混合大模型的燃气管道监测系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112967243B (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN113298181A (zh) | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 | |
| CN111862143B (zh) | 一种河堤坍塌自动监测方法 | |
| CN113159061B (zh) | 一种基于实例分割的实际隧道围岩碴片识别方法 | |
| CN109241867B (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN110909615B (zh) | 基于多尺度输入混合感知神经网络的目标检测方法 | |
| CN112258470B (zh) | 基于缺陷检测的工业图像临界压缩率智能分析系统及方法 | |
| CN113989257A (zh) | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| US20230222643A1 (en) | Semantic deep learning and rule optimization for surface corrosion detection and evaluation | |
| CN113327255A (zh) | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 | |
| CN110751195A (zh) | 一种基于改进YOLOv3的细粒度图像分类方法 | |
| CN114913606A (zh) | 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法 | |
| CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN109859141B (zh) | 一种深立井井壁图像去噪方法 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 | |
| CN111539931A (zh) | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 | |
| CN116543308A (zh) | 一种基于多模型融合的滑坡检测预警模型及预警方法 | |
| CN116030076A (zh) | 基于因果推理的隧道点云多目标分割集成方法及系统 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN114998889A (zh) | 一种沉浸式三维影像的智能识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |
|
| RJ01 | Rejection of invention patent application after publication |