CN117218329A - 一种井口阀门检测方法、装置、存储介质及电子设备 - Google Patents
一种井口阀门检测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117218329A CN117218329A CN202311486347.7A CN202311486347A CN117218329A CN 117218329 A CN117218329 A CN 117218329A CN 202311486347 A CN202311486347 A CN 202311486347A CN 117218329 A CN117218329 A CN 117218329A
- Authority
- CN
- China
- Prior art keywords
- wellhead valve
- model
- input image
- layer
- valve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 36
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000007689 inspection Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 25
- 235000019879 cocoa butter substitute Nutrition 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 238000011176 pooling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003121 nonmonotonic effect Effects 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- VYGQUTWHTHXGQB-FFHKNEKCSA-N Retinol Palmitate Chemical group CCCCCCCCCCCCCCCC(=O)OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C VYGQUTWHTHXGQB-FFHKNEKCSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明揭示了一种井口阀门检测方法、装置、存储介质及电子设备，所述方法包括：S100：获取井口阀门及周边环境输入图像；S200：对输入图像预处理，以获得预处理后的输入图像；S300：构建井口阀门检测模型并进行训练；S400：将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。本发明通过构建井口阀门检测模型，能够在井口阀门输入图像中快速、准确地定位和识别井口阀门开关、编号以及方井周围的积水、杂草等异物，具有较高的检测性能和检测效率。
Description
技术领域
本发明属于智能识别、目标检测技术领域，具体涉及一种井口阀门检测方法、装置、存储介质及电子设备。
背景技术
随着国内石油开采领域的快速发展，高效生产和安全生产成为石油开采生产中的重点工作。在安全生产方面，井口阀门是地下和地上设备之间的安全接口，其可靠性对于防止井喷事故和保护人身和设备安全起着关键作用，因此对井口阀门定期巡检尤为重要。目前，对井口阀门的巡检方式包括人工巡检和智能监控检测两种，其中，人工巡检是指人员定期到现场对阀门的状态和周围环境进行观察和记录，但这种方式容易受到人为因素的影响，导致误判或漏检，而且效率低下，耗费人力资源；智能监控检测是指使用高清摄像头拍摄阀门的图像，并通过图像分析算法识别阀门的状态和异常情况，这种方式相比人工巡检具有更高的准确性和实时性，但也存在一些局限性，例如对图像质量要求较高且无法移动，如果存在图像模糊、光线不足或有遮挡物等情况，会导致检测结果不准确甚至失效。
发明内容
针对现有技术中的不足，本发明的目的在于提供一种井口阀门检测方法，本方法通过构建井口阀门检测模型，能够在井口阀门输入图像中快速、准确地定位和识别井口阀门开关、编号以及方井周围的积水、杂草等异物。
为实现上述目的，本发明提供以下技术方案：
一种井口阀门检测方法，其特征在于，所述方法包括以下步骤：
S100：获取井口阀门及周边环境输入图像；
S200：对输入图像预处理，以获得预处理后的输入图像；
S300：构建井口阀门检测模型并进行训练；
其中，所述井口阀门检测模型包括主干网络，主干网络包括多个P-CBS层、ELAN层和MP层，且P-CBS层中通过引入PConv算子以降低模型的计算量和内存访问量；所述井口阀门检测模型还包括特征融合网络，所述特征融合网络额外引入了A-CBS层以增强特征图中重要神经元的响应和抑制无关神经元的干扰，从而提取有用的特征信息；
S400：将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
优选的，步骤S200中，所述对图像预处理包括以下步骤：
S201：对输入图像进行尺寸调整；
S202：对尺寸调整后的输入图像进行归一化处理；
S203：对归一化处理后的输入图像进行数据增强，以获得数据增强后的输入图像。
优选的，步骤S300中，所述井口阀门检测模型通过以下步骤进行训练：
S301：构建包含井口阀门及其周边环境的图像数据集，对数据集预处理后对图像中的阀门、阀门编号以及阀门周边环境进行标注，将标注后的数据集划分为训练集和测试集；
S302：设置训练参数，利用训练集对模型进行训练，当达到训练轮次的总次数后，模型训练完毕；
S303：利用测试集对模型进行测试，在测试过程中，若模型的输出结果的置信度高于或等于0.90，模型测试通过；否则需要对训练参数进行调整以重新对模型进行训练。
本发明还提供一种井口阀门检测装置，所述装置包括：
获取模块，用于获取井口阀门及其周边环境输入图像；
预处理模块，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练模块，用于构建井口阀门检测模型并进行训练；其中，所述井口阀门检测模型包括主干网络，主干网络包括多个P-CBS层、ELAN层和MP层，且P-CBS层中通过引入PConv算子以降低模型的计算量和内存访问量；所述井口阀门检测模型还包括特征融合网络，所述特征融合网络额外引入了A-CBS层以增强特征图中重要神经元的响应和抑制无关神经元的干扰，从而提取有用的特征信息；
检测模块，用于将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
本发明还提供一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
本发明还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
与现有技术相比，本发明带来的有益效果为：
1、本发明能够在不同的环境条件下自动化、智能化地对井口阀门及其周围环境进行检测和分析，提高了阀门的安全性和可靠性，减少了人工巡检的成本和风险；
2、本发明构建了井口阀门检测模型，该模型为基于深度学习的目标检测模型，能够在图像中快速、准确地定位和识别井口阀门开关、编号以及方井周围的积水、杂草等异物，具有较高的检测性能和检测效率。
附图说明
图1是本发明一个实施例提供的一种井口阀门检测方法的流程图；
图2是本发明另一个实施例提供的井口阀门检测模型的网络结构示意图；
图3是本发明另一个实施例提供的P-CBS层的结构示意图；
图4是本发明另一个实施例提供的SimAM注意力特征融合模块的结构示意图；
图5是本发明另一个实施例提供的REP重参数化的结构示意图。
具体实施方式
下面将参照附图1至图5详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以通过各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
一个实施例中，如图1所示，本发明提供一种井口阀门检测方法，包括以下步骤：
S100：获取井口阀门及周边环境输入图像；
S200：对输入图像预处理，以获得预处理后的输入图像；
S300：构建井口阀门检测模型并进行训练；
S400：将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
另一个实施例中，步骤S200中，所述对图像预处理包括以下步骤：
S201：对输入图像的尺寸进行调整，将图像的高度和宽度调整为为640×640像素，以适应井口阀门检测模型的输入要求；
S202：对尺寸调整后的输入图像进行归一化处理，具体处理方法为：将图像的像素值除以255，使其范围在0到1之间，以减少数据的偏差和方差；
S203：对归一化处理后的输入图像进行数据增强，数据增强具体包括随机裁剪、随机旋转、随机翻转、随机亮度调整等方式，以增强数据的多样性和鲁棒性。
另一个实施例中，如图2所示，所述井口阀门检测模型包括：主干网络(Backbone)、特征融合网络(Neck)和检测头(Head)。
下面，本实施例对主干网络、特征融合网络和检测头的结构以及操作原理进行详细介绍。
1、主干网络：
主干网络由下至上包括依次连接的以下各层：
Input层；
P-CBS层；
P-CBS层；
P-CBS层；
P-CBS层；
ELAN层；
MP层；
ELAN层；
MP层；
ELAN层；
MP层；
ELAN层。
其中，ELAN层是一种用于提高主干网络特征提取能力的高效层聚合网络，包括两个分支，第一个分支包括一个CBS模块和3个计算块P-CBS，第二个分支包括一个CBS模块，且两个分支叠加后再接入一个CBS模块。其中，如图3所示，第一个分支中的每个P-CBS包括一个部分卷积层PConv、一个批归一化层BN和一个激活函数SiLU。计算块P-CBS作为对CBS模块（由普通卷积Conv、批归一化层BN和激活函数SiLU组成）的改进（即将普通卷积Conv替换为局部卷积PConv），能够在降低参数量和计算量以提高帧率的同时能够提取不同尺度的特征。此外，第一个分支中的CBS模块和3个P-CBS模块依次进行融合，从而能够增强模型的学习能力，利用不同的特征组合以提高模型的检测精度和鲁棒性。通过将CBS模块和P-CBS模块进行融合，可以实现特征的融合和增强，从而提高网络对井口阀门及其周边环境的识别能力。
ELAN层能够在保持原有梯度路径的情况下，增强网络的学习能力，利用不同的特征组合来提高检测精度和鲁棒性。
MP层（最大池化层）包括两个分支，第一个分支包括一个最大池化层MaxPool和一个CBS层，第二个分支包括两个串联的CBS层，且第一个分支中的CBS层和第二个分支中第二个CBS层叠加。MP层能够用于降低特征图的空间尺寸（即进行下采样），同时增加特征图的通道数，以便捕获更多的高级特征。
P-CBS层是一种轻量化的卷积神经网络结构，其通过使用PConv算子来替换普通卷积Conv操作。PConv算子是一种轻量化卷积模块，能够提高每秒浮点运算效率，同时减少冗余计算和内存访问，从而更有效地提取空间特征。图3展示了PConv算子的基本工作原理，PConv算子只对输入特征图中的一部分通道（即图3中的Cp通道部分，Cp表示PConv的通道数）进行传统卷积运算（即图3中的*操作），而其余通道则保持不变并进行恒等操作（Identity）。这种方法能够在保持模型性能的同时，大大减少计算量和内存消耗。对于大小为k的卷积核，输入特征图大小为h×w，通道数为c，h为高度，w为宽度；若输入和输出特征图大小和通道数相同，则普通卷积Conv的计算量为：
，
PConv的计算量为：
，
普通卷积Conv与PConv计算量之比为：，若/>，则PConv的计算量为传统卷积的1/16。
普通卷积Conv的内存访问量为：
，
PConv的内存访问量为：
，
普通卷积Conv与PConv内存访问量之比为：，若/>，则PConv的内存访问量为常规卷积的1/4。
由此可知，P-CBS层作为主干网络中的重要组成模块，通过在P-CBS层中引入PConv算子，能够显著降低模型的计算量和内存访问量。因此能够使得模型实现轻量化，并且推理速度也会得到加快。这种方法在保持模型性能的同时，大大提高了模型的运行效率。
需要说明的是，相比其他结构的主干网络，本实施例中具有以上结构的主干网络能够降低模型15.6%的参数量和13.8%的计算量，并进一步减少了特征提取消耗的时间。
2、特征融合网络
特征融合网络包括两个分支，第一个分支由上至下包括依次连接的空间金字塔池化SPPCSPC层（SPPCSPC层包括第一CBS层，第一CBS层后连接并联的三个MaxPool层和第二CBS层，且三个MaxPool层叠加后通过第三CBS层和第二CBS层进一步叠加，进一步叠加后连接第四CBS层）、A-CBS层（由Conv层、BN层、SimAM层和Acon-c层组成）、上采样层、ELAN层、A-CBS层和上采样层；第二个分支由下至上包括依次连接的ELAN层、MP层、ELAN层、MP层和ELAN层。
其中，主干网络中最后一个ELAN层的输出连接特征融合网络第一个分支中的SPPCSPC层（SPPCSPC层是一种特殊的卷积神经网络结构，用于提取图像特征并实现目标检测。SPPCSPC层的原理是将输入的特征图进行分块，每个块内进行不同大小的池化操作，然后将池化后的结果按照原来的块的位置进行拼接，最后再进行卷积操作，这样就能够在保持感知野不变的同时，减少模型的计算量）得到C1特征；主干网络中倒数第二个ELAN层的输出通过A-CBS层（由Conv层、BN层、SimAM层和ACON-C层组成）与特征融合网络第一个分支中的第一个上采样层的输出叠加后输入第一个分支中的ELAN层得到C2特征；主干网络中倒数第三个ELAN层的输出通过A-CBS层与特征融合网络第一个分支中的第二个上采样层的输出叠加后输入特征融合网络第二个分支中第一个ELAN层得到C3特征。主干网络不同ELAN层输出的不同尺度的特征图经过自上而下逐步融合，使得每个不同尺度的特征图都能够获得其他尺度特征图的上下文信息。
需要说明的是，主干网络中最后一个ELAN层通过SPPCSPC层连接特征融合网络，而前2个ELAN层则是通过A-CBS层连接特征融合网络，原因在于：SPPCSPC层和A-CBS层都是用于特征提取和信息融合的模块，但它们在处理特征信息时的方式有所不同，其中，A-CBS层主要用于提取图像特征，在开始的两个CBS中，输入输出特征大小保持不变，通道数会有变化。
而SPPCSPC层则是一种特殊的空间金字塔池化模块，用于提取多尺度的特征信息，其作用是在不同尺度上进行特征融合，以便更好地检测不同大小的目标。SPPCSPC层首先使用不同尺度的池化操作，分别对输入特征图进行不同大小的池化操作，然后将池化后的特征图进行拼接，形成一个多尺度的特征图。
因此，在主干网络中，前两个ELAN层通过A-CBS层连接特征融合玩够以用于提取基础特征，而最后一个ELAN层通过SPPCSPC层连接特征融合网络则是为了提取更丰富、多尺度的特征信息，以提高模型对不同大小目标的检测能力。这种设计使得模型能够更好地适应不同尺度的目标检测任务，并提高检测准确度和召回率。
此外，主干网络中倒数第二个ELAN层的输出与特征融合网络中第一个分支中的上采样的输出融合后还经过第一个分支中的ELAN层输出至第二个分支中以与主干网络中倒数第三个ELAN的输出叠加，并进一步与主干网络中倒数第一个ELAN层的输出叠加。主干网络不同ELAN层输出的不同尺度的特征图经过进一步自下而上再一次逐步融合，使得每个不同尺度的特征图都能够进一步获得其他尺度特征图的上下文信息。
需要说明的是，主干网络的最后三个ELAN层之所以分别连接到特征融合网络的不同分支上，这是因为ELAN层能够提取不同尺度的特征，而特征融合网络则负责将这些特征进行融合和上采样，通过这种方式，模型可以在不同的尺度上进行目标检测，从而提高检测的准确性和鲁棒性。具体来说，经过4个CBS后，接入例如一个ELAN，然后后面就是三个MP+ELAN的输出，对应的就是C3/C4/C5的输出，大小分别为80*80*512，40*40*1024，20*20*10242。这样设计的目的是为了使模型能够在不同尺度上进行目标检测。
此外，A-CBS层是本发明在现有特征融合网络的基础上额外引进的，A-CBS层作为特征融合模块，主要用于在不增加额外参数的情况下，增强特征图中重要神经元的响应，抑制无关神经元的干扰，从而提取更加有用和鲁棒的特征信息（神经网络中，重要神经元通常对应于输入数据中的重要特征，而无关神经元可能对应于噪声或其他不相关的信息。通过增强重要神经元的响应并抑制无关神经元的干扰，A-CBS层可以帮助网络更好地捕捉到输入数据中的关键信息，从而提取出更有用和鲁棒的特征，这些特征可以用于后续的任务，从而提高模型的性能）。A-CBS层由卷积层Conv、批归一化层BN、SimAM注意力层和ACON-C激活函数组成，其中，如图4所示，SimAM注意力机制是一种基于能量函数评估神经元重要性的三维自注意力机制，它可以在不引入大量参数的情况下，推断特征图中的三维注意力权重，从而增强对于特征图中重要神经元的选择，以及实现对特征图无关神经元进行过滤（特征图中的三维注意力权重是一种表示每个神经元对目标检测任务的贡献程度的数值。如果一个神经元的注意力权重很高，说明它包含了很多有用的信息，比如目标的位置、形状、颜色等。如果一个神经元的注意力权重很低，说明它包含了很多无关的信息，比如背景噪声、遮挡物等。通过推断特征图中的三维注意力权重，可以筛选出那些对目标检测任务有帮助的神经元，同时抑制那些对目标检测任务没有帮助或者有干扰的神经元。这样就可以增强对重要神经元的选择，从而提取更加有用和鲁棒的特征信息，提高目标检测的精度和速度）。
进一步的，SimAM注意力机制能够同时考虑通道维度和空间维度的信息，而不是像现有的1D通道注意力和2D空间注意力那样只关注其中一个维度。SimAM注意力机制的优势在于：无需引入额外的参数，也无需消耗大量的计算资源，就能够有效地推导出三维注意力权重。SimAM注意力机制的核心是一个Energy能量函数，该函数能够简单而高效地计算出每个维度上的注意力权重。三维注意力权重计算公式为：
，
其中，X为输入特征；激活函数为sigmoid函数；⊙表示Hadamard乘积；
通过sigmoid激活函数限制每个通道上的能量函数E中可能出现的过大值，E的计算表达式如下：
，
其中，t为输入特征的值，t∈X，λ为常数1e-4（即科学计数法，其表示10的-4次方），μ和σ2分别表示输入特征X中每个通道上的均值和方差，μ和σ2计算如下：
，
，
其中，i表示输入特征X中每个通道上的值的索引，x表示输入特征X中每个通道上的值，即x i =X(i)；M=H×W，表示每个通道上的值的数量。通过以上计算可获得每个点的三维注意力权重，以此来改善网络的识别效果，同时也不会为网络增加额外的参数。
总之，相比于其他自注意力机制，本发明使用SimAM，具有更高的计算效率和更低的内存消耗。
另外，ACON-C激活函数是一种改善卷积神经网络中激活函数非线性特性的激活函数，其通过引入开关因子去学习非线性（激活）和线性（非激活）之间的参数切换，自适应地学习是否激活神经元。ACON-C是ACON函数族中最简单的一种情况，本发明利用ACON-C以有效地提高网络的性能和鲁棒性，ACON-C激活函数表示如下：
，
其中，x表示输入特征X中每个通道上的值，p1和p2表示两个可学习参数，能够改善上下界的值，在网络中可自适应的调整；此处的σ表示sigmoid激活函数；此处的β表示平滑因子，用于控制是否激活神经元，其中β为0则不激活。
综上所述，本发明设计的基于SimAM注意力机制的特征融合网络，在保证网络速度和性能的前提下，能够尽可能地增强有效特征信息的利用。该特征融合网络可以方便地嵌入到任何卷积神经网络中，从而提高网络对输入特征图的相关性学习能力，进而提取更加有用和鲁棒的特征信息。
以上，特征融合网络通过自上而下以及自下而上对由主干网络所提取的特征图进行双向融合，使得特征图中包含了丰富的语义信息和详细的空间信息。
3、检测头
本实施例采用动态多尺度检测头，该检测头使用REP重参数化实现多尺度分析，同时引入具有动态非单调的WIoUv3损失函数LWIoUv3进行动态分析。
具体的，REP重参数化模块采用重参数化设计，其结构如图5所示，REP重参数化模块通过在训练阶段增加计算代价来提高推理阶段的速度（具体来说，在训练时，REP重参数化模块使用了较大的卷积核和较多的通道数来提取更丰富的特征信息，并使用了复杂的损失函数来优化模型参数；而在推理时（“推理时”是指将优化后的检测算法模型部署在巡检机器人上，形成嵌入式检测模块，该模块能够对采集模块获取的图像数据进行实时或离线的分析处理，输出图像中井口阀门开关、编号以及方井周围异物的位置、类别、状态等信息，并给出相应的置信度评分），REP结构则使用了较小的卷积核和较少的通道数来减少计算量，并使用了简单的阈值判断来输出检测结果）。将主干网络提取的多尺度特征图（分别为80×80×128，40×40×256，20×20×512）输入到REP重参数化中，进行锚框位置和物体分类的预测，最后用WIoUv3损失函数进行反向传播从而更新权重参数，从而实现本发明的模型对不同尺度目标的检测。
WIoU损失函数是一种基于动态非单调聚焦机制和梯度增益机制的锚框质量评估函数。该函数可以在保证高质量锚框效果的同时，减少低质量锚框产生的有害梯度的影响，从而提高网络的整体性能。此外，WIoU损失函数还构建了两层注意力机制，分别是空间注意力机制和通道注意力机制，用于防止网络收敛缓慢，提高收敛精度，增强模型泛化能力。假设(x,y)在目标框gt的对应坐标为，/>表示高质量锚框的损失，WIoU损失函数LWIoUv1表示为：
，
其中，
，
为了避免质量较低的样本产生较大的有害梯度， 基于WIoU损失函数LWIoUv1构造了抑制有害梯度的损失函数LWIoUv3，其表示为：
，
其中，
，
，
其中，
为了防止RwIoU阻碍梯度的收敛，Wg和Hg被从计算图中分离出来，上述RwIoU 公式中分母处上标*表示将Wg和Hg从计算图中分离出来的操作；
RwIoU为中间变量，由于其表示高质量锚框的损失，且其取值大于等于1，因此其用于放大普通质量锚框；
LIoU=1-IoU，其中，IoU为交并比，LIoU为一种损失，其表征了用于降低高质量锚框的损失，其取值大于等于0且小于等于1；
r为梯度增益，β为离群值，α和δ是控制梯度增益r的超参数；Wg和Hg为最小外接框的宽和高，xgt、ygt分别表示(x,y)在目标框gt的对应横坐标和纵坐标；
相对LIoU此种损失而言， 等于LIoU与β的乘积，其表示消除阻碍收敛的有害梯度后的损失；
需要说明的是，当锚框与目标框完全重合时，本发明会将焦点放在锚框、目标框的中心点之间的距离上。
示例性的，选取α=1.9，δ=3。
需要说明的是，通过在特征融合网络中输出的不同尺度的特征图之间建立自上而下和自下而上的连接，使得每个尺度的特征图都能获取到其他尺度的上下文信息。REP重参数化包括3×3的卷积添加1×1的卷积分支，同时，如果输入和输出的通道数以及高度和宽度大小一致时，再添加一个批归一化BN层的分支，三个分支相加输出，这样可以在保持感知野不变的同时，减少模型的计算量。
进一步需要说明的是，特征融合网络第二个分支中的三个ELAN层分别连接到检测头的的三个分支上，而不是汇总后再输入，这是因为──如此就可以使模型在不同的尺度上进行目标检测，通过这种方式，模型可以在不同尺度上获取丰富的语义信息和详细的空间信息。这对于目标检测任务来说非常重要，因为它可以帮助模型在不同的尺度上检测目标。
另一个实施例中，步骤S300中，所述井口阀门检测模型通过以下步骤进行训练：
S301：构建包含井口阀门的图像数据集，对数据集预处理后划分为训练集和测试集；
S302：设置训练参数，例如，使用自适应矩估计（Adam）作为优化器，设置初始学习率设置为0.01，批量大小设置为16，权重衰减系数设置为0.0005，以防止过拟合；使用Warmup方法来训练模型，它可以在训练初期提高学习率，以加速收敛过程，并避免陷入局部最优解；训练轮次的总次数设置为300，学习率动量参数设置为0.937。在Warmup之后，使用基于余弦函数的退火策略来更新学习率，它可以在训练后期逐渐降低学习率，以达到更好的泛化性能。此外，采用了一维线性插值法来实现学习率的平滑变化。
设置好训练参数后，利用训练集对模型进行训练，当达到所设置的训练轮次的总次数，模型训练完毕；
S303：利用测试集对模型进行测试，在测试过程中，根据模型输出的目标位置信息、目标类别和类别置信度以判断测试是否成功，如果模型的输出结果高于或等于0.90的置信度，说明测试成功；否则测试不通过，需要对训练参数进行调整，然后重新对模型进行训练。
本实施例中，通过学习，使得模型能够从图像中学习到阀门的以下特征：阀门的位置、形状、大小、颜色、编号等视觉特征；阀门的开关状态、异常情况等功能特征；阀门与周边环境的空间关系、相对位置等几何特征。以及能够学习到周边环境的以下特征：周边环境的背景、光照、遮挡等影响因素；周边环境中的异物、危险物品等目标物体；周边环境中的异常情况、安全隐患等问题。
另一个实施例中，本发明还提供一种井口阀门检测装置，所述装置包括：
获取模块，用于获取井口阀门及其周边环境输入图像；
预处理模块，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练模块，用于构建井口阀门检测模型并进行训练；其中，所述井口阀门检测模型包括主干网络，主干网络包括多个P-CBS层、ELAN层和MP层，且P-CBS层中通过引入PConv算子以降低模型的计算量和内存访问量；所述井口阀门检测模型还包括特征融合网络，所述特征融合网络额外引入了A-CBS层以增强特征图中重要神经元的响应和抑制无关神经元的干扰，从而提取有用的特征信息；
检测模块，用于将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
另一个实施例中，本发明还提供一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
另一个实施例中，本发明还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
本发明申请人结合说明书附图对本发明的实施方案进行了详细的描述，但是本领域的技术人员应该理解，以上实施方案仅为本发明优选的实施示例，并不仅仅局限于上述的具体实施方案。详尽的说明知识为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或变动都应当包含在本发明的保护范围之中。
Claims (6)
1.一种井口阀门检测方法，其特征在于，所述方法包括以下步骤：
S100：获取井口阀门及周边环境输入图像；
S200：对输入图像预处理，以获得预处理后的输入图像；
S300：构建井口阀门检测模型并进行训练；
其中，所述井口阀门检测模型包括主干网络，主干网络包括多个P-CBS层、ELAN层和MP层，且P-CBS层中通过引入PConv算子以降低模型的计算量和内存访问量；所述井口阀门检测模型还包括特征融合网络，所述特征融合网络额外引入了A-CBS层以增强特征图中重要神经元的响应和抑制无关神经元的干扰，从而提取有用的特征信息；
S400：将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
2.根据权利要求1所述的方法，其特征在于，步骤S200中，所述对图像预处理包括以下步骤：
S201：对输入图像进行尺寸调整；
S202：对尺寸调整后的输入图像进行归一化处理；
S203：对归一化处理后的输入图像进行数据增强，以获得数据增强后的输入图像。
3.根据权利要求1所述的方法，其特征在于，步骤S300中，所述井口阀门检测模型通过以下步骤进行训练：
S301：构建包含井口阀门及其周边环境的图像数据集，对数据集预处理后对图像中的阀门、阀门编号以及阀门周边环境进行标注，将标注后的数据集划分为训练集和测试集；
S302：设置训练参数，利用训练集对模型进行训练，当达到训练轮次的总次数后，模型训练完毕；
S303：利用测试集对模型进行测试，在测试过程中，若模型的输出结果的置信度高于或等于0.90，模型测试通过；否则需要对训练参数进行调整以重新对模型进行训练。
4.一种井口阀门检测装置，其特征在于，所述装置包括：
获取模块，用于获取井口阀门及其周边环境输入图像；
预处理模块，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练模块，用于构建井口阀门检测模型并进行训练；其中，所述井口阀门检测模型包括主干网络，主干网络包括多个P-CBS层、ELAN层和MP层，且P-CBS层中通过引入PConv算子以降低模型的计算量和内存访问量；所述井口阀门检测模型还包括特征融合网络，所述特征融合网络额外引入了A-CBS层以增强特征图中重要神经元的响应和抑制无关神经元的干扰，从而提取有用的特征信息；
检测模块，用于将预处理后的输入图像输入训练好的井口阀门检测模型中，以实现对输入图像中的井口阀门进行识别以及对阀门周边环境进行检测。
5.一种电子设备，其特征在于，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现权利要求1至3任一所述的方法。
6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311486347.7A CN117218329B (zh) | 2023-11-09 | 2023-11-09 | 一种井口阀门检测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311486347.7A CN117218329B (zh) | 2023-11-09 | 2023-11-09 | 一种井口阀门检测方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218329A true CN117218329A (zh) | 2023-12-12 |
| CN117218329B CN117218329B (zh) | 2024-01-26 |
Family
ID=89041063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311486347.7A Active CN117218329B (zh) | 2023-11-09 | 2023-11-09 | 一种井口阀门检测方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218329B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830313A (zh) * | 2024-03-05 | 2024-04-05 | 四川泓宝润业工程技术有限公司 | 基于深度学习的油田井口下方检测方法、装置、系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN115393638A (zh) * | 2022-08-15 | 2022-11-25 | 辽宁石油化工大学 | 一种基于改进的残差网络的管阀件漏磁图像识别方法 |
| CN115862073A (zh) * | 2023-02-27 | 2023-03-28 | 国网江西省电力有限公司电力科学研究院 | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 |
| CN115861853A (zh) * | 2022-11-22 | 2023-03-28 | 西安工程大学 | 基于改进yolox算法的复杂环境下输电线路鸟巢检测方法 |
| CN115937655A (zh) * | 2023-02-24 | 2023-04-07 | 城云科技（中国）有限公司 | 多阶特征交互的目标检测模型及其构建方法、装置及应用 |
| CN116309459A (zh) * | 2023-03-21 | 2023-06-23 | 中国人民解放军国防科技大学 | 基于改进网络的肺结节检测方法、装置、设备和存储介质 |
| CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
| CN116543433A (zh) * | 2023-04-17 | 2023-08-04 | 北京信息科技大学 | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 |
| CN116777873A (zh) * | 2023-06-21 | 2023-09-19 | 淮阴工学院 | 一种基于改进YOLOv7算法的带钢表面缺陷检测方法 |
| CN116805366A (zh) * | 2023-06-27 | 2023-09-26 | 淮阴工学院 | 一种基于改进Yolov7-tiny的轻量化目标检测方法 |
| CN116844126A (zh) * | 2023-07-19 | 2023-10-03 | 太原科技大学 | 一种基于YOLOv7改进的复杂道路场景目标检测方法 |
| CN116844114A (zh) * | 2023-07-25 | 2023-10-03 | 江苏科技大学 | 一种基于YOLOv7-WFD模型的安全帽检测方法及装置 |
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| US20230351573A1 (en) * | 2021-03-17 | 2023-11-02 | Southeast University | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges |
-
2023
- 2023-11-09 CN CN202311486347.7A patent/CN117218329B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230351573A1 (en) * | 2021-03-17 | 2023-11-02 | Southeast University | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges |
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN115393638A (zh) * | 2022-08-15 | 2022-11-25 | 辽宁石油化工大学 | 一种基于改进的残差网络的管阀件漏磁图像识别方法 |
| CN115861853A (zh) * | 2022-11-22 | 2023-03-28 | 西安工程大学 | 基于改进yolox算法的复杂环境下输电线路鸟巢检测方法 |
| CN115937655A (zh) * | 2023-02-24 | 2023-04-07 | 城云科技（中国）有限公司 | 多阶特征交互的目标检测模型及其构建方法、装置及应用 |
| CN115862073A (zh) * | 2023-02-27 | 2023-03-28 | 国网江西省电力有限公司电力科学研究院 | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 |
| CN116309459A (zh) * | 2023-03-21 | 2023-06-23 | 中国人民解放军国防科技大学 | 基于改进网络的肺结节检测方法、装置、设备和存储介质 |
| CN116543433A (zh) * | 2023-04-17 | 2023-08-04 | 北京信息科技大学 | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 |
| CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
| CN116777873A (zh) * | 2023-06-21 | 2023-09-19 | 淮阴工学院 | 一种基于改进YOLOv7算法的带钢表面缺陷检测方法 |
| CN116805366A (zh) * | 2023-06-27 | 2023-09-26 | 淮阴工学院 | 一种基于改进Yolov7-tiny的轻量化目标检测方法 |
| CN116844126A (zh) * | 2023-07-19 | 2023-10-03 | 太原科技大学 | 一种基于YOLOv7改进的复杂道路场景目标检测方法 |
| CN116844114A (zh) * | 2023-07-25 | 2023-10-03 | 江苏科技大学 | 一种基于YOLOv7-WFD模型的安全帽检测方法及装置 |
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
Non-Patent Citations (8)
| Title |
|---|
| C. LOU等: "Improved YOLOv7-Based Method for Bird Detection in Substation Scenarios", 《2023 IEEE 13TH INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS (CYBER)》, pages 775 - 780 * |
| CHEN J等: "Run, Don\'t Walk: Chasing Higher FLOPS for Faster Neural Networks", 《ARXIV:2303.03667V3 [CS.CV] 》, pages 1 - 15 * |
| H. YANG等: "Improved YOLOv5 Based on Feature Fusion and Attention Mechanism and Its Application in Continuous Casting Slab Detection", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 72, pages 1 - 16 * |
| MA N等: "Activate or not: Learning customized activation", 《ARXIV:2009.04759V2 [CS.CV] 》, pages 1 - 11 * |
| W. ZHOU等: "YOLOTrashCan: A Deep Learning Marine Debris Detection Network", 《 IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 72, pages 1 - 12 * |
| 刘丽伟等: "基于SimAM-YOLOv4的自动驾驶目标检测算法", 《长春工业大学学报》, vol. 43, no. 3, pages 244 - 250 * |
| 肖振久等: "改进YOLOv7的SAR舰船检测算法", 《计算机工程与应用》, vol. 59, no. 15, pages 243 - 252 * |
| 龙艺文等: "改进YOLOX的轻量级人体跌倒检测算法", 《电子测量技术》, vol. 46, no. 10, pages 109 - 116 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830313A (zh) * | 2024-03-05 | 2024-04-05 | 四川泓宝润业工程技术有限公司 | 基于深度学习的油田井口下方检测方法、装置、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218329B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117218329B (zh) | 一种井口阀门检测方法、装置、存储介质及电子设备 | |
| CN111753918B (zh) | 一种基于对抗学习的去性别偏见的图像识别模型及应用 | |
| CN112446379B (zh) | 一种动态大场景自适应智能处理方法 | |
| CN109886267A (zh) | 一种基于最优特征选择的低对比度图像显著性检测方法 | |
| CN110991257A (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN114782734A (zh) | 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质 | |
| CN111553227A (zh) | 基于任务指导的轻量级人脸检测方法 | |
| CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN112560895A (zh) | 一种基于改进PSPNet网络的桥梁裂缝检测方法 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN111553230A (zh) | 无约束场景下的基于特征强化的渐进式级联人脸检测方法 | |
| CN113505712A (zh) | 基于新型损失函数的卷积神经网络的海面溢油检测方法 | |
| CN117079095A (zh) | 基于深度学习的高空抛物检测方法、系统、介质和设备 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 | |
| CN116665095A (zh) | 一种运动舰船检测方法、系统、存储介质和电子设备 | |
| CN108710920B (zh) | 示功图识别方法及装置 | |
| CN113723181A (zh) | 一种无人机航拍目标检测方法和装置 | |
| CN113344005A (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
| Zailan et al. | YOLO-based Network Fusion for Riverine Floating Debris Monitoring System | |
| CN113449611B (zh) | 一种基于yolo网络压缩算法的安全帽识别智能监控系统 | |
| CN116503603B (zh) | 一种基于弱监督语义分割和特征弥补的类间遮挡目标检测网络模型的训练方法 | |
| CN115424023B (zh) | 一种增强小目标分割性能的自注意力方法 | |
| CN115050021B (zh) | 基于改进YOLOv4的非结构环境下葡萄识别方法 | |
| CN112419227B (zh) | 基于小目标搜索缩放技术的水下目标检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |