CN115294556B - 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法 - Google Patents

基于改进YOLOv5的密闭振动筛上异常流态流体检测方法 Download PDF

Info

Publication number
CN115294556B
CN115294556B CN202211186386.0A CN202211186386A CN115294556B CN 115294556 B CN115294556 B CN 115294556B CN 202211186386 A CN202211186386 A CN 202211186386A CN 115294556 B CN115294556 B CN 115294556B
Authority
CN
China
Prior art keywords
vibrating screen
frame
yolov5
box
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211186386.0A
Other languages
English (en)
Other versions
CN115294556A (zh
Inventor
王国荣
陈帅羽
胡刚
庞东晓
王志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202211186386.0A priority Critical patent/CN115294556B/zh
Publication of CN115294556A publication Critical patent/CN115294556A/zh
Application granted granted Critical
Publication of CN115294556B publication Critical patent/CN115294556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，采集密闭振动筛内筛网上的图像信息；将所述图像信息输入至改进的YOLOv5网络模型；所述改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；由改进的YOLOv5网络模型识别筛网上的异常流态流体；输出识别结果。本发明提供基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，以解决现有技术中无法对密闭振动筛内部的钻井液流动状态进行检测、严重制约密闭振动筛的实际工程运用的问题，实现自动化检测密闭振动筛内部的钻井液异常流态、使密闭振动筛的工程实际运用成为可能的目的。

Description

基于改进YOLOv5的密闭振动筛上异常流态流体检测方法
技术领域
本发明涉及钻井工程领域，具体涉及基于改进YOLOv5的密闭振动筛上异常流态流体检测方法。
背景技术
振动筛，是石油天然气钻井工程中必不可少的固控设备。传统的敞开式振动筛由于直接暴露在室外，会将钻井返出泥浆（钻井液）中所含的有害气体排放到外界环境中。随着环境保护要求的日益提高和出于对现场工人作业安全的考虑，这种传统的敞开式振动筛不环保、不安全的弊端已逐渐突出。基于此，现有技术中已经有相关研究人员开始了密闭振动筛的研发并取得了一定成果。
振动筛作为钻井固控系统中的核心设备之一，其需要筛分井内返出的岩屑和钻井液，在钻井进尺较快或返出岩屑泥页岩含量较大等工况下，容易有岩屑附着堵塞筛网上而导致跑浆现象发生，容易造成大量的钻井液浪费并污染周围土地/海洋环境。在跑浆现象发生前和发生过程中，振动筛筛网上的泥浆会出现异常流动状态，对于传统的敞开式振动筛而言，现场工人即可通过肉眼观察从而对筛网进行清理。然而，对于密闭振动筛而言则无法做到这一点。因此，如何准确、高效的从密闭振动筛筛网上检测出不正常流态流体并实现对密闭振动筛的无人化观测已成为密闭振动筛实际运用中的亟待解决的问题之一。
发明内容
本发明提供基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，以解决现有技术中无法对密闭振动筛内部的钻井液流动状态进行检测、严重制约密闭振动筛的实际工程运用的问题，实现自动化检测密闭振动筛内部的钻井液异常流态、使密闭振动筛的工程实际运用成为可能的目的。
本发明通过下述技术方案实现：
基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，包括：
采集密闭振动筛内筛网上的图像信息；
将所述图像信息输入至改进的YOLOv5网络模型；所述改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；
由改进的YOLOv5网络模型识别筛网上的异常流态流体；
输出识别结果。
针对现有技术中没有有效手段实现对密闭振动筛内部的流体流动状态检测、严重制约密闭振动筛工程运用的问题，本发明提出一种基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，通过引入目标检测算法在密闭振动筛上的运用来实现对筛网异常状态监测。具体的，本申请以改进的YOLOv5网络模型作为神经网络，采集密闭振动筛内部筛网上的图像信息并输入至改进的YOLOv5网络模型中，由改进的YOLOv5网络模型进行特征识别，识别出异常流态流体后输出结果，向工作人员发出提示信息，工作人员即可根据该提示信息对密闭振动筛的筛网安排进行人工或自动的清理操作。
YOLOv5是一种现有的神经网络模型，按照不同的深度和宽度可以分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个基本结构相同的模型。YOLOv5的结构可以分为四个部分：输入模块、骨干部分（Backbone Part）、颈部（Neck Part）和输出模块。其中，输入模块对输入的图像进行数据增强、自适应锚框计算和自适应图像缩放等操作；骨干部分的作用主要是通过多次采样从输入图像中提取特征；YOLOv5网络采用CSPDarknet作为主干网络，首先经过Focus模块对图片进行切片，得到初始的多通道特征映射，然后经过两个卷积模块将特征映射划分为两部分，再通过跨阶段层次结构将它们合并，在减少计算量的同时可以保证准确率。颈部中有两次上采样过程，这里的两次上采样都会和骨干部分中同样尺寸的特征图进行拼接。拼接后经过后面的模块进一步对特征进行提取操作。最后，经过输出模块的处理输出三个大小分别为19×19，36×36和72×72的特征图；输出模块在三个不同尺度的特征图上生成候选框，最后输出采用加权非极大值的方式对目标框进行筛选，输出目标分类和边框回归。
然而，本案发明人在研究过程中发现，传统的YOLOv5在骨干部分的C3模块中使用的是普通卷积核Convolution，该卷积核具有通道特异性和空间不变性的特点，即是在图像所有位置都使用一个卷积核，限制了提取特征的能力，导致模型提取出来的特征比较单一；特别是用于本申请中密闭振动筛上异常流态流体检测时，由于筛网上的异常流态流体呈不规则跳动，加上卷积运算中由于通道数量的个数一般较多，导致计算过程中的参数量和计算量很大，为了限制参数量和计算量的规模，导致神经网络训练时使用的卷积核较小，从而限制了感受野（Receptive Field）的大小，使得模型在训练时只能提取到图片的局部信息，最终影响模型的检测精度。为了克服上述缺陷，本申请在改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；通过将权重自适应的分配到不同的位置，对不同信息量的特征进行优先级排序，能够在更广阔的空间中聚合上下文，以此克服了常规卷积使用小卷积核导致的感受野有限的缺陷，能够显著提高对密闭振动筛上异常流态流体的特征识别效果。
可以看出，本申请解决了现有技术中无法对密闭振动筛内部的钻井液流动状态进行检测的问题，实现了自动化检测密闭振动筛内部的钻井液异常流态、使密闭振动筛的工程实际运用成为可能，填补了现有技术的空白。
进一步的，所述自适应分配权重的卷积核采用如下卷积方法：
取出图像中的某一个像素点，将该像素点代入下式计算，得到第一特征图：
H i,j =W1σ(W0X i,j )；
式中，H i,j 为该像素点经过计算后得到的值；W1代表线性变换；σ代表批量归一化非线性激活函数；W0代表线性变换；X i,j 代表该像素点的大小；i，j为该像素点的坐标；
对第一特征图进行通道维度到空间维度的转换，再将转换结果与该像素点相乘得到第二特征图；
对第二特征图进行聚合并相加，得到第三特征图，完成对该像素点的计算；
完成对图像中所有像素点的计算，完成卷积。
普通卷积核Convolution在工作时，除了限制了感受野的大小，使得模型在训练时只能提取到图片的局部信息之外，其通道特异性还使得每个通道都提取不同类型的特征，产生了数据冗余。本方案所公开的卷积方法，通过共享卷积核，可以有效地减少卷积核的冗余信息，以极低的计算代价提高了计算精度，能够更有效的提取特征图中所包含的多种语义信息。
进一步的，所述改进的YOLOv5网络模型通过如下方法建立：
获取包含异常流态流体的振动筛筛网图像作为数据集；
对数据集中的检验框进行聚类，以聚类后得到的检验框替换YOLOv5网络中的初始检验框；
添加注意力模块；
确定边界框损失函数；
将数据集输入YOLOv5网络进行训练，以训练好的模型作为改进的YOLOv5网络模型。
进一步的，所述添加注意力模块的方法包括：
引入CBAM注意力机制，所述CBAM注意力机制包括通道注意力模块、空间注意力模块；
得到通道注意力模块中每个通道的权重值；
基于权重值对所有通道进行加权计算，得到合并池化结果；
基于合并池化结果计算通道注意力；
由空间注意力模块计算空间注意力。
YOLOv5在提取特征信息的过程中没有侧重提取目标区域的关键信息，对不同重要程度的特征采用相同的加权方式，同时由于拍摄的密闭振动筛照片中含有较多的杂乱无关背景信息，因此本方案通过引入CBAM注意力机制来解决现有YOLOv5网络无重点信息侧重的问题，使网络能够在检测过程中更加关注兴趣目标，减少图片无关背景信息的干扰。
作为本领域公知常识，CBAM分为了通道注意力模块和空间注意力模块，通道注意力模块重点检测目标的内容，空间注意力重点检测目标在空间中的位置，两者相结合可以使输出信息更聚焦于重点特征信息，抑制无关信息的干扰，从而提高模型的检测准确率。然而，发明人在研究过程中发现，由于本申请的检测方法仅用于检测密闭振动筛上异常流态流体是否存在且其所处位置、仅进行单目标识别，而传统的CBAM所包含的平均池化步骤在单独进行平均池化的过程中容易导致信息丢失（漏掉图片的背景信息），导致对密闭振动筛上异常流态流体的检测精度较低。为了克服这一问题，本方案对CBAM注意力机制进行改进优化，去掉了其中的平均池化步骤，并设计了一种新的池化方式：合并池化。
本方案所提出的合并池化，其核心是将最大池化和平均池化的结果通过加权的方式进行计算，这样能保障神经网络模型提取数据的纹理特征的同时不会漏掉图片的背景信息，避免了最大池化和平均池化单独作用时造成的信息丢失的问题。并且，用户可以根据应用环境及使用需求的不同，灵活调整合并池化中各部分的权重比例，只需满足所有部分的权重之和为1即可。将求得的通道注意力（即通道注意力模块的输出）与原始特征图相乘，即可得到通道注意力特征图；同理，将求得的空间注意力（即空间注意力的输出）与该模块的输入相乘，即可得到最终生成的特征。
所述合并池化结果通过如下公式计算：
Mergepool(F)=(αMaxPool(F)+βavgpool(F))/2；
式中，Mergepool(F)为合并池化结果；MaxPool(F)为最大池化结果；avgpool(F)为平均池化结果；α为最大池化的加权系数；β为平均池化的加权系数；且满足α+β=1。
通过如下公式计算通道注意力：
Mc(F)=σ'(MLP(MaxPool(F))+MLP(Mergepool(F)))；
式中，Mc(F)为通道注意力；σ'为激活函数；MLP为包含一个隐藏层的神经网络。
通过如下公式计算空间注意力：
Ms(F) =σ'(f 7×7([MaxPool(F), Mergepool(F)]))；
式中，Ms(F)为空间注意力；σ'为激活函数；f 7×7为代表卷积核的大小。
可以看出，本方案对通道注意力、空间注意力的计算均依赖本申请所提出的合并池化的计算结果，本方案通过摒弃传统的平均池化步骤，并设计全新的合并池化的方式，解决了密闭振动筛图片中背景信息丢失的问题。
进一步的，确定的边界框损失函数为α-DEIoU loss ：
Figure 394494DEST_PATH_IMAGE001
；
式中，α-EIoU为惩罚项；r为真实框和预测框的高度差与中心点之间的欧氏距离的比值；β'为用于平衡r的参数项。
传统的Yolov5网络中最常使用的损失函数为CIoU边界框损失函数，但CIoU在训练过程中存在检测框的纵横比描述模糊的问题，会导致模型预测出的检测框准确度不高；特别是由于振动筛上的流体运动状态呈现多样化，会导致出现极端纵横比的检测框，因此传统的CIoU边界框损失函数并不适用于密闭振动筛上异常流态流体检测。基于此，本方案提出了全新的边界框损失函数α-DEIoU loss ，该边界框损失函数相较于现有的损失函数而言，在密闭振动筛的目标检测领域内具有如下优点：（1）现有的边界框损失函数在减小过程中梯度的绝对值是恒定的，不能根据当前状态动态的调整梯度值、导致收敛速度较慢，因此若直接用于密闭振动筛上流体检测，存在效率低、速度慢等缺点；而α-DEIoU loss 具有加快收敛速度、满足密闭振动筛的实时、快速检测的需求；（2）在网络训练时可以根据真实框和预测框的差距动态调整预测框的相关参数的次数，使网络训练更加充分；（3）发明人还发现，在训练模型时，当出现预测框的形状相同，且检测框和预测框的欧氏距离相同、预测框相对检测框的位置不同时，计算所得到的α-DEIoU loss 值相同，这就会导致在模型回归时出现多个相同的预测框被舍弃，对于密闭振动筛上流体图像数据而言，由于流体运动的不确定性，可能会出现相同尺寸大小的检测框用来检测不同位置的流体，从而导致图像中的部分特征出现漏检；为了克服这一缺陷，本方案的边界框损失函数α-DEIoU loss 还添加了参数r、β'来表征预测框和真实框的相对位置关系；这种全新的边界框损失函数通过余弦值可以很容易的计算出两框的位置关系，更为直观简便；并且密闭振动筛上的流体位置具有不确定性，整个筛网上的各个位置都有可能出现异常流态的流体，若直接通过两条线的比值来进行计算可能会导致检测结果不精确，而通过两框的余弦值（角度）进行计算，则能够更加精确的计算出待检测目标真实框和预测框的位置关系，增加模型的检测精度，同时避免漏检情况的发生。
进一步的，参数项β'通过如下公式计算：
Figure 726381DEST_PATH_IMAGE002
；式中，IoU为真实框和预测框的交并比；
真实框和预测框的高度差与中心点之间的欧氏距离的比值r通过如下公式计算：
Figure 655022DEST_PATH_IMAGE003
；式中，l为真实框和预测框的高度差；ρ为真实框和预测框中心点之间的欧氏距离。
进一步的，惩罚项α-EIoU通过如下公式计算：
Figure 977419DEST_PATH_IMAGE004
；
式中，IoU为真实框和预测框的交并比；α'为幂变换；b为预测框的中心点；w为预测框的宽度；h为预测框的高度；b gt 为真实框的中心点；w gt 为真实框的宽度；h gt 为真实框的高度；ρ为真实框和预测框中心点之间的欧氏距离；c为同时包含预测框和真实框的最小闭包区域的对角线距离；c w 为覆盖预测框和真实框的最小外接框的宽度；c h 为覆盖预测框和真实框的最小外接框的高度。
本方案对惩罚项α-EIoU的计算，应用了幂变换实现了损失的统一幂化。当出交并比低的噪声框时，会自适应的提高边界框回归损失值，使在训练带有争议的预测框时，抑制边界框损失的降低，避免过拟合现象的发生。相反，当出现交并比高的噪声框时，会相对噪声框获得更低的边界框损失，进而使得网络能够预测更多高交并比对象，使高交并比阈值的目标检测平均精度上升，因此能够使网络对高交并比阈值的目标检测性能得到提高，更加适用于对密闭振动筛上异常流态流的目标检测。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，在改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；通过将权重自适应的分配到不同的位置，对不同信息量的特征进行优先级排序，能够在更广阔的空间中聚合上下文，以此克服了常规卷积使用小卷积核导致的感受野有限的缺陷，能够显著提高对密闭振动筛上异常流态流体的特征识别效果，解决了现有技术中无法对密闭振动筛内部的钻井液流动状态进行检测的问题，实现了自动化检测密闭振动筛内部的钻井液异常流态、使密闭振动筛的工程实际运用成为可能，填补了现有技术的空白。
2、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，通过共享卷积核，可以有效地减少卷积核的冗余信息，以极低的计算代价提高了计算精度，能够更有效的提取特征图中所包含的多种语义信息。
3、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，对CBAM注意力机制进行改进优化，去掉了其中的平均池化步骤，并针对性的设计了合并池化，合并池化能保障神经网络模型提取数据的纹理特征的同时不会漏掉图片的背景信息，避免了最大池化和平均池化单独作用时造成的信息丢失的问题，并且用户可以根据应用环境及使用需求的不同，灵活调整合并池化中各部分的权重比例。
4、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，提出了全新的边界框损失函数α-DEIoU loss ，可克服现有技术用于密闭振动筛上流体检测时存在的效率低、速度慢等缺点，具有加快收敛速度、满足密闭振动筛的实时、快速检测的需求的优点。
5、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，在网络训练时可以根据真实框和预测框的差距动态调整预测框相关参数的次数，使网络训练更加充分。
6、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，所提出的边界框损失函数α-DEIoU loss 中添加了参数r、β'来表征预测框和真实框的相对位置关系，可以很容易的计算出两框的位置关系，更为直观简便；并且密闭振动筛上的流体位置具有不确定性，整个筛网上的各个位置都有可能出现异常流态的流体，若直接通过两条线的比值来进行计算可能会导致检测结果不精确，而通过两框的余弦值进行计算，则能够更加精确的计算出待检测目标真实框和预测框的位置关系，增加模型的检测精度，同时避免漏检情况的发生。
7、本发明基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，对惩罚项的计算应用了幂变换，实现了损失的统一幂化，能够自适应的提高边界框回归损失值，在训练带有争议的预测框时抑制边界框损失的降低、避免过拟合现象的发生；同时能够使网络对高交并比阈值的目标检测性能得到提高，更加适用于对密闭振动筛上异常流态流的目标检测。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明具体实施例的流程示意图；
图2为本发明具体实施例中改进前网络模型的P-R曲线；
图3为本发明具体实施例中改进后网络模型的P-R曲线；
图4为本发明具体实施例中改进前后部分样本的检测效果对比。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。在本申请的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
实施例1：
如图1所示的基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，包括：
采集密闭振动筛内筛网上的图像信息；
将所述图像信息输入至改进的YOLOv5网络模型；所述改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；
由改进的YOLOv5网络模型识别筛网上的异常流态流体；
输出识别结果。
实施例2：
基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，在实施例1的基础上，由于密闭振动筛在工作过程中产生的水雾会对目标的检测精度造成一定的影响，因此本实施例首先对采集到的振动筛上流体的图像进行去雾处理，以此消除后续模型训练过程中可能由于水雾带来的影响。
优选的，其中的去雾处理可基于图像增强、图像复原、自动色彩均衡算法（ACE）等实现。
实施例3：
基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，在上述任一实施例的基础上，所述自适应分配权重的卷积核为：
首先设置卷积核
Figure 525075DEST_PATH_IMAGE005
，用H、W表示图片的高度和宽度、K表示卷积核的大小、G表示将通道维度划分为G个组，每个组内共享同一个卷积核；
Figure 852414DEST_PATH_IMAGE006
代表实数集。
步骤1.首先取出图片中的某一个像素点ψ i,j ={(i,j)}，其中(i,j)表示该像素点的坐标，它的大小可以表示为X i,j 。
步骤2.然后将这个点带入H i,j =W1σ(W0X i,j )中计算，其中
Figure 92902DEST_PATH_IMAGE007
，代表线性变换，主要起到通道压缩的作用，减少参数量；r为中间通道维度的缩减率。σ=ReLU(BN(.))，代表批量归一化和非线性激活函数，主要用来增强模型的泛化能力。
Figure 637016DEST_PATH_IMAGE008
，同样代表线性变换。
经过上述计算最终得到一个(K×K×G) C/r大小维度的特征图，定义为第一特征图。
步骤3.对上述计算出来的特征图进行通道维度到空间维度的转换，即：
1×1×K2G→K×K×G。
步骤4.将上一步计算出来的K×K×G大小的特征图与原来的像素点相乘得到K×K×C大小的特征图，定义为第二特征图。
步骤5.最后对第二特征图进行聚合并相加，得到最终的1×1×C的特征图，定义为第三特征图，这样就完成了对一个像素点的计算过程。
其余的像素点的计算过程重复步骤1至步骤5即可。
实施例4：
密闭振动筛上异常流态流体检测方法，在上述任一实施例的基础上，本实施例通过如下方法建立改进的YOLOv5网络模型：
A、获取包含异常流态流体的振动筛筛网图像作为数据集；
B、对数据集中的检验框进行聚类，以聚类后得到的检验框替换YOLOv5网络中的初始检验框；
C、添加注意力模块；
D、确定边界框损失函数；
E、将数据集输入YOLOv5网络进行训练，以训练好的模型作为改进的YOLOv5网络模型。
其中，添加注意力模块的方法包括：
引入CBAM注意力机制，所述CBAM注意力机制包括通道注意力模块、空间注意力模块；
得到通道注意力模块中每个通道的权重值；
基于权重值对所有通道进行加权计算，得到合并池化结果；
基于合并池化结果计算通道注意力；
由空间注意力模块计算空间注意力。
所述合并池化结果通过如下公式计算：
Mergepool(F)=(αMaxPool(F)+βavgpool(F))/2；式中，Mergepool(F)为合并池化结果；MaxPool(F)为最大池化结果；avgpool(F)为平均池化结果；α为最大池化的加权系数；β为平均池化的加权系数；且满足α+β=1。
通过如下公式计算通道注意力：
Mc(F)=σ'(MLP(MaxPool(F))+MLP(Mergepool(F)))；式中，Mc(F)为通道注意力；σ'为激活函数；MLP为包含一个隐藏层的神经网络。
通过如下公式计算空间注意力：Ms(F) =σ'(f 7×7([MaxPool(F), Mergepool(F)]))；式中，Ms(F)为空间注意力；σ'为激活函数；f 7×7代表卷积核的大小。
实施例5：
密闭振动筛上异常流态流体检测方法，在实施例4的基础上，本实施例中确定的边界框损失函数为α-DEIoU loss ，具体确定过程为：
传统的Yolov5中最常使用的损失函数为CIoU边界框损失函数，但CIoU在训练过程中存在检测框的纵横比描述模糊的问题，会导致模型预测出的检测框准确度不高，同时有振动筛上的流体运动状态呈现多样化，会导致出现极端纵横比的检测框，因此本实施例将Yolov5中的CIoU替换为了EIoU损失函数，在解决CIoU的纵横比模糊定义的同时加快了收敛速度，提高了回归精度。
接下来，引入惩罚项α-IoU。α-IoU通过应用幂变换实现了上述基于IoU的损失的统一幂化。当出现IoU值低的噪声框时，α-IoU会自适应的提高边界框回归损失值，使在训练带有争议的预测框时，抑制边界框损失的降低，避免过拟合现象的发生。相反，当出现IoU值高的噪声框时，α-IoU会相对噪声框获得更低的边界框损失，进而使得网络能够预测更多高IoU对象，使高IoU阈值的目标检测平均精度上升。在此种方法下，最终使网络对高IoU阈值的目标检测性能得到提高。α-EIoU的计算公式为：
Figure 988363DEST_PATH_IMAGE004
；
式中，IoU为真实框和预测框的交并比；α'为幂变换；b为预测框的中心点；w为预测框的宽度；h为预测框的高度；b gt 为真实框的中心点；w gt 为真实框的宽度；h gt 为真实框的高度；ρ为真实框和预测框中心点之间的欧氏距离；c为同时包含预测框和真实框的最小闭包区域的对角线距离；c w 为覆盖预测框和真实框的最小外接框的宽度；c h 为覆盖预测框和真实框的最小外接框的高度。
由上述计算过程所得到的损失α-EIoU loss 会随着α-EIoU的增加而减小，但其减小的过程中梯度的绝对值恒定，不能根据当前状态动态的调整梯度值，导致收敛速度较慢，因此若直接用于密闭振动筛上流体检测，仍然存在效率低、速度慢的缺点。为了加快收敛速度，完成振动筛实时检测的需求，在网络训练时根据真实框和预测框的差距动态调整预测框的相关参数的次数，使网络训练的更加充分，因此本实施例在α-EIoU loss 的基础上设计了新的边界框损失函数α-DEIoU loss 。
并且，Yolov5模型在训练时，当出现预测框的形状相同，且检测框和预测框的欧氏距离相同，预测框相对检测框的位置不同时，计算所得到的α-DEIoU loss 值相同，这就会导致在模型回归时出现多个相同的预测框被舍弃，而在振动筛上流体数据中，由于流体运动的不确定性，可能会出现相同尺寸大小的检测框用来检测不同位置的流体，从而导致图像中的部分特征出现漏检。针对这一问题，本实施例进一步对损失函数进行了改进，引入了预测框和真实框的相对位置关系至α-DEIoU loss 的计算过程中，具体的计算公式如下：
Figure 934322DEST_PATH_IMAGE001
；
式中，α-EIoU为惩罚项；r为真实框和预测框的高度差与中心点之间的欧氏距离的比值；β'为用于平衡r的参数项。
其中，参数项β'通过如下公式计算：
Figure 204766DEST_PATH_IMAGE009
；式中，IoU为真实框和预测框的交并比；
真实框和预测框的高度差与中心点之间的欧氏距离的比值r通过如下公式计算：
Figure 111543DEST_PATH_IMAGE010
；式中，l为真实框和预测框的高度差；ρ为真实框和预测框中心点之间的欧氏距离。
实施例6：
基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，本实施例以实例分析对本申请所记载的检测方法进行验证。
YOLOv5实际上是多个模型的统称，它可以分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个模型，这四个模型的基本结构相同，其中最主要的区别是它们具有不同的深度和宽度，本实施例采用YOLOv5s模型进行后续试验。
由于目前现有技术中暂无公开的、密闭振动筛上异常流态流体的数据集，因此本实施例通过现场拍摄的方式采集了振动筛筛网出口处488张图片，为避免网络在训练过程中出现因数据量小导致欠拟合的问题，引入了数据增强技术，通过水平或垂直翻转、旋转和色彩调整对该数据集进行了扩充，最终得到1464张图片，并按照8:2的比例划分训练集和测试集。经过数据增强后的数据集将在一定程度上提高机器学习模型的泛化能力。数据增强后的数据集采用MakeSense网络工具对图片进行标注，并采用YOLO的格式将标注好的文件导出。
本实施例所使用的深度学习的框架为Pytorch 1.11.0，使用了500个epoch（深度学习领域公知常识，表示一个完整的数据集通过了神经网络一次并且返回了一次的过程）对所有模型进行训练，具体的训练超参数设置如表1所示。
表1 训练超参数配置
Figure 361521DEST_PATH_IMAGE011
本实施例主要采用平均精度(mAP)、精确度（Precision）、召回率（Recall）等评价指标对训练效果进行评估。如图2与图3所示，改进后的P-R曲线面积明显大于改进前传统YOLOv5网络模型的P-R曲线，即改进后的YOLOv5网络模型的平均精度明显高于改进前，平均精度提升了14.4%，可以证明改进后的YOLOv5网络模型的检测准确率有较大幅度的提升。
为了验证本实施例改进后的YOLOv5模型的有效性，申请人还进行了消融实验（维持输入图像尺寸和训练参数不变），实验结果表明，模型的mAP从72.4%提高到76.3%。当同时加入自适应分配权重的卷积核和改进后的CBAM模块时，mAP、准确率和召回率分别提高了14.4%、1.4%和2.8%。
图4给出了用原始YOLOv5模型与本申请改进后的YOLOv5模型的部分样本的检测效果，图4中左侧列为采用原始YOLOv5模型的检测结果、右侧列为采用本申请改进后的YOLOv5模型的检测结果。作为公知常识，本领域技术人员应当理解，图4中的方框为特征识别的检测框。
可以看出，图4中自上而下共四排对比示例；其中：
第一排左图中左侧至右侧检测框的置信度分别为0.35和0.36，右图中左侧至右侧检测框的置信度分别为0.75和0.80，可以看出改进后的YOLOv5算法识别准确率高于原始YOLOv5算法；
第二排左图中检测框的置信度为0.53，右图中左侧至右侧检测框的置信度分别为0.72和0.78，可以看出改进后的YOLOv5算法可以更准确、更全面的识别出不正常流动的流体；
第三排左图中检测框的置信度为0.63，右图中检测框的置信度为0.82，可以看出改进后的YOLOv5算法相较于原始YOLOv5算法检测的准确率更高；
第四排左图中检测框的置信度为0.36，右图中检测框的置信度为0.78，可以看出改进后的YOLOv5算法识别准确率高于原始YOLOv5算法；
所以，改进后的YOLOv5算法可以更准确的识别出不正常流动的流体。改进前后的YOLOv5算法都可以检测到我们感兴趣的区域，但改进后的YOLOv5算法相较于原始YOLOv5算法能够更准确、更全面检测出不正常流动的流体。
表2 算法性能对比
Figure 302932DEST_PATH_IMAGE012
从表2中可以看出，改进后的模型在检测精度方面提高了14.4%，达到了86.8%，这是由于改进后的骨干部分能够更有效的提取图片中所包含的语义信息，并且提取到的信息经过改进后的CBAM模块过滤之后，特征信息所包含的无关背景信息被排除，从而提高了模型的检测精度；在检测速度方面，改进后的模型检测速度稍有降低，这与引入了改进后的CBAM模块和自适应分配权重的卷积核有关，但FPS（每秒传输帧数）值仍达到了63帧/秒，满足实时检测要求；此外，改进后的模型内存占用由原先的13.7MB增加到14.3MB，虽然略有增加但依然满足轻量级标准，说明改进后的YOLOv5模型不需要增加过多的计算和内存消耗就可以提高检测精度，运用在密闭振动筛异常流态流体目标检测任务中是有效的，可以证明本申请能够实现自动化检测密闭振动筛内部的钻井液异常流态、使密闭振动筛具有了工程实际运用的可能。
本实施例还将改进后的YOLOv5模型与其他常见深度学习模型的检测性能进行了对比，包括Faster-RCNN、SSD、YOLOv3、YOLOv4和YOLOv5s这几种现有模型，对比结果如表3所示。
表3 不同算法实验对比
Figure 9857DEST_PATH_IMAGE013
从表3中可以看出，改进后的YOLOv5与Faster-RCNN、SSD、YOLOv3、YOLOv4和YOLOv5s相比，改进后的YOLOv5模型的mAP值分别提高了5.8%，12.7%，15.3%，15.5%，14.4%。可以证明，采用本申请方法改进后的YOLOv5具有更好的性能，且仍能能够满足实时性要求。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体，意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (4)

1.基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，其特征在于，包括：
采集密闭振动筛内筛网上的图像信息；
将所述图像信息输入至改进的YOLOv5网络模型；所述改进的YOLOv5网络模型中，在骨干部分使用自适应分配权重的卷积核；
由改进的YOLOv5网络模型识别筛网上的异常流态流体；
输出识别结果；
所述自适应分配权重的卷积核采用如下卷积方法：
取出图像中的某一个像素点，将该像素点代入下式计算，得到第一特征图：
H i,j =W1σ(W0X i,j )；
式中，H i,j 为该像素点经过计算后得到的值；W1、W0均代表线性变换；σ代表批量归一化非线性激活函数；X i,j 代表该像素点的大小；i，j为该像素点的坐标；
对第一特征图进行通道维度到空间维度的转换，再将转换结果与该像素点相乘得到第二特征图；
对第二特征图进行聚合并相加，得到第三特征图，完成对该像素点的计算；
完成对图像中所有像素点的计算，完成卷积；
所述改进的YOLOv5网络模型通过如下方法建立：
获取包含异常流态流体的振动筛筛网图像作为数据集；
对数据集中的检验框进行聚类，以聚类后得到的检验框替换YOLOv5网络中的初始检验框；
添加注意力模块；
确定边界框损失函数；
将数据集输入YOLOv5网络进行训练，以训练好的模型作为改进的YOLOv5网络模型；
所述添加注意力模块的方法包括：
引入CBAM注意力机制，所述CBAM注意力机制包括通道注意力模块、空间注意力模块；
得到通道注意力模块中每个通道的权重值；
基于权重值对所有通道进行加权计算，得到合并池化结果；
基于合并池化结果计算通道注意力；
由空间注意力模块计算空间注意力；
确定的边界框损失函数为α-DEIoU loss ：
Figure DEST_PATH_IMAGE001
；
式中，α-EIoU为惩罚项；r为真实框和预测框的高度差与中心点之间的欧氏距离的比值；β'为用于平衡r的参数项；
参数项β'通过如下公式计算：
Figure DEST_PATH_IMAGE002
；式中，IoU为真实框和预测框的交并比；
真实框和预测框的高度差与中心点之间的欧氏距离的比值r通过如下公式计算：
Figure DEST_PATH_IMAGE003
；式中，l为真实框和预测框的高度差；ρ为真实框和预测框中心点之间的欧氏距离；
惩罚项α-EIoU通过如下公式计算：
Figure DEST_PATH_IMAGE005
；
式中，IoU为真实框和预测框的交并比；α'为幂变换；b为预测框的中心点；w为预测框的宽度；h为预测框的高度；b gt 为真实框的中心点；w gt 为真实框的宽度；h gt 为真实框的高度；ρ为真实框和预测框中心点之间的欧氏距离；c为同时包含预测框和真实框的最小闭包区域的对角线距离；c w 为覆盖预测框和真实框的最小外接框的宽度；c h 为覆盖预测框和真实框的最小外接框的高度。
2.根据权利要求1所述的基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，其特征在于，所述合并池化结果通过如下公式计算：
Mergepool(F)=(αMaxPool(F)+βavgpool(F))/2；
式中，Mergepool(F)为合并池化结果；MaxPool(F)为最大池化结果；avgpool(F)为平均池化结果；α为最大池化的加权系数；β为平均池化的加权系数；且满足α+β=1。
3.根据权利要求2所述的基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，其特征在于，通过如下公式计算通道注意力：
Mc(F)=σ'(MLP(MaxPool(F))+MLP(Mergepool(F)))；
式中，Mc(F)为通道注意力；σ'为激活函数；MLP为包含一个隐藏层的神经网络。
4.根据权利要求2所述的基于改进YOLOv5的密闭振动筛上异常流态流体检测方法，其特征在于，通过如下公式计算空间注意力：
Ms(F) =σ'(f 7×7([MaxPool(F), Mergepool(F)]))；
式中，Ms(F)为空间注意力；σ'为激活函数；f 7×7代表卷积核的大小。
CN202211186386.0A 2022-09-28 2022-09-28 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法 Active CN115294556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211186386.0A CN115294556B (zh) 2022-09-28 2022-09-28 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211186386.0A CN115294556B (zh) 2022-09-28 2022-09-28 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法

Publications (2)

Publication Number Publication Date
CN115294556A CN115294556A (zh) 2022-11-04
CN115294556B true CN115294556B (zh) 2022-12-13

Family

ID=83834330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211186386.0A Active CN115294556B (zh) 2022-09-28 2022-09-28 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法

Country Status (1)

Country Link
CN (1) CN115294556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882473A (zh) * 2023-06-29 2023-10-13 无锡芯光互连技术研究院有限公司 神经网络的训练方法、图像分类方法、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396035A (zh) * 2020-12-07 2021-02-23 国网电子商务有限公司 基于注意力检测模型的物体检测方法和装置
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114694090A (zh) * 2022-03-04 2022-07-01 浙江工业大学 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN114821278A (zh) * 2022-04-22 2022-07-29 南通大学 一种基于改进YOLOv5的输电线路零部件识别方法
CN114821032A (zh) * 2022-03-11 2022-07-29 山东大学 基于改进YOLOv5网络的特殊目标异常状态检测与跟踪方法
CN114898470A (zh) * 2022-06-06 2022-08-12 安徽建筑大学 基于改进YOLOv5的跌倒行为检测方法及系统
CN114973002A (zh) * 2022-06-21 2022-08-30 安徽大学 一种基于改进的YOLOv5的麦穗检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884064B (zh) * 2021-03-12 2022-07-29 迪比（重庆）智能科技研究院有限公司 一种基于神经网络的目标检测与识别方法
CN114782734A (zh) * 2022-01-19 2022-07-22 岳阳高澜节能装备制造有限公司 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质
CN114187491B (zh) * 2022-02-17 2022-05-17 中国科学院微电子研究所 一种遮挡物体检测方法和装置
CN114972316A (zh) * 2022-06-22 2022-08-30 合肥工业大学 基于改进YOLOv5的电池壳端面缺陷实时检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396035A (zh) * 2020-12-07 2021-02-23 国网电子商务有限公司 基于注意力检测模型的物体检测方法和装置
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114694090A (zh) * 2022-03-04 2022-07-01 浙江工业大学 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN114821032A (zh) * 2022-03-11 2022-07-29 山东大学 基于改进YOLOv5网络的特殊目标异常状态检测与跟踪方法
CN114821278A (zh) * 2022-04-22 2022-07-29 南通大学 一种基于改进YOLOv5的输电线路零部件识别方法
CN114898470A (zh) * 2022-06-06 2022-08-12 安徽建筑大学 基于改进YOLOv5的跌倒行为检测方法及系统
CN114973002A (zh) * 2022-06-21 2022-08-30 安徽大学 一种基于改进的YOLOv5的麦穗检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Attention-YOLO：引入注意力机制的YOLO检测算法;徐诚极等;《计算机工程与应用》;20191231;第55卷(第6期);第13-23页 *
CBAM-Yolov5:improved Yolov5 based on attention model for infrared ship detection;Lize Miao等;《Proceedings of SPIE》;20220318;第1-9页 *
Involution: Inverting the Inherence of Convolution for Visual Recognition;Duo Li等;《Arxiv》;20210414;第1-12页 *
基于改进YOLOv5算法的织物疵点检测系统;谢团结等;《棉纺织技术》;20200901;第1-6页 *
引入注意力机制的YOLOv5安全帽佩戴检测方法;王玲敏等;《计算机工程与应用》;20220303;第1-10页 *
采用注意力机制与改进YOLOv5的水下珍品检测;林森等;《农业工程学报》;20211231;第37卷(第18期);第307-314页 *

Also Published As

Publication number Publication date
CN115294556A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN109147254B (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN115601374A (zh) 一种染色体图像分割方法
CN112200045B (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN107742099A (zh) 一种基于全卷积网络的人群密度估计、人数统计的方法
CN110929635B (zh) 基于信任机制下面部交并比的假脸视频检测方法及系统
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN115294556B (zh) 基于改进YOLOv5的密闭振动筛上异常流态流体检测方法
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
WO2023116632A1 (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN109598681A (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN110060278A (zh) 基于背景减法的运动目标的检测方法及装置
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN112950615B (zh) 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法
CN113962900A (zh) 复杂背景下红外弱小目标检测方法、装置、设备及介质
CN116109840B (zh) 一种基于机器视觉的樱桃孢子识别方法
CN113096103A (zh) 一种面向放空火炬的烟气智能影像感知方法
CN116844114A (zh) 一种基于YOLOv7-WFD模型的安全帽检测方法及装置
CN117058534A (zh) 基于元知识适应迁移网络的少样本遥感图像目标检测方法
CN116977917A (zh) 一种红外图像行人检测方法
CN114494262B (zh) 一种图像对比度的评估方法和装置
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant