CN113837004B - 一种基于深度学习的游梁式抽油机运动学分析方法 - Google Patents

一种基于深度学习的游梁式抽油机运动学分析方法 Download PDF

Info

Publication number
CN113837004B
CN113837004B CN202110958603.2A CN202110958603A CN113837004B CN 113837004 B CN113837004 B CN 113837004B CN 202110958603 A CN202110958603 A CN 202110958603A CN 113837004 B CN113837004 B CN 113837004B
Authority
CN
China
Prior art keywords
pumping unit
horsehead
data
walking beam
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110958603.2A
Other languages
English (en)
Other versions
CN113837004A (zh
Inventor
黄志清
孙峻礁
王聿超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110958603.2A priority Critical patent/CN113837004B/zh
Publication of CN113837004A publication Critical patent/CN113837004A/zh
Application granted granted Critical
Publication of CN113837004B publication Critical patent/CN113837004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的游梁式抽油机运动学分析方法,该方法包括如下步骤,步骤1:数据预处理。步骤2:训练基于Yolov4的目标检测模型,对抽油机进行运动目标检测。步骤3:基于上述运动检测结果,对抽油机进行实时运动学分析。本发明针对油田中抽油机运动参数监控难的问题,提出利用基于Yolov4的深度卷积神经网络对抽油机运动视频进行识别,并搭建数学模型输出计算出的运动学参数。实验结果显示,在高IOU阈值下,本方法的mAP能够达到94%以上,输出识别后的视频可以达到10FPS,基本能够胜任实际油田的监控工作。

Description

一种基于深度学习的游梁式抽油机运动学分析方法
技术领域
本发明属于计算机视觉领域,是一种基于深度学习的游梁式抽油机运动学分析方法,可以在实际油田场景下将游梁式抽油机视频流作为输入,输出实时运动学参数序列。
背景技术
游梁式抽油机(以下简称“抽油机”)是石油机械行业中最重要的工程机械之一,被广泛应用在世界各地的油田中。对抽油机进行运动学分析是研究抽油装置动力学、确定抽油装置的基本参数以及对抽油机进行结构优化设计的基础。
目前对于抽油机的运动学分析主要有两种方法,分别为基于数学模型的分析方法和基于软件建模的分析方法。基于数学模型的分析方式主要是通过人工设计的数学解析模型,推导数学以及物理公式对抽油机进行运动分析。此方法提供了简洁的形式化语言,用数学符号、图像、公式揭示原型的性质、规律和结构。基于软件建模的抽油机运动学分析方法是使用主流3D建模软件如Adams、Pro/E、SolidWorks,对抽油机进行仿真建模。此种方法能够更加直观的研究抽油机的运动学规律,并且通过搭建抽油机的3D场景,实现技术人员与抽油机的虚拟交互。
以上两种分析方法对抽油机的发展和应用有着重要的影响。但是,随着深度学习技术的发展,基于实时视频流的运动学分析方法逐渐兴起。该方法能够以视频作为输入,实时分析并输出人体或者物体的运动状态,且无需对外界环境信息进行模拟。现如今,各国都在积极开展智慧油田建设,移动巡检机器人和固定摄像头等视频获取装置被部署在油田中,这使得实时获取抽油机的视频数据成为可能。基于此,发明了一种基于深度学习的抽油机运动学分析方法,可以根据拍摄的视频数据对抽油机进行实时的运动学分析。希望此发明可以对抽油机的故障检测、日常监测、效能分析等方面起到积极作用。
发明内容
设计了一种基于深度学习的抽油机运动分析方法,将实地采集的抽油机工作视频输入其中,通过深度神经网络的识别和数学模型的计算,能够自动输出抽油机运行时的运动参数,人们可以利用此方法更加高效便捷的对油田中抽油机进行监控工作。如图1为本专利总览图。
为实现上述目的,本方法包括以下步骤:
步骤1:数据预处理。借助油田巡检机器人以及人工定点拍摄,对新疆克拉玛依油田内20余台游梁式抽油机进行了数据采集。采集的数据中包含多种不同天气下不同角度、大小的抽油机工作视频。接下来对于驴头、支点、游梁后端、曲柄以及抽油机整体等关键运动构建进行标注。最终得到5000多条有效数据。
接下来,应用了Mixup算法的基本思想,对自然场景下拍摄的数据集进行增广。应用此方法进行数据增广后,数据集体量从5000张扩大到20000张,其中用于训练的图片为16000张,用于验证的图片4000张。
如图2,Mixup算法主要原理如下:
λ=Beta(α,β) (1)
如上式,xi和xj为原始输入向量,即数据样本,λ是参数α,β由贝塔分布计算出的混合系数,且λ∈[0,1]。在训练集中选出某个数据xi和xj,按照上述公式进行合成,再将这种合成后的数据输入神经网络获得输出。
在网络中计算出的loss是由yi和yj合成的。当然,loss的计算也分为两部分,先计算模型预测xi输出yi的loss,再乘以λ,同样再计算预测xj输出yj的loss,乘以其对应比例(即1-λ),二者加权求和。
步骤2:训练基于Yolov4的目标检测模型,对抽油机进行运动目标检测。抽油机在工作时具有整体静止,部分运动的特点,所以决定采用Yolov4这种端到端的实时目标检测框架。目标识别神经网络由以下几部分组成:输入图像为416×416像素,由CSPdarknet53作为主干网络,SPP作为附加块,PANet作为实例分割网络,由基于Yolov3锚点机制的头作为输出。整体流程如图3所示。
首先,将抽油机的视频数据通过脚本将其按帧转化为416×416像素的图像以便输入网络。首先要经过的是CSPdarknet53主干网络。CSPdarknet53的结构由一个大残差块和内部堆叠的若干小残差块组成,首先利用Zeropadding2D和步长为2x2的卷积核进行步长为1的高和宽的压缩,然后建立一个大的残差边shortconv,绕过了许多残差结构。由于先进行降采样,因此计算量大大减小,速度大大提升。接下来的主干部分会对若干个残差结构块进行循环。最后将大的残差边再堆叠回来,对通道数进行整合,从不同部位的残差块输出三个有效特征层,分别为256张52×52图,512张26×26图,1024张13×13图。
在实验过程中,发现由于抽油机的工作环境恶劣,视频的拍摄清晰度受光照、扬沙等天气因素影响较大,给的模型造成了一定困难。因此,决定在CSPdarknet53主干网络中加入注意力机制来缓解外部条件的干扰,使模型更加鲁棒。注意力机制的基本思想就是让神经网络去多关注一些有用的信息,忽略无关的信息。本文将空间注意力模块SAM加入了CSPdarknet53,即将输入分成两个部分,其中一部分用平均池化和最大池化处理经过卷积后的特征图,与正常操作经过卷积层的输入共同生成两张新的特征图。然后,将这两张特征图进行一维卷积降维,再通过sigmoid激活函数,作为空间注意力权值。用此权值与之前的特征图进行乘法操作,以此将注意力加入到特征图中(如图4)。然后将CSPdarknet53的13×13图进入SPP块,将特征图进行不同尺度的池化,拼接后输出特征图。
接着,参考Yolov4使用了一种新的方法来分割实例,称为Path AggregationNetwork(PANet),主要通过保留空间信息来增强实例分割过程。在本项目中,PANet使用另一条自底向上的路径,使用了来自所有层的特征,并让网络决定哪些是有用的,使参数聚合以适应各种大小的特征图。这样一来,PANet快速、简单、非常有效地对所有大小的特征进行池化,缩短了最低层和顶层之间的距离,并且使用增强路径来丰富每个级别的特征。
最后,输出的特征图将参照Yolov3提出的基于anchor机制的yolo-head来识别抽油机的各个部件。
如图5为基于Yolov4的抽油机运动识别模型输入图片后处理过程总览。
步骤3:基于上述运动检测结果,对抽油机进行实时运动学分析。的目标是基于深度学习技术以及输入视频流,对抽油机进行实时运动学分析。根据之前所构造的深度神经网络识别模型,可以实时的获取抽油机各个构件的位置。根据这些位置,设计并实现了一个抽油机运动学分析模型。如图6所示,将抽油机抽象为一个简单的几何结构,并总结出八个对于抽油机运动学分析较为重要的八个角度,分别为∠HSC、∠HSE、∠HBE、∠ECS、∠BEC、∠BCE、∠HBC、∠CES。有了这八个特征角度,便可以对游梁式抽油机进行更深一步的运动学分析。
基于上述的游梁式抽油机抽象模型以及特征角度,可以计算出更深一步的运动学特征参数。在此,结合前人研究经验,主要分析五种对游梁式抽油机较为重要的五个运动学特征参数:驴头位移、驴头速度、驴头加速度、驴头角速度、驴头角加速度。
驴头位移可以由∠HSC以及H点和S点的距离计算所得,由于S点和C点保持静止,只有H点运动,所以驴头位移可以由以下公式得出:
Dh=sin(∠HSC-∠HSCorigin)*dHS
接下来,根据速度瞬心法,如图7,可以得出:
即:
根据正弦定理,有
即可得出H点角速度公式,其中n为抽油机冲次。
接下来可计算出驴头速度:
最后,用VH和ωH对时间求导即可得到驴头加速度和角加速度:
发明效果
本发明针对油田中抽油机运动参数监控难的问题,提出利用基于Yolov4的深度卷积神经网络对抽油机运动视频进行识别,并搭建数学模型输出计算出的运动学参数。实验结果显示,在高IOU阈值下,的方法的mAP能够达到94%以上,输出识别后的视频可以达到10FPS,基本能够胜任实际油田的监控工作。
附图说明
图1是本发明方法总览图。
图2是Mixup算法示意图。
图3是抽油机运动识别过程示意图
图4是SAM空间注意力机制示意图。
图5是抽油机抽象结构图。
图6是速度瞬心法示意图。
图7、8是基于Yolov4的抽油机运动识别模型的识别结果。
图9、10是基于识别结果和数学模型算出的对于抽油机运动识别重要的八个角度随时间变化曲线图。
图11-15为抽油机各运动学参数随时间变化曲线图。图11:驴头位移;图12:驴头速度;图13:驴头角速度;图14:驴头加速度;图15:驴头角加速度。
具体实施方式
1.对于一个采集自新疆克拉玛依油田的游梁式抽油机数据集进行标注和Mixup算法数据增广,得到可用于训练的数据。
2.基于Yolov4深度神经网络训练了一个可以识别抽油机部件的深度神经网络。采用一块RTX 2080with Max-Q显卡用于训练,在迭代8000次后,得到训练完的权重文件。
3.训练好神经网络之后,输入抽油机视频进行识别,网络能够输出带有各部件识别框的视频。
4.同时,将视频输入抽油机运动参数计算模型,得到随时间变化的运动学参数,并作图记录。

Claims (5)

1.一种基于深度学习的游梁式抽油机运动学分析方法,其特征在于:该方法包括如下步骤,
步骤1:数据预处理;借助油田巡检机器人以及人工定点拍摄进行数据采集;采集的数据中包含多种不同天气下不同角度、大小的抽油机工作视频;对于驴头、支点、游梁后端、曲柄以及抽油机整体关键运动构建进行标注;最终得到5000多条有效数据;
应用Mixup算法对自然场景下拍摄的数据集进行增广;进行数据增广后,数据集体量从5000张扩大到20000张,其中用于训练的图片为16000张,用于验证的图片4000张;
Mixup算法主要原理如下:
λ=Beta(α,β) (1)
xi和xj为原始输入向量,即数据样本,λ是参数α,β由贝塔分布计算出的混合系数,且λ∈[0,1];在训练集中选出某个数据xi和xj,按照公式进行合成,再将这种合成后的数据输入神经网络获得输出;
在网络中计算出的loss是由yi和yj合成的;当然,loss的计算也分为两部分,先计算模型预测xi输出yi的loss,再乘以λ,同样再计算预测xj输出yj的loss,乘以其对应比例,二者加权求和;
步骤2:训练基于Yolov4的目标检测模型,对抽油机进行运动目标检测;抽油机在工作时具有整体静止,部分运动的特点,采用Yolov4这种端到端的实时目标检测框架;目标识别神经网络由以下几部分组成:输入图像为416×416像素,由CSPdarknet53作为主干网络,SPP作为附加块,PANet作为实例分割网络,由基于Yolov3锚点机制的头作为输出;
步骤3:基于运动检测结果,对抽油机进行实时运动学分析;运动学分析的目标是基于深度学习技术以及输入视频流,对抽油机进行实时运动学分析;根据之前所构造的深度神经网络识别模型,实时的获取抽油机各个构件的位置;根据这些位置,设计并实现了一个抽油机运动学分析模型;将抽油机抽象为一个简单的几何结构,并总结出八个对于抽油机运动学分析较为重要的八个角度,分别为∠HSC、∠HSE、∠HBE、∠ECS、∠BEC、∠BCE、∠HBC、∠CES;有了这八个特征角度,对游梁式抽油机进行更深一步的运动学分析;
基于上述的游梁式抽油机抽象模型以及特征角度,计算出更深一步的运动学特征参数;分析五种对游梁式抽油机较为重要的五个运动学特征参数:驴头位移、驴头速度、驴头加速度、驴头角速度、驴头角加速度;
驴头位移由∠HSC以及H点和S点的距离计算所得,由于S点和C点保持静止,只有H点运动,所以驴头位移由以下公式得出:
Dh=sin(∠HSC-∠HSCorigin)*dHS
接下来,根据速度瞬心法得出:
即:
根据正弦定理,有
即可得出H点角速度公式,其中n为抽油机冲次;
接下来可计算出驴头速度:
最后,用VH和ωH对时间求导即可得到驴头加速度和角加速度:
2.根据权利要求1所述的一种基于深度学习的游梁式抽油机运动学分析方法,其特征在于:将抽油机的视频数据通过脚本将其按帧转化为416×416像素的图像以便输入网络;首先要经过的是CSPdarknet53主干网络;CSPdarknet53的结构由一个大残差块和内部堆叠的若干小残差块组成,利用Zeropadding2D和步长为2x2的卷积核进行步长为1的高和宽的压缩,建立一个大的残差边shortconv,绕过了许多残差结构;最后将大的残差边再堆叠回来,对通道数进行整合,从不同部位的残差块输出三个有效特征层,分别为256张52×52图,512张26×26图,1024张13×13图。
3.根据权利要求1所述的一种基于深度学习的游梁式抽油机运动学分析方法,其特征在于:决定在CSPdarknet53主干网络中加入注意力机制来缓解外部条件的干扰,使模型更加鲁棒;将空间注意力模块SAM加入了CSPdarknet53,即将输入分成两个部分,其中一部分用平均池化和最大池化处理经过卷积后的特征图,与正常操作经过卷积层的输入共同生成两张新的特征图;然后,将这两张特征图进行一维卷积降维,再通过sigmoid激活函数,作为空间注意力权值;用此权值与之前的特征图进行乘法操作,以此将注意力加入到特征图中;然后将CSPdarknet53的13×13图进入SPP块,将特征图进行不同尺度的池化,拼接后输出特征图。
4.根据权利要求1所述的一种基于深度学习的游梁式抽油机运动学分析方法,其特征在于:Yolov4使用一种新方法来分割实例,称为PANet,通过保留空间信息来增强实例分割过程;PANet使用另一条自底向上的路径,使用了来自所有层的特征,并让网络决定哪些是有用的,使参数聚合以适应各种大小的特征图。
5.根据权利要求1所述的一种基于深度学习的游梁式抽油机运动学分析方法,其特征在于:输出的特征图将参照Yolov3提出的基于anchor机制的yolo-head来识别抽油机的各个部件。
CN202110958603.2A 2021-08-20 2021-08-20 一种基于深度学习的游梁式抽油机运动学分析方法 Active CN113837004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110958603.2A CN113837004B (zh) 2021-08-20 2021-08-20 一种基于深度学习的游梁式抽油机运动学分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110958603.2A CN113837004B (zh) 2021-08-20 2021-08-20 一种基于深度学习的游梁式抽油机运动学分析方法

Publications (2)

Publication Number Publication Date
CN113837004A CN113837004A (zh) 2021-12-24
CN113837004B true CN113837004B (zh) 2024-05-31

Family

ID=78960998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110958603.2A Active CN113837004B (zh) 2021-08-20 2021-08-20 一种基于深度学习的游梁式抽油机运动学分析方法

Country Status (1)

Country Link
CN (1) CN113837004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082822A (zh) * 2022-06-09 2022-09-20 常州艾控智能仪表有限公司 一种抽油机运动分析的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077890A1 (en) * 2013-11-27 2015-06-04 Adept Ai Systems Inc. Method and system for artificially intelligent model-based control of dynamic processes using probabilistic agents
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN112031716A (zh) * 2020-08-28 2020-12-04 青岛江林驱动科技有限公司 游梁式抽油机自适应速度模型调速方法
CN113191273A (zh) * 2021-04-30 2021-07-30 西安聚全网络科技有限公司 基于神经网络的油田井场视频目标检测与识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077890A1 (en) * 2013-11-27 2015-06-04 Adept Ai Systems Inc. Method and system for artificially intelligent model-based control of dynamic processes using probabilistic agents
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN112031716A (zh) * 2020-08-28 2020-12-04 青岛江林驱动科技有限公司 游梁式抽油机自适应速度模型调速方法
CN113191273A (zh) * 2021-04-30 2021-07-30 西安聚全网络科技有限公司 基于神经网络的油田井场视频目标检测与识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于光流场分析与深度学习的视频监控系统;刘勇;;湘南学院学报;20170425(第02期);全文 *
油井工况智能监测与风险防控技术研究;王勇;;河南科学;20201231(第01期);全文 *

Also Published As

Publication number Publication date
CN113837004A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
Huang et al. Faster R-CNN for marine organisms detection and recognition using data augmentation
Yao et al. Recurrent mvsnet for high-resolution multi-view stereo depth inference
Uhrig et al. Sparsity invariant cnns
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
Song et al. Fully attentional network for semantic segmentation
Othman et al. A new deep learning application based on movidius ncs for embedded object detection and recognition
CN108492319A (zh) 基于深度全卷积神经网络的运动目标检测方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
Ranjan et al. Learning human optical flow
CN106780543A (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
Su et al. Key facial components guided micro-expression recognition based on first & second-order motion
CN111950477B (zh) 一种基于视频监督的单图像三维人脸重建方法
CN108241854A (zh) 一种基于运动和记忆信息的深度视频显著性检测方法
Pérez-Pellitero et al. Photorealistic video super resolution
CN112819853B (zh) 一种基于语义先验的视觉里程计方法
CN110532914A (zh) 基于精细特征学习的建筑物检测方法
CN113837004B (zh) 一种基于深度学习的游梁式抽油机运动学分析方法
WO2023159898A1 (zh) 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
Liu et al. ACDnet: An action detection network for real-time edge computing based on flow-guided feature approximation and memory aggregation
Wu et al. Single-shot face anti-spoofing for dual pixel camera
CN118097150A (zh) 一种小样本伪装目标分割方法
Hong et al. Semi-supervised domain adaptation for segmentation models on different monitoring settings
Chen et al. Stingray detection of aerial images with region-based convolution neural network
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN111209886A (zh) 一种基于深度神经网络的快速行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant