CN116645350A - 一种基于视觉时空的管道跑冒滴漏检测方法及系统 - Google Patents
一种基于视觉时空的管道跑冒滴漏检测方法及系统 Download PDFInfo
- Publication number
- CN116645350A CN116645350A CN202310616101.0A CN202310616101A CN116645350A CN 116645350 A CN116645350 A CN 116645350A CN 202310616101 A CN202310616101 A CN 202310616101A CN 116645350 A CN116645350 A CN 116645350A
- Authority
- CN
- China
- Prior art keywords
- convolution block
- dynamic
- pixel
- target area
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 91
- 230000003068 static effect Effects 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 230000000903 blocking effect Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 47
- 230000004913 activation Effects 0.000 claims description 39
- 239000007788 liquid Substances 0.000 claims description 26
- 239000000203 mixture Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 239000002352 surface water Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000003673 groundwater Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract description 9
- 239000000463 material Substances 0.000 abstract description 3
- 239000000779 smoke Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- WEVYAHXRMPXWCK-UHFFFAOYSA-N Acetonitrile Chemical compound CC#N WEVYAHXRMPXWCK-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 241001214257 Mene Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于视觉时空的管道跑冒滴漏检测方法和系统，包括：使用固定摄像头捕捉视频；采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域；采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域；基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。本发明通过自适应分块检测算法、背景差分法和帧间滤波检测法对化工管道视频的静态特征与动态特征进行综合分析，实现微小泄漏的实时动态检测，大大降低了泄漏的误检率；同时避免了人工方式检测管道故障，节省了人力物力。
Description
技术领域
本发明涉及图像处理与深度学习技术领域，具体地，涉及一种基于视觉时空的管道跑冒滴漏检测方法及系统。
背景技术
化工管道泄漏常常造成环境污染、财产损失和人员伤亡，泄漏检测与定位是化工厂维护和状态监测中的关键任务。传统的化工管道状态监测通常需要专业人员通过人工方式检测管道故障，该方法的效果与检测人员的专业能力和检测频率密切相关，非常耗费人力且需较高成本。为了在大型化工厂内实现远程、安全、快速且准确的泄漏检测与定位，一种智能的泄漏检测方法是必需的。
智能的管道泄漏检测主要有超声波法、声波法、负压波法、流量平衡法、分布式光纤捡漏法等。但在实际应用中，超声波法易产生漏检、声波法成本高、负压波法易受外界干扰、流量平衡法定位困难、分布式光纤捡漏法成本高，故都无法对管路泄漏进行精准检测。并且目前对管道微小泄漏即渗漏的准确定位和实时检测研究较少，主要依靠人眼观察或通过荧光示踪剂进行观察，对人的工作状态及专业素质要求高，且达不到实时检测的目的。
图像识别技术是一种代替人眼的自动检测技术，通过模拟人的视觉系统，不但继承了人眼观察事物的准确性、实时性和灵敏性，也进一步扩大了观察区域。在环境恶劣的重型工业生产基地让机器视觉系统发挥作用，不仅可以降低人受伤的概率，还可以提高工作效率。在硬件设备方面，一台成本较低的工业相机即可实现目标运动的检测并将其逐帧分解来满足图像处理的需要。在软件及算法方面，随着人们对深度学习更进一步的认识，在目标检测、图像识别方面的准确率已经可满足工业生产的需要。在管路识别及泄漏方面，图像识别也有应用的潜力。然而对于化工管道，存在管道布置错综复杂、管径较小、渗漏时特征不明显、管路及接头外表面易被污染等问题，因此现有的图像识别方法在识别时并不能准确识别。
基于视频图像的管道泄漏检测算法被不断提出，现有管道泄漏检测方法主要依靠颜色、形状、透明度、纹理等视觉特征。“Gubbi J,Marusic S,Palaniswami M.Smokedetection in video using wavelets and support vector machines[J].Fire SafetyJournal,2009,44(8):1110-1115.”提出了一种基于小波变换和SVM的视频烟雾检测方法，在三级小波分解的所有子带图像上，分别提取算术平均值、几何均值、偏差、倾斜度、峰度和熵等共计60个特征用于描述烟雾；“Cruz H,Eckert M,Meneses J,et al.Efficientforest fire detection index for application in unmanned aerial systems(UASs)[J].Sensors,2016,16(6):893.”从色彩色调的角度出发，通过对比包含火焰、烟雾的区域与其他区域的像素色调分布来提取疑似烟区；“Yuan F.Video-based smoke detectionwith histogram sequence ofLBP and LBPV pyramids[J].Fire safetyjournal,2011,46(3):132-139.”提出了一种基于局部二值模式(LBP)和局部二值模式方差(LBPV)金字塔多尺度特征的烟雾检测算法。
但在实际应用中，仅依赖管道泄漏的静态特征不足以将泄漏气体、液滴与一些类似的对象区分(如：云、镜头上的水雾等)，存在较高的误检率。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于视觉时空的管道跑冒滴漏检测方法及系统。
根据本发明的第一个方面，提供一种基于视觉时空的管道跑冒滴漏检测方法，包括：
使用固定摄像头捕捉视频；
采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域；
采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域；
基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
优选地，所述采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域，包括：
将原始图像输入密度图预测网络，得到包含目标位置及尺寸的密度图；
根据所述密度图，采用基于滑动窗口的分块方法得到分块细检测区域；
采用目标检测网络YOLOX对所述分块细检测区域细检测，获得检测结果；
将所述检测结果还原至所述原始图像中，获得泄漏气体和地面积水的静态目标区域。
优选地，所述密度图预测网络包括编码端和解码端；
其中，所述编码端采用加入了多维动态卷积块ODConv的VGG网络结构；所述VGG网络结构包括卷积块A1，卷积块A2，卷积块A3，卷积块A4和多维动态卷积块A5；
所述卷积块A1输入为原始图像I∈RH×W×3，输出特征为卷积块A1包括：2个通道数为64的3×3卷积层、2个ReLU激活函数和1个最大池化层，ReLU激活函数为：
所述卷积块A2输入特征为输出特征为/>卷积块A2包括：2个通道数为128的3×3卷积层、2个ReLU激活函数和1个最大池化层；
所述卷积块A3输入特征为输出特征为/>卷积块A3包括：2个通道数为256的3×3卷积层、2个ReLU激活函数和1个最大池化层；
所述卷积块A4输入特征为输出特征为/>卷积块A4包括：2个通道数为512的3×3卷积层和2个ReLU激活函数；
所述多维动态卷积块A5输入特征为输出特征为/>多维动态卷积块包括全局平均池、全连接层、ReLU激活函数和Sigmod激活函数；Sigmod激活函数为：
其中，所述解码端包括空洞卷积块B1，空洞卷积块B2，空洞卷积块B3，空洞卷积块B4、空洞卷积块B5和普通卷积块B6；
所述空洞卷积块B1输入特征为输出特征为/>卷积块B1包括：1个通道数为512的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B2输入特征为输出特征为/>卷积块B2包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B3输入特征为输出特征为/>卷积块B3包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B4输入特征为输出特征为/>卷积块B4包括：1个通道数为256的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B5输入特征为输出特征为/>卷积块B5包括：1个通道数为128的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
所述普通卷积块B6输入特征为输出特征为/>即输出的密度图，卷积块B6包括1个通道数为1的3×3的卷积层。
优选地，通过二维高斯核与冲激函数相乘得到实际管道图像的真实密度图，通过所述真实密度图训练所述密度图预测网络；其中，所述真实密度图的表达式为：
其中，xi,yi指图像中目标，为二维高斯核，σ1，σ2与目标的长宽直接相关；δ(x-xi,y-yi)为冲激函数。
优选地，所述根据所述密度图，采用基于滑动窗口的分块方法得到分块细检测区域，包括：
在所述密度图中将目标大小的窗口采用不重叠方式滑动，对每个窗口中的所有像素值求和值sum，并将所述和值sum与设定密度阈值进行比较；
如果和值sum低于阈值，则此窗口中的像素都设置为“0”，反之设置为“1”，得到具有0和1值的二值掩膜图；
筛选出所述二值掩膜图中为“1”的像素，并对其采用八邻接方法合并到候选区域中；
参照所述候选区域的外接矩形裁剪原始图像，得到所述分块细检测区域。
优选地，所述采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域，包括：
采用基于混合高斯模型的背景差分法获取泄漏气体类动态目标区域；
采用帧间滤波法获取泄漏液滴类动态目标区域。
优选地，所述采用基于混合高斯模型的背景差分法获取泄漏气体类动态目标区域，包括：
基于所述视频，通过混合高斯模型进行背景建模：所述混合高斯模型中每个像素由多个单模型描述：P(p)＝{[wi(x,y,t),ui(x,y,t),σi(x,y,t)2]}，i＝1,2,......K，K表示混合高斯模型中包含单模型的个数；每一个单高斯模型由权重，均值和方差确定，wi(x,y,t)表示每个模型的权重，满足：
ui(x,y,t)表示第i个模型中(x,y)处像素的均值，σi(x,y,t)2表示该像素的方差；
对所述混合高斯模型进行前景检测并更新参数：
如果新读入的视频图像序列中的图片在(x,y)处的像素值满足|I(x,y,t)-ui(x,y,t)|≤λ·σi(x,y,t)，λ是设置的常数，则认为新像素与该模型匹配，判断该像素为背景，即该像素为图像中除泄漏气体外的部分，否则判断新像素为前景，即该像素是泄漏气体的像素之一；
若新像素为背景，则需要修正与新像素匹配的单模型的权值、均值和方差；其中，权值增量为：dw＝α(1-wi(x,y,t-1))，参数α表示更新率；新的权值为：wi(x,y,t)＝wi(x,y,t-1)+dw＝wi(x,y,t-1)+α(1-wi(x,y,t-1))；新的均值表示为：ui(x,y,t)＝(1-α)×ui(x,y,t-1)+α×ui(x,y,t)；新的方差表示为：σi(x,y,t)2＝(1-α)×σi(x,y,t-1)2+α×[I(x,y,t)-u(x,y,t)]2；最后进行权重归一化：
若新像素为前景，增加一个新的单模型，新模型的权重为固定值，均值为新像素，方差也为固定值。
优选地，所述采用帧间滤波法获取泄漏液滴类动态目标区域，包括：
计算所述视频相邻帧之间的差分：
其中和/>分别是n帧序列的第f和(f-1)个原始帧；xf为差分帧；f＝2,...,n；
设定差分帧的阈值为ta，并将小于该阈值的像素设置为0以去除背景噪声；
对所述差分帧进行时序运算，获得泄漏滴液形成的线条，包括：
对k个差分帧及滤波后的连续帧取平均值，获得时序平均帧，其中k为时间帧的个数，在所述时序平均帧中能够观察到泄漏液滴运动对k个连续帧的影响；
将所有视频数据转换为一组时序平均帧，在所有时间平均帧中泄漏液滴形成线条；
利用泄漏液滴形成线条的垂直特性进行垂直邻域滤波，包括：
假设v是所述线条中的某个像素在水平轴上的位置，则在所述像素水平方向{v-a,v+a}范围内统计其垂直方向上的像素个数，其中a是该像素右侧和左侧的邻域像素的数目；
判断该像素的所述垂直方向上的像素个数与设定相邻像素个数阈值的关系，若少于所述设定相邻像素个数阈值，则视该像素为噪声像素，进行移除；否则保留。
优选地，所述基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域，包括：
对于泄漏气体目标，分别用两个矩形框表示所述静态单帧图像中的检测到的静态的气体区域B1和时空域上检测到的动态的气体区域B2；
计算两个所述矩形框的交集区域和并集区域的面积，并计算交并比IoU：
如果IoU大于设定值，则认为在同时满足空间预测与时序预测的所述交集区域存在气体泄漏现象；
对于泄漏液滴目标，分别用两个矩形框表示静态单帧图像中检测到的静态的地面积水区域B3和时空域上检测到的动态的液滴区域B4，其中B4的左上角坐标为(x1,y1)，右下角坐标为(x2,y2)，计算B3的重心坐标(xp,yp)和B4的重心坐标(xc,yc)，若x1≤xp≤x2且yp≥yc，则泄漏液滴位于地面积水上方，确定该区域存在液滴泄漏现象。
根据本发明的第二个方面，提供一种基于视觉时空的管道跑冒滴漏检测系统，包括：
数据模块，该模块使用固定摄像头捕捉视频；
静态目标模块，该模块采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域；
动态模块，该模块采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域；
综合判断模块，该模块基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
与现有技术相比，本发明实施例至少具有如下的一项有益效果：
(1)本发明实施例提供的基于视觉时空的管道跑冒滴漏检测方法及系统，通过自适应分块检测算法、背景差分法和帧间滤波检测法对化工管道视频的静态特征与动态特征进行综合分析，实现微小泄漏的实时动态检测，大大降低泄漏的误检率，并提高早期的检出率避免出现严重且危险的故障；同时无需人工方式检测管道故障，节省了人力物力。
(2)本发明实施例提供的基于视觉时空的管道跑冒滴漏检测方法及系统，采用自适应分块检测的方法获取单帧图像中泄漏气体与地面积水的位置信息，该方法既提高了模型的精确度，还减少了计算成本并提高了检测效率。
(3)本发明实施例提供的基于视觉时空的管道跑冒滴漏检测方法及系统，采用背景差分法和帧间滤波法检测动态目标区域，有效消除背景信息，在时空域上准确识别管道泄漏的动态过程，可以克服复杂环境的干扰，增加了鲁棒性；并且本发明不需要考虑泄漏气体、液体的物理性质，因此其适用于任何类型的气体与液体泄漏检测。
(4)本发明实施例提供的基于视觉时空的管道跑冒滴漏检测方法及系统，采用自主研发的基于AI的场景异常检测边缘设备，充分利用云计算与边缘计算资源，并且使用云平台进行管理，有效解决了管道跑冒滴漏检测难，深度学习算法落地难，检测设备部署难，边缘设备管理难，仪器使用培训难，边缘设备迁移难的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的基于视觉时空的管道跑冒滴漏检测方法的流程图；
图2为本发明一优选实施例的自适应分块方法流程图；
图3为本发明一优选实施例的多维动态卷积块ODConv示意图；
图4为本发明一具体实施例的AI边缘设备示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
参见图1，本发明提供一个实施例，一种基于视觉时空的管道跑冒滴漏检测方法，包括：
S1，使用固定摄像头捕捉视频；
S2，采用自适应分块方法对S1中获得的视频中的静态单帧图像进行目标检测，得到静态目标区域；
S3，采用背景差分法和帧间滤波法分析S1中获得的视频的时空域动态特征，得到动态目标区域；
S4，基于S2得到的静态目标区域和S3得到的动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
本实施例通过自适应分块检测算法、背景差分法和帧间滤波检测法对化工管道视频的静态特征与动态特征进行综合分析，实现微小泄漏的实时动态检测，大大降低泄漏的误检率，并提高早期的检出率避免出现严重且危险的故障；同时无需人工方式检测管道故障，节省了人力物力。
参见图2，在本发明的一个优选实施例中，实施S2，获得静态目标区域，其具体过程如下：
S21，将分辨率降低后的原始图像输入密度图预测网络，使用一个相对较大的视野对整个图像进行粗略检测，得到包含目标大致分布及尺寸的密度图，以确定可能存在缺陷的区域。
S22，根据S21得到的密度图，采用基于滑动窗口的分块方法得到分块细检测区域；
S23，采用目标检测网络YOLOX对S22得到的分块细检测区域细检测，获得检测结果；
S24，将S23得到的检测结果还原至少原始图像中，获得泄漏气体和地面积水的静态目标区域。
一较佳实施例中，实施S21。该实施例中，密度图预测网络包括编码端和解码端两部分构成。
其中，编码端采用加入了多维动态卷积块ODConv的VGG网络结构。该网络由五个部分组成，分别为：卷积块A1，卷积块A2，卷积块A3，卷积块A4和多维动态卷积块A5。
卷积块A1输入为原始图像I∈RH×W×3，输出特征为卷积块A1包括：2个通道数为64的3×3卷积层、2个ReLU激活函数和1个最大池化层，ReLU激活函数为：
卷积块A2输入特征为输出特征为/>卷积块A2包括：2个通道数为128的3×3卷积层、2个ReLU激活函数和1个最大池化层；
卷积块A3输入特征为输出特征为/>卷积块A3包括：2个通道数为256的3×3卷积层、2个ReLU激活函数和1个最大池化层；
卷积块A4输入特征为输出特征为/>卷积块A4包括：2个通道数为512的3×3卷积层和2个ReLU激活函数；
多维动态卷积块A5如图3所示，输入特征为输出特征为/> 多维动态卷积块包括全局平均池、全连接层、ReLU激活函数和Sigmod激活函数。Sigmod激活函数为：
参见图3，进一步的，其中多维动态卷积块A5的具体流程为：首先通过通道全局平均池操作，将输入特征进行压缩，接着经过全连接层和激活函数进入四个分支中获得多维度的注意力系数，分别对应空间维度、输入通道维度、输出通道维度和整体卷积核维度上的注意力系数αs,αf,αc,αs，然后将这些维度的注意力系数与对应的n个卷积核W进行加权得到多维卷积核DW，每个多维卷积核DWi的计算公式如下所示：
DWi＝αwi·αfi·αci·αsi ·Wi
其中i＝1......n。最后输入特征X4与多维卷积核进行卷积运算得到输出特征X5。
其中，解码端网络采用5个空洞卷积块和1个普通卷积块对输入特征X5进行处理，这些空洞卷积分别是空洞卷积块B1，空洞卷积块B2，空洞卷积块B3，空洞卷积块B4、空洞卷积块B5和普通卷积块B6。
空洞卷积块B1输入特征为输出特征为/>卷积块B1包括：1个通道数为512的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
空洞卷积块B2输入特征为输出特征为/>卷积块B2包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
空洞卷积块B3输入特征为输出特征为/>卷积块B3包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
空洞卷积块B4输入特征为输出特征为/>卷积块B4包括：1个通道数为256的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
空洞卷积块B5输入特征为输出特征为/>卷积块B5包括：1个通道数为128的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
普通卷积块B6输入特征为输出特征为/>即输出的密度图，卷积块B6包括1个通道数为1的3×3的卷积层。
在发明的一个其他实施例中，在训练密度图预测网络之前，需要根据管道图像中的目标信息生成密度图的真实值。使用二维独立的高斯分布函数生成包含目标尺寸和位置的密度图。根据目标的尺寸调整高斯函数的两个扩展参数，以得到更贴合目标尺寸的注意力图。二维高斯核的公式如下：
其中σ1，σ2与目标的长宽直接相关。注意力图的完整表达式如下所示：
其中，xi,yi指图像中目标。通过二维高斯核与冲激函数相乘得到包含目标位置、尺寸信息的密度图。
一较佳实施例中，实施S22。根据上述密度图预测网络生成的密度图，采用基于滑动窗口的分块算法得到分块细检测区域，具体步骤如下：
S221，在密度图中将平均目标大小(即60×60)的窗口采用不重叠方式滑动，对每个窗口中的所有像素值求和值sum，并将sum与设定密度阈值进行比较，设阈值为180。如果sum低于阈值，则此窗口中的像素都将为“0”，反之则为“1”，这样得到了具有0和1值的二值掩膜图。
S222，筛选出二值掩膜图中为“1”的像素，采用八邻接算法将其合并到一个更大的候选区域中。
S223，使用候选区域的外接矩形来裁剪原始图像得到分块细检测区域。
本实施例采用自适应分块检测的方法获取单帧图像中泄漏气体与地面积水的位置信息，该方法既提高了模型的精确度，还减少了计算成本并提高了检测效率。
在本发明的一个优选实施例中，实施S3，得到动态目标区域。具体的，分成两个部分实施，分别为：
S31，对于泄漏气体这一类大目标，采用基于混合高斯模型的背景差分法获取动态目标区域。
S32，对于泄漏液滴这一类小目标，采用帧间滤波法获取动态目标区域。
一较佳实施例中，实施S31，本实施例中，基于混合高斯模型的背景差分法由训练背景、前景检测并参数更新两部分组成，具体步骤如下：
S311，输入化工管道视频，通过混合高斯模型进行背景建模。
具体的，混合高斯模型中每个像素由多个单模型描述：
P(p)＝{[wi(x,y,t),ui(x,y,t),σi(x,y,t)2]}，i＝1,2,......K。其中K的值一般在3～5之间，表示混合高斯模型中包含单模型的个数。每一个单高斯模型由权重，均值和方差这三个参数确定，wi(x,y,t)表示每个模型的权重，满足：
ui(x,y,t)表示第i个模型中(x,y)处像素的均值，σi(x,y,t)2表示该像素的方差。
S312，前景检测并更新参数。
具体的，如果新读入的视频图像序列中的图片在(x,y)处的像素值满足|I(x,y,t)-ui(x,y,t)|≤λ·σi(x,y,t)，则认为新像素与该模型匹配，判断该点为背景，否则判断该点为前景。其中λ是设置的常数，可设λ＝2.5。摄像机处于静止状态，视频场景中包含大量静止背景，泄漏气体即为视频中的运动前景。
若新像素为背景，则需要修正与新像素匹配的单模型的权值、均值和方差。其中，权值增量为：dw＝α(1-wi(x,y,t-1))，参数α表示更新率。
新的权值表示如下：
wi(x,y,t)＝wi(x,y,t-1)+dw＝wi(x,y,t-1)+α(1-wi(x,y,t-1))
新的均值表示如下：
ui(x,y,t)＝(1-α)×ui(x,y,t-1)+α×ui(x,y,t)
新的方差表示如下：
σi(x,y,t)2＝(1-α)×σi(x,y,t-1)2+α×[I(x,y,t)-u(x,y,t)]2
进行权重归一化：
若新像素为前景，增加一个新的单模型，新的单模型的权重为一个较小的固定值，均值设置为该新像素，方差为一个较大的固定值。
在本发明的其他优选实施例中，如果当前单模型的数目已经达到允许的最大数目，则去除当前多模型集合中重要性最小的单模型。重要性计算公式如下：
需要说明的是，前景即为泄漏气体类动态目标区域。新像素若被判断为前景，则说明该像素是泄漏气体的像素之一；新像素若被判断为背景，则说明该像素是图像中除泄漏气体外的部分。
一较佳实施例中，实施S32，该帧间滤波法采用帧间差分计算、时序运算、垂直邻域滤波三部分构成，具体步骤如下：
S321，在固定摄像头所拍摄视频的相邻帧之间进行差分计算：
其中和/>分别是n帧序列的第f和(f-1)个原始帧；xf为差分帧；f＝2,...,n。再对差分帧xf进行噪声消除，设定差分帧的阈值为ta，并将小于该阈值的像素设置为0以去除背景噪声，其中ta＝0.5。
S322，进行时序运算，得到泄漏液滴将形成的线条。
具体的，对k个差分及滤波后的连续帧取平均值，其中k为时间帧的个数，所得到的帧为时序平均帧，在该帧中可观察到泄漏液滴运动对k个连续帧的影响，其中k＝5。随后可将视频数据转换为一组时间平均帧，在这些帧中泄漏液滴将形成线条。
S323，利用泄漏液滴的垂直特性进行垂直邻域滤波。
具体的，每一像素周围具有非零值的垂直带(线条)，泄漏液滴在垂直带中具有更多的邻域像素，假设v是对应像素在水平轴上的位置，则在所述像素水平方向{v-a,v+a}范围内统计其垂直方向上的像素个数，其中a是对应像素右侧和左侧的邻域像素的数目。假设泄漏液滴中的某个像素在垂直带中至少有q2个相邻像素，否则被视为噪声像素，从而移除不属于泄漏液滴的像素，其中a＝2，q2＝10。
本实施例采用背景差分法和帧间滤波法检测动态目标区域，有效消除背景信息，在时空域上准确识别管道泄漏的动态过程，可以克服复杂环境的干扰，增加了鲁棒性；并且本实施例不需要考虑泄漏气体、液体的物理性质，因此其适用于任何类型的气体与液体泄漏检测。
在本发明的一个优选实施例中，实施S4，得到真实的跑冒滴漏区域。具体过程如下：
对于泄漏气体目标，分别用两个矩形框表示单帧图像中的检测到的气体区域B1和时空域上检测到的动态气体区域B2。计算两个矩形框的交集区域和并集区域的面积，并计算交并比IoU，计算公式如下：
如果IoU大于0.5，则认为这两个区域重叠率超过50％，确定在该重叠区域存在气体泄漏现象。本实施例中，同时满足空间预测与时序预测的区域，是指两个矩形框的交集区域，即重叠区域。
对于泄漏液滴目标，分别用两个矩形框表示单帧图像中检测到的地面积水区域B3和时空域上检测到的运动液滴区域B4，其中B4的左上角坐标为(x1,y1)，右下角坐标为(x2,y2)。计算B3的重心坐标(xp,yp)和B4的重心坐标(xc,yc)，若x1≤xp≤x2且yp≥yc，则泄漏液滴位于地面积水上方，确定该区域存在液滴泄漏现象。
基于相同的发明构思，本发明的其他实施例中，还提供一种基于视觉时空的管道跑冒滴漏检测系统，包括数据模块、静态目标模块、动态目标模块和综合判断模块。
数据模块使用固定摄像头捕捉视频；静态目标模块采用自适应分块方法对视频中的静态单帧图像进行目标检测，得到静态目标区域；动态模块采用背景差分法和帧间滤波法分析视频的时空域动态特征，得到动态目标区域；综合判断模块基于静态目标区域和动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
为了更加深入地理解本发明的技术方案，本发明提供一个具体实施例。
本实施例采用物联网的发布与订阅方式管理多个场景的AI边缘设备，每台AI边缘设备控制云台转动关注多个巡检点，进而实现对管道跑冒滴漏故障定位。
位于安庆的乙腈化工品厂区包含管道、阀门、法兰盘、仪表连接处等区域，其中最容易发生跑冒滴漏的是阀门和法兰的连接处，本实施例针对这些区域进行异常目标检测，通过研制AI边缘设备，能够实时在本地针对气体泄漏，连接处冒气、冒液，液体滴漏等情况进行分类识别。
本实施例采用NVIDIA的JETSONAGX(或TX2)边缘AI芯片来设计AI边缘设备，如图4所示。在AI边缘软件系统设计了实时的并行工作机制，一路实时采集视频图像，并在其AI模型中采用上述实施例中的基于视觉时空的管道跑冒滴漏检测方法或方法，实现推理逻辑机制，进而诊断场景异常情况；另一路设计与云端实时通信机制，将边缘设备诊断的异常情况传输到云端存储，同时云端训练出新的AI模型可以快速下载部署到边缘设备中，进而灵活更新AI模型推理逻辑，并且使用云平台进行管理。具体实施如下：
对于AI边缘设备，模型推理利用TensorFlowLite框架进行搭建，实现对量化模型的部署。利用treading模块以及TensorRT分别对CPU线程分配依据GPU资源进行实时分配，形成高并发多线程的工作机制，实现对大批量数据的快速处理。在部署方面，利用docker-compose将边缘端所需的环境、程序文件打包，通过启用相关命令在边缘设备进行一键部署。
对于并行执行的程序单元，使用MQTT协议构建物联网，区别于传统HTTP协议，通信效率显著提升。通过订阅、发布模式，将边缘设备、云端、用户端连结为一个高效的通信网络。
对于云端，利用spring为底层框架，搭建后端，形成企业级别的控制系统，安全性高、可拓展性强、消耗资源小。云服务器利用VUE搭建前端，编写控制端页面，功能包括：包括数据可视化、对多AI边缘设备进行控制、诊断结果累积历史数据分析。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
Claims (10)
1.一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，包括：
使用固定摄像头捕捉视频；
采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域；
采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域；
基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
2.根据权利要求1所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域，包括：
将原始图像输入密度图预测网络，得到包含目标位置及尺寸的密度图；
根据所述密度图，采用基于滑动窗口的分块方法得到分块细检测区域；
采用目标检测网络YOLOX对所述分块细检测区域细检测，获得检测结果；
将所述检测结果还原至所述原始图像中，获得泄漏气体和地面积水的静态目标区域。
3.根据权利要求2所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述密度图预测网络包括编码端和解码端；
其中，所述编码端采用加入了多维动态卷积块ODConv的VGG网络结构，包括卷积块A1，卷积块A2，卷积块A3，卷积块A4和多维动态卷积块A5；
所述卷积块A1输入为原始图像I∈RH×W×3，输出特征为卷积块A1包括：2个通道数为64的3×3卷积层、2个ReLU激活函数和1个最大池化层，ReLU激活函数为：
所述卷积块A2输入特征为输出特征为/>卷积块A2包括：2个通道数为128的3×3卷积层、2个ReLU激活函数和1个最大池化层；
所述卷积块A3输入特征为输出特征为/>卷积块A3包括：2个通道数为256的3×3卷积层、2个ReLU激活函数和1个最大池化层；
所述卷积块A4输入特征为输出特征为/>卷积块A4包括：2个通道数为512的3×3卷积层和2个ReLU激活函数；
所述多维动态卷积块A5输入特征为输出特征为/>多维动态卷积块包括全局平均池、全连接层、ReLU激活函数和Sigmod激活函数；Sigmod激活函数为：
其中，所述解码端包括空洞卷积块B1，空洞卷积块B2，空洞卷积块B3，空洞卷积块B4、空洞卷积块B5和普通卷积块B6；
所述空洞卷积块B1输入特征为输出特征为/>卷积块B1包括：1个通道数为512的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B2输入特征为输出特征为/>卷积块B2包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B3输入特征为输出特征为/>卷积块B3包括：1个通道数为512的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B4输入特征为输出特征为/>卷积块B4包括：1个通道数为256的3×3空洞率为4的空洞卷积层和1个ReLU激活函数；
所述空洞卷积块B5输入特征为输出特征为/>卷积块B5包括：1个通道数为128的3×3空洞率为2的空洞卷积层和1个ReLU激活函数；
所述普通卷积块B6输入特征为输出特征为/>即输出的密度图，卷积块B6包括1个通道数为1的3×3的卷积层。
4.根据权利要求3所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，通过二维高斯核与冲激函数相乘得到实际管道图像的真实密度图，通过所述真实密度图训练所述密度图预测网络；其中，所述真实密度图的表达式为：
其中，xi,yi指图像中目标，为二维高斯核，σ1，σ2与目标的长宽直接相关；δ(x-xi,y-yi)为冲激函数。
5.根据权利要求2所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述根据所述密度图，采用基于滑动窗口的分块方法得到分块细检测区域，包括：
在所述密度图中将目标大小的窗口采用不重叠方式滑动，对每个窗口中的所有像素值求和值sum，并将所述和值sum与设定密度阈值进行比较；
如果和值sum低于阈值，则此窗口中的像素都设置为“0”，反之设置为“1”，得到具有0和1值的二值掩膜图；
筛选出所述二值掩膜图中为“1”的像素，并对其采用八邻接方法合并到候选区域中；
参照所述候选区域的外接矩形裁剪原始图像，得到所述分块细检测区域。
6.根据权利要求1所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域，包括：
采用基于混合高斯模型的背景差分法获取泄漏气体类动态目标区域；
采用帧间滤波法获取泄漏液滴类动态目标区域。
7.根据权利要求6所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述采用基于混合高斯模型的背景差分法获取泄漏气体类动态目标区域，包括：
基于所述视频，通过混合高斯模型进行背景建模：所述混合高斯模型中每个像素由多个单模型描述：P(p)＝{[wi(x,y,t),ui(x,y,t),σi(x,y,t)2]}，i＝1,2,......K，K表示混合高斯模型中包含单模型的个数；每一个单高斯模型由权重，均值和方差确定，wi(x,y,t)表示每个模型的权重，满足：
ui(x,y,t)表示第i个模型中(x,y)处像素的均值，σi(x,y,t)2表示该像素的方差；
对所述混合高斯模型进行前景检测并更新参数：
如果新读入的视频图像序列中的图片在(x,y)处的像素值满足|I(x,y,t)-ui(x,y,t)|≤λ·σi(x,y,t)，λ是设置的常数，则认为新像素与该模型匹配，判断该像素为背景，即该像素为图像中除泄漏气体外的部分，否则判断新像素为前景，即该像素是泄漏气体的像素之一；
若新像素为背景，则需要修正与新像素匹配的单模型的权值、均值和方差；其中，权值增量为：dw＝α(1-wi(x,y,t-1))，参数α表示更新率；
新的权值为：wi(x,y,t)＝wi(x,y,t-1)+dw＝wi(x,y,t-1)+α(1-wi(x,y,t-1))；
新的均值为：ui(x,y,t)＝(1-α)×ui(x,y,t-1)+α×ui(x,y,t)；
新的方差为：σi(x,y,t)2＝(1-α)×σi(x,y,t-1)2+α×[I(x,y,t)-u(x,y,t)]2；
最后进行权重归一化：
若新像素为前景，增加一个新的单模型，新模型的权重为固定值，均值为新像素，方差也为固定值。
8.根据权利要求6所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述采用帧间滤波法获取泄漏液滴类动态目标区域，包括：
计算所述视频相邻帧之间的差分：
其中和/>分别是n帧序列的第f和(f-1)个原始帧；xf为差分帧；f＝2,...,n；
设定差分帧的阈值为ta，并将小于该阈值的像素设置为0以去除背景噪声；
对所述差分帧进行时序运算，获得泄漏滴液形成的线条，包括：
对k个差分帧及滤波后的连续帧取平均值，获得时序平均帧，其中k为时间帧的个数，在所述时序平均帧中能够观察到泄漏液滴运动对k个连续帧的影响；
将所有视频数据转换为一组时序平均帧，在所有时间平均帧中泄漏液滴形成线条；
利用泄漏液滴形成线条的垂直特性进行垂直邻域滤波，包括：
假设v是所述线条中的某个像素在水平轴上的位置，则在所述像素水平方向{v-a,v+a}范围内统计其垂直方向上的像素个数，其中a是该像素右侧和左侧的邻域像素的数目；
判断该像素的所述垂直方向上的像素个数与设定相邻像素个数阈值的关系，若少于所述设定相邻像素个数阈值，则视该像素为噪声像素，进行移除；否则保留。
9.根据权利要求1所述的一种基于视觉时空的管道跑冒滴漏检测方法，其特征在于，所述基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域，包括：
对于泄漏气体目标，分别用两个矩形框表示所述静态单帧图像中的检测到的静态的气体区域B1和时空域上检测到的动态的气体区域B2；
计算两个所述矩形框的交集区域和并集区域的面积，并计算交并比IoU：
如果IoU大于设定值，则认为在同时满足空间预测与时序预测的所述交集区域存在气体泄漏现象；
对于泄漏液滴目标，分别用两个矩形框表示静态单帧图像中检测到的静态的地面积水区域B3和时空域上检测到的动态的液滴区域B4，其中B4的左上角坐标为(x1,y1)，右下角坐标为(x2,y2)，计算B3的重心坐标(xp,yp)和B4的重心坐标(xc,yc)，若x1≤xp≤x2且yp≥yc，则泄漏液滴位于地面积水上方，确定该区域存在液滴泄漏现象。
10.一种基于视觉时空的管道跑冒滴漏检测系统，其特征在于，包括：
数据模块，该模块使用固定摄像头捕捉视频；
静态目标模块，该模块采用自适应分块方法对所述视频中的静态单帧图像进行目标检测，得到静态目标区域；
动态模块模块，该模块采用背景差分法和帧间滤波法分析所述视频的时空域动态特征，得到动态目标区域；
综合判断模块，该模块基于所述静态目标区域和所述动态目标区域进行位置关系判断，同时满足空间预测与时序预测的区域，即为真实的跑冒滴漏区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310616101.0A CN116645350A (zh) | 2023-05-29 | 2023-05-29 | 一种基于视觉时空的管道跑冒滴漏检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310616101.0A CN116645350A (zh) | 2023-05-29 | 2023-05-29 | 一种基于视觉时空的管道跑冒滴漏检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645350A true CN116645350A (zh) | 2023-08-25 |
Family
ID=87624224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310616101.0A Pending CN116645350A (zh) | 2023-05-29 | 2023-05-29 | 一种基于视觉时空的管道跑冒滴漏检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645350A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117037047A (zh) * | 2023-10-09 | 2023-11-10 | 成都格理特电子技术有限公司 | 石化跑冒滴漏视频监测识别方法 |
-
2023
- 2023-05-29 CN CN202310616101.0A patent/CN116645350A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117037047A (zh) * | 2023-10-09 | 2023-11-10 | 成都格理特电子技术有限公司 | 石化跑冒滴漏视频监测识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN102136059B (zh) | 一种基于视频分析的烟雾检测方法 | |
| CN116645350A (zh) | 一种基于视觉时空的管道跑冒滴漏检测方法及系统 | |
| Ma et al. | Automatic defogging, deblurring, and real-time segmentation system for sewer pipeline defects | |
| CN114463677B (zh) | 一种基于全局注意力的安全帽配戴检测方法 | |
| Chen et al. | An intelligent sewer defect detection method based on convolutional neural network | |
| US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
| CN109460705A (zh) | 基于机器视觉的输油管道监控方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
| CN111144465A (zh) | 一种面向多场景的烟雾检测算法及应用该算法的电子设备 | |
| CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| CN113902694A (zh) | 一种基于动静结合的目标检测方法 | |
| CN111767826B (zh) | 一种定时定点场景异常检测方法 | |
| CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
| CN115100555B (zh) | 云雾环境下基于多运动特征的森林火灾烟雾检测方法 | |
| CN106355566A (zh) | 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法 | |
| CN115953731A (zh) | 改进cnn算法模型的智能煤流监控数据分析方法 | |
| CN114596493A (zh) | 基于人工智能的液压系统油液污染在线检测方法 | |
| Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
| Harshini et al. | Sewage Pipeline Fault Detection using Image Processing | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
| CN111582076A (zh) | 一种基于像素运动智能感知的画面冻结检测方法 | |
| Zhu | Application of Multi-Scale Convolution Neural Network Optimization Image Defogging Algorithm in Image Processing | |
| Lin et al. | Background subtraction based on codebook model and texture feature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |