CN115700737A - 一种基于视频监控的溢油检测方法 - Google Patents

Abstract

本发明属于溢油检测技术领域，尤其涉及一种基于视频监控的溢油检测方法。该溢油检测方法克服了现有技术中存在的缺陷，从而可以更好的对溢油区域进行评估，并可适应于多个工况领域，具有更好的应用前景。该溢油检测方法包括有获取输油管道所处作业区域的视频图像、学习检测溢油区域中阴影区域的特征和阴影边界的特征、从视频图像中去除阴影区域、对视频图像中的溢油区域进行图像分割、对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合、对特征组合后的疑似溢油区域进行目标检测、选择分类结果，经聚类后得到总模糊集合、利用反模糊化算法对总模糊集合进行完整性过滤，转化得到修正后的溢油边界等步骤。

Description

一种基于视频监控的溢油检测方法

技术领域

本发明属于溢油检测技术领域，尤其涉及一种基于视频监控的溢油检测方法。

背景技术

输油管道溢油所产生的石油污染物会对农业林业渔业生产、旅游、自然生态等领域产生巨大的破坏，并引发严重的环境问题，对石油石化企业存在有重大的安全生产风险。因此，为及时检测监控输油管道溢油状况，技术人员提出了基于计算机视觉以及智能视频分析的溢油视频监控技术。该视频监控技术具有广泛的应用前景，目前也是溢油监控的一项重要研究课题，近年来，由于视频监控技术的飞速发展以及神经网络技术的急剧增长，使得目标检测得到了更多关注，相关研究亦取得了显著的进步。一段视频中可能包含多个目标片段，在给定一段未分割的长视频中，检测出视频中的目标区域，这对溢油检测的理解和应用至关重要，目前趋势是针对视频中溢油区域和阴影区域的分割来的更精准的定位是否溢油。其中，基于深度学习的目标检测的相关算法一般可以分为两大类，双阶段检测模型算法(Two stage)和单阶段检测模型算法(One stage)，双阶段检测模型算法RCNN、FastRCNN、Faster RCNN、Mask RCNN及其改进算法为主要代表，这类算法采用区域生成网络(Region Proposal Networks)与卷积神经网络CNN 结合的方式实现；而单阶段检测模型算法以SSD、YOLO等及其改进算法为代表，其主要特点表现是将目标检测转换为回归问题得以解决。

最常见的就是R-CNN系列的方法。在目标检测中，溢油区域的边界通常是非常明确的，所以可以标注出较为明确的边界框，但是某些时刻阴影的存在使得边界很多时候并不是很明确，什么时候定义一个行为开始与结束通常无法给出一个准确的边界。此如使用RNN读入每帧图像上用CNN提取的特征。已有的算法形如SCNN、CDC和TURN等算法，通过使用和改进生成候选区域的方法以对候选区进行目标分类，适用于简单特定的场景。但是在遮挡阴影较多，阴影随时间改变的实际工程场景中，阴影的存在导致图像分析的不准确或者误差较大，会影响许多计算机视觉任务的性能，如目标检测。因此，阴影检测和阴影消除一直是计算机视觉研究的基础问题。如何在阴影干扰因素繁多和背景复杂的实际工程场景中，实现准确高效的溢油目标检测成为一个亟待解决的难题。

发明内容

本发明提供了一种基于视频监控的溢油检测方法，该溢油检测方法克服了现有技术中存在的缺陷，从而可以更好的对溢油区域进行评估，并可适应于多个工况领域，具有更好的应用前景。

为解决上述技术问题，本发明采用了如下技术方案：

一种基于视频监控的溢油检测方法，包括有如下步骤：

步骤S1：获取输油管道所处作业区域的视频图像，并对视频图像进行预处理；

步骤S2：通过两个独立的转换网络，学习检测溢油区域中阴影区域的特征和阴影边界的特征；

步骤S3：从视频图像中去除阴影区域；

步骤S4：对视频图像中的溢油区域进行图像分割；

步骤S5：对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合；

步骤S6：对步骤S5所得的特征组合后的疑似溢油区域进行目标检测，得到二维图像中存在目标的分类结果；

步骤S7：选择步骤S6所得的分类结果作为模糊识别模型的输入坐标参量；通过模糊逻辑系统生成模糊集合，经聚类后得到总模糊集合；

步骤S8：利用反模糊化算法对步骤S7所得的总模糊集合进行完整性过滤，转化得到修正后的溢油边界。

较为优选的，步骤S2中学习检测溢油区域中阴影区域的特征的过程具体可描述为：

使用SLIC技术，通过将T_s×T_s空间居中于每个超像素的质心来提取该阴影区域特征(ρ^r)；其中，阴影区域特征(ρ^r)满足：ρ^r(i，j)＝ W^i，j(F_slic(x)，T_s)；(i，j)表示阴影区域的质心空间，x是视频图像中的每个像素的位置，p表示一个具体模型部位，W^i，j(·)来提取所需兴趣点周围的特征。

较为优选的，步骤S2中学习检测溢油区域中阴影边界特征的过程具体可描述为：

使用gPb技术，以步长λ沿每个边界遍历，在每一步提取一个T_s×T_s空间特征，结合局部上下环境确定阴影边界特征(ρ^b)；其中，阴影边界特征(ρ^b)满足：ρ^b(i，j)＝W^i，j(F_gPb(x)，T_s)；(i，j)表示阴影边界的质心空间，x是视频图像中的每个像素的位置，p表示一个具体模型部位， W^i，j(·)来提取所需兴趣点周围的特征。

较为优选的，步骤S3中从视频图像中去除阴影区域的过程具体可描述为：

利用三色衰减模型和亮度信息，从视频图像中分隔得到阴影区域；

利用引导滤波和鲁棒抠图算法提取阴影区域并进行遮盖；

对视频图像中已遮盖的阴影区域进行像素重新照明，生成去除阴影区域的无阴影图像。

优选的，所述去除阴影区域的无阴影图像

满足：

分别为无阴影区域、阴影区域的平均像素值；X_γ为包含阴影区域的彩色真实图像；γ∈{r，g，b}，分别表示真实图像中红色、绿色、蓝色通道。

较为优选的，步骤S4中对视频图像中的溢油区域进行图像分割的过程具体可描述为：

在最大熵法和最大类间方差法的基础上，采用最大熵原理选择最佳阈值，以实现对视频图像中的溢油区域进行图像分割。

较为优选的，步骤S5中对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合的过程具体可描述为：

通过多层网络组成的金字塔结构，以实现对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合。

较为优选的，步骤S6中对步骤S5所得的特征组合后的疑似溢油区域进行目标检测的过程具体可描述为：

基于M2det改进模型以实现对步骤S5所得的特征组合后的疑似溢油区域进行目标检测。

本发明提供了一种基于视频监控的溢油检测方法，该溢油检测方法包括有获取输油管道所处作业区域的视频图像、学习检测溢油区域中阴影区域的特征和阴影边界的特征、从视频图像中去除阴影区域、对视频图像中的溢油区域进行图像分割、对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合、对特征组合后的疑似溢油区域进行目标检测，得到二维图像中存在目标的分类结果、选择分类结果作为模糊识别模型的输入坐标参量；通过模糊逻辑系统生成模糊集合，经聚类后得到总模糊集合、利用反模糊化算法对总模糊集合进行完整性过滤，转化得到修正后的溢油边界等步骤。

具有上述步骤特征的基于视频监控的溢油检测方法，解决了现有技术对复杂阴影场景下检测误差大且实时性差的问题，至少具有如下特点：

(1)、分析并设计了一个阴影处理网络框架，比之前已有方法能够更好地进行阴影的检测和去除，使用多个转换网络从原始图像中自动学习最相关的特征表示，广泛的定量评估来证明所提议的框架是健壮的、较少约束的，不仅精度高，速度也快，具有广泛的应用场景；

(2)、本发明提供的溢油检测方法能够应用于油田作业区这个复杂场景中，实现了精准的溢油目标检测，并在特定的实际应用场景中尝试结合多层网络构成的金字塔结构进行溢油目标检测与分析，实现了视频监控实现溢油检测任务的通用框架；

(3)、在实际工程场景中利用模糊逻辑系统聚类输出使用隶度函数对模糊集进行处理，通过反模糊化方法，实现真实溢油和疑似溢油的精确区分。

具体实施方式

本发明提供了一种基于视频监控的溢油检测方法，该溢油检测方法克服了现有技术中存在的缺陷，从而可以更好的对溢油区域进行评估，并可适应于多个工况领域，具有更好的应用前景。

实施例一

本发明提供了一种基于视频监控的溢油检测方法，具体的，包括有如下步骤：

步骤S1：获取输油管道所处作业区域的视频图像，并对视频图像进行预处理；

需要说明的是，作为本发明的一种优选实施方式，对视频图像进行预处理的过程可参考如下：输入一个未修剪的视频V，通过视频序列预处理将视频数据转换为连续的L帧RGB图像。为了产生随机的提取帧，设定每隔24帧进行一次哈希函数计算，每次选择一个随机函数 random，取每帧所在的帧编号为它的哈希地址，得到随机生成的帧编号，即为提取帧。

步骤S2：通过两个独立的转换网络，学习检测溢油区域中阴影区域的特征和阴影边界的特征；

需要说明的是，通过转换网络进行特征学习的过程中，在每个特征层上，使用相同的Conv Net架构用于特征学习：具体包括有交替的卷积和子采样层以及位于输出层之前的完全连接层。这种分层结构使通信网络能够学习多层次的功能。

该网络体系结构通过将一个RGB补丁作为输入，并对其进行处理，以给出二进制类的后验分部。每个神经元输出被建模为其输入的非线性网络函数σ((·))，该非线性网络由逻辑函数sigmoid函数定义:σ(x)＝(1+e^-x)^-1。

转换网络中的卷积层由滤波器组组成，这些滤波器组与输入特征映射进行卷积。子采样层将相邻神经元组的输出合并到同一个内核映射中。在边界提取之前应用双边滤波器来增强边缘。gPb边界检测器用于找到图像中的重要边界。在每个边界点之后沿边界提取窗口，将重叠的边界补片输入到一个Conv Net中进行训练。训练后的Conv Net区分阴影和反射边缘，并基于训练后的权重预测类别归属概率。接下来使用主要阴影属性来定位可能的阴影部分，并且由Conv Net预测后分配给定位区域。

步骤S3：从视频图像中去除阴影区域；

需要说明的是，步骤S3由两个步骤组成，分别是从视频图像中分割出准确的阴影区域以及对分割后的阴影区域在RBG空间内进行无缝像素重新照明(并优选进行阴影边缘恢复)，进而成功生成无阴影图像。在此过程中通过定性定量分析，为自动阴影消除提供单个组件及其组合的合理性，以期待更好地保持无阴影图像的颜色和纹理。

作为本发明的一种较为优选的实施方式，给定包含阴影区域的彩色真实图像X_γ，其中，γ∈{r,g,b}分别表示红色、绿色、蓝色通道；基于衰减程度确定阴影与非阴影之间的对应关系，即

其中，

表示包含阴影像素向量，而

表示非阴影像素向量，[λ_rλ_gλ_b]表示三个颜色通道的衰减向量。基于此可以计算得到，去除阴影区域的无阴影图像

满足：

分别为无阴影区域、阴影区域的平均像素值。

值得注意的是，在上述步骤S3中，无阴影区域图像准确地保留了原视频图像的颜色和纹理，但是在阴影的边界附近会出现一些错误。这是由于阴影半影区域周围的光照变化较大。为了恢复边界误差，我们使用基于样本的修补技术，该技术通过从邻域中搜索和复制最相似的补片像素来替代每个错误的像素补片，从而复制具有相似纹理的错误区域。此外，通过应用阈值来检测阴影区域会导致在图像中还有其他一些非阴影区域同样显得很暗，影响了阴影区域检测的分割精度。因此还需要我们使用强度信息与图像相结合的方式来解决阴影去除问题。

步骤S4：对视频图像中的溢油区域进行图像分割；

步骤S5：对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合；

需要说明的是，作为本发明一种较为优选的实施方式，使用VGG 技术，通过多层网络组成的金字塔结构来实现对整个分割图像后的疑似溢油区域(视频图像)序列进行特征识别(面积、复杂度、形状因子和灰度)与分类组合。其中，输入数据为一系列经过帧图像，每一帧图像都有一组坐标，使用图结构规则，利用灰度特征和纹理特征来构建特征图。而后提取每一溢油区域的类别特征，将不同卷积层的特征进行融合，并作为基础特征送入类似U型模块中进行编解码；再与基础特征进行融合，产生多层多尺度特征；最终将多层、多尺度特征进行融合，构建检测金字塔进行目标检测，其构建形成的特征公式可参考如下：

其中，

分别表示输入图像的特征向量，T_l(·)表示采样函数，用于计算具有维度l的采样输入特征向量的内积，F(·)表示权重函数，权重函数与输入的向量x无关；因此，输入图像上的所有滤镜权重都是共享的，图像域的标准卷积通过对FFMV(即特征融合模块：Feature Fusion Module)中的矩形网格进行编码来融合特征。

步骤S6：对步骤S5所得的特征组合后的疑似溢油区域进行目标检测，得到二维图像中存在目标的分类结果；

需要说明的是，作为本发明的一种较为优选的实施方式，优选采用M2Det改进模型。由于网络结构是十分紧凑的，需要很少的存储，所以帧级的识别与分类可以直接从原始视频中训练，以一种端到端的方式进行溢油区域的检测，而不需要缓存中间的特征。相比SCNN网络，虽然本发明通过对每一视频帧进行预测而增加了工作量，且随着视频长度的增加，为了更高的精度而降低了效率；但是在提议片段较短的情况下，由于这些提议段通常密集重叠，视频片段级方法必须逐个处理大量的片段，而本发明只需要对所有的视频帧图像处理一次，因此它可以避免冗余计算。

此外，由于GPU的内存限制，实际上算法在视频中使用一个16帧的重叠时间窗口，并将每个窗口单独送入网络以及时获得密集的预测。从溢油边界注释中，可以获得每一帧的标签，相同窗口中的框架可以有不同的标签。为了防止在训练过程中包含太多的背景帧，本方法只保留至少有一帧属于溢油区域的窗口，因此，在给定的一组视频数据中，可以获得与帧级标签窗口相对应的溢油区域集合。

步骤S7：选择步骤S6所得的分类结果作为模糊识别模型的输入坐标参量；通过模糊逻辑系统生成模糊集合，经聚类后得到总模糊集合；

需要说明的是，在步骤S6所得的分类结果中可能仍包含不完整或多余的实例，因此需使用特定的模糊逻辑系统来过滤出这些片段以保证结果的完整性，并通过位置回归来优化提议段本身的时间区间。具体而言，根据样本特征值满足近似正态分布的特点进行进一步筛选，同时判定结果之间呈一定分布规律的特征参量，最终选择5个特征参量包括背景均值、方差比(RBSDO)、复杂度(COM)、形状因子(SF)、角二阶矩(ASM)。对上述5个输入特征参数和1个输出分类结果参数聚类定义输出总模糊集合，其满足如下公式：

其中， x表示具有特征意义的模糊变量，σ表示特征参量与溢油可能性的概率统计，m为标记为疑似溢油的特征变量。

步骤S8：利用反模糊化算法对步骤S7所得的总模糊集合进行完整性过滤，转化得到修正后的溢油边界。

最后利用反模糊算法将模糊输出的总模糊集合转化为一个确定的输出值。作为本发明一种较为优选的实施方式，在此可选用重心法将模糊聚类输出模糊集合的隶度函数曲线与横坐标围成的区域的重心所对应的纵坐标函数值作为输出值，模糊逻辑分类溢油和疑似溢油系统的输出值就是目标为溢油的概率大小。

实施例二

实施例二包括有实施例一中的全部技术特征；除此之外，实施例二还进一步对步骤S2做了如下限定。

值得注意的是，在本发明步骤S2中使用的两个独立的转换网络，其分别是为了提取阴影区域特征以及确定阴影边界特征。

其中，对于阴影区域特征的定位Conv Nets在大小相等的窗口上运行，因此需要使用窗口操作；考虑到效率问题，对于区域像素的情况，通过对同质像素进行聚类来提取得到超像素；具体可描述为：使用SLIC 技术，通过将T_s×T_s空间居中于每个超像素的质心来提取该阴影区域特征(ρ^r)；其中，阴影区域特征(ρ^r)满足：ρ^r(i，j)＝W^i，j(F_slic(x)，T_s)；(i，j)表示阴影区域的质心空间，x是视频图像中的每个像素的位置，p表示一个具体模型部位，W^i，j(·)来提取所需兴趣点周围的特征。

而对于阴影边界特征的定位，具体可描述为：使用gPb技术，以步长λ沿每个边界遍历，在每一步提取一个T_s×T_s空间特征，结合局部上下环境确定阴影边界特征(ρ^b)；其中，阴影边界特征(ρ^b)满足：ρ^b(i，j)＝W^i，j(F_gPb(x)，T_s)；(i，j)表示阴影边界的质心空间，x是视频图像中的每个像素的位置，p表示一个具体模型部位，W^i,j(·)来提取所需兴趣点周围的特征。

实施例三

实施例三包括有实施例一中的全部技术特征；除此之外，实施例三还进一步对步骤S3做了如下限定。

需要说明的是，在前文中提及了步骤S3是由两个步骤组成，即分别是从视频图像中分割出准确的阴影区域以及对分割后的阴影区域在 RBG空间内进行无缝像素重新照明。而在此过程中，作为本发明的一种较为优选的实施方式，首先利用三色衰减模型和亮度信息，从视频图像中分隔得到阴影区域；而后利用引导滤波和鲁棒抠图算法提取阴影区域并进行遮盖，遮盖后即实现了在视频图像中分割出准确的阴影区域的目的。最后，进一步对视频图像中已遮盖的阴影区域进行像素重新照明(并优选进行阴影边缘恢复)，即可生成去除阴影区域的无阴影图像。

本发明提供了一种基于视频监控的溢油检测方法，该溢油检测方法包括有获取输油管道所处作业区域的视频图像、学习检测溢油区域中阴影区域的特征和阴影边界的特征、从视频图像中去除阴影区域、对视频图像中的溢油区域进行图像分割、对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合、对特征组合后的疑似溢油区域进行目标检测，得到二维图像中存在目标的分类结果、选择分类结果作为模糊识别模型的输入坐标参量；通过模糊逻辑系统生成模糊集合，经聚类后得到总模糊集合、利用反模糊化算法对步骤S7所得的总模糊集合进行完整性过滤，转化得到修正后的溢油边界等步骤。

具有上述步骤特征的基于视频监控的溢油检测方法，解决了现有技术对复杂阴影场景下检测误差大且实时性差的问题，至少具有如下特点：

(1)、分析并设计了一个阴影处理网络框架，比之前已有方法能够更好地进行阴影的检测和去除，使用多个转换网络从原始图像中自动学习最相关的特征表示，广泛的定量评估来证明所提议的框架是健壮的、较少约束的，不仅精度高，速度也快，具有广泛的应用场景；

(2)、本发明提供的溢油检测方法能够应用于油田作业区这个复杂场景中，实现了精准的溢油目标检测，并在特定的实际应用场景中尝试结合多层网络构成的金字塔结构进行溢油目标检测与分析，实现了视频监控实现溢油检测任务的通用框架；

(3)、在实际工程场景中利用模糊逻辑系统聚类输出使用隶度函数对模糊集进行处理，通过反模糊化方法，实现真实溢油和疑似溢油的精确区分。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于视频监控的溢油检测方法，其特征在于，包括有如下步骤：

步骤S1：获取输油管道所处作业区域的视频图像，并对视频图像进行预处理；

步骤S2：通过两个独立的转换网络，学习检测溢油区域中阴影区域的特征和阴影边界的特征；

步骤S3：从视频图像中去除阴影区域；

步骤S4：对视频图像中的溢油区域进行图像分割；

步骤S5：对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合；

步骤S6：对步骤S5所得的特征组合后的疑似溢油区域进行目标检测，得到二维图像中存在目标的分类结果；

步骤S7：选择步骤S6所得的分类结果作为模糊识别模型的输入坐标参量；通过模糊逻辑系统生成模糊集合，经聚类后得到总模糊集合；

步骤S8：利用反模糊化算法对步骤S7所得的总模糊集合进行完整性过滤，转化得到修正后的溢油边界。

2.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S2中学习检测溢油区域中阴影区域的特征的过程具体可描述为：

使用SLIC技术，通过将

空间居中于每个超像素的质心来提取该阴影区域特征

；其中，阴影区域特征

满足：

；

表示阴影区域的质心空间，

是视频图像中的每个像素的位置，

表示一个具体模型部位，

来提取所需兴趣点周围的特征。

3.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S2中学习检测溢油区域中阴影边界特征的过程具体可描述为：

使用

技术，以步长

沿每个边界遍历，在每一步提取一个

空间特征，结合局部上下环境确定阴影边界特征

；其中，阴影边界特征

满足：

；

表示阴影边界的质心空间，

是视频图像中的每个像素的位置，

表示一个具体模型部位，

来提取所需兴趣点周围的特征。

4.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S3中从视频图像中去除阴影区域的过程具体可描述为：

利用三色衰减模型和亮度信息，从视频图像中分隔得到阴影区域；

利用引导滤波和鲁棒抠图算法提取阴影区域并进行遮盖；

对视频图像中已遮盖的阴影区域进行像素重新照明，生成去除阴影区域的无阴影图像。

5.根据权利要求4所述的一种基于视频监控的溢油检测方法，其特征在于，所述去除阴影区域的无阴影图像

，满足：

；

分别为无阴影区域、阴影区域的平均像素值；

为包含阴影区域的彩色真实图像；

，分别表示真实图像中红色、绿色、蓝色通道。

6.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S4中对视频图像中的溢油区域进行图像分割的过程具体可描述为：

在最大熵法和最大类间方差法的基础上，采用最大熵原理选择最佳阈值，以实现对视频图像中的溢油区域进行图像分割。

7.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S5中对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合的过程具体可描述为：

通过多层网络组成的金字塔结构，以实现对分割图像后的疑似溢油区域的面积、复杂度、形状因子和灰度进行特征提取和特征组合。

8.根据权利要求1所述的一种基于视频监控的溢油检测方法，其特征在于，步骤S6中对步骤S5所得的特征组合后的疑似溢油区域进行目标检测的过程具体可描述为：

基于M2det改进模型以实现对步骤S5所得的特征组合后的疑似溢油区域进行目标检测。