CN114170552A - 基于红外热成像的天然气泄漏实时预警方法及系统 - Google Patents

基于红外热成像的天然气泄漏实时预警方法及系统 Download PDF

Info

Publication number
CN114170552A
CN114170552A CN202111498731.XA CN202111498731A CN114170552A CN 114170552 A CN114170552 A CN 114170552A CN 202111498731 A CN202111498731 A CN 202111498731A CN 114170552 A CN114170552 A CN 114170552A
Authority
CN
China
Prior art keywords
early warning
image
gas leakage
natural gas
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111498731.XA
Other languages
English (en)
Inventor
王红岭
呙林波
欧阳泽节
谢智愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pumeng Technology Co ltd
Original Assignee
Shanghai Pumeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pumeng Technology Co ltd filed Critical Shanghai Pumeng Technology Co ltd
Priority to CN202111498731.XA priority Critical patent/CN114170552A/zh
Publication of CN114170552A publication Critical patent/CN114170552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于红外热成像的天然气泄漏实时预警方法及系统，包括下述步骤：采集，实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；识别，对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；预警，根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施。本申请将图像处理技术和深度学习技术结合，通过对于红外气体图像的高准确率识别，实现泄漏点定位进而对气体泄漏进行高精度实时预警。

Description

基于红外热成像的天然气泄漏实时预警方法及系统
技术领域
本申请涉及计算机视觉、深度卷积神经网络及气体检测技术领域，具体涉及基于红外热成像的天然气泄漏实时预警方法及系统。
背景技术
天然气在全球能源系统中发挥着重要作用，广泛应用在石油、化工、汽车等行业，由于泄漏的气体日益增多以及泄漏事故的发生越来越多，对环境和人类日益构成威胁。如何准确及时地检测出发生的气体泄漏，并找到气体泄漏位置，从而防止重大气体泄漏事故的发生日益成为亟待处理的问题。
红外热成像技术以其距离远、非接触、普遍性和动态直观等显著优势，成为气体检测领域的重要研究方向。由于红外气体成像仪的易用性，其已常用于定期泄漏检测和维护。尽管气体成像很有用，但仍存在一些基本挑战，比如手动操作气体成像仪人工成本高、长时间人工操作几乎不可能、红外热像仪无法在没有操作员判断的情况下自动给出泄漏检测结果的实时反馈等，并且气体红外成像后形成的图像对比度低、无固定形状和大小、无规则，加大了泄露气体的检测难度，如何高准确率的气体泄漏实时预警成为一个具有挑战性的难题，
发明内容
本申请的目的在于提供一种将图像处理技术和深度学习技术结合、实现红外气体图像高准确率的气体泄漏实时预警和高精度定位和渲染的基于红外热成像的天然气泄漏实时预警方法及系统。
为达上述目的，本申请提供如下技术方案：
一种基于红外热成像的天然气泄漏实时预警方法，包括下述步骤：
采集：实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
识别：对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
预警：根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施。
所述采集步骤中，实时获取所述红外视频图像并保存后，还包括帧差处理，对当前帧图像和当前帧前面第k帧图像进行帧差处理，得到帧差处理后的输出图像。
所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+E
Isub1(i,j)＝(A-B)/(F-D)*(Ic-k(i,j)-Ic(i,j))+E
Isub2(i,j)＝(A-B)/(F-D)*(Ic(i,j)-Ic-k(i,j))+E
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，均为8位无符号数据类型，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标；B∈[0,128]，A∈[0,255]且A大于B，F为8位无符号二进制表示的十进制最大值，D为8位无符号二进制表示的十进制最小值，E∈[0,128]。
在本申请的一些实施例中，所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+128
Isub1(i,j)＝(255-128)/(255-0)*(Ic-k(i,j)-Ic(i,j))+128
Isub2(i,j)＝(255-128)/(255-0)*(Ic(i,j)-Ic-k(i,j))+128
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标。
在所述采集步骤与所述识别步骤之间，还包括图像增强步骤，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
所述图像增强步骤中的图像增强处理为：
第一步，对所述帧差处理后的输出图像先后进行阈值算法处理和数学形态学滤波处理，得到气体二值图像；
第二步，对所述帧差处理后的输出图像和气体二值图像进行逻辑与运算处理，得到气体粗略区域图像；
第三步，对所述气体粗略区域图像进行高斯滤波和形态学滤波处理，得到气体增强图像；
第四步，对所述气体增强图像进行阈值算法处理，得到包含气体疑似区域的二值图像。
所述第三步中的形态学滤波处理为图像膨胀处理，所述图像膨胀处理为：
Figure BDA0003401922070000031
其中，B是卷积模板或卷积核，其形状为正方形或圆形；A是经过高斯滤波的气体粗略区域图像；通过B对A进行卷积计算。扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1，从而计算B覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。
所述第四步中的阈值算法处理包括自适应的最大类间方差法。
在所述图像增强步骤与所述识别步骤之间，还包括气体轮廓检测步骤，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
所述气体轮廓检测步骤中的气体轮廓检测算法为Suzuki轮廓跟踪算法。
所述识别步骤中的深度卷积神经网络模型的训练过程包括：
从所述红外视频图像中，采集N帧不同环境下的气体红外图像，并得到每个气体疑似区域，人工分类泄漏与非泄露，得到气体泄漏训练集；所述不同环境为不同距离、不同气体泄漏速率、不同环境；所述距离的取值范围为0-50m；所述气体泄漏速率的取值范围为0-2500g/h；
将所述气体泄漏训练集输入深度卷积神经网络模型，经过学习训练后，得到自动提取天然气特性的深度卷积神经网络模型；所述深度卷积神经网络模型由至少一个卷积模块、至少一个全连接层和输出组成；所述卷积模块包括卷积操作、批归一化操作、relu激活层、池化层。在本申请的一些实施例中，根据实际情况使用三个卷积模块与两个全连接层和输出效果最好。
所述预警步骤中的天然气泄漏预警判断处理为：
统计最近的N帧，运用所述自动提取天然气特性的深度卷积神经网络模型预测的结果，得到泄漏帧数为Nleak，得到比值条件Nleak/N；获取包含气体泄漏疑似区域的二值图像的所有像素的平均值AvgG；根据泄漏条件判据判断当前帧是否泄漏；
N为正整数，AvgG∈(0,255)；所述泄漏条件判据为，Nleak/N>T1，平均值AvgG<T2，T1和T2均为阈值，T1∈(0,1)，T2∈(0,255)。
一种基于红外热成像的天然气泄漏实时预警系统，包括采集模块、识别模块、预警模块；
所述采集模块，实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
所述识别模块，对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
所述气体泄漏预警策略模块，根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施；
所述基于红外热成像的天然气泄漏实时预警系统采用所述基于红外热成像的天然气泄漏实时预警方法进行预警。
所述图像增强模块，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
所述轮廓检测模块，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
所述采集模块还包括帧差处理，将当前时刻的红外视频图像和前面第k帧的红外视频图像进行帧差处理，得到帧差处理后的输出图像。
本申请的有益效果是：
1、采用非制冷热成像仪，提供一种基于红外热成像的天然气泄漏实时预警方法，将图像处理技术和深度学习技术结合，通过对于红外气体图像的高准确率识别，实现泄漏点定位进而对气体泄漏进行高精度实时预警；
2、本申请的方法采用图像处理算法得到气体疑似区域，运用构建的气体泄漏深度卷积神经网络模型，自动提取气体云团特征，并对每个气体疑似区域实现气体泄漏实时预警，克服气体泄漏检测准确率低和实时性差的不足。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于红外热成像的天然气泄漏实时预警方法的结构示意图；
图2为基于红外热成像的天然气泄漏实时预警系统的模块结构示意图；
图3为基于红外热成像的天然气泄漏实时预警方法及系统的深度卷积神经网络架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本申请提供一种基于红外热成像的天然气泄漏实时预警方法及系统，以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对本申请实施例优选顺序的限定。且在以下实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
实施例1
如图1和图3所示，本申请实施例1中，一种基于红外热成像的天然气泄漏实时预警方法，包括下述步骤：
采集：实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
识别：对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
预警：根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施。
所述采集步骤中，实时获取所述红外视频图像并保存后，还包括帧差处理，对当前帧图像和当前帧前面第k帧图像进行帧差处理，得到帧差处理后的输出图像。
所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+E
Isub1(i,j)＝(A-B)/(F-D)*(Ic-k(i,j)-Ic(i,j))+E
Isub2(i,j)＝(A-B)/(F-D)*(Ic(i,j)-Ic-k(i,j))+E
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，均为8位无符号数据类型，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标；B∈[0,128]，A∈[0,255]且A大于B，F为8位无符号二进制表示的十进制最大值，D为8位无符号二进制表示的十进制最小值，E∈[0,128]。
在本申请的一些实施例中，所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+128
Isub1(i,j)＝(255-128)/(255-0)*(Ic-k(i,j)-Ic(i,j))+128
Isub2(i,j)＝(255-128)/(255-0)*(Ic(i,j)-Ic-k(i,j))+128
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标。
在所述采集步骤与所述识别步骤之间，还包括图像增强步骤，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
所述图像增强步骤中的图像增强处理为：
第一步，对所述帧差处理后的输出图像先后进行阈值算法处理和数学形态学滤波处理，得到气体二值图像；
第二步，对所述帧差处理后的输出图像和气体二值图像进行逻辑与运算处理，得到气体粗略区域图像；
第三步，对所述气体粗略区域图像进行高斯滤波和形态学滤波处理，得到气体增强图像；
第四步，对所述气体增强图像进行阈值算法处理，得到包含气体疑似区域的二值图像。
所述第三步中的形态学滤波处理为图像膨胀处理，所述图像膨胀处理为：
Figure BDA0003401922070000071
其中，B是卷积模板或卷积核，其形状为正方形或圆形；A是经过高斯滤波的气体粗略区域图像；通过B对A进行卷积计算。扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1，从而计算B覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。所述参考点指，采集到的图像大小只有5*5，但是只有中间一个点为白(255)色，卷积模板为3*3，膨胀后结果为5*3但是中间一个点变成了3*3的9个白色点，所述参考点就是所采集的图像中间一个白色点。
所述第四步中的阈值算法处理包括自适应的最大类间方差法。
在所述图像增强步骤与所述识别步骤之间，还包括气体轮廓检测步骤，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
所述气体轮廓检测步骤中的气体轮廓检测算法为Suzuki轮廓跟踪算法。
所述识别步骤中的深度卷积神经网络模型的训练过程包括：
从所述红外视频图像中，采集N帧不同环境下的气体红外图像，并得到每个气体疑似区域，人工分类泄漏与非泄露，得到气体泄漏训练集；所述不同环境为不同距离、不同气体泄漏速率、不同天气；所述距离的取值范围为0-50m；所述气体泄漏速率的取值范围为0-2500g/h；根据实际的使用场景，可以适当调整具体的所述距离和所述气体泄漏速率的取值。在本申请的一些实施例中，根据实际工况，采集数据的环境还包括雨、雪、风速等不同的环境。
将所述气体泄漏训练集输入深度卷积神经网络模型，经过学习训练后，得到自动提取天然气特性的深度卷积神经网络模型；所述深度卷积神经网络模型由至少一个卷积模块、至少一个全连接层和输出组成；所述卷积模块包括卷积操作、批归一化操作、relu激活层、池化层。在本申请的一些实施例中，根据实际情况使用三个卷积模块与两个全连接层和输出效果最好
所述预警步骤中的天然气泄漏预警判断处理为：
统计最近的N帧，运用所述自动提取天然气特性的深度卷积神经网络模型预测的结果，得到泄漏帧数为Nleak，得到比值条件Nleak/N；获取包含气体泄漏疑似区域的二值图像的所有像素的平均值AvgG；根据泄漏条件判据判断当前帧是否泄漏；
N为正整数，AvgG∈(0,255)；所述泄漏条件判据为，Nleak/N>T1，平均值AvgG<T2，T1和T2均为阈值，T1∈(0,1)，T2∈(0,255)。根据实际使用情景，可以适当调整N、T1和T2的具体取值大小。
实施例2
如图2和图3所示，本申请实施例2中，一种基于红外热成像的天然气泄漏实时预警系统，包括采集模块、识别模块、预警模块；
所述采集模块，实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
所述识别模块，对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
所述气体泄漏预警策略模块，根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施；
所述基于红外热成像的天然气泄漏实时预警系统采用所述基于红外热成像的天然气泄漏实时预警方法进行预警。
所述图像增强模块，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
所述轮廓检测模块，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
其中，所述采集模块还包括帧差处理，将当前时刻的红外视频图像和前面第k帧的红外视频图像进行帧差处理，得到帧差处理后的输出图像。
所述采集模块中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+128
Isub1(i,j)＝(255-128)/(255-0)*(Ic-k(i,j)-Ic(i,j))+128
Isub2(i,j)＝(255-128)/(255-0)*(Ic(i,j)-Ic-k(i,j))+128
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标。
所述图像增强模块中的图像增强处理为：
第一步，对所述帧差处理后的输出图像先后进行阈值算法处理和数学形态学滤波处理，得到气体二值图像；
第二步，对所述帧差处理后的输出图像和气体二值图像进行逻辑与运算处理，得到气体粗略区域图像；
第三步，对所述气体粗略区域图像进行高斯滤波和形态学滤波处理，得到气体增强图像；
第四步，对所述气体增强图像进行阈值算法处理，得到包含气体疑似区域的二值图像。
所述第三步中的形态学滤波处理为图像膨胀处理，所述图像膨胀处理为：
Figure BDA0003401922070000101
其中，B是卷积模板或卷积核，其形状为正方形或圆形；A是经过高斯滤波的气体粗略区域图像；通过B对A进行卷积计算。扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1，从而计算B覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。
所述第四步中的阈值算法处理包括自适应的最大类间方差法。
所述气体轮廓检测模块中的气体轮廓检测算法为Suzuki轮廓跟踪算法。
所述识别模块中的深度卷积神经网络模型的训练过程包括：
从所述红外视频图像中，采集N帧不同距离、不同气体泄漏速率不同环境下的气体红外图像，并得到每个气体疑似区域，人工分类泄漏与非泄露，得到气体泄漏训练集；所述距离的取值范围为0-50m；所述气体泄漏速率的取值范围为0-2500g/h；根据实际的使用场景，可以适当调整所述距离和所述气体泄漏速率的取值大小。
采用深度卷积神经网络模型学习所述气体泄漏训练集后得到自动提取天然气特性的深度卷积神经网络模型；所述深度卷积神经网络模型由至少一个卷积模块、至少一个全连接层和输出组成；所述卷积模块包括卷积操作、批归一化操作、relu激活层、池化层。在本申请的一些实施例中，使用三个卷积模块与两个全连接层和输出效果最好
所述预警模块中的天然气泄漏预警判断处理为：
统计最近的N帧，运用所述自动提取天然气特性的深度卷积神经网络模型预测的结果，得到泄漏帧数为Nleak，得到比值条件Nleak/N，得到包含气体泄漏疑似区域的二值图像的所有像素的平均值AvgG，根据泄漏条件判据判断当前帧是否泄漏；
N为正整数，AvgG∈(0,255)；所述泄漏条件判据为，Nleak/N>T1，平均值AvgG<T2，T1和T2均为阈值，T1∈(0,1)，T2∈(0,255)。根据实际使用情景，可以适当调整N、T1和T2的具体取值大小。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。此外，说明书中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种基于红外热成像的天然气泄漏实时预警方法，其特征在于，包括下述步骤：
采集：实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
识别：对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
预警：根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施。
2.根据权利要求1所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，包括下述步骤：
所述采集步骤中，实时获取所述红外视频图像并保存后，还包括帧差处理，对当前帧图像和当前帧前面第k帧图像进行帧差处理，得到帧差处理后的输出图像。
3.根据权利要求2所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+E
Isub1(i,j)＝(A-B)/(F-D)*(Ic-k(i,j)-Ic(i,j))+E
Isub2(i,j)＝(A-B)/(F-D)*(Ic(i,j)-Ic-k(i,j))+E
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，均为8位无符号数据类型，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标；B∈[0,128]，A∈[0,255]且A大于B，F为8位无符号二进制表示的十进制最大值，D为8位无符号二进制表示的十进制最小值，E∈[0,128]。
4.根据权利要求3所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述采集步骤中的帧差处理为：
Isub(i,j)＝Isub1(i,j)-Isub2(i,j)+128
Isub1(i,j)＝(255-128)/(255-0)*(Ic-k(i,j)-Ic(i,j))+128
Isub2(i,j)＝(255-128)/(255-0)*(Ic(i,j)-Ic-k(i,j))+128
其中，Ic(i,j)为当前帧图像，Ic-k(i,j)为当前帧前面第k帧图像，Isub(i,j)帧差处理后的输出图像，c表示当前帧，k表示当前帧c前面的第k帧，i、j表示像素行列坐标。
5.根据权利要求2所述基于红外热成像的天然气泄漏实时预警方法，其特征在于：在所述采集步骤与所述识别步骤之间，还包括图像增强步骤，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
6.根据权利要求5所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述图像增强步骤中的图像增强处理为：
第一步，对所述帧差处理后的输出图像先后进行阈值算法处理和数学形态学滤波处理，得到气体二值图像；
第二步，对所述帧差处理后的输出图像和气体二值图像进行逻辑与运算处理，得到气体粗略区域图像；
第三步，对所述气体粗略区域图像进行高斯滤波和形态学滤波处理，得到气体增强图像；
第四步，对所述气体增强图像进行阈值算法处理，得到包含气体疑似区域的二值图像。
7.根据权利要求6所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述第三步中的形态学滤波处理为图像膨胀处理，所述图像膨胀处理为：
A⊕B＝{x|(B)x∩A≠Θ}
其中，B是卷积模板或卷积核，其形状为正方形或圆形；A是经过高斯滤波的气体粗略区域图像；通过B对A进行卷积计算。
8.根据权利要求6所述基于红外热成像的天然气泄漏实时预警方法，其特征在于：所述第四步中的阈值算法处理包括自适应的最大类间方差法。
9.根据权利要求5-8中任一项所述基于红外热成像的天然气泄漏实时预警方法，其特征在于：在所述图像增强步骤与所述识别步骤之间，还包括气体轮廓检测步骤，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
10.根据权利要求9所述基于红外热成像的天然气泄漏实时预警方法，其特征在于：所述气体轮廓检测步骤中的气体轮廓检测算法为Suzuki轮廓跟踪算法。
11.根据权利要求9所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述识别步骤中的深度卷积神经网络模型的训练过程包括：
从所述红外视频图像中，采集N帧不同环境下的气体红外图像，并得到每个气体疑似区域，人工分类泄漏与非泄露，得到气体泄漏训练集；所述不同环境为不同距离、不同气体泄漏速率、不同天气；所述距离的取值范围为0-50m；所述气体泄漏速率的取值范围为0-2500g/h；
将所述气体泄漏训练集输入深度卷积神经网络模型，经过学习训练后，得到自动提取天然气特性的深度卷积神经网络模型，优于传统的人工提取天然气特性的方法；所述深度卷积神经网络模型由至少一个卷积模块、至少一个全连接层和输出组成；所述卷积模块包括卷积操作、批归一化操作、relu激活层、池化层。
12.根据权利要求11所述基于红外热成像的天然气泄漏实时预警方法，其特征在于，所述预警步骤中的天然气泄漏预警判断处理为：
统计最近的N帧，运用所述自动提取天然气特性的深度卷积神经网络模型预测的结果，得到泄漏帧数为Nleak，得到比值条件Nleak/N；获取包含气体泄漏疑似区域的二值图像的所有像素的平均值AvgG；根据泄漏条件判据判断当前帧是否泄漏；
N为正整数，AvgG∈(0,255)；所述泄漏条件判据为，Nleak/N>T1，平均值AvgG<T2，T1和T2均为阈值，T1∈(0,1)，T2∈(0,255)。
13.一种基于红外热成像的天然气泄漏实时预警系统，其特征在于：包括采集模块、识别模块、预警模块；
所述采集模块，实时获取天然气使用场景、传输场景或存放场景的红外视频图像并保存；
所述识别模块，对所述红外视频图像使用经过训练的深度卷积神经网络模型进行气体泄露识别，得到识别检测结果；
所述气体泄漏预警策略模块，根据所述识别检测结果以及天然气泄漏预警判断处理，产生预警措施；
所述基于红外热成像的天然气泄漏实时预警系统采用如权利要求12所述基于红外热成像的天然气泄漏实时预警方法进行预警。
14.根据权利要求13述基于红外热成像的天然气泄漏实时预警系统，其特征在于：所述图像增强模块，对所述帧差处理后的输出图像进行图像增强处理，得到包含气体泄漏疑似区域的二值图像。
15.根据权利要求13述基于红外热成像的天然气泄漏实时预警系统，其特征在于：所述轮廓检测模块，对所述包含气体泄漏疑似区域的二值图像进行气体轮廓检测算法处理，得到气体轮廓区域。
16.根据权利要求13述基于红外热成像的天然气泄漏实时预警系统，其特征在于：所述采集模块还包括帧差处理，将当前时刻的红外视频图像和前面第k帧的红外视频图像进行帧差处理，得到帧差处理后的输出图像。
CN202111498731.XA 2021-12-09 2021-12-09 基于红外热成像的天然气泄漏实时预警方法及系统 Pending CN114170552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111498731.XA CN114170552A (zh) 2021-12-09 2021-12-09 基于红外热成像的天然气泄漏实时预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111498731.XA CN114170552A (zh) 2021-12-09 2021-12-09 基于红外热成像的天然气泄漏实时预警方法及系统

Publications (1)

Publication Number Publication Date
CN114170552A true CN114170552A (zh) 2022-03-11

Family

ID=80484836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111498731.XA Pending CN114170552A (zh) 2021-12-09 2021-12-09 基于红外热成像的天然气泄漏实时预警方法及系统

Country Status (1)

Country Link
CN (1) CN114170552A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114992813A (zh) * 2022-06-17 2022-09-02 珠海格力电器股份有限公司 物质泄漏的检测方法、装置、空调设备及存储介质
CN115909180A (zh) * 2023-01-04 2023-04-04 中环碳和(北京)科技有限公司 一种六氟化硫测量方法
CN115965773A (zh) * 2023-03-16 2023-04-14 深圳市特安电子有限公司 基于物联网大数据的气体泄漏检测系统
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN116682070A (zh) * 2023-08-03 2023-09-01 武汉工程大学 复杂场景下危险气体泄漏红外视频检测方法及系统
CN116682070B (zh) * 2023-08-03 2024-05-28 武汉工程大学 复杂场景下危险气体泄漏红外视频检测方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114992813A (zh) * 2022-06-17 2022-09-02 珠海格力电器股份有限公司 物质泄漏的检测方法、装置、空调设备及存储介质
CN115909180A (zh) * 2023-01-04 2023-04-04 中环碳和(北京)科技有限公司 一种六氟化硫测量方法
CN115909180B (zh) * 2023-01-04 2024-01-26 中环碳和(北京)科技有限公司 一种六氟化硫测量方法
CN115965773A (zh) * 2023-03-16 2023-04-14 深圳市特安电子有限公司 基于物联网大数据的气体泄漏检测系统
CN116379359A (zh) * 2023-04-07 2023-07-04 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN116379359B (zh) * 2023-04-07 2023-11-28 长扬科技(北京)股份有限公司 天然气泄露检测方法及多模态天然气泄露检测系统
CN116682070A (zh) * 2023-08-03 2023-09-01 武汉工程大学 复杂场景下危险气体泄漏红外视频检测方法及系统
CN116682070B (zh) * 2023-08-03 2024-05-28 武汉工程大学 复杂场景下危险气体泄漏红外视频检测方法及系统

Similar Documents

Publication Publication Date Title
CN114170552A (zh) 基于红外热成像的天然气泄漏实时预警方法及系统
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109785291B (zh) 一种车道线自适应检测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN104796582B (zh) 基于随机喷射retinex的视频图像去噪与增强方法及装置
CN111611907B (zh) 一种图像增强的红外目标检测方法
CN112614136B (zh) 一种红外小目标实时实例分割方法及装置
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN114742820B (zh) 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN111401358B (zh) 一种基于神经网络的仪表表盘校正方法
CN112529875A (zh) 一种基于人工智能的光伏组件玻璃爆裂预警方法及系统
CN116721107B (zh) 一种电缆生产质量智能监控系统
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN111723801A (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN108537170A (zh) 一种电力设备固件无人机巡检销钉缺失检测方法
CN111257329A (zh) 一种智能手机摄像头缺陷检测方法以及检测系统
WO2023236886A1 (zh) 一种基于密集光流法的云遮挡预测方法
CN112184644A (zh) 一种基于多光照强度的气密性气泡检测方法及装置
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN109671084B (zh) 一种工件形状的测量方法
CN114359149A (zh) 基于实时图像边缘增强的坝岸险情视频检测方法及系统
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN113781523A (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
CN111340765B (zh) 一种基于背景分离的热红外图像倒影检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination