CN109145796A - 一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法 - Google Patents

Abstract

本发明涉及一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，利用视频采集装置周期性对隧道内现场环境进行扫描，系统后台对实时传送回来的视频图像进行过滤分析，通过图像处理、特征提取、深度学习等多种算法相融合来综合判别各画面中有无火灾发生。后端系统将视频装置轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离，从而实现火点测距。本发明方法适合于用在电力管廊等密闭空间中判断有无火灾以及火源测距场景，主要关键点在于火灾及着火面积的识别和判断，并计算出火点的大致间距，为电力电缆运维人员进行火灾应急处置时提供重要参考依据。

Description

一种基于视频图像融合分析算法的电力管廊火源识别及火点 测距方法

技术领域

本发明涉及电力火灾判断领域，特别是一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法。

背景技术

电力部门对电力管廊内火灾监控提出了更高要求，对火灾判断和识别准确率需接近100％，还对火源与防火门、工作井、电缆接头等设备之间的距离和蔓延时间估算也提出了相应要求，以便作为制定火情处置方案的重要依据。

目前行业领域内针对电力管廊火灾监控的的研究已成为电力管廊监控系统中的重要组成部分，一般通过烟雾和测温来判断是否发生火灾，而通过视频图像来分析隧道内火源和火源范围的技术尚不多见，且研究技术均无火点测距功能。由于电力管廊内环境的复杂性，火情趋势及着火点点位和险情处置极为困难，如处置不当反而会发生不必要的人员伤亡事故和更大的财产损失。因此如果能够通过智能化技术手段来分析和评估火情情况，并同时计算和定位出电力管廊内火灾火点的参考距离，能够给运维抢修人员降低火情应急处置的难度，让火灾抢救更加及时和有效。

发明内容

有鉴于此，本发明的目的是提出一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，能够给出电力管廊内火灾火点的参考距离，能够给运维抢修人员降低应急处置的难度。

本发明采用以下方案实现：一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，具体包括以下步骤：

步骤S1：通过视频采集装置周期性对隧道内现场环境进行轮询扫描，其中视频采集装置由云台控制转向；

步骤S2：依次通过图像预处理和分割、火焰特征提取、以及采用深度学习算法对火焰特征进行识别，判别步骤S1采集的各画面中有无火灾发生；若有火灾发生，则进入步骤S3，否则返回步骤S1；

步骤S3：将视频装置采集轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离。

本发明利用集成有可见光、热成像摄像和控制云台的视频设备，通过周期性对隧道内现场环境进行扫描，系统后台对实时传送回来的视频图像进行过滤分析，通过图像处理、特征提取、深度学习等多种算法相融合来综合判别各画面中有无火灾发生。后端系统将视频装置轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离，从而实现火点测距。本发明方法适合于用在电力管廊等密闭空间中判断有无火灾以及火源测距场景，主要关键点在于火灾及着火面积的识别和判断，并计算出火点的大致间距，为电力电缆运维人员进行火灾应急处置时提供重要参考依据。

进一步地，所述视频采集装置为热成像视频采集设备，包括高清可见光镜头和红外热成像镜头。

进一步地，所述视频采集装置采用固定焦距的方式，并对目标区域采用热源灰度轮询扫描。

进一步地，步骤S1还包括：对需要监控的隧道进行现场勘查，确定视频采集装置的选点安装位置，同时对云台预置位进行配置，现场测量好对设定好的各预置位的实际距离和方位角度，并与预置位点在系统后台映射保存。

进一步地，步骤S2中，所述采用深度学习算法对火焰特征进行识别具体包括以下步骤：

步骤S21：建立神经网络，并确定权值；

步骤S22：在网络中输入火焰训练样本并进行训练，估算出最合适的权值函数，并对其不断修正；

步骤S23：从网络中提取出权值函数和模糊规则，并保存。

其中，火焰样本需通过多次试验来收集，即将隧道内的多种易燃物点火燃烧并拍照记录，这些易燃物包括甲烷气体、电缆绝缘层、金属和绝缘材料混合物等，不同材质的火焰燃烧表现不同，便现在火焰颜色、形状、产生烟雾浓度和颜色等。

进一步地，所述神经网络为模糊型神经网络，其输出y和输入x间的关系为：

式中，x_j为第j个输入变量，m为输入变量的数量，yⁱ为第i条规则的输出，为结论参数；

通过将火焰特征作为神经网络中的输入层，设输入模糊向量为(x₁,x₂,...,x_m)，则输出yⁱ(i＝1,2,...,n)由以下公式求得：

式中，n为模糊规则的数量，yⁱ由第i条规则的结论方程式所得；Gⁱ为第i条规则的真值：

式中，为模糊子集，Π为模糊化算子。

进一步地，所述神经网络包括六层，设第j层第i个神经元的输入为x_ij，第j层第i个神经元的输出为y_ij，每层之间的连接权值为1；

第一层是输入层，输入层的主要内容为火焰的静态和动态特征，具体包括火焰的面积变化值、亮度闪烁值、椭圆范围值，该层将输入的x_ij传到下一层；

第二层是隶属函数层，采用高斯隶属度函数来表示输入变量的隶属度，采用如下公式：

式中，c_i为隶属函数的中心，q_i为隶属函数的标准差；利用高斯函数对这些输入数据进行模糊化，这是因为在输入变量中，由于每个特征所表达的物理量不同，每个输入量的范围不同，数值也就很大不同，因此把每个输入量均变为隶属度函数在0-1范围内。根据火源的面积变化值、亮度闪烁值、椭圆范围值这3个特征的物理量，将每一输入变量各对应一种变量值(small、medium、large)来表示。根据火灾发生时的情况和以往经验，当特征值越小，则small的隶属度值越大，而large的隶属度值会越小，当medium的隶属度函数处在中间范围时，提取的特征值越大，则small隶属度值越小，large的隶属度值会越大。

第三层为规则化层，用神经元的乘积来实现其模糊推理；将火源的面积变化值、亮度闪烁值、椭圆度值分别模糊化为三层；

第四层与第三层的节点数相同，其关系为：

第五层的计算规则为：

式中，分别表示从第1到第3层网络的结论参数，x_1I、x_2I分别表示第2到第3层网络的输入量；

第六层为输出层，第六层的神经元采用求和计算网络输出：

进一步地，步骤S3具体为：确定当前火点画面位于轮询路径中的位置点，将该位置点同各云台转向预置位进行映射比对，得出目标预置位的空间位置信息，通过换算其空间位置点坐标得出火源与摄像机位置的方位夹角和距离。

本发明采用的火点测距计算原理是依靠视频云台预置位的预设方位来进行估算，在系统通过上述融合计算确定出视频画面中产生火源时，系统将记录当前画面所在预置位的标识，通过系统后台与视频各预置位点的对应关系，可直接计算出该预置位与视频设备之间的距离，从而实现火点位置测距功能。

与现有技术相比，本发明有以下有益效果：本发明通过智能化技术手段来分析和评估火情情况，并同时计算和定位出电力管廊内火灾火点的参考距离，能够给运维抢修人员降低火情应急处置的难度，让火灾抢救更加及时和有效。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的神经网络结构示意图。

图3为本发明实施例的深度学习算法示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，具体包括以下步骤：

步骤S1：通过视频采集装置周期性对隧道内现场环境进行轮询扫描，其中视频采集装置由云台控制转向；

步骤S2：依次通过图像预处理和分割、火焰特征提取、以及采用深度学习算法对火焰特征进行识别，判别步骤S1采集的各画面中有无火灾发生；若有火灾发生，则进入步骤S3，否则返回步骤S1；

步骤S3：将视频装置采集轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离。

本实施例利用集成有可见光、热成像摄像和控制云台的视频设备，通过周期性对隧道内现场环境进行扫描，系统后台对实时传送回来的视频图像进行过滤分析，通过图像处理、特征提取、深度学习等多种算法相融合来综合判别各画面中有无火灾发生。后端系统将视频装置轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离，从而实现火点测距。本发明方法适合于用在电力管廊等密闭空间中判断有无火灾以及火源测距场景，主要关键点在于火灾及着火面积的识别和判断，并计算出火点的大致间距，为电力电缆运维人员进行火灾应急处置时提供重要参考依据。

在本实施例中，所述视频采集装置为热成像视频采集设备，包括高清可见光镜头和红外热成像镜头。

在本实施例中，所述视频采集装置采用固定焦距的方式，并对目标区域采用热源灰度轮询扫描。

在本实施例中，步骤S1还包括：对需要监控的隧道进行现场勘查，确定视频采集装置的选点安装位置，同时对云台预置位进行配置，现场测量好对设定好的各预置位的实际距离和方位角度，并与预置位点在系统后台映射保存。

较佳的，步骤S2中，所述图像预处理和分割、火焰特征提取具体为，对图像进行预处理和分割，用以在下一步之前把图像中非火灾火焰的干扰部分进行排除，为所提取的特征更加准确，接着通过在火焰目标区域对火焰特征进行提取，为采用融合算法技术进行的火灾判断做好准备。

特别的，在进行图像预处理和火焰特征提取过程中，充分利用了热成像图像，因为热成像原理已经可以将热源特征与周边环境形成较为清晰的界限，在采用相同分析算法条件下，采用热成像图片比可见光图片的计算结论准确性更高。其中，图像分割将图像分为单帧图像与图像序列，当图像为单帧图像时，对图像进行静态特征提取，当图像为图像序列时，对图像进行动态特征提取。

在本实施例中，步骤S2中，所述采用深度学习算法对火焰特征进行识别具体包括以下步骤：

步骤S21：建立神经网络，并确定权值；

步骤S22：在网络中输入火焰训练样本并进行训练，估算出最合适的权值函数，并对其不断修正；

步骤S23：从网络中提取出权值函数和模糊规则，并保存。

其中，火焰样本需通过多次试验来收集，即将隧道内的多种易燃物点火燃烧并拍照记录，这些易燃物包括甲烷气体、电缆绝缘层、金属和绝缘材料混合物等，不同材质的火焰燃烧表现不同，便现在火焰颜色、形状、产生烟雾浓度和颜色等。

在本实施例中，所述神经网络为模糊型神经网络，其输出y和输入x间的关系为：

式中，x_j为第j个输入变量，m为输入变量的数量，yⁱ为第i条规则的输出，为结论参数；

通过将火焰特征作为神经网络中的输入层，设输入模糊向量为(x₁,x₂,...,x_m)，则输出yⁱ(i＝1,2,...,n)由以下公式求得：

式中，n为模糊规则的数量，yⁱ由第i条规则的结论方程式所得；Gⁱ为第i条规则的真值：

式中，为模糊子集，Π为模糊化算子。

根据上述分析，该模糊神经网络结构图如图2所示。

在本实施例中，所述神经网络包括六层，设第j层第i个神经元的输入为x_ij，第j层第i个神经元的输出为y_ij，每层之间的连接权值为1；

第一层是输入层，输入层的主要内容为火焰的静态和动态特征，具体包括火焰的面积变化值、亮度闪烁值、椭圆范围值，该层将输入的x_ij传到下一层；

第二层是隶属函数层，采用高斯隶属度函数来表示输入变量的隶属度，采用如下公式：

式中，c_i为隶属函数的中心，q_i为隶属函数的标准差；利用高斯函数对这些输入数据进行模糊化，这是因为在输入变量中，由于每个特征所表达的物理量不同，每个输入量的范围不同，数值也就很大不同，因此把每个输入量均变为隶属度函数在0-1范围内。根据火源的面积变化值、亮度闪烁值、椭圆范围值这3个特征的物理量，将每一输入变量各对应一种变量值(small、medium、large)来表示。根据火灾发生时的情况和以往经验，当特征值越小，则small的隶属度值越大，而large的隶属度值会越小，当medium的隶属度函数处在中间范围时，提取的特征值越大，则small隶属度值越小，large的隶属度值会越大。

第三层为规则化层，用神经元的乘积来实现其模糊推理；将火源的面积变化值、亮度闪烁值、椭圆度值分别模糊化为三层；

第四层与第三层的节点数相同，其关系为：

第五层的计算规则为：

式中，分别表示从第1到第3层网络的结论参数，x_1I、x_2I分别表示第2到第3层网络的输入量；

第六层为输出层，第六层的神经元采用求和计算网络输出：

整个利用神经网络计算的流程图如图3所示。

在本实施例中，步骤S3具体为：确定当前火点画面位于轮询路径中的位置点，将该位置点同各云台转向预置位进行映射比对，得出目标预置位的空间位置信息，通过换算其空间位置点坐标得出火源与摄像机位置的方位夹角和距离。

本实施例采用的火点测距计算原理是依靠视频云台预置位的预设方位来进行估算，在系统通过上述融合计算确定出视频画面中产生火源时，系统将记录当前画面所在预置位的标识，通过系统后台与视频各预置位点的对应关系，可直接计算出该预置位与视频设备之间的距离，从而实现火点位置测距功能。

具体的，在本实施例中，具体应用条件为：

1、对需要监控的隧道进行现场勘查，确定视频监控设备的选点安装位置。

2、通过系统的视频监控模块对云台预置位进行配置，结合隧道现场的实际情况尽可能实现各重要位置点的全覆盖，预置位的划分原则是尽可能密，但不宜超过64个。

3、现场测量好对设定好的各预置位的实际距离和方位角度，并与预置位点在系统后台映射保存。

4、结合现场实际情况对图像识别分析模块进行测试调优，包括流媒体分析、静态图像解析、智能图像分析、采用基于人工神经网络的融合计算等子模块。

同时，在本实施例中，对视频采集装置的要求包括：

1、视频监控设备需具备高清可见光和红外热成像镜头，并配有云台转向设备，考虑到其所安装应用环境的特殊性，其防护等级应不低于IP67，在环境–30℃～+70℃需能够正常工作。

2、高清可见光镜头成像不低于200万像素、分辨率不低于1920×1080，具备一体化ICR双滤光片日夜切换功能，可自动对焦。

3、热成像镜头分辨率不低于336×256像素，支持电动变倍聚焦。

4、云台支持水平360°连续旋转，垂直+45°～－45°转动，掉电自动锁定，通电后，在1分钟后(可设置)，继续下一个巡视任务。

5、视频设备采用航空防水插头，防呆设计，具备至少1路隔离式100M自适应网口，1路AC24V/DC24V。

6、整机最大功耗不超过15W(含云台、可见光、热成像)；云台正常工作时应≤10W。

在本实施例中，组网要求包括：

1、隧道现场供电应稳定(AC220V)，考虑到隧道长度，需采用光纤网络实现视频数据的传输。

2、在前端通过光纤环网将现场的视频装置、网络硬盘录像机(NVR)、服务器、交换机等相关设备组成局域网，以上设备是组成采用视频图像融合分析算法的隧道火情分析系统的基本硬件配置。

本实施例的系统工作流程具体包括以下步骤：

1、通过系统提供的云台预置位配置模块，根据之前现场勘查的情况，将各方位点以预置位的形式登记到后台配置文件中，即建立起预置位与现场位置点的映射关系。

2、现场的视频流数据(可见光+热成像)通过光纤网络实时传送到NVR中进行存储，安装在服务器中的流媒体解析程序实时对接入到NVR中的视频流数据进行解析。

3、运行在服务器中的智能图像分析模块通过接口实时调用流媒体解析程序中所获得的流数据，并根据预设策略进行图像预处理和分割，其目的是在进行下一步骤之前前把图像中非火灾火焰的干扰部分进行排除，为所提取的特征更加准确。

4、在完成图像预处理之后，进入火焰特征提取步骤，该步骤是采用深度学习融合算法前的重要前提，主要工作是对火情图像进行预处理和分割后，通过在火焰目标区域对火焰特征进行提取，为采用融合算法技术进行的火灾判断做好准备。

注：在进行图像预处理和火焰特征提取过程中，充分利用了热成像图像，因为热成像原理已经可以将热源特征与周边环境形成较为清晰的界限，在采用相同分析算法条件下，采用热成像图片比可见光图片的计算结论准确性更高。

5、在完成上述步骤之后，进行火焰特征的识别计算，根据上一步骤提取出的多个特征进行数据融合分析，这里采用的是基于人工神经网络的深度学习技术，其主要计算步骤如下：(1)建立神经网络，确定权值；(2)在网络中输入训练样本并进行训练，估算出最合适的权值函数，并对其不断修正；(3)从网络中提取出权值函数和模糊规则，并保存。

6、在通过上述步骤后，系统已经可以得到现场是否发生火情的结论了。如果发生火情，则进入火点测距计算步骤；否则系统则跳过这一步骤，本周期的火情诊断分析结束。

7、系统根据当前静态图像获取该图像画面所在的预置位标识，由于之前已建立起预置位与现场位置点的映射关系，因此可直接读取出该位置点的位置信息，其中包括位置点距视频设备的距离。

8、因为视频监测装置的安装位置是固定已知条件，通过映射获取的火点与视频设备之间的距离，通过位置距离叠加即可计算出火点在隧道中的大致位置。

9、最后，系统通过预设的报警策略和通知方式对当前火情信息进行报警推送通知，从而实现隧道火情的智能化监控和识别。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：包括以下步骤：

步骤S1：通过视频采集装置周期性对隧道内现场环境进行轮询扫描，其中视频采集装置由云台控制转向；

步骤S2：依次通过图像预处理和分割、火焰特征提取、以及采用深度学习算法对火焰特征进行识别，判别步骤S1采集的各画面中有无火灾发生；若有火灾发生，则进入步骤S3，否则返回步骤S1；

步骤S3：将视频装置采集轮询的路径与云台转向预置位进行坐标匹配，通过对预置位坐标的读取和换算来估算火源与摄像头间的方向和距离。

2.根据权利要求1所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：所述视频采集装置为热成像视频采集设备，包括高清可见光镜头和红外热成像镜头。

3.根据权利要求1所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：所述视频采集装置采用固定焦距的方式，并对目标区域采用热源灰度轮询扫描。

4.根据权利要求1所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：步骤S1还包括：对需要监控的隧道进行现场勘查，确定视频采集装置的选点安装位置，同时对云台预置位进行配置，现场测量好对设定好的各预置位的实际距离和方位角度，并与预置位点在系统后台映射保存。

5.根据权利要求1所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：步骤S2中，所述采用深度学习算法对火焰特征进行识别具体包括以下步骤：

步骤S21：建立神经网络，并确定权值；

步骤S22：在网络中输入火焰训练样本并进行训练，估算出最合适的权值函数，并对其不断修正；

步骤S23：从网络中提取出权值函数和模糊规则，并保存。

6.根据权利要求5所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：所述神经网络为模糊型神经网络，其输出y和输入x间的关系为：

式中，x_j为第j个输入变量，m为输入变量的数量，yⁱ为第i条规则的输出，为结论参数；

通过将火焰特征作为神经网络中的输入层，设输入模糊向量为(x₁,x₂,...,x_m)，则输出yⁱ(i＝1,2,...,n)由以下公式求得：

式中，n为模糊规则的数量，yⁱ由第i条规则的结论方程式所得；Gⁱ为第i条规则的真值：

式中，为模糊子集，Π为模糊化算子。

7.根据权利要求6所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：所述神经网络包括六层，设第j层第i个神经元的输入为x_ij，第j层第i个神经元的输出为y_ij，每层之间的连接权值为1；

第一层是输入层，输入层的主要内容为火焰的静态和动态特征，具体包括火焰的面积变化值、亮度闪烁值、椭圆范围值，该层将输入的x_ij传到下一层；

第二层是隶属函数层，采用高斯隶属度函数来表示输入变量的隶属度，采用如下公式：

式中，c_i为隶属函数的中心，q_i为隶属函数的标准差；

第三层为规则化层，用神经元的乘积来实现其模糊推理；将火源的面积变化值、亮度闪烁值、椭圆度值分别模糊化为三层；

第四层与第三层的节点数相同，其关系为：

第五层的计算规则为：

式中，分别表示从第1到第3层网络的结论参数，x_1I、x_2I分别表示第2到第3层网络的输入量；

第六层为输出层，第六层的神经元采用求和计算网络输出：

8.根据权利要求1所述的一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法，其特征在于：步骤S3具体为：确定当前火点画面位于轮询路径中的位置点，将该位置点同各云台转向预置位进行映射比对，得出目标预置位的空间位置信息，通过换算其空间位置点坐标得出火源与摄像机位置的方位夹角和距离。