CN104581076A - 基于360度全景红外鱼眼摄像机之山火监控识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于360度全景红外鱼眼摄像机之山火监控识别方法及装置，属于森林火灾监测识别技术领域，此方法主要是采用360度全景红外鱼眼摄像机所采集的红外图像与相应区域采集到的温度值和烟雾浓度相结合进行处理和分析，从而把分析的特征应用到识别模型进行识别，判断所监控区域是否发生火灾；装置包括数据采集模块、数据控制模块、数据传输模块、数据处理模块、数据存储模块和电源管理模块。本发明克服了火灾识别过程中自然光等方面的干扰，减小了火灾的漏报率和误报率。

Description

基于360度全景红外鱼眼摄像机之山火监控识别方法及装置

技术领域

本发明涉及输电走廊附近的森林火灾监测识别技术领域，特别涉及将采用360度全景红外鱼眼摄像机所采集的图像与相应区域采集到的温度值和烟雾浓度相结合判断所监控区域是否发生火灾的一种方法，同时也涉及到本方法所采用的装置。

背景技术

随着国家电网建设力度不断加强，伴随而来的是输电走廊的数量不断增多，有些输电走廊的建设地点可能存在各种各样的安全隐患，森林火灾对其影响日益加重。森林火灾有可能导致输电走廊的断线倒塔，从而造成巨大的经济损失和严重的社会影响。由此可见，研究输电走廊森林火灾监测技术对输电线路的安全运行具有极其重要的意义。

国内主要采用的监测方法有以下几种：1、地面巡护，主要通过宣传群众，控制人为火源，野外及生活用火检查，偏远地区采用视频监控方式。2、瞭望台监测，通过瞭望台来观测林火的发生，报告火情，覆盖面积较大，不过受地形地势的限制及天气限制，且存在瞭望员主观意见及人身安全等方面问题。3、航空巡护，利用巡护飞机进行林火的探测，视野宽、机动性大、速度快可做到全面观察，不过受天气、时间、航线等影响严重。4、卫星遥感，利用极轨气象卫星、陆地资源卫星、地球静止卫星、低轨卫星探测林火，该方法探测范围广、搜集数据快、能得到连续性资料，不受地形条件的影响，影像真切，但利用卫星遥感会占据大量资料，且难以在早期发现火灾隐患。

目前的基于图像(视频)的火灾识别与定位方法都是针对室内(仓库、厂房等)的，然而，输电走廊这种户外环境会受到各种干扰，特别是自然光的干扰，空间范围大、背景复杂多变等特点给火灾的识别带来很大的难度。同时，早期火灾由于火点小，给基于图像的火灾识别方法又进一步增加了难度。单纯利用图像阈值的方法(专利申请号200710016778.1)或者仅仅依靠来自图像的特征进行火灾识别，难以获得满意的结果。

发明内容

本发明所要解决的技术问题是提供一种基于360度全景红外鱼眼摄像机之山火监控识别方法，将采集的图像与相应区域采集到的温度值和烟雾浓度相结合进行处理和分析，从而把分析的特征应用到识别模型进行识别，判断所监控区域是否发生火灾，识别准确率高，同时提供一种此方法所采用的装置。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于360度全景红外鱼眼摄像机之山火监控识别方法，包括以下步骤：

步骤1：采用360度全景红外鱼眼摄像机采集红外图像，采用温度传感器测量相应区域的温度值，采用烟雾传感器测量相应区域的烟雾浓度；

步骤2：将采集到的数据，即是红外图像数据、温度值和烟雾浓度传输到山火监控识别中心；

步骤3：用图像还原算法对所采集的红外图像还原成平面图像；

步骤4：用图像去噪算法对还原后的平面图像进行去噪处理，用图像增强算法对还原后的平面图像进行增强处理，用图像分割算法对还原后的平面图像进行分割处理，得到火焰区域；

步骤5：得到监控区域的5种特征的值，这些特征是火焰特征：火焰增长率、火焰圆形度和火焰形体变化及环境特征：温度值和烟雾浓度；

步骤6：将所得的5种特征的值应用到山火监控识别系统的模型中进行识别判断，判断是否发生山火，若有发生山火，则给出报警信息。

具体的，所述步骤6所采用的山火监控识别系统模型为逻辑回归模型，所述逻辑回归模型使用Sigmoid函数预测输出分类，其具体计算公式为此公式中，参数z由公式z＝w₀x₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄得出，其中，x₀到x₄为提取到的5个特征的值，w₀到w₄是最佳特征参数；识别的过程为：首先，将获取的五个特征的值以及是否发生火灾的值这6个数据按照时间顺序进行存储，组成学习库，然后，使用学习库中的数据，利用逻辑回归模型进行训练，得到5个最佳特征参数w₀，w₁，w₂，w₃和w₄，最后，将这数带入Sigmoid函数，形成只含有x₀，x₁，x₂，x₃，x₄5个变量的预测函数，得到预测信息。

具体的，得到所述步骤5的火焰增长率的步骤为通过阀值分割后割出疑似图像，再统计出疑似图像的像素点，进而计算火焰面积，火焰增长率则为

具体的，得到所述步骤5的火焰圆形度的具体为火焰圆形度

具体的，得到所述步骤5的火焰形体变化为先计算连续帧的变化图像的相似度ξ_i，然后求取几个相似度值的平均值，即是该平均值即为火焰形体变化。

具体的，所述步骤2的数据传输方式为温度传感器和烟雾传感器通过无线的方式将采集到的数据传输给山火监控识别中心，360度全景红外鱼眼摄像机通过有线的方式将红外图像数据传输到微控制器，最终由微控制器控制无线模块将红外图像传输到山火监控识别中心。

具体的，所述温度传感器和烟雾传感器的无线传输方式为CDMA或者LTE。

作为改进，还包括数据储存步骤，即是在将得到的5种特征的值应用到山火监控识别系统的模型中进行识别判断后，无论判断结果如何，都将此5种特征的值的数据和是否发生火灾的数据进行存储，增大学习库。

作为改进，还包括设置休眠模式的步骤，具体为设置休眠时钟，确定待机的状态时间。

一种基于360度全景红外鱼眼摄像机之山火监控识别方法所采用的装置，包括以下部分：

数据采集模块：包括360度全景红外鱼眼摄像机模块和温度、浓度采集模块，用于采集监控山火区域的火焰图像、温度值和烟雾浓度；

数据控制模块：用于管理采集到的数据，做好传输准备；

数据传输模块：用于将采集到的数据传输至山火监控识别中心；

数据处理模块：用于将接收到的数据与山火监控识别模型进行对比分析并判断；

数据存储模块：用于将采集到的数据存储到数据库；

电源管理模块：用于对数据采集和传输装置提供电力支持。

本发明的有益效果是：

1、本发明能对开放式环境下的早期火灾进行识别，也适用于室内环境。

2、将周围环境的温度值和烟雾浓度，以及火焰图像的面积蔓延增长特征、圆形度特征、形体变化特征五种特性进行综合，不仅仅从火焰的形状、边缘特征方面进行识别，还从周围环境的温度和烟雾浓度等多方面进行识别，从而克服了火灾识别过程中对自然光等方面的干扰，减小火灾的漏报率和误报率。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明，其中：

图1为本发明方法中数据的采集、传输和存储过程示意图。

图2为本发明方法中数据的处理和识别判断过程示意图。

图3为本发明所采用的装置的结构示意图。

具体实施方式

为克服现有基于图像的火灾识别技术难以应用于输电走廊早期火灾识别中的缺陷，本发明提出一种利用热成像技术的早期火灾多种特征综合识别方法。

红外全景摄像机根据物体的红外辐射成像，工作波段较宽，灵敏度很高，因此，本发明中采用红外全景摄像机获得的红外图像。为了对四周进行全面监控，并且尽量降低功耗，因此使用360度鱼眼镜头，实现一个红外全景摄像机获取周围全景图像。由于输电走廊处于户外，干扰因素较多，特别是自然光中含有各种波段的光，在自然光较强的户外环境，利用红外图像进行识别的方法仍然会有很大的误报率，因此，本发明又结合温度传感器和烟雾传感器，采集环境的温度值和烟雾浓度值。这样，通过综合火焰特征和环境特征两大类特征，避免了仅仅依赖形体上的某一项特征导致的误报和漏报。通过传感器采集温度值和烟雾浓度，从而得到5种特征：火焰增长率、火焰圆形度、火焰形体变化、温度值和烟雾浓度。使用山火识别的模式识别模型对火灾进行识别，从而实现对输电走廊山火状况进行在线监测。

一种基于360度全景红外鱼眼摄像机之山火监控识别方法，包括以下步骤：

步骤1：采用360度全景红外鱼眼摄像机采集红外图像，采用温度传感器测量相应区域的温度值，采用烟雾传感器测量相应区域的烟雾浓度。具体而言，红外相机放在输电铁塔的上面，位置要足够高，从而可以采集到更全面的周围图像。温度传感器和烟雾传感器布置在铁塔附近，至少使用一个传感器和一个烟雾传感器进行采集。

步骤2：将采集到的数据，即是红外图像数据、温度值和烟雾浓度传输到山火监控识别中心。数据传输方式：温度传感器和烟雾传感器通过无线的方式将采集到的数据传输给山火监控识别中心，360度全景红外鱼眼摄像机通过有线的方式将红外图像数据传输到微控制器，最终由微控制器控制无线模块将红外图像传输到山火监控识别中心。具体而言，温度传感器和烟雾传感器的无线传输方式为CDMA(Code Division Multiple Access)或者LTE(Long TermEvolution)。

步骤3：用图像还原算法对所采集的全景红外图像还原成平面图像。首先利用相机出厂参数或者相机标定技术得到相机参数；然后利用这些参数对全景图像进行还原校正。具体的，利用公式和进行初步还原。其中，(x,y)为图像坐标，(X,Y,Z)为物体空间坐标，f_x为水平像素表示的焦距，f_y为垂直像素表示的焦距，(u₀,v₀)为主点。通过分析已知的拍摄图案，得到参数公式的参数。然后，带入公式的到矫正后的图像，再对图像进行微调，去掉无用像素，从而得到所需平面图像。

步骤4：用图像去噪算法对还原后的平面图像进行去噪处理，用图像增强算法对还原后的平面图像进行增强处理，用图像分割算法对还原后的平面图像进行分割处理，得到火焰区域。具体的，图像去噪算法采用中值滤波算法，利用直方图变化进行图像增强，图像分割采用基于区域的图像分割算法，根据预先定义的生长准则将像素或者子区域组合为火灾区域。基本方法是从一组“种子”开始，将与种子预先定义的性质相似的那些邻域像素添加到每个种子上来，形成这些火灾区域。

步骤5：得到监控区域的5种特征的值，这些特征是火焰特征：火焰增长率、火焰圆形度和火焰形体变化及环境特征：温度值和烟雾浓度；

温度值：在火灾的燃烧过程中，通过对火灾参量的测定可用来识别和探测是否发生火灾。为了避免单个温度探测器带来的误差，也可以通过若干个探测器采集探测区域内的温度值，作为多个温度特征输入。

烟雾浓度：在火灾的燃烧过程中，烟雾浓度是判定火灾是否发生的一个重要参数。同样，为了避免单个烟雾探测器带来的误差，也可以通过若干个探测器采集探测区域内的烟雾浓度值，作为多个烟雾浓度特征输入。

火焰增长率：火灾发生后，火灾区呈不断持续蔓延扩大的趋势，火焰面积呈现连续的、扩展性的增长趋势，对应摄像机与探测到的目标面积也会逐渐增大。因此，图像上表现为高亮度区域持续增长，同时也反映了火焰在空间分布的变化。在图像处理中，面积是通过阈值分割后分割出疑似图像，再统计出疑似图像的像素点来实现火焰面积的计算。本发明采用的算法是计算连续几帧图像的火焰面积，并计算其比值，用火焰增长率作为判据，火焰增长率R_i代表连续i帧的火焰区域,Size(R_i)表示R_i的面积，t和t₀表示两个不同时刻。

火焰圆形度：圆形度可以衡量物体形状的规则程度，火焰形状不规则，而大部分干扰源(如白炽灯等)形状规则程度较高，因此可以将火焰的圆形度作为火灾识别的一个判据。比较常用的圆形度是周长的平方和面积的比。本发明将圆形度值除以4π，使圆形度的最小值为1，即式中C_k为第k个疑似图像的圆形度，P_k为第k个疑似图像的周长，A_k为第k个疑似图像的面积，N为图像中疑似图像个数。

在具体计算中，周长为物体的边界长度，可从边界链码中得到。垂直的和水平的步幅为单位长度，对角步幅的长度为两个直角步还原成一个对角度，其步幅也为按上述规则遍历边界链码，即可算出边界长度。

火焰形体变化：早期火灾火焰的几何形体变化规律相对于其他干扰现象来说，体现在序列图像中是一种无序的变化，这种“无序”相对于图像型火灾探测来说，提供了很大的方便。本发明在计算形体变化信号时，首先计算连续帧的变化图像的相似度ξ_i，然后求取几个相似度值的平均值将该平均值作为一个判据。其中，b_i(x,y)是从连续的n帧图像中提取的第i帧图像中的疑似图像的灰度值在坐标为(x,y)处的像素的二值化的值，Ω为图像中的火灾区域。

步骤6：利用山火识别模式的识别模型或者神经网络将所得的5种特征应用到山火监控识别系统的模型中进行识别判断，判断是否发生山火，若有发生山火，则给出报警信息。例如用此信息来控制声光报警器发出报警。

识别模型使用逻辑回归模型。逻辑回归模型的主要思想是，根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集，以此进行分类。逻辑回归模型使用Sigmoid函数预测输出分类，具体计算公式为：σ(z)的值作为火灾判断的依据，大于0.5的数据被分入1类(发生火灾)；小于0.5即被分入0类(未发生火灾)。

Sigmoid的输入参数z由该公式得出z＝w₀x₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄。其中，x₀到x₄为提取到的5个特征的值，w₀到w₄是最佳特征参数。根据特征历史数据和火灾标签组成的学习库，通过梯度上升法得到的。

在本发明中，设定x₀为温度值，x₁为烟雾浓度值，x₂为火焰增长率，x₃为火焰圆形度，x₄为火焰形体变化，这些值可通过图像处理的方式从红外图像获取。w₀为温度值系数，w₁为烟雾浓度值系数，w₂火焰增长率系数，w₃火焰圆形度系数，w₄火焰形体变化系数，这些系数可通过训练逻辑回归模型得到。

识别的具体过程为：首先，将获取的五个特征的值以及是否发生火灾的值这6个数据按照时间顺序进行存储，组成学习库。然后，使用学习库中的数据，利用逻辑回归模型进行训练，得到公式中的5个最佳特性参数w₀，w₁，w₂，w₃和w₄。最后，将这5个参数带入Sigmoid函数，形成只含有x₀，x₁，x₂，x₃，x₄5个变量的预测函数，这5个变量是通过红外图像处理得到的，这样，对于实时获取到的红外图像，用图像处理的方式得到这5个特征的值，再带入Sigmoid函数，通过Sigmoid函数得到一个值，如果此值大于0.5，结果被分入1类(发生火灾)；若此值小于0.5，即被分入0类(未发生火灾)。

本发明方法中还包括数据储存步骤，即是在将得到的5种特征的值应用到山火监控识别系统的模型中进行识别判断后，无论判断结果如何，都将此5个特征的值和是否发生火灾的数据进行存储，增大学习库。同时，可以使用新的学习库中的可靠数据重新训练数据，得到更准确可靠的最佳特性参数w₀，w₁，w₂，w₃和w₄，再进行火灾预警，从而提高报警准确度。

还包括设置休眠模式的步骤，具体为设置休眠时钟，确定待机的状态时间。休眠模式通过控制器(使用低功耗控制器MSP430F149)来实现，系统休眠时，控制红外摄像机、温度传感器和烟雾传感器等处于休眠状态，控制器处于低功耗模式。可以根据系统供电系统确定一次休眠的时间，比如，工作5分钟后休眠半个小时，从而最大限度地降低系统功耗。

如图1所示，输电走廊山火识别监测装置可以由控制中心通过指令开启方式开启，或者通过定时开启方式开启，输电走廊附近的红外图像和环境信息。包括以下步骤：1输电走廊山火识别监测装置处于休眠待机状态；2输电走廊山火识别监测装置判断是否接到控制中心的测量指令，如果收到测量指令，初始化硬件设置，开始测量，如果没有收到测量指令，启动休眠时钟；3进入定时开启方式，利用休眠时钟唤醒微控制器，进入工作状态；4输电走廊山火识别监测装置通过360度红外全景摄像机获取红外图像；5输电走廊山火识别装置获取温度计测得的温度值；6输电走廊山火监测装置获取烟雾传感器测得的烟雾浓度；7存储数据，然后，数据控制模块中微控制器控制无线模块，将保存的测量数据发送到监控识别中心并确认收到的数据；8微控制器关闭无线模块；9微控制器设置休眠时钟，准备进入休眠模式。

如图2所示，后台监控识别中心对接收到的数据进行处理和识别判断过程如下：1接收360度全景红外鱼眼摄像机采集到的数据，温度传感器采集到的温度值，烟雾传感器采集到的烟雾浓度；2利用图像还原算法将360度全景图像还原为平面红外图像；3利用图像去噪算法对红外图像进行去噪处理，使用图像增强算法对红外图像进行增强；4利用图像分割算法对红外图像进行分割处理，得到火焰区域；5获取五种主要特征，火焰区域的三种特征：火焰增长率、火焰圆形度、火焰形体变化，环境的两种特征：温度和烟雾浓度；6将特征应用在识别模型上，进行山火识别；7判断输输电走廊周边是否有发生火灾，如有，则声光报警，并将有关结果显示在人机界面上；8将获取的特征的值作为实测数据记入数据库，增加学习库，从而提高报警准确度。山火识别模型包括模式识别模型、神经网络等，本发明采用逻辑回归模型。在实际应用中，考虑到计算机的计算能力，可以用多种模型和方法进行山火识别，在进行模型融合，从而得到更准确的结果。

如图3所示，一种基于360度全景红外鱼眼摄像机之山火监控识别方法所采用的装置，包括以下部分：

数据采集模块：包括360度全景红外鱼眼摄像机模块和温度、浓度采集模块，用于采集监控山火区域的火焰图像、温度值和烟雾浓度；

数据控制模块：用于管理采集到的数据，做好传输准备；

数据传输模块：用于将采集到的数据传输至山火监控识别中心；

数据处理模块：用于将接收到的数据与山火监控识别模型进行对比分析并判断；

数据存储模块：用于将采集到的数据存储到数据库；

电源管理模块：用于对数据采集和传输装置提供电力支持。

数据控制模块通过自身的接口分别与数据传输模块中的无线部分、360度全景红外鱼眼摄像机、温度传感器、烟雾传感器相连，整个系统通过高压在线取电的方式供电。在线取电模块包括：在线取电装置、胶体电池、电源控制器。最终，通过无线传输的方式将输电走廊的红外图像和环境参数发回软件中心。

本发明通过在线高感应取电的方式提供系统所需电能，利用此种取电方式更优于太阳能供电系统，防止了连续阴天导致的突然断电的发生。温度传感器、烟雾浓度传感器和通信电缆的外壳防护都需要考虑所处的恶劣的自然环境。

Claims (10)

1.一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：包括以下步骤：

步骤1：采用360度全景红外鱼眼摄像机采集红外图像，采用温度传感器测量相应区域的温度值，采用烟雾传感器测量相应区域的烟雾浓度；

步骤2：将采集到的数据，即是红外图像数据、温度值和烟雾浓度传输到山火监控识别中心；

步骤3：用图像还原算法对所采集的红外图像还原成平面图像；

步骤4：用图像去噪算法对还原后的平面图像进行去噪处理，用图像增强算法对还原后的平面图像进行增强处理，用图像分割算法对还原后的平面图像进行分割处理，得到火焰区域；

步骤5：得到监控区域的5种特征的值，这些特征是火焰特征：火焰增长率、火焰圆形度和火焰形体变化及环境特征：温度值和烟雾浓度；

步骤6：将所得的5种特征的值应用到山火监控识别系统的模型中进行识别判断，判断是否发生山火，若有发生山火，则给出报警信息。

2.如权利要求1所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：所述步骤6所采用的山火监控识别系统模型为逻辑回归模型，所述逻辑回归模型使用Sigmoid函数预测输出分类，其具体计算公式为此公式中，参数z由公式z＝w₀x₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄得出，其中，x₀到x₄为提取到的5个特征的值，w₀到w₄是最佳特征参数；识别的过程为：首先，将获取的五个特征的值以及是否发生火灾的值这6个数据按照时间顺序进行存储，组成学习库，然后，使用学习库中的数据，利用逻辑回归模型进行训练，得到5个最佳特征参数w₀，w₁，w₂，w₃和w₄，最后，将这数带入Sigmoid函数，形成只含有x₀，x₁，x₂，x₃，x₄5个变量的预测函数，得到预测信息。

3.如权利要求2所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：得到所述步骤5的火焰增长率的步骤为通过阀值分割后割出疑似图像，再统计出疑似图像的像素点，进而计算火焰面积，火焰增长率则为

4.如权利要求3所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：得到所述步骤5的火焰圆形度具体为火焰圆形度

5.如权利要求4所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：得到所述步骤5的火焰形体变化的步骤为先计算连续帧的变化图像的相似度ξ_i，然后求取几个相似度值的平均值，即是该平均值即为火焰形体变化。

6.如权利要求1至5任一项所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：所述步骤2的数据传输方式为温度传感器和烟雾传感器通过无线的方式将采集到的数据传输给山火监控识别中心，360度全景红外鱼眼摄像机通过有线的方式将红外图像数据传输到微控制器，最终由微控制器通过无线方式将红外图像传输到山火监控识别中心。

7.如权利要求6所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：所述温度传感器和烟雾传感器的无线传输方式为CDMA或者LTE。

8.如权利要求7所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：还包括数据储存步骤，即是在将得到的5种特征的值应用到山火监控识别系统的模型中进行识别判断后，无论判断结果如何，都将此5种特征的值的数据和是否发生火灾的数据进行存储。

9.如权利要求8所述的一种基于360度全景红外鱼眼摄像机之山火监控识别方法，其特征在于：还包括设置休眠模式的步骤，具体为设置休眠时钟，确定待机的状态时间。

10.一种如权利要求1至9任一项所述的山火监控识别方法所采用的装置，其特征在于：包括以下部分：

数据采集模块：包括360度全景红外鱼眼摄像机模块和温度、浓度采集模块，用于采集监控山火区域的火焰图像、温度值和烟雾浓度；

数据控制模块：用于管理采集到的数据，做好传输准备；

数据传输模块：用于将采集到的数据传输至山火监控识别中心；

数据处理模块：用于将接收到的数据与山火监控识别模型进行对比分析并判断；

数据存储模块：用于将采集到的数据存储到数据库；

电源管理模块：用于对数据采集和传输装置提供电力支持。