CN111145275A - 一种智能化自控森林防火监控系统及方法 - Google Patents

Abstract

本发明涉及森林防火技术领域，具体涉及一种智能化自控森林防火监控系统及方法，其中，系统包括图像采集模块、处理模块和云台系统；图像采集模块用于实时采集森林内的视频数据；处理模块用于接收并处理视频数据，生成图像数据；并提取图像数据像素点的颜色特征，如果颜色特征为红色，则生成火情告警信息；云台系统包括云台子系统、伺服电机和云台控制器，云台子系统用于安装和固定图像采集模块；伺服电机用于驱动云台子系统转动；云台控制器与处理模块通信连接，用于接收火情告警信息后，生成控制信号，控制伺服电机停止转动。以解决现有技术中云台使用寿命较低的问题。

Description

一种智能化自控森林防火监控系统及方法

技术领域

本发明涉及森林防火技术领域，具体涉及一种智能化自控森林防火监控系统及方法。

背景技术

绿水青山就是金山银山，森林是人类的宝贵财富，而对于靠山吃山的村民来说，森林显得尤为重要，因为森林就是他们的“饭碗”，他们的“绿色银行”。一旦发生森林火灾，不仅会威胁到当地老百姓的生命财产安全；由于扑灭难度大，身处火海参与扑救的消防队员还将面临生与死的考验。所以为了避免森林火灾的发生，必须对森林中的易燃点进行实时布控，将火苗扼杀在摇篮中。

针对这种情况，中国专利公开号为CN109767591A的文件中公开了一种森林防火预警系统及方法，包括：N个间隔设置的第一监控组件，主监控组件包括云台、设置于云台上的图像采集件；M个间隔设置的第二监控组件，第二监控组件包括安装件、火情监测单元、引火条件监测单元；处理单元，与第一监控组件、第二监控组件信号连接，用于判断图像采集件所采集图像上的烟火区域，并启动烟火区域位置处的火情监测单元，获得火情监测单元所监测的火情信息；其中，N为大于0的整数，M为大于1的整数，相邻第一监控组件之间的距离为L，1KM≤L≤10KM，相邻第二监控组件之间的距离为S，20m≤S≤50m。

采用该方法虽然可以快速、精确的确定烟火区域的位置和范围，但是由于云台子系统需要一直处于工作状态，不仅增加供电系统负担，还影响了设备的使用寿命。

发明内容

本发明意在于提供一种智能化自控森林防火监控系统及方法，以解决现有技术中云台使用寿命较低的问题。

本发明提供的基础方案为：一种智能化自控森林防火监控系统，包括图像采集模块、处理模块和云台系统，其中：

图像采集模块用于实时采集森林内的视频数据；

处理模块用于接收并处理视频数据，生成图像数据；并提取图像数据像素点的颜色特征，如果颜色特征为红色，则生成火情告警信息；

云台系统包括云台子系统、伺服电机和云台控制器，云台子系统用于安装和固定图像采集模块；伺服电机用于驱动云台子系统转动；云台控制器与处理模块通信连接，用于接收火情告警信息后，生成控制信号，控制伺服电机停止转动。

本发明的工作原理及优点在于：

与传统的烟雾颗粒感应系统需要烟雾颗粒进入传感器才能产生火情告警信号，或是红外及激光技术也需要烟雾遮挡才能产生告警信号相比，本方案中通过云台系统与图像采集模块相互配合使用，当森林中未发生火情时，云台系统中的伺服电机正常运转，并带动安装在云台子系统上的图像采集模块转动，全方位地拍摄森林内的视频图像，对森林的状况进行实时监控；当森林中有火焰产生时，图像数据中像素点的颜色特征表现为红色，处理模块生成火情告警信号，云台控制器接收到火情告警信号后，控制伺服电机停止转动。

同时，采用本方案不仅能够在发现疑似火情时，通过云台控制器控制伺服电机停止转动，对疑似起火点起到定点监控的作用；还能够避免伺服电机一直处于工作状态，进而降低系统能耗，提升设备的使用寿命。

进一步，处理模块采用帧间差分法处理视频数据，生成图像数据。

有益效果：帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

进一步，还包括数据库，用于预先存储样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，处理模块用于提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；处理模块还用于根据样本图像和检测结果对卷积神经网络进行训练，得到训练成功的卷积神经网络模型。

有益效果：本方案中在处理模块中采用卷积神经网络模型分析处理视频数据，由于卷积神经网络具有强大的特征提取能力，能够提高图像识别的效率和鲁棒性，识别正确率达到90％以上。运用在森林防火监控中，能够减少误报的情况，实用性强，用户体验更优，实现快速准确的得到火情告警信号，为及时扑灭火焰争取到了宝贵的时间，避免火势在森林中蔓延。

进一步，处理模块还用于将图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型提取图像数据；若卷积神经网络判定图像数据存在火情告警信息，伺服电机停止转动。

有益效果：采用卷积神经网络能够避免传统识别算法中复杂的特征提取和数据重建过程。

进一步，还包括远程管理终端，远程管理终端与云台控制器通信连接，用于实时监控并控制伺服电机的运转状态。

有益效果：采用卷积神经网络的分析正确率能够达到90％，但是理论上还是存在10％的概率为分析错误，所以为了避免极少数的分析错误情况，设置远程管理终端，由智能化设备+人工同时完成森林防火监控系统的管理。

进一步，还包括供电子系统和定位模块，供电子系统采用光伏发电系统，用于将光能转换为电能，以进行供电；定位模块与处理模块电连接，用于对发生灾情的区域进行定位得到定位信息，将定位信息发送到远程管理终端。

有益效果：在本方案中，采用光伏发电系统，工作性能稳定可靠，能够应对地形复杂地区；并且，当森林中发生火情时，采用定位模块便于操作人员掌握灾情发生的具体区域，并根据定位信息快速准确的前往扑救。

进一步，云台控制器采用STM32单片机。

有益效果：STM32单片机具备性价比高、配置丰富灵活以及低功耗等优点。

本发明还提供了一种智能化自控森林防火监控方法，包括如下步骤：

S1、图像采集模块转动，获取森林内的实时视频数据，并将视频数据同步发送到处理模块中；

S2、通过处理模块接收并处理视频数据，生成图像数据，并提取图像数据中像素点的颜色特征，如果颜色特征为红色，则生成火情告警信号；

S3、通过云台控制器获取火情告警信息，并根据火情告警信息控制伺服电机停止转动。

有益效果：在本方案中，首先通过图像采集模块获取森林的实时视频数据，输入到处理模块中；然后，再由处理模块生成对应的图像数据，由于火焰的颜色为红色，所以提取样本图像中每个像素点的颜色特征，当颜色特征为红色时，生成火情告警信号；最后，再将火情告警信号发送到云台控制器，控制伺服电机停止运行。能够避免云台子系统一直处于工作状态，从而降低系统能耗，提升使用寿命。

进一步，步骤S2之前还包括如下步骤：

S101、通过预先向数据库输入样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，并提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；基于样本图像和检测结果对卷积神经网络进行训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型。

有益效果：由于在图像处理中，最常用的颜色空间是RGB模型，常用与颜色显示和图像处理，三维坐标的模型形式，非常容易理解。且通过智能设备提取和判断样本图像中每个像素点的颜色特征，判定有无火情告警信息；能够取代人工监视，避免人工监视造成肉眼疲劳，导致视频中的火情不易被察觉，造成漏报。

进一步，步骤S2包括如下步骤：

S201、通过处理模块采用帧间差分法处理视频数据，生成相应的图像数据；然后将图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型的卷积层提取图像数据；若卷积神经网络判定图像数据存在火情告警信息，云台控制器接收火情告警信息，生成控制信号，控制伺服电机的停止转动。

有益效果：卷积神经网络中卷积层通过不断改变卷积核(权重)，来确定能初步表征图片特征的有用的卷积核是哪些，在得到与相应的卷积核相乘后的输出矩阵。在不断改变卷积核的过程中，卷积神经网络不断优化，得到训练成功的卷积神经网络。相比于传统的图像识别算法采用经典目标检测算法，能够提升鲁棒性，降低误报率和漏报率。使人们在第一时间知晓火情，及时前往扑救，避免火势蔓延而造成更大的危害。

附图说明

图1为本发明一种智能化自控森林防火监控系统及方法实施例一的结构框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一

如图1所示，一种智能化自控森林防火监控系统，包括图像采集模块、处理模块和云台系统，其中：

图像采集模块，用于实时采集森林内的视频数据；

处理模块，用于在接收并采用帧间差分法处理视频数据，生成图像数据后；采用RGB颜色模型处理图像数据，提取图像数据像素点的颜色特征，如果颜色特征为红色，则生成火情告警信息；

云台系统包括云台子系统、伺服电机和云台控制器，云台子系统用于安装和固定图像采集模块；伺服电机用于驱动云台子系统转动；云台控制器用于接收火情告警信息，生成控制信号，控制云台子系统的停止转动。

图像采集模块的输出端与处理模块的输入端连接，处理模块的输出端与云台控制器的输入端连接，云台控制器的输出端连接伺服电机的输入端。还包括供电子系统，供电子系统采用光伏发电系统，用于将光能转换为电能，对系统中的各个用电器进行供电。

具体的，在本实施例中采用海普HFC-E1/TL一体化云台摄像机，集成有摄像机、伺服电机以及云台子系统；产品内部的伺服电机包括有水平伺服电机和垂直伺服电机；云台系统内的云台控制器采用STM32单片机；处理模块采用核心板ARM9。还包括供电子系统，供电子系统采用光伏发电系统(选用SD100-1太阳能电池板)，用于将光能转换为电能，对系统中的用电器件供电。

一种智能化自控森林防火监控方法，上述系统基于本方法，包括图像采集模块、处理模块以及云台系统，云台系统包括云台子系统、伺服电机和云台控制器，包括以下步骤：

S1、图像采集模块转动，获取森林内的实时视频数据，并将视频数据同步发送到处理模块中；

S2、通过处理模块采用帧间差分法处理视频数据，生成图像数据，并采用RGB颜色模型处理图像数据，提取图像数据中像素点的颜色特征，如果颜色特征为红色，则生成火情告警信号；

S3、通过云台控制器获取火情告警信息，并根据火情告警信息控制伺服电机停止转动。

采用本方案不仅能够在发现疑似火情时，通过云台控制器控制伺服电机停止转动，对疑似起火点起到定点监控的作用；还能够避免伺服电机一直处于工作状态，进而降低系统能耗，提升设备的使用寿命。

实施例二

与实施例一相比，不同之处仅在于，还包括数据库，数据库中预存有样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，处理模块用于提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；处理模块还用于根据样本图像和检测结果对卷积神经网络进行迭代训练，得到训练成功的卷积神经网络模型；再将获取到的图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型的卷积层提取图像数据，若卷积神经网络判定图像数据存在火情告警信息，伺服电机停止转动。采用这种方式，能够提高图像识别的效率和鲁棒性，识别正确率达到90％以上。运用在森林防火监控中，由于卷积神经网络具有强大的特征提取能力，能够减少误报的情况，实用性强，用户体验更优，实现快速准确的得到火情告警信号。

具体的，本实施例中仍采用海普HFC-E1/TL一体化云台摄像机，云台控制器和处理模块分别选用STM32单片机和核心板ARM9；供电子系统选用SD100-1太阳能电池板；还包括远程管理终端和定位模块，其中：定位模块采用ATGM332D-5N31，定位模块与云台控制器信号连接，用于在处理模块生成火情告警信息后，向远程管理终端发送定位信息；远程管理终端采用联想M920t台式机，远程管理终端与云台控制器无线通讯连接，能够实时监控云台的工作状态，实现智能化设备+人工同时完成森林防火监控系统的管理，能够避免极少数的分析错误情况，由操作人员通过远程管理终端控制云台系统的工作状态。

一种智能化自控森林防火监控方法，上述系统基于本方法，包括图像采集模块、数据库、处理模块以及云台系统，云台系统包括云台子系统、伺服电机和云台控制器，包括以下步骤：

S1、图像采集模块转动，获取森林实时图像，处理模块获取视频数据；

S101、通过向数据库输入样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，并提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；基于样本图像和检测结果对卷积神经网络进行训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型；

S201、处理模块通过帧间差分法处理视频数据，生成相应的图像数据；然后将图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型的卷积层提取图像数据；若卷积神经网络判定图像数据存在火情告警信息，云台控制器接收火情告警信息，生成控制信号，并将控制信号发送至伺服电机，进而控制云台子系统的停止转动。

具体的，本方案中采用RCNN卷积神经网络模型，其遵循传统目标检测的思路，同样采用提取框，对每个框提取特征、图像分类、非极大值抑制四个步骤进行目标检测、只不过进行了部分改进。经典的目标检测算法使用滑动窗法依次判断所有可能的区域。而这里预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断,大大减少了计算量。采用RCNN卷积神经网络模型处理图像数据为现有技术，在此不再赘述。

森林中无火焰出现时，云台子系统正常运转，并通过安装在云台子系统上的图像采集模块，无死角拍摄森林内的视频图像，对森林的状况进行实时监控；且云台系统搭载有伺服电机，能够扩大图像采集模块的监视范围，适用于对森林这类大范围的场景进行扫描监视。

森林中有火焰产生时，系统自动分析、识别视频图像中内的火焰，并产生火情告警信号，云台控制器接收到火情告警信号，控制伺服电机停止转动。

相比于传统的烟雾颗粒感应系统需要烟雾颗粒进入传感器才能产生火情告警信号，或是红外及激光技术也需要烟雾遮挡才能产生告警信号，本方案中在处理模块中采用卷积神经网络模型分析处理视频数据，由于卷积神经网络具有强大的特征提取能力，能够提高图像识别的效率和鲁棒性，识别正确率达到90％以上。运用在森林防火监控中，能够减少误报的情况，实用性强，用户体验更优，实现快速准确的得到火情告警信号，为及时扑灭火焰争取到了宝贵的时间，避免火势在森林中蔓延。

同时，当发现疑似火情时，云台子系统会停止运行，不仅能够起到定点监控事发区域的作用，还能够避免云台子系统一直处于工作状态，从而降低系统能耗，提升设备的使用寿命。

实施例三

与实施例一相比，不同之处仅在于，判断火灾烟雾的方法为：

S1、由图像采集模块实时获取森林内的视频数据；并采用帧间差分法处理视频数据，生成图像数据；这两帧图像的间隔时长为3秒，当然也可以是其他间隔时间，在其他实施例中两帧图像的间隔时长可以从0.01秒到10秒(主要是考虑到烟和雾在扩散速度较慢，如果间隔时间选取较短，会因为区别较小，导致运算量巨大，或者说存在较多的无效的运算)；

S2、将图像数据在RGB颜色空间各分量转换到HSV颜色空间中；并根据图像数据中像素点的HSV颜色特征判断烟雾区域；即如果图像数据中像素点的HSV分量均满足预设阈值(预设阈值：0.35<H<0.65，0.06<S<0.3，0.5<V≤1)，则视为烟雾区域；

S3、采用图像分隔边缘提取算法将烟雾区域和背景区域分开；并建立像素坐标系，获取图像数据中烟雾区域的像素点坐标(像素点位于图像数据的列数和行数)；针对采集到的连续两帧图像数据，以前一帧图像的烟雾区域像素点作为参照，若当前帧图像的烟雾区域像素点相较于前一帧图像的烟雾区域像素点在列数上的增长大于其在行数上的增长，则判断烟雾为火焰烟雾，生成告警信号，发送到用户终端(即，如果是纵坐标上有连续增长，则判断为因火灾出现的烟，而不是山区漂浮的雾)。

火灾的前期通常是以烟雾的形式表现出来，在本方案中，首先采集图像信息，并根据图像信息识别出是否有烟雾产生；现有技术中能够做到识别烟雾，但森林中通常弥漫着雾气，雾气和火焰烟雾相似，利用现有的图像识别技术，会导致误报率上升；所以，本方案中针对如何避免图像识别技术无法辨别雾气和火焰烟雾为研究对象，基于两者扩散的方式不同，对连续的两帧图像进行识别分析，如果当前帧的图像相较于前一帧图像，其中的烟雾呈现出以一点逐渐向外不断扩散时，即在像素点坐标系中，纵向的高度是在不断递增的，且纵向递增的趋势大于横向的趋势；而相比之下，自然界中的雾是近地面空气中的水蒸气发生的凝结现象，呈区域性的蔓延，这一点与火焰烟雾的扩散截然相反。

综上，采用本方案能够在检测出森林中火焰烟雾后，向用户终端发送告警信号，提醒人们及时前往处理，避免火势的蔓延。运用在森林中，还能够区分出雾气和火焰烟雾，进而降低图像识别的误报率。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种智能化自控森林防火监控系统，其特征在于，包括图像采集模块、处理模块和云台系统，其中：

图像采集模块用于实时采集森林内的视频数据；

处理模块用于接收并处理视频数据，生成图像数据；并提取图像数据像素点的颜色特征，如果颜色特征为红色，则生成火情告警信息；

云台系统包括云台子系统、伺服电机和云台控制器，云台子系统用于安装和固定图像采集模块；伺服电机用于驱动云台子系统转动；云台控制器与处理模块通信连接，用于接收火情告警信息后，生成控制信号，控制伺服电机停止转动。

2.根据权利要求1所述的智能化自控森林防火监控系统，其特征在于，处理模块采用帧间差分法处理视频数据，生成图像数据。

3.根据权利要求2所述的智能化自控森林防火监控系统，其特征在于，还包括数据库，用于预先存储样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，处理模块用于提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；处理模块还用于根据样本图像和检测结果对卷积神经网络进行训练，得到训练成功的卷积神经网络模型。

4.根据权利要求3所述的智能化自控森林防火监控系统，其特征在于，处理模块还用于将图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型提取图像数据；若卷积神经网络判定图像数据存在火情告警信息，伺服电机停止转动。

5.根据权利要求4所述的智能化自控森林防火监控系统，其特征在于，还包括远程管理终端，远程管理终端与云台控制器通信连接，用于实时监控并控制伺服电机的运转状态。

6.根据权利要求5所述的智能化自控森林防火监控系统，其特征在于：还包括供电子系统和定位模块，供电子系统采用光伏发电系统，用于将光能转换为电能，以进行供电；定位模块与处理模块电连接，用于对发生灾情的区域进行定位得到定位信息，将定位信息发送到远程管理终端。

7.根据权利要求1所述的智能化自控森林防火监控系统，其特征在于：云台控制器采用STM32单片机。

8.一种智能化自控森林防火监控方法，其特征在于，包括如下步骤：

S1、图像采集模块转动，获取森林内的实时视频数据，并将视频数据同步发送到处理模块中；

S2、通过处理模块接收并处理视频数据，生成图像数据，并提取图像数据中像素点的颜色特征，如果颜色特征为红色，则生成火情告警信号；

S3、通过云台控制器获取火情告警信息，并根据火情告警信息控制伺服电机停止转动。

9.根据权利要求8所述的智能化自控森林防火监控方法，其特征在于，步骤S2之前还包括如下步骤：

S101、通过预先向数据库输入样本图像和检测结果，其中样本图像为发生火灾的图像，检测结果为采用RGB颜色模型处理样本图像，并提取样本图像中每个像素点的颜色特征，如果颜色特征为红色则判定有火情告警信息，生成检测结果；基于样本图像和检测结果对卷积神经网络进行训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型。

10.根据权利要求9所述的智能化自控森林防火监控方法，其特征在于，步骤S2包括如下步骤：

S201、通过处理模块采用帧间差分法处理视频数据，生成相应的图像数据；然后将图像数据输入到训练成功的卷积神经网络模型中，由卷积神经网络模型的卷积层提取图像数据；若卷积神经网络判定图像数据存在火情告警信息，云台控制器接收火情告警信息，生成控制信号，控制伺服电机的停止转动。

Images