CN112801148A - 基于深度学习的火情识别定位系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的火情识别定位系统及方法，主要解决传统火情检测方法中存在的检测可靠性差问题；其实现方案为：在主机端对深度学习卷积神经网络进行算法改进，并基于现有火焰数据集得到火情检测模型权重文件；将卷积神经网络模型及权重文件移植到边缘嵌入式计算设备，并将设备部署到火情监控点，由摄像头获取监控画面传入设备；在边缘端对输入的图像画面进行深度学习火情识别，获得画面监控点的火情信息，同时北斗卫星获取定位信息；采用双通道通信链路传输火情识别定位信息；主机端接收信息后于浏览器页面呈现。本发明在保证系统传输可靠性的同时，准确完成火情检测，并能够将火情现场状况在浏览器页面直观展示。

Description

基于深度学习的火情识别定位系统及方法

技术领域

本发明属于通信技术领域，涉及图像识别与计算机视觉技术，具体为一种基于深度学习的火情识别定位系统及方法，可用于室内外重点消防监控区域的火情防控。

技术背景

火是人类文明发展不可或缺的部分，极大的推动了人类历史发展进程，但与此而来，火在一些重点消防区域的燃烧给人们的生产生活带来的危害也是灾难性的，火灾的发生不仅直接造成巨大的经济损失，更严重的威胁到人们的生命安全。因此，及时发现火情，做好火灾的预防工作对于保障人们正常的生产生活具有重要意义。

当前的火情识别定位方法主要包括人工巡检法、传感器识别定位法和火焰特征识别定位法。其中：1.人工巡检法是消防人员对消防布控区域进行走访排查，发现并上报火情相关情况，这种火情识别定位方法效率极其低下，并且成本高昂，还存在一定的危险性。2.传感器识别定位法是通过在消防布控区域内安装火情检测传感器，主要包括感光型、感烟型、感温型以及气体传感器，结合现场环境的光照程度、烟雾程度以及温度高低是否超过传感器的检测阈值，对范围内的环境变化进行火情预警，此方法需要对不同环境来设计检测阈值，易受环境中其他因素的干扰，且容易造成误检和漏检，对于大范围空间的检测效果较差，在实际应用中往往存在着诸多不足。3.火焰特征识别定位法是指通过火焰的颜色特征、形状特征、纹理特征等，利用传统的数字图像处理方法对火焰进行识别定位；这类方法需要人工提取火焰特征，在无法全面描述火焰特征的前提下，特征提取的好坏直接影响火焰识别定位的结果。

在专利申请公开号为CN109801466A，名称为“北斗定位设备的火灾预警系统”的专利文献中，公开了一种北斗定位设备的火灾预警系统，通过使用烟雾传感器和温度传感器来识别是否发生火情，并在火情发生后通过北斗定位设备将火情位置信息发送至后台服务器。该方法虽然能够实现火情识别定位，但其火情识别工作是通过传感器来完成的，容易出现误检和漏检的情况，且在户外宽阔场景中无法推广应用；此外，该方法通过北斗卫星完成火情定位工作，在火情信息处理中却仅通过无线通信方式进行位置信息的传输，后台不能直观的观察火情现场状况，不利于后续救援工作的开展。

上海海事大学提出的“一种基于深度学习的火灾智能监控系统及其方法”，专利申请公开号：CN109903507A，其通过训练深度学习模型对监控视频图像中的火焰进行实时识别，虽然克服了传感器识别的弊端，且可以保证较高的火情识别的准确性，但该方案将网络模型部署在服务器端，因此需要耗费大量的资源来支撑整个火情识别模型的工作运转，此外，该方法中仅提供了火情的识别方法，无法直接定位到当前火情实际发生的地理位置，且对于火情现场的实际状况并未进行展示，对于后续迅速开展消防救援工作造成不便；同时，将监控点的火情变化传输到服务器端需要充足的网络带宽，且具有一定的延时，若监控点处于户外偏远地区则无法正常工作，实际应用中受环境因素限制。

综上，目前在国内外提出的火情识别定位方案大都存在识别定位方法不够完善、识别准确度无法保证、定位工作及定位信息传输存在弊端、受环境因素影响较大、抗干扰能力差、无法直观展示火情现场状况的缺点，在火情消防中的应用效果不够理想。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种基于深度学习的火情识别定位系统及方法，用于解决现有方案识别定位准确度低、信息传输可靠性差以及火情现场状况不能直观展示的技术问题。本发明首先通过对卷积神经网络模型Mobilenet-SSD中的卷积层结构进行改进，并部署到边缘嵌入式计算设备Jeston Xavier NX，在边缘端完成火情识别，同时通过北斗终端定位当前监控点的位置信息，然后分别通过北斗卫星短报文通信和TCP网络传输协议两种传输方式将火情信息传输到主机端，最后在主机端接收火情信息并在web浏览器页面进行展示；本发明能够有效提高火情识别定位的准确性、火情信息传输的稳定性及监控点火情状况的直观性。

为实现上述目的，本发明的技术方案包括如下：

本发明提供的基于深度学习的火情识别定位系统，包括：边缘端和主机端；其中边缘端由边缘嵌入式计算设备、监控摄像头、北斗发送终端及无线网络发送终端组成，主机端由PC主机、北斗接收终端、无线网络接收终端、web浏览器组成；

上述边缘嵌入式计算设备被部署于火情监控点，连接所在监控点的监控摄像头、北斗发送终端及无线网络发送终端，设备中加载由PC主机或云服务器对卷积神经网络模型训练得到的权重文件；用于对图像进行识别，获取火情识别定位信息；

上述监控摄像头用于对监控点进行实时画面采集，并将采集的图像传入到嵌入式计算设备中；

上述北斗发送终端和无线网络发送终端分别对嵌入式计算设备获取的火情识别定位信息进行打包传输；

上述PC主机连接有北斗接收终端及无线网络接收终端；其中北斗接收终端，用于接收、解包北斗发送终端传输的火情识别定位信息，并传输给PC主机；无线网络接收终端，用于接收、解包无线网络发送终端传输的火情识别定位信息，并传输给PC主机；

上述web浏览器安装于PC主机上，用于对PC主机中的火情识别定位信息进行页面展示。

本发明提供的基于深度学习的火情识别定位方法，包括：

(1)制作火情数据集；

(1a)采集图片样本，组成样本集；

(1b)将样本集中的所有图片随机划分为两部分，分别作为训练集和验证集；

(1c)利用图片标注软件LabelImg对样本中每张图片的火焰部分进行标注，设置标签并生成标注文件；分别将训练集图片和验证集图片的路径及文件名写入到训练文本和测试文本中，合并整理为火情数据集；

(2)构建改进后卷积神经网络模型：

在现有目标检测网络SSD的基础上，采用轻量化特征提取网络对其进行优化，得到改进后卷积神经网络模型；

(3)训练模型：

在主机端，PC主机通过火情数据集中的训练文本找到训练集，使用训练集中的图片进行改进后卷积神经网络模型的训练，得到训练后网络模型及模型权重文件；

(4)移植模型：

在边缘嵌入式计算设备中安装深度学习框架TensorFlow、Keras及相关库文件，并采用与步骤(2)相同的方式构建改进后卷积神经网络模型；最后将主机端训练所得的训练后网络模型及模型权重文件移植到边缘嵌入式计算设备上；

(5)边缘端的监控摄像头采集监控点现场图片，并将其传入到边缘嵌入式计算设备；

(6)边缘嵌入式计算设备读取现场图片，通过训练后网络模型中对输入图片进行火情识别，得到识别结果；

(7)边缘嵌入式计算设备根据识别结果判断是否有火情发生，若存在火情，则生成包含火情信息和火情识别图片的火情现场信息，并继续执行步骤(8)；若不存在火情，则返回步骤(5)；

(8)边缘嵌入式计算设备将火情现场信息分别通过北斗发送终端与无线网络发送终端发出，即通过北斗和无线网络两种传输方式分别发送到主机端；

(9)主机端接收信息，并进行处理：

(9a)主机端的PC主机监听预先设定的端口号，接收套接字socket信息，并检查协议包头标志是否为b'\xff\xaa\xff\xaa'，若是，则判定为匹配，执行步骤(9b)完成解包操作；反之，判定为不匹配，终止解包并继续监听端口接收新的套接字socket信息；

(9b)PC主机通过无线网络接收终端接收无线网络发送终端发出的火情现场信息，对该信息内容进行解包操作，获取火情信息及图片二进制数据，并将其以火情信息命名后保存为图片格式；同时，PC主机通过北斗接收终端接收北斗发送终端发出的火情现场信息，对该信息内容进行解包操作，提取定位信息和火情信息；

(10)主机端在PC主机上搭建web浏览器页面，用于调取火情现场信息，并对该信息进行web浏览器页面展示。

本发明与现有技术相比，具有如下优点：

第一、本发明采用边缘嵌入式计算设备Jeston Xavier NX进行深度学习网络模型的算法推理完成对监控点的火情识别，从而脱离了主机服务器端的支撑，使得整个火情识别定位系统的应用更具灵活性，同时大幅度降低了功耗，减小由边缘端到服务器端通信链路传输延时对火情识别定位结果带来的影响。

第二、由于本发明对基于深度学习卷积神经网络模型Mobilenet-SSD进行了算法改进，将训练所得的网络模型参数权重文件加载到模型结构中，通过该模型对监控区域的实际拍摄图片进行火情识别定位，有效改善了传统火情识别定位方法受环境及外围设备因素影响导致误检、漏检率高的情况，在复杂环境背景下依然可以保证良好的识别定位准确性。

第三、由于本发明采用TCP网络传输协议和北斗卫星短报文通信两种传输方式将监控点的火情识别定位信息传输到主机端，保证了火情识别定位结果传输的稳定性，对于户外偏远地区的火情监控点的网络通信状况依赖较小，同时可以通过TCP网络传输的图片信息来判断当前监控点的火情发展趋势、通过北斗卫星获取当前火情发生的详细经纬度及高程等位置信息，方便救援工作的开展。

附图说明

图1是本发明系统的框架图；

图2是本发明方法的实现流程图；

图3是现有方法与本发明方法的识别结果对比图；其中(a)为使用现有网络模型进行火情识别的结果图，(b)为使用本发明网络模型进行火情识别的结果图；

图4是本发明中火情识别定位结果在web浏览器的展示界面；其中(a)为无线网络接收终端接收的火情识别定位结果在web浏览器页面的展示图，(b)为北斗接收终端接收的火情识别定位结果在web浏览器页面中的展示图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明提出的一种基于深度学习的火情识别定位系统，包括：边缘端和主机端两大部分，其中边缘端由边缘嵌入式计算设备Jeston Xavier NX、监控摄像头、北斗发送终端及无线网络发送终端共四部分组成，主机端由PC主机、北斗接收终端、无线网络接收终端、web浏览器共四部分组成。在云服务器或PC主机完成卷积神经网络模型Mobilenet-SSD的训练后获得权重文件，并部署到边缘嵌入式计算设备Jeston Xavier NX，监控摄像头对监控点进行实时画面采集并传入到嵌入式计算设备Jeston Xavier NX中，嵌入式计算设备完成图片识别，并发送指令到北斗发送终端通过北斗卫星获取当前监控点的定位信息，然后嵌入式计算设备Jeston Xavier NX打包火情识别定位信息分别通过北斗发送终端和无线网络发送终端进行传输。PC主机连接有北斗接收终端及无线网络接收终端；其中北斗接收终端，用于接收、解包北斗发送终端传输的火情识别定位信息，并传输给PC主机；无线网络接收终端，用于接收、解包无线网络发送终端传输的火情识别定位信息，并传输给PC主机；PC主机上安装有web浏览器，可将火情识别定位信息在web浏览器页面进行直观展示。

实施例一：

参照附图2，本发明提出的一种基于深度学习的火情识别定位方法，包括如下步骤：

步骤A：制作火情数据集；

(1a)搜集公开火焰数据集和互联网中的火焰视频图片，对火焰视频进行隔帧截取操作并保存为图片，再采用图像增强方法对火焰图片进行扩充，作为正样本；这里采用的图像增强方法包括水平镜像、不同角度旋转等；另外，选择数量不超过正样本数量二十分之一的不含火焰目标的图片作为负样本，共同组成样本集；

(1b)将样本集中的所有图片随机划分为两部分，分别作为训练集和验证集；

(1c)利用图片标注软件LabelImg对样本中每张图片的火焰部分进行标注，设置标签并生成标注文件；分别将训练集图片和验证集图片的路径及文件名写入到训练文本和测试文本中，合并整理为火情数据集；

步骤B：构建改进后卷积神经网络模型：

在现有目标检测网络SSD的基础上，采用轻量化特征提取网络对其进行优化，得到改进后卷积神经网络模型；具体通过如下步骤实现：

(2a)将现有目标检测网络SSD的基础特征提取网络VGG-16替换为轻量化特征提取网络，并去掉其中最后的全局平均池化层、全连接层和分类回归层，得到由17个卷积块构成的轻量目标检测网络，其中：前13个卷积块采用深度可分离卷积实现，第14-17个卷积块采用标准卷积进行两次卷积操作得到；

(2b)设置轻量目标检测网络的卷积核大小为3x3，并将该网络结构中第6-11个卷积块的卷积操作替换为密集层操作，即卷积核大小分别为一个3x3和两个3x3的两路卷积操作，用于分别捕捉不同尺度的特征信息；

(2c)分别取轻量目标检测网络中第11个卷积块、第13个卷积块、第14个卷积块中的第二次卷积层、第15个卷积块中的第二次卷积层、第16个卷积块中的第二次卷积层、第17个卷积块中的第二次卷积层作为有效特征提取层；

(2d)在每一个有效特征提取层上生成预测框和得分，利用预测框的位置和得分进行非极大值抑制NMS，获得预测结果，并将该结果作为网络的输出；最终得到改进后卷积神经网络模型。

步骤C：训练模型：

在主机端，PC主机通过火情数据集中的训练文本找到训练集，使用训练集中的图片进行改进后卷积神经网络模型的训练，得到训练后网络模型及模型权重文件。其首先利用迁移学习的方法，从谷歌深度学习官方网站获取轻量目标检测网络的预训练模型权重文件，然后将其加载到改进后卷积神经网络模型结构中进行训练，直至损失函数降到最小，这时保存权重文件作为最终得到的模型权重文件。

步骤D：移植模型：

在边缘嵌入式计算设备中安装深度学习框架TensorFlow、Keras及相关库文件，并采用与步骤(2)相同的方式构建改进后卷积神经网络模型；最后将主机端训练所得的训练后网络模型及模型权重文件移植到边缘嵌入式计算设备上；

步骤E：边缘端的监控摄像头采集监控点现场图片，并将其传入到边缘嵌入式计算设备；

步骤F：边缘嵌入式计算设备读取现场图片，通过训练后网络模型中对输入图片进行火情识别，得到识别结果；

步骤G：边缘嵌入式计算设备根据识别结果判断是否有火情发生，若存在火情，则生成包含火情信息和火情识别图片的火情现场信息，并继续执行步骤(8)；若不存在火情，则返回步骤(5)；

步骤H：边缘嵌入式计算设备将火情现场信息分别通过北斗发送终端与无线网络发送终端发出，即通过北斗和无线网络两种传输方式分别发送到主机端；

步骤I：主机端接收信息，并进行处理：

(9a)主机端的PC主机监听预先设定的端口号，接收套接字socket信息，并检查协议包头标志是否为b'\xff\xaa\xff\xaa'，若是，则判定为匹配，执行步骤(9b)完成解包操作；反之，判定为不匹配，终止解包并继续监听端口接收新的套接字socket信息；

(9b)PC主机通过无线网络接收终端接收无线网络发送终端发出的火情现场信息，对该信息内容进行解包操作，获取火情信息及图片二进制数据，并将其以火情信息命名后保存为图片格式；同时，PC主机通过北斗接收终端接收北斗发送终端发出的火情现场信息，对该信息内容进行解包操作，提取定位信息和火情信息；其中火情信息具体包括监控点发生火情的概率、发生火情的次数以及着火点在监控图片上的坐标；定位信息具体包括火情监控点的经度、纬度、大地高程差、边缘端的发送地址编号以及边缘端发送时间。

步骤J：主机端在PC主机上搭建web浏览器页面，用于调取火情现场信息，并对该信息进行web浏览器页面展示。本实施例采用Python语言的开源web应用框架Django搭建web浏览器页面，调取PC主机接收到的火情信息和定位信息，并接入百度地图库，根据定位信息在浏览器页面展示火情识别结果。

实施例二：

对于本发明提出的火情识别定位方法，在实施例一的基础上，选择较优参数、比例及具体使用到的数据，再次给出如下实现步骤：

步骤1，搜集公开火焰数据集、下载各网站火焰相关视频图片，制作火情数据集。

(1a)下载Bilkent大学公开的火焰视频库中的10段火焰视频，互联网搜索室内、户外火焰相关短视频及图片，对火情视频进行隔帧截取保存为图片，采用水平镜像、按不同角度旋转的图像增强方法对火焰图片进行扩充，增添小部分不含火焰目标的负样本图片，最后以8：2的比例随机划分为训练集和验证集，构成完整的火情数据集；

(1b)利用LabelImg对(1a)的每张图片中的火焰部分进行标注，设置标签为fire，生成xml格式的标注文件，分别将训练集图片和验证集图片的路径及文件名写入到训练文本train.txt和测试文本val.txt中，合并整理为VOC格式的火情数据集；

步骤2，搭建卷积神经网络模型Mobilenet-SSD进行并进行算法改进。

(2a)在Keras平台框架下，搭建SSD网络结构，将基础特征提取网络VGG-16替换为轻量化特征提取网络Mobilenet，去掉Mobilenet网络中最后的全局平均池化层、全连接层和Softmax层；

(2b)将Mobilenet网络中卷积核大小为3x3、通道数为512的卷积层使用由两路卷积核大小分别为3x3和两个3x3的密集层替换，分别捕捉不同尺度的感受野信息，最后与上一层输出信息进行融合作为下一层的输入；

(2c)分别取(2b)网络结构中Mobilenet网络的conv4_3层、fc7层，SSD网络的conv6的第二次卷积层、conv7的第二次卷积层、conv8的第二次卷积层、conv9的第二次卷积层作为有效特征提取层；

步骤3，在火焰数据集上进行模型训练，获得模型权重文件。

利用迁移学习的方法，将Mobilenet-SSD网络的预训练模型权重加载到搭建的网络结构中，按训练文件train.py进行模型训练，直到损失函数降到最小，保存模型权重文件。

步骤4，搭建用于边缘嵌入式计算设备的深度学习环境，移植卷积神经网络模型及权重文件。

(4a)在边缘嵌入式计算设备Jeston Xavier NX安装深度学习环境，安装TensorFlow、Keras框架及深度学习相关库文件；

(4b)在Keras框架下根据步骤2的方式，再次搭建改进的Mobilenet-SSD模型结构；

(4c)将在主机端训练所得的Mobilenet-SSD网络模型权重文件移植到边缘嵌入式计算设备Jeston Xavier NX；

步骤5，整体组装部署火情识别定位系统。

(5a)将边缘嵌入式计算设备Jeston Xavier NX部署到火情监控点；

(5b)在边缘嵌入式计算设备Jeston Xavier NX上接入当前监控点摄像头；

(5c)在边缘嵌入式计算设备Jeston Xavier NX上接入北斗终端设备；

(5d)在边缘嵌入式计算设备Jeston Xavier NX上接入无线网络终端设备；

(5e)在PC主机接入北斗终端设备；

(5f)在PC主机接入无线网络终端设备；

步骤6，边缘端摄像头采集监控点现场图片，传入到边缘嵌入式计算设备JestonXavier NX；

步骤7，边缘嵌入式计算设备读取现场图片，并输入到改进的Mobilenet-SSD网络模型中，卷积神经网络对输入图片进行火情识别，得到识别结果；

(7a)读取摄像头输入的现场图片并对图片大小进行调整，调整图片为300x300大小；

(7b)Mobilenet-SSD网络模型对(7a)中的300x300大小的图片进行深度可分离卷积操作，得到不同尺度的特征图；

(7c)分别取(2b)网络结构中的conv4_3层、fc7层、conv6的第二次卷积层、conv7的第二次卷积层、conv8的第二次卷积层、conv9的第二次卷积层作为特征图，分别对其进行一次num_priors x 4的卷积、一次num_priors x num_classes的卷积、并需要计算每一个特征图对应的先验框，其中num_priors指的是该特征图所拥有的先验框数量，4表示了x_offset、y_offset、h和w的调整情况；

(7d)将每个网格的中心点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽。得到整个预测框的位置；

(7e)取出(7d)中每一类得分大于self.obj_threshold阈值的框和得分进行排序，利用框的位置和得分进行非极大值抑制筛选，获得最终的识别结果。

步骤8，根据识别结果判断是否有火情发生，若存在火情，生成火情信息和火情识别图片并执行步骤9，若不存在火情则跳转到步骤6；

步骤9，获得步骤8中生成的火情识别图片及火情信息，通过无线网络终端和北斗终端两种传输方式将火情现场信息传输到主机端；

(9a)无线网络终端基于TCP网络传输协议通过以太网传输火情现场信息：

(9a1)设定TCP协议包头标志为b'\xff\xaa\xff\xaa'，固定长度为4字节；

(9a2)以二进制方式读取由步骤2中边缘端进行检测推理生成的监控点画面图片，并计算图片大小；

(9a3)设置数据包头标志位23458283482894382928948，固定长度为64字节；

(9a4)读取步骤2中边缘端检测推理生成的火情信息，包含终端号terminal_id，检测速度detect_speed，检测时间detect_time，着火点数目fire_num，组成火情信息包fire_infor，固定长度为40字节，若包长度不满足由左端空格补齐；

(9a5)将(9a1)-(9a4)的数据包及包头标志组成TCP协议帧，指定主机IP地址和端口号，通过socket请求连接成功后发送至主机端；

(9b)北斗终端基于北斗卫星通信链路，利用北斗短报文通信传输火情现场信息：

(9b1)将北斗终端设备通过USB转串口接入到边缘嵌入式计算设备Jeston XavierNX，并安装接口驱动；

(9b2)边缘设备通过串口发送指令到北斗终端设备，北斗终端通过北斗卫星获取边缘设备当前所在位置的定位信息s，定位信息s中包括时间、经度、纬度、大地高程信息；

(9b3)边缘设备通过串口发送指令到北斗终端设备，向北斗卫星进行用户机检测申请，通过卫星的反馈数据得到当前北斗终端的ID号，确定当前监控点所使用的北斗终端的发信方地址addr；

(9b4)使用$BDM作为北斗卫星短报文通信中的数据位标志头，将(3)中边缘端检测推理生成的火情信息包括着火点在监控图片中的坐标信息Xmin，Xmax，Ymin，Ymax，火情发生概率p以及着火点数目num，加入到短报文数据体与定位信息s组合构成报文信息b；

(9b5)将短报文通信协议标志头$TXXX，报文长度len，发信方地址addr，接收方地址daddr，报文信息b进行协议帧拼接形成通信信息m；

(9b6)对通信信息进行ASCII码序列转换，并对序列数值进行CRC校验操作，得到校验和h，将该h填入通信信息m中，得到最终的北斗短报文通信信息M；

(9b7)边缘端设备通过串口将北斗短报文通信信息发送到北斗通信终端，在通信频度到达时，经北斗卫星转发，将报文信息发送至主机端；

步骤10，主机端PC机接收边缘端通过无线终端和北斗终端发送来的火情现场信息，并进行解包处理。

(10a)主机PC机监视(9a5)中设定的端口号，接收socket信息，并检查协议包头标志是否为b'\xff\xaa\xff\xaa'，若匹配，则进行解包操作；

(10b)根据发送端商定的数据长度依次解包socket数据，获得火情信息及图片二进制数据，最后将其保存为JPEG图片格式并以火情信息命名；

(10c)主机端PC机通过北斗通信终端接收边缘端发送的短报文信息，对接收的信息内容进行解包操作，提取定位信息和火情信息，具体包括火情监控点的经度、纬度、大地高程差、边缘端发送地址编号、边缘端发送时间、发生火情数目，着火点在监控图片上的坐标，火情发生概率。

步骤11，主机端PC机基于Django框架库搭建web浏览器页面，调取步骤10中的火情现场信息，对火情识别定位信息进行web浏览器页面展示。

本发明的效果可以通过以下仿真进一步描述。

1.仿真条件：

本发明的仿真实验在CPU为英特尔(Intel)i7-9700K，主频3.6GHz、内存32GB、GPU为NVIDIA GeForce RTX 2080Ti、显存为11G的硬件环境和操作系统为Ubuntu18.04、Python3.6、Keras2.1.5、Django2.1.7的软件环境下进行的。

2.仿真实验内容

实验1，从火情数据集中划分出546张火情图片作为测试集，在实验过程中，将测试集图片输入到本发明方法中改进的Mobilenet-SSD网络模型中进行火情识别，并对存在火情的图片进行处理，在原图中框出着火点位置并输出坐标及预测得分，部分仿真实验结果如图3，其中：(a)为使用现有网络模型进行火情识别的结果图，(b)为使用本发明网络模型进行火情识别的结果图；

从图3中可以看出本发明方法中改进的Mobilenet-SSD网络模型对于火情识别具有更高的准确性，很大程度上降低了火情的漏检和误检，算法模型的鲁棒性更好。

实验2，使用本发明对视频监控点进行火情识别定位，通过无线网络TCP传输协议和北斗卫星短报文通信两种传输方式将监控点的火情识别定位信息传输到主机端的PC机，主机端将火情识别定位结果在web浏览器页面进行展示，仿真实验结果如图4，其中：(a)为无线网络接收终端接收的火情识别定位结果在web浏览器页面的展示图，(b)为北斗接收终端接收的火情识别定位结果在web浏览器页面中的展示图。

从图4中可以看出本发明系统及方法中对于火情识别定位结果信息的传输具有高可靠性和高稳定性，可以适应更加复杂的火情监控现场环境，web浏览器页面的直观展示使得本发明系统及方法具备良好的工程实用性和易用性。

上述仿真分析证明了本发明所提方法的正确性与有效性。

本发明未详细说明部分属于本领域技术人员公知常识。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于深度学习的火情识别定位系统，其特征在于，包括：边缘端和主机端；其中边缘端由边缘嵌入式计算设备、监控摄像头、北斗发送终端及无线网络发送终端组成，主机端由PC主机、北斗接收终端、无线网络接收终端、web浏览器组成；

所述边缘嵌入式计算设备被部署于火情监控点，连接所在监控点的监控摄像头、北斗发送终端及无线网络发送终端，设备中加载由PC主机或云服务器对卷积神经网络模型训练得到的权重文件；用于对图像进行识别，获取火情识别定位信息；

所述监控摄像头用于对监控点进行实时画面采集，并将采集的图像传入到嵌入式计算设备中；

所述北斗发送终端和无线网络发送终端分别对嵌入式计算设备获取的火情识别定位信息进行打包传输；

所述PC主机连接有北斗接收终端及无线网络接收终端；其中北斗接收终端，用于接收、解包北斗发送终端传输的火情识别定位信息，并传输给PC主机；无线网络接收终端，用于接收、解包无线网络发送终端传输的火情识别定位信息，并传输给PC主机；

所述web浏览器安装于PC主机上，用于对PC主机中的火情识别定位信息进行页面展示。

2.根据权利要求1所述的系统，其特征在于：边缘嵌入式计算设备根据图像识别结果向北斗发送终端发出定位指令，北斗发送终端接收到指令后通过北斗卫星进行定位信息的获取，最终得到火情识别定位信息。

3.一种基于深度学习的火情识别定位方法，其特征在于，包括如下步骤：

(1)制作火情数据集；

(1a)采集图片样本，组成样本集；

(1b)将样本集中的所有图片随机划分为两部分，分别作为训练集和验证集；

(1c)利用图片标注软件LabelImg对样本中每张图片的火焰部分进行标注，设置标签并生成标注文件；分别将训练集图片和验证集图片的路径及文件名写入到训练文本和测试文本中，合并整理为火情数据集；

(2)构建改进后卷积神经网络模型：

在现有目标检测网络SSD的基础上，采用轻量化特征提取网络对其进行优化，得到改进后卷积神经网络模型；

(3)训练模型：

在主机端，PC主机通过火情数据集中的训练文本找到训练集，使用训练集中的图片进行改进后卷积神经网络模型的训练，得到训练后网络模型及模型权重文件；

(4)移植模型：

在边缘嵌入式计算设备中安装深度学习框架TensorFlow、Keras及相关库文件，并采用与步骤(2)相同的方式构建改进后卷积神经网络模型；最后将主机端训练所得的训练后网络模型及模型权重文件移植到边缘嵌入式计算设备上；

(5)边缘端的监控摄像头采集监控点现场图片，并将其传入到边缘嵌入式计算设备；

(6)边缘嵌入式计算设备读取现场图片，通过训练后网络模型中对输入图片进行火情识别，得到识别结果；

(7)边缘嵌入式计算设备根据识别结果判断是否有火情发生，若存在火情，则生成包含火情信息和火情识别图片的火情现场信息，并继续执行步骤(8)；若不存在火情，则返回步骤(5)；

(8)边缘嵌入式计算设备将火情现场信息分别通过北斗发送终端与无线网络发送终端发出，即通过北斗和无线网络两种传输方式分别发送到主机端；

(9)主机端接收信息，并进行处理：

(9a)主机端的PC主机监听预先设定的端口号，接收套接字socket信息，并检查协议包头标志是否为b'\xff\xaa\xff\xaa'，若是，则判定为匹配，执行步骤(9b)完成解包操作；反之，判定为不匹配，终止解包并继续监听端口接收新的套接字socket信息；

(9b)PC主机通过无线网络接收终端接收无线网络发送终端发出的火情现场信息，对该信息内容进行解包操作，获取火情信息及图片二进制数据，并将其以火情信息命名后保存为图片格式；同时，PC主机通过北斗接收终端接收北斗发送终端发出的火情现场信息，对该信息内容进行解包操作，提取定位信息和火情信息；

(10)主机端在PC主机上搭建web浏览器页面，用于调取火情现场信息，并对该信息进行web浏览器页面展示。

4.根据权利要求3所述的方法，其特征在于：步骤(1a)中采集图片样本，具体按照如下方式：搜集公开火焰数据集和互联网中的火焰视频图片，对火焰视频进行隔帧截取操作并保存为图片，再采用图像增强方法对火焰图片进行扩充，作为正样本；另外，选择数量不超过正样本数量二十分之一的不含火焰目标的图片作为负样本，共同组成样本集；

5.根据权利要求4所述的方法，其特征在于：所述图像增强方法包括水平镜像、不同角度旋转。

6.根据权利要求3所述的方法，其特征在于：步骤(2)中构建改进后卷积神经网络模型，具体通过如下步骤实现：

(2a)将现有目标检测网络SSD的基础特征提取网络VGG-16替换为轻量化特征提取网络，并去掉其中最后的全局平均池化层、全连接层和分类回归层，得到由17个卷积块构成的轻量目标检测网络，其中：前13个卷积块采用深度可分离卷积实现，第14-17个卷积块采用标准卷积进行两次卷积操作得到；

(2b)设置轻量目标检测网络的卷积核大小为3x3，并将该网络结构中第6-11个卷积块的卷积操作替换为密集层操作，即卷积核大小分别为一个3x3和两个3x3的两路卷积操作，用于分别捕捉不同尺度的特征信息；

(2c)分别取轻量目标检测网络中第11个卷积块、第13个卷积块、第14个卷积块中的第二次卷积层、第15个卷积块中的第二次卷积层、第16个卷积块中的第二次卷积层、第17个卷积块中的第二次卷积层作为有效特征提取层；

(2d)在每一个有效特征提取层上生成预测框和得分，利用预测框的位置和得分进行非极大值抑制NMS，获得预测结果，并将该结果作为网络的输出；最终得到改进后卷积神经网络模型。

7.根据权利要求3所述的方法，其特征在于：步骤(3)中改进后卷积神经网络模型的训练是利用迁移学习的方法，从谷歌深度学习官方网站获取轻量目标检测网络的预训练模型权重文件，然后将其加载到改进后卷积神经网络模型结构中进行训练，直至损失函数降到最小。

8.根据权利要求3所述的方法，其特征在于：步骤(9b)中的火情信息具体包括监控点发生火情的概率、发生火情的次数以及着火点在监控图片上的坐标；定位信息具体包括火情监控点的经度、纬度、大地高程差、边缘端的发送地址编号以及边缘端发送时间。

9.根据权利要求3所述的方法，其特征在于：步骤(10)中搭建web浏览器页面是利用Python语言的开源web应用框架Django实现。

Images