CN110827505A - 一种基于深度学习的烟雾分割方法 - Google Patents

一种基于深度学习的烟雾分割方法 Download PDF

Info

Publication number
CN110827505A
CN110827505A CN201911036819.2A CN201911036819A CN110827505A CN 110827505 A CN110827505 A CN 110827505A CN 201911036819 A CN201911036819 A CN 201911036819A CN 110827505 A CN110827505 A CN 110827505A
Authority
CN
China
Prior art keywords
smoke
network
semantic segmentation
video
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911036819.2A
Other languages
English (en)
Inventor
苏育挺
汪梓艺
张为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911036819.2A priority Critical patent/CN110827505A/zh
Publication of CN110827505A publication Critical patent/CN110827505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明涉及一种基于深度学习的烟雾分割方法,包括下列步骤:第一步,构建带有标注和标签的图片数据库;第二步,训练语义分割网络:首先需要搭建语义分割网络,在DeeplabV3基础上进行改进,然后设置训练参数,接着利用所得的烟雾语义分割数据集训练语义分割网络;第三步,构建烟雾视频图像分割系统。

Description

一种基于深度学习的烟雾分割方法
技术领域
本发明属于图像处理与机器视觉领域,具体来说是一种利用深度学习来进行烟雾图片分割的方法,本质上属于图像分割问题。
背景技术
火是一把双刃剑,一方面火的出现和使用让人们的生活发生了翻天覆地的改变,成为人类生产和生活中必不可少的一部分,但另一方面,一旦由于各种各样的复杂原因使得火失去控制,就可能威胁到人类的生命财产和社会公共安全。迄今为止,火灾一直是全人类面临的极具破坏力的灾害之一,近年来,我国每年都要发生多起重大的火灾事故,仅2018年,全年火灾数量达20多万,直接损失超过36亿元,又比如2019年3月30日在四川凉山发生的森林大火,蔓延面积近20公顷,夺走了30个年轻的生命。因此,如何及时并有效地预防火灾事件的发生,对于保障人民的生命财产安全有着极其重要的意义,也是全世界专家学者们研究的一项重要课题。
传统的火灾检测技术是基于温感、烟感报警器等,通常需要等环境中的烟气分子浓度、温度累加到一定程度的条件下才会进行报警,这就需要较长的感应时间,无法在火灾初期发出警报。而且火灾前的每分每秒都十分珍贵,一旦火势失去控制,错过了最佳救援时间,那么后果将不堪设想。此外,一些大型的公共场所和开阔的室外空间使得传感器的大范围安装和应用受到限制。
随着视频监控技术和图像处理技术的发展,各大场所均安装了视频监控,人们通过摄像头来采集现场的图像数据,可以实时地对场所中人们的行为、设备的运转等情况进行全面的把控,同时及时地应对一些突发的状况。自此以后,火灾预防研究者开始利用视频图像处理技术来实现火灾检测,图像型火灾检测技术报警速度快、范围广,不仅可以提供报警信息,还能确定起火位置。现阶段,基于视频的火灾检测技术主要分为两种,分别为火焰识别和烟雾识别,其中火焰检测较为主流。但众所周知,在火灾初期,烟雾往往先于火焰产生,如果能成功地实现烟雾检测,那么将会提供比火焰更早的报警线索,并及时地通知相关工作人员,从根本上预防火灾事件的发生。目前,大多数视频烟雾检测技术是基于手工设计的特征,需要人为地根据不同的场景寻找烟雾的颜色、形状、纹理等特征变化,再通过支持向量机等学习分类器进行分析判别。但是,这类方法对专业知识有着较强的依赖性,此外,烟雾这类目标在各种复杂场景下尺度形态等变化较随机,各类特征的不确定性较大,基于手工特征的方法难以表达烟雾的本质特征,识别的准确度较低,鲁棒性较差。
发明内容
为了克服现有烟雾检测算法在场景复杂、目标尺度多变等条件下的不足,本发明提出一种基于深度学习的烟雾分割方法,利用改进的DeeplabV3卷积神经网络在大量数据上训练,进而实现烟雾图片的逐像素预测,在烟雾区域分类、定位的基础上,提供详尽的烟雾边界信息。在烟雾视频图像中预测效果较好,且鲁棒性较强。本发明的技术方案如下:
一种基于深度学习的烟雾分割方法,包括下列步骤:
第一步,构建带有标注和标签的图片数据库:采集火灾监控视频,截取烟雾并对其进行标注,使用数据增强处理来扩充数据,构建符合格式要求、匹配语义分割网络结构的数据集。
第二步,训练语义分割网络:首先需要搭建语义分割网络,在DeeplabV3基础上进行改进,然后设置训练参数,接着利用所得的烟雾语义分割数据集训练语义分割网络,方法如下:
(1)搭建改进的DeeplabV3网络:采用ResNet50作为基础的编码器来提取不同层级的烟雾特征信息,利用串联的空洞卷积结构来替代池化下采样,用以防止位置信息缺失和扩大感受野;搭建空间金字塔并联结构,提取多尺度的目标语义信息,用以提升网络对目标尺度变化的建模能力;输出原图1/16大小的特征图,该图经过2次2倍率上采样的方式实现解码,使得包含丰富语义信息的特征图与底层含有精细位置信息的特征图实现跨层融合,在保证原始网络预测效果的基础上,恢复锋利的空间细节;上采样4倍输出2分类的分割结果图。
(2)设定语义分割网络训练参数,激活函数为Relu,损失函数为交叉熵,优化方式为随机梯度下降。
第三步,构建烟雾视频图像分割系统:利用读取烟雾视频并逐帧预处理,将预处理后的视频帧输入到预训练好语义分割网络,接着根据不同的预测场景输出分割掩码,其中每个像素按照最大预测概率进行类别划分,随后统计预测为烟雾类别的像素连通域面积,当连通域面积超过20×20像素时,认为该帧图像中存在烟雾,并将分割出的烟雾掩码叠加到原视频中,同时发出异常事件警报,通知相关监测人员。
进一步地,第二步中设定语义分割网络训练参数为:输入图像尺寸为512×512,初始化方式为Xavixer,批处理数据个数为8,权重衰减为0.0002,学习率初值为0.001,更新方式为“poly”,总迭代次数为30000。
附图说明
图1数据标注过程示意图
图2解析后的标注文件展示图
图3改进的DeeplabV3网络结构图
图4烟雾视频图像分割系统图
图5系统测试结果图
具体实施方式
为使本发明的技术方案更加清楚,下面结合附图对本发明做进一步阐述。本发明利用语义分割网络自动学习场景中目标和背景的相关信息,逐像素的进行分类,最后输出分割结果图。统计烟雾区域的像素数目,当超过设定的阈值时视为存在烟雾,并发出警报。按以下步骤具体实现:
第一步,准备数据集。
(1)准备图片数据和标签数据。
从多个监控场景下的实际烟雾视频中截取图片,考虑到烟雾的帧间变化较缓慢,每个5帧截取一张作为数据样本,使用labelme软件按照PASCAl VOC公开数据集的标注方式对烟雾进行像素级的人工标注,如图1所示。目前已经构建烟雾语义分割数据集10000张,包含上百个真实的烟雾场景,包括食堂、工厂、田野、村庄、地铁、操场等,以3:1的比例对数据集进行划分,其中训练集7500张,测试集2500张。标注后的数据集以json格式存储,用程序对json文件进行解析,结果如图2所示。
(2)数据增强处理。
数据增强处理是利用翻转、平移、剪裁等操作生成“新的”数据,从而提升网络的表达泛化能力。本发明采用了其中的四种方式,首先为图像翻转,以0.5的概率对图像进行镜像处理;其次是图像旋转,将图像顺时针或逆时针旋转不超过10的角度;接着是随机裁剪,从原图中截取部分作为新样本,然后填充边界;最后给图像添加高斯噪声,进一步防止网络过拟合。
第二步,训练语义分割网络。
(1)语义分割网络搭建。采用改进的DeeplabV3算法实现细粒度的烟雾预测,对烟雾图片进行分类、定位,同时划分出详细的目标边界。改进的DeeplabV3网络结构如图3所示,基础的特征提取网络使用了ResNet50,共包含四个残差模块,在最后一个残差模块中,使用扩张率分别为2、4、8的空洞卷积,可以防止池化下采样带来的位置信息丢失,同时扩大感受野。随后利用1×1卷积核以及不同扩张率的空洞卷积提取多尺度的目标语义信息,提升网络对目标尺度变化的建模能力。经过空间金字塔处理,输出原图1/16大小的特征图,为了进一步恢复图像空间细节,采用逐渐上采样的方式替代原始网络中大倍率上采样。通过双线性插值的方式每次上采样2倍,然后将高层的语义信息和底层的空间信息跨层融合,由于高层特征的指导性较强,因此需要对底层信息进行通道降维,再将二者合并,不仅可以降低模型计算复杂度,还能增加非线性关系。最后进行4倍上采样,输出通道数为2(二分类)的预测结果图。
(2)语义分割网络参数设定。为了方便训练,将输入图像大小统一调整为512×512,采用Xavier方法对网络初始化,每次读入的图片数量为8,权重衰减为0.0002,学习率初始值设定为0.001,更新方式设置为“poly”模式,随着迭代次数增加而衰减,最大迭代次数为30000次,激活函数为Relu,损失函数为交叉熵,网络的优化方式为SGD随机梯度下降法。
第三步,构建烟雾视频图像分割系统。
首先利用OpenCV计算机视觉库自动读取烟雾视频并逐帧预处理,然后将视频帧输入到预训练好语义分割网络,接着根据不同的预测场景输出分割掩码,其中每个像素按照最大预测概率进行类别划分,随后统计预测为烟雾类别的像素连通域面积。经过大量实验测定,当连通域面积超过20×20像素时,可认为该帧图像中存在烟雾,并将分割出的烟雾掩码叠加到原视频中,同时发出异常事件警报,通知相关监测人员。系统算法流程图如图4所示。
第四步,测试本系统的预测效果。
测试时,将不同的待测试烟雾视频帧序列按顺序输入本系统,系统按照以下步骤运行:
(1)先用预训练的权重参数初始化语义分割网络,接着对输入的视频帧进行场景解析,将样本空间变换至特征空间,利用基础的编码器和空间金字塔提取像素特征,再通过解码器将特征图恢复至原始大小,输出通道数为2的特征图,每个通道代表不同的类别,通道0表示背景,通道1表示烟雾。
(2)比较同一像素点在两种类别下的预测概率,若烟雾类别的预测概率更大,则该像素被判定为烟雾像素,否则为背景像素,输出分割掩码。计算分割出的烟雾区域面积,超出设定值则发出警报,并在原视频中用红色标记出,同时保存该帧图片,方便后续检测效果分析。
(3)重复上述步骤,直至所有视频测试完毕。实验表明,本系统通过逐像素分类的方式,可以精准地定位出烟雾区域,通过空间金字塔和逐层上采样的解码器可以学习不同场景下的烟雾尺度变化,相比于传统的烟雾检测方法有更好的检测效果且鲁棒性较强。系统在在烟雾视频上的部分测试结果如图5所示。

Claims (2)

1.一种基于深度学习的烟雾分割方法,包括下列步骤:
第一步,构建带有标注和标签的图片数据库:采集火灾监控视频,截取烟雾并对其进行标注,构建符合格式要求、匹配语义分割网络结构的数据集。
第二步,训练语义分割网络:首先需要搭建语义分割网络,在DeeplabV3基础上进行改进,然后设置训练参数,接着利用所得的烟雾语义分割数据集训练语义分割网络,方法如下:
(1)搭建改进的DeeplabV3网络:采用ResNet50作为基础的编码器来提取不同层级的烟雾特征信息,利用串联的空洞卷积结构来替代池化下采样,用以防止位置信息缺失和扩大感受野;搭建空间金字塔并联结构,提取多尺度的目标语义信息,用以提升网络对目标尺度变化的建模能力;输出原图1/16大小的特征图,该图经过2次2倍率上采样的方式实现解码,使得包含丰富语义信息的特征图与底层含有精细位置信息的特征图实现跨层融合,在保证原始网络预测效果的基础上,恢复锋利的空间细节;上采样4倍输出2分类的分割结果图;
(2)设定语义分割网络训练参数,激活函数为Relu,损失函数为交叉熵,优化方式为随机梯度下降。
第三步,构建烟雾视频图像分割系统:利用读取烟雾视频并逐帧预处理,将预处理后的视频帧输入到预训练好语义分割网络,接着根据不同的预测场景输出分割掩码,其中每个像素按照最大预测概率进行类别划分,随后统计预测为烟雾类别的像素连通域面积,当连通域面积超过20×20像素时,认为该帧图像中存在烟雾,并将分割出的烟雾掩码叠加到原视频中,同时发出异常事件警报,通知相关监测人员。
2.根据权利要求1所述的方法,其特征在于,第二步中设定语义分割网络训练参数为:输入图像尺寸为512×512,初始化方式为Xavixer,批处理数据个数为8,权重衰减为0.0002,学习率初值为0.001,更新方式为“poly”,总迭代次数为30000。
CN201911036819.2A 2019-10-29 2019-10-29 一种基于深度学习的烟雾分割方法 Pending CN110827505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911036819.2A CN110827505A (zh) 2019-10-29 2019-10-29 一种基于深度学习的烟雾分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911036819.2A CN110827505A (zh) 2019-10-29 2019-10-29 一种基于深度学习的烟雾分割方法

Publications (1)

Publication Number Publication Date
CN110827505A true CN110827505A (zh) 2020-02-21

Family

ID=69551011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911036819.2A Pending CN110827505A (zh) 2019-10-29 2019-10-29 一种基于深度学习的烟雾分割方法

Country Status (1)

Country Link
CN (1) CN110827505A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN111507423A (zh) * 2020-04-24 2020-08-07 国网湖南省电力有限公司 输电线路通道清理的工程量测算方法
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112070049A (zh) * 2020-09-16 2020-12-11 福州大学 基于BiSeNet的自动驾驶场景下的语义分割方法
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112465835A (zh) * 2020-11-26 2021-03-09 深圳市对庄科技有限公司 用于翡翠图像分割的方法及模型训练方法
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
WO2021226900A1 (zh) * 2020-05-14 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN115063718A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展(北京)有限公司 火灾检测方法、装置、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136059A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
CN102509078A (zh) * 2011-10-28 2012-06-20 北京安控科技股份有限公司 基于视频分析的烟火检测装置
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法
WO2018078660A1 (en) * 2016-08-21 2018-05-03 Ebrahimian Ziba A vehicle surveillance system by lpr camera
KR20180116855A (ko) * 2017-04-18 2018-10-26 한국광기술원 지능형 조명 제어장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136059A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
CN102509078A (zh) * 2011-10-28 2012-06-20 北京安控科技股份有限公司 基于视频分析的烟火检测装置
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法
WO2018078660A1 (en) * 2016-08-21 2018-05-03 Ebrahimian Ziba A vehicle surveillance system by lpr camera
KR20180116855A (ko) * 2017-04-18 2018-10-26 한국광기술원 지능형 조명 제어장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
陈洁: ""基于光流特征和小波变换的视频烟雾识别"", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *
齐 航等: "基于深度学习的红外烟幕区域分割技术", 《控制与信息技术》 *
齐怀琴 等: "基于ARM的森林火灾监测系统的设计", 《电视技术》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN111507423A (zh) * 2020-04-24 2020-08-07 国网湖南省电力有限公司 输电线路通道清理的工程量测算方法
CN111507423B (zh) * 2020-04-24 2023-06-09 国网湖南省电力有限公司 输电线路通道清理的工程量测算方法
WO2021226900A1 (zh) * 2020-05-14 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112034456B (zh) * 2020-08-27 2023-10-17 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112070049A (zh) * 2020-09-16 2020-12-11 福州大学 基于BiSeNet的自动驾驶场景下的语义分割方法
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112465835B (zh) * 2020-11-26 2022-07-08 深圳市对庄科技有限公司 用于翡翠图像分割的方法及模型训练方法
CN112465835A (zh) * 2020-11-26 2021-03-09 深圳市对庄科技有限公司 用于翡翠图像分割的方法及模型训练方法
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113011427B (zh) * 2021-03-17 2022-06-21 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
CN115063718A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展(北京)有限公司 火灾检测方法、装置、设备、存储介质及程序产品
CN115063718B (zh) * 2022-06-10 2023-08-29 嘉洋智慧安全科技(北京)股份有限公司 火灾检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110827505A (zh) 一种基于深度学习的烟雾分割方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
CN108805015A (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
Masurekar et al. Real time object detection using YOLOv3
CN111325319B (zh) 一种神经网络模型的检测方法、装置、设备及存储介质
CN112580523A (zh) 行为识别方法、装置、设备及存储介质
CN111047565A (zh) 一种用于森林云雾图像分割的方法、存储介质和设备
CN108052865A (zh) 一种基于卷积神经网络和支持向量机的火焰检测方法
CN113807276B (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
CN110909672A (zh) 一种基于双流卷积神经网络和svm的抽烟动作识别方法
CN114399719B (zh) 一种变电站火灾视频监测方法
CN110490055A (zh) 一种基于三重编码的弱监督行为识别定位方法和装置
CN115761627A (zh) 一种火灾烟雾火焰图像识别方法
CN115294528A (zh) 一种行人安全监控方法及装置
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN116310922A (zh) 石化厂区监控视频风险识别方法、系统、电子设备及存储介质
CN113221667B (zh) 一种基于深度学习的人脸口罩属性分类方法及系统
CN111898440B (zh) 一种基于三维卷积神经网络的山火检测方法
CN112132867A (zh) 一种遥感影像变换检测方法及装置
CN115375964A (zh) 一种基于YOLOv5模型改进的方法及装置
CN115798133A (zh) 一种火焰报警方法、装置、设备及存储介质
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221