CN112613483A - 一种基于语义分割和识别的户外火灾预警方法 - Google Patents

一种基于语义分割和识别的户外火灾预警方法 Download PDF

Info

Publication number
CN112613483A
CN112613483A CN202110009258.8A CN202110009258A CN112613483A CN 112613483 A CN112613483 A CN 112613483A CN 202110009258 A CN202110009258 A CN 202110009258A CN 112613483 A CN112613483 A CN 112613483A
Authority
CN
China
Prior art keywords
fire
network
early warning
segmentation
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110009258.8A
Other languages
English (en)
Inventor
刘磊
刘继铖
孙明斋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110009258.8A priority Critical patent/CN112613483A/zh
Publication of CN112613483A publication Critical patent/CN112613483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于语义分割和识别的户外火灾预警方法，在保证火灾误警率较低的情况下，解决较小着火区域漏检问题，最终达到高精准率的火灾预警。包括如下步骤：步骤1.首先将监控场景图送入分割网络，获取火灾区域的分割结果作为火灾候选区域；步骤2.将分割网络输出的火灾候选区域与原始监控场景图片相结合，获取火灾候选区域及其周围区域；步骤3.将火灾候选区域及其周围区域送入到识别网络中，进行火灾的判别；如果是火灾，则发出预警，否则不进行预警。

Description

一种基于语义分割和识别的户外火灾预警方法
技术领域
本发明涉及基于深度学习的图像分割和识别技术领域，尤其是一种基于语义分割和识别的户外火灾预警方法。
背景技术
现有火灾预警方案主要可分为以下几种：1、基于信息融合的方法进行火灾预警，利用红外测温信息和可见光图像，同时结合火的温度、颜色和亮度，进行森林火灾预警。2、利用气体浓度的检测方法，利用火灾发生后，空气中的CO和CO2浓度增加的现象，提升火灾区域的预警准确率。3、基于目标检测的火灾检测方法，将着火区域作为目标，利用邻域对比、多尺度模板或深度学习等方法进行火灾区域检测，最终获得图像中的火灾区域，进而进行预警。4、基于图像分割的火灾区域分割方法，根据火的颜色和亮度特征，利用图像处理方法、机器学习方法或卷积神经网络进行着火区域像素分割。
上述现有方法存在以下问题：
1、基于信息融合的方法：当观测区域存在其他高温度且照明高亮的物体，往往被当成火灾区域，发生错误检测。
2、利用气体浓度的检测方法：此方案适用于室内环境，对于室外空旷区域或森林火灾等场景不适用。
3、基于目标检测的火灾检测方法：存在对小目标漏检测的问题，这是目标检测任务普遍面临的挑战性问题，目前难以解决。
4、基于图像分割的火灾区域分割方法：图像分割对目标区域敏感，当场景中出现与火的颜色相近物体(如太阳、晚霞等)，往往出现错误分割，此类误警率高。
发明内容
为了解决上述技术问题，本发明提出一种基于语义分割和识别的户外火灾预警方法，在保证火灾误警率较低的情况下，解决较小着火区域漏检问题，最终达到高精准率的火灾预警。
本发明是基于图像分割和识别，结合候选区域的上下文信息的火灾预警方案，所述的候选区域的周围区域为候选区域提供上下文信息。图像分割网络对火灾区域较为敏感，可以在着火区域较小的火灾初期分割出着火区域，便于火灾的早发现早控制。但分割方法存在误警率高的问题，即可能将与火灾区域颜色、亮度等相似的非火灾区域(如太阳、晚霞等)判别为火灾区域，因此，本发明将图像识别与图像分割相结合，将分割网络输出的火灾候选区域送入到识别网络中，对火灾候选区域进行进一步判别，如果判别为火灾的话，则进行预警；否则不进行预警。同时，考虑到火灾周围往往存在烟雾，所以将周围区域作为火灾候选区域的上下文信息，同时送入到识别网络中，以此提高识别网络的判别能力。
本发明的技术方案包括如下步骤：
步骤1.首先将监控场景图送入分割网络，获取火灾区域的分割结果作为火灾候选区域；
步骤2.将分割网络输出的火灾候选区域与原始监控场景图片相结合，获取火灾候选区域及其周围区域；
步骤3.将火灾候选区域及其周围区域送入到识别网络中，进行火灾的判别；如果是火灾，则发出预警，否则不进行预警。
所述步骤1中的分割网络为FCN网络、SegNet网络或DeepLabv3网络等。
进一步的，对于上述分割网络，在训练阶段：通过人工标注多个图像上的火灾区域，生成训练数据，将训练数据送入分割网络中进行网络训练，获得性能优秀的分割模型。
进一步的，在测试阶段：将待分割图像送入训练好的分割模型中，获得图片中的火灾候选区域。
进一步的，所述步骤3中，考虑到火灾周围往往存在烟雾，所以将周围区域作为火灾区域的上下文信息，与火灾候选区域一起送入到识别网络中，以此提高识别网络的判别能力。
进一步的，所述识别网络为vgg16网络、resnet18网络、Densenet网络或RA-CNN网络。
有益效果
(1)本发明的方案将图像分割和识别相结合，利用图像分割对火灾区域的敏感性，实现较小着火区域的检测，同时，结合识别方法，去除其他相似目标的干扰；
(2)本发明的方案充分利用火灾周围往往存在烟雾的先验知识进行火灾识别，增强识别的准确性；
(3)本发明在保证火灾误警率较低的情况下，解决较小着火区域漏检问题，最终达到高精准率的火灾预警。
附图说明
图1：火灾预警方案流程图；
图2：火灾区域分割结果展示，(a)原始图像，(b)分割结果；
图3：目标区域选择，(a)原始图片，(b)火灾候选区域，(c)火灾候选区域及其周围区域；
图4：干扰示例展示，(a)原始图片，(b)火灾候选区域及其周围区域。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明提出一种基于语义分割和识别的户外火灾预警方法，在保证火灾误警率较低的情况下，解决较小着火区域漏检问题，最终达到高精准率的火灾预警。包括如下步骤：
步骤1.首先将监控场景图送入分割网络，获取火灾区域的分割结果作为火灾候选区域；
步骤2.将分割网络输出的火灾候选区域与原始监控场景图片相结合，获取火灾候选区域及其周围区域；
步骤3.将火灾候选区域及其周围区域送入到识别网络中，进行火灾的判别；如果是火灾，则发出预警，否则不进行预警。
根据本发明的实施例，所述的分割网络可以采用任何现有的图像分割网络，如FCN网络、SegNet网络或DeepLabv3网络等。优先的，本发明使用DeepLabv3网络。
根据本发明的实施例，对于上述分割网络，在训练阶段：通过人工标注大量图像上的火灾区域，生成训练数据，将训练数据送入卷积神经网络进行模型训练，获得最终的分割模型。
根据本发明的实施例，在测试阶段：将待分割图像送入训练好的网络模型中，获得图片中的火灾候选区域；
本发明的关键是基于图像分割和识别，以及结合候选区域上下文信息(如：候选区域的周围区域为候选区域提供上下文信息)的火灾预警方案。图像分割网络对火灾区域较为敏感，可以在着火区域较小的火灾初期分割出着火区域，便于火灾的早发现早控制。但分割方法存在误警率高的问题，即可能将与火灾区域颜色、亮度等相似的非火灾区域(如太阳、晚霞等)判别为火灾区域，因此，本发明将图像识别与图像分割相结合，将分割网络输出的火灾候选区域送入到识别网络中，对火灾候选区域进行进一步判别，如果判别为火灾的话，则进行预警；否则不进行预警。
同时，考虑到火灾周围往往存在烟雾，所以将周围区域作为火灾区域的上下文信息，同时送入到识别网络中，以此提高识别网络的判别能力。
训练阶段：人工标注大量图像上的火灾及其周围区域，生成训练数据，将训练数据送入识别网络进行模型训练，获得最终的判别模型。
测试阶段：将获取的火灾及其周围图片区域送入训练好的识别网络模型中，对分割结果进行判别，如果分割结果是火灾区域，则发出预警，否则不发出预警。
此识别网络可以采用任何现有的分类网络，如vgg16网络、resnet18网络、Densenet网络或RA-CNN网络。(优先的，可以是resnet18网络)
根据本发明的一个实施例，如图1-3所示，包括如下流程：
(1)将待检测图像输入到分割网络中，获得火灾区域的分割结果；如图2所示；图2(a)为原始图像，图2(b)为分割结果；
(2)根据分割结果，结合原始待测图像，获取图像中的火灾候选区域及其周围区域。实际应用中，目标区域选择时，根据火灾区域大小，放大n倍(例如取放大1.5倍的范围)作为最终的火灾候选区域。如图3所示，图3(a)位原始图片，图3(b)为火灾候选区域，图例3(c)为火灾候选区域及其周围区域；本发明考虑到火灾周围往往存在烟雾，所以将周围区域作为火灾区域的上下文信息，同时送入到识别网络中，以此提高识别网络的判别能力。
(3)将火灾候选区域及其周围区域图片输入到识别网络中进行识别，如果是火灾则进行预警，如果不是火灾则不进行预警。非火灾区域如图4所示，图4(a)为(a)原始图片，(b)火灾候选区域及其周围区域，其中分割识别出的火灾候选区域为太阳，不是火灾，不进行报警。
本实施例中，本发明采用Deeplabv3网络作为本发明的火灾区域分割网络。此分割网络可以采用任何现有的图像分割网络，如FCN网络、SegNet网络、DeepLabv3网络等。
本实施例采用的识别网络为resnet18网络。此识别网络可以采用任何现有的分类网络，如vgg16网络、resnet18网络、Densenet网络和RA-CNN网络等分类网络等。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于语义分割和识别的户外火灾预警方法，其特征在于，包括如下步骤：
步骤1.首先将监控场景图送入分割网络，获取火灾区域的分割结果作为火灾候选区域；
步骤2.将分割网络输出的火灾候选区域与原始监控场景图片相结合，获取火灾候选区域及其周围区域；
步骤3.将火灾候选区域及其周围区域送入到识别网络中，进行火灾的判别；如果是火灾，则发出预警，否则不进行预警待定。
2.根据权利要求1所述的一种基于语义分割和识别的户外火灾预警方法，其特征在于：
所述步骤1中的分割网络为FCN网络、SegNet网络、或DeepLabv3网络，或者为利用传统图像特征进行图像分割的方法。
3.根据权利要求2所述的一种基于语义分割和识别的户外火灾预警方法，其特征在于：
对于上述分割网络，在训练阶段：通过人工标注多个图像上的火灾区域，生成训练数据，将训练数据送入卷积神经网络分割模型进行模型训练，获得最终的分割模型。
4.根据权利要求1所述的一种基于语义分割和识别的户外火灾预警方法，其特征在于：
在测试阶段：将待分割图像送入训练好的网络分割模型中，获得图片中的火灾区域。
5.根据权利要求1所述的一种基于语义分割和识别的户外火灾预警方法，其特征在于：
所述步骤3中，考虑到火灾周围往往存在烟雾，所以将周围区域作为火灾区域的上下文信息，同时送入到识别网络中，以此提高识别网络的判别能力。
6.根据权利要求1所述的一种基于语义分割和识别的户外火灾预警方法，其特征在于：
所述步骤3中的识别网络为vgg16网络、resnet18网络、Densenet网络或RA-CNN网络。
CN202110009258.8A 2021-01-05 2021-01-05 一种基于语义分割和识别的户外火灾预警方法 Pending CN112613483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110009258.8A CN112613483A (zh) 2021-01-05 2021-01-05 一种基于语义分割和识别的户外火灾预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110009258.8A CN112613483A (zh) 2021-01-05 2021-01-05 一种基于语义分割和识别的户外火灾预警方法

Publications (1)

Publication Number Publication Date
CN112613483A true CN112613483A (zh) 2021-04-06

Family

ID=75253676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009258.8A Pending CN112613483A (zh) 2021-01-05 2021-01-05 一种基于语义分割和识别的户外火灾预警方法

Country Status (1)

Country Link
CN (1) CN112613483A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435848A (zh) * 2021-06-30 2021-09-24 山东强力消防工程有限公司 基于大数据模拟的火灾预警系统及方法
CN113762162A (zh) * 2021-09-08 2021-12-07 合肥中科类脑智能技术有限公司 一种基于语义分割和识别的火灾预警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENG CHENG 等: "LOCO: Local Context Based Faster R-CNN for Small Traffic Sign Detection", 《MMM 2018: MULTI MEDIA MODELING》 *
严云洋 等: "基于Faster R-CNN 模型的火焰检测", 《南京师大学报( 自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435848A (zh) * 2021-06-30 2021-09-24 山东强力消防工程有限公司 基于大数据模拟的火灾预警系统及方法
CN113762162A (zh) * 2021-09-08 2021-12-07 合肥中科类脑智能技术有限公司 一种基于语义分割和识别的火灾预警方法及系统

Similar Documents

Publication Publication Date Title
Bu et al. Intelligent and vision-based fire detection systems: A survey
US8565484B2 (en) Forest fire smoke detection method using random forest classification
KR101353952B1 (ko) 시공간적 비오에프와 랜덤 포레스트를 이용한 산불 연기 감지 방법
Premal et al. Image processing based forest fire detection using YCbCr colour model
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
KR100918436B1 (ko) 비전 기반의 화재 감지 시스템 및 방법
CN107437318B (zh) 一种可见光智能识别算法
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和系统
CN111126293A (zh) 一种火焰和烟雾异常情况检测方法及系统
CN112613483A (zh) 一种基于语义分割和识别的户外火灾预警方法
CN111489342A (zh) 一种基于视频的火焰检测方法、系统及可读存储介质
Chowdhury et al. Computer vision and smoke sensor based fire detection system
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN114120171A (zh) 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质
Ho et al. Real-time video-based fire smoke detection system
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
CN107330441B (zh) 火焰图像前景提取算法
Malbog et al. Edge detection comparison of hybrid feature extraction for combustible fire segmentation: a Canny vs Sobel performance analysis
KR101044903B1 (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
KR101270718B1 (ko) 영상에서 화재를 검출하기 위한 영상처리 장치 및 방법
KR101552564B1 (ko) 가스센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템
JP2021007055A (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
CN112347874A (zh) 一种火灾检测方法、装置、设备及存储介质
Khan et al. Real-time fire detection using enhanced color segmentation and novel foreground extraction
Hatekar et al. Fire detection on a surveillance system using Image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210406