CN117079212A - 一种烟雾检测方法、装置、电子设备及存储介质 - Google Patents

一种烟雾检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117079212A
CN117079212A CN202311033303.9A CN202311033303A CN117079212A CN 117079212 A CN117079212 A CN 117079212A CN 202311033303 A CN202311033303 A CN 202311033303A CN 117079212 A CN117079212 A CN 117079212A
Authority
CN
China
Prior art keywords
image data
smoke
target
pixel
smoke detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311033303.9A
Other languages
English (en)
Inventor
陈友明
陈思竹
郭莉莉
翟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Digital Intelligence Group Co ltd
Original Assignee
Sichuan Honghe Digital Intelligence Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Digital Intelligence Group Co ltd filed Critical Sichuan Honghe Digital Intelligence Group Co ltd
Priority to CN202311033303.9A priority Critical patent/CN117079212A/zh
Publication of CN117079212A publication Critical patent/CN117079212A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/005Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明提出一种烟雾检测方法、装置、电子设备及存储介质,涉及图像处理技术领域,通过获取图像数据,图像数据为监测区域的当前帧图像数据;对图像数据进行去雾处理,得到去雾图像数据;采用目标检测模型对去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将烟雾检测框对应的图像数据区域作为目标图像数据;当目标图像数据满足至少一个预设条件时,输出目标图像数据为烟雾的检测结果,预设条件至少包括频域特征条件和时域特征条件。基于深度学习方法对烟雾进行检测具有高精度的检测和识别,通过在检测时加入去雾处理和预设条件进行烟雾判断,进一步提升了烟雾检测准确率。

Description

一种烟雾检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种烟雾检测方法、装置、电子设备及存储介质。
背景技术
在森林场景下的火灾预防任务中,通过对烟雾进行有效识别可以有效判断是否有火灾发生,从而有效预防森林火灾。相关技术中通过人工巡查或遥感检测等技术对烟雾进行检测,但由于烟雾和自然现象中雾的视觉特征很相似,采用上述技术难以准确区分烟雾和雾。
因此,本发明将具有学习功能的深度学习网络模型用于森林烟雾的识别,以解决上述技术不能准确区分烟雾和雾的问题。
发明内容
本发明提供一种烟雾检测方法、装置、电子设备及存储介质,以解决相关技术不能准确检测出烟雾和雾的问题。
在本发明实施例第一方面提供一种烟雾检测方法,所述方法包括:
获取图像数据,所述图像数据为监测区域的当前帧图像数据;
对所述图像数据进行去雾处理,得到去雾图像数据;
采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
可选地,所述对所述图像数据进行去雾处理,得到去雾图像数据,包括:
基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图;
基于所述第一通道图,获取所述图像数据中每个像素点的透射率;
基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
可选地,所述基于所述第一通道图,获取所述图像数据中每个像素点的透射率,包括:
获取所述第一通道图中所有像素点的像素值,作为第一像素值;
基于所述第二通道图,获取大气光照强度;
基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率。
可选地,所述基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据,包括:
获取所述图像数据中每个像素点的像素值,作为第二像素值;
基于所述每个像素点的第二像素值和所述透射率,得到所述图像数据中每个像素点的透射关系;
基于所述图像数据中每个像素点的透射关系对所述图像数据进行去雾处理,得到所述去雾图像数据。
可选地,所述第一像素值包括不同颜色通道对应的第一像素值,基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率,包括:
以所述大气光照强度作为基准,计算目标像素点中每个颜色通道对应的第一像素值的像素相对值,所述目标像素点为所述图像数据中的任意一个像素点;
基于所述像素相对值,获取所述目标像素点对应的最小像素相对值,并基于所述最小像素相对值,获取所述目标像素点对应的透射率。
可选地,所述透射率的计算公式如下所示:
t(x)=1-w*min(R(x)/A,G(x)/A,B(x)/A),
式中,t(x)表示目标像素点x处的透射率,R(x),G(x),B(x)分别表示目标像素点x处的红色通道、绿色通道、蓝色通道的像素值,A表示所述第二通道图的大气光照强度,w表示控制雾霾强度的常数,min(·)表示最小值函数。
可选地,所述预设条件为所述目标图像数据满足所述频域特征条件以及所述时域特征条件中的至少一者,所述频域特征条件至少包括频谱能量特征、频谱斜率特征以及频谱峰值特征,所述时域特征条件至少包括对比度特征、边缘清晰度特征以及纹理特征。
可选地,在输出所述检测结果之后,所述方法还包括:
当所述检测结果为所述目标图像数据为烟雾的情况下,响应于所述检测结果,生成预警信息;
将所述预警信息发送至管理端,以使所述管理端响应于所述预警信息,进行风险处理。
在本发明实施例第二方面提供一种烟雾检测装置,所述装置包括:
图像获取模块,用于获取图像数据,所述图像数据为监测区域的当前帧图像数据;
去雾模块,用于对所述图像数据进行去雾处理,得到去雾图像数据;
目标图像数据获取模块,用于采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
检测结果获取模块,用于当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
可选地,所述去雾模块,包括:
亮度分解单元,用于基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图;
透射率计算单元,用于基于所述第一通道图,获取所述图像数据中每个像素点的透射率;
去雾处理单元,用于基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
可选地,所述透射率计算单元,包括:
第一像素值获取子单元,用于获取所述第一通道图中所有像素点的像素值,作为第一像素值;
大气光照强度获取子单元,用于基于所述第二通道图,获取大气光照强度;
第一透射率计算子单元,用于基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率。
可选地,所述去雾处理单元,包括:
第二像素值获取子单元,用于获取所述图像数据中每个像素点的像素值,作为第二像素值;
透射关系计算子单元,用于基于所述每个像素点的第二像素值和所述透射率,得到所述图像数据中每个像素点的透射关系;
去雾处理子单元,基于所述图像数据中每个像素点的透射关系对所述图像数据进行去雾处理,得到所述去雾图像数据。
可选地,所述透射率计算单元,还包括:
像素相对值获取子单元,用于以所述大气光照强度作为基准,计算目标像素点中每个颜色通道对应的第一像素值的像素相对值,所述目标像素点为所述图像数据中的任意一个像素点;
第二透射率计算子单元,用于基于所述像素相对值,获取所述目标像素点对应的最小像素相对值,并基于所述最小像素相对值,获取所述目标像素点对应的透射率。
可选地,在输出所述检测结果之后,所述装置还包括:
预警信息生成模块,用于当所述检测结果为所述目标图像数据为烟雾的情况下,响应于所述检测结果,生成预警信息;
管理端响应模块,用于将所述预警信息发送至管理端,以使所述管理端响应于所述预警信息,进行风险处理。
在本发明实施例第三方面提供一种电子设备,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如上述第一方面中任一项所述的烟雾检测方法。
在本发明实施例第四方面提供计一种算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项所述的烟雾检测方法。
本发明实施例提出一种烟雾检测方法、装置、电子设备及存储介质,通过获取图像数据,所述图像数据为监测区域的当前帧图像数据;对所述图像数据进行去雾处理,得到去雾图像数据;采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。本发明包括以下优点:本发明提出的烟雾检测方法基于深度学习方法对烟雾进行检测具有高精度的检测和识别,通过在检测时加入去雾处理和结合时频特征和频域域特征进行烟雾识别,进一步提升了检测准确率。目标检测模型是基于深度学习方法训练得到的,可以根据数据集的变化不断进行学习和调整,从而提高模型的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种烟雾检测方法的步骤示意图;
图2是本发明实施例提供的一种烟雾检测方法的流程示意图;
图3是本发明实施例提供的一种去雾处理的方法流程图;
图4是本发明实施例提供的一种烟雾检测装置的架构图;
图5是本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
烟雾是一种常见的现象,在进行森林场景下的火灾预防任务时,可以通过对烟雾进行检测来判断是否有发生火灾的可能,但是在某些情况下,烟雾和自然现象中雾的视觉特征很相似,难以被准确区分。因此,基于深度学习并可以区分雾的烟雾检测技术具有很高的应用价值。第一,对烟雾检测可以提前发现火灾并及时采取措施;第二,在森林中人工巡视往往效率低下,难以覆盖所有区域,利用烟雾检测技术可以提高管护效率;第三,烟雾中含有有毒气体和物质,及时发现烟雾可以帮助人员及时避开危险区域,保障人员安全。因此,进行烟雾检测在森林场景中具有非常重要的意义,可以在预防火灾、提高管护效率、保障人员安全等多方面发挥重要作用。
森林烟雾检测的现有技术手段主要包括以下几种:1)传感器检测:传感器通过检测空气中的烟雾颗粒浓度、温度、湿度等参数来进行烟雾检测。2)遥感检测:通过卫星、无人机等遥感设备观测地面烟雾的颜色、密度、发展趋势等信息进行检测。3)人工巡查:通过人工巡查的方式来检测烟雾。但上述相关技术存在以下缺点使其在森林烟雾检测中不能达到对烟雾进行及时准确检测的目的:1)传感器检测虽然检测精度高,响应速度快,但是其缺点是需要安装大量的传感器,成本较高。2)遥感检测可以对大范围进行监测,而且不需要依靠地面设备,但是其缺点是检测精度较低,对于烟雾密度较小的地区难以检测。3)人工巡查可以快速发现问题,但是需要大量的人力资源,并且存在安全隐患。
基于此,本发明通过将深度学习和图像去雾技术,以及从图像层面对烟雾和雾进行区分,实现快速而精准的检测烟雾。
在本发明实施例第一方面提供的一种烟雾检测方法,参阅图1,图1为本发明实施例提供的一种烟雾检测方法的步骤示意图,所述烟雾检测方法包括以下步骤:
步骤110:获取图像数据,所述图像数据为监测区域的当前帧图像数据;
步骤120:对所述图像数据进行去雾处理,得到去雾图像数据;
步骤130:采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
步骤140:当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
为了使本领域技术人员更好的理解本申请提供的一种烟雾检测方法,图2示出了本申请实施例提供的一种烟雾检测方法流程示意图,接下来结合图2,对该方案进行详细阐述:
具体实施步骤110时,所述监测区域为预设烟雾检测场景区域,例如,当森林场景需要进行烟雾检测时,所述监测区域则为森林区域,当危化品存储库需要进行烟雾检测时,所述监测区域则为危化品存储区域。上述示例仅限于说明示意,本发明实施例并不对预设烟雾检测场景区域进行限制,所述监测区域可以为实际有烟雾检测需求的任意区域。通过在所述监测区域预先设置的图像获取设备获取当前实时视频帧图像数据,所述图像获取设备可以为摄像头、森林防火安全预警平台、无人机等多种设备,在本发明实施例中,选用的所述摄像头为高清防爆摄像头,参数至少为200万像素(1920*1080),ipx6级防水;选用的所述森林防火安全预警平台至少包括包含1张1080Ti及以上GPU的计算机,内存不少于8G,处理器主频不低于2.3GHz。将上述图像获取设备获取的当前帧图像作为图像数据进行后续的烟雾检测。
具体实施步骤120时,在烟雾检测方法中,由于烟雾和雾从形态来看十分相似,获取的图像数据中存在雾时,容易造成烟雾误检,因此,在通过对获取的图像数据进行烟雾检测之前,本发明实施例先对所述图像数据进行去雾处理,以降低后续对烟雾误检的几率。首先对所述图像数据采用图像去雾处理技术,得到去除部分雾的去雾图像数据,将所述去雾图像数据用于后续烟雾检测。
其中,参阅图3,图3为本发明实施例提供的一种去雾处理的方法流程图,对所述图像数据进行去雾处理,得到去雾图像数据,包括以下步骤:
步骤310:基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图;
步骤320:基于所述第一通道图,获取所述图像数据中每个像素点的透射率;
步骤330:基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
对所述图像数据进行去雾处理,得到去雾图像数据,通过基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图,所述第一通道图可以为暗通道图,在大部分图像数据的区域中,至少有一个通道中的像素值较小。因为在雾天环境中,即使在暗处,也会有些像素受到雾的影响而较亮,所述第二通道图可以为亮通道图,两通道图用于估计图像数据中的大气光照强度。在去雾算法中,大气光是由雾霾、尘埃等因素引起的,会降低图像数据的对比度和鲜艳度,所以估计大气光照强度值是恢复图像数据的关键之一。然后,基于所述第一通道图,获取所述图像数据中每个像素点的透射率,通过基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
在本发明可选地一实施例中,所述基于所述第一通道图,获取所述图像数据中每个像素点的透射率,通过获取所述第一通道图中所有像素点的像素值,作为第一像素值,然后基于所述第二通道图,获取大气光照强度,基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率。通过计算暗通道图中的最小值估计大气光照强度,先计算得到图像数据中每个像素点的透射率,计算得到的透射率可以用于评估大气光在光线传播过程中被吸收和散射的程度。
在本发明可选地一实施例中,所述基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据,通过获取所述图像数据中每个像素点的像素值,作为第二像素值;然后,通过基于所述图像数据中每个像素点的第二像素值和所述透射率,得到所述图像数据中每个像素点的透射关系;基于所述图像数据中每个像素点的透射关系对所述图像数据进行去雾处理,得到所述去雾图像数据。通过以所述图像数据中每个像素点的像素值与透射率之间的来消除大气光的影响。在对所述图像数据进行去雾处理之前,还可以对所述图像数据进行去噪处理,进一步改善去雾效果,例如,所述去噪处理可以为双边滤波算法(Bilateral Filtering),通过对所述图像数据中每个像素点使用双边滤波器对周围的像素进行加权平均,以得到平滑后的去雾结果,以消除可能出现的噪声和伪影。
在本发明可选地一实施例中,所述第一像素值包括不同颜色通道对应的第一像素值,所述颜色通道可以为RGB颜色通道,RGB颜色通道包括R(red,蓝色)颜色通道、G(green,蓝色)颜色通道、B(blue,蓝色)颜色通道。基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率,通过以所述大气光照强度作为基准,计算目标像素点中每个颜色通道对应的第一像素值的像素相对值,所述目标像素点为所述图像数据中的任意一个像素点,基于所述像素相对值,获取所述目标像素点对应的最小像素相对值,并基于所述最小像素相对值,获取所述目标像素点对应的透射率。通过对所述图像数据中的任意像素点的每个颜色通道进行计算得到像素相对值,以最小像素相对值计算得到所述图像数据中每个像素点的透射率,所述透射率用于评估所述图像数据在大气光在光线传播过程中被吸收和散射的程度。
具体地,所述透射率的计算公式如下所示:
t(x)=1-w*min(R(x)/A,G(x)/A,B(x)/A),
式中,t(x)表示目标像素点x处的透射率,R(x),G(x),B(x)分别表示目标像素点x处的红色通道、绿色通道、蓝色通道的像素值,A表示所述第二通道图的大气光照强度,表示所述图像数据中最亮像素值,w表示控制雾霾强度的常数,可选取值范围为[0.1,1]之间,min(·)表示最小值函数。
具体实施步骤130时,所述目标检测模型是基于深度学习训练得到的,具体地,首先通过目标检测模型加载所述图像数据,并对所述图像数据进行数据增强和去雾处理,得到去雾处理后的增强图像数据,对其进行烟雾标注作为目标检测模型的训练样本,然后将所述训练样本作为训练集和测试集,采用所述训练集对所述目标检测模型进行训练,然后采用所述测试集对所述目标检测模型进行测试验证和优化,得到训练好的目标检测模型。相比于在目标检测模型加载之前进行图像数据的数据增强,本申请的方案通过目标检测模型加载图像数据的同时,对所述图像数据进行随机数据增强和去雾处理,由于数据增强方式的不同,使数据增强后得到的增强图像数据不同,进一步使得所述目标检测模型在每一次训练过程中使用的训练样本(数据增强后的增强图像数据)均不同,训练得到的目标检测模型的检测效果更准确,泛化性就会更高。在目标检测模型之前进行图像数据的数据增强得到的增强图像数据输入至模型进行训练,使目标检测模型使用的训练样本较为固定,得到目标检测模型的检测结果不准确。在进行数据增强时,可以随机选择多种不同的数据增强方式与去雾处理方式相结合,例如,所述数据增强方式可以为模糊增强、亮度增强、阴影增强、平移增强等方式。由于深度学习具有良好的鲁棒性,在一定程度上可以对噪声、照明变化等因素进行抵抗,还可以基于已有模型进行迭代和扩展,从而可以使基于深度学习训练得到的目标检测模型可以应用于不同场景的烟雾检测问题。
在采用目标检测模型对所述去雾图像数据进行烟雾检测得到目标图像数据时,通过目标检测模型对所述去雾图像数据进行烟雾检测,可以得到至少一个目标,所述目标为烟雾,所述目标检测模型以相同尺寸的滑窗在所述图像数据上进行移动,会得到至少一个包含烟雾的烟雾检测框,然后将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据为包含烟雾图像的图像数据,通过对去雾处理后的图像数据进行目标图像数据的检测,可以进一步确认所述去雾图像数据中的烟雾目标,提高对烟雾检测的准确性,示例性地,滑窗将所述图像数据进行烟雾检测,得到5个烟雾检测框,将这5个烟雾检测框对应的图像数据区域作为目标图像数据用于后续烟雾检测的识别。
具体实施步骤140时,当将图像数据输入目标检测模型得到目标图像数据之后,将所述目标图像数据和预设条件进行判断,所述预设条件至少包括频域特征条件和时域特征条件,当所述目标图像数据满足至少一个频域特征条件和时域特征条件的情况下,输出检测结果为所述目标图像数据为烟雾。当所述目标图像数据不满足频域特征条件和时域特征条件的情况下,输出检测结果为所述目标图像数据为雾。
在本发明可选地一实施例中,通过对获取的图像数据进行去雾处理后,再采用目标检测算法检测得到目标图像数据之后,对所述目标图像数据进行预设条件的判断,将符合至少一个预设条件的所述目标图像数据为烟雾作为检测结果输出,所述预设条件为所述目标图像数据满足所述频域特征条件以及所述时域特征条件中的至少一者,所述频域特征条件至少包括频谱能量特征、频谱斜率特征以及频谱峰值特征,所述时域特征条件至少包括对比度特征、边缘清晰度特征以及纹理特征。当所述目标图像数据均不满足所述频域特征条件以及所述时域特征条件时,输出所述目标图像数据为雾的检测结果。
示例性地,所述预设条件可以为阈值条件,以频域特征条件作为所述预设条件时,当以所述频谱能量特征作为预设条件进行判断时,由于烟雾图像数据通常具有较高的频谱能量,而自然现象中的雾图像数据则具有更平缓的频率响应,以预设频谱能量为预设频谱能量阈值,当所述目标图像数据满足预设频谱能量阈值时,得到所述目标图像数据为烟雾的检测结果。当以所述频谱斜率特征作为预设条件进行判断时,通过计算频谱的斜率,可以得到烟雾图像数据中的频谱噪声,以频谱的斜率作为预设频谱斜率阈值,当所述目标图像数据满足预设频谱斜率阈值时,得到所述目标图像数据为烟雾的检测结果。当以所述频谱峰值特征作为预设条件进行判断时,由于烟雾图像数据的频域峰值通常比自然现象中的雾图像数据高,以频谱的峰值作为预设频谱峰值阈值,当所述目标图像数据满足预设频谱峰值阈值时,得到所述目标图像数据为烟雾的检测结果。在实际进行烟雾图像的检测过程中,所述阈值条件(如所述预设频谱能量阈值、所述预设频谱斜率阈值和所述预设频谱峰值阈值)的取值均为根据实际情况确定的值,并不对此做限制。
示例性地,所述预设条件可以为阈值条件,以时域特征条件作为所述预设条件时,当以所述对比度特征作为预设条件进行判断时,由于烟雾图像数据通常具有较高的对比度,而自然现象中的雾图像数据则具有更低的对比度,以预设对比度作为预设对比度阈值时,当所述目标图像数据满足预设对比度阈值时,得到所述目标图像数据为烟雾的检测结果。当以所述边缘清晰度特征作为预设条件进行判断时,由于烟雾图像数据的边缘通常比雾图像数据的边缘更模糊,以边缘清晰度作为预设边缘清晰度阈值,当所述目标图像数据满足预设边缘清晰度阈值时,得到所述目标图像数据为烟雾的检测结果。当以所述纹理特征作为预设条件进行判断时,烟雾图像数据纹理更少,而自然现象中的雾图像数据纹理更丰富,以纹理数据作为预设纹理阈值,当所述目标图像数据满足预设纹理阈值时,得到所述目标图像数据为烟雾的检测结果。在实际进行烟雾图像的检测过程中,所述阈值条件(如所述预设对比度阈值、所述预设边缘清晰度阈值和所述预设纹理阈值)的取值均为根据实际情况确定的值,并不对此做限制。
在本发明可选地一实施例中,所述预设条件还可以为基于深度学习的烟雾分类模型中的预设分类条件,所述烟雾检测模型为基于烟雾图像数据和雾图像数据作为训练数据集训练得到的,通过对所述训练样本进行预处理,所述预处理可以为对训练数据集进行翻转、裁剪等一系列图像增强操作,然后通过所述预处理后的训练数据集和深度学习分类方法对所述烟雾分类模型进行训练,然后对所述烟雾分类模型进行评估得到对所述烟雾分类模型的评估结果,基于训练后的评估结果,对所述烟雾分类模型的超参数进行调整优化,得到训练好的烟雾分类模型和烟雾和雾的分类条件,用于区分烟雾和雾并得到对应的检测结果。将经过目标检测模型得到的目标图像数据输入至所述烟雾分类模型中,基于预设的分类条件,输出检测结果,所述检测结果包括所述输入的目标图像数据是烟雾或者雾。
在本发明可选地一实施例中,在输出所述检测结果之后,所述烟雾检测方法还包括当所述检测结果为所述目标图像数据为烟雾的情况下,响应于所述检测结果,生成预警信息;并将所述预警信息发送至管理端,以使所述管理端响应于所述预警信息,进行风险处理。将所述目标图像数据为烟雾的检测结果发送给管理端之后,表明监测区域内可能会发生火情,因此,管理端响应所述预警信息后,工作人员尽快进行风险处理,规避险情。本发明实施例提出的烟雾检测方法通过将图像去雾技术、时域与频域特征分析与深度学习融合,可以在自然现象中雾影响的同时实现对烟雾的高精度检测。因此在进行森林场景下的火灾预防任务时,可以对烟雾进行检测以便提前发现火灾并及时采取措施。
本发明实施例提出一种烟雾检测方法,通过获取图像数据,所述图像数据为监测区域的当前帧图像数据;对所述图像数据进行去雾处理,得到去雾图像数据;采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。本发明提出的烟雾检测方法基于深度学习方法对烟雾进行检测具有高精度的检测和识别,通过在检测时加入去雾处理,并结合时频特征和频域特征进行烟雾识别,进一步提升了检测准确率。目标检测模型是基于深度学习方法训练得到的,可以根据数据集的变化不断进行学习和调整,从而提高模型的性能。同时,深度学习具有良好的鲁棒性,在一定程度上可以对噪声、照明变化等因素进行抵抗,还可以基于已有模型进行迭代和扩展,从而可以很方便地应用于不同场景的烟雾检测问题。
基于上述相同的发明构思,本发明实施例还提供一种烟雾检测装置,参阅图4,图4为本发明实施例提供的一种烟雾检测装置的架构图,所述装置包括:
图像获取模块410,用于获取图像数据,所述图像数据为监测区域的当前帧图像数据;
去雾模块420,用于对所述图像数据进行去雾处理,得到去雾图像数据;
目标图像数据获取模块430,用于采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
检测结果获取模块440,用于检测结果当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
其中,所述去雾模块,包括:
亮度分解单元,用于基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图;
透射率计算单元,用于基于所述第一通道图,获取所述图像数据中每个像素点的透射率;
去雾处理单元,用于基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
其中,所述透射率计算单元,包括:
第一像素值获取子单元,用于获取所述第一通道图中所有像素点的像素值,作为第一像素值;
大气光照强度获取子单元,用于基于所述第二通道图,获取大气光照强度;
第一透射率计算子单元,用于基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率。
其中,所述去雾处理单元,包括:
第二像素值获取子单元,用于获取所述图像数据中每个像素点的像素值,作为第二像素值;
透射关系计算子单元,用于基于所述每个像素点的第二像素值和所述透射率,得到所述图像数据中每个像素点的透射关系;
去雾处理子单元,基于所述图像数据中每个像素点的透射关系对所述图像数据进行去雾处理,得到所述去雾图像数据。
其中,所述透射率计算单元,还包括:
像素相对值获取子单元,用于以所述大气光照强度作为基准,计算目标像素点中每个颜色通道对应的第一像素值的像素相对值,所述目标像素点为所述图像数据中的任意一个像素点;
第二透射率计算子单元,用于基于所述像素相对值,获取所述目标像素点对应的最小像素相对值,并基于所述最小像素相对值,获取所述目标像素点对应的透射率。
其中,在输出所述检测结果之后,所述装置还包括:
预警信息生成模块,用于当所述检测结果为所述目标图像数据为烟雾的情况下,响应于所述检测结果,生成预警信息;
管理端响应模块,用于将所述预警信息发送至管理端,以使所述管理端响应于所述预警信息,进行风险处理。
基于同一发明构思,本发明实施例公开了一种电子设备,图5示出了本发明实施例公开的一种电子设备示意图,如图5所示,电子设备100包括:存储器110和处理器120,所述电子设备的存储器不少于12G,处理器主频不低于2.4GHz,存储器110与处理器120之间通过总线通信连接,存储器110中存储有计算机程序,该计算机程序可在处理器120上运行,以实现本发明实施例公开的一种烟雾检测方法。
基于同一发明构思,本发明实施例公开了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明实施例公开的一种烟雾检测方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种烟雾检测方法、装置、电子设备及存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种烟雾检测方法,其特征在于,所述方法包括:
获取图像数据,所述图像数据为监测区域的当前帧图像数据;
对所述图像数据进行去雾处理,得到去雾图像数据;
采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
2.根据权利要求1所述的烟雾检测方法,其特征在于,所述对所述图像数据进行去雾处理,得到去雾图像数据,包括:
基于所述图像数据,对所述图像数据进行亮度分解,得到第一通道图和第二通道图;
基于所述第一通道图,获取所述图像数据中每个像素点的透射率;
基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据。
3.根据权利要求2所述的烟雾检测方法,其特征在于,所述基于所述第一通道图,获取所述图像数据中每个像素点的透射率,包括:
获取所述第一通道图中所有像素点的像素值,作为第一像素值;
基于所述第二通道图,获取大气光照强度;
基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率。
4.根据权利要求2所述的烟雾检测方法,其特征在于,所述基于所述第一通道图以及所述透射率,对所述图像数据进行去雾处理,得到所述去雾图像数据,包括:
获取所述图像数据中每个像素点的像素值,作为第二像素值;
基于所述每个像素点的第二像素值和所述透射率,得到所述图像数据中每个像素点的透射关系;
基于所述图像数据中每个像素点的透射关系对所述图像数据进行去雾处理,得到所述去雾图像数据。
5.根据权利要求3所述的烟雾检测方法,其特征在于,所述第一像素值包括不同颜色通道对应的第一像素值,基于所述第一像素值以及所述大气光照强度,计算所述图像数据中每个像素点的透射率,包括:
以所述大气光照强度作为基准,计算目标像素点中每个颜色通道对应的第一像素值的像素相对值,所述目标像素点为所述图像数据中的任意一个像素点;
基于所述像素相对值,获取所述目标像素点对应的最小像素相对值,并基于所述最小像素相对值,获取所述目标像素点对应的透射率。
6.根据权利要求5所述的烟雾检测方法,其特征在于,所述透射率的计算公式如下所示:
t(x)=1-w*min(R(x)/A,G(x)/A,B(x)/A),
式中,t(x)表示目标像素点x处的透射率,R(x)、G(x)、B(x)分别表示目标像素点x处的红色通道、绿色通道、蓝色通道的像素值,A表示所述第二通道图的大气光照强度,w表示控制雾霾强度的常数,min(·)表示最小值函数。
7.根据权利要求1所述的烟雾检测方法,其特征在于,所述预设条件为所述目标图像数据满足所述频域特征条件以及所述时域特征条件中的至少一者,所述频域特征条件至少包括频谱能量特征、频谱斜率特征以及频谱峰值特征,所述时域特征条件至少包括对比度特征、边缘清晰度特征以及纹理特征。
8.根据权利要求1所述的烟雾检测方法,其特征在于,在输出所述检测结果之后,所述方法还包括:
当所述检测结果为所述目标图像数据为烟雾的情况下,响应于所述检测结果,生成预警信息;
将所述预警信息发送至管理端,以使所述管理端响应于所述预警信息,进行风险处理。
9.一种烟雾检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取图像数据,所述图像数据为监测区域的当前帧图像数据;
去雾模块,用于对所述图像数据进行去雾处理,得到去雾图像数据;
目标图像数据获取模块,用于采用目标检测模型对所述去雾图像数据进行烟雾检测,得到至少一个烟雾检测框,将所述烟雾检测框对应的图像数据区域作为目标图像数据,所述目标图像数据包括烟雾图像的图像数据;
检测结果获取模块,用于当所述目标图像数据满足至少一个预设条件时,输出检测结果,所述检测结果为所述目标图像数据为烟雾,所述预设条件至少包括频域特征条件和时域特征条件。
10.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-8中任一项所述的烟雾检测方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-8中任一项所述的烟雾检测方法。
CN202311033303.9A 2023-08-14 2023-08-14 一种烟雾检测方法、装置、电子设备及存储介质 Pending CN117079212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033303.9A CN117079212A (zh) 2023-08-14 2023-08-14 一种烟雾检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033303.9A CN117079212A (zh) 2023-08-14 2023-08-14 一种烟雾检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117079212A true CN117079212A (zh) 2023-11-17

Family

ID=88707309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033303.9A Pending CN117079212A (zh) 2023-08-14 2023-08-14 一种烟雾检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117079212A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994636A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属协和医院 基于交互学习的穿刺目标识别方法、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994636A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属协和医院 基于交互学习的穿刺目标识别方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US7609856B2 (en) Smoke detection method based on video processing
CN106600888B (zh) 一种森林火灾自动检测方法及系统
EP2118862B1 (en) System and method for video detection of smoke and flame
KR101448164B1 (ko) 파라미터 최적화를 이용한 영상의 안개 제거 방법
CN108921878A (zh) 动目标低对比度下的危险气体泄漏红外视频检测方法
CN111383168B (zh) 隐私保护摄影机
CN103903273B (zh) 一种基于手机终端的pm2.5等级快速评价系统
CN107437318B (zh) 一种可见光智能识别算法
CN113792791B (zh) 针对视觉模型的处理方法及装置
CN115797641B (zh) 一种电子设备气体泄漏检测方法
CN108257347B (zh) 一种利用卷积神经网络的火焰图像序列分类方法及装置
CN117079212A (zh) 一种烟雾检测方法、装置、电子设备及存储介质
CN110348390B (zh) 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110717865B (zh) 图片检测方法及装置
CN113688820B (zh) 频闪条带信息识别方法、装置和电子设备
CN115966063A (zh) 一种气体泄漏红外成像自动报警方法
CN111275642B (zh) 一种基于显著性前景内容的低光照图像增强方法
CN111860324A (zh) 基于小波变换的高频分量检测及色彩识别的火灾预警方法
CN117690096B (zh) 一种适应不同场景的接触网安全巡检系统
CN111539250A (zh) 一种基于神经网络的图像雾浓度估计方法、系统和终端
CN110070480A (zh) 一种水下光学图像的模拟方法
CN112347874A (zh) 一种火灾检测方法、装置、设备及存储介质
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
Xiang et al. A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio
CN110322431B (zh) 雾霾图像质量评价方法、系统、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination