CN106997461B - 一种烟火检测方法及装置 - Google Patents

一种烟火检测方法及装置 Download PDF

Info

Publication number
CN106997461B
CN106997461B CN201710193196.4A CN201710193196A CN106997461B CN 106997461 B CN106997461 B CN 106997461B CN 201710193196 A CN201710193196 A CN 201710193196A CN 106997461 B CN106997461 B CN 106997461B
Authority
CN
China
Prior art keywords
pixel
frame image
region
doubtful
flame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710193196.4A
Other languages
English (en)
Other versions
CN106997461A (zh
Inventor
郑佳
田建国
潘华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710193196.4A priority Critical patent/CN106997461B/zh
Priority to EP17902660.4A priority patent/EP3586324A4/en
Priority to PCT/CN2017/086315 priority patent/WO2018176624A1/en
Publication of CN106997461A publication Critical patent/CN106997461A/zh
Application granted granted Critical
Publication of CN106997461B publication Critical patent/CN106997461B/zh
Priority to US16/578,228 priority patent/US11532156B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area

Abstract

本发明公开了一种烟火检测方法及装置，所述方法包括：如果采用白天模式，根据该帧图像中像素点的像素值，确定候选烟雾像素点；根据候选烟雾像素点确定每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；根据疑似火焰像素点的灰度值，确定火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。由于在本发明实施例中，如果采用白天模式，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域，使得对烟火检测更加准确。

Description

一种烟火检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种烟火检测方法及装置。
背景技术
一直以来，世界各地森林烟火频发，森林烟火是最常见的严重灾害之一，不仅对森林植被、动物生存造成巨大破坏，甚至威胁到人类的生产生活，因此，对森林烟火的准确检测显得至关重要。
随着智能化技术的提高，摄像机的高清化，利用视频监控对森林烟火及其他情况下的烟火进行检测变得切实可行。在现有技术提供的烟火检测系统中，针对获取的图像，识别图像中运动的目标像素点，通过判断所述目标像素点是否为烟火像素点，确定是否出现烟火。但现有技术中，大部分是对图像中目标像素点的红R、绿G、蓝B等信息进行分析，从而确定是否出现烟火。而实际场景中因为环境、光照等复杂情况，只分析单一的R、G、B等信息，将会影响烟火确定的准确性。
发明内容
本发明实施例提供一种烟火检测方法及装置，用以解决现有技术烟火检测准确性低的问题。
本发明实施例提供了一种烟火检测方法，该方法包括：
确定当前采用白天模式还是晚上模式；
如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；
如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。
进一步地，所述根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域包括：
针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域，根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域；
根据所述候选烟雾区域内每个像素点的动态纹理特征，及预设的烟雾动态纹理特征模型，确定目标烟雾区域。
进一步地，所述根据该帧图像中像素点的灰度值，确定疑似火焰像素点包括：
根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点，根据该帧图像中的背景高亮像素点和前景像素点，确定疑似火焰像素点。
所述根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域包括：
针对每个火焰闪烁区域，根据所述火焰闪烁区域内每个像素点的动态纹理特征，及预设的火焰动态纹理特征模型，确定目标火焰区域。
进一步地，所述采集多帧连续图像中的每一帧图像之后，所述方法还包括：
针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定该帧图像中的分割线；
判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
进一步地，所述根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点包括：
根据第一参考图像和预设的第一间隔及预设的第二间隔，确定该帧图像是否为第一目标帧图像和/或第二目标帧图像，其中，所述第二间隔大于第一间隔；
如果确定该帧图像为第一目标帧图像，根据当前保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存；如果确定该帧图像为第二目标帧图像，根据当前保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存；
确定保存的进行第一更新的第一参考图像与进行第二更新的第一参考图像的灰度值的第一差值的绝对值，将所述第一差值的绝对值大于预设的第一灰度阈值对应的像素点确定为疑似烟雾像素点；根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定当前的每个候选烟雾像素点，并对保存的候选烟雾像素点进行更新。
进一步地，所述确定该帧图像中每个像素点是否为候选烟雾像素点之后，所述确定该帧图像中的每个疑似烟雾区域之前，所述方法还包括：
对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；
获取该帧图像中每个膨胀像素点及候选烟雾像素点的亮度信号Y，色差信号U，色差信号V分量；
针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
进一步地，所述根据该帧图像中候选烟雾像素点的数量，确定所述该帧图像的每个疑似烟雾区域包括：
针对该帧图像中的每个候选烟雾像素点及预设的邻域范围，确定每个候选烟雾像素点对应的邻域；
根据连通域标记算法，得到多个区域；
针对每个区域，判断该区域中的候选烟雾像素点的第一数量是否大于预设的第一数量阈值，如果是，将该区域确定为该帧图像中的疑似烟雾区域。
进一步地，所述根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域包括：
针对每个子区域，根据该子区域中对应的每个像素点在该帧图像之前的所述多帧连续图像中的能量，该子区域中对应的像素点在该帧图像之前的所述多帧连续图像中的能量均值，及预设的对应能量阈值范围，确定每个子区域是否满足条件；
如果该帧图像中满足条件的子区域的数量满足预设的烟雾特征变化趋势，则确定疑似烟雾区域为候选烟雾区域。
进一步地，所述根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点包括：
根据第二参考图像和预设的第三间隔，确定该帧图像是否为第三目标帧图像；
如果确定该帧图像为第三目标帧图像，确定所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，确定该帧图像中的前景像素点和背景高亮像素点。
进一步地，所述针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域包括：
针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和；
将赋值和大于设定阈值的疑似火焰像素点确定为火焰闪烁像素点；
根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
进一步地，所述确定火焰闪烁像素点后，确定每个火焰闪烁区域之前，所述方法还包括：
根据所述背景高亮像素点，通过预设的算法，确定背景高亮边缘区域；
将背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点；
根据目标火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
进一步地，所述确定当前采用白天模式还是晚上模式包括：
根据预先设定的晚上模式到白天模式的第一检测时间段，针对该第一检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，当所述第二数量大于预设的第二数量阈值时，确定当前由晚上模式转为白天模式；
根据预先设定的白天模式到晚上模式的第二检测时间段，针对该第二检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，当所述第三数量大于预设的第三数量阈值时，确定当前由白天模式转为晚上模式。
进一步地，所述确定当前采用白天模式还是晚上模式之前，所述方法还包括：
获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，进行后续步骤。
进一步地，所述针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域之前，所述方法还包括：
判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；
如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，进行后续步骤。
进一步地，所述确定疑似火焰像素点后，针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域之前，所述方法还包括：
根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；
针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，进行后续步骤。
进一步地，如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，所述方法还包括：
将所述疑似火焰区域或疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；
如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
进一步地，所述确定该帧图像中的每个疑似烟雾区域或确定疑似烟雾区域是否为候选烟雾区域之前，所述方法还包括：
获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
另一方面，本发明实施例提供了一种烟火检测装置，该装置包括：
第一确定模块，用于确定当前采用白天模式还是晚上模式；
第二确定模块，用于如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；
第三确定模块，用于如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。
进一步地，所述装置还包括：
第四确定模块，用于针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定所述图像中的分割线；判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
进一步地，所述装置还包括：
获取更新模块，用于对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；获取该帧图像中每个膨胀像素点及候选烟雾像素点的亮度信号Y，色差信号U，色差信号V分量；针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
进一步地，所述装置还包括：
获取判断模块，用于获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，触发第一确定模块。
进一步地，所述装置还包括：
第一判断模块，用于判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，触发第二确定模块。
进一步地，所述装置还包括：
第二判断模块，用于根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，触发第三确定模块。
进一步地，所述装置还包括：
组合调整模块，用于如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，将所述疑似火焰区域或疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
进一步地，所述装置还包括：
获取确定模块，用于获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
本发明实施例提供一种烟火检测方法及装置，所述方法包括：确定当前采用白天模式还是晚上模式；如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。由于在本发明实施例中，如果采用白天模式，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域，从而可以避免因为环境、光照等因素带来的影响，提高了烟火检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种烟火检测过程示意图；
图2为本发明实施例提供的一种烟火检测装置结构示意图。
具体实施方式
为了提高烟火检测的准确性，本发明实施例提供了一种烟火检测方法及装置。
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种烟火检测过程示意图，该过程包括以下步骤：
S101：确定当前采用白天模式还是晚上模式，如果确定当前采用白天模式，进行S102，如果确定当前采用晚上模式，进行S103。
本发明实施例提供的一种烟火检测方法应用于图像采集设备的处理器。
对于白天和晚上，烟火在图像采集设备获取的图像中有明显的差别，当白天出现烟火时，烟雾比火焰扩散速度快，而且火焰在出现初期时，容易被遮挡物遮挡，并且会受到光照的影响，使得在白天不能及时检测到火焰；当晚上出现烟火时，由于晚上亮度低，烟雾在图像采集设备获取的图像中成像很不明显，使得在晚上检测烟雾准确率较低，但是晚上火焰在图像采集设备获取的图像中成像很明显。
基于上述烟雾和火焰的特征，在进行烟火检测时，如果当前为白天，则确定当前采用白天模式，进行烟雾检测，如果当前为晚上，则确定当前采用晚上模式，进行火焰检测。具体的，在确定当前采用白天模式还是晚上模式时，可以预先在图像采集设备中设定白天时间段和晚上时间段，在具体检测时，可以根据当前时间是位于白天时间段内还是晚上时间段内，确定当前采用白天模式还是晚上模式。其中，用户可以针对每天预设有白天时间段和晚上时间段，例如，针对于2016年6月10日，预设的白天时间段为7点到20点，预设的晚上时间段为20点到次日7点，如果当前时间为8点，当前时间处于预设的白天时间段内，则确定当前为白天，采用白天模式；如果当前时间为23点，当前时间处于预设的晚上时间段内，则确定当前为晚上，采用晚上模式。
另外，还可以针对每年的月份预设有白天时间段和晚上时间段，例如，针对于2016年6月1日到2016年8月31日，预设的白天时间段为7点到20点，预设的晚上时间段为20点到次日7点，当前时间处于预设的白天时间段内时，则确定当前为白天，采用白天模式；当前时间处于预设的晚上时间段内时，则确定当前为晚上，采用晚上模式。
在确定当前为白天还是晚上时，还可以根据当前的天气情况和当前采集的图像中像素点的亮度值，确定当前为白天还是晚上，如果当前为白天，则确定当前采用白天模式进行烟火检测；如果当前为晚上，则确定当前采用晚上模式进行烟火检测。其中，根据当前的天气情况和当前采集的图像中像素点的亮度值，确定当前为白天还是晚上的过程属于现有技术，在此不对此过程进行赘述。
S102：如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据候选烟雾像素点的数量，确定所述多帧连续图像中的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域。
所述图像采集设备的处理器中预先设置有每个场景信息和每个场景停留的时间信息，所述场景信息中包括云台的水平转角、垂直转角、图像采集设备的镜头焦距等信息。在每个场景停留的时间内，可以采集多帧连续图像，针对采集到的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点。具体的，针对该帧图像中的像素点，可以识别该像素点的R、G、B信息，所述图像采集设备的处理器中预先可以保存有烟雾像素点的R、G、B信息的范围，判断每个像素点的R、G、B信息是否处于烟雾像素点的R、G、B信息的范围内，如果是，则将该像素点确定为候选烟雾像素点。
在确定候选烟雾像素点之后，根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域。具体的，可以根据经验或按照设定的规则，将候选烟雾像素点划分到多个区域，预先设定有烟雾像素点的数量范围，判断每个区域内的候选烟雾像素点的数量是否位于预设的数量范围内，如果是，将该区域确定为疑似烟雾区域。确定该帧图像的每个疑似烟雾区域之后，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域。
S103：如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。
针对采集到的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点。具体的，针对该帧图像中的每个像素点，可以识别该像素点的灰度值，所述图像采集设备的处理器中预先可以保存有火焰像素点的灰度值的范围，判断每个像素点的灰度值是否处于火焰像素点的灰度值的范围内，如果是，则将该像素点确定为疑似火焰像素点。
针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域。具体的，可以根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值差的绝对值是否大于预设的灰度阈值，如果是，则说明该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中闪烁，将该疑似火焰像素点赋予一个值，如果否，将该疑似火焰像素点赋予另一个值，针对每个疑似火焰像素点，将赋予的值累加，判断累加后的值是否大于预设的数值，如果是，则将该像素点确认为火焰闪烁像素点，根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。确定该帧图像的每个火焰闪烁区域之后，根据每个火焰闪烁区域内像素点的属性信息。
由于在本发明实施例中，如果采用白天模式，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域，从而可以避免因为环境、光照等因素带来的影响，提高了烟火检测的准确性。
另外，通常本发明实施例提供的烟火检测方法，用于对森林烟火进行检测，森林监控场景下存在明显的天际线，天际线上方为天空，下方为山林。对于白天，天空中的云彩与烟雾较为相似，在白天烟雾检测的过程中，容易将云彩误识别为烟雾；对于晚上，天空中的飞机闪烁灯光与火焰较为相似，在晚上火焰检测的过程中，容易将飞机闪烁灯光误识别为火焰。
为了避免天空中的云彩以及飞机闪烁灯光对烟火检测的影响，所述采集多帧连续图像中的每一帧图像之后，所述方法还包括：
针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定该帧图像中的分割线；
判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
具体的，针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，对该帧图像进行天际线分割，得到分割线，判断所述分割线是否满足预设的天际线分割特点，其中，预设的天际线分割特点为分割线上方为明显的天空，如果满足，确定该分割线为天际线，则针对于多帧连续图像在进行烟火检测时，将分割线上方确定为禁止检测区域，将每帧图像中所述分割线下方区域作为烟火检测区域，从而避免天空中的云彩以及飞机闪烁灯光对烟火检测的影响；当然，如果分割线不满足预设的天际线分割特点，确定该天际线分割错误，说明此时由于光照或环境的影响，无法确定明显的天际线，则将每帧图像的全部作为烟火检测区域。
在本发明实施例中，采用预设分割算法，对该图像进行天际线分割的过程属于现有技术，在此不对此过程进行赘述，其中，所述预设分割算法可以是现有技术中的chan-vese分割算法。
实施例2：
为了使确定目标烟雾区域更加准确，在上述实施例的基础上，在本发明实施例中，所述根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域包括：
针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域，根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域；
根据所述候选烟雾区域内每个像素点的动态纹理特征，及预设的烟雾动态纹理特征模型，确定目标烟雾区域。
具体的，在将该疑似烟雾区域划分为多个子区域，可以预先设定划分后的子区域的数量，根据所述数量将该疑似烟雾区域划分为多个子区域，在进行划分时，可以随机划分，也可以平均划分。通过小波能量分解，可以确定每个子区域内各像素点的能量，图像采集设备的处理器中预先设定有烟雾对应的能量阈值范围，针对该帧图像之前的所述多帧连续图像中的每一帧图像，判断满足烟雾对应的能量阈值范围的子区域的数量是否在逐渐增多，如果是，则说明该疑似烟雾区域满足预设的烟雾特征变化趋势，则确定该疑似烟雾区域为候选烟雾区域。其中，通过小波能量分解确定每个子区域内各像素点的能量的过程属于现有技术，在本发明实施例中，不对此过程进行赘述。
针对该帧图像中的每个候选烟雾区域，将该候选烟雾区域划分为多个子区域，该划分方式与上述将该疑似烟雾区域划分为多个子区域的方式可以相同也可以不同，较佳的，为了提高烟雾检测的准确率，可以采用相同的方式将该候选烟雾区域划分为多个子区域。
在确定候选烟雾区域后，针对该候选烟雾区域中的每个像素点，根据该帧图像之前的多帧连续图像中的该像素点的纹理特征，可以确定该帧图像中该像素点的动态纹理特征。其中，可以根据该帧图像之前的多帧连续图像中的每一帧图像中的该像素点的纹理特征，确定该帧图像中该像素点的动态纹理特征，较佳的，为了提高烟雾检测的效率，可以根据与该帧图像相邻的位于该帧图像之前的设定帧数的图像中该像素点的纹理特征确定该帧图像中该像素点的动态纹理特征，例如预设的帧数为5帧，若当前帧为第8帧图像，则根据第4帧到第8帧图像中的每一帧图像中该像素点的纹理特征，确定第8帧图像中该像素点的动态纹理特征；若当前帧为第9帧图像，则根据第5帧到第9帧图像中的每一帧图像中该像素点的纹理特征，确定第9帧图像中该像素点的动态纹理特征等等。
针对每个子区域，根据该子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征。预先通过训练支持向量机(support vectormachine，SVM)分类器，确定了烟雾的动态纹理特征模型，将该子区域的动态纹理特征输入确定的烟雾的动态纹理特征模型，判断该子区域的动态纹理特征与预设的烟雾的动态纹理特征是否一致，如果是，确定该子区域为目标烟雾子区域，否则，确定该子区域不是目标烟雾子区域。针对每个候选烟雾区域，将确定的该候选烟雾区域内的所有目标烟雾子区域的最小外包区域确定为目标烟雾区域。
其中，确定像素点的动态纹理特征的过程，以及根据子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征的过程属于现有技术，在本发明实施例中，不对此过程进行赘述。
由于在本发明实施例中，根据像素点的能量和动态纹理特征，确定目标烟雾区域，使得确定目标烟雾区域更加准确。
实施例3：
在上述实施例的基础上，为了使确定候选烟雾像素点更加准确，在本发明实施例中，所述根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点包括：
根据第一参考图像和预设的第一间隔及预设的第二间隔，确定该帧图像是否为第一目标帧图像和/或第二目标帧图像，其中，所述第二间隔大于第一间隔；
如果确定该帧图像为第一目标帧图像，根据当前保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存；如果确定该帧图像为第二目标帧图像，根据当前保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存；
确定保存的进行第一更新的第一参考图像与进行第二更新的第一参考图像的灰度值的第一差值的绝对值，将所述第一差值的绝对值大于预设的第一灰度阈值对应的像素点确定为疑似烟雾像素点；根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定当前的每个候选烟雾像素点，并对保存的候选烟雾像素点进行更新。
所述图像采集设备在同一场景预设的停留时间内，采集多帧连续图像，根据时间在前的图像，确定第一参考图像，具体的，可以将采集的第1帧图像作为第一参考图像，也可以根据采集的前n帧图像，其中，n为正整数，确定前n帧图像中的每个像素点的灰度值的平均值，得到第一参考图像。
根据所述第一参考图像和预设的第一间隔及预设的第二间隔，确定该帧图像是否为第一目标帧图像和/或第二目标帧图像，其中，所述第二间隔大于第一间隔。例如，所述第一间隔可以为1帧、2帧等较小的帧数间隔，所述第二间隔可以为5帧、6帧等大于第一间隔的帧数间隔。以第一参考图像为根据前3帧图像确定的，第一间隔为2帧，第二间隔为5帧为例，则第一目标帧图像为采集的多帧连续图像中的第5帧、第7帧等图像，第二目标帧图像为采集的多帧连续图像中的第8帧、第13帧等图像。
如果确定该帧图像为第一目标帧图像和/或第二目标帧图像，则根据保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存，和/或，根据保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存。根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。如果该帧图像不是第一目标帧图像，也不是第二目标帧图像，直接根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。
针对所述多帧连续图像中的每一帧图像，如果确定该帧图像为第一目标帧图像，根据当前保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存，其中，在对进行第一更新的第一参考图像的灰度值进行更新时，针对每个像素点，可以比较该像素点在第一参考图像中的灰度值和在所述第一目标帧图像中的灰度值的大小，不同的比较结果对应不同的更新方式。
较佳地，在本发明实施例中，对进行第一更新的第一参考图像的灰度值进行更新，可以根据如下公式确定：
Bg(p，n+1)＝α1*Bg(p，n)+(1-α1)*Img1(p，n)
式中，Bg(p，n)为当前保存的进行第一更新的第一参考图像中像素点p的灰度值，Img1(p，n)为第一目标帧图像中的像素点p的灰度值，α1为第一更新速率，Bg(p，n+1)为经过第一更新后的第一参考图像中的像素点p的灰度值。
具体的，预先设定有第一更新速率α1，根据所述第一参考图像和所述第一目标帧图像中对应的像素点的灰度值，及所述第一更新速率α1，按照上述公式对所述进行第一更新的第一参考图像中像素点的灰度值进行更新，将该经过第一更新后的所述第一参考图像保存。例如，第一参考图像为根据前3帧图像确定的，第一间隔为2帧，则采集的多帧连续图像中的第5帧图像为第一目标帧图像，所述根据前3帧图像确定的第一参考图像为保存的进行第一更新的第一参考图像。根据保存的进行第一更新的第一参考图像和第5帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存；采集的多帧连续图像中的第7帧图像为第一目标帧图像，根据保存的进行第一更新的第一参考图像和第7帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存。并针对采集到的每一第一目标帧图像，根据所述第一目标帧图像和当前保存的进行第一更新的第一参考图像，对所述进行第一更新的第一参考图像的灰度值进行更新并保存。
针对所述多帧连续图像中的每一帧图像，如果确定该帧图像为第二目标帧图像，根据当前保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存，其中，在对进行第二更新的第一参考图像的灰度值进行更新时，针对每个像素点，可以比较该像素点在第一参考图像中的灰度值和在所述第二目标帧图像中的灰度值的大小，不同的比较结果对应不同的更新方式。
较佳地，在本发明实施例中，对进行第二更新的第一参考图像的灰度值进行更新，可以根据如下公式确定：
Bg(p，n+1)＝α2*Bg(p，n)+(1-α2)*Img2(p，n)
式中，Bg(p，n)为当前保存的进行第二更新的第一参考图像中像素点p的灰度值，Img2(p，n)为第二目标帧图像中的像素点p的灰度值，α2为第二更新速率，Bg(p，n+1)为经过第二更新后的第一参考图像中的像素点p的灰度值。
具体的，预先设定有第二更新速率α2，根据所述第一参考图像和所述第二目标帧图像中对应的像素点的灰度值，及所述第二更新速率α2，按照上述公式对所述进行第二更新的第一参考图像中像素点的灰度值进行更新，将该经过第二更新后的所述第一参考图像保存。例如，第一参考图像为根据前3帧图像确定的，第二间隔为5帧，则采集的多帧连续图像中的第8帧图像为第二目标帧图像，所述根据前3帧图像确定的第一参考图像为保存的进行第二更新的第一参考图像。根据保存的进行第二更新的第一参考图像和第8帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存；采集的多帧连续图像中的第13帧图像为第二目标帧图像，根据保存的进行第一更新的第一参考图像和第13帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存。并针对采集到的每一第二目标帧图像，根据所述第二目标帧图像和当前保存的进行第二更新的第一参考图像，对所述进行第二更新的第一参考图像的灰度值进行更新并保存。
针对多帧连续图像中的每一帧图像，根据当前保存的进行第二更新的第一参考图像和进行第一更新的第一参考图像的灰度值，确定保存的进行第一更新的第一参考图像与进行第二更新的第一参考图像的灰度值的第一差值的绝对值，图像采集设备的处理器中预设有第一灰度阈值，判断所述灰度值的第一差值的绝对值是否大于预设的第一灰度阈值，如果是，则将该像素点确定为疑似烟雾像素点，如果否，则确定该像素点不是疑似烟雾像素点。
为了方便后续检测，可以生成疑似烟雾像素点图像，在该疑似烟雾像素点图像中，如果确定某一像素点为疑似烟雾像素点，可以将该疑似烟雾像素点的灰度值确定为255，否则，将该像素点的灰度值确定为0。具体的在疑似像素点图像中确定每个像素点的灰度值，可以参见以下公式：
式中，Bgfast(p，n)为保存的进行第一更新的第一参考图像中像素点p的灰度值，Bgslow(p，n)为保存的进行第二更新的第一参考图像中像素点p的灰度值，Fg(p，n)为疑似烟雾像素点图像中的像素点p的灰度值。
在确定出疑似烟雾像素点之后，可以直接将疑似烟雾像素点作为候选烟雾像素点，并进行后续烟雾检测的过程。为了使对候选烟雾像素点的确定更加准确，可以根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定当前的每个候选烟雾像素点并保存，并对保存的候选烟雾像素点进行更新。
具体的，如果根据保存的进行第二更新的第一参考图像和进行第一更新的第一参考图像的灰度值，第一次确定出疑似烟雾像素点，则直接将疑似烟雾像素点作为候选烟雾像素点，然后保存该候选烟雾像素点的标识信息，当针对采集的多帧连续图像中的每一帧图像，第二次确定出疑似烟雾像素点后，将所述针对第一次确定出的候选烟雾像素点保存的该候选烟雾像素点作为该场景下上一帧图像的疑似烟雾像素点，从而确定当前的每个候选烟雾像素点并保存，并对保存的候选烟雾像素点进行更新。
另外，根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的灰度值确定出疑似烟雾像素点后，针对采集的多帧连续图像中的每一帧第一目标帧图像和第二目标帧图像对第一参考图像进行更新时，因为已知疑似烟雾像素点，因此在进行更新时，可以不对第一参考图像中的疑似烟雾像素点的灰度值进行更新，只对其他像素点的灰度值进行更新，对灰度值进行更新的方法，可以采用上述实施例中公开的方法。
在本发明实施例中，如果确定该帧图像为第一目标帧图像和/或第二目标帧图像，则根据保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存，和/或，根据保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存。根据保存的进行第一更新的第一参考图像和进行第二更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。如果该帧图像不是第一目标帧图像，也不是第二目标帧图像，直接根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定当前的每个候选烟雾像素点并保存，并对保存的候选烟雾像素点进行更新。其中，针对第一次确定出的疑似烟雾像素点，则将该疑似烟雾像素点作为该时刻的候选烟雾像素点并保存。在确定之后每一帧图像中的候选烟雾像素点时，可以将该帧图像与上一帧图像的疑似烟雾像素点取并集得到的疑似烟雾像素点作为候选烟雾像素点，例如，上一帧图像确定的疑似烟雾像素点为像素点1、像素点2和像素点3，当前帧图像确定的疑似烟雾像素点为像素点1、像素点2和像素点4，则，针对于当前帧图像，确定的候选烟雾像素点为上一帧图像和当前帧图像确定的疑似烟雾像素点的并集，即当前帧图像的候选烟雾像素点为像素点1、像素点2、像素点3和像素点4。
另外，为了使确定的候选烟雾像素点更加准确，针对每一帧图像确定的疑似烟雾像素点，可以对疑似烟雾像素点赋予一定的数值，当前帧图像的疑似烟雾像素点的赋值根据上一帧图像的疑似烟雾像素点的赋值进行更新，根据疑似烟雾像素点更新后的赋值确定当前帧图像的候选烟雾像素点，其中，对疑似烟雾像素点赋予的数值可以为1、2、3等数值，如果上一帧图像中的疑似烟雾像素点在当前帧图像中仍是疑似烟雾像素点，则增加相应的数值，否则则减去相应的数值。
以赋予的数值为1为例进行说明。例如当前帧图像为第n+1帧图像，针对于第n帧图像确定的疑似烟雾像素点为像素点1、像素点2和像素点3，则对像素点1、像素点2和像素点3分别赋值为1，第n+1帧图像确定的疑似烟雾像素点为像素点1、像素点2和像素点4，像素点1和像素点2仍是疑似烟雾像素点，则将像素点1和像素点2的值分别加1，即为2；像素点3在第n+1帧图像中不是疑似烟雾像素点，则在第n+1帧图像中，像素点3的值为0；像素点4在第n帧图像中不是疑似烟雾像素点，在第n+1帧图像中为疑似烟雾像素点，则在第n+1帧图像中，像素点4的值为1；当前帧图像为第n+2帧图像，第n+2帧图像确定的疑似烟雾像素点为像素点1、像素点2、像素点4和像素点5，则针对于第n+2帧图像，像素点1、像素点2的值为3，像素点3的值为-1，像素点4的值为2，像素点5的值为1。另外，当疑似烟雾像素点的值达到设定值时，该疑似烟雾像素点在下一帧图像中仍是疑似烟雾像素点，该疑似烟雾像素点的值不再累加，当在下一帧图像中不是疑似烟雾像素点时，值减1。针对于每一帧图像，值不大于0的疑似烟雾像素点可能为烟火熄灭过程中的像素点，或者伪候选烟雾像素点，因此，将值大于0的疑似烟雾像素点作为候选烟雾像素点。
由于在本发明实施例中，如果确定该帧图像为第一目标帧图像或第二目标帧图像，则根据保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存，或，根据保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存。根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。否则，直接根据保存的进行第二更新的第一参考图像与进行第一更新的第一参考图像的像素点的灰度值，确定该帧图像中每个像素点是否为疑似烟雾像素点。另外还可以根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定该帧图像的每个候选烟雾像素点并保存，并对保存的候选烟雾像素点进行更新，使得确定的候选烟雾像素点更加准确。
实施例4：
在上述实施例的基础上，为了进一步使确定候选烟雾像素点更加准确，在本发明实施例中，所述确定该帧图像中每个像素点是否为候选烟雾像素点之后，所述确定该帧图像中的每个疑似烟雾区域之前，所述方法还包括：
对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；
获取该帧图像中每个膨胀像素点及候选烟雾像素点的亮度Y，色差U，色差V分量；
针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
具体的，确定候选烟雾像素点之后，针对每个所述候选烟雾像素点进行形态学处理，在此具体指的在该帧图像中，对每个所述候选烟雾像素点进行膨胀处理，得到多个膨胀像素点。对像素点进行膨胀处理的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
在YUV颜色空间下，分别获取该帧图像中每个膨胀像素点及候选烟雾像素点的Y，U，V分量，图像采集设备的处理器中预先针对Y、U、V三个分量设定有阈值范围，针对每个膨胀像素点及候选烟雾像素点，判断该像素点的Y，U，V分量是否都在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
例如，图像采集设备的处理器中预先针对Y、U、V三个分量设定有阈值范围分别为：Y≥110，113＜U＜143，113＜V＜143，在YUV颜色空间下，针对某一个膨胀像素点或候选烟雾像素点，确定该像素点Y＝120，U＝130，V＝135，经判断，该像素点的Y，U，V分量都在对应的预设的阈值范围内，因此将该像素点更新为候选烟雾像素点；例如针对另一个膨胀像素点或候选烟雾像素点，确定该像素点Y＝100，U＝120，V＝123，经判断，该像素点的Y，U，V分量不都在对应的预设的阈值范围内，因此确定该像素点不是候选烟雾像素点。
由于在本发明实施例中，针对确定的候选烟雾像素点进行膨胀处理得到多个膨胀像素点，在YUV颜色空间下，获取该帧图像中每个膨胀像素点及候选烟雾像素点的Y，U，V分量，针对每个膨胀像素点及候选烟雾像素点，判断该像素点的Y，U，V分量是否都在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点，否则，确定该像素点不是候选烟雾像素点。因此，进一步使确定候选烟雾像素点更加准确。
实施例5：
在上述实施例的基础上，确定出候选烟雾像素点之后，为了确定疑似烟雾区域，在本发明实施例中，所述根据该帧图像中候选烟雾像素点的数量，确定所述该帧图像中的每个疑似烟雾区域包括：
针对该帧图像中的每个候选烟雾像素点及预设的邻域范围，确定每个候选烟雾像素点对应的邻域；
根据连通域标记算法，得到多个区域；
针对每个区域，判断该区域中的候选烟雾像素点的第一数量是否大于预设的第一数量阈值，如果是，将该区域确定为该帧图像中的疑似烟雾区域。
具体的，针对每个候选烟雾像素点及预设的邻域范围，可以确定该候选烟雾像素点对应的邻域，其中，所述预设的邻域范围可以为包含该候选烟雾像素点在内的长宽分别包括5个像素点或6个像素点等等的邻域范围。根据连通域标记算法，得到多个区域，其中，连通域标记算法中，每个候选烟雾像素点对应一个邻域，将存在重叠的邻域内的候选烟雾像素点依次相连，相连之后的候选烟雾像素点所在的邻域构成所述候选烟雾像素点所在的区域，因此，根据连通域标记算法，可以得到多个区域。其中，根据连通域标记算法，得到多个区域的过程属于现有技术，在本发明实施例中不对此过程进行赘述。
针对得到的每个区域，预先设定有第一数量阈值，确定该区域中的候选烟雾像素点的第一数量，判断该区域中的候选烟雾像素点的第一数量是否大于所述第一数量阈值，如果是，将该区域确定为该帧图像中的疑似烟雾区域，如果否，则认为该区域中的候选烟雾像素点为伪候选烟雾像素点，将该区域滤除。
由于在本发明实施例中，确定出候选烟雾像素点之后，通过连通域标记算法，得到多个区域，根据每个区域中候选烟雾像素点的数量是否大于第一数量阈值，可以确定出疑似烟雾区域。
实施例6：
在上述实施例的基础上，针对每个疑似烟雾区域，为了确定该疑似烟雾区域是否为候选烟雾区域，在本发明实施例中，所述根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域包括：
针对每个子区域，根据该子区域中对应的每个像素点在该帧图像之前的所述多帧连续图像中的能量，该子区域中对应的像素点在该帧图像之前的所述多帧连续图像中的能量均值，及预设的对应能量阈值范围，确定每个子区域是否满足条件；
如果该帧图像中满足条件的子区域的数量满足预设的烟雾特征变化趋势，则确定疑似烟雾区域为候选烟雾区域。
具体的，在本发明实施例中，在将每个疑似烟雾区域划分多个子区域时，可以预先设定每个子区域的大小，例如，预先设定的子区域的大小为8×8，即长宽分别为8个像素点构成的区域为子区域的大小，按照该子区域的大小将每个疑似烟雾区域划分为多个子区域，划分后的子区域可能是矩形区域，也可以不是矩形区域。
将每帧图像进行小波能量分解，针对每帧图像中的每个子区域，确定该子区域中每个像素点的能量，确定每个像素点的能量的计算公式如下：
E(i，j)＝HL(i，j)2+LH(i，j)2+HH(i，j)2
式中，小波能量分解可以将一幅图像分成LL，LH，HL以及HH四个部分，其中LL为水平低频，垂直低频；LH为水平低频，垂直高频；HL为水平高频，垂直低频；HH为水平高频，垂直高频。每个像素点的能量E(i，j)则是将三个含高频部分取平方和得到。其中，对图像进行小波能量分解，以及确定每个像素点的能量的过程属于现有技术，在此不对此过程进行赘述。
确定出每个像素点的能量后，针对该帧图像之前的多帧连续图像中的每帧图像，可以确定出该帧图像中的每个子区域的平均能量，进而可以确定出该帧图像中的每个子区域的平均能量和方差，计算公式如下：
式中，Nb为每个子区域包含的像素点的数量，n为采集到该帧图像时的帧数，Eblock为当前帧图像中每个子区域的平均能量，和Varblock分别为t0到tn时间内每帧图像中每个子区域的平均能量和平均能量方差。
根据上述公式，可以确定该帧图像中每个子区域的平均能量、该帧图像之前的所述多帧连续图像中每个子区域的平均能量和平均能量方差，图像采集设备的处理器中预先设定有对应的能量阈值范围，当所述确定的该帧图像中每个子区域的平均能量、该帧图像之前的所述多帧连续图像的每个子区域的平均能量和平均能量方差分别满足对应的能量阈值范围时，确定该子区域为候选烟雾子区域。
因为烟雾随着时间是逐渐扩散的，因此预设的烟雾特征变化趋势为针对采集的多帧连续图像，满足上述能量阈值范围的子区域，即候选烟雾子区域的数量逐渐增多。因此，针对每帧确定出候选烟雾子区域后，判断该帧图像之前的多帧连续图像中的每一帧图像，候选烟雾子区域的数量是否逐渐增多，如果是，则将该疑似烟雾区域确定为候选烟雾区域。
由于在本发明实施例中，根据确定的该帧图像中每个子区域的平均能量、该帧图像之前的所述多帧连续图像中每个子区域的平均能量和平均能量方差分别满足对应的能量阈值范围时，确定该子区域为候选烟雾子区域，判断该帧图像之前的多帧连续图像中的每一帧图像，候选烟雾子区域的数量逐渐增多时，将该疑似烟雾区域确定为候选烟雾区域。
针对该帧图像中的每个候选烟雾区域，将该候选烟雾区域划分为多个子区域，该划分方式与上述将该疑似烟雾区域划分为多个子区域的方式可以相同也可以不同，较佳的，为了提高烟雾检测的准确率，可以采用相同的方式将该候选烟雾区域划分为多个子区域。
在确定候选烟雾区域后，针对该候选烟雾区域中的每个像素点，根据该帧图像之前的多帧连续图像中的该像素点的纹理特征，可以确定该帧图像中该像素点的动态纹理特征。其中，可以根据该帧图像之前的多帧连续图像中的每一帧图像中的该像素点的纹理特征，确定该帧图像中该像素点的动态纹理特征，较佳的，为了提高烟雾检测的效率，可以根据与该帧图像相邻的位于该帧图像之前的设定帧数的图像中该像素点的纹理特征确定该帧图像中该像素点的动态纹理特征，例如预设的帧数为5帧，若当前帧为第8帧图像，则根据第4帧到第8帧图像中的每一帧图像中该像素点的纹理特征，确定第8帧图像中该像素点的动态纹理特征；若当前帧为第9帧图像，则根据第5帧到第9帧图像中的每一帧图像中该像素点的纹理特征，确定第9帧图像中该像素点的动态纹理特征等等。
针对每个子区域，根据该子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征。预先通过训练支持向量机SVM分类器，确定了烟雾的动态纹理特征模型，将该子区域的动态纹理特征输入确定的烟雾的动态纹理特征模型，判断该子区域的动态纹理特征与预设的烟雾的动态纹理特征是否一致，如果是，确定该子区域为目标烟雾子区域，否则，确定该子区域不是目标烟雾子区域。针对每个候选烟雾区域，将确定的该候选烟雾区域内的所有目标烟雾子区域的最小外包区域确定为目标烟雾区域。
其中，确定像素点的动态纹理特征的过程，以及根据子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征的过程属于现有技术，在本发明实施例中，不对此过程进行赘述。
实施例7：
为了使确定疑似火焰像素点以及确定目标火焰区域更加准确，在上述各实施例的基础上，在本发明实施例中，所述根据该帧图像中像素点的灰度值，确定疑似火焰像素点包括：
根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点，根据该帧图像中的背景高亮像素点和前景像素点，确定疑似火焰像素点；
所述根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域包括：
针对每个火焰闪烁区域，根据所述火焰闪烁区域内每个像素点的动态纹理特征，及预设的火焰动态纹理特征模型，确定目标火焰区域。
针对同一场景下采集多帧连续图像中的每一帧图像，可以识别该帧图像中的像素点的灰度值，根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点。具体的，可以预先分别设定前景像素点和背景高亮像素点对应的灰度值的范围，判断每帧图像中像素点的灰度值是否在前景像素点和背景高亮像素点对应的灰度值的范围内，如果在前景像素点对应的灰度值的范围内，则确定该像素点为前景像素点；如果在背景高亮像素点对应的灰度值的范围内，则确定该像素点为背景高亮像素点。将所述前景像素点和背景高亮像素点进行与操作，得到疑似火焰像素点。
针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域，在确定每个火焰闪烁区域之后，针对该帧图像中的每个火焰闪烁区域，将该火焰闪烁区域划分为多个子区域，该划分方式与上述将候选烟雾区域划分为多个子区域的方式相同。
在确定火焰闪烁区域后，针对该火焰闪烁区域中的每个像素点，根据该帧图像之前的多帧连续图像中的该像素点的纹理特征，可以确定该帧图像中该像素点的动态纹理特征。其中，可以根据该帧图像之前的多帧连续图像中的每一帧图像中的该像素点的纹理特征，确定该帧图像中该像素点的动态纹理特征，较佳的，为了提高火焰检测的效率，可以根据与该帧图像相邻的位于该帧图像之前的设定帧数的图像中该像素点的纹理特征确定该帧图像中该像素点的动态纹理特征，例如预设的帧数为5帧，若当前帧为第8帧图像，则根据第4帧到第8帧图像中的每一帧图像中该像素点的纹理特征，确定第8帧图像中该像素点的动态纹理特征；若当前帧为第9帧图像，则根据第5帧到第9帧图像中的每一帧图像中该像素点的纹理特征，确定第9帧图像中该像素点的动态纹理特征等等。
针对每个子区域，根据该子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征。预先通过训练SVM分类器，确定了火焰的动态纹理特征模型，将该子区域的动态纹理特征输入确定的火焰的动态纹理特征模型，判断该子区域的动态纹理特征与预设的火焰的动态纹理特征是否一致，如果是，确定该子区域为目标火焰子区域，否则，确定该子区域不是目标火焰子区域。针对每个火焰闪烁区域，将确定的该火焰闪烁区域内的所有目标火焰子区域的最小外包区域确定为目标火焰区域。
其中，确定像素点的动态纹理特征的过程，以及根据子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征的过程属于现有技术，在本发明实施例中，不对此过程进行赘述。
由于在本发明实施例中，根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点，将所述前景像素点和背景高亮像素点进行与操作，得到疑似火焰像素点，使得确定疑似火焰像素点更加准确。根据像素点的动态纹理特征，确定目标火焰区域，使得确定目标火焰区域更加准确。
实施例8：
在上述实施例的基础上，如果确定当前为晚上时，为了使确定该帧图像中的前景像素点和背景高亮像素点更加准确，在本发明实施例中，所述根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点包括：
根据第二参考图像和预设的第三间隔，确定该帧图像是否为第三目标帧图像；
如果确定该帧图像为第三目标帧图像，根据所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，确定该帧图像中的前景像素点和背景高亮像素点。
具体的，如果确定该帧图像为第三目标帧图像，确定所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，将所述第二差值的绝对值大于第二灰度阈值的像素点确定为前景像素点；如果像素点的所述第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像中该像素点的灰度值进行更新并保存；将更新后的灰度值大于第三灰度阈值的像素点确定为背景高亮像素点。
如果确定该帧图像不是第三目标帧图像，确定该帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，将所述第二差值的绝对值大于第二灰度阈值的像素点确定为前景像素点；如果像素点的所述第二差值的绝对值不大于第二灰度阈值，将该帧图像中的像素点的灰度值大于第三灰度阈值的像素点确定为背景高亮像素点。
所述图像采集设备在同一场景预设的停留时间内，采集多帧连续图像，根据时间在前的图像，确定第二参考图像，具体的，可以将采集的第1帧图像作为第二参考图像，也可以根据采集的前n帧图像，其中，n为正整数，确定前n帧图像中的每个像素点的灰度值的平均值，得到第二参考图像。
根据所述第二参考图像和预设的第三间隔，确定该帧图像是否为第三目标帧图像。如果确定该帧图像为第三目标帧图像，确定所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，图像采集设备的处理器预先设定有第二灰度阈值，判断所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值是否大于第二灰度阈值，如果是，将该像素点确定为前景像素点；如果像素点的所述第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像中该像素点的灰度值进行更新并保存。另外，如果第三间隔为大于1帧的间隔，则会出现非第三目标帧图像，针对非第三目标帧图像，判断所述非第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值是否大于第二灰度阈值，如果是，将该像素点确定为前景像素点；如果像素点的所述第二差值的绝对值不大于第二灰度阈值，不对所述进行更新的第二参考图像中该像素点的灰度值进行更新。
具体的，所述第三间隔可以为1帧、2帧等较小的帧数间隔，为了使对火焰检测更加准确，所述第三间隔可以设定为1帧。以第二参考图像为根据前3帧图像确定的，第三间隔为1帧为例，则第三目标帧图像为采集的多帧连续图像中的第4帧、第5帧、第6帧等图像。
例如，第二参考图像为根据前3帧图像确定的，第三间隔为1帧，则采集的多帧连续图像中的第4帧图像为第三目标帧图像，所述根据前3帧图像确定的第二参考图像为保存的进行更新的第二参考图像。确定所述第4帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，将所述第二差值的绝对值大于第二灰度阈值的像素点确定为前景像素点；采集的多帧连续图像中的第5帧图像为第三目标帧图像，确定所述第5帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，将所述第二差值的绝对值大于第二灰度阈值的像素点确定为前景像素点，并依次针对采集的多帧连续图像中的第三目标帧图像，确定前景像素点。
如果第4帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像中该像素点的灰度值进行更新并保存；采集的多帧连续图像中的第5帧图像为第三目标帧图像，如果第5帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像中该像素点的灰度值进行更新并保存，并依次根据第三目标帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值，对所述进行更新的第二参考图像的灰度值进行更新并保存。
为了方便后续检测，可以生产前景像素点图像，在该前景像素点图像中，如果确定某一像素点为前景像素点，可以将该前景像素点的灰度值确定为255，否则，将该像素点的灰度值确定为0，具体的在前景像素点图像中确定每个像素点的灰度值，可以参见以下公式：
式中，Bg(p，n)为保存的进行更新的第二参考图像中像素点p的灰度值，，Img3(p，n)为第三目标帧图像中的像素点p的灰度值，Fg(p，n)为前景像素点图像中的像素点p的灰度值。
如果像素点的所述第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像的灰度值进行更新并保存。具体的，判断所述第三目标帧图像中的像素点的灰度值是否大于所述保存的进行更新的第二参考图像中的像素点的灰度值，如果是，则对该进行更新的第二参考图像中的该像素点的灰度值加上一个数值，如果否，则对该进行更新的第二参考图像中的该像素点的灰度值减去一个数值，所述加上或减去的一个数值可以为1、2、3等整数，也可以为小数。针对确定的前景像素点，将进行更新的第二参考图像中的该像素点的灰度值作为更新后的第二参考图像中该像素点的灰度值。较佳的，在本发明实施例中，所述加上或减去的一个数值可以为1，对进行更新的第二参考图像中每个像素点的灰度值进行更新并保存，可以参加以下公式：
式中，Bg(p，n)为保存的进行更新的第二参考图像中像素点p的灰度值，Fg(p，n)为前景像素点图像中的像素点p的灰度值，Img3(p，n)为第三目标帧图像中的像素点p的灰度值，Bg(p，n+1)为经过更新后的第二参考图像中的像素点p的灰度值。
根据上述公式对所述进行更新的第二参考图像中该像素点的灰度值进行更新，图像采集设备的处理器预先设定有第三灰度阈值，判断更新后的像素点的灰度值是否大于所述第三灰度阈值，如果是，将该像素点确定为背景高亮像素点。为了方便后续检测，可以生成背景高亮像素点图像，在该背景高亮像素点图像中，如果确定某一像素点为背景高亮像素点，可以将该背景高亮像素点的灰度值确定为255，否则，将该像素点的灰度值确定为0，具体的在背景高亮像素点图像中确定每个像素点的灰度值，可以参加以下公式：
式中，Bg(p，n)为该保存的进行更新的第二参考图像中像素点p进行更新后的灰度值，Bgbright(p，n)为背景高亮像素点图像中像素点p的灰度值。
对所述进行更新的第二参考图像中的像素点的灰度值更新并保存，确定前景像素点和背景高亮像素点。将所述前景像素点和背景高亮像素点进行与操作，得到疑似火焰像素点。
由于在本发明实施例中，将所述第三目标帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值的绝对值大于第二灰度阈值的像素点确定为前景像素点，如果像素点的所述第二差值的绝对值不大于第二灰度阈值，对所述进行更新的第二参考图像中该像素点的灰度值进行更新并保存；将更新后的灰度值大于第三灰度阈值的像素点确定为背景高亮像素点，因此，使得确定前景像素点和背景高亮像素点更加准确。
实施例9：
在上述实施例的基础上，为了使确定每个火焰闪烁区域更加准确，在本发明实施例中，所述针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域包括：
针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和；
将赋值和大于设定阈值的疑似火焰像素点确定为火焰闪烁像素点；
根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
具体的，在本发明实施例中，将该帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值大于第二灰度阈值的像素点确定为前景像素点；将所述第二差值不大于第二灰度阈值的像素点确定为背景像素点；将所述第二差值不大于第二灰度阈值，且灰度值大于第三灰度阈值的像素点确定为背景高亮像素点。其中，所述第二灰度阈值大于所述第三灰度阈值。
针对疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，和与所述相邻两帧图像分别对应的第二参考图像中的像素点的灰度值，确定该疑似火焰像素点为前景像素点或背景像素点。
针对疑似火焰像素点，判断该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否都为前景像素点或背景像素点，如果是，可以认为该疑似火焰像素点在该相邻两帧图像中未闪烁，将该疑似火焰像素点赋予第一值，如果否，可以认为该疑似火焰像素点在该相邻两帧图像中闪烁，将该疑似火焰像素点赋予第二值。其中，所述第一值为-1，-2，-3等负数值，所述第二值为1，2，3等正数值。
针对该帧图像中的每个疑似火焰像素点，计算该疑似火焰像素点的赋值和，图像采集设备的处理器中预先设定有一个阈值，当该疑似火焰像素点的赋值和大于所述设定阈值时，将该疑似火焰像素点确定为火焰闪烁像素点。
例如，当判断该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中都为前景像素点或背景像素点时，将该疑似火焰像素点赋予第一值为-1，当判断该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中不都为前景像素点或背景像素点时，将该疑似火焰像素点赋予第二值为2，具体的确定火焰闪烁像素点，可以参见以下公式：
式中，表示相邻两帧图像中的疑似火焰像素点p为都为前景像素点或背景像素点，该疑似火焰像素点赋值-1，该疑似火焰像素点在相邻两帧图像中不都为前景像素点或背景像素点时，将该疑似火焰像素点赋值为2，并将该帧图像之前的多帧连续图像中的每一帧图像中的该疑似火焰像素点p赋值累加，Fgaccu(p，n)为疑似火焰像素点p累加后的赋值。
如果当前帧图像为第二参考图像之后的第10帧图像，针对某一个疑似火焰像素点在所述第二参考图像之后的第1帧图像中为背景像素点，在第2帧图像中为前景像素点，该疑似火焰像素点赋值2，在第3帧图像中为背景像素点，该疑似火焰像素点赋值2，在第4帧图像中为前景像素点，该疑似火焰像素点赋值2，在第5帧图像中为前景像素点，该疑似火焰像素点赋值-1，在第6帧图像中为背景像素点，该疑似火焰像素点赋值2，在第7帧图像中为前景像素点，该疑似火焰像素点赋值2，在第8帧图像中为背景像素点，该疑似火焰像素点赋值2，在第9帧图像中为前景像素点，该疑似火焰像素点赋值2，在第10帧图像中为背景像素点，该疑似火焰像素点赋值2，该疑似火焰像素点的赋值和为15，图像采集设备的处理器中预先设定的一个阈值可以为10，针对当前帧图像，计算该疑似火焰像素点的赋值和，如上述疑似火焰像素点，计算该疑似火焰像素点的赋值和为15，则将该疑似火焰像素点确定为火焰闪烁像素点，例如针对另一个疑似火焰像素点，计算该疑似火焰像素点的赋值和为5，则该疑似火焰像素点不是火焰闪烁像素点。
根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域，在确定每个火焰闪烁区域时，也可以根据连通域标记算法确定，将以该火焰闪烁像素点为中心的周围8个邻接像素点构成的区域作为该火焰闪烁像素点对应的邻域，每个火焰闪烁像素点对应一个邻域，将存在重叠的邻域内的火焰闪烁像素点依次相连，相连之后的火焰闪烁像素点所在的邻域构成所述火焰闪烁像素点所在的区域，因此，根据连通域标记算法，可以得到每个火焰闪烁区域。其中，根据连通域标记算法，得到每个火焰闪烁区域的过程属于现有技术，在本发明实施例中不对此过程进行赘述。
由于在本发明实施例中，针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和，当赋值和大于设定阈值时，说明该疑似火焰像素点闪烁，将该疑似火焰像素点确定为火焰闪烁像素点，进而根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域，使得确定每个火焰闪烁区域更加准确。
实施例10：
在上述实施例的基础上，为了使确定每个火焰闪烁区域更加准确，在本发明实施例中，所述确定火焰闪烁像素点后，确定每个火焰闪烁区域之前，所述方法还包括：
根据所述背景高亮像素点，通过预设的算法，确定背景高亮边缘区域；
将背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点；
根据目标火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
在确定背景高亮像素点之后，通过预设的算法，确定背景高亮边缘区域，具体的，可以通过形态学算法，确定背景高亮边缘区域，即，根据所述背景高亮像素点，通过形态学算法，分别对所述背景高亮像素点进行膨胀和腐蚀处理，通过膨胀处理后的背景高亮像素点减去腐蚀处理后的背景高亮像素点，得到背景高亮边缘像素点，根据每个像素点预设的邻域范围，可以确定背景高亮边缘区域。将背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点。其中，通过形态学算法确定背景高亮边缘区域的过程属于现有技术，在本发明实施例中不对此过程进行赘述。
根据每个目标火焰闪烁像素点及预设的邻域范围，确定每个目标火焰闪烁区域，在确定每个目标火焰闪烁区域时，也可以根据连通域标记算法确定，将以该目标火焰闪烁像素点为中心的周围8个邻接像素点构成的区域作为该火焰闪烁像素点对应的邻域，每个目标火焰闪烁像素点对应一个邻域，将存在重叠的邻域内的目标火焰闪烁像素点一次相连，相连之后的目标火焰闪烁像素点所在的邻域构成所述目标火焰闪烁像素点所在的区域。其中，根据连通域标记算法，得到每个火焰闪烁区域的过程属于现有技术，在本发明实施例中不对此过程进行赘述。
由于在本发明实施例中，根据所述背景高亮像素点，通过形态学算法，可以确定背景高亮边缘区域，所述背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点，根据目标火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域，因此，使得确定的每个火焰闪烁区域更加准确。
针对该帧图像中的每个火焰闪烁区域，将该火焰闪烁区域划分为多个子区域，该划分方式与上述将候选烟雾区域划分为多个子区域的方式相同。
在确定火焰闪烁区域后，针对该火焰闪烁区域中的每个像素点，根据该帧图像之前的多帧连续图像中的该像素点的纹理特征，可以确定该帧图像中该像素点的动态纹理特征。其中，可以根据该帧图像之前的多帧连续图像中的每一帧图像中的该像素点的纹理特征，确定该帧图像中该像素点的动态纹理特征，较佳的，为了提高火焰检测的效率，可以根据与该帧图像相邻的位于该帧图像之前的设定帧数的图像中该像素点的纹理特征确定该帧图像中该像素点的动态纹理特征，例如预设的帧数为5帧，若当前帧为第8帧图像，则根据第4帧到第8帧图像中的每一帧图像中该像素点的纹理特征，确定第8帧图像中该像素点的动态纹理特征；若当前帧为第9帧图像，则根据第5帧到第9帧图像中的每一帧图像中该像素点的纹理特征，确定第9帧图像中该像素点的动态纹理特征等等。
针对每个子区域，根据该子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征。预先通过训练SVM分类器，确定了火焰的动态纹理特征模型，将该子区域的动态纹理特征输入确定的火焰的动态纹理特征模型，判断该子区域的动态纹理特征与预设的火焰的动态纹理特征是否一致，如果是，确定该子区域为目标火焰子区域，否则，确定该子区域不是目标火焰子区域。针对每个火焰闪烁区域，将确定的该火焰闪烁区域内的所有目标火焰子区域的最小外包区域确定为目标火焰区域。
其中，确定像素点的动态纹理特征的过程，以及根据子区域内的每个像素点的动态纹理特征和统计直方图的方法，确定该子区域的动态纹理特征的过程属于现有技术，在本发明实施例中，不对此过程进行赘述。
实施例11：
在上述各实施例的基础上，为了准确的实现对烟雾检测或火焰检测，需要准确的确定当前采用白天模式还是晚上模式，而由于天气、环境等因素带来的影响，按照预设的时间段确定当前采用白天模式还是晚上模式有可能不准确，因此，在本发明实施例中，所述确定当前采用白天模式还是晚上模式包括：
根据预先设定的晚上模式到白天模式的第一检测时间段，针对该第一检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，当所述第二数量大于预设的第二数量阈值时，确定当前由晚上模式转为白天模式；
根据预先设定的白天模式到晚上模式的第二检测时间段，针对该第二检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，当所述第三数量大于预设的第三数量阈值时，确定当前由白天模式转为晚上模式。
具体的，可以在图像采集设备的处理器中预先设定有晚上模式到白天模式的第一检测时间段和白天模式到晚上模式的第二检测时间段，例如，所述第一检测时间段为5点到5点半，所述第二检测时间段为18点到18点半。当然，为了使所述第一检测时间段和第二检测时间段更加准确，可以针对云台所在位置的经纬度信息和当天的日期，确定当前的日出和日落时间，将日出前30分钟作为第一检测时间段的起始时间，将日落前30分钟作为第二检测时间段的起始时间。
从所述第一检测时间段的起始时间开始，针对采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，在对该帧图像进行划分时，可以将图像的长进行n等分，对图像的宽进行m等分，其中所述m和n相同或不同，划分后得到多个矩形区域。根据图像中每个像素点的亮度值，确定每个区域的亮度均值，图像采集设备的处理器中预先设定有第一亮度阈值和第二数量阈值，根据每个矩形区域的亮度均值和预设的第一亮度阈值，确定所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，判断所述第二数量是否大于所述第二数量阈值，如果是，则说明该图像中亮度较大的像素点较多，确定当前由晚上模式转为白天模式。
从所述第二检测时间段的起始时间开始，针对采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，在对该帧图像进行划分时，可以将图像的长进行a等分，对图像的宽进行b等分，其中所述a和b相同或不同，划分后得到多个矩形区域。根据图像中每个像素点的亮度值，确定每个区域的亮度均值，图像采集设备的处理器中预先设定有第二亮度阈值和第三数量阈值，根据每个矩形区域的亮度均值和预设的第二亮度阈值，确定所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，判断所述第三数量是否大于所述第三数量阈值，如果是，则说明该图像中亮度较小的像素点较多，确定当前由白天模式转为晚上模式。
由于在本发明实施例中，根据第一检测时间段，针对采集的每帧图像，将该图像划分为多个矩形区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，当所述第二数量大于预设的第二数量阈值时，说明该图像中亮度较大的像素点较多，确定当前由晚上模式转为白天模式；根据第二检测时间段，针对采集的每帧图像，将该图像划分为多个矩形区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，当所述第三数量大于预设的第三数量阈值时，说明该图像中亮度较小的像素点较多，确定当前由白天模式转为晚上模式。因此，确定当前采用白天模式还是晚上模式更加准确。
实施例12：
在上述实施例的基础上，为了使烟火检测更加准确，在本发明实施例中，所述确定当前采用白天模式还是晚上模式之前，所述方法还包括：
获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，进行后续步骤。
在所述同一场景下，还可以部署热成像图像采集设备，所述热成像图像采集设备采集该场景下的热成像图像，并将采集到的热成像图像发送到图像采集设备的处理器，所述处理器中预先设定有温度阈值，根据获取的热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，则说明可能出现烟火，此时，通过图像采集设备在同一场景下采集多帧连续图像，并进行后续检测烟雾或火焰的步骤。
由于在本发明实施例中，通过部署热成像图像采集设备，可以获取热成像图像，根据所述热成像图像，判断所述热成像图像中存在大于预设的温度阈值的温度区域时，说明可能出现烟火，此时，通过图像采集设备在同一场景下采集多帧连续图像，并进行后续检测烟雾或火焰的步骤，使得对烟火的检测更加准确。
实施例13：
在上述实施例的基础上，为了保证对烟雾检测的准确性，在本发明实施例中，所述针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域之前，所述方法还包括：
判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；
如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，进行后续步骤。
图像采集设备的处理器中预先设定有第一面积阈值，当确定每个疑似烟雾区域后，确定该帧图像中每个疑似烟雾区域的面积和，判断每个疑似烟雾区域的面积和是否大于设定的第一面积阈值，如果是，则可能为全局光照变化或图像采集设备抖动所造成的，这会使得对后续烟雾检测不准确，因此需要重新进行确定疑似烟雾区域的步骤。
另外，图像采集设备的处理器中预先设定有第二面积阈值，如果该帧图像中每个疑似烟雾区域的面积和不大于设定的第一面积阈值，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，则说明该疑似烟雾区域距离图像采集设备距离较近，认为该疑似烟雾区域确定准确，进行后续确定疑似烟雾区域是否为候选烟雾区域的步骤。
如果疑似烟雾区域的面积不大于预设的第二面积阈值，则可能是因为该疑似烟雾区域距离图像采集设备距离较远，为了保证对该疑似烟雾区域检测的准确性，所述方法还包括：
将所述疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；
如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
具体的，将所述面积不大于预设的第二面积阈值的疑似烟雾区域作为每个放大区域，图像采集设备的处理器中预先设定有邻域范围，针对每个放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域，如果是，将所述预设领域范围内放大区域进行组合，根据组合后的区域的位置，控制进行承载图像采集设备的云台进行转动，使得组合后的区域位于获取的图像的中心，根据组合后的区域的大小，调整所述图像采集设备的焦距，使得所述组合后的区域在图像中的面积较大。使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像，根据所述多帧连续图像中的每一帧图像，进行后续烟雾检测的步骤。
另外，如果所述放大区域的预设领域范围内不存在其他放大区域，则根据该放大区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备采集所述放大区域在同一场景下采集多帧连续图像，根据所述多帧连续图像中的每一帧图像，进行后续烟雾检测的步骤。
为了保证对火焰检测的准确性，在本发明实施例中，所述确定疑似火焰像素点后，确定每个火焰闪烁区域之前，所述方法还包括：
根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；
针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，进行后续步骤。
根据每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域，具体的，可以通过上述连通域标记算法确定每个疑似火焰区域。
图像采集设备的处理器中预先设定有第三面积阈值，针对该帧图像中每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，则说明该疑似火焰区域距离图像采集设备距离较近，认为该疑似火焰区域确定准确，进行后续确定每个火焰闪烁区域的步骤。
如果疑似火焰区域的面积不大于预设的第三面积阈值，则可能是因为该疑似火焰区域距离图像采集设备距离较远，为了保证对该疑似火焰区域检测的准确性，所述方法还包括：
将所述疑似火焰区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；
如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
具体的，将所述面积不大于预设的第三面积阈值的疑似火焰区域作为每个放大区域，图像采集设备的处理器中预先设定有邻域范围，针对每个放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域，如果是，将所述预设领域范围内放大区域进行组合，根据组合后的区域的位置，控制进行承载图像采集设备的云台进行转动，使得组合后的区域位于获取的图像的中心，根据组合后的区域的大小，调整所述图像采集设备的焦距，使得所述组合后的区域在图像中的面积较大。使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像，根据所述多帧连续图像中的每一帧图像，进行后续火焰检测的步骤。
另外，如果所述放大区域的预设领域范围内不存在其他放大区域，则根据该放大区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备采集所述放大区域在同一场景下采集多帧连续图像，根据所述多帧连续图像中的每一帧图像，进行后续火焰检测的步骤。
由于在本发明实施例中，如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，将所述疑似火焰区域或疑似烟雾区域作为放大区域，针对所述放大区域进行组合，根据组合后的区域，或未组合的放大区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域，或未组合的放大区域在同一场景下采集多帧连续图像，根据所述多帧连续图像中的每一帧图像，进行后续烟雾检测或火焰检测的步骤。因此，使得对距离较远的疑似烟雾区域或疑似火焰区域的检测更加准确。
另外，针对于森林场景，烟火发生的概率与外界的环境条件密切相关，通常情况下，外界环境温度高且湿度低时更容易发生烟火，而且，在风速较大时，烟火扩散较为混乱而且此时图像采集设备抖动程度较大从而影响烟火检测，因此，为了提高对烟火检测的准确性，所述确定该帧图像中的每个疑似烟雾区域或确定疑似烟雾区域是否为候选烟雾区域之前，所述方法还包括：
获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
具体的，在对烟火进行检测时，可以在场景中布置环境监测仪，通过环境监测仪可以获取环境信息，包括温度信息、湿度信息和风速信息，并将环境信息发送到图像采集设备的处理器，所述处理器根据环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，当温度大于对应的温度阈值、湿度小于对应的湿度阈值或者风速小于对应的风速阈值时，将Y、U、V阈值范围和能量阈值范围调整至较为宽松的范围，否则，调整至较为严格的范围。例如，针对于Y、U、V三个分量预设的阈值范围，所述调整至较为宽松的范围指的是Y、U、V三个分量设定的阈值范围较大，调整至较为严格的范围指的是Y、U、V三个分量设定的阈值范围较小，即当温度大于对应的温度阈值、湿度小于对应的湿度阈值或者风速小于对应的风速阈值时，Y、U、V三个分量设定的阈值范围分别为：Y≥110，113＜U＜143，113＜V＜143，当温度不大于对应的温度阈值、湿度不小于对应的湿度阈值或者风速不小于对应的风速阈值时，Y、U、V三个分量设定的阈值范围分别为：Y≥120，120＜U＜135，120＜V＜135；针对于上述实施例中的对应的能量阈值范围，所述调整至较为宽松的范围指的是设定的能量阈值范围较大，调整至较为严格的范围指的是设定的能量阈值范围较小。
图像采集设备可以通过无线通讯的方式将采集的图像发送到后台监控系统，当后台监控系统接收到包含确定的目标烟雾区域或目标火焰区域的图像时，后台监控系统通过此时云台的水平转角、垂直转角以及镜头焦距，根据云台所处的经纬度坐标以及海拔高度，结合地理信息系统(Geographic Information System，GIS)测算出火灾发生的区域的经纬度坐标和海拔高度，并将报警信息和火灾地理位置信息发送至工作人员的通信设备，使工作人员根据接收到的火灾地理位置信息，派出无人机，进行灭火。
图2为本发明实施例提供的一种烟火检测装置结构示意图，该装置包括：
第一确定模块21，用于确定当前采用白天模式还是晚上模式；
第二确定模块22，用于如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；
第三确定模块23，用于如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。
所述第二确定模块22，具体用于针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域，根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域；根据所述候选烟雾区域内每个像素点的动态纹理特征，及预设的烟雾动态纹理特征模型，确定目标烟雾区域。
所述第三确定模块23，具体用于根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点，根据该帧图像中的背景高亮像素点和前景像素点，确定疑似火焰像素点。
所述第三确定模块23，具体用于针对每个火焰闪烁区域，根据所述火焰闪烁区域内每个像素点的动态纹理特征，及预设的火焰动态纹理特征模型，确定目标火焰区域。
所述装置还包括：
第四确定模块24，用于针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定所述图像中的分割线；判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
所述第二确定模块22包括：
第一确定单元221，用于根据第一参考图像和预设的第一间隔及预设的第二间隔，确定该帧图像是否为第一目标帧图像和/或第二目标帧图像，其中，所述第二间隔大于第一间隔；
第一更新单元222，用于如果确定该帧为第一目标帧图像，根据当前保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存；如果确定该帧为第二目标帧图像，根据当前保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存；
第二确定单元223，用于确定保存的进行第一更新的第一参考图像与进行第二更新的第一参考图像的灰度值的第一差值的绝对值，将所述第一差值的绝对值大于预设的第一灰度阈值对应的像素点确定为疑似烟雾像素点；根据所述疑似烟雾像素点及当前保存的所述场景下上一时刻的疑似烟雾像素点，确定当前的每个候选烟雾像素点，并对保存的候选烟雾像素点进行更新。
所述装置还包括：
获取更新模块25，用于对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；获取目标图像中每个膨胀像素点及候选烟雾像素点的亮度信号Y，色差信号U，色差信号V分量；针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
所述第二确定模块22，具体用于针对该帧图像中的每个候选烟雾像素点及预设的邻域范围，确定每个候选烟雾像素点对应的邻域；根据连通域标记算法，得到多个区域；针对每个区域，判断该区域中的候选烟雾像素点的第一数量是否大于预设的第一数量阈值，如果是，将该区域确定为该帧图像中的疑似烟雾区域。
所述第二确定模块22，具体用于针对每个子区域，根据该子区域中对应的每个像素点在该镇玉祥之前的所述多帧连续图像中的能量，该子区域中对应的像素点在该帧图像之前的所述多帧连续图像中的能量均值和方差，及预设的对应能量阈值范围，确定每个子区域是否满足条件；如果每帧图像中满足条件的子区域的数量满足预设的烟雾特征变化趋势，则确定疑似烟雾区域为候选烟雾区域。
所述第三确定模块23包括：
第三确定单元231，用于根据第二参考图像和预设的第三间隔，确定该帧图像是否为第三目标帧图像；
第四确定单元232，用于如果确定该帧图像为第三目标帧图像，根据所述第三目标帧图像中的像素点的灰度值与当前保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，确定该帧图像中的前景像素点和背景高亮像素点。
所述第三确定模块23，具体用于针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和；将赋值和大于设定阈值的疑似火焰像素点确定为火焰闪烁像素点；根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
所述第三确定模块23，还用于根据所述背景高亮像素点，通过预设的算法，确定背景高亮边缘区域；将背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点；根据目标火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
所述第一确定模块21，具体用于根据预先设定的晚上模式到白天模式的第一检测时间段，针对该第一检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，当所述第二数量大于预设的第二数量阈值时，确定当前由晚上模式转为白天模式；根据预先设定的白天模式到晚上模式的第二检测时间段，针对该第二检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，当所述第三数量大于预设的第三数量阈值时，确定当前由白天模式转为晚上模式。
所述装置还包括：
获取判断模块26，用于获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，触发第一确定模块21。
所述装置还包括：
第一判断模块27，用于判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，触发第二确定模块22。
所述装置还包括：
第二判断模块28，用于根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，触发第三确定模块23。
所述装置还包括：
组合调整模块29，用于如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，将所述疑似火焰区域或疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
所述装置还包括：
获取确定模块210，用于获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
本发明实施例提供一种烟火检测方法及装置，所述方法包括：确定当前采用白天模式还是晚上模式；如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据每帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域。由于在本发明实施例中，如果采用白天模式，根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；如果采用晚上模式，根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域，从而可以避免因为环境、光照等因素带来的影响，提高了烟火检测的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种烟火检测方法，其特征在于，所述方法包括:
确定当前采用白天模式还是晚上模式；
如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；
如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域；
所述针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域包括：
针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和；
将赋值和大于设定阈值的疑似火焰像素点确定为火焰闪烁像素点；
根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
2.如权利要求1所述的方法，其特征在于，所述根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域包括：
针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域，根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域；
根据所述候选烟雾区域内每个像素点的动态纹理特征，及预设的烟雾动态纹理特征模型，确定目标烟雾区域。
3.如权利要求1所述的方法，其特征在于，所述根据该帧图像中像素点的灰度值，确定疑似火焰像素点包括：
根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点，根据该帧图像中的背景高亮像素点和前景像素点，确定疑似火焰像素点；
所述根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域包括：
针对每个火焰闪烁区域，根据所述火焰闪烁区域内每个像素点的动态纹理特征，及预设的火焰动态纹理特征模型，确定目标火焰区域。
4.如权利要求1所述的方法，其特征在于，所述采集多帧连续图像中的每一帧图像之后，所述方法还包括：
针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定该帧图像中的分割线；
判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
5.如权利要求1所述的方法，其特征在于，所述根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点包括：
根据第一参考图像和预设的第一间隔及预设的第二间隔，确定该帧图像是否为第一目标帧图像和/或第二目标帧图像，其中，所述第二间隔大于第一间隔；
如果确定该帧图像为第一目标帧图像，根据当前保存的进行第一更新的第一参考图像和所述第一目标帧图像的灰度值，对所述进行第一更新的第一参考图像的灰度值进行更新并保存；如果确定该帧图像为第二目标帧图像，根据当前保存的进行第二更新的第一参考图像和所述第二目标帧图像的灰度值，对所述进行第二更新的第一参考图像的灰度值进行更新并保存；
确定保存的进行第一更新的第一参考图像与进行第二更新的第一参考图像的灰度值的第一差值的绝对值，将所述第一差值的绝对值大于预设的第一灰度阈值对应的像素点确定为疑似烟雾像素点；根据所述疑似烟雾像素点及当前保存的所述场景下上一帧图像的疑似烟雾像素点，确定当前的每个候选烟雾像素点并保存，并对保存的候选烟雾像素点进行更新。
6.如权利要求5所述的方法，其特征在于，所述确定该帧图像中每个像素点是否为候选烟雾像素点之后，所述确定该帧图像中的每个疑似烟雾区域之前，所述方法还包括：
对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；
获取该帧图像中每个膨胀像素点及候选烟雾像素点的亮度信号Y，色差信号U，色差信号V分量；
针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
7.如权利要求1或6所述的方法，其特征在于，所述根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域包括：
针对该帧图像中的每个候选烟雾像素点及预设的邻域范围，确定每个候选烟雾像素点对应的邻域；
根据连通域标记算法，得到多个区域；
针对每个区域，判断该区域中的候选烟雾像素点的第一数量是否大于预设的第一数量阈值，如果是，将该区域确定为该帧图像中的疑似烟雾区域。
8.如权利要求2所述的方法，其特征在于，所述根据每个子区域内各像素点的能量，及预设的烟雾特征变化趋势，确定疑似烟雾区域是否为候选烟雾区域包括：
针对每个子区域，根据该子区域中对应的每个像素点在该帧图像之前的所述多帧连续图像中的能量，该子区域中对应的像素点在该帧图像之前的所述多帧连续图像中的能量均值和方差，及预设的对应能量阈值范围，确定每个子区域是否满足条件；
如果该帧图像中满足条件的子区域的数量满足预设的烟雾特征变化趋势，则确定疑似烟雾区域为候选烟雾区域。
9.如权利要求3所述的方法，其特征在于，所述根据该帧图像中像素点的灰度值，确定该帧图像中的前景像素点和背景高亮像素点包括：
根据第二参考图像和预设的第三间隔，确定该帧图像是否为第三目标帧图像；
如果确定该帧图像为第三目标帧图像，根据所述第三目标帧图像中的像素点的灰度值与保存的进行更新的第二参考图像中对应的像素点的灰度值的第二差值，确定该帧图像中的前景像素点和背景高亮像素点。
10.如权利要求1所述的方法，其特征在于，所述确定火焰闪烁像素点后，确定每个火焰闪烁区域之前，所述方法还包括：
根据所述背景高亮像素点，通过预设的算法，确定背景高亮边缘区域；
将背景高亮边缘区域中的像素点和所述火焰闪烁像素点的交集，确定为目标火焰闪烁像素点；
根据目标火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
11.如权利要求1所述的方法，其特征在于，所述确定当前采用白天模式还是晚上模式包括：
根据预先设定的晚上模式到白天模式的第一检测时间段，针对该第一检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值大于第一亮度阈值的区域的第二数量，当所述第二数量大于预设的第二数量阈值时，确定当前由晚上模式转为白天模式；
根据预先设定的白天模式到晚上模式的第二检测时间段，针对该第二检测时间段内采集的每帧图像，按照设定的规则将该帧图像划分为多个区域，确定每个区域的亮度均值，识别所述图像中所述亮度均值小于第二亮度阈值的区域的第三数量，当所述第三数量大于预设的第三数量阈值时，确定当前由白天模式转为晚上模式。
12.如权利要求1所述的方法，其特征在于，所述确定当前采用白天模式还是晚上模式之前，所述方法还包括：
获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，进行后续步骤。
13.如权利要求2所述的方法，其特征在于，所述针对每个疑似烟雾区域，将该疑似烟雾区域划分为多个子区域之前，所述方法还包括：
判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；
如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，进行后续步骤。
14.如权利要求1所述的方法，其特征在于，所述确定疑似火焰像素点后，针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域之前，所述方法还包括：
根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；
针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，进行后续步骤。
15.如权利要求13或14所述的方法，其特征在于，如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，所述方法还包括：
将所述疑似火焰区域或疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；
如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
16.如权利要求6或8所述的方法，其特征在于，所述确定该帧图像中的每个疑似烟雾区域或确定疑似烟雾区域是否为候选烟雾区域之前，所述方法还包括：
获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
17.一种烟火检测装置，其特征在于，所述装置包括：
第一确定模块，用于确定当前采用白天模式还是晚上模式；
第二确定模块，用于如果确定当前采用白天模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的像素值，确定该帧图像中每个像素点是否为候选烟雾像素点；根据该帧图像中候选烟雾像素点的数量，确定该帧图像的每个疑似烟雾区域；根据每个疑似烟雾区域内像素点的属性信息，确定目标烟雾区域；
第三确定模块，用于如果确定当前采用晚上模式，针对同一场景下采集多帧连续图像中的每一帧图像，根据该帧图像中像素点的灰度值，确定疑似火焰像素点；针对疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中像素点的灰度值，确定每个火焰闪烁区域；根据每个火焰闪烁区域内像素点的属性信息，确定目标火焰区域；
所述第三确定模块，具体用于针对每个疑似火焰像素点，根据该疑似火焰像素点在该帧图像之前的所述多帧连续图像中每相邻两帧图像中是否同为前景像素点或背景像素点，确定该疑似火焰像素点的赋值和；将赋值和大于设定阈值的疑似火焰像素点确定为火焰闪烁像素点；根据每个火焰闪烁像素点及预设的邻域范围，确定每个火焰闪烁区域。
18.如权利要求17所述的装置，其特征在于，所述装置还包括：
第四确定模块，用于针对所述多帧连续图像中的任意一帧图像，采用预设分割算法，确定该帧图像中的分割线；判断所述分割线是否满足预设的天际线分割特点，如果是，将所述多帧连续图像中每帧图像中所述分割线下方区域作为烟火检测区域；如果否，将所述多帧连续图像中每帧图像的全部作为烟火检测区域。
19.如权利要求17所述的装置，其特征在于，所述装置还包括：
获取更新模块，用于对每个候选烟雾像素点进行形态学处理，得到多个膨胀像素点；获取该帧图像中每个膨胀像素点及候选烟雾像素点的亮度信号Y，色差信号U，色差信号V分量；针对每个膨胀像素点及候选烟雾像素点，判断每个像素点的Y，U，V分量是否在对应的预设的阈值范围内，如果是，将该像素点更新为候选烟雾像素点。
20.如权利要求17所述的装置，其特征在于，所述装置还包括：
获取判断模块，用于获取热成像图像采集设备发送的针对所述同一场景的热成像图像，根据所述热成像图像，判断所述热成像图像中是否存在大于预设的温度阈值的温度区域，如果是，触发第一确定模块。
21.如权利要求17所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于判断该帧图像中的每个疑似烟雾区域的面积和是否大于设定的第一面积阈值；如果否，针对每个疑似烟雾区域，判断该疑似烟雾区域的面积是否大于预设的第二面积阈值，如果是，触发第二确定模块。
22.如权利要求17所述的装置，其特征在于，所述装置还包括：
第二判断模块，用于根据该帧图像中的每个疑似火焰像素点及预设的邻域范围，确定每个疑似火焰区域；针对每个疑似火焰区域，判断该疑似火焰区域的面积是否大于预设的第三面积阈值，如果是，触发第三确定模块。
23.如权利要求21或22所述的装置，其特征在于，所述装置还包括：
组合调整模块，用于如果疑似烟雾区域的面积不大于预设的第二面积阈值，或，如果疑似火焰区域的面积不大于预设的第三面积阈值，将所述疑似火焰区域或疑似烟雾区域作为放大区域，判断所述放大区域的预设领域范围内是否存在其他放大区域；如果是，则将所述放大区域与所述其他放大区域进行组合，根据组合后的区域，控制进行承载图像采集设备的云台进行转动，并调整所述图像采集设备的焦距，使所述图像采集设备针对所述组合后的区域在同一场景下采集多帧连续图像。
24.如权利要求17所述的装置，其特征在于，所述装置还包括：
获取确定模块，用于获取所述场景的环境信息，根据所述环境信息，调整Y，U，V分量对应的阈值范围和能量阈值范围，其中所述环境信息包括温度信息、湿度信息和风速信息中的至少一个。
CN201710193196.4A 2017-03-28 2017-03-28 一种烟火检测方法及装置 Active CN106997461B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710193196.4A CN106997461B (zh) 2017-03-28 2017-03-28 一种烟火检测方法及装置
EP17902660.4A EP3586324A4 (en) 2017-03-28 2017-05-27 PROCESSES AND SYSTEMS FOR OBJECT DETECTION
PCT/CN2017/086315 WO2018176624A1 (en) 2017-03-28 2017-05-27 Methods and systems for fire detection
US16/578,228 US11532156B2 (en) 2017-03-28 2019-09-20 Methods and systems for fire detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710193196.4A CN106997461B (zh) 2017-03-28 2017-03-28 一种烟火检测方法及装置

Publications (2)

Publication Number Publication Date
CN106997461A CN106997461A (zh) 2017-08-01
CN106997461B true CN106997461B (zh) 2019-09-17

Family

ID=59431893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710193196.4A Active CN106997461B (zh) 2017-03-28 2017-03-28 一种烟火检测方法及装置

Country Status (4)

Country Link
US (1) US11532156B2 (zh)
EP (1) EP3586324A4 (zh)
CN (1) CN106997461B (zh)
WO (1) WO2018176624A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108168707B (zh) * 2017-12-18 2020-06-05 山东神戎电子股份有限公司 一种基于热成像的高温干扰源去除方法
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN108335454B (zh) * 2018-01-15 2019-09-17 浙江大华技术股份有限公司 一种火情检测方法及装置
CN108399359B (zh) * 2018-01-18 2022-05-10 中山大学 一种视频序列下实时火灾检测预警方法
CN108363992B (zh) * 2018-03-15 2021-12-14 南京钜力智能制造技术研究院有限公司 一种基于机器学习监测视频图像烟雾的火情预警方法
CN109142176B (zh) * 2018-09-29 2024-01-12 佛山市云米电器科技有限公司 基于空间联系的烟雾子区域空间复检方法
CN110529759B (zh) * 2018-10-31 2023-01-13 山东斯弗特智能科技有限公司 烟雾报警式节能灯
CN109360370B (zh) * 2018-11-30 2021-06-29 广州高新兴机器人有限公司 一种基于机器人烟火检测的方法
CN109815868B (zh) * 2019-01-15 2022-02-01 腾讯科技（深圳）有限公司 一种图像目标检测方法、装置及存储介质
CN109920191B (zh) * 2019-01-16 2023-02-03 深圳壹账通智能科技有限公司 火灾报警方法、装置、计算机设备和存储介质
CN111539239B (zh) * 2019-01-22 2023-09-22 杭州海康微影传感科技有限公司 明火检测的方法、装置及存储介质
CN109978896A (zh) * 2019-04-04 2019-07-05 辽宁鼎汉奇辉电子系统工程有限公司 一种基于图像处理技术的铁路货车车厢烟火监测方法
CN110427825B (zh) * 2019-07-01 2023-05-12 上海宝钢工业技术服务有限公司 基于关键帧与快速支持向量机融合的视频火焰识别方法
CN110310448A (zh) * 2019-07-08 2019-10-08 国网湖南省电力有限公司 一种集烟雾和红外识别联动的输电线路山火监测方法
CN110398291B (zh) * 2019-07-25 2020-11-10 中国农业大学 一种运动目标最高温检测方法及系统
CN111428695B (zh) * 2019-11-01 2023-04-07 武汉纺织大学 一种基于深度学习与地域特征的秸秆燃烧检测方法
CN111223152B (zh) * 2019-11-18 2023-09-26 燕山大学 一种火源的识别方法及系统
CN111062281A (zh) * 2019-12-05 2020-04-24 亿利生态大数据有限公司 异常事件监控方法、装置、存储介质和电子设备
CN110909719A (zh) * 2019-12-12 2020-03-24 齐鲁工业大学 特定环境中基于运动摄像头的闪烁目标检测系统及方法
US11253736B2 (en) * 2020-03-12 2022-02-22 RapidDeploy, Inc. Dispatching UAVs for wildfire surveillance
CN111626193A (zh) * 2020-05-26 2020-09-04 北京嘀嘀无限科技发展有限公司 一种面部识别方法、面部识别装置及可读存储介质
CN113450373A (zh) * 2020-08-18 2021-09-28 中国人民解放军63729部队 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法
US11361654B2 (en) * 2020-08-19 2022-06-14 Honeywell International Inc. Operating a fire system network
CN112150512B (zh) * 2020-09-30 2023-12-15 中国科学院上海微系统与信息技术研究所 融合背景差分法和聚类法的弹着点定位方法
CN112396121B (zh) * 2020-11-30 2024-02-02 北京华正明天信息技术股份有限公司 基于神经网络的烟雾图像分类方法
CN112735072B (zh) * 2021-01-06 2022-03-04 浙江弄潮儿智慧科技有限公司 一种基于物联网林区动态及林区火情预警云平台
CN113299034B (zh) * 2021-03-31 2023-01-31 辽宁华盾安全技术有限责任公司 一种适应多场景的火焰识别预警方法
CN113066077B (zh) * 2021-04-13 2021-11-23 南京甄视智能科技有限公司 火焰检测方法及装置
CN113554845B (zh) * 2021-06-25 2022-09-30 东莞市鑫泰仪器仪表有限公司 一种用于森林防火热成像装置
CN113744326B (zh) * 2021-08-25 2023-08-22 昆明理工大学 一种在ycrcb颜色空间中基于种子区域生长法则的火灾检测方法
CN113723300A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于人工智能的火情监测方法、装置及存储介质
US11742962B2 (en) * 2021-09-13 2023-08-29 Quanta Computer Inc. Systems and methods for monitoring antenna arrays
CN114002751B (zh) * 2021-10-26 2023-11-03 国网北京市电力公司 异常位置的识别方法、系统以及装置
CN114067545B (zh) * 2021-11-15 2023-05-12 浙江时空智子大数据有限公司 一种基于遥感大数据的森林火灾监测方法及系统
TWI793901B (zh) * 2021-12-08 2023-02-21 威盛電子股份有限公司 煙霧偵測系統以及煙霧偵測方法
CN114821289B (zh) * 2022-01-17 2023-10-17 电子科技大学 一种森林火灾图片实时分割和火灾边缘点监测算法
CN115223105B (zh) * 2022-09-20 2022-12-09 万链指数(青岛)信息科技有限公司 基于大数据的风险信息监控分析方法及系统
CN115938065B (zh) * 2022-09-21 2023-09-15 慧之安信息技术股份有限公司 一种基于边缘计算的消防车智能识别系统
CN115311658B (zh) * 2022-10-12 2023-01-10 四川三思德科技有限公司 森林防火烟雾报警抗干扰处理方法
CN116152667B (zh) * 2023-04-14 2023-06-30 英特灵达信息技术(深圳)有限公司 一种火灾检测方法、装置、电子设备及存储介质
CN116503633B (zh) * 2023-07-03 2023-09-05 山东艾迈科思电气有限公司 基于图像识别的开关柜状态智能检测控制方法
CN116665136B (zh) * 2023-07-31 2023-10-31 山东长兴塑料助剂股份有限公司 一种化工生产安全风险实时监控系统
CN116758079B (zh) * 2023-08-18 2023-12-05 杭州浩联智能科技有限公司 一种基于火花像素的危害预警方法
CN117058161B (zh) * 2023-10-12 2024-02-20 深圳市五轮科技股份有限公司 基于图像处理的电子烟雾化烟雾图像分割方法
CN117423068B (zh) * 2023-12-18 2024-04-02 东莞市杰瑞智能科技有限公司 用于智慧城市的车辆火灾检测方法及系统
CN117523499B (zh) * 2023-12-29 2024-03-26 广东邦盛北斗科技股份公司 基于北斗定位与感知的森林防火监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833838A (zh) * 2010-05-27 2010-09-15 王巍 一种大范围火灾分析预警系统
CN103116746A (zh) * 2013-03-08 2013-05-22 中国科学技术大学 一种基于多特征融合技术的视频火焰探测方法
CN103886598A (zh) * 2014-03-25 2014-06-25 北京邮电大学 一种基于视频图像处理的隧道烟雾检测装置与方法
CN103956016A (zh) * 2014-04-25 2014-07-30 蚌埠依爱消防电子有限责任公司 一种基于视频图像的烟雾火焰复合式自动检测方法
CN106339657A (zh) * 2015-07-09 2017-01-18 张�杰 基于监控视频的秸秆焚烧监测方法、装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1237262B (it) 1989-12-20 1993-05-27 Selenia Ind Elettroniche Sistema antincendio prevalentemente concepito per la salvaguardia dei boschi.
US5734335A (en) 1989-12-20 1998-03-31 Finmeccanica S.P.A. Forest surveillance and monitoring system for the early detection and reporting of forest fires
IL117521A0 (en) 1996-03-17 1996-10-31 Israel Aircraft Ind Ltd Malat A fire imaging system and method
JP3481397B2 (ja) 1996-07-29 2003-12-22 能美防災株式会社 火災検出装置
US6807286B1 (en) 2000-04-13 2004-10-19 Microsoft Corporation Object recognition using binary image quantization and hough kernels
JP4111660B2 (ja) 2000-07-18 2008-07-02 富士通株式会社 火災検出装置
EP1364351B8 (fr) 2001-02-26 2006-05-03 Fastcom Technology S.A. Procede et dispositif de detection de feux base sur l'analyse d'images
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7505604B2 (en) 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
AU2003237579A1 (en) 2002-07-05 2004-01-23 Aspectus Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
US7286050B2 (en) 2003-12-05 2007-10-23 Honeywell International, Inc. Fire location detection and estimation of fire spread through image processing based analysis of detector activation
TWI264684B (en) 2004-11-16 2006-10-21 Univ Nat Kaohsiung Applied Sci Fire detection method and system applying with image acquisition
DE102004056958B3 (de) 2004-11-22 2006-08-10 IQ wireless GmbH, Entwicklungsgesellschaft für Systeme und Technologien der Telekommunikation Verfahren für die Überwachung von Territorien zur Erkennung von Wald- und Flächenbränden
US20060176169A1 (en) 2004-12-17 2006-08-10 The Regents Of The University Of California System for sensing environmental conditions
KR100638120B1 (ko) * 2006-02-10 2006-10-24 주식회사 영국전자 화재감시 시스템
US8253574B2 (en) 2006-12-29 2012-08-28 Honeywell International Inc. Systems and methods to predict fire and smoke propagation
US7991187B2 (en) 2007-08-29 2011-08-02 Billy Hou Intelligent image smoke/flame sensor and detection system
US7782197B2 (en) 2007-11-15 2010-08-24 Honeywell International Inc. Systems and methods of detection using fire modeling
WO2009136894A1 (en) 2008-05-08 2009-11-12 Utc Fire & Security System and method for ensuring the performance of a video-based fire detection system
US7786877B2 (en) 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
FR2934501B1 (fr) 2008-08-04 2010-09-17 Smart Packaging Solutions Sps Systeme de prevention des risques d'incendies
DE102008042391A1 (de) 2008-09-26 2010-04-01 Robert Bosch Gmbh Brandsicherungsvorrichtung, Verfahren zur Brandsicherung sowie Computerprogramm
CN101726357B (zh) * 2008-10-14 2014-01-08 能美防灾株式会社 烟检测装置
KR100901784B1 (ko) 2008-11-11 2009-06-11 주식회사 창성에이스산업 화재 발생 감지시스템 및 그 방법
CN101587622B (zh) * 2009-06-18 2012-09-05 李秋华 基于视频图像智能分析的森林烟火检测与识别方法及设备
WO2011032117A1 (en) * 2009-09-13 2011-03-17 Delacom Detection Systems, Llc Method and system for wildfire detection using a visible range camera
US8369567B1 (en) 2010-05-11 2013-02-05 The United States Of America As Represented By The Secretary Of The Navy Method for detecting and mapping fires using features extracted from overhead imagery
CN101872526B (zh) * 2010-06-01 2012-04-18 重庆市海普软件产业有限公司 基于可编程摄像技术的烟火智能识别方法
CN102653869A (zh) 2010-06-26 2012-09-05 谭健 节能制氢装置
EP2673757A1 (en) 2011-02-10 2013-12-18 Otusnet Ltd. System and method for forest fire control
CN202434011U (zh) 2012-02-09 2012-09-12 毛振刚 森林火灾自动监测与报警系统
CN102663869B (zh) * 2012-04-23 2013-09-11 国家消防工程技术研究中心 基于视频监控平台的室内火灾检测方法
KR101309407B1 (ko) * 2012-11-20 2013-09-17 신현기 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법
WO2014179482A1 (en) 2013-04-30 2014-11-06 The Regents Of The University Of California Fire urgency estimator in geosynchronous orbit (fuego)
CN103400111B (zh) * 2013-07-10 2017-02-08 重庆大学 基于视频检测技术的高速公路隧道火灾事件检测方法
CN103778418A (zh) * 2014-01-28 2014-05-07 华南理工大学 一种输电线路杆塔图像监测系统的山火图像识别方法
JP6620888B2 (ja) * 2015-11-20 2019-12-18 富士通株式会社 煙検出装置、方法及び画像処理装置
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833838A (zh) * 2010-05-27 2010-09-15 王巍 一种大范围火灾分析预警系统
CN103116746A (zh) * 2013-03-08 2013-05-22 中国科学技术大学 一种基于多特征融合技术的视频火焰探测方法
CN103886598A (zh) * 2014-03-25 2014-06-25 北京邮电大学 一种基于视频图像处理的隧道烟雾检测装置与方法
CN103956016A (zh) * 2014-04-25 2014-07-30 蚌埠依爱消防电子有限责任公司 一种基于视频图像的烟雾火焰复合式自动检测方法
CN106339657A (zh) * 2015-07-09 2017-01-18 张�杰 基于监控视频的秸秆焚烧监测方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于动态纹理的烟雾和火焰检测方法;胡勤 等;《消防科学与技术》;20140630;第33卷(第6期);全文

Also Published As

Publication number Publication date
WO2018176624A1 (en) 2018-10-04
CN106997461A (zh) 2017-08-01
EP3586324A1 (en) 2020-01-01
EP3586324A4 (en) 2020-02-19
US20200012859A1 (en) 2020-01-09
US11532156B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
CN106997461B (zh) 一种烟火检测方法及装置
CN112396116B (zh) 一种雷电检测方法、装置、计算机设备及可读介质
CN107871324B (zh) 一种基于双通道的目标跟踪方法及装置
CN108474657B (zh) 一种环境信息采集方法、地面站及飞行器
CN111246051A (zh) 自动检测条纹并抑制的方法、装置、设备及存储介质
CN111710049B (zh) Ar场景中的环境光照确定方法和装置
CN104634784B (zh) 大气能见度监测方法和装置
CN104077776B (zh) 一种基于颜色空间自适应更新的视觉背景提取方法
CN111339997A (zh) 火点区域的确定方法及装置、存储介质和电子装置
CN110334660A (zh) 一种雾天条件下基于机器视觉的森林火灾监测方法
CN106650638A (zh) 一种遗留物检测方法
CN111898581A (zh) 动物检测方法、装置、电子设备及可读存储介质
CN101715070B (zh) 特定监控视频中的背景自动更新方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN112686172A (zh) 机场跑道异物检测方法、装置及存储介质
CN109949242A (zh) 图像去雾模型的生成方法、装置及图像去雾方法、装置
CN113837086A (zh) 一种基于深度卷积神经网络的水库钓鱼人检测方法
CN103605171A (zh) 全天空成像仪及基于全天空成像仪的云层特性分析方法
CN104978734B (zh) 前景图像的提取方法及装置
CN108230288B (zh) 一种确定雾性状况的方法和装置
CN109685735A (zh) 基于雾层平滑先验的单张图片去雾方法
Zheng et al. A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery
CN105631825B (zh) 基于滚动导向的图像去雾方法
CN110176019B (zh) 一种夜间纯净灯光提取方法
Han et al. Cigarette Detection Algorithm Based on Improved Faster R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant