CN111353334A - 烟雾检测方法和装置 - Google Patents

烟雾检测方法和装置 Download PDF

Info

Publication number
CN111353334A
CN111353334A CN201811568382.2A CN201811568382A CN111353334A CN 111353334 A CN111353334 A CN 111353334A CN 201811568382 A CN201811568382 A CN 201811568382A CN 111353334 A CN111353334 A CN 111353334A
Authority
CN
China
Prior art keywords
foreground
block
foreground block
area
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811568382.2A
Other languages
English (en)
Inventor
丁蓝
谭志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201811568382.2A priority Critical patent/CN111353334A/zh
Priority to EP19211478.3A priority patent/EP3671537A1/en
Priority to US16/714,010 priority patent/US11210916B2/en
Priority to JP2019225093A priority patent/JP2020102212A/ja
Publication of CN111353334A publication Critical patent/CN111353334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G08B17/103—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means using a light emitting and receiving device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Abstract

本发明实施例提供一种烟雾检测方法和装置，其中，该装置包括：前景检测单元，其用于在视频的多个帧图像中检测前景块；块追踪单元，其用于确定检测到的各个前景块的移动区域；计算单元，其用于确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；块去除单元，其用于根据该第一重叠度和/或第二重叠度确定干扰前景块；烟雾检测单元，其用于在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。通过本发明实施例，可以提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。

Description

烟雾检测方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种烟雾检测方法和装置。
背景技术
火灾往往会给人们带来巨大的损害，由于在火势蔓延前，通常会出现烟雾，因此，如果能够尽快检测到烟雾，则可能有效的阻止火势蔓延。目前，基于传统计算机视觉和模式识别的烟雾检测算法已经取得了很好的检测效果。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现，如果火灾发生在出现了降雨或光反射过强等恶劣的室外环境时，由于水滴或者光反射的光斑会落在视频监控的镜头上，因此会导致烟雾的误检测。
本发明实施例提出了一种烟雾检测方法和装置、图像处理设备，解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
根据本发明实施例的第一个方面，提供了一种烟雾检测装置，其中，该装置包括：
前景检测单元，其用于在视频的多个帧图像中检测前景块；
块追踪单元，其用于确定检测到的各个前景块的移动区域；
计算单元，其用于确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；
块去除单元，其用于根据该第一重叠度和/或第二重叠度确定干扰前景块；
烟雾检测单元，其用于在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。
根据本发明实施例的第二个方面，提供了一种烟雾检测方法，其中，该方法包括：
在视频的多个帧图像中检测前景块；
确定检测到的各个前景块的移动区域；
确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；
根据该第一重叠度和/或第二重叠度确定干扰前景块；
在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。
根据本发明实施例的第三个方面，提供了一种图像处理设备，其中，该设备包括前述第二方面的烟雾检测装置。
本发明实施例的有益效果在于，根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除烟雾检测中的干扰前景块，由此，可以解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
参照以下的附图可以更好地理解本发明的很多方面。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大或缩小。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
在附图中：
图1是本实施例1中烟雾检测方法示意图；
图2是本实施例1中第一重叠度示意图；
图3是本实施例1中第二重叠度示意图；
图4是本实施例1中烟雾检测方法流程图；
图5是本实施例2中烟雾检测装置示意图；
图6是本实施例3中图像处理设备硬件构成示意图。
具体实施方式
参照附图，通过下面的说明书，本发明实施例的前述以及其它特征将变得明显。这些实施方式只是示例性的，不是对本发明的限制。为了使本领域的技术人员能够容易地理解本发明的原理和实施方式，本发明实施例以图像压缩处理的重建图像为例进行说明，但可以理解，本发明实施例并不限于此，基于其他图像处理的重建图像也在本发明的包含范围内。
在本发明实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或至少两个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或至少两个其他特征、元素、元件或组件。
在本发明实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
下面参照附图对本发明的具体实施方式进行说明。
实施例1
本实施例1提供一种烟雾检测方法，图1是该方法流程图，如图1所示，该方法包括：
步骤101，在视频的多个帧图像中检测前景块；
步骤102，确定检测到的各个前景块的移动区域；
步骤103，确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；
步骤104，根据该第一重叠度和/或第二重叠度确定干扰前景块；
步骤105，在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。
在本实施例中，根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除烟雾检测中的干扰前景块，由此，可以解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
在本实施例中，在步骤101中，可以使用摄像头等设备获取包含多个帧图像的视频，并对该视频进行解码以获取该多个帧图像，该解码方法可以参考现有技术，例如将获取的视频码流进行熵解码、反量化、反变换后，与帧间预测结果整合处理获取该解码帧图像。
在本实施例中，在步骤101中，在检测前景块前，为了提高前景块的检测结果的准确性，还可以对该帧图像进行预处理，例如对各个帧图像进行锐化处理等，增强图像的边缘以及灰度跳变的部分，使得图像变得更清晰，消除或减少噪声，以便提取前景块，该锐化处理的具体方法可以采用现有技术，例如高通滤波或空域微分等，本实施例并不以此作为限制。
在本实施例中，在步骤101中，根据该多个(N)帧图像检测前景块，可以使用现有技术中帧差，背景减除，光流等算法检测前景块，例如可以采用基于高斯混合模型(GMM，Gaussian Mixture Model)的背景图像建模方法，对多个帧图像进行背景建模后获取前景块和背景图像。但本发明不限于此。
在本实施例中，在步骤102中，为了分析烟雾在运动过程中的特征，需要在时序上对疑似烟雾的前景块进行追踪分析，即在多个(N)帧图像中，追踪各个前景块的运动过程，以得到各个前景块在多个帧图像中的移动区域，该追踪方法可以采用现有的块匹配算法，例如，将帧图像分成不同的宏块，在相邻近帧图像设定的范围内进行搜索匹配，找到与当前帧(第N帧)中与该前景块最佳的相似块，判断相似程度的方法可以采用现有的最小平均绝对差值(MAD)以及最小均方误差(MSE)算法等，根据上述追踪算法可以确定该前景块在各个帧图像中的位置，多个帧图像中上述追踪的位置合并构成该前景块的移动区域。
在本实施例中，可选的，为了降低运算量，提高检测精度，在步骤101-102中可以进行预筛选，即在所有的前景块和移动区域中检测疑似烟雾的前景块和疑似烟雾的前景块的移动区域，例如在检测到的前景块的形状，轮廓，颜色等不符合烟雾特征时，不需要对这样的前景块进行追踪，或者在检测到前景块的移动区域是向下移动或完全不动，即不符合烟雾运动特征时，不需要对这样的前景块进行后续步骤103-105的处理。
在本实施例中，在室外环境中，当发生降雨或者光反射较强时，水滴或者光斑会落在视频监控的镜头上，由于水滴和光斑的颜色或轮廓等特征与烟雾类似，因此，可能会导致误检测。考虑到水滴或光斑等干扰物的运动方式与烟雾不同，例如，烟雾与上述干扰物相比，移动速度比较快，不会长时间在一个位置停留，移动区域的面积较大，而水滴或光斑等干扰物可能在视频图像的一个位置停留较长时间，移动区域的面积较小，本实施例提出了一种根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除疑似烟雾前景块中的干扰前景块的方法，以下结合步骤103和104详细说明。
在本实施例中，在步骤103-104的一个实施方式中，可以根据步骤101中检测到的前景块(或也可以为疑似烟雾前景块，以下不再区分说明)确定干扰前景块。
在该实施方式中，可以在步骤101中检测到前景块后，在步骤102的前景块追踪过程中确定干扰前景块。在计算一个前景块的第一重叠度时，计算该一个前景块在第一数量帧图像中的第一重叠面积，以及计算该一个前景块的第一面积，将该第一重叠面积与该第一面积的比值作为该一个前景块的第一重叠度，对于其他前景块的第一重叠度的计算方式与该一个前景块的第一重叠度的计算方式相同。
在该实施方式中，为了计算重叠面积，该第一数量需要大于或等于2，为了提高检测精度，该第一数量帧可以为相邻近帧，该相邻近帧表示与多个帧中的其中一帧相邻在一定范围内的帧，该其中一帧可以是当前帧(第N帧)，也可以是当前帧的前一帧(第N-1帧)，也可以是第N-i帧(i大于1)，本实施例并不以此作为限制。可选的，该相邻近帧是连续帧。该第一面积可以是该一个前景块在N帧图像中任意一帧图像中的面积，例如第N-1帧或第N帧，本实施例并不以此作为限制。
例如，该第一数量等于2时，该第一数量帧可以为所述视频的多个帧图像中的当前帧，即第N帧，和当前帧的前一帧，即第N-1帧。图2是该第一重叠度示意图，如图2所示，第N帧中检测到的前景块为A,B,C,D，第N-1帧中检测到的前景块为A’，B’，C’，D’，在前景块追踪过程中，A-A’为同一前景，B-B’为同一前景，C-C’为同一前景，D-D’为同一前景，针对前景块A-A’，其第一重叠度可以采用如下公式(1)计算：
Figure BDA0001914870950000061
其中，IoU1表示第一重叠度，BlobN-1和BlobN均可以表示该第一面积，BlobN-1∩BlobN表示该前景块在第N帧和第N-1帧中的第一重叠面积，以上以第一数量为2，前景块为A-A’为例说明如何计算该第一重叠度，该前景块B-B’,C-C’,D-D’的第一重叠度的计算方式与该公式(1)类似，另外，第一数量也可以大于2，该第一重叠面积可以是该前景块在三帧以上图像中的面积的重叠部分，此处不再一一说明。
在该实施方式中，与烟雾相比，由于水滴或光斑在相邻近帧中不会发生大幅度运动，换句话说，该干扰前景块的第一重叠面积与该第一面积接近，第一重叠度较大，因此，可以预先设定第一阈值，将第一重叠度大于或等于第一阈值的前景块确定为干扰前景块，该第一阈值可以根据经验确定，本实施例并不以此作为限制。
在本实施例中，在步骤103-104的另一个实施方式中，可以根据步骤101中检测到的前景块(或也可以为疑似烟雾前景块，以下不再区分说明)和步骤102中检测到的该前景块的移动区域(或也可以为疑似烟雾移动区域，以下不再区分说明)确定干扰前景块。
在该实施方式中，可以在步骤102的追踪结束后，结合步骤101和步骤102检测到的前景块和该前景块的移动区域确定干扰前景块。在计算一个前景块的第二重叠度时，计算该一个前景块的面积和该一个前景块的移动区域的第二面积的第二重叠面积，将该第二重叠面积与该第二面积的比值作为该第二重叠度。对于其他前景块的第二重叠度的计算方式与该一个前景块的第二重叠度的计算方式相同。
在该实施方式中，该前景块的面积的计算方式可以参考前述第一面积，该第二面积可以是上述N帧中检测到的移动区域的面积，也可以是N帧中位置靠后的第二数量帧中检测到的移动区域的面积，在该情况下，该前景块的面积可以是该第二数量帧中一帧图像中的面积，本实施例并不以此作为限制，该第二数量大于或等于该第一数量，该第二数量帧可以是相邻近帧，可选的，可以是连续帧。
例如，该前景块的面积为第N帧的面积，该移动区域的面积是N帧中该前景块移动区域的面积。图3是该第二重叠度示意图，如图3所示，第N帧中检测到的前景块为A,B，经过前景块追踪过程后，A在N帧中的移动区域为A”，B在N帧中的移动区域为B”，针对前景块A，其第二重叠度可以采用如下公式(2)计算：
Figure BDA0001914870950000071
其中，IoU2表示第二重叠度，BlobA表示该前景块的面积，BlobA”表示该前景块的移动区域的面积，BlobA∩BlobA"表示该第二重叠面积，以上以前景块为A为例说明如何计算该第二重叠度，该前景块B的第二重叠度的计算方式与该公式(2)类似，此处不再一一说明。
在该实施方式中，与烟雾相比，由于水滴或光斑在相邻近帧中不会发生大幅度运动，换句话说，该干扰前景块的移动区域面积较小，与前景块的面积接近，第二重叠度较大，因此，可以预先设定第二阈值，将第二重叠度大于或等于第二阈值的前景块确定为干扰前景块，该第二阈值可以根据经验确定，本实施例并不以此作为限制。
在本实施例中，在步骤103-104的另一个实施方式中，可以分别计算上述第一重叠度和第二重叠度，根据该第一重叠度和第二重叠度确定并去除干扰前景块，此处不再赘述。
在本实施例中，在步骤105中，在去除该干扰前景块的剩余前景块(或剩余疑似烟雾前景块)的移动区域中提取特征，例如，该特征可以包括饱和度相关信息、灰度方差值、梯灰度平均值等，根据上述特征判断是否存在烟雾。其中，提取上述特征的方法可以参考现有技术，此处不再一一举例。
例如，一般烟雾的饱和度较低，在提取特征为饱和度平均值时，判断该饱和度平均值是否大于或等于第三阈值，在大于或等于第三阈值时，确定不存在烟雾。
例如，一般烟雾的纹理较低，在提取特征为灰度方差时，判断该灰度方差是否大于或等于第四阈值，在大于或等于第四阈值时，确定不存在烟雾。
例如，一般烟雾具有弥漫发散的特性，在提取特征为灰度平均值时，判断该灰度平均值与背景灰度平均值的差值是否小于或等于第五阈值，在小于或等于第五阈值时，确定不存在烟雾。
以上对于如何判断是否存在烟雾进行了示意性说明，但本发明不限于此，例如还可以使用其他的特征进行判断，例如梯度方向等。此外，可以采用上述实施方式中的一种或多种，例如可以仅使用其中的某一种实施方式，也可以使用上述至少两种实施方式。并且上述判断之间也不存在执行顺序的限制；在实际应用时，可以根据实际情况确定具体的检测方案。
图4是本实施例烟雾检测方法的流程图，如图4所示，该方法包括：
步骤401，获取视频数据，并对该视频数据进行解码，以获得多个帧图像；
步骤402(可选)，对该视频数据进行预处理；
步骤403，在多个帧图像中检测前景块；
步骤404，确定检测到的各个前景块的移动区域；
步骤405，根据前景块和移动区域去除干扰前景块；
步骤406，在剩余前景块的移动区域中提取特征；
步骤407，根据该提取的特征检测烟雾。
在本实施例中，步骤401-404的实施方式请参考前述步骤101-102，步骤406-407的实施方式请参考前述步骤105，此处不再赘述。
在本实施例中，在步骤405中，可以根据该前景块和移动区域计算上述第一重叠度和/或第二重叠度，根据该第一重叠度和/或第二重叠度确定干扰前景块(水滴或光斑)，其实施方式请参考步骤103-104，此处不再赘述，此外，在步骤405中，还包括使用其他方法去除其他类型的干扰前景块，例如去除车辆，人物等移动干扰前景块或静止干扰前景块等，该确定移动干扰前景块或静止干扰前景块的方法可以参考现有技术，此处不再赘述。因此，通过步骤405，在检测到的前景块中预先去除了部分干扰前景块，不仅能够提高烟雾检测的准确率，还可以提高烟雾检测的速度。
通过上述实施例，根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除烟雾检测中的干扰前景块，由此，可以解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
实施例2
本实施例2还提供一种烟雾检测装置。由于该装置解决问题的原理与实施例1的方法类似，因此其具体的实施可以参考实施例1的方法的实施，内容相同之处不再重复说明。
图5是该烟雾检测装置构成示意图，如图5所示，该装置500包括：
前景检测单元501，其用于在视频的多个帧图像中检测前景块；
块追踪单元502，其用于确定检测到的各个前景块的移动区域；
计算单元503，其用于确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；
块去除单元504，其用于根据该第一重叠度和/或第二重叠度确定干扰前景块；
烟雾检测单元505，其用于在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。
在本实施例中，根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除烟雾检测中的干扰前景块，由此，可以解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
在本实施例中，前景检测单元501，块追踪单元502，计算单元503，块去除单元504，烟雾检测单元505的实施方式可以参考实施例1中步骤101-105，此处不再赘述。
在本实施例中，在计算一个前景块的第一重叠度时，该计算单元503计算该一个前景块在第一数量帧图像中的第一重叠面积，以及计算该一个前景块的第一面积，将该第一重叠面积与该第一面积的比值作为该第一重叠度。
例如，该第一数量大于或等于2，该第一数量帧可以为该视频的多个帧图像中的当前帧和当前帧的前一帧，可选的，该第一数量帧可以为连续帧。
在本实施例中，在计算一个前景块的第二重叠度时，该计算单元503计算该一个前景块的面积和该一个前景块的移动区域的第二面积的第二重叠面积，将该第二重叠面积与该第二面积的比值作为该第二重叠度。
在本实施例中，该块去除单元504将该第一重叠度大于或等于第一阈值的前景块确定为干扰前景块，和/或，该块去除单元504将该第二重叠度大于或等于第二阈值的前景块确定为干扰前景块。
例如，该干扰前景块是水滴和/或光斑。
通过上述实施例，根据各个前景块在至少两个帧图像中的重叠度，和/或根据各个前景块和该前景块对应的移动区域的重叠度确定并去除烟雾检测中的干扰前景块，由此，可以解决现有技术中存在的问题，能够提高烟雾检测的准确率，避免水滴或光斑等干扰物造成的误检测。
实施例3
本发明实施例还提供一种图像处理设备，包括有如实施例2所述的烟雾检测装置，其内容被合并于此。该图像处理设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本发明实施例不限于此。
图6是本发明实施例的图像处理设备的示意图。如图6所示，图像处理设备600可以包括：处理器(例如中央处理器CPU)610和存储器620；存储器620耦合到中央处理器610。其中该存储器620可存储各种数据；此外还存储信息处理的程序，并且在处理器610的控制下执行该程序。
在一个实施方式中，烟雾检测装置500的功能可以被集成到处理器610中。其中，处理器610可以被配置为实现如实施例1所述的烟雾检测方法。
在另一个实施方式中，烟雾检测装置500可以与处理器610分开配置，例如可以将烟雾检测装置500配置为与处理器610连接的芯片，通过处理器610的控制来实现烟雾检测装置500的功能。
例如，处理器610可以被配置为进行如下的控制：在视频的多个帧图像中检测前景块；确定检测到的各个前景块的移动区域；确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和该前景块对应的移动区域的第二重叠度；根据该第一重叠度和/或第二重叠度确定干扰前景块；在去除该干扰前景块的剩余前景块的移动区域中提取特征，并根据该特征检测烟雾。
该处理器610的具体实施方式可以参考实施例1，此处不再赘述。
此外，如图6所示，图像处理设备600还可以包括：收发单元630等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备600也并不是必须要包括图6中所示的所有部件；此外，图像处理设备600还可以包括图6中没有示出的部件，可以参考现有技术。
本发明实施例还提供一种计算机可读程序，其中当在烟雾检测装置中执行该程序时，该程序使得计算机在该烟雾检测装置中执行如上面实施例1中的烟雾检测方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中该计算机可读程序使得计算机在烟雾检测装置中执行上面实施例1中的烟雾检测方法。
结合本发明实施例描述的在烟雾检测装置中烟雾检测的方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图5-6所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图1、4所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在烟雾检测装置的存储器中，也可以存储在可插入烟雾检测装置的存储卡中。
针对图5-6描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图5-6描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
关于包括以上多个实施例的实施方式，还公开下述的附记。
附记1、一种烟雾检测装置，其中，所述装置包括：
前景检测单元，其用于在视频的多个帧图像中检测前景块；
块追踪单元，其用于确定检测到的各个前景块的移动区域；
计算单元，其用于确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和所述前景块对应的移动区域的第二重叠度；
块去除单元，其用于根据所述第一重叠度和/或第二重叠度确定干扰前景块；
烟雾检测单元，其用于在去除所述干扰前景块的剩余前景块的移动区域中提取特征，并根据所述特征检测烟雾。
2、根据附记1所述的装置，其中，在计算一个前景块的第一重叠度时，所述计算单元计算所述一个前景块在第一数量帧图像中的第一重叠面积，以及计算所述一个前景块的第一面积，将所述第一重叠面积与所述第一面积的比值作为所述第一重叠度。
3、根据附记2所述的装置，其中，所述第一数量大于或等于2。
4、根据附记2所述的装置，其中，所述第一数量帧为所述视频的多个帧图像中的当前帧和当前帧的前一帧。
5、根据附记2所述的装置，其中，所述第一数量帧为连续帧。
6、根据附记1所述的装置，其中，在计算一个前景块的第二重叠度时，所述计算单元计算所述一个前景块的面积和所述一个前景块的移动区域的第二面积的第二重叠面积，将所述第二重叠面积与所述第二面积的比值作为所述第二重叠度。
7、根据附记1所述的装置，其中，所述块去除单元将所述第一重叠度大于或等于第一阈值的前景块确定为干扰前景块，和/或，所述块去除单元将所述第二重叠度大于或等于第二阈值的前景块确定为干扰前景块。
8、根据附记1所述的装置，其中，所述干扰前景块是水滴和/或光斑。
9、一种烟雾检测方法，其中，所述方法包括：
在视频的多个帧图像中检测前景块；
确定检测到的各个前景块的移动区域；
确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和所述前景块对应的移动区域的第二重叠度；
根据所述第一重叠度和/或第二重叠度确定干扰前景块；
在去除所述干扰前景块的剩余前景块的移动区域中提取特征，并根据所述特征检测烟雾。
10、根据附记9所述的方法，其中，在计算一个前景块的第一重叠度时，所述方法包括：
计算所述一个前景块在第一数量帧图像中的第一重叠面积，以及计算所述一个前景块的第一面积，将所述第一重叠面积与所述第一面积的比值作为所述第一重叠度。
11、根据附记10所述的方法，其中，所述第一数量大于或等于2。
12、根据附记10或11所述的方法，其中，所述第一数量帧为所述视频的多个帧图像中的当前帧和当前帧的前一帧。
13、根据附记10或11所述的方法，其中，所述第一数量帧为连续帧。
14、根据附记9所述的方法，其中，在计算一个前景块的第二重叠度时，所述方法包括：
计算所述一个前景块的面积和所述一个前景块的移动区域的第二面积的第二重叠面积，将所述第二重叠面积与所述第二面积的比值作为所述第二重叠度。
15、根据附记9所述的方法，其中，根据所述第一重叠度和/或第二重叠度确定干扰前景块包括：
将所述第一重叠度大于或等于第一阈值的前景块确定为干扰前景块，和/或，所述块去除单元将所述第二重叠度大于或等于第二阈值的前景块确定为干扰前景块。
16、根据附记9所述的方法，其中，所述干扰前景块是水滴和/或光斑。
17、一种图像处理设备，其中，所述设备包括附记1中的烟雾检测装置。

Claims (10)

1.一种烟雾检测装置，其中，所述装置包括：
前景检测单元，其用于在视频的多个帧图像中检测前景块；
块追踪单元，其用于确定检测到的各个前景块的移动区域；
计算单元，其用于确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和所述前景块对应的移动区域的第二重叠度；
块去除单元，其用于根据所述第一重叠度和/或第二重叠度确定干扰前景块；
烟雾检测单元，其用于在去除所述干扰前景块的剩余前景块的移动区域中提取特征，并根据所述特征检测烟雾。
2.根据权利要求1所述的装置，其中，在计算一个前景块的第一重叠度时，所述计算单元计算所述一个前景块在第一数量帧图像中的第一重叠面积，以及计算所述一个前景块的第一面积，将所述第一重叠面积与所述第一面积的比值作为所述第一重叠度。
3.根据权利要求2所述的装置，其中，所述第一数量大于或等于2。
4.根据权利要求2所述的装置，其中，所述第一数量帧为所述视频的多个帧图像中的当前帧和当前帧的前一帧。
5.根据权利要求2所述的装置，其中，所述第一数量帧为连续帧。
6.根据权利要求1所述的装置，其中，在计算一个前景块的第二重叠度时，所述计算单元计算所述一个前景块的面积和所述一个前景块的移动区域的第二面积的第二重叠面积，将所述第二重叠面积与所述第二面积的比值作为所述第二重叠度。
7.根据权利要求1所述的装置，其中，所述块去除单元将所述第一重叠度大于或等于第一阈值的前景块确定为干扰前景块，和/或，所述块去除单元将所述第二重叠度大于或等于第二阈值的前景块确定为干扰前景块。
8.根据权利要求1所述的装置，其中，所述干扰前景块是水滴和/或光斑。
9.一种烟雾检测方法，其中，所述方法包括：
在视频的多个帧图像中检测前景块；
确定检测到的各个前景块的移动区域；
确定各个前景块在至少两个帧图像中的第一重叠度，和/或确定各个前景块和所述前景块对应的移动区域的第二重叠度；
根据所述第一重叠度和/或第二重叠度确定干扰前景块；
在去除所述干扰前景块的剩余前景块的移动区域中提取特征，并根据所述特征检测烟雾。
10.根据权利要求9所述的方法，其中，确定各个前景块在至少两个帧图像中的第一重叠度包括：
在计算一个前景块的第一重叠度时，计算所述一个前景块在第一数量帧图像中的第一重叠面积，以及计算所述一个前景块的第一面积，将所述第一重叠面积与所述第一面积的比值作为所述第一重叠度；
确定各个前景块和所述前景块对应的移动区域的第二重叠度包括：
在计算一个前景块的第二重叠度时，计算所述一个前景块的面积和所述一个前景块的移动区域的第二面积的第二重叠面积，将所述第二重叠面积与所述第二面积的比值作为所述第二重叠度。
CN201811568382.2A 2018-12-21 2018-12-21 烟雾检测方法和装置 Pending CN111353334A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811568382.2A CN111353334A (zh) 2018-12-21 2018-12-21 烟雾检测方法和装置
EP19211478.3A EP3671537A1 (en) 2018-12-21 2019-11-26 Smoke detection method and apparatus
US16/714,010 US11210916B2 (en) 2018-12-21 2019-12-13 Smoke detection method and apparatus
JP2019225093A JP2020102212A (ja) 2018-12-21 2019-12-13 煙検出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811568382.2A CN111353334A (zh) 2018-12-21 2018-12-21 烟雾检测方法和装置

Publications (1)

Publication Number Publication Date
CN111353334A true CN111353334A (zh) 2020-06-30

Family

ID=68696323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811568382.2A Pending CN111353334A (zh) 2018-12-21 2018-12-21 烟雾检测方法和装置

Country Status (4)

Country Link
US (1) US11210916B2 (zh)
EP (1) EP3671537A1 (zh)
JP (1) JP2020102212A (zh)
CN (1) CN111353334A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203359A (zh) * 2021-03-23 2021-08-03 上海工程技术大学 一种基于机器视觉的雾柱自动检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944267A (zh) * 2010-09-08 2011-01-12 大连古野软件有限公司 基于视频的烟火检测装置
CN102332092A (zh) * 2011-09-14 2012-01-25 广州灵视信息科技有限公司 一种基于视频分析的火焰检测方法
CN103678299A (zh) * 2012-08-30 2014-03-26 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN107274374A (zh) * 2017-07-03 2017-10-20 辽宁科技大学 一种基于计算机视觉技术的烟雾监测方法
CN107301375A (zh) * 2017-05-26 2017-10-27 天津大学 一种基于稠密光流的视频图像烟雾检测方法
CN108074234A (zh) * 2017-12-22 2018-05-25 湖南源信光电科技股份有限公司 一种基于目标跟踪和多特征融合的大空间火焰检测方法
CN108229458A (zh) * 2017-12-22 2018-06-29 湖南源信光电科技股份有限公司 一种基于运动检测和多特征提取的火焰智能识别方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006097681A1 (en) * 2005-03-17 2006-09-21 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
EP2012273B1 (en) 2006-04-26 2019-05-29 Mitsubishi Electric Corporation Object detection device, and object detection device for elevator
JP4926603B2 (ja) 2006-08-17 2012-05-09 能美防災株式会社 煙検出装置
US7859419B2 (en) 2006-12-12 2010-12-28 Industrial Technology Research Institute Smoke detecting method and device
KR100858140B1 (ko) 2007-02-20 2008-09-10 (주)에이치엠씨 영상처리를 이용한 화재 감지 방법 및 시스템
EP2000952B1 (en) 2007-05-31 2013-06-12 Industrial Technology Research Institute Smoke detecting method and device
CN101609589A (zh) 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测系统
US7786877B2 (en) 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
CN101441771B (zh) 2008-12-19 2011-07-20 中国科学技术大学 基于色彩饱和度与运动模式的视频火灾烟雾检测方法
CN101738394B (zh) 2009-02-11 2011-10-05 北京智安邦科技有限公司 室内烟雾检测方法及系统
CN101751558B (zh) 2009-12-16 2011-12-14 北京智安邦科技有限公司 一种基于视频的隧道烟雾检测方法及装置
US9082165B2 (en) 2010-05-31 2015-07-14 Dvp Technologies Ltd. Inspection of region of interest
CN101908141B (zh) 2010-08-04 2014-05-07 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN101916372B (zh) 2010-09-08 2012-12-26 大连古野软件有限公司 基于视频的多特征融合的烟检测装置和方法
CN102136059B (zh) 2011-03-03 2012-07-04 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
CN102663869B (zh) 2012-04-23 2013-09-11 国家消防工程技术研究中心 基于视频监控平台的室内火灾检测方法
JP5971761B2 (ja) 2013-03-26 2016-08-17 能美防災株式会社 煙検出装置および煙検出方法
DE102013017395B3 (de) 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
CN104978733B (zh) 2014-04-11 2018-02-23 富士通株式会社 烟雾检测方法以及装置
CN104050480A (zh) 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法
CN103983574B (zh) 2014-06-03 2016-08-24 上海安维尔信息科技有限公司 一种烟雾检测方法
CN104316974B (zh) 2014-11-04 2017-03-01 青岛橡胶谷知识产权有限公司 森林烟雾区域检测系统
CN104408745A (zh) 2014-11-18 2015-03-11 北京航空航天大学 一种基于视频图像的实时烟雾场景检测方法
JP6620888B2 (ja) 2015-11-20 2019-12-18 富士通株式会社 煙検出装置、方法及び画像処理装置
CN105528581B (zh) 2015-12-10 2018-12-11 华南理工大学 基于仿生颜色感应模型的视频烟雾事件智能检测方法
US10026193B2 (en) * 2016-05-24 2018-07-17 Qualcomm Incorporated Methods and systems of determining costs for object tracking in video analytics
US10269135B2 (en) * 2017-03-14 2019-04-23 Qualcomm Incorporated Methods and systems for performing sleeping object detection in video analytics
US10373320B2 (en) * 2017-03-17 2019-08-06 Uurmi Systems PVT, LTD Method for detecting moving objects in a video having non-stationary background
CN107067412A (zh) 2017-04-01 2017-08-18 江苏移动信息系统集成有限公司 一种多信息融合的视频火焰烟雾检测方法
CN107749067A (zh) 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944267A (zh) * 2010-09-08 2011-01-12 大连古野软件有限公司 基于视频的烟火检测装置
CN102332092A (zh) * 2011-09-14 2012-01-25 广州灵视信息科技有限公司 一种基于视频分析的火焰检测方法
CN103678299A (zh) * 2012-08-30 2014-03-26 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN107301375A (zh) * 2017-05-26 2017-10-27 天津大学 一种基于稠密光流的视频图像烟雾检测方法
CN107274374A (zh) * 2017-07-03 2017-10-20 辽宁科技大学 一种基于计算机视觉技术的烟雾监测方法
CN108074234A (zh) * 2017-12-22 2018-05-25 湖南源信光电科技股份有限公司 一种基于目标跟踪和多特征融合的大空间火焰检测方法
CN108229458A (zh) * 2017-12-22 2018-06-29 湖南源信光电科技股份有限公司 一种基于运动检测和多特征提取的火焰智能识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203359A (zh) * 2021-03-23 2021-08-03 上海工程技术大学 一种基于机器视觉的雾柱自动检测系统

Also Published As

Publication number Publication date
EP3671537A1 (en) 2020-06-24
JP2020102212A (ja) 2020-07-02
US20200202695A1 (en) 2020-06-25
US11210916B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
Maddalena et al. Towards benchmarking scene background initialization
JP4766495B2 (ja) 対象物追跡装置および対象物追跡方法
KR102150776B1 (ko) 얼굴 위치 추적 방법, 장치 및 전자 디바이스
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
EP3008696B1 (en) Tracker assisted image capture
US9947077B2 (en) Video object tracking in traffic monitoring
US20130070105A1 (en) Tracking device, tracking method, and computer program product
KR100670003B1 (ko) 적응형 문턱치를 이용한 영상의 평탄 영역 검출장치 및 그방법
US10991103B2 (en) Method for extracting person region in image and apparatus using the same
JP2016095808A (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
CN109584266B (zh) 一种目标检测方法及装置
KR20140028809A (ko) 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
US20180047271A1 (en) Fire detection method, fire detection apparatus and electronic equipment
JP2007148663A (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2012073971A (ja) 動画オブジェクト検出装置、方法、及びプログラム
JP2020504383A (ja) 画像前景の検出装置、検出方法及び電子機器
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN113256683B (zh) 目标跟踪方法及相关设备
KR101296318B1 (ko) 적응적 블록 분할에 의한 객체 추적 장치 및 방법
CN111353334A (zh) 烟雾检测方法和装置
CN111625683A (zh) 基于图结构差异分析的视频摘要自动生成方法及系统
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
Gomez-Nieto et al. Quality aware features for performance prediction and time reduction in video object tracking
CN109102526B (zh) 无人机的监控系统的前景检测方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200630

WD01 Invention patent application deemed withdrawn after publication