CN116311000A - 烟火检测方法、检测装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种烟火检测方法、检测装置、设备及存储介质。其中，方法包括：获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标；获取每帧目标图像的疑似烟火目标的重心；基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火。由此，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

Description

烟火检测方法、检测装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种烟火检测方法、检测装置、设备及存储介质。

背景技术

火灾是容易发生且具有严重破坏性的灾害,对人类生命财产安全均造成重大的威胁。及时准确地发现着火点并实现烟火预警,可以帮助人们及时应对并减少很多不必要的损失。图像作为一种静态的数据缺乏动态信息，对于烟火的检测缺少动态性，视频具有一定的时空信息，对于目标可以做到动态的感知。

目前基于视频的烟火检错方法主要为：利用火焰和烟雾的颜色特征进行检测。其检测原理是，在RGB色彩空间中，火焰的R分量的值要大于G和B分量的值并且R的值要大于特定阈值，烟雾主要呈现深灰色或者浅灰色；在HSV空间中，火焰的饱和度要大于特定阈值。

相关技术中，一种方法是通过疑似烟雾区域的特征统计，利用预先设置的特征统计决策判断是否为烟雾，这些特征包括邻帧相似特征、空间相似特征、梯度密度特征以及颜色模型特征。另一种方法是基于边缘检测算子的火灾图像探测系统，对图像进行增强、滤波后经灰度拉伸提高图像的对比度后，利用边缘检测算子对单帧图像进行边缘检测，根据检测后的数据计算火焰特征参数。还有一种方法是利用递归背景估计算法提取运动区域，然后根据混合高斯颜色模型提取火焰颜色特征，根据视频序列降采样提取时域特征，根据小波变换提取频域特征后判断是否符合火焰特征。又有一种方法是通过提取前景的边缘，判断边缘形状是否存在尖角来获取火焰的尖角特征，通过前景像素的亮度变化次数来获取火焰的闪烁特征，然后结合颜色特征、帧序列的图像相关性以及利用小波分解的方法进行图像高频能量检测来判断视频中是否存在火焰，通过周长的平方与面积的比值得到的烟雾的不规则特征、通过前景面积的不断增大来获得烟雾的扩散性特征，然后结合颜色特征、边缘能量减少特征、色彩饱和度特征判断视频图像中是否存在烟雾。

现有技术存在以下缺陷：

（1）易漏报

烟火作为一种非刚体目标，形态多变；现有技术中根据火焰的形态特征，比如根据圆形度、尖角特征判断是否为火焰，根据扩散性、向上运动、背景模糊等特征判断是否为烟雾的方法容易引起漏报，由于火焰和烟雾的大小形状是非常不固定的，变化大多数并不连续，很容易受到风吹和光照的影响，有时很难满足以上特征。

（2）易误报

现有技术中利用颜色或者形态特征提取烟火信息，会受到很多外界因素的影响，例如晚霞，灯光等，而且目标自身由于相机拍摄存在运动模糊的问题也会对目标造成很大的干扰，很容易产生误报。

（3）运算量大，硬件实现困难

现有技术中基于主运动方向积累检测烟火的方法容易引起较大的内存消耗，利用小波变换的频域特征检测烟火的方法需要较高的运算精度，硬件实现有局限性。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种烟火检测方法，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种烟火检测装置。

为达上述目的，本发明的第一方面实施例提出了一种烟火检测方法，获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标；获取每帧目标图像的疑似烟火目标的重心；在基于重心确定多帧目标图像中的疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火。

根据本发明实施例的烟火检测方法，获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标，并获取每帧目标图像的疑似烟火目标的重心，在基于重心确定多帧目标图像中的疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，由此，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

在一些实施例中，基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，包括：基于重心获取每相邻两帧目标图像的疑似烟火目标的重心偏移度，以作为疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，包括：在每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内的情况下，确定疑似烟火目标为烟火。

在一些实施例中，基于重心确定确定多帧目标图像中的疑似烟火目标的偏移情况，包括：基于重心获取每相邻两帧目标图像的烟火目标的重心偏移度；基于重心偏移度以及每相邻两帧目标图像的时间差，确定每相邻两帧目标图像的烟火目标的重心偏移速度；获取多帧目标图像对应的重心偏移速度的平均值，得到重心偏移平均速度，以作为疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，包括：在重心偏移平均速度处于预设偏移速度范围内的情况下，确定疑似烟火目标为烟火。

在一些实施例中，在每帧目标图像包括多个疑似烟火目标时，在获取每帧目标图像的疑似烟火目标的重心之前，烟火检测方法还包括：对每帧目标图像的多个疑似烟火目标进行合并，得到一个疑似烟火目标。

在一些实施例中，对每帧目标图像的多个疑似烟火目标进行合并，包括：针对每帧目标图像，按照疑似烟火目标的面积从大到小进行形态学膨胀，以将相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标。

在一些实施例中，在获取多帧目标图像之后，烟火检测方法还包括：获取每相邻两帧目标图像的差异目标区域；基于差异目标区域和疑似烟火目标区域，对多帧目标图像进行过滤。

在一些实施例中，获取每相邻两帧目标图像的差异目标区域，包括：对每相邻两帧目标图像进行灰度处理，得到相应的灰度图；对每相邻两帧目标图像对应的灰度图进行与运算得到差分图像；对差分图像进行二值化处理和边缘检测，得到差异目标区域。

在一些实施例中，基于差异目标区域和疑似烟火目标区域，对多帧目标图像进行过滤，包括：若差异目标区域与疑似烟火目标区域未存在重叠，则过滤目标图像中未重叠的疑似烟火目标区域。

在一些实施例中，获取多帧目标图像，包括：将多帧环境图像分别输入至预设神经网络模型，其中，神经网络模型用于对环境图像进行语义分割以识别环境图像中的疑似烟火目标；若识别到环境图像中存在疑似烟火目标，则确定环境图像为目标图像。

为达上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述任一实施例的烟火检测方法。

根据本发明实施例的计算机可读存储介质，采用上述的烟火检测方法，从而能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

为达上述目的，本发明第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时，实现上述任一实施例的烟火检测方法。

根据本发明实施例的电子设备，采用上述的烟火检测方法，从而能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

为达上述目的，本发明第四方面实施例提出了一种烟火检测装置，装置包括：图像获取模块，用于获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标；重心获取模块，用于获取每帧目标图像的疑似烟火目标的重心；烟火识别模块，用于基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，并在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火。

根据本发明实施例的烟火检测装置，通过图像获取模块获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标，并通过重心获取模块获取每帧目标图像的疑似烟火目标的重心，以及通过烟火识别模块基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，并在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为根据本发明一个实施例的烟火检测方法的流程示意图；

图2为根据本发明一个具体实施例的烟火检测方法的流程示意图；

图3为根据本发明一个实施例电子设备的结构示意图；

图4为根据本发明一个实施例烟火检测装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的烟火检测方法、检测装置、设备及存储介质。

图1为根据本发明一个实施例的烟火检测方法的流程示意图。参考图1所示，该烟火检测方法包括以下步骤：

S101，获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标。

具体来说，可以通过终端拍摄多帧包括疑似烟火目标的目标图像，其中，终端可以为手机、摄像机、Ipid或智能手表等。疑似烟火目标是通过对拍摄的多帧图像进行特征提取得到的。可以理解的是，由于外界外接因素的影响，例如晚霞灯光等，疑似烟火目标不仅包括烟火，还可能包括晚霞和灯光等。

另外，还可以通过网络获取多帧包括疑似烟火目标的图像，以此作为目标图像。

S102，获取每帧目标图像的疑似烟火目标的重心。

具体来说，在获取到多帧目标图像之后，可以对每帧目标图像的疑似烟火目标进行重心计算，得到每帧目标图像的疑似烟火目标的重心坐标。

具体来说，对每帧目标图像的疑似烟火目标做二值化处理，设非疑似烟火目标的像素点的质量为0，疑似烟火目标的像素点的质量为1，那么每帧目标图像的疑似烟火目标的重心（x,y）可以使用下式计算：

x=(x1+x2+…+xn)/n

y=(y1+y2+…+yn)/n

式中，xn为第n个像素点在x轴方向的质量，yn为第n个像素点在y轴方向的质量。

S103，基于重心确定多帧目标图像中的疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火。

可以理解的是，烟火是一种动态的变化过程，由于烟火的源头是相对固定的，烟火重心的偏移是在预设范围内的，而对于灯光而言，同一位置拍摄的包括灯光的图像，灯光的重心位置是不随拍摄时间的变化而变化的，同样，对于包括晚霞的图像而言，在没有风的情况下，同一位置拍摄的包括灯光的图像重心位置也不会发生变化，而在有风的情况下，晚霞会随着风的影响而发生较大的偏移。因此，可以基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，在偏移情况满足预设偏移情况时，便可确认疑似烟火目标为烟火，由此，能够除去晚霞或灯光等目标的误检，从而提高烟火检测的准确性。

在本实施例中，获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标，获取每帧目标图像的疑似烟火目标的重心，基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，由此，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

作为一种可能实现的方式，基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，包括：基于重心获取每相邻两帧目标图像的疑似烟火目标的重心偏移度，以作为疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，包括：在每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内的情况下，确定疑似烟火目标为烟火。

具体来说，由于烟火是一个动态的变化过程，因此，当疑似烟火目标为烟火时，每相邻两帧目标图像的疑似烟火目标的重心必然也是发生变化的，即每相邻两帧目标图像的疑似烟火目标会发生重心偏移。因此，在计算出每帧目标图像的疑似烟火目标的重心坐标（x1,y1）和（x2,y2）之后，可以基于重心坐标（x1,y1）和（x2,y2）计算每相邻两帧目标图像的疑似烟火目标的重心偏移度s，计算公式如下：

在每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内的情况下，可以确定疑似烟火目标为烟火。

具体来说，可以通过大量实验或查阅资料获取每相邻两帧真实烟火图像的预设偏移度，在计算每帧相邻两帧目标图像的疑似烟火目标的重心偏移度之后，若每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内，则可以确定疑似烟火目标为烟火。例如，设置阈值10个像素，当每帧相邻两帧目标图像的疑似烟火目标的重心偏移度均处于大于1个像素小于10个像素的范围内时，则可以判断疑似烟火目标为烟火，若每相邻两帧的疑似烟火目标未处于预设偏移度范围内时，则说明疑似烟火目标为误检，那么就可以将误检的疑似烟火目标删除。

作为另一种可能实现的方式，基于重心确定确定多帧目标图像中的疑似烟火目标的偏移情况，包括：基于重心获取每相邻两帧目标图像的烟火目标的重心偏移度；基于重心偏移度以及每相邻两帧目标图像的时间差，确定每相邻两帧目标图像的烟火目标的重心偏移速度；获取多帧目标图像对应的重心偏移速度的平均值，得到重心偏移平均速度，以作为疑似烟火目标的偏移情况；在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，包括：在重心偏移平均速度处于预设偏移速度范围内的情况下，确定疑似烟火目标为烟火。

具体来说，烟火在变化过程中，其重心会以一定的速度发生偏移，因此，在基于重心获取每相邻两帧目标图像的烟火目标的重心偏移度s之后，可以进一步基于重心偏移度s以及每相邻两帧目标图像的时间差t确定每相邻两帧目标图像的烟火目标的重心偏移速度v=s/t,接着基于每相邻两帧目标图像的烟火目标的重心偏移速度v计算目标图像对应的重心偏移速度的平均值

=v/(n-1),其中，n为目标图像的帧数，从而得到重心偏移平均速度。另外，可以根据实际情况获取预设偏移速度范围，例如，在有风的场景中，考虑到风力会影响烟火目标的重心偏移速度，因此可以根据实时的风速设定偏移速度范围，当重心偏移平均速度大于等于预设偏移速度范围的最大偏移速度时，则说明疑似烟火目标可能为类似云彩或雾等等得非烟火目标；当重心偏移平均速度小于预设偏移速度范围的最小偏移速度时则说明疑似烟火目标没有怎么移动，表明疑似烟火目标可能为灯光等的非烟火目标；当重心偏移平均速度处于预设偏移速度范围内的情况下，则可以确定疑似烟火目标为烟火。由此可以减少云彩或雾等非烟火目标的误检。

在一些实施例中，在每帧目标图像包括多个疑似烟火目标时，在获取每帧目标图像的疑似烟火目标的重心之前，烟火检测方法还包括：对每帧目标图像的多个疑似烟火目标进行合并，得到一个疑似烟火目标。

具体来说，每帧目标图像可能包括多个离散的疑似烟火目标，为了降低多个疑似烟火目标存在的选择性偏差的影响，在获取每帧目标图像的疑似烟火目标的重心之前，需要对每帧目标图像的多个疑似烟火目标进行合并，形成一个整体的疑似烟火目标，再对整体的疑似烟火目标进行重心计算。

在一些实施例中，对每帧目标图像的多个疑似烟火目标进行合并的方法可以为：针对每帧目标图像，按照疑似烟火目标的面积从大到小进行形态学膨胀，以将相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标。

需要说明的是，膨胀是指数学形态学中的一种算法，该算法主要是将二值化图像中的目标像素接触的所有背景点都合并到目标物体中，使目标像素的边界向外扩张的过程。如果两个目标像素间隔较近，膨胀后会将两个目标像素连通在一起。简单来说，图像的碰撞处理实际上是将图像的外围扩充一圈，同时保留图像内部的部分。

图像的膨胀效果由用于膨胀的结构元素决定，膨胀的数学公式如下所示：

S=X⊕B={x，y|B∩X≠Ψ}

式中，S表示膨胀后的二值化图像像素点集合，X表示原始二值化图像像素点集合，B表示用于膨胀的结构元素，Ψ表示空集。其中，结构元素B中的每一个像素点可以是0或1，其可组成任意形状的图像，且该图形中需要有一中心点用于表示待判断的像素点。

上述数学公式的含义是：使用结构元素 B 来遍历原始二值化图像X图像区域中的每个像素点,设X图像中和结构元素B中心点重合的像素点坐标为(x, y),如果结构元素B和X图像中目标区域的交集非空，就将坐标(x，y)设置成目标像素点，以此实现目标区域的向外扩张。

图像的膨胀，可分为三种；水平膨胀、垂直膨胀和全方向膨胀。

水平膨胀：遍历目标图像中的目标区域，只考虑目标像素及其相邻的左右两个像素的灰度值，确认其与膨胀的结构元素是否有交点，即存在至少一处对应的灰度值相等。如果有交点，则处理该像素点。否则将该像素点删除。

垂直膨胀:遍历目标图像中的目标区域，只考虑目标像素及其相邻的上下两个像素的灰度值，确认其与膨胀的结构元素是否有交点，即存在至少一处对应的灰度值相等。如果有交点，则处理该像素点。否则将该像素点删除。

全方位膨胀:遍历目标图像中的目标区域，只考虑目标像素及其相邻的上下左右四个像素的灰度值，确认其与膨胀的结构元素是否有交点，即存在至少一处对应的灰度值相等。如果有交点，则处理该像素点。否则将该像素点删除。

在本实施例中，针对包括多个疑似烟火目标的每帧目标图像，可以将多个疑似烟火目标按照面积从大到小进行排序，采用全方位膨胀的方式对多个疑似烟火目标进行形态学膨胀。具体膨胀过程是：遍历目标图像中的各个疑似烟火目标区域，只考虑目标像素及其相邻的上下左右四个像素的灰度值，确认其与膨胀的结构元素是否有交点，即存在至少一处对应的灰度值相等；如果有交点，则处理该像素点，否则将该像素点删除，实现将相邻的小面积的疑似烟火目标和大面积的疑似烟火目标进行合并，形成一个整体的疑似烟火目标，并对完整的疑似烟火目标进行重心计算，由此，不但保证了疑似烟火目标的完整性，还能提高重心计算的准确性。

在一些实施例中，在获取多帧目标图像之后，烟火检测方法还包括：获取每相邻两帧目标图像的差异目标区域；基于差异目标区域和疑似烟火目标区域，对多帧目标图像进行过滤。

具体来说，由于烟火是一个动态的变化过程，因此，对于每相邻两帧目标图像来说，每相邻两帧目标图像必然会存在差异目标区域，为了减少不必要的误检，在获取多帧目标图像之后，可以通过获取每相邻两帧目标图像的差异目标区域，并通过差异目标区域和疑似烟火目标区域进行比较，滤掉目标图像中如晚霞或灯光等误检的疑似烟火目标。

在一些实施例中，获取每相邻两帧目标图像的差异目标区域，包括：对每相邻两帧目标图像进行灰度处理，得到相应的灰度图；对每相邻两帧目标图像对应的灰度图进行与运算得到差分图像；对差分图像进行二值化处理和边缘检测，得到差异目标区域。

具体来说，可以先对每相邻两帧目标图像进行灰度处理，即将每相邻两帧目标图像转化为灰度图，然后对每相邻两帧目标图像对应的灰度图进行与运算，即将每相邻两帧目标图像对应的灰度图的像素相减，得到差分图像。接着对差分图像进行二值化处理，由于二值化仅包括像素点1和像素点0，因此，像素点为1的区域可以表示疑似烟火目标的运动变化区域，像素点为0的区域可以表示不变区域。接着对二值化处理后的图像进行边缘检测，即获取像素点为1的区域的外边框，就可以得到差异目标区域。

在一些实施例中，基于差异目标区域和疑似烟火目标区域，对多帧目标图像进行过滤，包括：若差异目标区域与疑似烟火目标区域未存在重叠，则过滤未重叠部分的疑似烟火目标区域。

在获取到差异目标区域之后，便可将差异目标区域和疑似烟火目标区域进行比较，看是否有重叠，由于差异目标区域为烟火变化的区域，因此，若差异目标区域与疑似烟火目标区域未存在重叠，则可以表示疑似烟火目标区域并非是烟火，因此，可以过滤掉未重叠的疑似烟火目标区域，若差异目标区域与疑似烟火目标区域存在重叠，则表明疑似烟火目标区域为烟火，则无需过滤。

在一些实施例中，获取多帧目标图像，包括：将多帧环境图像分别输入至预设神经网络模型，其中，神经网络模型用于对环境图像进行语义分割以识别环境图像中的疑似烟火目标；若识别到环境图像中存在疑似烟火目标，则确定环境图像为目标图像。

具体来说，可以预先获取一个预设神经网络模型，该神经网络模型可以对环境图像进行语义分割，从而识别出环境图像中的疑似烟火目标。那么在拍摄到多帧环境图像之后，可以将环境图像输入至预设神经网络模型中进行特征提取，预设神经网络模型便可以对环境图像中的疑似烟火目标进行识别，若识别到环境图像中存在疑似烟火目标，则可以确定环境图像为目标图像。若未检测出疑似烟火目标，有可能存在没拍到包含疑似烟火目标的情况，因此，可以通过视频来抽取环境图像，具体来说，可以设置视频抽取帧率，例如，每秒抽取12帧，将环境图像按照抽取的帧率输入至预设神经网络模型中，检测疑似烟火目标，并将环境图像中存在疑似烟火目标的图像确定为目标图像。

在一些实施例中，预设神经网络模型是利用样本训练集对对称神经网络模型进行训练得到的。

具体来说，可以对获取到的包括疑似烟火目标的多帧图像进行分割标注得到样本训练集，再使用样本训练集对神经网络模型进行像素级别的模型训练，从而得到预设神经网络模型，其中，神经网络模型可以为U-Net网络。

下面通过一个具体的实施例来说明本发明的烟火检测方法。参考图2所示，该烟火检测方法包括以下步骤：

S201：从视频中抽取多帧图像。

S202：利用训练好的U-Net网络对抽取的多帧图像进行特征提取，进行疑似烟火目标的检测，得到多帧目标图像。

S203：采用帧差法，获取每相邻两帧目标图像的差异目标区域。

S204：对多帧目标图像进行过滤。

S205：对过滤后的多帧目标图像进行形态学膨胀，将相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标，得到一个完整的疑似烟火目标。

S206：对多帧目标图像中完整的疑似烟火目标进行重心计算。

S207：基于重心确定疑似烟火目标的偏移情况，判断偏移情况是否满足预设偏移情况。

若是，则执行步骤S208；否则，返回步骤S201。

S208：确定目标图像中的疑似烟火目标为烟火。

在本实施例中，采用U-Net网络作为特征提取器，采用语义分割的方式对于烟火进行目标定位，基于定位到的烟火会出现很多离散的目标，进一步采用图像形态学膨胀的方式，相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标，得到一个完整的疑似烟火目标，从而实现更好的定位疑似烟火目标；基于烟火非刚体的特征，对分割出的疑似烟火目标进行重心确认，基于重心确定疑似烟火目标的偏移情况来判断疑似烟火目标是否是烟火，从而去除晚霞等与烟火极其相似的目标的误检。

综上，根据本发明实施例的烟火检测方法，获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标，并获取每帧目标图像的疑似烟火目标的重心，在基于重心确定多帧目标图像中的疑似烟火目标的偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，由此，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

对应上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述任一实施例的烟火检测方法。

根据本发明实施例的计算机可读存储介质，采用上述的烟火检测方法，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

对应上述实施例，本发明实施例还提出了一种电子设备，参考图3所示，该电子设备300包括：存储器302、处理器304及存储在存储器302上并可在处理器304上运行的程序306，处理器304执行程序305时，实现上述任一实施例的烟火检测方法。

根据本发明实施例的电子设备，采用上述的烟火检测方法，从而能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

对应上述实施例，本发明实施例还提出了一种烟火检测装置。

参考图4所示，该烟火检测装置400包括：图像获取模块402、重心获取模块404和烟火识别模块406。其中，图像获取模块402用于获取多帧目标图像，其中，每帧目标图像包括烟火目标疑似烟火目标；重心获取模块404用于获取每帧目标图像的烟火目标的重心；烟火识别模块406用于基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，并在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火。

在一些实施例中，重心获取模块404用于：基于重心获取每相邻两帧目标图像的疑似烟火目标的重心偏移度，以作为疑似烟火目标的偏移情况；烟火识别模块406用于：在每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内的情况下，确定疑似烟火目标发生持续偏移。

在一些实施例中，重心获取模块404还用于：基于重心获取每相邻两帧目标图像的烟火目标的重心偏移度；基于重心偏移度以及每相邻两帧目标图像的时间差，确定每相邻两帧目标图像的烟火目标的重心偏移速度；获取多帧目标图像对应的重心偏移速度的平均值，得到重心偏移平均速度，以作为疑似烟火目标的偏移情况；烟火识别模块406用于：在重心偏移平均速度处于预设偏移速度范围内的情况下，确定疑似烟火目标为烟火。

在一些实施例中，烟火检测装置还包括目标合并模块（图中未示出），在每帧目标图像包括多个疑似烟火目标时，在获取每帧目标图像的疑似烟火目标的重心之前，目标合并模块用于：对每帧目标图像的多个疑似烟火目标进行合并，得到一个疑似烟火目标。

在一些实施例中，目标合并模块具体用于：针对每帧目标图像，按照疑似烟火目标的面积从大到小进行形态学膨胀，以将相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标。

在一些实施例中，烟火检测装置还包括图像过滤模块（图中未示出），在获取多帧目标图像之后，图像过滤模块用于：获取每相邻两帧目标图像的差异目标区域；基于差异目标区域和疑似烟火目标区域，对多帧目标图像进行过滤。

在一些实施例中，图像过滤模块具体用于：对每相邻两帧目标图像进行灰度处理，得到相应的灰度图；对每相邻两帧目标图像对应的灰度图进行与运算得到差分图像；对差分图像进行二值化处理和边缘检测，得到差异目标区域。

在一些实施例中，图像过滤模块还用于：若差异目标区域与疑似烟火目标区域未存在重叠，则过滤未重叠部分的疑似烟火目标区域。

在一些实施例中，图像获取模块402用于：将多帧环境图像分别输入至预设神经网络模型，其中，神经网络模型用于对环境图像进行语义分割以识别环境图像中的疑似烟火目标；若识别到环境图像中存在疑似烟火目标，则确定环境图像为目标图像。

需要说明的是，关于烟火检测装置中未披露的细节，请参考烟火检测方法中所披露的细节，这里不再赘述。

根据本发明实施例的烟火检测装置，通过图像获取模块获取多帧目标图像，其中，每帧目标图像包括疑似烟火目标，并通过重心获取模块获取每帧目标图像的疑似烟火目标的重心，以及通过烟火识别模块基于重心确定多帧目标图像中的疑似烟火目标的偏移情况，并在偏移情况满足预设偏移情况时，确定疑似烟火目标为烟火，能够有效解决目标漏检和误检的问题，实现目标的快速准确的检出，且方法简单，容易实现。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种烟火检测方法，其特征在于，所述方法包括：

获取多帧目标图像，其中，每帧所述目标图像包括疑似烟火目标；

获取每帧所述目标图像的疑似烟火目标的重心；

基于所述重心确定多帧所述目标图像中的疑似烟火目标的偏移情况；

在所述偏移情况满足预设偏移情况时，确定所述疑似烟火目标为烟火。

2.根据权利要求1所述的烟火检测方法，其特征在于，所述基于所述重心确定多帧所述目标图像中的疑似烟火目标的偏移情况，包括：

基于所述重心获取每相邻两帧目标图像的疑似烟火目标的重心偏移度，以作为所述疑似烟火目标的偏移情况；

所述在所述偏移情况满足预设偏移情况时，确定所述疑似烟火目标为烟火，包括：

在所述每相邻两帧目标图像的疑似烟火目标的重心偏移度均处于预设偏移度范围内的情况下，确定所述疑似烟火目标为所述烟火。

3.根据权利要求1所述的烟火检测方法，其特征在于，所述基于所述重心确定多帧所述目标图像中的疑似烟火目标的偏移情况，包括：

基于所述重心获取每相邻两帧目标图像的烟火目标的重心偏移度；

基于所述重心偏移度以及所述每相邻两帧目标图像的时间差，确定所述每相邻两帧目标图像的烟火目标的重心偏移速度；

获取多帧所述目标图像对应的重心偏移速度的平均值，得到重心偏移平均速度，以作为所述疑似烟火目标的偏移情况；

所述在所述偏移情况满足预设偏移情况时，确定所述疑似烟火目标为烟火，包括：

在所述重心偏移平均速度处于预设偏移速度范围内的情况下，确定所述疑似烟火目标为所述烟火。

4.根据权利要求1所述的烟火检测方法，其特征在于，在每帧所述目标图像包括多个所述疑似烟火目标时，在获取每帧所述目标图像的疑似烟火目标的重心之前，所述方法还包括：

对每帧所述目标图像的多个所述疑似烟火目标进行合并，得到一个所述疑似烟火目标。

5.根据权利要求4所述的烟火检测方法，其特征在于，所述对每帧所述目标图像的多个所述疑似烟火目标进行合并，包括：

针对每帧所述目标图像，按照所述疑似烟火目标的面积从大到小进行形态学膨胀，以将相邻的小面积的疑似烟火目标合并至大面积的疑似烟火目标。

6.根据权利要求1-5任一项所述的烟火检测方法，其特征在于，在获取多帧目标图像之后，所述方法还包括：

获取每相邻两帧目标图像的差异目标区域；

基于所述差异目标区域和疑似烟火目标区域，对多帧所述目标图像进行过滤。

7.根据权利要求6所述的烟火检测方法，其特征在于，所述获取每相邻两帧目标图像的差异目标区域，包括：

对所述每相邻两帧目标图像进行灰度处理，得到相应的灰度图；

对所述每相邻两帧目标图像对应的灰度图进行与运算得到差分图像；

对所述差分图像进行二值化处理和边缘检测，得到所述差异目标区域。

8.根据权利要求7所述的烟火检测方法，其特征在于，所述基于所述差异目标区域和疑似烟火目标区域，对多帧所述目标图像进行过滤，包括：

若所述差异目标区域与所述疑似烟火目标区域未存在重叠，则过滤所述目标图像中未重叠的疑似烟火目标区域。

9.根据权利要求1-5任一项所述的烟火检测方法，其特征在于，所述获取多帧目标图像，包括：

将多帧环境图像分别输入至预设神经网络模型，其中，所述神经网络模型用于对所述环境图像进行语义分割以识别所述环境图像中的疑似烟火目标；

若识别到所述环境图像中存在所述疑似烟火目标，则确定所述环境图像为所述目标图像。

10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时实现根据权利要求1-9任一项所述的烟火检测方法。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时，实现根据权利要求1-9任一项所述的烟火检测方法。

12.一种烟火检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取多帧目标图像，其中，每帧所述目标图像包括疑似烟火目标；

重心获取模块，用于获取每帧所述目标图像的疑似烟火目标的重心；

烟火识别模块，用于基于所述重心确定多帧所述目标图像中的疑似烟火目标的偏移情况，并在所述偏移情况满足预设偏移情况时，确定所述疑似烟火目标为烟火。

Images