CN110443969A - 一种火点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种火点检测方法、装置、电子设备及存储介质，该方法包括：获取待检测区域的第一图像，根据第一图像及预先训练完成的场景分类模型，识别待检测区域当前对应的目标场景类型；根据第一图像及与目标场景类型对应的预先训练完成的caffe‑ssd模型，识别待检测区域是否存在火焰和/或烟雾，如果是，确定待检测区域存在火点；否则，确定待检测区域不存在火点。由于在本发明实施例中，通过场景分类模型及获取的待检测区域的第一图像，确定待检测区域当前对应的目标场景类型，并采用与目标场景类型对应的caffe‑ssd模型，识别待检测区域是否存在火焰和/或烟雾，实现了针对不同场景类型分类检测，提高了火点检测的精度。

Description

一种火点检测方法、装置、电子设备及存储介质

技术领域

本发明涉及视频监控技术领域，尤其涉及一种火点检测方法、装置、电子设备及存储介质。

背景技术

火灾是一种常见且频发的灾害，具有突发性强、破坏性大、处置救援困难的特点，严重影响到了人们的生命和财产安全。因此，在火灾监测环节中，发现火点的及时性与准确性尤为重要，能够使相关人员尽快的采取抢救措施，最大限度的降低火灾带来的损失。

现有火点检测方法，通常是预先训练分类模型，首先将存在火焰和/或烟雾的图像划分为多个图像块，人工标记火焰和/或烟雾的图像块作为火点图像块，未标记的图像块作为非火点图像块，提取火点图像块和非火点图像块的颜色、纹理等特征向量，对支持向量机、马尔科夫链等分类模型进行训练。在进行检测时获取待检测区域的图像，将待检测区域的图像划分为多个图像块，提取每个图像块的特征向量输入到训练完成的分类模型中，确定每个图像块是否为火点图像块，如果存在任一火点图像块，则确定待检测区域存在火点。

然而，在不同场景类型下，如夜晚场景、白天雨雪场景等，火焰和烟雾的颜色、纹理等特征向量存在较大的差异，通过单一的分类模型对火点进行检测，检测精度不高，很容易导致误报。

发明内容

本发明提供一种火点检测方法、装置、电子设备及存储介质，用以解决现有技术中火点检测精度不高的问题。

第一方面，本发明公开了一种火点检测方法，所述方法包括：

获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；

否则，确定所述待检测区域不存在火点。

可选的，所述场景分类模型为卷积神经网络分类器。

可选的，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

本申请的火点检测方法中，针对不同场景类型，预先训练完成有不同的caffe-ssd模型，在进行火点检测时，可以通过预先训练完成的场景分类模型，识别待检测区域当前对应的目标场景类型，并通过与目标场景类型对应的预先训练完成的caffe-ssd模型，识别待检测区域是否存在火焰和/或烟雾，实现了针对不同场景类型对应的待检测区域，采用对应场景类型的预先训练完成的caffe-ssd模型进行火点检测，提高了火点检测的精度。

另外，本申请的采用的caffe-ssd模型无需人工提取图像的特征向量，克服了现有技术提取特征向量有难度以及特征向量难以完全凸显火点的火焰和/或烟雾的特点的问题，进一步提高了火点检测的精度。

可选的，如果确定所述待检测区域存在火点，所述方法还包括：

在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

通过该可选方式，如果确定所述待检测区域存在火点，还可以通过与目标场景类型对应的LSTM模型，进一步识别待检测区域是否存在火焰和/或烟雾，从而提高火点检测的精度。

可选的，对每个场景类型对应的LSTM模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

通过该可选方式，能够实现对每个场景类型对应的LSTM模型进行训练，保证火点检测精度。

可选的，对所述场景分类模型训练的过程包括：

针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；

将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

通过该可选方式，能够实现对场景分类模型进行训练，保证火点检测精度。

可选的，对每个场景类型对应的caffe-ssd模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

通过该可选方式，能够实现对每个场景类型对应的caffe-ssd模型进行训练，保证火点检测精度。

第二方面，本发明公开了一种火点检测装置，所述装置包括：

获取识别模块，用于获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

第一检测模块，用于根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。

可选的，所述获取识别模块，还用于如果第一检测模块确定所述待检测区域存在火点，在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

所述装置还包括：

第二检测模块，用于根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

可选的，所述装置还包括：

第一训练模块，用于针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

可选的，所述装置还包括：

第二训练模块，用于针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

可选的，所述场景分类模型为卷积神经网络分类器。

可选的，所述装置还包括：

第三训练模块，用于针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

可选的，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

第三方面，本发明公开了一种电子设备，包括：存储器和处理器；

所述处理器，用于读取存储器中的程序，执行上述任一项所述方法的步骤。

第四方面，本发明公开了一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述任一项所述方法的步骤。

本发明公开了一种火点检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；根据所述第一图像及与所述目标场景类型对应的预先训练完成的caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。由于在本发明实施例中，通过预先训练完成的场景分类模型及获取的待检测区域的第一图像，确定待检测区域当前对应的目标场景类型，并采用与目标场景类型对应的预先训练完成的caffe-ssd模型，识别待检测区域是否存在火焰和/或烟雾，实现了针对不同场景类型的待检测区域分类检测，提高了火点检测的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种火点检测过程示意图；

图2为本发明实施例提供的一种火点检测过程示意图；

图3为本发明实施例提供的一种火点标注示意图；

图4为本发明实施例提供的一种xml文件示意图；

图5为本发明实施例提供的一种caffe-ssd模型架构示意图；

图6A-图6B为本发明实施例提供的一种特征框生成示意图；

图7为本发明实施例提供的一种火点检测装置示意图；

图8为本发明实施例提供的一种电子设备示意图；

图9为本发明实施例提供的一种电子设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种火点检测过程示意图，该过程包括：

S101：获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型。

本发明实施例提供的火点检测方法应用于电子设备，该电子设备可以是平板电脑、个人电脑、服务器等设备。

在本发明实施例中预先对场景分类模型进行训练，并且在对场景分类模型进行训练时，也是根据每个样本图像对应的场景类型，对场景分类模型训练完成的。训练完成的场景分类模型，可以根据输入的图像，识别采集该图像时对应的场景类型。在本发明实施例中，场景类型包括：夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景等场景中的至少一种。

具体的，电子设备获取待检测区域的第一图像，例如：电子设备可以获取视频采集设备采集的待检测区域的实时视频流，对该实时视频流进行解码，抽取实时视频流的当前帧图像作为待检测区域的第一图像；当然了，也可以是抽取实时视频流中的关键帧图像，作为待检测区域的第一图像。电子设备获取待检测区域的第一图像后，将获取的待检测区域的第一图像输入到训练完成的场景分类模型，场景分类模型会输出该第一图像对应的场景类型，第一图像对应的场景类型即为待检测区域当前对应的目标场景类型。

S102：根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测(Convolutional Architecture for Fast Feature Embedding-single shot multibox detector，caffe-ssd)模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，进行S103，如果否，进行S104。

在本发明实施例中，预先对每个场景类型对应的caffe-ssd模型进行训练，在对每个场景类型对应的caffe-ssd模型进行训练时，是根据该场景类型对应的已经标注出火焰区域和烟雾区域的样本图像，对该场景类型对应的caffe-ssd模型进行训练完成的。每个场景类型对应的训练完成的caffe-ssd模型，可以根据输入的第一图像，识别第一图像中是否存在火焰和/或烟雾，并根据第一图像中是否存在火焰和/或烟雾，确定待检测区域是否存在火焰和/或烟雾。

S103：确定所述待检测区域存在火点。

S104：确定所述待检测区域不存在火点。

如果待检测区域存在火焰和/或烟雾，则说明待检测区域存在火点，确定待检测区域存在火点，否则，确定待检测区域不存在火点。

由于在本发明实施例中，通过预先训练完成的场景分类模型及获取的待检测区域的第一图像，确定待检测区域当前对应的目标场景类型，并采用与目标场景类型对应的预先训练完成的caffe-ssd模型，识别待检测区域是否存在火焰和/或烟雾，实现了针对不同场景类型的待检测区域分类检测，提高了火点检测的精度。

实施例2：

为了尽量避免天空，水珠等烟雾干扰物与灯光，晚霞等火焰干扰物的干扰，进一步提高火点检测精度，降低误检率，在上述实施例的基础上，在本发明实施例中，如果确定所述待检测区域存在火点，所述方法还包括：

在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络(Long Short-Term Memory，LSTM)模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

为了避免因图像采集的时间间隔过长导致待检测区域的场景发生变化，在本发明实施例中，在获取待检测区域的第一图像之后的设定时长内，其中所述设定时长可以为10s、30s、60s等，获取待检测区域连续的第一设定数量的第二图像，其中所述第一设定数量可以为5、7、10等，所述连续具体指所述第一设定数量的第二图像按照图像采集时间的先后顺序排列。具体的，在本发明实施例中，预先对每个场景类型对应的LSTM模型进行训练，在对每个场景类型对应的LSTM进行训练时，也是根据该场景类型对应的，每组连续的第二设定数量的已标注出火焰区域和烟雾区域的样本图像，对该场景类型对应的LSTM模型进行训练完成的，其中所述第二设定数量可以与所述第一设定数量相同，也可以不同，较佳的，所述第二设定数量不小于第一设定数量。每个场景类型对应的训练完成的LSTM模型，能根据输入的连续的第一设定数量的第二图像，对待检测区域后续采集的图像中是否存在火焰和/或烟雾做出预测，进而确定待检测区域是否存在火焰和/或烟雾，并在待检测区域存在火焰和/或烟雾时，确定待检测区域存在火点，在待检测区域不存在火焰和/或烟雾时，确定待检测区域不存在火点。

图2为本发明实施例提供的一种火点检测过程示意图，该过程包括：

S201：获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型。

S202：根据所述第一图像及与所述目标场景类型对应的预先训练完成的caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，进行S203，如果否，进行S206。

S203：在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像。

S204：根据所述第二图像及与所述目标场景类型对应的预先训练完成的LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，进行S205，如果否，进行S206。

S205：确定所述待检测区域存在火点。

S206：确定所述待检测区域不存在火点。

实施例3：

本发明实施例中的场景分类模型，是根据训练集中的每张样本图像训练得到的，在本发明实施例中，对所述场景分类模型训练的过程包括：

针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；

将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

其中，所述场景分类模型为卷积神经网络分类器。

在第二训练集中包含大量的已知场景类型的第二样本图像，其中，第二训练集中已知场景的类型的第二样本图像，可以通过图像采集设备针对每个场景类型采集，如通过挂载在不同基站上的球机或半球机摄像头，在不同场景类型下，采集图像作为第二样本图像。较佳的，为了保证训练完成的场景分类模型的准确性，第二训练集中对应每个场景类型的第二样本图像不少于2000张，并且每种场景类型对应的第二样本图像中应包括包含火点的第二样本图像，也应包括未包含火点的第二样本图像。

同时，在本发明实施例中，为了避免人工提取特征向量的难度及人工提取特征向量不准确的因素，引入卷积神经网络分类器作为场景分类模型。在对场景分类模型训练时，针对第二训练集中每个已知场景类型的第二样本图像，根据每个第二样本图像对应的场景类型，为每个第二样本图像添加场景类型标签，并将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。场景分类模型训练完成后，当输入图像到场景分类模型后，场景分类模型，能识别该图像对应的场景类型。具体的，对场景分类模型进行训练的过程属于现有技术，不再进行赘述。

实施例4：

本发明实施例中的每个场景类型对应的caffe-ssd模型，是根据训练集中每张样本图像训练得到的，在本发明实施例中，对每个场景类型对应的caffe-ssd模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

在本发明实施例中，针对每个场景类型分别设置有一个与该场景类型对应的第三训练集，并在与每个场景类型对应的第三训练集中保存有大量已标注火焰区域和烟雾区域的第三样本图像。具体的，可以使用矩形框标注工具，对每个场景类型对应的第三训练集中的每张第三样本图像，进行火焰区域和烟雾区域的标注。以农田场景类型对应的第三训练集为例，如图3所示，用户可以利用矩形框标注工具，打开农田场景类型对应的第三训练集中每张第三样本图像，针对当前打开的第三样本图像，将该第三样本图像中的火焰区域和烟雾区域通过矩形框标出火焰和/或烟雾，并自动生成xml文件用以记录当前的打开的第三样本图像的尺寸大小以及火焰和/或烟雾的标记框所在的坐标位置信息，记录第三样本图像的尺寸大小以及火焰和/或烟雾的标记框所在的坐标位置信息的xml文件如图4所示，所述xml文件中记录了第三样本图像的名称“jpg_687.jpg”、宽度“640”、高度“426”、深度“3”，及火焰标注矩形框对应的宽度范围为“449-638”、高度范围为“314-348”。

图5为本发明实施例提供的一种caffe-ssd模型架构示意图，caffe-ssd模型主要分为两部分，前置部分是base network(图中虚线构成的长方体部分)，用的是VGG网络，作用是特征提取；另一部分是多尺度网络，就是虚线构成的长方体右侧的那些小长方体(统称为多尺度网络)。在对caffe-ssd模型进行训练时，(1)样本图像首先经过前置部分VGG-16结构，其中VGG-16结构作为基础网络，基础网络部分每层卷积层对上一层输入特征图像进行线性卷积计算，并采用特定非线性算子提取卷积特征，形成下一层的输入，具体特征提取过程可按如下公式表示：F^k＝σ(W^k×x_ij+b^k)，在公式中，F^k为第k层的输出特征热图，σ为特定非线性算子，W^k为第k层卷积层的权重矩阵，x_ij为第k-1层输入特征图第i行第j列的数值，b^k为第k层的偏置值；(2)更改输入层预处理过程，将输入调整为300*300大小的图像，并使用随机crop等数据增广方式达到扩充训练集的效果；(3)在截断的基础网络的末尾添加额外的卷积层与池化层，这些卷积层的尺寸逐渐减小，经卷积操作之后得到更为高层次的火焰烟雾目标语义特征。(4)添加数个mbox_layer层，作用于ssd网络中由不同尺度下卷积层生成的特征图上，用于回归目标检测框的坐标位置与置信度大小。

caffe-ssd模型在某一张特征图上，对于每一个点，都可以画出以其为中心的几类预设矩形框，且同一类预设框的相对大小与长宽比均为固定值。可以通过引入3*3大小的滤波器对中心点3*3的邻域做卷积运算，获得预设框与真实标定框之间的坐标偏移量，以及每一个预设框中包含目标物体的置信度。进一步而言，应用了坐标偏移量与目标置信度两大属性的预设框即为初步获得的预测框。

对于不同尺度下的两张特征图，预设框的产生流程完全相同，这也意味着同一类预设框在不同尺度的特征图下的实际感受野并不相同。这一设定使得针对同一类物体的感受野能够覆盖全图，实现多尺度物体的检测。

如图6A所示，在该8*8特征图的任意一个位置上生成4个预设框，且不同位置处同类预设框之间的长宽比与相对大小保持一致。如图6B，在所有生成的预设框上通过卷积运算获得3个类火焰、烟雾、背景的置信度，以及该预设框的4个顶点的坐标偏移值。于是，在这个额外添加用于预测目标矩形框的卷积层上，就需要有(3+4)×4个滤波器作用其上。并且，对于一张m×n大小的特征图，会首先生成(3+4)×4×m×n个预设框，再将这一批次预设框转化为带有坐标偏移量与目标置信度的预测框，供给后续层处理。针对上述得到的预测框结果，可以将比重占据较大的背景框予以选择性忽略，将剩余预测框与真实标记框进行比较，计算图像的总体损失。

具体的，在对每个场景类型对应的caffe-ssd模型进行训练时，针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。每个场景类型对应的caffe-ssd模型训练完成后，当输入该场景类型对应的图像后，能够识别该图像中是否存在火焰和/或烟雾。具体的，对caffe-ssd模型进行训练的过程属于现有技术，不在进行赘述。

另外，为了保证对caffe-ssd模型训练的准确性，在对caffe-ssd模型训练时，用户可以设置或调整caffe-ssd模型的学习率，学习率下降模式，迭代次数，批量(batch)大小等超参数，采用随机梯度下降法更改网络内权重参数的大小等。

此外，对于采集的第一图像，用户可以标注第一图像的场景类型和该第一图像中的标注火焰和/或烟雾区域，并将标注出场景类型的第一图像作为样本增量添加至第二训练集；将标注出火焰和/或烟雾区域的第一图像作为样本增量添加至对应场景类型的第三训练集，场景分类模型或每个场景类型对应的caffe-ssd模型，会在增量添加至第二训练集中或增量添加至与该场景类型对应的第三训练集中的样本的数量达到设定阈值时，根据增量添加至第二训练集中或增量添加至与该场景类型对应的第三训练集中的样本，对场景分类模型或与该场景类型对应的caffe-ssd模型自动更新训练，并在训练完成后自动更新场景分类模型或与该场景类型对应的caffe-ssd模型。

实施例5：

本发明实施例中，每个场景类型对应的LSTM模型，是根据训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的样本图像训练得到的，在本发明实施例中，对每个场景类型对应的LSTM模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

在本发明实施例中，针对每个场景类型分别设置有一个与该场景类型对应的第一训练集，并在每个场景类型对应的第一训练集中大量保存有，以组为单位连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像。在对每个场景类型对应的LSTM模型进行训练时，针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。每个场景类型对应的LSTM模型训练完成后，当输入该场景类型对应的待检测区域采集的连续的第一设定数量的第二图像后，能对待检测区域后续采集的第二图像中是否存在火焰和/或烟雾做出预测。

例如：可以在每种场景类型下以10张连续图片为一组，各选1000组火点图像和1000组非火点图像，进行不同场景类型下的LSTM模型训练，示例性的训练流程如下：

(1)可以在caffe上搭建LSTM框架，其中，采用LSTM架构的有益效果是，此架构接受连续图像作为输入，利用视频中的时序信息更加精准地回归火焰和烟雾目标置信度，准确率指标得到进一步提高；(2)更改LSTM输入层的参数，使之接受连续的10张图像作为输入，虽然LSTM接受连续的10张图像作为输入，但LSTM结构的具体处理对象并非这10张图像，而是在第一张图像上预先标记的数个预测框，这些检测框在训练阶段可以由人工标注获得，亦可以由传统方法或是ssd网络模型检测获得，例如：可以通过更改LSTM输入层使之留有接受这些检测框空间位置与置信度的接口实现；(3)将已经训练完成的ssd网络结构的特征提取层与当前LSTM架构级联，对于流程(2)中输入的某一图像，该特征提取层可以获得该图像的经过卷积操作之后的特征信息；(4)在流程(3)所述的特征提取层与LSTM结构之间加入一个patch选取层，用于将流程(2)输入的第一帧图像中预测框的空间位置信息转化为特征提取层处理后对应空间位置的特征信息，特别地，对于这10帧连续图像，均提取这一相同位置下的特征信息，从而使一个连续帧序列的火焰烟雾预测问题转化为数个预测框在连续帧序列下的置信度回归问题；(5)紧随其后的LSTM结构接受数个连续序列作为输入，其中每个连续序列都代表着第一帧的某一预测框在10个连续帧下同一空间位置的卷积神经网络(Convolutional Neural Network，CNN)特征表现，其中，LSTM共有三类这样的门结构：输入门，遗忘门，输出门，用于选择性地传递信息。在该独立链路下，每一个时间节点的最终输出分为两部分，一是该时间点的真实输出值，这一部分是显式输出；二是该时间点的存储单元，这一部分是对用户隐藏的，用于记录之前各个时刻及当前时刻的中间信息。这两个输出均会作为下一时间节点下该链路的输入，通过三类门结构的把控，不断传递下去；(6)针对视频连续帧标注工作量几何倍数于图片标注工作量的难题，可选用步骤D中训练得到的ssd网络结构对尚未标注的视频连续帧进行测试，保留较佳的检测结果的方法予以解决，进而扩充LSTM网络模型训练时的数据量。

由于LSTM模型为公知的处理时间序列问题的模型，在本发明实施例中对该模型的原理、建立方法以及模型训练的具体方法不再进行赘述。此外，为了保证LSTM模型的训练效果，在对LSTM模型训练时，用户可以设置或调整caffe-ssd模型的学习率，学习率下降模式，迭代次数，批量(batch)大小等超参数，采用随机梯度下降法更改网络内权重参数的大小等。

此外，对于采集的连续的第一设定数量的第二图像，用户可以标注第二图像中的火焰和烟雾区域，将连续的第一设定数量的已标注火焰和烟雾区域的第二图像，作为一组样本增量添加至对应场景类型的第一训练集中，每个场景类型对应的LSTM模型会在增量添加至与该场景类型对应的第一训练集的样本的数量达到设定阈值时，对与该场景类型对应的LSTM模型自动更新训练，并在训练完成后自动更新与该场景类型对应的LSTM模型。

实施例6：

图7为本发明实施例提供的一种火点检测装置示意图，所述装置包括：

获取识别模块71，用于获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

第一检测模块72，用于根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。

所述获取识别模块71，还用于如果第一检测模块确定所述待检测区域存在火点，在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

所述装置还包括：

第二检测模块73，用于根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

所述装置还包括：

第一训练模块74，用于针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

所述装置还包括：

第二训练模块75，用于针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

其中，所述场景分类模型为卷积神经网络分类器。

所述装置还包括：

第三训练模块76，用于针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

其中，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

实施例7：

基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与火点检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。

如图8所示，其为本发明实施例提供的电子设备的结构示意图，其中在图8中，总线架构可以包括任意数量的互联的总线和桥，具体有处理器81代表的一个或多个处理器81和存储器82代表的存储器82的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器81负责管理总线架构和通常的处理，存储器82可以存储处理器81在执行操作时所使用的数据。

在本发明实施例提供的电子设备中：

所述处理器81，用于读取存储器82中的程序，执行下列过程：获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。

优选地，所述处理器81，还用于如果确定所述待检测区域存在火点，在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

优选地，所述处理器81，还用于针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

优选地，所述处理器81，还用于针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

优选地，所述场景分类模型为卷积神经网络分类器。

优选地，所述处理器81，还用于针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

优选地，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

实施例8：

在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图9所示，包括：处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；

所述存储器93中存储有计算机程序，当所述程序被所述处理器91执行时，使得所述处理器91执行以下步骤：

获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；

否则，确定所述待检测区域不存在火点。

实施例9：

在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：

获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；

否则，确定所述待检测区域不存在火点。

本发明公开了一种火点检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；根据所述第一图像及与所述目标场景类型对应的预先训练完成的caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。由于在本发明实施例中，通过预先训练完成的场景分类模型及获取的待检测区域的第一图像，确定待检测区域当前对应的目标场景类型，并采用与目标场景类型对应的预先训练完成的caffe-ssd模型，识别待检测区域是否存在火焰和/或烟雾，实现了针对不同场景类型的待检测区域分类检测，提高了火点检测的精度。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种火点检测方法，其特征在于，所述方法包括：

获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；

否则，确定所述待检测区域不存在火点。

2.如权利要求1所述的方法，其特征在于，如果确定所述待检测区域存在火点，所述方法还包括：

在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

3.如权利要求2所述的方法，其特征在于，对每个场景类型对应的LSTM模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

4.如权利要求1所述的方法，其特征在于，对所述场景分类模型训练的过程包括：

针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；

将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

5.如权利要求4所述的方法，其特征在于，所述场景分类模型为卷积神经网络分类器。

6.如权利要求1所述的方法，其特征在于，对每个场景类型对应的caffe-ssd模型训练的过程包括：

针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

7.如权利要求1-6任一项所述的方法，其特征在于，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

8.一种火点检测装置，其特征在于，所述装置包括：

获取识别模块，用于获取待检测区域的第一图像，根据所述第一图像及预先训练完成的场景分类模型，识别所述待检测区域当前对应的目标场景类型；

第一检测模块，用于根据所述第一图像及与所述目标场景类型对应的预先训练完成的卷积神经网络框架-对象检测caffe-ssd模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点；否则，确定所述待检测区域不存在火点。

9.如权利要求8所述的装置，其特征在于，所述获取识别模块，还用于如果第一检测模块确定所述待检测区域存在火点，在获取所述待检测区域的第一图像之后的设定时长内，获取所述待检测区域连续的第一设定数量的第二图像；

所述装置还包括：

第二检测模块，用于根据所述第二图像及与所述目标场景类型对应的预先训练完成的长短期记忆网络LSTM模型，识别所述待检测区域是否存在火焰和/或烟雾，如果是，确定所述待检测区域存在火点。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

第一训练模块，用于针对每个场景类型，将该场景类型对应的第一训练集中每组连续的第二设定数量的已标注出火焰区域和烟雾区域的第一样本图像，输入到该场景类型对应的LSTM模型中，对该场景类型对应的LSTM模型进行训练。

11.如权利要求8所述的装置，其特征在于，所述装置还包括：

第二训练模块，用于针对第二训练集中每张第二样本图像，根据该第二样本图像对应的场景类型，为该第二样本图像添加对应的场景类型标签；将添加标签后的每张第二样本图像输入到场景分类模型中，对场景分类模型进行训练。

12.如权利要求11所述的装置，其特征在于，所述场景分类模型为卷积神经网络分类器。

13.如权利要求8所述的装置，其特征在于，所述装置还包括：

第三训练模块，用于针对每个场景类型，将该场景类型对应的第三训练集中每张已标注出火焰区域和烟雾区域的第三样本图像，输入到该场景类型对应的caffe-ssd模型中，对该场景类型对应的caffe-ssd模型进行训练。

14.如权利要求8-13任一项所述的装置，其特征在于，所述场景类型包括以下至少一种：

夜晚场景、白天雾霾场景、白天森林场景、白天农田场景、白天雨雪场景。

15.一种电子设备，其特征在于，包括：存储器和处理器；

所述处理器，用于读取存储器中的程序，执行权利要求1-7任一项所述方法的步骤。

16.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-7任一项所述方法的步骤。