CN111814617A - 基于视频的火灾判定方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种基于视频的火灾判定方法、装置、计算机设备及存储介质，该判定方法包括：获取环境视频；获取环境视频中每帧图像的候选区域；对其中一帧图像的候选区域进行初步检测，得到第一分类结果；根据每帧图像的候选区域生成与每帧图像对应的空间特征向量；以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果；对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。通过本发明的实施，能够解决现有技术中的火灾监测过程中存在的监测的精准度较低的问题。

Description

基于视频的火灾判定方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于视频的火灾判定方法、装置、计算机设备及存储介质。

背景技术

目前，火灾是人类经常面临的灾害，尽早对火灾进行监测可以有效预警。而随着图像识别技术的飞速发展，将其应用于火灾检测得到了广泛的关注。现有技术中的火灾检测技术通常包括传统火灾报警技术和计算机视觉火灾检测技术。传统的火灾报警技术是基于烟雾或热感测器，需要接近才能启动，这些探测器需要人的参与来确认是否发生火灾。已有的计算机视觉火灾检测主要包括：1)利用颜色模型提取图像中候选的火灾区域；2)基于规则的火焰像素分类方法，使用颜色模型将色度和亮度分量分离；3)采用分类器，根据火灾区域的面积和边界等附加特征来检测火灾。

由于火灾探测器易受到物理因素(如：高温、湿度及电磁波)等的影响，传统的火灾报警技术不可避免地导致探测地准确度不高。基于颜色模型的火灾检测方法通常容易受到光照和阴影等多种环境因素的影响，所以检测的效果不理想。已有的计算机视觉火灾检测方法中只使用静态图像或者连续几帧来检测火灾，并不能很好的反映火灾环境中涉及的空间和时间信息，由于火灾呈现出多变的时间形态，这种依赖于静态和短期时间行为的检测方法的准确性受到限制。

因此，综上所述，现有技术中的火灾监测过程中存在监测的精准度较低的问题。

发明内容

本发明提供一种基于视频的火灾判定方法、装置、计算机设备及存储介质，以解决现有技术中的基于视频的火灾判定方法存在的检测效率较低的问题。

本发明是这样的实现的，本发明第一实施例提供一种基于视频的火灾判定方法，包括：

获取环境视频；

获取环境视频中每帧图像的候选区域；

对其中一帧图像的候选区域进行初步检测，得到第一分类结果；

根据每帧图像的候选区域生成与每帧图像对应的空间特征向量；

以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果；

对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。

本发明第二实施例提供一种基于视频的火灾判定装置，包括：

视频获取模块，用于获取环境视频；

候选区域获取模块，用于获取环境视频中每帧图像的候选区域；

第一分类结果获取模块，用于对其中一帧图像的候选区域进行初步检测，得到第一分类结果；

空间特征向量获取模块，用于根据每帧图像的候选区域生成与每帧图像对应的空间特征向量；

第二分类结果获取模块，用于以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果；

火灾判定结果获取模块，用于对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。

本发明第三实施例提供一种控制单元，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明第一实施例提供的一种基于视频的火灾判定方法的步骤。

本发明第四实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本发明第一实施例提供的一种基于视频的火灾判定方法的步骤。

本发明提供一种基于视频的火灾判定方法、装置、计算机设备及存储介质，首先获取环境视频，然后，获取环境视频中每帧图像的候选区域，再对其中一帧图像的候选区域进行初步检测，得到第一分类结果，再之，根据每帧图像的候选区域生成与每帧图像对应的空间特征向量，然后，以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果，最后对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。通过本发明的实施，能够对每帧图像中的候选区域进行定位，获得图像中的火灾区域和非火灾区域，同时通过其中一帧图像获得第一分类结果，并以其中一帧图像作为时间起点，得到对应的连续多帧图像的第二分类结果，考虑了视频中单帧图像的分类结果，同时基于时间变化结合了环境视频中的上下文信息，有效提高环境视频中火灾的高精度检测，并且能够将火灾发生与冒烟烟囱等类火灾的场景进行区分，避免误测，解决了现有技术中的火灾监测过程中存在的监测的精准度较低的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的基于视频的火灾判定方法应用环境示意图；

图2是本发明第一实施例提供的基于视频的火灾判定方法的流程示意图；

图3是本发明第一实施例提供的基于视频的火灾判定方法中步骤12的流程示意图；

图4是本发明第一实施例提供的基于视频的火灾判定方法中步骤13的流程示意图；

图5是本发明第一实施例提供的基于视频的火灾判定方法中步骤134的又一流程示意图；

图6是本发明第一实施例提供的基于视频的火灾判定方法中步骤14的流程示意图；

图7是本发明第一实施例提供的基于视频的火灾判定方法中步骤15的流程示意图；

图8是本发明第二实施例提供的基于视频的火灾判定装置的模块示意图；

图9是本发明第三实施例提供的计算机设备的模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的第一实施例提供的基于视频的火灾判定方法，可应用于如图1所示的应用环境中，其中，采集设备与服务器之间进行通信。采集设备获取环境视频，将环境视频发送至服务器，服务器获取环境视频，然后，获取环境视频中每帧图像的候选区域，再对其中一帧图像的候选区域进行初步检测，得到第一分类结果，再之，根据每帧图像的候选区域生成与每帧图像对应的空间特征向量，然后，以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果，最后对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。其中，采集设备可以是具备摄像头的摄制设备。服务端可以是具备图像数据处理能力的设备，服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

需要注意的是，图1仅给出了本实施例的一种应用场景，采集设备还可以是从摄制装置获取包含有场景环境的视频的智能设备，此处不做具体限制。

在本发明实施例中，如图2所示，提供一种基于视频的火灾判定方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤11至步骤16。

步骤11：获取环境视频。

其中，环境视频中可以包括任意场景的视频，例如视频中的场景可以是森林、城市、乡村、室内、室外等等。

步骤12：获取环境视频中每帧图像的候选区域。

其中，本实施例中的候选区域可以是每帧图像中被矩形框框选的区域。需要注意的是，在本实施例中，针对一帧图像，可以提取出多个候选区域，多个候选区域在图像中可以相互重叠。

进一步地，作为本实施例的一种实施方式，如图3所示，上述步骤12具体可以包括以下步骤121至步骤122：

步骤121：通过预先训练好的检测分类网络提取每帧图像的特征，生成与图像对应的特征通道图。

其中，检测分类网络包括两个子网络，其中一个是用于目标检测定位的候选区域提取子网络，另一个是用于对候选区域进行分类的分类子网络。

其中，特征通道图可以是用于表示图像的特征的通道图。

在本实施例中，预先训练好的检测分类网络检测的目标是与图像对应的RGB(红绿蓝)三通道图。

步骤122：根据特征通道图获取每帧图像中的候选区域。

其中，具体是通过检测分类网络中的候选区域提取子网络提取每帧图像中的候选区域。

需要注意的是，在上上述步骤121之前，应当先训练完成检测分类网络，使用完成训练的检测分类网络对特征通道图获取图像中的候选区域。具体地，得到完成训练的检测分类网络具体可以包括：获取多个图像样本，对各张图像样本中的各个区域进行标注，采用检测分类网络中的候选区域提取子网络提取区域，将提取的区域与标注的区域进行比对，采用误差反向传播算法计算损失，调整检测分类网络中的候选区域提取子网络中的参数权重，重新提取区域，直至损失达到第一预设值；采用检测分类网络中的分类子网络对标注的区域进行区分，判断标注的区域是否包含火灾特征，将判断的结果与预先标注的结果进行比对，采用误差反向传播算法计算损失，调整检测分类网络中的分类子网络中的参数权重，重新提取区域，直至损失达到第二预设值，从而得到完成训练的检测分类网络。

在本实施例中，通过上述步骤121至步骤122的实施，能够提取获得每帧图像中的候选区域，对便于对图像中的各个区域进行分析。

步骤13：对其中一帧图像的候选区域进行初步检测，得到第一分类结果。

其中，具体是对环境视频中的任意一帧图像中的候选区域进行初步检测，得到第一分类结果。需要注意的是，在本实施例中，当该其中一帧图像的候选区域的数量为多个时，需要对多个候选区域进行初步检测，具体是通过检测分类网络中的分类子网络对多个候选区域进行分类，得到第一分类结果。第一分类结果可以是针对该其中一帧图像发生火灾的概率，也可以为该其中一帧图像表现当前场景发生火灾或者未发生火灾这两种情况，在本实施例中，对第一分类结果的具体表现形式不做具体限制。

步骤14：根据每帧图像的候选区域生成与每帧图像对应的空间特征向量。

其中，空间特征向量可以用于表示对应的图像的火灾类别、非火灾类别产生的概率。

进一步地，作为本实施例的一种实施方式，如图4所示，上述步骤14具体可以包括以下步骤141至步骤143：

步骤141：对候选区域进行区分，得到包含火灾特征的候选区域和包含非火灾特征的候选区域。

其中，具体是通过检测分类网络中的分类子网络对候选区域进行区分，将候选区域划分为包含火灾特征的候选区域和包含非火灾特征的候选区域。

步骤142：将包含火灾特征的候选区域映射到特征通道图的对应位置进行加强，将包含非火灾特征的候选区域映射到特征通道图的对应位置进行过滤，得到赋权特征通道图。

其中，特征通道图的对应位置具体是候选区域在图像中的原位置。将包含火灾特征的候选区域映射到特征通道图的对应位置进行加强具体是将包含火灾特征的候选区域与特征通道图的对应位置进行加强融合，增强特征通道图的对应位置的火灾特征，将包含非火灾特征的候选区域映射到特征通道图的对应位置进行过滤具体是将包含非火灾特征的候选区域与特征通道的对应位置进行过滤弱化，减弱特征通道图的对应位置的非火灾特征，从而得到赋权特征通道图。

例如，候选区域在图像中的区域为A，由于图像与特征通道图中的位置一一对应，特征通道图中与图像的区域位置A对应的区域为a，区域a为候选区映射到特征通道图的对应位置。

步骤143：对赋权特征通道图进行全局平均池化处理，得到空间特征向量。

其中，具体是对赋权特征通道图中的所有特征值进行求和处理，然后求取平均值，得到与赋权特征通道图对应的平均值，将该平均值作为空间特征向量。在本实施例中，每帧图像都有对应的一个空间特征向量。需要注意的是，赋权特征通道图中的特征值可以是用于表示图像特征的具体量化的数值，例如可以是像素值。

在本实施例中，通过上述步骤141至步骤143的实施，能够将图像中的火灾特征和非火灾特征进行区分，并对图像中的火灾特征进行加强，对图像中的非火灾特征进行减弱，提高识别精准度，同时通过对赋权特征通道图进行全局平池化处理，能够得到与每帧图像对应的空间特征向量，并且能够有效减少参数数量，减少计算量和过拟合，便于后续对图像进行分析。

步骤15：以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果。

其中，第二分类结果可以是多个，每个分类结果对应的多帧图像的数量可以不相等。

进一步地，作为本实施例的一种实施方式，如图5所示，上述步骤15具体可以包括以下步骤151至步骤152。

步骤151：以其中一帧图像在环境视频中的时刻为时间起点，得到与其中一帧图像之间满足预设关联关系的多帧连续图像。

其中，满足预设关联的多帧连续图像可以是以其中一帧图像在环境视频中的时刻为时间起点，按照时间顺序向前或者向后的连续图像。

例如，当第二分类结果为多个时，环境视频中的时间顺序依次为t0、t1、t2、t3、t4、t5，其中一帧图像的时刻为t0，多帧连续图像可以是t0至t1时间内的连续多帧图像，同时可以是t0至t2时间内的连续多帧图像，同时可以是t0至t3时间内的连续多帧图像，同时可以是t0至t4时间内的连续多帧图像，同时可以是t0至t5时间内内的连续多帧图像。

步骤152：通过预先训练好的长短期记忆网络对多帧连续图像的空间特征向量进行聚合，得到与多帧连续图像对应的第二分类结果。

其中，由于多帧连续图像的空间特征向量是以时间为顺序，以其中一帧图像在环境视频中的时刻为时间起点得到的连续图像，因此，随着时间的增长，得到的第二分类结果越准确，同时第二分类结果可以是多个。

例如，当第二分类结果为多个时，环境视频中的时间顺序依次为t0、t1、t2、t3、t4、t5，其中一帧图像的时刻为t0，第二分类结果可以是在t0至t1时间内的连续多帧图像对应的分类结果，第二分类结果可以是在t0至t1时间内的连续多帧图像对应的分类结果，第二分类结果可以是在t0至t2时间内的连续多帧图像对应的分类结果，第二分类结果可以是在t0至t3时间内的连续多帧图像对应的分类结果，第二分类结果可以是在t0至t4时间内的连续多帧图像对应的分类结果，第二分类结果可以是在t0至t5时间内的连续多帧图像对应的分类结果。

通过上述步骤151至步骤152的实施，能够在上述步骤14获得空间特征向量的基础上，加上时间因素，能够整合环境视频序列上下文信息来实现环境视频中火灾的高精度检测，基于长时间视频帧序列方法相对静止图像和短时间连续帧的方法能够成功降低误检率从而很好区别开火灾发生与冒烟烟囱等类火灾的场景，避免误测。

步骤16：对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。

其中，第一分类结果和第二分类结果的权重可以根据经验确定。需要注意的是，当本实施例中的第二分类结果的数量为多个时，各个第二分类结果的权重相同。例如，当第二分类结果的数量为5个，第一分类结果与第二分类结果的权重比为1：2时，此时第一分类结果的权重为1/3，每个第二分类结果的权重为2/15。

通过上述步骤11至步骤16的实施，能够对每帧图像中的候选区域进行定位，获得图像中的火灾区域和非火灾区域，同时通过其中一帧图像获得第一分类结果，并以其中一帧图像作为时间起点，得到对应的连续多帧图像的第二分类结果，考虑了视频中单帧图像的分类结果，同时基于时间变化结合了环境视频中的上下文信息，有效提高环境视频中火灾的高精度检测，并且能够将火灾发生与冒烟烟囱等类火灾的场景进行区分，避免误测，解决了现有技术中的火灾监测过程中存在的监测的精准度较低的问题。

进一步地，作为本实施例的一种实施方式，如图6所示，需要对长短期记忆网络进行训练，从而得到预先训练好的长短期记忆网络，得到预先训练好的长短期记忆网络包括以下步骤21至步骤25：

步骤21：获取多个样本环境视频。

其中，多个样本环境视频应当经过预先标注。

步骤22：分别获取样本环境视频中每帧样本图像的样本候选区域。

其中，本实施例中的获取样本环境视频中每帧样本图像的样本候选区域的方法与上述步骤12中获取环境视频中每帧图像的候选区域的方法类似，此处不再赘述。

步骤23：根据每帧样本图像的样本候选区域生成与每帧样本图像对应的样本空间特征向量。

其中，本实施例中的根据每帧样本图像的样本候选区域生成与每帧样本图像对应的样本空间特征向量的方法与上述步骤14中根据每帧图像的候选区域生成与每帧图像对应的空间特征向量的方法类似，此处不再赘述。

步骤24：以其中一帧样本图像在样本环境视频中的时刻为起点，对与其中一帧样本图像相邻的多帧样本图像的样本空间特征向量进行聚合，得到与多帧样本图像对应的样本分类结果。

其中，本实施例中的以其中一帧样本图像在样本环境视频中的时刻为起点，对与其中一帧样本图像相邻的多帧样本图像的样本空间特征向量进行聚合，得到与多帧样本图像对应的样本分类结果的方法，与上述步骤15中以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果的方法类似，此处不再赘述。

步骤25：根据与多帧样本图像对应的实际分类结果和样本分类结果得到当前长短期记忆网络的损失函数值，当损失函数值未达到预设损失函数值时，调整长短期记忆网络中的权重参数，重新对多帧样本图像的样本空间特征向量进行聚合，直至损失函数值达到预设损失函数值。

其中，预设损失函数值可以根据经验确定。

需要注意的是，本实实施例中的预先训练好的长短期记忆网络包括两级长短记忆网络结构。

也就是说，本实施例中的预先训练好的长短期记忆网络对每帧图像进行两次处理，并进行融合，使得第二分类结果更加准确。

通过上述步骤21至步骤25的实施，能够对长短期记忆网络进行训练，从而得到预先训练好的长短期记忆网络，从而能够在上述步骤15中得到精确的第二分类结果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

进一步地，如图7所示，该基于视频的火灾判定装置包括：视频获取模块41、候选区域获取模块42、第一分类结果获取模块43、空间特征向量获取模块44、第二分类结果获取模块45和火灾判定结果获取模块46。各功能模块详细说明如下：

视频获取模块41，用于获取环境视频；

候选区域获取模块42，用于获取环境视频中每帧图像的候选区域；

第一分类结果获取模块43，用于对其中一帧图像的候选区域进行初步检测，得到第一分类结果；

空间特征向量获取模块44，用于根据每帧图像的候选区域生成与每帧图像对应的空间特征向量；

第二分类结果获取模块45，用于以其中一帧图像在环境视频中的时刻为时间起点，对与其中一帧图像相邻时刻的多帧图像的空间特征向量进行聚合，得到与多帧图像对应的第二分类结果；

火灾判定结果获取模块46，用于对第一分类结果和第二分类结果进行加权计算，得到环境视频的火灾判定结果。

进一步地，作为本实施例的一种实施方式，如图8所示，候选区域获取模块42包括特征通道图获取单元421和候选区域获取单元422。各功能单元详细说明如下：

特征通道图获取单元421，用于通过预先训练好的检测分类网络提取每帧图像的特征，生成与图像对应的特征通道图；

候选区域获取单元422，用于根据特征通道图获取每帧图像中的候选区域。

进一步地，作为本实施例的一种实施方式，候选区域获取单元422包括：候选区域区分子单元、赋权特征通道图获取子单元和平池化处理子单元。各功能子单元详细说明如下：

候选区域区分子单元，用于对候选区域进行区分，得到包含火灾特征的候选区域和包含非火灾特征的候选区域；

赋权特征通道图获取子单元，用于将包含火灾特征的候选区域映射到特征通道图的对应位置进行加强，将包含非火灾特征的候选区域映射到特征通道图的对应位置进行过滤，得到赋权特征通道图；

平池化处理子单元，用于对赋权特征通道图进行全局平均池化处理，得到空间特征向量。

进一步地，作为本实施例的一种实施方式，第二分类结果获取模块45包括多帧连续图像获取单元和第二分类结果获取单元。各功能单元详细说明如下：

多帧连续图像获取单元，用于以其中一帧图像在环境视频中的时刻为时间起点，得到与其中一帧图像之间满足预设关联关系的多帧连续图像；

第二分类结果获取单元，用于通过预先训练好的长短期记忆网络对多帧连续图像的空间特征向量进行聚合，得到与多帧连续图像对应的第二分类结果。

进一步地，作为本实施例的一种实施方式，基于视频的火灾判定装置还可以包括样本环境视频获取模块、样本候选区域获取模块、样本空间特征向量获取模块、样本分类结果获取模块和长短期记忆网络获取模块。各功能模块详细说明如下：

样本环境视频获取模块，用于获取多个样本环境视频；

样本候选区域获取模块，用于分别获取样本环境视频中每帧样本图像的样本候选区域；

样本空间特征向量获取模块，用于根据每帧样本图像的样本候选区域生成与每帧样本图像对应的样本空间特征向量；

样本分类结果获取模块，用于以其中一帧样本图像在样本环境视频中的时刻为起点，对与其中一帧样本图像相邻的多帧样本图像的样本空间特征向量进行聚合，得到与多帧样本图像对应的样本分类结果；

长短期记忆网络获取模块，用于根据与多帧样本图像对应的实际分类结果和样本分类结果得到当前长短期记忆网络的损失函数值，当损失函数值未达到预设损失函数值时，调整长短期记忆网络中的权重参数，重新对多帧样本图像的样本空间特征向量进行聚合，直至损失函数值达到预设损失函数值。

本发明的第二实施例提供一种基于视频的火灾判定装置，该基于视频的火灾判定装置与上述提供的基于视频的火灾判定方法一一对应。

关于基于视频的火灾判定装置的具体限定可以参见上文中对于基于视频的火灾判定方法的限定，在此不再赘述。上述基于视频的火灾判定装置中的各个模块/单元可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本发明的第三实施例提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于视频的火灾判定方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。

根据本发明的一个实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于视频的火灾判定方法的步骤，例如图2所示的步骤11至步骤16、如图3所示的步骤121至步骤122、如图4所示的步骤141至步骤143、如图5所示的步骤151至步骤152以及如图6所示的步骤21至步骤25。

本发明的第四实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的基于视频的火灾判定方法的步骤，例如图2所示的步骤11至步骤16、如图3所示的步骤121至步骤122、如图4所示的步骤141至步骤143、如图5所示的步骤151至步骤152以及如图6所示的步骤21至步骤25。或者，计算机程序被处理器执行时实现上述第一实施例提供的基于视频的火灾判定方法的各模块/单元的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视频的火灾判定方法，其特征在于，包括：

获取环境视频；

获取所述环境视频中每帧图像的候选区域；

对其中一帧所述图像的候选区域进行初步检测，得到第一分类结果；

根据每帧所述图像的所述候选区域生成与每帧所述图像对应的空间特征向量；

以所述其中一帧所述图像在所述环境视频中的时刻为时间起点，对与所述其中一帧图像相邻时刻的多帧所述图像的所述空间特征向量进行聚合，得到与多帧所述图像对应的第二分类结果；

对所述第一分类结果和所述第二分类结果进行加权计算，得到所述环境视频的火灾判定结果。

2.根据权利要求1所述的基于视频的火灾判定方法，其特征在于，所述获取所述环境视频中每帧图像的候选区域包括：

通过预先训练好的检测分类网络提取每帧所述图像的特征，生成与所述图像对应的特征通道图；

根据所述特征通道图获取每帧所述图像中的所述候选区域。

3.根据权利要求2所述的基于视频的火灾判定方法，其特征在于，所述根据每帧所述图像的所述候选区域生成与每帧所述图像对应的空间特征向量包括：

对所述候选区域进行区分，得到包含火灾特征的所述候选区域和包含非火灾特征的所述候选区域；

将所述包含火灾特征的所述候选区域映射到所述特征通道图的对应位置进行加强，将所述包含非火灾特征的所述候选区域映射到所述特征通道图的对应位置进行过滤，得到赋权特征通道图；

对所述赋权特征通道图进行全局平均池化处理，得到所述空间特征向量。

4.根据权利要求1所述的基于视频的火灾判定方法，其特征在于，所述以所述其中一帧所述图像在所述环境视频中的时刻为时间起点，对与所述其中一帧图像相邻时刻的多帧所述图像的所述空间特征向量进行聚合，得到与多帧所述图像对应的第二分类结果结果包括：

以所述其中一帧所述图像在所述环境视频中的时刻为时间起点，得到与所述其中一帧所述图像之间满足预设关联关系的多帧连续图像；

通过预先训练好的长短期记忆网络对所述多帧连续图像的所述空间特征向量进行聚合，得到与所述多帧连续图像对应的第二分类结果。

5.根据权利要求4所述的基于视频的火灾判定方法，其特征在于，获得所述预先训练好的长短期记忆网络包括：

获取多个样本环境视频；

分别获取所述样本环境视频中每帧样本图像的样本候选区域；

根据每帧所述样本图像的所述样本候选区域生成与每帧所述样本图像对应的样本空间特征向量；

以其中一帧所述样本图像在所述样本环境视频中的时刻为起点，对与所述其中一帧样本图像相邻的多帧所述样本图像的所述样本空间特征向量进行聚合，得到与多帧所述样本图像对应的样本分类结果；

根据与所述多帧所述样本图像对应的实际分类结果和所述样本分类结果得到当前所述长短期记忆网络的损失函数值，当所述损失函数值未达到预设损失函数值时，调整所述所述长短期记忆网络中的权重参数，重新对多帧所述样本图像的所述样本空间特征向量进行聚合，直至所述损失函数值达到预设损失函数值。

6.根据权利要求5所述的基于视频的火灾判定方法，其特征在于，所述预先训练好的长短期记忆网络包括两级长短记忆网络结构。

7.一种基于视频的火灾判定装置，其特征在于，包括：

视频获取模块，用于获取环境视频；

候选区域获取模块，用于获取所述环境视频中每帧图像的候选区域；

第一分类结果获取模块，用于对其中一帧所述图像的候选区域进行初步检测，得到第一分类结果；

空间特征向量获取模块，用于根据每帧所述图像的所述候选区域生成与每帧所述图像对应的空间特征向量；

第二分类结果获取模块，用于以所述其中一帧所述图像在所述环境视频中的时刻为时间起点，对与所述其中一帧图像相邻时刻的多帧所述图像的所述空间特征向量进行聚合，得到与多帧所述图像对应的第二分类结果；

火灾判定结果获取模块，用于对所述第一分类结果和所述第二分类结果进行加权计算，得到所述环境视频的火灾判定结果。

8.根据权利要求7所述的基于视频的火灾判定装置，其特征在于，所述候选区域获取模块包括：

特征通道图获取单元，用于通过预先训练好的检测分类网络提取每帧所述图像的特征，生成与所述图像对应的特征通道图；

候选区域获取单元，用于根据所述特征通道图获取每帧所述图像中的所述候选区域。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于视频的火灾判定方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于视频的火灾判定方法的步骤。

Images