CN108597172B - 一种森林火灾识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种森林火灾识别方法，其包括以下步骤：对训练样本图像进行融合，获取融合后的融合图像集；根据所述融合图像集创建树状CNN模型；将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。本发明还提供了一种森林火灾识别装置、电子设备、计算机可读存储介质。本发明通过多通道融合后的融合图像集训练创建树状CNN模型，进而获取发生火灾的概率，精度高。

Description

一种森林火灾识别方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体为一种森林火灾识别方法、装置、电子设备及存储介质。

背景技术

森林是一种重要的自然资源，与人类的关系极为密切，它对人类的贡献是多种多样的，不仅提供各种木材和经济植物，同时也是许多食物的重要来源。由于火灾的突发性，危害的毁灭性，对森林火灾的及时预警显得尤为重要。近年来，随着视频监控设备的大量普及、更高效图像处理相关的深度学习算法的出现和微处理器技术的发展，通过对图像信息的分析最终实现对森林火灾的预警逐渐成为一种新的有效技术。

传统的森林火灾识别系统有基于图像处理的方法和基于模式识别的方法。基于图像处理的方法多采用对原始图像进行阈值分割等，最终通过阈值检测着火点是否存在。而基于模式识别的方法首先对待识别图像进行特征提取，然后将得到的特征信息通过模式识别类算法进行识别，最终给出识别结果。基于基本图像处理的算法识别中通过固定阈值达到着火点预警的方法灵活性较差，不同区域不同光照条件下的图像局部区域的适应性较差。而基于模式识别的方法需要大量的训练样本对分类器进行训练，然后应用训练好的分类器进行识别。目前，学术界尚无森林火灾识别的图像数据库。小样本造成分类器的不确定性，识别精确度低，泛化能力差，鲁棒性不强。随着深度学习算法的广泛应用，出现了基于卷积神经网络(CNN Convolution neural Networks)的相关识别算法，能够满足相关领域中的识别需求。此类算法应用于森林火灾的识别也取得了相应的效果。但是CNN的训练同样需要大量的图像数据，同时由于单个CNN网络只能对单通道图像进行处理，导致CNN对处理彩色图像受限。虽然一些研究者提出了多通道的CNN识别算法，但是此类算法只是对每个通道图像对CNN网络进行训练，最终将每个通道的CNN模型进行加权整合，最终给出识别的结果，没有考虑各个通道之间像素间、区域间的相关性。因此，现有的森林火灾识别方法存在一定的缺陷，亟待改进。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种森林火灾识别方法，其通过多通道融合后的融合图像集训练创建树状CNN模型，进而获取发生火灾的概率，精度高。

本发明的目的之二在于提供一种森林火灾识别装置，其通过多通道融合后的融合图像集训练创建树状CNN模型，进而获取发生火灾的概率，精度高。

本发明的目的之三在于提供一种实现上述森林火灾识别方法的电子设备。

本发明的目的之四在于提供一种存储上述森林火灾识别方法的计算机可读存储介质。

为实现上述目的之一，本发明提供如下技术方案：

一种森林火灾识别方法，包括以下步骤：

对训练样本图像进行融合，获取融合后的融合图像集；

根据所述融合图像集创建树状CNN模型；

将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。

所述对训练样本图像进行融合，获取融合后的融合图像集，包括：

将初始图像的颜色空间转换为RGB色彩空间；

对所述RGB色彩空间的初始图像的R，G，B三个通道的图像按照公式(1)所示进行融合，得到融合图像集：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k∈[-2 -1 0 1 2]} (1)

其中，F_j为第j个训练样本图像的融合图像集，1≤j≤n，n为训练样本图像的总数，用

表示第j个训练样本图像的融合图像集中的第i个融合图像，1≤i≤t，t为第j个训练样本图像的融合图像集中的融合图像总数；k为融合系数，k＝k₁，k₂，k₃；k₁、k₂、k₃分别为R，G，B三个通道的图像的融合系数，R、G、B分别为初始图像在RGB色彩空间下的红色通道、绿色通道和蓝色通道的图像。

所述得到融合图像集之后还包括：

消除融合系数冗余项的融合图像，所述消除的融合系数冗余项的融合图像为：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k₁＝k₂＝k₃}。

所述根据所述融合图像集创建树状CNN模型，包括：

将所述融合图像集分组，得到分组图像集

其中，

为第j个训练样本图像的融合图像集中第l个分组图像，1≤l≤p，p为第j个训练样本图像的融合图像集的组数，p＝INT(t/3)；

将

即

输入CNN模型网络结构中得到树状CNN模型集合中最高级父节点模型CNN1；

假设树状CNN模型集合中有m个树状模型为已知模型，记为v_r，1≤r≤m＜p，v_r为第r个已知模型，未创建的树状模型数目则为p-m个，称为候选模型，记为θ_k，m+1≤k≤p，θ_k为第k个候选模型；

将未使用的分组图像集

输入CNN模型网络结构中得到各个候选模型θ_k；

将θ_k对应的未使用的分组图像集

代入已知模型v_r中，计算分组图像集

和已知模型v_r的相似度，相似度计算公式为公式(2)：

其中，

为将分组图像集

代入已知模型v_r所得到的事件发生的置信概率；

选取所述相似度最大的已知模型v_r作为θ_k的父节点模型，即公式(3)：

为候选模型θ_k对应的父节点模型，

为已知模型v_r本身的可靠性，将已知模型v_r的父节点记为P_v，则：

将最高级父节点模型CNN1、已知模型v_r、候选模型θ_k以及三者之间的父子节点关系相关联，得到树状CNN模型集合，并将树状CNN模型集合中的树状模型记为v_l，其中，l＝1时即为CNN1，l＝r时即为已知模型v_r，l＝k时即为候选模型θ_k。

所述将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率，包括：

将目标图像q通过公式(1)得到目标融合图像集，记为F_q；

将目标融合图像集F_q分组，得到分组图像集

将分组图像集

输入所述树状CNN模型，通过公式(5)计算目标图像q存在火灾的概率：

其中，

为树状模型v_l的权重系数，所述权重系数的计算公式为：

其中，

为树状模型v_l的可靠性，通过公式(4)计算获得；

为分组图像集

代入树状模型v_l的所获得的最大置信概率，计算公式为：

本发明的目的之二采用如下技术方案实现：

一种森林火灾识别装置，其包括：

融合模块，用于对训练样本图像进行融合，获取融合后的融合图像集；

创建模块，用于根据所述融合图像集创建树状CNN模型；

计算模块，用于将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明目的之一的森林火灾识别方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明目的之一的森林火灾识别方法。

与现有技术相比，本发明森林火灾识别方法、装置、电子设备及存储介质，其有益效果在于：本发明通过多通道融合后的融合图像集训练创建树状CNN模型，进而获取发生火灾的概率，精度高。

附图说明

图1为本发明实施例一森林火灾识别方法的流程图；

图2为一种训练样本图像的实例；

图3为图2训练样本图像融合后的融合图像集；

图4为树状CNN模型的示意图；

图5为CNN模型网络结构的示意图；

图6为本发明实施例二森林火灾识别装置的结构示意图；

图7为本发明实施例三电子设备的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

请参照图1所示，一种森林火灾识别方法，其包括以下步骤：

110、对训练样本图像进行融合，获取融合后的融合图像集。

其具体包括以下步骤：

将初始图像的颜色空间转换为RGB色彩空间；

对所述RGB色彩空间的初始图像的R，G，B三个通道的图像按照公式(1)所示进行融合，将融合后的融合图像归一化到0～255范围，得到融合图像集：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k∈[-2 -1 0 1 2]} (1)

其中，F_j为第j个训练样本图像的融合图像集，1≤j≤n，n为训练样本图像的总数，用

表示第j个训练样本图像的融合图像集中的第i个融合图像，1≤i≤t，t为第j个训练样本图像的融合图像集中的融合图像总数；k为融合系数，k＝k₁，k₂，k₃；k₁、k₂、k₃分别为R，G，B三个通道的图像的融合系数，R、G、B分别为初始图像在RGB色彩空间下的红色通道、绿色通道和蓝色通道的图像。

消除融合系数冗余项的融合图像，所述消除的融合系数冗余项的融合图像为：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k₁＝k₂＝k₃}。

如图2所示的训练样本图像，经过公式(1)融合后得到图3所示的49帧图形，该49帧图像即为图2训练样本图像得到的融合图像集。

120、根据所述融合图像集创建树状CNN模型。

本发明采用的神经网络模型为树状结构的多CNN模型组合，记为树状CNN模型，结构形式如图4所示。模型之间的连线代表了父模型和子模型之间的联系，CNN模型之间的连线的粗细代表了不同CNN模型之间的相似性，也即模型之间的依赖程度，而每个CNN模型方框的粗细代表了该模型的可靠性。由图4可以得出，CNN1模型的可靠性要高于CNNk模型的可靠性，CNN1模型与CNN2模型之间的相似性要高于CNN1模型和CNNk模型之间的相似性，也即是CNN2模型相对与CNNk模型更依赖于CNN1模型。

其创建过程如下：

将所述融合图像集分组，得到分组图像集

其中，

为第j个训练样本图像的融合图像集中第l个分组图像，1≤l≤p，p为第j个训练样本图像的融合图像集的组数，p＝INT(t/3)；

将

即

输入CNN模型网络结构中得到树状CNN模型集合中最高级父节点模型CNN1。CNN模型网络结构采用了Hyeonseob Nam等提出的网络结构，该网络结构是由VGG(Visual Geometry Group视觉几何集)网络经过改进得到的，如图5所示，相对于VGG网络，该网络在卷积层3输出的部分添加了两个全连接层，最终的输出层为2维的向量，分别代表了输入图像发生的概率和不发生的概率。

最高级父节点模型CNN1的实现过程为：将l＝1的分组图像集

输入如图5所示的CNN模型网络结构，全连接层的参数随机初始化，然后根据输出层的二维输出结果与实际初始化的结果误差，进行反向传播的相关运算，最终完成对全连接层参数的修正。迭代过程中用0.001的学习率进行迭代，迭代次数为50次，采用softmax函数与交叉熵反向梯度传导对全连接层的参数进行修正，最终完成最高级父节点模型CNN1的创建。

假设树状CNN模型集合中有m个树状模型为已知模型，记为v_r，1≤r≤m＜p，v_r为第r个已知模型，未创建的树状模型数目则为p-m个，称为候选模型，记为θ_k，m+1≤k≤p，θ_k为第k个候选模型；

将未使用的分组图像集

输入CNN模型网络结构中得到各个候选模型θ_k；

将θ_k对应的未使用的分组图像集

代入已知模型v_r中，计算分组图像集

和已知模型v_r的相似度，相似度计算公式为公式(2)：

其中，

为将分组图像集

代入已知模型v_r所得到的事件发生的置信概率；

选取所述相似度最大的已知模型v_r作为θ_k的父节点模型，即公式(3)：

为候选模型θ_k对应的父节点模型，

为已知模型v_r本身的可靠性，将已知模型v_r的父节点记为P_v，则：

将最高级父节点模型CNN1、已知模型v_r、候选模型θ_k以及三者之间的父子节点关系相关联，得到树状CNN模型集合，并将树状CNN模型集合中的树状模型记为v_l，其中，l＝1时即为CNN1，l＝r时即为已知模型v_r，l＝k时即为候选模型θ_k。

130、将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。

将目标图像q通过公式(1)得到目标融合图像集，目标融合图像集记为F_q；

将目标融合图像集F_q分组，得到分组图像集

将分组图像集

输入所述树状CNN模型，通过公式(5)计算目标图像q存在火灾的概率：

其中，

为树状模型v_l的权重系数，所述权重系数的计算公式为：

其中，

为树状模型v_l的可靠性，通过公式(4)计算获得；

为分组图像集

代入树状模型v_l的所获得的最大置信概率，计算公式为：

实施例二

实施例二公开了一种对应上述实施例的森林火灾识别装置，为上述实施例的虚拟装置结构，请参照图6所示，包括：

融合模块610，用于对训练样本图像进行融合，获取融合后的融合图像集；

创建模块620，用于根据所述融合图像集创建树状CNN模型；

计算模块630，用于将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。

实施例三

图7为本发明实施例三提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器710、存储器720、输入装置730和输出装置740；计算机设备中处理器710的数量可以是一个或多个，图7中以一个处理器710为例；电子设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器720作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的森林火灾识别方法对应的程序指令/模块(例如，森林火灾识别装置中的融合模块610、创建模块620和计算模块630)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的森林火灾识别方法。

存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可用于接收输入的用户身份信息。输出装置740可包括显示屏等显示设备。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种森林火灾识别方法，该方法包括：

对训练样本图像进行融合，获取融合后的融合图像集；

根据所述融合图像集创建树状CNN模型；

将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于森林火灾识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述基于森林火灾识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (5)

1.一种森林火灾识别方法，其特征在于，包括以下步骤：

对训练样本图像进行融合，获取融合后的融合图像集；其包括以下步骤：

将初始图像的颜色空间转换为RGB色彩空间；

对所述RGB色彩空间的初始图像的R，G，B三个通道的图像按照公式(1)所示进行融合，得到融合图像集：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k∈[-2 -1 0 1 2]} (1)

其中，F_j为第j个训练样本图像的融合图像集，1≤j≤n，n为训练样本图像的总数，用

表示第j个训练样本图像的融合图像集中的第i个融合图像，1≤i≤t，t为第j个训练样本图像的融合图像集中的融合图像总数；k为融合系数，k＝k₁，k₂，k₃；k₁、k₂、k₃分别为R，G，B三个通道的图像的融合系数，R、G、B分别为初始图像在RGB色彩空间下的红色通道、绿色通道和蓝色通道的图像；

根据所述融合图像集创建树状CNN模型；其包括以下步骤：

将所述融合图像集分组，得到分组图像集

其中，

为第j个训练样本图像的融合图像集中第l个分组图像，1≤l≤p，p为第j个训练样本图像的融合图像集的组数，p＝INT(t/3)；

将

即

输入CNN模型网络结构中得到树状CNN模型集合中最高级父节点模型CNN1；

假设树状CNN模型集合中有m个树状模型为已知模型，记为v_r，1≤r≤m＜p，v_r为第r个已知模型，未创建的树状模型数目则为p-m个，称为候选模型，记为θ_k，m+1≤k≤p，θ_k为第k个候选模型；

将未使用的分组图像集

输入CNN模型网络结构中得到各个候选模型θ_k；

将θ_k对应的未使用的分组图像集

代入已知模型v_r中，计算分组图像集

和已知模型v_r的相似度，相似度计算公式为公式(2)：

其中，

为将分组图像集

代入已知模型v_r所得到的事件发生的置信概率；

选取所述相似度最大的已知模型v_r作为θ_k的父节点模型，即公式(3)：

为候选模型θ_k对应的父节点模型，

为已知模型v_r本身的可靠性，将已知模型v_r的父节点记为P_v，则：

将最高级父节点模型CNN1、已知模型v_r、候选模型θ_k以及三者之间的父子节点关系相关联，得到树状CNN模型集合，并将树状CNN模型集合中的树状模型记为v_l，其中，l＝1时即为CNN1，l＝r时即为已知模型v_r，l＝k时即为候选模型θ_k；

将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率；其包括以下步骤：

将目标图像q通过公式(1)得到目标融合图像集，记为F_q；

将目标融合图像集F_q分组，得到分组图像集

将分组图像集

输入所述树状CNN模型，通过公式(5)计算目标图像q存在火灾的概率：

其中，

为树状模型v_l的权重系数，所述权重系数的计算公式为：

其中，

为树状模型v_l的可靠性，通过公式(4)计算获得；

为分组图像集

代入树状模型v_l的所获得的最大置信概率，计算公式为：

2.根据权利要求1所述的森林火灾识别方法，其特征在于，所述得到融合图像集之后还包括：

消除融合系数冗余项的融合图像，所述消除的融合系数冗余项的融合图像为：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k₁＝k₂＝k₃}。

3.一种森林火灾识别装置，其特征在于，其包括：

融合模块，用于对训练样本图像进行融合，获取融合后的融合图像集；将初始图像的颜色空间转换为RGB色彩空间；

对所述RGB色彩空间的初始图像的R，G，B三个通道的图像按照公式(1)所示进行融合，得到融合图像集：

F_j＝{k₁*R_j+k₂*G_j+k₃*B_j|k∈[-2 -1 0 1 2]} (1)

其中，F_j为第j个训练样本图像的融合图像集，1≤j≤n，n为训练样本图像的总数，用

表示第j个训练样本图像的融合图像集中的第i个融合图像，1≤i≤t，t为第j个训练样本图像的融合图像集中的融合图像总数；k为融合系数，k＝k₁，k₂，k₃；k₁、k₂、k₃分别为R，G，B三个通道的图像的融合系数，R、G、B分别为初始图像在RGB色彩空间下的红色通道、绿色通道和蓝色通道的图像；

创建模块，用于根据所述融合图像集创建树状CNN模型；其包括以下步骤：

将所述融合图像集分组，得到分组图像集

其中，

为第j个训练样本图像的融合图像集中第l个分组图像，1≤l≤p，p为第j个训练样本图像的融合图像集的组数，p＝INT(t/3)；

将

即

输入CNN模型网络结构中得到树状CNN模型集合中最高级父节点模型CNN1；

假设树状CNN模型集合中有m个树状模型为已知模型，记为v_r，1≤r≤m＜p，v_r为第r个已知模型，未创建的树状模型数目则为p-m个，称为候选模型，记为θ_k，m+1≤k≤p，θ_k为第k个候选模型；

将未使用的分组图像集

输入CNN模型网络结构中得到各个候选模型θ_k；

将θ_k对应的未使用的分组图像集

代入已知模型v_r中，计算分组图像集

和已知模型v_r的相似度，相似度计算公式为公式(2)：

其中，

为将分组图像集

代入已知模型v_r所得到的事件发生的置信概率；

选取所述相似度最大的已知模型v_r作为θ_k的父节点模型，即公式(3)：

为候选模型θ_k对应的父节点模型，

为已知模型v_r本身的可靠性，将已知模型v_r的父节点记为P_v，则：

将最高级父节点模型CNN1、已知模型v_r、候选模型θ_k以及三者之间的父子节点关系相关联，得到树状CNN模型集合，并将树状CNN模型集合中的树状模型记为v_l，其中，l＝1时即为CNN1，l＝r时即为已知模型v_r，l＝k时即为候选模型θ_k；

计算模块，用于将待测试的目标图像输入所述树状CNN模型，计算获取所述目标图像对应的火灾概率；其包括以下步骤：

将目标图像q通过公式(1)得到目标融合图像集，记为F_q；

将目标融合图像集F_q分组，得到分组图像集

将分组图像集

输入所述树状CNN模型，通过公式(5)计算目标图像q存在火灾的概率：

其中，

为树状模型v_l的权重系数，所述权重系数的计算公式为：

其中，

为树状模型v_l的可靠性，通过公式(4)计算获得；

为分组图像集

代入树状模型v_l的所获得的最大置信概率，计算公式为：

4.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的森林火灾识别方法。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的森林火灾识别方法。

Images