CN112686190A - 一种基于自适应目标检测的森林火灾烟雾自动识别方法 - Google Patents

Abstract

本发明属于人工智能在林业工程的应用领域，具体涉及一种基于自适应目标检测的森林火灾烟雾自动识别方法，旨在提供一种在满足实时性检测条件下具有高识别精度的森林火灾烟雾检测方法。具体包括在预先建立的森林火灾烟雾图像数据库中获取标定后的图像数据作为目标训练图像；将目标训练图像输入预定义的火灾烟雾检测识别模型，通过模型中的区域候选网络进行图像特征提取；选取预先建立的指标模型库中的指标，对图像特征提取的识别精度进行评估。本发明以改进的自适应目标检测网络为主体，有效的提高了森林火灾烟雾特征的提取能力，从而实现实时性且高精度的森林火灾烟雾的检测识别。

Description

一种基于自适应目标检测的森林火灾烟雾自动识别方法

技术领域

本发明涉及一种基于自适应目标检测的森林火灾烟雾自动识别方法，属于人工智能在林业工程的应用领域。

背景技术

森林火灾对经济、生态环境均构成了极大的威胁，对林业保护产生的危害极大，及时准确的发现森林火灾，是减小火灾危害的重要手段，也对森林火灾预警和扑救工作有着极其重要的意义。

火灾烟雾是森林火灾发生早期的一种显著现象，对火灾烟雾进行监测识别能够在火灾发生初期监测到火灾，将火灾遏制于摇篮。基于图像处理的检测方法智能化水平高且安全性高，目前已逐渐替代了传统的物理探测器，但图像检测方法效率低、准确率差、误报率高，基于人工智能的应用可以有效解决上述问题。

发明内容

为了解决上述问题，本发明基于火灾检测的特殊性及必要性，对其实时性及准确率都有较高的要求，提出一种自适应目标检测的森林火灾烟雾自动识别方法，既可以满足实时性检测要求，也可以保证高识别精度。

本发明的目的是采用下述技术方案实现的：

一种基于自适应目标检测的森林火灾烟雾自动识别方法，包括：

在预先建立的森林火灾烟雾图像数据库中获取标定后的图像数据作为目标训练图像；

将所述目标训练图像输入预定义的火灾烟雾检测识别模型，通过模型中的区域候选网络进行图像特征提取；

选取预先建立的指标模型库中的指标，对所述图像特征提取的识别精度进行评估。

优选的，所述建立森林火灾烟雾图像数据库包括：

确定建立森林火灾烟雾图像数据库的数据来源，采集图像数据，并对图像数据进行标定；

基于结构化查询语言，以存储图像路径的方式对标定后的图像数据进行存储，获得森林火灾烟雾图像数据库。

进一步地，所述森林火灾烟雾图像数据库的数据来源包括：网络真实森林草原火灾视频、实地监测视频、ImageNet数据库图像、火灾监测设备制造厂家及相关政府部门途径获取的森林火灾烟雾监测视频和图像信息；所述图像信息包括云、雾和霾的非烟雾干扰图像。

进一步地，所述对数据库中的图像数据进行标定之前还包括：基于远视距、近视距不同占比，在数据入库之前对分辨率清晰度不高的图像进行剔除。

进一步地，所述对图像数据进行标定包括：对图像中烟雾、云、雾及霾的特征区域进行提取标定。

优选的，所述火灾烟雾检测识别模型基于自适应目标检测网络进行构建；其中，所述目标检测网络为Faster R-CNN模型；

所述火灾烟雾检测识别模型包括：Faster R-CNN模型和设置于Faster R-CNN模型的区域候选网络中的多个部件感知模块；

所述区域候选网络，用于生成候选区域；

所述部件感知模块，用于锚框的自适应生成。

进一步地，所述通过火灾烟雾检测识别模型中的区域候选网络进行图像特征提取包括：

通过Faster R-CNN模型中区域候选网络生成候选区域；所述候选区域由锚框组成；

将多个部件感知模块加入至Faster R-CNN模型的区域候选网络中，获取目标训练图像中每一候选区域的特征信息，生成特征图；

基于预定义的卷积层的卷积核，将所述特征图输入到卷积神经网络中至少一个卷积层进行卷积计算，归一化输出候选区域尺寸特征；基于候选区域的尺寸特征，获得多个锚框，输入到区域候选网络进行融合，获得多个融合特征；提取多个融合特征中的最大特征值，输出图像特征识别信息。

进一步地，所述生成特征图包括：

将目标训练图像输入到第一部件感知模块进行运算，获得第一感知特征；

将所述第一感知特征输入到第二部件感知模块进行运算，获得第二感知特征；

将所述第二感知特征输入到第三部件感知模块进行运算，获得第三感知特征，将所述第三感知特征作为特征图；

其中，所述部件感知模块以步长为1，以从左到右，从上到下的顺序滑动探测感知特征。

进一步地，所述基于候选区域的尺寸特征，获得多个锚框包括：将多级ROI池化层加入区域候选网络，将锚框在不同空间上分别划分为m×m,n×n,p×p区域，然后将其连接成单个向量进行输出；其中，m、n和p分别为锚框的空间划分参数，m取值为2，n取值为4，p取值为8。

优选的，根据权利要求1所述的方法，其特征在于，所述指标模型库的指标包括像素准确率、均值平均精度、交并比、漏报率和误报率；

其中，所述交并比表示候选框与原标记框的交叠率；

所述漏报率为未识别出来的图像数量除以总图像数量；

所述误报率为识别错误的图像数量除以图像总数量；

通过下式确定所述像素准确率：

式中，P表示分类正确的图像数量占总图像数量的比例；TP代表预测正确的图像数量，FP代表预测错误图像数量；

通过下式确定所述平均精度：

式中，AP表示衡量某个特征类的平均精度；∑Precision_c是指待验证数据集上所有的图像对于特征类c的精度值的和，N(TotalImage)_c是指含有特征类c的图像的数量；

通过下式确定所述均值平均精度：

式中，MAP表示对检测到的目标平均精度的一个综合度量，是各类别平均精度的平均值；∑Average Pre cision_c表示所有类别的平均精度，N(Classes)表示所有类别的数目。

本发明的有益效果是：

1.本发明通过应用Faster R-CNN模型人工智能模型识别森林火灾烟雾来检测森林火灾发生情况，可以满足火灾烟雾特征复杂的情况，且在保证实时性的同时也可以保证高识别精度。

2.本发明在构造火灾烟雾图像数据库时，将带有云、雾及霾的图片也作为训练集使用，这样可以降低实际识别过程中误识别率的情况。

3.本发明在传统的Faster R-CNN模型中引入部件感知模块来提升锚框的搜索效率，进而提升模型的识别速度，且通过对多个部件感知模块进行归一化处理，不仅能够归一化特征的尺寸和维度，还能够进一步的增强提取目标特征的能力。

4.本发明在传统的Faster R-CNN模型中引入多级ROI池化层的思路，可以有效提高模型的准确率。

5.本发明引入指标模型库，可以有效评估相关方法的识别精度。

附图说明

图1为本发明的系统方法流程图；

图2为本发明的图像数据库建立流程图；

图3为本发明的Faster R-CNN模型结构图；

图4为本发明的改造后的区域候选网络结构图；

图5为本发明的部件感知模块结构图；

图6为本发明的多级ROI池化层的结构图

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本发明提供一种基于自适应目标检测的森林火灾烟雾自动识别方法，图1为本发明的方法流程图。如图1所示，其公开了包括：

S1在预先建立的森林火灾烟雾图像数据库中获取标定后的图像数据作为目标训练图像；

S2将所述目标训练图像输入预定义的火灾烟雾检测识别模型，通过模型中的区域候选网络进行图像特征提取；

S3选取预先建立的指标模型库中的指标，对所述图像特征提取的识别精度进行评估。

步骤S1中，所述建立森林火灾烟雾图像数据库包括：

确定建立森林火灾烟雾图像数据库的数据来源，采集图像数据，并对图像数据进行标定；

基于结构化查询语言，以存储图像路径的方式对标定后的图像数据进行存储，获得森林火灾烟雾图像数据库。

所述森林火灾烟雾图像数据库的数据来源包括：网络真实森林草原火灾视频、实地监测视频、ImageNet数据库图像、火灾监测设备制造厂家及相关政府部门途径获取的森林火灾烟雾监测视频和图像信息；所述图像信息包括云、雾和霾的非烟雾干扰图像。

所述对数据库中的图像数据进行标定之前还包括：基于远视距、近视距不同占比，在数据入库之前对分辨率清晰度不高的图像进行剔除。

所述对图像数据进行标定包括：对图像中烟雾、云、雾及霾的特征区域进行提取标定。

步骤S2中，所述火灾烟雾检测识别模型基于自适应目标检测网络进行构建；其中，所述目标检测网络为Faster R-CNN模型；

所述火灾烟雾检测识别模型包括：Faster R-CNN模型和设置于Faster R-CNN模型的区域候选网络中的多个部件感知模块；

所述区域候选网络，用于生成候选区域；

所述部件感知模块，用于锚框的自适应生成。

步骤S2中，所述通过火灾烟雾检测识别模型中的区域候选网络进行图像特征提取包括：

通过Faster R-CNN模型中区域候选网络生成候选区域；所述候选区域由锚框组成；

将多个部件感知模块加入至Faster R-CNN模型的区域候选网络中，获取目标训练图像中每一候选区域的特征信息，生成特征图；

基于预定义的卷积层的卷积核，将所述特征图输入到卷积神经网络中至少一个卷积层进行卷积计算，归一化输出候选区域尺寸特征；基于候选区域的尺寸特征，获得多个锚框，输入到区域候选网络进行融合，获得多个融合特征；提取多个融合特征中的最大特征值，输出图像特征识别信息。

所述生成特征图包括：

将目标训练图像输入到第一部件感知模块进行运算，获得第一感知特征；

将所述第一感知特征输入到第二部件感知模块进行运算，获得第二感知特征；

将所述第二感知特征输入到第三部件感知模块进行运算，获得第三感知特征，将所述第三感知特征作为特征图；

其中，所述部件感知模块以步长为1，以从左到右，从上到下的顺序滑动探测感知特征。

所述基于候选区域的尺寸特征，获得多个锚框包括：将多级ROI池化层加入区域候选网络，将锚框在不同空间上分别划分为m×m,n×n,p×p区域，然后将其连接成单个向量进行输出；其中，m、n和p分别为锚框的空间划分参数，m取值为2，n取值为4，p取值为8。

步骤S3中，所述指标模型库的指标包括像素准确率、均值平均精度、交并比、漏报率和误报率；

其中，所述交并比表示候选框与原标记框的交叠率；

所述漏报率为未识别出来的图像数量除以总图像数量；

所述误报率为识别错误的图像数量除以图像总数量；

通过下式确定所述像素准确率：

式中，P表示分类正确的图像数量占总图像数量的比例；TP代表预测正确的图像数量，FP代表预测错误图像数量；

通过下式确定所述平均精度：

式中，AP表示衡量某个特征类的平均精度；∑Precision_c是指待验证数据集上所有的图像对于特征类c的精度值的和，N(TotalImage)_c是指含有特征类c的图像的数量；

通过下式确定所述均值平均精度：

式中，MAP表示对检测到的目标平均精度的一个综合度量，是各类别平均精度的平均值；∑Average Pre cision_c表示所有类别的平均精度，N(Classes)表示所有类别的数目。

本发明以改进的自适应目标检测网络为主体，有效的提高了森林火灾烟雾特征的提取能力，从而实现实时性且高精度的森林火灾烟雾的检测识别。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

具体的，一种基于自适应目标检测的森林火灾烟雾自动识别方法，主要包括三个部分：其一是基于SQL建立森林火灾烟雾图像数据库。其二是基于改进自适应目标检测网络构建一种新型的火灾烟雾检测识别方法。最后通过指标模型库对所述识别方法的识别精度进行评估。

实施例2：

本发明提供一种所述森林火灾烟雾图像数据库的建立实施例，图2为本发明的图像数据库建立流程图。具体的：

步骤1：数据采集。图像数据库的数据来源包括网络真实森林草原火灾视频、实地监测视频、ImageNet数据库图像、火灾监测设备制造厂家及相关政府部门等途径获取的森林火灾烟雾监测视频和图像数据，以存储图像路径的方式建立SQL监测图像数据库。

优选的，所述图像数据库也包含包括云、雾和霾的非烟雾干扰图像。

步骤2：数据剔除。所述烟雾图像的数据包含远视距、近视距等不同占比的烟雾图像，且在数据入库之前对分辨率清晰度不高的图像进行剔除。

步骤3：数据标定。对所述图像数据库中的图像数据进行标定，即对图像中烟雾、云、雾及霾的特征区域进行提取标定。

步骤4：生成训练集。经过标定后的图像数据库作为所述识别方法的训练数据集。

具体的，本发明结合附图对所述一种新型火灾烟雾的检测识别方法提出一实施例。

实施例3：

基于改进自适应目标检测网络构建新型火灾烟雾检测识别方法，所述目标检测网络指Faster R-CNN模型，图3为的Faster R-CNN模型结构图。该目标检测方法适用于火灾烟雾特征复杂的特点，可以极大提升火灾烟雾检测的准确性。

所述Faster R-CNN模型的原理如下：

在Faster R-CNN模型中引入了区域候选网络用于生成候选区域，将所述候选区域嵌入到网络模型之中，可以实现特征提取。所述候选区域由锚框组成。锚框通过预先定义尺度大小与横纵比后，在进行图片识别中，通过在特征图上进行遍历搜索，获取被检测物体特征。上述方法因锚框大小和比例的固定而不能充分发挥锚点框的特征表达作用，且在锚框遍历搜索过程中中会产生冗余的候选框，耗费大量的计算机资源，致使识别时间较长。

本发明将部件感知模块加入到区域候选网络之中，用于锚框的自适应生成。图4为改造后的区域候选网络结构图。所述部件感知模块主要用于提取每一区域块的特征信息。图5为部件感知模块结构图。具体的，自适应锚框生成的过程如下：

当感知部件的某一感受区域没有目标特征信息时，不输出识别信息，继续以步长为1，以从左到右，从上到下的顺序滑动探测。当检测到有目标特征时，输出识别信息。其中通过提取锚框左右行和上下行的最大特征值的方法，可以检测到目标物的位置。

优选的，所述部件感知模块由于特征提取的尺寸和维度不同，不能够直接融合。还需要对其进行归一化处理，首先使用卷积核为1*1的卷积操作将其维度降低，然后使用卷积核归一化输出特征尺寸。

优选的，为了解决Faster R-CNN模型中单级ROI池化层导致部分区域像素点损失，使建议框的位置产生偏差的现象，本发明将多级ROI池化层引入。图6为多级ROI池化层的结构图。具体的：

将多级ROI池化层加入区域候选网络之后，将候选框在不同空间上分别划分为如m×m,n×n,p×p等区域,然后将其连接成单个向量进行输出。多级ROI池化层能够在多级空间中有效地利用各像素点的信息,提高火灾烟雾检测的准确性。

优选的，所述m、n、p的大小会对烟雾检测的准确性带来提升，但也会延长训练时间，兼顾检测速度和识别准确率的要求，m取值为2，n取值为4，p取值为8。

实施例3：本发明还包括建立指标模型库对所述识别方法的识别精度进行评估。

指标模型库包含像素准确率、均值平均精度、交并比、漏报率和误报率等指标。通过上述指标可以对所述识别方法的性能进行评价。

具体的，所述像素准确率、均值平均精度、交并比等指标数值越大说明识别效果越好，所述漏报率和误报率等指标数值越小说明识别效果越好。

具体的：

所述像素准确率P代表正确分类的图像数量占总图像数量的比例，其计算方法如下：

其中，TP代表预测正确的图像数量，FP代表预测错误图像数量。

所述均值平均精度MAP代表对检测到的目标平均精度的一个综合度量，是各类别平均精度的平均值。所述平均精度AP用来衡量某个特征类的平均精度。

其中，∑Precision_c是指待验证数据集上所有的图像对于特征类c的精度值的和，N(TotalImage)_c是指含有特征类c的图像的数量。

其中，∑Average Pre cision_c表示所有类别的平均精度，N(Classes)表示所有类别的数目。

所述交并比IOU是一种测量在特定数据集中检测相应物体准确度的一个标准。表示候选框与原标记框的交叠率，即它们的交集与并集的比值。

所述漏报率是指未识别出来的图像数量除以总图像数量。

所述误报率是识别错误的图像数量除以图像总数量。

同时，本发明为了验证所述识别方法的优越性，与相关同类别算法基于上述指标模型库进行了对比，结果如下表：

上述对比表明，本发明所述识别方法在识别准确率、识别精度等方面均较现有方法有大幅度进步。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于自适应目标检测的森林火灾烟雾自动识别方法，其特征在于，包括：

在预先建立的森林火灾烟雾图像数据库中获取标定后的图像数据作为目标训练图像；

将所述目标训练图像输入预定义的火灾烟雾检测识别模型，通过模型中的区域候选网络进行图像特征提取；

选取预先建立的指标模型库中的指标，对所述图像特征提取的识别精度进行评估。

2.根据权利要求1所述的方法，其特征在于，所述建立森林火灾烟雾图像数据库包括：

确定建立森林火灾烟雾图像数据库的数据来源，采集图像数据，并对图像数据进行标定；

基于结构化查询语言，以存储图像路径的方式对标定后的图像数据进行存储，获得森林火灾烟雾图像数据库。

3.根据权利要求2所述的方法，其特征在于，所述森林火灾烟雾图像数据库的数据来源包括：网络真实森林草原火灾视频、实地监测视频、ImageNet数据库图像、火灾监测设备制造厂家及相关政府部门途径获取的森林火灾烟雾监测视频和图像信息；所述图像信息包括云、雾和霾的非烟雾干扰图像。

4.根据权利要求2所述的方法，其特征在于，所述对数据库中的图像数据进行标定之前还包括：基于远视距、近视距不同占比，在数据入库之前对分辨率清晰度不高的图像进行剔除。

5.根据权利要求2所述的方法，其特征在于，所述对图像数据进行标定包括：对图像中烟雾、云、雾及霾的特征区域进行提取标定。

6.根据权利要求1所述的方法，其特征在于，所述火灾烟雾检测识别模型基于自适应目标检测网络进行构建；其中，所述目标检测网络为Faster R-CNN模型；

所述火灾烟雾检测识别模型包括：Faster R-CNN模型和设置于Faster R-CNN模型的区域候选网络中的多个部件感知模块；

所述区域候选网络，用于生成候选区域；

所述部件感知模块，用于锚框的自适应生成。

7.根据权利要求1所述的方法，其特征在于，所述通过火灾烟雾检测识别模型中的区域候选网络进行图像特征提取包括：

通过Faster R-CNN模型中区域候选网络生成候选区域；所述候选区域由锚框组成；

将多个部件感知模块加入至Faster R-CNN模型的区域候选网络中，获取目标训练图像中每一候选区域的特征信息，生成特征图；

基于预定义的卷积层的卷积核，将所述特征图输入到卷积神经网络中至少一个卷积层进行卷积计算，归一化输出候选区域尺寸特征；基于候选区域的尺寸特征，获得多个锚框，输入到区域候选网络进行融合，获得多个融合特征；提取多个融合特征中的最大特征值，输出图像特征识别信息。

8.根据权利要求7所述的方法，其特征在于，所述生成特征图包括：

将目标训练图像输入到第一部件感知模块进行运算，获得第一感知特征；

将所述第一感知特征输入到第二部件感知模块进行运算，获得第二感知特征；

将所述第二感知特征输入到第三部件感知模块进行运算，获得第三感知特征，将所述第三感知特征作为特征图；

其中，所述部件感知模块以步长为1，以从左到右，从上到下的顺序滑动探测感知特征。

9.根据权利要求7所述的方法，其特征在于，所述基于候选区域的尺寸特征，获得多个锚框包括：将多级ROI池化层加入区域候选网络，将锚框在不同空间上分别划分为m×m，n×n，p×p区域，然后将其连接成单个向量进行输出；其中，m、n和p分别为锚框的空间划分参数，m取值为2，n取值为4，p取值为8。

10.根据权利要求1所述的方法，其特征在于，所述指标模型库的指标包括像素准确率、均值平均精度、交并比、漏报率和误报率；

其中，所述交并比表示候选框与原标记框的交叠率；

所述漏报率为未识别出来的图像数量除以总图像数量；

所述误报率为识别错误的图像数量除以图像总数量；

通过下式确定所述像素准确率：

式中，P表示分类正确的图像数量占总图像数量的比例；TP代表预测正确的图像数量，FP代表预测错误图像数量；

通过下式确定所述平均精度：

式中，AP表示衡量某个特征类的平均精度；∑Precision_c是指待验证数据集上所有的图像对于特征类c的精度值的和，N(TotalImage)_c是指含有特征类c的图像的数量；

通过下式确定所述均值平均精度：

式中，MAP表示对检测到的目标平均精度的一个综合度量，是各类别平均精度的平均值；∑AveragePrecision_c表示所有类别的平均精度，N(Classes)表示所有类别的数目。

Images