CN110232380A - 基于Mask R-CNN神经网络的火灾夜间场景复原方法 - Google Patents

Abstract

本发明涉及一种于Mask R‑CNN模型的火灾夜间场景复原方法，通过训练Mask‑RCNN模型对火焰进行实例分割，将夜晚的起火位置的火焰初期的区域分割出来融合到白天的监控视频上，定位起火的具体位置，在实例分割的后续操作中，利用图像混合叠加算法，将分割出的火焰区域叠加到白天的监控视频图像上，从而实现火灾场景的复原并辅助定位起火位置，为火灾成因认定奠定了坚实的基础。

Description

基于Mask R-CNN神经网络的火灾夜间场景复原方法

技术领域

本发明涉及图像处理与计算机视觉领域，特别涉及一种基于Mask R-CNN神经网络的火灾夜间场景复原方法，将夜间起火位置火焰融合到白天的监控视频上，实现夜晚火灾场景的复原。

背景技术

在当今社会中，火灾一直是人类面临的主要灾害之一，严重的火灾事故不仅会造成大量的人员伤亡，还会危及生命。避免火灾不仅需要在火灾发生前及时监测、预警火灾事故，还需要在火灾发生后精准地调研分析火灾发生的原因、定位起火位置。火焰是火灾发生的重要视觉标志之一，火焰的研究对火灾的准确监控具有重要作用。

传统的火灾事故调查主要以现场勘查并收集证据为主要手段，在进行火灾原因认定时，往往根据现场残留的火灾痕迹、残留物并结合证人询问笔录，通过逻辑推理得到认定结论，这种传统火灾原因调查方法具有很大的主观性和局限性。随着数字图像处理技术的发展，安防监控设备已经遍布了各大场所，这些监控视频图像已经可以客观具体地反映现场情况，对认定火灾原因发挥了良好的作用。但是由于一些客观元素限制，比如火灾发生在夜间，那么只通过监控视频，火调人员无从确定起火的具体位置，目前仍然没有很好的复原夜间火灾场景的方法。

发明内容

鉴于现有技术的状况及存在的不足，为了便于火灾调查人员确定夜间火灾起火位置，本发明提出一种基于Mask R-CNN模型的火灾夜间场景复原方法，通过训练Mask-RCNN模型对火焰进行实例分割，将夜晚的起火位置的火焰初期的区域分割出来融合到白天的监控视频上，定位起火的具体位置，在实例分割的后续操作中，利用图像混合叠加算法，将分割出的火焰区域叠加到白天的监控视频图像上，从而实现火灾场景的复原并辅助定位起火位置，为火灾成因认定奠定了坚实的基础。

本发明为实现上述目的，采用的技术方案是：基于Mask R-CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：

⑴、建立火焰检测样本库：

为了使用Mask-RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask-RCNN网络的训练；

⑵、图像的预处理：

输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；

⑶、Mask R-CNN模型训练：

Mask R-CNN 继承于Faster R-CNN，在Faster R-CNN上面加了一个Mask PredictionBranch，并且改良了RoI Pooling，提出了RoI Align，是Faster R-CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，Mask R-CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoI Align将RPN层生成的RoI映射featuremap对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练Mask R-CNN模型时，采用如下的损失函数：

L=L_cls+L_box+L_mask

其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；

Lbox和Lmask是对正样本才会起作用的，Mask R-CNN中的正样本被定义成了与Groundtruth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；

Mask R-CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；

⑷、Mask R-CNN模型推理：

将预处理后的夜间监控视频帧输入到训练好的Mask R-CNN模型中进行推理时，主要分为以下四个步骤：

第一步：特征图Feature Map的生成，处理后的图片输入到Mask R-CNN模型的主干网络ResNeXt-101+FPN中，产生不同尺寸的Feature Map；

第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有 Feature Map 上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；

本方法采用 3 种不同大小Anchor，即128×128，256×256，512×512，用 3 种长宽比1∶1，1 ∶2，2 ∶1进行缩放滑动窗口，因此共用 9 种类型的 Anchor 对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前 300 个候选区域框作为最终的火焰候选区域；

第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到Feature Map的相应位置上，将Feature Map上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；

第四步：将Feature Map输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像；

⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。

本发明的有益效果是：

传统的火焰检测采用HSV颜色模型提取疑似火焰区域，排除与火焰颜色相近的干扰物，然后利用高斯混合模型（GMM）检测运动目标，由于提取特征不够全面，当出现与火焰纹理相似的区域时，误检率较高，且不能准确定位火灾发生位置。使用深度卷积神经网络对火焰进行检测，提高了准确率，但是深度卷积神经网络需要固定的输入尺寸，因此对输入数据进行归一化操作时，导致了图像的失真，造成准确率的下降，利用搜索选择方法进行候选区域的提取，造成过多冗余区域框的产生，效率降低。

本发明使用RPN提取高质量的火焰候选区域，便于火焰目标的提取与分割，使用卷积神经网络提取抽象特征，能够更加全面地描述火焰，ROI Align操作使用双线性插值操作很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题，能够精确的把火灾的位置映射到特征图的位置上。代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask，对不同场景都有较好的检测能力。

本发明可以准确地完成对夜间火焰区域的分割，将夜晚的起火位置的火焰初期的区域分割出来，并通过智能融合算法将分割后的火焰前景视频叠加到白天的监控画面上，火灾原因调查人员可以利用该方法分析夜间火灾场景，从而实现火灾场景的复原并辅助定位起火位置，可以大大的降低视频分析观察难度，方便的进行起火点或者起火区域的准确定位，大大的提高火灾调查相关技术人员的作业时间和破案效率。

附图说明

图1为本发明的夜间火灾视频图像；

图2为本发明的同一监控摄像头下白天视频图像；

图3为本发明的经场景复原融合处理后的视频图像；

图4为本发明的 Mask-RCNN网络的结构图。

具体实施方式

如图1至图4所示，基于Mask R-CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，步骤如下：

⑴、建立火焰检测样本库：

为了使用Mask-RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask-RCNN网络的训练。

⑵、图像的预处理：

输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理。

⑶、Mask R-CNN模型训练：

Mask R-CNN 继承于Faster R-CNN，在Faster R-CNN上面加了一个Mask PredictionBranch，并且改良了RoI Pooling，提出了RoI Align，是Faster R-CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，Mask R-CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoI Align将RPN层生成的RoI映射featuremap对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练Mask R-CNN模型时，采用如下的损失函数：

L=L_cls+L_box+L_mask

其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；

Lbox和Lmask是对正样本才会起作用的，Mask R-CNN中的正样本被定义成了与Groundtruth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；

Mask R-CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask。

⑷、Mask R-CNN模型推理：

将预处理后的夜间监控视频帧输入到训练好的Mask R-CNN模型中进行推理时，主要分为以下四个步骤：

第一步：特征图Feature Map的生成，处理后的图片输入到Mask R-CNN模型的主干网络ResNeXt-101+FPN中，产生不同尺寸的Feature Map；

第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有 Feature Map 上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；

本方法采用 3 种不同大小Anchor，即128×128，256×256，512×512，用 3 种长宽比1∶1，1 ∶2，2 ∶1进行缩放滑动窗口，因此共用 9 种类型的 Anchor 对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前 300 个候选区域框作为最终的火焰候选区域；

第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到Feature Map的相应位置上，将Feature Map上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；

第四步：将Feature Map输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像。

⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。

Claims (1)

1.一种基于Mask R-CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：

⑴、建立火焰检测样本库：

为了使用Mask-RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask-RCNN网络的训练；

⑵、图像的预处理：

输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；

⑶、Mask R-CNN模型训练：

Mask R-CNN 继承于Faster R-CNN，在Faster R-CNN上面加了一个Mask PredictionBranch，并且改良了RoI Pooling，提出了RoI Align，是Faster R-CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，Mask R-CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoI Align将RPN层生成的RoI映射featuremap对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练Mask R-CNN模型时，采用如下的损失函数：

L=L_cls+L_box+L_mask

其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；

Lbox和Lmask是对正样本才会起作用的，Mask R-CNN中的正样本被定义成了与Groundtruth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；

Mask R-CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；

⑷、Mask R-CNN模型推理：

将预处理后的夜间监控视频帧输入到训练好的Mask R-CNN模型中进行推理时，主要分为以下四个步骤：

第一步：特征图Feature Map的生成，处理后的图片输入到Mask R-CNN模型的主干网络ResNeXt-101+FPN中，产生不同尺寸的Feature Map；

第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有 Feature Map 上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；

本方法采用 3 种不同大小Anchor，即128×128，256×256，512×512，用 3 种长宽比1∶1，1 ∶2，2 ∶1进行缩放滑动窗口，因此共用 9 种类型的 Anchor 对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前 300 个候选区域框作为最终的火焰候选区域；

第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到Feature Map的相应位置上，将Feature Map上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；

第四步：将Feature Map输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像；

⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。