CN111062950A - 一种用于多类别森林场景图像分割的方法、存储介质和设备 - Google Patents

Abstract

本发明公开了一种用于多类别森林场景图像分割的方法、存储介质和设备，属于计算机视觉和森林防火视频监测领域。该方法首先获取森林场景图像，采用基于轻量级神经网络的语义分割模型对森林场景图像进行处理，森林场景图像在神经网络中进行前向计算，进行森林场景分割，输出森林场景图像中特定场景区域分割后的掩码图。该方法能够克服传统的暗通道方法或人工划屏蔽区的方法的缺点，分割精度高，能兼顾精度和效率，并能在复杂的森林场景中使用。同时公开的用于多类别森林场景图像分割的存储介质，以及包括该存储介质的设备，使得所述方法能够实施，从而辅助森林烟火检测系统更加快速准确的识别森林火灾。

Description

一种用于多类别森林场景图像分割的方法、存储介质和设备

技术领域

本发明属于计算机视觉和森林防火视频监测领域，具体涉及一种用于多类别森林场景图像分割的方法、存储介质和设备。

背景技术

森林火灾一直以来都是一种突然性难以估摸、破坏性难以消除的自然灾害，也是社会普遍关注的自然灾害之一。我国森林面积广阔，在每年的春秋季节容易因气候干燥、降水较少和风力较大的原因，导致森林存在较大的火患，而夏季更是容易因为高温、雷击或者人为等因素而导致森林火灾。近年来，由于各种原因我国的森林火灾事故频频发生，2013年到2018年我国森林火灾的总数达到了18303次，其中重大和特大火灾达22次，造成受害森林总面积92809公顷，伤亡人数多达314人，造成的财产损失数以亿计。

森林火灾扑救应遵循早发现、早出动和早扑灭的“三早”原则，为了能够及早发现森林火灾，传统的烟雾检测利用各类传感器对烟雾颗粒进行检测，但传感器检测系统容易发生漏检并且传感器工作环境要求严苛、维护成本高。随着视频处理技术的飞速发展，基于视频分析的森林烟火检测已然成为森林地区火灾检测的一种发展趋势，具有准确高效、报警时效性强、信息多样等重要优势。但是目前基于视频的森林烟火检测方法普遍存在着不足之处，由于森林烟火检测算法主要检测的是火灾初期的烟雾，而森林场景中天空飘动的云雾、湖泊水面上的波纹以及建筑物的反光等干扰容易造成检测算法将其错误识别成烟雾。因此，为了提高森林烟火检测算法的可靠性，需要在检测之前，将与森林场景的无关区域分割出来并加以屏蔽，以降低检测算法的误报率和提高检测算法的泛化能力，并且算法不用再检测屏蔽区域，可以减少部分计算量。

由于森林火灾具有较强的突发性，并且一旦起火，火势会迅速蔓延，用于监测森林火灾的设备必须能够在尽量短的时间内，对森林场景进行准确分割，然后进行火灾识别，因此用于嵌入式设备中的语义分割算法必须具有效率高、准确性高等特点。现有技术中，对森林场景进行分割时，主要采用两种方法，一种是基于暗通道的分割方法，然而采用基于暗通道的分割方法时，依赖人工设置的阈值，只能分割出森林场景图像中对比度比较高的天空或者湖面区域，当场景变化时需要不断调整阈值才能正确分割，因此其泛化能力不足，应用范围差。采用暗通道方法时，由于其采用的算法处理机制相对简单，因此具有较高的处理速度，但其处理精度却较低，采用暗通道的方法，分割一张森林场景图像，处理时间约为20ms，但其精度只有20％左右，对于森林火灾，如果不能准确的进行判断，那将会直接导致严重的后果，因此，对于森林场景图像分割，不仅要保证具有较快的处理速度，同时更要求具有更高的精度。另一种是手工划屏蔽区的方法，而采用手工划屏蔽区的方法时，理论上时间处理时间为0，理论精度为100％，但是这都是采用人工的方法完成的，每当出现场景变化时都需要重新更换屏蔽区，因此当森林场景较多时，很难进行准确分割，应用范围窄。因此无论是暗通道方法还是人工划屏蔽区的方法，泛化能力都明显不足，都很难对复杂的多类别森林场景的进行快速而准确地分割。

发明内容

技术问题：本发明提供一种用于多类别森林场景的快速分割方法，旨在能够对复杂的多类别森林场景进行高效地、准确地分割，在具有较快分割速度的同时，具有更高的精度，能够适用不同的森林环境，以保证森林火灾监控系统能够对火灾状况精准识别。同时，提供一种用于多类别森林云雾图像分割的存储介质和设备，用于工程部署。

技术方案：本发明的用于多类别森林场景图像分割的方法，首先获取森林场景图像，采用基于轻量级神经网络模型的语义分割模型对森林场景图像进行处理，森林场景图像在神经网络中进行前向计算，进行森林场景分割，输出森林场景图像中特定场景区域分割后的掩码图。

进一步地，所述语义分割模型的搭建和训练过程：

S1：搭建森林场景图像样本数据集，并标定出森林场景图像中的特定场景；

S2：搭建基于轻量级神经网络的语义分割模型；

S3：采用所述样本数据集对语义分割模型进行训练，并保存权值文件。

进一步地，所述轻量级神经网络为MobileNet网络模型。

进一步地，所述MobileNet网络模型为MobileNetV3网络模型。

进一步地，所述步骤S1在图像样本采集时，考虑地形地貌、距离、光照、摄像机拍摄角度进行采集。

进一步地，所述步骤S3中，训练语义分割模型时，按如下步骤操作：

S311：数据集处理

对数据集处理时，包括图像样本标定、制作样本指示文件、打包数据、注册数据集；

S312：数据不平衡处理

在编程过程中，通过设置各个分割场景的损失函数的权重，调整因各个场景的样本面积在总的样本面积中所占比例不同引起的模型分割准确率降低；

S313：设置初始训练参数，通过不断调整网络模型的超参数，使得优化后模型的分割精度达到最优；

S314：可视化分割结果，评估分割的精度并测试分割一帧图片需要消耗的时间。

进一步地，所述步骤S3中，采用随机梯度下降法进行反向传播，对模型参数进行迭代优化，损失函数采用交叉熵损失函数，损失函数的公式为：

其中，L(p,q)表示损失函数，p是真实标签向量，q是网络预测的概率向量，p_i是真实标签中的第i个元素，q_i是轻量级网络实际输出概率中的第i个元素，w表示各类样本在计算损失函数时的权值，对于本场景中的像素多分类问题，网络最终预测结果应该为0,1,2,3,…,n，0表示该像素预测为背景信息，1,2,3,…,n代表该像素分别预测对应的特定场景。

进一步地，所述步骤S3中，对网络模型进行训练，迭代优化模型参数，按如下步骤操作：

S321：在TensorFlow框架中构建网络模型；

S322：确定要调整的超参数，并为超参数选择可能的值，所述超参数包括学习率、优化器、Batch-Size以及迭代次数；

S323：选择对损失函数给出最佳响应的模型参数，并保存对应的模型。

本发明的用于多类别森林场景图像分割的存储介质，存储用于森林场景图像分割的方法的操作的计算机程序指令，所述指令在被执行时使得该介质能够：读取森林场景图像；读取训练好的神经网络模型的权值文件，调用网络模型，输出森林场景图像中特定区域的掩码图，完成图像分割。

本发明的用于多类别森林场景图像分割的设备，包括一个或多个所述的用于多类别森林场景图像分割的存储介质。

有益效果：本发明与现有技术相比，具有以下优点：

本发明的方法搭建了采用轻量级网络作为骨干网络的语义分割网络模型，并训练得到用于完成森林场景图像快速分割的网络模型。尤其是采用MobileNet网络，MobileNet是为移动和嵌入式设备提出的高效模型，其基于流线型框架使用深度可分离卷积来构建轻量级深度神经网络，可显著减低计算消耗。该系列网络中的MobileNetV3，通过结合硬件感知网络架构搜索(NAS)和NetAdap算法对嵌入式CPU进行调优，兼具精度的同时具有较高的效率，并且稳定性好，泛化能力强，因此可以高效率、高精度的实现森林场景图像的分割，有效地克服了传统暗通道方法或人工划屏蔽区的方法精度低、泛化能力不足等缺点，从而在图像进行烟火检测之前，先将场景中与森林无关的区域分割出来并加以屏蔽完成预处理，避免了这些区域造成的烟雾误报警。当场景变化时，无需像采用暗通道方法时要调整阈值，即可进行正确分割，当出现新场景时，无需不断修改屏蔽区域，因此具有较高的普适性，便于大规模的应用。该方法运算速度快，能够直接应用于现有的嵌入式设备，无需增加辅助的高性能计算设备，即可高效准确的对森林场景进行分割，有效地降低了成本。

附图说明

图1为本发明用于多类别森林场景图像分割的方法的流程图；

图2为轻量级神经网络MobileNetV3的语义分割网络结构图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

本发明提供一种用于多类别森林场景图像分割的方法，该方法主要用于森林监控系统对森林火灾图像进行辨别分析时，对森林场景图像进行分割，然后将特定的场景进行有效遮蔽，并将分割遮蔽后的图像信息通过烟火检测算法进行快速分析，从而对火灾状况进行判断。结合图1，在进行森林烟火检测的过程中，首先是设置屏蔽场景类别，然后进行图像预测分割，然后将非森林场景区域遮蔽，最后通过森林烟火检测算法对图像进行分析判断，完成森林烟火检测。本发明的方法，在于高效、准确地实现森林场景图像分割，在使用本发明的方法时，通常是应用在嵌入式设备上，森林监控系统将森林场景图像采集输入嵌入式设备，然后森林场景图像会在嵌入式设备中被分割，然后输出森林场景的需要遮蔽的场景区域的掩码图。在嵌入式设备中，包括有一个或多个存储神经网络模型的存储介质，以及用于完成图像分割的计算机指令，计算机指令不断被执行，借助训练好的神经网络模型完成森林场景图像分割。

结合图1对本发明的方法的具体实施方式进行详细说明中，对于本发明的方法，其主要部分在于神经网络模型的搭建和训练，结合图1中虚线框部分，对搭建和训练神经网络模型的具体过程进行说明，主要按如下步骤进行：

步骤S1：建立多类别森林图像样本数据集，并进行预处理

基于森林烟火视频监控系统，手工收集或者自动收集森林图像样本数据，建立多类别森林图像样本数据集，确定特定场景，并对图像中的特定场景进行人工标定，将数据集分为训练集和测试集。其中特定场景，是指需要进行遮蔽的非森林场景，例如，在森林中，可能会存在湖泊、建筑、道路等场景，森林监控系统采集的图像中，会将这些场景拍摄进去，并且通常的图像中会包括天空，这些场景都会对森林烟火的检测造成影响，因此需将这些场景分割出来，进行遮蔽。收集图像样本数据完成，建立了多类别森林图像样本的数据集，同时，对样本数据集进行人工标定，将特定场景标定出来，因为样本数据集的样本量相对较大，因此对图像进行标定时，可以采用labelme软件辅助标定。

由于从不同监控系统中收集的图像样本尺寸会有所不同，因此，需将从不同监控场景中收集的图像样本尺寸进行统一，以便后续处理。为了在模型训练时各种类别的样本在总样本所占比例差距不会过大，因此挑选样本时各个场景的比例要尽量均衡。同时，为保证训练样本有足够的代表性，样本采集时需要考虑地形地貌、距离、光照、摄像机拍摄角度等因素，采集的样本能够覆盖不同的地形地貌、不同距离、不同光照、摄像机不同拍摄角度情况。

当样本数据集建立完毕，对样本数据集进行划分，分为训练集和测试集，划分训练集和测试集时，训练集数据的数量通常占比2/3到4/5，常将训练集和测试集按照7:3或8:2进行划分。

步骤S2：搭建基于轻量级网络MobileNet的语义分割模型

本发明主要结合MobileNet网络模型进行说明，但说明的是，轻量级神经网络并不局限于MobileNet网络。所搭建的语义分割网络模型，输入尺寸为W×H的森林场景图像，其中W表示图像的宽度，H表示图像的高度，通过该网络对图像的每个像素进行多分类，判断每个像素点属于哪个特定区域，输出分割后的相同尺寸的掩码图像。通常图像尺寸也可以用C×W×H，其中C表示图像的通道数，一般是BGR三通道。

MobileNet是一种高效的模型，其基于流线型框架使用深度可分离卷积来构建轻量级深度神经网络，可显著减低计算消耗。其中MobileNetV3是为移动和嵌入式设备提出的高效的模型，通过结合硬件感知网络架构搜索(NAS)和NetAdap算法对嵌入式CPU进行调优，在保持MobileNetV2的分割精度基础上可减低30％的计算消耗。因此本发明优选的轻量级网络是MobileNetV3网络，基于MobileNetV3的语义分割网络结构如图2所示。语义分割网络的最后一层为全卷积层，可以输出一张带有标签的掩码图像。

步骤S3：训练语义分割网络模型，优化模型参数，并保存权值文件

搭建好网络模型后，加载多类别森林场景图像样本数据集，对语义分割网络模型进行训练优化，根据各类样本在数据集中的占比修改训练损失函数的权重，迭代优化模型参数，根据测试精度挑选表现最优异的模型，并保存权值文件。

训练语义分割网络时，可按如下步骤进行：

步骤S311：数据集处理

对数据集处理时，包括图像样本标定、制作样本指示文件、打包数据成TFRecord格式、注册数据集操作，其中标注数据可采用labelme软件辅助标定；

步骤S312：数据不平衡处理

在编程过程中，通过设置各个分割类别的损失函数的权重，调整因各个类别的样本面积在总的样本面积中所占比例不同引起的模型准确率降低；

步骤S313：设置初始训练参数，通过不断调整网络模型的超参数，使得优化后模型的分割精度达到最优；

步骤S314：可视化分割结果，评估分割的精度并测试分割一张图片需要消耗的时间。

在模型参数优化时，对网络模型参数进行优化的步骤为：

步骤S321：在TensorFlow框架中构建网络模型；

步骤S322：确定要调整的超参数，并为超参数选择可能的值，模型的超参数包括有学习率、选择的优化器、Batch-Size以及迭代次数；

步骤S323：选择对损失函数给出最佳响应的参数，并保存对应的模型文件。

在步骤S3中，采用随机梯度下降法进行模型参数迭代优化，评价优化效果的损失函数使用交叉熵损失函数，损失函数的公式为：

其中，L(p,q)表示损失函数，p是真实标签向量，q是网络预测的概率向量，p_i是真实标签中的第i个元素，q_i是轻量级网络实际输出概率中的第i个元素，w表示各类样本在计算损失函数时的权重，对于本场景中的像素多分类问题，网络最终预测结果应该为0,1,2,3,…,n，0表示该像素预测为背景信息，1,2,3,…,n代表该像素分别预测对应的特定场景。假设有天空、湖泊、建筑、道路四类场景，在样本中面积比例为a:b:c:d，则对应的权重比例为d:c:b:a。

为了对本发明的方法进行测试验证，基于上述步骤，以相同的样本数据集，分别采用MobileNetV2、MobileNetV3，验证本发明的方法的性能，同时与采用暗通道的方法进行对比，讨论本发明的方法与传统方法相比的优越性。

(1)建立森林场景样本数据集，该样本数据集包括4460个样本，将样本图像统一裁剪为大小1280×720，该样本数据包括四种特定森林场景：天空、湖泊、建筑、道路，并以8:2的比例划分训练集和测试集。值得说明的是，该方法并不限于上述四种场景。

(2)分别基于MobileNetV2、MobileNetV3网络，搭建语义分割网络模型。

(3)对网络模型进行训练，模型的超参数如下：学习率为0.0001，迭代次数为50000次，Batch-Size为4，采用随机梯度下降法，完成对网络模型的训练，并将权值文件保存。

(4)将分割结果可视化，测试分割精度并计算分割一帧图片需要消耗的时间，评估分割精度和速度。可选择测试集中的任一样本图像进行输入测试，抑或将测试集中全部样本图像输入模型，根据精度和时间两个指标对方法进行对比评价。

采用相同的样本数据集进行结果对比。采用MobileNetV3、MobileNetV2、暗通道的对比结果如表1所示：

表1 MobileNetV3、MobileNetV2与暗通道结果对比

根据表1所示，采用MobileNetV3搭建语义分割网络时，精度达到85.45％，分割单张图片所用时间是40.5ms，采用MobileNetV2搭建语义分割网络时，精度达到86.89％，分割单张图片所用时间是57.3ms，采用MobileNetV3相比MobileNetV2，精度降低1.44％，时间降低了16.8ms，相当于速度提高了29.32％，因此可以看出，采用MobileNetV3时，可以保持较高的精度的同时，具有更高的分割效率。

采用暗通道方法，精度是20.21％，比MobileNetV3低了65.24％，比MobileNetV2低了66.68％，并且从分割出的图像效果上看，只能分割出天空场景区域。虽然其时间只有19.6ms，约是MobileNetV3的1/2，MobileNetV2的1/3。由于森林火灾的发生通常是比较迅速的，如果判断失误，就可能错过扑救火灾的时机，从而造成不可弥补的损失。虽然采用暗通道的方法，分割一张图像的时间只有19.6ms，但是其分割精度太低，难以对森林场景图像进行准确的分割，从而在进行火灾检测时，极易引起误报。但采用MobileNetV2或MobileNetV3网络时，其分割速度也在毫秒级别，虽说分割速度降低了两到三倍，但分割精度却提高了4倍多，并且从应用角度讲，采用MobileNet网络模型进行分割时，分割速度也是满足需求的。因此，本发明的方法在兼顾效率的同时，具有高的准确性。

采用人工划屏蔽区的方法精度理论上是100％，与人工标定的数据集精度一致，分割时间理论上是0，是因为输入的分割图像就是已经预先分割好的，并且全部都是人工分割的，因此，人工划屏蔽区的方法很难适用于变化的森林场景的分割。因此综上对比分析，基于轻量级网络MobileNet搭建语义分割模型，森林场景进行分割时，能够同时兼顾效率和精度，并且不受森林分割场景的限制，具有较强的适用性，能够在实用各种复杂的森林场景，高效准确地对森林场景图像进行分割，从而减少火灾检测时的误报，进而及早发现森林火灾，避免造成严重损失。

本发明的方法优选的实施例中是采用MobileNetV3网络，但并不限于MobileNetV3，也可以是MobileNetV2、MobileNetV1或MobileNet系列中的其他版本，在其他实施例中，也可以采用其他轻量级神经网络，例如Squeezenet、Shufflenet、IGCV、Densenet、Xception。

神经网络模型完成训练后，将权值文件保存，用于部署。在进行部署时，权值文件会保存在存储介质中，该存储介质中存有计算机程序指令，计算机程序指令执行时能完成如下操作：从森林视频监控系统获取森林场景图像，读取训练好的神经网络模型的权值文件，调用网络模型，输出森林场景图像中特定区域的掩码图，完成图像分割。在森林场景图像分割的嵌入式设备上，包括一个或多个上述的存储介质，从而，实际使用时，直接部署嵌入式设备，通过嵌入式设备完成森林场景图像分割。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (10)

1.一种用于多类别森林场景图像分割的方法，其特征在于，获取森林场景图像，采用基于轻量级神经网络的语义分割模型对森林场景图像进行处理，森林场景图像在神经网络中执行前向计算，进行森林场景分割，输出森林场景图像中特定场景区域分割后的掩码图。

2.根据权利要求1所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述语义分割模型的搭建和训练过程：

S1：搭建森林场景图像样本数据集，并标定出森林场景图像中的特定场景；

S2：搭建基于轻量级神经网络的语义分割模型；

S3：采用所述样本数据集对语义分割模型进行训练，并保存权值文件。

3.根据权利要求2所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述轻量级神经网络为MobileNet网络模型。

4.根据权利要求3所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述MobileNet网络模型为MobileNetV3网络模型。

5.根据权利要求2所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述步骤S1在图像样本采集时，考虑地形地貌、距离、光照、摄像机拍摄角度进行采集。

6.根据权利要求2所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述步骤S3中，训练语义分割模型时，按如下步骤操作：

S311：数据集处理

对数据集处理时，包括图像样本标定、制作样本指示文件、打包数据、注册数据集；

S312：数据不平衡处理

在编程过程中，通过设置各个分割场景的损失函数的权重，调整因各个场景的样本面积在总的样本面积中所占比例不同引起的模型分割准确率降低；

S313：设置初始训练参数，通过不断调整网络模型的超参数，使得优化后模型的分割精度达到最优；

S314：可视化分割结果，评估分割的精度并测试分割一帧图片需要消耗的时间。

7.根据权利要求2所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述步骤S3中，采用随机梯度下降法进行反向传播，对模型参数进行迭代优化，损失函数采用交叉熵损失函数，损失函数的公式为：

其中，L(p,q)表示损失函数，p是真实标签向量，q是网络预测的概率向量，p_i是真实标签中的第i个元素，q_i是轻量级网络实际输出概率中的第i个元素，w表示各类样本在计算损失函数时的权值，对于本场景中的像素多分类问题，网络最终预测结果应该为0,1,2,3,…,n，0表示该像素预测为背景信息，1,2,3,…,n代表该像素分别预测对应的特定场景。

8.根据权利要求2所述的一种用于多类别森林场景图像分割的方法，其特征在于，所述步骤S3中，对语义分割模型进行训练，迭代优化模型参数，按如下步骤操作：

S321：在TensorFlow框架中构建网络模型；

S322：确定要调整的超参数，并为超参数选择可能的值，所述超参数包括学习率、优化器、Batch-Size以及迭代次数；

S323：选择对损失函数给出最佳响应的模型参数，并保存对应的模型。

9.一种用于多类别森林场景图像分割的存储介质，其特征在于，存储用于执行权利要求1-8任一项所述的用于多类别森林场景图像分割的方法操作的计算机程序指令，所述指令在被执行时使得该介质能够：读取森林场景图像；读取训练好的神经网络模型的权值文件，调用网络模型，输出森林场景图像中特定区域的掩码图，完成图像分割。

10.一种用于多类别森林场景图像分割的设备，其特征在于，包括一个或多个权利要求9所述的存储介质。

Images