CN111860143A - 一种面向巡检机器人的火焰实时检测方法 - Google Patents

Abstract

本发明提出了一种面向巡检机器人的火焰实时检测方法，包括：采集运动车载摄像头的图像帧数据，进行预处理，评估图像的清晰度并在未满足条件时施加运动模糊复原算法；利用已训练的深度卷积网络模型提取预处理后图像的深度特征；基于前面所述的深度特征和支持向量机来构造火焰检测器；在判别阶段使用所述火焰检测器来对图像进行目标检测。本发明提出的火焰图像检测方法可有效地完成视觉上火焰的检测问题，提高了火焰识别的高效性和安全性。本发明利用深度卷积网络计算的特征来代替传统人工经验特征来提取火焰的相关信息，具有高精度、高可靠性和鲁棒性强的优点，适用于面向巡检机器人实时监测火焰任务的应用需求。

Description

一种面向巡检机器人的火焰实时检测方法

技术领域

本发明涉及计算机视觉及模式识别技术领域，特别涉及一种面向巡检机器人的火焰实时检测方法。

背景技术

随着工业化的不断进步，生产力的不断解放，生活水平的逐渐提高，建筑设施和材料越来越密集和多元化，导致火灾因素也越来越多，对消防安全系统的可靠性和精度性提出了更高的挑战。火灾是最常见最普遍地威胁公众安全和社会发展的主要灾害之一，它的发生往往伴随着巨大的直接或间接经济损失，甚至威胁人的生命安全。据统计，仅2018年上半年我国接到的火灾报警就有16万多起。应对火灾，古代人们早就总结出“防为上，救次之，戒为下”的经验。火灾的发生是分阶段的，容易对火灾控制主要是在火焰较小的初期阶段，在火焰自燃情况下，火焰会逐渐变大并在达到峰值后又逐渐减弱，直至介质燃烧完熄灭。所以，尽早发现火灾险情是生命财产安全保障的重要措施。利用信息领域的相关技术提升对火灾现场的感知能力是安全工程领域的重要研究问题，有助于提高火灾现场预警处置的快速性与准确性。

近年来人工智能技术获得飞跃式的发展，尤其是计算机视觉和深度学习。目前市面上已出现将固定摄像头采集的视频作为输入，通过利用上下文相关的运动、颜色分割或背景建模方式，实现对火灾险情自动检测，具有一定的效果，且成本较低(张兴坤.基于视频的火焰检测算法研究[D].2018)。在火灾初期和后期，通常烟雾占主要地位，然而在视觉上烟雾容易与雾天或蒸汽等因素混淆，容易造成虚警误报。随着智能机器人技术的不断提升，机器人在越来越多任务场合得以推广应用，特别是具有重复性工作或非安全性场所中。巡检机器人有望通过添加适应的火焰检测智能算法，实现对园区或社区进行自动巡检，及时发现火灾险情。考虑到自动巡检机器人的运动性增加了火灾险情检测的难度，即以往固定摄像头利用运动信息提取火焰区域或利用上下文信息通过背景建模的方式不能满足该特定需求。因此，如何面向巡检机器人利用局限的视觉信息实时检测是否存在火焰，并在保证预警率的前提下降低误检率是一个技术难题。

发明内容

本发明的目的在于提供一种面向巡检机器人的火焰实时检测方法，以适应于运动的自动巡检机器人，并主要对火焰进行检测，保证解决预警率的前提下降低了误检率。巡检机器人处于运动状态，其上安装的摄像头实时拍摄图像，本发明方法采用深度卷积神经网络架构，对机器人的运动车载摄像头采集的图像帧序列提供火焰检测服务。

为了实现上述目的，本发明的面向巡检机器人的火焰实时检测方法，包括如下步骤：

步骤S1，对摄像头采集的图像进行预处理，评估图像的清晰度，当清晰度满足条件时，将预处理后图像还原为彩色图像输入步骤S2中，否则，对图像进行去运动模糊处理，输出处理后的彩色图像到步骤S2；其中，预处理包括：按要求对图像尺寸进行缩放，然后灰度化；

步骤S2，利用已训练好的深度卷积网络提取彩色图像的深度特征；

其中，深度卷积网络采用Inception v2架构，网络的输入为步骤S1输出的图像，输出为图像的深度特征；在训练深度卷积网络时，将深度卷积网络的最后一层的输出连接softmax激励函数，softmax激励函数的输出类型个数为2，分别代表图像是否存在火焰；将训练样本输入深度卷积网络，调整深度卷积网络的全连接层的参数，直到训练后的网络的输出准确度达到预设标准；

步骤S3，利用支持向量机来构造火焰检测器，火焰检测器的输入为深度特征，输出为图像是否存在火焰的结果；利用训练样本提取的深度特征训练支持向量机的模型参数；

步骤S4，将摄像头实时拍摄的图像经过步骤S1和S2处理后输入训练好的支持向量机，进行目标检测，判断图像中是否存在火焰。

本发明方法与现有技术相比，具有以下优势和积极效果：

(1)本发明方法提供单帧图像的火焰检测。现有火焰检测方案，以固定摄像头为输入，通过对输入图像序列的运动信息提取或背景模型构建方式，对视频是否存在火焰进行分析，但这种方式无法用于具备运动特性的载有摄像头的巡检机器人中。本发明方法通过对样本集和火焰检测框架的设计，能够不依赖历史数据的对单帧图像中是否存在火焰进行判别，满足了巡检机器人的工作场景要求。

(2)本发明方法采用深度卷积网络快速提取图像的深度特征。一方面，特征的构造不再依赖设计实现人员的单一经验，而是通过在大量数据中学习查找显著的特征，同时，卷积神经网络模型通过结合局域感受野、权值共享与降采样等技术，对图像中光照变化、位移、缩放和扭曲等方面，具有一定的鲁棒性。另一方面，所使用的深度卷积网络符合Inception v2的设计原则，从而在能够保证特征显著性的同时，通过减少网络模型的参数量而加快图像特征的提取和识别效率。

(3)本发明方法利用深度卷积网络计算的特征来代替传统人工经验特征来提取火焰的相关信息，具有高精度、高可靠性和鲁棒性强的优点，适用于面向巡检机器人实时监测火焰任务的应用需求。

附图说明

图1是本发明实施例的面向巡检机器人的火焰实时检测方法的流程图；

图2是本发明实施例的基于视觉的火焰检测的框架图；

图3是本发明实施例的深度卷积网络的层次结构图；

图4是本发明实施例的深度卷积网络中InceptionA模块结构图；

图5是本发明实施例的深度卷积网络中InceptionB模块结构图；

图6是本发明实施例的支持向量机的训练流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供的一种面向巡检机器人的火焰实时检测方法，首先对巡检机器人的车载摄像头采集的图像序列预处理，再提取图像的深度特征，并利用基于支持向量机模型构建的火焰检测器，判断图像是否存在火焰。本发明可有效地完成视觉上火焰的检测问题，提高了火焰识别的高效性和安全性，由于火焰识别模型的参数未引入巡检机器人上摄像头的移动特性因素，使得火焰检测工作不受历史图像帧的影响。

如图1和图2所示，本发明实施例的面向巡检机器人的火焰实时检测方法，分为如下步骤S1～S4来说明。

步骤S1，对巡检机器人的运动车载摄像头拍摄的图像帧，进行预处理，评估图像的清晰度并在未满足条件时施加运动模糊复原算法对图像进行画面复原。

由于巡检机器人具有机动性，造成车载摄像头不完全固定，输入的原始图像常呈现为运动模糊现象。因此，图像清晰度评估和去运动模糊处理在该任务中显得十分必要。本步骤分为如下步骤S11～S13来说明。

步骤S11，为进行后续步骤的处理，减少不必要的运算量，首先对图像帧数据进行预处理，对图像的输入尺寸进行缩放，达到图像尺寸的要求，然后将图像灰度化。本发明实施例中利用双线性插值方法将输入RGB图像缩放至224×224×3像素的大小，224、224分别为图像的长和宽，3表示RGB的三通道。

步骤S12，对预处理后的图像进行清晰度评估。

图像的中低频和中频能量占总能量的大部分比例，而高频能量占较少比例，但图像轮廓的锐度和细节的丰富度取决于图像的高频成分。本发明实施例中对图像清晰度采用改进的Brenner方法评估，利用水平和垂直方向的两项滤波器与图像对应像素进行卷积，并分别计算各张卷积图之和，然后依据水平和垂直方向计算不同方向的评价值，依据两个评价值中的最小值，来评判图像是否清晰。在水平和垂直方向上分别用带通滤波器T＝[-1 01]和高通滤波器G＝[-1 1]来计算改进的Brenner值，计算公式如下：

B_h＝∑_W∑_H|f(x+1,y)-f(x,y)|-∑_W∑_H|f(x+2,y)-f(x,y)|

B_v＝∑_W∑_H|f(x,y+1)-f(x,y)|-∑_W∑_H|f(x,y+2)-f(x,y)|

其中，B_h、B_v分别表示在水平方向、垂直方向上的高频相对累计量差，B_h、B_v的值越大表示图像细节越明显，图像清晰度越高；W表示图像的宽，H表示图像的高；f(x,y)表示图像在坐标(x,y)点处的灰度值。

为排除尺度带来的变化，B_h和B_v分别以图像像素数为分母相除得到评价分值。根据两项分值的最小值，通过阈值法判断图像是否清晰。其中，阈值需根据实际场景和经验进行设定。本发明实施例中，当评分中的最小值小于阈值时，判定图像清晰度不满足条件，需要进行去运动模糊处理，否则不需要进行去运动模糊处理。

步骤S12，对判定为不清晰的图像，采用点扩散函数和维尔纳滤波的方法进行去运动模糊处理。本步骤对每个不清晰的灰度图像执行如下子步骤：

a、对灰度图进行中通滤波，并计算噪音对原数值的比值；

b、用拉普拉斯算子计算灰度图的梯度，然后对梯度图做自卷积，用阈值法获取点扩散核大小；

c、利用灰度图和点扩散核大小及噪音比，估算点扩散函数调整核；

d、利用点扩散函数调整核和噪音比对原彩色图的每个通道进行维尔纳滤波，从而实现对运动模糊影响的去除，复原其真实画面。

步骤S2，将步骤S1处理后的图像，输入利用已训练的深度卷积网络模型，提取图像的深度特征。本步骤分为下面步骤S21和S22来说明。

步骤S21，构建深度卷积网络模型，模型的输入为步骤S1输出的图像，模型的输出为图像的深度特征。

在本发明的一个实施例中，深度卷积网络模型的输入尺寸为224×224。为实现利用深度卷积网络对图像的深度特征进行提取，深度卷积网络采用的是Inception v2架构，但根据实时性处理要求，经过对特征显著性和处理速度在Inception v2不同深度上的表现观测，对Inception网络进行了裁剪，如图3所示。图3所示的深度卷积网络包括三个卷积层Conv、两个最大池化层MaxPool、两个InceptionA模块、一个InceptionB模块、一个平均池化层AvgPool以及全连接层FC，各层中大小设置如图3所示。其中，卷积层、最大池化层及平均池化层的结构表达为(Conv|MaxPool|AvgPool)k×k+s(S|V)；k×k表示核的大小；s表示步长；S和V为补洞策略，分别表示“SAME”和“VALID”；SAME代表对输入自动补0，保证输出与输入的大小相同，VALID代表不会对输入自动补0。Inception模块是谷歌提供的深度网络框架，由于物体位置的差异，选择合适大小的卷积核比较困难，而利用InceptionA和InceptionB两个模块，采用不同大小的滤波器缓解了该问题，即通过多个不同尺寸的卷积核增强了网络的适应性。图4和图5分别为根据本发明实施例的深度卷积网络中InceptionA和InceptionB模块的网络结构图。

如图3所示，本发明实施例所构建的深度卷积网络结构为第一卷积层(7×7+2(S))、第一最大池化层(3×3+2(S))、第二卷积层(1×1+1(V))、第三卷积层(3×3+1(S))、第二最大池化层(3×3+2(S))、第一InceptionA模块、第二InceptionA模块、InceptionB模块、平均池化层(5×5+1(S))、全连接层依次连接构成。

步骤S22、训练深度卷积网络模型，利用训练好的深度卷积神经网络对输入的彩色图像抽取深度特征。

深度卷积网络的训练分为两个步骤：(1)首先，数据集整理。对网络上公开的火灾数据集进行收集并标注图像是否存在火焰。因为数据集不大，还使用了数据增强方法，左右翻转、增加高斯噪声、剪切图像及其他变换来获得样本。(2)然后，进行迁移学习。下载预训练模型，将深度卷积网络的最后一层的输出连接softmax激励函数，softmax激励函数的输出类型个数为2，分别代表是否存在火焰。在训练时，将图像作为输入，图像是否存在火焰为输出，对深度卷积网络，冻结InceptionB之前的网络参数，调整全连接层的参数，直到训练后的网络的输出准确度达到预设标准。

本发明实施例中，训练所需的数据集可以分为正样本数据集和负样本数据集，构造如下：

正样本数据集和负样本数据集分别有10000个样本，总共有20000张样本。数据集分为训练数据集和测试数据集，对数据集随机挑选80％，将剩下的20％用于测试。

步骤S3，利用支持向量机来构造火焰检测器，火焰检测器的输入为深度特征，输出为图像是否存在火焰的结果。

如图6所示，通过步骤2训练好的深度卷积神经网络，可以获得对正负图像样本提取的深度特征，形成训练数据集；然后，利用训练数据集的特征，训练支持向量机的模型参数；最后，测试训练好的支持向量机模型，根据测试结果判定预测率是否达标，若没有则观察错分样本的特征，通过数据增强的方式增加更多相似样例，投入到相应的训练数据集中，继续利用训练数据集对支持向量机进行训练，调整优化支持向量机的参数，直至预测率全部达标。

步骤S4，对巡检机器人的摄像头实时拍摄的图像使用训练好的火焰检测器进行目标检测。根据本发明实施例的面向巡检机器人的火焰实时检测方法，以运动车载摄像头的帧图像数据为输入，先后通过预处理、深度特征提取和检测器判别，实时检测图像中是否存在火焰。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (4)

1.一种面向巡检机器人的火焰实时检测方法，对载有摄像头的自动巡检机器人在运动过程中拍摄的图像进行实时火焰检测，其特征在于，检测步骤包括：

步骤S1，对摄像头采集的图像进行预处理，评估图像的清晰度，当清晰度满足条件时，将预处理后图像还原为彩色图像输入步骤S2中，否则，对图像进行去运动模糊处理，输出处理后的彩色图像到步骤S2；其中，预处理包括：按要求对图像尺寸进行缩放，然后灰度化；

步骤S2，利用已训练好的深度卷积网络提取彩色图像的深度特征；

其中，深度卷积网络采用Inception v2架构，网络的输入为步骤S1输出的图像，输出为图像的深度特征；在训练深度卷积网络时，将深度卷积网络的最后一层的输出连接softmax激励函数，softmax激励函数的输出类型个数为2，分别代表图像是否存在火焰；将训练样本输入深度卷积网络，调整深度卷积网络的全连接层的参数，直到训练后的网络的输出准确度达到预设标准；

步骤S3，利用支持向量机来构造火焰检测器，火焰检测器的输入为深度特征，输出为图像是否存在火焰的结果；利用训练样本提取的深度特征训练支持向量机的模型参数；

步骤S4，将摄像头实时拍摄的图像经过步骤S1和S2处理后输入训练好的支持向量机，进行目标检测，判断图像中是否存在火焰。

2.根据权利要求1所述的方法，其特征在于，所述的步骤S1中，评估图像的清晰度是利用改进的Brenner方法评估，包括：利用水平和垂直方向的两项滤波器与图像对应像素进行卷积，并分别计算各张卷积图之和，然后计算水平方向和垂直方向上的评价值；将两个评价值中的最小值，与设置的阈值比较，来判断图像是否清晰，当小于阈值时，判断为图像清晰度不满足条件。

3.根据权利要求1或2所述的方法，其特征在于，所述的步骤S1中，采用点扩散函数和维尔纳滤波方法对图像进行去运动模糊处理，包括：

对灰度图进行中通滤波，并计算噪音对原数值的比值；

用拉普拉斯算子计算灰度图的梯度，然后对梯度图做自卷积，用阈值法获取点扩散核大小；

利用灰度图和点扩散核大小及噪音比，估算点扩散函数调整核；

利用点扩散函数调整核和噪音比对原彩色图像的每个通道进行维尔纳滤波，去除运动模糊影响。

4.根据权利要求1所述的方法，其特征在于，所述的步骤S2中，深度卷积网络包括三个卷积层、两个最大池化层、两个InceptionA模块、一个InceptionB模块、一个平均池化层以及全连接层。

Images