CN110084166A - 基于深度学习的变电站烟火智能识别监测方法 - Google Patents

Abstract

本发明公开一种基于深度学习的变电站烟火智能识别监测方法，通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化，紧接着融合两种改进之后的模型框架，尽可能多地避免二者的劣势，发挥出二者各自的优势，设计一种更加合理灵活的检测方法：平时利用图像识别模型进行监控，在检测到烟雾之后，自动调用视频识别模型进行二次复验，核验准确后再向监控平台发出报警信号，可以有效完成检测预警工作。

Description

基于深度学习的变电站烟火智能识别监测方法

技术领域

本发明涉及基于深度学习的变电站烟火智能识别监测方法，属于变电站安全人工智能监控识别的技术领域。

背景技术

火灾一直都是人民生命财产安全的巨大威胁之一，火灾的突发性、频繁性和高破坏力严重威胁到人的生命财产和自然环境。变电站是电力系统的枢纽，一旦发生火灾，有可能造成整个电网系统的瓦解，严重危害了供电的可靠性。所以做好变电站的防火措施，是保障电网安全稳定运行至关重要的一项工作。变电站内发生火灾主要有以下几个原因：电气设备引起火灾，变电站含有大量易发热、易燃易爆的电气设备，自然老化、操作不当都有可能导致生烟起火。在火灾初期，往往最先产生烟雾，如果能准确检测烟雾，则能够在初期便控制住险情。传统的基于传感器的烟雾检测方法易受环境的影响，有一定的报警延时并且不适用于户外等大范围的环境。随着智能视频技术的快速发展，利用图像识别或视频识别技术进行烟雾检测的研究已经开始，目前的应用多为单独使用图像进行检测或者单独使用视频进行检测，但是这两种方式均有其局限性：图像识别资源占用较少但更容易产生误报；视频识别准确率较高但资源占用过多，在网络带宽资源紧张，多路视频实时传输检测时服务器负载较重。

发明内容

针对现有技术的不足，本发明公开一种基于深度学习的变电站烟火智能识别监测方法。

发明概述：

本发明旨在通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化，紧接着融合两种改进之后的模型框架，尽可能多地避免二者的劣势，发挥出二者各自的优势，设计一种更加合理灵活的检测方法：平时利用图像识别模型进行监控，在检测到烟雾之后，自动调用视频识别模型进行二次复验，核验准确后再向监控平台发出报警信号，可以有效完成检测预警工作。

本发明的技术方案如下：

基于深度学习的变电站烟火智能识别监测方法，其特征在于，包括以下步骤：

S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；

S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；

S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练；

S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练；

S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。

根据本发明优选的，所述步骤S1中对收集到的烟雾图像进行预处理如步骤S11；构建图像模型数据集的步骤如步骤S12-S13；

S11：自制图像数据集，收集整理监控设备拍摄的待处理的烟雾图像，应用gamma算法调整图像亮度和对比度，应用高斯滤波来减少噪声的干扰；

S12：利用旋转、反射变换、尺度变换等数据增强技术来丰富图像训练集，增加数据样本数量；

S13：利用标记工具对整理好的图像数据进行标记，生成yolo格式的标注文件。

根据本发明优选的，所述步骤S2具体包括如下步骤：

S21：自制视频数据集，选取一定室内和室外场景进行人工生烟，利用监控摄像头进行拍摄，同时也拍摄一定量的无烟雾视频也作为训练数据；

S22：对拍摄的数据进行预处理，利用中值滤波进行噪声滤除；

S23：对视频数据进行隔帧抽取并利用标记工具标注，生成VOC格式的标注文件。

根据本发明优选的，所述步骤S3中的具体步骤如下：

S31：网络的特征提取部分：利用darknet-53网络作为基础网络，主要包括B1和B2两个子单元，其中B1包括1个卷积层、1个BN层、1个LeakyRelu层，B2包括1个填充层、1个B1单元和1个Compose组合单元，其中Compose组合单元包含N个B1单元构成的残差网络；

S32：网络的采样输出部分：对图像的特征进行上采样和连接，之后输出，该部分的输入是darknet-53的输出；

S33：准确定位的公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b，object)＝σ(t_o)

上述公式中，(t_x，t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w，t_h)表示边界框的宽度、高度；(b_x，b_y，b_w，b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；p_w，p_h表示映射系数；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S34：损失函数的计算：此处使用平方和误差来优化模型，包含定位误差和分类误差,

上述公式中，第i个网格中是否含有目标，以及第i个网格中的第j个边框负责预测这个物体；λcoord、λnoord表示比例参数；C_i表示目标属于第i类；p_i表示目标属于i类的概率；

S35：通过迭代直至图像识别模型收敛，保存此时的yolo网络模型的参数。

根据本发明优选的，所述步骤S4的具体步骤包括：

S41：对视频进行抽帧，应用gamma算法调整图像亮度和对比度，应用高斯滤波来去除噪声；

S42：利用运动检测对烟雾视频进行识别，包括：选用了高斯混合模型，公式如下所示：

其中，K表示高斯分布的个数，N()表示多元高斯分布，π_k表示混和加权值，π_k满足0≦π_k≦1和u_k表示均值；p(x|k)＝N(x|u_k,∑k)表示第k个高斯模型的概率密度函数；

利用收集到的前N帧图像的像素值推算出GMM的概率分布，通过最大似然估计来确定其中的参数，GMM的似然函数公式如下：

最后使用EM(Expectation Maximization Algorithm)最大期望算法计算其中的参数：

γ(i,k)表示第i个数据由第k个组件生产的概率；∑_k表示方差

从第N+1帧开始检测，判断该图像中的每一个像素点与构建好的k个高斯模型是否相匹配，如果匹配不成功则判定为前景点，否则为背景点；

S43：引入卷积神经网络来提取高层特征，针对视频领域中采用的pseudo-3d卷积进行改造，同时考虑到spatial和temporal维度的特征；

残差网络包括多个残差单元，包括如下：

x_t+1＝h(x_t)+F(x_t)；

其中x_t表示残差单元的输入，x_t+1表示残差单元的输出；

h(x_t)＝x_t表示恒等映射关系，F是非线性残差函数；

S44：通过迭代直至视频识别模型收敛，保存深度三维残差网络模型的参数，即用来进行视频烟雾识别。

根据本发明优选的，所述步骤S5的过程还包括：

S51：通过rtsp协议从监控摄像头进行视频取流，随后进行图像增强；

S52：利用抓图工具进行抓图，将图像被送入到图像烟雾识别模型中进行分类判别，若检测到烟雾，则发出预警，自动调用视频识别模型；

S53：将接收到的图像后32-64帧视频序列送入到视频识别模型中进行二次复检，若未检测到烟雾，则视为误报警，保存数据；

若检测到烟雾，则报警。

本发明的有益效果如下：

与其他烟雾识别方法只使用图像识别模型或者视频识别模型的模型相比，本发明充分利用了图像识别模型和视频模型的优点，避免了图像识别模型误报率高和视频识别模型占用带宽较多的缺点，无论是在准确率方面还是在效率方面均能够达到应用要求。变电站内往往有多路监控需要同时进行烟雾识别，在带宽压力较大的时候利用占用较少的图像烟雾识别模型进行安全监控，一旦出现了烟雾报警，自动调用视频识别模型对隐患区域视频进行复检，核验无误之后向监控平台进行报警，可以极大程度地降低由于各种环境等因素引发图像识别模型产生的误报警，同时又可以极大程度地缓解带宽压力，两个模型相互补充，灵活适应变电站内外各种复杂情景，准确且实时的发出烟雾告警，实现智能视频监控，避免严重经济损失，减少人力监管成本，助力电网智能升级。

本发明基于深度学习网络模型，针对变电站实际应用场景，充分利用了图片烟雾识别和视频烟雾识别的优势：图片检测速率更高、占用带宽更少，视频检测准确率更高。二者相辅相成，最大可能地提升烟雾的检测准确率，降低误报率，同时本发明通过图像增强提升对比度，通过高斯滤波去除噪声，尽可能地避免由于灯光、阳光等环境因素带来的干扰，保证模型的鲁棒性；同时通过对图像/视频的像素大小进行调整，提升模型的检测效率，保证模型的实时性。

附图说明

图1是本发明所述方法的流程图。

图2是本发明所述监测方法监测到的真实烟火发生时的图像；

图3本发明所述监测方法在视频识别模型复检也发现了烟雾存在的示意图；

图4是本发明所述监测到的非真实烟火的图像；

图5是本发明所述监测方法在视频识别模型复检未发现了烟雾存在的示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例、

如图1所示。

一种基于深度学习的变电站烟火智能识别监测方法，包括以下步骤：

S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；

S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；

S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练，检测模型的识别效率能够达到0.1-0.2s/张；

S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练，检测模型的识别效率能够达到10-20fps；

S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。

所述步骤S1中对收集到的烟雾图像进行预处理如步骤S11；构建图像模型数据集的步骤如步骤S12-S13；

S11：自制图像数据集，收集整理监控设备拍摄的待处理的烟雾图像，应用gamma算法调整图像亮度和对比度，应用高斯滤波来减少噪声的干扰；

S12：利用旋转、反射变换、尺度变换等数据增强技术来丰富图像训练集，增加数据样本数量；

S13：利用标记工具对整理好的图像数据进行标记，生成yolo格式的标注文件，标注的范围尽量贴近烟雾外轮廓。

所述步骤S2具体包括如下步骤：

S21：自制视频数据集，选取一定室内和室外场景进行人工生烟，利用监控摄像头进行拍摄，同时也拍摄一定量的无烟雾视频也作为训练数据；

S22：对拍摄的数据进行预处理，利用中值滤波进行噪声滤除，以提高视频质量；

S23：对视频数据进行隔帧抽取并利用标记工具标注，生成VOC格式的标注文件，标注的范围尽量贴近烟雾外轮廓。

所述步骤S3中的具体步骤如下：

S31：所述图像识别模型是基于yolov3模型进行改进的，网络的特征提取部分：利用darknet-53网络作为基础网络，主要包括B1和B2两个子单元，其中B1包括1个卷积层、1个BN层、1个LeakyRelu层，B2包括1个填充层、1个B1单元和1个Compose组合单元，其中Compose组合单元包含N个B1单元构成的残差网络；

S32：网络的采样输出部分：对图像的特征进行上采样和连接，之后输出，该部分的输入是darknet-53的输出，输出是指darknet-53的输出。框架为darknet53后面连接网络的采样输出部分，darknet53输出的结果送到采样输出部分作为输入信息；

S33：借鉴Fast-RCNN思想加入anchor机制，解决边界框在网格中定位不够准确的问题，准确定位的公式如下：

b_x＝σ(t_x)+C_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b，object)＝σ(t_o)

上述公式中，(t_x，t_y)表示边界框的中心横纵坐标；(c_x，c_y)表示网格的左上角坐标；(t_w，t_h)表示边界框的宽度、高度；(b_x，b_y，b_w，b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；p_w，p_h表示映射系数；Pr(object)*IOU(b，object)表示边界框中的分类置信度信息；

S34：损失函数的计算：此处使用平方和误差来优化模型，包含定位误差和分类误差，

上述公式中，第i个网格中是否含有目标，以及第i个网格中的第j个边框负责预测这个物体；λcoord、λnoord表示比例参数；C_i表示目标属于第i类；p_i表示目标属于i类的概率；

S35：通过迭代直至图像识别模型收敛，保存此时的yolo网络模型的参数，即可用来进行图像烟雾识别。

所述步骤S4的具体步骤包括：

S41：对视频进行抽帧，为了能够一定程度地减少由高曝光和其它物体带来的干扰影响，应用gamma算法调整图像亮度和对比度，应用高斯滤波来去除噪声；

S42：对背景和其他物体的干扰以及检测识别效率问题，因为本课题是对变电站内外的烟雾进行识别，通常变电站内几乎没有运动物体，我们采用了运动目标检测视频流中运动的物体，利用运动检测可以去除绝大部分静止的背景，而烟雾具有缓慢上升和扩散的运动特性可以被保留，能够有效缩减所需要的时间同时减少干扰带来的误报；

利用运动检测对烟雾视频进行识别，包括：选用了高斯混合模型，公式如下所示：

其中，K表示高斯分布的个数，N()表示多元高斯分布，π_k表示混和加权值，π_k满足0≦π_k≦1和u_k表示均值；p(x|k)＝N(x|u_k,∑k)表示第k个高斯模型的概率密度函数；

利用收集到的前N帧图像的像素值推算出GMM的概率分布，现在概率密度函数是已知的，通过最大似然估计来确定其中的参数，GMM的似然函数公式如下：

最后使用EM(Expectation Maximization Algorithm)最大期望算法计算其中的参数：

γ(i,k)表示第i个数据由第k个组件生产的概率；∑_k表示方差

从第N+1帧开始检测，判断该图像中的每一个像素点与构建好的k个高斯模型是否相匹配，如果匹配不成功则判定为前景点，否则为背景点；

S43：引入卷积神经网络来提取高层特征，针对视频领域中采用的pseudo-3d卷积进行改造，同时考虑到spatial和temporal维度的特征，来更好地刻画烟雾特征；

残差网络包括多个残差单元，包括如下：

x_t+1＝h(x_t)+F(x_t)；

其中x_t表示残差单元的输入，x_t+1表示残差单元的输出；

h(x_t)＝x_t表示恒等映射关系，F是非线性残差函数；

S44：通过迭代直至视频识别模型收敛，保存深度三维残差网络模型的参数，即用来进行视频烟雾识别。

所述步骤S5的过程还包括：

S51：通过rtsp协议从监控摄像头进行视频取流，随后进行图像增强；以此提升对比度，通过高斯滤波去除噪声，提升图像质量；

S52：利用抓图工具进行抓图，每隔1s抓取一帧；随后图像被调整到原图尺寸的五分之一，可以大大提升后续模型的识别效率；图像尺寸调整之后，将图像被送入到图像烟雾识别模型中进行分类判别，若检测到烟雾，则发出预警，自动调用视频识别模型；

S53：将接收到的图像后32-64帧视频序列送入到视频识别模型中进行二次复检，若未检测到烟雾，则视为误报警，保存数据；

若检测到烟雾，则报警。可将报警信息推送给监控平台，提醒工作人员及时处理。

应用例1、

如图2、3所示。

利用本发明所述基于深度学习的变电站烟火智能识别监测方法对真实烟火发生时的图像进行监测，其中图像识别模型检测到附图2有烟雾，自动调用视频识别模型对所对应的视频进行复检。本发明所述监测方法在视频识别模型复检也发现了烟雾的存在，如图3，发出报警。

应用例2、

如图4、5所示。

利用本发明所述基于深度学习的变电站烟火智能识别监测方法对非真实烟火发生时的图像进行监测，如图4所示。图像识别模型检测到有烟雾，正常系统便发出警报，此时属于误报；本发明继续自动调用视频识别模型对所对应的视频进行复检。图5是本发明所述监测方法在视频识别模型复检未发现了烟雾的存在，保存数据，系统跳转回图像识别检测模式，成功避免了一次烟火误报警。

Claims (6)

1.基于深度学习的变电站烟火智能识别监测方法，其特征在于，包括以下步骤：

S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；

S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；

S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练；

S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练；

S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。

2.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S1中对收集到的烟雾图像进行预处理如步骤S11；构建图像模型数据集的步骤如步骤S12-S13；

S11：自制图像数据集，收集整理监控设备拍摄的待处理的烟雾图像，应用gamma算法调整图像亮度和对比度，应用高斯滤波来减少噪声的干扰；

S12：利用旋转、反射变换、尺度变换等数据增强技术来丰富图像训练集，增加数据样本数量；

S13：利用标记工具对整理好的图像数据进行标记，生成yolo格式的标注文件。

3.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S2具体包括如下步骤：

S21：自制视频数据集，选取一定室内和室外场景进行人工生烟，利用监控摄像头进行拍摄，同时也拍摄一定量的无烟雾视频也作为训练数据；

S22：对拍摄的数据进行预处理，利用中值滤波进行噪声滤除；

S23：对视频数据进行隔帧抽取并利用标记工具标注，生成VOC格式的标注文件。

4.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S3中的具体步骤如下：

S31：网络的特征提取部分：利用darknet-53网络作为基础网络，主要包括B1和B2两个子单元，其中B1包括1个卷积层、1个BN层、1个LeakyRelu层，B2包括1个填充层、1个B1单元和1个Compose组合单元，其中Compose组合单元包含N个B1单元构成的残差网络；

S32：网络的采样输出部分：对图像的特征进行上采样和连接，之后输出，该部分的输入是darknet-53的输出；

S33：准确定位的公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b,object)＝σ(t_o)

上述公式中，(t_x，t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w，t_h)表示边界框的宽度、高度；

(b_x，b_y，b_w，b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；p_w，p_h表示映射系数；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S34：损失函数的计算：此处使用平方和误差来优化模型，包含定位误差和分类误差,

上述公式中，第i个网格中是否含有目标，以及第i个网格中的第j个边框负责预测这个物体；λcoord、λnoord表示比例参数；C_i表示目标属于第i类；p_i表示目标属于i类的概率；

S35：通过迭代直至图像识别模型收敛，保存此时的yolo网络模型的参数。

5.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S4的具体步骤包括：

S41：对视频进行抽帧，应用gamma算法调整图像亮度和对比度，应用高斯滤波来去除噪声；

S42：利用运动检测对烟雾视频进行识别，包括：选用了高斯混合模型，公式如下所示：

其中，K表示高斯分布的个数，N()表示多元高斯分布，π_k表示混和加权值，π_k满足0≦π_k≦1和u_k表示均值；p(x|k)＝N(x|u_k,∑k)表示第k个高斯模型的概率密度函数；

利用收集到的前N帧图像的像素值推算出GMM的概率分布，通过最大似然估计来确定其中的参数，GMM的似然函数公式如下：

最后使用EM(Expectation Maximization Algorithm)最大期望算法计算其中的参数：

γ(i,k)表示第i个数据由第k个组件生产的概率；∑_k表示方差从第N+1帧开始检测，判断该图像中的每一个像素点与构建好的k个高斯模型是否相匹配，如果匹配不成功则判定为前景点，否则为背景点；

S43：引入卷积神经网络来提取高层特征，针对视频领域中采用的pseudo-3d卷积进行改造，同时考虑到spatial和temporal维度的特征；

残差网络包括多个残差单元，包括如下：

x_t+1＝h(x_t)+F(x_t)；

其中x_t表示残差单元的输入，x_t+1表示残差单元的输出；

h(x_t)＝x_t表示恒等映射关系，F是非线性残差函数；

S44：通过迭代直至视频识别模型收敛，保存深度三维残差网络模型的参数，即用来进行视频烟雾识别。

6.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S5的过程还包括：

S51：通过rtsp协议从监控摄像头进行视频取流，随后进行图像增强；

S52：利用抓图工具进行抓图，将图像被送入到图像烟雾识别模型中进行分类判别，若检测到烟雾，则发出预警，自动调用视频识别模型；

S53：将接收到的图像后32-64帧视频序列送入到视频识别模型中进行二次复检，若未检测到烟雾，则视为误报警，保存数据；

若检测到烟雾，则报警。