CN113076683A - 用于变电站行为监测的卷积神经网络模型的建模方法 - Google Patents

Abstract

一种用于变电站行为监测的卷积神经网络模型的建模方法，对实时视频流和视频帧截取，对收集到的变电站行为图像进行数据集标注，并且构建图像模型数据集；将数据集划分为训练集和验证集；基于目标检测算法框架yolov4进行改进优化，对训练集进行训练；在验证集上，对得到的训练模型进行初步评估；通过ip地址获取视频，对视频流里的每帧图片进行检测，框出违规行为，并给出违规行为的类别和置信度；将检测出有违规行为的帧写入视频文件，并将视频信息写入数据库。优点是：可以全天候、实时的变电站行为监控，检测变电站各种违规行为，将检测到的违规视频自动保存在硬盘上并将视频信息录入数据库，为事故分析、绩效评估提供依据。

Description

用于变电站行为监测的卷积神经网络模型的建模方法

技术领域

本发明涉及用于变电站行为监测的卷积神经网络模型的建模方法，属于变电站安全人工智能监控识别的领域。

背景技术

据不完全统计，目前全国有超过2万所变电站，而且该数量还在不断增长。变电站是电力系统的枢纽，属于高危险的工业领域，任何违反相关规定的行为都有可能给人的生命、财产安全带来极大的安全隐患。变电站基建安全行为监控工作通过人工“死盯”来进行监控，然而由于人的生理特性，总会出现疲倦、懈怠等情况，无法实时监控所有违规行为。在2019年国家电网的工作会议上，国家电网已经明确提出要在2019年起大幅提升变电站的智能化水平并开展无人值守变电站的试点建设。如果能用人工智能的监控技术替代监控人员，不仅大大降低了工作量，还能保证全天候、实时值守，给变电站的安全上了一份保险。

随着深度卷积神经网络的发展，目标检测技术逐渐趋于成熟，这为变电站无人值守的行为监控带来了可能。但直接将目标检测技术应用于变电站行为监控并不能满足违规行为监控的要求，如未将违规视频帧实时截取，无法根据违规时长的长短判断是违规行为还是失误触发违规检测。

发明内容

针对现有技术的不足，本发明提供一种用于变电站行为监测的卷积神经网络模型的建模方法。

本发明的技术方案是：

一种用于变电站行为监测的卷积神经网络模型的建模方法，包括以下步骤：

Sl:对实时视频流和视频帧截取，对收集到的变电站行为图像进行数据集标注，并且构建图像模型数据集；

S2:据集划分

将数据集划分为训练集和验证集；

S3:模型训练

基于目标检测算法框架yolov4进行改进优化，对训练集进行训练，得到训练模型；

S4:模型验证

在验证集上，对得到的训练模型进行初步评估；

S5:模型测试及现场部署

通过ip地址获取视频，对视频流里的每帧图片进行检测，用矩形框框出违规行为，并给出违规行为的类别和置信度；

S6：违规视频输出

将检测出有违规行为的帧写入视频文件，并将视频信息写入数据库。

进一步的，步骤S1中的数据集收集并构建图像模型数据集步骤如下：

S11：实时视频流和视频帧截取

通过ip地址获取摄像头，每隔20秒截取一帧图像；

S12：数据集标注

对每张图像，用labelme软件，按PASCAL VOC格式进行标注，标注类别为违规行为的类别，如玩手机、未带安全帽等。

进一步的，步骤S2的数据集划分过程如下：对数据集中的所有图像，随机选取90％的图像作为训练集，10％的图像作为验证集。

进一步，步骤S3中基于目标检测算法框架yolov4进行改进优化具体步骤如下：

S31:yolov4主干结构采用CSPDarknet53，该结构是在Darknet53的基础上修改而来的，由一个卷积层和多个Resblock_body子结构组成；Resblock_body子结构由两部分组成，一部分是一个巨大的残差边，另一部分则是由多个残差块堆叠而成，每个残差块又由一个小的残差边和由2个卷积层组成的边组成，形成一种嵌套的残差结构；

S32:除了主干网络，Yolov4还采用了SPP结构和PANet结构；

SPP结构，即不同尺度的最大池化后堆叠，它能够极大地增加感受野，分离出最显著的上下文特征；

PANet结构通过上采样UpSampling和下采样DownSampling将不同层的信息进行融合，从而使得各层同时获得高层语义信息(利于分类)和低层语义信息(利于定位，特别是小目标定位)；

S33:激活函数:使用了Mish激活函数，Mish(x)＝x·tanh(log(1+exp(x))；

S34:yolov4使用了Yolo Head，利用提取到的特征进行预测；

在特征利用部分，YoloV4提取多特征层进行目标检测，一共提取三个特征层，分别位于中间层、中下层、底层；形状分别为(N,19,19,3*(n_class+5))，(N,38,38,,3*(n_class+5))，(N,76,76,,3*(n_class+5))的数据(n_class是类别数)，对应每个图分为19x19、38x38、76x76的网格上3个预测框的位置；但是这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码才可以完成；最后一个维度中的(n_class+5)包含了4+1+n_class，分别代表x_offset(中心点x轴偏移)、y_offset(中心点y轴偏移)、h(宽)和w(高)、置信度、分类结果；yolov4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽。这样就能得到整个预测框的位置了；

S35:准确定位的公式如下:

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b,object)＝σ(t₀)

上述公式中，(t_x,t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w,t_h)表示边界框的宽度、高度；σ是sigmord函数；

(b_x,b_y,b_w,b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；(p_w,p_h)表示预设的anchor的宽度和高度；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S36:损失函数的计算:此处使用平方和误差来优化模型，包含定位误差和分类误差，如下所示：

各参数表示如下：

λ_coord：定位误差的权重，yolo设置该参数为5；λ_noobj：不存在对象的bounding box的置信度的权重，yolo设置该参数为0.5；S：特征图的尺寸；B：每个网格预测的anchor的个数；

坐标(i,j)处有物体则为1，否则为0；

坐标(i,j)处没有物体则为1，否则为0；

x_i：预测的x轴偏移量；y_i：预测的y轴偏移量；

实际的x轴偏移量；

实际的y轴偏移量；

w_i：预测的边框宽度；h_i：预测的边框高度；

实际的边框宽度；

实际的边框高度；

c_i：网格内有物体的得分；

网格内有物体则为1，否则为0；

p_i(c)：预测为c类的置信度；

实际为c类物体则为1，否则为0。

进一步的，根据本发明所述S4中的模型验证过程如下：将训练好的模型的权重文件写入模型中，将验证集中的每张图片通过模型输出相应的目标类别及定位信息，调出验证集的真实标注信息，计算每个违规类别的AP值，最后计算所有类别的AP值的平均值mAP作为最终评价标准。

进一步的，根据本发明所述S5中的模型测试及现场部署过程如下：S51：通过ip地址获取现场摄像头，实际检测现场识别能力，框出违规行为，显示FPS值、违规行为类别、违规行为置信度。

进一步的，所述步骤S6中的违规视频输出具体步骤如下：

S61:用模型检测每一帧视频图像，标记该图像中违规行为类别及置信度；

S62：为了方便进行违规行为判断，设置150帧图片的缓存队列，将每帧图像都存入缓存，如果缓存帧数达到150帧，则判断所缓存的图片中，有违规行为的帧所占的比例；若比例≥0.7，则视为该150帧画面中存在有违规行为，因此将这150帧图片全部写入视频文件中保存；若比例＜0.7，则去掉队首的视频帧，将新插入的帧放入缓存队尾；在这种缓存设计下，检测器检测到的违规行为需要在150帧的70％的动作都是违规动作才将相应的视频帧保存进违规检测视频，这样可以防止由于检测器误检或者工作人员误碰触发违规检测；

S63：每天0点输出前一天的违规检测视频，并将视频信息录入到数据库中，以便于前端调用。

本发明的有益效果：

通过卷积神经网络与视频帧处理技术结合，发挥二者各自的优势，实现全天候、实时的变电站行为监控，检测变电站各种违规行为，如未带安全帽、玩手机等，将检测到的违规视频自动保存在硬盘上并将视频信息录入数据库，为事故分析、绩效评估提供依据。用人工智能的监控技术替代监控人员，不仅大大降低了工作量，还能保证全天候、实时值守，给变电站的安全提供保障。

附图说明

图1是本发明所述方法的流程图；

图2是本发明所述监测方法检测到的真实违规行为图像；

图3是yolov4的主要结构；

图4是Resblock_body结构；

图5是yolo损失函数的说明。

具体实施方式

下面结合实例和说明书附图对本发明做详细说明，但不限于此。

实施例

如图1所示，用于变电站行为监测的卷积神经网络模型的建模方法,包括以下步骤：

Sl:对实时视频流和视频帧截取，对收集到的变电站行为图像进行数据集标注，并且构建图像模型数据集；

S2:据集划分

将数据集划分为训练集和验证集；

S3:模型训练

基于目标检测算法框架yolov4进行改进优化，对训练集进行训练，得到训练模型；

S4:模型验证

在验证集上，对得到的训练模型进行初步评估；

S5:模型测试及现场部署

通过ip地址获取视频，对视频流里的每帧图片进行检测，用矩形框框出违规行为，并给出违规行为的类别和置信度；

S6：违规视频输出

将检测出有违规行为的帧写入视频文件，并将视频信息写入数据库。

(一)步骤S1中的数据集收集、制作过程如步骤S11-S12；

S11：实时视频流和视频帧截取，通过ip地址获取摄像头，每隔20秒截取一帧图像；

S12：数据集标注，对每张图像，用labelme软件，按PASCAL VOC格式进行标注，标注类别为违规行为的类别，如违规开锁、未带安全帽等；

(二)步骤S2中的数据集划分过程如步骤S21；

S21：对数据集中的所有图像，随机选取90％的图像作为训练集，10％的图像作为验证集。

(三)步骤S3中具体步骤如下：

S31:如图3所示，yolov4主干结构采用CSPDarknet53，该结构是在Darknet53的基础上修改而来的，由一个卷积层和多个Resblock_body子结构组成；Resblock_body子结构由两部分组成，如图4所示。一部分是一个巨大的残差边，另一部分则是由多个残差块堆叠而成，每个残差块又由一个小的残差边和由2个卷积层组成的边组成，形成一种嵌套的残差结构；

S32:除了主干网络，Yolov4还采用了SPP结构和PANet结构。SPP结构，如图5所示，即不同尺度的最大池化后堆叠，它能够极大地增加感受野，分离出最显著的上下文特征；PANet结构是2018的一种实例分割算法，其结构与特征金字塔结构类似，通过上采样(UpSampling)和下采样(DownSampling)将不同层的信息进行融合，从而使得各层同时获得高层语义信息(利于分类)和低层语义信息(利于定位，特别是小目标定位)；

S33:激活函数:使用了Mish激活函数，Mish(x)＝x·tanh(log(1+exp(x))；

S34:yolov4使用了Yolo Head，利用提取到的特征进行预测。在特征利用部分，YoloV4提取多特征层进行目标检测，一共提取三个特征层，分别位于中间层、中下层、底层；形状分别为(N,19,19,3*(n_class+5))，(N,38,38,,3*(n_class+5))，(N,76,76,,3*(n_class+5))的数据(n_class是类别数)，对应每个图分为19x19、38x38、76x76的网格上3个预测框的位置；但是这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码才可以完成；最后一个维度中的(n_class+5)包含了4+1+n_class，分别代表x_offset(中心点x轴偏移)、y_offset(中心点y轴偏移)、h(宽)和w(高)、置信度、分类结果；yolov4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽。这样就能得到整个预测框的位置了；

S35:准确定位的公式如下:

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b,object)＝σ(t₀)

上述公式中，(t_x,t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w,t_h)表示边界框的宽度、高度；σ是sigmord函数；

(b_x,b_y,b_w,b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；(p_w,p_h)表示预设的anchor的宽度和高度；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S36:损失函数的计算:此处使用平方和误差来优化模型，包含定位误差和分类误差，如下所示：

各参数表示如下：

λ_coord：定位误差的权重，yolo设置该参数为5；λ_noobj：不存在对象的bounding box的置信度的权重，yolo设置该参数为0.5；S：特征图的尺寸；B：每个网格预测的anchor的个数；

坐标(i,j)处有物体则为1，否则为0；

坐标(i,j)处没有物体则为1，否则为0；

x_i：预测的x轴偏移量；y_i：预测的y轴偏移量；

实际的x轴偏移量；

实际的y轴偏移量；

w_i：预测的边框宽度；h_i：预测的边框高度；

实际的边框宽度；

实际的边框高度；

c_i：网格内有物体的得分；

网格内有物体则为1，否则为0；

p_i(c)：预测为c类的置信度；

实际为c类物体则为1，否则为0；具体如图4所示。

(四)步骤S4中的模型验证过程如步骤S41；

S41：将训练好的模型的权重文件写入模型中，将验证集中的每张图片通过模型输出相应的目标类别及定位信息，调出验证集的真实标注信息，计算每个违规类别的AP值，最后计算所有类别的AP值的平均值mAP作为最终评价标准。

(五)步骤S5中的模型测试及现场部署过程如步骤S51；

S51：通过ip地址获取现场摄像头，实际检测现场识别能力，框出违规行为，显示FPS值、违规行为类别、违规行为置信度。

(六)步骤S6中的违规视频输出的具体步骤如S61-S63：

S61:用上述S3中模型检测每一帧视频图像，标记该图像中违规行为类别及置信度；

S62：为了方便进行违规行为判断，设置150帧(5秒左右)图片的缓存队列，将每帧图像都存入缓存，如果缓存帧数达到150帧，则判断所缓存的图片中，有违规行为的帧所占的比例。若比例大于等于0.7，则视为该150帧画面中存在有违规行为，因此将这150帧图片全部写入视频文件中保存；若比例小于0.7，则去掉队首的视频帧，将新插入的帧放入缓存队尾；在这种缓存设计下，检测器检测到的违规行为需要在5秒左右(150帧)的70％的动作都是违规动作才将相应的视频帧保存进违规检测视频，这样可以防止由于检测器误检或者工作人员误碰触发违规检测；该所述监测方法检测到的真实违规行为图像如图2所示。

S63：每天0点输出前一天的违规检测视频，并将视频信息录入到数据库中，以便于前端调用。

以上仅为本发明的具体实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：

包括以下步骤：

Sl:对实时视频流和视频帧截取，对收集到的变电站行为图像进行数据集标注，并且构建图像模型数据集；

S2:据集划分

将数据集划分为训练集和验证集；

S3:模型训练

基于目标检测算法框架yolov4进行改进优化，对训练集进行训练，得到训练模型；

S4:模型验证

在验证集上，对得到的训练模型进行初步评估；

S5:模型测试及现场部署

通过ip地址获取视频，对视频流里的每帧图片进行检测，用矩形框框出违规行为，并给出违规行为的类别和置信度；

S6：违规视频输出

将检测出有违规行为的帧写入视频文件，并将视频信息写入数据库。

2.根据权利要求1所述的用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：步骤S3中基于目标检测算法框架yolov4进行改进优化具体步骤如下：

S31:yolov4主干结构采用CSPDarknet53，该结构是在Darknet53的基础上修改而来的，由一个卷积层和多个Resblock_body子结构组成；Resblock_body子结构由两部分组成，一部分是一个巨大的残差边，另一部分则是由多个残差块堆叠而成，每个残差块又由一个小的残差边和由2个卷积层组成的边组成，形成一种嵌套的残差结构；

S32:除了主干网络，Yolov4还采用了SPP结构和PANet结构；

SPP结构，即不同尺度的最大池化后堆叠，它能够极大地增加感受野，分离出最显著的上下文特征；PANet结构通过上采样UpSampling和下采样DownSampling将不同层的信息进行融合，从而使得各层同时获得高层语义信息和低层语义信息；

S33:激活函数:使用了Mish激活函数，Mish(x)＝x·tanh(log(1+exp(x))；

S34:yolov4使用了Yolo Head，利用提取到的特征进行预测；

在特征利用部分，YoloV4提取多特征层进行目标检测，一共提取三个特征层，分别位于中间层、中下层、底层；形状分别为(N,19,19,3*(n_class+5))，(N,38,38,,3*(n_class+5))，(N,76,76,,3*(n_class+5))的数据(n_class是类别数)，对应每个图分为19x19、38x38、76x76的网格上3个预测框的位置；但是这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码才可以完成；最后一个维度中的(n_class+5)包含了4+1+n_class，分别代表x_offset(中心点x轴偏移)、y_offset(中心点y轴偏移)、h(宽)和w(高)、置信度、分类结果；yolov4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽；这样就能得到整个预测框的位置了；

S35:准确定位的公式如下:

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b,object)＝σ(t₀)

上述公式中，(t_x,t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w,t_h)表示边界框的宽度、高度；σ是sigmord函数；

(b_x,b_y,b_w,b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；(p_w,p_h)表示预设的anchor的宽度和高度；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S36:损失函数的计算:此处使用平方和误差来优化模型，包含定位误差和分类误差，如下所示：

各参数表示如下：

λ_coord：定位误差的权重，yolo设置该参数为5；λ_noobj：不存在对象的bounding box的置信度的权重，yolo设置该参数为0.5；S：特征图的尺寸；B：每个网格预测的anchor的个数；

坐标(i,j)处有物体则为1，否则为0；

坐标(i,j)处没有物体则为1，否则为0；

x_i：预测的x轴偏移量；y_i：预测的y轴偏移量；

实际的x轴偏移量；

实际的y轴偏移量；

w_i：预测的边框宽度；h_i：预测的边框高度；

实际的边框宽度；

实际的边框高度；

c_i：网格内有物体的得分；

网格内有物体则为1，否则为0；

p_i(c)：预测为c类的置信度；

实际为c类物体则为1，否则为0。

3.根据权利要求1所述的用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：所述步骤S6中的违规视频输出具体步骤如下：

S61:用模型检测每一帧视频图像，标记该图像中违规行为类别及置信度；

S62：为了方便进行违规行为判断，设置150帧图片的缓存队列，将每帧图像都存入缓存，如果缓存帧数达到150帧，则判断所缓存的图片中，有违规行为的帧所占的比例；若比例≥0.7，则视为该150帧画面中存在有违规行为，因此将这150帧图片全部写入视频文件中保存；若比例＜0.7，则去掉队首的视频帧，将新插入的帧放入缓存队尾；在这种缓存设计下，检测器检测到的违规行为需要在150帧的70％的动作都是违规动作才将相应的视频帧保存进违规检测视频，这样可以防止由于检测器误检或者工作人员误碰触发违规检测；

S63：每天0点输出前一天的违规检测视频，并将视频信息录入到数据库中，以便于前端调用。

4.根据权利要求1所述的用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：根据本发明所述S4中的模型验证过程如下：

将训练好的模型的权重文件写入模型中，将验证集中的每张图片通过模型输出相应的目标类别及定位信息，调出验证集的真实标注信息，计算每个违规类别的AP值，最后计算所有类别的AP值的平均值mAP作为最终评价标准；

进一步的，根据本发明所述S5中的模型测试及现场部署过程如下：S51：通过ip地址获取现场摄像头，实际检测现场识别能力，框出违规行为，显示FPS值、违规行为类别、违规行为置信度。

5.根据权利要求1所述的用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：步骤S1中的数据集收集并构建图像模型数据集步骤如下：

S11：实时视频流和视频帧截取：通过ip地址获取摄像头，每隔20秒截取一帧图像；

S12：数据集标注：对每张图像，用labelme软件，按PASCAL VOC格式进行标注，标注类别为违规行为的类别，如玩手机、未带安全帽等。

6.根据权利要求1所述的用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：步骤S2的数据集划分过程如下：对数据集中的所有图像，随机选取90％的图像作为训练集，10％的图像作为验证集。

Images