CN110276299A - 计量箱外观故障图像识别模型及方法 - Google Patents

Abstract

本发明公开一种计量箱外观故障图像识别模型及方法，模型包括依次连接的输入层input、卷积层conv1‑12、平均池化层AVE Pool与全连接层FC，全连接层FC接回归分类器作为整个计量箱外观故障图像识别模型的输入；卷积层conv1‑7和卷积层9‑12步长为1，卷积层conv8步长为2。本发明的创新在针对计量箱的特征构建计量箱外观故障图像识别模，并且在模型的训练过程中采用差异学习率，以提高模型的计算效率和收敛速度，最终模型对于计量的外观故障的识别达到了较好的识别效果。

Description

计量箱外观故障图像识别模型及方法

技术领域

本发明属于图像识别技术领域，特别涉及一种计量箱外观故障图像识别模型及方法。

背景技术

随着电网精益化管理要求的不断提高，计量装置巡检工作的重要性愈发凸显。传统的计量装置巡检工作需要消耗大量人力到现场去手动记录计量装置的状态信息，另外受巡检人员的技术能力和责任心的影响，巡检结果存在问题漏记、错记甚至弄虚作假的情况。为防止上述问题出现，需要巡检人员采集计量装置照片作为巡检依据，但是如何快速准确的核对海量的计量装置照片又成为新的难题。

随着电网的快速发展，对计量装置巡检工作的精细化、智能化提出了更高要求。要求计量装置巡检不仅要实现计量装置照片的采集，还要通过AI图像识别技术，快速高效的筛选出存在故障破损情况的计量装置照片，并按指定的故障类型分类展示。

现有技术中，计量装置巡检通过人工到现场手动记录计量箱的外观损坏情况或者采集计量箱照片后人工筛选照片的方式确定计量箱故障情况。

现有技术存在以下技术问题：

1、传统计量装置巡检需要耗费大量的人力和物力，难以定期定量开展。

2、传统计量装置巡检对巡检人员的技术门槛要求较高，需要巡检人员熟悉掌握各种计量箱的部件分布，容易造成故障问题的错误记录。

3、传统计量装置巡检依赖于巡检人员的责任心和自觉性，容易出现故障问题漏记、错记甚至弄虚作假的情况。

4、传统计量装置巡检依靠人工检查数百万计的计量箱照片，只能通过少量样本抽检的方式实现，抽查结果存在较大的片面性。

发明内容

本发明的目的在于提供一种计量箱外观故障图像识别方法，以解决上述技术问题。

为了实现上述目的，本发明采用如下技术方案：

计量箱外观故障图像识别模型，包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接回归分类器作为整个计量箱外观故障图像识别模型的输入；

卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2。

进一步的，采用修改正线性单元Relu作为激活函数。

进一步的，每个卷积层之后设置批量归一化层BN。

进一步的，每个卷积层中包含一个尺寸为3×3的卷积核与一个尺寸为1×1的卷积核。

进一步的，所述输入层，用于接收输入的计量箱外观图像，并对其进行预处理；所述预处理包括对输入的计量箱外观图像依次进行尺度归一化、去均值以及数据增强处理；

所述卷积层conv1-12，用于对预处理后的图像进行特征提取；

平均池化层AVE Pool，用于对卷积层提取的特征进行池化计算；

全连接层FC，用于将平均池化层AVE Pool的计算结构连接后输入回归分类器；

Softmax回归分类器，用于对全连接层FC输入的数据分类，实现计量箱外观故障图像识别。

进一步的，所述回归分类器为Softmax回归分类器。

计量箱外观故障图像识别方法，包括以下步骤：

1)、搭建计量箱外观故障图像识别模型

计量箱外观故障图像识别模型，包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接回归分类器作为整个计量箱外观故障图像识别模型的输入；卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2；

2)、训练步骤1)搭建的计量箱外观故障图像识别模型

2.1)、图像预处理

收集计量箱外观照片，通过输入层input进行预处理；预处理包括对收集的照片依次进行尺度归一化、去均值以及数据增强处理；

2.2)、网络模型训练

经过输入层input预处理后的照片输入计量箱外观故障图像识别模型进行迭代训练，‘直至达到收敛条件或者到达设定的迭代次数后完成训练；获得训练好的计量箱外观故障图像识别模型；

3)、计量箱故障识别

采集的计量箱外观图像，输入输入层input中进行预处理后进入步骤2)训练好的计量箱外观故障图像识别模型进行识别，通过回归分类器的输出的故障类别标签，获得输入的计量箱外观图像的故障类别，完成计量箱故障识别。

相对于现有技术，本发明具有以下有益效果：

1、计量装置巡检人员只需现场采集照片，不必再人工记录计量装置故障，减少了人为因素对巡检结果的影响。

2、计量装置照片自动筛选，节省了人员审核筛选照片的工作，速度是人工筛选的300倍，既节约了人力资源，又提高了工作效率。

本发明的创新在针对计量箱的特征构建MTNet网络模型，并且在模型的训练过程中采用差异学习率，以提高模型的计算效率和收敛速度，最终模型对于计量的外观故障的识别达到了较好的识别效果。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明计量箱外观故障图像识别模型的结构示意图；

图2(a)为计量箱外观原始图像，图2(b)为对图2(a)图像进行随机剪切和旋转后的图像；图2(c)为计量箱外观原始图像，图2(d)为对图2(c)图像进行随机剪切和旋转后的图像；

图3为网络模型训练差异学习过程示意图；

图4为训练集和验证集的准确率变化曲线；

图5为训练集和验证集的loss值变化曲线；

图6为本发明方法图像识别过程的流程框图；

图7为可视化学习过程中图像示意图；其中，图7(a)为第一层激活通道的原始图像示意图，图7(b)和图7(c)为第一层激活后某两个通道的视图；

图8为部分层特征激活后的可视化图；其中图8(a)为卷积层conv1、卷积层conv5、卷积层conv8、卷积层conv11和平均池化层AVE Pool特征激活后的可视化图。

图9为计量箱箱盖原始图像和计量箱箱盖损坏特征提取结果视图；其中图9(a)和9(b)均为计量箱箱盖原始图像，图9(c)和图9(d)分别为图9(a)和9(b)的计量箱箱盖损坏特征提取结果视图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

请参阅图1所述，本发明提供一种计量箱外观故障图像识别模型及方法，基于大数据的深度学习算法和人工智能图像识别技术，通过图像预处理和数据增强，构建基于卷积神经网络的计量装置故障识别模型，将现场采集的计量箱照片输入计量装置故障识别模型层层提取特征，根据特征和指定故障类型的映射关系，识别照片中存在的故障，并分类展示。同时通过自动机器学习，不断扩大计量装置故障识别模型的识别范围，提高模型识别准确率。

卷积神经网络最早的模型是LeCun等人在1998年提出的LeNet模型，其主要应用在手写字符识别上。该模型通过两个卷积层和池化层交替，最后通过顶层的全连接层得到输入图像的特征向量。但是由于网络层次相对较浅、卷积核相对较少、分类目标简单以及背景单一。随着深度学习的发展产生很多优秀的网络，其中VGGNet就是非常经典的网络之一，由牛津大学计算机视觉研究小组提出，该模型的主要特点是采用更小的卷积核取代大卷积核，另外VGGNet通过不同的深度组合验证了深度的重要性。虽然VGGNet模型在图像识别方面取得了优异的表现，但由于网络的深度以及巨大的参数量导致计算量大、内存消耗大并且限制了网络模型的训练速度。本发明一方面为了避免由于网络结构单一而无法有效提取图片特征，另一方面由于网络过深而计算效率过低等等情况，提供一种计量箱外观故障图像识别模型及方法，重新构建针对计量箱外观特征的网络模型计量箱网络Measuring TankNet(MTNet)。

请参阅图1所示，本发明提供一种计量箱外观故障图像识别模型：计量箱网络MTNet。

计量箱网络MTNet深度介于LeNet和VGGNet之间，增加了卷积核的数量、采用修改正线性单元Relu作为激活函数并在卷积层之后加入了批量归一化层BN，目的是使网络的训练更加容易，并在很大程度上提高网络的分类准确率。

MTNet网络包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接Softmax回归分类器。卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2。

MTNet网络共有两段卷积，第二段卷积开头有步长为2的卷积层，该层的作用除了减少特征图尺寸外，还能增加特征图的数量。在每段卷积内部，特征图的尺寸与数量保持不变，到下一段卷积后，特征图的尺寸减半，数量翻倍。在网络最后连接一个平均池化层AVEPool与全连接层FC，全连接层FC的神经元个数由分类类别而定(如512或者1024)。最后采用Softmax回归分类器作为整个MTNet网络模型的输出。

MTNet网络的每个卷积层中包含一个尺寸为3×3的卷积核与一个尺寸为1×1的卷积核。MTNet网络整体设计主要是通过多个3×3与1×1的卷积堆叠而成，用1×1的卷积是为了在一定程度上减少网络的参数，同时并不会对准确率造成较大影响。网络的另一个设计特点是在每个卷积层后加入了批量归一化BN层，这样做的好处是：可以减少网络对于初始化的依赖，使网络训练变得更加容易；使梯度传递更为顺畅；在一定程度上可以防止网络过拟合。但加入BN层的同时会增加网络的计算量，使网络的训练速度变得相对缓慢。

本发明一种计量箱外观故障图像识别方法，包括以下步骤：

第一步、搭建MTNet网络模型

计量箱网络MTNet深度介于LeNet和VGGNet之间，增加了卷积核的数量、采用修改正线性单元Relu作为激活函数并在卷积层之后加入了批量归一化层BN，目的是使网络的训练更加容易，并在很大程度上提高网络的分类准确率。MTNet网络的整体结构如图1所示。

MTNet网络包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接Softmax回归分类器。卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2。

MTNet网络共有两段卷积，第二段卷积开头有步长为2的卷积层，该层的作用除了减少特征图尺寸外，还能增加特征图的数量。在每段卷积内部，特征图的尺寸与数量保持不变，到下一段卷积后，特征图的尺寸减半，数量翻倍。在网络最后连接一个平均池化层AVEPool与全连接层FC，全连接层FC的神经元个数由分类类别而定(如512或者1024)。最后采用Softmax回归分类器作为整个MTNet网络模型的输出。

MTNet网络的每个卷积层中包含一个尺寸为3×3的卷积核与一个尺寸为1×1的卷积核。MTNet网络整体设计主要是通过多个3×3与1×1的卷积堆叠而成，用1×1的卷积是为了在一定程度上减少网络的参数，同时并不会对准确率造成较大影响。网络的另一个设计特点是在每个卷积层后加入了批量归一化BN层，这样做的好处是：可以减少网络对于初始化的依赖，使网络训练变得更加容易；使梯度传递更为顺畅；在一定程度上可以防止网络过拟合。但加入BN层的同时会增加网络的计算量，使网络的训练速度变得相对缓慢。

步骤二、训练步骤一搭建的MTNet网络模型

2.1)、图像预处理

操作者现场对计量箱进行拍照，并收集照片通过输入层input进行预处理；预处理包括对收集的照片依次进行尺度归一化、去均值以及数据增强处理。

收集照片的照片包括：计量箱箱盖损坏、计量箱视窗损坏、计量箱开关盖损坏、计量箱封印缺失、电能表安装倾斜的异常照片以及正常照片；本发明识别范围主要为计量箱正常、计量箱箱盖损坏、计量箱视窗损坏、计量箱开关盖损坏、计量箱封印缺失、电能表安装倾斜；“故障类型识别”采用机器学习领域较为成熟的分类算法对未知类标号的实例进行类别预测判定。

计量箱故障识别的可用图片数量并不多、图片尺寸不同，并且有些故障类型的图片数量只有几十张；另外现场采集的图片可能存在由于拍照时光线不足或拍照时手抖等原因导致图片质量不佳等问题。需要对图片进行预处理，以满足模型的训练的要求。本发明预处理主要采用尺度归一化、去均值以及数据增强方法。尺度归一化使输入数据保持一致，方便网络训练与测试；去均值是每个像素减去所有像素均值，以提高模型的准确度；数据增强通过图片旋转和随机剪切手段增加数据量，以提升模型的泛化能力。图2(a)至图2(d)为通过对图片数据增强的效果图。

2.2)、网络模型训练

经过输入层input预处理后的照片输入MTNet网络模型进行迭代训练，直至MTNet网络模型达到收敛条件或者到达迭代次数后完成训练。

网络超参数的选择尤其是学习率的选择对网络训练至关重要。若学习率较大，网络收敛较快，但不一定收敛到全局最小点，并且在训练过程中可能出现震荡的情况；若学习率较小，网络可能训练较慢，导致网络长时间不收敛并增加网络的训练时间。本发明采用差异学习率，差异学习(different learning)在训练期间为网络中的不同层设置不同的学习速率。这种方法与人们常用的学习速率配置方法相反，常用的方法是训练时在整个网络中使用相同的学习速率。而差异学习率的意义在于，前几个层通常会包含非常细微的数据细节，比如线和边，一般不希望改变这些细节并想保留它的信息，因此，无需大量改变权重。通过差异学习率可以提高模型的训练速度同时并不降低模型的准确性。经过发明人多次实验，反复总结，付出创造性的劳动，不断改进将差异学习率，分别设置为卷积层conv1-4的学习率为0.001、卷积层conv5-9的学习率为0.008，卷积层conv10-12、平均池化层AVE Pool与全连接层FC的学习率为0.012。网络模型训练差异学习过程如图3所示。

在计量箱外观故障识别任务中，主要以网络训练时损失函数的输出值(loss值)和网络测试时的准确率(accuracy)作为评价指标。其中，loss值用来判断网络是否收敛，一般来说，随着网络的不断迭代，loss值会震荡减少，直到最后趋于平稳或在区域范围内震荡，否则就是网络结构不合理或者参数设置不合理；而准确率代表的是网络识别效果。图4为训练集和验证集的准确率变化曲线；图5为训练集和验证集的loss值变化曲线。

MTNet网络在训练集上训练时，随着网络的不断迭代，准确率先是急剧上升，然后上升缓慢直至最后平稳达到99％左右，但是验证集的准确率却稳定在90％左右，主要原因是当前收集到的数据量还相对较少，随着收集更多数据，模型的准确性会进一步提升；网络的loss值也震荡减少，最后趋于平稳。整体模型的稳定性和准确率效果较好。

步骤三、计量箱故障识别

请参阅图6所示，故障识别阶段，采集的计量箱外观图像，输入输入层中进行预处理后进入步骤二训练好的MTNet网络模型进行识别，通过Softmax回归分类器便能够快速获得所输入的基向量外观图像的故障类别标签，完成计量箱故障识别。

为了进一步介绍本发明MTNet网络模型，对其可视化学习过程做以下示例说明：

图7为第一层激活通道的可视化情况，其中图7(a)为原始输入图片；图7(b)和图7(c)为第一层激活后某两个通道的视图，图中发光的是检查器检测到的结果，从通道1(图7(b))观察发现，该检测器是对角边缘的检测，而通道2(图7(c))则是对竖向边缘的检测。

随着层数的加深，层所提取的特征变得越来越抽象。更高的层激活包含关于特定输入的信息越来越少，而关于目标的信息越来越多(本例中即图像的故障类别)。深度神经网络可以有效地作为信息蒸馏管道，输入原始数据(本例中是RGB图像)，反复对其进行变换，将无关信息过滤掉(比如图像的具体外观)，并放大和细化有用的信息(比如图像的类别)。

请参阅图8(a)至图8(e)所示，从以上各层可视化可以看出，第一层是各种边缘探测器的集合。在这一阶段，激活几乎保留了原始图像中的所有信息。随着层数的加深，激活变得越来越抽象，并且越来越难以直观地理解。层数越深，其表示中关于图像视觉内容的信息就越少，而关于类别的信息就越多。激活的稀疏度随着层数的加深而增大。在第一层里，所有过滤器都被输入图像激活，但在后面的层里，越来越多的过滤器是空白的。也就是说，输入图像中找不到这些过滤器所编码的模式。

最后通过类激活图的可视化方法，有助于了解一张图像的哪一部分让卷积神经网络做出了最终的分类决策。图9(a)至图9(d)为计量箱箱盖损坏特征提取结果，说明卷积神经网络成功找到重要的分类特征。

本发明对某供电公司的20万张在运计量箱照片进行试验检测，验证该模型每秒可识别出60张照片，故障类型识别准确率达到95％。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (7)

1.计量箱外观故障图像识别模型，其特征在于，包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接回归分类器作为整个计量箱外观故障图像识别模型的输入；

卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2。

2.根据权利要求1所述的计量箱外观故障图像识别模型，其特征在于，采用修改正线性单元Relu作为激活函数。

3.根据权利要求1所述的计量箱外观故障图像识别模型，其特征在于，每个卷积层之后设置批量归一化层BN。

4.根据权利要求1所述的计量箱外观故障图像识别模型，其特征在于，每个卷积层中包含一个尺寸为3×3的卷积核与一个尺寸为1×1的卷积核。

5.根据权利要求1所述的计量箱外观故障图像识别模型，其特征在于，

所述输入层，用于接收输入的计量箱外观图像，并对其进行预处理；所述预处理包括对输入的计量箱外观图像依次进行尺度归一化、去均值以及数据增强处理；

所述卷积层conv1-12，用于对预处理后的图像进行特征提取；

平均池化层AVE Pool，用于对卷积层提取的特征进行池化计算；

全连接层FC，用于将平均池化层AVE Pool的计算结构连接后输入回归分类器；

Softmax回归分类器，用于对全连接层FC输入的数据分类，实现计量箱外观故障图像识别。

6.根据权利要求1所述的计量箱外观故障图像识别模型，其特征在于，所述回归分类器为Softmax回归分类器。

7.计量箱外观故障图像识别方法，其特征在于，包括以下步骤：

1)、搭建计量箱外观故障图像识别模型

计量箱外观故障图像识别模型，包括依次连接的输入层input、卷积层conv1-12、平均池化层AVE Pool与全连接层FC，全连接层FC接回归分类器作为整个计量箱外观故障图像识别模型的输入；卷积层conv1-7和卷积层9-12步长为1，卷积层conv8步长为2；

2)、训练步骤1)搭建的计量箱外观故障图像识别模型

2.1)、图像预处理

收集计量箱外观照片，通过输入层input进行预处理；预处理包括对收集的照片依次进行尺度归一化、去均值以及数据增强处理；

2.2)、网络模型训练

经过输入层input预处理后的照片输入计量箱外观故障图像识别模型进行迭代训练，‘直至达到收敛条件或者到达设定的迭代次数后完成训练；获得训练好的计量箱外观故障图像识别模型；

3)、计量箱故障识别

采集的计量箱外观图像，输入输入层input中进行预处理后进入步骤2)训练好的计量箱外观故障图像识别模型进行识别，通过回归分类器的输出的故障类别标签，获得输入的计量箱外观图像的故障类别，完成计量箱故障识别。