CN111582071B - 一种基于HRNet网络模型的SF6仪表图像读数方法 - Google Patents

Abstract

本发明公开了一种基于HRNet网络模型的SF₆仪表图像读数方法。采集SF₆仪表样本图像，并标注构成训练集；将训练集输入改进的HRNet网络模型进行学习训练，训练后获得最终模型；待测图片输入最终模型，最终模型预测出待测图片中刻度关键点与指针关键点的位置，利用线性回归进行指针对应射线位置确定，通过射线与刻度关键点连接交点确定所夹角度，根据刻度关键点与指针关键点获得SF₆仪表的待测图片上的读数。本发明能够实现SF₆仪表读数的识别，具有较高准确率，并且具有稳定性好、抗干扰能力强等优点，具有良好鲁棒性，能够应用于SF₆状态检测系统。

Description

一种基于HRNet网络模型的SF6仪表图像读数方法

技术领域

本发明涉及了一种对于指针式仪表进行读数的方法，尤其是涉及了一种基于HRNet网络模型进行SF₆仪表图像进行读数的方法。

背景技术

SF₆仪表拥有杰出的绝缘性能及优秀的灭弧性能，被普遍应用于高压电气设备中。SF₆仪表用来当作绝缘介质，能够使设备小型化，且能提高设备的可靠性。高压电气设备中的SF₆气体会随着时间推移逐渐向外泄漏。SF₆气体一旦泄漏将会导致设备无法正常工作，而且对工作人员的人身健康造成影响。因此，在高压设备附近需要安装大量SF₆检测仪表以保证安全。但传统的仪表读数识别需要工作人员进行人工读数，工作量大且效率低下，无法全时间段进行数据的观测，因此进行SF₆仪表进行无人值守化读数，是亟需解决的难题之一。

发明内容

为了解决背景技术中的问题，本发明提出了一种基于HRNet网络模型的SF₆仪表图像读数方法，能高效进行SF₆仪表进行读数且具有良好稳定性。

本发明的技术方案包括以下步骤：

1)采集仪表样本图像，图像中包含所需识别SF₆仪表；

2)遍历所有仪表样本图像，对于其中仪表进行标注，标注方式为指针式仪表中的刻度关键点和指针关键点标注，由所有仪表样本图像及其标注信息构成训练集；

3)将步骤2)中所获得的训练集输入改进的HRNet(高分辨率网络，HighResolution Network)网络模型进行学习训练，训练后获得最终模型，用于对于指针表中指针关键点以及刻度关键点进行位置预测；

4)对于SF₆仪表的待测图片，输入最终模型，最终模型预测出待测图片中刻度关键点与指针关键点的位置，根据刻度关键点与指针关键点获得SF₆仪表的待测图片上的读数。

所述的仪表样本图像是人通过拍摄设备，依次单独对于所需识别仪表进行采集所获得图片。

所述步骤2)中，刻度关键点为沿刻度-0.1位置至0.9位置等间隔共11个刻度点，0.9位置是指从刻度初始位置开始在刻度正方形位于0.9倍刻度总长的位置，指针关键点为指针尖点、指针在仪表上的旋转中心点以及中间交点，中间交点为指针与仪表中间表盘区域之间的交点，共三点。

所述步骤3)训练前，输入图像大小为576×768，在训练过程中对训练集的仪表样本图像加入数据增强处理，数据增强方式采用包括图像模糊、亮度变化、对比度变化、gamma变换和灰度变换，分别对原始的仪表样本图像进行处理获得模糊后图像、亮度变化图像、对比度变化后图像、gamma变换后图像和灰度变换后图像；其中，图像模糊使用核大小为从3×3至8×8之间随机选取其一，亮度变化参数选取范围为[-20，20]，对比度变化与gamma变换参数选取范围为[0.8，1.2]，灰度变换即将RGB图像变换为灰度图；训练中，从原始图像、模糊后图像、亮度变化图像、对比度变化后图像、gamma变换后图像和灰度变换后图像中随机选取其一输入，选取的概率对应依次为[0.25，0.15，0.15，0.15，0.15，0.15]。

所述的改进的HRNet网络模型是在HRNet网络模型自身的特征提取输出层和预测结果输入层之间连接增加设置了一个交错融合模块，特征提取输出层输出了针对不同关键点的不同关键点预测图作为特征图，每一个关键点均对应有一个关键点预测图，通过交错融合模块对刻度相邻的关键点预测图进行叠加加合，叠加加合是指两幅关键点预测图的同位置的像素点相加；通过卷积模块将特征提取输出层输出的各个关键点预测图进行交错融合，形成新的各个关键点预测图，具体是：将N个关键点预测图按照其中关键点对应的刻度位置进行排序，将每两个刻度相邻的关键点预测图叠加加合后获得新的N-1关键点预测图，再加上最大刻度位置对应的关键点预测图，形成获得新的各个关键点预测图。

对于HRNet网络模型，其训练误差小于3％。实际训练轮数为7轮，训练的优化器为SGD，学习率设置为0.01。

所述步骤4)，根据刻度关键点与指针关键点获得SF₆仪表的待测图片上的读数，具体为：

4.1)根据所获得的刻度关键点，对于11个刻度关键点，进行两个相邻刻度关键点的两两相连，共计获得10条线段；

4.2)指针关键点由指针尖点至与旋转中心点的三个点依次为P_a，P_b，P_c，利用三个指针关键点进行线性回归获得射线，求取射线和10条线段之间的交点，依据角度关系最终获得SF₆仪表的待测图片上的读数：

4.2.1)进行两条线段P_aP_c、P_bP_c各自的斜率计算并判断：

若两条线段的斜率之差小于0.2，则以指针尖点和指针在仪表上的旋转中心点之间形成的线段P_aP_c作为指针直线方向；

若两条线段的斜率之差大于0.2，则对三个指针关键点位置进行线性回归，三个指针关键点在坐标位置为(x⁽ⁱ⁾，y⁽ⁱ⁾)，i＝1，2，3，建立指针直线模型：

h_θ(x)＝θ₀+θ₁x

其中，x表示进行线性回归的自变量，θ₀、θ₁分别表示回归线h_θ(x)的斜率和截距，J(θ)表示进行线性回归的代价函数，θ表示斜率和截距θ₀、θ₁的集合，i表示指针关键点的序数；

求解上述指针直线模型后获得指针直线h_θ(x)；

4.2.2)在获得指针的拟合直线后，以指针关键点的旋转中心点P_c为端点，获得指针射线，检测射线与4.1)获得的刻度线段相交的交点P，并获得交点P与所交线段两端的刻度点P₁和P₂，其中P₁代表两个刻度点中刻度值较小的点，P₂代表两个刻度点中刻度值较大的点，将交点P和两刻度点P₁、P₂分别与旋转中心点P_c相连接，获得角度信息∠P₁P₀P₂与∠PP₀P₁，然后根据两个角度信息获得SF₆仪表的待测图片上的读数V为：

式中，

与

代表交点P所交线段的两个刻度点的刻度数值。

本发明首先利用SF₆仪表图片输入关键点检测模型进行学习与训练，生成预测模型以进行SF₆仪表图像的刻度关键点以及指针关键点检测；其次利用线性回归进行指针对应射线位置确定，通过射线与刻度关键点连接交点确定所夹角度，进行比例计算后最终获得SF₆仪表的读数。

本发明的有益效果是：

本发明能够实现SF₆仪表读数的识别，具有较高准确率，并且具有稳定性好，抗干扰能力强等优点，具有良好鲁棒性，能够应用于SF₆状态检测系统。

根据SF₆仪表的特点，本发明选择了刻度关键点以及指针关键点进行模型训练，由于使用了深度学习方法进行关键点预测，且同时融合了多种尺度特征层的特征提取，从而提高了SF₆仪表关键点定位的准确率，进而提高了SF₆仪表读数的准确率。

附图说明

图1为实施例训练样本图片。

图2为实施例本方法增添交错融合模块前后输出特征层对比示例图。

图3为实施例本方法关键点预测模型输出特征层。

图4为实施例本方法仪表读数线段连接示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

按照本发明发明内容完整方法实施的实施过程如下：

实验图片共有512张，其中用于训练的图片有492张，每张图片中均含有14个关键点，其余20张作为测试集图片。具体情况如图1所示，输入的图像为整幅图片，在输入关键点预测模型进行训练之前归一化为相同尺寸大小，即576×768。在模型训练过程中使用数据增强，即从保留原始图像，模糊后图像，亮度变化图像，对比度变化后图像，gamma变换后图像，灰度变换中按照概率p＝[0.25，0.15，0.15，0.15，0.15，0.15]随机选取一种后输入网络进行训练。

模型中损失计算所使用的函数为MSELoss。

实施例增添交错融合模块前后的关键点检测模型输出特征层对比结果如图2所示，其中上半张图为模型未添加交错融合模块的输出特征层，下半张图为模型添加交错融合模块后的输出特征层。由结果可以看出，增添交错融合模块后关键点检测模型预测性能有所提升，有利于提高SF₆仪表读数的准确性。实施例的SF₆仪表图片输入关键点检测模型后输出的特征层结果如图3所示。从实验结果上来看，SF₆仪表关键点检测不受仪表摆放角度的影响，定位较为准确，为下一步的SF₆仪表读数做好了准备。SF₆仪表图片经过模型预测关键点后进行读数识别时的线段连接如图4所示。由实验结果可以看出，关键点检测准确率高，进行读数时线段连接后进行判断方法合理，效果较好。

由此可见，本发明能够实现SF₆仪表读数的自动识别，具有较高准确率，并且具有稳定性好，抗干扰能力强等优点，能够应用于SF₆状态检测系统。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于HRNet的SF₆仪表读数识别方法，包括以下步骤：

1)采集仪表样本图像，图像中包含所需识别SF₆仪表；

2)遍历所有仪表样本图像，对于其中仪表进行标注，标注方式为指针式仪表中的刻度关键点和指针关键点标注，由所有仪表样本图像及其标注信息构成训练集；

3)将步骤2)中所获得的训练集输入改进的HRNet网络模型进行学习训练，训练后获得最终模型；

所述的改进的HRNet网络模型是在HRNet网络模型自身的特征提取输出层和预测结果输入层之间连接增加设置了一个交错融合模块，特征提取输出层输出了针对不同关键点的不同关键点预测图作为特征图，每一个关键点均对应有一个关键点预测图，通过交错融合模块对刻度相邻的关键点预测图进行叠加融合；通过卷积模块将特征提取输出层输出的各个关键点预测图进行交错融合，形成新的各个关键点预测图，具体是：将N个关键点预测图按照其中关键点对应的刻度位置进行排序，将每两个刻度相邻的关键点预测图叠加融合后获得新的N-1关键点预测图，再加上最大刻度位置对应的关键点预测图，形成获得新的各个关键点预测图；

4)对于SF₆仪表的待测图片，输入最终模型，最终模型预测出待测图片中刻度关键点与指针关键点的位置，根据刻度关键点与指针关键点获得SF₆仪表的待测图片上的读数；

根据刻度关键点与指针关键点获得SF₆仪表的待测图片上的读数，具体为：

4.1)根据所获得的刻度关键点，对于11个刻度关键点，进行两个相邻刻度关键点的两两相连，共计获得10条线段；

4.2)指针关键点由指针尖点至与旋转中心点的三个点依次为P_a，P_b，P_c，利用三个指针关键点进行线性回归获得射线，求取射线和10条线段之间的交点，依据角度关系最终获得SF₆仪表的待测图片上的读数：

4.2.1)进行两条线段P_a P_c、P_b P_c各自的斜率计算并判断：

若两条线段的斜率之差小于0.2，则以指针尖点和指针在仪表上的旋转中心点之间形成的线段P_a P_c作为指针直线；

若两条线段的斜率之差大于0.2，则对三个指针关键点位置进行线性回归，三个指针关键点在坐标位置为(X⁽ⁱ⁾,Y⁽ⁱ⁾)，i＝1,2,3，建立指针直线模型：

h_θ(x)＝θ₀+θ₁x

其中，x表示进行线性回归的自变量，θ₀、θ₁分别表示回归线h_θ(x)的斜率和截距，J(θ)表示进行线性回归的代价函数，θ表示斜率和截距θ₀、θ₁的集合，i表示指针关键点的序数；

求解上述指针直线模型后获得指针直线h_θ(x)；

4.2.2)在获得指针的拟合直线后，以指针关键点的旋转中心点P_c为端点，获得指针射线，检测射线与4.1)获得的刻度线段相交的交点P，并获得交点P与所交线段两端的刻度点P₁和P₂，其中P₁代表两个刻度点中刻度值较小的点，P₂代表两个刻度点中刻度值较大的点，将交点P和两刻度点P₁、P₂分别与旋转中心点P_c相连接，获得角度信息∠P₁P₀P₂与∠PP₀P₁，然后根据两个角度信息获得SF₆仪表的待测图片上的读数V为：

式中，

与

代表交点P所交线段的两个刻度点的刻度数值。

2.根据权利要求1所述的一种基于HRNet的SF₆仪表读数识别方法，其特征在于：所述的仪表样本图像是人通过拍摄设备，依次单独对于所需识别仪表进行采集所获得图片。

3.根据权利要求1所述的一种基于HRNet的SF₆仪表读数识别方法，其特征在于：所述步骤2)中，刻度关键点为沿刻度-0.1位置至0.9位置等间隔共11个刻度点，指针关键点为指针尖点、指针在仪表上的旋转中心点以及中间交点，中间交点为指针与仪表中间表盘区域之间的交点，共三点。

4.根据权利要求1所述的一种基于HRNet的SF₆仪表读数识别方法，其特征在于：所述步骤3)训练前，在训练过程中对训练集的仪表样本图像加入数据增强处理，数据增强方式采用包括图像模糊、亮度变化、对比度变化、gamma变换和灰度变换，分别对原始的仪表样本图像进行处理获得模糊后图像、亮度变化图像、对比度变化后图像、gamma变换后图像和灰度变换后图像；其中，图像模糊使用核大小为从3×3至8×8之间随机选取其一，亮度变化参数选取范围为[-20，20]，对比度变化与gamma变换参数选取范围为[0.8，1.2]，灰度变换即将RGB图像变换为灰度图；训练中，从原始图像、模糊后图像、亮度变化图像、对比度变化后图像、gamma变换后图像和灰度变换后图像中随机选取其一输入，选取的概率对应依次为[0.25，0.15，0.15，0.15，0.15，0.15]。

Images