CN116051809A - 一种基于深度学习的六氟化硫仪表读数识别方法及设备 - Google Patents

一种基于深度学习的六氟化硫仪表读数识别方法及设备 Download PDF

Info

Publication number
CN116051809A
CN116051809A CN202310100878.1A CN202310100878A CN116051809A CN 116051809 A CN116051809 A CN 116051809A CN 202310100878 A CN202310100878 A CN 202310100878A CN 116051809 A CN116051809 A CN 116051809A
Authority
CN
China
Prior art keywords
loss
representing
dial
detection model
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310100878.1A
Other languages
English (en)
Inventor
廖兴旺
胡丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Ruis Technology Co ltd
Original Assignee
Fujian Ruis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Ruis Technology Co ltd filed Critical Fujian Ruis Technology Co ltd
Priority to CN202310100878.1A priority Critical patent/CN116051809A/zh
Publication of CN116051809A publication Critical patent/CN116051809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的六氟化硫仪表读数识别方法，包括：构建仪表检测模型；训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；获取待处理图像；输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。

Description

一种基于深度学习的六氟化硫仪表读数识别方法及设备
技术领域
本发明涉及一种基于深度学习的六氟化硫仪表读数识别方法及设备，属于图像处理领域。
背景技术
六氟化硫(SF6)是变电站中常见的高压设备绝缘灭弧气体，其密度、压力、温度等参数关系到站内人员设备的安全。变电站中大量安装了六氟化硫SF6机械指针式气体密度表，如图3所示，其测量的数值无法直接上传至电力系统，需要人工或通过计算机视觉技术自动识别仪表图像读数。
对于SF6仪表读数识别，传统的图像处理算法步骤包括：图像灰度化、图像二值化、图像边缘检测、霍夫直线变换定位指针和起始刻度、霍夫圆变换定位圆心、角度计算、读数转换等。朱海霞[1]采用霍夫Hough识别算法，识别表针直线以及表盘圆形，利用减少累加像素数目结合灰度中心法来提升准确性，最后利用BP(反向传播)神经网络定位起始刻度字符识别；丁永泽[2]采用霍夫Hough变换算法，对指针、起始刻度线以及终止刻度线进行定位，然后通过计算指针相对于起始刻度线的偏转角度得到仪表的读数。其关键步骤霍夫直线变换和霍夫圆变换对参数设置敏感，大多数场景下需要一表一设计，一表一调试，大大增加了部署成本，不利于大面积推广。且霍夫变换对图片拍摄角度有较高的要求，尤其是霍夫圆变换的时候，当摄像头到仪表中心点连线与仪表平面法线的夹角大于15°时，识别精度下降比较明显，如图4所示。而在实际场景中，由于仪表安装位置容易被遮挡，以及巡检机器人定位、姿态误差，而无法达到拍摄要求，导致识别错误，时常发生。除此之外，由于SF6仪表指针较短，和表盘上刻度指针差异不明显，因此霍夫直线变换偶尔将刻度线识别成表盘指针，导致读数识别错误。
CN115035364A《一种基于深度神经网络的指针仪表读数方法》公开了对图8所示的SF6仪表进行识别，用训练好的表盘刻度关键点预测算法和指针关键点预测算法，分别分析表盘检测框图像和指针检测框图像，得到表盘刻度关键点和指针关键点；通过关键点坐标计算角度θ1和指针角度θ2，从而得到仪表读数。受分辨率或光线等因素影响,关键点预测算法对刻度关键点的预测精确度不高；该方法通过定位刻度线比较明显的大刻度以及求均值的方式提高读数识别精度，但仍有待进一步提高。同时，由于SF6仪表指针较短，与表盘大刻度线差异不明显，当指针与大刻度接近甚至重叠时,易把刻度线误判为指针或把指针误判为刻度。
CN113780273A《一种基于目标检测和关键点检测的水表仪表示数读取方法》公开了：通过指针目标检测模块获取水表图像中的所有指针的检测框，然后通过目标区域分割模块获取目标指针的检测框并从原始水表图像中截取感兴趣区域，最后将感兴趣区域作为指针关键点检测模块的输入，得到目标指针的关键点位置。该专利分别构建并训练指针目标检测模块和指针关键点检测模块，以识别指针和关键点位置，训练成本较高且实时性有待进一步提高。
[1]Zhu Haixia.Pointer meter recognition based on improved Houghtransform and BP network[J].Electrical Measurement&Instrumentation,2015,52(05):11-14.
[2]丁永泽侯春萍杨阳.基于图像处理的表计读数识别方法[P],2019,201910658381.5
发明内容
为了克服现有技术中存在的问题，本发明采用基于深度学习的SF6仪表读数识别方法，相比于基于霍夫直线的识别方法，无需进行参数设置和部署调试，能覆盖到部署场景下的SF6仪表，即可完成读数自动识别。
为了实现上述目的，本发明采用如下技术方案：
技术方案一
一种基于深度学习的六氟化硫仪表读数识别方法，包括以下步骤：
构建仪表检测模型；
训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；
获取待处理图像；
输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；
根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。
进一步地，所述计算仪表读数，以公式表达为：
Figure BDA0004086137870000031
Figure BDA0004086137870000032
Figure BDA0004086137870000033
式中，σ表示仪表读数；Ψ、φ、
Figure BDA0004086137870000039
为先验知识，分别表示仪表量程、量程对应的角度、仪表参考向量
Figure BDA0004086137870000034
指向的读数；δ表示方向参数；θ表示指针线向量
Figure BDA0004086137870000035
与仪表参考向量
Figure BDA0004086137870000036
的夹角；
Figure BDA0004086137870000037
表示指针线向量；
Figure BDA0004086137870000038
表示仪表参考向量；Ax、Ay表示指针端点A的x坐标和y坐标，Bx、By表示指针端点B的x坐标和y坐标，Cx、Cy表示表盘螺丝点C的x坐标和y坐标，Dx、Dy表示表盘螺丝点D的x坐标和y坐标。
进一步地，所述损失函数以公式表达为：
Loss＝λ1Lossloc+λ2Lossobj+λ3LossLand
式中，λ1、λ2、λ3分别表示不同的损失系数；Lossloc表示所有正样本的表盘定位损失；Lossobj表示所有正负样本的目标置信度损失；LossLand表示所有正样本的关键点定位损失。
进一步地，所述关键点定位损失以公式表达为：
Figure BDA0004086137870000041
式中，a、b分别表示预测结果中关键点横、纵坐标，
Figure BDA0004086137870000042
和
Figure BDA0004086137870000043
分别表示标注信息中关键点横、纵坐标；WL(x)表示Wing loss函数。
进一步地，所述仪表检测模型包括主干网络和头部网络；
所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；
所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。
技术方案二
一种基于深度学习的六氟化硫SF6仪表读数识别设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
构建仪表检测模型；
训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；
获取待处理图像；
输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；
根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。
进一步地，所述计算仪表读数，以公式表达为：
Figure BDA0004086137870000051
Figure BDA0004086137870000052
Figure BDA0004086137870000053
式中，σ表示仪表读数；Ψ、φ、
Figure BDA00040861378700000512
为先验知识，分别表示仪表量程、量程对应的角度、仪表参考向量
Figure BDA0004086137870000054
指向的读数；δ表示方向参数；θ表示指针线向量
Figure BDA0004086137870000055
与仪表参考向量
Figure BDA0004086137870000056
的夹角；
Figure BDA0004086137870000057
表示指针线向量；
Figure BDA0004086137870000058
表示仪表参考向量；Ax、Ay表示指针端点A的x坐标和y坐标，Bx、By表示指针端点B的x坐标和y坐标，Cx、Cy表示表盘螺丝点C的x坐标和y坐标，Dx、Dy表示表盘螺丝点D的x坐标和y坐标。
进一步地，所述损失函数以公式表达为：
Loss＝λ1Lossloc+λ2Lossobj+λ3LossLand
式中，λ1、λ2、λ3分别表示不同的损失系数；Lossloc表示所有正样本的表盘定位损失；Lossobj表示所有正负样本的目标置信度损失；LossLand表示所有正样本的关键点定位损失。
进一步地，所述关键点定位损失以公式表达为：
Figure BDA0004086137870000059
式中，a、b分别表示预测结果中关键点横、纵坐标，
Figure BDA00040861378700000510
和
Figure BDA00040861378700000511
分别表示标注信息中关键点横、纵坐标；i表示关键点数量；WL(x)表示Wing loss函数。
进一步地，所述仪表检测模型包括主干网络和头部网络；
所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；
所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。
与现有技术相比本发明有以下特点和有益效果：
1、本发明构建仪表检测模型对SF6仪表的指针端点和表盘螺丝点进行定位，基于指针端点和表盘螺丝点的相对位置关系计算读数。相比于基于霍夫直线的识别方法，本发明无需进行参数设置和部署调试即可完成读数自动识别，具有更好的鲁棒性，降低了对拍摄角度的敏感性，能覆盖到部署场景下的SF6仪表。相比于基于刻度关键点的识别方法，本发明针对表盘螺丝点进行定位，螺丝点与表盘其他物体相比具有明显的区分度，定位准确度更高，从而提高读数识别准确度。
2、更进一步地，本发明将指针端点与表盘螺丝点的相对位置关系转换为指针线向量
Figure BDA0004086137870000061
和仪表参考向量
Figure BDA0004086137870000062
之间的夹角，利用夹角与先验知识进行读数计算，计算量小、实时性强。
3、现有技术中一般通过L1、L2或smooth-L1损失函数对坐标值进行回归，但经本发明技术人员实验发现上述损失函数对小误差并不敏感，其精度难以满足检测要求。本发明基于Yolov7模型结构，通过构建包含置信度损失、表盘定位损失和关键点定位损失的损失函数训练仪表检测模型，实现对表盘和关键点的同步检测；并基于Wing loss函数计算关键点定位损失，使损失函数对小误差更加敏感，获取更高精度的关键点坐标。
附图说明
图1-2是本发明仪表检测模型结构示意图；
图3是六氟化硫(SF6)仪表示意图；
图4是现有技术基于霍夫直线识别方法示意图；
图5是本发明标注信息示意图；
图6是本发明预测结果以及现有Yolov7模型输出结果示意图；
图7是瞄框与标注框示意图；
图8是现有技术中专利CN115035364ASF6的仪表识别示意图。
具体实施方式
下面结合实施例对本发明进行更详细的描述。
实施例一
一种基于深度学习的六氟化硫仪表读数识别方法，包括以下步骤：
S1、构建样本集：
获取六氟化硫(SF6)仪表图像集为样本集。本实施例中，SF6仪表表盘中设有两个螺丝点且两个螺丝点位于同一条表盘直径上。如图5所示，对表盘进行矩形框标注，对两个指针端点A、B及两个表盘螺丝点C、D进行关键点标注，得到表盘位置信息(包括标注框中心点坐标、框高和框宽)和若干关键点位置信息(包括四个关键点坐标)。
S2、构建仪表检测模型和损失函数：
如图1-2所示，仪表检测模型采用Yolov7网络架构，包括主干网络和头部网络。
主干网络由四个CBS模块、四个ELAN模块、三个MP-1模块构成。CBS模块由标准卷积层Conv、归一化层BN、SiLU激活层构成。ELAN模块由多个CBS模块和cat模块构成；MP-1模块由最大池化Maxpool模块和CBS模块构成。
主干网络用于提取待处理图像的浅层特征、中层特征和深层特征。具体地，由主干网络中第二个ELAN模块向头部网络输出待处理图像的浅层特征、主干网络中第三个ELAN模块向头部网络输出待处理图像的中层特征、主干网络中第四个ELAN模块向头部网络输出待处理图像的深层特征。
头部网络由四个CBS模块、四个ELAN-W模块、两个UPSample模块、一个SPPCSPC模块、两个MP-2模块、三个Rep模块、四个cat模块以及三个CBM模块构成。ELAN-W模块与ELAN模块结构相同，区别在于第二条分支选取的输出数量不同：ELAN模块选取第二条分支的三个输出进行相加，ELAN-W模块选取第二条分支的五个输出进行相加。UPSample模块采用的上采样方式为最近邻插值。SPPCSPC模块由七个CBS模块、三个最大池化模块Maxpool和两个cat模块连接而成，其作用是能够增大感受野，使得仪表检测模型适应不同的分辨率图像。MP-2模块与MP-1模块结构相同，区别在于输出输入通道比不同；具体地，MP-1输入输出通道数比值为1，MP-2输入输出通道数比值为0.5。训练过程中，Rep模块由三个分支组成，分别为3x3卷积+归一化BN、1x1卷积+归一化BN、恒等模块Identity+归一化BN；而在部署过程中，Rep模块需要进行重参数化，即将其中的1x1卷积和恒等模块Identity转换成3x3卷积，然后进行矩阵融合即将矩阵的对应的权重进行相加，得到一个3x3的卷积，作为仪表检测模型推理时的唯一权重。cat模块用于拼接其接收的多组特征以进行特征融合，获得单一特征。CBM模块由标准卷积层Conv、归一化层BN、Sigmoid激活层构成。仪表检测模型的网络架构以及各模块之间的连接关系为现有技术，本实施例不再赘述。
头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取得到三个不同尺度的特征图；并利用三个CBM模块分别独立在三个特征图上进行预测，输出三个预测结果。预测结果包括目标置信度(目标置信度由原始Yolov7模型中的前景置信度表示)、表盘位置(预测框中心点坐标(x，y)、预测框宽w、预测框高h)和四个关键点位置(关键点坐标(a,b))。
具体地，如图6所示，预测结果的长度为SxSxBx(4+1+Px2)；其中，SxS表示特征点(grid)数量，本实施例分别为20x20、40x40、80x80；每一特征点都会产生以该点为中心的B个瞄框(anchor)，本实施例B取值为3；P表示关键点数量，本实施例取值为4。如，第一预测结果包含20x20x3个表盘位置(即x、y、w、h)、20x20x3个目标置信度、20x20x3x4个关键点位置(a,b)。本实施例中，中心点坐标(x，y)与关键点坐标(a,b)均采用相对于grid中心点的坐标偏移值。
现有技术一般利用均绝对误差损失L1、均方误差损失L2或smooth-L1损失函数计算坐标损失值，如CN114863406A《一种复杂背景下的变电站指针式仪表的智能检测与识别方法》。经本申请技术人员实验发现上述损失函数对小误差并不敏感，检测精度难以满足要求。考虑到需要较高精度的关键点坐标，才能得到准确的仪表读数，故构建损失函数如下：
Loss＝λ1Lossloc+λ2Lossobj+λ3LossLand
式中，λ1、λ2、λ3分别表示不同的损失系数，本实施例中分别取0.05、0.7、0.005；Lossloc表示所有正样本的表盘定位损失即锚点坐标损失；Lossobj表示所有正负样本的目标置信度损失；LossLand表示所有正样本的关键点定位损失即关键点坐标损失。
在训练过程中，当标注框(ground truth)中心点落入特征图对应的锚点上或者相邻锚点上，将该锚点对应瞄框计入正样本，否则将该锚点对应瞄框为负样本。对于每一个正样本，其坐标损失函数采用GIoU计算，具体如下：
Figure BDA0004086137870000091
式中，fg表示前景框即正样本锚点；S1表示瞄框与标注框交部分的面积，S2为瞄框与标注框并区域的面积，S3为包围瞄框与标注框的最小矩形框的面积。如图7所示，A表示瞄框中心点，B表示标注框中心点，(xp1,yp1)、(xp2,yp2)分别表示瞄框的左上角坐标和右下角坐标，(xl1,yl1)、(xl2,yl2)分别表示标注框的左上角坐标和右下角坐标。
S1＝(min(xp2,xl2)-max(xp1,xl1))*(min(yp2,yl2)-max(yp1,yl1))
S2＝(xp2-xp1)*(yp2-yp1)+(xl2-xl1)*(yl2-yl1)-S1
S3＝(max(xp2,xl2)-min(xp1,xl1))*(max(yp2,yl2)-min(yp1,yl1))
Lossobj表示所有正负样本的目标置信度损失，采用二值交叉熵作为损失函数，具体公式如下：
Figure BDA0004086137870000101
式中，bg表示背景框即负样本锚点，fg表示前景框即正样本锚点，p表示预测结果中的目标置信度，
Figure BDA0004086137870000109
表示标注框和预测框之间的IoU即S1/S2。
LossLand表示所有正样本的关键点损失，公式如下：
Figure BDA0004086137870000102
Figure BDA0004086137870000103
式中，fg表示前景框即正样本锚点；a、b分别表示预测结果中关键点坐标即关键点相对于grid中心在横、纵方向上的偏移值，
Figure BDA0004086137870000107
和
Figure BDA0004086137870000108
分别表示标注信息中关键点坐标即关键点相对于grid中心在横、纵方向上的偏移值；i取值范围为1～4。
Figure BDA0004086137870000104
式中，WL(x)表示Wing loss函数；ω表示一正数；∈表示约束非线性区域的曲率；C表示常数。
Wing loss函数将非线性部分仅限于[-ω,ω]区间内，其余均为线性部分，该函数的导数如下所示，当|x|较大时即大于ω，导数为常数1或-1，而当|x|较小时即小于ω，导数和|x|成负相关，|x|越小，导数越大，确保误差小的时候，损失函数更敏感，更有益于关键点精确定位。
Figure BDA0004086137870000105
本实施例中ω取10，∈取2，为了保证函数连续，C取
Figure BDA0004086137870000106
S3、模型训练：
将样本集输入至仪表检测模型，利用损失函数计算损失，损失包括所有正样本的锚点坐标损失、所有正负样本的目标置信度损失、以及所有正样本的关键点坐标损失。
设置训练batch_size为16，初始学习率Lr为0.001，学习率衰减率decay_rate为0.99，迭代轮次epoch_num为80,优化器采用带动量的随机梯度下降SGDM算法，用于调整网络模型的权重参数，当训练轮次达到epoch_num时或损失值不再下降时，训练完成，保存相应的权重参数。
S4、模型部署：
摄像头拍摄SF6仪表，得到待处理图像。将完成训练的仪表检测模型部署到服务器端，通过网络获取待处理图像并输入至仪表检测模型，得到若干预测结果。取预测结果中目标置信度最高者为仪表检测模型推理结果，即得到表盘位置和若干关键点位置。
构建指针线向量
Figure BDA0004086137870000111
和仪表参考向量
Figure BDA0004086137870000112
如下：
Figure BDA0004086137870000113
Figure BDA0004086137870000114
式中，Ax、Ay表示指针内端点A的x坐标和y坐标，Bx、By表示指针外端点B的x坐标和y坐标，Cx、Cy表示表盘螺丝点C的x坐标和y坐标，Dx、Dy表示表盘螺丝点D的x坐标和y坐标，指针线向量
Figure BDA0004086137870000115
和仪表参考向量
Figure BDA0004086137870000116
夹角θ计算，如下所示：
Figure BDA0004086137870000117
由于指针线向量
Figure BDA0004086137870000118
有可能在仪表参考向量
Figure BDA0004086137870000119
左侧，也有可能在右侧。而θ角无法体现左侧右侧，因此设置方向参数δ，当δ为1时，表示指针线向量
Figure BDA00040861378700001110
在仪表参考向量
Figure BDA00040861378700001111
右侧；当δ为-1时，表示指针线向量
Figure BDA00040861378700001112
在仪表参考向量
Figure BDA00040861378700001113
左侧；而当δ为0时，共线即θ为0或π。由图5可以看出指针不可能取到仪表参考向量
Figure BDA00040861378700001114
的反向，因此当δ为0时，θ只能取0。利用向量外积，计算方向参数δ如下：
Figure BDA0004086137870000121
构建先验知识如下：
a.计算仪表量程Ψ为1(0.9-(-0.1)＝1.)；
b.获取量程对应的夹角
Figure BDA0004086137870000122
本实施例中取270°即1.5π；
c.表盘螺丝点C和表盘螺丝点D构成的仪表参考向量
Figure BDA0004086137870000123
指向仪表中间读数
Figure BDA0004086137870000124
本实施例中取0.4。
利用先验知识和关键点坐标，计算仪表读数σ如下：
Figure BDA0004086137870000125
式中，Ψ、φ、
Figure BDA0004086137870000126
分别表示仪表量程、量程对应的夹角、仪表参考向量
Figure BDA0004086137870000127
指向读数。
需要说明的是，上述提出的一种基于深度学习的六氟化硫仪表读数识别方法系统，还用于实现如上述图1所示的一种基于深度学习的六氟化硫仪表读数识别方法方法中各实施例对应的方法步骤，本申请在此不重复叙述。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于深度学习的六氟化硫仪表读数识别方法，其特征在于，包括以下步骤：
构建仪表检测模型；
训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述若干关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；
获取待处理图像；
输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；
根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。
2.根据权利要求1所述的一种基于深度学习的六氟化硫仪表读数识别方法，其特征在于，所述计算仪表读数，以公式表达为：
Figure FDA0004086137850000011
Figure FDA0004086137850000012
Figure FDA0004086137850000013
式中，σ表示仪表读数；Ψ、φ、
Figure FDA0004086137850000014
为先验知识，分别表示仪表量程、量程对应的角度、仪表参考向量
Figure FDA0004086137850000015
指向的读数；δ表示方向参数；θ表示指针线向量
Figure FDA0004086137850000016
与仪表参考向量
Figure FDA0004086137850000017
的夹角；
Figure FDA0004086137850000018
表示指针线向量；
Figure FDA0004086137850000019
表示仪表参考向量；Ax、Ay表示指针端点A的x坐标和y坐标，Bx、By表示指针端点B的x坐标和y坐标，Cx、Cy表示表盘螺丝点C的x坐标和y坐标，Dx、Dy表示表盘螺丝点D的x坐标和y坐标。
3.根据权利要求1所述的一种基于深度学习的六氟化硫仪表读数识别方法，其特征在于，所述损失函数以公式表达为：
Loss＝λ1Lossloc+λ2Lossobj+λ3LossLand
式中，λ1、λ2、λ3分别表示不同的损失系数；Lossloc表示所有正样本的表盘定位损失；Lossobj表示所有正负样本的目标置信度损失；LossLand表示所有正样本的关键点定位损失。
4.根据权利要求1所述的一种基于深度学习的六氟化硫仪表读数识别方法，其特征在于，所述关键点定位损失以公式表达为：
Figure FDA0004086137850000021
式中，a、b分别表示预测结果中关键点的横、纵坐标，
Figure FDA0004086137850000022
和
Figure FDA0004086137850000023
分别表示标注信息中关键点的横、纵坐标；n表示关键点数量；WL(x)表示Wing loss函数。
5.根据权利要求1所述的一种基于深度学习的六氟化硫仪表读数识别方法，其特征在于，所述仪表检测模型包括主干网络和头部网络；
所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；
所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。
6.一种基于深度学习的六氟化硫SF6仪表读数识别设备，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
构建仪表检测模型；
训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述若干关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；
获取待处理图像；
输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；
根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。
7.根据权利要求6所述的一种基于深度学习的六氟化硫SF6仪表读数识别设备，其特征在于，所述计算仪表读数，以公式表达为：
Figure FDA0004086137850000031
Figure FDA0004086137850000032
Figure FDA0004086137850000033
式中，σ表示仪表读数；Ψ、φ、
Figure FDA0004086137850000034
为先验知识，分别表示仪表量程、量程对应的角度、仪表参考向量
Figure FDA0004086137850000035
指向的读数；δ表示方向参数；θ表示指针线向量
Figure FDA0004086137850000036
与仪表参考向量
Figure FDA0004086137850000037
的夹角；
Figure FDA0004086137850000038
表示指针线向量；
Figure FDA0004086137850000039
表示仪表参考向量；Ax、Ay表示指针端点A的x坐标和y坐标，Bx、By表示指针端点B的x坐标和y坐标，Cx、Cy表示表盘螺丝点C的x坐标和y坐标，Dx、Dy表示表盘螺丝点D的x坐标和y坐标。
8.根据权利要求6所述的一种基于深度学习的六氟化硫SF6仪表读数识别设备，其特征在于，所述损失函数以公式表达为：
Loss＝λ1Lossloc+λ2Lossobj+λ3LOssLand
式中，λ1、λ2、λ3分别表示不同的损失系数；Lossloc表示所有正样本的表盘定位损失；Lossobj表示所有正负样本的目标置信度损失；LossLand表示所有正样本的关键点定位损失。
9.根据权利要求6所述的一种基于深度学习的六氟化硫SF6仪表读数识别设备，其特征在于，所述关键点定位损失以公式表达为：
Figure FDA0004086137850000041
式中，a、b分别表示预测结果中关键点的横、纵坐标，
Figure FDA0004086137850000042
和
Figure FDA0004086137850000043
分别表示标注信息中关键点的横、纵坐标；n表示关键点数量；WL(x)表示Wing loss函数。
10.根据权利要求6所述的一种基于深度学习的六氟化硫SF6仪表读数识别设备，其特征在于，所述仪表检测模型包括主干网络和头部网络；
所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；
所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。
CN202310100878.1A 2023-02-09 2023-02-09 一种基于深度学习的六氟化硫仪表读数识别方法及设备 Pending CN116051809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310100878.1A CN116051809A (zh) 2023-02-09 2023-02-09 一种基于深度学习的六氟化硫仪表读数识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310100878.1A CN116051809A (zh) 2023-02-09 2023-02-09 一种基于深度学习的六氟化硫仪表读数识别方法及设备

Publications (1)

Publication Number Publication Date
CN116051809A true CN116051809A (zh) 2023-05-02

Family

ID=86131630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310100878.1A Pending CN116051809A (zh) 2023-02-09 2023-02-09 一种基于深度学习的六氟化硫仪表读数识别方法及设备

Country Status (1)

Country Link
CN (1) CN116051809A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485802A (zh) * 2023-06-26 2023-07-25 广东电网有限责任公司湛江供电局 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485802A (zh) * 2023-06-26 2023-07-25 广东电网有限责任公司湛江供电局 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN116485802B (zh) * 2023-06-26 2024-01-26 广东电网有限责任公司湛江供电局 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109993166B (zh) 基于刻度查找的指针式仪表读数自动识别方法
CN115147723B (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN111814740B (zh) 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN103697855B (zh) 一种基于海天线检测的船体水平姿态测量方法
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN111461113B (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
CN110782531A (zh) 处理三维点云数据的方法和计算设备
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN113762003B (zh) 一种目标对象的检测方法、装置、设备和存储介质
CN112115913B (zh) 图像处理方法、装置及设备、存储介质
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN116051809A (zh) 一种基于深度学习的六氟化硫仪表读数识别方法及设备
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN116935369A (zh) 基于计算机视觉的船舶水尺读数方法及系统
CN113284185B (zh) 用于遥感目标检测的旋转目标检测方法
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN117877011A (zh) 一种基于神经网络的仪表动态追踪与识别方法和系统
CN117314986A (zh) 基于语义分割的无人机跨模态配电设备巡检图像配准方法
CN116363574A (zh) 基于Yolov7关键点检测的双柱刀闸状态判定方法及设备
CN113551663B (zh) 图像与地磁组合的飞行器姿态解算系统及方法
CN114255458A (zh) 一种巡检场景下指针仪表读数的识别方法与系统
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN111753625B (zh) 一种行人检测方法、装置、设备及介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN112417975A (zh) 一种获取指针式仪表读数的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination