CN111160256A - 变电站指针式仪表自动识别方法及系统 - Google Patents

变电站指针式仪表自动识别方法及系统 Download PDF

Info

Publication number
CN111160256A
CN111160256A CN201911395992.1A CN201911395992A CN111160256A CN 111160256 A CN111160256 A CN 111160256A CN 201911395992 A CN201911395992 A CN 201911395992A CN 111160256 A CN111160256 A CN 111160256A
Authority
CN
China
Prior art keywords
image
pointer
instrument
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911395992.1A
Other languages
English (en)
Inventor
吴怀宇
刘家乐
陈志环
董加顺
胥平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201911395992.1A priority Critical patent/CN111160256A/zh
Publication of CN111160256A publication Critical patent/CN111160256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种变电站指针式仪表自动识别方法及系统，属于计算机视觉领域，能对天气、遮挡、图像模糊等复杂环境干扰下的仪表图像自动识别读数。首先，对图像集进行去噪处理，并选用图像去雨去雾、遮挡修复、深度降噪超分辨率复原中的一种或多种操作，对仪表图像进行预处理，再使用实例分割网络对预处理后的指针进行分割定位，最后使用角度法进行示数判读操作。本发明可以有效减少读数误差，且对外界环境的影响以及噪声具有强鲁棒性，可以较好地满足变电站指针式仪表设备的自动识别与读数要求。

Description

变电站指针式仪表自动识别方法及系统
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种变电站指针式仪表 自动识别方法及系统。
背景技术
指针式仪表具有结构简单、成本低廉、抗干扰能力强、经久耐用等特 点，被大规模应用于各变电站。以往指针式仪表主要依靠人工监测读数、 手动观察等，但这种方式工作量大，即时性差，可能会因个人原因或外部 因素而导致测量误差甚至发生误检，对变电站造成巨大经济损失。随着自 动化和智能化的发展，巡检机器人被应用在变电站中，其可以大大降低劳 动强度，提高工作效率。巡检机器人常年在变电站中工作，其使用摄像头 采集指针式仪表图像给后台处理器系统中进行图像分析与读数，而指针式 仪表之类仪器设备长期处于室外露天环境下，传输噪声、雨雾天气、不均 匀光照、包括遮挡等等对指针式仪表数据的采集造成很大的困扰，复杂的 图像背景和图像模糊不清导致读数有较大误差，会降低检测结果的精度， 同样会造成经济损失。
目前，国内外一些学者和研究人员已经发明有各种指针式仪表自动识 别系统，其应用计算机视觉处理技术来处理相机获取的仪表图像数据集， 此类系统可以应对简单且单一环境下的指针式仪表图像的自动识别读数问 题，但是大多系统和算法只能在特定的环境或固定的位置运行，而没有高 度的可靠性，稳定性和长期可用性，不能满足变电站室外的复杂环境下， 巡检机器人对指针式仪表的自动读数问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种变电站指针 式仪表自动识别方法及系统，由此解决现有指针式仪表自动识别不能满足 变电站室外的复杂环境下的指针式仪表的自动读数问题，可以有效减少读 数误差，提高巡检机器人对变电站指针式仪表的自动识别准确率，且对外 界环境的影响以及噪声具有强鲁棒性。
为实现上述目的，按照本发明的一个方面，提供了一种变电站指针式 仪表自动识别方法，包括：
对获取的变电站指针式仪表图像数据集中的各图像进行去噪处理，得 到第一图像数据集；
对所述第一图像数据集中的各图像进行图像去雨去雾、遮挡修复及超 分辨率复原中的一种或多种操作得到第二图像数据集；
将所述第二图像数据集中的图像划分为训练集和测试集，对所述训练 集及所述测试集中的各图像进行标注得到各图像中的仪表盘轮廓和指针轮 廓得到目标训练集和目标测试集，并使用所述目标训练集训练实例分割网 络；
利用所述目标测试集验证训练后的实例分割网络的训练效果，得到目 标实例分割网络，以使用所述目标实例分割网络检测待识别的指针式仪表 图像分割出指针线段，进而结合指针线段对待识别的指针式仪表的示数进 行识别。
优选地，对所述第一图像数据集中的各图像进行图像去雨去雾，包括：
由I(x)＝t(x)J(x)+[1-t(x)]A及IA(x)＝I(x)-A＝[r(x),θ(x),φ(x)]找到雾线；
由
Figure BDA0002346322500000021
估测初始传输系数；
由
Figure BDA0002346322500000022
进行正则化，然后由
Figure BDA0002346322500000023
去除雨雾；
其中，x、y是像素坐标，I(x)是模糊雾度图像，J(x)是在成像处的场 景点的真实辐射度，H表示每一条雾霾线，
Figure BDA0002346322500000031
是传输系数，σ(x)是每一条 雾霾线得到的传输系数估计值
Figure BDA0002346322500000032
的标准差，Nx表示x像素的四领域，t(x) 表示透射率，A表示图像区域中的空气光的单一颜色，r(x)表示像素点到球 心的距离，θ(x)表示经度，φ(x)表示纬度，IA(x)表示寻找雾霾线，λ表示控 制数据与平滑项之间权衡的参数，
Figure BDA0002346322500000033
表示去噪图像，
Figure BDA0002346322500000034
表示传输映射。
优选地，对所述第一图像数据集中的各图像进行遮挡修复，包括：
确定图像中待修复的区域边缘，其中，所述待修复区域的边缘轮廓表 示为
Figure BDA0002346322500000035
由P(p)＝C(p)D(p)确定填充顺序，在
Figure BDA0002346322500000036
上选取填充优先权最高的像素点 p，以p为中心构造模板块，并在图像中的完好区域φ内进行搜索匹配，其 中，C(p)为像素点p的置信度，D(p)为像素点p的结构信息量；
用匹配得到的最小样本块修复所述模板块，更新已修复像素点的置信 度和待修复区域的边缘
Figure BDA0002346322500000037
然后重新选取优先权最高的像素点进行填充操 作，直至待修复区域的轮廓边缘与完好区域φ相同后，修复结束。
优选地，
Figure BDA0002346322500000038
其中，Ψp表示匹配得到的 最小样本块，|Ψp|表示样本块Ψp的面积，初始时
Figure BDA0002346322500000039
np是待 修复边缘
Figure BDA00023463225000000310
上p点的法向量，
Figure BDA00023463225000000311
为点p的等照度线方向，表示p点梯度 方向的垂直方向，β表示归一化因子，Ω表示待修复区域。
优选地，对所述第一图像数据集中的各图像进行超分辨率复原，包括：
对输入的图像进行若干层卷积操作提取图像特征，并利用提取到的图 像特征进行反卷积，进行图像的复原操作，其中，卷积层与反卷积层之间 使用跳跃链接。
优选地，所述结合指针线段对待识别的指针式仪表的示数进行识别， 包括：
对由所述目标实例分割网络检测出的待识别的指针式仪表图像进行二 值化，然后对分割并提取出来的指针线段进行细化处理，并延长线段为直 线；
根据同类指针式仪表的起始刻度和终止刻度，确定仪表盘的圆心，由
Figure BDA0002346322500000041
得到仪表的示数，其中，起始刻度为A，终止刻度为B， α为指针直线和A的夹角，β为指针直线和B的夹角。
按照本发明的另一方面，提供了一种变电站指针式仪表自动识别系统， 包括：
第一图像处理模块，用于对获取的变电站指针式仪表图像数据集中的 各图像进行去噪处理，得到第一图像数据集；
第二图像处理模块，用于对所述第一图像数据集中的各图像进行图像 去雨去雾、遮挡修复及超分辨率复原中的一种或多种操作得到第二图像数 据集；
训练模块，用于将所述第二图像数据集中的图像划分为训练集和测试 集，对所述训练集及所述测试集中的各图像进行标注得到各图像中的仪表 盘轮廓和指针轮廓得到目标训练集和目标测试集，并使用所述目标训练集 训练实例分割网络；
验证模块，用于利用所述目标测试集验证训练后的实例分割网络的训 练效果，得到目标实例分割网络；
识别模块，用于使用所述目标实例分割网络检测待识别的指针式仪表 图像分割出指针线段，进而结合指针线段对待识别的指针式仪表的示数进 行识别。
优选地，所述系统还包括：操作界面制作模块；
所述操作界面制作模块，用于制作操作界面，其中，所述操作界面中 包括功能区和显示区，所述显示区用于显示当前操作对应的处理结果，所 述功能区包括：第一图像处理模块选择按钮、第二图像处理模块选择按钮、 训练模块选择按钮、验证模块选择按钮及识别模块选择按钮。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够 取得下列有益效果：
本发明使用三个可选操作：图像去雨去雾、遮挡修复、深度降噪超分 辨率复原对图像数据集做进一步预处理，能有效解决因复杂环境天气而导 致的图像缺失、遮挡及模糊，以解决不能准确识别读数的问题，使室外受 干扰的破损数据集图像变细腻清晰，方便后续处理；且本发明利用深度学 习中的实例分割网络，对指针式仪表的检测效果以及对指针线段的分割效 果较其余方式大大提高，准确率得到较大提升，且系统有较好地可拓展性， 可以应用于无人值守变电站指针式仪表的自动识别过程中，具有良好的推 广前景。
附图说明
图1是本发明实施例提供的一种变电站指针式仪表自动识别方法的流 程示意图；
图2是本发明实施例提供的一种去噪方法流程示意图；
图3是本发明实施例提供的一种对图像进行遮挡修复的流程示意图；
图4是本发明实施例提供的一种深度降噪超分辨率模型结构图；
图5是本发明实施例提供的一种实例分割模型结构图；
图6是本发明实施例提供的一种系统界面设计示意图；
图7是本发明实施例提供的一种读数效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。
在本发明实例中，“第一”、“第二”、“第三”等是用于区别不同的对象， 而不必用于描述特定的顺序或先后次序。
本发明的变电站指针式仪表自动识别方法及系统主要是针对复杂环境 下的指针式仪表，其对未受环境干扰的清晰图像自动识别同样有效，且识 别过程中不需要对仪表进行划分。
本发明的变电站指针式仪表自动识别方法可以运行在电脑等终端设备 中，且可以在终端设备上配置摄像头，在无人值守的变电站室外复杂环境 下，将该终端设备应用在巡检机器人上，以应对受外界环境干扰下的变电 站指针式仪表读数任务。
如图1所示是本发明实施例公开的一种变电站指针式仪表自动识别方 法的流程示意图，包括：获取复杂环境下变电站图像数据集，图像去噪、 可选的图像去雨去雾、去遮挡、超分辨率重建操作进行预处理，使用实例 分割网络对预处理后的清晰图像进行训练，最后检测得到分割的指针线段， 并使用角度法对指针式仪表示数进行判断。具体包括以下几个步骤：
步骤S1：建立复杂环境下指针式仪表数据集；
作为一种可选的实施方式，步骤S1可以通过以下方式实现：
步骤S11：读取变电站巡检机器人所拍摄获取的指针式仪表图像数据集， 其图片格式保存为高质量的.png图像；
步骤S12：对所有图像数据集统一进行去噪处理，批量操作后获得初步 预处理后的指针式仪表数据集。
在本发明实施例中，可以使用Non-Local Means对所有图像数据集统一 进行去噪处理，也可以采用其它方式进行去噪处理，本发明实施例不做唯 一性限定。
步骤S2：通过三个可选操作，对复杂环境下的.png图像数据集做进一 步预处理操作。
作为一种可选的实施方式，步骤S2可以通过以下方式实现：
步骤S21：对受到天气原因(雾霾、雨滴)而产生对比度很低，能见度低 的数据集图像，需要对图像进行去雨去雾。具体操作流程如图2所示共分 为以下4步来达到去除雨雾效果：
第一步是根据环境光估计模型式(1)以及公式(2)找到雾线，第二 步是根据公式(3)估测初始传输系数，第三步是根据公式(4)进行正则 化，最后一步是根据公式(5)去除雨雾：
I(x)＝t(x)J(x)+[1-t(x)]A (1)
IA(x)＝I(x)-A＝[r(x),θ(x),φ(x)] (2)
Figure BDA0002346322500000071
Figure BDA0002346322500000072
Figure BDA0002346322500000073
其中，x是像素坐标，I(x)是观察到的模糊雾度图像，J(x)是在成像处 的场景点的真实辐射度，环境光A是单色，代表图像区域中的光线t(x)＝0， H表示每一条雾霾线，
Figure BDA0002346322500000074
是传输系数，透射率t(x)与距离有关，σ(x)是每 一条雾霾线得到的传输系数估计值
Figure BDA0002346322500000075
的标准差，Nx表示x像素的四领域， t(x)表示透射率，A表示图像区域中的空气光的单一颜色，r(x)表示为像素 点到球心的距离，θ(x)表示经度，φ(x)表示纬度，IA(x)表示为寻找雾霾线， λ表示控制数据与平滑项之间权衡的参数，
Figure BDA0002346322500000076
表示去噪图像，
Figure BDA0002346322500000077
表示传输 映射。
步骤S22：对仪表盘上沾染灰尘污渍，或是摄像头上沾染黏着物而导致 出现一定面积的遮挡的数据集图像，需要进行遮挡修复。具体操作流程如 图3所示，包括以下步骤：
首先是通过确定待修复的区域边缘，其边缘轮廓表示为
Figure BDA0002346322500000081
其中待修 复区域表示为Ω。
然后由公式(6)确定填充顺序，在
Figure BDA0002346322500000082
上选取填充优先权最高的像素点 p，以p为中心构造模板块，并在图像中的完好区域φ内进行搜索匹配，其 中，C(p)为像素点p的置信度，D(p)为像素点p的结构信息量；
P(p)＝C(p)D(p) (6)
在公式(6)中，C(p)为置信度项，表示的含义是模板块中包含的已知 像素点的多少，C(p)越大，说明包含的已知信息所占有的比例越大，即置 信度越大，应优先修复。D(p)是数据项，表示结构信息量。D(p)越大，说 明表面线性结构越复杂，应优先修复。
用匹配得到的最小样本块修复模板块，更新已修复像素点的置信度和 待修复区域的边缘
Figure BDA0002346322500000088
然后重新选取优先权最高的像素点进行填充操作， 直至待修复区域的轮廓边缘与完好区域φ相同后，修复结束。
在本发明实施例中，图像中的完好区域φ在整个填充过程中保持固定， 并且提供了填充过程中使用的样本块Ψp(即匹配得到的最小样本块)。
具体地，C(p)和D(p)的计算公式如(7)(8)所示：
Figure BDA0002346322500000083
Figure BDA0002346322500000084
其中，|Ψp|表示样本块Ψp的面积或者说是样本块Ψp中像素点数，初始 时C(p)的计算公式如公式(9)所示。np是待修复边缘
Figure BDA0002346322500000085
上p点的法向量；
Figure BDA0002346322500000086
为点p的等照度线方向，表示p点梯度方向的垂直方向。对于灰度图像， 归一化因子β＝225，直到
Figure BDA0002346322500000087
条件成立，即轮廓边缘与源区域相同后， 修复结束，最后的C(p)变为如(9)式所示：
Figure BDA0002346322500000091
步骤S23：对分辨率较低、仪表刻度数字模糊不清的、小目标仪表盘数 据集图像，需要进行复原。具体操作流程如图4所示，包括以下三个部分：
(1)首先对输入进行卷积(Convolution)，卷积用来提取特征，随着 卷积的进行，图像的特征被提取，同时噪声的效果降低，经过若干个卷积 层后，卷积神经网络提取了图像充足的特征，同时随着层数的加深而降低 了噪声的影响。随后，利用提取到的图像的特征进行反卷积，进行图像的 复原操作，此处不使用池化层，因为池化会丢失重要的图像细节；
(2)跳跃链接(Skip Connection)：随着网络层次的加深，会出现梯度 消失和爆炸的问题，即便是问题并不严重，也会导致难以收敛，结果不理 想，此处通过跳跃链接，可以使得网络中的浅层与深层链接，为数据信号 流动形成通路，从而有效解决梯度消失和爆炸问题，跳跃链接传递的特征 映射带有很多图像细节，这有助于解卷积以恢复更好的清晰图像；
(3)残差学习(Resnet Learning)：残差学习能够有效的降低整个网络 的权重，使得网络不需要记录太多的图像细节，只需要学习输入图像与用 户标定的图像标签的区别，也就是残差，这加快了网络中的信息流动从而 加速了收敛速度。
步骤S3：标注经过预处理过后的训练集图像及测试集图像，得到仪表 盘轮廓和指针轮廓的特征，并用其训练实例分割网络；
在本发明实施例中可以使用Labelme标注图像，或者其它方式标注图 像，本发明实施例不做唯一性限定。
在本发明实施例中可以选用Mask RCNN实例分割网络，也可以选用其 它的实例分割网络，本发明实施例不做唯一性限定。
作为一种可选的实施方式，在使用Labelme标注图像和Mask RCNN实 例分割网络时，步骤S3可以通过以下方式实现：
步骤S31：使用Labelme标注图像得到轮廓特征：对预处理后的数据集 图像划分为训练集与测试集，划分比例可以为9:1。使用python图像分割标 注工具Labalme，对训练集、测试集图像进行逐轮廓描述标注，对于仪表圆 盘和指针来说要尽可能多描点，若有细小的指针轮廓，可使用Ctrl加鼠标 滚轮进行图像局部放大，然后进行轮廓描点连接，两个类别名分别为pointer、 meter，最后得到每张图像相对应的.json文件；
步骤S32：转换标注后的.json为Mask RCNN可使用格式：图5为Mask RCNN的结构图，主要是通过RoIAlign插值操作和mask掩模来进行图像 分割操作。
具体地，可以采用以下方式制作训练集图像：
在Mask RCNN的数据集文件夹目录下，新建4个子文件夹：cv2_mask、 json、labelme_json、pic。其中pic文件夹存放有训练集图像，json文件夹存 放有训练集图像对应的json文件；使用python自带的转换器 labelme_json_to_dataset.exe执行文件，对json文件进行转换，其将每个json 解析为数据集文件，每张json解析出来的数据集文件含有mask掩模图像、 原图像、标注类别名文件、类别解析文件、标注可视化图像文件；至此，训练集图像制作完成。
步骤S33：训练Mask RCNN得到权重h5文件；
具体地，可以通过以下方式训练：
在Mask RCNN官方源码根目录下，修改配置文件、训练文件、测试文 件，将其中的类别数NUM_CLASSES数改为本发明实施例所需的类别数， 即数量为3(包含背景类别)。在python编译器下运行训练文件，该操作对 步骤S32中的训练集图像反复进行学习，直至程序的损失值loss不再随训 练时间增加而降低时，训练结束，得到对应训练好的模型文件h5文件，即 为Mask RCNN训练所得最终模型。
步骤S4：使用测试集图像验证训练好的Mask RCNN模型，并使用训 练好的MaskRCNN模型检测分割待识别指针图像的指针线段；
作为一种可选的实施方式，步骤S4可以通过以下方式实现：
步骤S41：使用训练好的Mask RCNN权重模型h5文件检测仪表盘和 指针：在测试文件中修改权重路径为步骤S3训练得出的h5文件路径，且 更改最大检测的图片尺寸为数据集所包含图像中的最大尺寸，并运行测试 文件，即可得到从图像中分割出来的指针式仪表圆盘和指针线段，已验证 模型效果；
步骤S42：使用训练好的Mask RCNN模型检测分割待识别指针图像的 指针线段。
步骤S5：使用角度法进行仪表示数判读。
作为一种可选的实施方式，步骤S5可以通过以下方式实现：
步骤S51：将指针线段细化：对检测出来的待识别指针图像二值化，可 以使用Zhang快速并行细化算法，对分割并提取出来指针的线段进行细化 处理，并延长线段为直线；
步骤S52：使用角度法对示数判读：标记好同类指针式仪表的起始刻度 和终止刻度，确定好圆盘圆心，根据公式(10)计算出仪表具体示数；
Figure BDA0002346322500000111
其中，起始刻度为A，终止刻度为B，α为指针直线和A的夹角，β为 指针直线和B的夹角；指针直线A1x+B1y+C1＝0与刻度线直线A2x+B2y+C2＝0 的夹角θ为式(11)所计算得出：
Figure BDA0002346322500000112
步骤S6：设计和制作指针式仪表自动识别系统界面。
作为一种可选的实施方式，步骤S6可以通过以下方式实现：
步骤S61：使用PyQt5设计界面：系统指针式仪表软件系统界面如图6 所示，该系统主要分为两个部分：显示区和功能区，显示区域负责显示当 前操作对应处理结果，功能区则对应操作功能按钮。在PyQt5界面中拖拽 工具框，可达到如图6的系统相同界面。功能区对应操作按钮有：“Open Direct”、“Denoising”、“Dehazing”、“S-Rolution”、“Inpaint”、“PointerSeg” 和“ReadNum”7个按钮，对应具体功能如下：
1：Open Direct：从任意路径打开一张需要进行自动识别的窄刻度指针 式仪表，并在对应状态栏中显示当前仪表图像所在绝对路径
2：Denoising：对当前仪表图像进行去噪预处理。
3：Dehazing、S-Resolution、Inpaint：分别为图像去雨去雾、遮挡修复 及超分辨率复原操作，是可选择步骤，针对不同复杂环境下的图像进行相 对应的操作。
4：PointerSeg：对仪表盘和指针进行检测与分割，得到相应指针线段。
5：ReadNum：利用指针对应线段在刻度排布坐标系中的相对位置，获 取当前线段特征对应向量的角度，结合建立好的刻度坐标系实现变电站窄 刻度指针式仪表的自动读数功能，效果如图7所示，指针对应读数数值打 印在图像展示区域及对应状态栏中，这里自动读数的结果为0.00pa。
6：close：停止所有操作并关闭系统界面。
步骤S62：使用eric6进行编程操作对界面进行处理：选取eric6版本为 18.01的中文版，在python的库中进行安装；进入eric6界面后新建项目文 件添加到主界面中，并在弹出对话框上新建窗体并打开，系统自动进入 PyQt5后进行步骤S61操作；操作完成后关闭窗体，回到eric6中对项目文 件.ui进行编译与修改，在窗体中将示例代码链接至流程各个算法执行处， 保存系统，完成设计方案。
在本发明实施例中的上述方案基于windows10系统，在Anaconda软件 的Spyder编译器环境下，使用3.6版本的python，也可以采用其它系统和 编译环境，本发明实施例不做唯一性限定。
本发明提出的一种变电站指针式仪表自动识别方法及系统，有较高的 识别精度，能够满足室外场景下、无人值守的变电站巡检机器人指针式仪 表自动识别工作的实际需要，提高识别过程鲁棒性，有较好的可拓展性和 推广前景。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种变电站指针式仪表自动识别方法，其特征在于，包括：
对获取的变电站指针式仪表图像数据集中的各图像进行去噪处理，得到第一图像数据集；
对所述第一图像数据集中的各图像进行图像去雨去雾、遮挡修复及超分辨率复原中的一种或多种操作得到第二图像数据集；
将所述第二图像数据集中的图像划分为训练集和测试集，对所述训练集及所述测试集中的各图像进行标注得到各图像中的仪表盘轮廓和指针轮廓，进而得到目标训练集和目标测试集，并使用所述目标训练集训练实例分割网络；
利用所述目标测试集验证训练后的实例分割网络的训练效果，得到目标实例分割网络，以使用所述目标实例分割网络检测待识别的指针式仪表图像分割出指针线段，进而结合指针线段对待识别的指针式仪表的示数进行识别。
2.根据权利要求1所述的方法，其特征在于，对所述第一图像数据集中的各图像进行图像去雨去雾，包括：
由I(x)＝t(x)J(x)+[1-t(x)]A及IA(x)＝I(x)-A＝[r(x),θ(x),φ(x)]找到雾线；
由
Figure FDA0002346322490000011
估测初始传输系数；
由
Figure FDA0002346322490000012
进行正则化，然后由
Figure FDA0002346322490000013
去除雨雾；
其中，x、y是像素坐标，I(x)是模糊雾度图像，J(x)是在成像处的场景点的真实辐射度，H表示每一条雾霾线，
Figure FDA0002346322490000014
是传输系数，σ(x)是每一条雾霾线得到的传输系数估计值
Figure FDA0002346322490000015
的标准差，Nx表示x像素的四领域，t(x)表示透射率，A表示图像区域中的空气光的单一颜色，r(x)表示像素点到球心的距离，θ(x)表示经度，φ(x)表示纬度，IA(x)表示寻找雾霾线，λ表示控制数据与平滑项之间权衡的参数，
Figure FDA0002346322490000021
表示去噪图像，
Figure FDA0002346322490000022
表示传输映射。
3.根据权利要求1所述的方法，其特征在于，对所述第一图像数据集中的各图像进行遮挡修复，包括：
确定图像中待修复的区域边缘，其中，所述待修复区域的边缘轮廓表示为
Figure FDA0002346322490000023
由P(p)＝C(p)D(p)确定填充顺序，在
Figure FDA0002346322490000024
上选取填充优先权最高的像素点p，以p为中心构造模板块，并在图像中的完好区域φ内进行搜索匹配，其中，C(p)为像素点p的置信度，D(p)为像素点p的结构信息量；
用匹配得到的最小样本块修复所述模板块，更新已修复像素点的置信度和待修复区域的边缘
Figure FDA0002346322490000025
然后重新选取优先权最高的像素点进行填充操作，直至待修复区域的轮廓边缘与完好区域φ相同后，修复结束。
4.根据权利要求3所述的方法，其特征在于，
Figure FDA0002346322490000026
Figure FDA0002346322490000027
其中，Ψp表示匹配得到的最小样本块，|Ψp|表示样本块Ψp的面积，初始时
Figure FDA0002346322490000028
np是待修复边缘
Figure FDA0002346322490000029
上p点的法向量，
Figure FDA00023463224900000210
为点p的等照度线方向，表示p点梯度方向的垂直方向，β表示归一化因子，Ω表示待修复区域。
5.根据权利要求1所述的方法，其特征在于，对所述第一图像数据集中的各图像进行超分辨率复原，包括：
对输入的图像进行若干层卷积操作提取图像特征，并利用提取到的图像特征进行反卷积，进行图像的复原操作，其中，卷积层与反卷积层之间使用跳跃链接。
6.根据权利要求2至5任意一项所述的方法，其特征在于，所述结合指针线段对待识别的指针式仪表的示数进行识别，包括：
对由所述目标实例分割网络检测出的待识别的指针式仪表图像进行二值化，然后对分割并提取出来的指针线段进行细化处理，并延长线段为直线；
根据同类指针式仪表的起始刻度和终止刻度，确定仪表盘的圆心，由得到仪表的示数，其中，起始刻度为A，终止刻度为B，α为指针直线和A的夹角，β为指针直线和B的夹角。
7.一种变电站指针式仪表自动识别系统，其特征在于，包括：
第一图像处理模块，用于对获取的变电站指针式仪表图像数据集中的各图像进行去噪处理，得到第一图像数据集；
第二图像处理模块，用于对所述第一图像数据集中的各图像进行图像去雨去雾、遮挡修复及超分辨率复原中的一种或多种操作得到第二图像数据集；
训练模块，用于将所述第二图像数据集中的图像划分为训练集和测试集，对所述训练集及所述测试集中的各图像进行标注得到各图像中的仪表盘轮廓和指针轮廓得到目标训练集和目标测试集，并使用所述目标训练集训练实例分割网络；
验证模块，用于利用所述目标测试集验证训练后的实例分割网络的训练效果，得到目标实例分割网络；
识别模块，用于使用所述目标实例分割网络检测待识别的指针式仪表图像分割出指针线段，进而结合指针线段对待识别的指针式仪表的示数进行识别。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：操作界面制作模块；
所述操作界面制作模块，用于制作操作界面，其中，所述操作界面中包括功能区和显示区，所述显示区用于显示当前操作对应的处理结果，所述功能区包括：第一图像处理模块选择按钮、第二图像处理模块选择按钮、训练模块选择按钮、验证模块选择按钮及识别模块选择按钮。
CN201911395992.1A 2019-12-30 2019-12-30 变电站指针式仪表自动识别方法及系统 Pending CN111160256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911395992.1A CN111160256A (zh) 2019-12-30 2019-12-30 变电站指针式仪表自动识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911395992.1A CN111160256A (zh) 2019-12-30 2019-12-30 变电站指针式仪表自动识别方法及系统

Publications (1)

Publication Number Publication Date
CN111160256A true CN111160256A (zh) 2020-05-15

Family

ID=70559188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911395992.1A Pending CN111160256A (zh) 2019-12-30 2019-12-30 变电站指针式仪表自动识别方法及系统

Country Status (1)

Country Link
CN (1) CN111160256A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738229A (zh) * 2020-08-05 2020-10-02 江西小马机器人有限公司 一种指针表盘刻度的自动读取方法
CN111950605A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 表计识别模型的学习方法、装置、设备和表计识别方法
CN111950369A (zh) * 2020-07-10 2020-11-17 济南信通达电气科技有限公司 一种变电站指针式刀闸动作程度识别方法及装置
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112861817A (zh) * 2021-03-31 2021-05-28 国网上海市电力公司 一种仪表噪声图像处理方法
CN113628131A (zh) * 2021-07-22 2021-11-09 济南驰昊电力科技有限公司 雾天场景下变电站指针式油位表的智能识别方法
CN113658137A (zh) * 2021-08-17 2021-11-16 浙江工商大学 一种基于胶囊网络的飞机表面缺陷检测方法和系统
CN114415812A (zh) * 2022-01-25 2022-04-29 深圳市德航智能技术有限公司 一种具有安全电压防护的车载平板电脑
CN115311447A (zh) * 2022-08-02 2022-11-08 大连海事大学 一种基于深度卷积神经网络的指针式仪表示数识别方法
CN115841666A (zh) * 2023-02-17 2023-03-24 江西小马机器人有限公司 一种仪表读数识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760285A (zh) * 2012-05-31 2012-10-31 河海大学 一种图像修复方法
CN103148881A (zh) * 2013-02-06 2013-06-12 广东电网公司电力科学研究院 利用视频自动对指针式仪表进行读数的方法及装置
CN107729896A (zh) * 2017-10-24 2018-02-23 武汉科技大学 一种适用于变电站宽刻度指针式仪表的自动识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760285A (zh) * 2012-05-31 2012-10-31 河海大学 一种图像修复方法
CN103148881A (zh) * 2013-02-06 2013-06-12 广东电网公司电力科学研究院 利用视频自动对指针式仪表进行读数的方法及装置
CN107729896A (zh) * 2017-10-24 2018-02-23 武汉科技大学 一种适用于变电站宽刻度指针式仪表的自动识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANA BERMAN: ""Non-Local Image Dehazing"" *
HE, P: ""A Value Recognition Algorithm for Pointer Meter Based on Improved Mask-RCNN"" *
MAO X J: ""Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections"" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950369A (zh) * 2020-07-10 2020-11-17 济南信通达电气科技有限公司 一种变电站指针式刀闸动作程度识别方法及装置
CN111950605A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 表计识别模型的学习方法、装置、设备和表计识别方法
CN111738229A (zh) * 2020-08-05 2020-10-02 江西小马机器人有限公司 一种指针表盘刻度的自动读取方法
CN111738229B (zh) * 2020-08-05 2020-11-24 江西小马机器人有限公司 一种指针表盘刻度的自动读取方法
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112115895B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112861817A (zh) * 2021-03-31 2021-05-28 国网上海市电力公司 一种仪表噪声图像处理方法
CN113628131A (zh) * 2021-07-22 2021-11-09 济南驰昊电力科技有限公司 雾天场景下变电站指针式油位表的智能识别方法
CN113658137A (zh) * 2021-08-17 2021-11-16 浙江工商大学 一种基于胶囊网络的飞机表面缺陷检测方法和系统
CN114415812A (zh) * 2022-01-25 2022-04-29 深圳市德航智能技术有限公司 一种具有安全电压防护的车载平板电脑
CN115311447A (zh) * 2022-08-02 2022-11-08 大连海事大学 一种基于深度卷积神经网络的指针式仪表示数识别方法
CN115841666A (zh) * 2023-02-17 2023-03-24 江西小马机器人有限公司 一种仪表读数识别方法及系统

Similar Documents

Publication Publication Date Title
CN111160256A (zh) 变电站指针式仪表自动识别方法及系统
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
WO2016062159A1 (zh) 图像匹配方法及手机应用测试平台
EP3844668A1 (en) System and method for training a damage identification model
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN111489352B (zh) 一种基于数字图像处理的隧道缝隙检测与测量方法及装置
CN107895377B (zh) 一种前景目标提取方法、装置、设备及存储介质
CN112149667A (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN110837839B (zh) 一种高精度无人机正射影像制作及数据采集方法
CN111598913B (zh) 一种基于机器人视觉的图像分割方法和系统
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
Zhang et al. A pointer meter recognition algorithm based on deep learning
WO2020047316A1 (en) System and method for training a damage identification model
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN113705564B (zh) 一种指针式仪表识别读数方法
CN108992033B (zh) 一种视觉测试的评分装置、设备和存储介质
CN114863129A (zh) 仪表数值分析方法、装置、设备及存储介质
CN113837166B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN116721104B (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN117593420A (zh) 基于图像处理的平面图纸标注方法、装置、介质及设备
CN111553345B (zh) 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法
Jiale et al. Automatic identification method of pointer meter under complex environment
CN110930393A (zh) 一种基于机器视觉的芯片料管计数方法、装置及系统
CN110334818A (zh) 一种管路自动识别的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515