CN114549835B - 一种基于深度学习的指针式仪表矫正识别方法及装置 - Google Patents

一种基于深度学习的指针式仪表矫正识别方法及装置 Download PDF

Info

Publication number
CN114549835B
CN114549835B CN202210136688.0A CN202210136688A CN114549835B CN 114549835 B CN114549835 B CN 114549835B CN 202210136688 A CN202210136688 A CN 202210136688A CN 114549835 B CN114549835 B CN 114549835B
Authority
CN
China
Prior art keywords
pointer
image
instrument
minimum
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210136688.0A
Other languages
English (en)
Other versions
CN114549835A (zh
Inventor
尹洋
侯卓成
欧阳华
胡鑫
李洪科
王征
刘洋
龚谢平
陈思旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval University of Engineering PLA
Original Assignee
Naval University of Engineering PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval University of Engineering PLA filed Critical Naval University of Engineering PLA
Priority to CN202210136688.0A priority Critical patent/CN114549835B/zh
Publication of CN114549835A publication Critical patent/CN114549835A/zh
Application granted granted Critical
Publication of CN114549835B publication Critical patent/CN114549835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的指针式仪表矫正识别方法及装置，该方法包括：获得表盘蒙版图像；对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正；剔除仪表图像中的指针，根据获得的文字信息获得文字最小外接矩形框；根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正；获得矫正后指针蒙版图像；对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；根据直线在平面坐标系中的偏转角计算得到仪表读数结果。本发明可以解决在实际场景下对仪表在三维空间中的倾斜畸变问题的综合矫正，能够处理采集到的仪表图像的拉伸压缩旋转等一系列三维校正问题。

Description

一种基于深度学习的指针式仪表矫正识别方法及装置
技术领域
本发明涉及指针式仪表读数识别领域，具体是一种基于深度学习的指针式仪表矫正识别方法及装置。
背景技术
指针式仪表安装使用通常都比较简单，环境对其影响较小，且不易被一些外界因素干扰，并且生命周期长。所以，在变电站中有着很为广泛的应用。但是，由于表盘的体积为了安装维护方便相对较小，当量程较大时，每个分度的数值变大，极易使得读取示数时误差变得更大，并且人为读表时也会存在难以避免的读数误差。随着图像处理技术以及深度学习的发展完善，智能巡检机器人逐步代替人工实现指针式仪表读数识别。
现有的图像处理技术实现指针式仪表读数识别过程，由于仪表盘的安装位置和摄像头的角度调整有限等原因导致很难获取到仪表的正对图像，无论是传统的图像处理方法，还是基于深度学习的图像处理方法，对圆形仪表图像矫正往往矫正不彻底，未能很好的实现圆形仪表的旋转矫正，因此仪表在图像中存在旋转角度倾斜问题时，采用角度法读数误差较大，难以满足现实工业应用要求。
发明内容
为了克服现有技术的不足，本发明提供一种基于深度学习的指针式仪表矫正识别方法及装置，可以解决在实际场景下对仪表在三维空间中的倾斜畸变问题的综合矫正，能够处理采集到的仪表图像的拉伸压缩旋转等一系列三维校正问题。
一种基于深度学习的指针式仪表矫正识别方法，包括如下步骤：
通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像；
对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正；
剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框；
根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像；
对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；
根据直线在平面坐标系中的偏转角计算得到仪表读数结果。
进一步的，还包括步骤：通过PLC组态网预先设计巡检地图，对每个位置出现的不同类型的仪表以及其参数信息进行保存，巡检机器人利用PLC组态网进行区域巡检，巡检机器人到达仪表位置获取仪表图像以及预先保存的相关参数信息。
进一步的，所述参数信息包括仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度。
进一步的，若未获得表盘蒙版图像，则判断未检测到仪表，报警且输出提示信息。
进一步的，所述对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，具体包括：
通过椭圆拟合获得椭圆长轴短轴等信息，再通过最小外接圆拟合，获得图像最小外接圆的半径、圆心，延长椭圆长轴短轴与最小外接圆相交，获取最小外接圆与椭圆长轴短轴四个交点坐标以及椭圆长轴短轴与自身的四个交点坐标，根据两组交点坐标求得透视变换矩阵。
进一步的，所述剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框，具体包括：
对图像指针进行语义分割提取，利用所获得指针蒙版将仪表图像中指针像素剔除，再采用目标检测网络提取表盘中的文字区域图像，对截取的文字区域图像进行二值化处理保留文字信息，再对文字信息进行最小外接矩形拟合，获得文字最小外接矩形框。
进一步的，所述对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线，具体包括：
利用获取的图像最小外接圆的圆心，根据指针端点像素点距圆心位置确定指针朝向，对获得的指针蒙版图像采用细化算法进行细化；利用Hough、LSD或FLD直线检测算法对细化之后的指针骨架进行检测直线，获得直线在平面坐标系中的偏转角。
进一步的，所述根据直线在平面坐标系中的偏转角计算得到仪表读数结果，具体包括：
根据PLC组态网获得仪表起始刻度和终止刻度在平面坐标系的角度，利用角度法 进行读数，获得仪表读数结果，具体的，设定指针式仪表量程为a，检测出的直线的偏转角为 θ，仪表起始刻度和终止刻度在平面坐标系的角度分别为∂，β，则其读数
Figure DEST_PATH_IMAGE002
的计算公式 如下所示：
Figure DEST_PATH_IMAGE004
。
一种基于深度学习的指针式仪表矫正识别装置，包括：
表盘蒙版图像获取模块，用于通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像；
初步矫正模块，用于对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正。
文字最小外接矩形框获取模块，用于剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框；
旋转矫正模块，用于根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像；
指针蒙版图像获取模块，用于对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
直线检测模块，用于对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；
仪表读数获取模块，用于根据直线在平面坐标系中的偏转角计算得到仪表读数结果。
进一步的，还包括仪表图像获取模块，用于获取所述仪表图像以及预先保存的参数信息，所述参数信息包括仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度。
本发明利用深度学习神经网络模型，在复杂背景下仍然能较好的实现指针式仪表的读数识别。本发明在仪表矫正方面，充分利用仪表所包含的语义信息，本发明与传统读数方法相比对圆形仪表特征进行选点透视变化实现矫正的同时，通过提取利用仪表文字信息进行旋转矫正，解决仪表存在旋转角度问题，彻底实现仪表矫正，大大减少了读数误差，读数准确率达到工业应用标准。
附图说明
图1 为初始拍摄得到的仪表倾斜畸变图像；
图2 为本发明实施例通过语义分割网络获取分割表盘蒙版，并检测椭圆以及最小外接圆，获得透视变换所需两组点的图像；
图3 为本发明实施例利用透视变换矩阵对仪表图像进行初步矫正的图像；
图4 为本发明实施例用目标检测网络截取文字信息区域的图像；
图5 为本发明实施例经二值化处理保留文字并进行文字矩形轮廓检测后获得文字最小外接矩形框的图像；
图6 为本发明实施例将透视变化矫正后图像根据文字轮廓矩形倾斜角度进行旋转矫正后的图像；
图7 为本发明实施例目标检测网络截取矫正完成后图像指针区域的图像；
图8 为本发明实施例语义分割网络分割指针获取指针蒙版图像；
图9 为本发明实施例指针蒙版图像二值化后再进行细化处理图像；
图10 为本发明实施例指针细化骨架经直线检测获取指针直线图像；
图11 为本发明实施例的删除模板1；
图12 为本发明实施例的删除模板2；
图13 不同拉伸压缩旋转等一系列倾斜畸变的待矫正仪表图；
图14 为本发明实施例矫正后的仪表图；
图15 实际读数与采用本发明实施例识别读数分析；
图16为本发明基于深度学习的指针式仪表矫正识别方法及装置其中一个实施例的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图16，本发明实施例提供一种基于深度学习的指针式仪表矫正识别方法及装置，包括如下步骤：
步骤1、通过PLC组态网预先设计巡检地图，对每个位置出现的不同类型的仪表以及其量程等参数信息进行保存，巡检机器人利用PLC组态网进行区域巡检，巡检机器人到达仪表位置获取仪表图像以及预先保存的相关仪表参数信息（例如仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度等）。
步骤2、通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像，若未获得表盘蒙版图像，则判断未检测到仪表，报警且输出“未检测到仪表图像”的提示信息。
步骤3、对表盘蒙版图像进行椭圆拟合和检测最小外接圆（如图2所示）得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正。
具体的，针对较难矫正的圆形仪表图像，通过椭圆拟合获得椭圆长轴短轴等信息，再通过最小外接圆拟合，获得图像最小外接圆的半径、圆心等参数，延长椭圆长轴短轴与最小外接圆相交，获取最小外接圆与椭圆长轴短轴四个交点坐标，以及椭圆长轴短轴与自身的四个交点坐标，根据两组交点坐标，求得透视变换矩阵。透视变换通用的变换公式为：
Figure DEST_PATH_IMAGE006
式中
Figure DEST_PATH_IMAGE008
是变换后的坐标（即最小外接圆与椭圆长轴短轴四个交点坐标）其 中
Figure DEST_PATH_IMAGE010
是变换前的坐标（即椭圆长轴短轴与自身的四个交 点坐标），a矩阵是变换矩阵，
Figure DEST_PATH_IMAGE012
表示图像线性变换；
Figure DEST_PATH_IMAGE014
用于图像平移；
Figure DEST_PATH_IMAGE016
用于产生图像透视变换；
Figure DEST_PATH_IMAGE018
恒为常数1；因此透视变换矩阵一共有8个参数，所 以需要外接圆交点与拟合椭圆交点的4个坐标对(8个方程)才能求解。
所以变换后的
Figure DEST_PATH_IMAGE020
表达式为：
Figure DEST_PATH_IMAGE022
最后，如图3所示，利用透视变换矩阵对仪表图像进行初步矫正。
步骤4、剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息（如图4所示），根据文字信息获得文字最小外接矩形框（如图5所示）。
经过步骤3处理后，此时图像仍存在旋转引起的误差，为解决旋转误差问题本发明实施例将利用仪表中文字信息进行旋转校正。为防止存在指针遮挡仪表文字情况对矫正造成影响，先对图像指针进行语义分割提取，利用所获得指针蒙版将仪表图像中指针像素剔除，再采用目标检测网络提取表盘中的文字区域图像，对截取的文字区域图像进行二值化处理保留文字信息，再对文字信息进行最小外接矩形拟合，获得文字最小外接矩形框。
步骤5、根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像，如图6所示。
步骤6、如图7所示，对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像；如图8所示，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
步骤7、如图9所示，对指针蒙版图像进行细化处理，如图10所示，对细化之后的指针骨架进行检测直线。
具体的，利用前述获取的图像最小外接圆的圆心，根据指针端点像素点距圆心位置确定指针朝向，对获得的指针蒙版图像采用例如Zhang-Suen细化算法进行细化。针对指针细化中斜线时产生冗余像素这一问题可引入斜线消除模板使得经过细化之后的骨架为单像素宽：
(1)引入8邻域的东西南北方向，当像素直线为东北—西南走向时，其删除模板如图11所示情况：
(2)当像素直线为西北—东南走向时，其删除模板如图12所示。
如图10所示，考虑到已经得到的指针骨架图像，其直线特征明显，因此可利用Hough、LSD、FLD等直线检测算法来对细化之后的指针骨架进行检测直线，为防止指针细化中出现的分叉影响直线检测，设置直线能被检测出的最小长度，使得只出现所需的指针拟合直线，并获得直线在平面坐标系中的偏转角。
步骤8、根据直线在平面坐标系中的偏转角计算得到仪表读数结果。
具体的，根据PLC组态网获得仪表起始刻度和终止刻度在平面坐标系的角度，利用 角度法进行读数，获得仪表读数结果。设定指针式仪表量程为a，检测出的直线的偏转角为 θ，仪表起始刻度和终止刻度在平面坐标系的角度分别为∂，β，则其读数
Figure DEST_PATH_IMAGE024
的计算公式 如下所示：
Figure 405285DEST_PATH_IMAGE025
本发明所用YOLOX以及Unet神经网络均经过轻量化网络改进，减少网络参数和模型大小，检测效率更快，精度更高，且能够在嵌入式设备上部署实现。
本发明实施例还提供一种基于深度学习的指针式仪表矫正识别装置，包括：
仪表图像获取模块，用于获取仪表图像，所述仪表图像获取模块可采用巡检机器人，首先通过PLC组态网预先设计巡检地图，对每个位置出现的不同类型的仪表以及其量程等参数信息进行保存，巡检机器人利用PLC组态网进行区域巡检，巡检机器人到达仪表位置获取仪表图像以及预先保存的相关仪表参数信息（例如仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度等）。
表盘蒙版图像获取模块，用于通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像；若未获得表盘蒙版图像，则判断未检测到仪表，报警且输出“未检测到仪表图像”的提示信息；
初步矫正模块，用于对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正。
文字最小外接矩形框获取模块，用于剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息（如图4所示），根据文字信息获得文字最小外接矩形框（如图5所示）；
旋转矫正模块，用于根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像，如图6所示；
指针蒙版图像获取模块，用于对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
直线检测模块，用于对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；
仪表读数获取模块，用于根据直线在平面坐标系中的偏转角计算得到仪表读数结 果。具体的，根据PLC组态网获得仪表起始刻度和终止刻度在平面坐标系的角度，利用角度 法进行读数，获得仪表读数结果。设定指针式仪表量程为a，检测出的直线的偏转角为θ，仪 表起始刻度和终止刻度在平面坐标系的角度分别为∂，β，则其读数
Figure DEST_PATH_IMAGE027
的计算公式如下 所示：
Figure DEST_PATH_IMAGE029
本发明实施例通过实验验证对不同倾斜畸变仪表进行矫正读数，矫正结果如下图所示：
从图13、图14可以看出本发明矫正方法对仪表矫正结果较好，解决了不同维度上的仪表倾斜问题，读数误差将大大减少。
在效果验证过程中对处于不同倾斜状态的仪表指针进行矫正识别，对所有的识别读数与仪表实际读数进行对比，并且进行绝对误差和相对误差的分析，最后得到的计算结果如表1所示。
表1 读数识别结果误差分析
Figure DEST_PATH_IMAGE031
从表1中可以得出指针式仪表的识别示数与实际值的绝对误差较小，相对误差在1.3%以内，能够达到工业巡检的标准要求。
拟合出识别读数与实际读数的线性关系和偏差值，如图15所示。图15上图中，坐标x为识别读数，坐标y为实际读数，图15下图中坐标x为识别读数，坐标y为实际读数与识别读数之差。图15上图含义为识别读数与实际读数的线性拟合程度，图15下图含义为识别读数与实际读数的偏差值关系。拟合优度R2的值越接近1，说明拟合程度越好，识别度数越接近实际读数。本发明得到表示回归模型系数拟合优度的参数R2=1，拟合程度较高，识别的可靠性强。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的指针式仪表矫正识别方法，其特征在于：包括如下步骤：
通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像；
对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正；
剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框；
根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像；
对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；
根据直线在平面坐标系中的偏转角计算得到仪表读数结果；
所述对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，具体包括：
通过椭圆拟合获得椭圆长轴短轴信息，再通过最小外接圆拟合，获得图像最小外接圆的半径、圆心，延长椭圆长轴短轴与最小外接圆相交，获取最小外接圆与椭圆长轴短轴四个交点坐标以及椭圆长轴短轴与自身的四个交点坐标，根据两组交点坐标求得透视变换矩阵；所述剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框，具体包括：
对图像指针进行语义分割提取，利用所获得指针蒙版将仪表图像中指针像素剔除，再采用目标检测网络提取表盘中的文字区域图像，对截取的文字区域图像进行二值化处理保留文字信息，再对文字信息进行最小外接矩形拟合，获得文字最小外接矩形框。
2.如权利要求1所述的基于深度学习的指针式仪表矫正识别方法，其特征在于：还包括步骤：
通过PLC组态网预先设计巡检地图，对每个位置出现的不同类型的仪表以及其参数信息进行保存，巡检机器人利用PLC组态网进行区域巡检，巡检机器人到达仪表位置获取仪表图像以及预先保存的参数信息。
3.如权利要求2所述的基于深度学习的指针式仪表矫正识别方法，其特征在于：所述参数信息包括仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度。
4.如权利要求1所述的基于深度学习的指针式仪表矫正识别方法，其特征在于：若未获得表盘蒙版图像，则判断未检测到仪表，报警且输出提示信息。
5.如权利要求1所述的基于深度学习的指针式仪表矫正识别方法，其特征在于：所述对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线，具体包括：
利用获取的图像最小外接圆的圆心，根据指针端点像素点距圆心位置确定指针朝向，对获得的指针蒙版图像采用细化算法进行细化；利用Hough、LSD或FLD直线检测算法对细化之后的指针骨架进行检测直线，获得直线在平面坐标系中的偏转角。
6.如权利要求5所述的基于深度学习的指针式仪表矫正识别方法，其特征在于：所述根据直线在平面坐标系中的偏转角计算得到仪表读数结果，具体包括：
根据PLC组态网获得仪表起始刻度和终止刻度在平面坐标系的角度，利用角度法进行读数，获得仪表读数结果，具体的，设定指针式仪表量程为a，检测出的直线的偏转角为θ，仪表起始刻度和终止刻度在平面坐标系的角度分别为
Figure FDA0003916300620000021
β，则其读数result的计算公式如下所示：
Figure FDA0003916300620000031
7.一种基于深度学习的指针式仪表矫正识别装置，其特征在于包括：
表盘蒙版图像获取模块，用于通过语义分割模型对仪表图像中的表盘区域进行识别分割提取，获得表盘蒙版图像；
初步矫正模块，用于对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，利用透视变换矩阵对仪表图像进行初步矫正；
文字最小外接矩形框获取模块，用于剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框；旋转矫正模块，用于根据文字最小外接矩形框的偏转角对包含指针的仪表图像进行旋转矫正，获得矫正后的读数图像；
指针蒙版图像获取模块，用于对矫正后的读数图像采用目标检测网络截取指针所在区域获得指针区域图像，用语义分割网络分割指针区域图像，获得矫正后指针蒙版图像；
直线检测模块，用于对指针蒙版图像进行细化处理，对细化之后的指针骨架进行检测直线；
仪表读数获取模块，用于根据直线在平面坐标系中的偏转角计算得到仪表读数结果；
所述初步矫正模块对表盘蒙版图像进行椭圆拟合和检测最小外接圆得到透视变换矩阵，具体包括：
通过椭圆拟合获得椭圆长轴短轴信息，再通过最小外接圆拟合，获得图像最小外接圆的半径、圆心，延长椭圆长轴短轴与最小外接圆相交，获取最小外接圆与椭圆长轴短轴四个交点坐标以及椭圆长轴短轴与自身的四个交点坐标，根据两组交点坐标求得透视变换矩阵；
所述文字最小外接矩形框获取模块剔除初步矫正后仪表图像中的指针，提取表盘中的文字信息，根据文字信息获得文字最小外接矩形框，具体包括：
对图像指针进行语义分割提取，利用所获得指针蒙版将仪表图像中指针像素剔除，再采用目标检测网络提取表盘中的文字区域图像，对截取的文字区域图像进行二值化处理保留文字信息，再对文字信息进行最小外接矩形拟合，获得文字最小外接矩形框。
8.如权利要求7所述的基于深度学习的指针式仪表矫正识别装置，其特征在于：还包括仪表图像获取模块，用于获取所述仪表图像以及预先保存的参数信息，所述参数信息包括仪表类型、量程以及起始刻度和终止刻度在平面坐标系的角度。
CN202210136688.0A 2022-02-15 2022-02-15 一种基于深度学习的指针式仪表矫正识别方法及装置 Active CN114549835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210136688.0A CN114549835B (zh) 2022-02-15 2022-02-15 一种基于深度学习的指针式仪表矫正识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210136688.0A CN114549835B (zh) 2022-02-15 2022-02-15 一种基于深度学习的指针式仪表矫正识别方法及装置

Publications (2)

Publication Number Publication Date
CN114549835A CN114549835A (zh) 2022-05-27
CN114549835B true CN114549835B (zh) 2023-01-24

Family

ID=81674850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210136688.0A Active CN114549835B (zh) 2022-02-15 2022-02-15 一种基于深度学习的指针式仪表矫正识别方法及装置

Country Status (1)

Country Link
CN (1) CN114549835B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049916A (zh) * 2022-08-17 2022-09-13 四川金信石信息技术有限公司 一种指针式仪表读数识别方法及识别装置
CN115797934B (zh) * 2022-12-01 2023-12-01 北京百度网讯科技有限公司 仪表示数方法、装置、电子设备以及存储介质
CN116012828B (zh) * 2022-12-02 2023-07-25 长扬科技(北京)股份有限公司 指针式仪表识别方法、装置、电子设备及存储介质
CN115862022B (zh) * 2023-01-31 2023-07-14 深圳前海环融联易信息科技服务有限公司 图像矫正方法及其装置、设备、存储介质、产品
CN116310285B (zh) * 2023-02-16 2024-02-27 科大集智技术湖北有限公司 一种基于深度学习的指针式仪表自动读数方法及系统
CN116844058B (zh) * 2023-08-30 2024-03-12 广州市扬新技术研究有限责任公司 一种指针式仪表示数的识别方法、装置、设备及存储介质
CN117274966B (zh) * 2023-11-23 2024-04-19 江西小马机器人有限公司 室外工业仪表监测方法、系统、可读存储介质及计算机
CN117798654B (zh) * 2024-02-29 2024-05-03 山西漳电科学技术研究院(有限公司) 汽轮机轴系中心智能调整系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529559A (zh) * 2016-12-30 2017-03-22 山东鲁能软件技术有限公司 一种指针式圆形多仪表盘实时读数识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4020377B2 (ja) * 2002-10-08 2007-12-12 財団法人電力中央研究所 アナログメータの自動読み取り方法および自動読み取り装置
CN105740829A (zh) * 2016-02-02 2016-07-06 暨南大学 一种基于扫描线处理的指针式仪表自动读数方法
CN108009535A (zh) * 2017-11-21 2018-05-08 武汉中元华电科技股份有限公司 一种基于机器视觉的单指针仪表读数方法
CN114037992A (zh) * 2021-10-28 2022-02-11 软通动力信息技术(集团)股份有限公司 仪表示数识别方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529559A (zh) * 2016-12-30 2017-03-22 山东鲁能软件技术有限公司 一种指针式圆形多仪表盘实时读数识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端

Also Published As

Publication number Publication date
CN114549835A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114549835B (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN108460327B (zh) 一种基于图像处理的指针式仪表读数自动识别方法
CN103207987B (zh) 一种指针式仪表的示数识别方法
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和系统
CN110675376A (zh) 一种基于模板匹配的pcb缺陷检测方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN107356213B (zh) 滤光片同心度测量方法及终端设备
EP4009038A1 (en) Method and device for detecting mechanical equipment parts
CN106815830B (zh) 图像的缺陷检测方法
CN115937203A (zh) 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN114898198A (zh) 一种用于指针式压力表自动读数的图像处理方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN110084807A (zh) 一种焊缝探伤底片图像造假的检测方法
CN112836726B (zh) 一种基于视频信息的指针类仪表示数读取方法及装置
CN112560839A (zh) 指针式仪表读数的自动识别方法及系统
CN114092542B (zh) 一种基于二维视觉的螺栓测量方法以及系统
CN116823715A (zh) 基于机器视觉的钢筋单元件检测方法
CN113554688B (zh) 一种基于单目视觉的o型密封圈尺寸测量方法
CN113989513A (zh) 一种方形指针式仪表读数识别的方法
CN114898347A (zh) 一种指针式仪表机器视觉识别方法
CN114529803A (zh) 一种指针仪表识别增强检测方法
CN114255458A (zh) 一种巡检场景下指针仪表读数的识别方法与系统
CN117423010B (zh) 一种基于遥感数据的河湖划界识别监测方法
Sowah et al. Intelligent instrument reader using computer vision and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant