CN116434208B - 一种用于仪表扇形区域的视觉识别方法 - Google Patents

一种用于仪表扇形区域的视觉识别方法 Download PDF

Info

Publication number
CN116434208B
CN116434208B CN202310702682.XA CN202310702682A CN116434208B CN 116434208 B CN116434208 B CN 116434208B CN 202310702682 A CN202310702682 A CN 202310702682A CN 116434208 B CN116434208 B CN 116434208B
Authority
CN
China
Prior art keywords
sector area
pointer
sector
area
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310702682.XA
Other languages
English (en)
Other versions
CN116434208A (zh
Inventor
张陈涛
李瑞峰
马源
杨颖颖
赵紫阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Original Assignee
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Quanzhou HIT Research Institute of Engineering and Technology filed Critical Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority to CN202310702682.XA priority Critical patent/CN116434208B/zh
Publication of CN116434208A publication Critical patent/CN116434208A/zh
Application granted granted Critical
Publication of CN116434208B publication Critical patent/CN116434208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于仪表扇形区域的视觉识别方法，属于图像识别领域，包括：步骤S1、将待识别仪表图像输入已训练好的深度学习分割模型，得到具有扇形区域、扇形区域的中心以及指针区域的分割图像；步骤S2、获取扇形区域的最小外接矩形；步骤S3、根据扇形区域的中心和最小外接矩形获取扇形区域的半径、扇形区域的弧度A 3；步骤S4、根据指针区域获取指针倾斜度A 4；步骤S5、根据扇形区域的弧度A 3、指针倾斜度A 4得到指针旋转的比例，根据该比例与仪表总量程得到指针读数。本发明能够普适地解决各种扇形区域的仪表指针读数识别，并降低指针读数开发的复杂度，提高开发效率与读数稳定性。

Description

一种用于仪表扇形区域的视觉识别方法
技术领域
本发明涉及图像识别领域，具体涉及一种用于仪表扇形区域的视觉识别方法。
背景技术
仪表识别在工业领域有着较大的使用需求与较高的使用频率，使用机器视觉算法识别替代人工识别，能够大大解放人力并降低成本。在仪表识别领域，具有扇形指示区域的仪表的指针读数识别是较为常见的项目，现有的机器视觉识别方法如申请号202010868026.3的专利《变电所扇形指针仪表图像识别方法》中所述，该专利中采用非深度学习识别180度扇形区域的指针读数，需要固定摄像机和提前确定仪表位置，且需要手动确立直角坐标系，且该专利应用对象较单一，只能处理180度向上的扇形，摄像机受外力倾斜，读数就会被影响，不耐干扰。而且，实际应用中的扇形区域的起止点、弧度大小、朝向多种多样，识别过程中需要对各种扇形区域做匹配性修改，太过复杂。
发明内容
本发明的目的是提出一种用于仪表扇形区域的视觉识别方法，能够普适地解决各种扇形区域的仪表指针读数识别，并降低指针读数开发的复杂度，提高开发效率与读数稳定性。
本发明通过以下技术方案实现：
一种用于仪表扇形区域的视觉识别方法，包括如下步骤：
步骤S1、将待识别仪表图像输入已训练好的深度学习分割模型，得到具有扇形区域、扇形区域的中心以及指针区域的分割图像；
步骤S2、获取扇形区域的最小外接矩形；
步骤S3、根据扇形区域的中心和最小外接矩形获取扇形区域的半径、扇形区域的弧度A 3，具体包括如下步骤：
步骤S31、根据扇形区域的中心与最小外接矩形的位置关系，判断扇形区域的弧度为大于180°的大弧或者小于等于180°的小弧；
步骤S32、根据扇形区域的中心到最小外接矩形各边距离的最大值和最小值，计算扇形区域的起始边或者结束边上离圆心的最远的点在分割图像上的像素坐标，根据这两个像素坐标与扇形区域的中心即可得到起始边倾斜角A 1和结束边倾斜角A 2，则对于小弧，扇形区域的弧度A 3=min{|A 1-A 2|,360-|A 1-A 2|}，对于大弧，扇形区域的弧度A 3=max{|A 1-A 2|,360-|A 1-A 2|}；
步骤S4、根据指针区域获取指针倾斜度A 4；
步骤S5、根据扇形区域的弧度A 3、指针倾斜度A 4得到指针旋转的比例，根据该比例与仪表总量程得到指针读数。
进一步的，所述步骤S1中，若仪表具有圆形表盘，则对待识别图像进行透视变换后再输入深度学习分割模型以得到所述分割图像。
进一步的，所述步骤S2中，使用opencv库的轮廓线提取函数提取所述扇形区域的轮廓，并对该轮廓使用opencv的寻找最小外接矩形函数得到所述最小外接矩形。
进一步的，所述步骤S31中，当扇形区域的中心在最小外接矩形外部或者在最小外接矩形边上时，所述扇形区域的弧度为小弧，当扇形区域的中心在最小外接矩形内部时，所述扇形区域的弧度为大弧。
进一步的，所述步骤S32中，确定起始边的过程为：当仪表刻度顺时针增长时，若扇形区域的弧度取值为|A 1-A 2|，则起始边为倾斜角较大的一边，若扇形区域的弧度取值为360-|A 1-A 2|，则起始边为倾斜角较小的一边。
进一步的，所述步骤S4具体为：获取指针区域的凸包质心，并获取指针区域的凸包中距离质心最远的点，将该点与质心相连成为拟合的直线，从而获取指针倾斜度A 4。
进一步的，所述步骤S5具体为：根据公式计算指针旋转角度A 5=A 1-A 4，则指针旋转的比例为Ratio=A 5/A 3，将仪表总量程与该比例相乘即可得到指针读数。
进一步的，所述深度学习分割模型为PSPNET模型。
本发明具有如下有益效果：
本发明首先通过深度学习分割模型得到更为准确的具有扇形区域、扇形区域的中心以及指针区域的分割图像，再获取扇形区域的最小外接矩形，并根据扇形区域的中心和最小外接矩形获取扇形区域的半径、扇形区域的弧度，最后根据该扇形区域的弧度、指针倾斜度得到指针旋转的比例，最终得到指针读数，对待识别仪表图像的拍摄没有特别要求，过程中也无需各种扇形区域做匹配性修改，能够普适地解决各种扇形区域的仪表指针读数识别，并降低指针读数开发的复杂度，提高开发效率与读数稳定性。
附图说明
下面结合附图对本发明做进一步详细说明。
图1为本发明的流程图。
图2为本发明的详细流程图。
图3为扇形的最小外接矩形示意图。
图4为扇环的最小外接矩形示意图。
图5为指针度数示意图。
具体实施方式
如图1和图2所示，用于仪表扇形区域的视觉识别方法一种用于仪表扇形区域的视觉识别方法，包括如下步骤：
步骤S1、将待识别仪表图像输入已训练好的深度学习分割模型，得到具有扇形区域、扇形区域的中心C以及指针区域的分割图像，在本实施例中，深度学习分割模型采用金字塔场景分析网络（PSPNET）；
其中，在拥有圆形表盘或其他圆形区域的仪表上，通过深度学习分割或提取轮廓线，在待识别图像上提取出相应的这些圆形区域所对应的椭圆区域，然后对待识别图像进行透视变换，以将椭圆校正回圆形，再将校正后的结果输入深度学习分割模型以得到所述分割图像；
步骤S2、获取扇形区域的最小外接矩形，具体为：
使用opencv库的轮廓线提取函数提取所述扇形区域的轮廓，并对该轮廓使用opencv的寻找最小外接矩形函数得到所述最小外接矩形；
步骤S3、根据扇形区域的中心C和最小外接矩形获取扇形区域的半径、扇形区域的弧度，具体包括如下步骤：
步骤S31、根据扇形区域的中心C与最小外接矩形的位置关系，判断扇形区域的弧度为大于180°的大弧或者小于等于180°的小弧；
当扇形区域的中心C在最小外接矩形外部或者在最小外接矩形边上时，所述扇形区域的弧度为小弧，当扇形区域的中心C在最小外接矩形内部时，所述扇形区域的弧度为大弧，如图3所示，其中，实线对应的是小弧，虚线对应的是大弧；
该判断方法也适用于扇环区域，如图4所示，其中，实线对应的是小弧，虚线对应的是大弧；
步骤S32、根据扇形区域的中心到最小外接矩形各边距离的最大值和最小值，计算扇形区域的起始边或者结束边上离圆心的最远的点在分割图像上的像素坐标，根据这两个像素坐标与扇形区域的中心即可得到起始边倾斜角A 1和结束边倾斜角A 2，则对于小弧，扇形区域的弧度A 3=min{|A 1-A 2|,360-|A 1-A 2|}，对于大弧，扇形区域的弧度A 3=max{|A 1-A 2|,360-|A 1-A 2|}；
其中，确定起始边的过程为：
当仪表刻度顺时针增长时（现有的仪表刻度基本都是顺时针增长），若扇形区域的弧度取值为|A 1-A 2|，则起始边为倾斜角较大的一边，若扇形区域的弧度取值为360-|A 1-A 2|，则起始边为倾斜角较小的一边，即对于上文和下文所涉及的倾斜角采用[0,360°)范围，倾斜角逆时针增长；
步骤S4、根据指针区域获取指针倾斜度A 4，具体为获取指针区域的凸包的质心，并获取指针区域的凸包中距离质心最远的点，将该点与质心相连成为拟合的直线，从而获取指针倾斜度A 4，其中，获取凸包的质心过程为现有技术；
步骤S5、根据扇形区域的弧度A 4、指针倾斜度A 4以及起始边得到指针旋转的比例，根据该比例与仪表总量程得到指针读数，具体为：
根据公式计算指针旋转角度A 5=A 1-A 4，若A 5<0，则通过公式A 5=A 5+360弥补量程限制，从而得到指针旋转的比例为Ratio=A 5/A 3，将仪表总量程与该比例相乘即可得到指针读数，如图5所示。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (6)

1.一种用于仪表扇形区域的视觉识别方法，其特征在于：包括如下步骤：
步骤S1、将待识别仪表图像输入已训练好的深度学习分割模型，得到具有扇形区域、扇形区域的中心以及指针区域的分割图像；
步骤S2、获取扇形区域的最小外接矩形；
步骤S3、根据扇形区域的中心和最小外接矩形获取扇形区域的半径、扇形区域的弧度A 3，具体包括如下步骤：
步骤S31、根据扇形区域的中心与最小外接矩形的位置关系，判断扇形区域的弧度为大于180°的大弧或者小于等于180°的小弧；
步骤S32、根据扇形区域的中心到最小外接矩形各边距离的最大值和最小值，计算扇形区域的起始边或者结束边上离扇形区域的中心的最远的点在分割图像上的像素坐标，根据这两个像素坐标与扇形区域的中心即可得到起始边倾斜角A 1和结束边倾斜角A 2，则对于小弧，扇形区域的弧度A 3=min{|A 1-A 2|,360-|A 1-A 2|}，对于大弧，扇形区域的弧度A 3=max{|A 1-A 2|,360-|A 1-A 2|}；
步骤S4、根据指针区域获取指针倾斜度A 4；
步骤S5、根据扇形区域的弧度A 3、指针倾斜度A 4得到指针旋转的比例，根据该比例与仪表总量程得到指针读数；
所述步骤S32中，确定起始边的过程为：当仪表刻度顺时针增长时，若扇形区域的弧度取值为|A 1-A 2|，则起始边为倾斜角较大的一边，若扇形区域的弧度取值为360-|A 1-A 2|，则起始边为倾斜角较小的一边；
所述步骤S4具体为：获取指针区域的凸包质心，并获取指针区域的凸包中距离质心最远的点，将该点与质心相连成为拟合的直线，从而获取指针倾斜度A 4。
2.根据权利要求1所述的一种用于仪表扇形区域的视觉识别方法，其特征在于：所述步骤S1中，若仪表具有圆形表盘，则对待识别图像进行透视变换后再输入深度学习分割模型以得到所述分割图像。
3.根据权利要求1所述的一种用于仪表扇形区域的视觉识别方法，其特征在于：所述步骤S2中，使用opencv库的轮廓线提取函数提取所述扇形区域的轮廓，并对该轮廓使用opencv的寻找最小外接矩形函数得到所述最小外接矩形。
4.根据权利要求1或2或3所述的一种用于仪表扇形区域的视觉识别方法，其特征在于：所述步骤S31中，当扇形区域的中心在最小外接矩形外部或者在最小外接矩形边上时，所述扇形区域的弧度为小弧，当扇形区域的中心在最小外接矩形内部时，所述扇形区域的弧度为大弧。
5.根据权利要求1或2或3所述的一种用于仪表扇形区域的视觉识别方法，其特征在于：所述步骤S5具体为：根据公式计算指针旋转角度A 5=A 1-A 4，则指针旋转的比例为Ratio=A 5/A 3，将仪表总量程与该比例相乘即可得到指针读数。
6.根据权利要求1或2或3所述的一种用于仪表扇形区域的视觉识别方法，其特征在于：所述深度学习分割模型为PSPNET模型。
CN202310702682.XA 2023-06-14 2023-06-14 一种用于仪表扇形区域的视觉识别方法 Active CN116434208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702682.XA CN116434208B (zh) 2023-06-14 2023-06-14 一种用于仪表扇形区域的视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702682.XA CN116434208B (zh) 2023-06-14 2023-06-14 一种用于仪表扇形区域的视觉识别方法

Publications (2)

Publication Number Publication Date
CN116434208A CN116434208A (zh) 2023-07-14
CN116434208B true CN116434208B (zh) 2023-10-27

Family

ID=87091175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702682.XA Active CN116434208B (zh) 2023-06-14 2023-06-14 一种用于仪表扇形区域的视觉识别方法

Country Status (1)

Country Link
CN (1) CN116434208B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950509A (zh) * 2020-08-26 2020-11-17 上海申瑞继保电气有限公司 变电所扇形指针仪表图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960231A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的细指针表盘识别读数方法
CN111950509A (zh) * 2020-08-26 2020-11-17 上海申瑞继保电气有限公司 变电所扇形指针仪表图像识别方法
CN112949564A (zh) * 2021-02-02 2021-06-11 电子科技大学 一种基于深度学习的指针式仪表自动读数方法
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590498B (zh) * 2017-09-27 2020-09-01 哈尔滨工业大学 一种基于字符分割级联二分类器的自适应汽车仪表检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960231A (zh) * 2018-05-31 2018-12-07 广东工业大学 一种基于机器视觉的细指针表盘识别读数方法
CN111950509A (zh) * 2020-08-26 2020-11-17 上海申瑞继保电气有限公司 变电所扇形指针仪表图像识别方法
CN112949564A (zh) * 2021-02-02 2021-06-11 电子科技大学 一种基于深度学习的指针式仪表自动读数方法
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mao-Hsiung Hung ; Chaur-Heh Hsieh.Automatic Pointer Meter Reading Based on Machine Vision.2019 IEEE 4th International Conference on Image, Vision and Computing (ICIVC).2020,第32-35页. *
基于机器视觉的指针式仪表读数识别;张志锋;王凤琴;田二林;薛冰;李祖贺;;控制工程;第27卷(第3期);第581-586页 *

Also Published As

Publication number Publication date
CN116434208A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
JP4573085B2 (ja) 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
CN111311679B (zh) 一种基于深度相机的自由漂浮目标位姿估计方法
CN106446894B (zh) 一种基于轮廓识别球型目标物位置的方法
CN116434208B (zh) 一种用于仪表扇形区域的视觉识别方法
CN112001955A (zh) 一种基于二维投影平面匹配约束的点云配准方法及系统
CN109785379A (zh) 一种对称物体尺寸及重量的测量方法及测量系统
CN111814919A (zh) 一种基于深度学习的仪表定位与识别系统
CN112484746B (zh) 一种基于地平面的单目视觉辅助激光雷达里程计方法
CN110992263B (zh) 一种图像拼接方法及系统
CN107292871A (zh) 一种变电站圆形仪表的实时矫正算法
CN104331682A (zh) 一种基于傅里叶描述子的建筑物自动识别方法
CN110032936B (zh) 无参数手背静脉最大圆形区域提取方法
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN102938147A (zh) 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN108492263B (zh) 一种镜头径向畸变校正方法
CN108764004A (zh) 一种基于编码环采样的环状编码标记点解码识别方法
CN110910433A (zh) 一种基于深度学习的点云匹配方法
CN104933719A (zh) 一种积分图块间距离检测图像边缘方法
CN114998571B (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
CN115641615A (zh) 复杂背景下闭合手掌感兴趣区域提取方法
CN114012722B (zh) 一种基于深度学习和边缘检测的机械臂抓取目标方法
CN110046543A (zh) 一种基于平面参数化的三维人脸识别方法
CN116985143B (zh) 一种打磨机器人的打磨轨迹生成系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant