CN112801094B - 一种指针式仪表图像倾斜校正方法 - Google Patents

一种指针式仪表图像倾斜校正方法 Download PDF

Info

Publication number
CN112801094B
CN112801094B CN202110143240.7A CN202110143240A CN112801094B CN 112801094 B CN112801094 B CN 112801094B CN 202110143240 A CN202110143240 A CN 202110143240A CN 112801094 B CN112801094 B CN 112801094B
Authority
CN
China
Prior art keywords
image
scale
instrument
model
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110143240.7A
Other languages
English (en)
Other versions
CN112801094A (zh
Inventor
周登科
史凯特
汤鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges Corp
Original Assignee
China Three Gorges Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges Corp filed Critical China Three Gorges Corp
Priority to CN202110143240.7A priority Critical patent/CN112801094B/zh
Publication of CN112801094A publication Critical patent/CN112801094A/zh
Application granted granted Critical
Publication of CN112801094B publication Critical patent/CN112801094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

一种指针式仪表图像倾斜校正方法，Step1、构建指针式仪表数据集，Step2、卷积神经网络模型选择，Step3、模型训练，Step4、表盘关键点提取，Step5、构建同类型指针仪表的模板图像，Step6、根据表盘刻度数字关键点坐标和构建的模板图像的刻度坐标进行关键点匹配，计算单应矩阵，Step7、根据单应矩阵，对仪表图像进行透视变换，校正仪表图像。过卷积神经网络提取表盘关键点，根据关键点坐标构建模板图像，然后图像匹配透视变换实现倾斜仪表图像校正，提高了传统图像特征提取的准确度和速度，提高了图像匹配的速度，明显缩短了仪表校正的时间，相对于传统通过四个点对计算单应矩阵的准确度更高。

Description

一种指针式仪表图像倾斜校正方法
技术领域
本发明涉及仪表图像识别领域，具体涉及一种指针式仪表图像倾斜校正方法。
背景技术
仪器仪表作为电力、能源和航空等工业领域中的监测设备，仪表的指示值反应着设备的运行情况。其中，指针式仪表具有耐温、耐压和抗磁等特点，因此被广泛应用在电力、能源等行业。近年来，随着智慧电网、智慧能源的发展需求，基于计算机视觉的指针式仪表智能读数成为研究热点。仪表示数的准确识别能够精准反应设备的运行状态，然而，由于工业环境复杂以及图像采集过程中的相机镜头倾斜，采集的图像中的指针仪表常常带有倾斜，仪表的刻度比例尺度发生变化，这给仪表的准确读数带来了较大的难度。因此，在仪表读数识别前对图像进行倾斜校正对于仪表后续的读数至关重要。
现有技术也有对仪表进行校正的技术，例如中国专利文献CN 111401358A记载了一种基于神经网络的仪表表盘校正方法，通过神经网络定位表盘刻度数字，根据数字中心拟合椭圆，然后根据椭圆参数确定特征点，然后透视变换校正仪表表盘。
中国专利文献CN 107292871A记载了一种变电站圆形仪表的实时矫正算法，该发明首先使用Hough变换检测仪表的轮廓椭圆，然后根据椭圆参数获得投影坐标点，然后透视变换校正仪表图像。
在电力生产领域，使用现有技术进行仪表图像校正具有以下现实问题：
(1)变电站及其他工业环境复杂，相机很难采集到正对仪表平面的正视图，倾斜的图像给仪表的智能读数带了困难；
(2)仪表图像校正过程复杂，现有的校正算法预处理步骤较多，并且算法鲁棒性较差，难以满足复杂环境中的仪表图像校正需求。
发明内容
本发明所要解决的技术问题是提供一种指针式仪表图像倾斜校正方法，能够利用卷积神经网络提取倾斜仪表图像表盘关键点，根据提取的关键点自动构建仪表的模板图像并校正倾斜仪表的图像，得到仪表图像的正视图像。
为解决上述技术问题，本发明所采用的技术方案是：
一种指针式仪表图像倾斜校正方法，包括以下步骤：
Step1、构建指针式仪表数据集；
Step2、卷积神经网络模型选择，选用YOLO系列网络中的YOLOv3网络结构；
Step3、模型训练，首先对模型进行参数选择和结构优化，然后使用Step2中选择的网络带入Step1构建的数据集训练模型；
Step4、表盘关键点提取，将待校正的指针式仪表图像输入到Step3训练好的关键点提取模型中，得到待校正图像的关键点类别和位置信息，同时对刻度数字关键点坐标从左下角顺时针排序；
Step5、构建同类型指针仪表的模板图像；
Step6、根据表盘刻度数字关键点坐标和构建的模板图像的刻度坐标进行关键点匹配，计算单应矩阵；
Step7、根据单应矩阵，对仪表图像进行透视变换，校正仪表图像。
上述的Step1的具体过程为：
Step1.1、通过相机采集指针式仪表数据集，其中，数据集采集中设置仪表处于不同的倾斜角度，包括不同水平倾斜角度，不同竖直倾斜角度，以及两种的混合的倾斜角度；
Step1.2、对数据集进行扩充，通过对数据集图像进行旋转、模糊、明暗操作扩充数据集；
Step1.3、对数据集进行标签标注，以刻度数字和表盘中心为对象，使用LabelImg工具进行区域位置和类别标注。
上述的Step3中，训练关键点提取模型，模型训练中进行参数优化，具体过程为：
Step3.1、使用K-Means聚类算法对Step2中标注的数据集进行聚类，同时求样本数据集的最佳Anchor boxes，用得到的Anchor boxes代替模型中的默认参数，以此提高模型训练的精度和速度；
Step3.2、训练参数设置，模型训练前通过调整动量、batch、权值的初始学习率、衰减系数设置、训练迭代次数,使模型的损失函数不断收敛，用以提高训练的准确率；
Step3.3、训练过程中在线数据增强，对输入图像进行旋转、增加对比度、增加噪声操作对数据集中的图像增强和扩充，用以提高模型泛化能力。
上述的Step4中，通过训练的模型获得仪表表盘的关键点类型和坐标，并对刻度关键点排序，具体过程为：
Step4.1、关键点类别判断，在训练的模型中预测刻度数字关键点和表盘中心关键点，分别记为num和center，模型在预测中将图像分割成S×S的网格，每个单元格去检测中心点落在该格子内的目标，模型根据每个预测框的置信度判断目标类别，置信度定义为
Figure BDA0002930053480000031
其中，Pr(object)表示边界框含有目标的可能性大小，
Figure BDA0002930053480000032
表示预测框与实际框(ground truth)的IOU(intersection over union，交并比)；
Step4.2、关键点位置预测，利用Step2中选用的卷积神经网络模型做目标检测，将目标的位置通过边界框来表示，边界框的大小与位置用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高，设模型检测出的指针仪表盘上的刻度数字中心关键点坐标为(Sxi,Syi),i＝1,2,…,N，N代表模型检测到的表盘刻度数字关键点个数，表盘中心的关键点坐标为(Cx,Cy)；
Step4.3、指针仪表类型判断，根据检测到的表盘刻度中心关键点的个数N可以判断仪表类型，即仪表盘上刻度数字分布情况的类型，根据压力表标度及分划的标准，仪表表盘具有相同个数的刻度数字仪表，仪表刻度区间具有相同的分布；
Step4.4、对刻度数字关键点顺时针排序,图像坐标原点位于图像左上角，以x＝Cx为分界线将图像上的刻度关键点分为左右两部分，分别对分界线左右两边的刻度关键点的纵坐标排序。
上述的Step5中,根据Step4得到的仪表类别构造同类型模板图像，具体过程为：
Step5.1、调用OpenCV中的cvCreateImage()函数，创建一个与原图像相同尺寸的模板图像；
Step5.2、计算刻度数字关键点(Sxi,Syi),i＝1,2,…,N到表盘中心点(Cx,Cy)的平均距离R，其中，R计算方式如下：
Figure BDA0002930053480000041
Step5.3、确定模板图像的起始刻度的坐标位置，模板图像的表盘中心为(Cx,Cy)，刻度数字关键点以表盘中心为圆心，R为半径均匀分布，求得起始刻度的坐标为
Figure BDA0002930053480000042
Step5.4、确定模板图像中的各刻度数字之间的夹角θ，各个刻度数字以表盘中心均匀分布，夹角
Figure BDA0002930053480000043
Step5.5、以(Cx,Cy)为旋转中心，θ为角度，将0刻度顺时针旋转N-1次，依次旋转θ,2θ,…,(N-1)θ角度构成表盘模板图像。
优选的方案中，上述的Step5中,还包括以下步骤：
Step5.6、对于刻度非线性指针式仪表，提前保存这类仪表的标准表盘参数信息库，然后根据待校正仪表类型调用参数库中的同类型仪表的参数信息，构建同类型仪表模板。
本发明提供的一种指针式仪表图像倾斜校正方法，通过卷积神经网络提取表盘关键点，根据关键点坐标构建模板图像，然后图像匹配透视变换实现倾斜仪表图像校正，该方案具有以下优点：
(1)通过卷积神经网络提取表盘关键点，提高了传统图像特征提取的准确度和速度。
(2)通过自动构建同类型仪表模板图像，该过程不需要预先采集真实模板图像，并且匹配过程不需要对模板图像进行特征提取，提高了图像匹配的速度，明显缩短了仪表校正的时间。
(3)根据检测的刻度数字个数N，自动确定透视变换点对的个数，相对于传统通过四个点对计算单应矩阵的准确度更高。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明指针式仪表倾斜校正流程图；
图2为倾斜的指针仪表图像；
图3为构建的模板图像；
图4为倾斜校正后的指针式仪表图像。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
如图1-图4中所示，一种指针式仪表图像倾斜校正方法，包括以下步骤：
Step1、构建指针式仪表数据集；
Step1.1、通过相机采集指针式仪表数据集，其中，数据集采集中设置仪表处于不同的倾斜角度，包括不同水平倾斜角度，不同竖直倾斜角度，以及两种的混合的倾斜角度；
Step1.2、对数据集进行扩充，通过对数据集图像进行旋转、模糊、明暗等操作扩充数据集；
Step1.3、对数据集进行标签标注，以刻度数字和表盘中心为对象，使用LabelImg工具进行区域位置和类别标注；
Step2、卷积神经网络模型选择，常用的目标检测网络均可实现该步骤，例如R-CNN系列网络、YOLO系列网络、SSD等，本实施例选择YOLO系列网络中的YOLOv3网络结构；
Step3、模型训练，首先对模型进行参数选择和结构优化，然后使用Step2中选择的网络带入Step1构建的数据集训练模型；
Step3.1、使用K-Means聚类算法对Step2中标注的数据集进行聚类，同时求样本数据集的最佳Anchor boxes，用得到的Anchor boxes代替模型中的默认参数，以此提高模型训练的精度和速度，聚类得到的anchor boxes值为106,183,90,120,112,195,81,139，68,96，129,220，93,162，104,141，99,176；
Step3.2、训练参数设置，训练阶段采用动量为0.9的异步随机梯度下降,每一个batch包含16张图片,权值的初始学习率为0.001,衰减系数设置为0.0005,训练迭代次数为5000次,当迭代次数为2000次和3000次时,分别将学习率降低为0.00010和0.00001,使损失函数进一步收敛；
Step3.3、在线数据增强，对输入图像进行旋转、增加对比度、增加噪声等操作对数据集中的图像增强和扩充；
Step4、表盘关键点提取，将待校正的指针式仪表图像输入到Step3训练好的关键点提取模型中，得到待校正图像的关键点类别和位置信息，同时对刻度数字关键点坐标从左下角顺时针排序；
Step4.1、关键点类别判断，在训练的模型中预测刻度数字关键点和表盘中心关键点，分别记为num和center，模型在预测中将图像分割成S×S的网格，每个单元格去检测中心点落在该格子内的目标，模型根据每个预测框的置信度判断目标类别，置信度定义为
Figure BDA0002930053480000061
其中，Pr(object)表示边界框含有目标的可能性大小，
Figure BDA0002930053480000062
表示预测框与实际框(ground truth)的IOU(intersection over union，交并比)；
Step4.2、关键点位置预测，使用YOLOv3卷积神经网络模型做目标检测，将目标的位置通过边界框来表示，边界框的大小与位置用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高，设模型检测出的指针仪表盘上的刻度数字中心关键点坐标为(Sxi,Syi),i＝1,2,…,N，N代表模型检测到的表盘刻度数字关键点个数，表盘中心的关键点坐标为(Cx,Cy)，通过模型检测提取的表盘中心的关键点坐标为(236,253)；
Step4.3、指针仪表类型判断，根据检测到的表盘刻度中心关键点的个数N可以判断仪表类型，即仪表盘上刻度数字分布情况的类型，根据JB-T5528-2005压力表标度及分划的标准，指针压力表具有5、6和7个刻度字符类型的仪表较多，例如最大量程为0.4和1.6的仪表具有5个带数字的刻度，最大量程为1和1.5的仪表具有6个带数字的刻度，仪表表盘具有相同个数的刻度数字仪表，仪表刻度区间具有相同的分布；
Step4.4、对刻度数字关键点顺时针排序,通过卷积神经网络检测到的关键点，并不能确定关键点在表盘上的分布情况，通过关键点坐标对关键点顺时针排序，分别确定各个点在表盘上的分布。图像坐标原点位于图像左上角，图像坐标原点位于图像左上角，以x＝Cx为分界线将图像上的刻度关键点分为左右两部分，分别对分界线左右两边的刻度关键点的纵坐标排序，以分界线左侧的刻度关键点为例，纵坐标由大到小对应关键点从小到上，同理，可得到分界线右侧的关键点坐标顺序，以0刻度关键点为起始刻度，逆时针旋转依次得到排序后的刻度关键点坐标为(166,336)，(137,248)，(168,149)，(244,114)，(326,155)，(360,259)，(328,356)；
Step5、构建同类型指针仪表的模板图像；
Step5.1、调用OpenCV中的cvCreateImage()函数，创建一个与原图像相同尺寸的模板图像；
Step5.2、计算刻度数字关键点(Sxi,Syi),i＝1,2,…,N到表盘中心点(Cx,Cy)的平均距离R，本实施例中的R＝124，R计算方式如下：
Figure BDA0002930053480000071
Step5.3、确定模板图像的起始刻度的坐标位置，模板图像的表盘中心为(Cx,Cy)，刻度数字关键点以表盘中心为圆心，R为半径均匀分布，根据标准JB-T5528-2005，压力表的0刻度位于表盘左下角，有效刻度范围为270度，所以起始刻度相对于过表盘中心的竖直中轴线的夹角为45度，由此求得起始刻度的坐标为(148,341)；
Step5.4、确定模板图像中的各刻度数字之间的夹角θ，各个刻度数字以表盘中心均匀分布，因为各个刻度数字以表盘中心均匀分布，所以夹角
Figure BDA0002930053480000072
Step5.5、以(236,253)为旋转中心，将0刻度关键点坐标顺时针旋转6次，依次旋转45，90，…，270角度构成表盘模板图像；
Step6、根据表盘刻度数字关键点坐标和构建的模板图像的刻度坐标进行关键点匹配，调用OpenCV中的findHomography()函数，计算单应矩阵M；
Step7、调用OpenCV中的warpPerspective()函数，结合计算的M，校正仪表图像。

Claims (4)

1.一种指针式仪表图像倾斜校正方法，其特征在于，包括以下步骤：
Step1、构建指针式仪表数据集；
Step2、卷积神经网络模型选择；
Step3、模型训练，首先对模型进行参数选择和结构优化，然后使用Step2中选择的网络带入Step1构建的数据集训练模型；
Step4、表盘关键点提取，将待校正的指针式仪表图像输入到Step3训练好的关键点提取模型中，得到待校正图像的关键点类别和位置信息，同时对刻度数字关键点坐标从左下角顺时针排序；
Step5、构建同类型指针仪表的模板图像；
Step6、根据表盘刻度数字关键点坐标和构建的模板图像的刻度坐标进行关键点匹配，计算单应矩阵；
Step7、根据单应矩阵，对仪表图像进行透视变换，校正仪表图像；
所述的Step4中，通过训练的模型获得仪表表盘的关键点类型和坐标，并对刻度关键点排序，具体过程为：
Step4.1、关键点类别判断，在训练的模型中预测刻度数字关键点和表盘中心关键点，分别记为num和center，模型在预测中将图像分割成S×S的网格，每个单元格去检测中心点落在该格子内的目标，模型根据每个预测框的置信度判断目标类别，置信度定义为
Figure FDA0003742801450000011
其中，Pr(object)表示边界框含有目标的可能性大小，
Figure FDA0003742801450000012
表示预测框与实际框(ground truth)的IOU(intersection over union，交并比)；
Step4.2、关键点位置预测，利用Step2中选用的卷积神经网络模型做目标检测，将目标的位置通过边界框来表示，边界框的大小与位置用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高，设模型检测出的指针仪表盘上的刻度数字中心关键点坐标为(Sxi,Syi),i＝1,2,…,N，N代表模型检测到的表盘刻度数字关键点个数，表盘中心的关键点坐标为(Cx,Cy)；
Step4.3、指针仪表类型判断，根据检测到的表盘刻度中心关键点的个数N判断仪表类型，即仪表盘上刻度数字分布情况的类型，根据压力表标度及分划的标准，仪表表盘具有相同个数的刻度数字仪表，仪表刻度区间具有相同的分布；
Step4.4、对刻度数字关键点顺时针排序,图像坐标原点位于图像左上角，以x＝Cx为分界线将图像上的刻度关键点分为左右两部分，分别对分界线左右两边的刻度关键点的纵坐标排序；
所述的Step5中,根据Step4得到的仪表类别构造同类型模板图像，具体过程为：
Step5.1、调用OpenCV中的cvCreateImage()函数，创建一个与原图像相同尺寸的模板图像；
Step5.2、计算刻度数字关键点(Sxi,Syi),i＝1,2,…,N到表盘中心点(Cx,Cy)的平均距离R，其中，R计算方式如下：
Figure FDA0003742801450000021
Step5.3、确定模板图像的起始刻度的坐标位置，模板图像的表盘中心为(Cx,Cy)，刻度数字关键点以表盘中心为圆心，R为半径均匀分布，求得起始刻度的坐标为
Figure FDA0003742801450000022
Step5.4、确定模板图像中的各刻度数字之间的夹角θ，各个刻度数字以表盘中心均匀分布，夹角
Figure FDA0003742801450000023
Step5.5、以(Cx,Cy)为旋转中心，θ为角度，将0刻度顺时针旋转N-1次，依次旋转θ,2θ,…,(N-1)θ角度构成表盘模板图像。
2.根据权利要求1所述的一种指针式仪表图像倾斜校正方法，其特征在于，所述的Step1的具体过程为：
Step1.1、通过相机采集指针式仪表数据集，其中，数据集采集中设置仪表处于不同的倾斜角度，包括不同水平倾斜角度，不同竖直倾斜角度，以及两种的混合的倾斜角度；
Step1.2、对数据集进行扩充，通过对数据集图像进行旋转、模糊、明暗操作扩充数据集；
Step1.3、对数据集进行标签标注，以刻度数字和表盘中心为对象，使用LabelImg工具进行区域位置和类别标注。
3.根据权利要求1所述的一种指针式仪表图像倾斜校正方法，其特征在于，所述的Step3中，训练关键点提取模型，模型训练中进行参数优化，具体过程为：Step3.1、使用K-Means聚类算法对Step2中标注的数据集进行聚类，同时求样本数据集的最佳Anchorboxes，用得到的Anchor boxes代替模型中的默认参数，以此提高模型训练的精度和速度；
Step3.2、训练参数设置，模型训练前通过调整动量、batch、权值的初始学习率、衰减系数设置、训练迭代次数,使模型的损失函数不断收敛，用以提高训练的准确率；
Step3.3、训练过程中在线数据增强，对输入图像进行旋转、增加对比度、增加噪声操作对数据集中的图像增强和扩充，用以提高模型泛化能力。
4.根据权利要求1所述的一种指针式仪表图像倾斜校正方法，其特征在于，
所述的Step5中,还包括以下步骤：
Step5.6、对于刻度非线性指针式仪表，提前保存这类仪表的标准表盘参数信息库，然后根据待校正仪表类型调用参数库中的同类型仪表的参数信息，构建同类型仪表模板。
CN202110143240.7A 2021-02-02 2021-02-02 一种指针式仪表图像倾斜校正方法 Active CN112801094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143240.7A CN112801094B (zh) 2021-02-02 2021-02-02 一种指针式仪表图像倾斜校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143240.7A CN112801094B (zh) 2021-02-02 2021-02-02 一种指针式仪表图像倾斜校正方法

Publications (2)

Publication Number Publication Date
CN112801094A CN112801094A (zh) 2021-05-14
CN112801094B true CN112801094B (zh) 2022-08-30

Family

ID=75813691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143240.7A Active CN112801094B (zh) 2021-02-02 2021-02-02 一种指针式仪表图像倾斜校正方法

Country Status (1)

Country Link
CN (1) CN112801094B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505809A (zh) * 2021-06-09 2021-10-15 浙江文谷科技有限公司 一种基于分类算法的角度识别方法及系统
CN113450384B (zh) * 2021-06-11 2023-12-29 力源电力设备股份有限公司 基于编码标志信息的指针式表计物理信息读取方法
CN113487515A (zh) * 2021-07-26 2021-10-08 北京佳讯飞鸿电气股份有限公司 指针式仪表图像的倾斜校正方法及倾斜校正装置
CN113673509B (zh) * 2021-07-28 2023-06-09 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113780310A (zh) * 2021-09-06 2021-12-10 桂林电子科技大学 一种基于关键点检测的仪表读数方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN110852954A (zh) * 2019-11-19 2020-02-28 随锐科技集团股份有限公司 指针式仪表的图像倾斜校正方法及系统
CN111488874A (zh) * 2020-04-03 2020-08-04 中国农业大学 一种指针式仪表倾斜校正方法及系统
CN111950559A (zh) * 2020-08-05 2020-11-17 宁波中国科学院信息技术应用研究院 一种基于径向灰度的指针仪表自动读数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN110852954A (zh) * 2019-11-19 2020-02-28 随锐科技集团股份有限公司 指针式仪表的图像倾斜校正方法及系统
CN111488874A (zh) * 2020-04-03 2020-08-04 中国农业大学 一种指针式仪表倾斜校正方法及系统
CN111950559A (zh) * 2020-08-05 2020-11-17 宁波中国科学院信息技术应用研究院 一种基于径向灰度的指针仪表自动读数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像处理的指针式仪表智能识别方法研究;杨志娟等;《计算机测量与控制》;20150525;第23卷(第5期);第1717-1720页 *
基于深度学习的指针式仪表倾斜校正方法;周登科等;《计算机辅助设计与图形学学报》;20201231;第32卷(第12期);第1977-1984页 *

Also Published As

Publication number Publication date
CN112801094A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN112906694B (zh) 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN106599897B (zh) 基于机器视觉的指针式仪表读数识别方法及装置
CN108764257B (zh) 一种多视角的指针式仪表识别方法
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
CN111488874A (zh) 一种指针式仪表倾斜校正方法及系统
CN112270320B (zh) 一种基于卫星影像校正的输电线路杆塔坐标校准方法
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN111368906A (zh) 一种基于深度学习的指针式油位计读数识别方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN110866934A (zh) 基于规范性编码的复杂点云分割方法及系统
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN109409290A (zh) 一种温度表检定读数自动识别系统及方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN110309828B (zh) 一种倾斜车牌矫正方法
CN114998432A (zh) 一种基于YOLOv5的电路板检测点定位方法
CN114863129A (zh) 仪表数值分析方法、装置、设备及存储介质
CN111199191A (zh) 基于刻度搜索的指针式仪表自动读取方法
CN116188755A (zh) 一种基于深度学习的仪表角度校正与示数识别装置
CN115661446A (zh) 基于深度学习的指针式仪表示数自动读取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant