CN114005108A - 一种基于坐标变换的指针式仪表度数识别方法 - Google Patents

Abstract

本发明涉及基于坐标变换的指针式仪表度数识别方法，包括以下步骤：获取相机拍摄的初始仪表图像，使用yolov4算法得到定位仪表图像，对定位仪表图像进行预处理，对预处理后的图像使用边缘检测算法提取仪表的椭圆刻度线圆弧，根据获取的椭圆刻度线圆弧，使用椭圆拟合获取仪表的拟合圆心，根据拟合圆心建立表盘坐标系，使用LSD直线检测算法检测指针，以图像拍摄点为圆心建立校正坐标系，根据校正坐标系和表盘坐标系获得坐标变换矩阵，获取指针仪表量程值和量程夹角，根据坐标变换矩阵得到最终仪表读数。与现有技术相比，本发明具有准确性高、适用性强等优点。

Description

一种基于坐标变换的指针式仪表度数识别方法

技术领域

本发明涉及仪表测量技术领域，尤其是涉及一种基于坐标变换的指针式仪表度数识别方法。

背景技术

机械式指针仪表以其结构简单、价格低廉、反映数据的及时性与准确性而在工业中得到了广泛的运用。在电力系统中，例如开关柜、站用电低压屏等设备均采用大量的指针式仪表进行仪器状态的实时监控，因此指针式仪表对于电力系统状态检测有着重要的不可替代的作用和意义，其读数一直是研究的重点。

但由于指针仪表设备所处环境复杂，在拍照并进行识别的过程中，图片难免出现反光、倾斜、噪声大等情况，使得对于这部分仪表的读数的识别误差较大，影响了读数的精确性，其中，倾斜导致的读数误差最为复杂，由于图像采集位置的不确定，往往会由于存在倾斜角度导致仪表读数与实际不符。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于坐标变换的指针式仪表度数识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于坐标变换的指针式仪表度数识别方法，包括以下步骤：

S1、获取相机拍摄的初始仪表图像；

S2、使用yolov4算法得到定位仪表图像；

S3、对定位仪表图像进行预处理，对预处理后的图像使用边缘检测算法提取仪表的椭圆刻度线圆弧；

S4、根据步骤S3获取的椭圆刻度线圆弧，使用椭圆拟合获取仪表的拟合圆心，根据拟合圆心建立表盘坐标系，使用LSD直线检测算法检测指针；

S5、以图像拍摄点为圆心建立校正坐标系，根据校正坐标系和表盘坐标系获得坐标变换矩阵；

S6、获取指针仪表量程值和量程夹角，根据坐标变换矩阵得到最终仪表读数。

进一步地，所述步骤S4中获取仪表的拟合圆心的具体步骤包括：

利用直接最小二乘法对边缘检测所得的椭圆刻度线圆弧进行多次椭圆拟合，并计算寻找每次拟合所得椭圆的圆心；对所得的所有椭圆圆心坐标进行统计，以出现次数最高的点作为该椭圆的圆心。

进一步地，所述步骤S4中检测指针的具体步骤包括使用LSD直线检测对仪表指针进行检测，取所检测直线段长度大于1/2R₀的直线为仪表指针，其中，R₀的大小为拟合圆心到椭圆刻度线圆弧的距离。

进一步地，所述步骤S5具体包括：

S501、以图像拍摄点O’为圆心，建立校正坐标系x’y’z’，x’y’z’轴分别平行于表盘坐标系的xyz轴；

S502、计算校正坐标系原点相对于表盘坐标系的yoz，xoz，xoy三个平面的距离a，b，c，得到O’在表盘坐标系上的坐标(-a，b，c)、表盘坐标系原点O在校正坐标系上的坐标(a，-b，-c)和从O’点采集表盘上标示指针最顶端的点在校正坐标系上的坐标(a+x1，-b，-c+z1)，根据指针与表盘间的高度差表示指针的实际顶点在校正坐标系下的坐标，具体坐标表达式为：

S503、根据S502中得到的坐标计算得到坐标变换矩阵T，计算表达式如下：

式中，d表示指针与表盘间的高度差，通过仪表数据手册获取。

进一步地，所述最终仪表读数计算步骤如下：

对坐标(a+x1,-b,-c+z1)使用坐标变换矩阵T进行坐标变换矫正，并将y轴上的数值置零，得到此时它在透视变换后圆盘上的坐标D及坐标D与x轴的夹角ε，利用角度法计算矫正后的正确读数num，具体计算表达式如下：

式中，θ表示量程的总夹角大小，L表示量程值。

进一步地，所述步骤S6中指针仪表刻度计算方法具体包括：

S601、利用Hough圆检测算法检测刻度圆弧，并进行透视变换；再使用Hough直线检测算法检测直线轮廓，设定筛选条件进行筛选，获得刻度线，并进行透视变换；

S602、标记变换后的第一条刻度直线和最后一条刻度直线的所在位置及对应刻度，计算他们之间的刻度差L为量程值和夹角θ为量程夹角。

进一步地，所述刻度线的筛选条件如下：

直线轮廓的位置位于刻度圆弧内；

直线轮廓的长宽比大于1：4；

直线轮廓的最小外接矩形的方向指向圆心。

进一步地，所述步骤S2具体包括以下步骤：

S201、利用yolov4的主干特征提取网络Backbone进行主干特征提取；

S202、对提取到的特征利用SPP结构构建特征金字塔；

S203、使用K-means算法对特征金字塔进行参数调整，并使用yolohead算法进行预测，获得仪表预置框；

S204、保留初始仪表图像处于仪表预置框内的图像，作为定位仪表图像。

进一步地，所述步骤S3中所述预处理步骤包括：

S301、利用自适应非线性中值滤波方法对图像进行平滑处理，去除图像噪音；

S302、对仪表图像进行自适应直方图均衡化；

S303、利用最大类间方差方法，将图像分为前景和背景两个部分。

进一步地，所述步骤S3中提取仪表边缘信息的具体步骤包括：使用Canny边缘检测算法检测预处理后的图像，得到边缘图像，对边缘图像进行闭运算，排除小型空洞，弥合狭窄的间断点、沟壑以及填补断裂的轮廓线，平滑检测轮廓，得到椭圆刻度线圆弧。

与现有技术相比，本发明具有以下优点：

1、本发明采集各种角度的指针仪表图像后，依次进行预处理、圆心提取后分别建立表盘坐标系和校正坐标系以实现图片倾斜下的指针坐标变换，从而计算得到正确的指针仪表读数，该方法的适用性强，即使在图像采集困难的情况下也能获取读数，同时可通过测量不同角度的读数以验证其准确性，方法灵活。

2、本发明在获取仪表指针时以及直线轮廓时进行了线条筛选，确保了本发明的准确性。

附图说明

图1为本发明的流程示意图。

图2为本发明表盘坐标系和校正坐标系对应转换示意图。

图3为本发明角度计算示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供了一种基于坐标变换的指针式仪表度数识别方法，流程如图1所示，具体包括以下步骤：

步骤S1、获取初始仪表图像，将摄像机架设在仪表周围进行图像采集，同时上传至计算机；

步骤S2、使用yolov4算法对初始仪表图像中的仪表进行定位，得到定位仪表图像。考虑到电力系统实际应用中环境复杂，可能无法实现对指针式仪表的准确拍摄这一情况而实施，具体过程包括下列步骤：

步骤S201、利用yolov4的主干特征提取网络Backbone进行主干特征提取。主干特征提取网络采用了CSPnet系列的CSPDarkNet53，激活函数采用Mish激活函数。其中Mish函数的公式如下：

Mish＝x×tanh(ln(1+e^x))

式中，x表示提取的特征。CSPnet结构将残差块的堆叠进行了拆分，主干部分继续进行原来的残差块的堆叠，另一部分则像一个残差边一样，经过少量处理直接连接到最后。

步骤S202、利用SPP结构根据提取到的特征构建特征金字塔，在对CSPdarknet53的最后一个特征层进行三次DarknetConv2D_BN_Leaky卷积后，分别利用四个不同尺度的最大池化进行处理，使得感受野增加，分离出最显著的上下文特征，有利于找到仪表的边缘。

步骤S203、使用K-means_anchor算法进行参数调整，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。并利用yolohead算法对获得的特征进行预测，获得仪表预置框。

步骤S204、在图像上绘制仪表预置框，并只保留预置框内的图像部分，消除框外对于仪表识别存在干扰的复杂背景，得到该角度下的定位仪表图像P1。

步骤S3、利用滤波对图像进行预处理，采用Canny边缘检测提取表盘内边缘信息，具体过程包括下列步骤：

步骤S301、利用自适应非线性中值滤波方法对定位仪表图像P1进行平滑处理，去除图像噪音。椒盐噪声是图像中非常常见的噪声之一，中值滤波的一种典型应用，就是用来消除椒盐噪声。具体步骤如下：

首先对得到的定位仪表图像P1进行逐行扫描，处理每一个像素时，判断该像素是否是滤波窗口覆盖下邻域像素的极大或者极小值。如果是，则说明该像素是噪声点，采用正常的中值滤波处理该像素；如果不是，则说明是图像边缘点，不对其进行处理，得到第一处理图像P2。

步骤S302、在中值滤波的基础上，对P2进行限制对比度自适应直方图均衡化，计算P2的局部直方图，然后重新分布亮度来来改变图像对比度，改善图像整体对比度较高，但存在局部区域过曝或过暗的情况，对图像进行增强。但在计算过程中，对于每个小区域都必须使用对比度限幅，得到第二处理图像P3。

步骤S303、利用最大类间方差方法，将图像分为前景和背景两个部分，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，具体步骤如下：

利用穷举法遍历P3的每一个像素点，选择初始化阈值t，t将图像分为两类，计算该阈值下的两类像素集合的均值及两类的类间方差，将t从0到255循环，在每种阈值下计算类间方差，当类间方差最大时对应的t即为所需阈值，将此时的二值化图像记为第三处理图像P4。

g＝ω₁×ω₂×(μ₁-μ₂)²

式中，ω₁表示前景像素点数占整幅图像的比例，ω₂表示背景像素点数占整幅图像的比例，μ₁表示前景平均灰度，μ₂表示背景平均灰度。

步骤S304、利用Canny边缘检测，对P4进行边缘检测，得到仪表边缘图像P5。

步骤S305、对P5进行闭运算，即先膨胀后腐蚀，排除小型空洞，弥合狭窄的间断点、沟壑以及填补断裂的轮廓线，平滑检测所得轮廓，得到椭圆刻度线圆弧。

步骤S4、使用椭圆拟合找到拟合圆心，采用LSD直线检测对指针进行检测，建立表盘坐标系，具体过程包括下列步骤：

步骤S401、利用直接最小二乘法对边缘检测所得的椭圆刻度线圆弧进行多次椭圆拟合，并计算寻找每次拟合所得椭圆的圆心。

步骤S402、对所得的椭圆圆心坐标进行统计，以出现次数最高的点作为表盘上该椭圆的圆心，测得圆心至椭圆刻度线圆弧的最短距离R0，以圆心为原点建立表盘坐标系，y轴垂直于表盘指向外侧，z轴平行于表盘并在表盘平面上指向正上方。

步骤S403、利用LSD直线检测对仪表指针进行检测，取所检测直线段长度大于1/2R0的线段为仪表指针，忽略其他检测直线，记录此时仪表指针最顶端的坐标为(x1，y1，z1)，易得出此时y1＝0。

步骤S5、利用所建表盘坐标系求取坐标变换矩阵，具体过程包括下列步骤：

步骤S501、以图片拍摄点O’为圆心，建立校正坐标系x’y’z’，x’y’z’轴分别平行于表盘坐标系的xyz轴，如图2所示。

步骤S502、计算校正坐标系原点相对于表盘上坐标系的yoz，xoz，xoy三个平面的距离分别为a，b，c，则可得此时相对于表盘，O’在表盘坐标系上的坐标为(-a，b，c)，表盘坐标系原点O在校正坐标系上的坐标为(a，-b，-c)。当从O’点拍摄图像时，观察所得的表盘上标示指针最顶端的点在校正坐标系下的坐标表示为(a+x1，-b，-c+z1)，该坐标相当于从O’对实际指针位置向表盘坐标系的xoz面投影所得点的坐标。

利用游标卡尺测量或从指针数据手册获取指针与表盘间的高度差d，由O’点经指针顶点向xoz平面做投影得(x1，y1，z1)点，由勾股定理和相似的三角形可得，指针的实际顶点在校正坐标系下的坐标为：

步骤S503、S502中所得坐标，可在任何情况下，根据已知a，b，c，d，x1，y1，z1，求出由实际指针位置与倾斜形况下的观察位置的坐标变换矩阵T，计算表达式如下：

则可得出：

利用上述公式求得变换矩阵T，即可实现观测位置与指针实际位置的变换，将由于指针与刻度盘之间存在的高度差d造成的误差消除。

步骤S6、计算指针表读数量程值和量程夹角，利用坐标变换获得实际指针式仪表数值，具体过程包括下列步骤：

步骤S601、利用Hough圆检测对表盘刻度轮廓进行检测，由于本例中仅有一条圆弧，检测所得轮廓即为刻度轮廓，利用透视变换对该椭圆弧轮廓进行形状变换，使其转变为圆弧。再使用Hough直线检测对检测直线轮廓进行拟合以检测刻度直线，根据表盘特点，需要设定筛选条件如下：

直线轮廓的位置位于刻度圆弧内；

直线轮廓的长宽比大于1：4；

直线轮廓的最小外接矩形的方向指向圆心。

满足上述条件的直线轮廓即为刻度直线，对刻度直线中的点进行透视变换，使其分布在上述变换完成的圆弧上。

步骤S602、标记变换后的第一条刻度直线的所在位置，记为起始刻度0度；标记变换后的最后一条刻度直线的所在位置，记为终止刻度450度，以L表示，计算他们之间的夹角，记为θ。

步骤S603、对坐标点(a+x1，-b，-c+z1)，利用坐标变换矩阵T进行坐标变换矫正，并将y轴上的数值置零，使其相当于正对表盘进行投影，得到此时它在透视变换后圆盘上的坐标D及坐标D与x轴的夹角ε，如图3所示，利用角度法计算矫正后的正确读数num，计算公式如下：

值得说明的是，本实施例提供的一种基于坐标变换的指针式仪表度数识别方法，在采集图像时，可采集同一仪表不同角度的指针仪表图像，并对不同角度的图像分别进行上述步骤，通过比对以确保得到的读数的准确性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于坐标变换的指针式仪表度数识别方法，其特征在于，包括以下步骤：

S1、获取相机拍摄的初始仪表图像；

S2、使用yolov4算法得到定位仪表图像；

S3、对定位仪表图像进行预处理，对预处理后的图像使用边缘检测算法提取仪表的椭圆刻度线圆弧；

S4、根据步骤S3获取的椭圆刻度线圆弧，使用椭圆拟合获取仪表的拟合圆心，根据拟合圆心建立表盘坐标系，使用LSD直线检测算法检测指针；

S5、以图像拍摄点为圆心建立校正坐标系，根据校正坐标系和表盘坐标系获得坐标变换矩阵；

S6、获取指针仪表量程值和量程夹角，根据坐标变换矩阵得到最终仪表读数。

2.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S4中获取仪表的拟合圆心的具体步骤包括：利用直接最小二乘法对边缘检测所得的椭圆刻度线圆弧进行多次椭圆拟合，并计算寻找每次拟合所得椭圆的圆心；对所得的所有椭圆圆心坐标进行统计，以出现次数最高的点作为该椭圆的圆心。

3.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S4中检测指针的具体步骤包括使用LSD直线检测对仪表指针进行检测，取所检测直线段长度大于1/2R₀的直线为仪表指针，其中，R₀的大小为拟合圆心到椭圆刻度线圆弧的距离。

4.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S5具体包括：

S501、以图像拍摄点O’为圆心，建立校正坐标系x’y’z’，x’y’z’轴分别平行于表盘坐标系的xyz轴；

S502、计算校正坐标系原点相对于表盘坐标系的yoz，xoz，xoy三个平面的距离a，b，c，得到O’在表盘坐标系上的坐标(-a，b，c)、表盘坐标系原点O在校正坐标系上的坐标(a，-b，-c)和从O’点采集表盘上标示指针最顶端的点在校正坐标系上的坐标(a+x1，-b，-c+z1)，根据指针与表盘间的高度差表示指针的实际顶点在校正坐标系下的坐标，具体坐标表达式为：

S503、根据S502中得到的坐标计算得到坐标变换矩阵T，计算表达式如下：

式中，d表示指针与表盘间的高度差，通过仪表数据手册获取。

5.根据权利要求4所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述最终仪表读数计算步骤如下：

对坐标(a+x1,-b,-c+z1)使用坐标变换矩阵T进行坐标变换矫正，并将y轴上的数值置零，得到此时它在透视变换后圆盘上的坐标D及坐标D与x轴的夹角ε，利用角度法计算矫正后的正确读数num，具体计算表达式如下：

式中，θ表示量程的总夹角大小，L表示量程值。

6.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S6中指针仪表刻度计算方法具体包括：

S601、利用Hough圆检测算法检测刻度圆弧，并进行透视变换；再使用Hough直线检测算法检测直线轮廓，设定筛选条件进行筛选，获得刻度线，并进行透视变换；

S602、标记变换后的第一条刻度直线和最后一条刻度直线的所在位置及对应刻度，计算他们之间的刻度差L为量程值和夹角θ为量程夹角。

7.根据权利要求6所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述刻度线的筛选条件如下：

直线轮廓的位置位于刻度圆弧内；

直线轮廓的长宽比大于1：4；

直线轮廓的最小外接矩形的方向指向圆心。

8.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S2具体包括以下步骤：

S201、利用yolov4的主干特征提取网络Backbone进行主干特征提取；

S202、对提取到的特征利用SPP结构构建特征金字塔；

S203、使用K-means算法对特征金字塔进行参数调整，并使用yolohead算法进行预测，获得仪表预置框；

S204、保留初始仪表图像处于仪表预置框内的图像，作为定位仪表图像。

9.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S3中所述预处理步骤包括：

S301、利用自适应非线性中值滤波方法对图像进行平滑处理，去除图像噪音；

S302、对仪表图像进行自适应直方图均衡化；

S303、利用最大类间方差方法，将图像分为前景和背景两个部分。

10.根据权利要求1所述的一种基于坐标变换的指针式仪表度数识别方法，其特征在于，所述步骤S3中提取仪表边缘信息的具体步骤包括：

使用Canny边缘检测算法检测预处理后的图像，得到边缘图像，对边缘图像进行闭运算，排除小型空洞，弥合狭窄的间断点、沟壑以及填补断裂的轮廓线，平滑检测轮廓，得到椭圆刻度线圆弧。

Images