CN113449633B - 基于物体检测和关键点定位的指针式表计数值识别方法 - Google Patents

Abstract

本发明公开了一种基于物体检测和关键点定位的指针式表计数值识别方法，包括如下步骤：对巡检图像进行图像放缩、归一化处理；对放缩、归一化处理的巡检图像进行检测；对检测结果进行过滤、排序，得到预测结果；获取预置点位的标注信息中的标注表计；将预测结果中的表计与标注表计进行匹配，得到预测表计位置；根据表计位置从巡检图像中截取相应的区域；对截取相应的区域进行关键点检测；根据预置点位的标注信息计算各个刻度点在表盘中的第一相对位置；根据关键点检测的结果计算指针所在位置在表盘中的第二相对位置；根据第一相对位置和第二相对位置获取指针式表计数值。本发明采用相对值来进行计算，可有效的降低误差。

Description

基于物体检测和关键点定位的指针式表计数值识别方法

技术领域

本发明属于电网巡检技术领域，具体涉及一种基于物体检测和关键点定位的指针式表计数值识别方法。

背景技术

随着国民经济的快速发展，用电需求不断攀升。变电站是各级电网的核心枢纽，对站内设备例行巡检是保证电网安全运行的关键技术手段。为了对变电站中存在的各种设备进行有效检测，变电站中应用了大量的精密表计。虽然数显表技术已经相当成熟，但是由于变电站存在电磁干扰等环境因素的影响，指针类表计在未来相当长一段时间内仍将是变电站中的主要测量表计。变电站传统的人工运检是依赖人工肉眼对表计进行读取，工作量大且容易出错，严重影响电网的巡检效率。

现有指针式表计的读数方案，按照使用的方法可以大致分为两类，基于传统图像处理的识别方法以及基于深度学习的识别方法。

基于传统图像处理的方法，通常包括表盘区域检测、指针提取以及刻度起始起点和刻度终点定位等部分。表盘区域检测，最常见的方法是基于Hough变换(霍夫变换)的圆形检测或者椭圆检测，该类方法要求表计具有完整可见的圆形表盘或者是椭圆形表盘。对电力行业中常见的扇形电流表和电压表，该方法并不适用。还有基于特征提取和关键点匹配的算法，该类方法根据计算得到的仿射变化矩阵，以及模板图像中标记的表计位置确定推理图像中表计的位置。指针检测方法一般有霍夫直线检测，区域分割等方法进行指针定位。对于刻度起点和终点定位基于阈值分割和连通区域查找等方法来实现。上述这些基于传统图像处理的方法，受周围环境的影响较大，算法的稳定性和通用型都难以满足实际需求。

基于深度学习的方法。该类方法和基于传统图像处理的方法类似，一般也包含表计区域检测和表计读数识别两个部分。表计区域检测一般采用物体检测算法替代霍夫变换确定表盘位置。随后基于物体分割方法或者关键点检测算法进行表计读数识别。

现有基于传统图像处理的方案，无法适应环境周围环境的变化，算法的稳定性和通用型都难以满足实际需求。

首先，现有基于深度学习的方案在关键点选取上缺乏通用性，难以适配多种表计的巡检要求。其次，在处理流程上缺乏后台表计id和图中表计匹配定位的过程，不适用于电力行业的巡检过程。此外在巡视过程中每次拍摄角度都存在一定的偏差，而现有基于关键点的角度计算方法中大多直接采用角度的绝对数值进行计算，这样的计算方式误差较大。最后由于表计类型的丰富性，外观相似的表计在刻度量程和刻度分布上可能差异，因此需要针对待巡视表计提供对应的标注信息，用于提升读数的精确度，而这一过程在现有方案中基本上缺乏的。

此外，当前电力行业的巡视系统需要根据后台的表计id，调用摄像头读取指定的表计的数值，而电力行业中经常多个表计出现在同一场景的现象，这是就需要我们确定后台id和图中哪个表计相对应。但是，现有的方法大多缺乏观测这一过程。现有方法只能孤立的计算出来图中所有表计的示数，无法向服务器上报有效的结果，无法适用于多表计紧领的巡视场景。并且云台机是通过机械运动来进行预置点位之间的切换的，在移动过程中会产生拍摄角度的倾斜，此时如果采用关键点连线之间的夹角的绝度数值进行计算将会产生较大的误差。针对变电站监控表计丰富性，需要针对待巡视表计提供对应的标注信息，用于提升读数的精确度。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于物体检测和关键点定位的指针式表计数值识别方法，以解决现有技术中存在的容易出错，巡检效率低的问题。

为达到上述目的，本发明所采用的技术方案是：

一种基于物体检测和关键点定位的指针式表计数值识别方法，包括如下步骤：

对巡检图像进行图像放缩、归一化处理；

对放缩、归一化处理的巡检图像进行检测；

对检测结果进行过滤、排序，得到预测结果；

获取预置点位的标注信息中的标注表计；

将预测结果中的表计与标注表计进行匹配，得到预测表计位置；

根据预测表计位置从巡检图像中截取相应的区域；

对截取相应的区域进行关键点检测；

根据预置点位的标注信息中待观察表计的标注信息计算各个刻度点在表盘中的第一相对位置；

根据关键点检测的结果计算指针所在位置在表盘中的第二相对位置；

根据第一相对位置和第二相对位置获取指针式表计数值。

进一步的，将预测结果中的表计与标注表计进行匹配的过程如下：

定义标注表计中的表计数量为n、预测结果中的全部表计数量为m，匹配时取前k个结果进行匹配，其中k＝min(n，m)；

定义所有标注表计为集合G、所有预测结果中的表计为集合P；

遍历集合G和集合P，将标注表计中的待观测表计g_j和预测结果p_i进行匹配，构造主匹配对集合

遍历集合KM中的元素(p_i，g_j)，将集合G中剩余元素

按照组合数的构造选择方法选择出

组元素，其中每组元素包含k-1元素，对预置点位信息中的选中的k-1标注框和预测结果中的k-1个预测框进行匹配；

将构造出来的

组元素集合称为Comb(p_i，g_j)，遍历集合Comb(p_i，g_j)，对集合中的k-1元素按照全排列规则生成匹配序列；

遍历匹配序列，使用布局距离计算距离方法对每种匹配进行度量；

选择距离最小的匹配距离所确定的遍历匹配序列，确定该匹配序列中待观察表计所对应的检测表计为观测表计。

进一步的，所述布局距离的计算过程如下：

通过主匹配中的标注表计的坐标，对所有标注表计的坐标进行中心化和归一化处理；

通过主匹配中检测表计的坐标，对所有检测表计的坐标进行中心化和归一化处理；

根据匹配关系计算每一对匹配的标注表计中心点和预测表计的中心点的欧式距离。

进一步的，对截取相应的区域进行关键点检测的过程如下：

根据标注表计中心点和预测表计的中心点的欧式距离，从输入图像中截取相应区域图片；

对相应区域图片进行数值归一化、均值归一化以及方差归一化；

对归一化后的相应区域图片进行检测，获取四个关键点位置。

进一步的，所述四个关键点位置包括指针中心点、指针末端点、数字刻度起点、数字刻度终点。

进一步的，根据第一相对位置和第二相对位置获取指针式表计数值，包括：

根据预置点位的标注信息中对待观察表计的标注信息计算各个刻度点在表盘中的第一相对位置；

根据四个关键点位置计算指针所在位置在表盘中的第二相对位置；

根据第一相对位置和第二相对位置获取指针式表计数值。

进一步的，刻度点在表盘中的第一相对位置计算公式如下：

其中，R(p_i)为刻度点的相对位置，θ(cp_ie)为刻度点和圆心的连线与刻度终点和指针中心点的连线的夹角；θ(AM)为刻度起点和指针中心点的连线与刻度终点和指针中心点的连线的夹角；

指针所在位置在表盘中的第二相对位置计算公式为：

其中，R(p_m)为指针在表盘中的相对位置；θ(scm)为数字刻度起点和指针中心点的连线与指针末端点和指针中心点连线的夹角；θ(sce)为数字刻度起点和指针中心点的连线与数字刻度终点和指针中心点的夹角。

进一步的，指针式表计数值的计算方法为：

其中，C为指针式表计数值；R(p_m)为指针在表盘中的相对位置；R(p_l)为R(p_m)在序列R(p_s)中按照从小到大排序后的序列中的最大下界；R(p_g)为R(p_m)在序列R(p_s)中按照从小到大排序后的序列中的最大下界；N(l)为R(p_l)对对应的刻度值；N(g)为R(p_g)所对应的刻度值；各个刻度点的相对位置R(p_i)存入的集合为R(p_s)。

与现有技术相比，本发明所达到的有益效果是：

1、当前电力行业的巡视系统需要根据待观察表计id，调用摄像头读取指定的表计的数值，而电力行业中经常多个表计出现在同一场景的现象，这时需要确定待观察表计id和图中哪个表计相对应；本发明将上述问题转化成表计匹配，但是，现有的方法缺乏观测过程，现有方法只能孤立的计算出来图中所有表计的示数，无法向服务器上报有效的结果，无法适用于多表计紧临的巡视场景，本发明将预测结果中的表计与标注表计进行匹配，可以有效的实现观测表计和场景中的表计的匹配，进而实现完整的巡视方案；

2、当前的表计读数方案中虽然也有利用关键点进行读数的方案，但是定义的关键点并不能满足适用于多种表计，降低了算法的通用型；此外有些方法中使用角度的绝对数值进行计算，这样的计算方式误差较大，而本发明定义的四个关键点具有较高通用性，适用的表计范围较广，采用角度的绝对值进行计算时容易受到云台机运动带来的拍摄角度的偏差，本发明采用相对值来进行计算，可有效的降低误差即时拍摄角度倾斜，刻度间的比例是不会发生改变的。

附图说明

图1为数据扩增流方案图；

图2为表计匹配方案图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

由于变电场景下表计类型丰富，并且表计中存在刻度不均匀，量程不一致的情况，并且同一个场景下可能会存在多个表计。为了解决表计匹配问题并且提升表计读数精度。算法在配置时会对每个观测点位提供标注信息，这样的标注信息只标注一次，在随后的观测中可以重复利用，无须重新标注。预置点位的标注信息包括待巡检表计的位置、待巡检表计的指针中心点、各个数字刻度以及其他表计的位置。预置点位的标注信息可视化。例如，同一副图中，左侧表计为标注信息中指定观测的表计，右侧表计为其他表计，左侧表计中的标注表示待巡检表计的指针中心点，各个数字刻度。具体过程如下：

一种基于物体检测和关键点定位的指针式表计数值识别方法，

表计检测模块：

1、将输入图像放缩到固定尺寸，并进行归一化。在本发明中图像的尺寸设置为512*512，归一化的策略为均值归一化和数值归一化。其中RGB三个通道的均值分别设置为104，117，123；数值归一化的参数设置为1/255。

2、将图像输入到表计检测网络中，获取网络的输出。输出格式为包含多个检测结果的列表。其中每条检测结果的格式如下：[pre_id，score,xmin，ymin,xmax，ymax],pre_id表示预测结果的编号，score表示检测框的得分，xmin表示预测框左上角横坐标，ymin表示预测框左上角纵坐标，xmax表示预测框右下角横坐标，ymax表示预测框右下角纵坐标。

3、对预测结果进行NMS(非极大值抑制)过滤，并按照置信度从高到低进行排序，得到预测的结果。

表计匹配模块：

定义预置点位的标注信息中标注的该点位下存在的表计的数量为n，每一个标注信息的表计的编号定义为g₁，g₂，…，g_n，标注信息中的所有表计记为集合G，预测结果中的表计数量为m，在预测结果中取前k个结果进行匹配，其中k＝min(n，m)。每一个预测结果的编号定义为p₁，p₂，…，p_k；预测结果中的所有表计记为集合P。为了表达的方便性，本发明假设n＝3，m＝100，待巡检的表计的编号为g₂。为了简化描述将预置点位的标注信息中标注的该点位下存在的表计简称为标注表计，检测结果中的表计称为检测表计，表计检测的流程如图2所示。

如果n＝＝1或者m＝＝1，则直接输出第一个预测结果。

a、遍历集合G和集合P，构造主匹配对集合

其中g_j表示待观察的表计的id。匹配对(p_i，g_i)表示本次尝试将观测表计g_j和预测结果p_i进行匹配。例如(p₁，g₂)表示预置点位的标注信息中编号为g₂的表计为待观察表计，本轮尝试将预测表计中标号为p₁的表计和待观察表计进行匹配。

b、遍历集合KM中的元素(p_i，g_j)，从集合G中剩余元素

中按照组合数的构造选择方法选择出

组元素，其中每组元素包含k-1元素，表示该组元素所表示的k-1个预置点位信息中的标注框和预测结果中的k-1个预测框进行匹配。将构造出来的

组元素集合称为Comb(p_i，g_j)。例如Comb(p₁，g₂)＝{{g₁，g₃}}，表示当尝试将预测表计中标号为p₁的表计和待观察表计g₂进行匹配时，g₁，g₃将和p₂,p₃将进行匹配。

c、遍历集合Comb(p_i,g_j)，对集合中的k-1元素按照全排列规则生成匹配序列Permu(p_i,g_i)，其中每个序列表示一种匹配。例如Permu(p₁,g₂)＝{{g₁,g₃}，{g₃,g₁}}，表示序列中包含两种匹配方式，第一种表示g₁,g₃和p₂,p₃将按序进行匹配，第二种表示g₃,g₁和p₂,p₃将按序进行匹配。

d、遍历匹配序列，其中每一种匹配使用本发明中设计的布局距离(layoutdistance)计算距离方法对每种匹配进行度量，具体表述如下。选择距离最小的匹配距离所确定的观测id所对应的表计作为观测表计。

布局距离：

该方法的输入为主匹配对和其余表计的匹配方案，计算匹配后各个表计的归一化距离。

1、利用主匹配中的标注表计的坐标，对所有标注表计的坐标进行中心化和归一化。假设主匹配中的标注表计的坐标为[xmin_g,ymin_g,xmax_g,ymax_g],图像的宽度和高度分别为img_width,img_height。标注表计的原始坐标为[gx1,gy1,gx2,gy2]。那么归一化后的坐标为[n_gx1,n_gy1,n_gx2,n_gy2]：

n_gx1＝(gx1-xmin_g)/img_width

n_gy1＝(gy1-ymin_g)/img_height

n_gx2＝(gx2-xmin_g)/img_width

n_gy2＝(gy2-ymin_g)/img_height

2、利用主匹配中的检测表计的坐标，对所有检测表计的坐标进行中心化和归一化。假设主匹配中的检测表计的坐标为[xmin_p,ymin_p,xmax_p，ymax_p],图像的宽度和高度分别为img_width,img_height。标注表计的原始坐标为[px1,py1,px2,py2]。那么归一化后的坐标为[n_px1,n_py1,n_px2,n_py2]：

n_px1＝(px1-xmin_p)/img_width

n_py1＝(py1-ymin_p)/img_height

n_px2＝(px2-xmin_p)/img_width

n_py2＝(py2-ymin_p)/img_height

3、利用生成的匹配关系计算，每一对匹配的标注表计中心点和预测表计的中心点的欧式距离d。

关键点检测模块:

1、根据表计检测模块和表计匹配模块计算得到的表计位置，从输入图像中截取相应的区域，作为关键点检测模型的输入。本发明将关键点检测的输入尺寸定位设置为256*256，同时输入图像进行数值归一化，均值归一化以及方差归一化。其中RGB三个通道的均值归一化参数设置为[0.485,0.456,0.406],方差设置归一化参数设置为[0.229,0.224,0.225]；数值归一化的参数设置为1/255。

2、将图像输入到关键点检测网络中，获取四个关键点位置。包括指针中心点、指针末端点、数字刻度起点、数字刻度终点，分别为P_c,P_m,P_s,P_e。

数字读取模块：

1、根据预置点位的标注信息，计算各个刻度点在表盘中的相对位置。具体计算方式如下：标注信息数字刻度起点P_sm和标注信息中的指针中心点P_cm的连线为L_csm，刻度终点P_em和指针中心点P_cm的连线为L_cem，L_csm和L_cem的夹角为θ(AM)。记表盘上的各个刻度点为P_i，各个刻度点和圆心的连线为

和L_cem的夹角为θ(cp_ie)。则各个刻度点P_i的相对位置R(p_i)为：

将各个刻度点的相对位置R(p_i)存入集合R(p_s)。

2、根据关键点模型输出的结果，计算指针所在位置在表盘中的相对位置。具体计算方式如下：记指针末端点P_m和指针中心点P_c连线为L_cm，数字刻度起点P_s和指针中心点P_c的连线为L_sc，数字刻度终点P_e和指针中心点P_c的连线为L_ec，L_sc和L_ce的夹角为θ(sce),L_sc和L_cm的夹角为θ(scm)则指针在表盘中的相对位置R(p_m)为：

3、在集合R(p_s)中查找数值上最接近R(p_m)的R(p_l)和R(p_g)，并找到对应的刻度值N(l)和N(g)，其中R(p_l)是最大的小于R(p_m)的值，R(p_g)最小的大于R(p_m)的值，此时示数读取结果为C，具体计算公式如下。

其中，R(p_l)为最大的小于等于R(p_m)的值，例如R(p_m)为43％，而表盘刻度的全部的R(p_s)为0％，20％，40％，60％，80％，100％。最大的小于等于R(p_m)的值为40％，最小的大于等于R(p_m）的值为60％。R(p_l）也可以表示为R(p_m）在序列R(p_s）中按照从小到大排序后的序列中的最大下界；R(p_g）也可以表示为R(p_m)在序列R(p_s)中按照从小到大排序后的序列中的最小上界；N(l)为R(p_l)对对应的刻度值；N(g)为R(p_g)所对应的刻度值。

云台摄像机由于因其覆盖率广，运行速度较快，平均造价低等特点已经被广泛的应用在电力巡检中。巡检过程中通常是由后台发送巡检命令，随后云台机捕捉指定点位的图像，传入后台分析服务进行分析并将分析结果返回给巡检服务器。在这个过程分析服务要从图像中定位出与后台巡视表计相对于表计的位置，并计算出表计的读数。

本发明中阈值点位下所有表计都会进行标注，称为标注表计，其中只有一个表计会被标注成待观测表计，也只有该表计会对表盘进行标注(比如0刻度线的位置等等)；利用检测算法从巡检图像中检测出来的全部图像，利用匹配算法找到巡检图像中和待观察表计中相对应的表计称为预测表计。

一种基于物体检测和关键点定位的指针式表计数值识别装置，包括物体表计检测模块、表计匹配模块、关键点检测模块以及数字读取模块。

上述模块训练过程如下：

表计检测模块：

1、数据采集。该部分采集的数据包含两部分，一部分为利用手持设备采集的多种不同类型表计的图像，该部分图像全部用来作为训练集。另外一部分是巡视系统配置的点位图。这部分图像一半用于训练集合，另外一部分用于测试集。

2、数据标注。对采集的数据进行标注，利用标注框对图像中的所有表计进行标注，包括电流表，电压表，sf6表计，油温表，气体压力表等等。

3、对表计检测模型进行训练，待模型收敛后，得到权重文件。

表计匹配模块：

该模块是用于对检测出来的表计和后台巡检表计进行匹配，从而对读取指定表计的读数。该模块的输入包括对预置点位的标注信息和该点位的检测结果。该模块不需要进行训练，仅用于模型推理过程中。

关键点检测模块：

1、数据标注。对表计检测模块所标注的数据集进行二次筛选，筛选其中清晰的表计。标注指针中心点，指针末端点，数字刻度起点和数字刻度终点。表计图像的外部边框为表计的位置供表计检测模块使用，内部四个关键点供关键点检测模块使用。

2、数据扩增。考虑到表计检测的结果可能会和表计的实际位置有所偏差。因此，本发明在对标注图像进行截取用于关键点训练时采用了带约束的随机剪裁的方式。数据扩增仅针对训练集合，对测试集合不进行扩展。针对单张图像的数据扩增方式如图1所示，具体剪裁方式如下：

a)定义rand_x,rand_y,rand_w,rand_h四个变量，上述四个变量均为-R到+R之间的随机数，其中rand_x,rand_y表示表计中心点的随机偏移方向，rand_w,rand_h表示表计标注框的宽度和高度的随机变化尺度。

b)计算剪裁框位置。根据上面定义的参数和表计标注框的中心点横坐标x，和中心点纵坐标y，和标注框的宽度w和高度h。按照如下公式计算随机剪裁位置(n_x,n_y,n_w,n_y)。

n_x＝x+rand_x*w

n_y＝y+rand_y*h

n_w＝w+w*rand_w

n_h＝h+h*rand_h

c)检查关键点是否都在剪裁框内。检查标注的关键点是否在新生成的标注框里面。如果四个关键点都在剪裁框则生成了一个合法的关键点检测的训练样本，否则返回步骤a，继续进行计算，直到生成满足数量的样本。

3、训练关键点检测模型。本发明中选择HRNet作为基础模型，进行关键点进行关键点检测模型的训练。在训练过程中我们对训练图像进行数据增强。数据增强方式包括随机亮度变化、对比度的随机变化、随机左右翻转、随机旋转。图像进行增强的同时对标签相应的操作，保证标签的正确性。待模型收敛后，得到权重文件。

数字读取模块：

该模块基于输入的预置点位标注信息和关键点检测信息，进行指针读数，该部分无需进行训练。

模型运算过程：

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，包括如下步骤：

对巡检图像进行图像放缩、归一化处理；

对放缩、归一化处理的巡检图像进行检测；

对检测结果进行过滤、排序，得到预测结果；

获取预置点位的标注信息中的标注表计；

将预测结果中的表计与标注表计进行匹配，得到预测表计位置；

根据预测表计位置从巡检图像中截取相应的区域；

对截取相应的区域进行关键点检测；

根据预置点位的标注信息中待观察表计的标注信息计算各个刻度点在表盘中的第一相对位置；

根据关键点检测的结果计算指针所在位置在表盘中的第二相对位置；

根据第一相对位置和第二相对位置获取指针式表计数值；

将预测结果中的表计与标注表计进行匹配的过程如下：

定义标注表计中的表计数量为n、预测结果中的全部表计数量为m，匹配时取前k个结果进行匹配，其中k＝min(n，m)；

定义所有标注表计为集合G、所有预测结果中的表计为集合P；

遍历集合G和集合P，将标注表计中的待观测表计g_j和预测结果p_i进行匹配，构造主匹配对集合

遍历集合KM中的元素(p_i，g_j)，将集合G中剩余元素

按照组合数的构造选择方法选择出

组元素，其中每组元素包含k-1元素，对预置点位信息中的选中的k-1标注框和预测结果中的k-1个预测框进行匹配；

将构造出来的

组元素集合称为Comb(p_i，g_j)，遍历集合Comb(p_i，g_j)，对集合中的k-1元素按照全排列规则生成匹配序列；

遍历匹配序列，使用布局距离计算距离方法对每种匹配进行度量；

选择距离最小的匹配距离所确定的遍历匹配序列，确定该匹配序列中待观察表计所对应的检测表计为观测表计。

2.根据权利要求1所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，所述布局距离的计算过程如下：

通过主匹配中的标注表计的坐标，对所有标注表计的坐标进行中心化和归一化处理；

通过主匹配中检测表计的坐标，对所有检测表计的坐标进行中心化和归一化处理；

根据匹配关系计算每一对匹配的标注表计中心点和预测表计的中心点的欧式距离。

3.根据权利要求2所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，对截取相应的区域进行关键点检测的过程如下：

根据标注表计中心点和预测表计的中心点的欧式距离，从输入图像中截取相应区域图片；

对相应区域图片进行数值归一化、均值归一化以及方差归一化；

对归一化后的相应区域图片进行检测，获取四个关键点位置。

4.根据权利要求3所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，所述四个关键点位置包括指针中心点、指针末端点、数字刻度起点、数字刻度终点。

5.根据权利要求4所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，根据第一相对位置和第二相对位置获取指针式表计数值，包括：

根据预置点位的标注信息中对待观察表计的标注信息计算各个刻度点在表盘中的第一相对位置；

根据四个关键点位置计算指针所在位置在表盘中的第二相对位置；

根据第一相对位置和第二相对位置获取指针式表计数值。

6.根据权利要求5所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，刻度点在表盘中的第一相对位置计算公式如下：

其中，R(p_i)为刻度点的相对位置，θ(cp_ie)为刻度点和圆心的连线与刻度终点和指针中心点的连线的夹角；θ(AM)为刻度起点和指针中心点的连线与刻度终点和指针中心点的连线的夹角；

指针所在位置在表盘中的第二相对位置计算公式为：

其中，R(p_m)为指针在表盘中的相对位置；θ(scm)为数字刻度起点和指针中心点的连线与指针末端点和指针中心点连线的夹角；θ(sce)为数字刻度起点和指针中心点的连线与数字刻度终点和指针中心点的夹角。

7.根据权利要求6所述的一种基于物体检测和关键点定位的指针式表计数值识别方法，其特征在于，指针式表计数值的计算方法为：

其中，C为指针式表计数值；R(p_m)为指针在表盘中的相对位置；R(p_l)为R(p_m)在序列R(p_s)中按照从小到大排序后的序列中的最大下界；R(p_g)为R(p_m)在序列R(p_s)中按照从小到大排序后的序列中的最小上界；N(l)为R(p_l)对应的刻度值；N(g)为R(p_g)所对应的刻度值；各个刻度点的相对位置R(p_i)存入的集合为R(p_s)。

Images