CN111414934A - 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 - Google Patents
一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 Download PDFInfo
- Publication number
- CN111414934A CN111414934A CN202010071489.7A CN202010071489A CN111414934A CN 111414934 A CN111414934 A CN 111414934A CN 202010071489 A CN202010071489 A CN 202010071489A CN 111414934 A CN111414934 A CN 111414934A
- Authority
- CN
- China
- Prior art keywords
- pointer
- cnn
- net
- faster
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 92
- 238000012360 testing method Methods 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 29
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 26
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器视觉领域，公开了一种基于Faster R‑CNN和U‑Net的指针式仪表读数自动识别方法，包括：S1)制作Faster R‑CNN数据集；S2)建立Faster R‑CNN网络模型，对Faster R‑CNN网络模型分别进行训练和测试；S3)构建U‑Net网络模型，建立损失函数L，对U‑Net网络模型分别进行训练和测试；S4)利用刻度线分割结果拟合刻度线轮廓；S5)利用透视变换校准表盘图像；S6)利用Faster R‑CNN网络模型对指针区域进行检测；S7)获取表盘校准图像的指针倾角以及最终结果。本发明采用Faster R‑CNN模型代替ORB等传统角点检测算法，提高检测仪表表盘和仪表指针所在区域的准确性；用分割图像、拟合轮廓的方法取代霍夫变换算法，针对电力仪表特点重新设计了U‑Net模型和相应的损失函数，自动识别准确率高。
Description
技术领域
本发明涉及机器视觉领域，特别是涉及一种基于Faster R-CNN和U-Net的指针式仪表 读数自动识别方法。
背景技术
变电站的大量压力表、电流表、油温表等表计出于对经济成本和环境中电磁干扰的考 虑，大多设计为指针式仪表。随着经济的发展，巡检机器人被引进越来越多的变电站，代替 人工巡检，极大提高了变电站的自动化水平。巡检机器人可以方便采集变电站的大量表计图 像，对于这些获取的图像数据尤其是指针式仪表图像数据，如何实现其读数自动识别对于进 一步提高变电站自动化水平具有重要的意义。
指针式仪表读数自动识别流程大致分为检测表盘和识别指针位置两个步骤。传统检测 图像中仪表表盘区域的方法大多为先计算图像的梯度找到图像角点，然后根据图像角点检测 结果与模版库的表盘图像进行特征匹配，特征匹配计算的距离越近则角点所在区域是表盘图 像的概率越大。常用的角点检测方法有SIFT、SURF、ORB等。但是角点检测方法受图像噪 声、环境遮挡因素影响较大，因此在图像质量不高或者背景存在大量干扰物的情形下难以正 确地检测表盘位置。在指针检测方面，传统采用的方法为霍夫线变换，不过霍夫线变换对参 数的依赖性强、灵活性差，并且处理背景复杂的仪表图像时，霍夫线变换边缘检测结果中会 出现非常多的干扰图形，因而其实用性受限。比如国家专利文献CN104657711 A公开了“一 种鲁棒的指针式仪表读数自动识别方法”，包括如下步骤：s1、获取仪表盘图像；s2、提取与 仪表盘图像对应的本征图像，在本征图像提取过程中消除阴影；s3、基于所述本征图像确定 仪表盘的中心，然后定位刻度线和仪表指针；s4、确定仪表盘数字所在区域，然后对仪表盘 数字所在区域内的数字进行识别；s5、根据仪表指针位置，确定与刻度线相对关系，然后根 据刻度读数得到仪表读数。该发明采用霍夫线Hough变换，然而霍夫线变换对参数的依赖性 强、灵活性差，并且处理背景复杂的仪表图像时，霍夫线变换边缘检测结果中会出现非常多 的干扰图形，因而其实用性受限。
发明内容
本发明是为了解决传统角点检测和霍夫变换方法自动识别指针式仪表图像读数的准 确率不高的问题，提出了一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法。 本发明采用基于深度学习的Faster R-CNN模型代替ORB等传统角点检测算法，提高检测仪 表表盘和仪表指针所在区域的准确性；用分割图像、拟合轮廓的方法取代霍夫变换算法，针 对电力仪表特点重新设计了U-Net模型和相应的损失函数，提高复杂场景下对小物件识别的 准确性，指针式仪表图像读数的自动识别准确率高。
为了实现上述目的，本发明采用以下技术方案：
一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，包括步骤：
S1)采集指针式仪表图像数据集，制作Faster R-CNN数据集；
S2)建立Faster R-CNN网络模型，利用Faster R-CNN数据集对Faster R-CNN网络模型分别 进行训练和测试，获得表盘区域识别结果，表盘区域识别结果包括表盘类型、仪表量程和/或 仪表单位；
S3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net 网络模型分别进行训练和测试，获得U-Net表盘区域的刻度线分割结果，刻度线分割结果包 括表盘轮廓中的n个点坐标；
S4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆；
S5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像；
S6)利用Faster R-CNN网络模型对指针区域进行检测，利用U-Net网络模型分割出指针区域 的指针像素；
S7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，获得指针式仪表读数识别 的最终结果。
本发明首先利用Faster R-CNN检测仪表图像的表盘区域，同时得到表盘的类型，然后 使用U-Net分割表盘区域的刻度线部分，紧接着根据刻度线端点位置信息通过轮廓拟合以及 透视变换方法对表盘图像进行校准；在校准的表盘图像中再次使用Faster R-CNN检测所得表 盘区域中的指针所在区域，并再次使用U-Net精细地分割指针所在区域中仅属于指针的像素， 最后计算指针的倾角并结合仪表的类型信息从而得到指针式仪表的最终识别结果。
进一步的，步骤S1)中制作Faster R-CNN数据集，包括将Faster R-CNN数据集按比例分为Faster R-CNN训练集和Faster R-CNN测试集，对Faster R-CNN训练集的每张图片制作两份XML文件，两份XML文件包括第一份XML文件和第二份XML文件，第一份XML 文件记录训练集每张图片中表盘区域的位置和表盘标签，表盘标签包括仪表的具体型号；第 二份XML文件记录训练集每张图片指针区域的位置和指针标签。
制作Faster R-CNN数据集时将巡检机器人采集的指针式仪表图像数据集按比例分为 训练集和测试集。对于训练集的每张图片，制作两份XML文件：第一份XML文件记录表盘 区域的位置和标签，为了后期能够正确得到仪表种类，表盘的标签需要指明仪表的具体型号 (如SF6压力表)；第二份XML文件记录指针区域的位置和标签，标签统一注明为指针即可。 这两份XML文件将分别用于训练Faster R-CNN网络检测识别表盘区域和指针区域。
进一步的，步骤S2)中利用Faster R-CNN数据集对Faster R-CNN网络模型分别进行 训练和测试，包括将训练集和第一份XML文件输入到Faster R-CNN网络模型，调整Faster R-CNN网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对FasterR-CNN 网络模型进行测试。
训练并测试Faster R-CNN网络模型，将训练集图片和记录表盘区域位置和标签信息的 XML文件输入到Faster R-CNN网络模型，并适当调整参数如学习率以及训练轮数。训练完 成后需要对模型的检测效果进行测试，测试阶段需要输入测试集中的图片数据。
进一步的，步骤S3)包括：
S31)将指针式仪表图片数据集按比例分成U-Net训练集和U-Net测试集，对U-Net训练集中 的每张图片制作两类标签图像，包括第一类标签图像和第二类标签图像，所述第一类标签图 像保留表盘区域中的刻度线像素，所述第二类标签图像保留指针区域中仅属于指针的像素；
S32)对标签图像进行预处理，包括将背景像素类别标签设为0，目标像素类别标签统一设为 1；
S33)在U-Net网络中计算样本真实值和预测值的相似度
X为图像像素的 真实标签集合，Y为预测标签集合，ε为平滑常数；
S34)将相似度s作为U-Net网络的损失函数L；
S35)将U-Net训练集和第一类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损 失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测 试。
制作U-Net数据集。将指针式仪表图片数据集按照比例分成训练集和测试集。对训练 集中的每张图片制作两张标签图像：第一张标签图像制作方法为仅保留表盘区域中的刻度线 像素，第二张标签图像制作方法为保留指针区域中仅属于指针的像素。两种标签图像将分别 用于U-Net分割表盘刻度线和指针的训练任务。网络训练前还需要对标签图像进行预处理： 将背景像素(RGB值均为0)类别标签设为0，目标像素(RGB值非0)类别标签统一设为1。预 处理操作把图像像素类别的预测转化为二分类问题。构建U-Net网络模型，同时针对缓解传 统交叉熵损失函数处理类别不平衡问题的不足之处，本发明在改进的U-Net模型的损失函数 中引入计算样本真实值和预测值的相似度s，在图像分割领域相似度s等效为计算真实轮廓和 预测轮廓之间的接近程度。将相似度s作为损失函数L。步骤S35)中训练集图片和仅保留表 盘区域刻度线的标签图像输入到U-Net网络进行训练，训练过程中为了防止过拟合现象，当 损失函数L经历若干迭代次数不再减少时应结束训练过程。训练结束后需要对表盘刻度线的 分割效果进行测试，测试阶段需要输入测试集中的图像数据。
进一步的，步骤S4)中利用刻度线分割结果拟合刻度线轮廓，包括：
S41)刻度线分割结果包括刻度线轮廓，将刻度线轮廓的n个点坐标记为 {x1,y1},{x2,y2},...,{xn,yn}，xn表示第n个点的横坐标值，yn表示第n个点的 纵坐标值；
S42)建立椭圆方程：Ax2+Bxy+Cy2+Dx+Ey＝1，将刻度线轮廓中的n个点坐 标代入椭圆方程中，求解等式
其中
获得椭圆方程的5个参数A、B、C、D和E。
U-Net刻度线分割结果已排除背景的干扰，图像中仅剩下刻度线轮廓。接下来需要拟 合刻度线轮廓为下一步校准表盘图像做准备。由于表盘没有校准，U-Net分割得到的刻度线 弧一般是椭圆的一部分。
进一步的，步骤S5)中利用透视变换校准表盘图像，包括步骤：
S51)考虑一个实际表盘所在的假想平面，以表盘中心O为原点在所述假想平面中建立直角 坐标系，以O为中心、预先设置的半径R画圆Q，所述圆Q与横纵坐标轴产生四个交点：(R，0)、 (-R，0)、(0,R)、(0,-R)；
S52)将拟合椭圆的长轴和短轴的四个顶点分别记为(s1，t1)、(s2，t2)、(s3,t3)、(s4,s4)， 利用透视变换公式将拟合椭圆的长轴和短轴的四个顶点投影到所述假想平面，所述四个顶点 与所述四个交点一一对应，获得透视变换矩阵T；
S53)根据透视变换矩阵T将拟合椭圆的所有点投射到所述假想平面，获得投影图像，拟合 椭圆经过透视变换后将处于所述圆Q的位置，将拟合椭圆中的原图像刻度弧端点在圆Q上的 投射点位置设为M，向量
的角度为θ1，实际表盘面上刻度弧的端点设为N，向量
的角 度为θ2，计算旋转角差Δθ＝θ1-θ2；
S54)根据旋转角差Δθ对投影图像进行仿射旋转变换，进行仿射旋转变换后获得标准无偏的 表盘图像。
透视变换实现了将原图像平面投影到三维空间再映射到新的视平面。设原图像平面某 点齐次坐标为(x,y,1)，在三维投影空间中的坐标为(u,v,w)，在新的视平面齐次坐标为 (x′,y′,1)，透视变换公式为
透视变换矩阵
原图像刻度弧拟合的椭圆 经过透视变换后将处于圆Q的位置，设刻度弧端点在圆Q上的投射点位置设为M，向量
的 角度为θ1，此时投影后的表盘和实际表盘面平行但存在旋转角差。实际上当表计类型确定下 来，表盘面上刻度弧的端点N和圆心O的位置关系是固定的，设向量
的角度为θ2。则旋 转角差即为θ1和θ2的角度差。计算得到旋转角差后对投影图像再施加仿射旋转变换就能得到 标准无偏的表盘图像。
进一步的，步骤S6)中利用Faster R-CNN网络模型对指针区域进行检测，包括将Faster R-CNN训练集和所述第二份XML文件输入到Faster R-CNN网络模型，调整Faster R-CNN 网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对Faster R-CNN网络模型 进行测试。
将训练集图片和记录指针区域位置和标签信息的XML文件输入到Faster R-CNN模型，同样在调整学习率、训练轮数等参数后继续进行指针区域检测任务。训练完成后同样需要对模型的检测效果进行测试，测试阶段输入测试集中的图片数据。
进一步的，步骤S6)中利用U-Net网络模型分割出指针区域的指针像素，包括将U-Net 训练集和第二类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值 不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测试。
将将U-Net训练集和仅保留指针像素的标签图像输入到U-Net网络进行训练，训练过 程中为了防止过拟合现象，当损失函数L经历若干迭代次数不再减少时应结束训练过程。训 练结束后需要对指针分割效果进行测试，测试阶段需要输入测试集中的图像数据。
进一步的，步骤S7)中根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角， 包括获得指针像素的轮廓，对所述指针像素的轮廓进行形态学处理，获得形态学处理后指针 轮廓的外边界点，根据所述外边界点计算指针最小外接矩形，获得所述指针最小外接矩形的 旋转角，得到校准图像中的指针倾角。
由于指针轮廓修长且对称，因此拟合指针轮廓的最小外接矩形，该矩形的旋转角就是 指针的倾角。在理想情况下分割轮廓图仅包含指针像素，但实际上可能残留着一些小的干扰 点。为了进一步排除干扰，可以先对轮廓图进行形态学处理除去残留的离散小点块。形态学 处理操作后，剩余点基本都在指针轮廓内，此时找到轮廓的外边界点即可计算指针最小外接 矩形方程。当Faster R-CNN和U-Net网络均已训练完成后,得到表盘的类型以及校准图像中的 指针倾角，综合两者信息可以得到指针式仪表读数识别的最终结果。
对轮廓图进行“腐蚀”形态学处理除去残留的离散小点块。设原轮廓图点集为P，卷积核结构为Q，使Q在P中顺序移动，由以下公式得到“腐蚀”图像：
PΘQ表示用结构Q来腐蚀图像P，当Q中心点移动到P的(m,n) 位置时，设P中和Q重叠的子区域为P′，则只有当P′在Q中元素非零位置处的元素也均非 零，卷积结果才为1。由于分割图像中的干扰点较少，卷积核Q可设计为3*3的十字形结构。
本发明具有如下有益效果：本发明引入了基于深度学习的Faster R-CNN模型，提高了 检测仪表部件的准确率；提出用分割图像、拟合轮廓的方法取代传统的霍夫线变换算法，针 对电力仪表特点重新设计了U-Net网络和相应的损失函数L，提高了复杂图像去干扰的可靠 性和小目标检测识别的准确性。
附图说明
图1是实施例一流程示意图。
图2实施例一Faster R-CNN网络结构。
图3实施例一Faster R-CNN检测表盘效果图。
图4实施例一U-Net表盘刻度线分割任务训练集标签图像样例。
图5实施例一U-Net指针分割任务训练集标签图像样例。
图6实施例一U-Net分割表盘刻度线效果图。
图7实施例一拟合椭圆和表盘刻度线对应结果图。
图8实施例一表盘图像校准结果图。
图9实施例一Faster R-CNN检测指针效果图。
图10实施例一U-Net分割指针效果图。
图11实施例一拟合矩形和指针对应结果图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例一，选取某变电站的1387张SF6压力表图像作为指针式仪表读数自动识别的 实验数据集，每张图像分辨率均为1920*108。将实验数据集按照约4:1比例分为1107张图片 作为训练集和280张图片作为测试集。测试平台CPU为Core i7-9700K，GPU为单核GEFORCE GTX 1080Ti。
如图1所示，一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，包括 步骤：
S1)采集指针式仪表图像数据集，制作Faster R-CNN数据集，包括将Faster R-CNN数据集 按照4:1比例分为Faster R-CNN训练集和Faster R-CNN测试集，对Faster R-CNN训练集的 每张图片制作两份XML文件，两份XML文件包括第一份XML文件和第二份XML文件， 第一份XML文件记录训练集每张图片中表盘区域的位置和表盘标签，表盘标签包括仪表的 具体型号；第二份XML文件记录训练集每张图片指针区域的位置和指针标签。
S2)建立Faster R-CNN网络模型，Faster R-CNN网络模型如图2所示，利用FasterR-CNN 数据集对Faster R-CNN网络模型分别进行训练和测试，包括将训练集和第一份XML文件输 入到Faster R-CNN网络模型，调整Faster R-CNN网络模型的参数，所述参数包括学习率和/ 或训练轮数；利用测试集对Faster R-CNN网络模型进行测试。判断是否检测到表盘区域，若 否，则输出检测异常提示1；若是，则获得表盘区域识别结果，表盘区域识别结果包括表盘 类型、仪表量程和/或仪表单位。部分表盘检测效果如图3所示。
S3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net网络模型分别进行训练和测试，包括：
S31)将指针式仪表图片数据集按照4:1比例分成U-Net训练集和U-Net测试集，对U-Net训 练集中的每张图片制作两类标签图像，包括第一类标签图像和第二类标签图像，所述第一类 标签图像保留表盘区域中的刻度线像素，所述第二类标签图像保留指针区域中仅属于指针的 像素。训练数据集标签图像样例如图4和图5所示。
S32)对标签图像进行预处理，预处理包括将背景像素类别标签设为0，目标像素类别 标签统一设为1；
S33)在U-Net网络中计算样本真实值和预测值的相似度
X为图像像素的 真实标签集合，Y为预测标签集合，ε为平滑常数；
S34)将相似度s作为U-Net网络的损失函数L；
S35)将U-Net训练集和第一类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损 失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测 试。
获得U-Net表盘区域的刻度线分割结果，部分表盘刻度线分割测试效果如图6所示。
刻度线分割结果包括表盘轮廓中的n个点坐标。
S4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆，包括：
S41)刻度线分割结果包括刻度线轮廓，将刻度线轮廓的n个点坐标记为 {x1,y1},{x2,y2},...,{xn,yn}，xn表示第n个点的横坐标值，yn表示第n个点 的纵坐标值；
S42)建立椭圆方程：Ax2+Bxy+Cy2+Dx+Ey＝1，将刻度线轮廓中的n个 点坐标代入椭圆方程中，求解等式
其中
获得椭圆方程的5个参数A、B、C、D和E。图7展示了部分测试集中 拟合椭圆和U-Net分割得到的刻度线轮廓的对应关系。
S5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像，包括步骤：
S51)考虑一个实际表盘所在的假想平面，以表盘中心O为原点在所述假想平面中建立直角 坐标系，以O为中心、预先设置的半径R画圆Q，所述圆Q与横纵坐标轴产生四个交点：(R，0)、 (-R，0)、(0,R)、(0,-R)；
S52)将拟合椭圆的长轴和短轴的四个顶点分别记为(s1，t1)、(s2，t2)、(s3,t3)、(s4,s4)， 利用透视变换公式将拟合椭圆的长轴和短轴的四个顶点投影到所述假想平面，所述四个顶点 与所述四个交点一一对应，获得透视变换矩阵T；
S53)根据透视变换矩阵T将拟合椭圆的所有点投射到所述假想平面，获得投影图像，拟合 椭圆经过透视变换后将处于所述圆Q的位置，将拟合椭圆中的原图像刻度弧端点在圆Q上的 投射点位置设为M，向量
的角度为θ1，实际表盘面上刻度弧的端点设为N，向量
的角 度为θ2，计算旋转角差Δθ＝θ1-θ2；
S54)根据旋转角差Δθ对投影图像进行仿射旋转变换，进行仿射旋转变换后获得标准无偏的 表盘图像，图8展示了部分测试集中表盘图像校准的效果。
S6)利用Faster R-CNN网络模型对指针区域进行检测，将Faster R-CNN训练集和所述 第二份XML文件输入到Faster R-CNN网络模型，调整Faster R-CNN网络模型的参数，参数 包括学习率和/或训练轮数；利用测试集对Faster R-CNN网络模型进行测试，判断是否检测到 指针区域，若否，则输出检测异常提示2；若是，则获得指针区域识别结果，部分指针检测 效果如图9所示。
利用U-Net网络模型分割出指针区域的指针像素，包括将U-Net训练集和第二类标签 图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值不再减少时结束训练， 训练结束后利用U-Net测试集数据对U-Net网络进行测试，部分指针分割测试效果如图10所 示。
S7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，包括获得指针像素 的轮廓，对所述指针像素的轮廓进行形态学处理，获得形态学处理后指针轮廓的外边界点， 根据所述外边界点计算指针最小外接矩形，图11展示了部分测试集中拟合矩形和U-Net分割 得到的指针轮廓的对应关系。获得所述指针最小外接矩形的旋转角，得到校准图像中的指针 倾角。获得指针式仪表读数识别的最终结果。
对轮廓图进行“腐蚀”形态学处理除去残留的离散小点块。设原轮廓图点集为P，卷积核结构为Q，使Q在P中顺序移动，由以下公式得到“腐蚀”图像：
PΘQ表示用结构Q来腐蚀图像P，当Q中心点移动到P的(m,n) 位置时，设P中和Q重叠的子区域为P′，则只有当P′在Q中元素非零位置处的元素也均非 零，卷积结果才为1。由于分割图像中的干扰点较少，卷积核Q可设计为3*3的十字形结构。
仪表检测方面定义错检率指标为将非表计目标检测为表计的错误次数与总检测次数 之比，漏检率指标为未识别图像中表计的错误次数与总检测次数之比。为了对比本发明的仪 表检测效果，选取了基于HOG特征的SVM和随机森林两种传统机器学习模型作为对照。三 种模型仪表检测任务的测试结果如表1所示。
表1仪表检测模型测试结果
表1
对比表1数据发现，本发明的基于深度学习的Faster R-CNN模型在错检率、漏检率均明显低 于传统机器学习算法。另外凭借GPU的并行计算优势，Faster R-CNN模型处理速度也优于 CPU模式下的SVM和随机森林。
在仪表读数识别的指针检测步骤中，为了测试本发明对U-Net模型和损失函数的改进 效果，设置了三个对照组：对照组1为使用改进后的U-Net模型，损失函数为传统的交叉熵 损失函数；对照组2使用改进前的U-Net模型，损失函数为本发明采用的损失函数(Dice损 失函数)；对照组3使用改进前的U-Net模型，损失函数为交叉熵损失函数。采用精确率 (Precision)、召回率(Recall)、准确率(Accuracy)三个常见指标来评价图像分割效果。本发明模 型和三个对照组的图像分割统计结果如表2所示。
表2 U-Net图像分割结果对比
| 模型 | 精确率/％ | 召回率/％ | 准确率/％ |
| 本发明模型 | 92.92 | 84.07 | 97.49 |
| 对照模型1 | 87.01 | 78.36 | 96.25 |
| 对照模型2 | 95.49 | 71.57 | 96.43 |
| 对照模型3 | 89.34 | 64.95 | 95.17 |
表2
从表2数据发现，4个模型的准确率均在95％以上，这是由于类别不平衡造成的结果。在这 种情形下，精确率和召回率的参考意义更大。进一步分析表中数据可以得到以下结论：
1)本发明与对照组1对比，以及对照模型2与对照模型3对比，可以发现，Dice损失函数使 模型的精确率、召回率均提高近6个百分点，说明了其处理类别不平衡问题的有效性。
2)本发明与对照组2对比，以及对照组1与对照组3对比，可以发现，对模型结构的修改会使得图像分割精确率下降约3个百分点，但召回率增加近10个百分点。提升召回率会降低网络把目标像素识别为背景像素的错误几率。由于目标像素数量对于轮廓拟合影响较大， 为了尽量保证预测正确的目标像素数量，牺牲一定的精确率是有益的。
若定义读数准确率为读数相对误差在±1.5％以内的测量次数占总测量次数之比，定义 偏差率为读数相对误差在±1.5％到±2.5％区间内的测量次数与总测量次数之比，错误率为相 对误差在±5％以上的测量次数与总测量次数之比。在Faster R-CNN检测结果基础上，本发明 设计的U-Net模型经过1000轮训练后在测试集中像素分割的准确率达到97％，能够精准排除 干扰、识别指针，仪表读数识别偏差率为4.04％，错误率为0，准确率达90％，具有较高的 工程意义。
本发明首先利用Faster R-CNN检测仪表图像的表盘区域，同时得到表盘的类型，然后 使用U-Net分割表盘区域的刻度线部分，紧接着根据刻度线端点位置信息通过轮廓拟合以及 透视变换方法对表盘图像进行校准；在校准的表盘图像中再次使用Faster R-CNN检测所得表 盘区域中的指针所在区域，并再次使用U-Net精细地分割指针所在区域中仅属于指针的像素， 最后计算指针的倾角并结合仪表的类型信息从而得到指针式仪表的最终识别结果。
本发明采用基于深度学习的Faster R-CNN模型代替ORB等传统角点检测算法，提高 检测仪表表盘和仪表指针所在区域的准确性；用分割图像、拟合轮廓的方法取代霍夫变换算 法，针对电力仪表特点重新设计了U-Net模型和相应的损失函数，提高复杂场景下对小物件 识别的准确性，指针式仪表图像读数的自动识别准确率高。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的 限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要 付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。
Claims (10)
1.一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，包括步骤：
S1)采集指针式仪表图像数据集，制作Faster R-CNN数据集；
S2)建立Faster R-CNN网络模型，利用Faster R-CNN数据集对Faster R-CNN网络模型分别进行训练和测试，获得表盘区域识别结果，所述表盘区域识别结果包括表盘类型、仪表量程和/或仪表单位；
S3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net网络模型分别进行训练和测试，获得U-Net表盘区域的刻度线分割结果，所述刻度线分割结果包括表盘轮廓中的n个点坐标；
S4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆；
S5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像；
S6)利用Faster R-CNN网络模型对指针区域进行检测，利用U-Net网络模型分割出指针区域的指针像素；
S7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，获得指针式仪表读数识别的最终结果。
2.根据权利要求1所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S1)中制作Faster R-CNN数据集，包括将Faster R-CNN数据集按比例分为Faster R-CNN训练集和Faster R-CNN测试集，对Faster R-CNN训练集的每张图片制作两份XML文件，所述两份XML文件包括第一份XML文件和第二份XML文件，所述第一份XML文件记录训练集每张图片中表盘区域的位置和表盘标签，所述表盘标签包括仪表的具体型号；第二份XML文件记录训练集每张图片指针区域的位置和指针标签。
3.根据权利要求2所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S2)中利用Faster R-CNN数据集对Faster R-CNN网络模型分别进行训练和测试，包括将训练集和第一份XML文件输入到Faster R-CNN网络模型，调整FasterR-CNN网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对Faster R-CNN网络模型进行测试。
4.根据权利要求2或3所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S3)包括：
S31)将指针式仪表图片数据集按比例分成U-Net训练集和U-Net测试集，对U-Net训练集中的每张图片制作两类标签图像，包括第一类标签图像和第二类标签图像，所述第一类标签图像保留表盘区域中的刻度线像素，所述第二类标签图像保留指针区域中仅属于指针的像素；
S32)对标签图像进行预处理，包括将背景像素类别标签设为0，目标像素类别标签统一设为1；
S33)在U-Net网络中计算样本真实值和预测值的相似度
X为图像像素的真实标签集合，Y为预测标签集合，ε为平滑常数；
S34)将相似度s作为U-Net网络的损失函数L；
S35)将U-Net训练集和第一类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测试。
5.根据权利要求4所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S4)中利用刻度线分割结果拟合刻度线轮廓，包括：
S41)刻度线分割结果包括刻度线轮廓，将刻度线轮廓的n个点坐标记为{x1,y1},{x2,y2},...,{xn,yn}，xn表示第n个点的横坐标值，yn表示第n个点的纵坐标值；S42)建立椭圆方程：Ax2+Bxy+Cy2+Dx+Ey＝1，将刻度线轮廓中的n个点坐标代入椭圆方程中，求解等式
其中
获得椭圆方程的5个参数A、B、C、D和E。
6.根据权利要求5所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S5)中利用透视变换校准表盘图像，包括步骤：
S51)考虑一个实际表盘所在的假想平面，以表盘中心O为原点在所述假想平面中建立直角坐标系，以O为中心、预先设置的半径R画圆Q，所述圆Q与横纵坐标轴产生四个交点：(R，0)、(-R，0)、(0,R)、(0,-R)；
S52)将拟合椭圆的长轴和短轴的四个顶点分别记为(s1，t1)、(s2，t2)、(s3,t3)、(s4,s4)，利用透视变换公式将拟合椭圆的长轴和短轴的四个顶点投影到所述假想平面，所述四个顶点与所述四个交点一一对应，获得透视变换矩阵T；
S53)根据透视变换矩阵T将拟合椭圆的所有点投射到所述假想平面，获得投影图像，拟合椭圆经过透视变换后将处于所述圆Q的位置，将拟合椭圆中的原图像刻度弧端点在圆Q上的投射点位置设为M，向量
的角度为θ1，实际表盘面上刻度弧的端点设为N，向量
的角度为θ2，计算旋转角差Δθ＝θ1-θ2；
S54)根据旋转角差Δθ对投影图像进行仿射旋转变换，进行仿射旋转变换后获得标准无偏的表盘图像。
7.根据权利要求5或6所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S6)中利用Faster R-CNN网络模型对指针区域进行检测，包括将Faster R-CNN训练集和所述第二份XML文件输入到Faster R-CNN网络模型，调整Faster R-CNN网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对Faster R-CNN网络模型进行测试。
8.根据权利要求7所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S6)中利用U-Net网络模型分割出指针区域的指针像素，包括将U-Net训练集和第二类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测试。
9.根据权利要求1或8所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S7)中根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，包括获得指针像素的轮廓，对所述指针像素的轮廓进行形态学处理，获得形态学处理后指针轮廓的外边界点，根据所述外边界点计算指针最小外接矩形，获得所述指针最小外接矩形的旋转角，得到校准图像中的指针倾角。
10.根据权利要求9所述的一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S7)中所述形态学处理包括腐蚀。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071489.7A CN111414934A (zh) | 2020-01-21 | 2020-01-21 | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071489.7A CN111414934A (zh) | 2020-01-21 | 2020-01-21 | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111414934A true CN111414934A (zh) | 2020-07-14 |
Family
ID=71494002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010071489.7A Pending CN111414934A (zh) | 2020-01-21 | 2020-01-21 | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414934A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738229A (zh) * | 2020-08-05 | 2020-10-02 | 江西小马机器人有限公司 | 一种指针表盘刻度的自动读取方法 |
| CN111931776A (zh) * | 2020-10-16 | 2020-11-13 | 江西小马机器人有限公司 | 一种基于深度学习的双指针仪表读数方法 |
| CN112036391A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产站场的电子巡检方法及系统 |
| CN112036393A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产单指针仪表读数的识别方法 |
| CN112115895A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 指针型仪表读数识别方法、装置、计算机设备及存储介质 |
| CN112115896A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
| CN112115897A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
| CN112287922A (zh) * | 2020-10-29 | 2021-01-29 | 北京百度网讯科技有限公司 | 表计读取方法、装置、设备以及存储介质 |
| CN112307887A (zh) * | 2020-09-02 | 2021-02-02 | 国网浙江省电力有限公司嘉兴供电公司 | 一种sf6气体压力智能在线监测预警方法及系统 |
| CN112487866A (zh) * | 2020-11-03 | 2021-03-12 | 辽宁长江智能科技股份有限公司 | 一种水表类型识别方法与系统 |
| CN112525438A (zh) * | 2020-10-15 | 2021-03-19 | 国网浙江省电力有限公司杭州供电公司 | 一种sf6密度继电器的漏气监测方法及系统 |
| CN112529003A (zh) * | 2020-12-09 | 2021-03-19 | 安徽工业大学 | 一种基于Faster-RCNN的仪表盘数字识别方法 |
| CN112560983A (zh) * | 2020-12-24 | 2021-03-26 | 济南信通达电气科技有限公司 | 一种仪表识别方法及装置 |
| CN112818988A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 一种指针式仪表自动识别读数方法及系统 |
| CN113255547A (zh) * | 2021-06-03 | 2021-08-13 | 上海申瑞继保电气有限公司 | 电力仪表指针图像轮廓计算方法 |
| CN113283419A (zh) * | 2021-04-29 | 2021-08-20 | 国网浙江省电力有限公司湖州供电公司 | 基于注意力的卷积神经网络指针式仪表图像读数识别方法 |
| CN113378663A (zh) * | 2021-05-25 | 2021-09-10 | 武汉理工大学 | 一种巡检指针式圆形仪表识别方法及装置 |
| CN113469178A (zh) * | 2021-07-05 | 2021-10-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
| CN113673486A (zh) * | 2021-10-21 | 2021-11-19 | 泰豪软件股份有限公司 | 表计读数识别方法、装置、可读存储介质及计算机设备 |
| CN113792721A (zh) * | 2021-09-03 | 2021-12-14 | 西北工业大学 | 基于one-shot机制的仪表检测方法 |
| CN113837178A (zh) * | 2021-09-15 | 2021-12-24 | 国网河北省电力有限公司 | 一种基于深度学习的变电站表计自动定位与统一分割方法 |
| CN116543376A (zh) * | 2023-07-03 | 2023-08-04 | 广东电网有限责任公司肇庆供电局 | 一种指针式仪表读数方法和系统 |
| CN117079295A (zh) * | 2023-09-19 | 2023-11-17 | 中航西安飞机工业集团股份有限公司 | 一种航空电缆张力计指针识别与读数方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
-
2020
- 2020-01-21 CN CN202010071489.7A patent/CN111414934A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
Non-Patent Citations (1)
| Title |
|---|
| 万吉林 等: "基于Faster R-CNN和U-Net的变电站指针式仪表读数自动识别方法" * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036393B (zh) * | 2020-07-22 | 2023-08-18 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产单指针仪表读数的识别方法 |
| CN112036391A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产站场的电子巡检方法及系统 |
| CN112036393A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产单指针仪表读数的识别方法 |
| CN112036391B (zh) * | 2020-07-22 | 2023-09-19 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产站场的电子巡检方法及系统 |
| CN111738229A (zh) * | 2020-08-05 | 2020-10-02 | 江西小马机器人有限公司 | 一种指针表盘刻度的自动读取方法 |
| CN112307887A (zh) * | 2020-09-02 | 2021-02-02 | 国网浙江省电力有限公司嘉兴供电公司 | 一种sf6气体压力智能在线监测预警方法及系统 |
| CN112307887B (zh) * | 2020-09-02 | 2023-04-21 | 国网浙江省电力有限公司嘉兴供电公司 | 一种sf6气体压力智能在线监测预警方法及系统 |
| CN112115895A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 指针型仪表读数识别方法、装置、计算机设备及存储介质 |
| CN112115897A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
| CN112115895B (zh) * | 2020-09-24 | 2023-12-22 | 深圳市赛为智能股份有限公司 | 指针型仪表读数识别方法、装置、计算机设备及存储介质 |
| CN112115897B (zh) * | 2020-09-24 | 2023-12-22 | 深圳市赛为智能股份有限公司 | 多指针仪表报警检测方法、装置、计算机设备及存储介质 |
| CN112115896B (zh) * | 2020-09-24 | 2023-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
| CN112115896A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
| CN112525438A (zh) * | 2020-10-15 | 2021-03-19 | 国网浙江省电力有限公司杭州供电公司 | 一种sf6密度继电器的漏气监测方法及系统 |
| CN111931776B (zh) * | 2020-10-16 | 2021-04-09 | 江西小马机器人有限公司 | 一种基于深度学习的双指针仪表读数方法 |
| CN111931776A (zh) * | 2020-10-16 | 2020-11-13 | 江西小马机器人有限公司 | 一种基于深度学习的双指针仪表读数方法 |
| CN112287922A (zh) * | 2020-10-29 | 2021-01-29 | 北京百度网讯科技有限公司 | 表计读取方法、装置、设备以及存储介质 |
| CN112487866A (zh) * | 2020-11-03 | 2021-03-12 | 辽宁长江智能科技股份有限公司 | 一种水表类型识别方法与系统 |
| CN112529003A (zh) * | 2020-12-09 | 2021-03-19 | 安徽工业大学 | 一种基于Faster-RCNN的仪表盘数字识别方法 |
| CN112560983A (zh) * | 2020-12-24 | 2021-03-26 | 济南信通达电气科技有限公司 | 一种仪表识别方法及装置 |
| CN112560983B (zh) * | 2020-12-24 | 2023-09-08 | 济南信通达电气科技有限公司 | 一种仪表识别方法及装置 |
| CN112818988B (zh) * | 2021-01-29 | 2024-04-02 | 西安交通大学 | 一种指针式仪表自动识别读数方法及系统 |
| CN112818988A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 一种指针式仪表自动识别读数方法及系统 |
| CN113283419B (zh) * | 2021-04-29 | 2022-07-05 | 国网浙江省电力有限公司湖州供电公司 | 基于注意力的卷积神经网络指针式仪表图像读数识别方法 |
| CN113283419A (zh) * | 2021-04-29 | 2021-08-20 | 国网浙江省电力有限公司湖州供电公司 | 基于注意力的卷积神经网络指针式仪表图像读数识别方法 |
| CN113378663A (zh) * | 2021-05-25 | 2021-09-10 | 武汉理工大学 | 一种巡检指针式圆形仪表识别方法及装置 |
| CN113255547A (zh) * | 2021-06-03 | 2021-08-13 | 上海申瑞继保电气有限公司 | 电力仪表指针图像轮廓计算方法 |
| CN113255547B (zh) * | 2021-06-03 | 2024-02-09 | 上海申瑞继保电气有限公司 | 电力仪表指针图像轮廓计算方法 |
| CN113469178A (zh) * | 2021-07-05 | 2021-10-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
| CN113469178B (zh) * | 2021-07-05 | 2024-03-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
| CN113792721A (zh) * | 2021-09-03 | 2021-12-14 | 西北工业大学 | 基于one-shot机制的仪表检测方法 |
| CN113837178A (zh) * | 2021-09-15 | 2021-12-24 | 国网河北省电力有限公司 | 一种基于深度学习的变电站表计自动定位与统一分割方法 |
| CN113673486A (zh) * | 2021-10-21 | 2021-11-19 | 泰豪软件股份有限公司 | 表计读数识别方法、装置、可读存储介质及计算机设备 |
| CN116543376A (zh) * | 2023-07-03 | 2023-08-04 | 广东电网有限责任公司肇庆供电局 | 一种指针式仪表读数方法和系统 |
| CN116543376B (zh) * | 2023-07-03 | 2023-12-29 | 广东电网有限责任公司肇庆供电局 | 一种指针式仪表读数方法和系统 |
| CN117079295B (zh) * | 2023-09-19 | 2024-05-03 | 中航西安飞机工业集团股份有限公司 | 一种航空电缆张力计指针识别与读数方法及系统 |
| CN117079295A (zh) * | 2023-09-19 | 2023-11-17 | 中航西安飞机工业集团股份有限公司 | 一种航空电缆张力计指针识别与读数方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414934A (zh) | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 | |
| CN111028213B (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
| CN107590498B (zh) | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 | |
| CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
| US11900634B2 (en) | Method for adaptively detecting chessboard sub-pixel level corner points | |
| CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
| CN111862037A (zh) | 基于机器视觉的精密孔类零件几何特征检测方法及系统 | |
| CN111368906B (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
| CN109508709B (zh) | 一种基于机器视觉的单指针仪表读数方法 | |
| CN111814740B (zh) | 指针仪表读数的识别方法、装置、计算机设备和存储介质 | |
| CN110706293A (zh) | 基于surf特征匹配的电子元器件定位和检测方法 | |
| CN110211178A (zh) | 一种利用投影计算的指针式仪表识别方法 | |
| CN111950559A (zh) | 一种基于径向灰度的指针仪表自动读数方法 | |
| US6898333B1 (en) | Methods and apparatus for determining the orientation of an object in an image | |
| Zhuo et al. | Machine vision detection of pointer features in images of analog meter displays | |
| CN115546795A (zh) | 一种基于深度学习的圆形指针式仪表自动读数方法 | |
| US6813377B1 (en) | Methods and apparatuses for generating a model of an object from an image of the object | |
| Sowah et al. | An intelligent instrument reader: using computer vision and machine learning to automate meter reading | |
| Zhang et al. | A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method | |
| CN112884057B (zh) | 基于点云数据的三维曲面质量分类方法、系统及存储介质 | |
| CN114694128A (zh) | 一种基于抽象度量学习的指针式仪表检测方法及系统 | |
| Yi et al. | A clustering-based algorithm for automatic detection of automobile dashboard | |
| CN114155380A (zh) | 一种仪表盘图像识别方法、装置、计算机设备和存储介质 | |
| CN113989513A (zh) | 一种方形指针式仪表读数识别的方法 | |
| CN113313122A (zh) | 一种基于计算机视觉的指针式仪表自动识别读数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |