CN110807355A - 一种基于移动机器人的指针仪表检测与读数识别方法 - Google Patents
一种基于移动机器人的指针仪表检测与读数识别方法 Download PDFInfo
- Publication number
- CN110807355A CN110807355A CN201910866810.8A CN201910866810A CN110807355A CN 110807355 A CN110807355 A CN 110807355A CN 201910866810 A CN201910866810 A CN 201910866810A CN 110807355 A CN110807355 A CN 110807355A
- Authority
- CN
- China
- Prior art keywords
- instrument
- pointer
- image
- detection
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000009432 framing Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000012010 growth Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000035040 seed growth Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Abstract
本发明涉及一种基于移动机器人的指针仪表检测与读数识别方法,包括下列步骤:得到针对指针式仪表的深度神经网络检测模型M;使用移动机器人搭载摄像头的方式,运动到指定地点获取当前包含仪表设备的原始环境图像;将S作为系统输入,传递给深度神经网络模型M,检测S中是否存在仪表,框出仪表位置并将框内图像截取并做定高处理且长宽比不变,处理结果用J表示;对图像进行对比度增强,处理结果用E表示;对E进行局部自适应阈值分割得到反向二值图像B;进行基于概率圆的指针提取处理;提取出指针部分的中心直线L作为仪表指针的指向信息;基于概率圆心投影算法的坐标系建立及角度法读数。
Description
技术领域
本发明涉及一种基于移动机器人的、可自动检测与识别指针式仪表读数的方法,该算法通过将深度学习与传统图像处理相结合的方式,实现对指针式仪表的准确读数。
背景技术
指针式仪表由于具备结构简单、维护方便、防电磁防爆等种种优点,在油气管道、电力计量等行业被广泛使用。目前抄表、巡检工作多采用人力完成,自动化程度较低。随着仪表数量的增加和工厂对信息自动化发展的要求,人工巡检抄表已经不能满足工厂的需求,自动读取指针式表盘读数成为当前亟需解决的问题。而通过固定点放置摄像头进行监控的方式受制于成本、施工便利性等原因,无法实现工业环境中分布位置不同的多个设备的检测。
利用移动机器人搭载摄像头的方式,可代替工作人员,自动对工业环境中的仪表进行拍摄,通过识别算法读取仪表示数。同时,使用移动机器人搭载摄像头的方式可对工业环境中分布位置不同的多个设备状态进行检测,相较于设置多个固定摄像头,降低了成本及施工复杂度。
L.Zhang等人提出了一种增强图像显著性的因子:LPIF(localized pixelinhomogeneity factor),该因子可以增强图像显著性区域。然后对图像进行灰度化处理,通过Hough变换圆检测得到仪表轮廓圆位置并去除背景,再使用Hough变换直线检测得到指针直线,最后通过角度法得到指针读数。{L.Zhang,B.Fang,X.Zhao and H.Zhang.Pointer-type meter automatic reading from complex environment based on visualsaliency.2016International Conference on Wavelet Analysis and PatternRecognition(ICWAPR),2016:264-269.}。该算法使用的LPIF因子虽然可以在一定程度克服原PIF算法使用全局阈值的缺陷,但是对于光照不均、背景复杂的情况效果一般。而且对整幅图像使用Hough变换圆检测会受到严重干扰,不同阈值得到的检测效果相差较大,不能满足自动化要求。如果不进行图像细化,对图像直接使用Hough变换会检测到数量极多的直线,无法提取出真实指针。本发明先使用目标检测算法从复杂背景中提取仪表图像,再进行仪表图像(而非整幅图像)处理的策略避免了背景的干扰,可直接对仪表进行处理。且避免了对图像直接使用Hough变换检测圆和直线需要不断手动调整阈值的缺点。
胡彬等针对远距离多角度下的指针式仪表盘刻度模糊、表盘变形带来的自动识别困难,提出了一种基于KAZE特征的关键点匹配的表盘自动读数方法。{B.Hu,N.Jiang,andY.Pan.Auto-reading method for pointer meter based on KAZE featurematching.Instrument Technique and Sensor,2018(05):31-34.}。首先针对每类表盘制作模板,然后分别提取待识别图像及其模板图像的KAZE特征进行关键点匹配。通过匹配结果得到表盘区域感兴趣区域(ROI),并对其进行二值化和形态学处理得到边缘信息,采用概率Hough变换拟合直线归类合并出指针直线,最终结合标注的先验知识得出读数。但是此方法需要待检测仪表与模板非常相似,且其使用的二值化算法仍属于全局二值化,因此,图像的清晰度、尺寸、光照情况、拍摄角度等都会对该算法下的检测结果造成干扰。本发明使用的深度学习目标检测方法不需要模板匹配,只需要进行预先的训练得到检测模型,即可使用此模型对外观相似的目标进行检测,具有极强的泛化性。本发明使用的经过改进的局部阈值分割算法克服了全局阈值抗干扰能力差的缺点。
邢浩强等人提出了一种指针式仪表的自动检测与识别方法。首先利用SSD(singleshot detector)深度学习模型检测当前视野下仪表目标的包围框位置,调整相机进行拍摄,得到仪表尺寸占整幅图像比例较大的图像,再通过透视变换消除表盘平面与相机平面偏差造成的仪表图像畸变,最后通过Hough变换检测仪表的表盘与指针,完成仪表读数识别。{邢浩强,杜志岐,苏波.变电站指针式仪表检测与识别方法[J].仪器仪表学报,2017,38(11):2813-2821.}。该文提出了一种让计算机自动学习出模式特征的方法,并将特征学习融入到了建立模型的过程中,从而减少了人为设计特征造成的不完备性。而目前以深度学习为核心的某些机器学习应用,在满足特定条件的应用场景下,已经达到了超越现有算法的识别或分类性能。但是,该文使用的SSD模型(基础网络为VGG16)相较于本发明使用的YOLO V3模型(基础网络为Darknet-53)对小目标的检测效果较差,漏检率较高,整体精确度较低,不满足工业环境下对检测精确度较高的要求。此外,其使用的椭圆检测算法及MSRCR(Multi-Scale Retinex with Color Restoration)增强算法在图像光照不均匀的情况下实际效果较差。
综上所述,目前的指针式仪表读数算法对图像质量要求较高,未能完全解决清晰度低、光照情况复杂、角度倾斜等因素的干扰,鲁棒性较差。
发明内容
本发明的目的是提出一种基于移动机器人的自动检测和识别指针式仪表读数的方法,可以在移动机器人由于工作环境复杂等原因导致获取的图像较为模糊、光照情况复杂、拍摄角度倾斜的情况下自动完成仪表读数的任务,具有较高的鲁棒性和准确性。技术方案如下:
一种基于移动机器人的指针仪表检测与读数识别方法,包括下列步骤:
1)从网络以及实地拍摄的方式获取原始仪表图像,并对每张图片进行“仪表”类别标签的回归边框标注,从而建立用于仪表检测的数据库。将数据库中的图片输入到YOLOV3目标检测预训练模型进行训练,得到针对指针式仪表的深度神经网络检测模型M。
2)使用移动机器人搭载摄像头的方式,运动到指定地点获取当前包含仪表设备的原始环境图像S;
3)将S作为系统输入,传递给深度神经网络模型M,检测S中是否存在仪表,框出仪表位置并将框内图像截取并做定高处理且长宽比不变,处理结果用J表示;
4)对J进行整体亮度分析,如果J亮度低于设置的阈值,则使用8邻域异型Laplace算子对图像进行对比度增强,处理结果用E表示,否则不对J进行处理,为表示方便,仍将其用E表示;
5)对E进行局部自适应阈值分割得到反向二值图像B;
6)进行基于概率圆的指针提取处理,方法如下:
第1步:对B中所有像素点沿高度及宽度H,W方向进行遍历,将像素值f(x,y)≠0的点的横纵坐标x,y分别放入集合X,Y中,即有
第2步:求取横纵坐标集合X,Y中最大值和最小值,并用xmin,xmax,ymin,ymax表示,即有
xmin=min{X}
xmax=max{X}
ymin=min{Y}
ymax=max{Y}
第3步:计算四个虚拟角点坐标值P11,P12,P21,P22,即有
第4步:取由P11,P12,P21,P22组成的矩形区域对称中心C作为概率圆心,根据图像J大小确定概率圆半径R,本发明中R取60;
第5步:通过掩膜的方式,从反向二值图B中提取概率圆区域图像,称之为图像PC;
第6步:求取图像PC中最大连通域CR,任意取其一内点I(x,y)作为种子生长点进行区域生长算法,从而得到完整的指针图像MP,完成指针提取;
7)对指针图像MP使用Zhang-Suen细化算法提取指针部分的骨架,然后对骨架使用
Hough直线检测算法,提取出指针部分的中心直线L作为仪表指针的指向信息。
8)基于概率圆心投影算法的坐标系建立及角度法读数,方法如下:
第1步:将概率圆心C投影到检测出的直线L上作为坐标原点O。A,B为已知的中心直线两端点坐标,C为已知的概率圆心坐标,O.x,O.y表示该点对应的横纵坐标,其他两点同理,再加上与共线约束求得O点坐标,即有
第2步:以O为坐标原点,建立直角坐标系。根据仪表先验知识,设x轴正方向为0°,逆时针方向为角度增长方向,仪表的0刻度位于225°,最大刻度位于315°,并标出四个象限QR1,QR2,QR3,QR4,坐标系建成;
第3步:设置坐标系0刻度与指针夹角角度表示为Ang,指针直线L的斜率用K表示,对于四个不同的象限QR1,QR2,QR3,QR4,计算公式为
|arctanK|∈[0°,90°]
第4步:根据仪表最大刻度值MR及Ang比值关系求出指针实际读数res,即为
本发明基于深度学习和传统图像处理的指针式仪表读数算法,需要地面式移动机器人以云台搭载摄像头进行仪表图像采集,算法具体的处理流程为:
[1]获取并检测环境图像。通过移动机器人在环境中运动到指定节点时摄像头获取当前环境图像,将其作为系统输入,传递给YOLO V3深度神经网络模型,检测是否存在仪表,框出仪表位置并将框内图像截取。
[2]二值化仪表图像。不同于其他研究所使用的大津法等全局阈值分割算法,本发明使用经过改进的局部自适应阈值分割算法,针对每个像素点都会单独推算出一个阈值,从而进行分割。原本对光照不足、对比度较低的图像分割效果较差的问题也经过改进算法得到解决。通过该算法得到清晰可分的仪表二值图像。
[3]提取二值图像指针部分。从上一步得到的包含指针部分的二值图像前景点中,根据本发明提出的基于概率圆的指针提取算法,提取出对应指针部分的前景点,得到一幅前景点只有指针的二值图像。其中,基于概率圆的指针提取算法是通过对极大概率包含指针圆心部分的圆形区域进行估计,然后从此区域中提取指针部分,再由部分区域提取仪表图像中的整个指针区域。
[4]提取指针图像的中心直线。使用Zhang-Suen细化算法提取指针部分的骨架,然后对骨架使用Hough直线检测算法,提取出指针部分的中心直线作为仪表指针的指向信息。
[5]由中心线角度信息计算指针读数。使用本发明提出的概率圆心投影算法,通过将概率圆心投影到检测到的中心直线的方法确定坐标原点,并以该原点建立直角坐标系,根据仪表先验知识确定中心线角度与刻度值关系确定转换公式,最终计算出仪表读数。将仪表读数与仪表要求指标作比较,超出一定误差允许范围时判定仪表事故,移动机器人及上位机同时报警并停止检测工作;否则移动机器人继续运行,继续下一个节点的仪表检测与识别。
本发明主要优点及特色体现在如下几个方面:
1.本发明使用深度学习的方法对仪表进行目标检测,建立了用于仪表检测的数据库,训练得到了针对指针式仪表的深度神经网络检测模型。相较于KAZE特征匹配等人为设计的特征算法,深度学习经过上万次乃至十几万次训练得到的特征更加有说服力,检测准确率大大提升。而使用的YOLO V3模型相对SSD模型来说不仅对小尺度目标检测精度有较大提升,检测速度也得到较大提升。可以将仪表从复杂背景中直接提取出来,避免了绝大部分背景干扰,在清晰度较低,光照复杂、角度倾斜仍能有效提取出仪表图像。
2.本发明使用改进的局部自适应阈值分割算法相较于常用的大津法等全局阈值分割算法,改进了原算法在光照不足、对比度较差情况下的分割效果。具有更优秀的抗干扰性,对光照过强、光照不均、光照过弱等情况有较好的分割效果。
3.本发明针对移动机器人搭载摄像头方式获取仪表图像的图像特征,提出的基于概率圆的指针提取算法可完全自动实现指针提取,克服了频繁手动调整参数的缺点,与常用的像素投影统计法相比泛化性更强,准确性更高。由于概率圆进一步缩小了处理范围,干扰部分面积远小于目标面积,由图像模糊、光照复杂等情况造成的干扰进一步得到滤除。
4.本发明使用骨架提取和直线检测的方法将得到的指针中心线作为仪表指向信息,该策略相较于常用的“canny边缘检测+Hough直线检测+由两边缘直线取中心线”对指针二值图像质量要求较低,不需要考虑两条边缘对应两条直线的阈值问题,避免了两条直线不准确对中心线确定造成的偏差问题。
5.本发明针对移动机器人搭载摄像头方式获取仪表图像的图像特征,提出的基于概率圆心投影的直角坐标系建立方法可以避免真实圆心选取的问题,从而解决指针跨象限误差问题。
6.本发明使用的“目标检测+图像二值化+指针部分图像提取+骨架提取+中心直线检测+角度法计算读数”整体策略抗干扰能力极强,相较于传统的“边缘检测+Hough圆检测+Hough直线检测”策略具有较大创新性,可应用于实际工业场景等环境干扰较大的场景。
7.本发明使用移动机器人搭载摄像头的方式对工业环境中的仪表设备进行检测与读数识别,相较于固定点放置摄像头更加方便灵活,一台机器人巡检一个周期即可实现一个工业场景中所有的位置处的仪表检测与读数识别。
附图说明
图1为本发明的整体算法流程图。
图2表示对仪表的目标检测效果,黄色矩形框标示出了仪表位置。
图3为8邻域异型Laplace算子及大津法与改进的局部自适应阈值法对图像的二值化效果对比。
图4表示确定概率圆后的掩码操作,并找到最大连通域后进行的指针提取。
图5为对指针区域进行骨架提取后对其进行直线检测,得到指针中心直线。
图6为以概率圆心投影为坐原点的直角坐标系,标示了角度与刻度的关系。
图7为使用本发明所提算法对天然气场站仪表图像进行读数的实际效果,其中黄色矩形框中的数值代表识别出的仪表读数。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。实施例是以本发明所述技术方案为前提进行的具体实施,给出了详细的实施方式和过程。但本申请的权利要求保护范围不受限于下述实施例的描述。算法流程如图1所示,步骤如下:
[1]获取并检测环境图像。通过摄像头获取当前环境图像,将其作为系统输入,传递给YOLO V3深度神经网络模型,检测是否存在仪表。其中YOLO V3深度神经网络模型使用darknet53.conv.74作为预训练卷积权重,更改检测类别数量为1,检测目标为仪表“meter”,制作自己的图像数据库内含约800张图像及标注好的txt文件,经过微调训练得到最终针对仪表的检测模型M。单张检测速度使用cpu约4s,使用GPU GTX980ti约0.05s。如果图像中存在仪表,则使用矩形框标示出仪表的位置,如图2所示,然后将标示出的部分从原图像S的复杂背景中截取出来,得到只包含仪表的图像J,为后处理降低干扰。
[2]二值化截取出的仪表图像J。由目标检测获取仪表图像J后,我们将原来的由R、G、B(红、绿、蓝)3个通道组成的彩色图像转化为Gray单通道灰度图像,其灰度范围为0~255的整数值,代表黑-灰-白的颜色变化,其转换公式为:
Gray=R×0.299+G×0.587+B×0.114
然后再对灰度图像进行二值化。不同于其他研究所使用的大津法等全局阈值分割算法,本发明使用经过改进的局部自适应阈值分割算法。该算法对图像中所有像素点进行遍历,针对每个像素点,求以其为中心点的25×25像素范围内的灰度平均值,然后加上一个补偿值10作为当前点的分割阈值T。如果当前点灰度值Gray<T,将Gray设置为255,反之设置为0。遍历完整幅图像后即得到二值图像B。针对该算法对光照不足的图像分割效果较差的问题,本发明使用8邻域异型Laplace算子对光照不足图像进行亮度及对比度增强得到图像E,如图3a所示,从而使得该二值化算法对光照不足的图像分割效果显著提升,其增强原理如下式:
其中f(x,y)代表坐标为(x,y)的灰度值。由此4邻域公式通过旋转45°并增大中心值权重得到8邻域异型算子。改进后算法可得到清晰可分的仪表二值图像B,如图3b、c、d所示为大津法和本算法的效果对比。
[3]提取二值图像指针部分。从上一步得到的包含指针部分的二值图像前景点中,根据本发明提出的基于概率圆的指针提取算法,提取出对应指针部分的前景点,得到一幅前景点只有指针的二值图像。由于在目标检测阶段截取的仪表图像尺寸各不相同,会对指针识别造成较大影响,所以截取的图像尺寸统一设置为800×600,图像原长宽比不变,多余处空白补齐。
基于概率圆的指针提取算法的思想是估计出一个圆形区域,满足仪表真实圆心极大概率存在其中,且其中的干扰部分面积小于指针部分面积,然后通过最大连通域的方法找出概率圆区域中面积最大部分即判断为指针部分,任意选取指针部分的内点作为种子点,通过区域生长法在原二值图像中分提取出整个指针。
具体方法如下:
第1步:对B中所有像素点沿高度及宽度H,W方向进行遍历,将像素值f(x,y)≠0的点的横纵坐标x,y分别放入集合X,Y中,即有
第2步:求取横纵坐标集合X,Y中最大值和最小值,并用xmin,xmax,ymin,ymax表示,即有
xmin=min{X}
xmax=max{X}
ymin=min{Y}
ymax=max{Y}
第3步:计算四个虚拟角点坐标值P11,P12,P21,P22,即有
第4步:取由P11,P12,P21,P22组成的矩形区域对称中心C作为概率圆心,根据预调整的图像大小确定概率圆半径R,本发明中R取60,由此概率圆得到确定,如图4a所示;
第5步:通过掩膜的方式,从反向二值图B中提取概率圆区域图像,去除概率圆以外的图像,获得图像PC,如图4b所示;
第6步:求取图像PC中最大连通域CR,如图4c所示。任意取其一内点I(x,y)作为种子生长点进行区域生长算法,从而得到完整的指针图像MP,完成指针提取,如图4d所示;
[4]提取指针图像的中心直线。使用Zhang-Suen细化算法提取指针部分MP的骨架,然后对骨架使用Hough直线检测算法,提取出指针部分的中心直线L作为仪表指针的指向信息,骨架提取和直线检测效果如图5所示。其中Hough直线检测时有一定概率检测出多条直线,本发明将最长的一根直线判断为指针中心直线,且设置最小判定长度,将识别效果较差的图像判定为无法识别,从而进行下一次拍摄。
[5]由中心线角度信息计算指针读数。由于概率圆心C并非真实圆心,直接将概率圆心作为坐标原点建立坐标系象限判断会受到干扰。因此使用本发明提出的概率圆心投影算法,将概率圆心投影到检测出的直线上作为坐标原点O。
具体方法如下:
第1步:将概率圆心C投影到检测出的直线L上作为坐标原点O。A,B为已知的中心直线两端点坐标,C为已知的概率圆心坐标,O.x,O.y表示该点对应的横纵坐标,其他两点同理,再加上与共线约束求得O点坐标,即有
第2步:以O为坐标原点,建立直角坐标系。根据仪表先验知识,设x轴正方向为0°,逆时针方向为角度增长方向,仪表的0刻度位于225°,最大刻度位于315°,并标出四个象限QR1,QR2,QR3,QR4,坐标系建成,如图6所示;
第3步:设置坐标系0刻度与指针夹角角度表示为Ang,指针直线L的斜率用K表示,对于四个不同的象限QR1,QR2,QR3,QR4,计算公式为
|arctanK|∈[0°,90°]
第4步:根据仪表最大刻度值MR及Ang比值关系求出指针实际读数res,即为
res=MR*Ang/270
识别结果如图7所示。
概括而言,本发明的方案如下:
本发明基于深度学习和传统图像处理的指针式仪表读数算法,需要地面式移动机器人以云台搭载摄像头进行仪表图像采集,算法具体的处理流程为:
[1]获取并检测环境图像。通过移动机器人在环境中运动到指定节点时摄像头获取当前环境图像,将其作为系统输入,传递给YOLO V3深度神经网络模型,检测是否存在仪表,框出仪表位置并将框内图像截取。
[2]二值化仪表图像。不同于其他研究所使用的大津法等全局阈值分割算法,本发明使用经过改进的局部自适应阈值分割算法,针对每个像素点都会单独推算出一个阈值,从而进行分割。原本对光照不足、对比度较低的图像分割效果较差的问题也经过改进算法得到解决。通过该算法得到清晰可分的仪表二值图像。
[3]提取二值图像指针部分。从上一步得到的包含指针部分的二值图像前景点中,根据本发明提出的基于概率圆的指针提取算法,提取出对应指针部分的前景点,得到一幅前景点只有指针的二值图像。其中,基于概率圆的指针提取算法是通过对极大概率包含指针圆心部分的圆形区域进行估计,然后从此区域中提取指针部分,再由部分区域提取仪表图像中的整个指针区域。
[4]提取指针图像的中心直线。使用Zhang-Suen细化算法提取指针部分的骨架,然后对骨架使用Hough直线检测算法,提取出指针部分的中心直线作为仪表指针的指向信息。
[5]由中心线角度信息计算指针读数。使用本发明提出的概率圆心投影算法,通过将概率圆心投影到检测到的中心直线的方法确定坐标原点,并以该原点建立直角坐标系,根据仪表先验知识确定中心线角度与刻度值关系确定转换公式,最终计算出仪表读数。将仪表读数与仪表要求指标作比较,超出一定误差允许范围时判定仪表事故,移动机器人及上位机同时报警并停止检测工作;否则移动机器人继续运行,继续下一个节点的仪表检测与识别。
Claims (1)
1.一种基于移动机器人的指针仪表检测与读数识别方法,包括下列步骤:
1)从网络以及实地拍摄的方式获取原始仪表图像,并对每张图片进行“仪表”类别标签的回归边框标注,从而建立用于仪表检测的数据库;将数据库中的图片输入到YOLOV3目标检测预训练模型进行训练,得到针对指针式仪表的深度神经网络检测模型M;
2)使用移动机器人搭载摄像头的方式,运动到指定地点获取当前包含仪表设备的原始环境图像S;
3)将S作为系统输入,传递给深度神经网络模型M,检测S中是否存在仪表,框出仪表位置并将框内图像截取并做定高处理且长宽比不变,处理结果用J表示;
4)对J进行整体亮度分析,如果J亮度低于设置的阈值,则使用8邻域异型Laplace算子对图像进行对比度增强,处理结果用E表示,否则不对J进行处理,为表示方便,仍将其用E表示;
5)对E进行局部自适应阈值分割得到反向二值图像B;
6)进行基于概率圆的指针提取处理,方法如下:
第1步:对B中所有像素点沿高度及宽度H,W方向进行遍历,将像素值f(x,y)≠0的点的横纵坐标x,y分别放入集合X,Y中,即有
第2步:求取横纵坐标集合X,Y中最大值和最小值,并用xmin,xmax,ymin,ymax表示,即有
xmin=min{X}
xmax=max{X}
ymin=min{Y}
ymax=max{Y}
第3步:计算四个虚拟角点坐标值P11,P12,P21,P22,即有
第4步:取由P11,P12,P21,P22组成的矩形区域对称中心C作为概率圆心,根据图像J大小确定概率圆半径R,本发明中R取60;
第5步:通过掩膜的方式,从反向二值图B中提取概率圆区域图像,称之为图像PC;
第6步:求取图像PC中最大连通域CR,任意取其一内点I(x,y)作为种子生长点进行区域生长算法,从而得到完整的指针图像MP,完成指针提取;
7)对指针图像MP使用Zhang-Suen细化算法提取指针部分的骨架,然后对骨架使用Hough直线检测算法,提取出指针部分的中心直线L作为仪表指针的指向信息;
8)基于概率圆心投影算法的坐标系建立及角度法读数,方法如下:
第1步:将概率圆心C投影到检测出的直线L上作为坐标原点O;A,B为已知的中心直线两端点坐标,C为已知的概率圆心坐标,O.x,O.y表示该点对应的横纵坐标,其他两点同理,再加上与共线约束求得O点坐标,即有
第2步:以O为坐标原点,建立直角坐标系;根据仪表先验知识,设x轴正方向为0°,逆时针方向为角度增长方向,仪表的0刻度位于225°,最大刻度位于315°,并标出四个象限QR1,QR2,QR3,QR4,坐标系建成;
第3步:设置坐标系0刻度与指针夹角角度表示为Ang,指针直线L的斜率用K表示,对于四个不同的象限QR1,QR2,QR3,QR4,计算公式为
|arctan K|∈[0°,90°]
第4步:根据仪表最大刻度值MR及Ang比值关系求出指针实际读数res,即为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910866810.8A CN110807355B (zh) | 2019-09-12 | 2019-09-12 | 一种基于移动机器人的指针仪表检测与读数识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910866810.8A CN110807355B (zh) | 2019-09-12 | 2019-09-12 | 一种基于移动机器人的指针仪表检测与读数识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807355A true CN110807355A (zh) | 2020-02-18 |
CN110807355B CN110807355B (zh) | 2023-04-07 |
Family
ID=69487501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910866810.8A Active CN110807355B (zh) | 2019-09-12 | 2019-09-12 | 一种基于移动机器人的指针仪表检测与读数识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807355B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401377A (zh) * | 2020-03-13 | 2020-07-10 | 北京市商汤科技开发有限公司 | 一种仪表数据读取方法、装置、电子设备及存储介质 |
CN111476787A (zh) * | 2020-04-23 | 2020-07-31 | 中科开创(广州)智能科技发展有限公司 | 一种指针表自适应畸变的自动读数方法及装置 |
CN111553345A (zh) * | 2020-04-22 | 2020-08-18 | 上海浩方信息技术有限公司 | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 |
CN111860464A (zh) * | 2020-08-07 | 2020-10-30 | 成都交大光芒科技股份有限公司 | 变电所辅助监控系统指针读数识别补偿方法及装置 |
CN112037192A (zh) * | 2020-08-28 | 2020-12-04 | 西安交通大学 | 一种城镇燃气公用管道安装过程埋深信息采集方法 |
CN112115896A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
CN112257676A (zh) * | 2020-11-19 | 2021-01-22 | 南京天创电子技术有限公司 | 一种指针式仪表读数方法、系统以及巡检机器人 |
CN112288049A (zh) * | 2020-12-29 | 2021-01-29 | 广东科凯达智能机器人有限公司 | 基于模板匹配和限制连通域指针定位的指针表读数方法 |
CN112464986A (zh) * | 2020-10-30 | 2021-03-09 | 济南浪潮高新科技投资发展有限公司 | 一种指针型圆盘仪表的读数方法及设备 |
CN112749699A (zh) * | 2020-12-30 | 2021-05-04 | 三川智慧科技股份有限公司 | 一种水表的5g网络通讯方法及系统 |
CN113469178A (zh) * | 2021-07-05 | 2021-10-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
CN113570631A (zh) * | 2021-08-28 | 2021-10-29 | 西安安森智能仪器股份有限公司 | 一种基于图像的指针式仪表智能识别方法及设备 |
CN114022370A (zh) * | 2021-10-13 | 2022-02-08 | 山东大学 | 一种振镜激光加工畸变校正方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799867A (zh) * | 2012-07-09 | 2012-11-28 | 哈尔滨工业大学 | 基于图像处理的仪表指针转角识别方法 |
CN108256524A (zh) * | 2018-01-24 | 2018-07-06 | 国家电网公司 | 一种多表盘指针式仪表的自动读数方法 |
CN108921176A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 一种基于机器视觉的指针式仪表定位与识别方法 |
US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
-
2019
- 2019-09-12 CN CN201910866810.8A patent/CN110807355B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799867A (zh) * | 2012-07-09 | 2012-11-28 | 哈尔滨工业大学 | 基于图像处理的仪表指针转角识别方法 |
US20190095739A1 (en) * | 2017-09-27 | 2019-03-28 | Harbin Institute Of Technology | Adaptive Auto Meter Detection Method based on Character Segmentation and Cascade Classifier |
CN108256524A (zh) * | 2018-01-24 | 2018-07-06 | 国家电网公司 | 一种多表盘指针式仪表的自动读数方法 |
CN108921176A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 一种基于机器视觉的指针式仪表定位与识别方法 |
Non-Patent Citations (2)
Title |
---|
YIFAN MA: "A robust and high-precision automatic reading algorithm of pointer meters based on machine vision" * |
朱玉欣: "基于种子填充的指针式仪表自动识别算法" * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401377B (zh) * | 2020-03-13 | 2024-03-08 | 北京市商汤科技开发有限公司 | 一种仪表数据读取方法、装置、电子设备及存储介质 |
CN111401377A (zh) * | 2020-03-13 | 2020-07-10 | 北京市商汤科技开发有限公司 | 一种仪表数据读取方法、装置、电子设备及存储介质 |
CN111553345A (zh) * | 2020-04-22 | 2020-08-18 | 上海浩方信息技术有限公司 | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 |
CN111553345B (zh) * | 2020-04-22 | 2023-10-20 | 上海浩方信息技术有限公司 | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 |
CN111476787A (zh) * | 2020-04-23 | 2020-07-31 | 中科开创(广州)智能科技发展有限公司 | 一种指针表自适应畸变的自动读数方法及装置 |
CN111860464B (zh) * | 2020-08-07 | 2021-12-07 | 成都交大光芒科技股份有限公司 | 变电所辅助监控系统指针读数识别补偿方法及装置 |
CN111860464A (zh) * | 2020-08-07 | 2020-10-30 | 成都交大光芒科技股份有限公司 | 变电所辅助监控系统指针读数识别补偿方法及装置 |
CN112037192A (zh) * | 2020-08-28 | 2020-12-04 | 西安交通大学 | 一种城镇燃气公用管道安装过程埋深信息采集方法 |
CN112115896A (zh) * | 2020-09-24 | 2020-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
CN112115896B (zh) * | 2020-09-24 | 2023-12-22 | 深圳市赛为智能股份有限公司 | 仪表盘指针读数预测方法、装置、计算机设备及存储介质 |
CN112464986A (zh) * | 2020-10-30 | 2021-03-09 | 济南浪潮高新科技投资发展有限公司 | 一种指针型圆盘仪表的读数方法及设备 |
CN112257676B (zh) * | 2020-11-19 | 2023-10-24 | 南京天创电子技术有限公司 | 一种指针式仪表读数方法、系统以及巡检机器人 |
CN112257676A (zh) * | 2020-11-19 | 2021-01-22 | 南京天创电子技术有限公司 | 一种指针式仪表读数方法、系统以及巡检机器人 |
CN112288049A (zh) * | 2020-12-29 | 2021-01-29 | 广东科凯达智能机器人有限公司 | 基于模板匹配和限制连通域指针定位的指针表读数方法 |
CN112749699A (zh) * | 2020-12-30 | 2021-05-04 | 三川智慧科技股份有限公司 | 一种水表的5g网络通讯方法及系统 |
CN113469178A (zh) * | 2021-07-05 | 2021-10-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
CN113469178B (zh) * | 2021-07-05 | 2024-03-01 | 安徽南瑞继远电网技术有限公司 | 一种基于深度学习的电力表计识别方法 |
CN113570631A (zh) * | 2021-08-28 | 2021-10-29 | 西安安森智能仪器股份有限公司 | 一种基于图像的指针式仪表智能识别方法及设备 |
CN113570631B (zh) * | 2021-08-28 | 2024-04-26 | 西安安森智能仪器股份有限公司 | 一种基于图像的指针式仪表智能识别方法及设备 |
CN114022370A (zh) * | 2021-10-13 | 2022-02-08 | 山东大学 | 一种振镜激光加工畸变校正方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110807355B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807355B (zh) | 一种基于移动机器人的指针仪表检测与读数识别方法 | |
CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
CN109325935B (zh) | 一种基于无人机图像的输电线路检测方法 | |
CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
GB2569751A (en) | Static infrared thermal image processing-based underground pipe leakage detection method | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
CN107729853B (zh) | 一种适用于变电站窄刻度指针式仪表的自动识别方法 | |
CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
CN115791822A (zh) | 晶圆表面缺陷的视觉检测算法及检测系统 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
CN107240112A (zh) | 一种复杂场景下个体x角点提取方法 | |
CN113538503A (zh) | 一种基于红外图像的太阳能板缺陷检测方法 | |
CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
Huang et al. | An automatic detection and recognition method for pointer-type meters in natural gas stations | |
CN111652055B (zh) | 一种基于两阶段定位的开关仪表智能识别方法 | |
CN116245793A (zh) | 基于视觉的色环电阻阻值检测方法 | |
CN115471650A (zh) | 一种气体压力仪表读数方法、装置、设备及介质 | |
CN114283157A (zh) | 一种基于椭圆拟合的椭圆形物体分割方法 | |
Sheng et al. | Multi-target Localization and Pose Estimation Based on Mixed Programming of Halcon and C | |
Lan et al. | Weld Recognition of Pressure Vessel Based on Texture Feature |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |