CN109359604B - 面向巡检机器人的阴影干扰下仪表识别方法 - Google Patents
面向巡检机器人的阴影干扰下仪表识别方法 Download PDFInfo
- Publication number
- CN109359604B CN109359604B CN201811235195.2A CN201811235195A CN109359604B CN 109359604 B CN109359604 B CN 109359604B CN 201811235195 A CN201811235195 A CN 201811235195A CN 109359604 B CN109359604 B CN 109359604B
- Authority
- CN
- China
- Prior art keywords
- image
- threshold value
- pixel
- pixels
- dial plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。步骤如下:获取图像数据并进行预处理操作;利用统计信息获取双阈值并对图像进行二值化处理,滤除阴影;再利用预处理后图像和二值化图像对仪表进行初步定位;然后利用初步定位表盘的信息进行最小二乘圆拟合,对初步定位的结果进行修正得到较为准确的表盘定位结果;进行指针识别;利用较为准确的表盘定位结果进行表盘刻度识别并计算读数。
Description
技术领域
本发明属于仪表读数自动判读领域,尤其涉及一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。
背景技术
指针式仪表是工业领域中较为传统的仪表,因其具有防尘、防水、抗干扰性强等优点,在传统工业场合中得到了广泛的应用。目前,由于人工抄表的诸多弊端,已逐渐被机器视觉技术所取代。然而,由于仪表大部分放置在室外或光照不均匀的室内库房,造成仪表表盘上出现阴影等光学现象(如图1,图2所示)。对于机器来说,很难直接区分阴影和真实物体,如果不加以处理,视觉系统很有可能会将阴影等区域当作目标的一部分进行后续分析与计算,并对结果产生影响(Jyothisree V, Dharan S. Shadow Detection UsingTricolor Attenuation Model Enhanced with Adaptive Histogram Equalization[J].International Journal of Computer Science & Information Technology, 2013, 5(2):147-155)。
目前,主流的阴影检测去除方法分为以下两个方向:一是图像序列的动态阴影处理方法。主要是利用多幅图像帧间关系去进行阴影检测,此方法主要面向运动物体,将运动物体和其阴影进行分离,并不适合于静态的仪表图像。二是静态图像中的阴影处理方法。静态图像中的阴影处理方法也称为单帧图像阴影处理方法,阴影去除更复杂及难度更高。诸多学者对单帧图像阴影检测进行研究,提出了针对彩色图像的三色衰减模型(Tian J, SunJ, Tang Y. Tricolor attenuation model for shadow detection.[J]. IEEETransactions on Image Processing A Publication of the IEEE Signal ProcessingSociety, 2009, 18(10):2355-2363),高斯混合模型及贝叶斯方法优化纹理、梯度等方法来提取阴影,但这些方法都对环境有一定的要求,并且去除阴影时,往往丢失阴影内部大量信息,需要依靠周围像素去估计丢失值(高萍. 基于单幅图像阴影检测与去除算法的研究[D]. 华中师范大学, 2016)。而仪表识别中,阴影往往出现在刻度线附近,用静态图像中的阴影处理方法会导致大量刻度线丢失,对识别结果造成影响,并且由于计算复杂度增加,也会导致实时性降低。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种可降低运算复杂度、提高仪表识别准确性及实时性的面向巡检机器人的阴影干扰下仪表识别方法。
本发明的技术解决方案是:一种面向巡检机器人的阴影干扰下仪表识别方法,其特征在于依次按照如下步骤进行:
步骤1:获取图像后进行预处理操作,得到灰度图;
步骤2:对灰度图利用大津算法计算阈值T;
步骤3:对灰度图进行直方图统计,计算阈值TT;
步骤4:用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作,得到二值化图像;
步骤5:分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位,得到初步表盘图像;
步骤6:获取初步表盘图像的表盘轮廓点集,利用最小二乘法对表盘轮廓点集进行圆拟合,以得到的拟合结果对初步表盘图像进行修正,得到进一步的表盘定位图像;
步骤7:进行指针识别,得到指针向量;
步骤8:进行表盘刻度识别,得到基准刻度向量;
步骤9:利用得到的指针向量和基准刻度向量进行计算,使用角度法获取转角,配合量程信息计算出当前读数。
所述步骤2按照如下公式计算阈值T:
所述步骤4的具体步骤是在灰度图中以像素为单位生成3*3滑窗,滑动步长为3,在整个灰度图中滑动;滑动过程中,对每一个窗口内的像素点的像素值进行排序,像素最大值为fmax,像素最小值为fmin,进行如下处理:
(1)当fmin大于阈值T时,将该窗口所有像素的像素值置为255;
(2)当fmax小于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT-10的像素点置为0,将其他像素点置为255;
(3)当fmin小于阈值T且fmax大于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT的像素点的像素值置0,将其他像素点的像素值置为255。
所述步骤5的具体步骤是:对灰度图使用Hough梯度法寻找特征最明显的圆,得到圆circle1;对二值化图像寻找特征最明显的圆,得到圆circle2,对获得的两个圆按如下公式进行表盘的初步定位:
对二值化图像只保留circle1和circle2相交部分,其他像素均置0,并截取相交部分获得初步表盘图像。
所述步骤6中的具体步骤是:按照下式对表盘轮廓点集进行圆拟合,并得到结果圆为circle4:
上式中C、D、E、G、H为a、b、c的中间计算变量,所述C、D、E、G、H计算过程如下式所示:
根据下式得到最终确定的circle:
式中m和n分别为权重。
本发明能够有效去除由于光照不均匀在仪表图像中产生的阴影,同时极大程度上保留刻度点信息,可避免光照不均匀所产生的阴影对仪表识别的影响,降低运算复杂度、提高仪表识别准确性及实时性,能够满足工业生产中的指针式仪表读数的精度要求,并应用至巡检机器人中。
附图说明
图1为本发明实施例所用光照不均匀的室外仪表图像。
图2为本发明实施例所用光照不均匀的室内仪表图像。
图3为图1在本发明实施例进行二值化处理的结果图像。
图4为图2在本发明实施例进行二值化处理的结果图像。
图5为使用传统大津算法对图1进行二值化处理的结果图像。
图6为使用传统大津算法对图2进行二值化处理的结果图像。
具体实施方式
本发明的一种面向巡检机器人的阴影干扰下仪表识别方法,其特征在于依次按照如下步骤进行:
步骤1:获取图像后进行预处理操作,得到灰度图:
巡检机器人运动到指定位置后,利用摄像头对相应位置的图像进行采集,并对采集得到的图像进行滤波、灰度变换等预处理得到如图1、图2所示的灰度图像。
步骤2:对灰度图利用大津算法(OTSU)计算阈值T:
按照如下公式计算阈值T:
式中,i为灰度级(本发明实施例取像素值0~255,共256级),为灰度级为i的像素占图像总像素的比例,为灰度级小于等于k的所有像素的频率和,为灰度级小于等于k的所有像素的平均灰度级,为整幅图像的平均灰度级,为k灰度级时的类间方差。
步骤3:对灰度图进行直方图统计,计算阈值TT:
步骤4:用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作,得到二值化图像:
在灰度图中以像素为单位生成3*3滑窗,滑动步长为3,在整个灰度图中滑动(滑窗不能处理到的像素点设置为255);滑动过程中,对每一个窗口内的像素点的像素值进行排序,像素最大值为fmax,像素最小值为fmin,进行如下处理:
(1)当fmin大于阈值T时,将该窗口所有像素的像素值置为255;
(2)当fmax小于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT-10的像素点置为0,将其他像素点置为255;
(3)当fmin小于阈值T且fmax大于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT的像素点的像素值置0,将其他像素点的像素值置为255。
至此,对图1、图2处理后的图像分别如图3、图4所示。图5、图6分别是采用传统大津算法对图1、图2进行二值化处理的结果图像。从图3、图4可以看出,经过上述处理后,得到的二值化图像在过滤掉大量阴影信息后仍能较好地保留刻度信息。
步骤5:分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位,得到初步表盘图像:
对灰度图使用Hough梯度法寻找特征最明显的圆,得到圆circle1;对二值化图像寻找特征最明显的圆,得到圆circle2,对获得的两个圆按如下公式进行表盘的初步定位:
对二值化图像只保留circle1和circle2相交部分,其他像素均置0,并截取相交部分获得初步表盘图像。
步骤6:获取初步表盘图像的表盘轮廓点集,利用最小二乘法对表盘轮廓点集进行圆拟合,以得到的拟合结果对初步表盘图像进行修正,得到进一步的表盘定位图像:
利用最小二乘法对表盘轮廓点集进行圆拟合是按照下式对进行,并得到结果圆为circle4:
上式中C、D、E、G、H为a、b、c的中间计算变量,所述C、D、E、G、H计算过程如下式所示:
经过上述操作得到circle4后,根据下式在circle3的基础上再次进行调整,得到最终确定的circle:
式中m和n分别为权重,本实施例中m取0.4,n取0.6能获得较好结果。
步骤7:进行指针识别,得到指针向量:
由于指针特征比较单一明显,不需要特别准确的定位,因此对步骤5中获得的初步表盘图像,使用快速概率Hough变换找特征最明显直线,并认为该直线就是要找的指针,计算出相应指针向量。
步骤8:进行表盘刻度识别,得到基准刻度向量:
利用步骤6得到的circle和步骤4得到的阴影滤除二值化图像,使用半径缩小法获取刻度点,并寻找基准刻度,生成基准刻度向量。
步骤9:利用得到的指针向量和基准刻度向量进行计算,使用角度法获取转角,配合量程信息计算出当前读数。
本发明实施例对图1、图2为测试样例,结果如下:
图像 | 人工读数 | 识别读数 | 绝对误差 | 引用误差 |
图1 | 0.06 | 0.069695 | 0.009695 | 0.00606 |
图2 | 0.04 | 0.038254 | 0.001746 | 0.00291 |
结果表明,本发明能够在满足仪表读数识别精度和实时性的同时,有效地避免由于光照不均匀所造成的阴影等光学现象对仪表识别的影响,能够满足工业生产中的指针式仪表读数的精度要求,并应用至巡检机器人中。
Claims (2)
1.一种面向巡检机器人的阴影干扰下仪表识别方法,依次按照如下步骤进行:
步骤1:获取图像后进行预处理操作,得到灰度图;
步骤2:对灰度图利用大津算法计算阈值T;
步骤3:对灰度图进行直方图统计,计算阈值TT;
步骤4:用3*3滑窗并结合阈值T和TT对灰度图进行二值化操作,得到二值化图像;
步骤5:分别对灰度图和二值化图像使用Hough梯度法寻找特征最明显的圆并依据两个圆进行表盘的初步定位,得到初步表盘图像;
步骤6:获取初步表盘图像的表盘轮廓点集,利用最小二乘法对表盘轮廓点集进行圆拟合,以得到的拟合结果对初步表盘图像进行修正,得到进一步的表盘定位图像;
步骤7:进行指针识别,得到指针向量;
步骤8:进行表盘刻度识别,得到基准刻度向量;
步骤9:利用得到的指针向量和基准刻度向量进行计算,使用角度法获取转角,配合量程信息计算出当前读数;
所述步骤2按照如下公式计算阈值T:
式中,i为灰度级,pi为灰度级为i的像素占图像总像素的比例,wk为灰度级小于等于k的所有像素的频率和,μk为灰度级小于等于k的所有像素的平均灰度级,μT为整幅图像的平均灰度级,为k灰度级时的类间方差;
所述步骤3按照如下公式进行直方图统计,当下式中的wk满足wk-1<0.2<wk时,当前k取值即为阈值TT:
所述步骤4的具体步骤是在灰度图中以像素为单位生成3*3滑窗,滑动步长为3,在整个灰度图中滑动;滑动过程中,对每一个窗口内的像素点的像素值进行排序,像素最大值为fmax,像素最小值为fmin,进行如下处理:
(1)当fmin大于阈值T时,将该窗口所有像素的像素值置为255;
(2)当fmax小于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT-10的像素点置为0,将其他像素点置为255;
(3)当fmin小于阈值T且fmax大于阈值T时,对该窗口内的像素进行遍历,将像素值小于TT的像素点的像素值置0,将其他像素点的像素值置为255;
其特征在于:所述步骤5的具体步骤是:对灰度图使用Hough梯度法寻找特征最明显的圆,得到圆circle1;对二值化图像寻找特征最明显的圆,得到圆circle2,对获得的两个圆按如下公式进行表盘的初步定位:
式中w1,w2分别为权重;
对二值化图像只保留circle1和circle2相交部分,其他像素均置0,并截取相交部分获得初步表盘图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811235195.2A CN109359604B (zh) | 2018-10-23 | 2018-10-23 | 面向巡检机器人的阴影干扰下仪表识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811235195.2A CN109359604B (zh) | 2018-10-23 | 2018-10-23 | 面向巡检机器人的阴影干扰下仪表识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109359604A CN109359604A (zh) | 2019-02-19 |
CN109359604B true CN109359604B (zh) | 2022-03-11 |
Family
ID=65346250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811235195.2A Active CN109359604B (zh) | 2018-10-23 | 2018-10-23 | 面向巡检机器人的阴影干扰下仪表识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109359604B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948469B (zh) * | 2019-03-01 | 2022-11-29 | 吉林大学 | 基于深度学习的巡检机器人仪表自动检测识别方法 |
CN110298339A (zh) * | 2019-06-27 | 2019-10-01 | 北京史河科技有限公司 | 一种仪表表盘识别方法、装置及计算机存储介质 |
CN110909738A (zh) * | 2019-11-15 | 2020-03-24 | 杭州远鉴信息科技有限公司 | 一种基于关键点检测的指针仪表自动读数方法 |
CN112836726B (zh) * | 2021-01-12 | 2022-06-07 | 云南电网有限责任公司电力科学研究院 | 一种基于视频信息的指针类仪表示数读取方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609712A (zh) * | 2012-02-24 | 2012-07-25 | 山东鲁能智能技术有限公司 | 用于移动机器人的类圆形指针式仪表读数方法 |
CN102799867A (zh) * | 2012-07-09 | 2012-11-28 | 哈尔滨工业大学 | 基于图像处理的仪表指针转角识别方法 |
CN107092863A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种变电站巡检机器人的指针式仪表读数识别方法 |
CN107358237A (zh) * | 2017-07-21 | 2017-11-17 | 东南大学 | 一种去环境干扰的多仪表盘自动读数方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
-
2018
- 2018-10-23 CN CN201811235195.2A patent/CN109359604B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609712A (zh) * | 2012-02-24 | 2012-07-25 | 山东鲁能智能技术有限公司 | 用于移动机器人的类圆形指针式仪表读数方法 |
CN102799867A (zh) * | 2012-07-09 | 2012-11-28 | 哈尔滨工业大学 | 基于图像处理的仪表指针转角识别方法 |
CN107092863A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种变电站巡检机器人的指针式仪表读数识别方法 |
CN107358237A (zh) * | 2017-07-21 | 2017-11-17 | 东南大学 | 一种去环境干扰的多仪表盘自动读数方法 |
Non-Patent Citations (3)
Title |
---|
Pointer-type meter automatic reading from complex environment based on visual saliency;Lin Zhang等;《2016 International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR)》;20161103;第264-269页 * |
一种改进的Otsu双阈值二值化图像分割方法;钟雪君;《电子世界》;20130228;第104页 * |
基于颜色特征和SVM的交通标志识别技术的研究与实现;赵策;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315(第3期);第3.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN109359604A (zh) | 2019-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109359604B (zh) | 面向巡检机器人的阴影干扰下仪表识别方法 | |
CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
CN112233133B (zh) | 基于otsu和区域生长法的电厂高温管道缺陷检测与分割方法 | |
CN115063409B (zh) | 一种机械刀具表面材质检测方法及系统 | |
CN111862037A (zh) | 基于机器视觉的精密孔类零件几何特征检测方法及系统 | |
CN110807355A (zh) | 一种基于移动机器人的指针仪表检测与读数识别方法 | |
CN109540925B (zh) | 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法 | |
CN114118144A (zh) | 抗干扰的航空遥感图像阴影精准检测方法 | |
CN111652857A (zh) | 一种绝缘子缺陷红外检测方法 | |
CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN110288571B (zh) | 一种基于图像处理的高铁接触网绝缘子异常检测方法 | |
CN116703251B (zh) | 基于人工智能的胶圈生产质量检测方法 | |
CN114219773B (zh) | 一种桥梁裂缝检测数据集预筛选与标定方法 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN111738931B (zh) | 光伏阵列无人机航拍图像的阴影去除算法 | |
CN116862910B (zh) | 基于自动化裁切生产的视觉检测方法 | |
CN116188468B (zh) | 一种hdmi线缆传输分拣智能控制系统 | |
CN117315289B (zh) | 基于图像处理的航空发动机叶片轮廓边缘检测方法 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN117689655B (zh) | 基于计算机视觉的金属钮扣表面缺陷检测方法 | |
CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
CN116883446B (zh) | 一种车载摄像头镜片碾磨程度实时监测系统 | |
CN111815575B (zh) | 一种基于机器视觉的轴承钢珠零件检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |