CN109446916A - 基于巡检机器人的放电计数器识别方法 - Google Patents

基于巡检机器人的放电计数器识别方法 Download PDF

Info

Publication number
CN109446916A
CN109446916A CN201811150830.7A CN201811150830A CN109446916A CN 109446916 A CN109446916 A CN 109446916A CN 201811150830 A CN201811150830 A CN 201811150830A CN 109446916 A CN109446916 A CN 109446916A
Authority
CN
China
Prior art keywords
discharge counter
image
pointer
region
object candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811150830.7A
Other languages
English (en)
Inventor
李胜
黄紫霄
郭健
吴益飞
宋恺
袁佳泉
施佳伟
朱禹璇
危海明
王艳琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811150830.7A priority Critical patent/CN109446916A/zh
Publication of CN109446916A publication Critical patent/CN109446916A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Abstract

本发明公开了一种基于巡检机器人的放电计数器识别方法,利用放电计数器图像数据集训练Adaboost分类器,并为每个巡检点选取一张放电计数器居中的图像作为模板图像;获取指定巡检点的待检测放电计数器图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;对表盘图像进行图像预处理和指针提取操作,提取指针轮廓;根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。本发明利用机器学习,能检测识别多种光照、机器人姿态变化下的放电计数器示数。

Description

基于巡检机器人的放电计数器识别方法
技术领域
本发明涉及电力巡检机器人领域,具体涉及一种基于巡检机器人的放电计数器识别方法。
背景技术
电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能其中检测现场电力设备的仪器仪表示数是电力巡检机器人最核心的功能。大部分放电计数器由于成本和历史的原因,并不具有智能仪表的远传功能,只能利用巡检机器人通过计算机视觉的方法去读取仪表示数。想要准确识别放电计数器示数,就需要准确检测到视觉图像中放电计数器的位置。大多数放电计数器在室外,光照条件复杂,同时巡检机器人拍摄角度也不同,利用传统的图像处理手段进行检测和识别时,检测的示数不稳定,与实际示数的偏差也较大。
发明内容
本发明的目的在于提供一种基于巡检机器人的放电计数器识别方法,提高了在不同光照不同姿态条件下示数识别的稳定性和精度。
实现本发明目的的技术解决方案为:一种基于巡检机器人的放电计数器识别方法,包括以下步骤:
步骤1、分类器训练:利用放电计数器图像数据集训练Adaboost分类器,并为每个巡检点选取一张放电计数器居中的图像作为模板图像;
步骤2、仪表区域定位:获取指定巡检点的待检测放电计数器图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;
步骤3、提取指针轮廓:对表盘图像进行图像预处理操作和指针提取操作,提取指针轮廓;
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。
本发明与现有技术相比,其显著优点为:1)本发明融合了机器人已有的定位信息,解决了机器人位置不定时目标尺度、角度变化大的问题,在此基础上利用相位相关进行粗检测,利用机器学习的方法进行精确检测,解决了光线过亮、过暗的漏检的问题;2)本发明根据指针颜色为红色,利用HSV颜色空间进行指针提取,减少了光照对示数识别的影响。
附图说明
图1为本发明基于巡检机器人的放电计数器识别方法的流程图。
图2为提取指针轮廓前的图像。
图3为提取指针轮廓后的图像。
具体实施方式
下面结合附图和具体实施例,进一步说明本发明方案。
如图1所示,一种基于巡检机器人的放电计数器识别方法,包括以下步骤:
步骤1、分类器训练:利用放电计数器图像数据集训练Adaboost分类器,并为每个巡检点选取一张放电计数器居中的图像作为模板图像。由于放电计数器图像数据集包含了不同光照、姿态条件下的放电计数器图像,后续无论放电计数器检测环境如何变化,都能将放电计数器精确提取出来。
步骤2、放电计数器区域定位:获取指定巡检点的待检测放电计数器图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域,具体方法为:
步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测放电计数器图片中的目标仪表区域进行粗定位,得到粗定位目标仪表区;
步骤2.2、利用训练的Adaboost分类器对目标仪表区域进行精确定位,得到若干目标候选区域;
步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标,做加权求出每一目标候选区域的置信度,确定备选检测结果;
计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU,公式为:
式中,C为粗定位目标仪表区域,ni为目标候选区域。
计算每个目标候选区域与模板图像的感知哈希指标,具体方法为:将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量,得到一个特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标。
计算每个目标候选区域图像与模板图像的互信息指标,公式为:
式中,G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高。
将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度,公式为:
Confidence=1-(pHash+1/I(G(X),H(Y))/(IOU+D)
式中,I(G(X),H(Y))为互信息指标,pHash为感知哈希指标,IOU为交并比指标,D为设定的常数,将置信度最大的目标候选区域作为备选检测结果。
步骤2.4、根据备选检测结果的指标值筛选最终的目标仪表区域,即表盘区域,若备选检测结果的IOU满足同时小于设定阈值thresholdIOU,且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将粗定位目标仪表区域作为最终目标仪表区域,否则以备选检测结果作为最终目标仪表区域。通常设置阈值thresholdIOU取值范围0.1~0.4,阈值thresholdA取值范围10~50。
步骤3、提取指针轮廓:根据表盘区域的指针颜色,进行图像预处理操作和指针提取操作,提取指针轮廓。由于放电计数器指针为红色,将图片置于HSV颜色空间下,红色不易受到光照影响,因此将图片转到HSV格式,由于在HSV颜色空间下,颜色分布是连续的,并且仪表其他部分没有红色区域,因此根据表1,利用指针颜色为红色的特点,提取指针部分,即首先利用HSV的颜色连续性提取红色区域,H取值在(0,10)(156,180),S通道取值在(43,255),V通道(46,255),然后进行闭运算,减少噪点对提取指针的干扰,提取面积最大红色区域,即为指针轮廓。
表1 HSV基本颜色分量范围表
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数,具体方法为:
步骤4.1、找到轮廓点相距最大的两个点,以这两点做直线,找轮廓上的点对,使其形成与该直线垂直的线段,从这些点对中找到距离最远的点;
步骤4.2、将两条线段相交的点记为仪表的圆心,以圆心为原点建立坐标系;
步骤4.3、根据找到的四个点,利用余弦定理,计算指针旋转方向以及指向的读数。

Claims (7)

1.一种基于巡检机器人的放电计数器识别方法,其特征在于,包括以下步骤:
步骤1、分类器训练:利用放电计数器图像数据集训练Adaboost分类器,并为每个巡检点选取一张放电计数器居中的图像作为模板图像;
步骤2、仪表区域定位:获取指定巡检点的待检测放电计数器图片,结合Adaboost分类器和模板图像进行粗定位和精确定位,筛选出表盘区域;
步骤3、提取指针轮廓:对表盘图像进行图像预处理操作和指针提取操作,提取指针轮廓;
步骤4、识别仪表示数:根据提取的指针轮廓,利用余弦定理,计算指针旋转方向以及指向的读数。
2.根据权利要求1所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤2中,筛选表盘区域的具体方法为:
步骤2.1、利用梅林傅里叶变换和相位相关技术对待放电计数器图片中的目标仪表区域进行粗定位,得到粗定位目标仪表区;
步骤2.2、利用训练的Adaboost分类器对待放电计数器图片进行精确定位,得到若干目标候选区域;
步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标,做加权求出每一目标候选区域的置信度,确定备选检测结果;
步骤2.4、根据备选检测结果的指标值,从粗定位目标仪表区域和备选检测结果中选择最终目标仪表区域,即表盘区域。
3.根据权利要求2所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤2.3中,确定备选检测结果的具体方法为:
计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU,公式为:
式中,C为粗定位目标仪表区域,ni为目标候选区域;
计算每个目标候选区域与模板图像的感知哈希指标,具体方法为:将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量,得到一个特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标;
计算每个目标候选区域图像与模板图像的互信息指标,公式为:
式中,G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高;
将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度,公式为:
Confidence=1-(pHash+1/I(G(X),H(Y))/(IOU+D)
式中,I(G(X),H(Y))为互信息指标,pHash为感知哈希指标,IOU为交并比指标,D为设定的常数,将置信度最大的目标候选区域作为备选检测结果。
4.根据权利要求3所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤2.4中,筛选表盘区域的具体方法为:若备选检测结果的IOU满足同时小于设定阈值thresholdIOU,且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将粗定位目标仪表区域作为最终目标仪表区域,否则以备选检测结果作为最终目标仪表区域。
5.根据权利要求4所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤2.4中,设置阈值thresholdIOU取值范围0.1~0.4,阈值thresholdA取值范围10~50。
6.根据权利要求4所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤3中,提取指针轮廓的具体方法为:
步骤3.1、将图片转到HSV格式,利用HSV的颜色连续性提取红色区域,H取值在(0,10)(156,180),S通道取值在(43,255),V通道(46,255),
步骤3.2、进行闭运算,提取面积最大红色区域,即为指针轮廓。
7.根据权利要求1所述的基于巡检机器人的放电计数器识别方法,其特征在于,步骤4中,识别指针示数的具体方法为:
步骤4.1、找到轮廓点相距最大的两个点,以这两点做直线,找轮廓上的点对,使其形成与该直线垂直的线段,从这些点对中找到距离最远的点;
步骤4.2、将两条线段相交的点记为仪表的圆心,以圆心为原点建立坐标系;
步骤4.3、根据找到的四个点,利用余弦定理,计算指针旋转方向以及指向的读数。
CN201811150830.7A 2018-09-29 2018-09-29 基于巡检机器人的放电计数器识别方法 Pending CN109446916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811150830.7A CN109446916A (zh) 2018-09-29 2018-09-29 基于巡检机器人的放电计数器识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811150830.7A CN109446916A (zh) 2018-09-29 2018-09-29 基于巡检机器人的放电计数器识别方法

Publications (1)

Publication Number Publication Date
CN109446916A true CN109446916A (zh) 2019-03-08

Family

ID=65546078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811150830.7A Pending CN109446916A (zh) 2018-09-29 2018-09-29 基于巡检机器人的放电计数器识别方法

Country Status (1)

Country Link
CN (1) CN109446916A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321890A (zh) * 2019-04-26 2019-10-11 重庆邮电大学 一种电力巡检机器人的数字仪表识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128297A1 (en) * 2003-03-14 2005-06-16 Fujitsu Limited Apparatus, method and program for detecting a pointer region, apparatus, method and program for associating images, content-distributing server, and content-distributing method
CN105260412A (zh) * 2015-09-24 2016-01-20 东方网力科技股份有限公司 一种图像存储方法、图像检索方法和装置
CN106951930A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表定位方法
CN107610162A (zh) * 2017-08-04 2018-01-19 浙江工业大学 一种基于互信息与图像分割的三维多模态医学图像自动配准方法
CN107610128A (zh) * 2017-09-26 2018-01-19 山东鲁能智能技术有限公司 一种油位计的巡检方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128297A1 (en) * 2003-03-14 2005-06-16 Fujitsu Limited Apparatus, method and program for detecting a pointer region, apparatus, method and program for associating images, content-distributing server, and content-distributing method
CN105260412A (zh) * 2015-09-24 2016-01-20 东方网力科技股份有限公司 一种图像存储方法、图像检索方法和装置
CN106951930A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表定位方法
CN107610162A (zh) * 2017-08-04 2018-01-19 浙江工业大学 一种基于互信息与图像分割的三维多模态医学图像自动配准方法
CN107610128A (zh) * 2017-09-26 2018-01-19 山东鲁能智能技术有限公司 一种油位计的巡检方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冀辰宇等: "基于颜色提取方法的仪表彩色指针识别", 《东北电力大学学报》 *
戴宪策 等: "基于傅里叶-梅林变换的图像匹配方法研究", 《红外技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321890A (zh) * 2019-04-26 2019-10-11 重庆邮电大学 一种电力巡检机器人的数字仪表识别方法
CN110321890B (zh) * 2019-04-26 2021-04-20 重庆邮电大学 一种电力巡检机器人的数字仪表识别方法

Similar Documents

Publication Publication Date Title
CN109447062A (zh) 基于巡检机器人的指针型仪表识别方法
CN109447061A (zh) 基于巡检机器人的电抗器油位计识别方法
CN102176228B (zh) 一种用于识别多个指针式仪表表盘信息的机器视觉方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN104899609B (zh) 一种基于图像配准的机械式表计识别方法
CN107729853B (zh) 一种适用于变电站窄刻度指针式仪表的自动识别方法
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
JP2011238228A (ja) スクリーン領域検知方法及びシステム
Bheda et al. A study on features extraction techniques for image mosaicing
Fan et al. SAR image registration using multiscale image patch features with sparse representation
CN104268853A (zh) 一种红外图像与可见光图像配准方法
CN104732231B (zh) 一种有价票据的识别方法
CN108491838A (zh) 基于sift和hough的指针型仪表示数读取方法
CN109389165A (zh) 基于巡检机器人的变压器油位计识别方法
WO2018072333A1 (zh) 一种元件错件检测方法和装置
CN104517101A (zh) 一种基于像素平方差匹配的游戏扑克牌识别方法
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN103854278A (zh) 基于连通区域质心形状上下文的印刷电路板图像配准方法
CN108133211B (zh) 一种基于移动终端视觉图像的检测配电柜的方法
CN106529548A (zh) 亚像素级的多尺度Harris角点检测算法
CN103533332A (zh) 一种2d视频转3d视频的图像处理方法
TWI543117B (zh) 物件辨識與定位方法
CN109446916A (zh) 基于巡检机器人的放电计数器识别方法
CN104166977B (zh) 一种图像匹配相似性测度方法及其图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication