CN109447062A - 基于巡检机器人的指针型仪表识别方法 - Google Patents

Abstract

本发明公开了一种基于巡检机器人的指针型仪表识别方法，利用仪表图像数据集训练Adaboost分类器，并为每个巡检点选取一张仪表居中的图像作为模板图像；获取指定巡检点的待检测仪表图片，结合Adaboost分类器和模板图像进行粗定位和精确定位，筛选出表盘区域；根据表盘区域的指针颜色，采用不同的图像预处理操作和指针提取操作，提取指针轮廓；根据提取的指针轮廓，利用余弦定理，计算指针旋转方向以及指向的读数。本发明利用机器学习，能检测识别多种光照、机器人姿态变化下的仪表示数。

Description

基于巡检机器人的指针型仪表识别方法

技术领域

本发明涉及电力巡检机器人领域，具体涉及一种基于巡检机器人的指针型仪表识别方法。

背景技术

电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能，其中检测现场电力设备的仪器仪表示数是电力巡检机器人最核心的功能。大部分指针型仪表由于成本和历史的原因，并不具有智能仪表的远传功能，只能利用巡检机器人通过计算机视觉的方法去读取仪表示数。想要准确识别指针型仪表示数，就需要准确检测到视觉图像中液位型仪表的位置。大多数指针型仪表在室外，光照条件复杂，同时巡检机器人拍摄角度也不同，利用传统的图像处理手段进行检测和识别时，检测的示数不稳定，与实际示数的偏差也较大。

发明内容

本发明的目的在于提供一种基于巡检机器人的指针型仪表识别方法，提高了在不同光照不同姿态条件下示数识别的稳定性和精度。

实现本发明目的的技术解决方案为：一种基于巡检机器人的指针型仪表识别方法，包括以下步骤：

步骤1、分类器训练：利用仪表图像数据集训练Adaboost分类器，并为每个巡检点选取一张仪表居中的图像作为模板图像；

步骤2、仪表区域定位：获取指定巡检点的待检测仪表图片，结合Adaboost分类器和模板图像进行粗定位和精确定位，筛选出表盘区域；

步骤3、提取指针轮廓：根据表盘区域的指针颜色，采用不同的图像预处理操作和指针提取操作，提取指针轮廓；

步骤4、识别仪表示数：根据提取的指针轮廓，利用余弦定理，计算指针旋转方向以及指向的读数。

本发明与现有技术相比，其显著优点为：1)本发明融合了机器人已有的定位信息，解决了机器人位置不定时目标尺度、角度变化大的问题，在此基础上利用相位相关进行粗检测，利用机器学习的方法进行精确检测，解决了光线过亮、过暗的漏检的问题；2)本发明根据指针颜色(红色与非红色)进行不同的预处理，结合闭运算、直方图均衡化等操作，提高了指针型仪表示数识别准确率，以及对光线、机器人姿态的鲁棒性。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明方案。

如图1所示，基于巡检机器人的指针型仪表识别方法，包括以下步骤：

步骤1、分类器训练：利用仪表图像数据集训练Adaboost分类器，并为每个巡检点选取一张仪表居中的图像作为模板图像。由于仪表图像数据集包含了不同光照、姿态条件下的仪表图像，后续无论仪表检测环境如何变化，都能将仪表精确提取出来。

步骤2、仪表区域定位：获取指定巡检点的待检测仪表图片，结合Adaboost分类器和模板图像进行粗定位和精确定位，筛选出表盘区域，具体方法为：

步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位，得到粗定位目标仪表区；

步骤2.2、利用训练的Adaboost分类器对待检测仪表图片进行精确定位，得到若干目标候选区域；

步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标，做加权求出每一目标候选区域的置信度，确定备选检测结果；

计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU，公式为：

式中，C为粗定位目标仪表区域，n_i为目标候选区域。

计算每个目标候选区域与模板图像的感知哈希指标，具体方法为：将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的低频区域，去除坐标(0,0)的直流分量，得到一个特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标。

计算每个目标候选区域图像与模板图像的互信息指标，公式为：

式中，G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高。

将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，公式为：

Confidence＝1-(pHash+1/I(G_(X)，H_(Y)))/(IOU+D)

式中，I(G_(X)，H_(Y))为互信息指标，pHash为感知哈希指标，IOU为交并比指标，D为设定的常数，将置信度最大的目标候选区域作为备选检测结果。

步骤2.4、根据备选检测结果的指标值筛选最终的目标仪表区域，即表盘区域，若备选检测结果的IOU满足同时小于设定阈值thresholdIOU，且(pHash+1/I(G_(X)，H_(Y)))大于阈值thresholdA时，将粗定位目标仪表区域作为最终目标仪表区域，否则以备选检测结果作为最终目标仪表区域。通常设置阈值thresholdIOU取值范围0.1～0.4，阈值thresholdA取值范围10～50。

步骤3、提取指针轮廓：根据表盘区域的指针颜色，采用不同的图像预处理操作和指针提取操作，提取指针轮廓。

指针划分为红色与非红色两种类型，将图片置于HSV颜色空间下，黑色易受到光照影响，在HSV空间下容易模糊，而红色在HSV空间下不易受到光照影响，因此针对红色指针，将图片转到HSV格式，针对非红色指针，将图片灰度化处理。

针对红色指针，由于仪表其他部分没有红色区域，在HSV颜色空间下，颜色分布是连续的，因此根据表1，利用指针颜色为红色的特点，提取指针部分。首先利用HSV的颜色连续性提取红色区域，H取值在(0,10)(156,180)，S通道取值在(43,255)，V通道(46,255)，然后进行闭运算，减少噪点对提取指针的干扰，面积最大红色区域，即为指针轮廓。

表1 HSV基本颜色分量范围表

对非红色指针，首先对灰度图像进行直方图均衡化、高斯滤波，减少光照干扰。由于仪表指针和表盘颜色差异明显，然后利用大津算法对表盘区域二值化，将黑色指针变为白色区域，其他背景变为黑色。最后进行开运算，提取指针轮廓。

步骤4、识别仪表示数：根据提取的指针轮廓，利用余弦定理，计算指针旋转方向以及指向的读数，具体方法为：

步骤4.1、找到轮廓点相距最大的两个点，以这两点做直线，找轮廓上的点对，使其形成与该直线垂直的线段，从这些点对中找到距离最远的点；

步骤4.2、将两条线段相交的点记为仪表的圆心，以圆心为原点建立坐标系；

步骤4.3、根据找到的四个点，利用余弦定理，计算指针旋转方向以及指向的读数。

Claims (8)

1.一种基于巡检机器人的指针型仪表识别方法，其特征在于，包括以下步骤：

步骤1、分类器训练：利用仪表图像数据集训练Adaboost分类器，并为每个巡检点选取一张仪表居中的图像作为模板图像；

步骤2、仪表区域定位：获取指定巡检点的待检测仪表图片，结合Adaboost分类器和模板图像进行粗定位和精确定位，筛选出表盘区域；

步骤3、提取指针轮廓：根据表盘区域的指针颜色，采用不同的图像预处理操作和指针提取操作，提取指针轮廓；

步骤4、识别仪表示数：根据提取的指针轮廓，利用余弦定理，计算指针旋转方向以及指向的读数。

2.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤2中，筛选表盘区域的具体方法为：

步骤2.1、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位，得到粗定位目标仪表区；

步骤2.2、利用训练的Adaboost分类器对待检测仪表图片进行精确定位，得到若干目标候选区域；

步骤2.3、计算每个目标候选区域的感知哈希、互信息和交并比三种参数指标，做加权求出每一目标候选区域的置信度，确定备选检测结果；

步骤2.4、根据备选检测结果的指标值，从粗定位目标仪表区域和备选检测结果中选择最终目标仪表区域，即表盘区域。

3.根据权利要求2所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤2.3中，确定备选检测结果的具体方法为：

计算每个目标候选区域与粗定位目标仪表区域的交并比参数IOU，公式为：

式中，C为粗定位目标仪表区域，n_i为目标候选区域；

计算每个目标候选区域与模板图像的感知哈希指标，具体方法为：将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的低频区域，去除坐标(0,0)的直流分量，得到一个特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标；

计算每个目标候选区域图像与模板图像的互信息指标，公式为：

式中，G_(X)、H_(Y)分别为模板图像与候选图像灰度像素的数目，W、H分别为候选区域图像宽、高；

将每一目标候选区域的交并比IOU、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，公式为：

Confidence＝1-(pHash+1/I(G_(X)，H_(Y))/(IOU+D)

式中，I(G_(X)，H_(Y))为互信息指标，pHash为感知哈希指标，IOU为交并比指标，D为设定的常数，将置信度最大的目标候选区域作为备选检测结果。

4.根据权利要求3所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤2.4中，筛选表盘区域的具体方法为：若备选检测结果的IOU满足同时小于设定阈值thresholdIOU，且(pHash+1/I(G_(X)，H_(Y)))大于阈值thresholdA时，将粗定位目标仪表区域作为最终目标仪表区域，否则以备选检测结果作为最终目标仪表区域。

5.根据权利要求4所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤2.4中，设置阈值thresholdIOU取值范围0.1～0.4，阈值thresholdA取值范围10～50。

6.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤3中，图像预处理的方法具体为：针对针对红色指针，将图片转到HSV格式，针对非红色指针，将图片灰度化处理。

7.根据权利要求6所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤3中，提取指针轮廓的具体方法为：

针对红色指针，首先利用HSV的颜色连续性提取红色区域，H取值在(0,10)(156,180)，S通道取值在(43,255)，V通道(46,255)，然后进行闭运算，提取面积最大红色区域，即为指针轮廓；

针对非红色指针，首先对灰度图像进行直方图均衡化、高斯滤波，减少光照干扰；然后利用大津算法对表盘区域二值化，将黑色指针变为白色区域，其他背景变为黑色；最后进行开运算，提取指针轮廓。

8.根据权利要求1所述的基于巡检机器人的指针型仪表识别方法，其特征在于，步骤4中，识别指针示数的具体方法为：

步骤4.1、找到轮廓点相距最大的两个点，以这两点做直线，找轮廓上的点对，使其形成与该直线垂直的线段，从这些点对中找到距离最远的点；

步骤4.2、将两条线段相交的点记为仪表的圆心，以圆心为原点建立坐标系；

步骤4.3、根据找到的四个点，利用余弦定理，计算指针旋转方向以及指向的读数。