CN110321890A

CN110321890A - 一种电力巡检机器人的数字仪表识别方法

Info

Publication number: CN110321890A
Application number: CN201910341908.1A
Authority: CN
Inventors: 吕青松; 唐云丰; 施宇星; 贾晨昱; 邓力
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Dragon Totem Technology Hefei Co ltd; Runka Shanghai Intelligent Technology Co ltd
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2019-10-11
Anticipated expiration: 2039-04-26
Also published as: CN110321890B

Abstract

本发明涉及电力设备图像处理技术领域，尤其设计一种电力巡检机器人的数字仪表识别方法。所述方法包括机器训练准备阶段以及数字仪表识别阶段，准备阶段包括对图像集进行规范处理，根据图像集用特征工程训练得到最优特征集；数字仪表识别的正式阶段包括对图像预处理，模板匹配对齐，切分得到单个数字图像，提取单个数字图像的最优特征集特征，用十个支持向量机回归器分别识别出为每个数字的概率，概率最高即为数字识别结果。本方法的特点：有较高的数字识别精度，各类数字仪表较高的通用性，对图像预处理要求低，对光照、阴影等环境因素干扰具有较强的鲁棒性。

Description

一种电力巡检机器人的数字仪表识别方法

技术领域

本发明涉及电力设备图像处理技术领域，尤其设计一种电力巡检机器人的数字仪表识别方法。

背景技术

在电力系统中，数字仪表有着广泛的应用。在变电站，需要对仪表读数进行实时监控，以防止一些参数超标而发生意外。目前的巡检方法主要是人工巡检。人工巡检读数的效率低，误差大，危险性高。因此，需要发明一种通过巡检机器人获取图像、利用高效的图像处理技术获取仪表读数的方法，以提高效率，确保电力系统的安全运行。

智能巡检机器人按照预先设定的巡检路线对各类仪表进行巡检，主要靠拍摄可见光或红外图像，传回后台利用图像处理和计算机视觉技术完成仪表信息的判别。在其视觉处理部分，仪表的巡检主要分为两步：一是仪表的定位，即从机器人拍摄的图像中找到仪表的位置；二是仪表的读数或外观的检测。仪表定位的准确性对巡检结果有较大影响。

在戴静等人提出的《一种基于交点特征的印刷体数字识别方法》中其主要步骤分为两步：第一步对二值化后的数字图像进行扫描矩阵存储得到左零右一的交点等关键点，第二步放入RBF前馈神经网络得到识别结果；在环境较好的情况下，该方法对标准的数字识别结果较好，环境有所变换，对数字矩阵有所遮挡，则该方法效果大大减弱。

在中国专利CN109255336A《基于巡检机器人的避雷器识别方法》中先采用双向投影法切分数字区域，后采用结构分析的方法提取数字的边缘、轮廓、角点、像素特征放入人工神经网络训练。该方法对完整的数字图像，环境较好的情况下，识别效果较好，但对数字遮挡，光照雨露等环境影响的情况识别效果大大减弱，且预处理步骤繁琐，识别仪表类型单一，固定特征识别不具备变电站仪表识别系统的通用性。

现今多采用对数字结构分析，遇到图像模糊，光照、雨露等环境因素，这类分析方法效果均不太理想，且大多采用固定选择的特征识别方法，不具备各类表盘及各类数字识别的通用性，并不能很好的满足各种情况下变电站实际需求。

从以上分析，可以看出数字仪表在环境变换的情况下识别方法尚不健全。不具备各类仪表各类数字识别通用性，环境因素影响极大。尤其是环境中的光照因素、阴影因素、图像模糊等的共同影响下，使得的数字仪表识别问题难度增大，其中光照噪声就会产生极大的影响。

发明内容

本发明旨在解决以上现有技术的问题，提出了一种对光照、雨露环境影响具有较强的鲁棒性，对各类仪表各类数字具有通用性的方法。所以发明人设计了一种对各类数字具备通用性的特征选择办法，用特征工程训练数字图像的最优特征集。又针对对数字结构分析效果较弱，环境依赖性较小的情况，设计一种由10个支持向量机回归器判断为对应数字的概率方法，得到数字识别结果, 很好的解决上述问题。本发明的一种电力巡检机器人的数字仪表识别方法，其技术方案如下：

包括机器训练准备阶段以及数字仪表识别阶段，

机器训练准备阶段：

步骤一、将清晰的数字仪表模板图进行灰度化，读取出其仪表设备编号，标定单个数字区域并切分；

步骤二、随机读取一张数字仪表图像并灰度化，与所述数字仪表模板图进行匹配对齐，按照标定的单个数字区域将所述数字仪表图像进行切分得到各个单个数字图像；

步骤三、重复所述步骤二获取大量单个数字图像并获取相应的数字仪表读数，即为训练图像集；

步骤四、按照特征库中的特征，利用特征工程和十个支持向量机回归器对训练图像集进行训练，从而确定出最优特征集以及相应训练模型参数，具体包括：

步骤1)从特征库中提取训练图像集的每个单项特征；

步骤2)将每个单项特征放入十个支持向量机回归器中进行训练，并将单项特征按照其结果准确率进行排序；

步骤3)前向搜索逐个添加单项特征，直到准确率变化小于第一阈值停止添加，将停止添加时对应的各个单项特征作为最优特征集；

优选的，第一阈值通常范围设置为[0.01,0.03]。

数字仪表识别阶段：

步骤一、电力巡检机器人获得实际数字仪表图像及其仪表设备编号，按照其仪表设备编号获取相应的模板图以及单个数字区域参数；

步骤二、将实际数字仪表图像灰度化后与其相应的模板图进行匹配对齐，并按其单个数字区域参数进行切分，得到实际图像内的若干单个数字图像；将若干单个数字图像分别与灰度化后的模板图单个数字图像进行规定化处理；规定化处理即将实际图片的直方图按模板直方图就近调整，从而达到近似的模板图效果。

步骤三、按照确定出的最优特征集提取出若干单个数字图像的最优特征集特征；

步骤四、将提取的各最优特征集特征分别放入训练好的十个支持向量机回归器中进行识别，获得支持向量机回归的解，从而获得该特征对应为每个数字的概率，概率最高对应的数字即为该数字仪表图像的识别结果。

进一步的，所述特征库包括尺度不变特征变换SIFT、尺度不变特征变换 SUFT、局部二值模式LBP、边缘提取的线性滤波器GABOR、方向梯度的直方图HOG、角点检测FAST、空间包络特征GIST、特征点描述BRIEF、角点检测 HARRIS、尺度不变特征变换ORB、纹理特征描述GMRF、多尺度纹理图像分割HMT、纹理提取LAWS、纹理特征TAMURA、综合局部特征、半方差、分型盒维数、灰度差分统计GLDS、灰度共生矩阵GLCM、小波分析WAVELET 以及自相关函数特征。

优选的，本发明采用Gabor特征、Hog特征以及Sift特征；

进一步的，所述Gabor特征包括采用Gabor滤波，统计滤波图像每一行的能量值，Gabor滤波器基函数为：

其中，σ_x和σ_y分别表示高斯函数在两个坐标轴x和y上的标准方差；λ和θ_k分别是正弦波的波长和方向；表示高斯包络在x方向的标准差；表示高斯包络在y方向的标准差；i表示虚数；

所述Hog特征为：

其中，M(x,y)代表梯度的幅度值；I_x和I_y分别代表在x和y方向上的梯度值；θ(x,y)表示梯度的方向；

所述Sift特征为：

L(x,y)＝G(x,y,σ)*I(x,y)；

θ(x,y)＝arctan((L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y)))

此处σ为图像局部稳定结构的特征点尺度，L(x,y)为梯度，m(x,y)为L(x,y) 的模，θ(x,y)为特征点方向。

可以理解的是，本发明中可不限于上述特征，本领域技术人员可在不付出创造性劳动的情况下，适当补充相应特征。

进一步的，单个数字区域的获取方式包括以[N,M]大小的图像中点为中心，对包含图像2/3区域进行搜索，计算每个位置误差度：X_i,j表示数字仪表图像在(i，j)的像素值；X′_i,j表示数字仪表模板图在(i,j)的像素值；i 表示横坐标，j表示纵坐标；找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图像得到单个数字图像；

可选的，N＝80，M＝256。

进一步的，机器训练准备阶段中步骤四还包括：

针对特征集单个数字识别率较低添加相应单项特征中识别最好的特征，直到准确率变化小于阈值停止。

进一步的，在数字仪表识别方法中所述的弱回归器分为以下具体步骤：

本发明给定训练样本D＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)}，y_i∈R，希望学习到一个f(x)使得其与y尽可能的接近，w，b是待确定的参数。在这个模型中，只有当f(x) 与y完全相同时，损失才为零；本发明假设支持向量机回归能容忍的f(x)与y之间最多有ε的偏差，当且仅当f(x)与y的差别绝对值大于ε时，才将其作为损失，此时相当于以f(x)为中心，构建一个宽度为2ε的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。(间隔带两侧的松弛程度可有所不同)

因此支持向量机回归最优化问题可转化为(下式左部是正则化项)

其中，l_e表示为损失函数，z＝f(x_i)-y_i；

因此本发明引入了松弛因子ζ_i和对支持向量机回归最优化问题进行重写为：

s.t. f(x_i)-y_i≤ε+ζ_i,

对下列四个公式进行遍历求导，令偏导数为零：

C＝α_i+u_i,

把上面的式子带入，即可求得支持向量机回归的对偶问题：

上边的过程需要满足KKT条件，即

最后可得支持向量机回归的解为b表示超参数；

其中，f(x)表示为当前数字概率，m表示为训练图像集个数；为第i个训练图像集，y_i为第i个训练图像集对应的标签值，ε为训练结果与标签值所允许的单边误差范围，和α_i为拉格朗日函数中的相关参数，x_i即为0～9十个数字。本发明的有益效果：

1、本发明采用特征工程训练数字图像的最优特征集，使得本发明能够处理各类仪表、各类数字，从而具有较高的通用性；

2、本发明通过由10个支持向量机回归器判断为对应数字的概率，能够解决数字结构分析效果较弱，环境依赖性较小等问题；

3、本发明具有较高的数字识别精度，各类数字仪表较高的通用性，对图像预处理要求低，对光照、阴影等环境因素干扰具有较强的鲁棒性。

附图说明

图1为本发明采用的方法流程图；

图2是本发明提供的电力巡检机器人获取的图像；

图3是本发明提取的数字区域及单个数字图像；

图4为本发明规定化处理后的数字图像；

图5(a)为本发明采用HOG特征提取图；

图5(b)为本发明采用SIFT特征提取图；

图5(c)为本发明采用Gabor特征提取图；

图5(d)为本发明采用LBP特征提取图；

图5(e)为本发明采用SURF特征提取图；

图5(f)为本发明采用FAST特征提取图；

图6为本发明的数字仪表识别结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

一种电力巡检机器人的数字仪表检测方法，如图1所示，包括机器训练准备阶段和数字仪表识别阶段，具体步骤如下：

(1)人工选择一张清晰的模板图并灰度化，如图2所示，人工读取仪表设备编号，人工标定单个数字区域并切分，并记录各相应参数。

(2)读取一张图像并灰度化，与模板图模板匹配对齐，按人工标定的单个数字区域，切分得到各单个数字图像。重复此步骤获取大量单个数字图像再获取相应的人工读数，即为图像集。

(3)用特征工程与0～9十个支持向量机回归器对图像集从特征库中训练得到最优特征集。

(4)获得的实际图像及设备编号，读取相应的模板图、单个数字区域参数如图3所示。

作为一种可选方式，本发明中由于其数据源(实际数字仪表图像)是由电力巡检机器人拍摄，则可直接根据该电力巡检机器人本身的标签等直接判断实际图像的设备编号；

作为另一种可选方式，本发明可采用匹配对齐的方式，将实际图像与各个模板图作差进行比较，若相似度大于60％，则判断该实际图像对应为该模板；

(5)将实际图像与模板图模板匹配对齐，并按单个数字区域参数切分，得到实际图像内若干张单个数字图像；将得到的若干张单个数字图像分别与灰度化后的模板图单个数字图像进行规定化处理，如图4所示。

(6)读取相应最优特征集，提取若干张单个数字图像的最优特征集特征。

(7)将提取的各最优特征集特征分别放入0～9十个支持向量机回归器识别得到结果如图6所示。

本实施例用模板为80*256像素的图像在图像中点为中心，包含图像2/3区域进行全图搜索计算每个位置的误差。

其中，i表示横坐标，j表示纵坐标；

找到误差最小的位置，提取该位置的数字仪表区域图像，并按切分参数得到单个数字图像，如图4所示，其中，图4中左侧为模板图，右侧三个图为规定化处理后的图。

用特征工程与强回归器wrapper前向搜索得到最优特征集，本例最优特征集为Gabor、Hog、Sift依次参考图5(a)、图5(b)和图5(c)。

所述Gabor特征包括采用Gabor滤波，统计滤波图像每一行的能量值，Gabor 滤波器基函数为：

所述Hog特征为：

所述Sift特征为：

L(x,y)＝G(x,y,σ)*I(x,y)；

θ(x,y)＝arctan((L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y)))

提取最优特征集特征，先由10个支持向量机回归器判断为对应数字的概率；

所述支持向量机回归器为：

l_e表示为损失函数，令z＝f(x_i)-y_i；

支持向量机回归的解为：

本发明将一组数字仪表图像及标签值拿来训练，以特征库前六项特征为例，分别提取前六项特征如图5(a)～图5(f)所示，依次对应为：HOG特征、SIFT 特征、Gabor特征、LBP特征、SURF特征以及FAST特征；把这六项特征放入 0～9十个支持向量机回归器得到识别结果，按准确率对这六项特征排序，如表1 所示：

表1不同特征的准确率

特征	GABOR	HOG	SIFT	1SUFT	LBP	FAST
							准确率	0.945	0.928	0.910	0.856	0.824	0.813

以GABOR特征为基准进行前向搜索，添加HOG特征，用BP人工神经网络对两个特征的概率结果拟合标签得到融合特征准确率，如果融合特征准确率低于原来特征准确率，即舍去添加特征；再依次添加特征SITF，再用BP人工神经网络拟合得到融合特征准确率，直到准确率变化小于第一阈值，本实施例的第一阈值采用0.02。本发明能够保证在较小的算法复杂度下，能够较快的选择出最佳的特征集。

最后再分析融合特征集各个数字识别率识别情况，对低于阈值识别率0.9的数字针对性再次融合单项特征中单个数字识别率最高的特征，并按照前向搜索方法继续，如表2所示。

表2融合特征及其准确率

因此融合特征为GABOR、HOG、SIFT，再分析此处每个数字的识别概率，如表3所示；

表3每个数字对应的数字识别率

经检验符合标准，因此此类仪表的最优特征集为GABOR、HOG、SIFT。显然，本发明将10个分类器的结果相结合，显然该数字为1的概率最大为0.9654，识别结果为1。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种电力巡检机器人的数字仪表识别方法，包括机器训练准备阶段以及数字仪表识别阶段，其特征在于，

机器训练准备阶段：

步骤1)从特征库中提取训练图像集的每个单项特征；

步骤3)前向搜索逐个添加单项特征，直到准确率变化小于第一阈值停止添加，将停止添加时对应的各个单项特征作为最优特征集；其中，第二阈值范围为[0.01,0.03]；

数字仪表识别阶段：

步骤二、将实际数字仪表图像灰度化后与其相应的模板图进行匹配对齐，并按其单个数字区域参数进行切分，得到实际图像内的若干单个测试数字图像；将若干单个测试数字图像分别与灰度化后的模板图单个测试数字图像进行规定化处理；

步骤三、按照确定出的最优特征集相应提取出若干测试单个数字图像的最优特征集特征；

2.根据权利要求1所述的电力巡检机器人的数字仪表识别方法，其特征在于，所述特征库包括尺度不变特征变换SIFT、尺度不变特征变换SUFT、局部二值模式LBP、边缘提取的线性滤波器GABOR、方向梯度的直方图HOG、角点检测FAST、空间包络特征GIST、特征点描述BRIEF、角点检测HARRIS、尺度不变特征变换ORB、纹理特征描述GMRF、多尺度纹理图像分割HMT、纹理提取LAWS、纹理特征TAMURA、综合局部特征、半方差、分型盒维数、灰度差分统计GLDS、灰度共生矩阵GLCM、小波分析WAVELET以及自相关函数特征。

3.根据权利要求1所述的电力巡检机器人的数字仪表识别方法，其特征在于，单个数字区域的获取方式包括以长宽为N×M大小的图像中点为中心，对包含图像2/3区域进行搜索，计算每个位置误差度：X_i,j表示数字仪表图像在(i，j)的像素值；X'_i,j表示数字仪表模板图在(i,j)的像素值；i表示横坐标，j表示纵坐标；找到误差度最小位置对齐后，按模板图的单个数字区域切分实际图像得到单个数字图像。

4.根据权利要求1所述的电力巡检机器人的数字仪表识别方法，其特征在于，机器训练准备阶段中步骤四还包括：

分析目前最优特征集对0～9十个数字单独的识别准确率，对单个数字识别准确率低于标准识别率的，再添加相应单项特征中识别最好的特征，直到准确率变化小于第二阈值停止。

5.根据权利要求4所述的电力巡检机器人的数字仪表识别方法，其特征在于，单个数字标准识别率范围为[0.95,0.99]，第二阈值范围为[0.05,0.15]。

6.根据权利要求1所述的电力巡检机器人的数字仪表识别方法，其特征在于，所述支持向量机回归的解包括：

其中

f(x)表示为当前数字概率，b表示超参数；m表示为训练图像集个数；为第i个训练图像集，y_i为第i个训练图像集对应的标签值，ε为训练结果与标签值所允许的单边误差范围，和α_i为拉格朗日函数中的相关参数，x_i即为0～9十个数字。