CN104318198A - 适用于变电站机器人巡检的识别方法及装置 - Google Patents

Abstract

本发明涉及适用于变电站机器人巡检的识别方法及装置，方法包括步骤：对待检测图像进行放大处理；对放大后的图像进行HOG特征金字塔分解；对特征金字塔每一层的特征图，采用滑动窗口进行检测，以与对应模型进行匹配和判定。本发明的开关状态检测算法可以做到对图像形变、光照变化不敏感，对部分反光也有很强的适应能力，是一种能够适用于机器人拍照的变电站开关状态识别方法。

Description

适用于变电站机器人巡检的识别方法及装置

技术领域

本发明涉及一种适用于变电站机器人巡检的识别方法及装置，可以用于识别开关状态。

背景技术

在电力系统中，开关应用非常广泛，能够实时指示电力线路运行状态，对排除电力故障有一定的帮助。但由于电力系统到处高压，人工检查的时候需要承担极大的风险，而通过机器人拍照并自动进行识别，就能保证人身安全。

目前常用的开关识别方法可以总结为：基于相关匹配的方法、基于统计理论的方法、基于传统知识的方法、基于几何特征的方法、基于表象的方法，这些方法在理想条件下可以取得较好的识别效果，但是应用于机器人时，往往会表现出很差的性能。主要原因在于：由于地理空间和控制器的约束，机器人只能到达某些地方并且会有偏差，造成图像中开关大小、方向等变化，进而影响识别性能。

机器视觉领域，可以使用的识别方法很多，如AdaBoost分类器、支持向量机、神经网络等等，但这些方法在应用在机器人巡检领域时识别率较低。

发明内容

本发明的目的是提供一种识别方法，用以解决现有识别方法识别率低的问题。

为实现上述目的，本发明的方案包括：

适用于变电站机器人巡检的识别方法，其特征在于，包括步骤如下：

1）对待检测图像进行放大处理；

2）对放大后的图像进行HOG特征金字塔分解；

3）对特征金字塔每一层的特征图，采用滑动窗口进行检测，以与对应模型进行匹配和判定；所述对应模型是指采用支持向量机对样本HOG特征进行训练得到的对应模型。

待识别特征为分状态、合状态；所述对应模型为分模型、合模型。

在判定之前还包括颜色确认的步骤，通过检测图像中的像素颜色数量确认开关状态。

采用并行运算方式，同时进行滑动窗口分状态匹配和滑动窗口合状态匹配。

采用隐藏支持向量机对样本HOG特征进行训练；所述滑动窗口的尺寸是根滤波器的尺寸；对于每一层的特征金字塔，利用滑动窗口在特征图上进行开关状态检测；根滤波器与特征图的点积响应加上窗口内的部件滤波器与特征图的最大点积响应减去部件变形损失，得到窗口的一个得分，将该得分与对应模型的门限值进行比较，判定窗口是否为待识别特征。

适用于变电站机器人巡检的识别装置，包括模块如下：

1）对待检测图像进行放大处理；

2）对放大后的图像进行HOG特征金字塔分解；

3）对特征金字塔每一层的特征图，采用滑动窗口进行检测，以与对应模型进行匹配和判定；所述对应模型是指采用支持向量机对样本HOG特征进行训练得到的对应模型。

待识别特征为分状态、合状态；所述对应模型为分模型、合模型。

在判定之前还包括颜色确认的模块，通过检测图像中的像素颜色数量确认开关状态。

采用并行运算方式，同时进行滑动窗口分状态匹配和滑动窗口合状态匹配。

采用隐藏支持向量机对样本HOG特征进行训练；所述滑动窗口的尺寸是根滤波器的尺寸；对于每一层的特征金字塔，利用滑动窗口在特征图上进行开关状态检测；根滤波器与特征图的点积响应加上窗口内的部件滤波器与特征图的最大点积响应减去部件变形损失，得到窗口的一个得分，将该得分与对应模型的门限值进行比较，判定窗口是否为待识别特征。

本发明在支持向量机的基础上，使用基于可变形部件模型的识别方法。这种方法通常用于人脸识别，还没有在变电站机器人巡检的开关状态上的成功应用。本发明首先将该方法应用于开关状态检测。

现有技术中，在应用DPM方法时，由于涉及HOG的按照分辨率分层（分辨率低处于较顶层，分辨率高处于较底层）进行特征计算，分辨率越高则识别率越高。所以，在使用机器人拍照时，我们尽量选择分辨率较高的摄像头，但实际分辨率却较差，并且进一步提高分辨率对识别率提高的贡献却十分有限。

经过反复实验和分析发现：为了方便控制机器人，拍摄图像离开关较远，开关图像在图像中较小；小的目标在应用DPM时增加分辨率时还可能导致与周围环境产生误判，所以导致了提高分辨率对识别率提高的贡献却十分有限。发现这一问题之后，我们对识别方法进行了改进，反现有技术之道而行之，对待识别图像进行放大处理，虽然降低了图像的分辨率，但待识别文字轮廓没有改变，在应用HOG时匹配更准确，大大提高了分辨率；而且对摄像头的分辨率要求不高，节约设备成本。

进一步的，本发明方法中，在利用滑动窗口在特征图上进行开关状态检测时，滑动窗口的尺寸为根滤波器的尺寸；在开关识别的时候，只有一个部件称为部件；设置适合于开关状态识别。

进一步的，为了节约成本，方便拍照，需要对一张图片分别进行分状态检测和和状态检测。

进一步的，为了提高效率，采用并行运算方式，同时进行滑动窗口分匹配和滑动窗口合匹配。

进一步的，本发明为了保证准确，还通过颜色识别对分状态、合状态进行确认。

本发明的开关状态检测算法可以做到对图像形变、光照变化不敏感，对部分反光也有很强的适应能力，是一种能够适用于机器人拍照的变电站开关状态识别方法。

附图说明

图1是本发明的主要构思框图；

图2是分状态图像；

图3是训练出的分模型，左图代表根滤波器，中间部分代表高精度的部件滤波器，右图代表每个部件相对于根位置的空间模型；

图4是合状态图像；

图5是训练出的合模型左图代表根滤波器，中间部分代表高精度的部件滤波器，右图代表每个部件相对于根位置的空间模型；

图6是并行匹配流程示意图；

图7是HOG特征流程图；

图8是实物图片，框线中为分、合状态。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

如图1所示，本发明提供了一种识别方法，适用于机器人巡检开关状态，变电站中机器人巡检的是“分”、“合”状态，即分合的文字，如图2、图4所示。需要指出的是，如果需要的话，本发明的识别方法显然也能够用于识别其他文字图像。

本实施例中，利用可变形部件模型（Deformable Part Model，简称DPM）对开关状态进行检测识别。结合机器学习的理论，进行识别，首先应当对样本进行训练，本实施例采用隐藏支持向量机（简称Latent-SVM）对开关部件的HOG特征进行训练，得到开关模型。作为其他实施方式，也可以选择其他类型的支持向量机。

训练过程，即离线训练，训练前可以人工对训练样本进行标注，标记出开关在图像中的位置。

最后训练出的开关部件模型仅包括一个根滤波器和一个部件滤波器。滤波器实际上是一些权重矢量，滤波器F的得分由F和HOG特征金字塔子窗口的特征图通过计算点积得到，hog特征金字塔在离线检测部分介绍。设H代表HOG特征金字塔，p=(x,y,l)代表l层金字塔中为(x,y)的位置，φ(H,p,w,h)代表左上角为p的一个w×h的子窗口，那么检测窗口上滤波器F的得分可以表示为F·φ(H,p,w,h)。

含有n个部件的目标可以用(F₀,P₁,...,P_n,b)表示，F₀代表根滤波器，P_i为第i个部件的模型，b为一个偏移量。每个部件模型可以用(F_i,v_i,d_i)表示，F_i为第i个部件的滤波器，v_i为部件i相对于根的锚位置，d_i为部件i相对于锚位置可能位置的变形损失。在开关检测的时候，由于整个为一个整体，所以我们的部件数量选择为1。

HOG金字塔中一个模型的位置由z=(p₀,...,p_n)表示，其中p_i=(x_i,y_i,l_i)，i=0代表根滤波器的位置，i>0时代表第i滤波器的位置。位置z的得分由每个滤波器的得分求和减去每个部件滤波器的变形损失，再加上一个偏移量得到：

$\mathrm{score}(p_0,...,p_n)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{F}_i\·\mathrm{\φ}(H,p_i)-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\φ}}_d({\mathrm{dx}}_i,{\mathrm{dy}}_i)+b$

(dx_i,dy_i)=(x_i,y_i)-(2(x₀,y₀)+v_i)

(dx_i,dy_i)为第i个部件相对于锚点的位移，φ_d(dx_i,dy_i)为变形特征。

位置z的得分可以由β·ψ(H,z)表示，β=(F₀,...,F_n,d₁,...,d_n,b)，ψ(H,z)=(φ(H,p₀),...,φ(H,p_n),-φ_d(dx₁,dy₁),...,-φ_d(dx_n,dy_n),1)。

β可以通过Latent-SVM训练得到，Latent-SVM能够充分利用图像中的隐藏信息，。样本x的得分可以用表示，β为模型的参数，z为潜在变量。Z(x)为样本x的可能潜在变量的集合。

通过训练样本D=(<x₁,y₁>,...,<x_n,y_n>)，y_i∈(-1,1)使目标函数

$L_D\left(\mathrm{\&beta;}\right)=\frac{1}{2}{\left|\right|\mathrm{\&beta;}\left|\right|}^2+C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\max (\mathrm{0,1}-y_i{f}_{\mathrm{\&beta;}}\left(x_i\right))$ 最小训练β。

图2为分图像，图3为训练出的分模型，左图代表根滤波器，中间部分代表高精度的部件滤波器，右图代表每个部件相对于根位置的空间模型；图4、图5分别为合图像和合模型。

在识别之前，首先对图像进行预处理，由于在用机器人拍照时，为了方便控制机器人，所拍图像离开关较远，因此开关在图像中比较小。如果直接使用DPM，检测效果将大大折扣。DPM对小目标的检测效果较差，本文采用对图像放大的手段来进行预处理。实验结果证明，该步骤对实验的最终结果提高很多，是非常必要的步骤。

然后对待识别图像进行hog特征金字塔变换，最后对于每一层的特征金字塔，利用滑动窗口在特征图上进行开关状态检测，滑动窗口的尺寸为根滤波器的尺寸，最后根滤波器与特征图的点积响应加上窗口内的部件滤波器与特征图的最大点积响应减去部件变形损失，就得到该窗口的一个得分，通过与开关模型的门限值的比较，可以判定该窗口是否为开关（由于开关图像为一个统一整体，因此就用一个部件）。流程图如图6所示。

图像金字塔是一种多分辨率的图像结构，具体实现包括图像平滑和下采样两部分。图像金字塔分解完成后，需要对每层图像进行HOG特征计算，图7为HOG特征的流程图。

对于某一层的图像特征金字塔，R_i,l(x,y)=F_i·φ(H,(x,y,l))代表第l层特征金字塔第i个部件的响应。最后滑动窗口的得分可以描述如下： $\mathrm{score}(x_0,y_0,l)=R_{0,l_0}(x_0,y_0)+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_{i,l_0-\mathrm{\&lambda;}}(2(x_0,y_0)+v_i)+b,$ D_i,l(x,y)为第l层特征金字塔位置(x,y)处的得分；λ代表下采样的金字塔的层数；v是一个二维向量，表示部件矩形中心点相对于根位置的坐标，称为锚位置。利用该得分可以和设定的门限进行比较，从而可以判定该窗口是否为开关。

在变电站检测中，经常有多个开关位于相邻位置，为了节约成本，方便拍照，常常将他们拍在同一张片中。因此需要对一张图片分别进行分检测和合检测。为了加快计算速度，我们采用了并行运算，即同时进行滑动窗口分匹配和滑动窗口合匹配，提升了识别效率。

在上述寻找开关以后，由于开关的分、合具有一定的形状相似性，为了能够保证正确区分两者，可以充分利用颜色信息，进行结果确认。在变电站中，通常分状态用大面积绿色，而合状态用大面积的红色，因此两种状态具有鲜明的颜色特征。

我们拍照的图像为RGB3色图像，在坐标（x,y）处的值为(B_x,y,G_x,y,R_x,y)。B_x,y,G_x,y,R_x,y分别表示该点的兰色、绿色、红色分量。在合状态时，图像显示大量红色，对应于图像像素，即R_x,y>>B_x,y且R_x,y>>G_x,y。在实际应用中我们用下式来判断开关是否为合状态：

R_x，y>B_x，y+T

R_x,y>G_x,y+T

T一般取20～40，根据实际情况而定。当图像中同时满足上述公式的点的数量超过总数量的20%时，认为开关状态为合。

在分状态时，图像显示大量绿色，对应于图像像素，即R_x,y<<B_x,y且R_x,y<<G_x,y。在实际应用中我们用下式来判断开关是否为分状态：

R_x,y<B_x,y+T

R_x,y<G_x,y+T

T一般取10～20，根据实际情况而定。当图像中同时满足上述公式的点的数量超过总数量的20%时，认为开关为分。

针对现场图片，发现红色比绿色更容易区分。由于在DPM定位以后，所得到的图片非分即合，所以当两种区分得到的结果不相同时优先考虑用红色公式的区分结果。图8为实际图片。

以上给出一种具体的实施方式，但本发明不局限于所描述的实施方式。如省去颜色确认步骤，或者不采用并行匹配的方式，都能够基本实现本发明的发明目的。

本发明的基本思路在于上述方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (10)

1.适用于变电站机器人巡检的识别方法，其特征在于，包括步骤如下：

1）对待检测图像进行放大处理；

2）对放大后的图像进行HOG特征金字塔分解；

3）对特征金字塔每一层的特征图，采用滑动窗口进行检测，以与对应模型进行匹配和判定；所述对应模型是指采用支持向量机对样本HOG特征进行训练得到的对应模型。

2.根据权利要求1所述的适用于变电站机器人巡检的识别方法，其特征在于，待识别特征为分状态、合状态；所述对应模型为分模型、合模型。

3.根据权利要求2所述的适用于变电站机器人巡检的识别方法，其特征在于，在判定之前还包括颜色确认的步骤，通过检测图像中的像素颜色数量确认开关状态。

4.根据权利要求2所述的适用于变电站机器人巡检的识别方法，其特征在于，采用并行运算方式，同时进行滑动窗口分状态匹配和滑动窗口合状态匹配。

5.根据权利要求1或2或3或4所述的适用于变电站机器人巡检的识别方法，其特征在于，采用隐藏支持向量机对样本HOG特征进行训练；所述滑动窗口的尺寸是根滤波器的尺寸；对于每一层的特征金字塔，利用滑动窗口在特征图上进行开关状态检测；根滤波器与特征图的点积响应加上窗口内的部件滤波器与特征图的最大点积响应减去部件变形损失，得到窗口的一个得分，将该得分与对应模型的门限值进行比较，判定窗口是否为待识别特征。

6.适用于变电站机器人巡检的识别装置，其特征在于，包括模块如下：

1）对待检测图像进行放大处理；

2）对放大后的图像进行HOG特征金字塔分解；

3）对特征金字塔每一层的特征图，采用滑动窗口进行检测，以与对应模型进行匹配和判定；所述对应模型是指采用支持向量机对样本HOG特征进行训练得到的对应模型。

7.根据权利要求6所述的适用于变电站机器人巡检的识别装置，其特征在于，待识别特征为分状态、合状态；所述对应模型为分模型、合模型。

8.根据权利要求7所述的适用于变电站机器人巡检的识别装置，其特征在于，在判定之前还包括颜色确认的模块，通过检测图像中的像素颜色数量确认开关状态。

9.根据权利要求7所述的适用于变电站机器人巡检的识别装置，其特征在于，采用并行运算方式，同时进行滑动窗口分状态匹配和滑动窗口合状态匹配。

10.根据权利要求6或7或8或9所述的适用于变电站机器人巡检的识别装置，其特征在于，采用隐藏支持向量机对样本HOG特征进行训练；所述滑动窗口的尺寸是根滤波器的尺寸；对于每一层的特征金字塔，利用滑动窗口在特征图上进行开关状态检测；根滤波器与特征图的点积响应加上窗口内的部件滤波器与特征图的最大点积响应减去部件变形损失，得到窗口的一个得分，将该得分与对应模型的门限值进行比较，判定窗口是否为待识别特征。