CN108154496A - 一种适用于电力作业机器人的电力设备外观变化识别方法 - Google Patents
一种适用于电力作业机器人的电力设备外观变化识别方法 Download PDFInfo
- Publication number
- CN108154496A CN108154496A CN201711166123.2A CN201711166123A CN108154496A CN 108154496 A CN108154496 A CN 108154496A CN 201711166123 A CN201711166123 A CN 201711166123A CN 108154496 A CN108154496 A CN 108154496A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- value
- transformation
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009415 formwork Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 239000004615 ingredient Substances 0.000 claims description 3
- 238000007430 reference method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种适用于电力作业机器人的电力设备外观变化识别方法，本发明的方法主要包括以下几条：(1)图像预处理，对原始图像处理后计算加速；(2)特征提取，在特征空间上表征图像；(3)特征匹配，在采集图像中获取目标区域；(4)主观模型，消除主观上不认为是变化的差异；(5)计算差异，计算设备外观差异，判定差异的位置、大小。本发明用于对变电站设备外观进行检测，判断该设备是否污染、破损、有异物等异常现象。本发明及时、准确、快速的识别设备外观异常，为电力系统故障监测与故障分析提供一种新的手段，提高电力系统的信息化水平。
Description
技术领域
本发明涉及一种适用于电力作业机器人的电力设备外观变化识别方法，所属技术领域为数字图像处理、模式识别和机器学习领域。
背景技术
随着国家飞速发展各行各业对电力越来越依赖，对电力网路安全稳定运行提出更严格的要求。变电站电力设备可靠状态是决定其安全稳定的关键因素之一。电力设备外观是日常巡检中内容最多、最繁重的任务之一。电力设备外观检测内容主要包含：破损、变形、污染和外来异物等。
当前电力设备外观巡检主要依靠变电站值班人员巡检。依靠人力巡检有四个问题：
1.对巡检人员专业技能要求高，需要专门培训；
2.日常巡检工作十分辛苦；
3.工作环境不安全，变电站存在高压和放电问题，可能对巡检人员造成伤害；
4.巡检人员的巡检周期较长，不能及时发现问题。
随着技术发展，图像处理技术在各领域得到了广泛应用。在电力设备巡检方向图像处理技术也取得了喜人的成绩。机器人技术今年发展迅猛，逐渐代替了值班人员巡检。通过图像处理技术和机器人巡检相结合，不但节约了人力成本，避免人在危险的环境下工作，而且可以及时的发现异常，做出处理。
现有的技术依旧存在一些问题：
1.机器人每次停靠的位置有差异，不能保证每次拍摄的视角完全一致；
2.外界环境干扰问题，如光照过强，光照过暗，大雾等；
3.客观存在的差异和主观上认为的差异不一致问题，如雨珠，光线变化等；
4.差异程度的量化。
发明内容
本发明的目的就是为了解决上述问题，提供一种适用于电力作业机器人的电力设备外观变化识别方法。该方法可将巡检机器人在同一停靠点、不同视角拍摄的图像比对，并且忽略主观上不认为是异常的变化。以得分的形式将差异量化。
本发明的技术方案为：
一种适用于电力作业机器人的电力设备外观变化识别方法，包括如下步骤：
(1-1)采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
(1-2)采集电力设备当前时刻的图像为待检测图像；
(1-3)对步骤(1-2)中获取的待检测图像做预处理，预处理包括图像灰度化、自适应亮度校正、双边滤波去噪和自适应尺度变换；
(1-4)提取步骤(1-3)中预处理后图像的尺度不变(SIFT)特征；
(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角；
(1-6)对模板图像做步骤(1-3)预处理中的自适应尺度变换；
(1-1)(1-7)将步骤(1-5)和步骤(1-6)中两幅处理图像变换到HSI色彩空间，针对HSI空间的各分量做主观模型滤波，消除主观上不认为是异常的差异，主观上不认为是异常的差异包括光线变化、雨珠影响和大雾影响；
(1-8)计算当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度。
所述步骤(1-3)待检测预处理过程是为了消除采集图像噪声和后续计算加速。利用基于统计的方法判定光照过强还是不足。所述步骤(1-3)待检测图像预处理中的图像灰度化、自适应亮度校正和自适应尺度变换具体为：
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
步骤(1-3-2)统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D；图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值调整gamma校正的变换参数，得到gamma校正图像；
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像；
自适应尺度变换具体为：确定一个合适的变换因子scale，变换因子scale计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子，scale_X代表X方向变换因子，scale_Y代表Y方向变换因子；w代表待检图像宽度，h代表待检图像高度；sw代表参考图像宽度，取1920，sh代表参考图像高度，取1080。
所述步骤(1-4)提取图像尺度不变(SIFT)特征。SIFT特征是图像的局部特征，SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
SIFT特征计算过程：
计算图像高斯金字塔后再计算高斯差分金字塔；
在尺度空间内寻找高斯差分局部极值点，确定关键点的尺度、位置；
计算特征点邻域梯度主方向，为该点方向特征；
计算该特征点4*4个邻域，每个邻域8个方向的梯度直方图信息，得到128维特征向量表征该特征点。
在拍摄过程中不能保证每次与建立模型时视角一致，故要匹配图像并转换到同一视角，所述步骤(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角，具体为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个带匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
相较于Flann算法，本发明方法具有更好的稳定性；相较于暴力搜索本发明方法速度上具有优势。
所述步骤(1-6)中对模板图像做自适应尺度变换，是为了计算加速。尺度变换因子与步骤(1-3)中一致，为scale。
所述步骤(1-7)中HSI色彩空间反映了人的视觉系统感知彩色的方式，以色调分量(H)、饱和度分量(S)和亮度分量(I)三种基本特征量来感知颜色，灰度空间表达的信息不全面，很多颜色的变化在灰度空间上无法体现；传统RGB色彩空间在计算中会出现负值，对于计算来说非常不方便。主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：消除光线干扰滤波、消除雨珠滤波和消除大雾滤波。其中雨珠滤波和大雾滤波均采用引导滤波方法。
所述步骤(1-7)中针对光线变化滤波，模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分；
f(x，y)＝i(x，y)*(x，y)
其中f(x,y)表示在点(x,y)图像，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量。两边取对数后转化为线性相加关系：
lnf(x，y)＝lni(x，y)+lnr(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝I(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lnf(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
所述步骤(1-8)中当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度，具体为：
(1-8-1)计算模板图像和待匹配图像的色调分量(H)、饱和度分量(S)和亮度分量(I)的结构相似性(SSIM)；
(1-8-2)利用二维大津法分割SSIM地图；
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
所述步骤(1-8-2)中利用正交分解方法快速计算二维大津法阈值分割，可将复杂度由O(n4)降低到O(n)。
本发明用于对变电站设备外观进行检测，判断该设备是否污染、破损、有异物等异常现象。本发明及时、准确、快速的识别设备外观异常，为电力系统故障监测与故障分析提供一种新的手段，提高电力系统的信息化水平。
附图说明
图1为本发明的算法流程图。
具体实施方式
下面结合附图与实施例对比发明做进一步说明。
如图1所示。本发明的方法步骤如下：
第一步：采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
第二步：采集电力设备当前时刻的图像为待检测图像，对图像做预处理。预处理包含4个步骤：(1)图像灰度化；(2)自适应亮度矫正；(3)双边滤波去噪；(4)自适应尺度变换。
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
灰度化公式为：Gray＝0.299*R+0.587*G+0.114*B+0.5，其中Gray为灰度值，R、G、B分别为红、绿、蓝三种颜色分量。
步骤(1-3-2)自适应亮度矫正：灰度图像距离参考亮度的灰度平均偏移值，统计图像加权偏移，其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗。根据E的值调整gamma校正的变换参数。
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；同时考虑了灰度值和空间位置关系，去噪同时不改变边界位置。
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像：这里的核心是确定一个合适的变换因子，保证后续计算加速且不会影响精度。计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子，scale_X代表X方向变换因子，scale_Y代表Y方向变换因子；w代表图像宽度，h代表图像高度；sw代表参考图像宽度，一般取1920，sh代表参考图像高度，一般取1080。
第三步：提取待检测图像尺度不变(SIFT)特征。
计算图像高斯金字塔后再计算高斯差分金字塔；
在尺度空间内寻找高斯差分局部极值点，确定关键点的尺度、位置；
计算特征点邻域梯度主方向，为该点方向特征；
计算该特征点4*4个邻域，每个邻域8个方向的梯度直方图信息，得到128维特征向量表征该特征点。
SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。
第四步：预处理图像中匹配到模板图像即为进行kd树的搜索，过程为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个待匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
相较于Flann算法，本发明方法具有更好的稳定性；相较于暴力搜索本发明方法速度上具有优势。
第五步：将待检测图像转换到模板图像视角，其过程如下：
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
第六步：对模板图像做步骤(1-3)预处理中的自适应尺度变换，是为了计算加速。尺度变换因子与步骤(1-3)中一致，为scale。
第七步：将模板图像和匹配图像转到HSI色彩空间，转换公式如下：
其中为HSI色彩空间色调分量的角度值；R、G、B分别为红、绿、蓝三种颜色分量；H为色调分量，S为饱和度分量，I为亮度分量。
所述步骤七中HSI色彩空间反映了人的视觉系统感知彩色的方式，以色调分量(H)、饱和度分量(S)和亮度分量(I)三种基本特征量来感知颜色，灰度空间表达的信息不全面，很多颜色的变化在灰度空间上无法体现；传统RGB色彩空间在计算中会出现负值，对于计算来说非常不方便。
第八步：主观模型滤波，主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：光线滤波、雨珠滤波和大雾滤波。其中雨珠滤波和大雾滤波均采用引导滤波方法；
主要介绍光线滤波，模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分。
f(x，y)＝i(x，y)*r(x，y)
其中f(x,y)表示图像在点(x,y)的数据，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量。两边取对数后转化为线性相加关系：
ln f(x，y)＝ln i(x，y)+ln r(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝I(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lni(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
第九步：计算结构相似性(SSIM)，过程如下：
(1-8-1)计算模板图像和待匹配图像的色调分量(H)、饱和度分量(S)和亮度分量(I)的结构相似性(SSIM)；
SSIM由3个模块构成：亮度、对比度和结构。
SSIM(X，Y)＝L(X，Y)*C(X，Y)*S(X，Y)
其中SSIM(X，Y)是结构相似性函数，L(X,Y)是亮度对比函数，C(X,Y)是对比度对比函数，S(X,Y)是结构对比函数。
取C3＝C2/2，可将公式化简为：
其中：X为模板图像，Y为匹配图像；R，C为均值窗体大小，C1，C2，C3为常数；
为X在窗体内的均值；
为Y在窗体内的均值；
为X在窗体内的样本方差；
为Y在窗体内的样本方差；
为X和Y在窗体内的协方差；
(1-8-2)利用二维大津法分割SSIM地图；
所述步骤(1-8-2)中利用正交分解方法快速计算二维大津法阈值分割，可将复杂度由O(n4)降低到O(n)。
第十步：统计差异过程如下：
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
上述虽然结合附图对本发明的具体实施方式进行了描述，但非对本发明保护范围的先知，所属领域技术人员应该明白，在本发明的技术方案基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围内。
Claims (7)
1.一种适用于电力作业机器人的电力设备外观变化识别方法，包括如下步骤：
(1-1)采集并标定设备模板图，所述的设备模板图为对设备的正视角图，将设备模板图、辅助定位区域A模板图、辅助定位区域B模板图、设备模板图特征、辅助定位区域A模板图特征和辅助定位区域B模板图特征保存在模板库中；
(1-2)采集电力设备当前时刻的图像为待检测图像；
(1-3)对步骤(1-2)中获取的待检测图像做预处理，预处理包括图像灰度化、自适应亮度校正、双边滤波去噪和自适应尺度变换；
(1-4)提取步骤(1-3)中预处理后图像的尺度不变(SIFT)特征；
(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角；
(1-6)对模板图像做步骤(1-3)预处理中的自适应尺度变换；
(1-7)将步骤(1-5)和步骤(1-6)中两幅处理图像变换到HSI色彩空间，针对HSI空间的各分量做主观模型滤波，消除主观上不认为是异常的差异，主观上不认为是异常的差异包括光线变化、雨珠影响和大雾影响；
(1-8)计算当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度。
2.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-3)待检测图像预处理中的图像灰度化、自适应亮度校正和自适应尺度变换具体为：
步骤(1-3-1)将采集的待检测图像灰度化，得到灰度图像；
步骤(1-3-2)统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(i,j)代表图像在(i,j)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；k代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(k)代表图像中灰度值为k的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值调整gamma校正的变换参数，得到gamma校正图像；
步骤(1-3-3)计算gamma校正图像的双边滤波去噪图像；
步骤(1-3-4)对双边滤波图像做自适应尺度变换，得到待检测预处理后图像；
自适应尺度变换具体为：确定一个合适的变换因子scale，变换因子scale计算公式如下：
scale＝max(min(1，scale_X)，min(1，scale_Y))
scale_X＝sw/w，scale_Y＝sh/h
其中scale代表变换因子；scale_X代表X方向变换因子；scale_Y代表Y方向变换因子；w代表待检图像宽度，h代表待检图像高度；sw代表参考图像宽度，取1920，sh代表参考图像高度，取1080。
3.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-5)在预处理图像中匹配到模板图像，然后映射到模板图像视角，具体为：
(1-5-1)利用模板图像的SIFT特征建立kd树；
(1-5-2)待匹配图像的SIFT特征在kd树上做二叉搜索，在搜索过程中利用最小优先队列建立回溯搜索的索引，最小优先队列键值为对应维度特征值差值的绝对值；
(1-5-3)按照最小优先队列顺序回溯搜索，当达到最小优先队列为空或者达到搜索次数上限时停止搜索；
(1-5-4)当模板图像特征点对应多个待匹配特征点时，仅保留搜索过程中的最优值和次优值；
(1-5-5)搜索完毕后，根据匹配特征点与最优值和次优值的欧氏距离关系筛选出最终匹配结果；参考方法是min_Dis＜max_Dis*0.6；
其中min_Dis是特征点与最优值的欧氏距离，max_Dis是特征点与次优值的欧氏距离；
(1-5-6)根据模板图像和待检测图像匹配点的坐标关系，计算出透视变换矩阵H；
(1-5-7)计算出待检测图像中模板图像区域；
(1-5-8)计算出H的逆变换矩阵H_inv；
(1-5-9)将待检测图像中模板图像区域，通过逆变换矩阵H_inv映射到与模板图像同一视角。
4.根据权利要求2所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-6)对模板图像做自适应尺度变换，尺度变换因子与步骤(1-3)中一致，为scale。
5.根据权利要求1所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-7)HSI色彩空间反映人的视觉系统感知彩色的方式，以色调分量(H)、饱和度分量(S)和亮度分量(I)三种基本特征量来感知颜色，主观模型滤波是针对一些客观存在，主观上不认为是设备异常的差异包括光线变化、雨珠影响和大雾影响，主观模型滤波包含：光线滤波、雨珠滤波和大雾滤波。
6.根据权利要求5所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-7)中光线滤波具体为：
模拟人眼针对光线变化的非线性响应，将图像分解为反射分量和照度分量，照度分量在主观上是被忽略的成分；
f(x，y)＝i(x，y)*r(x，y)
其中f(x,y)表示在点(x,y)图像，i(x,y)表示在点(x,y)照度分量，r(x,y)表示在点(x,y)反射分量。两边取对数后转化为线性相加关系：
lnf(x，y)＝lni(x，y)+lnr(x，y)
等式两边同时做傅里叶变换：
F(u，v)＝l(u，v)+R(u，v)
其中F(u，v)是lnf(x，y)的傅里叶变换；I(u，v)是lni(x，y)的傅里叶变换；R(u，v)是lnr(x，y)的傅里叶变换；
针对频域图像滤波：
H(u，v)F(u，v)＝H(u，v)I(u，v)+H(u，v)R(u，v)
其中H(u，v)为滤波器；
滤波后图像逆变换：
hf＝hi+hr
其中hf为H(u，v)F(u，v)的傅里叶逆变换；hi为H(u，v)I(u，v)的傅里叶逆变换；hr为H(u，v)R(u，v)的傅里叶逆变换；
等式两边同时取指数：
g(x，y)＝exp(hf)＝exp(hi)*exp(hr)
其中g(x，y)为滤波后的图像；
照度变化是低频信号，H(u，v)选择高通滤波器即可削弱照度对整体的影响。
7.根据权利要求5所述的适用于电力作业机器人的电力设备外观变化识别方法，其特征在于，所述步骤(1-8)中当前图像和模板结构相似性(SSIM)，判定差异位置和差异程度，具体为：
(1-8-1)计算模板图像和待匹配图像的色调分量(H)、饱和度分量(S)和亮度分量(I)的结构相似性(SSIM)；
(1-8-2)利用二维大津法分割SSIM地图；
(1-8-3)根据差异部分的面积、周长和曲率排除噪声干扰；
(1-8-4)统计有差异部分的位置和面积大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711166123.2A CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711166123.2A CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154496A true CN108154496A (zh) | 2018-06-12 |
| CN108154496B CN108154496B (zh) | 2021-09-10 |
Family
ID=62468046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711166123.2A Active CN108154496B (zh) | 2017-11-21 | 2017-11-21 | 一种适用于电力作业机器人的电力设备外观变化识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154496B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583486A (zh) * | 2018-11-21 | 2019-04-05 | 银河水滴科技（北京）有限公司 | 一种检测待测环境异常区域的方法及装置 |
| CN109685075A (zh) * | 2018-11-27 | 2019-04-26 | 山东鲁能软件技术有限公司 | 一种基于图像的电力设备识别方法、装置及系统 |
| CN110197185A (zh) * | 2019-05-23 | 2019-09-03 | 北京云星宇交通科技股份有限公司 | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 |
| CN113052260A (zh) * | 2021-04-21 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 基于图像配准和目标检测的变电站异物识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957325A (zh) * | 2010-10-14 | 2011-01-26 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人变电站设备外观异常识别方法 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| US20150324950A1 (en) * | 2014-05-09 | 2015-11-12 | Silhouette America, Inc. | Correction of acquired images for cutting pattern creation |
-
2017
- 2017-11-21 CN CN201711166123.2A patent/CN108154496B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957325A (zh) * | 2010-10-14 | 2011-01-26 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人变电站设备外观异常识别方法 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| US20150324950A1 (en) * | 2014-05-09 | 2015-11-12 | Silhouette America, Inc. | Correction of acquired images for cutting pattern creation |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| GUOFENG CHEN 等: "Region-based moving object detection Using SSIM", 《2015 4TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY (ICCSNT)》 * |
| 侯一民 等: "双向快速SIFT匹配在电力设备识别中的应用研究", 《制造业自动化》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583486A (zh) * | 2018-11-21 | 2019-04-05 | 银河水滴科技（北京）有限公司 | 一种检测待测环境异常区域的方法及装置 |
| CN109685075A (zh) * | 2018-11-27 | 2019-04-26 | 山东鲁能软件技术有限公司 | 一种基于图像的电力设备识别方法、装置及系统 |
| CN110197185A (zh) * | 2019-05-23 | 2019-09-03 | 北京云星宇交通科技股份有限公司 | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 |
| CN113052260A (zh) * | 2021-04-21 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 基于图像配准和目标检测的变电站异物识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154496B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| Ajmal et al. | A comparison of RGB and HSV colour spaces for visual attention models | |
| US20220189017A1 (en) | Medical image processing method and apparatus, image processing method and apparatus, terminal and storage medium | |
| CN108154496A (zh) | 一种适用于电力作业机器人的电力设备外观变化识别方法 | |
| CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
| CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
| CN108319973A (zh) | 一种树上柑橘果实检测方法 | |
| CN106650606A (zh) | 人脸图像的匹配及处理方法、人脸图像模型构建系统 | |
| CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| CN103034838A (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
| CN116309607B (zh) | 基于机器视觉的船艇式智能水上救援平台 | |
| CN104392211A (zh) | 一种基于显著性检测的皮肤识别方法 | |
| Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
| CN105740844A (zh) | 基于图像识别技术的绝缘子炸裂故障检测方法 | |
| Jiang et al. | Skin detection using color, texture and space information | |
| CN112101260A (zh) | 一种作业人员安全带识别方法、装置、设备和存储介质 | |
| CN111709305A (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN111667473A (zh) | 基于改进Canny算法的绝缘子憎水性等级判断方法 | |
| CN108274476A (zh) | 一种人形机器人抓取球体的方法 | |
| Yang et al. | The system of detecting safety helmets based on YOLOv5 | |
| Jia et al. | Design of Traffic Sign Detection and Recognition Algorithm Based on Template Matching | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN110245590B (zh) | 一种基于皮肤图像检测的产品推荐方法及系统 | |
| CN109657544B (zh) | 一种人脸检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |