CN107977959A - 一种适用于电力作业机器人的呼吸器状态识别方法 - Google Patents

一种适用于电力作业机器人的呼吸器状态识别方法 Download PDF

Info

Publication number
CN107977959A
CN107977959A CN201711166110.5A CN201711166110A CN107977959A CN 107977959 A CN107977959 A CN 107977959A CN 201711166110 A CN201711166110 A CN 201711166110A CN 107977959 A CN107977959 A CN 107977959A
Authority
CN
China
Prior art keywords
image
respirator
color
gray
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711166110.5A
Other languages
English (en)
Other versions
CN107977959B (zh
Inventor
马路
熊少华
冯维纲
冯维颖
周萍
曹昊
罗峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Original Assignee
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongyuan Huadian Science & Technology Co Ltd filed Critical Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority to CN201711166110.5A priority Critical patent/CN107977959B/zh
Publication of CN107977959A publication Critical patent/CN107977959A/zh
Application granted granted Critical
Publication of CN107977959B publication Critical patent/CN107977959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适用于电力作业机器人的呼吸器状态识别方法，所述方法包括对场景中的呼吸器进行定位和呼吸器颜色识别，通过电力作业机器人图像采集装置获取可见光图像，利用图像预处理、目标定位、颜色识别等技术对呼吸器图像进行处理，识别呼吸器中每个颜色所占比例，从而分析出呼吸器当前状态；由于呼吸器颜色较为单一，目前只有红、蓝、白、橙四种颜色，所以本发明默认输出这四种颜色所占比例，如存在特殊颜色呼吸器可通过修改配置参数即可完成设定，通过颜色比例，分析出呼吸器当前状态。本发明成本低，对呼吸器外观、颜色没有特定要求，响应速度快，配合电力作业机器人，可持续监测呼吸器状态。

Description

一种适用于电力作业机器人的呼吸器状态识别方法
技术领域
本发明涉及图像处理和电力智能巡检领域，将图像处理技术应用于电力智能巡检中，具体的说是一种适用于电力作业机器人的呼吸器状态识别方法。
背景技术
呼吸器也称为变压器吸湿器、变压器干燥器，电网中使用的大中型变压器一般都会配备有呼吸器，是一种装有变色硅胶等吸湿剂材料的玻璃容器，其作用为吸附空气中进入油枕胶囊、隔膜中的潮气，消除和干燥由于变压器油温的变化而进入变压器油枕胶囊的空气中的杂物和潮气，以免变压器受潮，保证变压器油的绝缘强度。
目前呼吸器状态识别，大部分都是基于各种传感器检测装置，不仅对变压器呼吸器的构造有特定要求，而且每个呼吸器都需要配备传感器检测装置，这种检测装置除了需要传感器采集数据外，还需要处理器(如嵌入式处理器)对采集到的数据进行处理并进行上传，显然，这种检测装置大大增加了呼吸器的造价成本。
利用图像处理技术的相关方法，大都是对原始图像在单一颜色空间计算，忽略了呼吸器颜色随环境变化所带来的差异，计算结果往往和实际情况偏差很大。
近年来，随着科技的发展，以变电站移动数据采集器为代表的变电站移动式巡检装置陆续出现，实现自动完成变电站日常设备巡视、红外测温、操作前后设备状态检查等工作，从而大大提高对变电站设备巡视的工作效率和质量，降低人员劳动强度和工作风险，提升变电站智能化水平，为变电站无人巡检提供强大的技术支撑，变电站智能机器人已经成为变电站设备巡检的重要辅助手段。
发明内容
为了克服现有技术上的不足，本发明提供一种适用于电力作业机器人的呼吸器状态识别方法，借助于电力作业机器人现场拍摄的包含呼吸器的场景图像，对设备不需要做任何改造；利用图像处理技术对呼吸器图像进行校正，并在多个颜色空间进行颜色统计，整个过程更加趋于实际情况、更加稳定；最终通过颜色比例决策判断是否需要更换硅胶，持续监测呼吸器状态。
为了达到上述目的，本发明采用的技术方案为：
一种适用于电力作业机器人的呼吸器状态识别方法，其特征在于包括以下步骤：
(1-1)采集并标定呼吸器并保存相关信息，保存的相关信息包括呼吸器位置、呼吸器图像、呼吸器图像特征和呼吸器图像特征向量；
(1-2)采集场景图像中呼吸器当前时刻的图像为待检测图像；
(1-3)提取步骤(1-2)中待检测图像的特征并计算待检测图像的特征向量，与步骤(1-1)中呼吸器图像特征和呼吸器图像特征向量进行特征匹配，得到呼吸器子图像；
(1-4)针对步骤(1-3)中呼吸器子图像做图像预处理计算，得到预处理的呼吸器子图像；
(1-5)针对步骤(1-4)中预处理图像做状态分析，得出场景图像中呼吸器的当前状态。
所述步骤(1-1)和(1-3)中所述的呼吸器图像特征为快速鲁棒特征(SURF)，呼吸器图像特征向量和待检测图像的特征向量的计算步骤为：
(2-1)构建高斯金字塔尺度空间：通过Hessian矩阵求得输入图不同解析度下的表示，Hessian矩阵为：
L(x,y,σ)＝G(σ)*I(x,y)
其中：σ为尺度因子，x、y分别像素点坐标，G(σ)为σ尺度下的高斯核函数，I(x，y)为图像上的像素点的像素值，L(x，y，σ)为σ尺度下的高斯滤波图像，Lxx(x，y，σ)为L(x，y，σ)的x方向二阶偏导，Lyy(x，y，σ)为L(x，y，σ)的y方向二阶偏导，Lxy(x，y，σ)为L(x，y，σ)先后对x和y求一阶偏导；
(2-2)定位特征点：利用非极大值抑制筛选尺度空间中图像的每个像素点，初步定位出感兴趣点，再利用线性插值法得到亚像素级的特征点，并去掉小于预设阈值的点，保留少数特征最强的点为特征点；
(2-3)主方向确定：以特征点为中心，计算半径为6S领域内的所有点在x，y两个方向上的Haar小波特征，S为特征点所在的尺度，并旋转扫描统计60°扇形区域内的点的小波特征的总和，选择值最大的那个扇形的方向作为该特征点的主方向；
(2-4)生成SURF特征向量：以特征点的方向为主方向，选择边长为20S的正方形区域，并将该区域分成4*4个子区域，计算每个子区域的主方向的HAAR小波响应dx，垂直于主方向的HAAR小波响应dy，HAAR小波模板的宽度为2S；对子区域每个像素点的dx、dy、|dx|、|dy|求和，可得一个4维向量V＝[∑dx，∑dy，∑|dx|，∑|dy|]，每个子区域携带4个信息，共有16个子区域，共64维；最后为了防止光照与对比度的影响，对特征矢量归一化处理。
所述步骤(1-4)图像预处理包含对呼吸器图子像进行灰度化、亮度检测、gamma校正、颜色校正以及边缘计算；预处理的步骤为：
(4-1)将呼吸器子图像灰度化，得到灰度图像；
(4-2)检测灰度图像亮度检测：统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(x,y)代表图像在(x,y)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；i代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(i)代表图像中灰度值为i的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值设定gamma校正变换参数；
(4-3)获取呼吸器子图像RGB空间的三个通道图像IR、IG、IB；
(4-4)利用gamma校正变换参数，分别对步骤(4-3)中的IR、IG、IB进行gamma校正得到GIR、GIG、GIB；
gamma校正步骤如下：
f(I)＝Iγ
其中：f(I)为校正之后的结果，I为原始输入图像的IR、IG或IB，γ为gamma校正变换参数；
当γ＜1时，在低灰度区域内动态范围变大，高灰度区域内动态范围变小，同时图像整体的灰度值变大，进而增强图像对比度；
当γ＞1时，低灰度区域内动态范围变小，高灰度区域在动态范围变大，降低了低灰度区域图像对比度，提高了高灰度区域图像对比度，同时图像整体的灰度值变小；
(4-5)重新融合步骤(4-4)中的GIR、GIG、GIB得到呼吸器自适应亮度矫正图像；
(4-6)利用积分图计算方法获得步骤(4-5)中呼吸器自适应亮度矫正图像对应的边缘图像。
所述步骤(1-5)为对步骤(4-5)预处理之后的呼吸器子图像进行颜色空间的转换，将呼吸器子图像由RGB颜色空间转换到HSV和Lab空间；综合两个HSV和Lab空间的像素信息，判断每个像素块所属颜色范围；遍历整个呼吸器子图像，并忽略步骤(4-6)中的边缘图像，得到整个呼吸器颜色变化区域中红、蓝、白和橙四种颜色比例；通过分析颜色比例即得到呼吸器当前状态，具体为：
(5-1)将呼吸器子图像由RGB颜色空间转换到HSV颜色空间，转换步骤如下：V＝max(R，G，B)
其中R、G、B分别为红、绿、蓝三种颜色分量；H为色相分量，S为饱和度分量，V为明度分量；
(5-2)将呼吸器子图像由RGB颜色空间转换到Lab颜色空间，转换步骤如下：
由于RGB空间无法直接转换成Lab颜色空间，需先转换成XYZ再转换成Lab颜色空间，因此转换公式分为两个部分：
(5-2-1)RGB空间转XYZ空间：
其中，gamma为矫正函数，c为函数自变量；R、G、B分别为红、绿、蓝三种颜色分量；r、g、b分别为计算过程中间变量；X、Y、Z分别为XYZ空间三通道像素值；
(5-2-2)XYZ空间转Lab空间：
其中：X、Y、Z分别为XYZ空间的三通道像素值；XN，YN，ZN为计算过程中间变量，f为映射函数，d为函数自变量；L，a，b为最终计算出的Lab三通道像素值；
(5-3)遍历整个预处理的呼吸器子图像，计算整个呼吸器颜色变化区域，综合H、S、V和L、a、b的值，统计预处理之后的呼吸器子图像中每个像素块所属颜色，计算每个颜色所占比例，由于呼吸器颜色变化趋势固定，通过颜色比例，即可分析出呼吸器当前状态：
(1)当红色比例小于30％则为正常状态；
(2)当红色比例大于30％，且小于60％，则发出预警信号；
(3)当红色比例大于60％则发出报警信号。
与现有技术相比，本发明的有益效果有以下几点：
利用电力作业机器人将图像处理技术应用于智能巡检，降低巡检成本，同时也为后期数据收集、数据分析打下基础；
无人值守，利用电力作业机器人代替人工值守，消除人的主观判断和经验差异所带来的误差；
采用图像处理的方式对呼吸器状态进行识别，无需对现有设备进行任何改造，便于设备的维护和安装；
利用图像预处理，还原图像真实颜色，通过两种颜色空间综合分析、判断得到结果，稳定性较强。
附图说明
图1是本发明的方法框架图。
图2是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明，但本发明的保护范围并不限于此。
本发明一种适用于电力作业机器人的呼吸器状态识别方法，包括如图1的所示的各单元，图像采集子单元、特征提取子单元、目标检测子单元、图像预处理子单元、状态分析子单元。
本发明的方法步骤如图2所示：
第一步、采集并标定呼吸器并保存相关信息，保存的相关信息包括呼吸器位置、呼吸器图像、呼吸器图像特征和呼吸器图像特征向量；
提取的呼吸器图像特征为快速鲁棒特征(SURF)，呼吸器图像特征向量计算步骤为：
(2-1)构建高斯金字塔尺度空间：通过Hessian矩阵求得输入图不同解析度下的表示，Hessian矩阵为：
L(x，y，σ)＝G(σ)*I(x，y)
其中：σ为尺度因子，x、y分别像素点坐标，G(σ)为σ尺度下的高斯核函数，I(x，y)为图像上的像素点的像素值，L(x，y，σ)为σ尺度下的高斯滤波图像，Lxx(x，y，σ)为L(x，y，σ)的x方向二阶偏导，Lyy(x，y，σ)为L(x，y，σ)的y方向二阶偏导，Lxy(x，y，σ)为L(x，y，σ)先后对x和y求一阶偏导；
(2-2)定位特征点：利用非极大值抑制筛选尺度空间中图像的每个像素点，初步定位出感兴趣点，再利用线性插值法得到亚像素级的特征点，并去掉小于预设阈值的点，保留少数特征最强的点为特征点；
(2-3)主方向确定：以特征点为中心，计算半径为6S领域内的所有点在x，y两个方向上的Haar小波特征，S为特征点所在的尺度，并旋转扫描统计60°扇形区域内的点的小波特征的总和，选择值最大的那个扇形的方向作为该特征点的主方向；
(2-4)生成SURF特征向量：以特征点的方向为主方向，选择边长为20S的正方形区域，并将该区域分成4*4个子区域，计算每个子区域的主方向的HAAR小波响应dx，垂直于主方向的HAAR小波响应dy，HAAR小波模板的宽度为2S；对子区域每个像素点的dx、dy、|dx|、|dy|求和，可得一个4维向量V＝[∑dx，∑dy，∑|dx|，∑|dy|]，每个子区域携带4个信息，共有16个子区域，共64维；最后为了防止光照与对比度的影响，对特征矢量归一化处理。
第二步、采集场景图像中呼吸器当前时刻的图像为待检测图像；
第三步、提取第二步中待检测图像的特征并计算待检测图像的特征向量，计算待检测图像的特征向量的方法与第一步相同，与第一步中呼吸器图像特征和呼吸器图像特征向量进行特征匹配，得到呼吸器子图像；
第四步、针对第三步的呼吸器子图像做图像预处理计算，得到预处理图像；图像预处理包含对呼吸器图子像进行灰度化、亮度检测、gamma校正、颜色校正以及边缘计算，步骤如下：
(4-1)将呼吸器图子像灰度化，得到灰度图像；
(4-2)检测灰度图像亮度检测：统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(x,y)代表图像在(x,y)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；i代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(i)代表图像中灰度值为i的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过量，E<0表示过暗，根据E的值设定gamma校正变换参数；
(4-3)获取呼吸器子图像RGB空间的三个通道图像IR，IG，IB；
(4-4)利用gamma校正变换参数，分别对步骤(4-3)中的IR，IG，IB进行gamma校正得到GIR，GIG，GIB；
gamma校正步骤如下：
f(I)＝Iγ
其中：f(I)为校正之后的结果，I为原始输入图像的IR、IG或IB，γ为gamma校正变换参数；
当γ＜1时，在低灰度区域内动态范围变大，高灰度区域内动态范围变小，同时图像整体的灰度值变大，进而增强图像对比度；
当γ＞1时，低灰度区域内动态范围变小，高灰度区域在动态范围变大，降低了低灰度区域图像对比度，提高了高灰度区域图像对比度，同时图像整体的灰度值变小；
(4-5)重新融合步骤(4-4)中的GIR，GIG，GIB得到呼吸器自适应亮度矫正图像；
(4-6)利用计算积分图方法获得步骤(4-5)中呼吸器自适应亮度矫正图像对应的边缘图像。
第五步、对步骤(4-5)预处理之后的呼吸器子图像进行颜色空间的转换，将呼吸器子图像由RGB颜色空间转换到HSV和Lab空间；综合两个HSV和Lab空间的像素信息，判断每个像素块所属颜色范围；遍历整个呼吸器子图像，并忽略步骤(4-6)中的边缘图像，得到整个呼吸器颜色变化区域中红、蓝、白和橙四种颜色比例；通过分析颜色比例即得到呼吸器当前状态；具体为：
(5-1)将呼吸器子图像由RGB颜色空间转换到HSV颜色空间，转换步骤如下：V＝max(R，G，B)
其中R、G、B分别为红、绿、蓝三种颜色分量；H为色相分量，S为饱和度分量，V为明度分量。
(5-2)将呼吸器子图像由RGB颜色空间转换到Lab颜色空间，转换步骤如下：
由于RGB空间无法直接转换成Lab颜色空间，需先转换成XYZ再转换成Lab颜色空间，因此转换公式分为两个部分：
(5-2-1)RGB空间转XYZ空间：
其中，gamma为矫正函数，c为函数自变量；R、G、B分别为红、绿、蓝三种颜色分量；r、g、b分别为计算过程中间变量；X、Y、Z分别为XYZ空间三通道像素值；
(5-2-2)XYZ空间转Lab空间：
其中：X、Y、Z分别为XYZ空间的三通道像素值；XN，YN，ZN为计算过程中间变量，f为映射函数，d为函数自变量；L，a，b为最终计算出的Lab三通道像素值；
(5-3)遍历整个预处理的呼吸器子图像，计算整个呼吸器颜色变化区域，综合H、S、V和L、a、b的值，统计预处理之后的呼吸器子图像中每个像素块所属颜色，计算每个颜色所占比例，由于呼吸器颜色变化趋势固定，通过颜色比例，即可分析出呼吸器当前状态：
(1)当红色比例小于30％则为正常状态；
(2)当红色比例大于30％，且小于60％，则发出预警信号；
(3)当红色比例大于60％则发出报警信号。
本发明所述的特征提取、匹配，在图像处理领域属于现有基础技术，不做过多解释。以上实施例仅用以说明本发明技术方案而非限制，尽管参照优选对本发明进行了详细说明，图像处理技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种适用于电力作业机器人的呼吸器状态识别方法，其特征在于包括以下步骤：
(1-1)采集并标定呼吸器并保存相关信息，保存的相关信息包括呼吸器位置、呼吸器图像、呼吸器图像特征和呼吸器图像特征向量；
(1-2)采集场景图像中呼吸器当前时刻的图像为待检测图像；
(1-3)提取步骤(1-2)中待检测图像的特征并计算待检测图像的特征向量，与步骤(1-1)中呼吸器图像特征和呼吸器图像特征向量进行特征匹配，得到呼吸器子图像；
(1-4)针对步骤(1-3)中呼吸器子图像做图像预处理计算，得到预处理的呼吸器子图像；
(1-5)针对步骤(1-4)中预处理图像做状态分析，得出场景图像中呼吸器的当前状态。
2.根据权利要求1所述的一种适用于电力作业机器人的呼吸器状态识别方法，其特征在于：所述步骤(1-1)和(1-3)中所述的呼吸器图像特征为快速鲁棒特征(SURF)，呼吸器图像特征向量和待检测图像的特征向量的计算步骤为：
(2-1)构建高斯金字塔尺度空间：通过Hessian矩阵求得输入图不同解析度下的表示，Hessian矩阵为：
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>y</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
其中：σ为尺度因子，x、y分别像素点坐标，G(σ)为σ尺度下的高斯核函数，I(x，y)为图像上的像素点的像素值，L(x，y，σ)为σ尺度下的高斯滤波图像，Lxx(x，y，σ)为L(x，y，σ)的x方向二阶偏导，Lyy(x，y，σ)为L(x，y，σ)的y方向二阶偏导，Lxy(x，y，σ)为L(x，y，σ)先后对x和y求一阶偏导；
(2-2)定位特征点：利用非极大值抑制筛选尺度空间中图像的每个像素点，初步定位出感兴趣点，再利用线性插值法得到亚像素级的特征点，并去掉小于预设阈值的点，保留少数特征最强的点为特征点；
(2-3)主方向确定：以特征点为中心，计算半径为6S领域内的所有点在x，y两个方向上的Haar小波特征，S为特征点所在的尺度，并旋转扫描统计60°扇形区域内的点的小波特征的总和，选择值最大的那个扇形的方向作为该特征点的主方向；
(2-4)生成SURF特征向量：以特征点的方向为主方向，选择边长为20S的正方形区域，并将该区域分成4*4个子区域，计算每个子区域的主方向的HAAR小波响应dx，垂直于主方向的HAAR小波响应dy，HAAR小波模板的宽度为2S；对子区域每个像素点的dx、dy、|dx|、|dy|求和，可得一个4维向量V＝[∑dx，∑dy，∑|dx|，∑|dy|]，每个子区域携带4个信息，共有16个子区域，共64维；最后为了防止光照与对比度的影响，对特征矢量归一化处理。
3.根据权利要求1所述的一种适用于电力作业机器人的呼吸器状态识别方法，其特征在于，所述步骤(1-4)图像预处理包含对呼吸器图子像进行灰度化、亮度检测、gamma校正、颜色校正以及边缘计算；预处理的步骤为：
(4-1)将呼吸器子图像灰度化，得到灰度图像；
(4-2)检测灰度图像亮度检测：统计灰度图像距离参考亮度的灰度平均偏移值：
其中：E代表平均偏移值；mean代表参考偏移值，一般取128；G(x,y)代表图像在(x,y)处灰度值；w代表图像宽度；h代表图像高度；
统计图像加权偏移：
其中D代表加权偏移；i代表灰度值，取值范围0-255；E代表灰度平均偏移值；mean代表参考偏移值，取128；Hist(i)代表图像中灰度值为i的点个数；w代表图像宽度；h代表图像高度；如果|E|＞D，图像亮度存在异常，E>0表示过亮，E<0表示过暗，根据E的值设定gamma校正变换参数；
(4-3)获取呼吸器子图像RGB空间的三个通道图像IR、IG、IB；
(4-4)利用gamma校正变换参数，分别对步骤(4-3)中的IR、IG、IB进行gamma校正得到GIR、GIG、GIB；
gamma校正步骤如下：
f(I)＝Iv
其中：f(I)为校正之后的结果，I为原始输入图像的IR、IG或IB，γ为gamma校正变换参数；
当γ＜1时，在低灰度区域内动态范围变大，高灰度区域内动态范围变小，同时图像整体的灰度值变大，进而增强图像对比度；
当γ＞1时，低灰度区域内动态范围变小，高灰度区域在动态范围变大，降低了低灰度区域图像对比度，提高了高灰度区域图像对比度，同时图像整体的灰度值变小；
(4-5)重新融合步骤(4-4)中的GIR、GIG、GIB得到呼吸器自适应亮度矫正图像；
(4-6)利用积分图计算方法获得步骤(4-5)中呼吸器自适应亮度矫正图像对应的边缘图像。
4.根据权利要求3所述的一种适用于电力作业机器人的呼吸器状态识别方法，其特征在于：所述步骤(1-5)为对步骤(4-5)预处理之后的呼吸器子图像进行颜色空间的转换，将呼吸器子图像由RGB颜色空间转换到HSV和Lab空间；综合两个HSV和Lab空间的像素信息，判断每个像素块所属颜色范围；遍历整个呼吸器子图像，并忽略步骤(4-6)中的边缘图像，得到整个呼吸器颜色变化区域中红、蓝、白和橙四种颜色比例；通过分析颜色比例即得到呼吸器当前状态，具体为：
(5-1)将呼吸器子图像由RGB颜色空间转换到HSV颜色空间，转换步骤如下：
V＝max(R,G,B)
<mrow> <mi>S</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mfrac> <mrow> <mi>V</mi> <mo>-</mo> <mi>min</mi> <mrow> <mo>(</mo> <mi>R</mi> <mo>,</mo> <mi>G</mi> <mo>,</mo> <mi>B</mi> <mo>)</mo> </mrow> </mrow> <mi>V</mi> </mfrac> </mtd> <mtd> <mrow> <mi>V</mi> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>V</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中R、G、B分别为红、绿、蓝三种颜色分量；H为色相分量，S为饱和度分量，V为明度分量；
(5-2)将呼吸器子图像由RGB颜色空间转换到Lab颜色空间，转换步骤如下：
由于RGB空间无法直接转换成Lab颜色空间，需先转换成XYZ再转换成Lab颜色空间，因此转换公式分为两个部分：
(5-2-1)RGB空间转XYZ空间：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>r</mi> <mo>=</mo> <mi>g</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mfrac> <mi>R</mi> <mn>255</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>g</mi> <mo>=</mo> <mi>g</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mfrac> <mi>G</mi> <mn>255</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mi>g</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mfrac> <mi>B</mi> <mn>255</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <mi>g</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>c</mi> <mo>+</mo> <mn>0.055</mn> </mrow> <mrow> <mn>1.0</mn> <mi>S</mi> <mi>S</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <mn>2.4</mn> </msup> </mtd> <mtd> <mrow> <mo>(</mo> <mi>c</mi> <mo>&gt;</mo> <mn>0.04045</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mfrac> <mi>c</mi> <mn>12.92</mn> </mfrac> </mtd> <mtd> <mrow> <mo>(</mo> <mi>c</mi> <mo>&amp;le;</mo> <mn>0.04045</mn> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>X</mi> <mo>=</mo> <mi>r</mi> <mo>*</mo> <mn>0.4124</mn> <mo>+</mo> <mi>g</mi> <mo>*</mo> <mn>0.3576</mn> <mo>+</mo> <mi>b</mi> <mo>*</mo> <mn>0.1805</mn> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> <mo>=</mo> <mi>r</mi> <mo>*</mo> <mn>0.2126</mn> <mo>+</mo> <mi>g</mi> <mo>*</mo> <mn>0.7152</mn> <mo>+</mo> <mi>b</mi> <mo>*</mo> <mn>0.0722</mn> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> <mo>=</mo> <mi>r</mi> <mo>*</mo> <mn>0.0193</mn> <mo>+</mo> <mi>g</mi> <mo>*</mo> <mn>0.1192</mn> <mo>+</mo> <mi>b</mi> <mo>*</mo> <mn>0.9505</mn> </mtd> </mtr> </mtable> </mfenced>
其中，gamma为矫正函数，c为函数自变量；R、G、B分别为红、绿、蓝三种颜色分量；r、g、b分别为计算过程中间变量；X、Y、Z分别为XYZ空间三通道像素值；
(5-2-2)XYZ空间转Lab空间：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>N</mi> </msub> <mo>=</mo> <mfrac> <mi>X</mi> <mn>0.950456</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>N</mi> </msub> <mo>=</mo> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>N</mi> </msub> <mo>=</mo> <mfrac> <mi>Z</mi> <mn>1.088754</mn> </mfrac> </mtd> </mtr> </mtable> </mfenced>
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>L</mi> <mo>=</mo> <mn>116</mn> <mo>*</mo> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mi>Y</mi> <msub> <mi>Y</mi> <mi>N</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mn>16</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>a</mi> <mo>=</mo> <mn>500</mn> <mo>*</mo> <mo>&amp;lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mi>X</mi> <msub> <mi>X</mi> <mi>N</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mi>Y</mi> <msub> <mi>Y</mi> <mi>N</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mn>200</mn> <mo>*</mo> <mo>&amp;lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mi>Y</mi> <msub> <mi>Y</mi> <mi>N</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mi>Z</mi> <msub> <mi>Z</mi> <mi>N</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msup> <mi>d</mi> <mfrac> <mn>1</mn> <mn>3</mn> </mfrac> </msup> </mtd> <mtd> <mrow> <mo>(</mo> <mi>d</mi> <mo>&gt;</mo> <mn>0.0088</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>7.7870</mn> <mo>*</mo> <mi>d</mi> <mo>+</mo> <mn>0.1378</mn> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>d</mi> <mo>&amp;le;</mo> <mn>0.0088</mn> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中：X、Y、Z分别为XYZ空间的三通道像素值；XN，YN，ZN为计算过程中间变量，f为映射函数，d为函数自变量；L，a，b为最终计算出的Lab三通道像素值；
(5-3)遍历整个预处理的呼吸器子图像，计算整个呼吸器颜色变化区域，综合H、S、V和L、a、b的值，统计预处理之后的呼吸器子图像中每个像素块所属颜色，计算每个颜色所占比例，由于呼吸器颜色变化趋势固定，通过颜色比例，即可分析出呼吸器当前状态：
(1)当红色比例小于30％则为正常状态；
(2)当红色比例大于30％，且小于60％，则发出预警信号；
(3)当红色比例大于60％则发出报警信号。
CN201711166110.5A 2017-11-21 2017-11-21 一种适用于电力作业机器人的呼吸器状态识别方法 Active CN107977959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711166110.5A CN107977959B (zh) 2017-11-21 2017-11-21 一种适用于电力作业机器人的呼吸器状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711166110.5A CN107977959B (zh) 2017-11-21 2017-11-21 一种适用于电力作业机器人的呼吸器状态识别方法

Publications (2)

Publication Number Publication Date
CN107977959A true CN107977959A (zh) 2018-05-01
CN107977959B CN107977959B (zh) 2021-10-12

Family

ID=62010800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711166110.5A Active CN107977959B (zh) 2017-11-21 2017-11-21 一种适用于电力作业机器人的呼吸器状态识别方法

Country Status (1)

Country Link
CN (1) CN107977959B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400355A (zh) * 2019-07-29 2019-11-01 北京华雨天成文化传播有限公司 一种单色视频的确定方法、装置、电子设备及存储介质
CN111275124A (zh) * 2020-02-10 2020-06-12 国网河南省电力公司检修公司 变压器呼吸器检测方法、分类模型构建方法、计算机可读介质、变压器呼吸器监测系统
CN112950510A (zh) * 2021-03-22 2021-06-11 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662240A (ja) * 1992-08-11 1994-03-04 Ricoh Co Ltd 画像形成装置
CN101957325B (zh) * 2010-10-14 2012-05-23 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN105445283A (zh) * 2016-02-01 2016-03-30 成都通甲优博科技有限责任公司 一种绝缘子图像污秽状态检测方法
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
CN105718911A (zh) * 2016-01-22 2016-06-29 张健敏 一种具有目标识别功能的室外变压器
CN106326808A (zh) * 2015-06-23 2017-01-11 上海深邃智能科技有限公司 基于无人机图像的检测输电线路杆塔鸟窝的方法
CN106644963A (zh) * 2016-12-23 2017-05-10 贵州电网有限责任公司电力科学研究院 一种基于颜色直方图统计的变压器呼吸器检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662240A (ja) * 1992-08-11 1994-03-04 Ricoh Co Ltd 画像形成装置
CN101957325B (zh) * 2010-10-14 2012-05-23 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
CN106326808A (zh) * 2015-06-23 2017-01-11 上海深邃智能科技有限公司 基于无人机图像的检测输电线路杆塔鸟窝的方法
CN105718911A (zh) * 2016-01-22 2016-06-29 张健敏 一种具有目标识别功能的室外变压器
CN105445283A (zh) * 2016-02-01 2016-03-30 成都通甲优博科技有限责任公司 一种绝缘子图像污秽状态检测方法
CN106644963A (zh) * 2016-12-23 2017-05-10 贵州电网有限责任公司电力科学研究院 一种基于颜色直方图统计的变压器呼吸器检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANMEI DONG等: "Vehicle Color Recognition Based on License Plate Color", 《2014 TENTH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
吕瑞峰等: "变电站智能巡检系统仪表定位算法设计与实现", 《电子制作》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400355A (zh) * 2019-07-29 2019-11-01 北京华雨天成文化传播有限公司 一种单色视频的确定方法、装置、电子设备及存储介质
CN111275124A (zh) * 2020-02-10 2020-06-12 国网河南省电力公司检修公司 变压器呼吸器检测方法、分类模型构建方法、计算机可读介质、变压器呼吸器监测系统
CN112950510A (zh) * 2021-03-22 2021-06-11 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法
CN112950510B (zh) * 2021-03-22 2024-04-02 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法

Also Published As

Publication number Publication date
CN107977959B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN104483326B (zh) 基于深度信念网络的高压线绝缘子缺陷检测方法及系统
CN108573261A (zh) 一种适用于变电站巡检机器人的数字显示仪表识别方法
CN107977959B (zh) 一种适用于电力作业机器人的呼吸器状态识别方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN111402247A (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
CN106228541A (zh) 视觉检测中屏幕定位的方法及装置
CN109509188B (zh) 一种基于hog特征的输电线路典型缺陷识别方法
CN113033322A (zh) 基于深度学习的变电站充油设备渗漏油隐患识别方法
CN111598889A (zh) 均压环倾斜故障的识别方法、装置、计算机设备
CN110507287A (zh) 一种泌尿外科用智能数字影像处理系统及方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN112669306A (zh) 一种基于显著图的太阳能电池片缺陷检测方法及系统
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN112634179B (zh) 一种防摄像头抖动的变电设备图像变化检测方法和系统
CN105787955A (zh) 一种带钢缺陷的稀疏分割方法及其分割装置
JP2015092643A (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
Tribak et al. Remote solar panels identification based on patterns localization
CN115761611B (zh) 基于图像对比异常检测的多阶段多底图图像差异过滤方法
CN116310274A (zh) 一种输变电设备的状态评估方法
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN109636797B (zh) 一种非接触式柔性直流换流阀模块形变检测的方法
CN112241707A (zh) 一种风电场智能视频识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant