CN109344768A - 基于巡检机器人的指针式断路器识别方法 - Google Patents

基于巡检机器人的指针式断路器识别方法 Download PDF

Info

Publication number
CN109344768A
CN109344768A CN201811149685.0A CN201811149685A CN109344768A CN 109344768 A CN109344768 A CN 109344768A CN 201811149685 A CN201811149685 A CN 201811149685A CN 109344768 A CN109344768 A CN 109344768A
Authority
CN
China
Prior art keywords
image
pointer
breaker
gradient
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811149685.0A
Other languages
English (en)
Inventor
郭健
王艳琴
李胜
王天野
吴益飞
袁佳泉
施佳伟
朱禹璇
危海明
黄紫霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811149685.0A priority Critical patent/CN109344768A/zh
Publication of CN109344768A publication Critical patent/CN109344768A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明提出了一种基于巡检机器人的指针式断路器识别方法。本发明主要分为5个步骤:(1)利用图像数集训练SVM多分类器;(2)巡检机器人到达指定巡检点获取待检测图片;(3)对目标区域进行粗定位和精确定位,筛选目标候选区域得到指针式断路器;(4)对获取到指针式断路器进行图像预处理,提取出连通面积最大的区域,利用霍夫变换检测出上下两个圆形区域;(5)分别提取圆形区域的HOG特征,并将其送入SVM多分类器得到最终的识别结果。本发明利用机器学习,能在不同光照、姿态条件下能有效完成指针式断路器检测识别任务,提高了复杂环境下图像识别的自动化水平和准确率,最大限度的减少了漏检、误检问题。

Description

基于巡检机器人的指针式断路器识别方法
技术领域
本发明涉及到目标检测技术,具体而言涉及基于巡检机器人的指针式断路器识别方法。
背景技术
电力行业与人们的生活息息相关,变电站的指针式断路器是电力行业最基本的器件,它对电力供应至关重要。近年来,指针式断路器检测与识别不到位从而导致不能正常输送电的现象时有发生,给人民生活、工业生产造成了巨大的经济损失。
目前关于断路器检测方法主要由两类,第一种是人工巡视检测方法。但由于变电站的断路器大多存在于野外,工作人员一般距离较远,出现分合不到位的现象时一般不能及时解决,从而导致电力供电系统不能及时响应。且人工巡视检测往往需要消耗大量的人力和时间,在长时间、高强度的工作环境下容易出错。因此人工巡视检测方法具有劳动强度大、效率低、巡视检测不到位、可靠性差、风险大等缺点。近年来,随着巡检机器人的推广,指针式断路器的检测工作逐渐向智能化方向发展。利用电力巡检机器人代替人工巡检具有高效率、高可靠性等优点。但目前大多数方法,利用传统的图像处理手段进行检测和识别,在光照条件变化的情况下,检测效果不好,一般一种光照条件就需要一组参数。
发明内容
本发明的目的在于提出了一种基于巡检机器人的指针式断路器识别方法,解决现有指针式断路器检测与识别技术中存在的机器人位置不定时,目标尺度、角度变化大,目标受光照影响大从而导致检测识别不准确的问题。
实现本发明的技术解决方案为:一种基于巡检机器人的指针式断路器识别方法,具体步骤为:
步骤1、为每个巡检点选取一张在该巡检点拍摄的断路器居中的图像作为模板图像,利用提前采集的指针式断路器图像数集训练SVM多分类器;
步骤2、巡检机器人通过定位导航到达指定巡检点,获取现场指针式断路器图像并以灰度图的形式读入,用于指针式断路器检测识别;
步骤3、对待检测的目标区域进行粗定位和精确定位,筛选目标候选区域得到指针式断路器;
步骤4、对获取到的现场指针式断路器图像进行预处理,提取出连通面积最大的区域,利用霍夫变换检测出上下两个圆形区域;
步骤5、对两个分离出的区域分别进行像素调整,以长m像素,宽n像素的滑动窗口在图像上滑动,m和n的取值范围为36-64,对窗口提取HOG特征。将计算得到的HOG特征算子送入SVM多分类器得到最终的识别结果;
优选地,步骤1中训练SVM多分类器的具体方法为:
步骤1-1、提前采集指针式断路器图像数集作为正负训练样本集合;
步骤1-2、提取正负训练样本集合的HOG特征;
步骤1-3、给所有正负训练样本集合赋予样本标签,将训练样本集合的HOG特征以及样本标签送入SVM中进行训练。
优选地,步骤1-1中准备训练样本集合的具体方法为:
(1)采集指针式断路器的图片,对于显示开合状态的圆形图片,将处于开状态的图片作为正样本集,处于合状态的图片作为负样本集;对于显示储能状态的圆形图片将处于储能状态的图片作为正样本集,未储能状态的图片作为负样本集;
(2)裁剪图片,删除指针式断路器上圆形区域之外的多余信息;
(3)将图片缩放为长m像素,宽n像素。
优选地,步骤1-2中提取正负训练样本集合HOG特征的具体方法为:
(1)将彩色图像转化为灰度图像;
(2)对灰度图像进行Gamma矫正,减少图像局部的阴影和光照变化,Gamma矫正的公式为:
I(x,y)=I(x,y)gamma (1)
其中,I(x,y)表示图像第x行第y列的像素值,gamma取0-1之间的数;
(3)根据下式计算图像每个像素的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y) (2)
Gy(x,y)=H(x,y+1)-H(x,y-1) (3)
其中,Gx(x,y),Gy(x,y),H(x,y)分别表示图像中像素点(x,y)处的水平方向梯度,垂直方向梯度和像素值,像素点(x,y)处的梯度幅值G(x,y)与梯度方向α(x,y)则可根据下式得到:
(4)将图像分割为一个个边长为a像素的正方形单元格,a为m和n的最大公因数,为每个单元格创建梯度方向直方图,将梯度方向360度划分为k个方向块,第i个方向块的方向范围为统计单元格内各个像素的梯度方向,如果梯度方向属于某个方向块,则对应方向块的计数值加上这个梯度对应的幅值;
(5)将单元格组合成块,块内归一化梯度直方图将每个单元格对应的梯度直方图改写为向量形式,将每个块内的所有梯度向量串联起来,形成这个块的梯度方向直方图向量;将向量乘上对应的归一化因子,归一化因子的计算公式为:
其中,v表示还未归一化的向量,||v||2表示v的2阶范数,e表示常数;
(6)将图像中所有块的归一化后的向量串联起来得到训练样本集合HOG特征。
优选地,步骤1-3中将正负训练样本集合的HOG特征以及样本标签送入SVM中训练的具体方法为:
(1)SVM的训练目标是寻找一个可对正负样本实现分类的最优超平面,其数学形式可表示为:
其中,w表示与超平面垂直的向量,||w||表示w的范数,ξi表示松弛变量,是一个非负数,D是一个参数,用于控制目标函数中两项的权重,xi表示第i个样本的HOG特征,yi表示第i个样本的样本标签,b表示一个常数;
(2)构建拉格朗日函数:
其中,αi表示拉格朗日乘子,ri=D-αi,然后令
目标函数转化为
其中,d*表示目标函数最优值;
(3)让L针对w,b,ξ最小化,即:
将式(11)带入式(8),则目标函数转化为:
其中,<xi,xj>表示求xi,xj的内积;
(4)利用SMO算法求拉格朗日乘子αi的最优值,利用启发式算法选取一对拉格朗日乘子αi,αj;固定除αij外的其他参数,确定w取极值条件下αi的取值,并用αi表示αj;不断重复直到目标函数收敛;
(5)根据拉格朗日乘子的最优值确定最优超平面:
其中,表示拉格朗日乘子的最优值,w*,b*分别表示最优超平面的方向以及与原点的偏移;
(6)得到分类决策函数,即训练好的SVM分类器:
优选地,步骤3中对目标区域定位和筛选的具体步骤为:
步骤3-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标断路器区域进行粗定位;
步骤3-2、利用机器学习的方法对目标断路器区域进行精确定位,将待检测图像送入训练过的分类器,得到若干个目标候选区域;
步骤3-3、分别将每个目标候选区域与粗定位目标指针式断路器区域求交并比参数IOU,将每个目标候选区域图像与模板图像中的指针式断路器区域图像做感知哈希计算,获得感知哈希指标,计算每个目标候选区域图像与模板图像的互信息指标,筛选目标候选区域得到指针式断路器。
优选地,步骤3-3中感知哈希指标、交并比参数IOU和互信息指标I(G(X),H(Y))的具体计算方法分别为:
(1)将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量得到特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标;
(2)交并比参数IOU具体计算公式为:
式中,C为粗定位目标断路器区域,ni为目标候选区域;
(3)互信息指标I(G(X),H(Y))的计算公式为:
G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高。
优选地,步骤3-3中筛选目标候选区域得到指针式断路器的具体方法为:
将每一候选区域的交并比IOU、互信息、感知哈希pHash三种指标做加权求出该候选区域的置信度,其中D为一常数:
Confidence=1-(pHash+1/I(G(X),H(y)))/(IOU+D) (20)
按照所有候选区域的置信度从大到小排序,求出置信度最大的区域,该区域作为备选检测结果。若备选检测结果的IOU满足小于设定阈值thresholdIOU且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将步骤3-2确定的粗定位目标断路器区域作为最终目标,否则以备选检测结果作为最终目标。阈值thresholdIOU取值范围0.1~0.4,阈值thresholdA取值范围10~50。
优选地,步骤4中图像预处理的具体方法为:
步骤4-1、对灰度图像进行直方图均衡化,增加图像的整体对比度,使图像更清晰;
步骤4-2、对图像进行高斯滤波,消除图像上的高斯噪声;
步骤4-3、对图像进行大津法二值化,使目标图像与背景图像区分开来;
步骤4-4、对图像进行开运算,使目标图像边界平滑,消除细小的尖刺,断开窄小的连接;
步骤4-5、对图像进行轮廓扫描,提取出连通面积最大的区域。
优选地,步骤4中利用霍夫变换检测出上下两个圆形区域的具体方法为:
步骤4-6、检测圆心,计算图形的梯度,并确定圆周线,在二维霍夫空间内,给出所有图形的梯度直线,并在4邻域内进行非最大值抑制,设定一个阈值,霍夫空间内累加和大于该阈值的点就对应圆心;
步骤4-7、检测圆半径,计算一个圆心到所有圆周线的距离,找到距离相同的值,计算相同值的数量,只有当相同值数量大于某一阈值时才认为是该圆心对应的圆半径,对另一个圆心按照同样的方法检测其对应的圆半径。
本发明与现有技术相比,其显著优点为:(1)本发明能够实时监控捕获指针式断路器信息,自动识别电力系统断路器状态,增加了电力巡检机器人的自动化水平,提高了工作效率;(3)本发明融合机器人定位信息和机器学习,使得位置重复度高(比如低于5cm的定位),尺度、旋转等变化较小;(2)本发明在不同光照、姿态条件下能有效完成指针式断路器检测识别任务,提高了复杂环境下图像的识别准确率,最大限度的减少了漏检、误检问题。
附图说明
图1为本发明的流程示意图。
图2为采集的模板图像示意图。
图3为实施例1指针式断路器上下圆形分离后图像,其中,图3(a)为指针式断路器圆形分离后表示分合状态的图片,图3(b)为指针式断路器圆形分离后表示储能状态的图片。
具体实施方式
如图1所示,一种基于巡检机器人的指针式断路器识别方法,具体步骤为:
步骤1、为每个巡检点选取一张在该巡检点拍摄的断路器居中的图像作为模板图像,利用提前采集的指针式断路器图像数集训练SVM多分类器,具体为:
步骤1-1、采集指针式断路器图像数集作为正负训练样本集合:(1)采集指针式断路器的图片,对于显示开合状态的圆形图片,将处于开状态的图片作为正样本集,处于合状态的图片作为负样本集;对于显示储能状态的圆形图片将处于储能状态的图片作为正样本集,未储能状态的图片作为负样本集;
(2)裁剪图片,删除指针式断路器上圆形区域之外的多余信息;
(3)将图片缩放为长m像素,宽n像素,m和n的取值范围为36-64。
步骤1-2、提取正负训练样本集合的HOG特征,具体为:
(1)将彩色图像转化为灰度图像;
(2)对灰度图像进行Gamma矫正,减少图像局部的阴影和光照变化,Gamma矫正的公式为:
I(x,y)=I(x,y)gamma (1)
其中,I(x,y)表示图像第x行第y列的像素值,gamma为0-1之间的常数;
(3)根据下式计算图像每个像素的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y) (2)
Gy(x,y)=H(x,y+1)-H(x,y-1) (3)
其中,Gx(x,y),Gy(x,y),H(x,y)分别表示图像中像素点(x,y)处的水平方向梯度,垂直方向梯度和像素值,像素点(x,y)处的梯度幅值G(x,y)与梯度方向α(x,y)根据下式确定:
(4)将图像分割为若干个边长为a像素的正方形单元格,a为m和n的最大公因数,为每个单元格创建梯度方向直方图,将梯度方向360度划分为k个方向块,第i个方向块的方向范围为统计单元格内各个像素的梯度方向,如果梯度方向属于某个方向块,则对应方向块的计数值加上这个梯度对应的幅值;
(5)将单元格组合成块,块内归一化梯度直方图将每个单元格对应的梯度直方图改写为向量形式,将每个块内的所有梯度向量串联起来,形成这个块的梯度方向直方图向量;将向量乘上对应的归一化因子,归一化因子的计算公式为:
其中,v表示还未归一化的向量,||v||2表示v的2阶范数,e表示常数;
(6)将图像中所有块的归一化后的向量串联起来得到训练样本集合HOG特征。
步骤1-3、给所有正负训练样本集合赋予样本标签,将训练样本集合的HOG特征以及样本标签送入SVM中进行训练,具体为:
(1)SVM的训练目标是寻找一个可对正负样本实现分类的最优超平面,其数学形式可表示为:
其中,w表示与超平面垂直的向量,||w||表示w的范数,ξi表示松弛变量,是一个非负数,D是一个参数,用于控制目标函数中两项的权重,xi表示第i个样本的HOG特征,yi表示第i个样本的样本标签,b表示一个常数;
(2)构建拉格朗日函数:
其中,αi表示拉格朗日乘子,ri=D-αi,然后令
目标函数转化为
其中,d*表示目标函数最优值;
(3)让L针对w,b,ξ最小化,即:
将式(11)带入式(8),则目标函数转化为:
其中,<xi,xj>表示求xi,xj的内积;
(4)利用SMO算法求拉格朗日乘子αi的最优值,利用启发式算法选取一对拉格朗日乘子αij;固定除αij外的其他参数,确定w取极值条件下αi的取值,并用αi表示αj;不断重复直到目标函数收敛;
(5)根据拉格朗日乘子的最优值确定最优超平面:
其中,表示拉格朗日乘子的最优值,w*,b*分别表示最优超平面的方向以及与原点的偏移;
(6)得到分类决策函数,即训练好的SVM分类器:
步骤2、巡检机器人通过定位导航到达指定巡检点,获取现场指针式断路器图像并以灰度图的形式读入,用于指针式断路器检测识别;
步骤3、对待检测的目标区域进行粗定位和精确定位,筛选目标候选区域得到指针式断路器,具体步骤为:
步骤3-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标断路器区域进行粗定位;
步骤3-2、利用机器学习的方法对目标断路器区域进行精确定位,将待检测图像送入训练过的分类器,得到若干个目标候选区域;
步骤3-3、分别对每个目标候选区域与粗定位目标指针式断路器区域求交并比参数IOU,将每个目标候选区域图像与模板图像中的指针式断路器区域图像做感知哈希计算,获得感知哈希指标,计算每个目标候选区域图像与模板图像的互信息指标,根据感知哈希指标、交并比参数、互信息指标筛选目标候选区域得到指针式断路器,具体为:
(1)将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量得到特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标;
(2)交并比参数IOU具体计算公式为:
式中,C为粗定位目标断路器区域,ni为目标候选区域;
(3)互信息指标I(G(X),H(Y))的计算公式为:
G(X)、H(Y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高。
将每一候选区域的交并比IOU、互信息、感知哈希pHash三种指标做加权求出该候选区域的置信度,其中D为一常数:
Confidence=1-(pHash+1/I(G(X),H(y)))/(IOU+D) (20)
按照所有候选区域的置信度从大到小排序,求出置信度最大的区域,该区域作为备选检测结果,若备选检测结果的IOU满足同时小于设定阈值thresholdIOU且(pHash+1/I(G(X),H(Y)))大于阈值thresholdA时,将步骤3-2确定的粗定位目标断路器区域作为最终目标,否则以备选检测结果作为最终目标。
步骤4、对获取到的现场指针式断路器图像进行预处理,提取出连通面积最大的区域,利用霍夫变换检测出上下两个圆形区域,具体步骤为:
步骤4-1、对灰度图像进行直方图均衡化;
步骤4-2、对图像进行高斯滤波,消除图像上的高斯噪声;
步骤4-3、对图像进行大津法二值化,区分目标图像与背景图像;
步骤4-4、对图像进行开运算,使目标图像边界平滑,消除细小的尖刺,断开窄小的连接;
步骤4-5、对图像进行轮廓扫描,提取出连通面积最大的区域。
步骤4-6、检测圆心,计算图形的梯度,并确定圆周线,在二维霍夫空间内,给出所有图形的梯度直线,并在4邻域内进行非最大值抑制,设定一个阈值,霍夫空间内累加和大于该阈值的点就对应圆心;
步骤4-7、检测圆半径,计算一个圆心到所有圆周线的距离,找到距离相同的值,计算相同值的数量,只有当相同值数量大于某一阈值时才认为是该圆心对应的圆半径,对另一个圆心按照同样的方法检测其对应的圆半径
步骤5、对两个分离出的区域分别进行像素调整,以长m像素,宽n像素的滑动窗口在图像上滑动,m和n的取值范围为36-64,对窗口提取HOG特征。将计算得到的HOG特征算子送入SVM多分类器得到最终的识别结果;
实施例1
一种基于巡检机器人的指针式断路器识别方法,包括以下步骤:
步骤1、为每个巡检点选取一张在该巡检点拍摄的断路器居中的图像作为模板图像,如图2所示,利用提前采集的指针式断路器图像数集训练SVM多分类器;
步骤1-1、准备训练样本集合,具体为:
(1)采集100000张含有指针式断路器的图片,将位于开状态的图片作为正样本集,位于关状态的图片作为负样本集;
(2)裁剪图片,删除指针式断路器圆形之外的多余信息;
(3)将图片缩放为长宽均为48像素的矩形;
步骤1-2、提取正负样本的HOG特征,具体为:
(1)将彩色图像转化为灰度图像;
(2)对灰度图像进行Gamma矫正,减少图像局部的阴影和光照变化。式(1)为Gamma矫正公式,其中,gamma取0.5;
(3)根据式(2)(3)计算图像每个像素的水平与垂直梯度,然后根据式(4)(5)计算像素点(x,y)处的梯度幅值与梯度方向;
(4)将图像分割为一个个边长为8像素的正方形单元格,为每个单元格创建梯度方向直方图。将梯度方向360度划分为9个方向块,统计单元格内各个像素的梯度方向,如果梯度方向属于某个方向块,则对应方向块的计数值加上这个梯度对应的幅值,将单元格组合成边长为16像素的块,块内归一化梯度直方图,减少光照、阴影和边缘对梯度的影响;将图像中所有块的归一化后的向量串联起来就得到了其HOG特征;
步骤1-3、给所有正负样本赋予样本标签,将正负样本的HOG特征以及样本标签送入SVM中进行训练,具体步骤为:
(1)SVM的训练目标是寻找一个可对正负样本实现分类的最优超平面,其数学形式可用式(7)表示;
(2)构建拉格朗日函数,如式(8),并根据式(9)将目标函数转化为式(10);
(3)让L针对w,b,ξ最小化,将目标函数转化为式(12);
(4)利用SMO算法求拉格朗日乘子αi的最优值;
(5)根据拉格朗日乘子的最优值以及式(13)确定最优超平面;
(6)得到分类决策函数式(14),即训练好的SVM分类器:
步骤2、巡检机器人通过定位导航到达指定巡检点,导航误差5cm,获取一张指针式断路器图像并以灰度图的形式读入,用于检测识别;
步骤3、对待检测的目标区域进行粗定位和精确定位,筛选目标候选区域得到指针式断路器;
步骤3-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标断路器区域进行粗定位;
步骤3-2、利用提前训练好的机器学习Adaboost分类器对待检测图像进行精确定位,得到若干个目标候选区域;
步骤3-3、分别将每个目标候选区域与粗定位目标指针式断路器区域求交并比参数IOU,将每个目标候选区域图像与模板图像中的指针式断路器区域图像做感知哈希计算,获得感知哈希指标,计算每个目标候选区域图像与模板图像的互信息指标,筛选目标候选区域得到指针式断路器。
(1)计算感知哈希pHash指标。分类器得到的候选区域图像与截取模板图像中断路器区域图像做感知哈希pHash计算。感知哈希pHash计算是将两张图片缩放到32*32的大小,进行余弦变换,选取余弦变换后的图像左上角的8*8的区域,去除坐标(0,0)的直流分量得到63维特征向量,计算图像A和图像B的特征向量的汉明距离,作为感知哈希pHash指标;
(2)利用公式(16)~(19)计算互信息指标;
(3)利用公式(15)计算交并比参数IOU,分别得到三个交并比参数指标(0.7,0.0,0.0);
(4)将每一候选区域的交并比IOU、互信息、感知哈希pHash三种指标按照公式(20)做加权求出该候选区域的置信度;
按照所有候选区域的置信度从大到小排序,求出置信度最大的区域,作为最终区域。
步骤4、对获取到的现场指针式断路器图像进行预处理,提取出连通面积最大的区域,利用霍夫变换检测出上下两个圆形区域,如图3所示;
步骤5、对两个分离出的区域分别进行像素调整,以长宽均为48像素的滑动窗口在图像上滑动,对窗口提取HOG特征,将提取到的HOG特征送入SVM中进行判断,得到最终检测结果。

Claims (10)

1.基于巡检机器人的指针式断路器识别方法,其特征在于,包括以下步骤:
步骤1、为每个巡检点选取一张在该巡检点拍摄的断路器居中的图像作为模板图像,利用提前采集的指针式断路器图像数集训练SVM多分类器;
步骤2、巡检机器人通过定位导航到达指定巡检点,获取现场指针式断路器图像并以灰度图的形式读入,用于指针式断路器检测识别;
步骤3、对待检测的目标区域进行粗定位和精确定位,筛选目标候选区域得到指针式断路器图像;
步骤4、对获取到的现场指针式断路器图像进行预处理,提取出连通面积最大的区域,利用霍夫变换检测出上下两个圆形区域;
步骤5、对两个分离出的区域分别进行像素调整,以长m像素,宽n像素的滑动窗口在图像上滑动,对窗口提取HOG特征,将计算得到的HOG特征算子送入SVM多分类器得到最终的识别结果。
2.根据权利要求1所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤1中训练SVM多分类器的具体方法为:
步骤1-1、采集指针式断路器图像数集作为正负训练样本集合;
步骤1-2、提取正负训练样本集合的HOG特征;
步骤1-3、给所有正负训练样本集合赋予样本标签,将训练样本集合的HOG特征以及样本标签送入SVM中进行训练。
3.根据权利要求2所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤1-1中准备训练样本集合的具体方法为:
(1)采集指针式断路器的图片,对于显示开合状态的圆形图片,将处于开状态的图片作为正样本集,处于合状态的图片作为负样本集;对于显示储能状态的圆形图片将处于储能状态的图片作为正样本集,未储能状态的图片作为负样本集;
(2)裁剪图片,删除指针式断路器上圆形区域之外的多余信息;
(3)将图片缩放为长m像素,宽n像素,m和n的取值范围为36-64。
4.根据权利要求2所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤1-2中提取正负训练样本集合HOG特征的具体方法为:
(1)将彩色图像转化为灰度图像;
(2)对灰度图像进行Gamma矫正,减少图像局部的阴影和光照变化,Gamma矫正的公式为:
I(x,y)=I(x,y)gamma (1)
其中,I(x,y)表示图像第x行第y列的像素值,gamma为0-1之间的常数;
(3)根据下式计算图像每个像素的梯度:
Gx(x,y)=H(x+1,y)-H(x-1,y) (2)
Gy(x,y)=H(x,y+1)-H(x,y-1) (3)
其中,Gx(x,y),Gy(x,y),H(x,y)分别表示图像中像素点(x,y)处的水平方向梯度,垂直方向梯度和像素值,像素点(x,y)处的梯度幅值G(x,y)与梯度方向α(x,y)根据下式确定:
(4)将图像分割为若干个边长为a像素的正方形单元格,a为m和n的最大公因数,为每个单元格创建梯度方向直方图,将梯度方向360度划分为k个方向块,第i个方向块的方向范围为统计单元格内各个像素的梯度方向,如果梯度方向属于某个方向块,则对应方向块的计数值加上这个梯度对应的幅值;
(5)将单元格组合成块,块内归一化梯度直方图将每个单元格对应的梯度直方图改写为向量形式,将每个块内的所有梯度向量串联起来,形成这个块的梯度方向直方图向量;将向量乘上对应的归一化因子,归一化因子的计算公式为:
其中,v表示还未归一化的向量,||v||2表示v的2阶范数,e表示常数;
(6)将图像中所有块的归一化后的向量串联起来得到训练样本集合HOG特征。
5.根据权利要求2所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤1-3中将正负训练样本集合的HOG特征以及样本标签送入SVM中训练的具体方法为:
(1)SVM的训练目标是寻找一个可对正负样本实现分类的最优超平面,其数学形式可表示为:
其中,w表示与超平面垂直的向量,||w||表示w的范数,ξi表示松弛变量,是一个非负数,D是一个参数,用于控制目标函数中两项的权重,xi表示第i个样本的HOG特征,yi表示第i个样本的样本标签,b表示一个常数;
(2)构建拉格朗日函数:
其中,αi表示拉格朗日乘子,ri=D-αi,然后令
目标函数转化为
其中,d*表示目标函数最优值;
(3)让L针对w,b,ξ最小化,即:
将式(11)带入式(8),则目标函数转化为:
其中,<xi,xj>表示求xi,xj的内积;
(4)利用SMO算法求拉格朗日乘子αi的最优值,利用启发式算法选取一对拉格朗日乘子αij;固定除αij外的其他参数,确定w取极值条件下αi的取值,并用αi表示αj;不断重复直到目标函数收敛;
(5)根据拉格朗日乘子的最优值确定最优超平面:
其中,表示拉格朗日乘子的最优值,w*,b*分别表示最优超平面的方向以及与原点的偏移;
(6)得到分类决策函数,即训练好的SVM分类器:
6.根据权利要求1所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤3中对目标区域定位和筛选的具体步骤为:
步骤3-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标断路器区域进行粗定位;
步骤3-2、利用机器学习的方法对目标断路器区域进行精确定位,将待检测图像送入训练过的分类器,得到若干个目标候选区域;
步骤3-3、分别对每个目标候选区域与粗定位目标指针式断路器区域求交并比参数IOU,将每个目标候选区域图像与模板图像中的指针式断路器区域图像做感知哈希计算,获得感知哈希指标,计算每个目标候选区域图像与模板图像的互信息指标,根据感知哈希指标、交并比参数、互信息指标筛选目标候选区域得到指针式断路器。
7.根据权利要求6所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤3-3感知哈希指标、交并比参数IOU和互信息指标I(G(x),H(y))的具体计算方法分别为:
(1)将目标候选区域图像与模板图像缩放到同一大小,进行余弦变换,选取余弦变换后的图像左上角的低频区域,去除坐标(0,0)的直流分量得到特征向量,计算目标候选区域图像与模板图像的特征向量的汉明距离,作为感知哈希指标;
(2)交并比参数IOU具体计算公式为:
式中,C为粗定位目标断路器区域,ni为目标候选区域;
(3)互信息指标I(G(x),H(y))的计算公式为:
G(x)、H(y)分别为模板图像与候选图像灰度像素的数目,W、H分别为候选区域图像宽、高。
8.根据权利要求6所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤3-3中筛选目标候选区域得到指针式断路器的具体方法为:
将每一候选区域的交并比IOU、互信息、感知哈希pHash三种指标做加权求出该候选区域的置信度,其中D为一常数:
Confidence=1-(pHash+1/I(G(X),H(y)))/(IOU+D) (20)
按照所有候选区域的置信度从大到小排序,求出置信度最大的区域,该区域作为备选检测结果,若备选检测结果的IOU满足同时小于设定阈值
thresholdIOU且(pHash+1/I(G(x),H(y)))大于阈值thresholdA时,将步骤3-2确定的粗定位目标断路器区域作为最终目标,否则以备选检测结果作为最终目标。
9.根据权利要求1所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤4中图像预处理的具体方法为:
步骤4-1、对灰度图像进行直方图均衡化;
步骤4-2、对图像进行高斯滤波,消除图像上的高斯噪声;
步骤4-3、对图像进行大津法二值化,区分目标图像与背景图像;
步骤4-4、对图像进行开运算,使目标图像边界平滑,消除细小的尖刺,断开窄小的连接;
步骤4-5、对图像进行轮廓扫描,提取出连通面积最大的区域。
10.根据权利要求1所述的基于巡检机器人的指针式断路器识别方法,其特征在于,步骤4中利用霍夫变换检测出上下两个圆形区域的具体方法为:
步骤4-6、检测圆心,计算图形的梯度,并确定圆周线,在二维霍夫空间内,给出所有图形的梯度直线,并在4邻域内进行非最大值抑制,设定一个阈值,霍夫空间内累加和大于该阈值的点就对应圆心;
步骤4-7、检测圆半径,计算一个圆心到所有圆周线的距离,找到距离相同的值,计算相同值的数量,只有当相同值数量大于某一阈值时才认为是该圆心对应的圆半径,对另一个圆心按照同样的方法检测其对应的圆半径。
CN201811149685.0A 2018-09-29 2018-09-29 基于巡检机器人的指针式断路器识别方法 Pending CN109344768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811149685.0A CN109344768A (zh) 2018-09-29 2018-09-29 基于巡检机器人的指针式断路器识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811149685.0A CN109344768A (zh) 2018-09-29 2018-09-29 基于巡检机器人的指针式断路器识别方法

Publications (1)

Publication Number Publication Date
CN109344768A true CN109344768A (zh) 2019-02-15

Family

ID=65308029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811149685.0A Pending CN109344768A (zh) 2018-09-29 2018-09-29 基于巡检机器人的指针式断路器识别方法

Country Status (1)

Country Link
CN (1) CN109344768A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784396A (zh) * 2019-01-08 2019-05-21 北京全路通信信号研究设计院集团有限公司 一种分合闸状态识别方法
CN110599456A (zh) * 2019-08-13 2019-12-20 杭州智团信息技术有限公司 一种医学图像的特定区域的提取方法
CN110852333A (zh) * 2019-11-13 2020-02-28 广东电科院能源技术有限责任公司 一种指针式仪表自动读数方法及装置
CN111860277A (zh) * 2020-07-14 2020-10-30 南京航空航天大学 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN111950512A (zh) * 2020-08-26 2020-11-17 上海申瑞继保电气有限公司 变电所断路器指示灯分合状态识别方法
CN113077398A (zh) * 2021-04-09 2021-07-06 上海申瑞继保电气有限公司 断路器圆形分合指示灯图像噪声滤波方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194620A1 (zh) * 2013-06-04 2014-12-11 北京大学深圳研究生院 图像特征提取、训练、检测方法及模块、装置、系统
CN105260412A (zh) * 2015-09-24 2016-01-20 东方网力科技股份有限公司 一种图像存储方法、图像检索方法和装置
CN106951930A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表定位方法
CN107610162A (zh) * 2017-08-04 2018-01-19 浙江工业大学 一种基于互信息与图像分割的三维多模态医学图像自动配准方法
CN107610128A (zh) * 2017-09-26 2018-01-19 山东鲁能智能技术有限公司 一种油位计的巡检方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194620A1 (zh) * 2013-06-04 2014-12-11 北京大学深圳研究生院 图像特征提取、训练、检测方法及模块、装置、系统
CN105260412A (zh) * 2015-09-24 2016-01-20 东方网力科技股份有限公司 一种图像存储方法、图像检索方法和装置
CN106951930A (zh) * 2017-04-13 2017-07-14 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表定位方法
CN107610162A (zh) * 2017-08-04 2018-01-19 浙江工业大学 一种基于互信息与图像分割的三维多模态医学图像自动配准方法
CN107610128A (zh) * 2017-09-26 2018-01-19 山东鲁能智能技术有限公司 一种油位计的巡检方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
仲崇权 等: "基于霍夫变换的工位点识别算法设计与实现", 《物联网技术》 *
戴宪策 等: "基于傅里叶-梅林变换的图像匹配方法研究", 《红外技术》 *
沈新平 等: "基于霍夫变换和RANSAC算法的绝缘子定位方法", 《电子测量技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784396A (zh) * 2019-01-08 2019-05-21 北京全路通信信号研究设计院集团有限公司 一种分合闸状态识别方法
CN110599456A (zh) * 2019-08-13 2019-12-20 杭州智团信息技术有限公司 一种医学图像的特定区域的提取方法
CN110852333A (zh) * 2019-11-13 2020-02-28 广东电科院能源技术有限责任公司 一种指针式仪表自动读数方法及装置
CN110852333B (zh) * 2019-11-13 2021-07-23 南方电网电力科技股份有限公司 一种指针式仪表自动读数方法及装置
CN111860277A (zh) * 2020-07-14 2020-10-30 南京航空航天大学 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN111860277B (zh) * 2020-07-14 2024-03-19 南京航空航天大学 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN111950512A (zh) * 2020-08-26 2020-11-17 上海申瑞继保电气有限公司 变电所断路器指示灯分合状态识别方法
CN113077398A (zh) * 2021-04-09 2021-07-06 上海申瑞继保电气有限公司 断路器圆形分合指示灯图像噪声滤波方法

Similar Documents

Publication Publication Date Title
CN109344768A (zh) 基于巡检机器人的指针式断路器识别方法
CN109447949A (zh) 基于巡检机器人的绝缘端子缺陷识别方法
CN109344766A (zh) 基于巡检机器人的滑块式断路器识别方法
CN106127780B (zh) 一种曲面表面缺陷自动检测方法及其装置
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN110059694A (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN102289676B (zh) 基于红外检测的变电站刀闸模式识别方法
CN108491788A (zh) 一种用于财务报表单元格的智能提取方法及装置
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN105426905A (zh) 基于梯度直方图和支持向量机的机器人障碍物识别方法
CN108009551B (zh) 适用于电力作业机器人的电力刀闸分合位状态识别方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN106709452B (zh) 一种基于智能巡检机器人的仪表位置检测方法
CN106846313A (zh) 工件表面缺陷检测方法和装置
CN107729853A (zh) 一种适用于变电站窄刻度指针式仪表的自动识别方法
CN108334955A (zh) 基于Faster-RCNN的身份证复印件检测方法
CN104198497A (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN107886539B (zh) 一种工业场景下高精度齿轮视觉检测方法
CN106485273A (zh) 一种基于hog特征与dnn分类器的人脸检测方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN103632137A (zh) 一种人眼虹膜图像分割方法
CN108846831A (zh) 基于统计特征和图像特征相结合的带钢表面缺陷分类方法
CN109784396A (zh) 一种分合闸状态识别方法
CN109086763A (zh) 一种指针式仪表读取方法及装置
CN110427943A (zh) 一种基于r-cnn的智能电表数值识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215