CN107798336A - 一种红外测温图像部件识别方法 - Google Patents

一种红外测温图像部件识别方法 Download PDF

Info

Publication number
CN107798336A
CN107798336A CN201710843044.4A CN201710843044A CN107798336A CN 107798336 A CN107798336 A CN 107798336A CN 201710843044 A CN201710843044 A CN 201710843044A CN 107798336 A CN107798336 A CN 107798336A
Authority
CN
China
Prior art keywords
sample
infrared
networks
image
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710843044.4A
Other languages
English (en)
Inventor
林跃欢
黎柏枝
杨德鑫
姚进岐
朱文杰
郑博升
袁敏珊
黄漫欣
苏凯
冼擎
冼擎一
陈健强
黄盛超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN201710843044.4A priority Critical patent/CN107798336A/zh
Publication of CN107798336A publication Critical patent/CN107798336A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外测温图像部件识别方法,首先收集图像样本并对样本进行标记、处理、归类,然后搭建基于RPN网络和Faster‑RCNN网络的红外图像部件识别模型,接着将图像样本输入识别模型进行训练并建立最终红外图像部件识别模型,最后将最终红外图像部件识别模型部署在红外在线监测系统中,对在线监测的红外图像进行识别并标注温度。

Description

一种红外测温图像部件识别方法
技术领域
本发明涉及计算机图像识别领域,更具体地,涉及一种红外测温图像部件识别方法。
背景技术
由于红外测温技术具有非接触、可视化、灵敏度高等特点,目前变电站普遍使用红外测温技术对电力设备运行的温度进行成像测量,根据成像图像查找早期的缺陷和故障,保障电力设备的安全稳定运行。在线红外监视摄像头安装于电力设备上方,可针对视野范围内的设备进行自动巡拍,后台监控系统可实时监控到对应间隔的红外图像。当红外图像的最高温度超过设定的额定值,则发出告警信号。
根据变电站红外测温工作标准的规定,红外测温应该覆盖高压场地的线路、引线、线路侧刀闸、开关、CT、母线侧刀闸、母线T型引落线夹等间隔或部件。运行人员定期抄录所有间隔或部件的温度,通过温度曲线分析设备是否存在发热趋势或潜在缺陷。在线红外测温系统虽然能实时对设备进行红外成像,但是不能识别图像中对应的是哪个间隔、哪个部件,只能通过变电站运行人员人工抄录的形式记录所有间隔或部件的温度,大大增加工作量,且难以实现红外测温数据的实时分析。另外,人工分析红外图像不可避免存在漏检、视觉疲劳的问题,增大了运行人员的工作压力。
发明内容
本发明的目的是解决目前人工分析红外图像存在的漏检、视觉疲劳的问题,提出一种红外测温图像部件识别方法。
为实现以上发明目的,采用的技术方案是:
一种红外测温图像部件识别方法,包括以下步骤:
S1:收集图像样本并对样本进行标记、处理、归类;
S2:搭建基于RPN网络和Faster-RCNN网络的红外图像部件识别模型;
S3:将图像样本输入识别模型进行训练并建立最终红外图像部件识别模型;
S4:将最终红外图像部件识别模型部署在红外在线监测系统中,对在线监测的红外图像进行识别并标注温度。
其中步骤S1中图像样本为以往红外测温保存的的红外图像,对样本进行处理包括对样本进行归一化处理并将样本长度统一,对样本进行归类包括将样本分为训练样本、测试样本和校验样本,其中训练样本占总样本的50%,测试样本和校验样本各占总样本的25%。
优选的是,所述图像样本包括断路器图片、隔离开关图片、引线图片、避雷器图片。
其中步骤S2包括以下步骤:
S2.1:输入测试样本;
S2.2:通过卷积神经网络CNN对测试样本进行特征提取;
S2.3:利用RPN网络生成区域Proposals的数目,交叉训练RPN网络和Faster-RCNN网络;
S2.4:在卷积神经网络CNN的最后一层feature map中映射步骤S2.3的Proposals;
S2.5:在最有一个conv的RoI pooling层中每个RoI生成固定尺寸的feature map;
S2.6:采用探测分类概率(Softmax Loss)和探测边框回归(Smooth L1 Loss)对分类概率和边框回归(Bounding box regression)联合训练;
S2.7:采用反向传播(back-propagation)和随机梯度下降(stochastic gradientdescent)对网络进行训练。
其中步骤S2.3包括以下步骤:
S2.3.1:采用ImageNet的模型初始化RPN网络,然后对框选区域进行微调;
S2.3.2:利用步骤S2.3.1得到的框选区域Proposals作为Fast-RCNN网络的输入,然后进行网络的训练;
S2.3.3:利用步骤S2.3.2中训练好的Fast-RCNN初始化RPN网络,继续训练RPN网络;
S2.3.4:固定conv layers,仅微调属于Fast-RCNN的全连接层FC。
与现有技术相比,本发明的有益效果是:
1)采用RPN网络和Fast-RCNN网络,收敛速度快,提高了模型的训练速度的应用速度。
2)使用卷积神经网络,简化了程序编写的复杂度。
3)自动识别红外图像的部件温度,节省人力物力。
附图说明
图1为物体检测效果图。
图2为RPN网络的实现流程图;
图3为图片分类与位置调整的数据结构图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
一种红外测温图像部件识别方法,包括以下步骤:
S1:收集图像样本并对样本进行标记、处理、归类;
S2:搭建基于RPN网络和Faster-RCNN网络的红外图像部件识别模型;
S3:将图像样本输入识别模型进行训练并建立最终红外图像部件识别模型;
S4:将最终红外图像部件识别模型部署在红外在线监测系统中,对在线监测的红外图像进行识别并标注温度。
步骤S1中图像样本为以往红外测温保存的的红外图像,对样本进行处理包括对样本进行归一化处理并将样本长度统一,对样本进行归类包括将样本分为训练样本、测试样本和校验样本,其中训练样本占总样本的50%,测试样本和校验样本各占总样本的25%。
如图1所示,图像样本包括断路器图片、隔离开关图片、引线图片、避雷器图片,且每张相片具有标记;在归一化处理中,短边的长度统一伸缩至600像素;相片的标记格式如下:
若图片中只包含一个检测对象,则标记格式如下:
0000001.jpg breaker 59 73 230 259
0000002.jpg switch 75 82 205 193
若图片中包含多个检测对象,则标记格式如下:
000001.jpg breaker 69 76 103 115
000001.jpg switch 117 123 207 215
000001.jpg CT 220 217 257 263
在上述方案中,步骤S2包括以下步骤:
S2.1:输入测试样本;
S2.2:通过卷积神经网络CNN对测试样本进行特征提取;
S2.3:利用RPN网络生成区域Proposals的数目,交叉训练RPN网络和Faster-RCNN网络;
S2.4:在卷积神经网络CNN的最后一层feature map中映射步骤S2.3的Proposals;
S2.5:在最有一个conv的RoI pooling层中每个RoI生成固定尺寸的feature map;
S2.6:采用探测分类概率(Softmax Loss)和探测边框回归(Smooth L1 Loss)对分类概率和边框回归(Bounding box regression)联合训练;
S2.7:采用反向传播(back-propagation)和随机梯度下降(stochastic gradientdescent)对网络进行训练。
通过搭建基于RPN网络和Faster-RCNN网络的违章检测识别模型,其特征在融合RPN和Fast-RCNN网络,固定了生成区域Proposals的数目,在RPN网络和Fast-RCNN网络之间交替微调参数,实现卷积特征参数共享,提高训练和应用算法的速度。
其中利用RPN网络生成区域Proposals的数目,建议为300个区域;
区域Proposals生成的具体实现是:通过卷积核中心,即用于生成推荐区域的Anchor,进行尺度、宽高比的采样。如图2所示,在每个滑动的区域产生了k= 9的Anchors。
其中卷积核的中心(Anchor)可分为两类,与标签重叠面积最高的Anchor和重叠面积大于70%的Anchor归类为正标签;与标签重叠面积小于30%的所有Anchor归类为负标签;其余非正非负的Anchor丢掉。
同时,如图2所示,在步骤S2.6中对于每个Anchor,损失函数(Loss Function)定义为:
其中,Pi是第i个Anchor预测结果是其中一个类别的概率,若Anchor为正标签,则为P* i为1,否则为0,ti={tx,ty,tw,th}是预测的边框区域,边框的起始坐标x,y及宽度和高度w,h;t* i是与这个Anchor对应样本原始的边框区域;Ncls是训练过程中产生的Anchor的数量,Nreg是一次训练中的样本数量。表示损失函数的平衡因子,一般设置为10,更倾向于边框区域的回归预测。
其中步骤S2.3还包括以下步骤:
S2.3.1:采用ImageNet的模型初始化RPN网络,然后对框选区域进行微调;
S2.3.2:利用步骤S2.3.1得到的框选区域Proposals作为Fast-RCNN网络的输入,然后进行网络的训练;
S2.3.3:利用步骤S2.3.2中训练好的Fast-RCNN初始化RPN网络,继续训练RPN网络;
S2.3.4:固定conv layers,仅微调属于Fast-RCNN的全连接层FC。
进入模型实测阶段,把在线红外图像视频流进行捕捉,检测红外图像相片中部件的位置并进行框选,同时,标注框选区域的最高温度,效果图如图3所示。对每个类别的部件最高温度进行设定,若识别的部件的温度超过定值,则自动报警。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种红外测温图像部件识别方法,其特征在于,包括以下步骤:
S1:收集图像样本并对样本进行标记、处理、归类;
S2:搭建基于RPN网络和Faster-RCNN网络的红外图像部件识别模型;
S3:将图像样本输入识别模型进行训练并建立最终红外图像部件识别模型;
S4:将最终红外图像部件识别模型部署在红外在线监测系统中,对在线监测的红外图像进行识别并标注温度。
2.根据权利要求1所述的一种红外测温图像部件识别方法,其特征在于,步骤S1中图像样本为以往红外测温保存的的红外图像,对样本进行处理包括对样本进行归一化处理并将样本长度统一,对样本进行归类包括将样本分为训练样本、测试样本和校验样本,其中训练样本占总样本的50%,测试样本和校验样本各占总样本的25%。
3.根据权利要求1所述的一种红外测温图像部件识别方法,其特征在于,所述图像样本包括断路器图片、隔离开关图片、引线图片、避雷器图片。
4.根据权利要求1所述的一种红外测温图像部件识别方法,其特征在于,步骤S2包括以下步骤:
S2.1:输入测试样本;
S2.2:通过卷积神经网络CNN对测试样本进行特征提取;
S2.3:利用RPN网络生成区域Proposals的数目,交叉训练RPN网络和Faster-RCNN网络;
S2.4:在卷积神经网络CNN的最后一层feature map中映射步骤S2.3的Proposals;
S2.5:在最有一个conv的RoI pooling层中每个RoI生成固定尺寸的feature map;
S2.6:采用探测分类概率和探测边框回归对分类概率和边框回归联合训练;
S2.7:采用反向传播和随机梯度下降对网络进行训练。
5.根据权利要求1所述的一种红外测温图像部件识别方法,其特征在于,步骤S2.3包括以下步骤:
S2.3.1:采用ImageNet的模型初始化RPN网络,然后对框选区域进行微调;
S2.3.2:利用步骤S2.3.1得到的框选区域Proposals作为Fast-RCNN网络的输入,然后进行网络的训练;
S2.3.3:利用步骤S2.3.2中训练好的Fast-RCNN初始化RPN网络,继续训练RPN网络;
S2.3.4:固定conv layers,仅微调属于Fast-RCNN的全连接层FC。
CN201710843044.4A 2017-09-18 2017-09-18 一种红外测温图像部件识别方法 Pending CN107798336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710843044.4A CN107798336A (zh) 2017-09-18 2017-09-18 一种红外测温图像部件识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710843044.4A CN107798336A (zh) 2017-09-18 2017-09-18 一种红外测温图像部件识别方法

Publications (1)

Publication Number Publication Date
CN107798336A true CN107798336A (zh) 2018-03-13

Family

ID=61532302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710843044.4A Pending CN107798336A (zh) 2017-09-18 2017-09-18 一种红外测温图像部件识别方法

Country Status (1)

Country Link
CN (1) CN107798336A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN108764057A (zh) * 2018-05-03 2018-11-06 武汉高德智感科技有限公司 一种基于深度学习的远红外人体面部检测方法及系统
CN109000800A (zh) * 2018-04-25 2018-12-14 南方电网科学研究院有限责任公司 Gis设备的二维码标识检测系统及方法
CN109446639A (zh) * 2018-10-25 2019-03-08 重庆大学 一种基于卷积神经网络的导爆索压接参数自主优化方法
CN109724703A (zh) * 2018-12-29 2019-05-07 哈工大机器人(山东)智能装备研究院 基于模式识别的复杂场景下的温度矫正方法
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法
CN109934417A (zh) * 2019-03-26 2019-06-25 国电民权发电有限公司 基于卷积神经网络的锅炉结焦预警方法
CN110347717A (zh) * 2019-05-28 2019-10-18 国家电网有限公司 一种基于城市电力设备监测的大数据存储方法
CN110717883A (zh) * 2019-07-19 2020-01-21 广东电网有限责任公司 一种基于红外图像的电缆部位自动识别方法
CN111079752A (zh) * 2019-12-19 2020-04-28 国网重庆市电力公司电力科学研究院 识别红外图像中的断路器的方法、装置及可读存储介质
CN112232208A (zh) * 2020-10-16 2021-01-15 蓝普金睛(北京)科技有限公司 红外人脸测温系统及其方法
CN113657621A (zh) * 2021-07-13 2021-11-16 衢州光明电力投资集团有限公司 一种隐患监测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413139A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于电力巡线红外巡检视频数据的电力设备异常发热检测方法
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413139A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于电力巡线红外巡检视频数据的电力设备异常发热检测方法
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SENIT_CO: "Faster R-CNN论文及源码解读", 《HTTPS://SENITCO.GIHUB.IO/2017/09/02/FASTER-RCNN/》 *
SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN109000800A (zh) * 2018-04-25 2018-12-14 南方电网科学研究院有限责任公司 Gis设备的二维码标识检测系统及方法
CN108764057A (zh) * 2018-05-03 2018-11-06 武汉高德智感科技有限公司 一种基于深度学习的远红外人体面部检测方法及系统
CN109446639A (zh) * 2018-10-25 2019-03-08 重庆大学 一种基于卷积神经网络的导爆索压接参数自主优化方法
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法
CN109724703A (zh) * 2018-12-29 2019-05-07 哈工大机器人(山东)智能装备研究院 基于模式识别的复杂场景下的温度矫正方法
CN109934417A (zh) * 2019-03-26 2019-06-25 国电民权发电有限公司 基于卷积神经网络的锅炉结焦预警方法
CN110347717A (zh) * 2019-05-28 2019-10-18 国家电网有限公司 一种基于城市电力设备监测的大数据存储方法
CN110717883A (zh) * 2019-07-19 2020-01-21 广东电网有限责任公司 一种基于红外图像的电缆部位自动识别方法
CN111079752A (zh) * 2019-12-19 2020-04-28 国网重庆市电力公司电力科学研究院 识别红外图像中的断路器的方法、装置及可读存储介质
CN112232208A (zh) * 2020-10-16 2021-01-15 蓝普金睛(北京)科技有限公司 红外人脸测温系统及其方法
CN113657621A (zh) * 2021-07-13 2021-11-16 衢州光明电力投资集团有限公司 一种隐患监测方法和系统

Similar Documents

Publication Publication Date Title
CN107798336A (zh) 一种红外测温图像部件识别方法
Davari et al. Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN106919978B (zh) 一种高铁接触网支撑装置零部件识别检测方法
CN109101906A (zh) 一种变电站电力设备红外图像异常实时检测方法及装置
CN107666594A (zh) 一种视频监控实时监测违章作业的方法
CN111949809B (zh) 一种输电线路红外巡检数据智能处理方法
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN106326808B (zh) 基于无人机图像的检测输电线路杆塔上鸟窝的方法
CN108280855A (zh) 一种基于Fast R-CNN的绝缘子故障检测方法
CN108052900A (zh) 一种通过监控视频自动判断着装规范的方法
CN108022235A (zh) 高压输电铁塔关键部件缺陷识别方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN113223035A (zh) 笼养鸡智能巡检系统
CN106570853A (zh) 一种形状与颜色融合的绝缘子识别与缺陷检测方法
CN107153819A (zh) 一种排队长度自动检测方法及排队长度控制方法
CN103824092A (zh) 一种用于输变电设备状态在线监测的图像分类方法
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN113076825A (zh) 一种变电站工作人员爬高安全监测方法
Huang et al. Structural defect detection technology of transmission line damper based on UAV image
Manikandan et al. Machine vision based missing fastener detection in rail track images using SVM classifier
Lu et al. Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion.
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313