CN112085096A - 一种基于迁移学习的物体局部异常发热检测的方法 - Google Patents

一种基于迁移学习的物体局部异常发热检测的方法 Download PDF

Info

Publication number
CN112085096A
CN112085096A CN202010939419.9A CN202010939419A CN112085096A CN 112085096 A CN112085096 A CN 112085096A CN 202010939419 A CN202010939419 A CN 202010939419A CN 112085096 A CN112085096 A CN 112085096A
Authority
CN
China
Prior art keywords
abnormal heating
network
training
transfer learning
object based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010939419.9A
Other languages
English (en)
Inventor
文颖
沈庾涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010939419.9A priority Critical patent/CN112085096A/zh
Publication of CN112085096A publication Critical patent/CN112085096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于迁移学习的物体局部异常发热检测的方法,利用公共数据集对检测器的主干网络进行预训练,通过加载预训练的主干网络的检测器在制作的物体局部红外图像异常发热区域数据集上进行训练,从而使用训练后的检测器网络对需要检测的物体红外图像进行异常发热区域检测。

Description

一种基于迁移学习的物体局部异常发热检测的方法
技术领域
本发明属于目标检测算法技术领域,特别涉及一种基于迁移学习的物体局部异常发热检测的方法。
背景技术
物体局部异常发热检测是对红外图像中物体局部异常发热区域进行检测的一项技术。物体的局部出现异常发热能够通过红外热成像技术在拍摄的图像上显示出来,而基于人工从众多的红外图像中检测异常发热是一个枯燥且耗时耗力的工程。因此,通过深度学习的方法训练神经网络对红外图像自动检测可以有效地节省人力成本。对物体局部进行异常发热的检测能够应用在多种领域中,例如电力设备的异常发热检测、锅炉的异常发热检测、人体温度检测等,也可以进一步拓展到异常发热区域统计等应用方面,具有一定的社会价值和经济价值。
通过目标检测来检测图像中的内容是一种主流的检测方法。传统的目标检测通过提取底层特征和中层特征来展开,但面对存在众多干扰信息的复杂环境,并不能产生令人满意的检测结果。最近,随着深度学习的飞速发展,基于卷积神经网络的目标检测方法取得了巨大的成功,这一技术使得在具有复杂环境的图像下进行目标检测成为可能。一般而言,通过卷积神经网络进行目标检测时需要庞大的数据才能使卷积神经网络模型充分地学习到图像中不同物体的固有特征。然而,制作数据集是一个极其耗时的工作。在缺乏数据集的情况下,直接训练卷积神经网络模型很容易产生过拟合。
发明内容
有鉴于现有技术的上述缺陷,本发明的目的在于提供一种基于迁移学习的物体局部异常发热检测的方法,利用公共数据集对检测器的主干网络进行预训练,通过加载预训练的主干网络的检测器在制作的物体局部红外图像异常发热区域数据集上进行训练,从而使用训练后的检测器网络对需要检测的物体红外图像进行异常发热区域检测。
为达到上述目的,本发明提供了一种基于迁移学习的物体局部异常发热检测的方法,包括如下步骤:
步骤a:制作物体局部红外图像异常发热区域的数据集;
步骤b:搭建检测器的主干网络;
步骤c:在公共数据集上预训练步骤b中的主干网络;
步骤d:迁移步骤c中预训练的主干网络权重至检测器网络;
步骤e:在步骤a中制作的物体局部红外图像异常发热区域的数据集上迭代训练步骤d中的检测器网络;
步骤f:对于需要检测的物体,拍摄其红外图像并作为步骤e中迭代训练得到的检测器网络的输入,得到检测结果。
进一步地,步骤a中制作物体局部红外图像异常发热区域的数据集的方法为:收集一类局部异常发热物体的红外图像,并选取其中的N张图像作为训练样本集S,使用矩形框标注图像中的异常发热区域,记录其在图像上的相对坐标作为训练的预测框真值GT。优选地,N≥10;更优选地,N≥20。
进一步地,步骤b中搭建的主干网络包括为图像分类任务设计的能够提取图像基本特征的网络结构,例如ResNet-50网络结构。优选地,ResNet-50包含50个卷积层,其中主体部分分为4个阶段(stage),分别包含3、4、6、3个Bottleneck模块。
进一步地,步骤c中的公共数据集包括ImageNet-1K图像分类数据集。
进一步地,步骤c中的预训练使用随机梯度下降(SGD)作为优化算法,选择标签平滑损失(label smooth)作为损失函数,通过迭代训练获得预训练的主干网络。优选地,预训练的迭代轮数steps≥300k;更优选地,迭代轮数steps≥500k。
进一步地,步骤d中的检测器网络包括RetinaNet网络结构,其分为主干网络、特征金字塔网络(FPN)、分类子网络(class subnet)和预测框子网络(box subnet)。其中,特征金字塔网络获得更加鲁棒的语义信息;分类子网络预测区域是否为发热区域并输出概率;预测框子网络预测发热区域所对应的预测框。
进一步地,步骤e中的迭代训练使用随机梯度下降(SGD)作为优化算法,选择focalloss作为损失函数,每一次迭代通过前向传播计算focal loss损失,最小化该损失并反向传播更新模型参数,直到达到迭代轮数steps。优选地,迭代训练的迭代轮数steps≥300;更优选地,迭代轮数steps≥500。
进一步地,步骤e中的检测结果包括预测的异常发热区域位置坐标以及判定为异常发热的概率。
本发明的有益效果在于:本发明利用迁移学习进行目标检测的算法,使用迁移学习技术极大地缓解了制作庞大的物体局部红外图像异常发热的数据集要求;同时,利用卷积神经网络在目标检测领域的性能优势,达到了很好的检测效果与检测速度。
附图说明
图1是本发明的一个较佳实施例的基于迁移学习的物体局部异常发热检测的方法的流程示意图;
图2是本发明一个较佳实施例中所收集的电缆终端异常发热区域原始图像和发热区域标记框的真值图像;
图3是本发明一个较佳实施例中对一电缆终端局部异常发热检测的实际检测效果示意图;
图4是本发明一个较佳实施例中对另一电缆终端局部异常发热检测的实际检测效果示意图。
具体实施方式
下面对本发明的实施例作详细说明,下述的实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1-4所示,在一个较佳实施例中,本发明以检测电缆终端的局部异常发热为例。电缆终端因受潮、绝缘油老化等各种原因容易引起局部异常发热,从而影响供电可靠性。在本实施例中,需要检测出电缆终端红外图像中的异常发热区域。在本实施例中,本发明的基于迁移学习的物体局部异常发热检测的方法,包括以下步骤:
步骤a:制作物体局部红外图像异常发热区域的数据集:收集电缆终端异常发热区域图像,在所有收集的电缆终端异常发热区域图像中选取N张图像作为训练样本集S,使用矩形框标注红外图像中电缆终端发热区域,记录其在图像上的相对坐标作为训练的预测框真值GT。在本实施例中,取N=20。图2(a)为其中一张原始的电缆终端红外图像,图2(b)为图2(a)对应的标注发热区域预测框的真值图像。
步骤b:搭建检测器的主干网络:使用ResNet-50网络架构作为检测器的主干网络。ResNet-50共包含50个卷积层,其中主体部分分为4个阶段(stage),分别包含3、4、6、3个Bottleneck模块。
步骤c:在公共数据集上预训练步骤b中的主干网络:选取ImageNet-1K图像分类公共数据集在主干网络ResNet-50上进行预训练。训练阶段使用的超参数设置如下:迭代轮数steps=500k,批大小batch_size=256,初始化学习率learning_rate=0.1,并在steps=250k和steps=375k时将学习率分别降低十倍。使用随机梯度下降(SGD)作为优化算法,选择标签平滑损失(label smooth)作为损失函数,通过迭代训练获得预训练的ResNet-50的模型参数。
步骤d:迁移步骤c中预训练的主干网络权重至检测器网络:选取RetinaNet作为检测器的网络架构。RetinaNet在上述预训练的主干网络ResNet-50的基础上,增加了特征金字塔网络(FPN)、分类子网络(class subnet)和预测框子网络(box subnet)。特征金字塔网络利用ResNet-50后三个阶段的输出特征获得更加鲁棒的语义信息。分类子网络预测区域是否为发热区域并输出概率。预测框子网络预测发热区域所对应的预测框。
步骤e:在步骤a中制作的电缆终端发热区域数据集上训练步骤d中搭建的检测器网络:将S,GT作为输入训练检测器。本实施例中,训练检测器时使用的超参数设置如下:迭代轮数steps=500,批大小batch_size=10,初始化学习率learning_rate=0.005,并在steps=360和steps=450时将学习率分别降低十倍。使用随机梯度下降(SGD)作为优化算法,选择focal loss作为损失函数。检测器的训练过程为迭代的过程:每一次迭代通过前向传播计算focal loss损失,最小化该损失并反向传播更新模型参数,直到达到迭代轮数steps,最终得到可用于检测任务的检测器模型。
步骤f:对于需要检测的电缆终端,拍摄其红外图像并作为步骤e中训练得到的检测器网络的输入,得到异常发热区域位置坐标的预测以及判定为异常发热的概率。
原始图像(图3(a)和图4(a))和经过本发明处理后所检测的实例图像(图3(b)和图4(b))如图3和图4所示。本发明优势在于少量数据集的情况下能够得到优秀的检测结果。在本实施例中,检测器网络能够很好的检测出电缆终端的异常发热区域,对于正常的无异常发热的电缆终端也不会产生误检测,且通过引入更多的训练图像能够更进一步的提升检测效果。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于迁移学习的物体局部异常发热检测的方法,其特征在于,所述方法包括如下步骤:
步骤a:制作物体局部红外图像异常发热区域的数据集;
步骤b:搭建检测器的主干网络;
步骤c:在公共数据集上预训练步骤b中的主干网络;
步骤d:迁移步骤c中预训练的主干网络权重至检测器网络;
步骤e:在步骤a中制作的物体局部红外图像异常发热区域的数据集上迭代训练步骤d中得到的检测器网络;
步骤f:对于需要检测的物体,拍摄其红外图像并作为步骤e中迭代训练得到的检测器网络的输入,得到检测结果。
2.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤a中制作物体局部红外图像异常发热区域的数据集的方法为:收集一类局部异常发热物体的红外图像,并选取其中的N张图像作为训练样本集S,使用矩形框标注所述图像中的异常发热区域,记录其在所述图像上的相对坐标作为训练的预测框真值GT。
3.如权利要求2所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,N≥10。
4.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤b中搭建的主干网络包括为图像分类任务设计的能够提取图像基本特征的网络结构。
5.如权利要求4所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤b中搭建的主干网络包括ResNet-50网络结构,其包含50个卷积层,其主体部分分为4个阶段,分别包含3、4、6、3个Bottleneck模块。
6.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤c中的公共数据集包括ImageNet-1K图像分类数据集。
7.如权利要求6所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤c中的预训练使用随机梯度下降作为优化算法,选择标签平滑损失作为损失函数,通过迭代训练获得预训练的主干网络;所述预训练的迭代轮数steps≥300k。
8.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤d中的检测器网络包括RetinaNet网络结构,其分为主干网络、特征金字塔网络、分类子网络和预测框子网络。
9.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤e中的迭代训练使用随机梯度下降作为优化算法,选择focal loss作为损失函数,每一次迭代通过前向传播计算focal loss损失,最小化该损失并反向传播更新模型参数,直到达到迭代轮数steps;所述迭代训练的迭代轮数steps≥300。
10.如权利要求1所述的基于迁移学习的物体局部异常发热检测的方法,其特征在于,步骤e中的检测结果包括预测的异常发热区域位置坐标以及判定为异常发热的概率。
CN202010939419.9A 2020-09-09 2020-09-09 一种基于迁移学习的物体局部异常发热检测的方法 Pending CN112085096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939419.9A CN112085096A (zh) 2020-09-09 2020-09-09 一种基于迁移学习的物体局部异常发热检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939419.9A CN112085096A (zh) 2020-09-09 2020-09-09 一种基于迁移学习的物体局部异常发热检测的方法

Publications (1)

Publication Number Publication Date
CN112085096A true CN112085096A (zh) 2020-12-15

Family

ID=73733095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939419.9A Pending CN112085096A (zh) 2020-09-09 2020-09-09 一种基于迁移学习的物体局部异常发热检测的方法

Country Status (1)

Country Link
CN (1) CN112085096A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241199A (zh) * 2022-02-18 2022-03-25 浙江天铂云科光电股份有限公司 用于套管异常发热检测的套管部件定位方法
CN114611624A (zh) * 2022-03-22 2022-06-10 广东贤能数字科技有限公司 基于人工智能的商铺或营业厅业务活跃度评价系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
CN109961107A (zh) * 2019-04-18 2019-07-02 北京迈格威科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN110174174A (zh) * 2019-05-28 2019-08-27 广东电网有限责任公司 基于红外热和可见光成像的检测终端及其使用方法
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110705374A (zh) * 2019-09-11 2020-01-17 武汉敏捷数云信息技术有限公司 基于改进RetinaNet网络的输电线路缺陷识别方法
CN111414880A (zh) * 2020-03-26 2020-07-14 电子科技大学 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
CN109961107A (zh) * 2019-04-18 2019-07-02 北京迈格威科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN110174174A (zh) * 2019-05-28 2019-08-27 广东电网有限责任公司 基于红外热和可见光成像的检测终端及其使用方法
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110705374A (zh) * 2019-09-11 2020-01-17 武汉敏捷数云信息技术有限公司 基于改进RetinaNet网络的输电线路缺陷识别方法
CN111414880A (zh) * 2020-03-26 2020-07-14 电子科技大学 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TSUNG-YI LIN ET AL.: "Focal Loss for Dense Object Detection", 《ARXIV:1708.02002V2》 *
邓黄潇: "基于迁移学习与RetinaNet的口罩佩戴检测的方法", 《电子技术与软件工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241199A (zh) * 2022-02-18 2022-03-25 浙江天铂云科光电股份有限公司 用于套管异常发热检测的套管部件定位方法
CN114611624A (zh) * 2022-03-22 2022-06-10 广东贤能数字科技有限公司 基于人工智能的商铺或营业厅业务活跃度评价系统及方法

Similar Documents

Publication Publication Date Title
CN109447078B (zh) 一种自然场景图像敏感文字的检测识别方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
Lei et al. Intelligent fault detection of high voltage line based on the Faster R-CNN
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
Dong et al. Research and discussion on image recognition and classification algorithm based on deep learning
CN112541508A (zh) 果实分割识别方法及系统、果实采摘机器人
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN110969634B (zh) 基于生成对抗网络的红外图像电力设备分割方法
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN113436184B (zh) 基于改进孪生网络的电力设备图像缺陷判别方法及系统
CN112085096A (zh) 一种基于迁移学习的物体局部异常发热检测的方法
CN106778686A (zh) 一种基于深度学习和图论的拷贝视频检测方法和系统
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN111523586B (zh) 一种基于噪声可知的全网络监督目标检测方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN113076816A (zh) 基于红外与可见光图像的太阳能光伏组件热斑识别方法
Li et al. Fire flame image detection based on transfer learning
Wu et al. Research on insulator defect detection algorithm of transmission line based on CenterNet
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN116229112A (zh) 一种基于多重注意力的孪生网络目标跟踪方法
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215

RJ01 Rejection of invention patent application after publication