CN114724052A - 一种基于深度学习网络模型的电力图像天际线分割方法 - Google Patents

一种基于深度学习网络模型的电力图像天际线分割方法 Download PDF

Info

Publication number
CN114724052A
CN114724052A CN202210280922.7A CN202210280922A CN114724052A CN 114724052 A CN114724052 A CN 114724052A CN 202210280922 A CN202210280922 A CN 202210280922A CN 114724052 A CN114724052 A CN 114724052A
Authority
CN
China
Prior art keywords
image
training
segmentation
skyline
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280922.7A
Other languages
English (en)
Inventor
姜光
蒋勇
马泽楠
李学钧
戴相龙
王晓鹏
何成虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202210280922.7A priority Critical patent/CN114724052A/zh
Publication of CN114724052A publication Critical patent/CN114724052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习网络模型的电力图像天际线分割方法，包括以下步骤：(1)使用输电线路高清一体化监测装置和无人机图像采集设备，采集包含电力杆塔、输电导线、天空、地面场景的高清图片；(2)对采集的图片进行初步筛选处理，添加图片对应的标签，模拟不同环境进行数据增强处理，形成训练数据集、验证数据集和测试数据集；(3)利用改进的UNet算法进行训练，得到针对天际线的分割模型，输出原始图像中天际线的语义分割结果。本发明将深度学习技术、机器学习技术和图片处理技术相结合，在电力场景数据集天际线的分割中取得了较好的分割效果，同时保证分割结果的准确可靠性。

Description

一种基于深度学习网络模型的电力图像天际线分割方法
技术领域
本发明属于深度学习语义分割领域，具体涉及一种电力图像天际线分割方法，特别涉及一种基于深度学习网络模型的电力图像天际线分割方法。
背景技术
随着无人机行业和输电线路监测行业的快速发展，图像监测在电力巡检作业中的应用得到了广泛的关注。监测设备在巡检过程中会产生海量包含电力场景的图像数据，如果仅依靠人工判读则需要耗费大量的时间。此外，输电线路所处的自然环境复杂，现有的技术中，受到光照及天气影响的图像，不能有效识别出树木、河流、道路等严重威胁电网安全的复杂因素。这就要求采用一种高效的面对大规模复杂场景的自动化处理方案。
UNet最早发表在2015的MICCAI上，引用量目前已经达到了4070，足以见得其影响力。而后成为大多做医疗影像语义分割任务的Baseline，也启发了大量研究者去思考U型语义分割网络。在自然影像理解方面，越来越多的语义分割和目标检测SOTA模型开始关注和使用U型结构，比如语义分割Discriminative Feature Network(DFN)(CVPR2018)，目标检测Feature Pyramid Networks for Object Detection(FPN)(CVPR 2017)等。UNet是一个语义分割模型，其主要执行过程与其它语义分割模型类似，首先利用卷积进行下采样，然后提取出一层又一层的特征，利用这一层又一层的特征，其再进行上采样，最后得出一个每个像素点对应其种类的图像。
发明内容
针对以上现有技术中的不足，本发明提出了一种基于改进Unet网络模型的分割方法，融入了MobileNet作为Encoder的策略。
为了解决上述技术问题，本发明采用如下技术方案：一种基于深度学习网络模型的电力图像天际线分割方法，包括如下步骤：
(1)利用输电线路高清一体化监测装置和无人机图像采集设备，在电力巡检过程中获取原始图像；
(2)对原始图像进行预处理和增强处理，包括对原始图像筛选出满足天际线场景的图片，将整个天空区域作为标记对象；对原始图像添加雾天掩膜；对原始图像像素每四行用黑色像素替换，使用Lambda增强器；对原始图像进行锐化增强处理；将原始图像中的某个像素随机转换为黑色像素，使用丢弃增强；将高斯噪声添加到原始图像中；图片缩放到2720*1792，并制作成训练集、验证集和测试集，用于后续的训练和测试；
(3)利用改进的UNet算法对步骤(2)中制作好的训练集进行训练，模型收敛后，得到针对电力图像天际线的分割模型；
(4)将步骤(2)得到的测试集数据送入训练好的深度学习网络模型，得到图片的分割结果，结果包括天空区域和非天空区域。
进一步的，步骤(1)利用输电线路高清一体化检测装置的定时图像推送、主动图像抓拍获取原始图像；利用无人机在电力巡检过程中主动抓拍原始图像。
进一步的，步骤(2)中对原始图像进行预处理和增强处理具体为：对所有原始图像中筛选包含电力杆塔、输电导线、天空、地面场景的高清图像，利用Labelme软件对图像中的天空区域进行标注。对已标注的图像利用Opencv中的AddWeighted()函数增加雾天特效，生成新图像和标注图像。对已标注的图像分别进行每四行用黑色像素替换、随机丢弃部分像素、锐化增强、添加不同程度的高斯噪声操作，生成各自的新图像和标注图像。
进一步的，步骤(3)之前，需要利用Img.resize()函数将所有图像缩放为2720*1792大小，之后按照8:1:1比例制作成训练集、验证集和测试集。
进一步的，步骤(3)中改进的UNet具体包括：Unet是一个完全对称的网络结构，使用Skip Connection叠加操作，也就是编码器和解码器(Encoder-Decoder)。在Unet网络的Encoder框架中，使用MobileNet特征提取器，不仅可以减少模型的参数，还可以保证预测结果的准确性。
进一步的，所述步骤(3)中用模型进行训练具体包括：模型训练时，采用断点续训和动态调整学习率的训练策略，选择Tensorflow-2.3.0深度学习框架，模型训练参数设置为：Batch Size＝2，MaxEpoch＝90，Alpha＝0.9，Beta1＝0.9，Beta2＝0.999，Epsilon＝1e-7，Learning Rate＝0.01，随时监测acc值与loss值，并随时更新保存的权重文件。
进一步的，步骤(4)利用训练完成的模型进行分割具体包括：提取训练好的Unet网络模型，包括权重文件，索引文件以及分割使用的网络结构，然后根据这些参数初始化分割程序。载入图像，由于采集到的图像尺度较大，对图像缩放后进行运算。将目标图像作为输入，进行分割运算，获取图像像素的所属类别。
本发明的有益效果，本发明利用深度学习网络模型分割复杂电力场景下的天际线，提高了在电力巡检图像分割的准确率。
附图说明
图1为深度学习网络模型应用于电力图像天际线分割方法的流程图；
图2无人机航拍国家电网某输电线路图像；
图3输电线路高清一体化监测装置拍摄国家电网某输电线路图像；
图4数据集增强处理后的图像及标签结果图；
图5改进UNet网络模型结构图；
图6电力图像天际线分割深度学习网络训练-预测模型；
图7对国家电网某输电线路天际线分割预测结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，深度学习网络模型应用于电力图像天际线分割方法的流程图，基于深度学习网络模型的电力图像天际线分割方法包括如下步骤：
(1)在电力巡检过程中，针对国家电网某输电线路所处的自然环境环境中的树木、施工设备等经常会对输电安全造成一定的威胁。因此，采用固定在国家电网某输电线路上的高清一体化检测装置定时向后端平台推送、主动抓拍获取的原始图像，如图2所示；利用无人机在航拍巡检过程中主动抓拍的国家电网某输电线路的原始图像，如图3所示。
(2)原始图像进行预处理和增强处理具体为：首先，对所有原始图像中包含电力杆塔、输电导线、天空、地面场景的高清图像进行初步筛选，排除因设备原因造成的一些不能训练的图像数据。然后，利用Labelme语义分割标注软件对原始图像中的天空区域进行逐一标注。考虑到目前所监测的某输电线路所处的自然环境变化频繁，包含晴天、雨天、大雾、雾霾等天气环境。由于此线路经常受到大雾天气影响，因此还需对已标注的图像利用Opencv中的AddWeighted()函数模仿雾天环境，用以增加雾天环境的数据量，通过该方法生成一定数量的雾天图像和对应的标注图像。针对其他环境因素及设备本身像素质量等客观因素的影响，还需对原始图像分别进行黑色像素替换、随机丢弃部分像素、锐化增强、添加不同程度的高斯噪声操作等一系列数据增强手段，再生成一部分新图像和对应的标注图像，使网络达到较高的泛化能力和能在多场景进行精确预测能力。1张原始图像经图像增强后的结果及标注图像如图4所示。
由于检测设备采集到的图片较大(5472*3648)，对所有图像利用Img.resize()函数缩放为2720*1792大小以加速后续的运算，之后按照8:1:1比例制作成训练集(62084张)、验证集(7760张)和测试集(7760张)。
(3)改进后的Unet网络模型结构如图5所示，Unet是一个完全对称的网络结构，使用Skip Connection叠加操作，也就是编码器和解码器(Encoder-Decoder)。在Unet网络的Encoder框架中，使用MobileNet特征提取器，不仅可以减少模型的参数，还可以保证预测结果的准确性。将原始图片的高和宽依次进行五次压缩，对前四次压缩后的结果进行上采样后与Decoder网络进行Skip Connection叠加操作，最后利用卷积输出Filter为nclasses的图像。
基于深度学习网络模型的电力图像天际线分割模型训练过及预测过程如图6所示，选择步骤(2)中预处理后的7万张图像进行训练，采用断点续训和动态调整学习率的训练策略，选择Tensorflow-2.3.0深度学习框架，模型训练初始化参数设置为：Batch Size＝16，MaxEpoch＝1000，Alpha＝0.9，Beta1＝0.9，Beta2＝0.999，Epsilon＝1e-7，LearningRate＝0.1，随时监测Acc值与Loss值，并随时更新保存最优的权重文件直到达到最大迭代次数为止，此文件使后续运行预测程序时需要加载的参数文件。
(4)将步骤(2)得到的测试集数据送入训练好的模型，可以判断当前模型的泛化能力和准确率是否达到预期目标。
在进行预测时，预测程序需要载入之前训练好的最优的Unet网络模型文件，包括权重文件，索引文件以及分割网络使用的网络结构。将某输电线路需要进行预测的图像文件如图5、图6所示放入规定的文件目录后，运行预测程序，根据保存的这些参数初始化语义分割预测程序，进行分割运算，获取图像像素的所属类别，在原始图像上得到图片的分割结果，结果包括天空区域(图象中亮色渲染的部分)和非天空区域(不做任何处理的部分)，完成一次完整的预测过程，如图7所示。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。技术人员可以对本发明前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进等同替换，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于深度学习网络模型的电力图像天际线分割方法，其特征在于，所述分割方法包括以下步骤：
(1)利用输电线路高清一体化监测装置和无人机图像采集设备，在电力巡检过程中获取原始图像；
(2)对原始图像进行预处理和增强处理，包括对原始图像筛选出满足天际线场景的图片，将整个天空区域作为标记对象；对原始图像添加雾天掩膜；对原始图像像素每四行用黑色像素替换，使用Lambda增强器；对原始图像进行锐化增强处理；将原始图像中的某个像素随机转换为黑色像素，使用丢弃增强；将高斯噪声添加到原始图像中；图片缩放到2720*1792，并制作成训练集、验证集和测试集，用于后续的训练和测试；
(3)利用改进的UNet算法对步骤(2)中制作好的训练集进行训练，训练时使用Adam优化器，学习率设置为0.01，权值只保存当前训练结果的最优模型，到达最大迭代次数时结束训练程序，得到预测电力图像天际线的分割模型权值文件；
(4)将步骤(2)得到的测试集数据送入训练好的深度学习网络模型，得到图片的分割结果，结果包括天空区域和非天空区域。
2.根据权利要求1所述的基于深度学习网络模型的电力图像天际线分割方法，其特征在于：所述步骤(1)中获取原始图像具体为：
利用输电线路高清一体化检测装置的定时图像推送、主动图像抓拍获取原始图像；利用无人机在电力巡检过程中主动抓拍原始图像。
3.根据权利要求1所述的基于深度学习网络模型的电力图像天际线分割方法，其特征在于：所述步骤(2)中对原始图像进行预处理和增强处理具体为：
对原始图像进行预处理主要包含：利用输电线路高清一体化检测装置中采集到的所有原始图像建立原始数据图片库，预测结构因为需要满足对不同的场景下的预测精度，且训练数据集的丰富程度也对预测精度有一定影响，因此在原始数据库中所有数据筛选出包含电力杆塔、输电导线、天空、地面场景和以上场景处在不同时间、不同气象条件下的的高清图像共4500余张，后期会不断根据原始数据库的更新来迭代算法结果。对图像进行增强处理主要包含：首先，利用Labelme语义分割标注软件软件对图像数据中的天空区域进行标注，得到带有标签的label图像，此图像根据训练要求把像素值处理为类别序号，这里是天空的序号为1。然后，对于原始的彩色图像，利用Opencv中的AddWeighted()函数针对雾天、阴天和雾霾等复杂天气环境进行图像增强用来模拟现实中模糊不清的视觉现象，便可以生成新图像数据，同时复制出相同数量的标注图像；其中，利用图像增强技术对原始图像数据分别进行：黑色像素替换、随机丢弃部分像素、锐化增强、添加不同程度的高斯噪声等操作，生成各自的新图像和标注图像，以此达到增加数据量和丰富数据样本的作用。
在步骤(3)之前，需要利用Img.resize()函数将所有图像缩放为2720*1792大小，之后按照8:1:1比例制作成训练集、验证集和测试集。
4.根据权利要求1所述的基于深度学习网络模型的电力图像天际线分割方法，其特征在于：所述步骤(3)中改进的UNet具体包括：
Unet是一个完全对称的网络结构，使用Skip Connection叠加操作，也就是编码器和解码器(Encoder-Decoder)。在Unet网络的Encoder框架中，使用MobileNet特征提取器，不仅可以减少模型的参数，还可以保证预测结果的准确性。
5.根据权利要求1所述的基于深度学习网络模型的电力图像天际线分割方法，其特征在于：所述步骤(3)中用模型进行训练具体包括：
模型训练时，采用断点续训和动态调整学习率的训练策略，选择Tensorflow-2.3.0深度学习框架，模型训练参数设置为：Batch Size＝2，MaxEpoch＝90，Alpha＝0.9，Beta1＝0.9，Beta2＝0.999，Epsilon＝1e-7，Learning Rate＝0.01，随时监测acc值与loss值，并随时更新保存的权重文件。
6.根据权利要求1所述的基于深度学习网络模型的电力图像天际线分割方法，其特征在于：所述步骤(4)中用训练完成的模型进行分割具体包括：
首先，在训练时采用断点续训的方法进行训练，每一轮对准确率进行判断，满足准确率与损失函数都提升的条件时保存当前最优的模型权值文件，满足最大迭代次数时结束整个训练程序。然后，训练好的Unet网络模型训练文件会保存在同一个文件夹中，包括权重文件，索引文件以及分割使用的网络结构，此文件为预测时所需的权值索引文件。最后，可以将需要进行前向推理预测的原始图像所在文件夹的目录写入分割预测程序，可以进行原始尺寸的预测，预测时通过加载训练时保存的权值索引文件就可以对图像进行预测，预测结果以图片的形式保存在对应文件夹中，即可获得电力图像天际线的语义分割结果。
CN202210280922.7A 2022-03-22 2022-03-22 一种基于深度学习网络模型的电力图像天际线分割方法 Pending CN114724052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280922.7A CN114724052A (zh) 2022-03-22 2022-03-22 一种基于深度学习网络模型的电力图像天际线分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280922.7A CN114724052A (zh) 2022-03-22 2022-03-22 一种基于深度学习网络模型的电力图像天际线分割方法

Publications (1)

Publication Number Publication Date
CN114724052A true CN114724052A (zh) 2022-07-08

Family

ID=82240716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280922.7A Pending CN114724052A (zh) 2022-03-22 2022-03-22 一种基于深度学习网络模型的电力图像天际线分割方法

Country Status (1)

Country Link
CN (1) CN114724052A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690519A (zh) * 2022-11-30 2023-02-03 北京中环高科环境治理有限公司 一种黑碳遥测方法、装置及系统
CN116468730A (zh) * 2023-06-20 2023-07-21 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690519A (zh) * 2022-11-30 2023-02-03 北京中环高科环境治理有限公司 一种黑碳遥测方法、装置及系统
CN115690519B (zh) * 2022-11-30 2023-08-04 北京中环高科环境治理有限公司 一种黑碳遥测方法、装置及系统
CN116468730A (zh) * 2023-06-20 2023-07-21 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法
CN116468730B (zh) * 2023-06-20 2023-09-05 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法

Similar Documents

Publication Publication Date Title
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN114724052A (zh) 一种基于深度学习网络模型的电力图像天际线分割方法
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN111915525A (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN113158865A (zh) 一种基于EfficientDet的小麦麦穗检测方法
CN115311508A (zh) 一种基于深度u型网络的单帧图像红外弱小目标检测方法
CN113160078B (zh) 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN113554568A (zh) 一种基于自监督约束和不成对数据的无监督循环去雨网络方法
CN112785610A (zh) 一种融合低层特征的车道线语义分割方法
CN113034404A (zh) 一种基于多尺度对抗学习的交通图像去模糊方法及装置
CN112861987A (zh) 暗光环境下的目标检测方法
Wang et al. Uneven image dehazing by heterogeneous twin network
CN116523897A (zh) 一种基于互导学习的半监督浒苔检测方法及系统
CN106934344B (zh) 一种基于神经网络的快速行人检测方法
CN115661645A (zh) 一种基于改进Unet网络的输电线路覆冰厚度预测方法
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN114387187B (zh) 一种雨雪雾天实时可视增强嵌入式系统及可视增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination