CN114663724A - 一种风筝挂线图像的智能识别方法及系统 - Google Patents

一种风筝挂线图像的智能识别方法及系统 Download PDF

Info

Publication number
CN114663724A
CN114663724A CN202210277740.4A CN202210277740A CN114663724A CN 114663724 A CN114663724 A CN 114663724A CN 202210277740 A CN202210277740 A CN 202210277740A CN 114663724 A CN114663724 A CN 114663724A
Authority
CN
China
Prior art keywords
kite string
image
images
layer
intelligent identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210277740.4A
Other languages
English (en)
Inventor
陈晓建
顾嘉
陈健
毛艳芳
缪鹏彬
彭龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Original Assignee
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co filed Critical Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority to CN202210277740.4A priority Critical patent/CN114663724A/zh
Publication of CN114663724A publication Critical patent/CN114663724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种风筝挂线图像的智能识别方法，其特征在于，所述方法包括以下步骤：步骤1，对输电线路沿线进行图像采集，基于采集到的图像分别生成训练集、验证集和测试集；步骤2，基于训练集、验证集和测试集实现风筝挂线识别模型，并利用所述模型识别风筝挂线，当识别到所述图像中的风筝挂线时进行风筝挂线标注。本发明算法结果准确，经过验证发现能够有效检出输电线路沿线的风筝挂线。

Description

一种风筝挂线图像的智能识别方法及系统
技术领域
本发明涉及图像处理领域，更具体地，涉及一种风筝挂线图像的智能识别方法及系统。
背景技术
在电力系统中，当风筝挂线接触或缠绕至输电线路的电缆或杆塔上时，可能会造成输电线路的严重故障。然而，现有技术中，主要依靠无人机对输电线路的图片进行采集，并依靠电力运维人员通过人为识别的方式来寻找大幅图片中细微的风筝线。这种人工识别风筝线的方式对图片的处理效率极低，且准确度也很差，根本难以满足对无人机采集到的庞大图像信息中风筝线的有效识别。
目标检测，作为计算机视觉领域的基本任务之一，能够采用各类计算机算法从图像中快速的寻找到感兴趣的目标。现有技术中计算效率和准确程度较高的算法主要集中在深度神经网络领域中。采用深度神经网络，能够对于输电线路导线上的大多数异物进行合理有效的检测。然而，由于风筝线的体积和表面积均很小，尤其是基于无人机对于较大范围内的包含输电线路的天空图像进行检测时，风筝线所占空间更小，现有技术中所采用的端到端神经网络，如传统的YOLO算法等，均难以有效的学习风筝线的形态和纹理信息。因此，现有技术中的算法，对于风筝线的检出效率极低。
针对上述问题，亟需一种风筝挂线图像的智能识别方法和系统。
发明内容
为解决现有技术中存在的不足，本发明的目的在于，提供一种风筝挂线图像的智能识别方法和系统，通过改进深度学习算法中的BottleNeck网络和Head网络，并采用合理的训练集、验证集和测试集实现对于风筝线进行检出。
本发明采用如下的技术方案。
本发明第一方面，涉及一种风筝挂线图像的智能识别方法，其中，方法包括步骤1和步骤2。步骤1，对输电线路沿线进行图像采集，基于采集到的图像分别生成训练集、验证集和测试集；步骤2，基于训练集、验证集和测试集实现风筝挂线识别模型，并利用模型识别风筝挂线，当识别到图像中的风筝挂线时进行风筝挂线标注。
优选的，图像是基于无人机采集到的以JPEG格式存储的图像。
优选的，训练集、验证集和测试集中图像数量的比例为7：2：1或8：1：1。
优选的，训练集、验证集和测试集中的图像为经过预处理的图像；预处理步骤包括图像明暗度调整、图像质量修改、图像饱和度调整、图像的旋转和裁切。
优选的，风筝挂线识别模型的获取方式为：步骤2.1，基于训练集中的图像，构建初始模型；步骤2.2，采用验证集中的图像，对于初始模型进行训练，并获取改进模型及最优参数；步骤2.3，采用测试集中的图像，对改进模型进行测试，获取测试过程中的泛化误差。
优选的，初始模型采用深度学习算法构建；其中，深度学习算法中包括DarkNet53的骨干网络、BottleNeck网络、PANet的Neck网络、Head网络和损失函数。
优选的，BottleNeck网络中包括第一分支、第二分支、连接层和特征生成支路；其中，第一分支中依次包括核尺寸为1*1的二维卷积层、BN层、Hardswish激活函数层、核尺寸为3*3的二维卷积层；第二分支中包括核尺寸为1*1的二维卷积层；第一分支和第二分支均通过连接层接入特征生成支路；特征生成支路中依次包括BN层、LeakyReLu激活函数层和核尺寸为1*1的二维卷积层。
优选的，Head网络中包括检测头和分割头；其中，检测头对于PANet的特征金字塔网络中的每一层应用检测锚点，并基于检测锚点采用FPN由下至上实现检测预测；分割头对于DarkNet53的特征金字塔网络中的第一底层和第二底层应用检测锚点，并基于检测锚点采用FPN由上至下实现分割预测。
优选的，检测头对目标判断、目标分类和目标定位三个任务进行解耦。
本发明第二方面，涉及一种风筝挂线图像的智能识别系统，其中，系统采用如本发明第一方面中所述的一种风筝挂线图像的智能识别方法实现。
本发明的有益效果在于，与现有技术相比，本发明中的一种风筝挂线图像的智能识别方法和系统，能够通过改进深度学习算法中的BottleNeck网络和Head网络，并采用合理的训练集、验证集和测试集实现对于风筝线进行有效检出。本发明算法结果准确，经过验证发现能够有效检出输电线路沿线的风筝挂线。
本发明的有益效果还包括：
1、合理设置训练集、验证集和测试集中图像数量的比例关系，能够在采集得到的所有图像规模并不是很大的情况下，充分保证各个图像集的数量充足，并能够使得模型的建立足够准确。
2、对于分割头的实现方式进行改进，在DarkNet53网络中第一底层和第二底层上分别设置检测框，或称检测锚点，并采用FPN由上至下进行分割预测，这种方式允许分割头从骨干网络中提取出多尺度特征，从而增强模型的学习效果。
附图说明
图1为本发明一种风筝挂线图像的智能识别方法的步骤示意图；
图2为本发明一种风筝挂线图像的智能识别方法中改进的BottleNeck网络的示意图；
图3为本发明一种风筝挂线图像的智能识别方法中改进的Head网络的示意图。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
如图1所示，一种风筝挂线图像的智能识别方法，其中，方法包括以下步骤：
步骤1，对输电线路沿线进行图像采集，基于采集到的图像分别生成训练集、验证集和测试集。
本发明中，需要首先对输电线路沿线环境进行图像采集。可以采用现有技术中经常采用的方法，使用无人机来对图像进行采集。
优选的，图像是基于无人机采集到的以JPEG格式存储的图像。为了后续方便的对图像进行分析，并基于大量的图像分别生成训练集、验证集和测试集，需要将图片格式统一为JPEG格式并进行存储。
优选的，根据现有数据集数量，选取训练集、验证集和测试集中图像数量的比例为7：2：1或8:1:1，其中应保证训练集占数据集的多数，且保证验证集和测试机的图片总数据不少于1000张。
本发明中，在对于采集得到的原始图像进行预处理后，就可以将这些图像按照一定的规则分配至不同的图像集中。本发明一实施例中，可以采用随机分配的方式实现图像在各个图像集中的分配。另外一个实施例中，可以根据图像预处理过程中获取到的图像相关信息对于图像进行分配。
优选的，训练集、验证集和测试集中的图像为经过预处理的图像；预处理步骤包括图像明暗度调整、图像质量修改、图像饱和度调整、图像的旋转和裁切。
本发明中，所有采集获得的图像都首先要经过预处理的过程，该过程可以根据图像的实际情况进行调节。这些图像的调节方式也都可以采用现有技术中已经存在的方法或算法来实现。
步骤2，基于训练集、验证集和测试集实现风筝挂线识别模型，并利用模型识别风筝挂线，当识别到图像中的风筝挂线时进行风筝挂线标注。
待构建好三个图像集合后，就可以根据三个图像集合依次使用来实现模型的构建、优化以及验证了。
优选的，风筝挂线识别模型的获取方式为：步骤2.1，基于训练集中的图像，构建初始模型；步骤2.2，采用验证集中的图像，对于初始模型进行训练，并获取改进模型及最优参数；步骤2.3，采用测试集中的图像，对改进模型进行测试，获取测试过程中的泛化误差。
可以理解的是，本发明中的风筝挂线识别模型，可以基于训练集中的图像首先构建初始模型。在初始模型构建好后，通过验证集中的图像可以对于模型中的各种超参数进行修改，在修改后获得的参数则为最优参数。为了对于模型的检测效果进行明确，本发明还采用另外一部分图片来对改进模型进行测试，例如，计算测试中的泛化误差值。
优选的，初始模型采用深度学习算法构建；其中，深度学习算法中包括DarkNet53的骨干网络、BottleNeck网络、PANet的Neck网络、Head网络和损失函数。
本发明中所采用的初始模型与现有技术中所采用的深度学习算法类似，都包括骨干网络、BottleNeck网络、Neck网络、Head网络和损失函数。另外，本发明中的骨干网络可以采用DarkNet53来实现，而Neck网络则可以采用PANet来实现。
图2为本发明一种风筝挂线图像的智能识别方法中改进的BottleNeck网络的示意图。如图2所示，优选的，BottleNeck网络中包括第一分支、第二分支、连接层和特征生成支路；其中，第一分支中依次包括核尺寸为1*1的二维卷积层、BN层、Hardswish激活函数层、核尺寸为3*3的二维卷积层；第二分支中包括核尺寸为1*1的二维卷积层；第一分支和第二分支均通过连接层接入特征生成支路；特征生成支路中依次包括BN层、LeakyReLu激活函数层和核尺寸为1*1的二维卷积层。
采用本发明中的BottleNeck网络可以对于现有技术中的BottleNeck网络进行改进，这种方式提升了对于风筝线特征的提取能力。由于主干网络的卷积层中生成大量的参数，这导致识别模型中包含的参数数量非常多，因此，本发明通过改进，获取了更优的BottleNeck网络。该网络采集骨干网络的卷积层中去除导线、杆塔、建筑物边缘等特征的信息后，直接将特征信息输入至连接层，这种方式极大程度上减少了参数的数量，并提高了风筝线特征的提取能力。
图3为本发明一种风筝挂线图像的智能识别方法中改进的Head网络的示意图。如图3所示，优选的，Head网络中包括检测头和分割头；其中，检测头对于PANet的特征金字塔网络中的每一层应用检测锚点，并基于检测锚点采用FPN由下至上实现检测预测；分割头对于DarkNet53的特征金字塔网络中的第一底层和第二底层应用检测锚点，并基于检测锚点采用FPN由上至下实现分割预测。
通过提取多尺度特征进行，将FPN中上层的语义特征和底层的几何特征相融合，增强模型学习效果。
本发明的方法中，为了获得对于目标的检测，对Neck中的多层特征金字塔使用检测锚点，并在Head网络中采用三层的FPN(Featured Pyramid Network特征金字塔网络)方法由下至上的对于检测锚点检测的特征进行预测。
另外，本发明中的分割和检测由两部分组成。对于分割头来说，本发明直接采用骨干网络中的DarkNet53的最下方的两层，在这两层上使用检测锚点，并基于二层的FPN实现由上至下的分割预测。
优选的，检测头对目标判断、目标分类和目标定位三个任务进行解耦。
现有技术中，常用的解耦方法只是对分类和定位进行解耦，而本发明中，还包括目标判断的过程。目标判断这一任务主要是通过对图像中的前景信息和后景信息进行区分，如果当前信息属于前景，则属于需要检测的目标，而如果当前信息属于后景，则该信息就部署于需要检测的目标。
本发明第二方面，涉及一种风筝挂线图像的智能识别系统，其中，系统采用如本发明第一方面中所述的一种风筝挂线图像的智能识别方法实现。
本发明的有益效果在于，与现有技术相比，本发明中的一种风筝挂线图像的智能识别方法和系统，能够通过改进深度学习算法中的BottleNeck网络和Head网络，并采用合理的训练集、验证集和测试集实现对于风筝线进行有效检出。本发明算法结果准确，经过验证发现能够有效检出输电线路沿线的风筝挂线。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种风筝挂线图像的智能识别方法，其特征在于，所述方法包括以下步骤：
步骤1，对输电线路沿线进行图像采集，基于采集到的图像分别生成训练集、验证集和测试集；
步骤2，基于训练集、验证集和测试集实现风筝挂线识别模型，并利用所述模型识别风筝挂线，当识别到所述图像中的风筝挂线时进行风筝挂线标注。
2.根据权利要求1中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述图像是基于无人机采集到的以JPEG格式存储的图像。
3.根据权利要求2中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述训练集、验证集和测试集中图像数量的比例为7：2：1或8：1：1。
4.根据权利要求3中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述训练集、验证集和测试集中的图像为经过预处理的图像；
所述预处理步骤包括图像明暗度调整、图像质量修改、图像饱和度调整、图像的旋转和裁切。
5.根据权利要求4中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述风筝挂线识别模型的获取方式为：
步骤2.1，基于所述训练集中的图像，构建初始模型；
步骤2.2，采用所述验证集中的图像，对于所述初始模型进行训练，并获取改进模型及最优参数；
步骤2.3，采用所述测试集中的图像，对所述改进模型进行测试，获取测试过程中的泛化误差。
6.根据权利要求5中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述初始模型采用深度学习算法构建；
其中，所述深度学习算法中包括DarkNet53的骨干网络、BottleNeck网络、PANet的Neck网络、Head网络和损失函数。
7.根据权利要求6中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述BottleNeck网络中包括第一分支、第二分支、连接层和特征生成支路；其中，
第一分支中依次包括核尺寸为1*1的二维卷积层、BN层、Hardswish激活函数层、核尺寸为3*3的二维卷积层；
第二分支中包括核尺寸为1*1的二维卷积层；
所述第一分支和所述第二分支均通过连接层接入特征生成支路；
所述特征生成支路中依次包括BN层、LeakyReLu激活函数层和核尺寸为1*1的二维卷积层。
8.根据权利要求7中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述Head网络中包括检测头和分割头；其中，
所述检测头对于PANet的特征金字塔网络中的每一层应用检测锚点，并基于所述检测锚点采用FPN由下至上实现检测预测；
所述分割头对于DarkNet53的特征金字塔网络中的第一底层和第二底层应用检测锚点，并基于所述检测锚点采用FPN由上至下实现分割预测。
9.根据权利要求8中所述的一种风筝挂线图像的智能识别方法，其特征在于：
所述检测头对目标判断、目标分类和目标定位三个任务进行解耦。
10.一种风筝挂线图像的智能识别系统，其特征在于：
所述系统采用如权利要求1-9任意一项中所述的一种风筝挂线图像的智能识别方法实现。
CN202210277740.4A 2022-03-21 2022-03-21 一种风筝挂线图像的智能识别方法及系统 Pending CN114663724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210277740.4A CN114663724A (zh) 2022-03-21 2022-03-21 一种风筝挂线图像的智能识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210277740.4A CN114663724A (zh) 2022-03-21 2022-03-21 一种风筝挂线图像的智能识别方法及系统

Publications (1)

Publication Number Publication Date
CN114663724A true CN114663724A (zh) 2022-06-24

Family

ID=82031743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210277740.4A Pending CN114663724A (zh) 2022-03-21 2022-03-21 一种风筝挂线图像的智能识别方法及系统

Country Status (1)

Country Link
CN (1) CN114663724A (zh)

Similar Documents

Publication Publication Date Title
CN109345547B (zh) 基于深度学习多任务网络的交通车道线检测方法及装置
CN108009591B (zh) 一种基于深度学习的接触网关键部件识别方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN109977921B (zh) 一种输电线路隐患检测方法
CN112199993A (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN111832398B (zh) 一种无人机影像的配电线路杆塔导地线断股图像检测方法
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN111862013A (zh) 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN113627299B (zh) 一种基于深度学习的导线漂浮物智能识别方法及装置
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN113297915A (zh) 一种基于无人机巡检的绝缘子识别目标检测方法
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
Wang et al. Railway insulator detection based on adaptive cascaded convolutional neural network
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN112669302B (zh) 吊弦缺陷检测方法、装置、电子设备及存储介质
Bai et al. Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (match 2018)
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
CN111830051A (zh) 一种基于深度学习的变电站设备漏油检测方法及检测系统
CN114663724A (zh) 一种风筝挂线图像的智能识别方法及系统
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination