CN111914813A - 基于图像分类的输电线路巡检图像命名方法及系统 - Google Patents

基于图像分类的输电线路巡检图像命名方法及系统 Download PDF

Info

Publication number
CN111914813A
CN111914813A CN202010896229.3A CN202010896229A CN111914813A CN 111914813 A CN111914813 A CN 111914813A CN 202010896229 A CN202010896229 A CN 202010896229A CN 111914813 A CN111914813 A CN 111914813A
Authority
CN
China
Prior art keywords
tower
image
inspection image
inspection
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010896229.3A
Other languages
English (en)
Other versions
CN111914813B (zh
Inventor
吴晟
唐远富
甘湘砚
徐晓晖
肖剑
徐先勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd
State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd
State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd, State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010896229.3A priority Critical patent/CN111914813B/zh
Publication of CN111914813A publication Critical patent/CN111914813A/zh
Application granted granted Critical
Publication of CN111914813B publication Critical patent/CN111914813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像分类的输电线路巡检图像命名方法及系统,本发明以拍摄内容为标签,采用图像分类模型对待处理的无人机巡检图像进行识别,获得图像所拍摄的内容;根据地理位置匹配出目标杆塔并读取相关信息;计算目标杆塔与相邻两基杆塔拟合成的直线的方向向量
Figure DDA0002658538920000011
对于同一目标杆塔下的巡检图像,读取指定拍摄内容的图像的经、纬度坐标,以方向向量
Figure DDA0002658538920000012
为基准依次区分所拍摄内容的相序和大/小号侧方位;根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位对巡检图像进行命名。本发明投资小、成本低、灵活性高,可实现无人机巡检图像的自动命名,有助于降低作业人员劳动强度,并提高输电线路巡检效率和自动化、智能化水平。

Description

基于图像分类的输电线路巡检图像命名方法及系统
技术领域
本发明涉及数字图像识别技术领域,具体涉及一种基于图像分类的输电线路巡检图像命名方法及系统。
背景技术
当前,大部分的220kV及以上电压等级输电线路已经采用了无人机巡检方式,无人机巡检具有操控便捷、观测灵活、画质清晰、不受地形限制等优点,无人机的应用大大提升了巡检作业的效率,但同时也带来了新的问题。无人机巡检作业产生了大量的图像数据,并以指数级的速度不断增加。按照相关管理规定,巡线人员需要花费大量的时间和精力对巡检图像进行手动命名,这种作业模式强度大、效率低,制约了巡检效率的进一步提升。随着无人机巡检业务范围的不断扩大,人员配置与业务发展需求之间的矛盾日益突出,迫切需要一种更为高效和智能的方法取代人工手段,实现无人机巡检图像的自动命名。
无人机自主巡检技术是解决该问题的最有效途径,可事先指定无人机的拍摄点位和巡检图像名称。但是无人机自主巡检基于3D点云建模,需要对所有杆塔、线路进行激光扫描,然后生成模型并规划航线,投资大、成本高,短期内难以大范围推广实施。因此,需要设计新的方法来解决无人机巡检图像的自动命名问题。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于图像分类的输电线路巡检图像命名方法及系统,本发明投资小、成本低、灵活性高,可自动实现无人机巡检图像的识别和处理,有助于降低作业人员劳动强度、提高输电线路巡检的效率和自动化、智能化水平。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于图像分类的输电线路巡检图像命名方法,包括:
1)输入待处理的巡检图像;
2)以拍摄内容为标签,采用图像分类模型识别出巡检图像所拍摄的内容;根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔,并读取指定的目标杆塔相关信息;
3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔,根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线,得到从编号较小的杆塔指向编号较大的杆塔的方向向量
Figure BDA0002658538900000021
4)对于同一目标杆塔下的巡检图像,分别读取指定拍摄内容的图像的经、纬度坐标,然后以方向向量
Figure BDA0002658538900000022
为基准,通过坐标比对的方法依次区分所拍摄内容的相序和大/小号侧方位;
5)根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位等对巡检图像进行命名。
可选地,步骤2)中图像分类模型可识别的拍摄内容包括塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十个类别;步骤4)中指定的拍摄内容包括绝缘子串、横担端挂点、导线端挂点、地线挂点、通道等五个需要区分相序或大/小号侧方位的类别。
可选地,步骤2)中的图像分类模型为ResNet-50分类模型,所述ResNet-50分类模型由五个多block卷积层和一个全连接层组成,5个多block卷积层用于对输入的巡检图像进行处理得到32倍下采样的特征图,全连接层和后续的sigmoid函数用于将32倍下采样的特征图转换为长度为n的一维类别概率张量,选择概率值最大的类别作为ResNet-50分类模型对巡检图像的预测类别,其中n为ResNet-50分类模型可识别的拍摄内容的类别数量。
可选地,步骤2)之前还包括训练ResNet-50分类模型的步骤:分别以拍摄内容为标签建立包含n个类别的训练样本;在每一轮迭代训练时,训练样本中的图像经5个多block卷积层处理得到32倍下采样的特征图,然后由全连接层分类为n个类别中某个具体的类,以交叉熵函数构建分类损失,以随机梯度下降法更新网络参数;经过多轮迭代直至训练样本的总体损失小于设定阈值后结束对ResNet-50分类模型的训练。
可选地,步骤2)中根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔的步骤包括:读取巡检图像的经、纬度坐标,将巡检图像的经、纬度坐标和杆塔数据库中线路杆塔的经、纬度坐标数据进行比较,将找到的距离最近的杆塔作为目标杆塔。
可选地,步骤3)中根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线时,采用的拟合方法为最小二乘法。
可选地,步骤4)中对于同一目标杆塔下的巡检图像的处理步骤包括:
4.1)检查读取的目标杆塔信息中的杆塔类型,如果杆塔类型为直线塔,则跳转执行步骤4.2);如果杆塔类型为耐张塔,则跳转执行步骤4.3);如果杆塔类型为同塔双回,则跳转执行步骤4.4);
4.2)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure BDA0002658538900000023
作直线l1;判定坐标点位于直线l1左侧指定范围δ以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ以内的巡检图像所拍摄内容的相序为中相;针对拍摄内容为通道的巡检图像执行下述处理:读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000031
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000032
负方向的通道为小号侧;结束;
4.3)针对拍摄内容绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure BDA0002658538900000033
作直线l1;判定坐标点位于直线l1左侧指定范围δ1以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ1以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ1以内的巡检图像所拍摄内容的相序为中相;过平均坐标中心沿方向向量
Figure BDA0002658538900000038
的法线方向作直线l2;判定坐标点位于l2左侧指定范围δ2以外为小号侧,坐标点位于l2右侧指定范围δ2以外为大号侧,坐标点位于l2指定范围±δ2以内为跳线相关部件;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000034
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000035
负方向的通道为小号侧;结束;
4.4)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点三个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的高度坐标,最上方的点为上相,中间的点为中相,最下方的点为下相;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000036
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000037
负方向的通道为小号侧;结束。
可选地,步骤5)具体是指按照“电压等级+线路名称+杆塔号+相序+(大/小号侧方位)+拍摄内容”的命名规则,对前面获得的信息进行组合以完成巡检图像的命名。
此外,本发明还提供一种基于图像分类的输电线路巡检图像命名系统,包括计算机设备,该计算机设备至少包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行所述基于图像分类的输电线路巡检图像命名方法的步骤,或者该存储器中存储有被编程或配置以执行所述基于图像分类的输电线路巡检图像命名方法的计算机程序。
此外,本发明还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行所述基于图像分类的输电线路巡检图像命名方法的计算机程序。
和现有基于无人机自主巡检的事先命名方法相比,本发明提供了一种事后命名方法:一方面,针对待处理的巡检图像,采用图像分类模型识别出拍摄内容;根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔,并读取目标杆塔的相关信息;另一方面,在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔,根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线,得到从编号较小的杆塔指向编号较大的杆塔的方向向量
Figure BDA0002658538900000041
对于同一目标杆塔下的巡检图像,分别读取指定类别的巡检图像的经、纬度坐标,然后以方向向量
Figure BDA0002658538900000042
为基准,通过坐标比对的方法依次区分指定类别的巡检图像所拍摄内容的相序和大/小号侧方位。本发明通过上述两个方面的手段,对待处理巡检图像的拍摄内容、相序、大/小号侧方位以及对应杆塔的信息等进行辨识,获取到命名所需的全部信息。本发明投资小、成本低、灵活性高,可实现无人机巡检图像的自动命名,有助于降低作业人员劳动强度,并提高输电线路巡检效率和自动化、智能化水平。
附图说明
图1为本发明实施例方法的基本流程示意图。
具体实施方式
如图1所示,本实施例基于图像分类的输电线路巡检图像命名方法包括:
1)输入待处理的巡检图像;
2)以拍摄内容为标签,采用图像分类模型识别出巡检图像所拍摄的内容;根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔,并读取指定的目标杆塔相关信息;
3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔,根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线,得到从编号较小的杆塔指向编号较大的杆塔的方向向量
Figure BDA0002658538900000043
4)对于同一目标杆塔下的巡检图像,分别读取指定拍摄内容的图像的经、纬度坐标,然后以方向向量
Figure BDA0002658538900000044
为基准,通过坐标比对的方法依次区分所拍摄内容的相序和大/小号侧方位;
5)根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位等对巡检图像进行命名。
需要说明的是,国网设备部于2020年2月发布了《无人机巡检影像智能识别水平提升工作手册》,对输电线路无人机巡检作业的各个环节作出详细说明,特别规定了11种典型杆塔类型的拍摄内容、拍摄顺序以及拍摄要求。根据该规定,所有杆塔的拍摄内容可细分为塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十类。因此,本实施例采用一个十分类的图像分类模型对巡检图像的拍摄内容进行识别,步骤2)中的图像分类模型可识别的拍摄内容包括塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十个类别;步骤4)中指定的拍摄内容包括绝缘子串、横担端挂点、导线端挂点、地线挂点、通道等五个需要区分相序和大/小号侧方位的类别。毫无疑问,上述类别仅仅是本实施例中的一种实现方式,此外也可以根据需要或选择其中的部分类别或扩展额外的类别,其原理与本实施例相同,故在此不再赘述。
本实施例中,步骤2)中的图像分类模型为ResNet-50分类模型,ResNet-50分类模型由五个多block卷积层和一个全连接层组成,5个多block卷积层用于对输入的巡检图像进行处理得到32倍下采样的特征图,全连接层和后续的sigmoid函数用于将32倍下采样的特征图转换为长度为n的一维类别概率张量,选择概率值最大的类别作为ResNet-50分类模型对巡检图像的预测类别,其中n为ResNet-50分类模型可识别的拍摄内容的类别数量(本实施例中n=10)。ResNet-50分类模型的主体部分为一个50层的ResNet网络。ResNet网络是一种残差连接网络,由一系列的残差块组成,由于其成功解决了深层网络退化导致难以训练的问题,自提出以来就受到了广泛赞誉。当前以ResNet及其改进版为特征提取网络的算法模型在图像分类、目标检测、实例分割等多个计算机视觉领域均取得了最好的效果。ResNet网络分为18层、34层、50层、101层、152层等多个版本,其中50层的网络大小比较适中,特征提取能力较101层、152层网络相当,因此本实施例采用ResNet-50网络对巡检图像进行分类。
本实施例中,步骤2)之前还包括训练ResNet-50分类模型的步骤:分别以拍摄内容为标签建立包含n个类别的训练样本;在每一轮迭代训练时,训练样本中的图像经5个多block卷积层处理得到32倍下采样的特征图,然后由全连接层分类为n个类别中某个具体的类,以交叉熵函数构建分类损失,以随机梯度下降法更新网络参数;经过多轮迭代直至训练样本的总体损失小于设定阈值后结束对ResNet-50分类模型的训练。
本实施例中,步骤2)中根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔的步骤包括:读取巡检图像的经、纬度坐标,将巡检图像的经、纬度坐标和杆塔数据库中线路杆塔的经、纬度坐标数据进行比较,将找到的距离最近的杆塔作为目标杆塔。本实施例中,此处的距离是指欧氏距离,欧氏距离为一种公知的距离计算方法,故其具体的计算表达式在此不再详述。
需要说明的是,杆塔数据库是指存储有各个杆塔信息的信息库,其具体可以有不同的实现方式和形式,例如本实施例中的杆塔数据库是指PMS系统,根据巡检图像的地理位置在PMS系统中匹配出目标杆塔后,可从PMS系统中读出目标杆塔的相关信息,包括杆塔所在线路电压等级、线路名称、杆塔号、杆塔类型等。
作为一种可选的实施方式,本实施例中骤3)中根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线时,采用的拟合方法为最小二乘法。此外也可以根据需要采用其他的方式来得到三基杆塔之间的拟合直线。
本实施例步骤4)中对于同一目标杆塔下的巡检图像的处理步骤包括:
4.1)检查读取的目标杆塔信息中的杆塔类型,如果杆塔类型为直线塔,则跳转执行步骤4.2);如果杆塔类型为耐张塔,则跳转执行步骤4.3);如果杆塔类型为同塔双回,则跳转执行步骤4.4);
4.2)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure BDA0002658538900000061
作直线l1;判定坐标点位于直线l1左侧指定范围δ以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ以内的巡检图像所拍摄内容的相序为中相;针对拍摄内容为通道的巡检图像执行下述处理:读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000062
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000063
负方向的通道为小号侧;结束;
4.3)针对拍摄内容绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure BDA0002658538900000064
作直线l1;判定坐标点位于直线l1左侧指定范围δ1以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ1以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ1以内的巡检图像所拍摄内容的相序为中相;过平均坐标中心沿方向向量
Figure BDA0002658538900000065
的法线方向作直线l2;判定坐标点位于l2左侧指定范围δ2以外为小号侧,坐标点位于l2右侧指定范围δ2以外为大号侧,坐标点位于l2指定范围±δ2以内为跳线相关部件;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000066
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000067
负方向的通道为小号侧;结束;
4.4)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点三个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的高度坐标,最上方的点为上相,中间的点为中相,最下方的点为下相;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure BDA0002658538900000069
正方向的通道为大号侧,位于方向向量
Figure BDA0002658538900000068
负方向的通道为小号侧;结束。。
需要说明的是,指定范围δ、指定范围δ1、指定范围δ2的设置可以根据需要进行人为设定。作为一种进一步优选的实施方式,指定范围δ、指定范围δ1、指定范围δ2的设置还可以通过传统机器学习中的网格搜索方法得到。
本实施例中,步骤5)具体是指按照“电压等级+线路名称+杆塔号+相序+(大/小号侧方位)+拍摄内容”的命名规则,对前面获得的信息进行组合以完成巡检图像的命名。“前面获得的信息”包括巡检图像及对应杆塔的相关信息。其中巡检图像信息为:巡检图像原始路径、拍摄日期、拍摄时间、经度坐标、纬度坐标、高度坐标、拍摄内容、相序、大/号侧;对应杆塔信息为:杆塔号、所在线路电压等级、线路名称、经度坐标、纬度坐标、方向向量
Figure BDA0002658538900000071
本实施例中,这些信息均存储于MySQL数据库中,此外也可以根据需要采用其他的存储方式。
综上所述,针对当前还缺乏一种高效、易于实现的方法对输电线路无人机巡检作业产生的海量图像数据进行处理的现状,本实施例基于图像分类的输电线路巡检图像命名方法提供了一种新的可行途径。有别于事先命名的无人机自主巡检方法,本实施例以拍摄内容为标签,采用智能图像分类模型对无人机巡检图像进行识别,获得巡检图像所拍摄的内容;读取巡检图像经、纬度坐标,与PMS系统的线路杆塔坐标数据进行匹配计算,定位到具体的某一基杆塔,得到其电压等级、线路名称、杆塔号、杆塔类型等信息;从PMS系统中获取该基杆塔及同线路相邻两基杆塔的坐标数据,计算三个点拟合的直线的方向向量
Figure BDA0002658538900000072
(从上游杆塔往下游杆塔);对于同一杆塔下的巡检图像,分别读取绝缘子、横担端挂点、导线端挂点、地线挂点、通道等五个类别的图像的经、纬度坐标,然后以
Figure BDA0002658538900000073
为基准,通过坐标比对的方法依次区分五个类别的左、中、右(或上、中、下)三相和大/小号侧方位;按照“电压等级+线路名称+杆塔号+相序+(大/小号侧)+拍摄内容”的命名规则,对前面获得的信息进行组合以完成巡检图像的命名。本实施例基于图像分类的输电线路巡检图像命名方法可完整获取输电线路巡检图像处理所需的全部信息,从而实现巡检图像的自动处理,具有投资小、见效快、灵活性高等优点,有助于降低作业人员在图像处理方面的重复工作,提升作业效率,尤其适用于输电线路无人机巡检作业产生的海量图像数据。本实施例基于图像分类的输电线路巡检图像命名方法为一种事后命名方法,与基于无人机自主巡检的事先命名方法相比,具有投资小、见效快、灵活性高的优点,可避免线路扫描、三维建模、航线规划、现场验证等一些列繁杂的前期工作,同时对于临时新增的重复拍摄图像,本实施例基于图像分类的输电线路巡检图像命名方法也能够很好兼容。
此外,本实施例还提供一种基于图像分类的输电线路巡检图像命名系统,包括计算机设备,该计算机设备至少包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行前述基于图像分类的输电线路巡检图像命名方法的步骤,或者该存储器中存储有被编程或配置以执行前述基于图像分类的输电线路巡检图像命名方法的计算机程序。
此外,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行前述基于图像分类的输电线路巡检图像命名方法的计算机程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于图像分类的输电线路巡检图像命名方法,其特征在于,包括:
1)输入待处理的巡检图像;
2)以拍摄内容为标签,采用图像分类模型识别出巡检图像所拍摄的内容;根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔,并读取指定的目标杆塔相关信息;
3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔,根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线,得到从编号较小的杆塔指向编号较大的杆塔的方向向量
Figure FDA0002658538890000011
4)对于同一目标杆塔下的巡检图像,分别读取指定拍摄内容的图像的经、纬度坐标,然后以方向向量
Figure FDA0002658538890000012
为基准,通过坐标比对的方法依次区分所拍摄内容的相序和大/小号侧方位;
5)根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位对巡检图像进行命名。
2.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤2)中图像分类模型可识别的拍摄内容包括塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十个类别;步骤4)中指定的拍摄内容包括绝缘子串、横担端挂点、导线端挂点、地线挂点、通道等五个需要区分相序或大/小号侧方位的类别。
3.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤2)中的图像分类模型为ResNet-50分类模型,所述ResNet-50分类模型由五个多block卷积层和一个全连接层组成,5个多block卷积层用于对输入的巡检图像进行处理得到32倍下采样的特征图,全连接层和后续的sigmoid函数用于将32倍下采样的特征图转换为长度为n的一维类别概率张量,选择概率值最大的类别作为ResNet-50分类模型对巡检图像的预测类别,其中n为ResNet-50分类模型可识别的拍摄内容的类别数量。
4.根据权利要求3所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤2)之前还包括训练ResNet-50分类模型的步骤:分别以拍摄内容为标签建立包含n个类别的训练样本;在每一轮迭代训练时,训练样本中的图像经5个多block卷积层处理得到32倍下采样的特征图,然后由全连接层分类为n个类别中某个具体的类,以交叉熵函数构建分类损失,以随机梯度下降法更新网络参数;经过多轮迭代直至训练样本的总体损失小于设定阈值后结束对ResNet-50分类模型的训练。
5.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤2)中根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔的步骤包括:读取巡检图像的经、纬度坐标,将巡检图像的经、纬度坐标和杆塔数据库中线路杆塔的经、纬度坐标数据进行比较,将找到的距离最近的杆塔作为目标杆塔。
6.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤3)中根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线时,采用的拟合方法为最小二乘法。
7.根据权利要求2所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤4)中对于同一目标杆塔下的巡检图像的处理步骤包括:
4.1)检查读取的目标杆塔信息中的杆塔类型,如果杆塔类型为直线塔,则跳转执行步骤4.2);如果杆塔类型为耐张塔,则跳转执行步骤4.3);如果杆塔类型为同塔双回,则跳转执行步骤4.4);
4.2)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为某个类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure FDA0002658538890000021
作直线l1;判定坐标点位于直线l1左侧指定范围δ以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ以内的巡检图像所拍摄内容的相序为中相;针对拍摄内容为通道的巡检图像执行下述处理:读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure FDA0002658538890000022
正方向的通道为大号侧,位于方向向量
Figure FDA0002658538890000023
负方向的通道为小号侧;结束;
4.3)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标,并计算平均坐标中心;过平均坐标中心沿方向向量
Figure FDA0002658538890000024
作直线l1;判定坐标点位于直线l1左侧指定范围δ1以外的巡检图像所拍摄内容的相序为左相,坐标点位于直线l1右侧指定范围δ1以外的巡检图像所拍摄内容的相序为右相,坐标点位于直线l1指定范围±δ1以内的巡检图像所拍摄内容的相序为中相;过平均坐标中心沿方向向量
Figure FDA0002658538890000025
的法线方向作直线l2;判定坐标点位于l2左侧指定范围δ2以外为小号侧,坐标点位于l2右侧指定范围δ2以外为大号侧,坐标点位于l2指定范围±δ2以内为跳线相关部件;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure FDA0002658538890000026
正方向的通道为大号侧,位于方向向量
Figure FDA0002658538890000027
负方向的通道为小号测小侧;结束;
4.4)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点三个类别的巡检图像,分别执行下述处理:读取目标杆塔下所有被分类为同一类别的图像的高度坐标,最上方的点为上相,中间的点为中相,最下方的点为下相;读取目标杆塔下被分类为通道的图像的经、纬度坐标,判定位于方向向量
Figure FDA0002658538890000031
正方向的通道为大号侧,位于方向向量
Figure FDA0002658538890000032
负方向的通道为小号侧;结束。
8.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法,其特征在于,步骤5)具体是指按照“电压等级+线路名称+杆塔号+相序+(大/小号侧方位)+拍摄内容”的命名规则,对前面获得的信息进行组合以完成巡检图像的命名。
9.一种基于图像分类的输电线路巡检图像命名系统,包括计算机设备,该计算机设备至少包括相互连接的微处理器和存储器,其特征在于,该微处理器被编程或配置以执行权利要求1~8中任意一项所述基于图像分类的输电线路巡检图像命名方法的步骤,或者该存储器中存储有被编程或配置以执行权利要求1~8中任意一项所述基于图像分类的输电线路巡检图像命名方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述基于图像分类的输电线路巡检图像命名方法的计算机程序。
CN202010896229.3A 2020-08-31 2020-08-31 基于图像分类的输电线路巡检图像命名方法及系统 Active CN111914813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010896229.3A CN111914813B (zh) 2020-08-31 2020-08-31 基于图像分类的输电线路巡检图像命名方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896229.3A CN111914813B (zh) 2020-08-31 2020-08-31 基于图像分类的输电线路巡检图像命名方法及系统

Publications (2)

Publication Number Publication Date
CN111914813A true CN111914813A (zh) 2020-11-10
CN111914813B CN111914813B (zh) 2023-08-08

Family

ID=73267364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896229.3A Active CN111914813B (zh) 2020-08-31 2020-08-31 基于图像分类的输电线路巡检图像命名方法及系统

Country Status (1)

Country Link
CN (1) CN111914813B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414409A (zh) * 2020-11-16 2021-02-26 天津航天中为数据系统科技有限公司 一种基于串结构的自主巡检路径规划方法及飞行器
CN112883219A (zh) * 2021-01-12 2021-06-01 吴发献 一种基于空间位置的无人机巡检照片命名方法
CN113076864A (zh) * 2021-03-31 2021-07-06 国网江苏省电力有限公司徐州供电分公司 输电杆塔巡检图像的处理方法和装置
CN113110577A (zh) * 2021-04-15 2021-07-13 中国南方电网有限责任公司超高压输电公司柳州局 电网巡检无人机飞行路线规划管理系统
CN113239764A (zh) * 2021-04-29 2021-08-10 国网江苏省电力有限公司苏州供电分公司 输电线路无人机巡检图像预处理方法
CN113485424A (zh) * 2021-07-19 2021-10-08 武汉中测晟图遥感技术有限公司 一种杆塔巡检航线设计方法
CN113762132A (zh) * 2021-09-01 2021-12-07 国网浙江省电力有限公司金华供电公司 一种无人机巡检图像自动归类与自动命名系统
CN114461831A (zh) * 2022-04-13 2022-05-10 广东电网有限责任公司佛山供电局 输电线路巡检图像自动命名方法及装置
CN115565118A (zh) * 2022-12-07 2023-01-03 南方电网数字电网研究院有限公司 一种输电线路交叉跨越点单挂点单串的识别方法
CN115953486A (zh) * 2022-12-30 2023-04-11 国网电力空间技术有限公司 一种直流t型直线塔部件巡检图像自动编码方法
CN116091428A (zh) * 2022-12-29 2023-05-09 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251763A (ja) * 1999-12-28 2001-09-14 Toshiba Syst Technol Corp 電力系統監視制御装置、電力系統設備情報生成装置、および記憶媒体
CN105513155A (zh) * 2015-12-01 2016-04-20 中国联合网络通信集团有限公司 巡检照片的分类、命名方法及终端设备
CN109344282A (zh) * 2018-09-26 2019-02-15 国网电力科学研究院武汉南瑞有限责任公司 一种无人机电力巡检照片的自动命名方法
CN109960736A (zh) * 2019-02-19 2019-07-02 广州中科云图智能科技有限公司 基于无人机的缺陷分析方法、系统、存储介质以及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251763A (ja) * 1999-12-28 2001-09-14 Toshiba Syst Technol Corp 電力系統監視制御装置、電力系統設備情報生成装置、および記憶媒体
CN105513155A (zh) * 2015-12-01 2016-04-20 中国联合网络通信集团有限公司 巡检照片的分类、命名方法及终端设备
CN109344282A (zh) * 2018-09-26 2019-02-15 国网电力科学研究院武汉南瑞有限责任公司 一种无人机电力巡检照片的自动命名方法
CN109960736A (zh) * 2019-02-19 2019-07-02 广州中科云图智能科技有限公司 基于无人机的缺陷分析方法、系统、存储介质以及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YONG ZHANG 等: "Automatic Power Line Inspection Using UAV Images", 《REMOTE SENSING》, vol. 9, no. 8, pages 1 - 19 *
冯智慧;王乐希;梁文勇;涂洁;万家伟;: "基于无人机的输电线路典型设备图像信息采集方法研究", 《电瓷避雷器》, no. 04, pages 22 - 26 *
姚磊: "智能巡检机器人在架空输电线路上的应用研究", 《电气技术与经济》, pages 1 - 3 *
许国伟 等: "基于POS信息和杆塔空间位置关系的输配电线路机巡照片归集方法研究及应用", 《电工技术》, pages 97 - 100 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414409A (zh) * 2020-11-16 2021-02-26 天津航天中为数据系统科技有限公司 一种基于串结构的自主巡检路径规划方法及飞行器
CN112883219A (zh) * 2021-01-12 2021-06-01 吴发献 一种基于空间位置的无人机巡检照片命名方法
CN113076864A (zh) * 2021-03-31 2021-07-06 国网江苏省电力有限公司徐州供电分公司 输电杆塔巡检图像的处理方法和装置
CN113110577A (zh) * 2021-04-15 2021-07-13 中国南方电网有限责任公司超高压输电公司柳州局 电网巡检无人机飞行路线规划管理系统
CN113239764B (zh) * 2021-04-29 2022-06-10 国网江苏省电力有限公司苏州供电分公司 输电线路无人机巡检图像预处理方法
CN113239764A (zh) * 2021-04-29 2021-08-10 国网江苏省电力有限公司苏州供电分公司 输电线路无人机巡检图像预处理方法
CN113485424A (zh) * 2021-07-19 2021-10-08 武汉中测晟图遥感技术有限公司 一种杆塔巡检航线设计方法
CN113762132A (zh) * 2021-09-01 2021-12-07 国网浙江省电力有限公司金华供电公司 一种无人机巡检图像自动归类与自动命名系统
CN114461831A (zh) * 2022-04-13 2022-05-10 广东电网有限责任公司佛山供电局 输电线路巡检图像自动命名方法及装置
CN115565118A (zh) * 2022-12-07 2023-01-03 南方电网数字电网研究院有限公司 一种输电线路交叉跨越点单挂点单串的识别方法
CN116091428A (zh) * 2022-12-29 2023-05-09 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统
CN116091428B (zh) * 2022-12-29 2023-09-01 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统
CN115953486A (zh) * 2022-12-30 2023-04-11 国网电力空间技术有限公司 一种直流t型直线塔部件巡检图像自动编码方法
CN115953486B (zh) * 2022-12-30 2024-04-12 国网电力空间技术有限公司 一种直流t型直线塔部件巡检图像自动编码方法

Also Published As

Publication number Publication date
CN111914813B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111914813B (zh) 基于图像分类的输电线路巡检图像命名方法及系统
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN109800712B (zh) 一种基于深度卷积神经网络的车辆检测计数方法及设备
CN110798805B (zh) 基于gps轨迹的数据处理方法、装置及存储介质
CN110309843B (zh) 一种电力设备图像中多类部件的自动识别方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN111309945B (zh) 一种无人机巡检图片精确分类方法及系统
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
CN113205116A (zh) 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN112325785A (zh) 基于顶部平面拟合的铁塔变形监测方法及系统
CN110910360A (zh) 电网图像的定位方法和图像定位模型的训练方法
CN115825984A (zh) 一种基于激光点云的输电线路巡检系统及巡检方法
CN111798435A (zh) 图像处理方法、工程车辆侵入输电线路监测方法及系统
CN113255533B (zh) 一种禁区闯入行为识别方法,存储装置及服务器
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN112802027A (zh) 一种目标对象的分析方法、存储介质及电子装置
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法
CN116205905B (zh) 基于移动端的配电网施工安全及质量图像检测方法及系统
CN115297303B (zh) 适用于电网输变电设备的图像数据采集处理方法及装置
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant