CN113920424A - 一种变电巡检机器人视物提取方法及装置 - Google Patents

一种变电巡检机器人视物提取方法及装置 Download PDF

Info

Publication number
CN113920424A
CN113920424A CN202111005956.7A CN202111005956A CN113920424A CN 113920424 A CN113920424 A CN 113920424A CN 202111005956 A CN202111005956 A CN 202111005956A CN 113920424 A CN113920424 A CN 113920424A
Authority
CN
China
Prior art keywords
image
power component
neural network
convolutional neural
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111005956.7A
Other languages
English (en)
Inventor
靳巍
黄小川
康少华
徐海瑞
张宋彬
石云松
王兵
杨光
贾伟
焦慧明
景中炤
田鹏
史晨昱
王彪
史久峰
郭保林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Qingda Huilian Photoelectric Research Institute Co ltd
State Grid Henan Electric Power Co Zhengzhou Power Supply Co
State Grid Corp of China SGCC
Original Assignee
Zhengzhou Qingda Huilian Photoelectric Research Institute Co ltd
State Grid Henan Electric Power Co Zhengzhou Power Supply Co
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Qingda Huilian Photoelectric Research Institute Co ltd, State Grid Henan Electric Power Co Zhengzhou Power Supply Co, State Grid Corp of China SGCC filed Critical Zhengzhou Qingda Huilian Photoelectric Research Institute Co ltd
Priority to CN202111005956.7A priority Critical patent/CN113920424A/zh
Publication of CN113920424A publication Critical patent/CN113920424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种变电巡检机器人视物提取方法及装置，获取至少一个种类的电力部件的图像；对每个图像进行外观特征变换，得到变换图形；得到至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据已知位置和已知种类建立对应的标签文件；将至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示；本发明通过增加电力部件识别模型的训练样本数量，对电力部件识别模型进行训练，使得到的优化识别模型可以准确地识别出输电线路的电力部件，解决了现有的电力部件识别模型存在识别准确度不高的问题。

Description

一种变电巡检机器人视物提取方法及装置
技术领域：
本发明涉及变电站运维领域，特别是涉及一种变电巡检机器人视物提取方法及装置。
背景技术：
输电线路是电力系统的重要组成部分，它担负着传输和分配电能的任务。在对电力设备的维护中，通常需要对输电线路上的电力部件进行识别，由于无人机技术的发展，现在的无人机拥有携带方便、操作简单、反应迅速等优点，因此越来越多国家开始使用无人机巡检输电线路。而无人机巡检时会拍摄大量的输电线路图片，需要在大量的无人机拍摄的输电线路图片中识别电力部件。
现有技术中，采用人工识别的方式对巡检图像中的部件进行识别并标注，工作量大且巡检效率较低。为了提高巡检人员的巡检效率，出现了基于深度学习的电力部件识别技术，然而现有的电力部件识别模型，往往只能对单一的电力部件进行识别，难以适应大规模巡检图像数据，识别准确度不高。
发明内容：
本发明主要解决的技术问题是提供一种多特征融合的输电系统绝缘子端对端目标识别方法及装置，能够解决电力部件识别模型识别准确度不高的问题，同时对相应部件的非结构信息进行调取显示，便于人员进行观看操作。
本发明的技术方案是：一种多特征融合的输电系统绝缘子端对端目标识别方法，包括以下步骤：
步骤S1：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；
步骤S2：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
步骤S3：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；
步骤S4：根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示。
优选的，所述步骤S1中，获取至少一个种类的电力部件的图像；对每个所述图像进行标注，得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件。
优选的，所述步骤S1中，所述电力部件进行外观特征变换，得到部件变换图像，包括：
a、提取所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标对所述部件图像区域进行旋转，得到旋转图像区域；
d、使用所述旋转图像区域对所述部件图像区域进行替换，生成所述部件变换图像。
优选的，所述步骤S1中：对所述电力部件进行外观特征变换，得到部件变换图像，包括：
a、提所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标，随机生成目标坐标；
d、根据所述目标坐标移动所述部件图像区域，生成所述部件变换图像。
优选的，所述步骤S2中：根据已知位置和已知种类建立对应的标签文件，包括：根据所述已知位置、已知种类、所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度，建立对应的标签文件。
优选的，所述步骤S3中，卷积神经网络的训练步骤为：
a、构建卷积神经网络；
b、采用至少一个种类的电力部件的图像形成的图像数据库对卷积神经网络进行预训练，收敛后，将卷积神经网络最后一层修改为C＝3，分别代表绝缘子串、背景，杆塔3类目标；
c、利用输电线路图像库进行二次训练，在训练过程中采用启发式方法，在当前学习速率下，若验证集错误率不变，则将学习速率减小至当前的1/10，直至收敛，得到训练完成的卷积神经网络。
优选的，所述卷积神经网络以图片为输入，以图片的类别标签为输出，表示如下：
c＝FCNN(s/p),c∈{1,2,…,c}
式中，s为输入图片，p为卷积神经网络的参数，c为图片的输出类别标签，FCNN()表示卷积神经网络前向运算。
优选的，步骤S4中，调取视物的非结构信息进行显示之前，
建立数据库，对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
访问数据库，通过视物标签查询到带标注的非结构信息；
通过B/S架构，从数据库根据查询条件拉取非结构信息进行标注，标注信息和非结构信息标签记录至数据库存储，形成图像数据库的一部分。
优选的，步骤S4中，所述非结构信息包括：视物的基本信息、工作过程和检修过程。
本申请的另一个技术方案是：提供一种多特征融合的输电系统绝缘子端对端目标识别装置，包括：
处理模块、标记模块、存储模块、识别模块和显示模块；
处理模块：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；通过视物标签访问数据库，查询到带标注的非结构信息，调取非结构信息进行显示；
标记模块：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
存储模块：对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
识别模块：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；并根据获得的卷积神经网络识别模型对视物进行提取；
显示模块：对视物的非结构信息进行显示。
本发明的有益效果是：
1、本发明获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示；通过增加电力部件识别模型的训练样本数量，对电力部件识别模型进行训练，使得到的优化识别模型可以准确地识别出输电线路的电力部件，解决了现有的电力部件识别模型存在识别准确度不高的问题。
2、本发明对每个所述图像进行外观特征变换，得到变换图形；得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件，可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类，本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度。
附图说明：
图1为本发明提供的变电巡检机器人视物提取方法一实施例的流程图；
图2为本发明提供的变电巡检机器人视物提取方法一实施例的深度卷积神经网络图像识别模型图；
图3是本发明提供的变电巡检机器人视物提取装置一实施例的控制框架示意图。
具体实施方式：
实施例：参见图1、图2和图3，图中，31-处理模块、32-标记模块、33-存储模块、34-识别模块、35-显示模块。
一种变电巡检机器人视物提取方法及装置，获取至少一个种类的电力部件的图像；对每个图像进行外观特征变换，得到变换图形；得到至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据已知位置和已知种类建立对应的标签文件；将至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示；通过增加电力部件识别模型的训练样本数量，对电力部件识别模型进行训练，使得到的优化识别模型可以准确地识别出输电线路的电力部件，解决了现有的电力部件识别模型存在识别准确度不高的问题。
下面结合附图和实施例对本申请进行详细描述。
图1显示了本发明变电巡检机器人视物提取方法一实施例的流程图。在图1中，包括：
步骤S1：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；
步骤S2：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
步骤S3：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；
步骤S4：根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示。
本发明获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类；将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度；根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示；通过增加电力部件识别模型的训练样本数量，对电力部件识别模型进行训练，使得到的优化识别模型可以准确地识别出输电线路的电力部件，解决了现有的电力部件识别模型存在识别准确度不高的问题。
在第一步骤S1中，获取至少一个种类的电力部件的图像；对每个所述图像进行标注，得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件。
其中，电力部件的图像可以是指使用航拍方式对输电线路进行拍照获得的图像。
具体实现中，巡检人员可以操作无人机对输电线路进行航拍得到机巡图像，或者巡检人员搭乘直升机对输电线路进行拍摄得到机巡图像。将机巡图像输入至电力部件识别模型。
具体实现中，上述输电线路图像可以是上述无人机拍摄得到的输电线路图像，该无人机可以实时的视频拍摄，无人机可以在包括输电线路的区域中拍摄上述视频。上述输电线路的图像可以从上述无人机拍摄的视频中获取，例如从上述视频中抽取一些关键帧的画面，形成上述输电线路图像。无人机可以对上述输电线路图像进行电力部件的识别。
其中，电力部件可以是指输电线路上的一系列部件，例如，绝缘子、防振锤、开口销、均压环、相序牌、驱鸟器和杆塔等。具体实现中，机巡图像中包括电力部件，将机巡图像输入至电力部件识别模型之后，电力部件识别模型识别出机巡图像中的电力部件。
进一步的，电力部件进行外观特征变换，得到部件变换图像，包括：
a、提取所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标对所述部件图像区域进行旋转，得到旋转图像区域；
d、使用所述旋转图像区域对所述部件图像区域进行替换，生成所述部件变换图像。
其中，部件图像区域可以是指包括电力部件的图像区域；在实际应用中，部件图像区域的形状可以是圆形。
具体实现中，当电力部件识别模型识别出巡检图像中的电力部件特征之后，截取具有电力部件的部件图像区域。例如，部件图像区域的形状可以为圆形。然后，获取并确定部件图像区域的中心点坐标，随机生成旋转角度，具体地，旋转角度的取值范围为大于0°且小于360°，并根据上述的旋转角度，以中心点坐标为圆心对部件图像区域进行旋转，得到外观特征变换后的旋转图像区域。然后，使用旋转图像区域对机巡图像中的部件图像区域进行替换，从而生成部件变换图像。
上述电力部件识别模型训练方法中，在机巡图像中提取电力部件的部件图像区域，部件图像区域的形状为圆形，获取圆形的部件图像区域的中心点坐标，以中心点坐标为旋转中心对部件图像区域进行旋转，得到旋转图像区域；最后，使用旋转图像区域对部件图像区域进行替换，生成部件变换图像，形状为圆形的部件图像区域，可以提高生成部件变换图像的效率；通过生成部件变换图像，增加了用于训练电力部件识别模型的训练样本数，进而提高了对电力部件识别的准确程度。
进一步的，对所述电力部件进行外观特征变换，得到部件变换图像，包括：
a、提所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标，随机生成目标坐标；
d、根据所述目标坐标移动所述部件图像区域，生成所述部件变换图像。
具体实现中，当电力部件识别模型识别出巡检图像中的电力部件特征之后，截取具有电力部件的部件图像区域。例如，部件图像区域的形状可以为矩形。然后，获取并确定部件图像区域的中心点坐标，根据中心点坐标随机生成目标坐标，例如，首先，获取并确定部件图像区域的中心点坐标为(3，5)；然后，随机生成横坐标变化值为8，随机生成纵坐标变化值6；其中，横坐标变化值的取值范围和纵坐标变化值的取值范围均为0到100，因到，根据横坐标变化值和纵坐标变化值，得到目标坐标为(11,11)，并判断目标坐标是否会超出巡检图像的边界；当目标坐标没有超过巡检图像的边界，根据目标坐标值移动部件图像区域，生成部件变换图像。
上述电力部件识别模型训练方法中，通过提取电力部件的部件图像区域并获取部件图像区域的中心点坐标；根据中心点坐标，随机生成目标坐标；根据目标坐标移动部件图像区域，进而在巡检图像的基础上生成大量的部件变换图像，增加了用于训练电力部件识别模型的训练样本数，进而提高了对电力部件识别的准确程度。
第二步骤S2中：根据已知位置和已知种类建立对应的标签文件，包括：根据所述已知位置、已知种类、所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度，建立对应的标签文件。
通过获取无人机拍摄的包括至少一个种类待识别的电力部件的输电线路图像，然后通过目标识别模型识别上述输电线路图像中的电力部件，其中该目标模型可以根据输电线路图像样本训练得到，图像样本中还包括至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，无人机可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类。相较于传统的在服务器中使用边缘检测算法或基于阈值分割方法识别图片中的电力部件，本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度。
对每个上述图像进行标注，标注的信息可以是上述每个至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，可以根据上述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类建立与该图像对应的标签文件。其中，标签文件可以是符合PASCALVOC格式的xml文件，标签文件中可以包括有该标签文件对应的图像中电力部件的种类名称，例如绝缘子或防振锤等，和该电力部件在图像中的位置信息，例如可以是坐标信息等，PASCAL VOC是一种视觉识别的数据集，其为图像识别和分类提供了一整套标准化的优秀的数据集，其提供的标准和数据集可以为图像识别训练提供了帮助。对每个图像进行标注，还得到：该图像的名称、该图像的路径、该图像的宽度和该图像的高度。本实施例中，上述建立的标签文件还可以包括上述至少一个种类的电力部件的图像对应的图像名称、图像路径、图像的宽度和图像的高度等信息。其中，图像名称可以是该图像的命名，图像的路径可以是该图像存储的位置的路劲信息，例如该路劲可以指向无人机的硬盘中的某个位置，图像的宽度和图像的高度可以分别是该图像的横向分辨率和纵向分辨率代表的宽度和高度。在一个实施例中，根据已知位置和已知种类建立对应的标签文件，包括：根据已知位置、已知种类、图像的名称、图像的路径、图像的宽度和图像的高度，建立对应的标签文件。
优选的，所述步骤S3中，卷积神经网络的训练步骤为：
a、构建卷积神经网络；
b、采用至少一个种类的电力部件的图像形成的图像数据库对卷积神经网络进行预训练，收敛后，将卷积神经网络最后一层修改为C＝3，分别代表绝缘子串、背景，杆塔3类目标；
c、利用输电线路图像库进行二次训练，在训练过程中采用启发式方法，在当前学习速率下，若验证集错误率不变，则将学习速率减小至当前的1/10，直至收敛，得到训练完成的卷积神经网络。
优选的，所述卷积神经网络以图片为输入，以图片的类别标签为输出，表示如下：
c＝FCNN(s/p),c∈{1,2,…,c}
式中，s为输入图片，p为卷积神经网络的参数，c为图片的输出类别标签，FCNN()表示卷积神经网络前向运算。
其具体步骤如下所示：
1.样本的选取和标注
首先利用无人机对输电线路进行航拍，采集大量包含绝缘子串的图像库，对原始图像中的背景、杆塔、绝缘子串3类区域以人工方式用多边框标记。完成目标标注后，对图像进行分块，依次对上述分类指定类别标签：绝缘子串、背景、杆塔。为保证CNN网络的泛化性，对图像块进行旋转、平移、尺度的变换，扩展样本的数量。
2.卷积神经网络结构设计
根据AlexNet模型，将卷积神经网络设计为5层，分别为1个输入层、3个卷积/池化层和一个全连接输出层。输入为归一化的、大小为64×64、RGB三通道的图片；3个卷积核的大小分别为11×11、7×7和5×5，每一层卷积核的通道数分别由前一层输出的通道数决定，即分别为3、64和128，池化均采用最大值池化，且窗口大小均为2×2；全连接层神经元个数与输出类别数相同，在此c代表网络输出标签的个数，通常定义输出值为集合{1,2,…,c}中元素。因此，整个卷积神经网络可以看成为一个内部带参数的黑盒，输入为相同大小的图片，输出为图片的类别标签，即c＝FCNN(s/p),c∈{1,2,…,c}式中，s为输入图片，p为卷积神经网络的参数，c为图片的输出类别标签，FCNN()表示卷积神经网络前向运算，即已知模型参数p，计算图片s的类别标签。
3.模型训练
如图2所示，神经网络的学习过程即求解模型参数P的过程。定义C＝100，即100类输出类别，采用Cifar-100图像数据库进行初步训练。算法收敛后，将模型最后一层改为C＝3，分别代表绝缘子串、背景，杆塔3类目标。然后利用输电线路图像库进行训练，直至收敛。
利用Cifar-100图像数据库训练得到的特征提取参数可转化为输电线路图像的特征提取参数。在此基础上进行网络参数调优，有效避免了过拟合现象。定义好网络结构后，采用梯度下降法训练神经网络模型参数，训练过程由Caffe完成。预训练阶段的学习参数为：
(1)训练数据分块(Batch)大小为128。
(2)所有权值都初始化为均值为0，标准差为0.01的高斯噪声。
(3)系数动量(momentum)为0.9，权值衰减系数为0.0005。
(4)对于第2、3、4卷积层和全连接层的神经元偏置，初始化为1，第1层的神经元偏置初始化为0。
(5)每一层的学习速率保持一致，初始学习速率是0.01。在训练过程中采用启发式方法：在当前学习速率下，如果验证集错误率不变，则将学习速率减小至当前的1/10，最终算法收敛得到网络的模型参数P。至此，卷积神经网络模型训练完成，实现了绝缘子串的定位。
在第四步骤S4中，调取视物的非结构信息进行显示之前，
建立数据库，对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
访问数据库，通过视物标签查询到带标注的非结构信息；
通过B/S架构，从数据库根据查询条件拉取非结构信息进行标注，标注信息和非结构信息标签记录至数据库存储，形成图像数据库的一部分。
样本集制作采用B/S架构，多台标注终端可以通过网络从影像管理数据库中拉取巡检影像进行标注工作，标注信息和对应影像在数据库实现存储管理，包括以下步骤：设计巡检影像数据库，以SQL数据库为基础，对电力巡检任务获取的巡检影像信息及巡检业务信息、电力线路信息、拍摄位置坐标等信息进行关联存储在巡检数据库中。
标注员通过网页的形式访问数据库，可以通过对应的视物标签查询到带标注的巡检影像，还可以对数据库进行管理，修改存储内容。
通过B/S架构，可同时进行多任务多批的巡检影像样本集制作工作，从数据库根据查询条件拉取巡检影像进行标注，标注信息和非结构信息标签直接记录至数据库中存储，避免了数据迁徙的种种弊端，同时提高了样本集制作工作效率。
优选的，步骤S4中，所述非结构信息包括：视物的基本信息、工作过程和检修过程。
通过巡检影像数据库关联巡检影像与对应的工单信息、线路信息、巡检人员信息、无人机巡检航线信息等，可通过图片的GPS信息直接关联线路信息，为图片批量添加拍摄位置的线路名，杆塔号等位置标签信息。
用户可根据应用需求对电力设备进行标签属性添加，对电力用户默认按照运维规定的严重程度和对应的详细缺陷描述信息，存储于数据库中。
请参阅图3，图3是本申请提供的一种多特征融合的输电系统绝缘子端对端目标识别装置，包括:处理模块31、标记模块32、存储模块33、识别模块34和显示模块35；
处理模块31：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；通过视物标签访问数据库，查询到带标注的非结构信息，调取非结构信息进行显示；
标记模块32：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
存储模块33：对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
识别模块34：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；并根据获得的卷积神经网络识别模型对视物进行提取；
显示模块35：对视物的非结构信息进行显示。
具体而言，处理模块用于控制其自身以及存储器以实现上述任一输电线路巡检目标识别方法实施例的步骤。处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理模块还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理模块可以由集成电路芯片共同实现。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种变电巡检机器人视物提取方法，包括以下步骤：
步骤S1：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；
步骤S2：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
步骤S3：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；
步骤S4：根据获得的卷积神经网络识别模型对视物进行提取，并调取视物的非结构信息进行显示。
2.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：所述步骤S1中，获取至少一个种类的电力部件的图像；对每个所述图像进行标注，得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件。
3.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：所述步骤S1中，所述电力部件进行外观特征变换，得到部件变换图像，包括：
a、提取所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标对所述部件图像区域进行旋转，得到旋转图像区域；
d、使用所述旋转图像区域对所述部件图像区域进行替换，生成所述部件变换图像。
4.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：所述步骤S1中：对所述电力部件进行外观特征变换，得到部件变换图像，包括：
a、提所述电力部件的部件图像区域；
b、获取所述部件图像区域的中心点坐标；
c、根据所述中心点坐标，随机生成目标坐标；
d、根据所述目标坐标移动所述部件图像区域，生成所述部件变换图像。
5.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：所述步骤S2中：根据已知位置和已知种类建立对应的标签文件，包括：根据所述已知位置、已知种类、所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度，建立对应的标签文件。
6.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：所述步骤S3中：卷积神经网络的训练步骤为：
a、构建卷积神经网络；
b、采用至少一个种类的电力部件的图像形成的图像数据库对卷积神经网络进行预训练，收敛后，将卷积神经网络最后一层修改为C＝3，分别代表绝缘子串、背景，杆塔3类目标；
c、利用输电线路图像库进行二次训练，在训练过程中采用启发式方法，在当前学习速率下，若验证集错误率不变，则将学习速率减小至当前的1/10，直至收敛，得到训练完成的卷积神经网络。
7.根据权利要求6所述的变电巡检机器人视物提取方法，其特征是：所述卷积神经网络以图片为输入，以图片的类别标签为输出，表示如下：
c＝FCNN(s/p),c∈{1,2,…,c}
式中，s为输入图片，p为卷积神经网络的参数，c为图片的输出类别标签，FCNN()表示卷积神经网络前向运算。
8.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：步骤S4中，调取视物的非结构信息进行显示之前，
建立数据库，对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
访问数据库，通过视物标签查询到带标注的非结构信息；
通过B/S架构，从数据库根据查询条件拉取非结构信息进行标注，标注信息和非结构信息标签记录至数据库存储，形成图像数据库的一部分。
9.根据权利要求1所述的变电巡检机器人视物提取方法，其特征是：步骤S4中，所述非结构信息包括：视物的基本信息、工作过程和检修过程。
10.一种变电巡检机器人视物提取装置，包括：
处理模块、标记模块、存储模块、识别模块和显示模块；
处理模块：获取至少一个种类的电力部件的图像；对每个所述图像进行外观特征变换，得到变换图形；通过视物标签访问数据库，查询到带标注的非结构信息，调取非结构信息进行显示；
标记模块：得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
存储模块：对视物的非结构信息进行储存并与储存在其内的标签文件进行关联；
识别模块：将所述至少一个种类的电力部件的图像输入卷积神经网络训练识别模型；并根据获得的卷积神经网络识别模型对视物进行提取；
显示模块：对视物的非结构信息进行显示。
CN202111005956.7A 2021-08-30 2021-08-30 一种变电巡检机器人视物提取方法及装置 Pending CN113920424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111005956.7A CN113920424A (zh) 2021-08-30 2021-08-30 一种变电巡检机器人视物提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005956.7A CN113920424A (zh) 2021-08-30 2021-08-30 一种变电巡检机器人视物提取方法及装置

Publications (1)

Publication Number Publication Date
CN113920424A true CN113920424A (zh) 2022-01-11

Family

ID=79233657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005956.7A Pending CN113920424A (zh) 2021-08-30 2021-08-30 一种变电巡检机器人视物提取方法及装置

Country Status (1)

Country Link
CN (1) CN113920424A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346282A (zh) * 2022-06-28 2022-11-15 广州番禺电缆集团有限公司 电缆巡检的标识识别装置、方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614947A (zh) * 2018-12-19 2019-04-12 深圳供电局有限公司 电力部件识别模型训练方法、装置和计算机设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614947A (zh) * 2018-12-19 2019-04-12 深圳供电局有限公司 电力部件识别模型训练方法、装置和计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346282A (zh) * 2022-06-28 2022-11-15 广州番禺电缆集团有限公司 电缆巡检的标识识别装置、方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114241282B (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
Lei et al. Intelligent fault detection of high voltage line based on the Faster R-CNN
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN110598752B (zh) 一种自动生成训练数据集的图像分类模型训练方法及系统
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN107408209A (zh) 无需取样及特征选择的自动缺陷分类
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN111325116A (zh) 一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法
CN111488911B (zh) 基于Mask R-CNN与GAN的图像实体抽取方法
CN111967527B (zh) 一种基于人工智能牡丹品种识别方法及识别系统
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN111652835A (zh) 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN112613548A (zh) 基于弱监督学习的用户定制化目标检测方法、系统和存储介质
CN118196309B (zh) 基于图像处理工控机的高清视觉检测识别系统
CN114187506B (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN113569940B (zh) 一种基于知识迁移和概率校正的少样本目标检测方法
CN113920424A (zh) 一种变电巡检机器人视物提取方法及装置
CN113139540B (zh) 背板检测方法及设备
CN118298149A (zh) 输电线路上零部件的目标检测方法
CN115204318B (zh) 事件自动层级分类方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination