CN111027480A - 电力部件识别方法、装置和计算机设备 - Google Patents
电力部件识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111027480A CN111027480A CN201911258770.5A CN201911258770A CN111027480A CN 111027480 A CN111027480 A CN 111027480A CN 201911258770 A CN201911258770 A CN 201911258770A CN 111027480 A CN111027480 A CN 111027480A
- Authority
- CN
- China
- Prior art keywords
- image
- power component
- transmission line
- power
- power transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 claims abstract description 101
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 239000012212 insulator Substances 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电力部件识别方法、装置、计算机设备和存储介质，通过获取无人机拍摄的包括至少一个种类待识别的电力部件的输电线路图像，然后通过目标识别模型识别上述输电线路图像中的电力部件，其中该目标模型可以根据输电线路图像样本训练得到，无人机可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类。相较于传统的在服务器中使用边缘检测算法或基于阈值分割方法识别图片中的电力部件，本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度。
Description
技术领域
本发明涉及图像识别技术领域，特别是涉及一种电力部件识别方法、装置、计算机设备和计算机可读存储介质。
背景技术
输电线路是电力系统的重要组成部分，它担负着传输和分配电能的任务。在对电力设备的维护中，通常需要对输电线路上的电力部件进行识别，由于无人机技术的发展，现在的无人机拥有携带方便、操作简单、反应迅速等优点，因此越来越多国家开始使用无人机巡检输电线路。而无人机巡检时会拍摄大量的输电线路图片，需要在大量的无人机拍摄的输电线路图片中识别电力部件，传统的电力部件识别方法通常在服务器中使用边缘检测算法或基于阈值分割方法识别图片中的电力部件，然而，采用边缘检测技术时，对于背景复杂的图片会引入大量干扰边缘；采用基于阈值分割方法时，无法应对光照或背景频繁变化的场景。
因此，传统的电力部件识别方法存在识别精度不高的缺陷。
发明内容
基于此，有必要针对传统技术识别精度不高的技术问题，提供一种电力部件识别方法、装置、计算机设备和计算机可读存储介质。
一种电力部件识别方法，包括步骤：
获取无人机拍摄的输电线路图像；所述输电线路图像为至少一个种类的待识别电力部件的图像；
通过目标识别模型，识别所述输电线路图像中的待识别电力部件的位置以及种类；所述目标识别模型根据输电线路图像样本训练得到；所述输电线路图像样本包括至少一个种类的电力部件的图像，以及所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类；
根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，以标记所述输电线路图像中的待识别电力部件的位置以及种类。
在一个实施例中，所述获取无人机拍摄的输电线路图像之前，包括：
获取至少一个种类的电力部件的图像；
对每个所述图像进行标注，得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
将所述至少一个种类的电力部件的图像输入待训练的识别模型，将所述识别模型的输出结果与当前输入图像对应的标签文件中信息比较，得到识别误差；所述输出结果包括当前输入图像中的电力部件的种类和在所述当前输入图像中的位置；
根据所述识别误差，迭代调整所述识别模型中的权值，直到满足设定的训练结束条件，根据训练结束时的识别模型得到所述目标识别模型；
所述训练结束条件包括：当所述识别误差在设定范围内，和/或，迭代次数达到预设数量。
在一个实施例中，所述对每个所述图像进行标注，还得到：
所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度。
在一个实施例中，所述根据所述已知位置和已知种类建立对应的标签文件，包括：
根据所述已知位置、已知种类、所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度，建立对应的标签文件。
在一个实施例中，所述根据训练结束时的识别模型得到所述目标识别模型，包括：
将训练结束时得到的识别模型转换为轻量级的识别模型，得到所述目标识别模型；所述轻量级的目标识别模型为tflite模型。
在一个实施例中，所述待训练的识别模型为基于Tensorflow深度学习框架的模型；
用于迭代调整所述识别模型中的权值的算法为SSD+Mobilenet算法。
在一个实施例中，所述根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，包括：
根据识别出电力部件的种类，对所述输电线路图像中的不同种类的电力部件添加不同的标记；所述标记包括矩形框、椭圆形框、三角形框和大于四边的多边形框中至少一种。
一种电力部件识别装置，包括：
获取模块，用于获取无人机拍摄的输电线路图像；所述输电线路图像为至少一个种类的待识别电力部件的图像；
识别模块，用于通过目标识别模型，识别所述输电线路图像中的待识别电力部件的位置以及种类；所述目标识别模型根据输电线路图像样本训练得到；所述输电线路图像样本包括至少一个种类的电力部件的图像，以及所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类；
标记模块，用于根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，以标记所述输电线路图像中的待识别电力部件的位置以及种类。
一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的电力部件识别方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的电力部件识别方法。
上述电力部件识别方法、装置、计算机设备和存储介质，通过获取无人机拍摄的包括至少一个种类待识别的电力部件的输电线路图像，然后通过目标识别模型识别上述输电线路图像中的电力部件，其中该目标模型可以根据输电线路图像样本训练得到，图像样本中还包括至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，无人机可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类。相较于传统的在服务器中使用边缘检测算法或基于阈值分割方法识别图片中的电力部件，本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度。
附图说明
图1为一个实施例中电力部件识别方法的应用场景图；
图2为另一个实施例中电力部件识别方法的应用场景图；
图3为一个实施例中电力部件识别方法的流程示意图；
图4为另一个实施例中电力部件识别方法的流程示意图；
图5为一个实施例中电力部件识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明提供的电力部件识别方法，可以应用于如图1所示的应用场景中，图1为一个实施例中电力部件识别方法的应用场景图，包括无人机102，其中，无人机102可以包括摄像设备102(a)、飞控设备102(b)和处理设备102(c)等部分。无人机102可以通过摄像设备102(a)实时获取输电线路图像，通过飞控设备102(b)控制无人机102在空中进行飞行，通过处理设备102(c)识别上述实时获取的输电线路图像中的电力部件。在一个实施例中，如图2所示，图2为另一个实施例中电力部件识别方法的应用场景图，还可以包括一个训练设备104，无人机102可以通过网络与训练设备104进行通信。训练设备104可以训练识别模型，无人机102可以从训练设备104中获取训练完成的识别模型，识别获取到的输电线路图像中的待识别电力部件，无人机102还可以在识别出的电力部件的位置上添加相应标记，以标记该电力部件的位置和种类。其中，无人机102可以但不限于是各种类型或品牌的无人机，训练设备104可以但不限于是各种个人计算机、笔记本电脑和平板电脑等，训练设备104可以用独立的计算机设备或者是多个计算机设备组成的计算机设备集群来实现。
在一个实施例中，提供了一种电力部件识别方法，参考图3，图3为一个实施例中电力部件识别方法的流程示意图，以该方法应用于图1或图2中的无人机102为例进行说明，该电力部件识别方法可以包括以下步骤：
步骤S101，获取无人机102拍摄的输电线路图像；输电线路图像为至少一个种类的待识别电力部件的图像。
其中，上述输电线路图像可以是上述无人机102拍摄得到的输电线路图像，该无人机102可以实时的视频拍摄，无人机102可以在包括输电线路的区域中拍摄上述视频。上述输电线路的图像可以从上述无人机102拍摄的视频中获取，例如从上述视频中抽取一些关键帧的画面，形成上述输电线路图像。无人机102可以对上述输电线路图像进行电力部件的识别。
步骤S102，通过目标识别模型，识别输电线路图像中的待识别电力部件的位置以及种类；目标识别模型可以根据输电线路图像样本训练得到；输电线路图像样本包括至少一个种类的电力部件的图像，以及至少一个种类的电力部件的图像中电力部件的已知位置和已知种类。
其中，目标识别模型可以是一种以特征分析为基础的识别系统。该目标识别模型可以根据输电线路图像的样本训练得到，输电线路图像样本中可以包括至少一个种类的电力部件的图像，其中输电线路图像样本中的电力部件的位置和种类可以是已知的，例如电力部件在图像样本中的位置的坐标和电力部件的种类可以是已知的。无人机102可以根据上述目标识别模型，识别输电线路图像中的电力部件的位置和种类。其中，输电线路图像可以是无人机102拍摄的实时视频中提取的图像，上述电力部件可以有多个种类，在图像中的的位置可以相同，也可以不同。
步骤S103，根据识别出的电力部件的位置以及种类，分别在输电线路图像中相应位置上添加相应标记，以标记输电线路图像中的待识别电力部件的位置以及种类。
其中，电力部件可以是上述输电线路图像中包含的电力部件的图形信息，无人机102可以在识别出上述输电线路图像中的电力部件的种类和位置后，根据每个识别出的电力部件的种类，在该识别出的电力部件的位置上添加相应的标记，无人机102可以通过添加标记的方式展示识别出的电力部件的种类和位置。其中，电力部件的名称包括但不限于绝缘子、防振锤、均压环等。
上述电力部件识别方法，通过获取无人机拍摄的包括至少一个种类待识别的电力部件的输电线路图像，然后通过目标识别模型识别上述输电线路图像中的电力部件，其中该目标模型可以根据输电线路图像样本训练得到，图像样本中还包括至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，无人机可以根据从上述输电线路图像中识别出的电力部件的位置和种类，分别在输电线路图像中相应位置上标记上述输电线路图像中待识别电力部件的位置和种类。相较于传统的在服务器中使用边缘检测算法或基于阈值分割方法识别图片中的电力部件，本申请提供的方案可以通过在大量电力部件在复杂背景中的图像样本训练得到的目标识别模型在无人机中实时识别电力部件，提高了识别电力部件的精度。
在一个实施例中，获取无人机102拍摄的输电线路图像之前，包括：获取至少一个种类的电力部件的图像；对每个图像进行标注，得到至少一个的电力部件的图像中电力部件的已知位置和已知种类，并根据已知位置和已知种类建立对应的标签文件；将至少一个种类的电力部件的图像输入待训练的识别模型，将识别模型的输出结果与当前输入图像对应的标签文件中信息比较，得到识别误差；输出结果包括当前输入图像中的电力部件的种类和在当前输入图像中的位置；根据识别误差，迭代调整识别模型中的权值，直到满足设定的训练结束条件，根据训练结束时的识别模型得到所述目标识别模型；训练结束条件包括：当识别误差在设定范围内，和/或，迭代次数达到预设数量。
本实施例中，上述至少一个种类的电力部件的图像可以是输电线路的图像样本的基础图像，无人机102可以根据这些至少一个种类的电力部件的图像生成输电线路图像样本。无人机102可以根据不同种类的电力部件的图像建立电力部件样本库，可以按照不同种类将上述至少一个种类的电力部件的图像作为待训练目标识别模型的训练集。其中，上述至少一个种类的电力部件可以是原有的无人机102拍摄的户外输电线路的原始图片，图像中电力部件的种类可以包括绝缘子、防振锤和/或均压环等部件，无人机102可以将每个不同的电力部件图像样本，按照种类进行分类，建立电力部件的样本库。
无人机102在获取到上述至少一个种类的电力部件的图像之后，对每个上述图像进行标注，标注的信息可以是上述每个至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，无人机102可以根据上述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类建立与该图像对应的标签文件。其中，标签文件可以是符合PASCALVOC格式的xml文件，标签文件中可以包括有该标签文件对应的图像中电力部件的种类名称，例如绝缘子或防振锤等，和该电力部件在图像中的位置信息，例如可以是坐标信息等，PASCAL VOC是一种视觉识别的数据集，其为图像识别和分类提供了一整套标准化的优秀的数据集，其提供的标准和数据集可以为图像识别训练提供了帮助。在一个实施例中，对每个图像进行标注，还得到：该图像的名称、该图像的路径、该图像的宽度和该图像的高度。本实施例中，上述建立的标签文件还可以包括上述至少一个种类的电力部件的图像对应的图像名称、图像路径、图像的宽度和图像的高度等信息。其中，图像名称可以是该图像的命名，图像的路径可以是该图像存储的位置的路劲信息，例如该路劲可以指向无人机102的硬盘中的某个位置，图像的宽度和图像的高度可以分别是该图像的横向分辨率和纵向分辨率代表的宽度和高度。在一个实施例中，根据已知位置和已知种类建立对应的标签文件，包括：根据已知位置、已知种类、图像的名称、图像的路径、图像的宽度和图像的高度，建立对应的标签文件。本实施例中，无人机102可以根据上述电力部件在输电线路图像样本中的已知位置、电力部件的已知种类、上述图像名称、图像路径、图像的宽度和图像的高度建立相应的标签文件，即标签文件可以包括上述信息。其中已知位置信息可以是坐标信息，例如可以是上述电力部件所在的矩形框的坐标，其坐标格式可以是(xmin，ymin，xmax，ymax)，其中(xmin,ymin)可以是矩形框左上顶点坐标，(xmax,ymax)可以是矩形框右下顶点坐标。通过本实施例，无人机102可以根据多个输电线路图像样本信息建立标签文件，使得标签文件可以更清晰地对应其输电线路图像样本。
无人机102在建立上述标签文件之后，可以将上述至少一个种类的电力部件的图像输入待训练的识别模型，并将该识别模型的输出结果和当前输入图像对应的标签文件中的信息比较，得到识别误差。其中，待训练的识别模型可以是未经训练的识别模型，例如可以是基于ImageNet图像库的预训练模型文件，ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框，它实际上就是一个巨大的可供图像/视觉训练的图片库。输出结果可以包括当前输入图像中的电力部件的种类和在当前输入图像中的位置，该位置信息可以是坐标信息，例如可以是上述电力部件所在的矩形框的坐标，其坐标格式可以是(xmin，ymin，xmax，ymax)，其中(xmin,ymin)可以是矩形框左上顶点坐标，(xmax,ymax)可以是矩形框右下顶点坐标，输出结果可以以标签文件的形式输出，例如可以是xml格式的文件。无人机102可以提取上述输电线路图像样本中的像素信息，将这些像素信息作为网络输入上述待训练识别模型中，该待训练识别模型可以根据上述图像的像素信息输出相应的结果，例如可以是包括上述图像样本的名称、图像路径、图像宽度、图像高度、图像中电力部件的名称和该电力部件在图像样本中的位置信息的标注信息，该标注信息可以是xml格式的标注信息。无人机102可以将上述待训练识别模型输出的结果与当前输入图像对应的标注信息进行比较，得到识别误差。该识别误差可以是上述输出结果和当前输入图像对应的实际标签文件中的信息的误差。
无人机102可以根据上述识别误差，迭代调整上述待训练识别模型中的权值，直到满足训练结束条件，并可以根据训练结束时的识别模型得到上述目标识别模型。其中，待训练的识别模型可以根据其中的权值参数确定输入的信息的具体名称，然而，待训练的识别模型在默认权值参数情况下通常在识别时存在误差，因此需要不断地根据其对上述图像的输出结果调整权值参数，无人机102可以根据上述识别误差不断调整待训练的识别模型中的权值，调整的次数可以是多次，例如可以是迭代的次数。训练结束的条件可以包括：上述识别误差在设定范围内，和/或，迭代次数达到了预设数量。其中，无人机102可以利用迁移学习的思想对预训练模型中的权值参数进行微调，即可以通过反向梯度算法更新预训练模型中的权值。识别误差在设定范围内可以是上述输出结果与当前输入的图像对应的标签文件中的信息相似度在设定范围内，由此可以判断该识别模型完成训练；迭代可以是重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值，因此无人机102可以根据上述识别误差调整识别模型的参数，直到迭代次数到达最大值时停止训练。
通过上述实施例，无人机102可以通过获取至少一个种类的电力部件的图像的方式建立电力部件样本库，并对每个图像进行标注，记录其中的信息，建立标签文件，再通过将上述图像作为网络输入待训练的识别模型中，将输出结果与当前输入的图像对应的标签文件中的信息进行比较，并不断调整识别模型中的权值，最终得到目标识别模型。通过大量至少一个种类的电力部件图像训练上述识别模型，使得该目标识别模型可以更精确地识别上述图像中的电力部件的信息，实现了更高效精准地识别电力部件。
在一个实施例中，根据训练结束时的识别模型得到所述目标识别模型，包括：将训练结束时得到的识别模型转换为轻量级的识别模型，得到目标识别模型；轻量级的目标识别模型为tflite模型。
本实施例中，上述识别模型的训练可以在训练设备104中进行，训练设备104在训练结束时得到的识别模型通常是规模体积比较大的识别模型，例如ckpt类型的识别模型，训练设备104可以将该识别模型转换为轻量级的识别模型，具体地，可以通过Tenseorflow编译工具bazel将上述识别模型转换为轻量级的识别模型，例如可以是tflite模型。训练设备104在转换完成后，还可以将该轻量级的识别模型安装到无人机102中，使得无人机102可以使用该轻量级识别模型进行识别。通过本实施例，训练设备104可以将体积较大的识别模型转换为轻量级的识别模型设置于无人机102中，提高了无人机102的内存利用率，减少了无人机102的处理负担。
在一个实施例中，待训练的识别模型为基于Tensorflow深度学习框架的模型；用于迭代调整识别模型中的权值的算法为SSD+Mobilenet算法。
本实施例中，Tensorflow是一个基于数据流编程(dataflow programming)的符号数学系统，被广泛应用于各类机器学习(machine learning)算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。上述模型可以在上述Tensorflow深度学习框架中训练，SSD+Mobilenet是一种目标检测的轻量级算法网络，训练设备104可以基于上述Tensorflow深度学习框架训练上述识别模型，迭代调整权值采用的算法可以是SSD+Mobilenet算法。通过本实施例，可以通过使用基于深度学习SSD+Mobilenet算法，将电力部件在复杂背景中的图像特征经过大量训练样本学习出来，增强了算法的鲁棒性，从而提高识别的精确度。
在一个实施例中，根据识别出的电力部件的位置以及种类，分别在输电线路图像中相应位置上添加相应标记，包括：根据识别出电力部件的种类，对输电线路图像中的不同种类的电力部件添加不同的标记；标记包括矩形框、椭圆形框、三角形框和大于四边的多边形框中至少一种。
本实施例中，电力部件的位置可以是电力部件在上述输电线路图像中的坐标信息，电力部件的种类可以是电力部件的名称，例如绝缘子、防振锤和均压环等。无人机102可以在识别出上述电力部件的位置和种类后，分别在输电线路图像中，该识别出的电力部件的位置上添加相应标记，无人机102可以根据电力部件的种类不同，添加不同的标记，上述标记可以包括矩形框、椭圆形框、三角形框和大于四边形的多边形框等，每种标记可以对应一个种类的电力部件，也可以将若干种电力部件使用一种标记表示，该标记还可以包括上述识别出的电力部件的名称，当标记是矩形框时，标记包含的信息可以是该矩形框在上述输电线路图像中的坐标信息，例如(xmin,,ymin,xmax,ymax)，其中(xmin,ymin)可以是矩形框左上顶点坐标，(xmax,ymax)可以是矩形框右下顶点坐标，还可以在该矩形框上添加该电力部件的名称。通过本实施例，无人机102可以在识别出输电线路图像中的电力部件后使用多种标记表示相应的电力部件，使得电力部件的表示更加清晰，实现了更有效地表示识别出的电力部件。
在一个实施例中，如图4所示，图4为另一个实施例中电力部件识别方法的流程示意图。训练设备104可以首先按照电力部件的不同种类，将无人机102原有的输电线路图像作为原始图片建立电力部件的样本库；再对样本库中的图片进行标注，并可以建立标签文件，标签文件的内容可以包括：图片名称、图片路径、图片宽度和高度、图片包含电力部件的名称，例如绝缘子、防振锤等、电力部件所在的位置，例如电力部件所在矩形框的坐标(xmin,,ymin,xmax,ymax)，其中(xmin,ymin)可以是矩形框左上顶点坐标，(xmax,ymax)可以是矩形框右下顶点坐标；然后可以在Tensorflow深度学习框架内通过SSD+Mobilenet算法网络训练模型，训练设备104可以从上述样本库中的输电线路图像中提取像素值，输入上述模型中，还可以将模型的输出结果与该输入图像对应的标签文件中的信息进行比较，可以利用迁移学习的思想对上述模型中的权值参数进行微调，即可以通过反向梯度算法更新上述模型中的权值，训练设备104可以在达到最大训练迭代次数后停止训练；当训练设备104完成对上述模型的训练后，还可以将其传换成轻量级的tflite模型，可以将该模型设置在无人机102中运行，即可以在无人机102的飞控平台上安装Tensorflow环境，将上述tflite复制到该系统上运行，使得无人机102可以通过拍摄视频进行实时识别视频中的电力部件。通过本实施例，训练设备104可以根据已有的大量已知电力部件信息的图片，使用SSD+Mobilenet算法训练识别模型，加强了电力部件在复杂背景下的识别精确度，实现了提高识别电力部件的精确性的效果。
在一个实施例中，提供了一种电力部件识别装置，参考图5，图5为一个实施例中电力部件识别装置的结构框图，该电力部件识别装置可以包括：
获取模块400，用于获取无人机102拍摄的输电线路图像；所述输电线路图像为至少一个种类的待识别电力部件的图像；
识别模块401，用于通过目标识别模型，识别所述输电线路图像中的待识别电力部件的位置以及种类；所述目标识别模型根据输电线路图像样本训练得到；所述输电线路图像样本包括至少一个种类的电力部件的图像，以及所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类；
标记模块402，用于根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，以标记所述输电线路图像中的待识别电力部件的位置以及种类。
本发明的电力部件识别装置与本发明的电力部件识别方法一一对应，关于电力部件识别装置的具体限定可以参见上文中对于电力部件识别方法的限定，在上述电力部件识别方法的实施例阐述的技术特征及其有益效果均适用于电力部件识别装置的实施例中，在此不再赘述。上述电力部件识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是无人机102，其内部结构图可以如图6所示，图6为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力部件识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项实施例所述的电力部件识别方法。
本领域普通技术人员可以理解实现如上任一项实施例所述的电力部件识别方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此，在一个实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上任一项实施例所述的电力部件识别方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力部件识别方法，其特征在于，应用于无人机，包括步骤：
获取无人机拍摄的输电线路图像；所述输电线路图像为至少一个种类的待识别电力部件的图像；
通过目标识别模型，识别所述输电线路图像中的待识别电力部件的位置以及种类；所述目标识别模型根据输电线路图像样本训练得到；所述输电线路图像样本包括至少一个种类的电力部件的图像，以及所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类；
根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，以标记所述输电线路图像中的待识别电力部件的位置以及种类。
2.根据权利要求1所述的方法，其特征在于，所述获取无人机拍摄的输电线路图像之前，包括：
获取至少一个种类的电力部件的图像；
对每个所述图像进行标注，得到所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类，并根据所述已知位置和已知种类建立对应的标签文件；
将所述至少一个种类的电力部件的图像输入待训练的识别模型，将所述识别模型的输出结果与当前输入图像对应的标签文件中信息比较，得到识别误差；所述输出结果包括当前输入图像中的电力部件的种类和在所述当前输入图像中的位置；
根据所述识别误差，迭代调整所述识别模型中的权值，直到满足设定的训练结束条件，根据训练结束时的识别模型得到所述目标识别模型；
所述训练结束条件包括：当所述识别误差在设定范围内，和/或，迭代次数达到预设数量。
3.根据权利要求2所述的方法，其特征在于，所述对每个所述图像进行标注，还得到：
所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述已知位置和已知种类建立对应的标签文件，包括：
根据所述已知位置、已知种类、所述图像的名称、所述图像的路径、所述图像的宽度和所述图像的高度，建立对应的标签文件。
5.根据权利要求2所述的方法，其特征在于，所述根据训练结束时的识别模型得到所述目标识别模型，包括：
将训练结束时得到的识别模型转换为轻量级的识别模型，得到所述目标识别模型；所述轻量级的目标识别模型为tflite模型。
6.根据权利要求2所述的方法，其特征在于，所述待训练的识别模型为基于Tensorflow深度学习框架的模型；
用于迭代调整所述识别模型中的权值的算法为SSD+Mobilenet算法。
7.根据权利要求1至6任一所述的方法，其特征在于，所述根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，包括：
根据识别出电力部件的种类，对所述输电线路图像中的不同种类的电力部件添加不同的标记；所述标记包括矩形框、椭圆形框、三角形框和大于四边的多边形框中至少一种。
8.一种电力部件识别装置，其特征在于，包括：
获取模块，用于获取无人机拍摄的输电线路图像；所述输电线路图像为至少一个种类的待识别电力部件的图像；
识别模块，用于通过目标识别模型，识别所述输电线路图像中的待识别电力部件的位置以及种类；所述目标识别模型根据输电线路图像样本训练得到；所述输电线路图像样本包括至少一个种类的电力部件的图像，以及所述至少一个种类的电力部件的图像中电力部件的已知位置和已知种类；
标记模块，用于根据识别出的电力部件的位置以及种类，分别在所述输电线路图像中相应位置上添加相应标记，以标记所述输电线路图像中的待识别电力部件的位置以及种类。
9.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的电力部件识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的电力部件识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911258770.5A CN111027480A (zh) | 2019-12-10 | 2019-12-10 | 电力部件识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911258770.5A CN111027480A (zh) | 2019-12-10 | 2019-12-10 | 电力部件识别方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111027480A true CN111027480A (zh) | 2020-04-17 |
Family
ID=70208525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911258770.5A Pending CN111027480A (zh) | 2019-12-10 | 2019-12-10 | 电力部件识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027480A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668416A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 无人机配网巡检视频实时分析识别方法和嵌入式巡检装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN109614947A (zh) * | 2018-12-19 | 2019-04-12 | 深圳供电局有限公司 | 电力部件识别模型训练方法、装置和计算机设备 |
| CN109709452A (zh) * | 2018-12-21 | 2019-05-03 | 深圳供电局有限公司 | 输电线路的绝缘子检测方法、系统和装置 |
-
2019
- 2019-12-10 CN CN201911258770.5A patent/CN111027480A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN109614947A (zh) * | 2018-12-19 | 2019-04-12 | 深圳供电局有限公司 | 电力部件识别模型训练方法、装置和计算机设备 |
| CN109709452A (zh) * | 2018-12-21 | 2019-05-03 | 深圳供电局有限公司 | 输电线路的绝缘子检测方法、系统和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 军事科学院军事科学信息研究中心: "《世界国防科技年度发展报告 试验鉴定领域发展报告》", 30 April 2019, 国防工业出版社, pages: 135 - 138 * |
| 安站东等: "无人机视觉下的输电塔线关键部件实时定位识别", 《人工智能与机器人研究》, pages 171 - 177 * |
| 廖义奎, 北京航空航天大学出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668416A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 无人机配网巡检视频实时分析识别方法和嵌入式巡检装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492643B (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
| US10769496B2 (en) | Logo detection | |
| CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| US10424072B2 (en) | Leveraging multi cues for fine-grained object classification | |
| CN111027563A (zh) | 一种文本检测方法、装置及识别系统 | |
| CN109255300B (zh) | 票据信息提取方法、装置、计算机设备及存储介质 | |
| CN110781877B (zh) | 一种图像识别方法、设备及存储介质 | |
| CN109446873A (zh) | 手写字体识别方法、系统以及终端设备 | |
| CN109299663A (zh) | 手写字体识别方法、系统以及终端设备 | |
| CN112926654A (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN113204660B (zh) | 多媒体数据处理方法、标签识别方法、装置及电子设备 | |
| KR102370910B1 (ko) | 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법 | |
| CN111079571A (zh) | 证卡信息识别及其边缘检测模型训练方法、装置 | |
| CN111553917A (zh) | 一种基于芯片缺陷检测的检测方法和系统 | |
| CN114596566A (zh) | 文本识别方法及相关装置 | |
| CN116052193B (zh) | Rpa界面动态表格的拾取和匹配方法及系统 | |
| CN111898544B (zh) | 文字图像匹配方法、装置和设备及计算机存储介质 | |
| CN116958919A (zh) | 目标检测方法、装置、计算机可读介质及电子设备 | |
| CN114092938A (zh) | 图像的识别处理方法、装置、电子设备及存储介质 | |
| CN117115565B (zh) | 一种基于自主感知的图像分类方法、装置及智能终端 | |
| CN106709490B (zh) | 一种字符识别方法和装置 | |
| KR20210116371A (ko) | 이미지 처리 방법, 장치, 전자장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램 | |
| CN111027480A (zh) | 电力部件识别方法、装置和计算机设备 | |
| CN113065533A (zh) | 一种特征提取模型生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |