CN111144420B - 基于小样本的电塔缺陷监测方法及系统 - Google Patents

基于小样本的电塔缺陷监测方法及系统 Download PDF

Info

Publication number
CN111144420B
CN111144420B CN201911133492.0A CN201911133492A CN111144420B CN 111144420 B CN111144420 B CN 111144420B CN 201911133492 A CN201911133492 A CN 201911133492A CN 111144420 B CN111144420 B CN 111144420B
Authority
CN
China
Prior art keywords
current
network
frame
test
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911133492.0A
Other languages
English (en)
Other versions
CN111144420A (zh
Inventor
孟小前
王佳颖
郑思嘉
叶子
武艺
李程启
王和平
李玉容
刘成强
辜超
郑文杰
胡卫明
李兵
刘雨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Power Space Technology Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Power Space Technology Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Power Space Technology Co ltd, State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Power Space Technology Co ltd
Priority to CN201911133492.0A priority Critical patent/CN111144420B/zh
Publication of CN111144420A publication Critical patent/CN111144420A/zh
Application granted granted Critical
Publication of CN111144420B publication Critical patent/CN111144420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提供一种基于小样本的电塔缺陷监测方法及系统。该方法包括:根据小样本训练集得到每个当前实际缺陷框的当前特征向量,根据当前特征向量构建当前分类子网络和当前最优位置回归子网络,根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。

Description

基于小样本的电塔缺陷监测方法及系统
技术领域
本发明涉及人工智能领域,具体地,涉及一种基于小样本的电塔缺陷监测方法及系统。
背景技术
目前我国的电力系统仍是由发电、输电、变电、配电等环节构成,其中保障输电线路的可靠性是智能电网建设的重要内容,一直以来都需要人工来维护大量电气通信设备。
电塔存在的缺陷主要包括:玻璃绝缘子自爆、复合绝缘子伞裙破损、鸟巢以及销钉问题等,这些故障严重威胁到电网的安全运行。由于空中飞行平台(如直升机、无人机等)巡线具有高效、准确和安全等特点,近几年已成为输电线路巡检的重要方式,利用平台上装载的摄像头获取了大量航拍图像,其包括了各种有效的目标信息。若对这些海量视频数据采用工作人员肉眼判读的方式分析电塔缺陷,易发生严重的检测误判或漏判情况,难以准确发现电塔存在的安全隐患,极大地增加了检修和标注大量数据的成本。
发明内容
本发明实施例的主要目的在于提供一种基于小样本的电塔缺陷监测方法及系统,以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
为了实现上述目的,本发明实施例提供一种基于小样本的电塔缺陷监测方法,包括:
获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
本发明实施例还提供一种基于小样本的电塔缺陷监测系统,包括:
第一获取单元,用于获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
当前特征向量单元,用于基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
第一计算单元,用于根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
当前结构特征向量单元,用于基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
第一最优参数映射网络单元,用于串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
第二最优参数映射网络单元,用于串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
第二计算单元,用于将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
子网络构建单元,用于根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
候选缺陷框特征向量单元,用于根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
电塔缺陷类型单元,用于输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
电塔缺陷位置坐标单元,用于输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现所述的基于小样本的电塔缺陷监测方法的步骤。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现所述的基于小样本的电塔缺陷监测方法的步骤。
本发明实施例的基于小样本的电塔缺陷监测方法及系统先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例中基于小样本的电塔缺陷监测方法的流程图;
图2是本发明实施例中S102的流程图;
图3是本发明实施例中S109的流程图;
图4是本发明第二实施例中基于小样本的电塔缺陷监测方法的流程图;
图5是本发明实施例中S402的流程图;
图6是本发明实施例中S404的流程图;
图7是本发明实施例中基于小样本的电塔缺陷监测系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
鉴于现有技术采用工作人员肉眼判读的方式分析电塔缺陷,易发生严重的检测误判或漏判情况,难以准确发现电塔存在的安全隐患,极大地增加了检修和标注大量数据的成本,本发明实施例提供一种基于小样本的电塔缺陷监测方法,以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。以下结合附图对本发明进行详细说明。
图1是本发明第一实施例中基于小样本的电塔缺陷监测方法的流程图。如图1所示,基于小样本的电塔缺陷监测方法包括:
S101:获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框。
S102:基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量。
其中,S102包括:将当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量。最优训练框架包括:最优深度残差网络和最优特征金字塔网络。
图2是本发明实施例中S102的流程图,如图2所示,S102包括:
S201:将当前小样本训练集输入最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图。
具体实施时,最优深度残差网络对当前小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前训练特征图。
S202:将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图。
S203:在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征。
S103:根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值。
S104:基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量。
一实施例中,S104包括:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量。
最优图卷积网络的节点特征为每个类别的当前特征向量的平均值。各个节点特征之差的绝对值经过两层全连接层后的输出为两两节点之间连接边的连接边特征;连接边特征表征节点间的相似度。以节点特征和边特征作为输入,经过三层图卷积网络可以得到每个类别的当前结构特征向量。
S105:串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数。
S106:串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值。
其中,分类子网络的最优参数映射网络和位置回归子网络的最优参数映射网络均包含两层全连接网络,第一层全连接网络后接有一层线性整流函数(ReLU,RectifiedLinear Unit)进行非线性变换。
S107:将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数。
S108:根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络。
S109:根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量。
一实施例中,S109包括:将当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。其中,最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;最优全连接层有两层。
图3是本发明实施例中S109的流程图,如图3所示,S109包括:
S301:将当前电塔图像输入最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图。
具体实施时,最优深度残差网络对当前电塔图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前特征图。
S302:将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图。
S303:利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框。
S304:在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征
S305:输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
S110:输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型。
一实施例中,根据每个当前候选缺陷框的位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型包括:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
例如,其中一个当前候选缺陷框为类别A缺陷的概率为70%,为类别B缺陷的概率为20%,为类别C缺陷的概率为10%,则该当前候选缺陷框的电塔缺陷类型为类别A。
S111:输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
图1所示的基于小样本的电塔缺陷监测方法的执行主体可以为计算机。本发明中各个网络的迭代训练过程在caffe框架下实现,训练和测试过程均采用多个NVIDIA TITANXP GPU进行并行处理,并用Python语言编制了整个台标检测技术的工作程序。
由图1所示的流程可知,本发明实施例的基于小样本的电塔缺陷监测方法先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
图4是本发明第二实施例中基于小样本的电塔缺陷监测方法的流程图。如图4所示,执行S101之前还包括:
S401:获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框。
其中,历史电塔图像训练集合的类别与电塔图像测试集合的类别相同;历史电塔训练图像与电塔测试图像不同。
执行如下迭代处理:
S402:将历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量。
其中,初始训练框架包括:初始深度残差网络和初始特征金字塔网络。
图5是本发明实施例中S402的流程图,如图5所示,S402包括:
S501:将历史小样本训练集输入初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图。
具体实施时,初始深度残差网络对历史小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的历史训练特征图。
S502:将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图。
S503:在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征。
S403:根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络。
S404:将小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量。
其中,初始测试框架包括:初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层。其中,初始全连接层有两层。
图6是本发明实施例中S404的流程图。如图6所示,S404包括:
S601:将小样本测试集输入初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图。
具体实施时,初始深度残差网络对小样本测试集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的测试特征图。
S602:将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图。
S603:利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框。
S604:在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征。
S605:输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
S405:输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标。
S406:根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值。
S407:根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一。
其中,可以采用公开的MS COCO目标检测数据集上预训练的模型作为初始深度残差网络、初始特征金字塔网络、初始区域候选网络、初始全连接层和初始位置回归子网络;随机初始化得到初始图卷积网络、分类子网络的初始参数映射网络和位置回归子网络的初始参数映射网络。
具体实施时,可以通过反向传播算法,根据小样本测试集的损失值梯度更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数。
S408:判断迭代次数是否小于预设迭代次数。
其中,当迭代次数小于预设迭代次数时,返回S202。
S409:当迭代次数等于预设迭代次数时,判断损失值是否收敛;当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
一实施例中,判断损失值是否收敛包括:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;计算最大值与最小值的差,并将差与预设阈值进行比较;当差小于或等于预设阈值时,损失值收敛。
例如,预设迭代次数为2000,则共有2000个损失值。将排序后的损失值分为20组,每组有100个损失值。计算每组中100个损失值的平均值,共有20个损失值的平均值。从20个损失值的平均值中选取最大值与最小值;计算最大值与最小值的差,并将差与预设阈值进行比较。当差小于或等于预设阈值时,损失值收敛,当差大于预设阈值时,损失值不收敛,重新迭代2000次。
本发明实施例的具体流程如下:
1、将剪裁成特定大小并重新规范命名的电塔高分辨率拍摄源图作为历史电塔训练图像、电塔测试图像、当前电塔训练图像和当前电塔图像。
2、采用公开的MS COCO目标检测数据集上预训练的模型作为初始深度残差网络、初始特征金字塔网络、初始区域候选网络、初始全连接层和初始位置回归子网络;随机初始化得到初始图卷积网络、分类子网络的初始参数映射网络和位置回归子网络的初始参数映射网络。
3、获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框。历史电塔图像训练集合的类别与电塔图像测试集合的类别相同;历史电塔训练图像与电塔测试图像不同。
执行如下迭代处理:
4、将历史小样本训练集输入初始深度残差网络中,初始深度残差网络对历史小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的历史训练特征图;每个历史电塔训练图像均对应多个不同尺度的历史训练特征图。
5、将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图。
6、采用RoIAlign算法在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
7、根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络。
8、将小样本测试集输入初始深度残差网络中,初始深度残差网络对小样本测试集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的测试特征图。每个电塔测试图像均对应多个不同尺度的测试特征图。
9、将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图。
10、利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框。
11、采用RoIAlign算法在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量。
12、输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
13、输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标。
14、根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值。
15、根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一。
16、判断迭代次数是否小于预设迭代次数。当迭代次数小于预设迭代次数时,返回步骤4。当迭代次数等于预设迭代次数时,判断损失值是否收敛。
17、当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
18、获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框。
19、将当前小样本训练集输入最优深度残差网络中,最优深度残差网络对当前小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前训练特征图;每个当前电塔训练图像均对应多个不同尺度的当前训练特征图。
20、将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图。
21、采用RoIAlign算法在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
22、根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值。将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量。
23、串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数。
24、串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数。
25、根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络。
26、将当前电塔图像输入最优深度残差网络中,最优深度残差网络对当前电塔图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前特征图;每个当前电塔测试图像均对应多个不同尺度的当前特征图。
27、将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图。
28、利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框。
29、采用RoIAlign算法在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量。
30、输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
31、输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率。
32、确定每个当前候选缺陷框的位于每个类别的概率中的最大值;将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
33、输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的基于小样本的电塔缺陷监测方法先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
基于同一发明构思,本发明实施例还提供了一种基于小样本的电塔缺陷监测系统,由于该系统解决问题的原理与基于小样本的电塔缺陷监测方法相似,因此该系统的实施可以参见方法的实施,重复之处不再赘述。
图7是本发明实施例中基于小样本的电塔缺陷监测系统的结构框图。如图7所示,基于小样本的电塔缺陷监测系统包括:
第一获取单元,用于获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
当前特征向量单元,用于基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
第一计算单元,用于根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
当前结构特征向量单元,用于基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
第一最优参数映射网络单元,用于串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
第二最优参数映射网络单元,用于串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
第二计算单元,用于将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
子网络构建单元,用于根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
候选缺陷框特征向量单元,用于根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
电塔缺陷类型单元,用于输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
电塔缺陷位置坐标单元,用于输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
在其中一种实施例中,当前特征向量单元具体用于:将当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量;
当前结构特征向量单元具体用于:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量;
候选缺陷框特征向量单元具体用于:将当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。
在其中一种实施例中,还包括:
第二获取单元,用于获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框;
迭代单元,用于执行如下迭代处理:
将历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量;
根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;
将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;
串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;
串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;
根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络;
将小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量;
输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标;
根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;
根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值;
根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一;
执行迭代处理至预设迭代次数后,判断损失值是否收敛;当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
在其中一种实施例中,最优训练框架包括:最优深度残差网络和最优特征金字塔网络;
最优训练框架单元具体用于:
将当前小样本训练集输入最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图;
将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图;
在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
在其中一种实施例中,最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;
最优测试框架单元具体用于:
将当前电塔图像输入最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图;
将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图;
利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框;
在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量;
输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
在其中一种实施例中,电塔缺陷类型单元具体用于:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;
将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
在其中一种实施例中,初始训练框架包括:初始深度残差网络和初始特征金字塔网络;
迭代单元具体用于:
将历史小样本训练集输入初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图;
将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图;
在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
在其中一种实施例中,初始测试框架包括:
初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层;
迭代单元具体用于:
将小样本测试集输入初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图;
将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图;
利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框;
在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量;
输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
在其中一种实施例中,迭代单元具体用于:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;
计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;
计算最大值与最小值的差,并将差与预设阈值进行比较;
当差小于或等于预设阈值时,损失值收敛。
综上,本发明实施例的基于小样本的电塔缺陷监测系统先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时可以实现基于小样本的电塔缺陷监测方法的全部或部分内容,例如,处理器执行计算机程序时可以实现如下内容:
获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的计算机设备先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现基于小样本的电塔缺陷监测方法的全部或部分内容,例如,处理器执行计算机程序时可以实现如下内容:
获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的计算机可读存储介质先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种基于小样本的电塔缺陷监测方法,其特征在于,包括:
获取当前小样本训练集;所述当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于所述当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将所述当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据所述当前分类子网络的参数构建当前分类子网络,根据所述当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至所述当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至所述当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
2.根据权利要求1所述的基于小样本的电塔缺陷监测方法,其特征在于:
所述得到每个当前实际缺陷框的当前特征向量包括:将所述当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量;
所述得到每个类别的当前结构特征向量包括:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量;
所述得到多个经过全连接的当前候选缺陷框的特征向量包括:将所述当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。
3.根据权利要求2所述的基于小样本的电塔缺陷监测方法,其特征在于,获取当前小样本训练集之前,还包括:
获取历史小样本训练集和小样本测试集;所述历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;所述小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框;
执行如下迭代处理:
将所述历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量;
根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;
将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;
串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;
串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将所述历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;
根据所述历史分类子网络的参数构建历史分类子网络,根据所述历史位置回归子网络的参数构建历史位置回归子网络;
将所述小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量;
输入每个经过全连接的测试候选缺陷框的特征向量至所述历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至所述历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标;
根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;
根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值;
根据所述小样本测试集的损失值更新所述初始训练框架、所述初始测试框架、所述初始图卷积网络、所述分类子网络的初始参数映射网络、所述位置回归子网络的初始参数映射网络和所述位置回归子网络的初始参数,令迭代次数加一;
执行所述迭代处理至预设迭代次数后,判断所述损失值是否收敛;当所述损失值收敛时,将最后一次迭代更新得到的初始训练框架作为所述最优训练框架、将最后一次迭代更新得到的初始测试框架作为所述最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为所述最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为所述分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为所述位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为所述最优位置回归子网络的参数;否则将所述迭代次数归零,并重新执行所述迭代处理至所述预设迭代次数。
4.根据权利要求2所述的基于小样本的电塔缺陷监测方法,其特征在于,所述最优训练框架包括:最优深度残差网络和最优特征金字塔网络;
将所述当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量包括:
将所述当前小样本训练集输入所述最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图;
将所述多个不同尺度的当前训练特征图输入所述最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图;
在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
5.根据权利要求2所述的基于小样本的电塔缺陷监测方法,其特征在于,所述最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;
将当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量包括:
将当前电塔图像输入所述最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图;
将所述多个不同尺度的当前特征图输入所述最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图;
利用所述最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框;
在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量;
输入每个当前候选缺陷框的特征向量至所述最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;所述经过全连接的当前候选缺陷框的特征向量的数量为多个。
6.根据权利要求1所述的基于小样本的电塔缺陷监测方法,其特征在于,根据每个当前候选缺陷框的位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型,包括:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;
将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
7.根据权利要求3所述的基于小样本的电塔缺陷监测方法,其特征在于,所述初始训练框架包括:初始深度残差网络和初始特征金字塔网络;
将所述历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量包括:
将所述历史小样本训练集输入所述初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图;
将所述多个不同尺度的历史训练特征图输入所述初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图;
在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
8.根据权利要求3所述的基于小样本的电塔缺陷监测方法,其特征在于,所述初始测试框架包括:
初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层;
将所述小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量包括:
将所述小样本测试集输入所述初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图;
将所述多个不同尺度的测试特征图输入所述初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图;
利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框;
在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量;
输入每个测试候选缺陷框的特征向量至所述初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;所述经过全连接的测试候选缺陷框的特征向量的数量为多个。
9.根据权利要求3所述的基于小样本的电塔缺陷监测方法,其特征在于,判断所述损失值是否收敛,包括:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;
计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;
计算所述最大值与所述最小值的差,并将所述差与预设阈值进行比较;
当所述差小于或等于所述预设阈值时,所述损失值收敛。
10.一种基于小样本的电塔缺陷监测系统,其特征在于,包括:
第一获取单元,用于获取当前小样本训练集;所述当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
当前特征向量单元,用于基于所述当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
第一计算单元,用于根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
当前结构特征向量单元,用于基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
第一最优参数映射网络单元,用于串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
第二最优参数映射网络单元,用于串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
第二计算单元,用于将所述当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
子网络构建单元,用于根据所述当前分类子网络的参数构建当前分类子网络,根据所述当前最优位置回归子网络的参数构建当前最优位置回归子网络;
候选缺陷框特征向量单元,用于根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
电塔缺陷类型单元,用于输入每个经过全连接的当前候选缺陷框的特征向量至所述当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
电塔缺陷位置坐标单元,用于输入每个当前候选缺陷框的特征向量至所述当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
11.根据权利要求10所述的基于小样本的电塔缺陷监测系统,其特征在于:
所述当前特征向量单元具体用于:将所述当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量;
所述当前结构特征向量单元具体用于:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量;
所述候选缺陷框特征向量单元具体用于:将所述当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。
12.根据权利要求11所述的基于小样本的电塔缺陷监测系统,其特征在于,还包括:
第二获取单元,用于获取历史小样本训练集和小样本测试集;所述历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;所述小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框;
迭代单元,用于执行如下迭代处理:
将所述历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量;
根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;
将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;
串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;
串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将所述历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;
根据所述历史分类子网络的参数构建历史分类子网络,根据所述历史位置回归子网络的参数构建历史位置回归子网络;
将所述小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量;
输入每个经过全连接的测试候选缺陷框的特征向量至所述历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至所述历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标;
根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;
根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值;
根据所述小样本测试集的损失值更新所述初始训练框架、所述初始测试框架、所述初始图卷积网络、所述分类子网络的初始参数映射网络、所述位置回归子网络的初始参数映射网络和所述位置回归子网络的初始参数,令迭代次数加一;
执行所述迭代处理至预设迭代次数后,判断所述损失值是否收敛;当所述损失值收敛时,将最后一次迭代更新得到的初始训练框架作为所述最优训练框架、将最后一次迭代更新得到的初始测试框架作为所述最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为所述最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为所述分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为所述位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为所述最优位置回归子网络的参数;否则将所述迭代次数归零,并重新执行所述迭代处理至所述预设迭代次数。
13.根据权利要求11所述的基于小样本的电塔缺陷监测系统,其特征在于,所述最优训练框架包括:最优深度残差网络和最优特征金字塔网络;
所述最优训练框架单元具体用于:
将所述当前小样本训练集输入所述最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图;
将所述多个不同尺度的当前训练特征图输入所述最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图;
在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
14.根据权利要求11所述的基于小样本的电塔缺陷监测系统,其特征在于,所述最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;
所述最优测试框架单元具体用于:
将当前电塔图像输入所述最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图;
将所述多个不同尺度的当前特征图输入所述最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图;
利用所述最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框;
在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量;
输入每个当前候选缺陷框的特征向量至所述最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;所述经过全连接的当前候选缺陷框的特征向量的数量为多个。
15.根据权利要求10所述的基于小样本的电塔缺陷监测系统,其特征在于,所述电塔缺陷类型单元具体用于:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;
将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
16.根据权利要求12所述的基于小样本的电塔缺陷监测系统,其特征在于,所述初始训练框架包括:初始深度残差网络和初始特征金字塔网络;
所述迭代单元具体用于:
将所述历史小样本训练集输入所述初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图;
将所述多个不同尺度的历史训练特征图输入所述初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图;
在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
17.根据权利要求12所述的基于小样本的电塔缺陷监测系统,其特征在于,所述初始测试框架包括:
初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层;
所述迭代单元具体用于:
将所述小样本测试集输入所述初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图;
将所述多个不同尺度的测试特征图输入所述初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图;
利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框;
在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量;
输入每个测试候选缺陷框的特征向量至所述初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;所述经过全连接的测试候选缺陷框的特征向量的数量为多个。
18.根据权利要求12所述的基于小样本的电塔缺陷监测系统,其特征在于,所述迭代单元具体用于:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;
计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;
计算所述最大值与所述最小值的差,并将所述差与预设阈值进行比较;
当所述差小于或等于所述预设阈值时,所述损失值收敛。
19.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的基于小样本的电塔缺陷监测方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的基于小样本的电塔缺陷监测方法的步骤。
CN201911133492.0A 2019-11-19 2019-11-19 基于小样本的电塔缺陷监测方法及系统 Active CN111144420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911133492.0A CN111144420B (zh) 2019-11-19 2019-11-19 基于小样本的电塔缺陷监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911133492.0A CN111144420B (zh) 2019-11-19 2019-11-19 基于小样本的电塔缺陷监测方法及系统

Publications (2)

Publication Number Publication Date
CN111144420A CN111144420A (zh) 2020-05-12
CN111144420B true CN111144420B (zh) 2023-08-11

Family

ID=70517112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133492.0A Active CN111144420B (zh) 2019-11-19 2019-11-19 基于小样本的电塔缺陷监测方法及系统

Country Status (1)

Country Link
CN (1) CN111144420B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915558B (zh) * 2020-06-30 2023-12-01 成都思晗科技股份有限公司 一种高压输电线销钉状态检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质

Also Published As

Publication number Publication date
CN111144420A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
Stefenon et al. Classification of distribution power grid structures using inception v3 deep neural network
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN112906620B (zh) 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN113536081B (zh) 基于人工智能的数据中心数据管理方法及系统
CN112180204A (zh) 一种基于电气量信息的电网线路故障诊断方法
CN111650453A (zh) 基于加窗特征希尔伯特图像化的电力设备诊断方法及系统
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN109061391B (zh) 一种基于计算机视觉潮流图的电网故障诊断方法及系统
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN111144420B (zh) 基于小样本的电塔缺陷监测方法及系统
CN112379325A (zh) 一种用于智能电表的故障诊断方法及系统
Wanguo et al. Typical defect detection technology of transmission line based on deep learning
CN112967248A (zh) 生成缺陷图像样本的方法、装置、介质及程序产品
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统
CN106652020B (zh) 一种基于模型的塔杆三维重建方法
CN115542944A (zh) 一种基于配电网环境的多无人机路径规划方法及相关装置
CN113989209A (zh) 基于Faster R-CNN的电力线异物检测方法
CN113205215A (zh) 一种基于知识的战场态势预测方法
CN112396104A (zh) 一种基于机器学习的等离子体放电识别方法及系统
CN116912637B (zh) 输变电缺陷识别的方法、装置、计算机设备和存储介质
CN117612044A (zh) 一种复杂场景下无人机巡检输电线路绝缘子的方法
CN116595448A (zh) 基于卷积神经网络电力系统暂态稳定评估的方法
CN117636125A (zh) 一种基于C2f-Faster的YOLOv8n输电线路故障检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 102209 7th floor, block C, No.18, Binhe Avenue, future science and Technology City, Changping District, Beijing

Applicant after: State Grid Power Space Technology Co.,Ltd.

Applicant after: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: 102209 7th floor, block C, No.18, Binhe Avenue, future science and Technology City, Changping District, Beijing

Applicant before: SGCC GENERAL AVIATION Co.,Ltd.

Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Applicant before: STATE GRID CORPORATION OF CHINA

GR01 Patent grant
GR01 Patent grant