CN114998576A - 一种输电线路开口销缺失检测方法、装置、设备和介质 - Google Patents

一种输电线路开口销缺失检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN114998576A
CN114998576A CN202210942328.XA CN202210942328A CN114998576A CN 114998576 A CN114998576 A CN 114998576A CN 202210942328 A CN202210942328 A CN 202210942328A CN 114998576 A CN114998576 A CN 114998576A
Authority
CN
China
Prior art keywords
transmission line
sample data
cotter
power transmission
cotter pin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210942328.XA
Other languages
English (en)
Other versions
CN114998576B (zh
Inventor
许书平
黄丰
曾懿辉
张虎
邵校嘉
麦俊佳
张纪宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority to CN202210942328.XA priority Critical patent/CN114998576B/zh
Publication of CN114998576A publication Critical patent/CN114998576A/zh
Application granted granted Critical
Publication of CN114998576B publication Critical patent/CN114998576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种输电线路开口销缺失检测方法、装置、设备和介质，对输电线路金具部件图像进行分块和标注，得到样本数据；通过注意力机制网络对样本数据进行处理，根据注意力机制网络处理得到的各样本数据的类别概率给对应的注意力特征图分配权重对注意力特征图进行加权，然后输入到卷积神经网络中进行开口销缺失检测，根据得到的开口销预测框和对应标注的开口销边界框优化注意力机制网络和卷积神经网络的网络参数，得到训练好的注意力机制模型和卷积神经网络模型，通过训练好的模型对待检测输电线路金具部件图像进行开口销缺失检测，改善了现有技术存在需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。

Description

一种输电线路开口销缺失检测方法、装置、设备和介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种输电线路开口销缺失检测方法、装置、设备和介质。
背景技术
输电线路是能源电力可持续发展中的重要环节，对输电铁塔设备进行维护、检修及测试是必不可少的。
开口销是输电线路中常见固定螺栓的器件，在输电线路中起着固定和连接各个部件的关键作用。由于各部件长期在野外工作，受自然环境的影响，因此各个部件的螺栓易产生螺母松动，开口销缺失等缺陷，从而严重影响高压线路电力的传输。螺栓开口销缺失，容易造成导线掉落，输电铁塔结构松动。为了保持输电线路的稳定运行，确保输电线路杆塔结构的稳定，需要对开口销进行缺失检测。
传统检测方法主要是通过人工攀登输电杆塔，查看螺栓开口销的缺失情况，存在安全性低和检测效率低的问题。为了改善该问题，现有技术采集输电杆塔图像，通过人工标注大量开口销图像来训练分类器，进而进行开口销缺失检测，该方法需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。
发明内容
本申请提供了一种输电线路开口销缺失检测方法、装置、设备和介质，用于改善现有技术存在需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。
有鉴于此，本申请第一方面提供了一种输电线路开口销缺失检测方法，包括：
对采集的输电线路金具部件图像进行分块处理，得到若干图像块；
采用标注工具对所述图像块进行类别标注和开口销边界框标注，得到若干样本数据；
通过注意力机制网络对所述样本数据进行处理，获取所述样本数据的类别概率和注意力特征图；
根据各所述样本数据的类别概率给对应的注意力特征图分配权重，通过各所述注意力特征图的权重对各所述注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各所述样本数据的开口销预测框；
根据各所述样本数据的开口销预测框和对应标注的开口销边界框优化所述注意力机制网络和所述卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；
通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
可选的，所述对采集的输电线路金具部件图像进行分块处理，得到若干图像块，之前还包括：
对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，所述预处理包括尺寸裁剪、图像增强处理和锐化处理，锐化后的输电线路金具部件图像为：
Figure 735548DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 897539DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
可选的，标注的类别包括开口销存在和开口销缺失两种类别，开口销缺失对应的类别标签为1，开口销存在对应的类别标签为0。
可选的，所述根据各所述样本数据的类别概率给对应的注意力特征图分配权重，包括：
通过预置权重公式，根据各所述样本数据的类别概率给对应的注意力特征图分配权重，所述预置权重公式为：
Figure 896719DEST_PATH_IMAGE003
；
式中，W j 为样本数据X j 对应的注意力特征图的权重，f(X j )为预测样本数据X j 属于类别标签1的类别概率，y j =1表示样本数据X j 实际属于类别标签1，y j =0表示样本数据X j 实际属于类别标签0，
Figure 181070DEST_PATH_IMAGE004
为调制系数，a为给定的参数值。
可选的，所述方法还包括：
训练过程中，每隔预置时间保存一次训练结果；
当训练中断时，通过查找最近一次保存的训练结果继续训练。
本申请第二方面提供了一种输电线路开口销缺失检测装置，包括：
分块单元，用于对采集的输电线路金具部件图像进行分块处理，得到若干图像块；
标注单元，用于采用标注工具对所述图像块进行类别标注和开口销边界框标注，得到若干样本数据；
处理单元，用于通过注意力机制网络对所述样本数据进行处理，获取所述样本数据的类别概率和注意力特征图；
第一检测单元，用于根据各所述样本数据的类别概率给对应的注意力特征图分配权重，通过各所述注意力特征图的权重对各所述注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各所述样本数据的开口销预测框；
参数优化单元，用于根据各所述样本数据的开口销预测框和对应标注的开口销边界框优化所述注意力机制网络和所述卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；
第二检测单元，用于通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
可选的，还包括：
预处理单元，用于对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，所述预处理包括尺寸裁剪、图像增强处理和锐化处理，锐化后的输电线路金具部件图像为：
Figure 531280DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 995497DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
可选的，还包括：保存单元，用于：
训练过程中，每隔预置时间保存一次训练结果；
当训练中断时，通过查找最近一次保存的训练结果继续训练。
本申请第三方面提供了一种输电线路开口销缺失检测设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的输电线路开口销缺失检测方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的输电线路开口销缺失检测方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种输电线路开口销缺失检测方法，包括：对采集的输电线路金具部件图像进行分块处理，得到若干图像块；采用标注工具对图像块进行类别标注和开口销边界框标注，得到若干样本数据；通过注意力机制网络对样本数据进行处理，获取样本数据的类别概率和注意力特征图；根据各样本数据的类别概率给对应的注意力特征图分配权重，通过各注意力特征图的权重对各注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各样本数据的开口销预测框；根据各样本数据的开口销预测框和对应标注的开口销边界框优化注意力机制网络和卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
本申请中，对采集的输电线路金具部件图像进行分块处理获取若干图像块，对图像块进行标注，在一定程度上减少了需要采集的数据量；并且本申请将标注得到的样本数据输入到注意力机制网络中进行处理以获取各样本数据的类别概率和注意力特征图，进而根据各样本数据的类别概率给对应的注意力特征图分配权重，再输入到卷积神经网络中进行训练，以改善训练数据的类别不均衡所导致的模型检测准确性差的问题，从而提高检测准确率，改善了现有技术存在需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种输电线路开口销缺失检测方法的一个流程示意图；
图2为本申请实施例提供的一种卷积神经网络的一个结构示意图；
图3为本申请实施例提供的一种检测结果的一个示意图；
图4为本申请实施例提供的一种输电线路开口销缺失检测装置的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
利用传统的攀登杆塔的方式，去查看输电线路开口销的缺失情况，这样在现场能准确检测到开口销的存在与缺失，杆塔的开口销数量一多，容易看漏、效率低，且高空作业存在一定的危险性。利用无人机采集到的航拍开口销图像，人工一个个去查看开口销缺失的螺栓，耗时耗力。而利用分类器进行开口销缺失的分类识别，这样能减少人工判别的时间，不过在模糊图像，识别准确率不高，并且需要采集大量图像获取训练样本，导致无人机巡视时间过长，影响无人机的安全性。
为了改善上述问题，本申请使用一种小样本的开口销缺失检测方法，通过采集小样本图像来获取训练样本进行训练，并且对训练过程进行改进，以提高模型训练效果，进而提高检测准确率。为了便于理解，请参阅图1，本申请实施例提供了一种输电线路开口销缺失检测方法，包括：
步骤101、对采集的输电线路金具部件图像进行分块处理，得到若干图像块。
可以通过无人机航拍输电杆塔的金具部件，获取少批量的输电线路金具部件图像，得到小样本数据集。可以对采集的输电线路金具部件图像进行筛选，筛选掉不相关的输电线路金具部件图像。然后可以对筛选后的输电线路金具部件图像进行分块处理，得到若干图像块。还可以对图像块做进一步筛选，筛选掉模糊、遮挡的图像块，可以避免模糊、遮挡图像影响模型训练效果，从而提高检测效果。
进一步，在对输电线路金具部件图像进行分块之前，还可以对对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，然后再对预处理后的输电线路金具部件图像进行分块处理，其中，预处理可以包括尺寸裁剪、图像增强处理和锐化处理。
具体的，可以对输电线路金具部件图像进行锐化处理，使得图像中的开口销的轮廓特征凸显，更易于模型检测；然后可以对锐化后的输电线路金具部件图像进行图像增强处理，以对图像数据进行数量扩增；进一步可以对扩增后的图像数据进行尺寸裁剪，得到统一大小的输电线路金具部件图像，即最终的预处理后的输电线路金具部件图像，各图像在保存时可以给个图像进行命名，以便后续调用。
其中，锐化后的输电线路金具部件图像为：
Figure 177080DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 304436DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
步骤102、采用标注工具对图像块进行类别标注和开口销边界框标注，得到若干样本数据。
可以采用标注工具LabelImage对图像块进行类别标注和开口销边界框标注，得到若干样本数据。其中，标注的类别包括开口销存在和开口销缺失两种类别，开口销缺失对应的类别标签可以为1，开口销存在对应的类别标签可以为0。
步骤103、通过注意力机制网络对样本数据进行处理，获取样本数据的类别概率和注意力特征图。
将标注好的样本数据输入到注意力机制网络中进行处理，获取样本数据的类别概率和注意力特征图。注意力机制网络由编码器F en 和解码器F de 构成，各样本数据X可以划分为N个输入向量x 1,x 2,...,x N ，注意力机制网络输出的注意力特征图C t 可以表示为：
Figure 204259DEST_PATH_IMAGE005
；
式中，
Figure 708052DEST_PATH_IMAGE006
为t时刻的输入向量x i 的注意力分布，
Figure 947404DEST_PATH_IMAGE007
为输入向量x i 的加权平均值。
步骤104、根据各样本数据的类别概率给对应的注意力特征图分配权重，通过各注意力特征图的权重对各注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各样本数据的开口销预测框。
通过预置权重公式，根据各样本数据的类别概率给对应的注意力特征图分配权重，预置权重公式为：
Figure 307978DEST_PATH_IMAGE003
；
式中，W j 为样本数据X j 对应的注意力特征图的权重，f(X j )为预测样本数据X j 属于类别标签1的类别概率，y j =1表示样本数据X j 实际属于类别标签1，y j =0表示样本数据X j 实际属于类别标签0，
Figure 145963DEST_PATH_IMAGE004
为调制系数，a为给定的参数值。
本申请实施例中的权重分配是针对类别不均衡问题所提出的改进方法，可以通过减少易分类样本的权重，使得网络在训练时更专注于难分类的样本，通过调制系数
Figure 515765DEST_PATH_IMAGE004
来实现样本的权重控制。对于类别标签为1的样本，当f(X j )越大，则调制系数此时基于该样本X j 是一个容易分类样本的假设，所以给予该样本X j 更小的贡献权重。通过调制系数
Figure 344044DEST_PATH_IMAGE004
的设置，可以获得自适应地对难易样本进行学习的能力。
通过上述过程获取到各注意力特征图的权重分布情况，然后通过各注意力特征图的权重对各注意力特征图进行加权，然后将加权后的注意力特征图输入到卷积神经网络中进行开口销缺失检测，得到各样本数据的开口销预测框。加权后的注意力特征图可以划分为N个输入向量c 1,c 2,...,c N ，然后输入到卷积神经网络中进行卷积操作，即s(t)=(c i *w)(t)，其中，i=1,2,..,N，w为卷积神经网络的权重值，t为训练时间序列，s为卷积操作后的特征图，*为卷积运算。
步骤105、根据各样本数据的开口销预测框和对应标注的开口销边界框优化注意力机制网络和卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型。
可以根据各样本数据的开口销预测框B j 和对应标注的开口销边界框M j 计算边界框的交并比IOU(M j ,B j )，即：
Figure 141098DEST_PATH_IMAGE008
；
通过交并比可以衡量预测框与实际标注的开口销边界框的重叠程度，通过计算交并比可以计算训练时的检测准确率，当检测准确率低于预置准确率阈值时，对注意力机制网络和卷积神经网络的网络参数进行优化，不断进行迭代训练，直至检测准确率等于或大于预置准确率阈值，得到训练好的注意力机制模型和训练好的卷积神经网络模型。
卷积神经网络可以采用现有的单一网络结构，也可以是由两个网络集成构成，如图2所示，其中，CBL模块由conv（卷积层）、bn（主干网络）、LRelu（激活函数）依次串联组成，主干网络用于特征提取，激活函数用于提高网络的学习能力，提升梯度传递效率；Resnet-unit为残差块；concat为拼接层，用于拼接浅层特征和深层特征，以进行特征融合；BN是归一化批处理层，作用是每一层数据进入神经元进行激活函数训练前批量的标准化处理。本申请实施例可以将图2所示的两个网络进行组合训练，将加权后的注意力特征图输入到图2中的其中一个网络进行检测，得到预测框，然后根据预测框从输入特征图（即加权后的注意力特征图）中提取对应的子特征图，即将预测框中的特征提取出来，再将其输入到另一个网络中进行检测，有助于提高训练效果。
进一步，训练过程中，可以每隔预置时间保存一次训练结果；当训练中断时，通过查找最近一次保存的训练结果继续训练。通常会在服务器中训练模型，可以设置服务器每隔预置时间（如一个小时）保存一次训练结果（包括网络参数等），若发生训练中断（如服务器故障导致的训练中断等），在重启服务器后可以找到中断点最近一次保存的训练结果继续训练，从而可以避免每次训练中断需要从头开始训练，以提高训练效率。
步骤106、通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
在得到训练好的注意力机制模型和卷积神经网络模型后，可以对采集的待检测输电线路金具部件图像进行开口销缺失检测，得到开口销缺失或开口销存在的检测结果，可以参考图3。具体检测过程与训练过程类似，在此不再进行赘述。
本申请实施例中，对采集的输电线路金具部件图像进行分块处理获取若干图像块，对图像块进行标注，在一定程度上减少了需要采集的数据量；并且本申请将标注得到的样本数据输入到注意力机制网络中进行处理以获取各样本数据的类别概率和注意力特征图，进而根据各样本数据的类别概率给对应的注意力特征图分配权重，再输入到卷积神经网络中进行训练，以改善训练数据的类别不均衡所导致的模型检测准确性差的问题，从而提高检测准确率，改善了现有技术存在需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。
以上为本申请提供的一种输电线路开口销缺失检测方法的一个实施例，以下为本申请提供的一种输电线路开口销缺失检测装置的一个实施例。
请参考图4，本申请实施例提供的一种输电线路开口销缺失检测装置，包括：
分块单元，用于对采集的输电线路金具部件图像进行分块处理，得到若干图像块；
标注单元，用于采用标注工具对图像块进行类别标注和开口销边界框标注，得到若干样本数据；
处理单元，用于通过注意力机制网络对样本数据进行处理，获取样本数据的类别概率和注意力特征图；
第一检测单元，用于根据各样本数据的类别概率给对应的注意力特征图分配权重，通过各注意力特征图的权重对各注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各样本数据的开口销预测框；
参数优化单元，用于根据各样本数据的开口销预测框和对应标注的开口销边界框优化注意力机制网络和卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；
第二检测单元，用于通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
作为进一步地改进，装置还包括：
预处理单元，用于对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，预处理包括尺寸裁剪、图像增强处理和锐化处理，锐化后的输电线路金具部件图像为：
Figure 687617DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 798793DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
作为进一步地改进，装置还包括：保存单元，用于：
训练过程中，每隔预置时间保存一次训练结果；
当训练中断时，通过查找最近一次保存的训练结果继续训练。
本申请实施例中，对采集的输电线路金具部件图像进行分块处理获取若干图像块，对图像块进行标注，在一定程度上减少了需要采集的数据量；并且本申请将标注得到的样本数据输入到注意力机制网络中进行处理以获取各样本数据的类别概率和注意力特征图，进而根据各样本数据的类别概率给对应的注意力特征图分配权重，再输入到卷积神经网络中进行训练，以改善训练数据的类别不均衡所导致的模型检测准确性差的问题，从而提高检测准确率，改善了现有技术存在需要采集大量图像获取训练数据，且存在检测准确率不高的技术问题。
本申请实施例还提供了一种输电线路开口销缺失检测设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的输电线路开口销缺失检测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的输电线路开口销缺失检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种输电线路开口销缺失检测方法，其特征在于，包括：
对采集的输电线路金具部件图像进行分块处理，得到若干图像块；
采用标注工具对所述图像块进行类别标注和开口销边界框标注，得到若干样本数据；
通过注意力机制网络对所述样本数据进行处理，获取所述样本数据的类别概率和注意力特征图；
根据各所述样本数据的类别概率给对应的注意力特征图分配权重，通过各所述注意力特征图的权重对各所述注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各所述样本数据的开口销预测框；
根据各所述样本数据的开口销预测框和对应标注的开口销边界框优化所述注意力机制网络和所述卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；
通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
2.根据权利要求1所述的输电线路开口销缺失检测方法，其特征在于，所述对采集的输电线路金具部件图像进行分块处理，得到若干图像块，之前还包括：
对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，所述预处理包括尺寸裁剪、图像增强处理和锐化处理，锐化后的输电线路金具部件图像为：
Figure 622355DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 257473DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
3.根据权利要求1所述的输电线路开口销缺失检测方法，其特征在于，标注的类别包括开口销存在和开口销缺失两种类别，开口销缺失对应的类别标签为1，开口销存在对应的类别标签为0。
4.根据权利要求3所述的输电线路开口销缺失检测方法，其特征在于，所述根据各所述样本数据的类别概率给对应的注意力特征图分配权重，包括：
通过预置权重公式，根据各所述样本数据的类别概率给对应的注意力特征图分配权重，所述预置权重公式为：
Figure 926352DEST_PATH_IMAGE003
；
式中，W j 为样本数据X j 对应的注意力特征图的权重，f(X j )为预测样本数据X j 属于类别标签1的类别概率，y j =1表示样本数据X j 实际属于类别标签1，y j =0表示样本数据X j 实际属于类别标签0，
Figure 857399DEST_PATH_IMAGE004
为调制系数，a为给定的参数值。
5.根据权利要求1所述的输电线路开口销缺失检测方法，其特征在于，所述方法还包括：
训练过程中，每隔预置时间保存一次训练结果；
当训练中断时，通过查找最近一次保存的训练结果继续训练。
6.一种输电线路开口销缺失检测装置，其特征在于，包括：
分块单元，用于对采集的输电线路金具部件图像进行分块处理，得到若干图像块；
标注单元，用于采用标注工具对所述图像块进行类别标注和开口销边界框标注，得到若干样本数据；
处理单元，用于通过注意力机制网络对所述样本数据进行处理，获取所述样本数据的类别概率和注意力特征图；
第一检测单元，用于根据各所述样本数据的类别概率给对应的注意力特征图分配权重，通过各所述注意力特征图的权重对各所述注意力特征图进行加权后输入到卷积神经网络中进行开口销缺失检测，得到各所述样本数据的开口销预测框；
参数优化单元，用于根据各所述样本数据的开口销预测框和对应标注的开口销边界框优化所述注意力机制网络和所述卷积神经网络的网络参数，迭代训练直至训练精度满足预置要求，得到训练好的注意力机制模型和卷积神经网络模型；
第二检测单元，用于通过训练好的注意力机制模型和卷积神经网络模型对待检测输电线路金具部件图像进行开口销缺失检测，得到检测结果。
7.根据权利要求6所述的输电线路开口销缺失检测装置，其特征在于，还包括：
预处理单元，用于对采集的输电线路金具部件图像进行预处理，得到预处理后的输电线路金具部件图像，所述预处理包括尺寸裁剪、图像增强处理和锐化处理，锐化后的输电线路金具部件图像为：
Figure 549412DEST_PATH_IMAGE001
；
式中，g(x i ,y i )为锐化后的输电线路金具部件图像中的像素点(x i ,y i )的像素值，
Figure 286423DEST_PATH_IMAGE002
为微分算子，f(x i ,y i )为锐化前的输电线路金具部件图像中的像素点(x i ,y i )的像素值，x i 为像素点(x i ,y i )在x轴上的位置坐标，y i 为像素点(x i ,y i )在y轴上的位置坐标。
8.根据权利要求7所述的输电线路开口销缺失检测装置，其特征在于，还包括：保存单元，用于：
训练过程中，每隔预置时间保存一次训练结果；
当训练中断时，通过查找最近一次保存的训练结果继续训练。
9.一种输电线路开口销缺失检测设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的输电线路开口销缺失检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-5任一项所述的输电线路开口销缺失检测方法。
CN202210942328.XA 2022-08-08 2022-08-08 一种输电线路开口销缺失检测方法、装置、设备和介质 Active CN114998576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210942328.XA CN114998576B (zh) 2022-08-08 2022-08-08 一种输电线路开口销缺失检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210942328.XA CN114998576B (zh) 2022-08-08 2022-08-08 一种输电线路开口销缺失检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN114998576A true CN114998576A (zh) 2022-09-02
CN114998576B CN114998576B (zh) 2022-12-30

Family

ID=83022952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210942328.XA Active CN114998576B (zh) 2022-08-08 2022-08-08 一种输电线路开口销缺失检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114998576B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731478A (zh) * 2022-11-24 2023-03-03 国网湖北省电力有限公司超高压公司 一种基于多级目标检测的输电线路开口销目标检测方法
CN116152258A (zh) * 2023-04-23 2023-05-23 广东电网有限责任公司佛山供电局 一种输电线路绝缘子缺陷检测方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410207A (zh) * 2018-11-12 2019-03-01 贵州电网有限责任公司 一种基于ncc特征的无人机巡线图像输电线路检测方法
US20190108411A1 (en) * 2017-10-11 2019-04-11 Alibaba Group Holding Limited Image processing method and processing device
CN110610122A (zh) * 2019-07-09 2019-12-24 国网江苏省电力有限公司扬州供电分公司 输电设备可见光成像大数据人工智能检测诊断方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112733944A (zh) * 2021-01-13 2021-04-30 中国传媒大学 基于图像和类别的注意力的目标检测方法、装置及介质
CN113536896A (zh) * 2021-05-28 2021-10-22 国网河北省电力有限公司石家庄供电分公司 基于改进Faser RCNN的小目标检测方法、装置及存储介质
CN114120159A (zh) * 2021-12-09 2022-03-01 北京中电普华信息技术有限公司 输电线路销钉缺陷检测方法及装置
US20220237403A1 (en) * 2021-01-28 2022-07-28 Salesforce.Com, Inc. Neural network based scene text recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108411A1 (en) * 2017-10-11 2019-04-11 Alibaba Group Holding Limited Image processing method and processing device
CN109410207A (zh) * 2018-11-12 2019-03-01 贵州电网有限责任公司 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN110610122A (zh) * 2019-07-09 2019-12-24 国网江苏省电力有限公司扬州供电分公司 输电设备可见光成像大数据人工智能检测诊断方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112733944A (zh) * 2021-01-13 2021-04-30 中国传媒大学 基于图像和类别的注意力的目标检测方法、装置及介质
US20220237403A1 (en) * 2021-01-28 2022-07-28 Salesforce.Com, Inc. Neural network based scene text recognition
CN113536896A (zh) * 2021-05-28 2021-10-22 国网河北省电力有限公司石家庄供电分公司 基于改进Faser RCNN的小目标检测方法、装置及存储介质
CN114120159A (zh) * 2021-12-09 2022-03-01 北京中电普华信息技术有限公司 输电线路销钉缺陷检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731478A (zh) * 2022-11-24 2023-03-03 国网湖北省电力有限公司超高压公司 一种基于多级目标检测的输电线路开口销目标检测方法
CN115731478B (zh) * 2022-11-24 2023-12-22 国网湖北省电力有限公司超高压公司 一种基于多级目标检测的输电线路开口销目标检测方法
CN116152258A (zh) * 2023-04-23 2023-05-23 广东电网有限责任公司佛山供电局 一种输电线路绝缘子缺陷检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114998576B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN114998576B (zh) 一种输电线路开口销缺失检测方法、装置、设备和介质
CN107808139B (zh) 一种基于深度学习的实时监控威胁分析方法及系统
CN110569837B (zh) 优化损伤检测结果的方法及装置
WO2019214309A1 (zh) 模型测试的方法及装置
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN112232133A (zh) 基于深度卷积神经网络的输电线路图像识别方法及装置
CN110751270A (zh) 一种无人机电线故障检测方法、系统及设备
CN115019209A (zh) 一种基于深度学习的电力杆塔状态检测的方法及系统
CN115865483A (zh) 一种基于机器学习的异常行为分析方法和装置
CN116681923A (zh) 一种基于人工智能的眼科疾病自动分类方法及系统
CN117726991B (zh) 一种高空吊篮安全带检测方法及终端
CN113487223B (zh) 一种基于信息融合的风险评估方法和评估系统
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN111985269A (zh) 检测模型构建方法、检测方法、装置、服务器及介质
CN117523299A (zh) 一种基于计算机网络图像识别方法、系统和存储介质
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
CN115620083B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN115908786A (zh) 一种基于深度学习的电气柜接地线缆异常识别方法及系统
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN115063739A (zh) 异常行为的检测方法、装置、设备及计算机存储介质
CN113343767A (zh) 物流违规操作的识别方法、装置、设备和存储介质
CN110580465A (zh) 品相确定方法及装置、存储介质、电子装置
CN113240001B (zh) 一种棉花花药开裂状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant