CN116342607A - 输电线缺陷的识别方法、装置、电子设备及存储介质 - Google Patents

输电线缺陷的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116342607A
CN116342607A CN202310623731.0A CN202310623731A CN116342607A CN 116342607 A CN116342607 A CN 116342607A CN 202310623731 A CN202310623731 A CN 202310623731A CN 116342607 A CN116342607 A CN 116342607A
Authority
CN
China
Prior art keywords
transmission line
defect
power transmission
representing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310623731.0A
Other languages
English (en)
Other versions
CN116342607B (zh
Inventor
李永军
李小飞
柴东元
韩建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snegrid Electric Technology Co ltd
Original Assignee
Snegrid Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snegrid Electric Technology Co ltd filed Critical Snegrid Electric Technology Co ltd
Priority to CN202310623731.0A priority Critical patent/CN116342607B/zh
Publication of CN116342607A publication Critical patent/CN116342607A/zh
Application granted granted Critical
Publication of CN116342607B publication Critical patent/CN116342607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种输电线缺陷的识别方法、装置、电子设备及存储介质，输电线缺陷的识别方法包括：采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像；将目标图像输入至预先训练好的缺陷识别模型，输出识别结果；根据识别结果得到输电线的缺陷情况。本发明实施例的输电线缺陷的识别方法，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。

Description

输电线缺陷的识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像检测识别技术领域，特别涉及一种输电线缺陷的识别方法、一种输电线缺陷的识别装置、一种计算机可读存储介质和一种电子设备。
背景技术
目前输电线路中，导线类的缺陷检测方法可利用无人机进行现场图像拍摄，然后采用传统的基于矩形目标框检测方式进行检测识别导线类缺陷。导线类缺陷一般有导线松股、断股、灼伤和锈蚀，其中锈蚀和松股一般存在极端的长短边比例，且导线本体特征不同于其他矩形类物体，导线本体也存在极端的长短边比例，常分布于整个图像中。如图1所示，当采用传统的矩形框对待标注的物体进行标注时，可通过四个参数（xmin，ymin，xmax，ymax）对矩形框进行表示，其中（xmin，ymin）为矩形左上角顶点坐标，（xmax，ymax）为矩形右下角标注坐标。当存在极大的长短边比例，且物体在样本中的位置是存在一定的倾斜角度时，此时使用传统的矩形框会将外部的各种特征包裹，造成待检测物体特征较少，造成模型的分类压力增大，容易出现对缺陷的误检和漏检。尤其，输电导线类物体极易出现此类情况。因此，采用传统的矩形框类检测方式，真实框内的输电线的特征较少，导致模型检测的准确率较低，增加了检测的压力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种输电线缺陷的识别方法、装置、电子设备及存储介质，以提高输电线缺陷的检出率。
为达到上述目的，本发明第一方面实施例提出了一种输电线缺陷的识别方法，所述方法包括：采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果；根据所述识别结果得到输电线的缺陷情况。
另外，本发明实施例的输电线缺陷的识别方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述缺陷识别模型的训练过程，包括：构建训练样本集，其中，所述训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值；在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值；计算所述锚框与对应的旋转框的偏移量，得到第一偏移量，并计算所述预测框与锚框的偏移量，得到第二偏移量；根据所述第一偏移量和所述第二偏移量得到边界框回归损失，并根据所述缺陷类别预测值和对应的缺陷类别真实值得到分类损失；根据所述边界框回归损失和所述分类损失得到当前训练周期的损失函数，并判断所述损失函数是否满足训练结束条件；若不满足，则利用所述损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练；若满足，则将当前的缺陷识别模型作为所述训练好的缺陷识别模型。
根据本发明的一个实施例，所述旋转框利用五元组数据
Figure SMS_1
表示，所述锚框利用五元组数据/>
Figure SMS_2
表示，所述预测框利用五元组数据/>
Figure SMS_3
表示；通过如下公式计算得到第一偏移量/>
Figure SMS_4
：
Figure SMS_5
，/>
Figure SMS_6
，/>
Figure SMS_7
，/>
Figure SMS_8
，/>
Figure SMS_9
。
通过如下公式计算第二偏移量
Figure SMS_10
：
Figure SMS_11
，/>
Figure SMS_12
，/>
Figure SMS_13
，/>
Figure SMS_14
，/>
Figure SMS_15
。
其中，
Figure SMS_16
分别表示所述旋转框的中心坐标、宽度、高度和角度，
Figure SMS_17
分别表示所述锚框的中心坐标、宽度、高度和角度，
Figure SMS_18
分别表示所述预测框的中心坐标、宽度、高度和角度。
根据本发明的一个实施例，将所述边界框回归损失和所述分类损失进行加权，得到所述损失函数。
根据本发明的一个实施例，通过如下公式计算所述边界框回归损失：
Figure SMS_19
其中，
Figure SMS_21
表示所述边界框回归损失，/>
Figure SMS_29
表示所述锚框的数量，/>
Figure SMS_30
表示第n个锚框中是否包含输电线，若包含则/>
Figure SMS_22
=1，否则/>
Figure SMS_23
=0，/>
Figure SMS_24
，表示第n个锚框对应的第一偏移量，/>
Figure SMS_25
={/>
Figure SMS_20
|/>
Figure SMS_26
}，表示第n个锚框对应的第二偏移量，
Figure SMS_27
表示当前的预测框与对应的旋转框的IOU值，/>
Figure SMS_28
表示平方差损失。
通过如下公式计算所述分类损失：
Figure SMS_31
其中，
Figure SMS_32
表示所述分类损失，/>
Figure SMS_33
表示所述锚框的数量，C表示输电线的总缺陷类别数量，/>
Figure SMS_34
表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>
Figure SMS_35
表示第n个锚框在第i个类别中的概率分布。
根据本发明的一个实施例，所述构建训练样本集，包括：获取初始训练样本，其中，所述初始训练样本包括多个方向的输电线图像；对所述初始训练样本进行预处理，其中，所述预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像；分别对所述初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到所述训练样本集。
根据本发明的一个实施例，所述缺陷识别模型采用yolov5s网络。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的输电线缺陷的识别方法。
为达到上述目的，本发明第三方面实施例提出了一种输电线缺陷的识别装置，其特征在于，所述装置包括：图像采集模块，用于采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；目标检测模块，用于利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；缺陷识别模块，用于将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据所述识别结果得到输电线的缺陷情况。
为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述的输电线缺陷的识别方法。
本发明实施例的输电线缺陷的识别方法、装置、电子设备及存储介质，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。
附图说明
图1是相关技术中传统的矩形框对待标注的物体进行标注的示意图；
图2是本发明一实施例的输电线缺陷的识别方法的流程示意图；
图3（a）是本发明一实施例的输电线的左侧正前方示意图；
图3（b）是本发明一实施例的输电线的左侧正后方示意图；
图3（c）是本发明一实施例的输电线的右侧正前方示意图；
图3（d）是本发明一实施例的输电线的右侧正后方示意图；
图4是本发明一实施例的旋转框对待标注物体进行标注的示意图；
图5是本发明一实施例的缺陷识别模型的训练过程的流程示意图；
图6是本发明一实施例的构建训练样本集的流程示意图；
图7是本发明一实施例的对原图进行随机裁剪的示意图；
图8是本发明一实施例的输电线缺陷的识别装置的结构示意图；
图9是本发明一实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的输电线缺陷的识别方法、装置、电子设备及存储介质。
图2是本发明一实施例的输电线缺陷的识别方法的流程示意图。
如图2所示，输电线缺陷的识别方法包括：
S1，采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者。
作为一个示例，由于导线类物体具有极端长短边比例，且部分缺陷如灼伤、轻微散股、轻微断股等缺陷可能在输电线的任意方向上。如图3（a）-3（d）所示，可通过无人机分别对输电线路中铁搭的四个方向进行拍摄，采集输电线的左侧正前方、右侧正前方、左侧正后方和右侧正后方的图像，从而提高对输电线的检测准确率。
S2，利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像。
作为一个示例，如图4所示，当采用旋转框对待标注物体进行标注时，可通过五个参数（x，y，w，h，θ）对旋转框进行表示，其中（x，y）表示旋转框的中心点坐标，（w，h）表示旋转框的两条边长。需要说明的是，旋转框的两条边长的选取是不固定的，可将沿基准线方向逆时针旋转时遇到的第一条边设为w，遇到的第二条件设为h，以避免旋转框w和h的混淆。其中，θ为旋转框的第一条边与基准线的夹角，该夹角的取值范围为θ∈[-π/2，0]。通过使用旋转框的方式对输电线进行标注，便于更准确地描述输电线的形状信息、位置信息和输电线的特征。
S3，将目标图像输入至预先训练好的缺陷识别模型，输出识别结果。
作为一个示例，把目标图像送进预先训练好的缺陷识别模型中进行分析处理，然后得到有关这个目标图像的缺陷检测结果。可通过使用计算机程序自动完成，能够识别出目标图像中存在的各种缺陷和损伤，便于工作人员快速、准确地采取相应的处理措施。
S4，根据识别结果得到输电线的缺陷情况。
本发明实施例的输电线缺陷的识别方法，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。
在本发明的一些实施例中，如图5所示，缺陷识别模型的训练过程，包括：
S31，构建训练样本集，其中，训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值。
S32，在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值。
需要说明的是，可在特征抽取后，对每个特征层的特征点预设一些锚框。其中，锚框的数量越多，缺陷识别模型的计算复杂度越高，缺陷识别模型的检出率越高。锚框的数量越少，缺陷识别模型的计算复杂度越低，缺陷识别模型的检出率越低。然而，锚框的数量与缺陷识别模型的检出率并不是单纯的线性关系，而是有一个阈值，超出这个数量不会带来明显的效率提升，具体可需要通过模型的多次训练情况进行调整。
S33，计算锚框与对应的旋转框的偏移量，得到第一偏移量，并计算预测框与锚框的偏移量，得到第二偏移量。
S34，根据第一偏移量和第二偏移量得到边界框回归损失，并根据缺陷类别预测值和对应的缺陷类别真实值得到分类损失。
S35，根据边界框回归损失和分类损失得到当前训练周期的损失函数。
S36，判断损失函数是否满足训练结束条件。
S37，若不满足，则利用损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练。
S38，若满足，则将当前的缺陷识别模型作为训练好的缺陷识别模型。
在该实施例中，通过使用基于旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值构建样本集，能够更准确地标注出输电线中的缺陷。缺陷识别模型的训练方法具有高精度、高鲁棒性和高效率等优点。
在本发明的一些实施例中，旋转框利用五元组数据
Figure SMS_36
表示，锚框利用五元组数据/>
Figure SMS_37
表示，预测框利用五元组数据/>
Figure SMS_38
表示。
通过如下公式计算得到第一偏移量
Figure SMS_39
：
Figure SMS_40
，/>
Figure SMS_41
，/>
Figure SMS_42
，/>
Figure SMS_43
，/>
Figure SMS_44
。
通过如下公式计算第二偏移量
Figure SMS_45
：
Figure SMS_46
，/>
Figure SMS_47
，/>
Figure SMS_48
，/>
Figure SMS_49
，/>
Figure SMS_50
。
其中，
Figure SMS_51
分别表示旋转框的中心坐标、宽度、高度和角度，
Figure SMS_52
分别表示锚框的中心坐标、宽度、高度和角度，/>
Figure SMS_53
分别表示预测框的中心坐标、宽度、高度和角度。
在该实施例中，通过上述计算可得到每个特征层中每个特征点的n个锚框的两组偏移量。在后续处理中，可通过LOSS函数收敛两种偏移量的值，回归至整个网络。将预测框与锚框的偏移量逐步拟合近似为锚框与旋转框的值，最终训练结束后预测框与锚框的偏移量即可视作锚框与预测框的偏移量，通过在锚框的坐标信息中添加该偏移量值即可得到检出框的实际值。通过偏移量的收敛计算相较于直接使用坐标值进行计算，能够降低数量级，可以避免在训练过程中出现LOSS函数波动较大或不收敛的问题。
在本发明的一些实施例中，将边界框回归损失和分类损失进行加权，得到损失函数。
具体地，通过如下公式计算边界框回归损失：
Figure SMS_54
其中，
Figure SMS_59
表示边界框回归损失，/>
Figure SMS_61
表示锚框的数量，/>
Figure SMS_63
表示第n个锚框中是否包含输电线，若包含则/>
Figure SMS_60
=1，否则/>
Figure SMS_62
=0，/>
Figure SMS_64
，表示第n个锚框对应的第一偏移量，/>
Figure SMS_65
={/>
Figure SMS_55
|/>
Figure SMS_56
}，表示第n个锚框对应的第二偏移量，/>
Figure SMS_57
表示当前的预测框与对应的旋转框的IOU（Intersection over Union，交并比）值，/>
Figure SMS_58
表示平方差损失。
通过如下公式计算分类损失：
Figure SMS_66
其中，
Figure SMS_67
表示分类损失，/>
Figure SMS_68
表示锚框的数量，C表示输电线的总缺陷类别数量，/>
Figure SMS_69
表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>
Figure SMS_70
表示第n个锚框在第i个类别中的概率分布。
作为一个示例，可通过如下公式计算损失函数：
Figure SMS_71
其中，
Figure SMS_72
和/>
Figure SMS_73
表示权重系数。
在本发明的一些实施例中，如图6所示，构建训练样本集，包括：
S311，获取初始训练样本，其中，初始训练样本包括多个方向的输电线图像。
S312，对初始训练样本进行预处理，其中，预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像。
如图7所示，可对原图进行随机裁剪。在随机裁剪阶段，若直接将边缘目标丢弃将会使得输电线的特征不明显；若直接将边缘目标用于训练，在边缘目标只剩下小部分特征时，会对模型造成一定的分类影响，同时会增加分类器的压力。
作为一个示例，预设阈值可为0.7。当裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在0.7以上时，视作输电线局部特征明显，予以保留，继续进行数据增强操作；当裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在0.7以下时，视作输电线局部特征丢失严重，不作保留。
作为另一个示例，输电线图像经过特征主干提取后，第一次使用的特征图会是下采样32倍数后的特征，为了减少综合模型的复杂度，并考虑到特征主干提取的需要，在经过预处理操作后，调整输电线图像的尺寸大小为1280。
S313，分别对初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到训练样本集。
在该实施例中，通过随机裁剪、翻转以及模糊等数据增强操作，可以有效提高模型的泛化能力和鲁棒性，增加训练数据的多样性，有利于防止过拟合。通过判断裁剪后图像中输电线特征与裁剪前图像中输电线特征IOU的比值是否满足预设阈值，能够有效避免因裁剪造成的信息损失，有助于提高模型的精度。
在本发明的一些实施例中，缺陷识别模型采用yolov5s网络。
在该实施例中，通过采用yolov5s网络，能够降低主干特征提取的时长，提高工作效率。
对应上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的输电线缺陷的识别方法。
本发明实施例的计算机可读存储介质，能够提高输电线缺陷的检出率。
对应上述实施例，本发明还提出一种输电线缺陷的识别装置。
图8是本发明一实施例的输电线缺陷的识别装置的结构示意图。
如图8所示，输电线缺陷的识别装置包括：
图像采集模块10，用于采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者。
目标检测模块20，用于利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像。
缺陷识别模块30，用于将目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据识别结果得到输电线的缺陷情况。
需要说明的是，本发明实施例的输电线缺陷的识别装置的其他具体实施方式可参见本发明上述实施例的输电线缺陷的识别方法的具体实施方式。
本发明实施例的输电线缺陷的识别装置，通过目标检测模块20和缺陷识别模块30，能够提高输电线缺陷的检出率，降低漏检率和误检率。
对应上述实施例，本发明还提出一种电子设备。
图9是本发明一实施例的电子设备的结构示意图。
如图9所示，电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本发明实施例的限定。
处理器501可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器503用于存储与本发明上述实施例的输电线缺陷的识别方法对应的计算机程序，该计算机程序由处理器501来控制执行。处理器501用于执行存储器503中存储的计算机程序，以实现前述方法实施例所示的内容。
其中，电子设备500包括但不限于：笔记本电脑、PAD（平板电脑）等等的移动终端以及诸如台式计算机等等的固定终端。图9示出的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例的电子设备500，能够提高输电线缺陷的检出率，降低漏检率和误检率。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种输电线缺陷的识别方法，其特征在于，所述方法包括：
采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；
利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；
将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果；
根据所述识别结果得到输电线的缺陷情况。
2.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，所述缺陷识别模型的训练过程，包括：
构建训练样本集，其中，所述训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值；
在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值；
计算所述锚框与对应的旋转框的偏移量，得到第一偏移量，并计算所述预测框与锚框的偏移量，得到第二偏移量；
根据所述第一偏移量和所述第二偏移量得到边界框回归损失，并根据所述缺陷类别预测值和对应的缺陷类别真实值得到分类损失；
根据所述边界框回归损失和所述分类损失得到当前训练周期的损失函数，并判断所述损失函数是否满足训练结束条件；
若不满足，则利用所述损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练；
若满足，则将当前的缺陷识别模型作为所述训练好的缺陷识别模型。
3.根据权利要求2所述的输电线缺陷的识别方法，其特征在于，所述旋转框利用五元组数据
Figure QLYQS_1
表示，所述锚框利用五元组数据/>
Figure QLYQS_2
表示，所述预测框利用五元组数据/>
Figure QLYQS_3
表示；
通过如下公式计算得到第一偏移量
Figure QLYQS_4
：
Figure QLYQS_5
，/>
Figure QLYQS_6
，/>
Figure QLYQS_7
，/>
Figure QLYQS_8
，/>
Figure QLYQS_9
；
通过如下公式计算第二偏移量
Figure QLYQS_10
：
Figure QLYQS_11
，/>
Figure QLYQS_12
，/>
Figure QLYQS_13
，/>
Figure QLYQS_14
，/>
Figure QLYQS_15
；
其中，
Figure QLYQS_16
分别表示所述旋转框的中心坐标、宽度、高度和角度，
Figure QLYQS_17
分别表示所述锚框的中心坐标、宽度、高度和角度，
Figure QLYQS_18
分别表示所述预测框的中心坐标、宽度、高度和角度。
4.根据权利要求2所述的输电线缺陷的识别方法，其特征在于，将所述边界框回归损失和所述分类损失进行加权，得到所述损失函数。
5.根据权利要求3所述的输电线缺陷的识别方法，其特征在于，通过如下公式计算所述边界框回归损失：
Figure QLYQS_19
其中，
Figure QLYQS_21
表示所述边界框回归损失，/>
Figure QLYQS_24
表示所述锚框的数量，/>
Figure QLYQS_26
表示第n个锚框中是否包含输电线，若包含则/>
Figure QLYQS_22
=1，否则/>
Figure QLYQS_25
=0，/>
Figure QLYQS_27
，表示第n个锚框对应的第一偏移量，/>
Figure QLYQS_29
={/>
Figure QLYQS_20
| />
Figure QLYQS_23
}，表示第n个锚框对应的第二偏移量，
Figure QLYQS_28
表示当前的预测框与对应的旋转框的IOU值，/>
Figure QLYQS_30
表示平方差损失；
通过如下公式计算所述分类损失：
Figure QLYQS_31
其中，
Figure QLYQS_32
表示所述分类损失，/>
Figure QLYQS_33
表示所述锚框的数量，C表示输电线的总缺陷类别数量，
Figure QLYQS_34
表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>
Figure QLYQS_35
表示第n个锚框在第i个类别中的概率分布。
6.根据权利要求2所述的输电线缺陷的识别方法，其特征在于，所述构建训练样本集，包括：
获取初始训练样本，其中，所述初始训练样本包括多个方向的输电线图像；
对所述初始训练样本进行预处理，其中，所述预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像；
分别对所述初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到所述训练样本集。
7.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，所述缺陷识别模型采用yolov5s网络。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的输电线缺陷的识别方法。
9.一种输电线缺陷的识别装置，其特征在于，所述装置包括：
图像采集模块，用于采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；
目标检测模块，用于利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；
缺陷识别模块，用于将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据所述识别结果得到输电线的缺陷情况。
10.一种电子设备，其特征在于，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的输电线缺陷的识别方法。
CN202310623731.0A 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质 Active CN116342607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310623731.0A CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310623731.0A CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116342607A true CN116342607A (zh) 2023-06-27
CN116342607B CN116342607B (zh) 2023-08-08

Family

ID=86884518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310623731.0A Active CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116342607B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351062A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634127A (zh) * 2019-07-24 2019-12-31 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN112184692A (zh) * 2020-10-13 2021-01-05 辽宁工程技术大学 一种输电线路多目标检测方法
WO2021056630A1 (zh) * 2019-09-26 2021-04-01 北京国网富达科技发展有限责任公司 输电线路铁塔结构缺陷检测方法及装置
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
WO2021238548A1 (zh) * 2020-05-25 2021-12-02 腾讯科技（深圳）有限公司 区域识别方法、装置、设备及可读存储介质
US20210390682A1 (en) * 2020-06-12 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for detecting surface defect, method for training model, apparatus, device, and media
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN115147591A (zh) * 2022-06-17 2022-10-04 国网信息通信产业集团有限公司 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN115239646A (zh) * 2022-07-04 2022-10-25 华雁智能科技(集团)股份有限公司 输电线路的缺陷检测方法、装置、电子设备及存储介质
WO2023284712A1 (zh) * 2021-07-14 2023-01-19 歌尔股份有限公司 缺陷检测模型训练方法和缺陷检测方法及电子设备
US20230038435A1 (en) * 2021-08-05 2023-02-09 Ford Global Technologies, Llc Method and apparatus for determining the size of defects during a surface modification process

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634127A (zh) * 2019-07-24 2019-12-31 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置
WO2021056630A1 (zh) * 2019-09-26 2021-04-01 北京国网富达科技发展有限责任公司 输电线路铁塔结构缺陷检测方法及装置
WO2021238548A1 (zh) * 2020-05-25 2021-12-02 腾讯科技（深圳）有限公司 区域识别方法、装置、设备及可读存储介质
US20210390682A1 (en) * 2020-06-12 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for detecting surface defect, method for training model, apparatus, device, and media
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN112184692A (zh) * 2020-10-13 2021-01-05 辽宁工程技术大学 一种输电线路多目标检测方法
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
WO2023284712A1 (zh) * 2021-07-14 2023-01-19 歌尔股份有限公司 缺陷检测模型训练方法和缺陷检测方法及电子设备
US20230038435A1 (en) * 2021-08-05 2023-02-09 Ford Global Technologies, Llc Method and apparatus for determining the size of defects during a surface modification process
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
CN115147591A (zh) * 2022-06-17 2022-10-04 国网信息通信产业集团有限公司 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN115239646A (zh) * 2022-07-04 2022-10-25 华雁智能科技(集团)股份有限公司 输电线路的缺陷检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周仿荣;方明;马御棠;潘浩;: "基于YOLO v3的输电线路缺陷快速检测方法", 云南电力技术, no. 04 *
杨静: "基于深度学习的绞线式弹性毫微型插针表面缺陷检测关键技术研究", 中国博士学位论文全文数据库 信息科技辑 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351062A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备
CN117351062B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备

Also Published As

Publication number Publication date
CN116342607B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
JP6305171B2 (ja) シーン内の物体を検出する方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
CN116342607B (zh) 输电线缺陷的识别方法、装置、电子设备及存储介质
CN112052782B (zh) 基于环视的停车位识别方法、装置、设备及存储介质
CN108121982B (zh) 面单图像的获取方法及装置
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN111898659A (zh) 一种目标检测方法及系统
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN111105427A (zh) 一种基于连通区域分析的肺部图像分割方法及系统
US8630483B2 (en) Complex-object detection using a cascade of classifiers
CN114255443A (zh) 一种交通车辆单目定位方法、装置、设备及存储介质
JP5335554B2 (ja) 画像処理装置及び画像処理方法
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN113505763B (zh) 关键点检测方法、装置、电子设备及存储介质
WO2021023111A1 (zh) 一种识别图像中票据数量、多个票据区域的方法及装置
CN111523583B (zh) 一种利用无人机对设备铭牌照片自动识别分类的方法
US20130279808A1 (en) Complex-object detection using a cascade of classifiers
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
CN112835063A (zh) 物体动静属性的确定方法、装置、设备及存储介质
CN113011415A (zh) 基于Grid R-CNN模型改进的目标检测方法及系统
CN115497172B (zh) 钓鱼行为检测方法、装置及边缘处理设备、存储介质
CN102938156A (zh) 一种基于积分图像的面状注记配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant