CN116342607B - 输电线缺陷的识别方法、装置、电子设备及存储介质 - Google Patents

输电线缺陷的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116342607B
CN116342607B CN202310623731.0A CN202310623731A CN116342607B CN 116342607 B CN116342607 B CN 116342607B CN 202310623731 A CN202310623731 A CN 202310623731A CN 116342607 B CN116342607 B CN 116342607B
Authority
CN
China
Prior art keywords
defect
transmission line
power transmission
offset
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310623731.0A
Other languages
English (en)
Other versions
CN116342607A (zh
Inventor
李永军
李小飞
柴东元
韩建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snegrid Electric Technology Co ltd
Original Assignee
Snegrid Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snegrid Electric Technology Co ltd filed Critical Snegrid Electric Technology Co ltd
Priority to CN202310623731.0A priority Critical patent/CN116342607B/zh
Publication of CN116342607A publication Critical patent/CN116342607A/zh
Application granted granted Critical
Publication of CN116342607B publication Critical patent/CN116342607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种输电线缺陷的识别方法、装置、电子设备及存储介质，输电线缺陷的识别方法包括：采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像；将目标图像输入至预先训练好的缺陷识别模型，输出识别结果；根据识别结果得到输电线的缺陷情况。本发明实施例的输电线缺陷的识别方法，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。

Description

输电线缺陷的识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像检测识别技术领域，特别涉及一种输电线缺陷的识别方法、一种输电线缺陷的识别装置、一种计算机可读存储介质和一种电子设备。
背景技术
目前输电线路中，导线类的缺陷检测方法可利用无人机进行现场图像拍摄，然后采用传统的基于矩形目标框检测方式进行检测识别导线类缺陷。导线类缺陷一般有导线松股、断股、灼伤和锈蚀，其中锈蚀和松股一般存在极端的长短边比例，且导线本体特征不同于其他矩形类物体，导线本体也存在极端的长短边比例，常分布于整个图像中。如图1所示，当采用传统的矩形框对待标注的物体进行标注时，可通过四个参数（xmin，ymin，xmax，ymax）对矩形框进行表示，其中（xmin，ymin）为矩形左上角顶点坐标，（xmax，ymax）为矩形右下角标注坐标。当存在极大的长短边比例，且物体在样本中的位置是存在一定的倾斜角度时，此时使用传统的矩形框会将外部的各种特征包裹，造成待检测物体特征较少，造成模型的分类压力增大，容易出现对缺陷的误检和漏检。尤其，输电导线类物体极易出现此类情况。因此，采用传统的矩形框类检测方式，真实框内的输电线的特征较少，导致模型检测的准确率较低，增加了检测的压力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种输电线缺陷的识别方法、装置、电子设备及存储介质，以提高输电线缺陷的检出率。
为达到上述目的，本发明第一方面实施例提出了一种输电线缺陷的识别方法，所述方法包括：采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果；根据所述识别结果得到输电线的缺陷情况。
另外，本发明实施例的输电线缺陷的识别方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述缺陷识别模型的训练过程，包括：构建训练样本集，其中，所述训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值；在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值；计算所述锚框与对应的旋转框的偏移量，得到第一偏移量，并计算所述预测框与锚框的偏移量，得到第二偏移量；根据所述第一偏移量和所述第二偏移量得到边界框回归损失，并根据所述缺陷类别预测值和对应的缺陷类别真实值得到分类损失；根据所述边界框回归损失和所述分类损失得到当前训练周期的损失函数，并判断所述损失函数是否满足训练结束条件；若不满足，则利用所述损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练；若满足，则将当前的缺陷识别模型作为所述训练好的缺陷识别模型。
根据本发明的一个实施例，所述旋转框利用五元组数据表示，所述锚框利用五元组数据/>表示，所述预测框利用五元组数据/>表示；通过如下公式计算得到第一偏移量/>：
，/>，/>，/>，/>。
通过如下公式计算第二偏移量：
，/>，/>，/>，/>。
其中，分别表示所述旋转框的中心坐标、宽度、高度和角度，分别表示所述锚框的中心坐标、宽度、高度和角度，分别表示所述预测框的中心坐标、宽度、高度和角度。
根据本发明的一个实施例，将所述边界框回归损失和所述分类损失进行加权，得到所述损失函数。
根据本发明的一个实施例，通过如下公式计算所述边界框回归损失：
其中，表示所述边界框回归损失，/>表示所述锚框的数量，/>表示第n个锚框中是否包含输电线，若包含则/>=1，否则/>=0，/>，表示第n个锚框对应的第一偏移量，/>={/>|/>}，表示第n个锚框对应的第二偏移量，表示当前的预测框与对应的旋转框的IOU值，/>表示平方差损失。
通过如下公式计算所述分类损失：
其中，表示所述分类损失，/>表示所述锚框的数量，C表示输电线的总缺陷类别数量，/>表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>表示第n个锚框在第i个类别中的概率分布。
根据本发明的一个实施例，所述构建训练样本集，包括：获取初始训练样本，其中，所述初始训练样本包括多个方向的输电线图像；对所述初始训练样本进行预处理，其中，所述预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像；分别对所述初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到所述训练样本集。
根据本发明的一个实施例，所述缺陷识别模型采用yolov5s网络。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的输电线缺陷的识别方法。
为达到上述目的，本发明第三方面实施例提出了一种输电线缺陷的识别装置，其特征在于，所述装置包括：图像采集模块，用于采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；目标检测模块，用于利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；缺陷识别模块，用于将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据所述识别结果得到输电线的缺陷情况。
为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述的输电线缺陷的识别方法。
本发明实施例的输电线缺陷的识别方法、装置、电子设备及存储介质，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。
附图说明
图1是相关技术中传统的矩形框对待标注的物体进行标注的示意图；
图2是本发明一实施例的输电线缺陷的识别方法的流程示意图；
图3（a）是本发明一实施例的输电线的左侧正前方示意图；
图3（b）是本发明一实施例的输电线的左侧正后方示意图；
图3（c）是本发明一实施例的输电线的右侧正前方示意图；
图3（d）是本发明一实施例的输电线的右侧正后方示意图；
图4是本发明一实施例的旋转框对待标注物体进行标注的示意图；
图5是本发明一实施例的缺陷识别模型的训练过程的流程示意图；
图6是本发明一实施例的构建训练样本集的流程示意图；
图7是本发明一实施例的对原图进行随机裁剪的示意图；
图8是本发明一实施例的输电线缺陷的识别装置的结构示意图；
图9是本发明一实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的输电线缺陷的识别方法、装置、电子设备及存储介质。
图2是本发明一实施例的输电线缺陷的识别方法的流程示意图。
如图2所示，输电线缺陷的识别方法包括：
S1，采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者。
作为一个示例，由于导线类物体具有极端长短边比例，且部分缺陷如灼伤、轻微散股、轻微断股等缺陷可能在输电线的任意方向上。如图3（a）-3（d）所示，可通过无人机分别对输电线路中铁搭的四个方向进行拍摄，采集输电线的左侧正前方、右侧正前方、左侧正后方和右侧正后方的图像，从而提高对输电线的检测准确率。
S2，利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像。
作为一个示例，如图4所示，当采用旋转框对待标注物体进行标注时，可通过五个参数（x，y，w，h，θ）对旋转框进行表示，其中（x，y）表示旋转框的中心点坐标，（w，h）表示旋转框的两条边长。需要说明的是，旋转框的两条边长的选取是不固定的，可将沿基准线方向逆时针旋转时遇到的第一条边设为w，遇到的第二条件设为h，以避免旋转框w和h的混淆。其中，θ为旋转框的第一条边与基准线的夹角，该夹角的取值范围为θ∈[-π/2，0]。通过使用旋转框的方式对输电线进行标注，便于更准确地描述输电线的形状信息、位置信息和输电线的特征。
S3，将目标图像输入至预先训练好的缺陷识别模型，输出识别结果。
作为一个示例，把目标图像送进预先训练好的缺陷识别模型中进行分析处理，然后得到有关这个目标图像的缺陷检测结果。可通过使用计算机程序自动完成，能够识别出目标图像中存在的各种缺陷和损伤，便于工作人员快速、准确地采取相应的处理措施。
S4，根据识别结果得到输电线的缺陷情况。
本发明实施例的输电线缺陷的识别方法，通过采用基于旋转框的目标检测模型，能够降低漏检率和误检率，通过预先训练好的缺陷识别模型，能够提高输电线缺陷的检出率。
在本发明的一些实施例中，如图5所示，缺陷识别模型的训练过程，包括：
S31，构建训练样本集，其中，训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值。
S32，在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值。
需要说明的是，可在特征抽取后，对每个特征层的特征点预设一些锚框。其中，锚框的数量越多，缺陷识别模型的计算复杂度越高，缺陷识别模型的检出率越高。锚框的数量越少，缺陷识别模型的计算复杂度越低，缺陷识别模型的检出率越低。然而，锚框的数量与缺陷识别模型的检出率并不是单纯的线性关系，而是有一个阈值，超出这个数量不会带来明显的效率提升，具体可需要通过模型的多次训练情况进行调整。
S33，计算锚框与对应的旋转框的偏移量，得到第一偏移量，并计算预测框与锚框的偏移量，得到第二偏移量。
S34，根据第一偏移量和第二偏移量得到边界框回归损失，并根据缺陷类别预测值和对应的缺陷类别真实值得到分类损失。
S35，根据边界框回归损失和分类损失得到当前训练周期的损失函数。
S36，判断损失函数是否满足训练结束条件。
S37，若不满足，则利用损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练。
S38，若满足，则将当前的缺陷识别模型作为训练好的缺陷识别模型。
在该实施例中，通过使用基于旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值构建样本集，能够更准确地标注出输电线中的缺陷。缺陷识别模型的训练方法具有高精度、高鲁棒性和高效率等优点。
在本发明的一些实施例中，旋转框利用五元组数据表示，锚框利用五元组数据/>表示，预测框利用五元组数据/>表示。
通过如下公式计算得到第一偏移量：
，/>，/>，/>，/>。
通过如下公式计算第二偏移量：
，/>，/>，/>，/>。
其中，分别表示旋转框的中心坐标、宽度、高度和角度，分别表示锚框的中心坐标、宽度、高度和角度，/>分别表示预测框的中心坐标、宽度、高度和角度。
在该实施例中，通过上述计算可得到每个特征层中每个特征点的n个锚框的两组偏移量。在后续处理中，可通过LOSS函数收敛两种偏移量的值，回归至整个网络。将预测框与锚框的偏移量逐步拟合近似为锚框与旋转框的值，最终训练结束后预测框与锚框的偏移量即可视作锚框与预测框的偏移量，通过在锚框的坐标信息中添加该偏移量值即可得到检出框的实际值。通过偏移量的收敛计算相较于直接使用坐标值进行计算，能够降低数量级，可以避免在训练过程中出现LOSS函数波动较大或不收敛的问题。
在本发明的一些实施例中，将边界框回归损失和分类损失进行加权，得到损失函数。
具体地，通过如下公式计算边界框回归损失：
其中，表示边界框回归损失，/>表示锚框的数量，/>表示第n个锚框中是否包含输电线，若包含则/>=1，否则/>=0，/>，表示第n个锚框对应的第一偏移量，/>={/>|/>}，表示第n个锚框对应的第二偏移量，/>表示当前的预测框与对应的旋转框的IOU（Intersection over Union，交并比）值，/>表示平方差损失。
通过如下公式计算分类损失：
其中，表示分类损失，/>表示锚框的数量，C表示输电线的总缺陷类别数量，/>表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>表示第n个锚框在第i个类别中的概率分布。
作为一个示例，可通过如下公式计算损失函数：
其中，和/>表示权重系数。
在本发明的一些实施例中，如图6所示，构建训练样本集，包括：
S311，获取初始训练样本，其中，初始训练样本包括多个方向的输电线图像。
S312，对初始训练样本进行预处理，其中，预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像。
如图7所示，可对原图进行随机裁剪。在随机裁剪阶段，若直接将边缘目标丢弃将会使得输电线的特征不明显；若直接将边缘目标用于训练，在边缘目标只剩下小部分特征时，会对模型造成一定的分类影响，同时会增加分类器的压力。
作为一个示例，预设阈值可为0.7。当裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在0.7以上时，视作输电线局部特征明显，予以保留，继续进行数据增强操作；当裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在0.7以下时，视作输电线局部特征丢失严重，不作保留。
作为另一个示例，输电线图像经过特征主干提取后，第一次使用的特征图会是下采样32倍数后的特征，为了减少综合模型的复杂度，并考虑到特征主干提取的需要，在经过预处理操作后，调整输电线图像的尺寸大小为1280。
S313，分别对初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到训练样本集。
在该实施例中，通过随机裁剪、翻转以及模糊等数据增强操作，可以有效提高模型的泛化能力和鲁棒性，增加训练数据的多样性，有利于防止过拟合。通过判断裁剪后图像中输电线特征与裁剪前图像中输电线特征IOU的比值是否满足预设阈值，能够有效避免因裁剪造成的信息损失，有助于提高模型的精度。
在本发明的一些实施例中，缺陷识别模型采用yolov5s网络。
在该实施例中，通过采用yolov5s网络，能够降低主干特征提取的时长，提高工作效率。
对应上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的输电线缺陷的识别方法。
本发明实施例的计算机可读存储介质，能够提高输电线缺陷的检出率。
对应上述实施例，本发明还提出一种输电线缺陷的识别装置。
图8是本发明一实施例的输电线缺陷的识别装置的结构示意图。
如图8所示，输电线缺陷的识别装置包括：
图像采集模块10，用于采集多个方向的输电线图像，其中，多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者。
目标检测模块20，用于利用预先训练好的基于旋转框的目标检测模型分别对各输电线图像进行目标检测，得到各输电线图像的目标图像。
缺陷识别模块30，用于将目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据识别结果得到输电线的缺陷情况。
需要说明的是，本发明实施例的输电线缺陷的识别装置的其他具体实施方式可参见本发明上述实施例的输电线缺陷的识别方法的具体实施方式。
本发明实施例的输电线缺陷的识别装置，通过目标检测模块20和缺陷识别模块30，能够提高输电线缺陷的检出率，降低漏检率和误检率。
对应上述实施例，本发明还提出一种电子设备。
图9是本发明一实施例的电子设备的结构示意图。
如图9所示，电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本发明实施例的限定。
处理器501可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器503用于存储与本发明上述实施例的输电线缺陷的识别方法对应的计算机程序，该计算机程序由处理器501来控制执行。处理器501用于执行存储器503中存储的计算机程序，以实现前述方法实施例所示的内容。
其中，电子设备500包括但不限于：笔记本电脑、PAD（平板电脑）等等的移动终端以及诸如台式计算机等等的固定终端。图9示出的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例的电子设备500，能够提高输电线缺陷的检出率，降低漏检率和误检率。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种输电线缺陷的识别方法，其特征在于，所述方法包括：
采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；
利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；
将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果；
根据所述识别结果得到输电线的缺陷情况；
所述缺陷识别模型的训练过程，包括：
构建训练样本集，其中，所述训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值；
在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值；
计算所述锚框与对应的旋转框的偏移量，得到第一偏移量，并计算所述预测框与锚框的偏移量，得到第二偏移量；
根据所述第一偏移量和所述第二偏移量得到边界框回归损失，并根据所述缺陷类别预测值和对应的缺陷类别真实值得到分类损失；
根据所述边界框回归损失和所述分类损失得到当前训练周期的损失函数，并判断所述损失函数是否满足训练结束条件；
若不满足，则利用所述损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练；
若满足，则将当前的缺陷识别模型作为所述训练好的缺陷识别模型；
所述旋转框利用五元组数据表示，所述锚框利用五元组数据/>表示，所述预测框利用五元组数据/>表示；
通过如下公式计算得到第一偏移量：
，/>，/>，/>，/>；
通过如下公式计算第二偏移量：
，/>，/>，/>，/>；
其中，分别表示所述旋转框的中心坐标、宽度、高度和角度，分别表示所述锚框的中心坐标、宽度、高度和角度，分别表示所述预测框的中心坐标、宽度、高度和角度。
2.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，将所述边界框回归损失和所述分类损失进行加权，得到所述损失函数。
3.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，通过如下公式计算所述边界框回归损失：
其中，表示所述边界框回归损失，/>表示所述锚框的数量，/>表示第n个锚框中是否包含输电线，若包含则/>=1，否则/>=0，/>，表示第n个锚框对应的第一偏移量，/>={/> | />}，表示第n个锚框对应的第二偏移量，表示当前的预测框与对应的旋转框的IOU值，/>表示平方差损失；
通过如下公式计算所述分类损失：
其中，表示所述分类损失，/>表示所述锚框的数量，C表示输电线的总缺陷类别数量，表示第n个锚框的值采用sigmoid激活函数后属于第i个类别的概率值，/>表示第n个锚框在第i个类别中的概率分布。
4.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，所述构建训练样本集，包括：
获取初始训练样本，其中，所述初始训练样本包括多个方向的输电线图像；
对所述初始训练样本进行预处理，其中，所述预处理包括：先随机裁剪，后进行翻转和模糊的数据增强操作，且随机裁剪后，若裁剪后图像中的输电线特征与裁剪前图像中的输电线特征的IOU比值在预设阈值以上，则对该裁剪后图像继续进行数据增强操作，否则舍弃该裁剪后图像；
分别对所述初始训练样本和预处理后的初始训练样本中的输电线进行缺陷类别标注和旋转框标注，得到所述训练样本集。
5.根据权利要求1所述的输电线缺陷的识别方法，其特征在于，所述缺陷识别模型采用yolov5s网络。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-5中任一项所述的输电线缺陷的识别方法。
7.一种输电线缺陷的识别装置，其特征在于，所述装置包括：
图像采集模块，用于采集多个方向的输电线图像，其中，所述多个方向包括输电线路中铁搭的左侧正前方、右侧正前方、左侧正后方和右侧正后方中的至少两者；
目标检测模块，用于利用预先训练好的基于旋转框的目标检测模型分别对各所述输电线图像进行目标检测，得到各所述输电线图像的目标图像；
缺陷识别模块，用于将所述目标图像输入至预先训练好的缺陷识别模型，输出识别结果，根据所述识别结果得到输电线的缺陷情况；
其中，所述缺陷识别模型的训练过程，包括：
构建训练样本集，其中，所述训练样本集中的训练样本包括利用旋转框标注的多个方向的输电线图像和对应的缺陷类别真实值；
在每个训练周期内，将相应的训练样本输入至当前的缺陷识别模型，得到锚框、预测框和缺陷类别预测值；
计算所述锚框与对应的旋转框的偏移量，得到第一偏移量，并计算所述预测框与锚框的偏移量，得到第二偏移量；
根据所述第一偏移量和所述第二偏移量得到边界框回归损失，并根据所述缺陷类别预测值和对应的缺陷类别真实值得到分类损失；
根据所述边界框回归损失和所述分类损失得到当前训练周期的损失函数，并判断所述损失函数是否满足训练结束条件；
若不满足，则利用所述损失函数对当前的缺陷识别模型进行参数调整，并将调整后的缺陷识别模型用于下一训练周期的训练；
若满足，则将当前的缺陷识别模型作为所述训练好的缺陷识别模型；
所述旋转框利用五元组数据表示，所述锚框利用五元组数据/>表示，所述预测框利用五元组数据/>表示；
通过如下公式计算得到第一偏移量：
，/>，/>，/>，/>；
通过如下公式计算第二偏移量：
，/>，/>，/>，/>；
其中，分别表示所述旋转框的中心坐标、宽度、高度和角度，分别表示所述锚框的中心坐标、宽度、高度和角度，分别表示所述预测框的中心坐标、宽度、高度和角度。
8.一种电子设备，其特征在于，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-5中任一项所述的输电线缺陷的识别方法。
CN202310623731.0A 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质 Active CN116342607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310623731.0A CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310623731.0A CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116342607A CN116342607A (zh) 2023-06-27
CN116342607B true CN116342607B (zh) 2023-08-08

Family

ID=86884518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310623731.0A Active CN116342607B (zh) 2023-05-30 2023-05-30 输电线缺陷的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116342607B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351062B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634127A (zh) * 2019-07-24 2019-12-31 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN112184692A (zh) * 2020-10-13 2021-01-05 辽宁工程技术大学 一种输电线路多目标检测方法
WO2021056630A1 (zh) * 2019-09-26 2021-04-01 北京国网富达科技发展有限责任公司 输电线路铁塔结构缺陷检测方法及装置
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
WO2021238548A1 (zh) * 2020-05-25 2021-12-02 腾讯科技（深圳）有限公司 区域识别方法、装置、设备及可读存储介质
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN115147591A (zh) * 2022-06-17 2022-10-04 国网信息通信产业集团有限公司 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN115239646A (zh) * 2022-07-04 2022-10-25 华雁智能科技(集团)股份有限公司 输电线路的缺陷检测方法、装置、电子设备及存储介质
WO2023284712A1 (zh) * 2021-07-14 2023-01-19 歌尔股份有限公司 缺陷检测模型训练方法和缺陷检测方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693534B (zh) * 2020-06-12 2023-09-15 北京百度网讯科技有限公司 表面缺陷的检测方法、模型训练方法、装置、设备和介质
DE102021120435A1 (de) * 2021-08-05 2023-02-09 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Ermitteln der Größe von Defekten während eines Oberflächenmodifizierungsverfahrens

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634127A (zh) * 2019-07-24 2019-12-31 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置
WO2021056630A1 (zh) * 2019-09-26 2021-04-01 北京国网富达科技发展有限责任公司 输电线路铁塔结构缺陷检测方法及装置
WO2021238548A1 (zh) * 2020-05-25 2021-12-02 腾讯科技（深圳）有限公司 区域识别方法、装置、设备及可读存储介质
CN111680689A (zh) * 2020-08-11 2020-09-18 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
CN112184692A (zh) * 2020-10-13 2021-01-05 辽宁工程技术大学 一种输电线路多目标检测方法
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN113255590A (zh) * 2021-06-25 2021-08-13 众芯汉创（北京）科技有限公司 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
WO2023284712A1 (zh) * 2021-07-14 2023-01-19 歌尔股份有限公司 缺陷检测模型训练方法和缺陷检测方法及电子设备
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
CN115147591A (zh) * 2022-06-17 2022-10-04 国网信息通信产业集团有限公司 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN115239646A (zh) * 2022-07-04 2022-10-25 华雁智能科技(集团)股份有限公司 输电线路的缺陷检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨静.基于深度学习的绞线式弹性毫微型插针表面缺陷检测关键技术研究.中国博士学位论文全文数据库 信息科技辑.2021,全文. *

Also Published As

Publication number Publication date
CN116342607A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN110675407B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN112052782B (zh) 基于环视的停车位识别方法、装置、设备及存储介质
CN116342607B (zh) 输电线缺陷的识别方法、装置、电子设备及存储介质
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
US20140341421A1 (en) Method for Detecting Persons Using 1D Depths and 2D Texture
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN108121982B (zh) 面单图像的获取方法及装置
CN112132131B (zh) 量筒液位识别方法和装置
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN111898659A (zh) 一种目标检测方法及系统
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN111105427A (zh) 一种基于连通区域分析的肺部图像分割方法及系统
CN114255443A (zh) 一种交通车辆单目定位方法、装置、设备及存储介质
CN113781511A (zh) 传送带边缘磨损检测方法、装置、计算机设备及存储介质
US20130329988A1 (en) Complex-object detection using a cascade of classifiers
CN113505763B (zh) 关键点检测方法、装置、电子设备及存储介质
CN115861220A (zh) 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统
CN111523583B (zh) 一种利用无人机对设备铭牌照片自动识别分类的方法
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
CN113011415A (zh) 基于Grid R-CNN模型改进的目标检测方法及系统
CN115497172B (zh) 钓鱼行为检测方法、装置及边缘处理设备、存储介质
CN111435532B (zh) 一种数字图像中树状结构末梢点的检测方法
EP3479347B1 (en) Method and apparatus for detecting a salient point of a protuberant object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant