CN114842006B - 一种数字孪生台区电力线检测方法及其相关装置 - Google Patents

一种数字孪生台区电力线检测方法及其相关装置 Download PDF

Info

Publication number
CN114842006B
CN114842006B CN202210776386.XA CN202210776386A CN114842006B CN 114842006 B CN114842006 B CN 114842006B CN 202210776386 A CN202210776386 A CN 202210776386A CN 114842006 B CN114842006 B CN 114842006B
Authority
CN
China
Prior art keywords
image
power line
segmentation
line detection
digital twin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210776386.XA
Other languages
English (en)
Other versions
CN114842006A (zh
Inventor
赵云
陆煜锌
肖勇
蔡梓文
李让
阙华坤
江涛斌
陈孝建
张芳胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
Shanwei Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
CSG Electric Power Research Institute
Shanwei Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSG Electric Power Research Institute, Shanwei Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical CSG Electric Power Research Institute
Priority to CN202210776386.XA priority Critical patent/CN114842006B/zh
Publication of CN114842006A publication Critical patent/CN114842006A/zh
Application granted granted Critical
Publication of CN114842006B publication Critical patent/CN114842006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种数字孪生台区电力线检测方法及其相关装置，方法包括：采集电力线路图像，得到待检测图像；采用Sobel算子对待检测图像进行初步分割，得到初步前景区域；基于初步前景区域，采用Grabcut算子对待检测图像进行再次分割，得到最终前景图像；将最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果，改善了现有技术存在计算量大，检测速度慢的技术问题。

Description

一种数字孪生台区电力线检测方法及其相关装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种数字孪生台区电力线检测方法及其相关装置。
背景技术
数字孪生技术旨在构建物理实体从现实空间到虚拟模型的映射，通过双向交互数据的实时闭环驱动，模拟出物理实体的实时状态和动态特征。低压配电网是电力系统连接低压电力用户的纽带，一旦发生故障将会给电力系统造成重大经济损失，统计表明，电力用户遭受的停电事故和人员涉电公共安全事故绝大多数是在低压配电线路中发生的。配电网数字孪生技术可作为低压配电线路与配电主站间信息交互、预判故障、辅助配网运维的基础，通过统计线路拓扑和地理走向等信息在数字孪生体系中构建并实时更新电力线路运行状态、负荷大小以及故障预判模型，为实现对低压配电线路状态的实时监测、进行配网运维检修指导提供技术基础。
低压配电线路分为地埋电缆和架空线2种，架空线路的地理走向信息包括电力线影像信息提取和地理信息提取。智能化的电力线影像信息提取是完善低压配电架空线地理走向的基础，其包括电力线的提取和标定。精确快速识别视频监测传输所得图像中电力线目标，一方面，是判断电力线走向的基础，另一方面可以判断电力线舞动情况，监测线路运行状态，提前对线路故障发出预警，最大程度地减少经济损失，保障电力系统安全稳定运行。
低压配电网的环境复杂并且遮挡物多，采用无人机巡检时，为了保证安全一般不会对低压配电线路抵近拍摄而是保持相当的安全距离，在这种情况下，无人机航拍时为了保证能够清楚有效得呈现出输电线路和绝缘子一般会使用极高的分辨率，分辨率可达8000×6000及以上，一张图片的大小在10M以上。在高分辨率的航拍图像，电力线和绝缘子所占图像的比例只有1/50~1/100，对于这种高分辨率图像，如果像其他已有图像检测方法一样，直接将图像分辨率降为较小的固定值如608×608，则必然会损失掉电力线和绝缘子的特征将变得高糊而无法识别；如果将高分辨率图像不经过任何处理直接输入卷积神经网络进行检测，则算力消耗极大，速度很慢且很有可能出现参数爆炸，并且效益很低，因为原图绝大部分都是无意义的环境背景。
发明内容
本申请提供了一种数字孪生台区电力线检测方法及其相关装置，用于改善现有技术存在计算量大，检测速度慢的技术问题。
有鉴于此，本申请第一方面提供了一种数字孪生台区电力线检测方法，包括：
采集电力线路图像，得到待检测图像；
采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域；
基于所述初步前景区域，采用Grabcut算子对所述待检测图像进行再次分割，得到最终前景图像；
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果。
可选的，所述将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果，包括：
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中，通过所述预置数字孪生台区电力线检测模型中的特征提取模块对所述最终前景图像进行特征提取，得到特征图，其中，所述特征提取模块包括三个二维卷积模块、七个反向残差模块和一个平均值值池化模块；
通过所述预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
可选的，所述预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息；
采用Sobel算子对所述训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对所述训练样本进行再次分割，得到最终分割结果；
以所述最终分割结果为输入数据，以所述标签信息和所述最佳分割阈值为训练目标对卷积神经网络进行训练；
根据所述卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息、最佳分割阈值计算损失值；
通过所述损失值更新所述卷积神经网络的网络参数，直至所述卷积神经网络收敛，得到预置电力检测模型。
可选的，所述采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域，包括：
计算所述待检测图像在水平方向和垂直方向上的一阶梯度；
根据所述待检测图像在水平方向和垂直方向上的一阶梯度和预置分割阈值确定所述待检测图像的初步前景区域，所述预置分割阈值根据训练时的分割阈值预测结果确定。
可选的，所述采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域，之前还包括：
对所述待检测图像进行中值滤波，以去除所述待检测图像中的噪声；
对滤波后的待检测图像进行直方图均衡化处理，以对待检测图像进行图像增强。
本申请第二方面提供了一种数字孪生台区电力线检测装置，包括：
采集单元，用于采集电力线路图像，得到待检测图像；
第一分割单元，用于采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域；
第二分割单元，用于基于所述初步前景区域，采用Grabcut算子对所述待检测图像进行再次分割，得到最终前景图像；
检测单元，用于将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果。
可选的，所述检测单元，具体用于：
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中，通过所述预置数字孪生台区电力线检测模型中的特征提取模块对所述最终前景图像进行特征提取，得到特征图，其中，所述特征提取模块包括三个二维卷积模块、七个反向残差模块和一个平均值值池化模块；
通过所述预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
可选的，所述预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息；
采用Sobel算子对所述训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对所述训练样本进行再次分割，得到最终分割结果；
以所述最终分割结果为输入数据，以所述标签信息和所述最佳分割阈值为训练目标对卷积神经网络进行训练；
根据所述卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息计算损失值；
通过所述损失值更新所述卷积神经网络的网络参数，直至所述卷积神经网络收敛，得到预置电力检测模型。
本申请第三方面提供了一种数字孪生台区电力线检测设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的数字孪生台区电力线检测方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的数字孪生台区电力线检测方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种数字孪生台区电力线检测方法，包括：采集电力线路图像，得到待检测图像；采用Sobel算子对待检测图像进行初步分割，得到初步前景区域；基于初步前景区域，采用Grabcut算子对待检测图像进行再次分割，得到最终前景图像；将最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果。
本申请中，在通过预置数字孪生台区电力线检测模型进行电力线检测之前，对电力线路图像进行图像分割，获取前景图像，去除了大部分无意义的环境背景，减少了检测模型的计算量，提高了检测速度；并且，本申请中采用Sobel算子先进行初步分割，然后基于初步前景区域，采用Grabcut算子进行再次分割，不需要人工设置前景区域，并且采用二次分割方式，可以保证分割结果的准确性，有助于提高检测精度，改善了现有技术存在计算量大，检测速度慢的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种数字孪生台区电力线检测方法的一个流程示意图；
图2为本申请实施例提供的一种反向残差模块的一个结构示意图；
图3为本申请实施例提供的一种数字孪生台区电力线检测装置的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请实施例提供了一种数字孪生台区电力线检测方法，包括：
步骤101、采集电力线路图像，得到待检测图像。
由于低压配电网的环境复杂并且遮挡物多，可以通过巡检无人机采集台区的电力线路图像作为待检测图像。
步骤102、采用Sobel算子对待检测图像进行初步分割，得到初步前景区域。
进一步，采用Sobel算子（索贝尔算子）对待检测图像进行初步分割，得到初步前景区域，之前可以对待检测图像进行预处理。具体的，对待检测图像进行中值滤波，以去除待检测图像中的噪声；对滤波后的待检测图像进行直方图均衡化处理，以对待检测图像进行图像增强。
采集的电力线路图像中通常含有多种噪声干扰，其中以椒盐噪声为主，可以先通过采用4×4中值滤波去除图像中的椒盐噪声，其中4×4中值滤波是一种非线性时域滤波方法，比频率域和小波域滤波计算简单，运行速度快，比时域均值滤波、高斯滤波、边缘保持滤波能更好地抑制高频噪声和保护图像边缘，有效改善图像质量，便于进行后续的图像分割以及图像特征提取；然后可以采用直方图均衡化用于改善图像对比度、保护图像边缘，使模糊的图像变得清晰，直方均衡化运算速度快，对于电力线图像来说更能突出图像边缘，有利于图像分割。
结果上述的预处理得到预处理后的待检测图像（即直方图均衡化处理后的图像）后，采用Sobel算子对预处理后的待检测图像进行初步分割，得到初步前景区域，分割过程为：计算待检测图像在水平方向和垂直方向上的一阶梯度；根据待检测图像在水平方向和垂直方向上的一阶梯度和预置分割阈值确定待检测图像的初步前景区域，预置分割阈值根据训练时的分割阈值预测结果确定。
Sobel算子是基于阈值的图像边缘分割方法，首先采用先加权平均然后进行微分运算的方法得到一阶梯度获得预处理后的待检测图像的一阶梯度，计算方法如下：
Figure 607174DEST_PATH_IMAGE001
；
Figure 835899DEST_PATH_IMAGE002
；
式中，
Figure 615636DEST_PATH_IMAGE003
、
Figure 73162DEST_PATH_IMAGE004
分别为像素点(x, y)在水平方向、垂直方向上的一阶梯度。
得到水平方向、垂直方向上的梯度之后在水平方向上减去垂直方向上的梯度，得到梯度差，通过这个梯度差和预置分割阈值留下具有高水平梯度和低垂直梯度的图像区域，在边缘处达到机制从而检测出边缘，检测出边缘之后，常规的形态学运算，即可刻画出感兴趣的区域，根据图像轮廓进行图像分割，即可获取初步前景区域（即包含电力线的部分图像）。Sobel算子不但可以产生较好的检测效果，而且对噪声具有平滑抑制作用；并且Sobel采用快速卷积函数，保证了算法的速度。
步骤103、基于初步前景区域，采用Grabcut算子对待检测图像进行再次分割，得到最终前景图像。
Grabcut算子与Sobel算子不同，是一种交互式的图像分割方法，通常在采用Grabcut算子进行分割前，需要用户指定一个包含前景目标的区域。在本申请实施例中，该指定区域不需要人为给定，直接由前一步的Sobel算子给出，即初步前景区域。
Grabcut算子是对图像的不同区域进行标号，不同的标号对应不同的吉布斯能量，总能量最小的标号则认为是最优的分割区域，将图像表示为z=(z 1,z 2,...,z n )，所求的像素点标号为
Figure 700584DEST_PATH_IMAGE005
，
Figure 585363DEST_PATH_IMAGE006
，其中，
Figure 166911DEST_PATH_IMAGE007
，0表示背景，1表示前景，n为待检测图像的像素点个数。吉布斯能量函数为：
Figure 365811DEST_PATH_IMAGE008
；
Figure 97006DEST_PATH_IMAGE009
；
Figure 903420DEST_PATH_IMAGE010
；
式中，
Figure 720066DEST_PATH_IMAGE011
为区域能量，
Figure 457078DEST_PATH_IMAGE012
为边界能量，
Figure 292047DEST_PATH_IMAGE013
为第
Figure 784209DEST_PATH_IMAGE014
个像素点的加权值，向量k=(k 1,k 2,...,k n )，
Figure 838883DEST_PATH_IMAGE015
是混合高斯模型的向量，其中，k i 、
Figure 114007DEST_PATH_IMAGE016
分别代表第k i 个高斯分布以及其均值与协方差向量，
Figure 819795DEST_PATH_IMAGE017
为第k i 个高斯分布概率密度函数，
Figure 469475DEST_PATH_IMAGE018
为常数，
Figure 260714DEST_PATH_IMAGE019
值的大小由图像对比度确定。根据上式，可求出最小吉布斯能量，得到最优的前景图像，即：
Figure 339528DEST_PATH_IMAGE020
；
得出最终前景图像后，再次利用生态学处理（即二值化处理），即可刻画出感兴趣的区域，完成电力线图像的第二次分割，得到最终前景图像。
Grabcut算子是一种交互式的图像分割方法，一般来说，进行分割前，用户需要指定一个包含前景目标的区域，在本发明中，该指定区域不需要人为给定，直接由前一步的Sobel算子给出，得到该区域后，对图像的不同区域进行标号，不同的标号对应不同的吉布斯能量，总能量最小的标号则认为是最优的分割区域，得到最优分割区域后，再次利用生态学处理，即可刻画出感兴趣的区域，完成电力线图像的第二次分割，进一步提取前景图像，消除图像阴影等，弥补了Sobel分割算子颗粒度大的缺点，相较于单分割方法在分割效果上提升明显。
步骤104、将最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果。
将最终前景图像输入到预置数字孪生台区电力线检测模型中，通过预置数字孪生台区电力线检测模型中的特征提取模块对最终前景图像进行特征提取，得到特征图；通过预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
本申请实施例中的预置数字孪生台区电力线检测模型由特征提取模块和多尺度目标检测模块构成，特征提取模块包括三个二维卷积模块Conv2d、七个反向残差模块Bottleneck和一个平均值值池化模块Avgpool，这些模块通过串联的方式连接而成，各模型的参数可以参考表1，其中，t表示通道的倍增系数，c为输出的特征矩阵的通道数，n为倒残差结构重复的次数，s为步距。得到最终前景图像后，通过图像特征提取模块对输入图像进行特征提取，在图像特征提取过程中，图像依次经过二维卷积模块、七个反向残差模块、二维卷积模块、平均值值池化模块和二维卷积模块，得到最终的特征图。
表1 模型参数
Figure 650555DEST_PATH_IMAGE021
反向残差模块包括二维卷积模块和可分离卷积模块，由两个二维卷积模块Conv1×1和一个可分离卷积模块Dwise3×3串联之后与输入的特征图进行跳过连接，具体可以参考图2。在通过反向残差模块进行特征提取时，残差结构先对利用1×1卷积对输入的特征图进行通道扩张，然后对扩张后的特征通道进行3×3的深度可分离的卷积操作，最后利用1×1的点卷积将高维通道压缩至原特征维度，其中，深度可分离卷积是一种可分解卷积操作，即是用深度卷积和逐点卷积代替原来的标准卷积进行电力线图像特征的提取，采用可分离卷积的目的是减少特征提取的计算量。
由于对图像预先进行分割，再通过检测模型进行检测，以较小的计算量极大地减轻了电力线图像特征提取的压力，因此采用深度可分离卷积代替标准卷积几乎不影响图像特征提取效果，并且深度可分离卷积相对于标准卷积节省大量计算资源，提高了算法的运算速度。经过特征提取模块提取的特征图需要经过基于SSD的多尺度目标检测模块进行电力线检测得出最终的电力线检测结果。电力线图像的特征图经过多尺度目标检测模块后，相对于单一尺度的检测网络更加充分地利用了电力线特征图的特性，一方面可以在复杂背景下更精确地区分出电力线与环境的边界，另一方面对电力线遮挡的情况也具备适应能力，可以有效地提高电力线提取的准确度。
进一步，预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息，该标签信息可以是手工标记得到，包括检测框信息、类别信息等；
采用Sobel算子对训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对训练样本进行再次分割，得到最终分割结果；
以最终分割结果为输入数据，以标签信息和最佳分割阈值为训练目标对卷积神经网络进行训练；
根据卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息、最佳分割阈值计算损失值；
通过损失值更新卷积神经网络的网络参数，直至卷积神经网络收敛，得到预置电力检测模型。
在传统的边缘检测方法中，Sobel算子是基于阈值的检测方法，然而在申请实施例中，Sobel算子作为检测模型的前景提取器，其阈值与神经网络模型的最终识别结果紧密相关，因此，本申请实施例将Sobel算子的阈值设为神经网络模型的可微参数，在模型训练过程中自动进行迭代，其迭代公式如式：
Figure 484519DEST_PATH_IMAGE022
；
式中，E为损失值，v为Sobel算子的分割阈值，w ji 为卷积神经网络中对应的权重参数的第j行第i列，k为微分的阶数。
Sobel的分割阈值参数一般有四个，初始值可由人为给定也可随机给定，在标注数据集时，每一张图片都采用Sobel算子分割过滤，并记下了最佳分割阈值，在训练卷积神经网络时，迭代器为Adam，卷积神经网络可以从人工标记的参数中学习并收敛。关于损失函数，本申请实施例根据阈值进行分割最终是为了更好地识别出目标，而单纯迭代阈值参数本身没有意义，因此本申请实施例对基于SSD目标检测网络的多尺度目标检测模块的输出进行了改进，除了会输出检测框，检测类别，置信度值之外还会输出预测的分割阈值，然后根据卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息、最佳分割阈值计算损失值，其中，检测框和检测类别对应的损失值的计算过程可以参考现有技术，在此不再进行赘述。分割阈值对应的损失值可以采用如下公式进行计算：
Figure 746742DEST_PATH_IMAGE023
；
式中，LOSS sobel 为Sobel算子的分割阈值对应的损失值，K×K、M分别为输入特征的维度，
Figure 629247DEST_PATH_IMAGE024
为第i行第j列个预测框的区域，v i (c)为最佳分割阈值，
Figure 44048DEST_PATH_IMAGE025
为分割阈值预测值，c为Sobel算子的各个参数。当然，也可以采用其他的损失函数公式来计算。
通过损失值反向迭代更新卷积神经网络的网络参数，直至卷积神经网络收敛，得到预置电力检测模型。当损失值不再变化且低于预置误差阈值时，则判断卷积神经网络收敛。训练到后面，卷积神经网络输出的分割阈值预测值基本维持在一个固定范围内浮动，偏差不会太大，因此，在实际检测过程中，可以在该固定范围内选择Sobel算子的分割阈值进行初步分割，不需要人工根据经验来选择分割阈值。
本申请实施例中，在通过预置数字孪生台区电力线检测模型进行电力线检测之前，对电力线路图像进行图像分割，获取前景图像，去除了大部分无意义的环境背景，减少了检测模型的计算量，提高了检测速度；并且，本申请中采用Sobel算子先进行初步分割，然后基于初步前景区域，采用Grabcut算子进行再次分割，不需要人工设置前景区域，并且采用二次分割方式，可以保证分割结果的准确性，有助于提高检测精度，改善了现有技术存在计算量大，检测速度慢的技术问题。
以上为本申请提供的一种数字孪生台区电力线检测方法的一个实施例，以下为本申请提供的一种数字孪生台区电力线检测装置的一个实施例。
请参考图3，本申请实施例提供的一种数字孪生台区电力线检测装置，包括：
采集单元，用于采集电力线路图像，得到待检测图像；
第一分割单元，用于采用Sobel算子对待检测图像进行初步分割，得到初步前景区域；
第二分割单元，用于基于初步前景区域，采用Grabcut算子对待检测图像进行再次分割，得到最终前景图像；
检测单元，用于将最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果。
作为进一步地改进，检测单元，具体用于：
将最终前景图像输入到预置数字孪生台区电力线检测模型中，通过预置数字孪生台区电力线检测模型中的特征提取模块对最终前景图像进行特征提取，得到特征图，其中，特征提取模块包括三个二维卷积模块、七个反向残差模块和一个平均值值池化模块；
通过预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
作为进一步地改进，预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息；
采用Sobel算子对训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对训练样本进行再次分割，得到最终分割结果；
以最终分割结果为输入数据，以标签信息和最佳分割阈值为训练目标对卷积神经网络进行训练；
根据卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息计算损失值；
通过损失值更新卷积神经网络的网络参数，直至卷积神经网络收敛，得到预置电力检测模型。
作为进一步地改进，装置还包括：预处理单元，用于：
对待检测图像进行中值滤波，以去除待检测图像中的噪声；
对滤波后的待检测图像进行直方图均衡化处理，以对待检测图像进行图像增强。
进一步，本申请实施例中的数字孪生台区电力线检测装置可以集成相机模组和瑞芯微3399智能芯片和深度学习加速芯片瑞芯微rk1808以及通信模组，该智能芯片的中央处理器可以为RK3399Pro Dual-core ARM Cortex-A72(2.0GHz) MPCore Processor +Quad-Core ARM Cortex-A53(1.4GHz)MPCo，其中RAM为4GB，ROM为64GB，可提供足够的算力，该深度学习加速芯片算力为3.0 TOPs，同时支持INT8(3TOPs)/INT16(300GOPs)/FP16(100GFLOPs)混合运算，可以满足本申请实施例中算法所需的算力需求。摄像头可以为800万像素，焦距为16mm，清晰度和视野宽度均可满足实际需求，同时智能摄像头配备有1路千兆网口、3路USB3.0高速外围接口和支持LTE CAT 4高速网络。该装置可以安装在台区以自带的相机作为图像输入来源，也可以外接到无人机上以无人机航拍图像作为图像输入来源，也可以连接线路原先的监控摄像头作为图像输入来源；即该装置具备非常强的可扩展性和灵活性。
本申请实施例中，在通过预置数字孪生台区电力线检测模型进行电力线检测之前，对电力线路图像进行图像分割，获取前景图像，去除了大部分无意义的环境背景，减少了检测模型的计算量，提高了检测速度；并且，本申请中采用Sobel算子先进行初步分割，然后基于初步前景区域，采用Grabcut算子进行再次分割，不需要人工设置前景区域，并且采用二次分割方式，可以保证分割结果的准确性，有助于提高检测精度，改善了现有技术存在计算量大，检测速度慢的技术问题。
本申请实施例还提供了一种数字孪生台区电力线检测设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的数字孪生台区电力线检测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的数字孪生台区电力线检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种数字孪生台区电力线检测方法，其特征在于，包括：
采集电力线路图像，得到待检测图像；
采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域；
基于所述初步前景区域，采用Grabcut算子对所述待检测图像进行再次分割，得到最终前景图像；
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果；
所述预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息；
采用Sobel算子对所述训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对所述训练样本进行再次分割，得到最终分割结果；
以所述最终分割结果为输入数据，以所述标签信息和所述最佳分割阈值为训练目标对卷积神经网络进行训练；
根据所述卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息、最佳分割阈值计算损失值；
通过所述损失值更新所述卷积神经网络的网络参数，直至所述卷积神经网络收敛，得到预置电力检测模型；
所述采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域，包括：
计算所述待检测图像在水平方向和垂直方向上的一阶梯度；
根据所述待检测图像在水平方向和垂直方向上的一阶梯度和预置分割阈值确定所述待检测图像的初步前景区域，所述预置分割阈值根据训练时的分割阈值预测结果确定。
2.根据权利要求1所述的数字孪生台区电力线检测方法，其特征在于，所述将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果，包括：
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中，通过所述预置数字孪生台区电力线检测模型中的特征提取模块对所述最终前景图像进行特征提取，得到特征图，其中，所述特征提取模块包括三个二维卷积模块、七个反向残差模块和一个平均值池化模块；
通过所述预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
3.根据权利要求1所述的数字孪生台区电力线检测方法，其特征在于，所述采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域，之前还包括：
对所述待检测图像进行中值滤波，以去除所述待检测图像中的噪声；
对滤波后的待检测图像进行直方图均衡化处理，以对待检测图像进行图像增强。
4.一种数字孪生台区电力线检测装置，其特征在于，包括：
采集单元，用于采集电力线路图像，得到待检测图像；
第一分割单元，用于采用Sobel算子对所述待检测图像进行初步分割，得到初步前景区域；
第二分割单元，用于基于所述初步前景区域，采用Grabcut算子对所述待检测图像进行再次分割，得到最终前景图像；
检测单元，用于将所述最终前景图像输入到预置数字孪生台区电力线检测模型中进行检测，得到电力线检测结果；
所述预置数字孪生台区电力线检测模型的训练过程为：
获取训练样本及训练样本对应的标签信息；
采用Sobel算子对所述训练样本进行初步分割，并记录分割时的最佳分割阈值；
基于初步分割的分割结果，采用Grabcut算子对所述训练样本进行再次分割，得到最终分割结果；
以所述最终分割结果为输入数据，以所述标签信息和所述最佳分割阈值为训练目标对卷积神经网络进行训练；
根据所述卷积神经网络输出的检测框预测结果、检测类别预测结果、分割阈值预测结果和对应的标签信息计算损失值；
通过所述损失值更新所述卷积神经网络的网络参数，直至所述卷积神经网络收敛，得到预置电力检测模型；
所述第一分割单元，具体用于：
计算所述待检测图像在水平方向和垂直方向上的一阶梯度；
根据所述待检测图像在水平方向和垂直方向上的一阶梯度和预置分割阈值确定所述待检测图像的初步前景区域，所述预置分割阈值根据训练时的分割阈值预测结果确定。
5.根据权利要求4所述数字孪生台区电力线检测装置，其特征在于，所述检测单元，具体用于：
将所述最终前景图像输入到预置数字孪生台区电力线检测模型中，通过所述预置数字孪生台区电力线检测模型中的特征提取模块对所述最终前景图像进行特征提取，得到特征图，其中，所述特征提取模块包括三个二维卷积模块、七个反向残差模块和一个平均值池化模块；
通过所述预置数字孪生台区电力线检测模型中的多尺度目标检测模块进行电力线检测，得到电力线检测结果。
6.一种数字孪生台区电力线检测设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-3任一项所述的数字孪生台区电力线检测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-3任一项所述的数字孪生台区电力线检测方法。
CN202210776386.XA 2022-07-04 2022-07-04 一种数字孪生台区电力线检测方法及其相关装置 Active CN114842006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776386.XA CN114842006B (zh) 2022-07-04 2022-07-04 一种数字孪生台区电力线检测方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776386.XA CN114842006B (zh) 2022-07-04 2022-07-04 一种数字孪生台区电力线检测方法及其相关装置

Publications (2)

Publication Number Publication Date
CN114842006A CN114842006A (zh) 2022-08-02
CN114842006B true CN114842006B (zh) 2022-10-14

Family

ID=82574661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776386.XA Active CN114842006B (zh) 2022-07-04 2022-07-04 一种数字孪生台区电力线检测方法及其相关装置

Country Status (1)

Country Link
CN (1) CN114842006B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726725A (zh) * 2019-10-23 2020-01-24 许昌许继软件技术有限公司 一种输电线路金具锈蚀检测方法及装置
CN111220619A (zh) * 2019-12-05 2020-06-02 河海大学常州校区 一种绝缘子自爆检测方法
WO2021150017A1 (en) * 2020-01-23 2021-07-29 Samsung Electronics Co., Ltd. Method for interactive segmenting an object on an image and electronic computing device implementing the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627299B (zh) * 2021-07-30 2024-04-09 广东电网有限责任公司 一种基于深度学习的导线漂浮物智能识别方法及装置
CN114694178A (zh) * 2022-03-23 2022-07-01 西安金源电气股份有限公司 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726725A (zh) * 2019-10-23 2020-01-24 许昌许继软件技术有限公司 一种输电线路金具锈蚀检测方法及装置
CN111220619A (zh) * 2019-12-05 2020-06-02 河海大学常州校区 一种绝缘子自爆检测方法
WO2021150017A1 (en) * 2020-01-23 2021-07-29 Samsung Electronics Co., Ltd. Method for interactive segmenting an object on an image and electronic computing device implementing the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进的GrabCut算法在古代壁画分割中的应用;曹建芳等;《湖南科技大学学报(自然科学版)》;20200620(第02期);第83-89页 *

Also Published As

Publication number Publication date
CN114842006A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN115601374B (zh) 一种染色体图像分割方法
CN111428748B (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN109596634B (zh) 电缆缺陷的检测方法及装置、存储介质、处理器
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN111738344B (zh) 一种基于多尺度融合的快速目标检测方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111968081B (zh) 鱼群自动计数方法、装置、电子设备及存储介质
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
Zhang et al. End to end video segmentation for driving: Lane detection for autonomous car
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113065431B (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN111723749A (zh) 一种安全帽佩戴识别方法、系统及设备
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant