CN117911356A - 基于dspn的gis设备缺陷检测方法、系统、终端及介质 - Google Patents
基于dspn的gis设备缺陷检测方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN117911356A CN117911356A CN202410058730.0A CN202410058730A CN117911356A CN 117911356 A CN117911356 A CN 117911356A CN 202410058730 A CN202410058730 A CN 202410058730A CN 117911356 A CN117911356 A CN 117911356A
- Authority
- CN
- China
- Prior art keywords
- information
- mid2
- detected
- feature map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 146
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 57
- 238000010586 diagram Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract 1
- 230000003935 attention Effects 0.000 description 51
- 230000000694 effects Effects 0.000 description 4
- 239000012212 insulator Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002923 metal particle Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- NLZUEZXRPGMBCV-UHFFFAOYSA-N Butylhydroxytoluene Chemical compound CC1=CC(C(C)(C)C)=C(O)C(C(C)(C)C)=C1 NLZUEZXRPGMBCV-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于电力系统故障检测的技术领域，提供了一种基于DSPN的GIS设备缺陷检测方法、系统、终端及介质，其方法包括获取待检测缺陷图像，然后将待检测缺陷图像输入至深度神经网络模型，生成缺陷检测图像，再根据缺陷检测图像，确定缺陷检测结果信息。本申请能够充分利用特征图的潜在特征，通过不同尺度的空间和通道权重，使感兴趣信息作用于大小不同的输出特征图上，有效提高网络对X‑DR图像全局信息的关注度，有效增强了模型的表达能力，有效针对GIS设备在X‑DR图像中成像模糊等特点，以及优化现有FPN对少语义信息的X射线图像特征提取不明显的缺点。
Description
技术领域
本申请涉及电力系统故障检测的技术领域，具体而言，涉及一种基于DSPN的GIS设备缺陷检测方法、系统、终端及介质。
背景技术
由于气体绝缘开关(Gas-insulatedswitchgear,GIS)具有维护成本低、集成度好和供电可靠性高等优点，在变电站中得到了广泛的应用。然而，由于生产工艺和长时间运行的影响，GIS设备的内部部件不可避免地会出现缺陷，如出现裂纹、出现气泡、存在金属异物等，这些缺陷均可能导致设备绝缘性能失效，进而使其对电网的保护和控制作用失效，甚至可能造成停电事故。因此，定期对GIS设备内部部件进行状态试验，以确保其安全、稳定和可靠地运行，具有十分重要的意义。
目前，检修人员通常采用人工检测的方法检测GIS设备的内部部件，但是人工检测容易受经验等其他因素的影响，存在检测精准度较低的问题，有待进一步改进。
发明内容
基于此，本申请实施例提供了一种基于DSPN的GIS设备缺陷检测方法、系统、终端及介质，以解决现有技术中检测精准度较低的问题。
第一方面，本申请实施例提供了一种基于DSPN的GIS设备缺陷检测方法，所述方法包括：
基于预设的数字成像设备，获取待检测缺陷图像；
输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像；
根据所述缺陷检测图像，确定缺陷检测结果信息。
与现有技术相比存在的有益效果是：本申请实施例提供的基于DSPN的GIS设备缺陷检测方法，终端设备可以先基于预设的数字成像设备，获取待检测缺陷图像，然后将待检测缺陷图像输入至深度神经网络模型，生成缺陷检测图像，再根据缺陷检测图像，确定缺陷检测结果信息，从而充分利用特征图的潜在特征，通过不同尺度的空间和通道权重，使感兴趣信息作用于大小不同的输出特征图上，有效提高网络对X-DR图像全局信息的关注度，尽可能减少人工的参与，减少人工经验不足对检测的不良影响，有效提高检测精准度，在一定程度上解决了当前检测精准度较低的问题。
第二方面，本申请实施例提供了一种基于DSPN的GIS设备缺陷检测系统，所述系统包括：
待检测缺陷图像获取模块：用于基于预设的数字成像设备，获取待检测缺陷图像；
缺陷检测图像生成模块：用于输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像；
缺陷检测结果信息确定模块：用于根据所述缺陷检测图像，确定缺陷检测结果信息。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的GIS设备缺陷检测方法的流程示意图；
图2是本申请一实施例提供的深度神经网络模型的示意图；
图3是本申请一实施例提供的扩展加权跨阶段金字塔网络连接过程的示意图；
图4是本申请一实施例提供的GIS设备缺陷检测方法中步骤S200的流程示意图；
图5是本申请一实施例提供的转换器自注意力模块的示意图；
图6是本申请一实施例提供的GIS设备缺陷检测方法中步骤S260之前的流程示意图；
图7是本申请一实施例提供的GIS设备缺陷检测方法中步骤S260的流程示意图；
图8是本申请一实施例提供的缺陷检测结果信息的示意图，其中，图8中的(a)为第一示意图，图8中的(b)为第二示意图，图8中的(c)为第三示意图，图8中的(d)为第四示意图；
图9是本申请一实施例提供的GIS设备缺陷检测系统的模块框图；
图10是本申请一实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1是本申请实施例提供的基于DSPN的GIS设备缺陷检测方法的流程示意图。在本实施例中，GIS设备缺陷检测方法的执行主体为终端设备。可以理解的是，终端设备的类型包括但不限于手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal DigitalAssistant，PDA)等，本申请实施例对终端设备的具体类型不作任何限制。
请参阅图1，本申请实施例提供的GIS设备缺陷检测方法包括但不限于以下步骤：
在S100中，基于预设的数字成像设备，获取待检测缺陷图像。
具体来说，数字成像设备可以是X射线机，待检测缺陷图像用于描述GIS设备的X射线数字成像(X-digi tal radiography，X-DR)图像；终端设备可以基于预设的数字成像设备，获取GIS设备的待检测缺陷图像。
在S200中，输入待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像。
具体来说，在终端设备获取待检测缺陷图像之后，终端设备可以将待检测缺陷图像输入至预设的深度神经网络模型中，生成缺陷检测图像，其中，缺陷检测图像用于描述确定内部部件缺陷后的图像。
在一些可能的实现方式中，为了有效提高检测精准度，在步骤S200之前，该方法还包括但不限于以下步骤：
在S201中，搭建深度神经网络模型。
具体来说，请参阅图2，深度神经网络模型包括扩展加权跨阶段金字塔网络(Dilated Weighted Across Stages-Pyramid Network,DSPN)、转换器自注意力(TransformerSelf-Attent ion,TS)模块、区域建议网络和分类回归模块，其中，扩展加权跨阶段金字塔网络可以是在FPN的基础上，将感受野的特征与卷积块注意模块(Convolut ional BlockAttent ion Module,CBAM)相结合所获得的网络，扩展加权跨阶段金字塔网络能够采用扩张卷积的方式，在保持参数不变的情况下增加卷积的感受野，并且根据不同特征图的不同要求，赋予不同的权重，同时，还能够进一步增强网络对浅层语义的关注，充分整合FPN各层所提取的语义信息，进行跨阶段加权操作，从而减少GIS设备的X-DR图像中的缺陷大小受现场环境、X射线机照射角度和GIS设备放置位置等因素的影响，而存在不同尺度的缺陷的情况，减少在特征图感受野的限制下不能实现缺陷尺度全覆盖的情况。
需要说明的是，由于GIS设备的X-DR图像中不同大小的特征图对通道和空间的敏感性是不同的，为了同时考虑语义信息较少、位置信息丰富和更注重空间特征的底层特征图，以及位置信息相对粗糙，但包含丰富的语义信息，更关注通道特征的高级特征图，扩展加权跨阶段金字塔网络能够实现减少引入过多的通道特征，导致网络过拟合的情况，同时减少引入过多的空间特征，将网络变得敏感并产生非像素信息的情况。
在一些可能的实现方式中，扩展加权跨阶段金字塔网络包括通道注意模块和空间注意模块，其中，通道注意模块包括第一计算公式、第一改进公式、第二计算公式、第二改进公式和加权融合公式，在一种可能的实现方式中，扩展加权跨阶段金字塔网络的具体连接过程可以参考图3。
在一些可能的实现方式中，为了进一步提高检测精准度，请参阅图4，步骤S200包括但不限于以下步骤：
在S210中，将待检测缺陷图像输入至扩展加权跨阶段金字塔网络中，根据待检测缺陷图像和第一计算公式，生成通道注意模块的第一输出信息。
具体来说，终端设备可以将待检测缺陷图像输入至扩展加权跨阶段金字塔网络中，根据待检测缺陷图像和第一计算公式，生成通道注意模块的第一输出信息。
在一些可能的实现方式中，上述第一计算公式可以是：
Mc(Fmid2)＝σ(MLP(Avg(Fmid2)+MLP(Max(Fmid2)))，
式中，Fmid2表示待检测缺陷图像，Mc(Fmid2)表示第一输出信息，σ表示预设的Sigmoid函数，MLP表示预设的多层感知器，Avg(Fmid2)表示平均池化处理后的待检测缺陷图像，Max(Fmid2)表示最大池化操作后的待检测缺陷图像。
在S220中，根据第一输出信息和第一改进公式，生成通道注意特征图信息。
具体来说，终端设备可以根据第一输出信息和第一改进公式，生成通道注意特征图信息。
在一些可能的实现方式中，上述第一改进公式可以是：
式中，Fc·mid2表示通道注意特征图信息，Mc(Fmid2)表示第一输出信息，表示预设的矩阵点乘运算，Fmid2表示待检测缺陷图像。
在S230中，根据待检测缺陷图像和第二计算公式，生成空间注意模块的第二输出信息。
具体来说，终端设备可以根据待检测缺陷图像和第二计算公式，生成空间注意模块的第二输出信息。
在一些可能的实现方式中，上述第二计算公式可以是：
Ms(Fmid2)＝σ(f7×7(Con(Avg(Fmid2)，Max(Fmid2))))，
式中，Fmid2表示待检测缺陷图像，Ms(Fmid2)表示第二输出信息，σ表示Sigmoid函数，f7×7是卷积核表示7×7的卷积运算，Con(，)表示卷积操作，Avg(Fmid2)表示平均池化处理后的待检测缺陷图像，Max(Fmid2)表示最大池化操作后的待检测缺陷图像。
在S240中，根据第二输出信息和第二改进公式，生成空间注意特征图信息。
具体来说，终端设备可以根据第二输出信息和第二改进公式，生成空间注意特征图信息。
在一些可能的实现方式中，上述第二改进公式可以是：
式中，Fs·mid2表示空间注意特征图信息，Ms(Fmid2)表示第二输出信息，表示预设的矩阵点乘运算，Fmid2表示待检测缺陷图像。
在S250中，根据通道注意特征图信息、空间注意特征图信息和加权融合公式，生成特征图加权融合结果信息。
具体来说，由于使用不同速率的扩张卷积对不同的特征图分支进行卷积运算，能够使得每个分支都有一个适合不同对象的感受野，底层特征图的作用是检测小尺寸的物体，因此在这一层中使用较小的扩张率，高层特征图的作用是检测大尺寸的物体，因此使用更大的扩张率来进一步扩张感受野，随着特征图的上升，扩展速率结构会逐层增加，故终端设备可以根据通道注意特征图信息、空间注意特征图信息和加权融合公式，生成特征图加权融合结果信息，从而在相同大小的输入和输出节点之间跨层引入加权连接，有效将浅层细节集成到深层网络中，实现在不增加计算量的情况下，使目标边界的回归更加精确，更好地提高预测框与真实框的交叉比，同时，可以采用可学习的方式进行融合以充分考虑浅层语义信息的直接融合对深层信息所产生一定的影响。
不失一般性地，请参阅图3，图3中的F0为主干的输出特征图，F1为指定步骤的输出，F2为自顶向下层对应的特征图，F3为自底向上层对应的特征图，Weight1和Weight2分别为不同路径上特征图融合的权重值。
在一些可能的实现方式中，上述加权融合公式可以是：
式中，F1表示特征图加权融合结果信息，ε1表示通道注意特征图信息对应的加权系数，Fc·mid2表示通道注意特征图信息，ε2表示空间注意特征图信息对应的加权系数，Fs·mid2表示空间注意特征图信息，ε3表示待检测缺陷图像对应的加权系数，Fmid2表示待检测缺陷图像。
在S260中，将特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息。
具体来说，终端设备可以将特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息，从而进一步改善盆式绝缘子X射线图中微小缺陷模糊、缺乏细节、特征不突出等问题。
不失一般性地，转换器自注意力模块可以集成在一个包含基于反卷积和跳跃连接的网络中，转换器自注意力模块的整体结构如图5所示，转换器自注意力模块能够通过结合X-DR图像上下文信息，提取出更清晰和更丰富的缺陷语义特征。
在S270中，将特征图求和信息输入至区域建议网络中，生成特征图候选区域建议信息。
具体来说，终端设备可以将特征图求和信息输入至区域建议网络中，生成特征图候选区域建议信息，从而生成候选物体区域的建议
在S280中，将特征图候选区域建议信息输入至分类回归模块中，生成缺陷检测图像。
具体来说，终端设备可以将特征图候选区域建议信息输入至分类回归模块中，生成缺陷检测图像，从而对候选物体区域进行物体分类和边界框位置的精确预测。
在一些可能的实现方式中，为了有利于实现提取出更清晰和更丰富的缺陷语义特征，请参阅图6，在步骤S260之前，该方法还包括但不限于以下步骤：
在S2601中，对特征图加权融合结果信息进行1×1卷积操作，生成第一处理图信息。
具体来说，终端设备可以对特征图加权融合结果信息进行1×1卷积操作，生成第一处理图信息。
在S2602中，对第一处理图信息进行3×3卷积操作，生成第二处理图信息。
具体来说，在终端设备生成第一处理图信息之后，终端设备可以对第一处理图信息进行3×3卷积操作，生成第二处理图信息。
在一些可能的实现方式中，为了进一步有利于实现提取出更清晰和更丰富的缺陷语义特征，，请参阅图7，步骤S260包括但不限于以下步骤：
在S261中，将特征图加权融合结果信息输入至转换器自注意力模块中，生成注意力模块输出图信息。
具体来说，终端设备可以将特征图加权融合结果信息输入至转换器自注意力模块中，生成注意力模块输出图信息。
在S262中，将第二处理图信息和注意力模块输出图信息进行相加，生成第三处理图信息。
具体来说，在终端设备生成注意力模块输出图信息之后，终端设备可以将第二处理图信息和注意力模块输出图信息进行相加，生成第三处理图信息。
在S263中，对第三处理图信息进行1×1卷积操作，生成第四处理图信息。
具体来说，在终端设备生成第三处理图信息之后，终端设备可以对第三处理图信息进行1×1卷积操作，生成第四处理图信息。
在S264中，将第四处理图信息和特征图加权融合结果信息进行相加，生成特征图求和信息。
具体来说，在终端设备生成第四处理图信息之后，终端设备可以将第四处理图信息和特征图加权融合结果信息进行相加，生成特征图求和信息。
不失一般性地，由于多头注意的第一层是多个自我注意结构的整合。子层用于捕获特征之间的依赖关系，并忽略它们之间的距离，故在转换器自注意力模块中，可以先基于预设的注意力计算公式，确定第i个注意力，其中，注意力计算公式可以为：
式中，WQ、WK和WV均为映射权重，Q、K、V分别表示查询、键和值；
缩放点积注意力的计算公式可以为：
式中，为了避免了极小的梯度，产生了更柔和的注意力分布，多头注意力的计算公式可以是：
Multi-Head(Hl-1)＝[head1,...,headh]·W0
式中，W0为可训练权重；
由于前馈包含两种映射，线性映射和ReLu非线性映射，并且同样被应用于每个time step，该方法从上一层Multi-head(Hl-1)中得到Hl，如以下公式所示：Hl＝FFN(Multi-Head(Hl-1))和FFN(x)＝ReLu(x·W1+b1)·W2+b2，从而实现将盆式绝缘子X射线图输入自注意力模块，对自注意力模块进行向量化，得到加权特征向量，通过这个向量被馈送到包含更多全局信息的前馈网络中，然后通过两个线性转换层和一个ReLU激活函数层在每个向量上重复执行几次该操作，在每一个子层结束后，通过Norm模块对数据和特征进行归一化处理，以保证网络计算梯度的稳定性。
在一些可能的实现方式中，由于应对X射线图像缺陷与背景具有相似的视觉伪装，仅计算中心点偏置损失及边框损失，无法在检测盆式绝缘子缺陷时准确反映预测框和真实框的具体相交情况，扩展加权跨阶段金字塔网络的损失函数为：
式中，L为损失函数的输出，Lcls为分类损失信息，Lreg为回归损失信息，Bpd为真实框的中心点，Bgt为预测框的中心点，wgt为真实框的长度，hgt为真实框的宽度，w为预测框的长度，h为预测框的宽度，β为预设的聚集参数，γ为真实标签，γ′为预测标签，-α(1-γ′)β为第一调变因子，-(1-α)γ′β为第二调变因子。
在S300中，根据缺陷检测图像，确定缺陷检测结果信息。
具体来说，。请参阅图8，终端设备可以根据缺陷检测图像，确定缺陷检测结果信息。
在一些可能的实现方式中，终端设备可以通过该步骤制作数据集：利用GIS设备盆式绝缘子图像由X射线数字成像系统拍摄的1500张初始图像来构建数据集，首先将数据集缺陷图像分为六种缺陷类型，432张图像为气隙(Air gap)缺陷，635张图像为裂纹(Crack)缺陷，251张图像为自由金属粒子(Free Metal Particle,FMP)缺陷，136张图像为气泡(Airbubble)缺陷，210张图像为金属异物(Metal foreign object,MFO)缺陷，164张图像为空隙(Void)缺陷，然后将训练集与测试集图像分配比例为9：1。
在一些可能的实现方式中，在制作数据集之后，终端设备可以进行性能测试，其中，终端设备可以以Window10为计算机系统，采用3GHz CPU和i7-9700 Core作为计算机处理器，初始学习率为0.01，利用训练好的模型对X-DR测试集图像进行诊断，然后选取四张缺陷作为(Void、FMP、Crack)视觉成像效果。
本申请实施例基于DSPN的GIS设备缺陷检测方法的实施原理为：终端设备可以先基于预设的数字成像设备，获取待检测缺陷图像，然后输入待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像，再根据缺陷检测图像，确定缺陷检测结果信息，从而充分利用特征图的潜在特征，通过不同尺度的空间和通道权重，使感兴趣信息作用于大小不同的输出特征图上，提高了网络对X-DR图像全局信息的关注度，有效提高检测精准度。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请的实施例还提供了一种基于DSPN的GIS设备缺陷检测系统，为便于说明，仅示出与本申请相关的部分，如图9所示，该系统90包括：
待检测缺陷图像获取模块91：用于基于预设的数字成像设备，获取待检测缺陷图像；
缺陷检测图像生成模块92：用于输入待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像；
缺陷检测结果信息确定模块93：用于根据缺陷检测图像，确定缺陷检测结果信息。
可选的，该系统90还包括：
深度神经网络模型搭建模块：用于搭建深度神经网络模型，其中，深度神经网络模型包括扩展加权跨阶段金字塔网络、转换器自注意力模块、区域建议网络和分类回归模块；
可选的，扩展加权跨阶段金字塔网络包括通道注意模块和空间注意模块，通道注意模块包括第一计算公式、第一改进公式、第二计算公式、第二改进公式和加权融合公式；上述缺陷检测图像生成模块92包括：
第一输出信息生成子模块：用于将待检测缺陷图像输入至扩展加权跨阶段金字塔网络中，根据待检测缺陷图像和第一计算公式，生成通道注意模块的第一输出信息；
通道注意特征图信息生成子模块：用于根据第一输出信息和第一改进公式，生成通道注意特征图信息；
第二输出信息生成子模块：用于根据待检测缺陷图像和第二计算公式，生成空间注意模块的第二输出信息；
空间注意特征图信息生成子模块：用于根据第二输出信息和第二改进公式，生成空间注意特征图信息；
特征图加权融合结果信息生成子模块：用于根据通道注意特征图信息、空间注意特征图信息和加权融合公式，生成特征图加权融合结果信息；
特征图求和信息生成子模块：用于将特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息；
特征图候选区域建议信息生成子模块：用于将特征图求和信息输入至区域建议网络中，生成特征图候选区域建议信息；
缺陷检测图像生成子模块：用于将特征图候选区域建议信息输入至分类回归模块中，生成缺陷检测图像。
可选的，该系统90还包括：
第一处理图信息生成模块：用于对特征图加权融合结果信息进行1×1卷积操作，生成第一处理图信息；
第二处理图信息生成模块：用于对第一处理图信息进行3×3卷积操作，生成第二处理图信息；
可选的，上述特征图求和信息生成子模块包括：
注意力模块输出图信息生成单元：用于将特征图加权融合结果信息输入至转换器自注意力模块中，生成注意力模块输出图信息；
第三处理图信息生成单元：用于将第二处理图信息和注意力模块输出图信息进行相加，生成第三处理图信息；
第四处理图信息生成单元：用于对第三处理图信息进行1×1卷积操作，生成第四处理图信息；
特征图求和信息生成单元：用于将第四处理图信息和特征图加权融合结果信息进行相加，生成特征图求和信息。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种终端设备，如图10所示，该实施例的终端设备10包括：处理器101、存储器102以及存储在存储器102中并可在处理器101上运行的计算机程序103。处理器101执行计算机程序103时实现上述流量处理方法实施例中的步骤，例如图1所示的步骤S100至S300；或者，处理器101执行计算机程序103时实现上述装置中各模块的功能，例如图9所示模块91至93的功能。
该终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，该终端设备10包括但不仅限于处理器101、存储器102。本领域技术人员可以理解，图10仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备10还可以包括输入输出设备、网络接入设备、总线等。
其中，处理器101可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等；通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以是终端设备10的内部存储单元，例如终端设备10的硬盘或内存，存储器102也可以是终端设备10的外部存储设备，例如终端设备10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等；进一步地，存储器102还可以既包括终端设备10的内部存储单元也包括外部存储设备，存储器102还可以存储计算机程序103以及终端设备10所需的其它程序和数据，存储器102还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的一个实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等；计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的方法、原理、结构所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (8)
1.一种基于DSPN的GIS设备缺陷检测方法，其特征在于，所述方法包括：
基于预设的数字成像设备，获取待检测缺陷图像；
输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像；
根据所述缺陷检测图像，确定缺陷检测结果信息。
2.根据权利要求1所述的方法，其特征在于，在所述输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像之前，所述方法包括：
搭建所述深度神经网络模型，其中，所述深度神经网络模型包括扩展加权跨阶段金字塔网络、转换器自注意力模块、区域建议网络和分类回归模块；
相应地，所述扩展加权跨阶段金字塔网络包括通道注意模块和空间注意模块，所述通道注意模块包括第一计算公式、第一改进公式、第二计算公式、第二改进公式和加权融合公式；所述输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像，包括：
将所述待检测缺陷图像输入至所述扩展加权跨阶段金字塔网络中，根据所述待检测缺陷图像和所述第一计算公式，生成所述通道注意模块的第一输出信息；
根据所述第一输出信息和所述第一改进公式，生成通道注意特征图信息；
根据所述待检测缺陷图像和所述第二计算公式，生成所述空间注意模块的第二输出信息；
根据所述第二输出信息和所述第二改进公式，生成空间注意特征图信息；
根据所述通道注意特征图信息、所述空间注意特征图信息和所述加权融合公式，生成特征图加权融合结果信息；
将所述特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息；
将所述特征图求和信息输入至所述区域建议网络中，生成特征图候选区域建议信息；
将所述特征图候选区域建议信息输入至所述分类回归模块中，生成缺陷检测图像。
3.根据权利要求2所述的方法，其特征在于，所述第一计算公式为：
Mc(Fmid2)＝σ(MLP(Avg(Fmid2)+MLP(Max(Fmid2)))，
式中，Fmid2为所述待检测缺陷图像，Mc(Fmid2)为所述第一输出信息，σ为预设的Sigmoid函数，MLP为预设的多层感知器，Avg(Fmid2)为平均池化处理后的所述待检测缺陷图像，Max(Fmid2)为最大池化操作后的所述待检测缺陷图像；
所述第二计算公式为：
Ms(Fmid2)＝σ(f7×7(Con(Avg(Fmid2)，Max(Fmid2))))，
式中，Fmid2为所述待检测缺陷图像，Ms(Fmid2)为所述第二输出信息，σ为所述Sigmoid函数，f7×7是卷积核为7×7的卷积运算，Con(，)为卷积操作，Avg(Fmid2)为平均池化处理后的所述待检测缺陷图像，Max(Fmid2)为最大池化操作后的所述待检测缺陷图像；
所述第一改进公式为：
式中，Fc·mid2为所述通道注意特征图信息，Mc(Fmid2)为所述第一输出信息，为预设的矩阵点乘运算，Fmid2为所述待检测缺陷图像；
所述第二改进公式为：
式中，Fs·mid2为所述空间注意特征图信息，Ms(Fmid2)为所述第二输出信息，为预设的矩阵点乘运算，Fmid2为所述待检测缺陷图像；
所述加权融合公式为：
式中，F1为所述特征图加权融合结果信息，ε1为所述通道注意特征图信息对应的加权系数，Fc·mid2为所述通道注意特征图信息，ε2为所述空间注意特征图信息对应的加权系数，Fs·mid2为所述空间注意特征图信息，ε3为所述待检测缺陷图像对应的加权系数，Fmid2为所述待检测缺陷图像。
4.根据权利要求2所述的方法，其特征在于，在所述将所述特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息之前，所述方法还包括：
对所述特征图加权融合结果信息进行1×1卷积操作，生成第一处理图信息；
对所述第一处理图信息进行3×3卷积操作，生成第二处理图信息；
相应地，所述将所述特征图加权融合结果信息输入至转换器自注意力模块中，生成特征图求和信息，包括：
将所述特征图加权融合结果信息输入至转换器自注意力模块中，生成注意力模块输出图信息；
将所述第二处理图信息和所述注意力模块输出图信息进行相加，生成第三处理图信息；
对所述第三处理图信息进行1×1卷积操作，生成第四处理图信息；
将所述第四处理图信息和所述特征图加权融合结果信息进行相加，生成特征图求和信息。
5.根据权利要求2所述的方法，其特征在于，所述扩展加权跨阶段金字塔网络的损失函数为：
式中，L为所述损失函数的输出，Lcls为分类损失信息，Lreg为回归损失信息，Bpd为真实框的中心点，Bgt为预测框的中心点，wgt为真实框的长度，hgt为真实框的宽度，w为预测框的长度，h为预测框的宽度。
6.一种基于DSPN的GIS设备缺陷检测系统，其特征在于，所述系统包括：
待检测缺陷图像获取模块：用于基于预设的数字成像设备，获取待检测缺陷图像；
缺陷检测图像生成模块：用于输入所述待检测缺陷图像至预设的深度神经网络模型，生成缺陷检测图像；
缺陷检测结果信息确定模块：用于根据所述缺陷检测图像，确定缺陷检测结果信息。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410058730.0A CN117911356A (zh) | 2024-01-15 | 2024-01-15 | 基于dspn的gis设备缺陷检测方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410058730.0A CN117911356A (zh) | 2024-01-15 | 2024-01-15 | 基于dspn的gis设备缺陷检测方法、系统、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117911356A true CN117911356A (zh) | 2024-04-19 |
Family
ID=90688419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410058730.0A Pending CN117911356A (zh) | 2024-01-15 | 2024-01-15 | 基于dspn的gis设备缺陷检测方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911356A (zh) |
-
2024
- 2024-01-15 CN CN202410058730.0A patent/CN117911356A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950329B (zh) | 目标检测及模型训练方法、装置、计算机设备和存储介质 | |
| CN108960090B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
| CN112258512B (zh) | 点云分割方法、装置、设备和存储介质 | |
| CN111597945B (zh) | 一种目标检测方法、装置、设备及介质 | |
| CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
| CN111242144B (zh) | 电网设备异常的检测方法和装置 | |
| CN112418212A (zh) | 一种基于EIoU改进的YOLOv3算法 | |
| CN116152254B (zh) | 工业泄露目标气体检测模型训练方法、检测方法、电子设备 | |
| CN116503318A (zh) | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| Hu et al. | DGW‐YOLOv8: A small insulator target detection algorithm based on deformable attention backbone and WIoU loss function | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| Dong et al. | An improved cascade RCNN detection method for key components and defects of transmission lines | |
| CN116310850A (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN117911350A (zh) | 一种基于改进YOLOv7-tiny的PCB表面缺陷检测方法 | |
| CN115439708A (zh) | 一种图像数据处理方法和装置 | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| CN117173182B (zh) | 基于编码解码网络的缺陷检测方法、系统、设备及介质 | |
| Chen et al. | NHD‐YOLO: Improved YOLOv8 using optimized neck and head for product surface defect detection with data augmentation | |
| CN116205918B (zh) | 基于图卷积的多模态融合半导体检测方法、装置及介质 | |
| Wong et al. | Adaptive learning feature pyramid for object detection | |
| CN117911356A (zh) | 基于dspn的gis设备缺陷检测方法、系统、终端及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 528000 No. 18, Jiangwan Road, Chancheng District, Guangdong, Foshan Applicant after: Foshan University Applicant after: China South Power Grid International Co.,Ltd. Address before: 528000 No. 18, Jiangwan Road, Chancheng District, Guangdong, Foshan Applicant before: FOSHAN University Country or region before: China Applicant before: China South Power Grid International Co.,Ltd. |