CN117237587A - 基于多尺度感知的变电设备红外图像识别方法及相关装置 - Google Patents
基于多尺度感知的变电设备红外图像识别方法及相关装置 Download PDFInfo
- Publication number
- CN117237587A CN117237587A CN202311517249.5A CN202311517249A CN117237587A CN 117237587 A CN117237587 A CN 117237587A CN 202311517249 A CN202311517249 A CN 202311517249A CN 117237587 A CN117237587 A CN 117237587A
- Authority
- CN
- China
- Prior art keywords
- scale
- feature map
- feature
- preset
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009466 transformation Effects 0.000 title claims abstract description 46
- 230000002776 aggregation Effects 0.000 claims abstract description 49
- 238000004220 aggregation Methods 0.000 claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000009966 trimming Methods 0.000 claims abstract description 16
- 238000013138 pruning Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000006116 polymerization reaction Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012098 association analyses Methods 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000012212 insulator Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了基于多尺度感知的变电设备红外图像识别方法及相关装置，方法包括：对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；采用预设多头自注意力机制输出层对混合特征图进行识别分析，得红外图像识别结果。本申请能解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及基于多尺度感知的变电设备红外图像识别方法及相关装置。
背景技术
变电站作为电力系统的重要组成部分，其一次设备的实时监测对保障变电站安全稳定运行具有十分重要的意义。及时准确的变电设备识别技术能够为工作人员进一步分析设备状态、实现故障诊断提供良好的先行条件，从而减少设备故障发生频率，有利于增加变电站运行可靠性、降低设备运维成本。
在变电站设备的识别上，相关人员通常是在可见光图像的基础上实现设备识别。这类方法能够识别出目标设备种类，但是可见光图图像容易受到外界环境干扰，且人为识别效率和准确率较低。红外测温技术因其具有非接触式测量、精度高且不受电磁干扰等诸多优点，常用于电力设备异常检测，包括缺油故障、局部过热故障等。红外图像通过辐射差异将目标设备与背景进行区分，具有较强的穿透力，不易受到天气和光照条件影响。随着红外技术日益成熟，红外图像识别技术在设备故障诊断中发挥着越来越重要的作用。
现有较为成熟的针对变电设备的红外图像识别技术是基于机器学习的图像分析方法，但是该方法需要人为设计图像特征提取过程，图像识别效果对图像特征提取准确度的要求较高，导致该方法仍然存在特征提取量大，精确度较低的问题。
发明内容
本申请提供了基于多尺度感知的变电设备红外图像识别方法及相关装置，用于解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。
有鉴于此，本申请第一方面提供了基于多尺度感知的变电设备红外图像识别方法，包括：
对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；
采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；
通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；
采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。
优选地，所述对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列，包括：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；
拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。
优选地，所述采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，包括：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。
优选地，所述通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，包括：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；
通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合所述浅层特征图和所述深层特征图得到混合特征图。
本申请第二方面提供了基于多尺度感知的变电设备红外图像识别装置，包括：
图像修剪单元，用于对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；
卷积聚合单元，用于采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；
关联分析单元，用于通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；
识别分析单元，用于采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。
优选地，所述图像修剪单元，具体用于：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；
拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。
优选地，所述卷积聚合单元，具体用于：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。
优选地，所述关联分析单元，具体用于：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；
通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合所述浅层特征图和所述深层特征图得到混合特征图。
本申请第三方面提供了基于多尺度感知的变电设备红外图像识别设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于多尺度感知的变电设备红外图像识别方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于多尺度感知的变电设备红外图像识别方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了基于多尺度感知的变电设备红外图像识别方法，包括：对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。
本申请提供的基于多尺度感知的变电设备红外图像识别方法，采用多尺度混合卷积层中不同尺度的卷积核可以提取到变电设备红外图像的空间特征，并且不同尺度的卷积核可以扩展对图像的感受野，增强的图像特征的表达能力；此外，通过预设交叉网络还能够对特征图中局部与全局的特征关系进行深度分析，确保特征表达的可靠性，使得参与识别分析的混合特征图能够更加精准的描述变电设备特性，继而确保识别结果的准确性。因此，本申请能够解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。
附图说明
图1为本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法的流程示意图；
图2为本申请实施例提供的基于多尺度感知的变电设备红外图像识别装置的结构示意图；
图3为本申请实施例提供的基于卷积网络的图像修剪流程示意图；
图4为本申请实施例提供的预设多尺度感知调制器的图像处理过程流程示意图；
图5为本申请实施例提供的预设多尺度感知调制器网络结构示意图；
图6为本申请实施例提供的预设交叉网络的网络结构示意图；
图7为本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法网络结构示例图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的基于多尺度感知的变电设备红外图像识别方法的实施例，包括：
步骤101、对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列。
进一步地，步骤101，包括：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的调整特征图进行最大池化计算，得到池化特征图，第一预置数量和第二预置数量之和为调整特征图的总数量；
拼接卷积特征图和池化特征图，得到修剪特征图序列。
需要说明的是，当前变电设备红外图像可以是实时提取的图像信息，也可以留存的目标图像信息，具体的在此不作限定。而且为了便于开展本实施例的研究分析，还可以对图像进行一些预处理操作，例如去噪等质量预处理，翻转等增强处理，裁剪等大小调整处理等，具体的可以根据实际情况选取，在此不作赘述。
本实施例选取的当前变电设备红外图像的大小为224×224，即H=224，W=224，输入图像维度可以表达为H×W×C。请参阅图3，本实施例通过卷积网络中的卷积计算对当前变电设备红外图像进行修剪操作；当前变电设备红外图像输入卷积网络中，首先采用第一预设卷积核3×3对其进行卷积操作，步长为2，输出维度为M的调整特征图，此处卷积计算主要是为了改变特征图的通道数量C；然后卷积网络分为两个支路分别对调整特征图进行分析处理，其中第一预置数量的调整特征图采用卷积核1×1降低一半的通道数，再进行3×3大小，步长为2的卷积核进行下采样处理，得到卷积特征图；第二预置数量的调整特征图则进行最大池化处理，得到池化特征图；最后将两个分析网络得到的特征图拼接即可得到修剪特征图，所有处理的图像均可以按照这这样的方式进行处理，从而得到修剪特征图序列。为了确保修剪前后的图像规格不变，且后续处理的便利性，还可以在卷积网络的最后再进行一次1×1的卷积操作，用于还原通道数量。
步骤102、采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层。
进一步地，步骤102，包括：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用第一多尺度混合卷积层对修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过多尺度感知聚合层对不同尺度下的空间特征图进行重组聚合操作，得到聚合特征图。
请参阅图4，本实施例的预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层，除此之外还包括线性网络层，用于处理输入特征图，便于后续卷积。其中第一多尺度混合卷积层中引入了多个不同大小的卷积核构成的多个卷积层，使其能够在特征图中捕捉到多种尺度上的空间特征，并利用不同尺度或者不同粒度的特征图构建特征池；同时，多尺度卷积核还能够扩展对图像的感受野，增强其建模长距离依赖的能力，并提升卷积调制能力。本实施例为了增强不同尺度卷积网络之间的信息交互，增设了多尺度感知聚合层，该网络层可以对不同尺度卷积得到的特征图进行重组聚合，得到聚合特征图。
请参阅图5，在第一多尺度混合卷积层中引入了不同大小的卷积核，构成了多个不同的卷积层，其输入通道分为T个尺度，每个尺度都可以进行深度可分离卷积操作；将卷积核大小初始化为3×3，然后间隔为2逐个尺度递增，这样调整不同尺度数量可以调节感受野的范围和多粒度信息。多尺度混合卷积计算过程可以表达为：
；
其中，表示将修剪特征图序列中的特征图分割成/>个部分，表示卷积核大小，相邻卷积核大小以间隔为2递增；/>的作用是将不同输出值进行拼接；/>为多头混合卷积模块的输出。/>表示深度可分离卷积核。
本实施例深度可分离卷积层由深度卷积和点卷积结合进行卷积计算，能够对特征图进行深度特征提取和学习，深度卷积包括不同尺寸的卷积核，点卷积的卷积核则是1×1大小。通过卷积核进行特征提取后可以采用激活函数增强其非线性拟合能力：
；
其中，和/>分别表示第/>层的输入和输出，/>为权重，/>为偏差量，/>为激活函数，一般采用Relu激活函数：
；
其中，x为函数输入。
请参阅图5，本实施例为了增强不同尺度卷积网络之间的信息交互，增设了多尺度感知聚合层，用于对不同尺度下的空间特征图进行重组聚合，但是为了避免增加算法计算量，引入的是轻量化多尺度感知聚合模块，即特征多尺度感知聚合。上述基于第一多尺度混合卷积层提取的不同粒度的空间特征图可以生成多个特征池，多尺度感知聚合层可以从每个特征池中随机提取特征构建特征组；然后在每个特征组内自上而下进行特征聚合，从而得到聚合特征图，聚合特征图包含了多个尺度特性，因此提升了特征图的尺度特征多样性；最后使用1×1卷积核进行组内-组间的跨组信息聚合，降低特征图的处理数量，从而实现轻量且高效的聚合效果。多尺度感知聚合计算过程为：
；
；
；
其中，和/>表示组内和组间进行逐点卷积操作时的权值矩阵，/>为尺度的个数，/>表示特征分组的个数，/>为输入通道数，/>和/>均表示特征索引号，/>表示第/>个尺度进行深度卷积操作后的输出，/>表示第/>个头第/>个通道进行卷积操作后的输出。为了便于后续描述，本实施例采用函数/>表示特征多尺度感知聚合层的输出，得到的聚合特征图表达为U。最后通过标量乘积运算处理聚合特征图U即可得到输出结果Z，具体过程可以表达为：
；
；
；
其中，表示标量乘积运算，/>和/>表示线性网络层的权值矩阵，/>为线性网络层的输出。
需要说明的是，本实施例中的预设多尺度感知调制器包括两个第一多尺度混合卷积层和两个多尺度感知聚合层，其具体的连接关系是一个第一多尺度混合卷积层与一个多尺度感知聚合层连接形成一个小单元，两个小单元连接形成复合网络，即预设多尺度感知调制器。可以理解的是，这样的小单元可以是两个或者多个，本实施例仅给出了两个小单元构成的调制器的示例，但是并不限于此，具体的多个小单元连接形成的调制器连接关系与两个小单元的连接关系相同，在此不作赘述。
步骤103、通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层。
进一步地，步骤103，包括：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用前馈神经网络层提取聚合特征图中的浅层特征图；
通过预设交叉网络的交叉堆叠网络捕捉聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合浅层特征图和深层特征图得到混合特征图。
本实施例中的预设交叉网络由第二多尺度混合卷积层和多头自注意力机制层构成，具体包括两个多尺度混合卷积层和两个多头自注意力机制层，连接关系为交叉堆叠连接，即一个多尺度混合卷积层输出与多头自注意力机制层的输入连接，该多头自注意力机制层的输出与另一个多尺度混合卷积层输入连接，最后接一个多头自注意力机制层。可以理解的是，这样的一个多尺度混合卷积层与一个多头自注意力机制层连接的子单元可以是本实施例中的两个，也可以是三个或者多个，本实施例仅给出了一种交叉堆叠连接的示例，但并不仅限于两个，多个子单元的情况与两个子单元的连接关系相同，在此不再赘述。
请参阅图6，预设交叉网络中除了包括第二多尺度混合卷积层和多头自注意力机制层外，还包括前馈神经网络层和标准化层。第二多尺度混合卷积层的卷积过程与第一多尺度混合卷积层中的卷积过程相同，具体的可以参阅上文多尺度混合卷积计算过程，在次不作赘述。前馈神经网络层可以提取聚合特征图中的浅层特征，得到浅层特征图并向前反馈；网络层中包括两个连续的线性变化，以及一个Relu激活函数，具体计算过程表达为：
；
其中，表示前馈神经网络层的输入，/>，/>，/>和/>表示前馈神经网络的可学习参数，函数/>的作用是求最大值。
为了防止网络层内数值的变化过大，并提升模型泛化性能和训练速度，本实施例引入标准化层对同一个网络层中的所有神经元进行标准化处理，具体的标准化计算过程表达为：
；
；
其中，为第l层第i个神经元，/>和/>分别为均值和标准差，/>为隐藏节点的个数，代表网络层。
多头自注意力机制层通过概率分配的方式，对序列中的重要信息赋予较大的权值来突出重要信息；多头自注意力机制将每个注意力结果进行拼接，以获得不同层面变电设备红外特征信息；本实施例采用缩放点积注意力实现每个注意力的计算：
；
其中，，/>，/>为加权矩阵，/>表示多头的索引号，/>表示向量的长度，softmax函数的作用是对输出结果进行归一化。
多头自注意力机制的函数表达为：
；
其中，的作用是将不同输出值进行拼接。
步骤104、采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。
需要说明的是，预设多头自注意力机制是基于多头注意力机制配置的输出层，此处的多头注意力机制与上文的多头自注意力机制层原理相同，所以不作赘述。混合特征图输入预设多头注意力机制输出层进行特征分析，并对重要特征进行不同权重分配，然后将计算得到特征进行拼接即得到识别结果，即红外图像识别结果。
需要说明的是，综合以上变电设备红外图像识别过程，请参阅图7，本实施例的识别过程可以分为4个阶段，前两个阶段采用多尺度感知调制器捕捉图像特征的局部相关性；第三个阶段将多尺度感知调制器和多头混合卷积进行混合堆叠，用来捕捉局部到全局依赖关系的转变；最后一个阶段使用多头自注意力机制来捕捉特征长时间尺度下的依赖关系。每个阶段的下采样频率分别为4，8，16，32，本实施例采用的红外图像的大小为224×224，每个阶段采用分块策略后图像的大小变为56×56，28×28，14×14以及7×7。
为了证实本实施例提供的基于多尺度感知的变电设备红外图像识别方法的准确性，本申请对变电站常见的绝缘子、变压器、断路器、套管、互感器和避雷器这6种电力设备进行了分类识别测试。所采用的图像数据集中有11000幅电力设备图像，图像尺寸从256像素×256像素到1024像素×1024像素，其中绝缘子、变压器、断路器、套管、避雷器均为2000幅图像，套管有1000幅图像。训练时，随机选择的绝缘子、变压器、断路器、套管、避雷器均为1900幅，输电线铁塔图像数量为800幅，其余的作为测试样本。得到的识别准确率请参阅表1。
表1 不同变电设备红外图像识别准确率
本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法，采用多尺度混合卷积层中不同尺度的卷积核可以提取到变电设备红外图像的空间特征，并且不同尺度的卷积核可以扩展对图像的感受野，增强的图像特征的表达能力；此外，通过预设交叉网络还能够对特征图中局部与全局的特征关系进行深度分析，确保特征表达的可靠性，使得参与识别分析的混合特征图能够更加精准的描述变电设备特性，继而确保识别结果的准确性。因此，本申请实施例能够解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。
为了便于理解，请参阅图2，本申请提供了基于多尺度感知的变电设备红外图像识别装置的实施例，包括：
图像修剪单元201，用于对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；
卷积聚合单元202，用于采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；
关联分析单元203，用于通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；
识别分析单元204，用于采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。
进一步地，图像修剪单元201，具体用于：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的调整特征图进行最大池化计算，得到池化特征图，第一预置数量和第二预置数量之和为调整特征图的总数量；
拼接卷积特征图和池化特征图，得到修剪特征图序列。
进一步地，卷积聚合单元202，具体用于：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用第一多尺度混合卷积层对修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过多尺度感知聚合层对不同尺度下的空间特征图进行重组聚合操作，得到聚合特征图。
进一步地，关联分析单元203，具体用于：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用前馈神经网络层提取聚合特征图中的浅层特征图；
通过预设交叉网络的交叉堆叠网络捕捉聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合浅层特征图和深层特征图得到混合特征图。
本申请还提供了基于多尺度感知的变电设备红外图像识别设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述方法实施例中的基于多尺度感知的变电设备红外图像识别方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的基于多尺度感知的变电设备红外图像识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.基于多尺度感知的变电设备红外图像识别方法，其特征在于，包括：
对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；
采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；
通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；
采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。
2.根据权利要求1所述的基于多尺度感知的变电设备红外图像识别方法，其特征在于，所述对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列，包括：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；
拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。
3.根据权利要求1所述的基于多尺度感知的变电设备红外图像识别方法，其特征在于，所述采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，包括：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。
4.根据权利要求1所述的基于多尺度感知的变电设备红外图像识别方法，其特征在于，所述通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，包括：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；
通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合所述浅层特征图和所述深层特征图得到混合特征图。
5.基于多尺度感知的变电设备红外图像识别装置，其特征在于，包括：
图像修剪单元，用于对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；
卷积聚合单元，用于采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；
关联分析单元，用于通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；
识别分析单元，用于采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。
6.根据权利要求5所述的基于多尺度感知的变电设备红外图像识别装置，其特征在于，所述图像修剪单元，具体用于：
采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；
通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；
对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；
拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。
7.根据权利要求5所述的基于多尺度感知的变电设备红外图像识别装置，其特征在于，所述卷积聚合单元，具体用于：
基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；
采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；
通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。
8.根据权利要求5所述的基于多尺度感知的变电设备红外图像识别装置，其特征在于，所述关联分析单元，具体用于：
基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；
采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；
通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；
结合所述浅层特征图和所述深层特征图得到混合特征图。
9.基于多尺度感知的变电设备红外图像识别设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的基于多尺度感知的变电设备红外图像识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的基于多尺度感知的变电设备红外图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517249.5A CN117237587A (zh) | 2023-11-15 | 2023-11-15 | 基于多尺度感知的变电设备红外图像识别方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517249.5A CN117237587A (zh) | 2023-11-15 | 2023-11-15 | 基于多尺度感知的变电设备红外图像识别方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237587A true CN117237587A (zh) | 2023-12-15 |
Family
ID=89086542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311517249.5A Pending CN117237587A (zh) | 2023-11-15 | 2023-11-15 | 基于多尺度感知的变电设备红外图像识别方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237587A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
| CN115063656A (zh) * | 2022-05-31 | 2022-09-16 | 北京开拓鸿业高科技有限公司 | 图像检测方法、装置、计算机可读存储介质及电子设备 |
| CN115424091A (zh) * | 2022-08-30 | 2022-12-02 | 大连大学 | 一种基于SMCA-YOLOv5的轻量化军事目标检测方法 |
-
2023
- 2023-11-15 CN CN202311517249.5A patent/CN117237587A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822209A (zh) * | 2021-09-27 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 高光谱图像识别方法、装置、电子设备及可读存储介质 |
| CN115063656A (zh) * | 2022-05-31 | 2022-09-16 | 北京开拓鸿业高科技有限公司 | 图像检测方法、装置、计算机可读存储介质及电子设备 |
| CN115424091A (zh) * | 2022-08-30 | 2022-12-02 | 大连大学 | 一种基于SMCA-YOLOv5的轻量化军事目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| ASHISH VASWANI 等: "Attention Is All You Need", 《ARXIV:1706.03762V1》, pages 1 - 15 * |
| JIMMY LEI BA 等: "Layer Normalization", 《ARXIV:1607.06450V1》, pages 1 - 14 * |
| WEIFENG LIN 等: "Scale-Aware Modulation Meet Transformer", 《ARXIV:2307.08579V2》, pages 1 - 15 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Deng et al. | An improved deep residual network with multiscale feature fusion for rotating machinery fault diagnosis | |
| US20210182615A1 (en) | Alexnet-based insulator self-explosion recognition method | |
| CN115546558A (zh) | 一种电气设备绝缘故障状态分类方法、装置及存储介质 | |
| Zheng et al. | Component identification and defect detection in transmission lines based on deep learning | |
| CN116824517B (zh) | 基于可视化的变电站运维安全管控系统 | |
| CN114693624A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| Han et al. | Statistical analysis of infrared thermogram for CNN-based electrical equipment identification methods | |
| CN114239703A (zh) | 主动配电系统故障诊断方法、系统、设备及存储介质 | |
| CN116503399A (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| CN116245871A (zh) | 基于改进yolox算法的输电线路异常目标检测方法 | |
| Yu et al. | Convolutional neural network with feature reconstruction for monitoring mismatched photovoltaic systems | |
| CN114881286A (zh) | 一种基于深度学习的短时降水预测方法 | |
| CN113012107B (zh) | 电网缺陷检测方法及系统 | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| CN113221614A (zh) | 一种基于混合神经网络的电网绝缘子破损图像识别方法 | |
| CN116205905B (zh) | 基于移动端的配电网施工安全及质量图像检测方法及系统 | |
| CN116385950A (zh) | 一种小样本条件下电力线路隐患目标检测方法 | |
| CN117237587A (zh) | 基于多尺度感知的变电设备红外图像识别方法及相关装置 | |
| CN108459585B (zh) | 基于稀疏局部嵌入深度卷积网络的电站风机故障诊断方法 | |
| CN115311509A (zh) | 基于图像化数据驱动的电力系统暂态稳定评估方法及系统 | |
| CN113917370B (zh) | 一种基于油中溶解气体小样本数据的变压器故障诊断方法 | |
| Ma et al. | Corn-plant counting using scare-aware feature and channel interdependence | |
| Hong et al. | Machine learning techniques for power system application: fault analysis | |
| CN116645298B (zh) | 一种架空输电线路视频监控图像去雾方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |