CN114332443A - 非侵入负荷识别装置、方法、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种非侵入负荷识别装置、方法、存储介质及电子设备，装置包括：预处理模块、特征提取模块、特征融合模块以及识别模块，其中，预处理模块用于获取待识别负荷的V‑I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；特征提取模块用于提取V‑I曲线图像的图像特征向量、电流包络线图像的包络线特征向量，以及无功电流频谱数据的频谱特征向量；特征融合模块用于对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量；识别模块用于通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。由此，提高了非侵入负荷识别的准确率，并提高了其对应识别算法的鲁棒性。

Description

非侵入负荷识别装置、方法、存储介质及电子设备

技术领域

本发明涉及非侵入负荷识别技术领域，尤其涉及一种非侵入负荷识别装置、方法、存储介质及电子设备。

背景技术

非侵入负荷识别是指在负荷群端口处（例如家庭用电的入户电表处）安装检测设备即可实现对负荷群内各电器的投切和用电行为的检测，目前随着居民用电总量以及居民家用电器种类和数量逐渐增长，采用非侵入负荷识别技术分析各种家用电器用电消耗以及居民用电行为可为智慧电网提供有效的用电数据统计，通过用电大数据分析，辅助制定不同区域、不同季节的居民用电策略，可以提高居民用电效率，实现节能减碳。

目前传统的非侵入负荷识别通常采用谐波特征、小波特征或V-I曲线特征来识别负荷的类型，但是采用传统方式进行的非侵入负荷识所获得识别准确率较低，且其对应的负荷识别算法鲁棒性也不强。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种非侵入负荷识别装置，该识别装置通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

本发明的第二个目的在于提出一种非侵入负荷识别方法。

本发明的第三个目的在于提出一种计算机可读存储介质。

本发明的第四个目的在于提出一种电子设备。

为达到上述目的，本发明第一方面实施例提出了一种非侵入负荷识别装置，装置包括：预处理模块，用于在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；特征提取模块，用于通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量，以及通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量；特征融合模块，用于通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量；识别模块，用于通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。

根据本发明实施例的非侵入负荷识别装置，在确定负荷投切事件发生时，通过预处理模块获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率，并通过特征提取模块通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量，以及通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量，还通过特征融合模块对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量，以及通过识别模块通过分类器对融合特征向量进行类型识别以得到待识别负荷的类型。由此，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

根据本发明的一个实施例，装置还包括：采集模块，用于采集负荷群端口处的电压和电流；获取模块，用于根据电压和电流获取无功电流、有功功率和无功功率；确定模块，用于在电压和无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

根据本发明的一个实施例，预处理模块包括：图像生成单元，用于根据无功电流和电压生成V-I曲线图像，并根据电流生成电流包络线图像；频谱生成单元，用于对无功电流进行傅里叶变换得到无功电流频谱数据。

根据本发明的一个实施例，卷积神经网络包括：多层级残差网络，用于对输入图像进行多层级特征提取得到不同层级的特征图，并对不同层级的特征图进行拼接得到M1个特征图；第一卷积单元，用于对M1个特征图进行卷积处理得到M2个特征图；再处理单元，用于对M2个特征图进行随机均匀重排、池化和拼接处理后得到M3个特征图；深度可分离卷积单元，用于对M3个特征图进行深度可分离卷积处理得到M4个特征图；全局平均池化单元，用于对M4个特征图进行全局平均池化处理得到输入图像的特征向量，其中，M1、M2、M3和M4均为正整数。

根据本发明的一个实施例，多层级残差网络包括：N个第二卷积单元，第1个第二卷积单元的输入端作为卷积神经网络的输入端，第i+1个第二卷积单元的输入端与第i个第二卷积单元的第一输出端相连，N个第二卷积单元用于对输入图像进行多层级特征提取得到不同层级的特征图；N-1个第一最大池化层，第i个第一最大池化层的输入端与第i个第二卷积单元的第二输出端相连，用于对相应第二卷积单元的特征图进行最大池化处理，N为大于等于2的整数且1≤i＜N；第一拼接层，第一拼接层的输入端分别与第N个第二卷积单元的输出端和N-1个第一最大池化层中的每个第一最大池化层的输出端相连，用于对第N个第二卷积单元输出的特征图和最大池化处理后的特征图进行拼接处理得到M1个特征图。

根据本发明的一个实施例，N个第二卷积单元中的每个第二卷积单元均包括：卷积层、第一归一化处理层和Hard-swish激活层。

根据本发明的一个实施例，N-1个第一最大池化层中的每个第一最大池化层的池化核大小均不同。

根据本发明的一个实施例，再处理单元包括：洗牌层，洗牌层的输入端与第一卷积单元相连，用于对M2个特征图进行洗牌处理；分割层，分割层的输入端与洗牌层的输出端相连，分割层包括K个输出端，用于对洗牌处理后的M2个特征图进行均匀随机分割处理得到K组特征图，并通过K个输出端输出，K为大于等于2的整数；空间金字塔池化层，空间金字塔池化层包括K-1个第二最大池化层，K-1个第二最大池化层的输入端与分割层中的第1至第K-1个输出端对应相连，用于对第1至第K-1个输出端输出的特征图进行最大池化处理；第二拼接层，第二拼接层的输入端分别与分割层中的第K个输出端和K-1个第二最大池化层中的每个第二最大池化层的输出端相连，用于对第K个输出端输出的特征图和最大池化处理后的特征图进行拼接处理得到M3个特征图。

根据本发明的一个实施例，K-1个第二最大池化层中的每个第二最大池化层的池化核大小均不同。

根据本发明的一个实施例，深度可分离卷积单元包括：逐通道卷积层，逐通道卷积层的输入端与再处理单元相连，用于对M3个特征图进行逐通道卷积处理；逐点卷积层，逐点卷积层的输入端与逐通道卷积层的输出端相连，用于对逐通道卷积处理后的特征图进行逐点卷积处理；第二归一化处理层，第二归一化处理层的输入端与逐点卷积层的输出端相连，用于对逐点卷积处理后的特征图进行归一化处理；Hard-swish激活层，Hard-swish激活层的输入端与第二归一化处理层的输出端相连，用于对归一化处理后的特征图进行激活处理得到M4个特征图。

为达到上述目的，本发明第二方面实施例提出了一种非侵入负荷识别方法，方法包括：在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量；通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量；通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量；通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。

根据本发明实施例的非侵入负荷识别方法，在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率，并通过卷积神经网络对V-I曲线图像和电流包络线图像进行特征提取分别得到图像特征向量和包络线特征向量，并通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量，以及通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量，最终通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。由此，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

根据本发明的一个实施例，方法还包括：采集负荷群端口处的电压和电流；根据电压和电流获取无功电流、有功功率和无功功率；在电压和无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

根据本发明的一个实施例，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据，包括：根据无功电流和电压生成V-I曲线图像；根据电流生成电流包络线图像；对无功电流进行傅里叶变换得到无功电流频谱数据。

为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有非侵入负荷识别程序，该非侵入负荷识别程序被处理器执行时实现如第二方面实施例中的非侵入负荷识别方法。

根据本发明实施例的计算机可读存储介质，通过上述的非侵入负荷识别方法，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的非侵入负荷识别程序，处理器执行程序时，实现如第二方面实施例中的非侵入负荷识别方法。

根据本发明实施例的电子设备，通过上述的非侵入负荷识别方法，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为根据本发明一个实施例的非侵入负荷识别装置的结构示意图；

图2为根据本发明另一个实施例的非侵入负荷识别装置的结构示意图；

图3为根据本发明又一个实施例的非侵入负荷识别装置的结构示意图；

图4为根据本发明一个实施例的卷积神经网络示意图；

图5为根据本发明一个实施例的多层级残差网络的结构示意图；

图6为根据本发明一个实施例的第二卷积单元的结构示意图；

图7为根据本发明一个实施例的再处理单元的结构示意图；

图8为根据本发明一个实施例的深度可分离卷积单元的结构示意图；

图9为根据本发明一个实施例的非侵入负荷识别方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例提出的非侵入负荷识别装置、方法、存储介质及电子设备。

图1为根据本发明一个实施例的非侵入负荷识别装置的结构示意图，参考图1所示，该非侵入负荷识别装置100包括：预处理模块10、特征提取模块20、特征融合模块30和识别模块40。

其中，预处理模块10用于在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；特征提取模块20用于通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量，以及通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量；特征融合模块30用于通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量；识别模块40用于通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。

具体来说，当非侵入负荷识别装置100工作时，在确定负荷投切事件发生时，通过预处理模块10分别获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率，并将待识别负荷的V-I曲线图像、电流包络线图像以及无功电流频谱数据分别输入至特征提取模块20，特征提取模块20通过卷积神经网络分别提取V-I曲线图像的图像特征向量以及电流包络线图像的包络线特征向量，其中，卷积神经网络提取的V-I曲线图像的特征向量以及电流包络线图像的包络线特征向量均为64维的特征向量，同时，特征提取模块20还通过全连接神经网络对无功电流频谱数据进行特征提取以获得频谱特征向量，在本实施例中，预处理模块10所获得的无功电流频谱数据为32维，因此可以包含更多的特征信息，且所获得的32维无功电流频谱数据并非直接使用，而是经过全连接神经网络降维和处理后，输出16维的频谱特征向量，需要说明的是，全连接神经网络模型具有自学习能力，可以根据需要学习如何从无功电流频谱数据中提取出有效的频谱特征向量，从而提高频谱特征向量提取的效率，在形成的64维V-I曲线图像特征向量、64维包络线特征向量以及16维的频谱特征向量后，通过特征融合模块30将图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合以获得融合特征向量，并通过识别模块40中的分类器对融合特征向量进行类型识别以确认待识别负荷的类型，需要说明的是，输出的融合特征向量是一个综合特征向量，该综合特征向量的维度可以根据预测负载种类数量及模型准确度等要求进行修改，从而大大提高了负载识别预测的灵活性，且将有功功率和无功功率融合至融合特征向量，提高了融合特征的丰富度，使得特征融合后得到的融合特征向量的表征能力更强，进而提高了非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

在一些实施例中，如图2所示，上述的装置还包括：采集模块50、获取模块60和确定模块70，其中，采集模块50用于采集负荷群端口处的电压和电流；获取模块60用于根据电压和电流获取无功电流、有功功率和无功功率；确定模块70用于在电压和无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

具体来说，当非侵入负荷识别装置100工作时，首先通过采集模块50获取采集负荷群端口处的电压和电流，并通过获取模块60根据获取的电压和电流结合Fryze功率理论计算得到待识别负荷无功电流、有功功率和无功功率，利用电压和无功电流随时间的变化情况，在电压和无功电流的变化情况满足预设条件时，通过确定模块70确定负荷投切事件发生，若电压和无功电流的变化情况不满足预设条件，则不采取进一步措施。

在一些实施例中，如图3所示，预处理模块10包括：图像生成单元11和频谱生成单元12，其中，图像生成单元11用于根据无功电流和电压生成V-I曲线图像，并根据电流生成电流包络线图像；频谱生成单元12用于对无功电流进行傅里叶变换得到无功电流频谱数据。也就是说，在确定负荷投切事件发生时，预处理模块10中的图像生成单元11根据获取无功电流和电压生成对应的V-I曲线图像，以及根据电流生成电流包络线图像，并将生成的V-I曲线图像和电流包络线图像输入至特征提取模块20；同时，利用快速傅里叶变换，频谱生成单元12根据无功电流计算出无功电流频谱数据并输入至特征提取模块20。

在一些实施例中，如图4所示，卷积神经网络包括：多层级残差网络、第一卷积单元、再处理单元、深度可分离卷积单元和全局平均池化单元，其中，多层级残差网络用于对输入图像进行多层级特征提取得到不同层级的特征图，并对不同层级的特征图进行拼接得到M1个特征图；第一卷积单元用于对M1个特征图进行卷积处理得到M2个特征图；再处理单元用于对M2个特征图进行随机均匀重排、池化和拼接处理后得到M3个特征图；深度可分离卷积单元用于对M3个特征图进行深度可分离卷积处理得到M4个特征图；全局平均池化单元用于对M4个特征图进行全局平均池化处理得到输入图像的特征向量，其中，M1、M2、M3和M4均为正整数。

具体来说，将获取的V-I曲线图像和电流包络线图像输入至多层级残差网络，通过多层级残差网络分别对V-I曲线图像和电流包络线图像进行多层级特征提取以得到不同层级的特征图，并分别对V-I曲线图像和电流包络线图像形成的不同层级的特征图进行拼接从而分别得到M1个特征图，第一卷积单元对V-I曲线图像和电流包络线图像分别形成的M1个特征图进行卷积处理，分别得到其对应的M2个特征图，再处理单元则对V-I曲线图像和电流包络线图像分别形成的M2个特征图进行随机均匀重排、池化和拼接处理后分别得到M3个特征图，深度可分离卷积单元对V-I曲线图像和电流包络线图像分别形成的M3个特征图进行深度可分离卷积处理，分别得到深度可分离卷积处理后的M4个特征图，全局平均池化单元用于对V-I曲线图像和电流包络线图像分别形成的M4个特征图进行全局平均池化处理，最终获得V-I曲线图像的图像特征向量和电流包络线图像的包络线特征向量。

由此，通过多层级残差网络、第一卷积单元、再处理单元、深度可分离卷积单元和全局平均池化单元构建的卷积神经网络相对于一般的卷积神经网络能提取出更加丰富的特征，进一步提高了非侵入负荷识别的准确率。

在一些实施例中，多层级残差网络包括：N个第二卷积单元，第1个第二卷积单元的输入端作为卷积神经网络的输入端，第i+1个第二卷积单元的输入端与第i个第二卷积单元的第一输出端相连，N个第二卷积单元用于对输入图像进行多层级特征提取得到不同层级的特征图；N-1个第一最大池化层，第i个第一最大池化层的输入端与第i个第二卷积单元的第二输出端相连，用于对相应第二卷积单元的特征图进行最大池化处理，N为大于等于2的整数且1≤i＜N；第一拼接层，第一拼接层的输入端分别与第N个第二卷积单元的输出端和N-1个第一最大池化层中的每个第一最大池化层的输出端相连，用于对第N个第二卷积单元输出的特征图和最大池化处理后的特征图进行拼接处理得到M1个特征图。可选的，N-1个第一最大池化层中的每个第一最大池化层的池化核大小均不同。

具体来说，第二卷积单元可包括至少两个或者更多个，具体可根据实际需求选择设置，作为一个具体示例，参考图5所示，多层级残差网络若包括4个第二卷积单元，则多层级残差网络中包括3个第一最大池化层以及第一拼接层，其中，第1个第二卷积单元的输入端作为卷积神经网络的输入端，用于接收V-I曲线图像和电流包络线图像，第1个第二卷积单元的第一输出端和第二输出端分别与第2个第二卷积单元和第1个第一最大池化层输入端相连，第2个第二卷积单元的第一输出端和第二输出端分别与第3个第二卷积单元和第2个第一最大池化层输入端相连，第3个第二卷积单元的第一输出端和第二输出端分别与第4个第二卷积单元和第3个第一最大池化层输入端相连，第4个第二卷积单元的输出端以及3个第一最大池化层的输出端分别和第一拼接层相连，其中，第二卷积单元的卷积核的大小为3*3，卷积核数为16，步长为2，而3个第一最大池化层的池化核的大小分别为8*8、4*4和2*2，步长均为2。需要说明的是，第4个第二卷积单元的输出端可以接入第一最大池化层，也可不接入第一最大池化层，当第4个第二卷积单元的输出端接入第一最大池化层时，仅3个第一最大池化层的输出端分别和第一拼接层相连。

如图5所示，若第4个第二卷积单元的输出端以及3个第一最大池化层的输出端分别和第一拼接层相连，当多层级残差网络工作时，3个第二卷积单元用于对输入的V-I曲线图像和电流包络线图像分别进行多层级特征提取以得到不同层级的特征图，第1个第一最大池化层的输入端与第1个第二卷积单元的第二输出端相连，可以对第1个第二卷积单元形成的特征图进行最大池化处理，同理，第2个第一最大池化层可以对第2个第二卷积单元形成的特征图进行最大池化处理，第3个第一最大池化层可以对第3个第二卷积单元形成的特征图进行最大池化处理，由于3个第一最大池化层具有不同大小的池化核，从而可以对相应卷积层输出的特征图中不同位置的局部特征进行整合，大大增加了输出特征的丰富度，第一拼接层将第3个第二卷积单元、第1个第一最大池化层和第2个第一最大池化层输出的特征图进行拼接处理，从而分别形成V-I曲线图像和电流包络线图像对应的M1个特征图，由此，通过第二卷积单元、第一最大池化层以及第一拼接层形成的多层级残差网络可以将不同层级提取的特征进行组合，进一步提高了第一拼接层输出特征的丰富度。

在一些实施例中，如图6所示，N个第二卷积单元中的每个第二卷积单元均包括：卷积层、第一归一化处理层和Hard-swish激活层。

具体来说，当第二卷积单元工作时，每个第二卷积单元的卷积层用于获取V-I曲线图像和电流包络线图像并进行卷积处理，第一归一化处理层用于将卷积处理的V-I曲线图像和电流包络线图像进行归一化处理，并通过Hard-swish激活层将归一化处理的V-I曲线图像和电流包络线图像进行激活以分别形成相应的特征图，需要说明的是，Hard-swish激活函数相对于ReLu激活函数具有更强的非线性表现力，同时，相对于Swish激活函数，Hard-swish激活函数计算量更低，由此，采用Hard-swish激活层的第二卷积单元具有更强的表现力和较小的计算量，从而提高了输出特征的丰富度和效率。

在一些实施例中，再处理单元包括：洗牌层，洗牌层的输入端与第一卷积单元相连，用于对M2个特征图进行洗牌处理；分割层，分割层的输入端与洗牌层的输出端相连，分割层包括K个输出端，用于对洗牌处理后的M2个特征图进行均匀随机分割处理得到K组特征图，并通过K个输出端输出，K为大于等于2的整数；空间金字塔池化层，空间金字塔池化层包括K-1个第二最大池化层，K-1个第二最大池化层的输入端与分割层中的第1至第K-1个输出端对应相连，用于对第1至第K-1个输出端输出的特征图进行最大池化处理；第二拼接层，第二拼接层的输入端分别与分割层中的第K个输出端和K-1个第二最大池化层中的每个第二最大池化层的输出端相连，用于对第K个输出端输出的特征图和最大池化处理后的特征图进行拼接处理得到M3个特征图。可选的，K-1个第二最大池化层中的每个第二最大池化层的池化核大小均不同。

需要说明的是，第一卷积单元的卷积核大小为1*1，卷积核数为128，步长为1，多层级残差网络形成的M1个特征图通过第一拼接层输入至第一卷积单元，经第一单元处理后，特征图在通道维度由64维上升至128维，从而输出的M2个特征图具有更高的特征丰富度。

具体来说，分割层可包括至少两个或者更多个输出端，具体可根据实际需求选择设置，作为一个具体示例，参考图7所示，分割层若包括4个输出端，则对应的空间金字塔池化层包括3个第二最大池化层，洗牌层的输入端与第一卷积单元相连，分割层的输入端与洗牌层的输出端相连，分割层中的第1至第3个输出端分别与空间金字塔池化层中的3个第二最大池化层相连，第二拼接层的输入端别与分割层中的第4个输出端和3个第二最大池化层中的每个第二最大池化层的输出端相连，其中，3个第二最大池化层的池化核大小分别为2*2、3*3和4*4，步长均为1。

当再处理单元工作时，由于多层级残差网络输入至第一卷积单元的特征图是按一定次序排列的，而第一卷积单元不对排列顺序进行改变，因此第一卷积单元输出的M2个特征图也是按一定次序进行排列，洗牌层用于对第一卷积单元输入的V-I曲线图像和电流包络线图像的M2个特征图进行洗牌处理，以打乱原来按层级卷积顺序分布的特征图，实现了第一卷积单元卷积处理后的特征图的随机均匀重排，从而保证得到的特征图能够实现较为充分地信息混合交流和特征融合重构，分割层的4个输出端用于对洗牌处理后的M2个特征图进行均匀随机分割处理以得到4组特征图，3个第二最大池化层用于对分割层第1至第3个输出端输出的特征图进行最大池化处理，由于每个第二最大池化层的池化核大小均不同，且每个最大池化操作都来自不同层级的特征，从而极大地增加了特征丰富度，同时，由于将M2个特征图随机分割成4组均匀的特征图，让每一份特征图分别进入对应的分支进行提取，大大降低了该结构的计算量，第二拼接层用于对分割层的第K个输出端输出的特征图以及3个第二最大池化层池化处理后的特征图进行拼接，以分别得到V-I曲线图像和电流包络线图像的M3个特征图。

在一些实施例中，如图8所示，深度可分离卷积单元包括：逐通道卷积层，逐通道卷积层的输入端与再处理单元相连，用于对M3个特征图进行逐通道卷积处理；逐点卷积层，逐点卷积层的输入端与逐通道卷积层的输出端相连，用于对逐通道卷积处理后的特征图进行逐点卷积处理；第二归一化处理层，第二归一化处理层的输入端与逐点卷积层的输出端相连，用于对逐点卷积处理后的特征图进行归一化处理；Hard-swish激活层，Hard-swish激活层的输入端与第二归一化处理层的输出端相连，用于对归一化处理后的特征图进行激活处理得到M4个特征图。

具体来说，深度可分离卷积单元的输入和输出通道的数目相同，当深度可分离卷积单元工作时，通过逐通道卷积层对再处理单元输出的V-I曲线图像和电流包络线图像的M3个特征图进行逐通道卷积处理，经逐通道卷积层输出的特征图直接输入到逐点卷积层进行逐点卷积处理，以实现不同通道间信息的交流混合，其中，逐点卷积层的卷积核数为64，在进行不同通道信息融合时，可以降低通道维度，从而降低特征提取的计算量，通过第二归一化处理层对逐点卷积处理后的特征图进行归一化处理，并通过Hard-swish激活层对归一化处理后的特征图进行激活处理以分别得到V-I曲线图像和电流包络线图像的M4个特征图。

需要说明的是，如果最终提取到的M4个特征图经全局平均池化处理后得到的输入图像特征向量因网络表现力不足而导致不满足使用要求，可以将图4作为一个模块进行多次重复堆叠，以提取出具有更高语意和更加丰富的特征。

进一步的，将V-I曲线图像和电流包络线图像分别经过多层级残差网络、第一卷积单元、再处理单元、深度可分离卷积单元形成的M4个特征图通过全局平均池化单元进行全局平均池化处理，以获得64维的V-I曲线图像的图像特征向量和64维的电流包络线图像的包络线特征向量，

由此，通过构建由多层级残差网络、第一卷积单元、再处理单元、深度可分离卷积单元和全局平均池化单元形成的卷积神经网络相对于一般的卷积神经网络，可以将不同层级提取的特征进行组合以及实现不同通道维度的信息混合交流，从而能够提取出更加丰富的特征，从而进一步提高非侵入负荷识别的准确率，同时，通过在处理单元中的洗牌分割以及深度可分离卷积单元中的逐点卷积处理降低了特征提取的计算量。

综上所述，根据本发明实施例的非侵入负荷识别装置，在确定负荷投切事件发生时，通过预处理模块获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率，并通过特征提取模块通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量，以及通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量，还通过特征融合模块对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量，以及通过识别模块通过分类器对融合特征向量进行类型识别以得到待识别负荷的类型。由此，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

图9为根据本发明一个实施例的非侵入负荷识别方法的流程图。如图9所示，该非侵入负荷识别方法包括以下步骤：

步骤S101，在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率。

步骤S102，通过卷积神经网络对V-I曲线图像进行特征提取得到图像特征向量，并对电流包络线图像进行特征提取得到包络线特征向量。

步骤S103，通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量。

步骤S104，通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量。

步骤S105，通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。

在一些实施例中，上述方法还包括：采集负荷群端口处的电压和电流；根据电压和电流获取无功电流、有功功率和无功功率；在电压和无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

在一些实施例中，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据，包括：根据无功电流和电压生成V-I曲线图像；根据电流生成电流包络线图像；对无功电流进行傅里叶变换得到无功电流频谱数据。

需要说明的是，本申请中关于非侵入负荷识别方法的描述，请参考本申请中关于非侵入负荷识别装置的描述，具体这里不再赘述。

根据本发明实施例的非侵入负荷识别方法，在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率，并通过卷积神经网络对V-I曲线图像和电流包络线图像进行特征提取分别得到图像特征向量和包络线特征向量，并通过全连接神经网络对无功电流频谱数据进行特征提取得到频谱特征向量，以及通过特征融合网络对图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行特征融合得到融合特征向量，最终通过分类器对融合特征向量进行类型识别得到待识别负荷的类型。由此，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

本发明的实施例还提供一种计算机可读存储介质，其上存储有非侵入负荷识别程序，该非侵入负荷识别程序被处理器执行时实现如上述的非侵入负荷识别方法。

根据本发明实施例的计算机可读存储介质，通过上述的非侵入负荷识别方法，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

本发明的实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的非侵入负荷识别程序，处理器执行程序时，实现如上述的非侵入负荷识别方法。

根据本发明实施例的电子设备，通过上述的非侵入负荷识别方法，通过对获得的图像特征向量、包络线特征向量、频谱特征向量、有功功率和无功功率进行多模态融合，可以形成更加丰富的融合特征向量，融合特征向量的表征能力更强，从而可以提高非侵入负荷识别的准确率，并提高其对应识别算法的鲁棒性。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种非侵入负荷识别装置，其特征在于，所述装置包括：

预处理模块，用于在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；

特征提取模块，用于通过卷积神经网络对所述V-I曲线图像进行特征提取得到图像特征向量，并对所述电流包络线图像进行特征提取得到包络线特征向量，以及通过全连接神经网络对所述无功电流频谱数据进行特征提取得到频谱特征向量；

特征融合模块，用于通过特征融合网络对所述图像特征向量、所述包络线特征向量、所述频谱特征向量、所述有功功率和所述无功功率进行特征融合得到融合特征向量；

识别模块，用于通过分类器对所述融合特征向量进行类型识别得到所述待识别负荷的类型。

2.根据权利要求1所述的非侵入负荷识别装置，其特征在于，所述装置还包括：

采集模块，用于采集负荷群端口处的电压和电流；

获取模块，用于根据所述电压和所述电流获取无功电流、所述有功功率和所述无功功率；

确定模块，用于在所述电压和所述无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

3.根据权利要求2所述的非侵入负荷识别装置，其特征在于，所述预处理模块包括：

图像生成单元，用于根据所述无功电流和所述电压生成所述V-I曲线图像，并根据所述电流生成所述电流包络线图像；

频谱生成单元，用于对所述无功电流进行傅里叶变换得到所述无功电流频谱数据。

4.根据权利要求1所述的非侵入负荷识别装置，其特征在于，所述卷积神经网络包括：

多层级残差网络，用于对输入图像进行多层级特征提取得到不同层级的特征图，并对所述不同层级的特征图进行拼接得到M1个特征图；

第一卷积单元，用于对所述M1个特征图进行卷积处理得到M2个特征图；

再处理单元，用于对所述M2个特征图进行随机均匀重排、池化和拼接处理后得到M3个特征图；

深度可分离卷积单元，用于对所述M3个特征图进行深度可分离卷积处理得到M4个特征图；

全局平均池化单元，用于对所述M4个特征图进行全局平均池化处理得到所述输入图像的特征向量，其中，M1、M2、M3和M4均为正整数。

5.根据权利要求4所述的非侵入负荷识别装置，其特征在于，所述多层级残差网络包括：

N个第二卷积单元，第1个第二卷积单元的输入端作为所述卷积神经网络的输入端，第i+1个第二卷积单元的输入端与第i个第二卷积单元的第一输出端相连，所述N个第二卷积单元用于对所述输入图像进行多层级特征提取得到不同层级的特征图；

N-1个第一最大池化层，第i个第一最大池化层的输入端与所述第i个第二卷积单元的第二输出端相连，用于对相应第二卷积单元的特征图进行最大池化处理，N为大于等于2的整数且1≤i＜N；

第一拼接层，所述第一拼接层的输入端分别与第N个第二卷积单元的输出端和所述N-1个第一最大池化层中的每个第一最大池化层的输出端相连，用于对所述第N个第二卷积单元输出的特征图和最大池化处理后的特征图进行拼接处理得到所述M1个特征图。

6.根据权利要求5所述的非侵入负荷识别装置，其特征在于，所述N个第二卷积单元中的每个第二卷积单元均包括：卷积层、第一归一化处理层和Hard-swish激活层。

7.根据权利要求5所述的非侵入负荷识别装置，其特征在于，所述N-1个第一最大池化层中的每个第一最大池化层的池化核大小均不同。

8.根据权利要求4所述的非侵入负荷识别装置，其特征在于，所述再处理单元包括：

洗牌层，所述洗牌层的输入端与所述第一卷积单元相连，用于对所述M2个特征图进行洗牌处理；

分割层，所述分割层的输入端与所述洗牌层的输出端相连，所述分割层包括K个输出端，用于对洗牌处理后的M2个特征图进行均匀随机分割处理得到K组特征图，并通过所述K个输出端输出，K为大于等于2的整数；

空间金字塔池化层，所述空间金字塔池化层包括K-1个第二最大池化层，所述K-1个第二最大池化层的输入端与所述分割层中的第1至第K-1个输出端对应相连，用于对所述第1至第K-1个输出端输出的特征图进行最大池化处理；

第二拼接层，所述第二拼接层的输入端分别与所述分割层中的第K个输出端和所述K-1个第二最大池化层中的每个第二最大池化层的输出端相连，用于对所述第K个输出端输出的特征图和最大池化处理后的特征图进行拼接处理得到所述M3个特征图。

9.根据权利要求8所述的非侵入负荷识别装置，其特征在于，所述K-1个第二最大池化层中的每个第二最大池化层的池化核大小均不同。

10.根据权利要求4所述的非侵入负荷识别装置，其特征在于，所述深度可分离卷积单元包括：

逐通道卷积层，所述逐通道卷积层的输入端与所述再处理单元相连，用于对所述M3个特征图进行逐通道卷积处理；

逐点卷积层，所述逐点卷积层的输入端与所述逐通道卷积层的输出端相连，用于对逐通道卷积处理后的特征图进行逐点卷积处理；

第二归一化处理层，所述第二归一化处理层的输入端与所述逐点卷积层的输出端相连，用于对逐点卷积处理后的特征图进行归一化处理；

Hard-swish激活层，所述Hard-swish激活层的输入端与所述第二归一化处理层的输出端相连，用于对归一化处理后的特征图进行激活处理得到所述M4个特征图。

11.一种非侵入负荷识别方法，其特征在于，所述方法包括：

在确定负荷投切事件发生时，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据、有功功率和无功功率；

通过卷积神经网络对所述V-I曲线图像进行特征提取得到图像特征向量，并对所述电流包络线图像进行特征提取得到包络线特征向量；

通过全连接神经网络对所述无功电流频谱数据进行特征提取得到频谱特征向量；

通过特征融合网络对所述图像特征向量、所述包络线特征向量、所述频谱特征向量、所述有功功率和所述无功功率进行特征融合得到融合特征向量；

通过分类器对所述融合特征向量进行类型识别得到所述待识别负荷的类型。

12.根据权利要求11所述的非侵入负荷识别方法，其特征在于，所述方法还包括：

采集负荷群端口处的电压和电流；

根据所述电压和所述电流获取无功电流、所述有功功率和所述无功功率；

在所述电压和所述无功电流的变化情况满足预设条件时，确定负荷投切事件发生。

13.根据权利要求12所述的非侵入负荷识别方法，其特征在于，获取待识别负荷的V-I曲线图像、电流包络线图像、无功电流频谱数据，包括：

根据所述无功电流和所述电压生成所述V-I曲线图像；

根据所述电流生成所述电流包络线图像；

对所述无功电流进行傅里叶变换得到所述无功电流频谱数据。

14.一种计算机可读存储介质，其特征在于，其上存储有非侵入负荷识别程序，该非侵入负荷识别程序被处理器执行时实现根据权利要求11-13中任一项所述的非侵入负荷识别方法。

15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的非侵入负荷识别程序，所述处理器执行所述程序时，实现根据权利要求11-13中任一项所述的非侵入负荷识别方法。

Images