CN109977744A - 一种低开销智能电网数据聚合处理系统及方法 - Google Patents

Abstract

本发明属于云计算与分布式神经网络技术领域，涉及一种基于分布式神经网络的低开销智能电网数据聚合方法，包括以下步骤：(1)终端设备特征提取；(2)局部数据汇集；(3)云端数据处理。本发明允许边缘设备进行快速的局部推断，大大减少了通信成本，降低了时间开销，同时，通过分布式计算，可以保证数据聚合中的隐私问题并提高了系统的容错能力。

Description

一种低开销智能电网数据聚合处理系统及方法

技术领域

本发明属于云计算与分布式神经网络技术领域，涉及一种结合智能电网数据的分布式数据聚合处理系统及方法，具体涉及一种低开销智能电网数据聚合处理系统及方法。

背景技术

随着科技的进步以及人们环保意识的增强，一种以新能源技术和信息技术深入结合为特征的新型能源利用体系--能源互联网应运而生，电能更是在其中起主体作用。能源互联网作为一套完整的能源生态系统，大数据融合以及多元应用是其不可缺少的一部分，而由于不同能源形式之间的差异，网络可观性及可控性需要依托广泛的信息测量，在其之上进行不同形式数据的汇集、整理、挖掘及分析。

云计算的应用领域非常广阔，其不仅能被用于互联网领域，同时云计算平台也为分布式大数据处理提供了可能。大数据同时为神经网络技术奠定了基础，机器学习可以较好的处理大数据问题。然而，目前基于云端的机器学习系统存在通信成本高，以及延迟等问题。

发明内容

发明目的

为解决智能电网中大数据在其利用之前的数据聚合问题，本发明提出了一种允许边缘设备进行快速的局部推断，减少通信成本，降低时间开销基于分布式神经网络的低开销智能电网数据聚合方法，同时，通过分布式计算，该系统可以保证数据聚合中的隐私问题并提高系统的容错能力。

技术方案

一种低开销智能电网数据聚合处理系统，其特征在于：包括用于收集图像数据的摄像头、用于提取图像数据特征的终端设备、进行图像数据初步识别任务的局部数据汇集端和进一步提取特征并进行识别任务的云端数据汇集端，所述摄像头为多个，用于拍摄不同方位的图像数据，每个摄像头皆连接有一个终端设备用于提取图像特征，所有终端设备皆连接到一个局部数据汇集端用于初步识别图像数据，局部数据汇集端连接到云端数据汇集端，用于进一步提取图像特征并进行识别局部数据汇集端未识别成功的图像数据。

所述局部数据汇集端和终端设备相比，计算能力更强，存储能力更大；所述云端数据汇集端和局部数据汇集端相比，计算能力更强，存储能力更大。

终端设备按如下方式提取图像特征：由多个放置于同一区域不同位置的摄像头收集相应的覆盖全区域图像数据，终端设备对收集对应摄像头的数据并进行亮度归一化处理，然后将处理好的图像数据作为卷积层的输入，以提取图像数据多维特征向量。

局部数据汇集端按如下方式进行图像数据的初步识别：将经过终端设备传输过来的数据按行或列的方式平展为一维数据向量作为局部数据汇集端的全连接层的输入数据；并将全连接层处理后的数据值与预先设置好的阈值相比较，若高于设置好的阈值，则将其数据从原输入数据集中剔除；若全连接层的输出低于阈值，则将其输入数据上传至云端进行进一步处理分析。

云端数据汇集端按如下方式进一步提取图像特征并识别图像数据：将局部数据汇集部分上传的来自多个不同局部汇集端的数据进行拼接，将上传后的数据处理为可以作为多层卷积层输入的数据向量；将汇集好的数据经过多层卷积层提取特征后，最终通过云端数据汇集端的全连接层进行处理，根据全连接层的输出结果与预先设置好的阈值相比较，若高于阈值则说明该数据可由本数据聚合处理系统识别成功。

一种利用如所述低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：包括以下步骤：

(1)终端设备接受摄像头收集而来的图像数据并进行特征提取；

(2)局部数据汇集端将多个终端设备提取的图像特征汇集并进行判断，提取所需要的信息；

(3)云端数据汇集端收集局部数据汇集端无法处理的特征或者想要深入了解的数据特征进行进一步提取特征并进行相应的数据聚合处理。

所述步骤(1)包括以下步骤：

(1)由多个放置于同一区域不同位置的摄像头收集相应的覆盖全区域图像数据，并发送给相应的终端设备对收集的数据进行亮度归一化处理，并将处理好的图像数据作为卷积层的输入，输出的是提取后的图像数据多维特征向量；

(2)利用单层的卷积神经网络提取数据集中的特征，并利用池化层进行池化操作，结合批规范化处理后发送给一个计算能力更强，存储能力更大且与多个上述终端设备直接相连的局部数据汇集端。

所述步骤(2)包括以下步骤：

(1)将终端设备传输过来的数据向量进行数据汇集，将经过终端传输过来的数据按行或列的方式平展为一维数据向量作为局部数据汇集端的全连接层的输入数据；

(2)利用汇集好的数据，将其作为全连接层的输入数据，并将全连接层处理后的数据值与预先设置好的阈值相比较，若高于设置好的阈值，则将其数据从原输入数据集中剔除；若全连接层的输出低于阈值，则将其输入数据上传至云端进行进一步处理分析。

所述步骤(3)包括以下步骤：

(1)将局部数据汇集部分上传的来自多个不同局部汇集端的数据进行拼接，将上传后的数据处理为可以作为多层卷积层输入的数据向量；

(2)将汇集好的数据经过多层卷积层提取特征后，最终通过云端数据汇集端的全连接层进行处理，根据全连接层的输出结果与预先设置好的阈值相比较，若高于阈值则说明该数据可由该系统识别成功。

所述阈值是经多次测试后选择的其中识别精度最高的一个阈值。

优点及效果

本发明建立了一种低开销智能电网数据聚合处理系统，本方法所使用的系统包含云端计算能力更为强大的神经网络以及与摄像头直接相连并放置于同一区域不同位置、全区域摄像全覆盖的终端设备，允许边缘设备进行快速的局部推断，大大减少了通信成本，降低了时间开销，同时，通过分布式计算，可以保证数据聚合中的隐私问题并提高了系统的容错能力。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明处理系统的框架图；

图3为本发明实施例中卷积层结构图；

图4为本发明实施例中全连接层结构图。

具体实施方式

1.系统体系结构

1.1云端设备

云端设备包括数据汇集部分和数据处理部分。数据汇集部分将来自终端的数据按特定方式汇总；数据处理部分由多个卷积神经网络层组成的特征提取部分以及处理特定问题的全连接层组成。

1.2终端设备

由于终端设备往往存储能力较差，因此由单层卷积神经网络层组成特征提取部分组成。

1.3局部数据汇集设备

常用的数据池化方法：(1)最大值池化:(2)平均值池化：(3)串联，即将数据向量串联。

在该部分中，将全连接层的输出与预先设置好的阈值进行比较，初始阈值设定为T＝0.5，该阈值可根据识别精度进行调整，根据结果识别精度的高低可改变该阈值的大小，并将高于阈值的输入数据从原数据集中剔除，然后将低于阈值的输入数据上传至云端，该部分实现了边缘设备的快速局部推断。系统体系如图2.

2.系统训练部分以识别变电站是否存在异常任务为例

因模型中涉及简单数据的剔除部分，因此在训练时，每个剔除部分的误差在反向传播时被加权组合以便在整个网络联合训练，其损失函数为：其中 为用户类型，y为实际用户类，为预测用户类。其优化方法选择Adam方法，其中超参设置分别为：α＝0.001,β₁＝0.9,β₂＝0.999,∈＝10^-8，α表示步长，β₁,β₂表示矩估计的指数衰减速率，∈用于数值稳定的较小的常数。

3.实施例

假设同一区域不同位置、全区域摄像全覆盖的摄像头与终端设备直接相连，下面结合具体公式来进一步阐述该系统结构。本实施例是以识别房间内是否存在工作人员以及是否存在除工作人员以外的异常物体。

(1)终端设备的搭设和特征提取：

一种低开销智能电网数据聚合处理系统，

包括用于收集图像数据的摄像头、用于提取图像数据特征的终端设备、进行图像数据初步识别任务的局部数据汇集端和进一步提取特征并进行识别任务的云端数据汇集端，所述摄像头为多个，用于拍摄不同方位的图像数据，每个摄像头皆连接有一个终端设备用于提取图像特征，所有终端设备皆连接到一个局部数据汇集端用于初步识别图像数据，局部数据汇集端和终端设备相比，计算能力更强，存储能力更大。局部数据汇集端连接到云端数据汇集端，用于进一步提取图像特征并进行识别局部数据汇集端未识别成功的图像数据，所述云端数据汇集端和局部数据汇集端相比，计算能力更强，存储能力更大。

图2中，其输入数据来源于摄像头等传感器设备；终端设备因计算能力差存储容量有限因此仅包含一个卷积层作为示意；局部汇集层设备较终端设备有更强的计算能力以及更大的存储容量因此包含一个用于判断任务是否完成的全连接层；云端设备因计算能力更强，存储能力更大因此包含多个可提取特征的卷积层(图2中画了2个作为示意，以示意说明计算、存储能力更强大，而非两个)以及一个用于判断任务是否完成的全连接层。

①通过摄像头拍摄到的图片，将其直接发送给与摄像头直接相连的终端设备，本实施例中与摄像头直接相连的终端设备为普通的电脑，因不同摄像头设定拍摄的图像大小都相同，因此不需要对不同摄像头发送过来的图像数据进行规范化，本实施例中所有图像数据都转化为32×32大小尺寸的RGB图像，直接将不同摄像头发送过来的尺寸大小相同的图像数据进行亮度归一化处理，经亮度归一化处理后的图像数据亮度值被映射为0-1之间，这将加快训练速度，本次处理选择最大最小归一化方法，即其中x_i表示图像像素点值，min(x),max(x)分别表示图像像素的最小值和最大值。最终输出图片维数为32×32×3。

②将预处理好的图像作为输入，即32×32×3维向量，并将其输入到卷积层，如图3中，其中卷积核维数为3×3，卷积核个数一般按经验来设置，本实施例通过多次实施比较，最后选择了卷积核的个数为3个，选取滑动步长为1，然后将单层卷积层的输出作为池化层的输入，并进行池化操作，池化操作的目的是进一步缩减数据量的大小，减轻数据传输成本，其中卷积核大小仍为3×3，步长选择2，池化方式选择平均池化，即最终形成了3×16×16维向量，并将其作为批正规化的输入，进行批正规化处理，即其中μ,σ是在训练时进行确定的，m为训练时的每次小批量中包含训练实例的个数与卷积核高与宽的乘积，训练时，小批量包含训练实例的个数为100，∈为一极小值在训练中进行保存，并用于之后的测试，可作为常数，其中γ,β为自学习参数，可在训练时进行确定，其初始迭代公式为k为训练时的迭代次数，经过批正规化处理后的数据向量作为该卷积层的输出，并将其输出到局部数据端。

(2)局部数据汇集：

①将终端传输过来的3×16×16数据向量，将其按行或列平展为3×16×16＝768维数据向量，并将其作为输入，将其输入到单层全连接层。

②将平展好的768维向量作为输入，输入到全连接层，如图4，即y＝Wx+b，隐藏层神经元个数设置为15个，该值的设定借鉴于当前流行的神经网络框架中隐藏层神经元的个数，其中权值W与偏差b选择随机初始化，然后，将其输出进行批正规化，即其中μ,σ是在训练时进行确定的，分别为一次训练过程中m个训练实例的均值与方差，∈为一极小值在训练中进行保存，并用于之后的测试，可作为常数，其中γ,β为自学习参数，可在训练时进行确定，其初始迭代公式为β^(k)＝μ^(k)，k为训练时的迭代次数。测试时，x,y分别为批正规化的输入和批正规化的输出。使用批正规化不仅仅极大提升了训练速度，收敛过程大大加快；还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果；另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。经过批正规化后，将批正规化的输出作为激活函数的输入，进行激活，本实施例中激活函数选择softmax(z)函数，将输出限制在0-1之间，并将经过激活函数后的输出作为最终的隐藏层的输出。最后，将该输出作为输出层y＝Wx+b的输入，进行最后的类型识别，因本实施例主要检测是否存在工作人员，因此识别类别仅有一类，对应于不存在工作人员，输出层的激活函数仍为softmax(z)函数，并设定判定阈值T＝0.8，该阈值是经多次测试后选择了softmax(z)函数其中识别精度最高的一个阈值。若最终结果高于该阈值，则说明，经过简单的识别，识别成功，工作环境中并未存在工作人员；若识别结果低于该阈值，则说明工作环境中并非无人，具体识别工作将交由云端环境进行识别，其中未识别成功的数据向量将通过局部数据汇集端输送给云端，该部分实现了边缘设备的快速局部推断。

(3)云端数据处理

①将局部数据汇集端发送过来的平展的768维向量，按照相同的平展方式，将其扩展为3×16×16维数据向量，并将其作为输入，输入到云端多层卷积层。

②云端多层卷积层以恢复好的多维向量作为输入，进行提取特征，过程与局部数据汇集端类似，其中第一层卷积层卷积核维数为3×3，卷积核个数一般按经验来设置，本实施例通过多次实施比较，最后选择了卷积核的个数为6个，选取滑动步长为1，然后将单层卷积层的输出作为池化层的输入，并进行池化操作，其中卷积核大小仍为3×3，步长选择1，池化方式选择平均池化，即最终形成的向量，并将其作为批正规化的输入，进行批正规化处理，本实施例中云端共执行三层卷积层，三层卷积层结构类似，最后将云端第三层卷积层的输出作为输入，在输入之前，首先要将卷积层多维的向量按行平展为一维的向量，然后输入到最后的全连接层中，进行最后的识别判断，隐藏层神经单元个数根据实际情况而定，本实施例中选择20个，其中权值W与偏差b选择随机初始化，然后，将其输出进行批正规化，经过正规化后，再将其作为输入，输入到激活函数中进行激活，其中激活函数仍为softmax(z)函数，经过激活后，将其结果输入到最后的输出层进行识别，输出层个数按实际的分类个数而定，本实施例中，分类个数为3，即有工作人员，无工作人员以及非工作人员。模型建立后，按上述的训练方式，将模型训练完毕后，则可直接根据摄像头拍摄到的图像进行实时判断识别，识别其中的有效信息。

Claims (10)

1.一种低开销智能电网数据聚合处理系统，其特征在于：包括用于收集图像数据的摄像头、用于提取图像数据特征的终端设备、进行图像数据初步识别任务的局部数据汇集端和进一步提取特征并进行识别任务的云端数据汇集端；所述摄像头为多个，用于拍摄不同方位的图像数据，每个摄像头皆连接有一个终端设备用于提取图像特征，所有终端设备皆连接到一个局部数据汇集端用于初步识别图像数据，局部数据汇集端连接到云端数据汇集端，用于进一步提取图像特征并进行识别局部数据汇集端未识别成功的图像数据。

2.根据权利要求1所述的低开销智能电网数据聚合处理系统，其特征在于：所述局部数据汇集端和终端设备相比，计算能力更强，存储能力更大；所述云端数据汇集端和局部数据汇集端相比，计算能力更强，存储能力更大。

3.根据权利要求1所述的低开销智能电网数据聚合处理系统，其特征在于：终端设备按如下方式提取图像特征：由多个放置于同一区域不同位置的摄像头收集相应的覆盖全区域图像数据，终端设备对收集对应摄像头的数据并进行亮度归一化处理，然后将处理好的图像数据作为卷积层的输入，以提取图像数据多维特征向量。

4.根据权利要求1所述的低开销智能电网数据聚合处理系统，其特征在于：局部数据汇集端按如下方式进行图像数据的初步识别：将经过终端设备传输过来的数据按行或列的方式平展为一维数据向量作为局部数据汇集端的全连接层的输入数据；并将全连接层处理后的数据值与预先设置好的阈值相比较，若高于设置好的阈值，则将其数据从原输入数据集中剔除；若全连接层的输出低于阈值，则将其输入数据上传至云端进行进一步处理分析。

5.根据权利要求1所述的低开销智能电网数据聚合处理系统，其特征在于：云端数据汇集端按如下方式进一步提取图像特征并识别图像数据：将局部数据汇集部分上传的来自多个不同局部汇集端的数据进行拼接，将上传后的数据处理为可以作为多层卷积层输入的数据向量；将汇集好的数据经过多层卷积层提取特征后，最终通过云端数据汇集端的全连接层进行处理，根据全连接层的输出结果与预先设置好的阈值相比较，若高于阈值则说明该数据可由本数据聚合处理系统识别成功。

6.一种利用如权利要求1所述低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：包括以下步骤：

(1)终端设备接受摄像头收集而来的图像数据并进行特征提取；

(2)局部数据汇集端将多个终端设备提取的图像特征汇集并进行判断，提取所需要的信息；

(3)云端数据汇集端收集局部数据汇集端无法处理的特征或者想要深入了解的数据特征进行进一步提取特征并进行相应的数据聚合处理。

7.根据权利要求4所述的利用低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：所述步骤(1)包括以下步骤：

(1)由多个放置于同一区域不同位置的摄像头收集相应的覆盖全区域图像数据，并发送给相应的终端设备对收集的数据进行亮度归一化处理，并将处理好的图像数据作为卷积层的输入，输出的是提取后的图像数据多维特征向量；

(2)利用单层的卷积神经网络提取数据集中的特征，并利用池化层进行池化操作，结合批规范化处理后发送给一个计算能力更强，存储能力更大且与多个上述终端设备直接相连的局部数据汇集端。

8.根据权利要求4所述的利用低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：所述步骤(2)包括以下步骤：

(1)将终端设备传输过来的数据向量进行数据汇集，将经过终端传输过来的数据按行或列的方式平展为一维数据向量作为局部数据汇集端的全连接层的输入数据；

(2)利用汇集好的数据，将其作为全连接层的输入数据，并将全连接层处理后的数据值与预先设置好的阈值相比较，若高于设置好的阈值，则将其数据从原输入数据集中剔除；若全连接层的输出低于阈值，则将其输入数据上传至云端进行进一步处理分析。

9.根据权利要求4所述的利用低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：所述步骤(3)包括以下步骤：

(1)将局部数据汇集部分上传的来自多个不同局部汇集端的数据进行拼接，将上传后的数据处理为可以作为多层卷积层输入的数据向量；

(2)将汇集好的数据经过多层卷积层提取特征后，最终通过云端数据汇集端的全连接层进行处理，根据全连接层的输出结果与预先设置好的阈值相比较，若高于阈值则说明该数据可由本数据聚合处理系统识别成功。

10.根据权利要求6所述的利用低开销智能电网数据聚合处理系统数据聚合处理的方法，其特征在于：所述阈值是经多次测试后选择的其中识别精度最高的一个阈值。