CN113360725B - 基于边缘协同分类的电力时序数据检索方法 - Google Patents
基于边缘协同分类的电力时序数据检索方法 Download PDFInfo
- Publication number
- CN113360725B CN113360725B CN202110625003.4A CN202110625003A CN113360725B CN 113360725 B CN113360725 B CN 113360725B CN 202110625003 A CN202110625003 A CN 202110625003A CN 113360725 B CN113360725 B CN 113360725B
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- time series
- sequence data
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000013145 classification model Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Public Health (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Water Supply & Treatment (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于时序数据检索技术领域，特别涉及一种基于边缘协同分类的电力时序数据检索方法，包括对电力数据集进行K‑shape聚类，并根据肘部法则得到最佳聚类数；根据聚类的分类结果，利用残差神经网络模型创建分类模型；采用联邦学习对不同边缘设备上的模型参数进行聚合；当用户输入时序数据进行检索时，利用残差神经网络模型对该时序数据进行分类；对每个类别的数据进行DTW计算，将最近似的N条时序数据作为检索结果推荐给用户；本发明解决智能算法的资源需求与边缘设备受限于资源之间的矛盾、服务质量与隐私保护之间的矛盾、智能任务需求多样与边缘设备能力单一之间的矛盾问题，实现对不同边缘设备的协同分类与检索。
Description
技术领域
本发明属于时序数据检索技术领域，特别涉及基于边缘协同分类的电力时序数据检索方法。
背景技术
随着智能电网、智慧城市、智能交通等应用的不断推进，设备连接数量以及产生的数据呈爆炸式增长的趋势。传统的云计算模型，即集中式处理，已经无法承载海量的数据，使得云中心传输带宽、负载以及数据安全等问题越来越突出，故以“数据处理应更靠近数据源头”为核心的边缘计算模型应用而生。时序数据是现实世界中比较常见的数据类型之一，其含义为同种表现在不同时间轴上的相继观察并进行排列的一组数字，广泛应用于气象数据、工业数据、金融数据、电力数据、医疗数据、传感器网络监控数据等领域。因其应用普遍，故边缘端设备产生的数据量十分庞大，如何对这些海量的数据进行处理、分析与挖掘，找到其中最具有价值的规律或趋势，是目前研究的热点。
在边缘计算背景下，时序数据分类算法在不断改进，使得更多智能应用从云端迁移到边缘端，人工智能与边缘计算的结合就产生了边缘智能。边缘智能的发展对边缘计算与人工智能计算具有双向共赢的优势：一方面，边缘数据可以借助智能算法释放潜力，提供更高的可用性，另一方面，边缘计算为智能算法提供更多的应用场景与数据。然而，将人工智能算法从云端迁移到边缘的过程中仍然存在诸多矛盾，比如智能算法的资源需求与边缘设备受限于资源之间的矛盾、服务质量与隐私保护之间的矛盾、智能任务需求多样与边缘设备能力单一之间的矛盾。
发明内容
为了解决人工智能算法从云端迁移到边缘的过程中存在的矛盾，本发明提出一种基于边缘协同分类的电力时序数据检索方法，具体包括以下步骤：
从边缘设备采集电力时序数据，并对原始电力数据进行预处理得到数据集；
对数据集进行K-shape聚类，并根据肘部法则得到最佳聚类数；
根据聚类的分类结果，利用残差神经网络模型对每个边缘节点上的电力时序数据创建分类模型；
采用联邦学习对不同边缘设备上的模型参数进行聚合，即通过计算加权平均值将参数值聚合，并更新模型参数进行迭代；
当用户输入时序数据进行检索时，利用残差神经网络模型对该时序数据进行分类得到该数据的分类号；
对分类号下的数据进行DTW计算，将最近似的N条时序数据作为检索结果推荐给用户。
进一步的，对数据集进行K-shape聚类具体包括以下步骤：
101、计算每两个时序数据之间的互相关性，并对得到的互相关性进行归一化处理；
102、根据归一化的互相关性计算两条时序数据之间基于形状的距离度量；
103、初始化聚类数据，即根据肘部法则得到的最佳聚类数随机定义每个类别的数据；104、构建优化方程，求解得到与类别中其他序列数据之间基于形状的距离度量平方和最小的序列数据，并将其作为该类别的质心；
105、将每个时间序列与所有计算的质心进行比较，并将每个时间序列分配给最近的质心，更新聚类的成员；
106、根据距离度量更新质心，重复步骤104～105，直到每个类别中的序列数据不再发生变化。
进一步的，基于形状的距离度量表示为：
其中，为时间序列/>与时间序列/>基于形状的时间量度；/>为时间序列/>与时间序列/>的互相关性；/>为时间序列/>与时间序列/>之间的互相关性计算；/>为为时间序列/>与时间序列/>之间的互相关性计算。
进一步的，在计算时间序列与时间序列/>的互相关性时，保持序列/>不动，序列/>在序列/>上滑动，计算/>的每一个位移x的内积，当序列/>滑动时，空缺部分部为零，互相性计算的结果为长度为2n-1的序列，该序列表示为：
其中，为序列/>与序列/>互相关性，l为t大于0时的序列长度，t为序列互相关序列的长度。
进一步的，构建优化方程求解质心包括：
其中，为其他时间序列序列的平方相似性的最大值；/>为其他时间序列序列的平方相似性；/>I为单位矩阵，O为全是1的矩阵，m为序列中数据点的个数，/> 为时间序列，Pj为簇P中的第j个类别；进一步的，采用联邦学习算法对不同边缘设备上的数据进行协同的过程具体包括：
每个边缘节点根据其本地的训练数据集进行迭代训练；
边缘节点将当前参数的值推送到聚合服务器中，在聚合服务器中，计算所有边缘节点参数的平均值；
从聚合参数服务器中获取所有边缘节点参数的平均值，进行新的训练；
每个边缘节点从聚合服务器中提取更新后的参数值，并将更新后的参数设置为边缘节点当前的参数，进行下一轮训练。
进一步的，采用DTW算法对同类别数据进行相似性计算具体包括：
其中，K是在比较不同长度序列时的统一标准，wi为规整路径。
进一步的，通过求解两条时序数据匹配时累计距离最小所对应的规整函数得到规整路径wi，规整路径wi包括两条时序数据的所有数据点的距离组成的一条路径，则两条时序数据中两个元素的规整距离表示为：
其中，aα表示序列的第α个元素，bβ序列/>的第β个元素。
与现有技术相比，本发明具有以下优势：
(1)采用K-shape聚类算法，根据电力时序数据的形状并进行分类，并根据肘部算法，找到最佳聚类数，使得分类精确度更高；
(2)采用联邦学习算法，对不同边缘设备上的时序数据进行协同与检索，解决智能算法的资源需求与边缘设备受限于资源之间的矛盾、服务质量与隐私保护之间的矛盾、智能任务需求多样与边缘设备能力单一之间的矛盾问题，实现对不同边缘设备的协同分类与检索。
附图说明
图1为本发明边缘协同分类的展示图；
图2为本发明时序数据检索流程图；
图3为本发明电力数据集可视化；
图4为本发明肘部算法计算结果图；
图5为本发明k-shape分类结果图；
图6为本发明残差神经网络模型框架；
图7为本发明残差单元；
图8为本发明不同w值的检索时间；
图9为Relu函数示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于边缘协同分类的电力时序数据检索方法，具体包括以下步骤：
从边缘设备采集电力时序数据，并对原始电力数据进行预处理得到数据集；
对数据集进行K-shape聚类，并根据肘部法则得到最佳聚类数；
根据聚类的分类结果，利用残差神经网络模型对每个边缘节点上的电力时序数据创建分类模型；
采用联邦学习对不同边缘设备上的模型参数进行聚合，即通过计算平均值将参数值聚合，并更新模型参数进行迭代；
当用户输入时序数据进行检索时，利用残差神经网络模型对该时序数据进行分类得到该数据的分类号；
对分类号下的数据进行DTW计算，将最近似的N条时序数据作为检索结果推荐给用户。
在本实施例中，采用K-shape聚类算法对时序数据进行分类。K-shape算法是一种时序数据聚类算法，该算法聚类过程类似于K-means算法，即依赖于迭代增强过程。但是该算法采用了标准的互相关系数作为距离度量方法，并在每次迭代过程中基于该距离度量方法计算质心。K-shape算法在比较过程中要保持时序数据形状均匀缩放不变，即对较长的时间序列进行收缩或者对较短的时间序列拉伸时形状不会发生变化，故该算法需要一个保持拉伸和收缩不变的距离度量方法。
本实施例采用基于形状的距离度量(Shape-based Distance,SBD)作为本发明的距离度量，SBD的取值在[0,2]范围内，其值越小说明序列相似度越大，表示为：
其中，为时间序列/>与时间序列/>的互相关性；/>为时间序列/>与时间序列/>之间的互相关性；/>为为时间序列/>与时间序列/>之间的互相关性。
互相关性是一种统计度量，用来比较长度为n的序列与长度为n的序列之间的相似性，计算两个序列之间的互相关性方法为：保持序列/>不动，序列/>在序列/>上滑动，计算/>的每一个位移x的内积，如公式所示：
其中，x为移位。序列滑动时，空缺部分部为零，互相关性计算结果为序列，即互相性计算的结果为长度为的序列，表示为：
其中，为序列/>与序列/>互相关性，l为t大于0时的序列长度；t为序列互相关序列的长度，t＝0时，表示为无滑动，即y＝n。
对互相关性计算的结果采用系数归一化处理，使得数据值在[-1,1]之间，归一化过程表示为：
其中，为/>的归一化序列。
在聚类过程中，需要将将每个时间序列与所有计算的质心进行比较，并将每个时间序列分配给最近的质心，更新聚类的成员。初始化时，从数据集中随机指定节点作为质心，再进行迭代更行，直到质心以及每个类别的节点不再发生变化。
本实施例中，定义若该类别中一个节点到其他点的距离平方和最小，则该节点为该类别的质心，且本发明采用的距离量度方式为前述的基于形状的距离度量。
本实施例中，将寻找质心的过程优化为Steiner序列问题，即在给定一个区域pj∈P，其质心应该满足以下条件：
其中，为需要求取的质心；/>为一条时间序列；/>为当前质心。
但是在实际捕捉质心的过程中，上述捕捉方法效果不佳，为解决此问题，将质心计算过程视为一个优化问题，其目标是找到与类内所有其他时间序列之间距离平方和最小值，然而，由于互相关性可以直观地捕获了时间序列的相似性，故将计算出的序列表示为最大化：
忽略分母的影响，并根据公式3和公式4对公式7简化，并将其转化为向量形式：
引入矩阵M＝QT·S·Q，I为单位矩阵，O为全是1的矩阵，m为序列中数据点的个数，/> 为为时间序列，得到
其中，为其他时间序列序列的平方相似性的最大值。
故聚类质心的计算就转化为矩阵M特征值和特征向量的求解。
在迭代过程中，k-Shape算法将每个时间序列与所有计算的质心进行比较，并将每个时间序列分配给最近的质心，更新聚类的成员；把那个根据SBD距离度量更新质心，重复上述步骤，直到集群成员不再发生变化。
在得到数据的分类之后，本发明采用采用残差神经网络模型对分类结果进行学习，残差神经网络模型如图6所示，包括输入层、三个残差块、平均池化层(GlobalPooling)、一个softmax层。每个残差单元有3层的卷积层，卷积层可以保持形状不变。当输入数据是图像时，卷积层会以3维数据的形式接收输入数据，并同样以3维数据的形式输出至下一层，每个卷积层后面联接有归一化层(BN)和激活层(ReLU)。
在本实施例中，如图7，神经元的输入是xl，期望输出是H(x)，直接去拟合H(x)不仅比较困难，而且对网络的训练也困难，故把网络设计成H(x)＝F(x)+x，转化成学习一个残差函数F(x)＝H(x)-x，前提是F(x)＝0，则学习残差函数比学习F(x)的映射要简单的多，而且也降低了训练难度，残差神经网络通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那部分，简化学习目标和难度。
残差神经网络模型的模型隐藏层的激活函数一般选择非线性函数，其原因为非线性的激活函数能够增加网络的非线性表达能力，从而是网络更加强大，能够学习复杂的事物与表单数据。故本模型采用Relu函数，其正整数区为常数，不存在梯度消失的问题，使模型的收敛速度保持在稳定状态。卷积层采用Softmax函数作为全连接卷积神经网络模型的输出层。Relu函数表示为f(x)＝max(0,x)。如图9所示，当输入x<0时，输出为0，当x>0时，输出为x。
根据上述K-shape聚类算法的分类结果，将上述300个用户分成4类，并对数据集打上分类标签。将标签电力数据按照不同的比例分成训练集与测试集，采用FCN模型与ResNet模型对训练集进行学习，并采用测试集进行验证。
采用联邦学习算法对不同边缘设备上的数据进行协同，时序数据分类的学习任务由一组分布式边缘节点来解决，即边缘节点通过边缘服务器调整模型的参数。每个边缘节点都有自己的本地训练数据集，这些数据集从未上传到参数边缘服务器或转移到云上。相反，每个边缘节点仅负责自己的私密数据，并不断地进行训练和本地推理。当每个边缘节点完成训练过程中的迭代次数时，将当前参数的值推送到聚合参数服务器中，在聚合参数服务器中，通过计算平均值将参数值聚合，每个边缘节点可以立即从聚合参数服务器中提取更新后的参数值，并将更新后的参数设置为自己当前的参数，开始下一轮训练。
DTW是一种将距离度量和时间规整结合起来的非线性技术，该算法根据最小代价的时间弯曲路径进行对齐匹配，支持时间序列的时间轴伸缩，序列中各点之间不要求一一对应，并且能够计算不同长度的序列之间的距离。DTW在计算距离时采用的是非线性对齐技术，且是一种能最大程度降低两个序列之间的距离匹配方法。其距离计算公式为：
其中，K是在比较不同长度序列时的统一标准。
当用户输入时序数据进行检索时，根据ResNet模型对该条时序和数据进行分类，得到其类别号后，对所有的该类别数据进行DTW计算，找到最为相近的几条时序数据。
本实验采用的公共数据集来自UC Irvine School of Information andComputer Science，提供了来自370个公寓的没有missing point的用电信息，每一列代表一个客户端，时间粒度为15分钟，采集时间为2011年-2014年共4年的家庭用电量数据，但有些用户在2011年之后创建，在2011年的用电量消费被视为零。所有时间标签均以葡萄牙语小时为单位，整天呈现96个小节(24*4)。其部分数据如下图所示，展示了7个用户的用电信息，其部分电力数据集如附图3所示。
如附图4所示，展示根据肘部算法确定最佳聚类数，由图4可以看出，当k＝4时，轮廓系数最大，故k-shape聚类算法将电力时序数据分为4类，其附图5展示分类的结果，红色的线条代表本类别的标准线。
如附图7所示，展示在DTW算法的不同窗口值下用户检索一条时序数据的时间大小，由图可以看出，当w越大，其检索的时间越长。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.基于边缘协同分类的电力时序数据检索方法，其特征在于，具体包括以下步骤：
从边缘设备采集电力时序数据，并对原始电力数据进行预处理得到数据集；
对数据集进行K-shape聚类，并根据肘部法则得到最佳聚类数；具体包括以下步骤：
101、计算每两个时序数据之间的互相关性，并对得到的互相关性进行归一化处理；在计算时间序列与时间序列/>的互相关性时，保持序列/>不动，序列在序列/>上滑动，计算/>的每一个位移x的内积，当序列/>滑动时，空缺部分部为零，互相性计算的结果为长度为2n-1的序列，该序列表示为：
其中，为序列/>与序列/>互相关性，l为t大于0时的序列长度，t为序列互相关序列的长度；
102、根据归一化的互相关性计算两条时序数据之间基于形状的距离度量；基于形状的距离度量表示为：
其中，为时间序列/>与时间序列/>基于形状的时间量度；/>为时间序列与时间序列/>的互相关性；/>为时间序列/>与时间序列/>之间的互相关性计算；为为时间序列/>与时间序列/>之间的互相关性计算；
103、初始化聚类数据，即根据肘部法则得到的最佳聚类数随机定义每个类别的数据；
104、构建优化方程，求解得到与类别中其他序列数据之间基于形状的距离度量平方和最小的序列数据，并将其作为该类别的质心；构建优化方程求解质心包括：
其中，为其他时间序列序列的平方相似性的最大值；/>为其他时间序列序列的平方相似性；M＝QT·S·Q，/>I为单位矩阵，O为全是1的矩阵，m为序列中数据点的个数，/>为序列/>的转置，Pj为簇P中的第j个分类；
105、将每个时间序列与所有计算的质心进行比较，并将每个时间序列分配给最近的质心，更新聚类的成员；
106、根据距离度量更新质心，重复步骤104～105，直到每个类别中的序列数据不再发生变化；
根据聚类的分类结果，利用残差神经网络模型对每个边缘节点上的电力时序数据创建分类模型；
采用联邦学习对不同边缘设备上的模型参数进行聚合，即通过计算加权平均值将参数值聚合，并更新模型参数进行迭代；
当用户输入时序数据进行检索时，利用残差神经网络模型对该时序数据进行分类得到该数据的分类号；
对分类号下的数据进行DTW计算，将最近似的N条时序数据作为检索结果推荐给用户，即通过求解两条时序数据匹配时累计距离最小所对应的规整函数得到规整路径wi，规整路径wi包括两条时序数据的所有数据点的距离组成的一条路径，则两条时序数据中两个元素的规整距离表示为：
其中，aα表示序列的第α个元素，bβ序列/>的第β个元素。
2.根据权利要求1所述的基于边缘协同分类的电力时序数据检索方法，其特征在于，采用联邦学习算法对不同边缘设备上的数据进行协同的过程具体包括：
每个边缘节点根据其本地的训练数据集进行迭代训练；
边缘节点将当前参数的值推送到聚合服务器中，在聚合服务器中，计算所有边缘节点参数的平均值；
从聚合参数服务器中获取所有边缘节点参数的平均值，进行新的训练；
每个边缘节点从聚合服务器中提取更新后的参数值，并将更新后的参数设置为边缘节点当前的参数，进行下一轮训练。
3.根据权利要求1所述的基于边缘协同分类的电力时序数据检索方法，其特征在于，采用DTW算法对同类别数据进行相似性计算具体包括：
其中，K是在比较不同长度序列时的统一标准，wi为规整路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625003.4A CN113360725B (zh) | 2021-06-04 | 2021-06-04 | 基于边缘协同分类的电力时序数据检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625003.4A CN113360725B (zh) | 2021-06-04 | 2021-06-04 | 基于边缘协同分类的电力时序数据检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113360725A CN113360725A (zh) | 2021-09-07 |
| CN113360725B true CN113360725B (zh) | 2023-10-03 |
Family
ID=77532274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625003.4A Active CN113360725B (zh) | 2021-06-04 | 2021-06-04 | 基于边缘协同分类的电力时序数据检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360725B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080801B (zh) * | 2022-07-22 | 2022-11-11 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
| CN116089491B (zh) * | 2022-12-15 | 2024-01-30 | 清华大学 | 基于时序数据库的检索匹配方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008224A (zh) * | 2019-11-13 | 2020-04-14 | 浙江大学 | 一种基于深度多任务表示学习的时间序列分类和检索方法 |
| CN112105035A (zh) * | 2020-08-21 | 2020-12-18 | 深圳大学 | 移动边缘计算服务器的部署方法及装置 |
| CN112699912A (zh) * | 2020-11-19 | 2021-04-23 | 电子科技大学 | 一种通过改进gan增强红外热图像的方法 |
| CN112883133A (zh) * | 2021-02-01 | 2021-06-01 | 南京航空航天大学 | 基于时序数据和功能演变数据的流量预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11373272B2 (en) * | 2015-06-05 | 2022-06-28 | MindAptiv, LLC | Digital gradient signal processing system and method for signals comprising at least three dimensions |
| US10037592B2 (en) * | 2015-06-05 | 2018-07-31 | Mindaptiv LLC | Digital quaternion logarithm signal processing system and method for images and other data types |
-
2021
- 2021-06-04 CN CN202110625003.4A patent/CN113360725B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008224A (zh) * | 2019-11-13 | 2020-04-14 | 浙江大学 | 一种基于深度多任务表示学习的时间序列分类和检索方法 |
| CN112105035A (zh) * | 2020-08-21 | 2020-12-18 | 深圳大学 | 移动边缘计算服务器的部署方法及装置 |
| CN112699912A (zh) * | 2020-11-19 | 2021-04-23 | 电子科技大学 | 一种通过改进gan增强红外热图像的方法 |
| CN112883133A (zh) * | 2021-02-01 | 2021-06-01 | 南京航空航天大学 | 基于时序数据和功能演变数据的流量预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| multi-keyword cipher-text retrieval method for smart grid edge computing;zhu jing 等;journal of physics;第1754卷(第1期);1-12 * |
| time series retrieval using DTW-Preserving shapelets;Ricardo Carlini等;international conference on similarity search and applications;257-270 * |
| 面向智能电网的时序数据检索方法;朱静;中国优秀硕士学位论文全文数据库工程科技II辑(第3期);C042-3121 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113360725A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Manessi et al. | Dynamic graph convolutional networks | |
| Joseph et al. | Survey of data mining algorithm’s for intelligent computing system | |
| Wang et al. | Time series feature learning with labeled and unlabeled data | |
| Geng | Label distribution learning | |
| Bai et al. | An efficient algorithm for distributed density-based outlier detection on big data | |
| CN113360725B (zh) | 基于边缘协同分类的电力时序数据检索方法 | |
| Li et al. | Dynamic structure embedded online multiple-output regression for streaming data | |
| Ma et al. | Support multimode tensor machine for multiple classification on industrial big data | |
| Zhang et al. | Object categorization in sub-semantic space | |
| Sun et al. | Extreme learning machine for classification over uncertain data | |
| CN105139031A (zh) | 一种基于子空间聚类的数据处理方法 | |
| CN111985623A (zh) | 基于最大化互信息和图神经网络的属性图群组发现方法 | |
| Wang et al. | Research on thermal load prediction of district heating station based on transfer learning | |
| Ni et al. | Discriminative deep transfer metric learning for cross-scenario person re-identification | |
| Zhang et al. | Multi-source big data dynamic compressive sensing and optimization method for water resources based on IoT | |
| Zhang et al. | l2, 1 norm regularized fisher criterion for optimal feature selection | |
| Wu et al. | Spatial–temporal short-term load forecasting framework via K-shape time series clustering method and graph convolutional networks | |
| Wu et al. | A Tensor CP decomposition method for clustering heterogeneous information networks via stochastic gradient descent algorithms | |
| Cong et al. | User attribute discovery with missing labels | |
| Mao et al. | A MapReduce-based K-means clustering algorithm | |
| Miraftabzadeh et al. | Knowledge Extraction From PV Power Generation With Deep Learning Autoencoder and Clustering-Based Algorithms | |
| Zhou et al. | Dempster–Shafer theory-based robust least squares support vector machine for stochastic modelling | |
| Sun et al. | Fuzzy clustering algorithm-based classification of daily electrical load patterns | |
| Jian-Xiang et al. | Application of genetic algorithm in document clustering | |
| Ni et al. | The analysis and research of clustering algorithm based on PCA |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |