CN114978931A - 基于流形学习的网络流量预测方法、装置及存储介质 - Google Patents

基于流形学习的网络流量预测方法、装置及存储介质 Download PDF

Info

Publication number
CN114978931A
CN114978931A CN202210902318.3A CN202210902318A CN114978931A CN 114978931 A CN114978931 A CN 114978931A CN 202210902318 A CN202210902318 A CN 202210902318A CN 114978931 A CN114978931 A CN 114978931A
Authority
CN
China
Prior art keywords
network
sample point
data
matrix
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210902318.3A
Other languages
English (en)
Other versions
CN114978931B (zh
Inventor
胡江溢
严小文
陶晓峰
陈良亮
吕朋朋
吴少雄
陆春艳
杨学良
熊霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NARI Group Corp
Nari Technology Co Ltd
Original Assignee
NARI Group Corp
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NARI Group Corp, Nari Technology Co Ltd filed Critical NARI Group Corp
Priority to CN202210902318.3A priority Critical patent/CN114978931B/zh
Publication of CN114978931A publication Critical patent/CN114978931A/zh
Application granted granted Critical
Publication of CN114978931B publication Critical patent/CN114978931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于流形学习的网络流量预测方法、装置及存储介质，包括获取网络流量数据；对网络流量数据进行预处理，预处理包括降维以及采用流行学习方法去除共轭点并保持各样本点之间的距离不变；将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。本发明能够提供更为精确的用电信息采集网络流量预测。本发明能够提供更为精确的用电信息采集网络流量预测。

Description

基于流形学习的网络流量预测方法、装置及存储介质
技术领域
本发明属于智能电网网络流量预测领域，具体涉及一种基于流形学习的网络流量预测方法、装置及存储介质。
背景技术
为了保证电力通信安全可靠，设计稳健的电力通信网对于电网非常重要。随着国家智能电网的不断发展，智能电网的业务不断增加，导致各种类型的数据增长非常快，使得服务器工作有时较堵，服务器工作效率不高，导致成本增加。为了提升资源的有效配置，提升服务器等效率，对电网进行优化、对网络流量进行预测就显得非常重要。
现阶段，由于电网情况复杂，非线性的网络流量预测方法所预测的性能较好，其中深度网络模型凭借强大的非线性预测能力成为有效的网络流量预测工具。现阶段非线性的预测方法，如LSTM模型的方法等存在维度较高的问题，会导致训练存在问题，导致预测精度有待提高，因此，提高用电信息采集网络流量预测精度是亟需解决的问题。
发明内容
针对上述问题，本发明提出一种基于流形学习的网络流量预测方法、装置及存储介质，能够提供更为精确的用电信息采集网络流量预测。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
第一方面，本发明提供了一种基于流形学习的网络流量预测方法，包括：
获取网络流量数据；
对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除共轭点并保持各样本点之间的距离不变；
将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
进一步地，对所述网络流量数据进行预处理，包括：
将一天中采集的设定个流量数据点记为一个流量数据向量，第i天的流量数据向量作为第i个样本点，记为
Figure 778320DEST_PATH_IMAGE001
；
计算任意两个样本点第i个样本点
Figure 663099DEST_PATH_IMAGE001
和第j个样本点
Figure 195712DEST_PATH_IMAGE002
之间的欧式距离
Figure 928700DEST_PATH_IMAGE003
，将每个样本点与距其最近的k个近邻点的距离保持不变，每个样本点与除去距其最近的k个近邻点的其他样本点距离变为0，此时得到邻接矩阵D，将第i个样本点
Figure 128737DEST_PATH_IMAGE001
和第j个样本点
Figure 653259DEST_PATH_IMAGE002
之间的欧式距离
Figure 938747DEST_PATH_IMAGE003
作为邻接矩阵D的第i行第j列元素；根据邻接矩阵D获得邻近图G；
以前一天的流量数据向量为根节点，利用Dijkstra算法计算各个样本点到其前一天的流量数据向量的最短路径，得到最短路径树，找出最短路径树上的叶子节点；
将最短路径树上任意两个叶子节点之间的欧式距离设为0，以消除共轭点的影响，更新邻接矩阵得到新邻接矩阵
Figure 206918DEST_PATH_IMAGE004
，并得到新邻近图
Figure 261461DEST_PATH_IMAGE005
；
根据任意样本点
Figure 956885DEST_PATH_IMAGE001
和样本点
Figure 729669DEST_PATH_IMAGE002
之间的欧式距离计算任意两样本点间的路径
Figure 801530DEST_PATH_IMAGE006
，将任意两样本点间的路径
Figure 710580DEST_PATH_IMAGE006
作为内积矩阵B的第i行第j列元素；
对内积矩阵 B进行特征值分解
Figure 842484DEST_PATH_IMAGE007
，得到特征值矩阵
Figure 836985DEST_PATH_IMAGE008
和特征向量矩阵
Figure 446958DEST_PATH_IMAGE009
；
取特征值矩阵
Figure 476094DEST_PATH_IMAGE008
最大的前
Figure 513320DEST_PATH_IMAGE010
列
Figure 260696DEST_PATH_IMAGE011
，和特征向量矩阵
Figure 408781DEST_PATH_IMAGE012
的前
Figure 289493DEST_PATH_IMAGE010
列
Figure 497621DEST_PATH_IMAGE013
，并得到降维后的
Figure 466714DEST_PATH_IMAGE010
维向量
Figure 418489DEST_PATH_IMAGE014
。
再进一步地，任意两样本点间的路径
Figure 156638DEST_PATH_IMAGE006
由如下式子计算：
Figure 535667DEST_PATH_IMAGE015
，
其中N为样本数量。
进一步地，所述CNN神经网络包括依次连接的两个卷积层、一个批归一化层和一个激活层，CNN神经网络的表达式为：
Figure 992056DEST_PATH_IMAGE016
，
其中，
Figure 747522DEST_PATH_IMAGE017
为双向LSTM神经网络中前向网络的输出，
Figure 605757DEST_PATH_IMAGE018
为双向LSTM神经网络中后向网络的输出，
Figure 155687DEST_PATH_IMAGE019
为t时刻CNN神经网络的输出；
Figure 833793DEST_PATH_IMAGE020
为t时刻预处理后的数据输出；
接着CNN神经网络的输出和特征因素连接到一个全连接网络上，全连接网络的输出为最终的预测值，t时刻流量预测表达式为：
Figure 392950DEST_PATH_IMAGE021
，
其中，W和b是全连接网络中的参数，其中
Figure 840112DEST_PATH_IMAGE022
为天气类型、
Figure 92102DEST_PATH_IMAGE023
为时间、
Figure 257504DEST_PATH_IMAGE024
为网络通信终端数量。
进一步地，训练优化网络流量预测模型的方法包括：
设计优化目标函数为：
Figure 354773DEST_PATH_IMAGE025
，
其中
Figure 922021DEST_PATH_IMAGE026
指Frobenius范数，
Figure 813753DEST_PATH_IMAGE027
指向量2范数，λ 1、λ 2、λ 3、λ 4为四个正则量，
Figure 466451DEST_PATH_IMAGE028
为最小均方误差值函数，
Figure 370341DEST_PATH_IMAGE029
为CNN神经网络的参数，
Figure 57674DEST_PATH_IMAGE030
为双向LSTM神经网络的参数，N为样本数量，
Figure 120308DEST_PATH_IMAGE031
是网络流量预测模型中待优化的参数，其中W和b是全连接网络中的参数。
结合adam优化算法进行参数优化，获得网络流量预测模型中待优化的各个参数。
进一步地，最小均方误差值函数
Figure 260303DEST_PATH_IMAGE028
，表达式为：
Figure 699374DEST_PATH_IMAGE032
，
Figure 975635DEST_PATH_IMAGE033
指输出网络流量值，
Figure 474749DEST_PATH_IMAGE034
指通过网络流量预测模型预测获得的网络流量值。
进一步地，所述双向LSTM包括 4 个门，第一个称为遗忘门，遗忘门的输出
Figure 836460DEST_PATH_IMAGE035
和输入
Figure 79223DEST_PATH_IMAGE036
、
Figure 741148DEST_PATH_IMAGE037
以及遗忘门参数
Figure 411164DEST_PATH_IMAGE038
、
Figure 260171DEST_PATH_IMAGE039
之间的关系为：
Figure 306625DEST_PATH_IMAGE040
，
Figure 823057DEST_PATH_IMAGE041
为sigmoid函数；第二层和第三层分别称为输入层和tanh层，tanh层引入一个新的候选值，第二层
Figure 398395DEST_PATH_IMAGE042
和第二层输入
Figure 734698DEST_PATH_IMAGE043
、
Figure 319263DEST_PATH_IMAGE037
、第二层参数
Figure 424622DEST_PATH_IMAGE044
、
Figure 699090DEST_PATH_IMAGE045
间的关系，以及第三层输出
Figure 522690DEST_PATH_IMAGE046
与第三层输入
Figure 645367DEST_PATH_IMAGE036
、
Figure 870812DEST_PATH_IMAGE037
和第三层网络参数
Figure 53531DEST_PATH_IMAGE047
、
Figure 98848DEST_PATH_IMAGE048
之间的关系分别用下式描述：
Figure 25215DEST_PATH_IMAGE049
，
Figure 370746DEST_PATH_IMAGE050
，
Figure 724367DEST_PATH_IMAGE051
为tanh函数，有了
Figure 522559DEST_PATH_IMAGE046
、
Figure 252617DEST_PATH_IMAGE052
、
Figure 187075DEST_PATH_IMAGE042
和上一个LSTM元胞的输出
Figure 711598DEST_PATH_IMAGE053
后，LSTM元胞的两个输出
Figure 997085DEST_PATH_IMAGE054
和
Figure 265256DEST_PATH_IMAGE055
由下式得到：
Figure 319799DEST_PATH_IMAGE056
，
Figure 15223DEST_PATH_IMAGE057
，
Figure 522428DEST_PATH_IMAGE058
；
其中
Figure 594289DEST_PATH_IMAGE059
、
Figure 506269DEST_PATH_IMAGE060
为第四层的参数，
Figure 372594DEST_PATH_IMAGE061
中间变量。
第二方面，本发明提供了一种基于流形学习的网络流量预测装置，包括：
网络流量数据获取模块，用于获取网络流量数据；
数据预处理模块，用于对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除了共轭点并保持各样本点之间的距离不变；
网络流量预测模块，用于将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
进一步地，所述数据预处理模块执行以下步骤：将一天中采集的设定个流量数据点记为一个流量数据向量，第i天的流量数据向量作为第i个样本点，记为
Figure 367094DEST_PATH_IMAGE062
；
计算任意两个样本点第i个样本点
Figure 977067DEST_PATH_IMAGE063
和第j个样本点
Figure 740624DEST_PATH_IMAGE064
之间的欧式距离
Figure 43429DEST_PATH_IMAGE003
，将每个样本点与距其最近的k个近邻点的距离保持不变，每个样本点与除去距其最近的k个近邻点的其他样本点距离变为0，此时得到邻接矩阵D，将第i个样本点
Figure 525226DEST_PATH_IMAGE065
和第j个样本点
Figure 938890DEST_PATH_IMAGE066
之间的欧式距离
Figure 822532DEST_PATH_IMAGE003
作为邻接矩阵D的第i行第j列元素；根据邻接矩阵D获得邻近图G；
以前一天的流量数据向量为根节点，利用Dijkstra算法计算各个样本点到其前一天的流量数据向量的最短路径，得到最短路径树，找出最短路径树上的叶子节点；
将最短路径树上任意两个叶子节点之间的欧式距离设为0，以消除共轭点的影响，更新邻接矩阵得到新邻接矩阵
Figure 30660DEST_PATH_IMAGE004
，并得到新邻近图
Figure 999753DEST_PATH_IMAGE005
；
基于得到的新邻近图
Figure 951528DEST_PATH_IMAGE005
，计算第i个样本点
Figure 689677DEST_PATH_IMAGE001
和第j个样本点
Figure 334285DEST_PATH_IMAGE067
之间更新后的欧式距离
Figure 790674DEST_PATH_IMAGE068
，将第i个样本点
Figure 546141DEST_PATH_IMAGE001
和第j个样本点
Figure 138796DEST_PATH_IMAGE069
之间更新后的欧式距离
Figure 688726DEST_PATH_IMAGE068
作为内积矩阵B的第i行第j列元素；
对内积矩阵 B进行特征值分解
Figure 652919DEST_PATH_IMAGE007
，得到特征值矩阵
Figure 212076DEST_PATH_IMAGE008
和特征向量矩阵
Figure 659238DEST_PATH_IMAGE009
；
取特征值矩阵
Figure 911228DEST_PATH_IMAGE008
最大的前
Figure 811051DEST_PATH_IMAGE010
列
Figure 908320DEST_PATH_IMAGE011
，和特征向量矩阵
Figure 475568DEST_PATH_IMAGE012
的前
Figure 632879DEST_PATH_IMAGE010
列
Figure 285578DEST_PATH_IMAGE013
，并得到降维后的
Figure 920958DEST_PATH_IMAGE010
维向量
Figure 608292DEST_PATH_IMAGE014
。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如以上技术方案任意一种可能的实施方式所提供的方法的步骤。
与现有技术相比，本发明的有益效果：
本发明提出基于流形学习的网络流量预测方法以更好地对原始流量数据进行降维，以使得网络易于训练，并提升流量预测的精度；同时利用双向LSTM神经网络获取网络流量数据的内部特征，得出用电信息采集网络流量预测。通过本发明能够提供更为精确的用电信息采集网络流量预测。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明实施例提供的一种实施例的流形学习数据预处理降维示意图；
图2为本发明一种实施例的网络流量预测模型的示意图；
图3为本发明一种实施例的双向LSTM结构中每一个LSTM元胞结构示意图；
图4为本发明一种实施例的网络流量预测流程图；
图5为本发明一种实施例的网络流量预测性能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
实施例1
本发明实施例中提供了一种基于流形学习的用电信息采集网络流量预测方法，包括：
获取网络流量数据；
对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除共轭点并保持各样本点之间的距离不变；
将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型（本申请中称为AC-ISOMAP-DL模型）包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
对网络流量数据进行预处的步骤，将高维的数据进行降维且去除了共轭点并保持各数据点之间的距离不变。
双向LSTM神经网络输出端与CNN神经网络相连，CNN神经网络的输出与全连接网络相连,利用训练数据训练获得网络流量预测模型网络中待优化的各个参数，获得优化后的网络流量预测模型。本发明能够提供更为精确的用电信息采集网络流量预测。
将获取到的网络流量数据输入至优化后的网络流量预测模型，获得用电信息采集网络流量。
下面结合具体实施方式对本发明实施例中的方法进行详细说明。
通常情况下，流量数据存在共轭点，如果降维后的维度较高，那么共轭点的影响不是很大，但如果将流形的维度降的过低时，所获得流形将不能很好地描述原来数据点的关系。为了更好地降低流形的维度，从而降低复杂度，提升流量预测的性能，需要对共轭点进行处理。如何消除共轭点使所获得降维后的流形更好地描述原数据是一个重要的问题。
具体实施例中，首先对电网流量数据进行分析。由于电网流量数据会受到干扰等影响，同时降低输入数据的维度，记N天的流量数据为：
Figure 936505DEST_PATH_IMAGE070
，
其中，
Figure 810920DEST_PATH_IMAGE071
( n=1,…,N,)为一个向量，是一天中采集的96个流量数据。此时利用抵抗共轭点的核等距特征映射（如附图1中示出的AC-ISOMAP算法）对网络流量数据进行预处理，即对每一个
Figure 249991DEST_PATH_IMAGE071
去噪并降维获得降维后的数据
Figure 791831DEST_PATH_IMAGE072
， AC-ISOMAP算法共有4步，分别为：
步骤1：计算任意两个样本点
Figure 25366DEST_PATH_IMAGE001
和
Figure 652657DEST_PATH_IMAGE002
之间的欧式距离
Figure 895419DEST_PATH_IMAGE073
，每个样本与距其最近的k个近邻点的距离保持不变即还是
Figure 291766DEST_PATH_IMAGE073
，其他距离变为0，此时得到邻接矩阵D，其第i行第j列元素为
Figure 699132DEST_PATH_IMAGE073
。根据邻接矩阵D其他可以获得邻近图G。考虑到相邻两天数据关联度大，以前一天的流量数据
Figure 79298DEST_PATH_IMAGE001
为根节点，利用Dijkstra算法计算其余各个点到
Figure 860172DEST_PATH_IMAGE001
的最短路径，并得到最短路径树，找出最短路径树上的叶子节点（即终点数据
Figure 111025DEST_PATH_IMAGE074
）。
步骤2：将B个叶子节点（两个数据点）之间的欧式距离为0，以消除共轭点的影响，更新邻接矩阵得到
Figure 951942DEST_PATH_IMAGE075
，并得到新的邻近图
Figure 288245DEST_PATH_IMAGE005
。
步骤3：根据新的图的图
Figure 872810DEST_PATH_IMAGE005
，根据任意样本点
Figure 243749DEST_PATH_IMAGE001
和样本点
Figure 989988DEST_PATH_IMAGE002
之间的欧式距离计算任意两样本点间的路径
Figure 79166DEST_PATH_IMAGE076
，计算内积矩阵B，其中第i行第j列元素
Figure 201843DEST_PATH_IMAGE076
可由如下式子计算。
Figure 161709DEST_PATH_IMAGE077
，
对内积矩阵B进行特征值分解
Figure 610008DEST_PATH_IMAGE078
，得到特征值矩阵
Figure 920904DEST_PATH_IMAGE079
和特征向量矩阵
Figure 847271DEST_PATH_IMAGE080
。
步骤4：取特征值矩阵最大的前
Figure 192802DEST_PATH_IMAGE081
列
Figure 280844DEST_PATH_IMAGE082
，和特征向量矩阵的前
Figure 79035DEST_PATH_IMAGE083
列
Figure 806164DEST_PATH_IMAGE084
，并得到降维后的
Figure 6201DEST_PATH_IMAGE081
维向量
Figure 265144DEST_PATH_IMAGE085
。
降维完以后，可以得到低维的用于描述流量数据的数据，以便于网络模型的描述和训练。为了利用以往的历史数据Z获得最后的流量的预测，还需要通过深度网络模型进行预测。
随着电网业务越来与复杂，电网流量的数据与其影响因素是非线性的关系，且具有记忆特性。本文以BILSTM记忆深度模型为基础，提出一种融合的深度网络结构即网络流量预测模型，并将其引入到用电信息采集网络流量预测分析中。附图2描述了所提的网络流量预测模型的网络结构，网络流量预测模型包括一个BILSTM神经网络(双向LSTM神经网络)，在每一个BILSTM神经网络中，将前向的LSTM层与后向的LSTM层两层进行连接，并将输入历史数据Z同时输入前向的LSTM层和后LSTM层，该双层的结构能够更好地提取出长序列的信息，从而提升模型的性能。另外，将BILSTM神经网络的输出接入到CNN神经网络中进一步提取流量的高阶特征，接着将高阶特征与特征因素包括天气、时间、终端数量等接入全连接网络获得最后的网络预测值，如图2所示，
对于BILSTM神经网络中的每一个LSTM层由传统的LSTM元胞构成，其主要结构如图3所示。每一层LSTM 中有 4 个门，每一个门的输入输出关系可由下面的式子表示。第一个称为遗忘门，第一个门的输出
Figure 550632DEST_PATH_IMAGE086
和输入
Figure 818803DEST_PATH_IMAGE087
，
Figure 607767DEST_PATH_IMAGE088
以及参数
Figure 568770DEST_PATH_IMAGE089
、
Figure 341554DEST_PATH_IMAGE090
之间的关系可通过如下的关系式进行计算：
Figure 147836DEST_PATH_IMAGE040
，
Figure 56886DEST_PATH_IMAGE041
为sigmoid函数。
第二层和第三层分别称为输入层和tanh层，输入层的sigmoid函数决定要更新哪些信息。Tanh层引入一个新的候选值，第二层
Figure 923211DEST_PATH_IMAGE042
和第二层输入
Figure 183291DEST_PATH_IMAGE043
、
Figure 527684DEST_PATH_IMAGE037
、第二层参数
Figure 556820DEST_PATH_IMAGE044
、
Figure 859626DEST_PATH_IMAGE045
间的关系，以及第三层输出
Figure 75843DEST_PATH_IMAGE046
与第三层输入
Figure 489507DEST_PATH_IMAGE036
、
Figure 373150DEST_PATH_IMAGE037
和第三层网络参数
Figure 846856DEST_PATH_IMAGE047
、
Figure 818879DEST_PATH_IMAGE048
之间的关系分别用下式描述：
Figure 505075DEST_PATH_IMAGE049
，
Figure 508803DEST_PATH_IMAGE050
，
Figure 153411DEST_PATH_IMAGE051
为tanh函数。
此时将旧状态更新为新状态，有了
Figure 344221DEST_PATH_IMAGE046
、
Figure 99688DEST_PATH_IMAGE052
、
Figure 692343DEST_PATH_IMAGE042
和上一个LSTM元胞的输出
Figure 507852DEST_PATH_IMAGE053
后，LSTM元胞的两个输出
Figure 185958DEST_PATH_IMAGE054
和
Figure 745116DEST_PATH_IMAGE055
由下式得到：
Figure 457857DEST_PATH_IMAGE056
，
Figure 178688DEST_PATH_IMAGE057
，
Figure 609669DEST_PATH_IMAGE058
；
其中
Figure 441359DEST_PATH_IMAGE059
、
Figure 274186DEST_PATH_IMAGE060
为第四层的参数，
Figure 165918DEST_PATH_IMAGE061
中间变量。
上述的BILSTM存在记忆特性，在此基础上，引入CNN神经网络提取流量的高阶特征，CNN神经网络包括两个Cov+BN+Relu模块（即两个卷积层、一个批归一化层和一个激活层），所述卷积神经网络模块的表达式为：
Figure 818617DEST_PATH_IMAGE091
，
其中，
Figure 719577DEST_PATH_IMAGE092
为BILSTM神经网络中前向网络的输出，
Figure 138401DEST_PATH_IMAGE093
为BILSTM神经网络中后向网络的输出，
Figure 997773DEST_PATH_IMAGE094
为t时刻流行学习的输出。接着CNN神经网络（即卷积神经网络）的输出和特征因素（天气类型
Figure 137767DEST_PATH_IMAGE095
、时间
Figure 576838DEST_PATH_IMAGE096
、终端数量
Figure 118678DEST_PATH_IMAGE097
）连接到一个全连接网络上，全连接网络的输出为最终的预测值，t时刻流量预测表达式为：
Figure 352214DEST_PATH_IMAGE098
，
其中，W和b是全连接网络中的参数。从而进一步提升模型的有效性。N为样本数量，
Figure 979504DEST_PATH_IMAGE099
指输出网络流量值，
Figure 222266DEST_PATH_IMAGE100
指通过网络流量预测模型得到的预测值。基于所述优化目标函数，结合adam优化算法进行参数优化，获得网络流量预测模型中待优化的各个参数。
上述内容描述了网络流量预测模型中的网络流量输出与输入以及参数之间的关系，根据各模块的关系将整个网络的输出（即用电信息采集网络流量）和历史网络流量以及参数的关系描述为：
Figure 618613DEST_PATH_IMAGE101
，
其中
Figure 288628DEST_PATH_IMAGE102
，
Figure 137636DEST_PATH_IMAGE103
那么为CNN神经网络和BILSTM神经网络的参数。有了网络流量预测模型以后，还需要得到参数W，
Figure 918510DEST_PATH_IMAGE102
，
Figure 434942DEST_PATH_IMAGE103
，b才能得到最终的预测模型，同时需要得到W，
Figure 10280DEST_PATH_IMAGE102
，
Figure 612162DEST_PATH_IMAGE103
， b以使输出尽可能的精确。在训练过程中利用深度网络经典的adam算法进行参数的优化。在训练过程中为了防止模型过拟合，设计代价函数时考虑正则化，训练各参数W，
Figure 196728DEST_PATH_IMAGE102
，
Figure 567666DEST_PATH_IMAGE103
， b的优化目标函数为：
Figure 313905DEST_PATH_IMAGE104
，
其中
Figure 140434DEST_PATH_IMAGE105
指Frobenius范数，
Figure 528690DEST_PATH_IMAGE027
指向量2范数，λ 1、λ 2、λ 3、λ 4为四个正则量，
Figure 754135DEST_PATH_IMAGE028
为最小均方误差值函数，
Figure 671276DEST_PATH_IMAGE029
为CNN神经网络的参数，
Figure 247751DEST_PATH_IMAGE030
为双向LSTM神经网络的参数，N为样本数量，
Figure 908539DEST_PATH_IMAGE031
是网络流量预测模型中待优化的参数，其中W和b是全连接网络中的参数。
最小均方误差值函数
Figure 988491DEST_PATH_IMAGE028
，表达式为：
Figure 607691DEST_PATH_IMAGE032
，
其中，
Figure 405882DEST_PATH_IMAGE106
指输出网络流量值，
Figure 135941DEST_PATH_IMAGE107
指通过网络流量预测模型预测获得的网络流量值，N为样本数量。
对于以上的优化问题，可以用传统的优化方法进行求解，本发明通过传统的adam算法进行求解，可以获得参数W,V,b。求得参数以后，便可以获得用电信息采集网络流量预测模型。由上可知，经过网络流量预测模型后可获得用电信息采集网络流量。
主要思想及逻辑思路如图4所示。
利用安徽某一个县一个台区的流量数据作为样本，通过计算流量数据，并分析台区的用电信息采集中的网络流量数据。利用Tensorflow框架执行所提的网络流量预测模型。采用Intel i7-8700处理器和 Nvidia GeForce RTX 2080Ti图形处理器。在训练模型时，批量大小为128，时间序列长度为6，即把提前6天的数据作为一次训练数据。为了更快地获得训练结果，首先对数据进行归一化，将
Figure 804820DEST_PATH_IMAGE108
归一化为：
Figure 594921DEST_PATH_IMAGE109
，
将所提的AC-ISOMAP-DL和网络流量预测中经典的差分整合移动平均自回归模型（Autoregressive Integrated Moving Average mode，ARIMA）和LSTM神经网络模型进行性能的比较。
利用 2021年2月和3月两个月的历史网络流量数据为基础。用电信息采集的数据集经过数据预处理操作如有效性检测、缺失值插补的操作以保证数据质量。在该数据集中，记录了每一天网络流量数据，没15分钟采集一次，一天一共有96个数据，因此
Figure 880409DEST_PATH_IMAGE108
是一个96维的向量。在训练模型时以1月1日到3月20日的历史网络流量数据为训练数据，并预测3月21日0到24小时的网络流量。运用网络流量预测模型预测得到了3月21日0到24小时的流量。附图5比较了网络流量预测模型、ARIMA以及LSTM神经网络模型预测的网络流量。从图中可知，所提的AC-ISOMAP-DL比ARIMA和LSTM神经网络模型相比具有更高地预测精度， 深度网络模型LSTM比ARIMA模型的预测值更精确。由于AC-ISOMAP-DL算法将数据进行了去噪降维的处理，是的数据质量更高的同时也便于网络模型的训练，从而能够提供比其他模型更加精确的预测结果，验证了AC-ISOMAP-DL模型的有效性。
为了验证进一步验证所提方案的有效性，考虑了平均绝对百分比误差(Meanabsolute percentage error, MAPE)和均方根误差（Root mean squared error, RMSE）为指标进行比较，两种指标分别计算为如下的式子：
Figure 148579DEST_PATH_IMAGE110
，
Figure 937544DEST_PATH_IMAGE111
，
表1描述了AC-ISOMAP-DL、LSTM以及ARIMA模型所预测的网络流量的误差统计，如图5所示，包括RMSE和MAPE。由表1 可知，AC-ISOMAP-DL模型中的MAPE为4.78%，其RMSE为1.39，而LSTM模型的MAPE为6.51%，其RMSE为5.12；ARIMA模型的MAPE和RMSE最大，分别为9.23%和7.14。可以看出，AC-ISOMAP-DL具有最小的相对误差，能够提供较高的预测精度，较其他模型具有更优越的预测性能。
表1 不同模型预测误差统计
模型 MAPE RMSE
AC-ISOMAP-DL 4.78% 1.39
LSTM 6.51% 5.12
ARIMA 9.23% 7.14
实施例2
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于流形学习的用电信息采集网络流量预测装置，包括：
网络流量数据获取模块，用于获取网络流量数据；
数据预处理模块，用于对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除了共轭点并保持各样本点之间的距离不变；
网络流量预测模块，用于将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
进一步地，所述数据预处理模块执行以下步骤：将一天中采集的设定个流量数据点记为一个流量数据向量，第i天的流量数据向量作为第i个样本点，记为
Figure 898547DEST_PATH_IMAGE112
；
计算任意两个样本点第i个样本点
Figure 140172DEST_PATH_IMAGE113
和第j个样本点
Figure 212033DEST_PATH_IMAGE114
之间的欧式距离
Figure 383733DEST_PATH_IMAGE003
，将每个样本点与距其最近的k个近邻点的距离保持不变，每个样本点与除去距其最近的k个近邻点的其他样本点距离变为0，此时得到邻接矩阵D，将第i个样本点
Figure 250058DEST_PATH_IMAGE113
和第j个样本点
Figure 244559DEST_PATH_IMAGE114
之间的欧式距离
Figure 854532DEST_PATH_IMAGE003
作为邻接矩阵D的第i行第j列元素；根据邻接矩阵D获得邻近图G；
以前一天的流量数据向量为根节点，利用Dijkstra算法计算各个样本点到其前一天的流量数据向量的最短路径，得到最短路径树，找出最短路径树上的叶子节点；
将最短路径树上任意两个叶子节点之间的欧式距离设为0，以消除共轭点的影响，更新邻接矩阵得到新邻接矩阵
Figure 883667DEST_PATH_IMAGE004
，并得到新邻近图
Figure 655314DEST_PATH_IMAGE005
；
基于得到的新邻近图
Figure 402690DEST_PATH_IMAGE005
，根据任意样本点
Figure 816354DEST_PATH_IMAGE001
和样本点
Figure 699997DEST_PATH_IMAGE002
之间的欧式距离计算任意两样本点间的路径
Figure 909391DEST_PATH_IMAGE115
，将任意两样本点间的路径
Figure 678151DEST_PATH_IMAGE115
作为内积矩阵B的第i行第j列元素；
对内积矩阵 B进行特征值分解
Figure 426664DEST_PATH_IMAGE007
，得到特征值矩阵
Figure 961551DEST_PATH_IMAGE008
和特征向量矩阵
Figure 340579DEST_PATH_IMAGE009
；
取特征值矩阵
Figure 796969DEST_PATH_IMAGE008
最大的前
Figure 552435DEST_PATH_IMAGE010
列
Figure 410670DEST_PATH_IMAGE011
，和特征向量矩阵
Figure 226179DEST_PATH_IMAGE012
的前
Figure 169864DEST_PATH_IMAGE010
列
Figure 197863DEST_PATH_IMAGE013
，并得到降维后的
Figure 910604DEST_PATH_IMAGE010
维向量
Figure 897014DEST_PATH_IMAGE014
。
实施例3
本发明实施例中本发明提供了一种基于流形学习的用电信息采集网络流量预测系统，包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于流形学习的网络流量预测方法，其特征在于，包括：
获取网络流量数据；
对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除共轭点并保持各样本点之间的距离不变；
将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
2.根据权利要求1所述的一种基于流形学习的网络流量预测方法，其特征在于，对所述网络流量数据进行预处理，包括：
将一天中采集的设定个流量数据点记为一个流量数据向量，第i天的流量数据向量作为第i个样本点，记为
Figure 387273DEST_PATH_IMAGE001
；
计算任意两个样本点第i个样本点
Figure 336774DEST_PATH_IMAGE002
和第j个样本点
Figure 612904DEST_PATH_IMAGE003
之间的欧式距离
Figure 673264DEST_PATH_IMAGE004
，将每个样本点与距其最近的k个近邻点的距离保持不变，每个样本点与除去距其最近的k个近邻点的其他样本点距离变为0，此时得到邻接矩阵D，将第i个样本点
Figure 836392DEST_PATH_IMAGE002
和第j个样本点
Figure 956794DEST_PATH_IMAGE005
之间的欧式距离
Figure 953176DEST_PATH_IMAGE004
作为邻接矩阵D的第i行第j列元素；根据邻接矩阵D获得邻近图G；
以前一天的流量数据向量为根节点，利用Dijkstra算法计算各个样本点到其前一天的流量数据向量的最短路径，得到最短路径树，找出最短路径树上的叶子节点；
将最短路径树上任意两个叶子节点之间的欧式距离设为0，以消除共轭点的影响，更新邻接矩阵得到新邻接矩阵
Figure 817227DEST_PATH_IMAGE006
，并得到新邻近图
Figure 100440DEST_PATH_IMAGE007
；
基于得到的新邻近图
Figure 391744DEST_PATH_IMAGE008
，根据任意样本点
Figure 924357DEST_PATH_IMAGE009
和样本点
Figure 841366DEST_PATH_IMAGE010
之间的欧式距离计算任意两样本点间的路径
Figure 713507DEST_PATH_IMAGE011
，将任意两样本点间的路径
Figure 175713DEST_PATH_IMAGE012
作为内积矩阵B的第i行第j列元素；
对内积矩阵 B进行特征值分解
Figure 398884DEST_PATH_IMAGE013
，得到特征值矩阵
Figure 355469DEST_PATH_IMAGE014
和特征向量矩阵
Figure 144434DEST_PATH_IMAGE015
；
取特征值矩阵
Figure 43120DEST_PATH_IMAGE014
最大的前
Figure 956849DEST_PATH_IMAGE016
列
Figure 497552DEST_PATH_IMAGE017
，和特征向量矩阵
Figure 859132DEST_PATH_IMAGE018
的前
Figure 663140DEST_PATH_IMAGE016
列
Figure 595324DEST_PATH_IMAGE019
，得到降维后的
Figure 142980DEST_PATH_IMAGE016
维向量
Figure 857602DEST_PATH_IMAGE020
。
3.根据权利要求2所述的一种基于流形学习的网络流量预测方法，其特征在于，任意两样本点间的路径
Figure 98090DEST_PATH_IMAGE012
由如下式子计算：
Figure 314308DEST_PATH_IMAGE021
，
其中N为样本数量。
4.根据权利要求1所述的一种基于流形学习的网络流量预测方法，其特征在于，所述CNN神经网络包括依次连接的两个卷积层、一个批归一化层和一个激活层，CNN神经网络的表达式为：
Figure 665655DEST_PATH_IMAGE022
，
其中，
Figure 486980DEST_PATH_IMAGE023
为双向LSTM神经网络中前向网络的输出，
Figure 882058DEST_PATH_IMAGE024
为双向LSTM神经网络中后向网络的输出，
Figure 788834DEST_PATH_IMAGE025
为t时刻CNN神经网络的输出；
Figure 678293DEST_PATH_IMAGE026
为t时刻预处理后的数据输出；
接着CNN神经网络的输出和特征因素连接到一个全连接网络上，全连接网络的输出为最终的预测值，t时刻流量预测表达式为：
Figure 619704DEST_PATH_IMAGE027
，
其中，W和b是全连接网络中的参数，其中
Figure 952728DEST_PATH_IMAGE028
为天气类型、
Figure 346800DEST_PATH_IMAGE029
为时间、
Figure 836687DEST_PATH_IMAGE030
为网络通信终端数量。
5.根据权利要求1所述的一种基于流形学习的网络流量预测方法，其特征在于，训练优化网络流量预测模型的方法包括：设计优化目标函数为：
Figure 367026DEST_PATH_IMAGE031
，
其中
Figure 120218DEST_PATH_IMAGE032
指Frobenius范数，
Figure 250854DEST_PATH_IMAGE033
指向量2范数，λ 1、λ 2、λ 3、λ 4为四个正则量，
Figure 482115DEST_PATH_IMAGE034
为最小均方误差值函数，
Figure 132539DEST_PATH_IMAGE035
为CNN神经网络的参数，
Figure 791054DEST_PATH_IMAGE036
为双向LSTM神经网络的参数，N为样本数量，
Figure 956456DEST_PATH_IMAGE037
是网络流量预测模型中待优化的参数， W和b是全连接网络中的参数；
结合adam优化算法进行参数优化，获得网络流量预测模型中待优化的各个参数。
6.根据权利要求5所述的一种基于流形学习的网络流量预测方法，其特征在于，最小均方误差值函数
Figure 942473DEST_PATH_IMAGE034
，表达式为：
Figure 509721DEST_PATH_IMAGE038
，
其中
Figure 339136DEST_PATH_IMAGE039
指输出网络流量值，
Figure 195097DEST_PATH_IMAGE040
指通过网络流量预测模型预测获得的网络流量值。
7.根据权利要求1所述的一种基于流形学习的网络流量预测方法，其特征在于，所述双向LSTM包括 4 个门，第一个称为遗忘门，遗忘门的输出
Figure 283007DEST_PATH_IMAGE041
和输入
Figure 376865DEST_PATH_IMAGE042
、
Figure 642762DEST_PATH_IMAGE043
以及遗忘门参数
Figure 720439DEST_PATH_IMAGE044
、
Figure 113505DEST_PATH_IMAGE045
之间的关系为：
Figure 389766DEST_PATH_IMAGE046
，
Figure 826563DEST_PATH_IMAGE047
为sigmoid函数；第二层和第三层分别称为输入层和tanh层，tanh层引入一个新的候选值，第二层
Figure 391537DEST_PATH_IMAGE048
和第二层输入
Figure 571983DEST_PATH_IMAGE049
、
Figure 889700DEST_PATH_IMAGE043
、第二层参数
Figure 497399DEST_PATH_IMAGE050
、
Figure 549669DEST_PATH_IMAGE051
间的关系，以及第三层输出
Figure 64964DEST_PATH_IMAGE052
与第三层输入
Figure 519079DEST_PATH_IMAGE042
、
Figure 45482DEST_PATH_IMAGE043
和第三层网络参数
Figure 585048DEST_PATH_IMAGE053
、
Figure 841717DEST_PATH_IMAGE054
之间的关系分别用下式描述：
Figure 150338DEST_PATH_IMAGE055
，
Figure 349107DEST_PATH_IMAGE056
，
Figure 110390DEST_PATH_IMAGE057
为tanh函数，有了
Figure 436329DEST_PATH_IMAGE052
、
Figure 396195DEST_PATH_IMAGE058
、
Figure 516597DEST_PATH_IMAGE048
和上一个LSTM元胞的输出
Figure 781488DEST_PATH_IMAGE059
后，LSTM元胞的两个输出
Figure 379959DEST_PATH_IMAGE060
和
Figure 397594DEST_PATH_IMAGE061
由下式得到：
Figure 954477DEST_PATH_IMAGE062
，
Figure 939620DEST_PATH_IMAGE063
，
Figure 404099DEST_PATH_IMAGE064
；
其中
Figure 276240DEST_PATH_IMAGE065
、
Figure 4025DEST_PATH_IMAGE066
为第四层的参数，
Figure 227196DEST_PATH_IMAGE067
中间变量。
8.一种基于流形学习的网络流量预测装置，其特征在于，包括：
网络流量数据获取模块，用于获取网络流量数据；
数据预处理模块，用于对所述网络流量数据进行预处理，所述预处理包括降维以及采用流行学习方法去除了共轭点并保持各样本点之间的距离不变；
网络流量预测模块，用于将预处理后的数据输入到训练优化后的网络流量预测模型得到预测的网络流量数据，所述网络流量预测模型包括依次连接的双向LSTM神经网络、CNN神经网络和全连接网络。
9.根据权利要求8所述的一种基于流形学习的网络流量预测装置，其特征在于，所述数据预处理模块执行以下步骤：将一天中采集的设定个流量数据点记为一个流量数据向量，第i天的流量数据向量作为第i个样本点，记为
Figure 915272DEST_PATH_IMAGE068
；
计算任意两个样本点第i个样本点
Figure 907499DEST_PATH_IMAGE002
和第j个样本点
Figure 806185DEST_PATH_IMAGE069
之间的欧式距离
Figure 251073DEST_PATH_IMAGE004
，将每个样本点与距其最近的k个近邻点的距离保持不变，每个样本点与除去距其最近的k个近邻点的其他样本点距离变为0，此时得到邻接矩阵D，将第i个样本点
Figure 57355DEST_PATH_IMAGE002
和第j个样本点
Figure 418935DEST_PATH_IMAGE070
之间的欧式距离
Figure 222943DEST_PATH_IMAGE004
作为邻接矩阵D的第i行第j列元素；根据邻接矩阵D获得邻近图G；
以前一天的流量数据向量为根节点，利用Dijkstra算法计算各个样本点到其前一天的流量数据向量的最短路径，得到最短路径树，找出最短路径树上的叶子节点；
将最短路径树上任意两个叶子节点之间的欧式距离设为0，以消除共轭点的影响，更新邻接矩阵得到新邻接矩阵
Figure 420706DEST_PATH_IMAGE071
，并得到新邻近图
Figure 968362DEST_PATH_IMAGE072
；
基于得到的新邻近图
Figure 420334DEST_PATH_IMAGE072
，根据任意样本点
Figure 395244DEST_PATH_IMAGE009
和样本点
Figure 80303DEST_PATH_IMAGE010
之间的欧式距离计算任意两样本点间的路径
Figure 431650DEST_PATH_IMAGE073
，将任意两样本点间的路径
Figure 49713DEST_PATH_IMAGE073
作为内积矩阵B的第i行第j列元素；
对内积矩阵 B进行特征值分解
Figure 710370DEST_PATH_IMAGE013
，得到特征值矩阵
Figure 617146DEST_PATH_IMAGE014
和特征向量矩阵
Figure 506605DEST_PATH_IMAGE015
；
取特征值矩阵
Figure 182437DEST_PATH_IMAGE014
最大的前
Figure 246951DEST_PATH_IMAGE016
列
Figure 641024DEST_PATH_IMAGE074
，和特征向量矩阵
Figure 334173DEST_PATH_IMAGE018
的前
Figure 926829DEST_PATH_IMAGE016
列
Figure 680021DEST_PATH_IMAGE019
，并得到降维后的
Figure 810657DEST_PATH_IMAGE016
维向量
Figure 41918DEST_PATH_IMAGE020
。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~7任意一项权利要求所述方法的步骤。
CN202210902318.3A 2022-07-29 2022-07-29 基于流形学习的网络流量预测方法、装置及存储介质 Active CN114978931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210902318.3A CN114978931B (zh) 2022-07-29 2022-07-29 基于流形学习的网络流量预测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210902318.3A CN114978931B (zh) 2022-07-29 2022-07-29 基于流形学习的网络流量预测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114978931A true CN114978931A (zh) 2022-08-30
CN114978931B CN114978931B (zh) 2022-12-06

Family

ID=82970594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210902318.3A Active CN114978931B (zh) 2022-07-29 2022-07-29 基于流形学习的网络流量预测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114978931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115720212A (zh) * 2022-11-11 2023-02-28 吉林大学 一种基于多源数据融合的网络流量预测及自动优化均衡方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378272A (zh) * 2019-07-12 2019-10-25 河海大学 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法
CN112163594A (zh) * 2020-08-28 2021-01-01 南京邮电大学 一种网络加密流量识别方法及装置
CN112423265A (zh) * 2020-11-13 2021-02-26 武汉理工大学 基于csi的双循环神经网络的船载环境室内定位方法
CN112529268A (zh) * 2020-11-28 2021-03-19 广西大学 一种基于流形学习的中短期负荷预测方法及装置
CN113868938A (zh) * 2021-08-24 2021-12-31 国电南瑞科技股份有限公司 基于分位数回归的短期负荷概率密度预测方法、装置及系统
CN114118401A (zh) * 2021-10-12 2022-03-01 国电南瑞科技股份有限公司 基于神经网络的配电网络流量预测方法、系统、装置及存储介质
CN114422381A (zh) * 2021-12-14 2022-04-29 西安电子科技大学 通信网络流量预测方法、系统、存储介质及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378272A (zh) * 2019-07-12 2019-10-25 河海大学 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法
CN112163594A (zh) * 2020-08-28 2021-01-01 南京邮电大学 一种网络加密流量识别方法及装置
WO2022041394A1 (zh) * 2020-08-28 2022-03-03 南京邮电大学 一种网络加密流量识别方法及装置
CN112423265A (zh) * 2020-11-13 2021-02-26 武汉理工大学 基于csi的双循环神经网络的船载环境室内定位方法
CN112529268A (zh) * 2020-11-28 2021-03-19 广西大学 一种基于流形学习的中短期负荷预测方法及装置
CN113868938A (zh) * 2021-08-24 2021-12-31 国电南瑞科技股份有限公司 基于分位数回归的短期负荷概率密度预测方法、装置及系统
CN114118401A (zh) * 2021-10-12 2022-03-01 国电南瑞科技股份有限公司 基于神经网络的配电网络流量预测方法、系统、装置及存储介质
CN114422381A (zh) * 2021-12-14 2022-04-29 西安电子科技大学 通信网络流量预测方法、系统、存储介质及计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115720212A (zh) * 2022-11-11 2023-02-28 吉林大学 一种基于多源数据融合的网络流量预测及自动优化均衡方法

Also Published As

Publication number Publication date
CN114978931B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN111126704B (zh) 基于多图卷积和记忆网络的多区域降水量预测模型构建方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN112434848B (zh) 基于深度信念网络的非线性加权组合风电功率预测方法
CN110020712B (zh) 一种基于聚类的优化粒子群bp网络预测方法和系统
CN112434662B (zh) 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法
CN111008726B (zh) 一种电力负荷预测中类图片转换方法
CN113868938A (zh) 基于分位数回归的短期负荷概率密度预测方法、装置及系统
Pan et al. Oil well production prediction based on CNN-LSTM model with self-attention mechanism
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及系统
CN107798426A (zh) 基于原子分解和交互式模糊满意度的风功率区间预测方法
CN114978931B (zh) 基于流形学习的网络流量预测方法、装置及存储介质
Ye et al. A relationship-aligned transfer learning algorithm for time series forecasting
CN115099461A (zh) 基于双分支特征提取的太阳辐射预测方法及系统
CN114118401A (zh) 基于神经网络的配电网络流量预测方法、系统、装置及存储介质
CN115952424A (zh) 一种基于多视图结构的图卷积神经网络聚类方法
CN113807568A (zh) 一种电力负荷预测方法、装置及终端设备
Thangamayan et al. Stock price prediction using hybrid deep learning technique for accurate performance
CN116596129A (zh) 一种电动汽车充电场站短期负荷预测模型构建方法
Ma The Research of Stock Predictive Model based on the Combination of CART and DBSCAN
Majidpour Time series prediction for electric vehicle charging load and solar power generation in the context of smart grid
CN115526376A (zh) 多特征融合的生成对抗网络超短期风功率预测方法
CN115116616A (zh) 基于组内组间优化的多重插补的乳腺癌缺失数据插补模型
CN114758224A (zh) 一种基于深度学习的垃圾分类检测方法
CN112837161A (zh) 基于多任务学习和多指数协同注意力机制的股市预测方法
CN111882441A (zh) 一种基于理财产品推荐场景的用户预测解释Treeshap方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant