CN112994944A - 一种网络状态预测方法 - Google Patents

一种网络状态预测方法 Download PDF

Info

Publication number
CN112994944A
CN112994944A CN202110233686.9A CN202110233686A CN112994944A CN 112994944 A CN112994944 A CN 112994944A CN 202110233686 A CN202110233686 A CN 202110233686A CN 112994944 A CN112994944 A CN 112994944A
Authority
CN
China
Prior art keywords
network
graph
compared
comparison
network graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110233686.9A
Other languages
English (en)
Other versions
CN112994944B (zh
Inventor
赵丹枫
黄洲
宋巍
黄冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202110233686.9A priority Critical patent/CN112994944B/zh
Publication of CN112994944A publication Critical patent/CN112994944A/zh
Application granted granted Critical
Publication of CN112994944B publication Critical patent/CN112994944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种网络状态预测方法，根据已知网络状态的网络样本建立对比网络图库；基于被比网络构建出被比网络图；将所述被比网络图与所述对比网络图库中的对比网络图进行比较，根据两者的相似度找出与被比网络图相似的对比网络图，从而预测被比网络的状态。

Description

一种网络状态预测方法
技术领域
本发明属于网络管理技术领域，特别涉及一种网络状态预测方法。
背景技术
现有技术之一，专利文献CN201210410835.5公开了基于统计学特征的方法进行网络状态的预测和预警。基于统计学和特征工程的网络状态预测方法需要庞大的人工工作量进行特征的筛选和构建过程，且特征工程和统计学指标需要较强的专业背景知识。另外，在当今数据量与日俱增的大数据背景下，这种方式不能适应不同应用行业和应用场景的需求(需要不断重新构建特征和统计学指标)，也不能在极低的时间和空间复杂度的条件下实现频繁的网路预测和预警。
之二，http://www.xjishu.com/zhuanli/55/201811228985.html公开了基于图神经网络技术的网络节点预测技术。首先需要大量的样本进行长时间的训练；其次神经网络的训练过程需要较高的硬件要求。另外，图神经网络技术尚不成熟，且模型可解释性差，特别对一些对模型可解释性要求高的行业，这种方法不可靠。
之三，https://cloud.tencent.com/developer/article/1423377公开了基于时间序列的网络监测和预警方法中，首先，时间序列是一维数据，对graph这种高维数据的表示能力有限，而实际应用中，graph的类型千变万化，且维度通常很高。因此，时间序列方法对大规模复杂网络的检测能力不足；其次，时间序列方法也需要进行复杂的神经网络训练过程，同时需要专业知识背景进行多时间序列的融合；最后，采用神经网络的时间序列预测技术也缺少模型可解释性。
发明内容
本发明实施例之一，一种网络状态预测方法，
根据已知网络状态的网络样本建立对比网络图库；
基于被比网络构建出被比网络图；
将所述被比网络图与所述对比网络图库中的对比网络图进行比较，根据两者的相似度找出与被比网络图相似的对比网络图，从而预测被比网络的状态。
网络图的构建方法包括对网络拓扑构建综合张量，使用索引实现边属性向量和其起止点属性向量之间的关联，通过稀疏存储，实现空间复杂度O(|E|+|V|)和时间复杂度为O(|E|)，其中E表示图的边集合，V表示图的点集合。
根据图的相似度越高，按照相同的线性空间映射规则映射之后，在目标空间的重叠度越高的原理，判断网络对比图与网络被比图之间的相似度。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1根据本发明实施例之一的综合张量构建示意图。
图2根据本发明实施例之一的空间映射过程示意图。
图3根据本发明实施例之一的张量相似度估计过程示意图。
图4根据本发明实施例之一的张量空间映射的冲突处理示意图。
具体实施方式
根据一个或者多个实施例，一种基于空间映射大规模图相似度估计方法的网络状态预测。在大数据背景下，实现同时满足空间复杂度为O(|E|+|V|)和时间复杂度为O(|E|)的大规模图模型相似度比较方法，实现对网络状态的预测。其中E表示图的边集合，V表示图的点集合。能够通过一个样板网络图(graph)和多个网络图(graph)进行极快速的比对的方式，快速判断某个网络图graph是否与样板图graph相似。通过这种方式，可以在尽可能节省时间和空间开销的情况下，满足频繁的大规模，高维度数据的比对监测和预警。
根据一个或者多个实施例，一种基于空间映射大规模图相似度估计的网络状态预测方法，可以包括以下步骤：
1.构建综合张量，使用索引实现边属性向量和其起止点属性向量之间的关联。通过稀疏存储，实现空间复杂度O(|E|+|V|)，其中E表示图的边集合，V表示图的点集合；
2.通过选择最优目标空间，在保证充足的映射空间的情况下，尽可能减少映射冲突的发生；
3.通过空间映射，基于定理：“原始图的相似度越高，则通过相同的线性空间映射规则之后，在目标空间的重叠度越高”，可以估计出原始图之间的相似度；
4.为了保证整个映射过程的流畅，减少冲突产生，对于局部密度过高的图，进行了映射行限制，当原始图的同一个点的出度或入度过高，则对其映射到的行进行行密度限制，达到某个密度时，就会将后续的边向量向其他空旷的目标空间中的行进行映射，以此保证后续进程流畅。
其中，为了实现不同图的统一的且高效的表达，本文提出了综合张量的概念。具体构建过程可见图1。首先，对任意一个图，都有图G＝{V,E}，其中V是点集合，E是边集合。对图中点的各项属性的描述通过点属性矩阵X即可实现。在矩阵X中，每一行代表一个点，每一列表示点的一个属性。而图G的边集合E可以通过邻接矩阵的多层重叠实现，因为每一层邻接矩阵表示边的一种属性。将多个邻接矩阵堆叠可以得到邻接张量A。此时，A中的向量Eveci,j表示第i个节点nodei和第j个节点nodej之间的边<i,j>∈E。这个向量的每一个值表示边<i,j>的一个属性。节点nodei和nodej分别通过索引f(nodei)和f(nodej)关联到邻接张量A的对应位置Eveci,j。而邻接张量只存储存在的边，因此是稀疏存储方式。所以，综合张量表示法可以将任意图的表示形式统一，且空间复杂度为O(|V|+|E|)，其中|V|和|E|分别表示点集合V和边集合E的规模。通过此种方式得到的综合张量记作Gt。
基于“相似度越高的综合张量，通过相同的线性空间映射后，在同一目标空间的映射结果的重叠度越高。”可以通过线性空间映射的方式估计两个综合张量的相似度。从图2可以看出，当同一个综合张量Gt中的不同向量被映射到同一个目标空间中的同一个位置，则需要对后映射到这个位置的向量Evecori进行冲突处理。将它初次被映射到的位置Evecconf经过冲突处理移动到另一个位置Evectar。通过这种方式将得到一个综合张量Gt的最终映射结果Gf。
当两个不同的综合张量Gt1和Gt2通过相同的空间映射和冲突处理后会在同一个目标空间中得到两个映射后的结果G1f和G2f。具体过程见图3。接下来只需要对G1f和G2f做求差运算，即可得到G1f和G2f之间的差异GDiff，这个差异越小，说明原综合张量Gt1和Gt2之间的相似度越高。
进行求差运算的过程中，由于两个不同的综合张量先后被映射到同一个目标空间，会导致目标空间的同一区域的密度过高，导致后续运算的效率大大降低。为了提高后续运算效率，设计了行密度限制来限制目标空间的行填充密度。当目标空间某一行的填充量超过填充密度时，后续被映射到这一行的向量将会被迁移到其他的稀疏的行。这样可以保证后续运算的高效进行。例如图4中，Gt中第i行的不同向量Evecori1和Evecori2被映射到目标空间Gf的第c行，得到Evecconf1和Evecconf2，这导致了第c行超过了行密度限制，则将他们迁移到第j行，得到Evectar1和Evectar2，作为这两个向量的最终映射位置。
综上所述，本发明的网络状态预测方法实现了同时满足空间复杂度为O(|E|+|V|)和时间复杂度为O(|E|)的大规模图模型相似度比较方法。
采用本发明的实施例，通过对三个数据集，Amazon0302，Amazon0601，以及Web-google的实验，可以说明，本发明在不同尺度的大规模图上都是鲁棒且高效的。对预先设定好的相似度的识别度较精确。
三种数据生成方式Generate1：只更改属性；Generate2：增加一部分点，以及一部分边；Generate3：增加一个点，并增加大量边，将这些边与这个新点关联。每种生成方式，都产生0.4，0.6,0.8三种相似度结果。
本发明的基于空间映射大规模图相似度估计的网络状态预测方法，结合综合张量概念及其构建方法、线性空间映射估计方法、局部密度以及行密度限制方法，获得以下技术效果：
对应用场景的专业知识要求极少；
适用于大规模的高维度的graph数据；
可解释性强；
同时满足极低的空间和时间复杂度要求；
对硬件要求低于神经网络；
不需要样本训练过程；
不需要人工构建特征工程的繁琐工作量。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (7)

1.一种网络状态预测方法，其特征在于，
根据已知网络状态的网络样本建立对比网络图库；
基于被比网络构建出被比网络图；
将所述被比网络图与所述对比网络图库中的对比网络图进行比较，根据两者的相似度找出与被比网络图相似的对比网络图，从而预测被比网络的状态。
2.根据权利要求1所述的网络状态预测方法，其特征在于，网络图的构建方法包括对网络拓扑构建综合张量，使用索引实现边属性向量和其起止点属性向量之间的关联，通过稀疏存储，实现空间复杂度O(|E|+|V|)和时间复杂度为O(|E|)，其中E表示图的边集合，V表示图的点集合。
3.根据权利要求2所述的网络状态预测方法，其特征在于，根据图的相似度越高，按照相同的线性空间映射规则映射之后，在目标空间的重叠度越高的原理，判断网络对比图与网络被比图之间的相似度。
4.根据权利要求3所述的网络状态预测方法，其特征在于，当网络被比图的同一个点的出度或入度过高，则对其映射到的行进行行密度限制，达到某个密度时，就会将后续的边向量向其他空旷的目标空间中的行进行映射，以此保证后续进程流畅。
5.根据权利要求1所述的网络状态预测方法，其特征在于，根据预测的被比网络状态做出预警。
6.一种网络状态预测平台，其特征在于，所述平台包括服务器，服务器具有存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
根据已知网络状态的网络样本建立对比网络图库；
基于被比网络构建出被比网络图；
将所述被比网络图与所述对比网络图库中的对比网络图进行比较，根据两者的相似度找出与被比网络图相似的对比网络图，从而预测被比网络的状态。
7.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1至5中任一所述的方法。
CN202110233686.9A 2021-03-03 2021-03-03 一种网络状态预测方法 Active CN112994944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110233686.9A CN112994944B (zh) 2021-03-03 2021-03-03 一种网络状态预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110233686.9A CN112994944B (zh) 2021-03-03 2021-03-03 一种网络状态预测方法

Publications (2)

Publication Number Publication Date
CN112994944A true CN112994944A (zh) 2021-06-18
CN112994944B CN112994944B (zh) 2023-07-25

Family

ID=76352230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110233686.9A Active CN112994944B (zh) 2021-03-03 2021-03-03 一种网络状态预测方法

Country Status (1)

Country Link
CN (1) CN112994944B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010462A1 (ja) * 2009-07-23 2011-01-27 日本電気株式会社 ネットワーク状態予測装置、移動通信システム、移動通信方法および記憶媒体
CN104144431A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 一种移动网络状态预测的方法、装置及移动网络
CN110336768A (zh) * 2019-01-22 2019-10-15 西北大学 一种基于联合隐马尔可夫模型与遗传算法的态势预测方法
CN110474815A (zh) * 2019-09-23 2019-11-19 北京达佳互联信息技术有限公司 带宽预测方法、装置、电子设备及存储介质
WO2020108747A1 (en) * 2018-11-28 2020-06-04 Nokia Solutions And Networks Oy A method and an apparatus for fault prediction in network management
US20200177468A1 (en) * 2018-11-30 2020-06-04 Disney Enterprises, Inc. Techniques for analyzing a network and increasing network availability
CN112182498A (zh) * 2020-10-10 2021-01-05 深圳市万佳安物联科技股份有限公司 一种基于网络表示学习的老人看护装置与方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010462A1 (ja) * 2009-07-23 2011-01-27 日本電気株式会社 ネットワーク状態予測装置、移動通信システム、移動通信方法および記憶媒体
CN104144431A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 一种移动网络状态预测的方法、装置及移动网络
WO2020108747A1 (en) * 2018-11-28 2020-06-04 Nokia Solutions And Networks Oy A method and an apparatus for fault prediction in network management
US20200177468A1 (en) * 2018-11-30 2020-06-04 Disney Enterprises, Inc. Techniques for analyzing a network and increasing network availability
CN110336768A (zh) * 2019-01-22 2019-10-15 西北大学 一种基于联合隐马尔可夫模型与遗传算法的态势预测方法
CN110474815A (zh) * 2019-09-23 2019-11-19 北京达佳互联信息技术有限公司 带宽预测方法、装置、电子设备及存储介质
CN112182498A (zh) * 2020-10-10 2021-01-05 深圳市万佳安物联科技股份有限公司 一种基于网络表示学习的老人看护装置与方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DANFENG ZHAO等: "An Approximation Method for Large Graph Similarity", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》 *
DANFENG ZHAO等: "An Approximation Method for Large Graph Similarity", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》, 13 December 2020 (2020-12-13), pages 4828, XP033889511, DOI: 10.1109/BigData50022.2020.9378447 *
宋光鑫等: "利用矩阵补全优化模型进行动态网络链接预测", 《计算机工程与应用》 *
宋光鑫等: "利用矩阵补全优化模型进行动态网络链接预测", 《计算机工程与应用》, no. 16, 15 August 2020 (2020-08-15), pages 37 - 42 *
张浚等: "基于多特征相似度的大规模网络异常检测算法", 《计算机工程》 *
张浚等: "基于多特征相似度的大规模网络异常检测算法", 《计算机工程》, no. 24, 20 December 2007 (2007-12-20) *
李慧;冯新双;: "长江航运景气指数预测模型构建与分析", 中国水运, no. 04 *

Also Published As

Publication number Publication date
CN112994944B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Hsu et al. Monas: Multi-objective neural architecture search using reinforcement learning
CN109992479A (zh) 一种多维度kpi数据异常定位方法、装置及计算机设备
CN110008259A (zh) 可视化数据分析的方法及终端设备
CN112132287A (zh) 一种分布式的量子计算仿真方法和装置
CN112966714B (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN111063398B (zh) 一种基于图贝叶斯优化的分子发现方法
CN112181659B (zh) 云仿真内存资源预测模型构建方法与内存资源预测方法
CN114118507A (zh) 一种基于多维信息融合的风险评估预警方法和装置
KR20220051132A (ko) 양자 회로 결정 방법 및 장치, 디바이스, 및 저장 매체
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
Mohammadi Jenghara et al. Dynamic protein–protein interaction networks construction using firefly algorithm
Ibrahim et al. New feature selection paradigm based on hyper-heuristic technique
Sarswat et al. A novel two-step approach for overlapping community detection in social networks
CN113642730A (zh) 卷积网络剪枝方法和装置、电子设备
CN115114484A (zh) 异常事件检测方法、装置、计算机设备和存储介质
Kazemitabar et al. A graph-theoretic approach toward autonomous skill acquisition in reinforcement learning
Koutsoumpakis Spark-based application for abnormal log detection
CN111935005A (zh) 数据传输方法、装置、处理设备及介质
CN112994944A (zh) 一种网络状态预测方法
CN113704565B (zh) 基于全局区间误差的学习型时空索引方法、装置及介质
CN111695583A (zh) 一种基于因果网络的特征选择方法
Ahmad et al. SiFSO: Fish Swarm Optimization‐Based Technique for Efficient Community Detection in Complex Networks
WO2023273171A1 (zh) 图像处理方法、装置、设备和存储介质
CN112906824B (zh) 车辆聚类方法、系统、设备及存储介质
Yu et al. Auto graph encoder-decoder for model compression and network acceleration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant