CN115314400A - 网络系统异常检测方法、装置、电子设备及存储介质 - Google Patents
网络系统异常检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115314400A CN115314400A CN202211244058.1A CN202211244058A CN115314400A CN 115314400 A CN115314400 A CN 115314400A CN 202211244058 A CN202211244058 A CN 202211244058A CN 115314400 A CN115314400 A CN 115314400A
- Authority
- CN
- China
- Prior art keywords
- target
- node
- force
- data flow
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 212
- 230000002159 abnormal effect Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000000875 corresponding effect Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 13
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明提供一种网络系统异常检测方法、装置、电子设备及存储介质，属于计算机网络技术领域，所述方法包括：抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；确定各目标算力节点数据流图的特征数据并得到所述异常值检测模型输出的各目标算力节点数据流图对应的异常指数，进而确定异常目标算力节点数据流图。本发明的网络系统异常检测方法，通过抽取一定数量的目标算力节点以及关联算力节点，能够降低对整个算力网络系统监测的工作量，通过构建以目标算力节点为中心的数据流图来进行算力和网络的异常分析，能够全面反映算力节点之间的连接关系，便于针对多个异常算力节点以及连接关系来进行全面的异常分析。
Description
技术领域
本发明涉及计算机网络技术领域，尤其涉及一种网络系统异常检测方法、装置、电子设备及存储介质。
背景技术
算力网络通过具备感知、聚合、编排以及调度等能力的中枢系统，对底层的云与边缘节点、超算、智算和其他社会算力进行统一纳管和智能调度。基于零信任思想，中枢系统需要对底层网络算力节点进行实时认证、感知、监控和分析，以实现对底层网络算力节点和上层应用需求的高效、准确的匹配调度，同时，实时防范异常攻击等安全事件，并对异常事件进行快速的根因定位和处理等。
然而，由于算力网络底层纳管算力、存储、网络等资源众多，算力网络节点间的互联网络关系复杂，一方面，对算力网络底层所有算力节点间关系的建模所耗费的算力和存储资源巨大；另一方面，通过算力网络，除去南北向的应用调度资源关系外，还涉及更广泛的算力节点间的东西向互联。
相关技术中，依赖于已知、确定的资源信息，可以将任务下发到相应的算力网络节点，如果任务因算力节点变更导致运行出现异常，则将异常任务反馈到算力网络编排系统，进行二次编排和调度。在本方案中，需要构建整个算力节点网络模型，需要耗费巨大算力，且异常应用的搬迁会降低网络服务质量。或者，通过定性或定量的算力度量衡插件，实时对算力网络算力节点的算力、存储、网络进行认证、感知和采集，将相关变更信息上报到算力网络中枢系统，由其进行主动性的编排策略优化。在本方案中，由于只能检测到单个算力节点，网络系统异常检测还不够完善。
发明内容
本发明提供一种网络系统异常检测方法、装置、电子设备及存储介质，用以解决现有技术中算力网络系统检测还不够完善的缺陷，实现在不影响网络服务质量的情况下对算力节点及各算力节点关系的完整检测。
本发明提供一种网络系统异常检测方法，包括：
从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；
基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；
基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；
将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到所述异常值检测模型输出的各目标算力节点数据流图对应的异常指数；
基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
根据本发明提供的一种网络系统异常检测方法，所述基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据，包括：
基于各目标算力节点数据流图中各算力节点的算力信息，确定各目标算力节点数据流图的算力特征数据；基于各目标算力节点数据流图中各算力节点的网络信息，确定各目标算力节点数据流图的网络特征数据；
将每个所述目标算力节点数据流图的算力特征数据和网络特征数据按照预设顺序拼接，构建各目标算力节点数据流图的一维特征向量；
基于X个时刻的目标算力节点数据流图的一维特征向量，构建各目标算力节点数据流图的向量矩阵，并将各目标算力节点数据流图的向量矩阵作为各目标算力节点数据流图的特征数据。
根据本发明提供的一种网络系统异常检测方法，所述算力信息包括算力节点的算力类型、各算力类型的算力节点数以及各算力节点的算力容量。
根据本发明提供的一种网络系统异常检测方法，所述网络信息包括算力节点的网络类型、各网络类型的算力节点数以及各算力节点的网络带宽、网络抖动数据和网络时延数据。
根据本发明提供的一种网络系统异常检测方法，所述从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点，包括：
采用有放回抽样方式从所述算力网络系统纳管的算力节点中抽取目标数量的目标算力节点；算力节点的被抽取概率与各算力节点对应的算力容量正相关；
基于各目标算力节点与所述算力网络系统纳管的其他算力节点的连接关系，确定各目标算力节点的关联算力节点；
其中，按照各算力节点的算力容量由大到小排序，第j个算力节点被抽中的概率
为：
,M为均
衡指数，M≥0，N为算力节点的数量。
根据本发明提供的一种网络系统异常检测方法，所述目标数量k满足：
，P为目标
算力节点数据流图的最大算力节点数，Y为算力节点的采样覆盖率。
根据本发明提供的一种网络系统异常检测方法，所述异常值检测模型为孤立森林算法模型，各目标算力节点数据流图对应的异常指数为各目标算力节点数据流图的特征数据在所述孤立森林算法模型中各个树的深度平均值。
本发明还提供一种网络系统异常检测装置，包括：
第一处理模块，用于从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；
第二处理模块，用于基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；
第三处理模块，用于基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；
第四处理模块，用于将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到所述异常值检测模型输出的各目标算力节点数据流图对应的异常指数；
第五处理模块，用于基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络系统异常检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络系统异常检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述网络系统异常检测方法。
本发明提供的网络系统异常检测方法、装置、电子设备及存储介质，通过抽取一定数量的目标算力节点以及关联算力节点，能够降低对整个算力网络系统监测分析的工作量，通过构建以目标算力节点为中心的数据流图来进行算力和网络的异常分析，能够全面反映算力节点之间的连接关系，便于针对多个异常算力节点以及连接关系来进行全面的异常分析。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的网络系统异常检测方法的流程示意图；
图2是本发明提供的各算力节点的采样概率分布图之一；
图3是本发明提供的各算力节点的采样概率分布图之二；
图4是本发明提供的网络系统异常检测装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的网络系统异常检测方法、装置、电子设备及存储介质。
本发明实施例的网络系统为算力网络系统，具体可以是零信任算力网络系统。
本发明实施例的网络系统异常检测方法的执行主体可以是处理器，当然，在另一些实施例中，执行主题还可以是服务器，此处对执行主体的类型不作限制。下面以执行主体为处理器来对本发明实施例的网络系统异常检测方法来进行说明。
如图1所示，本发明实施例的网络系统异常检测方法主要包括步骤110、步骤120、步骤130、步骤140和步骤150。
步骤110，从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点。
算力网络系统可以包括高性能计算中心算力节点、公有云算力节点、网络云算力节点、私有云算力节点、边缘算力节点以及终端算力节点中的至少一种。
高性能计算中心算力节点可以是分布在高性能计算中心内的超级计算机，主要用于复杂的科学计算与大数据分析等任务。
公有云算力节点具备通用的计算能力，这里的算力用于处理视频业务、互联网业务、音乐、交易处理以及教育应用等。除了通用的计算能力，公有云算力节点还包括用于人工智能的训练算力，一般采用GPU这类专门的处理器来实现。
网络云算力节点一般是运营商部署虚拟网络系统的数据中心内的算力，正常情况下用于部署网络设备以及电信业务服务器等，用于实现电信网络功能与电信业务，如承载5G网络的数据中心等。
私有云算力节点一般是企业内部部署数据中心内的算力，正常情况下用于企业专业的设备，包括工业管理和生产管理等，规模一般比较小。如果要用于算力网络，则必须采取特别的安全措施，保证内部数据的安全，并不影响生产活动。
边缘算力节点的单节点算力能力比较弱，但是节点数量很多，其算力是分布式部署的。边缘算力节点的整体容量很大，边缘算力是由很多异构算力构成，包括CPU和GPU等计算单元组成，并完成部署在边缘上的计算任务，例如本地的人工智能类的应用以及本地的计算等。
终端算力节点可以是各类用户终端，例如电脑以及手机等。
可以理解的是，算力网络系统中纳管有若干个算力节点，每个算力节点均具有一定的算力容量。
在本实施方式中，抽取当前算力网络系统所纳管的算力节点中目标数量的算力节点作为目标算力节点，并确定各目标算力节点的关联算力节点。
各目标算力节点的关联算力节点是与各目标算力节点之间存在连接关系，或者各目标算力节点的关联算力节点是与各目标算力节点之间存在资源调度关系。目标算力节点的关联算力节点可以直接与目标算力节点进行资源调度，也可以经过其他算力节点间接进行资源调度。
可以理解的是，目标算力节点的关联算力节点存在多个，可以通过多种方式确定出目标算力节点。
在一些实施例中，从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点，包括采用有放回抽样方式从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点。
算力节点的被抽取概率与各算力节点对应的算力容量正相关，其中，按照各算力
节点的算力容量由大到小排序，第j个算力节点被抽中的概率为：
，M≥0，N
为算力节点的数量。
可以理解的是，M的值越大，表示对当前算力网络系统中纳管的各个算力节点的采样效果越均衡，M的值可以根据实际需求来进行设置。
如图2和图3所示，若算力节点数量N为10000，将各算力节点按照算力容量由大到小进行排序，算力容量越大的算力节点排名越靠前。图2和图3中的横坐标表示算力节点排序后的序号，纵坐标表示算力节点被抽取的概率。图2表示均衡指数M为500的各算力节点的采样概率分布，图3表示均衡指数M为50的各算力节点的采样概率分布。
在本实施方式中，采用有放回的抽样方式可以保证目标算力节点的代表性。
在此基础上，可以基于各目标算力节点与算力网络系统纳管的其他算力节点的连接关系，确定各目标算力节点的关联算力节点。
例如，可以对各目标算力节点预设一定数量的关联算力节点，并随机抽取各目标算力节点的关联算力节点直至满足数量要求。
在本实施方式中，通过抽取目标数量的目标算力节点以及确定其关联算力节点，可以不用构建所有算力节点的算力网络模型，能够降低不必要的算力占用，进而提高网络服务质量。
目标数量k可以满足：
在一些实施例中，N*0.1<P<N，可以保证有放回采样过程的对所有算力节点的覆盖度以及采样后被采样的算力节点分布的密集性。
需要说明的是，Y可以根据需要来进行设置。例如采样过程需要保证80%的算力节点能够被采样到一次且80%的算力节点的连接关系能够被采样到两次以上，则Y为0.8。
在确定各目标算力节点的关联算力节点时，可以针对每个目标算力节点生成一个随机数β，其中，β∈（0，1]，则当前目标算力节点的关联算力节点数量为int(Pβ)。
针对每个关联算力节点，生成一个随机数α，其中，α∈（0，1]，则被选中的关联算力
节点为
。
可以理解的是，可以将上述过程循环k次，得到目标数量的目标算力节点的各关联算力节点。
步骤120，基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图。X为大于1的正整数。
可以理解的是，可以在目标时间段内的X个时刻对各目标算力节点以及各目标算力节点对应的关联算力节点进行检测，进而确定各个算力节点的算力信息、网络信息以及资源调度情况。
算力信息可以包括算力节点的算力类型、各算力类型的算力节点数以及各算力节点的算力容量。
网络信息包括算力节点的网络类型、各网络类型的算力节点数以及各算力节点的网络带宽、网络抖动数据和网络时延数据。
资源调度情况可以包括资源在各个算力节点之间的流动路径、资源大小以及在算力节点所需的算力大小。
可以理解的是，针对每一个目标算力节点，可以根据X个时刻的监控信息，可以生成X个目标算力节点和目标算力节点对应的关联算力节点之间的数据流图。可以理解的是，k个目标算力节点可以一共得到X*k个数据流图。
数据流图从数据传递和加工角度，以图形方式来表达系统的逻辑功能、数据在系统内部的逻辑流向和逻辑变换过程，是结构化系统分析方法的主要表达工具及用于表示软件模型的一种图示方法。
在本实施方式中，通过抽样的方式选取算力节点来构建以一部分算力节点的数据流图，能够简化对所有算力节点进行分析的体量，且能够覆盖到大部分算力节点之间的连接关系，能够对算力网络系统中的所各算力节点以及连接关系均做到较全面的分析。
步骤130，基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据。
可以理解的是，由于各算力节点的算力信息和网络信息能够反应算力节点的工作情况，进而便于侦测到异常情况，可以针对各算力节点的算力信息和网络信息来构建各目标算力节点数据流图的特征数据。
可以理解的是，可以基于各目标算力节点数据流图中各算力节点的算力信息，确定各目标算力节点数据流图的算力特征数据。
针对每一个数据流图，可以将每个数据流图中算力节点的算力类型映射到向量中，并对各个类型的算力节点进行计数生成算力定性数据Tc，构建算力类型分桶。
算力节点的类型可以包括GPU、CPU、FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）以及ASIC（Application Specific Integrated Circuit，专用集成电路）等。
例如，如果T0为GPU，且当前子图中GPU节点数量=5，则Tc0=5，以此类推生成各个类型的统计数据，并将数据按照一定的排列顺序进行拼接，得到算力定性数据Tc。
针对每一个数据流图，可以将每个数据流图中所有算力节点映射为FP16单位下的FLOPS度量衡，并求和，生成算力定量数据Tf。
在一些实施例中，还可以将每个数据流图中各算力节点按照算力容量大小排序，基于每个数据流图的总算力，分别取不同总算力百分位下对应的算力节点作为统计数据。
例如将各算力节点按照算力容量由大到小的顺序排列，再分别取5%、10%、25%、50%、75%、90%、95%百分位切分点对应的算力节点，生成算力切分点统计数据Ts。
在一些实施例中，还可以将每个数据流图中各算力节点算力容量由大到小的顺序排列，并确定每一个算力节点算力容量大小位次的处累积的算力容量之和占据每个数据流图的总算力的百分比作为位次统计数据Te。
可以理解的是，可以基于各目标算力节点数据流图中各算力节点的网络信息，确定各目标算力节点数据流图的网络特征数据。
针对每一个数据流图，可以将每个数据流图中所有算力节点映射到向量中，并对各个类型的网络连接类型进行计数生成Netc，构建网络类型分桶。
算力节点的网络类型可以包括IB（InfiniBand，无限宽带）网络、基于IB网络的RoCE V2网络、TCP（Transmission Control Protocol，传输控制协议）网络以及OTN（optical transport，光传送）网络等。
例如，如果Net0为IB网络的统计数据，且当前子图中IB网络数量为5，则Netc0=5,以此类推生成统计数据，并将数据按照一定的排列顺序进行拼接，得到网络定性数据Netc。
针对每一个数据流图，可以将每个数据流图中所有算力节点的所有网络带宽求和，生成网络定量数据Netf。
在一些实施例中，还可以将每个数据流图中各算力节点按照带宽大小排序，基于每个数据流图的总带宽，分别取不同总带宽百分位下对应的算力节点作为统计数据。
例如将各算力节点按照带宽由大到小的顺序排列，再分别取5%、10%、25%、50%、75%、90%、95%百分位切分点对应的算力节点，并统计该算力节点的网络抖动数据和网络时延数据，生成带宽切分点统计数据Nets。
在一些实施例中，还可以将每个数据流图中各算力节点带宽由大到小的顺序排列，并确定每一个算力节点带宽大小位次的处累积的带宽之和占据每个数据流图的总带宽的百分比作为位次统计数据Nete。
在一些实施例中，还可以对每个数据流图中具有连接关系的算力节点依次进行算力容量的求和，即生成每一个资源连接路径上的算力容量之和，生成统计数据Ta。
可以理解的是，为便于数据处理，将每个目标算力节点数据流图的算力特征数据和网络特征数据按照预设顺序拼接，构建各目标算力节点数据流图的一维特征向量。
例如，针对每一个目标算力节点每一次的监测数据，可以按照Ta、Tc、Tf、Ts、Te、Netc、Netf、Nets和Nete的顺序将数据进行拼接，形成一维特征向量。
在此种情况下，可以基于X个时刻的目标算力节点数据流图的一维特征向量，构建各目标算力节点数据流图的向量矩阵，并将各目标算力节点数据流图的向量矩阵作为各目标算力节点数据流图的特征数据。
在此种情况下，可以构建X个时刻的一维特征向量，并基于两各一维特征向量构建各数据流图的向量矩阵。
可以理解的是，通过对各个数据流图的算力信息以及网络信息进行数据化，能够有效地将高维的算力信息和网络信息进行降维统计，便于进行异常分析。
步骤140，将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到异常值检测模型输出的各目标算力节点数据流图对应的异常指数。
可以理解的是，异常值检测模型可以是K-means算法模型、KNN算法模型以及孤立森林算法模型等，此处对异常值检测模型的具体类型不作限制。
在一些实施例中，异常值检测模型为孤立森林算法模型，各目标算力节点数据流图对应的异常指数为各目标算力节点数据流图的特征数据在孤立森林算法模型中各个树的深度平均值。
孤立森林算法模型可以采用有监督的训练方式来提前进行训练得到，例如可以将一段时间内算力节点的多个数据流图的特征向量输入至模型，并将其中异常数据流图的特征向量作为标签来对模型进行训练。
将当前数据流图对应的特征向量输入到模型中，以特征向量在各个孤立森林中各个树的深度平均值作为当前数据流图的异常指数。
在本实施方式中，通过数据流图特征数据的提取，算网中枢无需存储海量的算网数据流图切片。而采用孤立森林算法模型，有利于实现各数据流图中的根因定位。
步骤150，基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
可以理解的是，在一次监测周期内，设监测周期为Tg，按照当前数据流图异常值指数在Tg周期内X各数据流图的排名，提取头部流图作为可能存在异常算力网络的数据流图。
例如，可以提取前5%的数据流图作为可能存在异常算力网络的数据流图。
在此种情况下，分别获取当前异常数据流图在各个树内的从根节点开始的所有切分变量，并将各个变量按照数据流图进行分组求和，输出各个数据流图的切分指标数量，获得数量最多的数据流图，并进行根因分析，进而确定具体的异常算力节点以及算力连接路径。
根据本发明实施例提供的网络系统异常检测方法，通过抽取一定数量的目标算力节点以及关联算力节点，能够降低对整个算力网络系统监测分析的工作量，通过构建以目标算力节点为中心的数据流图来进行算力和网络的异常分析，能够全面反映算力节点之间的连接关系，便于针对多个异常算力节点以及连接关系来进行全面的异常分析。
下面对本发明提供的网络系统异常检测装置进行描述，下文描述的网络系统异常检测装置与上文描述的网络系统异常检测方法可相互对应参照。
如图4所示，本发明实施例的网络系统异常检测装置主要包括第一处理模块410、第二处理模块420、第三处理模块430、第四处理模块440和第五处理模块450。
第一处理模块410用于从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；
第二处理模块420用于基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；
第三处理模块430用于基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；
第四处理模块440用于将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到异常值检测模型输出的各目标算力节点数据流图对应的异常指数；
第五处理模块450用于基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
根据本发明实施例提供的网络系统异常检测装置，通过抽取一定数量的目标算力节点以及关联算力节点，能够降低对整个算力网络系统监测的工作量，通过构建以目标算力节点为中心的数据流图来进行算力和网络的异常分析，能够全面反映算力节点之间的连接关系，便于针对多个异常算力节点以及连接关系来进行全面的异常分析。
在一些实施例中，第三处理模块430还用于基于各目标算力节点数据流图中各算力节点的算力信息，确定各目标算力节点数据流图的算力特征数据；基于各目标算力节点数据流图中各算力节点的网络信息，确定各目标算力节点数据流图的网络特征数据；将每个目标算力节点数据流图的算力特征数据和网络特征数据按照预设顺序拼接，构建各目标算力节点数据流图的一维特征向量；基于X个时刻的目标算力节点数据流图的一维特征向量，构建各目标算力节点数据流图的向量矩阵，并将各目标算力节点数据流图的向量矩阵作为各目标算力节点数据流图的特征数据。
在一些实施例中，算力信息包括算力节点的算力类型、各算力类型的算力节点数以及各算力节点的算力容量。
在一些实施例中，网络信息包括算力节点的网络类型、各网络类型的算力节点数以及各算力节点的网络带宽、网络抖动数据和网络时延数据。
在一些实施例中，第一处理模块410还用于采用有放回抽样方式从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点；算力节点的被抽取概率与各算力节点对应的算力容量正相关；
基于各目标算力节点与算力网络系统纳管的其他算力节点的连接关系，确定各目标算力节点的关联算力节点；
其中，按照各算力节点的算力容量由大到小排序，第j个算力节点被抽中的概率
为：
,M为
均衡指数，M≥0，N为算力节点的数量。
在一些实施例中，目标数量k满足：
在一些实施例中，异常值检测模型为孤立森林算法模型，各目标算力节点数据流图对应的异常指数为各目标算力节点数据流图的特征数据在孤立森林算法模型中各个树的深度平均值。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（Communications Interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行网络系统异常检测方法，该方法包括：从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到异常值检测模型输出的各目标算力节点数据流图对应的异常指数；基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的网络系统异常检测方法，该方法包括：从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到异常值检测模型输出的各目标算力节点数据流图对应的异常指数；基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的网络系统异常检测方法，该方法包括：从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到异常值检测模型输出的各目标算力节点数据流图对应的异常指数；基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种网络系统异常检测方法，其特征在于，包括：
从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；
基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；
基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；
将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到所述异常值检测模型输出的各目标算力节点数据流图对应的异常指数；
基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
2.根据权利要求1所述的网络系统异常检测方法，其特征在于，所述基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据，包括：
基于各目标算力节点数据流图中各算力节点的算力信息，确定各目标算力节点数据流图的算力特征数据；基于各目标算力节点数据流图中各算力节点的网络信息，确定各目标算力节点数据流图的网络特征数据；
将每个所述目标算力节点数据流图的算力特征数据和网络特征数据按照预设顺序拼接，构建各目标算力节点数据流图的一维特征向量；
基于X个时刻的目标算力节点数据流图的一维特征向量，构建各目标算力节点数据流图的向量矩阵，并将各目标算力节点数据流图的向量矩阵作为各目标算力节点数据流图的特征数据。
3.根据权利要求1所述的网络系统异常检测方法，其特征在于，所述算力信息包括算力节点的算力类型、各算力类型的算力节点数以及各算力节点的算力容量。
4.根据权利要求1所述的网络系统异常检测方法，其特征在于，所述网络信息包括算力节点的网络类型、各网络类型的算力节点数以及各算力节点的网络带宽、网络抖动数据和网络时延数据。
5.根据权利要求1所述的网络系统异常检测方法，其特征在于，所述从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点，包括：
采用有放回抽样方式从所述算力网络系统纳管的算力节点中抽取目标数量的目标算力节点；算力节点的被抽取概率与各算力节点对应的算力容量正相关；
基于各目标算力节点与所述算力网络系统纳管的其他算力节点的连接关系，确定各目标算力节点的关联算力节点；
其中，按照各算力节点的算力容量由大到小排序，第j个算力节点被抽中的概率为：
,M为均
衡指数，M≥0，N为算力节点的数量。
6.根据权利要求5所述的网络系统异常检测方法，其特征在于，所述目标数量k满足：
7.根据权利要求1-6中任一项所述的网络系统异常检测方法，其特征在于，所述异常值检测模型为孤立森林算法模型，各目标算力节点数据流图对应的异常指数为各目标算力节点数据流图的特征数据在所述孤立森林算法模型中各个树的深度平均值。
8.一种网络系统异常检测装置，其特征在于，包括：
第一处理模块，用于从算力网络系统纳管的算力节点中抽取目标数量的目标算力节点，并确定各目标算力节点的关联算力节点；
第二处理模块，用于基于各目标算力节点以及各目标算力节点的关联算力节点，确定各目标算力节点在目标时间段内X个时刻的目标算力节点数据流图；X为大于1的正整数；
第三处理模块，用于基于各目标算力节点数据流图中各算力节点的算力信息和网络信息，确定各目标算力节点数据流图的特征数据；
第四处理模块，用于将各目标算力节点数据流图的特征数据输入至异常值检测模型，得到所述异常值检测模型输出的各目标算力节点数据流图对应的异常指数；
第五处理模块，用于基于各目标算力节点数据流图对应的异常指数，从各目标算力节点数据流图中确定异常目标算力节点数据流图。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述网络系统异常检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述网络系统异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244058.1A CN115314400A (zh) | 2022-10-12 | 2022-10-12 | 网络系统异常检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244058.1A CN115314400A (zh) | 2022-10-12 | 2022-10-12 | 网络系统异常检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115314400A true CN115314400A (zh) | 2022-11-08 |
Family
ID=83868377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211244058.1A Pending CN115314400A (zh) | 2022-10-12 | 2022-10-12 | 网络系统异常检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115314400A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520975A (zh) * | 2023-09-21 | 2024-02-06 | 国网四川省电力公司眉山供电公司 | 一种基于物联网的电力设备智能监测方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817785A (zh) * | 2019-11-15 | 2021-05-18 | 亚信科技（中国）有限公司 | 一种微服务系统的异常检测方法及装置 |
-
2022
- 2022-10-12 CN CN202211244058.1A patent/CN115314400A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817785A (zh) * | 2019-11-15 | 2021-05-18 | 亚信科技（中国）有限公司 | 一种微服务系统的异常检测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520975A (zh) * | 2023-09-21 | 2024-02-06 | 国网四川省电力公司眉山供电公司 | 一种基于物联网的电力设备智能监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614690B (zh) | 一种异常行为检测方法及装置 | |
| US10834183B2 (en) | Managing idle and active servers in cloud data centers | |
| CN103699541B (zh) | 用于提高分类精度的交互式可视数据挖掘 | |
| US11354583B2 (en) | Automatically generating rules for event detection systems | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| US11354297B2 (en) | Detecting positivity violations in multidimensional data | |
| CN111581258B (zh) | 一种安全数据分析方法、装置、系统、设备及存储介质 | |
| CN101958917A (zh) | 一种面向云制造系统的资源服务组合柔性量测和提高方法 | |
| Mukhin et al. | Method for efficiency increasing of distributed classification of the images based on the proactive parallel computing approach | |
| JP7389860B2 (ja) | セキュリティ情報の処理方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN115314400A (zh) | 网络系统异常检测方法、装置、电子设备及存储介质 | |
| Mitropoulou et al. | Anomaly detection in cloud computing using knowledge graph embedding and machine learning mechanisms | |
| CN109416688A (zh) | 用于灵活的高性能结构化数据处理的方法和系统 | |
| CN112528132A (zh) | 一种管理网络的方法和一种网管系统 | |
| CN110751354B (zh) | 一种异常用户的检测方法和装置 | |
| CN110855474B (zh) | Kqi数据的网络特征提取方法、装置、设备及存储介质 | |
| CN113504996A (zh) | 一种负载均衡检测方法、装置、设备及存储介质 | |
| WO2024007565A1 (en) | Network analysis using optical quantum computing | |
| CN116662001A (zh) | 一种事件处理方法及装置 | |
| WO2023203356A1 (en) | Distributed mobile network traffic data decomposition and forecasting method and apparatus | |
| Rachburee et al. | Big data analytics: feature selection and machine learning for intrusion detection on microsoft azure platform | |
| CN113052509A (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
| CN112750047A (zh) | 行为关系信息提取方法及装置、存储介质、电子设备 | |
| Xiaoyuan | AI for Finance (AIFF): from Abnormal Data Recognition to Information System Intrusion Detection | |
| CN113259878A (zh) | 话单结算方法、系统、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221108 |