CN115883392A - 算力网络的数据感知方法、装置、电子设备及存储介质 - Google Patents
算力网络的数据感知方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115883392A CN115883392A CN202310143473.6A CN202310143473A CN115883392A CN 115883392 A CN115883392 A CN 115883392A CN 202310143473 A CN202310143473 A CN 202310143473A CN 115883392 A CN115883392 A CN 115883392A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- resource
- computational
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008447 perception Effects 0.000 title claims abstract description 38
- 238000013500 data storage Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供算力网络的数据感知方法、装置、电子设备及存储介质，涉及计算机技术领域，方法包括：通过算网数据存储池获得云参数数据和网络参数数据；其中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；其中，算网数据预测模型根据时间序列预测算法进行数据预测。本发明通过算网数据预测模型基于时间序列预测算法进行数据预测，利用算力网络在预设时间段内的历史数据预测算力网络当前时刻的数据，实现对算力网络数据的实时感知，避免频繁全量采集数据导致数据采控平台的开销过大的问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种算力网络的数据感知方法、装置、电子设备及存储介质。
背景技术
算力感知是算力网络中的重要组成部分，在开通和部署算力网络业务的过程中，需要实时感知算力网络中的云资源数据和网络资源数据，这对算力网络操作系统的数据采集能力和实时感知能力提出了更高的要求。
目前，针对算力网络中不同的资源数据，已建设有专业的数据采控平台进行数据采集和感知，但是目前这些数据采控平台的采集周期过长，难以满足对算力网络数据实时感知的需求。
而如果为了实现对算力网络数据的实时感知，则需要对现有的数据采控平台进行改进以缩短采集周期；改进后的数据采控平台能够对算力网络中的不同数据进行频繁的全量采集。
但是由于算力网络的数据量大，对数据进行频繁的全量采集，又会导致数据采控平台的开销过大，影响平台正常运行。
发明内容
本发明提供一种算力网络的数据感知方法、装置、电子设备及存储介质，用以解决现有技术中无法满足算力网络数据实时感知的问题。
本发明提供一种算力网络的数据感知方法，包括：
通过算网数据存储池获得云参数数据和网络参数数据；其中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；其中，算网数据预测模型根据时间序列预测算法进行数据预测。
根据本发明提供的一种算力网络的数据感知方法，在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，还包括：从算力网络中获得参数预测值满足算网资源需求的算力节点，得到候选节点；获得各个候选节点的服务效率值，其中，服务效率值为当前节点的剩余容量和总容量的比值；按照服务效率值从高到低的方式对所有候选节点进行排序，并基于预设编排策略从排序后的候选节点中确定目标节点。
根据本发明提供的一种算力网络的数据感知方法，在基于预设的编排策略从排序后的候选节点中确定目标节点之后，包括：对目标节点进行实时数据采集，得到资源采集值；若目标节点的资源采集值和参数预测值之间的偏差小于或等于预设偏差值，则确定目标节点为最终目标节点。
根据本发明提供的一种算力网络的数据感知方法，参数预测值包括算力资源预测值、网络资源预测值、存储资源预测值和安全等级预测值；从算力网络中获得资源预测值满足算网资源需求的算力节点，得到候选节点，包括：将算网资源需求分解为算力资源子需求、网络资源子需求、存储资源子需求和网络安全子需求；将算力网络中算力节点的资源预测值与算网资源需求作对比；若算力资源预测值满足算力资源子需求，网络资源预测值满足网络资源子需求，存储资源预测值满足存储资源子需求，且安全等级预测值满足网络安全子需求，则将对应的算力节点确定为候选节点。
根据本发明提供的一种算力网络的数据感知方法，云参数数据包括云资源数据和云性能数据，网络参数数据包括网络资源数据和网络性能数据；在通过算网数据存储池获得云资源数据和网络资源数据之前，包括：确定当前算力网络中已纳管的不同类型的数据云的个数；采集并保存每一数据云在预设时间段内的云资源数据和云性能数据；基于云资源数据和云性能数据获得云参数数据；采集算力网络在预设时间段内的网络资源数据和网络性能数据，获得网络参数数据；基于云参数数据和网络参数数据构建算网数据存储池。
根据本发明提供的一种算力网络的数据感知方法，在对目标节点进行实时数据采集，得到资源采集值之后，包括：若目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则发出提示信息。
根据本发明提供的一种算力网络的数据感知方法，在将云参数数据和网络参数数据输入至算网数据预测模型中之前，包括：建立初始算网数据预测模型；以样本时刻采集的云参数数据样本，样本时刻采集的网络参数数据样本以及对应样本时刻的参数采集值标签作为输入项，以预设操作记录作为协变量，对初始算网数据预测模型进行训练，得到算网数据预测模型。
本发明还提供一种算力网络的数据感知装置，包括：获取模块，用于通过算网数据存储池获得云参数数据和网络参数数据；其中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；预测模块，用于将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；其中，算网数据预测模型根据时间序列预测算法进行数据预测。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种算力网络的数据感知方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种算力网络的数据感知方法。
本发明提供的一种算力网络的数据感知方法、装置、电子设备及存储介质，通过算网数据存储池获得算力网络在预设时间段内的云参数数据和网络参数数据，并由算网数据预测模型根据时间序列预测算法进行数据预测，获得当前时刻下算力网络中各个节点的参数预测值。本发明通过算网数据预测模型基于时间序列预测算法进行数据预测，利用算力网络在预设时间段内的历史数据预测算力网络当前时刻的数据，实现对算力网络数据的实时感知，避免频繁全量采集数据导致数据采控平台的开销过大的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明算力网络的数据感知方法一实施例的流程示意图；
图2是本发明算力网络的数据感知方法中算网数据存储池的一实施例的结构示意图；
图3是本发明算力网络的数据感知装置一实施例的结构示意图；
图4是本发明电子设备一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，数据采控平台的采集周期过长，难以满足对算力网络数据实时感知的需求，而如果为了实现对算力网络数据的实时感知，对数据进行频繁的全量采集，又会导致数据采控平台的开销过大，影响平台正常运行。基于此，本发明提供一种算力网络的数据感知方法，通过算网数据预测模型基于时间序列预测算法进行数据预测，利用算力网络在预设时间段内的历史数据预测算力网络当前时刻的数据，实现对算力网络数据的实时感知，避免频繁全量采集数据导致数据采控平台的开销过大的问题。
请参阅图1，图1是本发明算力网络的数据感知方法一实施例的流程示意图，在本实施例中，算力网络的数据感知方法具体包括步骤S110至S120，各步骤具体如下：
S110：通过算网数据存储池获得云参数数据和网络参数数据。
算力网络利用云网融合技术将云资源和网络资源深度融合在一起，通过集中控制或者分布式调度方法与云资源、网络资源进行协同，并根据需求特性提供灵活、可调度的按需服务。因此，在本实施例的算力网络中，对云资源和网络资源的数据进行实时感知和管理至关重要。
在本实施例中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据。
在一些实施例中，云参数数据包括云资源数据和云性能数据，网络参数数据包括网络资源数据和网络性能数据。在通过算网数据存储池获得云资源数据和网络资源数据之前，可以去构建算网数据存储池，具体包括：
确定当前算力网络中已纳管的不同类型的数据云的个数；采集并保存每一数据云在预设时间段内的云资源数据和云性能数据；基于云资源数据和云性能数据获得云参数数据；采集算力网络在预设时间段内的网络资源数据和网络性能数据，获得网络参数数据；基于云参数数据和网络参数数据构建算网数据存储池。
请参阅图2，图2是本发明算力网络的数据感知方法中算网数据存储池的一实施例的结构示意图，算网数据存储池可以通过南向接口获取采集到的算力网络中的云参数数据和网络参数数据。
算网数据存储池可以连接公有云云管、三方云云管、行业云云管和综合网管，以获得通过公有云云管、三方云云管、行业云云管和综合网管获取的数据。
公有云、三方云和行业云等各类云资源均有对应的云管平台进行数据的采集和管理，在一些实施例中，算网数据存储池通过各类云管平台获取并存储算力网络中的云参数数据。
需要说明的是，由于不同云资源的资源属性数据和性能属性数据并不统一，因此，在算网数据存储池获取并存储算力网络中的云参数数据前，还可对云管平台采集的云参数数据进行梳理。
优选的，对于各类云管平台采集的云参数数据，可基于各类云资源和性能模型的对比分析，梳理多云资源和性能模型中的必要字段，保留单云资源和性能模型中独有的资源属性参数数据和性能属性参数数据，创建一个全量标准化的多云CMDB资源和性能模型，并将多云CMDB资源和性能模型关系抽象到单独关系表中统一存放。与相关技术相比，本实施例的CMDB资源和性能模型同时保存着资源数据和性能数据，资源数据包括服务器、数据库、应用软件等资源等相关数据，性能数据包括云服务器的配置参数，例如带宽、内存、CPU等相关的数据。
优选的，为了便于区分和管理不同云管平台采集的云资源，还可对不同云管平台采集的云参数数据进行数据集分类。例如，一个算力网络包括公有云、三方云和行业云三类云资源，则可定义公有云资源和性能模型数据集为
，定义三方云资源和性能模型数据集为/>
，定义行业云资源和性能模型数据集为/>
，定义算网数据存储池获取并存储的数据集为/>
，则算网数据存储池获取并存储的数据与云管平台采集的云参数数据之间的关系可用/>
来表示。
目前的综合网管平台已实现对接入网、承载网、核心网等网络资源数据和网络性能数据的采集和汇总。在本实施例中，算网数据存储池可通过综合网管平台直接获取并存储算力网络中的网络参数数据。
S120：将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值。
在本实施例中，算网数据预测模型根据时间序列预测算法进行数据预测。
在本实施例中，在将云参数数据和网络参数数据输入至算网数据预测模型中之前，包括：建立初始算网数据预测模型；以样本时刻采集的云参数数据样本，样本时刻采集的网络参数数据样本以及对应样本时刻的参数采集值标签作为输入项，以预设操作记录作为协变量，对初始算网数据预测模型进行训练，得到算网数据预测模型。
时间序列预测算法基于事物发展的延续性，运用过去时间序列的历史数据进行统计分析，推测出事物的发展趋势。在本实施例中，算网数据预测模型采用长短期记忆网络（Long Short-Term Memory，LSTM）模型。LSTM模型具有良好的对时间序列建模的能力，能够根据已知的算力网络的历史数据推测出算力网络未来可能的数据变化。
需要说明的是，算力网络需要根据用户的需求进行调度，由于用户的操作会导致算力网络数据的变化，因此，在运用时间序列预测算法进行数据预测时，需要引入用户操作记录作为协变量。
最后，通过步骤S110至S120，可以得到算力网络中各个节点的参数预测值，参数预测值可以与其他系统连接以提供数据支持，例如编排系统可以根据参数预测值选择符合要求的算力节点。
综上，本实施例中提供的一种算力网络的数据感知方法，通过算网数据存储池获得算力网络在预设时间段内的云参数数据和网络参数数据，并由算网数据预测模型根据时间序列预测算法进行数据预测，获得当前时刻下算力网络中各个节点的参数预测值。本发明通过算网数据预测模型基于时间序列预测算法进行数据预测，利用算力网络在预设时间段内的历史数据预测算力网络当前时刻的数据，实现对算力网络数据的实时感知，避免频繁全量采集数据导致数据采控平台的开销过大的问题。
在本实施例中，在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，还包括：从算力网络中获得参数预测值满足算网资源需求的算力节点，得到候选节点；获得各个候选节点的服务效率值，其中，服务效率值为当前节点的剩余容量和总容量的比值；按照服务效率值从高到低的方式对所有候选节点进行排序，并基于预设编排策略从排序后的候选节点中确定目标节点。
具体地，定义算力网络中节点的服务效率准则为k，当前节点的已使用量记为U，当前节点的剩余容量记为L，当前节点的总容量为已使用量和剩余容量之和，则该节点的服务效率为
。在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，从中筛选出所有参数预测值满足算网资源需求的算力节点作为候选节点，对所有候选节点分别计算其对应的服务效率/>
，并按照服务效率/>
值的大小从高到低排列所有候选节点。
在一些实施例中，参数预测值包括算力资源预测值、网络资源预测值、存储资源预测值和安全等级预测值；从算力网络中获得资源预测值满足算网资源需求的算力节点，得到候选节点，包括：将算网资源需求分解为算力资源子需求、网络资源子需求、存储资源子需求和网络安全子需求；将算力网络中算力节点的资源预测值与算网资源需求作对比；若算力资源预测值满足算力资源子需求，网络资源预测值满足网络资源子需求，存储资源预测值满足存储资源子需求，且安全等级预测值满足网络安全子需求，则将对应的算力节点确定为候选节点。
在一些实施例中，由编排系统对算网资源需求进行分解。
需要说明的是，在不同的业务场景中，算力资源预测值、网络资源预测值、存储资源预测值和安全等级预测值对应的的具体指标会有所不同。例如，算力资源指标可能为通用算力、高性能算力、专用算力等指标中的一种或多种，网络资源指标可能为网络带宽、传输速率、网络时延等指标中的一种或多种，存储资源指标可能为存储容量、存储性能、可拓展容量等指标中的一种或多种，安全等级指标可能为安全等级、风险等级、节点故障率等指标中的一种或多种。在不同的业务场合，技术人员可根据当前的算网资源需求选择不同的指标预测值，本实施例对此不作限定。
例如，在某一业务场景中，编排系统将算网资源需求分解为算力资源子需求、网络资源子需求、存储资源子需求和网络安全子需求，其中，算力资源子需求为算力不低于16MIPS（每秒执行的百万指令数），网络资源子需求为传输速率不低于50Mb/s，存储资源子需求为存储容量不低于1GB，安全资源子需求为节点故障率不高于5%。在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，从算力网络中筛选出所有算力参数（例如算力）预测值不低于16MIPS、网络资源（例如传输速率）预测值不低于50Mb/s、存储资源（例如存储容量）预测值不低于1GB且安全等级（例如节点故障率）预测值不高于5%的算力节点，作为候选节点。
具体地，先从算力网络中筛选出所有算力参数预测值不低于16MIPS的算力节点，再从所有算力参数预测值不低于16MIPS的算力节点中筛选出所有网络资源预测值不低于50Mb/s的算力节点，接着从所有网络资源预测值不低于50Mb/s的算力节点中筛选出所有存储资源预测值不低于1GB的算力节点，最后从所有存储资源预测值不低于1GB的算力节点中筛选出所有安全等级预测值不高于5%的算力节点。
需要说明的是，筛选的顺序不一定是从算力参数预测值、网络资源预测值、存储资源预测值到安全等级预测值，因此本领域技术人员可根据实际情况自行筛选顺序。
此外，算网资源需求不一定对算力资源、网络资源、存储资源和网络安全等方面都有要求，因此本领域技术人员可根据实际情况响应不同的算网资源需求而进行设计。
对所有候选节点分别计算其对应的服务效率
，按照服务效率/>
值的大小从高到低排列所有候选节点，并基于预设编排策略从排序后的候选节点中确定目标节点。其中，预设编排策略可由技术人员根据实际需要进行调整，本实施例对此不作限定。
在一些实施例中，在基于预设的编排策略从排序后的候选节点中确定目标节点之后，包括：对目标节点进行实时数据采集，得到资源采集值；若目标节点的资源采集值和参数预测值之间的偏差小于或等于预设偏差值，则确定目标节点为最终目标节点。
在一些实施例中，若目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则发出提示信息。
由于目标节点是基于算网数据预测模型根据历史数据推测的预测值进行筛选的，在实际的业务场景中，在模型训练初期可能存在预测不精准的情况。
在一些实施例中，为了确保算力节点筛选的准确性，在基于预设的编排策略从排序后的候选节点中确定目标节点之后，需要对目标节点进行实时数据采集，得到资源采集值。若目标节点的资源采集值和参数预测值之间的偏差小于或等于预设偏差值，则确定目标节点为最终目标节点；若目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则向编排系统发出提示信息。
具体地，若目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则向编排系统发送对应的提示信息，编排系统可根据输入的指令或预设的调整策略确定是否保留该目标节点作为最终目标节点。
通过算网数据预测模型筛选出目标节点，再对目标节点进行实时数据采集，可在低量采集和查询的前提下确保节点筛选的准确性。
在一些实施例中，采用算网数据存储池中前一时刻的云参数数据和网络参数数据，以及前一时刻的用户操作记录对算网数据预测模型进行训练。
针对一个算力网络，算力网络的云参数数据和网络参数数据在t时刻的数据值集合记为
，用户在t时刻的操作记录数据集记为/>
，算力网络中各个节点的参数的概率分布记为/>
，用于训练模型的历史区间记为/>
，需要进行预测的区间记为/>
。其中，T为当前时刻，t0为最近一个采集周期的采集时刻。
用于训练模型的算力网络的云参数数据和网络参数数据的数据值集合可表示为：
算力网络中各个节点的参数的概率分布表达式可表示为：
需要说明的是，算网数据预测模型会根据历史数据预测出当前时刻算力网络的云参数数据和网络参数数据的概率分布，而概率分布由似然因子的乘积组成，即当前时刻算力网络的云参数数据和网络参数数据关于历史数据的概率分布可表示为：
进一步地，算网数据预测模型对输入的算力网络的云参数数据和网络参数数据的数据值集合
以及用户操作记录数据集/>
训练，得到LSTM每一层神经网络的输出/>
和模型参数/>
，以及训练后的网络的特征函数h，网络之间的输出满足：
其中，
为最近一个采集周期的神经网络的输出；/>
为最近一个采集周期的算力网络的云参数数据和网络参数数据数据值集合。
进一步地，基于模型建立数据相关性的似然函数：
似然函数是一个固定分布，其中的参数由神经网络的输出
经过仿射函数
的仿射获得，本领域技术人员可以理解，在此不再赘述。
进一步地，在模型训练的过程中，实现对数似然概率最大化。
需要说明的是，当对数似然概率最大化时，算网数据预测模型预测的数据误差最小。因此，在模型训练的过程中，训练的目标是提高对数似然，相当于在每条时序的每个时刻下，争取在模型参数下的对数似然概率最大化，其中，对数似然的表达式为：
其中，N表示训练似然对数过程中的累积量。
进一步地，在完成模型训练后，对模型输入算网数据存储池中前一时刻的云参数数据和网络参数数据以及当前时刻的用户操作记录，预测当前时刻下算力网络中各个节点的参数预测值。
下面对本发明提供的算力网络的数据感知装置进行描述，下文描述的算力网络的数据感知装置与上文描述的算力网络的数据感知方法可相互对应参照。
请参阅图3，图3是本发明算力网络的数据感知装置一实施例的结构示意图。
在本实施例中，算力网络的数据感知装置包括获取模块310和预测模块320。
获取模块310，用于通过算网数据存储池获得云参数数据和网络参数数据；其中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；
预测模块320，用于将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；
其中，算网数据预测模型根据时间序列预测算法进行数据预测。
在一些实施例中，云参数数据包括云资源数据和云性能数据，网络参数数据包括网络资源数据和网络性能数据；算力网络的数据感知装置还包括数据池建立模块，数据池建立模块用于：确定当前算力网络中已纳管的不同类型的数据云的个数；采集并保存每一数据云在预设时间段内的云资源数据和云性能数据；基于云资源数据和云性能数据获得云参数数据；采集算力网络在预设时间段内的网络资源数据和网络性能数据，获得网络参数数据；基于云参数数据和网络参数数据构建算网数据存储池。
在一些实施例中，算力网络的数据感知装置还包括节点筛选模块。
其中，节点筛选模块用于在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，筛选出目标节点。
在获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，筛选出目标节点，具体为：从算力网络中获得参数预测值满足算网资源需求的算力节点，得到候选节点；获得各个候选节点的服务效率值，其中，服务效率值为当前节点的剩余容量和总容量的比值；按照服务效率值从高到低的方式对所有候选节点进行排序，并基于预设编排策略从排序后的候选节点中确定目标节点。
在一些实施例中，参数预测值包括算力资源预测值、网络资源预测值、存储资源预测值和安全等级预测值；从算力网络中获得资源预测值满足算网资源需求的算力节点，得到候选节点，包括：将算网资源需求分解为算力资源子需求、网络资源子需求、存储资源子需求和网络安全子需求；将算力网络中算力节点的资源预测值与算网资源需求作对比；若算力资源预测值满足算力资源子需求，网络资源预测值满足网络资源子需求，存储资源预测值满足存储资源子需求，且安全等级预测值满足网络安全子需求，则将对应的算力节点确定为候选节点。
在一些实施例中，算力网络的数据感知装置还包括数据查询模块，数据查询模块用于在基于预设的编排策略从排序后的候选节点中确定目标节点之后，查询节点的实时数据，并确定最终目标节点，具体为：对目标节点进行实时数据采集，得到资源采集值；若目标节点的资源采集值和参数预测值之间的偏差小于或等于预设偏差值，则确定目标节点为最终目标节点；若目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则发出提示信息。
在一些实施例中，算力网络的数据感知装置还包括预测模型建立模块，预测模型建立模块用于：建立初始算网数据预测模型；以样本时刻采集的云参数数据样本，样本时刻采集的网络参数数据样本以及对应样本时刻的参数采集值标签作为输入项，以预设操作记录作为协变量，对初始算网数据预测模型进行训练，得到算网数据预测模型。
本发明还提供一种电子设备，请参阅图4，图4是本发明电子设备一实施例的结构示意图。在本实施例中，电子设备可以包括存储器(memory)420、处理器(processor)410及存储在存储器420上并可在处理器410上运行的计算机程序。处理器410执行程序时实现上述各方法所提供的算力网络的数据感知方法。
可选地，电子设备还可以包括通信总线430和通信接口(CommunicationsInterface)440，其中，处理器410，通信接口440，存储器420通过通信总线430完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行算力网络的数据感知方法，该方法包括：通过算网数据存储池获得云参数数据和网络参数数据；其中，算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；将云参数数据和网络参数数据输入至算网数据预测模型中，获得算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；其中，算网数据预测模型根据时间序列预测算法进行数据预测。
此外，上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的算力网络的数据感知方法，其步骤和原理在上述方法已详细介绍，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种算力网络的数据感知方法，其特征在于，包括：
通过算网数据存储池获得云参数数据和网络参数数据；其中，所述算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；
将所述云参数数据和所述网络参数数据输入至算网数据预测模型中，获得所述算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；
其中，所述算网数据预测模型根据时间序列预测算法进行数据预测。
2.根据权利要求1所述的算力网络的数据感知方法，其特征在于，在获得所述算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值之后，还包括：
从算力网络中获得参数预测值满足算网资源需求的算力节点，得到候选节点；
获得各个候选节点的服务效率值，其中，所述服务效率值为当前节点的剩余容量和总容量的比值；
按照所述服务效率值从高到低的方式对所有候选节点进行排序，并基于预设编排策略从排序后的候选节点中确定目标节点。
3.根据权利要求2所述的算力网络的数据感知方法，其特征在于，在基于预设的编排策略从排序后的候选节点中确定目标节点之后，包括：
对所述目标节点进行实时数据采集，得到资源采集值；
若所述目标节点的资源采集值和参数预测值之间的偏差小于或等于预设偏差值，则确定所述目标节点为最终目标节点。
4.根据权利要求2所述的算力网络的数据感知方法，其特征在于，所述参数预测值包括算力资源预测值、网络资源预测值、存储资源预测值和安全等级预测值；
从算力网络中获得资源预测值满足算网资源需求的算力节点，得到候选节点，包括：
将所述算网资源需求分解为算力资源子需求、网络资源子需求、存储资源子需求和网络安全子需求；
将算力网络中算力节点的资源预测值与所述算网资源需求作对比；
若所述算力资源预测值满足所述算力资源子需求，所述网络资源预测值满足所述网络资源子需求，所述存储资源预测值满足所述存储资源子需求，且所述安全等级预测值满足所述网络安全子需求，则将对应的算力节点确定为候选节点。
5.根据权利要求1所述的算力网络的数据感知方法，其特征在于，所述云参数数据包括云资源数据和云性能数据，所述网络参数数据包括网络资源数据和网络性能数据；
在通过算网数据存储池获得云资源数据和网络资源数据之前，包括：
确定当前算力网络中已纳管的不同类型的数据云的个数；
采集并保存每一数据云在预设时间段内的云资源数据和云性能数据；
基于所述云资源数据和所述云性能数据获得所述云参数数据；
采集算力网络在预设时间段内的网络资源数据和网络性能数据，获得所述网络参数数据；
基于所述云参数数据和所述网络参数数据构建所述算网数据存储池。
6.根据权利要求3所述的算力网络的数据感知方法，其特征在于，在对所述目标节点进行实时数据采集，得到资源采集值之后，包括：
若所述目标节点的资源采集值和资源预测值之间的偏差大于预设偏差值，则发出提示信息。
7.根据权利要求1所述的算力网络的数据感知方法，其特征在于，在将所述云参数数据和所述网络参数数据输入至算网数据预测模型中之前，包括：
建立初始算网数据预测模型；
以样本时刻采集的云参数数据样本，样本时刻采集的网络参数数据样本以及对应样本时刻的参数采集值标签作为输入项，以预设操作记录作为协变量，对所述初始算网数据预测模型进行训练，得到所述算网数据预测模型。
8.一种算力网络的数据感知装置，其特征在于，包括：
获取模块，用于通过算网数据存储池获得云参数数据和网络参数数据；其中，所述算网数据存储池包括算力网络在预设时间段内的云参数数据和网络参数数据；
预测模块，用于将所述云参数数据和所述网络参数数据输入至算网数据预测模型中，获得所述算网数据预测模型输出的当前时刻下算力网络中各个节点的参数预测值；
其中，所述算网数据预测模型根据时间序列预测算法进行数据预测。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行程序时实现如权利要求1至7任一项所述的算力网络的数据感知方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的算力网络的数据感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143473.6A CN115883392B (zh) | 2023-02-21 | 2023-02-21 | 算力网络的数据感知方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143473.6A CN115883392B (zh) | 2023-02-21 | 2023-02-21 | 算力网络的数据感知方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115883392A true CN115883392A (zh) | 2023-03-31 |
| CN115883392B CN115883392B (zh) | 2023-06-02 |
Family
ID=85761427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310143473.6A Active CN115883392B (zh) | 2023-02-21 | 2023-02-21 | 算力网络的数据感知方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115883392B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785482A (zh) * | 2024-02-26 | 2024-03-29 | 广州尚航信息科技股份有限公司 | 一种算力网络的算力调度系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088747A (zh) * | 2018-07-10 | 2018-12-25 | 郑州云海信息技术有限公司 | 云计算系统中资源的管理方法和装置 |
| CN110059858A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 服务器资源预测方法、装置、计算机设备及存储介质 |
| WO2020119051A1 (zh) * | 2018-12-10 | 2020-06-18 | 平安科技（深圳）有限公司 | 云平台资源使用预测方法及终端设备 |
| CN113435472A (zh) * | 2021-05-24 | 2021-09-24 | 西安电子科技大学 | 车载算力网络用户需求预测方法、系统、设备、介质 |
| CN113886454A (zh) * | 2021-08-13 | 2022-01-04 | 浙江理工大学 | 一种基于lstm-rbf的云资源预测方法 |
| CN115482928A (zh) * | 2022-07-12 | 2022-12-16 | 平安科技（深圳）有限公司 | 基于人工智能的数据预测方法、装置、设备及存储介质 |
| WO2023005702A1 (zh) * | 2021-07-28 | 2023-02-02 | 腾讯科技（深圳）有限公司 | 基于边缘计算的数据处理方法、装置、设备及存储介质 |
| CN115689543A (zh) * | 2021-07-27 | 2023-02-03 | 中国移动通信有限公司研究院 | 基于区块链的算力感知网络的功能体系以及算力管理方法 |
-
2023
- 2023-02-21 CN CN202310143473.6A patent/CN115883392B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088747A (zh) * | 2018-07-10 | 2018-12-25 | 郑州云海信息技术有限公司 | 云计算系统中资源的管理方法和装置 |
| WO2020119051A1 (zh) * | 2018-12-10 | 2020-06-18 | 平安科技（深圳）有限公司 | 云平台资源使用预测方法及终端设备 |
| CN110059858A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 服务器资源预测方法、装置、计算机设备及存储介质 |
| CN113435472A (zh) * | 2021-05-24 | 2021-09-24 | 西安电子科技大学 | 车载算力网络用户需求预测方法、系统、设备、介质 |
| CN115689543A (zh) * | 2021-07-27 | 2023-02-03 | 中国移动通信有限公司研究院 | 基于区块链的算力感知网络的功能体系以及算力管理方法 |
| WO2023005702A1 (zh) * | 2021-07-28 | 2023-02-02 | 腾讯科技（深圳）有限公司 | 基于边缘计算的数据处理方法、装置、设备及存储介质 |
| CN113886454A (zh) * | 2021-08-13 | 2022-01-04 | 浙江理工大学 | 一种基于lstm-rbf的云资源预测方法 |
| CN115482928A (zh) * | 2022-07-12 | 2022-12-16 | 平安科技（深圳）有限公司 | 基于人工智能的数据预测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 郝鸿延: "《基于前馈神经网络的时间序列预测问题研究》", 《CNKI优秀硕士学位论文全文库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785482A (zh) * | 2024-02-26 | 2024-03-29 | 广州尚航信息科技股份有限公司 | 一种算力网络的算力调度系统及方法 |
| CN117785482B (zh) * | 2024-02-26 | 2024-05-24 | 广州尚航信息科技股份有限公司 | 一种算力网络的算力调度系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115883392B (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115497272B (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
| CN109753356A (zh) | 一种容器资源调度方法、装置及计算机可读存储介质 | |
| CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
| CN112633316B (zh) | 一种基于边界估值理论的负荷预测方法和装置 | |
| CN117078048B (zh) | 基于数字孪生的智慧城市资源管理方法及系统 | |
| CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
| CN115080248B (zh) | 调度装置的调度优化方法、调度装置和存储介质 | |
| CN112214316A (zh) | 基于物联网的数据资源分配方法及云计算服务器 | |
| CN115883392B (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
| CN113688490A (zh) | 网络共建共享处理方法、装置、设备及存储介质 | |
| CN114138977A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN114172819B (zh) | Nfv网元的需求资源预测方法、系统、电子设备和存储介质 | |
| CN113660687B (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
| CN112925634A (zh) | 异构资源调度方法和系统 | |
| CN113839799A (zh) | 一种告警关联规则挖掘方法及装置 | |
| CN115600818A (zh) | 多维评分方法、装置、电子设备和存储介质 | |
| CN115037625B (zh) | 网络切片处理方法、装置、电子设备及可读存储介质 | |
| CN116108276A (zh) | 基于人工智能的信息推荐方法、装置及相关设备 | |
| CN116149848A (zh) | 负载预测方法、装置、电子设备及存储介质 | |
| CN113946717A (zh) | 一种子图指标特征获得方法、装置、设备及存储介质 | |
| CN113064812A (zh) | 一种项目开发过程质量缺陷预测方法、装置及介质 | |
| CN112925831A (zh) | 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统 | |
| CN115102852B (zh) | 物联网业务开通方法、装置、电子设备及计算机介质 | |
| CN110807599A (zh) | 电化学储能方案的决策方法、装置、服务器和存储介质 | |
| CN116843203B (zh) | 服务接入处理方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |