CN116910144A - 算力网络资源中心、算力服务系统以及数据处理方法 - Google Patents

Abstract

本申请实施例公开了一种算力网络资源中心、算力服务系统以及数据处理方法，其中，算力网络资源中心包括：数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；算力度量模块，用于按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。根据该技术方案，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，对外提供算力资源服务。

Description

算力网络资源中心、算力服务系统以及数据处理方法

技术领域

本申请实施例涉及数据处理技术领域，具体涉及一种算力网络资源中心、算力服务系统以及数据处理方法。

背景技术

在目前的算力服务网络中通常包括算力感知管理能力、算力调度编排能力、网络调度编排能力和算力服务调度编排能力。算力服务调度编排能力是指需要根据用户需求，调用网络调度编排能力和算力调度编排能力，为用户提供算力和网络的集成服务。目前算力服务网络各个领域处于发展初期，算力服务网络的整体功能划分尚没有统一的方案，算力资源的纳管、感知尚没有成熟的整体技术架构方案，且无法满足多层次超大规模算网资源数据纳管要求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的算力网络资源中心、算力服务系统以及数据处理方法。

根据本申请实施例的一个方面，提供了一种算力网络资源中心，包括：

数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；

数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；

算力度量模块，用于按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。

根据本申请实施例的另一个方面，提供了一种算力服务系统，包括：算力管理系统以及上述的算力网络资源中心；

算力网络资源中心通过统一数据接口与算力管理系统进行交互，为算力管理系统提供算力度量服务和资源纳管服务。

根据本申请实施例的另一个方面，提供了一种用于算力网络资源中心的数据处理方法，包括：

根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；

对采集到的各种数据进行预处理与入库处理；

按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。

根据本申请实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述用于算力网络资源中心的数据处理方法对应的操作。

根据本申请实施例的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述用于算力网络资源中心的数据处理方法对应的操作。

根据本申请实施例提供的算力网络资源中心、算力服务系统以及数据处理方法，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，对外提供算力资源服务；采用级联数据过滤与处理，便捷地实现了异构算力数据采集和数据清洗；并且，利用区块链的防篡改性以及加密算法技术，为数据防篡改提供了可信的数据对比源，消除了数据存入hive后被篡改和传输过程中被篡改的安全威胁，有效地保证了数据的可信度。

上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的算力网络资源中心的结构框图；

图2示出了根据本申请一个实施例的算力网络资源中心的实现架构示意图；

图3示出了根据本申请一个实施例的算力网络资源中心的数据处理示意图；

图4示出了一种异构多云算力网络拓扑结构图；

图5示出了一种基于区块链的数据防篡改的流程示意图；

图6示出了根据本申请一个实施例的算力服务系统的结构框图；

图7示出了根据本申请一个实施例的用于算力网络资源中心的数据处理方法的流程示意图；

图8示出了根据本申请一个实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的算力网络资源中心的结构框图，如图1所示，算力网络资源中心包括：数据采集模块101、数据预处理模块102以及算力度量模块103。

数据采集模块101用于：根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据。

本实施例使用流处理和批处理协同的大数据处理方案，并融入人工智能以及区块链能力，能够统一纳管异构多云算网设备，并实现实时、准确的多元数据纳管以及分析预测能力。

为了更好地进行数据处理，针对不同实时性要求的数据设计了不同的数据处理方式。数据采集模块101进一步用于：确定算力网络中的各种数据的实时性要求；采用流处理方式实时采集实时性要求为第一等级的数据，定时批量采集实时性要求为第二等级的数据；其中，第一等级高于第二等级。各种数据包括：性能数据、告警数据、工单数据以及资源数据，各种数据还可包括：割接数据、动环数据以及其他数据等。

具体地，可将实时性要求分成两个等级，例如第一等级和第二等级，其中，第一等级高于第二等级。即实时性要求为第一等级的数据具有较高的实时性要求，例如性能数据、告警数据以及工单数据等；实时性要求为第二等级的数据具有较低的实时性要求，例如资源数据等。

图2示出了根据本申请一个实施例的算力网络资源中心的实现架构示意图，如图2所示，在数据处理的实现架构层面，将其分为数据源层、数据传输采集层、数据清洗/处理/存储层、应用数据存储层以及数据服务层。

在数据源层中，多云平台根据所需数据特性要求，数据采集模块101进一步用于：采用消息队列对接实时性要求为第一等级的数据对应的数据源，采用数据库和REST接口对接实时性要求为第二等级的数据对应的数据源，定时同步更新。

如图2所示，在数据传输采集层中，通过对数据，使用Flink流处理框架以及Flume工具实现对性能数据、告警数据、工单数据等实时性要求为第一等级的数据的实时采集；对于批量同步的资源数据，采用异构数据源离线同步工具(例如DataX)进行数据库表的定时采集同步处理，资源数据做差异化比对采集处理。

数据预处理模块102用于：对采集到的各种数据进行预处理与入库处理。

具体地，数据预处理模块102进一步用于：对实时性要求为第一等级的数据进行汇总并存储至搜索引擎中；将实时性要求为第二等级的数据存储至数据存储层中，并调度数据分析工具对数据存储层中的数据进行处理，而后存储至关系型数据库；针对各种数据中的指定数据，调用机器学习模型，对指定数据对应的处理方案进行预测，将预测得到的处理方案存储至搜索引擎中。

可选地，数据预处理模块102进一步用于：利用多级Flume工具对采集到的各种数据进行数据清洗、数据填充以及入库处理。

如图2所示，在数据清洗/处理/存储层中，针对实时性要求高的性能数据、告警数据等的处理需求，沿用Flink流式处理框架，在窗口中完成轻度汇总计算后向下游输出数据，与此同时针对指定数据，例如告警数据，根据告警专题的智能化需求，告警数据实时的调用机器学习模型，预测出告警数据对应的处理方案；针对实时性要求较低的资源数据，汇总计算需求，将数据存储至HDFS等大数据存储层，调度Hive、MapReduce、Impala等OLAP数据分析工具，实现ODS层到DWD层、最后到DWS层的时间及空间维度的数据汇总工作。

在应用数据存储层中，针对应用获取数据的场景，针对告警数据、工单数据等数据存储入ES搜索引擎中，满足用户对于大量历史工单告警的模糊查询需求；针对性能数据、资源数据，存储入传统的关系型数据库，满足用户对于该类数据的查询以及轻度的实时分析需求；针对外部系统协商的实时获取数据要求，可以把如工单数据、告警数据等处理后的数据存放到消息队列，供外部系统实时获取。

算力度量模块103用于：按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。

如图2所示，在数据服务层中，针对对内以及对外的数据接口实现统一的规划，采用微服务框架并统一接口规范，提供基于REST的接口供应用查询数据API。

本实施例围绕算力网络资源中心的海量数据处理场景，并将未来算力感知、智能预测等大量需要机器学习和数据处理的场景纳入设计范围。数据在经过数据通道进入数据仓的同时，新增了模型训练部分，并且将其在流式处理层进行使用。同时流式处理层不单单只使用模型，也会通过历史数据的累积对模型进行持续的训练。本方案在流处理层新增了模型预测相关处理逻辑，流处理层除了使用模型，还包含着对模型的持续训练的能力，可满足多云智能工单实时分析等面向AI及机器学习的场景。

可选地，本实施例还可利用多级Flume工具对采集到的各种数据进行数据清洗、数据填充以及入库处理。图3示出了根据本申请一个实施例的算力网络资源中心的数据处理示意图，根据图3对本实施例的方案细节进一步阐述如下：

1)多级原始数据采集清洗的结构：在执行批处理的过程中，使用了级联的Flume工具完成异构数据的清洗和入库。具体方法为，先使用一级的Flume工具将混合的数据流分类到单一类型的kafka topic消息队列中，并按照预设规则过滤掉无效的数据消息，比如时间戳超前的数据，接口协议外的消息等，然后利用二级Flume工具完成数据字段的提取匹配和格式化，按照业务相关规则汇总入库，将指定时间粒度的数据按照数据类型写入对应的hadoop hdfs分布式文件系统的hive数据库表，周期性(例如15分钟粒度)地汇总性能等数据，然后将汇总数据写入PostgreSQL数据库中，供上层业务应用调取。级联数据过滤与处理，可以通过文件配置适应多变的异构算力数据的类型和格式，对上提供稳定的算力资源纳管数据信息。

在执行flink流处理过程中，flink也同样接入一级Flume工具预处理后的单一类型的数据kafka topic消息队列，通过解析性能数据和告警数据等实时数据，按照预定规则做进一步的数据清洗，数据填充，统计后，将数据入库供上层业务应用调取显示。使用流式处理可以实时汇总性能和告警数据在监控大屏上呈现，时延较短。本方案采用级联数据过滤与处理，可以适应多变的异构算力数据的类型和格式，对上提供稳定的算力资源纳管数据信息。

2)结合批处理统计计算的结果，自适应设置流处理延时计算水位线的方法：通常流式处理系统在数据延时比较长时，流式处理有可能还没有等到数据都搜集完整，就已经开始汇总计算并呈现。为了等待更多的数据到来后再进行汇总计算，可以通过设置水位线(watermark)来推迟数据汇总的操作。合适的水位线设置可以缓解计算的及时性和准确的矛盾。

批处理的数据一般都是等数据到齐了，才开始进行运算，汇总结果是比较准确的，本实施例利用批处理的历史统计信息自适应地设置延时计算的水位线。具体方法是，周期性地构建异构多云算力网络拓扑结构图，如图4所示，在多云异构算力网络的资源池层次，统计各个资源池的最迟延时时间(可以取过去6小时内95％的数据的最大延时时间作为资源池的最迟延迟时间)。然后，存入redis中，作为配置信息。在多云算网资源纳管场景下，利用多云拓扑等特征采样技术，针对性的解决实时性和准确性的技术要求，满足大屏显示和多云工作台对数据的不同需求。

流处理在处理消息数据时，不只按照时间间隔分桶，而且按照资源池拓扑层次分桶，并计数，取100％数据到来的时间和预先存在redis中的资源池最迟延时时间中较短时间作为该数据桶本采集周期的汇总计算时间。这种基于历史统计数据的汇总延时时间设置方法更能适应网络延时和数据延时的实时变动。本方案利用批处理中多云拓扑统计信息，自动调整flink汇总延时水位线，最大限度地满足数据汇总的及时性和准确的要求。

3)基于benchmark测量程序的算力度量方案：算力网络的管理需要实时获取算力资源(即资源数据)的状态，并对算力进行标准度量后，按照要求上报。本实施例增加算力度量模块，预先存储按照业务分类的多个算力测量模型(benchmark program)，包括但不限于通用计算能力(CPU浮点数计算能力)模型，科学计算模型(双精度以上)，AI神经网络计算(GPU浮点数计算能力)，实时数据处理，大数据高吞吐模型，大数据高并发模型，实时交互计算模型，多数据中心协同计算模型等业务类型，计算资源入网后，系统按照资源登记类型，下发算力测量模型，搜集测量得到CPU浮点计算能力与计算精度，GPU浮点计算能力与计算精度，能耗等数据，作为算力资源基础数据进行存储。然后逐级按照POD，AZ和资源池进行算力汇总。

实时空闲算力度量公式为CPU/GPU浮点计算能力与性能利用率的乘积，在POD，AZ和资源池维度做累加后上报。本实施例周期性按照分业务的算力模型进行空闲算力汇总和上报。如图3所示，也可以根据接口1(即统一数据接口)的交互查询模型，响应上层算力管理系统的业务查询。接口1主要是查询-响应接口设计，可以采用HTTP协议对上提供查询服务。其中，协议交互内容包括：指定算力业务类型、算力要求(如通用计算CPU每秒浮点运算次数或科学计算精度指标，AI计算GPU每秒浮点运算次数等)；还包括：本系统通过搜索实时空闲算力度量数据答复是否满足算力要求，以及满足要求的资源池和进一步的POD候选列表等信息。本方案预先按照业务类型存储算力测量模型，通过下发测试模型得到的测量算力测量数据，作为算力资源基础数据进行存储并提供查询服务。

4)算力管理要求算力网络资源中心对资源数据、性能数据等数据的感知采集是准确的，算力调度系统和算力服务计费系统等业务功能都依赖算力资源数据的准确性。

可选地，还可将数据上链存储并进行防篡改处理。具体地，算力网络资源中心还包括：数据上链模块104和数据防篡改模块105。其中，数据上链模块104用于针对各种数据中的至少一种数据，对至少一种数据进行加密处理，得到校验码；利用校验码与至少一种数据生成数据键值组，将数据键值组发送至kafka集群；通过消费端对kafka集群中的数据键值组进行消费并存储至对应分区；利用智能合约，将分区中的数据进行上链存储。数据防篡改模块105用于：将分区中的数据与上链数据进行对比，以检测分区中的数据是否被篡改。在利用智能合约，将分区中的数据进行上链存储之后，还可将分区中的数据与上链数据进行对比，以检测分区中的数据是否被篡改。

本实施例还提出了一种基于区块链的防篡改方案，结合国密算法以及高斯聚合模型，防止采集数据在采集或传输中被恶意篡改。下面以保障算力资源的性能数据的可信度为例，对数据上链和防篡改进行介绍，图5示出了一种基于区块链的数据防篡改的流程示意图，如图5所示，其中，主要包括：对性能数据加工并上传至区块链、生成模型并上链以及性能数据比对这三个部分。

其中，(1)对性能数据加工并上传至区块链的具体实施方式包括：

A1：设备通过内置的代理(agent)，将需要上传的设备ip地址、总核数bk_cpu_sum以及总内存bk_mem_sum等主要性能参数进行加密，通过国密算法SM2算出其256位校验码，其中，国密算法是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，保证上传的的重要参数不会被篡改。

A2：设备将计算出来的校验码用SMCoud作为前缀跟对应信息合并生成key值组成json格式，与设备的性能参数组装一起发送省端平台，省端平台将收到的信息再以生产者方式发送kafka。

A3：flume通过注册kafka消费者，消费省端平台发送的性能数据，并将数据存入hive(数据仓库工具)对应的分区。

A4：数据上链平台采用国密算法，对hive中增加的分区文件的主要参数处理加密生成256位校验码，平台区块链对应的私钥，将生成的校验码发送数据上链平台。

A5：利用智能合约，将平台接收的数据进行上链存储。具体地，系统包含了数据存储模块和私钥签名模块。数据存储模块保存加密后的分区信息。私钥签名模块将数据存储模块中的数据生成元数据，并用私钥对元数据进行签名，向区块链网络节点传输签名后的数据。数据存储模块中的加密信息的原始录入和每次变更后都通过区块链模块进行传输和保存，以保证不被恶意篡改，提高了数据安全性，同时通过哈希环技术，对该节点的区块存储信息进行映射，将区块链的存储信息映射到区块链配置的mysql中，此mysql数据库写权限只提供给区块链智能合约，对外只提供读权限。

A6：定时获取hive中数据，通过国密算法对指定分区数据进行加密算法获取即时校验码，获取区块链配置的mysql数据库上对应的校验码，将获取校验码与算出的即时校验码对比，如果一致，则说明hive文件未被篡改，hive中该分区数据可用，如不一致，则说明该分区文已被篡改，将该分区文件名称写入异常文件记录表中，保证分区文件的对比可信度。本方案利用区块链的防篡改性，保障上链数据的可信性，对hive中各分区数据特性通过国密算法加密后生成的字节上链，用上链数据做对比检测，通过上链数据检测平台对hive分区数据与上链数据进行对比，保障hive中数据未被篡改，保证数据的可信度，通过提供可靠的数据集来完成数据篡改检测。

(2)生成模型并上链的具体实施方式包括：

A1：flink注册kafka消费性能数据，flink将SMCoud数据进行解密，并将解密后的数据写入hdfs中。定期将解密后的数据输入到高斯混合聚合算法模型中，进行数据训练，生成高斯混合算法公式。

A2：将生成的公式与之前存贮的公式进行对比，如数据库中无对应的公式存储，则直接存储，同步到redis中。如redis中已经存贮了高斯混合算法公式，对比两个公式的参数，如相同，则不做修改，若公式发生了变化，则替换redis中公式。

(3)性能数据比对的具体实施方式包括：

A1：消费kafka数据，从redis中获取对应的高斯聚合公式进行计算，如数据经过计算后属于正常数据族，则消费后续数据，通过高斯聚合公式可以大大减少匹配的数据次数，提高系统的性能。本方案引入了人工智能高斯聚合模型，实时进行异常数据分类预测，针对问题数据减少海量数据匹配带来的系统负荷，保障数据的安全性。

A2：如计算后不属于正常数据族，则根据数据参数计算出数据存贮的分区文件名称，到异常文件表中查询，如异常表中有该文件，说明数据不可靠。已被篡改，将该数据写入数据篡改记录表中。

A3：如异常文件表中无此分区文件，则说明该分区通过上链数据检测平台区检测后，数据是上平台存储原始数据，并未被篡改，可进行后续对比，查询分区文件中实际上传数据，与加密码解码后的数据进行对比，如数据一致，则数据正常，如数据不一致，说明数据被篡改，将数据写入异常数据表中。

根据本申请实施例提供的用于算力网络资源中心的数据处理方法，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，对外提供算力资源服务；还利用区块链的防篡改性，保障上链数据的可信性，通过上链数据检测平台对hive分区数据与上链数据进行对比，保障hive中数据未被篡改，保证数据的可信度，并且引入了人工智能高斯聚合模型，实时进行异常数据分类预测，针对问题数据减少海量数据匹配带来的系统负荷，保障数据的安全性。

图6示出了根据本申请一个实施例的算力服务系统的结构框图，如图6所示，该算力服务系统包括：算力管理系统601以及上述各实施例的算力网络资源中心602；其中，算力网络资源中心602通过统一数据接口与算力管理系统601进行交互，为算力管理系统601提供算力度量服务和资源纳管服务。

图7示出了根据本申请一个实施例的用于算力网络资源中心的数据处理方法的流程示意图，如图7所示，该方法包括如下步骤：

步骤S701，根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据。

可选地，确定算力网络中的各种数据的实时性要求。其中，各种数据包括：性能数据、告警数据、工单数据以及资源数据。采用流处理方式实时采集实时性要求为第一等级的数据，定时批量采集实时性要求为第二等级的数据；其中，第一等级高于第二等级。

可选地，采用消息队列对接实时性要求为第一等级的数据对应的数据源；采用数据库和REST接口对接实时性要求为第二等级的数据对应的数据源。

步骤S702，对采集到的各种数据进行预处理与入库处理。

可选地，在步骤S702中，对实时性要求为第一等级的数据进行汇总并存储至搜索引擎中；将实时性要求为第二等级的数据存储至数据存储层中，并调度数据分析工具对数据存储层中的数据进行处理，而后存储至关系型数据库；针对各种数据中的指定数据，调用机器学习模型，对指定数据对应的处理方案进行预测，将预测得到的处理方案存储至搜索引擎中。

可选地，在步骤S702中，利用多级Flume工具对采集到的各种数据进行数据清洗、数据填充以及入库处理。

步骤S703，按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。

可选地，该方法还包括：针对各种数据中的至少一种数据，对至少一种数据进行加密处理，得到校验码；利用校验码与至少一种数据生成数据键值组，将数据键值组发送至kafka集群；通过消费端对kafka集群中的数据键值组进行消费并存储至对应分区；利用智能合约，将分区中的数据进行上链存储。

可选地，该方法还包括：将分区中的数据与上链数据进行对比，以检测分区中的数据是否被篡改。

以上各步骤的描述参照算力网络资源中心实施例中对应的描述，在此不再赘述。

根据本申请实施例提供的用于算力网络资源中心的数据处理方法，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，并通过统一数据接口对外提供算力资源服务；采用级联数据过滤与处理，便捷地实现了异构算力数据采集和数据清洗；并且，利用区块链的防篡改性以及加密算法技术，为数据防篡改提供了可信的数据对比源，消除了数据存入hive后被篡改和传输过程中被篡改的安全威胁，有效地保证了数据的可信度。

本申请实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的用于算力网络资源中心的数据处理方法。

图8示出了根据本申请实施例的一种计算设备的结构示意图，本申请实施例的具体实施例并不对计算设备的具体实现做限定。

如图8所示，该计算设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中：

处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器802，用于执行程序810，具体可以执行上述用于算力网络资源中心的数据处理方法实施例中的相关步骤。

具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。

处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序810具体可以用于使得处理器802执行上述任意方法实施例中的用于算力网络资源中心的数据处理方法。程序810中各步骤的具体实现可以参见上述用于算力网络资源中心的数据处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请实施例的内容，并且上面对特定语言所做的描述是为了披露本申请实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请实施例的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请实施例的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请实施例的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例中的一些或者全部部件的一些或者全部功能。本申请实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请实施例进行说明而不是对本申请实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (13)

1.一种算力网络资源中心，其特征在于，包括：

数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与所述实时性要求对应的数据采集方式采集所述各种数据；

数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；

算力度量模块，用于按照预设的算力测量模型对所述各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对所述算力汇总数据进行上报。

2.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据采集模块进一步用于：

确定所述算力网络中的各种数据的实时性要求；

采用流处理方式实时采集所述实时性要求为第一等级的数据，定时批量采集所述实时性要求为第二等级的数据；其中，所述第一等级高于所述第二等级。

3.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据采集模块进一步用于：

采用消息队列对接所述实时性要求为第一等级的数据对应的数据源；

采用数据库和REST接口对接所述实时性要求为第二等级的数据对应的数据源。

4.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据预处理模块进一步用于：

对所述实时性要求为第一等级的数据进行汇总并存储至搜索引擎中；

将所述实时性要求为第二等级的数据存储至数据存储层中，并调度数据分析工具对所述数据存储层中的数据进行处理，而后存储至关系型数据库；

针对所述各种数据中的指定数据，调用机器学习模型，对所述指定数据对应的处理方案进行预测，将预测得到的处理方案存储至搜索引擎中。

5.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据预处理模块进一步用于：

利用多级Flume工具对采集到的各种数据进行数据清洗、数据填充以及入库处理。

6.根据权利要求1-5任一项所述的算力网络资源中心，其特征在于，所述算力网络资源中心还包括：

数据上链模块，用于针对所述各种数据中的至少一种数据，对所述至少一种数据进行加密处理，得到校验码；利用所述校验码与所述至少一种数据生成数据键值组，将所述数据键值组发送至kafka集群；通过消费端对所述kafka集群中的所述数据键值组进行消费并存储至对应分区；利用智能合约，将所述分区中的数据进行上链存储；

数据防篡改模块，用于将所述分区中的数据与上链数据进行对比，以检测所述分区中的数据是否被篡改。

7.一种算力服务系统，其特征在于，包括：算力管理系统以及权利要求1-6任一项所述的算力网络资源中心；

所述算力网络资源中心通过统一数据接口与所述算力管理系统进行交互，为所述算力管理系统提供算力度量服务和资源纳管服务。

8.一种用于算力网络资源中心的数据处理方法，其特征在于，包括：

根据算力网络中的各种数据的实时性要求，采用与所述实时性要求对应的数据采集方式采集所述各种数据；

对采集到的各种数据进行预处理与入库处理；

按照预设的算力测量模型对所述各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对所述算力汇总数据进行上报。

9.根据权利要求8所述的方法，其特征在于，所述根据算力网络中的各种数据的实时性要求，采用与所述实时性要求对应的数据采集方式采集所述各种数据进一步包括：

确定所述算力网络中的各种数据的实时性要求；

采用流处理方式实时采集所述实时性要求为第一等级的数据，定时批量采集所述实时性要求为第二等级的数据；其中，所述第一等级高于所述第二等级。

10.根据权利要求8所述的方法，其特征在于，所述对采集到的各种数据进行预处理与入库处理进一步包括：

对所述实时性要求为第一等级的数据进行汇总并存储至搜索引擎中；

将所述实时性要求为第二等级的数据存储至数据存储层中，并调度数据分析工具对所述数据存储层中的数据进行处理，而后存储至关系型数据库；

针对所述各种数据中的指定数据，调用机器学习模型，对所述指定数据对应的处理方案进行预测，将预测得到的处理方案存储至搜索引擎中。

11.根据权利要求8-10任一项所述的方法，其特征在于，所述方法还包括：

针对所述各种数据中的至少一种数据，对所述至少一种数据进行加密处理，得到校验码；

利用所述校验码与所述至少一种数据生成数据键值组，将所述数据键值组发送至kafka集群；

通过消费端对所述kafka集群中的所述数据键值组进行消费并存储至对应分区；

利用智能合约，将所述分区中的数据进行上链存储；

将所述分区中的数据与上链数据进行对比，以检测所述分区中的数据是否被篡改。

12.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8-11中任一项所述的用于算力网络资源中心的数据处理方法对应的操作。

13.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求8-11中任一项所述的用于算力网络资源中心的数据处理方法对应的操作。