CN114297041A - 网络异构计算平台测试方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种网络异构计算平台测试方法、装置、计算机设备和存储介质。所述方法包括：获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；获取每一测试指标包含的每一子测试指标对应的评价分数；对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。由于从六个维度对网络异构计算平台进行测试验证，实现对网络异构计算平台全面的测试，从而提高网络异构计算平台的测试结果的精确性。

Description

网络异构计算平台测试方法、装置和计算机设备

技术领域

本申请涉及网络异构计算平台技术领域，特别是涉及一种网络异构计算平台测试方法、装置、计算机设备和存储介质。

背景技术

随着机器学习、人工智能和工业仿真等技术快速发展，面对计算类型多元化和计算量指数增长等需求，网络异构计算平台成为大规模数据中心算力搭建的首选方案。从20世纪80年代以来，异构计算经历了CPU+GPU、FPGA等多种路线之争。随着虚拟化，新一代网络技术的发展，以光纤网和以太网为数据交换方式的分布式网络异构计算平台异军突起，成为物联网、区块链、人工智能相关应用的重要基础支撑。

为了提高网络异构计算平台的计算效率，通常在网络异构计算平台实际应用部署前，会对网络异构计算平台进行测试验证。相关技术中，从网络异构计算平台的计算性能、网络性能及算法优化三个方面的其中任一方面实现对网络异构计算平台的测试验证。但是只从单一方面对网络异构计算平台进行测试验证，具有一定的局限性和专用性，存在网络异构计算平台的测试结果不精确的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高网络异构计算平台的测试结果精确性的网络异构计算平台测试方法、装置、计算机设备和计算机可读存储介质。

第一方面，本申请提供了一种网络异构计算平台测试方法。所述方法包括：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

分别获取计算任务在通过网络异构计算平台的资源管理系统调度时的第一调度时长以及计算任务在未通过资源管理系统调度时的第二调度时长，计算第二调度时长与第一调度时长之间的第一比值，获取1与第一比值之间的第一差值，根据第一差值，确定异构资源融合调度能力对应的评价分数；

确定网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定计算资源总数的第一倒数；计算自然常数的负第一倒数次方的第一次幂，根据第一次幂，确定任务集群自动扩展能力对应的评价分数，第一预设数量大于水平扩展部署策略的触发阈值。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有深度学习框架的总数量与网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据第二比值的第二倒数，确定预设框架的支持能力对应的评价分数；

获取所有异构计算资源的总数量与网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据第三比值的第三倒数，确定异构资源支持能力对应的评价分数。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取对网络异构计算平台的测试数据预标注的准确率，并作为多模式数据预标注能力对应的评价分数；预标注是指对测试数据的属性进行标注；

获取网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存储、数据实体处理及数据实体应用；确定最大数量的第四倒数；计算自然常数的负第四倒数次方的第二次幂，将第二次幂作为数据管理能力对应的评价分数；

获取第二预设数量个用户中每一用户对网络异构计算平台的交互式智能应用的评分；每一用户对交互式智能应用的评分的取值范围均为0至1；获取每一用户对交互式智能应用的评分与第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将第一求和结果作为交互式智能建模能力对应的评价分数。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；

获取第三求和结果与第五求和结果之间的第六求和结果，获取第六求和结果与两倍第三预设数量之间的第五比值，将第五比值作为模型数据隐私保护能力对应的评价分数；

获取网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，获取所有同态加密的用户数据所依赖的算法种类总数量与网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量之间的第六比值，将第六比值的第七倒数作为用户数据隐私保护能力对应的评价分数；

获取网络异构计算平台聚合训练的精确度与网络异构计算平台集中式训练的精确度之间的第二差值，计算第二差值与聚合训练的精确度之间的第七比值，将第七比值作为隐私保护数据聚合能力对应的评价分数。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有机器学习算法库的总数量与网络异构计算平台所支持的机器学习算法库的总数量之间的第八比值，将第八比值的第八倒数作为智能算法库适配能力对应的评价分数；

获取网络异构计算平台的预设算法在单个计算节点上的运行时长，获取预设算法在第四预设数量个计算节点上的运行总时长；计算运行总时长与第四预设数量之间的乘积；计算运行时长与乘积之间的第九比值，将第九比值作为智能算法并行优化效率对应的评价分数；

获取网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测时的第二检测时长，优化模型是对预设模型进行优化得到的；计算第一检测时长与第二检测时长之间的第三差值；计算第三差值与第一检测时长之间的第十比值，将第十比值作为深度学习训练效率提升能力对应的评价分数；

获取生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度与常规训练策略下的网络异构计算平台在被测试时的第二测试精确度，计算第一测试精确度与第二测试精确度之间的第四差值；计算第四差值与第一测试精确度之间的第十一比值，将第十一比值作为深度学习训练效果提升能力对应的评价分数。

在其中一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取第五预设数量个用户中每一用户对网络异构计算平台的智能语音交互服务的评分；每一用户对智能语音交互服务的评分的取值范围均为0至1；获取每一用户对智能语音交互服务的评分与第五预设数量之间的第十二比值；对每一第十二比值进行叠加，得到第七求和结果，将第七求和结果作为智能语音交互能力对应的评价分数；

获取网络异构计算平台对视觉目标的识别准确率，将识别准确率作为视觉目标识别能力对应的评价分数；

获取网络异构计算平台支持的机器翻译的语言种类数量的第九倒数；计算自然常数的负第九倒数次方的第三次幂，将第三次幂作为自然语言处理能力对应的评价分数。

第二方面，本申请还提供了一种网络异构计算平台测试装置。所述装置包括：

第一获取模块，用于获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

第二获取模块，用于获取每一测试指标包含的每一子测试指标对应的评价分数；

确定模块，用于对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

上述网络异构计算平台测试方法、装置、计算机设备和存储介质，通过获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；获取每一测试指标包含的每一子测试指标对应的评价分数；对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。由于从资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力这六个维度对网络异构计算平台进行测试验证，实现对网络异构计算平台全面的测试，从而提高网络异构计算平台的测试结果的精确性。

附图说明

图1为一个实施例中网络异构计算平台测试方法的流程示意图；

图2为一个实施例中网络异构计算平台的测试体系对应的结构框图；

图3为一个实施例中网络异构计算平台测试装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

随着机器学习、人工智能和工业仿真等技术快速发展，面对计算类型多元化和计算量指数增长等需求，网络异构计算平台成为大规模数据中心算力搭建的首选方案。从20世纪80年代以来，异构计算经历了CPU+GPU、FPGA等多种路线之争。随着虚拟化，新一代网络技术的发展，以光纤网和以太网为数据交换方式的分布式网络异构计算平台异军突起，成为物联网、区块链、人工智能相关应用的重要基础支撑。

为了提高网络异构计算平台的计算效率，通常在网络异构计算平台实际应用部署前，会对网络异构计算平台进行测试验证。相关技术中，从网络异构计算平台的计算性能、网络性能及算法优化三个方面的其中任一方面实现对网络异构计算平台的测试验证。但是只从单一方面对网络异构计算平台进行测试验证，具有一定的局限性和专用性，存在网络异构计算平台的测试结果不精确的问题。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词，但除非特别说明，这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说，在不脱离本申请的范围的情况下，第一预设数量与第二预设数量可以相同可以不同。

针对上述相关技术中存在的问题，本发明实施例提供了一种网络异构计算平台测试方法，该方法可以应用于服务器中，也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量，比如，“多个”指“至少两个”。

在一个实施例中，如图1所示，提供了一种网络异构计算平台测试方法，本实施例以该方法应用于服务器进行举例说明，包括以下步骤：

101、获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

其中，网络异构计算平台的测试体系可以如图2所示。需要说明的是，图2中的对主流框架的支持能力即对应预设框架的支持能力，对异构资源的支撑能力即对应异构资源支持能力，深度学习训练效率即对应深度学习训练效率提升能力，深度学习训练效果即对应深度学习训练效果提升能力。

102、获取每一测试指标包含的每一子测试指标对应的评价分数；

103、对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

上述网络异构计算平台测试方法中，通过获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；获取每一测试指标包含的每一子测试指标对应的评价分数；对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。由于从资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力这六个维度对网络异构计算平台进行测试验证，实现对网络异构计算平台全面的测试，从而提高网络异构计算平台的测试结果的精确性。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

分别获取计算任务在通过网络异构计算平台的资源管理系统调度时的第一调度时长以及计算任务在未通过资源管理系统调度时的第二调度时长，计算第二调度时长与第一调度时长之间的第一比值，获取1与第一比值之间的第一差值，根据第一差值，确定异构资源融合调度能力对应的评价分数；

其中，确定异构资源融合调度能力对应的评价分数的具体过程可以如下公式(1)所示，本发明实施例对此不作具体限定：

R＝(1-T₂/T₁)*100％； (1)

需要说明的是，在公式(1)中，R为异构资源融合调度能力对应的评价分数，T₂为计算任务在通过网络异构计算平台的资源管理系统调度时的第一调度时长，T₁为计算任务在未通过资源管理系统调度时的第二调度时长，T₂/T₁为第一比值。其中，R越接近1，代表网络异构计算平台的异构资源融合调度能力越高。

另外，本发明不对根据第一差值，确定异构资源融合调度能力对应的评价分数的具体过程作限定，包括但不限于：获取第一差值的百分数，将第一差值的百分数作为异构资源融合调度能力对应的评价分数。由于将第一差值转换为百分数，从而使得异构资源融合调度能力对应的评价分数更加直观。

确定网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定计算资源总数的第一倒数；计算自然常数的负第一倒数次方的第一次幂，根据第一次幂，确定任务集群自动扩展能力对应的评价分数，第一预设数量大于水平扩展部署策略的触发阈值。

其中，确定任务集群自动扩展能力对应的评价分数的具体过程可以如下公式(2)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(2)中，T为任务集群自动扩展能力对应的评价分数，e为自然常数，N₁为网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数。其中，T越接近1，代表网络异构计算平台的任务集群自动扩展能力越高。

另外，本发明不对根据第一次幂，确定任务集群自动扩展能力对应的评价分数的具体过程做限定，包括但不限于：获取第一次幂的百分数，将第一次幂的百分数作为任务集群自动扩展能力对应的评价分数。由于将第一次幂转换为百分数，从而使得任务集群自动扩展能力对应的评价分数更加直观。

相应地，确定资源利用和并行调度能力对应的评价分数的具体过程可以如下公式(3)所示，本发明实施例对此不作具体限定：

S₁＝α₁*R+β₁*T； (3)

需要说明的是，在公式(3)中，S₁为资源利用和并行调度能力对应的评价分数，S₁的取值越接近1，代表网络异构计算平台的资源利用和并行调度能力越高，α₁为异构资源融合调度能力对应的权重，β₁为任务集群自动扩展能力对应的权重，α₁+β₁＝1。其中，α₁及β₁的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有深度学习框架的总数量与网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据第二比值的第二倒数，确定预设框架的支持能力对应的评价分数；

其中，确定预设框架的支持能力对应的评价分数的具体过程可以如下公式(4)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(4)中，Q₁为预设框架的支持能力对应的评价分数，N₂为网络异构计算平台所支持的深度学习框架的总数量，所有深度学习框架的总数量为10，本发明实施对此不作具体限定。其中，Q₁越接近1，代表网络异构计算平台的预设框架的支持能力越高。

另外，本发明不对根据第二比值的第二倒数，确定预设框架的支持能力对应的评价分数的具体过程做限定，包括但不限于：获取第二倒数的百分数，将第二倒数的百分数作为预设框架的支持能力对应的评价分数。由于将第二倒数转换为百分数，从而使得预设框架的支持能力对应的评价分数更加直观。

获取所有异构计算资源的总数量与网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据第三比值的第三倒数，确定异构资源支持能力对应的评价分数。

其中，确定异构资源支持能力对应的评价分数的具体过程可以如下公式(5)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(5)中，Q₂为异构资源支持能力对应的评价分数，N₃为网络异构计算平台所支持的异构计算资源的总数量，所有异构计算资源的总数量为5，本发明实施对此不作具体限定。其中，Q₂越接近1，代表网络异构计算平台的异构资源支持能力越高。

另外，本发明根据第三比值的第三倒数，确定异构资源支持能力对应的评价分数的具体过程做限定，包括但不限于：获取第三倒数的百分数，将第三倒数的百分数作为异构资源支持能力对应的评价分数。由于将第三倒数转换为百分数，从而使得异构资源支持能力对应的评价分数更加直观。

相应地，确定智能计算框架和部件支持能力对应的评价分数的具体过程可以如下公式(6)所示，本发明实施例对此不作具体限定：

S₂＝α₂*Q₁+β₂*Q₂； (6)

需要说明的是，在公式(6)中，S₂为智能计算框架和部件支持能力对应的评价分数，S₂的取值越接近1，代表网络异构计算平台的智能计算框架和部件支持能力越高，α₂为预设框架的支持能力对应的权重，β₂为异构资源支持能力对应的权重，α₂+β₂＝1。其中，α₂及β₂的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取对网络异构计算平台的测试数据预标注的准确率，并作为多模式数据预标注能力对应的评价分数；预标注是指对测试数据的属性进行标注；

获取网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存储、数据实体处理及数据实体应用；确定最大数量的第四倒数；计算自然常数的负第四倒数次方的第二次幂，将第二次幂作为数据管理能力对应的评价分数；

其中，确定数据管理能力对应的评价分数的具体过程可以如下公式(7)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(7)中，Q₃为数据管理能力对应的评价分数，N₄为网络异构计算平台支持管理的数据实体的最大数。其中，Q₃越接近1，代表网络异构计算平台的数据管理能力越高。

获取第二预设数量个用户中每一用户对网络异构计算平台的交互式智能应用的评分；每一用户对交互式智能应用的评分的取值范围均为0至1；获取每一用户对交互式智能应用的评分与第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将第一求和结果作为交互式智能建模能力对应的评价分数。

其中，确定交互式智能建模能力对应的评价分数的具体过程可以如下公式(8)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(8)中，Q₄为交互式智能建模能力对应的评价分数，P_i为第i个用户对网络异构计算平台的交互式智能应用的评分，10表示第二预设数量的取值为10。其中，第二预设数量的取值不小于5。由于当第二预设数量的取值大于10时，交互式智能建模能力对应的评价分数的精确度变化较小，因此，为了减少计算量，本实施例中，第二预设数量的取值为10。其中，Q₄越接近1，代表网络异构计算平台的交互式智能建模能力越高。

相应地，确定智能数据和服务管理支撑能力对应的评价分数的具体过程可以如下公式(9)所示，本发明实施例对此不作具体限定：

S₃＝α₃*ε+β₃*Q₃+γ₃*Q₄； (9)

需要说明的是，在公式(9)中，S₃为智能数据和服务管理支撑能力对应的评价分数，S₃的取值越接近1，代表网络异构计算平台的智能数据和服务管理支撑能力越高，ε为多模式数据预标注能力对应的评价分数，α₃为多模式数据预标注能力对应的权重，β₃为数据管理能力对应的权重，γ₃为交互式智能建模能力对应的权重，α₃+β₃+γ₃＝1。其中，α₃、β₃及γ₃的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；

获取第三求和结果与第五求和结果之间的第六求和结果，获取第六求和结果与两倍第三预设数量之间的第五比值，将第五比值作为模型数据隐私保护能力对应的评价分数；

其中，确定模型数据隐私保护能力对应的评价分数的具体过程可以如下公式(10)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(10)中，Q₅为模型数据隐私保护能力对应的评价分数，A_y为网络异构计算平台第y次对百兆数据的加密时长，B_y为网络异构计算平台第y次对百兆数据的解密时长，第三预设数量的取值为10。由于当第三预设数量的取值大于10时，模型数据隐私保护能力对应的评价分数的精确度变化较小，因此，为了减少计算量，本实施例中，第三预设数量的取值为10。其中，Q₅越接近1，代表网络异构计算平台的模型数据隐私保护能力越高。

获取网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，获取所有同态加密的用户数据所依赖的算法种类总数量与网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量之间的第六比值，将第六比值的第七倒数作为用户数据隐私保护能力对应的评价分数；

其中，确定用户数据隐私保护能力对应的评价分数的具体过程可以如下公式(11)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(11)中，Q₆为用户数据隐私保护能力对应的评价分数，N₅为网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，所有同态加密的用户数据所依赖的算法种类总数量为6。其中，Q₆越接近1，代表网络异构计算平台的用户数据隐私保护能力越高。

获取网络异构计算平台聚合训练的精确度与网络异构计算平台集中式训练的精确度之间的第二差值，计算第二差值与聚合训练的精确度之间的第七比值，将第七比值作为隐私保护数据聚合能力对应的评价分数。

其中，确定隐私保护数据聚合能力对应的评价分数的具体过程可以如下公式(12)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(12)中，Q₇为隐私保护数据聚合能力对应的评价分数，Z₂为网络异构计算平台聚合训练的精确度，Z₁为网络异构计算平台集中式训练的精确度。其中，Q₇越接近1，代表网络异构计算平台的隐私保护数据聚合能力越高。

相应地，确定数据和模型隐私保护能力对应的评价分数的具体过程可以如下公式(13)所示，本发明实施例对此不作具体限定：

S₄＝α₄*Q₅+β₄*Q₆+γ₄*Q₇； (13)

需要说明的是，在公式(13)中，S₄为数据和模型隐私保护能力对应的评价分数，S₄的取值越接近1，代表网络异构计算平台的数据和模型隐私保护能力越高，α₄为模型数据隐私保护能力对应的权重，β₄为用户数据隐私保护能力对应的权重，γ₄为隐私保护数据聚合能力对应的权重，α₄+β₄+γ₄＝1。其中，α₄、β₄及γ₄的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有机器学习算法库的总数量与网络异构计算平台所支持的机器学习算法库的总数量之间的第八比值，将第八比值的第八倒数作为智能算法库适配能力对应的评价分数；

其中，确定智能算法库适配能力对应的评价分数的具体过程可以如下公式(14)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(14)中，Q₈为智能算法库适配能力对应的评价分数，N₆为网络异构计算平台所支持的机器学习算法库的总数量，所有机器学习算法库的总数量为5。其中，Q₈越接近1，代表网络异构计算平台的智能算法库适配能力越高。

获取网络异构计算平台的预设算法在单个计算节点上的运行时长，获取预设算法在第四预设数量个计算节点上的运行总时长；计算运行总时长与第四预设数量之间的乘积；计算运行时长与乘积之间的第九比值，将第九比值作为智能算法并行优化效率对应的评价分数；

其中，确定智能算法并行优化效率对应的评价分数的具体过程可以如下公式(15)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(15)中，Q₉为智能算法并行优化效率对应的评价分数，t₂为预设算法在第四预设数量个计算节点上的运行总时长，t₁为网络异构计算平台的预设算法在单个计算节点上的运行时长，X为第四预设数量。其中，Q₉越接近1，代表网络异构计算平台的智能算法并行优化效率越高。

获取网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测时的第二检测时长，优化模型是对预设模型进行优化得到的；计算第一检测时长与第二检测时长之间的第三差值；计算第三差值与第一检测时长之间的第十比值，将第十比值作为深度学习训练效率提升能力对应的评价分数；

其中，确定深度学习训练效率提升能力对应的评价分数的具体过程可以如下公式(16)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(16)中，Q₁₀为深度学习训练效率提升能力对应的评价分数，t₃为网络异构计算平台的预设模型被检测时的第一检测时长，t₄为优化模型被检测时的第二检测时长。其中，Q₁₀越接近1，代表网络异构计算平台的深度学习训练效率提升能力越高。

获取生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度与常规训练策略下的网络异构计算平台在被测试时的第二测试精确度，计算第一测试精确度与第二测试精确度之间的第四差值；计算第四差值与第一测试精确度之间的第十一比值，将第十一比值作为深度学习训练效果提升能力对应的评价分数。

其中，确定深度学习训练效果提升能力对应的评价分数的具体过程可以如下公式(17)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(17)中，Q₁₁为深度学习训练效果提升能力对应的评价分数，acc₂为生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度，acc₁为常规训练策略下的网络异构计算平台在被测试时的第二测试精确度。其中，Q₁₁越接近1，代表网络异构计算平台的深度学习训练效果提升能力越高。

相应地，确定智能算法并行优化能力对应的评价分数的具体过程可以如下公式(18)所示，本发明实施例对此不作具体限定：

S₅＝α₅*Q₈+β₅*Q₉+γ₅*Q₁₀+δ₅*Q₁₁； (18)

需要说明的是，在公式(18)中，S₅为智能算法并行优化能力对应的评价分数，S₅的取值越接近1，代表网络异构计算平台的智能算法并行优化能力越高，α₅为智能算法库适配能力对应的权重，β₅为智能算法并行优化效率对应的权重，γ₅为深度学习训练效率提升能力对应的权重，δ₅为深度学习训练效果提升能力对应的权重，α₅+β₅+γ₅+δ₅＝1。其中，α₅、β₅、γ₅及δ₅的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

在一个实施例中，获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取第五预设数量个用户中每一用户对网络异构计算平台的智能语音交互服务的评分；每一用户对智能语音交互服务的评分的取值范围均为0至1；获取每一用户对智能语音交互服务的评分与第五预设数量之间的第十二比值；对每一第十二比值进行叠加，得到第七求和结果，将第七求和结果作为智能语音交互能力对应的评价分数；

其中，确定智能语音交互能力对应的评价分数的具体过程可以如下公式(19)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(19)中，Q₁₂为智能语音交互能力对应的评价分数，C_j为第j个用户对网络异构计算平台的智能语音交互服务的评分，第五预设数量的取值为10。由于当第五预设数量的取值大于10时，智能语音交互能力对应的评价分数的精确度变化较小，因此，为了减少计算量，本实施例中，第五预设数量的取值为10。其中，Q₁₂越接近1，代表网络异构计算平台的智能语音交互能力越高。

获取网络异构计算平台对视觉目标的识别准确率，将识别准确率作为视觉目标识别能力对应的评价分数；

获取网络异构计算平台支持的机器翻译的语言种类数量的第九倒数；计算自然常数的负第九倒数次方的第三次幂，将第三次幂作为自然语言处理能力对应的评价分数。

其中，确定自然语言处理能力对应的评价分数的具体过程可以如下公式(20)所示，本发明实施例对此不作具体限定：

需要说明的是，在公式(20)中，Q₁₃为自然语言处理能力对应的评价分数，N₇为网络异构计算平台支持的机器翻译的语言种类数量。其中，Q₁₃越接近1，代表网络异构计算平台的自然语言处理能力越高。

相应地，确定通用智能服务能力对应的评价分数的具体过程可以如下公式(21)所示，本发明实施例对此不作具体限定：

S₆＝α₆*Q₁₂+β₆*k+γ₆*Q₁₃； (21)

需要说明的是，在公式(21)中，S₆为通用智能服务能力对应的评价分数，S₆的取值越接近1，代表网络异构计算平台的通用智能服务能力越高，α₆为智能语音交互能力对应的权重，β₆为视觉目标识别能力对应的权重，k为视觉目标识别能力对应的评价分数，γ₆为自然语言处理能力对应的权重，α₆+β₆+γ₆＝1。其中，α₆、β₆及γ₆的取值可以根据网络异构计算平台具体的应用场景、实际的需求确定。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的网络异构计算平台测试方法的网络异构计算平台测试装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个网络异构计算平台测试装置实施例中的具体限定可以参见上文中对于网络异构计算平台测试方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种网络异构计算平台测试装置，包括：第一获取模块301、第二获取模块302及确定模块303，其中：

第一获取模块301，用于获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

第二获取模块302，用于获取每一测试指标包含的每一子测试指标对应的评价分数；

确定模块303，用于对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

在一个实施例中，第二获取模块302，包括：

第一获取单元，用于分别获取计算任务在通过网络异构计算平台的资源管理系统调度时的第一调度时长以及计算任务在未通过资源管理系统调度时的第二调度时长，计算第二调度时长与第一调度时长之间的第一比值，获取1与第一比值之间的第一差值，根据第一差值，确定异构资源融合调度能力对应的评价分数；

确定单元，用于确定网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定计算资源总数的第一倒数；计算自然常数的负第一倒数次方的第一次幂，根据第一次幂，确定任务集群自动扩展能力对应的评价分数，第一预设数量大于水平扩展部署策略的触发阈值。

在一个实施例中，第二获取模块302，包括：

第二获取单元，用于获取所有深度学习框架的总数量与网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据第二比值的第二倒数，确定预设框架的支持能力对应的评价分数；

第三获取单元，用于获取所有异构计算资源的总数量与网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据第三比值的第三倒数，确定异构资源支持能力对应的评价分数。

在一个实施例中，第二获取模块302，包括：

第四获取单元，用于获取对网络异构计算平台的测试数据预标注的准确率，并作为多模式数据预标注能力对应的评价分数；预标注是指对测试数据的属性进行标注；

第五获取单元，用于获取网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存储、数据实体处理及数据实体应用；确定最大数量的第四倒数；计算自然常数的负第四倒数次方的第二次幂，将第二次幂作为数据管理能力对应的评价分数；

第六获取单元，用于获取第二预设数量个用户中每一用户对网络异构计算平台的交互式智能应用的评分；每一用户对交互式智能应用的评分的取值范围均为0至1；获取每一用户对交互式智能应用的评分与第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将第一求和结果作为交互式智能建模能力对应的评价分数。

在一个实施例中，第二获取模块302，包括：

第七获取单元，用于获取网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；

第八获取单元，用于获取第三求和结果与第五求和结果之间的第六求和结果，获取第六求和结果与两倍第三预设数量之间的第五比值，将第五比值作为模型数据隐私保护能力对应的评价分数；

第九获取单元，用于获取网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，获取所有同态加密的用户数据所依赖的算法种类总数量与网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量之间的第六比值，将第六比值的第七倒数作为用户数据隐私保护能力对应的评价分数；

第十获取单元，用于获取网络异构计算平台聚合训练的精确度与网络异构计算平台集中式训练的精确度之间的第二差值，计算第二差值与聚合训练的精确度之间的第七比值，将第七比值作为隐私保护数据聚合能力对应的评价分数。

在一个实施例中，第二获取模块302，包括：

第十一获取单元，用于获取所有机器学习算法库的总数量与网络异构计算平台所支持的机器学习算法库的总数量之间的第八比值，将第八比值的第八倒数作为智能算法库适配能力对应的评价分数；

第十二获取单元，用于获取网络异构计算平台的预设算法在单个计算节点上的运行时长，获取预设算法在第四预设数量个计算节点上的运行总时长；计算运行总时长与第四预设数量之间的乘积；计算运行时长与乘积之间的第九比值，将第九比值作为智能算法并行优化效率对应的评价分数；

第十三获取单元，用于获取网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测时的第二检测时长，优化模型是对预设模型进行优化得到的；计算第一检测时长与第二检测时长之间的第三差值；计算第三差值与第一检测时长之间的第十比值，将第十比值作为深度学习训练效率提升能力对应的评价分数；

第十四获取单元，用于获取生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度与常规训练策略下的网络异构计算平台在被测试时的第二测试精确度，计算第一测试精确度与第二测试精确度之间的第四差值；计算第四差值与第一测试精确度之间的第十一比值，将第十一比值作为深度学习训练效果提升能力对应的评价分数。

在一个实施例中，第二获取模块302，包括：

第十五获取单元，用于获取第五预设数量个用户中每一用户对网络异构计算平台的智能语音交互服务的评分；每一用户对智能语音交互服务的评分的取值范围均为0至1；获取每一用户对智能语音交互服务的评分与第五预设数量之间的第十二比值；对每一第十二比值进行叠加，得到第七求和结果，将第七求和结果作为智能语音交互能力对应的评价分数；

第十六获取单元，用于获取网络异构计算平台对视觉目标的识别准确率，将识别准确率作为视觉目标识别能力对应的评价分数；

第十七获取单元，用于获取网络异构计算平台支持的机器翻译的语言种类数量的第九倒数；计算自然常数的负第九倒数次方的第三次幂，将第三次幂作为自然语言处理能力对应的评价分数。

上述网络异构计算平台测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络异构计算平台测试方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络异构计算平台测试方法，其特征在于，所述方法包括：

获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所述所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；所述资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；所述智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；所述智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；所述数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；所述智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；所述通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

获取每一测试指标包含的每一子测试指标对应的评价分数；

对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

2.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

分别获取计算任务在通过所述网络异构计算平台的资源管理系统调度时的第一调度时长以及所述计算任务在未通过所述资源管理系统调度时的第二调度时长，计算所述第二调度时长与所述第一调度时长之间的第一比值，获取1与所述第一比值之间的第一差值，根据所述第一差值，确定所述异构资源融合调度能力对应的评价分数；

确定所述网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数，确定所述计算资源总数的第一倒数；计算自然常数的负所述第一倒数次方的第一次幂，根据所述第一次幂，确定所述任务集群自动扩展能力对应的评价分数，所述第一预设数量大于所述水平扩展部署策略的触发阈值。

3.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有深度学习框架的总数量与所述网络异构计算平台所支持的深度学习框架的总数量之间的第二比值；根据所述第二比值的第二倒数，确定所述预设框架的支持能力对应的评价分数；

获取所有异构计算资源的总数量与所述网络异构计算平台所支持的异构计算资源的总数量之间的第三比值；根据所述第三比值的第三倒数，确定所述异构资源支持能力对应的评价分数。

4.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取对所述网络异构计算平台的测试数据预标注的准确率，并作为所述多模式数据预标注能力对应的评价分数；所述预标注是指对所述测试数据的属性进行标注；

获取所述网络异构计算平台支持管理的数据实体的最大数量，管理项包括数据实体存储、数据实体处理及数据实体应用；确定所述最大数量的第四倒数；计算所述自然常数的负所述第四倒数次方的第二次幂，将所述第二次幂作为所述数据管理能力对应的评价分数；

获取第二预设数量个用户中每一用户对所述网络异构计算平台的交互式智能应用的评分；每一用户对所述交互式智能应用的评分的取值范围均为0至1；获取每一用户对所述交互式智能应用的评分与所述第二预设数量之间的第四比值，对每一第四比值进行叠加，得到第一求和结果；将所述第一求和结果作为所述交互式智能建模能力对应的评价分数。

5.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所述网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果；确定每一第二求和结果的第五倒数，将每一第五倒数进行叠加，得到第三求和结果；获取所述网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果；确定每一第四求和结果的第六倒数，将每一第六倒数进行叠加，得到第五求和结果；其中，加密过程的次数与解密过程的次数均为第三预设数量次；

获取所述第三求和结果与所述第五求和结果之间的第六求和结果，获取所述第六求和结果与两倍所述第三预设数量之间的第五比值，将所述第五比值作为所述模型数据隐私保护能力对应的评价分数；

获取所述网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量，获取所有同态加密的用户数据所依赖的算法种类总数量与所述网络异构计算平台中支持同态加密的用户数据所依赖的算法种类总数量之间的第六比值，将所述第六比值的第七倒数作为所述用户数据隐私保护能力对应的评价分数；

获取所述网络异构计算平台聚合训练的精确度与所述网络异构计算平台集中式训练的精确度之间的第二差值，计算所述第二差值与所述聚合训练的精确度之间的第七比值，将所述第七比值作为所述隐私保护数据聚合能力对应的评价分数。

6.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取所有机器学习算法库的总数量与所述网络异构计算平台所支持的机器学习算法库的总数量之间的第八比值，将所述第八比值的第八倒数作为所述智能算法库适配能力对应的评价分数；

获取所述网络异构计算平台的预设算法在单个计算节点上的运行时长，获取所述预设算法在第四预设数量个计算节点上的运行总时长；计算所述运行总时长与所述第四预设数量之间的乘积；计算所述运行时长与所述乘积之间的第九比值，将所述第九比值作为所述智能算法并行优化效率对应的评价分数；

获取所述网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测时的第二检测时长，所述优化模型是对所述预设模型进行优化得到的；计算所述第一检测时长与所述第二检测时长之间的第三差值；计算所述第三差值与所述第一检测时长之间的第十比值，将所述第十比值作为所述深度学习训练效率提升能力对应的评价分数；

获取生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度与常规训练策略下的网络异构计算平台在被测试时的第二测试精确度，计算所述第一测试精确度与所述第二测试精确度之间的第四差值；计算所述第四差值与所述第一测试精确度之间的第十一比值，将所述第十一比值作为所述深度学习训练效果提升能力对应的评价分数。

7.根据权利要求1所述的方法，其特征在于，所述获取每一测试指标包含的每一子测试指标对应的评价分数，包括：

获取第五预设数量个用户中每一用户对所述网络异构计算平台的智能语音交互服务的评分；所述每一用户对所述智能语音交互服务的评分的取值范围均为0至1；获取每一用户对所述智能语音交互服务的评分与所述第五预设数量之间的第十二比值；对每一第十二比值进行叠加，得到第七求和结果，将所述第七求和结果作为所述智能语音交互能力对应的评价分数；

获取所述网络异构计算平台对视觉目标的识别准确率，将所述识别准确率作为所述视觉目标识别能力对应的评价分数；

获取所述网络异构计算平台支持的机器翻译的语言种类数量的第九倒数；计算所述自然常数的负所述第九倒数次方的第三次幂，将所述第三次幂作为所述自然语言处理能力对应的评价分数。

8.一种网络异构计算平台测试装置，其特征在于，所述装置包括：

第一获取模块，用于获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标；所述所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力；所述资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力；所述智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力；所述智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力；所述数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力；所述智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力；所述通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力；

第二获取模块，用于获取每一测试指标包含的每一子测试指标对应的评价分数；

确定模块，用于对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和，得到每一测试指标对应的评价分数。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images