CN116939673A - 一种网络自治能力评估方法、装置及存储介质 - Google Patents

Abstract

一种网络自治能力评估方法、装置及存储介质。该方法用于对第一网络运维场景进行网络能力评估，第一网络运维场景中包括第一关键运维任务，第一网络运维场景的自治网络等级为第一自治网络等级，第一自治网络等级对第一关键运维任务的网络自治能力的要求与第二自治网络等级(第二自治网络等级高于第一自治网络等级)对第一关键运维任务的网络自治能力的要求不同。该方法包括：网络自治能力评估装置确定第一网络运维场景的自治网络等级为第一自治网络等级后，根据第一网络运维场景中每个关键运维任务的网络自治能力的满足度确定第一网络运维场景的等级调整量，并根据第一自治网络等级以及所述等级调整量确定第一网络运维场景的网络自治能力评估结果。

Description

一种网络自治能力评估方法、装置及存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种网络自治能力评估方法、装置及存储介质。

背景技术

随着垂直行业的引入，终端设备的增加和业务的多样性，运营商的网络越来越复杂，导致网络运维难度增加。如何降低网络运维成本、简化网络运维流程、快速部署网络以满足多样性化的业务是网络运维领域需要解决的问题。

自动化技术在移动通信网络中的应用日渐成为行业的关注重点和研究热点。业界寄希望于通过引入自治技术(比如人工智能、机器学习、大数据分析等)，帮助解决移动通信网络遇到的运维效率问题。电信系统自治技术可以应用于网络生命周期的多种场景，包括网络规划、网络部署、网络优化、业务运营等，能够减少人工操作，降低运营商运营费用(operating expense，OPEX)，提高运维效率。

不同的电信系统分别引入不同的自治技术来解决运维效率问题，运营商需要对不同电信系统的网络自治能力进行分析，评估不同电信系统的网络自治能力。

目前的网络自治能力评估方法较粗略，因此有提高网络自治能力评估的精细化程度的需求。

发明内容

本申请实施例提供一种网络自治能力评估方法、装置及存储介质，用以提高网络自治能力评估的精细化程度。

第一方面，提供一种网络自治能力评估方法，该方法用于对第一网络运维场景进行网络能力评估的过程。所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，第一网络运维场景的自治网络等级为第一自治网络等级，第一自治网络等级对第一关键运维任务的网络自治能力的要求与第二自治网络等级(第二自治网络等级高于第一自治网络等级，可选的，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级)对第一关键运维任务的网络自治能力的要求不同。该方法可由网络自治能力评估装置(比如终端、服务器等任何具有信息处理能力的电子设备，或者用于实现该方法的应用程序)执行，下面以网络自治能力评估装置作为执行主体为例描述该方法的实现过程。该方法可包括以下步骤：网络自治能力评估装置确定第一网络运维场景的自治网络等级为第一自治网络等级后，根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度(该满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度)，确定所述第一网络运维场景的等级调整量，根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

可选的，所述第一运维场景是基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

上述实现方式中，网络自治能力评估装置确定第一网络运维场景的自治网络等级(第一自治网络等级)后，为进一步提高网络自治能力评估的精细化程度，则进一步的，网络自治能力评估装置根据第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定第一网络运维场景的等级调整量，从而根据第一自治网络等级以及该等级调整量，确定第一网络运维场景的网络自治能力评估结果，相比于仅基于第一自治网络等级来表征第一网络运维场景的网络自治能力相比，采用上述实现方式可以得到更精细化的网络自治能力评估结果。

进一步的，由于在进行网络自治能力评估过程中，网络自治能力评估装置根据关键运维任务的网络自治能力的满足度确定等级调整量，这样就将关键运维任务的实际网络自治能力与更高自治网络等级所要求的网络自治能力之间的差异因素考虑进来，基于这种差异确定等级调整量，从而可以提高网络自治能力评估的精细化程度。

在一种可能的实现方式中，所述网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。也就是说，第一网络运维场景的网络自治能力介于第一自治网络等级对应的网络自治能力与第二自治网络等级对应的网络自治能力之间，相比于仅基于评估出的自治网络等级来确定网络自治能力相比，采用本申请可提高网络自治能力评估的精细化程度。

在一种可能的实现方式中，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

在一种可能的实现方式中，网络自治能力评估装置根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量的过程，可包括：网络自治能力评估装置确定所述至少一个关键运维任务中每个关键运维任务的任务分数；对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；将所述第一值确定为所述第一网络运维场景的等级调整量。

上述实现方式中，通过对各关键运维任务的任务分数进行加权平均计算，将计算得到的第一值确定为第一网络运维场景的等级调整量，可以将所有关键运维任务的实际网络自治能力与更高自治网络等级所要求的网络自治能力之间的差异因素考虑进来，从而可以使得确定出的等级调整量更加合理。

在一种可能的实现方式中，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

在一种可能的实现方式中，满足度可包括第一满足度和第二满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力。第一满足度对应第一分数，第二满足度对应第二分数，可选的，所述第二分数不等于所述第一分数。网络自治能力评估装置确定所述至少一个关键运维任务中每个关键运维任务的任务分数的过程，可包括：若网络自治能力评估装置确定所述第一关键运维任务的网络自治能力的满足度为第一满足度，则确定所述第一关键运维任务的任务分数等于第一分数；若网络自治能力评估装置确定所述第一关键运维任务的网络自治能力的满足度为第二满足度，则确定所述第一关键运维任务的任务分数等于第二分数。所述第二分数不等于所述第一分数。

上述实现方式中，根据关键运维任务的网络自治能力是否满足更高自治网络等级(这里称为第二自治网络等级)对该运维任务要求的网络自治能力，关键运维任务的任务分数有所不同，从而可以体现不同关键运维任务对等级调整量的贡献大小，进而使得确定出的等级调整量更加合理。

在一种可能的实现方式中，满足度除了包括上述第一满足度和上述第二满足度以外，还包括第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比。第三满足度对应第三分数，可选的，所述第三分数的取值在所述第一分数和所述第二分数之间。可选的，第三满足度可包括一个或多个，若包含多个第三满足度，则每个第三满足度对应一个第三任务分数，不同第三满足度对应的第三任务分数可能不同。网络自治能力评估装置确定所述第一关键运维的任务分数的过程还可包括：若网络自治能力评估装置确定所述第一关键运维任务的网络自治能力的满足度为第三满足度，则所述第一关键运维任务的任务分数等于第三分数，所述第三分数的取值在所述第一分数和所述第二分数之间。

通过上述实现方式，针对网络自治能力的满足度可以包括多种可能的情况，关键运维任务的任务分数与该关键运维任务的网络自治能力满足度对相对应，从而进一步细化了不同关键运维任务对等级调整量的贡献大小，进而使得确定出的等级调整量更加精细化。

在一种可能的实现方式中，可采用加权平均算法计算第一值Ts_all，示例性的，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。可选的，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

上述实现方式中，可以针对关键运维任务设置任务权重，比如，根据关键运维任务的实现难度设置任务权重，并在计算第一网络运维场景的等级调整量时引入关键运维任务对应的任务权重，这样可以使得第一网络运维场景的网络自治能力评估结果更加精细。

第二方面，提供一种网络自治能力评估装置，该网络自治能力评估装置可实现第一方面提供的网络自治能力评估方法。该网络自治能力评估装置可包括：自治网络等级确定模块，用于确定第一网络运维场景的自治网络等级为第一自治网络等级；等级调整量确定模块，用于根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；网络自治能力评估模块，用于根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级。可选的，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

可选的，所述第一网络运维场景是基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

在一种可能的实现方式中，所述网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。

在一种可能的实现方式中，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

在一种可能的实现方式中，所述等级调整量确定模块，具体用于：确定所述至少一个关键运维任务中每个关键运维任务的任务分数；对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；将所述第一值确定为所述第一网络运维场景的等级调整量。

在一种可能的实现方式中，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

在一种可能的实现方式中，所述等级调整量确定模块，具体用于：若所述第一关键运维任务的网络自治能力的满足度为第一满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第一分数；若所述第一关键运维任务的网络自治能力的满足度为第二满足度，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第二分数，所述第二分数不等于所述第一分数。

在一种可能的实现方式中，所述等级调整量确定模块，还用于：

若所述第一关键运维任务的网络自治能力的满足度为第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比，则所述第一关键运维任务的任务分数等于第三分数，所述第三分数的取值在所述第一分数和所述第二分数之间。

在一种可能的实现方式中，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。可选的，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

第三方面，提供一种通信装置，包括：一个或多个处理器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述通信装置执行如上述第一方面中任意一项所述的方法。

第四方面，提供一种计算机可读存储介质，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上述第一方面中任意一项所述的方法。

第五方面，提供一种计算机程序产品，当其在电子设备上运行时，使得所述电子设备执行如上述第一方面中任意一项所述的方法。

第六方面，提供一种芯片系统，包括：存储器，用于存储计算机程序；处理器；当处理器从存储器中调用并运行计算机程序后，使得安装有该芯片系统的电子设备执行如上述第一方面中任意一项所述的方法。

本申请实施例还提供了一种网络自治能力评估方法、装置及存储介质，用以实现对多个网络运维场景的网络自治能力进行评估。

第七方面，提供一种通信方法，该方法用于对第一网络运维场景进行网络能力评估的过程。该可方法包括：自治网络评估执行设备确定第一网络运维场景的自治网络等级为第一自治网络等级后，根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度(该满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度)，确定所述第一网络运维场景的等级调整量，根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果，并将所述第一网络运维场景的网络自治能力评估结果发送给自治网络评估监控设备。该自治网络评估监控设备接收所述网络自治能力评估结果。该方法中，自治网络评估执行设备可通过执行上述第一方面中任一项所述的方法，获得第一网络运维场景的网络自治能力评估结果。

第八方面，提供一种网络自治能力评估方法，该方法应用于对多个网络运维场景的网络自治能力进行评估的过程，所述多个网络运维场景中的每个网络运维场景包括至少一个运维任务。该方法可由网络自治能力评估装置(比如终端、服务器等任何具有信息处理能力的电子设备，或者用于实现该方法的应用程序)执行，下面以网络自治能力评估装置作为执行主体为例描述该方法的实现过程。该方法可包括以下步骤：网络自治能力评估装置确定多个网络运维场景，并确定所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，再根据所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，确定所述多个网络运维场景对应的一个网络自治能力评估结果。

可选的，所述多个网络运维场中的至少一个网络运维场景可以基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

上述实现方式中，在对多个网络运维场景进行网络自治能力评估的场景中，分别确定每个网络运维场景的网络自治能力评估结果，再根据每个网络运维场景的网络自治能力评估结果确定该多个网络运维场景对应的网络自治能力，因此可以综合多个网络运维场景的网络自治能力，评估该多个网络运维场景形成的场景组合所对应的网络自治能力，弥补了目前尚未有根据场景组合评估网络自治能力的空白。

在一种可能的实现方式中，所述多个网络运维场景中包括第一网络运维场景，以所述第一网络运维场景为例，网络自治能力评估装置确定所述第一网络运维场景的网络自治能力评估结果的过程，可包括：

网络自治能力评估装置确定所述第一网络运维场景的自治网络等级为第一自治网络等级，根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量，并根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级。可选的，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

在一种可能的实现方式中，所述第一网络运维场景的网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。

在一种可能的实现方式中，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

在一种可能的实现方式中，网络自治能力评估装置根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量，可包括：网络自治能力评估装置确定所述至少一个关键运维任务中每个关键运维任务的任务分数；对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；将所述第一值确定为所述第一网络运维场景的等级调整量。

在一种可能的实现方式中，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

在一种可能的实现方式中，满足度可包括第一满足度和第二满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力。第一满足度对应第一分数，第二满足度对应第二分数，可选的，所述第二分数不等于所述第一分数。网络自治能力评估装置确定所述至少一个关键运维任务中每个关键运维任务的任务分数的过程，可包括：若网络自治能力评估装置确定所述第一关键运维任务的网络自治能力的满足度为第一满足度，则确定所述第一关键运维任务的任务分数等于第一分数；若网络自治能力评估装置确定第一关键运维任务的网络自治能力的满足度为第二满足度，则确定所述第一关键运维任务的任务分数等于第二分数。

在一种可能的实现方式中，满足度除了包括上述第一满足度和上述第二满足度以外，还包括第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比。第三满足度对应第三分数，可选的，所述第三分数的取值在所述第一分数和所述第二分数之间。可选的，第三满足度可包括一个或多个，若包含多个第三满足度，则每个第三满足度对应一个第三任务分数，不同第三满足度对应的第三任务分数可能不同。网络自治能力评估装置确定所述第一关键运维的任务分数的过程还可包括：若网络自治能力评估装置确定所述第一关键运维任务的网络自治能力的满足度为第三满足度，则确定所述第一关键运维任务的任务分数等于第三分数。

在一种可能的实现方式中，可采用加权平均算法计算第一值Ts_all，示例性的，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。可选的，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

在一种可能的实现方式中，网络自治能力评估装置根据所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，确定所述多个网络运维场景对应的一个网络自治能力评估结果的过程，可包括：网络自治能力评估装置根据所述多个网络运维场景中每个网络运维场景的自治网络等级分数确定第二值，并将所述第二值确定所述多个网络运维场景对应的一个网络自治能力评估结果。

在一种可能的实现方式中，可采用加权平均算法计算第二值ANLS_Ava，示例性的，所述第二值ANLS_Ava，满足以下公式：

或者，所述第二值ANLS_Ava，满足以下公式：

其中，M为所述多个网络运维场景中的网络运维场景的数量，ANLs_i为所述多个网络运维场景中第i个网络运维场景的自治网络等级分数，Sw_i为所述第i个网络运维场景的场景权重。

第九方面，提供一种网络自治能力评估装置，包括：网络运维场景组合确定模块，用于确定多个网络运维场景，所述多个网络运维场景中的每个网络运维场景包括至少一个运维任务；第一网络自治能力评估模块，用于确定所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果；第二网络自治能力评估模块，用于根据所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，确定所述多个网络运维场景对应的一个网络自治能力评估结果。

可选的，所述多个网络运维场景中的至少一个网络运维场景可以基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

在一种可能的实现方式中，所述多个网络运维场景中包括第一网络运维场景，所述第一网络自治能力评估模块，包括：自治网络等级确定模块，用于确定所述第一网络运维场景的自治网络等级为第一自治网络等级；等级调整量确定模块，根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；自治能力评估结果确定模块，根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级；可选的，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

在一种可能的实现方式中，所述第一网络运维场景的网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。

在一种可能的实现方式中，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

在一种可能的实现方式中，所述等级调整量确定模块，具体用于：确定所述至少一个关键运维任务中每个关键运维任务的任务分数；对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；将所述第一值确定为所述第一网络运维场景的等级调整量。

在一种可能的实现方式中，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

在一种可能的实现方式中，所述等级调整量确定模块，具体用于：若所述第一关键运维任务的网络自治能力的满足度为第一满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第一分数；若所述第一关键运维任务的网络自治能力的满足度为第二满足度，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第二分数，所述第二分数不等于所述第一分数。

在一种可能的实现方式中，所述等级调整量确定模块，还用于：若所述第一关键运维任务的网络自治能力的满足度为第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比，则所述第一关键运维任务的任务分数等于第三分数，所述第三分数的取值在所述第一分数和所述第二分数之间。

在一种可能的实现方式中，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。可选的，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

在一种可能的实现方式中，所述第二网络自治能力评估模块，具体用于：根据所述多个网络运维场景中每个网络运维场景的自治网络等级分数，确定第二值；将所述第二值确定为所述多个网络运维场景对应的一个网络自治能力评估结果。

在一种可能的实现方式中，所述第二值ANLS_Ava，满足以下公式：

或者，所述第二值ANLS_Ava，满足以下公式：

其中，M为所述多个网络运维场景中的网络运维场景的数量，ANLs_i为所述多个网络运维场景中第i个网络运维场景的自治网络等级分数，Sw_i为所述第i个网络运维场景的场景权重。

第十方面，提供一种通信方法，该方法用于对多个网络运维场景进行网络能力评估的过程。该可方法包括：自治网络评估执行设备确定多个网络运维场景，确定所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，根据所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，确定所述多个网络运维场景对应的一个网络自治能力评估结果，并将所述所述多个网络运维场景对应的一个网络自治能力评估结果发送给自治网络评估监控设备。该自治网络评估监控设备接收所述网络自治能力评估结果。该方法中，自治网络评估执行设备可通过执行上述第八方面中任一项所述的方法，获得所述多个网络运维场景的网络自治能力评估结果。

第十一方面，提供一种通信装置，包括：一个或多个处理器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述通信装置执行如上述第八方面中任意一项所述的方法。

第十二方面，提供一种计算机可读存储介质，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上述第八方面中任意一项所述的方法。

第十三方面，提供一种计算机程序产品，当其在电子设备上运行时，使得所述电子设备执行如上述第八方面中任意一项所述的方法。

第十四方面，提供一种芯片系统，包括：存储器，用于存储计算机程序；处理器；当处理器从存储器中调用并运行计算机程序后，使得安装有该芯片系统的电子设备执行如上述第八方面中任意一项所述的方法。

第十五方面，提供一种通信系统，所述通信系统包括自治网络评估执行设备和自治网络评估监控设备。

一种可能的实现方式中，所述自治网络评估执行设备可以用于对单一网络运维场景进行网络自治能力评估，比如该自治网络评估执行设备可以是(或包括)上述第二方面中任一项所述的网络自治能力评估装置，该自治网络评估执行设备可以将第一网络运维场景的网络自治能力评估结果发送给所述自治网络评估监控设备。

另一种可能的实现方式中，所述自治网络评估执行设备可以用于对多个网络运维场景进行网络自治能力评估，比如该自治网络评估执行设备可以是(或包括)上述第八方面中任一项所述的网络自治能力评估装置，该自治网络评估执行设备可以将多个网络运维场景的网络自治能力评估结果发送给所述自治网络评估监控设备。

以上第二方面至第七方面的有益效果请参见第一方面的有益效果，第九方面至第十四方面的有益效果请参见第八方面的有益效果，不重复赘述。

附图说明

图1为本申请实施例中的“网络优化场景”的自治网络等级表格示意图；

图2a、图2b分别为被定级为同一自治网络等级的不同运营商的网络自治能力差异示意图；

图3为本申请实施例适用的一种系统架构示意图；

图4为本申请实施例提供的单一网络运维场景的网络自治能力评估方法流程示意图；

图5为本申请实施例中的网络优化的自治网络等级表格示意图；

图6为本申请实施例中的关键运维任务的示意图；

图7为本申请实施例中确定第一网络运维场景的等级调整量的方法示意图；

图8为本申请实施例提供的对“无线5G覆盖优化场景”的网络自治能力进行评估的流程示意图；

图9为本申请实施例提供的针对多个网络运维场景的网络自治能力评估方法流程示意图；

图10为本申请实施例提供的一种网络自治能力评估装置的结构示意图；

图11为本申请实施例提供的另一种网络自治能力评估装置的结构示意图；

图12为本申请实施例提供的一种通信装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

下面首先对本申请实施例中涉及的技术术语进行介绍。

(1)自治网络(autonomous network，AN)

自治网络是指电信系统(包含电信网络及其运营管理系统)在尽可能少的人工干预的前提下，通过自治能力实现自我管控(telecommunication system(includingmanagement system and network)with autonomy capabilities which is able to begoverned by itself with minimal to no human intervention)。

(2)自治网络等级(autonomous network level，ANL)

自治网络等级是指自治网络的自治能力等级(escribes the level of autonomycapabilities in the autonomous network)。自治网络等级可根据运维流程中各网络管理运维任务(以下简称运维任务)的人机分工状态确定。

(3)人机分工状态

人机分工状态用于反映人工方式和系统自动方式在运维任务完成过程中的参与程度或所占比例。从完全由人工完成的状态到完全由系统自动完成的状态，可划分多种人机分工状态。

示例性的，人机分工状态可包括：

人工：运维任务由人执行，即通过人工方式完成；

人工结合系统(人工+系统)：运维任务由人和系统共同执行，即由人工方式结合系统自动方式完成。可选的，“人工+系统”状态又可进一步细分为：

-人工辅助系统：运维任务以人工方式为主导并辅之以系统完成；进一步的，可根据人工和系统在完成运维任务中的参与程度或所占比例，进一步细分“人工辅助系统”的人机分工状态，例如可进一步细分为“60％人工+40％系统”，“80人工+20％系统”，“90％人工+10％系统”等；

-系统辅助人工：运维任务以系统自动方式为主导并辅之以人工完成；进一步的，可根据人工和系统在完成运维任务中的参与程度或所占比例，进一步细分“系统辅助人工”的人机分工状态，例如可进一步细分为“10％人工+90％系统”，“20人工+80％系统”，“40％人工+60％系统”等；

系统：运维任务由系统以自动方式完成。

不同的人机分工状态对应不同的网络自治能力。例如，若人机分工状态包括：人工、人工+系统、系统，则按照网络自治能力从高到低，这3个人机分工状态排序为：系统、人工+系统、系统。

需要说明的是，以上人机分工状态的划分方式仅为示例性的，本申请实施例对此不作限制。

(4)运维流程和网络场景

运维流程是实现网络管理需求的必要步骤，构成从接收管理需求到实现需求的完整闭环，运维流程由多个运维任务(task)组成。

示例性的，运维流程可包括：

-网络规划：根据业务、市场、产品和客户服务需求及其发展预期，为新建网络或改造网络进行设计和计划制定的过程。

-网络建设：根据网络规划结果，对网络进行安装、配置、激活和验证的过程，以使得网络具备开通条件。

-网络维护：为保障网络处于正常运行状态，对网络状态等相关信息进行监控、问题分析和问题解决的过程。

-网络优化：为提升网络性能或通信业务体验，对网络性能指标等相关信息进行监控、分析，并采取网络资源、参数配置调整等性能优化措施的过程。

-网络运营：为保障通信业务、市场、产品和服务满足客户需求，根据相关运营策略对网络运营数据等相关信息进行监控、分析，并采取相关措施的过程。

以上述“网络优化”运维流程为例，该运维流程可包括以下运维任务：性能异常识别、性能劣化预测、性能问题定界、性能问题根因分析、优化方案生成。

需要说明的是，以上运维流程的划分方式以及运维流程中包括的运维任务仅为示例性的，本申请实施例对此不作限制。

本申请实施例中，一个网络运维场景(scenario)可对应上述一个运维流程。例如，网络运维场景可包括网络优化场景、网络规划场景、网络部署场景、网络维护场景和网络运维场景等。

进一步的，网络运维场景又可以从不同维度进行细分，对于一个网络运维场景来说，该运维场景可以是基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

示例性的，在不同维度下可以细分为多种网络运维场景。以网络优化场景为例，可以从以下几个维度进一步细分为若干个场景：

基于无线网络性能类型维度划分为：无线覆盖优化场景，无线容量优化场景，无线速率优化场景，无线语音质量优化场景等；

基于无线网络制式维度划分为：3G优化场景，4G优化场景，5G优化场景等；

基于无线网络业务类型维度划分为：增强移动宽带(enhanced mobilebroadband，eMBB)优化场景，超可靠低延迟通信(ultra reliable low latencycommunications，URLLC)优化场景，移动物联网(mobile internet of things，mIoT)优化场景，车联网(vehicle to everything，V2X)优化场景等；

基于无线网络应用维度划分为：面向个人(toC)的业务模式优化场景，面向企业(toB)的业务模式优化场景等；

基于无线环境维度划分为：室内优化场景，城区优化场景，郊区优化场景，农村优化场景等；

基于无线话务状态维度划分为：低话务量优化场景，中话务量优化场景，高话务量优化场景等。

以上是以单一维度进行划分的示例，可选的，还可以以多个维度进行划分。比如，以无线网络性能类型和无线网络制式两个维度为例，网络优化场景可包括：无线3G覆盖优化场景，无线4G覆盖优化场景，无线5G覆盖优化场景，无线3G容量优化场景，无线4G容量优化场景和无线5G容量优化场景等。

上述网络场景划分维度也适用于其它网络运维场景，比如网络规划场景、网络部署场景、网络维护场景和网络运维场景等。

需要说明的是，以上仅为网络运维场景的一些示例，本申请实施例对网络运维场景的划分方式不做限制。

(5)网络自治能力

网络自治能力，是指实现自我管控的能力，用于体现采用的网络技术的自治化程度高低，网络自治化程度越高，网络自治能力越高。

网络运维场景的网络自治能力可通过该网络运维场景中包括的运维任务的网络自治能力来决定。运维任务的网络自治能力可由该运维任务的人机分工状态决定。

传统的网络自治能力评估方法中，使用自治网络等级来评价网络自治能力。

目前，电信系统的自治网络等级是根据运维流程中的每个运维任务的人机分工状态确定的，比如，以“网络优化”运维流程为例，如果该运维流程中只包括性能异常识别、性能问题根因分析以及优化方案生成三个运维任务，则可根据这三个运维任务的人机分工状态以及自治网络等级划分规则来确定该“网络优化”运维流程的自治网络等级。

自治网络等级划分规则定义了各自治网络等级下，各运维任务应满足的人机分工状态(或应满足的网络自治能力)。自治网络等级划分规则包括自治网络等级与运维任务人机分工状态之间的对应关系。这种对应关系可表现为自治网络等级的图表或表格。

图1示例性的以表格方式给出了一种“网络优化”运维流程的自治网络等级划分规则。图1中，自治网络等级从低到高包括：等级0、等级1、等级2、等级3、等级4、等级5。图1中的每个方框对应“网络优化”运维流程中的一个运维任务，方框中的字母表示相应运维任务的名称或种类，包括：

运维任务A1：监控规则和优化策略生成；

运维任务B1：网络/业务保障意图评估；

运维任务C1：数据采集：

运维任务D1：性能异常识别；

运维任务E1：性能劣化预测；

运维任务F1：性能问题定界；

运维任务G1：性能问题根因分析；

运维任务H1：优化方案生成；

运维任务I1：优化方案评估和确定；

运维任务J1：优化方案执行。

各自治网络等级对运维任务要求的人机分工状态如图1中各方框内括号中的内容所示，以等级3下对各运维任务要求的人机分工状态为例：

对运维任务A1要求的人工分机状态：人工；

对运维任务B1要求的人工分机状态：人工；

对运维任务C1要求的人工分机状态：系统；

对运维任务D1要求的人工分机状态：系统；

对运维任务E1要求的人工分机状态：人工+系统；

对运维任务F1要求的人工分机状态：系统；

对运维任务G1要求的人工分机状态：人工+系统；

对运维任务H1要求的人工分机状态：人工+系统；

对运维任务I1要求的人工分机状态：人工+系统；

对运维任务J1要求的人工分机状态：系统。

基于图1所示的自治网络等级划分规则，并结合运维流程中各运维任务的人机分工状态，在确定运维流程的自治网络等级时，运维流程中的每个运维任务的人机分工状态都要满足目标等级对各运维任务要求的人工分机状态，才能将该运维流程的自治网络等级定级为该目标等级。举例来说，如果一个运维流程中有一个运维任务不满足等级3所要求的人机分工状态，但满足等级2所要求的人工分机状态，其它运维任务均满足等级3所要求的人工分机状态，则该运维流程的自治网络等级不能被定级为等级3，而只能被定级为等级2。

由于不同电信系统分别引入不同的自治技术，因此可能出现以下情况：两个不同自治网络的自治网络等级相同的情况下，同一运维流程的网络自治能力存在较大差异，故而目前的自治网络等级评价方法较粗略，无法体现更精细化的差异，具体可体现在以下几个方面中的一个或多个：

第一方面：同一自治网络等级的运维任务的自治能力差异大。

以评估运营商A和运营商B的“网络优化”运维流程的网络自治能力为例，根据图1所示的自治网络等级划分规则，运营商A和运营商B的自治网络等级均为等级2，如图2a所示。但是运营商B的“网络优化”运维流程中的“性能异常识别(运维任务D1)”和“性能问题定界(运维任务F1)”两个运维任务的人机分工状态达到全系统参与，而运营商A在“网络优化”运维流程中的“性能异常识别(运维任务D1)”和“性能问题定界(运维任务F1)”的人机分工状态仅为人工参与，因此可以看出，虽然运营商A和运营商B的自治网络等级相同，但是运营商B的网络自治能力比运营商A的网络自治能力要强很多。

第二方面：运维任务的网络自治能力实现的难易程度无法体现。

以评估运营商A和运营商B的“网络优化”运维流程的网络自治能力为例，根据图1所示的自治网络等级划分规则，运营商A和运营商B的自治网络等级均为等级2，如图2b所示，运营商B的“性能劣化预测(运维任务E1)”运维任务的人机分工状态达到了等级3级的要求，运营商A的“数据采集(运维任务C1)”运维任务的人机分工状态达到了等级3的要求。但是，“性能劣化预测”运维任务的实现难度(或该运维任务的自治化实现难度)远高于“数据采集”运维任务的实现难度(或该运维任务的自治化实现难度)。

第三方面：场景自治实现的难易程度无法体现。

比如，运营商A只针对5G室外覆盖优化场景的自治能力达到了等级3，而运营商B针对5G室外覆盖的优化场景和室内覆盖优化场景的自治能力均达到了等级3，但是目前的自治网络等级评估方法无法体现上述差异。

为解决上述一个或多个方面的问题，本申请实施例提供了网络自治能力评估方法，用以提高网络自治能力评估的精细化程度。下面结合附图对本申请实施例进行说明。

图3示例性示出了本申请实施例适用的一种系统架构图。如图所示，本申请实施例可对图中所示的不同范围的自治网络进行网络自治能力评估。自治网络范围可包括以下三种情况：

单域自治网络：包括网元和域管理功能单元；

跨域自治网络：包括网元、域管理功能单元和跨域管理功能单元；

业务自治网络：包括网元、域管理功能单元，跨域管理功能单元和业务运营单元。

业务运营单元：也可以称为通信业务管理功能单元(communication servicemanagement function)，可以提供计费、结算、帐务、客服、营业、网络监控、通信业务生命周期管理、业务意图翻译等功能和管理服务。包括运营商的运营系统或者垂直行业的运营系统(vertical operational technology system)。

跨域管理功能单元：也可以称之为网络管理功能单元(network managementfunction，NMF)，跨域管理功能单元提供以下一项或几项功能或者管理服务：网络的生命周期管理，网络的部署，网络的故障管理，网络的性能管理，网络的配置管理，网络的保障，网络的优化功能，通信服务提供商的网络意图(intent from communication serviceprovider，intent-CSP)的翻译，通信服务使用者的网络意图(intent from communicationservice consumer，intent-CSC)的翻译等。这里的网络可以包括一个或者多个网元，子网络或者网络切片。例如，跨域管理功能单元可以是网络切片管理功能(network slicemanagement function，NSMF)，或者管理数据分析功能(management data analyticalfunction，MDAF)，或者跨域自组织网络功能(self-organization network function，SON-function)，或者跨域意图管理功能单元。

需要说明的是，在某些部署场景下，跨域管理功能单元也可以提供以下一项或几项管理功能或者管理服务：子网络的生命周期管理，子网络的部署，子网络的故障管理，子网络的性能管理，子网络的配置管理，子网络的保障，子网络的优化功能，通信服务提供商的子网络意图的翻译，通信服务使用者的子网络意图的翻译等。其中，子网络可以由多个小的子网络组成或者由多个网络切片子网络组成。

域管理功能单元：也可以称之为子网络管理功能(subnetwork managementfunction，NMF)或者网元管理功能单元(network element/function managementfunction),域管理功能单元提供以下一项或者多项功能或者管理服务：子网络或者网元的生命周期管理，子网络或者网元的部署，子网络或者网元的故障管理，子网络或者网元的性能管理，子网络或者网元的保障，子网络或者网元的优化管理，子网络或者网元的意图翻译等。这里的子网络包括一个或者多个网元。或者，这里的子网络也可以包括一个或多个子网络，即一个或多个子网络组成一个更大覆盖范围的子网络。又或者，这里的子网络也可以包括一个或多个网络切片子网络。子网络包括以下几种描述方式之一：

某个技术域的网络，比如无线接入网，核心网，传输网等；

某个制式的网络，比如全球移动通信系统(global system for mobilecommunications，GSM)网络，长期演进(long term evolution，LTE)网络，第五代通信技术(5th generation mobile communication technology，5G)网络等；

某个设备商(或运营商)提供的网络，比如设备商X提供的网络等；

某个地理区域的网络，比如工厂A的网络，地级市B的网络等；

网元：为提供网络服务的实体，包括核心网网元、接入网网元等。例如，核心网网元可以包括但不限于接入与移动性管理功能(access and mobility management function，AMF)实体、会话管理功能(session management function，SMF)实体、策略控制功能(policy control function，PCF)实体、网络数据分析功能(network data analysisfunction，NWDAF)实体、网络存储功能(network repository function，NRF)、网关等。接入网网元可以包括但不限于：各类基站(例如下一代基站(generation node B，gNB)，演进型基站(evolved Node B，eNB)、集中控制单元(central unit control panel，CUCP)、集中单元(central unit，CU)、分布式单元(distributed unit，DU)、集中用户面单元(centralunit user panel，CUUP)等。

在服务化管理架构下，聚焦管理服务的提供者(management service producer,MnS Producer)和管理服务的消费者(management service consumer，MnS Consumer)，应理解：

当管理服务为上述业务运营单元提供的管理服务时，业务运营单元为管理服务提供者，其它业务运营商单元可以为管理服务消费者；

当管理服务为上述跨域管理功能单元提供的管理服务时，跨域管理功能单元为管理服务提供者，业务运营单元为管理服务消费者；

当管理服务为上述域管理功能单元提供的管理服务时，域管理功能单元为管理服务提供者，跨域管理功能单元或者业务运营单元为管理服务消费者；

当管理服务为上述网元提供的管理服务时，网元为管理服务提供者，域管理功能单元或者跨域管理功能单元或者业务运营单元为管理服务消费者。

图4示例性示出了本申请实施例提供的针对单一网络运维场景的网络自治能力评估方法的流程示意图。该流程可由网络自治能力评估装置执行。网络自治能力评估装置可由软件方式实现，或者硬件方式实现，或者软件和硬件结合的方式实现。可理解，当由软件方式实现时，网络自治能力评估装置可以是指实现网络自治能力评估方法的应用程序，或者是安装有该应用程序的电子设备。通过该流程可对图3中各种范围的自治网络在单一网络运维场景下的网络自治能力进行评估。

下面以第一网络运维场景为例进行说明。

如图4所示，该流程可包括以下步骤：

S401：确定第一网络运维场景的自治网络等级为第一自治网络等级。

所述第一网络运维场景是可能的任意一种网络运维场景，例如可以是网络优化场景、网络规划场景、网络部署场景、网络维护场景和网络运维场景中任意一个，也可以是更细化的网络运维场景，比如可以是无线覆盖优化场景，或者是无线5G覆盖优化场景等，本申请实施例对此不作限制。第一网络运维场景中可包括至少一个运维任务。

该步骤中，可根据第一网络运维场景中包括的运维任务的人机分工状态，以及预设的自治网络等级划分规则，确定第一网络运维场景的自治网络等级，这里为描述方便，将确定出的第一网络运维场景的自治网络等级称为第一自治网络等级。该第一自治网络等级为自治网络等级表格中包括的一个自治网络等级。根据运维任务的人机分工状态和自治网络等级划分规则，确定第一网络运维场景的自治网络等级的方法，与传统方法基本相同。

以第一网络运维场景为“无线5G覆盖优化场景”为例，图5示例性示出了用于评估“无线5G覆盖优化场景”的自治网络等级的网络优化自治网络等级表格，该表格中包括“无线5G覆盖优化场景”下每个自治网络等级对每个运维任务要求的人机分工状态。

图5中的每个方框对应“无线5G覆盖优化场景”中的一个运维任务，方框中的字母表示相应运维任务的名称或种类，包括：

运维任务A2：覆盖监控规则和优化策略生成；

运维任务B2：无线覆盖保障意图评估；

运维任务C2：覆盖数据采集：

运维任务D2：覆盖性能异常识别；

运维任务E2：覆盖性能劣化预测；

运维任务F2：覆盖问题定界；

运维任务G2：覆盖问题定位；

运维任务H2：覆盖优化方案生成；

运维任务I2：覆盖优化方案评估决策；

运维任务J2：覆盖优化方案执行。

表1示出了“无线5G覆盖优化场景”中的每个运维任务的人机分工状态。

表1：无线5G覆盖优化场景中每个运维任务的人机分工状态

将上述表1所示的各运维任务的人机分工状态，与图5所示的各自治网络等级对各运维任务要求的人机分工状态进行匹配，可确定出“无线5G覆盖优化场景”的自治网络等级为等级2。

S402：根据第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定第一网络运维场景的等级调整量。

本申请实施例中，自治网络等级为第一自治网络等级的第一网络运维场景包括的所有运维任务中，存在至少一个关键运维任务(key task)。所述至少一个关键运维任务中包括第一关键运维任务，第一自治网络等级对该第一关键运维任务的网络自治能力的要求，与第二自治网络等级对该第一关键运维任务的网络自治能力的要求不同。也就是说，在确定第一网络运维场景的自治网络等级为第一自治网络等级的情况下，若第一网络运维场景中包括的一个运维任务满足上述条件(即，第一自治网络等级对该运维任务的网络自治能力的要求，与第二自治网络等级对该运维任务的网络自治能力的要求不同)，则该运维任务为关键运维任务。其中，第二自治网络等级高于第一自治网络等级，可选的，第二自治网络等级是比第一自治网络等级高一级的自治网络等级，例如，若所述第一自治网络等级为图5中的等级2，则所述第二自治网络等级为图5中的等级3。

可选的，若所述至少一个关键运维任务中包括多个关键运维任务，则对于该多个关键运维任务中的任意一个运维任务来说，第一自治网络等级对该关键运维任务的网络自治能力的要求，与第二自治网络等级对该关键运维任务的网络自治能力的要求不同。

根据上述关键运维任务应满足的条件，下面以第一网络运维场景为“无线5G覆盖优化场景”为例，说明确定关键运维任务的方法。在S401中，确定出该“无线5G覆盖优化场景”的自治网络等级为等级2，则可根据图5中等级2对各运维任务要求的人机分工状态和等级3对各运维任务要求的人机分工状态，确定这些运维任务中的关键运维任务。可理解，确定出的关键运维任务是“无线5G覆盖优化场景”的自治网络等级为等级2情况下，“无线5G覆盖优化场景”中的关键运维任务。

示例性的，若第一运维场景的第一自治网络等级为图5中的等级2，则第二自治网络等级为图5中的等级3，则确定出的关键运维任务可如图6中的虚线框标识的运维任务。如图6所示，对于任务C2(覆盖数据采集任务)，等级2对该运维任务要求的网络自治能力要达到“人工+系统”状态对应的网络自治能力，等级3对该运维任务要求的网络自治能力要达到“系统”状态对应的网络自治能力，满足上述“第一自治网络等级对该关键运维任务的网络自治能力的要求，与第二自治网络等级对该关键运维任务的网络自治能力的要求不同”的条件，因此任务C2(覆盖数据采集任务)为关键运维任务。同理，还可以进一步确定任务D2(覆盖性能异常识别)、任务E2(覆盖性能劣化预测)，任务F2(覆盖问题定界)、任务G2(覆盖问题定位)、任务H2(覆盖优化方案生成)以及任务I2(覆盖优化方案评估决策)也是关键运维任务。而对于任务A2(覆盖监控规则和优化策略生成)，等级2对该运维任务要求的网络自治能力要达到“人工+系统”状态对应的网络自治能力，等级3对该运维任务要求的网络自治能力同样要达到“人工+系统”状态对应的网络自治能力。

本申请实施例中，对于每个关键运维任务，可以确定该关键运维任务的网络自治能力的满足度。以第一关键运维任务为例，第一关键运维任务的网络自治能力的满足度，是指第一关键运维任务的网络自治能力，满足第二自治网络等级对该第一关键运维任务要求的网络自治能力的程度。例如，以第一网络运维场景的自治网络等级为等级2作为例子，第一关键运维任务的满足度，是指：该第一关键运维任务的网络自治能力满足等级3对该第一关键运维任务要求的网络自治能力的程度，比如具体可能是：完全满足，不满足(即完全不满足)，或者部分满足(比如80％满足)。可选的，满足度可用百分比或级别或其它类似参数来表示。

需要说明的是，本申请实施例对“满足度”的参数命名没有限制。

可理解，由于人机分工状态可以表示网络自治能力，因此“第一关键运维任务的网络自治能力满足第二自治网络等级对该第一关键运维任务要求的网络自治能力的程度”，也可理解为“第一关键运维任务的人机分工状态满足第二自治网络等级对该第一关键运维任务要求的人机分工状态的程度”。

在一种实现方式中，满足度可包括“满足”“不满足(即完全不满足)”两种情况。对于第一关键运维任务来说，若该第一关键运维任务的网络自治能力满足第二自治网络等级对该第一关键运维任务要求的网络自治能力，则第一关键运维任务的网络自治能力的满足度为“满足”，否则为“不满足”。

举例来说，在第一网络运维场景的自治网络等级为等级2的情况下，该第一网络运维场景中包括的关键运维任务如图6所示，对于其中的任务C2(覆盖数据采集任务)，根据表1可以确定该关键运维任务的人机分工状态为“系统”，根据图6可确定等级3对该关键运维任务要求的人机分工状态为“系统”，由于该关键运维任务的实际人机分工状态已经达到等级3对该关键运维任务的要求，也就意味着该关键运维任务的网络自治能力满足等级3对该关键运维任务要求的网络自治能力，因此该关键运维任务的网络自治能力的满足度为“满足”；而对于如图6中的任务E2(覆盖性能劣化预测)，根据表1可以确定该关键运维任务的人机分工状态为“人工”，根据图6可确定等级3对该关键运维任务要求的人机分工状态为“人工+系统”，由于该关键运维任务的实际人机分工状态无法达到(或满足)等级3对该关键运维任务的要求，也就意味着该关键运维任务的网络自治能力不满足等级3对该关键运维任务要求的网络自治能力，因此该关键运维任务的网络自治能力的满足度为“不满足”。

在另一种实现方式中，满足度可包括多种情况，比如包括：满足(即完全满足)，不满足(即完全不满足)，部分满足(比如一定程度或比例满足)。进一步的，“部分满足”的情况，又可以根据满足程度(比例)的不同，包括多种更细分的情况。比如，在第一网络运维场景的自治网络等级为等级2的情况下，第一关键运维任务的实际人机分工状态为“30％人工+70％系统”，等级3对该关键运维任务要求的人机分工状态为“系统”，则该关键运维任务的网络自治能力等级的满足度为70％满足；再比如，第一关键运维任务的实际人机分工状态为“30％人工+70％系统”，等级3对该关键运维任务要求的人机分工状态为“10％人工+90％系统”，则该关键运维任务的网络自治能力等级的满足度为77％满足；再比如，第一关键运维任务的实际人机分工状态为“30％人工+70％系统”，等级3对该关键运维任务要求的人机分工状态为“60％人工+40％系统”，则该关键运维任务的网络自治能力等级的满足度为100％满足。

本申请实施例中，确定出第一网络运维场景中包括的所有关键运维任务，并确定出每个关键运维任务的网络自治能力满足度后，可根据所有关键运维任务的网络自治能力满足度，确定该第一网络运维场景的等级调整量。

可选的，等级调整量可使用所有关键运维任务的任务分数(task scope，Ts)的加权平均值来表示。

可选的，图4中的S402的一种实现方式可如图7所示。图7示例性示出了本申请实施例提供的一种确定第一网络运维场景的等级调整量的流程示意图，如图所示，该流程可包括以下步骤：

S701：确定第一网络运维场景中的每个关键运维任务的任务分数。

本申请实施例中，可根据关键运维任务的网络自治能力满足度，确定该关键运维任务的分数。第一关键运维任务的任务分数与第一关键运维任务的网络自治能力的满足度相对应。

针对上述满足度可包括“满足”“不满足”的情况，在一种实现方式中，可设置第一满足度(“满足”)与第一分数对应，设置第二满足度(“不满足”)与第二分数对应。第二分数不等于第一分数。可选的，在自治网络等级的取值越高，网络自治能力越高的情况下，第二分数低于第一分数。进一步的，第一分数可以等于1，第二分数可以等于0。在一种实现方式中，在确定第一关键运维任务的任务分数时，若第一关键运维任务的网络自治能力的满足度为第一满足度，第一满足度表示第一关键运维任务的网络自治能力满足第二自治网络等级对该第一关键运维任务要求的网络自治能力，则确定该第一关键运维任务的任务分数等于第一分数；若第一关键运维任务的网络自治能力的满足度为满足度，第二满足度表示第一关键运维任务的网络自治能力不满足第二自治网络等级对第一关键运维任务要求的网络自治能力，则确定该第一关键运维任务的任务分数等于第二分数。

针对上述满足度包括多个的情况，在一种可能的实现方式中，满足度除了包括上述第一满足度(表示“满足”)和第二满足度(表示“不满足”)的情况下，还可以进一步包括第三满足度，第三满足度表示第一关键运维任务的网络自治能力满足第二自治网络等级对该第一关键运维任务要求的网络自治能力的第一百分比，比如该第一百分比等于70％，则第三满足度为“70％”满足。可分别针对每个满足度设置对应的分数，满足度越高，任务分数越高。比如，若满足度为第一满足度(“100％满足”)，则对应的任务分数等于1，若满足度为第二满足度(“不满足”)，则对应的任务分数等于0，若满足度为第三满足度(比如“70％满足”)，则对应的任务分数等于0.7。此种情况下，在确定第一关键运维任务的任务分数时，若第一关键运维任务的网络自治能力的满足度为第三满足度，则该第一关键运维任务的任务分数等于第三分数。其中，第三分数的取值在第一分数和第二分数之间，比如，第三分数大于第二分数且小于第一分数，比如上述例子中，第一满足度对应的任务分数等于1，第二满足度对应的任务分数等于0，第三满足度对应的任务分数等于0.7。在另一种可能的实现方式中，可预先针对每个满足度设置对应的系数，满足度越高，系数越高。这样，可以根据第一关键运维任务的自治能力的满足度，查询与该满足度对应的系数，从而用该系数乘以预先设置的基础分数，得到第一关键运维任务的任务分数。

一个关键运维任务的任务分数的高低，可以反映该关键运维任务的网络自治能力的高低，在自治网络等级的取值越高网络自治能力越高的情况下，一个关键运维任务的任务分数越高表示该关键运维任务的网络自治能力也越高，例如上述例子中，如果第一关键运维任务的任务分数等于第三分数(对应于第三满足度)，则表示该关键运维任务的网络自治能力介于第一分数(对应于第一满足度)对应的网络自治能力和第二分数(对应于第二满足度)对应的网络自治能力之间。

上述实现方式中，根据关键运维任务的网络自治能力是否满足第二自治网络等级对该运维任务要求的网络自治能力，关键运维任务的任务分数有所不同，从而可以体现不同关键运维任务对等级调整量的贡献大小，进而使得确定出的等级调整量更加合理。

通过上述实现方式，若第一关键运维任务的网络自治能力满足第二自治网络等级对该第一关键运维任务要求的网络自治能力，则可根据第一关键运维任务的网络自治能力的满足度来确定该第一关键运维任务的任务分数。也就是说，对于网络自治能力满足更高自治网络等级的关键运维任务来说，其网络自治能力的满足度可以包括多种可能，该关键运维任务的任务分数与该关键运维任务的网络自治能力满足对相对应，从而进一步细化了不同关键运维任务对等级调整量的贡献大小，进而使得确定出的等级调整量更加精细化。

S702：对第一网络运维场景中的所有关键运维任务的任务分数进行加权平均，得到第一值。

该第一值为第一网络运维场景中所有关键运维任务的任务分数的加权平均值。

可选的，可根据以下公式计算第一值(Ts_all)：

其中，K为第一网络运维场景中的所有关键运维任务的任务数量，Ts_i为第一网络运维场景中所有关键运维任务中的第i个关键运维任务的任务分数，Tw_i为第i个关键运维任务的任务权重(task weight)。

可选的，第i个关键运维任务的任务权重，与第i个关键运维任务的实现难度关联。本申请实施例中，可根据运维任务的实现难度(也可理解为运维任务的自治化实现难度)设置运维任务的权重，实现难度越大，权重越大，这样可以通过关键运维任务的权重将关键运维任务的实现难度体现于该关键运维任务的任务分数，进而体现在第一运维场景的网络自治能力评估结果中，使得第一运维场景的网络自治能力评估结果更加精细。

可选的，任务权重的设置可以考虑但不限于以下因素：

-人工实现该运维任务所需投入的时间；

-人工实现该运维任务所需掌握的技能，即工作难度；

-该运维任务实现自治之后带来的网络性能增益。

如何统计分析以上因素得到任务权重，可以有多种计算方式，本申请实施例不做限制。

可选的，也可以将每个关键运维任务的权重设置为相同，比如设置为1，这样，上述计算任务分数的加权平均值的公式可变形为以下计算算数平均值的公式：

其中，K为第一网络运维场景中的所有关键运维任务的任务数量，Ts_i为第一网络运维场景中所有关键运维任务中的第i个关键运维任务的任务分数。

S703：将第一值确定为第一网络运维场景的等级调整量。

可选的，可将确定出的第一加权平均值作为第一网络运维场景的等级调整量。

根据图7所示的流程，通过对各关键运维任务的任务分数进行加权平均计算，根据计算得到的第一值(任务分数的加权平均值)确定第一网络运维场景的等级调整量，可以将所有关键运维任务的实际网络自治能力与更高自治网络等级所要求的网络自治能力之间的差异因素考虑进来，从而可以使得确定出的等级调整量更加合理。

S403：根据第一自治网络等级以及等级调整量，确定第一网络运维场景的网络自治能力评估结果。

可选的，第一网络运维场景的网络自治能力评估结果可使用网络自治能力等级分数来表示。可选的，第一网络运维场景的网络自治能力等级分数等于第一自治网络等级与该等级调整量的和。

可选的，网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于第二自治网络等级对应的网络自治能力。也就是说，第一网络运维场景的网络自治能力介于第一自治网络等级对应的网络自治能力与第二自治网络等级对应的网络自治能力之间，相比于传统方案中仅基于评估出的自治网络等级来确定网络自治能力相比，采用本申请实施例可提高网络自治能力评估的精细化程度。

可选的，网络能力评估装置确定出第一网络运维场景的网络自治能力评估结果后，可以将该评估结果输出，比如发送给自治网络评估监控设备。

上述实施例中，确定第一网络运维场景的自治网络等级(第一自治网络等级)后，为进一步提高网络自治能力评估的精细化程度，则进一步的，根据第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定第一网络运维场景的等级调整量，从而根据第一自治网络等级以及该等级调整量，确定第一网络运维场景的网络自治能力评估结果，相比于仅基于第一自治网络等级来表征第一网络运维场景的网络自治能力相比，采用上述实现方式可以得到更精细化的网络自治能力评估结果。

进一步的，由于在进行网络自治能力评估过程中，根据关键运维任务的网络自治能力的满足度确定等级调整量，这样就将关键运维任务的实际网络自治能力与更高自治网络等级所要求的网络自治能力之间的差异因素考虑进来，基于这种差异确定等级调整量，从而可以提高网络自治能力评估的精细化程度。

下面以“无线5G覆盖优化场景”为例，结合图5所示的网络优化的自治网络等级表格，对单一网络运维场景下的网络自治能力评估流程进行说明，该流程的具体实现过程可参见图8，图8为图4所示流程的一个具体示例，即图8描述了当第一网络运维场景是“无线5G覆盖优化场景”的情况下，对该“无线5G覆盖优化场景”进行网络自治能力评估的过程。

参见图8，本申请实施例提供的对“无线5G覆盖优化场景”的网络自治能力进行评估的流程可包括：

S801：根据待评估的“无线5G覆盖优化场景”中的每个运维任务的人机分工状态，以及预先设置的如图5所示的网络自治等级表格，确定“无线5G覆盖优化场景”的自治网络等级为等级2(ANL＝2)。

具体地，S801可包括以下S8011至S8012：

S8011：获取“无线5G覆盖优化场景”中的每个运维任务的人机分工状态。

“无线5G覆盖优化场景”运维流程中包括以下运维任务：覆盖监控规则和优化策略生成任务，无线覆盖保障意图评估任务，覆盖数据采集任务，覆盖性能异常识别任务，覆盖性能劣化预测任务，覆盖问题定界任务，覆盖问题定位任务，覆盖优化方案生成任务，覆盖优化方案评估决策任务和覆盖优化方案执行任务。上述各运维任务的人机分工状态如表1所示。

S8012：根据“无线5G覆盖优化场景”中每个运维任务的人机分工状态，以及如图5所示的网络优化的自治网络等级表格，确定“无线5G覆盖优化场景”的自治能力等级为等级2(ANL＝2)。

该步骤中，根据图5所示的网络优化的自治网络等级表格，确定该“无线5G覆盖优化场景”中的“覆盖数据采集”任务和“覆盖优化方案执行”任务已经实现由电信系统进行，同时“覆盖性能异常的识别”任务和“覆盖问题定界”任务也具备由电信系统独立完成的能力，但是“覆盖性能劣化预测”任务仍需人工进行，无法满足等级3对该运维任务所要求的人机分工状态，因此将“无线5G覆盖优化场景”的网络自治等级确定为等级2(ANL＝2)。

S802：根据S801确定的定级结果(ANL＝2)，确定“无线5G覆盖优化场景”的网络优化自治能力等级分数(ANL Scope,即ANLs)。

“无线5G覆盖优化场景”的网络优化自治能力等级分数(ANLs)，可依据定级结果(ANL＝2)以及等级调整量(这里称为关键运维任务的加权平均分Ts_all)确定得到。

具体地，S802可包括以下步骤S8021至S8022：

S8021：针对S801确定的定级结果(ANL＝2)以及ANL＝3，确定关键运维任务，对每个关键运维任务进行打分，得到每个关键运维任务的任务分数(task scope，Ts)。

具体地，S8021可包括以下步骤I和步骤II：

步骤I：根据S801确定的定级结果(ANL＝2)，基于如图5所示的网络优化的自治网络等级表格，比对ANL＝2以及ANL＝3对各运维任务要求的人机分工状态，将人机分工状态存在差异的所有运维任务确定为关键运维任务。确定出的关键运维任务(key task)如图6中虚线框标识的运维任务所示，具体包括7个关键运维任务(key task)：任务C2(覆盖数据采集任务)、任务D2(覆盖性能异常识别)、任务E2(覆盖性能劣化预测)，任务F2(覆盖问题定界)、任务G2(覆盖问题定位)、任务H2(覆盖优化方案生成)以及任务I2(覆盖优化方案评估决策)。

步骤II：针对步骤I中选取的关键运维任务，对比分析“无线5G覆盖优化场景”中每个关键运维任务的人机分工状态的满足度，得到每个关键运维任务的任务分数Ts。“无线5G覆盖优化场景”中的每个关键运维任务的任务分数如表2所示。这里，以“满足度”包括“满足”和“不满足”为例，“满足”对应的任务分数等于1，“不满足”对应的任务分数等于0。计算任务分数Ts时，若某个关键运维任务的“满足度”为“满足”，则该关键运维任务的任务分数Ts＝1，若某个关键运维任务的“满足度”为“不满足”，则该关键运维任务的任务分数Ts＝0。

表2：“无线5G覆盖优化场景”中的关键运维任务的任务分数

S8022：获取每个关键运维任务的任务权重(Tw1,…,Twn)，并根据关键运维任务的任务权重(Tw1,…,Twn)和任务分数(Ts1,…,Tsn)，确定“无线5G覆盖优化场景”的自治网络等级分数(ANLs scope，ANLs)。

步骤S8022具体可包括以下步骤III至步骤IV：

步骤III：根据关键运维任务的自治化实现难易程度，确定关键运维任务的任务权重Tw。表3示出了一种关键运维任务权重Tw举例。

表3：关键运维任务的任务权重

步骤IV：根据“无线5G覆盖优化场景”的关键运维任务的任务分数Ts和任务权重Tw计算得到所有关键任务的任务分数的加权平均值Ts_all，再根据Ts_all和“无线5G覆盖优化场景”的等级结果(ANL＝2),计算得到“无线5G覆盖优化场景”的自治网络等级分数ANLs。

其中，Ts_all的计算公式为：

Ts_all＝Sum(Ts1*Tw1+Ts2*Tw2+…+Tsn*Twn)/Sum(1*Tw1+1*Tw2+…+1*Twn)

ANLs的计算公式为：

ANLs＝ANL+Ts_all

根据以上公式，“无线5G覆盖优化场景”的自治网络等级分数的计算结果为：

ANLs＝2+(1*2+1*2+0*4+1*2+1*5+1*8+1*4)/(1*2+1*2+1*4+1*2+1*5+1*8+1*4)＝2.85

需要说明的是，图8中各步骤的具体实现方式可参见前述实施例，在此不再重复。

参见图9，为本申请实施例提供的对多个网络运维场景的网络自治能力评估方法的流程。该流程可由网络自治能力评估装置执行。网络自治能力评估装置可由软件方式实现，或者硬件方式实现，或者软件和硬件结合的方式实现。可理解，当由软件方式实现时，网络自治能力评估装置可以是指实现网络自治能力评估方法的应用程序，或者是安装有该应用程序的电子设备。通过该流程可对图3中各种范围的自治网络的网络自治能力进行评估。

如图9所示，该流程可包括以下步骤：

S901：确定多个网络运维场景。

其中，所述多个网络运维场景中的至少一个网络运维场景可以基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。所述多个网络运维场景中的每个网络运维场景包括至少一个运维任务。

为描述方便，可将该多个网络运维场景称为场景组合。

示例性的，可选定多个需要进行网络自治能力评估的网络优化场景形成场景组合，例如，该多个网络优化场景可包括：无线4G覆盖优化场景、无线5G覆盖优化场景、无线4G速率优化场景、无线5G速率优化场景。

S902：确定该多个网络运维场景(即场景组合)中每个网络运维场景的自治能力评估结果。

在一种实现方式中，可采用传统的方法，分别确定该场景组合中每个网络运维场景的自治网络等级，得到每个网络运维场景的自治能力评估结果。

在另一种实现方式中，可采用本申请的上述实施例提供的针对单一网络运维场景的网络能力评估方法，例如采用如图4所示的方法，分别对该场景组合中的每个网络运维场景的网络自治能力进行评估，得到每个网络运维场景的自治能力评估结果。

S903：根据该多个网络运维场景(即场景组合)中每个网络运维场景的自治能力评估结果，确定该多个网络运维场景(即场景组合)对应的一个网络自治能力评估结果。

该步骤中，可以根据多个网络运维场景(即场景组合)中每个网络运维场景的自治网络等级分数，确定第二值，该第二值为该多个网络运维场景(即场景组合)中所有网络运维场景的自治网络等级分数的加权平均值；将该第二值确定为该多个网络运维场景(即场景组合)对应的一个网络自治能力评估结果。

在一种实现方式中，该第二值(ANLS_Ava)，可以根据以下公式计算：

其中，M为该多个网络运维场景(即场景组合)中的网络运维场景的数量，ANLs_i为该多个网络运维场景中第i个网络运维场景的自治网络等级分数。

在另一种实现方式中，该第二值(ANLS_Ava)，可以根据以下公式计算：

其中，M为该多个网络运维场景(即场景组合)中的网络运维场景的数量，ANLs_i为该多个网络运维场景中第i个网络运维场景的自治网络等级分数，Sw_i为第i个网络运维场景的场景权重(scenario weight，Sw)。

可选的，可根据网络运维场景的实现难易程度，为网络运维场景设置对应的场景权重。比如，“5G室内覆盖优化场景”比“5G室外覆盖优化场景”的实现难度大，因此“5G室内覆盖优化场景”的场景权重比“5G室外覆盖优化场景”的场景权重高。

可选的，网络能力评估装置确定出该多个网络运维场景(即场景组合)对应的一个网络自治能力评估结果后，可以将该评估结果输出，比如发送给自治网络评估监控设备。

根据以上图9所示的流程，在对多个网络运维场景进行网络自治能力评估的场景中，分别确定每个网络运维场景的网络自治能力评估结果，再根据每个网络运维场景的网络自治能力评估结果确定该多个网络运维场景对应的网络自治能力，因此可以综合多个网络运维场景的网络自治能力，评估该多个网络运维场景形成的场景组合所对应的网络自治能力，弥补了目前尚未有根据场景组合评估网络自治能力的空白。

基于相同的技术构思，本申请实施例还提供了一种网络自治能力评估装置。该网络自治能力评估装置可执行图4、图7所示的流程。

如图10所示，该网络自治能力评估装置1000可包括：自治网络等级确定模块1001、等级调整量确定模块1002、网络自治能力评估模块1003。

自治网络等级确定模块1001，用于确定第一网络运维场景的自治网络等级为第一自治网络等级；等级调整量确定模块1002，用于根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；网络自治能力评估模块1003，用于根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。可选的，自治网络等级确定模块1001可依据自治网络等级划分规则1004确定第一网络运维场景的自治网络等级为第一自治网络等级；等级调整量确定模块1002可依据自治网络等级确定模块1001确定出的第一自治网络等级，以及自治网络等级划分规则1004，并根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量。

其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级。可选的，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

需要说明的是，上述网络自治能力评估装置1000能够实现上述方法实施例中如图4所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

基于相同的技术构思，本申请实施例还提供了一种网络自治能力评估装置。该网络自治能力评估装置可执行图9所示的流程。

如图11所示，该网络自治能力评估装置1100可包括：网络运维场景组合确定模块1101、第一网络自治能力评估模块1102、第二网络自治能力评估模块1103。

网络运维场景组合确定模块1101，用于确定多个网络运维场景，所述多个网络运维场景中的每个网络运维场景包括至少一个运维任务；第一网络自治能力评估模块1102，用于确定所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果；第二网络自治能力评估模块1103，用于根据所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果，确定所述多个网络运维场景对应的一个网络自治能力评估结果。

在一种可能的实现方式中，第一网络自治能力评估模块1102可执行图4、图7所示的流程，获得所述多个网络运维场景中每个网络运维场景的网络自治能力评估结果。第一网络自治能力评估模块1102获得网络运维场景的网络自治能力评估结果的过程，可参见图4、图7中的描述，相关技术术语以及概念的解释和定义，也可参见图4、图7所述流程中的描述。

可选的，第一网络自治能力评估模块1102可包括：自治网络等级确定模块11021、等级调整量确定模块11022、网络自治能力评估模块11023。

以所述多个网络运维场景中包括第一网络运维场景为例，第一网络自治能力评估模块1102中的各模块的功能包括：自治网络等级确定模块11021，用于确定所述第一网络运维场景的自治网络等级为第一自治网络等级；等级调整量确定模块11022，根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；网络自治能力评估模块11023，根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级。

需要说明的是，上述网络自治能力评估装置1100能够实现上述方法实施例中如图9所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

为便于理解，图12中仅示出了通信装置1200执行本申请所示方法所需的结构，本申请并不限制通信装置可具备更多组件。该通信装置1200可用于执行上述方法实施例中网络自治能力评估装置执行的步骤。该通信装置1200可包括通信接口1201、存储器1202以及处理器1203。该通信接口1201可以用于通信装置进行通信，如用于发送或接收信号。该存储器1202与所述处理器1203耦合，可用于保存通信装置1200实现各功能所必要的程序和数据。该处理器1203被配置为支持通信装置1200执行上述方法中由网络自治能力评估装置执行的处理功能。以上存储器1202以及处理器1203可集成于一体也可相互独立。

示例性的，该通信接口1201可以是通信端口，如网元之间用于通信的通信端口(或称接口)。通信接口1201也可被称为收发单元或通信单元。该处理器1203可通过处理芯片或处理电路实现。通信接口1201可采用无线方式或有线方式进行信息接收或发送。本申请实施例中，通信装置1200在对第一网络运维场景的网络自治能力评估的过程中，可基于通信接口1201获取第一网络运维场景中各运维任务的人机分工状态，还可以获取自治网络等级划分规则(比如图5所示的表格)，进一步的，在获得评估结果后，还可以通过通信接口1201进行输出。通信装置1200在对多个网络运维场景的网络自治能力评估的过程中，可基于通信接口1201获取该多个网络运维场景中每个网络运维场景中的各运维任务的人机分工状态，还可以获取自治网络等级划分规则(比如图5所示的表格)，进一步的，在获得评估结果后，还可以通过通信接口1201进行输出。

另外，根据实际使用的需要，本申请实施例提供的通信装置可包括处理器，由该处理器调用外接的收发器和/或存储器以实现上述功能或步骤或操作。通信装置也可包括存储器，由处理器调用并执行存储器中存储的程序实现上述功能或步骤或操作。或者，通信装置也可包括处理器及收发器(或通信接口)，由处理器调用并执行外接的存储器中存储的程序实现上述功能或步骤或操作。或者，通信装置也可包括处理器、存储器以及收发器。

在一种实现方式中，该通信装置1200可对单一网络运维场景进行网络自治能力评估，具体可实现上述图4、图7所示的流程。此种情况下，处理器1203可实现网络自治能力评估装置1000中自治网络等级确定模块1001、等级调整量确定模块1002、网络自治能力评估模块1003的功能。

在另一种实现方式中，该通信装置1200可对多个网络运维场景进行网络自治能力评估，具体可实现上述图9所示的流程。此种情况下，处理器1203可实现网络自治能力评估装置1100中网络运维场景组合确定模块1101、第一网络自治能力评估模块1102、第二网络自治能力评估模块1103的功能。

基于与上述方法实施例相同构思，本申请实施例中还提供一种计算机可读存储介质，其上存储有程序指令(或称计算机程序、指令)，该程序指令被处理器执行时，使该计算机执行上述方法实施例、方法实施例的任意一种可能的实现方式中由网络自治能力评估装置执行的操作。

基于与上述方法实施例相同构思，本申请还提供一种计算机程序产品，包括程序指令，该计算机程序产品在被计算机调用执行时，可以使得计算机实现上述方法实施例、方法实施例的任意一种可能的实现方式中由网络自治能力评估装置执行的操作。

基于与上述方法实施例相同构思，本申请还提供一种芯片或芯片系统，该芯片与收发器耦合，用于实现上述方法实施例、方法实施例的任意一种可能的实现方式中由网络自治能力评估装置执行的操作。该芯片系统可包括该芯片，以及包括存储器、通信接口等组件。

基于与上述方法实施例相同构思，本申请实施例还提供一种通信系统，所述通信系统包括自治网络评估执行设备和自治网络评估监控设备。

一种可能的实现方式中，所述自治网络评估执行设备可以用于对单一网络运维场景进行网络自治能力评估，比如该自治网络评估执行设备可以是(或包括)上述图10所示的网络自治能力评估装置1000，该自治网络评估执行设备可以将第一网络运维场景的网络自治能力评估结果发送给所述自治网络评估监控设备，以使得自治网络评估监控设备可以对第一网络运维场景的网络自治能力的评估结果进行监控。

另一种可能的实现方式中，所述自治网络评估执行设备可以用于对多个网络运维场景进行网络自治能力评估，比如该自治网络评估执行设备可以是(或包括)上述图11所示的网络自治能力评估装置1100，该自治网络评估执行设备可以将多个网络运维场景的网络自治能力评估结果发送给所述自治网络评估监控设备，以使得自治网络评估监控设备可以对该多个网络运维场景的网络自治能力的评估结果进行监控。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (26)

1.一种网络自治能力评估方法，其特征在于，包括：

确定第一网络运维场景的自治网络等级为第一自治网络等级；

根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级；

根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

2.如权利要求1所述的方法，其特征在于，所述网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。

3.如权利要求1-2任一项所述的方法，其特征在于，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量，包括：

确定所述至少一个关键运维任务中每个关键运维任务的任务分数；

对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；

将所述第一值确定为所述第一网络运维场景的等级调整量。

5.如权利要求4所述的方法，其特征在于，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

6.如权利要求4-5任一项所述的方法，其特征在于，所述确定所述至少一个关键运维任务中每个关键运维任务的任务分数，包括：

若所述第一关键运维任务的网络自治能力的满足度为第一满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第一分数；

若所述第一关键运维任务的网络自治能力的满足度为第二满足度，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第二分数，所述第二分数不等于所述第一分数。

7.如权利要求6所述的方法，其特征在于，还包括：

若所述第一关键运维任务的网络自治能力的满足度为第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比，则所述第一关键运维任务的任务分数等于第三分数，所述第三分数的取值在所述第一分数和所述第二分数之间。

8.如权利要求4-7任一项所述的方法，其特征在于，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。

9.如权利要求8所述的方法，其特征在于，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

10.如权利要求1-9任一项所述的方法，其特征在于，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

11.如权利要求1-10任一项所述的方法，其特征在于，所述第一运维场景是基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

12.一种网络自治能力评估装置，其特征在于，包括：

自治网络等级确定模块，用于确定第一网络运维场景的自治网络等级为第一自治网络等级；

等级调整量确定模块，用于根据所述第一网络运维场景中每个关键运维任务的网络自治能力的满足度，确定所述第一网络运维场景的等级调整量；其中，所述第一网络运维场景包括至少一个关键运维任务，所述至少一个关键运维任务中包括第一关键运维任务，所述第一自治网络等级对所述第一关键运维任务的网络自治能力的要求与第二自治网络等级对所述第一关键运维任务的网络自治能力的要求不同，所述第一关键运维任务的网络自治能力的满足度为所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的程度，所述第二自治网络等级高于所述第一自治网络等级；

网络自治能力评估模块，用于根据所述第一自治网络等级以及所述等级调整量，确定所述第一网络运维场景的网络自治能力评估结果。

13.如权利要求12所述的装置，其特征在于，所述网络自治能力评估结果表示的网络自治能力，高于所述第一自治网络等级对应的网络自治能力，且低于所述第二自治网络等级对应的网络自治能力。

14.如权利要求12-13任一项所述的装置，其特征在于，所述第一自治网络等级对所述至少一个关键运维任务中的任意一个关键运维任务的网络自治能力的要求，与所述第二自治网络等级对所述任意一个关键运维任务的网络自治能力的要求不同。

15.如权利要求12-14任一项所述的装置，其特征在于，所述等级调整量确定模块，具体用于：

确定所述至少一个关键运维任务中每个关键运维任务的任务分数；

对所述至少一个关键运维任务中每个关键运维任务的任务分数进行加权平均，得到第一值；

将所述第一值确定为所述第一网络运维场景的等级调整量。

16.如权利要求15所述的装置，其特征在于，所述第一关键运维任务的任务分数与所述第一关键运维任务的网络自治能力的满足度相对应。

17.如权利要求15-16任一项所述的装置，其特征在于，所述等级调整量确定模块，具体用于：

若所述第一关键运维任务的网络自治能力的满足度为第一满足度，所述第一满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第一分数；

若所述第一关键运维任务的网络自治能力的满足度为第二满足度，所述第二满足度表示所述第一关键运维任务的网络自治能力不满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力，则确定所述第一关键运维任务的任务分数等于第二分数，所述第二分数不等于所述第一分数。

18.如权利要求17所述的装置，其特征在于，所述等级调整量确定模块，还用于：

若所述第一关键运维任务的网络自治能力的满足度为第三满足度，所述第三满足度表示所述第一关键运维任务的网络自治能力满足所述第二自治网络等级对所述第一关键运维任务要求的网络自治能力的第一百分比，则所述第一关键运维任务的任务分数等于第三分数，所述第三分数的取值在所述第一分数和所述第二分数之间。

19.如权利要求15-18任一项所述的装置，其特征在于，所述第一值Ts_all，满足以下公式：

其中，K为所述至少一个关键运维任务中的关键运维任务的数量，Ts_i为所述至少一个关键运维任务中的第i个关键运维任务的任务分数，Tw_i为所述第i个关键运维任务的任务权重。

20.如权利要求19所述的装置，其特征在于，所述第i个关键运维任务的任务权重，与所述第i个关键运维任务的实现难度关联。

21.如权利要求12-20任一项所述的装置，其特征在于，所述第二自治网络等级是比所述第一自治网络等级高一级的自治网络等级。

22.如权利要求12-21任一项所述的装置，其特征在于，所述第一网络运维场景是基于以下至少一个维度获得的网络运维场景：无线网络制式维度、无线网络业务类型维度、无线网络应用维度、无线环境维度、无线话务状态维度。

23.一种通信装置，其特征在于，包括：一个或多个处理器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述通信装置执行如权利要求1-11中任意一项所述的方法。

24.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。

25.一种计算机程序产品，其特征在于，当其在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。

26.一种芯片系统，其特征在于，包括：存储器，用于存储计算机程序；处理器；当处理器从存储器中调用并运行计算机程序后，使得安装有该芯片系统的电子设备执行如权利要求1-11中任意一项所述的方法。