CN115660431A - 用于评估智能运维系统的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及互联网运维技术领域，公开一种用于评估智能运维系统的方法，包括：获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重；获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重；获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集；根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵；根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力。这样，能够提高评估智能运维系统的运维能力的准确性。本申请还公开一种用于评估智能运维系统的装置、电子设备及存储介质。

Description

用于评估智能运维系统的方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网运维技术领域，例如涉及一种用于评估智能运维系统的方法、装置、电子设备及存储介质。

背景技术

AIOps(Algorithmic IT Operations，智能运维)是使用AI算法，在海量运维数据中全自动学习并汇总规则，进而作出决策的运维方式。智能运维可以快速处理数据，分析出有效的运维决策，执行自动化脚本以实现对系统的整体运维，从而有效运维大规模系统。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

相关技术中对智能运维系统的运维能力的评判通常是将运维数据输入智能运维系统，对智能运维系统进行测试，用户根据得到的测试结果，人为的判断智能运维系统运维能力的优劣。然而，由于各个用户判断智能运维系统运维能力的优劣时的侧重点不同，因此，不同用户针对同一个测试结果得出的结论可能并不同。可见，现有技术中对评估智能运维系统运维能力的准确性较低。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于评估智能运维系统的方法、装置、电子设备及存储介质，以能够提高评估智能运维系统的运维能力的准确性。

在一些实施例中，所述用于评估智能运维系统的方法，包括：获取智能运维系统中的多个一级指标，以及各所述一级指标分别对应的权重；获取各所述一级指标分别对应的二级指标，以及各所述二级指标分别对应的权重；获取各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集；根据各所述二级指标分别对应的权重、各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的评分矩阵；根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重评估所述智能运维系统的运维能力。

在一些实施例中，所述用于评估智能运维系统的装置包括：第一获取模块，被配置为获取智能运维系统中的多个一级指标，以及各所述一级指标分别对应的权重；第二获取模块，被配置为获取各所述一级指标分别对应的二级指标，以及各所述二级指标分别对应的权重；第三获取模块，被配置为获取各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集；第四获取模块，被配置为根据各所述二级指标分别对应的权重、各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的评分矩阵；评估模块，被配置为根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重评估所述智能运维系统的运维能力。

在一些实施例中，所述电子设备，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于评估智能运维系统的方法。

在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行上述的用于评估智能运维系统的方法。

本公开实施例提供的用于评估智能运维系统的方法、装置、电子设备及存储介质，可以实现以下技术效果：通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分矩阵，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分矩阵和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一个用于评估智能运维系统的方法的示意图；

图2是本公开实施例提供的另一个用于评估智能运维系统的方法的示意图；

图3是本公开实施例提供的另一个用于评估智能运维系统的方法的示意图；

图4是本公开实施例提供的另一个用于评估智能运维系统的方法的示意图；

图5是本公开实施例提供的一个用于评估智能运维系统的装置的示意图；

图6是本公开实施例提供的一个电子设备的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。

结合图1所示，本公开实施例提供一种用于评估智能运维系统的方法，包括：

步骤S101，电子设备获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重。

步骤S102，电子设备获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重。

步骤S103，电子设备获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集。

步骤S104，电子设备根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵。

步骤S105，电子设备根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力。

采用本公开实施例提供的用于评估智能运维系统的方法，通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分矩阵，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分矩阵和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

可选地，获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集，包括：获取各二级指标分别对应的多个三级指标，各三级指标分别对应的评分和各三级指标分别对应的权重。利用各三级指标分别对应的评分构建各二级指标分别对应的模糊评判矩阵。利用各三级指标分别对应的权重构建各二级指标分别对应的权重集。这样，实现了对二级指标的层级评判。

可选地，利用各三级指标分别对应的评分构建各二级指标分别对应的模糊评判矩阵，包括：将二级指标对应的三级指标的评分按照第一预设顺序排列，获得该二级指标对应的模糊评判矩阵。

可选地，利用各三级指标分别对应的权重构建各二级指标分别对应的权重集，包括：将二级指标对应的三级指标的权重按照第二预设顺序排列，获得该二级指标对应的权重集。

可选地，获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集，包括：在二级指标没有对应的三级指标的情况下，获取该二级指标对应的评分，将该二级指标对应的评分确定为该二级指标对应的模糊评判矩阵。将1确定为该二级指标对应的权重集。

结合图2所示，本公开实施例提供一种用于评估智能运维系统的方法，包括：

步骤S201，电子设备获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重。

步骤S202，电子设备获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重。

步骤S203，电子设备获取各二级指标分别对应的多个三级指标，各三级指标分别对应的评分和各三级指标分别对应的权重。

步骤S204，电子设备利用各三级指标分别对应的评分构建各二级指标分别对应的模糊评判矩阵。

步骤S205，电子设备利用各三级指标分别对应的权重构建各二级指标分别对应的权重集。

步骤S206，电子设备根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵。

步骤S207，电子设备根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力。

采用本公开实施例提供的用于评估智能运维系统的方法，通过获取各三级指标分别对应的评分，实现了对三级指标的模糊评判。然后基于各三级指标分别对应的权重构建各二级指标分别对应的权重集，利用各三级指标分别对应的评分构建各二级指标分别对应的模糊评判矩阵，实现了对二级指标的层级评判。然后基于各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵。实现了对一级指标的层级评判。最后根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力，能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

在一些实施例中，各二级指标分别对应有5个三级指标。各三级指标分别对应一个级别。各三级指标对应的评分的分数范围为0至100。各三级指标对应的权重的取值范围在0至1。

可选地，获取三级指标对应的评分，包括：依据三级指标与目标指标的符合程度为各三级指标进行评分，获得三级指标对应的评分。

可选地，获取三级指标对应的评分，包括：在预设的数据库中获取各三级指标分别对应的评分。

可选地，根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵，包括：利用各二级指标分别对应的权重构建各一级指标分别对应的权重集。根据各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的模糊评判矩阵。根据各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵获取各一级指标分别对应的评分矩阵。

可选地，利用各二级指标分别对应的权重构建各一级指标分别对应的权重集，包括：将一级指标对应的二级指标的权重按照第三预设顺序排列，获得该一级指标对应的权重集。

结合图3所示，本公开实施例提供一种用于评估智能运维系统的方法，包括：

步骤S301，电子设备获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重。

步骤S302，电子设备获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重。

步骤S303，电子设备获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集。

步骤S304，电子设备利用各二级指标分别对应的权重构建各一级指标分别对应的权重集。

步骤S305，电子设备根据各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的模糊评判矩阵。

步骤S306，电子设备根据各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵获取各一级指标分别对应的评分矩阵。

步骤S307，电子设备根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力。

采用本公开实施例提供的用于评估智能运维系统的方法，通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

进一步地，根据各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的模糊评判矩阵，包括：根据第一预设算法利用各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集进行计算，获得各二级指标分别对应的评分矩阵，利用各二级指标分别对应的评分矩阵构建各一级指标对应的模糊评判矩阵。这样，能够根据一级指标对应的二级指标的模糊评判矩阵和权重集，获得二级指标对应的评分矩阵。即能够利用二级指标对应的三级指标的评分以及权重来对二级指标进行模糊评判。

在一些实施例中，分别计算各二级指标对应的权重集和各二级指标分别对应的模糊评判矩阵之间的叉乘，获得各二级指标分别对应的评分矩阵。

可选地，利用各二级指标分别对应的评分矩阵构建各一级指标对应的模糊评判矩阵，包括：将一级指标对应的二级指标的评分矩阵按照第四预设顺序排列，获得该一级指标对应的模糊评判矩阵。

进一步地，根据各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵获取各一级指标分别对应的评分矩阵，包括：根据第一预设算法利用各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵进行计算，获得各一级指标分别对应的评分矩阵。这样，能够根据一级指标对应的权重集和模糊评判矩阵，获得一级指标对应的评分。即能够利用一级指标对应的二级指标的评分以及权重来对一级指标进行模糊评判。

在一些实施例中，分别计算各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵之间的叉乘，获得各一级指标分别对应的评分矩阵。

可选地，根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力，包括：根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重获取智能运维系统的评分。在预设的数据表中获取与智能运维系统的评分对应的评级，将评级确定为智能运维系统的运维能力。这样，能够综合多个一级指标分别对应评分以及权重来对智能运维系统的运维能力进行评估，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

结合图4所示，本公开实施例提供一种用于评估智能运维系统的方法，包括：

步骤S401，电子设备获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重。

步骤S402，电子设备获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重。

步骤S403，电子设备获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集。

步骤S404，电子设备根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵。

步骤S405，电子设备根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重获取智能运维系统的评分。

步骤S406，电子设备在预设的数据表中获取与智能运维系统的评分对应的评级，将评级确定为智能运维系统的运维能力。

采用本公开实施例提供的用于评估智能运维系统的方法，通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分矩阵，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分矩阵和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

进一步地，根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重获取智能运维系统的评分，包括：利用各一级指标分别对应的评分矩阵构建智能运维系统对应的模糊评判矩阵，利用各一级指标分别对应的权重构建智能运维系统对应的权重集。根据第一预设算法利用智能运维系统对应的权重集和智能运维系统对应的模糊评判矩阵进行计算，获得智能运维系统的评分矩阵，根据第二预设算法利用智能运维系统的评分矩阵中的评分进行计算，获得智能运维系统的评分。这样，通过利用一级指标对应的评分以及权重来对智能运维系统的评估能力进行评估，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

可选地，利用各一级指标分别对应的评分矩阵构建智能运维系统对应的模糊评判矩阵，包括：将各一级指标分别对应的评分矩阵按照第五预设顺序排列，获得智能运维系统对应的模糊评判矩阵。

可选地，利用各一级指标分别对应的权重构建智能运维系统对应的权重集，包括：将各一级指标分别对应的权重按照第六预设顺序排列，获得智能运维系统对应的权重集。

可选地，根据第一预设算法利用智能运维系统对应的权重集和智能运维系统对应的模糊评判矩阵进行计算，获得智能运维系统的评分矩阵，包括：通过计算智能运维系统对应的权重集和智能运维系统对应的模糊评判矩阵之间的叉乘，获得智能运维系统的评分矩阵。

可选地，根据第二预设算法利用智能运维系统的评分矩阵中的评分进行计算，获得智能运维系统的评分，包括：将智能运维系统的评分矩阵中的评分之和，确定为智能运维系统的评分。

在一些实施例中，智能运维系统中的各一级指标包括U₁和U₂。U₁对应的权重为0.3。U₂对应的权重为0.7。U₁对应的二级指标包括U₁₁、U₁₂和U₁₃。U₁₁对应的权重为0.4。U₁₂对应的权重为0.3。U₁₃对应的权重为0.3。U₁₁对应的五个三级指标依次为U₁₁₁、U₁₁₂、U₁₁₃、U₁₁₄、U₁₁₅。U₁₁₁对应的评分以及权重分别为100和0.1。U₁₁₂对应的评分以及权重分别为90和0.2。U₁₁₃对应的评分以及权重分别为70和0.3。U₁₁₄对应的评分以及权重分别为50和0.2。U₁₁₅对应的评分以及权重分别为0和0.2。将三级指标U₁₁₁、U₁₁₂、U₁₁₃、U₁₁₄、U₁₁₅分别对应的评分按照第一预设顺序排列，获得二级指标U₁₁对应的模糊评判矩阵R₁₁＝{100，90，70，50，0}，将三级指标U₁₁₁、U₁₁₂、U₁₁₃、U₁₁₄、U₁₁₅分别对应的权重按照第二预设顺序排列，获得二级指标U₁₁对应的权重集

通过计算模糊评判矩阵R₁₁＝{100，90，70，50，0}以及权重集

之间的叉乘，获得二级指标U₁₁对应的评分矩阵B₁₁＝{100×0.1，90×0.2，70×0.3，50×0.2，0×0.2}＝{10，18，21，10，0}。同样，按照以上方式获取U₁₂对应的评分矩阵B₁₂＝{11，13，13，12，5}、U₁₃对应的评分矩阵B₁₃＝{23，11，6，10，2}，将二级指标U₁₁、U₁₂和U₁₃分别对应的评分矩阵按照第四预设顺序排列，获得一级指标U₁对应的模糊评判矩阵

将二级指标U₁₁、U₁₂和U₁₃分别对应的权重按照第三预设顺序排列，获得一级指标U₁对应的权重集D₁＝{0.4，0.3，0.3}，通过计算权重集D₁＝{0.4，0.3，0.3}和模糊评判矩阵

之间的叉乘，获得一级指标U₁对应的评分矩阵B₁＝{0.4×10+0.3×11+0.3×23，...，0.4×0+0.3×5+0.3×25}＝{14.2，14.4，14.1，10.6，3}。同样的，按照上述方式获取一级指标U₂对应的评分矩阵B₁＝{20.5，13.1，17.2，15.8，10.7}。将一级指标U₁和U₂分别对应的评分矩阵按照第五预设顺序排列，获得智能运维系统对应的模糊评判矩阵

将一级指标U₁和U₂分别对应的权重按照第六预设顺序排列，获得智能运维系统对应的权重集D₀＝{0.3，0.7}。通过计算权重集D₀＝{0.3，0.7}和模糊评判矩阵

之间的叉乘，获得智能运维系统的评分矩阵

进一步的，通过计算智能运维系统的评分矩阵中的各评分之和，获得智能运维系统的评分70.82。在预设的数据表中获取与智能运维系统的评分70.82对应的评级，将评级确定为智能运维系统的运维能力。

可选地，一级指标为影响智能运维系统的运维能力的指标，在一些实施例中，智能运维系统的一级指标包括智能运维系统中的数据模块、计算模块、配置管理模块、监控与告警模块、故障处理模块、成本模块、效率模块和安全模块等模块中的多个。其中，数据模块、计算模块和配置管理模块为必选指标，必选指标为智能运维系统中必须存在的模块。监控与告警模块、故障处理模块、成本模块、效率模块和安全模块为可选指标，可选指标为智能运维系统中可以存在的模块。且监控与告警模块、故障处理模块、成本模块、效率模块和安全模块均属于智能运维系统中的应用部分。

可选地，数据模块被配置为对数据进行操作，包括进行运维数据的采集、处理以及提供数据的传输和存储，另外还涵盖了对数据治理能力的考察。其中，数据模块中的数据采集单元用于采集运维数据，并将采集到的运维数据通过数据传输单元传输到数据存储单元、数据处理单元和数据治理单元。数据处理单元用于对接收到的运维数据进行抽取、清洗，以获得高质量、规范化的数据。在一些实施例中，数据处理单元被配置为对各类结构化、半结构化和非结构化的原始数据进行抽取、清洗和规范化的技术过程，其目的是为后续的数据分析和利用提供高质量、规范化的数据。数据存储单元用于对接收到的运维数据进行存储。数据治理单元被配置为将数据作为组织资产围绕数据全生命周期而进行的相关管控活动的集合，通过相应的采存管用流程，提高数据质量，保证数据安全，高效发挥数据价值。可见，数据采集单元、数据传输单元、数据处理单元、数据存储单元和数据治理单元的性能都会影响数据模块对数据进行操作的能力。故，数据模块对应的二级指标包括数据采集单元、数据传输单元、数据处理单元、数据存储单元和数据治理单元。进一步地，数据采集单元对应的三级指标的关注重点在于采集数据的种类、采集数据的覆盖范围、采集数据的方式和采集数据的质量。采集数据的种类包括消息类数据、日志型文件数据和库表型数据库类数据；基础设施级监控数据，和网络流量数据；以及结构化数据、半结构化数据、非结构化数据。其中，基础设施级监控数据包括CPU数据(central processing unit，中央处理器)、内存数据、磁盘数据、IO数据(Input Output，输入输出)中的一种或多种数据。非结构化数据包括音频数据和影像数据。采集数据的方式包括主动采集数据和被动采集数据。例如：通过嵌入SDK(Software Development Kit，软件开发工具包)和API(Application ProgrammingInterface，应用程序接口)主动采集数据，通过接收消息队列以被动接收数据。采集数据的覆盖范围包括：中间组件指标、应用服务数据至全链路数据。采集数据的质量，例如：是否符合数据采集标准流程和规范，可量化管理采集服务。数据传输单元对应的三级指标的关注重点在于数据传输的方式、数据传输的架构、数据传输的质量、数据传输的安全性和数据传输的合规性。数据传输的方式包括同城数据传输、跨城数据传输和跨国数据传输。数据传输的架构包括支持功能的可扩展、可配置、高可用、高吞吐、统一服务、跨平台兼容性等。数据传输的质量包括数据完整度和及时性、发现数据质量异常与修复。数据传输的安全性包括对数据进行加密、解密和校验等。数据传输的合规性包括满足数据合规需求。数据处理单元对应的三级指标的关注重点在于数据处理的类型、数据处理的方式、数据处理的流程控制和数据处理的质量。数据处理的类型包括结构化数据、半结构化数据和非结构化数据。数据处理的方式为脏数据删除、缺失值填充、数据格式标准化、指标数据计算、拆解和融合等。数据处理的流程控制包括支持可配置、可视化、可编排或可扩展能力。数据处理质量为是否具有实时监控预警，实时检查和追溯能力。数据存储单元对应的三级指标的关注重点在于数据存储的方法、数据存储的架构、数据存储的安全性和数据存储的高可用性。数据存储的方法包括独立数据存储、针对数据类型和业务场景存储中的一种或多种。数据存储的架构包括数据访问接口和接入控制。用于衡量数据存储的安全性的因素包括基础容灾和地域级容灾。例如，单实例容忍、硬件异常响应，支持数据迁移、基于固定规则的自动切换和过载防御等。用于衡量数据存储的高可用性的因素包括纵向扩容能力、横向扩容能力、容量规划、弹性扩容、数据备份和冷热数据隔离等。数据治理单元对应的三级指标的关注重点在于数据治理职责划分、数据治理范围、数据质量保证、数据行为控制和数据风险识别。在一些实施例中，通过以下方式进行数据治理职责划分：制定规范制度、设立岗位职责、建立治理组织。通过以下方式划分数据治理范围：单一主题域、跨主题域的元数据、主数据模型定义等，以及全生命周期管理；元数据、主数据模型关联、分类、血缘关系和影响分析等关联能力。通过以下方式进行数据质量保障：数据质量分析、数据质量核验：度量规则管理、核验方法管理。通过以下方式进行数据行为控制：行列级数据使用授权和核心数据管控。通过以下方式进行数据风险识别：安全问题溯源分析。

可选地，计算模块被配置为使用经过数据模块操作后的数据和使用预设的智能算法模型对经过数据模块操作后的数据进行深度分析加工，主要为AIOps应用场景提供数据分析、数据服务、算法能力的支持。根据不同场景需求，选择使用数据分析、机器学习等方式对数据层提供的数据进行分析、可视化展示等，并结合分析结果为应用层提供决策建议、操作处理的能力。计算模块中包括数据服务单元、数据分析单元、智能算法与模型单元。数据服务单元被配置为为系统间的数据交互提供交互接口或多种机制。数据分析单元被配置为针对IT(Information Technology，信息技术)信息系统在运行过程中产生的结构化、半结构化、非结构化数据，使用恰当的分析方法和工具，对处理过的数据进行建模、统计、分析、挖掘、展示，从中提取有价值的信息或结论。智能算法和模型单元被配置通过智能算法和模型构建为智能运维业务场景提供底层的算法能力支持。可见，数据服务单元、数据分析单元、智能算法与模型单元会影响计算模块使用数据的能力和对数据进行分析加工的能力。故，计算模块对应的二级指标包括数据服务单元、数据分析单元、智能算法与模型单元。进一步地，数据服务单元对应的三级指标的关注重点在于数据交互机制、数据服务范围、数据服务性能和数据服务保障。数据交互机制包括提供数据服务、协议和接口。数据服务范围包括时间序列数据、日志数据和分布式时间序列数据。数据服务性能包括可拓展存储容量服务、服务数据规模量级和计算存储分离。数据服务保证包括数据服务监控和调度。数据分析单元对应的三级指标的关注重点在于数据分析方式、数据分析覆盖范围和数据分析呈现。数据分析方式包括脚本、数据建模、数据聚合、机器学习算法组件、可视化分析工具和全场景化分析。数据分析覆盖范围包括简单场景和复杂场景。智能算法和模型单元对应的三级指标的关注重点在于算法库构建、样本管理、模型构建、算法与模型管理、模型服务方式和算法模型编排。

可选地，配置管理模块被配置为为其他模块提供配置服务支持，通过配置识别、配置控制、配置状态记录以及配置审计的方式，达到建立与维护AIOps系统的完整性，其目的是记录软件产品的演化过程，确保软件生命周期中各个阶段的配置信息能够有序和精确的进行管理。影响配置管理模块的配置能力的因素包括计划单元、策略单元、参数单元和权限单元。计划单元被配置为采用预设的技术、方法和手段，对交付的产品规定各种必要的配置管理条款，提升产品的质量和满足用户的需求。策略单元被配置为利用策略的方式对配置进行控制，通过策略能够有序管理和减少重复性工作，保证配置信息的质量。参数单元被配置为通过变量或某种特征值的方式，对配置管理信息进行说明。权限单元被配置为描述某个特定的用户具有配置管理系统资源使用权力，通常用于配置识别、配置控制、配置状态记录以及配置审计的活动。故，配置管理模块对应二级指标包括计划单元、策略单元、参数单元和权限单元。其中，计划单元、策略单元、参数单元和权限单元均没有对应的三级指标。

可选地，监控与告警模块被配置为对智能运维系统中的故障进行检测，并将智能运维系统出现故障的情况下发出告警信息。监控与告警模块包括异常检测单元和告警收敛单元。异常检测单元被配置为从时间序列、事件日志、工单、用户反馈等数据来源中，通过规则匹配、统计分析、机器学习算法等方式，检测某个时间段内的异常值，识别出异常的事件、现象等。告警收敛单元被配置为通过规则匹配、统计分析算法、机器学习算法等技术手段对告警信息进行分析、合并和丢弃，以此来消减告警噪声，降低告警信息的规模，在出现故障时发出精准、明确的告警消息。可见，异常检测单元会影响监控与告警模块检测故障的能力。告警收敛单元会影响监控与告警模块进行故障告警的能力。故，监控与告警模块对应的二级指标包括异常检测单元和告警收敛单元。进一步地，异常检测单元对应的三级指标的关注重点在于检测方式、检测范围和检测效果。告警收敛单元对应的三级指标的关注重点在于告警收敛方式、告警收敛范围、告警内容区分和告警收敛效果。

可选地，故障处理模块被配置为对故障进行处理。故障处理模块中包括历史故障分析单元、根因分析单元、日志定位单元、故障修复单元、故障止损单元和故障预测单元。历史故障分析单元被配置为通过对系统故障现场数据的采集、存储、分析和挖掘，实现对系统历史运行故障的有效分析，形成故障知识库，并能支撑运维人员开展故障复盘、原因定位、影响分析、处置推荐等运维活动。例如：对监控指标、告警信息、操作信息、日志信息、工单数据等运行数据的采集、存储、分析和挖掘，实现对系统历史运行故障的有效分析，形成故障知识库，并能支撑运维人员开展故障复盘、原因定位、影响分析、处置推荐等运维活动。根因分析单元被配置为利用基于大数据和机器学习等智能运维技术，在最短时间内定位故障根因，全面提升MTTR(Mean time to repair，平均故障修复时间)等运维关键指标。根因分析指一种将当前条件与过去采集到的结构化/非结构化数据模式进行匹配的复杂分析方法，目标是尝试定位一个系统错误的问题根源。日志定位单元被配置为通过日志对网络设备、服务器及应用程序状态实时监控，迅速定位问题根源。故障修复单元被配置为在满足业务连续性要求的前提下，根据故障场景需要，包括但不限于运用自动化工具、知识推理、机器学习、智能决策等方式进行协同分析、动态选择并执行方案，逐步完成系统的功能修复和数据恢复，最终实现故障自愈。可见，历史故障分析单元、根因分析单元、日志定位单元、故障修复单元、故障止损单元和故障预测单元等单元均会影响故障处理模块对故障的处理能力。故，故障处理模块对应的二级指标包括历史故障分析单元、根因分析单元、日志定位单元、故障修复单元、故障止损单元和故障预测单元。进一步地，历史故障分析单元对应的三级指标的关注重点在于历史故障数据类型、历史故障数据范围、历史故障分析方式、故障重现与原因展现和历史故障分析结果价值传递。根因分析单元对应的三级指标的关注重点在于故障根因分析方式、判断与排查效率和分析结果的关联操作。日志定位单元对应的三级指标的关注重点在于日志定位方式、日志定位使用范围、日志分析方式和日志定位分析结果展示及价值。故障修复单元对应的三级指标的关注重点在于故障修复方式和故障修复范围。故障止损单元被配置为在故障发生以后，对一种或多种运维数据进行分析，并执行相应的预案等运维操作，降低或完全避免损失，使核心服务可以正常对外提供服务。其中，运维数据包括时序指标、程序日志、工单、系统变更记录。故障止损单元对应的三级指标的关注重点在于故障止损操作方式、故障止损覆盖范围和故障止损效果。故障预测单元被配置为对重要特性数据进行预测算法学习，提前诊断故障，避免服务受损。故障预测单元对应的三级指标的关注重点在于预测方式、预测范围、预测时效和预测效果。

可选地，成本模块用于对智能运维系统的成本进行分析。成本模块中包括资源优化单元、成本评估单元和容量预测单元。资源优化单元被配置为通过规则匹配、统计分析算法、机器学习算法等技术手段，发现存在冗余资源或性能瓶颈的服务，从而对服务的资源使用率进行优化，避免容量不足的风险，并节约成本。通过选择合适的机型或者容器的配置，将在线和离线服务共用服务器资源，做到峰谷互补，从而提升资源使用率。成本评估单元被配置为对研发运营过程中的投资和运营成本进行量化，通过记录与分析基础资源成本，建立成本与业务的关联，辅助架构优化，从而达到成本优化目的。容量预测单元被配置为对IT资源量化评估，对业务和资源性能指标历史数据进行分析，开展有效的规划和管理，实现业务和资源的容量量化预测，从而为业务匹配更加合理的资源，保障业务的端到端质量。可见，资源优化单元、成本评估单元和容量预测单元均会影响成本模块对智能运维系统的成本进行分析的能力。故，成本模块对应的二级指标包括资源优化单元、成本评估单元和容量预测单元。进一步地，资源优化单元对应的三级指标的关注重点在于资源优化方式、资源优化覆盖范围和效果与操作驱动。成本评估单元对应的三级指标的关注重点在于评估开展方式、评估范围、评估时效和评估操作驱动。容量预测单元对应的三级指标的关注重点在于容量预测方式、容量预测时效、容量预测操作和预测指标覆盖。

可选地，效率模块指对运维数据进行处理的速度。其中，效率模块中包括包括智能变更单元、智能客服单元、舆情分析单元和知识库管理单元。智能变更单元被配置为运用机器学习、知识推理、智能决策等能力支撑变更各个环节，其中包括：在变更前工作的自动化，例如：影响预估和评审、变更任务编排等。在变更中工作的自动化，例如：变更策略决策等；在变更后工作的自动化，例如：变更检查等。智能客服单元被配置为通过基于规则、自然语言处理、智能机器人等技术手段准确回复用户问题，且能够根据历史对话内容、标注及反馈更新数据并训练模型，从而形成用户画像，识别用户意图及情绪，组织得体语言进行回复，并在必要时进行相关问题的处置。舆情分析单元被配置为根据运维场景的需要，包括且不限于对投诉工单、故障工单、业务办理记录、客服咨询记录、告警信息、用户反馈数据等运维相关舆情数据进行深层次的思维加工和分析研究，得到相关结论并做出相应的处置的过程。知识库管理单元被配置为利用分析算法、自然语言处理等技术手段对经验文档等运维数据进行加工、处理，沉淀运维知识并形成问题解决方案。通过检索知识库，获取不同运维场景的历史运维经验，实现知识共享，提升运维效率。可见，智能变更单元、智能客服单元、舆情分析单元和知识库管理单元均会影响效率模块对运维数据进行处理的速度。故效率模块对应的二级指标包括智能变更单元、智能客服单元、舆情分析单元和知识库管理单元。进一步地，智能变更单元对应的三级指标的关注重点在于变更任务编排方式、变更策略方式和变更检查方式。智能客服单元对应的三级指标的关注重点在于问题库或知识库形成、客服处理方式和服务覆盖范围。舆情分析单元对应的三级指标的关注重点在于舆情数据覆盖范围、舆情分析方式、舆情分析时效性和舆情分析驱动操作。知识库管理单元对应的三级指标的关注重点在于知识库构建、知识库服务方式和知识库覆盖范围。

可选地，安全模块用于对智能运维系统所处网络的进行感知，并进行安全防护。安全模块包括网络安全态势感知单元。网络安全态势感知单元被配置为在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示，实现对网络安全态势的全面感知、主动防护、风险预测和联动响应。网络安全态势感知是对网络系统安全状态的认知过程，是综合性的安全管理与运营体系。可见，安全模块对应的二级指标包括网络安全态势感知单元。进一步地，网络安全态势感知单元对应的三级指标的关注重点在于安全事件处置方式、安全事件处置覆盖范围、系统主动防护、系统安全预警和防御联动操作。

结合图5所示，本公开实施例提供一种用于评估智能运维系统的装置，包括：第一获取模块501、第二获取模块502、第三获取模块503、第四获取模块504和评估模块505。第一获取模块501被配置为获取智能运维系统中的多个一级指标，以及各一级指标分别对应的权重。第二获取模块502被配置为获取各一级指标分别对应的二级指标，以及各二级指标分别对应的权重。第三获取模块503被配置为获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集。第四获取模块504被配置为根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵。评估模块505被配置为根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力。

采用本公开实施例提供的用于评估智能运维系统的装置，通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分矩阵，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分矩阵和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

可选地，第三获取模块，被配置为通过以下方式获取各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集：获取各二级指标分别对应的多个三级指标，各三级指标分别对应的评分和各三级指标分别对应的权重。利用各三级指标分别对应的评分构建各二级指标分别对应的模糊评判矩阵；利用各三级指标分别对应的权重构建各二级指标分别对应的权重集。

可选地，第四获取模块被配置为通过以下方式根据各二级指标分别对应的权重、各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的评分矩阵，包括：利用各二级指标分别对应的权重构建各一级指标分别对应的权重集。根据各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的模糊评判矩阵。根据各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵获取各一级指标分别对应的评分矩阵。

进一步地，根据各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集获取各一级指标分别对应的模糊评判矩阵，包括：根据第一预设算法利用各二级指标分别对应的模糊评判矩阵和各二级指标分别对应的权重集进行计算，获得各二级指标分别对应的评分矩阵。利用各二级指标分别对应的评分矩阵构建各一级指标对应的模糊评判矩阵。

进一步地，根据各一级指标分别对应的权重集和各一级指标分别对应的模糊评判矩阵获取各一级指标分别对应的评分矩阵，包括：根据第一预设算法利用各一级指标分别对应的权重集和各一级指标对应的模糊评判矩阵进行计算，获得各一级指标分别对应的评分矩阵。

可选地，评估模块被配置为通过以下方式根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重评估智能运维系统的运维能力：根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重获取智能运维系统的评分。在预设的数据表中获取与智能运维系统的评分对应的评级，将评级确定为智能运维系统的运维能力。数据表中存储有智能运维系统的评分和智能运维系统的评级之间的对应关系。

进一步地，根据各一级指标分别对应的评分矩阵和各一级指标分别对应的权重获取智能运维系统的评分，包括：利用各一级指标分别对应的评分矩阵构建智能运维系统对应的模糊评判矩阵。利用各一级指标分别对应的权重构建智能运维系统对应的权重集。根据第一预设算法利用智能运维系统对应的权重集和智能运维系统对应的模糊评判矩阵进行计算，获得智能运维系统的评分矩阵，根据第二预设算法利用智能运维系统的评分矩阵中的评分进行计算，获得智能运维系统的评分。

结合图6所示，本公开实施例提供一种电子设备，包括处理器(processor)600和存储器(memory)601。可选地，该电子设备还可以包括通信接口(Communication Interface)602和总线603。其中，处理器600、通信接口602、存储器601可以通过总线603完成相互间的通信。通信接口602可以用于信息传输。处理器600可以调用存储器601中的逻辑指令，以执行上述实施例的用于评估智能运维系统的方法。

采用本公开实施例提供的电子设备，通通过获取各一级指标对应的二级指标，并获取各二级指标分别对应的模糊评判矩阵和权重集。能够对各二级指标进行模糊评判。然后基于二级指标对应的模糊评判矩阵和二级指标对应的权重集获取一级指标对应的评分矩阵，从而实现了对各一级指标的层次评判。最后基于一级指标对应的评分矩阵和一级指标对应的权重评估所述智能运维系统的运维能力。即能够综合各一级指标来评估智能运维系统的运维能力，而不是全部由用户主观判断智能运维系统的运维能力，从而能够提高评估智能运维系统的运维能力的准确性。

可选地，电子设备包括计算机、手机、或平板电脑等。

此外，上述的存储器601中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器601作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器600通过运行存储在存储器601中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于评估智能运维系统的方法。

存储器601可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种存储介质，存储有程序指令，所述程序指令在运行时，执行上述的用于评估智能运维系统的方法。

本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于评估智能运维系统的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于评估智能运维系统的方法，其特征在于，包括：

获取智能运维系统中的多个一级指标，以及各所述一级指标分别对应的权重；

获取各所述一级指标分别对应的二级指标，以及各所述二级指标分别对应的权重；

获取各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集；

根据各所述二级指标分别对应的权重、各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的评分矩阵；

根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重评估所述智能运维系统的运维能力。

2.根据权利要求1所述的方法，其特征在于，获取各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集，包括：

获取各所述二级指标分别对应的多个三级指标，各所述三级指标分别对应的评分和各所述三级指标分别对应的权重；

利用各所述三级指标分别对应的评分构建各所述二级指标分别对应的模糊评判矩阵；利用各所述三级指标分别对应的权重构建各所述二级指标分别对应的权重集。

3.根据权利要求1所述的方法，其特征在于，根据各所述二级指标分别对应的权重、各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的评分矩阵，包括：

利用各所述二级指标分别对应的权重构建各所述一级指标分别对应的权重集；

根据各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的模糊评判矩阵；

根据各所述一级指标分别对应的权重集和各所述一级指标分别对应的模糊评判矩阵获取各所述一级指标分别对应的评分矩阵。

4.根据权利要求3所述的方法，其特征在于，根据各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的模糊评判矩阵，包括：

根据第一预设算法利用各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集进行计算，获得各所述二级指标分别对应的评分矩阵；

利用各所述二级指标分别对应的评分矩阵构建各所述一级指标分別对应的模糊评判矩阵。

5.根据权利要求3所述的方法，其特征在于，根据各所述一级指标分别对应的权重集和各所述一级指标分别对应的模糊评判矩阵获取各所述一级指标分别对应的评分矩阵，包括：

根据第一预设算法利用各所述一级指标分别对应的权重集和各所述一级指标分別对应的模糊评判矩阵进行计算，获得各所述一级指标分别对应的评分矩阵。

6.根据权利要求1所述的方法，其特征在于，根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重评估所述智能运维系统的运维能力，包括：

根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重获取所述智能运维系统的评分；

在预设的数据表中获取与所述智能运维系统的评分对应的评级，将所述评级确定为所述智能运维系统的运维能力；所述数据表中存储有智能运维系统的评分和智能运维系统的评级之间的对应关系。

7.根据权利要求6所述的方法，其特征在于，根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重获取所述智能运维系统的评分，包括：

利用各所述一级指标分别对应的评分矩阵构建所述智能运维系统对应的模糊评判矩阵；利用各所述一级指标分别对应的权重构建所述智能运维系统对应的权重集；

根据第一预设算法利用所述智能运维系统对应的权重集和所述智能运维系统对应的模糊评判矩阵进行计算，获得智能运维系统的评分矩阵；

根据第二预设算法利用所述智能运维系统的评分矩阵中的评分进行计算，获得智能运维系统的评分。

8.一种用于评估智能运维系统的装置，其特征在于，包括：

第一获取模块，被配置为获取智能运维系统中的多个一级指标，以及各所述一级指标分别对应的权重；

第二获取模块，被配置为获取各所述一级指标分别对应的二级指标，以及各所述二级指标分别对应的权重；

第三获取模块，被配置为获取各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集；

第四获取模块，被配置为根据各所述二级指标分别对应的权重、各所述二级指标分别对应的模糊评判矩阵和各所述二级指标分别对应的权重集获取各所述一级指标分别对应的评分矩阵；

评估模块，被配置为根据各所述一级指标分别对应的评分矩阵和各所述一级指标分别对应的权重评估所述智能运维系统的运维能力。

9.一种电子设备，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于评估智能运维系统的方法。

10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至7任一项所述的用于评估智能运维系统的方法。

Images