CN111813644A - 系统性能的评价方法、装置、电子设备和计算机可读介质 - Google Patents
系统性能的评价方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN111813644A CN111813644A CN202010686033.1A CN202010686033A CN111813644A CN 111813644 A CN111813644 A CN 111813644A CN 202010686033 A CN202010686033 A CN 202010686033A CN 111813644 A CN111813644 A CN 111813644A
- Authority
- CN
- China
- Prior art keywords
- performance
- score
- index
- performance index
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000036541 health Effects 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 2
- 238000012423 maintenance Methods 0.000 abstract description 12
- 238000012549 training Methods 0.000 abstract description 8
- 230000006866 deterioration Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种系统性能的评价方法、装置、电子设备和计算机可读介质，在系统性能的评价方法中，通过获取系统的多个性能指标，针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。然后根据每一个性能指标的分值是否满足自身的阈值要求以及系统整体阈值要求的情况，用不同的方法得出系统的健康度分值，得到的健康度分值用于评价系统的性能。因此，本申请不仅考虑了多指标综合因素对整体系统健康度的制约，同时也考虑了单个指标的迅速恶化为系统性能带来的的影响，能够更准确的对系统性能进行评价，并且数据训练成本较低的同时还有更好的兼容性，适用于各种运维场景。
Description
技术领域
本申请涉及大数据运维技术领域，尤其涉及一种系统性能的评价方法、装置、电子设备和计算机可读介质。
背景技术
随着应用系统和业务量的急速增长，服务器规模与系统架构复杂性的日益提高，导致对数据中心的监控系统和数据中心的安全性提出了更高的挑战。传统运维理念和思维模式已很难满足用户的需求，打造自动化、标准化、可视化的大数据运维监控平台成为了新一代自动化运维的目标。而构建系统性能评价体系是大数据运维中至关重要的部分。
目前评价系统性能的方法有很多，例如：简单的线性加权、PCA(PrincipalComponent Analysis，主成分分析)、层次分析法、基于神经网络的综合分析法、以及智能运维中有监督或无监督算法。但是这些方法中往往存在着在兼容性差、数据训练复杂、适用场景有限等缺点。
发明内容
有鉴于此，本申请提供一种系统性能的评价方法、装置、电子设备和计算机可读介质，以解决现有方法中往往存在着在兼容性差、数据训练复杂以及适用场景有限等问题。
为实现上述目的，本申请提供如下技术方案：
本申请第一方面公开了一种系统性能的评价方法，包括：
获取系统的多个性能指标；其中，所述性能指标为影响所述系统性能的关键指标；
针对不同数值类型的性能指标，利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值；
判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求；
若判断出一个所述性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为所述系统的健康度分值；其中，所述健康度分值用于评价所述系统的性能；
若判断出每一个所述性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合性能分值，并将所述综合性能分值作为所述系统的健康度分值。
可选的，上述的方法，所述利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值，包括：
若所述性能指标为百分数型，则对所述性能指标的数据进行分组，并设置每组数据的标签值；
利用分组后的数据构建频率分布直方图，并得到所述频率分布直方图中每组数据之间的频数比；
利用每组数据之间的所述频数比以及所述标签值，计算得到每组数据的综合绝对分值；
对所述每组数据的综合绝对分值进行归一化，得到所述性能指标的分值。
可选的，上述的方法，所述利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值，包括：
若所述性能指标为绝对值型，则根据所述性能指标的周期性选取待检测的数据段；
利用nsigma算法，判断所述待检测的数据段对应的性能指标的数据是否存在异常；
若判断出所述待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到所述性能指标的分值；其中，预设的关系式为表示所述性能指标的数据的异常情况与分值的对应关系式；
若判断出所述待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为所述性能指标的分值。
可选的，上述的方法，所述判断每一个性能指标的分值是否满足自身的阈值要求，包括：
按照每一个所述性能指标对系统的影响程度的大小，确定所述性能指标的优先级顺序；
按照所述性能指标的优先级顺序，依次判断每一个所述性能指标的分值是否满足自身的阈值要求。
可选的，上述的方法，所述根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合分值，包括：
利用皮尔逊相关系数计算得到各个所述性能指标之间的相关系数；
根据所述相关系数计算得到各个所述性能指标为主成分的多指标评分模型分值；
将各个所述性能指标为主成分的多指标评分模型分值代入根据预设的线性模型中，计算得到所述综合分值。
本申请第二方面还公开了一种系统性能的评价装置，包括：
获取单元，用于获取系统的多个性能指标；其中，所述性能指标为影响所述系统性能的关键指标；
单指标性能计算单元，用于针对不同数值类型的性能指标，利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值；
判断单元，用于判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求；
输出单元，用于若判断出一个所述性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为所述系统的健康度分值；其中，所述健康度分值用于评价所述系统的性能；
多指标综合性能计算单元，用于若判断出每一个所述性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合性能分值，并将所述综合性能分值作为所述系统的健康度分值。
可选的，上述的装置，所述单指标性能计算单元，包括：
第一分类子单元，用于若所述性能指标为百分数型，则对所述性能指标的数据进行分组，并设置每组数据的标签值；
构图子单元，用于利用分组后的数据构建频率分布直方图，并得到所述频率分布直方图中每组数据之间的频数比；
单指标性能计算子单元，用于利用每组数据之间的所述频数比以及所述标签值，计算得到每组数据的综合绝对分值；
归一化子单元，用于对所述每组数据的综合绝对分值进行归一化，得到所述性能指标的分值。
可选的，上述的装置，所述单指标性能计算单元，包括：
第二分类子单元，用于若所述性能指标为绝对值型，则根据所述性能指标的周期性选取待检测的数据段；
异常检测子单元，用于利用nsigma算法，判断所述待检测的数据段对应的性能指标的数据是否存在异常；
查询子单元，用于若判断出所述待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到所述性能指标的分值；其中，预设的关系式为表示所述性能指标的数据的异常情况与分值的对应关系式；
确定子单元，用于若判断出所述待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为所述性能指标的分值。
可选的，上述的装置，所述判断单元，包括：
排序子单元，用于按照每一个所述性能指标对系统的影响程度的大小，确定所述性能指标的优先级顺序；
判断子单元，用于按照所述性能指标的优先级顺序，依次判断每一个所述性能指标是否满足自身的阈值要求。
可选的，上述的装置，所述多指标综合性能计算单元，包括：
第一计算子单元，用于利用皮尔逊相关系数计算得到各个所述性能指标之间的相关系数；
第二计算子单元，用于根据所述相关系数计算得到各个所述性能指标为主成分的多指标评分模型分值；
第三计算子单元，用于将各个所述性能指标为主成分的多指标评分模型分值代入根据预设的线性模型中，计算得到所述综合分值。
本申请第三方面公开了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本发明第一方面中任意一项所述的方法。
本申请第三方面公开了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本发明第一方面中任意一项所述的方法。
从上述技术方案可以看出，本申请提供的一种系统性能的评价方法，首先获取系统的多个性能指标，并针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。然后判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。若判断出一个性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为系统的健康度分值。若判断出每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个性能指标之间的相关性，计算出综合所有性能指标的综合分值，并将综合分值作为系统的健康度分值。其中，得到的健康度分值用于评价系统的性能。因此，本申请不仅考虑了多指标综合因素对整体系统健康度的制约，同时也考虑了单个指标的迅速恶化为系统性能带来的的影响，能够更准确的对系统性能进行评价，并且数据训练成本较低的同时还有更好的兼容性，适用于各种运维场景。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1a为本申请实施例公开的一种系统性能的评价方法的流程图；
图1b为本申请实施例公开的一种系统性能的评价方法的展示图；
图2为本申请另一实施例公开的步骤S105的一种实施方式的流程图；
图3为本申请另一实施例公开的一种系统性能的评价装置的示意图；
图4为本申请另一实施例公开的一种电子设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。【序数词】。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。【单复数】。
由背景技术可知，目前评价系统性能的方法有很多，例如：简单的线性加权、PCA(Principal Component Analysis，主成分分析)、层次分析法、基于神经网络的综合分析法、以及智能运维中有监督或无监督算法。但是这些方法中往往存在着在兼容性差、数据训练复杂、适用场景有限等缺点。
基于此，本申请提供一种系统性能的评价方法、装置、电子设备和计算机可读介质，以解决现有方法中往往存在着在兼容性差、数据训练复杂以及适用场景有限等问题。
本申请实施例提供了一种系统性能的评价方法，结合图1a和图1b所示，具体包括：
S101、获取系统的多个性能指标；其中，性能指标为影响系统性能的关键指标。
需要说明的是，要评价一个系统的整体性能，就需要先获取影响该系统的各个性能指标，当然在获取影响该系统的各个性能指标同时，会将该性能指标下的数据也一并获取。
本实施例以网络系统的网络性能为例，可以选取网络时延，建连失败率，网络重传率，零窗口数等四个维度的性能指标作为评价网络性能的指标，并分别获取这些指标的数据，用于对网络系统的性能进行评价。并且，可以根据不同视角将这些性能指标从不同的维度进行分类，例如：按照其取值类型可分为百分数(分数)型指标和绝对值型指标；按照数据属性可分为连续型指标和离散型指标；按照观察点位置不同可分为表征服务器端指标、客户端指标、传输指标等。
本步骤在执行过程中，多个性能指标可以采用性能指标集的形式存储，即图1b中的性能指标集P。
S102、针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。
需要说明的是，不同类型的性能指标有不同的分值计算规则，针对每一个性能指标，根据性能指标的数据类型，选取对应的规则，计算出性能指标的分值。例如，对于百分数(分数)型指标，可以利用频率分布直方图的方式来得到分值。通过提前设定合适的组数，确定每组数据的边界，可将一定时间窗口内的历史数据绘制为对应的频率分布直方图，图中经归一化后的所有组的频数比能够作为该类性能指标模型输出的分值。对于绝对值型指标，由于其并非归一化数值且值域不确定，使用频率分布直方图进行评价可能会由于数据分布离散而导致分组过多或频数过少，因此可以使用统计学中的nsigma算法进行计算。通过对数据段的合理选择、算法参数n与分值的映射定义，可对绝对值型指标的分值进行计算。
可选的，在本发明的另一实施例中，步骤S102的一种实施方式，具体包括：
若性能指标为百分数型，则对性能指标的数据进行分组，并设置每组数据的标签值。
利用分组后的数据构建频率分布直方图，并得到频率分布直方图中每组数据之间的频数比。
利用每组数据之间的频数比以及标签值计算得到每组数据的综合绝对分值。
对每组数据的综合绝对分值进行归一化，得到所述性能指标的分值。
需要说明的是，若性能指标为百分数型，例如建连失败率，数据重传率等性能指标，则依据实际应用场景设定合适的组数m，m的选取应由打分区间颗粒度的大小决定，并设置每一组数据的标签为t，t的取值范围为(1,2，……，m)。其中，在获取系统的多个性能指标的过程中，还会将每个性能指标的数据一并获取，该数据为一次系统检测的过程中，得到的每一个性能指标的检测数据。例如：建连失败率这个性能指标，性能指标的数据则为对系统的一次检测过程中得到的建连失败率的具体数值。
并且，利用分组后的性能指标的数据构建频率分布直方图，由组数m确定每组数据的边界，可选择对值域[0,100％]进行等分处理。将该指标在时间间隔τ内(如该指标存在周期性，时间间隔τ应包含多个周期)的历史数据通过频率分布直方图来显示。通过制作频率分布直方图，能够清晰地显示该组数据中的频数分布情况，且易于显示不同组份之间频数的差别，并计算频率分布直方图中所有分组的频数比。
还需要说明的是，在得到所有分组的频数比之后，需要考虑该性能指标的增减变动对系统健康度的作用方向，如果该指标的数值增加可以使系统健康度上升，那么就将该组数据的频数比与该组的标签号t相乘，得到该组数据的综合绝对分值；如果这个指标的数值增加会使系统健康度下降那么就将该组数据的频数比的反比与该组的标签号t相乘，得到该组数据的综合绝对分值。得到每一组数据的综合绝对分值后，对每一组数据的综合绝对分值进行归一化，使其值域落到[0,1]之间，得到每一组数据的分值。当新的数据输入时，若该数据点落在某一分组内，则可以直接使用该分组对应的分值，也可以利用上述方法实时进行计算。
可选的，在本发明的另一实施例中，步骤S102的另一种实施方式，具体包括：
若性能指标为绝对值型，则根据性能指标的周期性选取待检测的数据段。
利用nsigma算法，判断待检测的数据段对应的性能指标的数据是否存在异常。
若判断出待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到性能指标的分值；其中，预设的关系式为表示性能指标的数据的异常情况与分值的对应关系式，且与nsigma算法中n的不同取值有关。
若判断出待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为性能指标的分值。
需要说明的是，若性能指标为绝对值型，例如网络时延，零窗口数等指标，则使用统计学中的nsigma算法进行计算。首先根据性能指标是否具有周期性和周期性的长度选取数据段，这里的数据段可以是经过拼接的数据段，也可以是未经过拼接的数据段，根据性能指标是否具有周期性决定是否需要拼接。例如，当该性能指标没有明显的周期性，可选择当前时间点前t0时段作为选取的数据段；当该性能指标的周期性较短，大致以天为单位，可选择当前时间点前t0时段与前一天同时间点前后t0时段拼接作为选取的数据段；同理当周期性较长，大致以周为单位，可选择当前时间点前t0时段与前一周同时间点前后t0时段拼接作为选取的数据段。
还需要说明的是，根据nsigma算法原则，待检测的数据段对应的性能指标的数据如果超过n倍标准差，可以将其视为异常。其中，n的取值不同代表该异常出现的概率不同，需要提前定义被不同nsigma算法视为的异常所对应的不同分值，可人为定义，也可根据置信区间的比值进行定义，n的取值越大，证明该异常出现的概率越小，分值应越低。因此，对选取的数据段利用nsigma算法进行计算，来判断当前数据段对应的性能指标的数据是否存在异常。若判断出数据段对应的性能指标的数据存在异常，则查询预设性能指标的数据的异常情况与分值的对应关系式，该关系式可根据实际情况预先设定，由此计算得到绝对值型指标的分值。若判断出待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为性能指标的分值，一般设置为该分值的满分值。当新的数据输入时，利用nsigma算法根据n的大小应从大到小逐一进行检测，如果检测到该数据存在异常，即输出该数据异常情况对应的分值。
S103、判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。
需要说明的是，在网络或其他系统运行过程中，往往其中一个因素的迅速恶化可直接导致网络不可用或系统故障。例如，当建连失败率突然增大且超过提前定义的某一个阈值时，此时无需再判断其他三个指标，就直接得到网络不可用的结果。这就说明不仅仅需要考虑多指标综合因素对整体系统健康度的影响，同时也需要考虑单个指标的迅速恶化为整体系统健康度带来的的影响。因此，在得到每一个性能指标的分值之后，先判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。每个性能指标的分值的阈值以及系统整体阈值可根据经验设置具体的数值。
可选的，在本申请的另一实施例中，步骤S103中判断每一个性能指标的分值是否满足自身的阈值要求的一种实施方式，包括：
按照每一个性能指标对系统的影响程度的大小，确定性能指标的优先级顺序。
按照性能指标的优先级顺序，依次判断每一个性能指标的分值是否满足自身的阈值要求。
需要说明的是，由于每个性能指标对系统性能的影响程度不同，因此在判断每一个性能指标的分值是否满足自身的阈值要求之前，根据每一个性能指标对系统性能的影响程度从大到小进行排序，然后按照性能指标的顺序，依次判断每一个性能指标是否满足自身的阈值要求。例如，在网络性能判断中，建连失败率若超过某一提前设定的阈值，相比于其他三个指标对网络性能的影响程度更大，因此排在第一位；例如，若判断出建连失败率超过某一提前设定的阈值，该阈值可以设置为百分之五十，那么此时可不必再判断其他三个指标是否满足阈值要求，直接得到网络不可用的结果，从而减少了判断的次数。
S104、若判断出一个性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为系统的健康度分值；其中，健康度分值用于评价所述系统的性能。
需要说明的是，如果判断出某个性能数据不满足自身的阈值要求或者数值最小的分值不满足系统整体阈值要求，即可直接输出不大于预设的阈值的分值作为系统的健康度分值。其中，健康度分值用于评价所述系统的性能，该分值越低，代表健康度越低，需要运维人员的关注度越高；该分值越高，代表健康度越高，系统运行程度越良好。比如，在网络时延，建连失败率，网络重传率，零窗口数这四个性能指标中，建连失败率的分值小于自身阈值要求，即可直接输出建连失败率的分值作为该网络系统的健康度分值；如果这四个性能指标的分值中最小的为网络重传率的分值，且该分值小于系统整体的阈值要求，此时就输出网络重传率的分值作为该网络系统的健康度分值。
还需要说明的是，步骤S102至步骤S104的内容，在图1b中单一性能指标评价模型来说明，系统性能评价指代输出系统的健康度分值。
S105、若判断出每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个性能指标之间的相关性，计算出综合所有性能指标的综合分值，并将综合分值作为所述系统的健康度分值。
需要说明的是，如果每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则需要先求出各个性能指标之间的相关系数，再利用相关系数计算出综合所有性能指标的综合分值，并将综合分值作为所述系统的健康度分值。因为选取的性能指标中可能存在相关性，它们之间会相互影响，例如网络时延超过一定阈值时可能会引起数据重传。如果将所有指标进行简单的线性加权，可能会导致由相关性引起的过打分。
可选的，在本申请的另一实施例中，步骤S105的一种实施方式，参见图2，具体包括：
S201、利用皮尔逊相关系数计算得到各个性能指标之间的相关系数。
需要说明的是，皮尔逊相关系数的本质为“距离”，用来度量两个变量之间的相关性，其值介于-1和1之间。设本申请实施例选取的四个网络性能指标分别为：网络时延X1，零窗口数X2，建连失败率X3，网络重传率X4，四个指标的分值依次为：y1，y2，y3，y4。因此可计算得到网络时延X1与其他三个指标之间的相关系数，公式如下：
根据公式可计算网络时延X1与其他三个指标X2，X3，X4的相关系数分别为ρX1,X2，ρX1,X3，ρX1,X4。由此也可计算出零窗口数X2，建连失败率X3，网络重传率X4分别与其他性能指标之间的相关系数，此处不在赘述。
S202、根据相关系数计算得到各个性能指标为主成分的多指标评分模型分值。
需要说明的是，在得到各个性能指标之间的相关系数之后，以网络时延X1为例，利用多指标评分模型的公式可求出以X1为主成分的多指标评分模型Z1：
z1＝f(yi,ρX1,Xi)＝y1+ρX1,X2y2+ρX1,X3y3+ρX1,X4y4 i＝1,2,3,4，
同理可得到以零窗口数X2，建连失败率X3，网络重传率X4为主成分的多指标评分模型分值z2、z3、z4。
S203、将各个性能指标为主成分的多指标评分模型分值代入根据预设的线性模型中，计算得到综合分值。
需要说明的是，在计算得到z1、z2、z3、z4之后，通过实际应用场景自定义z1、z2、z3、z4的权重w，例如权重w均为25％，那么，计算得到的综合分值为：
Z＝g(z1,z2,z3,z4)＝0.25z1+0.25z2+0.25z3+0.25z4
还需要说明的是，步骤S105及其可选实施例的内容，在图1b中以基于相关性分析的多指标线性模型来说明。
本申请实施例提供的一种系统性能的评价方法中，首先获取系统的多个性能指标，并针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。然后判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。若判断出一个性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为系统的健康度分值。若判断出每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个性能指标之间的相关性，计算出综合所有性能指标的综合分值，并将综合分值作为系统的健康度分值。其中，得到的健康度分值用于评价系统的性能。因此，本申请不仅考虑了多指标综合因素对整体系统健康度的制约，同时也考虑了单个指标的迅速恶化为系统性能带来的的影响，能够更准确的对系统性能进行评价，并且数据训练成本较低的同时还有更好的兼容性，适用于各种运维场景。
上述实施例中虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本申请实施例中，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请另一实施例还提供了一种系统性能的评价装置，如图3所示，具体包括：
获取单元301，用于获取系统的多个性能指标；其中，性能指标为影响系统性能的关键指标。
单指标性能计算单元302，用于针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。
判断单元303，用于判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。
输出单元304，用于若判断出一个性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为系统的健康度分值；其中，健康度分值用于评价系统的性能。
多指标综合性能计算单元305，用于若判断出每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个性能指标之间的相关性，计算出综合所有性能指标的综合分值，并将综合分值作为系统的健康度分值。
本申请提供的一种系统性能的评价装置中，获取单元301首先获取系统的多个性能指标，单指标性能计算单元302针对不同数值类型的性能指标，利用性能指标的数值类型对应的计算规则，计算出每一个性能指标的分值。然后判断单元303判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求。若判断出一个性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出单元304输出不大于预设的阈值作为系统的健康度分值。若判断出每一个性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则多指标综合性能计算单元305根据各个性能指标之间的相关性，计算出综合所有性能指标的综合分值，并将综合分值作为系统的健康度分值。其中，得到的健康度分值用于评价系统的性能。因此，本申请不仅考虑了多指标综合因素对整体系统健康度的制约，同时也考虑了单个指标的迅速恶化为系统性能带来的的影响，能够更准确的对系统性能进行评价，并且数据训练成本较低的同时还有更好的兼容性，适用于各种运维场景。
本实施例中，获取单元301、单指标性能计算单元302、判断单元303、输出单元304以及多指标综合性能计算单元305的具体执行过程，可参见对应图1a的方法实施例内容，此处不再赘述。描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取性能指标的单元”。
可选的，在本发明的另一实施例中，单指标性能计算单元302一种实施方式，包括：
第一分类子单元，用于若性能指标为百分数型，则对性能指标的数据进行分组，并设置每组数据的标签值。
构图子单元，用于构建利用分组后的数据构建频率分布直方图，并得到频率分布直方图中每组数据之间的频数比。
单指标性能计算子单元，用于利用每组数据之间的频数比以及标签值计算得到每组数据的综合绝对分值。
归一化子单元，用于对每组数据的综合绝对分值进行归一化，得到性能指标的分值。
本实施例中，第一分类子单元、构图子单元、单指标性能计算子单元以及归一化子单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。
可选的，在本发明的另一实施例中，单指标性能计算单元302一种实施方式，包括：
第二分类子单元，用于若性能指标为绝对值型，则根据性能指标的周期性选取待检测的数据段。
异常检测子单元，用于利用nsigma算法，判断待检测的数据段对应的性能指标的数据是否存在异常。
查询子单元，用于若判断出待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到性能指标的分值；其中，预设的关系式为表示性能指标的数据的异常情况与分值的对应关系式，与nsigma算法中n的不同取值有关。
确定子单元，用于若判断出待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为性能指标的分值。
本实施例中，第二分类子单元、异常检测子单元、查询子单元以及确定子单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。
可选的，在本发明的另一实施例中，判断单元303一种实施方式，包括：
排序子单元，用于按照每一个性能指标对系统的影响程度的大小，确定性能指标的优先级顺序。
判断子单元，用于按照性能指标的优先级顺序，依次判断每一个所述性能指标的分值是否满足自身的阈值要求。
本实施例中，排序子单元以及判断子单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。
可选的，在本发明的另一实施例中，多指标综合性能计算单元305一种实施方式，包括：
第一计算子单元，用于利用皮尔逊相关系数计算得到各个性能指标之间的相关系数。
第二计算子单元，用于根据相关系数计算得到各个性能指标为主成分的多指标评分模型分值。
第三计算子单元，用于将各个性能指标主成分的多指标评分模型分值代入根据预设的线性模型中，计算得到综合分值。
本实施例中，第一计算子单元、第二计算子单元以及第三计算子单元的具体执行过程，可参见对应图2的方法实施例内容，此处不再赘述。
本申请另一实施例还提供了一种电子设备，如图4所示，具体包括：
一个或多个处理器401。
存储装置402，其上存储有一个或多个程序。
当一个或多个程序被一个或多个处理器401执行时，使得一个或多个处理器401实现如上述实施例中任意一项方法。
本申请另一实施例还提供了计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项方法。
需要说明的是，在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
本申请另一实施例提供了一种计算机程序产品,当该计算机程序产品被执行时，其用于执行上述任一项所述的系统性能的评价方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种系统性能的评价方法，其特征在于，包括：
获取系统的多个性能指标；其中，所述性能指标为影响所述系统性能的关键指标；
针对不同数值类型的性能指标，利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值；
判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求；
若判断出一个所述性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为所述系统的健康度分值；其中，所述健康度分值用于评价所述系统的性能；
若判断出每一个所述性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合性能分值，并将所述综合性能分值作为所述系统的健康度分值。
2.根据权利要求1所述的方法，其特征在于，所述利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值，包括：
若所述性能指标为百分数型，则对所述性能指标的数据进行分组，并设置每组数据的标签值；
利用分组后的数据构建频率分布直方图，并得到所述频率分布直方图中每组数据之间的频数比；
利用每组数据之间的所述频数比以及所述标签值，计算得到每组数据的综合绝对分值；
对所述每组数据的综合绝对分值进行归一化，得到所述性能指标的分值。
3.根据权利要求1所述的方法，其特征在于，所述利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值，包括：
若所述性能指标为绝对值型，则根据所述性能指标的周期性选取待检测的数据段；
利用nsigma算法，判断所述待检测的数据段对应的性能指标的数据是否存在异常；
若判断出所述待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到所述性能指标的分值；其中，预设的关系式为表示所述性能指标的数据的异常情况与分值的对应关系式；
若判断出所述待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为所述性能指标的分值。
4.根据权利要求1所述的方法，其特征在于，所述判断每一个性能指标的分值是否满足自身的阈值要求，包括：
按照每一个所述性能指标对系统的影响程度的大小，确定所述性能指标的优先级顺序；
按照所述性能指标的优先级顺序，依次判断每一个所述性能指标的分值是否满足自身的阈值要求。
5.根据权利要求1所述的方法，其特征在于，所述根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合分值，包括：
利用皮尔逊相关系数计算得到各个所述性能指标之间的相关系数；
根据所述相关系数计算得到各个所述性能指标为主成分的多指标评分模型分值；
将各个所述性能指标为主成分的多指标评分模型分值代入根据预设的线性模型中，计算得到所述综合分值。
6.一种系统性能的评价装置，其特征在于，包括：
获取单元，用于获取系统的多个性能指标；其中，所述性能指标为影响所述系统性能的关键指标；
单指标性能计算单元，用于针对不同数值类型的性能指标，利用所述性能指标的数值类型对应的计算规则，计算出每一个所述性能指标的分值；
判断单元，用于判断每一个性能指标的分值是否满足自身的阈值要求，以及判断数值最小的分值是否满足系统整体阈值要求；
输出单元，用于若判断出一个所述性能指标的分值不满足自身的阈值要求，或者判断出数值最小的分值不满足系统整体阈值要求，则输出不大于预设的阈值作为所述系统的健康度分值；其中，所述健康度分值用于评价所述系统的性能；
多指标综合性能计算单元，用于若判断出每一个所述性能指标的分值，均满足自身的阈值要求，以及判断出数值最小的分值满足系统整体阈值要求，则根据各个所述性能指标之间的相关性，计算出综合所有所述性能指标的综合性能分值，并将所述综合性能分值作为所述系统的健康度分值。
7.根据权利要求6所述的装置，其特征在于，所述单指标性能计算单元，包括：
第一分类子单元，用于若所述性能指标为百分数型，则对所述性能指标的数据进行分组，并设置每组数据的标签值；
构图子单元，用于利用分组后的数据构建频率分布直方图，并得到所述频率分布直方图中每组数据之间的频数比；
单指标性能计算子单元，用于利用每组数据之间的所述频数比以及所述标签值，计算得到每组数据的综合绝对分值；
归一化子单元，用于对所述每组数据的综合绝对分值进行归一化，得到所述性能指标的分值。
8.根据权利要求6所述的装置，其特征在于，所述单指标性能计算单元，包括：
第二分类子单元，用于若所述性能指标为绝对值型，则根据所述性能指标的周期性选取待检测的数据段；
异常检测子单元，用于利用nsigma算法，判断所述待检测的数据段对应的性能指标的数据是否存在异常；
查询子单元，用于若判断出所述待检测的数据段对应的性能指标的数据存在异常，则查询预设的关系式，得到所述性能指标的分值；其中，预设的关系式为表示所述性能指标的数据的异常情况与分值的对应关系式；
确定子单元，用于若判断出所述待检测的数据段对应的性能指标的数据不存在异常，则将预设数值作为所述性能指标的分值。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任意一项所述的方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010686033.1A CN111813644B (zh) | 2020-07-16 | 2020-07-16 | 系统性能的评价方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010686033.1A CN111813644B (zh) | 2020-07-16 | 2020-07-16 | 系统性能的评价方法、装置、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813644A true CN111813644A (zh) | 2020-10-23 |
| CN111813644B CN111813644B (zh) | 2024-02-27 |
Family
ID=72865272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010686033.1A Active CN111813644B (zh) | 2020-07-16 | 2020-07-16 | 系统性能的评价方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813644B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672489A (zh) * | 2021-10-25 | 2021-11-19 | 国家超级计算天津中心 | 超级计算机的资源性能等级确定方法及设备 |
| CN114444987A (zh) * | 2022-04-11 | 2022-05-06 | 深圳小库科技有限公司 | 一种户型图的自动化分析方法及装置 |
| CN114655285A (zh) * | 2022-02-25 | 2022-06-24 | 北京全路通信信号研究设计院集团有限公司 | 转辙机健康度评测方法、装置、终端设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101572623A (zh) * | 2009-04-30 | 2009-11-04 | 上海大学 | 基于主客观组合评价的网络性能综合评价方法 |
| US20100198659A1 (en) * | 2009-02-04 | 2010-08-05 | Sirota Consulting LLC | Methods for matching and managing mentors and mentees and systems thereof |
| CN107992401A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技（深圳）有限公司 | 性能测试评价方法、装置、终端设备及存储介质 |
| CN108874640A (zh) * | 2018-05-07 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 一种集群性能的评估方法和装置 |
| CN110008101A (zh) * | 2019-04-04 | 2019-07-12 | 网易（杭州）网络有限公司 | 客户端性能评价方法、装置、存储介质及电子设备 |
| CN110162445A (zh) * | 2019-05-23 | 2019-08-23 | 中国工商银行股份有限公司 | 基于主机日志及性能指标的主机健康评价方法及装置 |
-
2020
- 2020-07-16 CN CN202010686033.1A patent/CN111813644B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100198659A1 (en) * | 2009-02-04 | 2010-08-05 | Sirota Consulting LLC | Methods for matching and managing mentors and mentees and systems thereof |
| CN101572623A (zh) * | 2009-04-30 | 2009-11-04 | 上海大学 | 基于主客观组合评价的网络性能综合评价方法 |
| CN107992401A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技（深圳）有限公司 | 性能测试评价方法、装置、终端设备及存储介质 |
| CN108874640A (zh) * | 2018-05-07 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 一种集群性能的评估方法和装置 |
| CN110008101A (zh) * | 2019-04-04 | 2019-07-12 | 网易（杭州）网络有限公司 | 客户端性能评价方法、装置、存储介质及电子设备 |
| CN110162445A (zh) * | 2019-05-23 | 2019-08-23 | 中国工商银行股份有限公司 | 基于主机日志及性能指标的主机健康评价方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672489A (zh) * | 2021-10-25 | 2021-11-19 | 国家超级计算天津中心 | 超级计算机的资源性能等级确定方法及设备 |
| CN113672489B (zh) * | 2021-10-25 | 2022-01-25 | 国家超级计算天津中心 | 超级计算机的资源性能等级确定方法及设备 |
| CN114655285A (zh) * | 2022-02-25 | 2022-06-24 | 北京全路通信信号研究设计院集团有限公司 | 转辙机健康度评测方法、装置、终端设备和存储介质 |
| CN114655285B (zh) * | 2022-02-25 | 2024-01-19 | 北京全路通信信号研究设计院集团有限公司 | 转辙机健康度评测方法、装置、终端设备和存储介质 |
| CN114444987A (zh) * | 2022-04-11 | 2022-05-06 | 深圳小库科技有限公司 | 一种户型图的自动化分析方法及装置 |
| CN114444987B (zh) * | 2022-04-11 | 2022-06-28 | 深圳小库科技有限公司 | 一种户型图的自动化分析方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813644B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111158977B (zh) | 一种异常事件根因定位方法及装置 | |
| CN109815084B (zh) | 异常识别方法、装置和电子设备及存储介质 | |
| CN111813644A (zh) | 系统性能的评价方法、装置、电子设备和计算机可读介质 | |
| CN113935497A (zh) | 智能运维故障处理方法、装置、设备及其存储介质 | |
| CN112258093A (zh) | 风险等级的数据处理方法及装置、存储介质、电子设备 | |
| CN104200288A (zh) | 一种基于因素与事件间相关关系识别的设备故障预测方法 | |
| EP2963552B1 (en) | System analysis device and system analysis method | |
| CN114116397A (zh) | 一种监控指标的预警归因方法、装置、设备及存储介质 | |
| KR20170104705A (ko) | 설비 고장 진단 장치 및 방법 | |
| CN112734977B (zh) | 一种基于物联网的设备风险预警系统及算法 | |
| CN115269342B (zh) | 一种基于边缘计算的监测云平台及其监测方法 | |
| CN111897705A (zh) | 服务状态处理、模型训练方法、装置、设备和存储介质 | |
| CN111696097A (zh) | 一种电缆在线监测方法和装置 | |
| CN109643484B (zh) | 在预警系统中考虑外部影响来学习最新数据的方法以及用于该方法的系统 | |
| CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
| CN115441456A (zh) | 一种电网调度支持系统故障诊断方法及装置 | |
| CN115664038A (zh) | 一种用于电气安全管理的智能配电运维监控系统 | |
| CN112199805B (zh) | 一种输电线路隐患识别模型评估方法及装置 | |
| CN117273550B (zh) | 一种食品检测智能实验室的信息管理方法 | |
| KR102059112B1 (ko) | 사물 인터넷 스트림 데이터 품질 측정 지표 및 프로파일링 방법 및 그 시스템 | |
| CN116545867A (zh) | 一种监控通信网络网元性能指标异常的方法及装置 | |
| CN113610167B (zh) | 基于度量学习与视觉感知的设备风险检测方法 | |
| CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN116232851A (zh) | 一种网络异常的预警方法、装置、电子设备和存储介质 | |
| CN114510994A (zh) | 城市地下燃气泄漏识别模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |