CN114416410A - 一种异常分析方法、设备和计算机可读存储介质 - Google Patents

一种异常分析方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114416410A
CN114416410A CN202111666129.2A CN202111666129A CN114416410A CN 114416410 A CN114416410 A CN 114416410A CN 202111666129 A CN202111666129 A CN 202111666129A CN 114416410 A CN114416410 A CN 114416410A
Authority
CN
China
Prior art keywords
target
index
result
target characteristic
indexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111666129.2A
Other languages
English (en)
Inventor
陆明
聂志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111666129.2A priority Critical patent/CN114416410A/zh
Publication of CN114416410A publication Critical patent/CN114416410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例公开了一种异常分析方法、设备和计算机可读存储介质,该方法包括:获得目标异常分类模型,并获取至少一个目标特征指标;基于至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程;获取待分析数据;从待分析数据中获取目标特征指标对应的目标指标值,将目标特征指标和目标特征指标对应的目标指标值,输入目标异常分类模型进行推断处理,获得决策路径和决策路径对应的推断结果,基于决策路径和决策路径对应的推断结果,确定异常分析结果。如此,通过将目标特征指标和目标特征指标对应的目标指标值进行推断处理,并基于推断结果,得到对存储卷性能异常的分析结果,从而实现对存储卷性能的异常根因的有效分析。

Description

一种异常分析方法、设备和计算机可读存储介质
技术领域
本申请涉及数据分析技术领域,尤其涉及一种异常分析方法、设备和计算机可读存储介质。
背景技术
在云计算场景中,用户可以直接地感受虚拟机中的存储卷性能,由于云计算平台中的存储卷数量较多,触发存储卷性能异常的因素较多,因此,对存储卷性能产生异常的根因进行分析具有很大的挑战性。
相关技术中,对存储卷性能的异常根因进行分析时通常采用故障树分析、规则引擎和异常检测等方法,但是与存储卷性能相关的指标较多,数据量大,业务场景不断变化,因此,相关技术中的这类方法很难对存储卷性能的异常根因进行有效分析。
发明内容
为解决上述技术问题,本申请实施例期望提供一种异常分析方法、设备和计算机可读存储介质,能够实现对存储卷性能的异常根因的有效分析。
本申请的技术方案是这样实现的:
本申请实施例提供一种异常分析方法,包括:
获得目标异常分类模型,并获取至少一个目标特征指标;
基于所述至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程;
确定所述至少一个目标特征指标的数量达到所述第一预设阈值,确定所述异常分析处理过程为利用所述目标异常分类模型执行推断处理过程;
获取待分析数据,从所述待分析数据中获取所述目标特征指标对应的目标指标值,所述待分析数据包括多个特征指标和所述多个特征指标对应的指标值;
将所述目标特征指标和所述目标特征指标对应的目标指标值,输入所述目标异常分类模型进行推断处理,获得至少一个决策路径、所述至少一个决策路径对应的推断结果;
基于所述决策路径、所述决策路径对应的推断结果,确定异常分析结果。
本申请实施例提供一种异常分析设备,包括:
存储器,用于存储可执行异常分析指令;
处理器,用于执行所述存储器中存储的可执行异常分析指令时,实现本申请实施例提供的异常分析方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行异常分析指令,用于引起处理器执行时,实现本申请实施例提供的异常分析方法。
本申请实施例提供了一种异常分析方法、设备和计算机可读存储介质,采用本技术方案,首先,获得目标异常分类模型,并获取至少一个目标特征指标,然后,基于至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程,当确定至少一个目标特征指标的数量达到所述第一预设阈值,确定异常分析处理过程为利用目标异常分类模型执行推断处理过程,接着,获取待分析数据,从待分析数据中获取目标特征指标对应的目标指标值,将目标特征指标和目标特征指标对应的目标指标值,输入目标异常分类模型进行推断处理,获得至少一个决策路径、至少一个决策路径对应的推断结果,最后,基于决策路径、决策路径对应的推断结果,确定异常分析结果。如此,通过将目标特征指标和目标特征指标对应的目标指标值输入目标异常分类模型进行分析处理,并基于目标异常分类模型的输出结果,得到对存储卷性能异常的分析结果,从而实现对存储卷性能的异常根因的有效分析。
附图说明
图1为本申请实施例提供的一种异常分析方法的流程示意图;
图2为本申请实施例提供的一种确定异常分析结果的方法流程示意图;
图3为本申请实施例提供的另一种确定异常分析结果的方法流程示意图;
图4为本申请实施例提供的再一种确定异常分析结果的方法流程示意图;
图5为本申请实施例提供的一种确定异常根因指标的方法流程示意图;
图6为本申请实施例提供的一种目标异常分类模型的获取方法流程示意图;
图7为本申请实施例提供的一种训练特征指标的重要性评价值的示意图;
图8为本申请实施例提供的一种初始排序结果的获取方法流程图;
图9为本申请实施例提供的一种存储卷性能异常根因分析方法的流程示意图;
图10为本申请实施例提供的一种存储卷性能异常根因分析方法的原理图;
图11为本申请实施例提供的一种异常分析设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例\另一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例\另一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三\第四”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三\第四”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在云计算平台中,存储卷可以表示云服务器的动态磁盘的分区,用于保存云计算过程中的各种数据信息,为云计算的高效有序进行提供支撑,因此,保证存储卷性能良好尤为重要。
但是,由于各种影响因素,例如,计算资源竞争导致机器整体性能下降,压缩卷或非压缩卷,宿主机性能因素,光纤交换机性能因素,存储区域网络(Storage Area Network,SAN)性能因素,存储区域网络卷控制器(SAN Volume Controller,SVC)性能因素,网络附属存储(Network Attached Storage,NAS)或Ceph(一种分布式文件系统)性能因素等,都可能使存储卷性能出现异常,当存储卷性能出现异常时,进行异常定位是很困难的事情。同时,云平台中存在大量的存储卷,使得导致存储卷性能异常的根因多而复杂,因此,对于如此高维数据的异常分析,需要足够高效的分析方法才能获得较高的分析质量。
相关技术中,通常采用故障树分析方法、规则引擎方法和异常检测方法等对存储卷性能的异常根因进行分析,但是,对于数量庞大的异常分析数据,这些方法难以保证较高的分析质量,获得有效的分析结果。
本申请实施例提供一种异常分析方法,用于对存储卷性能进行异常根因分析,能够实现对存储卷性能的异常根因的有效分析。下面,将说明本申请实施例提供的异常分析方法,如图1所示,为本申请实施例提供的一种异常分析方法的流程示意图,该方法包括以下步骤:
S101、获得目标异常分类模型,并获取至少一个目标特征指标。
需要说明的是,目标异常分类模型可以是对异常分类模型训练完成后得到的,异常分类模型可以是基于随机森林算法构建的分类模型,在此类模型中具有一个或多个决策树,可以对各个影响存储卷性能的指标进行分类,分类结果可以包括异常或正常,用于指示是否是导致存储卷性能异常的指标,基于一个或多个决策树的分类结果可以得到一个最终的判断结果,从而确定影响存储卷性能的一个或多个指标。
可以理解的是,基于随机森林或者决策树算法构建的异常分类模型具有可解释强的特点,可以对决策路径进行有效解析,从而实现对存储卷性能的有效分析。
需要说明的是,特征指标可以是用于分析影响存储卷性能的指标,例如可以是每秒的读写速度(Input/Output Operations Per Second,IOPS),带宽,延迟等。目标特征指标可以是从特征指标中选择出的多个指标,这些被选出的多个指标对存储卷性能的影响较大,在影响存储卷性能的排序结果中,目标特征指标排序靠前,在对异常分类模型进行训练的过程中,可以确定对存储卷性能有重要影响的的指标,从而获得多个指标中的目标特征指标。
S102、基于至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程。
需要说明的是,第一预设阈值可以是预先设定的任意正整数,例如可以设定第一预设阈值为5,根据目标特征指标的数量可以确定执行何种分析处理方式。异常分析处理过程可以包括利用目标异常分类模型执行推断处理过程和直接对目标特征数据进行异常检测的过程。
S103、确定至少一个目标特征指标的数量达到第一预设阈值,确定异常分析处理过程为利用目标异常分类模型执行推断处理过程。
在一些实施例中,目标特征指标的数量达到第一预设阈值可以理解为满足第一预设阈值条件,也可以理解为目标特征指标的数量大于或等于第一预设阈值,当目标特征指标的数量大于或等于第一预设阈值时,表示目标特征指标的数量较多,无法直接确定影响存储卷性能异常的指标或者指标组合,可以基于目标异常分类模型对目标特征指标进行推断处理。
S104、获取待分析数据,从待分析数据中获取目标特征指标对应的目标指标值。
待分析数据包括多个特征指标和多个特征指标对应的指标值,待分析数据可以是用于执行存储卷性能异常分析的测试数据,特征指标对应的指标值可以是每一个指标的取值,例如指标读延迟对应的指标值为0.3毫秒,对应地,目标指标值可以是目标特征指标对应的取值。由于在异常分类模型训练过程中已经获得目标特征指标,因此只需在待分析数据中选择中目标特征指标对应的取值。
可以理解的是,基于目标特征指标和从待分析数据中获取目标特征指标对应的目标指标值,作为待输入目标异常分类模型的分析数据,而并非是所有的待分析数据,实现了数据量的削减,从而在后续基于目标异常分类模型执行推断时,减少推断代价,加快运算速度。
S105、将目标特征指标和目标特征指标对应的目标指标值,输入目标异常分类模型进行推断处理,获得至少一个决策路径、至少一个决策路径对应的推断结果。
在一些实施例中,目标特征指标和目标特征指标对应的目标指标值可以作为推断数据,推断处理可以是使用目标异常分类模型对推断数据进行分析处理,包括对每一个目标特征指标和每一个目标特征指标对应的目标指标值进行分类决策,以及基于多个目标特征指标和多个目标特征指标对应的目标指标值确定的影响存储卷性能的路径决策分析。
需要说明的是,决策路径可以是决策树或随机森林中的一个或多个路径,一条决策路径中包括一个或多个节点,每一个节点中包括一个目标特征指标和该目标特征指标对应的目标指标值。决策路径对应的推断结果指示为正常状态或异常状态,当某条决策路径的推断结果为异常,表示该条路径中的目标特征指标指标和目标特征指标对应的目标指标值造成存储卷性能异常。
S106、基于决策路径、决策路径对应的推断结果,确定异常分析结果。
异常分析结果指示对决策路径和决策路径对应的推断结果,执行进一步分析后,得到的存储卷性能异常的分析结果。
本申请实施例中,获得目标异常分类模型,并获取至少一个目标特征指标,基于至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程,当确定至少一个目标特征指标的数量达到所述第一预设阈值,确定异常分析处理过程为利用目标异常分类模型执行推断处理过程,接着获取待分析数据,从待分析数据中获取目标特征指标对应的目标指标值,将目标特征指标和目标特征指标对应的目标指标值,输入目标异常分类模型进行推断处理,获得至少一个决策路径和决策路径对应的推断结果,最后,基于决策路径和决策路径对应的推断结果,确定异常分析结果。如此,通过将目标特征指标和目标特征指标对应的目标指标值输入目标异常分类模型进行分析处理,并基于目标异常分类模型的输出结果,得到对存储卷性能异常的分析结果,从而实现对存储卷性能的异常根因的有效分析。
如图2所示,为本申请实施例提供的一种确定异常分析结果的方法流程示意图,在本申请的一些实施例中,基于决策路径、决策路径对应的推断结果,确定异常分析结果,即S106可以通过下述的S201至S204实现,以下对各步骤进行说明。
S201、基于各个决策路径对应推断结果,确定至少一个决策路径中的目标决策路径。
需要说明的是,每一个决策路径都有各自对应的推断结果,推断结果可以包括正常状态和异常状态,目标决策路径为推断结果是异常状态的决策路径。在一些实施例中,目标决策路径可以为一条,该目标决策路径中的所有目标指标和目标特征指标对应的目标指标值导致存储卷性能异常。
S202、获取目标决策路径中各个目标特征指标对应的至少一个目标指标值。
在确定了目标决策路径之后,需要确定目标决策路径中的目标特征指标和目标特征指标对应的目标指标值为存储卷性能的影响因素,首先可以获取目标决策路径中的目标特征指标和目标特征指标对应的目标指标值。
S203、基于至少一个目标指标值,对目标决策路径中的一个或多个目标特征指标进行检测,获得检测结果。
在一些实施例中,获得了目标决策路径中的目标特征指标和目标特征指标对应的目标指标值后,可以对这些目标特征指标和这些目标特征指标对应的目标指标值中的一个或者多个进行实时检测,例如,设置关于存储卷性能的目标特征指标为目标决策路径中的三个目标特征指标,以及三个目标特征指标分别对应的目标指标值,在被观测的时间片下,确定存储卷性能的实时状态,从而获得该三个目标特征指标的检测结果。
S204、基于检测结果确定异常分析结果。
需要说明的是,检测结果可以是在被观测的时间片下,存储卷性能处于异常状态,或者处于正常状态,异常分析结果可以是检测结果指示为存储卷处于异常状态时对应的目标特征指标。
在本申请的一些实施例中,基于至少一个目标指标值,对目标决策路径中的一个或多个目标特征指标进行检测,获得检测结果,基于检测结果确定异常分析结果,即S203和S204可以进一步通过下述方法实现。
基于目标决策路径中的一个或多个目标特征指标和一个或多个目标特征指标对应的目标指标值,确定存储卷性能的当前状态。
需要说明的是,存储卷性能的当前状态可以是在观测时间片下实时获得的存储卷性能的状态,包括正常状态和异常状态。目标决策路径中的一个或多个目标特征指标可以是任意选择的任一个目标特征指标或多种目标特征指标组合,示例性地,目标决策路径中的目标特征指标包括A、B、E、F和H,可以分别选择其中的每一个目标特征指标进行检测,确定在该目标特征指标及该指标对应的目标指标值下存储卷性能的当前状态,也可以对目标特征指标的多种组合,例如A、B、E,A、B、F,A、E、F、H等分别进行检测,获得多个目标特征和多个目标特征指标对应的目标指标值的组合下存储卷性能的当前状态。
将存储卷性能的当前状态确定为检测结果,如果存储卷性能的当前状态为异常状态,将一个或多个目标特征指标进行标记,将被标记的一个或多个目标特征指标确定为异常分析结果,被标记的一个或者多个目标特征指标指示为通过实时检测后确定出的影响存储卷性能的指标。
如图3所示为本申请实施例提供的另一种确定异常分析结果的方法流程示意图,在本申请的一些实施例中,异常分析结果还包括表征目标特征指标重要性的目标排序结果,此时,确定异常分析结果的方法还通过下述的S301至S303实现。
S301、获取目标异常分类模型针对目标特征指标的初始排序结果。
需要说明的是,初始排序结果可以是根据目标特征指标对存储卷性能影响的重要程度进行排序的结果,可以是根据重要性从高到低对目标特征指标进行排序得到初始排序结果。
在一些实施例中,初始排序结果可以是在对异常分类模型训练完成过程中得到的,初始排序结果可以是基于随机森林或决策树的特征重要性度量方法得到,例如通过袋外数据检测的方法,获得每一个目标特征指标的重要性度量值,基于所有目标特征指标对应的重要性度量值的大小,确定表征目标特征指标重要性的初始排序结果。
S302、基于目标决策路径和初始排序结果,确定目标特征指标的目标排序结果。
需要说明的是,目标排序结果的可以是关于目标决策路径中所有的目标特征指标的排序结果,在一些实施例中,目标排序结果可以在初始排序排序结果的基础上,删除目标决策路径中没有的目标特征指标而得到。
在一些实施例中,初始排序结果和目标排序结果相同,在此种情况下,目标决策路径包括了所有的目标特征指标,不需要删除初始排序结果中的任何目标特征指标。
在另一些实施例中,初始排序结果和目标排序结果不同,在此种情况下,目标决策路径中的目标特征指标类型数量少于初始排序结果中的目标特征指标类型数量,例如,目标特征指标的初始排序结果为B、F、A、C、D,而目标决策路径中的目标特征指标为A、B、D、F,少了特征指标C,则目标排序结果便为B、F、A、D。
S303、将目标排序结果确定为异常分析结果。
目标排序结果表示决策路径中目标特征指标的重要性排序,可用于表征目标特征指标对存储卷性能影响的重要性,因此也可以作为存储卷性能的异常分析结果。
如图4所示,为本申请实施例提供的再一种确定异常分析结果的方法流程示意图,在本申请的一些实施例中,确定异常分析结果的方法还可以通过确定异常分析结果的方法还通过下述的S401至S403实现。
S401、获取基于目标异常分类模型确定的随机森林中的决策树个数。
需要说明的是,异常分类模型基于随机森林模型构建,当异常分类模型训练结束后得到目标异常分类模型,因此,此时目标异常分类模型中对应的随机森林结构已经确定,相应地,随机森林对应的决策树的个数便可以随之获得。在一些实施例中,随机森林对应的决策树的个数可以是一个或多个。
S402、确定至少一个目标特征指标的数量未达到第一预设阈值,且决策树个数大于第二预设阈值,确定异常分析处理过程为目标特征异常检测处理过程。
在一些实施例中,目标特征指标的数量未达到第一预设阈值可以理解为不满足第一预设阈值条件,也可以理解为目标特征指标的数量小于第一预设阈值,当目标特征指标的数量小于第一预设阈值时,表示目标特征指标的数量较少。
进一步地,第二预设阈值可以是预先设置的任意正整数,用于表示决策树的个数,当S401中确定的决策树的个数小于第二预设阈值,表示由目标特征指标和目标特征指标对应的目标指标值确定的随机森林结构简单,即通过数量较少的目标特征指标和目标特征指标对应的目标指标值便可以确定存储卷的状态。此时,不需要利用目标异常分类模型对目标特征指标执行推断处理过程,直接对目标特征进行异常检测处理。
S403、对目标特征指标中的一个或多个进行异常检测,获得检测结果,基于检测结果确定异常分析结果。
在一些实施例中,S403的执行过程与S203类似,区别在于S403是直接对目标特征指标进行异常检测,而并非是对目标决策路径中的目标特征指标进行异常检测。示例性地,设置关于存储卷性能的五个目标特征指标,以及该五个目标特征指标各自分别对应的目标指标值,在被观测的时间片下,确定存储卷性能的实时状态,从而获得该五个目标特征指标的检测结果。
如图5所示,为本申请实施例提供的一种确定异常根因指标的方法流程示意图,在本申请的一些实施例中,在对目标特征指标进行异常检测,并对检测结果指示存储卷性能为异常状态对应的目标特征进行标记之后,进一步确定异常根因指标的方法可以通过下述的S501至S504实现。
S501、获取至少一个目标特征指标对应的正常指标范围,基于至少一个目标特征指标对应的正常指标范围确定至少一个目标特征指标各自对应的目标正常值。
需要说明的是,目标特征指标对应的正常指标范围可以是在异常分类模型的训练过程中确定,例如,通过训练过程分析得到目标特征指标读IO次数(read_ios),该目标特征指标对应的正常指标范围为每秒100至200次,目标正常值可以是正常指标范围中的任意一个值,例如可以是目标正常指标范围的上限、下限、中值或均值等。示例性地,当目标特征指标read_ios的目标正常指标范围为[100,200]时,目标正常值可以是该目标正常指标范围的上限200,可以是该目标正常指标范围的下限100,可以是该目标正常指标范围的中值150,也可以是该目标正常指标范围的均值150。
S502、将被标记的各个目标特征指标对应的目标指标值,更新为对应的目标正常值。
在一些实施例中,对目标特征指标进行检测后,可以基于检测结果获得被标记的一个或多个目标特征指标,将所有的被标记的目标特征指标分别更新为各自对应的目标正常值,例如,被标记的目标特征指标读延迟对应的目标指标值为50毫秒,该指标的正常指标范围为[20,42],基于该正常指标范围确定的目标正常值为31毫秒,则更新后该目标特征指标读延迟对应的目标指标值为31毫秒。
S503、基于目标异常分类模型对被标记的目标特征指标和被标记的目标特征指标对应的目标正常值进行推断处理,获得被标记的目标特征指标对应的修正推断结果。
在一些实施例中,修正推断结果可以表示将目标特征指标对应的目标指标值更新后,输入目标异常分类模型进行推断处理后得到的的推断结果。对被标记的目标特征指标和被标记的目标特征指标对应的目标正常值进行推断处理,可以是对每个被标记的目标特征指标和被标记的目标特征指标对应的目标正常值进行分别进行推断处理,示例性地,依次将每个被标记的目标特征指标、被标记的目标特征指标对应的目标正常值、除被标记的目标特征指标之外的其他目标特征指标、其他目标特征指标对应的目标指标值,输入目标异常分类模型进行推断处理,获得每个被标记的目标特征指标对应的修正推断结果。
S504、基于被标记的目标特征指标对应的修正推断结果,从被标记的目标特征指标中确定异常根因指标。
需要说明的是,修正推断结果可以是异常状态或正常状态,异常根因指标可以是在对目标决策路径中的被标记的目标特征指标进行检测过程中,导致观测时间片下检测结果指示为异常状态的指标。
在一些实施例中,当某一目标特征指标对应的修正推断结果为正常状态,且该目标特征指标对应的目标指标值和该目标指标值更新后得到的指标值之间的差值的绝对值小于预设阈值,则可判断该被标记的目标特征指标导致该时间片下分析指标异常,示例性地,例如,存储卷存储IO延迟较高因为SVC存储设备的CPU负载过高造成。
可以理解的是,通过将被标记的目标特征指标对应的目标指标值进行更新,保证更新后的指标值在该目标特征指标对应的正常指标范围内,根据被标记的目标特征指标的修正推断结果,以及被标记的目标特征指标对应的目标指标值和更新后的目标正常值之间的差值关系,实现在某一观测时间片下,导致该观测时间片下检测结果为异常状态的根因指标的确定。
如图6所示,为本申请实施例提供的一种目标异常分类模型的获取方法流程示意图,在本申请的一些实施例中,异常分析方法还可以包括获取目标异常分类模型,目标异常分类模型的获取方法可以通过下述的S601至S605实现,以下对各步骤进行说明。
S601、获取训练数据和预设的异常分类模型。
需要说明的是,预设的异常分类模型可以是决策树模型或随机森林模型,训练数据可以是从云计算数据库、监控数据库或其他数据库中获得的数据源,包括存储卷和与存储卷性能相关的属性,例如,资源依赖关系、关键属性、性能指标,以及异常事件定义等。
在一些实施例中,训练数包括训练特征指标、训练特征指标对应的训练特征值和训练特征标签。训练特征指标可以是与存储卷性能相关的指标,例如读IO次数、读延迟和写延迟等,训练特征指标对应的训练特征值可以是训练特征指标对应的具体取值,例如训练特征指标读延迟的训练特征值为10毫秒。训练特征标签可以是存储卷的状态,例如正常状态和异常状态。
S602、基于训练数据对预设的异常分类模型进行训练,得到初始异常分类模型。
在一些实施例中,在对预设的异常分类模型进行训练之前,需要按照一定配比关系建立异常根因分析的正负样本数据集,正样本数据集可以是训练特征指标为正常,或者训练特征指标对应的指标值为正常的数据所构成的数据集合,对应地,负样本数据集可以是训练特征指标为异常,或者训练特征指标正常但是训练征指标对应的指标值异常的数据所构成的数据集合。
需要说明的是,在建立异常根因分析的正负样本数据集时需要按照一定的配比关系,配比关系可以是正负样本数据集的比例,例如正样本数据集和负样本数据集的比例为1:1。
可以理解的是,保持训练数据正负样本数据集的配比相当,使得在使用正负样本对预设的异常分类模型训练时,可以得到质量较高的初始异常分类模型,从而在基于初始异常分类模型得到目标异常分类模型,并利用目标异常分类模型对待分析数据进行推断时,得到更加准确的推断结果,进一步地,在利用推断结果进行异常分析时,提高存储卷性能异常分析的正确性。
需要说明的是,在训练数据中,训练特征指标和训练特征指标对应的训练特征值确定的存储卷的状态已经确定,即训练标签已知。在对异常分类模型进行训练的过程中,通过训练标签不断调整预设的异常分类模型中的模型参数,使得基于训练特征指标和训练特征指标对应的训练特征值得到正确的训练标签,在调整模型参数后,当所有的训练特征指标和训练特征指标对应的训练特征值确定的存储卷的状态均和训练标签一致时,完成对预设的异常分类模型的训练,得到初始的异常分类模型。
S603、基于初始异常分类模型确定各个训练特征指标的重要性评价值。
在一些实施例中,重要性评价值可以表征某一个训练特征指标影响存储卷性能的重要程度。当得到初始异常分类模型之后,可以依次对每一个训练特征指标的重要型评价值进行计算。
示例性地,训练特征指标的重要性评价值可以基于袋外数据检测的方法进行计算,例如,在计算某一个训练特征指标的重要性评价值时,首先计算除去该训练特征指标的其他指标输入初始异常分类模型后,得到的第一推断误差e1,,然后将该训练特征指标对应的训练特征值修改为正常指标范围外的其他指标值,将该训练特征指标和该训练特征指标对应修改后的指标值,输入初始异常分类模型后,得到的第二推断误差e2,假设初始异常分类模型对应的随机森林中有N棵树,则重要性评价值α=(e2-e1)/N。
S604、删除重要性评价值低于第四预设阈值的训练特征指标,获得多个目标特征指标。
需要说明的是,第四预设阈值可以是预先设定的任意实数,例如,-3.2,0和5等。若计算得到的某一训练特征指标对应的重要性评价值小于第四预设阈值,则确定该训练特征指标为重要性较低的训练特征指标,将其进行删除,反之,若计算得到的某一训练特征指标对应的重要性评价值大于或等于第四预设阈值,则确定该训练特征指标为重要性较高的训练特征指标,将其进行保留。分别将所有的训练特征指标各自对应的重要性评价值与第四预设阈值进行比较,得到重要性评价值大于或等于第四预设阈值对应的目标特征指标。
示例性地,如图7所示,为本申请实施例提供的一种训练特征指标的重要性评价值的示意图,图7中,横坐标表示各个训练特征指标,纵坐标表示重要性评价值,通过两次计算10个训练特征指标A、B、C、D、E、F、G、H、I、J的重要性评价值,可以看出,训练特征指标G、H、I、J的重要性评价值均接近于0,因此,在实际中,若将第四预设阈值设置为0.3,可以将训练特征指标G、H、I、J删除,得到目标特征指标A、B、C、D、E、F、G。
S605、将训练数据中的目标特征指标和训练数据中的目标特征指标对应的指标值输入初始异常分类模型,继续对初始异常分类模型进行训练,直至得到目标异常分类模型。
在得到训练特征指标中的目标特征指标之后,将训练数据中的目标特征指标和目标特征指标对应的指标值输入初始异常分类模型进行训练,根据初始异常分类模型的输出结果,不断调整该模型中的模型参数,最终得到训练好的异常分类模型,即目标异常分类模型。
可以理解的是,基于预设的异常分类模型进行训练得到初始异常分类模型之后,删除重要性较低的训练特征指标,得到目标特征指标,使得基于训练目标特征指标和目标特征指标对应的指标值对初始异常分类模型进行训练时,得到的模型的尺寸较小,降低了目标异常分类模型的训练代价。
如图8所示,为本申请实施例提供的一种初始排序结果的获取方法流程图,在本申请的一些实施例中,在删除重要性评价值低于第四预设阈值的训练特征指标,获得多个目标特征指标,即S604之后,还可以包括获取初始排序结果,初始排序结果的获取方法可以通过下述的S701至S702实现。
S701、获取各个目标特征指标的重要性评价值。
需要说明的是,在S603中各个训练特征指标的重要性评价值均已确定,在S604中训练特征指标中的目标特征指标已经获得,因此,只需要从训练特征指标的重要性评价值中,选择目标特征指标对应的重要性评价值,便可以得到各个目标特征指标的重要性评价值。
S702、基于各个目标特征指标的重要性评价值对多个目标特征指标进行排序,得到目标特征指标的初始排序结果。
在一些实施例中,基于各个目标特征指标的重要性评价值对多个目标特征指标进行排序,可以是根据各个目标特征指标的重要性评价值的大小,例如,根据重要性评价值从大到小进行排序,从而得到重要性评价值对应的目标特征指标对应的初始排序结果。
示例性地,假设目标特征指标A、B、C、D和E的重要性评价值分别为0.2,0.1,1.6,3.5和0.8,将该各个目标特征指标对应的重要性评价值从大到小排列顺序为:3.5、1.6、0.8、0.2、0.1,则根据各个目特征指标的重要性评价值大小,得到的目标特征指标的初始排序结果为:D、C、E、A、B。
可以理解的是,基于目标特征指标的重要性评价值对目标特征指标进行排序,得到目标特征指标对应的初始排序结果后,可以直接获得对存储卷性能影响较大的特征指标,后续对待分析数据进行推断时,只选择初始排序中的目标特征指标和目标特征指标对应的目标指标值,降低目标异常分类模型的推断代价。此外,基于初始排序结果和目标异常分类模型的推断结果,可以进一步对目特征指标的重要性进行排序,得到影响存储卷性能的分析结果。
下面,对本申请实施例在实际应用场景中的实现过程进行介绍。
在一些实施例中,如图9所示,为本申请实施例提供的一种存储卷性能异常根因分析方法的流程示意图,本申请实施例提供的存储卷性能异常根因分析方法,可以通过下述的S801至S808来实现,包括分类模型训练过程S801至S803,以及分类模型推断过程S804至S808,以下对各个步骤进行说明。
S801、获取与存储卷相关的数据源。
在一些实施例中,如图10所示,为本申请实施例提供的一种存储卷性能异常根因分析方法的原理图,本申请实施例提供的存储卷性能异常根因分析方法可以是,在设备性能发生异常后,运维工程师进行存储卷性能的异常根因分析工作,或定时作业启动执行存储卷性能的异常根因分析。
在获取与存储卷相关的数据源时,可以对接云计算数据库获得不同资源依赖关系,获得卷配置信息,例如,压缩卷和业务属性等,并获得监控数据库中的数据,监控数据库中的数据包括异常事件信息,例如,监控指标范围、指标计算方式、报警阈值和报警级别等。
S802、基于数据源中的正负样本构建训练数据。
在一些实施例中,如图10中所示,可以按照一定正负样本比例建立异常根因分析的正负样本数据集,在实际中,按照一定正负样本比例抽样形成一段时间内的训练数据,例如,按照业务经验配置或系统内置正负样本比例或比例区间,以保证正负样本比例不会过于悬殊。
S803、基于训练数据对分类器模型(预设的异常分类模型)进行训练,生成目标分类器(目标异常分类模型),并获取特征重要性排序结果(初始排序结果)。
在一些实施例中,在执行模型训练之前,如图10所示,可以基于随机森林模型建立分类器模型,使用训练数据对分类器模型进行训练,基于分类器模型的训练结果,度量分类器质量,并不断调整分类模型的参数,获得目标分类器。
在训练过程中,如果分类器模型质量足够好,则分析模型的重要性指标,移除对模型重要性较低的指标(删除重要性评价值低于第四预设阈值的训练特征指标),并重新训练模型(继续对初始异常分类模型进行训练),以减小模型尺寸,降低训练代价和推断代价。
S804、使用目标分类器对推断数据进行推断(目标异常分类模型进行推断处理),获得推断结果(至少一个决策路径对应的推断结果)和决策路径(至少一个决策路径)。
在一些实施例中,推断数据(目标特征指标和目标特征指标对应的目标指标值)可以是测试数据,用于执行存储卷性能的推断分析,用于以判断是否是推断数据导致存储卷异常。推断结果可以是经过目标分类器对推断数据进行推断后,得到的推断结果,包括异常状态和正常状态。
决策路径可以是目标分类模型中,随机森林的各个决策树对应的多个决策路径,在实现时,可以基于随机森林的结合策略,获得推断数据的随机森林决策路径,例如,在随机森林中,决策树A中一条决策路径a中的推断数据和另一个决策树B中的一条决策路径b的推断数据相同,则只保留一条决策路径。
S805、基于推断结果和决策路径,获得有效决策路径(目标决策路径)。
在一些实施例中,随机森林中可能包括多棵决策树,每一棵决策树中有多条决策路径,此时,可以基于推断数据的推断结果获得随机森林中有效的决策树,并获得有效决策树中有效决策路径(基于各个决策路径对应推断结果,确定所述至少决策路径中的目标决策路径)。有效决策树可以是推断结果为异常状态对应的决策树,有效决策路径可以是有效决策树中,推断结果为异常状态对应的决策路径。
在另一些实施例中,随机森林中可能仅有一颗决策树,此时,可以直接在该棵决策树中查找推断数据的推断结果为异常状态的决策路径,将推断结果为异常状态对应的决策路径作为有效决策路径。
S806、基于模型的特征重要性排序结果和有效决策路径中的指标范围(目标决策路径中的一个或多个目标特征指标),获取目标特征重要性排序结果(目标特征指标的目标排序结果)。
需要说明的是,指标范围可以是有效决策路径中的所有特征指标(目标特征指标)的集合,通过有效决策路径可以获得特征属性集合,特征属性集合中包括特征指标和特征指标对应的指标值(目标决策路径中的一个或多个目标特征指标对应的目标指标值)。在实际中,可以基于特征重要性排序结果,以及有效决策路径中的所有特征指标,移除特征重要性排序结果中有效决策路径中不存在的特征指标,从而获得经过排序的目标特征重要性排序结果。
S807、对指标范围中的一个或多个特征指标进行异常检测(对目标决策路径中的一个或多个目标特征指标进行检测),获得检测结果。
在一些实施例中,对有效决策路径中的每个特征指标执行异常检测,或有效决策路径中的多个特征指标组合后执行异常检测,如果所观测时间切片的数据恰属于异常状态,则对该特征指标或特征指标组合进行标注(如果存储卷性能的当前状态为异常状态,将一个或多个目标特征指标进行标记),将被标注的特征指标或特征指标组合作为检测结果(被标记的一个或多个目标特征指标确定为异常分析结果)。
S808、输出分析结果(异常分析结果)。
需要说明的是,分析结果可以包括有效决策路径中的指标范围(目标决策路径中的一个或多个目标特征指标),被标注的特征指标或特征指标组合(被标记的一个或多个目标特征指标)和目标特征重要性排序(目标排序结果)等,因此,在实际输出分析结果时,可以将指标范围,异常检测中被标注的特征指标或特征指标组合,以及目标特征重要性排序等依次输出。
可以理解的是,本申请实施例提供的存储卷性能异常根因分析方法,支持高维数据下的存储卷性能异常检测,通过随机森林进行模型推断,可以获得较高的分析质量,同时,借助随机森林可解释性强的特点解析决策路径,并对决策路径进一步异常检测,可以识别可能造成故障的主要原因,更加精准地定位设备性能问题,为运维工程师提供更具参考性的信息。
本申请实施例还提供一种异常分析设备,图11为本申请实施例提供的一种异常分析设备的结构示意图,如图11所示,异常分析设备1包括:存储器11,用于存储可执行异常分析指令;处理器12,用于执行存储器中存储的可执行异常分析指令时,实现本申请实施例提供的方法,例如,实现本申请实施例提供的异常分析方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行异常分析指令,用于引起处理器12执行时,实现本申请实施例提供的方法,例如,本申请实施例提供的异常分析方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、设备或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备或计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (10)

1.一种异常分析方法,包括:
获得目标异常分类模型,并获取至少一个目标特征指标;
基于所述至少一个目标特征指标的数量和第一预设阈值的关系,确定异常分析处理过程;
确定所述至少一个目标特征指标的数量达到所述第一预设阈值,确定所述异常分析处理过程为利用所述目标异常分类模型执行推断处理过程;
获取待分析数据,从所述待分析数据中获取所述目标特征指标对应的目标指标值,所述待分析数据包括多个特征指标和所述多个特征指标对应的指标值;
将所述目标特征指标和所述目标特征指标对应的目标指标值,输入所述目标异常分类模型进行推断处理,获得至少一个决策路径、所述至少一个决策路径对应的推断结果;
基于所述决策路径、所述决策路径对应的推断结果,确定异常分析结果。
2.根据权利要求1中所述的方法,所述基于所述决策路径、所述决策路径对应的推断结果,确定异常分析结果,包括:
基于各个决策路径对应推断结果,确定所述至少一个决策路径中的目标决策路径,所述目标决策路径为推断结果是异常状态的决策路径;
获取所述目标决策路径中各个目标特征指标对应的至少一个目标指标值;
基于所述至少一个目标指标值,对所述目标决策路径中的所述一个或多个目标特征指标进行检测,获得检测结果;
基于所述检测结果确定异常分析结果。
3.根据权利要求2中所述的方法,所述基于所述至少一个目标指标值,对所述目标决策路径中的所述一个或多个目标特征指标进行检测,获得检测结果,基于所述检测结果确定异常分析结果,包括:
基于所述目标决策路径中的一个或多个目标特征指标和所述一个或多个目标特征指标对应的目标指标值,确定存储卷性能的当前状态;
将所述存储卷性能的当前状态确定为所述检测结果;
如果所述存储卷性能的当前状态为异常状态,将所述一个或多个目标特征指标进行标记;
将被标记的所述一个或多个目标特征指标确定为所述异常分析结果。
4.根据权利要求2中所述的方法,所述异常分析结果还包括表征目标特征指标重要性的目标排序结果,所述方法还包括:
获取所述目标异常分类模型针对所述目标特征指标的初始排序结果;
基于所述目标决策路径和所述初始排序结果,确定所述目标特征指标的目标排序结果;
将所述目标排序结果确定为所述异常分析结果。
5.根据权利要求2所述的方法,所述方法还包括:
获取基于所述目标异常分类模型确定的随机森林中的决策树个数;
确定所述至少一个目标特征指标的数量未达到所述第一预设阈值,且所述决策树个数大于第二预设阈值,确定所述异常分析处理过程为目标特征异常检测处理过程;
对所述目标特征指标中的一个或多个进行异常检测,获得检测结果,基于所述检测结果确定异常分析结果。
6.根据权利要求4所述的方法,所述方法还包括:
获取所述至少一个目标特征指标对应的正常指标范围,基于所述至少一个目标特征指标对应的正常指标范围确定所述至少一个目标特征指标各自对应的目标正常值;
将被标记的各个目标特征指标对应的目标指标值,更新为对应的所述目标正常值;
基于所述目标异常分类模型对被标记的目标特征指标和所述被标记的目标特征指标对应的目标正常值进行推断处理,获得被标记的目标特征指标对应的修正推断结果;
基于所述被标记的目标特征指标对应的修正推断结果,从被标记的目标特征指标中确定异常根因指标。
7.根据权利要求1中所述的方法,所述方法还包括:
获取训练数据和预设的异常分类模型,所述训练数包括训练特征指标、所述训练特征指标对应的训练特征值和训练特征标签;
基于所述训练数据对所述预设的异常分类模型进行训练,得到初始异常分类模型;
基于所述初始异常分类模型确定各个训练特征指标的重要性评价值;
删除重要性评价值低于第四预设阈值的训练特征指标,获得多个目标特征指标;
将所述训练数据中的所述目标特征指标和所述训练数据中的所述目标特征指标对应的指标值输入所述初始异常分类模型,继续对所述初始异常分类模型进行训练,直至得到目标异常分类模型。
8.根据权利要求7中所述的方法,所述方法还包括:
获取各个目标特征指标的重要性评价值;
基于所述各个目标特征指标的重要性评价值对所述多个目标特征指标进行排序,得到目标特征指标的初始排序结果。
9.一种异常分析设备,包括:
存储器,用于存储可执行异常分析指令;
处理器,用于执行所述存储器中存储的可执行异常分析指令时,实现权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质,存储有可执行异常分析指令,用于引起处理器执行时,实现如权利要求1至8任一项所述的方法。
CN202111666129.2A 2021-12-31 2021-12-31 一种异常分析方法、设备和计算机可读存储介质 Pending CN114416410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111666129.2A CN114416410A (zh) 2021-12-31 2021-12-31 一种异常分析方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111666129.2A CN114416410A (zh) 2021-12-31 2021-12-31 一种异常分析方法、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114416410A true CN114416410A (zh) 2022-04-29

Family

ID=81270691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111666129.2A Pending CN114416410A (zh) 2021-12-31 2021-12-31 一种异常分析方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114416410A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116976747A (zh) * 2023-08-14 2023-10-31 浙江羲和新材料科技有限公司 一种液晶显示器的密封剂生产管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116976747A (zh) * 2023-08-14 2023-10-31 浙江羲和新材料科技有限公司 一种液晶显示器的密封剂生产管理方法及系统
CN116976747B (zh) * 2023-08-14 2024-01-23 浙江羲和新材料科技有限公司 一种液晶显示器的密封剂生产管理方法及系统

Similar Documents

Publication Publication Date Title
CN108683530B (zh) 多维度数据的数据分析方法、装置及存储介质
CN111475680A (zh) 检测异常高密子图的方法、装置、设备及存储介质
JP6636883B2 (ja) 評価装置、評価方法、および評価プログラム
CN107168995B (zh) 一种数据处理方法及服务器
CN111208445A (zh) 一种动力电池异常单体识别方法及系统
CN109587008A (zh) 检测异常流量数据的方法、装置及存储介质
US11580425B2 (en) Managing defects in a model training pipeline using synthetic data sets associated with defect types
KR20180044739A (ko) 딥 러닝을 이용한 룰 생성방법 및 장치
CN111160329A (zh) 一种根因分析的方法及装置
KR20190008515A (ko) 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법
CN112907026A (zh) 一种基于可编辑网状指标体系的综合评估方法
CN114416410A (zh) 一种异常分析方法、设备和计算机可读存储介质
CN116306806A (zh) 故障诊断模型确定方法、装置及非易失性存储介质
CN113242213B (zh) 一种电力通信骨干网节点脆弱性诊断方法
CN102141988B (zh) 一种数据挖掘系统中数据聚类的方法、系统及装置
CN111612149A (zh) 一种基于决策树的主网线路状态检测方法、系统及介质
CN111159251A (zh) 一种异常数据的确定方法及装置
CN111783883A (zh) 一种异常数据的检测方法及装置
CN110995461A (zh) 网络故障诊断方法
CN114518988B (zh) 资源容量系统及其控制方法和计算机可读存储介质
CN106909497B (zh) 测试方法和装置
JP2019003333A (ja) バグ混入確率計算プログラム及びバグ混入確率計算方法
US9665795B2 (en) Method and apparatus for identifying root cause of defect using composite defect map
CN114330859A (zh) 一种实时质量控制的优化方法、系统和设备
CN113835973A (zh) 一种模型训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination