CN111176872A - 面向it运维的监控数据处理方法、系统、装置及存储介质 - Google Patents

面向it运维的监控数据处理方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN111176872A
CN111176872A CN201911288842.0A CN201911288842A CN111176872A CN 111176872 A CN111176872 A CN 111176872A CN 201911288842 A CN201911288842 A CN 201911288842A CN 111176872 A CN111176872 A CN 111176872A
Authority
CN
China
Prior art keywords
data
feature space
space data
maintenance
distinguishability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911288842.0A
Other languages
English (en)
Other versions
CN111176872B (zh
Inventor
吴振宇
施畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911288842.0A priority Critical patent/CN111176872B/zh
Publication of CN111176872A publication Critical patent/CN111176872A/zh
Application granted granted Critical
Publication of CN111176872B publication Critical patent/CN111176872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及IT运维数据处理技术领域，具体涉及一种面向IT运维的监控数据处理方法、系统、装置及存储介质。所述方法包括：获取IT智能运维的监控指标数据；接收场景选择指令，所述场景包括健康评估场景和故障诊断场景；当所述场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；当所述场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。结合了最大均值差异与Mann‑Kendall检验对数据进行检验，能够获得适用于训练IT智能运维系统的健康评估模型和故障诊断模型的数据。

Description

面向IT运维的监控数据处理方法、系统、装置及存储介质
技术领域
本发明涉及IT运维数据处理技术领域，具体涉及一种面向IT运维的监控数据处理方法、系统、装置及存储介质。
背景技术
随着大数据、云计算以及人工智能的高速发展，IT运维管理逐渐从自动化运维向智能化运维转变，大多企业对智能运维都有较大的需求。智能运维主要是基于日志、监控信息、应用信息等数据，主张由机器学习方法从海量数据中不断学习、不断提炼并总结出规则，解决自动化运维对领域知识的依赖导致人力成本较高的问题。
智能运维建立在大数据基础之上，训练数据的好坏直接影响所构建的智能运维模型的实际效果。通过调研，申请人发现训练数据大多采用历史存储数据、线上采集数据或者测试数据，这些数据往往存在以下问题：
(1)训练数据包含监控指标众多，难以确定哪些指标有助于智能运维模型的构建。而决定智能运维模型性能的重要因素之一是特征的“代表性”，冗余指标的存在会影响智能运维模型实际运行的效果。
(2)训练数据包含大量的事件发生阶段，难以确定哪些阶段的数据有助于智能运维模型的构建。智能运维模型的构建需要一些特定场景下的数据，比如健康评估模型需要系统的健康趋势存在一定的变化并能在数据上体现，而在包含大量阶段的数据中难以判断哪些阶段的数据包含智能运维模型构建所需的场景。
因此，需要对海量训练数据进行处理，评估监控数据是否具有足够“代表性”的特征，是否包含所需的场景，进而评估监控数据是否有助于智能运维模型的构建，提取出适于智能运维模型的构建的监控数据，避免数据质量较差导致模型效果不佳。
发明内容
本发明提供一种面向IT运维的监控数据处理方法、系统、装置及存储介质，通过对海量IT智能运维的监控指标数据进行处理，得到高质量的能够用于系统健康评估和故障诊断的数据。
第一方面，本发明提供一种面向IT运维的监控数据处理方法，包括：
获取IT智能运维的监控指标数据；
接收场景选择指令，所述场景包括健康评估场景和故障诊断场景；
当所述场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；
当所述场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
更进一步地，所述基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据的步骤，包括：
采用多种特征选择方法对获取的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；
对所述不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据；
若所述一致性最高的特征空间数据能划分为系统的不同健康状态，则所述一致性最高的特征空间数据是能够表征系统健康状态的数据。
更进一步地，所述对所述不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据的步骤，包括：
将所述不同的特征空间数据均划分为N个大小为w的时间窗；
针对所述不同的特征空间数据，计算每个时间窗的特征分布与第一个时间窗的特征分布之间的最大均值差异值，得到N个最大均值差异值；
利用Mann-Kendall趋势检验法对最大均值差异值的变化趋势以及系统健康状态的变化趋势进行表示，其中统计量UFk、UBk表示最大均值差异值的变化趋势，统计量UFk’、UBk’表示系统健康状态的变化趋势；
分别计算统计量UFk与统计量UFk’之间的Pearson相关系数P1，以及统计量UBk与统计量UBk’之间的Pearson相关系数P2；
对不同的特征空间产生的一致性P＝(|P1|+|P2|)/2进行排序，得到一致性的最大值Pmax；
若一致性的最大值Pmax＞第一预设阈值P′，则保留所述一致性的最大值Pmax对应的特征空间数据。
更进一步地，所述若所述一致性最高的特征空间数据能划分为系统的不同健康状态，则所述一致性最高的特征空间数据是能够表征系统健康状态的数据的步骤，包括：
将所述一致性最高的特征空间数据划分成N个大小为w的时间窗，并将其中第一个时间窗设置为基准窗口；
计算下一个时间窗与基准窗口之间的最大均值差异值；
若计算出的最大均值差异值小于或等于第二预设阈值，则该时间窗与基准窗口属于同一健康状态阶段，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
若计算出的最大均值差异值大于所述第二预设阈值，则该时间窗与基准窗口不属于同一健康状态阶段，将该时间窗作为基准窗口，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
当遍历完所有时间窗时，统计基准窗口的数量，基准窗口的数量与所述一致性最高的特征空间数据能够划分的健康状态阶段数量相同；
若基准窗口的数量在预设阈值范围内，则所述一致性最高的特征空间数据能划分为系统的不同健康状态阶段，是能够表征系统健康状态的数据。
更进一步地，所述基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据，包括：
采用多种特征选择方法对输入的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；
对所述不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，若第一可区分性最高的特征空间数据所对应的可区分性高于第三预设阈值，则保留所述第一可区分性最高的特征空间数据；
对所述第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，若所述第一可区分性最高的特征空间数据的第二可区分性高于第四预设阈值，则该特征空间数据是能够用于系统故障诊断的数据。
更进一步地，所述对所述不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，若第一可区分性最高的特征空间数据所对应的可区分性高于第三预设阈值，则保留所述第一可区分性最高的特征空间数据的步骤，包括：
将所述不同的特征空间数据均划分成N个大小为w的时间窗，并选取部分正常样本作为基准样本；
针对不同的特征空间数据，计算每个时间窗与基准样本S’之间的最大均值差异值；
根据最大均值差异值的分布找到第一最佳分类边界，使故障样本的时间窗与基准样本之间的最大均值差异值大于所述第一最佳分类边界，同时使正常样本的时间窗与基准样本之间的最大均值差异值小于所述第一最佳分类边界；
采用F1分数对不同的特征空间数据在正常与故障间的第一可区分性进行定量表示；针对各特征空间数据分别得到一个F1分数；
若F1分数的最大值F1max＞第三预设阈值，则所述F1分数的最大值F1max对应的特征空间数据第一可区分性最高，保留所述第一可区分性最高的特征空间数据。
更进一步地，所述对所述第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，若所述第一可区分性最高的特征空间数据的第二可区分性高于第四预设阈值，则该特征空间数据是能够用于系统故障诊断的数据的步骤，包括：
将所述第一可区分性最高的特征空间数据划分成N个大小为w的时间窗，并选取每类故障样本的部分数据分别作为基准样本S1、S2、S3…Sm；
计算每个时间窗与每个基准样本之间的最大均值差异值，根据最大均值差异值的分布，找到第二最佳分类边界，使不同类故障样本的时间窗所对应的最大均值差异值大于所述第二最佳分类边界，同时使同类故障样本的时间窗对应的最大均值差异值小于所述第二最佳分类边界；
采用F1分数对第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，针对每类故障样本得到一个F1分数；
计算F1分数平均值F1avg＝(F11+F12+…+F1m)/m；
若F1分数平均值F1avg＞第四预设阈值F，则所述第一可区分性最高的特征空间数据是能够用于系统故障诊断的数据。
第二方面，本发明提供一种面向IT运维的监控数据处理系统，包括：
数据获取模块，用于获取IT智能运维的监控指标数据；
指令接收模块，用于接收场景选择指令，场景包括健康评估场景和故障诊断场景；
健康评估场景模块，用于当场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据。
故障诊断场景模块，用于当场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
第三方面，本发明还提供一种面向IT运维的监控数据处理装置，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的面向IT运维的监控数据处理方法。
第四方面，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的面向IT运维的监控数据处理方法。
本发明提供一种面向IT运维的监控数据处理方法，通过对IT智能运维的监控指标数据进行不同场景的处理，获得不同场景所需的训练数据，使得IT智能运维的监控指标数据对不同模型(健康评估模型和故障诊断模型)的适用性显著提高。所述方法中结合了最大均值差异与Mann-Kendall检验对数据进行趋势性及阶段性检验、可检测性与可诊断性检验，能够获得适用于训练IT智能运维系统的健康评估模型和故障诊断模型的数据。在智能运维模型构建之前，对监控指标数据(训练数据)进行处理，为构建更加准确有效的智能运维模型提供有效的高质量的训练数据，能有效加强后续模型效果，避免无效数据参与模型训练造成的人力及时间成本的损失，降低系统的运维成本，减少系统风险，提高系统的可靠性和用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一提供的面向IT运维的监控数据处理方法流程图；
图2是本发明实施例二提供的步骤S3流程图；
图3是本发明实施例三提供的步骤S32流程图；
图4是本发明实施例四提供的步骤S33流程图；
图5是本发明实施例五提供的步骤S4流程图；
图6是本发明实施例六提供的步骤S42流程图；
图7是本发明实施例七提供的步骤S43流程图；
图8是本发明实施例八提供的面向IT运维的监控数据处理系统框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
现有技术中的智能IT运维模型构建所采用的训练数据的大多是线上监控数据、历史存储数据或是使用该智能运维平台的用户所输入的数据，对于这些数据的预处理，往往仅能解决数据是否含有缺失值、是否包含过多噪声点等问题，而不能评估该数据是否具有足够“代表性”的特征、是否包含所需的场景，未能在数据输入模型之前预估数据对智能IT运维模型的适用性，提取出可用于建立智能IT运维模型的监控数据作为训练数据。如果模型最终训练效果不佳，很难判断问题是存在于模型还是数据，极有可能导致模型开发人员不断修改模型，花费大量的时间成本与系统资源，却由于数据本身存在问题而始终达不到所需建模效果。而如果验证数据本身也存在问题，智能IT运维模型在训练后结果表现良好，可能会导致系统上线后，才发现智能IT运维模型面对真实数据不能起到理想效果，增加系统风险，甚至影响用户体验。现有的数据质量评估主要是针对数据的一致性、完整性、完备性、合规性、关联性等基本属性，现有的数据挖掘平台所包含的预处理与特征选择功能也仅能解决数据是否含有缺失值、是否有噪声点、是否格式类型统一等问题，不能很好地评估IT运维的数据对智能IT运维模型的适用性，无法提取出能建立智能IT运维模型的具有代表性的有效监控数据。
实施例一
本实施例提供一种面向IT运维的监控数据处理方法，如图1所示，包括：
步骤S1、获取IT智能运维的监控指标数据；
具体地，IT智能运维的监控指标数据，包括CPU、IO、磁盘、网络等相关指标，但不限于此。
步骤S2、接收场景选择指令，场景包括健康评估场景和故障诊断场景。
由于IT智能运维模型的构建需要一些特定场景下的数据，比如健康评估模型需要系统的健康趋势存在一定的变化并能在数据上体现，再比如故障诊断模型需要能够较好地将正常与故障、故障与故障区分开的数据。而在包含大量阶段的数据中难以判断哪些阶段的数据包含智能运维模型构建所需的场景。
步骤S3、当场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据。
步骤S4、当场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
本实施例中，可以根据用户的选择，进行不同场景下的监控数据提取，当场景选择指令为选择健康评估场景时，基于IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；当场景选择指令为选择故障诊断场景，基于IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。通过不同场景下的数据提取，可以从IT运维系统海量的监控数据中提取出可用于训练IT运维系统健康评估模型的训练数据，或者可用于训练IT运维系统故障诊断模型的训练数据。
实施例二
本实施例提供一种面向IT运维的监控数据处理方法，在实施例一的基础上，如图2所示，其中的步骤S3进一步地包括：
步骤S31、采用多种特征选择方法对获取的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据。
具体地，可以采用基于Pearson相关系数的特征选择方法、基于KL散度的特征选择方法、基于Jaccard相似系数的特征选择方法等n种特征选择方法，对用户输入的IT智能运维的监控指标数据(包括CPU、IO、磁盘、网络等相关指标)进行筛选，获取n个不同的特征空间数据。
步骤S32、对不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据。
具体地，对不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，将不同特征空间数据所对应的一致性进行排序，若排名最高(一致性最高)的特征空间数据所对应的一致性等于或低于第一预设阈值，则说明该特征空间数据不适用于构建IT运维系统健康评估模型，需更换训练数据，输入新的IT智能运维的监控指标数据；若排名最高(一致性最高)的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据，执行步骤S33。
步骤S33、若一致性最高的特征空间数据能划分为系统的不同健康状态，则一致性最高的特征空间数据是能够表征系统健康状态的数据。
具体地，判定一致性最高的特征空间数据能否划分为系统的不同健康状态，即是否可划分为几种阶段，即IT运维系统的几种健康状态(如健康状态、亚健康状态、紧急状态、故障状态等)，若能划分为系统的不同健康状态，则该一致性最高的特征空间数据可表征系统健康状态；否则，说明该特征空间数据不适用于构建IT运维系统健康评估模型，需更换训练数据，输入新的IT智能运维的监控指标数据。
实施例三
本实施例提供一种面向IT运维的监控数据处理方法，在实施例二的基础上，如图3所示，其中的步骤S32进一步包括：
步骤S321、将获取的不同的特征空间数据均划分为N个大小为w的时间窗。
步骤S322、针对不同的特征空间数据，计算每个时间窗的特征分布与第一个时间窗的特征分布之间的最大均值差异值，得到N个最大均值差异值(mmd值)；
步骤S323、利用Mann-Kendall趋势检验法对最大均值差异值的变化趋势以及系统健康状态的变化趋势进行表示，其中统计量UFk、UBk表示最大均值差异值的变化趋势，统计量UFk’、UBk’表示系统健康状态的变化趋势；
步骤S324、分别计算统计量UFk与统计量UFk’之间的Pearson相关系数P1，以及统计量UBk与统计量UBk’之间的Pearson相关系数P2；
步骤S325、对不同的特征空间产生的一致性P＝(|P1|+|P2|)/2进行排序，得到一致性的最大值Pmax；
步骤S326、判断一致性的最大值Pmax是否大于第一预设阈值P′：
步骤S327、若一致性的最大值Pmax大于第一预设阈值P′，则保留一致性的最大值Pmax对应的特征空间数据；
步骤S328、若一致性的最大值Pmax小于或等于第一预设阈值P′，则该特征空间数据不适用于构建IT运维系统健康评估模型，需更换训练数据，输入新的IT智能运维的监控指标数据。
本实施例结合了最大均值差异与Mann-Kendall(曼-肯德尔)趋势检验法对获取的不同的特征空间数据进行趋势性评估，检验特征空间数据是否能用来体现系统健康状态的变化趋势，针对每个特征空间数据，利用Mann-Kendall趋势检验法中的统计量UFk、UBk标识来表示计算出的N个最大均值差异的变化趋势，统计量UFk’、UBk’来表示系统健康状态的变化趋势，分别计算统计量UFk与统计量UFk’之间的Pearson相关系数P1以及统计量UBk与统计量UBk’之间的Pearson相关系数P2，两个Pearson相关系数绝对值取平均，即得到了一致性P，该一致性P也就是特征空间数据的趋势与系统健康趋势的一致性的定量表示，n个不同的特征空间数据得到n个一致性P，其中的一致性的最大值Pmax与第一预设阈值P′进行对比，当大于第一预设阈值P′，说明Pmax对应的特征空间数据与系统健康状态的变化趋势的一致性达到了足够高的程度，能够反映系统健康状态的变化趋势，接下来需要对该特征空间数据做进一步地阶段性评估。
实施例四
本实施例提供一种面向IT运维的监控数据处理方法，在实施例二的基础上，如图4所示，其中的步骤S33进一步包括：
步骤S331、将一致性最高的特征空间数据划分成N个大小为w的时间窗，并将其中第一个时间窗设置为基准窗口S；
步骤S332、计算下一个时间窗与基准窗口S之间的最大均值差异值；
步骤S333、判断计算出的最大均值差异值是否小于或等于第二预设阈值MMD：
步骤S334、若计算出的最大均值差异值小于或等于第二预设阈值MMD，则该时间窗与基准窗口属于同一健康状态阶段，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
步骤S335、若计算出的最大均值差异值大于第二预设阈值MMD，则该时间窗与基准窗口不属于同一健康状态阶段，将该时间窗作为基准窗口，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
步骤S336、当遍历完所有时间窗时，统计基准窗口的数量num，基准窗口的数量num与一致性最高的特征空间数据能够划分的健康状态阶段数量num相同；
步骤S337、判断基准窗口的数量num是否在预设阈值范围内：
步骤S338、若基准窗口的数量num在预设阈值范围内，一致性最高的特征空间数据能划分为系统的不同健康状态阶段，是能够表征系统健康状态的数据；
步骤S339、若基准窗口的数量num不在预设阈值范围内，一致性最高的特征空间数据不能够表征系统健康状态。
本实施例中，将一致性最高的特征空间数据划分成N个大小为w的时间窗，并将其中第一个时间窗设置为基准窗口S，利用最大均值差异对一致性最高的特征空间数据做进一步地阶段性评估，即通过判断最大均值差异值与第二预设阈值MMD的大小关系，确定下一时间窗是否和基准窗口属于同一健康状态阶段，最大均值差异值小于或等于第二预设阈值MMD时，说明两个窗口的差异性不够大，因此属于同一健康状态阶段，最大均值差异值大于第二预设阈值MMD时，说明两个窗口的差异性已经足够大，因此视为不属于同一健康状态阶段，应进行下一健康状态阶段的划分，即：将该时间窗作为新的基准窗口S，继续计算下一时间窗与基准窗口S的最大均值差异值，重复上述判断操作，直至遍历所有时间窗，统计设置过的基准窗口的数量，即一致性最高的特征空间数据可划分的健康状态阶段数量num，基准窗口的数量num在预设阈值范围(可根据系统实际的健康状态阶段设置和调整)内，则当前一致性最高的特征空间数据所能划分的健康状态阶段数量与实际的健康状态阶段相符，因此能够表征系统健康状态。基准窗口的数量num过多或过少，均说明当前一致性最高的特征空间数据无法真实反映系统健康状态。
实施例五
本实施例提供一种面向IT运维的监控数据处理方法，在实施例一的基础上，如图5所示，其中的步骤S4进一步包括：
步骤S41、采用多种特征选择方法对输入的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；
具体地，可以递归特征消除法、基于惩罚项的特征选择法、基于树模型的特征选择法等多种特征选择方法，对用户输入的输入的IT智能运维的监控指标数据(包括CPU、IO、磁盘、网络等相关指标)进行筛选，获取不同的特征空间数据。
步骤S42、对不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，若第一可区分性最高的特征空间数据所对应的第一可区分性高于第三预设阈值，则保留该第一可区分性最高的特征空间数据。
具体地，第一可区分性是指特征空间数据区分系统正常与故障的能力。
步骤S43、对该第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，若该第一可区分性最高的特征空间数据的第二可区分性高于第四预设阈值，则该特征空间数据是能够用于系统故障诊断的数据。
具体地，第二可区分性是指特征空间数据区分系统不同故障的能力。
本实施例中，通过n种特征选择方法可以获取n个不同的特征空间数据，对不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，对第一可区分性进行排序，第一可区分性最高的特征空间数据所对应的第一可区分性高于第三预设阈值时，说明当前特征空间数据能够区分系统正常与故障，且区分能力高于第三预设阈值，基于此，再进一步评价该特征空间数据区分系统不同故障的能力，即第二可区分性，若第二可区分性高于第四预设阈值，说明该特征空间数据能区分系统不同故障且区分能力足够强，因此，该特征空间数据能够用于系统故障诊断，可作为训练数据用于训练系统故障诊断模型。
实施例六
本实施例提供一种面向IT运维的监控数据处理方法，在实施例五的基础上，如图6所示，其中的步骤S42，进一步包括：
步骤S421、将不同的特征空间数据均划分成N个大小为w的时间窗，并选取部分正常样本作为基准样本S’；
步骤S422、针对不同的特征空间数据，计算每个时间窗与基准样本S’之间的最大均值差异值；
步骤S423、根据最大均值差异值的分布找到第一最佳分类边界B，使故障样本的时间窗与基准样本之间的最大均值差异值大于第一最佳分类边界B，同时使正常样本的时间窗与基准样本之间的最大均值差异值小于第一最佳分类边界B；
步骤S424、采用F1分数对不同的特征空间数据在正常与故障间的第一可区分性进行定量表示；针对各特征空间数据分别得到一个F1分数；
步骤S425、若F1分数的最大值F1max＞第三预设阈值，则F1分数的最大值F1max对应的特征空间数据第一可区分性最高，保留第一可区分性最高的特征空间数据。
本实施例中，通过计算每个时间窗与基准样本S’之间的最大均值差异值，来表示特征空间数据所划分的每个时间窗与正常样本之间的差异性，根据最大均值差异值的分布找到一最佳分类边界B，之后每个特征空间数据产生一个F1分数，用来定量表示特征空间数据在正常与故障间的第一可区分性，评估故障识别效果。对各个特征空间数据产生的F1分数进行排序，得到F1分数的最大值F1max，F1分数的最大值F1max对应的特征空间数据区分系统正常与故障的能力最强，若F1max＞第三预设阈值，则说明该特征空间数据区分系统正常与故障的能力达到预设的标准，此时，保留第一可区分性最高的特征空间数据，进行接下来的第一可区分性评价，即进一步评估该特征空间数据区分不同种类故障的能力。F1max小于或等于第三预设阈值，则说明该特征空间数据不包含能区分系统正常与故障的重要特征数据，不适用于构建IT运维系统故障诊断模型，需更换训练数据，输入新的IT智能运维的监控指标数据。
实施例七
本实施例提供一种面向IT运维的监控数据处理方法，在实施例五的基础上，如图7所示，其中的步骤S43，进一步包括：
步骤S431、将第一可区分性最高的特征空间数据划分成N个大小为w的时间窗，并选取每类故障样本的部分数据分别作为基准样本S1、S2、S3…Sm；其中，m为故障类别数；
步骤S432、计算每个时间窗与每个基准样本之间的最大均值差异值，根据最大均值差异值的分布，确定第二最佳分类边界B’，使不同类故障样本的时间窗所对应的最大均值差异值大于第二最佳分类边界B’，同时使同类故障样本的时间窗对应的最大均值差异值小于第二最佳分类边界B’；
步骤S433、采用F1分数对第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，针对每类故障样本得到一个F1分数；
步骤S434、计算F1分数平均值F1avg＝(F11+F12+…+F1m)/m；
步骤S435、判断F1分数平均值F1avg是否大于第四预设阈值：
步骤S436、若F1分数平均值F1avg大于第四预设阈值，则第一可区分性最高的特征空间数据是能够用于系统故障诊断的数据；
步骤S437、若F1分数平均值F1avg小于或等于第四预设阈值，则第一可区分性最高的特征空间数据不能用于系统故障诊断。
本实施例中，将保留下来的第一可区分性最高的特征空间数据作为输入数据，将输入数据划分成N个大小为w的时间窗，选取每类故障样本的部分数据分别作为基准样本S1、S2、S3…Sm，计算各时间窗与每个基准样本之间的最大均值差异值，根据计算出的最大均值差异值的分布，找到第二最佳分类边界B’，使不同类故障样本的时间窗所对应的最大均值差异值大于第二最佳分类边界B’，同时使同类故障样本的时间窗对应的最大均值差异值小于第二最佳分类边界B’，通对每类故障样本计算一个F1分数后求平均值，若F1分数平均值F1avg大于第四预设阈值，则说明当前输入数据(即保留下来的第一可区分性最高的特征空间数据)在不同故障之间的区分能力达到预设标准，能够用于系统故障诊断，可以作为训练数据来训练IT运维系统故障诊断模型，若F1分数平均值F1avg小于或等于第三预设阈值，则说明该特征空间数据不包含能区分不同故障的重要特征数据，不适用于构建IT运维系统故障诊断模型，需更换训练数据，输入新的IT智能运维的监控指标数据。
实施例八
与实施例一对应地，本实施例提供一种面向IT运维的监控数据处理系统，如图8所示，包括：
数据获取模块1，用于获取IT智能运维的监控指标数据；
指令接收模块2，用于接收场景选择指令，场景包括健康评估场景和故障诊断场景；
健康评估场景模块3，用于当场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据。
故障诊断场景模块4，用于当场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
可以理解的是，数据获取模块1可用于执行上述步骤S1，指令接收模块2可用于执行上述步骤S2，健康评估场景模块3可用于执行上述步骤S3，故障诊断场景模块4可用于执行上述步骤S4。
显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或者步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例九
本实施例还提供一种面向IT运维的监控数据处理装置，包括存储器和处理器，该存储器上存储有计算机程序，该计算机程序被该处理器执行时实现上述实施例中的面向IT运维的监控数据处理方法。
本实施例中的处理器可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的面向IT运维的监控数据处理方法。在处理器上运行的计算机程序被执行时所实现的面向IT运维的监控数据处理方法可参照本发明实施例提供的方法的具体实施例，此处不再赘述。
实施例十
本发明还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被一个或多个处理器执行时，实现上述实施例中的面向IT运维的监控数据处理方法。
本实施例中的计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种面向IT运维的监控数据处理方法，其特征在于，包括：
获取IT智能运维的监控指标数据；
接收场景选择指令，所述场景包括健康评估场景和故障诊断场景；
当所述场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；
当所述场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
2.根据权利要求1所述的面向IT运维的监控数据处理方法，其特征在于，所述基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据的步骤，包括：
采用多种特征选择方法对获取的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；
对所述不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据；
若所述一致性最高的特征空间数据能划分为系统的不同健康状态，则所述一致性最高的特征空间数据是能够表征系统健康状态的数据。
3.根据权利要求2所述的面向IT运维的监控数据处理方法，其特征在于，所述对所述不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据的步骤，包括：
将所述不同的特征空间数据均划分为N个大小为w的时间窗；
针对所述不同的特征空间数据，计算每个时间窗的特征分布与第一个时间窗的特征分布之间的最大均值差异值，得到N个最大均值差异值；
利用Mann-Kendall趋势检验法对最大均值差异值的变化趋势以及系统健康状态的变化趋势进行表示，其中统计量UFk、UBk表示最大均值差异值的变化趋势，统计量UFk’、UBk’表示系统健康状态的变化趋势；
分别计算统计量UFk与统计量UFk’之间的Pearson相关系数P1，以及统计量UBk与统计量UBk’之间的Pearson相关系数P2；
对不同的特征空间产生的一致性P＝(|P1|+|P2|)/2进行排序，得到一致性的最大值Pmax；
若一致性的最大值Pmax＞第一预设阈值P′，则保留所述一致性的最大值Pmax对应的特征空间数据。
4.根据权利要求2所述的面向IT运维的监控数据处理方法，其特征在于，所述若所述一致性最高的特征空间数据能划分为系统的不同健康状态，则所述一致性最高的特征空间数据是能够表征系统健康状态的数据的步骤，包括：
将所述一致性最高的特征空间数据划分成N个大小为w的时间窗，并将其中第一个时间窗设置为基准窗口；
计算下一个时间窗与基准窗口之间的最大均值差异值；
若计算出的最大均值差异值小于或等于第二预设阈值，则该时间窗与基准窗口属于同一健康状态阶段，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
若计算出的最大均值差异值大于所述第二预设阈值，则该时间窗与基准窗口不属于同一健康状态阶段，将该时间窗作为基准窗口，继续计算下一个时间窗与基准窗口之间的最大均值差异值；
当遍历完所有时间窗时，统计基准窗口的数量，基准窗口的数量与所述一致性最高的特征空间数据能够划分的健康状态阶段数量相同；
若基准窗口的数量在预设阈值范围内，则所述一致性最高的特征空间数据能划分为系统的不同健康状态阶段，是能够表征系统健康状态的数据。
5.根据权利要求1所述的面向IT运维的监控数据处理方法，其特征在于，所述基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据，包括：
采用多种特征选择方法对输入的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；
对所述不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，若第一可区分性最高的特征空间数据所对应的可区分性高于第三预设阈值，则保留所述第一可区分性最高的特征空间数据；
对所述第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，若所述第一可区分性最高的特征空间数据的第二可区分性高于第四预设阈值，则该特征空间数据是能够用于系统故障诊断的数据。
6.根据权利要求5所述的面向IT运维的监控数据处理方法，其特征在于，所述对所述不同的特征空间数据在正常与故障间的第一可区分性进行定量表示，若第一可区分性最高的特征空间数据所对应的可区分性高于第三预设阈值，则保留所述第一可区分性最高的特征空间数据的步骤，包括：
将所述不同的特征空间数据均划分成N个大小为w的时间窗，并选取部分正常样本作为基准样本；
针对不同的特征空间数据，计算每个时间窗与基准样本S’之间的最大均值差异值；
根据最大均值差异值的分布找到第一最佳分类边界，使故障样本的时间窗与基准样本之间的最大均值差异值大于所述第一最佳分类边界，同时使正常样本的时间窗与基准样本之间的最大均值差异值小于所述第一最佳分类边界；
采用F1分数对不同的特征空间数据在正常与故障间的第一可区分性进行定量表示；针对各特征空间数据分别得到一个F1分数；
若F1分数的最大值F1max＞第三预设阈值，则所述F1分数的最大值F1max对应的特征空间数据第一可区分性最高，保留所述第一可区分性最高的特征空间数据。
7.根据权利要求5所述的面向IT运维的监控数据处理方法，其特征在于，所述对所述第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，若所述第一可区分性最高的特征空间数据的第二可区分性高于第四预设阈值，则该特征空间数据是能够用于系统故障诊断的数据的步骤，包括：
将所述第一可区分性最高的特征空间数据划分成N个大小为w的时间窗，并选取每类故障样本的部分数据分别作为基准样本S1、S2、S3…Sm；
计算每个时间窗与每个基准样本之间的最大均值差异值，根据最大均值差异值的分布，找到第二最佳分类边界，使不同类故障样本的时间窗所对应的最大均值差异值大于所述第二最佳分类边界，同时使同类故障样本的时间窗对应的最大均值差异值小于所述第二最佳分类边界；
采用F1分数对第一可区分性最高的特征空间数据在不同故障之间的第二可区分性进行定量表示，针对每类故障样本得到一个F1分数；
计算F1分数平均值F1avg＝(F11+F12+…+F1m)/m；
若F1分数平均值F1avg＞第四预设阈值F，则所述第一可区分性最高的特征空间数据是能够用于系统故障诊断的数据。
8.一种面向IT运维的监控数据处理系统，其特征在于，包括：
数据获取模块，用于获取IT智能运维的监控指标数据；
指令接收模块，用于接收场景选择指令，场景包括健康评估场景和故障诊断场景；
健康评估场景模块，用于当场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据。
故障诊断场景模块，用于当场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。
9.一种面向IT运维的监控数据处理装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的面向IT运维的监控数据处理方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至7中任一项所述的面向IT运维的监控数据处理方法。
CN201911288842.0A 2019-12-12 2019-12-12 面向it运维的监控数据处理方法、系统、装置及存储介质 Active CN111176872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911288842.0A CN111176872B (zh) 2019-12-12 2019-12-12 面向it运维的监控数据处理方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288842.0A CN111176872B (zh) 2019-12-12 2019-12-12 面向it运维的监控数据处理方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111176872A true CN111176872A (zh) 2020-05-19
CN111176872B CN111176872B (zh) 2021-05-07

Family

ID=70656391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288842.0A Active CN111176872B (zh) 2019-12-12 2019-12-12 面向it运维的监控数据处理方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111176872B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101596A (zh) * 2020-09-27 2020-12-18 广东韶钢松山股份有限公司 设备运维方法、装置、电子设备和计算机可读存储介质
CN112433926A (zh) * 2020-11-27 2021-03-02 中国建设银行股份有限公司 基于it产品的故障分析方法、系统、设备和存储介质
CN113872794A (zh) * 2021-08-17 2021-12-31 北京邮电大学 基于云端资源支撑的it运维平台系统及其运维方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013130901A (ja) * 2011-12-20 2013-07-04 Hitachi Ltd 監視サーバおよびそれを用いたネットワーク機器復旧システム
CN106940678A (zh) * 2017-02-28 2017-07-11 深圳市华傲数据技术有限公司 一种系统实时健康度评估分析方法及装置
US20170371757A1 (en) * 2016-06-28 2017-12-28 Beijing Baidu Netcom Science And Technology, Ltd. System monitoring method and apparatus
CN107766197A (zh) * 2016-08-21 2018-03-06 深圳市脉山龙信息技术股份有限公司 一种通过实时分析运维数据监测及优化拓扑的方法
CN109800127A (zh) * 2019-01-03 2019-05-24 众安信息技术服务有限公司 一种基于机器学习的系统故障诊断智能化运维方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013130901A (ja) * 2011-12-20 2013-07-04 Hitachi Ltd 監視サーバおよびそれを用いたネットワーク機器復旧システム
US20170371757A1 (en) * 2016-06-28 2017-12-28 Beijing Baidu Netcom Science And Technology, Ltd. System monitoring method and apparatus
CN107766197A (zh) * 2016-08-21 2018-03-06 深圳市脉山龙信息技术股份有限公司 一种通过实时分析运维数据监测及优化拓扑的方法
CN106940678A (zh) * 2017-02-28 2017-07-11 深圳市华傲数据技术有限公司 一种系统实时健康度评估分析方法及装置
CN109800127A (zh) * 2019-01-03 2019-05-24 众安信息技术服务有限公司 一种基于机器学习的系统故障诊断智能化运维方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付哲: "IT系统一体化运维监控及服务预警平台的设计与实现", 《电子制作》 *
吴振宇等: "面向智能诊断的语义物联网知识标注与推理框架", 《北京邮电大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101596A (zh) * 2020-09-27 2020-12-18 广东韶钢松山股份有限公司 设备运维方法、装置、电子设备和计算机可读存储介质
CN112433926A (zh) * 2020-11-27 2021-03-02 中国建设银行股份有限公司 基于it产品的故障分析方法、系统、设备和存储介质
CN112433926B (zh) * 2020-11-27 2024-03-01 中国建设银行股份有限公司 基于it产品的故障分析方法、系统、设备和存储介质
CN113872794A (zh) * 2021-08-17 2021-12-31 北京邮电大学 基于云端资源支撑的it运维平台系统及其运维方法

Also Published As

Publication number Publication date
CN111176872B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
WO2019214309A1 (zh) 模型测试的方法及装置
CN111176872B (zh) 面向it运维的监控数据处理方法、系统、装置及存储介质
CN113282461B (zh) 传输网的告警识别方法和装置
CN111459700A (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN113010389A (zh) 一种训练方法、故障预测方法、相关装置及设备
CN112149909A (zh) 船舶油耗预测方法、装置、计算机设备和存储介质
CN111045902A (zh) 服务器的压力测试方法及装置
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN112379325A (zh) 一种用于智能电表的故障诊断方法及系统
CN115456107A (zh) 一种时间序列异常检测系统及方法
CN117115715A (zh) 一种基于流重构和帧预测结合的视频异常检测方法
CN113722134A (zh) 一种集群故障处理方法、装置、设备及可读存储介质
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN114676593A (zh) 一种纺织设备的异常检测方法及相关装置
CN111367781B (zh) 一种实例处理方法及其装置
CN112187555B (zh) 一种基于机器学习的实时kpi数据异常检测方法及装置
CN109558258B (zh) 一种分布式系统根源故障定位的方法及装置
CN109474445B (zh) 一种分布式系统根源故障定位方法及装置
CN110569277A (zh) 一种配置数据信息自动识别与归类方法及系统
CN117439899B (zh) 一种基于大数据的通信机房巡检方法及系统
CN118091406B (zh) 电机检测修复方法、装置、电子设备及存储介质
CN114595997A (zh) 一种数据处理方法、装置及电子设备
CN116701133A (zh) 一种日志文件的识别方法、装置和电子设备
CN112749089A (zh) 概率相关功能模块的测试方法与系统
CN118626334A (zh) 应用系统检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant