CN112540905A - 一种微服务架构下系统风险评估方法、装置、设备及介质 - Google Patents

一种微服务架构下系统风险评估方法、装置、设备及介质 Download PDF

Info

Publication number
CN112540905A
CN112540905A CN202011505896.0A CN202011505896A CN112540905A CN 112540905 A CN112540905 A CN 112540905A CN 202011505896 A CN202011505896 A CN 202011505896A CN 112540905 A CN112540905 A CN 112540905A
Authority
CN
China
Prior art keywords
data
target
change
early warning
warning information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011505896.0A
Other languages
English (en)
Inventor
李东
黄伟
魏亮
周国庆
刘桂海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Telai Big Data Co Ltd
Qingdao Teld New Energy Technology Co Ltd
Original Assignee
Qingdao Telai Big Data Co Ltd
Qingdao Teld New Energy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Telai Big Data Co Ltd, Qingdao Teld New Energy Technology Co Ltd filed Critical Qingdao Telai Big Data Co Ltd
Priority to CN202011505896.0A priority Critical patent/CN112540905A/zh
Publication of CN112540905A publication Critical patent/CN112540905A/zh
Priority to CN202111552044.1A priority patent/CN114185760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种微服务架构下系统风险评估方法、装置、设备及介质。该方法包括：获取目标系统在目标时间内的系统变更数据；系统变更数据包括系统预警信息以及系统变更对应的装置名称；基于系统变更数据，利用自然语言处理技术确定出与目标系统变更对应的预警信息；获取目标系统在目标时间内的时间序列数据，并基于时间序列数据，利用机器学习算法得到目标系统对应的监控指标的变化趋势；基于预警信息和变化趋势对目标系统进行系统风险评估。本申请，通过基于自然语言处理得到的系统变更的预警信息，和基于机器学习得到的监控指标趋势异常，对系统变更的风险进行评估，提高了微服务架构下对系统变更风险评估的准确性。

Description

一种微服务架构下系统风险评估方法、装置、设备及介质
技术领域
本发明涉及微服务系统领域，特别涉及一种微服务架构下系统风险评估方法、装置、设备及介质。
背景技术
当前，在业务模型不完善，超大规模流量的冲击情况下，许多企业纷纷抛弃了传统的单体架构，采用微服务架构，微服务架构模式具备独立开发、独立部署、可扩展性、可重用性的优点。但同时微服务系统的开发、迭代、运维的复杂性较高，服务数量变多导致其中一个服务出现故障的概率增大，并且一个服务故障可能导致整个系统挂掉，定位故障点变得非常困难，同时由于服务数量非常多，部署、管理的工作量很大，极易出现因疏忽导致的事故。通常的互联网产品事故，除了一些不可抗拒的因素，80％的事故产生的原因是由于发布程序的BUG、或者基础资源的变更造成的。所以在复杂的微服务系统下频繁的产品迭代、发布上线等过程中，保障系统原有的稳定性和核心业务十分重要。因此，如何快速从复杂的系统中分析出那些异常是由系统变更引起的，并对系统变更进行风险评估，以便及时通知管理员关注并处理，是保障微服务系统稳定性的前提。
现有技术中，通过灰度分布方式维持系统稳定，按照流量或具体的数据内容进行灰度发布，出现问题后不会影响全网用户，通过控制服务路由的逻辑，控制流量的走向，从而降低发布故障产生的影响，但并不能完全覆盖生产环境下所有用户或流量，降低了风险排查的能力。现有技术中，还通过诸葛io的版本分析功能，通过分析改版后的新增用户、活跃用户等数据，对比不同版本的历史数据，衡量此次发版后的整体效果。但其依靠发布后一段时间内的指标趋势，对发布后的程序进行评估，无法及时的发现线上问题，降低了系统风险排查的能力。
发明内容
有鉴于此，本发明的目的在于提供一种微服务架构下系统风险评估方法、装置、设备及介质，能够提高微服务架构下系统风险评估的准确性。其具体方案如下：
第一方面，本申请公开了一种微服务架构下系统风险评估方法，包括：
获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息以及系统变更对应的装置名称；
基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；
获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；
基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
可选的，所述基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息，包括：
对所述系统预警信息进行语料预处理，并从处理后的系统预警信息中提取出第一组关键词；
对所述装置名称进行语料预处理，并从处理后的变更装置名称中提取出第二组关键词；
计算所述第一组关键词与所述第二组关键词中关键词的相似度，基于所述相似度确定出与所述目标系统变更对应的预警信息。
可选的，所述目标时间包括所述目标系统的系统变更时间，和变更后预设时长内的时间。
可选的，所述基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势，包括：
根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据；所述目标类型数据包括易变型数据、周期型数据和稳定型数据；
利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，以得到所述目标系统对应的监控指标的变化趋势。
可选的，所述利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，包括：
基于Turkey检测对所述易变型数据进行异常检测，得到易变型监控指标的变化趋势；
基于同环比算法对所述周期型数据进行异常检测，得到周期型监控指标的变化趋势；
基于时间序列ARIMA算法对所述稳定型数据进行异常检测，得到稳定型监控指标的变化趋势。
可选的，所述根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据，包括：
基于窗口数据相似性对所述时间序列数据进行周期性检测，并根据第一预设阈值进行分类得到所述易变型数据和非易变型数据；
基于STL算法对所述非易变型数据进行稳定性检测，并根据第二预设阈值进行分类得到所述周期性数据和所述稳定型数据。
可选的，所述基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估，包括：
基于所述预警信息、所述变化趋势和所述监控指标的指标等级对所述目标系统进行系统风险评估，得到所述目标系统的风险等级；
基于所述风险等级生成相应的评估报告；
其中，所述指标等级包括核心业务级指标、技术级指标和系统资源级指标。
第二方面，本申请公开了一种微服务架构下系统风险评估装置，包括：
数据获取模块，用于获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息和变更装置名称；
预警信息确定模块，用于基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；
变化趋势确定模块，用于获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；
风险评估模块，用于基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的微服务架构下系统风险评估方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的微服务架构下系统风险评估方法。
本申请中，通过获取目标系统在目标时间内的系统变更数据，所述系统变更数据包括系统预警信息以及系统变更对应的装置名称；然后基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；并通过获取所述目标系统在所述目标时间内的时间序列数据，然后基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；最后基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。可见，利用自然语言处理技术通过系统变更在时间范围内的系统预警信息，以及系统变更在空间范围内影响的装置的名称确定出与系统变更相对应的预警信息，再结合利用机器学习算法通过时间序列数据确定的系统对应的监控指标的变化趋势，对系统当前的风险进行评估，能够迅速准确的识别软件补丁发布、配置变更、基础资源变更等带来的风险，提高了微服务架构下对系统变更风险评估的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种微服务架构下系统风险评估方法流程图；
图2为本申请提供的一种具体的微服务架构下系统风险评估方法流程图；
图3为本申请提供的一种具体的微服务架构下系统风险评估方法流程图；
图4为本申请提供的一种具体的微服务架构下系统风险评估方法流程图；
图5为本申请提供的一种时间序列数据分类流程图；
图6为本申请提供的一种微服务架构下系统风险评估装置结构示意图；
图7为本申请提供的一种电子设备结构图。
具体实施方式
现有技术中，通过灰度分布方式维持系统稳定，但并不能完全覆盖生产环境下所有用户或流量，降低了风险排查的能力。还通过诸葛io的版本分析功能，通过分析改版后的新增用户、活跃用户等数据，对比不同版本的历史数据，衡量此次发版后的整体效果；但其无法及时的发现线上问题，降低了系统风险排查的能力。为克服上述技术问题，本申请提供了一种基于微服务架构下系统风险评估方法，能够提高微服务架构下对系统变更风险评估的准确性。
本申请实施例公开了一种微服务架构下系统风险评估方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息以及系统变更对应的装置名称。
本实施例中，首先获取目标系统在目标时间内的系统变更数据，上述系统变更数据包括系统预警信息，和与系统变更对应的装置名称，即系统变更影响到的装置的名称；上述装置名称包括但不限于数据中心、业务单元、功能模块、服务组件、节点和主机。其中，上述目标时间包括上目标系统的系统变更时间，和变更后预设时长内的时间；可以理解的是，上述目标时间包括目标系统从变更开始到变更结束的一段时间，以及目标系统在变更结束后时长为预设时长的一段时间，由于系统变更的影响不会在系统变更完成后立马停止，通过获取变更后的一段时间内的系统变更数据，可以提高变更数据的完整性。其中，上述系统变更可以包括但不限于软件发布、配置变更、基础设置调整、数据库发布订阅调整、中间件运维调整，具体的，可以包括主机扩容、机器重启、网络调整。
步骤S12：基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息。
本实施例中，在得到上述系统变更数据后，利用自然语言处理技术从上述系统变更数据中确定出与目标系统的变更对应的预警信息。
可以理解的是，微服务架构一般都具有较完整的监控预警体系，能够尽可能的发现故障并发出系统预警信息，但是由于微服务架构中组件繁多，预警信息时常发生，当系统变更引起有异常或事故时，系统预警信息爆炸式增长，很难从中寻找出真正于系统变更相关联的预警信息。因此，通过结合系统预警信息与系统变更对应的装置名称，并利用语料预处理和特征提取可以从系统变更数据中确定出与目标系统的变更相关联的预警信息。
步骤S13：获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势。
本实施例中，在通过系统变更数据确定与目标系统变更对应的预警信息的同时，获取目标系统在所述目标时间内的时间序列数据，然后基于所述时间序列数据利用机器学习算法得到上述目标系统对应的监控指标的变化趋势。可以理解的是，微服务架构中组件(即服务)繁多，各个组件需要监控的指标不同，但在组件发生异常时，其监控的指标的趋势会发生异常性的突变，整体性的抬升或者下降，因此可以通过对监控指标进行趋势检测判断出组件或者服务有否有异常发生。具体的，可以通过不同的算法对不同类型的监控指标进行检测，以得到相应的变化趋势。
步骤S14：基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
本实施例中，在得到上述目标系统变更对应的预警信息，和目标系统的监控指标的变化趋势后，根据上述预警信息和变化趋势对上述目标系统进行系统风险评估，确定出目标系统存在的风险和风险等级。可以理解的是，例如图2所示，本实施例中，在系统变更后通过监控相关数据确定与变更关联的预警信息，以及目标系统的监控指标趋势异常检测，最终对目标系统进行系统风险的综合评估，通过预警信息可以了解系统变更相关的系统问题，通过监控指标的变化趋势可以判断组件或者服务有否有异常发生，从而可以通过全面分析准确的得到系统风险。
由上可见，本实施例中利用自然语言处理技术通过系统变更在时间范围内的系统预警信息，以及系统变更在空间范围内影响的装置的名称确定出与系统变更相对应的预警信息，再结合利用机器学习算法通过时间序列数据确定的系统对应的监控指标的变化趋势，对系统当前的风险进行评估，能够迅速准确的识别软件补丁发布、配置变更、基础资源变更等带来的风险，提高了微服务架构下对系统变更风险评估的准确性。
本申请实施例公开了一种具体的微服务架构下系统风险评估方法，参见图3所示，该方法可以包括以下步骤：
步骤S21：获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息以及系统变更对应的装置名称。
步骤S22：对所述系统预警信息进行语料预处理，并从处理后的系统预警信息中提取出第一组关键词；对所述装置名称进行语料预处理，并从处理后的变更装置名称中提取出第二组关键词。
本实施例中，在得到上述系统预警信息以及系统变更对应的装置名称后，分队上述系统预警信息以及和装置名称进行语料预处理，然后从处理后的数据中可以根据具体业务逻辑提取出相应的关键词，得到相应的第一组关键词和第二组关键词。其中，上述语料预处理包括但不限于分词、词性标注、命名实体识别和去除停用词；具体的，首先通过分词工具，将系统预警信息文本，分为以字词为单位的数据结构，然后采用词性标注工具，对上述分词的结果进行词性标注，标注为动词、名词或形容词等；然后采用命名实体识别工具对词性标注后的词进行专名识别，识别出专有名词，例如：数据中心、业务单元、主机、节点，最后根据中文停用词表，剔除文本中的停用词。其中，上述预料预处理的处理工具，包括但不限于jieba、Hanlp、NLTK和StandfordCoreNLP。上述中文停用词表包括但不限于哈工大停用词表、百度停用词表、四川大学机器智能实验室停用词库。
步骤S23：计算所述第一组关键词与所述第二组关键词中关键词的相似度，基于所述相似度确定出与所述目标系统变更对应的预警信息。
本实施例中，在得到上述第一组关键词和第二组关键词后，计算第一第一组关键词和第二组关键词中关键词的相似度，即计算基于预警信息得到的关键词，与基于系统变更对应的装置名称得到的关键词的相似度，然后筛选出相似度大于预设阈值的关键词作为目标系统变更对应的预警信息。上述相似度的计算算法可以包括但不限于欧式距离、麦哈顿距离、余弦相似度、皮尔逊相识度、K-means和DBSACN。
步骤S24：获取所述目标系统在所述目标时间内的时间序列数据，根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据。
本实施例中，获取目标系统在上述目标时间内的时间序列数据，然后根据预设的分类标准对上述时间序列数据进行分类，得到相应的目标类型数据；上述目标类型数据可以包括易变型数据、周期型数据和稳定型数据，即根据数据特性对时间序列数据进行分类，得到相应的易变型数据、周期型数据和稳定型数据。可以理解的是，监控指标种类繁多、关系复杂，但指标本身有周期性、规律突刺、整体抬升或下降、低峰期等特点，指标的影响因素有节假日、临时活动、天气、疫情等因素。而不同类型的指标由不同的算法进行检测可以得到更好的检测结果，因此可以将时间序列数据根据指标的特性进行自动分类。
步骤S25：利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，以得到所述目标系统对应的监控指标的变化趋势。
本实施例中，在得到上述目标类型数据后，利用与目标类型数据对应的预设检测算法，对目标类型数据进行异常检测，得到目标类型数据对应的监控指标的变化趋势，以得到目标系统对应的监控指标的变化趋势。可以理解的是，对于不同类型的数据采用不同的检测算法，可以提高检测结果的准确性。
步骤S26：基于所述预警信息、所述变化趋势和所述监控指标的指标等级对所述目标系统进行系统风险评估，得到所述目标系统的风险等级。
本实施例中，在得到上述预警信息和变化趋势后，根据预警信息、变化趋势和上述监控指标的指标等级对目标系统进行系统风险评估，得到目标系统的风险等级，其中，上述指标等级可以包括核心业务级指标、技术级指标和系统资源级指标。
可以理解的是，不同的监控指标反应的系统状态对系统运行的重要性不同，可以把监控指标在影响程度上为三级，即核心业务级指标、技术级指标和系统资源级指标，且影响程度依次降低。其中，核心业务级指标可以为实时的业务整体的健康状况，从核心业务级指标可以直观看到业务的受损程度、市场和影响面，当系统变更后核心业务级指标出现异常时，尤其是受损时，能够反映改系统变更风险极高，已经影响到了核心业务的稳定性。其中，技术级指标可以为实时的组件或服务的健康状况，技术级指标可以反映其上下游的调用量(TPS)、时延、成功率和线程数等，当系统变更后若出现技术指标的趋势异常时，例如时延增加、成功率降低、TPS突降、线程数突增或突降等，通过技术级指标可以判断出该组件或服务因系统变更受到了影响。系统资源级指标可以为实时的中间件、主机或系统层面的健康状况，例如，CPU使用率、内存使用率、网络流量等，系统故障发生时系统资源级指标通常会先后发生异常。
根据预警信息、监控指标的变化趋势和监控指标的指标等级对目标系统进行系统风险评估，得到目标系统的风险等级，上述风险等级可以包括无风险、低风险、中风险和高风险。并根据监控指标的指标等级对发生变化趋势的监控指标进行加权计算，最终确定出风险等级；例如，根据结果可以将无检测到系统相关的预警信息和无监测到变化趋势异常的情况判定为无风险；将检测到系统相关的预警信息和监测到变化趋势异常的情况判定为中风险；将监测到核心业务级指标存在变化趋势异常的情况判定为高风险。
步骤S27：基于所述风险等级生成相应的评估报告。
本实施例中，根据确定的风险等级生成相应的评估报告。例如，无风险对应的评估报告可以为变更成功，中风险对应的评估报告可以为建议密切观察，高风险对应的评估报告可以为建议立即回滚，由此可以准确的通知管理员目标系统的当前状态，以及相应的处理方式。
其中，关于上述步骤S21的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由上可见，通过对系统预警信息进行语料预处理，并从处理后的系统预警信息中提取出第一组关键词；对装置名称进行语料预处理，并从处理后的变更装置名称中提取出第二组关键词，然后计算第一组关键词与第二组关键词中关键词的相似度，基于相似度确定出与目标系统变更对应的预警信息。基于语料预处理和特征提确定变更关联的预警信息，能够在发生故障时暴涨的系统预警信息中提取到与系统变更关联的关键词汇，然后与变更空间范围得到装置名称计算相识性，进而根据相关联的程度确定出目标系统变更对应的预警信息。并通过获取目标系统在目标时间内的时间序列数据，根据预设分类标准对时间序列数据进行分类，得到相应的目标类型数据，然后利用与目标类型数据对应的预设检测算法，对目标类型数据进行异常检测，得到目标类型数据对应的监控指标的变化趋势，以得到目标系统对应的监控指标的变化趋势。基于机器学习的监控指标趋势检测，能够根据指标的数据特点，智能的选择分类模型，依据历史数据特性进行异常判断，进而判断变更是否对组件、服务产生了影响，是否使核心业务受损。
本申请实施例公开了一种具体的微服务架构下系统风险评估方法，参见图4所示，该方法可以包括以下步骤：
步骤S31：获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息以及系统变更对应的装置名称。
步骤S32：基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息。
步骤S33：获取所述目标系统在所述目标时间内的时间序列数据。
步骤S34：基于窗口数据相似性对所述时间序列数据进行周期性检测，并根据第一预设阈值进行分类得到所述易变型数据和非易变型数据。
本实施例中，例如图5所示，首先基于窗口数据相似性对时间序列数据进行周期性检测，并根据第一预设阈值进行分类得到易变型数据和非易变型数据。具体的，通过计算时间序列窗口的相似度，相似度计算可以基于皮尔逊相关性和动态规划距离进行计算。上述第一预设阈值可以为0.8。
步骤S35：基于STL算法对所述非易变型数据进行稳定性检测，并根据第二预设阈值进行分类得到所述周期性数据和所述稳定型数据。
本实施例中，例如图5所示，基于STL算法对上述非易变型数据进行稳定性检测，并根据第二预设阈值进行分类得到周期性数据和稳定型数据。具体的，通过加法模型的STL算法对非易变型时间序列数据进行分解，即时间序列＝周期分量+趋势分量+余项(残差)，根据余项的方差判断是否为稳定型数据。上述第二预设阈值可以为0.002。
步骤S36：基于Turkey检测对所述易变型数据进行异常检测，得到易变型监控指标的变化趋势。
本实施例中，基于Turkey检测对上述易变型数据进行异常检测，得到易变型监控指标的变化趋势。具体的，基于Turkey’s TEST的异常检测算法可以包括：首先计算出变化趋势数据的第一四分位数(Q1)、中位数和第三四分位数(Q3)，令IQR＝Q3-Q1，若IQR在Q3+k(IQR)和Q1-k(IQR)之间，则可以认为易变型数据不存在异常，否则判定相应的易变型监控指标存在异常趋势，其中，k为预设阈值，可取1.5或3。
步骤S37：基于同环比算法对所述周期型数据进行异常检测，得到周期型监控指标的变化趋势。
本实施例中，基于同环比算法对周期型数据进行异常检测，得到周期型监控指标的变化趋势。具体的，基于同环比算法的异常检测算法可以包括：提取时刻7日环比数据，异常值剔除、缺省值补全；然后计算同比数据的均值和标准差；最后通过周期型异常判断公式：|t-m|＞b×σ，判断相应的周期型监控指标是否存在异常趋势；其中，上述t为当前值，m为同比均值，b为预设阈值，σ为标准差，若|t-m|大于b×σ则判定相应的周期型监控指标存在异常趋势。
步骤S38：基于时间序列ARIMA算法对所述稳定型数据进行异常检测，得到稳定型监控指标的变化趋势，以得到上述目标系统对应的监控指标的变化趋势。
本实施例中，基于时间序列ARIMA(Autoregressive Integrated Moving Averagemodel，差分整合移动平均自回归)算法对稳定型数据进行异常检测，得到稳定型监控指标的变化趋势，最后根据得到易变型监控指标的变化趋势、周期型监控指标的变化趋势和稳定型监控指标的变化趋势，以得到上述目标系统对应的监控指标的变化趋势。具体的，基于时间序列ARIMA算法的异常检测算法可以包括：首先根据预设的稳定性阈值和白噪声阈值对时间序列1阶差分后进行稳定性、白噪音检验，得到符合条件的稳定型时间序列数据，将稳定型时间序列数据按照STL算法拆分为：趋势分量+周期分量+余项(残差)，然后通过对历史数据的趋势分量进行ARIMA模型训练，采用网格搜索法自动参数寻优，得到预测趋势，最后根据稳定型异常判断公式：|r-p|＞c×l，判断相应的稳定型监控指标是否存在异常趋势。其中，r为实际数据，p为预测数据，c为预设阈值，l为历史残差；其中预测数据＝预测趋势+历史周期。若|r-p|大于c×l则判定相应的稳定型监控指标存在异常趋势。
步骤S39：基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
其中，关于上述步骤S31至步骤S33、步骤S39的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由上可见，基于Turkey检测对所述易变型数据进行异常检测，得到易变型监控指标的变化趋势；基于同环比算法对所述周期型数据进行异常检测，得到周期型监控指标的变化趋势；基于时间序列ARIMA算法对所述稳定型数据进行异常检测，得到稳定型监控指标的变化趋势，以得到上述目标系统对应的监控指标的变化趋势。通过不同类型的数据采用不同的异常检测算法，提高了指标异常检测的准确度；结合系统变更的预警信息，本实施例能够迅速准确的识别软件补丁发布、配置变更、基础资源变更等系统变更带来的风险，进而可以有效的降低系统变更对微服务系统稳定性产生的影响。
相应的，本申请实施例还公开了一种微服务架构下系统风险评估装置，参见图6所示，该装置包括：
数据获取模块11，用于获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息和变更装置名称；
预警信息确定模块12，用于基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；
变化趋势确定模块13，用于获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；
风险评估模块14，用于基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
本申请中，通过获取目标系统在目标时间内的系统变更数据，所述系统变更数据包括系统预警信息以及系统变更对应的装置名称；然后基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；并通过获取所述目标系统在所述目标时间内的时间序列数据，然后基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；最后基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。可见，利用自然语言处理技术通过系统变更在时间范围内的系统预警信息，以及系统变更在空间范围内影响的装置的名称确定出与系统变更相对应的预警信息，再结合利用机器学习算法通过时间序列数据确定的系统对应的监控指标的变化趋势，对系统当前的风险进行评估，能够迅速准确的识别软件补丁发布、配置变更、基础资源变更等带来的风险，提高了微服务架构下对系统变更风险评估的准确性。
在一些具体实施例中，所述预警信息确定模块12具体可以包括：
第一组关键词确定单元，用于对所述系统预警信息进行语料预处理，并从处理后的系统预警信息中提取出第一组关键词；
第二组关键词确定单元，用于对所述装置名称进行语料预处理，并从处理后的变更装置名称中提取出第二组关键词；
相似度判定单元，用于计算所述第一组关键词与所述第二组关键词中关键词的相似度，基于所述相似度确定出与所述目标系统变更对应的预警信息。
在一些具体实施例中，所述变化趋势确定模块13具体可以包括：
分类单元，用于根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据；所述目标类型数据包括易变型数据、周期型数据和稳定型数据；
趋势判定单元，用于利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，以得到所述目标系统对应的监控指标的变化趋势；
第一趋势判定子单元，用于基于Turkey检测对所述易变型数据进行异常检测，得到易变型监控指标的变化趋势；
第二趋势判定子单元，用于基于同环比算法对所述周期型数据进行异常检测，得到周期型监控指标的变化趋势；
第三趋势判定子单元，用于基于时间序列ARIMA算法对所述稳定型数据进行异常检测，得到稳定型监控指标的变化趋势；
第一分类子单元，用于基于窗口数据相似性对所述时间序列数据进行周期性检测，并根据第一预设阈值进行分类得到所述易变型数据和非易变型数据；
第二分类子单元，用于基于STL算法对所述非易变型数据进行稳定性检测，并根据第二预设阈值进行分类得到所述周期性数据和所述稳定型数据。
在一些具体实施例中，所述风险评估模块14具体可以包括：
风险等级判定单元，用于基于所述预警信息、所述变化趋势和所述监控指标的指标等级对所述目标系统进行系统风险评估，得到所述目标系统的风险等级；其中，所述指标等级包括核心业务级指标、技术级指标和系统资源级指标；
评估报告生成单元，用于基于所述风险等级生成相应的评估报告。
进一步的，本申请实施例还公开了一种电子设备，参见图7所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的微服务架构下系统风险评估方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括系统变更数据在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的微服务架构下系统风险评估方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20获取到的系统变更数据。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的微服务架构下系统风险评估方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种微服务架构下系统风险评估方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种微服务架构下系统风险评估方法，其特征在于，包括：
获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息以及系统变更对应的装置名称；
基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；
获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；
基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
2.根据权利要求1所述的微服务架构下系统风险评估方法，其特征在于，所述基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息，包括：
对所述系统预警信息进行语料预处理，并从处理后的系统预警信息中提取出第一组关键词；
对所述装置名称进行语料预处理，并从处理后的变更装置名称中提取出第二组关键词；
计算所述第一组关键词与所述第二组关键词中关键词的相似度，基于所述相似度确定出与所述目标系统变更对应的预警信息。
3.根据权利要求1所述的微服务架构下系统风险评估方法，其特征在于，所述目标时间包括所述目标系统的系统变更时间，和变更后预设时长内的时间。
4.根据权利要求1所述的微服务架构下系统风险评估方法，其特征在于，所述基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势，包括：
根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据；所述目标类型数据包括易变型数据、周期型数据和稳定型数据；
利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，以得到所述目标系统对应的监控指标的变化趋势。
5.根据权利要求4所述的微服务架构下系统风险评估方法，其特征在于，所述利用与所述目标类型数据对应的预设检测算法，对所述目标类型数据进行异常检测，得到所述目标类型数据对应的监控指标的变化趋势，包括：
基于Turkey检测对所述易变型数据进行异常检测，得到易变型监控指标的变化趋势；
基于同环比算法对所述周期型数据进行异常检测，得到周期型监控指标的变化趋势；
基于时间序列ARIMA算法对所述稳定型数据进行异常检测，得到稳定型监控指标的变化趋势。
6.根据权利要求4所述的微服务架构下系统风险评估方法，其特征在于，所述根据预设分类标准对所述时间序列数据进行分类，得到相应的目标类型数据，包括：
基于窗口数据相似性对所述时间序列数据进行周期性检测，并根据第一预设阈值进行分类得到所述易变型数据和非易变型数据；
基于STL算法对所述非易变型数据进行稳定性检测，并根据第二预设阈值进行分类得到所述周期性数据和所述稳定型数据。
7.根据权利要求1至6任一项所述的微服务架构下系统风险评估方法，其特征在于，所述基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估，包括：
基于所述预警信息、所述变化趋势和所述监控指标的指标等级对所述目标系统进行系统风险评估，得到所述目标系统的风险等级；
基于所述风险等级生成相应的评估报告；
其中，所述指标等级包括核心业务级指标、技术级指标和系统资源级指标。
8.一种微服务架构下系统风险评估装置，其特征在于，包括：
数据获取模块，用于获取目标系统在目标时间内的系统变更数据；所述系统变更数据包括系统预警信息和变更装置名称；
预警信息确定模块，用于基于所述系统变更数据，利用自然语言处理技术确定出与所述目标系统变更对应的预警信息；
变化趋势确定模块，用于获取所述目标系统在所述目标时间内的时间序列数据，并基于所述时间序列数据，利用机器学习算法得到所述目标系统对应的监控指标的变化趋势；
风险评估模块，用于基于所述预警信息和所述变化趋势对所述目标系统进行系统风险评估。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的微服务架构下系统风险评估方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的微服务架构下系统风险评估方法。
CN202011505896.0A 2020-12-18 2020-12-18 一种微服务架构下系统风险评估方法、装置、设备及介质 Pending CN112540905A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011505896.0A CN112540905A (zh) 2020-12-18 2020-12-18 一种微服务架构下系统风险评估方法、装置、设备及介质
CN202111552044.1A CN114185760A (zh) 2020-12-18 2021-12-17 系统风险评估方法及装置、充电设备运维检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505896.0A CN112540905A (zh) 2020-12-18 2020-12-18 一种微服务架构下系统风险评估方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112540905A true CN112540905A (zh) 2021-03-23

Family

ID=75019136

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011505896.0A Pending CN112540905A (zh) 2020-12-18 2020-12-18 一种微服务架构下系统风险评估方法、装置、设备及介质
CN202111552044.1A Pending CN114185760A (zh) 2020-12-18 2021-12-17 系统风险评估方法及装置、充电设备运维检测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111552044.1A Pending CN114185760A (zh) 2020-12-18 2021-12-17 系统风险评估方法及装置、充电设备运维检测方法

Country Status (1)

Country Link
CN (2) CN112540905A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220551A (zh) * 2021-05-12 2021-08-06 康键信息技术（深圳）有限公司 指标趋势预测及预警方法、装置、电子设备及存储介质
CN113271224A (zh) * 2021-05-17 2021-08-17 中国邮政储蓄银行股份有限公司 节点的定位方法、装置、存储介质及电子装置
CN113395178A (zh) * 2021-06-11 2021-09-14 聚好看科技股份有限公司 一种容器云弹性伸缩的方法及装置
CN115102834A (zh) * 2022-04-27 2022-09-23 浙江大学 一种变更风险评估方法、设备及存储介质
CN115396341A (zh) * 2022-08-16 2022-11-25 度小满科技(北京)有限公司 服务稳定性的评估方法、装置、存储介质及电子装置
CN116681402A (zh) * 2023-06-19 2023-09-01 深圳前海立方信息技术有限公司 一种基于物联网的项目信息库服务管理系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220551A (zh) * 2021-05-12 2021-08-06 康键信息技术（深圳）有限公司 指标趋势预测及预警方法、装置、电子设备及存储介质
CN113271224A (zh) * 2021-05-17 2021-08-17 中国邮政储蓄银行股份有限公司 节点的定位方法、装置、存储介质及电子装置
CN113395178A (zh) * 2021-06-11 2021-09-14 聚好看科技股份有限公司 一种容器云弹性伸缩的方法及装置
CN115102834A (zh) * 2022-04-27 2022-09-23 浙江大学 一种变更风险评估方法、设备及存储介质
CN115102834B (zh) * 2022-04-27 2024-04-16 浙江大学 一种变更风险评估方法、设备及存储介质
CN115396341A (zh) * 2022-08-16 2022-11-25 度小满科技(北京)有限公司 服务稳定性的评估方法、装置、存储介质及电子装置
CN115396341B (zh) * 2022-08-16 2023-12-05 度小满科技(北京)有限公司 服务稳定性的评估方法、装置、存储介质及电子装置
CN116681402A (zh) * 2023-06-19 2023-09-01 深圳前海立方信息技术有限公司 一种基于物联网的项目信息库服务管理系统及方法

Also Published As

Publication number Publication date
CN114185760A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN112540905A (zh) 一种微服务架构下系统风险评估方法、装置、设备及介质
US9652318B2 (en) System and method for automatically managing fault events of data center
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
US8635498B2 (en) Performance analysis of applications
US9612898B2 (en) Fault analysis apparatus, fault analysis method, and recording medium
US8098585B2 (en) Ranking the importance of alerts for problem determination in large systems
Zhao et al. An empirical investigation of practical log anomaly detection for online service systems
CN113282461B (zh) 传输网的告警识别方法和装置
CN111506478A (zh) 基于人工智能实现告警管理控制的方法
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN114116397A (zh) 一种监控指标的预警归因方法、装置、设备及存储介质
CN113590451B (zh) 一种根因定位方法、运维服务器及存储介质
CN110570544A (zh) 飞机燃油系统故障识别方法、装置、设备和存储介质
CN114118295A (zh) 一种异常检测模型训练方法、异常检测方法、装置及介质
CN112214768A (zh) 一种恶意进程的检测方法及装置
Turgeman et al. Context-aware incremental clustering of alerts in monitoring systems
CN113835918A (zh) 一种服务器故障分析方法及装置
KR101741108B1 (ko) 시스템 결함 분석 장치, 방법 및 시스템 결함을 분석하기 위한 프로그램을 저장하는 저장매체
CN112882898A (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN112905370A (zh) 拓扑图生成方法、异常检测方法、装置、设备及存储介质
Zhu et al. A Performance Fault Diagnosis Method for SaaS Software Based on GBDT Algorithm.
CN117520040B (zh) 一种微服务故障根因确定方法、电子设备及存储介质
Zou et al. Online prediction of server crash based on running data
Al Amin Supervised Learning for Detecting Cognitive Security Anomalies in Real-Time Log Data
CN117149500B (zh) 基于指标数据和日志数据的异常根因获得方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210323