CN117632654A - 一种运维风险等级评估方法、装置、电子设备及存储介质 - Google Patents
一种运维风险等级评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117632654A CN117632654A CN202311658592.1A CN202311658592A CN117632654A CN 117632654 A CN117632654 A CN 117632654A CN 202311658592 A CN202311658592 A CN 202311658592A CN 117632654 A CN117632654 A CN 117632654A
- Authority
- CN
- China
- Prior art keywords
- data
- maintenance
- risk level
- candidate
- maintenance risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013210 evaluation model Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012502 risk assessment Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种运维风险等级评估方法、装置、电子设备及存储介质;该方法包括:获取待评估数据,对待评估数据进行关键词提取,确定运维关键词;基于运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,搜索结果包括至少一个语义信息和关联关系;其中,运维风险等级评估模型基于语义信息构建;确定搜索结果所关联的事件等级或者系统等级,根据事件等级和系统等级确定运维风险等级,解决了人工对运维风险等级评估导致的处理不及时的问题,预先根据语义信息构建运维风险等级评估模型,根据相似度从运维风险等级评估模型中搜索,实现运维风险等级的自动化检测,及时发现运维风险,准确性更高,结果更加客观。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种运维风险等级评估方法、装置、电子设备及存储介质。
背景技术
随着信息化技术的飞速发展,平台应用的系统业务量与系统规模迎来了快速扩张,复杂的业务需求与庞大的系统规模也对运维风险管理提出更高的要求,单纯依靠人工已经难以满足业务支撑的时效要求,运维智能化辅助技术应运而生。
目前智能化运维的方式通常是基于事件流分析日志分析,基于事件流分析日志分析是通过对日志流进行事件根因分析,从而满足异常事件发现、排查和解决方案推荐等的需要。但这种方式需要运维处置人员拥有较强的知识储备和分析能力,存在处置不及时的情况;并且其在进行运维风险评估时通过基于业务评估但未顾及项目代码变化对运维变更的影响。
发明内容
本发明提供了一种运维风险等级评估方法、装置、电子设备及存储介质,以实现运维风险自动评估,及时发现运维风险。
根据本发明的一方面,提供了一种运维风险等级评估方法,包括:
获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;
基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;
确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级。
根据本发明的另一方面,提供了一种运维风险等级评估装置,包括:
待评估数据获取模块,用于获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;
搜索模块,用于基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;
风险等级确定模块,用于确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的运维风险等级评估方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的运维风险等级评估方法。
本发明实施例的技术方案,通过获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级,解决了人工对运维风险等级评估导致的处理不及时的问题,预先根据语义信息构建运维风险等级评估模型,通过对待评估数据进行关键词提取,得到运维关键词,通过相似度搜索从运维风险等级评估模型中搜索运维关键词对应的搜索结果,基于搜索结果关联的事件等级或系统等级确定运维风险等级,实现运维风险等级的自动化检测,及时发现运维风险,并且通过语义信息实现运维风险等级的评估,准确性更高,结果更加客观。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种运维风险等级评估方法的流程图;
图2是根据本发明实施例二提供的一种运维风险等级评估方法的流程图;
图3是根据本发明实施例二提供的一种实现运维风险等级评估的架构示意图;
图4是根据本发明实施例三提供的一种运维风险等级评估装置的结构示意图;
图5是实现本发明实施例的运维风险等级评估方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种运维风险等级评估方法的流程图,本实施例可适用于对运维风险等级进行自动化评估的情况,该方法可以由运维风险等级评估装置来执行,该运维风险等级评估装置可以采用硬件和/或软件的形式实现,该运维风险等级评估装置可配置于电子设备中。如图1所示,该方法包括:
S101、获取待评估数据,对待评估数据进行关键词提取,确定运维关键词。
在本实施例中,待评估数据具体可以理解为用于对运维风险等级进行评估的数据,通常为业务发生变更时的变更数据,例如,新修改项目的提交信息,变更申请信息、代码变更内容等。运维关键词具体可以理解为用于进行运维分析的关键词,运维关键词的数量可以是一个或者多个。
在业务或者项目发生变更,或者运行环境发生变化等情况下,即项目所涉及到的数据发生了改变,可以根据变更后的数据确定待评估数据。对待评估数据进行关键词提取,关键词提取方式可以是预先生成一个关键词数据表,用于保存所有的关键词,将待评估数据与关键词数据表进行匹配,判断待评估数据中是否存在关键词数据表中的关键词,若是,则将此关键词确定为运维关键词;或者,通过关键词提取算法、模型等进行关键词提取,得到运维关键词。
S102、基于运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,搜索结果包括至少一个语义信息和关联关系;其中,运维风险等级评估模型基于语义信息构建。
在本实施例中,运维风险等级评估模型具体可以理解为预先训练的用于对运维风险等级进行评估的模型。运维风险等级评估模型可以是神经网络模型、图数据模型等。搜索结果具体可以理解为通过运维风险等级评估模型进行搜索得到的结果。
预先获取业务数据、项目代码等所有可能会影响运维风险的数据,基于上述数据进行语义分析,得到语义信息,基于语义信息生成运维风险等级评估模型。根据运维关键词和运维风险等级评估模型进行相似度搜索,例如,KNN最近邻搜索算法,通过搜索得到与运维风险等级评估模型中匹配的相似度较高的至少一个节点,将此节点的语义信息和关联关系作为搜索结果,关联关系可以是图数据库中的节点与节点之间的边。在确定搜索结果时,可以按照相似度从高到低选择k个语义信息和关联关系作为搜索结果,其中,k≥1,k为整数,关联关系可以描述此语义信息所关联的其他。
S103、确定搜索结果所关联的事件等级或者系统等级,根据事件等级和系统等级确定运维风险等级。
在本实施例中,事件等级可以是非常重要、重要、普通、不重要等等,或者,一级、二级、三级等等;系统等级可以是一级、二级、三级等等。运维风险等级具体可以理解为用于描述运维风险的等级划分信息,例如,高风险、中风险、低风险等等,或者一级、二级、三级等等。
预先根据业务需求设置不同的事件或系统的等级,在确定搜索结果后,基于搜索结果中的语义信息及关联关系确定语义信息是否关联了事件等级或者系统等级,若语义信息关联了事件等级或者系统等级,根据事件等级或系统等级对应的等级确定运维风险等级,例如,直接将事件等级或系统等级作为运维风险等级,在搜索结果中包括的语义信息的数量为多个时,可以分别确定每个语义信息对应关联的事件等级或系统等级,统计所有的等级并进行综合分析,例如,确定出现次数最多的等级,或者,最高等级,等等,根据综合分析结果确定最终的等级,将此等级作为运维风险等级。语义信息未关联的事件等级或者系统等级,可以将运维风险等级确定为默认的风险等级,例如,低风险。
本发明实施例提供了一种运维风险等级评估方法,通过获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级,解决了人工对运维风险等级评估导致的处理不及时的问题,预先根据语义信息构建运维风险等级评估模型,通过对待评估数据进行关键词提取,得到运维关键词,通过相似度搜索从运维风险等级评估模型中搜索运维关键词对应的搜索结果,基于搜索结果关联的事件等级或系统等级确定运维风险等级,实现运维风险等级的自动化检测,及时发现运维风险,并且通过语义信息实现运维风险等级的评估,准确性更高,结果更加客观。
实施例二
图2为本发明实施例二提供的一种运维风险等级评估方法的流程图,本实施例在上述实施例的基础上进行细化。如图2所示,该方法包括:
S201、获取项目代码和运维数据集,项目代码和运维数据集中包括至少一个数据。
在本实施例中,项目代码和运维数据集具体可以理解为包括了项目运行代码、运维相关数据的集合。项目代码和运维数据集中包括如下类型的数据:告警、指标、源代码、故障案例、问题记录、技术手册、配置、日志、产品文档等;其中,告警、指标和源代码为结构化数据,定义告警、指标和源代码的结构化类型为结构化;故障案例、问题记录和技术手册为非结构化数据,定义故障案例、问题记录和技术手册的结构化类型为非结构化;配置、日志和产品文档为半结构化数据,定义配置、日志和产品文档的结构化类型为半结构化。
S202、根据数据的结构化类型对数据进行处理,形成候选数据。
在本实施例中,候选数据具体可以理解为经处理后得到的数据。确定每一条数据的结构化类型,不同结构化类型采用不同的方式进行处理,形成候选数据,例如,对结构化数据进行数据整合,非结构化数据进行统一、过滤等处理。
作为本实施例的一个可选实施例,本可选实施例进一步将根据数据的结构化类型对数据进行处理,形成候选数据,优化为:
当数据的结构化类型为结构化,根据数据的数据源结合预先定义的数据表进行数据整合,形成候选数据。
预先定义数据表,例如,定义数据表的每个字段存储的信息类型。确定项目代码和运维数据集中结构化类型为结构化的所有数据,对此部分数据进行分析整合,结构化数据的数据源可能不同,将不同数据源的数据按照数据表的规则整合到一个数据表中。其中,数据源可以是指不同的工程,例如,前端代码、后端代码等,其数据结构不同。通过数据整合将数据处理为候选数据。数据源指不同工程,例如,前端代码、后端代码,其数据结构不同。通过数据整合,实现数据格式的统一,将数据转换为格式统一的候选数据。
作为本实施例的一个可选实施例,本可选实施例进一步将根据数据的结构化类型对数据进行处理,形成候选数据,优化为:
当数据的结构化类型为半结构化或非结构化,对数据进行过滤处理和规范化处理,得到候选数据。
确定项目代码和运维数据集中结构化类型为半结构化的所有数据,以及结构化类型为非结构化的所有数据,由于半结构化数据和非结构化数据在文件编码、信息特征等方面存在不统一、冗余等问题,因此对此部分数据进行过滤处理,去掉重复、错误、不重要等信息,并对剩余的信息进行规范化处理,将其统一为一种形式表示,得到候选数据。
S203、基于各候选数据的结构化类型对各候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库。
由于不同结构化类型的数据其数据结构不同,因此本申请对于不同结构化类型的候选数据选择不同的方式进行语义信息抽取,例如,对于结构化数据通过关键词抽取以及构建语义关联图抽取得到语义信息,将抽取得到的数据按照表结构存储到表数据库中。
作为本实施例的一个可选实施例,本可选实施例进一步将基于各候选数据的结构化类型对各候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,优化为:
A1、将结构化类型为结构化的所有候选数据作为第一待处理数据,对第一待处理数据进行关键词提取,得到候选关键词集合,候选关键词集合中包括至少两个候选关键词。
在本实施例中,第一待处理数据具体可以理解为需要进行处理的结构化数据;候选关键词集合具体可以理解为由候选关键词所构成的集合。确定结构化类型为结构化的所有候选数据,将此部分候选数据作为第一待处理数据,根据关键词提取算法、模型或者预先构建的关键词的数据表等对第一待处理数据进行关键词提取,得到候选关键词,基于候选关键词形成候选关键词集合。
A2、确定候选关键词集合中的各候选关键词之间的边的类型以及权重,并构建语义关联图。
分析各候选关键词之间的关联关系,得到候选关键词之间的边的类型,同时计算边的权重,其中,边的权重可以通过计算相似度计算得到,例如,对作为节点的候选关键词计算BERT词向量的余弦相似度得到边的权重。基于各候选关键词及其之间的边的类型、权重构建语义关联图,其中,候选关键词可以是代码中的类、方法,变量、事件、系统等,边表示他们之间的依赖和调用关系。
A3、将语义关联图存储至表数据库中。
示例性的,以第一待处理数据为代码文本为例,代码文本为代码的注释信息,经处理得到候选关键词集合,将候选关键词集合中的候选关键词构建语义关联图,语义关联图为无向加权图。其中,通过语义关联图中的节点表示候选关键词,将共现词汇和依存关系相结合构建语义关联图中的边,边的权重为候选关键词预训练BERT词向量的余弦相似度。
作为本实施例的一个可选实施例,本可选实施例进一步将基于各候选数据的结构化类型对各候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,优化为:
B1、将结构化类型为非结构化的所有候选数据作为第二待处理数据,对第二待处理数据进行实体提取以及关系抽取。
在本实施例中,第二待处理数据具体可以理解为需要进行处理的非结构化数据。确定结构化类型为非结构化的所有候选数据,将此部分候选数据作为第二待处理数据。第二待处理数据中包括了事件的ID、地点(即发生在什么系统上)、涉及到的用户等信息,通过实体提取和关系抽取得到实体和实体之间的关系。其中,实体提取包括:分词、词性标注(例如,名词、动词等)、命名实体识别,实体分类、关系抽取。
B2、对提取到的实体进行消歧处理,并基于处理后的实体和抽取到的关系形成知识图谱。
对提取到的实体进行消歧、融合处理,将数据按照设计的知识图谱架构进行关系整合,消歧可以是指代消解、实体消歧等,基于处理后的实体和抽取到的关系构建知识图谱。其中,指代消解是把代表同一实体的不同指称划分到一个等价集合,例如错误日志、系统配置都指向一个主机实体;实体消歧是把一个实体的具体属性进行定位,例如通过计算得出的系统指标是监控报警还是系统故障。
B3、将知识图谱存储至表数据库中。
将知识图谱按照表数据结构存储到数据库中。
作为本实施例的一个可选实施例,本可选实施例进一步将基于各候选数据的结构化类型对各候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,优化为:
C1、将结构化类型为半结构化的所有候选数据作为第三待处理数据,对第三待处理数据进行数据清洗、转换、合并、对齐和标识处理。
在本实施例中,第三待处理数据具体可以理解为需要进行处理的半结构化数据。确定结构化类型为半结构化的所有候选数据,将此部分候选数据作为第三待处理数据,对第三待处理数据进行加工处理,加工处理包括:数据清洗、转换、合并、对齐和标识处理。其中,数据清洗可以清洗掉重复、错误、不需要的数据;转换处理可以将数据转换为统一或者要求的格式;合并处理可以将需要合并的数据进行合并,例如,将同一类型的数据进行合并,将同一数据对应的不同信息进行合并等等,可以预先设置合并的规则,将不同的数据按照此规则进行合并处理;对数据进行对齐可以将数据按照时间或者其他对齐规则进行对齐处理;标识处理可以为数据建立一致的标识,对数据进行唯一标识,方便区分不同的数据。
C2、将处理后的第三待处理数据存储至表数据库中。
将处理后的第三待处理数据按照表数据结构存储至表数据库中。
本申请实施例在存储数据时,可以通过三元组格式进行存储。
S204、对表数据库进行数据抽取,形成图数据,并将图数据作为运维风险等级评估模型。
对表数据库中的数据通过语义信息进行抽取,形成图数据,通过图数据描述不同的信息之间的关系,将得到的图数据作为运维风险等级评估模型。图数据可以存储到图结构的图数据库中。
在生成运维风险等级评估模型后,模型通常保持不变,也可以设置更新条件,定期更新。在具有风险评估需求时,直接基于此模型进行风险评估。
S205、获取待评估数据,对待评估数据进行关键词提取,确定运维关键词。
S206、基于运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,搜索结果包括至少一个语义信息和关联关系。
本步骤所使用的运维风险等级评估模型可以根据S201-S204步骤进行构建。
S207、确定搜索结果所关联的事件等级或者系统等级,根据事件等级和系统等级确定运维风险等级。
本申请实施例还可以在运维风险等级超过设定的等级时进行告警提示,提示方式可以是向指定的运维人员发邮件,在指定用户的终端上推送信息、发出告警提示音等方式进行提示。
示例性的,图3提供了一种实现运维风险等级评估的架构示意图,运维风险等级评估通过传输层31、加工层32、存储层33和分析处置层34联合进行数据处理实现。
传输层31用于进行数据获取,数据按照结构化类型进行划分,分别为结构化数据、非结构化数据和半结构化数据。其中,结构化数据包括:告警、指标、源代码等;非结构化数据包括:故障案例、问题记录、技术手册等;半结构化数据包括:配置、日志、产品文档等。上述的数据可以构成项目代码和运维数据集。
加工层32包括编排层、代码层和整合层,用于根据数据的结构化类型对数据进行处理。其中,代码层用于对结构化数据进行处理,通过对代码文本抽取语义信息得到语义关联图,并计算权重;编排层用于对非结构数据进行处理,通过对事件进行实体抽取形成图谱,并学习知识;整合层用于对半结构化数据进行数据整合,其中,数据整合包括清洗、转换、合并、对齐和标识处理。加工层32所形成的数据通过表结构的形式存储在表数据库中。
存储层33用于存储数据,数据存储可以基于表结构存储、基于图结构存储。在存储层33可以进行知识融合。
分析处置层34用于进行告警发布处置,通过确定的图数据,即运维风险等级评估模型对待评估数据进行运维风险等级评估。可以在运维风险等级较高时进行告警。分析处置层34在通过运维风险等级评估模型进行运维风险等级评估时,可以基于事件分析、事件模版、知识库、语义编码完成风险等级评估。
本申请实施例通过提取代码文本中运维相关的抽象语义信息,采用词汇TFIDF值和句子依存句法知识的融合分析方法,将共现词汇和依存关系相结合构建语义关联图,采用随机游走算法计算词汇权重,从而捕获项目代码与运维环节的语义关联关系。构建顾及代码语义信息的运维风险评估模型。本申请实施例首先根据获取的结构化、非结构化和半结构化数据和专家知识,经过三元组抽取得到语义信息与运维事件的确定关系,得到运维核心知识图谱。
本发明实施例提供了一种运维风险等级评估方法,通过获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级,解决了人工对运维风险等级评估导致的处理不及时的问题,预先根据数据的结构化类型对数据进行处理和提取语义信息,构建运维风险等级评估模型,运维风险等级评估模型更加精准,且在构建模型时考虑了代码等不同类型数据的语义信息,更加全面,预测结果准确性更高。通过对待评估数据进行关键词提取,得到运维关键词,通过相似度搜索从运维风险等级评估模型中搜索运维关键词对应的搜索结果,基于搜索结果关联的事件等级或系统等级确定运维风险等级,实现运维风险等级的自动化检测,及时发现运维风险,并且通过语义信息实现运维风险等级的评估,准确性更高,结果更加客观。
实施例三
图4为本发明实施例三提供的一种运维风险等级评估装置的结构示意图。如图4所示,该装置包括:待评估数据获取模块41、搜索模块42和风险等级确定模块43。
其中,待评估数据获取模块41,用于获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;
搜索模块42,用于基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;
风险等级确定模块43,用于确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级。
本发明实施例提供了一种运维风险等级评估装置,解决了人工对运维风险等级评估导致的处理不及时的问题,预先根据语义信息构建运维风险等级评估模型,通过对待评估数据进行关键词提取,得到运维关键词,通过相似度搜索从运维风险等级评估模型中搜索运维关键词对应的搜索结果,基于搜索结果关联的事件等级或系统等级确定运维风险等级,实现运维风险等级的自动化检测,及时发现运维风险,并且通过语义信息实现运维风险等级的评估,准确性更高,结果更加客观。
可选的,该装置还包括:
数据集获取模块,用于获取项目代码和运维数据集,所述项目代码和运维数据集中包括至少一个数据;
候选数据生成模块,用于根据所述数据的结构化类型对数据进行处理,形成候选数据;
语义抽取模块,用于基于各所述候选数据的结构化类型对各所述候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库;
模型生成模块,用于对所述表数据库进行数据抽取,形成图数据,并将所述图数据作为运维风险等级评估模型。
可选的,候选数据生成模块,具体用于:当所述数据的结构化类型为结构化,根据所述数据的数据源结合预先定义的数据表进行数据整合,形成候选数据。
可选的,候选数据生成模块,具体用于:当所述数据的结构化类型为半结构化或非结构化,对所述数据进行过滤处理和规范化处理,得到候选数据。
可选的,语义抽取模块,包括:
关键词提取单元,用于将结构化类型为结构化的所有候选数据作为第一待处理数据,对所述第一待处理数据进行关键词提取,得到候选关键词集合,所述候选关键词集合中包括至少两个候选关键词;
关联图构建单元,用于确定所述候选关键词集合中的各所述候选关键词之间的边的类型以及权重,并构建语义关联图;
关联图存储单元,用于将所述语义关联图存储至表数据库中。
可选的,语义抽取模块,包括:
实体抽取单元,用于将结构化类型为非结构化的所有候选数据作为第二待处理数据,对所述第二待处理数据进行实体提取以及关系抽取;
图谱形成单元,用于对提取到的实体进行消歧处理,并基于处理后的实体和抽取到的关系形成知识图谱;
图谱存储单元,用于将所述知识图谱存储至表数据库中。
可选的,语义抽取模块,包括:
数据处理单元,用于将结构化类型为半结构化的所有候选数据作为第三待处理数据,对所述第三待处理数据进行数据清洗、转换、合并、对齐和标识处理;
数据存储单元,用于将处理后的第三待处理数据存储至表数据库中。
本发明实施例所提供的运维风险等级评估装置可执行本发明任意实施例所提供的运维风险等级评估方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备50包括至少一个处理器51,以及与至少一个处理器51通信连接的存储器,如只读存储器(ROM)52、随机访问存储器(RAM)53等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器51可以根据存储在只读存储器(ROM)52中的计算机程序或者从存储单元58加载到随机访问存储器(RAM)53中的计算机程序,来执行各种适当的动作和处理。在RAM 53中,还可存储电子设备50操作所需的各种程序和数据。处理器51、ROM 52以及RAM 53通过总线54彼此相连。输入/输出(I/O)接口55也连接至总线54。
电子设备50中的多个部件连接至I/O接口55,包括:输入单元56,例如键盘、鼠标等;输出单元57,例如各种类型的显示器、扬声器等;存储单元58,例如磁盘、光盘等;以及通信单元59,例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理,例如运维风险等级评估方法。
在一些实施例中,运维风险等级评估方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元58。在一些实施例中,计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时,可以执行上文描述的运维风险等级评估方法的一个或多个步骤。备选地,在其他实施例中,处理器51可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行运维风险等级评估方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种运维风险等级评估方法,其特征在于,包括:
获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;
基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;
确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级。
2.根据权利要求1所述的方法,其特征在于,所述运维风险等级评估模型的生成步骤,包括:
获取项目代码和运维数据集,所述项目代码和运维数据集中包括至少一个数据;
根据所述数据的结构化类型对数据进行处理,形成候选数据;
基于各所述候选数据的结构化类型对各所述候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库;
对所述表数据库进行数据抽取,形成图数据,并将所述图数据作为运维风险等级评估模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据的结构化类型对数据进行处理,形成候选数据,包括:
当所述数据的结构化类型为结构化,根据所述数据的数据源结合预先定义的数据表进行数据整合,形成候选数据。
4.根据权利要求2所述的方法,其特征在于,所述根据所述数据的结构化类型对数据进行处理,形成候选数据,包括:
当所述数据的结构化类型为半结构化或非结构化,对所述数据进行过滤处理和规范化处理,得到候选数据。
5.根据权利要求2所述的方法,其特征在于,所述基于各所述候选数据的结构化类型对各所述候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,包括:
将结构化类型为结构化的所有候选数据作为第一待处理数据,对所述第一待处理数据进行关键词提取,得到候选关键词集合,所述候选关键词集合中包括至少两个候选关键词;
确定所述候选关键词集合中的各所述候选关键词之间的边的类型以及权重,并构建语义关联图;
将所述语义关联图存储至表数据库中。
6.根据权利要求2所述的方法,其特征在于,所述基于各所述候选数据的结构化类型对各所述候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,包括:
将结构化类型为非结构化的所有候选数据作为第二待处理数据,对所述第二待处理数据进行实体提取以及关系抽取;
对提取到的实体进行消歧处理,并基于处理后的实体和抽取到的关系形成知识图谱;
将所述知识图谱存储至表数据库中。
7.根据权利要求2所述的方法,其特征在于,所述基于各所述候选数据的结构化类型对各所述候选数据进行语义信息抽取,并将抽取后的数据存储至表数据库,包括:
将结构化类型为半结构化的所有候选数据作为第三待处理数据,对所述第三待处理数据进行数据清洗、转换、合并、对齐和标识处理;
将处理后的第三待处理数据存储至表数据库中。
8.一种运维风险等级评估装置,其特征在于,包括:
待评估数据获取模块,用于获取待评估数据,对所述待评估数据进行关键词提取,确定运维关键词;
搜索模块,用于基于所述运维关键词和预构建的运维风险等级评估模型进行相似度搜索,得到搜索结果,所述搜索结果包括至少一个语义信息和关联关系;其中,所述运维风险等级评估模型基于语义信息构建;
风险等级确定模块,用于确定所述搜索结果所关联的事件等级或者系统等级,根据所述事件等级和系统等级确定运维风险等级。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的运维风险等级评估方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的运维风险等级评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311658592.1A CN117632654A (zh) | 2023-12-05 | 2023-12-05 | 一种运维风险等级评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311658592.1A CN117632654A (zh) | 2023-12-05 | 2023-12-05 | 一种运维风险等级评估方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117632654A true CN117632654A (zh) | 2024-03-01 |
Family
ID=90030290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311658592.1A Pending CN117632654A (zh) | 2023-12-05 | 2023-12-05 | 一种运维风险等级评估方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117632654A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117992620A (zh) * | 2024-04-03 | 2024-05-07 | 华东交通大学 | 一种基坑工程评估方法、系统、存储介质及电子设备 |
CN118153973A (zh) * | 2024-05-13 | 2024-06-07 | 江西博微新技术有限公司 | 电力项目数据管理方法、系统、电子设备及存储介质 |
-
2023
- 2023-12-05 CN CN202311658592.1A patent/CN117632654A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117992620A (zh) * | 2024-04-03 | 2024-05-07 | 华东交通大学 | 一种基坑工程评估方法、系统、存储介质及电子设备 |
CN117992620B (zh) * | 2024-04-03 | 2024-06-04 | 华东交通大学 | 一种基坑工程评估方法、系统、存储介质及电子设备 |
CN118153973A (zh) * | 2024-05-13 | 2024-06-07 | 江西博微新技术有限公司 | 电力项目数据管理方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117632654A (zh) | 一种运维风险等级评估方法、装置、电子设备及存储介质 | |
CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
CN112560481B (zh) | 语句处理方法、设备和存储介质 | |
CN116226350A (zh) | 一种文档查询方法、装置、设备和存储介质 | |
CN113657100A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
CN116307672A (zh) | 一种故障诊断方法、装置、电子设备及介质 | |
CN115017425B (zh) | 地点检索方法、装置、电子设备以及存储介质 | |
CN116340606A (zh) | 重大突发事件的分析方法、装置、存储介质和设备 | |
CN116502646A (zh) | 一种语义漂移检测方法、装置、电子设备及存储介质 | |
CN113590774A (zh) | 事件查询方法、装置以及存储介质 | |
CN117688946A (zh) | 基于大模型的意图识别方法、装置、电子设备和存储介质 | |
CN117235280A (zh) | 一种操作票生成方法、装置、设备及介质 | |
CN115048352A (zh) | 一种日志字段提取方法、装置、设备和存储介质 | |
CN114201607B (zh) | 一种信息处理的方法和装置 | |
CN115292506A (zh) | 应用于办公领域的知识图谱本体构建方法和装置 | |
CN113032581B (zh) | 更新产品列表的方法和装置 | |
CN115827893A (zh) | 技能培养知识图谱生成方法、装置、设备和介质 | |
CN118331815A (zh) | 一种进程日志异常检测方法及装置 | |
CN116450832A (zh) | 一种信息匹配方法、装置、电子设备和存储介质 | |
Rykov et al. | Analysis of Official Documents to Assess the Quality of Staff Work | |
CN117196524A (zh) | 一种操作票知识图谱的构建方法、装置和存储介质 | |
CN117573817A (zh) | 模型训练方法、相关性确定方法、装置、设备及存储介质 | |
CN116415050A (zh) | 信息搜索方法、装置、电子设备及存储介质 | |
CN114706956A (zh) | 分类信息获取、分类方法、装置、电子设备和存储介质 | |
CN117520127A (zh) | 异常信息处理方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |