CN114374600A - 一种基于大数据的网络运维方法、装置、设备及产品 - Google Patents
一种基于大数据的网络运维方法、装置、设备及产品 Download PDFInfo
- Publication number
- CN114374600A CN114374600A CN202111613114.XA CN202111613114A CN114374600A CN 114374600 A CN114374600 A CN 114374600A CN 202111613114 A CN202111613114 A CN 202111613114A CN 114374600 A CN114374600 A CN 114374600A
- Authority
- CN
- China
- Prior art keywords
- alarm
- log
- network
- nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000001960 triggered effect Effects 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 abstract description 6
- 238000013024 troubleshooting Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 31
- 238000012544 monitoring process Methods 0.000 description 17
- 238000012098 association analyses Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 102000018059 CS domains Human genes 0.000 description 2
- 108050007176 CS domains Proteins 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007417 hierarchical cluster analysis Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Abstract
本发明提供一种基于大数据的网络运维方法、装置、设备及产品，涉及网络运维技术领域，该方法包括以下步骤：当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；获取所述链路中所有节点在告警周期生成的日志；将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息。本发明通过对NFV网络中日志、告警和节点性能进行跨层的多层关联分析，有效的解决了NFV运维中跨层根因排查难的问题。
Description
技术领域
本发明涉及网络运维技术领域，尤其涉及一种基于大数据的网络运维方法、装置、设备及产品。
背景技术
目前运营商传统网元的网络运维主要依靠网管告警、性能数据、投诉等手段，并以此支撑了网络运维过程中的问题发现、问题处理、分析优化。上述三类手段均以网元/板卡为最小分析单位，由网元厂家/专家自行进行根因查询。网络功能虚拟化(NetworkFunctions Virtualization，NFV)后，软件部分和硬件部分解耦分离，同时，网络被切割成三层结构，但是仅依靠现有手段，无法进行跨层的关联关系分析，而目前能进行三层关联关系分析的数据有设备告警、网元指标和系统日志等，其中日志的信息量最大。
因此，NFV网络日志的相关处理是跨层关联关系分析中亟待解决的重要课题。
发明内容
本发明提供一种基于大数据的网络运维方法、装置、设备及产品，用以解决现有技术中的NFV运维中跨层根因难以定位排查的缺陷，实现提升故障和投诉监控预防能力以及处理效率，节省运维时长，提高工作效率。
本发明提供一种基于大数据的网络运维方法，包括以下步骤：
当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
获取所述链路中所有节点在告警周期生成的日志；
将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息；其中，所述预设告警知识库是基于样本日志训练得到的。
根据本发明提供的基于大数据的网络运维方法，所述当网络功能虚拟化网络中告警触发时，基于所述映射关系，生成所述告警对应的链路步骤中，所述映射关系通过以下步骤建立：
获取网络功能虚拟化网络中的日志；
基于时序关系，建立日志同告警以及节点性能之间的所述关联关系；
建立网络功能虚拟化网络中节点的所述业务逻辑拓扑；
基于所述业务逻辑拓扑以及所述关联关系，建立所述节点同所述告警之间的所述映射关系。
根据本发明提供的基于大数据的网络运维方法，所述基于时序关系，建立日志同告警以及节点性能之间的关联关系，具体包括以下步骤：
解析获取到的所述日志，得到所述日志的顺序信息和来源信息；其中，所述顺序信息表示该日志的生成顺序，所述来源信息表示该日志的来源；
基于日志获取过程中生成的自增序列、所述顺序信息和所述来源信息，确定解析后日志的上下文内容；
基于所述日志以及对应的所述上下文内容，建立预设时间段内所述日志同所述告警以及所述节点性能之间的所述关联关系。
根据本发明提供的基于大数据的网络运维方法，所述基于所述业务逻辑拓扑以及所述关联关系，建立所述节点同所述告警之间的所述映射关系，具体包括以下步骤：
根据所述关联关系，确定所述业务逻辑拓扑中的业务链与告警相关联的节点；
建立告警与所有告警相关联的节点之间的所述映射关系。
根据本发明提供的基于大数据的网络运维方法，所述当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路，具体包括以下步骤：
当告警触发时，基于所述映射关系，确定所述告警对应的异常节点和所述异常节点的所述节点性能；
基于所述异常节点和所述节点性能，获取包含所述异常节点的所述业务链；
将包含所述异常节点的所述业务链中重复的节点进行合并去重，串联去重后的节点，生成所述链路。
根据本发明提供的基于大数据的网络运维方法，所述预设告警知识库通过以下步骤训练得到：
获取所述样本日志；
将所述样本日志作为训练使用的输入数据，采用机器学习的方式，得到用于生成所述告警配置信息、所述告警处理方案和所述节点性能信息的所述预设告警知识库。
本发明还提供一种基于大数据的网络运维装置，包括：
生成模块，用于当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
获取模块，用于获取所述链路中所有节点在告警周期生成的日志；
处理模块，用于将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大数据的网络运维方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大数据的网络运维方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大数据的网络运维方法的步骤。
本发明提供的基于大数据的网络运维方法、装置、设备及产品，通过对NFV网络中日志、告警和节点性能进行跨层的多层关联分析，有效的解决了NFV运维中跨层根因排查难的问题；通过实时地日志分析和监控，提前完成自动告警督办及人工干预等手段，提升故障和投诉监控预防能力以及处理效率，节省运维时长，提高工作效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于大数据的网络运维方法的流程示意图；
图2是本发明提供的基于大数据的网络运维方法中映射关系建立的流程示意图；
图3是本发明提供的基于大数据的网络运维方法中步骤A200具体的流程示意图；
图4是本发明提供的基于大数据的网络运维方法中步骤A400具体的流程示意图；
图5是本发明提供的基于大数据的网络运维方法中步骤S100具体的流程示意图；
图6是本发明提供的基于大数据的网络运维装置的结构示意图；
图7是本发明提供的基于大数据的网络运维装置中生成模块具体的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
NFV运维中，通过各类手段发现的大部分影响客户感知的问题，均是反映在网元层，NFV运维最大的难点就在于跨层的问题的根因难以定位排查。因此，多层的信息关联关系分析，是解决上述问题的主要手段，而各层能提供进行分析的信息主要包括：设备日志、系统告警、网元性能，其中日志的信息量最大。本发明的基于大数据的网络运维方法旨在提供一种对日志、告警、性能进行多层关联关系分析的方案，进而有效的解决了NFV运维中跨层根因难以定位排查的问题。
下面结合图1描述本发明的基于大数据的网络运维方法，该方法包括以下步骤：
S100、当NFV网络中告警触发时，基于映射关系，生成告警对应的链路。在该方法中，映射关系是基于NFV网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的。
在NFV后，至少包括三层的结构，具体包括：上层核心网、底层硬件设备层和虚拟化层，该方法中，映射关系是跨层的映射。目前NFV跨层处理中考虑的是如何定位告警与对应的节点，并以此来定位故障和分析故障，本发明的基于大数据的网络运维方法中建立的是日志、告警、节点性能的跨层关联，通过将节点设备的性能优劣与设备的告警相结合的方式，可以提升故障命中率，提前完成自动告警督办及人工干预等手段，提升故障和投诉监控预防能力以及处理效率。
S200、获取链路中所有节点在告警周期生成的日志，也就是说获取链路中对应的所有节点在告警周期该时间段内生成的日志。
S300、将所有节点在告警周期生成的日志输入至预设告警知识库中，得到预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息。
在本实施例中，告警配置信息包括但不局限于：告警类型、告警名称、告警程度、告警触发条件、日志类型等，其中，日志类型可以与及节点的类型相对应。
在该方法中，预设告警知识库是基于样本日志训练得到的，可选的，预设告警知识库通过以下步骤训练得到：
获取样本日志；
将样本日志作为训练使用的输入数据，采用机器学习的方式，得到用于生成告警配置信息、告警处理方案和节点性能信息的预设告警知识库。
在本实施例中，预设告警知识库是从日志解析、日志时序特征分析、层级聚类分析、日志关联分析等多重角度，并以机器学习的训练方式生成的。可以理解的是，机器学习的方式可以是无监督、有监督、弱监督等。
该方法中，通过训练好的预设告警知识库形成日志的告警监控和告警处理系统，并利用该系统进行告警的监控和处理。在一些可能的实施例中，预设告警知识库还可以结合专家经验输出告警配置信息、告警处理方案和节点性能信息，专家经验是相关专家或者运维人员在实际的运维工作中针对告警处理所总结的运维方案或者运维经验。
因此，本发明的基于大数据的网络运维方法不仅可以满足设备的日志分析需求，还能满足安全专业的日志分析需求、安全日志分析的目的是通过对防火墙设备或者应用设备进行有效的监控用户网络行为，跟踪网络资源的使用情况，识别异常流量和性能的瓶颈，通过系统自动化去分析识别问题，响应故障告警。从而达到一个稳定、安全、高校的系统运营环境，是一种实时的监控手段。设备日志分析的目的是通过定时去获取日志，并实现周期性分析来判断设备性能变化和使用利用率等，并通过各种参数统计与分析输出相关性能分析报告，能让用户更好地去规划部署系统的资源，以及及时发现隐患，是一种周期性分析的监控手段。
本发明的基于大数据的网络运维方法，通过对NFV网络中日志、告警和节点性能进行跨层的多层关联分析，有效的解决了NFV运维中跨层根因排查难的问题；通过实时地日志分析和监控，提前完成自动告警督办及人工干预等手段，提升故障和投诉监控预防能力以及处理效率，节省运维时长，提高工作效率。
下面结合图2描述本发明的基于大数据的网络运维方法，该方法中映射关系通过以下步骤建立：
A100、获取NFV网络中的日志。
在本实施例中，支持多域的设备的日志接入，除NFV外，还能进行传统网元例如PS域、IMS域、CS域等2/3/4G网元的日志接入，以及数通网元例如路由器、交换机、防火墙等网元的日志接入。
A200、基于时序关系，建立日志同告警以及节点性能之间的关联关系。
A300、建立NFV网络中节点的业务逻辑拓扑。
在一些可能的实施例中，步骤A300中可以根据业务的流程整合并梳理各业务场景的节点之间调用关系形成业务逻辑拓扑，可以理解的是，业务逻辑拓扑中的业务链可以相应的的进行保存。业务逻辑拓扑的每条业务链中包含的信息包括：源节点、各个中间节点、目标节点以及相应的配置信息。配置信息可以预先进行设定，并且配置信息用于指示节点与告警问题相关的信息，基于配置信息可以对在同一时间周期内产生的所有告警进行节点定位。
需要说明的是，步骤A300还可以与上述的专家经验相结合，整合并梳理各业务场景的节点之间调用关系形成业务逻辑拓扑。
A400、基于业务逻辑拓扑以及关联关系，建立节点同告警之间的映射关系。
下面结合图3描述本发明的基于大数据的网络运维方法，步骤A200具体包括以下步骤：
A210、解析获取到的日志，得到日志的顺序信息和来源信息。该方法中，顺序信息表示该日志的生成顺序，来源信息表示该日志的来源。
A220、基于日志获取过程中生成的自增序列、顺序信息和来源信息，确定解析后日志的上下文内容。
A230、基于日志以及对应的上下文内容，建立预设时间段内日志同告警以及节点性能之间的关联关系。
具体的，对日志数据进行采集，对日志采集生成自增序列，将数据批量采集到解析端；数据解析端对接收到的数据批量转发到分布式消息队列中进行消费；对采集的原始数据进行消费解析后，建立搜索引擎标识，同时完成数据入库存储；对目标日志进行自增序列的定位，确定目标日志的上下文内容，实现日志的时序关联分析。
在本实施例中，使用的是开源的ELK套件，由file beats作为采集端，时刻监控需要采集日志的源，一旦源中有新的日志写入，则作为采集端的file beats会立即采集最新的日志并发送至后端系统中，以达到实时处理的要求。
需要说明的是，需要采集何种类型的日志可以由用户指定。
开源的ELK套件，由Logstash作为后端系统接收到采集端发送的日志数据后，对日志数据进行解析处理，分离出日志数据中有意义或者是用户所需要的信息，组成一个一个的字段，并发送至索引系统中。
开源的ELK套件，由Elasticsearch作为索引系统，负责对准备好的数据建立倒排索引结构，以方便用户后续进行快速的查找，建索引期间还有可能会有分词等操作，以使用户可以进行自由化全文本检索。日志数据被建成索引后，用户即可以对其进行搜索、统计、分析等操作，上述操作可以通过接口，也可以通过界面来进行，例如使用Kibana，用户可以根据具体的场景来实现自己的需求。
由于file beats的处理速度较快，Logstash的处理速度较慢，因此，在本实施例中，还可以加入等待序列RabbitMQ。
综上，该方法中通过运用ELK套件架构，大大提升了处理线上运维问题的效率。ELK套件首先由file beats分布于各个节点上搜集相关日志、数据，并经过Logstash分析、过滤后发送给远端服务器上的Elasticsearch进行存储，Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询，操作。用户亦可以更直观的通过配置Kibana WebPortal方便的对日志查询，并根据数据生成报表。
该方法中，通过搜集、过滤、传输和储存日志的相关数据，对海量系统和组件日志进行集中管理和准实时搜索和分析，使用搜索、监控、事件消息和报表等简单易用的功能，帮助运维人员进行线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、安全与合规审计，可以深度挖掘日志的大数据价值。
下面结合图4描述本发明的基于大数据的网络运维方法，步骤A400具体包括以下步骤：
A410、根据关联关系，确定业务逻辑拓扑中的业务链与告警相关联的节点。
A420、建立告警与所有告警相关联的节点之间的映射关系。
下面结合图5描述本发明的基于大数据的网络运维方法，步骤S100具体包括以下步骤：
S110、当告警触发时，基于映射关系，确定告警对应的异常节点和异常节点的节点性能。
具体的，是在告警周期内，确定告警对应的异常节点和异常节点的节点性能，告警开始时间到告警结束时间为一个告警周期。
S120、基于异常节点和节点性能，获取包含异常节点的业务链。
S130、将包含异常节点的业务链中重复的节点进行合并去重，串联去重后的节点，生成链路。
因此，生成的该链路指示的是与告警相关的所有异常节点，并呈现异常节点的链路关系和节点性能，方便快速定位故障后各组件联动异常。
下面对本发明提供的基于大数据的网络运维装置进行描述，下文描述的基于大数据的网络运维装置与上文描述的基于大数据的网络运维方法可相互对应参照。
下面结合图6描述本发明的基于大数据的网络运维装置，该装置包括：
生成模块100，用于当NFV网络中告警触发时，基于映射关系，生成告警对应的链路。在该装置中，映射关系是基于NFV网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的。
在NFV后，至少包括三层的结构，具体包括：上层核心网、底层硬件设备层和虚拟化层，该装置中，映射关系是跨层的映射。目前NFV跨层处理中考虑的是如何定位告警与对应的节点，并以此来定位故障和分析故障，本发明的基于大数据的网络运维装置中建立的是日志、告警、节点性能的跨层关联，通过将节点设备的性能优劣与设备的告警相结合的方式，可以提升故障命中率，提前完成自动告警督办及人工干预等手段，提升故障和投诉监控预防能力以及处理效率。
获取模块200，用于获取链路中所有节点在告警周期生成的日志，也就是说获取链路中对应的所有节点在告警周期该时间段内生成的日志。
处理模块300，用于将所有节点在告警周期生成的日志输入至预设告警知识库中，得到预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息。
在本实施例中，告警配置信息包括但不局限于：告警类型、告警名称、告警程度、告警触发条件、日志类型等，其中，日志类型可以与及节点的类型相对应。
在本实施例中，预设告警知识库是从日志解析、日志时序特征分析、层级聚类分析、日志关联分析等多重角度，并以机器学习的训练方式生成的。可以理解的是，机器学习的方式可以是无监督、有监督、弱监督等。
该装置中，通过训练好的预设告警知识库形成日志的告警监控和告警处理系统，并利用该系统进行告警的监控和处理。在一些可能的实施例中，预设告警知识库还可以结合专家经验输出告警配置信息、告警处理方案和节点性能信息，专家经验是相关专家或者运维人员在实际的运维工作中针对告警处理所总结的运维方案或者运维经验。
因此，本发明的基于大数据的网络运维装置不仅可以满足设备的日志分析需求，还能满足安全专业的日志分析需求、安全日志分析的目的是通过对防火墙设备或者应用设备进行有效的监控用户网络行为，跟踪网络资源的使用情况，识别异常流量和性能的瓶颈，通过系统自动化去分析识别问题，响应故障告警。从而达到一个稳定、安全、高校的系统运营环境，是一种实时的监控手段。设备日志分析的目的是通过定时去获取日志，并实现周期性分析来判断设备性能变化和使用利用率等，并通过各种参数统计与分析输出相关性能分析报告，能让用户更好地去规划部署系统的资源，以及及时发现隐患，是一种周期性分析的监控手段。
本发明的基于大数据的网络运维装置，通过对NFV网络中日志、告警和节点性能进行跨层的多层关联分析，有效的解决了NFV运维中跨层根因排查难的问题；通过实时地日志分析和监控，提前完成自动告警督办及人工干预等手段，提升故障和投诉监控预防能力以及处理效率，节省运维时长，提高工作效率。
该装置中映射关系通过以下模块建立：
日志获取模块，用于获取NFV网络中的日志。
在本实施例中，支持多域的设备的日志接入，除NFV外，还能进行传统网元例如PS域、IMS域、CS域等2/3/4G网元的日志接入，以及数通网元例如路由器、交换机、防火墙等网元的日志接入。
跨层关联模块，用于基于时序关系，建立日志同告警以及节点性能之间的关联关系。
拓扑建立模块，用于建立NFV网络中节点的业务逻辑拓扑。
在一些可能的实施例中，拓扑建立模块中可以根据业务的流程整合并梳理各业务场景的节点之间调用关系形成业务逻辑拓扑，可以理解的是，业务逻辑拓扑中的业务链可以相应的的进行保存。业务逻辑拓扑的每条业务链中包含的信息包括：源节点、各个中间节点、目标节点以及相应的配置信息。配置信息可以预先进行设定，并且配置信息用于指示节点与告警问题相关的信息，基于配置信息可以对在同一时间周期内产生的所有告警进行节点定位。
需要说明的是，拓扑建立模块还可以与上述的专家经验相结合，整合并梳理各业务场景的节点之间调用关系形成业务逻辑拓扑。
映射建立模块，用于基于业务逻辑拓扑以及关联关系，建立节点同告警之间的映射关系。
下面结合图7描述本发明的基于大数据的网络运维装置，生成模块100具体包括：
确定单元110，用于当告警触发时，基于映射关系，确定告警对应的异常节点和异常节点的节点性能。
具体的，是在告警周期内，确定告警对应的异常节点和异常节点的节点性能，告警开始时间到告警结束时间为一个告警周期。
获取单元120，用于基于异常节点和节点性能，获取包含异常节点的业务链。
生成单元130，用于将包含异常节点的业务链中重复的节点进行合并去重，串联去重后的节点，生成链路。
因此，生成的该链路指示的是与告警相关的所有异常节点，并呈现异常节点的链路关系和节点性能，方便快速定位故障后各组件联动异常。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行基于大数据的网络运维方法，该方法包括以下步骤：
S100、当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
S200、获取所述链路中所有节点在告警周期生成的日志；
S300、将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息；其中，所述预设告警知识库是基于样本日志训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于大数据的网络运维方法，该方法包括以下步骤：
S100、当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
S200、获取所述链路中所有节点在告警周期生成的日志；
S300、将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息；其中，所述预设告警知识库是基于样本日志训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于大数据的网络运维方法，该方法包括：该方法包括以下步骤：
S100、当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
S200、获取所述链路中所有节点在告警周期生成的日志；
S300、将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息；其中，所述预设告警知识库是基于样本日志训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于大数据的网络运维方法，其特征在于，包括以下步骤：
当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
获取所述链路中所有节点在告警周期生成的日志；
将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息；其中，所述预设告警知识库是基于样本日志训练得到的。
2.根据权利要求1所述的基于大数据的网络运维方法，其特征在于，所述当网络功能虚拟化网络中告警触发时，基于所述映射关系，生成所述告警对应的链路步骤中，所述映射关系通过以下步骤建立：
获取网络功能虚拟化网络中的日志；
基于时序关系，建立日志同告警以及节点性能之间的所述关联关系；
建立网络功能虚拟化网络中节点的所述业务逻辑拓扑；
基于所述业务逻辑拓扑以及所述关联关系，建立所述节点同所述告警之间的所述映射关系。
3.根据权利要求2所述的基于大数据的网络运维方法，其特征在于，所述基于时序关系，建立日志同告警以及节点性能之间的关联关系，具体包括以下步骤：
解析获取到的所述日志，得到所述日志的顺序信息和来源信息；其中，所述顺序信息表示该日志的生成顺序，所述来源信息表示该日志的来源；
基于日志获取过程中生成的自增序列、所述顺序信息和所述来源信息，确定解析后日志的上下文内容；
基于所述日志以及对应的所述上下文内容，建立预设时间段内所述日志同所述告警以及所述节点性能之间的所述关联关系。
4.根据权利要求3所述的基于大数据的网络运维方法，其特征在于，所述基于所述业务逻辑拓扑以及所述关联关系，建立所述节点同所述告警之间的所述映射关系，具体包括以下步骤：
根据所述关联关系，确定所述业务逻辑拓扑中的业务链与告警相关联的节点；
建立告警与所有告警相关联的节点之间的所述映射关系。
5.根据权利要求4所述的基于大数据的网络运维方法，其特征在于，所述当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路，具体包括以下步骤：
当告警触发时，基于所述映射关系，确定所述告警对应的异常节点和所述异常节点的所述节点性能；
基于所述异常节点和所述节点性能，获取包含所述异常节点的所述业务链；
将包含所述异常节点的所述业务链中重复的节点进行合并去重，串联去重后的节点，生成所述链路。
6.根据权利要求1所述的基于大数据的网络运维方法，其特征在于，所述预设告警知识库通过以下步骤训练得到：
获取所述样本日志；
将所述样本日志作为训练使用的输入数据，采用机器学习的方式，得到用于生成所述告警配置信息、所述告警处理方案和所述节点性能信息的所述预设告警知识库。
7.一种基于大数据的网络运维装置，其特征在于，包括：
生成模块，用于当网络功能虚拟化网络中告警触发时，基于映射关系，生成所述告警对应的链路；其中，所述映射关系是基于网络功能虚拟化网络中节点的业务逻辑拓扑，以及，日志同告警以及节点性能之间的关联关系建立的；
获取模块，用于获取所述链路中所有节点在告警周期生成的日志；
处理模块，用于将所有节点在告警周期生成的日志输入至预设告警知识库中，得到所述预设告警知识库输出的告警配置信息、告警处理方案和节点性能信息。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于大数据的网络运维方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大数据的网络运维方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大数据的网络运维方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111613114.XA CN114374600A (zh) | 2021-12-27 | 2021-12-27 | 一种基于大数据的网络运维方法、装置、设备及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111613114.XA CN114374600A (zh) | 2021-12-27 | 2021-12-27 | 一种基于大数据的网络运维方法、装置、设备及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114374600A true CN114374600A (zh) | 2022-04-19 |
Family
ID=81142566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111613114.XA Pending CN114374600A (zh) | 2021-12-27 | 2021-12-27 | 一种基于大数据的网络运维方法、装置、设备及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114374600A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116527478A (zh) * | 2023-06-25 | 2023-08-01 | 北京优特捷信息技术有限公司 | 一种故障聚类区分处理方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110191630A1 (en) * | 2010-01-29 | 2011-08-04 | International Business Machines Corporation | Diagnosing a fault incident in a data center |
| CN106250424A (zh) * | 2016-07-22 | 2016-12-21 | 杭州朗和科技有限公司 | 一种日志上下文内容的搜索方法、装置及系统 |
| CN109240895A (zh) * | 2018-09-11 | 2019-01-18 | 北京北信源信息安全技术有限公司 | 一种分析日志故障的处理方法及装置 |
| CN111756582A (zh) * | 2020-07-07 | 2020-10-09 | 上海新炬网络技术有限公司 | 基于nfv日志告警的业务链监控方法 |
-
2021
- 2021-12-27 CN CN202111613114.XA patent/CN114374600A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110191630A1 (en) * | 2010-01-29 | 2011-08-04 | International Business Machines Corporation | Diagnosing a fault incident in a data center |
| CN106250424A (zh) * | 2016-07-22 | 2016-12-21 | 杭州朗和科技有限公司 | 一种日志上下文内容的搜索方法、装置及系统 |
| CN109240895A (zh) * | 2018-09-11 | 2019-01-18 | 北京北信源信息安全技术有限公司 | 一种分析日志故障的处理方法及装置 |
| CN111756582A (zh) * | 2020-07-07 | 2020-10-09 | 上海新炬网络技术有限公司 | 基于nfv日志告警的业务链监控方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116527478A (zh) * | 2023-06-25 | 2023-08-01 | 北京优特捷信息技术有限公司 | 一种故障聚类区分处理方法、装置、设备和存储介质 |
| CN116527478B (zh) * | 2023-06-25 | 2023-09-12 | 北京优特捷信息技术有限公司 | 一种故障聚类区分处理方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107196804B (zh) | 电力系统终端通信接入网告警集中监控系统及方法 | |
| CN111885012B (zh) | 基于多种网络设备信息采集的网络态势感知方法及系统 | |
| CN111756582B (zh) | 基于nfv日志告警的业务链监控方法 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN106209405B (zh) | 故障诊断方法及装置 | |
| CN108989132A (zh) | 故障告警处理方法、系统及计算机可读存储介质 | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| US20140281760A1 (en) | Management server, management system, and management method | |
| CN108964995A (zh) | 基于时间轴事件的日志关联分析方法 | |
| CN110716842B (zh) | 集群故障检测方法和装置 | |
| CN113516244B (zh) | 一种智能运维方法、装置、电子设备及存储介质 | |
| CN112559237B (zh) | 运维系统排障方法、装置、服务器和存储介质 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN112559376A (zh) | 一种数据库故障的自动定位方法、装置及电子设备 | |
| CN113542017A (zh) | 基于网络拓扑和多指标的一种网络故障定位方法 | |
| CN108108445A (zh) | 一种智能数据处理方法和系统 | |
| CN114374600A (zh) | 一种基于大数据的网络运维方法、装置、设备及产品 | |
| CN107204868B (zh) | 一种任务运行监控信息获取方法和装置 | |
| CN111371570B (zh) | 一种nfv网络的故障检测方法及装置 | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112803587A (zh) | 一种基于诊断决策库的自动化设备状态智能巡视方法 | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| CN113946822A (zh) | 安全风险监控方法、系统、计算机设备和存储介质 | |
| CN113065001A (zh) | 一种故障止损方法及装置 | |
| CN115827363A (zh) | 资源告警分析方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |