CN114679378A - 日志监控分析方法、系统、存储介质及电子装置 - Google Patents

日志监控分析方法、系统、存储介质及电子装置 Download PDF

Info

Publication number
CN114679378A
CN114679378A CN202210425540.9A CN202210425540A CN114679378A CN 114679378 A CN114679378 A CN 114679378A CN 202210425540 A CN202210425540 A CN 202210425540A CN 114679378 A CN114679378 A CN 114679378A
Authority
CN
China
Prior art keywords
monitoring
application
log
resource
resource node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210425540.9A
Other languages
English (en)
Inventor
陈晨
张东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202210425540.9A priority Critical patent/CN114679378A/zh
Publication of CN114679378A publication Critical patent/CN114679378A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Abstract

本申请公开了一种日志监控分析方法、系统、存储介质及电子装置,涉及智能家居/智慧家庭技术领域,该日志监控分析方法包括:获取应用任务中各个资源节点对应的监控日志;根据监控日志,得到各个资源节点的应用请求特征,并根据应用请求特征,获取应用任务中资源节点之间的关联关系;根据关联关系,确定应用任务中的待预测资源节点,并通过预设故障预测规则,对待预测资源节点的监控数据进行判断,得到故障预测结果;根据故障预测结果,生成应用任务对应的监控告警信息。本申请以应用为单位,将应用中每个资源节点的日志作为监控对象,根据应用中资源节点之间的关联关系,从而更为便捷的完成应用链路的梳理,提高了故障定位效率和准确性。

Description

日志监控分析方法、系统、存储介质及电子装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种日志监控分析方法、系统、存储介质及电子装置。
背景技术
随着信息科技发展,云计算逐步成为业界的发展热点,在微服务架构大规模应用部署的混合云环境中,当IT资源中的应用、服务器、网络、数据库、中间件、存储或软件等出现故障时,需要依靠承载监控的云厂商及自建告警工具,根据监控指标及阈值进行告警。
在当前的混合云环境中,对于大规模应用下的复杂链路调用,在出现故障时,由于涉及到的数据库、应用、消息中间件、存储或软件等相关依赖节点较多,目前主要还是基于人工排查的方式,对链路中的故障进行定位,存在链路梳理及定位故障难度大,且故障定位效率较低的问题。
因此,现在亟需一种日志监控分析方法、系统、存储介质及电子装置来解决上述问题。
发明内容
本申请提供一种日志监控分析方法、系统、存储介质及电子装置,用以解决现有技术中复杂应用链路定位故障难度较大的缺陷,实现更为效率且准确的完成应用链路梳理及故障定位。
本申请提供一种日志监控分析方法,包括:
获取应用任务中各个资源节点对应的监控日志;
根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;
根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;
根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
根据本申请提供的一种日志监控分析方法,在所述获取应用任务中各个资源节点对应的监控日志之前,所述方法还包括:
通过配置管理数据库,得到多个云平台中的资源节点信息;
所述获取应用任务中各个资源节点对应的监控日志,包括:
通过资源节点监控预设规则,对所述资源节点信息进行实时监控,获取所述应用任务中各个资源节点对应的监控日志。
根据本申请提供的一种日志监控分析方法,所述根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务与资源节点之间的关联关系,包括:
根据所述监控日志,确定所述各个资源节点的应用请求特征,所述请求特征至少包括应用请求内容,源IP地址、目的IP地址以及端口信息;
根据所述应用请求特征,获取所述应用任务中各个资源节点的上下游节点,以得到所述应用任务中每个资源节点与其它资源节点之间的关联关系。
根据本申请提供的一种日志监控分析方法,所述获取应用任务中各个资源节点对应的监控日志,包括:
通过每个资源节点的网关,获取网络连接请求日志;
根据所述网络连接请求日志,获取所述应用任务中各个资源节点对应的监控日志。
根据本申请提供的一种日志监控分析方法,在所述通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果之前,所述方法还包括:
基于资源节点的资源类型和应用任务的场景类型,设置对应的告警规则和监控指标;
根据所述告警规则和所述监控指标,生成预设故障预测规则。
根据本申请提供的一种日志监控分析方法,在所述根据所述告警规则和所述监控指标,生成预设故障预测规则之后,所述方法还包括:
获取监控指标的调整指令;
根据所述调整指令,对所述预设故障预测规则中的监控指标进行调整,以根据调整后的监控指标,生成新的预设故障预测规则。
根据本申请提供的一种日志监控分析方法,在所述通过配置管理数据库,得到多个云平台中的资源节点信息之前,所述方法还包括:
对多个云平台中的资源节点信息进行采集,其中,所述资源节点信息至少包括应用设备、服务器、网络设备、数据库、中间件、存储单元和软件资源的信息;
所述通过配置管理数据库,得到多个云平台中的资源节点信息,包括:
通过配置管理数据库,对所述资源节点信息进行本地化同步处理,以对本地化同步处理后的资源节点信息进行监控。
本申请还提供一种日志监控分析系统,包括:
监控日志获取模块,用于获取应用任务中各个资源节点对应的监控日志;
日志分析模块,用于根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;
故障预测模块,用于根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;
监控告警模块,用于根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
本申请还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行实现如上述任一种所述日志监控分析方法。
本申请还提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述日志监控分析方法。
本申请提供的日志监控分析方法、系统、存储介质及电子装置,以应用为单位,将应用中每个资源节点的日志作为监控对象,根据应用中资源节点之间的关联关系进行故障预测,从而更为便捷的完成应用链路的梳理,提高了故障定位效率和准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种智能设备的交互方法的硬件环境示意图;
图2为本申请提供的日志监控分析方法的流程示意图;
图3为本申请提供的日志监控分析系统的结构示意图;
图4为本申请提供的日志监控分析系统的工作时序示意图;
图5是本申请提供的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种日志监控分析方法。该日志监控分析方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述日志监控分析方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在现有大规模应用下的复杂链路调用过程中,主要面临着以下三个问题:
1、故障定位困难。当告警或问题出现时,拨测链路难以覆盖应用链路,如果尽可能多的覆盖,又会造成众多无效告警;而在拨测覆盖不齐的情况下,业务人员又忙于设置繁琐的告警屏蔽和告警抑制规则;在对故障节点进行定位时,由于告警接口或一线反馈的问题表现单一,实际后端却是通过数十个微服务所构成的,而且是由不同团队开发,当出现故障问题时,需要牵扯十几个部门一起排查,导致排查故障原因难。
2、应用依赖链路梳理难度较大。如今企业各人员流动频繁,系统从开发到完成由多人完成,只有一直参与的人员才知道技术架构。对于线上应用,一个完整的应用运行环境是多式多样的,导致应用涉及的依赖数据库、应用、消息中间件、存储或软件等(即应用中对应的各个资源节点)梳理困难。并且,在部分情况中,前期应用已经下线,相关依赖仍未退订,也会存在链路梳理结果有偏差,导致后续故障定位时准确性降低。
3、资源消耗较大。由于现有故障定位主要依赖于人工,所衍生的人力成本以及相关机器资源成本,导致企业资源的浪费。
基于上述现有技术中存在的问题,本申请对采集、分析以及统计后的日志进行持续分析,并通过配置管理数据库(Configuration Management Database,简称CMDB),即应用及基础资源等数据库,在发生告警时,获取各依赖节点、相关资源或应用状态,对大规模业务应用难以追踪应用实例、应用依赖及基础资源调用关系的情况,可提高工作效率,减少故障时间。
图2为本申请提供的日志监控分析方法的流程示意图,如图2所示,本申请提供了一种日志监控分析方法,包括:
步骤201,获取应用任务中各个资源节点对应的监控日志。
在本申请中,可设置一个预设时长,针对CMDB中涉及的全部资源,将每个资源节点对应的监控日志,按照预设时长保存到系统内,在对应用进行监控时,使得获取到的监控日志基于不同的监控要求将会保留一段时间,以对该应用进行持续性监控分析。
进一步地,如果应用中存在异常的资源节点或接收相关的告警时,通过CMDB的应用依赖关系,将会以应用为单元,生成相应的告警内容,并发送到业务人员。
步骤202,根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系。
在本申请中,通过获取资源节点网关的监控日志,得到网关的网络连接请求日志,即得到应用请求特征,进而对网关的网络连接请求日志进行分析。在本申请中,结合CMDB中应用相关实例(例如,根据当前资源节点的应用请求,确定该应用请求对应的其他依赖节点)和基础资源的IP端口,确定各资源节点的应用请求特征,以得到各个资源节点之间的关联关系。在一实施例中,对于某个应用任务已保存的一段时间内的监控日志,可对该监控日志中每个资源节点相关的目的IP地址、源IP地址,端口信息以及应用请求内容进行查询分析,形成完整的应用任务内的资源依赖关系。本申请通过对监控日志进行分析,从而形成应用任务中资源节点之间的依赖关系,可快速获取搭配应用链路上全部资源的状态,保障了故障排查方向的正确方向,减少假设,由于不再通过人工方式进行故障排查,进而使业务人员成本降低,提升故障排查效率。
步骤203,根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;
步骤204,根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
在本申请中,针对CMDB中应用任务的全部资源节点,各个应用或业务分别有多个预设的故障预测规则,或者应用或业务内各个资源节点分别对应有多个预设的故障预测规则。基于这些前期预设的故障预测规则,从而判断应用或业务中存在关联关系的资源节点是否故障,进而生成以业务为单位的告警信息,其中,告警信息中至少包括故障影响的资源节点、故障涉及到的应用或业务、故障状态以及故障描述。
本申请提供的日志监控分析方法,以应用为单位,将应用中每个资源节点的日志作为监控对象,根据应用中资源节点之间的关联关系进行故障预测,从而更为便捷的完成应用链路的梳理,提高了故障定位效率和准确性。
在上述实施例的基础上,在所述获取应用任务中各个资源节点对应的监控日志之前,所述方法还包括:
通过配置管理数据库,得到多个云平台中的资源节点信息。
具体地,在所述通过配置管理数据库,得到多个云平台中的资源节点信息之前,所述方法还包括:
对多个云平台中的资源节点信息进行采集,其中,所述资源节点信息至少包括应用设备、服务器、网络设备、数据库、中间件、存储单元和软件资源的信息;
所述通过配置管理数据库,得到多个云平台中的资源节点信息,包括:
通过配置管理数据库,对所述资源节点信息进行本地化同步处理,以对本地化同步处理后的资源节点信息进行监控。
在本申请中,可利用CMDB系统,对应用任务涉及的多个云平台中的全部资源节点进行信息采集,进而对这些资源节点信息进行本地化同步,同时对自建资源自发现,对应用或业务通过应用管理平台进行同步。
通过资源节点监控预设规则,对所述资源节点信息进行实时监控,获取所述应用任务中各个资源节点对应的监控日志。
在本申请中,通过CMDB对各资源节点进行实时监控,从而对各个资源节点的监控日志进行分析。当资源节点发生非正常事件后,基于预设故障预测规则,以日志分析结果生成各资源节点之间的依赖关系,将应用调用链路中涉及故障资源节点的信息进行整合,生成CMDB中以业务为单位的综合预警及故障信息。
在上述实施例的基础上,所述根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务与资源节点之间的关联关系,包括:
根据所述监控日志,确定所述各个资源节点的应用请求特征,所述请求特征至少包括应用请求内容,源IP地址、目的IP地址以及端口信息;
根据所述应用请求特征,获取所述应用任务中各个资源节点的上下游节点,以得到所述应用任务中每个资源节点与其它资源节点之间的关联关系。
在本申请中,当前资源节点的应用请求特征中包括有该节点在链路中与其它节点之间的依赖关系,这些依赖关系可根据应用请求内容,源IP地址、目的IP地址以及端口信息确定。通过对监控日志中一段时间内的信息进行查询分析,从而形成以应用为单元的资源节点之间的关联关系,使得后续进行链路故障监控时,会根据应用任务的故障进行全面分析,准确定位相关的故障节点。并且,在对监控日志进行分析时,针对已退订的资源(如某个资源节点在较长一段时间内,日志信息未更新,或,该日志信息与当前应用任务不相关),可及时优化应用链路,不再对该资源节点进行监控,通过统一的监控手段,集中监控资源,避免资源孤岛和资源浪费。
本申请以日志分析结果生成的各个资源节点之间的依赖关系,将应用或业务内全部资源的故障预测结果进行整合,生成以应用或业务为单位的综合预警通知及故障预测信息。
在上述实施例的基础上,所述获取应用任务中各个资源节点对应的监控日志,包括:
通过每个资源节点的网关,获取网络连接请求日志;
根据所述网络连接请求日志,获取所述应用任务中各个资源节点对应的监控日志。
在本申请中,从资源节点的网关获取监控日志,由于网关的网络连接请求日志中包括有节点间的IP地址信息、端口信息以及基于应用任务的相关请求信息,从而可通过这些信息确定节点间的关联关系。
在上述实施例的基础上,在所述通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果之前,所述方法还包括:
基于资源节点的资源类型和应用任务的场景类型,设置对应的告警规则和监控指标;
根据所述告警规则和所述监控指标,生成预设故障预测规则。
在本申请中,针对CMDB中涉及到的全部资源节点,按照节点的资源类型(例如,节点为数据库或者服务器),以及应用任务的场景类型(例如,应用任务为通过服务器进行相关的数据处理),预先设置对应的告警规则和监控指标,从而基于监控信息,对资源节点进行实时监控;同时,将监控日志设置一个预设保存时限,以保存到系统内,使得在进行日志分析时还考虑资源节点之间的时序关系。
在上述实施例的基础上,在所述根据所述告警规则和所述监控指标,生成预设故障预测规则之后,所述方法还包括:
获取监控指标的调整指令;
根据所述调整指令,对所述预设故障预测规则中的监控指标进行调整,以根据调整后的监控指标,生成新的预设故障预测规则。
在本申请中,每个单独资源节点的故障预测指标是可以调整的指标,基于不同的监控需求,通过构建相应的指标调整指令,对当前的预设故障预测的监控指标进行调整,例如,将服务器的负载监控指标从负载超过80%告警,调整到负载超过85%告警。
下面对本申请提供的日志监控分析系统进行描述,下文描述的日志监控分析系统与上文描述的日志监控分析方法可相互对应参照。
图3为本申请提供的日志监控分析系统的结构示意图,如图3所示,本申请提供了一种日志监控分析系统,包括监控日志获取模块301、日志分析模块302、故障预测模块303和监控告警模块304,其中,监控日志获取模块301用于获取应用任务中各个资源节点对应的监控日志;日志分析模块302用于根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;故障预测模块303用于根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;监控告警模块304用于根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
在本申请中,通过监控日志获取模块301,设置一个预设时长,针对CMDB中涉及的全部资源,将每个资源节点对应的监控日志,按照预设时长保存到系统内。日志监控分析系统在对应用进行监控时,使得获取到的监控日志基于不同的监控要求将会保留一段时间,以对该应用进行持续性监控分析。
进一步地,图4为本申请提供的日志监控分析系统的工作时序示意图,可参考图4所示,在对应用链路中的日志进行监控时,当应用中存在异常的资源节点或接收相关的告警的情况下,监控日志获取模块301通过CMDB系统,获取相关的监控日志数据,并将监控日志数据返回到监控告警模块304,以通过监控告警模块304中的监控日志数据库将数据进行保存;同时,通过日志分析模块302,从监控日志获取模块301获取到资源节点的相关信息,并从监控日志数据库中获取对应的日志信息,从而分析查询应用中资源间的依赖关系,并通过故障预测模块303基于应用任务中的资源节点进行故障预测,使得监控告警模块304以应用为单元,生成相应的告警内容,并发送到业务人员的用户终端。
具体地,监控日志获取模301通过获取资源节点网关的监控日志,得到网关的网络连接请求日志,即得到应用请求特征;然后,日志分析模块302对网关的网络连接请求日志进行分析。在本申请中,日志分析模块302结合CMDB系统中应用相关实例(例如,根据当前资源节点的应用请求,确定该应用请求对应的其他依赖节点)和基础资源的IP端口,确定各资源节点的应用请求特征,以得到各个资源节点之间的关联关系。在一实施例中,对于某个应用任务已保存的一段时间内的监控日志,可对该监控日志中每个资源节点相关的目的IP地址、源IP地址,端口信息以及应用请求内容进行查询分析,形成完整的应用任务内的资源依赖关系。
进一步地,针对CMDB中应用任务的全部资源节点,各个应用或业务分别有多个预设的故障预测规则,或者应用或业务内各个资源节点分别对应有多个预设的故障预测规则。故障预测模块303基于这些前期预设的故障预测规则,从而判断应用或业务是否故障;最后,监控告警模块304根据故障预测模块303的故障预测结果,生成以业务为单位的告警信息,其中,告警信息中至少包括故障影响的资源节点、故障涉及到的应用或业务、故障状态以及故障描述。
本申请提供的日志监控分析系统,以应用为单位,将应用中每个资源节点的日志作为监控对象,根据应用中资源节点之间的关联关系进行故障预测,从而更为便捷的完成应用链路的梳理,提高了故障定位效率和准确性。
在上述实施例的基础上,所述系统还包括CMDB模块,其中,CMDB模块用于通过配置管理数据库,得到多个云平台中的资源节点信息;所述监控日志获取模块还用于通过资源节点监控预设规则,对所述资源节点信息进行实时监控,获取应用任务中各个资源节点对应的监控日志。
在上述实施例的基础上,所述日志分析模块包括第一处理单元和第二处理单元,其中,第一处理单元用于根据所述监控日志,确定所述各个资源节点的应用请求特征,所述请求特征至少包括应用请求内容,源IP地址、目的IP地址以及端口信息;第二处理单元用于根据所述应用请求特征,获取所述应用任务中各个资源节点的上下游节点,以得到所述应用任务中每个资源节点与其它资源节点之间的关联关系。
在上述实施例的基础上,所述监控日志获取模块还包括网关日志采集单元和监控日志生成单元,其中,网关日志采集单元用于通过每个资源节点的网关,获取网络连接请求日志;监控日志生成单元用于根据所述网络连接请求日志,获取所述应用任务中各个资源节点对应的监控日志。
在上述实施例的基础上,所述系统还包括监控规则设置模块和监控规则生成模块,其中,监控规则设置单元用于基于资源节点的资源类型和应用任务的场景类型,设置对应的告警规则和监控指标;监控规则生成单元用于根据所述告警规则和所述监控指标,生成预设故障预测规则。
在上述实施例的基础上,所述系统还包括指标设置模块和指标调整模块,其中,指标设置模块用于获取监控指标的调整指令;指标调整模块用于根据所述调整指令,对所述预设故障预测规则中的监控指标进行调整,以根据调整后的监控指标,生成新的预设故障预测规则。
在上述实施例的基础上,所述CMDB模块还用于对多个云平台中的资源节点信息进行采集,其中,所述资源节点的信息至少包括应用设备、服务器、网络设备、数据库、中间件、存储单元和软件资源的信息;通过配置管理数据库,对所述资源节点信息进行本地化同步处理,以对本地化同步处理后的资源节点信息进行监控。
图5是本申请提供的电子装置的结构示意图,如图5所示,该电子装置可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行日志监控分析方法,该方法包括:获取应用任务中各个资源节点对应的监控日志;根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在计算机可读的存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的日志监控分析方法,该方法包括:获取应用任务中各个资源节点对应的监控日志;根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
又一方面,本申请还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述各方法提供的日志监控分析方法,该方法包括:获取应用任务中各个资源节点对应的监控日志;根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种日志监控分析方法,其特征在于,包括:
获取应用任务中各个资源节点对应的监控日志;
根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;
根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;
根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
2.根据权利要求1所述的日志监控分析方法,其特征在于,在所述获取应用任务中各个资源节点对应的监控日志之前,所述方法还包括:
通过配置管理数据库,得到多个云平台中的资源节点信息;
所述获取应用任务中各个资源节点对应的监控日志,包括:
通过资源节点监控预设规则,对所述资源节点信息进行实时监控,获取所述应用任务中各个资源节点对应的监控日志。
3.根据权利要求1所述的日志监控分析方法,其特征在于,所述根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务与资源节点之间的关联关系,包括:
根据所述监控日志,确定所述各个资源节点的应用请求特征,所述请求特征至少包括应用请求内容,源IP地址、目的IP地址以及端口信息;
根据所述应用请求特征,获取所述应用任务中各个资源节点的上下游节点,以得到所述应用任务中每个资源节点与其它资源节点之间的关联关系。
4.根据权利要求1所述的日志监控分析方法,其特征在于,所述获取应用任务中各个资源节点对应的监控日志,包括:
通过每个资源节点的网关,获取网络连接请求日志;
根据所述网络连接请求日志,获取所述应用任务中各个资源节点对应的监控日志。
5.根据权利要求1所述的日志监控分析方法,其特征在于,在所述通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果之前,所述方法还包括:
基于资源节点的资源类型和应用任务的场景类型,设置对应的告警规则和监控指标;
根据所述告警规则和所述监控指标,生成预设故障预测规则。
6.根据权利要求5所述的日志监控分析方法,其特征在于,在所述根据所述告警规则和所述监控指标,生成预设故障预测规则之后,所述方法还包括:
获取监控指标的调整指令;
根据所述调整指令,对所述预设故障预测规则中的监控指标进行调整,以根据调整后的监控指标,生成新的预设故障预测规则。
7.根据权利要求2所述的日志监控分析方法,其特征在于,在所述通过配置管理数据库,得到多个云平台中的资源节点信息之前,所述方法还包括:
对多个云平台中的资源节点信息进行采集,其中,所述资源节点信息至少包括应用设备、服务器、网络设备、数据库、中间件、存储单元和软件资源的信息;
所述通过配置管理数据库,得到多个云平台中的资源节点信息,包括:
通过配置管理数据库,对所述资源节点信息进行本地化同步处理,以对本地化同步处理后的资源节点信息进行监控。
8.一种日志监控分析系统,其特征在于,包括:
监控日志获取模块,用于获取应用任务中各个资源节点对应的监控日志;
日志分析模块,用于根据所述监控日志,得到所述各个资源节点的应用请求特征,并根据所述应用请求特征,获取所述应用任务中资源节点之间的关联关系;
故障预测模块,用于根据所述关联关系,确定所述应用任务中的待预测资源节点,并通过预设故障预测规则,对所述待预测资源节点的监控数据进行判断,得到故障预测结果;
监控告警模块,用于根据所述故障预测结果,生成所述应用任务对应的监控告警信息。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
CN202210425540.9A 2022-04-21 2022-04-21 日志监控分析方法、系统、存储介质及电子装置 Pending CN114679378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210425540.9A CN114679378A (zh) 2022-04-21 2022-04-21 日志监控分析方法、系统、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210425540.9A CN114679378A (zh) 2022-04-21 2022-04-21 日志监控分析方法、系统、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN114679378A true CN114679378A (zh) 2022-06-28

Family

ID=82080068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210425540.9A Pending CN114679378A (zh) 2022-04-21 2022-04-21 日志监控分析方法、系统、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114679378A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134224A (zh) * 2022-08-31 2022-09-30 杭州玳数科技有限公司 Dag图的监控方法及系统
CN115268282A (zh) * 2022-06-29 2022-11-01 青岛海尔科技有限公司 家电设备的控制方法、装置、存储介质及电子装置
CN117240755A (zh) * 2023-11-10 2023-12-15 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190179692A1 (en) * 2017-12-12 2019-06-13 MphasiS Limited Adaptive System and a Method for Application Error Prediction and Management
CN111756582A (zh) * 2020-07-07 2020-10-09 上海新炬网络技术有限公司 基于nfv日志告警的业务链监控方法
CN112152852A (zh) * 2020-09-23 2020-12-29 创新奇智(北京)科技有限公司 根因分析方法、装置、设备及计算机存储介质
CN112269718A (zh) * 2020-11-12 2021-01-26 北京北信源软件股份有限公司 一种业务系统故障分析方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190179692A1 (en) * 2017-12-12 2019-06-13 MphasiS Limited Adaptive System and a Method for Application Error Prediction and Management
CN111756582A (zh) * 2020-07-07 2020-10-09 上海新炬网络技术有限公司 基于nfv日志告警的业务链监控方法
CN112152852A (zh) * 2020-09-23 2020-12-29 创新奇智(北京)科技有限公司 根因分析方法、装置、设备及计算机存储介质
CN112269718A (zh) * 2020-11-12 2021-01-26 北京北信源软件股份有限公司 一种业务系统故障分析方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268282A (zh) * 2022-06-29 2022-11-01 青岛海尔科技有限公司 家电设备的控制方法、装置、存储介质及电子装置
CN115134224A (zh) * 2022-08-31 2022-09-30 杭州玳数科技有限公司 Dag图的监控方法及系统
CN117240755A (zh) * 2023-11-10 2023-12-15 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质
CN117240755B (zh) * 2023-11-10 2024-02-06 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN114679378A (zh) 日志监控分析方法、系统、存储介质及电子装置
CN102447570B (zh) 一种基于健康度分析的监控装置及方法
CN102739802B (zh) 面向业务应用的it集中运维分析系统
JP3510658B2 (ja) ネットワーク解析方法
Nováczki An improved anomaly detection and diagnosis framework for mobile network operators
CN107508722B (zh) 一种业务监控方法和装置
CN108989136B (zh) 业务端到端性能监控方法及装置
CN110659109B (zh) 一种openstack集群虚拟机监控系统及方法
CN110794800A (zh) 一种智慧工厂信息管理的监控系统
US11388064B2 (en) Prediction based on time-series data
CN110716842B (zh) 集群故障检测方法和装置
CN111901204B (zh) 一种云网络的巡检方法、装置及系统
CN112291075A (zh) 网络故障定位方法、装置、计算机设备及存储介质
CN115202958A (zh) 一种电力异常监控方法、装置、电子设备及存储介质
KR20190047809A (ko) Ict 장비 관리 시스템 및 방법
CN115499333A (zh) 关联关系的确定方法、系统、存储介质及电子装置
CN116166499A (zh) 数据监测方法、装置、电子设备及非易失性存储介质
CN116225834A (zh) 告警信息的发送方法、装置、存储介质及电子装置
CN113271216B (zh) 一种数据处理方法及相关设备
CN113852984A (zh) 一种无线终端接入监控系统、方法、电子设备及可读存储装置
CN112884176A (zh) 管理系统及方法
CN114268568B (zh) 一种网络流量监控方法、装置及设备
KR101104563B1 (ko) 시스로그 정보를 활용한 에스오피 관리 시스템 및 그 방법
KR100250990B1 (ko) 시티폰 운용관리시스템(coms)의 서비스 처리 방법
CN115795019A (zh) 业务日志的处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination