CN115794545A - 运维数据的自动化处理方法及其相关设备 - Google Patents
运维数据的自动化处理方法及其相关设备 Download PDFInfo
- Publication number
- CN115794545A CN115794545A CN202211438258.0A CN202211438258A CN115794545A CN 115794545 A CN115794545 A CN 115794545A CN 202211438258 A CN202211438258 A CN 202211438258A CN 115794545 A CN115794545 A CN 115794545A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- information
- preset
- maintenance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请实施例属于金融科技技术领域,应用于金融业务异常监控领域中,涉及一种运维数据的自动化处理方法及其相关设备,包括对多个运维监控系统的业务流程和架构流程进行监控配置;获取监控数据;根据监控数据获取所述健康险业务场景对应的I TSM工单数据;对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
Description
技术领域
本申请涉及金融科技技术领域,尤其涉及一种运维数据的自动化处理方法及其相关设备。
背景技术
在项目开发过程中和项目上线之后,运维人员需要对项目的运行进行监控,保证及早发现项目中的问题进行解决,而目前对项目进行监控时,随着业务量和业务复杂度的增加,往往需要多个监控系统进行同时协同监控,才能实现对整个项目的运维监控工作。
以金融科技业务中的健康险业务为例,由于需要多个监控系统进行同时协同监控,因此,在发生告警问题时,无法第一时间确认出产生告警的监控系统及对应流程节点信息,目前,采用的处理方式是在多个监控系统的页面进行相关数据查询,从而排除确认产生告警的监控系统及对应流程节点信息,但是,由于需要在多个监控系统的页面进行相关数据查询,无疑造成了运维人员的工作量增加,严重影响了对异常的处理时效。
发明内容
本申请实施例的目的在于提出一种运维数据的自动化处理方法及其相关设备,以解决现有技术中使用多个监控系统进行协同监控时,造成运维人员的工作量增加,处理时效较低的问题。
为了解决上述技术问题,本申请实施例提供一种运维数据的自动化处理方法,采用了如下所述的技术方案:
一种运维数据的自动化处理方法,包括下述步骤:
监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统;
所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;
对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据;
根据所述精简后的监控数据获取所述保险业务场景对应的I TSM工单数据;
根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据;
在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
进一步的,所述监控日志云监控系统的步骤之前,所述方法还包括:
获取多个运维监控系统的业务流程和架构流程中的流程节点信息;
根据预设配置列表为所述多个运维监控系统的业务流程和架构流程中的流程节点信息分别设置异常返回值信息,其中,所述预设配置列表中包括所述多个运维监控系统的业务流程和架构流程中的流程节点信息、所述流程节点对应的异常返回值信息。
进一步的,在执行所述根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统之前,所述方法还包括:
根据所述日志云监控系统中预设的识别判断条件,判断其他监控系统中是否产生了新的告警信息,其中,所述告警信息中至少包括所述异常返回值信息、所述异常返回值信息对应的流程节点信息和告警时间信息;
若产生了新的告警信息,则根据所述日志云监控系统中预设的传输触发组件启动预设的数据传输接口,获取其他监控系统发送的告警信息,其中,所述其他监控系统为健康险业务场景中移动应用监控系统、浏览器监控系统、主动拨测监控系统、马里奥业务监控系统、链路监控系统、基础资源监控系统和数据库监控系统。
进一步的,所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据的步骤,具体包括:
所述异常查询系统根据预设清洗过滤规则,清洗掉从所述推送接口推送的所述告警信息中的告警时间信息和所述异常返回值信息,并获取清洗之后仅保留的所述流程节点信息,作为告警关键字段;
使用定时任务方式调用预设查询接口;
将所述告警关键字段作为所述查询接口的查询字段,将预设的可选起始时间作为所述查询接口的限定条件,分别获取在所述限定条件下所述多个监控系统中所述查询字段为正常状态时至所述查询字段为本次告警状态时之间的监测日志片段,其中,所述监测日志片段为所述查询字段为正常状态时至所述查询字段为本次告警状态时,所述限定条件至本次告警时间段内的所有监控日志信息;
将所述监控日志信息作为所述多个运维监控系统的业务流程和架构流程对应的监控数据。
进一步的,所述对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据的步骤,具体包括:
获取所述监控日志信息中的记录时间信息;
根据所述记录时间信息对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行监控条目排序;
获取排序之后所述多个运维监控系统的业务流程和架构流程对应的监控数据;
并按照所述记录时间信息获取所述监控数据中所有的流程节点信息及所述所有流程节点的节点状态信息;
将所述所有的流程节点信息、所述所有流程节点的节点状态信息及每个所述流程节点对应的记录时间信息按照三元数据组的形式缓存,所述缓存完成的三元数据组即精简后的监控数据。
进一步的,所述根据所述精简后的监控数据获取所述健康险业务场景对应的ITSM工单数据的步骤,具体包括:
采用对比原则,筛选出所述三元数据组中最早的记录时间信息和最近的记录时间信息,获取在最早的记录时间信息和最近的记录时间信息之间所述健康险业务场景对应的I TSM工单数据,其中,所述I TSM工单数据包括所执行的方法、所述方法的执行处理时间、所述方法的完成状态。
进一步的,所述I TSM工单算法规则包括每个方法对应的执行处理时间阈值,所述根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据的步骤,具体包括:
获取所述I TSM工单数据中每个执行方法的实际执行时间和对应的执行处理时间阈值;
根据所述执行处理时间阈值和所述实际执行时间进行对比,判断每个执行方法的完成状态;
若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为正常完成状态;
若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为正常未完成状态;
若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为超时完成状态;
若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为超时未完成状态;
分别获取不同的三元数据组对应的记录时间信息下对应的执行方法的完成状态,并将所述完成状态、所述对应的执行方法及所述三元数据组中的流程节点信息作为一组可视化数据进行缓存。
为了解决上述技术问题,本申请实施例还提供一种运维数据的自动化处理装置,采用了如下所述的技术方案:
一种运维数据的自动化处理装置,包括:
告警信息推送模块,用于监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统;
监控数据获取模块,用于所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;
监控数据精简模块,用于对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据;
I TSM工单数据获取模块,用于根据所述精简后的监控数据获取所述保险业务场景对应的I TSM工单数据;
可视化数据获取模块,用于根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据;
可视化展示模块,用于在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现上述所述的运维数据的自动化处理方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述所述的运维数据的自动化处理方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例所述运维数据的自动化处理方法,根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置;判断日志云监控系统中是否产生新的告警信息,若产生新的告警信息,则根据预设推送接口推送告警信息至健康险对应的异常查询系统;异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;根据预设的清洗关键字段对多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗、筛选,获取精简后的监控数据;根据精简后的监控数据获取健康险业务场景对应的I TSM工单数据;根据预设I TSM工单算法规则,对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面根据预设选择项对可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2根据本申请的运维数据的自动化处理方法的一个实施例的流程图;
图3是图2所示步骤202的一种具体实施方式的流程图;
图4是图2所示步骤203的一种具体实施方式的流程图;
图5根据本申请的运维数据的自动化处理装置的一个实施例的结构示意图;
图6根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Mov i ng P i ctureExpertsGroup Aud i o Layer I I I,动态影像专家压缩标准音频层面3)、MP4(Mov i ngP i ctureExperts Group Aud i o Layer I V,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的运维数据的自动化处理方法一般由服务器/终端设备执行,相应地,运维数据的自动化处理装置一般设置于服务器/终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的运维数据的自动化处理方法的一个实施例的流程图。所述的运维数据的自动化处理方法,包括以下步骤:
步骤201,监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统
本实施例中,首先,根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置。
本实施例中,所述多个运维监控系统包括健康险业务场景中移动应用监控系统、浏览器监控系统、主动拨测监控系统、马里奥业务监控系统、链路监控系统、日志云监控系统、基础资源监控系统和数据库监控系统。
本实施例中,所述预设配置列表中包括所述多个运维监控系统的业务流程和架构流程中的流程节点信息、所述流程节点对应的异常返回值信息。
所述监控日志云监控系统的步骤之前,所述方法还包括:获取多个运维监控系统的业务流程和架构流程中的流程节点信息;根据预设配置列表为所述多个运维监控系统的业务流程和架构流程中的流程节点信息分别设置异常返回值信息,其中,所述预设配置列表中包括所述多个运维监控系统的业务流程和架构流程中的流程节点信息、所述流程节点对应的异常返回值信息。
本实施例中,通常设置异常返回值信息的状态包括:执行中断和执行超时,其中,执行中断即程序出现执行错误,不能完成执行的状态,而执行超时即程序可以完成执行,但是执行时间超过预设的执行时间。这里对执行中断设置异常返回值是为了及时发现执行程序中的错误,提醒运维人员第一时间进行排查更改,对执行超时设置异常返回值是为了及时发现执行程序中超时的执行任务,便于运维人员及时根据异常返回值进行优化。
通过在监控配置阶段为每个流程节点信息设置相对应的异常返回值信息,实现了在各个流程节点上出现异常时,返回相应的异常返回值,便于异常分析阶段,根据所述异常返回值分析出现了异常的流程节点,便于运维人员在进行异常定位和运维调优时有据可依。
在执行所述根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统之前,所述方法还包括:根据所述日志云监控系统中预设的识别判断条件,判断其他监控系统中是否产生了新的告警信息,其中,所述告警信息中至少包括所述异常返回值信息、所述异常返回值信息对应的流程节点信息和告警时间信息;若产生了新的告警信息,则根据所述日志云监控系统中预设的传输触发组件启动预设的数据传输接口,获取其他监控系统发送的告警信息,其中,所述其他监控系统为健康险业务场景中移动应用监控系统、浏览器监控系统、主动拨测监控系统、马里奥业务监控系统、链路监控系统、基础资源监控系统和数据库监控系统。
本实施例中,所述若产生新的告警信息,则根据预设推送接口推送所述告警信息至健康险对应的异常查询系统的步骤,具体包括:从所述日志云监控系统获取所述告警信息;将所述告警信息以所述推送接口中参数数据的形式推送到所述异常查询系统。
通过将日志云监控系统与其他监控系统相连接,在出现告警时,其他监控系统都将告警信息发送给日志云监控系统,一方面保证了所有的告警信息都存储到云监控系统中,避免了本地缓存库和本地存储库中数据量过多,从而减小了本地服务器的压力,另一方面较以往多个监控系统分别缓存或者存储告警信息的模式,将所有的告警信息都存储到云监控系统中,实现了所有告警信息都统一保存在相同的底层根目录下,在调取时只需在日志云监控系统中进行告警信息获取,无需在多个监控系统分别获取告警信息,实现了在进行系统架构和配置时,减少了多个缓存服务器的使用投入,既节约了硬件成本,也相对减少了多服务器间的数据交互。
步骤202,所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据。
本实施例中,所述定时任务的实现可以采用Quartz定时任务框架实现,也可以采用APSchedu l er定时任务框架实现。
继续参考图3,图3是图2所示步骤202的一种具体实施方式的流程图,包括:
步骤301,所述异常查询系统根据预设清洗过滤规则,清洗掉从所述推送接口推送的所述告警信息中的告警时间信息和所述异常返回值信息,并获取清洗之后仅保留的所述流程节点信息,作为告警关键字段;
步骤302,使用定时任务方式调用预设查询接口;
步骤303,将所述告警关键字段作为所述查询接口的查询字段,将预设的可选起始时间作为所述查询接口的限定条件,分别获取在所述限定条件下所述多个监控系统中所述查询字段为正常状态时至所述查询字段为本次告警状态时之间的监测日志片段;
本实施例中,所述监测日志片段为所述查询字段为正常状态时至所述查询字段为本次告警状态之间的监测日志片段。
为了避免数据量过多,同时设置了可选起始时间作为所述查询接口的限定条件,即获取限定条件至本次告警时间段内的所有监控日志信息。
步骤304,将所述监控日志信息作为所述多个运维监控系统的业务流程和架构流程对应的监控数据。
通过流程节点信息查询不同监控系统中所述流程节点为正常状态时至所述流程节点为本次告警状态时,两个时间点值间的监控日志信息,实现了分别获取到不同监控系统对所述流程节点的监控日志信息,避免了仅仅筛选单个监控系统的监控日志进行数据分析,从而合理扩大了进行异常分析时监控数据的提取范围,合理使用监控数据进行数据分析。
步骤203,对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据。
本实施例中,所述清洗关键字段包括所述监控日志信息中的记录时间信息。
继续参考图4,图4是图2所示步骤203的一种具体实施方式的流程图,包括:
步骤401,根据所述记录时间信息对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行监控条目排序;
通过记录时间信息对多个运维监控系统的业务流程和架构流程对应的监控数据进行监控条目排序,实现了将待分析监控条目按照执行时间顺序进行排列,保证了后期进行异常分析时,直接根据排序逐一分析,无需再根据执行时间逐一查找对应的监控条目即可保证异常分析符合流程的处理时序性。
步骤402,获取排序之后所述多个运维监控系统的业务流程和架构流程对应的监控数据;
步骤403,并按照所述记录时间信息获取所述监控数据中所有的流程节点信息及所述所有流程节点的节点状态信息;
步骤404,将所述所有的流程节点信息、所述所有流程节点的节点状态信息及每个所述流程节点对应的记录时间信息按照三元数据组的形式缓存,所述缓存完成的三元数据组即精简后的监控数据。
通过对排序之后的监控数据进行清洗处理,获得每条监控数据对应的流程节点信息、节点状态信息和记录时间信息,构建三元数据组,以精简后的监控数据替代原本的监控数据,保证了在数据分析处理的中间阶段,合理对监控数据进行数据瘦身,避免缓存压力过大。
步骤204,根据所述精简后的监控数据获取所述健康险业务场景对应的I TSM工单数据。
I T服务管理(I TSM)是一套帮助企业对I T系统的规划、研发、实施和运营进行有效管理的方法。
I TSM的核心思想是,I T组织,不管它是企业内部的还是外部的,都是I T服务提供者,其主要工作就是提供低成本、高质量的I T服务。而I T服务的质量和成本则需从I T服务的客户和用户方加以判断。I TSM也是一种I T管理。不过与传统的I T管理不同,它是一种以服务为中心的I T管理。或者,我们也可以形象地把I TSM称作是I T管理的“ERP解决方案”。从组织层面上来看,它将企业的I T部门从成本中心转化为服务中心和利润中心;从具体I T运营层面上来看,它不是传统的以职能为中心的I T管理方式,而是以流程为中心,从复杂的I T管理活动中梳理出那些核心的流程,比如事故管理、问题管理和配置管理,将这些流程规范化、标准化,明确定义各个流程的目标和范围、成本和效益、运营步骤、关键成功因素和绩效指标、有关人员的责权利,以及各个流程之间的关系。
本实施例中,所述根据所述精简后的监控数据获取所述健康险业务场景对应的ITSM工单数据的步骤,具体包括:采用对比原则,筛选出所述三元数据组中最早的记录时间信息和最近的记录时间信息,获取在最早的记录时间信息和最近的记录时间信息之间所述健康险业务场景对应的I TSM工单数据,其中,所述I TSM工单数据包括所执行的方法、所述方法的执行处理时间、所述方法的完成状态。
通过所述三元数据组中最早的记录时间信息和最近的记录时间信息,获取所述健康险业务场景对应的I TSM工单数据,即获取到异常流程节点在本次异常时至异常未产生前(即步骤303中不同监控系统中所述流程节点为正常状态时的时间点),整个健康险业务场景中所执行的方法、所述方法的执行处理时间、所述方法的完成状态。
步骤205,根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据。
本实施例中,所述I TSM工单算法规则包括每个方法对应的执行处理时间阈值。
本实施例中,所述根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据的步骤,具体包括:获取所述I TSM工单数据中每个执行方法的实际执行时间和对应的执行处理时间阈值;根据所述执行处理时间阈值和所述实际执行时间进行对比,判断每个执行方法的完成状态;若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为正常完成状态;若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为正常未完成状态;若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为超时完成状态;若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为超时未完成状态;分别获取不同的三元数据组对应的记录时间信息下对应的执行方法的完成状态,并将所述完成状态、所述对应的执行方法及所述三元数据组中的流程节点信息作为一组可视化数据进行缓存。
通过每个方法对应的执行处理时间阈值和实际执行处理时间,判断各执行方法在执行时的状态信息,从而根据各个执行方法的状态信息确定产生异常的执行方法,所述执行方法具体产生异常的流程节点信息,便于运维人员进行异常处理。
步骤206,在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
本实施例中,所述在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示,主要采用采用vue、ant de-s i gn vue、echarts、datav四种前端组件技术,实现柱状图、饼图、折线图、表单等多种形式的数据可视化,在展示时,对正常完成状态、正常未完成状态、超时完成状态和超时未完成状态的可视化数据使用区别色彩进行展示。
采用vue、ant de-s i gn vue、echarts、datav四种前端组件技术进行可视化展示,首先,这种前端架构模式支撑柱状图、饼图、折线图、表单等多种形式的数据可视化,能够为监控人员提供不同的视觉展示效果,避免展示单调性,其次,流图版块展示的模式保证了在一个展示平台就能展示出所有需要监控的流程节点,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
本申请根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置;判断日志云监控系统中是否产生新的告警信息,若产生新的告警信息,则根据预设推送接口推送告警信息至健康险对应的异常查询系统;异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;根据预设的清洗关键字段对多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗、筛选,获取精简后的监控数据;根据精简后的监控数据获取健康险业务场景对应的I TSM工单数据;根据预设I TSM工单算法规则,对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面根据预设选择项对可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Art i f i c i a l I nte l l i gence,A I)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中,可以通过模型训练的方式,将所述运维数据的自动化处理方法对应的执行步骤设置到智能处理模型内,通过智能处理模型进行异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
进一步参考图5,作为对上述图2所示方法的实现,本申请提供了一种运维数据的自动化处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例所述的运维数据的自动化处理装置500包括:告警信息推送模块501、监控数据获取模块502、监控数据精简模块503、I TSM工单数据获取模块504、可视化数据获取模块505和可视化展示模块506。其中:
告警信息推送模块501,用于监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统;
监控数据获取模块502,用于所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;
监控数据精简模块503,用于对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据;
I TSM工单数据获取模块504,用于根据所述精简后的监控数据获取所述保险业务场景对应的I TSM工单数据;
可视化数据获取模块505,用于根据预设I TSM工单算法规则,对所述I TSM工单数据进行算法分析,获取可视化数据;
可视化展示模块506,用于在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
在本申请的一些具体的实施方式中,所述运维数据的自动化处理装置500还包括云存储模块,所述云存储模块包括告警判断单元和数据传输单元,其中,
所述判断单元用于根据所述日志云监控系统中预设的识别判断条件,判断其他监控系统中是否产生了新的告警信息,其中,所述告警信息中至少包括所述异常返回值信息、所述异常返回值信息对应的流程节点信息和告警时间信息;
所述数据传输单元用于若产生了新的告警信息,则根据所述日志云监控系统中预设的传输触发组件启动预设的数据传输接口,获取其他监控系统发送的告警信息,其中,所述其他监控系统为健康险业务场景中移动应用监控系统、浏览器监控系统、主动拨测监控系统、马里奥业务监控系统、链路监控系统、基础资源监控系统和数据库监控系统。
本申请根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置;判断日志云监控系统中是否产生新的告警信息,若产生新的告警信息,则根据预设推送接口推送告警信息至健康险对应的异常查询系统;异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;根据预设的清洗关键字段对多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗、筛选,获取精简后的监控数据;根据精简后的监控数据获取健康险业务场景对应的I TSM工单数据;根据预设I TSM工单算法规则,对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面根据预设选择项对可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-On l y Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图6,图6为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器6a、处理器6b、网络接口6c。需要指出的是,图中仅示出了具有组件6a-6c的计算机设备6,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(App l i cat i onSpec i f i c I ntegrated C i rcu i t,AS I C)、可编程门阵列(F i e l d-Programmab l e Gate Ar ray,FPGA)、数字处理器(D i g i ta l S i gna l Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器6a至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器6a可以是所述计算机设备6的内部存储单元,例如该计算机设备6的硬盘或内存。在另一些实施例中,所述存储器6a也可以是所述计算机设备6的外部存储设备,例如该计算机设备6上配备的插接式硬盘,智能存储卡(Smart Med i a Card,SMC),安全数字(Secure D i g i ta l,SD)卡,闪存卡(F l ash Card)等。当然,所述存储器6a还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中,所述存储器6a通常用于存储安装于所述计算机设备6的操作系统和各类应用软件,例如运维数据的自动化处理方法的计算机可读指令等。此外,所述存储器6a还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器6b在一些实施例中可以是中央处理器(Centra l Process i ng Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器6b通常用于控制所述计算机设备6的总体操作。本实施例中,所述处理器6b用于运行所述存储器6a中存储的计算机可读指令或者处理数据,例如运行所述运维数据的自动化处理方法的计算机可读指令。
所述网络接口6c可包括无线网络接口或有线网络接口,该网络接口6c通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本实施例提出的计算机设备,属于金融科技技术领域。本申请根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置;判断日志云监控系统中是否产生新的告警信息,若产生新的告警信息,则根据预设推送接口推送告警信息至健康险对应的异常查询系统;异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;根据预设的清洗关键字段对多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗、筛选,获取精简后的监控数据;根据精简后的监控数据获取健康险业务场景对应的I TSM工单数据;根据预设I TSM工单算法规则,对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面根据预设选择项对可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被处理器执行,以使所述处理器执行如上述的运维数据的自动化处理方法的步骤。
本实施例提出的计算机可读存储介质,属于金融科技技术领域。本申请根据预设配置列表,完成对多个运维监控系统的业务流程和架构流程的监控配置;判断日志云监控系统中是否产生新的告警信息,若产生新的告警信息,则根据预设推送接口推送告警信息至健康险对应的异常查询系统;异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;根据预设的清洗关键字段对多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗、筛选,获取精简后的监控数据;根据精简后的监控数据获取健康险业务场景对应的I TSM工单数据;根据预设ITSM工单算法规则,对I TSM工单数据进行算法分析,获取可视化数据;在预设监测界面根据预设选择项对可视化数据进行流图版块展示、实时数据展示或非实时数据展示。本申请通过监控配置、异常数据处理、I TSM工单数据处理,获取到可视化数据,并将其展示到唯一的可视化展示平台,无需监控人员同时查看多个监控平台,减少了运维工作量及运维工作的复杂度,提高异常处理时效。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.一种运维数据的自动化处理方法,其特征在于,包括下述步骤:
监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统;
所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;
对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据;
根据所述精简后的监控数据获取所述保险业务场景对应的ITSM工单数据;
根据预设ITSM工单算法规则,对所述ITSM工单数据进行算法分析,获取可视化数据;
在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
2.根据权利要求1所述的运维数据的自动化处理方法,其特征在于,所述监控日志云监控系统的步骤之前,所述方法还包括:
获取多个运维监控系统的业务流程和架构流程中的流程节点信息;
根据预设配置列表为所述多个运维监控系统的业务流程和架构流程中的流程节点信息分别设置异常返回值信息,其中,所述预设配置列表中包括所述多个运维监控系统的业务流程和架构流程中的流程节点信息、所述流程节点对应的异常返回值信息。
3.根据权利要求2所述的运维数据的自动化处理方法,其特征在于,在执行所述根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统之前,所述方法还包括:
根据所述日志云监控系统中预设的识别判断条件,判断其他监控系统中是否产生了新的告警信息,其中,所述告警信息中至少包括所述异常返回值信息、所述异常返回值信息对应的流程节点信息和告警时间信息;
若产生了新的告警信息,则根据所述日志云监控系统中预设的传输触发组件启动预设的数据传输接口,获取其他监控系统发送的告警信息,其中,所述其他监控系统为健康险业务场景中移动应用监控系统、浏览器监控系统、主动拨测监控系统、马里奥业务监控系统、链路监控系统、基础资源监控系统和数据库监控系统。
4.根据权利要求3所述的运维数据的自动化处理方法,其特征在于,所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据的步骤,具体包括:
所述异常查询系统根据预设清洗过滤规则,清洗掉从所述推送接口推送的所述告警信息中的告警时间信息和所述异常返回值信息,并获取清洗之后仅保留的所述流程节点信息,作为告警关键字段;
使用定时任务方式调用预设查询接口;
将所述告警关键字段作为所述查询接口的查询字段,将预设的可选起始时间作为所述查询接口的限定条件,分别获取在所述限定条件下所述多个监控系统中所述查询字段为正常状态时至所述查询字段为本次告警状态时之间的监测日志片段,其中,所述监测日志片段为所述查询字段为正常状态时至所述查询字段为本次告警状态时,所述限定条件至本次告警时间段内的所有监控日志信息;
将所述监控日志信息作为所述多个运维监控系统的业务流程和架构流程对应的监控数据。
5.根据权利要求4所述的运维数据的自动化处理方法,其特征在于,所述对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据的步骤,具体包括:
获取所述监控日志信息中的记录时间信息;
根据所述记录时间信息对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行监控条目排序;
获取排序之后所述多个运维监控系统的业务流程和架构流程对应的监控数据;
并按照所述记录时间信息获取所述监控数据中所有的流程节点信息及所述所有流程节点的节点状态信息;
将所述所有的流程节点信息、所述所有流程节点的节点状态信息及每个所述流程节点对应的记录时间信息按照三元数据组的形式缓存,所述缓存完成的三元数据组即精简后的监控数据。
6.根据权利要求5所述的运维数据的自动化处理方法,其特征在于,所述根据所述精简后的监控数据获取所述健康险业务场景对应的ITSM工单数据的步骤,具体包括:
采用对比原则,筛选出所述三元数据组中最早的记录时间信息和最近的记录时间信息,获取在最早的记录时间信息和最近的记录时间信息之间所述健康险业务场景对应的ITSM工单数据,其中,所述ITSM工单数据包括所执行的方法、所述方法的执行处理时间、所述方法的完成状态。
7.根据权利要求6所述的运维数据的自动化处理方法,其特征在于,所述ITSM工单算法规则包括每个方法对应的执行处理时间阈值,所述根据预设ITSM工单算法规则,对所述ITSM工单数据进行算法分析,获取可视化数据的步骤,具体包括:
获取所述ITSM工单数据中每个执行方法的实际执行时间和对应的执行处理时间阈值;
根据所述执行处理时间阈值和所述实际执行时间进行对比,判断每个执行方法的完成状态;
若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为正常完成状态;
若所述实际执行时间小于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为正常未完成状态;
若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法执行完成,则所述完成状态为超时完成状态;
若所述实际执行时间大于所述执行处理时间阈值,且所述执行方法未执行完成,则所述完成状态为超时未完成状态;
分别获取不同的三元数据组对应的记录时间信息下对应的执行方法的完成状态,并将所述完成状态、所述对应的执行方法及所述三元数据组中的流程节点信息作为一组可视化数据进行缓存。
8.一种运维数据的自动化处理装置,其特征在于,包括:
告警信息推送模块,用于监控日志云监控系统,在所述日志云监控系统中产生新的告警信息时,根据预设推送接口推送所述告警信息至保险业务对应的异常查询系统;
监控数据获取模块,用于所述异常查询系统使用定时任务方式调用预设查询接口,获取多个运维监控系统的业务流程和架构流程对应的监控数据;
监控数据精简模块,用于对所述多个运维监控系统的业务流程和架构流程对应的监控数据进行清洗,获取精简后的监控数据;
ITSM工单数据获取模块,用于根据所述精简后的监控数据获取所述保险业务场景对应的ITSM工单数据;
可视化数据获取模块,用于根据预设ITSM工单算法规则,对所述ITSM工单数据进行算法分析,获取可视化数据;
可视化展示模块,用于在预设监测界面根据预设选择项对所述可视化数据进行流图版块展示、实时数据展示或非实时数据展示。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的运维数据的自动化处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的运维数据的自动化处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438258.0A CN115794545A (zh) | 2022-11-16 | 2022-11-16 | 运维数据的自动化处理方法及其相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438258.0A CN115794545A (zh) | 2022-11-16 | 2022-11-16 | 运维数据的自动化处理方法及其相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115794545A true CN115794545A (zh) | 2023-03-14 |
Family
ID=85438361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211438258.0A Pending CN115794545A (zh) | 2022-11-16 | 2022-11-16 | 运维数据的自动化处理方法及其相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115794545A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757680A (zh) * | 2023-08-14 | 2023-09-15 | 深圳联友科技有限公司 | 一种多监控平台的整合方法 |
-
2022
- 2022-11-16 CN CN202211438258.0A patent/CN115794545A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757680A (zh) * | 2023-08-14 | 2023-09-15 | 深圳联友科技有限公司 | 一种多监控平台的整合方法 |
CN116757680B (zh) * | 2023-08-14 | 2024-01-19 | 深圳联友科技有限公司 | 一种多监控平台的整合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109313739B (zh) | 用于提供工作流程的可视化的系统和方法 | |
CN112052111B (zh) | 服务器异常预警的处理方法、装置、设备及存储介质 | |
CN111752793A (zh) | 系统异常的监控方法、装置、计算机设备及存储介质 | |
CN111552633A (zh) | 接口的异常调用测试方法、装置、计算机设备及存储介质 | |
CN111694718A (zh) | 内网用户异常行为识别方法、装置、计算机设备及可读存储介质 | |
CN113157947A (zh) | 知识图谱的构建方法、工具、装置和服务器 | |
CN114095333A (zh) | 一种网络排障方法、装置、设备及可读存储介质 | |
CN115759433A (zh) | 业务办理等待时长的确定方法、装置和服务器 | |
CN115237857A (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
CN115794545A (zh) | 运维数据的自动化处理方法及其相关设备 | |
CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
CN103414717A (zh) | 一种关于c/s结构业务系统的仿真监控方法和系统 | |
US20220365861A1 (en) | Automated actions based on ranked work events | |
CN113901096A (zh) | 一种数据筛选方法、装置、电子设备及存储介质 | |
CN114579415A (zh) | 一种埋点数据的配置方法、获取方法、装置、设备及介质 | |
CN113595886A (zh) | 即时通讯消息的处理方法、装置、电子设备及存储介质 | |
CN109799981A (zh) | 一种基于执行链的集成系统及方法 | |
CN113434404B (zh) | 校验灾备系统可靠性的自动化业务验证方法及装置 | |
US9965131B1 (en) | System and processes to capture, edit, and publish problem solving techniques | |
CN116796133A (zh) | 数据分析方法、装置、计算机设备及存储介质 | |
CN115658131A (zh) | 一种路径分析方法、装置、设备及存储介质 | |
CN116795882A (zh) | 数据获取方法、装置、计算机设备及存储介质 | |
CN117421312A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN118035124A (zh) | 用例生成方法、装置、计算机设备及存储介质 | |
CN116468563A (zh) | 理赔事项智能反馈方法、装置、设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |