CN115762090A - 基于卷积神经网络的金融级系统智能监控预警方法及系统 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的金融级系统智能监控预警方法及系统，包括采集每个节点运行的容器产生的日志信息；部署Filebeat，获取所述节点运行的容器产生的完整的日志流，将所述日志流传输至kafka服务器进行分类缓存，生成分区日志数据；使用logstash从所述kafka服务器中动态采集所述分区日志数据传输至统一服务管理平台，所述统一服务管理平台配置巡检参数、阈值以及应急方案，设置定时任务，定时采集巡检数据进行计算，得到计算结果并生成巡检报告；比较所述计算结果和阈值，当所述计算结果达到所述阈值时，推送预警信息以及应急方案。本发明将监控指标进行定制化配置，并可以设置阈值以实现异常情况的预警。

Description

基于卷积神经网络的金融级系统智能监控预警方法及系统

技术领域

本发明属于互联网技术技术领域，具体涉及一种基于卷积神经网络的金融级系统智能监控预警方法及系统。

背景技术

业务生产监控中，生产环境的专用机器具为原始数据且不够直观并不具有实时展示和实时预警以及数据分析预测交易变化的功能，且在预警后并未提供建议性的应急方案和具备自动化应急能力，当告警发生时浪费时间造成一定程度的损失。或者由于容器的自身特性，监控一般只停留在单个容器的层面，而大多数应用设计架构都具备一定的节点容错能力，单个节点的问题往往不能反映出应用的真实问题。

在软件开发中，上线运行时经常会出现一些报错，如果不进行实时监控和及时处理，经常会带来巨大损失。为了保证异常的及时处理，需要设计一套系统对测试环境和生产环境的日志进行实时监控、预测和预警，通过该工具可以直观了解生产、测试开发交易情况及系统运营情况，方便及时感知生产问题隐患，主动发现并通过深度学习及时提供相匹配的应急方案并自动化应急，在一定程度上解决生产问题降低人力成本。

发明内容

为解决现有技术的不足，本发明通过将生产环境交易情况可视化展示，从而可以直观的了解生产环境的业务交易情况。通过图形界面将监控指标进行定制化配置，并可以设置阈值以实现异常情况的预警。诊断、预警、改进全闭环跟踪，自主式问题诊断、越做越精准，预警问题自动跟踪，确保落实整改。生成报告及时提供准应急方案。在系统发生预警或告警时能及时提供准应急方案，以为后续整改提供方案。

为实现以上目的，本发明所采用的技术方案包括：

基于卷积神经网络的金融级系统智能监控预警方法，包括：

S1、采集每个节点运行的容器产生的日志信息；

S2、部署Filebeat，获取所述节点运行的容器产生的完整的日志流，将所述日志流传输至kafka服务器进行分类缓存，生成分区日志数据；

S3、使用logstash从所述kafka服务器中动态采集所述分区日志数据传输至统一服务管理平台，所述统一服务管理平台设置巡检参数、阈值以及应急方案，设置定时任务，定时采集巡检数据进行计算，得到计算结果并生成巡检报告；

S4、比较所述计算结果和阈值，

当所述计算结果未达到所述阈值时，推送所述巡检报告；

当所述计算结果达到所述阈值时，推送预警信息以及应急方案。

进一步地，所述统一服务管理平台通过卷积神经网络算法训练巡检数据及应急方案数据，包括：

所述统一服务管理平台构建共享数据池、预警指标池、以及告警系统解决方案池，通过矩阵CNN模型进行卷积操作和池化操作提取特征向量，并将提取出的特征向量输入SVM模型进行多分类，获得匹配的应急方案；

所述共享数据池包括交易量、承兑率、平均响应时间、成功率、响应率、交易响应码数据；

所述预警指标池包括交易成功率低于阈值、交易响应率低于阈值、交易量突变率达到阈值、交易耗时达到阈值、错误码报错达到阈值。

进一步地，所述S3中通过Elasticsearch对所述巡检数据进行计算。

进一步地，所述方法还包括将所述计算结果推送至prometheus和数据库中，通过grafana工具从prometheus和数据库读取数据进行可视化展示。

本发明还涉及一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明还涉及一种电子设备，包括存储器和处理器；

所述存储器，用于存储存储日志信息、分区日志数据、巡检参数、阈值、计算结果以及应急方案；

所述处理器，用于执行存储器中存储的计算机程序，执行上述方法。

本发明的有益效果为：

使用本发明所述的基于卷积神经网络的金融级系统智能监控预警方法及系统，可以将生产环境交易情况可视化展示，从而可以直观的了解生产环境的业务交易情况。通过图形界面将监控指标进行定制化配置，并可以设置阈值以实现异常情况的预警。诊断、预警、改进全闭环跟踪，自主式问题诊断、越做越精准，预警问题自动跟踪，确保落实整改。生成报告及时提供准应急方案。在系统发生预警或告警时能及时提供准应急方案，以为后续整改提供方案。

附图说明

图1为本发明基于卷积神经网络的金融级系统智能监控预警方法流程图。

图2为本发明基于卷积神经网络的金融级系统智能监控预警系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面涉及基于卷积神经网络的金融级系统智能监控预警方法，流程如图1所示，包括：

步骤一、采集每个节点运行的容器产生的日志信息；

具体而言，本申请实施例中，利用日志采集工具(agent)，以agent的方式部署在各应用的节点上，每个节点运行的容器产生日志信息；

步骤二、部署Filebeat，获取所述节点运行的容器产生的完整的日志流，将所述日志流传输至kafka服务器进行分类缓存，生成分区日志数据；

Filebeat可以获取APP中完整的日志流，并将数据发送至最关键的地方。当数据发送给Logstash或者Elasticsearch时，Filebeat使用背压敏感协议，以应对更多的数据量。

kafka是一种高吞吐量的分布式发布订阅消息系统，它可以在系统或应用程序之间构建可靠的用于传输实时数据的管道(消息队列功能)。并且可以构建实时的流数据处理程序来变换或处理数据流(数据处理)。

具体而言，本申请实施例中，在各环境中部署Filebeat，获取节点容器产生的完整的日志流，将日志流传输至kafka服务器，它在系统之间构建消息队列，每一个消息都有一个主题，应用中产生的不同类型的数据可以设置不同的主题，订阅了这个主题的消费者可以接收生产者写入的新消息。kafka为每个主题维护了分布式的分区日志文件。

步骤三、使用logstash从所述kafka服务器中动态采集所述分区日志数据传输至统一服务管理平台，所述统一服务管理平台设置巡检参数、阈值以及应急方案，设置定时任务，定时采集巡检数据进行计算，得到计算结果并生成巡检报告；

Logstash是服务器端数据处理管道，能够从多个来源动态地采集、转换和传输数据，不受格式或复杂度的影响，能够支持各种输入选择，同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从日志、指标、Web应用、数据库存储以及各种AWS服务采集数据，可构建可信的交付管道，全方位监视部署。

具体而言，本申请实施例中，利用logstash从kafka中动态地采集、转换和传输日志，全方位监视部署。预先在统一内容管理平台分类分级规则设置自动化巡检参数、阈值以及应急方案，以时间为维度定时启动定时任务采集巡检数据、预警自动跟踪数据，一键生成自动化巡检报告，以短信、微信、邮件形式定时推送。本申请实施例中，采用Elasticsearch进行巡检数据解析处理，进行数据消费、格式解析、计算等；

所述统一服务管理平台通过卷积神经网络算法训练巡检数据及应急方案数据，所述统一服务管理平台构建共享数据池，包括交易量、承兑率、平均响应时间、成功率、响应率、交易响应码数据，预警指标池，包括交易成功率低于阈值、交易响应率低于阈值、交易量突变率达到阈值、交易耗时达到阈值、错误码报错达到阈值，以及告警系统解决方案池，通过矩阵CNN模型进行卷积操作和池化操作提取特征向量，并将提取出的特征向量输入SVM模型进行多分类，获得匹配的应急方案。

步骤四、比较所述计算结果和阈值，当所述计算结果达到所述阈值时，推送预警信息以及应急方案。

具体而言，本申请实施例中，将计算结果与设定好的阈值进行比较，若达到阈值则向用户实时推送预警信息，当系统发生预警，在发生预警短信的同时，系统自动匹配到相应应急方案为处理人提供解决方向和建议。或者当系统发生告警，系统自动匹配到相应应急方案为处理人提供解决方向和建议，系统经处理人确认方案后，点击确认，系统自行按紧急方案应急。

将所述计算结果推送至prometheus和数据库中，通过grafana工具从prometheus和数据库读取数据进行可视化展示。

为了解决监控容器的问题，引入prometheus。Prometheus具有易于管理、轻易获取服务内部状态、高效灵活的查询语句、支持本地和远程存储、采用http协议，默认pull模式拉取数据或可通过中间网关push数据的优势。Prometheus根据配置定时去拉取各个节点的数据，默认拉取方式是pull，也可以使用pushgateway提供push方式获取各个监控节点的数据。将获取到的数据以指标形式存入TSDB(一款时序型数据库)，每一条时间序列由metric和labels组成，每条时间序列按照时间的先后顺序存储它的样本值。默认情况下各监控client向外暴露一个HTTP服务，prometheus会通过pull方式获取client数据。此时，Prometheus已经获取到监控数据，可以使用PromQL进行查询，他的报警功能使用Alertmanager提供，Alertmanager是prometheus的告警管理和发送报警的一个组件，由于prometheus原生的图标过于简单，可将prometheus数据接入grefana,由grefana进行统一管理。

grefana是一个开源的度量分析与可视化的套件，具有可视化、报警、通知、动态仪表盘、混合数据源、注释、过滤器特点，快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。

本发明第二方面涉及一种结构如图2所示的基于卷积神经网络的金融级系统智能监控预警系统，包括：

采集模块，用于采集每个节点运行的容器产生的日志信息、所述分区日志数据以及巡检数据；

设置模块，用于设置巡检参数、阈值、应急方案以及定时任务；

计算模块，用于计算所述巡检数据，得到计算结果；

存储模块，用于存储日志信息、分区日志数据、巡检参数、阈值、计算结果以及应急方案；

生成模块，用于生成巡检报告；

推送模块，用于当所述计算结果未达到所述阈值时，推送所述巡检报告；当所述计算结果达到所述阈值时，推送预警信息以及应急方案。

通过使用该系统，能够执行上述的基于卷积神经网络的金融级系统智能监控方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的基于卷积神经网络的金融级系统智能监控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于卷积神经网络的金融级系统智能监控方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如存储日志信息、分区日志数据、巡检参数、阈值、计算结果以及应急方案等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.基于卷积神经网络的金融级系统智能监控预警方法，其特征在于，包括：

S1、采集每个节点运行的容器产生的日志信息；

S2、部署Filebeat，获取所述节点运行的容器产生的完整的日志流，将所述日志流传输至kafka服务器进行分类缓存，生成分区日志数据；

S3、使用logstash从所述kafka服务器中动态采集所述分区日志数据传输至统一服务管理平台，所述统一服务管理平台设置巡检参数、阈值以及应急方案，设置定时任务，定时采集巡检数据进行计算，得到计算结果并生成巡检报告；

S4、比较所述计算结果和阈值，

当所述计算结果未达到所述阈值时，推送所述巡检报告；

当所述计算结果达到所述阈值时，推送预警信息以及应急方案。

2.如权利要求1所述的方法，其特征在于，所述统一服务管理平台通过卷积神经网络算法训练巡检数据及应急方案数据，包括：

所述统一服务管理平台构建共享数据池、预警指标池、以及告警系统解决方案池，通过矩阵CNN模型进行卷积操作和池化操作提取特征向量，并将提取出的特征向量输入SVM模型进行多分类，获得匹配的应急方案；

所述共享数据池包括交易量、承兑率、平均响应时间、成功率、响应率、交易响应码数据；

所述预警指标池包括交易成功率低于阈值、交易响应率低于阈值、交易量突变率达到阈值、交易耗时达到阈值、错误码报错达到阈值。

3.如权利要求2所述的方法，其特征在于，所述S3中通过Elasticsearch对所述巡检数据进行计算。

4.如权利要求3所述的方法，其特征在于，所述方法还包括将所述计算结果推送至prometheus和数据库中，通过grafana工具从prometheus和数据库读取数据进行可视化展示。

5.基于卷积神经网络的金融级系统智能监控预警系统，其特征在于，包括：

采集模块，用于采集每个节点运行的容器产生的日志信息、所述分区日志数据以及巡检数据；

设置模块，用于设置巡检参数、阈值、应急方案以及定时任务；

计算模块，用于计算所述巡检数据，得到计算结果；

存储模块，用于存储日志信息、分区日志数据、巡检参数、阈值、计算结果以及应急方案。

生成模块，用于生成巡检报告；

推送模块，用于当所述计算结果未达到所述阈值时，推送所述巡检报告；当所述计算结果达到所述阈值时，推送预警信息以及应急方案。

6.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法。

7.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储日志信息、分区日志数据、巡检参数、阈值、计算结果以及应急方案；

所述处理器，用于执行存储器中存储的计算机程序，执行权利要求1至4中任一项所述的方法。

Images