CN117714263A - 一种前端异常监控系统、方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种前端异常监控系统、方法、电子设备及存储介质。包括：维度规则模块用于配置维度规则数据；异常信息收集模块用于接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；实时流处理模块用于获取结构化的异常信息数据，以及获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；监控预警模块用于从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。解决无法快速发现和定位异常信息的问题，提高定位异常的效率。

Description

一种前端异常监控系统、方法、电子设备及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种前端异常监控系统、方法、电子设备及存储介质。

背景技术

移动互联网金融发展日新月异，手机银行成为各大商业银行对客主要渠道，其功能模块不断增多，交易量和用户数也日益增多，业务需求也纷至沓来，各模块的异常信息也会越来越多，这就导致无法快速定位异常问题产生的代码位置，以至于无法及时快速地解决问题，从而导致用户体验差及产品无法正常使用的问题。

对于前端异常问题的分析和问题定位，可以由开发人员通过筛选日志信息或者是逐一排查功能模块的代码去确定异常问题产生的代码位置，这种方法对于数据量级小的前端系统是可行的方法，但是效率低。对于功能复杂、产生海量数据的系统来说是无法快速确定异常信息的位置，而且异常问题的发现还很依赖于用户反馈，导致存在无法及时发现异常、定位异常和快速解决异常的问题。

发明内容

本发明提供了一种前端异常监控系统、方法、电子设备及存储介质，以解决无法快速发现和定位前端系统产生的异常、以及无法主动预警的问题。

根据本发明的一方面，提供了一种前端异常监控系统，包括：维度规则模块、异常信息收集模块、异常信息缓存模块、实时流处理模块、异常信息存储模块、监控预警模块；其中，

维度规则模块，用于配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；

异常信息收集模块，用于接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；

异常信息缓存模块，用于接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；

实时流处理模块，用于从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；

监控预警模块，用于按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。

可选的，实时流处理模块具体用于：

将结构化的异常信息数据转换成目标数据格式的异常信息数据；

按照第一维度数据对目标数据格式的异常信息数据进行过滤，得到与第一维度数据相匹配的异常明细数据。

可选的，实时流处理模块还具体用于：

按照第一维度数据中的一项或多项对异常明细数据进行分区处理，得到多个分区数据；

将多个分区数据传输至异常信息存储模块。

可选的，异常信息存储模块用于搭建ClickHouse集群，将接收的异常明细信息存储至集群中，并提供查询接口。

可选的，监控预警模块具体用于：

基于第一预设时间间隔获取维度规则模块中的维度规则数据，以及，基于第二预设时间间隔按照预设查询语句从异常信息存储模块中读取异常明细数据；

基于维度规则数据中的维度数据对异常明细数据进行统计，得到各维度下的指标数据的统计结果；

基于预警规则确定各维度对应的预警触发条件，判断任一维度的统计结果是否满足对应的预警触发条件，若满足，则执行预警处理。

可选的，系统还包括可视化展示模块，可视化展示模块用于响应于异常查询操作，从异常信息存储模块中读取异常明细数据，将异常明细信息在预设异常展示页面上进行展示，所述预设展示页面包括异常情况概况页面、单类型异常分析页面、单用户/设备分析页面的一项或多项。

可选的，可视化展示模块具体用于：

获取维度规则模块中的维度规则数据，基于维度规则数据确定第一异常筛选条件，基于异常筛选条件确定异常统计结果，并将异常统计结果在预设异常展示页面上进行展示；或者，

获取终端设备发送的异常筛选条件，并结合维度规则数据确定第二异常筛选条件，基于第二异常筛选条件确定异常统计结果，并将异常统计结果在预设异常展示页面上进行展示。

根据本发明的另一方面，提供了一种前端异常监控方法，包括：

基于维度规则模块配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；

基于异常信息收集模块接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；

基于异常信息缓存模块接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；

基于实时流处理模块从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；

基于监控预警模块按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。

根据本发明的另一方面，提供了一种电子设备，电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的前端异常监控方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的前端异常监控方法。

本发明实施例的技术方案，通过提出一种前端异常监控系统，系统包括：维度规则模块、异常信息收集模块、异常信息缓存模块、实时流处理模块、异常信息存储模块、监控预警模块；其中，维度规则模块，用于配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项，实现了配置维度规则数据的功能，用于后续根据维度规则数据对异常信息进行分析和预警，提高异常监控和异常预警的灵活性；异常信息收集模块，用于接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块，实现了及时收集终端设备发送的异常信息数据，并进行结构化处理后发送给异常信息缓存模块，此模块的结构化处理有助于提高后续对异常信息数据进行存储的快速性；异常信息缓存模块，用于接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中，通过加入缓存模块作为缓冲区用以匹配数据下游不同模块的处理速度，从而解决不同模块吞吐量不一致导致的实时数据消费不及时造成消息阻塞的风险；实时流处理模块，用于从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块，实现了对实时流数据的及时处理，根据维度规则数据筛查出与之相匹配的异常明细数据，方便后续按照预警规则对异常明细数据进行统计，避免对不必要的数据进行处理的问题，提高对异常信息分析和统计效率；监控预警模块，用于按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理，可以及时获取预警信息并有助于快速定位异常问题产生的代码位置，以提高快速解决异常问题的速度。本方案实现了通过多模块之间的交互完成对前端异常进行监控的功能，还实现了对不同维度的异常信息进行收集、处理、分析和预警，可以全面地对前端异常进行收集、实时处理和预警，解决了无法快速发现和定位异常问题、以及无法主动预警和快速解决异常的问题，提高了获取异常和定位异常的快速性，有助于提高解决异常问题的效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种前端异常监控系统的结构示意图；

图2是本发明实施例二提供的一种前端异常监控方法的流程图；

图3是实现本发明实施例的前端异常监控方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种前端异常监控系统的结构示意图，本实施例可适用于进行异常监控的情况。如图1所示，该异常监控系统包括：维度规则模块110、异常信息收集模块120、异常信息缓存模块130、实时流处理模块140、异常信息存储模块150、监控预警模块160。

其中，维度规则模块110，用于配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；异常信息收集模块120，用于接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块130；异常信息缓存模块130，用于接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；实时流处理模块140，用于从消息队列中获取结构化的异常信息数据，以及从维度规则模块110中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块150；监控预警模块160，用于按照预设查询语句从异常信息存储模块150中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。

维度规则模块110是用于配置维度规则数据，维度规则数据可以根据实际需求进行设置，维度规则数据包括维度数据、指标数据、预警规则的一项或多项。其中，维度数据是指监控异常信息的视角，可以根据实际需要进行设置，在本实施例中，维度数据包含但不限于系统、模块、异常类型、客户端版本。指标数据具体可以理解为是用于统计异常信息的指标，示例性的，指标数据可以是异常错误数。预警规则具体可以理解为是不同监控维度对应的指标数据及其关联参数，包含但不限于监控时间间隔、告警阈值。

具体的，维度规则模块110可以采用SpringBoot技术，搭建维度规则服务器集群，可以通过可视化界面录入维度规则数据，并将录入的维度规则数据持久化在维度规则服务器集群中，其中，允许用户根据实际监控需求在可视化界面上实时增加维度数据、指标数据、预警规则中的一项或多项。

异常信息收集模块120具体可以理解为是用于接收终端设备发送的异常信息数据，可以通过在终端设备的应用程序中安装异常信息数据接收工具包，搭建Logstash集群，用于接收终端设备中的应用程序集群统一发送的异常信息数据，在本实施例中，应用程序可以是手机银行。其中，异常信息数据发送格式为UDP(User Datagram Protocol，用户数据报协议)格式进行发送。接收到终端设备发送的异常信息数据后，对异常信息数据进行结构化处理，得到结构化后的异常信息数据，示例性的，结构化处理可以将异常信息数据转换成JSON数据格式，结构化后的异常信息数据包含但不限于系统、模块、操作系统、应用程序版本、渠道版本、异常发生时间、异常所在页面、堆栈信息。进一步地，异常信息收集模块120将结构化后的异常信息数据发送至异常信息缓存模块130。

异常信息缓存模块130具体用于接收异常信息收集模块120发送的结构化后的异常信息数据，并将接收的信息缓存至kafka集群中，以解决异常信息数据产生速率与消费速率不均衡的问题。

示例性的，异常信息缓存模块130可以复用应用程序的用户行为采集与分析平台，搭建Kafka集群，用于接收并存储异常信息收集模块120发送的结构化后的异常信息数据。

在本实施例中，通过引入异常信息缓存模块130对异常信息数据进行缓存，将该缓存模块作为缓冲区以匹配不同模块的信息处理速度，从而解决不同模块吞吐量不一致的情况，避免直接将海量的异常信息数据直接传输给下游模块，避免信息量过大而压垮下游模块的问题，从而降低数据丢失的风险。

需要说明的是，可以在应用程序的初始化插件中配置启动开关，用于控制开启或关闭收集异常信息数据，示例性的，启动开关的状态默认为开启，即在应用程序一旦启动的情况下，异常信息收集模块120便可以自动采集应用程序在运行过程中产生的异常信息数据，异常信息数据包含但不限于代码错误、资源加载错误和未处理的promise异常。

实时流处理模块140是用于对实时数据进行处理的模块，具体的，实时流处理模块140可以基于Flink技术搭建Flink实时流处理集群。可以从消息队列中获取结构化后的异常信息数据，以及从维度规则模块110中获取维度规则数据的第一维度信息，其中，第一维度信息具体可以理解为是根据实际需求从维度规则数据中的维度数据中筛选出所需的维度信息，示例性的，第一维度数据包含但不限于渠道、异常类型、分析维度、日期、异常发生页面、手机型号、客户端版本号，需要说明的是，第一维度数据可以是维度规则数据中的所有维度数据，也可以是根据需要筛选出的部分维度数据。在确定好所需要的第一维度数据后，根据第一维度数据从结构化的异常信息数据中进行过滤，将过滤出的异常明细数据全部提取出来，得到匹配第一维度数据的异常明细信息，将得到的异常明细数据传输至异常信息存储模块150。

可选的，实时流处理模块140具体用于：将结构化的异常信息数据转换成目标数据格式的异常信息数据；按照第一维度数据对目标数据格式的异常信息数据进行过滤，得到与第一维度数据相匹配的异常明细数据。

具体的，为了能够对异常信息数据进行快速查询、匹配或基于维度进行统计，则在接收的结构化后的异常信息数据后，对该异常信息数据进行反序列化处理，转换成目标数据格式的异常信息数据，示例性的，将结构化后的异常数据转换成key-value格式的异常信息数据。然后按照第一维度数据对目标数据格式的异常信息数据进行过滤处理，将从异常信息数据中过滤出第一维度数据及其关联数据作为第一维度数据相匹配的异常明细数据。

在本实施例中，在从异常信息数据中过滤出与第一维度数据匹配的异常明细信息之前，对异常信息数据进行数据格式转换，转换成目标数据格式的异常信息数据，有助于提高后续基于转换后的异常明细数据进行查询、统计的快速性。

可选的，实时流处理模块140还具体用于：按照第一维度数据中的一项或多项对异常明细数据进行分区处理，得到多个分区数据；将多个分区数据传输至异常信息存储模块150。

具体的，在得到与第一维度数据匹配的异常明细数据的情况下，可以从第一维度数据中选取一项或多项作为分区关键字，根据关键字对异常明细数据进行分区处理，得到多个分区数据，将多个分区数据传输至异常信息存储模块150，即将异常明细数据通过分布传输方式传输至异常信息存储模块150，避免了在此过程中出现数据倾斜的问题，提高将异常明细数据传输至异常信息存储模块150的速度。

可选的，异常信息存储模块150用于搭建ClickHouse集群，将接收的异常明细信息存储至集群中，并提供查询接口。

其中，ClickHouse是一款用于在线分析处理查询的MPP架构的列式存储数据库，使用关系模型描述数据提供了传统数据库的概念，完全使用SQL(Structured QueryLanguage，结构化查询语言)作为查询语言，可进行对异常明细数据的全文检索与聚合查询。

具体的，异常信息存储模块150搭建ClickHouse集群，用于保存异常明细数据，并向外部模块提供一个查询接口，外部模块可以根据这一查询接口在集群中查询数据。ClickHouse支持列式存储和数据压缩，在查询过程中可有效减少数据的扫描范围和数据传输时的大小，从而让查询速度变得更快。

在本实施例中，异常信息存储模块150通过采用ClickHouse集群进行异常信息数据存储，提高了异常信息的查询效率。

监控预警模块160是用于定时扫描存储模块并对异常信息数据进行预警判断的模块，可以先按照查询语句从异常信息存储模块150中读取异常明细数据，其中，查询语句具体可以理解为是根据维度规则数据而编写的SQL查询语句。根据维度规则数据对异常明细数据进行判断，判断异常明细数据是否满足预警规则，得到预警判断结果，然后，根据预警判断结果执行相应的预警处理。

可选的，监控预警模块160具体用于：基于第一预设时间间隔获取维度规则模块110中的维度规则数据，以及，基于第二预设时间间隔按照预设查询语句从异常信息存储模块150中读取异常明细数据；基于维度规则数据中的维度数据对异常明细数据进行统计，得到各维度下的指标数据的统计结果；基于预警规则确定各维度对应的预警触发条件，判断任一维度的统计结果是否满足对应的预警触发条件，若满足，则执行预警处理。

其中，第一预设时间间隔具体可以理解为是执行获取维度规则数据的时间间隔，第二预设时间间隔具体可以理解为是执行查询语句的时间间隔，需要说明的是，第一预设时间间隔和第二预设时间间隔可以相同也可以不同。

具体的，监控预警模块160基于SpringBoot技术与Quartz技术搭建监控预警服务器集群，在应用程序启动的时候，获取维度规则模块110中的维度规则数据，之后，每间隔第一预设时间间隔便执行获取维度规则模块110中的维度规则数据，以保证在监控过程中所使用的维度规则数据全是最新的；以及，基于第二预设时间间隔按照预设查询语句从异常信息存储模块150中读取异常明细数据，在得到异常明细数据之后，按照维度规则数据中的维度数据对异常数据进行统计，确定各维度下的指标数据的统计结果，示例性，指标数据可以是指异常数量。获取维度规则数据中各维度对应的预警规则，基于预警规则确定各维度对应的指标数据的预警触发条件，然后判断任一维度下的指标数据的统计结果是否满足预警触发条件，若满足，则表示对应的维度下存在异常，在此情况下，执行预警处理，其中，预警处理可以是根据维度维度对应的异常情况生成相应的预警通知信息，可以以预设通知方式通知给用户，预设通知方式包含但不限于邮件、短信等方式。

在上述实施例的基础上，系统还包括可视化展示模块170，用于响应于异常查询操作，从异常信息存储模块150中读取异常明细数据，将异常明细信息在预设异常展示页面上进行展示，预设展示页面包括异常情况概况页面、单类型异常分析页面、单用户/设备分析页面的一项或多项。

其中，异常查询操作具体可以理解为是在可视化界面以预设查询形式产生的查询操作，可以是通过设置查询控件，并由用户点击控件以触发异常查询操作，还可以设置定时功能，按照预设时间间隔自动触发异常查询操作，此处不做限定。

具体的，用户可以在可视化操作界面触发异常查询操作对应的控件以触发异常查询操作，可视化展示模块170响应于该异常查询操作，从异常信息存储模块150中读取异常明细数据，并将异常明细数据在预设异常展示页面上进行展示。在展示页面上提供多种展示页面，用以满足对不同异常信息的查询需求，其中，预设展示页面包括异常情况概况页面、单类型异常分析页面、单用户/设备分析页面的一项或多项。

其中，异常情况概览页面是按照维度规则数据中的维度数据和指标数据提供默认的报表视图，示例性的，报表视图可以包含异常事件、异常发生次数、影响手机号、异常设备数等指标，并支持按照维度规则数据中的维度数据，示例性的，可以通过操作系统、客户端版本、渠道版本等维度来进行筛选，实现灵活的确定各维度对应的指标数据的统计结果。单类型异常分析页面则是对某一具体的异常类型按照不同的模块和时间范围来统计异常发生的次数和影响的手机号，实现对应用程序的具体业务的报错统计。单用户/设备分析页面可指定用户的手机号或设备号，在指定单用户/设备的情况下，按照异常类型的维度来统计和分析异常的具体信息，异常信息包含但不限于异常发生日期、异常所在页面、操作系统、客户端版本，并支持查看异常发生的具体堆栈信息，从而对异常进行精确分析，准备定位代码问题所在位置，需要说明的是，用户可以在异常情况概况页面、单类型异常分析页面、单用户/设备分析页面的一项或多项上设置筛选条件，启动查询操作后，对应的页面将会展示对应的异常信息，实现了灵活地查看异常信息和根查询结果可以快速地对异常信进行定位。

可选的，可视化展示模块170具体用于：获取维度规则模块110中的维度规则数据，基于维度规则数据确定第一异常筛选条件，基于异常筛选条件确定异常统计结果，并将异常统计结果在预设异常展示页面上进行展示；或者，获取终端设备发送的异常筛选条件，并结合维度规则数据确定第二异常筛选条件，基于第二异常筛选条件确定异常统计结果，并将异常统计结果在预设异常展示页面上进行展示。

具体的，可以直接从维度规则数据中选取一项或多项维度数据作为第一异常筛选条件，根据第一异常筛选条件从异常明细数据中筛选出匹配筛选条件的数据，并对相应筛选结果进行异常统计，得到异常统计结果，将异常统计结果在预设异常展示页面上进行展示。或者，用户在可视化界面上输入异常筛选条件，可视化展示模块170接收异常筛选条件，并结合维度规则数据确定第二异常筛选条件，根据第二筛选条件从异常明细数据中筛选数据，并对相应筛选结果进行异常统计，得到异常统计结果，将异常统计结果在预设异常展示页面上进行展示，对展示结果进行分析可以快速查询到异常问题所产生的位置。

本实施例的技术方案，提出一种前端异常监控系统，系统包括：维度规则模块、异常信息收集模块、异常信息缓存模块、实时流处理模块、异常信息存储模块、监控预警模块；其中，维度规则模块，用于配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；异常信息收集模块，用于接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；异常信息缓存模块，用于接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；实时流处理模块，用于从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；监控预警模块，用于按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。本方案实现了通过多模块之间的交互完成对前端异常进行监控的功能，还实现了对不同维度的异常信息进行收集、处理、分析和预警，可以全面地对前端异常进行处理和预警，解决了无法快速发现和定位异常问题、以及无法主动预警和快速解决异常的问题，提高了获取异常和定位异常的快速性，有助于提高解决异常问题的效率。

实施例二

图2是本发明实施例二提供的一种前端异常监控方法的流程图，本实施例可适用于需要进行异常监控的情况，该方法可以由前端异常监控系统来执行，该前端异常监控系统可以采用硬件和/或软件的形式实现，该前端异常监控系统可配置于计算机、服务器等电子设备中。如图2所示，该方法包括：

S210、基于维度规则模块配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项。

具体的，通过维度规则模块配置维度规则数据，可以设置可视化界面，在可视化界面上录入维度规则数据，其中，维度规则数据包括维度数据、指标数据、预警规则的一项或多项。需要说明的是，维度规则数据可以根据实际需求实时地增加维度规则数据。

S220、基于异常信息收集模块接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块。

具体的，终端设备在执行应用程序的过程中生成用户行为数据、交易数据、应用程序执行异常数据等，在生成异常信息数据之后终端设备会主动以UDP数据格式将异常信息数据统一发送给异常信息收集模块，异常信息收集模块则接收终端设备统一发送的异常信息数据。并对异常信息数据进行格式化处理，将结构化的异常信息数据发送至异常信息缓存模块。示例性的，在接收到异常信息数据之后，将异常信息数据转化为JSON格式的异常信息数据，进而将JSON格式的异常信息数据发送至异常信息缓存模块，用于对JSON格式的异常信息数据进行缓存。

S230、基于异常信息缓存模块接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中。

具体的，异常信息缓存模块在接收到结构化后的异常信息数据之后，将结构化的异常信息数据缓存之消息队列中。

S240、基于实时流处理模块从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块。

具体的，可以从消息队列中获取结构化后的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度信息，其中，第一维度信息具体可以理解为是根据实际需求从维度规则数据中的维度数据中筛选出所需的维度信息，示例性的，第一维度数据包含但不限于渠道、异常类型、分析维度、日期、异常发生页面、手机型号、客户端版本号，需要说明的是，第一维度数据可以是维度规则数据中的所有维度数据，也可以是根据需要从维度数据中筛选出的部分维度数据。在确定好所需要的第一维度数据后，根据第一维度数据从结构化的异常信息数据中进行过滤，将过滤出的异常明细数据全部提取出来，得到匹配第一维度数据的异常明细信息，将得到的异常明细数据传输至异常信息存储模块。

S250、基于监控预警模块按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。

具体的，通过监控预警模块定时扫描存储模块并对异常信息数据进行预警判断，可以先按照查询语句从异常信息存储模块中读取异常明细数据，其中，查询语句具体可以理解为是根据维度规则数据而编写的SQL查询语句。根据维度规则数据对异常明细数据进行判断，判断异常明细数据是否满足预警规则，得到预警判断结果，然后，根据预警判断结果执行相应的预警处理。

本实施例的技术方案，通过基于维度规则模块配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；基于异常信息收集模块接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；基于异常信息缓存模块接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；基于实时流处理模块从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；基于监控预警模块按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。本方案实现了通过多模块之间的交互完成对前端异常进行监控的功能，还实现了对不同维度的异常信息进行收集、处理、分析和预警，可以全面地对前端异常进行处理和预警，解决了无法快速发现和定位异常问题、以及无法主动预警和快速解决异常的问题，提高了获取异常和定位异常的快速性，有助于提高解决异常问题的效率。

实施例三

图3是本发明实施例三提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图3所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如前端异常监控方法。

在一些实施例中，前端异常监控方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的前端异常监控方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前端异常监控方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的前端异常监控方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

实施例四

本发明实施例四还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种前端异常监控方法，该方法包括：

基于维度规则模块配置维度规则数据，维度规则数据包括维度数据、指标数据、预警规则的一项或多项；

基于异常信息收集模块接收终端设备发送的异常信息数据，并对异常信息数据进行结构化处理，将结构化的异常信息数据发送至异常信息缓存模块；

基于异常信息缓存模块接收结构化的异常信息数据，并将结构化的异常信息数据缓存至消息队列中；

基于实时流处理模块从消息队列中获取结构化的异常信息数据，以及从维度规则模块中获取维度规则数据的第一维度数据，按照第一维度数据对结构化的异常信息数据进行过滤，得到异常明细数据，将异常明细数据传输至异常信息存储模块；

基于监控预警模块按照预设查询语句从异常信息存储模块中读取异常明细数据，基于维度规则数据对异常明细数据进行预警判断，根据预警判断结果执行预警处理。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种前端异常监控系统，其特征在于，包括：维度规则模块、异常信息收集模块、异常信息缓存模块、实时流处理模块、异常信息存储模块、监控预警模块；其中，

所述维度规则模块，用于配置维度规则数据，所述维度规则数据包括维度数据、指标数据、预警规则的一项或多项；

所述异常信息收集模块，用于接收终端设备发送的异常信息数据，并对所述异常信息数据进行结构化处理，将结构化的异常信息数据发送至所述异常信息缓存模块；

所述异常信息缓存模块，用于接收所述结构化的异常信息数据，并将所述结构化的异常信息数据缓存至消息队列中；

所述实时流处理模块，用于从所述消息队列中获取所述结构化的异常信息数据，以及从所述维度规则模块中获取所述维度规则数据的第一维度数据，按照所述第一维度数据对所述结构化的异常信息数据进行过滤，得到异常明细数据，将所述异常明细数据传输至所述异常信息存储模块；

所述监控预警模块，用于按照预设查询语句从所述异常信息存储模块中读取所述异常明细数据，基于所述维度规则数据对所述异常明细数据进行预警判断，根据预警判断结果执行预警处理。

2.根据权利要求1所述的监控系统，其特征在于，所述实时流处理模块具体用于：

将所述结构化的异常信息数据转换成目标数据格式的异常信息数据；

按照所述第一维度数据对所述目标数据格式的异常信息数据进行过滤，得到与所述第一维度数据相匹配的异常明细数据。

3.根据权利要求2所述的监控系统，其特征在于，所述实时流处理模块还具体用于：

按照所述第一维度数据中的一项或多项对所述异常明细数据进行分区处理，得到多个分区数据；

将所述多个分区数据传输至所述异常信息存储模块。

4.根据权利要求1所述的监控系统，其特征在于，所述异常信息存储模块用于搭建ClickHouse集群，将接收的所述异常明细信息存储至所述集群中，并提供查询接口。

5.根据权利要求1所述的监控系统，其特征在于，所述监控预警模块具体用于：

基于第一预设时间间隔获取所述维度规则模块中的所述维度规则数据，以及，基于第二预设时间间隔按照预设查询语句从所述异常信息存储模块中读取所述异常明细数据；

基于所述维度规则数据中的所述维度数据对所述异常明细数据进行统计，得到各维度下的所述指标数据的统计结果；

基于所述预警规则确定所述各维度对应的预警触发条件，判断任一所述维度的统计结果是否满足对应的所述预警触发条件，若满足，则执行预警处理。

6.根据权利要求1所述的监控系统，其特征在于，所述系统还包括可视化展示模块，所述可视化展示模块用于响应于异常查询操作，从所述异常信息存储模块中读取所述异常明细数据，将所述异常明细信息在预设异常展示页面上进行展示，所述预设展示页面包括异常情况概况页面、单类型异常分析页面、单用户/设备分析页面的一项或多项。

7.根据权利要求6所述的监控系统，其特征在于，所述可视化展示模块具体用于：

获取所述维度规则模块中的所述维度规则数据，基于所述维度规则数据确定第一异常筛选条件，基于所述异常筛选条件确定异常统计结果，并将所述异常统计结果在所述预设异常展示页面上进行展示；或者，

获取所述终端设备发送的异常筛选条件，并结合所述维度规则数据确定第二异常筛选条件，基于所述第二异常筛选条件确定异常统计结果，并将所述异常统计结果在所述预设异常展示页面上进行展示。

8.一种前端异常监控方法，其特征在于，包括：

基于维度规则模块配置维度规则数据，所述维度规则数据包括维度数据、指标数据、预警规则的一项或多项；

基于异常信息收集模块接收终端设备发送的异常信息数据，并对所述异常信息数据进行结构化处理，将结构化的异常信息数据发送至所述异常信息缓存模块；

基于异常信息缓存模块接收所述结构化的异常信息数据，并将所述结构化的异常信息数据缓存至消息队列中；

基于实时流处理模块从所述消息队列中获取所述结构化的异常信息数据，以及从所述维度规则模块中获取所述维度规则数据的第一维度数据，按照所述第一维度数据对所述结构化的异常信息数据进行过滤，得到异常明细数据，将所述异常明细数据传输至所述异常信息存储模块；

基于监控预警模块按照预设查询语句从所述异常信息存储模块中读取所述异常明细数据，基于所述维度规则数据对所述异常明细数据进行预警判断，根据预警判断结果执行预警处理。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求8中所述的前端异常监控方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求8中所述的前端异常监控方法。