CN112910684B - 一种通过实时流式平台监控重点数据的方法及终端 - Google Patents

Abstract

本发明公开了一种通过实时流式平台监控重点数据的方法及终端，通过实时流式平台收集所有数据请求，并将所有数据请求对应的返回数据发送至消息中间件，根据从所述实时流式平台获取的重点数据请求信息从所述消息中间件获取对应的重点数据，并判断所述重点数据是否正常，区别于仅能监控同一服务进程相关数据的现有技术，本发明可以针对全流程的重点业务数据进行监控，在不影响原有业务逻辑的情况下实现全局数据请求以及返回数据的收集，能够及时判断重点的数据是否正常，避免数据异常带来的故障，提高重点数据的监控效率。

Description

一种通过实时流式平台监控重点数据的方法及终端

本案是以申请日为2019.04.03，申请号为201910265472.2，名称为《一种重点数据的监控方法及终端》的专利申请为母案的分案申请。

技术领域

本发明涉及数据监控技术领域，尤其是涉及一种通过实时流式平台监控重点数据的方法及终端。

背景技术

现代的互联网产品大多是通过客户端进行使用的，各种客户端都对应有各自的服务端。通常每个服务端上运行的是单独的项目，有些也可能是多个服务端或微服务聚合成一个项目，存在多种多样的情况。

系统在正常的运行时，可能出现业务数据异常的情况，为了及时发现运行中的异常情况，许多系统存在监控系统。而在这些监控系统中，特别是针对微服务场景下的监控，一般只做到了监控自身对应的服务端相关服务信息，例如，仅监控自身服务端的CPU、内存资源以及自身的线程池、线程总数量、利用率等信息，最多还可能存在一些针对自身服务的业务数据监控，例如数据格式、类型、是否与数据标准格式,当前还没有一种在微服务场景下的、针对全流程重点业务数据进行监控的方式，不够完善。

发明内容

本发明所要解决的技术问题是：提供一种通过实时流式平台监控重点数据的方法及终端，可以针对全流程的重点业务数据进行监控，提高效率。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种通过实时流式平台监控重点数据的方法，包括步骤：

S1、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件；

S2、从所述实时流式平台获取预设的重点数据请求的信息，根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种通过实时流式平台监控重点数据的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件；

S2、从所述实时流式平台获取预设的重点数据请求的信息，根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

本发明的有益效果在于：通过实时流式平台收集所有数据请求，并将所有数据请求对应的返回数据发送至消息中间件，根据从所述实时流式平台获取的重点数据请求信息从所述消息中间件获取对应的重点数据，并判断所述重点数据是否正常，区别于仅能监控同一服务进程相关数据的现有技术，本发明可以针对全流程的重点业务数据进行监控，在不影响原有业务逻辑的情况下实现全局数据请求以及返回数据的收集，能够及时判断重点的数据是否正常，避免数据异常带来的故障，提高重点数据的监控效率。

附图说明

图1为本发明实施例的一种通过实时流式平台监控重点数据的方法的步骤流程图；

图2为本发明实施例的一种通过实时流式平台监控重点数据的终端的结构示意图；

图3为本发明实施例的一种通过实时流式平台监控重点数据的方法中各模块的关系图；

标号说明：

1、一种通过实时流式平台监控重点数据的终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于:实时流式平台收集所有数据请求，消息中间件收集所有数据请求对应的返回数据，根据从所述实时流式平台获取的重点数据请求信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

请参照图1，一种通过实时流式平台监控重点数据的方法，包括步骤：

S1、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件；

S2、从所述实时流式平台获取预设的重点数据请求的信息，根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

从上述描述可知，本发明的有益效果在于：通过实时流式平台收集所有数据请求，并将所有数据请求对应的返回数据发送至消息中间件，根据从所述实时流式平台获取的重点数据请求信息从所述消息中间件获取对应的重点数据，并判断所述重点数据是否正常，区别于仅能监控同一服务进程相关数据的现有技术，本发明可以针对全流程的重点业务数据进行监控，在不影响原有业务逻辑的情况下实现全局数据请求以及返回数据的收集，能够及时判断重点的数据是否正常，避免数据异常带来的故障，提高重点数据的监控效率。

进一步的，所述步骤S1中将根据所述数据请求返回的数据发送至消息中间件包括：

通过实时流式平台转发根据所述数据请求返回的数据至网关；

通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件。

由上述描述可知，所述实时流式平台将所述返回的数据转发至网关，利用所述网关实现将所述返回的数据由所述实时流式平台发送至所述消息中间件，可以实现数据的快速转发，提高效率；同时可以令所述数据请求与返回的数据分立存储在不同模块，便于后续对多个重点数据的监控。

进一步的，所述根据所述数据请求返回的数据中包括对应接口的唯一标识；

所述步骤S1之前包括：

通过网关生成每个数据请求对应接口的唯一标识；

所述步骤S2中从所述实时流式平台获取预设的重点数据请求的信息包括：

根据所述唯一标识从所述实时流式平台中获取对应的重点数据请求；

确定所述重点数据请求的数据项；

所述步骤S2中根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据包括：

根据所述重点数据请求的唯一标识和数据项从所述消息中间件获取所述重点数据请求对应的重点数据。

由上述描述可知，通过设置所述唯一标识可以方便获取与所述重点数据请求对应的返回数据，即重点数据，方便后续对所述重点数据的收集与判断，从而有效监控所述重点数据是否正常；在根据所述唯一标识获取所述重点数据请求时，还需要确定所述重点数据请求的数据项，根据所述唯一标识和数据项从所述消息中间件中获取对应的重点数据，确保了获取所述重点数据时的准确性，避免遗漏。

进一步的，所述步骤S2中判断所述重点数据是否正常包括：

根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则发出告警信息。

由上述描述可知，根据预设的重点数据规则对所述重点数据进行判断，可以适用于多种业务场景，适用性广，同时可以便于及时发现重点数据的异常，提高业务的安全性和准确性。

进一步的，所述根据预设的重点数据计算规则判断所述重点数据是否在正常范围之前还包括：

验证从所述消息中间件获取到的重点数据是否为重点接口对应的重点数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围；若否，则重新获取所述重点接口对应的重点数据。

由上述描述可知，在根据预设的重点数据计算规则判断所述重点数据是否异常之前，还需对所述重点数据进行验证，只有在确定所述重点数据为所述重点接口对应的重点数据时，才进行异常判断，进一步提高了所述重点数据监控的准确性。

请参照图2，一种通过实时流式平台监控重点数据的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件；

S2、从所述实时流式平台获取预设的重点数据请求的信息，根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

从上述描述可知，本发明的有益效果在于：通过实时流式平台收集所有数据请求，并将所有数据请求对应的返回数据发送至消息中间件，根据从所述实时流式平台获取的重点数据请求信息从所述消息中间件获取对应的重点数据，并判断所述重点数据是否正常，区别于仅能监控同一服务进程相关数据的现有技术，本发明可以针对全流程的重点业务数据进行监控，在不影响原有业务逻辑的情况下实现全局数据请求以及返回数据的收集，能够及时判断重点的数据是否正常，避免数据异常带来的故障，提高重点数据的监控效率。

进一步的，所述步骤S1中将根据所述数据请求返回的数据发送至消息中间件包括：

通过实时流式平台转发根据所述数据请求返回的数据至网关；

通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件。

由上述描述可知，所述实时流式平台将所述返回的数据转发至网关，利用所述网关实现将所述返回的数据由所述实时流式平台发送至所述消息中间件，可以实现数据的快速转发，提高效率；同时可以令所述数据请求与返回的数据分立存储在不同模块，便于后续对多个重点数据的监控。

进一步的，所述根据所述数据请求返回的数据中包括对应接口的唯一标识；

所述步骤S1之前包括：

通过网关生成每个数据请求对应接口的唯一标识；

所述步骤S2中从所述实时流式平台获取预设的重点数据请求的信息包括：

根据所述唯一标识从所述实时流式平台中获取对应的重点数据请求；

确定所述重点数据请求的数据项；

所述步骤S2中根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据包括：

根据所述重点数据请求的唯一标识和数据项从所述消息中间件获取所述重点数据请求对应的重点数据。

由上述描述可知，通过设置所述唯一标识可以方便获取与所述重点数据请求对应的返回数据，即重点数据，方便后续对所述重点数据的收集与判断，从而有效监控所述重点数据是否正常；在根据所述唯一标识获取所述重点数据请求时，还需要确定所述重点数据请求的数据项，根据所述唯一标识和数据项从所述消息中间件中获取对应的重点数据，确保了获取所述重点数据时的准确性，避免遗漏。

进一步的，所述步骤S2中判断所述重点数据是否正常包括：

根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则发出告警信息。

由上述描述可知，根据预设的重点数据规则对所述重点数据进行判断，可以适用于多种业务场景，适用性广，同时可以便于及时发现重点数据的异常，提高业务的安全性和准确性。

进一步的，所述根据预设的重点数据计算规则判断所述重点数据是否在正常范围之前还包括：

验证从所述消息中间件获取到的重点数据是否为重点接口对应的重点数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围；若否，则重新获取所述重点接口对应的重点数据。

由上述描述可知，在根据预设的重点数据计算规则判断所述重点数据是否异常之前，还需对所述重点数据进行验证，只有在确定所述重点数据为所述重点接口对应的重点数据时，才进行异常判断，进一步提高了所述重点数据监控的准确性。

实施例一

请参照图1和图3，一种通过实时流式平台监控重点数据的方法，包括步骤：

客户端请求统一网关接口后，通过网关执行业务逻辑，生成每个数据请求对应接口的唯一标识；

S1、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件；

其中，所述根据所述数据请求返回的数据中包括对应接口的唯一标识；

通过所述唯一标识可以方便识别同一接口对应数据请求的返回数据；

具体地，所有数据请求即需要访问微服务的请求均预先经过所述实时流式平台，通过所述实时流式平台进行初始的数据请求收集；

如图3所示，所述数据请求需要访问的微服务返回对应的数据后，所述实时流式平台获取根据所述数据请求返回的数据；

所述实时流式平台转发根据所述数据请求返回的数据至所述网关；

所述网关记录所有返回的数据，并将根据所述数据请求返回的数据发送至MQ消息中间件中；

所述网关以JSON数据格式向所述MQ消息中间件发送所述返回的数据，具体字段包括客户端调用的接口类型、调用微服务的接口类型、微服务接口返回的数据信息和接口对应的唯一标识等；

在所述网关将所述返回的数据发送给所述MQ消息中间件之后，才将所述返回的数据返回至客户端；

S2、从所述实时流式平台获取预设的重点数据请求的信息，根据所述重点数据请求的信息从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常。

其中，所述重点数据请求为重点接口对应的数据请求，所述重点接口根据具体业务自行设定，可以在后台配置哪些接口为重点接口，根据各个接口的URL地址进行标记，在重点数据的监控过程中，根据所述标记确定所述重点接口，获取所述重点接口对应的唯一标识；

具体地，数据监控平台根据所述唯一标识从所述实时流式平台中获取对应接口的重点数据请求参数信息，确定所述重点数据请求的数据项；

所述数据监控平台根据所述重点数据请求的唯一标识和数据项从所述消息中间件实时订阅所述重点数据请求对应的重点数据，所述重点数据即所述重点数据请求的所有返回字段；

所述数据监控平台收到订阅的重点数据时，根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则发出告警信息至通知平台，由所述通知平台通知相关人员当前存在异常数据需要处理的信息；

所述预设的重点数据计算规则根据具体业务规则确定，所述重点数据的正常范围也需要根据具体的业务规则设置，例如判断预设时间内的重点数据之和是否大于预设数值，从而确定所述重点数据是否存在异常；

例如，在金融业务系统中，不同类型的账户在固定时间段内进行的交易金额需要在一定范围之内，这时就需要进行业务规则的监控。小用户类型的账户在每天的8:00-16:00之间，每一笔的支出与收入总金额要求在0-50000之间，只有在0-50000之间才认为是数据正常，超出该范围则认为是数据异常；

通过监控每一个交易接口，每个交易内部可以存在多个批次的操作，可以支出，也可以收入，通过所述实时流式平台采集请求接口的数据请求，所述消息中间件记录所述数据请求对应的返回数据；

所述数据监控平台根据唯一标识和数据项从所述消息中间件实时订阅所述交易接口对应的每个小用户类型账户在8:00-16:00间所有数据请求的返回数据，所述返回数据即为此时的重点数据；

所述数据监控平台收到订阅的重点数据后，将每个小用户类型账户对应的重点数据相加实现每个小用户类型账户总交易金额的计算，判断每个小用户类型账户的总交易金额是否在0-50000之间，若是，则交易金额符合业务规则，数据正常；若否，则说明数据出现异常，可能出现账户被盗或系统存在BUG等异常情况，发出告警信息至通知平台，由所述通知平台通知相关人员当前存在异常数据需要处理的信息。

实施例二

本实施例与实施例一的不同在于：

所述根据预设的重点数据计算规则判断所述重点数据是否在正常范围之前还包括：

验证从所述消息中间件获取到的重点数据是否为重点接口对应的重点数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围；若否，则重新获取所述重点接口对应的重点数据。

具体地，所述数据监控平台收到订阅的重点数据后，预先验证收到的重点数据是否为重点接口对应的重点数据，即验证收到的重点数据是否为重点接口对应的重点数据请求的返回数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则重新获取所述重点接口对应的重点数据，即重新执行步骤S2。

实施例三

请参照图2，一种通过实时流式平台监控重点数据的终端1，包括存储器2、处理器3及存储在存储器2上并可在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一中的各个步骤。

实施例四

请参照图2，一种通过实时流式平台监控重点数据的终端1，包括存储器2、处理器3及存储在存储器2上并可在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例二中的各个步骤。

综上所述，本发明提供的一种通过实时流式平台监控重点数据的方法及终端，通过实时流式平台收集所有数据请求，并通过网关将所有数据请求对应的返回数据发送至消息中间件，根据接口的唯一标识从所述实时流式平台确定对应的重点数据请求的数据项，根据所述唯一标识和数据项从所述消息中间件获取对应的重点数据，判断所述重点数据是否正常，在所述重点数据异常时及时告警，区别于仅能监控同一服务进程相关数据的现有技术，本发明可以针对全流程的重点业务数据进行监控，在不影响原有业务逻辑的情况下实现全局数据请求以及返回数据的收集，可以实现数据的快速转发，确保获取所述重点数据时的准确性，避免遗漏，能够及时判断重点的数据是否正常，避免数据异常带来的故障，提高重点数据的监控效率，适用性广。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种通过实时流式平台监控重点数据的方法，其特征在于，包括步骤：

S1、通过网关生成每个数据请求对应接口的唯一标识；

S2、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件，所述根据所述数据请求返回的数据中包括对应接口的唯一标识；

S3、根据所述唯一标识从所述实时流式平台中获取对应的重点数据请求；确定所述重点数据请求的数据项；根据所述重点数据请求的唯一标识和数据项从所述消息中间件实时订阅所述重点数据请求对应的重点数据，判断所述重点数据是否正常；

S3中，所述重点数据请求为重点接口对应的数据请求，根据URL地址标记各个接口，根据所述标记确定所述重点接口，获取所述重点接口对应的唯一标识。

2.根据权利要求1所述的一种通过实时流式平台监控重点数据的方法，其特征在于，所述步骤S2中将根据所述数据请求返回的数据发送至消息中间件包括：

通过实时流式平台转发根据所述数据请求返回的数据至网关；

通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件。

3.根据权利要求1所述的一种通过实时流式平台监控重点数据的方法，其特征在于，所述步骤S3中判断所述重点数据是否正常包括：

根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则发出告警信息。

4.根据权利要求3所述的一种通过实时流式平台监控重点数据的方法，其特征在于，所述根据预设的重点数据计算规则判断所述重点数据是否在正常范围之前还包括：

验证从所述消息中间件获取到的重点数据是否为重点接口对应的重点数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围；若否，则重新获取所述重点接口对应的重点数据。

5.根据权利要求2所述的一种通过实时流式平台监控重点数据的方法，其特征在于，所述通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件具体为：

通过所述网关以JSON数据格式将根据所述数据请求返回的数据发送至所述消息中间件，所述根据所述数据请求返回的数据中包括客户端调用的接口类型、调用微服务的接口类型、微服务接口返回的数据信息和接口对应的唯一标识。

6.一种通过实时流式平台监控重点数据的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、通过网关生成每个数据请求对应接口的唯一标识；

S2、通过实时流式平台收集所有数据请求，并将根据所述数据请求返回的数据发送至消息中间件，所述根据所述数据请求返回的数据中包括对应接口的唯一标识；

S3、根据所述唯一标识从所述实时流式平台中获取对应的重点数据请求；确定所述重点数据请求的数据项；根据所述重点数据请求的唯一标识和数据项从所述消息中间件实时订阅所述重点数据请求对应的重点数据，判断所述重点数据是否正常；

S3中，所述重点数据请求为重点接口对应的数据请求，根据URL地址标记各个接口，根据所述标记确定所述重点接口，获取所述重点接口对应的唯一标识。

7.根据权利要求6所述的一种通过实时流式平台监控重点数据的终端，其特征在于，所述步骤S2中将根据所述数据请求返回的数据发送至消息中间件包括：

通过实时流式平台转发根据所述数据请求返回的数据至网关；

通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件。

8.根据权利要求6所述的一种通过实时流式平台监控重点数据的终端，其特征在于，所述步骤S3中判断所述重点数据是否正常包括：

根据预设的重点数据计算规则判断所述重点数据是否在正常范围，若否，则发出告警信息。

9.根据权利要求8所述的一种通过实时流式平台监控重点数据的终端，其特征在于，所述根据预设的重点数据计算规则判断所述重点数据是否在正常范围之前还包括：

验证从所述消息中间件获取到的重点数据是否为重点接口对应的重点数据，若是，则根据预设的重点数据计算规则判断所述重点数据是否在正常范围；若否，则重新获取所述重点接口对应的重点数据。

10.根据权利要求7所述的一种通过实时流式平台监控重点数据的终端，其特征在于，所述通过所述网关将根据所述数据请求返回的数据发送至所述消息中间件具体为：

通过所述网关以JSON数据格式将根据所述数据请求返回的数据发送至所述消息中间件，所述根据所述数据请求返回的数据中包括客户端调用的接口类型、调用微服务的接口类型、微服务接口返回的数据信息和接口对应的唯一标识。

Images