CN115756888A - 数据处理方法、处理器、装置及存储介质 - Google Patents

Abstract

本申请涉及计算机技术领域，具体地，涉及一种数据处理方法、处理器、装置及存储介质。方法包括：获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。通过对数据接口的日志数据进行实时分析，提高了管理效率。

Description

数据处理方法、处理器、装置及存储介质

技术领域

本申请涉及计算机技术领域，具体地，涉及一种数据处理方法、处理器、装置及存储介质。

背景技术

在计算机技术领域，随着各种大数据组件日臻完善，大部分组件都可以对外提供数据查询功能，供应用层进行数据访问，为了对数据安全和权限进行有效管控，现在大数据治理平台都会集成数据服务平台，由于大数据接口服务一般数据量大，对接口传输数据有很高的要求，为了保障服务质量和避免接口超时，需要对数据服务平台纳管的接口进行有效的管理和监控。

现有技术中，主要通过ELK(Elasticsearch+Logstash+Kabana)技术方案，对数据服务纳管的接口运行日志进行采集，存储到索引数据库Elasticsearch，最后通过Kabana进行日主数据的展示，当数据服务有问题时，运维人员通过kabana进行日志的巡检和检查，发现出问题的原因，然后进行手动运维，解决问题；这是一种被动的解决问题的方式，当服务不可用和数据延迟时，会影响客户应用系统的正常运行。

发明内容

本申请的目的是提供一种对日志数据进行实时监控分析的数据处理方法、处理器、装置及存储介质。

为了实现上述目的，本申请提供一种数据处理方法，应用于数据服务平台，数据处理方法包括：

获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；

实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；

实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；

实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；

融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；

根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。

在本申请的实施例中，接口监控规则包括监控时间周期，数据处理方法还包括：在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；将最大公约数确定为针对日志数据的检测窗口的检测时间长度；其中，在通过检测窗口对融合数据流中的日志数据流进行分析时，按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

在本申请的实施例中，实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：对每个数据接口的日志数据进行检测，以确定任意一个数据接口在检测时间长度内是否发生真实日志数据缺失的情况；在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。

在本申请的实施例中，根据融合数据流中包含的监控规则数据流确定针对融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：将融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将数据传输成功率存储至环形队列；根据融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；针对每个数据接口，确定达到数据接口的监控时间周期所需的检测时间长度的第一数量；针对每个数据接口，从环形队列中按照时间的先后顺序选取数据接口对应的第一数量的子日志数据流的数据传输成功率；针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据。

在本申请的实施例中，接口监控规则包括在每个监控时间周期的成功率范围，针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据包括：确定第一数量的子日志数据流的数据传输成功率的平均值；在平均值处于成功率范围内的情况下，确定数据接口对应的日志数据流符合数据接口的接口监控规则；在平均值未处于成功率范围内的情况下，确定数据接口对应的日志数据流不符合数据接口的接口监控规则。

在本申请的实施例中，数据处理方法还包括：在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，获取针对数据接口的反馈信息；在反馈信息为传输异常的情况下，确定接口监控规则待修改；在反馈信息为传输正常的情况下，确定数据接口的数据传输正常。

在本申请的实施例中，实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流包括：确定接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，将更新后的接口监控规则在flink集群中进行实时广播，以对更新前的接口监控规则进行覆盖。

本申请第二方面提供一种处理器，被配置成执行上述任意一项的数据处理方法。

本申请第三方面提供了一种数据处理装置，包括上述的处理器。

本申请第四方面提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行根据上述任意一项的数据处理方法。

通过上述技术方案，可以通过实时获取数据接口的日志数据，通过flink对日志数据和数据接口的接口监控规则进行融合分析，实时获取每个数据接口的监控分析数据，从而对海量大数据的服务接口的传输情况进行实时监控，并及时对传输过程中产生的问题进行排查，提高了管理效率。

本申请的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。在附图中：

图1示意性示出了根据本申请实施例的数据处理方法的流程示意图；

图2示意性示出了根据本申请实施例的计算机设备的内部结构图。

具体实施方式

以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的数据处理方法的流程示意图。如图1所示，在本申请一个实施例中，提供了一种数据处理方法，包括以下步骤：

步骤101，获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；

步骤102，实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；

步骤103，实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；

步骤104，实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；

步骤105，融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；

步骤106，根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。

数据服务平台设置有多个数据接口，用于对数据进行传输，处理器可以获取数据服务平台内针对每个数据接口配置的接口监控规则，并将获得的接口监控规则保存至redis中，处理器可以实时获取每个数据接口的日志数据，并将日志数据存储至消息队列中，数据接口的日志数据可以包括数据接口在进行交互的过程中产生的各种行为数据，例如项目名称，服务模块名称，源IP地址，调用方名称，接口地址，端口号，调用成功标志，接口调用开始时间，调用耗时，消息内容，日志级别等等。处理器可以对上述日志数据进行实时采集。

处理器将获取得到的日志数据存储至消息队列中后，可以实时采用flink计算引擎对存储在消息队列中的日志数据进行消费，从而得到每个数据接口的每条日志数据对应的日志数据流。处理器可以实时消费存储在redis中的接口监控规则，从而得的每个数据接口对应的监控规则数据流。

处理器在得到每个数据接口的日志数据流和监控规则数据流后，可以对每个数据接口的日志数据流和监控规则数据流进行融合，以得到每个数据接口的融合数据流，根据得到的每个数据接口的融合数据流中包含的监控规则数据流对融合数据流进行分析，从而得到每个数据接口的监控分析数据。

在一个实施例中，接口监控规则包括监控时间周期，数据处理方法还包括：在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；将最大公约数确定为针对日志数据的检测窗口的检测时间长度；其中，在通过检测窗口对融合数据流中的日志数据流进行分析时，按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

数据接口配置的接口监控规则可以包括针对数据接口的监控时间周期。处理器在获取针对每个数据接口配置的接口监控规则后，可以根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数。处理器可以将最大公约数确定为针对日志数据进行检测分析的检测窗口的检测时间长度。例如，假设A数据接口的监控时间周期是6分钟，B数据接口的监控时间周期是9分钟，C数据接口的监控时间周期是15分钟，处理器确定A、B、C三个数据接口的监控时间周期的最大公约数是3。则处理器可以将检测窗口的检测时间长度确定为3分钟。

处理器确定了检测窗口的检测时间长度后，处理器在通过检测窗口对融合数据流中的日志数据流进行分析时，可以按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。例如，假设处理器将检测窗口的检测时间长度设置为3分钟，在通过检测窗口对融合数据流中的日志数据流进行分析时，可以按照3分钟的时间长度将日志数据流切分成多个子日志数据流，即每个子日志数据流的长度都是3分钟，并通过检测窗口得到每个子日志数据流的日志检测结果。

在一个实施例中，实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：对每个数据接口的日志数据进行检测，以确定任意一个数据接口在检测时间长度内是否发生真实日志数据缺失的情况；在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。

处理器可以通过flink计算引擎对每个数据接口的日志数据进行检测，从而确定任意一个数据接口在检测时间长度内是否发生真实日志数据缺失的情况，其中，真实日志数据是指数据接口在数据交互过程中产生的真实的行为数据，由于数据接口的调用并不是每时每刻都在发生，所以并不会一直产生真实日志数据，因此会出现真实日志缺失的情况，在确定发生真实日志数据缺失的情况下，flink计算引擎可以生成预设数量的模拟日志数据，以对缺失的真实日志数据的数据接口的日志数据进行补充，使得每个数据接口的在任意一个检测时间长度内都具有日志数据，从而得到每个数据接口的每条日志数据的日志数据流。例如，假设A数据接口在10:00至10:09之间没有产生日志数据，假设检测窗口的检测时间长度为3分钟，那么A数据接口在3个检测时间长度内没有真实日志数据，为了保证检测窗口每次都可以被实时触发，处理器可以通过flink计算引擎对任意一个缺失真实日志数据的检测时间长度内的日志数据进行补充，处理器可以将预设数量设置成1，也就是说，flink计算引擎针对任意一个缺失真实日志数据的检测时间长度可以生成一个模拟日志数据以对数据接口的日志数据进行补充，例如flink计算引擎可以针对10:00至10:09补充3条模拟日志数据，以得到A数据接口的日志数据流。

在一个实施例中，根据融合数据流中包含的监控规则数据流确定针对融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：将融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将数据传输成功率存储至环形队列；根据融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；针对每个数据接口，确定达到数据接口的监控时间周期所需的检测时间长度的第一数量；针对每个数据接口，从换向队列中按照时间的先后顺序选取数据接口对应的第一数量的子日志数据流的数据传输成功率；针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据。

处理器在根据融合数据流中包含的监控规则数据流确定针对融合数据流的分析规则，以得到每个数据接口的监控分析数据时，处理器可以将融合数据流传输至设置好的检测窗口，通过检测窗口确定每个子日志数据流的数据传输成功率，并将每个子日志数据流的数据传输成功率存储至环形队列中。处理器可以根据融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期，针对每个数据接口，处理器可以确定达到数据接口的监控时间周期所需要的检测时间长的第一数量。针对每个数据接口，处理器可以根据确定的第一数量从环形队列中选取该数据接口的第一数量的子日志数据流的数据传输成功率，并根据第一数量的子日志数据流的数据传输成功率确定每个数据接口的监控分析数据。

例如，融合数据流传输至检测窗口后，检测窗口可以确定每个子日志数据流的数据传输成功率，并将所有数据接口的子日志数据流的数据传输成功率全部存储至环形队列中。假设处理器根据融合数据流中包含的监控数据流确定A数据接口的监控时间周期是6分钟，B数据接口的监控时间周期是9分钟，C数据接口的监控时间周期是15分钟，假设检测窗口的检测时间长度为3分钟，处理器可以确定达到A数据接口需要2个检测时间长度，达到B数据接口需要3个检测时间长度，达到C数据接口需要5个检测时间长度。在确定了需要达到每个数据接口的监控时间周期所需要的检测时间长度的第一数量后，处理器可以从环形队列中按照时间的先后顺序选取2个A数据接口的子日志数据流的成功率，以此确定A数据口的监控分析数据，处理器可以从环形队列中按照时间的先后顺序选取3个B数据接口的子日志数据流的成功率，以此确定B数据口的监控分析数据，处理器可以从环形队列中选取5个C数据接口的子日志数据流的成功率，以此确定C数据口的监控分析数据。

在一个实施例中，接口监控规则包括在每个监控时间周期的成功率范围，针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据包括：确定第一数量的子日志数据流的数据传输成功率的平均值；在平均值处于成功率范围内的情况下，确定数据接口对应的日志数据流符合数据接口的接口监控规则；在平均值未处于成功率范围内的情况下，确定数据接口对应的日志数据流不符合数据接口的接口监控规则。

数据接口配置的接口监控规则包括在每个监控时间周期的成功率范围，处理器在针对每个数据接口选取了第一数量的子日志数据流后，可以获取每个子日志数据流的传输成功率，并确定第一数量的子日志数据流的传输成功率的平均值，在平均值处于接口监控规则设置的成功率范围内的情况下，处理器可以确定该数据接口对应的日志数据流符合该数据接口的接口监控规则。在平均值未处于接口监控规则设置的成功率范围内的情况下，处理器可以确定该数据接口对应的日志数据流不符合该数据接口的接口监控规则，此时，处理器可以进行报警提示，将报警信息推送给运维人员。例如，假设处理器在环形队列中针对C数据接口获取了5个子日志数据流的传输成功率，处理器可以确定5个子日志数据流的平均传输成功率，再将得到的平均传输成功率与C数据接口的接口监控规则设置的成功率范围进行比较，在成功率范围内的情况下，确定C数据接口对应的日志数据流符合C数据接口的接口监控规则，若是不在成功率范围内，则确定C数据接口对应的日志数据流不符合C数据接口的接口监控规则，处理器可以针对C数据接口进行报警提示。

在一个实施例中，在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，获取针对数据接口的反馈信息；在反馈信息为传输异常的情况下，确定接口监控规则待修改；在反馈信息为传输正常的情况下，确定数据接口的数据传输正常。

处理器在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，可以获取针对数据接口的反馈信息，反馈信息可以由使用人员输入。当反馈信息表明数据传输异常时，说明使用人员在对数据接口进行使用时，出现了故障，但是根据目前数据接口配置的接口监控规则并没有检测出数据监控异常，因此可能是配置的接口监控规则并不适合该数据接口，因此在反馈信息为传输异常的情况下，处理器可以确定接口监控规则待修改，若是确定数据接口对应的日志数据流符合数据接口的接口监控规则，且反馈信息表明传输正常，则处理器可以确定数据接口的数据传输正常。

在一个实施例中，实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流包括：确定接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，将更新后的接口监控规则在flink集群中进行实时广播，以对更新前的接口监控规则进行覆盖。

在处理器确定数据接口的接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，处理器可以将更新后的接口监控规则在flink集群中进行实时广播，从而对更新前的接口监控规则进行覆盖。

在一个实施例中，提供了一种处理器，被配置成执行上述任意一项的数据处理方法。

数据服务平台设置有多个数据接口，用于对数据进行传输，处理器可以获取数据服务平台内针对每个数据接口配置的接口监控规则，并将获得的接口监控规则保存至redis中。处理器还可以实时获取每个数据接口的日志数据，其中，日志数据可以包括数据接口在进行交互的过程中产生的各种行为数据，例如项目名称，服务模块名称，源IP地址，调用方名称，接口地址，端口号，调用成功标志，接口调用开始时间，调用耗时，消息内容，日志级别等等。处理器可以建立检测窗口，通过检测窗口对每个数据接口的日志数据进行检测，从而对每个数据接口产生的日志数据进行分析，判断是否符合对应的数据接口的接口监控规则。

处理器在获得每个数据接口的接口监控规则后，可以获取每个接口监控规则内包括的针对每个数据接口的监控时间周期，并根据每个监控时间周期确定所有数据接口的监控时间周期的最大公约数。处理器可以将最大公约数确定为针对日志数据进行检测分析的检测窗口的检测时间长度。处理器确定了检测窗口的检测时间长度后，处理器在通过检测窗口对融合数据流中的日志数据流进行分析时，可以按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

例如，假设A数据接口的监控时间周期是6分钟，B数据接口的监控时间周期是9分钟，C数据接口的监控时间周期是15分钟，处理器确定A、B、C三个数据接口的监控时间周期的最大公约数是3。则处理器可以将检测窗口的检测时间长度确定为3分钟。在通过检测窗口对融合数据流中的日志数据流进行分析时，可以按照3分钟的时间长度将日志数据流切分成多个子日志数据流，即每个子日志数据流的长度都是3分钟，并通过检测窗口得到每个子日志数据流的日志检测结果。

处理器实时获取每个数据接口的日志数据，并存储消息队列，再通过flink计算引擎对消息队列中的日志数据进行消费，在flink计算引擎对日志数据进行消费时，会检测日志数据是否在检测时间长度内发生真实日志数据缺失的情况。这是由于数据接口的调用并不是每时每刻都在发生，所以并不会一直产生真实日志数据，因此会出现真实日志缺失的情况。而当检测时间长度内发生真实日志数据缺失的情况时，设置的检测窗口无法被日志数据流触发，从而影响对后续日志数据流的检测，因此flink计算引擎为了保证检测窗口被触发，在确定日志数据发生缺失时，可以生成模拟日志数据对日志数据流进行补充，模拟日志数据会对缺失日志数据的时间段进行补充，并且生成的模拟日志数据只为了可以触发检测窗口，并不会影响检测窗口对真实日志数据的检测分析。处理器可以设置预设数量，flink计算引擎可以根据设置的预设数量在缺失日志数据流的检测时间段内生成预设数量的模拟日志数据。例如，假设检测窗口的窗口时间长度为3分钟，假设在一个连续的3分钟内数据接口并没有产生日志数据，那在检测窗口对此进行检测时可以无法进行触发，处理器可以将预设数量设置为1，flink计算引擎可以对此生,1条模拟日志数据，从而保证检测窗口的触发。在flink计算引擎通过模拟日志数据对每个数据接口的日志数据数据进行补充，从而得到每个数据接口连续的日志数据流。

处理器可以实时消费存储在redis中的接口监控规则，从而得的每个数据接口对应的监控规则数据流。处理器可以将每个数据接口的日志数据流和监控规则数据流进行融合，以得到每个数据接口的融合数据流。并将融合数据流输入至设置好的检测窗口进行检测，检测窗口按照检测时间长度对每个融合数据流进行检测分析，并得到每个检测时间长度的日志数据流的检测结果，也就是每个子日志数据流的日志检测结果。在得到每个数据接口的每个子日志数据流的日志检测结果后，处理器可以将所有数据接口的子日志数据流的日志检测结果存储至环形队列中，处理器可以确定针对每个数据接口，达到数据接口的数据接口的监控时间周期所需要的检测时间长的第一数量，并按照时间的先后顺序在环形队列中选取对应的数据接口的第一数量的子日志数据流的检测结果，其中，检测结果可以包括子日志数据流的传输成功率，再确定第一数量的子日志数据流的传输成功率的平均值，将该平均值与该数据接口的接口监控规则设置的传输成功率范围进行比较，若是在成功接口监控规则设置的传输成功率范围内，则确定该数据接口的日志数据符合该数据接口的接口监控规则。在平均值未处于接口监控规则设置的成功率范围内的情况下，处理器可以确定该数据接口对应的日志数据流不符合该数据接口的接口监控规则，此时，处理器可以进行报警提示，将报警信息推送给运维人员。

例如，融合数据流传输至检测窗口后，检测窗口可以确定每个子日志数据流的数据传输成功率，并将所有数据接口的子日志数据流的数据传输成功率全部存储至环形队列中。假设处理器根据融合数据流中包含的监控数据流确定A数据接口的监控时间周期是6分钟，B数据接口的监控时间周期是9分钟，C数据接口的监控时间周期是15分钟，假设检测窗口的检测时间长度为3分钟，处理器可以确定达到A数据接口需要2个检测时间长度，达到B数据接口需要3个检测时间长度，达到C数据接口需要5个检测时间长度。在确定了需要达到每个数据接口的监控时间周期所需要的检测时间长度的第一数量后，处理器可以从环形队列中按照时间的先后顺序选取2个A数据接口的子日志数据流的成功率，并确定A数据接口2个子日志数据流传输成功率的平均值，将平均值与A数据接口的接口监控规则设置的成功率范围进行比较，在成功率范围内的情况下，确定A数据接口对应的日志数据流符合A数据接口的接口监控规则，若是不在成功率范围内，则确定A数据接口对应的日志数据流不符合A数据接口的接口监控规则，处理器可以针对A数据接口进行报警提示。同理，处理器可以从环形队列中按照时间的先后顺序选取3个B数据接口的子日志数据流的成功率，以此确定B数据口的监控分析数据，处理器可以从环形队列中按照时间的先后顺序选取5个C数据接口的子日志数据流的成功率，以此确定C数据口的监控分析数据。

处理器在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，还可以获取针对数据接口的反馈信息，反馈信息可以由使用人员输入。当反馈信息表明数据传输异常时，说明使用人员在对数据接口进行使用时，出现了故障，但是根据目前数据接口配置的接口监控规则并没有检测出数据监控异常，因此可能是配置的接口监控规则并不适合该数据接口，因此在反馈信息为传输异常的情况下，处理器可以确定接口监控规则待修改，并对运维人员进行相关提示，当运维人员对接口监控规则进行修改后，处理器在获取到更新后的接口监控规则的情况下，处理器可以将更新后的接口监控规则在flink集群中进行实时广播，从而对更新前的接口监控规则进行覆盖。若是处理器确定数据接口对应的日志数据流符合数据接口的接口监控规则，且反馈信息表明传输正常，则处理器可以确定数据接口的数据传输正常。

上述技术方案，可以通过实时获取数据接口的日志数据，通过flink对日志数据和数据接口的接口监控规则进行融合分析，通过将检测窗口的检测时间长度设置为所有数据接口的监控周期的公约数，以此来对所有数据接口的日志数据进行检测，并利用环形队列实现对不同监控周期的数据接口的检测数据进行统计分析，从而对海量大数据的服务接口的传输情况进行实时监控，并及时对传输过程中产生的问题进行排查，提高了管理效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储工程机械的相关数据，以及操作人员输入的相关数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种数据处理方法。

图1为一个实施例中数据处理方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。

在一个实施例中，接口监控规则包括监控时间周期，数据处理方法还包括：在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；将最大公约数确定为针对日志数据的检测窗口的检测时间长度；其中，在通过检测窗口对融合数据流中的日志数据流进行分析时，按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

在一个实施例中，实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：对每个数据接口的日志数据进行检测，以确定任意一个数据接口在检测时间长度内是否发生真实日志数据缺失的情况；在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。

在一个实施例中，根据融合数据流中包含的监控规则数据流确定针对融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：将融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将数据传输成功率存储至环形队列；根据融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；针对每个数据接口，确定达到数据接口的监控时间周期所需的检测时间长度的第一数量；针对每个数据接口，从环形队列中按照时间的先后顺序选取数据接口对应的第一数量的子日志数据流的数据传输成功率；针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据。

在一个实施例中，接口监控规则包括在每个监控时间周期的成功率范围，针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据包括：确定第一数量的子日志数据流的数据传输成功率的平均值；在平均值处于成功率范围内的情况下，确定数据接口对应的日志数据流符合数据接口的接口监控规则；在平均值未处于成功率范围内的情况下，确定数据接口对应的日志数据流不符合数据接口的接口监控规则。

在一个实施例中，数据处理方法还包括：在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，获取针对数据接口的反馈信息；在反馈信息为传输异常的情况下，确定接口监控规则待修改；在反馈信息为传输正常的情况下，确定数据接口的数据传输正常。

在一个实施例中，实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流包括：确定接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，将更新后的接口监控规则在flink集群中进行实时广播，以对更新前的接口监控规则进行覆盖。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理器或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据服务平台，所述数据处理方法包括：

获取针对每个数据接口配置的接口监控规则，并将所述接口监控规则保存至redis中；

实时获取每个数据接口的日志数据，并将所述日志数据存储至消息队列；

实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；

实时消费所述redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；

融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；

根据所述融合数据流中包含的监控规则数据流对所述融合数据流进行分析，以得到每个数据接口的监控分析数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述接口监控规则包括监控时间周期，所述数据处理方法还包括：

在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；

将所述最大公约数确定为针对所述日志数据的检测窗口的检测时间长度；

其中，在通过所述检测窗口对所述融合数据流中的日志数据流进行分析时，按照所述检测时间长度将所述日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

3.根据权利要求2所述的数据处理方法，其特征在于，所述实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：

对每个数据接口的日志数据进行检测，以确定任意一个数据接口在所述检测时间长度内是否发生真实日志数据缺失的情况；

在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述融合数据流中包含的监控规则数据流确定针对所述融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：

将所述融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将所述数据传输成功率存储至环形队列；

根据所述融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；

针对每个数据接口，确定达到所述数据接口的监控时间周期所需的所述检测时间长度的第一数量；

针对每个数据接口，从所述环形队列中按照时间的先后顺序选取所述数据接口对应的所述第一数量的子日志数据流的数据传输成功率；

针对每个数据接口，根据所述第一数量的子日志数据流的数据传输成功率确定所述数据接口的监控分析数据。

5.根据权利要求4所述的数据处理方法，其特征在于，所述接口监控规则包括在每个监控时间周期的成功率范围，所述针对每个数据接口，根据所述第一数量的子日志数据流的数据传输成功率确定所述数据接口的监控分析数据包括：

确定所述第一数量的子日志数据流的数据传输成功率的平均值；

在所述平均值处于所述成功率范围内的情况下，确定所述数据接口对应的日志数据流符合所述数据接口的接口监控规则；

在所述平均值未处于所述成功率范围内的情况下，确定所述数据接口对应的日志数据流不符合所述数据接口的接口监控规则。

6.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理方法还包括：

在确定所述数据接口对应的日志数据流符合所述数据接口的接口监控规则情况下，获取针对所述数据接口的反馈信息；

在所述反馈信息为传输异常的情况下，确定所述接口监控规则待修改；

在所述反馈信息为传输正常的情况下，确定所述数据接口的数据传输正常。

7.根据权利要求6所述的数据处理方法，其特征在于，所述实时消费所述redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流包括：

确定所述接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，将所述更新后的接口监控规则在flink集群中进行实时广播，以对更新前的接口监控规则进行覆盖。

8.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任意一项所述的数据处理方法。

9.一种数据处理装置，其特征在于，包括如权利要求8所述的处理器。

10.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至7中任意一项所述的数据处理方法。

Images