CN110389840A - 负载消耗预警方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供了一种负载消耗预警方法、装置、计算机设备和存储介质，其中，该方法包括：获取预设时间段内的目标源数据；解析目标源数据以获取目标源数据的数据来源类型和数据编码；根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据；将加工后的数据输入预设的负载消耗预警模型，得到加工后的数据的负载消耗值；在负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。上述方法可以有效提升复杂系统的运维效率并降低运维成本。

Description

负载消耗预警方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机应用技术领域，特别涉及一种负载消耗预警方法、装置、计算机设备和存储介质。

背景技术

目前，金融机构中一般设置有MPP数据库、Hadoop集群、对象存储等平台以形成大数据处理体系。随着部署集群数量的不断增多，集群规模也逐步增大。因为各集群面向的应用监控运维场景较为复杂、且运维监控数据多数是离散存在于大数据处理体系中各组成环节上的，从而导致系统运维较为困难。

针对现有的因为缺乏数据汇集以及基于汇集数据的分析应用而导致的系统运维困难的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种负载消耗预警方法、装置、计算机设备和存储介质，以解决现有技术中复杂系统运维难的问题。

本申请实施例提供了一种负载消耗预警方法，包括：获取预设时间段内的目标源数据；解析目标源数据以获取目标源数据的数据来源类型和数据编码；根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据；将加工后的数据输入预设的负载消耗预警模型，得到加工后的数据的负载消耗值；在负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

在一个实施例中，获取预设时间段内的目标源数据，包括：从目标数据处理系统采集源数据；将采集到的源数据发送至数据队列中；从数据队列中获取预设时间段内的目标源数据。

在一个实施例中，目标源数据为日志数据，预设的参数表包括：日志解析配置表、日志处理程序配置表、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据，包括：根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据；解析指标数据以获取指标数据的指标来源类型和指标编码；根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值；根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据。

在一个实施例中，根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据，包括：从日志解析配置表中获取数据来源类型和数据编码对应的第一程序编码；从日志处理程序配置表获取第一程序编码对应的日志解析程序信息；根据日志解析程序信息调用对应的日志解析程序将日志数据解析成指标数据。

在一个实施例中，根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值，包括：从指标模型映射表中获取指标来源类型和指标编码对应的模型编码；从指标阈值定义表中获取指标来源类型和指标编码对应的指标阈值；从模型定义表中获取模型编码对应的第二程序编码；从模型程序定义表获取第二程序编码对应的数据加工程序信息。

在一个实施例中，根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据，包括：根据数据加工程序信息调用对应的数据加工程序对指标数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定日志数据异常，并将加工后的数据存储到第二数据库中。

在一个实施例中，目标源数据为指标数据，预设的参数表包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；相应的，根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据，包括：从指标模型映射表中获取与数据来源类型和数据编码对应的模型编码，从指标阈值定义表中获取数据来源类型和数据编码对应的指标阈值；从模型定义表中获取模型编码对应的程序编码，并从模型程序定义表中获取程序编码对应的数据加工程序信息；根据数据加工程序信息调用对应的数据加工程序对目标源数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定指标数据异常，并将加工后的数据存储到第二数据库中。

在一个实施例中，根据数据加工程序信息对目标源数据进行加工，包括以下至少之一：计算目标源数据的总量；计算目标源数据的均值；计算目标源数据的最大值；计算目标源数据的最小值。

在一个实施例中，在将加工后的数据输入预设的负载消耗预警模型之前，还包括：获取历史数据；将历史数据向量化，得到特征向量样本集；利用特征向量样本集训练深度卷积神经网络模型，得到预设的负载消耗预警模型。

在一个实施例中，目标源数据包括以下至少之一：交易量、平均响应时间、交易数据量大小、CPU使用情况、内存使用情况、磁盘I/O参数、GC参数、平均网络延迟参数。

本申请实施例还提供了一种负载消耗预警装置，包括：获取模块，用于获取预设时间段内的目标源数据；解析模块，用于解析目标源数据以获取目标源数据的数据来源类型和数据编码；加工模块，用于根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据；输入模块，用于将加工后的数据输入预设的负载消耗预警模型，得到加工后的数据的负载消耗值；预警模块，用于在负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

本申请实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的负载消耗预警方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的负载消耗预警方法的步骤。

在本申请实施例中，提供了一种负载消耗预警方法，获取预设时间段内的目标源数据，解析目标源数据以获取目标源数据的数据来源类型和数据编码，并根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据，然后将加工后的数据输入预设的负载消耗预警模型，得到负载消耗值，并且在确定负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。上述方案中，采集复杂大数据处理体系的预设时间内的目标源数据，然后根据目标源数据的数据来源类型和数据编码确定对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工处理，使得可以汇集复杂大数据处理体系的数据并进行加工，然后将加工后的数据输入预设的负载消耗模型，输出目标源数据对应的负载消耗值，并且在负载消耗值大于预设阈值的情况下生成预警信息，使得可以基于加工后的数据进行复杂系统的运维，可以有效提高运维效率，降低运维成本。通过上述方案解决了现有技术中复杂系统运维难的技术问题，达到了有效提升运维效率、降低运维成本的技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：

图1示出了本申请一实施例中的负载消耗预警方法的应用场景的示意图；

图2示出了本申请一实施例中的负载消耗预警方法的流程图；

图3示出了本申请一实施例中的负载消耗预警方法的流程图；

图4示出了本申请一实施例中的负载消耗预警方法的流程图；

图5示出了本申请一实施例中的负载消耗预警装置的示意图；

图6示出了本申请一实施例中的计算机设备的示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

考虑到目前大数据处理体系随着部署集群数量不断增多、集群规模逐步增大，各集群面向的应用监控运维场景日趋复杂，大数据处理体系的运维难，发明人通过研究发现，可以通过汇集大数据处理体系各平台上的源数据，对汇集的源数据进行加工处理，并将处理后的数据输入训练好的负载消耗模型，得到负载消耗值，并在负载消耗值大于预设阈值的情况下生成预警信息，从而提高负载系统的运维效率并降低运维成本，实现实时运维画像及预警。

基于此，本申请实施例提供了一种负载消耗预警方法，图1示出了本申请实施例中提供的负载消耗预警方法的应用场景的示意图。如图1所示，示意性地示出了大数据处理系统、FTP(File Transfer Protocol，文件传输协议)服务器和运维服务器以及指标数据队列和日志数据队列。其中，大数据处理系统可以包括以下至少之一：大数据云下的MPP(Massively Parallel Processing，大规模并行处理)数据库、Hadoop集群、对象存储、在线读写、离线计算、实时计算等服务组件。从大数据处理系统采集的源数据包括指标数据和日志数据两种类型。其中，对于Hadoop集群、MPP数据库等中的类型为指标数据的源数据，需要首先在其管理控制台中将配置文件转储至指定FTP服务器，然后通过部署在FTP服务器上的代理程序采集文件数据并发送指标数据到指标数据队列中；对于日志数据，则直接通过日志所在服务器或平台上部署的代理程序进行过滤采集并发日志数据到日志数据队列中。运维服务器可以从指标数据队列和日志数据队列中获取预设时间段内的目标源数据，目标源数据可以为指标数据或日志数据。在获取目标源数据之后，运维服务器可以对目标源数据进行加工，得到加工后的数据，并将加工后的数据输入到训练好的负载消耗模型，输出负载消耗值，在确定负载消耗值大于预设阈值的情况下，生成预警信息。

其中，指标数据队列和日志数据队列可以部署在单独的数据服务器中，也可以部署在运维服务器中，其中，运维服务器可以是单一的服务器，也可以是服务器集群，或者是云服务器等都可以，具体的组成形成本申请不作限定。

基于此，本申请实施例提供了一种负载消耗预警方法，图2示出了本申请一实施例中负载消耗预警方法的流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体地，如图2所示，本申请一种实施例提供的负载消耗预警方法可以包括以下步骤：

步骤S201，获取预设时间段内的目标源数据。

具体地，可以获取当前预设时间段内的目标源数据。其中，目标源数据可以包括用于表征系统负载和/或资源消耗的数据，例如，可以包括但不限于以下至少之一：交易量、平均响应时间、交易数据量大小、CPU使用情况、内存使用情况、磁盘I/O参数、GC参数、平均网络延迟参数。

步骤S202，解析目标源数据以获取目标源数据的数据来源类型和数据编码。

在获取预设时间段内的目标源数据之后，解析目标源数据以获取目标源数据的数据来源类型和数据编码。其中，数据来源类型是指目标源数据的来源类型，可以包括但不限于以下至少之一：MPP数据库、Hadoop集群、OaaS(Operations as a Service,运维即服务)、离线计算服务、在线计算服务、对象存储服务等。

步骤S203，根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据。

在获得目标源数据的数据来源类型和数据编码之后，可以根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息。其中，数据加工程序信息可以包括但不限于以下至少之一：程序编码、程序类别、程序名称、程序路径、程序版本号等。在确定对应的数据加工程序信息之后，可以根据数据加工程序信息对目标源数据进行加工，得到加工后的数据。

步骤S204，将加工后的数据输入预设的负载消耗预警模型，得到加工后的数据的负载消耗值。

步骤S205，在负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

在得到加工后的数据之后，可以将加工后的数据输入预设的负载消耗预警模型。其中，预设的负载消耗预警模型是训练好的负载消耗模型。将加工后的数据输入预设的负载消耗预警模型之后，可以得到加工后的数据的负载消耗值。将得到的负载消耗值与预设阈值进行比较，在确定负载消耗值大于预设阈值的情况下，生成负载消耗预警信息，表明大数据处理系统在当前时间段的负载消耗过大，可能发生故障，提醒运维人员进行确定和调整。

上述实施例中的方法中，采集复杂大数据处理体系的预设时间内的目标源数据，然后根据目标源数据的数据来源类型和数据编码确定对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工处理，使得可以汇集复杂大数据处理体系的数据并进行加工，然后将加工后的数据输入预设的负载消耗模型，输出目标源数据对应的负载消耗值，并且在负载消耗值大于预设阈值的情况下生成预警信息，使得可以基于加工后的数据进行复杂系统的运维，可以有效提高运维效率，降低运维成本。

进一步地，在本申请一些实施例中，获取预设时间段内的目标源数据，可以包括：从目标数据处理系统采集源数据；将采集到的源数据发送至数据队列中；从数据队列中获取预设时间段内的目标源数据。

其中，目标数据处理系统可以包括以下至少之一：大数据云下的MPP数据库、Hadoop集群、对象存储、在线读写、离线计算、实时计算等服务组件。源数据可以包括日志数据和指标数据两种类型。在采集到源数据之后，可以将采集到的源数据发送至数据队列中，例如，将日志数据发送至日志数据队列，将指标数据发送至指标数据队列中。运维服务器可以从数据队列获取预设时间内的目标源数据，例如可以按时间窗口方式从数据队列中提取数据。

在本申请一些实施例中，目标源数据可以为日志数据，预设的参数表可以包括：日志解析配置表、日志处理程序配置表、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表。相应的，根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据，可以包括：根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据；解析指标数据以获取指标数据的指标来源类型和指标编码；根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值；根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据。

在目标源数据为日志数据的情况下，可以先将日志数据解析成指标数据，然后对指标数据进行加工，以获得加工后的数据。具体地，先根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据，然后对指标数据进行解析以获取指标数据的指标来源类型和指标编码，根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表可以确定目标源数据对应的数据加工程序信息和指标阈值，最后根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据。通过上述方式，可以将日志数据解析成指标数据进行加工。

进一步地，在本申请一些实施例中，根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据，可以包括：从日志解析配置表中获取数据来源类型和数据编码对应的第一程序编码；从日志处理程序配置表获取第一程序编码对应的日志解析程序信息；根据日志解析程序信息调用对应的日志解析程序将日志数据解析成指标数据。

其中，日志解析配置表中记录有日志来源类型和日志编码与程序编码的对应关系，因此可以从日志解析配置表中获取数据来源类型和数据编码对应的第一程序编码。日志处理程序配置表中记录有程序编码对应的程序信息，因此可以从日志处理程序配置表获取第一程序编码对应的日志解析程序信息。其中，程序信息可以包括但不限于以下至少之一：程序名称、程序路径、程序类型和程序版本。在获取日志解析程序信息之后，可以根据日志解析程序信息调用对应的日志解析程序将日志数据解析成指标数据。通过上述方式，可以通过预设的日志解析配置表和日志处理程序配置表获取日志解析程序信息，从而将日志数据解析成指标数据。

进一步地，在本申请一些实施例中，根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值，可以包括：从指标模型映射表中获取指标来源类型和指标编码对应的模型编码；从指标阈值定义表中获取指标来源类型和指标编码对应的指标阈值；从模型定义表中获取模型编码对应的第二程序编码；从模型程序定义表获取第二程序编码对应的数据加工程序信息。

在将指标数据进行解析以获得指标编码和指标来源类型之后，可以根据指标编码、指标来源类型和预设的参数表确定出目标源数据对应的数据加工程序信息和指标阈值。其中，指标模型映射表中记录有指标来源类型和指标编码与模型编码的对应关系，因此，可以从指标模型映射表中获取指标来源类型和指标编码对应的模型编码。模型定义表中记录有模型编码与程序编码的对应关系，因此可以从模型定义表中获取模型编码对应的第二程序编码。模型程序定义表中记录有程序编码与程序信息的对应关系，因此可以从模型程序定义表中获取第二程序编码对应的数据加工程序信息。其中，数据加工程序信息可以包括以下至少之一：程序类型、程序名称、程序路径、程序版本等信息。指标阈值定义表中记录有指标来源类型和指标编码与指标阈值的对应关系，因此可以从指标阈值定义表中获取指标来源类型和指标编码对应的指标阈值。在获取指标阈值和数据加工程序信息之后，可以根据指标阈值和数据加工程序信息对目标源数据进行加工，得到加工后的数据。通过上述方式，可以根据指标来源类型和指标编码以及预设的参数表获取指标阈值和数据加工程序信息。

进一步地，在本申请一些实施例中，根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据，可以包括：根据数据加工程序信息调用对应的数据加工程序对指标数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定日志数据异常，并将加工后的数据存储到第二数据库中。

在获取数据加工程序信息之后，可以根据数据加工程序信息调用对应的数据加工程序对日志数据解析后得到的指标数据进行加工，得到加工后的数据。将加工后的数据域指标阈值进行比较，在确定加工后的数据大于指标阈值的情况下，表明数据异常，需要报警。将加工后的数据存储到第一数据库中，将异常数据存储到第二数据库中，以便于后续查询获取。通过上述方式可以对日志数据进行加工，同时还可以确定日志数据是否异常。

在本申请一些实施例中，目标源数据可以为指标数据，预设的参数表可以包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表。相应的，根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据，可以包括：从指标模型映射表中获取与数据来源类型和数据编码对应的模型编码，从指标阈值定义表中获取数据来源类型和数据编码对应的指标阈值；从模型定义表中获取模型编码对应的程序编码，并从模型程序定义表中获取程序编码对应的数据加工程序信息；根据数据加工程序信息调用对应的数据加工程序对目标源数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定指标数据异常，并将加工后的数据存储到第二数据库中。

在目标源数据为指标数据的情况下，可以直接对指标数据进行加工。具体地，在对指标数据进行解析后得到指标数据的指标来源类型和指标编码。指标阈值定义表中记录有指标来源类型和指标编码与指标阈值的对应关系，可以从指标阈值定义表中获取指标来源类型和指标编码对应的指标阈值。指标模型映射表中记录有指标来源类型和数据编码与模型编码的对应关系，可以从指标模型映射表中获取指标来源类型和指标编码对应的模型编码。模型定义表中记录有模型编码与程序编码的对应关系，可以从模型定义表中获取模型编码对应的程序编码。模型程序定义表中记录有程序编码与程序信息的对应关系，可以从模型程序定义表中获取程序编码对应的数据加工程序信息。其中，数据加工程序信息可以包括以下至少之一：程序类型、程序名称、程序路径、程序版本等信息。在获取数据加工程序信息之后，可以根据数据加工程序信息调用对应的数据加工程序对指标数据进行加工，将加工后的数据存入第一数据库中。然后将加工后的数据与指标阈值进行比较，在加工后的数据大于指标阈值的情况下，确定指标数据异常，并将异常数据存入第二数据库中。通过上述方式可以对指标数据进行加工，同时还可以确定指标数据是否异常。

在本申请一些实施例中，根据数据加工程序信息对目标源数据进行加工，可以包括但不限于以下至少之一：计算目标源数据的总量；计算目标源数据的均值；计算目标源数据的最大值；计算目标源数据的最小值。

然而值得注意的是，上述所列举的目标源数据的加工方式仅是一种示例性描述，在实际实现的时候，还可以采用其它的加工方式，本申请对此不做限定。

在得到加工后的数据后，需要将加工后的数据输入预设的负载消耗预警模型中，可以先通过历史数据训练负载消耗预警模型，以得到预设的负载消耗预警模型。因此，在本申请一些实施例中，在将加工后的数据输入预设的负载消耗预警模型之前，还可以包括：获取历史数据；将历史数据向量化，得到特征向量样本集；利用特征向量样本集训练深度卷积神经网络模型，得到预设的负载消耗预警模型。

具体地，可以从第一数据库中获取加工后的历史数据，将历史数据向量化，得到特征向量样本集，然后利用特征向量样本集训练深度卷积神经网络模型，得到预设的负载消耗预警模型。通过上述方式，实现了利用历史数据训练负载消耗预警模型。

下面结合两个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

图3示出了在目标源数据为指标数据时的负载消耗预警方法中的数据获取和加工步骤的流程图，如图3所示，该方法包括以下步骤：

步骤1，确定指标队列是否为空，在指标队列为空的情况下，等待2s后重新执行步骤1，在指标队列不为空的情况下，执行步骤2；

步骤2，按照时间窗口的方式从指标队列获取指标数据；

步骤3，解析指标数据，获取指标数据的key值；

步骤4，从key值解析内容获取指标数据的指标来源类型和指标编码；

步骤5，根据指标来源类型和指标编码从预设的参数表获取指标数据对应的指标加工程序信息及指标阈值，其中，预设的参数表包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；

步骤6，根据指标加工程序信息调用指标加工程序对指标数据进行加工，得到加工后的数据；

步骤7，将加工后的数据存储到第一数据库中；

步骤8，确定加工后的数据是否大于指标阈值，若是则执行步骤9，否则返回步骤1；

步骤9，将加工后的数据写入第二数据库，返回步骤1。

图4示出了在目标源数据为日志数据时的负载消耗预警方法的数据获取和加工步骤的流程图，如图4所示，该方法包括以下步骤：

步骤1，确定日志队列是否为空，在指标队列为空的情况下，等待2s后重新确定，在日志队列不为空的情况下，执行步骤2；

步骤2，按照时间窗口的方式从日志队列获取日志数据；

步骤3，解析日志数据，获取日志数据的key值；

步骤4，从key值解析内容获取日志数据的日志来源类型和日志编码；

步骤5，根据日志来源类型和日志编码从预设参数表获取日志数据对应的日志解析程序信息，其中，预设的参数表包括：日志解析配置表和日志处理程序配置表；

步骤6，根据日志解析程序信息调用日志解析程序将日志数据解析成指标数据；

步骤7，解析指标数据，获取指标数据的指标来源类型和指标编码；

步骤8，根据指标来源类型和指标编码从预设的参数表获取指标数据对应的指标加工程序信息及指标阈值，其中，预设的参数表包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；

步骤9，根据指标加工程序信息调用指标加工程序对指标数据进行加工，得到加工后的数据；

步骤10，将加工后的数据存储到第一数据库中；

步骤11，确定加工后的数据是否大于指标阈值，若是则执行步骤12，否则返回步骤1；

步骤12，将加工后的数据写入第二数据库，返回步骤1。

上述两个实施例中分别给出了在目标源数据为指标数据和日志数据两种情况下的数据加工步骤，在得到加工后的数据后，将加工后的数据输入预设的负载消耗预警模型，得到负载消耗值，并将负载消耗值与预设阈值进行比较，在负载消耗值大于预设阈值的情况下，生成预警信息。上述实施例中的负载消耗预警方法，从大数据处理体系的各个平台上采集源数据，将采集的数据发送至数据队列中，从数据队列提取目标源数据，并根据预设的参数表对目标源数据进行加工处理，并将加工后的数据输入预设的负载消耗预警模型，输出目标源数据对应的负载消耗值，并且在负载消耗值大于预设阈值的情况下生成预警信息，使得可以基于加工后的数据进行复杂系统的运维，可以有效提高运维效率，降低运维成本。

基于同一发明构思，本申请实施例中还提供了一种负载消耗预警装置，如下面的实施例所述。由于负载消耗预警装置解决问题的原理与负载消耗预警方法相似，因此负载消耗预警装置的实施可以参见负载消耗预警方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图5是本申请实施例的负载消耗预警装置的一种结构框图，如图5所示，包括：获取模块501、解析模块502、加工模块503、输入模块504和预警模块505，下面对该结构进行说明。

获取模块501用于获取预设时间段内的目标源数据。

解析模块502用于解析目标源数据以获取目标源数据的数据来源类型和数据编码。

加工模块503用于根据数据来源类型和数据编码从预设的参数表中确定出目标源数据对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工，得到加工后的数据。

输入模块504用于将加工后的数据输入预设的负载消耗预警模型，得到加工后的数据的负载消耗值。

预警模块505用于在负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

在本申请一些实施例中，获取模块可以具体用于：从目标数据处理系统采集源数据；将采集到的源数据发送至数据队列中；从数据队列中获取预设时间段内的目标源数据。

在本申请一些实施例中，目标源数据可以为日志数据，预设的参数表可以包括：日志解析配置表、日志处理程序配置表、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表。加工模块可以具体用于：根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据；解析指标数据以获取指标数据的指标来源类型和指标编码；根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值；根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据。

在本申请一些实施例中，根据数据来源类型、数据编码、日志解析配置表和日志处理程序配置表将日志数据解析成指标数据，可以包括：从日志解析配置表中获取数据来源类型和数据编码对应的第一程序编码；从日志处理程序配置表获取第一程序编码对应的日志解析程序信息；根据日志解析程序信息调用对应的日志解析程序将日志数据解析成指标数据。

在本申请一些实施例中，根据指标来源类型、指标编码、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表确定出目标源数据对应的数据加工程序信息和指标阈值，可以包括：从指标模型映射表中获取指标来源类型和指标编码对应的模型编码；从指标阈值定义表中获取指标来源类型和指标编码对应的指标阈值；从模型定义表中获取模型编码对应的第二程序编码；从模型程序定义表获取第二程序编码对应的数据加工程序信息。

在本申请一些实施例中，根据数据加工程序信息和指标阈值对指标数据进行加工，得到加工后的数据，可以包括：根据数据加工程序信息调用对应的数据加工程序对指标数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定日志数据异常，并将加工后的数据存储到第二数据库中。

在本申请一些实施例中，目标源数据可以为指标数据，预设的参数表可以包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表。相应的，加工模块可以具体用于：从指标模型映射表中获取与数据来源类型和数据编码对应的模型编码，从指标阈值定义表中获取数据来源类型和数据编码对应的指标阈值；从模型定义表中获取模型编码对应的程序编码，并从模型程序定义表中获取程序编码对应的数据加工程序信息；根据数据加工程序信息调用对应的数据加工程序对目标源数据进行加工，得到加工后的数据，并将加工后的数据存储到第一数据库中；确定加工后的数据是否大于指标阈值；在确定加工后的数据大于指标阈值的情况下，确定指标数据异常，并将加工后的数据存储到第二数据库中。

在本申请一些实施例中，根据数据加工程序信息对目标源数据进行加工，可以包括以下至少之一：计算目标源数据的总量；计算目标源数据的均值；计算目标源数据的最大值；计算目标源数据的最小值。

在本申请一些实施例中，该装置还可以包括训练模块，所述训练模块可以具体用于：在将加工后的数据输入预设的负载消耗预警模型之前，获取历史数据；将历史数据向量化，得到特征向量样本集；利用特征向量样本集训练深度卷积神经网络模型，得到预设的负载消耗预警模型。

在本申请一些实施例中，目标源数据可以包括以下至少之一：交易量、平均响应时间、交易数据量大小、CPU使用情况、内存使用情况、磁盘I/O参数、GC参数、平均网络延迟参数。

从以上的描述中，可以看出，本申请实施例实现了如下技术效果：采集复杂大数据处理体系的预设时间内的目标源数据，然后根据目标源数据的数据来源类型和数据编码确定对应的数据加工程序信息，并根据数据加工程序信息对目标源数据进行加工处理，使得可以汇集复杂大数据处理体系的数据并进行加工，然后将加工后的数据输入预设的负载消耗模型，输出目标源数据对应的负载消耗值，并且在负载消耗值大于预设阈值的情况下生成预警信息，使得可以基于加工后的数据进行复杂系统的运维，可以有效提高运维效率，降低运维成本。通过上述方案解决了现有技术中复杂系统运维难的技术问题，达到了有效提升运维效率、降低运维成本的技术效果。

本申请实施方式还提供了一种计算机设备，具体可以参阅图6所示的基于本申请实施例提供的负载消耗预警方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备61、处理器62、存储器63。其中，所述存储器63用于存储处理器可执行指令。所述处理器62执行所述指令时实现上述任意实施例中所述的负载消耗预警方法的步骤。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本申请实施方式中还提供了一种基于负载消耗预警方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述负载消耗预警方法的步骤。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种负载消耗预警方法，其特征在于，包括：

获取预设时间段内的目标源数据；

解析所述目标源数据以获取所述目标源数据的数据来源类型和数据编码；

根据所述数据来源类型和数据编码从预设的参数表中确定出所述目标源数据对应的数据加工程序信息，并根据所述数据加工程序信息对所述目标源数据进行加工，得到加工后的数据；

将所述加工后的数据输入预设的负载消耗预警模型，得到所述加工后的数据的负载消耗值；

在所述负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

2.根据权利要求1所述的方法，其特征在于，获取预设时间段内的目标源数据，包括：

从目标数据处理系统采集源数据；

将采集到的源数据发送至数据队列中；

从所述数据队列中获取预设时间段内的目标源数据。

3.根据权利要求1所述的方法，其特征在于，所述目标源数据为日志数据，所述预设的参数表包括：日志解析配置表、日志处理程序配置表、指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；

根据所述数据来源类型和数据编码从预设的参数表中确定出所述目标源数据对应的数据加工程序信息，并根据所述数据加工程序信息对所述目标源数据进行加工，得到加工后的数据，包括：

根据所述数据来源类型、所述数据编码、所述日志解析配置表和所述日志处理程序配置表将所述日志数据解析成指标数据；

解析所述指标数据以获取所述指标数据的指标来源类型和指标编码；

根据所述指标来源类型、所述指标编码、所述指标阈值定义表、所述指标模型映射表、所述模型定义表和所述模型程序定义表确定出所述目标源数据对应的数据加工程序信息和指标阈值；

根据所述数据加工程序信息和指标阈值对所述指标数据进行加工，得到加工后的数据。

4.根据权利要求3所述的方法，其特征在于，根据所述数据来源类型、所述数据编码、所述日志解析配置表和所述日志处理程序配置表将所述日志数据解析成指标数据，包括：

从所述日志解析配置表中获取所述数据来源类型和数据编码对应的第一程序编码；

从所述日志处理程序配置表获取所述第一程序编码对应的日志解析程序信息；

根据所述日志解析程序信息调用对应的日志解析程序将所述日志数据解析成指标数据。

5.根据权利要求3所述的方法，其特征在于，根据所述指标来源类型、所述指标编码、所述指标阈值定义表、所述指标模型映射表、所述模型定义表和所述模型程序定义表确定出所述目标源数据对应的数据加工程序信息和指标阈值，包括：

从所述指标模型映射表中获取所述指标来源类型和指标编码对应的模型编码；

从所述指标阈值定义表中获取所述指标来源类型和指标编码对应的指标阈值；

从所述模型定义表中获取所述模型编码对应的第二程序编码；

从所述模型程序定义表获取所述第二程序编码对应的数据加工程序信息。

6.根据权利要求3所述的方法，其特征在于，根据所述数据加工程序信息和指标阈值对所述指标数据进行加工，得到加工后的数据，包括：

根据所述数据加工程序信息调用对应的数据加工程序对所述指标数据进行加工，得到加工后的数据，并将所述加工后的数据存储到第一数据库中；

确定所述加工后的数据是否大于所述指标阈值；

在确定所述加工后的数据大于所述指标阈值的情况下，确定所述日志数据异常，并将所述加工后的数据存储到第二数据库中。

7.根据权利要求1所述的方法，其特征在于，所述目标源数据为指标数据，所述预设的参数表包括：指标阈值定义表、指标模型映射表、模型定义表和模型程序定义表；

相应的，根据所述数据来源类型和数据编码从预设的参数表中确定出所述目标源数据对应的数据加工程序信息，并根据所述数据加工程序信息对所述目标源数据进行加工，得到加工后的数据，包括：

从所述指标模型映射表中获取与所述数据来源类型和数据编码对应的模型编码，从所述指标阈值定义表中获取所述数据来源类型和数据编码对应的指标阈值；

从所述模型定义表中获取所述模型编码对应的程序编码，并从所述模型程序定义表中获取所述程序编码对应的数据加工程序信息；

根据所述数据加工程序信息调用对应的数据加工程序对所述目标源数据进行加工，得到加工后的数据，并将所述加工后的数据存储到第一数据库中；

确定所述加工后的数据是否大于所述指标阈值；

在确定所述加工后的数据大于所述指标阈值的情况下，确定所述指标数据异常，并将所述加工后的数据存储到第二数据库中。

8.根据权利要求1所述的方法，其特征在于，根据所述数据加工程序信息对所述目标源数据进行加工，包括以下至少之一：

计算所述目标源数据的总量；

计算所述目标源数据的均值；

计算所述目标源数据的最大值；

计算所述目标源数据的最小值。

9.根据权利要求1所述的方法，其特征在于，在将加工后的数据输入预设的负载消耗预警模型之前，还包括：

获取历史数据；

将所述历史数据向量化，得到特征向量样本集；

利用所述特征向量样本集训练深度卷积神经网络模型，得到预设的负载消耗预警模型。

10.根据权利要求1所述的方法，其特征在于，所述目标源数据包括以下至少之一：交易量、平均响应时间、交易数据量大小、CPU使用情况、内存使用情况、磁盘I/O参数、GC参数、平均网络延迟参数。

11.一种负载消耗预警装置，其特征在于，包括：

获取模块，用于获取预设时间段内的目标源数据；

解析模块，用于解析所述目标源数据以获取所述目标源数据的数据来源类型和数据编码；

加工模块，用于根据所述数据来源类型和数据编码从预设的参数表中确定出所述目标源数据对应的数据加工程序信息，并根据所述数据加工程序信息对所述目标源数据进行加工，得到加工后的数据；

输入模块，用于将所述加工后的数据输入预设的负载消耗预警模型，得到所述加工后的数据的负载消耗值；

预警模块，用于在所述负载消耗值大于预设阈值的情况下，生成负载消耗预警信息。

12.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。