CN111290916A - 大数据监控方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及金融科技领域，并公开了一种大数据监控方法，包括如下步骤：获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。本发明还公开了一种大数据监控装置、设备和计算机可读存储介质。本发明提高了大数据监控的效率，降低了大数据监控过程中硬件设备资源的消耗。

Description

大数据监控方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据分析技术领域，尤其涉及大数据监控方法、装置、设备及计算机可读存储介质。

背景技术

近年来，互联网科技的飞速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。

金融业务的数据量和业务量指数增长，对处理金融业务的数据进行有效地监控，以保证业务正常变得尤为必要；目前大数据监控方案，监控人员配置监控算法，基于海量原始数据进行分析，从而发现数据异常，这种大数据监控方案每次执行监控时都消耗大量计算资源，需要等待较长的时间；若涉及到监控方案中监控规则调整时，则需重新扫描海量原始数据进行变量分析，海量原始数据的分析导致业务平台资源占用较多，使得业务平台不能响应正常的业务，业务平台自身形成交易瓶颈，也就是说当前的大数据监控方案，不可以进行高效地数据监控分析。

发明内容

本发明的主要目的在于提出一种大数据监控方法、装置、设备及计算机可读存储介质，旨在解决当前的大数据监控方案对硬件设备的资源占用大，不可以进行高效地数据监控分析的技术问题。

为实现上述目的，本发明提供一种大数据监控方法，所述大数据监控方法包括如下步骤：

获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

在一实施例中，所述大数据监控方法应用于大数据监控平台，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤之前，包括：

搭建大数据监控平台，并建立所述大数据监控平台与分布式数据库之间的通信连接；

配置特征提取规则，通过所述特征提取规则处理所述分布式数据库中预存的原始数据，生成所述原始数据的特征指标；

将所述特征指标输入至预设阈值生成模型中，生成所述特征指标对应的特征阈值。

在一实施例中，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤，包括：

获取更新的原始数据，对所述更新的原始数据进行数据清洗；

将清洗后的原始数据按照所述原始数据的数据类型分类统计，得到所述原始数据对应的每日特征指标；

统计预设周期内的每日特征指标，获得总量特征指标，将所述总量特征指标除以所述预设周期，获得平均特征指标；

将所述总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，将所述总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，将所述环比增长率和所述同比增长率作为相对特征指标，将所述总量特征指标、所述平均特征指标和所述相对特征指标作为更新的原始数据的特征指标。

在一实施例中，所述在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数的步骤之后，包括：

输出包含所述目标监控参数的指标配置页面；

获取所述指标配置页面中选择的目标特征指标，将所述目标监控参数与所述目标特征指标进行关联。

在一实施例中，所述在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息的步骤，包括：

在所述目标特征指标大于所述特征阈值时，根据所述目标特征指标的数据类型选择日志模板；

获取所述目标特征指标关联的原始数据，将所述原始数据输入到所述日志模板，生成异常日志；

根据所述异常日志生成所述目标监控参数异常的提示信息并输出。

在一实施例中，所述在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息的步骤之后，包括：

在接收到异常查询请求时，输出所述提示信息关联的异常日志；

标记所述异常日志中的异常原始数据，其中，所述异常原始数据包括最大原始数据、最小原始数据和/或空值。

在一实施例中，所述监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对的步骤之后，包括：

在所述目标特征指标小于或等于所述特征阈值时，将所述目标特征指标作为所述特征阈值的调整数据，并将所述调整数据输入至预设阈值生成模型中，获得更新后的特征阈值。

此外，为实现上述目的，本发明还提供一种大数据监控装置，所述大数据监控装置包括：

数据获取模块，用于获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

指令接收模块，用于在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控比对模块，用于监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

提示输出模块，用于在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

此外，为实现上述目的，本发明还提供一种大数据监控设备，所述大数据监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据监控对应的计算机程序，所述大数据监控对应的计算机程序被所述处理器执行时实现如上所述的大数据监控方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有大数据监控对应的计算机程序，所述大数据监控对应的计算机程序被处理器执行时实现如上所述的大数据监控方法的步骤。

本发明提供一种大数据监控方法、装置、设备及计算机可读存储介质，本发明本实施例中通过获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。本实施例中数据特征提取与数据监控相对独立，基于特征指标实现全量大数据监控，通过减少数据计算量，从而减少了硬件设备计算资源占用率，提高了大数据监控效率，与此同时，本实施例中大数据监控支持不同周期历史数据对比检测，不需重复扫描历史原始数据进行对比计算。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明大数据监控方法第一实施例的流程示意图；

图3为本发明大数据监控方法第一实施例的具体场景示意图；

图4为本发明大数据监控装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。本发明实施例大数据监控设备可以是PC机或服务器设备，其上运行有Java虚拟机。

如图1所示，该大数据监控设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及大数据监控对应的计算机程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的大数据监控对应的计算机程序，并执行下述大数据监控方法中的操作。

基于上述硬件结构，提出本发明大数据监控方法实施例。

本发明大数据监控方法的第一实施例，包括：

获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

本实施中的大数据监控方法应用于金融行业的金融机构(银行机构、保险机构、证券机构等)中的大数据监控设备，大数据监控设备是指搭载大数据监控对应计算机程序的硬件平台，该大数据监控平台用于大数据监控，在本实施例大数据监控方法执行之前，预先搭建大数据监控平台，具体地，包括：

步骤a1，搭建大数据监控平台，并建立所述大数据监控平台与分布式数据库之间的通信连接；

步骤a2，配置特征提取规则，通过所述特征提取规则处理所述分布式数据库中预存的原始数据，生成所述原始数据的特征指标；

步骤a3，将所述特征指标输入至预设阈值生成模型中，生成所述特征指标对应的特征阈值。

本实施例中预先搭建大数据监控平台，然后将大数据监控平台与分布式数据库(分布式数据库是指业务平台在分布式集群中建立的业务数据库)之间建立通信连接；大数据监控平台搭建完成时，大数据监控平台输出配置提示，提示开发人员配置特征提取规则，大数据监控平台将配置的特征提取规则进行保存，使得大数据监控平台通过特征提取规则处理分布式数据库中预存的原始数据，生成原始数据的特征指标。

大数据监控平台中预设阈值生成模型，预设阈值生成模型是指预先设置的阈值生成算法或规则，例如，预设阈值生成模型为特征指标上浮10％，大数据监控平台将特征指标输入至预设阈值生成模型中，获取特征指标对应的特征阈值。

本实施例中通过设置大数据监控平台，并在大数据监控平台配置特征提取规则，使得大数据监控平台根据特征提取规则处理数据库中的原始数据，得到特征指标，然后大数据监控平台将特征指标进行处理生成特征阈值，以使大数据监控设备根据特征阈值进行大数据监控预警。

参照图2，图2为本发明大数据监控方法第一实施例的流程示意图，所述大数据监控方法包括：

步骤S10，获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标。

本实施例中大数据监控设备获取更新的原始数据，大数据监控设备按照数据特征提取规则处理原始数据，获得原始数据的特征指标，即，大数据监控设备将原始数据进行数据清洗，排除无效数据和错误数据，然后，大数据监控设备将清洗后的原始数据进行分类统计，获取原始数据的特征指标。

本实施例中大数据监控设备仅针对新增的原始数据进行特征抽取，无需每次扫描全量原始数据，通过减少数据处理量，有效地降低了计算资源的占用率，以进一步提高大数据监控效率。

步骤S20，在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数。

大数据监控设备接收大数据监控指令，其中，大数据监控指令的触发方式不作具体限定，即，大数据监控指令可以是用户主动触发的，例如，用户在大数据监控设备上点击“监控”虚拟按键触发大数据监控指令；或者大数据监控指令还可以是大数据监控设备自动触发的，例如，大数据监控设备上预设每月一日自动触发触发大数据监控指令，大数据监控设备在检测到符合预设的大数据监控条件时，自动触发大数据监控指令。

大数据监控设备在接收大数据监控指令时，大数据监控设备确定需要进行大数据监控的目标监控参数，即，大数据监控设备查询预设数据表(预设数据表是指目标监控参数与特征指标的映射关系表)，大数据监控设备获取目标监控参数对应的目标特征指标。

本实施例中大数据监控设备中预先配置了监控参数与特征指标之间的关联关系，大数据监控设备进行大数据监控时，大数据监控设备根据目标监控参数选择的目标特征指标，实现证明不同特征指标监控，使得大数据监控更加具有针对性。

步骤S30，监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对。

大数据监控设备监控目标监控参数关联的目标特征指标，大数据监控设备将目标特征指标与目标特征指标对应的特征阈值进行比对，即，大数据监控设备将每天的销量平均特征指标与每天的销量阈值进行比较。

可以理解的是，本实施例中目标特征指标的数量不做具体限定，若存在至少两个目标特征指标时，大数据监控设备针对至少两个目标特征指标，进行分别比对。

步骤S40，在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

在目标特征指标大于特征阈值时，大数据监控设备输出目标监控参数异常的提示信息，具体地，包括：

步骤b1，在所述目标特征指标大于所述特征阈值时，根据所述目标特征指标的数据类型选择日志模板；

步骤b2，获取所述目标特征指标关联的原始数据，将所述原始数据输入到所述日志模板，生成异常日志；

步骤b3，根据所述异常日志生成所述目标监控参数异常的提示信息并输出。

即，大数据监控设备在目标特征指标大于特征阈值时，大数据监控设备根据目标特征指标的数据类型选择日志模板；大数据监控设备获取目标特征指标关联的原始数据，大数据监控设备将原始数据输入到日志模板，生成异常日志；大数据监控设备根据异常日志生成目标监控参数异常的提示信息并输出。

参照图3，本实施例中以一个具体场景进行说明，本实施例中数据源为分布式数据库，大数据监控设备首先对分布式数据库中的原始数据进行分析，设置特征提取规则例如，空值数量、特殊特征值、平均值、最大值和数据范围等等，然后，大数据监控设备根据特征提取规则处理原始数据得到特征指标数据；这样在每次数据更新时，大数据监控设备就可以根据特征指标数据进行指标抽取得到特征指标，然后对特征指标进行监控，从而实现基于特征指标的全量数据监控。

本实施例中大数据监控设备进行大数据监控时，大数据监控设备根据特征提取规则对原始数据进行处理，提取原始数据中的特征指标，大数据监控设备根据监控指令确定的目标监控参数，选择目标特征指标，大数据监控设备对目标特征指标进行分析与监控，在目标特征指标大于特征阈值时，输出目标监控参数异常的提示信息，本实施例中仅需扫描一次原始数据进行数据特征获取，计算开销小；数据特征提取与监控规则配置相对独立，修改监控规则不需重复扫描计算原始数据；大数据监控设备的监控规则基于特征指标，通过减少数据计算量，从而减少了大数据监控设备硬件计算资源占用率，提高了数据监控效率，与此同时，本实施例中大数据监控支持不同周期历史数据对比检测，不需重复扫描历史原始数据进行对比计算。

本发明实施例中将数据监控拆分为特征指标抽取与特征指标监控,每日仅针对当日增量数据进行数据抽取并存储,数据监控基于特征指标抽取结果进行监控,可以灵活地基于指标进行各种监控,数据特征提取与监控规则配置相对独立，修改监控规则不需重复扫描计算原始数据,而原有大数据监控方法,则需要监控人员配置监控算法,基于海量历史数据进行分析,从而发现大数据异常,每次执行监控需要等待大量的时间,消耗大量计算资源；当监控方案需要调整或增加监控规则时,需重新扫描海量原始数据进行变量分析。

进一步地，基于本发明大数据监控方法第一实施例，提出本发明大数据监控方法第二实施例。

本实施例是第一实施例中步骤S10的细化，本实施例与上述实施例的区别在于：

获取更新的原始数据，对所述更新的原始数据进行数据清洗；

将清洗后的原始数据按照所述原始数据的数据类型分类统计，得到所述原始数据对应的每日特征指标；

统计预设周期内的每日特征指标，获得总量特征指标，将所述总量特征指标除以所述预设周期，获得平均特征指标；

将所述总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，将所述总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，将所述环比增长率和所述同比增长率作为相对特征指标，将所述总量特征指标、所述平均特征指标和所述相对特征指标作为更新的原始数据的特征指标。

即，本实施例中大数据监控设备获取更新的原始数据，对更新的原始数据进行数据清洗；删除无效数据和异常数据，大数据监控设备将清洗后的原始数据按照原始数据的数据类型分类统计，得到原始数据对应的每日特征指标；例如，大数据监控设备统计每天的销量和销售金额作为每日特征指标。

大数据监控设备统计预设周期(预设周期是指预先设置的统计周期，例如预设周期为7天，或者一个个月)内的每日特征指标，获得总量特征指标，大数据监控设备将总量特征指标除以预设周期，获得平均特征指标。

大数据监控设备将总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，即，大数据监控设备根据环比增长率的计算公式，环比增长率＝(本期数-上期数)/上期数×100％，计算得到环比增长率；环比增长率将总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，即，大数据监控设备根据同比增长率的计算公式，同比增长率＝(本期数-同期数)/|同期数|×100％，计算得到同比增长率，大数据监控设备将环比增长率和同比增长率作为相对特征指标，大数据监控设备将总量特征指标、平均特征指标和相对特征指标作为更新的原始数据的特征指标。

本实施例中大数据监控设备在每日原始数据更新之后，大数据监控设备根据特征提取规则开始特征指标值抽取，本实施例中将数据特征提取与监控分离，这样修改监控规则不需重复扫描原始数据，减少了数据重复计算的情况，从而进一步提高数据监控效率。

进一步地，基于本发明大数据监控方法上述实施例，提出本发明大数据监控方法第三实施例。

本实施例是第一实施例中步骤S20之后步骤，本实施例与上述实施例的区别在于，包括：

输出包含所述目标监控参数的指标配置页面；

获取所述指标配置页面中选择的目标特征指标，将所述目标监控参数与所述目标特征指标进行关联。

大数据监控设备获取数据监控指令中的目标监控参数之后，大数据监控设备输出包含目标监控参数的指标配置页面；用户可以在指标配置页面选择需要监控的特征指标，大数据监控设备获取指标配置页面中选择的目标特征指标，将目标监控参数与目标特征指标进行关联，使得大数据监控设备可以监控该目标特征指标。

本实施例用户可以选择需要监控的目标特征指标，并根据目标特征指标进行监控，本实施例中可以根据用户需求设置监控规则，保证数据监控全面性的同时实现了大数据的重点监控。

进一步地，基于本发明大数据监控方法上述实施例，提出本发明大数据监控方法第四实施例。

本实施例是第一实施例中步骤S40之后步骤，本实施例与上述实施例的区别在于，包括：

在接收到异常查询请求时，输出所述提示信息关联的异常日志；

标记所述异常日志中的异常原始数据，其中，所述异常原始数据包括最大原始数据、最小原始数据和/或空值。

大数据监控设备在接收到异常查询请求时，大数据监控设备输出提示信息关联的异常日志；大数据监控设备对异常日志中的原始数据进行分析，确定原始数据中的异常数据，大数据监控设备标记异常日志中的异常原始数据，其中，异常原始数据包括最大原始数据、最小原始数据和/或空值。本实施例中大数据监控设备将异常日志中的异常原始数据进行标注，方便用户查看操作。

进一步地，基于本发明大数据监控方法上述实施例，提出本发明大数据监控方法第五实施例。

本实施例是第一实施例中步骤S20之后步骤，本实施例与上述实施例的区别在于，包括：

在所述目标特征指标小于或等于所述特征阈值时，将所述目标特征指标作为所述特征阈值的调整数据，并将所述调整数据输入至预设阈值生成模型中，获得更新后的特征阈值。

本实施例中在目标特征指标小于或等于所述特征阈值时，大数据监控设备将目标特征指标作为特征阈值的调整数据，大数据监控设备并将调整数据输入至预设阈值生成模型(预设阈值生成模型与上述实施例中的预设阈值生成模型相同，本实施例中不作赘述)中，获得更新后的特征阈值。

本实施例中大数据监控设备可以根据目标特征指标调整特征阈值，使得数据监控的预警更加准确。

参照图4，本发明实施例还提供一种大数据监控装置，所述大数据监控装置包括：

数据获取模块10，用于获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

指令接收模块20，用于在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控比对模块30，用于监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

提示输出模块40，用于在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

在一实施例中，所述的大数据监控装置，包括：

平台搭建模块，用于搭建大数据监控平台，并建立所述大数据监控平台与分布式数据库之间的通信连接；

规则配置模块，用于配置特征提取规则，通过所述特征提取规则处理所述分布式数据库中预存的原始数据，生成所述原始数据的特征指标；

阈值生成模块，用于将所述特征指标输入至预设阈值生成模型中，生成所述特征指标对应的特征阈值。

在一实施例中，所述数据获取模块10，包括：

数据清洗单元，用于获取更新的原始数据，对所述更新的原始数据进行数据清洗；

数据统计单元，用于将清洗后的原始数据按照所述原始数据的数据类型分类统计，得到所述原始数据对应的每日特征指标；

第一计算单元，用于统计预设周期内的每日特征指标，获得总量特征指标，将所述总量特征指标除以所述预设周期，获得平均特征指标；

第二计算单元，用于将所述总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，将所述总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，将所述环比增长率和所述同比增长率作为相对特征指标，将所述总量特征指标、所述平均特征指标和所述相对特征指标作为更新的原始数据的特征指标。

在一实施例中，所述大数据监控装置，包括：

页面输出模块，用于输出包含所述目标监控参数的指标配置页面；

获取管理模块，用于获取所述指标配置页面中选择的目标特征指标，将所述目标监控参数与所述目标特征指标进行关联。

在一实施例中，所述提示输出模块40，包括：

模板选择单元，用于在所述目标特征指标大于所述特征阈值时，根据所述目标特征指标的数据类型选择日志模板；

日志生成单元，用于获取所述目标特征指标关联的原始数据，将所述原始数据输入到所述日志模板，生成异常日志；

提示输出单元，用于根据所述异常日志生成所述目标监控参数异常的提示信息并输出。

在一实施例中，所述大数据监控装置，包括：

异常查询模块，用于在接收到异常查询请求时，输出所述提示信息关联的异常日志；

异常标记模块，用于标记所述异常日志中的异常原始数据，其中，所述异常原始数据包括最大原始数据、最小原始数据和/或空值。

在一实施例中，所述大数据监控装置，包括：

阈值更新模块，用于在所述目标特征指标小于或等于所述特征阈值时，将所述目标特征指标作为所述特征阈值的调整数据，并将所述调整数据输入至预设阈值生成模型中，获得更新后的特征阈值。

其中，在所述大数据监控程序中的各个功能模块被执行时所实现的方法可参照本发明大数据监控方法各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有大数据监控对应的计算机程序，所述大数据监控对应的计算机程序被处理器执行时实现如上所述的大数据监控方法的步骤。

其中，在所述处理器上运行的大数据监控对应的计算机程序被执行时所实现的方法可参照本发明大数据监控方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据监控方法，其特征在于，所述大数据监控方法包括如下步骤：

获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

2.如权利要求1所述的大数据监控方法，其特征在于，所述大数据监控方法应用于大数据监控平台，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤之前，包括：

搭建大数据监控平台，并建立所述大数据监控平台与分布式数据库之间的通信连接；

配置特征提取规则，通过所述特征提取规则处理所述分布式数据库中预存的原始数据，生成所述原始数据的特征指标；

将所述特征指标输入至预设阈值生成模型中，生成所述特征指标对应的特征阈值。

3.如权利要求1所述的大数据监控方法，其特征在于，所述获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标的步骤，包括：

获取更新的原始数据，对所述更新的原始数据进行数据清洗；

将清洗后的原始数据按照所述原始数据的数据类型分类统计，得到所述原始数据对应的每日特征指标；

统计预设周期内的每日特征指标，获得总量特征指标，将所述总量特征指标除以所述预设周期，获得平均特征指标；

将所述总量特征指标与上一期的总量特征指标进行比对，获得环比增长率，将所述总量特征指标与历史同期的总量特征指标进行比对，获得同比增长率，将所述环比增长率和所述同比增长率作为相对特征指标，将所述总量特征指标、所述平均特征指标和所述相对特征指标作为更新的原始数据的特征指标。

4.如权利要求1所述的大数据监控方法，其特征在于，所述在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数的步骤之后，包括：

输出包含所述目标监控参数的指标配置页面；

获取所述指标配置页面中选择的目标特征指标，将所述目标监控参数与所述目标特征指标进行关联。

5.如权利要求1所述的大数据监控方法，其特征在于，所述在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息的步骤，包括：

在所述目标特征指标大于所述特征阈值时，根据所述目标特征指标的数据类型选择日志模板；

获取所述目标特征指标关联的原始数据，将所述原始数据输入到所述日志模板，生成异常日志；

根据所述异常日志生成所述目标监控参数异常的提示信息并输出。

6.如权利要求5所述的大数据监控方法，其特征在于，所述在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息的步骤之后，包括：

在接收到异常查询请求时，输出所述提示信息关联的异常日志；

标记所述异常日志中的异常原始数据，其中，所述异常原始数据包括最大原始数据、最小原始数据和/或空值。

7.如权利要求1至6任意一项所述的大数据监控方法，其特征在于，所述监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对的步骤之后，包括：

在所述目标特征指标小于或等于所述特征阈值时，将所述目标特征指标作为所述特征阈值的调整数据，并将所述调整数据输入至预设阈值生成模型中，获得更新后的特征阈值。

8.一种大数据监控装置，其特征在于，所述大数据监控装置包括：

数据获取模块，用于获取更新的原始数据，根据特征提取规则处理所述原始数据，获得所述原始数据的特征指标；

指令接收模块，用于在接收到数据监控指令时，获取所述数据监控指令中的目标监控参数；

监控比对模块，用于监控所述目标监控参数关联的目标特征指标，将所述目标特征指标与所述目标特征指标对应的特征阈值进行比对；

提示输出模块，用于在所述目标特征指标大于所述特征阈值时，输出目标监控参数异常的提示信息。

9.一种大数据监控设备，其特征在于，所述大数据监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据监控对应的计算机程序，所述大数据监控对应的计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的大数据监控方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有大数据监控对应的计算机程序，所述大数据监控对应的计算机程序被处理器执行时实现如权利要求1至7中任一项所述的大数据监控方法的步骤。

Images