CN111754123A - 数据监控方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能，提供一种数据监控方法、装置、计算机设备及存储介质，可用于宏观经济领域，包括：实时获取监控周期内每个监控指标项的多个监控数据；根据多个监控数据分别调用整体变动监控模型、维度详情监控模型、数据流程监控模型计算异常等级得到整体变动结果、计算变化趋势得到维度详情结果、计算血缘关系图得到数据流程结果；当整体变动异常时，触发预警并将整体变动结果写入第一预警列表中；当整体变动正常，但维度详情异常和/或数据流程异常时，触发潜在预警并将有异常的结果写入第二预警列表中。本发明实现了从整体到维度再到流程的全方位监控，监控结果更加准确。此外，本发明还涉及区块链技术领域，监控的结果存储于区块链中。

Description

数据监控方法、装置、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种数据监控方法、装置、计算机设备及存储介质。

背景技术

在大数据时代，随着企业的业务内容、数据量逐步走向多元化、大量化，企业所关注的业务指标也开始变得异常的庞杂，这就使得保证指标数据的准确性成为一项艰巨的任务。

目前，企业在监控数据时，往往不够全面、不够科学，仅能从少量的角度进行浅显的监控。如需进行较为全面的监控，将耗费大量时间，效率低下，不能保证监控的时效性。

发明内容

鉴于以上内容，有必要提出一种数据监控方法、装置、计算机设备及存储介质，能够从整体到维度再到流程进行全方位监控，监控结果更加准确。

本发明的第一方面提供一种数据监控方法，所述数据监控方法包括：

设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据；

启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果；

启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果；

启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果；

识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常；

当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中；

当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

根据本发明的一个可选的实施例，所述启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果包括：

获取每个监控指标项对应的预设指标项上下限阈值，并根据所述预设指标项上下限阈值对对应的监控指标项的多个监控数据进行监控得到第一监控结果；

确定每一个监控指标项的指标项标签，并从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

根据所述第一监控结果和所述第二监控结果计算异常等级，并比较所述异常等级与预设异常等级阈值；

当所述异常等级大于或等于所述预设异常等级阈值时，输出整体变动结果为整体变动异常；

当所述异常等级小于所述预设异常等级阈值时，输出整体变动结果为整体变动正常。

根据本发明的一个可选的实施例，所述指标项上下限阈值的设置包括：

针对每个监控指标项，获取所述监控指标项N天前的多个历史监控数据；

根据所述多个历史数据的均值的P％设置上下限，其中，P大于0且小于100。

根据本发明的一个可选的实施例，所述确定每一个监控指标项的指标项标签包括：

根据每一个监控指标项的多个监控数据计算每一个监控指标项的方差；

判断每一个方差是否大于预设方差阈值；

当判断所述方差小于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第一标签；

当判断所述方差大于或者等于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第二标签。

根据本发明的一个可选的实施例，所述从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果包括：

计算每一个监控指标项的多个监控数据的数据量，并判断所述数据量是否大于预设数据量阈值；

当所述数据量大于所述预设数据量阈值，且所述监控指标项的指标项标签为第一标签时，获取与所述第一标签对应的时间序列模型作为目标监控算法，并采用所述时间序列模型对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

当所述数据量小于或者等于所述预设数据量阈值，且所述监控指标项的指标项标签为第二标签时，切换如下公式作为目标监控算法，并采用所述公式对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

Vn>Q2+2*(Q3-Q1)，或者Vn<Q2-2*(Q3-Q1)，

其中，Q1代表所述监控数据的下四分位，Q2代表所述监控数据的中位数，Q3代表所述监控数据的上四分位，Vn代表所述监控指标项的监控数据。

根据本发明的一个可选的实施例，所述启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果包括：

获取所述多个监控数据中与每个预设维度对应的目标监控数据；

计算每个预设维度对应的目标监控数据的占比，并根据所述占比确定目标纬度；

显示所述目标纬度的目标监控数据的变化趋势图。

根据本发明的一个可选的实施例，所述启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果包括：

调用Hadoop的元数据治理工具Apache Atlas为所述监控指标项生成血缘关系图；

在所述血缘关系图中的每个节点上创建脚本；

对所述血缘关系图中的每个节点进行数据变动异常监控；

对所述血缘关系图中的每个节点进行数据质量监控；

在所述血缘关系图中对不同的监控结果通过不同的颜色或图标进行显示。

本发明的第二方面提供一种数据监控装置，所述数据监控装置包括：

数据获取模块，用于设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据；

整体监控模块，用于启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果；

纬度监控模块，用于启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果；

流程监控模块，用于启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果；

结果识别模块，用于识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常；

第一预警模块，用于当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中；

第二预警模块，用于当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

本发明的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述数据监控方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述数据监控方法。

综上所述，本发明所述的数据监控方法、装置、计算机设备及存储介质，通过三个监控模型对多个监控指标项的监控数据进行实时监控，实现了从整体到维度再到流程的全方位监控，监控结果更加准确，自动化监控效率高，保证了监控的时效性。将不同的监控结果写入不同的列表中，便于用户快速的定位出可能存在问题的监控指标项。

附图说明

图1是本发明实施例一提供的数据监控方法的流程图。

图2是本发明实施例二提供的数据监控装置的结构图。

图3是本发明实施例三提供的计算机设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一

图1是本发明实施例一提供的数据监控方法的流程图。所述数据监控方法应用于计算机设备中，具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11，设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据。

计算机设备中提供有人机交互界面，用户可以通过人机交互界面输入需要监控的多个指标项，还可以通过人机交互界面输入监控周期。

计算机设备侦测到所述人机交互界面接收到多个监控指标项和监控周期后，获取所述监控周期内的所述多个指标项对应的多个监控数据。

所述多个监控指标项可以为，例如，单日销售额，单日销售量。在一些实施例中，所述多个监控指标项还可以为宏观经济指标等，因而，本发明还可以应用于宏观经济领域。

通过提供人机交互界面，便于企业用户自定义和个性化的设置监控指标项和监控周期，从而更加便捷的实施监控过程。

S12，启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果。

计算机设备中预先存储有整体变动监控模型，用于对多个监控指标项的监控数据的整体变化趋势进行监控。

所述整体变动监控模型中包括多个监控算法，每个监控算法对应一个监控指标项，因而对于不同的监控指标项，采用不同的监控算法进行监控，更具实用性，得到的监控结果的准确率更高。

通过整体变动监控模型计算每个监控数据的异常等级，并根据异常等级来确定企业的整体变动情况是正常或是异常。所述整体变动结果包括整体变动正常和整体变动异常。

在一个可选的实施例中，所述启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果包括：

获取每个监控指标项对应的预设指标项上下限阈值，并根据所述预设指标项上下限阈值对对应的监控指标项的多个监控数据进行监控得到第一监控结果；

确定每一个监控指标项的指标项标签，并从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

根据所述第一监控结果和所述第二监控结果计算异常等级，并比较所述异常等级与预设异常等级阈值；

当所述异常等级大于或等于所述预设异常等级阈值时，输出整体变动结果为整体变动异常；

当所述异常等级小于所述预设异常等级阈值时，输出整体变动结果为整体变动正常。

示例性的，假设某个监控指标项对应的预设指标项范围为[a，b]，则该预设指标项的上限阈值为b，下限阈值为a，如果该监控指标项对应的监控数据为c，那么当c∈[a，b]时，表明该监控数据正常，得到第一监控结果为整体变动正常；而当c>b，或者c<a时，表明该监控数据异常，得到第一监控结果为整体变动异常。

当所述第一监控结果及所述第二监控结果均为整体变动异常时，确定异常等级为高；当所述第一监控结果为整体变动异常，所述第二监控结果为整体变动正常时，确定异常等级为中；当所述第一监控结果为整体变动正常，所述第二监控结果为整体变动异常时，确定异常等级为低。

在该可选的实施例中，所述预设指标项上下限为用户自定义的监控规则，由于用户对企业自身的运营情况最为熟悉，因此，根据预设指标项对对应的监控指标项的多个监控数据进行监控得到的第一监控结果，更符合实际情况，第一监控结果的准确率更高。另外，采用预先设置的监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果，能够用来辅助第一监控结果，使得第一监控结果更为精确。

在一个可选的实施例中，所述指标项上下限阈值的设置包括：

针对每个监控指标项，获取所述监控指标项N天前的多个历史监控数据；

根据所述多个历史数据的均值的P％设置上下限。

该可选的实施例中，N为正常数，可以是整数(例如，7)，也可以是小数(例如，3.5)。P为大于0且小于100的正常数，可以是整数(例如，90)，也可以是小数(例如，85.5)。

相比用户自定义设置指标项上下限阈值，本实施例通过指标项的多个历史监控数据动态生成指标项上下限阈值，更为合理，更符合数据的波动规律，从而使得监控得到的监控结果更加有效。

在一个可选的实施例中，所述确定每一个监控指标项的指标项标签包括：

根据每一个监控指标项的多个监控数据计算每一个监控指标项的方差；

判断每一个方差是否大于预设方差阈值；

当判断所述方差小于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第一标签；

当判断所述方差大于或者等于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第二标签。

在该可选的实施例中，监控数据的方差能够反映出一段时间内监控指标项的变动规律，方差越小，表明监控指标项对应的监控数据波动较小，监控数据变化有规律；方差越大，表明监控指标项对应的监控数据波动较大，监控数据变化无规律。通过监控指标项的多个监控数据确定监控指标项的指标项标签为有规律还是无规律，便于根据不同的指标项标签采取不同的监控算法，从而使得监控更精细，监控结果更准确。

在一个可选的实施例中，所述从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果包括：

计算每一个监控指标项的多个监控数据的数据量，并判断所述数据量是否大于预设数据量阈值；

当所述数据量大于所述预设数据量阈值，且所述监控指标项的指标项标签为第一标签时，获取与所述第一标签对应的时间序列模型作为目标监控算法，并采用所述时间序列模型对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

当所述数据量小于或者等于所述预设数据量阈值，且所述监控指标项的指标项标签为第二标签时，切换如下公式作为目标监控算法，并采用所述公式对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

Vn>Q2+2*(Q3-Q1)，或者Vn<Q2-2*(Q3-Q1)，

其中，Q1代表所述监控数据的下四分位，Q2代表所述监控数据的中位数，Q3代表所述监控数据的上四分位，Vn代表所述监控指标项的监控数据。

在该可选的实施例中，当监控数据的数据量足够大、监控指标项的监控数据的波动存在一定规律时，利用时间序列模型进行监控，并生成置信区间。如果监控数据超出置信区间则异常等级高。当监控数据的数据量较小、监控指标项对应的监控数据的波动无明显规律时，利用上述公式判断异常等级高或低。根据以上两种监控方式的判定结果，总结问题点，并绘制数据变化趋势图(支持时间段筛选)，方便用户查看。

所述时间序列模型可以为差分回归移动平均模型(Autoregressive integratedmoving average，ARIMA)，为现有技术，本发明在此不再详细阐述。

S13，启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果。

计算机设备中预先存储有维度详情监控模型，用于对多个监控指标项对应的监控数据在不同纬度下的变化趋势进行监控。

所述维度详情结果包括纬度正常，纬度异常。

由于同一个监控指标项可能会存在多个维度下钻的数据，比如，对于销售额这个监控指标项，可以根据地域、产品、销售渠道等维度进行下钻查看。

计算机设备不仅调用整体变动监控模型对监控指标项对应的监控数据的整体变化趋势进行监控，还调用维度详情监控模型对监控指标项对应的监控数据的所有维度的变化趋势进行监控，并自动发现可能造成整体变动异常的目标维度，方便用户快速定位异常原因。

在一个可选的实施例中，所述启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果包括：

获取所述多个监控数据中与每个预设维度对应的目标监控数据；

计算每个预设维度对应的目标监控数据的占比，并根据所述占比确定目标纬度；

显示所述目标纬度的目标监控数据的变化趋势图。

该可选的实施例中，将多个监控数据按照预设纬度进行分类，得到每一个预设纬度下的目标监控数据。针对任意一个预设纬度，根据该预设纬度对应的目标监控数据的占比来确定该预设纬度是否为目标纬度。占比过高或过低的纬度被确定为目标纬度。占比过高或者过低均有可能造成监控指标项的整体变动异常。

S14，启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果。

计算机设备中还预先存储有数据流程监控模型，所述数据流程监控模型可以为Hadoop系统中的元数据治理工具-Apache Atlas。

所述数据流程结果包括数据流程正常，数据流程异常。

在一个可选的实施例中，所述启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果包括：

调用Hadoop的元数据治理工具Apache Atlas为所述监控指标项生成血缘关系图；

在所述血缘关系图中的每个节点上创建脚本；

对所述血缘关系图中的每个节点进行数据变动异常监控，包括：表单存储容量变化情况、表单记录数变化情况、表单字段饱和度变化情况；

对所述血缘关系图中的每个节点进行数据质量监控，包括：字段是否符合特定格式、字段的记录是否从特定列表取值；

在所述血缘关系图中对不同的监控结果通过不同的颜色或图标进行显示。

该可选的实施例中，字段是否符合特定格式，比如某字段为银行卡号，那么此字段的记录都需符合银行卡号的格式；字段的记录是否从特定列表取值，比如某字段为产品，那么该字段的记录都需存储于产品库中，如出现新的产品需更新产品库。

通过查看血缘关系图，使得用户在不查看脚本的情况下便能够清楚的知道数据的生成流程以及与上游表单的关系，通过不同的颜色/图标进行不同监控结果的显示，能够方便用户快速定位存在问题的节点。

S15，识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常。

计算机设备获取第一线程输出的整体变动结果，获取第二线程输出的纬度详情结果及获取第三线程输出的数据流程结果，并判断整体变动结果、纬度详情结果、数据流程结果中是否有异常结果。

当所述整体变动结果为整体变动正常、且所述维度详情结果为纬度详情正常及所述数据流程结果为数据流程正常时，表明企业运营状况良好。

当所述整体变动结果为整体变动异常，或者所述维度详情结果为纬度详情异常，或者所述数据流程结果为数据流程异常时，即所述整体变动结果、所述维度详情结果和所述数据流程结果至少有一个为异常时，表明企业运营出现问题，需要进行排查。

S16，当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中。

无论所述维度详情结果及所述数据流程结果如何，只要识别出整体变动结果为整体变动异常时，计算机设备根据预先设置的第一预警方式触发预警指令，并将所述整体变动结果写入预警列表中。

所述整体变动结果还包括监控指标项及对应监控指标项的监控数据。

计算机设备每次从第一预警列表的表头开始拉取整体变动结果，将拉取的整体变动结果封装到第一预警指令中并发送给运维人员，以便运维人员及时处理异常事项。

S17，当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

当识别整体变动结果为整体变动正常时，而识别出所述维度详情结果及所述数据流程结果中有一个异常，表明企业运营可能会出现潜在风险，计算机设备根据预先设置的第二预警方式触发预警指令，并将出现异常的维度详情结果或出现异常的数据流程结果写入第二预警列表中。

所述维度详情结果或者所述数据流程结果还包括监控指标项及对应监控指标项的监控数据。

计算机设备每次从第二预警列表的表头开始拉取所述维度详情结果或者所述数据流程结果，将拉取的所述维度详情结果或者所述数据流程结果封装到第二预警指令中并发送给运维人员，以便运维人员排查可能出现风险的事项。

本实施例中，通过三个监控模型对多个监控指标项的监控数据进行实时监控，实现了从整体到维度再到流程的全方位监控，监控结果更加准确，自动化监控效率高，保证了监控的时效性。将不同的监控结果写入不同的列表中，便于用户快速的定位出可能存在问题的监控指标项。

需要强调的是，为进一步保证上述整体变动结果、维度详情结果、数据流程结果的私密和安全性，上述整体变动结果、维度详情结果、数据流程结果还可以存储于一区块链的节点中。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

实施例二

图2是本发明实施例二提供的数据监控装置的结构图。

在一些实施例中，所述数据监控装置20可以包括多个由计算机程序段所组成的功能模块。所述数据监控装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)数据监控的功能。

本实施例中，所述数据监控装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：数据获取模块201、整体监控模块202、阈值设置模块203、维度监控模块204、流程监控模块205、结果识别模块206、第一预警模块207及第二预警模块208。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

所述数据获取模块201，用于设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据。

计算机设备中提供有人机交互界面，用户可以通过人机交互界面输入需要监控的多个指标项，还可以通过人机交互界面输入监控周期。

计算机设备侦测到所述人机交互界面接收到多个监控指标项和监控周期后，获取所述监控周期内的所述多个指标项对应的多个监控数据。

所述多个监控指标项可以为，例如，单日销售额，单日销售量。在一些实施例中，所述多个监控指标项还可以为宏观经济指标等，因而，本发明还可以应用于宏观经济领域。

通过提供人机交互界面，便于企业用户自定义和个性化的设置监控指标项和监控周期，从而更加便捷的实施监控过程。

所述整体监控模块202，用于启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果。

计算机设备中预先存储有整体变动监控模型，用于对多个监控指标项的监控数据的整体变化趋势进行监控。

所述整体变动监控模型中包括多个监控算法，每个监控算法对应一个监控指标项，因而对于不同的监控指标项，采用不同的监控算法进行监控，更具实用性，得到的监控结果的准确率更高。

通过整体变动监控模型计算每个监控数据的异常等级，并根据异常等级来确定企业的整体变动情况是正常或是异常。所述整体变动结果包括整体变动正常和整体变动异常。

在一个可选的实施例中，所述整体监控模块202启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果包括：

获取每个监控指标项对应的预设指标项上下限阈值，并根据所述预设指标项上下限阈值对对应的监控指标项的多个监控数据进行监控得到第一监控结果；

确定每一个监控指标项的指标项标签，并从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

根据所述第一监控结果和所述第二监控结果计算异常等级，并比较所述异常等级与预设异常等级阈值；

当所述异常等级大于或等于所述预设异常等级阈值时，输出整体变动结果为整体变动异常；

当所述异常等级小于所述预设异常等级阈值时，输出整体变动结果为整体变动正常。

示例性的，假设某个监控指标项对应的预设指标项范围为[a，b]，则该预设指标项的上限阈值为b，下限阈值为a，如果该监控指标项对应的监控数据为c，那么当c∈[a，b]时，表明该监控数据正常，得到第一监控结果为整体变动正常；而当c>b，或者c<a时，表明该监控数据异常，得到第一监控结果为整体变动异常。

当所述第一监控结果及所述第二监控结果均为整体变动异常时，确定异常等级为高；当所述第一监控结果为整体变动异常，所述第二监控结果为整体变动正常时，确定异常等级为中；当所述第一监控结果为整体变动正常，所述第二监控结果为整体变动异常时，确定异常等级为低。

在该可选的实施例中，所述预设指标项上下限为用户自定义的监控规则，由于用户对企业自身的运营情况最为熟悉，因此，根据预设指标项对对应的监控指标项的多个监控数据进行监控得到的第一监控结果，更符合实际情况，第一监控结果的准确率更高。另外，采用预先设置的监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果，能够用来辅助第一监控结果，使得第一监控结果更为精确。

所述阈值设置模块203，用于设置指标项上下限阈值。

在一个可选的实施例中，所述阈值设置模块203设置指标项上下限阈值包括：

针对每个监控指标项，获取所述监控指标项N天前的多个历史监控数据；

根据所述多个历史数据的均值的P％设置上下限。

该可选的实施例中，N为正常数，可以是整数(例如，7)，也可以是小数(例如，3.5)。P为大于0且小于100的正常数，可以是整数(例如，90)，也可以是小数(例如，85.5)。

相比用户自定义设置指标项上下限阈值，本实施例通过指标项的多个历史监控数据动态生成指标项上下限阈值，更为合理，更符合数据的波动规律，从而使得监控得到的监控结果更加有效。

在一个可选的实施例中，所述确定每一个监控指标项的指标项标签包括：

根据每一个监控指标项的多个监控数据计算每一个监控指标项的方差；

判断每一个方差是否大于预设方差阈值；

当判断所述方差小于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第一标签；

当判断所述方差大于或者等于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第二标签。

在该可选的实施例中，监控数据的方差能够反映出一段时间内监控指标项的变动规律，方差越小，表明监控指标项对应的监控数据波动较小，监控数据变化有规律；方差越大，表明监控指标项对应的监控数据波动较大，监控数据变化无规律。通过监控指标项的多个监控数据确定监控指标项的指标项标签为有规律还是无规律，便于根据不同的指标项标签采取不同的监控算法，从而使得监控更精细，监控结果更准确。

在一个可选的实施例中，所述从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果包括：

计算每一个监控指标项的多个监控数据的数据量，并判断所述数据量是否大于预设数据量阈值；

当所述数据量大于所述预设数据量阈值，且所述监控指标项的指标项标签为第一标签时，获取与所述第一标签对应的时间序列模型作为目标监控算法，并采用所述时间序列模型对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

当所述数据量小于或者等于所述预设数据量阈值，且所述监控指标项的指标项标签为第二标签时，切换如下公式作为目标监控算法，并采用所述公式对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

Vn>Q2+2*(Q3-Q1)，或者Vn<Q2-2*(Q3-Q1)，

其中，Q1代表所述监控数据的下四分位，Q2代表所述监控数据的中位数，Q3代表所述监控数据的上四分位，Vn代表所述监控指标项的监控数据。

在该可选的实施例中，当监控数据的数据量足够大、监控指标项的监控数据的波动存在一定规律时，利用时间序列模型进行监控，并生成置信区间。如果监控数据超出置信区间则异常等级高。当监控数据的数据量较小、监控指标项对应的监控数据的波动无明显规律时，利用上述公式判断异常等级高或低。根据以上两种监控方式的判定结果，总结问题点，并绘制数据变化趋势图(支持时间段筛选)，方便用户查看。

所述时间序列模型可以为差分回归移动平均模型(Autoregressive integratedmoving average，ARIMA)，为现有技术，本发明在此不再详细阐述。

所述维度监控模块204，用于启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果。

计算机设备中预先存储有维度详情监控模型，用于对多个监控指标项对应的监控数据在不同纬度下的变化趋势进行监控。

所述维度详情结果包括纬度正常，纬度异常。

由于同一个监控指标项可能会存在多个维度下钻的数据，比如，对于销售额这个监控指标项，可以根据地域、产品、销售渠道等维度进行下钻查看。

计算机设备不仅调用整体变动监控模型对监控指标项对应的监控数据的整体变化趋势进行监控，还调用维度详情监控模型对监控指标项对应的监控数据的所有维度的变化趋势进行监控，并自动发现可能造成整体变动异常的目标维度，方便用户快速定位异常原因。

在一个可选的实施例中，所述维度监控模块204启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果包括：

获取所述多个监控数据中与每个预设维度对应的目标监控数据；

计算每个预设维度对应的目标监控数据的占比，并根据所述占比确定目标纬度；

显示所述目标纬度的目标监控数据的变化趋势图。

该可选的实施例中，将多个监控数据按照预设纬度进行分类，得到每一个预设纬度下的目标监控数据。针对任意一个预设纬度，根据该预设纬度对应的目标监控数据的占比来确定该预设纬度是否为目标纬度。占比过高或过低的纬度被确定为目标纬度。占比过高或者过低均有可能造成监控指标项的整体变动异常。

所述流程监控模块205，用于启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果。

计算机设备中还预先存储有数据流程监控模型，所述数据流程监控模型可以为Hadoop系统中的元数据治理工具-Apache Atlas。

所述数据流程结果包括数据流程正常，数据流程异常。

在一个可选的实施例中，所述流程监控模块205启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果包括：

调用Hadoop的元数据治理工具Apache Atlas为所述监控指标项生成血缘关系图；

在所述血缘关系图中的每个节点上创建脚本；

对所述血缘关系图中的每个节点进行数据变动异常监控，包括：表单存储容量变化情况、表单记录数变化情况、表单字段饱和度变化情况；

对所述血缘关系图中的每个节点进行数据质量监控，包括：字段是否符合特定格式、字段的记录是否从特定列表取值；

在所述血缘关系图中对不同的监控结果通过不同的颜色或图标进行显示。

该可选的实施例中，字段是否符合特定格式，比如某字段为银行卡号，那么此字段的记录都需符合银行卡号的格式；字段的记录是否从特定列表取值，比如某字段为产品，那么该字段的记录都需存储于产品库中，如出现新的产品需更新产品库。

通过查看血缘关系图，使得用户在不查看脚本的情况下便能够清楚的知道数据的生成流程以及与上游表单的关系，通过不同的颜色/图标进行不同监控结果的显示，能够方便用户快速定位存在问题的节点。

所述结果识别模块206，用于识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常。

计算机设备获取第一线程输出的整体变动结果，获取第二线程输出的纬度详情结果及获取第三线程输出的数据流程结果，并判断整体变动结果、纬度详情结果、数据流程结果中是否有异常结果。

当所述整体变动结果为整体变动正常、且所述维度详情结果为纬度详情正常及所述数据流程结果为数据流程正常时，表明企业运营状况良好。

当所述整体变动结果为整体变动异常，或者所述维度详情结果为纬度详情异常，或者所述数据流程结果为数据流程异常时，即所述整体变动结果、所述维度详情结果和所述数据流程结果至少有一个为异常时，表明企业运营出现问题，需要进行排查。

所述第一预警模块207，用于当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中。

无论所述维度详情结果及所述数据流程结果如何，只要识别出整体变动结果为整体变动异常时，计算机设备根据预先设置的第一预警方式触发预警指令，并将所述整体变动结果写入预警列表中。

所述整体变动结果还包括监控指标项及对应监控指标项的监控数据。

计算机设备每次从第一预警列表的表头开始拉取整体变动结果，将拉取的整体变动结果封装到第一预警指令中并发送给运维人员，以便运维人员及时处理异常事项。

所述第二预警模块208，用于当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

当识别整体变动结果为整体变动正常时，而识别出所述维度详情结果及所述数据流程结果中有一个异常，表明企业运营可能会出现潜在风险，计算机设备根据预先设置的第二预警方式触发预警指令，并将出现异常的维度详情结果或出现异常的数据流程结果写入第二预警列表中。

所述维度详情结果或者所述数据流程结果还包括监控指标项及对应监控指标项的监控数据。

计算机设备每次从第二预警列表的表头开始拉取所述维度详情结果或者所述数据流程结果，将拉取的所述维度详情结果或者所述数据流程结果封装到第二预警指令中并发送给运维人员，以便运维人员排查可能出现风险的事项。

本实施例中，通过三个监控模型对多个监控指标项的监控数据进行实时监控，实现了从整体到维度再到流程的全方位监控，监控结果更加准确，自动化监控效率高，保证了监控的时效性。将不同的监控结果写入不同的列表中，便于用户快速的定位出可能存在问题的监控指标项。

需要强调的是，为进一步保证上述整体变动结果、维度详情结果、数据流程结果的私密和安全性，上述整体变动结果、维度详情结果、数据流程结果还可以存储于一区块链的节点中。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

实施例三

参阅图3所示，为本发明实施例三提供的计算机设备的结构示意图。在本发明较佳实施例中，所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。

本领域技术人员应该了解，图3示出的计算机设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述计算机设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的计算机设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述计算机设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31中存储有计算机程序，且所述至少一个处理器32可调用所述存储器31中存储的计算机程序以执行相关的功能。例如，上述实施例中所述的各个模块是存储在所述存储器31中的计算机程序，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的数据监控方法的全部或者部分步骤。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。

尽管未示出，所述计算机设备3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述数据监控方法的部分。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据监控方法，其特征在于，所述数据监控方法包括：

设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据；

启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果；

启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果；

启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果；

识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常；

当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中；

当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

2.如权利要求1所述的数据监控方法，其特征在于，所述启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果包括：

获取每个监控指标项对应的预设指标项上下限阈值，并根据所述预设指标项上下限阈值对对应的监控指标项的多个监控数据进行监控得到第一监控结果；

确定每一个监控指标项的指标项标签，并从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

根据所述第一监控结果和所述第二监控结果计算异常等级，并比较所述异常等级与预设异常等级阈值；

当所述异常等级大于或等于所述预设异常等级阈值时，输出整体变动结果为整体变动异常；

当所述异常等级小于所述预设异常等级阈值时，输出整体变动结果为整体变动正常。

3.如权利要求2所述的数据监控方法，其特征在于，所述指标项上下限阈值的设置包括：

针对每个监控指标项，获取所述监控指标项N天前的多个历史监控数据；

根据所述多个历史数据的均值的P％设置上下限，其中，P大于0且小于100。

4.如权利要求2所述的数据监控方法，其特征在于，所述确定每一个监控指标项的指标项标签包括：

根据每一个监控指标项的多个监控数据计算每一个监控指标项的方差；

判断每一个方差是否大于预设方差阈值；

当判断所述方差小于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第一标签；

当判断所述方差大于或者等于所述预设方差阈值时，确定与所述方差对应的监控指标项的指标项标签为第二标签。

5.如权利要求4所述的数据监控方法，其特征在于，所述从多个预设监控算法中匹配出与所述指标项标签对应的目标监控算法，采用所述目标监控算法对对应的监控指标项的多个监控数据进行监控得到第二监控结果包括：

计算每一个监控指标项的多个监控数据的数据量，并判断所述数据量是否大于预设数据量阈值；

当所述数据量大于所述预设数据量阈值，且所述监控指标项的指标项标签为第一标签时，获取与所述第一标签对应的时间序列模型作为目标监控算法，并采用所述时间序列模型对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

当所述数据量小于或者等于所述预设数据量阈值，且所述监控指标项的指标项标签为第二标签时，切换如下公式作为目标监控算法，并采用所述公式对对应的监控指标项的多个监控数据进行监控得到第二监控结果；

Vn>Q2+2*(Q3-Q1)，或者Vn<Q2-2*(Q3-Q1)，

其中，Q1代表所述监控数据的下四分位，Q2代表所述监控数据的中位数，Q3代表所述监控数据的上四分位，Vn代表所述监控指标项的监控数据。

6.如权利要求1至5中任意一项所述的数据监控方法，其特征在于，所述启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果包括：

获取所述多个监控数据中与每个预设维度对应的目标监控数据；

计算每个预设维度对应的目标监控数据的占比，并根据所述占比确定目标纬度；

显示所述目标纬度的目标监控数据的变化趋势图。

7.如权利要求1至5中任意一项所述的数据监控方法，其特征在于，所述启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果包括：

调用Hadoop的元数据治理工具Apache Atlas为所述监控指标项生成血缘关系图；

在所述血缘关系图中的每个节点上创建脚本；

对所述血缘关系图中的每个节点进行数据变动异常监控；

对所述血缘关系图中的每个节点进行数据质量监控；

在所述血缘关系图中对不同的监控结果通过不同的颜色或图标进行显示。

8.一种数据监控装置，其特征在于，所述数据监控装置包括：

数据获取模块，用于设置多个监控指标项和监控周期并实时获取所述监控周期内每个监控指标项的多个监控数据；

整体监控模块，用于启动第一线程调用整体变动监控模型计算所述多个监控数据的异常等级，并根据所述异常等级输出整体变动结果；

纬度监控模块，用于启动第二线程调用维度详情监控模型计算所述多个监控数据的变化趋势，并根据所述变化趋势输出维度详情结果；

流程监控模块，用于启动第三线程调用数据流程监控模型计算所述多个监控数据的血缘关系图，并根据所述血缘关系图输出数据流程结果；

结果识别模块，用于识别所述整体变动结果是否为整体变动异常、识别所述维度详情结果是否为纬度详情异常及识别所述数据流程结果是否为数据流程异常；

第一预警模块，用于当所述整体变动结果为整体变动异常时，触发预警并将所述整体变动结果写入第一预警列表中；

第二预警模块，用于当所述整体变动结果为整体变动正常，但所述维度详情结果和所述数据流程结果中至少有一个为异常时，触发潜在预警并将有异常的结果写入第二预警列表中。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述数据监控方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述数据监控方法。

Images