CN114546754A - 自动化智能监控方法、系统及地图数据云平台 - Google Patents

Abstract

本公开披露了一种自动化智能监控方法、系统及地图数据云平台，属于地图数据技术领域，该方法包括：针对不同的监控任务，初始化预设的质心抽取模型，获取质心线；在预设的任务监控时段内，抓取预设监控周期内能够反映被监控任务状态的目标数据；对目标数据进行预处理及归一化，对应生成监控趋势线，计算监控趋势线与质心线的当前偏离距离，判断当前偏离距离是否超过预设的参考阈值，若超过参考阈值，则被监控任务处于异常状态，启动报警；若未超过参考阈值，则被监控任务处于正常状态，持续计算当前偏离距离。通过实施本公开的技术方案，采用抽取质心线，以抽取的质心线为基准，监测当前数据的异常情况，提高查找异常信息的准确度。

Description

自动化智能监控方法、系统及地图数据云平台

技术领域

本公开涉及地图数据技术领域，尤其涉及一种自动化智能监控方法、系统及地图数据云平台。

背景技术

基于z-scores的周期性监控：即当前时间段(最近5分钟或者最近1分钟)的平均值为v0，最近30天的每天的该相同时间段都取一个平均值(v1、v2......V30)，然后再计算这30个平均值的平均值v及对应的标准差σ，当v0-v的绝对值大于3倍σ时，就认定此时时异常的。

在现有技术中，当周期中的某一个非常短的时间数值升高，然后又恢复正常，这种情况使用上述方法会报出异常，但是收到报警信息的时候已经恢复正常，而且这种情况可能会有很多，就会收到很多这种意义不大的报警信息，就会造成报警信息泛滥，将真正需要关注的异常信息覆盖掉。

发明内容

有鉴于此，本公开披露一种自动化智能监控方法、系统及地图数据云平台，实现当周期内出现一个小的峰值并很快恢复正常的情况，并不会出现报警，减少了不重要的报警信息。

为实现上述目的，本公开披露的一个技术方案是：一种自动化智能监控方法，该方法包括：针对不同的监控任务，初始化预设的质心抽取模型，获取质心线；在预设的任务监控时段内，抓取预设监控周期内能够反映被监控任务状态的目标数据；对目标数据进行预处理及归一化，对应生成监控趋势线，计算监控趋势线与质心线的当前偏离距离，判断当前偏离距离是否超过预设的参考阈值，若当前偏离距离大于或等于参考阈值，则被监控任务处于异常状态，启动报警；若当前偏离距离小于参考阈值，则被监控任务处于正常状态，持续计算当前偏离距离。

本公开披露另一个技术方案是：一种自动化智能监控系统，该系统包括：用户交互单元，用于创建、修改和/或显示监控任务，监控任务包括基础监控信息、任务详情信息和/或运行状态信息；数据源获取单元，用于抓取预设监控周期内能够反映被监控任务状态的目标数据；质心抽取模型，用于抽取质心线；任务监控单元，用于根据数据源获取单元抓取的被监控数据，对应生成反应被监控任务状态的监控趋势线，计算当前监控趋势线与质心线的距离，并用于通过判断当前偏离距离是否超过预设的参考阈值来确定被监控任务是否处于异常状态；报警单元，用于根据任务监控单元监控到被监控任务处于异常状态时，定向和/或不定向的发出报警。

本公开披露另一个技术方案是：一种地图数据云平台，该地图数据云平台包括地图数据仓库、数据中台及前述自动化智能监控系统；其中：所述地图数据仓库包括数据处理模块、作业库和数据出品库，用于生成不同精度的地图数据，向用户提供其定制的地图数据；所述数据中台，配置有业务线服务定制模块、API网关输出模块、可视化输出模块；所述API网关输出模块包括身份鉴权单元和日志管理单元、以及查看接口、编辑接口和统计分析接口；所述数据中台用于接入并解析业务需求，调用所述业务线服务定制模块和所述地图数据仓库，向用户提供定制化地图数据及服务；所述自动化智能监控系统部署在所述地图数据仓库端和/或所述数据中台上，用于监控数据和/或业务的周期性任务状态。

与现有技术相比，本公开披露的技术方案具有以下技术效果：

本公开披露的自动化智能监控方法及系统，采用从所需监控任务的质心抽取模型中抽取出质心线，以此质心线为基准，若当前的监控趋势线到质心线的距离大于或等于预设的参考阈值，则当前监控任务出现异常情况，启动报警。使得当周期内出现异常数据并很快恢复正常的情况时，系统并不会出现报警，减少了不重要的报警信息。

附图说明

图1是本公开披露的自动化智能监控方法实施例的流程示意图；

图2是本公开披露的实施例中获取更新质心线的流程示意图；

图3是本公开披露的实施例的历史数据变化趋势示意图；

图4是本公开披露的实施例中去噪处理的样本数据示意图；

图5是本公开披露的实施例中样本数据线之间的距离示意图；

图6是本公开披露的实施例中用户交互显示界面的示意图；

图7是本公开披露的实施例中出现异常监控趋势线的示意图；

图8是本公开披露的实施例的流程示意图；

图9是本公开披露的自动化智能监控系统实施例的组成示意图；以及

图10是本公开地图数据云平台实施例的功能模块组成的示意图。

具体实施方式

下面结合附图对本公开的较佳实施例进行详细阐述，以使本公开的优点和特征能更易于被本领域技术人员理解，从而对本公开的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

方法实施例：

参照图1，其示出了本公开实施例披露的自动化智能监控方法流程，该方法包括以下步骤。

S101：针对不同的监控任务，初始化预设的质心抽取模型，获取质心线。

在本实施例中，本公开的自动化智能监控方法可对不同的监控任务进行监控，其中，该监控任务是指一定时间内的变化有规律可寻的任务，其包括：服务器空间大小的变化、内存的变化、CPU负载的情况、API调用情况、网络变化、以及数据访问量的变化等；在该监控任务中，监控周期周期可以是天，或根据实际的监控任务，预设的监控时段。根据不同的监控任务，通过对质心线抽取模型的初始化，并且获取当前的监控任务所对应的质心线，通过质心线对监控任务的数据进行监控。

S102：在预设的任务监控时段内，抓取预设监控周期内能够反映被监控任务状态的目标数据。

在本公开的一个可选实施例中，通过预设的数据获取接口，抓取监控周期内的被监控任务的实时数据，作为监控对象。

在该可选实施例中，可设置定时每2分钟抓取一次监控周期内的被监控任务的实时数据，存储该监控数据，在下一次更新质心线时，调用该监控数据，将其添加进样本数据进行计算。

S103：对目标数据进行预处理及归一化，对应生成监控趋势线。

S104：计算监控趋势线与质心线的当前偏离距离。

S105：判断当前偏离距离是否超过预设的参考阈值，若当前偏离距离大于或等于参考阈值，则执行S106；若当前偏离距离小于参考阈值，则执行S107。

S106：被监控任务处于异常状态，启动报警。

S107：被监控任务处于正常状态，返回S104继续计算当前偏离距离。

本实施例中，针对目前当周期中的某一个非常短的时间数值升高，然后又恢复正常，这种情况使用上述方法会报出异常，但是收到报警信息的时候已经恢复正常报警信息泛滥，将真正需要关注的异常信息覆盖掉的问题，提供一种自动化智能监控方法、系统及地图数据云平台，实现当周期内出现一个小的峰值并很快恢复正常的情况，并不会出现报警，减少了不重要的报警信息。

需要说明的是，周期性任务是指一定时间内的变化有规律可寻的任务，包括：服务器空间大小的变化、内存、CPU负载、API调用、网络变化、访问量及变化等，周期可以是天，或预设的监控时段。

在本公开的一个可选实施例中，上述获取质心线方法可进一步包括：以初始质心线为质心线；其中，在初始化的质心模型中，将其默认设置的质心线作为初始质心线。

作为一种可选的实现方式，还可以采用更新质心线为质心线，作为任务异常监控的参考标准。本实施例中，根据预设的参数更新条件，调用预设时段对应的被监测任务的历史数据，更新当天的质心抽取模型，从而获取更新质心线。

在该可选实施例中，质心线可以采用初始质心线或更新质心线。将初始的质心模型中默认设置的质心线作为初始质心线；其中，默认设置的质心线可以为经预处理与归一化的被监测任务的历史数据中某一无异常情况周期的历史数据。根据预设的参数更新条件，获取更新质心线，此时质心抽取模型中的质心线为更新质心线；其中，预设的参数更新条件可以设置为时段，上述时段不小于被监测任务的一个周期。

在本公开的一个实施例中，在获取更新质心线时，根据预设的参数更新条件，调用预设时段对应的被监测任务的历史数据调用预设时段对应的被监测任务的历史数据，更新当天的质心抽取模型，从而获取更新质心线。利用质心线，在任务监控时段内，计算当前时段监控趋势线与质心线的当前偏离距离，并采用该当前偏离距离进行后续的异常监测与判断。例如，当被监测任务周期为天时，参数更新条件可设置为预设时段的前30天或前20天，调用预设时段的前30天或前20天的历史数据，获取质心线。另外，上述初始质心线也可以根据预设的参数更新条件，调用预设时段对应的被监测任务的历史数据获得。

参照图2，其示出了本实施例披露的一种获取更新质心线的方法流程，该获取更新质心线的过程进一步包括：

在该可选实施例中，通过对预设时段的历史数据进行预处理及归一化，同时进行聚类去噪处理，奖励数据中异常数据进行剔除，保证获取更新质心线的准确性。并依次计算每条样本数据线到其他样本数据线的距离和，将距离和最小的样本数据线确定为更新质心线。使得获取的更新质心线更符合当前监控任务数据的变化趋势，提高任务异常监控的效果。

在图2所示的可选实施例中，本实施例获取更新质心线的过程包括过程S201为调用预设时段的历史数据，结合预设的模型参数进行预处理及归一化。

在该可选实施例中，获取更新质心线时，首先根据预设的参数更新条件对应时段，调用该时段被监控任务的历史数据。根据质心抽取模型中预设的模型参数，对该时段被监控任务的历史数据进行预处理及归一化，将经预处理及归一化的被监控任务的历史数据作为样本数据进行后续的步骤；其中，在归一化处理时，储存经归一化的被监控任务的历史数据的参数，在后续的监控任务过程中、计算当前偏离距离时及计算质心线时，均需调用该经归一化的被监控任务的历史数据的参数。

在本公开的一个可选实施例中，以定时任务服务器每天0-3点周期性变化的session会话连接数为例；服务器定时在每天0-3点运行，且除定时程序出现异常或当天定时任务未触发外，周期性变化数据每天的变化情况基本类似。参数更新条件设置为预设时段的最近30天，从时序数据库中调用最近30天的每天0-3时的历史数据，对取出的历史数据进行归一化处理。因以x轴为时间(单位/秒)，y轴为session会话数据数值生成最近30天的每天0-3时的历史数据线时，x轴的数值为0-10800，与y轴数值差距太大，为消除指标之间的量纲影响，特此将x轴与y轴的历史数据进行归一化处理，生成如图3所示的最近30天的每天0-3时历史数据线。其中，图3的x轴为时间(单位/秒)，y轴为session会话数据的数值，图3中各条曲线分别表示以定时任务服务器每天0-3点周期性变化的session会话连接数中最近30天的每天0-3时的历史数据作为质心抽取模型样本数据，将质心抽取模型样本数据经归一化处理后生成的数据线。

可选的是，上述归一化方法可采用：求解出最近30天x轴的最大值x_max与最小值x_min、y轴的最大值y_max与最小值y_min，再依次将历史数据中所有点的值x_value、y_value做如下处理，归一化之后的数据为x_normal、y_normal:

在图2所示的可选实施例中，本公开获取更新质心线的过程包括过程S202为对归一化之后的样本数据进行聚类，并通过聚类筛选出噪声点，若某一监控周期内的样本数据中噪声点的数量超过预设的噪声阈值，则该监控周期内样本数据为噪声线，在后续计算中将噪声线从样本数据中剔除。

在该可选实施例中，通过对样本数据聚类筛选噪声点，根据预设的噪声阈值，将噪声点数量超过预设噪声阈值的监控周期样本数据，判定为噪声线，并在后续使用样本数据进行一系列计算过程中，将其从当前样本数据中剔除；其中，噪声点定义为以质心抽取模型样本数据中的其中一个点a为核心点，在距离a点半径r的范围内，若包含点的数量小于n，则称该点a为噪声点；筛选出的的噪声点可进行标记，并进行模糊处理或保密处理。

在本公开的一个可选实施例中，图4示出了本公开对归一化之后的样本数据进行聚类得结果，其中，图4的x轴为时间(单位/秒)，y轴为session会话数据的数值，图4中深色的样本数据样本点即为筛选出的噪声点，浅色的样本数据样本点即为非噪声点。本公开筛选噪声点的过程使得不重要的报警信息减少，提高了在实时监控时，对真正异常情况的正确监控。

在图2所示的可选实施例中，本公开获取更新质心线的过程包括过程S203为计算去躁之后任意两条样本数据线之间的距离，直到获取所有样本数据线的线线之间的距离，然后依次计算每条样本数据线到其他样本数据线的距离和，距离和最小的样本数据线为更新质心线。

在本公开的一个可选实施例中，图5示出了经去噪之后任一两条样本数据线之间的距离，图中的A线与B线即表示两条样本数据线。在计算A线与B线的距离时，可以根据其中一条样本数据线的样本数据进行计算，图中即利用A线的各个样本数据点A1、A2、A3......An，计算A线各个样本数据点A1、A2、A3......An分别到B线的最小距离S1、S2、S3......Sn，S1至Sn的距离和的平均值即为A线到B线的距离。将当前样本数据线依次用A、B、C、D......N表示，根据上述方法依次计算各个样本数据线之间的距离Savg_A_B、Savg_A_C、Savg_A_D......Savg_A_N、Savg_B_A、Savg_B_C、Savg_B_D......Savg_B_N、Savg_N_A、Savg_N_B、Savg_N_C、Savg_N_D......，并计算其距离和Distance_A、Distance_B、Distance_C、Distance_D......Distance_N，从而获得当前更新质心线。

在本公开的一个可选实施例中，并行多个监控任务，各监控任务通过任务身份标识ID和/或模型参数进行任务区分；和/或，通过用户交互显示界面，创建、修改和/或显示监控任务，监控任务包括基础监控信息和/或任务详情信息和/或运行状态信息；其中，用户交互显示界面包括基础信息界面和/或任务详情界面和/或运行状态界面(正常或异常)；基础信息界面包括任务列表，以及增加、删除、修改、查看任务信息；任务详情界面包括参数列表，以及增加、删除、修改、查看参数信息；运行状态查看界面包括任务运行状态信息，进一步包括质心线、实时监控趋势线、当前偏离距离信息。

在该可选实施例中，可同时并行多个监控任务，各个监控任务可通过任务身份标识ID或模型参数进行区分，也可同时使用任务身份标识ID与模型参数进行区分，避免多任务同时进行时出现混乱的情况。多个并行的的监控任务还可以通过用户交互显示界面展示出各个任务的状态，其可创建、修改和/或显示监控任务，方便用户实施了解并调整各个监控任务的各个信息，其中，监控任务的信息包括：基础监控信息和/或任务详情信息和/或运行状态信息。

参照图6，其示出了本公开上述实施例中的用户交互显示界面，该用户交互显示界面可为三级显示界面，包括：基础信息界面、任务详情界面、监控任务的运行状态界面，

1)基础信息界面：显示所有监控任务的基础信息，可查看、增加、删除以及修改各个监控任务信息；

2)任务详情界面：显示具体监控任务的信息，可查看、增加、删除以及修改各个监控任务的各项参数；

3)运行状态界面：显示监控任务的动态实时信息，包括质心线、实时监控趋势线、当前偏离距离信息以及运行状态(正常或异常)；其中，运行状态查看界面还可以显示质心线的详细信息和噪声线、非噪声线等信息，质心线的详细信息可包括质心线的生成日期、数据源、及更新时间等。

在本公开的一个可选实施例中，针对不同的监控任务，初始化预设的质心抽取模型进一步包括：针对监控任务，设置对应的模型参数和/或参数更新条件，以获取对应的质心线；其中，质心抽取模型配置有针对不同监控任务设置的参数数据库。初始化的过程中，根据不同监控需求，设置对应的模型参数和/或参数更新条件；模型参数包括但不限于待监控任务相关信息、参考阈值、聚类和归一化计算规则。

在该可选实施例中，针对不同的监控任务，设置其对应的模型参数参数合伙参数更新条件；其中，模型配置有不同的参数数据库。模型参数可以包括：任务相关信息、监控时段，聚类等计算规则以及预设的参考阈值；例如，参考阈值取值范围可为0.08-0.15，例如：0.09、0.10、0.11、0.12。聚类过程中半径r可以设置为0.02-0.08之间(例如：0.03、0.04、0.05、0.07)，形成聚类点的最小数量n设为30-50之间(例如：30、35、40、45)；预设的噪声阈值一般设置为当前监控周期样本数据20％或30％。预设的参数更新条件可以为30天可设置时段内的周期性任务历史数据。

当筛选出的噪声线超过预设阈值时，当前的预设参考阈值可改为所有非质心线到质心线距离的m倍标准差。其中m的取值范围为1-3。例如，以30天可设置时段内的周期性任务历史数据为样本数据时，若当前质心抽取模型中噪声线超过20条时，m可取值为3。其中，修改当前预设的参考阈值可实现当周期内出现一个小的峰值并很快恢复正常的情况时不必报警，减少了不重要的报警信息，提高了查找异常信息的准确度。

在本公开的一个可选实施例中，利用被监控任务的实时数据构建数据库，并对实时数据进行预处理及归一化，生成监控趋势线，计算监控趋势线与质心线的当前偏离距离。

在该可选实施例中，调用上述计算更新质心线过程中存储的归一化参数，利用该归一化参数生成该实时数据监控趋势线。在计算监控趋势线与质心线的当前偏离距离时，预设的参考阈值取值范围可为0.08-0.15，例如：0.09、0.10、0.11、0.12。

在本公开的一个可选实施例中，将其周期为天的周期性变化的session会话连接数作为被监控任务时，选取其每天0-3点的历史数据作为样本数据，并利用其样本数据，获取质心线。抓取当前2分钟的实时数据作为监控对象，若当前监控趋势线与质心线的距离小于预设参考阈值，则当前监控对象运行正常；否则即当前监控对象出现异常情况，随机启动报警。当检测到异常情况之后，可以启动其他服务器上的备选方案，保障程序的顺利执行。图7为被监控任务中出现异常情况的监控趋势线，图7中x轴为时间(单位/秒)，y轴为session会话数据的数值，颜色最深的数据走势线表示当前监控任务的质心线，最突出的数据走势线表示出现异常情况的监控趋势线。

在本公开的可选实施例中，当前周期0-3点的数据监测完成时，重新判断参数更新条件，并更新质心抽取模型，获取更新质心线。

作为一种可选的实现方式，本公开的可选实施例中，还披露一种自动化智能监控方法，流程图如图8所示：

从数据库中抽取一组周期性监控任务的历史样本数据，利用抽取的历史样本数据获取质心线。其中，获取质心线的过程包括：对历史数据进行预处理及、归一化及去噪处理，生成样本数据线，将去噪过程中筛选出的噪声线从样本数据中剔除；计算两两样本数据线之间的距离，并计算每条样本数据线与其他样本数据线之间的距离和，距离和最小的样本数据线即为质心线。接着抓取该监控任务的实时数据利用质心线进行检测；若实时数据生成的监控趋势线与质心线的当前偏离距离大于或等于预设的参考阈值，即该监控任务出现异常，随即启动报警；若实时数据生成的监控趋势线与质心线的距离小于预设的参考阈值，则改监控任务处于正常状态，持续计算当前偏离距离。

例如，以周期性变化的session会话连接数作为被监控任务，通过其最近30天每天0-3点的历史数据获取该监控任务的质心线。其具体获取过程为：通过该监控任务的各项参数，将历史数据进行预处理及归一化，生成如图3所示的历史数据线，对经归一化的历史数据进行聚类，通过聚类筛选出噪声点，若某一历史数据线种噪声点的数量超过预设阈值，该历史数据线即为噪声线。其中，预设阈值设置为该历史数据线历史数据点的20％或30％；其经聚类生成如图4所示的结果。剔除噪声线并将其余的历史数据线作为样本数据线，计算样本数据线两两之间的距离，其计算方法如图6所示。并计算每个样本数据线与其他样本数据线之间的距离和，将其中距离和最近小的样本数据线确定为当前监控任务的质心线。

通过获取的质心线计算当前监控任务实时数据的运行状态。抓取2分钟实时数据目标数据，判断当前目标数据的运行状态。其具体判断过程为：通过调用该监控任务的各项参数，将目标数据进行预处理及归一化，生成监控趋势线。判断该监控趋势线与质心线的当前偏离距离，若当前偏离距离大于或等于预设参考阈值，则目标数据运行异常，报警启动；图7所示即为目标数据运行异常的情况。用户可通过运维调整当前异常情况，保证任务的正常运行。

产品实施例：

参照图9，其示出了本公开一种周期性任智能监控系统的组成架构。本公开实施例中，该自动化智能监控系统包括：用户交互单元，用于创建、修改和/或显示监控任务，监控任务包括基础监控信息、任务详情信息和/或运行状态信息；数据源获取单元，用于抓取预设监控周期内能够反映被监控任务状态的目标数据；质心抽取模型，用于抽取质心线；任务监控单元，用于根据数据源获取单元抓取的被监控数据，对应生成反应被监控任务状态的监控趋势线，计算当前监控趋势线与质心线的距离，并用于通过判断当前偏离距离是否超过预设的参考阈值来确定被监控任务是否处于异常状态；报警单元，用于根据任务监控单元监控到被监控任务处于异常状态时，定向和/或不定向的发出报警。

在该可选实施例中，用户交互单元用于创建、修改和/或显示监控任务，当监控系统并行多个监控任务时，通过用户交互单元进行对任务的创建、修改和/或显示等一系列操作。当监控任务确定后，通过数据源获取单元抓取预设监控周期内能够反映被监控任务状态的目标数据。质心抽取模型用于抽取质心线，其中质心线包括初始质心线和更新质心线。其中，初始质心线为质心抽取模型中默认设置的质心线；更新质心线为根据预设的参数更新条件，例如数据源选择前30天的历史数据，调用预设时段对应的被监测任务的历史数据，更新当天的质心抽取模型，以获取更新质心线。任务监控单元用于根据数据源获取单元抓取的被监控数据，对应生成反应被监控任务状态的监控趋势线，并通过判断监控趋势线与质心线之间的距离判断当前的监控任务是否出现异常，若监控趋势线与质心线之间的距离超过预设阈值，则发出报警。其中，监控任务包括基础监控信息、任务详情信息和/或运行状态信息；任务监控单元能够清晰地反映各个监控任务数据的状态变化，方便用户了解各个监控任务数据的状态变化。当监控任务数据的状态出现异常时，可通过任务详情信息和/或运行状态信息反映当前的异常情况，方便用户运维，保证当前监控任务的正常运行。

在本公开的一个可选实施例中，质心抽取模型进一步包括：初始化单元，用于针对不同的监控任务，调用对应的参数数据库，设置模型参数、参数更新条件；归一化单元，用于调用预设时段的历史数据，结合模型参数和/或参数更新条件进行预处理及归一化；聚类去噪单元，用于对归一化之后的样本数据进行聚类，并去除监控周期内的噪声线，生成样本数据线；抽取单元，用于根据模型参数、参数更新条件，计算并抽取质心线，其中质心线包括初始质心线和/或更新质心线。

在该可选实施例中，在质心抽取模型中，针对不同的监控任务，通过初始化单元设置当前监控任务需要调用的参数数据库，设置模型参数、参数更新条件，完成对质心抽取模型的初始化操作。并通过归一化单元，用于调用预设时段的历史数据，结模型参数和/或参数更新条件进行预处理及归一化，通过归一化进行数据的预处理和归一化，使得数据间符合一定的规律，便于数据之间的计算和比较，较快数据的处理速度。聚类去噪单元，用于对归一化之后的样本数据进行聚类，并去除监控周期内的噪声线，生成样本数据。通过聚类去噪单元对样本数据中的异常噪声数据进行去除，保证数据的准确性，进而在生成数据质心线时，保证质心线的准确度，进而提高任务监控的准确度。最后，通过抽取单元，根据模型参数、参数更新条件，计算并抽取质心线，其中质心线包括初始质心线和/或更新质心线。通过初始质心线和/或更新质心线的获取，并对更新质心线进行实施更新，保证了更新质心线的有效性，避免随着监控任务的进行，质心线不适合现有任务数据的变化规律，导致监控结果出现较大偏差的情况。

在本公开的一个可选实施例中，可以并行多个监控任务。抽取质心线时，针对不同的监控任务设置相应的各项参数。根据预设的参数更新条件的时段，调用该时段监控任务的历史数据，例如，上述实施例中当周期为天的周期性变化的session会话连接数作为被监控任务时，选取其每天0-3点的历史数据。将监控任务的历史数据进行预处理、归一化及去噪处理，生成无噪声线的样本数据线。利用无噪声线的样本数据线获取本公开所需的质心线。

在本公开的一个可选实施例中，任务监控单元进一步包括：预处理子单元，用于对目标数据进行预处理，并对预处理的目标数据进行归一化，生成反映被监控任务状态的监控趋势线；计算子单元，用于计算监控趋势线与质心线的当前偏离距离；判断子单元，用于判断当前偏离距离是否超过预设的参考阈值，若当前偏离距离大于或等于参考阈值，则被监控任务处于异常状态。

在本公开的一个可选实施例中，本公开的自动化智能监控方法中的周期性变化的session会话连接数作为被监控任务时，抓取其2分钟的实时数据作为目标数据，调用当前监控任务的各项参数对目标数据进行处理，生成反映被监控任务状态的监控趋势线。通过当前任务质心线与监控趋势线的当前偏离距离，判断监控趋势线是否处于正常运行状态。

需要指出的是，本公开披露的一种自动化智能监控系统，可用于执行上述任一实施例描述的自动化智能监控方法，其实现原理和技术效果类似，在此不再赘述。

参照图10，其示出了本公开披露的一种地图数据云平台实施例。本实施例中，该地图数据云平台包括：包括地图数据仓库、数据中台及前述任一实施例的自动化智能监控系统。其中：

地图数据仓库包括数据处理模块、作业库和数据出品库，用于生成不同精度的地图数据，向用户提供其定制的地图数据。数据处理模块从数据采集系统获取不同渠道采集回来的数据，对其进行清洗、融合、编译等加工，并根据生成用于支撑不同业务线的地图数据产品至数据出品库。可选地，地图数据仓库还可包括历史数据库，用于进行数据查询、统计和展示，以及用于数据挖掘和分析。

数据中台用于接入并解析业务需求，调用业务线服务定制模块和地图数据仓库，向用户提供定制化地图数据及服务。数据中台配置有业务线服务定制模块、API网关输出模块、可视化输出模块；API网关输出模块包括身份鉴权单元和日志管理单元，API接口包括查看接口、编辑接口和统计分析接口等。业务线服务定制模块为根据用户需求设置的业务线及服务，内接地图数据仓库，外接用户交互系统，向用户定向输出定制化的数据及服务。

自动化智能监控系统部署在地图数据仓库端和/或数据中台上，用于监控数据和/或业务的周期性任务状态。

可选地，上述实施例中，地图数据仓库、数据中台及应用交互系统可部署在内部本地服务器和外部联网服务器中。例如，地图数据仓库可以部署在内部本地服务器和/或外部联网服务器上，作为可提供不同精度地图数据的数据源，用于向用户提供其定制的地图数据；数据中台设置在地图数据库与应用交互系统之间，配置有API网关、服务创建模块、服务授权模块以及数据管理模块；应用交互系统，与数据中台通信连接，配置有API接口、身份认证模块以及用于定制个性化业务的业务中台，用于面向授权用户提供可定制的地图数据业务。

在上述可选实施例中，地图数据仓库作为可提供不同精度地图数据的数据源，数据源获取单元从地图数据仓库抓取其所需的被监控任务状态的目标数据。从地图按仓库抓取的目标数据通过数据中台的各个模块对各个不同监控任务进行其相应的质心抽取模型、任务监控单元、报警单元的各项操作，并将经数据中台处理的监控任务数据通过应用交互系统显示在用户交互单元。

在本公开的一个可选实施例中，本公开的自动化智能监控系统部署在地图数据仓库端和/或数据中台和/或应用交互系统上，用于监控本地数据变化状态和/或对外输出数据的周期性任务状态。

需要指出的是，本公开实施例披露的一种地图数据云平台，可用于执行上述任一实施例描述的自动化智能监控方法，其实现原理和技术效果类似，在此不再赘述。

本公开实施例的应用场景包括但不限于：定时任务、服务器空间大小的变化、CPU负载、内存负载、网络的变化、每天访问系统人数的变化等。

本公开实施例的通过采用从经归一化及去噪处理的所需监控的的数据模型中抽取出质心线，以此质心线为基准，当前的数据线如果到质心线的距离大于某一个阈值，就发出异常提示信息；实现当周期内出现一个小的峰值并很快恢复正常的情况，并不会出现报警的情况，减少了不重要的报警信息。

在本公开各实施例中，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本公开的实施例，并非因此限制本公开的专利范围，凡是利用本公开说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本公开的专利保护范围内。

Claims (10)

1.一种自动化智能监控方法，其特征在于，包括：

针对不同的监控任务，初始化预设的质心抽取模型，获取质心线；

在预设的任务监控时段内，抓取预设监控周期内能够反映被监控任务状态的目标数据；

对所述目标数据进行预处理及归一化，对应生成监控趋势线，计算所述监控趋势线与所述质心线的当前偏离距离，判断所述当前偏离距离是否超过预设的参考阈值，若所述当前偏离距离大于或等于所述参考阈值，则所述被监控任务处于异常状态，启动报警；

若所述当前偏离距离小于所述参考阈值，则所述被监控任务处于正常状态，持续计算所述当前偏离距离。

2.根据权利要求1所述的自动化智能监控方法，其特征在于，所述获取质心线方法进一步包括：

所述质心线为初始质心线：初始化的质心模型中，将其默认设置的质心线作为初始质心线；和/或

所述质心线为更新质心线：根据预设的参数更新条件，调用预设时段对应的被监测任务的历史数据，更新当天的质心抽取模型，以获取更新质心线；利用所述更新质心线，在所述任务监控时段内，计算所述当前时段监控趋势线与所述更新质心线的当前偏离距离，并采用该当前偏离距离进行后续的异常监测与判断。

3.根据权利要求2所述的自动化智能监控方法，其特征在于，该方法还包括：

并行多个监控任务，各监控任务通过任务身份标识ID和/或模型参数进行任务区分；和/或，

通过用户交互显示界面，创建、修改和/或显示监控任务，所述监控任务包括基础监控信息、和/或任务详情信息和/或运行状态信息；其中，所述用户交互显示界面包括基础信息界面、和/或任务详情界面、和/或运行状态界面；所述基础信息界面包括任务列表，以及增加、删除、修改、查看任务信息；所述任务详情界面包括参数列表，以及增加、删除、修改、查看参数信息；所述运行状态查看界面包括任务运行状态信息，进一步包括质心线、实时监控趋势线、当前偏离距离信息。

4.根据权利要求2或3所述的自动化智能监控方法，其特征在于，所述获取更新质心线进一步包括：

调用预设时段的历史数据，结合预设的模型参数进行预处理及归一化；

对归一化之后的样本数据进行聚类，并通过聚类筛选出噪声点，若某一监控周期内的样本数据中噪声点的数量超过预设的噪声阈值，则该监控周期内样本数据为噪声线，在后续计算中将所述噪声线从所述样本数据中剔除；

计算去躁之后任意两条样本数据线之间的距离，直到获取所有样本数据线的线线之间的距离，然后依次计算每条样本数据线到其他样本数据线的距离和，所述距离和最小的样本数据线为所述更新质心线。

5.根据权利要求1至4任一项所述的自动化智能监控方法，其特征在于，所述针对不同的监控任务，初始化预设的质心抽取模型进一步包括：

针对监控任务，设置对应的模型参数和/或参数更新条件，以获取对应的质心线；

其中，所述质心抽取模型配置有针对不同监控任务设置的参数数据库，初始化的过程中，根据不同监控需求，设置对应的模型参数和/或参数更新条件；所述模型参数包括但不限于待监控任务相关信息、参考阈值、聚类和归一化计算规则。

6.根据权利要求5所述的自动化智能监控方法，其特征在于，该方法还包括：

通过预设的数据获取接口，抓取监控周期内的被监控任务的实时数据，作为监控对象；

利用所述被监控任务的实时数据构建数据库，并对实时数据进行预处理及归一化，生成所述监控趋势线，计算所述监控趋势线与所述质心线的当前偏离距离。

7.一种自动化智能监控系统，其特征在于，包括：

用户交互单元，用于创建、修改和/或显示监控任务，所述监控任务包括基础监控信息、任务详情信息和/或运行状态信息；

数据源获取单元，用于抓取预设监控周期内能够反映所述被监控任务状态的目标数据；

质心抽取模型，用于抽取质心线；

任务监控单元，用于根据所述数据源获取单元抓取的被监控数据，对应生成反应所述被监控任务状态的监控趋势线，计算当前监控趋势线与所述质心线的距离，并用于通过判断所述当前偏离距离是否超过预设的参考阈值来确定所述被监控任务是否处于异常状态；

报警单元，用于根据所述任务监控单元监控到被监控任务处于异常状态时，定向和/或不定向的发出报警。

8.根据权利要求7所述的自动化智能监控系统，其特征在于，所述质心抽取模型进一步包括：

初始化单元，用于针对不同的监控任务，调用对应的参数数据库，设置模型参数、参数更新条件；

归一化单元，用于调用预设时段的历史数据，结合所述模型参数和/或所述参数更新条件进行预处理及归一化；

聚类去噪单元，用于对归一化之后的样本数据进行聚类，并去除监控周期内的噪声线，生成样本数据线；

抽取单元，用于根据所述模型参数、参数更新条件，计算并抽取所述质心线，其中所述质心线包括初始质心线和/或更新质心线。

9.根据权利要求7或8所述的自动化智能监控系统，其特征在于，所述任务监控单元进一步包括：

预处理子单元，用于对所述目标数据进行预处理，并对预处理的目标数据进行归一化，生成反映所述被监控任务状态的监控趋势线；

计算子单元，用于计算所述监控趋势线与所述质心线的当前偏离距离；

判断子单元，用于判断所述当前偏离距离是否超过预设的参考阈值，若所述当前偏离距离大于或等于所述参考阈值，则所述被监控任务处于异常状态。

10.一种地图数据云平台，其特征在于，包括地图数据仓库、数据中台及根据权利要求7至9任一项所述的自动化智能监控系统；其中：

所述地图数据仓库包括数据处理模块、作业库和数据出品库，用于生成不同精度的地图数据，向用户提供其定制的地图数据；

所述数据中台，配置有业务线服务定制模块、API网关输出模块、可视化输出模块；所述API网关输出模块包括身份鉴权单元和日志管理单元、以及查看接口、编辑接口和统计分析接口；所述数据中台用于接入并解析业务需求，调用所述业务线服务定制模块和所述地图数据仓库，向用户提供定制化地图数据及服务；

所述自动化智能监控系统部署在所述地图数据仓库端和/或所述数据中台上，用于监控数据和/或业务的周期性任务状态。

Images