CN112306801A - 一种基于异构数据源的监控数据处理方法、系统及介质 - Google Patents

Abstract

本发明的提供一种基于异构数据源的监控数据处理方法、系统及介质，方法包括获取监控目标的原始数据，将原始数据转换得到第一格式数据，对第一格式数据进行校验，其中，校验的过程包括以下步骤：确定数据层的第二指标属性，第二指标属性与第一指标属性相同；确定指标数据的时间戳信息；将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；根据第二格式数据进行告警预测，将告警预测的结果以及第二格式数据进行可视化展示。方法提供了更为全面、更为可靠的跨监控产品系统数据告警预测；与业务数据的贴合度更高，提供了更为直观的一览式综合监控以及信息可视化展示，可广泛应用于资源监控技术领域。

Description

一种基于异构数据源的监控数据处理方法、系统及介质

技术领域

本发明属于资源监控技术领域，尤其是一种基于异构数据源的监控数据处理方法、系统及介质。

背景技术

随着云计算时代的带来，对虚拟化资源及云业务等IT信息的精准获取和掌控日益迫切，对一览式业务监控信息展示平台，系统健康度监测及业务安全运行的智能综合监控平台的需求越来越强烈，按组织体系架构及层级展示差异化、智能化的监控信息，提供自助服务越来越成为用户的刚性需求。

然而，当前不同的IT监控产品与系统形式功能各异，互不兼容，导致现实情况中，企业大部分是多个监控系统同时使用，并行运作。其中部分内容存在重叠、重复建设情况，不同的产品与系统难以融合。主要原因是不同的监控产品与系统有着各个方面的差异：

(1)场景各异；不同类型的监控产品或项目任务，都是仅针对部分场景而设计。常见场景包括：互联网数据中心(Internet Data Center，IDC)机房基础设施监控、主机监控、网络监控、数据库监控、存储、云平台、容器中间件、业务监控等等。

(2)技术体系各异；不同的监控产品基于不同的编程语言开发，包括C/C++、Java、Python、GoLang等，并且对不同的操作系统，例如windows、linux、unix等，与其不同的版本也可能会有一定的依赖。

(3)采集方式与数据存储各异；不同的监控产品，通过不同的协议或采集方法，例如snmp、ssh、telnet、wmi、http等，数据的存储技术与方式也有很大差异，例如数据库、文件、搜索引擎、分布式hadoop等。

(4)开放接口协议各异；很多产品和具体项目没有完善的集成接口、数据接口。接口协议实现也不一样，http，json、rpc、websocket、自定义协议。

因为上述的差异，不同监控产品与系统各自独立，缺少一览式的综合监控、信息展示平台，智能融合分析平台。由于系统的相对割裂，系统监控与企业业务的贴合程度不高，监控产品系统多以关键指标监测和告警提示等单一功能为主，偏向技术维度，难以实现综合性、针对性、贴近业务、多维结合的监控系统以及与之对应的监控数据的处理方法。

发明内容

有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种基于异构数据源的监控数据处理方法，可进行多个异构监控统一监控分析与预测，同时本发明还提供能够对应实现该方法的系统以及计算机可读介质。

第一方面，本发明实施例提供了一种基于异构数据源的监控数据处理方法，其包括以下步骤：

获取监控目标的原始数据，将原始数据转换得到第一格式数据，第一格式数据的数据结构包括第一指标属性和指标数据；

对第一格式数据进行校验，校验的过程包括以下步骤：确定数据层的第二指标属性，第二指标属性与第一指标属性相同；确定指标数据的时间戳信息；

将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；

根据第二格式数据进行告警预测，将告警预测的结果以及第二格式数据进行可视化展示。

在本发明的一些实施例中，获取监控目标的原始数据这一步骤，其包括：

确定监控目标的数据源，根据数据源确定原始数据的数据结构，数据结构至少包括以下内容之一：数据库表结构、字段类型以及字段逻辑关联；

根据数据结构提取得到原始数据。

在本发明的一些实施例中，数据源包括以下二者至少之一：监控目标的数据库或监控目标的数据接口；获取监控目标的原始数据这一步骤，其还包括：

获取监控目标的运行数据，根据运行数据构成数据库；根据数据结构从数据库中提取得到原始数据；

或者，通过数据接口，访问监控目标，获取原始数据。

在本发明的一些实施例中，根据第二格式数据进行告警预测这一步骤，其包括：

确定告警标识和指标值，根据告警标识与指标值的关联关系，生成告警预测规则；

根据第二格式数据以及告警预测规则得到告警预测的结果。

在本发明的一些实施例中，根据第二格式数据以及告警预测规则得到告警预测的结果这一步骤，其包括：

扫描第二格式数据，确定第二格式数据的指标标识，指标标识与告警标识的字段类型相同；

将指标标识与告警预测规则进行匹配，确定所示指标标识的数据值满足告警标识的预设取值范围，触发告警信息。

在本发明的一些实施例中，业务维度包括以下至少之一：物理地域、组织架构、项目信息、客户信息、参与人信息、标签。

第二方面，本发明的技术方案还提供一种基于异构数据源的监控数据处理的软件系统，包括：

转换器层，用于获取监控目标的原始数据，将原始数据转换得到第一格式数据，第一格式数据的数据结构包括第一指标属性和指标数据；

转换器接入层，用于对第一格式数据进行校验，校验的过程包括以下步骤：确定数据层的第二指标属性，第二指标属性与第一指标属性相同；确定指标数据的时间戳信息；

统一数据层，用于将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；还用存储第二格式数据；

应用模块层，用于根据第二格式数据进行告警预测，将告警预测的结果以及第二格式数据进行可视化展示。

在本发明的一些实施例中，转换器层包括若干转换器，转换器用于连接若干监控目标的数据源，从数据源获取若干数据格式的原始数据。

第三方面，本发明的技术方案还提供一种基于异构数据源的监控数据处理的硬件系统，其包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个程序被至少一个处理器执行，使得至少一个处理器实现第一方面中的一种基于异构数据源的监控数据处理方法。

第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如第一方面中的方法。

本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：

本发明所提供的一种基于异构数据源的监控数据处理方法，将各自独立监控目标的原始数据进行数据格式的转换，得到包含有指标属性和指标数据的格式数据，并通过校验以确保将其转换成为统一数据层定义一致的格式，将数据与若干业务维度进行关联，可以提供更为全面、更为可靠的跨监控产品系统数据告警预测；方法与业务数据的贴合度更高，并同时提供了更为直观的一览式综合监控以及信息可视化展示。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于异构数据源的监控数据处理系统的结构示意图；

图2为本发明一种基于异构数据源的监控数据处理方法的步骤流程图；

图3为本发明另一种基于异构数据源的监控数据处理系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本说明书中所提供的实施例是基于已有监控系统数据源与接口，通过数据转换，进行多个异构监控统一监控分析与预测的方法与系统。其目的是解决多个IT监控系统并行运行相互独立，难以提供统一的综合监控、信息展示平台的技术问题。

在第一方面，如图1所示，首先提出一种基于异构数据源的监控数据处理的软件系统，其主要包括：转换器层、转换器接入层、统一数据层以及应用模块层。

具体地，转换器层用于获取下层监控系统中监控目标的原始数据，将原始数据转换得到第一格式数据，其中，监控目标即为部署在环境中的各种被监控的设备，例如服务器、数据库以及其他主机设备等。第一个格式数据为统一数据层定义的数据格式，该数据结构包括第一指标属性和指标数据；其中，第一指标属性为统一数据层所定义的数据字段或属性，而指标数据即为数据中的数值，数值可包括单个数值或数值序列的形式。转换器接入层用于对第一格式数据进行校验，校验的过程包括以下步骤：确定数据层的第二指标属性，第二指标属性与第一指标属性相同；确定指标数据的时间戳信息；其中，第二指标属性即为统一数据层预先定义的数据格式中字段或属性，当通过转换器层转换后得到的第一格式数据的第一指标属性与该第二指标属性相吻合，并且第一格式中的指标数据具有时间戳信息时，确认数据校验通过，由转换器接入层将第一格式数据发送至统一数据层。统一数据层，用于接收转换器输入层发送的统一格式(或模型)的数据，并将其进行存储；第二格式数据，将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；其中，第二格式数据为源各异但格式统一的指标数据，并结合统一的业务维度的数据。应用模块层，用于根据第二格式数据进行告警预测，将告警预测的结果以及第二格式数据进行可视化展示；应当理解的是，应用模块层还可用于对第二格式数据进行其他内容的分析，以及其他形式的展示与应用。

在实施例中，转换器层包括若干转换器，转换器用于连接若干监控目标的数据源，从数据源获取若干数据格式的原始数据，例如Zabbix接口专用的转换器以及普罗米修斯数据源的转换器。

第二方面，如图2所示，本发明的技术方案提出了一种基于异构数据源的监控数据处理方法，该方法通过基于异构数据源的监控数据处理的软件系统中的各个单元模块分工和配合，统一抽取多个异构监控系统的关键性能指标(KPI，Key Performance Indicator，以下简称指标)数据，转换成统一的数据模型与数据格式，存储到统一数据层。然后在统一数据层，数据通过与统一的业务概念互相组合，进行告警预测，并形成全新的数据分析、展示维度。方法包括以下步骤：

S01、获取监控目标的原始数据，将原始数据转换得到第一格式数据，第一格式数据的数据结构包括第一指标属性和指标数据。

具体地，针对不同的监控目标，通过转换器层中专用的转换器，将下层监控系统数据，转换成为符合统一数据库层定义的数据格式，即第一数据格式。其中下层监控系统数据包括功能各异、互不兼容且独立运行的监控目标或监控产品。转换器的工作方式是定时主动连接下层监控系统数据源，或者主动调用下层监控系统的数据接口，读取目标监控系统的原始数据，然后进行数据格式转换，将其转换成为统一数据层定义一致的格式。

在一些可能的实施例中，获取监控目标的原始数据这一步骤，其包括步骤S011-S012：

S011、确定监控目标的数据源，根据数据源确定原始数据的数据结构。

S012、根据数据结构提取得到原始数据。

其中，数据结构至少包括以下内容之一：数据库表结构、字段类型以及字段逻辑关联。具体地，在实施例中，转换器根据监控目标的数据源的组成和结构，结合其公开的产品文档、技术文档，可获得该监控目标在数据存储上细节信息，包括但不限于数据库表结构、字段类型与字段逻辑关联等，记作原始数据的数据结构。

更为具体地，实施例中的转换器可分为两类：标准转换器和自定义转换器。其中，标准转换器，是针对成熟的常见监控目标开发出标准的转换器，在现实情况中可以通用并复用，大大加快数据转换接入的速度减少工作量；例如，针对Zabbix接口与普罗米修斯数据源，通过对Zabbix平台或普罗米修斯平台的具体版本的数据源结构格式进行分析，然后生成对应的数据提取程序对监控平台的数据源进行数据提取，并根据统一数据层的数据结构规范把提取到的数据进行格式转换，最后调用转换器接入层统一接口API进行数据存储。由于常见的监控平台使用广泛，标准数据转换器只需要一次实现，就可以重复使用。另外，自定义转换器，针对非标准产品、自研发的监控系统或平台，定制开发得到的转换器。自定义转换器属于定制功能开发，需要与具体的监控系统项目开发商共同进行集成开发，通过提供的数据源或数据库接口获得数据。其实现的过程与标准转化器类似，但无法复用，仅对特定的已有监控系统有效。

在一些可能的实施例中，据源包括以下二者至少之一：监控目标的数据库或监控目标的数据接口。而步骤S01中获取监控目标的原始数据这一过程，可以进一步包括步骤S013或步骤S014：

S013、获取监控目标的运行数据，根据运行数据构成数据库；根据数据结构从数据库中提取得到原始数据。

具体地，转换器可以直接连接访问监控目标的数据库，实现与无开放数据接口的下层监控平台或监控目标的对接。例如：普罗米修斯平台的运行数据，存储在监控平台指定的数据库中，转换器具有访问数据库的权限，通过调用数据库客户端接口，连接到指定的数据库，直接读取数据库中的表与数据。转换器运行的环境，与所用下层监控平台或监控目标的数据库，需要能够网络连通。

S014、通过数据接口，访问监控目标，获取原始数据。

具体地，转换器通过数据接口进行数据采集，适合对接有开放接口的下层监控平台或监控目标。例如：部分监控目标或监控平台软件提供远程数据开放接口，可通过http等网络传输协议，访问监控产品服务。转换器通过远程过程调用(RPC，Remote Process)，访问对外提供的网络服务地址和端口，并按照监控目标或监控平台软件定义的接口调用要求，直接查询获取所需要的数据。

S02、对第一格式数据进行校验。

具体地，转换器将转换后的数据，发送到转换器接入层，转换器接入层是一系列统一通用的应用程序接口(API，Application Programming Interface)，统一接收不同的转换器传入的数据，并对数据与数据的格式，按照统一数据层的指标定义进行校验。校验通过后，转换器接入层把数据写入统一数据层进行保存。其中，校验的过程包括以下步骤：确定数据层的第二指标属性，第二指标属性与第一指标属性相同；确定指标数据的时间戳信息。具体地，确定数据层的第二指标属性，第二指标属性与第一指标属性相同，即根据传入转换器接入层第一格式数据的指标唯一代码，在统一数据层中校验是否已经存在其定义，同时第一格式数据的指标数值类型并须与统一数据层中该指标定义的类型一致。当统一数据层中存在指标唯一代码的定义，并且该指标定义的类型一致，第一格式数据也携带由指标数值采集的时间戳，则校验通过。

S03、将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据。

具体地，统一数据层首先将接收的第一格式数据进行存储。如步骤S01中所描述，第一格式数据包括第一指标属性和指标数据两部分，更为具体地，第一指标属性包括但不限于：指标唯一代码、指标名称、指标类型、指标数值类型以及数值单位等；指标数据包括但不限于：指标数据最新值与最后采集时间、分钟数据值序列、小时数据值序列、日数据值序列、周数据值序列、月数据值序列。实施例中，业务维度包括但不限于物理地域、组织架构、项目信息、客户信息、参与人信息以及标签。每一个具体的指标属性，可以与多个业务维度进行关联，通过来源各异但格式统一的指标数据，结合统一的业务维度，对数据进行后续的分析、展示与应用。

S04、根据第二格式数据进行告警预测，将告警预测的结果以及第二格式数据进行可视化展示。

其中，告警预测，是选择某个或多个指标属性作为告警指标，以该指标属性的指标数值的数据记录形成告警规则，根据该告警规则以及第二格式数据进行告警预测。告警规则的生成过程可以通过关联规则的挖掘或者通过深度学习的模型训练所得到，其规则生成过程不在此进行赘述。最后通过用户交互界面，对告警信息，以及产生告警信息数据记录进行可视化展示。

在一些可行的实施例中，步骤S04中，根据第二格式数据进行告警预测这一过程，还可以细分为步骤S041-S042：

S041、确定告警标识和指标值，根据告警标识与指标值的关联关系，生成告警预测规则。

S042、根据第二格式数据以及告警预测规则得到告警预测的结果。

具体地，在该实施例中，告警预测基于统一数据层的各个指标时序数据，以及具体发生告警的指标值与时间，首先通过具体一个指标告警发生的时间，列出统一数据层中其他当时也存在告警的指标标识与指标值，与该告警指标与指标值记录关联关系，形成一组预测规则，该具体的指标为该规则组的目标指标。

在一些可行的实施例中，根据第二格式数据以及告警预测规则得到告警预测的结果这一步骤S042可以进一步细分为：步骤S0421-步骤S0422：

S0421、扫描第二格式数据，确定第二格式数据的指标标识，其中，指标标识与告警标识的字段类型相同。

S0422、将指标标识与告警预测规则进行匹配，确定所示指标标识的数据值满足告警标识的预设取值范围，触发告警信息。

具体地，根据生成的告警预测规则，对统一数据层所存储的第二格式数据进行扫描，根据该告警预测规则中，所选定的告警指标，对所有的第二格式数据的对应指标标识进行扫描，其中指标标识即为第二格式数据中与告警指标的指标属性相同的指标属性。判断该指标标志的数据值是否满足告警标识的数据值预设取值范围。若满足，则触发告警信息。可以理解的是，判断该指标是否满足预设取值范围方式，可以具体为判断是否达到预设的百分比，当当前系统存在的告警指标，覆盖当前告警规则关联的指标值到一定的预设百分比，即触发目标指标的告警预测。例如，一条告警预测规则的告警指标为A，其关联关系包括指标B、C、D、E、F，预设百分比为80％。当某一时刻，5个指标BCDEF中的任意四个发生告警，即发出目标指标A的预测告警。

综上所述，将实施例运用于生产实践过程中，通过步骤S01-S04，可以在已有的监控系统数据源和接口的基础上过数据转换，进行多个异构监控统一监控分析与告警预测。

第三方面，如图3所示，本发明实施例还提供一种基于异构数据源的监控数据的硬件系统，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如第二方面中的一种基于异构数据源的监控数据处理方法。

本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行如第二方面中的方法。

从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：

1.本发明打破常见监控产品的功能范围，形成指标更加全面的统一监控系统，并可以提供统一的、面向业务的数据分析、查看展现维度，实现常见IT监控产品系统无法实现的业务角度数据分析与展示功能。

2.本发明可以复用已经建设在用的监控系统，进行数据对接，特别是常见的标准监控产品，减少重复投资重复建设。

3.本发明可以综合下层多个监控系统的数据，实现跨监控产品系统数据的告警分析与预测，这个是单个监控产品无法实现的、更全面可靠的分析预测功能。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

其中，功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于异构数据源的监控数据处理方法，其特征在于，包括以下步骤：

获取监控目标的原始数据，将所述原始数据转换得到第一格式数据，所述第一格式数据的数据结构包括第一指标属性和指标数据；

对所述第一格式数据进行校验，所述校验的过程包括以下步骤：确定数据层的第二指标属性，所述第二指标属性与所述第一指标属性相同；确定所述指标数据的时间戳信息；

将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；

根据所述第二格式数据进行告警预测，将所述告警预测的结果以及所述第二格式数据进行可视化展示。

2.根据权利要求1所述的一种基于异构数据源的监控数据处理方法，其特征在于，所述获取监控目标的原始数据这一步骤，其包括：

确定所述监控目标的数据源，根据所述数据源确定所述原始数据的数据结构，所述数据结构至少包括以下内容之一：数据库表结构、字段类型以及字段逻辑关联；

根据所述数据结构提取得到所述原始数据。

3.根据权利要求2所述的一种基于异构数据源的监控数据处理方法，其特征在于，所述数据源包括以下二者至少之一：所述监控目标的数据库或所述监控目标的数据接口；所述获取监控目标的原始数据这一步骤，其还包括：

获取所述监控目标的运行数据，根据所述运行数据构成数据库；根据所述数据结构从所述数据库中提取得到所述原始数据；

或者，通过所述数据接口，访问所述监控目标，获取所述原始数据。

4.根据权利要求1所述的一种基于异构数据源的监控数据处理方法，其特征在于，所述根据所述第二格式数据进行告警预测这一步骤，其包括：

确定告警标识和指标值，根据所述告警标识与指标值的关联关系，生成告警预测规则；根据所述第二格式数据以及所述告警预测规则进行告警预测，得到所述告警预测的结果。

5.根据权利要求4所述的一种基于异构数据源的监控数据处理方法，其特征在于，所述根据所述第二格式数据以及所述告警预测规则进行告警预测，得到所述告警预测的结果这一步骤，其包括：

扫描所述第二格式数据，确定所述第二格式数据的指标标识，所述指标标识与所述告警标识的字段类型相同；

将所述指标标识与所述告警预测规则进行匹配，确定所示指标标识的数据值满足所述告警标识的预设取值范围，触发告警信息。

6.根据权利要求1-5任一项所述的一种基于异构数据源的监控数据处理方法，其特征在于，所述业务维度包括以下至少之一：物理地域、组织架构、项目信息、客户信息、参与人信息、标签。

7.一种基于异构数据源的监控数据处理系统，其特征在于，包括：

转换器层，用于获取监控目标的原始数据，将所述原始数据转换得到第一格式数据，所述第一格式数据的数据结构包括第一指标属性和指标数据；

转换器接入层，用于对所述第一格式数据进行校验，所述校验的过程包括以下步骤：确定数据层的第二指标属性，所述第二指标属性与所述第一指标属性相同；确定所述指标数据的时间戳信息；

统一数据层，用于将通过校验后的第一格式数据与若干业务维度进行关联，得到第二格式数据；还用于存储所述第二格式数据；

应用模块层，用于根据所述第二格式数据进行告警预测，将所述告警预测的结果以及所述第二格式数据进行可视化展示。

8.根据权利要求7所述的一种基于异构数据源的监控数据处理系统，其特征在于，所述转换器层包括若干转换器，所述转换器用于连接若干监控目标的数据源，从所述数据源获取若干数据格式的原始数据。

9.一种基于异构数据源的监控数据处理系统，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的一种基于异构数据源的监控数据处理方法。

10.一种存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-6中任一项所述的一种基于异构数据源的监控数据处理方法。

Images