CN112395350A

CN112395350A - 一种多数据源的监控数据可视化方法及装置

Info

Publication number: CN112395350A
Application number: CN202011283248.5A
Authority: CN
Inventors: 孙才婵; 曹辉健; 刘慕雨; 高楚皓
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2020-11-17
Filing date: 2020-11-17
Publication date: 2021-02-23

Abstract

本发明提供一种多数据源的监控数据可视化方法及装置，可用于金融领域或其他技术领域。所述方法包括：从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。所述装置用于执行上述方法。本发明实施例提供的多数据源的监控数据可视化方法及装置，实现了不同数据源的监控数据的可视化展示。

Description

一种多数据源的监控数据可视化方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种多数据源的监控数据可视化方法及装置。

背景技术

随着互联网的快速发展，各种应用数量急速增加，存储的数据格式愈发丰富，数据容量不断扩展，对于应用系统的监控需求也更加迫切。

一个监控系统通常包括监控数据采集、数据处理和前端展现等分功能。在传统的监控系统上，往往只支持单一的数据源，各个监控系统分别根据自身监控得到的监控数据，对于不同的数据源需要单独开发监控数据采集、数据处理和前端展现等功能模块，各个监控系统之间是相互独立的，无法实现不同数据源的监控数据的统一展示。

发明内容

针对现有技术中的问题，本发明实施例提供一种多数据源的监控数据可视化方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种多数据源的监控数据可视化方法，包括：

从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；

根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

其中，所述从不同数据源的监控数据中提取监控数据存储到元数据库中包括：

根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据；

将每个数据源的监控数据存储到元数据库中。

其中，所述根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据包括：

通过调用每个数据源的查询脚本，查询每个数据源对应的监控数据；其中，所述查询脚本是通过结构化查询语言编写的。

其中，所述根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示包括：

将所述预设的监控指标的指标数据通过折线图、饼图、热图和地图中的至少一种方式进行展示。

另一方面，本发明提供一种多数据源的监控数据可视化装置，包括：

提取单元，用于从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；

展示单元，用于根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

其中，所述提取单元包括：

查询子单元，用于根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据；

存储子单元，用于将每个数据源的监控数据存储到元数据库中。

其中，所述查询子单元具体用于：

其中，所述展示单元具体用于：

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述多数据源的监控数据可视化方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述多数据源的监控数据可视化方法的步骤。

本发明实施例提供的多数据源的监控数据可视化方法及装置，从不同数据源的监控数据中提取对应的监控数据存储到元数据库中，根据预设的监控指标从元数据库的监控数据中获取预设的监控指标的指标数据进行可视化展示，实现了不同数据源的监控数据的可视化展示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例提供的多数据源的监控数据可视化方法的流程示意图。

图2是本发明另一实施例提供的多数据源的监控数据可视化方法的流程示意图。

图3是本发明一实施例提供的多数据源的监控数据可视化装置的结构示意图。

图4是本发明另一实施例提供的多数据源的监控数据可视化装置的结构示意图。

图5是本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。由于现有技术的监控系统只支持单一的数据源，对于不同的数据源需要单独开发监控系统实现监控数据采集、数据处理和前端展现等功能，为了建立一站式的监控信息展示，支持多种不同数据源下的指标数据的可视化展示，本发明实施例提供一种多数据源的监控数据可视化方法。本发明实施例提供的多数据源的监控数据可视化方法的执行主体包括但不限于服务器。

图1是本发明一实施例提供的多数据源的监控数据可视化方法的流程示意图，如图1所示，本发明实施例提供的多数据源的监控数据可视化方法，包括：

S101、从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；

具体地，监控数据的数据源可以是多种不同类型的数据源，包括但不限于oracle、mysql等传统的关系型数据库，redis等非关系型数据库，influxDB、druid、Elasticsearch等时序型数据库，以及Neo4J等图数据库。服务器可以从每个数据源的监控数据中提取对应的监控数据，解析后存储到元数据库中，不同的数据源的监控数据会以统一数据格式存储到元数据库中，实现不同数据源的监控数据的格式统一。所述服务器可以周期性地从不同数据源的监控数据中提取对应的监控数据存储到元数据库中。

其中，所述元数据库是预设的，可以包括属性和指标。属性为监控属性文字性描述，比如机器IP，服务名称等。指标为监控数值型描述，比如内存占用率、调用成功率等，指标数据支持进行数值计算与逻辑计算。在所述元数据库中还可以包括个性化配置、过滤器等交互类数据，个性化配置为在可视化展示时基于个性化需求而产生的配置数据。包含过滤器Filter、答复Prompt等。在所述元数据库中还可以设置报警策略，所述报警策略为设置的一系列策略，当指标达到报警策略设置的范围时，触发对应的通知。所述报警策略可以包括策略名称、节点、节点、报警级别、统计周期、触发条件、执行动作、生效时间等。由于监控系统的实时性要求以及数据容量要求，元数据库中的监控数据具有存储时间限制，所述存储时间根据实际需要进行设置，例如只存储1天。

例如，可以通过配置文件配置不同数据源的接入，所述服务器通过配置文件可以访问每个数据源。所述配置文件比如可以包括如下内容：

#接入mysql数据库

mysql.jdbc-url＝jdbc:mysql://127.0.0.1:3306/database？useSSL＝false&characterEncod ing＝UTF-8

mysql.username＝XXXX

mysql.password＝XXXX

mysql.driver-class-name＝com.mysql.jdbc.Driver

#接入oracle数据库

oracle.jdbc-url＝jdbc:oracle:thin:@127.0.0.1:1521/database

oracle.username＝XXXX

datasource.oracle.password＝XXXX

oracle.driver-class-name＝oracle.jdbc.OracleDriver

#接入Elasticsearch数据库

elasticsearch.cluster-name＝XXXX

elasticsearch.cluster-nodes＝127.0.0.1:9300,127.0.0.2:9300,127.0.0.3:9300

#接入Neo4j数据库

neo4j.uri＝bolt://127.0.0.1:7687

neo4j.username＝XXXX

neo4j.password＝XXXX

S102、根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

具体地，为了对监控数据进行可视化展示，预先设置监控指标。在需要进行监控数据的前端可视化展示时，所述服务器可以根据预设的监控指标从元数据库的监控数据中，获取所述预设的监控指标的指标数据，然后通过图形、图表等可视化的方式进行展示，例如将所述预设的监控指标的指标数据发送到屏幕上通过折线图、饼图在仪表大盘上展示。其中，可视化展示的具体界面，根据实际需要进行设置，本发明实施例不做限定。所述监控指标在元数据库中与属性和指标对应，监控指标的指标数据是通过对应的指标的数值获得的。在从所述元数据库的监控数据中获取所述预设的监控指标的指标数据时，可以通过SDK、API等模式进行数据的获取与交互。

其中，所述预设的监控指标可以包括机器指标、应用程序指标、网络指标和服务器集群指标等，根据实际需要进行设置，本发明实施例不做限定。所述机器指标用于评估机器的运行状况或性能，可以包括CPU、内存、磁盘空间、进程等。所述应用程序指标用于度量与程序或者服务相关的情况，度量的是应用程序的运行状况，性能或者负载，可以包括错误率、成功率、相应耗时、资源使用等。所述网络指标用于表示外部可用性，展示的是网络的整体功能正确性，可以包括连接数、错误率、丢包率、网络延时、带宽利用率等。所述服务器集群指标适用于可横向扩展的集群架构，可显示集群的运行状态，可以包括集群池资源适用情况、缩放调整指标等。

本发明实施例提供的多数据源的监控数据可视化方法，从不同数据源的监控数据中提取对应的监控数据存储到元数据库中，根据预设的监控指标从元数据库的监控数据中获取预设的监控指标的指标数据进行可视化展示，实现了不同数据源的监控数据的可视化展示。此外，无需为不同的数据源单独开发监控系统，降低了监控系统的开发成本。

图2是本发明另一实施例提供的多数据源的监控数据可视化方法的流程示意图，如图2所示，在上述各实施例的基础上，进一步地，所述从不同数据源的监控数据中提取监控数据存储到元数据库中包括：

S1011、根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据；

具体地，为了从每个数据源获得需要的监控数据，需要设定元数据库与每个数据源的数据映射关系，所述数据映射关系可以包括元数据库中属性和指标与数据源中字段的对应关系。所述服务器可以根据每个数据源的数据映射关系，从每个数据源查询获得每个数据源对应的监控数据。其中，所述每个数据源的数据映射关系根据实际需要进行设置，本发明实施例不做限定。

例如，根据数据映射关系包括的属性和指标对应的字段，在数据源中查询字段对应的监控数据。

S1012、将每个数据源的监控数据存储到元数据库中。

具体地，所述服务器在获得每个数据源对应的监控数据之后，将每个数据源对应的监控数据解析为元数据库的数据格式并存储。

例如，所述服务器在数据源中查询到字段对应的监控数据之后，将所述监控数据转换成元数据库的格式，然后将转换后的数据与字段对应的属性和指标相对应进行存储。

在上述各实施例的基础上，进一步地，所述根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据包括：

具体地，所述服务器在对每个数据源进行数据查询时，可以调用每个数据源的查询脚本，查询每个数据源对应的监控数据。其中，所述查询脚本是预先编写的，可以通过结构化查询语言编写。通过结构化查询语言进行查询脚本的编写，无需开发人员掌握各个数据源的编程语言，只需掌握结构化查询语言即可完成查询脚本的编写，开发便捷且效率高。

例如，对于系统调用失败次数的监控数据存在于MySql数据库中，编写mysql查询脚本为Select timestamp,provider,consumer,fail_reason,fail_times frommysql.DB_Monitor。而具体的失败调用链信息一般由于数据结构比较复杂存储于Elasticsearch数据库中，同样可以编写ES的查询脚本。其中，timestamp，provider，consumer，fail_reason为属性，fail_times为指标。

在上述各实施例的基础上，进一步地，所述根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示包括：

具体地，所述服务器在对所述预设的监控指标的指标数据进行可视化展示的时候，可以通过折线图、饼图、热图和地图中的至少一种方式进行展示。指标数据的具体展示方式，根据实际需要进行设置，本发明实施例不做限定。

本发明实施例提供的多数据源的监控数据可视化方法，还可以处理监控数据的报警内容，在元数据库中进行监控策略和监控指标的配置，当监控指标达到报警条件时，触发对应的报警，将报警信息通过系统消息、邮件、手机短信等方式发送给相关人员。

本发明实施例提供的多数据源的监控数据可视化方法，通过获取多数据源的数据并解析解析，将不同数据源的数据格式解析为统一的监控数据格式，存储到元数据库中，提供统一的指标数据进行统一的监控可视化展示。具有如下优点：

(1)支持多数据源。通过简单的配置即可接入多种不同的数据源，不需要针对每个单独的数据库配置连接池、编写数据库连接代码等，并且能够支持进行多数据学的数据交互展示，尤其适合满足复杂监控系统的需求，减少常规监控系统数据二次采集加工整理的步骤。

(2)准入门槛低。常规的监控系统建设需要开发人员具备专业的前端、后端开发知识，经过大量的编码及调试才能最终完成系统的开发上线。而采用本发明实施例所述的多数据源的监控数据可视化方法，只需了解基本的数据查询语言即可完成全链路的监控系统开发，开发便捷且效率高。

(3)可定制性强。主要分为可视化可定制和数据可定制，前端展示页面可以提供多种展示仪表，可以根据需求自由跟数据进行结合展示；后端数据通过结构化查询语言即可完成不同的数据采集，能够满足监控当中不同功能的快速定制。

图3是本发明一实施例提供的多数据源的监控数据可视化装置的结构示意图，如图3所示，本发明实施例提供的多数据源的监控数据可视化装置，包括：

提取单元301用于从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；展示单元302用于根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

具体地，监控数据的数据源可以是多种不同类型的数据源，包括但不限于oracle、mysql等传统的关系型数据库，redis等非关系型数据库，influxDB、druid、es等时序型数据库，以及Neo4J等图数据库。提取单元301可以从每个数据源的监控数据中提取对应的监控数据，解析后存储到元数据库中，不同的数据源的监控数据会以统一数据格式存储到元数据库中，实现不同数据源的监控数据的格式统一。提取单元301可以周期性地从不同数据源的监控数据中提取对应的监控数据存储到元数据库中。

为了对监控数据进行可视化展示，预先设置监控指标。在需要进行监控数据的前端可视化展示时，展示单元302可以根据预设的监控指标从元数据库的监控数据中，获取所述预设的监控指标的指标数据，然后通过图形、图表等可视化的方式进行展示，例如将所述预设的监控指标的指标数据发送到屏幕上通过折线图、饼图在仪表大盘上展示。其中，可视化展示的具体界面，根据实际需要进行设置，本发明实施例不做限定。所述监控指标在元数据库中与属性和指标对应，监控指标的指标数据是通过对应的指标的数值获得的。在从所述元数据库的监控数据中获取所述预设的监控指标的指标数据时，可以通过SDK、API等模式进行数据的获取与交互。

本发明实施例提供的多数据源的监控数据可视化装置，从不同数据源的监控数据中提取对应的监控数据存储到元数据库中，根据预设的监控指标从元数据库的监控数据中获取预设的监控指标的指标数据进行可视化展示，实现了不同数据源的监控数据的可视化展示。此外，无需为不同的数据源单独开发监控系统，降低了监控系统的开发成本。

图4是本发明另一实施例提供的多数据源的监控数据可视化装置的结构示意图，如图4所示，在上述各实施例的基础上，进一步地，提取单元301包括查询子单元3011和存储子单元3012，其中：

查询子单元3011用于根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据；存储子单元3012用于将每个数据源的监控数据存储到元数据库中。

具体地，为了从每个数据源获得需要的监控数据，需要设定元数据库与每个数据源的数据映射关系，所述数据映射关系可以包括元数据库中属性和指标与数据源中字段的对应关系。查询子单元3011可以根据每个数据源的数据映射关系，从每个数据源查询获得每个数据源对应的监控数据。其中，所述每个数据源的数据映射关系根据实际需要进行设置，本发明实施例不做限定。

在获得每个数据源对应的监控数据之后，存储子单元3012将每个数据源对应的监控数据解析为元数据库的数据格式并存储。

在上述各实施例的基础上，进一步地，查询子单元3011具体用于：

具体地，在对每个数据源进行数据查询时，查询子单元3011可以调用每个数据源的查询脚本，查询每个数据源对应的监控数据。其中，所述查询脚本是预先编写的，可以通过结构化查询语言编写。通过结构化查询语言进行查询脚本的编写，无需开发人员掌握各个数据源的编程语言，只需掌握结构化查询语言即可完成查询脚本的编写，开发便捷且效率高。

在上述各实施例的基础上，进一步地，展示单元302具体用于：

具体地，展示单元302在对所述预设的监控指标的指标数据进行可视化展示的时候，可以通过折线图、饼图、热图和地图中的至少一种方式进行展示。指标数据的具体展示方式，根据实际需要进行设置，本发明实施例不做限定。

本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

需要说明的是，本发明实施例提供的多数据源的监控数据可视化方法可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对多数据源的监控数据可视化方法的应用领域不做限定。

图5是本发明一实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：从不同数据源的监控数据中提取对应的监控数据存储到元数据库中；根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多数据源的监控数据可视化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从不同数据源的监控数据中提取监控数据存储到元数据库中包括：

将每个数据源的监控数据存储到元数据库中。

3.根据权利要求2所述的方法，其特征在于，所述根据每个数据源的数据映射关系从每个数据源查询获得每个数据源对应的监控数据包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据预设的监控指标从所述元数据库的监控数据中获取所述预设的监控指标的指标数据进行可视化展示包括：

5.一种多数据源的监控数据可视化装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述提取单元包括：

7.根据权利要求6所述的装置，其特征在于，所述查询子单元具体用于：

8.根据权利要求5至7任一项所述的装置，其特征在于，所述展示单元具体用于：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。