CN112286774A - 运维监控数据展示方法、装置、存储介质及计算设备 - Google Patents
运维监控数据展示方法、装置、存储介质及计算设备 Download PDFInfo
- Publication number
- CN112286774A CN112286774A CN202011183187.5A CN202011183187A CN112286774A CN 112286774 A CN112286774 A CN 112286774A CN 202011183187 A CN202011183187 A CN 202011183187A CN 112286774 A CN112286774 A CN 112286774A
- Authority
- CN
- China
- Prior art keywords
- data
- display
- target data
- source
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241000283084 Balaenoptera musculus Species 0.000 description 2
- 241000283153 Cetacea Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种运维监控数据展示方法、装置、存储介质及计算设备，该方法包括从不同类型数据源中调用与业务需求相关的源数据，将源数据进行存储；将存储的源数据基于预设展示条件转换为目标数据，获取目标数据对应的基线数据；对比目标数据和基线数据的大小得到对比结果，将目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。本发明实施例在实现运维监控数据展示过程中不受数据源类型的影响，能够适应不同业务需求，可以将运维人员关注的业务数据在统一平台上进行多样化展示，运维人员无需到多个平台查询监控数据，不仅可以节约查询时间和运维人力，而且还可以丰富可视化展现方式。
Description
技术领域
本发明涉及数据监控技术领域，特别是一种运维监控数据展示方法、装置、存储介质及计算设备。
背景技术
目前，对于业务种类的增加、服务器数量的增长、网络环境的越发复杂以及业务发布更加频繁的情况，不可避免地带来了线上事故的增多，因此需要对服务器到应用的全方位监控，以进行提前预警。
现有技术中，监控系统zabbix基本满足底层的监控预警要求，监控指标超过设定的阀值就会提前通知相关人员去解决。虽然zabbix监控性能毋庸置疑，但是，其监控图形显示过于简单、不美观，且运维方面较弱。而另一种可视化工具Grafana的图表和布局展示虽然美观，且度量仪表盘和图形编辑器的功能齐全，但是能支持的数据源类型比较有限。
嘉维蓝鲸可视化SaaS(软件即服务)是基于蓝鲸平台开发的一款可视化工具，可以帮助运维工程师从运维数据、资产数据、监控拓扑、业务告警等多个维度，快速构建动态的可视化大屏，一目了然展示运维价值。但是，嘉维蓝鲸可视化SaaS开源的仅仅是软件即服务运用，采用应用程序接口API可调用的数据很少。
现有的查看日志的实时日志分析平台ELK的日志量达到一个较大级别后容易出现性能问题，且集中展示性能还不如可视化工具Grafana优秀。
微服务容器相关的监控用Prometheus生态工具，查看容器应用的CPU、内存、JVM等相关指标。服务的链路监控APM，对分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统，查看微服务间调用链路状态。但是，现有整套监控系统的各自平台监控内容分散，而无法统一实时查看，造成监控人员的精力分散。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种运维监控数据展示方法、装置、存储介质及计算设备，能够将运维人员关注的业务数据在统一平台上进行多样化展示，运维人员无需到多个平台查询监控数据，不仅可以节约查询时间和运维人力，而且还可以丰富可视化展现方式。
根据本发明实施例的一方面，提供了一种运维监控数据展示方法，包括：
从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储；
将存储的源数据基于预设展示条件转换为目标数据，获取所述目标数据对应的基线数据；
对比所述目标数据和所述基线数据的大小得到对比结果，将所述目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
可选地，从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储，包括：
定时从不同类型数据源中调用与业务需求相关的离线源数据，将所述离线源数据存储至数据仓库，并将所述数据仓库中的离线源数据存储至时序数据库；
实时从不同类型数据源中调用与业务需求相关的实时源数据，将所述实时源数据发布至分布式消息系统。
可选地，所述不同类型数据源包括第三方业务平台、业务系统、业务数据库中的至少两项；和/或
所述预设展示条件包括展示形式、展示时间粒度、展示期限、展示顺序中的至少一项展示条件。
可选地，将存储的源数据基于预设展示条件转换为目标数据，包括：
将存储的源数据进行数据预处理；
分析处理后数据的数据类型，将处理后的数据转换为符合所述数据类型展示需求的目标数据。
可选地，将存储的源数据基于预设展示条件转换为目标数据之前包括：建立所述源数据的索引信息，将所述源数据的索引信息存储至管理数据库；
将存储的源数据基于预设展示条件转换为目标数据，包括：从所述管理数据库中查找源数据的索引信息，依据查找到的索引信息索引源数据，将索引到的源数据基于预设展示条件转换为目标数据。
可选地，将存储的源数据基于预设展示条件转换为目标数据之后，还包括：
将所述目标数据存储至预置数据库；
若后续从数据源中未成功调用到与业务需求相关的源数据，从所述预置数据库中获取与业务需求相关的目标数据。
可选地，对比所述目标数据和所述基线数据的大小得到对比结果之后，还包括：
依据所述对比结果分析所述目标数据是否出现异常；
若分析得知所述目标数据出现异常，发出针对所述目标数据的告警通知消息，和/或将异常的目标数据单独存储，若接收到所述前端页面调用异常目标数据的请求，将所述异常的目标数据传输至所述前端页面并展示于所述前端页面。
根据本发明实施例的另一方面，还提供了一种运维监控数据展示装置，包括：
调用模块，适于从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储；
转换模块，适于将存储的源数据基于预设展示条件转换为目标数据，获取所述目标数据对应的基线数据；
对比模块，适于对比所述目标数据和所述基线数据的大小得到对比结果，将所述目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
根据本发明实施例的再一方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例中的运维监控数据展示方法。
根据本发明实施例的又一方面，还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上文任意实施例中的运维监控数据展示方法。
本发明实施例在从不同类型数据源中调用与业务需求相关的源数据后，将源数据进行存储。然后将存储的源数据基于预设展示条件转换为目标数据，通过获取目标数据对应的基线数据，并对比目标数据和基线数据的大小得到对比结果，从而可以将目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。由此，本发明实施例在实现运维监控数据展示过程中不受数据源类型的影响，可以从不同类型数据源中调用源数据，能够适应不同业务需求，可以将运维人员关注的业务数据在统一平台上进行多样化展示，运维人员无需到多个平台查询监控数据，不仅可以节约查询时间和运维人力，而且还可以丰富可视化展现方式。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明一实施例的运维监控数据展示方法的流程示意图；
图2示出了根据本发明一实施例的源数据基于预设展示条件转换为目标数据的过程示意图；
图3示出了根据本发明一实施例的运维监控数据展示框架示意图；
图4示出了根据本发明一实施例的运维监控数据展示装置的结构示意图；
图5示出了根据本发明另一实施例的运维监控数据展示装置的结构示意图；
图6示出了根据本发明另一实施例的运维监控数据展示装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为解决上述技术问题，本发明实施例提供了一种运维监控数据展示方法，图1示出了根据本发明一实施例的运维监控数据展示方法的流程示意图，参见图1，该方法包括步骤S102至步骤S106。
步骤S102，从不同类型数据源中调用与业务需求相关的源数据，将源数据进行存储。
步骤S104，将存储的源数据基于预设展示条件转换为目标数据，获取目标数据对应的基线数据。
该实施例中的基线数据是预先为对应的目标数据设定的阈值。
步骤S106，对比目标数据和基线数据的大小得到对比结果，将目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
本发明实施例可以采用Python(跨平台的计算机程序设计语言)的django(一种Web应用框架)框架搭建数据中台系统，利用数据中台系统连接存储源数据的存储系统或数据库，将从数据源中调用的与业务需求相关的源数据存储至连接的存储系统或数据库。进而将存储的源数据转换为目标数据后与基线数据进行对比，以将目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。本发明实施例在实现运维监控数据展示过程中不受数据源类型的影响，可以从不同类型数据源中调用源数据，能够适应不同业务需求，可以将运维人员关注的业务数据在统一展示平台上进行多样化展示，运维人员无需到多个平台查询监控数据，不仅可以节约查询时间和运维人力，而且还可以丰富可视化展现方式。
参见上文步骤S102，在本发明一实施例中，从不同类型数据源中调用与业务需求相关的源数据时，可以实时或定时的从不同类型数据源中调用与业务需求相关的源数据。
定时从不同类型数据源中调用源数据时通常调用的是离线数据。若定时从不同类型数据源中调用与业务需求相关的离线源数据，可以利用数据仓库Hive作为离线源数据接入的存储，将定时调用的源数据存储至数据仓库Hive，然后将数据仓库中的离线源数据存储至时序数据库influxdb。实时从不同类型数据源中调用源数据时通常调用的是实时数据。若实时从不同类型数据源中调用与业务需求相关的实时源数据，则可以将实时源数据实时发布至分布式消息系统(kafka系统)。
具体定时调用和定时调用的需求可以通过接收前端页面发送的展示数据请求得到，若前端页面发送实时展示数据请求，则实时从不同类型数据源中调用源数据，若前端页面发送定时展示数据请求，则定时从不同类型数据源中调用源数据，这里定时的时间间隔可以预先设置，本发明实施例对此不作具体限定。
本发明实施例的不同类型数据源可以包括第三方业务平台、业务系统、业务数据库(如ES(ElasticSearch)分布式文档数据库、Clickhouse数据库)等中的至少两项。
若数据源包含第三方业务平台，可通过第三方业务平台提供的调用接口调用第三方业务平台中与业务需求相关的源数据。在该实施例中，在调用第三方业务平台提供的调用接口之前，还需要先获取到使用调用接口的权限。若获取到使用调用接口的权限，则可以通过接口调用第三方业务平台中与业务需求的相关目标数据。
若数据源包含业务系统，还可以预先在业务系统中进行数据埋点，然后从业务系统中调用与业务需求相关的埋点数据。
若数据源包含业务数据库，则可以直接从业务数据库中调用与业务需求相关的数据。
存储源数据的存储系统、数据库可以包含有多个，为了方便后续对存储的源数据进行查找和管理，还可以设置管理数据库(如采用对象-关系型数据库管理系统postgresql)，通过建立源数据的索引信息，并将源数据的索引信息存储至管理数据库，从而可以方便地索引到源数据。在执行步骤S104时，可以先从管理数据库中查找源数据的索引信息，然后依据查找到的索引信息索引源数据，进而将索引到的源数据基于预设展示条件转换为目标数据。当然，管理数据库中还可以包含源数据的其他信息，如源数据的来源信息、数据类型等，本发明实施对此不作具体限定。
在一可选实施例中，本发明实施例的管理数据库还可以存储前端页面的配置信息。前端页面的配置信息可以包括前端页面展示数据的配置信息、前端页面展示需求信息等，这里的展示需求信息可以包含展示形式、展示时间粒度、展示期限、展示顺序等。其中展示形式包括多时段的折线图、单一时间点的饼图、单点时间的表格、多点时间的趋势图、地图展示等展示形式。展示时间粒度为以多长时间为单位展示数据。展示期限为展示多长时间期限内的数据。展示顺序为展示数据的顺序。本发明实施例能够对前端页面展示的内容进行灵活的配置，以使展示出的监控数据更加多样化，更能满足运维人员广泛的需求。
参见图2，在本发明一实施例中，在执行步骤S104将存储的源数据基于预设展示条件转换为目标数据的过程具体可以包括步骤S1041和步骤S1042。
步骤S1041，将存储的源数据进行数据预处理。
步骤S1042，分析处理后数据的数据类型，将处理后的数据转换为符合数据类型展示需求的目标数据。
参见步骤S1041，在本发明一实施例中，对源数据进行数据预处理可以包括对源数据进行整合、清洗、数据格式转换等预处理过程。对于存储于存储系统或数据库中的源数据可能来自于不同数据源且可能存在重复数据，那么可以先对源数据进行清洗处理，然后对清洗处理后的不同数据源中的相同数据类型的源数据进行整合。在该实施例中，数据类型包含资源、网络、CPU、业务指标等类型，其中业务指标包括账户登录量、页面访问量等等。例如，源数据的来源包括第三方业务平台和业务系统，那么可以将来源于第三方业务平台和业务系统中相同数据类型的数据整合归类，方便后续对相同数据类型的数据进行转换处理。
此外，存储于存储系统或数据库中的同一数据类型的源数据的数据格式也可能不同，因此还可以将相同数据类型的源数据转换为统一的数据格式，以方便后续对同一数据类型源数据进行处理。例如，源数据的数据类型包括内存使用量，有些源数据采用百分比表示内存使用量，有些源数据采用具体数值表示内存使用量，因此可以将百分比表示的内存使用量统一转换为数值，或者将数值表示的内存使用量统一转换为百分比。
本发明实施例可以通过预先配置的执行脚本从存储源数据的存储系统或数据库中获取源数据。然后，将获取到的源数据进行数据预处理。获取的源数据类型可以是多个，若获取多类源数据，则后续需要获取多类源数据分别对应的基线数据。
参见上文步骤S1042，本发明实施例会预先为各数据类型配置对应的展示需求。例如，对于数据类型为用户访问量的数据配置的展示需求为以多点时间的趋势图形式展示，且展示时间粒度为2小时。将用户访问量转换为符合其展示需求的目标数据时，可以先计算每2小时的用户访问量的平均值，然后将计算平均值后的用户访问量的数据转换为符合前端页面渲染趋势图的数据格式，如将用户访问量数据转换为数据列表的格式。当然，还可以包含其他展示需求，本发明实施例对此不作具体限定。
在该实施例中，可以采用数据分析工具pandas将处理后的数据转换为符合数据类型展示需求的目标数据，当然，也可以采用其他工具转换得到目标数据，此处不作具体限定。本发明实施例中转换后的目标数据通常可以是restful api格式的数据。
为了更加清楚地体现本发明实施例，参见图3，现以一具体实施对本方案运维监控数据展示过程进行介绍。
该实施例中，从不同类型数据源中调用的业务需求相关的离线源数据存储至时序数据库influxdb，实时源数据发布至kafka系统。管理数据库postgresql中存储有源数据的索引信息和前端页面的配置信息。前端页面的配置信息用于配置前端页面，索引信息用于对源数据进行索引。数据中台系统通过数据服务接口API(Application ProgrammingInterface)接收前端展示数据请求后从管理数据库postgresql中请求索引源数据，管理数据库postgresql依据源数据的索引信息从时序数据库influxdb或kafka系统中索引到相应的源数据并提供至数据中台系统，数据中台系统对源数据进行综合处理。这里综合处理的过程可以包括将源数据基于预设展示条件转换为目标数据，将目标数据与基线数据的大小进行对比得到对比结果。进而将综合处理后的数据通过数据服务接口API传送至统一展示平台的前端页面，以在前端页面进行统一的数据展示，综合处理后的数据包括目标数据、基线数据以及目标数据和基线数据的对比结果。
该实施例中，在将目标数据、基线数据和比对结果传送给统一展示平台的前端页面的过程中，可以基于HTTP协议或WebSocket2协议进行目标数据、基线数据和比对结果的传送，当然，也可以是其他传输协议，本发明实施例对传输协议的类型不作具体限定。
继续参见图3，本发明实施例还可以将目标数据存储至预置数据库(如redis数据库)，即将成功调用的源数据对应的目标数据存储至redis数据库。若后续从数据源中未成功调用到与业务需求相关的源数据，则直接从redis数据库中获取与业务需求相关的目标数据。本发明实施例的预置数据库可以有效地起到兜底的作用，当后续无法从数据源中成功调用与业务需求相关的源数据时，可以直接从预置数据库中调用之前已经存储的与业务需求相关的目标数据，从而有效地避免了前端页面无监控数据展示的问题。
在本发明一实施例中，在执行步骤S106时，可以将目标数据、基线数据和比对结果传送到统一展示平台连接的至少两个监控屏幕中的前端页面，以在至少两个监控屏幕上进行实时分屏展示目标数据、基线数据和比对结果。例如，将包含目标数据、基线数据和比对结果的前端页面实时分屏展示在笔记本屏幕和投屏式的大屏幕中，从而可以在不同的屏幕上同时看到监控数据，方便对监控数据的查看。
本发明实施例中，前端页面对应的前端系统可以采用VUE(用于构建用户界面的渐进式框架)框架搭建，并且前端系统可以采用MVVM(Model-View-ViewModel)架构模式。前端页面实时展示目标数据、基线数据和比对结果时，可以采用数据可视化图表库echarts、antv等工具进行展示，如实现图表、地图、树状关系图等多形式的展现及联动。
在本发明一实施例中，执行步骤S106后还可以依据对比结果分析目标数据是否出现异常。例如，将目标数据和基线数据的大小进行对比时，若目标数据超出对应的基线数据，则分析得到目标数据存在异常。
在一可选实施例中，若依据比对结果分析目标数据存在异常，在前端页面展示目标数据、基线数据和比对结果时，还可以在前端页面展示的目标数据上添加目标数据异常的标识，以使前端页面更加清楚的展示出数据的异常情况。
在另一可选实施例中，若分析得知目标数据出现异常，还可以向运维人员发出针对目标数据的告警通知消息。例如，目标数据为服务器的CPU利用率，某一时刻获取到的CPU利用率为90％，获取的CPU利用率的基线数据为85％，通过比较得知CPU利用率超过了基线数据，则认为目标数据存在异常，此时向运维人员发出针对CPU利用率的告警通知消息。
当然，对于多个目标数据，且通过将各目标数据和对应的基线数据分别进行比对后，若依据多个对比结果分析多个目标数据均出现异常，还可以根据目标数据的优先级别发出告警通知消息。通常是针对目标数据优先级别高的优先发出告警通知消息，这里目标数据的优先级别可以预先进行设置。当然，也可以针对多个异常的目标数据同时发出告警通知消息。
在该实施例中，发出告警通知消息的方式可以采用发送邮件、拨打电话、发送即时消息等方式向运维人员的终端发送告警通知消息，以使运维人员及时了解到出现异常的数据，并及时处理异常。
本发明实施例可以根据目标数据优先级别选择告警通知的方式，例如，优先级别高的目标数据采用拨打电话方式进行告警通知，优先级别较低的目标数据采用发送邮件的方式进行告警通知，从而保证先级别高的目标数据能够有效地通知到运维人员，避免运维人员无法及时获取到告警通知消息。
本发明实施例还可以根据目标数据类型设置告警通知方式，例如，对于业务数据设置的告警通知方式为发送即时消息，对于网络流量、CPU使用率的数据设置的告警通知方式为发送邮件，从而可以使运维人员根据不同的告警通知方式快速地了解到是哪种类型的数据出现异常。
在另一可选实施例中，若分析得知目标数据出现异常，还可以将异常的目标数据单独进行存储。若在后续接收到前端页面调用异常目标数据的请求，则将异常的目标数据传输至前端页面并展示于前端页面。
该实施例中，可以将异常的目标数据单独存储至数据库(如时序数据库)中的一个存储区域中，并向前端页面提供数据库的异常数据查询接口，当接收前端页面调用异常数据查询接口的请求后，将数据库中异常的目标数据传输至统一展示平台的前端页面并进行统一展示。通常，前端页面通常会在页面初始刷新时调用异常的目标数据，并在页面初始刷新后展示异常的目标数据。
通过对前端页面进行参数配置，还可以使前端页面将异常信息进行汇总后再展示，将异常目标数据汇总后展示于前端页面可以方便运维人员集中了解到监控信息出现的异常情况。前端页面展示异常目标数据的方式可以是滚屏方式展示，异常目标数据的展示位置可以是前端页面的任意位置，如前端页面的顶端、下端、左侧、右侧等位置。
基于同一发明构思，本发明实施例还提供了一种运维监控数据展示装置，图4示出了根据本发明一实施例的运维监控数据展示装置的结构示意图，参见图4，运维监控数据展示装置包括调用模块410、转换模块420和对比模块430。
调用模块410，适于从不同类型数据源中调用与业务需求相关的源数据，将源数据进行存储。
转换模块420，适于将存储的源数据基于预设展示条件转换为目标数据，获取目标数据对应的基线数据。
对比模块430，适于对比目标数据和基线数据的大小得到对比结果，将目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
在本发明一可选实施例中，调用模块410还适于，定时从不同类型数据源中调用与业务需求相关的离线源数据，将离线源数据存储至数据仓库，并将数据仓库中的离线源数据存储至时序数据库；实时从不同类型数据源中调用与业务需求相关的实时源数据，将实时源数据发布至分布式消息系统。
在本发明一可选实施例中，不同类型数据源包括第三方业务平台、业务系统、业务数据库中的至少两项。预设展示条件包括展示形式、展示时间粒度、展示期限、展示顺序中的至少一项展示条件。
在本发明一可选实施例中，转换模块420还适于将存储的源数据进行数据预处理；分析处理后数据的数据类型，将处理后的数据转换为符合数据类型展示需求的目标数据。
在本发明一可选实施例中，参见图5，上文图4所示的运维监控数据展示装置还包括第一存储模块440、第二存储模块450、获取模块460。
第一存储模块440，适于建立源数据的索引信息，将源数据的索引信息存储至管理数据库。
转换模块420，还适于从管理数据库中查找源数据的索引信息，依据查找到的索引信息索引源数据，将索引到的源数据基于预设展示条件转换为目标数据。
第二存储模块450，适于将目标数据存储至预置数据库。
获取模块460，若后续从数据源中未成功调用到与业务需求相关的源数据，从预置数据库中获取与业务需求相关的目标数据。
参见图6，上文图4所示的运维监控数据展示装置还包括分析模块470、通知模块480、传输模块490。
分析模块470，适于依据对比结果分析目标数据是否出现异常；
通知模块480，适于若分析得知目标数据出现异常，发出针对目标数据的告警通知消息。
传输模块490，适于将异常的目标数据单独存储，若接收到前端页面调用异常目标数据的请求，将异常的目标数据传输至前端页面并展示于前端页面。
该实施例中，运维监控数据展示装置也可以不同时包含通知模块480和传输模块490，仅包含其中一个模块，本发明实施例对此不作具体限定。
基于同一发明构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例中的运维监控数据展示方法。
基于同一发明构思，本发明实施例还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上文任意实施例中的运维监控数据展示方法。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
Claims (10)
1.一种运维监控数据展示方法，其特征在于，包括：
从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储；
将存储的源数据基于预设展示条件转换为目标数据，获取所述目标数据对应的基线数据；
对比所述目标数据和所述基线数据的大小得到对比结果，将所述目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
2.根据权利要求1所述的方法，其特征在于，从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储，包括：
定时从不同类型数据源中调用与业务需求相关的离线源数据，将所述离线源数据存储至数据仓库，并将所述数据仓库中的离线源数据存储至时序数据库；
实时从不同类型数据源中调用与业务需求相关的实时源数据，将所述实时源数据发布至分布式消息系统。
3.根据权利要求1或2所述的方法，其特征在于，
所述不同类型数据源包括第三方业务平台、业务系统、业务数据库中的至少两项；和/或
所述预设展示条件包括展示形式、展示时间粒度、展示期限、展示顺序中的至少一项展示条件。
4.根据权利要求1或2所述的方法，其特征在于，将存储的源数据基于预设展示条件转换为目标数据，包括：
将存储的源数据进行数据预处理；
分析处理后数据的数据类型，将处理后的数据转换为符合所述数据类型展示需求的目标数据。
5.根据权利要求1或2所述的方法，其特征在于，
将存储的源数据基于预设展示条件转换为目标数据之前包括：建立所述源数据的索引信息，将所述源数据的索引信息存储至管理数据库；
将存储的源数据基于预设展示条件转换为目标数据，包括：从所述管理数据库中查找源数据的索引信息，依据查找到的索引信息索引源数据，将索引到的源数据基于预设展示条件转换为目标数据。
6.根据权利要求5所述的方法，其特征在于，将存储的源数据基于预设展示条件转换为目标数据之后，还包括：
将所述目标数据存储至预置数据库；
若后续从数据源中未成功调用到与业务需求相关的源数据，从所述预置数据库中获取与业务需求相关的目标数据。
7.根据权利要求1或2所述的方法，其特征在于，对比所述目标数据和所述基线数据的大小得到对比结果之后，还包括：
依据所述对比结果分析所述目标数据是否出现异常；
若分析得知所述目标数据出现异常，发出针对所述目标数据的告警通知消息，和/或将异常的目标数据单独存储，若接收到所述前端页面调用异常目标数据的请求，将所述异常的目标数据传输至所述前端页面并展示于所述前端页面。
8.一种运维监控数据展示装置，其特征在于，包括：
调用模块，适于从不同类型数据源中调用与业务需求相关的源数据，将所述源数据进行存储；
转换模块，适于将存储的源数据基于预设展示条件转换为目标数据，获取所述目标数据对应的基线数据；
对比模块，适于对比所述目标数据和所述基线数据的大小得到对比结果，将所述目标数据、基线数据和对比结果传送至统一展示平台的前端页面进行统一展示。
9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-7中任一项所述的运维监控数据展示方法。
10.一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行权利要求1-7中任一项所述的运维监控数据展示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183187.5A CN112286774A (zh) | 2020-10-29 | 2020-10-29 | 运维监控数据展示方法、装置、存储介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183187.5A CN112286774A (zh) | 2020-10-29 | 2020-10-29 | 运维监控数据展示方法、装置、存储介质及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112286774A true CN112286774A (zh) | 2021-01-29 |
Family
ID=74352540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011183187.5A Pending CN112286774A (zh) | 2020-10-29 | 2020-10-29 | 运维监控数据展示方法、装置、存储介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112286774A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799773A (zh) * | 2021-02-23 | 2021-05-14 | 京东方科技集团股份有限公司 | 一种数据可视化方法、终端设备、系统和存储介质 |
| CN113064794A (zh) * | 2021-04-01 | 2021-07-02 | 银清科技有限公司 | 一种数据监测方法、装置及设备 |
| CN113138897A (zh) * | 2021-04-25 | 2021-07-20 | 北京字节跳动网络技术有限公司 | 信息显示方法、装置、设备及存储介质 |
| CN113157741A (zh) * | 2021-04-26 | 2021-07-23 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113328878A (zh) * | 2021-05-13 | 2021-08-31 | 上海励能信息技术有限公司 | 一种智能运维监控系统 |
| CN113672474A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 云数据库的监控数据处理方法、装置、设备、介质及程序产品 |
| CN117170678A (zh) * | 2023-09-01 | 2023-12-05 | 港华数智能源科技(深圳)有限公司 | 一种实时能源数据展示方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143017A (zh) * | 2010-11-25 | 2011-08-03 | 中国移动（深圳）有限公司 | 业务实时监测方法和系统 |
| CN102937930A (zh) * | 2012-09-29 | 2013-02-20 | 重庆新媒农信科技有限公司 | 应用程序监控系统及方法 |
| CN104617671A (zh) * | 2015-02-06 | 2015-05-13 | 广州供电局有限公司 | 一种基于多维度监视电力自动化系统运行状态的方法 |
| CN106357474A (zh) * | 2016-08-30 | 2017-01-25 | 成都科来软件有限公司 | 一种基于链路的数据流量基线获取方法及装置 |
| CN106909487A (zh) * | 2017-01-18 | 2017-06-30 | 北京盛世全景科技股份有限公司 | 应用于信息系统的预警方法及装置 |
| CN107003928A (zh) * | 2014-11-26 | 2017-08-01 | 微软技术许可有限责任公司 | 性能异常诊断 |
| CN110210705A (zh) * | 2019-04-29 | 2019-09-06 | 德邦物流股份有限公司 | 一种数据分析方法及系统 |
| CN111352921A (zh) * | 2020-02-19 | 2020-06-30 | 中国平安人寿保险股份有限公司 | 基于elk的慢查询监控方法、装置、计算机设备及存储介质 |
-
2020
- 2020-10-29 CN CN202011183187.5A patent/CN112286774A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143017A (zh) * | 2010-11-25 | 2011-08-03 | 中国移动（深圳）有限公司 | 业务实时监测方法和系统 |
| CN102937930A (zh) * | 2012-09-29 | 2013-02-20 | 重庆新媒农信科技有限公司 | 应用程序监控系统及方法 |
| CN107003928A (zh) * | 2014-11-26 | 2017-08-01 | 微软技术许可有限责任公司 | 性能异常诊断 |
| CN104617671A (zh) * | 2015-02-06 | 2015-05-13 | 广州供电局有限公司 | 一种基于多维度监视电力自动化系统运行状态的方法 |
| CN106357474A (zh) * | 2016-08-30 | 2017-01-25 | 成都科来软件有限公司 | 一种基于链路的数据流量基线获取方法及装置 |
| CN106909487A (zh) * | 2017-01-18 | 2017-06-30 | 北京盛世全景科技股份有限公司 | 应用于信息系统的预警方法及装置 |
| CN110210705A (zh) * | 2019-04-29 | 2019-09-06 | 德邦物流股份有限公司 | 一种数据分析方法及系统 |
| CN111352921A (zh) * | 2020-02-19 | 2020-06-30 | 中国平安人寿保险股份有限公司 | 基于elk的慢查询监控方法、装置、计算机设备及存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799773A (zh) * | 2021-02-23 | 2021-05-14 | 京东方科技集团股份有限公司 | 一种数据可视化方法、终端设备、系统和存储介质 |
| CN113064794A (zh) * | 2021-04-01 | 2021-07-02 | 银清科技有限公司 | 一种数据监测方法、装置及设备 |
| CN113064794B (zh) * | 2021-04-01 | 2024-05-03 | 银清科技有限公司 | 一种数据监测方法、装置及设备 |
| CN113138897A (zh) * | 2021-04-25 | 2021-07-20 | 北京字节跳动网络技术有限公司 | 信息显示方法、装置、设备及存储介质 |
| CN113157741A (zh) * | 2021-04-26 | 2021-07-23 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113157741B (zh) * | 2021-04-26 | 2023-04-07 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113328878A (zh) * | 2021-05-13 | 2021-08-31 | 上海励能信息技术有限公司 | 一种智能运维监控系统 |
| CN113672474A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 云数据库的监控数据处理方法、装置、设备、介质及程序产品 |
| CN117170678A (zh) * | 2023-09-01 | 2023-12-05 | 港华数智能源科技(深圳)有限公司 | 一种实时能源数据展示方法和装置 |
| CN117170678B (zh) * | 2023-09-01 | 2024-08-30 | 港华数智能源科技(深圳)有限公司 | 一种实时能源数据展示方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112286774A (zh) | 运维监控数据展示方法、装置、存储介质及计算设备 | |
| US11789943B1 (en) | Configuring alerts for tags associated with high-latency and error spans for instrumented software | |
| US11775501B2 (en) | Trace and span sampling and analysis for instrumented software | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| CN110661660B (zh) | 告警信息根源分析方法及装置 | |
| CN109684280A (zh) | 日志文件处理方法、装置及系统 | |
| CN108566317A (zh) | 业务监控方法、云服务器、存储介质及装置 | |
| US11853330B1 (en) | Data structure navigator | |
| EP3306471A1 (en) | Automatic server cluster discovery | |
| CN113342889A (zh) | 分布式数据库的管理方法、装置、设备和介质 | |
| CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
| CN114168672B (zh) | 日志数据的处理方法、装置、系统以及介质 | |
| CN110233747B (zh) | 一种数据上报方法及云平台 | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| CN110611576B (zh) | 一种数据质量监测方法、装置、设备及存储介质 | |
| CN112799903B (zh) | 一种业务系统健康状态的评估方法和装置 | |
| CN109120439B (zh) | 分布式集群告警输出方法、装置、设备及可读存储介质 | |
| WO2021217119A1 (en) | Analyzing tags associated with high-latency and error spans for instrumented software | |
| CN109388546B (zh) | 处理应用程序的故障的方法、装置和系统 | |
| CN111552674A (zh) | 日志处理方法及设备 | |
| CN111352795A (zh) | 一种移动业务的监控方法及装置 | |
| CN117033124A (zh) | 微服务的分析告警方法、装置、存储介质及计算机设备 | |
| CN113900898B (zh) | 一种数据处理系统、设备及介质 | |
| CN116431872B (zh) | 可观测系统及基于可观测系统的服务观测方法 | |
| US20240089189A1 (en) | Managing Information Technology Infrastructure Based on User Experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |