CN114143177A - 一种基于数据血缘的业务服务监控系统及监控方法 - Google Patents
一种基于数据血缘的业务服务监控系统及监控方法 Download PDFInfo
- Publication number
- CN114143177A CN114143177A CN202111453421.6A CN202111453421A CN114143177A CN 114143177 A CN114143177 A CN 114143177A CN 202111453421 A CN202111453421 A CN 202111453421A CN 114143177 A CN114143177 A CN 114143177A
- Authority
- CN
- China
- Prior art keywords
- center
- data
- index
- alarm
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000008280 blood Substances 0.000 title claims abstract description 12
- 210000004369 blood Anatomy 0.000 title claims abstract description 12
- 238000007726 management method Methods 0.000 claims description 39
- 238000012423 maintenance Methods 0.000 claims description 15
- 239000000523 sample Substances 0.000 claims description 11
- 238000013523 data management Methods 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 4
- 241000412611 Consul Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Environmental & Geological Engineering (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于数据血缘的业务服务监控系统及监控方法，属于业务服务监控系统技术领域，从子系统角度展示大数据平台的整体运维监控视图，帮助平台运维人员快速定位到具体问题模块，基于数据血缘可视化展示业务服务上下游链路，帮助运维人员快速排查问题和分析问题影响。
Description
技术领域
本发明涉及一种业务服务监控系统，特别是涉及一种基于数据血缘的业务服务监控系统及监控方法，属于业务服务监控系统技术领域。
背景技术
目前市面上有众多监控告警开源工具和成熟产品，能够很好地实现对网络服务、主机资源等基础资源的监控，针对微服务架构和云原生环境，也有产品可以通过调用链监控技术实现对应用系统的监控。
但在大数据平台中，由于大数据平台通常由多个应用模块或子系统组成，例如大数据支撑子系统、数据管理子系统、数据共享交换子系统等，不同的子系统有各自的监控模块和技术运维人员。
对于大数据平台整体运维人员来说，现有的监控产品无法形成大数据平台整体监控视图，平台运维人员难以快速定位到具体问题模块。
另外，大数据平台的核心功能是实现对数据的全生命周期处理，但数据处理业务服务间通常没有调用链关系，现有产品无法实现数据业务服务的上下游追溯监控，因此需要结合大数据平台实际需求，开发一种基于数据血缘的业务服务监控系统及监控方法来改进上述问题。
发明内容
本发明的主要目的是为了提供一种基于数据血缘的业务服务监控系统及监控方法，从子系统角度展示大数据平台的整体运维监控视图，帮助平台运维人员快速定位到具体问题模块。
基于数据血缘可视化展示业务服务上下游链路，帮助运维人员快速排查问题和分析问题影响。
本发明的目的可以通过采用如下技术方案达到：
一种基于数据血缘的业务服务监控系统及监控方法，包括后台管理服务器、推送网关、指标中心、注册中心、大数据平台和前端UI；
后台管理服务器包括监控中心和告警中心；
指标中心，指标中心使用开源监控工具Prometheus，负责所有监控指标的采集、存储和预处理，通过在各子系统服务器上安装探针，周期采集服务器指标数值，实现指标的定期拉取；
推送网关，推送网关使用开源组件Pushgateway，负责接收各服务主动推送的指标，各子系统上的服务可主动推送定制化指标到推送网关中。指标中心将定期采集推送网关中的指标数据；
注册中心，注册中心使用开源组件Consul，负责监控资源的注册和注销，当大数据平台中新增子系统或服务器时，需要先在注册中心中完成注册，指标中心将同步注册中心的资源，实现资源的自动扩展；
监控中心，监控中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责资源管理、指标管理、告警规则管理，支持指标查询，组表组合计算，根据告警规则进行阈值判断等功能。当触发告警时，将推送告警记录到告警中心；
告警中心，告警中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责告警管理、问题管理、故障预案管理，当接收到来自监控中心的告警记录时，生成相关问题工单，通过指定邮件/短信服务通知到运维人员，按照处理流程完成问题工单；
前端UI是监控系统的核心模块之一，使用Vue框架进行开发，主要负责基础资源、应用服务、业务服务指标的可视化，平台整体监控运维视图呈现，业务服务关系链路图呈现，通过可视化方式帮助运维人员快速理解和定位平台问题。
优选的，后台管理服务器连接有数据血缘服务器并接收血缘数据，后台管理服务器连接邮件\短信服务器并推送告警，后台管理服务器连接统一身份认证并进行用户认证。
优选的，后台管理服务器还连接Redis和MySQL。
优选的，所述后台管理服务器连接API应用。
优选的，大数据平台包括大数据支撑子系统、数据管理子系统和数据共享交换子系统；
指标中心拉取大数据支撑子系统、数据管理子系统和数据共享交换子系统探针数据；
大数据支撑子系统、数据管理子系统和数据共享交换子系统的服务推送至推送网关。
一种基于数据血缘的业务服务监控系统监控方法，包括如下步骤：
步骤1：被监控资源中通过探针进行指标采集，指标中心按照预设采集频率采集探针中的数据；
步骤2：监控中心根据定义的告警规则扫描指标数值，当发现超出阈值时发出告警；
步骤3：告警中心根据告警记录生成新问题工单或关联旧的问题工单，并通知相应负责人进行处理。
本发明的有益技术效果：
本发明提供的一种基于数据血缘的业务服务监控系统及监控方法：
从子系统角度展示大数据平台的整体运维监控视图，帮助平台运维人员快速定位到具体问题模块。
基于数据血缘可视化展示业务服务上下游链路，帮助运维人员快速排查问题和分析问题影响。
附图说明
图1为按照本发明的一种基于数据血缘的业务服务监控系统及监控方法的一优选实施例的系统图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例提供的一种基于数据血缘的业务服务监控系统及监控方法，包括后台管理服务器、推送网关、指标中心、注册中心、大数据平台和前端UI；
后台管理服务器包括监控中心和告警中心；
指标中心，指标中心使用开源监控工具Prometheus，负责所有监控指标的采集、存储和预处理，通过在各子系统服务器上安装探针，周期采集服务器指标数值，实现指标的定期拉取；
推送网关，推送网关使用开源组件Pushgateway，负责接收各服务主动推送的指标，各子系统上的服务可主动推送定制化指标到推送网关中。指标中心将定期采集推送网关中的指标数据；
注册中心，注册中心使用开源组件Consul，负责监控资源的注册和注销，当大数据平台中新增子系统或服务器时，需要先在注册中心中完成注册，指标中心将同步注册中心的资源，实现资源的自动扩展；
监控中心，监控中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责资源管理、指标管理、告警规则管理，支持指标查询，组表组合计算，根据告警规则进行阈值判断等功能。当触发告警时，将推送告警记录到告警中心；
告警中心，告警中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责告警管理、问题管理、故障预案管理，当接收到来自监控中心的告警记录时，生成相关问题工单，通过指定邮件/短信服务通知到运维人员，按照处理流程完成问题工单；
前端UI是监控系统的核心模块之一，使用Vue框架进行开发，主要负责基础资源、应用服务、业务服务指标的可视化，平台整体监控运维视图呈现，业务服务关系链路图呈现，通过可视化方式帮助运维人员快速理解和定位平台问题。
可通过容器化快方式快速进行部署实施，若部署环境不支持容器化部署，可分别部署系统所需的各组件，根据实际环境进行调试后上线应用。
子系统创建，根据大数据平台架构创建对应的子系统。
资源注册，在子系统各服务器中安装探针，并在监控平台中完成资源注册。
拉取指标，在前端监控视图中查看基础资源监控，能看到具体资源的监控图表，说明指标拉取模式正常工作。
推送指标。业务服务按规定格式向推送网关推送指标，在业务服务监控视图中，能看到业务服务状态，说明指标推送模式正常工作。
在本实施例中，后台管理服务器连接有数据血缘服务器并接收血缘数据，后台管理服务器连接邮件\短信服务器并推送告警，后台管理服务器连接统一身份认证并进行用户认证。
在本实施例中，后台管理服务器还连接Redis和MySQL。
在本实施例中，所述后台管理服务器连接API应用。
在本实施例中，大数据平台包括大数据支撑子系统、数据管理子系统和数据共享交换子系统；
指标中心拉取大数据支撑子系统、数据管理子系统和数据共享交换子系统探针；
大数据支撑子系统、数据管理子系统和数据共享交换子系统的服务推送至推送网关。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。
Claims (6)
1.一种基于数据血缘的业务服务监控系统，其特征在于：包括后台管理服务器、推送网关、指标中心、注册中心、大数据平台和前端UI；
后台管理服务器包括监控中心和告警中心；
指标中心，指标中心使用开源监控工具Prometheus，负责所有监控指标的采集、存储和预处理，通过在各子系统服务器上安装探针，周期采集服务器指标数值，实现指标的定期拉取；
推送网关，推送网关使用开源组件Pushgateway，负责接收各服务主动推送的指标，各子系统上的服务可主动推送定制化指标到推送网关中，指标中心将定期采集推送网关中的指标数据；
注册中心，注册中心使用开源组件Consul，负责监控资源的注册和注销，当大数据平台中新增子系统或服务器时，需要先在注册中心中完成注册，指标中心将同步注册中心的资源，实现资源的自动扩展；
监控中心，监控中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责资源管理、指标管理、告警规则管理，支持指标查询，组表组合计算，根据告警规则进行阈值判断等功能，当触发告警时，将推送告警记录到告警中心；
告警中心，告警中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责告警管理、问题管理、故障预案管理，当接收到来自监控中心的告警记录时，生成相关问题工单，通过指定邮件/短信服务通知到运维人员，按照处理流程完成问题工单；
前端UI是监控系统的核心模块之一，使用Vue框架进行开发，主要负责基础资源、应用服务、业务服务指标的可视化，平台整体监控运维视图呈现，业务服务关系链路图呈现，通过可视化方式帮助运维人员快速理解和定位平台问题。
2.根据权利要求1所述的一种基于数据血缘的业务服务监控系统，其特征在于：后台管理服务器连接有数据血缘服务器并接收血缘数据，后台管理服务器连接邮件\短信服务器并推送告警，后台管理服务器连接统一身份认证并进行用户认证。
3.根据权利要求2所述的一种基于数据血缘的业务服务监控系统，其特征在于：后台管理服务器还连接Redis和MySQL。
4.根据权利要求3所述的一种基于数据血缘的业务服务监控系统，其特征在于：所述后台管理服务器连接API应用。
5.根据权利要求4所述的一种基于数据血缘的业务服务监控系统，其特征在于：大数据平台包括大数据支撑子系统、数据管理子系统和数据共享交换子系统；
指标中心拉取大数据支撑子系统、数据管理子系统和数据共享交换子系统探针数据；
大数据支撑子系统、数据管理子系统和数据共享交换子系统的服务推送至推送网关。
6.根据权利要求5所述的一种基于数据血缘的业务服务监控系统监控方法，其特征在于：包括如下步骤：
步骤1：被监控资源中通过探针进行指标采集，指标中心按照预设采集频率采集探针中的数据；
步骤2：监控中心根据定义的告警规则扫描指标数值，当发现超出阈值时发出告警；
步骤3：告警中心根据告警记录生成新问题工单或关联旧的问题工单，并通知相应负责人进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111453421.6A CN114143177A (zh) | 2021-12-01 | 2021-12-01 | 一种基于数据血缘的业务服务监控系统及监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111453421.6A CN114143177A (zh) | 2021-12-01 | 2021-12-01 | 一种基于数据血缘的业务服务监控系统及监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114143177A true CN114143177A (zh) | 2022-03-04 |
Family
ID=80387263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111453421.6A Pending CN114143177A (zh) | 2021-12-01 | 2021-12-01 | 一种基于数据血缘的业务服务监控系统及监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114143177A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142949A1 (en) * | 2013-11-18 | 2015-05-21 | Nuwafin Holdings Ltd | System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications |
| CN104778270A (zh) * | 2015-04-24 | 2015-07-15 | 成都汇智远景科技有限公司 | 一种用于多文件的存储方法 |
| WO2016101638A1 (zh) * | 2014-12-23 | 2016-06-30 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN105871605A (zh) * | 2016-03-30 | 2016-08-17 | 国网江西省电力科学研究院 | 一种基于电力营销大数据的运维监控平台 |
| US20170142482A1 (en) * | 2015-11-13 | 2017-05-18 | Le Holdings (Beijing) Co., Ltd. | Video platform monitoring and analyzing system |
| CN110245921A (zh) * | 2019-06-20 | 2019-09-17 | 普元信息技术股份有限公司 | 大数据治理中基于元数据实现数据服务上下游链路追溯功能的方法 |
| CN110875853A (zh) * | 2018-08-29 | 2020-03-10 | 福建天泉教育科技有限公司 | 一种基于元数据的自动质量监测方法及终端 |
| CN110968482A (zh) * | 2019-12-18 | 2020-04-07 | 上海良鑫网络科技有限公司 | 企业服务及应用智能监控系统 |
| CN111475682A (zh) * | 2020-04-06 | 2020-07-31 | 武汉智领云科技有限公司 | 一种基于超大规模数据系统的智能运维平台 |
| WO2020252901A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | 基础资源容量监管方法、装置、设备及存储介质 |
| CN112148718A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的大数据支撑管理系统 |
| CN112783857A (zh) * | 2020-12-31 | 2021-05-11 | 北京知因智慧科技有限公司 | 一种数据血缘管理方法、装置、电子设备及存储介质 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
-
2021
- 2021-12-01 CN CN202111453421.6A patent/CN114143177A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142949A1 (en) * | 2013-11-18 | 2015-05-21 | Nuwafin Holdings Ltd | System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications |
| WO2016101638A1 (zh) * | 2014-12-23 | 2016-06-30 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN104778270A (zh) * | 2015-04-24 | 2015-07-15 | 成都汇智远景科技有限公司 | 一种用于多文件的存储方法 |
| US20170142482A1 (en) * | 2015-11-13 | 2017-05-18 | Le Holdings (Beijing) Co., Ltd. | Video platform monitoring and analyzing system |
| CN105871605A (zh) * | 2016-03-30 | 2016-08-17 | 国网江西省电力科学研究院 | 一种基于电力营销大数据的运维监控平台 |
| CN110875853A (zh) * | 2018-08-29 | 2020-03-10 | 福建天泉教育科技有限公司 | 一种基于元数据的自动质量监测方法及终端 |
| WO2020252901A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | 基础资源容量监管方法、装置、设备及存储介质 |
| CN110245921A (zh) * | 2019-06-20 | 2019-09-17 | 普元信息技术股份有限公司 | 大数据治理中基于元数据实现数据服务上下游链路追溯功能的方法 |
| CN110968482A (zh) * | 2019-12-18 | 2020-04-07 | 上海良鑫网络科技有限公司 | 企业服务及应用智能监控系统 |
| CN111475682A (zh) * | 2020-04-06 | 2020-07-31 | 武汉智领云科技有限公司 | 一种基于超大规模数据系统的智能运维平台 |
| CN112148718A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的大数据支撑管理系统 |
| CN112783857A (zh) * | 2020-12-31 | 2021-05-11 | 北京知因智慧科技有限公司 | 一种数据血缘管理方法、装置、电子设备及存储介质 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭杰;王磊;王建纲;: "一种云环境下分布式应用业务态势感知系统设计方法", 冶金自动化 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101854400B (zh) | 一种数据库同步部署及监控的方法和装置 | |
| CN102340415B (zh) | 一种服务器集群系统的监控方法和一种服务器集群系统 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN105119757A (zh) | 一种企业服务器运维自动化的方法与系统 | |
| CN101707632A (zh) | 一种动态监控服务器集群性能并实时报警的方法 | |
| CN103412893A (zh) | 一种日志收集系统及其收集方法 | |
| CN104022903A (zh) | 一站式自动化运维系统 | |
| CN102638378B (zh) | 一种集成异构存储设备的海量存储系统监控方法 | |
| CN111245672A (zh) | 一种通用可扩展的追踪业务全链路的监控方法及系统 | |
| CN111163150A (zh) | 一种分布式调用追踪系统 | |
| CN111147322A (zh) | 5g核心网微服务架构的测试系统及方法 | |
| CN102231161A (zh) | 数据库同步验证及监控方法 | |
| CN111127250B (zh) | 一种电力数据监控事件分析系统及方法 | |
| CN101989931A (zh) | 一种运维告警处理方法和装置 | |
| CN103856354A (zh) | 一种集群存储系统日志统一管理实现方法 | |
| CN114356499A (zh) | Kubernetes集群告警根因分析方法及装置 | |
| WO2015131665A1 (zh) | 一种机架图展示方法和装置 | |
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN114048090A (zh) | 基于k8s的容器云平台监控的方法、设备及存储介质 | |
| CN109802842B (zh) | 应用拓扑的生成方法及相关设备 | |
| CN114143369A (zh) | 一种云平台的服务监控系统 | |
| CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
| CN114143177A (zh) | 一种基于数据血缘的业务服务监控系统及监控方法 | |
| CN106357466B (zh) | 一种互联网产品监控方法及监控系统 | |
| CN113037549A (zh) | 一种运维环境告警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220304 |