CN113157478B - 一种分布式系统配置化数据采集和业务报警系统 - Google Patents

一种分布式系统配置化数据采集和业务报警系统 Download PDF

Info

Publication number
CN113157478B
CN113157478B CN202110428703.4A CN202110428703A CN113157478B CN 113157478 B CN113157478 B CN 113157478B CN 202110428703 A CN202110428703 A CN 202110428703A CN 113157478 B CN113157478 B CN 113157478B
Authority
CN
China
Prior art keywords
service
service system
monitoring center
data
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110428703.4A
Other languages
English (en)
Other versions
CN113157478A (zh
Inventor
贺雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Multipoint Shenzhen Digital Technology Co ltd
Original Assignee
Multipoint Shenzhen Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Multipoint Shenzhen Digital Technology Co ltd filed Critical Multipoint Shenzhen Digital Technology Co ltd
Priority to CN202110428703.4A priority Critical patent/CN113157478B/zh
Publication of CN113157478A publication Critical patent/CN113157478A/zh
Application granted granted Critical
Publication of CN113157478B publication Critical patent/CN113157478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式系统配置化数据采集和业务报警系统，由业务系统，用于接入业务系统的监控中心，以及用于存放监控中心数据的数据库组成；所述业务系统的数量为n个，具体的系统运行原理包括(1)将n个业务系统分别命名为业务系统a，其中a＝1，2，……，n；(2)将n个业务系统接入监控中心。本发明提供一种分布式系统配置化数据采集和业务报警系统，能够快速感知业务异常，还能对异常的业务进行精准的定位，极大的提高了业务异常时的恢复速度，更贴合了如今企业的需求，很好的促进了行业的进步。

Description

一种分布式系统配置化数据采集和业务报警系统
技术领域
本发明属于计算机领域，具体是指一种分布式系统配置化数据采集和业务报警系统。
背景技术
随着目前互联网公司越来越深入实体经济，业务日益复杂，系统链路变得越来越长，系统上下游之间的调用层级变得越来越多。
传统的数据入库是各个业务系统在内部逻辑处理完成以后记录自己关注的数据，对于下游数据是否对齐并不关注，只对本系统内部的数据一致性负责。业务数据在各个系统内部是一致的，但是在系统间存在无法对齐的情况，对分析整体业务发展情况造成困难，比如财务人员经常发现对账存在差异等。
调用链系统是通过在一次业务请求上加上唯一ID并且在各个系统间传递，唯一确定一次服务的调用情况，不同系统的开发人员可以一同排查问题。调用链用于排查问题需要逐级的排查系统调用情况，直到某一个系统的链路出现问题才能定位问题，期间花费大量时间在日志中查找，排除自身问题的同时定位需要继续排查的下游系统，然后逐级进行下去，整个过程效率低下，导致线上服务迟迟难以恢复。同时业务异常无法主动感知，整个机制基于反馈—排查的被动模式。
上诉的方法存在着业务异常时难以快速感知，也提高了业务异常时的定位难度，从而进一步的提高了业务异常时恢复服务的时间，不符合如今的快节奏的需求。
发明内容
本发明的目的在于克服上述问题，提供一种分布式系统配置化数据采集和业务报警系统，能够快速感知业务异常，还能对异常的业务进行精准的定位，极大的提高了业务异常时的恢复速度，更贴合了如今企业的需求，很好的促进了行业的进步。
本发明的目的通过下述技术方案实现：
一种分布式系统配置化数据采集和业务报警系统，由业务系统、用于接入业务系统的监控中心、以及用于存放监控中心数据的数据库组成；所述业务系统的数量为n个，具体的系统运行原理为：
（1）将n个业务系统分别命名为业务系统a，其中a=1，2，……，n；
（2）将n个业务系统接入监控中心；
（3）在监控中心对n个业务系统的规则进行配置，为n个业务系统分别指定负责人，并使得业务系统a具有下游业务系统a+1，直至业务系统a为业务系统n，令业务系统n为最下游业务系统且不具有下游业务系统a+1；
（4）在业务调用发生时，业务系统a首先向监控中心请求并获得唯一的traceld，监控中心在分配traceld的同时将会预设超时阀值；
（5）业务系统a向监控中心上报业务数据，并将唯一的traceld向下游业务系统a+1透传，判断业务系统a是否为业务系统n，若业务系统a不是业务系统n则重复步骤（5），若业务系统a是业务系统n则结束步骤（5）；
（6）监控中心在达到超时阀值到期时触发校验逻辑，判断业务系统a上报的业务数据中是否包含了的业务系统n的业务数据，若包含了业务系统n的业务数据则将所有业务数据储存在数据库中并正常结束业务调用，若未包含业务系统n的业务数据则触发报警系统进入步骤（7）；
（7）监控中心根据最后接收到的业务数据判断出最后上传数据的业务系统a，并根据该业务系统a向负责人发送报警；
（8）监控中心在发送报警后清洗所有包含该traceld的业务数据并结束本次业务调用。
步骤（3）中所述规则包括n个业务系统的负责人以及业务系统之间的关联性，规则在配置后对n个业务系统分别生成一个唯一标识。
步骤（4）中的业务系统a为业务系统1。
步骤（5）中的业务数据包括traceld和业务系统名。
步骤（7）中所述的发送报警的方式包括邮件报警、电话报警和短信报警。
本发明与现有技术相比，具有以下优点及有益效果：
本发明能够快速感知业务异常，还能对异常的业务进行精准的定位，极大的提高了业务异常时的恢复速度，更贴合了如今企业的需求，很好的促进了行业的进步。
附图说明
图1为本发明的系统及其运行原理框图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种分布式系统配置化数据采集和业务报警系统，由业务系统、用于接入业务系统的监控中心、以及用于存放监控中心数据的数据库组成；所述业务系统的数量为n个，具体的系统运行原理为：
（1）将n个业务系统分别命名为业务系统a，其中a=1，2，……，n；
（2）将n个业务系统接入监控中心；
（3）在监控中心对n个业务系统的规则进行配置，为n个业务系统分别指定负责人，并使得业务系统a具有下游业务系统a+1，直至业务系统a为业务系统n，令业务系统n为最下游业务系统且不具有下游业务系统a+1；
所述规则包括n个业务系统的负责人以及业务系统之间的关联性，规则在配置后对n个业务系统分别生成一个唯一标识。
（4）在业务调用发生时，业务系统a首先向监控中心请求并获得唯一的traceld，监控中心在分配traceld的同时将会预设超时阀值；
该步骤中的业务系统a为业务系统1，该业务系统1不具有上游业务系统。
（5）业务系统a向监控中心上报业务数据，并将唯一的traceld向下游业务系统a+1透传，判断业务系统a是否为业务系统n，若业务系统a不是业务系统n则重复步骤（5），若业务系统a是业务系统n则结束步骤（5）；
业务数据包括traceld和业务系统名，还包括具体的数据参数值。
（6）监控中心在达到超时阀值到期时触发校验逻辑，判断业务系统a上报的业务数据中是否包含了的业务系统n的业务数据，若包含了业务系统n的业务数据则将所有业务数据储存在数据库中并正常结束业务调用，若未包含业务系统n的业务数据则触发报警系统进入步骤（7）；
（7）监控中心根据最后接收到的业务数据判断出最后上传数据的业务系统a，并根据该业务系统a向负责人发送报警；
发送报警的方式包括邮件报警、电话报警和短信报警。。
如上所述，便可很好的实现本发明。
（8）监控中心在发送报警后清洗所有包含该traceld的业务数据并结束本次业务调用。
如上所述，便可很好的实现本发明。

Claims (5)

1.一种分布式系统配置化数据采集和业务报警系统，其特征在于：由业务系统，用于接入业务系统的监控中心，以及用于存放监控中心数据的数据库组成；所述业务系统的数量为n个，具体的系统运行原理为：
（1）将n个业务系统分别命名为业务系统a，其中a=1，2，……，n；
（2）将n个业务系统接入监控中心；
（3）在监控中心对n个业务系统的规则进行配置，为n个业务系统分别指定负责人，并使得业务系统a具有下游业务系统a+1，直至业务系统a为业务系统n，令业务系统n为最下游业务系统且不具有下游业务系统a+1；
（4）在业务调用发生时，业务系统a首先向监控中心请求并获得唯一的traceld，监控中心在分配traceld的同时将会预设超时阀值；
（5）业务系统a向监控中心上报业务数据，并将唯一的traceld向下游业务系统a+1透传，判断业务系统a是否为业务系统n，若业务系统a不是业务系统n则重复步骤（5），若业务系统a是业务系统n则结束步骤（5）；
（6）监控中心在达到超时阀值到期时触发校验逻辑，判断业务系统a上报的业务数据中是否包含了的业务系统n的业务数据，若包含了业务系统n的业务数据则将所有业务数据储存在数据库中并正常结束业务调用，若未包含业务系统n的业务数据则触发报警系统进入步骤（7）；
（7）监控中心根据最后接收到的业务数据判断出最后上传数据的业务系统a，并根据该业务系统a向负责人发送报警；
（8）监控中心在发送报警后清洗所有包含该traceld的业务数据并结束本次业务调用。
2.根据权利要求1所述的一种分布式系统配置化数据采集和业务报警系统，其特征在于：步骤（3）中所述规则包括n个业务系统的负责人以及业务系统之间的关联性，规则在配置后对n个业务系统分别生成一个唯一标识。
3.根据权利要求2所述的一种分布式系统配置化数据采集和业务报警系统，其特征在于：步骤（4）中的业务系统a为业务系统1。
4.根据权利要求3所述的一种分布式系统配置化数据采集和业务报警系统，其特征在于：步骤（5）中的业务数据包括traceld和业务系统名。
5.根据权利要求4所述的一种分布式系统配置化数据采集和业务报警系统，其特征在于：步骤（7）中所述的发送报警的方式包括邮件报警、电话报警和短信报警。
CN202110428703.4A 2021-04-21 2021-04-21 一种分布式系统配置化数据采集和业务报警系统 Active CN113157478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110428703.4A CN113157478B (zh) 2021-04-21 2021-04-21 一种分布式系统配置化数据采集和业务报警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110428703.4A CN113157478B (zh) 2021-04-21 2021-04-21 一种分布式系统配置化数据采集和业务报警系统

Publications (2)

Publication Number Publication Date
CN113157478A CN113157478A (zh) 2021-07-23
CN113157478B true CN113157478B (zh) 2024-05-10

Family

ID=76867500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110428703.4A Active CN113157478B (zh) 2021-04-21 2021-04-21 一种分布式系统配置化数据采集和业务报警系统

Country Status (1)

Country Link
CN (1) CN113157478B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044393A (en) * 1996-11-26 2000-03-28 Global Maintech, Inc. Electronic control system and method for externally and directly controlling processes in a computer system
AU2005270749A1 (en) * 2004-08-13 2006-02-16 Remasys Pty Ltd Monitoring and management of distributed information systems
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
WO2020147336A1 (zh) * 2019-01-18 2020-07-23 苏宁易购集团股份有限公司 一种微服务全链路监控系统及方法
WO2020147419A1 (zh) * 2019-01-18 2020-07-23 深圳壹账通智能科技有限公司 监控方法、装置、计算机设备及存储介质
CN111913818A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 一种确定服务间依赖关系的方法及相关装置
CN111949481A (zh) * 2020-08-11 2020-11-17 安徽继远检验检测技术有限公司 一种基于微服务的异常追踪检测系统
CN112015622A (zh) * 2020-08-24 2020-12-01 杭州云徙科技有限公司 一种应用于业务中台的消息链路跟踪监控方法和系统
CN112612675A (zh) * 2020-12-25 2021-04-06 山东经伟晟睿数据技术有限公司 微服务架构下的分布式大数据日志链路跟踪方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348650B (zh) * 2013-08-05 2019-07-16 腾讯科技（深圳）有限公司 网站的监控方法、业务装置及系统
US10547522B2 (en) * 2017-11-27 2020-01-28 International Business Machines Corporation Pre-starting services based on traversal of a directed graph during execution of an application

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044393A (en) * 1996-11-26 2000-03-28 Global Maintech, Inc. Electronic control system and method for externally and directly controlling processes in a computer system
AU2005270749A1 (en) * 2004-08-13 2006-02-16 Remasys Pty Ltd Monitoring and management of distributed information systems
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
WO2020147336A1 (zh) * 2019-01-18 2020-07-23 苏宁易购集团股份有限公司 一种微服务全链路监控系统及方法
WO2020147419A1 (zh) * 2019-01-18 2020-07-23 深圳壹账通智能科技有限公司 监控方法、装置、计算机设备及存储介质
CN111913818A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 一种确定服务间依赖关系的方法及相关装置
CN111949481A (zh) * 2020-08-11 2020-11-17 安徽继远检验检测技术有限公司 一种基于微服务的异常追踪检测系统
CN112015622A (zh) * 2020-08-24 2020-12-01 杭州云徙科技有限公司 一种应用于业务中台的消息链路跟踪监控方法和系统
CN112612675A (zh) * 2020-12-25 2021-04-06 山东经伟晟睿数据技术有限公司 微服务架构下的分布式大数据日志链路跟踪方法及系统

Also Published As

Publication number Publication date
CN113157478A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US8719232B2 (en) Systems and methods for data integrity checking
US7107339B1 (en) Predictive monitoring and problem identification in an information technology (IT) infrastructure
CN104461820B (zh) 一种设备监控的方法及装置
CN113452607A (zh) 分布式链路采集的方法、装置、计算设备和存储介质
CN113298486A (zh) 一种基于大数据的政务监察督查方法及系统
CN116436659A (zh) 一种网络安全威胁的量化分析方法及装置
CN115328733A (zh) 应用于业务系统的告警方法、装置、电子设备及存储介质
CN113656252B (zh) 故障定位方法、装置、电子设备以及存储介质
CN108833451B (zh) 基于国产安全管控平台的多级管控系统及管控方法
CN113157478B (zh) 一种分布式系统配置化数据采集和业务报警系统
CN103678423A (zh) 数据文件导入系统、装置及方法
CN111143162A (zh) 一种检测基于多层架构的应用系统是否正常运行的方法
CN117312098B (zh) 一种日志异常告警方法及装置
CN110191097A (zh) 登录页面安全性的检测方法、系统、设备及存储介质
CN106982141A (zh) Weblogic实例监控方法及装置
CN116886517B (zh) 一种基于流量数据的告警系统及方法
CN117041269A (zh) 一种用于同步子数据库数据的实时双向同步系统
CN104486047B (zh) 自助终端监控方法、装置以及系统
CN116483663A (zh) 用于平台的异常告警方法和装置
CN116055164A (zh) 一种安全合规自动化评估算法
CN114500178B (zh) 一种自运维的智慧物联网关
CN113742400B (zh) 一种基于自适应约束条件的网络数据获取系统及方法
CN111865689B (zh) 一种基于指标集树的告警压降方法
CN110932928B (zh) 基于http响应的网站资产失活检测和更新方法
CN117221191A (zh) 基于心跳机制的数据同步核验方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant