CN111130955A - 基于互联网信贷系统的分布式链路监控方法 - Google Patents

基于互联网信贷系统的分布式链路监控方法 Download PDF

Info

Publication number
CN111130955A
CN111130955A CN202010244439.4A CN202010244439A CN111130955A CN 111130955 A CN111130955 A CN 111130955A CN 202010244439 A CN202010244439 A CN 202010244439A CN 111130955 A CN111130955 A CN 111130955A
Authority
CN
China
Prior art keywords
node
monitoring
micro
scheduling
service scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010244439.4A
Other languages
English (en)
Other versions
CN111130955B (zh
Inventor
刘浪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202010244439.4A priority Critical patent/CN111130955B/zh
Publication of CN111130955A publication Critical patent/CN111130955A/zh
Application granted granted Critical
Publication of CN111130955B publication Critical patent/CN111130955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery

Abstract

本发明涉及基于互联网信贷系统的分布式链路监控方法，包括：A．设置微服务调度的各节点的监控参数；B．设置各节点的监控方式和监控级别，并根据各节点之间的关系将每个节点通过RGB三原色渲染到调度配置视图中进行图形化显示；C．对每个节点的微服务调度进行链路监控，当微服务调度执行到某个节点发生异常、并在异常修复后，重启微服务调度引擎，微服务调度引擎根据传入的上一次异常断点位置的参数，从上一次发生异常的节点处重新执行该节点的逻辑，恢复调度逻辑。本发明能够在所有分布式微服务调度场景下，对每个微服务作业调度的节点进行监控，并在节点出现异常并修复后，从异常节点处继续执行，不需要修复之前的数据。

Description

基于互联网信贷系统的分布式链路监控方法
技术领域
本发明涉及对互联网分布式微服务架构的监控方法，具体讲是基于互联网信贷系统的分布式链路监控方法。
背景技术
本发明是针对现有专利“一种基于互联网分布式下的微服务业务调度引擎”，专利号：2018116296013，授权公告号：CN 109739550 B进行的改进。在上述现有专利中，在新网银行的分布式消费信贷系统改造中，系统由之前的一个单体架构改进成了十几个微服务，通过自研的分布式业务调度引擎，可以快速的实现业务逻辑的编排和微服务的业务组合，极大提升了开发的能力。
但在生产和运行中，发现在典型的放款和还款业务逻辑中，每个业务逻辑都需要通过调用十几个微服务提供的原子服务才能够完成业务功能。
微服务的拆分增加了出现异常的概率，一个业务功能需十几个调度节点的执行，如果在中间某个节点因为某个微服务的异常而卡住，前面节点运行修改的数据、未完成节点等待修改的数据，都是需要在出错后进行的数据修复的。这样给开发人员和运维人员造成了极大的修复难度，在响应点上也造成了响应时间长，极大的对客户不友好。
当前系统对于该技术主要特点总结如下：
（1）高度的微服务和分布式化
分布式的微服务架构特点，完成一个业务逻辑需要多个微服务同时进行协同的配合；
（2）低端的日志错误监控
虽然引入了针对日志错误的监控扫描，但是只能做到宽泛粗犷的监控，出现错后仍需要开发人员登录后台查看日志，操作成本高，时效低；
（3）错误定位时效低
针对日志错误的级别，开发人员定位问题缓慢，只能通过异常堆栈进行分析，定位时间长，影响客户体验；
（3）业务恢复缓慢
因为在分布式微服务的组合调度中，需要各个微服务进行同时的配合，才能完成业务一个复杂的业务逻辑，因此在出错后，需要每个微服务的开发人员一同对每个微服务的数据库进行数据修复，修复成本高，响应时间长。
发明内容
本发明提供了一种基于互联网信贷系统的分布式链路监控方法，在所有分布式微服务调度场景下，可以对每个微服务作业调度的节点进行监控，并在节点出现异常并修复后，从异常节点处继续执行，不需要修复之前的数据。
本发明基于互联网信贷系统的分布式链路监控方法，包括：
A．对互联网信贷系统的存储介质中保存的受微服务调度的各节点，进行监控参数初始化，根据监控的需求设置各节点对应的监控参数，将设置完成的监控参数部署到存储介质中的微服务调度引擎中；
B．对微服务调度引擎中的各节点按照节点类型和需求设置各节点的监控方式和监控级别，并根据各节点之间的关系将每个节点通过RGB三原色渲染到调度配置视图中进行图形化显示；
C．对每个节点的微服务调度进行链路监控，当微服务调度执行到某个节点发生异常、并在所述异常修复后，重启微服务调度引擎，微服务调度引擎根据传入的上一次异常断点位置的参数，从上一次发生异常的节点处重新执行该节点的逻辑，恢复调度逻辑。
通过本发明对分布式消费信贷系统的微服务调度框架在容错机制上有了明显增强和完善，使分布式微服务调度引擎在调度方式上极大的提升了开发人员的开发效率，当调度的节点出现异常并修复后，不需要再对之前的数据进行修复，可以直接向下继续执行调度，极大减少了开发人员的工作量。
具体的，步骤A中所述的监控参数包括监控的流程名称、监控中心地址和出错后的恢复接口地址。
在此基础上，步骤B中，先配置并申明每个微服务调度的节点，然后再设置各节点的监控方式和监控级别。根据不同节点的类型，可以设置需要监控或不需要监控等方式，同时也可以根据需要对监控级别进行相应的设置。
进一步的，步骤C中对每个节点的微服务调度进行链路监控的步骤包括：
C1：微服务调度引擎执行每一个节点时，先检查当前节点的监控方式和监控级别；
C2：根据当前节点的监控方式和监控级别，判断当前节点是否需要监控，如果不需要监控，则不对当前节点进行监控；
C3：如果当前节点需要监控，微服务调度引擎获取当前节点的传入参数，并将所述传入参数保存到流程监控的上下文中；
C4：微服务调度引擎执行当前节点的调度逻辑，获取调度逻辑的结果；
C5：根据执行当前节点的调度逻辑结果，结合监控方式和监控级别进行相应的监控实施。
其中，在步骤C5中，如果执行当前节点后返回成功信息，则直接将入口参数作为当前节点的监控指标，以异步消息的方式通知到监控中心；如果执行当前节点后返回错误消息，则将上下文入口参数设置到监控消息中，同时在监控消息中设置错误码和错误原因，然后通过异步消息的方式通知到监控中心。
进一步的，步骤C中，当所述异常修复后，先根据所述的监控参数对上一次异常的节点进行实例化，然后获取所述的恢复接口地址，再将出现上一次异常的节点名称、该节点的入参对象都通过异步消息传输到所述的恢复接口，恢复接口根据输入的节点名称和入参对象找到对应的节点，然后重启微服务调度引擎，从该节点处继续向下执行调度。
本发明的有益效果包括：
（1）能够从异常节点处恢复继续执行。能够在当时发生错误的地方进行就地恢复，极大的提高了异常处理流程的实效。
（2）无缝集成，使用便捷。通过与分布式系统的微服务框架进行集成，在微服务框架引擎启动的时候，通过配置方式设置好各监控节点的必要参数，随着调度的运行即可实现在运行的过程中对整个流程链路的监控信息的采集。
（3）不侵入业务代码。所涉及的监控采集和通知等功能，自动集成到了业务流程框架中来，在执行微服务调度的过程中进行自动的上下文参数的采集,不需要开发人员进行特别的监控代码的编写。
（4）异步监控，不消耗主程序资源。将采集的链路流程数据,通过异步解耦的方式发送到监控中心进行集中的采集,这样的好处是没有消耗主应用程序的数据库和其他资源,通过轻量级的接入达到完整监控的目的。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明基于互联网信贷系统的分布式链路监控方法的流程图。
具体实施方式
如图1所示本发明基于互联网信贷系统的分布式链路监控方法，包括：
A．对互联网信贷系统的存储介质中保存的受微服务调度的各节点，进行监控参数初始化，根据监控的需求设置各节点对应的监控参数，其中监控参数包括监控的流程名称、监控中心地址和出错后的恢复接口地址。然后将设置完成的监控参数部署到存储介质中的微服务调度引擎中。
B．先配置并申明每个微服务调度的节点，然后对微服务调度引擎中的各节点按照节点类型和需求设置各节点的监控方式和监控级别，并根据各节点之间的关系将每个节点通过RGB三原色渲染到调度配置视图中进行图形化显示。根据不同节点的类型，可以设置需要监控或不需要监控等方式。
C．对每个节点的微服务调度进行链路监控，其步骤包括：
C1：微服务调度引擎执行每一个节点时，先检查当前节点的监控方式和监控级别；
C2：根据当前节点的监控方式和监控级别，判断当前节点是否需要监控，如果不需要监控，则不对当前节点进行监控；
C3：如果当前节点需要监控，微服务调度引擎获取当前节点的传入参数，并将所述传入参数保存到流程监控的上下文中；
C4：微服务调度引擎执行当前节点的调度逻辑，获取调度逻辑的结果；
C5：根据执行当前节点的调度逻辑结果，结合监控方式和监控级别进行相应的监控实施。如果执行当前节点后返回成功信息，则直接将入口参数作为当前节点的监控指标，以异步消息的方式通知到监控中心；如果执行当前节点后返回错误消息，则将上下文入口参数设置到监控消息中，同时在监控消息中设置错误码和错误原因，然后通过异步消息的方式通知到监控中心。
当微服务调度执行到某个节点发生异常、并在所述异常修复后，先根据所述的监控参数对上一次异常的节点进行实例化，然后获取所述的恢复接口地址，再将出现上一次异常的节点名称、该节点的入参对象都通过异步消息传输到所述的恢复接口，恢复接口根据输入的节点名称和入参对象找到对应的节点，然后重启微服务调度引擎，从该节点处继续向下执行调度，由此便恢复了调度逻辑。
本发明对分布式消费信贷系统的微服务调度框架在容错机制上有了明显增强和完善，使分布式微服务调度引擎在调度方式上极大的提升了开发人员的开发效率，当调度的节点出现异常并修复后，不需要再对之前的数据进行修复，可以直接向下继续执行调度，极大减少了开发人员的工作量。

Claims (6)

1.基于互联网信贷系统的分布式链路监控方法，其特征包括：
A．对互联网信贷系统的存储介质中保存的受微服务调度的各节点，进行监控参数初始化，根据监控的需求设置各节点对应的监控参数，将设置完成的监控参数部署到存储介质中的微服务调度引擎中；
B．对微服务调度引擎中的各节点按照节点类型和需求设置各节点的监控方式和监控级别，并根据各节点之间的关系将每个节点通过RGB三原色渲染到调度配置视图中进行图形化显示；
C．对每个节点的微服务调度进行链路监控，当微服务调度执行到某个节点发生异常、并在所述异常修复后，重启微服务调度引擎，微服务调度引擎根据传入的上一次异常断点位置的参数，从上一次发生异常的节点处重新执行该节点的逻辑，恢复调度逻辑。
2.如权利要求1所述的基于互联网信贷系统的分布式链路监控方法，其特征为：步骤A中所述的监控参数包括监控的流程名称、监控中心地址和出错后的恢复接口地址。
3.如权利要求2所述的基于互联网信贷系统的分布式链路监控方法，其特征为：步骤B中，先配置并申明每个微服务调度的节点，然后再设置各节点的监控方式和监控级别。
4.如权利要求2所述的基于互联网信贷系统的分布式链路监控方法，其特征为：步骤C中对每个节点的微服务调度进行链路监控的步骤包括：
C1：微服务调度引擎执行每一个节点时，先检查当前节点的监控方式和监控级别；
C2：根据当前节点的监控方式和监控级别，判断当前节点是否需要监控，如果不需要监控，则不对当前节点进行监控；
C3：如果当前节点需要监控，微服务调度引擎获取当前节点的传入参数，并将所述传入参数保存到流程监控的上下文中；
C4：微服务调度引擎执行当前节点的调度逻辑，获取调度逻辑的结果；
C5：根据执行当前节点的调度逻辑结果，结合监控方式和监控级别进行相应的监控实施。
5.如权利要求4所述的基于互联网信贷系统的分布式链路监控方法，其特征为：步骤C5中，如果执行当前节点后返回成功信息，则直接将入口参数作为当前节点的监控指标，以异步消息的方式通知到监控中心；如果执行当前节点后返回错误消息，则将上下文入口参数设置到监控消息中，同时在监控消息中设置错误码和错误原因，然后通过异步消息的方式通知到监控中心。
6.如权利要求2所述的基于互联网信贷系统的分布式链路监控方法，其特征为：步骤C中，当所述异常修复后，先根据所述的监控参数对上一次异常的节点进行实例化，然后获取所述的恢复接口地址，再将出现上一次异常的节点名称、该节点的入参对象都通过异步消息传输到所述的恢复接口，恢复接口根据输入的节点名称和入参对象找到对应的节点，然后重启微服务调度引擎，从该节点处继续向下执行调度。
CN202010244439.4A 2020-03-31 2020-03-31 基于互联网信贷系统的分布式链路监控方法 Active CN111130955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010244439.4A CN111130955B (zh) 2020-03-31 2020-03-31 基于互联网信贷系统的分布式链路监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244439.4A CN111130955B (zh) 2020-03-31 2020-03-31 基于互联网信贷系统的分布式链路监控方法

Publications (2)

Publication Number Publication Date
CN111130955A true CN111130955A (zh) 2020-05-08
CN111130955B CN111130955B (zh) 2020-08-21

Family

ID=70494017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244439.4A Active CN111130955B (zh) 2020-03-31 2020-03-31 基于互联网信贷系统的分布式链路监控方法

Country Status (1)

Country Link
CN (1) CN111130955B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680974A (zh) * 2020-05-29 2020-09-18 泰康保险集团股份有限公司 电子化承保流程的问题定位方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330576A (zh) * 2016-11-18 2017-01-11 北京红马传媒文化发展有限公司 容器化微服务自动伸缩及迁移调度的方法、系统和设备
US20170093651A1 (en) * 2015-09-30 2017-03-30 Bank Of America Corporation Channel accessible single function micro service data collection process for light analytics
CN106991035A (zh) * 2017-04-06 2017-07-28 北京计算机技术及应用研究所 一种基于微服务架构的主机监控系统
CN107870845A (zh) * 2017-10-19 2018-04-03 北京工业大数据创新中心有限公司 面向微服务架构应用的管理方法及系统
CN108712464A (zh) * 2018-04-13 2018-10-26 中国科学院信息工程研究所 一种面向集群微服务高可用的实现方法
CN109271291A (zh) * 2018-09-04 2019-01-25 山东浪潮通软信息科技有限公司 一种服务监控及管理的方法
CN109672741A (zh) * 2018-12-25 2019-04-23 鼎信信息科技有限责任公司 微服务监控方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170093651A1 (en) * 2015-09-30 2017-03-30 Bank Of America Corporation Channel accessible single function micro service data collection process for light analytics
CN106330576A (zh) * 2016-11-18 2017-01-11 北京红马传媒文化发展有限公司 容器化微服务自动伸缩及迁移调度的方法、系统和设备
CN106991035A (zh) * 2017-04-06 2017-07-28 北京计算机技术及应用研究所 一种基于微服务架构的主机监控系统
CN107870845A (zh) * 2017-10-19 2018-04-03 北京工业大数据创新中心有限公司 面向微服务架构应用的管理方法及系统
CN108712464A (zh) * 2018-04-13 2018-10-26 中国科学院信息工程研究所 一种面向集群微服务高可用的实现方法
CN109271291A (zh) * 2018-09-04 2019-01-25 山东浪潮通软信息科技有限公司 一种服务监控及管理的方法
CN109672741A (zh) * 2018-12-25 2019-04-23 鼎信信息科技有限责任公司 微服务监控方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680974A (zh) * 2020-05-29 2020-09-18 泰康保险集团股份有限公司 电子化承保流程的问题定位方法及装置
CN111680974B (zh) * 2020-05-29 2023-09-22 泰康保险集团股份有限公司 电子化承保流程的问题定位方法及装置

Also Published As

Publication number Publication date
CN111130955B (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
US20190378073A1 (en) Business-Aware Intelligent Incident and Change Management
CN111400011B (zh) 一种实时任务调度方法、系统、设备及可读存储介质
CN101707399B (zh) 电能信息采集方法及系统
CN106792630B (zh) 一种实现移网业务开通的方法及系统
CN112101803A (zh) 业务流程监控方法、装置、系统、设备和介质
CN102479113A (zh) 异常自适应处理方法及系统
CN106897779A (zh) 一种数据中心运维系统事件的处理方法
CN112199355B (zh) 数据迁移方法、装置、电子设备及存储介质
CN110262975A (zh) 测试数据管理方法、装置、设备及计算机可读存储介质
CN111130955B (zh) 基于互联网信贷系统的分布式链路监控方法
CN113570468A (zh) 一种企业支付风控服务平台
CN111913824A (zh) 确定数据链路故障原因的方法及相关设备
CN115664939A (zh) 一种基于自动化技术的综合运维方法、装置和存储介质
CN115038083A (zh) 一种应用ai运营商行业的电信欺诈预警识别方法及系统
CN112348653B (zh) 一种财务云平台的自动测试运维系统
CN111161052B (zh) 银行作业数据的处理方法及装置
CN112905318A (zh) 一种基于消息优先级队列分布式交换网元调用方法及系统
CN112580199A (zh) 基于cim模型的电力系统多维数据统一构建系统
CN113793213B (zh) 一种异步信贷风控断点续作的决策方式的实现方法及装置
CN112446619B (zh) 配电网抢修处理方法和装置
CN113568610A (zh) 一种电力营销系统的业务规则引擎库系统的实现方法
CN116109112B (zh) 基于聚合接口的业务数据处理方法、装置、介质和设备
Gangadhara Wireless intelligent video surveillance system using moving object recognition Technology
CN117077149B (zh) 一种基于插件的自定义安全基线检查方法以及装置
CN114356643B (zh) 一种遥感卫星处理系统中自动发现任务失败和恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant