CN110196868A - 基于分布式的工单流程监控方法 - Google Patents

基于分布式的工单流程监控方法 Download PDF

Info

Publication number
CN110196868A
CN110196868A CN201910492236.4A CN201910492236A CN110196868A CN 110196868 A CN110196868 A CN 110196868A CN 201910492236 A CN201910492236 A CN 201910492236A CN 110196868 A CN110196868 A CN 110196868A
Authority
CN
China
Prior art keywords
work order
data
distributed
message queue
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910492236.4A
Other languages
English (en)
Inventor
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN201910492236.4A priority Critical patent/CN110196868A/zh
Publication of CN110196868A publication Critical patent/CN110196868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及基于分布式的工单流程监控方法，包括：A.通过AOP切面技术，以动态代理的方式，监测工单流程对象的存储行为并拦截实体的工单对象；B.将工单对象中的数据转换为消息队列的接收端能够识别和处理的格式后，将其推送到消息队列中；C.根据工单对象的数据量启用相适应数量的多接收端来监听消息队列，并获取消息队列中的工单对象的数据；D.通过工单对象的数据确定工单类型，根据不同的工单类型进行分布式计算，得到新的监控数据，并将新的监控数据更新到数据库中；E.监控平台统一实时从所述数据库中获取各类型工单流程的监控数据，并对各监控指标进行预警。本发明能够高效的处理并计算工单数据，而且保证了监控数据查询的实时性。

Description

基于分布式的工单流程监控方法
技术领域
本发明涉及计算机处理流程的监控方法，具体的讲是基于分布式的工单流程监控方法。
背景技术
在对工单流程的监控中，目前的监控方式主要有两种：第一种是系统直接查询数据库的数据，将各个工单流程节点的数据实时查询统计后进行计算，再返回到监控前端。这种方式在数据量大的时候，效率会有很大的限制，并且对数据库的压力很大，有造成数据库或服务器崩溃的可能性。第二种方式是统一由大数据中心定时抽取工单数据，再进行计算整合，系统调用大数据服务获取监控数据。这种方式在数据实时性上略低，并且依赖于大数据抽数计算方案的执行结果与效率。由此可见，目前的两种方式都有其明显的不足，需要开发出一种新的方式，结合二者的优点，克服其缺点。
发明内容
本发明提供了一种基于分布式的工单流程监控方法，可以高效的处理并计算工单数据，而且保证监控数据查询的实时性。
本发明基于分布式的工单流程监控方法，包括：
A.通过AOP(面向切面编程)切面技术，以动态代理的方式，监测工单流程对象的存储行为并拦截实体的工单对象；
B.将拦截的工单对象中的数据转换为消息队列的接收端能够识别和处理的格式后，将其推送到消息队列中；
C.消息队列的接收端根据工单对象的数据量启用相适应数量的多接收端来监听消息队列，并获取消息队列中的工单对象的数据；
D.通过工单对象的数据确定工单类型，根据不同的工单类型进行分布式计算，得到新的监控数据，并将新的监控数据更新到数据库中；
E.监控平台统一实时从所述数据库中获取各类型工单流程的监控数据，并对各监控指标进行预警。
本发明采用AOP方式对工单数据进行监控和采集，不会入侵业务代码，具有良好的解耦的作用。其中所述的消息队列为常用的分布式消息中间件，用来作为本发明中工单数据的消息中间件，具有高效率、低延时的特性。通过分布式监控和计算的方式降低了单一数据库和服务器的负载压力，为实时查询和读取工单监控信息提供了条件。
进一步的，步骤B中，在工单对象中的数据转换后的格式中至少包括产品类型、产品行为和工单必须的属性字段。例如：消费贷-授信-属性字段(产品类型-产品行为-属性字段)、工薪贷-准入-属性字段等格式形式。
具体的，步骤D中，根据不同的工单类型先创建分布式锁的key和调用分布式锁服务方法lock(key)，然后取出数据库中与各工单类型分别对应的原有的工单监控结果数据，将其与通过步骤C获取的工单对象的数据按照相应的工单业务逻辑进行分布式计算，得到新的监控数据。通过分布式锁可以保证数据的有效性，避免产生脏数据和重复计算。所述的分布式锁服务lock(key)是基于ZooKeeper或Redisson(架设在Redis基础上的一个Java驻内存数据网格)等的一类开源的服务。
优选的，所述的消息队列为MQ消息队列，所述的数据库为Redis数据库。采用Redis数据库作为数据存储，相较于常规数据库来说Redis数据库在缓存数据上有并发高、延迟低的优势；采用MQ消息队列作为实时性消息中间件，能够快速处理并计算工单数据，能够保证监控方案的实时性。
本发明基于分布式的工单流程监控方法，不会入侵业务代码，具有良好的解耦的作用，而且具有高效率、低延时的特点，通过分布式监控和计算的方式降低了单一数据库和服务器的负载压力，非常显著的提高了对工单数据的处理和计算能够，并且保证了监控数据能够进行实时查询和监控。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明基于分布式的工单流程监控方法的流程图。
具体实施方式
如图1所示本发明基于分布式的工单流程监控方法，包括：
A.通过AOP(面向切面编程)切面技术，以动态代理的方式，首先指定需要动态监测的工单流程对象，当监测到工单流程对象的存储行为时，拦截对应的实体的工单对象；采用AOP方式对工单数据进行监控和采集，不会入侵业务代码，具有良好的解耦的作用。
B.对拦截的工单对象中的数据进行数据有效性、完整性校验；校验通过后将工单对象数据转换为MQ消息队列的接收端能够识别和处理的约定格式(产品类型-产品行为-属性字段)后，将格式化后的报文推送到MQ消息队列中。所述的MQ消息队列为业界常用的分布式消息中间件，具有支持高并发、高效率、低延时的特性。
C.MQ消息队列的接收端根据工单对象的数据量启用相适应数量的多接收端来监听MQ消息队列，并获取MQ消息队列中的工单对象的数据。
D.通过工单对象的数据确定工单类型，根据不同的工单类型先创建分布式锁的key，并启用zookeeper分布式锁服务(一个分布式的，开放源码的分布式应用程序协调服务)，调用分布式服务方法：lock(key)，然后取出Redis数据库中与各工单类型分别对应的原有的工单监控结果数据，将其与通过步骤C获取的工单对象的数据按照相应的工单业务逻辑进行分布式计算，得到最新的监控数据，并将新的监控数据更新到Redis数据库中，最后调用分布式锁服务方法:unlock(key)，释放占用的分布式锁。通过分布式锁可以保证数据的有效性，在高并发的情况下可以避免产生脏数据和重复计算。
E.监控平台统一实时从所述Redis数据库中获取各类型工单流程的监控数据，并对各监控指标进行预警。

Claims (4)

1.基于分布式的工单流程监控方法，其特征包括：
A.通过AOP切面技术，以动态代理的方式，监测工单流程对象的存储行为并拦截实体的工单对象；
B.将拦截的工单对象中的数据转换为消息队列的接收端能够识别和处理的格式后，将其推送到消息队列中；
C.消息队列的接收端根据工单对象的数据量启用相适应数量的多接收端来监听消息队列，并获取消息队列中的工单对象的数据；
D.通过工单对象的数据确定工单类型，根据不同的工单类型进行分布式计算，得到新的监控数据，并将新的监控数据更新到数据库中；
E.监控平台统一实时从所述数据库中获取各类型工单流程的监控数据，并对各监控指标进行预警。
2.如权利要求1所述的基于分布式的工单流程监控方法，其特征为：步骤B中，在工单对象中的数据转换后的格式中至少包括产品类型、产品行为和工单必须的属性字段。
3.如权利要求1所述的基于分布式的工单流程监控方法，其特征为：步骤D中，根据不同的工单类型先创建分布式锁的key和调用分布式锁服务方法，然后取出数据库中与各工单类型分别对应的原有的工单监控结果数据，将其与通过步骤C获取的工单对象的数据按照相应的工单业务逻辑进行分布式计算，得到新的监控数据。
4.如权利要求1至3之一所述的基于分布式的工单流程监控方法，其特征为：所述的消息队列为MQ消息队列，所述的数据库为Redis数据库。
CN201910492236.4A 2019-06-06 2019-06-06 基于分布式的工单流程监控方法 Pending CN110196868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492236.4A CN110196868A (zh) 2019-06-06 2019-06-06 基于分布式的工单流程监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492236.4A CN110196868A (zh) 2019-06-06 2019-06-06 基于分布式的工单流程监控方法

Publications (1)

Publication Number Publication Date
CN110196868A true CN110196868A (zh) 2019-09-03

Family

ID=67754093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492236.4A Pending CN110196868A (zh) 2019-06-06 2019-06-06 基于分布式的工单流程监控方法

Country Status (1)

Country Link
CN (1) CN110196868A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781232A (zh) * 2019-09-27 2020-02-11 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN111224814A (zh) * 2019-11-19 2020-06-02 中国联合网络通信集团有限公司 报文处理方法及设备
CN112995339A (zh) * 2021-04-16 2021-06-18 湖南联智科技股份有限公司 一种基于动态字节码技术自动适配传感器数据解析方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053116A1 (en) * 2004-08-31 2006-03-09 Rits Maarten E Dynamic software updating using mobile agent AOP
KR20070113551A (ko) * 2006-05-25 2007-11-29 (주)지피엔이 난분해성 폐액처리를 위한 오존-전기분해/반도체촉매복합장치 및 그 사용방법
CN105303430A (zh) * 2015-11-10 2016-02-03 中国建设银行股份有限公司 一种交易指标采集方法及装置
CN106713226A (zh) * 2015-11-12 2017-05-24 卓望数码技术（深圳）有限公司 一种用于分布式系统的远程过程调用处理方法和系统
CN107515784A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种在分布式系统中计算资源的方法与设备
CN108694199A (zh) * 2017-04-10 2018-10-23 北京京东尚科信息技术有限公司 数据同步装置、方法、存储介质及电子设备
CN109255701A (zh) * 2018-08-27 2019-01-22 宜人恒业科技发展（北京）有限公司 一种网贷业务数据处理方法
CN109344226A (zh) * 2018-10-11 2019-02-15 北京奇艺世纪科技有限公司 一种索引数据更新方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053116A1 (en) * 2004-08-31 2006-03-09 Rits Maarten E Dynamic software updating using mobile agent AOP
KR20070113551A (ko) * 2006-05-25 2007-11-29 (주)지피엔이 난분해성 폐액처리를 위한 오존-전기분해/반도체촉매복합장치 및 그 사용방법
CN105303430A (zh) * 2015-11-10 2016-02-03 中国建设银行股份有限公司 一种交易指标采集方法及装置
CN106713226A (zh) * 2015-11-12 2017-05-24 卓望数码技术（深圳）有限公司 一种用于分布式系统的远程过程调用处理方法和系统
CN107515784A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种在分布式系统中计算资源的方法与设备
CN108694199A (zh) * 2017-04-10 2018-10-23 北京京东尚科信息技术有限公司 数据同步装置、方法、存储介质及电子设备
CN109255701A (zh) * 2018-08-27 2019-01-22 宜人恒业科技发展（北京）有限公司 一种网贷业务数据处理方法
CN109344226A (zh) * 2018-10-11 2019-02-15 北京奇艺世纪科技有限公司 一种索引数据更新方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781232A (zh) * 2019-09-27 2020-02-11 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN111224814A (zh) * 2019-11-19 2020-06-02 中国联合网络通信集团有限公司 报文处理方法及设备
CN112995339A (zh) * 2021-04-16 2021-06-18 湖南联智科技股份有限公司 一种基于动态字节码技术自动适配传感器数据解析方法

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
US11868373B2 (en) Method and apparatus for monitoring an in-memory computer system
CN107038222B (zh) 数据库缓存实现方法及其系统
CN105426292A (zh) 一种游戏日志实时处理系统及方法
US10671627B2 (en) Processing a data set
CN110196868A (zh) 基于分布式的工单流程监控方法
CN111339175B (zh) 数据处理方法、装置、电子设备及可读存储介质
US8738767B2 (en) Mainframe management console monitoring
CN112749056A (zh) 应用服务指标监控方法、装置、计算机设备和存储介质
US11645179B2 (en) Method and apparatus of monitoring interface performance of distributed application, device and storage medium
CN108170832B (zh) 一种面向工业大数据的异构数据库的监控系统及监控方法
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN113762906B (zh) 任务周期延迟的告警方法、装置、设备及存储介质
CN113448812A (zh) 微服务场景下的监控告警方法及装置
US20120254416A1 (en) Mainframe Event Correlation
US8738768B2 (en) Multiple destinations for mainframe event monitoring
CN105989163A (zh) 数据实时处理方法及系统
CN107590199B (zh) 一种面向内存的多线程数据库设计方法
CN113761079A (zh) 数据访问方法、系统和存储介质
US11797366B1 (en) Identifying a root cause of an error
CN115587147A (zh) 一种数据处理方法及系统
CN110928938B (zh) 一种接口中间件系统
CN114077532A (zh) 一种sql语句执行效率检测方法及装置
CN113434513A (zh) 用户标签数据存储方法、装置、系统、设备及存储介质
CN112131257A (zh) 数据查询方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190903