CN111158985B - 基于动态规则实时数据监测分析方法及系统 - Google Patents

基于动态规则实时数据监测分析方法及系统 Download PDF

Info

Publication number
CN111158985B
CN111158985B CN201911389263.5A CN201911389263A CN111158985B CN 111158985 B CN111158985 B CN 111158985B CN 201911389263 A CN201911389263 A CN 201911389263A CN 111158985 B CN111158985 B CN 111158985B
Authority
CN
China
Prior art keywords
server
parameter
data
latest
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911389263.5A
Other languages
English (en)
Other versions
CN111158985A (zh
Inventor
周凌君
厉佐瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jialian Payment Co ltd
Original Assignee
Jialian Payment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jialian Payment Co ltd filed Critical Jialian Payment Co ltd
Priority to CN201911389263.5A priority Critical patent/CN111158985B/zh
Publication of CN111158985A publication Critical patent/CN111158985A/zh
Application granted granted Critical
Publication of CN111158985B publication Critical patent/CN111158985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于动态规则实时数据监测分析方法及系统，涉及数据分析技术，其中，所述方法包括：若异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知，则查询预设关系数据库以获取最新配置参数和最新处理规则；利用最新配置参数和最新处理规则对异步日志处理服务器进行调整，调整包括：根据获取的最新配置参数更新异步日志处理服务器的内部缓存；使异步日志处理服务器的规则引擎根据最新处理规则对应的参数重新加载到内存中；利用调整后的异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中。本发明无需应用服务端代码的修改与迭代更新即可实现参数调整和数据维度新增。

Description

基于动态规则实时数据监测分析方法及系统
技术领域
本发明涉及数据分析技术，尤其涉及一种基于动态规则实时数据监测分析方法及系统。
背景技术
现有的数据分析对后台程序有多种要求，如硬编码分析、收集各类数据、对使用终端有无线网络、wifi或应用权限等。其中，数据收集的维度往往也是预设进去的，在需要调整参数和新增维度时，不仅需要更新后台应用程序，还需要对使用终端的软件进行更新，这种方式无法完成更加灵活的数据收集，数据的及时性上也存在相对滞后的问题。
发明内容
本发明针对现有的数据分析存在无法完成更加灵活的数据收集，数据的及时性上也存在相对滞后的问题，提供了一种基于动态规则实时数据监测分析方法及系统。
本发明就上述技术问题而提出的技术方案如下：
一方面，本发明提供了一种基于动态规则实时数据监测分析方法，所述方法包括：
若异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知，则查询预设关系数据库以获取最新配置参数和最新处理规则；
利用所述最新配置参数和所述最新处理规则对所述异步日志处理服务器进行调整，所述调整包括：根据获取的所述最新配置参数更新所述异步日志处理服务器的内部缓存；使所述异步日志处理服务器的规则引擎根据所述最新处理规则对应的参数重新加载到内存中；
利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中。
优选的，所述利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中包括：
利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截得到拦截数据；
根据所述最新配置参数在所述拦截数据中选择需要统计聚合的数据对象；
将选择确定的数据对象注入所述最新处理规则后开始数据匹配，并将匹配到的数据存储到预设分布式数据库中。
优选的，所述对应用服务端的日志流进行拦截包括：
在应用服务端后台增加过滤器对应用服务端的日志流进行拦截；或者
基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截。
优选的，在所述对应用服务端的日志流进行拦截为基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截时，所述后台鉴权系统安全框架为Apache Shiro。
优选的，所述预设关系数据库为Oracle数据库。
优选的，所述预设分布式数据库为HBase分布式架构数据库。
优选的，所述参数规则管理服务器提供从HBase分布式架构数据库查询统计聚合结果服务。
优选的，所述参数更新包括：
修改所述参数规则管理服务器的监测参数；和/或
在所述参数规则管理服务器的监测参数中新增监测维度参数。
另一方面，本发明还提供一种基于动态规则实时数据监测分析系统，包括应用如前述基于动态规则实时数据监测分析方法的异步日志处理服务器器、参数规则管理服务器器及应用服务端。
本发明实施例提供的技术方案带来的有益效果是：
本发明在异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知后进行相应动作，并根据预设关系数据库中存储的最新配置参数及最新处理规则进行调整，从而使得异步日志处理服务器规则引擎的规则模型的动态调整，可实时对参数规则管理服务器中的参数及规则进行调整，可满足监测数据对象的实时设置及处理规则的实时生效，无需应用服务端代码的修改及迭代更新。
进一步的，采用Apache Shiro安全框架更具灵活性、便捷性、实时性，大大缩减决策调整的部署所需的人力成本及时间消耗，也能根据具体需求对相关展示进行更丰富的定制，也兼容不同应用系统的有不同的监测方式解决方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于动态规则实时数据监测分析方法在一实施方式下的流程图；
图2为本发明提供基于动态规则实时数据监测分析系统时序图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，为本发明提供的基于动态规则实时数据监测分析方法在一实施方式下的流程图。如图1所示，所述基于动态规则实时数据监测分析方法可包括如下步骤：
S101：若异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知，则查询预设关系数据库以获取最新配置参数和最新处理规则。
本步骤中，所述异步日志处理服务器可为按照设定规则对日志流进行过滤等处理的服务；所述参数规则管理服务器可为对设置的参数和规则进行管理的服务。
所述参数更新可具体包括：
修改所述参数规则管理服务器的监测参数；和/或
在所述参数规则管理服务器的监测参数中新增监测维度参数。
在所述异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知之前，还可包括如下步骤：
管理员预先访问参数规则管理服务器，管理和设置对应的预定义请求参数和监测参数并设定对应处理统计规则，其中，所述预定义的监测参数可以包括应用服务端的用户登录时间、查询次数等；所述处理统计规则可包括普通的累计、与其他参数相除的比例等。
将预定以请求参数、监测参数及统计规则存储在所述预设关系数据库中，若应用服务端操作响应即可返回。其后，将向异步日志处理服务器发送参数更新通知。
本步骤中，所述预设关系数据库为Oracle数据库。
S102：利用所述最新配置参数和所述最新处理规则对所述异步日志处理服务器进行调整，所述调整包括：根据获取的所述最新配置参数更新所述异步日志处理服务器的内部缓存；使所述异步日志处理服务器的规则引擎根据所述最新处理规则对应的参数重新加载到内存中。
本步骤中，所述根据获取的所述最新配置参数更新所述异步日志处理服务器的内部缓存，可利于所述异步日志处理服务器快速地读取相应参数，从而利于执行处理服务的快速完成。
本步骤中，所述使所述异步日志处理服务器的规则引擎根据所述最新处理规则对应的参数重新加载到内存中，从而利于相应规则在异步日志处理服务器中的快速执行。
S103：利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中。
本步骤中，所述利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中可包括：
1)、利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截得到拦截数据。
此处，所述对应用服务端的日志流进行拦截可通过如下方式实现：
在应用服务端后台增加过滤器对应用服务端的日志流进行拦截；或者，
基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截。而在所述对应用服务端的日志流进行拦截为基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截时，所述后台鉴权系统安全框架为Apache Shiro。
可以理解的是，本发明正是基于非侵入式编程，具体为基于Apache Shiro这类后台鉴权系统及安全框架本身，对用户在操作上的控制信息、用户操作访问的权限都能以切面形式获取到具体数据，通过AOP(Aspect Oriented Programming，面向切面编程)形式注入的方式完成数据拦截处理从而获取日志流的相应数据。此外，还可直接通过日志配置打印对应的权限控制内容，因而用户每一次操作都将对应实时日志流发送到日志过滤处理服务，从而获取日志流的相应数据。
2)、根据所述最新配置参数在所述拦截数据中选择需要统计聚合的数据对象。
可以理解的是，在获取拦截数据后，所述异步日志处理服务器根据所述最新配置参数进行过滤得到需要统计聚合的数据对象。
3)、将选择确定的数据对象注入所述最新处理规则后开始数据匹配，并将匹配到的数据存储到预设分布式数据库中。
本步骤中，所述预设分布式数据库为HBase分布式架构数据库，HBase分布式架构数据库是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库，利于实现对日志流过滤后的得到多维度统计聚合数据进行存储。此处，所述HBase分布式架构数据库采用扩增列的方式实现数据存储，而所述参数规则管理服务器可提供从HBase分布式架构数据库查询统计聚合结果服务。
可以理解的是，注入规则后的所述异步日志处理服务器即实现处理规则的更新，因而更新规则后的异步日志处理服务器实现对满足规则的数据的快速匹配，并将匹配到的数据存储到预设分布式数据库中。
本发明中，在异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知后进行相应动作，并根据预设关系数据库中存储的最新配置参数及最新处理规则进行调整，从而使得异步日志处理服务器规则引擎的规则模型的动态调整，可实时对参数规则管理服务器中的参数及规则进行调整，可满足监测数据对象的实时设置及处理规则的实时生效，无需应用服务端代码的修改及迭代更新。
同时采用Apache Shiro安全框架更具灵活性、便捷性、实时性，大大缩减决策调整的部署所需的人力成本及时间消耗，也能根据具体需求对相关展示进行更丰富的定制，也兼容不同应用系统的有不同的监测方式解决方案。
利用本发明提供的基于动态规则实时数据监测分析方法，可利于实现更加灵活的数据收集，在一定程度上保证数据的及时性，可缩短整个监测分析的流程，能够更加迅捷的捕获建立对应的数据和规则模型。
可以理解的是，初始规则模型可由管理员在参数规则管理服务器中进行人工设置，而在数据的不断变化过程，规则模型可随数据的更新而动态变化。此处，在动态规则模型的逐步生成过程中，基于更新请求在参数规则管理服务器的基础参数表内配置已有的参数，记录参数名及大小，选择相应的参数类型如字符串、数字、时间等，完成配置后，新增参数规则管理服务器的监测参数时只需从基础参数表中选择即可。而在新增监测参数操作完成后，即可将执行步骤S101至S103的流程，以实现实时调整监测参数模型。相应地，实现实时调整处理规则等同理，在此便不再赘述。
参见图2，为本发明提供基于动态规则实时数据监测分析系统时序图。如图2所示，所述基于动态规则实时数据监测分析系统应用前述的基于动态规则实时数据监测分析方法。在通信过程中：
用户在利用终端向应用服务端11发送请求，应用服务端11则对其请求进行响应。异步日志处理服务器12则拦截应用服务端11的日志流，且所述异步日志处理服务器12可利用相应规则对拦截的日志流进行数据处理。其中，所述相应的规则由异步日志处理服务器12向Oracle数据库13发送获取规则请求，则Oracle数据库13向异步日志处理器12返回规则与参数。
Oracle数据库13中规则与参数可由参数规则管理服务器15确定，具体为：参数规则管理服务器15响应管理员进行参数更新请求以供管理员进行相应的配置操作，在完成配置操作后即可将规则通过参数形式存储到Oracle数据库13中，此处，所述参数更新可包括参数修改和/规则修改。
异步日志处理服务器14根据获取到的参数与规则对拦截到的日志流进行数据处理，具体为：异步日志处理服务14利用获取的参数选择需要统计聚合的数据对象并处理，后将处理好的数据对象注入Drools规则引擎中以进行数据匹配，对匹配到数据进行处理即可将处理后得到的数据存储到HBase分布式架构数据库14中。
此处，所述参数规则管理服务器15在提供参数规则设置于查看之外，还可专门的查询可从HBase分布式架构数据库14中查询对应的统计聚合结果，并可加上定制化的二次处理进行分层展示，二次处理可主要包括一些常见的数据可视化算法，而前端则可根据数据结构与形式使用专门的JQuery库展示。
可以理解的是，具体展示表现形式皆可根据具体需求调整，目的只为展示出来的结果能体现对应的数据特征及规律，让使用者可以更直观的进行规则调整，增加或修改对参数的监测与计算。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于动态规则实时数据监测分析方法，其特征在于，所述方法包括：
若异步日志处理服务器接收到参数规则管理服务器发送的参数更新通知，则查询预设关系数据库以获取最新配置参数和最新处理规则；所述预设关系数据库为Oracle数据库；所述参数更新包括：修改所述参数规则管理服务器的监测参数；和/或，在所述参数规则管理服务器的监测参数中新增监测维度参数；
利用所述最新配置参数和所述最新处理规则对所述异步日志处理服务器进行调整，所述调整包括：根据获取的所述最新配置参数更新所述异步日志处理服务器的内部缓存；使所述异步日志处理服务器的规则引擎根据所述最新处理规则对应的参数重新加载到内存中；
利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截以进行数据处理并将处理结果存储在预设分布式数据库中, 包括：利用调整后的所述异步日志处理服务器对应用服务端的日志流进行拦截得到拦截数据；根据所述最新配置参数在所述拦截数据中选择需要统计聚合的数据对象；将选择确定的数据对象注入所述最新处理规则后开始数据匹配，并将匹配到的数据存储到预设分布式数据库中；所述预设分布式数据库为HBase分布式架构数据库。
2.根据权利要求1所述基于动态规则实时数据监测分析方法，其特征在于，所述对应用服务端的日志流进行拦截包括：
在应用服务端后台增加过滤器对应用服务端的日志流进行拦截；或者
基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截。
3.根据权利要求2所述基于动态规则实时数据监测分析方法，其特征在于，在所述对应用服务端的日志流进行拦截为基于应用服务端后台鉴权系统安全框架的过滤器对应用服务端的日志流进行拦截时，所述后台鉴权系统安全框架为Apache Shiro。
4.根据权利要求1所述基于动态规则实时数据监测分析方法，其特征在于，所述参数规则管理服务器提供从HBase分布式架构数据库查询统计聚合结果服务。
5.一种基于动态规则实时数据监测分析系统，其特征在于，包括应用如权利要求1至4任一项所述基于动态规则实时数据监测分析方法的异步日志处理服务器、参数规则管理服务器及应用服务端。
CN201911389263.5A 2019-12-30 2019-12-30 基于动态规则实时数据监测分析方法及系统 Active CN111158985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911389263.5A CN111158985B (zh) 2019-12-30 2019-12-30 基于动态规则实时数据监测分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911389263.5A CN111158985B (zh) 2019-12-30 2019-12-30 基于动态规则实时数据监测分析方法及系统

Publications (2)

Publication Number Publication Date
CN111158985A CN111158985A (zh) 2020-05-15
CN111158985B true CN111158985B (zh) 2024-03-22

Family

ID=70559162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911389263.5A Active CN111158985B (zh) 2019-12-30 2019-12-30 基于动态规则实时数据监测分析方法及系统

Country Status (1)

Country Link
CN (1) CN111158985B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506761B (zh) * 2020-11-26 2022-07-05 福州智象信息技术有限公司 一种生产环境服务端接口调试方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统
CN106357447A (zh) * 2016-09-21 2017-01-25 努比亚技术有限公司 一种配置数据的同步方法及装置
CN108287708A (zh) * 2017-12-22 2018-07-17 深圳市云智融科技有限公司 一种数据处理方法、装置、服务器及计算机可读存储介质
CN109901912A (zh) * 2019-03-01 2019-06-18 厦门容能科技有限公司 一种推荐云主机配置的方法
CN110362456A (zh) * 2018-04-10 2019-10-22 挖财网络技术有限公司 一种获取服务端性能数据的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统
CN106357447A (zh) * 2016-09-21 2017-01-25 努比亚技术有限公司 一种配置数据的同步方法及装置
CN108287708A (zh) * 2017-12-22 2018-07-17 深圳市云智融科技有限公司 一种数据处理方法、装置、服务器及计算机可读存储介质
CN110362456A (zh) * 2018-04-10 2019-10-22 挖财网络技术有限公司 一种获取服务端性能数据的方法及装置
CN109901912A (zh) * 2019-03-01 2019-06-18 厦门容能科技有限公司 一种推荐云主机配置的方法

Also Published As

Publication number Publication date
CN111158985A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN108197237B (zh) 可视化数据采集到展现系统
CN103428525B (zh) 网络视频和电视节目的在线查询和播放控制方法及系统
EP3022708B1 (en) Content source discovery
US8700560B2 (en) Populating a multi-relational enterprise social network with disparate source data
US20140040235A1 (en) Statistics management for database querying
TWI757317B (zh) 一種資訊推送的方法和系統及用戶端和伺服器
CN104935465A (zh) 客户端应用程序的日志产生方法和装置、以及服务器
CN107766378A (zh) 请求信息的发送方法及装置、分布式数据库系统
CN105871919A (zh) 一种网络应用防火墙系统及其实现方法
CN113093596A (zh) 一种控制指令的处理方法和装置
CN111158985B (zh) 基于动态规则实时数据监测分析方法及系统
CN109117127A (zh) 程序代码生成方法、装置及计算机可读存储介质
CN111506611A (zh) 数据的查询方法、装置、设备及存储介质
CN114124490A (zh) 新媒体内容的发布方法及装置、存储介质及电子设备
US11334535B2 (en) Storage and analysis of data records associated with managed devices in a device management platform
CN116226200A (zh) 一种基于bff架构的服务接口数据缓存方法、装置及设备
CN107241385B (zh) 一种物联网数据采集系统及方法
WO2022057525A1 (zh) 一种数据找回方法、装置、电子设备及存储介质
CN117648086A (zh) 脚本文件的转换方法及装置
CN110704436B (zh) 基于Hbase的索引生成方法及装置
CN114064477A (zh) 推荐策略测试方法、装置、计算机设备及存储介质
CN114185543A (zh) 动态页面的生成方法、装置、计算机设备和存储介质
CN114020321A (zh) 一种基于用户行为数据的智能应用界面制定系统和方法
CN102790914A (zh) 一种获取生成用户关注度高的网络视频精华的系统及方法
CN107169019B (zh) 一种视频元数据的查询方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant