CN106156328A - 一种银行运行日志数据监控方法及系统 - Google Patents

一种银行运行日志数据监控方法及系统 Download PDF

Info

Publication number
CN106156328A
CN106156328A CN201610528151.3A CN201610528151A CN106156328A CN 106156328 A CN106156328 A CN 106156328A CN 201610528151 A CN201610528151 A CN 201610528151A CN 106156328 A CN106156328 A CN 106156328A
Authority
CN
China
Prior art keywords
node
bank
data
running log
log data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610528151.3A
Other languages
English (en)
Other versions
CN106156328B (zh
Inventor
武岳
张兴华
陈水清
王硕
黄新福
刘继波
曹佳硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201610528151.3A priority Critical patent/CN106156328B/zh
Publication of CN106156328A publication Critical patent/CN106156328A/zh
Application granted granted Critical
Publication of CN106156328B publication Critical patent/CN106156328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种银行运行日志数据监控方法及系统，涉及银行日志监控处理技术领域。方法包括：应用系统节点将银行运行日志数据通过访问客户端和集群管理器发送至各索引节点或路由节点；索引节点或路由节点根据跟踪身份标识进行一致性哈希计算，根据哈希值确定存储节点的第一存储地址；将银行运行日志数据存储到第一存储地址对应的存储节点处；应用系统节点通过访问客户端和集群管理器向索引节点或路由节点发送数据查询请求；索引节点或路由节点根据数据查询条件检索索引表，确定数据查询请求对应的银行运行日志数据的第二存储地址；将数据查询请求发送至第二存储地址对应的存储节点，以使得存储节点将银行运行日志数据反馈到应用系统节点。

Description

一种银行运行日志数据监控方法及系统
技术领域
本发明涉及银行日志监控处理技术领域，尤其涉及一种银行运行日志数据监控方法及系统。
背景技术
当前，在现有的银行应用系统中，总线系统起着至关重要的作用，银行所有的应用系统几乎都要通过总线系统进行连接。总线系统逻辑复杂、通讯协议繁多、交易压力大，因此，保障总线系统安全稳定运行就成了当前银行日常运维工作的重点。
在银行日常运维故障排查中，总线系统也起到了协调的作用，即通过查询并分析总线系统的运行日志，可以有助于快速定位银行应用系统故障点，及时解决应用系统的问题及隐患。目前，银行总线系统的数据处理压力巨大。以中国银行为例，中国银行总线系统日均交易量在2亿笔以上，每秒事务处理量(Transaction Per Second，简称TPS)峰值可以达到6000笔/秒，日均产生日志数据4TB以上，日志条目大于600亿，按历史日志保存30天计算，需要整个日志系统能够加工及处理大于100TB的数据，这对银行日志数据监控系统存储及检索万亿级的日志条目，提出了非常高的性能要求。当前，如何及时高效地处理海量银行运行日志数据成为了一个亟待解决的问题。
发明内容
本发明的实施例提供一种银行运行日志数据监控方法及系统，以解决当前如何及时高效地处理海量银行运行日志数据的问题。
为达到上述目的，本发明采用如下技术方案：
一种银行运行日志数据监控方法，应用于一银行运行日志数据监控系统，所述系统包括多个应用系统节点、多个索引节点或路由节点、多个存储节点以及访问客户端和集群管理器；所述多个应用系统节点与所述访问客户端连接；所述访问客户端与所述集群管理器连接；所述集群管理器与所述多个索引节点或路由节点连接；所述多个索引节点或路由节点分别与各存储节点连接；
所述方法包括：
应用系统节点将银行运行日志数据通过所述访问客户端和集群管理器发送至各索引节点或路由节点；
所述索引节点或路由节点从所述银行运行日志数据中获取跟踪身份标识，并根据所述跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据所述哈希值确定存储节点的第一存储地址；
所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处；
应用系统节点通过所述访问客户端和集群管理器向索引节点或路由节点发送数据查询请求；所述数据查询请求包括数据查询条件；
所述索引节点或路由节点根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址；
所述索引节点或路由节点将所述数据查询请求发送至所述第二存储地址对应的存储节点，以使得所述存储节点将所述数据查询请求对应的银行运行日志数据反馈到所述应用系统节点。
具体的，根据所述哈希值确定存储节点的第一存储地址，包括：
所述索引节点或路由节点根据所述哈希值确定多个存储节点的第一存储地址。
具体的，所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处，包括：
所述索引节点或路由节点判断所述银行运行日志数据的数据指令类型；
若所述数据指令类型为存储指令，所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据均匀存储到多个第一存储地址对应的存储节点处，以使得所述存储节点将银行运行日志数据的数据块存储到各自存储节点的散列链表文件尾部。
进一步的，在所述索引节点或路由节点判断所述银行运行日志数据的数据指令类型之后，还包括：
若所述数据指令类型为提交指令，所述索引节点将所述提交指令发送至所述提交指令对应的存储节点，以使得所述存储节点根据所述跟踪身份标识查找所述存储节点自身的链表头部地址，将所述链表头部地址作为第三存储地址，并向所述索引节点反馈所述第三存储地址；
所述索引节点根据所述第三存储地址生成所述存储节点的数据索引；所述数据索引用于保存所述第三存储地址。
具体的，所述索引节点或路由节点根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址，包括：
所述索引节点或路由节点根据所述数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据；
若检索到数据查询请求对应的银行运行日志数据，所述检索节点或路由节点判断所述银行运行日志数据的存储类型；所述存储类型包括多数据块存储和单数据块存储；
若所述银行运行日志数据的存储类型为多数据块存储，所述检索节点或路由节点确定所述数据查询请求对应的银行运行日志数据的多个第二存储地址；
若所述银行运行日志数据的存储类型为单数据块存储，所述检索节点或路由节点确定所述数据查询请求对应的银行运行日志数据的单个第二存储地址。
进一步的，在确定是否检索到数据查询请求对应的银行运行日志数据之后，还包括：
若未检索到数据查询请求对应的银行运行日志数据，所述检索节点或路由节点向所述应用系统节点反馈检索失败结果。
一种银行运行日志数据监控系统，包括多个应用系统节点、多个索引节点或路由节点、多个存储节点以及访问客户端和集群管理器；所述多个应用系统节点与所述访问客户端连接；所述访问客户端与所述集群管理器连接；所述集群管理器与所述多个索引节点或路由节点连接；所述多个索引节点或路由节点分别与各存储节点连接；
所述应用系统节点，用于将银行运行日志数据通过所述访问客户端和集群管理器发送至各索引节点或路由节点；
所述索引节点或路由节点，用于从所述银行运行日志数据中获取跟踪身份标识，并根据所述跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据所述哈希值确定存储节点的第一存储地址；根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处；
应用系统节点，还用于通过所述访问客户端和集群管理器向索引节点或路由节点发送数据查询请求；所述数据查询请求包括数据查询条件；
所述索引节点或路由节点，还用于根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址；将所述数据查询请求发送至所述第二存储地址对应的存储节点；
所述存储节点，用于将所述数据查询请求对应的银行运行日志数据反馈到所述应用系统节点。
具体的，所述银行运行日志数据监控系统包括多个所述集群管理器；所述多个集群管理器用于同步所述银行运行日志数据。
此外，所述银行运行日志数据监控系统还包括前端管理工具终端，所述前端管理工具终端与所述集群管理器、多个存储节点、多个索引节点及路由节点分别连接；
所述前端管理工具终端，用于监控所述银行运行日志数据监控系统的运行情况数据，并根据所述运行情况数据进行故障分析和数据统计。
此外，所述索引节点或路由节点，具体用于根据所述哈希值确定多个存储节点的第一存储地址。
另外，所述索引节点或路由节点，具体用于判断所述银行运行日志数据的数据指令类型；在所述数据指令类型为存储指令时，根据所述哈希值将所述银行运行日志数据均匀存储到多个第一存储地址对应的存储节点处；
所述存储节点，具体用于将银行运行日志数据的数据块存储到各自存储节点的散列链表文件尾部。
另外，所述索引节点，具体用于在所述数据指令类型为提交指令时，将所述提交指令发送至所述提交指令对应的存储节点；
所述存储节点，具体用于根据所述跟踪身份标识查找所述存储节点自身的链表头部地址，将所述链表头部地址作为第三存储地址，并向所述索引节点反馈所述第三存储地址；
所述索引节点，还用于根据所述第三存储地址生成所述存储节点的数据索引；所述数据索引用于保存所述第三存储地址。
另外，所述索引节点或路由节点，具体用于根据所述数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据；在检索到数据查询请求对应的银行运行日志数据时，判断所述银行运行日志数据的存储类型；所述存储类型包括多数据块存储和单数据块存储；
所述索引节点或路由节点，还用于在所述银行运行日志数据的存储类型为多数据块存储时，确定所述数据查询请求对应的银行运行日志数据的多个第二存储地址；在所述银行运行日志数据的存储类型为单数据块存储，确定所述数据查询请求对应的银行运行日志数据的单个第二存储地址。
另外，所述检索节点或路由节点，还用于在未检索到数据查询请求对应的银行运行日志数据时，向所述应用系统节点反馈检索失败结果。
本发明实施例提供了一种银行运行日志数据监控方法及系统，能够根据应用系统节点的银行运行日志数据的跟踪身份标识进行一致性哈希计算，从而将银行运行日志数据分布式存储入多个存储节点。在需要查询银行运行日志数据时，又可实时从多个存储节点获取银行运行日志数据。本发明能够及时高效地处理海量银行运行日志数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种银行运行日志数据监控方法的流程图一；
图2为本发明实施例提供的一种银行运行日志数据监控方法的流程图二；
图3为本发明实施例中的数据存储结构示意图；
图4为本发明实施例提供一种银行运行日志数据监控系统的结构示意图一；
图5为本发明实施例提供一种银行运行日志数据监控系统的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种银行运行日志数据监控方法，应用于一银行运行日志数据监控系统，所述系统包括多个应用系统节点、多个索引节点或路由节点、多个存储节点以及访问客户端和集群管理器；所述多个应用系统节点与所述访问客户端连接；所述访问客户端与所述集群管理器连接；所述集群管理器与所述多个索引节点或路由节点连接；所述多个索引节点或路由节点分别与各存储节点连接。
该方法包括：
步骤101、应用系统节点将银行运行日志数据通过访问客户端和集群管理器发送至各索引节点或路由节点。
步骤102、索引节点或路由节点从银行运行日志数据中获取跟踪身份标识，并根据跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据哈希值确定存储节点的第一存储地址。
步骤103、索引节点或路由节点根据哈希值将银行运行日志数据存储到第一存储地址对应的存储节点处。
步骤104、应用系统节点通过访问客户端和集群管理器向索引节点或路由节点发送数据查询请求。
其中，数据查询请求包括数据查询条件。
步骤105、索引节点或路由节点根据数据查询条件检索索引表，确定数据查询请求对应的银行运行日志数据的第二存储地址。
步骤106、索引节点或路由节点将数据查询请求发送至第二存储地址对应的存储节点，以使得存储节点将数据查询请求对应的银行运行日志数据反馈到应用系统节点。
本发明实施例提供了一种银行运行日志数据监控方法，能够根据应用系统节点的银行运行日志数据的跟踪身份标识进行一致性哈希计算，从而将银行运行日志数据分布式存储入多个存储节点。在需要查询银行运行日志数据时，又可实时从多个存储节点获取银行运行日志数据。本发明能够及时高效地处理海量银行运行日志数据。
为了使本领域的技术人员更好的理解本发明，下面列举一个更为具体的实施例，如图2所示，本发明实施例提供的一种银行运行日志数据监控方法，应用于上述的银行运行日志数据监控系统，该方法包括：
步骤201、应用系统节点将银行运行日志数据通过访问客户端和集群管理器发送至各索引节点或路由节点。
此处的索引节点可以是记录银行运行日志数据的数据块的地址索引的节点，其可以是例如Hadoop分布式系统中的NameNode节点。
该路由节点可以提供与索引节点分担网络流量相同的功能，但是其不记录索引。当存储节点达到一定数量时，索引节点的网络传输压力会增大，因此需要通过路由负载节点来分散网络压力。路由负载节点的数量需要根据集群的规模及处理压力进行测算。
步骤202、索引节点或路由节点从银行运行日志数据中获取跟踪身份标识，根据跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据哈希值确定多个存储节点的第一存储地址。
步骤203、索引节点或路由节点判断银行运行日志数据的数据指令类型。
若数据指令类型为存储指令，执行如下步骤204；否则，若数据指令类型为提交指令，执行如下步骤205。
步骤204、索引节点或路由节点根据哈希值将银行运行日志数据均匀存储到多个第一存储地址对应的存储节点处，以使得存储节点将银行运行日志数据的数据块存储到各自存储节点的散列链表文件尾部。
该存储节点可以是例如Hadoop分布式系统中的DataNode节点。例如，该存储节点可以负责将数据块按一定结构存储到磁盘文件中，目前实现的数据块存储是基于链表的，结构可以如图3所示，包括指针块00和数据块01。其中，每个指针块均包含指向下一个存储数据块的指针，指针块大小为12字节，定义如下：第1位表示结束标识0x00表示结束，0x01表示未结束；第2位表示存储文件序号；第3-8位表示下一个数据块地址，高位在前；第9-12位表示下一个数据块大小，高位在前。
步骤205、索引节点将提交指令发送至提交指令对应的存储节点，以使得存储节点根据跟踪身份标识查找存储节点自身的链表头部地址，将链表头部地址作为第三存储地址，并向索引节点反馈第三存储地址。
步骤206、索引节点根据第三存储地址生成存储节点的数据索引。
其中，数据索引用于保存第三存储地址。
步骤207、应用系统节点通过访问客户端和集群管理器向索引节点或路由节点发送数据查询请求。
其中，数据查询请求包括数据查询条件。该数据查询条件可以为银行运行日志数据中的交易时间、交易码等。
步骤208、索引节点或路由节点根据数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据。
若检索到数据查询请求对应的银行运行日志数据，执行步骤209。否则，若未检索到数据查询请求对应的银行运行日志数据，执行步骤210。
步骤209、检索节点或路由节点判断银行运行日志数据的存储类型。
存储类型包括多数据块存储和单数据块存储。
在步骤209之后，可以执行步骤211或者步骤212。
步骤210、检索节点或路由节点向应用系统节点反馈检索失败结果。
步骤211、若银行运行日志数据的存储类型为多数据块存储，检索节点或路由节点确定数据查询请求对应的银行运行日志数据的多个第二存储地址。
步骤212、若银行运行日志数据的存储类型为单数据块存储，检索节点或路由节点确定数据查询请求对应的银行运行日志数据的单个第二存储地址。
在上述步骤211和步骤212之后，可以执行步骤213。
步骤213、索引节点或路由节点将数据查询请求发送至第二存储地址对应的存储节点，以使得存储节点将数据查询请求对应的银行运行日志数据反馈到应用系统节点。
在应用系统节点获取到银行运行日志数据后，可以以动态图表等形式进行展示。
本发明实施例提供了一种银行运行日志数据监控方法，能够根据应用系统节点的银行运行日志数据的跟踪身份标识进行一致性哈希计算，从而将银行运行日志数据分布式存储入多个存储节点，实现了数据存储的一致性与软负载均衡。在需要查询银行运行日志数据时，又可实时从多个存储节点获取银行运行日志数据。本发明能够及时高效地处理海量银行运行日志数据。
对于上述图2所述的各步骤，可以有如下的典型应用场景。例如，对于银行中TPS较高的交易每笔约产生150-200条监控日志，同时产生一个交易索引，有些逻辑复杂的交易产生监控日志较多，但这部分交易TPS较低，因此监控日志产生速率平均约200-300TPS。基于主流配置PC机的测试结果，每条监控日志在150字节左右(实际情况比该150字节要小)，使用链表记录数据块，可以达到约260000TPS的记录效率，对应实际交易峰值大约为1250-1500TPS。存储节点可以线性扩展，经计算，在生产环境下，当打开50％的交易监控日志时，2个存储节点即可满足中国银行总线系统的日志记录需要。
数据检索时，先通过索引节点查出数据块起始位置，再从存储节点中提取完整的数据块。基于主流配置PC机的测试结果，每条数据150字节左右，每秒可以提取230000笔监控日志。典型测试，提取1500笔监控日志，数据量大小约215KB，提取耗时30毫秒左右。
存储节点启动时，通过集群管理器与索引节点建立连接，索引节点使用一致性哈希算法将数据块均匀写入每个存储节点中。由于应用监控日志系统主要记录的是交易监控日志，因此暂不考虑数据可靠性，存储节点数据不做冗余处理。如果某个存储节点失效，只会丢失当前正在记录的数据块；如果某个存储节点文件系统损坏，只会丢失本节点存储的数据，不会影响其他节点。
本发明可以使用多种手段进行性能调整及优化，例如使用随机读写性能较好的XFS、EXT4等文件系统，根据磁盘阵列的配置，调整哈希散列文件数量以最大程度地利用磁盘阵列的性能等。
对应于上述图1、图2所示的方法实施例，如图4所示，本发明实施例提供一种银行运行日志数据监控系统，包括多个应用系统节点31、多个索引节点或路由节点32、多个存储节点33以及访问客户端34和集群管理器35。该多个应用系统节点31与所述访问客户端34连接。该访问客户端34与所述集群管理器35连接。所述集群管理器35与所述多个索引节点或路由节点32连接；所述多个索引节点或路由节点32分别与各存储节点33连接。
所述应用系统节点31，用于将银行运行日志数据通过所述访问客户端34和集群管理器35发送至各索引节点或路由节点32。
所述索引节点或路由节点32，用于从所述银行运行日志数据中获取跟踪身份标识，并根据所述跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据所述哈希值确定存储节点33的第一存储地址；根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点33处。
应用系统节点31，还用于通过所述访问客户端34和集群管理器35向索引节点或路由节点32发送数据查询请求；所述数据查询请求包括数据查询条件。
此处的访问客户端34可以作为应用系统节点查询数据的接口。访问客户端分别提供Java语言及C语言的API接口，封装底层通讯及协议，提供给应用系统节点便捷的开发接口。采用Java语言的访问客户端可以使用RMI协议，简化通讯协议开发，但不如长连接效率高。
所述索引节点或路由节点32，还用于根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址；将所述数据查询请求发送至所述第二存储地址对应的存储节点33。
所述存储节点33，用于将所述数据查询请求对应的银行运行日志数据反馈到所述应用系统节点31。
具体的，如图5所示，该银行运行日志数据监控系统可以包括多个所述集群管理器35；该多个集群管理器35用于同步所述银行运行日志数据。例如，该集群管理器35可有2个。
此处的集群管理器35作为整个分布式集群的管理节点，负责管理集群中所有应用系统节点的状态、配置及共享数据，同时在集群启动时，负责协调并建立各个节点间的通讯连接。当应用系统节点发生变化时(节点失效、新增节点)，负责通知集群所有运行中的应用系统节点，以使用新的配置数据。由于当前的Zookeeper机制比较复杂，参考资料不是很丰富，因此未采用Zookeeper机制。集群管理器采用双节点(即上述采用2个集群管理器的方式)热备份模式，数据自动同步。当其中一个集群管理器节点失效时，不会影响整个集群的运行。集群管理器仅在系统启动、节点发生变化时起到协调及通知的作用，如果所有的集群管理器节点均失效，不会影响正在运行中的集群，恢复集群管理器时，仅仅需要重新启动进程即可。需要说明的是，在现有技术中，分布式系统的协调服务主要依赖于上述的ZooKeeper机制，本发明考虑到系统运维现状，为了不增加运维人员的劳动强度，设计并采用了上述的集群管理器方案，基本可以实现ZooKeeper的大部分功能。
此外，如图5所示，该银行运行日志数据监控系统还包括前端管理工具终端36，所述前端管理工具终端36与所述集群管理器35、多个存储节点33、多个索引节点及路由节点32分别连接；
所述前端管理工具终端36，用于监控所述银行运行日志数据监控系统的运行情况数据，并根据所述运行情况数据进行故障分析和数据统计。
此外，所述索引节点或路由节点32，具体用于根据所述哈希值确定多个存储节点33的第一存储地址。
另外，所述索引节点或路由节点32，具体用于判断所述银行运行日志数据的数据指令类型；在所述数据指令类型为存储指令时，根据所述哈希值将所述银行运行日志数据均匀存储到多个第一存储地址对应的存储节点33处；
所述存储节点33，具体用于将银行运行日志数据的数据块存储到各自存储节点33的散列链表文件尾部。
另外，所述索引节点32，具体用于在所述数据指令类型为提交指令时，将所述提交指令发送至所述提交指令对应的存储节点33。
所述存储节点33，具体用于根据所述跟踪身份标识查找所述存储节点33自身的链表头部地址，将所述链表头部地址作为第三存储地址，并向所述索引节点反馈所述第三存储地址。
所述索引节点32，还用于根据所述第三存储地址生成所述存储节点33的数据索引；所述数据索引用于保存所述第三存储地址。
另外，所述索引节点或路由节点32，具体用于根据所述数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据；在检索到数据查询请求对应的银行运行日志数据时，判断所述银行运行日志数据的存储类型；所述存储类型包括多数据块存储和单数据块存储。
所述索引节点或路由节点32，还用于在所述银行运行日志数据的存储类型为多数据块存储时，确定所述数据查询请求对应的银行运行日志数据的多个第二存储地址；在所述银行运行日志数据的存储类型为单数据块存储，确定所述数据查询请求对应的银行运行日志数据的单个第二存储地址。
另外，所述检索节点或路由节点32，还用于在未检索到数据查询请求对应的银行运行日志数据时，向所述应用系统节点31反馈检索失败结果。
本发明实施例提供了一种银行运行日志数据监控系统，能够根据应用系统节点的银行运行日志数据的跟踪身份标识进行一致性哈希计算，从而将银行运行日志数据分布式存储入多个存储节点。在需要查询银行运行日志数据时，又可实时从多个存储节点获取银行运行日志数据。本发明能够及时高效地处理海量银行运行日志数据。
值得说明的是，本发明的发明人在设计本发明实施例提供的银行运行日志数据监控系统时，考虑到目前的银行的生产运维现状，不依赖于开源软件如Hadoop、HBase、ZooKeeper，独立设计了本发明的银行运行日志数据监控系统，通过部署廉价的X86平台应用集群，可以实时加工并处理PB级的数据，完全满足生产环境的监控需要。银行运行日志数据监控系统同时提供了Java语言及C语言的API接口，可以适用于较多产品系统，并提供功能强大的前端管理工具，运维人员可以通过这些工具实时监控应用系统的运行情况，并根据需要实时采集应用系统的日志用于故障分析及数据统计。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种银行运行日志数据监控方法，其特征在于，应用于一银行运行日志数据监控系统，所述系统包括多个应用系统节点、多个索引节点或路由节点、多个存储节点以及访问客户端和集群管理器；所述多个应用系统节点与所述访问客户端连接；所述访问客户端与所述集群管理器连接；所述集群管理器与所述多个索引节点或路由节点连接；所述多个索引节点或路由节点分别与各存储节点连接；
所述方法包括：
应用系统节点将银行运行日志数据通过所述访问客户端和集群管理器发送至各索引节点或路由节点；
所述索引节点或路由节点从所述银行运行日志数据中获取跟踪身份标识，并根据所述跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据所述哈希值确定存储节点的第一存储地址；
所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处；
应用系统节点通过所述访问客户端和集群管理器向索引节点或路由节点发送数据查询请求；所述数据查询请求包括数据查询条件；
所述索引节点或路由节点根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址；
所述索引节点或路由节点将所述数据查询请求发送至所述第二存储地址对应的存储节点，以使得所述存储节点将所述数据查询请求对应的银行运行日志数据反馈到所述应用系统节点。
2.根据权利要求1所述的银行运行日志数据监控方法，其特征在于，根据所述哈希值确定存储节点的第一存储地址，包括：
所述索引节点或路由节点根据所述哈希值确定多个存储节点的第一存储地址。
3.根据权利要求2所述的银行运行日志数据监控方法，其特征在于，所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处，包括：
所述索引节点或路由节点判断所述银行运行日志数据的数据指令类型；
若所述数据指令类型为存储指令，所述索引节点或路由节点根据所述哈希值将所述银行运行日志数据均匀存储到多个第一存储地址对应的存储节点处，以使得所述存储节点将银行运行日志数据的数据块存储到各自存储节点的散列链表文件尾部。
4.根据权利要求3所述的银行运行日志数据监控方法，其特征在于，在所述索引节点或路由节点判断所述银行运行日志数据的数据指令类型之后，还包括：
若所述数据指令类型为提交指令，所述索引节点将所述提交指令发送至所述提交指令对应的存储节点，以使得所述存储节点根据所述跟踪身份标识查找所述存储节点自身的链表头部地址，将所述链表头部地址作为第三存储地址，并向所述索引节点反馈所述第三存储地址；
所述索引节点根据所述第三存储地址生成所述存储节点的数据索引；所述数据索引用于保存所述第三存储地址。
5.根据权利要求4所述的银行运行日志数据监控方法，其特征在于，所述索引节点或路由节点根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址，包括：
所述索引节点或路由节点根据所述数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据；
若检索到数据查询请求对应的银行运行日志数据，所述检索节点或路由节点判断所述银行运行日志数据的存储类型；所述存储类型包括多数据块存储和单数据块存储；
若所述银行运行日志数据的存储类型为多数据块存储，所述检索节点或路由节点确定所述数据查询请求对应的银行运行日志数据的多个第二存储地址；
若所述银行运行日志数据的存储类型为单数据块存储，所述检索节点或路由节点确定所述数据查询请求对应的银行运行日志数据的单个第二存储地址。
6.根据权利要求5所述的银行运行日志数据监控方法，其特征在于，在确定是否检索到数据查询请求对应的银行运行日志数据之后，还包括：
若未检索到数据查询请求对应的银行运行日志数据，所述检索节点或路由节点向所述应用系统节点反馈检索失败结果。
7.一种银行运行日志数据监控系统，其特征在于，包括：多个应用系统节点、多个索引节点或路由节点、多个存储节点以及访问客户端和集群管理器；所述多个应用系统节点与所述访问客户端连接；所述访问客户端与所述集群管理器连接；所述集群管理器与所述多个索引节点或路由节点连接；所述多个索引节点或路由节点分别与各存储节点连接；
所述应用系统节点，用于将银行运行日志数据通过所述访问客户端和集群管理器发送至各索引节点或路由节点；
所述索引节点或路由节点，用于从所述银行运行日志数据中获取跟踪身份标识，并根据所述跟踪身份标识进行一致性哈希计算，确定银行运行日志数据对应的哈希值，并根据所述哈希值确定存储节点的第一存储地址；根据所述哈希值将所述银行运行日志数据存储到所述第一存储地址对应的存储节点处；
应用系统节点，还用于通过所述访问客户端和集群管理器向索引节点或路由节点发送数据查询请求；所述数据查询请求包括数据查询条件；
所述索引节点或路由节点，还用于根据所述数据查询条件检索索引表，确定所述数据查询请求对应的银行运行日志数据的第二存储地址；将所述数据查询请求发送至所述第二存储地址对应的存储节点；
所述存储节点，用于将所述数据查询请求对应的银行运行日志数据反馈到所述应用系统节点。
8.根据权利要求7所述的银行运行日志数据监控系统，其特征在于，所述银行运行日志数据监控系统包括多个所述集群管理器；所述多个集群管理器用于同步所述银行运行日志数据。
9.根据权利要求7所述的银行运行日志数据监控系统，其特征在于，所述银行运行日志数据监控系统还包括前端管理工具终端，所述前端管理工具终端与所述集群管理器、多个存储节点、多个索引节点及路由节点分别连接；
所述前端管理工具终端，用于监控所述银行运行日志数据监控系统的运行情况数据，并根据所述运行情况数据进行故障分析和数据统计。
10.根据权利要求7所述的银行运行日志数据监控系统，其特征在于，所述索引节点或路由节点，具体用于根据所述哈希值确定多个存储节点的第一存储地址。
11.根据权利要求10所述的银行运行日志数据监控系统，其特征在于，所述索引节点或路由节点，具体用于判断所述银行运行日志数据的数据指令类型；在所述数据指令类型为存储指令时，根据所述哈希值将所述银行运行日志数据均匀存储到多个第一存储地址对应的存储节点处；
所述存储节点，具体用于将银行运行日志数据的数据块存储到各自存储节点的散列链表文件尾部。
12.根据权利要求11所述的银行运行日志数据监控系统，其特征在于，所述索引节点，具体用于在所述数据指令类型为提交指令时，将所述提交指令发送至所述提交指令对应的存储节点；
所述存储节点，具体用于根据所述跟踪身份标识查找所述存储节点自身的链表头部地址，将所述链表头部地址作为第三存储地址，并向所述索引节点反馈所述第三存储地址；
所述索引节点，还用于根据所述第三存储地址生成所述存储节点的数据索引；所述数据索引用于保存所述第三存储地址。
13.根据权利要求12所述的银行运行日志数据监控系统，其特征在于，所述索引节点或路由节点，具体用于根据所述数据查询条件检索索引表，并确定是否检索到数据查询请求对应的银行运行日志数据；在检索到数据查询请求对应的银行运行日志数据时，判断所述银行运行日志数据的存储类型；所述存储类型包括多数据块存储和单数据块存储；
所述索引节点或路由节点，还用于在所述银行运行日志数据的存储类型为多数据块存储时，确定所述数据查询请求对应的银行运行日志数据的多个第二存储地址；在所述银行运行日志数据的存储类型为单数据块存储，确定所述数据查询请求对应的银行运行日志数据的单个第二存储地址。
14.根据权利要求13所述的银行运行日志数据监控系统，其特征在于，所述检索节点或路由节点，还用于在未检索到数据查询请求对应的银行运行日志数据时，向所述应用系统节点反馈检索失败结果。
CN201610528151.3A 2016-07-06 2016-07-06 一种银行运行日志数据监控方法及系统 Active CN106156328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610528151.3A CN106156328B (zh) 2016-07-06 2016-07-06 一种银行运行日志数据监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610528151.3A CN106156328B (zh) 2016-07-06 2016-07-06 一种银行运行日志数据监控方法及系统

Publications (2)

Publication Number Publication Date
CN106156328A true CN106156328A (zh) 2016-11-23
CN106156328B CN106156328B (zh) 2019-05-07

Family

ID=58061968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610528151.3A Active CN106156328B (zh) 2016-07-06 2016-07-06 一种银行运行日志数据监控方法及系统

Country Status (1)

Country Link
CN (1) CN106156328B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789301A (zh) * 2016-12-29 2017-05-31 北京神州绿盟信息安全科技股份有限公司 一种生成web网关的运行日志的方法及装置
CN107102918A (zh) * 2017-05-26 2017-08-29 郑州云海信息技术有限公司 一种数据处理方法和装置
CN108429657A (zh) * 2018-02-28 2018-08-21 新华三技术有限公司 报文采样方法、装置及报文处理设备
CN108809467A (zh) * 2018-05-22 2018-11-13 深圳华博高科光电技术有限公司 监控图片认证的方法、装置及计算机可读存储介质
CN109104407A (zh) * 2018-06-29 2018-12-28 国网湖南省电力有限公司 一种基于特征检索的网络日志在线跟踪方法及系统
CN111352901A (zh) * 2020-03-23 2020-06-30 郑州智利信信息技术有限公司 一种基于计算机的监控数据存储方法
CN112860695A (zh) * 2021-02-08 2021-05-28 北京百度网讯科技有限公司 监控数据查询方法、装置、设备、存储介质及程序产品
CN113806611A (zh) * 2020-06-17 2021-12-17 海信集团有限公司 一种存储搜索引擎结果的方法及设备
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法
CN114862589A (zh) * 2022-07-07 2022-08-05 中国长江三峡集团有限公司 一种基于区块链的交易数据处理方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038590A (zh) * 2007-04-13 2007-09-19 武汉大学 一种空间数据集群存储系统及其数据查询方法
CN101505472A (zh) * 2008-02-05 2009-08-12 华为技术有限公司 一种用户数据服务器系统和装置
US20100023726A1 (en) * 2008-07-28 2010-01-28 Aviles Joaquin J Dual Hash Indexing System and Methodology
CN102567495A (zh) * 2011-12-22 2012-07-11 国网信息通信有限公司 一种海量信息存储系统及实现方法
CN102737127A (zh) * 2012-06-20 2012-10-17 厦门聚海源物联网络技术有限公司 一种海量数据存储方法
CN103116661A (zh) * 2013-03-20 2013-05-22 广东宜通世纪科技股份有限公司 一种数据库的数据处理方法
CN103544261A (zh) * 2013-10-16 2014-01-29 国家计算机网络与信息安全管理中心 一种海量结构化日志数据全局索引管理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038590A (zh) * 2007-04-13 2007-09-19 武汉大学 一种空间数据集群存储系统及其数据查询方法
CN101505472A (zh) * 2008-02-05 2009-08-12 华为技术有限公司 一种用户数据服务器系统和装置
US20100023726A1 (en) * 2008-07-28 2010-01-28 Aviles Joaquin J Dual Hash Indexing System and Methodology
CN102567495A (zh) * 2011-12-22 2012-07-11 国网信息通信有限公司 一种海量信息存储系统及实现方法
CN102737127A (zh) * 2012-06-20 2012-10-17 厦门聚海源物联网络技术有限公司 一种海量数据存储方法
CN103116661A (zh) * 2013-03-20 2013-05-22 广东宜通世纪科技股份有限公司 一种数据库的数据处理方法
CN103544261A (zh) * 2013-10-16 2014-01-29 国家计算机网络与信息安全管理中心 一种海量结构化日志数据全局索引管理方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789301A (zh) * 2016-12-29 2017-05-31 北京神州绿盟信息安全科技股份有限公司 一种生成web网关的运行日志的方法及装置
CN106789301B (zh) * 2016-12-29 2020-11-20 北京神州绿盟信息安全科技股份有限公司 一种生成web网关的运行日志的方法及装置
CN107102918A (zh) * 2017-05-26 2017-08-29 郑州云海信息技术有限公司 一种数据处理方法和装置
CN108429657A (zh) * 2018-02-28 2018-08-21 新华三技术有限公司 报文采样方法、装置及报文处理设备
CN108809467A (zh) * 2018-05-22 2018-11-13 深圳华博高科光电技术有限公司 监控图片认证的方法、装置及计算机可读存储介质
CN109104407B (zh) * 2018-06-29 2020-10-02 国网湖南省电力有限公司 一种基于特征检索的网络日志在线跟踪方法及系统
CN109104407A (zh) * 2018-06-29 2018-12-28 国网湖南省电力有限公司 一种基于特征检索的网络日志在线跟踪方法及系统
CN111352901A (zh) * 2020-03-23 2020-06-30 郑州智利信信息技术有限公司 一种基于计算机的监控数据存储方法
CN113806611A (zh) * 2020-06-17 2021-12-17 海信集团有限公司 一种存储搜索引擎结果的方法及设备
CN112860695A (zh) * 2021-02-08 2021-05-28 北京百度网讯科技有限公司 监控数据查询方法、装置、设备、存储介质及程序产品
CN112860695B (zh) * 2021-02-08 2023-08-04 北京百度网讯科技有限公司 监控数据查询方法、装置、设备、存储介质及程序产品
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法
CN114862589A (zh) * 2022-07-07 2022-08-05 中国长江三峡集团有限公司 一种基于区块链的交易数据处理方法、装置及电子设备
CN114862589B (zh) * 2022-07-07 2022-09-09 中国长江三峡集团有限公司 一种基于区块链的交易数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN106156328B (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN106156328A (zh) 一种银行运行日志数据监控方法及系统
CN109740037B (zh) 多源、异构流态大数据分布式在线实时处理方法及系统
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
RU2705429C1 (ru) Способ и устройство распределенной обработки потоковых данных
CN104778188B (zh) 一种分布式设备日志采集方法
CN108183961A (zh) 一种基于Redis的分布式缓存方法
CN105117171A (zh) 一种能源scada海量数据分布式处理系统及其方法
US11676066B2 (en) Parallel model deployment for artificial intelligence using a primary storage system
CN103440244A (zh) 一种大数据存储优化方法
CN106162219A (zh) 视频云存储方法及系统、预览云存储的视频的方法及系统
CN105138679B (zh) 一种基于分布式缓存的数据处理系统及处理方法
CN101317375A (zh) 网管拓扑数据同步刷新的方法及客户端、服务器端
CN111258978B (zh) 一种数据存储的方法
CN109815026A (zh) 基于分布式组件的电力时序数据库
CN107800808A (zh) 一种基于Hadoop架构的数据存储系统
EP3285186B1 (en) Methods and procedures for timestamp-based indexing of items in real-time storage
CN112671840B (zh) 一种基于区块链技术的跨部门数据共享系统及方法
CN103607418B (zh) 基于云服务数据特征的大规模数据分割系统及分割方法
CN107943802A (zh) 一种日志分析方法和系统
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN108399231A (zh) 一种数据采集方法及Flume数据采集客户端
CN114374701B (zh) 一种多级联动人工智能平台样本模型透明共享装置
CN107491463A (zh) 数据查询的优化方法和系统
CN106547790A (zh) 一种关系型数据库服务系统
CN109829094A (zh) 分布式爬虫系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant