CN111078657A - 一种分布式系统的业务日志查询方法、系统、介质及设备 - Google Patents

一种分布式系统的业务日志查询方法、系统、介质及设备 Download PDF

Info

Publication number
CN111078657A
CN111078657A CN201911367226.4A CN201911367226A CN111078657A CN 111078657 A CN111078657 A CN 111078657A CN 201911367226 A CN201911367226 A CN 201911367226A CN 111078657 A CN111078657 A CN 111078657A
Authority
CN
China
Prior art keywords
log
information
transaction
file
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911367226.4A
Other languages
English (en)
Inventor
肖丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201911367226.4A priority Critical patent/CN111078657A/zh
Publication of CN111078657A publication Critical patent/CN111078657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Abstract

本发明涉及分布式系统的业务日志查询方法、系统、介质及设备。方法包括：生成包括日志属性编号的查询请求，将查询请求发送至分布式服务器；分布式服务器接收并解析查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与交易流水对应的日志起始位置和日志结束位置；根据日志归属日期信息打开对应的日期日志文件，从日期日志文件中获取日志起始位置和日志结束位置之间的日志数据报文，将日志数据报文反馈给请求方。本发明实施例提供的日志查询方法，可快速定位日志所在服务器，服务器上的日志文件以及日志文件中日志段的位置，实现高效查询分布式系统的业务日志，提高了运维工作效率，缩短了故障处理时间。

Description

一种分布式系统的业务日志查询方法、系统、介质及设备
技术领域
本发明涉及信息安全技术领域，尤其涉及一种分布式系统的业务日志查询方法、系统、介质及设备。
背景技术
在大型的业务系统经过了：单服务器到多服务器，再到大型分布式应用处理，在提高了系统的稳定性和可用性以及并发性能和开支成本的同时，分布式系统的运维也出现了很多的难题和缺点。比如：软件升级更新、故障定位、日志分析等。
现有技术中，采用全量日志导入数据库的方式，这样造成数据库空间大量浪费和数据庞大，且成本高、性能冗余。
发明内容
本发明所要解决的技术问题是针对现有技术存在的问题，提供一种分布式系统的业务日志查询方法、系统、介质及设备。
为解决上述技术问题，本发明实施例提供一种分布式系统的业务日志查询方法，包括：生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文，将所述日志数据报文反馈给请求方。
为解决上述技术问题，本发明实施例还提供一种分布式系统的业务日志查询系统，包括：
查询请求生成模块，用于生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
日志查询模块，用于利用所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文；将所述日志数据报文反馈给请求方。
为解决上述技术问题，本发明实施例提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述技术方案所述的分布式系统的业务日志查询方法。
为解决上述技术问题，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述技术方案所述的分布式系统的业务日志查询方法。
本发明的有益效果是：分布式服务器生成的日志信息存储到本服务器日期日志文件中，且通过内存和/或索引记录文件记录日志信息的交易流水以及起止位置；在查询日志信息时，查询请求中包含日志归属主机IP、日志归属日期信息和交易流水；通过日志归谁主机IP可快速定位日志信息所述主机，通过日期信息可以快速定位日期日志文件，通过交易流水查询内存或索引记录文件，获取日志信息的起止位置，根据起止位置从对应的日期日志文件获取日志数据报文。本发明实施例提供的日志查询方法，可快速定位日志所在服务器，服务器上的日志文件以及日志文件中日志段的位置，实现高效查询分布式系统的业务日志，提高了运维工作效率，缩短了故障处理时间。
附图说明
图1为本发明实施例提供的分布式系统的业务日志查询方法的示意性流程图；
图2为本发明一实施例提供的分布式系统的业务日志查询系统示意性结构框图；
图3为本发明另一实施例提供的分布式系统的业务日志查询系统示意性结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种分布式系统的业务日志查询方法的示意性流程图。如图1所示，该方法包括：
生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文，将所述日志数据报文反馈给请求方。
需要说明的是，本发明实施例中，请求方生成包括日志属性编号的查询请求；分布式服务器上部署探针程序，所述探针程序监听查询请求，并按查询规则查找日志数据，并反馈给查询方。具体地，探针程序在接收到查询请求后，解析查询请求，提取查询请求中的日志信息，并定位到对应的索引记录文件，如果索引信息全部加载到内存，则直接读取内存数据文件。每个分布式服务器上一般存在多个索引记录文件；对于大型系统，海量交易日志信息，可以按天记录索引；中小系统，可以按月记录索引。根据业务系统规模，例如每天超过500W交易，则只加载当天索引；低于此值，则从探针程序启动开始，可以将全部索引加载到内存中。
本发明实施例通过在分布式服务器上部署探针程序，即采用查询工具的设计和实现过程，来描述本发明实施例的应用过程。在实际的编码和详细设计上，不受编程语言的限制和细节的变化，解决了在系统运维和故障定位的工作中，重复登录大量分布式系统、手工查找定位交易日志信息的人力时间消耗。
上述实施例中，分布式服务器生成的日志信息存储到本服务器日期日志文件中，且通过内存和/或索引记录文件记录日志信息的交易流水以及起止位置，在查询日志信息时，查询请求中包含日志归属主机IP、日志归属日期信息和交易流水；通过日志所属主机IP可快速定位日志信息所述主机，部署在服务器上的探针程序通过日期信息可以快速定位日期日志文件，通过交易流水查询内存或索引记录文件，获取日志信息的起止位置，根据起止位置从对应的日期日志文件获取日志数据报文，上述实施例提供的日志查询方法，实现高效的查询和定位分布式业务系统日志，且解决了现有技术造成数据库空间大量浪费和数据庞大的问题，大大节约了成本，提高了性能。
本发明实施例提供的日志查询方法，可快速定位日志所在服务器，服务器上的日志文件以及日志文件中日志段的位置，实现高效查询分布式系统的业务日志，提高了运维工作效率，缩短了故障处理时间。正常情况下，在1秒内能够获得对应的日志记录信息。
可选地，所述生成包括日志属性编号的查询请求，包括：获取查询信息，根据所述查询信息从交易记录数据库表中提取与所述查询信息匹配的日志属性编号，根据所述日志属性编号生成查询请求。
需要说明的是，在生成日志信息后，为每段交易日志段生成对应的日志属性编号，日志属性编号至少包括日志归属主机IP、日志归属日志时间和交易流水等关键信息。并将生成的日志属性编号与系统交易信息记录入交易记录数据库表，在查询此交易日志段时，利用该日志属性编号来查询交易日志段的具体报文数据。其中交易记录数据库表如表1所示。
表1
PHONE_NO OP_TIME …… LOGIN_ACCEPT LOG_STREAM
13800000000 2019-11-28… …… 10092284 10.109.22.10:20191128:10092284
交易记录数据库表中包括电话号码PHONE_NO、操作时间OP_TIME、交易流水LOGIN_ACCEPT和日志属性编号LOG_STREAM等。
运维客户端或者其他系统首先通过查询交易记录数据库表获取交易信息对应的唯一日志属性编号，来发起日志查询的请求。查询信息可以为电话号码PHONE_NO、操作时间OP_TIME或交易流水LOGIN_ACCEPT等系统交易信息，根据系统交易信息从交易记录数据库表中查询相应的日志属性编号，进而生成包括日志属性编号的查询请求，日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水。根据日志归属主机IP，建立与对应服务器的探针程序的连接，将包括日志属性编号的查询请求发送给探针程序，探针程序根据日志属性编号快速查询日志，并将日志报文反馈给查询方。因此，本发明实施例根据系统交易的关键信息可以快速定位业务日志所属服务器以及日志所属日期时间等，实现高效查询日志信息。
可选地，所述生成包括日志属性编号的查询请求之前，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，并生成索引信息存储到内存和/或索引记录文件。
需要说明的是，业务系统程序分布式部署在多台服务器上，本发明实施例通过将日志信息格式化后存储在服务器上对应的日期日志文件中，以及生成索引信息存储在内存和/或索引记录文件中，从而实现高效查询分布式系统的日志数据。
可选地，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，包括:将包括日志归属主机IP、日志归属日期信息和交易流水的日志属性编号作为交易日志段的开始报文；所述开始报文之后接日志数据报文；定义交易日志段的结束标记，将所述结束标记作为所述交易日志段的结束报文。
也就是说，日期日志文件中，每一个交易日志段，都以包括日志归属主机IP、日志归属日期信息和交易流水的日志属性编号作为交易日志段的开始报文，之后接日志数据报文，并定义一个特定的交易日志段结束标记，例如：#@*END*@#。一般，结束标记单独输出一行。将结束标记作为交易日志段的结束报文。
例如，位于服务器的日志记录文件debug.log.20191128如下:
……
#@*END*@#
10.109.22.10:20191128:10092284
2019-11-2811:24:30debug-send:<xmlversion＝”1.0”>
……
2019-11-28 11:24:30debug-recv:<xml version＝”1.0”>
……
#@*END*@#
上述实施例中，通过以日志属性编号为开始报文、中间为日志数据报文，定义特定的结束标记作为结束报文，实现对交易日志段的格式化，进而在日志查询时，可以通过开始报文和结束报文快速定位日志数据报文，实现日志数据的高效查询。
可选地，所述生成索引信息存储到内存和/或索引记录文件，包括：确定交易日志段的交易流水、交易日志段的日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度，将所述交易流水、日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度形成索引信息，并将所述索引信息存储到内存和/或索引文件中。
在查询日志时，从内存或索引记录文件中检索索引信息，找到交易流水对应的日志起始位置和结束位置。其中，可以根据日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度确定日志结束位置。打开对应日期的日期日志文件，直接跳到日志起始位置，并读取到日志结束位置，将交易日志段的数据返回给查询方。
可选地，上述实施例还包括：所述分布式服务器上的探针程序对当前日期下的日期日志文件进行实时扫描，当发现新增交易日志段时，生成所述新增交易日志段的索引信息，并将所述索引信息记录到内存和/或索引记录文件中。
需要说明的是，探针程序包括常驻进程，可实现日志文件分析。具体地，探针程序常驻进程，对当前日期下的业务日志文件进行实时(一般可以设定为1分钟)扫描，将新增的交易日志段分析，解析出：唯一交易流水和当前交易日志段的日志起始位置以及出现交易日志段的结束标记的字节长度。将信息固化到索引记录文件存储以及保存到内存形成索引信息。
如果探针程序重启，则将历史的索引记录文件存储的交易流水和日志起始位置、结束长度加载到内存，并继续扫描当前日期日志文件。
上述实施例中，将索引信息写入内存时，同时固话到索引文件，在探针程序启动时，加载索引文件到内存，这样可以有效保证在分布式服务器宕机导致内存索引数据丢失的情况下，仍可以获得索引信息。
可选地，所述索引记录文件包括日索引记录文件和/或月索引记录文件，所述日索引记录文件为将内存中的索引信息以天为单位存入索引记录文件，所述月索引记录文件为将内存中的索引信息以月为单位存入与索引记录文件。
探针程序的逻辑功能：
定时的续接扫描debug.log.20191128日志文件，将从上一次扫描的文件位置开始，将新增的日志信息提取出：交易流水、日志起始位置和日志结束位置，并记录到索引文件20191128.index,格式如下:
……
10.109.22.10:20191128:10092284,1109233-1109988
......
同时在内存中存放索引键值对。
同时，探针程序负责监听一个端口，接收来自查询请求生成模块的查询请求，并将请求中的关键信息分解，查找到对应的索引记录文件或者内存索引，提取交易流水对应的日期的日期日志文件，并打开日期日志文件，获取起始段到结束段的日志数据内容，将结果反馈给查询请求生成模块。
上文结合图1，详细描述了根据本发明实施例提供的分布式系统的业务日志查询方法。下面结合图2和图3，详细描述本发明实施例提供的分布式系统的业务日志查询系统。
如图2和图3所示，本发明实施例还提供一种分布式系统的业务日志查询系统，包括：查询请求生成模块和日志查询模块。
所述查询请求生成模块，用于生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
所述日志查询模块，用于利用所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文，将所述日志数据报文反馈给请求方。
具体地，分布式业务系统的分布式服务器上部署探针程序，探针程序接收并解析查询请求，提取查询请求中的日期信息和交易流水。
上述实施例中，分布式服务器生成的日志信息存储到本服务器日期日志文件中，且通过内存和/或索引记录文件记录日志信息的交易流水以及起止位置，在查询日志信息时，查询请求中包含日志归属主机IP、日志归属日期信息和交易流水；通过日志所属主机IP可快速定位日志信息所述主机，部署在服务器上的探针程序通过日期信息可以快速定位日期日志文件，通过交易流水查询内存或索引记录文件，获取日志信息的起止位置，根据起止位置从对应的日期日志文件中获取日志数据报文。上述实施例提供的日志查询系统，实现高效的查询和定位分布式业务系统日志信息，且解决了现有技术造成数据库空间大量浪费和数据庞大的问题，大大节约了成本，提高了性能。
可选地，还包括交易记录数据库，用于存储交易记录数据库表，所述交易记录数据库表中存储有系统交易信息和日志属性编号。系统交易信息包括电话号码PHONE_NO、操作时间OP_TIME或交易流水LOGIN_ACCEPT等。
所述查询请求生成模块获取查询信息，根据所述查询信息从交易记录数据库表中提取与所述查询信息匹配的日志属性编号，根据所述日志属性编号生成查询请求。
具体地，查询请求生成模块设置日志查询页面，通过日志查询页面输入查询信息。所述查询信息可以为运维查询请求生成模块或者其他系统输入的电话号码PHONE_NO、操作时间OP_TIME或交易流水LOGIN_ACCEPT等系统交易信息。通过这些系统交易信息查询交易记录数据库表，可快速准确获取交易日志对应的日志属性编号。该实施例中，根据系统交易的关键信息可以快速定位业务日志所属服务器以及日志所属日期时间等，实现高效查询日志信息。
可选地，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，并生成索引信息存储到内存和/或索引记录文件。
可选地，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，包括:将包括日志归属主机IP、日志归属日期信息和交易流水的属性编号作为交易日志段的开始报文；所述开始报文之后接日志数据报文；定义交易日志段的结束标记，将所述结束标记作为所述交易日志段的结束报文。
可选地，所述生成索引信息存储到内存和/或索引记录文件，包括：确定交易日志段的交易流水、交易日志段的日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度，将所述交易流水、日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度形成索引信息，并将所述索引信息存储到内存和/或索引文件中。
可选地，所述分布式服务器上的探针程序对当前日期下的日期日志文件进行实时扫描，当发现新增交易日志段时，生成所述新增交易日志段的索引信息，并将所述索引信息记录到内存和/或索引记录文件中。
本发明实施例提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述实施例所述的分布式系统的业务日志查询方法。
为解决上述技术问题，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述的分布式系统的业务日志查询方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式系统的业务日志查询方法，其特征在于，包括：
生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文，将所述日志数据报文反馈给请求方。
2.根据权利要求1所述的方法，其特征在于，所述生成包括日志属性编号的查询请求包括：获取查询信息，根据所述查询信息从交易记录数据库表中提取与所述查询信息匹配的日志属性编号，根据所述日志属性编号生成查询请求。
3.根据权利要求1或2所述的方法，其特征在于，所述生成包括日志属性编号的查询请求之前，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，并生成索引信息存储到内存和/或索引记录文件。
4.根据权利要求3所述的方法，其特征在于，所述分布式服务生成日志信息并格式化后存储到对应的日期日志文件，包括:
将包括日志归属主机IP、日志归属日期信息和交易流水的日志属性编号作为交易日志段的开始报文；所述开始报文之后接日志数据报文；定义交易日志段的结束标记，将所述结束标记作为所述交易日志段的结束报文。
5.根据权利要求4所述的方法，其特征在于，所述生成索引信息存储到内存和/或索引记录文件，包括：
确定交易日志段的交易流水、交易日志段的日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度，将所述交易流水、日志起始位置和自日志起始位置起至出现交易日志段结束标记的字节长度形成索引信息，并将所述索引信息存储到内存和/或索引文件中。
6.根据权利要求4所述的方法，其特征在于，还包括：所述分布式服务器上的探针程序对当前日期下的日期日志文件进行实时扫描，当发现新增交易日志段时，生成所述新增交易日志段的索引信息，并将所述索引信息记录到内存和/或索引记录文件中。
7.根据权利要求4所述的方法，其特征在于，所述索引记录文件包括日索引记录文件和/或月索引记录文件，所述日索引记录文件为将内存中的索引信息以天为单位存入索引记录文件，所述月索引记录文件为将内存中的索引信息以月为单位存入与索引记录文件。
8.一种分布式系统的业务日志查询系统，其特征在于，包括：查询请求生成模块和日志查询模块；
所述查询请求生成模块，用于生成包括日志属性编号的查询请求，所述日志属性编号包括日志归属主机IP、日志归属日期信息和交易流水；将所述查询请求发送至与所述日志归属主机IP对应的分布式服务器；
所述日志查询模块，用于利用所述分布式服务器上部署的探针程序接收并解析所述查询请求，获取日志归属日期信息和交易流水；
从内存和/或索引记录文件中查询与所述交易流水对应的日志起始位置和日志结束位置；
根据所述日志归属日期信息打开所述分布式服务器上对应的日期日志文件，从所述日期日志文件中获取所述日志起始位置和日志结束位置之间的日志数据报文；将所述日志数据报文反馈给请求方。
9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-7任一项所述的分布式系统的业务日志查询方法。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的分布式系统的业务日志查询方法。
CN201911367226.4A 2019-12-26 2019-12-26 一种分布式系统的业务日志查询方法、系统、介质及设备 Pending CN111078657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911367226.4A CN111078657A (zh) 2019-12-26 2019-12-26 一种分布式系统的业务日志查询方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911367226.4A CN111078657A (zh) 2019-12-26 2019-12-26 一种分布式系统的业务日志查询方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN111078657A true CN111078657A (zh) 2020-04-28

Family

ID=70318185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911367226.4A Pending CN111078657A (zh) 2019-12-26 2019-12-26 一种分布式系统的业务日志查询方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN111078657A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680016A (zh) * 2020-05-28 2020-09-18 中国人民银行清算总中心 分布式服务器集群日志数据处理方法、装置及系统
CN111797098A (zh) * 2020-06-30 2020-10-20 北京经纬恒润科技有限公司 一种报文解析方法、装置及车载终端
CN112035550A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 一种故障定位方法及装置
CN112202632A (zh) * 2020-09-24 2021-01-08 建信金融科技有限责任公司 报文的提取方法、装置、电子设备及计算机可读存储介质
CN112540906A (zh) * 2020-12-24 2021-03-23 北京志翔能源技术有限公司 基于探针的业务与数据关系智能解析方法及系统
CN113111071A (zh) * 2021-05-11 2021-07-13 星辰天合（北京）数据科技有限公司 对象处理方法、装置、非易失性存储介质及处理器
CN113343292A (zh) * 2021-05-28 2021-09-03 网易（杭州）网络有限公司 交易编号处理方法、装置、存储介质及计算机设备
CN113705837A (zh) * 2021-09-03 2021-11-26 上海思询信息科技有限公司 一种多品牌服务器查询维保信息方法及装置
CN115629950A (zh) * 2022-12-19 2023-01-20 深圳联友科技有限公司 一种性能测试异步请求处理时间点的提取方法
CN112540906B (zh) * 2020-12-24 2024-04-26 北京志翔信息技术有限公司 基于探针的业务与数据关系智能解析方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028538A1 (en) * 2001-07-31 2003-02-06 Eikenbery Sean A. Distributed database management system
CN101931562A (zh) * 2010-09-29 2010-12-29 杭州华三通信技术有限公司 网络日志的处理方法及设备
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN105824958A (zh) * 2016-03-31 2016-08-03 广州华多网络科技有限公司 一种查询日志的方法、装置和系统
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN108234245A (zh) * 2018-01-09 2018-06-29 上海帝联网络科技有限公司 日志内容及日志数据的筛选方法、装置、系统、可读介质
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及系统
CN109388628A (zh) * 2018-08-28 2019-02-26 平安科技（深圳）有限公司 系统日志查询方法、装置、计算机设备及存储介质
CN110162512A (zh) * 2019-05-05 2019-08-23 中国银行股份有限公司 一种日志检索方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028538A1 (en) * 2001-07-31 2003-02-06 Eikenbery Sean A. Distributed database management system
CN101931562A (zh) * 2010-09-29 2010-12-29 杭州华三通信技术有限公司 网络日志的处理方法及设备
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN105824958A (zh) * 2016-03-31 2016-08-03 广州华多网络科技有限公司 一种查询日志的方法、装置和系统
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN108234245A (zh) * 2018-01-09 2018-06-29 上海帝联网络科技有限公司 日志内容及日志数据的筛选方法、装置、系统、可读介质
CN109388628A (zh) * 2018-08-28 2019-02-26 平安科技（深圳）有限公司 系统日志查询方法、装置、计算机设备及存储介质
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及系统
CN110162512A (zh) * 2019-05-05 2019-08-23 中国银行股份有限公司 一种日志检索方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴文学等: "《SQL Server 2000实用程序》", 北京出版社, pages: 54 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680016A (zh) * 2020-05-28 2020-09-18 中国人民银行清算总中心 分布式服务器集群日志数据处理方法、装置及系统
CN111797098A (zh) * 2020-06-30 2020-10-20 北京经纬恒润科技有限公司 一种报文解析方法、装置及车载终端
CN111797098B (zh) * 2020-06-30 2024-01-19 北京经纬恒润科技股份有限公司 一种报文解析方法、装置及车载终端
CN112035550A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 一种故障定位方法及装置
CN112202632A (zh) * 2020-09-24 2021-01-08 建信金融科技有限责任公司 报文的提取方法、装置、电子设备及计算机可读存储介质
CN112540906A (zh) * 2020-12-24 2021-03-23 北京志翔能源技术有限公司 基于探针的业务与数据关系智能解析方法及系统
CN112540906B (zh) * 2020-12-24 2024-04-26 北京志翔信息技术有限公司 基于探针的业务与数据关系智能解析方法及系统
CN113111071A (zh) * 2021-05-11 2021-07-13 星辰天合（北京）数据科技有限公司 对象处理方法、装置、非易失性存储介质及处理器
CN113343292A (zh) * 2021-05-28 2021-09-03 网易（杭州）网络有限公司 交易编号处理方法、装置、存储介质及计算机设备
CN113705837A (zh) * 2021-09-03 2021-11-26 上海思询信息科技有限公司 一种多品牌服务器查询维保信息方法及装置
CN115629950A (zh) * 2022-12-19 2023-01-20 深圳联友科技有限公司 一种性能测试异步请求处理时间点的提取方法
CN115629950B (zh) * 2022-12-19 2023-04-28 深圳联友科技有限公司 一种性能测试异步请求处理时间点的提取方法

Similar Documents

Publication Publication Date Title
CN111078657A (zh) 一种分布式系统的业务日志查询方法、系统、介质及设备
CN109739934B (zh) 差集对账方法、介质、计算机设备及系统
CN109977110B (zh) 数据清洗方法、装置及设备
US20200322443A1 (en) Techniques for compact data storage of network traffic and efficient search thereof
US10565208B2 (en) Analyzing multiple data streams as a single data object
CN111459985B (zh) 标识信息处理方法及装置
CN108509658B (zh) 一种xml文件的解析方法和装置
CN108647357B (zh) 数据查询的方法及装置
CN106951557B (zh) 日志关联方法、装置和应用其的计算机系统
CN110659282B (zh) 数据路由的构建方法、装置、计算机设备和存储介质
CN112084249A (zh) 一种访问记录提取方法及装置
CN112906024A (zh) 一种数据脱敏方法、装置、存储介质及服务器
CN114116762A (zh) 一种离线数据模糊搜索方法、装置、设备和介质
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN108197277B (zh) 一种统一的数据库管理查询方法以及装置
CN111008183A (zh) 一种用于业务风控日志数据的存储方法及系统
CN110737432A (zh) 一种基于词根表的脚本辅助设计方法及装置
CN100514916C (zh) 安全管理中心系统中的日志格式化单元及方法
CN115309702B (zh) 基于usn日志的文件检索管理方法、装置、系统、设备
CN111414382A (zh) 一种基于MongoDB的慢SQL聚合展示方法和系统
CN114090558A (zh) 针对数据库的数据质量管理方法和装置
CN113760864A (zh) 数据模型的生成方法和装置
CN112749314A (zh) 一种精准高效的目标舆情智能监控系统及方法
US8775528B2 (en) Computer readable recording medium storing linking keyword automatically extracting program, linking keyword automatically extracting method and apparatus
CN112632115A (zh) 一种基于bi的数据查询方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination