CN116126796A - 日志查询方法、装置、计算机设备及存储介质 - Google Patents

日志查询方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116126796A
CN116126796A CN202310307843.5A CN202310307843A CN116126796A CN 116126796 A CN116126796 A CN 116126796A CN 202310307843 A CN202310307843 A CN 202310307843A CN 116126796 A CN116126796 A CN 116126796A
Authority
CN
China
Prior art keywords
log
target
snapshot
information
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310307843.5A
Other languages
English (en)
Inventor
冯洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310307843.5A priority Critical patent/CN116126796A/zh
Publication of CN116126796A publication Critical patent/CN116126796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/128Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/144Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及人工智能技术,提供一种日志查询方法、装置、计算机设备与存储介质,包括:当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息;根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照;确定所述待查询日志在所述初始日志快照中的目标位置;选取所述目标位置处的目标日志快照;对所述目标日志快照进行恢复处理,得到所述待查询日志。本申请能够提高日志查询的效率,促进智慧城市的快速发展。

Description

日志查询方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种日志查询方法、装置、计算机设备及存储介质。
背景技术
日志查询分析是日志管理系统中的重要工作,业界有的日志管理系统把生成时间较久的冷日志数据以tgz格式打包压缩存储在网络文件系统中。当需要检索日志数据时,从网络文件系统中由tgz格式解压压缩包再采集日志数据,实现检索。
在实现本申请的过程中,申请人发现现有技术存在如下问题:在对生成时间较久的日志数据进行查询时,需要先全量级解压日志压缩文本,再从解压得到的日志文件中检索出需要的日志数据,日志查询的效率低下。
因此,有必要提供一种日志查询方法,能够提高日志查询的效率。
发明内容
鉴于以上内容,有必要提出一种日志查询方法、日志查询装置、计算机设备及存储介质,能够提高日志查询的效率。
本申请实施例第一方面提供一种日志查询方法,所述日志查询方法包括:
当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息;
根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照;
确定所述待查询日志在所述初始日志快照中的目标位置;
选取所述目标位置处的目标日志快照;
对所述目标日志快照进行恢复处理,得到所述待查询日志。
进一步地,在本申请实施例提供的上述日志查询方法中,在所述接收到日志查询请求之前,所述方法还包括:
确定日志数据对应的目标判定信息;
根据所述目标判定信息监测所述日志数据是否满足预设迁移条件;
当所述日志数据满足所述预设迁移条件时,迁移所述日志数据至预设数据库;
对所述预设数据库中的所述日志数据进行快照处理,得到日志快照;
确定所述日志数据对应的节点信息,并根据所述节点信息将所述日志快照存储至预设日志关系链路图中的对应节点。
进一步地,在本申请实施例提供的上述日志查询方法中,所述解析所述日志查询请求,得到待查询日志对应的目标日志信息,包括:
确定所述日志查询请求对应的日志请求脚本;
检测所述日志请求脚本中是否存在预设关键词;
当所述日志请求脚本中存在所述预设关键词时,确定所述预设关键词对应的日志信息为目标日志信息。
进一步地,在本申请实施例提供的上述日志查询方法中,所述根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点,包括:
解析所述目标日志信息,得到所述待查询日志对应的第一子系统信息;
确定所述预设日志关系链路图中每一链路节点对应的第二子系统信息,得到第二子系统信息集;
确定所述第二子系统信息集内与所述第一子系统信息匹配的第二子系统信息;
将匹配的第二子系统信息对应的链路节点为目标节点。
进一步地,在本申请实施例提供的上述日志查询方法中,所述根据所述目标日志信息遍历预设日志关系链路图,得到所述目标节点对应的初始日志快照,包括:
遍历预先设置的链路节点与日志快照的映射关系,得到所述目标节点对应的多个日志快照;
解析所述目标日志信息,得到第一日志时间戳;
确定所述多个日志快照对应的第二日志时间戳,得到第二日志时间戳集;
确定所述第二日志时间戳集内与所述第一日志时间戳匹配的第二日志时间戳对应的日志快照作为初始日志快照。
进一步地,在本申请实施例提供的上述日志查询方法中,所述确定所述待查询日志在所述初始日志快照中的目标位置,包括:
根据所述目标日志信息确定所述待查询日志对应的日志内容描述信息;
确定所述日志内容描述信息中的日志关键词;
确定所述初始日志快照中包含所述日志关键词的位置为目标位置。
进一步地,在本申请实施例提供的上述日志查询方法中,所述选取所述目标位置处的目标日志快照,包括:
确定所述目标位置处的日志数据对应的开始日志标识与结束日志标识;
从所述初始日志快照中选取所述开始日志标识与所述结束日志标识对应的日志快照作为目标日志快照。
本申请实施例第二方面还提供一种日志查询装置,所述日志查询装置包括:
查询请求解析模块,用于当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息;
链路图遍历模块,用于根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照;
目标位置确定模块,用于确定所述待查询日志在所述初始日志快照中的目标位置;
目标快照选取模块,用于选取所述目标位置处的目标日志快照;
日志快照恢复模块,用于对所述目标日志快照进行恢复处理,得到所述待查询日志。
本申请实施例第三方面还提供一种计算机设备,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述的日志查询方法。
本申请实施例第四方面还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的日志查询方法。
本申请实施例提供的上述日志查询方法、日志查询装置、计算机设备以及计算机可读存储介质,通过遍历预设日志关系链路图,得到目标日志信息对应的目标节点以及目标节点对应的初始日志快照,然后确定待查询日志在初始日志快照中的目标位置,并选取目标位置处的目标日志快照进行恢复处理,避免对包含较多无需查询的日志数据的日志快照进行恢复处理,能够提高日志查询的效率。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧城市的日志查询模块等,能够促进智慧城市的快速发展。
附图说明
图1是本申请一实施例提供的日志查询方法的流程图。
图2是本申请一实施例提供的预设日志关系链路图的示意图。
图3是本申请一实施例提供的目标节点确定的流程图。
图4是本申请一实施例提供的初始日志快照确定的流程图。
图5是本申请一实施例提供的目标位置确定的流程图。
图6是本申请一实施例提供的日志查询装置的结构图。
图7是本申请一实施例提供的计算机设备的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施例对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例提供的日志查询方法由计算机设备执行,相应地,日志查询装置运行于计算机设备中。图1是本申请一实施例提供的日志查询方法的流程图。如图1所示,所述日志查询方法可以包括如下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略:
S11,当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息。
在本申请的至少一实施例中,所述日志查询请求为预设客户端(例如,手机端、电脑端等)输出的用于查询日志系统中日志数据的请求。在一实施例中,所述日志系统为管理目标应用对应的运行日志数据的系统,所述目标应用可以为任意应用,例如,所述目标应用可以为游戏应用、微信、QQ等,在此不做限制。以所述目标应用为微信为例,所述目标应用中包含各个功能模块,例如,朋友圈功能模块、支付功能模块、沟通功能模块以及订阅号功能模块等。对于每一功能模块,均存在对应的运行日志数据。所述日志系统按照所述目标应用的功能模块划分为各个子系统,每个子系统用于存储对应功能模块的运行日志数据。例如,所述日志系统包含朋友圈子系统、支付子系统、沟通子系统以及订阅号子系统,其中,朋友圈子系统用于存储朋友圈相关的运行日志数据,支付子系统用于存储支付相关的运行日志数据,沟通子系统用于存储沟通相关的运行日志数据,订阅号子系统用于存储订阅号相关的运行日志数据。
可选地,在所述接收到日志查询请求之前,所述方法还包括:
S110,确定日志数据对应的目标判定信息。
在一实施例中,所述日志数据是指存储至所述日志系统中的日志,考虑到日志系统的存储空间,需将日志系统中的部分日志数据迁移至预设数据库中,以保证日志系统能够正常管理日志。所述目标判定信息用于判定日志数据是否满足预设迁移条件,在一实施例中,所述目标判定信息可以为日志数据产生的时间戳信息,在其他实施例中,所述目标判定信息还可以为日志数据的重要度值信息。
S111,根据所述目标判定信息监测所述日志数据是否满足预设迁移条件。
所述预设迁移条件为预先设置的用于将日志数据迁移至预设数据库的条件,在一实施例中,当所述目标判定信息为日志数据产生的时间戳信息时,所述预设迁移条件可以为日志数据产生的时间戳距离当前时间戳超过1个月。所述根据所述目标判定信息监测所述日志数据是否满足预设迁移条件,包括:调用预设计时器确定当前时间戳;确定所述日志数据对应的产生时间戳;计算所述当前时间戳与所述产生时间戳间的时间间隔;当所述时间间隔满足预设迁移条件时,确定所述日志数据满足预设迁移条件;当所述时间间隔未满足预设迁移条件时,确定所述日志数据未满足预设迁移条件。示例性地,所述日志数据的产生时间戳为9月10日,当前时间戳为10月20日,所述时间间隔超过1个月,确定所述日志数据满足预设迁移条件;若当前时间戳为9月20日,所述时间间隔小于1个月,确定所述日志数据未满足预设迁移条件。
在其他实施例中,当所述目标判定信息为日志数据的重要度值信息时,所述重要度值信息用于标识日志数据的调用频率,所述重要度值与所述调用频率间存在映射关系,通过查询该映射关系,能够得到所述调用频率对应的重要度值。可以理解,日志数据的调用频率越高,其对应的重要度值越高;日志数据的调用频率越低,其对应的重要度值越低。所述调用频率可以为系统人员根据经验值预先设置的,也可以通过在预设时间段内被调用次数确定,在此不做限制。此时,所述预设迁移条件可以为日志数据的重要度值低于预设重要度阈值。所述根据所述目标判定信息监测所述日志数据是否满足预设迁移条件,包括:确定所述日志数据的调用频率;遍历预先设置的调用频率与重要度值的映射关系,得到所述日志数据的重要度值;当所述重要度值高于预设重要度阈值时,确定所述日志数据未满足预设迁移条件;当所述重要度值低于预设重要度阈值时,确定所述日志数据满足预设迁移条件。示例性地,所述日志数据的重要度值为低级,低于预设重要度阈值(例如,预设重要度阈值为高级),确定所述日志数据满足预设迁移条件。
S112,当所述日志数据满足所述预设迁移条件时,迁移所述日志数据至预设数据库。
在一实施例中,所述预设数据库用于存储迁移过来的日志数据,所述预设数据库可以为Elasticsearch集群,在Elasticsearch集群中配置存储路径以及存储库,将迁移过来的日志数据存储至所述存储路径对应的所述存储库中。考虑到数据存储的可靠性与隐私性,所述预设数据库还可以为区块链中的目标节点。在此不做限制。
在一实施例中,当所述日志数据未满足所述预设迁移条件时,仍将该日志数据存储至日志系统中,无需对所述日志数据进行迁移处理。
S113,对所述预设数据库中的所述日志数据进行快照处理,得到日志快照。
在一实施例中,所述日志数据可以为日志系统中同一子系统在不同时间的运行日志,也可以为日志系统中不同子系统的运行日志,在此不做限制。示例性地,以所述日志系统为管理微信对应的运行日志数据的系统为例,所述日志系统包含朋友圈子系统、支付子系统、沟通子系统以及订阅号子系统。从所述日志系统中迁移至预设数据库中的日志数据可以为所述朋友圈子系统在不同时间的运行日志,也可以为所述朋友圈子系统与所述支付子系统这两个子系统的运行日志。
在一实施例中,当所述日志数据为同一子系统中的运行日志时,所述对所述预设数据库中的所述日志数据进行快照处理,得到日志快照,包括:确定一次快照处理的预设日志数量;根据所述预设日志数量拆分所述日志数据,得到若干拆分后日志数据;分别对每个拆分后日志数据进行快照处理,得到若干日志快照。其中,所述预设日志数量是指一次快照能够处理的最大日志行数,例如,所述预设日志数量可以为100行。根据所述预设日志数量拆分所述日志数据,得到若干拆分后日志数据可以是指按照日志数据完整性根据预设日志数量拆分所述日志数据,例如,从所述日志系统中迁移至所述预设数据库内的日志数据共有500行,分别为9月10日0:00-6:00、6:00-12:00、12:00-18:00、18:00-24:00这四个时间段产生的运行日志,其中,0:00-6:00时间段的运行日志有100行、6:00-12:00时间段的运行日志有150行、12:00-18:00时间段的运行日志有50行、18:00-24:00时间段的运行日志有200行。此时,可以将0:00-6:00时间段的运行日志进行快照处理,得到日志快照1;将6:00-12:00时间段的运行日志拆分为100行与50行,分别对100行的日志数据与50行的日志数据进行快照处理,得到两个日志快照,合并两个日志快照,得到日志快照2;将12:00-18:00时间段的运行日志进行快照处理,得到日志快照3;将18:00-24:00时间段的运行日志拆分为两个100行,分别对每个100行的日志数据进行快照处理,得到两个日志快照,合并两个日志快照,得到日志快照4。
在另一实施例中,当所述日志数据为同一子系统中的运行日志时,所述对所述预设数据库中的所述日志数据进行快照处理,得到日志快照,包括:确定所述日志数据对应的子系统信息,并根据所述子系统信息拆分所述日志快照,得到若干个子系统日志数据;对于每一子系统日志数据,确定一次快照处理的预设日志数量,并根据所述预设日志数量拆分所述子系统日志数据,得到若干拆分后子系统日志数据;分别对每个拆分后子系统日志数据进行快照处理,得到若干日志快照。其中,所述预设日志数量是指一次快照能够处理的最大日志行数,例如,所述预设日志数量可以为100行。所述日志数据可以为朋友圈子系统与支付子系统这两个子系统对应的运行日志,例如,所述日志数据共有200行,其中,所述朋友圈子系统对应的日志数据为50行,所述支付子系统对应的日志数据为150行。对所述朋友圈子系统的日志数据进行快照处理,得到日志快照A;将所述支付子系统的日志数据拆分为100行与50行,分别对100行与50行的日志数据进行快照处理,得到两个日志快照,合并两个日志快照,得到所述支付子系统对应的日志快照B。
S114,确定所述日志数据对应的节点信息,并根据所述节点信息将所述日志快照存储至预设日志关系链路图中的对应节点。
在一实施例中,所述预设日志关系链路图为所述日志系统中各个子系统对应的关系链路图,所述预设日志关系链路图中包含多个链路节点,每一链路节点均对应所述日志系统中的子系统,所述链路节点可以按照日志系统中的子系统间的架构信息进行组合,得到预设日志关系链路图。示例性地,以所述日志系统为管理微信对应的运行日志数据的系统为例,结合图2说明本申请实施例提供的预设日志关系链路图。所述日志系统包含朋友圈子系统、支付子系统、沟通子系统以及订阅号子系统。在所述预设日志关系链路图中,将微信作为第一层级的链路节点,第一层级的链路节点下包含4个第二层级的链路节点,分别为朋友圈链路节点、支付链路节点、沟通链路节点以及订阅号链路节点。
在一实施例中,对于每一链路节点,在所述预设数据库中均存在对应的存储库,用于存储该链路节点对应的日志快照。所述日志数据均携带对应的节点信息,所述根据所述节点信息将所述日志快照存储至预设日志关系链路图中的对应节点,包括:根据所述节点信息确定所述预设日志关系链路图对应链路节点;确定所述链路节点对应的存储库信息;将所述日志快照存储至对应存储卡中。
在本申请的至少一实施例中,所述解析所述日志查询请求,得到待查询日志对应的目标日志信息,包括:
S115,确定所述日志查询请求对应的日志请求脚本。
在一实施例中,所述日志查询请求中携带日志请求脚本,所述日志请求脚本是指包含待查询日志对应相关信息的脚本,通过查询所述日志请求脚本,能够确定待查询日志的相关信息。在一实施例中,所述日志请求脚本中包含待查询日志的时间戳信息、待查询日志所属日志系统中的子系统信息以及待查询日志的日志描述信息,其中,所述时间戳信息用于标识所述待查询日志运行的时间信息;所述子系统信息用于标识所述待查询日志对应目标应用的子系统;所述日志描述信息用于标识所述待查询日志的日志关键词,通过所述日志关键词能够从日志数据中确定所述待查询日志所在位置。例如,所述日志关键词可以为“title:A”关键词,通过在所述待查询日志中确定“title:A”关键词所在位置即可得到所述待查询日志的位置。本申请实施例通过解析所述日志请求脚本,得到待查询日志的时间戳信息、子系统信息以及日志描述信息,并将时间戳信息、子系统信息以及日志描述信息作为所述待查询日志的目标日志信息。
S116,检测所述日志请求脚本中是否存在预设关键词。
在一实施例中,对于所述日志请求脚本中的待查询日志的时间戳信息、待查询日志所属日志系统中的子系统信息以及待查询日志的日志描述信息,均存在与之对应的预设关键词,例如,所述时间戳信息对应的预设关键词为“TIME”,在此不做限制。
S117,当所述日志请求脚本中存在所述预设关键词时,确定所述预设关键词对应的日志信息为目标日志信息。
在一实施例中,所述预设关键词与日志信息间按照预设数据格式表示,通过查询所述预设数据格式,能够得到所述预设关键词对应的日志信息。例如,所述预设数据格式可以为{预设关键词:日志信息}。
S12,根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照。
在本申请的至少一实施例中,所述目标日志信息中包含待查询日志所属日志系统中的子系统信息,根据所述子系统信息能够得到所述目标日志信息对应的目标节点。
结合图3说明本申请实施例提供的目标节点的确定流程。可选地,所述遍历预设日志关系链路图,得到所述目标日志信息对应的目标节点,包括:
S120,解析所述目标日志信息,得到所述待查询日志对应的第一子系统信息。
其中,所述第一子系统信息是指所述待查询日志在所述日志系统中所属的子系统信息,仍以所述日志系统为管理微信对应的运行日志数据的系统为例,当所述待查询日志为支付子系统中的运行日志时,所述第一子系统信息即为支付子系统。
S121,确定所述预设日志关系链路图中每一链路节点对应的第二子系统信息,得到第二子系统信息集。
其中,所述预设日志关系链路图中每一链路节点均对应第二子系统信息,所述第二子系统信息标识所述日志系统中的子系统,将多个所述第二子系统信息组合得到第二子系统信息集。仍以所述日志系统为管理微信对应的运行日志数据的系统为例,所述预设日志关系链路图中包含朋友圈链路节点、支付链路节点、沟通链路节点以及订阅号链路节点,所述朋友圈链路节点对应朋友圈子系统,所述支付链路节点对应支付子系统,所述沟通链路节点对应沟通子系统,所述订阅号链路节点对应订阅号子系统。其中,朋友圈子系统、支付子系统、沟通子系统以及订阅号子系统均为第二子系统信息,上述四个子系统组成第二子系统信息集。
S122,确定所述第二子系统信息集内与所述第一子系统信息匹配的第二子系统信息;
其中,从所述第二子系统信息集内确定与所述第一子系统信息相同的第二子系统信息作为匹配的第二子系统信息。
S123,将匹配的第二子系统信息对应的链路节点为目标节点。
在本申请的至少一实施例中,对于每一链路节点,在所述预设数据库中均存在对应的存储库,用于存储该链路节点对应的日志快照。可以理解,一个链路节点可以对应多个日志快照,每个日志快照产生的时间戳不同。预先设置链路节点与日志快照的映射关系,通过查询该映射关系,能够得到所述目标节点对应的多个日志快照。
结合图4说明本申请实施例提供的初始日志快照的确定流程图。可选地,所述根据所述目标日志信息遍历预设日志关系链路图,得到所述目标节点对应的初始日志快照,包括:
S124,遍历预先设置的链路节点与日志快照的映射关系,得到所述目标节点对应的多个日志快照。
S125,解析所述目标日志信息,得到第一日志时间戳。
其中,所述目标日志信息中包含待查询日志对应的时间戳信息,将所述目标日志信息携带的时间戳信息作为第一日志时间戳。
S126,确定所述多个日志快照对应的第二日志时间戳,得到第二日志时间戳集。
其中,每一日志快照均对应唯一的第二日志时间戳,用于标识该日志快照对应的日志数据的产生时间信息。组合多个日志快照对应的第二日志时间戳,得到第二日志时间戳集。
S127,确定所述第二日志时间戳集内与所述第一日志时间戳匹配的第二日志时间戳对应的日志快照作为初始日志快照。
其中,所述初始日志快照的数量可以为1个,也可以为多个,在此不做限制。
示例性地,以所述日志系统为管理微信对应的运行日志数据的系统为例,当所述目标节点为朋友圈链路节点时,该朋友圈链路节点下包含4个日志快照,分别为日志快照1、日志快照2、日志快照3以及日志快照4。其中,日志快照1对应的第二日志时间戳为0:00-6:00,日志快照2对应的第二日志时间戳为6:00-12:00,日志快照3对应的第二日志时间戳为12:00-18:00,日志快照4对应的第二日志时间戳为18:00-24:00。当所述待查询日志对应的第一日志时间戳为0:00-12:00时,所述初始日志快照的数量为多个,所述初始日志快照为日志快照1与日志快照2;当所述待查询日志对应的第一日志时间戳为0:00-6:00时,所述初始日志快照的数量为1个,所述初始日志快照为日志快照1。
S13,确定所述待查询日志在所述初始日志快照中的目标位置。在本申请的至少一实施例中,所述目标位置是指待查询日志在所述初始日志快照中的位置,选取所述目标位置处的目标日志快照进行恢复处理,避免对包含较多无需查询的日志数据的日志快照进行恢复处理,能够提高日志查询的效率。
结合图5说明本申请实施例提供的目标位置确定的流程图。可选地,所述确定所述待查询日志在所述初始日志快照中的目标位置,包括:
S130,根据所述目标日志信息确定所述待查询日志对应的日志内容描述信息。
其中,所述目标日志信息中包含待查询日志的日志内容描述信息,所述日志内容描述信息中包含若干个日志关键词,通过所述日志关键词能够从日志数据中确定所述待查询日志所在位置。例如,所述日志关键词可以为“title:A”关键词,通过在所述待查询日志中确定“title:A”关键词所在位置即可得到所述待查询日志的位置。
S131,确定所述日志内容描述信息中的日志关键词。
S132,确定所述初始日志快照中包含所述日志关键词的位置为目标位置。
其中,所述初始日志快照的数量可以为1个,也可以为多个。在一实施例中,当所述初始日志快照的数量为1个时,通过对所述初始日志快照中的日志内容进行文字识别,确定所述日志关键词在所述日志快照中的位置为目标位置。所述目标位置的数量可以为1个,也可以为多个。文字识别的方式可以为OCR文字识别算法进行识别,由于OCR文字识别的方式为现有技术,在此不做赘述。在另一实施例中,当所述初始日志快照的数量为多个时,通过对每个初始日志快照中的日志内容进行文字识别,确定所述日志关键词在所述日志快照中的位置为目标位置。所述目标位置的数量可以为1个,也可以为多个。
S14,选取所述目标位置处的目标日志快照。
在本申请的至少一实施例中,所述日志数据中均存在开始日志标识与结束日志标识,所述开始日志标识用于标识日志处于开始状态,所述结束日志标识用于标识日志处于结束状态,所述开始日志标识与所述结束日志标识间的日志数据为完整的日志数据。所述开始日志标识与所述结束日志标识为预先设置的标识,例如,所述开始日志标识可以为“begin”,所述结束日志标识可以为“end”,在此不做限制。可选地,所述选取所述目标位置处的目标日志快照,包括:
S140,确定所述目标位置处的日志数据对应的开始日志标识与结束日志标识。
S141,从所述初始日志快照中选取所述开始日志标识与所述结束日志标识对应的日志快照作为目标日志快照。
其中,当所述目标位置为1个时,可以将包含所述目标位置的初始日志快照中所述开始日志标识与所述结束日志标识对应的日志快照作为目标日志快照,此时,所述目标日志快照的数量为1个。当所述目标位置为多个时,若多个目标位置均在所述开始日志标识与所述结束日志标识对应的日志快照内,此时,所述目标日志快照的数量为1个;若多个目标位置分布于不同的所述开始日志标识与所述结束日志标识对应的日志快照内,例如,存在目标位置1、目标位置2与目标位置3,其中,目标位置1与目标位置2在开始日志标识A与结束日志标识A对应的日志快照内,目标位置3在开始日志标识B与结束日志标识B对应的日志快照内,此时,可以将开始日志标识A与结束日志标识A对应的日志快照作为目标日志快照1,将开始日志标识B与结束日志标识B对应的日志快照作为目标日志快照2。
S15,对所述目标日志快照进行恢复处理,得到所述待查询日志。
在本申请的至少一实施例中,对所述目标日志快照通过链码处理得到待查询日志,由于对快照进行恢复处理为现有技术,在此不做赘述。
本申请实施例提供的上述日志查询方法,通过遍历预设日志关系链路图,得到目标日志信息对应的目标节点,再根据目标日志信息确定目标节点对应的初始日志快照以及初始日志快照中的目标位置,并选取目标位置处的目标日志快照进行恢复处理,避免对包含较多无需查询的日志数据的日志快照进行恢复处理,能够提高日志查询的效率。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧城市的日志查询模块等,能够促进智慧城市的快速发展。
请参阅图6,图6是本申请一实施例提供的日志查询装置的结构图。
在一些实施例中,所述日志查询装置20可以包括多个由计算机程序段所组成的功能模块。所述日志查询装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)日志查询的功能。
本实施例中,所述日志查询装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:查询请求解析模块201、链路图遍历模块202、目标位置确定模块203、目标快照选取模块204以及日志快照恢复模块205。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述查询请求解析模块201可以用于当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息。
所述链路图遍历模块202可以用于根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照。
所述目标位置确定模块203可以用于确定所述待查询日志在所述初始日志快照中的目标位置。
所述目标快照选取模块204可以用于选取所述目标位置处的目标日志快照。
所述日志快照恢复模块205可以用于对所述目标日志快照进行恢复处理,得到所述待查询日志。
在一实施例中,所述查询请求解析模块201可以用于确定日志数据对应的目标判定信息;根据所述目标判定信息监测所述日志数据是否满足预设迁移条件;当所述日志数据满足所述预设迁移条件时,迁移所述日志数据至预设数据库;对所述预设数据库中的所述日志数据进行快照处理,得到日志快照;确定所述日志数据对应的节点信息,并根据所述节点信息将所述日志快照存储至预设日志关系链路图中的对应节点。
在一实施例中,所述查询请求解析模块201可以用于确定所述日志查询请求对应的日志请求脚本;检测所述日志请求脚本中是否存在预设关键词;当所述日志请求脚本中存在所述预设关键词时,确定所述预设关键词对应的日志信息为目标日志信息。
在一实施例中,所述链路图遍历模块202可以用于解析所述目标日志信息,得到所述待查询日志对应的第一子系统信息;确定所述预设日志关系链路图中每一链路节点对应的第二子系统信息,得到第二子系统信息集;确定所述第二子系统信息集内与所述第一子系统信息匹配的第二子系统信息;将匹配的第二子系统信息对应的链路节点为目标节点。
在一实施例中,所述链路图遍历模块202可以用于遍历预先设置的链路节点与日志快照的映射关系,得到所述目标节点对应的多个日志快照;解析所述目标日志信息,得到第一日志时间戳;确定所述多个日志快照对应的第二日志时间戳,得到第二日志时间戳集;确定所述第二日志时间戳集内与所述第一日志时间戳匹配的第二日志时间戳对应的日志快照作为初始日志快照。
在一实施例中,所述目标位置确定模块203可以用于根据所述目标日志信息确定所述待查询日志对应的日志内容描述信息;确定所述日志内容描述信息中的日志关键词;确定所述初始日志快照中包含所述日志关键词的位置为目标位置。
在一实施例中,所述目标快照选取模块204可以用于确定所述目标位置处的日志数据对应的开始日志标识与结束日志标识;从所述初始日志快照中选取所述开始日志标识与所述结束日志标识对应的日志快照作为目标日志快照。
参阅图7所示,为本申请一实施例提供的计算机设备的结构示意图。在本申请较佳实施例中,所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解,图7示出的计算机设备的结构并不构成本申请实施例的限定,既可以是总线型结构,也可以是星形结构,所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述计算机设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述计算机设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的日志查询方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中,所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit),利用各种接口和线路连接整个计算机设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行计算机设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的日志查询方法的全部或者部分步骤;或者实现日志查询装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出,所述计算机设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种日志查询方法,其特征在于,所述日志查询方法包括:
当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息;
根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照;
确定所述待查询日志在所述初始日志快照中的目标位置;
选取所述目标位置处的目标日志快照;
对所述目标日志快照进行恢复处理,得到所述待查询日志。
2.根据权利要求1所述的日志查询方法,其特征在于,在所述接收到日志查询请求之前,所述方法还包括:
确定日志数据对应的目标判定信息;
根据所述目标判定信息监测所述日志数据是否满足预设迁移条件;
当所述日志数据满足所述预设迁移条件时,迁移所述日志数据至预设数据库;
对所述预设数据库中的所述日志数据进行快照处理,得到日志快照;
确定所述日志数据对应的节点信息,并根据所述节点信息将所述日志快照存储至预设日志关系链路图中的对应节点。
3.根据权利要求1所述的日志查询方法,其特征在于,所述解析所述日志查询请求,得到待查询日志对应的目标日志信息,包括:
确定所述日志查询请求对应的日志请求脚本;
检测所述日志请求脚本中是否存在预设关键词;
当所述日志请求脚本中存在所述预设关键词时,确定所述预设关键词对应的日志信息为目标日志信息。
4.根据权利要求1所述的日志查询方法,其特征在于,所述根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点,包括:
解析所述目标日志信息,得到所述待查询日志对应的第一子系统信息;
确定所述预设日志关系链路图中每一链路节点对应的第二子系统信息,得到第二子系统信息集;
确定所述第二子系统信息集内与所述第一子系统信息匹配的第二子系统信息;
将匹配的第二子系统信息对应的链路节点为目标节点。
5.根据权利要求1所述的日志查询方法,其特征在于,所述根据所述目标日志信息遍历预设日志关系链路图,得到所述目标节点对应的初始日志快照,包括:
遍历预先设置的链路节点与日志快照的映射关系,得到所述目标节点对应的多个日志快照;
解析所述目标日志信息,得到第一日志时间戳;
确定所述多个日志快照对应的第二日志时间戳,得到第二日志时间戳集;
确定所述第二日志时间戳集内与所述第一日志时间戳匹配的第二日志时间戳对应的日志快照作为初始日志快照。
6.根据权利要求1所述的日志查询方法,其特征在于,所述确定所述待查询日志在所述初始日志快照中的目标位置,包括:
根据所述目标日志信息确定所述待查询日志对应的日志内容描述信息;
确定所述日志内容描述信息中的日志关键词;
确定所述初始日志快照中包含所述日志关键词的位置为目标位置。
7.根据权利要求1所述的日志查询方法,其特征在于,所述选取所述目标位置处的目标日志快照,包括:
确定所述目标位置处的日志数据对应的开始日志标识与结束日志标识;
从所述初始日志快照中选取所述开始日志标识与所述结束日志标识对应的日志快照作为目标日志快照。
8.一种日志查询装置,其特征在于,所述日志查询装置包括:
查询请求解析模块,用于当接收到日志查询请求时,解析所述日志查询请求,得到待查询日志对应的目标日志信息;
链路图遍历模块,用于根据所述目标日志信息遍历预设日志关系链路图,得到所述待查询日志对应的目标节点以及所述目标节点对应的初始日志快照;
目标位置确定模块,用于确定所述待查询日志在所述初始日志快照中的目标位置;
目标快照选取模块,用于选取所述目标位置处的目标日志快照;
日志快照恢复模块,用于对所述目标日志快照进行恢复处理,得到所述待查询日志。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的日志查询方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的日志查询方法。
CN202310307843.5A 2023-03-24 2023-03-24 日志查询方法、装置、计算机设备及存储介质 Pending CN116126796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310307843.5A CN116126796A (zh) 2023-03-24 2023-03-24 日志查询方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310307843.5A CN116126796A (zh) 2023-03-24 2023-03-24 日志查询方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116126796A true CN116126796A (zh) 2023-05-16

Family

ID=86312003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310307843.5A Pending CN116126796A (zh) 2023-03-24 2023-03-24 日志查询方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116126796A (zh)

Similar Documents

Publication Publication Date Title
CN105357038B (zh) 监控虚拟机集群的方法和系统
US20190303779A1 (en) Digital worker management system
US20030135489A1 (en) System and method for processing data in a distributed architecture
CN112698971B (zh) 基于规则引擎的参数转换方法、装置、设备及介质
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN104615936B (zh) 云平台vmm层行为监控方法
CN113806434B (zh) 大数据处理方法、装置、设备及介质
CN109597676A (zh) 基于jvm的监控预警方法、装置及存储介质
CN111400189A (zh) 代码覆盖率监测方法、装置、电子设备及存储介质
CN111984898A (zh) 基于大数据的标签推送方法、装置、电子设备及存储介质
US11392821B2 (en) Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data
CN112948275A (zh) 测试数据生成方法、装置、设备及存储介质
CN116341523A (zh) 文本纠错方法、装置、计算机设备及存储介质
CN114201328A (zh) 基于人工智能的故障处理方法、装置、电子设备及介质
CN114862520A (zh) 产品推荐方法、装置、计算机设备及存储介质
CN114201212A (zh) 配置文件处理方法、装置、计算机设备及存储介质
CN112948382A (zh) 基于大数据的信息处理方法、装置及相关设备
CN116108276A (zh) 基于人工智能的信息推荐方法、装置及相关设备
CN116126796A (zh) 日志查询方法、装置、计算机设备及存储介质
CN116401123A (zh) 基于人工智能的日志处理方法、装置及相关设备
CN109324951A (zh) 服务器中硬盘信息的获取方法和装置
CN116755987A (zh) 埋点指标处理方法、装置、计算机设备及存储介质
CN114691782B (zh) 数据库表增量同步方法、装置及存储介质
CN111797429B (zh) 安全和隐私级别的维护方法、装置、电子设备及存储介质
CN114138509B (zh) 一种数据交互方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination