CN116975117A - 一种日志数据管理方法及装置 - Google Patents

一种日志数据管理方法及装置 Download PDF

Info

Publication number
CN116975117A
CN116975117A CN202210424233.9A CN202210424233A CN116975117A CN 116975117 A CN116975117 A CN 116975117A CN 202210424233 A CN202210424233 A CN 202210424233A CN 116975117 A CN116975117 A CN 116975117A
Authority
CN
China
Prior art keywords
log data
query
log
granularity
blockchain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210424233.9A
Other languages
English (en)
Inventor
朱苏楠
韦琳娜
陆文双
赵妍妍
关兴洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Heilongjiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Heilongjiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Heilongjiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210424233.9A priority Critical patent/CN116975117A/zh
Publication of CN116975117A publication Critical patent/CN116975117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种日志数据管理方法、装置、电子设备、存储介质及计算机程序产品，涉及数据处理技术领域。所述方法包括：基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。本申请通过根据查询请求的粗粒度条件先过滤掉不符合条件的区块，再根据细粒度条件来从目标区块中匹配符合条件的查询结果，有效提高了区块链查证的效率。

Description

一种日志数据管理方法及装置
技术领域
本申请涉及数据处理技术领域，具体涉及一种日志数据管理方法、装置、电子设备、存储介质及计算机程序产品。
背景技术
随着信息技术和网络技术的不断发展，企业投入了大量资金建设信息化系统便利办公和管理。信息系统的使用时时刻刻都在产生大量的日志数据。日志数据为系统运维和管理人员对潜在发生、正发生和已发生事件进行分析提供了重要的依据。同时，日志数据也是审计监管部门进行业务审计和监管的重要依据。因此，对于信息系统产生的日志数据进行管理是十分有必要的。
日志数据的管理涉及对日志数据的采集、存储和处理等多个不同阶段。目前企业越来越重视对日志数据的管理。企业根据自己的业务需求，大都建设起日志数据管理系统。特别是近年来区块链技术在数据的可信存储方面取得了成功，基于区块链技术的日志数据管理方案被提出来，其用区块链的防篡改性、可溯源性、去中心化的特点来保证日志数据的安全。
目前，在进行日志查询时需要根据用户输入的关键词对所有区块进行逐一遍历查询，搜索和获取查询结果的效率低下。
发明内容
本申请实施例提供一种日志数据管理方法、装置、电子设备、存储介质及计算机程序产品，用以解决现有技术在日志数据查询时效率低下的问题。
第一方面，本申请实施例提供一种日志数据管理方法，包括：
基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
在一个实施例中，在所述根据日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块之前，还包括：
利用预设的智能合约对业务系统产生的原始日志数据进行实时采集，将实时采集的原始日志数据打包为日志数据集后上传至文件缓冲服务器；
利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
在一个实施例中，所述利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
基于预设的哈希函数生成与所述日志数据集对应的第一摘要信息；
利用文件缓冲服务器基于所述哈希函数生成与所述日志数据集对应的第二摘要信息，并基于所述第一摘要信息与第二摘要信息对所述文件缓冲服务器中的日志数据集进行数据验证；
利用所述文件缓冲服务器将数据验证通过的日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
在一个实施例中，所述利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
利用所述区块链存证系统基于所述存证数据集生成日志数据以及与所述日志数据对应的基础信息，通过预设的区块结构将所述基础信息进行上链存证，并利用所述日志数据存储系统对所述日志数据进行存储；
其中，所述区块结构包括区块头和区块体，所述区块头用于存储交易数据的Merkle值、交易数量值、系统索引和交易索引，所述区块体用于存储所述交易数据。
在一个实施例中，所述交易数量值包括正常交易数量值和异常交易数量值；所述正常交易数量值和所述异常交易数量值为基于所述智能合约采集的原始日志数据进行统计得到。
在一个实施例中，在所述基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块之前，还包括：
根据预设的分解策略将初始查询请求分解为若干个日志查询请求；
在所述基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据之后，还包括：
将若干个所述日志查询请求对应的若干个日志数据进行汇总，获取得到与所述初始查询请求对应的日志数据集合。
第二方面，本申请实施例提供一种日志数据管理装置，包括：
筛选模块，用于基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
匹配模块，用于基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
查询模块，用于基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的日志数据管理方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的日志数据管理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的日志数据管理方法。
本申请实施例提供的日志数据管理方法、装置、电子设备、存储介质及计算机程序产品，通过根据查询请求的粗粒度条件先过滤掉不符合条件的区块，再根据细粒度条件来从目标区块中匹配符合条件的查询结果，避免了需要根据用户输入的关键词对所有区块进行逐一遍历查询，有效提高了区块链查证的效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的日志数据管理方法的流程示意图；
图2是本申请实施例提供的日志数据管理方法的整体流程示意图；
图3是本申请实施例提供的日志数据采集的流程示意图；
图4是本申请实施例提供的区块结构示意图；
图5是本申请实施例提供的日志数据查询的流程示意图；
图6是本申请实施例提供的日志数据并行查询的流程示意图；
图7是本申请实施例提供的日志数据管理装置的结构示意图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，本申请实施例提供一种日志数据管理方法，可以包括步骤：
S1、基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
S2、基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
S3、基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
需要说明的是，在本申请实施例中，首先根据查询请求提取出粗粒度的查询条件，从区块级别进行查询，将不符合条件的区块进行过滤掉，从而无需根据具体关键词对每一个区块进行遍历和搜索匹配具体条目，从而大大节省了查询时间和资源。筛选出符合条件的目标区块后，再利用细粒度的查询条件来匹配具体的数据条目，从而得到与日志查询请求对应的基础信息查询结果，进而可以通过基础信息查询结果从链下的日志数据存储系统中查询得到相对应的日志数据。
本申请实施例提供的日志数据管理方法，通过根据查询请求的粗粒度条件先过滤掉不符合条件的区块，再根据细粒度条件来从目标区块中匹配符合条件的查询结果，避免了需要根据用户输入的关键词对所有区块进行逐一遍历查询，有效提高了区块链查证的效率。
在一个实施例中，在步骤S1之前，还可以包括步骤：
S11、利用预设的智能合约对业务系统产生的原始日志数据进行实时采集，将实时采集的原始日志数据打包为日志数据集后上传至文件缓冲服务器；
S12、利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
需要说明的是，现有技术的日志数据是由数据所有者进行管理并上传，也就是其数据的采集过程是由数据所有者自己决定的，数据所有者可能会更改对其不利的日志数据，从而损坏数据安全。
在本申请实施例中，通过智能合约来定时采集业务系统生成的日志数据，然后将实时采集的日志数据通过文件缓冲服务器来进行区块链数据存证，提高了日志数据采集的安全性和完整性。
在一个实施例中，步骤S12可以包括步骤：
S121、基于预设的哈希函数生成与所述日志数据集对应的第一摘要信息；
S122、利用文件缓冲服务器基于所述哈希函数生成与所述日志数据集对应的第二摘要信息，并基于所述第一摘要信息与第二摘要信息对所述文件缓冲服务器中的日志数据集进行数据验证；
S123、利用所述文件缓冲服务器将数据验证通过的日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
需要说明的是，由于数据传输过程中可能存证丢包的情况，因此分别对采集到的日志数据以及传入文件缓冲服务器之后的日志数据进行摘要信息计算，并比对前后的摘要信息是否一致来确定传输过程中是否丢包，若前后的摘要信息不一致，则可以对该部分日志数据进行重传。
本申请实施例提供的日志数据管理方法，通过引入了数据校验机制，确保了数据在传输中的完整性和安全性。
在一个实施例中，所述利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
利用所述区块链存证系统基于所述存证数据集生成日志数据以及与所述日志数据对应的基础信息，通过预设的区块结构将所述基础信息进行上链存证，并利用所述日志数据存储系统对所述日志数据进行存储；
其中，所述区块结构包括区块头和区块体，所述区块头用于存储交易数据的Merkle值、交易数量值、系统索引和交易索引，所述区块体用于存储所述交易数据。
在本申请实施例中，通过采用链上和链下结合的存储方式对日志数据进行存储，链上存储日志数据的摘要、存储位置等基础信息，链下则存储完整的日志数据，从而有效减少了区块链节点的存储压力。同时，通过利用特定的区块结果对基础信息进行存储，提高了对日志数据管理的灵活性。
在一个实施例中，所述交易数量值包括正常交易数量值和异常交易数量值；所述正常交易数量值和所述异常交易数量值为基于所述智能合约采集的原始日志数据进行统计得到。
在本申请实施例中，通过将采集到的原始日志数据进行划分为正常和异常两类，在后续查询时可以将该属性作为第一粒度查询条件筛选区块，从而提高查询的效率。
在一个实施例中，在步骤S1之前，还可以包括步骤：
S13、根据预设的分解策略将初始查询请求分解为若干个日志查询请求；
在步骤S3之后，还可以包括步骤：
S31、将若干个所述日志查询请求对应的若干个日志数据进行汇总，获取得到与所述初始查询请求对应的日志数据集合。
在本申请实施例中，通过将查询任务进行分解为不同的查询子任务，再利用不同的处理器进行并行查询，从而进一步提高了日志数据查询的效率。
请参见图2-6，基于上述方案，为便于更好的理解本申请实施例提供的日志数据管理方法，以下进行具体说明：
日志数据管理的整体流程如图2所示，其主要包含如下几个过程：
1、采集日志数据：该过程采用部署在业务系统端的智能合约定时的采集系统产生的日志数据。
2、存储日志数据：该过程实现对采集的日志数据进行链上和链下相结合的存储模式。
3、查询日志数据：该过程基于存储日志数据的区块结构设计了查询的方法，并且该查询方法支持并行查询，实现了对日志数据的高效管理。
一、采集日志数据详细说明如下：
在一个大型企业中，通常存在着多个系统，每个系统都在不断地产生不同的日志数据。日志数据采集就是将分布在不同的系统中的日志数据收集起来。
如图3所示，数据的采集是通过智能合约完成的，采集的日志数据将暂存于文件缓冲服务器中，智能合约的内容及其执行的结果都将存储在区块链上，方便溯源。下面就使用智能合约进行数据采集的过程进行说明：
(1)将数据采集的智能合约部署于系统a和文件缓冲服务器中。
(2)根据系统a产生日志数据的特点，设置自动采集日志数据的间隔时间，例如设为x分钟。
(3)系统a每隔x分钟自动的将产生的日志数据格式化并分成正常和异常两类，打包成集合L＝{log1,log2,…,logn}，并且调用哈希函数(如SHA-256函数)生成数据集合L的摘要S。
(4)将(L,S)上传至文件缓冲服务器中。
(5)缓冲服务器接收到(L,S)后，利用数据验证进程调用SHA-256函数对L生成摘要T。
(6)比对T和S的值，如果T和S的值一致，说明数据上传至文件缓冲服务器成功(没有发生丢包)，进而启动将L存入区块链系统的智能合约，同时也会传递消息给系统，让系统a删除L；如果不一致，则会传递消息给系统a重新上传(L，S)至文件缓冲服务器。
在使用预设的智能合约采集数据的过程中，将日志数据分成正常和异常两类的做法是为了加速日志的查询设计的。采用SHA-256函数确保了数据在传输过程中没有出现丢包的情况，保证了数据传输的完整性。
二、日志数据的存储说明：
在本申请实施例中，日志数据的存储采用链上和链下相结合的存储方式。链上存储日志数据的摘要、存储位置等基础信息，链下存储具体日志数据。采用该种日志数据的存储方法的好处在于减少了区块链本身的存储负担。链下的日志数据存储于星际文件系统(IPFS)中，而日志数据的摘要、存储位置等基础信息则存储于如图4所示的区块结构中并上链存证，生成数据摘要可以采用SHA-256函数。
区块包含了区块头和区块体两部分，其中区块头包含区块编号、前一个区块的Hash编码，当前区块Hash值，Merkle树根值，交易数量，系统索引，交易索引和时间戳。区块体存储了区块链上的交易数据。其中：
(1)先前区块的Hash值确保了当前区块可以找到前一个区块。
(2)当前区块的Hash值可以验证区块中存储的数据是否被篡改。
(3)时间戳表示生成区块的时间。
(4)Merkle根值是根据区块体中的Merkle树生成的，能快速验证交易是否被篡改。
(5)交易数量包含了正常和异常两个属性，当某个属性的值为0时，表示该区块内没有包含该类型的交易。
(6)系统索引指示了该区块中是否包含由某个系统产生的日志数据，如果包含某个系统产生的日志数据，则值为1，否则为0。
(7)交易索引是根据区块体中的交易信息构建的倒排索引，方便对存储在区块体中的交易数据进行查找。索引构建方法是：1、首先对每条日志数据的内容根据属性进行划分获得关键词集合；2、对关键词集合中的每个关键词，依次查找每条交易信息是是否包含关键词。如果包含，则将该条交易的ID加入对应的链表中；否则，继续查找下一条交易。
(8)区块体中存储着该区块中包含的所有交易数据，本申请实施例采用了Merkle树对交易数据进行存储。
三、查询日志数据说明：
在完成对日志数据的存储后，需要对存储在区块链系统中的日志数据进行查询管理。当用户输入查询的条件后，查询的整个过程是通过智能合约进行实现。如图5所示：
下面以查询“时间[f,t]内，系统A产生的关于用户P的异常日志数据”为例对图5中执行查询的整个过程进行说明。
步骤1：建立存储通过校验的查询结果的集合T＝{}和未通过验证的查询结果集合E＝{}。
步骤2：根据区块的时间戳获取时间范围[f,t]内的所有区块加入队列Q中，产生时间靠后的区块在Q的前面。
步骤3：判断Q是否为空，如果为空，返回查询结果T和E；如果不为空，则执行步骤4。
步骤4：弹出Q中的第一个区块，判断该区块的交易数量字段的异常值是否为0。如果为0，直接跳过该区块，回到步骤3；如果大于0，则进入步骤5。
步骤5：判断区块中的系统索引中系统A对应的值是否为0。如果为0，表示该区块不包含系统A的日志数据，跳过，退回步骤3；如果为1，则进入步骤6。
步骤6：根据交易索引查询关键词P对应的交易列表Q＝{TX1,TX2,…,TXm}，根据Q中交易的信息获取IPFS中的日志数据内容并存入D＝{data1,data2,…,datam}中。
步骤7：对D中的每条日志数据datai，采用SHA-256函数生成摘要Si，比较Si与TXi中的摘要是否一致。如果一致，则T＝T∪datai，；如果不一致，则令E＝E∪datai。回到步骤3。
上述执行区块链查询的过程，可以分为粗粒度查询和细粒度查询，粗粒度查询是在区块级别的查询，细粒度查询是交易级别的查询。上述过程中，通过查询交易数量和系统索引来判断该区块中是否包含符合查询条件的日志数据交易，如果不包含可以直接跳过该区块，这大大的减少了查询的时间开销，如果包含，则继续进行细粒度的查询，根据交易索引查询出符合条件的结果。
在本申请实施例中，为了更快速的执行日志数据的查询，并行查询功能，其过程可以如图6所示：
执行查询时，智能合约会先对查询任务进行分解，分解的策略可以根据用户查询的需求设置。比如查询某个时间范围T＝[f,t]内的区块，可以将T分成{T1,T2,T3,…,Tn}多个区间，然后映射到不同的处理器上执行查询任务，再对各处理器的查询结果进行汇总并且输出查询结果。也可以先获取T＝[f,t]内的所有区块B＝{B1,B2,…,Bm}，然后将B中的区块分配给各处理器执行查询的任务。又比如进行联合查询时，还可以先对查询的任务进行分解，然后再分别对个各任务执行查询，最后对查询的结果进行汇总。采用并行查询方法，对于范围区间大，可分解的查询任务具有明显的加速效果。
与现有技术相比，本申请实施例具有如下有益效果：
1、在对日志数据的采集、存储和管理中采用了智能合约技术，减少了人工对日志数据安全的破坏，同时因为与原始日志数据的访问都是通过部署的智能合约，不需要进行数据加密等操作，这加快了数据的处理速度；
2、通过设计新的区块结构存储由日志数据的摘要、存储位置等信息组成的基础交易数据，方便了数据的管理；
3、通过粗粒度和细粒度相结合的查询方法，提升了查询的效率；
4、日志数据的查询支持并行查询，即使是面向复杂的查询也能够具有高效率。
下面对本申请实施例提供的日志数据管理装置进行描述，下文描述的日志数据管理装置与上文描述的日志数据管理方法可相互对应参照。
请参见图7，本申请实施例提供一种日志数据管理装置，包括：
筛选模块1，用于基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
匹配模块2，用于基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
查询模块3，用于基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
在一个实施例中，所述日志数据管理装置还包括：
采集模块，用于利用预设的智能合约对业务系统产生的原始日志数据进行实时采集，将实时采集的原始日志数据打包为日志数据集后上传至文件缓冲服务器；
存储模块，用于利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
在一个实施例中，所述存储模块具体用于：
基于预设的哈希函数生成与所述日志数据集对应的第一摘要信息；
利用文件缓冲服务器基于所述哈希函数生成与所述日志数据集对应的第二摘要信息，并基于所述第一摘要信息与第二摘要信息对所述文件缓冲服务器中的日志数据集进行数据验证；
利用所述文件缓冲服务器将数据验证通过的日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
在一个实施例中，所述利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
利用所述区块链存证系统基于所述存证数据集生成日志数据以及与所述日志数据对应的基础信息，通过预设的区块结构将所述基础信息进行上链存证，并利用所述日志数据存储系统对所述日志数据进行存储；
其中，所述区块结构包括区块头和区块体，所述区块头用于存储交易数据的Merkle值、交易数量值、系统索引和交易索引，所述区块体用于存储所述交易数据。
在一个实施例中，所述交易数量值包括正常交易数量值和异常交易数量值；所述正常交易数量值和所述异常交易数量值为基于所述智能合约采集的原始日志数据进行统计得到。
在一个实施例中，所述日志数据管理装置还包括：
分解模块，用于根据预设的分解策略将初始查询请求分解为若干个日志查询请求；
汇合模块，用于将若干个所述日志查询请求对应的若干个日志数据进行汇总，获取得到与所述初始查询请求对应的日志数据集合。
可以理解的是上述装置项实施例，是与本申请方法项实施例相对应的，本申请实施例提供的日志数据管理装置，可以实现本申请任意一项方法项实施例提供的日志数据管理方法。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行日志数据管理方法，例如包括：
S1、基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
S2、基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
S3、基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的日志数据管理方法，例如包括：
S1、基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
S2、基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
S3、基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法，例如包括：
S1、基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
S2、基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
S3、基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种日志数据管理方法，其特征在于，包括：
基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
2.根据权利要求1所述的日志数据管理方法，其特征在于，在所述根据日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块之前，还包括：
利用预设的智能合约对业务系统产生的原始日志数据进行实时采集，将实时采集的原始日志数据打包为日志数据集后上传至文件缓冲服务器；
利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
3.根据权利要求2所述的日志数据管理方法，其特征在于，所述利用所述文件缓冲服务器将日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
基于预设的哈希函数生成与所述日志数据集对应的第一摘要信息；
利用文件缓冲服务器基于所述哈希函数生成与所述日志数据集对应的第二摘要信息，并基于所述第一摘要信息与第二摘要信息对所述文件缓冲服务器中的日志数据集进行数据验证；
利用所述文件缓冲服务器将数据验证通过的日志数据集传送至区块链存证系统，以利用所述区块链存证系统对所述日志数据集进行上链存证。
4.根据权利要求3所述的日志数据管理方法，其特征在于，所述利用所述区块链存证系统对所述日志数据集进行上链存证，包括：
利用所述区块链存证系统基于所述存证数据集生成日志数据以及与所述日志数据对应的基础信息，通过预设的区块结构将所述基础信息进行上链存证，并利用所述日志数据存储系统对所述日志数据进行存储；
其中，所述区块结构包括区块头和区块体，所述区块头用于存储交易数据的Merkle值、交易数量值、系统索引和交易索引，所述区块体用于存储所述交易数据。
5.根据权利要求4所述的日志数据管理方法，其特征在于，所述交易数量值包括正常交易数量值和异常交易数量值；所述正常交易数量值和所述异常交易数量值为基于所述智能合约采集的原始日志数据进行统计得到。
6.根据权利要求1所述的日志数据管理方法，其特征在于，在所述基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块之前，还包括：
根据预设的分解策略将初始查询请求分解为若干个日志查询请求；
在所述基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据之后，还包括：
将若干个所述日志查询请求对应的若干个日志数据进行汇总，获取得到与所述初始查询请求对应的日志数据集合。
7.一种日志数据管理装置，其特征在于，包括：
筛选模块，用于基于日志查询请求的第一粒度查询条件从区块链中筛选出符合所述第一粒度查询条件的目标区块；
匹配模块，用于基于所述日志查询请求的第二粒度查询条件从所述目标区块中匹配出与所述第二粒度查询条件对应的基础信息查询结果；
查询模块，用于基于所述基础信息查询结果从日志数据存储系统中获取得到与所述日志查询请求对应的日志数据。
8.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的日志数据管理方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的日志数据管理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的日志数据管理方法。
CN202210424233.9A 2022-04-21 2022-04-21 一种日志数据管理方法及装置 Pending CN116975117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424233.9A CN116975117A (zh) 2022-04-21 2022-04-21 一种日志数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424233.9A CN116975117A (zh) 2022-04-21 2022-04-21 一种日志数据管理方法及装置

Publications (1)

Publication Number Publication Date
CN116975117A true CN116975117A (zh) 2023-10-31

Family

ID=88483654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424233.9A Pending CN116975117A (zh) 2022-04-21 2022-04-21 一种日志数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN116975117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194334A (zh) * 2023-11-07 2023-12-08 苏州元脑智能科技有限公司 分布式日志存储系统的日志存储方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194334A (zh) * 2023-11-07 2023-12-08 苏州元脑智能科技有限公司 分布式日志存储系统的日志存储方法、装置、设备及介质
CN117194334B (zh) * 2023-11-07 2024-02-09 苏州元脑智能科技有限公司 分布式日志存储系统的日志存储方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
AU2019232789B2 (en) Aggregating data in a mediation system
KR100971863B1 (ko) 네트워크 문서의 배치화된 인텍싱을 위한 시스템 및 방법
CN101753344B (zh) 一种记录日志的方法、装置及系统
CN105631026A (zh) 一种安全数据分析系统
CN110795257A (zh) 处理多集群作业记录的方法、装置、设备及存储介质
US20060093113A1 (en) Collecting and delivering call data associated with court ordered traps
US20080065588A1 (en) Selectively Logging Query Data Based On Cost
US8620911B2 (en) Document registry system
CN116975117A (zh) 一种日志数据管理方法及装置
CN116719799A (zh) 环保数据治理方法、装置、计算机设备和存储介质
CN107885634B (zh) 监控中异常信息的处理方法和装置
CN104636211A (zh) 一种软件系统间的信息交互方法及中间件系统
CN111198807B (zh) 数据流分析方法、装置、计算机设备及存储介质
CN115221125A (zh) 文件处理方法、装置、电子设备及可读存储介质
CN117649166B (zh) 一种基于大数据的物流信息管理方法及系统
CN117290163B (zh) 基于关系型数据库的数据容灾备份系统、方法及介质
CN117593125A (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN115269637A (zh) 一种结构化查询语言语句的拦截处理方法及装置
CN117041007A (zh) 业务告警方法、系统、计算机设备和存储介质
CN114281476A (zh) Kubernetes云原生集群资源删除保护方法、装置、设备及存储介质
CN116797361A (zh) 服务节点的处理方法、装置、处理器及电子设备
CN117009337A (zh) 数据处理方法、装置、存储介质及电子设备
CN117033129A (zh) 一种清分异常数据监控及告警方法、装置及设备
CN115759893A (zh) 跨链的物流业务管理方法、装置及电子设备
CN114217983A (zh) 数据推送方法、系统、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination