CN117076245A - 一个基于区块链实现的可信溯源系统 - Google Patents
一个基于区块链实现的可信溯源系统 Download PDFInfo
- Publication number
- CN117076245A CN117076245A CN202311064204.7A CN202311064204A CN117076245A CN 117076245 A CN117076245 A CN 117076245A CN 202311064204 A CN202311064204 A CN 202311064204A CN 117076245 A CN117076245 A CN 117076245A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- tracing
- user
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 238000000586 desensitisation Methods 0.000 claims description 10
- 238000004873 anchoring Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 19
- 238000013523 data management Methods 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 description 26
- 239000010410 layer Substances 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000012792 core layer Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000007844 bleaching agent Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Storage Device Security (AREA)
Abstract
本发明属于日志数据可信溯源领域,提供了一个基于区块链实现的可信溯源系统。目的在于使用区块链技术成为解决数据溯源难题的有效工具,为数据管理和决策提供更加可靠和安全的支持。主要方案包括日志数据处理子系统:负责接收多个业务系统的异构日志数据,将其存放至文件数据库中,并在定义数据对象后选择相应日志数据文件进行预处理并匹配,得到并存储统一格式的日志数据,同时还能够对日志数据完成共指分析;链上日志溯源子系统:通过用户输入一种或多种查询条件组合进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源;日志数据区块链子系统:能够对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作。
Description
技术领域
本发明属于日志数据可信溯源领域,提供了一个基于区块链实现的可信溯源系统。
背景技术
在当今时代下,日志数据扮演着至关重要的角色,被视为系统资源中不可或缺的要素,借助日志数据能够找到威胁、定位威胁,进而处理威胁。然而,对于普通的系统日志数据分析产品而言,若缺乏良好的可追溯性和全面的分析,其真实性和准确性将难以确定。因此,实现对日志数据的溯源处理是一项至关重要的任务,它为日志数据管理工作的深度开展提供了更多的支持和保障,同时也降低了数据风险的出现概率,推动各项工作的稳定落实。通过对日志数据的溯源处理,我们能够追踪和确认日志数据的来源、生成过程以及用户对它们的相关操作,从而分析其中包含的关键信息。此外,数据溯源还有助于发现和排查潜在的系统问题和用户异常,及时采取相应的纠正措施,提高日志数据质量和可靠性。因此,在大数据时代,我们应当高度重视日志数据溯源的重要性,并将其纳入日志数据管理的核心工作中,以确保数据的可信度、准确性和稳定性。
传统的日志数据溯源方法存在许多问题。首先,信息受篡改的问题十分突出。过去,日志数据溯源的方法通常是将各种关键信息集中存储在中央服务器中。然而,这种方法在应用时必须确保数据应用程序和数据所有者的完整性,否则可能会存在恶意破坏数据,以谋取个人利益的情况。即使增加了数据控制措施,也很难完全避免这种情况的发生,从而降低了数据的可靠性。
其次,数据的可追溯性存在较大的局限性。传统的信息追踪技术可以相对轻松地追踪组织和企业内部的信息流动。然而,由于企业和组织之间的信息往往是分散注册的,缺乏联系,因此很难进行有效的数据溯源。
此外,数据易受销毁的风险也不容忽视。由于各种信息都存储在中央服务器中,如果服务器受到安全威胁,可追溯性的数据就会受到破坏,这对数据的安全性构成了负面冲击。一旦数据被销毁,将无法追溯其来源和完整性,给数据的安全性和可信度带来了极大的威胁。
针对上述问题,我们需要采取一系列的措施来加强日志数据的可信度、不可篡改性、可追溯性和安全性。首先,可以考虑采用分布式存储和加密技术,将关键信息分散存储在多个节点上,并对数据进行加密保护。其次,可以建立跨组织的信息共享机制,促进各个组织之间的信息交流和协作,从而增强数据的可溯性和追踪能力。此外,还应加强对中央服务器的安全管理,确保其免受恶意攻击和数据泄露的风险,以保护数据的完整性和可靠性。
近年来区块链技术的流行为上述问题的解决方案提供了一个完美的模板。使用区块链技术完成日志数据可信溯源系统具有以下优点:
数据不可篡改性和可信度提升:区块链技术采用分布式的数据存储和共识机制,将数据以区块的形式链接在一起,并通过加密保护数据的完整性。每个区块都包含了前一个区块的哈希值,因此任何对数据的篡改都会被立即检测到,确保数据的可信度和不可篡改性。
去中心化的数据控制:区块链技术将数据存储在网络中的多个节点上,而不是集中存储在中央服务器中。这意味着没有单一的中心控制机构,任何数据的更改或访问都需要经过网络中的多个节点的共识验证。这样一来,数据的控制更加去中心化,减少了单点故障和数据篡改的风险。
数据可溯性和追踪能力增强:区块链记录了每个数据交易或操作的时间戳和参与者的身份信息,这使得数据的追溯和溯源变得更加容易。通过区块链技术,可以追踪数据的来源、传输路径和操作历史,确保数据的可溯性和追踪能力,为数据管理和决策提供更多的支持。
数据安全性提高:区块链技术采用了分布式加密算法,保护数据的安全性。每个参与者都有自己的私钥和公钥,数据在传输和存储过程中进行加密,只有拥有相应私钥的参与者才能解密和访问数据。这样一来,区块链技术能够有效地防止数据的非授权访问和篡改,提高数据的安全性。
综上所述,采用区块链技术完成日志数据可信溯源具有数据不可篡改性和可信度提升、去中心化的数据控制、数据可溯性和追踪能力增强以及数据安全性提高等优点。这些优点使得区块链技术成为解决数据溯源难题的有效工具,为数据管理和决策提供更加可靠和安全的支持。
发明内容
本发明的目的在于使用区块链技术成为解决数据溯源难题的有效工具,为数据管理和决策提供更加可靠和安全的支持。
为了实现上述目的本发明采用以下技术手段:
本发明面对传统日志溯源中存在的数据易受篡改、可追溯性较弱、安全性难以保证等问题,使用区块链为底层服务技术保证多源异构日志数据在处理、交互等全流程中的安全可信,提出了一个基于区块链的可信溯源系统。本可信溯源系统主要分为日志数据处理、链上日志溯源和日志数据区块链三个子系统。日志数据处理子系统主要负责接收多个业务系统的异构日志数据,将其存放至文件数据库中,并在定义数据对象后选择相应日志文件进行预处理并匹配,得到并存储统一格式的日志数据,同时还能够对日志数据完成共指分析;链上日志溯源子系统通过用户输入一种或多种查询条件组合进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源;日志数据区块链子系统可视作对前两个子系统的支撑,能够对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作。三个子系统协同,保护日志数据的安全性、不可篡改性。
本发明提供了一个基于区块链实现的可信溯源系统,包括:
日志数据处理子系统:负责接收多个业务系统的异构日志数据,将其存放至文件数据库中,并在定义数据对象后选择相应日志数据文件进行预处理并匹配,得到并存储统一格式的日志数据,同时还能够对日志数据完成共指分析;
链上日志溯源子系统:通过用户输入一种或多种查询条件组合进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源;
日志数据区块链子系统:能够对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作。
三个子系统协同,保护日志数据的安全性、不可篡改性。
上述技术方案中,日志数据处理子系统中将接收并对原始异构日志数据文件完成预处理,具体包括:
步骤1.1、业务系统能够通过调用本系统的接口自动上传日志数据文件,或者用户手动上传关键日志数据文件,原始日志数据文件将被存放于minio数据库中,后端的mysql数据库将用t_log_file表记录原始日志数据文件对应的源文件名、源文件哈希、源文件地址、上传时间、上传ip信息;
步骤1.2、用户定义一个数据对象,包括数据对象名、数据对象操作、知悉范围、密级、脱敏信息及数据描述信息,用于在异构日志数据文件中准确地定位到想要关注的重要文件;
步骤1.3、用户查看已上传的日志数据文件列表时,选择列表中的日志数据文件进行预处理及匹配,选择数据对象,创建匹配任务,匹配日志文件中与所选数据对象相关的日志记录,对选定日志数据文件进行预处理及匹配时,首先通过.java适配器模式对选定日志数据文件进行预处理,提取出其中包含的时间、对数据对象进行操作的用户名、具体日志信息;然后匹配具有选定数据对象的具体日志信息,判断该条日志信息中是否存在给定的数据对象操作,假如存在则完成匹配,并判断用户名是否属于知悉范围;最后根据用户定义的脱敏信息完成脱敏,并存入mysql数据库中的t_matched_log表。
上述技术方案中,日志数据处理子系统能够对日志数据完成共指分析,支持不同日志文件的日志行为共指分析,不同的日志文件是同一业务系统借助不同日志生成工具所生成的日志数据,但它们对同一操作名使用了不同的命名方法,为了保证日志中记录信息的一致性,需要进行共指分析完成对应操作的比对。具体包括:
步骤a1、通过步骤1.2用户事先定义的数据对象,用户选择不同的异构日志数据文件,并设置不同日志中数据对象的共指操作,首先选择第一个日志数据文件和该日志数据文件中存在的数据对象,再选择第二个日志文件和该日志文件中存在的数据对象,最后选择这两个数据对象定义的操作中存在对应关系的操作,如“close”对应“shut”;
步骤a2、根据用户选择的日志数据文件及数据对象完成日志信息的提取,得到具有共指关系的对应日志信息。
上述技术方案中,链上日志溯源子系统中,行为溯源分为两个维度:
数据对象维度可视化溯源,用户对指定的数据对象的操作行为进行溯源,查看在指定的一时间段内有用户对该数据对象的操作行为记录;
用户维度可视化溯源,指定业务用户,查看指定的一时间段内该用户对数据对象进行的操作记录,构成行为链供用户分析;
日志信息上链后,根据链上日志信息进行可视化溯源,支持用户名、数据对象、业务系统和时间范围进行组合查询,具体包括:
步骤b1、用户进入日志溯源页面,选择溯源条件并点击溯源发起溯源请求;
步骤b2、链上日志溯源子系统通过对相应请求的解析与区块链进行通信,使用接口调用智能合约,智能合约完成链上日志数据溯源操作:从区块链的Rocksdb数据库中进行检索与匹配,找到已上链的相关日志信息,并返回溯源结果,此处的链上日志数据溯源操作将在所有子链中进行,在每个子链中都调用智能合约完成溯源,以实现数据跨链关联溯源,得到链上日志数据溯源结果;
步骤b3、溯源结果回到链上日志溯源子系统时,将根据结果中包含的源文件哈希进行比对,假如原始日志文件未被篡改,哈希值不变,则通过源文件地址完成数据锚定,提取minio数据库中存储的源文件的相关信息,得到数据锚定结果;
步骤b4、链上日志数据溯源结果以及数据锚定结果将返回日志溯源页面,展示为操作行为轨迹图,在溯源的基础上,将不属于数据对象的知悉范围的业务用户进行的操作标记为非法,提醒用户该操作有安全问题,以某数据对象为中心时,首先将与锚定的原始日志数据文件相连,并显示来自于哪条子链;然后从日志数据文件延申,与具体的用户相连,并以时间戳的形式,根据日志中的时间呈现该用户对选定数据对象的一系列操作,若该用户属于知悉范围,时间戳上具体的点代表的操作将是绿色,若不属于则是红色,最后用户可根据结果完成进一步分析。
上述技术方案中,日志数据区块链子系统对链上日志溯源子系统、日志数据处理子系统进行支撑,对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作,具体包括:
步骤c1、预处理并匹配后的匹配结果将被返回给前端,用户在查看相应结果后,选择其中需要上链存证的某条或多条日志信息,进行上链;
步骤c2、日志数据区块链子系统通过对相应请求的解析与区块链进行通信,使用接口调用智能合约发起交易,完成日志数据的上链存证,记录上链时间、日志信息、数据对象、数据对象操作、日志信息哈希、源文件路径和源文件哈希;
步骤c3、日志数据取证时,通过智能合约搜寻并匹配某日志信息,将区块中保存的日志信息哈希进行提取并与mysql数据库中该条日志信息计算所得的哈希值进行比较,保证mysql中数据未被篡改。
本系统设计具体的数据对象来满足匹配、溯源及场景方面的一般情况,主要针对异构日志数据中包含的模糊数据对象众多、数据操作复杂、用户可访问性不确定等问题。
本发明因为采用上述技术方案,同现有技术相比,有以下有益效果:
1、使用本方案,能够高效地接收并预处理异构日志数据文件,完成匹配、溯源、锚定等多项操作,通过使用区块链技术保证了日志数据的安全性与不可篡改性。
2、通过数据对象的设计,对异构日志数据完成了同质化解构,能够在不同场景下更准确地完成日志数据分析溯源。
3、通过用户输入一种或多种查询条件组合进行溯源查询,能够完成数据对象维度与用户维度的溯源,更加全面。
附图说明
图1链上日志溯源子系统溯源流程;
图2可信溯源系统逻辑架构图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明,但需要注意的是本发明并不仅仅只局限于这些实施方式。相反,对本发明进行的修改或者等同替换,均应涵盖在本发明的权利要求范围当中。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解,没有这些具体细节,本发明同样可以实施。
不同业务系统的异构日志数据在统一分析时较为困难且数据安全难以保证,本系统针对该问题使用区块链作为底层服务技术,并设计数据对象完成预处理、匹配、上链及溯源等操作,保证了日志数据在全过程中的安全性。
本发明设计并实现本系统的目标是基于区块链底层技术开发满足跨场景、跨业务多源数据可信存储、异常数据可信溯源的软件系统,利用Fisco Bcos区块链底层服务技术实现数据存储、可信溯源等能力,利用区块链智能合约技术保证多源数据在处理、交互等全流程中的安全可信,达到“多方信任、可信溯源、数据安全”的要求。
系统提供身份认证、节点注册、数据上链、数据验证、数据溯源等丰富的业务能力,同时具备区块链数据浏览器、用户图形化界面等基础必要功能。
传统日志溯源中存在的数据易受篡改、可追溯性较弱、安全性难以保证等问题。
本发明为解决上述问题,将采用以下技术方案:
可信溯源系统分为日志数据处理、链上日志溯源和日志数据区块链三个子系统。
日志数据处理子系统主要负责接收多个业务系统的异构日志数据,将其存放至文件数据库中,并在定义数据对象后选择相应日志文件进行预处理并匹配,得到并存储统一格式的日志数据。同时还能够对日志数据完成共指分析,支持不同日志数据文件的日志行为共指分析,借助事先定义的数据对象,用户可以选择不同的日志数据文件,并设置不同日志中数据对象的共指操作,系统将根据共指规则提取日志信息,供后续进行日志分析。
链上日志溯源子系统通过用户输入一种或多种查询条件组合进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源。本子系统中,日志信息上链后,系统可根据链上日志信息进行可视化溯源,支持用户名、数据对象、业务系统和时间范围进行组合查询。行为溯源分为两个维度:
1、数据对象维度可视化溯源。用户可以指定对某数据对象的操作行为进行溯源,可以查看在某一时间段内有哪些用户对该数据对象进行了操作。
2、用户维度可视化溯源。可以指定业务用户,查看某一时间段内该用户对哪些数据对象进行了操作,构成行为链供用户分析。
在溯源的基础上,系统会将不属于数据对象的知悉范围的业务用户进行的操作标记为非法,提醒用户该操作有安全问题。
日志数据区块链子系统可视作对前两个子系统的支撑,能够对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作。本子系统主要在金融级联盟链底层技术平台FISCO BCOS的基础上实现,按照自底向上的顺序,FISCO BCOS整体上可以划分为基础层、核心层、管理层、接口层4个层次。基础层负责提供区块链的基础数据结构和算法库,如密码学算法库及隐私算法库等;核心层实现区块链的核心逻辑,按照功能分为两大部分,其中链核心层实现区块链的链式数据结构、交易执行引擎和存储驱动,互联核心层实现区块链的基础P2P网络通信、共识机制和区块同步机制;管理层提供区块链管理功能,包括参数配置、账本管理、链上信使协议(AMOP)等;接口层面向区块链用户,提供多种协议的RPC接口、SDK和交互式控制台,允许用户基于区块链编程以及自定义发起和执行合约。
三个子系统协同,保护日志数据的安全性、不可篡改性。
接下来对系统中某些部分的具体实施方式进行进一步描述。
一、数据对象的设计
本系统设计具体的数据对象来满足匹配、溯源及场景方面的一般情况,主要针对异构日志数据中包含的模糊数据对象众多、数据操作复杂、用户可访问性不确定等问题。
本系统设计的具体数据对象信息、包括数据名、密级、知悉用户、操作、脱敏信息及数据描述信息等,该描述中以一条具体的日志数据信息“userA open file1.pdf”为例。
其中数据名是该数据对象的名称,考虑到不同业务系统递送的异构日志数据文件中,文件命名方式不尽相同,文件后缀也可能有所区别,甚至出现用户自定义后缀的情况,在设计该系统时决定不进行细致的匹配及检查,而是根据用户输入的数据对象名直接进行处理及匹配,简化逻辑。上述例子中的数据对象是“file1.pdf”;
密级是针对数据分级分类设计的该数据对象的保密等级,主要有1-5级,分别代表公开、敏感、秘密、机密以及绝密。通过数据的分级,对应权限等级的用户能够访问相应等级及以下的数据;
知悉用户是该数据对象的合法访问用户,可筛选出非法访问用户。虽然存在数据分级分类,但是一个数据对象的数据机密性等级仅用于某特定的业务系统,在两个不同的业务系统中,同一数据对象的机密性等级可能不同,用户的等级也不尽相同,这将导致混乱。因此,我们为数据对象单独设置了知悉范围,将合法访问用户全部添加至知悉范围中,便能够在一定程度上解决上述问题,并更利于溯源展示,上述例子中的用户是“userA”,反映至操作行为溯源图中时,假如用户“userA”属于数据对象“file1.pdf”的知悉范围,将呈现绿色,反之则为红色;
操作是用户对该数据对象的操作名,考虑到不同业务系统递送的异构日志数据文件中数据操作命名方法不统一,可能存在指代同一种操作的不同命名,因此在数据对象中定义了数据对象操作名,能够更好地完成匹配,并且本系统针对同一种操作的不同命名情况设计了共指分析操作。上述例子中的数据对象操作是“open”;
脱敏信息是需要对指定信息进行脱敏、漂白、隐藏的需求,此处可定义指定的脱敏信息、;
数据描述信息是对该数据对象的具体阐述,在设置数据对象时可多加描述进行标注说明。
通过这类数据对象的设计,能够满足对可信溯源系统场景使用的多种需求,包括预处理、匹配、上链及溯源等,并且使得对数据对象的各种处理有迹可循,具有较高的价值。
二、链上日志溯源子系统中溯源的实现
链上日志溯源子系统通过用户输入一种或多种查询条件组合对上链数据进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源,其具体实现方法如图1所示。
图1中展示了链上日志溯源的整个流程。
步骤1、用户进入日志溯源页面,选择溯源条件并点击溯源发起溯源请求。
步骤2、java后端通过对相应请求的解析与区块链进行通信,使用接口调用智能合约,智能合约完成链上日志数据溯源操作:从区块链的Rocksdb数据库中进行检索与匹配,找到已上链的相关日志信息,并返回溯源结果。此处的链上日志数据溯源操作将在所有子链中进行,在每个子链中部调用智能合约完成溯源,以实现数据跨链关联溯源。
步骤3、溯源结果回到java后端时,将根据结果中包含的源文件哈希进行比对,假如原始日志文件未被篡改,哈希值不变,则通过源文件地址完成数据锚定,提取minio数据库中存储的源文件的相关信息。
步骤4、链上日志数据溯源结果以及数据锚定结果将返回日志溯源页面,展示为操作行为轨迹图。在溯源的基础上,系统会将不属于数据对象的知悉范围的业务用户进行的操作标记为非法,提醒用户该操作有安全问题。以某数据对象为中心时,首先将与锚定的原始日志文件相连,并显示来自于哪条子链;然后从日志文件延申,与具体的用户相连,并以时间戳的形式,根据日志中的时间呈现该用户对选定数据对象的一系列操作,若该用户属于知悉范围,时间戳上具体的点代表的操作将是绿色,若不属于则是红色。最后用户可根据结果完成进一步分析。
三、应用场景
场景包括:
1、以数据对象为中心的异常行为:知悉范围检测;内部威胁用户检测。
2、以用户为中心的异常行为:重点监控用户行为分析;特权用户篡改行为检测。
1、以数据对象为中心的异常行为
知悉范围检测:本系统提出数据对象来满足匹配、溯源及场景方面的重要需求,主要针对日志数据中包含的模糊数据对象众多、数据操作复杂、用户可访问性不确定等问题。在设计数据对象时将添加知悉用户,某个数据对象的知悉用户集是当前总体用户集的子集。当用户属于某数据对象的知悉用户集时,他就处于该数据对象的知悉范围中。通过知悉范围的设置与检测,本系统可从日志数据中找出不属于某数据对象知悉用户集的用户,即为访问该数据对象的非法用户,以待进一步处理。
内部威胁用户检测:当某文件即数据对象被窃取后,本系统在接收、预处理与失窃文件相关的日志数据并将其上链后,可首先将该失窃文件设置为系统溯源分析的中心,从而得到相关溯源信息,溯源“接触”过该文件的所有用户,根据知悉范围的设置,可借机锁定非法用户对该文件的操作,进一步缩小范围。
2、以用户为中心的异常行为
重点监控用户行为分析:当某用户曾有不良记录或拥有较高权限时,需要对该用户进行必要的监控操作,以防止其对整体利益造成损失。本系统在接收、预处理与该用户相关的日志数据并将其上链后,可首先将该用户作为溯源分析的中心,得到相关溯源信息,可通过溯源重点监控用户的行为轨迹即操作行为轨迹图,以此判断其是否存在违规行为。
特权用户篡改行为检测:特权用户通常将是某具体业务系统的三员之一,不妨假设该特权用户拥有篡改系统日志信息的权限,但系统中同时存在两个不同的日志系统记录该业务系统的日志信息,其中日志系统A实时向本可信溯源系统发送系统日志数据,完成存证;日志系统B则每小时向本可信溯源系统发送一次记载有这一小时内所有系统日志的数据文件。该特权用户仅拥有修改日志系统B中日志数据的能力。针对这种场景,本系统在溯源分析时可将日志系统A发来的日志数据与日志系统B发来的日志数据进行对比,若对比时存在信息丢失,则可表明该特权用户存在篡改行为,以待进一步分析。
Claims (5)
1.一个基于区块链实现的可信溯源系统,其特征在于,包括:
日志数据处理子系统:负责接收多个业务系统的异构日志数据,将其存放至文件数据库中,并在定义数据对象后选择相应日志数据文件进行预处理并匹配,得到并存储统一格式的日志数据,同时还能够对日志数据完成共指分析;
链上日志溯源子系统:通过用户输入一种或多种查询条件组合进行溯源查询,所得结果将能够还原操作行为轨迹图、定位原始日志出处,并支持数据跨链关联溯源;
日志数据区块链子系统:能够对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作。
2.根据权利要求1所述的一个基于区块链实现的可信溯源系统,其特征在于:日志数据处理子系统中将接收并对原始异构日志数据文件完成预处理,具体包括:
步骤1.1、业务系统能够通过调用本系统的接口自动上传日志数据文件,或者用户手动上传关键日志数据文件,原始日志数据文件将被存放于minio数据库中,后端的mysql数据库将用t_log_file表记录原始日志数据文件对应的源文件名、源文件哈希、源文件地址、上传时间、上传ip信息;
步骤1.2、用户定义一个数据对象,包括数据对象名、数据对象操作、知悉范围、密级、脱敏信息及数据描述信息,用于在异构日志数据文件中准确地定位到想要关注的重要文件;
步骤1.3、用户查看已上传的日志数据文件列表时,选择列表中的日志数据文件进行预处理及匹配,选择数据对象,创建匹配任务,匹配日志文件中与所选数据对象相关的日志记录,对选定日志数据文件进行预处理及匹配时,首先通过.java适配器模式对选定日志数据文件进行预处理,提取出其中包含的时间、对数据对象进行操作的用户名、具体日志信息;然后匹配具有选定数据对象的具体日志信息,判断该条日志信息中是否存在给定的数据对象操作,假如存在则完成匹配,并判断用户名是否属于知悉范围;最后根据用户定义的脱敏信息完成脱敏,并存入mysql数据库中的t_matched_log表。
3.根据权利要求1所述的一个基于区块链实现的可信溯源系统,其特征在于:日志数据处理子系统能够对日志数据完成共指分析,具体包括:
步骤a1、通过步骤1.2用户事先定义的数据对象,用户选择不同的异构日志数据文件,并设置不同日志中数据对象的共指操作,首先选择第一个日志数据文件和该日志数据文件中存在的数据对象,再选择第二个日志文件和该日志文件中存在的数据对象,最后选择这两个数据对象定义的操作中存在对应关系的操作,如“close”对应“shut”;
步骤a2、根据用户选择的日志数据文件及数据对象完成日志信息的提取,得到具有共指关系的对应日志信息、。
4.根据权利要求1所述的一个基于区块链实现的可信溯源系统,其特征在于:链上日志溯源子系统中,行为溯源分为两个维度:
数据对象维度可视化溯源,用户对指定的数据对象的操作行为进行溯源,查看在指定的一时间段内有用户对该数据对象的操作行为记录;
用户维度可视化溯源,指定业务用户,查看指定的一时间段内该用户对数据对象进行的操作记录,构成行为链供用户分析;
日志信息上链后,根据链上日志信息进行可视化溯源,支持用户名、数据对象、业务系统和时间范围进行组合查询,具体包括:
步骤b1、用户进入日志溯源页面,选择溯源条件并点击溯源发起溯源请求;
步骤b2、链上日志溯源子系统通过对相应请求的解析与区块链进行通信,使用接口调用智能合约,智能合约完成链上日志数据溯源操作:从区块链的Rocksdb数据库中进行检索与匹配,找到已上链的相关日志信息,并返回溯源结果,此处的链上日志数据溯源操作将在所有子链中进行,在每个子链中都调用智能合约完成溯源,以实现数据跨链关联溯源,得到链上日志数据溯源结果;
步骤b3、溯源结果回到链上日志溯源子系统时,将根据结果中包含的源文件哈希进行比对,假如原始日志文件未被篡改,哈希值不变,则通过源文件地址完成数据锚定,提取minio数据库中存储的源文件的相关信息,得到数据锚定结果;
步骤b4、链上日志数据溯源结果以及数据锚定结果将返回日志溯源页面,展示为操作行为轨迹图,在溯源的基础上,将不属于数据对象的知悉范围的业务用户进行的操作标记为非法,提醒用户该操作有安全问题,以某数据对象为中心时,首先将与锚定的原始日志数据文件相连,并显示来自于哪条子链;然后从日志数据文件延申,与具体的用户相连,并以时间戳的形式,根据日志中的时间呈现该用户对选定数据对象的一系列操作,若该用户属于知悉范围,时间戳上具体的点代表的操作将是绿色,若不属于则是红色,最后用户可根据结果完成进一步分析。
5.根据权利要求1所述的一个基于区块链实现的可信溯源系统,其特征在于:
日志数据区块链子系统对链上日志溯源子系统、日志数据处理子系统进行支撑,对预处理并匹配后的日志数据上链、存证、取证,以及完成溯源操作,具体包括:
步骤c1、预处理并匹配后的匹配结果将被返回给前端,用户在查看相应结果后,选择其中需要上链存证的某条或多条日志信息,进行上链;
步骤c2、日志数据区块链子系统通过对相应请求的解析与区块链进行通信,使用接口调用智能合约发起交易,完成日志数据的上链存证,记录上链时间、日志信息、数据对象、数据对象操作、日志信息哈希、源文件路径和源文件哈希;
步骤c3、日志数据取证时,通过智能合约搜寻并匹配某日志信息,将区块中保存的日志信息哈希进行提取并与mysql数据库中该条日志信息计算所得的哈希值进行比较,保证mysql中数据未被篡改。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311064204.7A CN117076245A (zh) | 2023-08-22 | 2023-08-22 | 一个基于区块链实现的可信溯源系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311064204.7A CN117076245A (zh) | 2023-08-22 | 2023-08-22 | 一个基于区块链实现的可信溯源系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117076245A true CN117076245A (zh) | 2023-11-17 |
Family
ID=88701887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311064204.7A Pending CN117076245A (zh) | 2023-08-22 | 2023-08-22 | 一个基于区块链实现的可信溯源系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117076245A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117272405A (zh) * | 2023-11-21 | 2023-12-22 | 广东省电信规划设计院有限公司 | 应用于区块链溯源的数据验证方法及装置 |
-
2023
- 2023-08-22 CN CN202311064204.7A patent/CN117076245A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117272405A (zh) * | 2023-11-21 | 2023-12-22 | 广东省电信规划设计院有限公司 | 应用于区块链溯源的数据验证方法及装置 |
CN117272405B (zh) * | 2023-11-21 | 2024-04-12 | 广东省电信规划设计院有限公司 | 应用于区块链溯源的数据验证方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10268840B2 (en) | Systems and methods of determining compromised identity information | |
US10599872B2 (en) | Systems and methods of determining compromised identity information | |
CA2791794C (en) | A method and system for managing confidential information | |
CN106789964B (zh) | 云资源池数据安全检测方法及系统 | |
CN112217835B (zh) | 报文数据的处理方法、装置、服务器和终端设备 | |
Viega | Building security requirements with CLASP | |
CN108989118B (zh) | 一种基于go语言的企业级私有区块链部署工具 | |
CN113495920A (zh) | 一种基于区块链的内容审核系统、方法、装置和存储介质 | |
CN115004625A (zh) | 用于区块链分类账的索引结构 | |
Doshi et al. | A review paper on security concerns in cloud computing and proposed security models | |
CN112150113A (zh) | 档案数据的借阅方法、装置和系统、资料数据的借阅方法 | |
KR20220148854A (ko) | 데이터 보호를 위한 노이지 트랜잭션 | |
CN117076245A (zh) | 一个基于区块链实现的可信溯源系统 | |
CN113032793A (zh) | 数据安全智能加固系统及方法 | |
Mishra et al. | Enhancing privacy‐preserving mechanisms in Cloud storage: A novel conceptual framework | |
Henriques et al. | A Survey on Forensics and Compliance Auditing for Critical Infrastructure Protection | |
Fehér et al. | Log file authentication and storage on blockchain network | |
CN115296936A (zh) | 一种反网络犯罪辅侦的自动化方法及系统 | |
Mumtaz et al. | PDIS: A Service Layer for Privacy and Detecting Intrusions in Cloud Computing. | |
Brotsis et al. | Blockchain meets Internet of Things (IoT) forensics: A unified framework for IoT ecosystems | |
Kanth | Blockchain for use in collaborative intrusion detection systems | |
US20210279284A1 (en) | Behavior driven graph expansion | |
Sakshi et al. | A survey on blockchain based IoT forensic evidence preservation: research trends and current challenges | |
CN114021192A (zh) | 基于区块链的档案管理系统 | |
US20230205896A1 (en) | Methods for securing data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |