CN114911869A - 一种数据及文件存储系统、方法、装置及电子设备 - Google Patents
一种数据及文件存储系统、方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114911869A CN114911869A CN202210531662.6A CN202210531662A CN114911869A CN 114911869 A CN114911869 A CN 114911869A CN 202210531662 A CN202210531662 A CN 202210531662A CN 114911869 A CN114911869 A CN 114911869A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- file
- files
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 25
- 238000012550 audit Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000002085 persistent effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据及文件存储系统、方法、装置及电子设备,包括:采集端,用于采集待存储文件和待存储数据,所述存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;审核端,用于对所述待存储文件和待存储数据进行审核;存储端,包括ipfs集群、区块链集群,用于对接收到的数据和文件进行存储;服务端,分别与所述采集端、所述审核端以及存储端连接,用于对审核端审核通过的数据和文件进行处理后发送至所述存储端进行存储。该系统在存储端集成有ipfs集群和区块链集群,根据区块链技术和IPFS的技术特点,可以对数据及文件进行持久性保存且通过与服务端结合,可以形成历史版本可追溯、可验证的系统。
Description
技术领域
本发明涉及数据及文件存储技术领域,具体涉及一种数据及文件存储系统、方法、装置及电子设备。
背景技术
随着信息时代的发展,人们的生产和生活方式发生了一系列改变。信息的多用户和多元化的出现,使得信息数据的迅速增长,如何安全可信的存储和使用数据是当今社会发展的一个需要解决的重要问题。
发明内容
有鉴于此,本发明实施例提供了涉及一种数据及文件存储系统、方法、装置及电子设备,以解决现有技术中如何安全可信的存储和使用数据的技术问题。
本发明提出的技术方案如下:
本发明实施例第一方面提供一种数据及文件存储系统,该数据及文件存储系统包括:采集端,用于采集待存储文件和待存储数据,所述存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;审核端,用于对所述待存储文件和待存储数据进行审核;存储端,包括ipfs集群、区块链集群,用于对接收到的数据和文件进行存储;服务端,分别与所述采集端、所述审核端以及存储端连接,用于对审核端审核通过的数据和文件进行处理后发送至所述存储端进行存储。
可选地,所述存储端还包括:数据库和文件存储系统,所述数据库用于存储所述采集端采集到的待存储数据以及未审核的所有待存储数据,所述文件存储系统用于存储所述采集端采集到的所述待存储文件以及审核端未审核的待存储文件。
本发明实施例第二方面提供一种数据及文件存储方法,用于本发明实施例第二方面及第二方面任一项所述的数据及文件存储系统;该数据及文件存储方法包括:当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。
可选地,所述根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联之后,所述方法还包括:将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至所述服务端包含的后台服务器中。
可选地,所述方法还包括:当获取到用户端的数据查询请求时,根据所述数据查询请求包含的文件及数据在所述ipfs集群中进行检索;对检索到的数据及文件进行下载并对下载的数据及文件进行哈希运算得到对应的第二哈希值;在所述区块链集群中获取所述第一哈希值并将所述第二哈希值与所述第一哈希值进行比对;当比对结果满足要求,获取所述检索到的数据对应的数据及文件信息。
可选地,所述版本信息还包括所述ipfs集群返回的所述文件内容数据对应的文件编号、上传时间。
本发明实施例第三方面提供一种数据及文件存储装置,用于本发明实施例第二方面及第二方面任一项所述的数据及文件存储系统;该数据及文件存储装置包括:审核模块,用于当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;第一计算模块,用于当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;关联模块,用于根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;第一存储模块,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。
可选地,所述装置还包括:第二存储模块,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至所述服务端包含的后台服务器中。
本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如本发明实施例第二方面及第二方面任一项所述的数据及文件存储方法。
本发明实施例第五方面提供一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如本发明实施例第二方面及第二方面任一项所述的数据及文件存储方法。
本发明提供的技术方案,具有如下效果:
本发明实施例提供的数据及文件存储系统,包括:采集端,用于采集待存储文件和待存储数据,所述存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;审核端,用于对所述待存储文件和待存储数据进行审核;存储端,包括ipfs集群、区块链集群,用于对接收到的数据和文件进行存储;服务端,分别与所述采集端、所述审核端以及存储端连接,用于对审核端审核通过的数据和文件进行处理后发送至所述存储端进行存储。该系统在存储端集成有ipfs集群和区块链集群,根据区块链技术的不可篡改、不可伪造、去中心化、去信任化可以对区块链上数据及文件进行持久性保存的技术特点,以及IPFS去中心化、可分版本控制持久性保存的特性对及文件的真实性、完整性提供验证,并通过与服务端结合,形成历史版本可追溯、可验证的系统。
本发明实施例提供的数据及文件存储方法,当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。该方法将待存储数据及待存储文件存储至ipfs集群中,实现了数据及文件存储长期安全可信的存储;将版本信息以及待存储数据及待存储文件与ipfs集群中存储的数据及文件进行关联,并发送至用户终端,实现了用户对该待存储数据及待存储文件的可追溯。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的数据及文件存储系统的结构框图;
图2是根据本发明实施例的数据及文件存储系统的结构示意图;
图3是根据本发明实施例的数据及文件存储方法的流程图;
图4是根据本发明实施例的数据及文件存储装置的结构框图;
图5是根据本发明实施例提供的计算机可读存储介质的结构示意图;
图6是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种数据及文件存储系统,如图1所示,该数据及文件存储1包括:
采集端11,用于采集待存储文件和待存储数据,所述存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据。具体地,采集端可以为计算机终端的采集服务器,或者数据采集传感器等,本发明不做具体限定,只要满足采集需求即可。
审核端12,用于对所述待存储文件和待存储数据进行审核。具体地,审核端可以为计算机终端的审核服务器,用于直接对待存储数据及待存储文件进行审核;或者可以为计算机终端的数据显示端,用于将待存储数据及待存储文件进行显示并通过技术人员进行审核。本发明对此不做具体限定,只要满足审核需求即可。
存储端13,包括ipfs集群131、区块链集群132,用于对接收到的数据和文件进行存储。具体地,ipfs集群中集成有ipfs系统(星际文件系统),该ipfs系统是一种点对点的分布式文件系统,提供了一种高吞吐的基于内容寻址的块存储模型和基于内容寻址的超链接。它内部通过一个广义的默克尔有向无环图(Merkle DAG)数据结构实现。在它上面可以构建版本化的文件系统、区块链、甚至是永久性网站。IPFS结合了分布式哈希表,激励块交换和自认证命名空间。IPFS没有单点故障,而且节点之间不需要相互信任,从而实现可永久的存储信息内容,将接收到的文件存储在该ipfs集群中,可以实现文件长期存储。
其次,该ipfs系统还具有中心化、可分版本控制持久性保存的特性,可以对存储的文件的真实性、完整性提供验证。
区块链集群通过区块链技术进行搭建,其中,区块链技术具有分布式存储、点对点传输、加密算法等特征。数据结构通过密码学的相关技术保证其不可篡改和不可伪造,将接收到的数据和文件存储在该区块链集群中,可以实现安全可信的存储。并且区块链技还通过多节点构成的端到端的网络实现了数据和文件存储和管理的去中心化和去信任化,对一些需要长期真实保存的数据具有重大意义。
服务端14,分别与所述采集端11、所述审核端12以及存储端13连接,用于对审核端审核通过的数据和文件进行处理后发送至所述存储端13进行存储。具体地,在服务端对待存储数据和文件进行处理并发送至对应的存储端。首先,将该服务端与采集端连接,获取得到采集的待存储文件,然后,将得到的该待存储文件通过审核端进行审核,最后对审核通过的待存储文件进行处理,并完成与存储端的交互。
本发明实施例提供的数据及文件存储系统,该系统在存储端集成有ipfs集群和区块链集群,根据区块链技术的不可篡改、不可伪造、去中心化、去信任化可以对区块链上数据及文件进行持久性保存的技术特点,以及IPFS去中心化、可分版本控制持久性保存的特性对及文件的真实性、完整性提供验证,并通过与服务端结合,形成历史版本可追溯、可验证的系统。
作为本发明实施例一种可选的实施方式,所述存储端13还包括数据库133和文件存储系统134,所述数据库133用于存储所述采集端采集到的待存储数据以及未审核的所有待存储数据;所述文件存储系统134用于存储所述采集端采集到的所述待存储文件以及审核端未审核的待存储文件。
具体地,在存储端还可以包括有计算机终端的数据库和文件存储系统,一般设置在本地磁盘或局域网上,其中,本地数据库可以为Paradox、dBASE、FoxPro、ACCCSS等,本发明对此不做具体限定,只要满足存储需求即可。
在一实例中,如图2所示,该数据及文件存储系统根据数据及文件的产生、处理、存储分为用户层服务层和存储层。其中,用户层主要包括采集端(采集端)、Web端(审核端);服务层(服务端)主要包括文件服务系统、后台服务系统、中间件、ipfs管理服务、预言机;存储层(存储端)包括了文件存储、数据库、ipfs集群、区块链集群。
其中,采集端主要用于采集待存储数据(包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据);Web端主要用于对待存储数据及待存储文件进行审核;文件服务系统主要用于对通过Web端审核的待存储文件(包括各种电子文档、多媒体文件)进行哈希运算等加密处理操作;后台服务系统主要用于根据实际需求在服务端后台对所有待存储数据及待存储文件进行规划处理;中间件主要用于将待存储数据及待存储文件与区块链集群相结合,实现交互;ipfs管理服务主要用于根据实际需求为ipfs集群提供检索服务,并对待存储文件进行追溯;预言机是一种抽象电脑,主要用于将待存储文件和区块链集群相结合,实现交互;文件存储主要用于存储经过哈希运算得到的加密待存储文件对应的数据;数据库主要用于存储待存储数据;ipfs集群主要用于存储审核通过的待存储数据;区块链集群主要用于存储文件版本信息以及待存储文件对应的数据等。
本发明实施例还提供一种数据及文件存储方法,用于本发明实施例提供的数据及文件存储系统1,具体地,启动该数据及文件存储系统1的后台服务时,对文件进行存储。如图3所示,该方法包括如下步骤:
步骤S101:当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据。具体地,当接收到待存储数据及待存储文件时,首先对该待存储数据及待存储文件进行审核。
步骤S102:当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群。具体地,当审核通过时,将审核通过的待存储文件进行哈希运算得到对应的第一哈希值,然后上传至对应的ipfs集群中进行持久存储,然后ipfs集群返回文件整体的ipfs地址,并将该待存储文件和该ipfs地址也上传至对应的ipfs集群中进行持久存储。其中,哈希运算表示为利用文本信息来生成对应的信息摘要代码,即对文件进行加密,可以保障文件传输过程中的安全性。其次,在数据库中,哈希值更小,更容易被找到,可以使得文件的存储速度更快。
步骤S103:据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址。具体地,ipfs集群返回待存储文件的存储路径后,将该存储路径生成对应的版本信息,并将该版本信息和第一待存储数据与对应ipfs集群中的待存储文件进行关联,便于后续进行查找和追溯。
步骤S104:将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。具体地,将版本信息和第一哈希值以及和审核通过的第一待存储数据关联存储至区块链集群中,利用区块链的去中心化、可分版本控制持久性保存的特性,可以便于后续对该数据(包括待存储文件的版本信息、第一哈希值以及审核通过的第一待存储数据)的真实性和完整性进行验证。然后,将该数据发送至对应的用户终端,便于用于进行检索和查看。
本发明实施例提供的数据及文件存储方法,该方法将待存储数据及待存储文件存储至ipfs集群中,实现了数据及文件存储长期安全可信的存储;将版本信息以及待存储数据及待存储文件与ipfs集群中存储的数据及文件进行关联,并发送至用户终端,实现了用户对该待存储数据及待存储文件的可追溯。
作为本发明实施例一种可选的实施方式,根据ipfs集群返回的待存储文件对应的存储路径生成版本信息并将该版本信息以及第一待存储数据与ipfs集群中存储的文件进行关联之后,还可以将该待存储文件的版本信息以及对应的第一哈希值和审核通过的第一待存储数据关联存储至对应服务端包含的后台服务器中。具体地,存储在服务端包含的后台服务器中,在满足查询和检索要求的同时,可以减少用户终端的存储量。
作为本发明实施例一种可选的实施方式,所述方法还包括:当获取到用户端的数据查询请求时,根据所述数据查询请求包含的文件及数据在所述ipfs集群中进行检索;对检索到的数据及文件进行下载并对下载的数据及文件进行哈希运算得到对应的第二哈希值;在所述区块链集群中获取所述第一哈希值并将所述第二哈希值与所述第一哈希值进行比对;当比对结果满足要求,获取所述检索到的数据对应的数据及文件信息。
具体地,用户可以读取和使用存储的不同数据。首先,获取到用户的数据查询请求,该数据查询请求中可以包括文件以及数据(文件包括各种电子文档、多媒体文件;数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据),利用该文件及数据可以在对应的ipfs集群中进行检索得到对应的数据及文件,实现查询;然后下载该数据并对该数据及文件进行哈希运算得到对应的第二哈希值,利用哈希值可以使得数据及文件的查询速度更快;最后,利用该第二哈希值与获取的区块链集群中存储的第一哈希值进行比对,当比对一致时,可以查询到该下载的数据及文件的所有数据信息,实现对该待查询数据及文件的追溯。
作为本发明实施例一种可选的实施方式,该生成的版本信息还可以包括:ipfs集群返回的所述文件内容数据对应的文件编号、上传时间等。其中,文件编号表示一种标识,在该ipfs集群中自动生成,便于后续查找时使用。
本发明实施例还提供一种数据及文件存储装置,如图4所示,用于本发明实施例提供的数据及文件存储系统1,该装置包括:
审核模块401,用于当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;详细内容参见上述方法实施例中步骤S101的相关描述。
第一计算模块402,用于当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;详细内容参见上述方法实施例中步骤S102的相关描述。
关联模块403,用于根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;详细内容参见上述方法实施例中步骤S103的相关描述。
第一存储模块404,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端;详细内容参见上述方法实施例中步骤S104的相关描述。
本发明实施例提供的数据及文件存储装置,将待存储数据及待存储文件存储至ipfs集群中,实现了数据及文件存储长期安全可信的存储;将版本信息以及待存储数据及待存储文件与ipfs集群中存储的数据及文件进行关联,并发送至用户终端,实现了用户对该待存储数据及待存储文件的可追溯。
作为本发明实施例一种可选的实施方式,所述装置还包括:第二存储模块,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至所述服务端包含的后台服务器中。
作为本发明实施例一种可选的实施方式,所述装置还包括:检索模块,用于当获取到用户端的数据查询请求时,根据所述数据查询请求包含的文件及数据在所述ipfs集群中进行检索;第二计算模块,用于对检索到的数据及文件进行下载并对下载的数据及文件进行哈希运算得到对应的第二哈希值;比对模块,用于在所述区块链集群中获取所述第一哈希值并将所述第二哈希值与所述第一哈希值进行比对;获取模块,用于当比对结果满足要求,获取所述检索到的数据对应的数据及文件信息。
作为本发明实施例一种可选的实施方式,所述版本信息还包括所述ipfs集群返回的所述文件内容数据对应的文件编号、上传时间。
本发明实施例提供的数据及文件存储装置的功能描述详细参见上述实施例中数据及文件存储方法描述。
本发明实施例还提供一种存储介质,如图5所示,其上存储有计算机程序501,该指令被处理器执行时实现上述实施例中数据及文件存储方法的步骤。该存储介质上还存储有音视频流数据,特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备,如图6所示,该电子设备可以包括处理器61和存储器62,其中处理器61和存储器62可以通过总线或者其他方式连接,图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit,CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的数据及文件存储方法。
存储器62可以包括存储程序区和存储数据区,其中,存储程序区可存储操作装置、至少一个功能所需要的应用程序;存储数据区可存储处理器61所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器62可选包括相对于处理器61远程设置的存储器,这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中,当被所述处理器61执行时,执行如图3所示实施例中的数据及文件存储方法。
上述电子设备具体细节可以对应参阅图3所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种数据及文件存储系统,其特征在于,包括:
采集端,用于采集待存储文件和待存储数据,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;
审核端,用于对所述待存储文件和待存储数据进行审核;
存储端,包括ipfs集群、区块链集群,用于对接收到的数据和文件进行存储;
服务端,分别与所述采集端、所述审核端以及存储端连接,用于对审核端审核通过的数据和文件进行处理后发送至所述存储端进行存储。
2.根据权利要求1所述的系统,其特征在于,所述存储端还包括:数据库和文件存储系统,所述数据库用于存储所述采集端采集到的待存储数据以及未审核的所有待存储数据,所述文件存储系统用于存储所述采集端采集到的所述待存储文件以及审核端未审核的待存储文件。
3.一种数据及文件存储方法,其特征在于,用于权利要求1或2所述的数据及文件存储系统;包括如下步骤:
当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;
当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;
根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;
将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。
4.根据权利要求3所述的方法,其特征在于,所述根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联之后,所述方法还包括:
将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至所述服务端包含的后台服务器中。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
当获取到用户端的数据查询请求时,根据所述数据查询请求包含的文件及数据在所述ipfs集群中进行检索;
对检索到的数据及文件进行下载并对下载的数据及文件进行哈希运算得到对应的第二哈希值;
在所述区块链集群中获取所述第一哈希值并将所述第二哈希值与所述第一哈希值进行比对;
当比对结果满足要求,获取所述检索到的数据对应的数据及文件信息。
6.根据权利要求3所述的方法,其特征在于,所述版本信息还包括所述ipfs集群返回的所述文件内容数据对应的文件编号、上传时间。
7.一种数据及文件存储装置,其特征在于,用于权利要求1或2所述的数据及文件存储系统;包括:
审核模块,用于当获取到用户终端发送的待存储数据及待存储文件时,将所述待存储数据及待存储文件发送至审核端进行审核,所述待存储文件包括各种电子文档、多媒体文件,所述待存储数据包括采集人员实时记录的数据、文件内容属性数据、采集人员身份数据;
第一计算模块,用于当审核结果为审核通过时,对待存储文件进行哈希计算生成第一哈希值并将所述待存储文件存储至ipfs集群,返回文件整体的ipfs地址,将所述待存储文件、所述第一哈希值和所述ipfs地址存储至区块链集群;
关联模块,用于根据所述ipfs集群返回的所述待存储文件对应的存储路径生成版本信息并将所述版本信息以及第一待存储数据与所述ipfs集群中存储的文件进行关联,所述第一待存储数据包括文件所有者身份数据、文件操作者身份数据以及采集人员实时记录的数据、待存储文件整体哈希值、ipfs文件整体地址;
第一存储模块,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至区块链集群并将所述待存储文件和第一待存储数据发送至所述用户终端。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二存储模块,用于将所述待存储文件的版本信息以及对应的第一哈希值和审核通过的所述第一待存储数据关联存储至所述服务端包含的后台服务器中。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求3-6任一项所述的数据及文件存储方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求3-6任一项所述的数据及文件存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531662.6A CN114911869A (zh) | 2022-05-13 | 2022-05-13 | 一种数据及文件存储系统、方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531662.6A CN114911869A (zh) | 2022-05-13 | 2022-05-13 | 一种数据及文件存储系统、方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114911869A true CN114911869A (zh) | 2022-08-16 |
Family
ID=82767619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210531662.6A Pending CN114911869A (zh) | 2022-05-13 | 2022-05-13 | 一种数据及文件存储系统、方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114911869A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115981874A (zh) * | 2023-03-20 | 2023-04-18 | 天津大学四川创新研究院 | 基于云边协同的去中心化ai分析与数据存储方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349056A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 基于区块链的业务处理系统以及方法 |
CN111104386A (zh) * | 2019-11-04 | 2020-05-05 | 北京海益同展信息科技有限公司 | 一种文件存储方法、终端及存储介质 |
CN111552955A (zh) * | 2020-04-29 | 2020-08-18 | 合肥井创数字科技有限公司 | 一种基于区块链和ipfs的个人身份认证方法及装置 |
US20200356546A1 (en) * | 2018-11-09 | 2020-11-12 | Innoplexus Ag | System and method for interoperability of blockchains |
CN112835612A (zh) * | 2021-01-26 | 2021-05-25 | 平衡机器科技(深圳)有限公司 | 一种基于区块链的电子文档版本管理方法及装置 |
CN113328867A (zh) * | 2021-08-03 | 2021-08-31 | 湖南和信安华区块链科技有限公司 | 一种基于区块链的会议纪要存储系统 |
CN113468612A (zh) * | 2021-06-30 | 2021-10-01 | 上海特高信息技术有限公司 | 一种基于区块链和ipfs的文件审核系统及方法 |
CN113961535A (zh) * | 2021-11-26 | 2022-01-21 | 北京航空航天大学 | 一种基于区块链的数据可信存储共享系统与方法 |
-
2022
- 2022-05-13 CN CN202210531662.6A patent/CN114911869A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200356546A1 (en) * | 2018-11-09 | 2020-11-12 | Innoplexus Ag | System and method for interoperability of blockchains |
CN110349056A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 基于区块链的业务处理系统以及方法 |
CN111104386A (zh) * | 2019-11-04 | 2020-05-05 | 北京海益同展信息科技有限公司 | 一种文件存储方法、终端及存储介质 |
CN111552955A (zh) * | 2020-04-29 | 2020-08-18 | 合肥井创数字科技有限公司 | 一种基于区块链和ipfs的个人身份认证方法及装置 |
CN112835612A (zh) * | 2021-01-26 | 2021-05-25 | 平衡机器科技(深圳)有限公司 | 一种基于区块链的电子文档版本管理方法及装置 |
CN113468612A (zh) * | 2021-06-30 | 2021-10-01 | 上海特高信息技术有限公司 | 一种基于区块链和ipfs的文件审核系统及方法 |
CN113328867A (zh) * | 2021-08-03 | 2021-08-31 | 湖南和信安华区块链科技有限公司 | 一种基于区块链的会议纪要存储系统 |
CN113961535A (zh) * | 2021-11-26 | 2022-01-21 | 北京航空航天大学 | 一种基于区块链的数据可信存储共享系统与方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115981874A (zh) * | 2023-03-20 | 2023-04-18 | 天津大学四川创新研究院 | 基于云边协同的去中心化ai分析与数据存储方法及系统 |
CN115981874B (zh) * | 2023-03-20 | 2023-06-13 | 天津大学四川创新研究院 | 基于云边协同的去中心化ai分析与数据存储方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108133008B (zh) | 数据库中业务数据的处理方法、装置、设备和存储介质 | |
CN103019879B (zh) | 浏览器崩溃信息的处理方法及系统 | |
CN105049287A (zh) | 日志处理方法及装置 | |
US8972374B2 (en) | Content acquisition system and method of implementation | |
CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
CN104104717A (zh) | 投放渠道数据统计方法及装置 | |
CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
CN113468199B (zh) | 索引更新方法及系统 | |
CN107329853A (zh) | 数据库集群的备份方法、备份系统及电子设备 | |
CN114911869A (zh) | 一种数据及文件存储系统、方法、装置及电子设备 | |
CN114579408A (zh) | 一种实时数据库实时方程式的解析系统及方法 | |
CN113449339A (zh) | 日志收集方法、系统、计算机设备及计算机可读存储介质 | |
CN115858488A (zh) | 基于数据治理的平行迁移方法、装置及可读介质 | |
CN110598475A (zh) | 基于区块链的作品属性信息获取方法、装置和计算机设备 | |
CN111782869B (zh) | 视频大数据事件库构建方法、装置及计算机设备 | |
CN117235400A (zh) | 一种基于Kafka技术统一多平台门户系统 | |
CN116708178A (zh) | 网络设备变更历史的回溯方法、装置、设备、介质及产品 | |
CN116155597A (zh) | 访问请求的处理方法、装置及计算机设备 | |
CN110807000A (zh) | 一种文件修复方法、装置、电子设备和存储介质 | |
CN113220530B (zh) | 数据质量监控方法及平台 | |
CN115801765A (zh) | 文件传输方法、装置、系统、电子设备及存储介质 | |
CN111159988B (zh) | 一种模型处理方法、装置、计算机设备及存储介质 | |
CN112416875A (zh) | 日志管理方法、装置、计算机设备及存储介质 | |
CN115687374A (zh) | 数据发布方法、装置、存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220816 |