CN110781155B - 基于ipfs的数据存储读取方法、系统、设备和介质 - Google Patents

基于ipfs的数据存储读取方法、系统、设备和介质 Download PDF

Info

Publication number
CN110781155B
CN110781155B CN201911002949.4A CN201911002949A CN110781155B CN 110781155 B CN110781155 B CN 110781155B CN 201911002949 A CN201911002949 A CN 201911002949A CN 110781155 B CN110781155 B CN 110781155B
Authority
CN
China
Prior art keywords
file
block
contents
compression
ipfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911002949.4A
Other languages
English (en)
Other versions
CN110781155A (zh
Inventor
黄友俊
李星
吴建平
段晓磊
李威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERNET Corp
Original Assignee
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CERNET Corp filed Critical CERNET Corp
Priority to CN201911002949.4A priority Critical patent/CN110781155B/zh
Publication of CN110781155A publication Critical patent/CN110781155A/zh
Application granted granted Critical
Publication of CN110781155B publication Critical patent/CN110781155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1873—Versioning file systems, temporal file systems, e.g. file system supporting different historic versions of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于IPFS的数据存储读取方法，所述方法包括：在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。本发明针对文件在IPFS上存储时进行压缩，在保证存储读取速度的基础上，提供更大的存储能力。

Description

基于IPFS的数据存储读取方法、系统、设备和介质
技术领域
本发明涉及基于IPFS的数据存储读取方法、系统、设备和介质。
背景技术
随着国内院校采购国外设备的增加，尤其是计算机相关设备，计算机设备的存储能力也成为焦点。目前随着业务的增加，投入再多的资金采购的大存储设备，随着业务的运行时间，存储空间的压力也会慢慢体现出来。
在日益增长的数据文件的基础上，如何高效的存储数据和快速获取想要的内容成为一个比较棘手的问题。
目前，现有技术中通过星际文件系统IPFS(InterPlanetary File System)进行快速安全存储，IPFS是一个面向全球的、点对点的分布式版本文件系统，是下一代web的基础设施。其原理是用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希，通过这样可以让网页的速度更快、更安全、更健壮、更持久。IPFS文件管理系统是让大数据分散存储在不同位置，并能根据哈希索引快速获得相关内容的一套系统。IPFS将让数据的存储更安全。IPFS中的容错机制会保证你的数据被复制了足够多数量并存放在不同的地区，全网分布式的数据存储，这就极大的保证了存储在IPFS上的数据安全性。
研发人员关注如何在IPFS的基础上，进一步提高IPFS上的文件的存储密度。
发明内容
(一)要解决的技术问题
如何在IPFS的基础上，进一步提高IPFS上的文件的存储密度，实现高效的存储数据和快速获取想要的内容。
(二)技术方案
本发明一方面提供了一种基于IPFS的数据存储读取方法，所述方法包括：在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。
可选地，所述在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，包括：将文件拆分为文件块，将各文件块的原始数据、各文件块分别对应的第一哈希值及其第一哈希索引存储到IPFS系统中，建立各个文件块中文件内容与数字对应的压缩字典块，将所述压缩字典块存储到IPFS系统中。
可选地，所述建立各个文件块中文件内容与数字对应的压缩字典块，包括：将各个文件块中出现频次大于预设数量的内容放入压缩字典块中，并用不同的数字来表示不同的内容。
可选地，所述对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，包括：根据所述第一哈希索引读取各文件块原始数据，并根据所述压缩字典块对所述原始数据进行扫描和匹配；获取匹配成功的内容的待嵌入单元个数，以及所述待嵌入单元的载体长度和认证信息长度，根据所述载体长度和认证信息长度建立压缩标记；获取根据所述待嵌入单元的位置信息，根据所述位置信息建立压缩索引；根据所述压缩标记和所述压缩索引，将所述待嵌入单元中的文件内容替换为所述压缩字典块中与该文件内容相对应的数字。
可选地，所述然后进行存储，包括：计算已经替换完成的各个文件块的第二哈希值，计算各个文件块的压缩索引的第三哈希值，计算各个文件块所对应的所述压缩字典块的第四哈希值；将所述文件块的所述第二哈希值、所述第三哈希值和所述第四哈希值拼凑为一个第一数组，计算该第一数组的哈希值得到该文件块的哈希值，将组成文件的所有文件块的哈希值组成一个第二数组，计算该第二数组的哈希值得到文件的最终哈希值，再将该最终哈希值与所述第二数组进行捆绑，组成一个对象，将所述对象作为该文件的索引结构。
可选地，所述索引结构表示为：哈希(文件)＝哈希(哈希文件块1……哈希文件块n)。
可选地，所述在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件，包括：根据文件的最终哈希值进行哈希搜索，得到所述索引结构，根据所述索引结构获取组成文件的所有文件块对应的文件块的哈希值；根据各个所述文件块的哈希值读取对应的文件块并下载；根据所述压缩标记、所述压缩索引以及所述压缩字典块将所述文件块中已替换为数字的文件内容再次替换为原有的内容；将各个所述文件块进行拼装，得到完整文件。
本发明另一方面提供了一种基于IPFS的数据存储读取系统，所述系统包括：存储模块，用于在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；读取模块，用于在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。
本发明又一方面提供了一种电子设备，所述设备包括：处理器；存储器，其存储有计算机可执行程序，该程序包含如上文所述的基于IPFS的数据存储读取方法。
本发明再一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包含如上文所述的基于IPFS的数据存储读取方法。
(三)有益效果
本发明针对大文件在IPFS上存储时进行压缩，在保证存储读取速度的基础上，提供更大的存储能力。并进一步提高IPFS上的文件的存储密度，实现高效的存储数据和快速获取想要的内容。
附图说明
图1是本发明实施例提供的基于IPFS的数据存储读取方法流程图；
图2是本发明实施例提供的基于IPFS的数据存储读取方法中文件块对应哈希值的过程示意图；
图3是本发明实施例提供的基于IPFS的数据存储读取系统框图；
图4是本发明实施例提供的电子设备框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明实施例提供了一种基于IPFS的数据存储读取方法，参见图1和图2，所述方法包括：
步骤101，在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储。
具体地，首先，上文所述在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，包括：将文件拆分为文件块，将各文件块的原始数据、各文件块分别对应的第一哈希值及其第一哈希索引存储到IPFS系统中，建立各个文件块中文件内容与数字对应的压缩字典块，将所述压缩字典块存储到IPFS系统中。
所述建立各个文件块中文件内容与数字对应的压缩字典块，包括：将各个文件块中出现频次大于预设数量的内容放入压缩字典块中，并用不同的数字来表示不同的内容。字典压缩是通过字典去记录一些出现频次比较高的词汇，并在存储的时候把一些词汇用特定的数去表示。例如一个字符串“ab”出现的频次很高，若采用直接用字符的方式去存储(字符的编码范围是0～65536，两个字节)需要4个字节，那么它出现10次就要占用40个字节；如果我们规定一个数来表示“ab”，比如256,256需要占用两个字节的存储空间，使用10次需要20个字节，和前者相比可以节省一半的存储空间，这就是字典压缩的好处。我们可以把在文件中写数据，看成在文件中写一些字符串的索引，要得到具体内容，通过字典去对应就可以了。
然后所述对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，包括：根据所述第一哈希索引读取各文件块原始数据，并根据所述压缩字典块对所述原始数据进行扫描和匹配，该扫描匹配可以为通过顺序字符进行扫描匹配；获取匹配成功的内容的待嵌入单元个数，以及所述待嵌入单元的载体长度和认证信息长度，根据所述载体长度和认证信息长度建立压缩标记；获取根据所述待嵌入单元的位置信息，根据所述位置信息建立压缩索引；根据所述压缩标记和所述压缩索引，将所述待嵌入单元中的文件内容替换为所述压缩字典块中与该文件内容相对应的数字。
其中，待嵌入单元实际是指嵌入式单元，待嵌入单元的认证信息长度与待嵌入单元的载体长度之和等于该待嵌入单元的长度。上文中的压缩索引的建立具体为：根据待嵌入单元的嵌入位置信息，在当前待嵌入单元中生成待嵌入认证信息的嵌入位置，对匹配的内容信息段去对应压缩字典块的内容索引，建立待压缩替换的字符段和压缩字典块索引的关联关系。
对文件内容进行替换，具体为，待嵌入单元定义后，用压缩标记做TITLE后继跟上压缩索引标号，去替换已有的嵌入单元，根据读取的相应长度的认证信息和载体数据以及生成的待嵌入认证信息的嵌入位置，在当前嵌入单元中嵌入认证信息进而形成压缩数据单元；其中，压缩数据单元大小与嵌入单元大小相同，所述压缩数据单元包含载体数据及认证信息。
需要说明的是，前文所述的文件内容替换过程可以在本地完成，然后将替换完成的压缩文件上传IPFS系统。
可选地，所述然后进行存储，包括：计算已经替换完成的各个文件块的第二哈希值，计算各个文件块的压缩索引的第三哈希值，计算各个文件块所对应的所述压缩字典块的第四哈希值；将所述文件块的所述第二哈希值、所述第三哈希值和所述第四哈希值拼凑为一个第一数组，计算该第一数组的哈希值得到该文件块的哈希值，将组成文件的所有文件块的哈希值组成一个第二数组，计算该第二数组的哈希值得到文件的最终哈希值，再将该最终哈希值与所述第二数组进行捆绑，组成一个对象，将所述对象作为该文件的索引结构。
其中，所述索引结构表示为：哈希(文件)＝哈希(哈希文件块1……哈希文件块n)。每个文件块经过哈希，都生成唯一的哈希指纹。
步骤102，在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。
可选地，所述在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件，包括：根据文件的最终哈希值进行哈希搜索，得到所述索引结构，根据所述索引结构获取组成文件的所有文件块对应的文件块的哈希值，搜索文件块所在的节点位置，将文件块下载并获取压缩标记、压缩索引以及压缩字典块；根据各个所述文件块的哈希值读取对应的文件块并下载；根据所述压缩标记、所述压缩索引以及所述压缩字典块将所述文件块中已替换为数字的文件内容再次替换为原有的内容；将各个所述文件块进行拼装，拼装需要根据索引结构中文件块的哈希值顺序进行拼装，得到完整文件。
其中，根据各个所述文件块的哈希值读取对应的文件块并下载包括：读取字符集和文件块字节，读取文件块的每一个字节编码，识别压缩关键词，按压缩索引寻找对应数据字典，将字典内容写入压缩文件块，直至读取完所有文件块字节，最终按块的压缩标识和压缩索引去替换相应内容。
本发明实施例还提供了一种基于IPFS的数据存储读取系统，参见图3，所述系统300包括：存储模块310，用于在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；读取模块320，用于在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。
图4示意性示出了根据本发明实施例的电子设备框图。
如图4所示，电子设备400包括处理器410和存储器420。该电子设备400可以执行根据本发明实施例的方法。
具体地，处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
存储器420，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。其存储有计算机可执行程序，该程序在被处理器执行时，使得处理器执行如上文所述的基于Radius服务器的流量调度方法。
本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种基于IPFS的数据存储读取方法，其特征在于，所述方法包括：
在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；
在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件；
其中，所述在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，包括：
将文件拆分为文件块，将各文件块的原始数据、各文件块分别对应的第一哈希值及其第一哈希索引存储到IPFS系统中，
建立各个文件块中文件内容与数字对应的压缩字典块，将所述压缩字典块存储到IPFS系统中；
所述对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，包括：
根据所述第一哈希索引读取各文件块原始数据，并根据所述压缩字典块对所述原始数据进行扫描和匹配；
获取匹配成功的内容的待嵌入单元个数，以及所述待嵌入单元的载体长度和认证信息长度，根据所述载体长度和认证信息长度建立压缩标记；
获取根据所述待嵌入单元的位置信息，根据所述位置信息建立压缩索引；
根据所述压缩标记和所述压缩索引，将所述待嵌入单元中的文件内容替换为所述压缩字典块中与该文件内容相对应的数字。
2.根据权利要求1所述的方法，其特征在于，所述建立各个文件块中文件内容与数字对应的压缩字典块，包括：
将各个文件块中出现频次大于预设数量的内容放入压缩字典块中，并用不同的数字来表示不同的内容。
3.根据权利要求1所述的方法，其特征在于，所述然后进行存储，包括：
计算已经替换完成的各个文件块的第二哈希值，计算各个文件块的压缩索引的第三哈希值，计算各个文件块所对应的所述压缩字典块的第四哈希值；
将所述文件块的所述第二哈希值、所述第三哈希值和所述第四哈希值拼凑为一个第一数组，计算该第一数组的哈希值得到该文件块的哈希值，
将组成文件的所有文件块的哈希值组成一个第二数组，计算该第二数组的哈希值得到文件的最终哈希值，再将该最终哈希值与所述第二数组进行捆绑，组成一个对象，将所述对象作为该文件的索引结构。
4.根据权利要求3所述的方法，其特征在于，所述索引结构表示为：哈希（文件）=哈希(哈希文件块1……哈希文件块n )。
5.根据权利要求4所述的方法，其特征在于，所述在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件，包括：
根据文件的最终哈希值进行哈希搜索，得到所述索引结构，根据所述索引结构获取组成文件的所有文件块对应的文件块的哈希值；
根据各个所述文件块的哈希值读取对应的文件块并下载；
根据所述压缩标记、所述压缩索引以及所述压缩字典块将所述文件块中已替换为数字的文件内容再次替换为原有的内容；
将各个所述文件块进行拼装，得到完整文件。
6.一种基于IPFS的数据存储读取系统，其特征在于，所述系统包括：
存储模块，用于在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，然后进行存储；
其中，所述在将文件存储到IPFS系统中时，建立文件内容与数字对应的压缩字典，包括：
将文件拆分为文件块，将各文件块的原始数据、各文件块分别对应的第一哈希值及其第一哈希索引存储到IPFS系统中，
建立各个文件块中文件内容与数字对应的压缩字典块，将所述压缩字典块存储到IPFS系统中；
所述对IPFS系统中文件内容进行识别，在所述压缩字典中查找与所述文件内容相对应的数字，对该文件内容进行数字替换，包括：
根据所述第一哈希索引读取各文件块原始数据，并根据所述压缩字典块对所述原始数据进行扫描和匹配；
获取匹配成功的内容的待嵌入单元个数，以及所述待嵌入单元的载体长度和认证信息长度，根据所述载体长度和认证信息长度建立压缩标记；
获取根据所述待嵌入单元的位置信息，根据所述位置信息建立压缩索引；
根据所述压缩标记和所述压缩索引，将所述待嵌入单元中的文件内容替换为所述压缩字典块中与该文件内容相对应的数字；
读取模块，用于在IPFS系统中读取文件时，根据所述压缩字典中查找与所述文件中已替换为数字的文件内容，并对已替换为数字的文件内容再次替换为原有的内容，得到文件。
7.一种电子设备，其特征在于，所述设备包括：
处理器；
存储器，其存储有计算机可执行程序，该程序包含如权利要求1-5中任一的基于IPFS的数据存储读取方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序包含如权利要求1-5中任一的基于IPFS的数据存储读取方法。
CN201911002949.4A 2019-10-18 2019-10-18 基于ipfs的数据存储读取方法、系统、设备和介质 Active CN110781155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911002949.4A CN110781155B (zh) 2019-10-18 2019-10-18 基于ipfs的数据存储读取方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911002949.4A CN110781155B (zh) 2019-10-18 2019-10-18 基于ipfs的数据存储读取方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN110781155A CN110781155A (zh) 2020-02-11
CN110781155B true CN110781155B (zh) 2022-06-24

Family

ID=69386257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002949.4A Active CN110781155B (zh) 2019-10-18 2019-10-18 基于ipfs的数据存储读取方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN110781155B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535709B (zh) * 2020-04-15 2023-11-14 抖音视界有限公司 数据处理方法、装置及电子设备
CN111767250A (zh) * 2020-06-10 2020-10-13 钛星投资(深圳)有限公司 去中心化存储方法、下载方法及存储系统
CN112084522B (zh) * 2020-09-28 2021-09-21 深圳市腾盟技术有限公司 数据存储方法、装置、设备及存储介质
CN113434094A (zh) * 2021-07-08 2021-09-24 山东中科好靓科技有限公司 一种基于ipfs的数据文件存储提取方法
CN114666406B (zh) * 2022-02-24 2023-11-21 国电南瑞科技股份有限公司 一种基于物模型的电力物联网数据压缩方法及装置
CN115080526B (zh) * 2022-08-22 2022-11-11 四川蜀天信息技术有限公司 一种基于ipfs大文件存储的方法
CN116303297B (zh) * 2023-05-25 2023-09-29 深圳市东信时代信息技术有限公司 文件压缩处理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156380A (zh) * 2014-03-04 2014-11-19 深圳信息职业技术学院 一种分布式存储器哈希索引方法及系统
CN105893337A (zh) * 2015-01-04 2016-08-24 伊姆西公司 用于文本压缩和解压缩的方法和设备
CN107682016A (zh) * 2017-09-26 2018-02-09 深信服科技股份有限公司 一种数据压缩方法、数据解压方法及相关系统
CN108062202A (zh) * 2017-12-15 2018-05-22 中链科技有限公司 一种文件分块存储方法及系统
WO2019081015A1 (en) * 2017-10-25 2019-05-02 Nanto B.V. UNIVERSALLY NAMED LOCATIONS
CN109753825A (zh) * 2019-01-09 2019-05-14 篱笆墙网络科技有限公司 备份文件存储、备份文件下载方法及系统
CN109918375A (zh) * 2019-02-26 2019-06-21 杭州云象网络技术有限公司 一种基于区块链和分布式存储的大文本存储、索引及检索方法
CN110032545A (zh) * 2019-03-27 2019-07-19 远光软件股份有限公司 基于区块链的文件存储方法、系统及电子设备
CN110083606A (zh) * 2019-04-25 2019-08-02 深圳市豪斯莱科技有限公司 跨链存储方法、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10193696B2 (en) * 2015-06-02 2019-01-29 ALTR Solutions, Inc. Using a tree structure to segment and distribute records across one or more decentralized, acylic graphs of cryptographic hash pointers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156380A (zh) * 2014-03-04 2014-11-19 深圳信息职业技术学院 一种分布式存储器哈希索引方法及系统
CN105893337A (zh) * 2015-01-04 2016-08-24 伊姆西公司 用于文本压缩和解压缩的方法和设备
CN107682016A (zh) * 2017-09-26 2018-02-09 深信服科技股份有限公司 一种数据压缩方法、数据解压方法及相关系统
WO2019081015A1 (en) * 2017-10-25 2019-05-02 Nanto B.V. UNIVERSALLY NAMED LOCATIONS
CN108062202A (zh) * 2017-12-15 2018-05-22 中链科技有限公司 一种文件分块存储方法及系统
CN109753825A (zh) * 2019-01-09 2019-05-14 篱笆墙网络科技有限公司 备份文件存储、备份文件下载方法及系统
CN109918375A (zh) * 2019-02-26 2019-06-21 杭州云象网络技术有限公司 一种基于区块链和分布式存储的大文本存储、索引及检索方法
CN110032545A (zh) * 2019-03-27 2019-07-19 远光软件股份有限公司 基于区块链的文件存储方法、系统及电子设备
CN110083606A (zh) * 2019-04-25 2019-08-02 深圳市豪斯莱科技有限公司 跨链存储方法、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于区块链的大数据共享模型与关键机制研究与实现;苏雄业;《中国优秀硕士学位论文全文数据库信息科技辑》;20190515;全文 *

Also Published As

Publication number Publication date
CN110781155A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110781155B (zh) 基于ipfs的数据存储读取方法、系统、设备和介质
CN107395209B (zh) 数据压缩方法、数据解压缩方法及其设备
US7836396B2 (en) Automatically collecting and compressing style attributes within a web document
US20130067237A1 (en) Providing random access to archives with block maps
JP2005302004A (ja) 遠隔差分圧縮用の効率的アルゴリズムとプロトコル
CN105009118A (zh) 定制的内容消费界面
KR101619979B1 (ko) 모바일 환경에서 점진적인 패턴 매칭을 위한 방법 및 장치
CN102831001A (zh) 软件升级包的制作方法及装置、程序的升级方法及设备
CN105224257A (zh) 一种云存储系统中大文件的处理方法及系统
WO2021237467A1 (zh) 文件上传方法、文件下载方法和文件管理装置
CN101063970B (zh) 一种基于音频特征码识别技术的音频文件管理方法和系统
CN115080515A (zh) 基于区块链的系统文件共享方法及系统
CN111159464A (zh) 一种音频片段的检测方法及相关设备
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
CN114756837B (zh) 一种基于区块链的数字内容溯源方法及系统
CN115563055A (zh) 一种ofd文档合并与拆分的方法、系统和存储介质
US10977572B2 (en) Intelligent searching of electronically stored information
WO2018094689A1 (zh) 一种改进浏览体验的方法、装置和设备
CN115276889A (zh) 解码处理方法、装置、计算机设备及存储介质
US11838322B2 (en) Phishing site detection device, phishing site detection method and phishing site detection program
CN108027815A (zh) 一种语音与图案个性化关联的方法和系统
CN108920658B (zh) 一种移动设备桌面搬家方法、装置及电子设备
CN113179265A (zh) 一种日志压缩加密方法、装置、设备及存储介质
CN112631993B (zh) 一种基于jffs2文件系统的文件增删改痕迹分析方法及系统
CN106411975B (zh) 一种数据输出方法、装置及计算机可读取存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant