CN112699185A - 基于离散变换和稀疏采样的区块链压缩感知存储方法 - Google Patents

基于离散变换和稀疏采样的区块链压缩感知存储方法 Download PDF

Info

Publication number
CN112699185A
CN112699185A CN202110060422.8A CN202110060422A CN112699185A CN 112699185 A CN112699185 A CN 112699185A CN 202110060422 A CN202110060422 A CN 202110060422A CN 112699185 A CN112699185 A CN 112699185A
Authority
CN
China
Prior art keywords
sampling
sparse
block chain
storage method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110060422.8A
Other languages
English (en)
Inventor
刘峰
齐佳音
杨成意
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University Of International Business And Economics
East China Normal University
Original Assignee
Shanghai University Of International Business And Economics
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University Of International Business And Economics, East China Normal University filed Critical Shanghai University Of International Business And Economics
Priority to CN202110060422.8A priority Critical patent/CN112699185A/zh
Publication of CN112699185A publication Critical patent/CN112699185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于离散变换和稀疏采样的区块链压缩感知存储方法，包括以下步骤。步骤一：将原始文件转换为数字编码；步骤二：将所述数字编码变换到频率域，并将所述数字编码作为信息的稀疏表示；步骤三：进行更为稀疏的二次采样；步骤四：上传采样信息到数据库，并进行加密；步骤五：接收用户下载请求后，自动进行采样还原。本发明降低了用户的数据存储成本，同时更有效地利用了存储空间资源。

Description

基于离散变换和稀疏采样的区块链压缩感知存储方法
技术领域
本发明涉及区块链以及数据传输领域，尤其涉及基于离散变换和稀疏采样的区块链压缩感知存储方法。
背景技术
在相关的现有技术中，为了满足用户对于网络日益增长的高效、安全、开放的需求，点对点的分布式文件系统逐渐发展起来。在IPFS项目通过一些例如BitTorrent、DHT、Git和SFS等现有的区块链技术创建超媒介传输协议的同时，文件存储空间资源的短缺、以及文件存储成本高等局限成为了这一领域亟需解决的问题。
也就是说，现有技术中存在的问题有：
区块链存储空间资源有限，并且需要使用者付费，会导致用户的存储成本较高；现有的区块链分布式存储系统在信息或文件的压缩层面考虑不足，需要更有效利用空间资源的方式。
发明内容
本发明实施方式提供的基于离散变换和稀疏采样的区块链压缩感知存储方法，包括以下步骤：
步骤一：将原始文件转换为数字编码；
步骤二：将所述数字编码变换到频率域，并将所述数字编码作为信息的稀疏表示；
步骤三：进行更为稀疏的二次采样；
步骤四：上传采样信息到数据库，并进行加密；
步骤五：接收用户下载请求后，自动进行采样还原。
本发明通过引入压缩感知技术在文件上传到分布式存储系统之前自动进行压缩，在文件完成点对点传输完成之后自动进行还原，利用压缩感知技术的稀疏表示可实现无损还原的特性，能够突破奈奎斯特采样定理的限制，通过更稀疏的采样大幅节约文件存储所占用的空间。
此外，解决分布式存储一直以来面临的空间容量资源不足的问题，本发明实现了存储空间的更充分利用，以及更高效的文件存储和传输服务，同时为用户节约更多购买空间资源的成本。
进一步地，步骤一中的转换操作包括：
将音频转换成时间序列，图片转换成矩阵，视频转换成矩阵流。
进一步地，步骤二中，数字编码的变换具体通过离散傅立叶变换或小波变换。
进一步地，步骤三中，二次采样将采样频率设为低于奈奎斯特采样定理要求的最低采样频率。
进一步地，步骤三中，二次采样以低于原信息最高频率2倍的频率进行更稀疏的采样。
进一步地，步骤四中，将采样后的信息通过IPFS协议上传到分布式、集群化的数据库中。
进一步地，加密的具体操作为：
将链接上传到区块链中进行哈希加密。
进一步地，步骤五中，收到用户下载信息的请求后，自动进行采样的还原得到谱域表示，并通过傅立叶逆变换或者小波逆变换完全还原信息。
本发明实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的舆情存证取证的场景架构图。
具体实施方式
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1，本发明实施方式提供的基于离散变换和稀疏采样的区块链压缩感知存储方法，包括以下步骤：
将不同类型的文件编码成数字格式，例如音频转换成时间序列，图片转换成矩阵，视频转换成矩阵流。
通过离散傅立叶变换或小波变换等方式将输入数字信息变换到频率域之后，将变换后的数字编码作为信息的稀疏表示。
将采样频率设为低于奈奎斯特采样定理要求的最低采样频率，即以低于原信息最高频率2倍的频率进行更稀疏的采样。
将采样后的信息通过IPFS协议上传到分布式、集群化的数据库中，并将链接上传到区块链中进行哈希加密，使其不可篡改。
用户下载信息之后自动进行采样的还原得到谱域表示，并通过傅立叶逆变换或者小波逆变换完全还原信息。
通过引入压缩感知技术在文件上传到分布式存储系统之前自动进行压缩，在文件完成点对点传输完成之后自动进行还原。利用压缩感知技术的稀疏表示可实现无损还原的特性，能够突破奈奎斯特采样定理的限制，通过更稀疏的采样大幅节约文件存储所占用的空间。解决分布式存储一直以来面临的空间容量资源不足的问题，实现存储空间的更充分利用，以及更高效的文件存储和传输服务，同时为用户节约更多购买空间资源的成本。
综上，本发明的基于离散变换和稀疏采样的区块链压缩感知存储方法具体执行过程如下：
将不同类型的文件编码成数字格式的表示形式x，例如音频转换成时间序列，图片转换成矩阵，视频转换成矩阵流。通过傅立叶变换或小波变换等方式将输入数字信息变换到频率域之后，将变换后的数字编码作为信息的稀疏表示z＝Fx。由于信息的数字编码是稀疏的，即含有大量的数值为0的编码，因此将采样频率设为低于奈奎斯特采样定理要求的最低采样频率仍然能够还原信号。故以低于原信息最高频率2倍的频率ω进行更稀疏的采样，得到压缩后的信息表示为y＝Sz，将采样后的信息通过IPFS协议上传到分布式、集群化的数据库中，并将链接上传到区块链中进行哈希加密，实现永久存储和不可篡改功能。用户下载信息之后自动进行采样的还原得到谱域表示z＝S^(-1)y，并通过傅立叶逆变换或者小波逆变换完全还原信息x＝F^(-1)z。最后通过自验证文件系统(Self-Certifying FileSystem,SFS)校验下载信息的完整性。如果完整性验证通过，则将信息呈现给用户使用；如果完整性验证没有通过，则通知分布式版本控制系统(DistributedVersion ControlSystem,DVCS)在有备份存储的条件下将备份发送给用户。
需要注意的是，本发明中，压缩感知系统的实现能够为区块链网络的分布式存储提供更多空间，在实行之前将和用户签署使用压缩感知技术的许可协议，在每次上传文件之前自动进行压缩，下载文件之后自动进行无损还原和完整性校验。区块链用于存储文件链接，IPFS为分布式文件传输协议，版本控制系统用于记录文件备份信息。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，包括以下步骤：
步骤一：将原始文件转换为数字编码；
步骤二：将所述数字编码变换到频率域，并将所述数字编码作为信息的稀疏表示；
步骤三：进行更为稀疏的二次采样；
步骤四：上传采样信息到数据库，并进行加密；
步骤五：接收用户下载请求后，自动进行采样还原。
2.根据权利要求1所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤一中的转换操作包括：
将音频转换成时间序列，图片转换成矩阵，视频转换成矩阵流。
3.根据权利要求1所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤二中，数字编码的变换具体通过离散傅立叶变换或小波变换。
4.根据权利要求1所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤三中，二次采样将采样频率设为低于奈奎斯特采样定理要求的最低采样频率。
5.根据权利要求4所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤三中，二次采样以低于原信息最高频率2倍的频率进行更稀疏的采样。
6.根据权利要求1所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤四中，将采样后的信息通过IPFS协议上传到分布式、集群化的数据库中。
7.根据权利要求6所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，加密的具体操作为：
将链接上传到区块链中进行哈希加密。
8.根据权利要求1所述的基于离散变换和稀疏采样的区块链压缩感知存储方法，其特征在于，步骤五中，收到用户下载信息的请求后，自动进行采样的还原得到谱域表示，并通过傅立叶逆变换或者小波逆变换完全还原信息。
CN202110060422.8A 2021-01-18 2021-01-18 基于离散变换和稀疏采样的区块链压缩感知存储方法 Pending CN112699185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060422.8A CN112699185A (zh) 2021-01-18 2021-01-18 基于离散变换和稀疏采样的区块链压缩感知存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060422.8A CN112699185A (zh) 2021-01-18 2021-01-18 基于离散变换和稀疏采样的区块链压缩感知存储方法

Publications (1)

Publication Number Publication Date
CN112699185A true CN112699185A (zh) 2021-04-23

Family

ID=75515518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060422.8A Pending CN112699185A (zh) 2021-01-18 2021-01-18 基于离散变换和稀疏采样的区块链压缩感知存储方法

Country Status (1)

Country Link
CN (1) CN112699185A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312663A (zh) * 2021-05-31 2021-08-27 尧领有限公司 分布式数据存储方法及系统、计算机可读存储介质
CN115473745A (zh) * 2022-10-31 2022-12-13 北京伴刻翼科技有限公司 基于区块链的数据加密处理系统、方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103346798A (zh) * 2013-06-05 2013-10-09 中国科学院微电子研究所 一种以低于奈奎斯特频率的采样频率进行信号采集方法
CN103595414A (zh) * 2012-08-15 2014-02-19 王景芳 一种稀疏采样与信号压缩感知重构方法
CN110968846A (zh) * 2019-11-27 2020-04-07 浙江大学 一种基于区块链的音乐内容版权保护方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595414A (zh) * 2012-08-15 2014-02-19 王景芳 一种稀疏采样与信号压缩感知重构方法
CN103346798A (zh) * 2013-06-05 2013-10-09 中国科学院微电子研究所 一种以低于奈奎斯特频率的采样频率进行信号采集方法
CN110968846A (zh) * 2019-11-27 2020-04-07 浙江大学 一种基于区块链的音乐内容版权保护方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312663A (zh) * 2021-05-31 2021-08-27 尧领有限公司 分布式数据存储方法及系统、计算机可读存储介质
CN113312663B (zh) * 2021-05-31 2024-05-28 尧领有限公司 分布式数据存储方法及系统、计算机可读存储介质
CN115473745A (zh) * 2022-10-31 2022-12-13 北京伴刻翼科技有限公司 基于区块链的数据加密处理系统、方法及存储介质
CN115473745B (zh) * 2022-10-31 2023-02-21 北京伴刻翼科技有限公司 基于区块链的数据加密处理系统、方法及存储介质

Similar Documents

Publication Publication Date Title
CN112699185A (zh) 基于离散变换和稀疏采样的区块链压缩感知存储方法
US9165013B2 (en) Random linear coding approach to distributed data storage
CN101616181A (zh) 一种上传和下载字幕文件的方法、系统和设备
CN110535869B (zh) 一种基于压缩算法的数据传输方法、终端设备及存储介质
CN112165331A (zh) 数据压缩方法及其装置、数据解压方法及其装置、存储介质及电子设备
US10003669B2 (en) Methods and apparatus to create and transmit a condensed logging data file
CN102111437A (zh) 一种基于soap扩展的web服务传输压缩方法
CN104572966A (zh) 一种压缩文件的解压方法和装置
CN112261038B (zh) 大数据采集方法、系统、计算机设备及其存储介质
CN112803950A (zh) 一种数据压缩方法、装置、设备及计算机存储介质
FR2905809A1 (fr) Procede et dispositif de transmission de fichier de donnees
Azadmanesh et al. A reliable and efficient micro-protocol for data transmission over an RTP-based covert channel
CN104572964A (zh) 一种压缩文件的解压方法和装置
CN116760992B (zh) 视频编码、认证、加密和传输方法、装置、设备和介质
CN116055513A (zh) 一种区块链存储压缩方法、系统、设备及存储介质
CN111885125A (zh) 端对端网络的数据传输方法、系统及计算机可读存储介质
CN110505289B (zh) 文件下载方法及装置、计算机可读介质、无线通信设备
CN110287388B (zh) 数据可视化方法及装置
CN116738450A (zh) 一种数字资源长期安全无损保存和还原的方法和装置
US11599570B2 (en) Device and method to render multimedia data stream tamper-proof based on block chain recording
CN113704206A (zh) 一种元数据的处理方法、装置、电子设备及存储介质
CN112953988A (zh) 一种基于ftp的数据对接方法及装置
CN114499893A (zh) 基于区块链的投标文件加密存证方法和系统
CN114205645A (zh) 分布式视频内容审核方法及装置
CN112291350A (zh) 一种文件传输方法、系统、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423

RJ01 Rejection of invention patent application after publication