CN105260268A - 一种备份存储方法和装置 - Google Patents
一种备份存储方法和装置 Download PDFInfo
- Publication number
- CN105260268A CN105260268A CN201510652711.1A CN201510652711A CN105260268A CN 105260268 A CN105260268 A CN 105260268A CN 201510652711 A CN201510652711 A CN 201510652711A CN 105260268 A CN105260268 A CN 105260268A
- Authority
- CN
- China
- Prior art keywords
- backup data
- data
- backup
- stochastic sampling
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种备份存储方法和装置,该方法包括以下步骤:使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;将所述多个备份数据分别存储到不同的存储服务器中。本发明将基于压缩感知理论的信号采集方法移植到对源数据的压缩存储中,以远低于奈奎斯特-香农采样定理要求的样本量完成数据的多备份存储,能够极大地节省存储空间,降低多备份数据的存储空间要求,且能够提高数据安全性,有效地防止未授权用户获得完整的源数据。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种备份存储方法和装置。
背景技术
随着云计算时代的到来,越来越多的数据被存储于云服务器中;同时,为保证数据的可靠性,还会根据同一数据生成多个备份,并将多个备份分别存储到不同的云端位置。
然而,多备份云存储会存在以下两个问题:首先,由于每份数据都要对应多个备份数据,需要大量占用存储服务器的存储空间,导致存储服务器容量不足;其次,备份数据的增多,还会导致数据泄露风险的增大。
发明内容
本发明提供了一种备份存储方法和装置,以解决现有的多备份云存储中存在的容量大以及安全风险大的缺陷。
本发明提供了一种备份存储方法,包括以下步骤:
使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;
将所述多个备份数据分别存储到不同的存储服务器中。
可选地,所述的方法,还包括:
将所述随机采样矩阵设置为保护数据。
可选地,将所述多个备份数据分别存储到不同的存储服务器中之后,还包括:
从存储服务器中获取备份数据,获取与所述备份数据对应的随机采样矩阵,并根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据。
可选地,所述从存储服务器中获取备份数据,具体为:
从一个存储服务器中获取一个备份数据;
根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据,具体为:
采用以下公式重建所述源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为所述源数据,||x||1为所述源数据的L1范数,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵。
可选地,所述从存储服务器中获取备份数据,具体为:
从多个存储服务器中获取多个备份数据;
根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据,具体为:
使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建所述源数据。
本发明还提供了一种备份存储装置,包括:
压缩模块,用于使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;
存储模块,用于将所述多个备份数据分别存储到不同的存储服务器中。
可选地,所述的装置,还包括:
设置模块,用于将所述随机采样矩阵设置为保护数据。
可选地,所述的装置,还包括:
第一获取模块,用于从存储服务器中获取备份数据;
第二获取模块,用于获取与所述备份数据对应的随机采样矩阵;
重建模块,用于根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据。
可选地,所述第一获取模块,具体用于从一个存储服务器中获取一个备份数据;
所述重建模块,具体用于采用以下公式重建所述源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为所述源数据,||x||1为所述源数据的L1范数,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵。
可选地,所述第一获取模块,具体用于从多个存储服务器中获取多个备份数据;
所述重建模块,具体用于使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建所述源数据。
本发明将基于压缩感知理论的信号采集方法移植到对源数据的压缩存储中,以远低于奈奎斯特-香农采样定理要求的样本量完成数据的多备份存储,能够极大地节省存储空间,降低多备份数据的存储空间要求,且能够提高数据安全性,有效地防止未授权用户获得完整的源数据。
附图说明
图1为本发明实施例中的一种备份存储方法流程图;
图2为本发明实施例中的数据压缩及多备份存储过程示意图;
图3为本发明实施例中的根据一个备份数据重建源数据的过程示意图;
图4为本发明实施例中的根据多个备份数据重建源数据的过程示意图;
图5为本发明实施例中的一种备份存储装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种备份存储方法,如图1所示,包括以下步骤:
步骤101,使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据。
其中,随机采样矩阵为高斯随机矩阵、局部傅立叶矩阵、局部哈达玛测量矩阵、一致球矩阵、托普利兹矩阵、循环矩阵、结构化随机矩阵或自适应性的测量矩阵中的一种或多种,使用不同的随机采样矩阵压缩得到的备份数据也不相同。
如图2所示,用户通过其个人设备(智能手机、平板电脑或个人计算机等)将源数据上传至云端,设源数据为x,三个不同的随机采样矩阵为ф1,ф2和ф3,则可以将源数据压缩为三个不同的备份数据b1,b2和b3:
b1=x×φ1
b2=x×φ2
b3=x×φ3
步骤102,将多个备份数据分别存储到不同的存储服务器中。
如图2所示,可以将三个不同的备份数据b1,b2和b3分发至不同的存储服务器中,从而完成数据的多备份不一致存储。其中,不同的存储服务器可以位于相同的数据中心上,也可以位于不同的数据中心上。
步骤103,将随机采样矩阵设置为保护数据。
步骤104,从存储服务器中获取备份数据,获取与备份数据对应的随机采样矩阵,并根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建源数据。
具体地,如图3所示,可以从一个存储服务器中获取一个备份数据;相应地,若源数据x是稀疏的,可以采用以下公式重建源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为源数据,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵,||x||1为源数据的L1范数,定义如下:
其中,xi是源数据的第i个元素,重建源数据所使用的重建算法可以是松弛方法,例如,基于线性规划的基追踪算法、内点法、LASSO、最小角回归、梯度追踪、迭代软/硬阈值和凸集投影方法等;也可以是贪婪方法,例如,匹配追踪、正交匹配追踪、近似正交匹配追踪的梯度追踪、正则正交匹配追踪、树形匹配追踪、分段匹配追踪、压缩采样匹配追踪、稀疏性自适应匹配追踪和子空间追踪等;还可以是非凸方法,例如,FOCUSS算法和迭代加权最小二乘算法等。
此外,若源数据不满足稀疏性,还可以采用以下公式将源数据变换至稀疏域:
y=ψ(x)
其中,x为源数据,y为稀疏域,ψ为数学变换方法,可以为离散小波变换、离散余弦变换和离散傅立叶变换等传统方法,也可以为双树复数小波变换、复数双密度双树离散小波变换、Contourlets变换、Curvelets变换、Shearlets变换和视觉词典映射等新兴的方法。
本实施例中,如图4所示,还可以从多个存储服务器中获取多个备份数据;相应地,可以使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建源数据。
其中,上述重建源数据的过程可归类为分布式压缩感知重建问题,所使用的算法可以是基于干扰消除的重建算法EXSR、以逐列的方式同步重建所有信号的HALS-CS算法、同步块正交匹配追踪算法、基于同步二叉树的块正交匹配追踪算法、基于线性规划方法的重建算法、基于同步正交匹配追踪的重建方法DCS-SOMP、基于子空间追踪的贪婪重建算法和基于同步正交匹配追踪的重建方法JointOMP等。
本发明实施例将基于压缩感知理论的信号采集方法移植到对源数据的压缩存储中,以远低于奈奎斯特-香农采样定理要求的样本量完成数据的多备份存储,并依据压缩感知理论重建出高质量的源数据,能够极大地节省存储空间,降低多备份数据的存储空间要求,且能够提高数据安全性,有效地防止未授权用户获得完整的源数据。
基于上述备份存储方法,本发明实施例还提供了一种备份存储装置,如图5所示,包括:
压缩模块510,用于使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;
存储模块520,用于将所述多个备份数据分别存储到不同的存储服务器中。
进一步地,上述装置,还包括:
设置模块530,用于将所述随机采样矩阵设置为保护数据。
进一步地,上述装置,还包括:
第一获取模块540,用于从存储服务器中获取备份数据;
第二获取模块550,用于获取与所述备份数据对应的随机采样矩阵;
重建模块560,用于根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据。
具体地,上述第一获取模块540,可以具体用于从一个存储服务器中获取一个备份数据;
相应地,上述重建模块560,具体用于采用以下公式重建所述源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为所述源数据,||x||1为所述源数据的L1范数,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵。
上述第一获取模块540,还可以具体用于从多个存储服务器中获取多个备份数据;
上述重建模块560,还可以具体用于使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建所述源数据。
本发明实施例将基于压缩感知理论的信号采集方法移植到对源数据的压缩存储中,以远低于奈奎斯特-香农采样定理要求的样本量完成数据的多备份存储,并依据压缩感知理论重建出高质量的源数据,能够极大地节省存储空间,降低多备份数据的存储空间要求,且能够提高数据安全性,有效地防止未授权用户获得完整的源数据。
结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种备份存储方法,其特征在于,包括以下步骤:
使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;
将所述多个备份数据分别存储到不同的存储服务器中。
2.如权利要求1所述的方法,其特征在于,还包括:
将所述随机采样矩阵设置为保护数据。
3.如权利要求1所述的方法,其特征在于,将所述多个备份数据分别存储到不同的存储服务器中之后,还包括:
从存储服务器中获取备份数据,获取与所述备份数据对应的随机采样矩阵,并根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据。
4.如权利要求3所述的方法,其特征在于,所述从存储服务器中获取备份数据,具体为:
从一个存储服务器中获取一个备份数据;
根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据,具体为:
采用以下公式重建所述源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为所述源数据,||x||1为所述源数据的L1范数,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵。
5.如权利要求3所述的方法,其特征在于,所述从存储服务器中获取备份数据,具体为:
从多个存储服务器中获取多个备份数据;
根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据,具体为:
使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建所述源数据。
6.一种备份存储装置,其特征在于,包括:
压缩模块,用于使用多个不同的随机采样矩阵,分别对源数据进行压缩,得到多个备份数据;
存储模块,用于将所述多个备份数据分别存储到不同的存储服务器中。
7.如权利要求6所述的装置,其特征在于,还包括:
设置模块,用于将所述随机采样矩阵设置为保护数据。
8.如权利要求6所述的装置,其特征在于,还包括:
第一获取模块,用于从存储服务器中获取备份数据;
第二获取模块,用于获取与所述备份数据对应的随机采样矩阵;
重建模块,用于根据所述备份数据以及与所述备份数据对应的随机采样矩阵,重建所述源数据。
9.如权利要求8所述的装置,其特征在于,
所述第一获取模块,具体用于从一个存储服务器中获取一个备份数据;
所述重建模块,具体用于采用以下公式重建所述源数据:
x=argmin||x||1s.t.||φNx-bN||2≤ε
其中,x为所述源数据,||x||1为所述源数据的L1范数,bN为获取到的备份数据,φN为与获取到的备份数据对应的随机采样矩阵。
10.如权利要求8所述的装置,其特征在于,
所述第一获取模块,具体用于从多个存储服务器中获取多个备份数据;
所述重建模块,具体用于使用与各个备份数据对应的随机采样矩阵,在各自的稀疏域中对各个备份数据进行独立编码,并利用信号内和信号间的结构相关性,重建所述源数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510652711.1A CN105260268B (zh) | 2015-10-10 | 2015-10-10 | 一种备份存储方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510652711.1A CN105260268B (zh) | 2015-10-10 | 2015-10-10 | 一种备份存储方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105260268A true CN105260268A (zh) | 2016-01-20 |
CN105260268B CN105260268B (zh) | 2018-06-15 |
Family
ID=55099968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510652711.1A Active CN105260268B (zh) | 2015-10-10 | 2015-10-10 | 一种备份存储方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105260268B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760245A (zh) * | 2016-02-03 | 2016-07-13 | 华为技术有限公司 | 一种存储数据的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385637A (zh) * | 2011-12-22 | 2012-03-21 | 山东中创软件商用中间件股份有限公司 | 一种数据库信息的备份方法及系统 |
CN103781116A (zh) * | 2013-11-01 | 2014-05-07 | 上海交通大学 | 一种基于分布式存储的无线传感网的数据融合方法 |
US20150100719A1 (en) * | 2013-10-08 | 2015-04-09 | Autochips Inc. | Data backup method and device thereof |
-
2015
- 2015-10-10 CN CN201510652711.1A patent/CN105260268B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385637A (zh) * | 2011-12-22 | 2012-03-21 | 山东中创软件商用中间件股份有限公司 | 一种数据库信息的备份方法及系统 |
US20150100719A1 (en) * | 2013-10-08 | 2015-04-09 | Autochips Inc. | Data backup method and device thereof |
CN103781116A (zh) * | 2013-11-01 | 2014-05-07 | 上海交通大学 | 一种基于分布式存储的无线传感网的数据融合方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760245A (zh) * | 2016-02-03 | 2016-07-13 | 华为技术有限公司 | 一种存储数据的方法及装置 |
CN105760245B (zh) * | 2016-02-03 | 2019-03-26 | 华为技术有限公司 | 一种存储数据的方法及装置 |
CN109783014A (zh) * | 2016-02-03 | 2019-05-21 | 华为技术有限公司 | 一种存储数据的方法及装置 |
CN109783014B (zh) * | 2016-02-03 | 2022-04-05 | 华为技术有限公司 | 一种存储数据的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105260268B (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609186B (zh) | 信息处理方法及装置、终端设备及计算机可读存储介质 | |
CN103124179A (zh) | 基于正交匹配追踪的电力系统数据重构解压缩方法 | |
CN101908889A (zh) | 一种块稀疏度未知的稀疏信号压缩感知重构方法 | |
Anitha | A new web usage mining approach for next page access prediction | |
CN106844089B (zh) | 一种用于恢复树形数据存储的方法与设备 | |
CN110089035B (zh) | 存储控制器、数据处理芯片及数据处理方法 | |
Chen et al. | Representations of piecewise smooth signals on graphs | |
CN103491185A (zh) | 一种基于影像块组织的遥感数据云存储方法 | |
CN111667444B (zh) | 一种基于多通道残差网络的图像压缩感知重建方法 | |
CN102142139A (zh) | 基于压缩学习感知的sar高分辨图像重建方法 | |
CN102881293A (zh) | 一种适用于语音压缩感知的过完备字典构造方法 | |
CN103955904A (zh) | 一种基于离散分数阶傅里叶变换相位信息的信号重建方法 | |
CN104881449A (zh) | 基于流形学习数据压缩哈希的图像检索方法 | |
CN108038149B (zh) | 一种温度场数据重构方法 | |
CN116665710B (zh) | 气体绝缘开关设备的故障识别方法、装置和计算机设备 | |
CN102291152B (zh) | 基于奇异值分解的压缩感知含噪信号重构系统 | |
CN105260268A (zh) | 一种备份存储方法和装置 | |
Kamer et al. | Fault Network Reconstruction using Agglomerative Clustering: Applications to South Californian Seismicity | |
CN103391099B (zh) | 适用于一维缓变信号的随机采样器 | |
Cheng et al. | Based on compressed sensing of orthogonal matching pursuit algorithm image recovery | |
CN114049463A (zh) | 一种二叉树的数据网格化、网格点数据的获取方法及装置 | |
Yang et al. | Large scale tensor factorization via parallel sketches | |
Fannjiang | Optimal arrays for compressed sensing in snapshot-mode radio interferometry | |
Bosler et al. | Stride Search: a general algorithm for storm detection in high-resolution climate data | |
CN108599773B (zh) | 一种基于确定性测量矩阵的振动信号数据压缩采集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |