CN106612172B - 云存储中一种可验证还原数据真实性的数据篡改恢复算法 - Google Patents

云存储中一种可验证还原数据真实性的数据篡改恢复算法 Download PDF

Info

Publication number
CN106612172B
CN106612172B CN201610560815.4A CN201610560815A CN106612172B CN 106612172 B CN106612172 B CN 106612172B CN 201610560815 A CN201610560815 A CN 201610560815A CN 106612172 B CN106612172 B CN 106612172B
Authority
CN
China
Prior art keywords
data
code
indication code
integrality
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610560815.4A
Other languages
English (en)
Other versions
CN106612172A (zh
Inventor
范勇
胡成华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CIIC Guiyang Human Capital Technology Co.,Ltd.
Original Assignee
Li Fu Bang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Li Fu Bang filed Critical Li Fu Bang
Priority to CN201610560815.4A priority Critical patent/CN106612172B/zh
Publication of CN106612172A publication Critical patent/CN106612172A/zh
Application granted granted Critical
Publication of CN106612172B publication Critical patent/CN106612172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/123Applying verification of the received information received data contents, e.g. message integrity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Abstract

云存储中一种可验证还原数据真实性的数据篡改恢复算法,以文件哈希值作为加密体系的根密钥,对文件块进行加密,然后存储文件块的验证标签,在将F的数据块转化为矩阵,设计出完整性指示码生成函数对矩阵进行计算,得到的值进行编码,生成最终的完整性指示码,再与密文数据,密文哈希数据按照设定好的规则存储到云空间,当数据遭到破坏时候,秩序依据完整性指示码即可还原出原始数据块的内容,还原原始数据内容,由于加密的根秘钥是文件内容的哈希值,所以比较两次的哈希值可以得出还原文件的真实性。本发明在保证数据最大限度恢复的情况下,保证了数据的机密性;有效的利用了存储空间;降低了系统开销。

Description

云存储中一种可验证还原数据真实性的数据篡改恢复算法
技术领域
本发明涉及云计算,云存储中数据持有性、完整性验证和篡改恢复领域。
背景技术
网络已经成为大众的一种重要生活部分,此时云存储的出现为人们对数据的存储和访问提供了极大的便利,但是数据安全问题也随之而来,数据存储在云端,脱离了数据所有者的控制,或因云服务商系统不稳定、云空间被恶意攻击,造成数据丢失和损坏。用户在不知情的情况下,或将因为数据不完整而造成各种损失,但是用户在数据上传到云端后,为了节省本地存储空间,往往会将本地数据删除,并且,某些数据非常庞大,即便用户手中有完整的数据包,也很难做到核验数据是否完整,由此数据完整性验证算法被提出,用以改善用户不能确定数据是否完整的问题,而且用户一旦发现数据被篡改后,能不能恢复则成为了重中之重。
现在,数据备份和数据副本已经发展的很成熟,用户可以随时通过数据副本或者备份的数据来取代存储的数据,但是备份和数据副本也会占用大量的存储空间,一个副本数据,即使经过压缩、加密后,数据依然是很庞大的,何况数据副本往往不止一份,某些方法中,数据存储后,实际占用的空间是原始数据的三倍以上,虽然极大的保证了数据的可恢复性,但是在造成存储空间浪费的同时,也为数据安全埋下隐患。
所以如何在保证数据能够最大限度恢复的情况下,如何保证数据的机密性、存储空间有效利用、降低系统开销成了研究的主要内容。
发明内容
针对现有技术的上述不足,本发明提出了云存储中一种可验证还原数据真实性的数据篡改恢复算法。
为解决上述问题,本发明提出了以下技术方案:
提出了一种可以验证还原文件是否真实的云存储数据验证及恢复方案,以文件哈希值作为加密体系的根密钥,对文件块进行加密,然后存储文件块的验证标签,在将F的数据块转化为矩阵,设计出完整性指示码生成函数对矩阵进行计算,得到的值进行编码,生成最终的完整性指示码,再与密文数据,密文哈希数据按照设定好的规则存储到云空间,当数据遭到破坏时候,秩序依据完整性指示码即可还原出原始数据块的内容,还原原始数据内容,由于加密的根秘钥是文件内容的哈希值,所以比较两次的哈希值可以得出还原文件的真实性。具体的步骤如下:
步骤1:数据加密。
步骤2;验证标签生成。
步骤3:数据恢复完整性指示码生成。
步骤4:数据上传。
步骤5:数据完整性验证。
步骤6:数据恢复。
步骤7:还原验证。
本发明的有益效果是:
1、本发明在保证数据最大限度恢复的情况下,保证了数据的机密性;
2、本发明在保证数据最大限度恢复的情况下,有效的利用了存储空间;
3、本发明在保证数据最大限度恢复的情况下,降低了系统开销。
具体实施方式
为解决上述问题本发明将结合以下实施步骤进行详细的分析:
为了保证数据的安全,数据将会以密文的形势上传到云端,在上传之前,先对数据进行加密。
步骤1:数据加密
(1)假设待上传的数据为F,将文件F按照长度划分为n块,即:
F={F1,F2,...,Fn}
同时,将文件F哈希,生成长度为l的哈希值,记为hl,将hl做为根密钥,对数据进行加密。
(2)密钥树初始化
由于文件划分为n个数据块,收益以定义一棵高度为p,p满足下面的条件:
2p-1≤n≤2p
密钥树包含n个叶子节点,将叶节点密钥转换为变换叶节点密钥,并作为密钥树的控制密钥。令hl为根密钥,即:key0.1=hl;根据左右孩子派生规则,逐级计算得到树节点密钥:
当keyi,j为非叶子节点密钥时,其左右节点的秘钥为:
ki+1,2j-1=fL(ki,j)=h(ki,j||i||(2j-1)
ki+1,2j=fR(ki,j)=h(ki,j||i||2j)
||表示连接字符串,此时秘钥树初始化完毕。
(3)文件块加密
keyi表示对应文件块Fi的加密秘钥,可由左右派生规则和根节点计算得来;设E为加密算法,则密文为:
步骤2:验证标签生成
文件被分成n个数据块并加密后,对每一个密文数据块进行哈希计算:
验证标签为tagi
其中i表示第i个数据块,τ表示存储的数据的节点的位置标签
步骤3:数据恢复完整性指示码生成
哈希时不可逆的,所以哈希值不能用来恢复数据,所以要生成完整性指示码,用以恢复数据,为了节省存储空间,我们要求完整性指示码在尽可能的小的情况下,还能完整的恢复数据,文件F:
F={F1,F2,...,Fn}
对于其中的文件块Fi,将其内的元素按映射到一个n*k的矩阵中,即:
矩阵中的元素(1≤p≤k,1≤q≤n)进行指示码生成运算,定义指示码生成运算为:
得到的结果是元素的一个系数矩阵,这个系数矩阵各个系数之间连续性和相关性比较强,采用一般的编码模式进行编码,在本发明中,采用霍夫曼(Huffman)编码方式进行编码:
初始化,根据符号概率的大小按由大到小顺序对符号进行排序
把概率最小的两个符号组成一个节点,如D和E组成节点P1。
得到节点P2、P3和P4,形成一棵“树”,其中的P4称为根节点。
从根节点P4开始到相应于每个符号的“树叶”,从上到下标上“0”(上枝)或者“1”(下枝),至于哪个为“1”哪个为“0”则无关紧要,最后的结果仅仅是分配的代码不同,而代码的平均长度是相同的。从根节点P4开始顺着树枝到每个叶子分别写出每个符号的代码。
编码完成后得到的码流即为完整性指示码,表示为经过变换编码后,码流的大小已不足原始数据大小的五分之一。
步骤4:数据上传
此时我们得到了四份数据,即
密文密钥:hl
数据密文:
验证标签
完整性指示码
用户将密文密钥自己保存,或者发布给共享数据的其他用户,然后按照τ规则将密文数据上传到存储节点中,让后将验证标签和完整性指示码各自上传到两个节点中,上传规则为:
任意标签或指示码不与对应的数据块放在一个节点上,任意指示码不存放于有验证标签的节点上,任意两个相同的标签或者指示码不存放于一个节点机架上
如此存放规则,可以最大限度的保证两份同样的验证标签或者完整性指示码不存在于一个节点和一个机架上,当一个机架崩溃,一个节点崩溃时,数据恢复不受影响。
步骤5:数据完整性验证
当数据属主怀疑数据被篡改或者遭到破坏的时候,可以发起数据完整性和持有性验证,由于密文加密用的是文件F的哈希值作为根密钥,共享用户在访问数据的时候,如果数据遭到破坏或者篡改,即使密钥正确也不能解密文件,避免获取到错误的信息,同时将信息反馈到数据属主,数据属主对文件进行验证和恢复。
数据属主随机生成挑战信息T,T=(N(i),τ(i))发送给服务器,服务器解析挑战内容为需要验证n个数据块,对应的数据块编号为i,地址信息为τ(i),服务器将按照指定信息,将对应的密文数据块和验证标签返回,对密文数据块执行哈希运算,获取验证标签tag‘,将tag‘与tagi进行对比,一致则数据时完整的,不一致则数据遭到破坏,循环计算,找出所有遭到破坏的数据块。服务器返回被破坏的数据块编号和位置信息,同时返回完整性指示码。
步骤6:数据恢复
(1)计算数据完全恢复的可能性,即服务器将所有的完整性指示码和未被遭到破坏的数据块返回给用户,然后对比计算将整合后的指示码和数据块按照编号,确定哪些数据块是可恢复的,哪些数据块不可恢复。当一个数据块破坏后,如果对应的两个完整性指示码也都缺失了,那这些数据视为不可恢复的。只有当一个数据块对应的指示码至少存在一个时候才能恢复。
(2)对码流进行解码,按照霍夫曼编码的解码方式解码得到指示码对指示码生成的逆运算,计算出密文数据块矩阵中的值,逆运算函数表示为:
将所有Tj i按照i的从小到大的顺序组合起来,Ti=T1∪T2∪,...,∪Tn,此时Ti就是数据块Fi,即:
Fi=Ti=T1∪T2∪,...,∪Tn
将所有的被破坏的数据块一一还原后,就得到了原始数据F。
步骤7:还原验证
数据还原后,如何确定是真正的还原呢?将还原后得到的数据F进行哈希,如果h(F)=hl,那就表明文件被彻底还原了,如果不相等,则说明还原失败。

Claims (1)

1.云存储中一种可验证还原数据真实性的数据篡改恢复算法,本发明涉及云计算,云存储中数据持有性、完整性验证和篡改恢复领域,其特征是,包括如下步骤:
步骤1:数据加密
步骤2:验证标签生成
步骤3:数据恢复完整性指示码生成
步骤4:数据上传
步骤5:数据完整性验证
步骤6:数据恢复
步骤7:还原验证,
上述步骤3数据恢复完整性指示码生成的具体描述如下:哈希是不可逆的,所以哈希值不能用来恢复数据,所以要生成完整性指示码,用以恢复数据,为了节省存储空间,我们要求完整性指示码在尽可能的小的情况下,还能完整的恢复数据,文件F:
F={F1,F2,...,Fn}
对于其中的文件块Fi,将其内的元素按映射到一个n*k的矩阵中,即:
矩阵中的元素进行指示码生成运算,定义指示码生成运算为:
得到的结果是元素的一个系数矩阵,这个系数矩阵采用霍夫曼编码方式进行编码:
初始化,根据符号概率的大小按由大到小顺序对符号进行排序,
把概率最小的两个符号组成一个节点,如D和E组成节点P1,
得到节点P2、P3和P4,
其中的P4称为根节点,
从根节点P4开始到相应于每个符号,从上到下标上“0”即上枝或者“1”即下枝,最后的结果仅是分配的代码不同,而代码的平均长度是相同的,从根节点P4开始顺序分别写出每个符号的代码编码完成后得到的码流即为完整性指示码,表示为
步骤6数据恢复中的具体描述如下:
( 1) ,计算数据完全恢复的可能性,即服务器将所有的完整性指示码和未被遭到破坏的数据块返回给用户,然后对比计算将整合后的指示码和数据块按照编号,确定哪些数据块是可恢复的,哪些数据块不可恢复,当一个数据块破坏后,如果对应的两个完整性指示码也都缺失了,那这些数据视为不可恢复的,只有当一个数据块对应的指示码至少存在一个时候才能恢复,
( 2) ,对码流进行解码,按照霍夫曼编码的解码方式解码得到指示码对指示码生成的逆运算,计算出密文数据块矩阵中的值,逆运算函数表示为:
将所有Tj i按照i的从小到大的顺序组合起来,Ti=T1∪T2∪,...,∪Tn,此时Ti就是数据块Fi,即:
Fi=Ti =T1∪T2∪,...,∪Tn
将所有的被破坏的数据块一一还原后,就得到了原始数据F。
CN201610560815.4A 2016-07-15 2016-07-15 云存储中一种可验证还原数据真实性的数据篡改恢复算法 Active CN106612172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610560815.4A CN106612172B (zh) 2016-07-15 2016-07-15 云存储中一种可验证还原数据真实性的数据篡改恢复算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610560815.4A CN106612172B (zh) 2016-07-15 2016-07-15 云存储中一种可验证还原数据真实性的数据篡改恢复算法

Publications (2)

Publication Number Publication Date
CN106612172A CN106612172A (zh) 2017-05-03
CN106612172B true CN106612172B (zh) 2019-09-17

Family

ID=58614810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610560815.4A Active CN106612172B (zh) 2016-07-15 2016-07-15 云存储中一种可验证还原数据真实性的数据篡改恢复算法

Country Status (1)

Country Link
CN (1) CN106612172B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220559B (zh) * 2017-06-11 2023-07-07 南京安链数据科技有限公司 一种针对不可篡改文件的加密存储方法
CN107609622B (zh) * 2017-08-28 2021-03-02 深圳市金天速科技有限公司 基于多码合一的加密方法和系统
CN108256351B (zh) * 2018-01-08 2020-08-04 网易(杭州)网络有限公司 文件处理方法和装置、存储介质及终端
CN108564207B (zh) * 2018-03-30 2021-05-18 合肥工业大学 基于bim的建筑工程智能投标决策管理系统
CN111210378B (zh) * 2019-12-30 2023-09-19 北京工业大学 基于工业云上图像数据的可恢复性方法
CN111445931B (zh) * 2020-03-11 2022-01-11 慧镕电子系统工程股份有限公司 一种固态硬盘的数据恢复方法及装置
CN115280791A (zh) * 2020-03-11 2022-11-01 字节跳动有限公司 数字媒体完整性的指示
CN111461751B (zh) * 2020-04-02 2024-03-29 武汉大学 基于区块链的房产信息链上组织方法、历史状态追溯方法及装置
CN111737534B (zh) * 2020-06-19 2024-04-09 北京百度网讯科技有限公司 文件处理方法、装置及设备
CN111984605A (zh) * 2020-07-14 2020-11-24 浙江大华技术股份有限公司 小文件管理方法、电子设备及存储装置
CN112203280B (zh) * 2020-10-10 2024-02-09 北京航空航天大学 一种面向边缘网关的数据可信传输机制
CN112685753B (zh) * 2020-12-25 2023-11-28 上海焜耀网络科技有限公司 一种用于加密数据存储的方法及设备
CN113553626A (zh) * 2021-08-04 2021-10-26 中科曙光国际信息产业有限公司 一种数据完整性检测方法、装置、设备及存储介质
CN114244635B (zh) * 2022-02-25 2022-08-19 深圳市华方信息产业有限公司 通信设备的加密型数据编码方法
CN116049905B (zh) * 2023-04-03 2024-03-29 锐仕方达人才科技集团有限公司 一种基于检测系统文件变化的防篡改系统
CN117291750B (zh) * 2023-11-27 2024-02-06 平利县女娲茗鼎农业科技有限公司 基于区块链的兽医用废弃物溯源管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
US8352422B2 (en) * 2010-03-30 2013-01-08 Commvault Systems, Inc. Data restore systems and methods in a replication environment
CN103107995A (zh) * 2013-02-06 2013-05-15 中电长城网际系统应用有限公司 一种云计算环境数据安全存储系统和方法
CN103688514A (zh) * 2013-02-26 2014-03-26 北京大学深圳研究生院 一种最小存储再生码的编码和存储节点修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352422B2 (en) * 2010-03-30 2013-01-08 Commvault Systems, Inc. Data restore systems and methods in a replication environment
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
CN103107995A (zh) * 2013-02-06 2013-05-15 中电长城网际系统应用有限公司 一种云计算环境数据安全存储系统和方法
CN103688514A (zh) * 2013-02-26 2014-03-26 北京大学深圳研究生院 一种最小存储再生码的编码和存储节点修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
云存储中基于喷泉码的数据恢复系统;彭真, 陈兰香, 郭躬德;《计算机应用》;20140410(第4期);第986-993页
基于再生码的数据完整性验证及恢复;阮春阳,李伦,孟慧平,鲁丽萍,郑志蕴;《计算机工程与设计》;20151016(第10期);第2712-2718页
基于确定/概率性文件拥有证明的机密数据安全去重方案;陈越,李超零,兰巨龙,金开春,王仲辉;《通信学报》;20150925(第9期);第3-10页

Also Published As

Publication number Publication date
CN106612172A (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106612172B (zh) 云存储中一种可验证还原数据真实性的数据篡改恢复算法
CN104333580B (zh) 一种基于云服务的账户管理系统及其方法
CN109194466A (zh) 一种基于区块链的云端数据完整性检测方法及系统
CN106027245B (zh) 密钥共享方法及装置
CN106612320A (zh) 云存储中一种加密数据的去重方法
CN104994110A (zh) 一种用于指定验证人对云存储数据进行审计的方法
CN102647433B (zh) 一种云存储数据持有性验证方法
Li et al. A modified reversible data hiding in encrypted images using random diffusion and accurate prediction
CN109146524A (zh) 一种采用区块链技术的农产品溯源信息安全解决方法
Tribhuwan et al. Ensuring data storage security in cloud computing through two-way handshake based on token management
CN106776904A (zh) 一种不可信云计算环境中支持动态验证的模糊查询加密方法
US11265175B2 (en) Apparatus and method for providing authentication, non-repudiation, governed access and twin resolution for data utilizing a data control signature
CN106776111A (zh) 一种基于lrc纠删码的可恢复云存储系统
CN106612272A (zh) 云存储中一种数据篡改的验证和恢复算法
CN102842053B (zh) 一种防伪图码标签及其制造方法
CN104009847A (zh) 一种基于格的大数据存储完整性验证方法
CN109104449B (zh) 一种云存储环境下的多备份数据持有性证明方法
CN107317676B (zh) 基于量子图态的密钥分配方法
CN104410498A (zh) 一种动态口令认证方法及其系统
CN102185897B (zh) 安全分散式虚拟存储池系统
CN114430321B (zh) 基于dfa自适应安全的黑盒可追踪密钥属性加密方法及装置
CN114169888B (zh) 一种通用型支持多重签名的加密货币保管方法
CN110837659B (zh) 带标签的私钥可更新数字签名方法及其在PoS区块链协议中的应用
Tang et al. Fragile watermarking based proofs of retrievability for archival cloud data
CN106156655A (zh) 一种面向云存储的文件压缩及认证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190625

Address after: 361000 No. A303, Vanke City, Haicang District, Xiamen City, Fujian Province

Applicant after: Lin Chenyi

Address before: Room 1101, Electronic Information Industry Building, Chenghua District, Chengdu City, Sichuan Province

Applicant before: SICHUAN YONGLIAN INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190826

Address after: 100000 No. 44, Xicheng District exhibition museum, Beijing

Applicant after: Li Fubang

Address before: 361000 No. A303, Vanke City, Haicang District, Xiamen City, Fujian Province

Applicant before: Lin Chenyi

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230116

Address after: Room 3201 and 3212, Unit 1, Building 15, Block V (Asia-Pacific Center), Wulichong shantytowns, dilapidated houses and villages in the city, Huaguo Garden, Wulichong Sub-district Office, Nanming District, Guiyang City, Guizhou Province, 550000 [Wulichong Office]

Patentee after: CIIC Guiyang Human Capital Technology Co.,Ltd.

Address before: 44 zhanzhanguan Road, Xicheng District, Beijing

Patentee before: Li Fubang