CN110210254B - 一种多数据完整性验证中重复数据的优化验证方法 - Google Patents
一种多数据完整性验证中重复数据的优化验证方法 Download PDFInfo
- Publication number
- CN110210254B CN110210254B CN201910509326.XA CN201910509326A CN110210254B CN 110210254 B CN110210254 B CN 110210254B CN 201910509326 A CN201910509326 A CN 201910509326A CN 110210254 B CN110210254 B CN 110210254B
- Authority
- CN
- China
- Prior art keywords
- evidence
- data
- verification
- challenge
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开一种多数据完整性验证中重复数据的优化验证方法,其特征在于,首先对挑战集合计算频繁项集,在计算数据证据以及标签证据之前,先找出挑战集合重叠的部分,进行批处理,减少证据计算时的计算量;接着处理挑战集合中非重复的部分,计算这部分数据的数据证据以及标签证据;最后,将重叠部分和非重叠部分的数据合并,将证据发送给第三方验证者。本发明通过多挑战时云服务器在计算证据时的计算方法,减少了证据计算时的计算量,既可以保证验证者能够获得正确的数据完整性的验证结果,又可以减少云存储提供商因重复计算相同验证数据所造成的验证开销浪费。本发明提高验证效率的同时,保证了验证的安全性和正确性。
Description
技术领域
本发明涉及一种多数据完整性验证中重复数据的优化验证方法,属于云计算、信息安全技术领域,适用于云存储。
背景技术
随着云计算的快速发展,云存储作为新一代计算基础设施得到越来越多的关注。与此同时,越来越多的云存储服务涌现出来,为用户提供低成本且庞大的数据存储空间。尽管云存储可以随时提供便捷的存储和快速的数据访问等,但是当用户将拥有的数据上传到云服务器后,便失去了数据的绝对控制,所存储数据的完整性和安全性问题无法得到有效的保证。且存在云服务提供商为了节省存储空间,对未被访问或访问频率较少的用户数据执行删除操作,并对用户反馈假的数据完整性验证结果。为避免云存储中数据的损失,需要使用户在有限的计算能力下确保大规模数据存储的完整性。
现有技术中为了解决上述问题,提出了数据完整性验证的方法。但是现有云存储中完整性验证方法都是只针对单一验证者对多个文件提出完整性验证请求,并没有考虑多个验证者对多个文件提出完整性验证的情况。当多个用户对多个数据文件提出完整性验证请求时,很可能会对相同的数据文件进行验证。对于热门文件、计算机程序以及其他信息会有多个用户对同一个文件提出完整性验证的情况。因此这导致了多个验证者会对同一文件提出完整性验证,但是云服务器并不能对同一挑战请求进行批处理,造成额外的开销。因此,一种高效的云存储数据完整性验证方法是亟待解决的问题。
发明内容
本发明所要解决的技术问题是:如何提高云服务器在计算重复挑战数据效率,在保护用户隐私的同时验证远程存储版本数据的完整性。具体地说,当存在多个验证者对同一个数据块提出完整性验证请求时,如何减少云服务器在计算数据证据以及标签证据时的计算量的同时验证远程存储版本数据的完整性。
为了解决上述问题,本发明的技术方案是提供了一种重复挑战数据取出的完整性验证方法,其特征在于,首先对挑战集合计算频繁项集,在计算数据证据以及标签证据之前,先找出挑战集合重叠的部分,进行批处理,减少证据计算时的计算量;接着处理挑战集合中非重复的部分,计算这部分数据的数据证据以及标签证据;最后,将重叠部分和非重叠部分的数据合并,将证据发送给第三方验证者。
优选地,为了保护数据的隐私性,在所述第三方验证者进行数据验证时,还应用双线性映射和同态技术来保证验证的安全性和验证结果的可靠性,同时降低网络通信的流量成本。
优选地,具体步骤如下:
步骤1:生成链密钥,为了确保不同版本文件之间的关联,在密钥的生成中应用链密钥;在基本密钥的基础上,通过其前一版本文件的散列密钥来计算每个版本文件的处理密钥;
步骤2:生成数据标签,用户为加密文件中的每个数据块生成一个标签,最后输出一组数据标签T={ti},i∈[1,n];
步骤3:批量挑战,由验证者执行,从域Zp中选择一个随机数生成挑战C;
步骤4:频繁项的提取,通过对所有的挑战集合计算频繁项集,找出这些集合具有的相同项,计算这些频繁项的数据证据以及标签证据;
步骤5:生成证据,对原始挑战集合,计算非频繁项的数据证据以及标签证据;最后,将频繁项的证据和非频繁项的证据进行合并,计算验证者TPAk发送过来的挑战集合的证据Pi,其中包括标签证据TPi和数据证据DPi;
步骤6:批量验证,第三方验证者根据从步骤5中获得的TPi和数据证据DPi以及数据块的哈希值来验证存储在云上的数据的完整性;
步骤7:验证结果返回,云服务器将自己验证后的结果通过安全通道反馈给验证者。
与现有技术相比,本发明的有益效果在于:
1、本发明使用频繁项集,对不同验证者发送过来的挑战集合计算重复项,改进了现有方法逐个计算证据的方法。它可以通过对多个验证者发送过来的挑战集合计算频繁项集,提取多个验证任务中的相同数据对象,使得云服务器不需要重复计算不同验证者对相同数据对象提出的验证任务。这样,在验证成本有限的情况下,本发明提高了证据计算时的效率,与此同时能够有效地验证数据完整性;
2、本发明将频繁项集和完整性验证结合,设计了一种对多个挑战集合选取频繁项集的方法,即根据提取多个挑战集合中的相同的部分,进行批处理;
3、本发明改进了证据生成方法,在验证中,通过提取不同挑战集合中的频繁项,并进行批处理后,将提取出来的频繁项合并到原始挑战集合中,减少了云服务器在计算相同数据对象的计算开销。
4、本方法改进了云服务器在证据生成的方法。对于到达云服务器的任务集合,提取该任务集中的相同的数据对象。云服务器将优先计算所提取出来的频繁项的证据,再计算剩余数据的证据。最后将频繁项的证据和非频繁项的证据合并。这样,在验证成本有限的情况下,本方法提高了云服务器在多验证者时计算证据时的效率,有效地保护了数据的完整性。
本发明通过多挑战时云服务器在计算证据时的计算方法,减少了证据计算时的计算量。本发明提高验证效率的同时,保证了验证的安全性和正确性。
附图说明
图1为实施例提供的重复挑战数据去除的完整性验证的整体流程;
图2为集合拆分和合并的过程。
具体实施方式
为使本发明更明显易懂,兹以优选实施例,并配合附图作详细说明如下。
实施例
在本实施例中设G1和Gt为具有素数p的乘法群,并且e:G1→Gt为双线性映射。令g1和g2分别为G1和Gt的生成元。
以下内容具体说明本发明提供的一种重复挑战数据去除的完整性验证方法:
步骤1:数据所有者随机选择一个私钥sk,并计算一个公钥pk=gsk。
步骤2:生成数据标签方法TagGen(M,sk)→T,设M为外包数据集。标签生成方法为由n个数据块即m1,…,mn组成的文件M中的每个数据块mi生成标签ti,其中i∈[1,n]。首先为每个文件选择随机值xi∈Zp。对于每个数据块mi计算其数据标签ti为:
其中,mi·id是数据块mi的标识,a为选择的随机数。它输出一组数据标签T={ti}i∈[1,n]。
步骤3:提取挑战数据。验证者TPAk选取数据文件M中的c≤n个数据块发起挑战,产生c个索引号,组成索引集合Qi,并为每个待验证的数据块索引ji在Zp中任意选取一个随机数vji与之对应,即产生二元组(ji,vji)。
步骤4:频繁项的提取,对于步骤3中得到的任务集,云服务器将通过FP-Growth算法提取任务集中多个任务的频繁项集,集合的拆分和合并的过程如图2所示。同时,保存数据频繁项集的数据对象所对应的每一个随机数。它首先计算所有受挑战数据块的线性组合计算所有属于同一个挑战索引的随机数的平均值然后计算频繁项集的数据证据/>和标签证据
步骤5:生成证据,对原始挑战集合,计算非频繁项挑战数据块的线性组合接着计算数据证据/>以及标签证据/>最后,将频繁项的证据和非频繁项的证据进行合并,则数据证据/>标签证据为/>得到验证者TPAk发送过来的挑战集合的证据Pi,其中包括标签证据/>和数据证据/>
步骤6:批量验证,第三方验证者根据从步骤6中获得的标签证据和数据证据以及数据块的哈希值h(mi·id)来验证存储在云上的数据的完整性。当完成所有挑战文件的计算时,通过的验证方程验证证明如下所示:
如果式(1)为真,则输出1并且指示所有经验证的文件是完整的;否则,输出0,表示存在损坏的文件。
利用上述分析方法,本发明所有的测试都在云存储平台和两台笔记本电脑上进行。由两台服务器组成的云存储平台,每台配备至E5-24031.8GHzCPU和32GBRAM作为云服务提供商,配备IntelCorei5-4210M2.60GHzCPU和4GB内存的两款笔记本电脑分别作为用户和第三方验证者使用。在实验过程中,为了减少实验时间,本方法将存储文件的大小设置为40G,设数据块的大小固定为320byte,并设置挑战数据块数为50000块,验证者个数为10人,与此同时,每个验证者之间存在10%的挑战块是重复的。在证据计算阶段,云服务器计算数据证据以及标签证据的时间减少了19%。实验结果表明本发明减少云服务器在计算数据证据以及标签证据时的计算量。而且,由于同时减少了验证成本,因此减少了验证中的传输开销。
Claims (2)
1.一种重复挑战数据取出的完整性验证方法,其特征在于,首先对挑战集合计算频繁项集,在计算数据证据以及标签证据之前,先找出挑战集合重复的部分,进行批处理,减少证据计算时的计算量;接着处理挑战集合中非重复的部分,计算这部分数据的数据证据以及标签证据;最后,将重复部分和非重复部分的数据合并,将证据发送给第三方验证者;具体步骤如下:
步骤1:生成链密钥,为了确保不同版本文件之间的关联,在密钥的生成中应用链密钥;在基本密钥的基础上,通过其前一版本文件的散列密钥来计算每个版本文件的处理密钥;
步骤2:生成数据标签,用户为加密文件中的每个数据块生成一个标签,标签生成方法为由n个数据块即m1,…,mn组成的文件M中的每个数据块mi生成标签ti,最后输出一组数据标签T={ti},i∈[1,n];
步骤3:批量挑战,由验证者执行,从域Zp中选择一个随机数生成挑战C;
步骤4:频繁项的提取,通过对所有的挑战集合计算频繁项集,找出这些集合具有的相同项,计算这些频繁项的数据证据以及标签证据;
步骤5:生成证据,对原始挑战集合,计算非频繁项的数据证据以及标签证据;最后,将频繁项的证据和非频繁项的证据进行合并,计算验证者TPAk发送过来的挑战集合的证据Pi,其中包括标签证据TPi和数据证据DPi;
步骤6:批量验证,第三方验证者根据从步骤5中获得的TPi和数据证据DPi以及数据块的哈希值来验证存储在云上的数据的完整性;
步骤7:验证结果返回,云服务器将自己验证后的结果通过安全通道反馈给验证者。
2.如权利要求1所述的重复挑战数据取出的完整性验证方法,其特征在于,为了保护数据的隐私性,在所述第三方验证者进行数据验证时,还应用双线性映射和同态技术来保证验证的安全性和验证结果的可靠性,同时降低网络通信的流量成本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509326.XA CN110210254B (zh) | 2019-06-13 | 2019-06-13 | 一种多数据完整性验证中重复数据的优化验证方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509326.XA CN110210254B (zh) | 2019-06-13 | 2019-06-13 | 一种多数据完整性验证中重复数据的优化验证方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210254A CN110210254A (zh) | 2019-09-06 |
CN110210254B true CN110210254B (zh) | 2023-06-02 |
Family
ID=67792406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910509326.XA Active CN110210254B (zh) | 2019-06-13 | 2019-06-13 | 一种多数据完整性验证中重复数据的优化验证方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210254B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111698078B (zh) * | 2020-06-13 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于双云模型的云外包数据隐私保护频繁项挖掘方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2479343A1 (en) * | 2002-03-19 | 2003-10-02 | Chameleon Network Inc. | Portable electronic authorization system and method |
AU2013207274A1 (en) * | 2012-01-08 | 2014-08-21 | Imagistar Llc | System and method for item self-assessment as being extant or displaced |
WO2014191057A1 (en) * | 2013-05-31 | 2014-12-04 | Qatar Foundation | A method for identifying denial constraints |
CN104598569A (zh) * | 2015-01-12 | 2015-05-06 | 北京航空航天大学 | 一种基于关联规则的mbd数据集完整性检查方法 |
CN104994069A (zh) * | 2015-05-25 | 2015-10-21 | 南京信息工程大学 | 基于数据重复性验证的云存储数据完整性证明方法 |
CN106650503A (zh) * | 2016-12-09 | 2017-05-10 | 南京理工大学 | 基于ida的云端数据完整性验证及恢复方法 |
CN109286490A (zh) * | 2018-08-27 | 2019-01-29 | 西安电子科技大学 | 支持密态数据去重和完整性验证方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8775230B2 (en) * | 2008-11-03 | 2014-07-08 | Oracle International Corporation | Hybrid prediction model for a sales prospector |
-
2019
- 2019-06-13 CN CN201910509326.XA patent/CN110210254B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2479343A1 (en) * | 2002-03-19 | 2003-10-02 | Chameleon Network Inc. | Portable electronic authorization system and method |
AU2013207274A1 (en) * | 2012-01-08 | 2014-08-21 | Imagistar Llc | System and method for item self-assessment as being extant or displaced |
WO2014191057A1 (en) * | 2013-05-31 | 2014-12-04 | Qatar Foundation | A method for identifying denial constraints |
CN104598569A (zh) * | 2015-01-12 | 2015-05-06 | 北京航空航天大学 | 一种基于关联规则的mbd数据集完整性检查方法 |
CN104994069A (zh) * | 2015-05-25 | 2015-10-21 | 南京信息工程大学 | 基于数据重复性验证的云存储数据完整性证明方法 |
CN106650503A (zh) * | 2016-12-09 | 2017-05-10 | 南京理工大学 | 基于ida的云端数据完整性验证及恢复方法 |
CN109286490A (zh) * | 2018-08-27 | 2019-01-29 | 西安电子科技大学 | 支持密态数据去重和完整性验证方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110210254A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11853437B2 (en) | Method for storing data on a storage entity | |
CN109951296B (zh) | 一种基于短签名的远程数据完整性验证方法 | |
WO2021012574A1 (zh) | 多重签名方法、签名中心、介质及电子设备 | |
EP3395031B1 (en) | Method for providing a proof of retrievability | |
CN106603561B (zh) | 一种云存储中的块级加密方法及多粒度去重复方法 | |
CN102045356A (zh) | 一种面向云存储的可信存储验证方法和系统 | |
CN104967693A (zh) | 面向云存储的基于全同态密码技术的文档相似度计算方法 | |
CN112631550A (zh) | 区块链随机数生成方法、装置、设备及计算机存储介质 | |
CN112906056A (zh) | 一种基于区块链的云存储密钥安全管理方法 | |
CN105515778B (zh) | 云存储数据完整性服务签名方法 | |
CN106209365B (zh) | 云环境下利用备份数据在用户撤销时重签名的方法 | |
CN113094334B (zh) | 基于分布式存储的数字服务方法、装置、设备及储存介质 | |
CN111953699A (zh) | 一种基于区块链的数据加密方法及系统 | |
CN113704357A (zh) | 一种基于区块链的智慧城市数据共享方法及系统 | |
CN112732695A (zh) | 一种基于区块链的云存储数据安全去重方法 | |
CN105187218A (zh) | 一种多核心基础设施的数字化记录签名、验证方法 | |
CN112699123A (zh) | 一种数据存储系统中数据存在性和完整性校验方法及系统 | |
Tian et al. | Data integrity auditing for secure cloud storage using user behavior prediction | |
CN110210254B (zh) | 一种多数据完整性验证中重复数据的优化验证方法 | |
CN104182418A (zh) | 节点元数据获取方法与装置 | |
CN110851848A (zh) | 对称可搜索加密的隐私保护方法 | |
CN109104449B (zh) | 一种云存储环境下的多备份数据持有性证明方法 | |
CN112398861A (zh) | web组态化系统中敏感数据的加密系统及方法 | |
Xu et al. | A generic integrity verification algorithm of version files for cloud deduplication data storage | |
CN111967060A (zh) | 数据文件完整性验证方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |