CN102045356A - 一种面向云存储的可信存储验证方法和系统 - Google Patents

Abstract

本发明公开了一种适用于云存储的可信存储验证方法和系统，属于计算机软件技术领域。本发明方法及系统可在文件上传到非可信的云存储服务器之前，根据用户持有的密钥和其他生成的相关验证参数生成一系列随机位置，读取文件中随机位置的内容，为文件生成多个验证标签，同时保存和维护所有的必需参数；在需要检验文件的存储状态时，用户依据相关参数，发起与云存储系统的交互过程，云存储系统按照本次验证对应的参数重新生成新的验证标签。本发明的方法能以较小的计算代价获得相对高的验证可信度，文件验证标签的生成每次均选择文件中不同位置的内容，采用不同的密钥，避免服务器端利用保存的正确签名或通过保存特定位置的文件内容来生成正确签名。

Description

一种面向云存储的可信存储验证方法和系统

技术领域

本发明涉及一种面向云存储的可信存储证明方法和系统，可用于对存储于云中的数据的存在性与正确性进行可信验证，属于计算机软件技术领域。

背景技术

随着个人和企业用户对于文件存储需求的不断增长，各类云存储及网络系统的应用越来越受到重视。这类存储系统能够以相对低廉的价格为企业和个人用户提供海量的数据文件存储、管理服务，而不需要用户对文件存储系统进行专门的维护和管理，因而在近年来受到市场的欢迎。

但是，近两年Google，Amazon等大型云计算厂商相继爆出的各种安全故障表明，云存储系统并不完全可靠。云存储系统中的数据和文件有可能被黑客恶意篡改或删除部分内容；更有甚者，云存储系统的管理员与操作员也并非完全可信的，有可能因为误操作或者恶意对用户文件造成破坏。如果用户不能及时了解所存储数据的安全状态，及时感知其所发生的变化，并予以相应处理，那么就可能导致在需要访问数据时无法找到正确结果，面临无法挽回的灾难。

验证云存储系统中数据的正确性与存在性有几种基本手段，最为直观的方法是将所有文档依次下载并检验文件内容是否正确。由于通常用户在云存储系统中所存储的是海量信息，这种方式将浪费大量的时间和带宽资源，显然不可取。另一种验证方式是基于经典的签名算法：由用户根据不同的密钥预先为每个文档计算若干个签名，并保存在本地。需要验证时，用户将签名密钥发送到服务器，由服务器执行签名过程，并将签名结果返回客户端进行验证。这种方法面临的两个问题：其一是效率问题，每次验证过程需要访问所有的文档内容，并为其计算签名，因而对于大型文档的访问与计算代价高；其二且更重要的是存在安全隐患。如果服务器端出于效率考虑保留了文档(D)的Hash值H(D)，每次根据该值生成签名，那么最终的签名结果就无法反映当前文档的真实情况。若云存储服务商恶意为之，那么，用户可能将一直无法发现文档被篡改，直到访问文档失败。

总之，目前的云存储系统缺乏对于用户数据存在性与正确性的可信、高效的验证手段，因此需要一种快速检测方法帮助用户确认其保存在云存储系统中的海量文件是否未被破坏。

发明内容

针对上述问题，本发明提供了一种面向云存储系统的可信存储验证方法和系统，能够以较少的带宽消耗和计算量验证用户指定的一组文件是否存在并且未被破坏。

为了实现本发明的目的之一，采用的技术方案概述如下：

一种面向云存储的可信存储验证方法，其步骤包括：

1)为每个上传到云存储服务器端的文件设定验证参数，包括文件名Name(D)及文件大小Size(D)、最大验证次数N、单次验证结果的置信率P；

2)确定出单次验证需要的分片数目num；

3)根据系统当前时间生成随机密钥种子K；并由K生成N个随机位置密钥{k₁，k₂，……k_N}；对某一个随机位置密钥k_i，计算生成num个文件分片构成的样本文档的验证标签r_i；文件D的验证凭据为一个二元组(R，cur)，其中R为验证标签集合，R＝{r₁，r₂，……r_N}，cur为当前验证标号；

4)客户端查询文件的验证参数、分片数目num、随机密钥种子K，并将cur值加1，将查询结果传递给云存储服务器端；

5)云存储服务器端根据客户端传递的参数重新生成样本文档的验证标签r’；

6)客户端比较r’和r_i，如果相同判断文件可信存储。

所述步骤1)最大验证次数N和单次存储验证的可信程度P由用户根据需要指定。

所述步骤2)分片数目num的计算方法为：其中n为文件总的分片数目。

当N＞＞num时，分片数目num的计算方法为：num＝log_0.99(1-P)。

所述步骤3)从num个文件分片位置分别读取定长的文件内容，形成样本文档；以随机位置密钥k_i对样本文档计算HMAC值，从而得到对应的文件验证标签r_i。

进一步，生成文件验证标签包括以下步骤：

5-1)在文件D大小范围(Size(D))内选择num个随机分片位置{loc₁，...loc_num}；

5-2)从上述每个随机分片位置开始读取长度为16byte的内容{t₁，...t_num}，不足则补0；

5-3)将所有抽取内容顺序连接，成为样本文档T＝{t₁||...||t_num}；

5-4)以k_i为密钥，计算样本文档验证标签r_i，r_i＝HMAC(T，k_i)。

所述验证参数、分片数目num、随机密钥种子K，存储在客户端或者经过加密后存储在云存储服务器端。

为了实现本发明的目的之二，采用的技术方案概述如下：

一种面向云存储的可信存储验证系统，其特征在于，包括在客户端运行的存储验证管理子系统；在云存储系统中运行的存储验证实施子系统；在本地或云存储系统上运行的验证凭据存储子系统；

所述存储验证管理子系统包括：存储验证准备模块，存储验证维护模块，存储验证发起模块，以及存储验证校验模块，其中存储验证准备模块为需要进行存储验证的文件生成验证参数和验证标签；存储验证维护模块与验证凭据存储子系统进行交互，保存并维护文件验证标签和相关参数；存储验证发起模块获取用户需要发起存储验证的文件，与存储验证维护模块交互，获得对应的文件验证标签和相关参数，将所需参数传递到云存储服务器端的存储验证实施子系统；存储验证校验模块将原始文件验证标签和服务器端返回的文件验证标签进行比较，判断文件是否可信存储；

所述存储验证实施子系统根据用户传递的参数在服务器端重新生成存储验证凭据，将生成的文件验证标签返回给用户；

所述验证凭据存储子系统储存和维护文件验证标签和相关参数。

所述存储验证准备模块为需要进行存储验证的文件生成验证参数验证参数，包括文件名Name(D)及文件大小Size(D)、最大验证次数N、单次验证结果的置信率P，计算出单次验证需要的分片数目num，根据系统当前时间生成随机密钥种子K；并由K生成N个随机位置密钥{k₁，k₂，……k_N}；对某一个随机位置密钥k_i，计算生成num个文件分片构成的样本文档的验证标签r_i。

与现有技术相比，本发明的积极效果为：

1.文件验证标签的对比生成过程放在服务器端，避免了将文件内容全部返回带来的大量带宽消耗，也减轻了客户端的计算资源消耗。例如，用户对100MB的文件进行存储验证。如果将文件内容全部返回，至少会有100MB的下载流量消耗。而采用本方法，只需要服务器端返回文件的验证标签即可，大小只有若干bit。

2.文件验证标签的生成每次均随机选择文件中不同位置的内容，而不是将文件全文计算散列值，计算代价相对较小。例如，用户要求对大小为100MB的文件进行存储验证，需要读取文件的全部内容计算散列值，即104857600Byte。而采用本方法，即使用户选择单次存储验证的可信程度为“0.9”，总共需要读取的文件内容也只有229*16＝3664byte。

3.存储验证能够以较小的计算代价获得相对高的验证可信度，并可通过多次发起验证来获得更高的验证可信度：用户发起多次验证时的验证可信度p′＝1-(1-p)^K。其中，K为用户重复验证的次数。即使用户选择单次验证可信程度为“0.6”，用户发起四次验证发现文件损坏的概率即可提升到97.44％。

4.文件验证标签的生成每次均采用不同的密钥，避免密钥的泄露或者服务器端利用保存的正确签名进行重放。

5.文件验证标签的生成每次均随机选择文件中不同位置的内容，而这些位置之间并不具有关联性。从而避免服务器通过保存特定位置的文件内容来生成正确签名。

附图说明

图1是本发明存储验证方法流程图；

图2是本发明存储验证系统的结构图。

具体实施方式

下面结合附图和一个范例对本发明做进一步详细的说明，但不以任何方式限制本发明的范围。

如图1所示，本发明提供的云存储系统可信存储验证方法包括两个核心步骤：(一)文件验证凭据生成。在将文件上传到云存储系统前，用户根据自己所掌握的密钥，为每个需要验证的文件生成验证凭据；(二)基于验证凭据的文件验证过程。在需要检验文件的存在状态时；用户依据所保存的文件验证凭据和相关参数，发起与云存储系统的交互过程，根据返回结果判定文件是否存在或被破坏。

(一)文件验证凭据生成过程。

一个文档对应一个验证凭据，该凭据包括若干个验证标签。具体过程如下：

步骤一：验证参数设定。在文件(D)上传前，用户应为其设定如下参数：

1、文件名Name(D)及文件大小Size(D)；

2、该文件的最大验证次数N。其含义为可对文档D进行安全验证的次数。从第N+1次验证开始，云存储服务器有可能以高成功概率欺骗用户；

3、单次验证结果的置信率P。其含义为当文件内容出现1％的差错时，能够通过单次验证发现这些差错的概率。例如，当P值分别为0.9，0.8和0.6时，表示在文件内容出现1％的差错时，能够通过单次验证发现差错的概率分别对应为90％，80％和60％。

步骤二：根据设定参数，计算验证文件可信存储所需的分片数目num；计算方法为：

即：

其中n为文件总分片数，由文件大小和分片大小确定。当n＞＞num时，可化简为：1-p＝0.99^num，即：num＝log_0.99(1-P)。此时，验证的准确性与文件大小和分片大小无关；

步骤三：计算文件(D)的验证标签集合。

根据系统当前时间生成随机密钥种子K；并由该种子与一个伪随机数生成器(PRNG)生成N个随机位置密钥{k₁，k₂，……k_N}；对于其中每一个随机位置密钥k_i，计算生成一个验证标签r_i，计算方法如下：

1、在文件D大小范围(Size(D))内选择num个随机分片位置{loc₁，...loc_num}；

2、从上述每个随机分片位置开始读取长度为16Byte的内容{t₁，...t_num}，不足则补0；

3、将所有抽取内容顺序连接，成为样本文档T＝{t₁||...||t_num}；

4、以k_i为密钥，计算样本文档验证标签r_i。即：r_i＝HMAC(T，k_i)；

重复上述步骤N次，得到N个验证标签R＝{r₁，r₂，……r_N}。文件D的验证凭据为一个二元组(R，cur)。其中R为验证标签集合，cur为当前验证标号，初始为1；

为了重复文件验证标签的生成过程以便对文件进行验证，文件名Name(D)，随机密钥种子K，需要访问的文件分片数目num都需要与验证凭据对应保存。生成的验证凭据和相关参数可以保存在本地，也可以加密后保存在云存储系统中。

(二)基于验证凭据的文件验证过程。

当用户需要验证文档D的存在性与正确性时，需要客户端和服务器端配合执行以下步骤：

步骤一：客户端的参数查询和准备。包括：

1)查询相关参数：进行存储验证的文件名称Name(D)，文件验证标签r_i(其中i为cur的当前值)，所需的文件分片数目num，随机密钥种子K；

2)文件验证凭据的维护：更新文件验证凭据中的cur为cur+1；

3)根据随机密钥种子K计算出生成本次验证的随机分片位置所需的随机位置密钥k_i；

4)向服务器端传递相应参数；

步骤二：服务器端根据用户传递的参数在服务器端重新生成验证标签：服务器端根据num，Name(D)和k_i重新计算文件验证标签r′，生成验证标签的方法与文件验证凭据生成中步骤二的方法相同。其中，文件的大小Size(D)可根据Name(D)从网络存储服务器获得。将生成的r′返回给客户端。

步骤三：客户端比较r’和原始的r_i是否相同，从而判断文件是否完整。

如图2所示，本发明还提供的云存储中的数据可信存储验证系统分为三个部分：在通用计算机上运行的存储验证管理子系统；在云存储系统中运行的存储验证实施子系统；在本地或云存储系统上运行的验证凭据存储子系统。

其中，在通用计算机上运行的存储验证管理子系统包括以下模块：存储验证准备模块，存储验证维护模块，存储验证发起模块，以及存储验证校验模块。

存储验证准备模块的功能包括：确定需要进行存储验证准备的文件，为需要进行存储验证的文件生成验证凭据和标签。

存储验证维护模块的功能为：与验证凭据存储子系统进行交互，保存并维护文件验证标签和相关参数。

存储验证发起模块的功能包括：获取用户需要发起存储验证的文件，与存储验证维护模块交互，获得对应的文件验证标签和相关参数，将所需参数传递到云存储服务器端的存储验证实施子系统。

存储验证校验模块的功能包括：将原始文件验证标签和服务器端返回的文件验证标签进行比较，判断文件是否被破坏。

在云存储系统中运行的存储验证实施子系统的功能包括：根据用户传递的参数在服务器端重新生成存储验证凭据，将生成的文件验证标签返回给用户。

在本地或云存储系统上运行的验证凭据存储子系统的功能包括：储存和维护文件验证标签和相关参数。

实施例

在本实施例中用户向非可信网络存储服务器上传文件file1，文件大小为100MB。用户要求对文件实行存储验证，需要在两年时间内每天验证一次，因此最大验证次数为730次。用户要求存储验证的可信程度为“0.9”。

本发明存储验证的流程如下，

1)用户发起文件存储验证准备请求

2)存储验证准备模块确定用户需要进行存储验证准备的文件：NAME(file1)；

3)存储验证准备模块确定文件的大小：SIZE(104857600Byte)；

4)存储验证准备模块确定需要进行存储验证的次数N：730；

5)存储验证准备模块确定单次存储验证的可信程度P：“0.9”，则文件出现1％的内容更改时单次简单存储验证能够发现的概率为90％。

6)存储验证准备模块根据系统当前时间生成随机密钥种子K：1285572979437

7)存储验证准备模块根据K生成N个随机密钥{k1，k2，……kc}，分别为1100484697，1999933796，……，1908295137。

8)存储验证准备模块根据P和SIZE确定需要读取的内容块数num。其中文件的大小为104857600Byte。以16byte为一个文件块，则共有7864320块。为了满足单次存储验证可信程度为“0.9”的要求，即1-(1-1％)ⁿ＝90％，共需要读取的文件块数num＝229。

9)存储验证准备模块为生成N个验证标签：

9-1)以k1：1100484697为随机密钥，为文件file1生成229个随机位置。随机位置均在file1的大小范围内，分别为：{908，100289，……807653}；

9-2)从上述每个随机位置开始读取长度为16Byte的内容{t₁，...t_num}，不足则补0；因数据量较大，读取的结果不在此处列出；

9-3)将所有抽取内容顺序连接，成为样本文档T＝{t₁||...||t_num}；

9-4)以k₁为密钥，计算样本文档验证标签r₁。即：r₁＝HMAC(T，k₁)；

9-5)以不同K_i重复以上过程730次，直到生成所有的文件验证标签。

10)生成文件验证凭据。其中验证标签集合为上述生成的N个验证标签，cur为1。

存储验证维护模块需要保存文件验证凭据，以及对应的文件名NAME(file1)，生成验证标签所需要的文件块数N：229，随机密钥种子K：1285572979437。

发起存储验证时考虑如下例子。用户要求对本用户上传的文件file1进行存储验证。假设文件还未进行过验证，当前cur为1。

存储验证的过程如下：

1)用户要求发起存储验证；

2)存储验证发起模块接收到用户请求，确定用户要验证的文件名称为file1，并向存储验证维护模块发起查询请求。

3)存储验证维护模块与验证凭据存储子系统进行交互，获得以下参数：

①确定当前cur值为1；

②获得验证标签r₁；

③确定生成r₁所需的文件总块数num：229；

④确定生成验证标签的随机种子K：1285572979437

4)存储验证维护模块与验证凭据存储子系统进行交互，更新cur为2；

5)存储验证维护模块将相关参数返回给存储验证发起模块；

6)存储验证发起模块根据密钥种子K和更新前的cur值1，计算得到随机分片位置密钥k₁；

7)存储验证发起模块将相关参数传递给云存储端存储验证实施子系统，其中相关参数包括：文件总块数mum，利用随机密钥种子K生成的k₁。

8)云存储端存储验证实施子系统根据k1，num重新计算文件验证标签r′。生成验证标签的步骤与存储验证准备模块生成标签的步骤相同。其中，文件的大小可根据文件名file1从网络存储服务器获得。

9)云存储端存储验证实施子系统将r′返回到客户端存储验证发起模块。

10)存储验证发起模块比较r′和r1是否相同，从而判定文件是否被破坏。

从以上例子中可以看出，本方法具有以下明显优势：

1大量减少了文件传递消耗的带宽。如果需要将文件内容全部返回，至少会有100MB的下载流量消耗。而采用验证标签验证，只需要服务器端重新计算返回文件的验证标签即可，带宽消耗小于1kb。

2文件验证标签生成不需要将文件全文计算散列值，计算代价相对较小。如果需要对文件全文内容进行散列值计算，需要读取的文件内容为125829120Byte。而采用本方法，总共需要读取的文件内容只有229*16＝3664byte。

Claims (9)

1.一种面向云存储的可信存储验证方法，其步骤包括：

1)为每个上传到云存储服务器端的文件设定验证参数，包括文件名Name(D)及文件大小Size(D)、最大验证次数N、单次验证结果的置信率P；

2)确定出单次验证需要的分片数目num；

3)根据系统当前时间生成随机密钥种子K；并由K生成N个随机位置密钥{k₁，k₂，……k_N}；对某一个随机位置密钥k_i，计算生成num个文件分片构成的样本文档的验证标签r_i；文件D的验证凭据为一个二元组(R，cur)，其中R为验证标签集合，R＝{r₁，r₂，……r_N}，cur为当前验证标号；

4)客户端查询文件的验证参数、分片数目num、随机密钥种子K，并将cur值加1，将查询结果传递给云存储服务器端；

5)云存储服务器端根据客户端传递的参数重新生成样本文档的验证标签r’；

6)客户端比较r’和r_i，如果相同判断文件可信存储。

2.如权利要求1所述的方法，其特征在于，所述步骤1)最大验证次数N和单次存储验证的可信程度P由用户根据需要指定。

3.如权利要求1所述的方法，其特征在于，所述步骤2)分片数目num的计算方法为：

其中n为文件总的分片数目。

4.如权利要求3所述的方法，其特征在于，当N＞＞num时，分片数目num的计算方法为：num＝log_0.99(1-P)。

5.如权利要求1所述的方法，其特征在于，所述步骤3)从num个文件分片位置分别读取定长的文件内容，形成样本文档；以随机位置密钥k_i对样本文档计算HMAC值，从而得到对应的文件验证标签r_i。

6.如权利要求5所述的方法，其特征在于，生成文件验证标签包括以下步骤：

5-1)在文件D大小范围(Size(D))内选择num个随机分片位置{loc₁，...loc_num}；

5-2)从上述每个随机分片位置开始读取长度为16byte的内容{t₁，...t_num}，不足则补0；

5-3)将所有抽取内容顺序连接，成为样本文档T＝{t₁||...||t_num}；

5-4)以k_i为密钥，计算样本文档验证标签r_i，r_i＝HMAC(T，k_i)。

7.如权利要求1所述的方法，其特征在于，所述验证参数、分片数目num、随机密钥种子K，存储在客户端或者经过加密后存储在云存储服务器端。

8.一种面向云存储的可信存储验证系统，其特征在于，包括在客户端运行的存储验证管理子系统；在云存储系统中运行的存储验证实施子系统；在本地或云存储系统上运行的验证凭据存储子系统；

所述存储验证管理子系统包括：存储验证准备模块，存储验证维护模块，存储验证发起模块，以及存储验证校验模块，其中存储验证准备模块为需要进行存储验证的文件生成验证参数和验证标签；存储验证维护模块与验证凭据存储子系统进行交互，保存并维护文件验证标签和相关参数；存储验证发起模块获取用户需要发起存储验证的文件，与存储验证维护模块交互，获得对应的文件验证标签和相关参数，将所需参数传递到云存储服务器端的存储验证实施子系统；存储验证校验模块将原始文件验证标签和服务器端返回的文件验证标签进行比较，判断文件是否可信存储；

所述存储验证实施子系统根据用户传递的参数在服务器端重新生成存储验证凭据，将生成的文件验证标签返回给用户；

所述验证凭据存储子系统储存和维护文件验证标签和相关参数。

9.如权利要求8所述的系统，其特征在于，所述存储验证准备模块为需要进行存储验证的文件生成验证参数验证参数，包括文件名Name(D)及文件大小Size(D)、最大验证次数N、单次验证结果的置信率P，计算出单次验证需要的分片数目num，根据系统当前时间生成随机密钥种子K；并由K生成N个随机位置密钥{k₁，k₂，……k_N}；对某一个随机位置密钥k_i，计算生成num个文件分片构成的样本文档的验证标签r_i。

Images