CN117201031A - 一种基于同态哈希树的文件分布式存储共享方法 - Google Patents

Abstract

本发明涉及一种基于同态哈希树的文件分布式存储共享方法，属于信息安全领域，包括以下步骤：S1：当云平台要将数据文件M共享给系统中的用户时，首先进行系统初始化；S2：构建同态哈希树；S3：用户合作共享；S4：数据一致性验证。本发明实现了云平台的大型数据文件的分布式存储，解决云平台上的大文件的传输由于网络不稳定导致速度较慢且受限的问题，并且保证了在数据在共享过程中的数据一致性。

Description

一种基于同态哈希树的文件分布式存储共享方法

技术领域

本发明属于信息安全领域，涉及一种基于同态哈希树的文件分布式存储共享方法。

背景技术

文件分布式存储和共享是云服务中非常重要的功能需求，在物联网、云计算等场景中都有广泛的应用。传统的文件存储和共享方法通常依赖于中心式的服务器或存储设备，这种架构存在单点故障和性能瓶颈的风险。为了提高系统的可靠性、容错性和性能，研究人员提出了分布式存储和共享技术，通过将文件分割存储在多个节点上，同时提供数据冗余备份和负载均衡，以实现高可用性和可靠性的文件存储与共享。在现阶段文件分布式存储方法通常采用区块链技术。区块链是一种分布式账本，通过去中心化和共识算法等机制，实现了对数据的安全存储和共享。虽然区块链本身并不适合直接存储大文件，但可以借助区块链的特性和其他分布式存储技术来实现文件的分布式存储。但是，区块链分布式存储方法可能会面临存储空间和性能的挑战。由于区块链的不可变性和共识机制，文件一旦存储在区块链上就很难删除或修改，导致存储空间的增大。

尽管位置区块链等分布式存储技术已经得到了广泛的研究和应用，但是这些技术仍然存在许多局限性和缺陷。以下是一些主要的挑战：

(1)数据一致性：在分布式环境中，分布式存储的数据仍然面临的数据共享之后一致性问题，验证数据是否发生篡改、丢失。需要确保不同节点之间的数据一致性，例如通过一致性协议等机制来维护数据的一致性。

(2)网络带宽限制：在分布式存储和共享环境中，文件的传输需要占用网络带宽。对于大文件或高并发访问的情况，网络带宽可能成为瓶颈，限制了数据的传输速度和系统的性能。

发明内容

有鉴于此，本发明的目的在于结合哈希函数和同态加密技术，提供一种同态哈希树的数据存储结构，解决现有技术面临的问题，并提供高可靠性、高安全性和高性能的文件存储和共享解决方案。同态加密是一种加密方式，具有特殊的性质，即在密文上进行特定的运算后，得到的结果通过解密操作可以得到原始数据的运算结果。同态哈希树可以应用于文件分布式存储共享中，通过将文件划分为多个块，并使用同态哈希函数对这些块进行哈希计算，可以实现文件的分布式存储和共享，并对文件块进行安全性验证和数据完整性验证。

为达到上述目的，本发明提供如下技术方案：

一种基于同态哈希树的文件分布式存储共享方法，包括以下步骤：

S1：当云平台要将数据文件M共享给系统中的用户时，首先进行系统初始化；

S2：构建同态哈希树；

S3：用户合作共享；

S4：数据一致性验证。

进一步，步骤S1所述的系统初始化，具体包括：

S11：云平台执行密钥和系统参数生成算法KeyGen(1^k)，以安全参数k作为输入，设G₁表示阶为素数p的乘法循环群，云平台随机选择G₁的生成元g，生成一个安全加法同态哈希函数H(m)＝g^mmodp，并将大素数p公开；

S12：云平台随机选取2个素数p^*＝2p'+1和q^*＝2q'+1，并且满足p^*和q^*都为大素数，计算N＝p^*q^*和随机选择整数/>满足/>并计算整数d满足/>公开它的公钥(N,e)，安全地销毁p^*、q^*和/>并保留d作为它的私钥。

进一步，步骤S2所述构建同态哈希树，具体包括以下步骤：

S21：云平台利用生成的加法同态哈希函数对数据文件M行哈希计算，产生相应的大哈希值h；

S22：平台对数据文件M进行分割，将其拆分为n个文件数据分块{m₁,m₂,...,m_n}；然后对这n个分块进行顺序编号，并且对这n个的编号进行签名，将生成的签名值和编号作为每个分块的标头；

S23：云平台对n个数据块进行批量哈希操作，生成n个部分哈希值{h₁,h₂,...,h_n}，这n个部分哈希值对应n个顺序文件数据分块{m₁,m₂,...,m_n}；

S24：云平台备份所有的部分哈希值和文件分块，并将分块数据的哈希值h_i(1≤i≤n)、文件数据分块内容m_i(1≤i≤n)、以及文件数据分块的编号签名值s_i(1≤i≤n)通过网络分别发送给部署在边缘的服务器{server₁,server₂,...,server_n}，同时将文件数据的大哈希值h通过安全通道发送给所有的边缘服务器，通过边缘服务器发送给需要下载服务文件数据的终端用户；

S25：当边缘服务器server_i(1≤i≤n)获得云平台下发的文件数据的某一个分块的哈希值、分块数据和编号签名信息、文件数据大哈希值后，对其服务区域的终端终端用户进行消息广播，并提供给终端用户部分文件数据信息下载；

S26：边缘服务器立即向云平台请求对文件数据分块进行再次拆分操作，云平台同意请求后，边缘服务器使用文件数据分块算法再次对文件数据进行分割，分块数为t，并使用乘法循环群G₁获取生成元g₁，创建局部安全加法哈希同态函数，使用同态哈希函数对二次分块文件数据计算并记录它们的哈希值{h_i-1,h_i-2,...,h_i-t},并且同样使用RSA签名机制对分块编号进行签名生成签名对{(number_n-1,s_n-1),(number_n-2,s_n-2),...,(number_n-t,s_n-t)}；

S27：最终，生成t份二次分块文件数据、二次分块文件数据哈希值，将二次分块文件的部分哈希值放到同态哈希树的第三层节点上，最终一个由原文件大哈希值经两次再分割，生成了一个高度为3的同态哈希树的数据存储结构。

进一步，步骤S22中，云平台基于RSA签名体制，使用私钥d分别对n个文件数据分块的编号进行签名，生成签名对{(number₁,s₁),(number₂,s₂),...,(number_n,s_n)}，当终端用户在接收端收到这些带有签名的文件数据分块时，使用对应的公钥来验证签名的有效性，并根据编号和签名值准确地重新组装原始文件数据。

进一步，步骤S3所述的用户合作共享，具体包括：

终端用户User如果需要获取其它部分哈希值和其它分块文件内容，其向周围广播数据请求，在它的通信范围内有w个终端用户节点本地缓存中拥有匹配的数据并做出响应，请求终端用户User根据其它终端用户的共享数据，并将这些节点作为此次传输的合作节点；每个节点只负责传输符合要求的分块文件数据的哈希值，编号签名值以及所拥有的的部分分块数据；

传输完成后，请求终端用户根据实际情况给出相应的评估反馈数据，并支付合作终端用户一定的虚拟支付作为报酬；

终端用户User与其它终端用户合作去数据进行收集直至收集到所有符合目标文件数据分块数据。

进一步，步骤S4所述数据一致性验证，具体包括：

首先进行签名认证：当终端用户User完成所有文件数据分块的收集，终端用户首先对所有分块文件数据的编号签名值进行验证，终端用户使用云平台和边缘服务器公开的公钥对{(N,e),(N₁,e₁),...,(N_n,e_n)}对签名值进行验证，验证所有编号的准确性，即验证Verify_(N,s)＝True正确性；

终端用户在对所有文件数据分块编号签名验证正确之后，验证数据在传输过程中是否发生篡改，终端用户计算：

情况1：如果文件数据只进行了一次分块哈希，则计算：

验证上式是否成立，如果上式成立，则证明数据没有被篡改，可以直接使用；如果等式不成立，则需要重新下载和收集；

情况2：部分文件数据进行了二次分块哈希，假如h₁进行了二次分块哈希，则计算：

其中，验证上式是否成立；如果上式成立，则证明数据没有被篡改，可以直接使用；如果等式不成立，则需要重新下载和收集。

本发明的有益效果在于：本发明实现了云平台的大型数据文件的分布式存储，解决云平台上的大文件的传输由于网络不稳定导致速度较慢且受限的问题，并且保证了在数据在共享过程中的数据一致性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述的系统架构图；

图2为本发明设计的哈希树结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图2，一种同态哈希树的数据存储结构，它结合了哈希函数和同态加密技术。同态加密是一种加密方式，具有特殊的性质，即在密文上进行特定的运算后，得到的结果通过解密操作可以得到原始数据的运算结果。同态哈希树可以应用于文件分布式存储共享中，通过将文件划分为多个块，并使用同态哈希函数对这些块进行哈希计算，可以实现文件的分布式存储和共享，并对文件块进行安全性验证和数据完整性验证。基于同态哈希树的文件分布式存储共享方法的旨在解决现有技术面临的问题，并提供高可靠性、高安全性和高性能的文件存储和共享解决方案。为达到上述目的，本发明提供如下技术方案：

S1系统初始化：当云平台要将最新的大文件数据共享给系统中的用户时，设云平台要共享的服务文件为M。云平台首先执行密钥和系统参数生成算法KeyGen(1^k)，以安全参数k作为输入，设G₁表示阶为素数p的乘法循环群，云平台随机选择G₁的生成元g，生成一个安全加法同态哈希函数H(m)＝g^mmodp，并将大素数p公开。

其次，云平台随机选取2个素数p^*＝2p'+1和q^*＝2q'+1，并且满足p^*和q^*都为大素数，计算N＝p^*q^*和随机选择整数/>满足/>并计算整数d满足/>公开它的公钥(N,e)，安全地销毁p^*、q^*和/>并保留d作为它的私钥。

S2构建同态哈希树：首先，云平台会对数据文件进行整体哈希操作，生成一个大哈希值。这一过程主要利用生成的加法同态哈希函数对数据文件M行哈希计算，产生相应的大哈希值h。

其次，云平台对文件数据M进行分割。如果文件数据超过一定大小，将其拆分为n个文件数据分块{m₁,m₂,...,m_n}，之后，对前n个分块进行顺序编号，并且对这n个的编号进行签名，防止文件数据分块过程中顺序被篡改导致无法还原成原文件数据，并且生成地签名值和编号作为每个分块的标头(附加信息)，这些信息有助于终端用户在接收端正确地重新组装文件数据。

签名过程使用了RSA签名体制，分别对文件数据分块的编号进行签名，生成签名对{(number₁,s₁),(number₂,s₂),...,(number_n,s_n)}。云平台使用私钥对所有的编号进行签名操作，保障每个文件数据分块具有独特的数字签名。当终端用户在接收端收到这些带有签名的文件数据分块时，可以使用对应的公钥来验证签名的有效性，并根据编号和签名值准确地重新组装原始文件数据。通过采用数字签名和编号，云平台确保了文件数据分块的完整性和顺序，提高了数据传输的安全性和可靠性，为用户的云平台和终端用户之间的文件数据共享提供了高效而安全的解决方案。云平台使用私钥d对所有的编号进行签名操作。

不仅如此，云平台还需对前n个数据块进行批量哈希操作，生成n个部分哈希值{h₁,h₂,...,h_n}，这n个部分哈希值对应前n个顺序文件数据分块{m₁,m₂,...,m_n}。

然后，云平台会备份所有的部分哈希值和文件分块，并将分块数据的哈希值h_i(1≤i≤n)、文件数据分块内容m_i(1≤i≤n)、以及文件数据分块的编号签名值s_i(1≤i≤n)通过网络分别发送给部署在边缘的服务器{server₁,server₂,...,server_n}，同时将文件数据的大哈希值h通过安全通道发送给所有的边缘服务器，通过边缘服务器发送给需要下载服务文件数据的终端用户。这样一来，这第一次大哈希值分割产生的n个部分哈希值就构成了同态哈希树的第二层子节点，并且同态哈希树二层节点的值由n个边缘服务器存储。

当边缘服务器server_i(1≤i≤n)获得云平台下发的文件数据的某一个分块的哈希值、分块数据和编号签名信息、文件数据大哈希值后，对其服务区域的终端终端用户进行消息广播，并提供给终端用户部分文件数据信息下载，但是，考虑到区域内的部分终端用户依然存在着下载过程中网络承载能力有限，例如下载超时、中断等问题，因此，边缘服务器还需要进一步对部分文件数据进行处理操作。

边缘服务器立即向云平台请求对文件数据分块进行再次拆分操作，云平台同意请求后，边缘服务器使用文件数据分块算法再次对文件数据进行分割，分块数为t，并使用乘法循环群G₁获取生成元g₁，创建局部安全加法哈希同态函数，使用同态哈希函数对二次分块文件数据计算并记录它们的哈希值{h_i-1,h_i-2,...,h_i-t},并且同样使用RSA签名机制对分块编号进行签名生成签名对{(number_n-1,s_n-1),(number_n-2,s_n-2),...,(number_n-t,s_n-t)}。

最终，生成t份二次分块文件数据、二次分块文件数据哈希值，将二次分块文件的部分哈希值放到同态哈希树的第三层节点上，最终一个由原文件大哈希值经两次再分割，生成了一个高度为3的同态哈希树的数据存储结构。

S3用户合作共享：终端用户User如果需要获取其它部分哈希值和其它分块文件内容，其向周围广播数据请求，在它的通信范围内有w个终端用户节点本地缓存中拥有匹配的数据并做出响应，请求终端用户User根据其它终端用户的共享数据，并将这些节点作为此次传输的合作节点。每个节点只需要负责传输符合要求的分块文件数据的哈希值，编号签名值以及所拥有的的部分分块数据。传输完成后，请求终端用户根据实际情况给出相应的评估反馈数据，并支付合作终端用户一定的虚拟支付作为报酬。终端用户User与其它终端用户合作去数据进行收集直至收集到所有符合目标文件数据分块数据。

S4数据一致性验证：签名认证。当终端用户User完成所有文件数据分块的收集，终端用户首先需要对所有分块文件数据的编号签名值进行验证，终端用户使用云平台和边缘服务器公开的公钥对{(N,e),(N₁,e₁),...,(N_n,e_n)}对签名值进行验证，验证所有编号的准确性。即验证Verify_(N,s)＝True正确性。

数据一致性验证。终端用户在对所有文件数据分块编号签名验证正确之后，其次需要验证数据在传输过程中是否发生篡改。终端用户计算：

情况1：如果文件数据只进行了一次分块哈希，则计算：

验证上式是否成立。如果上式成立，则证明数据没有被篡改，可以直接使用。如果等式不成立，则需要重新下载和收集。

情况2：部分文件数据进行了二次分块哈希，假如h₁进行了二次分块哈希，则计算：

其中，验证上式是否成立。如果上式成立，则证明数据没有被篡改，可以直接使用。如果等式不成立，则需要重新下载和收集。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于同态哈希树的文件分布式存储共享方法，其特征在于：包括以下步骤：

S1：当云平台要将数据文件M共享给系统中的用户时，首先进行系统初始化；

S2：构建同态哈希树；

S3：用户合作共享；

S4：数据一致性验证。

2.根据权利要求1所述的基于同态哈希树的文件分布式存储共享方法，其特征在于：步骤S1所述的系统初始化，具体包括：

S11：云平台执行密钥和系统参数生成算法KeyGen(1^k)，以安全参数k作为输入，设G₁表示阶为素数p的乘法循环群，云平台随机选择G₁的生成元g，生成一个安全加法同态哈希函数H(m)＝g^mmodp，并将大素数p公开；

S12：云平台随机选取2个素数p^*＝2p'+1和q^*＝2q'+1，并且满足p^*和q^*都为大素数，计算N＝p^*q^*和随机选择整数/>满足/>并计算整数d满足/>公开它的公钥(N,e)，安全地销毁p^*、q^*和/>并保留d作为它的私钥。

3.根据权利要求1所述的基于同态哈希树的文件分布式存储共享方法，其特征在于：步骤S2所述构建同态哈希树，具体包括以下步骤：

S21：云平台利用生成的加法同态哈希函数对数据文件M行哈希计算，产生相应的大哈希值h；

S22：平台对数据文件M进行分割，将其拆分为n个文件数据分块{m₁,m₂,...,m_n}；然后对这n个分块进行顺序编号，并且对这n个的编号进行签名，将生成的签名值和编号作为每个分块的标头；

S23：云平台对n个数据块进行批量哈希操作，生成n个部分哈希值{h₁,h₂,...,h_n}，这n个部分哈希值对应n个顺序文件数据分块{m₁,m₂,...,m_n}；

S24：云平台备份所有的部分哈希值和文件分块，并将分块数据的哈希值h_i(1≤i≤n)、文件数据分块内容m_i(1≤i≤n)、以及文件数据分块的编号签名值s_i(1≤i≤n)通过网络分别发送给部署在边缘的服务器{server₁,server₂,...,server_n}，同时将文件数据的大哈希值h通过安全通道发送给所有的边缘服务器，通过边缘服务器发送给需要下载服务文件数据的终端用户；

S25：当边缘服务器server_i(1≤i≤n)获得云平台下发的文件数据的某一个分块的哈希值、分块数据和编号签名信息、文件数据大哈希值后，对其服务区域的终端终端用户进行消息广播，并提供给终端用户部分文件数据信息下载；

S26：边缘服务器立即向云平台请求对文件数据分块进行再次拆分操作，云平台同意请求后，边缘服务器使用文件数据分块算法再次对文件数据进行分割，分块数为t，并使用乘法循环群G₁获取生成元g₁，创建局部安全加法哈希同态函数，使用同态哈希函数对二次分块文件数据计算并记录它们的哈希值{h_i-1,h_i-2,...,h_i-t},并且同样使用RSA签名机制对分块编号进行签名生成签名对{(number_n-1,s_n-1),(number_n-2,s_n-2),...,(number_n-t,s_n-t)}；

S27：最终，生成t份二次分块文件数据、二次分块文件数据哈希值，将二次分块文件的部分哈希值放到同态哈希树的第三层节点上，最终一个由原文件大哈希值经两次再分割，生成了一个高度为3的同态哈希树的数据存储结构。

4.根据权利要求3所述的基于同态哈希树的文件分布式存储共享方法，其特征在于：步骤S22中，云平台基于RSA签名体制，使用私钥d分别对n个文件数据分块的编号进行签名，生成签名对{(number₁,s₁),(number₂,s₂),...,(number_n,s_n)}，当终端用户在接收端收到这些带有签名的文件数据分块时，使用对应的公钥来验证签名的有效性，并根据编号和签名值准确地重新组装原始文件数据。

5.根据权利要求1所述的基于同态哈希树的文件分布式存储共享方法，其特征在于：步骤S3所述的用户合作共享，具体包括：

终端用户User如果需要获取其它部分哈希值和其它分块文件内容，其向周围广播数据请求，在它的通信范围内有w个终端用户节点本地缓存中拥有匹配的数据并做出响应，请求终端用户User根据其它终端用户的共享数据，并将这些节点作为此次传输的合作节点；每个节点只负责传输符合要求的分块文件数据的哈希值，编号签名值以及所拥有的的部分分块数据；

传输完成后，请求终端用户根据实际情况给出相应的评估反馈数据，并支付合作终端用户一定的虚拟支付作为报酬；

终端用户User与其它终端用户合作去数据进行收集直至收集到所有符合目标文件数据分块数据。

6.根据权利要求1所述的基于同态哈希树的文件分布式存储共享方法，其特征在于：步骤S4所述数据一致性验证，具体包括：

首先进行签名认证：当终端用户User完成所有文件数据分块的收集，终端用户首先对所有分块文件数据的编号签名值进行验证，终端用户使用云平台和边缘服务器公开的公钥对{(N,e),(N₁,e₁),...,(N_n,e_n)}对签名值进行验证，验证所有编号的准确性，即验证Verify_(N,s)＝True正确性；

终端用户在对所有文件数据分块编号签名验证正确之后，验证数据在传输过程中是否发生篡改，终端用户计算：

情况1：如果文件数据只进行了一次分块哈希，则计算：

验证上式是否成立，如果上式成立，则证明数据没有被篡改，可以直接使用；如果等式不成立，则需要重新下载和收集；

情况2：部分文件数据进行了二次分块哈希，假如h₁进行了二次分块哈希，则计算：

其中，验证上式是否成立；如果上式成立，则证明数据没有被篡改，可以直接使用；如果等式不成立，则需要重新下载和收集。