CN115865461B - 一种高性能计算集群中分发数据的方法和系统 - Google Patents
一种高性能计算集群中分发数据的方法和系统 Download PDFInfo
- Publication number
- CN115865461B CN115865461B CN202211494180.4A CN202211494180A CN115865461B CN 115865461 B CN115865461 B CN 115865461B CN 202211494180 A CN202211494180 A CN 202211494180A CN 115865461 B CN115865461 B CN 115865461B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- creator
- data block
- distribution platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000009826 distribution Methods 0.000 claims abstract description 142
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000011217 control strategy Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Storage Device Security (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种高性能计算集群中分发数据的方法和系统，涉及数据分发技术领域,该方法包括：数据分发平台对当前网络环境进行检测，根据当前网络上传速度参照预设的数据上传对照表，确定当前上传数据块大小的阈值，并与数据块的固定大小进行比较，若数据块固定大小大于阈值，则通过各缓冲单元对其内部的数据块进行等分切割；该系统包括：对比模块：用于根据当前网络上传速度所能接收的上传数据块大小阈值与缓冲单元内部的数据块大小进行对比，若缓冲单元内部的数据块大于阈值的百分之八十，则各缓冲单元对数据块进行切割。本发明通过将作品数据进行分割成同等大小的数据块，并对每一数据块进行有序的加密，保证了每一数据块的安全。
Description
技术领域
本发明涉及一种高性能计算集群中分发数据的方法和系统，属于技术数据分发技术领域。
背景技术
高性能计算是计算机科学的一个分支，其致力于开发超级计算机，研究并行算法和发开相关软件，高性能集群主要用于处理复杂的计算问题，应用在需要大规模科学计算的环境中，如天气预报、石油勘探等，高性能集群上运行的应用程序一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合并为原问题的最终结果；由于这些小问题的计算一般是可以并行完成的，从而可以缩短问题的处理时间；高性能计算集群在计算过程中，各节点是协同工作的，它们分别处理大问题的一部分，并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的一部分。随着多媒体信息产业的发展，多媒体创作者在对其创作作品数据进行分发时，需要使用到高性能计算集群来完成在各个数据平台上的传输工作。
目前的数据分发方法以及系统对网络环境的适应性较差，因此数据分发系统在进行一对多分发量较大的分发作业过程中往往造成较大的延时或者分发性能不足，导致各数据接收平台所接收到的数据时间不一致，影响创作者对各平台数据后续的管理；同时在数据传输过程中，为避免数据传输的安全受到威胁，通常会将数据整体进行加密，但是创作者的加密方式容易被攻破并泄露，导致整个数据都面临被盗取的危险。
现有的数据分发方法及系统由于网络环境波动原因，在进行一对多的数据分发过程中延时较大，并且分发的性能不足；同时数据传输安全并不能得到保证，大段的数据在传输过程中更容易受到攻击并截获，为此我们提出一种高性能计算集群中分发数据的方法和系统。
发明内容
本发明要解决的技术问题是：提供一种高性能计算集群中分发数据的方法和系统，解决现有的数据分发方法及系统由于网络环境波动原因，在进行一对多的数据分发过程中延时较大，并且分发的性能不足；同时数据传输安全并不能得到保证，大段的数据在传输过程中更容易受到攻击并截获的问题。
本发明采取的技术方案为：一种高性能计算集群中分发数据的方法，包括以下步骤：
S1、创建数据分发平台，创作者注册账号，根据账号密码登录数据分发平台，并将创作完成的作品数据上传至数据分发平台内部并保存至本地存储中；
创作者注册并登录数据分发平台的方法包括如下具体步骤：
S1.1、身份注册：创作者生成身份信息并向全网发布，各数据接收平台收到信息后进行验证，若验证通过，则数据分发平台调用密钥分发智能合约，为创作者生成公私钥对与证书，并将创作者身份信息写入数据分发平台内部的用户数据库中保存，表示注册成功，否则注册失败；
S1.2、身份验证：数据分发平台内部的身份验证逻辑通过身份验证智能合约完成，若证书未过期且身份合法，则验证通过进入数据分发平台内部，否则验证失败；
S1.3、身份更新：创作者定期更新自己的身份信息，将自己的身份信息与数字签名广播至各数据接收平台进行验证，若验证通过，则调用身份更新智能合约进行修改，否则修改失败；
S2、创作者通过数据分发平台与各数据接收平台建立数据通信连接，数据分发平台根据数据接收平台的数量唤醒相对应数量的高性能计算节点，并一一配对各数据接收平台；
S2中还包括以下步骤，创作者预先在数据分发平台内部绑定所需接收的数据接收平台，并对各数据接收平台的视频码率以及发布标题进行编辑，数据分发平台对创作者各数据接收平台的使用习惯进行学习保存，在创作者新一次编辑时进行提醒；
S3、数据分发平台对待发送数据按固定大小划分为多个数据块并按照第一顺序表分别暂存至预设于数据分发平台内部的缓冲模块内的各个缓冲单元中；
S4、数据分发平台对当前网络环境进行检测，根据当前网络上传速度参照预设的数据上传对照表，确定当前上传数据块大小的阈值，并与数据块的固定大小进行比较，若数据块固定大小大于阈值，则通过各缓冲单元对其内部的数据块进行等分切割，最终缓冲单元内部的数据块大小小于阈值；
数据分发平台对当前网络环境进行定期监测，每间隔一分钟对当前网络环境的下载速度以及上传速度进行监测；其中被切割后的数据块大小不得超过阈值上限的百分之八十；
S5、对各缓冲单元内部各切割后的数据块大小按照第二顺序表进行一一标记，形成相对应的信息编码，同时按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文，将各缓冲单元内部的密文统一打散输送至数据分发平台内部预设的待提取模块内部；
组合密钥通过创作者上传至数据接收平台，平台自动将组合密钥进行存储，当各数据接收平台接收到完整的作品数据后，根据组合密钥对作品数据进行解密；数据分发平台将组合密钥进行存证；
S6、各高性能计算节点统一提取待提取模块内部的其中某一数据块，并通过各高性能计算节点分别发送至与之相对应配对的各数据接收平台；
S7、各数据接收平台同一时间依次接收多组密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，并通过组合密钥解码密文，形成完整的作品数据，并对作品数据发布至各数据接收平台。
一种高性能计算集群中分发数据的系统，包括数据分发平台以及与其建立通信连接的数据接收平台，数据分发平台包括处理模块，以及与其建立控制连接的计算分发模块、缓冲模块、对比模块以及加密模块；
优选的，上述数据分发平台还包括与处理模块建立通信连接的注册登录模块、存储模块以及待提取模块；
注册登录模块：用于创作者通过注册登录模块注册其专属的数据分发平台的账号，并通过此账号登录数据分发平台；
存储模块：用于存储创作者上传至数据分发平台的作品数据，缓冲模块通过处理模块从其内部获取作品数据；
处理模块：用于获取创作者上传至数据分发平台内部的作品数据，并对数据分发平台内部的各模块所处理后的作品数据进行提取以及发送，保证各模块之间的运行；
缓冲模块：上述缓冲模块包括多个缓冲单元，缓冲单元通过处理模块获取作品数据，并对作品数据按照固定大小进行划分，划分后的各作品数据块按照第一顺序表依次暂存缓冲单元内部；
对比模块：用于根据当前网络上传速度所能接收的上传数据块大小阈值与缓冲单元内部的数据块大小进行对比，若缓冲单元内部的数据块大于阈值的百分之八十，则各缓冲单元对数据块进行切割，直至满足阈值界限要求；
加密模块：根据第二顺序表对各缓冲单元内部切割的数据块进行标记编码，并且按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文；
待提取模块：待提取模块用于获取加密完成的各数据块密文，并无规则打乱各数据块密文，通过计算分发模块对各数据块密文进行提取分发。
计算分发模块：上述计算模块其内部包括多个高性能计算节点，用于与各数据接收平台进行对接匹配，若干高性能计算节点统一集中对相同的数据密文进行发送至数据接收平台。
优选的，若干上述数据接收平台包括接收模块，以及与其建立通信连接的整合模块以及解密模块；
接收模块：用于实时接收来自数据分发平台中计算分发模块所发送的各数据块密文，其中接收模块设置有独立防火墙，接收模块在接收数据前获取来自计算分发模块发送的验证码，验证码包括作品数据分发时间或者创作者身份信息其中任意一项；
整合模块：获取接收模块接收到的所有数据块密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，形成完整的作品数据密文；
解密模块：接收来自数据分发平台加密模块发送的组合密钥，根据组合密钥对作品数据密文进行解码，得到完整的作品数据。
优选的，上述未经数据分发平台认证的不可信服务器通过密文无法获取关于明文的任何信息；不可信服务器在创作者账号的认证下进行作品数据搜索。
本发明的有益效果：与现有技术相比，本发明的效果如下：
1)本发明通过设置多个高性能计算节点，并将其与若干数据接收平台进行一一配对，从而使得数据块能够统一同时的分发至各数据接收平台，通过对当前数据分发平台所处的网络环境进行实时监测，对其下载速度以及上传速度进行监测，根据上传速度与预设的数据上传对照表进行对比，确定当前能够上传数据块的最大值即阈值，并根据阈值与位于缓冲模块内部的各个固定大小的数据块进行对比，若数据块大于阈值的百分之八十，则对数据块进行重新等份分割，直到满足一次传输的传输要求，因此当若干个高性能计算节点对一份数据块进行传输时，其数据块上传总量并不会超过当前网络上传速度的极限，因此可以避免在数据上传过程中卡顿以及缓慢的情况发生，保证了各数据能以最快最优先的情况输送至各数据接收平台，同时若干高性能计算节点同时对数据块进行分发，使得各数据接收平台所接收到的数据块时间一直，不存在延迟等情况发生，方便后续同一时间发布，并方便创作者对作品数据的管理；
2)本发明通过将作品数据进行分割成同等大小的数据块，并对每一数据块进行有序的加密，保证了每一数据块的安全，外界截获数据块时，只能对其中某一部分数据块进行截获，并且无法对其进行破解，数据块在传输过程中完全打乱发送，在分发到各数据接收平台后统一对其进行二次排序，完全保证了作品数据被外界截获而破解的可能性，大大提高了作品数据的安全保护性。
附图说明
图1为本发明的方法流程图；
图2为本发明的高性能计算集群中分发数据系统的框图。
具体实施方式
下面结合附图及具体的实施例对本发明进行进一步介绍。
实施例1：如图1-2所示，一种高性能计算集群中分发数据的方法，包括以下步骤：
S1、创建数据分发平台，创作者注册账号，根据账号密码登录数据分发平台，并将创作完成的作品数据上传至数据分发平台内部并保存至本地存储中；
其中，创作者注册并登录数据分发平台的方法包括如下具体步骤：
S1.1、身份注册：创作者生成身份信息并向全网发布，各数据接收平台收到信息后进行验证，若验证通过，则数据分发平台调用密钥分发智能合约，为创作者生成公私钥对与证书，并将创作者身份信息写入数据分发平台内部的用户数据库中保存，表示注册成功，否则注册失败；
S1.2、身份验证：数据分发平台内部的身份验证逻辑通过身份验证智能合约完成，若证书未过期且身份合法，则验证通过进入数据分发平台内部，否则验证失败；
S1.3、身份更新：创作者定期更新自己的身份信息，将自己的身份信息与数字签名广播至各数据接收平台进行验证，若验证通过，则调用身份更新智能合约进行修改，否则修改失败。
在本发明中创作者身份认证算法如下：
创作者将自己的登录信息以及身份证书信息发送至背书节点进行背书，生成用户信息Infouser＝Gen(userID,Pswd,Cert)，在注册登录模块中存储；
背书节点收到身份认证提案信息后，首先在本地进行验证，如果本地验证通过，则返回给应用程序模拟执行结果；身份认证结果有两种，认证成功或认证失败。
S2、创作者通过数据分发平台与各数据接收平台建立数据通信连接，数据分发平台根据数据接收平台的数量唤醒相对应数量的高性能计算节点，并一一配对各数据接收平台；
其中，S2中还包括以下步骤，创作者预先在数据分发平台内部绑定所需接收的数据接收平台，并对各数据接收平台的视频码率以及发布标题进行编辑，数据分发平台对创作者各数据接收平台的使用习惯进行学习保存，在创作者新一次编辑时进行提醒。
S3、数据分发平台对待发送数据按固定大小划分为多个数据块并按照第一顺序表分别暂存至预设于数据分发平台内部的缓冲模块内的各个缓冲单元中；
S4、数据分发平台对当前网络环境进行检测，根据当前网络上传速度参照预设的数据上传对照表，确定当前上传数据块大小的阈值，并与数据块的固定大小进行比较，若数据块固定大小大于阈值，则通过各缓冲单元对其内部的数据块进行等分切割，最终缓冲单元内部的数据块大小小于阈值；
其中，数据分发平台对当前网络环境进行定期监测，每间隔一分钟对当前网络环境的下载速度以及上传速度进行监测；其中被切割后的数据块大小不得超过阈值上限的百分之八十。
S5、对各缓冲单元内部各切割后的数据块大小按照第二顺序表进行一一标记，形成相对应的信息编码，同时按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文，将各缓冲单元内部的密文统一打散输送至数据分发平台内部预设的待提取模块内部；
在本发明中，通过预设的密钥编码规则生成组合密钥的算法流程如下：
创作者通过对称可搜索加密算法加密要上传的各数据块；选择安全参数λ，执行KenGen算法，产生随机对称密钥K＝KeyGen(λ)；使用产生的随机对称密钥K加密数据块D，执行算法Encryptsse，再经过一系列哈希运算后，得到输出密文C和索引I，即(I,C)＝Encryptsse(K,D)；
创作者通过加密模块将加密后的数据块C统一上传到待提取模块中，待提取模块返回加密数据的存储地址；
创作者设定对数据块的访问控制策略T，执行加密算法Enc(k)＝Encrypt(T,K),对密钥进行加密，得到加密后的密钥Enc(K)，若数据接收平台没有相应的权限，则无法对K进行解密；
数据分发平台对创作者的身份信息IDDO、创作者的公钥PKDO、数据块编号IDfile、数据块的哈希值Hashfile、索引I以及加密后的密钥Enc(K)上传至数据分发平台中进行存储。
其中，组合密钥通过创作者上传至数据接收平台，平台自动将组合密钥进行存储，当各数据接收平台接收到完整的作品数据后，根据组合密钥对作品数据进行解密；数据分发平台将组合密钥进行存证。
S6、各高性能计算节点统一提取待提取模块内部的其中某一数据块，并通过各高性能计算节点分别发送至与之相对应配对的各数据接收平台；
S7、各数据接收平台同一时间依次接收多组密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，并通过组合密钥解码密文，形成完整的作品数据，并对作品数据发布至各数据接收平台。
实施例2：一种高性能计算集群中分发数据的系统，包括数据分发平台以及与其建立通信连接的数据接收平台，数据分发平台包括处理模块，以及与其建立控制连接的计算分发模块、缓冲模块、对比模块以及加密模块；
其中，数据分发平台还包括与处理模块建立通信连接的注册登录模块、存储模块以及待提取模块；
注册登录模块：用于创作者通过注册登录模块注册其专属的数据分发平台的账号，并通过此账号登录数据分发平台；
存储模块：用于存储创作者上传至数据分发平台的作品数据，缓冲模块通过处理模块从其内部获取作品数据；
处理模块：用于获取创作者上传至数据分发平台内部的作品数据，并对数据分发平台内部的各模块所处理后的作品数据进行提取以及发送，保证各模块之间的运行；
缓冲模块：缓冲模块包括多个缓冲单元，缓冲单元通过处理模块获取作品数据，并对作品数据按照固定大小进行划分，划分后的各作品数据块按照第一顺序表依次暂存缓冲单元内部；
对比模块：用于根据当前网络上传速度所能接收的上传数据块大小阈值与缓冲单元内部的数据块大小进行对比，若缓冲单元内部的数据块大于阈值的百分之八十，则各缓冲单元对数据块进行切割，直至满足阈值界限要求；
加密模块：根据第二顺序表对各缓冲单元内部切割的数据块进行标记编码，并且按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文；
待提取模块：待提取模块用于获取加密完成的各数据块密文，并无规则打乱各数据块密文，通过计算分发模块对各数据块密文进行提取分发。
计算分发模块：计算模块其内部包括多个高性能计算节点，用于与各数据接收平台进行对接匹配，若干高性能计算节点统一集中对相同的数据密文进行发送至数据接收平台。
其中，若干数据接收平台包括接收模块，以及与其建立通信连接的整合模块以及解密模块；
接收模块：用于实时接收来自数据分发平台中计算分发模块所发送的各数据块密文，其中接收模块设置有独立防火墙，接收模块在接收数据前获取来自计算分发模块发送的验证码，验证码包括作品数据分发时间或者创作者身份信息其中任意一项；
整合模块：获取接收模块接收到的所有数据块密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，形成完整的作品数据密文；
解密模块：接收来自数据分发平台加密模块发送的组合密钥，根据组合密钥对作品数据密文进行解码，得到完整的作品数据。
其中，未经数据分发平台认证的不可信服务器通过密文无法获取关于明文的任何信息；不可信服务器在创作者账号的认证下进行作品数据搜索；作品公布后，各数据接收平台用户在向服务器发起一个关键词的搜索请求时，不必向服务器表明关键词的具体含义；不可信服务器无法获取与查询结果有关明文的任何信息。
具体实例：针对数据分割后的步骤采用如下方法，数据分割后生成袁术数据文件；其次通过随机生成的AES密钥K对原始数据文件(Files)进行加密得到密文CTF,即CTF＝EncK(Files)，最后将密文CTF上传至IPFS私有集群，并获取密文CTF存储在IPFS中的地址文件IpfsAddr；
密钥加密主要功能是使用系统公钥PK和制定的访问策略T将对称密钥K进行加密得到密文CTK，即：Encrypt(PK,K,T)→CTK。为了保证创作者DO真正掌握数据的管理权且共享数据仅能被具有一定可信度的用户进行访问，该方案中的访问控制策略T不仅包含基本策略T'的属性还引入可访问的信任区间属性，自定义的访问控制策略T可表示为:T＝T'∧(Trustupper∧Trustlower)
数据访问者经系统发出数据访问请求，检索到链上存储的经属性基加密的对称密钥并获取私钥SK，然后通过私钥SK执行解密算法从而获取对称密钥的明文.为降低系统中合法用户破坏网络传输的拒绝服务以及篡改数据的潜在风险，在密钥生成阶段，将信任模型获取到的用户信任值添加到用户属性S＝UserAttributes∪Requested_Trust.在解密阶段，当用户属性满足密文的访问控制策略树T，同时用户的信任值满足访问控制策略中的信任范围时，则可对密文进行解密从而获得文件对称加密密钥。
通过获取链上存储的索引地址IpfsAddr获取在IPFS上的原始密文数据文件，并利用解密密钥阶段获得的文件对称加密密钥对加密文件进行解密Files＝DecK(CTF)。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种高性能计算集群中分发数据的方法，其特征在于：包括以下步骤：
S1、创建数据分发平台，创作者注册账号，根据账号密码登录数据分发平台，并将创作完成的作品数据上传至数据分发平台内部并保存至本地存储中；
S2、创作者通过数据分发平台与各数据接收平台建立数据通信连接，数据分发平台根据数据接收平台的数量唤醒相对应数量的高性能计算节点，并一一配对各数据接收平台；
S3、数据分发平台对待发送数据按固定大小划分为多个数据块并按照第一顺序表分别暂存至预设于数据分发平台内部的缓冲模块内的各个缓冲单元中；
S4、数据分发平台对当前网络环境进行检测，根据当前网络上传速度参照预设的数据上传对照表，确定当前上传数据块大小的阈值，并与数据块的固定大小进行比较，若数据块固定大小大于阈值，则通过各缓冲单元对其内部的数据块进行等分切割，最终缓冲单元内部的数据块大小小于阈值；
S5、对各缓冲单元内部各切割后的数据块大小按照第二顺序表进行一一标记，形成相对应的信息编码，同时按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文，将各缓冲单元内部的密文统一打散输送至数据分发平台内部预设的待提取模块内部；
通过预设的密钥编码规则生成组合密钥的算法流程如下：
创作者通过对称可搜索加密算法加密要上传的各数据块；选择安全参数λ，执行KenGen算法，产生随机对称密钥K＝KeyGen(λ)；使用产生的随机对称密钥K加密数据块D，执行算法Encryptsse，再经过一系列哈希运算后，得到输出密文C和索引I，即(I,C)＝Encryptsse(K,D)；
创作者通过加密模块将加密后的数据块C统一上传到待提取模块中，待提取模块返回加密数据的存储地址；
创作者设定对数据块的访问控制策略T，执行加密算法Enc(k)＝Encrypt(T,K),对密钥进行加密，得到加密后的密钥Enc(K)，若数据接收平台没有相应的权限，则无法对K进行解密；
数据分发平台对创作者的身份信息IDDO、创作者的公钥PKDO、数据块编号IDfile、数据块的哈希值Hashfile、索引I以及加密后的密钥Enc(K)上传至数据分发平台中进行存储；
S6、各高性能计算节点统一提取待提取模块内部的其中某一数据块，并通过各高性能计算节点分别发送至与之相对应配对的各数据接收平台；
S7、各数据接收平台同一时间依次接收多组密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，并通过组合密钥解码密文，形成完整的作品数据，并对作品数据发布至各数据接收平台。
2.根据权利要求1所述的一种高性能计算集群中分发数据的方法，其特征在于：所述步骤S1中创作者注册并登录数据分发平台的方法包括如下具体步骤：
S1.1、身份注册：创作者生成身份信息并向全网发布，各数据接收平台收到信息后进行验证，若验证通过，则数据分发平台调用密钥分发智能合约，为创作者生成公私钥对与证书，并将创作者身份信息写入数据分发平台内部的用户数据库中保存，表示注册成功，否则注册失败；
S1.2、身份验证：数据分发平台内部的身份验证逻辑通过身份验证智能合约完成，若证书未过期且身份合法，则验证通过进入数据分发平台内部，否则验证失败；
S1.3、身份更新：创作者定期更新自己的身份信息，将自己的身份信息与数字签名广播至各数据接收平台进行验证，若验证通过，则调用身份更新智能合约进行修改，否则修改失败。
3.根据权利要求2所述的一种高性能计算集群中分发数据的方法，其特征在于：所述步骤S2中还包括以下步骤，创作者预先在数据分发平台内部绑定所需接收的数据接收平台，并对各数据接收平台的视频码率以及发布标题进行编辑，数据分发平台对创作者各数据接收平台的使用习惯进行学习保存，在创作者新一次编辑时进行提醒。
4.根据权利要求3所述的一种高性能计算集群中分发数据的方法，其特征在于：所述步骤S4中数据分发平台对当前网络环境进行定期监测，每间隔一分钟对当前网络环境的下载速度以及上传速度进行监测；其中被切割后的数据块大小不得超过阈值上限的百分之八十。
5.根据权利要求4所述的一种高性能计算集群中分发数据的方法，其特征在于：所述步骤S5中的组合密钥通过创作者上传至数据接收平台，平台自动将组合密钥进行存储，当各数据接收平台接收到完整的作品数据后，根据组合密钥对作品数据进行解密；所述数据分发平台将组合密钥进行存证。
6.一种高性能计算集群中分发数据的系统，其特征在于：包括数据分发平台以及与其建立通信连接的数据接收平台，所述数据分发平台包括处理模块，以及与其建立控制连接的计算分发模块、缓冲模块、对比模块以及加密模块；
处理模块：用于获取创作者上传至数据分发平台内部的作品数据，并对数据分发平台内部的各模块所处理后的作品数据进行提取以及发送，保证各模块之间的运行；
缓冲模块：所述缓冲模块包括多个缓冲单元，缓冲单元通过处理模块获取作品数据，并对作品数据按照固定大小进行划分，划分后的各作品数据块按照第一顺序表依次暂存缓冲单元内部；
对比模块：用于根据当前网络上传速度所能接收的上传数据块大小阈值与缓冲单元内部的数据块大小进行对比，若缓冲单元内部的数据块大于阈值的百分之八十，则各缓冲单元对数据块进行切割，直至满足阈值界限要求；
加密模块：根据第二顺序表对各缓冲单元内部切割的数据块进行标记编码，并且按照信息编码与预设的密钥编码规则生成组合密钥，通过组合密钥对各数据块进行加密生成密文；
通过预设的密钥编码规则生成组合密钥的算法流程如下：
创作者通过对称可搜索加密算法加密要上传的各数据块；选择安全参数λ，执行KenGen算法，产生随机对称密钥K＝KeyGen(λ)；使用产生的随机对称密钥K加密数据块D，执行算法Encryptsse，再经过一系列哈希运算后，得到输出密文C和索引I，即(I,C)＝Encryptsse(K,D)；
创作者通过加密模块将加密后的数据块C统一上传到待提取模块中，待提取模块返回加密数据的存储地址；
创作者设定对数据块的访问控制策略T，执行加密算法Enc(k)＝Encrypt(T,K),对密钥进行加密，得到加密后的密钥Enc(K)，若数据接收平台没有相应的权限，则无法对K进行解密；
数据分发平台对创作者的身份信息IDDO、创作者的公钥PKDO、数据块编号IDfile、数据块的哈希值Hashfile、索引I以及加密后的密钥Enc(K)上传至数据分发平台中进行存储；
计算分发模块：所述计算模块其内部包括多个高性能计算节点，用于与各数据接收平台进行对接匹配，若干高性能计算节点统一集中对相同的数据密文进行发送至数据接收平台。
7.根据权利要求6所述的一种高性能计算集群中分发数据的系统，其特征在于：若干所述数据接收平台包括接收模块，以及与其建立通信连接的整合模块以及解密模块；
接收模块：用于实时接收来自数据分发平台中计算分发模块所发送的各数据块密文，其中接收模块设置有独立防火墙，接收模块在接收数据前获取来自计算分发模块发送的验证码，所述验证码包括作品数据分发时间或者创作者身份信息其中任意一项；
整合模块：获取接收模块接收到的所有数据块密文，按照第二顺序表以及第一顺序表对密文顺序进行整合，形成完整的作品数据密文；
解密模块：接收来自数据分发平台加密模块发送的组合密钥，根据组合密钥对作品数据密文进行解码，得到完整的作品数据。
8.根据权利要求7所述的一种高性能计算集群中分发数据的系统，其特征在于：所述数据分发平台还包括与处理模块建立通信连接的注册登录模块、存储模块以及待提取模块；
注册登录模块：用于创作者通过注册登录模块注册其专属的数据分发平台的账号，并通过此账号登录数据分发平台；
存储模块：用于存储创作者上传至数据分发平台的作品数据，缓冲模块通过处理模块从其内部获取作品数据；
待提取模块：待提取模块用于获取加密完成的各数据块密文，并无规则打乱各数据块密文，通过计算分发模块对各数据块密文进行提取分发。
9.根据权利要求8所述的一种高性能计算集群中分发数据的系统，其特征在于：未经数据分发平台认证的不可信服务器通过密文无法获取关于明文的任何信息；所述不可信服务器在创作者账号的认证下进行作品数据搜索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211494180.4A CN115865461B (zh) | 2022-11-25 | 2022-11-25 | 一种高性能计算集群中分发数据的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211494180.4A CN115865461B (zh) | 2022-11-25 | 2022-11-25 | 一种高性能计算集群中分发数据的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115865461A CN115865461A (zh) | 2023-03-28 |
| CN115865461B true CN115865461B (zh) | 2024-04-19 |
Family
ID=85666714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211494180.4A Active CN115865461B (zh) | 2022-11-25 | 2022-11-25 | 一种高性能计算集群中分发数据的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115865461B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116962077B (zh) * | 2023-09-19 | 2023-12-19 | 哈尔滨工程大学三亚南海创新发展基地 | 基于数据容量的数据加密、解密方法及数据传输系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104580395A (zh) * | 2014-12-22 | 2015-04-29 | 西安电子科技大学 | 一种基于现存云存储平台的多云协同存储中间件系统 |
| CN105282171A (zh) * | 2015-11-06 | 2016-01-27 | 北京大学深圳研究生院 | 一种安全可靠的分布式云存储方法 |
| CN105915332A (zh) * | 2016-07-04 | 2016-08-31 | 广东工业大学 | 一种云存储加密及去重复方法及其系统 |
| DE102017006200A1 (de) * | 2017-06-30 | 2019-01-03 | Wolfgang Zipper | Verfahren, Hardware und System zur dynamischen Datenübertragung an ein Blockchain Rechner Netzwerk zur Abspeicherung Persönlicher Daten um diese Teils wieder Blockweise als Grundlage zur End zu Endverschlüsselung verwendet werden um den Prozess der Datensammlung über das Datenübertragungsmodul weitere Daten in Echtzeit von Sensoreinheiten dynamisch aktualisiert werden. Die Blockmodule auf dem Blockchaindatenbanksystem sind unbegrenzt erweiterbar. |
| CN110032547A (zh) * | 2019-01-29 | 2019-07-19 | 香港贝尔科技有限公司 | 一种分布式环境下文件存储改进方法 |
| CN111209262A (zh) * | 2020-01-10 | 2020-05-29 | 浪潮天元通信信息系统有限公司 | 一种基于区块链的大规模分布式安全存储系统 |
| CN111372100A (zh) * | 2020-04-21 | 2020-07-03 | 白杨 | 一种基于分布式选举的端到端内容分发网络系统和分发方法 |
| CN111475538A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 一种数据处理方法、装置及存储介质 |
| CN112862616A (zh) * | 2021-04-23 | 2021-05-28 | 北京中科金财科技股份有限公司 | 支持区块链的安全多方计算方法、设备及存储介质 |
| CN112883429A (zh) * | 2021-01-21 | 2021-06-01 | 贵州电网有限责任公司 | 一种便于实现数据一致性的区块链平台 |
| CN113839923A (zh) * | 2021-08-28 | 2021-12-24 | 西安交通大学 | 一种面向多节点的高性能处理方法 |
| CN114666060A (zh) * | 2022-03-14 | 2022-06-24 | 北京工业大学 | 一种基于Hyperledger Fabric的电子数据保全方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10977260B2 (en) * | 2016-09-26 | 2021-04-13 | Splunk Inc. | Task distribution in an execution node of a distributed execution environment |
| US10791439B2 (en) * | 2018-02-14 | 2020-09-29 | Ford Global Technologies, Llc | Methods and systems for vehicle data upload |
| US11151275B2 (en) * | 2019-04-05 | 2021-10-19 | International Business Machines Corporation | Randomness detection in network data |
-
2022
- 2022-11-25 CN CN202211494180.4A patent/CN115865461B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104580395A (zh) * | 2014-12-22 | 2015-04-29 | 西安电子科技大学 | 一种基于现存云存储平台的多云协同存储中间件系统 |
| CN105282171A (zh) * | 2015-11-06 | 2016-01-27 | 北京大学深圳研究生院 | 一种安全可靠的分布式云存储方法 |
| CN105915332A (zh) * | 2016-07-04 | 2016-08-31 | 广东工业大学 | 一种云存储加密及去重复方法及其系统 |
| DE102017006200A1 (de) * | 2017-06-30 | 2019-01-03 | Wolfgang Zipper | Verfahren, Hardware und System zur dynamischen Datenübertragung an ein Blockchain Rechner Netzwerk zur Abspeicherung Persönlicher Daten um diese Teils wieder Blockweise als Grundlage zur End zu Endverschlüsselung verwendet werden um den Prozess der Datensammlung über das Datenübertragungsmodul weitere Daten in Echtzeit von Sensoreinheiten dynamisch aktualisiert werden. Die Blockmodule auf dem Blockchaindatenbanksystem sind unbegrenzt erweiterbar. |
| CN111475538A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 一种数据处理方法、装置及存储介质 |
| CN110032547A (zh) * | 2019-01-29 | 2019-07-19 | 香港贝尔科技有限公司 | 一种分布式环境下文件存储改进方法 |
| CN111209262A (zh) * | 2020-01-10 | 2020-05-29 | 浪潮天元通信信息系统有限公司 | 一种基于区块链的大规模分布式安全存储系统 |
| CN111372100A (zh) * | 2020-04-21 | 2020-07-03 | 白杨 | 一种基于分布式选举的端到端内容分发网络系统和分发方法 |
| CN112883429A (zh) * | 2021-01-21 | 2021-06-01 | 贵州电网有限责任公司 | 一种便于实现数据一致性的区块链平台 |
| CN112862616A (zh) * | 2021-04-23 | 2021-05-28 | 北京中科金财科技股份有限公司 | 支持区块链的安全多方计算方法、设备及存储介质 |
| CN113839923A (zh) * | 2021-08-28 | 2021-12-24 | 西安交通大学 | 一种面向多节点的高性能处理方法 |
| CN114666060A (zh) * | 2022-03-14 | 2022-06-24 | 北京工业大学 | 一种基于Hyperledger Fabric的电子数据保全方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| "A hybrid clustering algorithm for high-performance edge computing devices ";G. Laccetti等;《2022 21st International Symposium on Parallel and Distributed Computing (ISPDC)》;20221104;全文 * |
| 云数据存储安全审计研究及进展;白利芳;祝跃飞;芦斌;;计算机科学;20201015(10);全文 * |
| 基于DCS系统的信息安全自动化控制设计与研究;袁捷;张民磊;;自动化与仪器仪表;20180725(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115865461A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108418681B (zh) | 一种支持代理重加密的基于属性的密文检索系统及方法 | |
| CN108768978B (zh) | 一种基于sgx的远端存储服务方法及系统 | |
| CN100536393C (zh) | 一种基于秘密共享密码机制的用户管理方法 | |
| CN112800450B (zh) | 数据存储方法、系统、装置、设备和存储介质 | |
| JP2019522412A (ja) | 登録・認可方法、装置及びシステム | |
| CN109190384B (zh) | 一种多中心区块链熔断保护系统及方法 | |
| CN112740615B (zh) | 多方计算的密钥管理 | |
| CN113360925A (zh) | 电力信息物理系统中可信数据的存储和访问方法及系统 | |
| CN111181719B (zh) | 云环境下基于属性加密的分层访问控制方法及系统 | |
| CN111294349A (zh) | 用于物联网设备数据共享的方法及装置 | |
| CN110688666A (zh) | 一种分布式存储中数据加密保存方法 | |
| CN115865461B (zh) | 一种高性能计算集群中分发数据的方法和系统 | |
| TW201630378A (zh) | 金鑰分裂技術 | |
| CN114567464A (zh) | 一种数据共享方法 | |
| CN110555783A (zh) | 一种基于区块链的电力营销数据保护方法及系统 | |
| US8862893B2 (en) | Techniques for performing symmetric cryptography | |
| CN109412754B (zh) | 一种编码云的数据存储、分发以及访问方法 | |
| CN114553557B (zh) | 密钥调用方法、装置、计算机设备和存储介质 | |
| CN112398818B (zh) | 一种软件激活方法及其相关装置 | |
| Kamboj et al. | DEDUP: Deduplication system for encrypted data in cloud | |
| CN116032499A (zh) | 分布式云文件存储方法、系统及其用户端和云端设备 | |
| Hahn et al. | Verifiable outsourced decryption of encrypted data from heterogeneous trust networks | |
| CN113111371A (zh) | 一种基于区块链的数据传输方法及其系统 | |
| CN114531455B (zh) | 基于边缘协助的多云安全存储方法 | |
| Aishwarya et al. | Solving data de-duplication issues on cloud using hashing and md5 techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |