CN110113340A - 基于Hadoop平台中分布式RSA与DES混合加密方法 - Google Patents

Abstract

基于Hadoop平台中分布式RSA与DES混合加密方法。目前的传统加密算法的运行速度已经满足不了对海量数据进行处理的需求，需要设计出快速对海量数据进行加密的算法。现有研究仅仅停留在封闭式实验自测环境，不适用于对海量数据加密的场景。本发明完成了在Hadoop系统上的分布式RSA与DES快速加密算法，明确说明了RSA与DES加密算法的功能模块，确立了加密算法的整体结构，实现了在Hadoop平台上使用RSA与DES加密算法对数据进行加密的操作，同时详细设计了研究所需的数据，对RSA与DES快速加密算法的各个功能模块进行了具体实现，在Hadoop平台的基础上保障了用户数据传输的安全性和完整性。

Description

基于Hadoop平台中分布式RSA与DES混合加密方法

技术领域

本发明涉及数据加密领域，具体涉及Hadoop平台中分布式RSA与DES混合加密算法对数据进行加密处理。

背景技术

当今世界科学技术的飞速发展，日常生活中信息化水平越来越高，人们的生活质量越来越高。互联网作为联系人们的纽带，可以让人们不出门而了解天下所有事，人们可以进行网络购物，社交聊天，在线学习。但是与此同时，互联网是把双刃剑，带来了许许多多的安全隐患，如信息泄露，黑客攻击等。因此，用户数据的数据隐私保护问题成为首要的问题。现如今，密码学发展的非常迅速，能够有效地解决用户身份隐私泄露的问题。密码学主要用处是通过对用户即将发送的文件进行加密，将其转化为密文，通过数据传输发送给接收方，然后接收方对其进行解密，在数据传输过程中即使密文泄露也不会造成多大的损失。

本领域“非对称加密算法”即“RSA算法”可以说是地球上最重要的加密算法，在加密领域极具代表力和影响力，RSA加密算法可以应对数据传输过程中绝大部分的外部攻击，它的可靠性是由对一个极大的整数进行因数分解的难度决定的。换而言之，对一个极大的整数进行因数分解越困难，RSA加密算法就越可靠。DES加密是一种分好组的明文与一共56位的密钥按位替代交换形成密文组的加密策略。“对称加密算法”即“DES算法”，所需的密钥长度较短，因此对数据进行加密处理比较简单，适合于加密大量数据的场合。

当今时代已经进入信息爆炸时代，网络上传输的信息是海量的，这些需要进行加密的信息不仅仅只是只有成百上千个字节的文本文档，传统的非对称加密算法的运行速度已经满足不了对海量数据进行处理的需求了。所以我们主要研究对大规模的数据进行安全加密并且不会延误日常生活活动，在分布式平台Hadoop的基础上，发明了一种将单机传统的非对称加密算法RSA和对称加密算法DES算法结合形成的混合加密算法延伸到分布式系统上的改进加密算法，这种方法能够有效地解决单机对数据进行加密的运行速度和存储方式的缺点。

发明内容

本发明以非对称加密算法为基础，将非对称加密算法中的RSA快速加密算法和对称加密算法的DES算法结合起来，来有效应对互联网信息传输过程中的隐患。

发明目的：

本发明考虑现有传统加密RSA与DES算法已经满足不了当今社会海量数据的加密需求，结合分布式平台Hadoop，提出分布式RSA与DES混合加密算法来提高对海量数据加密的效率，完成了在Hadoop系统上的分布式RSA与DES混合加密算法，明确说明了RSA与DES加密算法的功能模块，确立了加密算法的整体结构，实现了在Hadoop平台上使用RSA与DES混合加密算法对数据进行加密的操作，同时详细设计了研究所需的数据，对RSA快速加密算法的各个功能模块进行了具体实现，在Hadoop平台的基础上保障了用户数据传输的安全性和完整性，解决了上述问题。

为此，本发明具体给出以下方法框架实现，如图1所示，一共分为三个主要部分，分别是：

(1)分布式RSA与DES混合加密方法，该程序结合了RSA算法和DES算法，确保系统的更好安全性。

(2)加密解密模块，主要负责对编写好的加密方法进行MapReduce处理。首先将数据分片处理，然后进行map阶段进行加密，再用reduce阶段对分片的密文进行合并，得到完整的密文，加密成功后使用Hadoop命令显示结果。密文解密进行同样的处理操作。

(3)分布式平台Hadoop作为RSA加密系统的支撑，其主要由MapReduce和HDFS组成。

有益效果

本发明目的在于公开一种在分布式平台Hadoop上实现对数据加密的RSA加密方法，为提高算法的安全性，结合了DES算法对数据进行加密，从而能够使该分布式加密算法能够在多台主机上对海量数据进行并行加解密处理。

附图说明

图1分布式RSA与DES加密方法框架图

图2 MapReduce加密处理图

图3 MapReduce解密处理图

图4本发明流程图

具体实施方式

本发明的具体实施过程如图4所示，包括如下5个方面：

①分布式RSA与DES混合加密算法

②上传数据及其分片

③map端处理数据块

④reduce端处理数据块

⑤存储数据块

①

分布式RSA与DES混合加密算法

本发明基于Hadoop的加密算法的核心模块之一是对数据进行加密的模块，由MapReduce编程模型对RSA算法和DES算法进行重组，实现方法设计。

加密模块的运行过程为:

首先分别生成RSA公钥与私钥以及DES密钥存储在分布式文件存储系统中，其次先利用Unicode编码将明文数据进行编码，以免将中文字符串解码成乱码，再使用生成的RSA公钥对其进行第一次RSA加密，得到初次密文，然后使用DES密钥对初次密文进行二次加密得到二次密文，最后由于DES解密时数据位数需要是8的倍数，使用base64编码进行编码得到最终密文，将其存储在分布式文件存储系统中。数据在MapReduce中处理的过程如下，加密处理过程如图2所示。加密算法的物理流程具体分为4个步骤:

Step1:客户端向控制节点请求加密数据，然后将需要加密的数据上传到HDFS中，HDFS收到数据后对其进行分片处理，每个分好片的文件块的长度相同；

Step2:控制节点每隔一段周期都要查询HDFS一次，看HDFS中是否有需要加密处理的文件。发现有加密文件后得到存储文件的数据节点的地址信息，然后控制节点将编写好的加密算法发送给数据节点；

Step3:数据节点利用加密算法先对明文数据进行RSA加密，然后使用DES算法对加密后的数据进行二次加密，此举是确保数据加密的安全性。加密后得到密文组，数据节点将其传输给控制节点；

Step4:控制节点对具有相同标识值的密文组汇总合并，产生完整的加密数据，然后将其存储到HDFS中，同时将密文的存储地址发送给客户端。

本发明基于Hadoop的RSA与DES加密算法的另一核心模块是对数据进行解密的模块，在MapReduce编程模型上进行解密算法的研究开发，实现方法设计。

解密运行过程为加密过程的逆向过程：先将最终密文进行base64解码，然后使用DES进行解密，最后使用RSA进行解密得到明文，将其存储在分布式文件存储系统。解密处理过程如图3所示。

解密算法的物理流程具体分为4个步骤:

Step1:客户端向控制节点请求对数据进行解密，然后将需要解密的数据上传到HDFS中。HDFS收到数据后对其进行分片处理，每个分好片的文件块的长度相同。

Step2:控制节点每隔一段周期都要查询HDFS一次，看HDFS中是否有需要解密处理的文件。发现有解密文件后得到存储文件的数据节点的地址信息，然后控制节点将编写好的解密算法发送给数据节点。

Step3:数据节点利用解密算法先对明文数据进行DES解密，然后使用RSA解密算法对解密后的数据进行第二次解密，完成解密操作后得到明文组，数据节点将其传输给控制节点。

Step4:控制节点对具有相同标识值的明文组汇总合并，产生完整的解密数据，然后将其存储到HDFS中。同时将明文的存储地址发送给客户端。

②

上传数据及其分片

(1)客户端上传数据到分布式存储系统中，控制节点根据存储空间给数据块分配数据节点进行存储；

(2)MapReduce根据处理数据的大小进行分片，每个分片各自对应一个map任务，同时每个分片存储的内容不是数据，而是分片的长度和记录数据地址的数组。

③

map端处理数据块

(1)读取输入的数据块，将文件的每一行都转化为一系列的key/value对，其中key表示偏移量，value表示每一行的数据；

(2)利用重组适应Hadoop编程模型MapReduce的RSA与DES算法和key/value分配给数据节点，进行map处理，使用加密算法对数据块先进行RSA加密再进行DES加密，生成相应文件块的密文。即对输入的key/value对进行处理，输出新的key/value；

(3)Map输出的密文结果放置内存缓冲区中。不同分区的密文数据，按照key值进行排序分组，将其作为Reduce的输入进行Reduce操作。

④

Reduce端处理数据块

(1)Map端的key/value输出按照不同分区，传输到Reduce执行阶段；

(2)Reduce端处理输入的key/value，对具有相同key值的value进行合并排序，得到完整的密文。

⑤

存储数据块

(1)控制节点控制产生完整的密文数据，然后将其存储到分布式文件存储系统中；

(2)控制节点将密文的存储地址发送给客户端。

创新点

由于传统数据加密算法，对处理海量数据并没有很高的效率。本发明提出了在分布式平台上设计分布式的并行加密算法来提高处理数据的效率。而RSA加密算法目前尚且并没有可行的方法破解，是一种安全的加密算法。但是RSA算法的密钥长度非常长不利于存储，浪费系统的存储空间。而DES算法密钥比较短，容易被跑字典破解。

所以本发明设计了将两种加密算法结合起来的分布式加密算法，既提高了处理数据的效率，又大大减小了数据传输过程中被攻击泄露的风险。该改良的算法能够在分布式平台Hadoop上快速的对海量数据进行加解密处理。

Claims (6)

1.基于Hadoop平台中分布式RSA与DES混合加密方法，具体包括如下步骤：

步骤1.分布式RSA与DES混合加密算法

步骤2.Hadoop对数据进行加密和解密方法

步骤2.1 上传数据及其分片

步骤2.2 map端处理数据块

步骤2.3 reduce端处理数据块

步骤2.4 存储数据块。

2.如权利要求1所述的基于Hadoop平台中分布式RSA与DES混合加密方法，其特征在于，所述分布式RSA与DES混合加密算法，包括步骤：

RSA算法的应用过程为，发送方发送信息给接收方，接收方生成用户都知道的公钥和仅自己知道的私钥，然后发送方使用公钥将信息进行加密处理，得到复杂的密文，将其发送给接收方。接收方收到密文以后，用自己保存的私钥将信息解密，得到明文信息。具体算法步骤如下：

(1)发送方向接收方发送信息m,利用从接收方获得的公钥(N,M)，其中N表示任意两个不相同的质数P和Q的乘积，M表示N的欧拉函数，将信息m进行加密，得到密文c，加密公式为m^e＝c(mod N)，其中e表示与M互质且大于1小于M的整数，mod表示取余运算；

(2)接收方从发送方接收到密文C，用自己的私钥(N,D)，其中N表示任意两个不相同的质数P和Q的乘积，D表示e关于M的模反元素，对密文进行解密，解密公式为C^D＝m(mod N)，得到明文m。

DES算法的具体算法过程为，首先利用64位的密钥将8个字节的明文输入块变成8个字节的密文输出块，并且将输出块分为L0，R0两部分进行初始置换。然后经过初始置换开始加密处理，进行16次相同的运算处理，处理过程中将数据与密钥结合。16轮运算后，将L0，R0两部分交换连接在一起，在进行逆置换，最终输出8个字节的密文信息。

3.如权利要求1所述的基于Hadoop平台中分布式RSA与DES混合加密方法，其特征在于，上传数据及其分块，包括步骤：

(1)客户端上传数据到分布式存储系统中，控制节点根据存储空间给数据块分配数据节点进行存储；

(2)MapReduce根据处理数据的大小进行分片，每个分片各自对应一个Map任务，同时每个分片存储的内容不是数据，而是分片的长度和记录数据地址的数组。

4.如权利要求1所述的基于Hadoop平台中分布式RSA与DES混合加密方法，其特征在于，Map端处理数据块，包括步骤：

(1)读取输入的数据块，将文件的每一行都转化为一系列的key/value对，其中key表示偏移量，value表示每一行的数据；

(2)利用重组适应Hadoop编程模型MapReduce的RSA与DES算法和key/value分配给数据节点，进行Map处理，使用加密算法对数据块先进行RSA加密再进行DES加密，生成相应文件块的密文。即对输入的key/value对进行处理，输出新的key/value；

(3)Map输出的密文结果放置内存缓冲区中。不同分区的密文数据，按照key值进行排序分组，将其作为Reduce的输入进行Reduce操作。

5.如权利要求1所述的基于Hadoop平台中分布式RSA与DES混合加密方法，其特征在于，Reduce端处理数据块，包括步骤：

(1)Map端的key/value输出按照不同分区，传输到Reduce执行阶段；

(2)Reduce端处理输入的key/value，对具有相同key值的value进行合并排序，得到完整的密文。

6.如权利要求1所述的基于Hadoop平台中分布式RSA与DES混合加密方法，其特征在于，存储数据块，包括步骤：

(1)控制节点控制产生完整的密文数据，然后将其存储到分布式文件存储系统中；

(2)控制节点将密文的存储地址发送给客户端。