CN103632104A - 一种大数据环境下动态数据的并行加解密方法 - Google Patents
一种大数据环境下动态数据的并行加解密方法 Download PDFInfo
- Publication number
- CN103632104A CN103632104A CN201310487509.9A CN201310487509A CN103632104A CN 103632104 A CN103632104 A CN 103632104A CN 201310487509 A CN201310487509 A CN 201310487509A CN 103632104 A CN103632104 A CN 103632104A
- Authority
- CN
- China
- Prior art keywords
- data
- encryption
- decryption
- gpu
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 241000143437 Aciculosporium take Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种大数据环境下动态数据的并行加解密方法。在大数据环境下，该方法实现了对网络上产生的大量动态数据流并行加解密操作的方法。本发明利用通用计算图形处理器GPU并行完成对数据的加密解密过程，根据动态数据传输速率，自适应调整数据处理并发宽度，在保障信息安全的基础上，实现加解密的透明化操作。
Description
技术领域
本发明属于信息安全技术领域与并行计算领域，涉及数据加解密并行处理，特别涉及一种面向大数据的动态数据加解密并行处理方法。
技术背景
1.大数据所涉及的数据量规模巨大，一般无法通过传统数据工具在合理时间内进行处理。传统大数据的处理一般采用依靠云计算提供大量的计算资源，采用批量处理的方式，传统的大数据处理具有以下的问题：
a.占用大量的CPU硬件资源。
b.使用分布式计算，需要耗费较多时间在计算机之间通信上。
2.GPU并行计算是利用GPU完成计算任务的并行解决方案。由于单位GPU内具有远高于CPU数目的可用于并行的具有计算能力的计算单元，相比CPU而言，GPU更加适用于单指令多数据的并行执行模式。具有计算速度快，可并行性好的优势。
发明内容
本发明目的在于针对目前大数据环境下大规模动态数据传输过程中信息安全的要求，设计的一种面向大数据的动态数据加解密并行处理方法。解决的技术问题是：传统分组加密在应用到大数据环境下存在较大的处理延迟，并占用大量的CPU计算资源。
本发明针对上述提到的问题，采用一种基于GPU的动态数据并行加解密模型，有效解决了上述问题。
一种基于GPU的动态数据并行加解密模型，包括位于发送方的并行加密模块与位于接收方的并行解密模块。其中加密模块负责将发送方提交的动态数据流明文，利用GPU数据处理能力采用并行的方式进行加密；解密模块负责将接收方接收的数据密文，利用GPU采用并行方式进行解密（参见附图1）。
一种大数据环境下动态数据的并行加密方法包括如下步骤（参见附图2）：
步骤1：发送方在发送数据至发送缓冲区时，计算数据传输速率。
步骤2：根据数据传输速率、GPU核心单元运行速率，设定数据加密处理并发宽度来控 制动态数据流的加密速率。
步骤3：将待处理数据的存储空间映射至GPU。
步骤4：并行数据处理的方式具体采用分组加密算法DES，并将把数据划分为若干64比特大小的数据分组，不同数据分组的加密任务按照并发宽度均匀分配给GPU的处理核心。
步骤5：按照传统DES算法计算子密钥，将子密钥传递至GPU存储空间。
步骤6：GPU处理核心针对数据分组首先经过初始置换，使用映射方式实现原始数据分组的位置置换(参见附图4)。然后进行16轮循环，每轮循环将数据分为前后各32位的两组数据，后32位数据进行费斯托函数运算，运算后结果与前32位数据进行异或运算形成新的32位数据，然后交换前后32位中间数据。最后使用映射方式实现该数据分组的末置换(参见附图4)，完成该数据分组的加密。
步骤7：GPU核心将对应的所有数据分组按照步骤5进行处理，然后将处理后的数据发送至数据缓冲区。
步骤8：发送处理后的数据至接收方接收缓冲区。
一种大数据环境下动态数据的并行解密方法包括如下步骤（参见附图3）：
步骤1：接收方接收缓冲区在接收数据时，计算数据传输速率。
步骤2：根据数据传输速率、GPU核心单元运行速率，设定数据解密处理并发宽度来控制动态数据流的解密速率。
步骤3：将待处理数据的存储空间映射至GPU。
步骤4：并行数据处理的方式具体采用分组加密算法DES，并将把数据划分为若干64比特大小的数据分组，不同数据分组的解密任务按照并发宽度均匀分配给GPU的处理核心。
步骤5：按照DES算法计算子密钥，然后将子密钥传递至GPU存储空间上。
步骤6：GPU处理核心针对数据分组首先经过初始置换，使用映射方式实现原始数据分组的位置置换(参见附图4)。然后进行16轮循环，每轮循环将数据分为前后各32位的两组数据，后32位数据进行费斯托函数运算，运算后结果与前32位数据进行异或运算形成新的32位数据，然后交换前后32位中间数据。最后使用映射方式实现该数据分组的末置换(参见附图4)，完成该数据分组的解密。
步骤7：GPU核心将对应的所有数据分组均按照步骤5进行处理。
步骤8：处理的数据由缓冲区发送至接收方。
本发明一种大数据环境下动态数据的并行加解密方法，具有的特点和有益效果是：
本发明利用GPU的并行计算能力，降低CPU计算负载，根据网络数据传输速度，自适 应调整数据加解密速率，采用并行解决方案实现对大数据环境下动态数据流的加解密，从而保证数据流正常的传输，隐藏处理延迟。
附图说明
附图1为大数据环境下动态数据加解密与传输示意图。
附图2为动态数据加密过程示意图。
附图3为动态数据解密过程示意图。
附图4为映射方式实现数据置换操作示意图。
附图5为GPU并行数据操作示意图。
具体实施方式
下面结合附图对本发明的内容做进一步详细介绍。
1.数据加密处理并发宽度设定。网络上动态数据的发送速率为vsend，GPU单核心处理数据加密的速率为Δv，设定并行处理的宽度N，保证任意时间段vsend≤N·Δv。
2.加密过程的密匙计算。DES算法密钥的生成是对64位长度的初始密钥进行一系列置换和移位运算，得到K1到K16共16个子密钥，每个子密钥长度为48位。通过CPU计算完成后，将子密钥传递至GPU存储器供后续操作。具体操作如下:
1)将输入64位密钥去掉最后一列校验位后，按照固定的密钥置换矩阵PC-1对剩下的56位密钥进行置换，输出56位数据。
2)将上一步中的输出划分为前28位C0和后28位D0两部分，C0和D0按照事先提供的移位矩阵进行循环左移1位或2位操作，然后重新合并为56位数据。
3)将上一步中的输出按照压缩置换矩阵PC-2进行压缩置换，产生第一轮48位子密钥。
4)重复b～c中操作，将上一轮移位后数据作为新一轮输入，重复16次，生成16个子密钥
3.将动态数据按照64比特一组划分为若干分组，并将分组所占存储空间映射至GPU，然后将所有分组的加密任务均匀分配至GPU并行处理核心，若并行宽度为N，处理数据总长度为size字节，分配至每个SP的需要处理的数据分组个数为size/(8N)。
4.GPU核心操作步骤如下（参见附图5）：
1)读取分组数据。
2)使用改进后的映射方式实现原始数据位置置换。（参见附图4）
3)进行16轮循环，将数据分为前后各32位的两组数据，后32位数据进行F函数运算，运算结果与前32位数据进行异或运算，并交换前后32位的中间数据。
4)使用改进后的映射方式实现数据位置末置换。（参见附图4）
5)将处理后的数据传输至缓冲区。
6)读取下一数据分组，重复步骤a）到e)，直至所有数据处理完成。
5.映射方式实现位置置换方式包括接收64位数据和64位映射表，输出64位置换后数据。映射表任意一位的值对应相应数据位数据偏移量。具体步骤为：
1)初始化输出数据为0；
2)数据读取一位，然后与映射表相应元素相乘，结果与输出数据异或。
3)重复步骤2)64次，完成映射。(参见附图4)
6.将步骤3处理后的数据发送至缓冲区，当缓冲区满后，通过网络传输至接收端缓冲区。
7.接收方对从接受缓冲区内的动态数据进行解密处理，子密钥采用逆序参与计算，其余步骤与加密步骤相同。
8.解密后数据传输至接收方。
Claims (7)
1.一种面向大数据的动态数据加解密并行处理方法，其特征在于：所述的加解密方法包括如下步骤：
步骤1：发送方在发送数据至发送缓冲区以及接收方接收缓冲区在接收数据时，计算数据传输速率；
步骤2：根据数据传输速率、GPU核心单元运行速率，设定数据加解密处理并发宽度来控制动态数据流的加解密速率；
步骤3：将待处理数据的存储空间映射至GPU；
步骤4：并行数据处理的方式采用分组加密算法DES，把数据划分为若干64比特大小的数据分组，不同数据分组的加解密任务按照并发宽度均匀分配给GPU的处理核心；
步骤5：在步骤1～3执行过程中，同时对密钥进行处理，按照传统DES算法计算子密钥，将子密钥传递至GPU存储空间；
步骤6：每个GPU处理核心针对数据分组首先经过初始位置置换，使用映射方式实现原始数据分组的位置置换；然后进行16轮循环，每轮循环将数据分为前后各32位的两组数据，后32位数据进行费斯托函数运算，运算后结果与前32位数据进行异或运算形成新的32位数据，然后交换前后32位中间数据；最后使用映射方式实现该数据分组的末位置置换，完成该数据分组的加解密；
步骤7：将所有数据分组按照步骤5进行处理，更新缓冲区数据。
2.根据权利要求1所述的一种面向大数据的动态数据加解密并行处理方法，其特征在于：所述步骤1中发送方在发送数据至发送缓冲区时，利用GPU实现对大数据明文的并行加密处理；接收方接收缓冲区在接收数据时，利用GPU实现对密文的并行解密处理。
3.根据权利要求1所述的一种面向大数据的动态数据加解密并行处理方法，其特征在于：所述步骤2中设定的数据加解密处理并发宽度要保证动态数据流的加解密速率大于或等于数据传输速率。
4.根据权利要求3所述的动态数据流的加解密速率大于或等于数据传输速率，其特征在于：对于动态数据流处理可并发控制，即根据数据流传输速率以及GPU核心单元运行速率自适应调整数据加解密并发宽度，保证数据加解密速率恒定大于或等于数据流传输速率。
5.根据权利要求1所述的一种面向大数据的动态数据加解密并行处理方法，其特征在于：所述的步骤4中的并行数据处理的方式是基于CUDA架构，利用GPU并行计算能力实现的。
6.根据权利要求1所述的一种面向大数据的动态数据加解密并行处理方法，其特征在于：所述的步骤6中的映射方式实现原始数据分组的位置置换时，原始数据分组的任意一位与映射表对应元素相乘，实现该位数据置换至正确的置换位置。
7.根据权利要求6所述的一种面向大数据的动态数据加解密并行处理方法，其特征在于所述的映射表共包含64个元素，第m个元素对应数据分组第m位需置换到的目的位置系数，系数大小设定为2m。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310487509.9A CN103632104B (zh) | 2013-10-17 | 2013-10-17 | 一种大数据环境下动态数据的并行加解密方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310487509.9A CN103632104B (zh) | 2013-10-17 | 2013-10-17 | 一种大数据环境下动态数据的并行加解密方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103632104A true CN103632104A (zh) | 2014-03-12 |
| CN103632104B CN103632104B (zh) | 2016-09-14 |
Family
ID=50213138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310487509.9A Expired - Fee Related CN103632104B (zh) | 2013-10-17 | 2013-10-17 | 一种大数据环境下动态数据的并行加解密方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103632104B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657469A (zh) * | 2015-02-13 | 2015-05-27 | 罗悦 | 一种自适应动态数据处理方法 |
| CN105490802A (zh) * | 2015-11-27 | 2016-04-13 | 桂林电子科技大学 | 基于gpu的改进sm4并行加解密通信方法 |
| CN105515758A (zh) * | 2015-11-27 | 2016-04-20 | 桂林电子科技大学 | 基于Modbus协议的数据并行加密通信方法和系统 |
| CN106339641A (zh) * | 2016-09-23 | 2017-01-18 | 珠海迈科智能科技股份有限公司 | 一种基于图像处理器的加密方法及系统 |
| CN107092835A (zh) * | 2017-04-21 | 2017-08-25 | 杭州华澜微电子股份有限公司 | 一种虚拟存储盘的计算机数据加密装置及方法 |
| CN108063758A (zh) * | 2017-11-27 | 2018-05-22 | 众安信息技术服务有限公司 | 用于区块链网络的签名验证方法及区块链网络中的节点 |
| CN110519042A (zh) * | 2019-08-29 | 2019-11-29 | 上海航天测控通信研究所 | 数据处理方法 |
| CN112564769A (zh) * | 2020-11-30 | 2021-03-26 | 东方红卫星移动通信有限公司 | 多速率分级调节的低轨卫星高速通信方法、发射端、接收端及系统 |
| US20210312071A1 (en) * | 2017-06-13 | 2021-10-07 | Sage Microelectronics Corporation | Method and apparatus for securing data in multiple independent channels |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101290569A (zh) * | 2008-05-06 | 2008-10-22 | 国网南京自动化研究院 | 一种采用多密码芯片并行数据处理的方法 |
| CN101714917A (zh) * | 2009-08-24 | 2010-05-26 | 黑龙江大学 | 一种基于混沌密钥的数据加密传输卡 |
| US7787629B1 (en) * | 2007-09-06 | 2010-08-31 | Elcomsoft Co. Ltd. | Use of graphics processors as parallel math co-processors for password recovery |
| CN102929718A (zh) * | 2012-09-17 | 2013-02-13 | 江苏九章计算机科技有限公司 | 一种基于任务调度的分布式gpu计算机系统 |
-
2013
- 2013-10-17 CN CN201310487509.9A patent/CN103632104B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7787629B1 (en) * | 2007-09-06 | 2010-08-31 | Elcomsoft Co. Ltd. | Use of graphics processors as parallel math co-processors for password recovery |
| CN101290569A (zh) * | 2008-05-06 | 2008-10-22 | 国网南京自动化研究院 | 一种采用多密码芯片并行数据处理的方法 |
| CN101714917A (zh) * | 2009-08-24 | 2010-05-26 | 黑龙江大学 | 一种基于混沌密钥的数据加密传输卡 |
| CN102929718A (zh) * | 2012-09-17 | 2013-02-13 | 江苏九章计算机科技有限公司 | 一种基于任务调度的分布式gpu计算机系统 |
Non-Patent Citations (1)
| Title |
|---|
| GIOVANNI AGOSTA ET.AL.: "Record Setting Software Implementation of DES Using CUDA", 《IEEE COMPUTER SOCIETY》, 30 April 2010 (2010-04-30) * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657469A (zh) * | 2015-02-13 | 2015-05-27 | 罗悦 | 一种自适应动态数据处理方法 |
| CN105490802A (zh) * | 2015-11-27 | 2016-04-13 | 桂林电子科技大学 | 基于gpu的改进sm4并行加解密通信方法 |
| CN105515758A (zh) * | 2015-11-27 | 2016-04-20 | 桂林电子科技大学 | 基于Modbus协议的数据并行加密通信方法和系统 |
| CN105490802B (zh) * | 2015-11-27 | 2018-07-27 | 桂林电子科技大学 | 基于gpu的改进sm4并行加解密通信方法 |
| CN105515758B (zh) * | 2015-11-27 | 2018-08-17 | 桂林电子科技大学 | 基于Modbus协议的数据并行加密通信方法和系统 |
| CN106339641A (zh) * | 2016-09-23 | 2017-01-18 | 珠海迈科智能科技股份有限公司 | 一种基于图像处理器的加密方法及系统 |
| CN107092835A (zh) * | 2017-04-21 | 2017-08-25 | 杭州华澜微电子股份有限公司 | 一种虚拟存储盘的计算机数据加密装置及方法 |
| CN107092835B (zh) * | 2017-04-21 | 2020-02-21 | 杭州华澜微电子股份有限公司 | 一种虚拟存储盘的计算机数据加密装置及方法 |
| US20210312071A1 (en) * | 2017-06-13 | 2021-10-07 | Sage Microelectronics Corporation | Method and apparatus for securing data in multiple independent channels |
| CN108063758A (zh) * | 2017-11-27 | 2018-05-22 | 众安信息技术服务有限公司 | 用于区块链网络的签名验证方法及区块链网络中的节点 |
| CN110519042A (zh) * | 2019-08-29 | 2019-11-29 | 上海航天测控通信研究所 | 数据处理方法 |
| CN112564769A (zh) * | 2020-11-30 | 2021-03-26 | 东方红卫星移动通信有限公司 | 多速率分级调节的低轨卫星高速通信方法、发射端、接收端及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103632104B (zh) | 2016-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103632104B (zh) | 一种大数据环境下动态数据的并行加解密方法 | |
| CN105490802B (zh) | 基于gpu的改进sm4并行加解密通信方法 | |
| CN102710415B (zh) | 一种利用对称密码算法进行数据加解密的方法及查表装置 | |
| CN110880967B (zh) | 采用分组对称密钥算法对多消息并行加解密方法 | |
| CN101969376B (zh) | 一种具有语义安全的自适应加密系统及方法 | |
| CN107947916B (zh) | 一种基于des算法的一体式加解密模块 | |
| Panda | Data security in wireless sensor networks via AES algorithm | |
| CN103346878B (zh) | 一种基于fpga高速串行io的保密通信方法 | |
| CN102664729A (zh) | 一种基于fpga的aes加解密网络通讯装置及其实现方法 | |
| CN107534558A (zh) | 用于保护经由数据总线传输的数据的信息安全的方法以及数据总线系统 | |
| CN101729242A (zh) | 对称分组密码的生成方法及其装置 | |
| CN103427981A (zh) | 一种实现加密、解密的方法以及装置 | |
| CN102946315A (zh) | 一种采用分组方式构造mac码的方法及系统 | |
| CN114679252A (zh) | 一种MACsec AES算法资源共享方法 | |
| CN101515853A (zh) | 信息终端及其信息安全装置 | |
| CN101588234A (zh) | 一种aes中列混合变换模块的加解密复用方法 | |
| Yang et al. | Research on RSA and Hill hybrid encryption algorithm | |
| Mohan et al. | Revised aes and its modes of operation | |
| JP5207153B2 (ja) | 擬似乱数発生システム | |
| TWI728933B (zh) | 混合式多階運算加解密系統、其發送端裝置、以及其接收端裝置 | |
| CN106850192A (zh) | 一种优化移动设备数据库加密效率的方法 | |
| CN106788968A (zh) | 应用于wia-pa协议的安全协处理器的实现方法 | |
| Yuan et al. | Acceleration of AES encryption with OpenCL | |
| CN103888937A (zh) | 一种适用于无线传感器网络aes加密的低开销快速轮加密装置及方法 | |
| CN109962766A (zh) | 基于ieee802-15-4标准的安全服务协处理器的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20181210 Address after: 510000 Room 2505, 25 Floor, Fuli Yingtong Building, 30 Huaxia Road, Pearl River New Town, Tianhe District, Guangzhou City, Guangdong Province Co-patentee after: GUANGDONG GLOBEEZ FIRE-FIGHTING TECHNOLOGY Co.,Ltd. Patentee after: YUNDUAN SMART MANUFACTURING (GUANGZHOU) INTERNET OF THINGS TECHNOLOGY Co.,Ltd. Co-patentee after: SHENZHEN RONGSHENG INTELLIGENT EQUIPMENT Co.,Ltd. Address before: 510640 2401, unit 371-1, Zhong Gong education building, five mountain road, Tianhe District, Guangzhou, Guangdong. Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. Effective date of registration: 20181210 Address after: 510640 2401, unit 371-1, Zhong Gong education building, five mountain road, Tianhe District, Guangzhou, Guangdong. Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd. Address before: No. 2, Mengxi Road, Zhenjiang, Jiangsu Province, Jiangsu Patentee before: Jiangsu University of Science and Technology |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160914 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |