CN106485158A - 一种基于hdfs的透明加密方法及系统 - Google Patents
一种基于hdfs的透明加密方法及系统 Download PDFInfo
- Publication number
- CN106485158A CN106485158A CN201610941485.3A CN201610941485A CN106485158A CN 106485158 A CN106485158 A CN 106485158A CN 201610941485 A CN201610941485 A CN 201610941485A CN 106485158 A CN106485158 A CN 106485158A
- Authority
- CN
- China
- Prior art keywords
- data
- encryption
- hdfs
- ciphertext
- transparent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开一种基于hdfs的透明加密方法，该方法包括数据异步加密和数据读取，数据异步加密包括：(1)判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；(2)根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；(3)对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；数据读取包括：(a)Datanode接收到数据读取请求；(b)Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。还有基于hdfs的透明加密系统。
Description
技术领域
本发明涉及大数据处理和数据安全的技术领域，尤其涉及一种基于hdfs的透明加密方法，以及基于hdfs的透明加密系统。
背景技术
在大数据企业，数据安全是安身立命之本、不可或缺，随着业务的发展，特别是大数据的安全变得越来越重要，而对大数据加密是一个非常重要的防护手段。
数据库透明加密技术是针对关系型数据库保密需求应运而生的一种数据库加密技术。所谓透明，是指对用户来说无需更改现有的应用系统和操作习惯。当用户通过应用程序访问数据库时，得到的是明文数据，而未授权的用户通过非法手段访问数据库得到的都是密文数据。数据在应用程序中是明文，在数据库中是密文。一旦离开使用环境，由于应用程序无法得到自动解密的服务而无法打开，从而起到保护数据库中数据的效果。
为此，中国专利申请(申请号：CN201310012514.4)提供了一种移动平台透明加密方法，可以在移动平台进行透明加密处理。中国专利申请(申请号：CN201510477683.4)提供了一种数据库透明加密方法，可以在数据库进行透明加密处理。
但是，现有的技术加密只能在一台小型设备或者特定应用上实现数据加密，采用的透明压缩技术都是同步的方式，对用户操作会带来一定的体验影响，最关键的是它们的加密对象都是小数据量，还不能解决大数据领域的数据安全问题。
在大数据领域目前对特定数据的保护手段比较原始，需要用户直接去对数据做加密和解密操作，无法做到透明加密，效率非常低下。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于hdfs的透明加密方法，其加密处理过程对于应用层完全透明，用户没有任何感知，这样就解决了hadoop集群数据安全问题，整个处理过程对数据写操作没有任何影响。
本发明的技术方案是：这种基于hdfs的透明加密方法，该方法包括数据异步加密和数据读取，
数据异步加密包括以下步骤：
(1)判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；
(2)根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
(3)对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
数据读取包括以下步骤：
(a)Datanode接收到数据读取请求；
(b)Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
本发明通过升级改造hdfs的datanode以及相关模块，使用异步的方式对存储在hdfs上的特定数据块(block)完成加密处理，此过程对于应用层完全透明，用户没有任何感知，这样就解决了hadoop集群数据安全问题，整个处理过程对数据写操作没有任何影响。
还提供了一种基于hdfs的透明加密系统，该系统包括：
集群状态判断模块，其配置来判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；
列表寻找模块，其配置来根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
数据加密模块，其配置来对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
请求接收模块，其配置来通过Datanode接收到数据读取请求；
数据解密模块，其配置来通过Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
附图说明
图1所示为根据本发明的基于hdfs的透明加密方法的流程图。
具体实施方式
如图1所示，这种基于hdfs(Hadoop分布式文件系统)上的分布式文件系统。的透明加密方法，该方法包括数据异步加密和数据读取，
数据异步加密包括以下步骤：
(1)判断hadoop(是一个由Apache基金会所开发的分布式系统基础架构)集群是否繁忙，是则继续等待，否则执行步骤(2)；
(2)根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
(3)对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
数据读取包括以下步骤：
(a)Datanode接收到数据读取请求；
(b)Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
本发明通过升级改造hdfs的datanode以及相关模块，使用异步的方式对存储在hdfs上的特定数据块(block)完成加密处理，此过程对于应用层完全透明，用户没有任何感知，这样就解决了hadoop集群数据安全问题，整个处理过程对数据写操作没有任何影响。
另外，所述步骤(3)中，定时判断hadoop集群是否繁忙，是则等待，否则进行加密处理。
另外，该方法对hdfs直接升级，hdfs作为hadoop集群的一部分来对外提供分布式存储服务。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于hdfs的透明加密系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统包括：
集群状态判断模块，其配置来判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；
列表寻找模块，其配置来根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
数据加密模块，其配置来对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
请求接收模块，其配置来通过Datanode接收到数据读取请求；
数据解密模块，其配置来通过Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
另外，所述数据加密模块中，定时判断hadoop集群是否繁忙，是则等待，否则进行加密处理。
另外，该系统对hdfs直接升级，hdfs作为hadoop集群的一部分来对外提供分布式存储服务。
本发明的有益效果如下：
1.提出了对集群中海量数据的加密方案，填补了海量数据透明加密的空白；
2.异步的加密方法，对数据写请求没有任何影响，并使得加密过程对集群影响降到最小；
3.通过白名单的方式，用户可以灵活配置，自由选择要保护的核心数据。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (6)
1.一种基于hdfs的透明加密方法，其特征在于：该方法包括数据异步加密和数据读取，
数据异步加密包括以下步骤：
(1)判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；
(2)根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
(3)对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
数据读取包括以下步骤：
(a)Datanode接收到数据读取请求；
(b)Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
2.根据权利要求1所述的基于hdfs的透明加密方法，其特征在于：所述步骤(3)中，定时判断hadoop集群是否繁忙，是则等待，否则进行加密处理。
3.根据权利要求2所述的基于hdfs的透明加密方法，其特征在于：该方法对hdfs直接升级，hdfs作为hadoop集群的一部分来对外提供分布式存储服务。
4.一种基于hdfs的透明加密系统，其特征在于：该系统包括：
集群状态判断模块，其配置来判断hadoop集群是否繁忙，是则继续等待，否则执行步骤(2)；
列表寻找模块，其配置来根据用户配置的白名单目录，找出所有未加密的数据文件对应的数据块列表；
数据加密模块，其配置来对所有的数据块依次加密处理，数据块加密完成后在密文的头部加上加密标识，一并写回到磁盘，替换原来明文数据块；
请求接收模块，其配置来通过Datanode接收到数据读取请求；
数据解密模块，其配置来通过Datanode判断要读取的数据块是否经过加密处理，如果是明文直接向上返回数据，如果是密文则把密文解密之后向上返回。
5.根据权利要求4所述的基于hdfs的透明加密系统，其特征在于：所述数据加密模块中，定时判断hadoop集群是否繁忙，是则等待，否则进行加密处理。
6.根据权利要求5所述的基于hdfs的透明加密系统，其特征在于：该系统对hdfs直接升级，hdfs作为hadoop集群的一部分来对外提供分布式存储服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610941485.3A CN106485158A (zh) | 2016-10-26 | 2016-10-26 | 一种基于hdfs的透明加密方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610941485.3A CN106485158A (zh) | 2016-10-26 | 2016-10-26 | 一种基于hdfs的透明加密方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106485158A true CN106485158A (zh) | 2017-03-08 |
Family
ID=58272950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610941485.3A Pending CN106485158A (zh) | 2016-10-26 | 2016-10-26 | 一种基于hdfs的透明加密方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106485158A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133151A (zh) * | 2018-02-08 | 2018-06-08 | 北京指掌易科技有限公司 | 文件加密装置、文件处理方法及移动终端设备 |
| CN112487445A (zh) * | 2020-11-25 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种文件型门卫式存储加密功能的Hadoop系统及其应用方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905375A (zh) * | 2012-12-24 | 2014-07-02 | 航天信息股份有限公司 | 集群式数据加密系统中的数据加密请求分配方法和装置 |
| CN104881613A (zh) * | 2014-02-27 | 2015-09-02 | 中国科学院声学研究所 | 一种磁盘全局数据加密系统及方法 |
| CN105574424A (zh) * | 2014-10-16 | 2016-05-11 | 中国移动通信集团广东有限公司 | 一种大数据加解密处理方法及系统 |
-
2016
- 2016-10-26 CN CN201610941485.3A patent/CN106485158A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905375A (zh) * | 2012-12-24 | 2014-07-02 | 航天信息股份有限公司 | 集群式数据加密系统中的数据加密请求分配方法和装置 |
| CN104881613A (zh) * | 2014-02-27 | 2015-09-02 | 中国科学院声学研究所 | 一种磁盘全局数据加密系统及方法 |
| CN105574424A (zh) * | 2014-10-16 | 2016-05-11 | 中国移动通信集团广东有限公司 | 一种大数据加解密处理方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133151A (zh) * | 2018-02-08 | 2018-06-08 | 北京指掌易科技有限公司 | 文件加密装置、文件处理方法及移动终端设备 |
| CN108133151B (zh) * | 2018-02-08 | 2020-07-28 | 北京指掌易科技有限公司 | 文件加密装置、文件处理方法及移动终端设备 |
| CN112487445A (zh) * | 2020-11-25 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种文件型门卫式存储加密功能的Hadoop系统及其应用方法 |
| CN112487445B (zh) * | 2020-11-25 | 2024-05-14 | 湖南麒麟信安科技股份有限公司 | 一种文件型门卫式存储加密功能的Hadoop系统及其应用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10841628B1 (en) | System and techniques for digital data lineage verification | |
| CN103294961A (zh) | 一种文件加/解密方法以及文件加/解密装置 | |
| CN106063185A (zh) | 用于安全地共享数据的方法和装置 | |
| CN104796412B (zh) | 端到端云服务系统及对其敏感数据的访问方法 | |
| CN106682521B (zh) | 基于驱动层的文件透明加解密系统及方法 | |
| CN108628611A (zh) | 一种数据调用方法及数据调用装置 | |
| CN103559221B (zh) | 一种进行多媒体数据处理的方法、装置和浏览器 | |
| CN103914662A (zh) | 一种基于分区的文件加密系统的访问控制方法和装置 | |
| CN104104650B (zh) | 数据文件访问方法及终端设备 | |
| CN109272324A (zh) | 一种业务功能实现方法、系统、设备及计算机存储介质 | |
| CN116662941B (zh) | 信息加密方法、装置、计算机设备和存储介质 | |
| CN106713334B (zh) | 虚拟存储卷的加密方法、解密方法、访问方法以及装置 | |
| CN106295403A (zh) | 一种基于hbase的数据安全处理方法及系统 | |
| CN110502920A (zh) | 基于区块链的生产任务执行方法、装置和设备 | |
| CN111339201A (zh) | 基于区块链的测评方法及系统 | |
| CN105989304A (zh) | 一种文件存储方法、读取方法及装置 | |
| CN102081575A (zh) | 虚拟磁盘存储空间的动态分配方法和装置 | |
| CN105825143A (zh) | 一种应用程序写入和读取数据的方法及装置 | |
| CN108229190B (zh) | 透明加解密的控制方法、装置、程序、存储介质和电子设备 | |
| CN102799815A (zh) | 一种安全加载程序库的方法和装置 | |
| CN110650191A (zh) | 一种分布式存储系统的数据读写方法 | |
| CN110032877A (zh) | 图像存取方法及其系统 | |
| CN105630855A (zh) | 文件共享方法、文件共享系统和终端 | |
| CN106203141A (zh) | 一种应用的数据处理方法和装置 | |
| CN106485158A (zh) | 一种基于hdfs的透明加密方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170308 |
|
| RJ01 | Rejection of invention patent application after publication |