CN111191261A - 一种大数据安全保护方法、系统、介质及设备 - Google Patents

一种大数据安全保护方法、系统、介质及设备 Download PDF

Info

Publication number
CN111191261A
CN111191261A CN201911366509.7A CN201911366509A CN111191261A CN 111191261 A CN111191261 A CN 111191261A CN 201911366509 A CN201911366509 A CN 201911366509A CN 111191261 A CN111191261 A CN 111191261A
Authority
CN
China
Prior art keywords
key
key management
encryption
big data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911366509.7A
Other languages
English (en)
Other versions
CN111191261B (zh
Inventor
南征
张森
张建树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sansec Technology Development Co ltd
Original Assignee
Beijing Sansec Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sansec Technology Development Co ltd filed Critical Beijing Sansec Technology Development Co ltd
Priority to CN201911366509.7A priority Critical patent/CN111191261B/zh
Publication of CN111191261A publication Critical patent/CN111191261A/zh
Application granted granted Critical
Publication of CN111191261B publication Critical patent/CN111191261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种大数据安全保护方法，包括：通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，且密钥可被上层业务访问。本发明实施例提供的大数据安全保护方法，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，增加了密钥的全生命周期管理功能。本发明还涉及一种大数据安全保护系统、介质及设备。

Description

一种大数据安全保护方法、系统、介质及设备
技术领域
本发明涉及大数据安全技术领域，尤其涉及一种大数据安全保护方法、系统、介质及设备。
背景技术
当前，全球大数据产业正值活跃发展期，技术演进和应用创新并行加速推进，大数据逐步成为国家基础战略资源和社会基础生产要素。与此同时，大数据安全问题逐渐暴露。
目前，大数据系列产品有些组件有对应的加密机制，有些组件没有对应的加密机制，即使有些组件有加密机制，但密钥管理标准不一，无法为用户提供集中、可靠的密钥管理服务，不利于密钥的统一管理，容易发生密钥丢失、密钥窃取等一系列安全问题。也降低了密钥管理的准确性与管理效率，无法实现密钥生命周期的自动化管理。同时原有密钥管理仅存在单一管理员，无法为用户提供多管理员密钥管理机制，降低了密钥管理的可靠性。
发明内容
本发明所要解决的技术问题是针对现有技术存在的问题，提供一种大数据安全保护方法、系统、介质及设备。
为解决上述技术问题，本发明实施例提供一种大数据安全保护方法，包括：
通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
通过HadoopKMS restful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
为解决上述技术问题，本发明实施例还提供一种大数据安全保护系统，包括：
协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
接口适配模块，用于通过HadoopKMS restful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行上述方案所述的大数据安全保护方法。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方案所述的大数据安全保护方法。
本发明的有益效果是：本发明所要解决的技术问题是针对现有技术存在的问题，提供一种大数据安全保护方法、系统、介质及设备。
为解决上述技术问题，本发明实施例提供一种大数据安全保护方法，包括：
通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
为解决上述技术问题，本发明实施例还提供一种大数据安全保护系统，包括：
协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
接口适配模块，用于通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行上述方案所述的大数据安全保护方法。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方案所述的大数据安全保护方法。
本发明的有益效果是：本发明通过KMIP协议将没有外部密钥管理机制的大数据组件连接外部密钥管理系统，通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，提高了密钥管理的准确性和管理效率，实现了密钥的全生命周期的自动化管，提高了密钥管理的可靠性。
附图说明
图1为本发明实施例提供的大数据安全保护方法的示意性流程图；
图2为本发明实施例提供的Hive客户端的密钥操作示意图；
图3为本发明实施例提供的Hbase客户端的密钥操作示意图；
图4为本发明实施例提供的HDFS密钥操作示意图；
图5为本发明实施例提供的Kerberos认证票据进行加密保护、应用权限管理示意图；
图6为本发明实施例提供的大数据安全保护系统示意性结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的大数据安全保护方法的示意性流程图。如图1所示，该方法包括：
通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
现有技术中，大数据系列产品由于密钥管理标准不一，无法为用户提供集中、可靠的密钥管理服务，不利于密钥管理的统一，容易发生密钥丢失、密钥窃取等一系列安全问题。也降低了密钥管理的准确性与管理效率，无法实现密钥生命周期的自动化管理。
上述实施例提供的大数据安全保护方案，通过KMIP协议将没有外部密钥管理机制的大数据组件连接外部密钥管理系统，通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，实现了密钥的全生命周期管理功能，如密钥的创建、导入导出、激活、失活、归档何销毁等。针对大数据系列产品使用国际标准的KMIP协议为管理标准，形成统一的密钥管理体系，并为Hadoop生态圈应用提供脱离zookeeper签名方式的底层密钥同步功能。
具体地，所述没有外部密钥管理机制的大数据组件包括Hive、Hbase、spark和flink；已有外部密钥管理机制的大数据组件包括HDFS。现有的hadoop大数据平台使用密钥管理协议并不统一，如HDFS使用的是外部密钥管理服务，Hbase使用的是内部密钥管理，其他大数据组件都未曾实现加密机制(如hive)。
可选地，当所述大数据组件为Hive、spark或flink时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
将加密UDFjar包上传至HDFS文件目录，对UDF函数进行注册；
当接收到客户端发送的SQL命令时，获取所述SQL命令对应的元数据信息；
在执行SQL命令过程中，当所述UDF函数根据所述SQL命令对应的元数据信息确定需要加解密功能时，通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述UDF函数的数据加密密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的数据加密密钥；所述UDF函数利用所述数据加密密钥进行数据加解密操作，将数据加解密结果写入HDFS文件系统或其他Hive数据库。
以Hive为例，如图2所示，通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理包括：
UDF注册流程：
1.将加密UDF jar包上传至HDFS文件目录。
2.使用管理员对UDF进行注册。
加密流程：
1.客户端向Driver发送SQL命令(如insert)。
2.Driver根据Metastore元数据使用cimpiler分解SQL命令成MR批处理程序或Tez执行程序。
3.使用Yarn资源调度执行MR程序或Tez程序。
4.在执行过程中，所述UDF函数根据所述SQL命令对应的元数据信息判断是否需要加解密。
5.当确定需要加解密功能时，通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述UDF函数的数据加密密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的数据加密密钥；所述UDF函数利用所述数据加密密钥进行数据加解密操作，将数据加解密结果写入HDFS文件系统或其他Hive数据库。
上述实施例中，通过注册UDF函数，从而实现SQL的透明加密，通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理。实现密钥统一管理，实现了密钥的全生命周期管理功能。
可选地，如图3所示，当所述大数据组件为Hbase时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
HMaster服务接收Hbase客户端向发起数据操作请求；
所述HMaster服务根据所述数据操作请求通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求对应主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的主密钥，并将所述主密钥缓存在ReginServer中；
所述ReginServer利用主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥进行数据加解密操作，将加解密结果写入HDFS文件系统；
其中，所述数据加密密钥为所述ReginServer预先生成并缓存的。
上述实施例中，实现了HBase透明加密，且通过通过KMIP协议连接外部密钥管理系统，实现密钥统一管理，实现了密钥的全生命周期管理功能。
可选地，当所述大数据组件为HDFS时，所述通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，具体包括：
名字节点Namenode接收客户端发起的数据操作请求；
所述名字节点Namenode通过HadoopKMS restful密钥管理接口连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求指示的加密区位置对应的主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，所述客户端与所述数据操作请求对应的数据节点DataNode进行交互；
所述数据节点DataNode从所述外部密钥管理系统获取对应的主密钥，利用所述主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥对所述数据操作请求指示的加密区数据进行数据加解密操作，将加解密结果写入HDFS文件系统。
上述实施例中，可实现HDFS透明加密以及外部密钥管理，并为密钥管理提供标准KMIP密钥管理功能。
可选地，上述实施例还包括：在大数据组件使用通用的JCE密码算法套件，实现应用层透明加密的国密算法扩展。
具体地，在执行加解密操作时，大数据组件的客户端程序调用JCE加密函数，所述JCE加密函数调用扩展provider国密算法，获得明文或密文数据，并将所述明文或密文数据返回至所述大数据组件的客户端。
现有技术的加密算法仅支持AES算法，不支持国密算法，不符合等保要求。
上述实施例中，在大数据各个客户端实现了JCE provider并配置java.security文件，将其设置为最后一个，并将算法扩展jar包拷入java ext目录下，这样在调用算法的时候就可以调用到国密算法(如：SM4、SM2等)，大数据客户端不需要做任何代码适配工作即可切换为国密算法。
也就是说，使用JCE crypto provider技术适配多个大数据加密客户端，做到了底层技术通用化，密钥管理的访问控制策略、密钥支持下发到本地客户端，以实现客户端的密钥运算性能。大数据加密客户端程序提供透明的算法替换，不需要修改已有大数据平台的源代码，使用独立的加密模块就可轻松适配国密SM4、SM2算法，并提供高性能的SM4算法，整体性能提升达40％以上。
可选地，上述技术方案还包括：利用应用层透明文件加密套件配合外部密钥管理系统对Kerberos认证票据进行加密保护和应用权限管理。
可选地，所述利用应用层透明文件加密套件配合外部密钥管理系统对Kerberos认证票据进行加密保护和应用权限管理，具体包括：
所述应用层透明文件加密套件根据用于识别应用程序的环境变量确定应用程序加载库文件的哈希值，将所述哈希值与权限列表比对，完成应用程序访问加密票据文件的认证流程；
其中，所述权限列表中存储有外部密钥管理系统发送的权限配置策略，所述权限配置策略为所述外部密钥管理系统获取透明文件加密套件的系统目录，根据所述系统目录搜索票据文件，设置所述票据文件的加密状态以及访问控制权限，并利用应用程序环境变量信息将所述访问控制权限与应用程序加载库文件的哈希值进行绑定，根据应用程序加载库文件的哈希值、加密文件名和所述访问控制权限生成的权限配置策略；
认证通过时，所述应用程序获取票据文件，并向外部密钥管理系统发送加密密钥获取请求，在外部密钥管理系统在进行文件访问权限判定通过后，返回加密密钥；
所述应用层透明文件加密套件利用获取的加密密钥调用JCE算法模块实现票据文件加解密，并返回应用程序票据文件的明文数据。
现有技术总大数据产品加密范围窄，大数据产品目前只做到了分析数据的加密，对大数据下的元数据，审计数据并未做有效的保护。大数据Kerberos票据安全保护，大数据各节点的使用Kerberos认证时，需下发客户端登入票据，该票据在原有大数据安全体系中未涉及相应保护机制。
如图5所示，本发明实施例中文件加密模块可以使用JCE加密模块扩展国密算法，并使用外部密钥管理系统配置linux访问控制策略，对kerberos票据文件进行进程级别的访问控制，可以根据不同应用的标识隔离做身份识别和隔离等。并使用标准的KMIP协议对密钥进行授权管理操作。解决了现有技术中，大数据认证系统中的单点登入票据无保护机制的技术问题，实现了对Kerberos认证票据进行加密保护和应用权限管理。
可选地，上述技术方案还包括利用KMIP密钥状态机制显示密钥状态，所述密钥状态包括密钥未激活状态、密钥激活状态、密钥注销、密钥销毁和密钥归档；
密钥未激活状态：新创建密钥为密钥未激活状态；
密钥激活状态：密钥正常使用状态；
密钥注销状态：密钥处于暂停加密状态，不可加密数据，可解密数据，但不可恢复至激活状态；
密钥销毁状态：密钥明文处于销毁状态，密钥属性未被销毁；
密钥归档状态：密钥处于不可访问状态，可以用密钥恢复操作恢复至激活状态。
现有技术中，密钥删除操作存在误操作的问题，密钥删除操作无法取消，降低了密钥管理的安全性，且管理员也无法恢复已被删除的密钥。
上述实施例中，利用KMIP密钥状态机制显示密钥状态，且密钥管理服务针对客户端密钥删除进行归档操作，密钥管理系统管理员可在远程管理平台对删除密钥进行恢复操作，有效提升了密钥安全。
上文结合图1至图5，详细描述了根据本发明实施例提供的大数据安全保护方法。下面结合图6，详细描述本发明实施例提供的大数据安全保护系统。
如图6所示，本发明实施例还提供一种大数据安全保护系统，包括：协议连接模块和接口适配模块。
协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；接口适配模块，用于通过HadoopKMS restful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
上述实施例中，通过KMIP协议将没有外部密钥管理机制的大数据组件连接外部密钥管理系统，通过HadoopKMS restful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，增加了密钥的全生命周期管理功能，如密钥的创建、导入导出、激活、失活、归档何销毁等。
本发明实施例还提供一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行上述实施例所述的大数据安全保护方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述实施例所述的大数据安全保护方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种大数据安全保护方法，其特征在于，包括：
通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
2.根据权利要求1所述的方法，其特征在于，当所述大数据组件为Hive、spark或flink时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
将加密UDFjar包上传至HDFS文件目录，对UDF函数进行注册；
当接收到客户端发送的SQL命令时，获取所述SQL命令对应的元数据信息；
在执行SQL命令过程中，当所述UDF函数根据所述SQL命令对应的元数据信息确定需要加解密功能时，通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述UDF函数的数据加密密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的数据加密密钥；
所述UDF函数利用所述数据加密密钥进行数据加解密操作，将数据加解密结果写入HDFS文件系统或其他Hive数据库。
3.根据权利要求1所述的方法，其特征在于，当所述大数据组件为Hbase时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
HMaster服务接收Hbase客户端向发起数据操作请求；
所述HMaster服务根据所述数据操作请求通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求对应主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的主密钥，并将所述主密钥缓存在ReginServer中；
所述ReginServer利用主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥进行数据加解密操作，将加解密结果写入HDFS文件系统；
其中，所述数据加密密钥为所述ReginServer预先生成并缓存的。
4.根据权利要求1所述的方法，其特征在于，当所述大数据组件为HDFS时，所述通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，具体包括：
名字节点Namenode接收客户端发起的数据操作请求；
所述名字节点Namenode通过HadoopKMS restful密钥管理接口连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求指示的加密区位置对应的主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，所述客户端与所述数据操作请求对应的数据节点DataNode进行交互；
所述数据节点DataNode从所述外部密钥管理系统获取对应的主密钥，利用所述主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥对所述数据操作请求指示的加密区数据进行数据加解密操作，将加解密结果写入HDFS文件系统。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：在大数据组件使用通用的JCE密码算法套件，实现应用层透明加密的国密算法扩展。
6.根据权利要求5所述的方法，其特征在于，所述在大数据组件使用通用的JCE密码算法套件，实现应用层透明加密的国密算法扩展，包括：
在执行加解密操作时，大数据组件的客户端程序调用JCE加密函数，所述JCE加密函数调用扩展provider国密算法，获得明文或密文数据，并将所述明文或密文数据返回至所述大数据组件的客户端。
7.根据权利要求1-4任一项所述的方法，其特征在于，还包括：利用应用层透明文件加密套件配合外部密钥管理系统对Kerberos认证票据进行加密保护和应用权限管理。
8.根据权利要求7所述的方法，其特征在于，所述利用应用层透明文件加密套件配合外部密钥管理系统对Kerberos认证票据进行加密保护和应用权限管理，具体包括：
所述应用层透明文件加密套件根据用于识别应用程序的环境变量确定应用程序加载库文件的哈希值，将所述哈希值与权限列表比对，完成应用程序访问加密票据文件的认证流程；
其中，所述权限列表中存储有外部密钥管理系统发送的权限配置策略，所述权限配置策略为所述外部密钥管理系统获取透明文件加密套件的系统目录，根据所述系统目录搜索票据文件，设置所述票据文件的加密状态以及访问控制权限，并利用应用程序环境变量信息将所述访问控制权限与应用程序加载库文件的哈希值进行绑定，根据应用程序加载库文件的哈希值、加密文件名和所述访问控制权限生成的权限配置策略；
认证通过时，所述应用程序获取票据文件，并向外部密钥管理系统发送加密密钥获取请求，在外部密钥管理系统进行文件访问权限判定通过后，返回加密密钥；
所述应用层透明文件加密套件利用获取的加密密钥调用JCE算法模块实现票据文件加解密，并返回应用程序票据文件的明文数据。
9.根据权利要求1-4任一项所述的方法，其特征在于，还包括：利用KMIP密钥状态机制显示密钥状态，所述外部密钥管理系统对客户端密钥删除进行归档操作；
所述密钥状态包括密钥未激活状态、密钥激活状态、密钥注销、密钥销毁和密钥归档；
密钥未激活状态：新创建密钥为密钥未激活状态；
密钥激活状态：密钥正常使用状态；
密钥注销状态：密钥处于暂停加密状态，不可加密数据，可解密数据，但不可恢复至激活状态；
密钥销毁状态：密钥明文处于销毁状态，密钥属性未被销毁；
密钥归档状态：密钥处于不可访问状态，可以用密钥恢复操作恢复至激活状态。
10.一种大数据安全保护系统，其特征在于，包括：
协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
接口适配模块，用于通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。
11.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1至9任一项所述的大数据安全保护方法。
12.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述的大数据安全保护方法。
CN201911366509.7A 2019-12-26 2019-12-26 一种大数据安全保护方法、系统、介质及设备 Active CN111191261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911366509.7A CN111191261B (zh) 2019-12-26 2019-12-26 一种大数据安全保护方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911366509.7A CN111191261B (zh) 2019-12-26 2019-12-26 一种大数据安全保护方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN111191261A true CN111191261A (zh) 2020-05-22
CN111191261B CN111191261B (zh) 2022-06-24

Family

ID=70707612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911366509.7A Active CN111191261B (zh) 2019-12-26 2019-12-26 一种大数据安全保护方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN111191261B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114793169A (zh) * 2022-03-21 2022-07-26 中国信息通信研究院 大数据平台全流程数据加密保护方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851165A (zh) * 2015-07-22 2018-03-27 华为技术有限公司 一种密钥系统，密钥客户端，以及密钥管理方法
CN108111479A (zh) * 2017-11-10 2018-06-01 中国电子科技集团公司第三十二研究所 用于Hadoop分布式文件系统透明加解密的密钥管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851165A (zh) * 2015-07-22 2018-03-27 华为技术有限公司 一种密钥系统，密钥客户端，以及密钥管理方法
CN108111479A (zh) * 2017-11-10 2018-06-01 中国电子科技集团公司第三十二研究所 用于Hadoop分布式文件系统透明加解密的密钥管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张东辉: "Hadoop的安全加固研究与实现", 《万方数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114793169A (zh) * 2022-03-21 2022-07-26 中国信息通信研究院 大数据平台全流程数据加密保护方法

Also Published As

Publication number Publication date
CN111191261B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US8565422B2 (en) Method and system for enryption key versioning and key rotation in a multi-tenant environment
US10445517B1 (en) Protecting data in insecure cloud storage
US11240024B2 (en) Cryptographic key management using key proxies and generational indexes
US9122888B2 (en) System and method to create resilient site master-key for automated access
EP2430789B1 (en) Protection of encryption keys in a database
US8219821B2 (en) System and method for signature based data container recognition
US8397083B1 (en) System and method for efficiently deleting a file from secure storage served by a storage system
US20170163419A1 (en) Encrypted File Storage
KR101966767B1 (ko) 클라우드 서비스를 위한 암호화 키 관리 시스템
US10642828B2 (en) Searchable encryption scheme with external tokenizer
WO2013069776A1 (ja) データベース暗号化システムと方法及びプログラム
WO2013069770A1 (ja) データベース装置と方法及びプログラム
US20140181514A1 (en) Encryption key management program, data management system
US20200045086A1 (en) Intercepting calls for encryption handling in persistent access multi-key systems
EP3241145A1 (en) Securing data on untrusted devices
Cuzzocrea et al. Data masking techniques for NoSQL database security: A systematic review
US20180191506A1 (en) Method and System for Secure Data Storage Exchange, Processing, and Access
Li et al. Managing data retention policies at scale
US11728975B2 (en) Systems and methods for selective access to logs
US11418331B1 (en) Importing cryptographic keys into key vaults
US8189790B2 (en) Developing initial and subsequent keyID information from a unique mediaID value
US10341298B1 (en) Security rules for application firewalls
Galletta et al. An approach to share MRI data over the Cloud preserving patients' privacy
CN111191261B (zh) 一种大数据安全保护方法、系统、介质及设备
US10749689B1 (en) Language-agnostic secure application development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100102 room 1406, 14th floor, building 2, yard 16, Guangshun North Street, Chaoyang District, Beijing

Applicant after: Sanwei Xin'an Technology Co.,Ltd.

Address before: 100102 room 1406, 14th floor, building 2, yard 16, Guangshun North Street, Chaoyang District, Beijing

Applicant before: BEIJING SANSEC TECHNOLOGY DEVELOPMENT Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant