CN205901794U - 一种对大数据内容进行选择性加密的系统 - Google Patents

Abstract

本实用新型公开了一种对大数据内容进行选择性加密的系统，用于用户对大数据内容进行选择性加密保护，包括用户终端、智能关联分析服务器、后台数据库、过程处理平台、密钥管理服务器。本实用新型根据用户配置的包含关键信息的智能加密策略，从大数据内容中搜索到包含敏感信息的待加密数据进行加密保护，不仅保障大数据系统的吞吐量，而且无需过度增加密钥管理服务器的负载，具有相当高的安全性。

Description

一种对大数据内容进行选择性加密的系统

技术领域

本实用新型涉及数据加密处理领域，具体是指一种对大数据内容进行选择性加密的系统。

背景技术

大数据是一种战略资源，云计算为大数据提供了技术支撑，大数据的挖掘可以为企业等带来巨大的经济效益。当前，大数据挖掘面临一个重要困难，即大数据挖掘时可能会导致用户的隐私泄漏。

但是，由于大数据自身体量大，占用的存储空间多，数据内容结构复杂，即使用户意识到数据本身的安全性，在通过常规手段对其进行保护时也会遇到不少难题，比如：使用对称加密算法对大数据进行整体加密保护，策略简单，直接将对称加密算法平移到大数据平台的读写过程中即可，但是存在必须对所有数据进行加解密操作而存在重大缺陷：1、降低大数据系统的吞吐量，业务系统读写操作性能下降比较明显；2、增加密钥管理服务器的负载，影响到加密服务器对外提供的业务可用度。

因此，如何对大数据内容进行选择性加密是当前急需解决的课题。

实用新型内容

本实用新型的目的在于提供一种对大数据内容进行选择性加密的系统，根据用户配置的包含关键信息的智能加密策略，从大数据内容中搜索到包含敏感信息的待加密数据进行加密保护，不仅保障大数据系统的吞吐量，而且无需过度增加密钥管理服务器的负载，具有相当高的安全性。

本实用新型通过下述技术方案实现：一种对大数据内容进行选择性加密的系统，用于用户对大数据内容进行选择性加密保护，包括用户终端、智能关联分析服务器、后台数据库、过程处理平台、密钥管理服务器；

所述用户终端分别与智能关联分析服务器连接以配置智能加密策略，同时用户终端与过程处理平台连接以读写源文件；

所述智能关联分析服务器与密钥管理服务器连接以获取密钥，同时智能关联分析服务器与后台数据库连接以保存智能加密策略和密钥；

所述过程处理平台与用户终端连接以获取源文件；

所述过程处理平台与后台数据库连接以获取智能加密策略和密钥，对源文件和智能加密策略进行特征匹配以获得待加密文件并将待加密文件的起始位置发送至后台数据库进行保存；

所述过程处理平台与密钥管理服务器连接以写入待加密文件时加密、读取待加密文件时解密。

进一步地，为了更好的实现本实用新型，所述过程处理平台为用于加载文本关联度计算过程的、配置HDFS文件流处理模块的Hadoop集群计算平台。

进一步地，为了更好的实现本实用新型，所述过程处理平台为用于加载文本关联度计算过程的Spark高速集群计算平台。

进一步地，为了更好的实现本实用新型，所述密钥管理服务器包括与智能关联分析服务系统连接的密钥服务器、与过程处理平台连接的加解密服务器。

进一步地，为了更好的实现本实用新型，所述密钥服务器包括相互连接的密钥资源池模块和密钥生成模块，密钥资源池模块与智能关联分析服务器连接。

进一步地，为了更好的实现本实用新型，所述密钥生成模块为TPM芯片。

进一步地，为了更好的实现本实用新型，所述加解密服务器与过程处理平台通过设置硬件加密卡的安全通道连接。

进一步地，为了更好的实现本实用新型，所述安全通道两端均设置有RPC Call接口。

进一步地，为了更好的实现本实用新型，所述用户终端为前台管理终端或用于前台配置、DFS文件管理的DFS客户端。

进一步地，为了更好的实现本实用新型，还包括与过程处理平台连接的系统DFS服务器。所述系统DFS服务器作为机机访问的client一方，与过程处理平台进行HDFS文件的读写。

本实用新型与现有技术相比，具有以下优点及有益效果：

（1）本实用新型中用户终端与智能关联分析服务器连接，用户通过用户终端配置包括关键信息的智能加密策略并发送至智能关联分析服务器，智能关联分析服务器将用户设定的关键信息作为加密处理的基准信息，使用包括语义向量算法、同义词算法、余弦距离算法、编辑距离算法等智能搜寻算法的文本关联度算法计算出和用户设定的关键信息近似的敏感信息信息，过程处理平台根据智能关联分析服务器分析得到的敏感信息与智能加密策略进行特征匹配，符合特征的数据在文件写入时自动加密、文件读取时自动解密，实现选择性加密，减少密钥管理服务器的负载，有效保障大数据平台的稳定运行；

（2）本实用新型中智能关联分析服务器与Hadoop集群计算平台完全解耦，仅通过共享后台数据库的方式进行互动，降低系统交互的通信风险。即：智能关联分析服务器产生关键信息、敏感信息集合，Hadoop集群计算平台使用关键信息、敏感信息集合；

（3）本实用新型通过修改Hadoop集群计算平台的数据流处理逻辑，使得需要加密保护的敏感信息会自动提交到加解密服务器进行透明的加解密操作，不影响用户在前台的正常操作，使得对接业务系统时无需对老系统做任何修改；

（4）本实用新型中密钥管理服务器通过TPM芯片产生密钥，以满足密钥的高安全要求。

附图说明

图1为本实用新型的结构示意图。

具体实施方式

下面结合实施例对本实用新型作进一步地详细说明，但本实用新型的实施方式不限于此。

实施例1：

本实施例的一种对大数据内容进行选择性加密的系统，用于用户对大数据内容进行选择性加密保护，如图1所示，主要是通过下述技术方案实现：包括用户终端、智能关联分析服务器、后台数据库、过程处理平台、密钥管理服务器；

所述用户终端分别与智能关联分析服务器连接以配置智能加密策略，同时用户终端与过程处理平台连接以读写源文件；

所述智能关联分析服务器与密钥管理服务器连接以获取密钥，同时智能关联分析服务器与后台数据库连接以保存智能加密策略和密钥；

所述过程处理平台与用户终端连接以获取源文件；

所述过程处理平台与后台数据库连接以获取智能加密策略和密钥，对源文件和智能加密策略进行特征匹配以获得待加密文件并将待加密文件的起始位置发送至后台数据库进行保存；

所述过程处理平台与密钥管理服务器连接以写入待加密文件时加密、读取待加密文件时解密。

工作原理：

用户通过用户终端配置智能加密策略，并发送至智能关联分析服务器。所述智能关联分析服务器根据关系信息、通过文本关联度算法计算出敏感信息，并由智能关联分析服务器通过密钥管理服务器获取密钥，然后再由智能关联分析服务器将主要由关键信息、加密策略、密钥组成的智能关联分析策略发送至后台数据库进行保存。

用户通过用户终端向过程处理平台写入源文件，过程处理平台从用户终端获取源文件、从后台数据库获取智能关联分析策略，并将源文件与智能关联分析策略进行特征匹配，若特征匹配成功则触发选择性加密动作，特征匹配的待加密信息在写入时被自动透明加密、读取时被自动透明解密；若写入源文件中数据内容与特征不匹配则直接落盘。

实施例2：

如图1所示，一种对大数据内容进行选择性加密的系统，用于用户对大数据内容进行选择性加密保护，包括用户终端、智能关联分析服务器、后台数据库、过程处理平台、密钥管理服务器；所述用户终端、智能关联分析服务器、后台数据库、过程处理平台依次连接，用户终端还与过程处理平台连接；所述密钥管理服务器分别与智能关联分析服务器、过程处理平台连接。

所述用户终端，与智能关联分析服务器、过程处理平台连接，一是用于用户写入源文件内容；二是用于用户配置包括关键信息、加密等级的加密策略。源文件内容发送至过程处理平台进行选择性加密的特征匹配计算。加密策略发送至智能关联分析服务器进行智能关联分析策略的配置。

所述智能关联分析服务器，与用户终端、密钥管理服务器、后台数据库连接，用于生成智能关联分析策略。加密策略发送至智能关联分析服务器，由智能关联分析服务器根据关系信息、通过文本关联度算法计算出敏感信息，并由智能关联分析服务器通过密钥管理服务器获取密钥，然后再由智能关联分析服务器将主要由关键信息、加密策略、密钥组成的智能关联分析策略发送至后台数据库进行保存。

所述文本关联度算法包括语义向量算法、同义词算法、余弦距离算法、编辑距离算法等智能搜寻算法中至少一种。

所述后台数据库，与智能关联分析服务器、过程处理平台连接，用于存储智能关联分析策略、待加密信息的起始位置信息。

所述过程处理平台，与后台数据库、用户终端、密钥管理服务器连接，用于将用户终端写入的源文件和从后台数据库中获取的存储智能关联分析策略中的敏感信息进行特征匹配，若特征匹配成功则触发选择性加密动作，特征匹配的待加密信息在写入时被自动透明加密、读取时被自动透明解密。所述过程处理平台可以为配置HDFS文件流处理模块的Hadoop集群计算平台或Spark高速集群计算平台。

所述密钥管理服务器，与智能关联分析服务器、过程处理平台连接，用于按照加密策略生成并提供密钥，以及对待加密信息进行加解密。

例如：用户终端配置的加密策略中，用户设置对“/user/business/”目录下的文件作智能透明加密，指定的关键信息特征是“发动机型号：CFM56-7B”。那么，当源文件是写入至Hadoop集群计算平台的 “/user/business/” 目录下时，文件中内容为“引擎代号：CFM56-7B”、“引擎型号：CFM56-5C”、“引擎型号：CFM56-5C”、“引 擎：CFM56-5B”等类似的内容均会进行透明加解密操作，即：写入时自动加密，读取时自动解密。并且，加解密过程是自动的，用户或第三方系统不可感知的。

本实施例中，智能关联分析服务器利用文本关联度算法对关键信息计算得到敏感信息并保存至后台数据库。

例如：用户在用户终端设置的关键信息为“发动机代号”，智能关联分析服务器则会生成“引擎型号”、“引擎代号”、“引 擎”、“engine type”等一系列近似词和短语作为类似的敏感信息。

本实施例中，Hadoop集群计算平台会根据用户设置的加密策略判断写入的源文件是否需要进行选择性加密处理。

例如：用户设置需要进行智能选择性加密的目录为“/user/business/”，那么当用户写入的源文件为“/user/business/fileXXX”则会触发透明加解密操作，而用户写入的源文件为“/user/log/fileXXX”则不会触发透明加解密操作。

本实施例中，如果源文件触发选择性加密操作，HDFS文件流处理模块则会对源文件中数据的特征进行比对，对符合加密策略特征的信息进行透明加密处理，并保存该段信息内容的起始位置在后台数据库中，以备读取该段文件时进行透明解密操作。

例如：用户终端写入的源文件中，内容“发动机型号：CFM56-7B”经过加密后变成“dfahcoifkkckskls”，那么数据库中将会保存起始位置1024（假设），与加密后内容“dfahcoifkkckskls”，文件落盘时数据为加密后内容“dfahcoifkkckskls”。读取文件时，HDFS则会按照标记的起始位置1024截取“dfahcoifkkckskls”内容进行解密操作还原信息为“发动机型号：CFM56-7B”再返回给读取端。

本实施例的其他部分与上述实施例相同，故不再赘述。

实施例3：

本实施例在上述实施例的基础上做进一步优化，进一步地，为了更好的实现本实用新型，所述过程处理平台可以为Hadoop集群计算平台，也可以为Spark高速集群计算平台，Hadoop集群计算平台、Spark高速集群计算平台可用于加载文本关联度计算过程。所述HDFS文件流处理模块用于HDFS文件的处理。

本实施例的其他部分与上述实施例相同，故不再赘述。

实施例4：

本实施例在上述实施例的基础上做进一步优化，进一步地，所述密钥管理服务器包括与智能关联分析服务系统连接的密钥服务器、与过程处理平台连接的加解密服务器。

所述密钥服务器包括相互连接的密钥资源池模块和密钥生成模块，密钥资源池模块与智能关联分析服务器连接。所述密钥生成模块为TPM芯片。

本实施例中，密钥服务器和加解密服务器可以分开设置也可以一体。

本实施例中，采用TPM芯片随机生成用于加密的密钥，确保安全性、随机性。由于产生密钥需要花费一定的时间，因此本实施例中设置密钥资源池，密钥生成模块不定期生成一定数量的密钥并放入密钥资源池的队列中，以确保申请一个或多个密钥被时可及时发送相应的密钥。

本实施例的其他部分与上述实施例相同，故不再赘述。

实施例5：

本实施例在上述实施例的基础上做进一步优化，进一步地，所述加解密服务器与过程处理平台通过设置硬件加密卡、两端均设置有RPC Call接口的安全通道连接，以提高数据传输的安全性。

本实施例的其他部分与上述实施例相同，故不再赘述。

以上所述，仅是本实用新型的较佳实施例，并非对本实用新型做任何形式上的限制，凡是依据本实用新型的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本实用新型的保护范围之内。

Claims (10)

1.一种对大数据内容进行选择性加密的系统，用于用户对大数据内容进行选择性加密保护，其特征在于，包括用户终端、智能关联分析服务器、后台数据库、过程处理平台、密钥管理服务器；

所述用户终端分别与智能关联分析服务器连接以配置智能加密策略，同时用户终端与过程处理平台连接以读写源文件；

所述智能关联分析服务器与密钥管理服务器连接以获取密钥，同时智能关联分析服务器与后台数据库连接以保存智能加密策略和密钥；

所述过程处理平台与用户终端连接以获取源文件；

所述过程处理平台与后台数据库连接以获取智能加密策略和密钥，对源文件和智能加密策略进行特征匹配以获得待加密文件并将待加密文件的起始位置发送至后台数据库进行保存；

所述过程处理平台与密钥管理服务器连接以写入待加密文件时加密、读取待加密文件时解密。

2.根据权利要求1所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述过程处理平台为用于加载文本关联度计算过程的、配置HDFS文件流处理模块的Hadoop集群计算平台。

3.根据权利要求1所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述过程处理平台为用于加载文本关联度计算过程的Spark高速集群计算平台。

4.根据权利要求1-3任一项所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述密钥管理服务器包括与智能关联分析服务系统连接的密钥服务器、与过程处理平台连接的加解密服务器。

5.根据权利要求4所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述密钥服务器包括相互连接的密钥资源池模块和密钥生成模块，密钥资源池模块与智能关联分析服务器连接。

6.根据权利要求5所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述密钥生成模块为TPM芯片。

7.根据权利要求4所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述加解密服务器与过程处理平台通过设置硬件加密卡的安全通道连接。

8.根据权利要求7所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述安全通道两端均设置有RPC Call接口。

9.根据权利要求1-3任一项所述的一种对大数据内容进行选择性加密的系统，其特征在于，所述用户终端为前台管理终端或用于前台配置、DFS文件管理的DFS客户端。

10.根据权利要求1-3任一项所述的一种对大数据内容进行选择性加密的系统，其特征在于，还包括与过程处理平台连接的系统DFS服务器。