CN105574424A - 一种大数据加解密处理方法及系统 - Google Patents

Abstract

本发明实施例公开了一种大数据加解密处理方法及系统，包括：在数据存入开源存储系统之前，检测数据是否为明文数据；如果数据为明文数据，将所述数据加密为密文数据；将密文数据存入开源存储系统；核查开源存储系统中的数据是否存在明文数据；当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；密文数据从开源存储系统输出时，解密所述密文数据。本发明通过对存入开源存储系统的数据进行加密，在数据输出时进行解密恢复数据，从而在不影响数据的正常展示和处理的基础上保障数据的安全性和用户的隐私不被泄漏。

Description

一种大数据加解密处理方法及系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种大数据加解密处理方法及系统。

背景技术

各个行业和业务职能领域随着信息技术的快速渗透，所产生的数据量呈爆炸式上涨，大数据即巨量数据的采集、分析和展示也成为越来越多的行业运营赖以存在和发展的重要基础。

大数据需要大量的存储空间，而且数据变化情况复杂，因此需要大规模的可伸缩的数据存储系统进行存储和处理，以实现可以伸缩自如的存储解决方案，开源存储系统由于其灵活性和开放性，成为用于大数据处理的主要存储系统。现阶段，大数据的处理系统通常是使用公共的开源存储系统直接连接数据的采集平台与分析平台，采集的数据直接以明文方式存储于开源存储系统中，例如hadoop分布式框架、MPP、NoSQL、数据仓库等，分析平台再从开源存储系统读取数据加以分析并进行结果展示。

然而，大数据包含了众多个人和机构的隐私信息数据，对于用户可以自由使用及接触的开源存储系统而言，与开源存储系统相关的分析应用建设方/维护方以及大数据平台的建设方/维护方都可以随时获取用户数据，导致系统数据泄漏渠道众多，极易造成个人和机构的敏感数据的外泄，由于数据皆是直接存储，一旦泄漏，个人和机构的隐私信息也将毫无隐藏地被人获取。

发明内容

为克服相关技术中数据缺乏隐私保护的问题，本申请提供一种大数据加解密处理方法及系统。

根据本申请实施例的第一方面，提供一种大数据加解密处理系统，包括：

数据检测单元，用于在数据存入开源存储单元之前，检测数据是否为明文数据；

第一加密单元，用于当数据为明文数据时，将所述数据加密为密文数据；

开源存储单元，用于保存所述密文数据；

核查单元，用于核查开源存储单元中的数据是否为密文数据；

第二加密单元，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据；

解密单元，用于在密文数据从开源存储单元输出时，解密所述密文数据。

优选的，所述的大数据加解密处理系统，还包括：

离线加密单元，用于对存入开源存储单元的数据，在检测数据是否为明文数据之前，对数据进行离线加密，离线加密后的数据输入数据检测单元进行检测。

优选的，所述的大数据加解密处理系统，还包括：

密文检查单元，用于如果所述数据检测单元检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

数据替换单元，用于如果所述密文数据错误，从离线加密单元获取所述密文数据对应的明文数据，替换错误的密文数据；

第三加密单元，用于对数据替换单元获取的明文数据根据所述加密规则和加密算法进行加密。

优选的，所述第一加密单元包括离线加密子单元和在线加密子单元。

优选的，所述解密单元，包括：

权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；

数据解密子单元，用于根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密。

与本申请实施例的第一方面相对应，根据本申请实施例的第二方面，提供一种大数据加解密处理方法，包括：

在数据存入开源存储系统之前，检测数据是否为明文数据；

如果数据为明文数据，将所述数据加密为密文数据；

将密文数据存入开源存储系统；

核查开源存储系统中的数据是否存在明文数据；

当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；

密文数据从开源存储系统输出时，解密所述密文数据。

优选的，所述的大数据加解密处理方法，还包括：

如果检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

如果所述密文数据错误，获取所述密文数据对应的明文数据，替换错误的所述密文数据；

对获取的所述密文数据对应的明文数据根据所述加密规则和加密算法进行加密。

优选的，所述加密为离线加密或者在线加密。

优选的，所述的大数据加解密处理方法，还包括：配置开源存储系统的密文数据处理规则，以对密文数据进行处理。

优选的，所述密文数据从开源存储系统输出时，根据从开源存储系统读取数据的接口的权限对对应的密文数据进行解密。

本申请实施例提供的技术方案可以包括以下有益效果：通过对存入开源存储系统的数据进行加密，在数据输出时进行解密恢复数据本身，保障数据的安全性和用户的隐私不被泄漏，同时不影响数据的正常展示和处理。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一示例性实施例示出的一种大数据加解密处理系统的框图；

图2为本申请另一示例性实施例示出的一种大数据加解密处理系统的框图；

图3为本申请一示例性实施例示出的一种大数据加解密处理方法的流程示意图；

图4为本申请另一示例性实施例示出的一种大数据加解密处理方法的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了全面理解本申请，在以下详细描述中提到了众多具体的细节，但是本领域技术人员应该理解，本申请可以无需这些具体细节而实现。在其他实施例中，不详细描述公知的方法、过程、组件和电路，以免不必要地导致实施例模糊。

根据本申请实施例的第一方面，提供一种大数据加解密处理系统。图1为本申请一示例性实施例示出的一种大数据加解密系统的框图。如图1所示，所述系统可以包括：

数据检测单元U101，用于在数据进入开源存储单元之前，检测数据是否为明文数据；

第一加密单元U102，用于当数据为明文数据时，将所述数据加密为密文数据。

开源存储单元U103，用于存储该密文数据。

其中，开源存储单元U103还可以同时对所述密文数据进行统计、合并等处理，由于对密文数据的统计、合并等处理与对明文数据进行统计、合并的方法和规则不同，因此在一种可能的实施方式中，所述大数据加解密系统还可以包括规则配置单元，所述规则配置单元与开源存储单元连接，用于配置开源存储单元的密文数据处理规则，以对密文数据进行处理。

核查单元U104，用于核查开源存储单元中的数据是否为密文数据；

第二加密单元U105，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据。

解密单元U106，用于在所述密文数据从开源存储单元输出时，解密所述密文数据。

其中，对于需要存入开源存储单元的数据，例如采集平台采集的数据，进入开源存储单元进行存储和处理前，数据检测单元检测数据是否为明文数据。存入的数据可以为明文数据，也可以为已经经过用户加密的数据。所述大数据加解密系统还可以包括离线加密单元，用户可以使用所述离线加密单元对数据进行离线加密后存入开源存储单元，也可以自行将数据进行加密后存入开源存储单元，用户存入自行加密的数据时需将对数据进行加密的加密规则和加密算法同时传输给数据检测单元。相应的，数据检测单元可以根据离线加密单元对数据进行加密的加密规则和加密算法来检测数据，也可以根据用户传输给数据检测单元的加密规则和加密算法来检测数据。所述加密规则用于规定对存入开源存储单元的数据中的哪部分数据进行加密，例如，加密规则要求对数据中的手机号加密，对手机号的加密算法是将手机号的每个数字转换为字母表中数字所对应的顺序的字母，例如手机号13312345678转换为accabcdefgh，则数据检测单元对存入的数据进行检测时，根据加密规则对数据中的手机号进行检测，根据加密算法检测手机号是否以字母表示的，如果是以字母表示的，则手机号已加密，存入的数据是加密后的数据，即非明文数据。需要说明的是，用户使用离线加密工具对数据进行加密或者对数据自行加密，根据加密规则，可以是对所有数据进行加密，也可以是对数据中涉及隐私的部分数据进行加密，对数据中的部分数据进行加密时，数据检测单元相应地也可以根据加密规则只检测被加密的数据。

在一种可能的实施方式中，数据检测单元只检测数据是否被加密，不检测数据是否被正确加密，例如，对手机号的加密算法是将手机号的每个数字转换为字母表中数字所对应的顺序的字母，但手机号13312345678加密后对应的字符串为chinaiphone，数据检测单元则判断手机号已被加密，不对手机号是否被正确加密进行检测。数据检测单元检测到数据已被加密，则数据为密文数据，否则数据为明文数据。

在另一种可能的实施方式中，如果大数据加解密处理系统包括离线加密单元，则数据检测单元可以检测数据是否被加密，并对加密的数据检测数据是否被正确加密，相应地所述大数据加解密处理系统还可以包括：

密文检查单元，用于当所述数据检测单元检测到数据为密文数据时，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

数据替换单元，用于当所述密文数据错误是，从离线加密单元获取所述密文数据对应的明文数据，替换错误的密文数据；

第三加密单元，用于对数据替换单元获取的明文数据根据所述加密规则和加密算法进行加密，所述加密规则和加密算法从密文检查单元或者数据检测单元获取。

例如，对数据中手机号的加密算法是将手机号的每个数字转换为字母表中数字所对应的顺序的字母，如果检测到手机号数据为数字则数据为明文数据，如果检测到手机号数据为字符串，则数据为密文数据。

如果数据为密文数据，进一步根据从数据检测单元获取的密文数据的加密规则和加密算法检测数据是否被正确加密，例如，手机号13312345678加密后对应的字符串为chinaiphone，则数据检测单元判断数据为密文数据，进一步密文检查单元从数据检测单元获取密文数据的加密规则和加密算法，根据所述加密规则和加密算法检查手机号是否被正确加密。如果数据未被正确加密，例如，手机号13312345678未被正确加密，如果数据是通过离线加密单元进行加密的，则数据替换单元从离线加密单元获取未被正确加密的密文数据对应的明文数据替换所述未被正确加密的密文数据，第三加密单元则根据从密文检查单元或者数据检测单元获取的加密规则和加密算法对替换的明文数据重新进行加密，从而保证密文数据的正确性，进而保证解密得到的数据的正确性。

如果数据是用户自行加密后存入的密文数据，由于无法获得明文数据，则可以不检查密文数据是否被加密正确，或使用密文检查单元检查密文数据是否被加密正确，标记加密出错的密文数据供用户备查，但不使用数据替换单元对错误的密文数据进行替换，也不使用第三加密单元进行第三次加密。

其中，由于存入开源存储单元的数据来自很多不同的用户，通过不同接口存入开源存储单元。所述离线加密工具可以提供多种加密规则和加密算法供用户选择，每个用户也可以使用不同的加密规则和加密算法对数据进行加密。相应地数据检测单元对不同用户的数据使用对应的加密规则和加密算法进行检测。数据检测单元获取离线加密工具对不同用户数据的加密规则和加密算法，或者通过离线加密工具加密的数据在存入开源存储系统时将对应的加密规则和加密算法传输给数据检测单元，数据检测单元根据与数据对应的加密规则和加密算法对数据进行检测。对于用户自行加密的密文数据，数据检测单元根据用户传输来的加密规则和加密算法对对应的数据进行检测。

如果所述大数据加解密系统不包括离线加密单元，数据检测单元未收到用户传输的加密规则和加密算法，则可以判断数据为明文数据。数据检测单元也可以根据所有接收到的加密规则和加密算法依次对没有对应的加密规则和加密算法的数据进行检测，如果数据不满足任何加密规则和加密算法，则判断数据为明文数据。

如果所述大数据加解密系统包括离线加密单元，数据检测单元未从离线加密工具获取到数据对应的加密规则和加密算法，亦未收到用户传输的加密规则和加密算法，则可以判断数据为明文数据。数据检测单元也可以根据使用所有获取或接收到的加密规则和加密算法依次对没有对应的加密规则和加密算法的数据进行检测，如果数据不满足任何加密规则和加密算法，则判断数据为明文数据。

如果数据检测单元检测数据为未加密的明文数据，则第一加密单元U102对所述明文数据进行加密。在一种可能的实施方式中，第一加密单元对明文数据提供统一的加密规则和加密算法，例如对所有数据都进行二进制最高位和最低位互换的加密。在另一种可能的实施方式中，第一加密单元U102对明文数据进行检测，根据数据的定义、类型、格式等的选择不同的加密规则和加密算法进行加密，例如对于手机号(11位数字)都加密为字符串，对姓名(数据键值为name，类型为字符串)都加密数字。在又一种可能的实施方式中，第一加密单元U102可以提供多个加密规则和加密算法并提供供用户进行设置的接口，用户可以设置针对自己数据的加密规则和加密算法，第一加密单元U102在接收到经过检测的明文数据后，根据用户设置的对应的加密规则和加密算法对明文数据进行加密。

第一加密单元U102包括在线加密子单元，还可以包括离线加密子单元，对于非持续性的即非实时性的数据，第一加密单元U102可以接收到数据后，使用离线加密子单元对数据集中加密完毕后，存入开源存储单元U103；对于持续性的即实时性的数据，使用在线加密子单元对数据进行实时加密，加密后的数据存入开源存储单元U103。第一加密单元判断数据是实时性的还是非实时性的，可以由用户在数据中设置实时性标记来区分，或者根据数据的时间变化特征进行区分，也可以由第一加密单元提供设置接口让用户对自己的数据的属性进行设置，第一加密单元也可以不判断数据是实时性还是非实时性，由第一加密单元提供接口，由用户选择使用第一加密单元的离线子加密单元或者在线子加密单元对自己的数据进行加密，即选择使用在线加密模式或者离线加密模式。

需要说明的是，本申请实施例提供的大数据加解密处理系统包括离线加密单元时，用户可以对非实时性的数据使用离线加密单元进行加密后经数据检测单元进行检测，对于实时性的数据，使用离线加密单元会影响数据的实时性，用户可以自行对数据进行加密，或者不进行加密，数据直接进入数据检测单元进行检测，由第一加密单元使用在线加密单元进行在线加密，以保证数据的实时性。

数据检测单元U101如果检测到数据为密文数据，或者检测到数据为密文数据且密文检查单元检查密文数据加密正确，则密文数据直接存入开源存储单元U103，如果密文检查单元检查密文数据加密错误，则由第三加密单元对加密错误的数据重新加密后存入开源存储单元U103。所述开源存储单元U103为常规的开源存储单元。将数据加密为密文数据存储于开源存储单元，可以防止数据包含的隐私信息从开源存储单元泄漏。

用户的数据通常通过用户设定的代理由一定的IP地址和端口存入开源存储单元，在本申请实施例中，则是数据先通过用户设定的代理由一定的IP地址和端口进入数据检测单元，如果数据为明文数据，则由第一加密单元进行加密。由于从同一代理存入的数据通常为同一用户的数据，或者是由系统管理员规定的相同定义、类型和格式的数据，在一种可能的实施方式中，对从同一代理存入的明文数据使用同一加密规则和加密算法进行加密，可以简化对明文数据的加密过程和相应的解密过程。第一加密单元也可以对同一代理存入的不同批次的数据使用不同的加密规则和加密算法，例如第一加密单元检测数据定义、类型和格式，根据数据的定义、类型和格式使用不同的加密规则和加密算法，但加密过程会比较复杂，通常也没有对相同的数据使用不同加密规则和加密算法的必要。

其中，核查单元U104从数据检测单元U101获取密文数据的加密规则和加密算法，对开源存储单元U103中的密文数据进行再次检查，如果开源存储单元U103中存在明文数据，即遗漏的未加密的数据，则第二加密单元U105根据核查单元U104获取的对应的加密规则和加密算法将明文数据加密，以进一步保证开源存储单元U103中数据的安全性。

需要说明的是，核查单元所核查的数据只针对需要加密的数据，即需要保护隐私信息的数据。用户需要存入开源存储单元的数据可以包括需要保护的数据和不需要保护的数据，不需要保护的数据在开源存储单元中以明文数据形式存储，不会进行加密，也没有对应的加密规则和加密算法，数据检测单元、密文检查单元和核查单元也不会对这部分数据进行检测和检查。

经过第一加密单元后，存入开源存储单元的数据皆为密文数据，从而保证了数据的隐私性。当开源存储单元中的密文数据输出时，例如被分析平台读取和调用时，解密单元先对输出的密文数据进行解密，解密后的数据再输出到数据接收方(例如分析平台)。对于由第一加密单元加密得到的密文数据，解密单元根据第一加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对由离线加密单元加密得到的密文数据，解密单元根据离线加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对用户自行加密的密文数据，根据用户传输给数据检测单元的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密，并可以向用户提示解密失败。其中，解密规则和解密算法存储于解密单元，由解密单元根据密文数据的加密规则和加密算法选择对应的解密规则和解密算法。用户也可以查询解密单元所具有的解密规则和解密算法，从而选择对应的解密规则和解密算法来对数据自行解密。如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密。

通常开源存储单元的数据通过不同的接口被读取或调用而输出。在一种可能的实施方式中，解密单元根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密，例如，某个接口没有获取明文数据的权限，则解密单元对该接口读取的数据不进行解密；某个接口具有获得完全的明文数据的权限，则解密单元对该接口读取的数据进行完全的解密；某个接口具有获得部分明文数据的权限，则解密单元对该接口读取的数据中可以解密的部分进行解密，所述明文数据为密文数据解密后得到的明文数据。这种情况下，所述解密单元可以包括：

权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；

数据解密子单元，用于根据从开源存储单元读取数据的接口的权限对所述接口读取的密文数据进行解密。

同时所述解密单元还可以提供对用户的交互接口，获取用户输入的密钥后才对与用户的用户信息对应的密文数据进行解密。这种情况下所述解密单元还可以包括：

密钥获取子单元，用于获取用户输入的密钥；

用户信息获取子单元，用于获取用户输入的用户信息。

所述解密单元根据所述密钥获取子单元获取的密钥对与所述用户信息对应的密文数据进行解密。

需要说明的是，由于开源存储单元的数据通过不同的接口被读取或调用而输出，通常不同的接口只可以读取限定的数据，例如某个接口只能读取手机号数据不能读取姓名数据，则解密单元对该接口只解密手机号数据，如果该接口读取了其他数据，则解密单元对其他数据不进行解密。因此解密单元也可以不提供对用户的交互接口，此时解密单元使用预先存储的各个解密密钥自动的对各个接口对应的密文数据进行解密，其中各个接口对应的数据与设置各个接口的用户信息对应。但解密单元提供与用户的交互接口，获取用户输入的密钥后才对对应的数据进行解密，可以更好地防止明文数据从各个接口的泄漏。

图2为本申请另一示例性实施例示出的一种大数据加解密系统的框图。如图2所示，所述系统可以包括：

离线加密单元U201，用于对存入开源存储单元的数据，在检测数据是否为明文数据之前，对数据进行离线加密，离线加密后的数据输入数据检测单元进行检测。

数据检测单元U202，用于在数据进入开源存储单元之前，检测数据是否为明文数据。

其中，需要存入开源存储单元的数据，进入开源存储单元进行存储和处理前，数据检测单元U202检测数据是否为明文数据。存入的数据可以为明文数据，也可以为已经经过用户加密的数据。用户可以使用所述离线加密单元U201对数据进行离线加密后存入开源存储单元，也可以自行将数据进行加密后存入开源存储单元，用户存入自行加密的数据时需将对数据进行加密的加密规则和加密算法同时传输给数据检测单元。相应的，数据检测单元可以根据离线加密工具对数据进行加密的加密规则和加密算法来检测数据，也可以根据用户传输给数据监测单元的加密规则和加密算法来检测数据。

密文检查单元U203，用于当所述数据检测单元U202检测到数据为密文数据时，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确.

数据替换单元U204，用于当所述密文数据错误时，从离线加密单元U201获取所述密文数据对应的明文数据，替换错误的密文数据。

第三加密单元U205，用于对数据替换单元U204获取的明文数据根据所述加密规则和加密算法进行加密，所述加密规则和加密算法从密文检查单元或者数据检测单元获取。

其中，如果数据检测单元U202检测到数据为密文数据，进一步使用密文检查单元U203检查密文数据是否正确加密。密文检查单元U203根据从数据检测单元U202获取的密文数据的加密规则和加密算法检测数据是否被正确加密。如果数据是通过离线加密单元U201进行加密的，则数据替换单元U204从离线加密单元U201获取未被正确加密的密文数据对应的明文数据替换所述未被正确加密的密文数据，第三加密单元U205则根据从密文检查单元U203获取的加密规则和加密算法对替换的明文数据重新进行加密，从而保证密文数据的正确性，进而保证解密得到的数据的正确性。如果数据是用户自行加密后存入的密文数据，由于无法获得明文数据，则可以不检查密文数据是否被加密正确，或使用密文检查单元检查密文数据是否被加密正确，标记加密出错的密文数据供用户备查，但不使用数据替换单元对错误的密文数据进行替换，也不使用第三加密单元进行第三次加密。

第一加密单元U206，用于当数据检测单元检测到数据为明文数据时，将所述数据加密为密文数据。

开源存储单元U207，用于存储密文数据。

其中，数据检测单元U202如果检测到数据为密文数据，且密文检查单元U203检查所述密文数据加密正确，则所述密文数据直接存入开源存储单元U207，如果密文检查单元U203检查密文数据加密错误，则加密错误的密文数据由数据替换单元U204获取对应的明文数据由第三加密单元U205重新加密后存入开源存储单元U207。如果数据检测单元U202检测到数据为明文数据，则所述明文数据由第一加密单元U206加密后由存入开源存储单元U207。

其中，所述第一加密单元U206包括在线加密子单元，还可以包括离线加密子单元，对于非持续性的即非实时性的数据，第一加密单元U206可以接收到数据后，使用离线加密子单元对数据集中加密完毕后，再存入开源存储单元U207；对于持续性的即实时性的数据，使用在线加密子单元对数据进行实时加密，加密后的数据存入开源存储单元U207。

规则配置单元U208，用于配置开源存储单元的密文数据处理规则。

核查单元U209，用于核查开源存储单元U207中的数据是否为密文数据。

第二加密单元U2010，用于当开源存储单元U207中存在明文数据时，将所述明文数据加密为密文数据。

其中，核查单元U209从数据检测单元U202获取密文数据的加密规则和加密算法，对开源存储单元中的密文数据进行再次检查，如果开源存储单元U207中存在明文数据，即遗漏的未加密的数据，则第二加密单元U2010根据核查单元U209获取的对应的加密规则和加密算法将明文数据加密，以进一步保证开源存储单元中数据的安全性。

需要说明的是，核查单元所核查的数据只针对需要加密的数据，即需要保护隐私信息的数据。用户需要存入开源存储单元的数据可以包括需要保护的数据和不需要保护的数据，不需要保护的数据在开源存储单元中以明文数据形式存储，不会进行加密，也没有对应的加密规则和加密算法，数据检测单元、密文检查单元和核查单元也不会对这部分数据进行检测和检查。

解密单元U2011，用于在所述密文数据从开源存储单元U207输出时，解密所述密文数据。

其中，所述解密单元U2011可以包括：

密钥获取子单元，用于获取用户输入的密钥；

用户信息获取子单元，用于获取用户输入的用户信息。

权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；

数据解密子单元，用于根据从开源存储单元读取数据的接口的权限以及所述密钥和用户信息对对应的密文数据进行解密。

其中，当开源存储单元中的密文数据输出时，解密单元先对输出的密文数据进行解密，解密后的数据再输出到数据接收方(例如分析平台)。对于由第一加密单元加密得到的密文数据，解密单元根据第一加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对由离线加密单元加密得到的密文数据，解密单元根据离线加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对用户自行加密的密文数据，根据用户传输给数据检测单元的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密。用户可以查询解密单元所具有的解密规则和解密算法，从而选择对应的加密规则和加密算法来对数据自行加密。

所述解密单元还可以提供对用户的交互接口，获取用户输入的密钥后才对与用户的用户信息对应的密文数据进行解密。同时解密单元可以根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

与本申请实施例的第一方面对应，根据本申请实施例的第二方面，提供一种大数据加解密处理方法。图3为本申请一示例性实施例示出的一种大数据加解密处理方法的流程示意图。如图3所示，所述方法包括：

步骤S301，在数据存入开源存储系统之前，检测数据是否为明文数据；

步骤S302，如果数据为明文数据，将所述明文数据加密为密文数据；

步骤S303，将密文数据存入开源存储系统；

步骤S304，核查开源存储系统中的数据是否存在明文数据；

步骤S305，当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；

步骤S306，密文数据从开源存储系统输出时，解密所述密文数据。

其中，所述开源存储系统与本申请实施例的第一方面中的开源存储单元对应。需要存入开源存储系统的数据，进入开源存储系统进行存储和处理前，检测数据是否为明文数据。存入的数据可以为明文数据，也可以为已经经过用户加密的数据。用户可以使用离线加密工具对数据进行离线加密后存入开源存储系统，也可以自行将数据进行加密后存入开源存储系统。相应的，数据检测可以根据离线加密工具对数据进行加密的加密规则和加密算法来检测数据，也可以根据用户输入的加密规则和加密算法来检测数据。

在一种可能的实施方式中，只检测数据是否被加密，不检测数据是否被正确加密，检测到数据已被加密，则数据为密文数据，否则数据为明文数据。在另一种可能的实施方式中，检测数据是否被加密，并对加密得到的密文数据检测密文数据是否被正确加密，检测密文数据是否被正确加密根据离线加密工具的加密规则和加密算法，或者用户输入的所述密文数据的加密规则和加密算法来进行。如果所述密文数据错误，即未被正确加密，则获取所述密文数据对应的明文数据，替换错误的密文数据，并将获取的明文数据根据所述加密规则和加密算法进行加密。

需要说明的是，如果数据是通过离线加密工具进行加密的，则可以从离线加密工具获取未被正确加密的密文数据对应的明文数据替换未被正确加密的密文数据，如果数据是用户自行加密后存入的密文数据，由于无法获得明文数据，则可以不检查密文数据是否被正确加密，或者，检查密文数据是否被加密正确，标记加密出错的密文数据供用户备查，但不对错误的密文数据进行替换。

由于存入开源存储系统的数据来自很多不同的用户，并通过不同接口存入开源存储系统。所述离线加密工具可以提供多种加密规则和加密算法供用户选择，每个用户也可以使用不同的加密规则和加密算法对数据进行加密，相应地，对不同用户的数据使用对应的加密规则和加密算法进行检测。

如果从离线加密工具不能获取到数据对应的加密规则和加密算法，亦未收到用户输入的数据的加密规则和加密算法，则可以判断数据为明文数据。或者检测到数据不满足任何加密规则和加密算法，则判断数据为明文数据。如果检测到数据为未加密的明文数据，则对所述明文数据进行加密。在一种可能的实施方式中，对明文数据按统一的加密规则和加密算法进行加密，例如对所有数据都进行二进制最高位和最低位互换的加密。在另一种可能的实施方式中，对明文数据进行检测，根据数据的定义、类型、格式等选择不同的加密规则和加密算法进行加密。在又一种可能的实施方式中，可以提供多个加密规则和加密算法并提供供用户进行设置的接口，根据用户设置的对应的加密规则和加密算法对用户存入到开源存储系统的明文数据进行加密。

如果检测到数据为明文数据，对所述明文数据的加密可以为在线加密，也可以为离线加密。对于非持续性的即非实时性的数据，可以使用离线加密工具对数据集中加密完毕后，再存入开源存储系统；对于持续性的即实时性的数据，则对数据进行实时地在线加密，加密后的数据存入开源存储系统。可以根据数据的时间变化特征区分数据为实时性或非实时性，也可以提供设置接口由用户选择使用在线加密模式还是离线加密模式。

需要说明的是，对于实时性的数据，使用离线加密会影响数据的实时性，用户可以自行对实时数据进行加密，或者不进行加密。通过本申请实施例提供的大数据加解密处理方法，在对实时数据进行检测后，进行在线加密，以保证数据的实时性。

用户的数据通常通过用户设定的代理由一定的IP地址和端口存入开源存储系统。由于从同一代理存入的数据通常为同一用户的数据，或者是由系统管理员规定的具有相同定义、类型和格式的数据，在一种可能的实施方式中，对从同一代理存入的明文数据使用同一加密规则和加密算法进行加密。也可以对同一代理存入的不同批次的数据使用不同的加密规则和加密算法，这种方式的加密过程会比较复杂，通常也没有如此实施的必要。

其中，通常开源存储系统还可以同时对所述密文数据进行统计、合并等处理，由于对密文数据的统计、合并等处理与对明文数据进行统计、合并的方法和规则不同，因此在一种可能的实施方式中，配置开源存储单元的密文数据处理规则，以对密文数据进行处理。

其中，步骤S304根据密文数据的加密规则和加密算法核查开源存储系统的数据中是否存在明文数据，所述加密规则和加密算法与数据存入开源存储系统前步骤301检测数据是否为明文数据时的加密规则和加密算法相同。步骤S304对开源存储单元中的密文数据进行再次检查，如果开源存储系统的数据中存在明文数据，即遗漏的未加密的数据，则根据核查时的加密规则和加密算法将所述明文数据加密，以进一步保证开源存储系统中没有遗漏的需加密而未加密的数据，保证数据的安全性。

需要说明的是，核查的数据只针对需要加密的数据，即需要保护隐私信息的数据。用户存入开源存储系统的数据可以包括需要保护的数据和不需要保护的数据，不需要保护的数据在开源存储系统中以明文数据形式存储，不会进行加密，也没有对应的加密规则和加密算法，也不会对这部分数据进行数据检测和核查。

当开源存储系统中的密文数据输出时，先对输出的密文数据进行解密，解密后的数据再输出到数据接收方(例如分析平台)。对于由第一加密单元加密得到的密文数据，解密单元根据第一加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对由离线加密单元加密得到的密文数据，解密单元根据离线加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对用户自行加密的密文数据，根据用户传输给数据检测单元的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。，如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密，并可以向用户提示解密失败。用户可以查询解密单元所具有的解密规则和解密算法，从而选择对应的加密规则和加密算法来对数据自行加密

通常开源存储系统的数据通过不同的接口被读取或被调用而输出。在一种可能的实施方式中，根据从开源存储系统读取数据的接口的权限对对应的密文数据进行解密，例如，某个接口没有获取明文数据的权限，则对该接口读取的数据不进行解密；某个接口具有获得完全的明文数据的权限，则对该接口读取的数据进行完全的解密；某个接口具有获得部分明文数据的权限，则对该接口读取的数据中可以解密的部分进行解密。

同时还可以提供对用户的交互接口，通过交互接口获取用户输入的密钥和用户信息后才对与用户信息对应的密文数据进行解密。需要说明的是，由于开源存储系统的数据通过不同的接口被读取或调用而输出，通常不同的接口只可以读取限定的数据，如果该接口读取了限定数据以外的其他数据，则对其他数据不进行解密。因此也可以不提供对用户的交互接口，而根据预先存储的各个解密密钥自动的对各个接口对应的密文数据进行解密，其中各个接口对应的数据与设置各个接口的用户信息对应。

图4为本申请另一示例性实施例示出的一种大数据加解密处理方法的流程示意图。如图4所示，所述方法包括：

步骤S401，在数据存入开源存储系统之前，检测数据是否为明文数据；

步骤S402，如果检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

步骤S403，如果所述密文数据错误，获取所述密文数据对应的明文数据，替换错误的所述密文数据；

步骤S404，对获取的所述密文数据对应的明文数据根据所述加密规则和加密算法加密为密文数据。

步骤S405，如果数据为明文数据，将所述数据加密为密文数据；

步骤S406，将密文数据存入开源存储系统；

步骤S407，核查开源存储系统中是否存在明文数据；

步骤S408，当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；

步骤S409，配置开源存储系统的密文数据处理规则，以对密文数据进行处理；

步骤S4010，密文数据从开源存储系统输出时，解密所述密文数据。

其中，步骤S407根据密文数据的加密规则和加密算法核查开源存储系统的数据中是否存在明文数据，所述加密规则和加密算法与数据存入开源存储系统前步骤401检测数据是否为明文数据时的加密规则和加密算法，以及步骤S405的加密规则和加密算法相同。步骤S407对开源存储单元中的密文数据进行再次检查，如果开源存储系统的数据中存在明文数据，即遗漏的未加密的数据，则根据核查时加密规则和加密算法将所述明文数据加密，以进一步保证开源存储系统中没有遗漏的需加密而未加密的数据，保证数据的安全性。

需要说明的是，核查的数据只针对需要加密的数据，即需要保护隐私信息的数据。用户需要存入开源存储系统的数据可以包括需要保护的数据和不需要保护的数据，不需要保护的数据在开源存储系统中以明文数据形式存储，不会进行加密，也没有对应的加密规则和加密算法，也不会对这部分数据进行数据检测和核查。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，并存储在一个存储介质中，包括若干指令用以使得一台智能设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储数据和程序代码的介质。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例对应的方法实施例而言，由于其基本相似于系统实施例中的实施过程，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者逆序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、系统或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、系统或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、系统或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大数据加解密处理系统，其特征在于，包括：

数据检测单元，用于在数据存入开源存储单元之前，检测数据是否为明文数据；

第一加密单元，用于当数据为明文数据时，将所述数据加密为密文数据；

开源存储单元，用于保存所述密文数据；

核查单元，用于核查开源存储单元中的数据是否为密文数据；

第二加密单元，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据；

解密单元，用于在密文数据从开源存储单元输出时，解密所述密文数据。

2.如权利要求1所述的大数据加解密处理系统，其特征在于，还包括：

离线加密单元，用于对存入开源存储单元的数据，在检测数据是否为明文数据之前，对数据进行离线加密，离线加密后的数据输入数据检测单元进行检测。

3.如权利要求2所述的大数据加解密处理系统，其特征在于，还包括：

密文检查单元，用于如果所述数据检测单元检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

数据替换单元，用于如果所述密文数据错误，从离线加密单元获取所述密文数据对应的明文数据，替换错误的密文数据；

第三加密单元，用于对数据替换单元获取的明文数据根据所述加密规则和加密算法进行加密。

4.如权利要求1所述的大数据加解密处理系统，其特征在于，所述第一加密单元包括离线加密子单元和在线加密子单元。

5.如权利要求1所述的大数据加解密处理系统，其特征在于，所述解密单元，包括：

权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；

数据解密子单元，用于根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密。

6.一种大数据加解密处理方法，其特征在于，包括：

在数据存入开源存储系统之前，检测数据是否为明文数据；

如果数据为明文数据，将所述数据加密为密文数据；

将密文数据存入开源存储系统；

核查开源存储系统中的数据是否存在明文数据；

当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；

密文数据从开源存储系统输出时，解密所述密文数据。

7.如权利要求6所述的大数据加解密处理方法，其特征在于，还包括：

如果检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；

如果所述密文数据错误，获取所述密文数据对应的明文数据，替换错误的所述密文数据；

对获取的所述密文数据对应的明文数据根据所述加密规则和加密算法进行加密。

8.如权利要求6所述的大数据加解密处理方法，其特征在于，所述加密为离线加密或者在线加密。

9.如权利要求6所述的大数据加解密处理方法，其特征在于，所述方法还包括：配置开源存储系统的密文数据处理规则，以对密文数据进行处理。

10.如权利要求6所述的大数据加解密处理方法，其特征在于，所述密文数据从开源存储系统输出时，根据从开源存储系统读取数据的接口的权限对对应的密文数据进行解密。