CN110336665A - 一种大数据消息加密方法、装置 - Google Patents

Abstract

本公开提供的一种大数据消息加密方法、装置，应用于大数据系统的消息生产者，获取待传输至大数据系统的代理服务器中的目标主题的消息；获取目标主题的加密属性；基于加密属性对消息进行加密和重写处理，将处理结果发送至代理服务器中与目标主题对应的代理主题，以使代理主题对应的物理密码机对处理结果进行解密，得到消息并传输至目标主题。本公开提供的一种大数据消息加密方法、装置，消息生产者在获取目标主题对应的消息及加密属性后，基于加密属性对消息进行加密和重写处理，提高了消息的安全性，并借助物理密码机实现对消息的安全保护，提高了大数据系统中消息的安全性。

Description

一种大数据消息加密方法、装置

技术领域

本公开涉及大数据信息安全技术领域，更具体地说，涉及一种大数据消息加密方法、装置。

背景技术

在大数据系统中，可以采用KafKa消息队列来发送消息，KafKa指的是采用Pub–Sub(发布-订阅)机制的分布式消息队列系统，由消息生产者、代理服务器和消息消费者三种角色构成。消息生产者产生指定主题的消息并将其传入代理服务器集群，代理服务器集群在磁盘存储维护各种主题的消息队列，订阅了某个主题的消息消费者从代理服务器集群中拉取出新产生的消息并对其进行处理。然而，在此过程中，消息的安全性难以得到保证。

综上所述，如何提高大数据系统中消息的安全性是目前本领域技术人员亟待解决的问题。

发明内容

本公开的目的是提供一种大数据消息加密方法，其能在一定程度上解决如何提高大数据系统中消息的安全性的技术问题。本公开还提供了一种大数据消息加密装置、电子设备及计算机可读存储介质。

根据本公开实施例的第一方面，提供一种大数据消息加密方法，应用于大数据系统的消息生产者，包括：

获取待传输至所述大数据系统的代理服务器中的目标主题的消息；

获取所述目标主题的加密属性；

基于所述加密属性对所述消息进行加密和重写处理，将处理结果发送至所述代理服务器中与所述目标主题对应的代理主题，以使所述代理主题对应的物理密码机对所述处理结果进行解密，得到所述消息并传输至所述目标主题。

优选的，所述获取所述目标主题的加密属性，包括：

从所述大数据系统的Zookeeper中读取所述目标主题的公钥、所述目标主题的对称加密算法、所述目标主题的非对称加密算法；

所述基于所述加密属性对所述消息进行加密和重写处理，包括：

生成与所述目标主题对应的随机数；

基于所述随机数、所述目标主题的对称加密算法对所述消息进行加密，得到加密结果；

基于所述目标主题的公钥、所述目标主题的非对称密码算法对所述随机数进行加密，得到数据加密密钥；

将所述数据加密密钥和所述加密结果封装成数字信封；

基于所述数字信封的长度重写消息记录长度，并将所述数字信封和所述消息记录长度作为所述处理结果。

本公开提供的一种大数据消息加密方法，应用于大数据系统的代理服务器，包括：

接收所述大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中；

在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，以使所述目标物理密码机对所述处理结果进行解密，得到所述处理结果对应的消息并传输至所述消息对应的目标主题。

优选的，所述在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，包括：

在所述大数据系统的Zookeeper中读取所述物理密码机集群中各个物理密码机的性能参数；

调用性能评价公式，基于所述性能参数计算各个所述物理密码机的性能分数；

选取数值最小的性能分数对应的物理密码机为所述目标物理密码机并连接；

其中，所述性能评价公式包括：

y＝a*w₁+b*w₂+c*w₃+d*w₄；

其中，y表示所述性能分数；a表示CPU占用率值；w₁表示CPU权重；b表示内存占用率值；w₂表示内存权重；c表示网络带宽占用率值；w₃表示网络带宽权重；d表示网络连接占用率值；w₄表示网络连接权重。

优选的，所述在所述大数据系统的物理密码机集群中选取目标物理密码机并连接之后，还包括：

发送启动虚拟密码机的指令至所述目标物理密码机的宿主机，以使所述宿主机启动所述目标物理密码机上的虚拟密码机；

其中，所述宿主机启动所述虚拟密码机的过程包括：

从所述Zookeeper中读取采用所述物理密码机集群的公钥加密后的所述目标主题的私钥，读取所述目标主题的对称加密算法、所述目标主题的非对称加密算法，并读取虚拟密码机集群的公私钥对；

采用所述物理密码机集群的私钥对所述加密后的所述目标主题的私钥进行解密，得到所述目标主题的私钥并传输至所述虚拟密码机；

传输所述目标主题的对称加密算法、所述目标主题的非对称加密算法及所述虚拟密码机集群的公私钥对至所述虚拟密码机；

其中，所述宿主机在启动第一个虚拟密码机时，生成所述虚拟密码机集群的公私钥对，获取所述目标主题的加密属性，采用所述物理密码机集群的公钥对所述目标主题的私钥进行加密，并将所述虚拟密码机集群的公私钥对、加密后的所述目标主题的私钥、所述目标主题的公钥、所述目标主题的对称加密算法及所述目标主题的非对称加密算法存储至所述Zookeeper。

优选的，还包括：

当所述目标主题终止或删除后，发送停止指令至所述目标物理密码机，以使所述目标物理密码机释放与所述目标主题对应的资源。

本公开提供的一种大数据消息加密方法，应用于大数据系统的物理密码机集群中的物理密码机，包括：

从所述大数据系统的代理服务器的代理主题中拉取处理结果；

传输所述处理结果至自身开启的虚拟密码机中，以使所述虚拟密码机对所述处理结果进行解密，得到目标主题对应的消息并传输至所述目标主题；所述虚拟密码机采用轻量级的容器实现，且所述虚拟密码机与所述容器一一对应；

其中，所述虚拟密码机对所述处理结果进行解密的过程包括：

基于自身保存的所述目标主题的私钥、所述目标主题的非对称密码算法对所述处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于所述随机数、所述目标主题的对称加密算法对所述数字信封中的加密结果进行解密，得到所述目标主题对应的消息。

优选的，还包括：

当有新的物理密码机加入所述物理密码机集群时，接收一次性授权码及所述新的物理密码机的IP地址；

采用所述一次性授权码对自身保存的所述物理密码机集群的公私钥对进行加密，得到加密公私钥对；

基于所述新的物理密码机的IP地址传输所述加密公私钥对至所述新的物理密码机；

其中，所述新的物理密码机对接收的所述加密公私钥对进行处理的过程包括：

验证自身接收的IP地址是否与所述物理密码机的IP地址一致；

若自身接收的IP地址与所述物理密码机的IP地址一致，则基于自身接收的一次性授权码对所述加密公私钥对进行加密；

若解密成功，则得到所述物理密码机集群的公私钥对。

根据本公开实施例的第二方面，提供一种大数据消息加密装置，应用于大数据系统的消息生产者，包括：

第一获取模块，用于获取待传输至所述大数据系统的代理服务器中的目标主题的消息；

第二获取模块，用于获取所述目标主题的加密属性；

第一处理模块，用于基于所述加密属性对所述消息进行加密和重写处理，将处理结果发送至所述代理服务器中与所述目标主题对应的代理主题，以使所述代理主题对应的物理密码机对所述处理结果进行解密，得到所述消息并传输至所述目标主题。

本公开实施例提供的一种大数据消息加密装置，应用于大数据系统的代理服务器，包括：

第一接收模块，用于接收所述大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中；

第一连接模块，用于在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，以使所述目标物理密码机对所述处理结果进行解密，得到所述处理结果对应的消息并传输至所述消息对应的目标主题。

本公开实施例提供的一种大数据消息加密装置，应用于大数据系统的物理密码机集群中的物理密码机，包括：

第一拉取模块，用于从所述大数据系统的代理服务器的代理主题中拉取处理结果；

第一传输模块，用于传输所述处理结果至自身开启的虚拟密码机中，以使所述虚拟密码机对所述处理结果进行解密，得到目标主题对应的消息并传输至所述目标主题；所述虚拟密码机采用轻量级的容器实现，且所述虚拟密码机与所述容器一一对应；

其中，所述虚拟密码机对所述处理结果进行解密的过程包括：

基于自身保存的所述目标主题的私钥、所述目标主题的非对称密码算法对所述处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于所述随机数、所述目标主题的对称加密算法对所述数字信封中的加密结果进行解密，得到所述目标主题对应的消息。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，应用于大数据系统的消息生产者，所述计算机程序被处理器执行时实现如上相应方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，应用于大数据系统的消息生产者，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现如上相应方法的步骤。

本公开提供的一种大数据消息加密方法，应用于大数据系统的消息生产者，获取待传输至大数据系统的代理服务器中的目标主题的消息；获取目标主题的加密属性；基于加密属性对消息进行加密和重写处理，将处理结果发送至代理服务器中与目标主题对应的代理主题，以使代理主题对应的物理密码机对处理结果进行解密，得到消息并传输至目标主题。本公开提供的一种大数据消息加密方法，消息生产者在获取目标主题对应的消息及加密属性后，基于加密属性对消息进行加密和重写处理，提高了消息的安全性，之后，将处理结果发送至代理服务器中的代理主题，从而使得代理主题对应的物理密码机对处理结果进行加密得到消息并传输至目标主题，借助物理密码机实现了对消息的安全保护，提高了大数据系统中消息的安全性。此外，由于目标主题与代理主题对应，代理主题又与物理密码机对应，从而使得消息与物理密码机相对应，也即借助消息对应的物理密码机对处理结果进行解密，借助物理密码机可以方便、灵活地对消息进行保护，适用性较好。本公开提供的大数据消息加密装置、电子设备及计算机可读存储介质也解决了相应技术问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为根据一示例性实施例示出的一种大数据消息加密方法的第一流程图；

图2为根据一示例性实施例示出的一种大数据消息加密方法的第二流程图；

图3为根据一示例性实施例示出的一种大数据消息加密方法的第三流程图；

图4为根据一示例性实施例示出的一种大数据消息加密装置的第一结构示意图；

图5为根据一示例性实施例示出的一种大数据消息加密装置的第二结构示意图；

图6为根据一示例性实施例示出的一种大数据消息加密装置的第三结构示意图；

图7为根据一示例性实施例示出的大数据加密系统的结构示意图；

图8为根据一示例性实施例示出的一种电子设备700的框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

请参阅图1，图1为根据一示例性实施例示出的一种大数据消息加密方法的第一流程图。

本公开涉及的一种大数据消息加密方法，应用于大数据系统的消息生产者，可以包括以下步骤：

步骤S101：获取待传输至大数据系统的代理服务器中的目标主题的消息。

可以理解的是，消息生产者可以先获取待传输至目标主题的消息，本公开涉及的主题指的是大数据系统KafKa消息队列中的主题；大数据系统指的是具备大容量(Volume)、快速化(Velocity)、多样化(Variety)、低价值密度(Value)特点的数据集合及其采集、传输、处理、存储等相关技术的系统；消息队列指的是消息传输过程中保存消息的容器或中间件，提供消息路由并保障消息可靠传递。实际应用中，消息生产者获取的消息可以是消息生产者在外界的控制下生成的消息等。

步骤S102：获取目标主题的加密属性。

可以理解的是，每个目标主题均有自身对应的加密属性，加密属性指的是用于加密操作时所应用的属性，其类型可以根据实际需要确定。

步骤S103：基于加密属性对消息进行加密和重写处理，将处理结果发送至代理服务器中与目标主题对应的代理主题，以使代理主题对应的物理密码机对处理结果进行解密，得到消息并传输至目标主题。

可以理解的是，消息生产者在获取消息及加密属性后，便可以基于加密属性对消息进行加密和重写处理，从而隐藏消息本身，使得外界难以获得消息本身，之后，消息生产者将消息的处理结果发送至代理服务器中的代理主题，代理主题可以为目标主题的备份等，代理主题和目标主题的partition分区及副本一一对应，代理主题对应的物理密码机便可以拉取代理主题中的处理结果，对处理结果进行解密得到消息并传输消息至目标主题，从而实现对消息的加密传输。不难理解，本公开涉及的大数据消息加密方法中，代理服务器需在创建目标主题时一并创建目标主题对应的代理主题，代理主题的名称可以为目标主题的名称与预设前缀的组合，由此可以快速确定出目标主题对应的代理主题，比如目标主题的名称为Topic，预设前缀为Enc，则代理主题的名称可以为Enc-Topic。

本公开提供的一种大数据消息加密方法，应用于大数据系统的消息生产者，获取待传输至大数据系统的代理服务器中的目标主题的消息；获取目标主题的加密属性；基于加密属性对消息进行加密和重写处理，将处理结果发送至代理服务器中与目标主题对应的代理主题，以使代理主题对应的物理密码机对处理结果进行解密，得到消息并传输至目标主题。本公开提供的一种大数据消息加密方法，消息生产者在获取目标主题对应的消息及加密属性后，基于加密属性对消息进行加密和重写处理，提高了消息的安全性，之后，将处理结果发送至代理服务器中的代理主题，从而使得代理主题对应的物理密码机对处理结果进行加密得到消息并传输至目标主题，借助物理密码机实现了对消息的安全保护，提高了大数据系统中消息的安全性。此外，由于目标主题与代理主题对应，代理主题又与物理密码机对应，从而使得消息与物理密码机相对应，也即借助消息对应的物理密码机对处理结果进行解密，借助物理密码机可以方便、灵活地对消息进行保护，适用性较好。

在第一实施例中，为了保证消息的安全性，可以增强消息生产者基于加密属性对消息进行加密和重写处理的复杂性，则获取目标主题的加密属性的过程可以为：从大数据系统的Zookeeper中读取目标主题的公钥、目标主题的对称加密算法、目标主题的非对称加密算法；相应的，基于加密属性对消息进行加密和重写处理的过程可以为：生成与目标主题对应的随机数；基于随机数、目标主题的对称加密算法对消息进行加密，得到加密结果；基于目标主题的公钥、目标主题的非对称密码算法对随机数进行加密，得到数据加密密钥；将数据加密密钥和加密结果封装成数字信封；基于数字信封的长度重写消息记录长度，并将数字信封和消息记录长度作为处理结果。大数据系统的Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，为分布式应用服务提供一致性服务，包括配置维护、域名服务、分布式同步、组服务等。消息生产者生成随机数的方法可以根据实际需要确定。目标主题的公钥、目标主题的对称加密算法、目标主题的非对称加密算法可以在代理服务器创建目标主题后，由代理服务器生成并存储至Zookeeper中。相应的，只需按照与基于加密属性对消息进行加密相反的操作对处理结果进行操作，便可以将处理结果转换为消息本身。

请参阅图2，图2为根据一示例性实施例示出的一种大数据消息加密方法的第二流程图。

本公开涉及的一种大数据消息加密方法，应用于大数据系统的代理服务器，可以包括以下步骤：

步骤S201：接收大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中。

步骤S202：在大数据系统的物理密码机集群中选取目标物理密码机并连接，以使目标物理密码机对处理结果进行解密，得到处理结果对应的消息并传输至消息对应的目标主题。

本公开涉及的大数据消息加密方法，应用于大数据系统的代理服务器时的描述可以参阅应用于消息生产者时的相关描述，在此不再赘述。

在第一实施例中，代理服务器在物理密码机集群中选取目标物理密码机时，为了保证目标物理密码机处理处理结果的效率，可以选取物理密码机集群中性能较好的物理密码机作为目标物理密码机，则在大数据系统的物理密码机集群中选取目标物理密码机并连接的过程可以为：在大数据系统的Zookeeper中读取物理密码机集群中各个物理密码机的性能参数；调用性能评价公式，基于性能参数计算各个物理密码机的性能分数；选取数值最小的性能分数对应的物理密码机为目标物理密码机并连接；其中，性能评价公式包括：y＝a*w₁+b*w₂+c*w₃+d*w₄；其中，y表示性能分数；a表示CPU占用率值；w₁表示CPU权重；b表示内存占用率值；w₂表示内存权重；c表示网络带宽占用率值；w₃表示网络带宽权重；d表示网络连接占用率值；w₄表示网络连接权重。可以理解的是，物理密码机的性能参数可以由物理密码机定时或实时或按预设时间间隔写入Zookeeper中。

在第二实施例中，如果仅仅使用物理密码机对处理结果进行解密，则会出现一个处理结果占用一个物理密码机的情况，使得物理密码机的使用率较低，为了提高物理密码机的使用率，代理服务器在大数据系统的物理密码机集群中选取目标物理密码机并连接之后，还可以发送启动虚拟密码机的指令至目标物理密码机的宿主机，以使宿主机启动目标物理密码机上的虚拟密码机来对处理结果进行解密；

其中，宿主机启动虚拟密码机的过程可以为：从Zookeeper中读取采用物理密码机集群的公钥加密后的目标主题的私钥，读取目标主题的对称加密算法、目标主题的非对称加密算法，并读取虚拟密码机集群的公私钥对；采用物理密码机集群的私钥对加密后的目标主题的私钥进行解密，得到目标主题的私钥并传输至虚拟密码机；传输目标主题的对称加密算法、目标主题的非对称加密算法及虚拟密码机集群的公私钥对至虚拟密码机；

其中，宿主机在启动第一个虚拟密码机时，生成虚拟密码机集群的公私钥对，获取目标主题的加密属性，采用物理密码机集群的公钥对目标主题的私钥进行加密，并将虚拟密码机集群的公私钥对、加密后的目标主题的私钥、目标主题的公钥、目标主题的对称加密算法及目标主题的非对称加密算法存储至Zookeeper。

不难理解，此外，在物理密码机中，一个代理主题可以对应一个虚拟密码机集群，一个虚拟密码机集群内的不同虚拟密码机可以位于不同的物理密码机，一个虚拟密码机集群中虚拟密码机的数量可以根据实际需要确定，一般情况下一个代理主题的每一个partition分区和每一个副本均会对应一个虚拟密码机。此外，虚拟密码机集群中的所有虚拟密码机可以共用一套虚拟密码机集群公私钥对和数字证书来进行密码运算；宿主机将虚拟密码机集群的公私钥对存储至Zookeeper后，当物理密码机中新建虚拟密码机时，宿主机可以直接在Zookeeper中读取虚拟密码机集群的公私钥对并传输至该新建的虚拟密码机，从而使得该新建的虚拟密码机获得虚拟密码机集群的公私钥对。

在第二实施例中，目标主题对应虚拟密码机的寿命可以由目标主题决定，即目标主题终止或删除后，对应虚拟密码机便结束寿命，并释放目标物理密码机上该目标主题所占用的资源，以便为下一个主题服务，则本公开涉及的大数据消息加密方法中，还可以包括：当目标主题终止或删除后，发送停止指令至目标物理密码机，以使目标物理密码机释放与目标主题对应的包含虚拟密码机在内的相关资源。

请参阅图3，图3为根据一示例性实施例示出的一种大数据消息加密方法的第三流程图。

本公开涉及的一种大数据消息加密方法，应用于大数据系统的物理密码机集群中的物理密码机，可以包括以下步骤：

步骤S301：从大数据系统的代理服务器的代理主题中拉取处理结果。

步骤S302：传输处理结果至自身开启的虚拟密码机中，以使虚拟密码机对处理结果进行解密，得到目标主题对应的消息并传输至目标主题；虚拟密码机采用轻量级的容器实现，且虚拟密码机与容器一一对应；

其中，虚拟密码机对处理结果进行解密的过程可以为：

基于自身保存的目标主题的私钥、目标主题的非对称密码算法对处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于随机数、目标主题的对称加密算法对数字信封中的加密结果进行解密，得到目标主题对应的消息。

可以理解的是，物理密码机指的是以实体硬件形式存在的密码机，其可以为用户提供数据的对称/非对称加密解密、数据的完整性校验、数字签名和验证、密钥的生成和存储等密码相关服务，物理密码机可以由密码运算部件和密钥存储部件组成，所以也可以由物理密码机本身对处理结果进行解密，解密原理与虚拟密码机对处理结果进行解密的原理相同。虚拟密码机指的是采用虚拟化技术创建的密码机，虚拟化技术是指通过虚拟化技术将一台计算机虚拟为多台计算机，在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效；创建虚拟密码机的容器指的是一种轻量级的虚拟化技术，容器为应用程序提供了隔离的运行空间，每个容器内都包含一个独享的完整的用户环境空间，并且一个容器内的变动不会影响其他容器的运行环境，容器之间共享一个操作系统内核，使用一些特殊的系统机制如Linux操作系统的namespaces来进行空间隔离，容器引擎(如Docker，类似于VMM)负责容器的全生命周期管理。此外，虚拟密码机集群中各个虚拟密码机通过多进程共享的方式调用密码运算部件和密钥存储部件。

本公开涉及的大数据消息加密方法，应用于物理密码机集群的物理密码机时的描述可以参阅上述实施例的相关描述，在此不再赘述。

当物理密码机第一次加入物理密码机集群时，可以借助一次性授权码将物理密码机集群的参数同步给物理密码机，一次性授权码指的是只能应用一次的授权码，借助一次性授权码可以保证物理密码机集群的参数的安全性，则本公开涉及的大数据消息加密方法中，当有新的物理密码机加入物理密码机集群时，物理密码机接收一次性授权码及新的物理密码机的IP地址；采用一次性授权码对自身保存的物理密码机集群的公私钥对进行加密，得到加密公私钥对；基于新的物理密码机的IP地址传输加密公私钥对至新的物理密码机；其中，新的物理密码机对接收的加密公私钥对进行处理的过程包括：验证自身接收的IP地址是否与物理密码机的IP地址一致，若自身接收的IP地址与物理密码机的IP地址一致，则基于自身接收的一次性授权码对加密公私钥对进行加密，若解密成功，则得到物理密码机集群的公私钥对。

实际应用中，本公开涉及的一种大数据消息加密方法，可以包括以下步骤：

消息生产者获取待传输至大数据系统的代理服务器中的目标主题的消息；从大数据系统的Zookeeper中读取目标主题的公钥、目标主题的对称加密算法、目标主题的非对称加密算法；生成与目标主题对应的随机数；基于随机数、目标主题的对称加密算法对消息进行加密，得到加密结果；基于目标主题的公钥、目标主题的非对称密码算法对随机数进行加密，得到数据加密密钥；将数据加密密钥和加密结果封装成数字信封；基于数字信封的长度重写消息记录长度，并将数字信封和消息记录长度作为处理结果；将处理结果发送至代理服务器中与目标主题对应的代理主题；

代理服务器在大数据系统的Zookeeper中读取物理密码机集群中各个物理密码机的性能参数；调用性能评价公式，基于性能参数计算各个物理密码机的性能分数；选取数值最小的性能分数对应的物理密码机为目标物理密码机并连接；

其中，性能评价公式包括：

y＝a*w₁+b*w₂+c*w₃+d*w₄；

其中，y表示性能分数；a表示CPU占用率值；w₁表示CPU权重；b表示内存占用率值；w₂表示内存权重；c表示网络带宽占用率值；w₃表示网络带宽权重；d表示网络连接占用率值；w₄表示网络连接权重；

目标物理密码机从大数据系统的代理服务器的代理主题中拉取处理结果；传输处理结果至自身开启的虚拟密码机；

虚拟密码机基于自身保存的目标主题的私钥、目标主题的非对称密码算法对处理结果中数字信封中的数据加密密钥进行解密，得到随机数；并基于随机数、目标主题的对称加密算法对数字信封中的加密结果进行解密，得到目标主题对应的消息；传输消息至代理服务器中的目标主题；

当目标主题终止或删除后，代理服务器发送停止指令至目标物理密码机；目标物理密码机释放与目标主题对应的资源。

请参阅图4，图4为根据一示例性实施例示出的一种大数据消息加密装置的第一结构示意图。

本公开涉及的应用于大数据系统的消息生产者的大数据消息加密装置400，可以包括：

第一获取模块410，用于获取待传输至大数据系统的代理服务器中的目标主题的消息；

第二获取模块420，用于获取目标主题的加密属性；

第一处理模块430，用于基于加密属性对消息进行加密和重写处理，将处理结果发送至代理服务器中与目标主题对应的代理主题，以使代理主题对应的物理密码机对处理结果进行解密，得到消息并传输至目标主题。

本公开涉及的应用于大数据系统的消息生产者的大数据消息加密装置，第二获取模块可以包括：

第一获取单元，用于从大数据系统的Zookeeper中读取目标主题的公钥、目标主题的对称加密算法、目标主题的非对称加密算法；

第一处理模块可以包括：

第一生成单元，用于生成与目标主题对应的随机数；

第一加密单元，用于基于随机数、目标主题的对称加密算法对消息进行加密，得到加密结果；

第二加密单元，用于基于目标主题的公钥、目标主题的非对称密码算法对随机数进行加密，得到数据加密密钥；

第一封装单元，用于将数据加密密钥和加密结果封装成数字信封；

第一处理单元，用于基于数字信封的长度重写消息记录长度，并将数字信封和消息记录长度作为处理结果。

请参阅图5，图5为根据一示例性实施例示出的一种大数据消息加密装置的第二结构示意图。

本公开涉及的应用于大数据系统的代理服务器的大数据消息加密装置500，可以包括：

第一接收模块510，用于接收大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中；

第一连接模块520，用于在大数据系统的物理密码机集群中选取目标物理密码机并连接，以使目标物理密码机对处理结果进行解密，得到处理结果对应的消息并传输至消息对应的目标主题。

本公开涉及的应用于大数据系统的代理服务器的大数据消息加密装置，第一连接模块可以包括：

第一读取单元，用于在大数据系统的Zookeeper中读取物理密码机集群中各个物理密码机的性能参数；

第一计算单元，用于调用性能评价公式，基于性能参数计算各个物理密码机的性能分数；

第一连接单元，用于选取数值最小的性能分数对应的物理密码机为目标物理密码机并连接；

其中，性能评价公式包括：

y＝a*w₁+b*w₂+c*w₃+d*w₄；

其中，y表示性能分数；a表示CPU占用率值；w₁表示CPU权重；b表示内存占用率值；w₂表示内存权重；c表示网络带宽占用率值；w₃表示网络带宽权重；d表示网络连接占用率值；w₄表示网络连接权重。

本公开涉及的应用于大数据系统的代理服务器的大数据消息加密装置，还可以包括：

第一发送模块，用于第一连接模块在大数据系统的物理密码机集群中选取目标物理密码机并连接之后，发送启动虚拟密码机的指令至目标物理密码机的宿主机，以使宿主机启动目标物理密码机上的虚拟密码机；

其中，宿主机启动虚拟密码机的过程包括：

从Zookeeper中读取采用物理密码机集群的公钥加密后的目标主题的私钥，读取目标主题的对称加密算法、目标主题的非对称加密算法，并读取虚拟密码机集群的公私钥对；

采用物理密码机集群的私钥对加密后的目标主题的私钥进行解密，得到目标主题的私钥并传输至虚拟密码机；

传输目标主题的对称加密算法、目标主题的非对称加密算法及虚拟密码机集群的公私钥对至虚拟密码机；

其中，宿主机在启动第一个虚拟密码机时，生成虚拟密码机集群的公私钥对，获取目标主题的加密属性，采用物理密码机集群的公钥对目标主题的私钥进行加密，并将虚拟密码机集群的公私钥对、加密后的目标主题的私钥、目标主题的公钥、目标主题的对称加密算法及目标主题的非对称加密算法存储至Zookeeper。

本公开涉及的应用于大数据系统的代理服务器的大数据消息加密装置，还可以包括：

第二发送模块，用于当目标主题终止或删除后，发送停止指令至目标物理密码机，以使目标物理密码机释放与目标主题对应的资源。

请参阅图6，图6为根据一示例性实施例示出的一种大数据消息加密装置的第三结构示意图。

本公开涉及的应用于大数据系统的物理密码机集群中的物理密码机的大数据消息加密装置，可以包括：

第一拉取模块610，用于从大数据系统的代理服务器的代理主题中拉取处理结果；

第一传输模块620，用于传输处理结果至自身开启的虚拟密码机中，以使虚拟密码机对处理结果进行解密，得到目标主题对应的消息并传输至目标主题；虚拟密码机采用轻量级的容器实现，且虚拟密码机与容器一一对应；

其中，虚拟密码机对处理结果进行解密的过程包括：

基于自身保存的目标主题的私钥、目标主题的非对称密码算法对处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于随机数、目标主题的对称加密算法对数字信封中的加密结果进行解密，得到目标主题对应的消息。

本公开涉及的应用于大数据系统的物理密码机集群中的物理密码机的大数据消息加密装置，还可以包括：

第二接收模块，用于当有新的物理密码机加入物理密码机集群时，接收一次性授权码及新的物理密码机的IP地址；

第一加密模块，用于采用一次性授权码对自身保存的物理密码机集群的公私钥对进行加密，得到加密公私钥对；

第二传输模块，用于基于新的物理密码机的IP地址传输加密公私钥对至新的物理密码机；

其中，新的物理密码机对接收的加密公私钥对进行处理的过程包括：

验证自身接收的IP地址是否与物理密码机的IP地址一致；

若自身接收的IP地址与物理密码机的IP地址一致，则基于自身接收的一次性授权码对加密公私钥对进行加密；

若解密成功，则得到物理密码机集群的公私钥对。

请参阅图7，图7为根据一示例性实施例示出的大数据加密系统的结构示意图。在图7中，Broker表示代理服务器，Topic表示主题，Enc-Topic表示代理主题；管理代理模块运行在物理密码机的宿主机，负责物理密码机的注册、密码机集群内的数据同步、密码机状态和负载监控、虚拟密码机的启动/关闭和初始化，物理密码机定期或在新增虚拟密码机后向Kafka系统内部所带的Zookeeper写入本密码机的负载情况和工作状态，包括网络通断状态、密码运算部件工作状态、CPU占用率、内存占用率、网络带宽和网络连接占用率等信息，物理密码机集群构成一个组，各个Topic的虚拟密码机集群各自构成一个组，各个组都采用Zookeeper进行组成员管理、配置维护、分布式同步等，管理代理模块接受集群管理模块的虚拟密码机创建和初始化命令，产生或获取虚拟密码机集群共享的公私钥密钥对以及加密属性，新建和启动Topic及partition对应的虚拟密码机并注入上述参数；物理密码运算部件负责密码机中的密码运算；物理密钥存储部件负责密钥的存储等；图7中各个模块的功能请参阅上述实施例，在此不再赘述。

图8为根据一示例性实施例示出的一种电子设备700的框图。如图8所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的大数据消息加密方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的大数据消息加密方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的大数据消息加密方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的大数据消息加密方法。

本公开实施例提供的一种大数据消息加密装置、电子设备及计算机可读存储介质中相关部分的说明请参见本公开实施例提供的一种大数据消息加密方法中对应部分的详细说明，在此不再赘述。另外，本公开实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本公开。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种大数据消息加密方法，其特征在于，应用于大数据系统的消息生产者，包括：

获取待传输至所述大数据系统的代理服务器中的目标主题的消息；

获取所述目标主题的加密属性；

基于所述加密属性对所述消息进行加密和重写处理，将处理结果发送至所述代理服务器中与所述目标主题对应的代理主题，以使所述代理主题对应的物理密码机对所述处理结果进行解密，得到所述消息并传输至所述目标主题。

2.根据权利要求1所述的方法，其特征在于，所述获取所述目标主题的加密属性，包括：

从所述大数据系统的Zookeeper中读取所述目标主题的公钥、所述目标主题的对称加密算法、所述目标主题的非对称加密算法；

所述基于所述加密属性对所述消息进行加密和重写处理，包括：

生成与所述目标主题对应的随机数；

基于所述随机数、所述目标主题的对称加密算法对所述消息进行加密，得到加密结果；

基于所述目标主题的公钥、所述目标主题的非对称密码算法对所述随机数进行加密，得到数据加密密钥；

将所述数据加密密钥和所述加密结果封装成数字信封；

基于所述数字信封的长度重写消息记录长度，并将所述数字信封和所述消息记录长度作为所述处理结果。

3.一种大数据消息加密方法，其特征在于，应用于大数据系统的代理服务器，包括：

接收所述大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中；

在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，以使所述目标物理密码机对所述处理结果进行解密，得到所述处理结果对应的消息并传输至所述消息对应的目标主题。

4.根据权利要求3所述的方法，其特征在于，所述在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，包括：

在所述大数据系统的Zookeeper中读取所述物理密码机集群中各个物理密码机的性能参数；

调用性能评价公式，基于所述性能参数计算各个所述物理密码机的性能分数；

选取数值最小的性能分数对应的物理密码机为所述目标物理密码机并连接；

其中，所述性能评价公式包括：

y＝a*w₁+b*w₂+c*w₃+d*w₄；

其中，y表示所述性能分数；a表示CPU占用率值；w₁表示CPU权重；b表示内存占用率值；w₂表示内存权重；c表示网络带宽占用率值；w₃表示网络带宽权重；d表示网络连接占用率值；w₄表示网络连接权重。

5.根据权利要求4所述的方法，其特征在于，所述在所述大数据系统的物理密码机集群中选取目标物理密码机并连接之后，还包括：

发送启动虚拟密码机的指令至所述目标物理密码机的宿主机，以使所述宿主机启动所述目标物理密码机上的虚拟密码机；

其中，所述宿主机启动所述虚拟密码机的过程包括：

从所述Zookeeper中读取采用所述物理密码机集群的公钥加密后的所述目标主题的私钥，读取所述目标主题的对称加密算法、所述目标主题的非对称加密算法，并读取虚拟密码机集群的公私钥对；

采用所述物理密码机集群的私钥对所述加密后的所述目标主题的私钥进行解密，得到所述目标主题的私钥并传输至所述虚拟密码机；

传输所述目标主题的对称加密算法、所述目标主题的非对称加密算法及所述虚拟密码机集群的公私钥对至所述虚拟密码机；

其中，所述宿主机在启动第一个虚拟密码机时，生成所述虚拟密码机集群的公私钥对，获取所述目标主题的加密属性，采用所述物理密码机集群的公钥对所述目标主题的私钥进行加密，并将所述虚拟密码机集群的公私钥对、加密后的所述目标主题的私钥、所述目标主题的公钥、所述目标主题的对称加密算法及所述目标主题的非对称加密算法存储至所述Zookeeper。

6.根据权利要求3所述的方法，其特征在于，还包括：

当所述目标主题终止或删除后，发送停止指令至所述目标物理密码机，以使所述目标物理密码机释放与所述目标主题对应的资源。

7.一种大数据消息加密方法，其特征在于，应用于大数据系统的物理密码机集群中的物理密码机，包括：

从所述大数据系统的代理服务器的代理主题中拉取处理结果；

传输所述处理结果至自身开启的虚拟密码机中，以使所述虚拟密码机对所述处理结果进行解密，得到目标主题对应的消息并传输至所述目标主题；所述虚拟密码机采用轻量级的容器实现，且所述虚拟密码机与所述容器一一对应；

其中，所述虚拟密码机对所述处理结果进行解密的过程包括：

基于自身保存的所述目标主题的私钥、所述目标主题的非对称密码算法对所述处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于所述随机数、所述目标主题的对称加密算法对所述数字信封中的加密结果进行解密，得到所述目标主题对应的消息。

8.根据权利要求7所述的方法，其特征在于，还包括：

当有新的物理密码机加入所述物理密码机集群时，接收一次性授权码及所述新的物理密码机的IP地址；

采用所述一次性授权码对自身保存的所述物理密码机集群的公私钥对进行加密，得到加密公私钥对；

基于所述新的物理密码机的IP地址传输所述加密公私钥对至所述新的物理密码机；

其中，所述新的物理密码机对接收的所述加密公私钥对进行处理的过程包括：

验证自身接收的IP地址是否与所述物理密码机的IP地址一致；

若自身接收的IP地址与所述物理密码机的IP地址一致，则基于自身接收的一次性授权码对所述加密公私钥对进行加密；

若解密成功，则得到所述物理密码机集群的公私钥对。

9.一种大数据消息加密装置，其特征在于，应用于大数据系统的消息生产者，包括：

第一获取模块，用于获取待传输至所述大数据系统的代理服务器中的目标主题的消息；

第二获取模块，用于获取所述目标主题的加密属性；

第一处理模块，用于基于所述加密属性对所述消息进行加密和重写处理，将处理结果发送至所述代理服务器中与所述目标主题对应的代理主题，以使所述代理主题对应的物理密码机对所述处理结果进行解密，得到所述消息并传输至所述目标主题。

10.一种大数据消息加密装置，其特征在于，应用于大数据系统的代理服务器，包括：

第一接收模块，用于接收所述大数据系统的消息生产者发送的处理结果，并存储至对应的代理主题中；

第一连接模块，用于在所述大数据系统的物理密码机集群中选取目标物理密码机并连接，以使所述目标物理密码机对所述处理结果进行解密，得到所述处理结果对应的消息并传输至所述消息对应的目标主题。

11.一种大数据消息加密装置，其特征在于，应用于大数据系统的物理密码机集群中的物理密码机，包括：

第一拉取模块，用于从所述大数据系统的代理服务器的代理主题中拉取处理结果；

第一传输模块，用于传输所述处理结果至自身开启的虚拟密码机中，以使所述虚拟密码机对所述处理结果进行解密，得到目标主题对应的消息并传输至所述目标主题；所述虚拟密码机采用轻量级的容器实现，且所述虚拟密码机与所述容器一一对应；

其中，所述虚拟密码机对所述处理结果进行解密的过程包括：

基于自身保存的所述目标主题的私钥、所述目标主题的非对称密码算法对所述处理结果中数字信封中的数据加密密钥进行解密，得到随机数；

并基于所述随机数、所述目标主题的对称加密算法对所述数字信封中的加密结果进行解密，得到所述目标主题对应的消息。