CN112671576A

CN112671576A - 一种Kafka集群安全控制服务的部署方法、装置及设备

Info

Publication number: CN112671576A
Application number: CN202011538317.2A
Authority: CN
Inventors: 孙俊逸
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2021-04-16
Anticipated expiration: 2040-12-23
Also published as: CN112671576B

Abstract

本申请公开了一种Kafka集群安全控制服务的部署方法，包括以下步骤：采用容器技术，构建安全控制服务的镜像；生成安全控制服务的配置，并生成Kafka组件在安全控制服务下的目标配置；拉取镜像至目标节点，解析安全控制服务的配置，以实现部署；启动安全控制服务，并将Kafka组件的配置从原始配置修改为目标配置，使安全控制服务生效。可见，该方法通过容器技术实现Kafka集群安全控制服务的快速、稳定、灵活、可靠的部署与管理，并保证集群环境的最小化影响。此外，本申请还提供了一种Kafka集群安全控制服务的部署装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

Description

一种Kafka集群安全控制服务的部署方法、装置及设备

技术领域

本申请涉及计算机技术领域，特别涉及一种Kafka集群安全控制服务的部署方法、装置、设备及可读存储介质。

背景技术

作为大数据生态中重要的消息订阅发布服务组件，Kafka往往承担着大量业务数据，为保证业务数据安全，通常使用安全控制服务来进行安全保证和权限控制，但安全控制服务往往存在部署繁琐，灵活性低的问题。

发明内容

本申请的目的是提供一种Kafka集群安全控制服务的部署方法、装置、设备及可读存储介质，用以解决目前安全控制服务部署过程繁琐，灵活性低的问题。其具体方案如下：

第一方面，本申请提供了一种Kafka集群安全控制服务的部署方法，包括：

采用容器技术，构建安全控制服务的镜像；

生成所述安全控制服务的配置，并生成Kafka组件在所述安全控制服务下的目标配置；

拉取所述镜像至目标节点，解析所述安全控制服务的配置，以实现部署；

启动所述安全控制服务，并将所述Kafka组件的配置从原始配置修改为所述目标配置，使所述安全控制服务生效。

优选的，所述将所述Kafka组件的配置从原始配置修改为所述目标配置，包括：

记录所述Kafka组件的原始配置，将所述Kafka组件的配置从所述原始配置修改为所述目标配置。

优选的，在所述启动所述安全控制服务，并将所述Kafka组件的配置从原始配置修改为所述目标配置之后，还包括：

将所述Kafka组件的配置从所述目标配置修改为所述原始配置，重启所述Kafka组件，关闭所述安全控制服务。

优选的，在所述将所述Kafka组件的配置从所述目标配置修改为所述原始配置，重启所述Kafka组件，关闭所述安全控制服务之后，还包括：

删除所述安全控制服务。

通过定时任务监测所述安全控制服务的运行状态，并上报。

优选的，所述安全控制服务包括Kerberos服务与Ranger服务。

优选的，所述生成所述安全控制服务的配置，包括：

生成所述安全控制服务的配置，所述安全控制服务的配置包括：Kerberos服务的主从KDC所在的节点、Ranger服务的配置节点及数据库访问配置、Kafka集群的访问端口配置。

第二方面，本申请提供了一种Kafka集群安全控制服务的部署装置，包括：

镜像构建模块：用于采用容器技术，构建安全控制服务的镜像；

服务配置模块：用于生成所述安全控制服务的配置，并生成Kafka组件在所述安全控制服务下的目标配置；

服务部署模块：用于拉取所述镜像至目标节点，解析所述安全控制服务的配置，以实现部署；

服务管理模块：用于启动所述安全控制服务，并将所述Kafka组件的配置从原始配置修改为所述目标配置，使所述安全控制服务生效。

第三方面，本申请提供了一种Kafka集群安全控制服务的部署设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的Kafka集群安全控制服务的部署方法。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的Kafka集群安全控制服务的部署方法。

本申请所提供的一种Kafka集群安全控制服务的部署方法，包括：采用容器技术，构建安全控制服务的镜像；生成安全控制服务的配置，并生成Kafka组件在安全控制服务下的目标配置；拉取镜像至目标节点，解析安全控制服务的配置，以实现部署；启动安全控制服务，并将Kafka组件的配置从原始配置修改为目标配置，使安全控制服务生效。可见，该方法通过容器技术实现Kafka集群安全控制服务的快速、稳定、灵活、可靠的部署与管理，并保证集群环境的最小化影响。

此外，本申请还提供了一种Kafka集群安全控制服务的部署装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的Kafka集群安全控制服务的部署方法实施例一的流程图；

图2为本申请所提供的Kafka集群安全控制服务的部署方法实施例二的整体流程；

图3为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中安全控制服务镜像的组成示意图；

图4为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中服务配置模块的流程图；

图5为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中服务部署模块的流程图；

图6为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中服务管理模块中安全控制服务启动过程的流程图；

图7为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中服务管理模块中安全控制服务关闭过程的流程图；

图8为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中服务管理模块中安全控制服务删除过程的流程图；

图9为本申请所提供的Kafka集群安全控制服务的部署方法实施例二中状态监测模块的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心是提供一种Kafka集群安全控制服务的部署方法、装置、设备及可读存储介质，通过容器技术实现Kafka集群安全控制服务的快速、稳定、灵活、可靠的部署与管理，并保证集群环境的最小化影响。

在介绍本申请的具体实施例之前，先对相关概念进行介绍。

Kafka：Apache基金会旗下的开源组件，高吞吐量的分布式发布订阅消息系统，是大数据生态中数据传输的重要组件。

容器技术：与虚拟化有所不同，其共享同一个操作系统内核，Linux容器将应用进程与系统其他部分隔离开，实现资源的高利用和应用的易移植。

Docker：Docker是一个由Docker公司开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上。

Kerberos：一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。

Ranger:Apache基金会旗下的开源组件，Ranger能够提供集中式安全管理框架,包括授权和审计功能，能针对Hadoop生态的组件进行细粒度的数据访问控制，可以轻松的通过配置策略来控制用户访问权限。

下面对本申请提供的一种Kafka集群安全控制服务的部署方法实施例一进行介绍，参见图1，实施例一包括：

S101、采用容器技术，构建安全控制服务的镜像；

S102、生成安全控制服务的配置，并生成Kafka组件在安全控制服务下的目标配置；

S103、拉取镜像至目标节点，解析安全控制服务的配置，以实现部署；

S104、启动安全控制服务，并将Kafka组件的配置从原始配置修改为目标配置，使安全控制服务生效。

具体的，在启停安全控制服务的时候，Kafka组件的配置也会随之变化。因此，在S102中生成安全控制服务的同时，也需要生成Kafka组件在安全控制服务下的配置，即上述目标配置。

相应的，在部署安全控制服务之后，若需要启动安全控制服务，则需要修改Kafka组件的配置。具体的，启动安全控制服务，关闭Kafka服务，获取之前生成的Kafka组件的目标配置，之后将Kafka组件的配置从原始配置修改为目标配置，重新启动Kafka组件使得配置生效，至此安全控制服务启动成功。

可以理解的是，本实施例在启动安全控制服务之后，还可以实现对安全控制器服务的关闭。为实现关闭安全控制服务的目的，在S104中修改Kafka组件的配置之前，需要先记录下Kafka组件的原始配置。基于此，安全控制服务的关闭过程如下：关闭Kafka组件，关闭安全控制服务，读取预先记录下的Kafka组件的原始配置，之后将Kafka组件的配置从目标配置修改为原始配置，重新启动Kafka组件，至此安全控制服务关闭完成。

实际应用中，在关闭安全控制服务之后，还可以进一步删除安全控制服务。

为了增强系统可靠性，在启动安全控制服务之后，还可以通过定时任务持续监测安全控制服务的运行状态，并上报。此外，安全控制服务可以监测Kafka组件及其他服务的运行状态。

本实施例提供一种Kafka集群安全控制服务的部署方法，克服了现有技术中的以下问题：安全控制服务的部署、配置及启动过程十分繁琐，通常只能通过手动进行配置，并且一旦安装安全控制服务，无法进行安全控制服务的灵活启动。实现了以下目的：

1、自动化构建安全控制服务的镜像；

2、简化安全控制服务的配置过程；

3、自动化部署安全控制服务；

4、灵活启动安全控制服务。

下面开始详细介绍本申请提供的一种Kafka集群安全控制服务的部署方法实施例二。

相对于实施例一，本实施例还克服了现有技术中的以下问题：现有技术中，一旦安装安全控制服务，无法进行安全控制服务的灵活开关，即便通过手动方式关闭，其相关依赖也无法从系统环境中清除。

针对上述问题，本实施例设置了五个模块：镜像构建模块、服务配置模块、服务部署模块、服务管理模块、状态监测模块。其中，镜像构建模块实现了自动化构建安全控制服务的镜像；服务配置模块用于对安全控制服务进行配置，记录集群历史配置等，简化了对安全控制服务器的配置过程；服务部署模块用于安全控制服务的实际部署，实现了自动化部署安全控制服务至目标节点的目的；服务管理模块用于对安全控制服务的启动、关闭、删除，实现对安全控制服务的灵活管理；状态监测模块监测安全控制服务和Kafka组件的运行状态，提升可靠性。

此外，针对属于Hadoop大数据生态的Kafka组件，本实施例选用Kerberos服务与Ranger服务作为Kafka组件的安全控制服务。Kerberos服务能够保证非安全环境下的通信数据安全，Ranger服务能够提供细粒度的数据访问控制，通过Ranger WebUI即可进行权限管理。

图2为本实施例的整体流程，如图2所示，本实施例的实施过程主要包括：构建安全控制服务的镜像，对安全控制服务进行配置管理，部署安全控制服务，进行安全控制服务的启停控制，对安全控制服务进行状态监测。这些过程分别由前述五个模块中相应的模块实现，下面分别对本实施例的各个模块进行详细介绍。

第一，镜像构建模块

镜像构建模块负责安全控制服务的镜像制作与发布，若安全控制服务存在版本更新，可第一时间进行镜像构建并发布，供Kafka集群使用。

具体的，针对Kerberos服务、Ranger服务，通常分别制作相应的服务镜像，其镜像的构成大体一致，均由基础容器镜像、服务依赖配置、安全控制服务组成，如图3所示。基础容器镜像指基础系统镜像，由于容器的易移植特性，其镜像可在不同Linxu环境上运行，通常采用CentOS、Ubuntu系统作为基础系统镜像；服务依赖配置基于基础系统镜像安装服务所依赖的相关工具包等；最后安装安全控制服务构建安全控制服务镜像。

若采用Docker方式，可通过编写Dockerfile文件来定义上述的镜像构建过程，实现自动的镜像构建，之后将构建完成的镜像推送至集群内的镜像仓库供集群拉取使用。

若安全控制服务版本更新，也可通过上述过程重新构建镜像并更新。

第二，服务配置模块

服务配置模块负责集群内Kafka组件、安全控制服务的配置管理，在Kafka集群开启、关闭安全按控制服务时提供相对应的正确配置，保证服务可正常启用，同时保留配置更改记录，允许安全控制服务的开启及关闭的切换操作。

具体的，如图4所示，在开启Kafka组件的安全控制服务前，需指定安全控制服务的基础配置，包括Kerberos的主、从KDC所在的节点，Ranger服务的配置节点及相应的数据库访问配置，Kafka集群的访问端口配置。服务配置模块记录安全控制服务的基础配置，并以版本的形式记录每次启动安全控制服务之前Kafka组件的历史配置/原始配置。

此外，由于安全控制服务需要Kafka组件更改特定的配置信息，包括ranger-kafka-audit.xml、ranger-kafka-security.xml及Kerberos等相关配置，其更改方式通常为固定，服务配置模块将依据安全控制服务来对Kafka配置进行修改，生成安全控制服务启动时Kafka组件的目标配置。

第三，服务部署模块

服务部署模块负责安全控制服务的实际部署。具体的，如图5所示，首先在目标节点进行基础Docker的环境搭建，并将安全控制服务的镜像拉取至目标节点，从服务配置模块获取安全控制服务的配置，解析安全控制服务的配置，并挂载至容器内指定路径内，之后启动后安全控制服务，并检测容器启动状态。

第四，服务管理模块

服务管理模块负责管理安全控制服务，具体的，解析实际操作指令后获取相关配置信息，对Kafka组件及安全控制服务进行实际管理操作，包括对安全控制服务的启动、停止、删除。下面分别对这三个过程进行介绍。

安全控制服务启动过程如图6所示，包括：接收启动命令，通过容器内执行命令启动安全控制服务，Kerberos执行systemctl start krb5kdc，Ranger执行启动脚本以启动服务，并进行安全控制服务检测：Kerberos进行KDC连通测试，Ranger进行服务进程检测，只有安全控制服务正常才会进行后续操作。首先需关闭Kafka组件，从服务配置模块获取安全控制服务下的Kafka组件的目标配置并进行修改，重新启动Kafka组件使得配置修改生效，进行Kafka组件检测，通过授权用户进行简单生产消费验证Kafka组件状态，验证通过后结束整个操作，完成安全控制服务的启动。

安全控制服务关闭过程如图7所示，包括：首先停止Kafka组件，之后再通过容器内执行命令停止安全控制服务，从服务配置模块读取Kafka组件的原始配置，修改配置并重启Kafka组件，并通过服务检查确定Kafka组件状态，正常完成后关闭安全控制服务。

在安全控制服务停止后可进行安全控制服务删除操作，安全控制服务删除过程如图8所示，包括：在接受到删除指令后，若安全控制服务已停止可将安全控制服务容器停止并删除，此操作能够将安全控制服务完全删除，保证系统内不存在安全环境残留，且后续仍可重新进行安全控制服务的部署启用，保证集群的最小化影响，安全控制服务的快速、稳定、灵活、可靠的部署与管理。

第五，状态监测模块

状态监测模块负责Kafka集群内服务的状态监测，如图9所示，若集群启动了安全控制服务，一方面，通过定时任务上报Kafka组件及安全控制服务的实际状态，另一方面，通过安全控制服务定时检查和Kafka服务定时检查来监测集群内各个服务状态并实时上报，在状态出现异常时及时通知。

可见，本实施例提供的一种Kafka集群安全控制服务的部署方法，通过镜像构建模块、服务配置模块、服务部署模块、服务管理模块、状态监测模块五个模块实现Kafka集群安全控制服务的快速、稳定、灵活、可靠的部署与管理，并保证集群环境的最小化影响，解决以往安全控制服务存在的部署繁琐、不易删除、灵活性低、难以管理的问题。在保有安全控制服务的功能情况下实现Kafka集群安全控制服务的灵活管理，降低人力成本。

下面对本申请实施例提供的Kafka集群安全控制服务的部署装置进行介绍，下文描述的Kafka集群安全控制服务的部署装置与上文描述的Kafka集群安全控制服务的部署方法可相互对应参照。

本实施例的Kafka集群安全控制服务的部署装置，包括：

本实施例的Kafka集群安全控制服务的部署装置用于实现前述的Kafka集群安全控制服务的部署方法，因此该装置中的具体实施方式可见前文中的Kafka集群安全控制服务的部署方法的实施例部分，在此不再展开介绍。

另外，由于本实施例的Kafka集群安全控制服务的部署装置用于实现前述的Kafka集群安全控制服务的部署方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种Kafka集群安全控制服务的部署设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上文所述的Kafka集群安全控制服务的部署方法。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的Kafka集群安全控制服务的部署方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种Kafka集群安全控制服务的部署方法，其特征在于，包括：

采用容器技术，构建安全控制服务的镜像；

2.如权利要求1所述的方法，其特征在于，所述将所述Kafka组件的配置从原始配置修改为所述目标配置，包括：

3.如权利要求2所述的方法，其特征在于，在所述启动所述安全控制服务，并将所述Kafka组件的配置从原始配置修改为所述目标配置之后，还包括：

4.如权利要求3所述的方法，其特征在于，在所述将所述Kafka组件的配置从所述目标配置修改为所述原始配置，重启所述Kafka组件，关闭所述安全控制服务之后，还包括：

删除所述安全控制服务。

5.如权利要求1所述的方法，其特征在于，在所述启动所述安全控制服务，并将所述Kafka组件的配置从原始配置修改为所述目标配置之后，还包括：

通过定时任务监测所述安全控制服务的运行状态，并上报。

6.如权利要求1-5任意一项所述的方法，其特征在于，所述安全控制服务包括Kerberos服务与Ranger服务。

7.如权利要求6所述的方法，其特征在于，所述生成所述安全控制服务的配置，包括：

8.一种Kafka集群安全控制服务的部署装置，其特征在于，包括：

9.一种Kafka集群安全控制服务的部署设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的Kafka集群安全控制服务的部署方法。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的Kafka集群安全控制服务的部署方法。