CN112995267B - 一种基于Kubernetes集群的数据订阅服务方法和设备 - Google Patents

Abstract

本发明的实施例提供了一种基于Kubernetes集群的数据订阅服务方法和设备。所述方法包括将数据订阅服务进行解耦，得到解耦后的多个服务组件；将解耦后的多个服务组件镜像打包，将镜像文件上传至私有镜像仓库；从私有镜像仓库中提取打包后的服务组件，以容器的形式部署在Kubernetes中，根据服务划分为有状态服务和无状态服务，并为有状态服务和无状态服务配置资源。以此方式，降低服务的耦合度，提升代码复用性；具有弹性伸缩，平行迁移，负载均衡等特性；将服务上云，一次部署多次使用，且实现服务的自动化部署和启动；监控服务运行状态，及时迁移和恢复问题服务；监控资源使用状况，对服务进行扩容和缩容。

Description

一种基于Kubernetes集群的数据订阅服务方法和设备

技术领域

本发明的实施例一般涉及互联网通信技术领域，并且更具体地，涉及一种基于Kubernetes集群的数据订阅服务方法和设备。

背景技术

传统数据订阅服务在部署过程中，开发者通常需要通过各种方式配置服务中的各个组件以及组件依赖的资源，这就要求运维开发人员熟悉服务使用的各个组件和组件之间的关系，导致部署过程困难。同时，传统的部署方式很难实现一次部署多次使用的目标，服务迁移对人员和环境要求非常高，整体过程不仅复杂繁琐，而且耗时耗力，不利于服务运营。

传统的数据订阅服务在开发过程中有高耦合的问题。高耦合架构本质上是一个Client/Server模型，随着集群规模的扩大，缺点也随之暴露出来：

1)无法支持高并发大规模的任务；

2)服务器超载严重，管控风险增大；

3)程序代码关联度过大，不利于模块化处理；

4)维护成本增大，随着功能的增多，服务会越来越臃肿，庞大；

5)无法实现组件的有效、快捷的复用。

发明内容

根据本发明的实施例，提供了一种基于Kubernetes集群的数据订阅服务方案。

在本发明的第一方面，提供了一种基于Kubernetes集群的数据订阅服务方法，该方法包括：

将数据订阅服务进行解耦，得到解耦后的多个服务组件；

将解耦后的多个服务组件镜像打包，将镜像文件上传至私有镜像仓库；

从私有镜像仓库中提取打包后的服务组件，以容器的形式部署在Kubernetes中，根据服务划分为有状态服务和无状态服务，并为有状态服务和无状态服务配置资源。

进一步地，所述解耦后的多个服务组件包括生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer。

进一步地，将所述生产者组件Producer和消费者服务组件Consumer划分为无状态服务，将所述中间件服务组件Kafka划分为有状态服务。

进一步地，当客户端Client与服务器端Server进行通信时，所述生产者组件Producer生产订阅数据，将订阅数据插入到所述中间件服务组件Kafka中，所述消费者服务组件Consumer监听中间件服务组件Kafka，从所述中间件服务组件Kafka中取出订阅数据并进行处理。

进一步地，所述消费者服务组件Consumer根据FIFO方式，当所述中间件服务组件Kafka中有新的订阅数据插入时，取出该订阅数据进行处理。

进一步地，所述消费者服务组件Consumer从中间件服务组件Kafka中提取并处理订阅数据的速度小于所述生产者组件Producer生产订阅数据插入中间件服务组件Kafka的速度。

进一步地，所述将解耦后的多个服务组件镜像打包，包括：

选择基础镜像，并安装程序依赖包；

将配置信息拷贝到所选的基础镜像中，映射出服务端口号；

指定镜像运行命令，打包镜像，得到镜像文件。

进一步地，所述无状态服务使用Kubernetes中的Deployment资源，并设置副本数，配置Horizontal Pod Autoscalers；

所述有状态服务使用Kubernetes中的StatefulSet资源，设置副本数，配置Headless Service。

进一步地，所述有状态服务动态部署分配存储服务。

进一步地，所述存储服务使用Ceph块存储，在Kubernetes上创建StorageClass，为所述有状态服务动态分配PVC和PV。

在本发明的第二方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明将数据订阅服务解耦成多个服务组件，进行镜像打包上云，并部署在Kubernetes中，防止服务因为生产者效率远远超过消费者的处理效率而宕机，并通过Kubernetes使服务易维护、易部署、易迁移，可以自动对服务进行扩容和缩容。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本发明的实施例的基于Kubernetes集群的数据订阅服务方法的流程图；

图2示出了根据本发明的现有技术中传统数据订阅服务模型示意图；

图3示出了根据本发明的数据订阅服务多组件解耦示意图；

图4示出了根据本发明的打包镜像过程流程图；

图5示出了可以用来实施本发明的实施例的电子设备500的示意性框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

本发明中，本发明将数据订阅服务解耦成多个服务组件，进行镜像打包上云，并部署在Kubernetes中，防止服务因为生产者效率远远超过消费者的处理效率而宕机。通过中间件服务组件Kafka降低服务的耦合度，提升代码复用性；基于Kubernetes的云原生平台，具有弹性伸缩，平行迁移，负载均衡等特性；通过安装部署镜像仓库中的镜像文件就能够完成服务的自动化部署和启动；通过监控服务运行状态，及时迁移和恢复问题服务；通过监控资源使用状况，对服务进行扩容和缩容。

图1示出了本发明实施例的基于Kubernetes集群的数据订阅服务方法的流程图。

该方法包括：

S101，将数据订阅服务进行解耦，得到解耦后的多个服务组件。

传统的数据订阅服务使用的模型如图2所示。Server中包含整个服务所用到的所有组件，包含：生产者逻辑组件，消费者逻辑组件。而在应用场景中，生产者的效率往往远远超过消费者的处理效率，从而导致服务瓶颈在于消费者组件，在高并发压力下，甚至会导致服务宕机的风险。

故，在本发明中，将数据订阅服务进行解耦。使用发布-订阅模型，采用kafka+zookeeper的形式，将Server端服务分成三个组件：生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer，如图3所示。

Client与Server进行通信，生产者组件Producer生产订阅数据，并将生产数据插入到中间件服务组件Kafka中，消费者服务组件Consumer发现中间件服务组件Kafka中有新的数据并将新的数据取出进行处理。

由于在生产者组件Producer和消费者服务组件Consumer之间加入了中间件服务组件Kafka，其作为一个数据池，消费者服务组件Consumer和生产者组件Producer是两个同时运行的线程服务。当消费者服务组件Consumer从中间件服务组件Kafka中读取数据并处理时，不会影响生产者组件Producer生产订阅数据并插入中间件服务组件Kafka。是因为数据订阅服务中消费者服务组件Consumer的处理速度远远低于生产者组件Producer生产的速度。也就是说消费者服务组件Consumer处理订阅数据的过程不会阻塞所述生产者组件Producer，生产者组件Producer可以不断向中间件服务组件Kafka中插入数据。

中间件服务组件Kafka起到缓冲的作用，各个组件只需要关心各自的逻辑，不需要关系其他服务的运行状态，从而降低服务的耦合度，提升代码复用性。

进一步地，所述消费者服务组件Consumer根据FIFO(First Input First Output)方式，当所述中间件服务组件Kafka中有新的订阅数据插入时，取出该订阅数据进行消费。先入先出的方式规定了数据进出队列的顺序。

S102，将解耦后的多个服务组件镜像打包，将镜像文件上传至私有镜像仓库。

传统的数据订阅服务需要部署在物理机服务器上，容器导致服务器资源浪费，每一次部署都需要重新进行配置组件的依赖资源和各个组件之间的关系，造成维护成本高。

而本发明通过将数据订阅服务分成生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer等多个组件服务，使用Dockerfile打包成镜像文件，并将镜像文件上传到镜像仓库进行维护。任何环境下，通过安装部署镜像仓库中的镜像文件就能够完成服务的自动化部署和启动。

如图4所示，打包成镜像文件的具体包括：

1)首先选择基础镜像；基础镜像的选择以小为优选，例如From alpine:latest；

2)安装程序依赖包；

3)将配置信息拷贝到所选的基础镜像中；所述配置信息包括：添加环境变量，拷贝配置文件；

4)映射出服务端口号；例如：EXPOSE 5000；

5)指定镜像运行命令；

6)打包镜像，并上传到私有镜像仓库。私有镜像仓库是指存放镜像文件的服务，使得多集群能够共享镜像文件

作为本发明的一种实施例，实现上述打包成镜像文件的代码为：

FROM hub.geovis.io/python3-base//选择基础镜像

RUN mkdir-p/opt/app/\//在镜像中执行命令

COPY Shanghai/usr/share/zoneinfo/Asia///拷贝时区信息到镜像文件

RUN/bin/cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime\

&&echo'Asia/Shanghai'>/etc/timezone//同步镜像中的时区信息

WORKDIR/opt/app///切换工作目录

COPY requirements.txt/opt/app//拷贝配置文件到镜像对应目录

ENV PYTHONUNBUFFERED＝1//设置环境变量

RUN pip3 install-r requirements.txt//安装python依赖包

COPY./opt/app///拷贝代码程序进入镜像

EXPOSE 5000//映射端口5000

ENTRYPOINT["python3"]//镜像运行命令

CMD["-m","consumer_server"]

S103，从私有镜像仓库中提取打包后的服务组件，以容器的形式部署在Kubernetes中，根据服务划分为有状态服务和无状态服务，并为有状态服务和无状态服务配置资源。

传统的数据订阅服务无法保证根据访问流量、服务器压力等参数进行自动的伸缩服务副本，这样容易造成压力过载服务宕机或压力过小浪费资源，并且容灾性差，遇到物理机或者服务因某种原因终止的情况下，也很难及时发现并恢复。

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。利用kubernetes的弹性伸缩能力，将服务组件配置为自动扩展、自动迁移、负载均衡的高可用组件。

将服务上云，发挥微服务的优点，一次部署多次使用。具体包括：

编写YAML文件，将生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer以容器的形式部署在Kubernetes中。YAML文件中会指定对应的镜像信息，通过kubernetes的创建命令创建资源。根据生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer的各自特性分成有状态服务和无状态服务。故，将所述生产者组件Producer和消费者服务组件Consumer划分为无状态服务，将所述中间件服务组件Kafka划分为有状态服务。之所以将中间件服务组件Kafka划分为有状态服务是因为Kafka需要订阅信息保存在运行的容器中，一旦容器重启或重新创建，订阅信息将会丢失，故需要将订阅数据备份，容器发生重启之后，能够及时恢复，从而达到数据持久化。而所述生产者组件Producer和消费者服务组件Consumer因为不需要数据持久化的服务，故被划分为无状态服务。

在本发明的一种实施例中，无状态服务使用Kubernetes中的Deployment资源，并设置默认副本数为3，配置HPA(Horizontal Pod Autoscalers)，根据CPU和内存使用资源进行横向扩展。配置deployment并添加HPA，能够保证不会因为服务压力过大而导致服务卡顿或者运行容器的物理服务器宕机的现象。这种设计方式能够根据容器中CPU压力和内存的使用情况，及时将压力分散，达到负载均衡的效果。

在本发明的一种实施例中，有状态服务使用Kubernetes的StatefulSet资源，设置副本数为3，配置Headless Service。有状态服务需要使用statefulset资源配置，并且需要设置动态可扩展的存储(Ceph块存储)，将每一个容器实例的状态信息保存在Ceph块存储中，达到数据持久化的目的。配置Headless service能够保证与服务通信的其他服务一直保持对应连接，保证数据的正确性。

有状态服务中的容器实例会因为迁移或者宕机而导致重启，使容器实例中的原有数据丢失，故有状态服务需要动态部署分配存储服务。

kubernetes会重新调度并生成新的容器实例，该实例的名称保持不变并且保持与原来的pvc和pv进行连接，与之前的服务共用同一个数据块，能够恢复原有数据，保持服务正确运行。

本发明存储服务使用Ceph块存储，在Kubernetes上创建StorageClass，为有状态服务动态分配PVC(Persistent Volumes Claim)和PV(Persistent Volumes)。

Kubernetes与Ceph的块存储进行结合，能够完成动态创建PVC(PersistentVolumes Claim)和PV(Persistent Volumes)，使得不同的有状态服务实例连接不同的存储块，便于管理和运维。

本发明中，本发明将数据订阅服务解耦成多个服务组件，进行镜像打包上云，并部署在Kubernetes中，防止服务因为生产者效率远远超过消费者的处理效率而宕机。通过中间件服务组件Kafka降低服务的耦合度，提升代码复用性；基于Kubernetes的云原生平台，具有弹性伸缩，平行迁移，负载均衡等特性；通过安装部署镜像仓库中的镜像文件就能够完成服务的自动化部署和启动；通过监控服务运行状态，及时迁移和恢复问题服务；通过监控资源使用状况，对服务进行扩容和缩容。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过电子设备实施例，对本发明所述方案进行进一步说明。

如图5所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可以存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元501执行上文所描述的各个方法和处理，例如方法S101～S103。例如，在一些实施例中，方法S101～S103可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU501执行时，可以执行上文描述的方法S101～S103的一个或多个步骤。备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S101～S103。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (8)

1.一种基于Kubernetes集群的数据订阅服务方法，其特征在于，包括：

将数据订阅服务进行解耦，得到解耦后的多个服务组件，所述解耦后的多个服务组件包括生产者组件Producer、中间件服务组件Kafka和消费者服务组件Consumer；

将解耦后的多个服务组件镜像打包，将镜像文件上传至私有镜像仓库；

从私有镜像仓库中提取打包后的服务组件，以容器的形式部署在Kubernetes中，根据服务划分为有状态服务和无状态服务，将所述生产者组件Producer和消费者服务组件Consumer划分为无状态服务，将所述中间件服务组件Kafka划分为有状态服务，并为有状态服务和无状态服务配置资源，在容器重启或重新创建时，能够及时恢复，达到数据持久化。

2.根据权利要求1所述的方法，其特征在于，当客户端Client与服务器端Server进行通信时，所述生产者组件Producer生产订阅数据，将订阅数据插入到所述中间件服务组件Kafka中，所述消费者服务组件Consumer监听中间件服务组件Kafka，从所述中间件服务组件Kafka中取出订阅数据并进行处理。

3.根据权利要求2所述的方法，其特征在于，所述消费者服务组件Consumer根据FIFO方式，当所述中间件服务组件Kafka中有订阅数据插入时，取出该订阅数据进行处理。

4.根据权利要求1所述的方法，其特征在于，所述将解耦后的多个服务组件镜像打包，包括：

选择基础镜像，并安装程序依赖包；

将配置信息拷贝到所选的基础镜像中，映射出服务端口号；

指定镜像运行命令，打包镜像，得到镜像文件。

5.根据权利要求1所述的方法，其特征在于，所述无状态服务使用Kubernetes中的Deployment资源，并设置副本数，配置Horizontal Pod Autoscalers；

所述有状态服务使用Kubernetes中的StatefulSet资源，设置副本数，配置HeadlessService。

6.根据权利要求5所述的方法，其特征在于，所述有状态服务动态部署分配存储服务。

7.根据权利要求6所述的方法，其特征在于，所述存储服务使用Ceph块存储，在Kubernetes上创建StorageClass，为所述有状态服务动态分配PVC和PV。

8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。

Images