CN113110917B - 基于Kubernetes的数据发现和安全访问方法 - Google Patents

Abstract

本发明公开了一种基于Kubernetes的数据发现和安全访问方法，设置数据平台运营方并在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台，数据提供方通过向管理节点挂载数据源控制器，并在自身挂载数据源代理，通过数据源代理将数据源信息推送到数据源控制器，数据源控制器将数据访问代理部署至数据节点，数据使用方通过管理节点在数据提供方部署数据访问程序，并通过访问程序向数据访问代理进行数据访问。本发明基于Kubernetes设备插件设置了一种数据安全访问框架，以实现多源数据的发现管理与安全访问。

Description

基于Kubernetes的数据发现和安全访问方法

技术领域

本发明属于信息技术领域，更为具体地讲，涉及一种基于Kubernetes的数据发现和安全访问方法。

背景技术

在传统的大数据应用场景中，数据集中式的计算模式十分普遍。但随着数据成为一种生产资料，各数据持有方开始重视自己的数据权益问题。为了防止数据在公共链路上直接传输带来的风险，业界开始分离应用与数据，将应用部署到数据持有方可控的环境内执行，这一方式能够有效避免数据外传产生的权益风险。

但是这种分派应用到不同的数据节点计算的方式，存在着三个主要问题：1、如何实现多源数据的集中管理；2、如何实现数据发现和数据目录的功能；3、如何实现数据的访问代理控制。而这些问题，也导致了“数据孤岛”现象难以被打破。

Kubernetes是一个开源的、用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署，规划，更新，维护的一种机制。目前Kubernetes设备插件的主流使用方式仍是用于挂载边缘设备作为资源，主要是针对硬件设备的管理与使用调度方向，其中以gpu为典型代表，尚无Kubernetes设备插件应用于数据安全访问的相关记载。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Kubernetes的数据发现和安全访问方法，基于Kubernetes设备插件设置了一种数据安全访问框架，以实现多源数据的发现管理与安全访问。

为了实现上述发明目的，本发明基于Kubernetes的数据发现和安全访问方法包括以下步骤：

S1：在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台；管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件；

S2：采用以下方法进行数据发现：

S2.1：数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范；

S2.2：数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口；

S2.3：数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数；

S2.4：数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的grpc服务；

S2.5：数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址；

数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送；

S2.6：数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，包括数据访问代理程序、对应数据源所在位置和数据访问方式，通过步骤S2.3中生成的API服务器的自定义接口下发至数据源代理；

数据源代理在接收到数据访问代理部署请求后，由所在数据节点端的kubelet组件根据该部署请求，从管理节点端的公共镜像仓库中拉取指定的数据访问代理镜像，并根据镜像为指定数据源创建数据访问代理；

S2.7：在数据访问代理部署完成后，管理节点端的数据源控制器通过Kubernetesservice暴露该数据访问代理的服务信息，同时在将该数据源的相关信息添加至数据目录中，数据源相关信息包括数据源信息、数据所在数据节点信息、数据访问方式；

S3：数据使用方采用以下方法进行数据访问：

S3.1：数据使用方通过管理节点端的数据源控制器查询所需使用的数据源信息，并根据对应访问代理的数据访问方式定制开发数据访问程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；

S3.2：数据使用方通过步骤S2.3中生成的API服务器的自定义接口向管理节点的API服务器发起数据访问程序部署请求，在该请求中指定访问代理并提供相关的访问参数，API服务器根据预先设置的权限管理规则对数据使用方的数据访问程序部署请求进行权限验证，如果权限验证通过则进入步骤S3.3，否则向数据使用方反馈权限未通过信息；

S3.3：管理节点端的Kubernetes调度管理模块通过步骤S2.3中生成的API服务器的自定义访问接口，将数据使用方的数据访问程序部署请求转发至对应数据源所在数据节点；

S3.4：数据节点端的kubelet组件根据数据访问程序部署请求从公共镜像仓库中拉取对应数据访问程序镜像，将访问程序以pod的形式运行；

S3.5：数据使用方通过访问程序向数据访问代理进行数据访问，在数据访问过程中，数据访问代理根据其所设置的权限控制规则对数据访问程序进行权限校验与流量控制。

本发明基于Kubernetes的数据发现和安全访问方法，设置数据平台运营方并在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台，数据提供方通过向管理节点挂载数据源控制器，并在自身挂载数据源代理，通过数据源代理将数据源信息推送到数据源控制器，数据源控制器将数据访问代理部署至数据节点，数据使用方通过管理节点在数据提供方部署数据访问程序，并通过访问程序向数据访问代理进行数据访问。

本发明具有以下有益效果：

1)本发明通过基于Kubernetes设备插件挂载数据源并暴露数据源代理访问的方式来达到数据的安全访问控制；

2)本发明可以对于同一数据提供方权属的不同类型数据提供一个统一的管理方式，而数据提供方则只需要根据不同数据源的存储特性定制开发不同的数据访问代理程序即可。

附图说明

图1是本发明基于Kubernetes的数据发现和安全访问方法的具体实施方式流程图；

图2是本发明中数据平台的结构图；

图3是本发明中数据发现的流程图；

图4是本发明中数据访问的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于Kubernetes的数据发现和安全访问方法的具体实施方式流程图。如图1所示，本发明基于Kubernetes的数据发现和安全访问方法的具体步骤包括：

S101：构建基于Kubernetes的数据平台：

在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台。管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件。

图2是本发明中数据平台的结构图。如图2所示，由管理节点和数据节点构成数据平台。数据平台运营方作为一个中立的第三方，提供支撑组件和调度管理工作。数据提供方和数据使用方通过数据平台来完成数据的访问动作。数据平台依托于Kubernetes集群，区分管理节点与数据节点身份。管理节点的作用类似于全数据平台的管理员，负责数据访问程序的调度、数据节点的状态维护等全局信息类的工作，其组件主要包含Kubernetes控制面组件。而数据节点则归属于数据提供方所有，选择部署在数据提供方可控的环境内，其核心组件为Kubernetes的kubelet组件。

S102：数据发现：

图3是本发明中数据发现的流程图。如图3所示，本发明中数据发现的具体步骤包括：

S2.1：挂载数据源控制器：

数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范。

本实施例中数据源控制器集成了Kubernetes CRD controller规范要求的基本功能，基于客户端库client-go进行开发，实现Informer(具有本地缓存和索引的客户端工具)、ResourceEventHandler(资源事件处理)、Workqueue(工作队列)等组件具体的功能处理逻辑；同时包含数据访问代理程序管理，数据源信息管理、数据源访问方式和数据发现规则维护等功能。

S2.2：上传数据访问代理程序镜像：

数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中。数据访问代理程序的具体功能与接口可以根据实际需要来设置，一般来说数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口。

数据源指数据存储来源，常见的数据源包括文件系统、Mysql数据库、ElasticSearch等，在实际应用中可以根据业务需求来进行数据源划分。通过针对不同数据源分别开发数据访问代理程序，以实现一对一的数据访问驱动，从而对不同类型数据进行整合，实现多源数据管理。

S2.3：生成自定义访问接口：

数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数。

后续的数据源管理以及数据访问代理启动过程都需要借助该自定义访问接口进行。

S2.4：挂载数据源代理：

数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的gRPC服务。

S2.5：注册数据源：

数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址。

数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送。

S2.6：生成数据访问代理：

数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，并确定对应数据源所在位置和数据访问方式(如url、接口描述和返回值定义等)，通过步骤S2.3中生成的API服务器的自定义接口下发至对应数据节点端的数据源代理。

数据源代理在接收到数据访问代理部署请求后，由所在数据节点端的kubelet组件根据该部署请求，从管理节点端的公共镜像仓库中拉取指定的数据访问代理镜像，并根据镜像为指定数据源创建数据访问代理。数据访问代理包含Kubernetes的pod与service两类资源。

S2.7：暴露数据访问服务：

在数据访问代理部署完成后，管理节点端的数据源控制器通过Kubernetesservice暴露该数据访问代理的服务信息，同时将该数据源的相关信息添加至数据目录中，数据源相关信息包括数据源信息、数据所在数据节点信息、数据访问方式。

数据源控制器在接收到数据源信息并完成数据访问代理部署后，可以通过步骤S2.3中生成的API服务器的自定义接口对该数据访问代理进行定期检测。当检测到数据访问代理故障时，将对应访问代理的状态更改为不可用；当检测到数据访问代理连接恢复后，再将访问代理的状态更新为可用。

S103：数据访问：

在步骤S102部署好数据访问代理后，数据使用方即可通过数据访问代理进行数据访问。图4是本发明中数据访问的流程图。如图4所示，本发明中数据使用方在进行数据访问的具体步骤包括：

S3.1：上传数据访问程序镜像：

数据使用方通过管理节点端的数据源控制器中的数据目录查询所需使用的数据源相关信息，并根据对应访问代理的数据访问方式定制开发数据访问程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中。

S3.2：发送数据访问程序部署请求：

数据使用方通过步骤S2.3中生成的API服务器的自定义接口向管理节点的API服务器发起数据访问程序部署请求，在该请求中指定访问代理并提供相关的访问参数，API服务器根据预先设置的权限管理规则对数据使用方的数据访问程序部署请求进行权限验证，如果权限验证通过则进入步骤S3.3，否则向数据使用方反馈权限未通过信息。

S3.3：数据访问程序调度：

管理节点端的Kubernetes调度管理模块通过步骤S2.3中生成的API服务器的自定义访问接口，将数据使用方的数据访问程序部署请求转发至对应数据源所在数据节点。

S3.4：运行数据访问程序镜像：

数据节点端的kubelet组件根据数据访问程序部署请求从公共镜像仓库中拉取对应数据访问程序镜像，将数据访问程序以pod的形式运行。

S3.5：数据访问：

数据使用方通过访问程序向数据访问代理进行数据访问，在数据访问过程中，数据访问代理根据其所设置的权限控制规则对数据访问程序进行权限校验与流量控制。

根据以上数据发现和数据访问过程可知，从数据使用方与数据访问程序的角度，只能够看到数据访问代理而无法真正感知真实的数据源，从而保证了数据源的安全性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于Kubernetes的数据发现和安全访问方法，其特征在于，包括以下步骤：

S1：在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台；管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件；

S2：采用以下方法进行数据发现：

S2.1：数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范；

S2.2：数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口；

S2.3：数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数；

S2.4：数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的gRPC服务；

S2.5：数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址；

数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送；

S2.6：数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，包括数据访问代理程序、对应数据源所在位置和数据访问方式，通过步骤S2.3中生成的API服务器的自定义接口下发至数据源代理；

数据源代理在接收到数据访问代理部署请求后，由所在数据节点端的kubelet组件根据该部署请求，从管理节点端的公共镜像仓库中拉取指定的数据访问代理镜像，并根据镜像为指定数据源创建数据访问代理；

S2.7：在数据访问代理部署完成后，管理节点端的数据源控制器通过Kubernetesservice暴露该数据访问代理的服务信息，同时在将该数据源的相关信息添加至数据目录中，数据源相关信息包括数据源信息、数据所在数据节点信息、数据访问方式；通过步骤S2.3中生成的API服务器的自定义接口对该数据访问代理进行定期检测；当检测到数据访问代理故障时，将对应访问代理的状态更改为不可用；当检测到数据访问代理连接恢复后，再将访问代理的状态更新为可用；

S3：数据使用方采用以下方法进行数据访问：

S3.1：数据使用方通过管理节点端的数据源控制器查询所需使用的数据源信息，并根据对应访问代理的数据访问方式定制开发数据访问程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；

S3.2：数据使用方通过步骤S2.3中生成的API服务器的自定义接口向管理节点的API服务器发起数据访问程序部署请求，在该请求中指定访问代理并提供相关的访问参数，API服务器根据预先设置的权限管理规则对数据使用方的数据访问程序部署请求进行权限验证，如果权限验证通过则进入步骤S3.3，否则向数据使用方反馈权限未通过信息；

S3.3：管理节点端的Kubernetes调度管理模块通过步骤S2.3中生成的API服务器的自定义访问接口，将数据使用方的数据访问程序部署请求转发至对应数据源所在数据节点；

S3.4：数据节点端的kubelet组件根据数据访问程序部署请求从公共镜像仓库中拉取对应数据访问程序镜像，将访问程序以pod的形式运行；

S3.5：数据使用方通过访问程序向数据访问代理进行数据访问，在数据访问过程中，数据访问代理根据其所设置的权限控制规则对数据访问程序进行权限校验与流量控制。