CN116170389A - 业务容器引流方法、系统及计算机集群 - Google Patents

Abstract

本发明提供了业务容器引流方法、系统及计算机集群，业务容器引流方法包括：在工作节点配置的安全容器中配置由第一虚拟网卡与第二虚拟网卡所组建的第一虚拟网线，第一虚拟网卡配置数据报文检测单元；为安全容器与业务容器分别创建第二虚拟网线与第三虚拟网线，将第三虚拟网线迁移至安全容器以形成第四虚拟网线，在安全容器与业务容器之间建立第五虚拟网线；下发引流策略并基于引流策略通过第四虚拟网线与第五虚拟网线对业务容器执行引流。本申请解决了现有技术中使用CNI组件对业务容器执行引流过程中所存在的通用性不强的技术问题，实现了在对业务容器执行引流过程中不被用户所感知，并有效地避免了工作节点的单点问题。

Description

业务容器引流方法、系统及计算机集群

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种业务容器引流方法、系统及计算机集群。

背景技术

CNI（容器网络接口）是Kubernetes集群中调用网络实现的接口。CNI 旨在为容器平台提供网络的标准化，为解决容器网络连接和容器销毁时的资源释放，提供了一套框架。Node作为Kubernetes集群中的工作节点用于运行应用程序，其管理的最小运行单元是Pod。Node（即，工作节点）上运行Kubelet、kube-proxy，以负责执行Pod的创建、启动、监控、重启、销毁、以及实现软件模式的负载均衡。每一个Pod中部署一个或者多个业务容器（Container）。CNI组件负责为业务容器创建虚拟网卡，以实现同一工作节点内部署的多个业务容器之间的通信。CNI组件的实现方式包括Overlay、路由、Underlay，由于现有技术中存在由于CNI组件实现方式存在多样化及不统一的原因，从而导致了通用性不强，因此导致现有技术中同一工作节点内业务容器引流效果不佳。

申请人经过检索后指出公开号为CN112099900A的中国发明专利公开了《一种基于Sidecar模式的容器安全方法及系统》。该现有技术通过和容器应用container位于同一POD内的Sidecar模式下的容器鉴权执行代理container实现容器应用container与宿主机kernel交互。当节点数量增加时，应用container与鉴权执行代理容器container的数量也会响应地增加，从而存在资源消耗及资源调度成本较大的缺陷，且该现有技术并不支持进出同一工作节点内的多个容器的数据报文所形成的流量执行业务容器的引流。

有鉴于此，有必要对现有技术中的对同一工作节点所部署的容器之间进行引流的技术方案予以改进，以解决上述问题。

发明内容

本发明的目的在于揭示一种业务容器引流方法、业务容器引流系统及计算机集群，用以实现同一工作节点所部署的业务容器之间实现引流，解决现有技术中使用CNI组件对业务容器执行引流过程中所存在的通用性不强的技术问题，避免在对业务容器执行引流过程中对业务容器的虚拟网卡及MAC地址进行修改，以避免用户感知部署业务容器的工作节点的变化并防止出现单点问题。

为实现上述目的之一，本发明首先提供了业务容器引流方法，对同一工作节点的业务容器执行引流，

包括：

在所述工作节点配置的安全容器中配置由第一虚拟网卡与第二虚拟网卡所组建的第一虚拟网线，所述第一虚拟网卡配置数据报文检测单元；

为安全容器与业务容器分别创建第二虚拟网线与第三虚拟网线，将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线，在所述安全容器与业务容器之间建立第五虚拟网线；

下发引流策略至所述第二虚拟网卡、第二虚拟网线、第四虚拟网线及第五虚拟网线，所述第四虚拟网线与第五虚拟网线基于所述引流策略对业务容器执行引流。

作为本发明的进一步改进，所述第二虚拟网线两端分别形成第三虚拟网卡与第四虚拟网卡，所述第三虚拟网线两端分别形成第五虚拟网卡与第六虚拟网卡；

所述第三虚拟网卡，第四虚拟网卡，第五虚拟网卡与第六虚拟网卡均由同一种CNI组件在对业务容器执行引流前予以创建。

作为本发明的进一步改进，所述第三虚拟网卡，第四虚拟网卡，第五虚拟网卡与第六虚拟网卡被同一种CNI组件予以创建以分别形成第二虚拟网线与第三虚拟网线，且在对业务容器执行引流过程中不依赖创建所述第二虚拟网线与第三虚拟网线的CNI组件建立所述第五虚拟网线，所述第五虚拟网线由管理员以命令行形式予以创建。

作为本发明的进一步改进，还包括：在建立所述第四虚拟网线与第五虚拟网线后，由所述数据报文检测单元对业务容器执行引流进出所述业务容器的数据报文执行清洗和/或过滤。

作为本发明的进一步改进，还包括：在将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线过程中，通过所述数据报文检测单元修改第五虚拟网卡与第六虚拟网卡的名称，且不修改第五虚拟网卡与第六虚拟网卡的MAC地址，所述第四虚拟网线两端分别形成第七虚拟网卡与第八虚拟网卡；所述第四虚拟网卡与第八虚拟网卡暴露于其所属工作节点的内核空间的外部，所述第三虚拟网卡与第七虚拟网卡部署其所属工作节点的内核空间。

作为本发明的进一步改进，所述第五虚拟网线分别形成部署于安全容器的第九虚拟网卡与部署于业务容器的第十虚拟网卡；当数据报文到达所述第八虚拟网卡时，通过所述第四虚拟网线转发至第七虚拟网卡，由所述第七虚拟网卡将数据报文转发至所述第二虚拟网卡，在所述数据报文检测单元对业务容器执行引流进出所述业务容器的数据报文执行清洗和/或过滤后，将数据报文转发至第九虚拟网卡，以基于所述引流策略通过所述第五虚拟网线对业务容器执行引流。

作为本发明的进一步改进，所述引流策略被下发至第三虚拟网卡，数据报文通过所述第二虚拟网线进出所述安全容器，所述数据报文通过所述第四虚拟网线与第五虚拟网线进出所述业务容器。

作为本发明的进一步改进，在对业务容器执行引流过程中，当数据报文达到第二虚拟网卡时，触发将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线的修改事件。

作为本发明的进一步改进，还包括：通过所述数据报文检测单元对进出所述第二虚拟网卡的数据报文基于用户下发的用户规则对进出所述业务容器的数据报文执行清洗和/或过滤，所述用户规则包括防火墙规则。

作为本发明的进一步改进，所述引流策略选自tc策略或者流表策略，所述引流策略由部署于安全容器中的引流策略下发单元在对业务容器执行引流之前予以下发。

作为本发明的进一步改进，还包括：对同一工作节点的多个业务容器执行引流，每一个业务容器分别建立所述第四虚拟网线与第五虚拟网线，以通过第二虚拟网卡的引流策略独立地为每个业务容器执行引流。

作为本发明的进一步改进，还包括：由所述第二虚拟网线对安全容器下发安全规则，并对业务容器在执行引流过程中所形成的流量执行监控。

基于相同发明思想，本申请还揭示了业务容器引流系统，包括：

部署于同一工作节点中的安全容器及至少一个业务容器，所述安全容器中配置用于下发引流策略的引流策略下发单元，所述安全容器中配置由第一虚拟网卡与第二虚拟网卡所组建的第一虚拟网线，所述第一虚拟网卡配置数据报文检测单元，所述安全容器与业务容器之间分别创建第二虚拟网线与第三虚拟网线，将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线，在所述安全容器与业务容器之间建立第五虚拟网线，所述引流策略下发单元下发引流策略至所述第二虚拟网卡、第二虚拟网线、第四虚拟网线及第五虚拟网线，所述第四虚拟网线与第五虚拟网线基于所述引流策略对业务容器执行引流。

作为本发明的进一步改进，所述第二虚拟网线与第三虚拟网线均被同一种CNI组件予以创建，所述第五虚拟网线不依赖创建所述第二虚拟网线与第三虚拟网线的CNI组件建立，且由管理员以命令行形式予以创建。

作为本发明的进一步改进，在将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线过程中，通过所述数据报文检测单元修改第三虚拟网线两端分别形成的第五虚拟网卡与第六虚拟网卡的名称。

作为本发明的进一步改进，所述第二虚拟网线两端分别形成第三虚拟网卡与第四虚拟网卡，所述引流策略下发单元下发所述引流策略至所述第三虚拟网卡，数据报文通过所述第二虚拟网线进出所述安全容器，并通过所述第四虚拟网线与第五虚拟网线进出所述业务容器。

作为本发明的进一步改进，所述业务容器引流系统还包括：

连接第四虚拟网卡并对安全容器下发安全规则的控制器；

所述数据报文检测单元对进出所述第二虚拟网卡的数据报文基于用户通过所述控制器及第二虚拟网线向安全容器下发的用户规则对数据报文执行清洗和/或过滤，所述用户规则包括防火墙规则。

最后，本申请还揭示了一种计算机集群，包括：

控制器，至少一个工作节点及纳管所述工作节点的控制管理平面；

所述工作节点仅部署一个安全容器及至少一个业务容器，所述安全容器配置数据报文检测单元及用于下发引流策略的引流策略下发单元；

所述工作节点运行如上述任一项发明创造所述的业务容器引流方法，以对同一工作节点的业务容器执行引流。

作为本发明的进一步改进，所述安全容器与业务容器分别创建第二虚拟网线与第三虚拟网线，所述控制管理平面连接所述第二虚拟网线，由所述第二虚拟网线对安全容器下发安全规则并对业务容器在执行引流过程中所形成的流量执行监控。

作为本发明的进一步改进，

所述数据报文检测单元部署于安全容器，或者，

所述数据报文检测单元部署于独立于安全容器的数据库。

与现有技术相比，本发明的有益效果是：

在本申请中，第三虚拟网线由同时创建第二虚拟网线与第三虚拟网线的同一种CNI组件所创建，且在对业务容器执行引流前将第三虚拟网线迁移至安全容器以形成第四虚拟网线，不依赖前述CNI组件创建第五虚拟网线，基于引流策略通过第四虚拟网线与第五虚拟网线对业务容器执行引流，由此使得在对进出业务容器的数据报文执行引流的整个过程中不依赖CNI组件，从而解决了现有技术中使用CNI组件对业务容器执行引流过程中所存在的通用性不强的技术问题；

同时，在本申请中，在对业务容器执行引流过程中通过安全容器对业务容器执行引流过程中对进出业务容器的数据报文执行清洗和/或过滤，由于不需要使用虚拟交换机或者虚拟路由器，从而使得在对业务容器执行引流过程中不被用户所感知，且有效地避免了工作节点的单点问题。

附图说明

图1为本发明业务容器引流方法的整体流程图；

图2为本发明一种计算机集群的整体拓扑图，计算机集群所部署的多个工作节点（即，Node-1~Node-n）被控制器所纳管的示意图，其中，同一工作节点中创建安全容器并由安全容器所部署的引流策略下发单元将引流策略配置至位于工作节点的内核空间的各个虚拟网卡，每一个工作节点中运行如图1中的业务容器引流方法；

图3为将图2中业务容器中由CNI组件创建的虚拟网线两端所包含的两个虚拟网卡从业务容器中执行迁移并移动至安全容器以形成第四虚拟网线的示意图；

图4为在安全容器与业务容器之间重新建立第五虚拟网线的示意图；

图5为同一工作节点中安全容器与两个业务容器的示意图，其中，图5省略示出引流策略下发单元；

图6为同一工作节点中安全容器与两个业务容器执行引流的示意图；

图7为数据报文检测单元部署于独立于安全容器的数据库的示意图；

图8为数据报文检测单元对数据报文执行清洗和/或过滤所生成结果的示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

需要说明的是，当一个元件/组件被认为是“连接”另一个元件/组件，它可以是直接连接到另一个元件/组件或者可能同时存在居中元件/组件。在详细阐述本申请所含技术方案及发明思想之前，对本申请所涉及的部分术语或者缩写所指技术含义予以简述或者定义。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

参图1所示，本申请首先揭示了一种业务容器引流方法，以对同一工作节点的一个或者多个业务容器执行引流。工作节点参图2中的Node-1至Node-n所示。为简化阐述，在本申请中对工作节点Node-1中的业务容器11执行引流的技术场景予以范例性阐述。工作节点Node-1中部署一个安全容器10与至少一个业务容器11，以通过该业务容器引流方法对数据报文进出业务容器11所形成的数据报文执行引流操作，且可对不同的业务容器11单独执行引流。示例性地，参图2所示，计算机集群100中包含工作节点Node-1~工作节点Node-n，工作节点Node-1中包含一个业务容器（参图4）或者多个业务容器（参图5）。引流过程中进出业务容器的含义可被理解为数据报文流入业务容器及流出业务容器的过程。

本申请所揭示的一种业务容器引流方法包括如下步骤S1至步骤S3。

步骤S1、在工作节点配置的安全容器10中配置由第一虚拟网卡110与第二虚拟网卡111所组建的第一虚拟网线31，第一虚拟网卡110配置数据报文检测单元30。第一虚拟网线31两端分别形成第一虚拟网卡110与第二虚拟网卡111。

步骤S2、为安全容器10与业务容器11分别创建第二虚拟网线32与第三虚拟网线33，将第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34，在安全容器10与业务容器11之间建立第五虚拟网线35。

第二虚拟网线32两端分别形成第三虚拟网卡112与第四虚拟网卡113，第三虚拟网线33两端分别形成第五虚拟网卡101与第六虚拟网卡102。第三虚拟网卡112，第四虚拟网卡113，第五虚拟网卡101与第六虚拟网卡102均由同一种CNI组件在对业务容器11执行引流前予以创建。第三虚拟网卡112，第四虚拟网卡113，第五虚拟网卡101与第六虚拟网卡102被同一种CNI组件予以创建以分别形成第二虚拟网线32与第三虚拟网线33，且在对业务容器11执行引流过程中不依赖创建第二虚拟网线32与第三虚拟网线33的CNI组件建立第五虚拟网线35，第五虚拟网线35由管理员以命令行形式予以创建。由此使得在对业务容器11（或者业务容器12）同时或者分别进行引流过程中，可不依赖选定的CNI组件予以组建，从而解决了现有技术中使用CNI组件（例如，Flannel、Calico、Weave和Canal）对业务容器11或者业务容器12执行引流过程中所存在的通用性不强的技术问题。例如，由于Flannel需要依赖于第三方网络插件所导致的通用性不强的技术问题。

在本申请中，通过第四虚拟网线34与第五虚拟网线35共同形成对业务容器11执行引流过程中数据报文进出业务容器11的转发路径。同时，由于第四虚拟网线34与第五虚拟网线35可不依赖组建第一虚拟网线31、第二虚拟网线32及第三虚拟网线33所选定的CNI组件，从而解决了由于第三方网络插件的不同而导致在执行对业务容器11引流场景中通用性不强的问题，并有利于打通业务容器11（或者业务容器12）与安全容器10之间的边界。同时，通过上述技术方案还降低了对计算机集群100的代码入侵性，并能够降低对业务容器11执行引流过程中所产生的计算开销。

诸如前述第一虚拟网线31~第五虚拟网线35等均为虚拟网线。虚拟网线（VethPair）用于连接两个成对设置的虚拟网卡。虚拟网线根据数据链路层的MAC地址对数据报文执行转发予以实现，其本质是反转通信数据的方向，将需要转发的数据报文转换成需要接收该数据报文，并重新送入内核网络进行处理，并最终完成数据报文的注入。

该业务容器引流方法还包括：在将第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34过程中，通过数据报文检测单元30修改第五虚拟网卡101与第六虚拟网卡102的名称，且不修改第五虚拟网卡101与第六虚拟网卡102的MAC地址，第四虚拟网线34两端分别形成第七虚拟网卡114与第八虚拟网卡115；第四虚拟网卡113与第八虚拟网卡115暴露于其所属工作节点的内核空间的外部，第三虚拟网卡112与第七虚拟网卡114部署其所属工作节点的内核空间。具体而言，第八虚拟网卡115（或者第八虚拟网卡118）与第四虚拟网卡113暴露于工作节点Node-1的内核空间的外部。

步骤S3、下发引流策略至第二虚拟网卡111、第二虚拟网线32、第四虚拟网线34与第五虚拟网线35，第四虚拟网线34与第五虚拟网线35基于引流策略对业务容器11执行引流。

第五虚拟网线35分别形成部署于安全容器10的第九虚拟网卡103与部署于业务容器11的第十虚拟网卡104；当数据报文到达第八虚拟网卡115时，通过第四虚拟网线34转发至第七虚拟网卡114，然后由第七虚拟网卡114基于引流策略将数据报文转发至第二虚拟网卡111，在数据报文检测单元30对业务容器11执行引流进出业务容器11的数据报文执行清洗和/或过滤后，将数据报文转发至第九虚拟网卡103，基于引流策略通过第五虚拟网线35对业务容器11执行引流。本申请各具体实施方式中所指的第一虚拟网卡110、第二虚拟网卡111及下文所提及的虚拟网卡及内核空间网卡的类型包括Veth虚拟网卡或者macvlan虚拟网卡。无论是Veth虚拟网卡还是macvlan虚拟网卡均可成对配置以形成数据报文的转发链路。数据报文可从成对的一个Veth虚拟网卡转发至另一个Veth虚拟网卡且转发过程对用户无感知。同时，本申请中所涉及的各个虚拟网卡的IP地址及MAC地址均是通过namespace（命名空间）予以隔离的。

如图2所示，引流策略选自tc策略或者流表策略，引流策略由部署于安全容器10中的引流策略下发单元50在对业务容器11执行引流之前予以下发。引流策略通过引流策略下发单元50通过mirror配置形式被下发至第三虚拟网卡112及第二虚拟网卡111，数据报文通过第二虚拟网线32进出安全容器10，数据报文通过第四虚拟网线34与第五虚拟网线35进出业务容器11。因此，在引流过程中进出业务容器11的流量均通过安全容器10执行转发操作。

该业务容器引流方法还包括：在建立第四虚拟网线34与第五虚拟网线35后，由数据报文检测单元30对业务容器11执行引流进出业务容器11的数据报文执行清洗和/或过滤，从而确保了东西向数据转发过程的安全性。具体地，用户规则包括防火墙规则。用户规则通过图2中的控制器70并通过第二虚拟网线32向安全容器10中予以配置。结合图2所示，在计算机实例中，数据报文检测单元30逻辑上配置于第一虚拟网卡110中，申请人为便于理解本申请而将数据报文检测单元30从第一虚拟网卡110中剥离并独立地予以示出。数据报文检测单元30用于对流经第二虚拟网卡111的数据报文执行清洗和/或过滤，数据报文检测单元30用于实现业务识别、业务控制与业务统计，从而确保在引流过程中确保对数据报文沿东西向转发过程中的安全性与可靠性。

参图8所示，数据报文检测单元30用于对流经第二虚拟网卡111的数据报文执行清洗和/或过滤生成如图8所示出的页面，对于合法数据报文，“动作”栏位显示为“允许”，对于非法数据报文，“动作”栏位显示为“禁止”，“更新于”栏位表示具体对某个具体的数据报文进行清洗和/或过滤事件的时间。具体而言，业务识别包括通过IP五元组（即，源IP地址、目的IP地址、协议号、源端口、目的端口）来识别数据报文并解析数据报文以确定业务具体内容和信息。业务控制包括转发流向、带宽限制、阻挡、整形、丢弃等处理。业务统计是基于数据报文检测结果对预设时间段内的流量行为进行统计，以区分流媒体播放（例如，“抖音”）、即时通讯工具（例如，“微信”）及游戏娱乐（例如，“王者荣耀”手游），从而根据不同的业务类型确定业务所需带宽资源，并在某个业务容器11不满足业务所需带宽资源时，增加业务容器11所配置的带宽资源，或者，在业务容器11的带宽资源存在明显富余时，降低业务容器11的带宽资源。本申请所揭示的业务容器引流方法旨在对同一个工作节点内的一个或者多个业务容器11进行引流，并禁止在两个独立的工作节点之间所分别部署的业务容器之间执行引流。

本申请所揭示的引流或者更确切而言是对业务容器11进行引流的目的在于对数据报文进出同一个工作节点的业务容器11所形成的流量首先被汇聚到安全容器10，并在安全容器10中基于引流策略并通过第四虚拟网线34（或者第四虚拟网36）与第五虚拟网线35（或者第五虚拟网线37）对进出指定的业务容器11执行东西向与南北向的转发操作，并使得数据报文进入业务容器11或者流出业务容器11。引流策略（即，mirror）由部署于安全容器10中的引流策略下发单元50在对业务容器11执行引流之前予以下发，引流策略选自tc策略或者流表策略。在本申请所揭示的业务容器引流方法中，安全容器10通过第五虚拟网线35连接一个或者多个业务容器11基于不同的引流策略独立地执行引流。一个或者多个业务容器11，基于引流策略对一个或者多个业务容器11执行引流，同时在计算机集群100所包含的一个或者多个工作节点中分别部署一个安全容器10，并基于每个工作节点的安全容器10对安全容器10所属工作节点中的一个或者多个业务容器执行引流，从而有效地避免了单点问题。

所谓单点问题是指现有技术中采用（虚拟）交换机纳管多个工作节点（例如，工作节点Node-1~工作节点Node-n）时，如果交换机（例如，汇聚层交换机、核心层交换机或者接入层交换机）出现异常而导致由多个业务容器所组成的计算机集群100出现异常。虽然，诸如图6仅示出了业务容器11与业务容器12，但本领域技术人员可以合理地预见到安全容器10还可通过多组包含第四虚拟网线34与第五虚拟网线35的形式同时连接更多的业务容器。假设，一个计算机集群100中包含了工作节点Node-1与工作节点Node-n，工作节点Node-1包含业务容器A（未示出）与业务容器B（未示出），工作节点Node-n包含业务容器C（未示出）与业务容器D（未示出）。由于工作节点Node-1与工作节点Node-n中均设置了一个安全容器10（备注：工作节点Node-n中的安全容器未示出）。因此，当纳管工作节点Node-1与工作节点Node- n的交换机出现异常时（例如，交换机的端口异常等），会导致整个计算机集群100出现瘫痪与异常，从而导致单个工作节点不可用，并由此导致前述单点问题。然而，通过本申请所揭示的业务容器引流方法，由于不要需要使用（虚拟）交换机，并将（虚拟）交换机所执行的引流作业转由每个工作节点中安全容器10予以实施，即使某个工作节点不可用（例如，宕机、断电等）时，并不影响同一个计算机集群100中其他工作节点的正常工作，且将对计算机集群100的流量监控作业分散到各个工作节点中予以独立执行，并具体为通过每个工作节点（例如，工作节点Node-1）中的安全容器10予以实现，从而有效地避免了现有技术中依赖（虚拟）交换机执行引流所存在的单点问题。

同时，在对业务容器11（或者业务容器12）执行引流过程中流入指定的业务容器或者从指定的业务容器流出的数据报文均汇聚到安全容器10，从而便于后续通过数据报文检测单元30在沿东西向执行转发数据报文过程中监测流经第二虚拟网卡111数据报文所形成的流量，以便于集中地在安全容器10中实现DPI检测（Deep Packet Inspection），且DPI检测过程不影响业务容器11（或者业务容器12）所运行的服务，以确保为用户提供良好的用户体验。

在对业务容器11执行引流过程中，当数据报文达到第二虚拟网卡111时，触发将第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34的修改事件。第三虚拟网线33两端分别形成位于所属工作节点的内核空间的第五虚拟网卡101及部署于安全容器10所属工作节点的内核空间的外部的第六虚拟网卡102，且第五虚拟网卡101及第六虚拟网卡102可在对业务容器11执行引流前通过组建第一虚拟网线31与第二虚拟网线32所依赖的CNI组件予以同时建立。数据报文检测单元30修改第三虚拟网线33两端的虚拟网卡的名称是指通过数据报文检测单元30修改第五虚拟网卡101与第六虚拟网卡102的名称，但在整个修改过程中不改变第五虚拟网卡101与第六虚拟网卡102（或者第三虚拟网线33）的虚拟网卡IP地址及MAC地址，从而使得第三虚拟网线33从业务容器11向安全容器10执行迁移过程中不干涉业务容器11中响应用户发起的访问请求或者应用的运行，从而避免此种第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34的迁移过程被业务容器11所感知，以确保了业务容器11对用户始终能够提供可靠且稳定的服务，其中，服务运行在业务容器11中。安全容器10可通过前述网络连接方式（即，通过多个第五虚拟网线35）连接一个或者多个业务容器11。

该业务容器引流方法还包括：通过数据报文检测单元30对进出第二虚拟网卡111的数据报文基于用户下发的用户规则对进出业务容器11的数据报文执行清洗和/或过滤，用户规则包括防火墙规则。

该业务容器引流方法还包括：对同一工作节点的多个业务容器执行引流，每一个业务容器分别建立第四虚拟网线34与第五虚拟网线35，以通过第二虚拟网卡111的引流策略独立地为每个业务容器执行引流。

参图2所示，在本申请中，该业务容器引流方法还包括：由第二虚拟网线32对安全容器10下发安全规则并对业务容器11在执行引流过程中所形成的流量执行监控。安全规则通过控制器70及第二虚拟网线32暴露在安全容器10所属工作节点的内核空间的外部的第四虚拟网卡113传入安全容器10。安全容器10与业务容器11通过namespace（命名空间）予以隔离。安全容器10区别于提供业务运行环境的业务容器11，且在计算机实例中，工作节点Node-1可视为一个物理节点，且该物理节点可由服务器或者超融合一体机予以部署所形成。

同时，本实施例所揭示的安全容器10旨在提供为工作节点Node-1所部署的业务容器11提供引流，并在引流过程中对进出业务容器11的数据报文执行清洗和/或过滤，并尤其旨在对恶意用户（例如，黑客）对业务容器11发起的非法流量攻击行为（例如，DDos流量攻击或者Dos攻击）所形成的非法流量予以拦截，以确保业务容器11的稳定性与安全性。同时，安全容器10基于容器技术所组建，安全容器10为容器应用（例如，本申请中的业务容器11）提供一个完整的操作系统执行环境，并与宿主机操作系统（即，Host OS）隔离开，避免应用直接访问主机资源，从而可以在业务容器11之间提供额外的保护，并独立于业务容器11。用户只能访问业务容器11而不能访问安全容器10，且安全容器10对用户及业务容器11不可见。

具体而言，参图6所示，基于用户对业务容器11发起的访问请求所生成的数据报文从双向箭头38向上的方向指向第八虚拟网卡115。第一虚拟网卡110、第二虚拟网卡111、第三虚拟网卡112、第七虚拟网卡114、第九虚拟网卡103及第十虚拟网卡104均为内核空间网卡，并仅向工作节点内核空间予以暴露，内核空间为Linux Kernel；第四虚拟网卡113与第八虚拟网卡115并不暴露于工作节点内核空间并仅用于向工作节点流入数据报文或者将数据报文流出工作节点Node-1。第七虚拟网卡114与第八虚拟网卡115之间组成一个成对设置的第四虚拟网线34，第九虚拟网卡103与第十虚拟网卡104之间组成一个成对设置的第五虚拟网线35。

当数据报文通过该业务容器引流方法所揭示的技术方案进入业务容器11时，数据报文沿双向箭头38向上的方向流向第八虚拟网卡115，并沿箭头34a的方向通过第四虚拟网线34及沿箭头35a的方向通过第五虚拟网线35先进入到安全容器10后再进入到业务容器11。数据报文在引流策略（mirror）引导下在进入到安全容器10后首先被转发至第二虚拟网卡111，并从第二虚拟网卡111转发重新转发至第九虚拟网卡103（参图6中右侧的两个mirror虚线箭头），并最终沿箭头35a的方向通过第五虚拟网线35进入到业务容器11中。

同理所述，数据报文从业务容器11中流出工作节点Node-1的过程为前述数据报文流入业务容器11所形成的数据报文过程的逆向转发。即，数据报文从第十虚拟网卡104通过第五虚拟网线35沿箭头35a的逆向方向转发至第九虚拟网卡103以进入安全容器10，第九虚拟网卡103将数据报文转发至第二虚拟网卡111，然后由第二虚拟网卡111将数据报文转发至第七虚拟网卡114（参图6中右侧的两个mirror虚线箭头的逆向方向），并沿箭头34a的逆向方向通过第四虚拟网线34沿箭头34a的逆向方向转发至第八虚拟网卡115，从而将数据报文流出安全容器10，并最终通过双向箭头38向下的方向流出安全容器10，并最终流出该工作节点Node-1。

同理所述，参图5与图6所示，当工作节点Node-1部署两个业务容器（即，业务容器11与业务容器12）时，业务容器12与安全容器10之间同样形成第五虚拟网线37与第四虚拟网线36。业务容器12与安全容器10之间建立由第十虚拟网卡106与第九虚拟网卡105所组成的第五虚拟网线37，第七虚拟网卡116与第八虚拟网卡118组成第四虚拟网线36，数据报文从双向箭头39方向指向第八虚拟网卡115，当数据报文流入业务容器12时，数据报文沿双向箭头39向上的方向通过沿箭头36a的方向通过第四虚拟网线36流入安全容器10，并最终在引流策略（mirror）引导下在进入到安全容器10后，通过图6中左侧的两个mirror虚线箭头转发至第九虚拟网卡105并最终沿箭头37a的方向通过第五虚拟网线37流入业务容器12。同理所述，数据报文从业务容器12流出的过程为前述数据报文流入业务容器12的转发过程的逆向转发。

基于前述具体实施方式所揭示的业务容器引流方法所含技术方案，本申请还揭示了一种业务容器引流系统。业务容器引流系统包括：部署于同一工作节点（例如，图2中的Node-1）中的安全容器10及至少一个业务容器11，安全容器10中配置用于下发引流策略的引流策略下发单元50，安全容器10中配置由第一虚拟网卡110与第二虚拟网卡111所组建的第一虚拟网线31，第一虚拟网卡110配置数据报文检测单元30，安全容器10与业务容器11之间分别创建第二虚拟网线32与第三虚拟网线33，将第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34，在安全容器10与业务容器11之间建立第五虚拟网线35，引流策略下发单元50下发引流策略至第二虚拟网卡111、第二虚拟网线32、第四虚拟网线34及第五虚拟网线35，第四虚拟网线34与第五虚拟网线35基于引流策略对业务容器11执行引流。

参图3与图4所示，第二虚拟网线32与第三虚拟网线33均被同一种CNI组件予以创建，第五虚拟网线35不依赖创建第二虚拟网线32与第三虚拟网线33的CNI组件建立，且由管理员以命令行形式予以创建。在将第三虚拟网线33迁移至安全容器10以形成第四虚拟网线34过程中，通过数据报文检测单元30修改第三虚拟网线33两端分别形成的第五虚拟网卡101与第六虚拟网卡102的名称。第二虚拟网线32两端分别形成第三虚拟网卡112与第四虚拟网卡113，引流策略下发单元50下发引流策略至第三虚拟网卡112，数据报文通过第二虚拟网线进出安全容器10，并通过第四虚拟网线34与第五虚拟网线35进出业务容器11。参图2所示，该业务容器引流系统还包括：连接第四虚拟网卡113并对安全容器10下发安全规则的控制器70。数据报文检测单元30对进出第二虚拟网卡111的数据报文基于用户通过控制器70及第二虚拟网线32向安全容器10下发的用户规则对数据报文执行清洗和/或过滤，用户规则包括防火墙规则。

配合参照图2所示，基于前述具体实施方式所揭示的业务容器引流方法及业务容器引流系统所含技术方案，本申请还揭示了一种计算机集群100，包括：控制器70，至少一个工作节点及纳管工作节点的控制管理平面71。工作节点仅部署一个安全容器10及至少一个业务容器11，安全容器10配置数据报文检测单元30及用于下发引流策略的引流策略下发单元50。工作节点运行如前述具体实施方式所揭示的业务容器引流方法，以对同一工作节点的业务容器11执行引流。

安全容器10与业务容器11分别创建第二虚拟网线32与第三虚拟网线33，控制管理平面71连接第二虚拟网线32，由第二虚拟网线32对安全容器10下发安全规则并对业务容器11在执行引流过程中所形成的流量执行监控。

参图2所示，示例性地，数据报文检测单元30部署于安全容器10且作为最优选的实施方式，或者，参图7所示，示例性地，数据报文检测单元30部署于独立于安全容器10的数据库60，从而有利于数据报文检测单元30的部署操作具有更好的简便性与灵活性，并尤其地可降低安全容器10中各个模块的耦合度。同时，数据库60中的数据报文检测单元30可通过MQ、RPC、GRPC或者HTTP协议与第一虚拟网线31建立会话。

安全容器10与创建第二虚拟网线32，控制管理平面71连接第二虚拟网线32，由第二虚拟网线32对安全容器10下发安全规则，并对业务容器11在执行引流过程中所形成的流量执行监控。对业务容器11执行引流过程中所转发的数据报文进出安全容器10所形成的流量也可通过控制管理平面71供管理员72予以查看。控制管理平面71沿双向箭头711连接控制器70，管理员72通过双向箭头712在控制管理平面71所形成的可视化界面中以手动键入方式或者手动导入方式定义或者创建安全规则，并通过控制器70通过第二虚拟网线32向安全容器10下发安全规则。示例性地，双向箭头711与双向箭头712可基于HTTP协议的网络连接予以实现。

前述计算机集群100所含工作节点运行的业务容器引流方法的具体实现过程，参前文所述，在此不再赘述。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (20)

1.业务容器引流方法，对同一工作节点的业务容器执行引流，

其特征在于，包括：

在所述工作节点配置的安全容器中配置由第一虚拟网卡与第二虚拟网卡所组建的第一虚拟网线，所述第一虚拟网卡配置数据报文检测单元；

为安全容器与业务容器分别创建第二虚拟网线与第三虚拟网线，将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线，在所述安全容器与业务容器之间建立第五虚拟网线；

下发引流策略至所述第二虚拟网卡、第二虚拟网线、第四虚拟网线及第五虚拟网线，所述第四虚拟网线与第五虚拟网线基于所述引流策略对业务容器执行引流。

2.根据权利要求1所述的业务容器引流方法，其特征在于，所述第二虚拟网线两端分别形成第三虚拟网卡与第四虚拟网卡，所述第三虚拟网线两端分别形成第五虚拟网卡与第六虚拟网卡；

所述第三虚拟网卡，第四虚拟网卡，第五虚拟网卡与第六虚拟网卡均由同一种CNI组件在对业务容器执行引流前予以创建。

3.根据权利要求2所述的业务容器引流方法，其特征在于，所述第三虚拟网卡，第四虚拟网卡，第五虚拟网卡与第六虚拟网卡被同一种CNI组件予以创建以分别形成第二虚拟网线与第三虚拟网线，且在对业务容器执行引流过程中不依赖创建所述第二虚拟网线与第三虚拟网线的CNI组件建立所述第五虚拟网线，所述第五虚拟网线由管理员以命令行形式予以创建。

4.根据权利要求2所述的业务容器引流方法，其特征在于，还包括：在建立所述第四虚拟网线与第五虚拟网线后，由所述数据报文检测单元对业务容器执行引流进出所述业务容器的数据报文执行清洗和/或过滤。

5.根据权利要求4所述的业务容器引流方法，其特征在于，还包括：在将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线过程中，通过所述数据报文检测单元修改第五虚拟网卡与第六虚拟网卡的名称，且不修改第五虚拟网卡与第六虚拟网卡的MAC地址，所述第四虚拟网线两端分别形成第七虚拟网卡与第八虚拟网卡；所述第四虚拟网卡与第八虚拟网卡暴露于其所属工作节点的内核空间的外部，所述第三虚拟网卡与第七虚拟网卡部署其所属工作节点的内核空间。

6.根据权利要求5所述的业务容器引流方法，其特征在于，所述第五虚拟网线分别形成部署于安全容器的第九虚拟网卡与部署于业务容器的第十虚拟网卡；当数据报文到达所述第八虚拟网卡时，通过所述第四虚拟网线转发至第七虚拟网卡，由所述第七虚拟网卡将数据报文转发至所述第二虚拟网卡，在所述数据报文检测单元对业务容器执行引流进出所述业务容器的数据报文执行清洗和/或过滤后，将数据报文转发至第九虚拟网卡，以基于所述引流策略通过所述第五虚拟网线对业务容器执行引流。

7.根据权利要求1所述的业务容器引流方法，其特征在于，所述引流策略被下发至第三虚拟网卡，数据报文通过所述第二虚拟网线进出所述安全容器，所述数据报文通过所述第四虚拟网线与第五虚拟网线进出所述业务容器。

8.根据权利要求1所述的业务容器引流方法，其特征在于，在对业务容器执行引流过程中，当数据报文达到第二虚拟网卡时，触发将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线的修改事件。

9.根据权利要求1至8中任一项所述的业务容器引流方法，其特征在于，还包括：通过所述数据报文检测单元对进出所述第二虚拟网卡的数据报文基于用户下发的用户规则对进出所述业务容器的数据报文执行清洗和/或过滤，所述用户规则包括防火墙规则。

10.根据权利要求9所述的业务容器引流方法，其特征在于，所述引流策略选自tc策略或者流表策略，所述引流策略由部署于安全容器中的引流策略下发单元在对业务容器执行引流之前予以下发。

11.根据权利要求9所述的业务容器引流方法，其特征在于，还包括：对同一工作节点的多个业务容器执行引流，每一个业务容器分别建立所述第四虚拟网线与第五虚拟网线，以通过第二虚拟网卡的引流策略独立地为每个业务容器执行引流。

12.根据要求9所述的业务容器引流方法，其特征在于，还包括：由所述第二虚拟网线对安全容器下发安全规则，并对业务容器在执行引流过程中所形成的流量执行监控。

13.业务容器引流系统，其特征在于，包括：

部署于同一工作节点中的安全容器及至少一个业务容器，所述安全容器中配置用于下发引流策略的引流策略下发单元，所述安全容器中配置由第一虚拟网卡与第二虚拟网卡所组建的第一虚拟网线，所述第一虚拟网卡配置数据报文检测单元，所述安全容器与业务容器之间分别创建第二虚拟网线与第三虚拟网线，将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线，在所述安全容器与业务容器之间建立第五虚拟网线，所述引流策略下发单元下发引流策略至所述第二虚拟网卡、第二虚拟网线、第四虚拟网线及第五虚拟网线，所述第四虚拟网线与第五虚拟网线基于所述引流策略对业务容器执行引流。

14.根据权利要求13所述的业务容器引流系统，其特征在于，所述第二虚拟网线与第三虚拟网线均被同一种CNI组件予以创建，所述第五虚拟网线不依赖创建所述第二虚拟网线与第三虚拟网线的CNI组件建立，且由管理员以命令行形式予以创建。

15.根据权利要求13所述的业务容器引流系统，其特征在于，在将所述第三虚拟网线迁移至所述安全容器以形成第四虚拟网线过程中，通过所述数据报文检测单元修改第三虚拟网线两端分别形成的第五虚拟网卡与第六虚拟网卡的名称。

16.根据权利要求13所述的业务容器引流系统，其特征在于，所述第二虚拟网线两端分别形成第三虚拟网卡与第四虚拟网卡，所述引流策略下发单元下发所述引流策略至所述第三虚拟网卡，数据报文通过所述第二虚拟网线进出所述安全容器，并通过所述第四虚拟网线与第五虚拟网线进出所述业务容器。

17.根据权利要求13至16中任一项所述的业务容器引流系统，其特征在于，所述业务容器引流系统还包括：

连接第四虚拟网卡并对安全容器下发安全规则的控制器；

所述数据报文检测单元对进出所述第二虚拟网卡的数据报文基于用户通过所述控制器及第二虚拟网线向安全容器下发的用户规则对数据报文执行清洗和/或过滤，所述用户规则包括防火墙规则。

18.一种计算机集群，其特征在于，包括：

控制器，至少一个工作节点及纳管所述工作节点的控制管理平面；

所述工作节点仅部署一个安全容器及至少一个业务容器，所述安全容器配置数据报文检测单元及用于下发引流策略的引流策略下发单元；

所述工作节点运行如权利要求1至12中任一项所述的业务容器引流方法，以对同一工作节点的业务容器执行引流。

19.根据权利要求18所述的计算机集群，其特征在于，所述安全容器与业务容器分别创建第二虚拟网线与第三虚拟网线，所述控制管理平面连接所述第二虚拟网线，由所述第二虚拟网线对安全容器下发安全规则并对业务容器在执行引流过程中所形成的流量执行监控。

20.根据权利要求18所述的计算机集群，其特征在于，

所述数据报文检测单元部署于安全容器，或者，

所述数据报文检测单元部署于独立于安全容器的数据库。

Images