CN113687918B - 一种兼容云原生和传统环境的可扩展的混沌工程实验装置 - Google Patents

Abstract

本发明公开了一种兼容云原生和传统环境的可扩展的混沌工程实验装置，包括自定义资源、混沌控制器和混沌故障库；所述自定义资源包括混沌引擎自定义资源对象、混沌实验自定义资源对象、混沌结果自定义资源对象；混沌控制器用于管理自定义资源的生命周期；混沌故障库用于存储混沌工程实验所需所有故障的实现过程；混沌工程实验架构通过创建混沌引擎提交故障演练请求，获取相应的故障演练结果，并写入到K8s。优点是：采用K8s自定义资源的方式来定义故障，通过将故障演练实施内容封装到Docker镜像中，通过Docker镜像仓库统一管理，升级Docker镜像或者创建新的Docker镜像和K8s自定义资源即可升级或者扩展云原生混沌工程故障，提升云原生混沌工程故障演练的可扩展性。

Description

一种兼容云原生和传统环境的可扩展的混沌工程实验装置

技术领域

本发明涉及云原生技术领域，尤其涉及一种兼容云原生和传统环境的可扩展的混沌工程实验装置。

背景技术

不管在将软件投入生产之前进行多么困难的测试以发现错误，错误总是会发生-云和可用区域会出现问题，网络会崩溃，是的，错误会让人感觉它们的存在。容错性(Resilience/弹性)是指一个系统承受这些错误的能力。例如，一个高度容错性的系统，一个由松散耦合的微服务构建的系统，它本身可以很容易地重新启动和扩展，在不影响用户的情况下克服这些错误。混沌工程是在系统出现故障之前，将其注入系统的实践。混沌工程现在被认为是确保当今频繁变化和高度复杂的系统实现所需的容错性的基本方法。通过混沌工程，可以在引起用户问题之前发现和纠正未预料到的故障场景。

除了传统环境，广泛的采用也使Kubernetes(简称K8s)云原生环境成为最重要的软件开发和操作平台之一。针对云原生环境的混沌工程实验可以弥补现有的针对云原生环境测试技术的不足，最大程度提高系统的可靠性。

传统的混沌工程演练平台兼容性差，以及故障库的扩展性差。传统的混沌工程平台，针对传统环境和云原生环境是分离实施的，比如分成环境演练平台以及云原生演练平台，造成平台管理，维护工作难度大，另外还需要提前安装演练Agent，使用复杂。另外传统的混沌工程演练平台故障扩展困难，需要通过重新部署或者升级实验平台的方式，会造成混沌工程实验平台的停工。

发明内容

本发明的目的在于提供一种兼容云原生和传统环境的可扩展的混沌工程实验装置，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种兼容云原生和传统环境的可扩展的混沌工程实验装置，包括自定义资源、混沌控制器和混沌故障库；

所述自定义资源包括，

混沌引擎自定义资源对象；用于为给定的应用程序创建混沌引擎，并使用appLabel标记；所述混沌引擎将一个或多个故障演练与应用程序绑定在一起；所述混沌引擎包括每个故障的具体定义以及故障对应的故障演练和与其相关的环境变量；

混沌实验自定义资源对象；用于创建混沌实验来保存和操作应用程序中实际故障演练过程；定义故障演练的类型和故障演练的关键参数；通过选择现成的故障或者扩展新的故障构建所需的混沌实验的混沌引擎；

混沌结果自定义资源对象；混沌控制器运行故障演练后获取的相应混故障演练结果，混沌结果将故障演练结果写入到K8s；

混沌控制器用于管理自定义资源的生命周期；

混沌故障库用于存储混沌工程实验所需所有故障的实现过程；

混沌工程实验装置通过创建混沌引擎提交故障演练请求，获取相应的故障演练结果，并写入到K8s；混沌工程实验装置支持云原生环境的故障演练以及传统环境的故障演练。

优选的，混沌工程实验装置采用如下方式扩展混沌故障库，

S1、初始化系统到应用集群中，采用Operator扩展方式，创建相关的自定义资源以及自定义控制器；

S2、根据需求开发新的故障类型，并且创建新docker镜像，将docker镜像推送到docker仓库；定义一个新的混沌实验，且该混沌实验包含了新故障的信息；

S3、根据需要通过Portal、Kubectl或者K8s Api Serve创建混沌引擎来提交故障演练请求，并获取故障演练结果。

优选的，步骤S2包括如下具体内容，

S21、开发人员根据需求开发新的故障；

S22、开发人员编写Dockerfile，并且使用docker命令将新的故障打包成docker镜像，上传到镜像仓库；

S23、开发人员定义新的混沌实验，使该新的混沌实验包含该新的故障的信息，并将该新的混沌实验通过K8s命令或者K8s Api Server写入到K8s中；

S24、SRE工程师可以使用新的混沌实验实施故障演练。

优选的，步骤S3具体包括如下内容，

S31、SRE工程师通过K8s Api Server或命令行的方式创建混沌引擎来提交新的故障演练请求，该故障演练请求包含了混沌实验以及混沌实验所需的环境变量信息；

S32、混沌控制器监测到故障演练请求后根据，该故障混沌实验的信息以及所需的环境变量信息从镜像仓库中拉取指定的镜像，创建故障演练Pod来实时具体的故障演练；

S33、判断该故障演练是针对云原生环境的故障演练还是针对传统环境的故障演练；

S34、若是针对云原生环境的故障演练，故障演练Pod通过调用K8s Api Server对云原生环境实施故障演练，获取故障演练结果后进入S36；

S35、若是针对传统环境的故障演练，故障演练Pod通过远程调用的方式给指定的机器安装故障演练Agent，由Agent来是实施具体得演练，获取故障演练结果后进入S36；

S36、故障演练Pod将故障演练结果通过混沌结果自定义资源对象写入到K8s中；

S37、用户可通过K8s Api Server或者命令获取相应的故障演练结果。

优选的，新的故障的信息包括该故障执行的docker镜像、故障的启动命令和参数、故障执行的环境变量以及执行该故障所需要的权限。

本发明的有益效果是：1、本发明将故障演练和故障库分离管理，采用K8s自定义资源的方式来定义故障，通过将故障演练实施内容封装到Docker镜像中，通过Docker镜像仓库统一管理，升级Docker镜像，或者创建新的Docker镜像和K8s自定义资源即可升级或者扩展云原生混沌工程故障。扩展过程完全不影响故障演练平台的功能，从而大幅提升云原生混沌工程故障演练的可扩展性。2、针对不同的演练对象，采用K8s Api或者RPC的方式兼容云原生环境以及传统换镜架，大幅提升平台的兼容性。

附图说明

图1是本发明实施例中混沌工程实验装置的结构示意图；

图2是本发明实施例中故障扩展示意图；

图3是本发明实施例中同时兼容传统环境和云原生环境的故障演练流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本实施例中，提供了一种兼容云原生和传统环境的可扩展的混沌工程实验装置，包括自定义资源、混沌控制器和混沌故障库；

所述自定义资源包括，

混沌引擎自定义资源对象；用于为给定的应用程序创建混沌引擎，并使用appLabel标记；所述混沌引擎将一个或多个故障演练与应用程序绑定在一起；所述混沌引擎包括每个故障的具体定义以及故障对应的故障演练和与其相关的环境变量；

混沌实验自定义资源对象；用于创建混沌实验来保存和操作应用程序中实际故障演练过程；定义故障演练的类型和故障演练的关键参数；通过选择现成的故障或者扩展新的故障构建所需的混沌实验的混沌引擎；混沌实验包含故障的标签、执行该故障所需要的的权限、执行该故障的docker镜像，执行该故障的命令行，执行该故障的参数，执行该故障的环境变量等信息；

混沌结果自定义资源对象；混沌控制器运行故障演练后获取的相应混故障演练结果，混沌结果将故障演练结果写入到K8s；

混沌控制器用于管理自定义资源的生命周期；所述混沌控制器为使用K8sOperator-SDK实现的控制器；

混沌故障库用于存储混沌工程实验所需所有故障的实现过程；实际的故障注入是由故障库或故障执行器完成的，故障库包含了多个故障的实现，例如，针对云原生的如何杀死pod、如何引入Pod CPU占用、如何占用Pod内存或如何杀死Kubernetes节点，以及其他一些错误和降级。针对传统环境的如何对主机宕机，主机重启，主机CPU占用，主机内存占用，杀死主机上的进程等故障。针对不同的需要，还可以增加新的故障。

混沌工程实验装置通过创建混沌引擎提交故障演练请求，获取相应的故障演练结果，并写入到K8s；混沌工程实验装置支持云原生环境的故障演练以及传统环境的故障演练。

本实施例中，混沌工程实验装置采用如下方式扩展混沌故障库，

S1、初始化系统到应用集群中，采用k8s推荐的Operator扩展方式，创建相关的自定义资源以及自定义控制器；

S2、根据需求开发新的故障类型，并且创建新docker镜像，将docker镜像推送到docker仓库；定义一个新的混沌实验，且该混沌实验包含了新故障的信息；

S3、根据需要通过Portal、Kubectl或者K8s Api Serve创建混沌引擎来提交故障演练请求，并获取故障演练结果。

本实施例中，步骤S2包括如下具体内容，参见附图2；

S21、开发人员根据需求利用开发新的故障；不限定开发语言，支持传统的Python、Swift、JavaScript、C#、C、Ruby、PHP、Haskell、Java、C++或者Rust等，也支持脚本；

S22、开发人员编写Dockerfile，并且使用docker命令将新的故障打包成docker镜像，上传到镜像仓库；

S23、开发人员定义新的混沌实验，使该新的混沌实验包含该新的故障的信息，并将该新的混沌实验通过K8s命令或者K8s Api Server写入到K8s中；

S24、SRE工程师可以使用新的混沌实验实施故障演练。

本实施例中，步骤S3具体包括如下内容，

S31、SRE工程师通过K8s Api Server或命令行的方式创建混沌引擎来提交新的故障演练请求，该故障演练请求包含了混沌实验以及混沌实验所需的环境变量信息；

S32、混沌控制器监测到故障演练请求后根据，该故障混沌实验的信息以及所需的环境变量信息从镜像仓库中拉取指定的镜像，创建故障演练Pod来实时具体的故障演练；

S33、判断该故障演练是针对云原生环境的故障演练还是针对传统环境的故障演练；

S34、若是针对云原生环境的故障演练，故障演练Pod通过调用K8s Api Server或者其他的一些方式对云原生环境实施故障演练，比如通过模拟杀服务Pod、杀节点、增大Pod资源负载，观察系统服务可用性，验证副本配置、资源限制配置以及Pod下部署的容器是否合理；获取故障演练结果后进入S36；

S35、若是针对传统环境的故障演练，故障演练Pod通过RPC远程调用的方式给指定的机器安装故障演练Agent，由Agent来是实施具体得演练，比如通过模拟传统环境的物理机宕机，重启，节点网络异常等来验证基础设施主从切换，主从同步是否正常。通过模拟服务的不可用，服务间的网络通讯异常等来验证服务层的高可用。通过模拟传统环境的调用延迟、服务不可用、机器资源满载等，查看发生故障的节点或实例是否被自动隔离、下线，流量调度是否正确，预案是否有效，微服务的强弱依赖是否正常，同时观察系统整体的QPS或RT是否受影响；获取故障演练结果后进入S36；

S36、故障演练Pod将故障演练结果通过混沌结果自定义资源对象写入到K8s中；

S37、用户可通过K8s Api Server或者命令获取相应的故障演练结果。

本实施例中，新的故障的信息包括该故障执行的docker镜像、故障的启动命令和参数、故障执行的环境变量以及执行该故障所需要的权限。

实施例二

本实施例中，通过一个具体故障库扩展的实例描述混沌工程实验装置如何实现故障扩展。

故障为测试微服务接口的幂等性问题，接口的幂等是一个操作，不论接口被执行多少次，产生的效果和返回的结果都是一样的。传统的测试方法是通过压力测试来触发接口高并发调用的情况下是否存在幂等性问题，但这种测试方法并不能同时支持云原生上微服务幂等性验证，不能覆盖比如高负荷下的高并发等场景下的幂等性验证。

下面的故障是结合云原生下的混沌工程思想，加上传统的压力测试下的一种方案，同时支持云原生环境以及传统环境的接口幂等性测试。

故障功能描述及实现:本故障主要提供两个功能，其一是针对指定的微服模拟在一定的时间内，包括网络延迟，网络损坏，网络重复，Cpu满载，内存负载等故障发生。其二是针对指定的微服务的接口，模拟多用户高并发调用，比如100个用户，1分钟内每个用户调用1000次，并且采集调用返回的指标，通过这些指标来验证接口的幂等性。

本故障的实现方式有多种，针对第一个功能，可以进入微服务容器的命名空间，比如mnt、uts、ipc、pid、user、net、cgroup等命名空间，以及指定根目录和工作目录，执行比如宿主机上的tc命令触发容器进程的网络延迟，损坏等故障发生。dd命令触发容器进程的Cpu满载，内存负载等故障发生。针对第二个功能，可以参照一些压力测试工具来通过各种策略模拟多用户，高并发发送相同请求到微服务，并且采集请求返回的响应时间，成功率，失败率等数据保存到时序数据库中，比如Influxdb。

故障扩展及实施：按照附图2的流程所示，将实现的故障程序build成镜像之后上传到镜像仓库，并且生成一个新的混沌实验写入到K8s，即完成整个故障的扩展。

按照附图3所示，生成一个新的混沌引擎并且写入到K8s，即提交了一个新的故障演练请求，混沌引擎可以指定不同的环境变量来定义具体的故障场景，比如：压测的接口地址，接口参数，网络延迟时间，内存占用率等。可以通过获取混沌结果自定义对象来查看演练的结果，接口压测信息会保存到数据库，比如Influxdb，可以通过一些图形工具比如grafana来展示数据库中保存的幂等性测试结果。网络延迟，内存使用信息可以通过监控工具，比如promethus来查看。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种兼容云原生和传统环境的可扩展的混沌工程实验装置，本发明将故障演练和故障库分离管理，采用K8s自定义资源的方式来定义故障，通过将故障演练实施内容封装到Docker镜像中，通过Docker镜像仓库统一管理，升级Docker镜像，或者创建新的Docker镜像和K8s自定义资源即可升级或者扩展云原生混沌工程故障。扩展过程完全不影响故障演练平台的功能，从而大幅提升云原生混沌工程故障演练的可扩展性。针对不同的演练对象，采用K8s Api或者RPC的方式兼容云原生环境以及传统换镜架，大幅提升平台的兼容性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (1)

1.一种兼容云原生和传统环境的可扩展的混沌工程实验装置，其特征在于：包括自定义资源、混沌控制器和混沌故障库；

所述自定义资源包括，

混沌引擎自定义资源对象；用于为给定的应用程序创建混沌引擎，并使用appLabel标记；所述混沌引擎将一个或多个故障演练与应用程序绑定在一起；所述混沌引擎包括每个故障的具体定义以及故障对应的故障演练和与其相关的环境变量；

混沌实验自定义资源对象；用于创建混沌实验来保存和操作应用程序中实际故障演练过程；定义故障演练的类型和故障演练的关键参数；通过选择现成的故障或者扩展新的故障构建所需的混沌实验的混沌引擎；

混沌结果自定义资源对象；混沌控制器运行故障演练后获取相应的故障演练结果，混沌结果自定义资源对象将故障演练结果写入到K8s；

混沌控制器用于管理自定义资源的生命周期；

混沌故障库用于存储混沌工程实验所需所有故障的实现过程；

混沌工程实验装置通过创建混沌引擎提交故障演练请求，获取相应的故障演练结果，并写入到K8s；混沌工程实验装置支持云原生环境的故障演练以及传统环境的故障演练；

混沌工程实验装置采用如下方式扩展混沌故障库，

S1、初始化系统到应用集群中，采用Operator扩展方式，创建相关的自定义资源以及自定义控制器；

S2、根据需求开发新的故障类型，并且创建新docker镜像，将docker镜像推送到docker仓库；定义一个新的混沌实验，且该混沌实验包含了新故障的信息；

S3、根据需要通过Portal、Kubectl或者K8s Api Serve创建混沌引擎来提交故障演练请求，并获取故障演练结果；

步骤S2包括如下具体内容，

S21、开发人员根据需求开发新的故障；

S22、开发人员编写Dockerfile，并且使用docker命令将新的故障打包成docker镜像，上传到镜像仓库；

S23、开发人员定义新的混沌实验，使该新的混沌实验包含该新的故障的信息，并将该新的混沌实验通过K8s命令或者K8s Api Server写入到K8s中；

S24、SRE工程师可以使用新的混沌实验实施故障演练；

步骤S3具体包括如下内容，

S31、SRE工程师通过K8s Api Server或命令行的方式创建混沌引擎来提交新的故障演练请求，该故障演练请求包含了混沌实验以及混沌实验所需的环境变量信息；

S32、混沌控制器监测到故障演练请求后，根据混沌实验的信息以及混沌实验所需的环境变量信息从镜像仓库中拉取指定的镜像，创建故障演练Pod来实施具体的故障演练；

S33、判断该故障演练是针对云原生环境的故障演练还是针对传统环境的故障演练；

S34、若是针对云原生环境的故障演练，故障演练Pod通过调用K8s Api Server对云原生环境实施故障演练，获取故障演练结果后进入S36；

S35、若是针对传统环境的故障演练，故障演练Pod通过远程调用的方式给指定的机器安装故障演练Agent，由故障演练Agent来实施具体的故障演练，获取故障演练结果后进入S36；

S36、故障演练Pod将故障演练结果通过混沌结果自定义资源对象写入到K8s中；

S37、用户可通过K8s Api Server或者命令获取相应的故障演练结果；

新的故障的信息包括该故障执行的docker镜像、故障的启动命令和参数、故障执行的环境变量以及执行该故障所需要的权限；

将实现的故障程序build成镜像之后上传到镜像仓库，并且生成一个新的混沌实验写入到K8s，即完成整个故障的扩展；

生成一个新的混沌引擎并且写入到K8s，即提交了一个新的故障演练请求，混沌引擎可以指定不同的环境变量来定义具体的故障场景。

Images