CN107733726A - 一种服务请求的处理方法及装置 - Google Patents

Abstract

本申请涉及云计算技术领域，尤其涉及一种服务请求的处理方法及装置，包括：在检测到用于处理客户端发送的服务请求的当前服务容器实例的运行存在异常情况后，若接收到客户端在预设重传时长内重新发送的与所述服务请求相同的第一服务请求，则确定除当前服务容器实例之外的、能够响应所述第一服务请求的多个已启用的服务容器实例；根据多个已启用的服务容器实例当前运行情况的健康监测结果，从多个已启用的服务容器实例中选择目标服务容器实例；将服务请求发送至目标服务容器实例，以便所述目标服务容器实例所承载的应用服务处理所述第一服务请求。其提高了对重传的服务请求的响应速度，保证了用户业务的不中断，提高了处理结果的容错性和可靠性。

Description

一种服务请求的处理方法及装置

技术领域

本申请涉及云计算技术领域，具体而言，涉及一种服务请求的处理方 法及装置。

背景技术

随着云计算技术的蓬勃发展，很多企业都是使用云计算技术构建私有 云装置，并通过构建的私有云装置提供对外用户应用服务。在云计算技术 中，容器技术由于资源独立，能够解决多操作系统/应用程序堆栈的问题以 及能够快速创建、启动和销毁的优势，而被越来越多的企业应用于构建私 有云装置。

目前，企业基于容器技术构建私有云装置的方法如下：预先部署企业 的私有云集群，这私有云集群能够与面向用户的前端设备建立通信连接， 然后，在私有云集群中部署多个节点，并在每个节点上创建一个或多个运 行应用服务的服务容器实例。当用户在前端设备触发企业提供的应用服务 后，前端设备会向私有云装置发送服务请求，私有云装置在接收到该服务 请求后，调用运行有与所述服务请求对应的应用服务的服务容器实例处理该服务请求，并将服务处理结果反馈给前端设备，以便前端设备向用户显 示服务处理结果。

而上述私有云装置在处理用户的服务请求时，若检测到处理该服务请 求的服务容器实例故障，则会将该服务容器实例迁移到其他节点中，而这 个迁移过程的耗费时长是大于前端设备在捕获到服务请求处理结果异常后 重传该服务请求的预设重传时长，这就会导致前端的用户业务中断，使得 整个私有云装置的容错性和可靠性较差。

发明内容

有鉴于此，本申请实施例的目的在于提供一种服务请求的处理方法及 装置，能够在检测到处理服务请求的服务容器实例运行存在异常情况后， 选择健康状况最好的目标服务容器实例处理客户端重传的服务请求，缓解 了由于服务容器实例故障而导致的用户业务中断的问题，提高了私有云装 置的高容错性和高可靠性。

第一方面，本申请实施例提供了一种服务请求的处理方法，包括：

在检测到用于处理客户端发送的服务请求的当前服务容器实例的运行 存在异常情况后，若接收到所述客户端在预设重传时长内重新发送的与所 述服务请求相同的第一服务请求，则确定除所述当前服务容器实例之外 的、能够响应所述第一服务请求的多个已启用的服务容器实例；

获取所述多个已启用的服务容器实例当前运行情况的健康监测结果；

根据所述多个已启用的服务容器实例当前运行情况的健康监测结果， 从所述多个已启用的服务容器实例中选择目标服务容器实例；

将所述服务请求发送至所述目标服务容器实例，以便所述目标服务容 器实例所承载的应用服务处理所述第一服务请求。

第二方面，本申请实施例提供了一种服务请求的处理装置，包括：

确定模块，用于在检测到用于处理客户端发送的服务请求的当前服务 容器实例的运行存在异常情况后，若接收到所述客户端在预设重传时长内 重新发送的与所述服务请求相同的第一服务请求，则确定除所述当前服务 容器实例之外的、能够响应所述第一服务请求的多个已启用的服务容器实 例；

第一获取模块，用于获取所述多个已启用的服务容器实例当前运行情 况的健康监测结果；

第一选择模块，用于根据所述多个已启用的服务容器实例当前运行情 况的健康监测结果，从所述多个已启用的服务容器实例中选择目标服务容 器实例；

发送模块，用于将所述服务请求发送至所述目标服务容器实例，以便 所述目标服务容器实例所承载的应用服务处理所述第一服务请求。

本申请实施例提供的服务请求的处理方法及装置，预先在私有云装置 中部署并启用对应同一应用服务的多个服务容器实例，这样，在检测到当 前用于处理某一服务请求的当前服务容器实例的运行存在异常情况时，可 以将客户端重传的第一服务请求发送给在其他服务容器实例中选择的目标 服务容器实例进行处理，提高了对重传的服务请求的响应速度，避免了对 运行存在异常情况的服务容器实例进行重新拉起或者迁移而造成的用户业 务中断的问题，保证了用户业务的不中断。并且，本申请实施例中，根据 除当前服务容器实例之外的其他服务容器实例的当前的健康监测结果，选 择目标服务容器实例，保证了对服务请求处理的容错性和可靠性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了现有技术中的部署有服务容器实例的私有云装置的结构示 意图。

图2示出了本申请实施例中部署有服务容器实例的私有云装置的结构 示意图。

图3示出了本申请实施例所提供的一种服务请求的处理方法的流程图。

图4示出了本申请实施例中全局视角下基于容器编排工具部署的多服 务容器实例的架构图。

图5示出了本申请实施例所提供的另一种服务请求的处理方法的流程 图。

图6示出了本申请实施例中服务容器实例迁移的架构图。

图7示出了本申请实施例所提供的另一种服务请求的处理方法的流程 图。

图8示出了本申请实施例所提供的一种服务请求的处理装置的结构示 意图。

图9示出了本申请实施例所提供的另一种服务请求的处理装置的结构 示意图。

图10示出了本申请实施例所提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本 申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配 置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描 述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实 施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了现有技术中的私有云装置的结构示意图，在图1中，私有 云装置中预先部署主节点和两个从节点(即从节点A和从节点B)，这些节 点中均预先部署容器运行环境，以及基于该容器运行环境部署的服务容器 实例(这里，服务容器实例指的是运行有应用服务的容器实例)，其中，不 同节点上的服务容器实例所承载的应用服务不同，如主节点上的服务容器 实例承载应用服务A，从节点A上的服务容器实例承载应用服务B，从节点 B上的服务容器实例承载应用服务C，这些应用服务用于处理客户端发送的 对应于这些应用服务的服务请求。在实际应用过程中，客户端上的应用服 务A向集群管理系统发送服务请求，集群管理系统在接收到该服务请求A 后，会调用主节点中的服务A容器实例中处理该服务请求A(这里，具体为 服务A容器实例所承载的服务A处理服务请求A)。但是，此时，若该服务 A容器实例的运行存在异常情况，集群管理系统需要将服务A容器实例重新 拉起或者将该服务A容器实例所承载的应用服务A迁移到其他的节点(如 从节点A或者从节点B)中，而无论是重新拉起应用服务A还是迁移应用服 务A均需要耗费一定时长，若这个时长大于客户端在捕获到服务请求处理 结果异常后尝试重传该服务请求的预设重传时长，则会导致用户业务中断， 用户体验差并且还会给用户造成了一定经济损失。因此，现有技术中整个 私有云装置的容错性和可靠性较差。

为了解决现有技术中的私有云装置中存在的业务中断的问题，本申请 实施例提供了一种服务请求的处理方法及装置，预先在私有云装置中部署 并启用对应同一应用服务的多个服务容器实例，这样，能够在检测到处理 服务请求的服务容器实例的运行存在异常情况后，选择健康状况最好的目 标服务容器实例处理客户端重传的第一服务请求，解决了由于服务容器实 例的运行存在异常情况而导致的用户业务中断的问题，保证了私有云装置 的高容错性和高可靠性。

图2示出了本申请实施例提供的私有云装置中部署多个服务容器实例 的结构示意图，如图2所示，预先利用集群管理系统根据应用服务的业务 量，在服务器集群中部署多个虚拟机节点(以下简称节点)，然后，利用集 群管理系统中容器编排工具(如Kubernetes)预先定义一个用户的应用服 务(也即微服务)启动多少个服务容器实例(在本申请实施例中，每个应 用服务启动的服务容器实例为多个)，并根据每个节点的资源占用情况，定 义每个节点启动的服务容器实例的数量。在本申请实施例中，每个节点上 部署有多个服务容器实例，同一个节点上的服务容器实例所承载的应用服 务可以不同，并且，同一个应用服务对应的服务容器实例可以分别部署在 不同节点上。在本申请实施例中，每个服务容器实例中可以运行多个应用 服务线程，这样的目的能够使每一个服务容器实例同时处理多个服务请求。

如图2所示，容器编排工具针对应用服务A部署三个服务容器实例， 分别为部署在主节点、从节点A和从节点B上的服务A容器实例1，服务A 容器实例2和服务A容器实例3；针对应用服务B部署三个服务容器实例， 分别为部署在主节点、从节点A和从节点C上的服务B容器实例1，服务B 容器实例2和服务B容器实例3。

在本申请实施例中，每个应用服务对应一个统一资源定位符(Uniform ResourceLocator，URL)，每个URL对应一个域名系统(Domain Name System， DNS)，由于同一个应用服务分别部署在多个节点上，因此，同一个应用服 务的DNS能够访问与该应用服务所部署的多个节点的节点网络之间互连的 协议(Internet Protocol，IP)地址，进而访问每个节点IP地址中的多 个服务容器实例IP地址。容器编排工具在创建好应用服务的服务容器实例 之后，存储应用服务的URL、DNS、节点IP地址和服务容器实例IP地址的 对照表，该对照表如表1所示。

表1

Kubernetes基于部署的节点的数量以及定义的每个应用服务启动的服 务容器实例的数量，在多个节点上分别部署并启用同一个服务容器实例， 使同一个应用服务的多个服务容器实例分别部署在不同节点上，这样能够 避免在一个节点故障(比如异常断电)后，由于整个私有云装置中不存在 运行该应用服务的服务容器实例而需要将故障节点的服务容器实例进行迁 移，最终导致整个私有云装置的容错性和可靠性较差的问题。

在本申请实施例中，要尽可能保证节点数量足够多，这样，同一个应 用服务启用的服务容器实例就可以越多，并且还能保证启用的多个服务容 器实例在节点上分配越均匀，从而能够提高整个私有云装置的容错性和可 靠性。

本申请实施例构建的私有云装置中，每个节点上的服务容器实例所承 载的应用服务可以是无状态应用服务，也可以是有状态应用服务。这里， 无状态应用服务指的是：应用服务的单次服务请求的处理，不依赖其他服 务请求，服务器本身不存储任何对服务请求的处理信息。有状态应用服务 指的是，服务器会保存每次服务请求的处理信息，以建立同一个应用服务 的服务请求之间的先后关联。

对于无状态应用服务的服务请求，可以直接调用私有云装置中部署相 关服务容器实例进行处理。对于有状态应用服务，本申请实施例需要构建 相关服务容器实例的主备关系，以图2为例，如果应用服务A是有状态应 用服务，可以将主节点中的服务A容器实例1作为从节点B中的服务A容 器实例3的备用服务容器实例，将从节点A的服务A容器实例2作为主节 点中的服务A容器实例1的备用服务容器实例，将从节点B的服务A容器 实例3作为从节点A的服务A容器实例2的备用服务容器实例。基于此， 若应用服务A的服务请求被下发到主节点中的服务A容器实例1中，服务A 容器实例1处理并记录应用服务A的处理信息，并将记录的处理信息同步 给备用服务容器实例(即服务A容器实例2)，以便在服务A容器实例1发 生异常后的下一次服务请求发送给其他节点中的目标服务容器时，该目标 实例容器可以从节点A的服务A容器实例2中获取上一次该服务请求的处 理信息，并基于获取的处理信息处理当前服务请求。

如图3所示，本申请实施例提供了一种服务请求的处理方法，本方法 的执行主体可以为容器编排工具、或安装有容器编排工具的设备、或安装 有容器编排工具的集群管理系统、或具有容器编排能力的设备、或具有容 器编排能力的集群管理系统，以下以执行主体为容器编排工具为例进行说 明。图3所示的方法具体包括以下步骤。

S101、在检测到用于处理客户端发送的服务请求的当前服务容器实例 的运行存在异常情况后，若接收到所述客户端在预设重传时长内重新发送 的与所述服务请求相同的第一服务请求，则确定除所述当前服务容器实例 之外的、能够响应所述第一服务请求的多个已启用的服务容器实例。

本申请实施例中，容器编排工具(如Kubernetes)通过获取当前服务 容器实例所在当前节点的健康监测结果以及当前服务容器实例本身的健 康监测结果，对当前服务容器实例是否存在运行异常情况进行监测。这里， 服务容器实例本身的健康监测结果包括：服务容器实例的容器配置信息和 服务容器实例对服务请求的运行结果(这里的运行结果具体可以为：对服 务请求的响应结果、响应时长和应用服务线程数量)。

具体监测方式如下：图4示出了本申请实施例提供的基于容器编排工 具的全局视角多服务容器实例架构图，如图4所示，容器编排工具在部署 并启用服务容器实例后，会将这些服务容器实例的容器配置信息存储在高 可用的键值存储系统(即Etcd)中，而每个服务容器实例在处理服务请 求后，会记录每次处理服务请求的处理结果。容器编排工具通过容器健康 检测系统(即Health Monitor)定时调用当前Etcd中的各个服务容器实 例的容器配置信息以及各个服务容器实例对服务请求的响应结果、响应时 长和各个服务容器实例中的应用服务线程数量，同时，容器编排工具也定 时调用当前各个服务容器实例所在节点的健康监测结果，容器编排工具将 调用的上述信息统称为各个服务容器实例的健康监测结果。若基于上述各 个服务容器实例的健康监测结果确认当前服务容器实例的运行存在异常 状况，则记录当前服务容器实例的服务容器实例IP地址、节点IP地址、 DNS以及具体异常问题，并标记当前服务容器实例运行异常。

本申请实施例中，当前服务容器实例的运行存在的异常情况包括两种， 一是当前服务容器实例所在的节点存在异常(如节点断电)，二是当前服务 容器实例所在的节点运行正常，但当前服务容器实例本身存在异常，这两 种情况都会造成用户的业务中断。这里，当前服务容器实例本身存在异常 又包括：当前服务容器实例无法实现预设的功能，以及，当前服务容器实 例的容器配置信息不满足预设的配置条件。其中，当前服务容器实例无法实现预设的功能具体可以为下列情况中的一种或多种：当前服务容器实例 对服务请求的响应结果的错误率大于设定错误率阈值、响应时长大于设定 时长阈值和当前服务容器实例中不存在空闲的应用服务线程。

如图4所示，对于客户端，客户端通常是通过浏览器(即Browser)中 基于全球广域网(即Web)的应用程序(如Web实例1、Web实例2和Web 实例3)向集群管理系统发送服务请求；这里，在节点上预先部署有基于 Web的应用程序对应的Web容器实例，部署的Web容器实例通常为多个，用 于处理不同用户的服务请求。以图4为例，用户通过浏览器以及Web实例2向集群管理系统中的容器编排工具(如Kubernetes)发送服务请求。若Web 实例2在捕获到发送的服务请求的异常处理结果后，会在预设重传时长内 重新向Kubernetes发送与所述服务请求相同的第一服务请求，第一服务请 求中携带有应用服务的统一资源定位符(Uniform Resource Locator，URL)， 这里，第一服务请求与上一个服务请求的请求内容以及携带的URL相同。 Kubernetes在接收到第一服务请求后，根据第一服务请求携带的URL以及 预设的应用服务的URL、DNS、节点IP地址和服务容器实例IP地址的对照 表(例如上述表1)，确定所述第一服务请求携带的URL对应的DNS、节点 IP地址和服务容器实例IP地址等信息，并从确定的上述信息中，获取除标 记的运行异常的服务容器实例IP地址、节点IP地址以及DNS之外的剩余 信息，根据这些剩余信息即可确定能够响应所述第一服务请求的多个已启 用的服务容器实例。

S102、获取所述多个已启用的服务容器实例当前运行情况的健康监测 结果。

Kubernetes在确定响应第一服务请求的多个已启用的服务容器实例之 后，分别调用这些服务容器实例的当前运行情况的健康监测结果。

这里的健康监测结果仍然包括：多个已启用的服务容器实例所在节点 的健康监测结果和多个已启用的服务容器实例本身的健康监测结果。其 中，服务容器实例本身的健康监测结果又包括：服务容器实例的容器配置 信息和服务容器实例对服务请求的运行结果(这里的运行结果具体可以为 对服务请求的响应结果、响应时长和应用服务线程数量)。其中，这些确 定的多个已启用的服务容器实例的健康监测结果的监控方式与步骤101 中确定当前服务容器实例的运行是否存在异常情况的监控方法相同，此处 不在赘述。

S103、根据所述多个已启用的服务容器实例当前运行情况的健康监测 结果，从所述多个已启用的服务容器实例中选择目标服务容器实例。

具体实施方式中，Kubernetes在确定了能够响应客户端重传的第一服 务请求的多个已启用的服务容器实例后，首先根据这多个已启用的服务容 器实例当前运行情况的健康监测结果，从这多个已启用的服务容器实例中 选择满足多个预设健康条件的至少一个服务容器实例。

这里，多个预设健康条件包括：响应结果的错误率小于设定错误率阈 值(该错误率阈值可以设置为60％)、响应时长小于设定时长阈值(该设 定时长阈值可以设置为60％)、和负载情况小于设定负载阈值(该设定负 载阈值可以设置为当前服务容器实例中的应用服务的线程总数量)。这里， 负载情况小于设定负载阈值指的是：当前服务容器实例中的应用服务的占 用线程数量小于线程总数量，也即当前服务容器实例中存在空闲的线程。

Kubernetes首先判断选择的多个已启用的服务容器实例是否同时满足 上述多个预设健康条件，然后，找到满足上述多个预设的健康的至少一个 服务容器实例，以便后续从找到的这些服务容器实例中选择目标服务容器 实例。

在找到满足上述多个预设的健康的至少一个服务容器实例之后， Kubernetes根据每个预设健康条件在上述多个预设健康条件中的权重， 以及所述至少一个服务容器实例在每个预设健康条件下的健康度，从所述 至少一个服务容器实例中选择最优的目标服务容器实例。举例来讲， Kubernetes确定的服务容器实例有三个，分别为服务容器实例1，服务容 器实例2和服务容器实例3。上述三个预设的健康条件的权重从大到小依 次为，响应时长小于设定时长阈值(权重值为45％)、响应结果的错误率 小于设定错误率阈值(权重值为30％)和负载情况小于设定负载阈值(权 重值为25％)，其中，服务容器实例1在权重从大到小的三个预设的健康 条件中的健康度依次为：60％、50％和40％，服务容器实例2在权重从大到 小的三个预设的健康条件中的健康度依次为：40％、60％和60％，服务容器 实例3在权重从大到小的预设的健康条件中的健康度依次为：20％、30％ 和70％。最终，Kubernetes按照公式：总体健康度＝响应时长的权重值× 响应时长的健康度+响应结果的错误率的权重值×响应结果的错误率的健 康度+负载情况的权重值×负载情况的健康度，计算服务容器实例1，服 务容器实例2和服务容器实例3的总体健康度，总体健康度的计算结果依 次为：0.52、0.51和0.355。因此，Kubernetes确定服务容器实例1最 健康，并将该服务容器实例1确定为最优的目标服务容器实例。

通过确定的总体健康度最优的目标服务容器实例处理第一服务请求， 能够进一步提高私有云装置处理服务请求的容错性和可靠性。

S104、将所述服务请求发送至所述目标服务容器实例，以便所述目标 服务容器实例所承载的应用服务处理所述第一服务请求。

Kubernetes在确定了目标服务容器实例之后，将接收的第一服务请求 发送给确定的目标服务容器实例，以便该目标服务容器实例所承载的应用 服务处理所述第一服务请求。

如图4所示，私有云装置中还包括数据库和消息中间件，Kubernetes 预先基于容器运行环境在任意一个节点上部署该数据库和消息中间件。当 目标服务容器实例所承载的应用服务处理完服务请求之后，该应用服务会 将该服务请求的处理结果通知给消息中间件，由消息中间件将该服务请求 的处理结果存储在数据库中。

本申请实施例提供的服务请求的处理方法，预先在私有云装置中部署 并启用对应同一应用服务的多个服务容器实例，这样，在检测到当前用于 处理某一服务请求的当前服务容器实例的运行存在异常情况时，可以将客 户端重传的第一服务请求发送给在其他服务容器实例中选择的目标服务容 器实例进行处理，提高了对重传的服务请求的响应速度，避免了对运行存 在异常情况的服务容器实例进行重新拉起或者迁移而造成的用户业务中断 的问题，保证了用户业务的不中断。并且，本申请实施例中，根据除当前 服务容器实例之外的其他服务容器实例的当前的健康监测结果，选择目标 服务容器实例，保证了对服务请求处理的容错性和可靠性。

如上所述，Kubernetes在检测到用于处理客户端发送的服务请求的当 前服务容器实例的运行存在异常情况后，将客户端重新传送的第一服务请 求下发给健康度最优的目标服务容器实例，以使目标服务容器实例处理该 第一服务请求，最终将该第一服务请求的响应结果返回给客户端，以便客 户端显示该响应结果。同时，对于检测到的运行存在异常情况的当前服务 容器实例，Kubernetes需要根据当前服务容器实例的具体异常情况对该 当前服务容器实例进行处理。

图5示出了另一实施例提供的一种服务请求的处理方法的流程图，如 图5所示，基于前述实施例，在本申请实施例中，Kubernetes监测的服 务容器实例的健康监测结果包括：服务容器实例所在节点的健康监测结 果，则所述获取所述多个已启用的服务容器实例当前运行情况的健康监测 结果之后，还包括S201和S202，具体如下。

S201、若检测到所述当前服务容器实例所在的当前节点的健康监测结 果不满足预设健康条件，则根据所述多个已启用的服务容器实例所在节点 的健康监测结果，从除当前节点之外的其他未部署所述当前服务容器实例 的节点中选择目标迁移节点。

这里，如果Kubernetes根据调用的各个服务容器实例所在节点的健康 监测结果，确定用于处理服务请求的当前服务容器实例所在的节点异常 (如该节点异常断电)，那么Kubernetes确定需要将该当前服务容器实例 进行迁移。

具体的迁移过程包括：Kubernetes根据调用的步骤101中确定的多个 已启用的服务容器实例所在节点的健康监测结果，在这多个已启用的服务 容器实例所在节点中，选择出满足第一健康条件的至少一个第一节点。这 里，节点的健康监测结果包括：节点的运行环境和负载情况；第一健康条 件包括：节点的运行环境满足设定运行条件且负载情况小于设定负载阈 值。然后，Kubernetes在这些满足第一健康条件的至少一个第一节点中 找到未部署当前服务容器实例的至少一个第二节点，然后按照每个第一健 康条件在所述多个第一健康条件中的权重，以及所述至少一个第二节点在 每个第一健康条件下的健康度，计算每个第二节点的总体健康度，最终从 第二节点中选择出总体健康度最好的第二节点作为目标迁移节点。这里， 计算第二节点的总体健康度的方式与上述选择最优的目标服务容器实例 的方式相同，此处，不再具体说明。

这里，若Kubernetes在这些满足第一健康条件的至少一个第一节点中 没有找到未部署当前服务容器实例的至少一个第二节点，那么Kubernetes 可以直接按照每个第一健康条件在所述多个第一健康条件中的权重，以及 所述至少一个第一节点在每个第一健康条件下的健康度，计算每个第一节 点的总体健康度，最终从第一节点中选择出总体健康度最好的第一节点作 为目标迁移节点；或者Kubernetes选择不迁移当前服务容器实例。

S202、获取所述当前服务容器实例的镜像文件，并根据获取的所镜像 文件以及预设的配置条件，在所述目标迁移节点中创建所述当前服务容器 实例。

这里，若目标迁移节点中预先存储有当前服务容器实例的镜像文件， 那么Kubernetes直接调用该镜像文件，并基于该镜像文件和预设的配置条 件，在确定的目标迁移节点创建所述当前服务容器实例。

若目标迁移节点中未存储有当前服务容器实例的镜像文件，那么 Kubernetes直接从文件存储系统中调用当前服务容器实例的镜像文件，并 基于该镜像文件和预设的配置条件，在目标迁移节点创建所述当前服务容 器实例。这里，文件存储系统中预先存储有各个服务容器实例的镜像文件。

如图6所示，假设用户正在进行创建主机动作。用户通过浏览器 (Browser)在某个web实例(如web实例2)中创建主机，web实例2通 过容器编排工具将创建主机的当期服务请求下发到节点A中的服务A容器 实例1，由服务A容器实例1所承载的应用服务A处理该服务请求。假设 节点A异常断电，造成访问节点A上服务请求得不到响应，最后超时。web 实例2对连接超时异常进行捕获，并进行上次请求的尝试操作(即web实 例在预设的重传时间内重新发送与上述服务请求相同的第一服务请求)， 容器编排工具(Kubernetes)会将这次服务请求下发到节点B上的服务A 容器实例2，由节点B中的服务容器实例2对重传的第一服务请求进行处 理。当前这种操作用户感知不到后端服务异常断电，不会造成业务中断。

Kubernetes若监测到节点A的运行异常情况为节点A异常断电，为了 能够让异常节点A中的应用服务A尽快恢复工作，容器编排工具需要将异 常的节点A中的应用服务A迁移到其他节点中，这时，Kubernetes会重新 根据该第一服务请求对应的其他服务容器实例的健康监测结果(这里，主 要是其他服务容器实例所在的节点的资源使用情况)，去决定当前异常节点 下的服务A容器实例1所承载的应用服务A启动在哪个节点上，即确定应 用服务A的目标迁移节点。在图6中，Kubernetes确定未部署有应用服务 A的服务容器实例的节点D作为目标迁移节点，理由是，由于节点D中并未 部署有应用服务A，这样，即使节点D异常断电，也只会影响节点D中部署 的应用服务A无法工作；如果选择部署有应用服务A的节点B作为目标迁 移节点，如果节点B异常断电，则会同时影响迁移的应用服务A以及节点B 中原有的应用服务A无法工作，这就会导致整个私有云装置中的应用服务A 的数量减少，进而影响对服务请求的处理，因此，选择未部署有应用服务A 的节点D作为目标迁移节点能更好地保证私有云装置的高可靠性。在选择 了目标迁移节点(即节点D)之后，Kubernetes将应用服务A迁移到节点D 中。应当理解的是，本申请实施例并不排除将部署有当前服务容器实例的 节点(例如节点B或节点C)作为目标迁移节点。

如果Kubernetes未监测到没有部署有应用服务A的服务容器实例的节 点，Kubernetes可以选择收缩掉(即删除)服务A容器实例1，只保留节 点B中的服务A容器实例2和节点C中的服务A容器实例3，等待节点A重 启之后再重新建立并启动服务A容器实例1。或者，Kubernetes也可以选 择将应用服务A运行在部署有该应用服务A的服务容器实例的节点(如节 点B和节点C)上。

图7示出了另一实施例提供的一种服务请求的处理方法的流程图，如 图7所示，本申请实施例中，Kubernetes监测的服务容器实例的健康监 测结果还包括：服务容器实例本身的健康监测结果，则所述获取所述多个 已启用的服务容器实例当前运行情况的健康监测结果之后，还包括S301 和S302，具体如下。

S301、若检测到所述当前服务容器实例所在的当前节点的健康监测结 果满足预设健康条件、但该当前服务容器实例本身的健康监测结果不满足 预设健康条件，则删除所述当前服务容器实例。

这里，所述服务容器实例本身的健康监测结果不满足预设健康条件， 包括：所述服务容器实例的容器配置信息不满足预设的配置条件；和/或， 所述服务容器实例无法实现预设的功能。而服务容器实例无法实现预设的 功能具体可以为下列情况中的一种或多种：服务容器实例对服务请求的响 应结果的错误率大于设定错误率阈值、服务容器实例对服务请求的响应时 长大于设定时长阈值、服务容器实例中不存在空闲的应用服务线程。

若当前服务容器实例的运行异常并不是由于其所在的当前节点造成的 而是因为当前服务容器实例本身造成的，那么可以不改变该当前服务容器 实所在例的当前节点，而是在当前节点收缩掉(即删除)该当前服务容器 实例，并重新拉起(即重新创建)该当前服务容器实例。

S302、获取所述当前服务容器实例的镜像文件，并根据获取的所述镜 像文件以及预设的配置条件，在所述当前服务容器实例所在当前节点重新 创建所述当前服务容器实例。

若当前服务容器实例所在节点中预先存储有当前服务容器实例的镜像 文件，那么Kubernetes直接调用该镜像文件，并基于该镜像文件和预设的 配置条件，在当前节点创建所述当前服务容器实例。

若当前节点中未存储有当前服务容器实例的镜像文件，那么 Kubernetes直接从文件存储系统中调用当前服务容器实例的镜像文件，并 基于该镜像文件和预设的配置条件，在当前节点中创建所述当前服务容器 实例。文件存储系统中预先存储有各个服务容器实例的镜像文件。

在本申请实施例中，基于异常的服务容器实例的具体异常情况执行对 该故障服务容器实例的修复工作，能够提高运行异常的服务容器实例的修 复效率，节约了节点的服务器资源，进一步保证了私有云装置的高可靠性。

在本申请实施例中的私有云装置具有以下优势：1、高可靠性：当节点 异常或者应用服务发生迁移，有其他服务容器实例提供业务功能支持，不 会中断业务的功能，保证私有云系统高可靠性。2、高容错性：当节点异常 或者应用服务发生迁移，有其他服务容器实例提供业务功能支持，不会中 断业务的功能，用户感知不到系统异常情况，保证私有云高容错性。

本申请实施例还提高了一种服务请求的处理装置，如图8所示，所述 装置包括：

确定模块11，用于在检测到用于处理客户端发送的服务请求的当前服 务容器实例的运行存在异常情况后，若接收到所述客户端在预设重传时长 内重新发送的与所述服务请求相同的第一服务请求，则确定除所述当前服 务容器实例之外的、能够响应所述第一服务请求的多个已启用的服务容器 实例；

第一获取模块12，用于获取所述多个已启用的服务容器实例当前运行 情况的健康监测结果；

第一选择模块13，用于根据所述多个已启用的服务容器实例当前运行 情况的健康监测结果，从所述多个已启用的服务容器实例中选择目标服务 容器实例；

发送模块14，用于将所述服务请求发送至所述目标服务容器实例，以 便所述目标服务容器实例所承载的应用服务处理所述第一服务请求。

进一步的，所述服务请求的处理装置中，第一选择模块13，具体用于：

根据所述多个已启用的服务容器实例当前运行情况的健康监测结果， 从所述多个已启用的服务容器实例中选择满足多个预设健康条件的至少 一个服务容器实例；

根据每个预设健康条件在所述多个预设健康条件中的权重，以及所述 至少一个服务容器实例在每个预设健康条件下的健康度，从所述至少一个 服务容器实例中选择最优的目标服务容器实例。

进一步的，如图9所示，所述服务请求的处理装置中，所述健康监测 结果包括：服务容器实例所在节点的健康监测结果，所述装置还包括：

第二选择模块15，用于在检测到所述当前服务容器实例所在的当前节 点的健康监测结果不满足预设健康条件时，根据所述多个已启用的服务容 器实例所在节点的健康监测结果，从除当前节点之外的其他未部署所述当 前服务容器实例的节点中选择目标迁移节点；

第二获取模块16，用于获取所述当前服务容器实例的镜像文件，并根 据获取的所镜像文件以及预设的配置条件，在所述目标迁移节点中创建所 述当前服务容器实例。

进一步的，如图9所示，所述服务请求的处理装置中，所述健康监测 结果包括：服务容器实例本身的健康监测结果，所述装置还包括：

删除模块17，用于在检测到所述当前服务容器实例所在的当前节点的 健康监测结果满足预设健康条件、但该当前服务容器实例本身的健康监测 结果不满足预设健康条件时，删除所述当前服务容器实例；

第二获取模块16，用于获取所述当前服务容器实例的镜像文件，并根 据获取的所述镜像文件以及预设的配置条件，在所述当前服务容器实例所 在当前节点重新创建所述当前服务容器实例。

进一步的，所述服务请求的处理装置中，所述当前服务容器实例本身 的健康监测结果不满足预设健康条件，包括：

所述当前服务容器实例的容器配置信息不满足预设的配置条件；

和/或，

所述当前服务容器实例所承载的应用服务无法实现预设的功能。

本申请实施例提供的服务请求的处理装置，预先在私有云装置中部署 并启用对应同一应用服务的多个服务容器实例，这样，在检测到当前用于 处理某一服务请求的当前服务容器实例的运行存在异常情况时，可以将客 户端重传的第一服务请求发送给在其他服务容器实例中选择的目标服务 容器实例进行处理，提高了对重传的服务请求的响应速度，避免了对运行 存在异常情况的服务容器实例进行重新拉起或者迁移而造成的用户业务 中断的问题，保证了用户业务的不中断。并且，本申请实施例中，根据除 当前服务容器实例之外的其他服务容器实例的当前的健康监测结果，选择 目标服务容器实例，保证了对服务请求处理的容错性和可靠性。

图10为本申请一实施例提供的计算机设备的结构示意图，如图10所 示，用于执行图3中的服务请求的处理方法，该设备包括存储器21、处 理器22及存储在该存储器21上并可在该处理器22上运行的计算机程序， 其中，上述处理器22执行上述计算机程序时实现上述服务请求的处理方 法的步骤。

具体地，上述存储器21和处理器22能够为通用的存储器和处理器， 这里不做具体限定，当处理器22运行存储器21存储的计算机程序时，能 够执行上述服务请求的处理方法，在检测到当前用于处理某一服务请求的 当前服务容器实例的运行存在异常情况时，可以将客户端重传的第一服务 请求发送给在其他服务容器实例中选择的目标服务容器实例进行处理，提 高了对重传的服务请求的响应速度，避免了对运行存在异常情况的服务容器实例进行重新拉起或者迁移而造成的用户业务中断的问题，保证了用户 业务的不中断。并且，本申请实施例中，根据除当前服务容器实例之外的 其他服务容器实例的当前的健康监测结果，选择目标服务容器实例，保证 了对服务请求处理的容错性和可靠性。

对应于图3中的服务请求的处理方法，本申请实施例还提供了一种计 算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算 机程序被处理器运行时执行上述服务请求的处理方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等， 该存储介质上的计算机程序被运行时，能够执行上述服务请求的处理方 法，在检测到当前用于处理某一服务请求的当前服务容器实例的运行存在 异常情况时，可以将客户端重传的第一服务请求发送给在其他服务容器实 例中选择的目标服务容器实例进行处理，提高了对重传的服务请求的响应 速度，避免了对运行存在异常情况的服务容器实例进行重新拉起或者迁移而造成的用户业务中断的问题，保证了用户业务的不中断。并且，本申请 实施例中，根据除当前服务容器实例之外的其他服务容器实例的当前的健 康监测结果，选择目标服务容器实例，保证了对服务请求处理的容错性和 可靠性。

本申请实施例所提供的服务请求的处理装置可以为设备上的特定硬件 或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现 原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例 部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人 员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单 元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以 通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦 合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成 在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申 请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘 等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述， 而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用 以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于 此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都 应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利 要求的保护范围为准。

Claims (10)

1.一种服务请求的处理方法，其特征在于，包括：

在检测到用于处理客户端发送的服务请求的当前服务容器实例的运行存在异常情况后，若接收到所述客户端在预设重传时长内重新发送的与所述服务请求相同的第一服务请求，则确定除所述当前服务容器实例之外的、能够响应所述第一服务请求的多个已启用的服务容器实例；

获取所述多个已启用的服务容器实例当前运行情况的健康监测结果；

根据所述多个已启用的服务容器实例当前运行情况的健康监测结果，从所述多个已启用的服务容器实例中选择目标服务容器实例；

将所述服务请求发送至所述目标服务容器实例，以便所述目标服务容器实例所承载的应用服务处理所述第一服务请求。

2.根据权利要求1所述的服务请求的处理方法，其特征在于，所述根据所述多个已启用的服务容器实例当前运行情况的健康监测结果，从所述多个已启用的服务容器实例中选择目标服务容器实例，包括：

根据所述多个已启用的服务容器实例当前运行情况的健康监测结果，从所述多个已启用的服务容器实例中选择满足多个预设健康条件的至少一个服务容器实例；

根据每个预设健康条件在所述多个预设健康条件中的权重，以及所述至少一个服务容器实例在每个预设健康条件下的健康度，从所述至少一个服务容器实例中选择最优的目标服务容器实例。

3.根据权利要求1所述的服务请求的处理方法，其特征在于，所述健康监测结果包括：服务容器实例所在节点的健康监测结果，则所述获取所述多个已启用的服务容器实例当前运行情况的健康监测结果之后，还包括：

若检测到所述当前服务容器实例所在的当前节点的健康监测结果不满足预设健康条件，则根据所述多个已启用的服务容器实例所在节点的健康监测结果，从除当前节点之外的其他未部署所述当前服务容器实例的节点中选择目标迁移节点；

获取所述当前服务容器实例的镜像文件，并根据获取的所镜像文件以及预设的配置条件，在所述目标迁移节点中创建所述当前服务容器实例。

4.根据权利要求1-3任一项所述的服务请求的处理方法，其特征在于，所述健康监测结果包括：服务容器实例本身的健康监测结果，则所述获取所述多个已启用的服务容器实例当前运行情况的健康监测结果之后，还包括：

若检测到所述当前服务容器实例所在的当前节点的健康监测结果满足预设健康条件、但该当前服务容器实例本身的健康监测结果不满足预设健康条件，则删除所述当前服务容器实例；

获取所述当前服务容器实例的镜像文件，并根据获取的所述镜像文件以及预设的配置条件，在所述当前服务容器实例所在当前节点重新创建所述当前服务容器实例。

5.根据权利要求4所述的服务请求的处理方法，其特征在于，所述当前服务容器实例本身的健康监测结果不满足预设健康条件，包括：

所述当前服务容器实例的容器配置信息不满足预设的配置条件；

和/或，

所述当前服务容器实例所承载的应用服务无法实现预设的功能。

6.一种服务请求的处理装置，其特征在于，包括：

确定模块，用于在检测到用于处理客户端发送的服务请求的当前服务容器实例的运行存在异常情况后，若接收到所述客户端在预设重传时长内重新发送的与所述服务请求相同的第一服务请求，则确定除所述当前服务容器实例之外的、能够响应所述第一服务请求的多个已启用的服务容器实例；

第一获取模块，用于获取所述多个已启用的服务容器实例当前运行情况的健康监测结果；

第一选择模块，用于根据所述多个已启用的服务容器实例当前运行情况的健康监测结果，从所述多个已启用的服务容器实例中选择目标服务容器实例；

发送模块，用于将所述服务请求发送至所述目标服务容器实例，以便所述目标服务容器实例所承载的应用服务处理所述第一服务请求。

7.根据权利要求6所述的服务请求的处理装置，其特征在于，所述第一选择模块，具体用于：

根据所述多个已启用的服务容器实例当前运行情况的健康监测结果，从所述多个已启用的服务容器实例中选择满足多个预设健康条件的至少一个服务容器实例；

根据每个预设健康条件在所述多个预设健康条件中的权重，以及所述至少一个服务容器实例在每个预设健康条件下的健康度，从所述至少一个服务容器实例中选择最优的目标服务容器实例。

8.根据权利要求6所述的服务请求的处理装置，其特征在于，所述健康监测结果包括：服务容器实例所在节点的健康监测结果，所述装置还包括：

第二选择模块，用于在检测到所述当前服务容器实例所在的当前节点的健康监测结果不满足预设健康条件时，根据所述多个已启用的服务容器实例所在节点的健康监测结果，从除当前节点之外的其他未部署所述当前服务容器实例的节点中选择目标迁移节点；

第二获取模块，用于获取所述当前服务容器实例的镜像文件，并根据获取的所镜像文件以及预设的配置条件，在所述目标迁移节点中创建所述当前服务容器实例。

9.根据权利要求6-8任一项所述的服务请求的处理装置，其特征在于，所述健康监测结果包括：服务容器实例本身的健康监测结果，所述装置还包括：

删除模块，用于在检测到所述当前服务容器实例所在的当前节点的健康监测结果满足预设健康条件、但该当前服务容器实例本身的健康监测结果不满足预设健康条件时，删除所述当前服务容器实例；

第二获取模块，用于获取所述当前服务容器实例的镜像文件，并根据获取的所述镜像文件以及预设的配置条件，在所述当前服务容器实例所在当前节点重新创建所述当前服务容器实例。

10.根据权利要求9所述的服务请求的处理装置，其特征在于，所述当前服务容器实例本身的健康监测结果不满足预设健康条件，包括：

所述当前服务容器实例的容器配置信息不满足预设的配置条件；

和/或，

所述当前服务容器实例所承载的应用服务无法实现预设的功能。