CN109857428A - 用于iom系统的灰度发布方法 - Google Patents

Abstract

本发明公开了一种用于IOM系统的灰度发布方法，通过将新版本发布到灰度环境中，并检测其线上业务是否正常，当新版本的线上业务均检测正常时，再将新版本发布到原生产环境中，从而完成新版本发布。本发明主要消除了生产环境和测试环境的隔阂，包括不同的环境、不同的配置、不同的代码等，可以让新版本比之前早一步发布到线上验证；采用本发明可以灵活的进行版本升级；规避一定的发布风险，减少产品迭代升级的影响范围；快速获取用户的反馈意见，完善产品功能，提高产品质量；避免停服发布给用户带来的不便，无需夜晚发包，让运维和开发人员的工作时间更加理性；具有容灾能力，减少全量发布引起的服务器崩溃、系统接口异常等风险。

Description

用于IOM系统的灰度发布方法

技术领域

本发明涉及软件版本更新技术，尤其涉及一种用于IOM系统的灰度发布方法。

背景技术

当新系统或新业务上线时，维护人员面临的一大挑战是如何在不影响已上线业务的情况下进行新旧系统的交替。目前维护人员大多都是在晚上业务低峰期进行版本发布，许多业务只能等到第二天业务量正常时才可验证成功性。不管在上线前做过多么完备的自动化和人工测试，在发布后都可能出现或多或少的故障，影响到业务系统的正常流转，并且影响范围是不可控制的。不能完全寄希望于线下测试时就发现所有的潜在故障，在无法百分之百避免版本升级故障的情况下，需要通过一种方式来进行可控的版本发布，将故障影响控制在可以接受的范围内，并且可以快速回退，减少上线风险。保证系统安全稳定可靠运行，提高用户体验。

随着互联网技术的普及，以及互联网公司对运维的深入，一些原来互联网公司的运维策略正在逐步影响传统行业，其中灰度发布技术对于传统行业尤其对于运营商这种用户规模大、用户使用感知指标比较重要的行业，显得尤为重要。

目前我们升级版本的方式主要是，先在测试环境上进行业务的开发和测试，对于测试的数据来源，主要是采用手工模拟的方式，待测试通过具备上线条件，将代码与数据配置同步到生产环境进行发版，这样的发版属于全量发版。现有的版本发布方式均采用全量发布的形式，对所有服务器进行新旧版本的更替，这样的发版方式比较简单，能一次性将所有的服务器都升级到最新的状态，但是，这样的发布方式也存在一定的风险性，如果新版本发布导致线上故障，会对使用该系统的所有用户造成影响，影响范围大，运维人员还需要紧急回退版本，下一次继续发布新版本，无形中增加了运维人员的工作时间，还对系统造成了一定的影响。

发明内容

本发明主要目的在于，提供一种用于IOM系统的灰度发布方法，以减小系统的上线带来的风险，缩小新版本发布过程中意外的故障对业务以及用户的影响范围。

本发明是通过如下技术方案实现的：

一种用于IOM系统的灰度发布方法，包括：

将新版本发布到灰度环境中，并检测其线上业务是否正常；

当所述新版本的线上业务均检测正常时，将所述新版本发布到原生产环境中。

进一步地，所述IOM系统包括F5负载均衡器、嵌入有ngx_lua模块的Nginx服务器、原生产环境、灰度环境、灰度系统、生产数据库群和灰度系统数据库；其中，所述F5负载均衡器与所述Nginx服务器通讯，所述Nginx服务器与所述原生产环境、所述灰度环境和所述灰度系统通讯，所述原生产环境和所述灰度环境与所述生产数据库群通讯，所述灰度系统与所述灰度系统数据库通讯。

进一步地，所述F5负载均衡器用于接收外围系统的业务请求，并将所述业务请求发送到Nginx服务器。

进一步地，所述灰度环境，与所述原生产环境共同访问所述生产数据库群，且与所述原生产环境是不同的weblogic集群，采用不同的java多线程程序进行流程驱动。

进一步地，所述原生产环境与所述灰度环境在进行版本更替时，所述灰度环境中部署新版本，所述原生产环境中部署旧版本。

进一步地，所述Nginx服务器将部分所述业务请求发送到所述灰度系统中；

所述灰度系统对所述业务请求进行业务判断，判断所述业务请求应该发布到所述原生产环境还是所述灰度环境，并根据判断结果对所述业务请求打上相应标识后重新发送给所述Nginx服务器；

所述Nginx服务器根据所述标识将所述业务请求进行分发，完成调用。

进一步地，所述灰度系统还将所述灰度系统数据库的静态配置信息同步到Redis中，为ngx_lua模块提供缓存数据，以实现动态调用逻辑处理。

进一步地，当用户从登录界面登录到所述IOM系统时，所述IOM系统将用户的标识性信息设置到cookie中，登录成功后，所述nginx服务器根据灰度策略的配置信息对用户的cookie信息进行筛选判断，如果登录的用户符合灰度策略的条件，便将所述用户的业务请求重定向到所述灰度环境中进行处理，否则将所述用户的业务请求重定向到所述原生产环境中。

进一步地，所述灰度策略的配置信息在所述灰度系统中进行管理，所述配置信息同步到Redis中，所述nginx服务器通过Lua脚本进行所述筛选判断。

与现有技术相比，本发明提供的用于IOM系统的灰度发布方法，通过将新版本发布到灰度环境中，并检测其线上业务是否正常，当新版本的线上业务均检测正常时，再将新版本发布到原生产环境中，从而完成新版本发布。本发明主要消除了生产环境和测试环境的隔阂，包括不同的环境、不同的配置、不同的代码等，可以让新版本比之前早一步发布到线上验证；采用本发明可以灵活的进行版本升级；规避一定的发布风险，减少产品迭代升级的影响范围；快速获取用户的反馈意见，完善产品功能，提高产品质量；避免停服发布给用户带来的不便，无需夜晚发包，让运维和开发人员的工作时间更加理性；具有容灾能力，减少全量发布引起的服务器崩溃、系统接口异常等风险。

附图说明

图1是IOM系统架构示意图；

图2是页面逻辑示意图；

图3是台收单及内部流程运转示意图；

图4是异步接口回单处理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步详细说明。

本发明实施例提供了一种用于IOM系统的灰度发布方法，该方法通过将新版本发布到灰度环境中，并检测其线上业务是否正常，当新版本的线上业务均检测正常时，再将新版本发布到原生产环境中，从而完成新版本发布。本发明主要消除了生产环境和测试环境的隔阂，包括不同的环境、不同的配置、不同的代码等，可以让新版本比之前早一步发布到线上验证；采用本发明可以灵活的进行版本升级；规避一定的发布风险，减少产品迭代升级的影响范围；快速获取用户的反馈意见，完善产品功能，提高产品质量；避免停服发布给用户带来的不便，无需夜晚发包，让运维和开发人员的工作时间更加理性；具有容灾能力，减少全量发布引起的服务器崩溃、系统接口异常等风险。

对系统环境架构说明如下：

如图1所示，IOM系统包括F5负载均衡器、嵌入有ngx_lua模块的Nginx服务器、原生产环境、灰度环境、灰度系统、生产数据库群和灰度系统数据库。其中，F5负载均衡器与Nginx服务器通讯，Nginx服务器与原生产环境、灰度环境和灰度系统通讯，原生产环境和灰度环境与生产数据库群通讯，灰度系统与灰度系统数据库通讯。IOM系统是负责客户订单接收、设计产品流程、工单调度的系统，首先把客户订单分解为服务订单，再根据订单流程配置分解成工单，实现客户订单的完整开通流程，包括从接收客户订单到其包含产品报竣的整个过程。因此IOM系统的入口是其他系统的众多客户订单，内部主要是按工单调度其他系统驱动流程完成业务开通。

F5负载均衡器用于接收外围系统的业务请求，并将业务请求发送到Nginx服务器。原系统采用F5负载均衡器进行服务器的负载均衡，加入灰度方案后，采用Nginx+Lua来管理服务器的负载均衡，这样做可以让外围系统不改动调用IOM系统的地址，只需要F5负载均衡器将请求发送到Nginx服务器上即可，不需要外围系统配合便可以让IOM系统的结构调整后还能跟原来一样运行。

灰度环境与原生产环境共同访问生产数据库群，且与原生产环境是不同的weblogic集群，采用不同的java多线程程序进行流程驱动。原生产环境与灰度环境在进行版本更替时，灰度环境中部署新版本，原生产环境中部署旧版本。

灰度系统独立于生产环境，对原有系统没有业务侵入，可在灰度系统中进行配置信息的管理、分流信息的处理。Nginx服务器将部分业务请求发送到灰度系统中，灰度系统对业务请求进行业务判断，判断这些业务请求应该发布到原生产环境还是灰度环境，并根据判断结果对业务请求打上相应标识后重新发送给Nginx服务器，Nginx服务器再根据标识将业务请求进行分发，完成调用。另外灰度系统还将灰度系统数据库的静态配置信息同步到Redis中，为ngx_lua模块提供缓存数据，以实现动态调用逻辑处理。

采用嵌入有ngx_lua模块的Nginx服务器是本发明的核心点，它在系统架构图上的跨度最大，承担了生产系统所有请求的负载均衡以及分流规则的控制，通过在Nginx服务器中嵌入ngx_lua模块，让Nginx服务器的反向代理可以根据Lua所写的脚本来进行逻辑判断，再加上Lua可以操作Redis缓存数据库，Nginx便可以实现动态的分流策略。

前面对系统环境架构进行了说明，下面结合图2就IOM系统的特点，对系统的页面访问、收单、内部工单流转、接口调用的具体实施方式进行描述。前台页面的请求主要是http请求，请求的内容比较简单，不需要复杂的判断逻辑，所以直接采用nginx进行灰度发布。当用户从登录界面登录到IOM系统时，IOM系统将用户的标识性信息设置到cookie中，登录成功后，nginx服务器根据灰度策略的配置信息对用户的cookie信息进行筛选判断，如果登录的用户符合灰度策略的条件，便将用户的业务请求重定向到灰度环境中进行处理，否则将用户的业务请求重定向到原生产环境中。根据Nginx服务器的会话保持机制，之后用户所有的页面请求都会在相应的环境中。

灰度策略的配置信息在灰度系统中进行管理，配置信息同步到Redis中，nginx服务器通过Lua脚本进行筛选判断。cookie解释：cookie技术是客户端的解决方案，cookie就是由服务器发给客户端的特殊信息，而这些信息以文本文件的方式存放在客户端，然后客户端每次向服务器发送请求的时候都会带上这些特殊的信息，cookie的作用域是同一浏览器下的同一个域名。

结合图3对后台收单及内部流程运转说明如下：

IOM系统是一个承上启下的系统，首先它是订单的入口，订单都需要IOM系统进行处理才能生成对应的流程，因此订单接收和内部流程运转是比较重要的。Bo系统向IOM系统发送订单，先经过F5负载均衡器再到Nginx服务器，如果Nginx服务器中的收单分流开关打开并且灰度环境的收单数量没有达到配置权重的上限，则会将请求发送到向灰度系统中，根据灰度系统中配置的分流策略筛选订单，给符合分流条件的订单与不符合分流条件的订单打上不同的标识，重新发送给Nginx服务器(这里不直接调用对应的环境而是发送给Nginx服务器是因为Nginx服务器要对所有的请求进行负载均衡)，由Nginx服务器对标识进行判断发送给原生产环境或者灰度环境，这样原生产环境可以和平时一样接收订单，而灰度环境会处理一些特定的单子。当订单进入两组环境之后，为了使两组环境不相互影响，需要在订单解析时在订单表中增加一个标识字段，方便之后做区分。IOM系统的流程运转是通过timer和JMS消息驱动的，JMS是在weblogic中配置的，所有两个环境互相不受影响，对于timer就需要两组不同的timer来分别扫描灰度环境和正式的数据，驱动流程继续执行。

结合图4对异步接口回单处理说明如下：

IOM系统是一个流程调度系统，与外部系统有很多的接口，接口按实时性分为同步接口和异步接口，按调用方式分为httprest调用、webservice调用、socket调用。对于同步接口，内部正式系统或灰度系统对外部系统发起调用后，都可以直接收到外部系统的处理结果，所以涉及到同步接口的调用，不需要进行灰度，对于外部系统调用IOM系统接口，可以当做异步接口处理。对于异步接口，内部正式系统或灰度系统对外部系统发起调用后，只会收到一个接收成功的信息，待外部系统处理完毕后，会回调IOM系统，这时Nginx服务器会将回调的请求先发送到灰度系统中，灰度系统经过简单查询处理，确定是发送到原生产环境还是灰度环境的请求，之后灰度系统将具有标识信息的请求重新发送给Nginx服务器，由Nginx服务器进行分流到相对应的系统中回单。Nginx服务器要将异步请求发送到灰度系统中，因此灰度系统需要实现调用的异步接口，其目的是为了查找标识和转发回调。

上述实施例仅为优选实施例，并不用以限制本发明的保护范围，在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于IOM系统的灰度发布方法，其特征在于，包括：

将新版本发布到灰度环境中，并检测其线上业务是否正常；

当所述新版本的线上业务均检测正常时，将所述新版本发布到原生产环境中。

2.如权利要求1所述的用于IOM系统的灰度发布方法，其特征在于，所述IOM系统包括F5负载均衡器、嵌入有ngx_lua模块的Nginx服务器、原生产环境、灰度环境、灰度系统、生产数据库群和灰度系统数据库；其中，所述F5负载均衡器与所述Nginx服务器通讯，所述Nginx服务器与所述原生产环境、所述灰度环境和所述灰度系统通讯，所述原生产环境和所述灰度环境与所述生产数据库群通讯，所述灰度系统与所述灰度系统数据库通讯。

3.如权利要求2所述的用于IOM系统的灰度发布方法，其特征在于，所述F5负载均衡器用于接收外围系统的业务请求，并将所述业务请求发送到Nginx服务器。

4.如权利要求2所述的用于IOM系统的灰度发布方法，其特征在于，所述灰度环境，与所述原生产环境共同访问所述生产数据库群，且与所述原生产环境是不同的weblogic集群，采用不同的java多线程程序进行流程驱动。

5.如权利要求2所述的用于IOM系统的灰度发布方法，其特征在于，所述原生产环境与所述灰度环境在进行版本更替时，所述灰度环境中部署新版本，所述原生产环境中部署旧版本。

6.如权利要求2所述的用于IOM系统的灰度发布方法，其特征在于，所述Nginx服务器将部分所述业务请求发送到所述灰度系统中；

所述灰度系统对所述业务请求进行业务判断，判断所述业务请求应该发布到所述原生产环境还是所述灰度环境，并根据判断结果对所述业务请求打上相应标识后重新发送给所述Nginx服务器；

所述Nginx服务器根据所述标识将所述业务请求进行分发，完成调用。

7.如权利要求6所述的用于IOM系统的灰度发布方法，其特征在于，所述灰度系统还将所述灰度系统数据库的静态配置信息同步到Redis中，为ngx_lua模块提供缓存数据，以实现动态调用逻辑处理。

8.如权利要求7所述的用于IOM系统的灰度发布方法，其特征在于，当用户从登录界面登录到所述IOM系统时，所述IOM系统将用户的标识性信息设置到cookie中，登录成功后，所述nginx服务器根据灰度策略的配置信息对用户的cookie信息进行筛选判断，如果登录的用户符合灰度策略的条件，便将所述用户的业务请求重定向到所述灰度环境中进行处理，否则将所述用户的业务请求重定向到所述原生产环境中。

9.如权利要求8所述的用于IOM系统的灰度发布方法，其特征在于，所述灰度策略的配置信息在所述灰度系统中进行管理，所述配置信息同步到Redis中，所述nginx服务器通过Lua脚本进行所述筛选判断。