CN104993946B - 灰度发布的评估方法、装置和系统 - Google Patents

Abstract

本发明公开了一种灰度发布的评估方法、装置和系统。该评估方法包括：获取服务的升级版本对应的多个第一会话的会话信息；根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数；根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。本发明公开的灰度发布的评估方法、装置和系统，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

Description

灰度发布的评估方法、装置和系统

技术领域

本发明涉及通信领域，并且更具体地，涉及灰度发布的评估方法、装置和系统。

背景技术

互联网软件的升级可以包括修复原始版本中的漏洞或错误、对原始版本的功能进行优化或发布新功能，等等。为了降低在互联网软件的升级过程中出现的用户流失、系统崩溃等风险，一般在升级互联网软件时采用灰度发布的评估方法。灰度发布是指在黑与白之间能够平滑过渡的一种发布方式，在该方式中，一部分用户继续使用互联网软件的旧版本，而另一部分用户使用该互联网软件的新版本，如果该另一部分用户对新版本没有反对意见，那么逐步扩大新版本的使用范围，最后将所有用户都迁移到新版本。

灰度发布可以即时发现并调整新版本中存在的问题，保证系统的整体稳定性。现有技术中，在允许一部分用户体验新版本之后，可以通过意见反馈页面或论坛收集用户对新版本的体验和反馈意见，管理员可以统计用户的反馈意见，并根据统计结果做出版本决策，例如确定将该新版本进行大规模发布或确定对该新版本进行改进后发布。然而，这整个过程依赖于用户行为以及用户主动性，缺乏针对新版本的整个用户群的大数据分析，从而影响新版本的质量和用户满意度。

发明内容

本发明实施例提供了一种灰度发布的评估方法、装置和系统，能够不依赖于用户反馈进行灰度发布的评估。

第一方面，提供了一种灰度发布的评估方法，包括：获取服务的升级版本对应的多个第一会话的会话信息；根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数；根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。

在第一方面的第一可能的实现方式中，在该根据该升级版本的版本测试参数的值，确定该升级版本的评估结果之前，该评估方法还包括：获取该服务的原始版本对应的多个第二会话的会话信息；根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值；该根据该升级版本的版本测试参数的值，确定该升级版本的评估结果，包括：根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

结合上述可能的实现方式，在第一方面的第二可能的实现方式中，该评估方法还包括：生成升级版本评估日志，其中，该升级版本评估日志包括该原始版本与该升级版本的版本测试参数的值的对比结果。

结合上述可能的实现方式，在第一方面的第三可能的实现方式中，该评估方法还包括：确定该升级版本的版本测试参数的值是否满足干预事件触发条件；若该升级版本的版本测试参数的值满足该干预事件触发条件，触发干预事件。

结合上述可能的实现方式，在第一方面的第四可能的实现方式中，该干预事件包括下列中的至少一项：发送警报消息；将至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。

结合上述可能的实现方式，在第一方面的第五可能的实现方式中，该干预事件触发条件包括：该升级版本的版本测试参数的值与该原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者该干预事件触发条件包括：该升级版本的版本测试参数的值高于或低于门限值，其中，该门限值是根据该原始版本的版本测试参数的值确定的。

结合上述可能的实现方式，在第一方面的第六可能的实现方式中，该获取服务的升级版本对应的多个第一会话的会话信息，包括：接收服务器发送的与该升级版本对应的多个第一会话的会话信息，其中，该服务器用于提供该服务的升级版本。

第二方面，提供了一种灰度发布的评估装置，包括：获取单元，用于获取服务的升级版本对应的多个第一会话的会话信息；确定单元，用于根据该获取单元获取的该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数，并且根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。

在第二方面的第一可能的实现方式中，该获取单元还用于在该确定单元根据该获取单元获取的该升级版本的版本测试参数的值，确定该升级版本的评估结果之前，获取该服务的原始版本对应的多个第二会话的会话信息；该确定单元还用于根据该获取单元获取的该多个第二会话的会话信息，确定该原始版本的版本测试参数的值；该确定单元用于根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

结合上述可能的实现方式，在第二方面的第二可能的实现方式中，该评估装置还包括：日志生成单元，用于生成升级版本评估日志，其中，该升级版本评估日志包括该确定单元确定的该原始版本与该升级版本的版本测试参数的值的对比结果。

结合上述可能的实现方式，在第二方面的第三可能的实现方式中，该确定单元还用于确定该升级版本的版本测试参数的值是否满足干预事件触发条件；该评估装置还包括：触发单元，用于若该确定单元确定该升级版本的版本测试参数的值满足该干预事件触发条件，触发干预事件。

结合上述可能的实现方式，在第二方面的第四可能的实现方式中，该干预事件包括下列中的至少一项：发送警报消息；将至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。

结合上述可能的实现方式，在第二方面的第五可能的实现方式中，该干预事件触发条件包括：该升级版本的版本测试参数的值与该原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者该干预事件触发条件包括：该升级版本的版本测试参数的值高于或低于门限值，其中，该门限值是根据该原始版本的版本测试参数的值确定的。

结合上述可能的实现方式，在第二方面的第六可能的实现方式中，该获取单元具体用于接收服务器发送的与该升级版本对应的多个第一会话的会话信息，其中，该服务器用于提供该服务的升级版本。

第三方面，提供了一种灰度发布的评估系统，包括：第一服务器、至少一个第二服务器和至少一个第三服务器，其中，该至少一个第二服务器提供服务的升级版本，该至少一个第三服务器提供该服务的原始版本；该至少一个第二服务器用于向该第一服务器发送与该服务的升级版本对应的多个第一会话的会话信息；该至少一个第三服务器用于向该第一服务器发送与该服务的原始版本对应的多个第二会话的会话信息；该第一服务器用于根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并且根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数；该第一服务器还用于根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

基于上述技术方案，根据本发明实施例的灰度发布的评估方法、装置和系统，通过获取服务的升级版本对应的多个第一会话的会话信息，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并根据该升级版本的版本测试参数的值，确定该服务的升级版本的评估结果，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例应用的灰度发布的评估系统的架构示意图。

图2是本发明实施例应用的灰度发布的评估系统的运行示例的示意图。

图3是本发明实施例的一次会话的示意图。

图4是本发明实施例提供的灰度发布的评估方法的示意性流程图。

图5是本发明实施例提供的灰度发布的评估装置的示意性框图。

图6是本发明实施例提供的另一灰度发布的评估装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

图1是本发明实施例应用的灰度发布的评估系统100的架构示意图。该灰度发布的评估系统100包括：第一服务器102，该第一服务器102可以具体为用于进行运营和维护的服务器，该第一服务器102配置有版本评估系统，该版本评估系统用于确定灰度发布的服务的升级版本(即新版本)的版本测试参数的值以及该服务的原始版本(即老版本)的版本测试参数的值，并且根据该升级版本的版本测试参数的和该原始版本的版本测试参数的值，确定该灰度发布的服务的升级版本的评估结果，其中，该升级版本的评估结果可以包括：该升级版本是否存在漏洞或故障(bug)，该升级版本的用户体验是否符合期望，等等。可选地，该版本测试参数可以包括用于反映用户行为的用户行为参数和/或用于表示版本质量的版本质量参数，但本发明实施例不限于此。

应理解，在本发明实施例中，服务可以具体为软件或应用程序，该服务可以包括互联网服务或电信服务，但本发明实施例不限于此。服务的原始版本(即老版本)可以是当前大规模发布的版本，在进行该服务的升级版本(即新版本)的灰度发布之前，所有用户均被允许使用该原始版本。服务的升级版本是该原始版本的改进版本，例如修复了原始版本中的漏洞或错误、对原始版本的功能进行了优化、具有该原始版本所不具有的新功能，等等。在灰度发布该服务的升级版本时，只有一部分用户被允许使用该升级版本，而其他用户仍使用该服务的原始版本。

如图1所示，该灰度发布的评估系统100还包括一个或多个第二服务器104以及一个或多个第三服务器106，其中，该第二服务器104配置有服务的升级版本，并且用于在接收到用户针对该服务的服务使用请求时，为用户提供服务的升级版本；该第三服务器106配置有同一服务的原始版本，并且用于在接收到用户针对该服务的服务使用请求时，为用户提供该服务的原始版本。例如，该第二服务器104配置有互联网系统和/或应用服务系统的升级版本，而该第三服务器106配置有互联网系统和/或应用服务系统的原始版本，但本发明实施例不限于此。应理解，图1仅示例性地示出了一个第二服务器104和一个第三服务器106，但本发明实施例不限于此。

此外，该第二服务器104还用于获取与该升级版本对应的多个第一会话的会话信息，并且向该第一服务器102发送该多个第一会话的会话信息，相应地，该第一服务器102可以根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值。在本发明实施例中，以该服务具体体现为网站为例，一个会话可以对应于用户对网站的一次访问，此时，可选地，会话信息可以包括用户信息、页面访问信息和服务内容调用信息中的至少一种，例如，会话信息可以包括下列信息中的一种或多种：用户信息、访问页面总数、网站停留时间(或会话时长，表示会话的总时长)、页面停留时间(表示访客在浏览的每个页面上停留的时长)、服务调度次数、服务调度成功率和服务调用时延，具体地，用户信息(例如用户账号等等)和页面访问信息(例如，访问页面总数、网站停留时间和页面停留时间，等等)可以由该第二服务器104中配置的互联网系统获取并向该第一服务器102发送，而服务内容调用信息(例如，服务调度次数、服务调度成功率和服务调用时延，等等)可以由该第二服务器104中配置的应用服务系统获取并向该第一服务器102发送，但本发明实施例不限于此。

如图2所示，以第二服务器104中配置有互联网系统和应用服务系统为例，当用户访问该升级版本的页面时，该第二服务器104中配置的互联网系统可以获取并向该第一服务器102上报本次访问的用户信息和页面相关信息，并且该互联网系统可以调用该第二服务器104中配置的应用服务系统，该应用服务系统获取并向该第一服务器102上报本次访问的服务内容的调用信息，例如，查询商品服务的调用次数，调用是否成功，等等。此时，该第一服务器102可以根据该互联网系统和该应用服务器上报的多次访问的信息进行统计，获得该升级版本的评估结果，但本发明实施例不限于此。这样，管理员可以根据该版本评估系统获得的评估结果，确定该升级版本的评估结果是否符合预期并由此进行决策。

图3示出了访客对网站的某一次会话(或访问)的示例。首先，该访客向该第二服务器104请求打开该网站的首页，相应地，该第二服务器104可以根据该请求创建会话。随后，在离开该网站之前，该访客又浏览了该网站的另外两个页面(即第二个页面和第三个页面)。此时，该第二服务器104可以获取该访客的本次会话的会话信息。以该会话信息包括网页停留时间和网站停留时间为例，该第二服务器104可以根据用户访问日志中记录的如下内容，确定访客向服务器发出打开网站首页的请求的时刻为10点整：

此外，该第二服务器104还可以从用户访问日志中获取该访客发出的请求从该首页进入第二个页面的请求的时刻，例如，该访客在10:01请求打开第二个页面，则该第二服务器104可以根据该访客请求打开首页的时刻以及该访客请求从首页进入第二个页面的时刻，确定该访客在首页停留的时长，即TP(首页)＝10:01-10:00＝1min。类似地，该第二服务器104可以从该用户访问日志获取该访客请求从第二个页面进入第三个页面的时刻为10:04，并由此确定该访客在第二个页面停留的时长TP(第二个页面)＝3min。该访客在浏览第三个页面之后离开了该网站，此时，该第二服务器104可以从用户访问日志获取该访客离开该第三个页面的时刻，或者通过页面中添加的额外代码，获取该访客离开该第三个页面的时刻，并由此确定该访客在第三个页面停留的时长TP(第三个页面)＝1min。随后，该第二服务器104可以确定本次会话的网站停留时间TS＝TP(首页)+TP(第二个页面)+TP(第三个页面)＝5min。

类似地，该第三服务器106还用于获取与该服务的原始版本对应的多个第二会话的会话信息，并向该第一服务器102发送该多个第二会话的会话信息，具体地，该第三服务器106中配置的互联网系统可以获取并向该第一服务器102发送多个第二会话的页面停留时间、网站停留时间等信息，该第三服务器106中配置的应用服务系统可以获取并向该第一服务器102发送多个第二会话对应的服务调用成功率、服务调用时延等信息。此时，该第一服务器102可以根据该多个第二会话的会话信息，确定该服务的原始版本的版本测试参数的值，但本发明实施例不限于此。

这样，通过该第二服务器104和第三服务器106分别主动搜集该升级版本和原始版本中各个会话的用户行为数据，可以使得该第一服务器102获得该原始版本和升级版本的大量用户行为数据，从而能够在不依赖于用户反馈的情况下对该升级版本做出较为准确的评估。

应注意，图2和图3的例子是为了帮助本领域技术人员更好地理解本发明实施例，而非要限制本发明实施例的范围。本领域技术人员根据所给出的图2和图3的例子，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本发明实施例的范围内。

可选地，该灰度发布的评估系统100还可以包括灰度发布管理器，用于确定第一类用户和第二类用户，其中，第一类用户访问服务的升级版本(即新版本)，第二类用户访问服务的原始版本(即老版本)，以及下发该第一类用户和该第二类用户的路由配置。此外，可选地，该第一服务器102还可以根据该升级版本的版本测试参数的值，触发该灰度发布管理器更改第一类用户或第二类用户的路由配置。例如，该第一服务器102在确定升级版本的访问数降低至原始版本的一半以下，则向该灰度发布管理器发送指示信息，该灰度发布管理器根据该指示信息更改第一类用户中的部分或全部用户的路由配置，以使得该部分或全部用户由访问升级版本更改为访问原始版本，但本发明实施例不限于此。

因此，根据本发明实施例的灰度发布的评估系统，通过至少一个第二服务器获取并向第一服务器发送服务的升级版本对应的多个第一会话的会话信息，至少一个第三服务器获取并向第一服务器发送服务的原始版本对应的多个第一会话的会话信息，该第一服务器根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并通过比较该原始版本和该升级版本的版本测试参数的值，对该服务的升级版本进行评估，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

图4示出了本发明实施例提供的灰度发布的评估方法200。该评估方法可以由灰度发布的评估装置执行，其中，该评估装置可以具体为上述实施例中的第一服务器102或者设置于第一服务器102，本发明实施例不限于此。

S210，获取服务的升级版本对应的多个第一会话的会话信息。

该多个第一会话的会话信息可以包括下列信息中的一种或多种：用户信息、访问页面总数、网站停留时间(或会话时长，表示会话的总时长)、页面停留时间(表示访客在浏览的每个页面上停留的时长)、服务调度次数、服务调度成功率和服务调用时延，但本发明实施例不限于此。

该评估装置可以通过多种方式获取该多个第一会话的会话信息，可选地，该评估装置可以从用于提供该升级版本的至少一个服务器获取该多个第一会话的会话信息，但本发明实施例不限于此。

S220，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值。

该评估装置可以获取该多个第一会话中的每个第一会话的会话信息，并根据该多个第一会话中的每个第一会话的会话信息，确定该升级版本的版本测试参数的值。例如，该评估装置可以对该多个第一会话中的每个第一会话的会话信息进行统计处理，以获得该升级版本的版本测试参数的值。例如，该评估装置可以根据多个第一会话中的每个第一会话的页面停留时间，确定该升级版本的浏览用户量和/或忠实访问者量，但本发明实施例不限于此。

可选地，该升级版本的版本测试参数可以包括下列参数中的至少一种：用户行为参数和版本质量参数。该用户行为参数用于反映用户对于该升级版本的用于行为，可选地，该用户行为参数可以包括下列参数中的至少一种：网站转换率(Take Rates或ConversionsRates)、回访者比率(Repeat Visitor Share)、积极访问者比例(Heavy User Share)、忠实访问者比率(Committed Visitor Share)、忠实访问者指数(Committed Visitor Index)、忠实访问者量(Committed Visitor Volume)、访问者参与指数(Visitor EngagementIndex)、浏览用户比率(Scanning Visitor Share)、浏览用户指数(Scanning VisitorIndex)和浏览用户量(Scanning Visitor Volume)，其中，网站转换率等于进行了相应动作的访问量在总访问量中所占的比例，其中，该相应动作可以具体为登录、注册、订阅、下载、购买等行为，可以表示访客到用户的转换比率，用于衡量网站内容对访问者的吸引程度以及网站的宣传效果；回访者比率等于回访者数量在独立访问者数量中所占的比例，用于衡量网站内容对访问者的吸引程度和网站的实用性；积极访问者比率等于访问超过预设值的访问者在总访问数中所占的比例，用于衡量对网站的内容具有高度兴趣的访问者比例；忠实访问者比率等于访问时长超过预设值的用户数在总用户数中所占的比例；忠实访问者指数等于停留时间超过预设值的访问页数除以访问时长超过预设值的访问者数，用于表示每个长时间访问者的平均访问页数；忠实访问者量等于停留时长超过预设值的访问页数在总访问页数中所占的比例；访问者参与指数等于总访问数除以独立访问者数，用于表示每个访问者的平均会话；浏览用户比率等于停留时间短于1分钟的访问者数除以总访问数；浏览用户指数等于停留时间短于1分钟的访问页面数在停留时间短于1分钟的访问者数中所占的比例；浏览用户量等于停留时间短于1分钟的浏览页数在总浏览页数中所占的比例，用于衡量在一分钟内完成的访问页面数的比率。可选地，该用户行为参数还可以包括其它参数，本发明实施例不限于此。

该版本质量参数可以用于反映版本是否存在漏洞或bug。可选地，该版本质量参数可以包括下列参数中的至少一种：服务调用成功率和服务调用平均时延，或者包括其它信息，本发明实施例不限于此。

S230，根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。

该升级版本的评估结果可以包括该升级版本是否存在漏洞或bug，该升级版本的用户体验是否符合期望，等等。具体地，该评估装置可以根据该升级版本的版本质量参数的值，确定该升级版本是否存在漏洞或bug，或者该评估装置可以根据该升级版本的用户行为参数的值，确定该升级版本的用户体验是否符合预期，但本发明实施例不限于此。

因此，根据本发明实施例的灰度发布的评估方法，通过获取服务的升级版本对应的多个第一会话的会话信息，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并根据该升级版本的版本测试参数的值，确定该服务的升级版本的评估结果，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

作为另一个可选实施例，在S230之前，该灰度发布的评估方法200还包括：

获取该服务的原始版本对应的多个第二会话的会话信息；

根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值；

相应地，S230，根据该升级版本的版本测试参数的值，确定该升级版本的评估结果，包括：

根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

可选地，该多个第二会话的会话信息中包括的具体信息可以与该多个第一会话的会话信息中包括的具体信息相对应，该升级版本的版本测试参数可以包括下列参数中的至少一种：用户行为参数和版本质量参数，并且该原始版本的用户行为参数和版本质量参数中包括的具体参数可以分别与该升级版本的用户行为参数和版本质量参数中包括的具体参数类型相对应，为了简洁，这里不再赘述。

该评估装置可以获取该多个第二会话中的每个第二会话的会话信息，并根据该多个第二会话中的每个第二会话的会话信息，确定该服务的原始版本的版本测试参数的值。可选地，该评估装置可以从用于提供该原始版本的至少一个服务器获取该多个第二会话的会话信息，但本发明实施例不限于此。

在确定该原始版本的版本测试参数的值并且确定该升级版本的版本测试参数的值以后，该评估装置可以通过比较该原始版本和该升级版本的对应的版本测试参数的值，确定该升级版本的评估结果，例如，该升级版本相对于原始版本的用户活跃度。例如，该评估装置可以通过比较该原始版本和该升级版本的对应的用户行为参数的值，确定该升级版本的用户体验是否符合预期，但本发明实施例不限于此。

作为另一个可选实施例，该灰度发布的评估方法200还包括：

生成升级版本评估日志，其中，该升级版本评估日志包括该原始版本与该升级版本的版本测试参数的值的对比结果。

管理员可以根据该升级版本评估日志中记录的该升级版本与该原始版本的对应版本测试参数的值的对比结果，确定该升级版本与原始版本相比的优势和不足，从而可以对该升级版本进行改进或者确定该升级版本的灰度配置信息，以扩大该升级版本的发布范围，其中，该灰度配置信息包括允许使用该升级版本的用户的信息，例如，用户的用户账号、地理位置、个人属性，等等，本发明实施例不限于此。

可选地，该升级版本评估日志可以具体为表格，例如表1中示出了原始版本和升级版本中的各种页面对应的页面停留时间的对比结果。这样，管理员可以根据该表1确定该升级版本的首页和付款页面的设计需要进一步改进，但本发明实施例不限于此。

表1

再例如，如表2所示，该升级版本评估日志还可以包括原始版本与升级版本中包括的各种服务内容的服务调用次数的对比结果，这样，管理员可以根据表2中示出的对比结果，确定升级版本的质量是否符合预期，但本发明实施例不限于此。

表2

作为另一个可选实施例，该灰度发布的评估方法200还包括：

确定该升级版本的版本测试参数的值是否满足干预事件触发条件；

若该升级版本的版本测试参数的值满足该干预事件触发条件，触发干预事件。

该干预事件属于主动干预事件，其中，该主动干预事件可以包括一个或多个事件，该多个事件可以分别由不同的触发条件触发，但本发明实施例不限于此。可选地，该干预事件触发条件可以预先设置，例如，该干预事件触发条件包括：该升级版本的版本测试参数的值与该原始版本的版本测试参数的值的比较结果高于或低于预设门限值。

此时，该升级版本的版本测试参数中包括的至少一个参数的值与该原始版本的版本测试参数中包括的至少一个对应参数的值可以满足预设条件，例如，该升级版本的回访者比例与该原始版本的回访者比例的差或比值低于预设阈值，则可以触发干预事件，但本发明实施例不限于此。

或者，该干预事件触发条件可以包括：该升级版本的版本测试参数的值高于或低于门限值，其中，该门限值是根据该原始版本的版本测试参数的值确定的。

此时，该评估装置可以根据该原始版本的版本测试参数中包括的至少一个参数的值，确定门限值，并确定该升级版本的版本测试参数中包括的至少一个对应参数的值是否超过门限值。例如，该评估装置可以将门限值确定为该原始版本的积极访问者比例的120％，并且确定该升级版本的积极访问者比例是否低于该门限值，并且在该升级版本的积极访问者比例低于该门限值时，触发干预事件，但本发明实施例不限于此。

可选地，该干预事件包括下列中的至少一项：

发送警报消息；

将至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。

具体地，该评估装置可以在确定服务健康度下降或出现故障时，触发警报消息的发送，例如，如果该升级版本的付款服务调用成功率与原始版本相比降低一半以上，则该评估装置可以触发警报消息的发送。具体地，该评估装置可以向邮件服务器发送用于指示该邮件服务器向预设邮箱地址发送警报邮件的指示消息，其中，该预设邮箱地址可以为管理员预先设置的邮箱地址；或者，该评估装置可以向短信网关发送用于指示该短信网关向预设号码发送警报短信的指示消息，其中，该预设号码可以为管理员设置的预先设置的号码。这样，通过触发警报消息的发送，可以通知管理员服务健康度的下降或故障的出现，从而有利于管理员即时对该升级版本进行修复或调整。

可选地，该评估装置还可以在确定升级版本的登陆页面访问次数降低至该原始版本的一半以下时，触发路由配置的更改，即将当前允许访问该升级版本的至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。具体地，该评估装置可以向灰度发布管理器发送路由配置更改指示，以指示该灰度发布管理器更改至少一个用户的路由配置，但本发明实施例不限于此。这样，通过触发路由配置的更改，能够降低由于升级版本的灰度发布的用户体验较差，而造成用户的流失的风险。

因此，根据本发明实施例的灰度发布的评估方法，通过获取服务的升级版本对应的多个第一会话的会话信息，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并根据该升级版本的版本测试参数的值，确定该服务的升级版本的评估结果，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

此外，通过确定该服务的原始版本的版本测试参数的值，并且通过比较该升级版本与原始版本的对应版本测试参数的值，确定该升级版本的评估结果，能够为管理员提供更为形象量化的评估结果，通过设置干预事件触发条件并且触发干预事件，有利于管理员即时对该升级版本进行修复或调整，降低由于升级版本的灰度发布的用户体验较差，而造成用户的流失的风险。

应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上文中结合图4，详细描述了根据本发明实施例的灰度发布的评估方法，下面将结合图5和图6，描述根据本发明实施例的灰度发布的评估装置。

图5示出了本发明实施例提供的灰度发布的评估装置300。该评估装置300包括：

获取单元310，用于获取服务的升级版本对应的多个第一会话的会话信息；

确定单元320，用于根据该获取单元310获取的该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数，并且根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。

可选地，该获取单元310还用于在该确定单元320根据该获取单元310获取的该升级版本的版本测试参数的值，确定该升级版本的评估结果之前，获取该服务的原始版本对应的多个第二会话的会话信息；

该确定单元320还用于根据该获取单元310获取的该多个第二会话的会话信息，确定该原始版本的版本测试参数的值。

此时，该确定单元320用于根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

作为另一个可选实施例，该评估装置300还包括：

日志生成单元，用于生成升级版本评估日志，其中，该升级版本评估日志包括该确定单元320确定的该原始版本与该升级版本的版本测试参数的值的对比结果。

作为另一个可选实施例，该确定单元320还用于确定该升级版本的版本测试参数的值是否满足干预事件触发条件；

相应地，该评估装置300还包括：

触发单元，用于若该确定单元320确定该升级版本的版本测试参数的值满足该干预事件触发条件，触发干预事件。

作为一个可选实施例，该干预事件包括下列中的至少一项：发送警报消息；将至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。

作为另一个可选实施例，该干预事件触发条件包括：该升级版本的版本测试参数的值与该原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者

该干预事件触发条件包括：该升级版本的版本测试参数的值高于或低于门限值，其中，该门限值是根据该原始版本的版本测试参数的值确定的。

作为另一个可选实施例，该获取单元310具体用于接收服务器发送的与该升级版本对应的多个第一会话的会话信息，其中，该服务器用于提供该服务的升级版本。

根据本发明实施例的灰度发布的评估装置300可以对应于根据本发明实施例的灰度发布的评估系统100中的第一服务器102，并且该评估装置300中的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程，为了简洁，在此不再赘述。

因此，根据本发明实施例的灰度发布的评估装置，通过获取服务的升级版本对应的多个第一会话的会话信息，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并根据该升级版本的版本测试参数的值，确定该服务的升级版本的评估结果，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

此外，通过确定该服务的原始版本的版本测试参数的值，并且通过比较该升级版本与原始版本的对应版本测试参数的值，确定该升级版本的评估结果，能够为管理员提供更为形象量化的评估结果，通过设置干预事件触发条件并且触发干预事件，有利于管理员即时对该升级版本进行修复或调整，降低由于升级版本的灰度发布的用户体验较差，而造成用户的流失的风险。

图6示出了本发明实施例提供的灰度发布的评估装置400。该评估装置400包括：处理器410，用于：

获取服务的升级版本对应的多个第一会话的会话信息；

根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数；

根据该升级版本的版本测试参数的值，确定该升级版本的评估结果。

可选地，该处理器410还用于：

在根据该升级版本的版本测试参数的值，确定该升级版本的评估结果之前，获取该服务的原始版本对应的多个第二会话的会话信息；

根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值。

此时，该处理器410具体用于根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

作为另一个可选实施例，该处理器410还用于生成升级版本评估日志，其中，该升级版本评估日志包括该原始版本与该升级版本的版本测试参数的值的对比结果。

作为另一个可选实施例，该处理器410还用于：

确定该升级版本的版本测试参数的值是否满足干预事件触发条件；

若该升级版本的版本测试参数的值满足该干预事件触发条件，触发干预事件。

作为一个可选实施例，该干预事件包括下列中的至少一项：发送警报消息；将至少一个用户的路由配置由访问该升级版本更改为访问该原始版本。

作为另一个可选实施例，该干预事件触发条件包括：该升级版本的版本测试参数的值与该原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者

该干预事件触发条件包括：该升级版本的版本测试参数的值高于或低于门限值，其中，该门限值是根据该原始版本的版本测试参数的值确定的。

作为另一个可选实施例，该处理器410具体用于接收服务器发送的与该升级版本对应的多个第一会话的会话信息，其中，该服务器用于提供该服务的升级版本。

根据本发明实施例的灰度发布的评估装置400可以对应于根据本发明实施例的灰度发布的评估系统100中的第一服务器102，并且该评估装置400中的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程，为了简洁，在此不再赘述。

应理解，在本发明实施例中，该处理器410可以是中央处理单元(CentralProcessing Unit，简称为“CPU”)，该处理器410还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可选地，该评估装置400还可以包括存储器，该存储器可以包括只读存储器和随机存取存储器，并向处理器410提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器410中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器410读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

因此，根据本发明实施例的灰度发布的评估装置，通过获取服务的升级版本对应的多个第一会话的会话信息，根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并根据该升级版本的版本测试参数的值，确定该服务的升级版本的评估结果，能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析，从而获得更为准确的评估结果。

此外，通过确定该服务的原始版本的版本测试参数的值，并且通过比较该升级版本与原始版本的对应版本测试参数的值，确定该升级版本的评估结果，能够为管理员提供更为形象量化的评估结果，通过设置干预事件触发条件并且触发干预事件，有利于管理员即时对该升级版本进行修复或调整，降低由于升级版本的灰度发布的用户体验较差，而造成用户的流失的风险。

本发明实施例还提供了一种灰度发布的评估系统，包括：第一服务器、至少一个第二服务器和至少一个第三服务器，其中，该至少一个第二服务器提供服务的升级版本，该至少一个第三服务器提供该服务的原始版本；该至少一个第二服务器用于向该第一服务器发送与该服务的升级版本对应的多个第一会话的会话信息；该至少一个第三服务器用于向该第一服务器发送与该服务的原始版本对应的多个第二会话的会话信息；该第一服务器用于根据该多个第一会话的会话信息，确定该升级版本的版本测试参数的值，并且根据该多个第二会话的会话信息，确定该原始版本的版本测试参数的值，其中，该版本测试参数包括下列参数中的至少一种：用户行为参数和版本质量参数；该第一服务器还用于根据该原始版本的版本测试参数的值和该升级版本的版本测试参数的值，确定该升级版本的评估结果。

应理解，在本发明实施例中，术语和/或仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符/，一般表示前后关联对象是一种或的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述灰度发布的评估方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种灰度发布的评估方法，其特征在于，包括：

获取服务的升级版本对应的多个第一会话的会话信息；

根据所述多个第一会话的会话信息，确定所述升级版本的版本测试参数的值，其中，所述会话信息包括用户信息、页面访问信息和服务内容调用信息，所述版本测试参数包括用户行为参数和版本质量参数；

根据所述升级版本的版本测试参数的值，确定所述升级版本的评估结果；

确定所述升级版本的版本测试参数的值是否满足干预事件触发条件，所述干预事件触发条件为预先设置的条件；

若所述升级版本的版本测试参数的值满足所述干预事件触发条件，触发干预事件。

2.根据权利要求1所述的评估方法，其特征在于，在所述根据所述升级版本的版本测试参数的值，确定所述升级版本的评估结果之前，所述评估方法还包括：

获取所述服务的原始版本对应的多个第二会话的会话信息；

根据所述多个第二会话的会话信息，确定所述原始版本的版本测试参数的值；

所述根据所述升级版本的版本测试参数的值，确定所述升级版本的评估结果，包括：

根据所述原始版本的版本测试参数的值和所述升级版本的版本测试参数的值，确定所述升级版本的评估结果。

3.根据权利要求2所述的评估方法，其特征在于，所述评估方法还包括：

生成升级版本评估日志，其中，所述升级版本评估日志包括所述原始版本与所述升级版本的版本测试参数的值的对比结果。

4.根据权利要求1至3中任一项所述的评估方法，其特征在于，所述干预事件包括下列中的至少一项：

发送警报消息；

将至少一个用户的路由配置由访问所述升级版本更改为访问所述服务的原始版本。

5.根据权利要求1至3中任一项所述的评估方法，其特征在于，所述干预事件触发条件包括：所述升级版本的版本测试参数的值与所述服务的原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者

所述干预事件触发条件包括：所述升级版本的版本测试参数的值高于或低于门限值，其中，所述门限值是根据所述服务的原始版本的版本测试参数的值确定的。

6.根据权利要求1至3中任一项所述的评估方法，其特征在于，所述获取服务的升级版本对应的多个第一会话的会话信息，包括：

接收服务器发送的与所述升级版本对应的多个第一会话的会话信息，其中，所述服务器用于提供所述服务的升级版本。

7.一种灰度发布的评估装置，其特征在于，包括：

获取单元，用于获取服务的升级版本对应的多个第一会话的会话信息；

确定单元，用于根据所述获取单元获取的所述多个第一会话的会话信息，确定所述升级版本的版本测试参数的值，其中，所述会话信息包括用户信息、页面访问信息和服务内容调用信息，所述版本测试参数包括用户行为参数和版本质量参数，并且根据所述升级版本的版本测试参数的值，确定所述升级版本的评估结果；

所述确定单元，还用于确定所述升级版本的版本测试参数的值是否满足干预事件触发条件，所述干预事件触发条件为预先设置的条件；

触发单元，用于若所述确定单元确定所述升级版本的版本测试参数的值满足所述干预事件触发条件，触发干预事件。

8.根据权利要求7所述的评估装置，其特征在于，所述获取单元还用于在所述确定单元根据所述获取单元获取的所述升级版本的版本测试参数的值，确定所述升级版本的评估结果之前，获取所述服务的原始版本对应的多个第二会话的会话信息；

所述确定单元还用于根据所述获取单元获取的所述多个第二会话的会话信息，确定所述原始版本的版本测试参数的值；

所述确定单元用于根据所述原始版本的版本测试参数的值和所述升级版本的版本测试参数的值，确定所述升级版本的评估结果。

9.根据权利要求8所述的评估装置，其特征在于，所述评估装置还包括：

日志生成单元，用于生成升级版本评估日志，其中，所述升级版本评估日志包括所述确定单元确定的所述原始版本与所述升级版本的版本测试参数的值的对比结果。

10.根据权利要求7至9中任一项所述的评估装置，其特征在于，所述干预事件包括下列中的至少一项：

发送警报消息；

将至少一个用户的路由配置由访问所述升级版本更改为访问所述服务的原始版本。

11.根据权利要求7至9中任一项所述的评估装置，其特征在于，所述干预事件触发条件包括：所述升级版本的版本测试参数的值与所述服务的原始版本的版本测试参数的值的比较结果高于或低于预设门限值；或者

所述干预事件触发条件包括：所述升级版本的版本测试参数的值高于或低于门限值，其中，所述门限值是根据所述服务的原始版本的版本测试参数的值确定的。

12.根据权利要求7至9中任一项所述的评估装置，其特征在于，所述获取单元具体用于接收服务器发送的与所述升级版本对应的多个第一会话的会话信息，其中，所述服务器用于提供所述服务的升级版本。

13.一种灰度发布的评估系统，其特征在于，包括：第一服务器、至少一个第二服务器和至少一个第三服务器，其中，所述至少一个第二服务器提供服务的升级版本，所述至少一个第三服务器提供所述服务的原始版本；

所述至少一个第二服务器用于向所述第一服务器发送与所述服务的升级版本对应的多个第一会话的会话信息；

所述至少一个第三服务器用于向所述第一服务器发送与所述服务的原始版本对应的多个第二会话的会话信息；

所述第一服务器用于根据所述多个第一会话的会话信息，确定所述升级版本的版本测试参数的值，并且根据所述多个第二会话的会话信息，确定所述原始版本的版本测试参数的值，其中，所述会话信息包括用户信息、页面访问信息和服务内容调用信息，所述版本测试参数包括用户行为参数和版本质量参数；

所述第一服务器还用于根据所述原始版本的版本测试参数的值和所述升级版本的版本测试参数的值，确定所述升级版本的评估结果。