CN114594971A - 系统更新验证方法、装置、计算机设备、存储介质 - Google Patents

Abstract

本公开涉及一种系统更新验证方法、装置、计算机设备、存储介质，涉及大数据智能分析技术领域。所述方法包括：获取至少一项功能数据；将功能数据输入至未升级系统中，通过未升级系统得到未升级报文数据；将功能数据输入至升级系统中，通过升级系统得到升级报文数据；其中，升级系统包括进行灰度发布后或更新扩容后的系统，未升级系统包括进行灰度发布前或更新扩容前的系统，升级系统不允许第三方数据输入，未升级系统允许所述第三方数据输入；比较未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证升级系统是否达到预期标准。采用本方法操作简单，无需人工进行分析，能够准确地评估升级后的代码包能否达到预期标准。

Description

系统更新验证方法、装置、计算机设备、存储介质

技术领域

本公开涉及大数据智能分析技术领域，特别是涉及一种系统更新验证方法、装置、计算机设备、存储介质。

背景技术

随着科学技术的不断发展，各个系统的功能日益增多，可能会存在很多功能被引入同一个代码包，且由于代码包有时会出现漏洞或者需要增加其他的业务需求，所以需要进行升级，但是很难将代码包中所有的功能都进行全面测试，无法确定升级的代码包是否影响现有产品或系统，因此通过灰度发布的方式来评估升级后的代码包能否达到预期，降低产品的BUG风险。

目前灰度发布后进行评估能否达到预期的方法主要包括下述几种：(1)进行同类属性转换(即关联属性转换)得到对应的灰度数。但是该方法操作需要就那些转换，因而具有一定复杂性。(2)将灰度发布后的数据以及灰度发布前的数据进行比较，从而判升级后的代码包能否达到预期。但该方法需要大量的数据进行统计，并可能会存在多种数据得到预期结果不相同的情况，不能准确的评估升级后的代码包能否达到预期标准，还需要人工进行进一步的分析，浪费时间。

发明内容

基于此，有必要针对上述技术问题，提供一种操作简单，无需人工进行分析，能够准确地评估升级后的代码包能否达到预期标准的系统更新验证方法、装置、计算机设备、存储介质。

第一方面，本公开提供了一种系统更新验证方法。所述方法包括：

获取至少一项功能数据；

将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据；

将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述未升级系统包括进行灰度发布前或更新扩容前的系统，所述升级系统不允许第三方数据输入，所述未升级系统允许所述第三方数据输入；

比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

在其中一个实施例中，所述方法还包括：

将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据；

比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

在其中一个实施例中，所述验证所述升级系统是否达到预期标准，包括：

在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准；

在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

在其中一个实施例中，所述升级系统未达到预期标准，之后还包括：

获取未升级返回数据和升级返回数据，和/或，未升级报文数据和升级报文数据中不相同的异常数据；

根据所述异常数据确定对应的异常功能的交易码；

根据所述交易码确定所述升级系统的问题。

在其中一个实施例中，所述方法还包括：

将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间；

将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间；

根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

在其中一个实施例中，所述根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准，至少包括：

计算所述未升级响应时间和所述升级响应时间的差值；

将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准；

或；计算所述升级响应时间和预先设置的所述时间阈值的第一差值；

计算所述未升级响应时间和预先设置的所述时间阈值的第二差值；

将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

第二方面，本公开还提供了一种系统更新验证装置。所述装置包括：

数据获取模块，用于获取至少一项功能数据；

未升级数据处理模块，用于将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据；

升级数据处理模块，用于将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；

其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述未升级系统包括进行灰度发布前或更新扩容前的系统，所述升级系统不允许第三方数据输入，所述未升级系统允许所述第三方数据输入；

比较验证模块，用于比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

在所述装置的其中一个实施例中，所述装置还包括：后端组件处理模块，用于将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据；

所述比较验证模块，还用于比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

在所述装置的其中一个实施例中，所述比较验证模块，包括：第一比较模块和第二比较模块；

所述第一比较模块，用于在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准；

所述第二比较模块，用于在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

在所述装置的其中一个实施例中，所述第二比较模块，包括：异常数据获取模块、交易码确定模块、问题确定模块；

所述异常数据获取模块，用于获取未升级返回数据和升级返回数据，或，未升级报文数据和升级报文数据中不相同的异常数据；

所述交易码确定模块，用于根据所述异常数据确定对应的异常功能的交易码；

所述问题确定模块，用于根据所述交易码确定所述升级系统的问题。

在所述装置的其中一个实施例中，所述装置还包括：第一计算模块、第二计算模块、响应时间验证模块；

所述第一计算模块，用于将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间；

所述第二计算模块，用于将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间；

所述响应时间验证模块，用于根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

在所述装置的其中一个实施例中，所述响应时间验证模块包括：第一验证模块，用于计算所述未升级响应时间和所述升级响应时间的差值；

将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准；

第二验证模块，用于计算所述升级响应时间和预先设置的所述时间阈值的第一差值；计算所述未升级响应时间和预先设置的所述时间阈值的第二差值；将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

上述各实施例中，能够通过将功能数据输入至升级系统和未升级系统中，进而相应的得到升级报文数据和未升级报文数据，其中升级系统不允许第三方数据输入，可以有效避免升级有问题，从而影响外部功能。并且比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。可以确定升级系统中可视化问题以及非可视化问题，实现了问题的全覆盖，也能够避免升级系统在投产时遇到大面积问题，降低异常情况时对客户的使用时产生影响。而使用的是报文数据进行对比，通常情况下报文数据包含了将要发送的完整的数据信息，所以通过报文数据进行对比能够仅通过一种数据判断，同时，通过对比报文数据实现了自动化检测，避免了人工操作存在部分功能点或者代码包检查疏漏覆盖不全、操作繁琐等问题。并且可以准确的评估升级后的升级系统能否达到预期标准。若达到预期标准则进行可以将升级系统进行推广发布，能够确保客户在使用升级系统时，对应的功能不会出现问题，降低了升级风险，降低了出错概率。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中系统更新验证方法的应用环境示意图；

图2为一个实施例中系统更新验证方法的流程示意图；

图3为一个实施例中通过后端组件进行验证步骤的流程示意图；

图4为一个实施例中验证升级系统是否达到预期标准步骤的流程示意图；

图5为一个实施例中升级系统未达到预期标准之后步骤的流程示意图；

图6为一个实施例中通过响应时间进行判断的步骤的流程示意图；

图7a为一个实施例中差值和事件阈值比较的流程示意图；

图7b为一个实施例中响应时间和事件阈值比较的流程示意图；

图8为一个实施例中系统更新验证装置的结构示意框图；

图9为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

正如背景技术所述，目前出现了一些灰度的评估方法，如：

一种灰度发布的评估方法、装置和系统，该方法包括：获取服务的升级版本对应的多个会话信息；根据所述多个第一会话的会话信息，确定所述升级版本的版本测试参数的值，其中，所述会话信息包括用户信息、页面访问信息和服务内容调用信息，所述版本测试参数包括用户行为参数和版本质量参数；根据所述升级版本的版本测试参数的值，确定所述升级版本的评估结果。能够不依赖于用户反馈，对灰度发布的升级版本进行大数据分析。该种方法主要通过会话信息来确定版本测试参数，进而判断灰度升级是否达到预期。而会话信息可以包括下列信息中的一种或多种：用户信息、访问页面总数、网站停留时间(或会话时长，表示会话的总时长)、页面停留时间(表示访客在浏览的每个页面上停留的时长)、服务调度次数、服务调度成功率和服务调用时延。因此该方法仅仅使用一次或者几次的数据进行确定评估结果，并且是通过该多种信息进行判断，在实际操作过程中需要考虑多种数据的各种可能并不能准确地评估灰度升级是否达到预期。

一种灰度发布的方法及装置，包括：对灰度发布后进行流量采样，以作为用于确定对灰度发布结果即目标发布对象的新版本的用户验证结果的待分析原始数据，在对待分析原始数据进行进一步的统计分析之前，根据与目标灰度发布策略关联的灰度数据分析因子先对待分析原始数据进行筛选过滤，以剔除对得到精准的灰度发布结果产生不利影响的原始流量，进而基于该经对待分析原始数据进行筛选过滤后的结果，确定能够精准表征灰度发布结果的灰度发布指标，以控制调整目标发布对象的进一步的发布策略。但是该种方法需要对灰度的结果进行过滤，并且需要单独将目标灰度策略直接等价转换为对应的灰度数据分析因子，获得通过对目标灰度策略的内容进行引申作同类属性转换(即关联属性转换)得到对应的灰度数。因此操作具有一定复杂性。

应用程序版本验证方法及装置、电子设备和存储介质，包括：通过获取测试环境交易数据(灰度发布后的数据)以及非测试环境交易数据(灰度发布前的数据)，并且将测试环境交易数据以及非测试环境交易码，成功率，响应时间作为分析的基础数据，将两者交易指标结果进行比较，从而判断服务器是否异常。但是该种方法需要通过大量的交易数据统计，进而通过对比阈值，之后可能有几个交易的一个或者多个基础数据满足条件，另几个基础数据不满足条件的情况，因此需要逐一人工分析，浪费时间。

因此，为解决上述问题，本公开实施例提供了一种系统更新验证方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与升级系统对应的未升级服务器104和未升级系统对应的升级服务器106进行通信。数据存储系统可以存储未升级服务器104和升级服务器106需要处理的数据。数据存储系统可以集成在未升级系统对应的未升级服务器104上，也可以放在云上或其他网络服务器上。终端102获取用户在操作系统中的交易功能(也可以是其他功能)，并获取其对应的功能数据，功能至少为一项，对应的功能数据也为至少一项。终端102可以将至少一项功能数据输入至未升级系统对应的未升级服务器104中。通过未升级系统得到与功能数据对应的未升级报文数据。然后，终端102可以将与输入至未升级服务器104对应的至少一项数据输入至升级系统对应的升级服务器106中。通过升级服务器得到与交易功能数据对应的升级报文数据。升级系统和对应的升级服务器是106进行灰度发布过后或者更新扩容后的系统和服务器。未升级系统和对应的未升级服务器104通常可以是进行灰度发布前或者更新扩容前的系统和服务器。升级系统和升级服务器106通常情况下不允许除终端102之外的第三方数据输入。未升级系统和未升级服务器104通常情况下是对外开放的，所以允许除终端102之外的第三方数据输入。得到未升级报文数据和升级报文数据之后，终端102可以比较未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证升级系统和对应的升级服务器106是否达到预期标准。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。未升级服务器104和升级服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种系统更新验证方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

S202，获取至少一项功能数据。

其中，功能数据通常可以是用户在应用程序需要处理的功能对应的数据，在交易层面可以包括转账功能对应的数据，支付功能对应的数据等等，需要说明是此处仅仅以交易层面的数据进行举例，但是并不限制该功能数据为交易层面的功能数据，还可以为其他功能数据。

具体地，在用户通过应用程序使用对应的功能(包括交易对应的功能和其他对应的功能，此处可以根据应用程序的不同，对应的功能也不相同，在本实施例中不进行限制功能数据的类型)时，获取该功能对应的功能数据。且每次客户访问功能，对于每个功能点都有一个独立的代码，该代码可以为功能数据，通常可以称为交易码。

S204，将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据。

其中，未升级系统通常可以包括进行灰度发布前或者更新扩容前的系统或者服务器。灰度通常可以是通过路由负载将测试人员或少部分用户引流到新版服务(升级系统)中进行测试或体验，并收集测试和体验结果的一种方式。未升级报文数据通常可以是功能数据输入至未升级系统得到的数据结果，通常可以是包含了将要发送的完整的数据信息，并且其长短很不一致，长度不限且可变。

具体地，可以将功能数据输入至未升级系统中，通过未升级系统对功能数据进行处理，进行处理后可以得到与输入的功能数据对应的报文数据，该报文数据可以是未升级报文数据。

S206，将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；

其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述升级系统不允许第三方数据输入，通常可以是不允许除终端以外的第三方数据(如用户，或者其他服务器的数据)输入。所述未升级系统允许所述第三方数据输入，可以认为未升级系统对外开放，升级系统不对外开放。升级报文数据通常与上述未升级报文数据相同，只不过是通过升级系统得到的数据结果。

具体地，可以将输入未升级系统相同的功能数据输入至升级系统中，通过升级系统对该功能数据进行处理，进行处理后可以得到与功能数据对应的报文数据，该报文数据可以是升级报文数据。

S208，比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

其中，预期标准通常可以是升级系统是否存在问题的标准，本领域技术人员可根据具体的实际情况进行选择设置，在本实施例中不进行限制。

具体地，由于环境可能不同，比如服务器的IP地址、文件目录权限发生变化，因此，可能有部分功能点会出错，不能兼容。比较升级报文数据和未升级报文数据是否相同，得到第一比较结果，根据第一比较结果可以快速找到存在问题的功能点。第一比较结果可以包括：升级报文数据和未升级报文数据相同，以及，升级报文数据和未升级报文数据不同。可以根据第一比较结果验证升级系统是否达到预期标准。在升级系统达到预期标准后，可以将升级系统推广至全部的服务器中，以完成整个服务器的升级。

在一些示例性的实施方案中，比较未升级报文数据和升级报文数据通常可以比较报文数据中的XML(可扩展标记语言)字段。比较所述未升级报文数据和升级报文数据可以是逐条对比，也可以是逐字对比。

上述系统更新验证方法中，能够将功能数据输入至升级系统和未升级系统中，进而相应的得到升级报文数据和未升级报文数据，其中升级系统不允许第三方数据输入，可以有效避免升级时存在问题，影响外部功能。并且比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。能够确认升级系统是否存在问题，从而避免升级系统在下次投产时遇到大面积问题，降低异常情况对客户的影响。而使用的是报文数据进行对比，通常情况下报文数据包含了将要发送的完整的数据信息，所以通过报文数据进行对比能够仅通过一种数据判断，并且准确的评估升级后的升级系统能否达到预期标准。若达到预期标准则进行可以将升级系统进行推广发布，提升客户的体验。

在一个实施例中，如图3所示，所述方法还包括：

S302，将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据。

其中，后端组件通常可以是后端执行功能数据对应的功能点的服务器或者功能组件。未升级返回数据和升级返回数据通常可以是通过后端组件返回的数据。

具体地，由于环境可能不同，并且功能数据可以未经过升级系统和未升级系统进行处理，所以可能会存在一些功能是升级系统和未升级系统无需进行处理的，此时需要后端组件对经过升级系统和未升级系统得到的报文数据进行处理。所以可以将未升级报文数据输入至后端组件中，后端组件可以对未升级报文数据进行识别处理，然后识别处理后返回未升级返回数据至终端。可以将升级报文数据输入至后端组件中，后端组件也可以对升级报文数据进行识别处理，然后识别处理后返回升级返回数据至终端。

需要说明的是，识别处理的方式通常可以是与其他组件或者数据库进行通信，以实现对应的功能。未升级返回数据和升级返回数据可以为报文数据也可以为非报文数据，在未升级返回数据和升级返回数据的数据类型本实施例中不进行限制。

S304，比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

具体地，比较未升级返回诗句和升级返回数据是否相同，得到第二比较结果，根据第二比较结果可以快速找到问题对应的功能点。第二比较结果可以包括：未升级返回数据和升级返回数据相同，以及，未升级返回数据和升级返回数据不同。可以根据第一比较结果验证升级系统是否达到预期标准。在升级系统达到预期标准后，可以将升级系统推广至全部的服务器中，以完成整个服务器的升级。

本实施例中，因为升级系统和未升级系统可能会存在未对功能数据进行处理的部分，所以在此通过后端组件对升级系统和未升级系统输出的报文数据进行处理，避免了因为升级系统和未升级系统未进行处理，从而导致后续上线时功能出现异常的问题，进一步提高了验证的准确性以及客户的体验感。

在一个实施例中，如图4所示，所述验证所述升级系统是否达到预期标准，包括：

S402，在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准。

S404，在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

具体地，在仅仅通过第一比较结果进行验证的情况下，当第一比较结果为：升级报文数据和未升级报文数据相同时，则可以确定升级系统达到预期标准。当第一比较结果为：升级报文数据和未升级报文数据不相同时，则可以确定升级系统未达到预期标准。

在仅仅通过第二比较结果进行验证的情况下，当第二比较结果为：升级返回数据和未升级返回数据相同时，则可以确定升级系统达到预期标准。当第二比较为：升级返回数据和未升级返回数据不相同时，则可以确定升级系统未达到预期标准。

在通过第一比较结果和第二比较结果进行验证的情况下，当第一比较结果为：升级报文数据和未升级报文数据相同时，且第二比较结果为：升级返回数据和未升级返回数据相同时，则可以确定升级系统达到预期标准。除此之外的任何情况确定升级系统未达到预期标准。其可以包括：(1)第一比较结果为：升级报文数据和未升级报文数据相同。第二比较结果为：升级返回数据和未升级返回数据不相同。(2)第一比较结果为：升级报文数据和未升级报文数据不相同。第二比较结果为：升级返回数据和未升级返回数据不相同。

在本实施例中，通过第一比较结果和第二比较结果两种结果能够更加准确的验证升级系统是否达到预期标准。

在一个实施例中，如图5所示，所述升级系统未达到预期标准，之后还包括：

S502，获取未升级返回数据和升级返回数据，和/或，未升级报文数据和升级报文数据中不相同的异常数据。

S504，根据所述异常数据确定对应的异常功能的交易码。

S506，根据所述交易码确定所述升级系统的问题。

具体地，验证升级系统未达到预期标准之后，因为上述可以通过第一比较结果和/或第二比较结果进行验证升级系统未达到预期标准。所以可以存在如下情况：

在通过第一比较结果验证升级系统未达到预期标准的情况下，可以获取未升级报文数据和升级报文数据，并获取其中存在差异，通常是不相同部分的数据，该数据可以是异常数据。通常可以通过该异常数据确定对应的交易码(功能数据)并找到其对应的功能，进而确定升级系统的问题。然后可以通知本领技术人员修复该问题。

在通过第二比较结果验证升级系统未达到预期标准的情况下，可以获取未升级返回数据和升级返回数据，并获取其中存在差异，通常是不相同部分的数据，该数据也可以是异常数据。通常可以通过该异常数据确定对应的交易码(功能数据)并找到其对应的功能，进而确定升级系统的问题。然后可以通知本领技术人员修复该问题。

在通过第一比较结果和第二比较结果验证升级系统未达到预期标准的情况下，可以获取未升级报文数据和升级报文数据以及未升级返回数据和升级返回数据中存在差异的数据(该存在差异的数据可以为一种，也可以为两种)，通过存在差异的数据确定升级系统的问题。需要说明的是，此处确定升级系统的问题可以参照上述步骤，在此不进行重复赘述。

在一个实施例中，如图6所示，所述方法还包括：

S602，将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间。

S604，将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间。

S606，根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

其中，响应时间通常可以是系统在处理数据后，并输出结果的时间。在本实施例中，通过未升级系统得到的时间可以是未升级响应时间，通过升级系统得到的时间可以是升级响应时间。

具体地，将功能数据输入至未升级系统后，未升级系统进行处理该功能数据，可以计算从功能数据输入至未升级系统至通过未升级系统得到未升级报文数据的时间，该时间可以为未升级响应时间，同理，可以将功能数据输入至升级系统后，升级系统进行处理该功能数据，可以计算从功能数据输入至升级系统至通过升级系统得到升级报文数据的时间，该时间可以为升级响应时间。然后可以根据未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

在本实施例中，通过升级响应时间和未升级响应时间以及时间阈值进行验证升级系统是否达到预期标准，能够确定处理代码逻辑时间较长的问题，从而发现对应的升级系统的问题，进一步提升了验证所述升级系统是否达到预期标准准确性。

在一个实施例中，如图7a和7b所示，所述根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准，包括：

S702a，计算所述未升级响应时间和升级响应时间的差值。

S704a，将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准。

具体地，预先设置的时间阈值可以存在两种形式，第一种设置的形式可以与差值进行比较。计算未升级响应时间和升级响应时间的差值。该差值如果较大则可以证明升级系统中代码的处理逻辑可能会存在问题，导致运行处理时间过长，所以可以将差值和时间阈值进行第三比较，若第三比较结果为差值大于时间阈值，则验证所述升级系统未达到预期标准。若第三比较结果为差值小于等于时间阈值，则验证升级系统达到预期标准。

或，

S702b，计算所述升级响应时间和预先设置的所述时间阈值的第一差值。

S704b，计算所述未升级响应时间和预先设置的所述时间阈值的第二差值。

S706b，将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

具体地，预先设置的时间阈值的第二种形式可以设置为与升级响应时间和未升级响应时间进行比较。计算与升级响应时间和未升级响应时间的第一差值和第二差值。将第一差值和所述第二差值进行第四比较，第四比较结果可以为：第一差值等于第二差值、第一差值小于第二差值、第一差值大于第二差值。在第一差值小于第二差值和第一差值等于第二差值的情况下，确定所述升级系统是否达到预期标准。在第一差值大于第二差值的情况下，可以确定升级系统未达到预期标准。

需要说明的是，本实施例的两种通过时间阈值的验证方法本领域技术人员可根据实际情况进行选择设置。

在本实施例中，通过时间阈值能够进行不同方式验证升级系统是否达到预期标准，能够更加准确的通过升级响应时间和未升级响应时间确定升级系统是否达到预期标准。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的系统更新验证方法的系统更新验证装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个系统更新验证装置实施例中的具体限定可以参见上文中对于系统更新验证方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种系统更新验证装置800，包括：数据获取模块802、未升级数据处理模块804、升级数据处理模块806、比较验证模块808，其中：

数据获取模块802，用于获取至少一项功能数据；

未升级数据处理模块804，用于将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据；

升级数据处理模块806，用于将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；

其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述未升级系统包括进行灰度发布前或更新扩容前的系统，所述升级系统不允许第三方数据输入，所述未升级系统允许所述第三方数据输入；

比较验证模块808，用于比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

在所述装置的一个实施例中，所述装置还包括：后端组件处理模块，用于将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据；

所述比较验证模块808，还用于比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

在所述装置的一个实施例中，所述比较验证模块808，包括：第一比较模块和第二比较模块；

所述第一比较模块，用于在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准；

所述第二比较模块，用于在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

在所述装置的一个实施例中，所述第二比较模块，包括：异常数据获取模块、交易码确定模块、问题确定模块；

所述异常数据获取模块，用于获取未升级返回数据和升级返回数据，或，未升级报文数据和升级报文数据中不相同的异常数据；

所述交易码确定模块，用于根据所述异常数据确定对应的异常功能的交易码；

所述问题确定模块，用于根据所述交易码确定所述升级系统的问题。

在所述装置的一个实施例中，所述装置还包括：第一计算模块、第二计算模块、响应时间验证模块；

所述第一计算模块，用于将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间；

所述第二计算模块，用于将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间；

所述响应时间验证模块，用于根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

在所述装置的一个实施例中，所述响应时间验证模块包括：第一验证模块，用于计算所述未升级响应时间和所述升级响应时间的差值；将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准；

第二验证模块，用于计算所述升级响应时间和预先设置的所述时间阈值的第一差值；计算所述未升级响应时间和预先设置的所述时间阈值的第二差值；将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

上述系统更新验证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储升级报文数据、未升级报文数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种系统更新验证方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。

Claims (15)

1.一种系统更新验证方法，其特征在于，所述方法包括：

获取至少一项功能数据；

将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据；

将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述未升级系统包括进行灰度发布前或更新扩容前的系统，所述升级系统不允许第三方数据输入，所述未升级系统允许所述第三方数据输入；

比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据；

比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

3.根据权利要求1或2所述的方法，其特征在于，所述验证所述升级系统是否达到预期标准，包括：

在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准；

在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

4.根据权利要求3所述的方法，其特征在于，所述升级系统未达到预期标准，之后还包括：

获取未升级返回数据和升级返回数据，和/或，未升级报文数据和升级报文数据中不相同的异常数据；

根据所述异常数据确定对应的异常功能的交易码；

根据所述交易码确定所述升级系统的问题。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间；

将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间；

根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

6.根据权利要求5所述的方法，其特征在于，所述根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准，至少包括：

计算所述未升级响应时间和所述升级响应时间的差值；

将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准；

或；计算所述升级响应时间和预先设置的所述时间阈值的第一差值；

计算所述未升级响应时间和预先设置的所述时间阈值的第二差值；

将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

7.一种系统更新验证装置，其特征在于，所述装置包括：

数据获取模块，用于获取至少一项功能数据；

未升级数据处理模块，用于将所述功能数据输入至未升级系统中，通过所述未升级系统得到未升级报文数据；

升级数据处理模块，用于将所述功能数据输入至升级系统中，通过所述升级系统得到升级报文数据；

其中，所述升级系统包括进行灰度发布后或更新扩容后的系统，所述未升级系统包括进行灰度发布前或更新扩容前的系统，所述升级系统不允许第三方数据输入，所述未升级系统允许所述第三方数据输入；

比较验证模块，用于比较所述未升级报文数据和升级报文数据，得到第一比较结果，根据第一比较结果验证所述升级系统是否达到预期标准。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：后端组件处理模块，用于将所述未升级报文数据和升级报文数据均输入至后端组件，相应的，通过所述后端组件得到未升级返回数据和升级返回数据；

所述比较验证模块，还用于比较所述未升级返回数据和升级返回数据，得到第二比较结果，根据第二比较结果验证所述升级系统是否达到预期标准。

9.根据权利要求7或8所述的装置，其特征在于，所述比较验证模块，包括：第一比较模块和第二比较模块；

所述第一比较模块，用于在第一比较结果和/或第二比较结果均相同的情况下，确定所述升级系统达到预期标准；

所述第二比较模块，用于在第一比较结果和/或第二比较结果不相同的情况下，确定所述升级系统未达到预期标准。

10.根据权利要求9所述的装置，其特征在于，所述第二比较模块，包括：异常数据获取模块、交易码确定模块、问题确定模块；

所述异常数据获取模块，用于获取未升级返回数据和升级返回数据，或，未升级报文数据和升级报文数据中不相同的异常数据；

所述交易码确定模块，用于根据所述异常数据确定对应的异常功能的交易码；

所述问题确定模块，用于根据所述交易码确定所述升级系统的问题。

11.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：第一计算模块、第二计算模块、响应时间验证模块；

所述第一计算模块，用于将所述功能数据输入至未升级系统后，计算通过所述未升级系统的未升级响应时间；

所述第二计算模块，用于将所述功能数据输入至升级系统后，计算通过所述升级系统的升级响应时间；

所述响应时间验证模块，用于根据所述未升级响应时间、升级响应时间、预先设置的时间阈值验证所述升级系统是否达到预期标准。

12.根据权利要求11所述的装置，其特征在于，所述响应时间验证模块包括：第一验证模块，用于计算所述未升级响应时间和所述升级响应时间的差值；将预先设置的所述时间阈值和所述差值进行第三比较，根据第三比较结果验证所述升级系统是否达到预期标准；

第二验证模块，用于计算所述升级响应时间和预先设置的所述时间阈值的第一差值；计算所述未升级响应时间和预先设置的所述时间阈值的第二差值；将所述第一差值和所述第二差值进行第四比较，根据第四比较结果验证所述升级系统是否达到预期标准。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images