CN109815111A - 灰度测试方法、装置、计算机设备及存储介质 - Google Patents
灰度测试方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109815111A CN109815111A CN201811527585.7A CN201811527585A CN109815111A CN 109815111 A CN109815111 A CN 109815111A CN 201811527585 A CN201811527585 A CN 201811527585A CN 109815111 A CN109815111 A CN 109815111A
- Authority
- CN
- China
- Prior art keywords
- report
- configuration
- early warning
- difference
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000004519 manufacturing process Methods 0.000 claims abstract description 127
- 238000012360 testing method Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000002547 anomalous effect Effects 0.000 claims description 57
- 238000012986 modification Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 238000011990 functional testing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请涉及测试领域，具体是通过灰度测试实现对应用的功能测试，并公开了一种灰度测试方法、装置、计算机设备及存储介质。该方法包括：在新版本应用的生产代码部署前和部署后，分别获取相应文件进行比对以生成第一配置差异报告、第一数据差异报告、第二配置差异报告和第二数据差异报告；对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。由此提高了新版本应用的灰度测试效率。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及一种灰度测试方法、装置、计算机设备及存储介质。
背景技术
目前，为了保证应用的高可用性以及提高用户的体验，比如贷款系统中核心的业务应用，该业务应用的全年高可用率对应的要求目标为99.9％，即每周应用停止服务的时间不能超过10.1分钟。为保证应用的高可用性，在每次生产代码部署后，都需要进行灰度测试，在灰度测试通过后，新版本应用的发布才结束。但是整个发布过程存在如下问题：由于应用可能存在较多的子应用，每次生产部署后验证耗时较长；验证过程中经常出现测试环境正常，但是生产环境异常的情况，比如因配置文件内容错误导致的代码、接口调用或网络访问异常，再比如生产测试数据库表结构不一致导致的数据读写或链接占用异常。为了确保新版本应用的快速发布和用户的体验度，因此有必要提供一种灰度测试方法以解决上述问题。
发明内容
本申请提供了一种灰度测试方法、装置、计算机设备及存储介质，旨在提高新版本应用的测试效率。
本申请提供了一种灰度测试方法，其包括：
在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件；
获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；
若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
本申请提供了一种灰度测试装置，其包括：
获取备份单元，用于在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件；
第一生成单元，用于获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
第二生成单元，用于获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
获取比对单元，用于在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
核对生成单元，用于对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；
测试执行单元，用于若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的灰度测试方法的步骤。
本申请还提供了一种计算机存储介质，其中所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行本申请提供的任意实施例所述的灰度测试方法的步骤。
本申请实施例提供了灰度测试方法、装置、计算机设备及存储介质，通过在新版本应用的生产代码部署前和在所述新版本应用的生产代码部署后，分别获取相应文件进行比对以生成第一配置差异报告、第一数据差异报告、第二配置差异报告和第二数据差异报告；对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。由此实现了在灰度测试前自动输出预警以及提前发现配置和数据库不一致的问题，而不是等生产灰度测试的过程中发现问题，因此提高了新版本应用的灰度测试效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种灰度测试方法的应用场景示意图；
图2是本申请一实施例提供的一种灰度测试方法的示意流程图；
图3是本申请另一实施例提供的一种灰度测试方法的示意流程图；
图4是图3中灰度测试方法的子步骤示意流程图；
图5是本申请一实施例提供的一种灰度测试装置的示意性框图；
图6是本申请另一实施例提供的一种灰度测试装置的示意性框图；
图7是本申请一实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请实施例提供了一种灰度测试方法、装置、计算机设备和存储介质。
为了便于理解，先对本申请实施例的灰度测试方法所适用的应用场景组成进行介绍。如图1所示，该应用场景包括生产环境、测试环境、终端和服务器。其中，该灰度测试方法应用于服务器中，灰度测试的应用运行在终端中；生产环境包括生产服务器和其对应的生产数据库，用于运行应用的服务端；测试环境为灰度测试环境，包括测试服务器和其对应的测试数据库。
其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
请参阅图2，图2是本申请一实施例提供的一种灰度测试方法的示意流程图。该灰度测试方法应用于服务器中，如图2所示，该灰度测试方法包括步骤S101～S106。
S101、在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件。
具体地，在新版本应用的生产代码部署前，获取旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并将所述旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件进行备份以生成备份配置文件和备份生产文件。
其中，每个应用上线之后均会进行更新或修改，因此均会有新版本应用需要发布，将新版本应用对应的生产代码进行打包后发布，为了保证应用的顺利运行和用户的良好体验，在发布前一般会对新版本应用进行灰度测试。
在新版本应用对应的生产代码部署前，服务器获取应用在生产环境下的运行服务器中服务端对应的配置文件和生产数据库的数据表文件，该配置文件保存在特定的目录中，通过扫描该特定目录即可获取该配置文件，该配置文件中包括多种类型配置信息，比如XML格式、Properties格式、ini格式和JSON格式等；该数据表文件为所述应用的服务端对应的数据库中保存的数据表，该数据表记录处于生产环境下的应用相关的信息。将这些配置文件和生产数据库的数据表文件进行备份以得到备份配置文件和备份生产文件，并将备份配置文件和备份生产文件进行保存。
S102、获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告。
具体地，新版本应用也包括相应的配置文件，在新版本应用对应的生产代码部署之前，获取新版本应用对应的配置文件。并将该新版本对应的配置文件与旧版本对应的配置文件备份进行比对以得到相应的差异信息，并根据该差异信息生成第一配置差异报告，该差异报告中主要包括接口名称、域名地址、代码调用参数和其他差异项等。
S103、获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告。
其中，该测试环境为灰度测试环境，用于对新版本应用进行灰度测试，该灰度测试环境和生产环境类似，包括测试服务器和测试数据库，该灰度测试目的是保证新版本的应用正常运行。
具体地，服务器获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，该测试数据库的数据表文件记录处于测试环境下的新版本应用相关的信息。并将该数据表文件和生成数据库的数据表文件做比对以得到相应的差异信息，并根据该差异信息生成第一数据差异报告。
S104、获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告。
具体地，在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并将所述新版本应用在生产环境下对应的配置文件与所述备份配置文件做比对以生成第二配置差异报告，以及将所述新版本应用在生产环境下对应的生产数据库的数据表文件与备份生产文件进行比对以生成第二数据差异报告。
其中，在所述新版本应用对应的生产代码部署后，具体是指新版本应用对应的生产代码文件部署在生产环境以供用户使用之后，在该生产代码部署后服务器获取应用在生产环境下的运行服务器中服务端对应的配置文件和生产数据库的数据表文件，该配置文件保存在特定的目录中，通过扫描该特定目录即可获取该配置文件，该配置文件中包括多种类型配置信息，比如XML格式、Properties格式、ini格式和JSON格式等；该数据表文件为所述新版本应用的服务端对应的数据库里保存的数据表，该数据表记录处于生产环境下的应用相关的信息。
S105、对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果。
具体地，对所述差异信息进行核对处理以得到差异核对结果，是根据所述第一配置差异报告和第二配置差异报告中的差异信息生成配置预警报告，以及根据所述第一数据差异报告和第二数据差异报告中的差异信息生成数据库预警报告。
其中，可以配置预警报告和数据库预警报告发送给相关管理人员进行核对处理，并获取该管理人员的核对处理结果作为差异核对结果，判断所述差异核对结果是否满足预设执行条件。
具体地，输出所述配置预警报告和数据库预警报告中至管理人员，由管理人员进行差异核对处理，确认哪些差异信息是异常差异信息，哪些差异信息是正常差异信息。
比如，新旧版本的版本号不同，旧版本是1.1版本，新版本是1.2版本，这些差异信息是正常差异信息；再比如，版本维度的对比1.1版本至1.2版本，1.2版本页面上新增加一个按钮，但是对比的时候发现新版本中增加了2个按钮，这就是异常差异信息。
具体地，当所述核对处理结果为正常差异信息时，则判定若所述差异核对结果满足预设执行条件，执行步骤S106；当核对处理结果为异常差异信息时，则判定若所述差异核对结果不满足预设执行条件，根据所述异常差异信息进行修改。
S106、若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
具体地，在所述差异核对结果满足预设执行条件时，执行灰度测试指令以在测试环境中完成对新版本应用的测试。由此实现了在灰度测试前自动输出预警以及提前发现配置和数据库不一致的问题，而不是等生产灰度测试的过程中发现问题，因此提高了新版本应用的灰度测试效率。
在一实施例中，在步骤S106之前，还包括：判断所述差异核对结果是否满足预设执行条件的步骤。
其中，判断所述差异核对结果是否满足预设执行条件的步骤具体包括：根据预设异常检测规则判断所述配置预警报告和数据库预警报告中是否存在异常差异信息；若所述配置预警报告和所述数据库预警报告中均未存在异常差异信息，则判定所述差异核对结果满足预设执行条件。
譬如，所述预设异常检测规则为规定哪些差异信息为正常差异信息，哪些是异常差异信息。比如IP地址，版本等差异信息是正常；再比如应用本身的功能内容相关的差异信息是异常的。由此可以免去人工确认的过程，进一步地提高了灰度测试效率。
请参阅图3，图3是本申请一实施例提供的一种灰度测试方法的示意流程图。该灰度测试方法应用于服务器中，如图3所示，该灰度测试方法包括步骤S201～S210。
S201、获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件。
具体地，在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件。
S202、获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告。
S203、获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告。
S204、获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告。
具体地，在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告。
S205、根据所述第一配置差异报告与第二配置差异报告中的差异信息生成配置预警报告。
具体地，获取所述第一配置差异报告与所述第二配置差异报告中的差异信息，并根据所述差异信息生成配置预警报告。
其中，配置预警报告的目的是为了在灰度测试前获取异常信息，避免产生异常现象，比如避免将测试环境的IP址址发布到生产，如果将测试环境的IP或域名用于生产环境的话，就会出现访问失败的情况。
S206、根据所述第一数据差异报告与第二数据差异报告中的差异信息生成数据库预警报告。
具体地，获取所述第一数据差异报告与所述第二数据差异报告中的差异信息，并根据所述差异信息生成数据库预警报告。
S207、判断所述配置预警报告和数据库预警报告中是否存在异常差异信息。
在一实施例中，所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息，包括：将所述配置预警报告和数据库预警报告发送至管理终端，以使管理人员通过管理终端进行差异核对处理并生成异常反馈结果；接收所述管理终端反馈的异常反馈结果，并根据所述异常反馈结果判断所述配置预警报告和数据库预警报告中是否存在异常差异信息。
具体地，管理人员通过管理终端对所述配置预警报告和数据库预警报告中的差异信息进行差异核对处理，确认配置预警报告或数据库预警报告中的哪些差异信息是异常差异信息，哪些差异信息是正常差异信息，并根据确认结果生成异常反馈结果并发送至服务器。服务器接收所述异常反馈结果并根据所述异常反馈结果确定所述配置预警报告和数据库预警报告中是否存在异常差异信息；若所述配置预警报告和数据库预警报告中均未存在异常差异信息，判定所述差异核对结果满足预设执行条件，执行以下步骤S208。
当然也可以采用其他方式确定所述配置预警报告和数据库预警报告中是否存在异常差异信息。比如，如图4所示，该步骤S207包括子步骤S207a和S207b。
其中，S207a、判断所述配置预警报告和数据库预警报告中的差异信息对应差异类别是否为应用功能类型；S207b、若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，则判定所述配置预警报告和数据库预警报告中均未存在异常差异信息。也即，判定所述差异核对结果满足预设执行条件，接着执行以下步骤S208。其中，若所述配置预警报告中的差异信息对应差异类别为应用功能类型，则判定所述配置预警报告中存在异常差异信息，执行以下步骤S209；若所述数据库预警报告中存在异常差异信息，执行以下步骤S210。
具体地，该应用功能类型为涉及应用本身功能内容对应的类型，比如涉及的业务逻辑处理、功能按钮和窗口界面等等。先确认所述配置预警报告和数据库预警报告中的差异信息对应差异类别，若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，判定所述配置预警报告和数据库预警报告中存在异常差异信息，由此提高灰度测试效率。
S208、执行灰度测试以完成对新版应用发布测试。
具体地，若所述配置预警报告和数据库预警报告中均未存在异常差异信息，判定所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
S209、若所述配置预警报告中存在异常差异信息，输出第一提示信息。
具体地，若所述配置预警报告中存在异常差异信息，则输出第一提示信息以提示用户根据所述异常差异信息对新版本应用的配置文件进行核查修改。
相应地，若接收到终端发送的第一反馈信息，则判定所述差异核对结果满足预设执行条件，所述第一反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。在所述差异核对结果满足预设执行条件时，返回执行步骤S208。
S210、若所述数据库预警报告中存在异常差异信息，输出第二提示信息。
具体地，若所述数据库预警报告中存在异常差异信息，则输出第二提示信息以提示用户根据所述异常差异信息对生成数据库和生产代码的版本兼容问题进行核查修改。
相应地，若接收到终端发送的第二反馈信息，则判定所述差异核对结果满足预设执行条件，所述第二反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。在所述差异核对结果满足预设执行条件时，返回执行步骤S208。
在本实施例中，上述灰度测试实现了在灰度测试前自动输出预警以及提前发现配置和数据库不一致的问题，而不是等生产灰度测试的过程中发现问题，因此提高了新版本应用的灰度测试效率。
图5是本申请实施例提供的一种灰度测试装置的示意性框图。如图5所示，对应于以上灰度测试方法，本申请还提供一种灰度测试装置。该灰度测试装置包括用于执行上述灰度测试方法的单元，该装置可以被配置于服务器中。
如图5所示，该灰度测试装置400包括：获取备份单元401、第一生成单元402、第二生成单元403、获取比对单元404、核对生成单元405和测试执行单元406。
获取备份单元401，用于在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件。
第一生成单元402，用于获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告。
第二生成单元403，用于获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告。
获取比对单元404，用于在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告。
核对生成单元405，用于对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果。
测试执行单元406，用于若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
图6是本申请实施例提供的一种灰度测试装置的示意性框图。如图6所示，对应于以上灰度测试方法，本申请还提供一种灰度测试装置。该灰度测试装置包括用于执行上述灰度测试方法的单元，该装置可以被配置于服务器中。
如图6所示，该灰度测试装置500包括：获取备份单元501、第一生成单元502、第二生成单元503、获取比对单元504、第一报告生成单元505、第二报告生成单元506、异常信息判断单元507、执行条件判定单元508、第一提示输出单元509和第二提示输出单元510。
获取备份单元501，用于在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件。
第一生成单元502，用于获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
第二生成单元503，用于获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
获取比对单元504，用于在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
第一报告生成单元505，用于根据所述第一配置差异报告与第二配置差异报告中的差异信息生成配置预警报告；
第二报告生成单元506，用于根据所述第一数据差异报告与第二数据差异报告中的差异信息生成数据库预警报告；
异常信息判断单元507，用于判断所述配置预警报告和数据库预警报告中是否存在异常差异信息；
在一实施例中，异常信息判断单元507包括：类型判断子单元5071和异常判定子单元5072。其中，类型判断子单元5071，用于判断所述配置预警报告和数据库预警报告中的差异信息对应差异类别是否为应用功能类型；异常判定子单元5072，用于若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，则判定所述配置预警报告和数据库预警报告中均未存在异常差异信息。
执行条件判定单元508，用于若所述配置预警报告和数据库预警报告中均未存在异常差异信息，则判定所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
第一提示输出单元509，用于若所述配置预警报告中存在异常差异信息，则输出第一提示信息以提示用户根据所述异常差异信息对新版本应用的配置文件进行核查修改；若接收到终端发送的第一反馈信息，则判定所述差异核对结果满足预设执行条件，所述第一反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
第二提示输出单元510，用于若所述数据库预警报告中存在异常差异信息，则输出第二提示信息以提示用户根据所述异常差异信息对生成数据库和生产代码的版本兼容问题进行核查修改；若接收到终端发送的第二反馈信息，则判定所述差异核对结果满足预设执行条件，所述第二反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的灰度测试装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述装置可以实现为一种计算机程序的形式，计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是服务器。
参照图7，该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种灰度测试方法。
该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种灰度测试方法。
该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现如下步骤：
在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件；
获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；
若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果，具体实现如下步骤：
根据所述第一配置差异报告与第二配置差异报告中的差异信息生成配置预警报告；
根据所述第一数据差异报告与第二数据差异报告中的差异信息生成数据库预警报告；
判断所述配置预警报告和数据库预警报告中是否存在异常差异信息；
若所述配置预警报告和数据库预警报告中均未存在异常差异信息，则判定所述差异核对结果满足预设执行条件。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息，具体实现如下步骤：
判断所述配置预警报告和数据库预警报告中的差异信息对应差异类别是否为应用功能类型；
若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，则判定所述配置预警报告和数据库预警报告中均未存在异常差异信息。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息之后，还实现如下步骤：
若所述配置预警报告中存在异常差异信息，则输出第一提示信息以提示用户根据所述异常差异信息对新版本应用的配置文件进行核查修改；
若接收到终端发送的第一反馈信息，则判定所述差异核对结果满足预设执行条件，所述第一反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息之后，还实现如下步骤：
若所述数据库预警报告中存在异常差异信息，则输出第二提示信息以提示用户根据所述异常差异信息对生成数据库和生产代码的版本兼容问题进行核查修改；
若接收到终端发送的第二反馈信息，则判定所述差异核对结果满足预设执行条件，所述第二反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
应当理解，在本申请实施例中，处理器720可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图7中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程步骤。
该计算机可读存储介质可以是磁碟、光盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的灰度测试装置和方法，可以通过其它的方式实现。例如，以上所描述的灰度测试装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种灰度测试方法，其特征在于，包括：
在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件；
获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；
若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
2.根据权利要求1所述的灰度测试方法，其特征在于，所述对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果，包括：
根据所述第一配置差异报告与第二配置差异报告中的差异信息生成配置预警报告；
根据所述第一数据差异报告与第二数据差异报告中的差异信息生成数据库预警报告；
判断所述配置预警报告和数据库预警报告中是否存在异常差异信息；
若所述配置预警报告和数据库预警报告中均未存在异常差异信息，则判定所述差异核对结果满足预设执行条件。
3.根据权利要求2所述的灰度测试方法，其特征在于，所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息，包括：
判断所述配置预警报告和数据库预警报告中的差异信息对应差异类别是否为应用功能类型；
若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，则判定所述配置预警报告和数据库预警报告中均未存在异常差异信息。
4.根据权利要求2所述的灰度测试方法，其特征在于，所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息之后，包括：
若所述配置预警报告中存在异常差异信息，则输出第一提示信息以提示用户根据所述异常差异信息对新版本应用的配置文件进行核查修改；
若接收到终端发送的第一反馈信息，则判定所述差异核对结果满足预设执行条件，所述第一反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
5.根据权利要求2所述的灰度测试方法，其特征在于，所述判断所述配置预警报告和数据库预警报告中是否存在异常差异信息之后，包括：
若所述数据库预警报告中存在异常差异信息，则输出第二提示信息以提示用户根据所述异常差异信息对生成数据库和生产代码的版本兼容问题进行核查修改；
若接收到终端发送的第二反馈信息，则判定所述差异核对结果满足预设执行条件，所述第二反馈信息为所述终端在异常差异信息修改通过后生成的反馈确认信息。
6.一种灰度测试装置，其特征在于，包括：
获取备份单元，用于在新版本应用的生产代码部署前，获取并备份旧版本应用在生产环境下对应的配置文件和生产数据库的数据表文件以生成备份配置文件和备份生产文件；
第一生成单元，用于获取所述新版本应用对应的配置文件，将所述配置文件与所述备份配置文件进行比对以生成第一配置差异报告；
第二生成单元，用于获取所述新版本应用在测试环境下对应的测试数据库的数据表文件，并与所述生产数据库的数据表文件进行比对以生成第一数据差异报告；
获取比对单元，用于在所述新版本应用的生产代码部署后，获取所述新版本应用在生产环境下对应的配置文件和生产数据库的数据表文件，并分别与所述备份配置文件和备份生产文件进行比对以生成第二配置差异报告和第二数据差异报告；
核对生成单元，用于对所述第一配置差异报告与第二配置差异报告中的差异信息以及所述第一数据差异报告与第二数据差异报告中的差异信息作差异核对处理以得到差异核对结果；
测试执行单元，用于若所述差异核对结果满足预设执行条件，执行灰度测试以完成对新版应用发布测试。
7.根据权利要求6所述的灰度测试装置，其特征在于，所述核对生成单元，包括：
第一报告生成单元，用于根据所述第一配置差异报告与第二配置差异报告中的差异信息生成配置预警报告；
第二报告生成单元，用于根据所述第一数据差异报告与第二数据差异报告中的差异信息生成数据库预警报告；
异常信息判断单元，用于判断所述配置预警报告和数据库预警报告中是否存在异常差异信息；
执行条件判定单元，用于若所述配置预警报告和数据库预警报告中均未存在异常差异信息，则判定所述差异核对结果满足预设执行条件。
8.根据权利要求7所述的灰度测试装置，其特征在于，所述异常信息判断单元，包括：
类型判断子单元，用于判断所述配置预警报告和数据库预警报告中的差异信息对应差异类别是否为应用功能类型；
异常判定子单元，用于若所述配置预警报告和数据库预警报告中的差异信息对应差异类别均非应用功能类型，则判定所述配置预警报告和数据库预警报告中均未存在异常差异信息。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1至5任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811527585.7A CN109815111A (zh) | 2018-12-13 | 2018-12-13 | 灰度测试方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811527585.7A CN109815111A (zh) | 2018-12-13 | 2018-12-13 | 灰度测试方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815111A true CN109815111A (zh) | 2019-05-28 |
Family
ID=66602927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811527585.7A Pending CN109815111A (zh) | 2018-12-13 | 2018-12-13 | 灰度测试方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815111A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851351A (zh) * | 2019-10-12 | 2020-02-28 | 深圳壹账通智能科技有限公司 | 部署环境测试方法、装置、计算机设备及存储介质 |
| CN111324377A (zh) * | 2020-03-11 | 2020-06-23 | 上海东普信息科技有限公司 | 应用灰度发布方法、系统、设备及存储介质 |
| CN111338832A (zh) * | 2020-02-17 | 2020-06-26 | 中国农业银行股份有限公司 | 一种数据处理方法及装置 |
| CN112015645A (zh) * | 2020-08-27 | 2020-12-01 | 云账户技术(天津)有限公司 | web系统的功能测试方法、装置和电子设备 |
| CN112015647A (zh) * | 2020-08-27 | 2020-12-01 | 深圳壹账通智能科技有限公司 | 配置项监控方法、装置、计算机设备和存储介质 |
| CN112445542A (zh) * | 2020-11-25 | 2021-03-05 | 平安普惠企业管理有限公司 | 系统环境配置的比对方法、装置、设备及存储介质 |
| CN112560028A (zh) * | 2020-12-24 | 2021-03-26 | 深圳昂楷科技有限公司 | 一种对关键文件防护的方法、装置和服务器 |
| CN112612694A (zh) * | 2020-12-17 | 2021-04-06 | 广州橙行智动汽车科技有限公司 | 数据检测方法、装置以及电子设备 |
| CN112698883A (zh) * | 2020-12-29 | 2021-04-23 | 平安普惠企业管理有限公司 | 一种配置数据处理方法、装置、终端和存储介质 |
| CN112965910A (zh) * | 2021-03-19 | 2021-06-15 | 携程旅游信息技术（上海）有限公司 | 自动化回归测试方法、装置、电子设备、存储介质 |
| CN113127003A (zh) * | 2021-04-26 | 2021-07-16 | 平安普惠企业管理有限公司 | 代码异常告警方法、装置、设备及存储介质 |
| CN113312257A (zh) * | 2021-05-24 | 2021-08-27 | 深圳市中科明望通信软件有限公司 | 版本识别方法、装置、存储介质及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10293683A (ja) * | 1997-04-17 | 1998-11-04 | Toshiba Corp | プログラムの比較解析装置、プログラムの比較解析方法、及びプログラムの比較解析プログラムを記録した機械読み取り可能な記録媒体 |
| US20050028143A1 (en) * | 2003-07-31 | 2005-02-03 | International Business Machines Corporation | Automated semantic-based updates to modified code base |
| CN104932973A (zh) * | 2014-03-21 | 2015-09-23 | 腾讯科技（深圳）有限公司 | 一种版本兼容测试方法和装置 |
| CN108874644A (zh) * | 2018-06-06 | 2018-11-23 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
-
2018
- 2018-12-13 CN CN201811527585.7A patent/CN109815111A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10293683A (ja) * | 1997-04-17 | 1998-11-04 | Toshiba Corp | プログラムの比較解析装置、プログラムの比較解析方法、及びプログラムの比較解析プログラムを記録した機械読み取り可能な記録媒体 |
| US20050028143A1 (en) * | 2003-07-31 | 2005-02-03 | International Business Machines Corporation | Automated semantic-based updates to modified code base |
| CN104932973A (zh) * | 2014-03-21 | 2015-09-23 | 腾讯科技（深圳）有限公司 | 一种版本兼容测试方法和装置 |
| CN108874644A (zh) * | 2018-06-06 | 2018-11-23 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 宋秦;翟正军;: "嵌入式模块自动测试系统软件设计若干问题的研究", 测控技术, no. 04 * |
| 生拥宏;刘川意;鞠大鹏;汪东升;: "差量存储的集中式文件级连续数据保护方法", 计算机科学与探索, no. 04 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851351A (zh) * | 2019-10-12 | 2020-02-28 | 深圳壹账通智能科技有限公司 | 部署环境测试方法、装置、计算机设备及存储介质 |
| CN111338832A (zh) * | 2020-02-17 | 2020-06-26 | 中国农业银行股份有限公司 | 一种数据处理方法及装置 |
| CN111324377B (zh) * | 2020-03-11 | 2023-03-24 | 上海东普信息科技有限公司 | 应用灰度发布方法、系统、设备及存储介质 |
| CN111324377A (zh) * | 2020-03-11 | 2020-06-23 | 上海东普信息科技有限公司 | 应用灰度发布方法、系统、设备及存储介质 |
| CN112015645A (zh) * | 2020-08-27 | 2020-12-01 | 云账户技术(天津)有限公司 | web系统的功能测试方法、装置和电子设备 |
| CN112015647A (zh) * | 2020-08-27 | 2020-12-01 | 深圳壹账通智能科技有限公司 | 配置项监控方法、装置、计算机设备和存储介质 |
| CN112445542A (zh) * | 2020-11-25 | 2021-03-05 | 平安普惠企业管理有限公司 | 系统环境配置的比对方法、装置、设备及存储介质 |
| CN112612694A (zh) * | 2020-12-17 | 2021-04-06 | 广州橙行智动汽车科技有限公司 | 数据检测方法、装置以及电子设备 |
| CN112560028A (zh) * | 2020-12-24 | 2021-03-26 | 深圳昂楷科技有限公司 | 一种对关键文件防护的方法、装置和服务器 |
| CN112698883A (zh) * | 2020-12-29 | 2021-04-23 | 平安普惠企业管理有限公司 | 一种配置数据处理方法、装置、终端和存储介质 |
| CN112965910A (zh) * | 2021-03-19 | 2021-06-15 | 携程旅游信息技术（上海）有限公司 | 自动化回归测试方法、装置、电子设备、存储介质 |
| CN113127003A (zh) * | 2021-04-26 | 2021-07-16 | 平安普惠企业管理有限公司 | 代码异常告警方法、装置、设备及存储介质 |
| CN113312257A (zh) * | 2021-05-24 | 2021-08-27 | 深圳市中科明望通信软件有限公司 | 版本识别方法、装置、存储介质及计算机设备 |
| CN113312257B (zh) * | 2021-05-24 | 2023-09-22 | 深圳市中科明望通信软件有限公司 | 版本识别方法、装置、存储介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815111A (zh) | 灰度测试方法、装置、计算机设备及存储介质 | |
| US9049105B1 (en) | Systems and methods for tracking and managing event records associated with network incidents | |
| CN104246767B (zh) | 用于云同步系统的遥测系统 | |
| CN108388514A (zh) | 接口自动化测试方法、装置、设备及计算机可读存储介质 | |
| US8660833B2 (en) | Method, computer program product and apparatus for providing an interactive network simulator | |
| CN110688285A (zh) | 业务系统异常归类处理的方法、装置、计算机设备及存储介质 | |
| CN110083526A (zh) | 应用程序测试方法、装置、计算机装置及存储介质 | |
| CN108470004A (zh) | 测试脚本生成方法、测试方法、装置、设备及存储介质 | |
| CN110221948A (zh) | 测试脚本生成方法、装置、计算机装置及存储介质 | |
| CN110471842A (zh) | 一种测试方法、装置及计算机可读存储介质 | |
| US20160070555A1 (en) | Automated tenant upgrades for multi-tenant services | |
| CN112162761A (zh) | 自动化部署项目至公有云容器化平台的方法、系统及设备 | |
| US10313192B2 (en) | Automated creation of test tenants for data center technical issue detection | |
| CN108229980B (zh) | 一种问题反馈的方法、装置及存储介质 | |
| CN109388420A (zh) | 应用升级测试方法、装置、计算机设备及存储介质 | |
| CN109614271A (zh) | 多个集群数据一致性的控制方法、装置、设备及存储介质 | |
| US9787534B1 (en) | System, method, and computer program for generating event tests associated with a testing project | |
| CN115276844B (zh) | 通信模组的测试方法、装置、存储介质及电子设备 | |
| CN110362294A (zh) | 开发任务执行方法、装置、电子设备及存储介质 | |
| CN105653433B (zh) | 一种应用程序的追踪方法及装置 | |
| CN114637685A (zh) | 银行系统中应用程序的性能测试方法、装置、设备和介质 | |
| CN105224324B (zh) | 一种信息显示方法及电子设备 | |
| CN113821443A (zh) | 应用程序的功能检测方法、装置、设备及存储介质 | |
| CN115437903A (zh) | 接口测试方法、装置、设备、存储介质及程序 | |
| CN104298522B (zh) | 一种信息处理方法及第一电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240621 |