CN109828904A - 系统验证方法、装置、电子设备及存储介质 - Google Patents
系统验证方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109828904A CN109828904A CN201811537221.7A CN201811537221A CN109828904A CN 109828904 A CN109828904 A CN 109828904A CN 201811537221 A CN201811537221 A CN 201811537221A CN 109828904 A CN109828904 A CN 109828904A
- Authority
- CN
- China
- Prior art keywords
- test case
- test
- data
- environment
- output result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012360 testing method Methods 0.000 claims abstract description 303
- 238000007689 inspection Methods 0.000 claims abstract description 60
- 230000003466 anti-cipated effect Effects 0.000 claims abstract description 52
- 238000012790 confirmation Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000013095 identification testing Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000013522 software testing Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 244000022782 cocaer Species 0.000 description 1
- 235000008957 cocaer Nutrition 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
一种系统验证方法，包括：接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；根据所述测试环境执行所述测试用例并输出预期输出结果；比对所述预期输出结果与所述输出检查结果是否一致；及当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。本发明还提供一种系统验证装置、电子设备及存储介质。通过本发明可以通过数据检查的方法来验证系统准确性。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种系统验证方法、装置、电子设备及存储介质。
背景技术
现有的银行系统后台业务的集中处理、在线业务的需求不断增加以及版本更新的速度越来越快，因此其交互的界面日益增多，后台系统的开发规模也随之不断加大，其复杂度更是几何倍数增长。对于银行系统等涉及资金数据等影响用户切身利益数据的系统，在测试过程中对于程序运行后的数据检查至关重要，在大型项目多系统中，相关交易操作对各系统数据一致性及正确性的人力检查会过于依赖人的不确定性因素。
发明内容
鉴于以上内容，有必要提出一种系统验证方法、装置、电子设备及存储介质，可以通过数据检查的方法来验证系统准确性。
本发明的第一方面提供一种系统验证方法，所述方法包括：
接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；
配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；
根据所述测试环境执行所述测试用例并输出预期输出结果；
比对所述预期输出结果与所述输出检查结果是否一致；及
当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。
优选地，通过属性赋值方式和插件赋值方式配置所述测试环境。
优选地，所述通过插件赋值方式配置测试环境的方法包括：
以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；
通过所述状态位识别测试环境的配置文件，给所述测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
优选地，所述通过属性赋值方式配置测试环境的方法包括：
根据环境标识对测试用例中的状态位进行赋值，其中，环境标识对应测试用例运行的真实环境；
通过赋值的状态位识别测试环境的配置文件，给所述测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
优选地，采用测试用例复用技术或采用全局配置的方式在不同场景支持相同配置复用。
优选地，所述采用测试用例复用技术在不同场景支持相同配置复用的方法包括：
建立测试用例复用库，所述测试用例复用库用于存储测试用例；
根据测试用例适用的行业领域，对所述测试用例进行划分存储，并添加行业领域标记；
利用分词技术在所述测试用例复用库中查询测试用例，并确认是否查找到满足要求的测试用例；
当查找到满足要求的测试用例时，提取测试用例，并判断提取的测试用例是否需要改进；
当所述提取的测试用例需要改进时，改进所述提取的测试用例，并对改进后的测试用例进行审查，并确认审查是否通过；若确认审查未通过，则继续进行改进；
将审查通过后的测试用例加入所述测试用例复用库；
当未查找到满足要求的测试用例时，重新设计测试用例，并对重新设计后的测试用例进行审查，之后将审查通过后的测试用例加入所述测试用例复用库；
当所述提取的测试用例无需改进时，记录测试用例的复用次数。
优选地，所述方法还包括：
定时执行所述测试用例对所述系统中的特定数据进行检查。
本发明的第二方面提供一种系统验证装置，所述装置包括：
数据输入模块，用于接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；
配置模块，用于配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；
执行模块，用于根据所述测试环境执行所述测试用例并输出预期输出结果；及
比对模块，用于比对所述预期输出结果与所述输出检查结果是否一致，当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述系统验证方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述系统验证方法。
本发明所述的系统验证方法、装置、电子设备及存储介质，本发明通过配置测试环境和执行测试用例，检查测试输入数据的输出结果的准确性来验证系统的准确性。从而提高根据测试用例执行数据检查的可操作性，并保证系统的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的系统验证方法的流程图。
图2是本发明实施例二提供的系统验证装置的功能模块图。
图3是本发明实施例三提供的电子设备的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例的系统验证方法应用在电子设备中。所述对于需要进数据检查的电子设备，可以直接在电子设备上集成本发明的方法所提供的数据检查功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供系统验证功能的接口，电子设备或其他设备通过提供的接口即可实现系统验证功能。
实施例一
图1是本发明实施例一提供的系统验证方法的流程图。根据不同的需求，所述流程图中的执行顺序可以改变，某些步骤可以省略。
步骤S01，接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果。
现有技术中，所述测试用例一般包括测试输入数据和预期输出结果。在本方案中，为了验证系统的准确性，所述测试用例还包括输出检查结果，所述输出检查结果为根据测试输入数据执行后的输出结果。例如，当甲发送100元微信红包至乙，所述预期输出结果包括：甲的账户减少100元，乙的账户增加100元；所述输出检查结果包括：确认甲的账户减少100元，和确认乙的账户增加100元。
在本实施方式中，所述系统可以是银行系统、网上购物系统(如淘宝、京东)等。
步骤S02，配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境。
在本实施方式中，可以提供脚本录入入口来配置所述基本信息，从而可以接收外部输入的测试用例执行中各个环节基本信息参数。
具体地，通过配置相应的测试环境使所述测试环境与真实环境一致，从而准确地获取测试结果。所述测试环境是指测试运行其上的软件和硬件环境的描述，以及任何其他与被测软件交互的软件，包括驱动。测试环境是指为了完成软件测试工作所必需的计算机硬件、软件、网络设备、历史数据的总称。稳定和可控的测试环境，可以使测试人员花费较少的时间就完成测试用例的执行，也无需为测试用例、测试过程的维护花费额外的时间。
优选地，配置测试环境的方式包括属性赋值方式和插件赋值方式。
在本实施方式中，通过插件赋值方式配置测试环境的方法包括：
a1)以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；
b1)通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
在本实施方式中，通过属性赋值方式配置测试环境的方法包括：
a2)根据环境标识对测试用例中的状态位进行赋值，其中，环境标识对应测试用例运行的真实环境；
具体地，以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。
b2)通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
所述数据库配置文件包括系统模块、数据表等信息。例如，银行系统中的贷款业务模块中每日交易数据表或存款业务模块中每日交易数据表。
优选地，所述基本信息还包括查询方式。
在本实施方式中，所述系统验证方法还采用测试用例复用技术实现在不同场景支持相同配置复用，或采用全局配置的方式实现在不同场景支持相同配置复用。
具体地，测试用例复用是指测试工程师在执行一项新的测试工作时，通过直接调用或修改现有的、合适的测试用例，并将其应用在测试执行中的过程。
在本实施方式中，采用测试用例复用技术在不同场景支持相同配置复用的方法包括：
a)建立测试用例复用库，所述测试用例复用库用于存储测试用例。在所述测试用例复用库中使用统一的规范数据格式对测试用例进行管理。
b)根据测试用例适用的行业领域，对所述测试用例进行划分存储，并添加行业领域标记。由于相同行业领域的系统其测试用例的通用性更高，可复用性也更高，因此，需要对所述测试用例进行行业领域的划分。
c)利用分词技术在所述测试用例复用库中查询测试用例，并确认是否查找到满足要求的测试用例。若是，进入步骤d)；若否，进入步骤g)。通常对测试用例的查询结果是不确定的，查询结果往往是一个相似的测试用例集合。
具体地，接收到用户的查询输入，将所述查询输入于分词词库进行匹配，对所述查询输入进行分词，然后根据被测系统的行业领域，查询对应领域的测试用例数据，并且根据排序算法对查询结果进行排序。
d)提取测试用例，并判断提取的测试用例是否需要改进，若需要改进，进入步骤e)；若不需要改进，进入步骤h)。在本实施方式中，测试人员需要根据被测系统需求分析、设计说明等文档或系统代码梳理出被测系统的测试需求，通过确认查询结果中的测试用例是否满足所述测试需求，来判断提取的测试用例是否需要改进。若所述查询结果中的测试用例满足所述测试需求，则不需要改进；若所述查询结果中的测试用例不满足所述测试需求，则需要改进。
e)当所述提取的测试用例需要改进时，改进所述提取的测试用例，并对改进后的测试用例进行审查，并确认审查是否通过。若是，进入步骤f)；若否，返回步骤e)，继续进行改进。
具体地，需要对改进后的测试用例进行有效性审查。所述有效性是指测试用例必须是针对她的测试目的而设计，并且经审核后必须是正确、完整、适用于被测对象且是可执行的。
f)将审查通过后的测试用例加入所述测试用例复用库；
g)重新设计测试用例，并对重新设计后的测试用例进行审查，之后流程返回步骤f)；
h)当所述提取的测试用例无需改进时，记录测试用例的复用次数。
步骤S03，根据所述测试环境执行所述测试用例并输出预期输出结果。
步骤S04，比对所述预期输出结果与所述输出检查结果是否一致。
现有技术中，所述测试用例一般包括测试输入数据和预期输出结果。当执行所述测试用例时，可以根据所述测试输入数据得到预期输出结果。在本方案中，所述测试用例还包括输出检查结果，在执行完所述测试用例时，通过验证所述输出检查结果来验证所述系统的准确性。
具体地，当所述预期输出结果与所述输出检查结果一致时，确认所述预期输出结果正确，即系统验证通过；
当所述输出检查结果与所述预期输出结果是不一致时，确认所述预期输出结果不正确，即系统验证未通过。
优选地，所述系统验证方法可以对输出的预期输出结果进行单个检查，还可以对所述预期输出结果进行批量检查。具体地，通过批量执行逻辑维护批量检查脚本可针对性的对批量数据进行检查，批量检查主要针对同样交易场景的情况，通过配置或导入所需检查项为目的进行批量检查。例如，所述数据检查模块对单次交易的数据进行单个检查，还可以对某一天的所有交易的数据进行批量检查。
优选地，所述系统验证方法还包括，定时执行所述测试用例对系统中的特定数据进行检查的步骤。
具体地，通过在所述测试用例中录入针对系统中的特定数据(如关键数据)的判断脚本，设定定时任务对所述特定数据检查。所述特定数据可以是银行系统中的存款数据。
一般情况下，银行系统每日会对当日的交易数据进行综合核对检查，所述定时模块可以设定自动设定所述交易数据的时间，如每天的18:00。
优选地，还可以设定需要进行检查的系统中某个模块的交易数据，例如，银行系统的存款业务模块。
优选地，还可以设定需要进行检查的系统中某个模块的在某时间段内的交易数据，例如，银行系统的存款业务模块在每天08:00至12:00时间段内的交易数据。
综上所述，本发明提供的系统验证方法，包括接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；根据所述测试环境执行所述测试用例并输出预期输出结果；比对所述预期输出结果与所述输出检查结果是否一致；及当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。从而提高对测试用例执行数据检查的可操作性，通过数据检查的方式来验证系统的准确性，同样可以通过集成多系统统一数据校验、批量验证及定时检查机制提高数据检查的覆盖率及自动化。
以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
下面结合第2至3图，分别对实现上述系统验证方法的电子设备的功能模块及硬件结构进行介绍。
实施例二
图2为本发明系统验证装置较佳实施例中的功能模块图。
在一些实施例中，所述系统验证装置20运行于电子设备中。所述系统验证装置20可以包括多个由程序代码段所组成的功能模块。所述系统验证装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行(详见图1及其相关描述)系统验证功能。
本实施例中，所述系统验证装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：数据输入模块201、配置模块202、执行模块203及比对模块204。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述数据输入模块201用于接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果。
现有技术中，所述测试用例一般包括测试输入数据和预期输出结果。在本方案中，为了验证系统的准确性，所述测试用例还包括输出检查结果，所述输出检查结果为根据测试输入数据执行后的输出结果。例如，当甲发送100元微信红包至乙，所述预期输出结果包括：甲的账户减少100元，乙的账户增加100元；所述输出检查结果包括：确认甲的账户减少100元，和确认乙的账户增加100元。
在本实施方式中，所述系统可以是银行系统、网上购物系统(如淘宝、京东)等。
所述配置模块202用于配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境。
在本实施方式中，可以提供脚本录入入口来配置所述基本信息，从而可以接收外部输入的测试用例执行中各个环节基本信息参数。
具体地，通过配置相应的测试环境使所述测试环境与真实环境一致，从而准确地获取测试结果。所述测试环境是指测试运行其上的软件和硬件环境的描述，以及任何其他与被测软件交互的软件，包括驱动。测试环境是指为了完成软件测试工作所必需的计算机硬件、软件、网络设备、历史数据的总称。稳定和可控的测试环境，可以使测试人员花费较少的时间就完成测试用例的执行，也无需为测试用例、测试过程的维护花费额外的时间。
优选地，配置测试环境的方式包括属性赋值方式和插件赋值方式。
在本实施方式中，通过插件赋值方式配置测试环境的方法包括：
a1)以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；
b1)通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
在本实施方式中，通过属性赋值方式配置测试环境的方法包括：
a2)根据环境标识对测试用例中的状态位进行赋值，其中，环境标识对应测试用例运行的真实环境；
具体地，以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。
b2)通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
所述数据库配置文件包括系统模块、数据表等信息。例如，银行系统中的贷款业务模块中每日交易数据表或存款业务模块中每日交易数据表。
优选地，所述基本信息还包括查询方式。
在本实施方式中，所述系统验证方法还采用测试用例复用技术实现在不同场景支持相同配置复用，或采用全局配置的方式实现在不同场景支持相同配置复用。
具体地，测试用例复用是指测试工程师在执行一项新的测试工作时，通过直接调用或修改现有的、合适的测试用例，并将其应用在测试执行中的过程。
在本实施方式中，采用测试用例复用技术实现在不同场景支持相同配置复用的方法包括：
a)建立测试用例复用库，所述测试用例复用库用于存储测试用例。在所述测试用例复用库中使用统一的规范数据格式对测试用例进行管理。
b)根据测试用例适用的行业领域，对所述测试用例进行划分存储，并添加行业领域标记。由于相同行业领域的系统其测试用例的通用性更高，可复用性也更高，因此，需要对所述测试用例进行行业领域的划分。
c)利用分词技术在所述测试用例复用库中查询测试用例，并确认是否查找到满足要求的测试用例。若是，进入步骤d)；若否，进入步骤g)。通常对测试用例的查询结果是不确定的，查询结果往往是一个相似的测试用例集合。
具体地，接收到用户的查询输入，将所述查询输入于分词词库进行匹配，对所述查询输入进行分词，然后根据被测系统的行业领域，查询对应领域的测试用例数据，并且根据排序算法对查询结果进行排序。
d)提取测试用例，并判断提取的测试用例是否需要改进，若需要改进，进入步骤e)；若不需要改进，进入步骤h)。在本实施方式中，测试人员需要根据被测系统需求分析、设计说明等文档或系统代码梳理出被测系统的测试需求，通过确认查询结果中的测试用例是否满足所述测试需求，来判断提取的测试用例是否需要改进。若所述查询结果中的测试用例满足所述测试需求，则不需要改进；若所述查询结果中的测试用例不满足所述测试需求，则需要改进。
e)当所述提取的测试用例需要改进时，改进所述提取的测试用例，并对改进后的测试用例进行审查，并确认审查是否通过。若是，进入步骤f)；若否，返回步骤e)，继续进行改进。
具体地，需要对改进后的测试用例进行有效性审查。所述有效性是指测试用例必须是针对她的测试目的而设计，并且经审核后必须是正确、完整、适用于被测对象且是可执行的。
f)将审查通过后的测试用例加入所述测试用例复用库；
g)重新设计测试用例，并对重新设计后的测试用例进行审查，之后流程返回步骤f)；
h)当所述提取的测试用例无需改进时，记录测试用例的复用次数。
所述执行模块203用于根据所述测试环境执行所述测试用例并输出预期输出结果。
所述比对模块204用于比对所述预期输出结果与所述输出检查结果是否一致。
现有技术中，所述测试用例一般包括测试输入数据和预期输出结果。当执行所述测试用例时，可以根据所述测试输入数据得到预期输出结果。在本方案中，所述测试用例还包括输出检查结果，在执行完所述测试用例时，通过验证所述预期输出结果来验证所述系统的准确性。
具体地，当所述预期输出结果与所述输出检查结果一致时，确认所述预期输出结果正确，即系统验证通过；
当所述输出检查结果与所述预期输出结果是不一致时，确认所述预期输出结果不正确，即系统验证未通过。
优选地，所述系统验证装置20可以对预期输出结果进行单个检查，还可以对所述预期输出结果进行批量检查。具体地，通过批量执行逻辑维护批量检查脚本可针对性的对批量数据进行检查，批量检查主要针对同样交易场景的情况，通过配置或导入所需检查项为目的进行批量检查。例如，所述数据检查模块对单次交易的数据进行单个检查，还可以对某一天的所有交易的数据进行批量检查。
优选地，所述系统验证装置20还可以定时执行所述测试用例对系统中的特定数据进行检查。
具体地，通过在所述测试用例中录入针对系统中的特定数据(如关键数据)的判断脚本，设定定时任务对所述特定数据检查。所述特定数据可以是银行系统中的存款数据。
一般情况下，银行系统每日会对当日的交易数据进行综合核对检查，所述定时模块可以设定自动设定所述交易数据的时间，如每天的18:00。
优选地，还可以设定需要进行检查的系统中某个模块的交易数据，例如，银行系统的存款业务模块。
优选地，还可以设定需要进行检查的系统中某个模块的在某时间段内的交易数据，例如，银行系统的存款业务模块在每天08:00至12:00时间段内的交易数据。
综上所述，本发明所述的系统验证装置20，包括数据输入模块201、配置模块202、执行模块203及比对模块204。所述数据输入模块201用于接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；所述配置模块202用于配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；所述执行模块203用于根据所述测试环境执行所述测试用例并输出预期输出结果；及所述比对模块204用于比对所述预期输出结果与所述输出检查结果是否一致，当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。本发明从而提高对测试用例执行数据检查的可操作性，通过数据检查的方式来验证系统的准确性，同样可以通过集成多系统统一数据校验、批量验证及定时检查机制提高数据检查的覆盖率及自动化。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，双屏设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
图3为本发明实施例三提供的电子设备的示意图。
所述电子设备3包括：存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33、至少一条通讯总线34及数据库35。
所述至少一个处理器32执行所述计算机程序33时实现上述系统验证方法实施例中的步骤。
示例性的，所述计算机程序33可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述至少一个处理器32执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序33在所述电子设备3中的执行过程。
所述电子设备3可以是手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)等安装有应用程序的设备。本领域技术人员可以理解，所述示意图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备、总线等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器32可以是微处理器或者所述处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块(数据输入模块201、配置模块202、执行模块203及比对模块204)是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到系统验证的目的。
所述数据库(Database)35是按照数据结构来组织、存储和管理数据的建立在所述电子设备3上的仓库。数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。在本实施方式中，所述数据库35用于存储测试输入数据、预期输出结果等信息。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应所述理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神范围。
Claims (10)
1.一种系统验证方法，其特征在于，所述方法包括：
接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；
配置执行所述测试用例所需的测试环境；
根据所述测试环境执行所述测试用例并输出预期输出结果；
比对所述预期输出结果与所述输出检查结果是否一致；及
当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。
2.如权利要求1所述的系统验证方法，其特征在于，通过属性赋值方式和插件赋值方式配置所述测试环境。
3.如权利要求2所述的系统验证方法，其特征在于，所述通过插件赋值方式配置测试环境的方法包括：
以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；
通过所述状态位识别测试环境的配置文件，给所述测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
4.如权利要求2所述的系统验证方法，其特征在于，所述通过属性赋值方式配置测试环境的方法包括：
根据环境标识对测试用例中的状态位进行赋值，其中，环境标识对应测试用例运行的真实环境；
通过赋值的状态位识别测试环境的配置文件，给所述测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。
5.如权利要求2所述的系统验证方法，其特征在于，采用测试用例复用技术或采用全局配置的方式在不同场景支持相同配置复用。
6.如权利要求5所述的系统验证方法，其特征在于，所述采用测试用例复用技术在不同场景支持相同配置复用的方法包括：
建立测试用例复用库，所述测试用例复用库用于存储测试用例；
根据测试用例适用的行业领域，对所述测试用例进行划分存储，并添加行业领域标记；
利用分词技术在所述测试用例复用库中查询测试用例，并确认是否查找到满足要求的测试用例；
当查找到满足要求的测试用例时，提取测试用例，并判断提取的测试用例是否需要改进；
当所述提取的测试用例需要改进时，改进所述提取的测试用例，并对改进后的测试用例进行审查，并确认审查是否通过；若确认审查未通过，则继续进行改进；
将审查通过后的测试用例加入所述测试用例复用库；
当未查找到满足要求的测试用例时，重新设计测试用例，并对重新设计后的测试用例进行审查，之后将审查通过后的测试用例加入所述测试用例复用库；
当所述提取的测试用例无需改进时，记录测试用例的复用次数。
7.如权利要求1所述的系统验证方法，其特征在于，所述方法还包括：
定时执行所述测试用例对所述系统中的特定数据进行检查。
8.一种系统验证装置，其特征在于，所述装置包括：
数据输入模块，用于接收外部输入的测试用例，其中，所述测试用例包括测试输入数据、预期输出结果和输出检查结果；
配置模块，用于配置执行所述测试用例所需的基本信息，其中，所述基本信息包括测试环境；
执行模块，用于根据所述测试环境执行所述测试用例并输出预期输出结果；及
比对模块，用于比对所述预期输出结果与所述输出检查结果是否一致，当所述预期输出结果与所述输出检查结果一致时，确认系统验证通过。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的系统验证方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的系统验证方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537221.7A CN109828904A (zh) | 2018-12-14 | 2018-12-14 | 系统验证方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537221.7A CN109828904A (zh) | 2018-12-14 | 2018-12-14 | 系统验证方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828904A true CN109828904A (zh) | 2019-05-31 |
Family
ID=66858887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811537221.7A Pending CN109828904A (zh) | 2018-12-14 | 2018-12-14 | 系统验证方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828904A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851351A (zh) * | 2019-10-12 | 2020-02-28 | 深圳壹账通智能科技有限公司 | 部署环境测试方法、装置、计算机设备及存储介质 |
| CN111369359A (zh) * | 2020-02-10 | 2020-07-03 | 中科驭数（北京）科技有限公司 | 证券交易风险控制硬件的测试方法及装置 |
| CN111401955A (zh) * | 2020-03-16 | 2020-07-10 | 畅捷通信息技术股份有限公司 | 价格金额算法的验证系统、方法、装置和存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101377759A (zh) * | 2008-08-26 | 2009-03-04 | 中国工商银行股份有限公司 | 自动化界面测试系统 |
| CN102122265A (zh) * | 2011-03-03 | 2011-07-13 | 中国工商银行股份有限公司 | 一种计算机软件测试结果的验证方法及系统 |
| CN102650966A (zh) * | 2011-02-24 | 2012-08-29 | 王轶辰 | 一种面向复用的嵌入式软件测试方法及其测试系统 |
| CN103577907A (zh) * | 2012-07-24 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种持续集成测试方法和系统 |
| CN103902458A (zh) * | 2014-04-18 | 2014-07-02 | 浪潮电子信息产业股份有限公司 | 一种通用的存储软件测试设计方法 |
| CN103902439A (zh) * | 2012-12-25 | 2014-07-02 | 北大方正集团有限公司 | 一种测试用例的管理方法、装置及系统 |
| CN106021093A (zh) * | 2016-05-05 | 2016-10-12 | 北京思特奇信息技术股份有限公司 | 一种测试用例复用的方法及系统 |
| CN106549800A (zh) * | 2016-10-31 | 2017-03-29 | 北京奇鱼时代科技有限公司 | 用于在网络系统中批量校验数据接口的方法和装置 |
| CN106951364A (zh) * | 2017-02-08 | 2017-07-14 | 深圳国泰安教育技术股份有限公司 | 测试方法及装置 |
| CN107451064A (zh) * | 2017-08-16 | 2017-12-08 | 北京车和家信息技术有限责任公司 | 自动测试方法、装置、计算机设备和可读存储介质 |
| CN107608902A (zh) * | 2017-10-23 | 2018-01-19 | 中国联合网络通信集团有限公司 | 程序接口测试方法及装置 |
| CN107678951A (zh) * | 2017-09-21 | 2018-02-09 | 平安科技（深圳）有限公司 | 测试用例自动化管理方法、装置、设备及存储介质 |
| CN107832230A (zh) * | 2017-12-04 | 2018-03-23 | 中国工商银行股份有限公司 | 基于数据调优的测试方法、设备以及系统 |
| CN108388507A (zh) * | 2018-01-24 | 2018-08-10 | 深圳市买买提信息科技有限公司 | 批量脚本测试方法及装置 |
| CN108614770A (zh) * | 2018-04-09 | 2018-10-02 | 中国工商银行股份有限公司 | 自动化测试断言方法、装置、存储介质及设备 |
| CN108874665A (zh) * | 2018-05-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 一种测试结果校验方法、装置、设备和介质 |
| CN108984410A (zh) * | 2018-07-18 | 2018-12-11 | 郑州云海信息技术有限公司 | 一种高复用的测试用例设计方法 |
-
2018
- 2018-12-14 CN CN201811537221.7A patent/CN109828904A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101377759A (zh) * | 2008-08-26 | 2009-03-04 | 中国工商银行股份有限公司 | 自动化界面测试系统 |
| CN102650966A (zh) * | 2011-02-24 | 2012-08-29 | 王轶辰 | 一种面向复用的嵌入式软件测试方法及其测试系统 |
| CN102122265A (zh) * | 2011-03-03 | 2011-07-13 | 中国工商银行股份有限公司 | 一种计算机软件测试结果的验证方法及系统 |
| CN103577907A (zh) * | 2012-07-24 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种持续集成测试方法和系统 |
| CN103902439A (zh) * | 2012-12-25 | 2014-07-02 | 北大方正集团有限公司 | 一种测试用例的管理方法、装置及系统 |
| CN103902458A (zh) * | 2014-04-18 | 2014-07-02 | 浪潮电子信息产业股份有限公司 | 一种通用的存储软件测试设计方法 |
| CN106021093A (zh) * | 2016-05-05 | 2016-10-12 | 北京思特奇信息技术股份有限公司 | 一种测试用例复用的方法及系统 |
| CN106549800A (zh) * | 2016-10-31 | 2017-03-29 | 北京奇鱼时代科技有限公司 | 用于在网络系统中批量校验数据接口的方法和装置 |
| CN106951364A (zh) * | 2017-02-08 | 2017-07-14 | 深圳国泰安教育技术股份有限公司 | 测试方法及装置 |
| CN107451064A (zh) * | 2017-08-16 | 2017-12-08 | 北京车和家信息技术有限责任公司 | 自动测试方法、装置、计算机设备和可读存储介质 |
| CN107678951A (zh) * | 2017-09-21 | 2018-02-09 | 平安科技（深圳）有限公司 | 测试用例自动化管理方法、装置、设备及存储介质 |
| CN107608902A (zh) * | 2017-10-23 | 2018-01-19 | 中国联合网络通信集团有限公司 | 程序接口测试方法及装置 |
| CN107832230A (zh) * | 2017-12-04 | 2018-03-23 | 中国工商银行股份有限公司 | 基于数据调优的测试方法、设备以及系统 |
| CN108388507A (zh) * | 2018-01-24 | 2018-08-10 | 深圳市买买提信息科技有限公司 | 批量脚本测试方法及装置 |
| CN108614770A (zh) * | 2018-04-09 | 2018-10-02 | 中国工商银行股份有限公司 | 自动化测试断言方法、装置、存储介质及设备 |
| CN108874665A (zh) * | 2018-05-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 一种测试结果校验方法、装置、设备和介质 |
| CN108984410A (zh) * | 2018-07-18 | 2018-12-11 | 郑州云海信息技术有限公司 | 一种高复用的测试用例设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马海云: "软件质量保证与软件测试技术", 北京：国防工业出版社, pages: 156 - 157 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851351A (zh) * | 2019-10-12 | 2020-02-28 | 深圳壹账通智能科技有限公司 | 部署环境测试方法、装置、计算机设备及存储介质 |
| CN111369359A (zh) * | 2020-02-10 | 2020-07-03 | 中科驭数（北京）科技有限公司 | 证券交易风险控制硬件的测试方法及装置 |
| CN111401955A (zh) * | 2020-03-16 | 2020-07-10 | 畅捷通信息技术股份有限公司 | 价格金额算法的验证系统、方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107395353A (zh) | 一种区块链共识方法及装置 | |
| CN109359939A (zh) | 业务数据校验方法、装置、计算机设备和存储介质 | |
| CN109828904A (zh) | 系统验证方法、装置、电子设备及存储介质 | |
| CN106021093A (zh) | 一种测试用例复用的方法及系统 | |
| US20020022987A1 (en) | Common database system for sales and marketing process | |
| CN108428104A (zh) | 薪资计算方法、应用服务器及计算机可读存储介质 | |
| CN110427375B (zh) | 字段类别的识别方法及装置 | |
| CN109408067A (zh) | 一种基于单体应用的数据管理方法和服务器 | |
| CN109828906A (zh) | Ui自动化测试方法、装置、电子设备及存储介质 | |
| CN109615290A (zh) | 用于获得送达地址的方法、装置、系统及介质 | |
| CN111444090B (zh) | 区块链中的合约测试方法、装置、电子设备及存储介质 | |
| CN112232733A (zh) | 一种物料引入管控方法、系统、终端及存储介质 | |
| CN109002389A (zh) | 页面自动化测试的方法和装置 | |
| CN109903055A (zh) | 商品管理方法、装置、计算机装置及存储介质 | |
| CN113986924A (zh) | 智能数据填报方法、装置、设备及存储介质 | |
| CN112750043A (zh) | 业务数据的推送方法、装置和服务器 | |
| CN112085611A (zh) | 数据异步核验方法、装置、电子设备及存储介质 | |
| Niemelä et al. | Practical evaluation of software product family architectures | |
| CN116797345A (zh) | 任务处理方法、装置、计算机设备及存储介质 | |
| CN114706787A (zh) | 业务测试方法、业务测试装置、设备及存储介质 | |
| CN115577389A (zh) | 一种基于区块链系统的治理方法及系统 | |
| CN109600250A (zh) | 业务系统故障通知方法、装置、电子装置及存储介质 | |
| CN111309722A (zh) | 一种数据处理方法和装置 | |
| CN114841797A (zh) | 基于Drools规则引擎确定业务处理规则的方法及装置 | |
| CN103562896A (zh) | 用于最小化软件应用之间的通信和集成复杂性的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190531 |