CN114238143A - 应用于接口测试的es数据造数方法、系统及存储介质 - Google Patents

Abstract

本发明涉及软件测试技术领域，具体涉及一种应用于接口测试的ES数据造数方法、系统及存储介质。一种应用于接口测试的ES数据造数方法，包括以下步骤：获取目标测试接口的接口配置信息，解析接口配置信息以获取ES连接信息元素和索引名称；依据索引名称获取Mapping结构，解析Mapping结构所包含的字段信息；根据字段信息配置造数参数，生成测试数据；根据ES连接信息元素，建立ES连接，并依据测试数据的数量确定ES写入接口，将测试数据写入ES；验证写入ES的测试数据是否满足测试要求。采用本发明提供的方法，可快速按需生成测试数据，无需经过层层加工实现，可解决有效解决数据加工链路长的问题。

Description

应用于接口测试的ES数据造数方法、系统及存储介质

技术领域

本发明涉及软件测试技术领域，具体涉及一种应用于接口测试的ES数据造数方法、系统及存储介质。

背景技术

ES(Elasticsearch)常用于大数据存储，以支持大数据容量下仍能保证接口即时查询效率，故经常出现在大数据所提供的服务接口中。在测试大数据服务接口前，首先就要确认ES中是否有数据，一般来说，ES的数据来自于各个数据加工方，如风险部门专门加工风险类数据，营销部门专门加工客户标签类数据。这些数据加工方内部又涉及多层(可能超过5层，非常复杂)加工逻辑，在准备ES数据时，需要经过层层加工后再讲数据导入ES，链路长、依赖重。

发明内容

为克服上述问题或部分解决上述问题，本发明的目的在于提供一种应用于接口测试的ES数据造数方法、系统及存储介质，以解决数据加工链路长问题。

本发明通过下述技术方案实现：

第一方面，本发明实施例提供一种应用于接口测试的ES数据造数方法，包括以下步骤：S101、获取目标测试接口的接口配置信息，解析上述接口配置信息以获取ES连接信息元素和索引名称；S102、依据上述索引名称获取Mapping结构，解析上述Mapping结构所包含的字段信息；S103、根据上述字段信息配置造数参数，生成测试数据；S104、根据上述ES连接信息元素，建立ES连接，并依据上述测试数据的数量确定ES写入接口，将上述测试数据写入ES；S105、验证写入ES的测试数据是否满足测试要求。

基于第一方面，在本发明一些实施例中，上述字段信息包括字段名称、字段类型、值域和精度。

基于第一方面，在本发明一些实施例中，在上述根据上述字段信息配置造数参数之前还包括：确定造数模式，上述造数模式包括批量造数和单条模板造数。

基于第一方面，在本发明一些实施例中，若造数模式为批量造数，则在将上述测试数据写入ES前还包括：确定写入次数。

基于第一方面，在本发明一些实施例中，若造数模式为批量造数，则将上述测试数据写入ES后，还包括：验证测试数据是否已全部写入，若未全部写入，则重新生成遗漏数量的测试数据补写入ES。

基于第一方面，在本发明一些实施例中，上述验证写入ES的测试数据是否满足测试要求包括：调用ES自身的查询接口查询测试数据；对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；若不符合，则调整造数参数，重新生成测试数据写入ES；若符合，则流程结束，造数完成。

第二方面，本发明实施例提供一种应用于接口测试的ES数据造数系统，包括：获取模块：用于获取目标测试接口的接口配置信息，解析上述接口配置信息以获取ES连接信息元素和索引名称；解析模块：用于依据上述索引名称获取Mapping结构，解析上述Mapping结构所包含的字段信息；造数模块：用于根据上述字段信息配置造数参数，生成测试数据；写入模块：用于根据上述ES连接信息元素，建立ES连接，并依据上述测试数据的数量确定ES写入接口，将上述测试数据写入ES；验证模块：用于验证写入ES的测试数据是否满足测试要求。

基于第二方面，在本发明一些实施例中，上述写入模块还包括：验证单元，用于验证测试数据是否已全部写入。

基于第二方面，在本发明一些实施例中，上述验证模块包括：数据查询单元，用于调用ES自身的查询接口查询测试数据；检查单元，用于对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；执行单元，用于当检查的字段不符合测试需求时，调整造数参数，重新生成测试数据写入ES。

第三方面，一种非暂态计算机可读存储介质，其特征在于，上述非暂态计算机可读存储介质存储计算机程序，上述计算机程序使计算机执行上述一个或多个程序或方法。

本发明与现有技术相比，至少具有如下的优点和有益效果：

本发明提供的方法中，首先读取所测接口的接口配置，然后解析接口配置中的ES连接信息及索引名称，依据索引名称获取Mapping结构，解析Mapping结构获得字段类型，然后根据字段类型，生成测试数据，通过对测试数据进行微调即可完成造数，最后则依据ES连接信息建立ES连接，将生成的数据写入ES即可。此过程中可快速按需生成测试数据，无需经过层层加工实现，可解决有效解决数据加工链路长的问题。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为一种应用于接口测试的ES数据造数方法一实施例的流程示意图；

图2为一种应用于接口测试的ES数据造数系统一实施例的结构框图。

图标：1-获取模块；2-解析模块；3-造数模块；4-写入模块；401-验证单元；5-验证模块；501-数据查询单元；502-检查单元；503-执行单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

需要说明的是，在本发明的描述中，出现的术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参照图1，在本发明实施例提供一种应用于接口测试的ES数据造数方法，包括以下步骤：

S101、获取目标测试接口的接口配置信息，解析上述接口配置信息以获取ES连接信息元素和索引名称；

示例性的，ES连接信息元素则包括ip、端口、账号和密码。具体的，首先确定接口配置存储位置(如数据库表或文件)，确定接口配置存储位置后，确定连接方式，如果是表则连接数据库，如果是文件则确定文件读取方式，然后读取接口配置信息，接口配置信息通常包括访问ES的域名或ip及索引名称。如果是域名，则需完成域名到ip端口访问映射配置，如果是ip端口则可以直接访问。如customer_info_get接口中配置了关于ES的信息为：http://{es_host}/customer_info/。

另外，获取ES连接账号和密码，一般为了安全，ES账号和密码会集中配置在Apollo或其他配置中心，并可能涉及加解密。若涉及加解密，则需实现与代码相同的加解密算法，从而解析出ES账号和密码。

S102、依据上述索引名称获取Mapping结构，解析上述Mapping结构所包含的字段信息；

示例性的，字段信息包括：名称、类型、值域、精度。具体的，依据索步骤S101中获取的索引名称，通过GET命令查找索引的Mapping结构，并对Mapping结构进行解析，返回包一般是json格式结构，获得json返回包之后，需要通过json层级解析方式解析至properties层级从而获取到所有字段信息，包括字段名称和类型信息。例如，keyword、text等文本类型、int、double等数值类型、date等日期类型、ip等特殊类型。

S103、根据上述字段信息配置造数参数，生成测试数据；

示例性的，提供一个可视化模块，用于测试人员选择造数模式，本实施例中利用的Java开源工具包faker。具体的，本实施例中分为两种造数模式，包括：批量造数和单条模板造数。

如果是批量造数，进一步允许测试人员定义造数数据量，提供一个输入框，输入数值，如10000条或50000条等等。如果是单条模板造数，则数据量默认为1条。

具体的，测试人员可根据字段信息配置造数参数，自主定义字段值域(包括位数长度或者数值范围)，如果是字符串类型，则定义字符串长度，如果是数值类型，则可定义数值范围区间、精度等，然后针对每个字段对应类型、值域范围和精度，随机生成单条符合条件的数据。例如，某个字段是字符串类型，且配置的长度为10，则生成字符串长度最少为0，最大为10，在0～10的长度区间内，随机生成；如某个字段是小数float类型，且配置的数值区间为100～1000，精度为2位，则在100～1000的数值区间，随机生成小数位数为2位、1位、0位的小数。

如果配置的测试数据量是N条，生成N条随机数据，并在页面随机回显一条数据；如果N为1，则无需循环，直接将4.1生成的数据回显在可视化页面。

对于单条造数回显的随机数据，可以进行自定义编辑，针对部分字段做自定义调整，如将随机生成的手机号改为测试所需特定手机号等。

本步骤中，提供批量化造数和单条造数2种模式，能同时解决批量造数和单条基于模板的自定义造数两种场景，全面覆盖多种不同测试场景，提升测试人员造数效率；通过批量化造数模式可快速生成大量数据，用于数据多样性测试或者压力测试等场景，有效提升造数效率，解决单次造数数据量少问题；通过随机生成单条造数模板，并支持自定义编辑二次改造，可快速按需生成测试数据，无需经过层层加工实现，有效解决依赖过重问题。

S104、根据上述ES连接信息元素，建立ES连接，并依据上述测试数据的数量确定ES写入接口，将上述测试数据写入ES；

将生成及改造数据写入ES并在可视化页面回显写入结果状态。首先，确认ES写入接口。对步骤S103生成的测试数据，根据是否是批量造数，选择调用不同写入接口，单条数据则调用ES提供的单条写入接口，多条数据则调用ES提供的批量写入接口。假设10000条，由于ES设置了批量单词写入数据量阈值，则需提前设置比如设置为2000，当阈值低于造数量时，则需分批次写入ES，可用数据量x除于批量写入阈值y获得批量写入次数，比如此处的10000/2000＝5，则需分5次写入，每次写入2000条。

根据步骤S101获取的ES连接信息元素，建立ES连接，并根据上述确认的ES写入接口和写入次数，将数据写入ES。

若是批量造数且需多次写入，则将步骤S103生成的数据分批作为写入参数，然后循环调用批量写入接口。待循环结束后，验证测试数据是否已全部写入，具体的，通过总数验证是否全部写入，程序内部查询的总数条数和配置的条数相比较，若前者小于后者，则表示未全部写入，此时，则用配置条数减去已写入ES条数得到补漏条数，然后生成补漏数量的数据并写入ES。比如配置10000条造数，只往写了9000条，则补漏造数条数＝10000-90000＝1000条。若前者等于后者，则说明写入成功，在可视化页面对写入状态回显为成功。

上述补漏的操作需要对重试次数进行限定，若重试后写入条数和总条数相等，则重试结束，若重试后写入条数仍小于总条数，重试次数已经达到预设重试次数，仍未达到配置条数的数据，则停止写数，在可视化模块对写入状态回显为失败；若重试次数未达到阈值，但ES已经写入足量数据，也停止写数，在可视化模块对前端写入状态回显为成功。

具体的，上述补漏功能可由上述可视化模块提供，具体可分别设置自动补漏和人工补漏。如选择自动补漏则失败后自动重试则进一步配置重试次数，人工确认补漏则需人工手动确认补漏。

S105、验证写入ES的测试数据是否满足测试要求。

S1051、调用ES自身的查询接口查询测试数据；

根据步骤S101获取的ES连接信息元素及索引名称，建立ES连接访问对应索引数据，调ES自身提供的查询接口获取随机生成的数据。

S1052、对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；若不符合，则调整造数参数，重新生成测试数据写入ES；若符合，则流程结束，造数完成。

具体的，根据S1051查得的数据，进一步对单条数据做字段级检查，检查各个字段是否符合测试需求。例如，检查身份证号是否满足18位，账户余额是否是实际需要的精度。一般来说，除了正常数据测试，有时候为了测试异常，需要一些数据不符合实际情况，如身份证号不满足18位，账户余额超过最大值和最小值等。若产生出的数据不能全部覆盖所测案例，则可重新在界面调整字段值域和精度配置，重新生成数据。

除此之外，还可调用大数据服务接口验证ES数据返回是否正确。根据对应查询条件查询数据并返回结果，如果未查到匹配数据，则数据内容为空表示正确。若查询到相关匹配数据，则返回参数中填充了对应查询结果表示正确。

实施例2

请参照图2，在本发明些实施例提供一种应用于接口测试的ES数据造数系统，包括：获取模块1：用于获取目标测试接口的接口配置信息，解析上述接口配置信息以获取ES连接信息元素和索引名称；解析模块2：用于依据上述索引名称获取Mapping结构，解析上述Mapping结构所包含的字段信息；造数模块3：用于根据上述字段信息配置造数参数，生成测试数据；写入模块4：用于根据上述ES连接信息元素，建立ES连接，并依据上述测试数据的数量确定ES写入接口，将上述测试数据写入ES；验证模块5：用于验证写入ES的测试数据是否满足测试要求。

进一步的，写入模块4还包括验证单元401，上述验证单元401用于验证测试数据是否已全部写入；

进一步的，上述验证模块5包括：数据查询单元501，用于调用ES自身的查询接口查询测试数据；检查单元502，用于对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；执行单元503，用于当检查的字段不符合测试需求时，调整造数参数，重新生成测试数据写入ES。

本发明实施例所提供的系统可用于执行上述实施例1所描述的方法，具体方法步骤见实施例1。在此不作赘述。

实施例3

本发明实施例提供本发明实施例提供一种非暂态计算机可读存储介质，上述非暂态计算机可读存储介质存储计算机程序，上述计算机程序使计算机执行上述实施例1中的方法，例如执行：S101、获取目标测试接口的接口配置信息，解析上述接口配置信息以获取ES连接信息元素和索引名称；S102、依据上述索引名称获取Mapping结构，解析上述Mapping结构所包含的字段信息；S103、根据上述字段信息配置造数参数，生成测试数据；S104、根据上述ES连接信息元素，建立ES连接，并依据上述测试数据的数量确定ES写入接口，将上述测试数据写入ES；S105、验证写入ES的测试数据是否满足测试要求。

上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用于接口测试的ES数据造数方法，其特征在于，包括以下步骤：

获取目标测试接口的接口配置信息，解析所述接口配置信息以获取ES连接信息元素和索引名称；

依据所述索引名称获取Mapping结构，解析所述Mapping结构所包含的字段信息；

根据所述字段信息配置造数参数，生成测试数据；

根据所述ES连接信息元素，建立ES连接，并依据所述测试数据的数量确定ES写入接口，将所述测试数据写入ES；

验证写入ES的测试数据是否满足测试要求。

2.根据权利要求1所述的应用于接口测试的ES数据造数方法，其特征在于，所述字段信息包括字段名称、字段类型、值域和精度。

3.根据权利要求1所述的应用于接口测试的ES数据造数方法，其特征在于，在所述根据所述字段信息配置造数参数之前还包括：确定造数模式，所述造数模式包括批量造数和单条模板造数。

4.根据权利要求3所述的应用于接口测试的ES数据造数方法，其特征在于，若造数模式为批量造数，则在将所述测试数据写入ES前还包括：确定写入次数。

5.根据权利要求3所述的应用于接口测试的ES数据造数方法，其特征在于，若造数模式为批量造数，则将所述测试数据写入ES后，还包括：验证测试数据是否已全部写入，若未全部写入，则重新生成遗漏数量的测试数据补写入ES。

6.根据权利要求1所述的应用于接口测试的ES数据造数方法，其特征在于，所述验证写入ES的测试数据是否满足测试要求包括：

调用ES自身的查询接口查询测试数据；

对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；

若不符合，则调整造数参数，重新生成测试数据写入ES；

若符合，则流程结束，造数完成。

7.一种应用于接口测试的ES数据造数系统，其特征在于，包括：

获取模块：用于获取目标测试接口的接口配置信息，解析所述接口配置信息以获取ES连接信息元素和索引名称；

解析模块：用于依据所述索引名称获取Mapping结构，解析所述Mapping结构所包含的字段信息；

造数模块：用于根据所述字段信息配置造数参数，生成测试数据；

写入模块：用于根据所述ES连接信息元素，建立ES连接，并依据所述测试数据的数量确定ES写入接口，将所述测试数据写入ES；

验证模块：用于验证写入ES的测试数据是否满足测试要求。

8.根据权利要求7所述的应用于接口测试的ES数据造数系统，其特征在于，所述写入模块还包括：验证单元，用于验证测试数据是否已全部写入。

9.根据权利要求7所述的应用于接口测试的ES数据造数系统，其特征在于，所述验证模块包括：

数据查询单元，用于调用ES自身的查询接口查询测试数据；

检查单元，用于对查询得到的测试数据做字段级检查，检查各个字段是否符合测试需求；

执行单元，用于当检查的字段不符合测试需求时，调整造数参数，重新生成测试数据写入ES。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使计算机执行如权利要求1至6任一所述的方法。

Images