CN111382069A - 一种数据流测试方法及系统 - Google Patents
一种数据流测试方法及系统 Download PDFInfo
- Publication number
- CN111382069A CN111382069A CN202010136310.1A CN202010136310A CN111382069A CN 111382069 A CN111382069 A CN 111382069A CN 202010136310 A CN202010136310 A CN 202010136310A CN 111382069 A CN111382069 A CN 111382069A
- Authority
- CN
- China
- Prior art keywords
- data
- test
- default rule
- real
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供的一种数据流测试方法及系统，该方法包括：根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；查找与所述测试需求对应的数据逻辑模型；利用所述测试数据以及所述数据逻辑模型运算得到预期结果，获取与所述测试需求相对应的实时实际结果；比较所述预期结果与实时实际结果是否相同，得到比较结果，本发明提供的数据流测试方法，按照具体的需求进行数据结构的定义，并生成测试数据，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。
Description
技术领域
本发明实施例涉及大数据技术领域，具体涉及一种数据流测试方法及系统。
背景技术
现有大数据流测试方案：通过在模拟个别数据上报，在数据展现的BI报表中手动验证数据处理及数据计算是否正确；用数据对齐的方式在数据报表的各个出口验证数据是否一致；自定义SQL，分段验证数据处理逻辑是否正确。BI是商务智能，BI报表也就是将企业中现有数据进行整合并提供出的报表。
现有大数据流测试方案的缺陷：
1.由于数据场景服务，目前方案无法保证数据多样性，保证测试覆盖度；
2.由于涉及的数据量巨大，无法准确的找到测试数据的口径；
3.由于数据场景复杂，通常只能覆盖测试覆盖的正用例，很难构造异常场景；
4.目前方案只支持手动验证，导致回归测试成本极高，或者不可能实现。
因此，如何提供一种数据流的测试方案，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径，是本领域技术人员亟待解决的技术问题。
发明内容
为此，本发明实施例提供一种数据流测试方法及系统，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供一种数据流测试方法，包括：
根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
查找与所述测试需求对应的数据逻辑模型；
利用所述测试数据以及所述数据逻辑模型运算得到预期结果
获取与所述测试需求相对应的实时实际结果；
比较所述预期结果与实时实际结果是否相同，得到比较结果。
优选地，所述按照所述数据模型结构生成测试数据，包括：
利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
优选地，所述按照所述数据模型结构生成测试数据，包括：
利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json文件，每个字段默认值为null，则默认规则生成，否则会读取自定义规则的值。
优选地，所述测试数据生成以命令行的方式执行，指定某一原始数据文件，或指向某一文件夹，读取文件夹下所有原始数据；同时支持手动立即触发和定时任务模式；
测试数据生成数量以如下两种方式配置：每个原始数据文件中有count参数，即生成一组值完全一样的数据；在命令行执行时指定，即生成一组原始数据规则一致的数据，两个count参数乘积的结果作为数据生成数量；
测试数据生成后自动发送给产品上报服务，同时发送给ElasticSearch进行存储。
优选地，所述测试数据，还包括：公共数据、配置数据；
所述公共数据、配置数据通过爬虫工具从流量项目服务端接口中爬取应用通道信息，app信息，埋点信息，并存入ElasticSearch；
所述爬虫工具爬取数据以异步方式进行，将爬取的数据存储在本地ElasticSearch，以避免对线上环境的额外压力，也提高了测试执行效率。
第二方面，本发明提供一种数据流测试系统，包括：
测试数据生成模块，用于根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
数据逻辑查找模块，用于查找与所述测试需求对应的数据逻辑模型；
预期结果运算模块，用于利用所述测试数据以及所述数据逻辑模型运算得到预期结果
实时结果获取模块，用于获取与所述测试需求相对应的实时实际结果；
结果比较模块，用于比较所述预期结果与实时实际结果是否相同，得到比较结果。
优选地，所述测试数据生成模块，包括：
默认规则单元，用于利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
优选地，所述测试数据生成模块，包括：
自定义生成单元，用于利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json文件，每个字段默认值为null，则默认规则生成，否则会读取自定义规则的值。
第三方面，本发明实施例提供一种数据流测试设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如第一方面任一种所述数据流测试方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一种所述数据流测试方法的步骤。
本发明实施例提供一种数据流测试方法，包括：根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；查找与所述测试需求对应的数据逻辑模型；利用所述测试数据以及所述数据逻辑模型运算得到预期结果，获取与所述测试需求相对应的实时实际结果；比较所述预期结果与实时实际结果是否相同，得到比较结果，本发明提供的数据流测试方法，按照具体的需求进行数据结构的定义，并生成测试数据，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。
本发明实施例提供的一种数据流测试方法及系统都具有上述的有益效果，在此不再一一赘述。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种数据流测试方法的流程图；
图2为本发明实施例提供的一种数据流测试系统的组成结构示意图；
图3为本发明一种具体实施方式提供的数据流测试设备的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的一种数据流测试方法的流程图。
在本发明一种具体实施方式中，本发明实施例提供一种数据流测试方法，包括：
步骤S11：根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
步骤S12：查找与所述测试需求对应的数据逻辑模型；
步骤S13：利用所述测试数据以及所述数据逻辑模型运算得到预期结果；
步骤S14：获取与所述测试需求相对应的实时实际结果；
步骤S15：比较所述预期结果与实时实际结果是否相同，得到比较结果。
具体地，本发明的框架定义了基础操作，如ElasticSearch的CURD，HiveSQLhttp接口的各种请求等；ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。
测试模块部分，需要实现每个产品需求逻辑，结合被存储的测试数据，通过自定义表识准确选取数据口径，自动生成预期结果；同时通过HiveSQL接口拿到实际结果。
测试用例部分，根据业务逻辑，设计测试点和验证点。
对于每个数据流转节点的验证，都是通过原始上报数据生成预期结果，不依赖上游流转节点。
每种Hive SQLjob信息会存入ElasticSearch，较长时间间隔后请求job执行结果接口，更新ES中对应的状态字段。避免用回调轮询的方式高并发请求，减少对线上环境的影响。
每次提交Hive SQLjob前会根据SQL语句+有效时间+job owner判断是否可以查询历史记录，减少对线上环境的影响。
对于新需求，可以各种根据ES中存储的测试数据进行手动测试，也可以手动执行编写好的测试脚本。
对于回归测试，使用pipeline+定时任务的方式执行，配置事件工作流，配置定时任务时间。
优选地，所述按照所述数据模型结构生成测试数据，包括：
利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id(Identity document)和code(代码)类型的值，通过对uuid(通用唯一识别码，UniversallyUnique Identifier)二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app(APPLICATION，应用软件)中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
优选地，所述按照所述数据模型结构生成测试数据，包括：
利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json(JavaScript Object Notation，JS对象简谱)文件，每个字段默认值为null(空)，则默认规则生成，否则会读取自定义规则的值。
优选地，所述测试数据生成以命令行的方式执行，指定某一原始数据文件，或指向某一文件夹，读取文件夹下所有原始数据；同时支持手动立即触发和定时任务模式；
测试数据生成数量以如下两种方式配置：每个原始数据文件中有count参数，即生成一组值完全一样的数据；在命令行执行时指定，即生成一组原始数据规则一致的数据，两个count(计数)参数乘积的结果作为数据生成数量；
测试数据生成后自动发送给产品上报服务，同时发送给ElasticSearch进行存储。
优选地，所述测试数据，还包括：公共数据、配置数据；
所述公共数据、配置数据通过爬虫工具从流量项目服务端接口中爬取应用通道信息，app信息，埋点信息，并存入ElasticSearch；
所述爬虫工具爬取数据以异步方式进行，将爬取的数据存储在本地ElasticSearch，以避免对线上环境的额外压力，也提高了测试执行效率。
本发明实施例提供一种数据流测试方法按照具体的需求进行数据结构的定义，并生成测试数据，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。本发明实施例通过数据生成工具实现数据多样性，解决之前测试覆盖不足的问题；通过存储自定义的上报数据，并对数据加入标记，能精准的选取测试数据口径，解决之前测试捞取数据的不确定性；通过测试框架，使流量项目数据的每个出口字段可测试可覆盖，并且不依赖产品的上游数据处理节点，使每个需求的测试相对独立；梳理了流量项目数据测试的流程，逐渐规范每个需求迭代的测试准入准出；实现了自动化测试的从0到1，也为后续的数据端线上监控，测试环境异常数据自动追踪提供了基础；对于手动测试，新需求的自动化测试，还是自动化回归测试，都降低了时间成本；对于数据测试中常见的异常数据回归和调试，提供了低成本的有效方案。
请参考图2，图2为本发明实施例提供的一种数据流测试系统的组成结构示意图。
本发明提供一种数据流测试系统200，包括：
测试数据生成模块210，用于根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
数据逻辑查找模块220，用于查找与所述测试需求对应的数据逻辑模型；
预期结果运算模块230，用于利用所述测试数据以及所述数据逻辑模型运算得到预期结果
实时结果获取模块240，用于获取与所述测试需求相对应的实时实际结果；
结果比较模块250，用于比较所述预期结果与实时实际结果是否相同，得到比较结果。
优选地，所述测试数据生成模块，包括：
默认规则单元，用于利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
优选地，所述测试数据生成模块，包括：
自定义生成单元，用于利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json文件，每个字段默认值为null，则默认规则生成，否则会读取自定义规则的值。
请参考图3，图3为本发明一种具体实施方式提供的数据流测试设备的结构示意图。
本发明实施例提供一种数据流测试设备300，包括：
存储器310，用于存储计算机程序；
处理器320，用于执行所述计算机程序时实现如上述任一种实施例所述的数据流测试方法的步骤。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种实施例所述的数据流测试方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种数据流测试方法，其特征在于，包括：
根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
查找与所述测试需求对应的数据逻辑模型；
利用所述测试数据以及所述数据逻辑模型运算得到预期结果
获取与所述测试需求相对应的实时实际结果；
比较所述预期结果与实时实际结果是否相同，得到比较结果。
2.根据权利要求1所述的数据流测试方法，其特征在于，
所述按照所述数据模型结构生成测试数据，包括：
利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
3.根据权利要求2所述的数据流测试方法，其特征在于，
所述按照所述数据模型结构生成测试数据，包括：
利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json文件，每个字段默认值为null，则默认规则生成，否则会读取自定义规则的值。
4.根据权利要求2所述的数据流测试方法，其特征在于，
所述测试数据生成以命令行的方式执行，指定某一原始数据文件，或指向某一文件夹，读取文件夹下所有原始数据；同时支持手动立即触发和定时任务模式；
测试数据生成数量以如下两种方式配置：每个原始数据文件中有count参数，即生成一组值完全一样的数据；在命令行执行时指定，即生成一组原始数据规则一致的数据，两个count参数乘积的结果作为数据生成数量；
测试数据生成后自动发送给产品上报服务，同时发送给ElasticSearch进行存储。
5.根据权利要求1至4任一项所述的数据流测试方法，其特征在于，
所述测试数据，还包括：公共数据、配置数据；
所述公共数据、配置数据通过爬虫工具从流量项目服务端接口中爬取应用通道信息，app信息，埋点信息，并存入ElasticSearch；
所述爬虫工具爬取数据以异步方式进行，将爬取的数据存储在本地ElasticSearch，以避免对线上环境的额外压力，也提高了测试执行效率。
6.一种数据流测试系统，其特征在于，包括：
测试数据生成模块，用于根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；
数据逻辑查找模块，用于查找与所述测试需求对应的数据逻辑模型；
预期结果运算模块，用于利用所述测试数据以及所述数据逻辑模型运算得到预期结果
实时结果获取模块，用于获取与所述测试需求相对应的实时实际结果；
结果比较模块，用于比较所述预期结果与实时实际结果是否相同，得到比较结果。
7.根据权利要求6所述的数据流测试系统，其特征在于，
所述测试数据生成模块，包括：
默认规则单元，用于利用默认规则生成测试数据；
当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；
当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；
当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；
当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；
当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；
当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。
8.根据权利要求6所述的数据流测试系统，其特征在于，
所述测试数据生成模块，包括：
自定义生成单元，用于利用自定义规则生成测试数据；
当使用自定义规则时，每种数据模型的每个字段都可以自行定义，以满足各种测试需求；
数据生成以原始数据驱动，即json文件，每个字段默认值为null，则默认规则生成，否则会读取自定义规则的值。
9.一种数据流测试设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述数据流测试方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据流测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136310.1A CN111382069A (zh) | 2020-03-02 | 2020-03-02 | 一种数据流测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136310.1A CN111382069A (zh) | 2020-03-02 | 2020-03-02 | 一种数据流测试方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382069A true CN111382069A (zh) | 2020-07-07 |
Family
ID=71217033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010136310.1A Pending CN111382069A (zh) | 2020-03-02 | 2020-03-02 | 一种数据流测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382069A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328450A (zh) * | 2020-11-03 | 2021-02-05 | 平安信托有限责任公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN113220725A (zh) * | 2021-04-30 | 2021-08-06 | 中国平安人寿保险股份有限公司 | 基于批计算的流计算数据测试方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164646A (ja) * | 2013-02-27 | 2014-09-08 | Hitachi Information & Telecommunication Engineering Ltd | 情報処理装置の論理検証方法及びプログラム |
| CN106201808A (zh) * | 2015-05-04 | 2016-12-07 | 北京畅游天下网络技术有限公司 | 一种服务器端的自动化接口测试方法及系统 |
| CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术（北京）有限公司 | 一种实时数据任务的验证的代理方法及装置 |
| CN106708718A (zh) * | 2015-07-22 | 2017-05-24 | 北京京东尚科信息技术有限公司 | 服务框架接口测试方法与装置 |
| CN109933514A (zh) * | 2017-12-18 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 一种数据测试方法和装置 |
| CN110674029A (zh) * | 2019-08-26 | 2020-01-10 | 平安科技（深圳）有限公司 | 自动生成测试数据方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-02 CN CN202010136310.1A patent/CN111382069A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164646A (ja) * | 2013-02-27 | 2014-09-08 | Hitachi Information & Telecommunication Engineering Ltd | 情報処理装置の論理検証方法及びプログラム |
| CN106201808A (zh) * | 2015-05-04 | 2016-12-07 | 北京畅游天下网络技术有限公司 | 一种服务器端的自动化接口测试方法及系统 |
| CN106708718A (zh) * | 2015-07-22 | 2017-05-24 | 北京京东尚科信息技术有限公司 | 服务框架接口测试方法与装置 |
| CN106201886A (zh) * | 2016-07-18 | 2016-12-07 | 合网络技术（北京）有限公司 | 一种实时数据任务的验证的代理方法及装置 |
| CN109933514A (zh) * | 2017-12-18 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 一种数据测试方法和装置 |
| CN110674029A (zh) * | 2019-08-26 | 2020-01-10 | 平安科技（深圳）有限公司 | 自动生成测试数据方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328450A (zh) * | 2020-11-03 | 2021-02-05 | 平安信托有限责任公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN113220725A (zh) * | 2021-04-30 | 2021-08-06 | 中国平安人寿保险股份有限公司 | 基于批计算的流计算数据测试方法及相关设备 |
| CN113220725B (zh) * | 2021-04-30 | 2024-04-09 | 中国平安人寿保险股份有限公司 | 基于批计算的流计算数据测试方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665171B (zh) | 自动回归测试方法及装置 | |
| US8875120B2 (en) | Methods and apparatus for providing software bug-fix notifications for networked computing systems | |
| US7827273B2 (en) | Machine cluster topology representation for automated testing | |
| CN108920139B (zh) | 一种程序生成方法、装置、系统、电子设备及存储介质 | |
| CN106293891B (zh) | 多维投资指标监督方法 | |
| CN106325826A (zh) | 检测配置文件方法及装置 | |
| CN111382069A (zh) | 一种数据流测试方法及系统 | |
| CN108959086B (zh) | 程序包测试部署方法、装置、系统、电子设备及存储介质 | |
| CN108717468A (zh) | 一种数据更新方法、装置、介质和电子设备 | |
| CN110740356A (zh) | 基于区块链的直播数据的监控方法及系统 | |
| CN107357721B (zh) | 测试系统的方法及装置 | |
| CN114185770A (zh) | 生成测试数据的方法、装置、计算机设备和存储介质 | |
| CN110147313A (zh) | 一种日志输出方法及装置 | |
| CN116225911A (zh) | 一种可观测性平台的功能测试方法及装置 | |
| US10509659B1 (en) | Input processing logic to produce outputs for downstream systems using configurations | |
| CN114416545A (zh) | 确定测试代码覆盖率的方法、装置和电子设备 | |
| CN114398283A (zh) | 用户界面的自动化测试方法、装置、电子设备及存储介质 | |
| CN114070737A (zh) | 设备的配置数据的检查方法、装置、存储介质及电子设备 | |
| CN112286792A (zh) | 一种接口测试方法、装置、设备和存储介质 | |
| CN110020348B (zh) | 圈选事件的预警方法及装置 | |
| CN113342806A (zh) | 大数据处理方法、装置、存储介质及处理器 | |
| CN117370449A (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| CN110858806B (zh) | 节点部署文件的生成方法及装置、节点部署方法及装置、电子设备 | |
| CN111078232B (zh) | 应用程序打包方法、装置、设备和介质 | |
| CN106899427B (zh) | 一种运维指令的执行方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |