CN113821481A - 测试数据源的生成方法、装置及服务器 - Google Patents

Abstract

本发明提供了一种测试数据源的生成方法、装置及服务器，该方法包括：如果接收到待处理的数据文件，获取策略组的配置信息；其中，配置信息包括策略组中数据处理逻辑的触发比例；将数据文件输入至策略组；根据配置信息触发数据处理逻辑对数据文件进行处理，得到用于任务测试的测试数据源。本发明可以较好地模拟异常网络状态下的测试数据源，从而有效反映流计算功能在异常网络状态下的抗干扰能力。

Description

测试数据源的生成方法、装置及服务器

技术领域

本发明涉及互联网技术领域，尤其是涉及一种测试数据源的生成方法、装置及服务器。

背景技术

流计算方式可对不断变化的大规模流动数据实时地进行分析，以捕捉流动数据中的有用信息，其中，测试数据可用于测试流计算功能。目前，测试数据可通过以下两种方式获取：(1)基于本地的数据文件获取测试数据，具体实现时，通过选择本地的数据文件上传至服务器，服务器直接读取上传的数据文件，并将每一行作为一条测试数据；(2)基于流式数据源采样获取测试数据，具体实现时，服务器流式数据源中前X条数据作为测试数据。上述两种方式虽然可以对流计算的主功能进行测试的，但是无法测试异常网络情况(例如，网络抖动或数据延迟等)下流计算功能的执行情况，进而无法获知流计算功能的抗干扰能力。

发明内容

有鉴于此，本发明的目的在于提供一种测试数据源的生成方法、装置及服务器，可以较好地模拟异常网络状态下的测试数据源，从而有效反映流计算功能在异常网络状态下的抗干扰能力。

第一方面，本发明实施例提供了一种测试数据源的生成方法，所述方法应用于服务器，所述服务器存储有策略组，所述策略组包括多个数据处理逻辑，所述方法包括：如果接收到待处理的数据文件，获取所述策略组的配置信息；其中，所述配置信息包括所述策略组中所述数据处理逻辑的触发比例；将所述数据文件输入至所述策略组；根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理，得到用于任务测试的测试数据源。

在一种实施方式中，所述策略组内的各个所述数据处理逻辑采用链式连接方式；所述根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理的步骤，包括：根据所述配置信息判断是否触发第一个数据处理逻辑；如果触发所述第一个数据处理逻辑，针对所述数据文件执行所述第一个数据处理逻辑，得到所述第一个数据处理逻辑的处理结果；根据所述配置信息判断是否触发与所述第一个数据处理逻辑连接的下一数据处理逻辑；如果是，针对所述第一个数据处理逻辑的处理结果执行所述下一数据处理逻辑，并按照各个所述数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至所述策略组内其余的数据处理逻辑根据判断结果执行完毕。

在一种实施方式中，所述根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理的步骤，还包括：如果不触发所述第一个数据处理逻辑，按照各个所述数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至从所述策略组内其余的数据处理逻辑根据判断结果执行完毕。

在一种实施方式中，所述配置信息还包括逻辑选择条件；所述根据所述配置信息判断是否触发第一个数据处理逻辑的步骤，包括：如果所述策略组中的第一个数据处理逻辑符合所述逻辑选择条件，利用预设的随机数生成函数生成随机数；比对所述随机数和所述触发比例得到比对结果，并根据所述比对结果判断是否触发所述第一个数据处理逻辑。

在一种实施方式中，所述数据文件包括kafka数据文件。

在一种实施方式中，所述逻辑选择条件包括数据乱序条件、数据延迟时间条件、数据发送速率条件和数据采样比例条件中的一种或多种。

在一种实施方式中，所述方法还包括：将所述测试数据源输入至待测任务，得到所述待测任务针对所述测试数据源输出的测试结果。

第二方面，本发明实施例还提供一种测试数据源的生成装置，所述装置应用于服务器，所述服务器存储有策略组，所述策略组包括多个数据处理逻辑，所述装置包括：信息获取模块，用于如果接收到待处理的数据文件，获取所述策略组的配置信息；其中，所述配置信息包括所述策略组中所述数据处理逻辑的触发比例；输入模块，用于将所述数据文件输入至所述策略组；处理模块，用于根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理，得到用于任务测试的测试数据源。

第三方面，本发明实施例还提供一种服务器，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。

第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种测试数据源的生成方法、装置及服务器，应用于服务器，该服务器中存储有策略组(包括多个数据处理逻辑)，如果接收到待处理的数据文件，则获取策略组的配置信息(包括策略组中数据处理逻辑的触发比例)，然后将数据文件输入至策略组，进而根据配置信息触发数据处理逻辑对数据文件进行处理，得到用于任务测试的测试数据源。上述方法可以基于配置信息触发策略组中的数据处理逻辑，利用触发的数据处理逻辑对数据文件进行处理得到测试数据源，相较于现有技术中测试数据源的获取方式，本发明实施例可以较好地模拟异常网络状态下的测试数据源，基于该测试数据源可以有效测试异常网络情况下流计算的功能，进而可以有效反映流计算功能在异常网络状态下的抗干扰能力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种测试数据源的生成方法的流程示意图；

图2为本发明实施例提供的一种策略组示意图；

图3为本发明实施例提供的另一种测试数据源的生成方法的流程示意图；

图4为本发明实施例提供的一种策略组配置界面的示意图；

图5a为本发明实施例提供的另一种策略组配置界面的示意图；

图5b为本发明实施例提供的另一种策略组配置界面的示意图；

图6为本发明实施例提供的另一种测试数据源的生成方法的流程示意图；

图7为本发明实施例提供的一种测试数据源的生成装置的结构示意图；

图8为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有的测试数据源无法较好地测试测试异常网络情况下流计算功能的执行情况，基于此，本发明实施提供了一种测试数据源的生成方法、装置及服务器，可以较好地模拟异常网络状态下的测试数据源，从而有效反映流计算功能在异常网络状态下的抗干扰能力。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种测试数据源的生成方法进行详细介绍，该方法应用于服务器，服务器存储有策略组，其中，策略组包括多个数据处理逻辑，数据处理逻辑用于对输入的数据源进行采样处理、乱序处理或延迟处理等，参见图1所示的一种测试数据源的生成方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：

步骤S102，如果接收到待处理的数据文件，获取策略组的配置信息。其中，数据文件可以采用kafka数据模拟流式数据输入源，配置信息包括策略组中数据处理逻辑的触发比例，触发比例用于表征被触发的数据处理逻辑的数量占策略组中数据处理逻辑的总数量的占比，假设策略组中数据处理逻辑的总数量为100条，触发比例为50％，则将从策略组中触发50条数据处理逻辑对数据文件进行处理。在一种实施方式中，待处理的数据文件可以保存在服务器内的指定存储区域，在需要获取测试数据时即可从指定存储区域内获取数据文件；在另一种实施方式中，也可为用户提供上传通道，由用户手动选择和上传待处理的数据文件。

步骤S104，将数据文件输入至策略组。在实际应用中，策略组可以设置采样比例、数据发送速率和延迟时间等，基于上述参数对数据文件进行处理，以使处理得到的测试数据源模拟异常网络环境状态下的数据流，从而较好地对异常网络环境状态下流计算功能进行测试。

步骤S106，根据配置信息触发数据处理逻辑对数据文件进行处理，得到用于任务测试的测试数据源。在一种实施方式中，可以根据配置信息中的触发比例从策略组中选择相应数量的数据处理逻辑对数据文件依次进行处理。在另一种实施方式中，配置信息中也可包含逻辑选择条件，其中，逻辑选择条件包括数据乱序条件、数据延迟时间条件、数据发送速率条件和数据采样比例条件中的一种或多种，在具体实现时，模拟不同的异常网络环境可以选择不同的逻辑选择条件，例如，若模拟数据延迟的网络环境，则可以选择数据延时时间条件和数据发送速率和数据采样比例条件，其中，数据延时时间条件包括“最大延时ms”，数据采样比例条件包括“采样比例％”，从而结合上述触发比例从数据处理逻辑中选择满足逻辑选择条件的数据处理逻辑，进而触发选择的数据处理逻辑对数据文件进行处理，以模拟异常网络环境下的数据源。

本发明实施例提供的上述测试数据源的生成方法，基于配置信息触发策略组中的数据处理逻辑，利用触发的数据处理逻辑对数据文件进行处理得到测试数据源，相较于现有技术中测试数据源的获取方式，本发明实施例可以较好地模拟异常网络状态下的测试数据源，基于该测试数据源可以有效测试异常网络情况下流计算的功能，进而可以有效反映流计算功能在异常网络状态下的抗干扰能力。

为便于对上述策略组进行理解，本发明实施例示例性提供了一种策略组，参见图2所示的一种策略组示意图，图2中示意出了策略组包括数据处理逻辑1、数据处理逻辑2至数据处理逻辑n，数据处理逻辑可以相同或不同，策略组内的各个数据处理逻辑采用链式连接方式，其中，链式连接方式指策略组内的各个数据处理逻辑依次串连，例如，策略组内包括数据处理逻辑A、数据处理逻辑B和数据处理逻辑C，数据处理逻辑A的输出与数据处理逻辑B的输入相连，数据处理逻辑B的输出与数据处理逻辑C的输入相连。基于上述图2，本发明实施例还提供了一种根据配置信息触发数据处理逻辑对数据文件进行处理的具体实施方式，其中，数据文件可以包括kafka数据文件，具体可参见如下步骤1至步骤5：

步骤1，根据配置信息判断是否触发第一个数据处理逻辑。其中，配置信息还包括逻辑选择条件，逻辑选择条件包括数据乱序条件、数据延迟时间条件、数据发送速率条件和数据采样比例条件中的一种或多种，模拟不同的网络环境可以配置不同的逻辑选择条件。在实际应用中，可以根据待模拟的网络环境选择对应的逻辑选择条件并配置该逻辑选择条件中的具体参数(诸如，采样比例、数据发送速率和延迟时间)，以通过逻辑选择条件筛选出可模拟该网络环境下数据流的数据处理逻辑。在一种实施方式中，可参照如下步骤1.1至步骤1.2执行根据配置信息判断是否触发第一个数据处理逻辑的步骤：

步骤1.1，如果策略组中的第一个数据处理逻辑符合逻辑选择条件，利用预设的随机数生成函数生成随机数。其中，随机数生成函数可以采用Rondom函数。在一种实施方式中，如果第一个数据处理逻辑满足逻辑选择条件，则需要进一步判断是否可以触发该数据处理逻辑，本发明实施例利用Rondom函数生成随机数，并基于随机数判断是否触发数据处理逻辑，如果确定触发该数据处理逻辑，将利用该数据处理逻辑对数据文件进行处理，如果确定不触发该数据处理逻辑，将直接跳过该数据处理逻辑，并判断下一数据处理逻辑是否符合逻辑选择条件。

步骤1.2，比对随机数和触发比例得到比对结果，并根据比对结果判断是否触发第一个数据处理逻辑。其中，比对结果用于表征随机数与触发比例之间的大小关系，在实际应用中，可在随机数大于或等于触发比例时确定触发数据处理逻辑，也可在随机数小于触发比例时确定触发数据处理逻辑，具体可基于实际需求进行设置，本发明实施例对此不进行设置。本发明实施例以随机数大于或等于触发比例时确定触发数据处理逻辑为例进行说明，首先利用Rondom函数生成随机数random，比对随机数random与触发比例radio的大小关系，如果random>＝radio则触发该数据处理逻辑，如果random<radio则跳过该数据处理逻辑。

步骤2，如果触发第一个数据处理逻辑，针对数据文件执行第一个数据处理逻辑，得到第一个数据处理逻辑的处理结果。假设模拟数据延迟的网络环境，第一个数据处理逻辑满足该网络环境对应的逻辑选择条件，且基于上述随机数确定触发第一个数据处理逻辑，此时将利用第一个数据数据处理逻辑对数据文件进行处理，诸如，更改数据文件的延时时间或对数据文件进行采样，并输出处理结果。

步骤3，如果不触发第一个数据处理逻辑，按照各个数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至从策略组内其余的数据处理逻辑根据判断结果执行完毕。如果不触发第一个数据处理逻辑，则将按照链式连接的顺序继续判断下一个数据处理逻辑，若按照上述步骤1.1至步骤1.2确定触发下一个数据处理逻辑，则可将数据文件直接输入至该数据处理逻辑对其进行处理，若按照上述步骤1.1至步骤1.2确定不触发下一个数据处理逻辑，则继续判断是否触发后续的数据处理逻辑。

步骤4，根据配置信息判断是否触发与第一个数据处理逻辑连接的下一数据处理逻辑。在第一个数据处理逻辑输出处理结果后，或在第一个数据处理逻辑直接输出未处理的数据文件后，可按照链式连接的顺序继续判断下一数据处理逻辑是否满足逻辑选择条件，若该数据处理逻辑满足逻辑选择条件，将利用Rondom函数生成随机数random，并基于随机数与触发比例的比对结果判断是否触发该数据处理逻辑。

步骤5，如果是，针对第一个数据处理逻辑的处理结果执行下一数据处理逻辑，并按照各个数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至策略组内其余的数据处理逻辑根据判断结果执行完毕。如果确定触发该数据处理逻辑，则将利用该数据处理逻辑对与该数据处理逻辑连接的上一数据处理逻辑输出的处理结果进行处理。

在一种实施方式中，本发明实施例还可以将测试数据源输入至待测任务，得到待测任务针对测试数据源输出的测试结果。其中，待测任务可以为流计算任务。由于本发明实施例生成的测试数据源可以较好地模拟异常网络状态下的数据源，因此本发明实施例可以较好地测试异常网络状态下流计算功能的稳定性。在具体实现时，可将测试数据源存储至内存暂存，并在需要进行流计算测试时从内存中获取该测试数据源进行功能测试。

为便于对上述实施例提供的测试数据源的生成方法进行理解，本发明实施例提供了另一种测试数据源的生成方法，参见图3所示的另一种测试数据源的生成方法的流程示意图，该方法主要包括以下步骤S302至步骤S306：

步骤S302，获取外部数据源(也即，上述数据文件)。在一种实施方式中，可由用户配置外部数据源并存储于内存暂存，在获取外部数据时直接从内存中获取外部数据源。

步骤S304，将外部数据源输入至策略组，得到测试数据源。其中，策略组包括N个策略(也即，上述数据处理逻辑)。在实际应用中，可根据实际需求配置策略组的配置信息，参见图4所示的一种策略组配置界面的示意图，图4中示意出了可配置的信息包括“选择待测试作业版本(也即，待测任务的版本)”、“测试数据包(也即，上述数据文件)”、“对应KafkaSource”、“测试类型”和“单条发送间隔”等，其中，测试类型可以包括延迟数据测试和乱序数据测试。在具体实现时，若测试类型选择延迟数据测试，则可配置的信息将如图5a所示，参见图5a所示的另一种策略组配置界面的示意图，其中，配置信息将包括“单条发送间隔”、“最大延时”和“延时触发比例”等。若测试类型选择乱序数据测试，则可配置的信息将如图5b所示，参见图5b所示的另一种策略组配置界面的示意图，其中，配置信息将包括“单条发送间隔”和“乱序触发比例”等。

在一种实施方式中，预先对配置信息进行配置，从而从策略组中选择满足配置信息策略，进而判断是否触发已选择的策略，并通过触发的策略对外部数据源进行处理得到测试数据源。

步骤S306，将测试数据源存储至内存暂存。

对于上述步骤S304，本发明实施例针对策略组中每个策略，提供了一种是否触发该策略的实施方式，参见图6所示的另一种测试数据源的生成方法的流程示意图，该方法可包括如下步骤S602至步骤S608：

步骤S602，将指定数据输入至当前策略。其中，如果当前策略为策略组中第一个策略，则指定数据为外部数据源；如果当前策略为策略组中其余策略，则指定数据为该策略对应的前一策略输出的处理结果。

步骤S604，判断是否选择当前策略对指定数据进行处理。如果是，执行步骤S606；如果否，执行步骤S612。在一种实施方式中，可根据上述配置信息判断是否选择当前策略对指定数据进行处理。其中，如果确定不选择当前策略对指定数据进行处理，则步骤S612将输出指定数据。

步骤S606，利用Random函数生成随机数。

步骤S608，判断是否触发当前策略对数据源进行处理。如果是，执行步骤S610；如果否，执行步骤S612。其中，如果确定不触发当前策略对指定数据进行处理，则步骤S612将输出指定数据。

步骤S610，执行当前策略，以通过当前策略对数据源进行处理得到处理结果。

步骤S612，将处理结果或指定数据输入至下一策略。在具体实现时，如果确定选择当前策略对指定数据进行处理且确定触发当前策略对指定数据进行处理，则步骤S612将输出处理结果，如果确定选择当前策略对指定数据进行处理且确定不触发当前策略对指定数据进行处理，则步骤S612将输出指定数据，如果确定不选择当前策略对指定数据进行处理，则步骤S612将输出指定数据。

综上所述，本发明实施例提供的上述测试数据源的生成方法，将数据乱序、延迟时间、发送速率、采样比例等多种方案组合，通过链式连接方式组合成策略组(可简称为，链式策略组)，数据文件中的每条数据按预设比例决定是否触发当前策略，最后一个策略的输出即为需要的数据输出。通过策略链处理，模拟真实生成环境中的极端情况，从而更好的检验待测任务的抗干扰能力。

对于前述实施例提供过的上述测试数据源的生成方法，本发明实施例还提供了一种测试数据源的生成装置，该装置应用于服务器，服务器存储有策略组，策略组包括多个数据处理逻辑，参见图7所示的一种测试数据源的生成装置的结构示意图，该装置主要包括以下模块：

信息获取模块702，用于如果接收到待处理的数据文件，获取策略组的配置信息；其中，配置信息包括策略组中数据处理逻辑的触发比例。

输入模块704，用于将数据文件输入至策略组。

处理模块706，用于根据配置信息触发数据处理逻辑对数据文件进行处理，得到用于任务测试的测试数据源。

本发明实施例提供的上述测试数据源的生成装置，基于配置信息触发策略组中的数据处理逻辑，利用触发的数据处理逻辑对数据文件进行处理得到测试数据源，相较于现有技术中测试数据源的获取方式，本发明实施例可以较好地模拟异常网络状态下的测试数据源，基于该测试数据源可以有效测试异常网络情况下流计算的功能，进而可以有效反映流计算功能在异常网络状态下的抗干扰能力。

在一种实施方式中，策略组内的各个数据处理逻辑采用链式连接方式；上述处理模块706还用于：根据配置信息判断是否触发第一个数据处理逻辑；如果触发第一个数据处理逻辑，针对数据文件执行第一个数据处理逻辑，得到第一个数据处理逻辑的处理结果；根据配置信息判断是否触发与第一个数据处理逻辑连接的下一数据处理逻辑；如果是，针对第一个数据处理逻辑的处理结果执行下一数据处理逻辑，并按照各个数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至策略组内其余的数据处理逻辑根据判断结果执行完毕。

在一种实施方式中，上述处理模块706还用于：如果不触发第一个数据处理逻辑，按照各个数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至从策略组内其余的数据处理逻辑根据判断结果执行完毕。

在一种实施方式中，配置信息还包括逻辑选择条件；上述处理模块706还用于：如果策略组中的第一个数据处理逻辑符合逻辑选择条件，利用预设的随机数生成函数生成随机数；比对随机数和触发比例得到比对结果，并根据比对结果判断是否触发第一个数据处理逻辑。

在一种实施方式中，上述数据文件包括kafka数据文件。

在一种实施方式中，上述逻辑选择条件包括数据乱序条件、数据延迟时间条件、数据发送速率条件和数据采样比例条件中的一种或多种。

在一种实施方式中，上述装置还包括测试模块，用于：将测试数据源输入至待测任务，得到待测任务针对测试数据源输出的测试结果。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

该设备为一种服务器，具体的，该服务器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图8为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器80，存储器81，总线82和通信接口83，所述处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。

其中，存储器81可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线82可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器81用于存储程序，所述处理器80在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中，或者由处理器80实现。

处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种测试数据源的生成方法，其特征在于，所述方法应用于服务器，所述服务器存储有策略组，所述策略组包括多个数据处理逻辑，所述方法包括：

如果接收到待处理的数据文件，获取所述策略组的配置信息；其中，所述配置信息包括所述策略组中所述数据处理逻辑的触发比例；

将所述数据文件输入至所述策略组；

根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理，得到用于任务测试的测试数据源。

2.根据权利要求1所述的方法，其特征在于，所述策略组内的各个所述数据处理逻辑采用链式连接方式；

所述根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理的步骤，包括：

根据所述配置信息判断是否触发第一个数据处理逻辑；

如果触发所述第一个数据处理逻辑，针对所述数据文件执行所述第一个数据处理逻辑，得到所述第一个数据处理逻辑的处理结果；

根据所述配置信息判断是否触发与所述第一个数据处理逻辑连接的下一数据处理逻辑；

如果是，针对所述第一个数据处理逻辑的处理结果执行所述下一数据处理逻辑，并按照各个所述数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至所述策略组内其余的数据处理逻辑根据判断结果执行完毕。

3.根据权利要求2所述的方法，其特征在于，所述根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理的步骤，还包括：

如果不触发所述第一个数据处理逻辑，按照各个所述数据处理逻辑的连接顺序继续判断是否触发其余的数据处理逻辑，直至从所述策略组内其余的数据处理逻辑根据判断结果执行完毕。

4.根据权利要求2所述的方法，其特征在于，所述配置信息还包括逻辑选择条件；

所述根据所述配置信息判断是否触发第一个数据处理逻辑的步骤，包括：

如果所述策略组中的第一个数据处理逻辑符合所述逻辑选择条件，利用预设的随机数生成函数生成随机数；

比对所述随机数和所述触发比例得到比对结果，并根据所述比对结果判断是否触发所述第一个数据处理逻辑。

5.根据权利要求1所述的方法，其特征在于，所述数据文件包括kafka数据文件。

6.根据权利要求2所述的方法，其特征在于，所述逻辑选择条件包括数据乱序条件、数据延迟时间条件、数据发送速率条件和数据采样比例条件中的一种或多种。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述测试数据源输入至待测任务，得到所述待测任务针对所述测试数据源输出的测试结果。

8.一种测试数据源的生成装置，其特征在于，所述装置应用于服务器，所述服务器存储有策略组，所述策略组包括多个数据处理逻辑，所述装置包括：

信息获取模块，用于如果接收到待处理的数据文件，获取所述策略组的配置信息；其中，所述配置信息包括所述策略组中所述数据处理逻辑的触发比例；

输入模块，用于将所述数据文件输入至所述策略组；

处理模块，用于根据所述配置信息触发所述数据处理逻辑对所述数据文件进行处理，得到用于任务测试的测试数据源。

9.一种服务器，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机存储介质，其特征在于，用于储存为权利要求1至7任一项所述方法所用的计算机软件指令。

Images