CN111309734B

CN111309734B - 自动生成表数据的方法及系统

Info

Publication number: CN111309734B
Application number: CN202010104510.9A
Authority: CN
Inventors: 谢金欣; 郑佳尔; 秦一焜
Original assignee: 4Paradigm Beijing Technology Co Ltd
Current assignee: 4Paradigm Beijing Technology Co Ltd
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2023-12-05
Anticipated expiration: 2040-02-20
Also published as: CN111309734A

Abstract

提供了一种自动生成表数据的方法及系统。所述方法包括：获取用于限定如何生成至少一个数据表的数据的表数据生成配置项；基于获取的表数据生成配置项生成所述至少一个数据表的数据，其中，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。根据所述方法及系统，用户无需针对每个业务场景分别构建一个具体的造数方案，仅需根据具体的业务场景设置各个表数据生成配置项即可自动生成符合其需求的表数据；另一方面能够支持多表数据关联生成，即能够支持生成两两之间基于关联字段具有关联关系的数据表。

Description

自动生成表数据的方法及系统

技术领域

本发明总体说来涉及数据处理领域，更具体地讲，涉及一种自动生成表数据的方法及系统。

背景技术

机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的样例时，模型会提供相应的判断，即，预测结果。

机器学习算法应用方案设计往往依赖于数据的数据格式，不同应用场景下所使用的数据的数据格式相差很大，并且在很多应用场景，由于一些原因导致无法提前获取真实数据(例如，银行数据等敏感类信息)进行场外开发，但直接在场内开发又面临项目时间紧等问题，建模工程师在这种情况下一般会在场外进行伪数据生成(即，造数据)，并基于伪数据开发相应的机器学习算法应用方案，然后再带入场内进行改进和调优。

然而，现有的造数方法往往存在以下问题：一方面，造数方法局限于具体的业务逻辑，即，不同业务场景对数据的需求不同，业务场景切换后，需要的数据的数据格式往往大不相同，因此，需要针对每个业务场景设计各自的造数方案，重复性工作量较大；另一方面，仅支持单表数据独立生成，无法支持多表数据关联生成，而实际情况往往需要生成有关联的多表数据，例如，有关联的多表数据可用于测试如表与表之间的拼接等情况。

发明内容

本发明的示例性实施例在于提供一种自动生成表数据的方法及系统，其能够解决现有的造数方法存在的上述问题。

根据本发明的示例性实施例，提供一种自动生成表数据的方法，包括：获取用于限定如何生成至少一个数据表的数据的表数据生成配置项；基于获取的表数据生成配置项生成所述至少一个数据表的数据，其中，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。

可选地，数据集参数配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的主键配置项，其中，与每个数据表对应的数据表参数配置项包括以下项之中的至少一项：表名配置项，用于配置该数据表的名称；表主键配置项，用于将该数据表的主键指定为主键配置项所配置的主键；总条数配置项，用于配置该数据表中的数据记录的总条数；与该数据表中的每个字段对应的字段属性配置项，用于配置该字段的名称及生成该字段的字段值的方式。

可选地，与数据表中的每个字段对应的字段属性配置项包括以下项之中的至少一项：字段名配置项，用于配置该字段的名称；字段类型配置项，用于配置该字段的字段值的数据类型；字段值配置项，用于配置该字段的字段值的取值范围和/或生成函数；字段值格式配置项，用于指定该字段的字段值的格式；函数参数配置项，用于配置所述生成函数的参数值。

可选地，基于获取的表数据生成配置项生成所述至少一个数据表的数据的步骤包括：基于主键配置项生成每个主键的主键值集合，其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同；基于与每个数据表对应的数据表参数配置项和生成的主键值集合，生成每个数据表中的字段的名称及字段值。

可选地，生成每个数据表中的字段的名称及字段值的步骤包括：针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称；确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值；针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

可选地，基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值的步骤包括：当与该数据表对应的数据表参数配置项包括表主键配置项时，基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合中的全部元素直接作为该数据表的该主键字段的全部字段值；当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。

可选地，针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上的步骤包括：规划针对该数据表的计算路径，其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式；按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值，并拼接到该数据表的主键字段的名称及字段值上。

可选地，生成的主键值集合、数据表的主键字段的名称及字段值被存入分布式数据存储系统，其中，使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

可选地，字段的字段值的数据类型包括以下项之中的至少一项：日期/时间类型、整数型、浮点型、枚举型、用户自定义型、主键值集合取值型。

可选地，针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项生成该字段的字段值的步骤包括：如果与该字段对应的字段值配置项仅配置了取值范围，则从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值；如果与该字段对应的字段值配置项未配置取值范围和生成函数，则从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值；如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则使用该生成函数生成该字段的字段值；如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则从该主键的主键值集合中随机选择元素作为该字段的字段值。

可选地，所述数据集参数配置项还包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，其中，与字段对应的字段值配置项能够将该字段的字段值的取值范围指定为取值范围配置项所配置的一个预设取值范围，其中，基于获取的表数据生成配置项生成所述至少一个数据表的数据的步骤还包括：将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量。

可选地，获取用于限定如何生成至少一个数据表的数据的表数据生成配置项的步骤包括：从设置了表数据生成配置项的配置文件读取表数据生成配置项或根据用户在图形界面上执行的输入操作来获取表数据生成配置项，其中，所述配置文件被存储在本地或远程接收。

可选地，获取用于限定如何生成至少一个数据表的数据的表数据生成配置项的步骤包括：向用户提供用于设置表数据生成配置项的图形界面；根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；从生成的配置文件中读取表数据生成配置项。

根据本发明的另一示例性实施例，提供一种自动生成表数据的系统，包括：配置项获取装置，适于获取用于限定如何生成至少一个数据表的数据的表数据生成配置项；表数据生成装置，适于基于获取的表数据生成配置项生成所述至少一个数据表的数据，其中，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。

可选地，表数据生成装置包括：数据集参数配置项解析装置，适于基于主键配置项生成每个主键的主键值集合，其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同；数据表参数配置项解析装置，适于基于与每个数据表对应的数据表参数配置项和生成的主键值集合，生成每个数据表中的字段的名称及字段值。

可选地，数据表参数配置项解析装置包括：表名获取装置，适于针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称；主键字段生成装置，适于确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值；数据记录生成装置，适于针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

可选地，主键字段生成装置适于当与该数据表对应的数据表参数配置项包括表主键配置项时，基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合中的全部元素直接作为该数据表的该主键字段的全部字段值；主键字段生成装置适于当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。

可选地，数据记录生成装置包括：计算路径规划装置，适于规划针对该数据表的计算路径，其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式；数据计算装置，适于按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值，并拼接到该数据表的主键字段的名称及字段值上。

可选地，生成的主键值集合、数据表的主键字段的名称及字段值被存入分布式数据存储系统，其中，数据计算装置适于使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

可选地，如果与该字段对应的字段值配置项仅配置了取值范围，则数据记录生成装置从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值；如果与该字段对应的字段值配置项未配置取值范围和生成函数，则数据记录生成装置从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值；如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则数据记录生成装置使用该生成函数生成该字段的字段值；如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则数据记录生成装置从该主键的主键值集合中随机选择元素作为该字段的字段值。

可选地，所述数据集参数配置项还包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，其中，与字段对应的字段值配置项能够将该字段的字段值的取值范围指定为取值范围配置项所配置的一个预设取值范围，其中，数据集参数配置项解析装置还适于将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量。

可选地，配置项获取装置适于从设置了表数据生成配置项的配置文件读取表数据生成配置项或根据用户在图形界面上执行的输入操作来获取表数据生成配置项，其中，所述配置文件被存储在本地或远程接收。

可选地，配置项获取装置适于向用户提供用于设置表数据生成配置项的图形界面；根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；并从生成的配置文件中读取表数据生成配置项。

根据本发明的另一示例性实施例，提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的自动生成表数据的方法。

根据本发明的另一示例性实施例，提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的自动生成表数据的方法。

根据本发明示例性实施例的自动生成表数据的方法及系统，一方面提出了能够应用于不同业务场景的统一的表数据生成框架，从而用户无需针对每个业务场景分别构建一个具体的造数方案，仅需根据具体的业务场景设置各个表数据生成配置项即可自动生成符合其需求的表数据；另一方面能够支持多表数据关联生成，即能够支持生成两两之间基于关联字段具有关联关系的数据表。进一步地，还能够支持大规模表数据的生成。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本发明示例性实施例的自动生成表数据的方法的流程图；

图2示出根据本发明示例性实施例的设置了表数据生成配置项的配置文件的示例；

图3示出根据本发明示例性实施例的生成每个数据表中的字段的名称及字段值的方法的流程图；

图4示出根据本发明示例性实施例的自动生成表数据的系统的框图；

图5示出根据本发明示例性实施例的表数据生成装置的框图；

图6示出根据本发明示例性实施例的数据表参数配置项解析装置的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的自动生成表数据的方法的流程图。

参照图1，在步骤S10，获取用于限定如何生成至少一个数据表的数据的表数据生成配置项。

这里，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。应该理解，表数据生成配置项也可包括其他的用于限定如何生成至少一个数据表的数据的配置项，本发明对此不作限制。

作为示例，数据表中的每条数据记录可被看作关于一个事件或对象的描述，对应于一个示例或样例。在数据记录中，包括反映事件或对象在某方面的表现或性质的属性信息，即字段。例如，数据表的一行对应一条数据记录，数据表的一列对应一个字段，每条数据记录可包括多个字段的字段值。

作为示例，数据集参数配置项可包括：用于配置所述至少一个数据表的主键的名称及主键值数量的主键配置项。即，通过主键配置项可以配置好将要生成的所述至少一个数据表之中全部或部分数据表的主键的名称及主键值数量。应该理解，数据集参数配置项还可包括用于对整个数据集进行整体配置的其他配置项，本发明对此不作限制。

作为示例，与每个数据表对应的数据表参数配置项可包括以下项之中的至少一项：表名配置项，用于配置该数据表的名称；表主键配置项，用于将该数据表的主键指定为主键配置项所配置的主键(例如，指定为主键配置项所配置的某一个主键)；总条数配置项，用于配置该数据表中的数据记录的总条数；与该数据表中的每个字段对应的字段属性配置项，用于配置该字段的名称及生成该字段的字段值的方式。应该理解，与每个数据表对应的数据表参数配置项还可包括用于限定如何生成该数据表中的字段的名称及字段值的其他配置项，本发明对此不作限制。

数据表的主键为数据表的重要标识字段，且数据表的主键字段的字段值互不相同(即，主键字段的同一个字段值仅会在该数据表的一条数据记录中出现)，例如，在用户信息表中，主键为【用户id】字段；在交易流水表中，主键为【交易id】字段。

作为示例，如果与数据表对应的数据表参数配置项包括表主键配置项，则可不包括总条数配置项；如果与数据表对应的数据表参数配置项不包括表主键配置项，则需要包括总条数配置项。

作为示例，与数据表中的每个字段对应的字段属性配置项可包括以下项之中的至少一项：字段名配置项、字段类型配置项、字段值配置项、字段值格式配置项、以及函数参数配置项。

具体说来，字段名配置项用于配置该字段的名称(即，字段名)。

字段类型配置项用于配置该字段的字段值的数据类型。作为示例，字段的字段值的数据类型可包括以下项之中的至少一项：日期/时间类型、整数型、浮点型、枚举型(例如，字符串string型等)、用户自定义型、主键值集合取值型。这里，用户自定义型指示字段值是由用户自定义的生成函数所生成的，主键值集合取值型指示字段值是从主键配置项所配置的主键的主键值集合中得到的。

字段值格式配置项用于指定该字段的字段值的格式。例如，字段值格式配置项可将字段值的格式指定为特定的时间表示格式。

字段值配置项用于配置该字段的字段值的取值范围和/或生成函数。

函数参数配置项用于配置字段值配置项所配置的生成函数的参数值。

作为示例，字段值配置项所配置的取值范围可以是通过枚举方式限定的取值范围或通过表示最大最小值的方式限定的取值范围(例如，二元数组形式：[min_val，max_val])，例如，枚举型字段的字段值的取值范围可配置为通过枚举方式列出的具体取值的集合；日期/时间类型、整数型、浮点型字段的字段值的取值范围可配置为通过最大值和最小值所限定的范围。

作为示例，如果与某个字段对应的字段类型配置项将该字段的字段值的数据类型配置为用户自定义型，则与该字段对应的字段值配置项可将该字段的字段值的生成函数配置为用户自定义的字段值生成函数。根据本发明的示例性实施例，支持自定义拓展，即，用户可以根据需求自己编写字段值的生成函数，满足了用户对数据的个性化需求。

作为示例，字段值配置项可将字段的字段值的取值范围指定为主键配置项所配置的某个主键的主键值集合，这里，主键的主键值集合是基于主键配置项所配置的该主键的主键值数量所生成的。

作为示例，所述数据集参数配置项还可包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，相应地，与字段对应的字段值配置项可将该字段的字段值的取值范围指定为取值范围配置项所配置的一个预设取值范围。根据本示例，可预设固定的取值范围、可预设将生成的数据表中属于特定数据类型的字段的默认取值范围，便于统一调用。

此外，作为示例，所述数据集参数配置项还可包括：用于配置与数据类型对应的默认生成函数的生成函数配置项。

作为示例，可从设置了表数据生成配置项的配置文件读取表数据生成配置项，其中，所述配置文件被存储在本地或远程接收。

作为另一示例，可向用户提供用于设置表数据生成配置项的图形界面；并根据用户在所述图形界面上执行的输入操作来获取表数据生成配置项。

作为另一示例，可向用户提供用于设置表数据生成配置项的图形界面；并根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；然后再从生成的配置文件中读取表数据生成配置项。

作为示例，上述配置文件可采用yaml规范。

作为示例，可将所有表数据生成配置项集中在一个配置文件中，即，可将对数据集、数据表、字段的所有配置信息包括在一个配置文件中，从而可减少用户在设置配置文件时切换配置文件的操作，方便用户在同一个配置文件中对将生成的所有数据表进行配置。

在步骤S20，基于获取的表数据生成配置项生成所述至少一个数据表的数据。

根据本发明的示例性实施例提供了统一的可复用的表数据生成框架及具体逻辑，其实现了对具体业务场景的表数据生成方案进行有效的“抽象”和“表示”，从而用户既无需针对每个业务场景下需要模拟的每个数据表设计一个造数方案，又可以通过表数据生成配置项来实现个性化配置，仅需用户根据需要设置各个表数据生成配置项的具体内容，即可自动向用户提供符合其需求的数据表。

作为示例，可通过先解析数据集参数配置项，再解析数据表参数配置项，来生成所述至少一个数据表的数据。

作为示例，可基于主键配置项生成每个主键的主键值集合，并基于与每个数据表对应的数据表参数配置项和生成的主键值集合，生成每个数据表中的字段的名称及字段值。其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同。

在很多机器学习算法应用场景中，所使用的实际数据通常包括两两之间基于关联字段相互关联的多个数据表，这里，关联字段即含义相同且分属于两个关联的数据表的字段，两个关联的数据表能够基于关联字段拼接为一个数据表。因此，在生成用于模拟实际数据的数据表时，也需要按照实际数据的形式，生成能够基于关联字段相互关联的多个数据表。

作为示例，当生成两个具有关联关系的数据表的关联字段时，可基于与这两个数据表对应的数据表参数配置项从已生成的相应的同一主键值集合中得到元素来作为这两个数据表的关联字段的字段值。即，可提前基于主键配置项生成好主键值集合，以便在后续生成数据表中的关联字段的字段值时可以被反复取用，保证关联字段的字段值的一致性，例如，同一个主键值集合可被一个数据表中的主键字段使用，并可同时被另一个数据表中的非主键字段使用，例如，可基于主键配置项提前生成主键值集合【用户id】，在生成用户信息表中的主键字段<用户id>和交易流水表中的非主键字段<用户id>时，均从主键值集合【用户id】取用元素作为字段值，从而用户信息表和交易流水表通过关联字段<用户id>关联起来，可基于关联字段<用户id>拼接在一起。根据该示例性实施例，能够关联地生成两个数据表的字段(即，关联字段)的字段值，从而能够生成基于关联字段数据记录可对应起来的多个数据表。

相对于现有技术仅能生成彼此独立的数据表，根据本发明的示例性实施例提出了一种能够生成基于关联字段相互关联的数据表的方法，通过预先生成一系列的主键值集合，使得需要彼此关联的两个数据表可从同一主键值集合来得到各自关联字段的字段值，由于生成的关联字段的字段值均来自于同一主键值集合中的值，因此，生成的彼此关联的数据表能够基于关联字段拼接在一起，从而实现最大限度地模拟实际应用场景所使用的数据，对实际应用场景可能涉及到的机器学习流程(例如，拼接步骤)均进行测试。

图2示出根据本发明示例性实施例的设置了表数据生成配置项的配置文件的示例。

假设需要为银行客流量预测项目生成一份测试数据，针对该业务场景，需要生成一个包含银行属性信息的银行信息表bank_info，和一个包含随时间推移有不同客流量记录的银行客户到访量表daily_business，且需要这两个数据表能够按照银行标识进行拼接，以便进行特征工程测试，具体要求如下：

银行信息表：主键为branch_id，包含字段branch_id(主键字段)、info_data(非主键字段)、以及city_id(非主键字段)；

银行客户到访量表：包含字段branch_id(非主键字段)、stat_type(非主键字段)、stat_date(非主键字段)、traffic(非主键字段)、以及amt_otc(非主键字段)；

设置10个银行；客户到访量介于0到3000之间；银行类型为特定的三种类型；bank_info表(以下简称为b表)中的属性字段能够通过branch_id字段拼接到daily_business表(以下简称d表)上；b表中的info_data字段和d表中的stat_date字段在同一时间跨度内，时间跨度为19年6月到10月底。

基于上述要求可生成如图2所示的设置了表数据生成配置项的配置文件。该配置文件中关于数据集总配置dataset_conf的部分可包括以下数据集参数配置项：主键配置项(primary_keys：branch_id：10，即，名为branch_id的主键的不同主键值的数量(即，主键值数量)共为10个)，这里配置的主键可提供给两种表(例如，信息表和关联表)使用，例如，配置的主键branch_id可在生成b表(即，信息表)和d表(即，关联表)中的branch_id字段时被调用，b表以branch_id为主键，相应地，branch_id的主键值数量为b表的行数，其他表需要通过主键匹配的方法才能从b表中查询信息，d表中只有branch_id字段，而没有b表中的其他信息字段，所以d表需要通过其自身的branch_id字段和b表中的branch_id主键才能实现与b表中的内容相关联以查询相应的信息，而关联表的行数与branch_id的主键值数量没有联系。此外，所述数据集参数配置项还可包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，例如，取值范围配置项可将枚举型字段的默认取值范围配置为['type1'，'type2'，'type3']、浮点型字段的默认取值范围配置为[0，3000]。

该配置文件中关于数据表配置table_conf的部分可包括以下数据表参数配置项：表名配置项(例如，配置为bank_info的表名配置项)、表主键配置项(例如，将b表的主键指定为主键配置项所配置的主键branch_id的表主键配置项)、字段名配置项、字段类型配置项。此外，还可包括其他可选的数据表参数配置项：总条数配置项(例如，将d表的数据记录的总条数配置为200的总条数配置项)、字段值配置项、字段值格式配置项(例如，指定了日期/时间的格式的字段值格式配置项)等。

关于解析数据集参数配置项，基于图2所示的配置文件，作为示例，可基于主键配置项【primary_keys】获取所有主键的主键名及其主键值数量，并基于此生成各个主键的主键值集合，即，会生成一个元素数量为10的非重复的主键值集合(例如，10个互不相同的id所构成的集合)，并命名为branch_id，并且，之后生成branch_id字段的字段值时都会从该主键值集合中得到。

此外，作为示例，还可将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量，从而在后续生成数据表中的相应字段的字段值时可以被取用，且便于使生成的不同数据表中的相同类型的字段具有一定的相关性，例如，使所有生成的时间字段的字段值属于同一时间跨度或所有数值字段的取值在一定区间内。例如，可基于取值范围配置项【amt_range：&amt_r[0，3000]】配置变量amt_r，数据表参数配置项中的字段值配置项可以*amt_r的形式将[0，3000]这一数组传入，作为之后生成字段值的依据。

关于解析数据表参数配置项，以下将结合图3进行详细说明。

图3示出根据本发明示例性实施例的生成每个数据表中的字段的名称及字段值的方法的流程图。

参照图3，在步骤S201，针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称。

例如，基于图2所示的配置文件，可获取第一层级中所有表名配置项所配置的表名，即，【bank_info】和【daily_business】这两个表名。

在步骤S202，确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值。

作为示例，当与该数据表对应的数据表参数配置项包括表主键配置项时(即，该数据表的主键为主键配置项已配置的主键)，可基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合(即，已生成的名称为该主键字段的名称的主键值集合)中的全部元素直接作为该数据表的该主键字段的全部字段值。应该理解，将对应的主键值集合中的全部元素直接作为该数据表的主键字段的全部字段值，即，该数据表的主键字段的全部字段值与该主键值集合中的全部元素一一对应，相应地，也确定了该数据表的数据记录的总条数，即，该主键值集合中的全部元素的数量。

作为示例，当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。应该理解，当数据表的主键不为主键配置项已配置的主键，则需要额外自动生成该数据表的主键，除了生成该主键的主键字段的字段值之外，还可自动生成该主键字段的名称。作为示例，当与该数据表对应的数据表参数配置项不包括表主键配置项时，在最终生成的该数据表中可不显示主键字段，即，生成的主键字段仅用于在生成该数据表的过程中将生成的其他字段拼接到其上形成数据记录，并不会出现在最终生成的数据表中。

例如，基于图2所示的配置文件，在与b表对应的数据表参数配置项中含有表主键配置项primary_key：branch_id，这意味着b表是branch_id的信息表，其他表可通过branch_id这一主键查询b表从而获取b表中的信息拼接到其上。因此，b表的主键字段branch_id的字段值与主键值集合branch_id中的元素一一对应，b表的数据记录的条数与主键值数量对齐，为10条，且每个主键值对应于b表的一行数据记录。例如，在与d表对应的数据表参数配置项中不含【primary_key】配置项，因此，d表的数据记录的数量不需要与主键配置项已配置的某个主键的主键值数量相同。相应地，在与d表对应的数据表参数配置项中会包含length配置项，配置为200，这意味着d表的数据记录的总数量被配置为200，因此，可随机生成200个唯一id(即，200个互不相同的id)作为d表的主键字段的字段值，从而之后生成的d表的字段信息都可以拼接在这200个id上，以形成d表的数据记录。

现在每个表的主键都已经生成了，这相当于一个森林中的每棵树的树干都已经生成，接下来需要把剩余字段拼接到主键上，相当于为森林中的每棵树增加枝叶。

在步骤S203，针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

具体说来，将数据表中的除主键之外的每个字段的名称拼接到该数据表的主键字段的名称之后，并将数据表中的除主键之外的每个字段的字段值拼接到该数据表的主键字段的每个字段值之后，以形成该数据表的数据记录。

作为示例，如果与该字段对应的字段值配置项仅配置了取值范围，则可从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值。应该理解，随机选择的数据的数量与该数据表的主键字段的字段值数量相同。

作为示例，如果与该字段对应的字段值配置项未配置取值范围和生成函数，则可从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值。

作为示例，如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则可使用该生成函数生成该字段的字段值。

作为示例，如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则可从该主键的主键值集合中随机选择元素作为该字段的字段值。应该理解，即使针对主键字段和非主键字段配置的字段属性配置项相同，生成主键字段的字段值和非主键字段的字段值的方式也不同，针对主键字段，是将对应的主键值集合中的全部元素直接作为其字段值，且为一一对应关系；针对非主键字段，是从对应的主键值集合中随机选择元素作为其字段值，两两数据记录中的该非主键字段的字段值可能相同，也可能不同。

例如，基于图2所示的配置文件，如果与字段对应的字段类型配置项所配置的字段类型dtype＝string，且字段值配置项配置了取值范围range，则可在range对应的集合中随机选择数据作为该字段的字段值，否则可根据当前字段的字段名自动生成字段值。例如，stat_type字段被配置为string类型，同时range被配置为*types，这意味着stat_type这个字段是字符串类型，其字段值可在types这个集合['type1'，'type2'，'type3']中随机抽取；如果range没有被配置，可根据stat_type这个字段名随机生成字段值，例如，stat_type1、stat_type2等。

如果dtype＝datetime，且字段值配置项配置了range，则可在range给出的通过最小最大值所限定的范围内随机选择数据作为该字段的字段值，并可根据字段值格式配置项所指定的格式对随机选择的数据进行格式化，例如，指定的时间格式可为编程语言通用的规范格式。例如，stat_date字段被配置为datetime类型、range被配置为*date_r，且日期格式指定为'YYYY-MM-DD'，这意味着stat_date字段的取值将在变量date_r规定的范围内[2019-06-01，2019-10-31]生成，且生成的日期需要被格式化为'YYYY-MM-DD'后作为该字段的字段值。

如果dtype＝int，且存在配置的range，则可在range给出的通过最小最大值所限定的范围内随机生成数据作为该字段的字段值，否则可直接在默认的与int对应的范围0-100中生成。

如果dtype＝double，且存在配置的range，则可在range给出的通过最小最大值所限定的范围内随机生成数据作为该字段的字段值，否则可直接在默认的与double对应的范围0-1000.0中生成。例如，如果amt_otc字段被配置为double类型，且range被配置为*amt_r，则amt_otc字段的取值将在amt_r变量的范围内[0，3000]生成。

如果dtype＝id_set(主键值集合取值型)，则可从主键值集合中随机选择元素作为字段值。例如，如果非主键字段branch_id被配置为id_set类型，且range被配置为branch_id，则非主键字段branch_id的取值将在主键值集合【branch_id】中随机抽取，且在这个抽取过程中允许重复抽取同一个元素。由于关联表的branch_id和信息表的branch_id的字段值来自于同一个主键值集合，因此数据创建完成后，这两个数据表是可以通过branch_id字段关联匹配的。

如果dtype＝customize(用户自定义型)，则允许使用用户自定义的字段值生成方式，例如，当dtype选择customize时，字段值配置项必需配置为自定义生成函数名，且可通过函数参数配置项配置该自定义函数的参数。例如，traffic字段被配置为customize类型，且字段值配置项被配置为函数名traffic_gen、函数参数配置项被配置为cars，即指示着本字段将会调用用户自定义的函数traffic_gen来生成字段值，同时cars字符串会作为一个参数传入该自定义函数中。

此外，作为示例，可先规划针对该数据表的计算路径；然后按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上。其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式。

即，可使用惰性计算方式，所谓惰性计算即先记录计算的具体流程，在需要使用到数据的时刻再开始作业。由于已经记录下了所有的具体计算流程，因此可以合理地处理中间数据。例如，可在需要生成的数据大于机器总内存时，自动将中间数据储存在硬盘上，并根据运算需求依次调用；最后生成的数据可存储在分布式数据存储平台HDFS上，HDFS可由N台带硬盘存储的机器构成，从而能够使造数数据量不但突破了单台机器内存上限，而且突破了单台机器硬盘大小，可生成数据大小取决于实际的集群存储空间大小。

作为示例，生成的主键值集合、数据表的主键字段的名称及字段值可被存入分布式数据存储系统。

进一步地，作为示例，可使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

作为示例，表数据自动生成过程可分为：主键值集合生成阶段、表数据生成配置阶段、表数据存储阶段。在主键值集合生成阶段，除了生成主键值集合之外，还可基于其他数据集参数配置项生成其他变量及对应的集合，生成的主键值集合和其他集合可存入HDFS备用；然后可进入表数据生成配置阶段，在这一阶段，可针对每个数据表，生成该数据表的主键字段的字段值并存入HDFS，然后对该数据表的具体计算路径进行规划，实际上，针对每个数据表，遍历该数据表的除主键字段之外的表字段所对应的字段属性配置项的过程就是向该数据表的计算路径上添加具体内容的过程，期间不会真正展开计算。最后，当所有数据表的计算路径都规划好则可进入表数据存储阶段，这一阶段需要使用真正的数据，因此计算工作(即，数据生成作业)被触发，针对所有数据表按照之前规划好的计算路径在分布式集群上开始计算，并存入HDFS。

现有技术中，通常局限于通过单机来实现造数，使得生成的伪数据仅能够用于完成后续的机器学习流程测试，但大数据时代开发软件、系统、解决方案等往往需要经过超大规模数据量压测，且直接在真实场景环境下进行模拟成本过高，而现有技术中使用单机一次性产生所有的候选集合并存储于内存中的方式，一方面，占据大量空间，另一方面，需要的大规模数据的总量往往会超出单机的内存总合，因此需要有一种能够生成超大规模数据量的方法用于模拟真实场景环境下的大规模数据量。根据本发明的示例性实施例，可采用并行计算框架(例如，Spark)通过分布式集群，将预生成结果分布式存储而非全部存放在内存中来支持大规模数据的生成，此外，还可通过使用惰性计算来实现按需计算，以支持大规模的用于测试的表数据的生成，从而能够应对不同的业务场景需求。

图4示出根据本发明示例性实施例的自动生成表数据的系统的框图。

如图4所示，根据本发明示例性实施例的自动生成表数据的系统包括：配置项获取装置10和表数据生成装置20。

具体说来，配置项获取装置10适于获取用于限定如何生成至少一个数据表的数据的表数据生成配置项。

表数据生成装置20适于基于获取的表数据生成配置项生成所述至少一个数据表的数据。

这里，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。

作为示例，数据集参数配置项可包括：用于配置所述至少一个数据表的主键的名称及主键值数量的主键配置项。

作为示例，与每个数据表对应的数据表参数配置项可包括以下项之中的至少一项：表名配置项，用于配置该数据表的名称；表主键配置项，用于将该数据表的主键指定为主键配置项所配置的主键；总条数配置项，用于配置该数据表中的数据记录的总条数；与该数据表中的每个字段对应的字段属性配置项，用于配置该字段的名称及生成该字段的字段值的方式。

作为示例，与数据表中的每个字段对应的字段属性配置项可包括以下项之中的至少一项：字段名配置项，用于配置该字段的名称；字段类型配置项，用于配置该字段的字段值的数据类型；字段值配置项，用于配置该字段的字段值的取值范围和/或生成函数；字段值格式配置项，用于指定该字段的字段值的格式；函数参数配置项，用于配置所述生成函数的参数值。

作为示例，字段的字段值的数据类型可包括以下项之中的至少一项：日期/时间类型、整数型、浮点型、枚举型、用户自定义型、主键值集合取值型。

图5示出根据本发明示例性实施例的表数据生成装置的框图。

如图5所示，表数据生成装置20可包括：数据集参数配置项解析装置201和数据表参数配置项解析装置202。

具体说来，数据集参数配置项解析装置201适于基于主键配置项生成每个主键的主键值集合，其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同。

数据表参数配置项解析装置202适于基于与每个数据表对应的数据表参数配置项和生成的主键值集合，生成每个数据表中的字段的名称及字段值。

如图6所示，数据表参数配置项解析装置202可包括：表名获取装置2021、主键字段生成装置2022和数据记录生成装置2023。

具体说来，表名获取装置2021适于针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称。

主键字段生成装置2022适于确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值。

数据记录生成装置2023适于针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

作为示例，主键字段生成装置2022可适于当与该数据表对应的数据表参数配置项包括表主键配置项时，基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合中的全部元素直接作为该数据表的该主键字段的全部字段值；主键字段生成装置2022可适于当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。

作为示例，数据记录生成装置2023可包括：计算路径规划装置(未示出)和数据计算装置(未示出)。

具体说来，计算路径规划装置适于规划针对该数据表的计算路径，其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式。

数据计算装置适于按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值，并拼接到该数据表的主键字段的名称及字段值上。

作为示例，生成的主键值集合、数据表的主键字段的名称及字段值可被存入分布式数据存储系统，其中，数据计算装置可适于使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

作为示例，如果与该字段对应的字段值配置项仅配置了取值范围，则数据记录生成装置2023可从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值；如果与该字段对应的字段值配置项未配置取值范围和生成函数，则数据记录生成装置2023可从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值；如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则数据记录生成装置2023可使用该生成函数生成该字段的字段值；如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则数据记录生成装置2023可从该主键的主键值集合中随机选择元素作为该字段的字段值。

作为示例，所述数据集参数配置项还可包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，其中，与字段对应的字段值配置项能够将该字段的字段值的取值范围指定为取值范围配置项所配置的一个预设取值范围，其中，数据集参数配置项解析装置201还可适于将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量。

作为示例，配置项获取装置10可适于从设置了表数据生成配置项的配置文件读取表数据生成配置项或根据用户在图形界面上执行的输入操作来获取表数据生成配置项，其中，所述配置文件被存储在本地或远程接收。

作为示例，配置项获取装置10可适于向用户提供用于设置表数据生成配置项的图形界面；根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；并从生成的配置文件中读取表数据生成配置项。

应该理解，根据本发明示例性实施例的自动生成表数据的系统的具体实现方式可参照结合图1至图3描述的相关具体实现方式来实现，在此不再赘述。

根据本发明示例性实施例的自动生成表数据的系统所包括的装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

应理解，根据本发明示例性实施例的自动生成表数据的方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种自动生成表数据的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：获取用于限定如何生成至少一个数据表的数据的表数据生成配置项；基于获取的表数据生成配置项生成所述至少一个数据表的数据，其中，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1至图3进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的自动生成表数据的系统可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，根据本发明示例性实施例的自动生成表数据的系统所包括的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行自动生成表数据的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的自动生成表数据的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的自动生成表数据的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的自动生成表数据的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：获取用于限定如何生成至少一个数据表的数据的表数据生成配置项；基于获取的表数据生成配置项生成所述至少一个数据表的数据，其中，表数据生成配置项包括：用于配置所述至少一个数据表的主键的名称及主键值数量的数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims

1.一种自动生成表数据的方法，包括：

获取用于限定如何生成多个数据表的数据的表数据生成配置项；

基于获取的表数据生成配置项生成所述多个数据表的数据；

其中，表数据生成配置项包括：数据集参数配置项、以及与每个数据表对应的用于限定如何生成该数据表中的字段的名称及字段值的数据表参数配置项；数据集参数配置项包括：用于配置所述多个数据表的主键的名称及主键值数量的主键配置项；

其中，基于获取的表数据生成配置项生成所述多个数据表的数据的步骤包括：

基于主键配置项生成每个主键的主键值集合，其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同；

基于与各个数据表对应的数据表参数配置项和生成的主键值集合，生成各个数据表中的字段的名称及字段值；

其中，在生成各个数据表中的字段的名称及字段值的步骤中，在生成任意两个具有关联关系的数据表的关联字段时，基于与所述两个数据表对应的数据表参数配置项，从同一主键值集合中获取元素来作为所述两个数据表的关联字段的字段值。

2.如权利要求1所述的方法，其中，与每个数据表对应的数据表参数配置项包括以下项之中的至少一项：

表名配置项，用于配置该数据表的名称；

表主键配置项，用于将该数据表的主键指定为主键配置项所配置的主键；

总条数配置项，用于配置该数据表中的数据记录的总条数；

与该数据表中的每个字段对应的字段属性配置项，用于配置该字段的名称及生成该字段的字段值的方式。

3.如权利要求2所述的方法，其中，与数据表中的每个字段对应的字段属性配置项包括以下项之中的至少一项：

字段名配置项，用于配置该字段的名称；

字段类型配置项，用于配置该字段的字段值的数据类型；

字段值配置项，用于配置该字段的字段值的取值范围和/或生成函数；

字段值格式配置项，用于指定该字段的字段值的格式；

函数参数配置项，用于配置所述生成函数的参数值。

4.如权利要求3所述的方法，其中，生成各个数据表中的字段的名称及字段值的步骤包括：

针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称；

确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值；

针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

5.如权利要求4所述的方法，其中，基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值的步骤包括：

当与该数据表对应的数据表参数配置项包括表主键配置项时，基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合中的全部元素直接作为该数据表的该主键字段的全部字段值；

当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。

6.如权利要求4所述的方法，其中，针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上的步骤包括：

规划针对该数据表的计算路径，其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式；

按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值，并拼接到该数据表的主键字段的名称及字段值上。

7.如权利要求6所述的方法，其中，生成的主键值集合、数据表的主键字段的名称及字段值被存入分布式数据存储系统，

其中，使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

8.如权利要求4或6所述的方法，其中，字段的字段值的数据类型包括以下项之中的至少一项：日期/时间类型、整数型、浮点型、枚举型、用户自定义型、主键值集合取值型。

9.如权利要求8所述的方法，其中，针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项生成该字段的字段值的步骤包括：

如果与该字段对应的字段值配置项仅配置了取值范围，则从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值；

如果与该字段对应的字段值配置项未配置取值范围和生成函数，则从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值；

如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则使用该生成函数生成该字段的字段值；

如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则从该主键的主键值集合中随机选择元素作为该字段的字段值。

10.如权利要求9所述的方法，其中，所述数据集参数配置项还包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，

其中，与字段对应的字段值配置项能够将该字段的字段值的取值范围指定为取值范围配置项所配置的一个预设取值范围，

其中，基于获取的表数据生成配置项生成所述多个数据表的数据的步骤还包括：

将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；

和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量。

11.如权利要求1所述的方法，其中，获取用于限定如何生成多个数据表的数据的表数据生成配置项的步骤包括：

从设置了表数据生成配置项的配置文件读取表数据生成配置项或根据用户在图形界面上执行的输入操作来获取表数据生成配置项，

其中，所述配置文件被存储在本地或远程接收。

12.如权利要求1所述的方法，其中，获取用于限定如何生成多个数据表的数据的表数据生成配置项的步骤包括：

向用户提供用于设置表数据生成配置项的图形界面；

根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；

从生成的配置文件中读取表数据生成配置项。

13.一种自动生成表数据的系统，包括：

配置项获取装置，适于获取用于限定如何生成多个数据表的数据的表数据生成配置项；

表数据生成装置，适于基于获取的表数据生成配置项生成所述多个数据表的数据；

其中，表数据生成装置包括：

数据集参数配置项解析装置，适于基于主键配置项生成每个主键的主键值集合，其中，主键的主键值集合包括的元素的数量为主键配置项所配置的该主键的主键值数量，且每个主键值集合中的元素互不相同；

数据表参数配置项解析装置，适于基于与各个数据表对应的数据表参数配置项和生成的主键值集合，生成各个数据表中的字段的名称及字段值；

其中，数据表参数配置项解析装置适于在生成任意两个具有关联关系的数据表的关联字段时，基于与所述两个数据表对应的数据表参数配置项，从同一主键值集合中获取元素来作为所述两个数据表的关联字段的字段值。

14.如权利要求13所述的系统，其中，与每个数据表对应的数据表参数配置项包括以下项之中的至少一项：

表名配置项，用于配置该数据表的名称；

总条数配置项，用于配置该数据表中的数据记录的总条数；

15.如权利要求14所述的系统，其中，与数据表中的每个字段对应的字段属性配置项包括以下项之中的至少一项：

字段名配置项，用于配置该字段的名称；

字段类型配置项，用于配置该字段的字段值的数据类型；

字段值格式配置项，用于指定该字段的字段值的格式；

函数参数配置项，用于配置所述生成函数的参数值。

16.如权利要求15所述的系统，其中，数据表参数配置项解析装置包括：

表名获取装置，适于针对每个数据表，基于与该数据表对应的数据表参数配置项之中的表名配置项获取该数据表的名称；

主键字段生成装置，适于确定与该数据表对应的数据表参数配置项是否包括表主键配置项，并基于确定结果和生成的主键值集合，生成该数据表的主键字段的字段值；

数据记录生成装置，适于针对该数据表中的除主键字段之外的每个字段，基于与该字段对应的字段属性配置项，生成该字段的名称及字段值并拼接到该数据表的主键字段的名称及字段值上，以形成该数据表的数据记录。

17.如权利要求16所述的系统，其中，主键字段生成装置适于当与该数据表对应的数据表参数配置项包括表主键配置项时，基于该表主键配置项获取该数据表的主键字段的名称，并基于与该数据表对应的数据表参数配置项之中与该主键字段对应的字段属性配置项，将对应的主键值集合中的全部元素直接作为该数据表的该主键字段的全部字段值；

主键字段生成装置适于当与该数据表对应的数据表参数配置项不包括表主键配置项时，生成该数据表的主键值集合，并将该主键值集合中的全部元素直接作为该数据表的主键字段的字段值，其中，该数据表的主键值集合包括与该数据表对应的数据表参数配置项之中总条数配置项所配置的总条数个互不相同的标识id。

18.如权利要求16所述的系统，其中，数据记录生成装置包括：

计算路径规划装置，适于规划针对该数据表的计算路径，其中，针对该数据表的计算路径用于限定基于该数据表中的除主键字段之外的字段所对应的字段属性配置项生成字段的名称及字段值、并拼接到该数据表的主键字段的名称及字段值上的具体计算方式；

数据计算装置，适于按照针对该数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值，并拼接到该数据表的主键字段的名称及字段值上。

19.如权利要求18所述的系统，其中，生成的主键值集合、数据表的主键字段的名称及字段值被存入分布式数据存储系统，

其中，数据计算装置适于使用分布式集群按照针对每个数据表的计算路径生成该数据表中的除主键字段之外的字段的名称及字段值并拼接到所述分布式数据存储系统中存储的该数据表的主键字段的名称及字段值上。

20.如权利要求16或18所述的系统，其中，字段的字段值的数据类型包括以下项之中的至少一项：日期/时间类型、整数型、浮点型、枚举型、用户自定义型、主键值集合取值型。

21.如权利要求20所述的系统，其中，

如果与该字段对应的字段值配置项仅配置了取值范围，则数据记录生成装置从该取值范围内随机选择符合与该字段对应的字段类型配置项所配置的数据类型的数据作为该字段的字段值；

如果与该字段对应的字段值配置项未配置取值范围和生成函数，则数据记录生成装置从与该字段对应的字段类型配置项所配置的数据类型对应的默认取值范围中，随机选择符合该数据类型的数据作为该字段的字段值，或者，基于该字段的名称生成该字段的字段值；

如果与该字段对应的字段类型配置项配置了用户自定义型、且字段值配置项仅配置了用户自定义的生成函数，则数据记录生成装置使用该生成函数生成该字段的字段值；

如果与该字段对应的字段类型配置项配置了主键值集合取值型、且字段值配置项仅指定了主键配置项所配置的主键的名称，则数据记录生成装置从该主键的主键值集合中随机选择元素作为该字段的字段值。

22.如权利要求21所述的系统，其中，所述数据集参数配置项还包括：用于配置至少一个预设取值范围和/或与数据类型对应的默认取值范围的取值范围配置项，

其中，数据集参数配置项解析装置还适于将与取值范围配置项所配置的每个预设取值范围对应的数组配置为一个变量；和/或，将与取值范围配置项所配置的每个默认取值范围对应的数组配置为一个与数据类型对应的变量。

23.如权利要求13所述的系统，其中，配置项获取装置适于从设置了表数据生成配置项的配置文件读取表数据生成配置项或根据用户在图形界面上执行的输入操作来获取表数据生成配置项，

其中，所述配置文件被存储在本地或远程接收。

24.如权利要求13所述的系统，其中，配置项获取装置适于向用户提供用于设置表数据生成配置项的图形界面；根据用户在所述图形界面上执行的输入操作来生成设置了表数据生成配置项的配置文件；并从生成的配置文件中读取表数据生成配置项。

25.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至12中的任一权利要求所述的自动生成表数据的方法。

26.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至12中的任一权利要求所述的自动生成表数据的方法。