CN106815366A - 一种批量生成数据的方法及系统 - Google Patents

Abstract

本发明涉及一种批量生成数据的方法及系统，涉及数据生成领域，能在提高数据生成效率的同时使操作更方便。本发明首先设置生成数据的模板类型及与模板类型相对应的模板的属性；选择生成数据的模板类型，设定生成数据的数量，然后根据选择的模板类型和设定的数量提交生产订单；后台探测生产订单，并根据生产订单读取并解析模板，最后生成设定数量的数据且提供可下载的数据文件。用于使生成数据的过程实现复用，将提交生产订单和数据生成的过程完成解耦，提高数据生成效率。

Description

一种批量生成数据的方法及系统

技术领域

本发明涉及数据生成领域。

背景技术

现在技术在数据生成的实现过程中，大多都是通过数据库序列、随机数、队列等方式来实现批量数据的生成，这样就导致相同的流程不能通用，每一类的数据都是独一无二的，大大的增加了生产过程中的工作复杂度，消耗了过多的时间。

发明内容

本发明所要解决的技术问题是提供一种批量生成数据的方法及系统，目的在于使生成数据的过程实现复用，将提交生产订单和数据生成的过程完成解耦，提高数据生成效率。

本发明解决上述技术问题的技术方案如下：

一种批量生成数据的方法，包括以下步骤：

S1，设置生成数据的模板类型及与模板类型相对应的模板的属性；

S2，选择生成数据的模板类型，设定生成数据的数量，然后根据选择的模板类型和设定的数量提交生产订单；

S3，后台探测生产订单，并根据生产订单读取并解析模板，最后生成设定数量的数据且提供可下载的数据文件。

本发明的有益效果是：将待生成数据的属性设置成模板，能方便的进行维护和修改，也能有效的复用，提高生产效率；提交生产订单和数据生成的过程完成解耦、分开进行，也使生产效率的提升有了较大的余地。

在上述技术方案的基础上，本发明还可以做如下改进:

进一步，所述模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中所述号码生成规则和密码生成规则通过json字符串(json是一种轻量级的数据交换语言，以文字为基础，且易于让人阅读)描述并加密存储。

采用上述进一步方案的有益效果是：模板的属性包括了所需生成数据的重要特性，通过json字符串对号码生成规则和密码生成规则进行描述、作出定义，具有清晰明了和简洁高效的特点；描述号码生成规则和密码生成规则的json字符串加密存储能防止规则泄漏，提高数据的安全性。

进一步，在提交生产订单后，将生产订单的状态标记为待生成；在提供可下载的数据文件后，将生产订单的状态标记为已生成。

采用上述进一步方案的有益效果是：在生产订单较多时，给生产订单加上状态标签，能使数据生成工作有序进行，提高生产效率。

进一步，所述S3中所述后台由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

采用上述进一步方案的有益效果是：分布式的结构能方便的根据需要进行扩展或缩减，在生产订单增多时可以扩展后台以增大处理能力，生产订单减少时能缩减后台以节约资源；定时轮询探测机制，可以使后台自动接收和处理生产订单，无论生产订单数量多或少都能维持稳定有序的数据生成过程。

进一步，所述S3中，所述生成设定数量的数据且提供可下载的数据文件的过程具体包括：生成的数据先保存在nosql(nosql，泛指非关系型的数据库)数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。

采用上述进一步方案的有益效果是：使用nosql数据库能快速的保存数据和验证数据的唯一性，将保存在nosql数据库中的数据转存到关系型数据库中可以方便数据的下载并再次对数据进行唯一性校验，使数据的唯一性有了双重保障。

一种批量生成数据的系统，所述系统包括：

模板设置模块，用于设置生成数据的模板类型及与模板类型相对应的模板的属性；

订单生成模块，用于选择生成数据的模板类型，设定生成数据的数量，根据选择的模板类型和设定的数量提交生产订单；

数据生成模块，用于探测生产订单，根据生产订单读取并解析模板、生成设定数量的数据且提供可下载的数据文件。

本发明的有益效果是：：将待生成数据的属性设置成模板，能方便的进行维护和修改，也能有效的复用，提高生产效率；提交生产订单和数据生成的过程完成解耦、分开进行，也使生产效率的提升有了较大的余地。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中所述号码生成规则和密码生成规则通过json字符串描述并加密存储。

采用上述进一步方案的有益效果是：模板的属性包括了所需生成数据的重要特性，通过json字符串对号码生成规则和密码生成规则进行描述、作出定义，具有清晰明了和简洁高效的特点；描述号码生成规则和密码生成规则的json字符串加密存储能防止规则泄漏，提高数据的安全性。

进一步所述订单生成模块还用于在提交生产订单后，将生产订单的状态标记为待生成；

所述数据生成模块中还用于在提供可下载的数据文件后，将生产订单的状态标记为已生成。

采用上述进一步方案的有益效果是：在生产订单较多时，给生产订单加上状态标签，能使数据生成工作有序进行，提高生产效率。

进一步，所述数据生成模块由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

采用上述进一步方案的有益效果是：分布式的结构能方便的根据需要进行扩展或缩减，在生产订单增多时可以扩展后台以增大处理能力，生产订单减少时能缩减后台以节约资源；定时轮询探测机制，可以使后台自动接收和处理生产订单，无论生产订单数量多或少都能维持稳定有序的数据生成过程。

进一步，所述数据生成模块还用于将生成的数据先保存在nosql数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。

采用上述进一步方案的有益效果是：使用nosql数据库能快速的保存数据和验证数据的唯一性，将保存在nosql数据库中的数据转存到关系型数据库中可以方便数据的下载并再次对数据进行唯一性校验，使数据的唯一性有了双重保障。

附图说明

图1为本发明实施例1中批量生成数据的方法的流程图；

图2为本发明实施例2中批量生成数据的系统的框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1

如图1所示，一种批量生成数据的方法，包括以下步骤：

S1，设置生成数据的模板类型及与模板类型相对应的模板的属性；

S2，选择生成数据的模板类型，设定生成数据的数量，然后根据选择的模板类型和设定的数量提交生产订单；

S3，后台探测生产订单，并根据生产订单读取并解析模板，最后生成设定数量的数据且提供可下载的数据文件。

具体的，首先设置数据生成的规则模板类型和对应的属性，设置过程遵循事先的定义，最终形成一个字符串，存储在数据库或文本文件中，每一次这样的字符串都有一个唯一的流水作为标识。

然后通过前台界面选择不同的数据生成模板类型，填写要生成的数据数量，生成数据生产订单，在这一步需要录入数据生成时需要的一些基础信息。

数据生成阶段需要通过读取模板类型的属性数据来获取生成数据的规则，通过后台来完成规则解析及数据生成的过程。

本发明将待生成数据的属性设置成模板，能方便的进行维护和修改，也能有效的复用，提高生产效率；提交生产订单和数据生成的过程完成解耦、分开进行，也使生产效率的提升有了较大的余地。

进一步，S1中，模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中号码生成规则和密码生成规则通过json字符串描述并加密存储。

具体的，模板的属性包括：待生成数据包括的内容(是否生成密码等)，数据的长度，生成数据的方法(顺序、乱序、绑定号码等)、号码生成规则、密码生成规则等。

其中：号码生成规则和密码生成规则都通过json字符串描述，并加密存储。语法规则如下：

[{‘id’:”,’type’:”,’name’:’’,’length’:”,’startIndex’:’’,’endIndex’:’’},{‘id’:’’,’type’:’’,’name’:’’,’length’:’’,’startIndex’:’’,’endIndex’:’’}]。

id代表在生成数据字符串中的顺序，从1开始；type代表该段数据的数值的来源类型，包括固定值和非固定值等；name代表数值的来源类型为非固定值时该段数据的的具体定义；length代表这段生成规则生成的数据的长度；startIndex和endIndex代表从非固定值来源类型的获取数据中截取的字符串的起始位置和结束位置；value根据type的值不同代表所需要用到的序列值或方法名等；当id[1]+id[2]+……+id[n]的字符串合并到一起，就生成了我们要生成的数据。

以电子卡数据的生成为例，电子卡支持三种生成方式，各生成方式的模板属性可以如下设置：

(1)顺序生成

是否生成密码：否

生成方式：顺序

号码生成规则：

[{'id':'1','type':'Y','length':'1','value':'a'},{'id':'2','type':'N','length':'14','value':'SEQ_BUNCH_CRT_CARD_NO','name':'sequence'}]；

即表示第1段数据来源为固定值，长度为1，固定值为a，第2段数据来源为序列值(属于非固定值)，长度为14，需要用到的序列值为：SEQ_BUNCH_CRT_CARD_NO，具体定义为：sequence，两段数据顺序连接在一起，即为需要生成的数据。

(2)乱序生成

是否生成密码：否

生成方式：乱序

号码规则：

[{'id':'1','type':'Y','length':'1','value':'b'},{'id':'2','type':'R','length':'14','value':'dbms_random'}]；

即表示第1段数据来源为固定值，长度为1，固定值为b，第2段数据为来源为随机数(属于非固定值)，长度为14，需要用到的方法名为：dbms_random，两段数据乱序随机连接在一起，即为需要生成的数据。

(3)绑定号码生成

是否生成密码：否

生成方式：绑定号码

号码规则：

[{'id':'1','type':'Y','length':'1','value':'b'},{'id':'2','type':'R','length':'14','value':'dbms_random'},{'id':'*','type':'P','length':'11','value':'file_phone'}]；

即表示第1段数据来源为固定值，长度为1，固定值为b，第2段数据为来源为随机数(属于非固定值)，长度为14，需要用到的方法名为：dbms_random，第*段数据表示该数据为绑定数据，来源为附加绑定值(属于非固定值)，长度为11，需要用到的实例名为：file_phone，前两段数据生成后和第*段数据绑定在一起，即为需要生成的数据。

该改进中，模板的属性包括了所需生成数据的重要特性，通过json字符串对号码生成规则和密码生成规则进行描述、作出定义，具有清晰明了和简洁高效的特点；描述号码生成规则和密码生成规则的json字符串加密存储能防止规则泄漏，提高数据的安全性。

进一步，在提交生产订单后，将生产订单的状态标记为待生成；在提供可下载的数据文件后，将生产订单的状态标记为已生成。

具体的，提交生成数据生产订单后,生产订单将置为待生成的状态；后台根据生产订单信息中的模板类型及生产数量生成数据，同时修改生产订单的状态为已生成。

该改进中，在生产订单较多时，给生产订单加上状态标签，能使数据生成工作有序进行，提高生产效率。

进一步，S3中，后台由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

具体的，后台的分布式结构的数据生成子模块定时的轮询探测待生成的生产订单，接收到生产数据的请求后，根据订单信息中的模板类型及生产数量通过分布式的数据生成系统分多个处理模块快速的生成数据。

该改进中，分布式的结构能方便的根据需要进行扩展或缩减，在生产订单增多时可以扩展后台以增大处理能力，生产订单减少时能缩减后台以节约资源；定时轮询探测机制，可以使后台自动接收和处理生产订单，无论生产订单数量多或少都能维持稳定有序的数据生成过程。

进一步，S3中，生成设定数量的数据且提供可下载的数据文件的过程具体包括：生成的数据先保存在nosql数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。

具体的，后台的生成数据后，通过nosql数据库(使用key-value即键-值方式，可以通过key快速查询到其value)来保障数据的唯一性，最终生成的数据保存在oracle/mysql(oracle和mysql均为关系型数据库)(在这一步做二次的数据唯一性校验)等关系型数据库中。

该改进中，使用nosql数据库能快速的保存数据和验证数据的唯一性，将保存在nosql数据库中的数据转存到关系型数据库中可以方便数据的下载并再次对数据进行唯一性校验，使数据的唯一性有了双重保障。

实施例2

如图2所示，一种批量生成数据的系统，包括：

模板设置模块，用于设置生成数据的模板类型及与模板类型相对应的模板的属性；

订单生成模块，用于选择生成数据的模板类型，设定生成数据的数量，根据选择的模板类型和设定的数量提交生产订单；

数据生成模块，用于探测生产订单，根据生产订单读取并解析模板、生成设定数量的数据且提供可下载的数据文件。

具体的，首先设置数据生成的规则模板类型和对应的属性，设置过程遵循事先的定义，最终形成一个字符串，存储在数据库或文本文件中，每一次这样的字符串都有一个唯一的流水作为标识。

然后通过前台界面选择不同的数据生成模板类型，填写要生成的数据数量，生成数据生产订单，在这一步需要录入数据生成时需要的一些基础信息。

数据生成阶段需要通过读取模板类型的属性数据来获取生成数据的规则，通过后台来完成规则解析及数据生成的过程。

本发明将待生成数据的属性设置成模板，能方便的进行维护和修改，也能有效的复用，提高生产效率；提交生产订单和数据生成的过程完成解耦、分开进行，也使生产效率的提升有了较大的余地。

进一步，模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中号码生成规则和密码生成规则通过json字符串描述并加密存储。

具体的，模板的属性包括：待生成数据包括的内容(是否生成密码等)，数据的长度，生成数据的方法(顺序、乱序、绑定号码等)、号码生成规则、密码生成规则等。

其中：号码生成规则和密码生成规则都通过json字符串描述，并加密存储。语法规则如下：

[{‘id’:’’,’type’:’’,’name’:’’,’length’:’’,’startIndex’:’’,’endIndex’:’’},{‘id’:’’,’type’:’’,’name’:’’,’length’:’’,’startIndex’:’’,’endIndex’:’’}]。

id代表在生成数据字符串中的顺序，从1开始；type代表该段数据的数值的来源类型，包括固定值和非固定值等；name代表数值的来源类型为非固定值时该段数据的的具体定义；length代表这段生成规则生成的数据的长度；startIndex和endIndex代表从非固定值来源类型的获取数据中截取的字符串的起始位置和结束位置；value根据type的值不同代表所需要用到的序列值或方法名等；当id[1]+id[2]+……+id[n]的字符串合并到一起，就生成了我们要生成的数据。

以电子卡数据的生成为例，电子卡支持三种生成方式，各生成方式的模板属性可以如下设置：

(1)顺序生成

是否生成密码：否

生成方式：顺序

号码生成规则：

[{'id':'1','type':'Y','length':'1','value':'a'},{'id':'2','type':'N','length':'14','value':'SEQ_BUNCH_CRT_CARD_NO','name':'sequence'}]；

即表示第1段数据来源为固定值，长度为1，固定值为a，第2段数据来源为序列值(属于非固定值)，长度为14，需要用到的序列值为：SEQ_BUNCH_CRT_CARD_NO，具体定义为：sequence，两段数据顺序连接在一起，即为需要生成的数据。

(2)乱序生成

是否生成密码：否

生成方式：乱序

号码规则：

[{'id':'1','type':'Y','length':'1','value':'b'},{'id':'2','type':'R','length':'14','value':'dbms_random'}]；

即表示第1段数据来源为固定值，长度为1，固定值为b，第2段数据为来源为随机数(属于非固定值)，长度为14，需要用到的方法名为：dbms_random，两段数据乱序随机连接在一起，即为需要生成的数据。

(3)绑定号码生成

是否生成密码：否

生成方式：绑定号码

号码规则：

[{'id':'1','type':'Y','length':'1','value':'b'},{'id':'2','type':'R','length':'14','value':'dbms_random'},{'id':'*','type':'P','length':'11','value':'file_phone'}]；

即表示第1段数据来源为固定值，长度为1，固定值为b，第2段数据为来源为随机数(属于非固定值)，长度为14，需要用到的方法名为：dbms_random，第*段数据表示该数据为绑定数据，来源为附加绑定值(属于非固定值)，长度为11，需要用到的实例名为：file_phone，前两段数据生成后和第*段数据绑定在一起，即为需要生成的数据。

该改进中，模板的属性包括了所需生成数据的重要特性，通过json字符串对号码生成规则和密码生成规则进行描述、作出定义，具有清晰明了和简洁高效的特点；描述号码生成规则和密码生成规则的json字符串加密存储能防止规则泄漏，提高数据的安全性。

进一步，订单生成模块还用于在提交生产订单后，将生产订单的状态标记为待生成；

数据生成模块中还用于在提供可下载的数据文件后，将生产订单的状态标记为已生成。

具体的，提交生成数据生产订单后,生产订单将置为待生成的状态；后台根据生产订单信息中的模板类型及生产数量生成数据，同时修改生产订单的状态为已生成。

该改进中，在生产订单较多时，给生产订单加上状态标签，能使数据生成工作有序进行，提高生产效率。

进一步，数据生成模块由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

具体的，后台的分布式结构的数据生成子模块定时的轮询探测待生成的生产订单，接收到生产数据的请求后，根据订单信息中的模板类型及生产数量通过分布式的数据生成系统分多个处理模块快速的生成数据。

该改进中，分布式的结构能方便的根据需要进行扩展或缩减，在生产订单增多时可以扩展后台以增大处理能力，生产订单减少时能缩减后台以节约资源；定时轮询探测机制，可以使后台自动接收和处理生产订单，无论生产订单数量多或少都能维持稳定有序的数据生成过程。

进一步，数据生成模块还将生成的数据先保存在nosql数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。

具体的，后台的生成数据后，通过nosql数据库(使用key-value方式)来保障数据的唯一性，最终生成的数据保存在oracle/mysql(在这一步做二次的数据唯一性校验)等关系型数据库中。

该改进中，使用nosql数据库能快速的保存数据和验证数据的唯一性，将保存在nosql数据库中的数据转存到关系型数据库中可以方便数据的下载并再次对数据进行唯一性校验，使数据的唯一性有了双重保障。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种批量生成数据的方法，其特征在于，包括以下步骤：

S1，设置生成数据的模板类型及与模板类型相对应的模板的属性；

S2，选择生成数据的模板类型，设定生成数据的数量，然后根据选择的模板类型和设定的数量提交生产订单；

S3，后台探测生产订单，并根据生产订单读取并解析模板，最后生成设定数量的数据且提供可下载的数据文件。

2.根据权利要求1所述的批量生成数据的方法，其特征在于，所述S1中，所述模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中所述号码生成规则和密码生成规则通过json字符串描述并加密存储。

3.根据权利要求2所述的批量生成数据的方法，其特征在于，在提交生产订单后，将生产订单的状态标记为待生成；在提供可下载的数据文件后，将生产订单的状态标记为已生成。

4.根据权利要求3所述的批量生成数据的方法，其特征在于，所述S3中所述后台由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

5.根据权利要求1至4任一项所述的批量生成数据的方法，其特征在于，所述S3中，所述生成设定数量的数据且提供可下载的数据文件的过程具体包括：生成的数据先保存在nosql数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。

6.一种批量生成数据的系统，其特征在于，所述系统包括：

模板设置模块，用于设置生成数据的模板类型及与模板类型相对应的模板的属性；

订单生成模块，用于选择生成数据的模板类型，设定生成数据的数量，根据选择的模板类型和设定的数量提交生产订单；

数据生成模块，用于探测生产订单，根据生产订单读取并解析模板、生成设定数量的数据且提供可下载的数据文件。

7.根据权利要求6所述的批量生成数据的系统，其特征在于，所述模板的属性包括：数据包括的内容，数据的长度，生成数据的方法，号码生成规则，密码生成规则，其中所述号码生成规则和密码生成规则通过json字符串描述并加密存储。

8.根据权利要求7所述的批量生成数据的系统，其特征在于，所述订单生成模块还用于在提交生产订单后，将生产订单的状态标记为待生成；

所述数据生成模块中还用于在提供可下载的数据文件后，将生产订单的状态标记为已生成。

9.根据权利要求8所述的批量生成数据的系统，其特征在于，所述数据生成模块由具有分布式结构的多个数据生成子模块组成，定时轮询探测生产订单并根据生产订单生成数据。

10.根据权利要求6至9任一项所述的批量生成数据的系统，其特征在于，所述数据生成模块还用于将生成的数据先保存在nosql数据库中并进行唯一性校验，然后转存到关系型数据库中再次进行唯一性校验后，提供可下载的数据文件。