CN104572122A - 一种软件应用数据的生成装置及方法 - Google Patents

Abstract

本发明涉及一种软件应用数据的生成装置及方法，包括：主控单元接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表，根据查询结果来调度生成装置；数据结构定制单元接收主控单元输入的目标数据结构定义的XML记录，解析每个字段；数据规则定制单元读取数据存储单元中保存的目标数据的结构信息，根据分析结果为字段定制取数规则，生成数据规则集；数据生成单元根据数据规则集自动按量生成每个字段符合规则的取值，通过字段间的排列组合形成目标数据文件；数据提交单元根据存储环境将目标数据文件提交到目标环境中。

Description

一种软件应用数据的生成装置及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种软件应用数据的生成装置及方法。

背景技术

在软件的生命周期中，各阶段都会涉及到数据的使用，如进行系统测试时，需要用到测试数据；制作投产版本时，需要准备投产初始化的参数；软件使用过程中，需要定期生成业务统计数据。因此在软件研发和应用的不同阶段，都需要根据不同的角度和功能要求生成数据。而随着软件生命周期的推进，软件的需求及程序的实现经常会更新，因此相应的数据也需要同步进行更新，使得数据与使用数据的对象保持匹配。特别对于银行的软件系统，具有规模庞大、功能繁多的特点，在研发和使用过程中需要类型和数量众多、覆盖面全的数据。当软件系统的部分程序进行了修改时，相应需要生成的数据量也极其巨大。

目前传统的软件开发和使用模式中，数据的编写和生成依靠手工进行，缺少数据自动化生成与管理的方法。这种数据生成与管理模式在多方面都存在较多的不足，具体表现为：

1、在软件开发和使用过程中，有时候需要准备大批量的数据，如需要准备大量数据以满足测试覆盖率的要求，或者准备多样化的数据用于编制软件功能说明。传统的数据生成方法，需要使用手工操作的方式逐条生成数据，例如执行多次联机交易造数，或者逐条编写造数语句直接写入数据。使用这种方法进行数据生成，数据的编制及写入对象的操作都需要人工进行，缺少批量集中生成及自动执行写入的功能，需要耗费大量的时间与精力，同时难以兼顾数据间的关联关系，阻碍了数据生成效率和质量的提高。

2、手工生成数据的方法，缺乏对数据的统一管理和共享，也没有考虑到数据的继承与重用。一方面，数据表或者数据文件字段的增减，字段长度的变化都需要对数据进行相应的改造才能继续使用；另一方面，随着使用过程中数据环境、关联数据等的变化，也会导致之前准备的数据不能继续使用，因此相同要求的数据准备工作常常需要反复进行，耗费了不必要的劳动力。

3、银行应用数据在实际使用时，由于其业务要求，可能存在一些隐性的属性，比如账号字段有校验位的要求、客户的年龄字段有大于0的要求等。这些隐性属性也是数据准备需要考虑的地方。传统的手工生成数据的方法，当数据涉及这种隐性属性时，必须手工逐个字段进行手工处理，根据现有数据进行多次运算得出。这种做法生成的数据的效率相对比较低，而且容易造成遗漏。

在开发过程中，有时候需要根据已有环境的数据来生成新环境的数据。这些数据一部分可以通过系统级的复制实现数据生成，但另一部分则因为安全性的原因，无法直接复制，需要进行数据变形。在传统的数据管理方法下，这种情况需要先导出数据，手工将数据内容进行变形，再导入目标环境。这种做法不仅非常耗时，而且要求操作人员熟悉数据结构及系统操作，实施难度较大。

发明内容

为解决现有技术的问题，本发明提出一种软件应用数据的生成装置及方法。

为实现上述目的，本发明提供了一种软件应用数据的生成装置，该装置包括：主控单元、数据结构定制单元、数据规则定制单元、数据生成单元、数据提交单元和数据存储单元；其中，

所述数据存储单元，用于以数据库管理工具的形式，记录每个目标数据的信息，目标数据中每个字段的具体数据规则定义，以及提供目标数据文件所需的目标环境；

所述主控单元，用于接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表，根据查询结果来调度数据结构定制单元、数据规则定制单元、数据生成单元、数据提交单元、数据存储单元；

所述数据结构定制单元，用于接收所述主控单元输入的目标数据结构定义的XML记录，解析每个字段的字段名、字段顺序、字段长度、字段规则类型；

所述数据规则定制单元，用于读取所述数据存储单元中保存的目标数据的结构信息，根据每个字段的字段名、字段顺序、字段长度、字段规则类型为字段定制取数规则，生成数据规则集，并将所述数据规则集输入至所述数据存储单元；

所述数据生成单元，用于根据所述数据规则定制单元生成的数据规则集，自动按量生成每个字段符合规则的取值，通过字段间的排列组合，形成目标数据文件；

所述数据提交单元，用于根据存储环境，将所述数据生成单元生成的目标数据文件提交到目标环境中。

优选地，所述数据规则定制单元包括第一校验模块、第二校验模块和写操作模块；

所述第一校验模块，用于对字段规则类型变量进行合法性校验，若变量值非空且取值为固定值、数据区间、数据源抽取、用户自定义数据集合或字段引用，则对字段规则类型变量通过合法性校验；否则，向所述主控单元返回报错信息；

所述第二校验模块，用于对字段取数方法变量进行合法性校验，当字段规则类型变量取值为数据区间、数据源抽取或用户自定义数据集合；并且，检查字段取数方法是否非空且为随机值、唯一值或顺序循环，则对字段取数方法变量通过合法性校验；否则，向所述主控单元返回报错信息；

所述写操作模块，用于根据内存中的变量值，组织数据库插入语句，并调用数据存储单元，将数据规则信息写入数据存储单元中。

优选地，所述数据生成单元具体用于根据所述主控单元输入的目标数据名A1、数据量N、数据源B1访问所述数据存储单元，用数据库查询语句查询目标数据信息表和字段规则定义表，将目标数据名A1对应的字段规则定义表记录筛选出来，组成搜索结果集；根据所述搜索结果集获得字段规则类型和字段规则参数，并利用字段规则类型和字段规则参数生成备选的数据集合，再根据字段取数方法选择所述数据集合中的数据，获得各字段的数据生成结果；将各字段的数据生成结果顺次进行拼装，以数据库插入语句或数据行的方式，写入数据文件，形成目标数据文件。

为实现上述目的，本发明提供了一种利用上述装置快速生成数据的方法，包括：

主控单元接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表；

如果目标数据信息表和字段规则定义表均查询不到记录，则所述主控单元接受用户输入的目标数据组成结构信息，生成目标数据结构定义的XML记录；以XML内容为参数，调用所述数据结构定制单元，所述数据结构定制单元获取到XML报文后，对节点进行解析和拆分，获得各个字段的定义信息，并按照字段顺序节点中记录的顺序生成目标数据信息表的记录插入语句集合，顺次插入数据存储单元中的目标数据信息表中；

如果目标数据信息表中查询到记录，但字段规则定义表中查询不到记录，则所述主控单元接收用户提交的字段规则定义信息，启动数据规则定制单元进行字段规则定制处理，生成数据规则集；

如果目标数据信息表中和字段规则定义表中均查询到记录，则已维护软件应用目标数据的造数规则，所述主控单元以目标数据名、数据量、数据源为传入参数，启动数据生成单元，所述数据生成单元生成软件应用目标数据；

所述主控单元向数据提交单元传入目标数据名、环境信息名以及数据文件路径信息，所述数据提交单元接到信息后，根据环境信息查询所述数据存储单元中的环境信息表，获取环境信息记录；根据目标数据名查询目标数据信息表，获取目标数据；所述数据提交单元根据所述环境信息记录将所述目标数据上传到目标环境中。

优选地，所述数据规则集获得步骤包括：

对字段规则类型变量进行合法性校验，若变量值非空且取值为固定值、数据区间、数据源抽取、用户自定义数据集合或字段引用，则对字段规则类型变量通过合法性校验；否则，向所述主控单元返回报错信息；

对字段取数方法变量进行合法性校验，当字段规则类型变量取值为数据区间、数据源抽取或用户自定义数据集合；并且，检查字段取数方法是否非空且为随机值、唯一值或顺序循环，则对字段取数方法变量通过合法性校验；否则，向所述主控单元返回报错信息；

根据内存中的变量值，组织数据库插入语句，并调用数据存储单元，将数据规则信息写入数据存储单元中。

优选地，所述目标数据文件获得步骤包括：

根据所述主控单元输入的目标数据名A1、数据量N、数据源B1访问所述数据存储单元，用数据库查询语句查询目标数据信息表和字段规则定义表，将目标数据名A1对应的字段规则定义表记录筛选出来，组成搜索结果集；

根据所述搜索结果集获得字段规则类型和字段规则参数，并利用字段规则类型和字段规则参数生成备选的数据集合，再根据字段取数方法选择所述数据集合中的数据，获得各字段的数据生成结果；

将各字段的数据生成结果顺次进行拼装，以数据库插入语句或数据行的方式，写入数据文件，形成目标数据文件。

上述技术方案具有如下有益效果：本技术方案适用于软件开发和使用周期中需要进行大批量数据准备的场景。使用本技术方案进行数据生成，需要预先对数据文件中的每个字段定制造数规则，然后根据规则自动地生成大批量符合条件的数据，造数效率和质量都得到大幅提高。同时，造数规则可以保存重用，极大降低了造数成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种软件应用数据的生成装置框图；

图2为本发明的字段引用示意图；

图3为本发明使用的数据库表结构图；

图4为本发明提供的一种利用图1所示的装置快速生成数据的方法流程图；

图5为数据生成单元的处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术方案涉及的术语定义如下：

数据源：生成数据的过程中，有时候需要根据一定的条件，从其他相关数据库、数据文件查询数据。所有能被本发明工具进行数据查询的数据库和数据文件，就是本发明所指的数据源。

目标数据：目标数据指用户需要进行数据准备的数据表或者数据文件。按其字段规则生成的数据称为目标数据文本。

数据变形转换：业务含义相同的软件应用数据，在不同平台、不同功能中可能会有不同的格式要求，因此数据跨平台使用前，需要对数据进行转换，如在字符串传输前计算并增加校验位、不同平台间传输字符串可能需要进行码制转换等。在本发明方法中，数据变形转换的方法和工具是可定制和扩展的。

本技术方案的工作原理如下：在软件生命周期中使用到的数据对象，不论是数据文件还是数据表，都可以解析为有意义的数据字段，数据字段由长度、类型、码制等属性来规范。通过构造符合规范的字段数据，从而拼接为特定的数据格式，就可以形成一笔有效的数据，从而达到数据准备的目的。

在上述分析的基础上，提供一种软件应用数据的快速生成方法。该方法引入数据库表，记录目标数据的字段信息以及每个字段的造数规则，当需要生成目标数据时，可根据每个字段的造数规则，驱动每种规则对应的造数方法，生成符合条件的字段数据，然后顺次拼装成有效的目标数据。

为了达到上述目的，本发明的数据快速生成方法，其技术特征包括如下：

对于目标数据的结构，支持按字段进行定义和保存。相应地，在存储介质中维护一张“目标数据信息表”，该表包括“目标数据编号”、“目标数据描述”、“目标数据类型”、“字段名”、“字段类型”、“字段长度”、“字段顺序”等七个字段，一行记录代表目标数据中的一个字段。例如表中一条记录，目标数据编号为“A111”、目标数据描述为“NTHCHSUB”、目标数据类型为“数据库表”，字段名为“ACCNO”、字段类型为“数字型”、字段长度为“17位”、“字段顺序”为“1”，说明了“编号A111、描述名为NTHCHSUB的目标数据是一张数据库表，其第一个字段名为ACCNO，该字段的类型为数字型，长度为17位”。

按目标数据的字段为粒度，管理造数规则、执行数据生成操作。本发明对造数规则的类型进行了预定义，支持按“固定值”、“数据区间”、“数据源抽取”、“用户自定义数据集合”、“字段引用”等五种类型，定义目标数据中每个字段的具体造数规则，执行不同的数据抽取及生成操作。

在本技术方案中，字段的造数规则与具体的数据实现了分离，数据在需要使用数据时根据规则动态生成，保证数据的实时有效性；而造数规则看作一种资源储备进行存储、继承和重用。相应地，存储介质中维护一张“字段规则定义表”，记录一个目标数据的一个字段的造数规则定义，从物理上实现字段造数规则的存储。

本技术方案将数据快速生成的操作分为：批量自动生成和数据自动批量提交两大类。其中批量自动生成阶段，装置根据需要生成的数据条数执行循环，通过读取“字段规则定义表”的字段规则，顺序生成目标数据每个字段符合要求的数据，最终生成期望的SQL脚本集合或文件数据集合。批量自动提交阶段，装置自动连接数据库或文件系统FTP，将生成的数据集合批量提交到目标环境中。

基于上述分析，本发明提供了一种软件应用数据的生成装置，如图1所示。该装置包括：主控单元101、数据结构定制单元102、数据规则定制单元103、数据生成单元104、数据提交单元105和数据存储单元106；其中，

所述数据存储单元106，用于以数据库管理工具的形式，记录每个目标数据的信息，目标数据中每个字段的具体数据规则定义，以及提供目标数据文件所需的目标环境；

所述主控单元101，用于接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表，根据查询结果来调度数据结构定制单元、数据规则定制单元、数据生成单元、数据提交单元、数据存储单元；

所述数据结构定制单元102，用于接收所述主控单元输入的目标数据结构定义的XML记录，解析每个字段的字段名、字段顺序、字段长度、字段规则类型；

所述数据规则定制单元103，用于读取所述数据存储单元中保存的目标数据的结构信息，根据每个字段的字段名、字段顺序、字段长度、字段规则类型为字段定制取数规则，生成数据规则集，并将所述数据规则集输入至所述数据存储单元；

所述数据生成单元104，用于根据所述数据规则定制单元生成的数据规则集，自动按量生成每个字段符合规则的取值，通过字段间的排列组合，形成目标数据文件；

所述数据提交单元105，用于根据存储环境，将所述数据生成单元生成的目标数据文件提交到目标环境中。

主控单元101是整个装置的运行核心，控制各单元的调度与通讯。主控单元101实现装置与用户之间的交互，接受用户指令以调度数据结构定制单元102、数据规则定制单元103、数据生成单元104、数据提交单元105。另外，主控单元101提供环境信息配置的功能。这些环境信息用于与外部数据源连接，包括数据源连接、用户名、密码等参数，均保存在数据存储单元106中。

数据结构定制单元102负责维护目标数据的具体组成结构。用户根据软需等功能说明，通过主控单元101的界面录入目标数据结构，传给数据结构定制单元102,；数据结构定制单元102接收XML的形式记录目标数据的结构信息，解析每个字段的字段名、字段顺序、字段长度、字段类型等信息。解析完成后，数据结构定制单元102调用数据存储单元106保存结构信息。

数据规则定制单元103负责为数据字段定制可重用的生成规则，作为数据生成单元104的执行依据。数据规则定制单元103具体实现以下两个功能：

1、读取数据存储单元106中保存的目标数据的结构信息，根据每个字段的字段名、字段长度、字段类型等信息，为字段定制取数规则。

数据字段规则用于定义该字段在造数时的取数逻辑，包括以下5种：

固定值：即为这个字段定义一个固定的值，在生成数据时该字段固定使用这个字段值。

数值区间：即两个数值之间的数字集合，如[1,10]区间，代表1.2.3…..10的数字集合，适用于类型为数字型的字段。在生成数据时，该字段在这个集合中获取一个数字作为取值。

数据源抽取：为字段定义一个SQL方式的查询语句，指定该字段根据其他数据库中，满足查询语句条件的表字段信息进行取值。在生成数据时，数据生成单元104使用该字段定义的SQL语句，到指定数据库中进行数据查询，查询出来的数据集合作为待造数字段的可能取值使用。

用户自定义数据集合：自定义一个取值的集合，并在字段规则定义时指定这个集合。在生成数据是，数据生成单元104在集合中选择一个数据作为字段取值。

字段引用：在实际使用中，有时候会要求某一字段与另一个字段的取值保持一致，“字段引用”规则即用于这种情况。定义规则时，指定该字段的取值引用同一数据文件或不同数据文件中的其他字段，在生成数据时，该字段的取值就直接使用其所关联字段的取值。

例如图2的例子，SYSDATE的字段规则定义为“用户自定义数据集合”，可能取值是四个日期值之一；BEGINDATE的字段规则定义为“字段引用”，具体引用字段为“SYSDATE”。那么当SYSDATE取值为2011-11-06时，BEGINDATE的取值也是2011-11-06，与SYSDATE保持一致。

需要补充说明的是，当字段A需要引用来自同一个数据文件的关联字段B时，字段B必须排列在字段A之前，即字段定义同数据文件的字段引用时，只能引用排列在它之前的字段。

以上5种字段规则，除了固定值、字段引用外，其余数值区间、数据源抽取和用户自定义数据集合等3种规则，都是属于集合类的规则，即这3种规则都是从数据集合中选择其中一个数据来生成测试数据。因此，字段规则定制后，还需要为这三种规则的字段定义取数方法。具体的取数方法有以下三种：

随机值：从数据集合中随机取一个值作为该字段本次生成的数据

唯一值：数据生成单元104根据规则生成多条数据时，每一条数据的这个字段都会从数据集合中顺序取一个值作为当次生成数据，集合中每个数据只取一次，不做循环。因此数据集合的大小会限制数据生成的总量。

顺序循环：数据生成单元104根据规则生成多条数据时，每一条数据的这个字段都会从数据集合中顺序取一个值作为当次生成数据，集合中的数据都取过一遍后，循环重新开始取数。

2、对有需要的字段，定制数据变形的扩展操作，以便数据生成单元104在生成数据时，对数据进行变形、转换操作，如为字符串添加校验位，将数据转换为ASCII码/EBCD码/二进制码等。本发明方法使用的数据变形、转换工具，是通过扩展接口的方式配置的，支持通过新增工具的方式，增加新的数据变型，转换操作。

目标数据的字段规则定义后，作为一种独立的资源保存在数据存储单元106中，形成可共享、可重用的规则库，当需要针对某个特定的数据结构来生成数据时，可以实时根据规则库中已有的字段规则，动态生成用户所需的数据。本发明方法将造数规则与具体的版本、数据值进行剥离，将规则进行共享和重用，提高了复用度。通过对目标数据字段规则持续的识别、维护和存储，最终保证了规则库的完善及高可用性。

数据生成单元104负责根据数据规则定制单元103生成的数据规则集，自动按量生成每个字段符合规则的取值，通过字段间的排列组合，形成目标数据文件。根据目标数据类型的不同，目标数据文件的形式亦不相同。对于数据库表类型的目标数据，目标数据文件保存的是以SQL形式保存的数据库插入记录的集合；对于文件类型的目标数据，目标数据文件中保存的是符合格式要求、可以直接使用的多行数据的集合。

数据提交单元105负责根据数据存储单元106中保存的环境信息，将数据生成单元104生成的数据提交到目标环境中。对于数据库表类型的目标数据，生成的数据是SQL脚本，数据提交单元105通过jdbc等数据库连接技术，连接目标环境数据库，顺次执行SQL脚本插入数据；对于文件类型的目标数据，生成的数据是一个文件，数据提交单元105通过FTP协议连接目标环境，将数据文件传输到目标环境中。

数据存储单元106以数据库管理工具(如Oracle)的形式，记录每个目标数据的信息，目标数据中每个字段的具体数据规则定义，以及数据生成完之后，可以提交的环境的信息。

如图3所示，图3是本发明方法使用的数据库表结构。数据库部分的表结构如下：

A.目标数据信息表：用于记录目标数据的结构信息。包括“目标数据编号”、“目标数据描述”、“目标数据类型”、“字段名”、“字段类型”、“字段长度”、“字段顺序”等七个字段：

“目标数据编号”用作目标数据的区分标识；

“目标数据描述”用于对目标数据进行描述说明；

“目标数据类型”用于记录目标数据是数据库表还是文件；

“字段名”用于对该行记录描述的字段名称进行记录，需要说明的是，如果该字段所属的目标数据，其目标数据类型为“数据库表”，则字段名需要与实际造数的数据库表字段名对应。

“字段类型”记录该字段的数据类型，包括“字符型”、“数字型”、“金额型”、“时间戳型”等。不同的字符类型，在实际生成数据时，格式会有区别。

“字段长度”用于记录目标数据中该字段的长度信息。

“字段顺序”记录该字段在对应的目标数据中是属于第几个字段。在生成数据时，数据生成单元104需要根据该顺序，顺次生成字段数据并拼装成完整的数据文件。

“目标数据编号”与“字段名”一起作为主键，唯一标识一个目标数据的一个字段。

B.字段规则定义表：用于记录目标数据中字段的造数规则。字段规则定义表一行记录，代表一个目标数据的一个字段的造数规则定义。包括“目标数据编号”、“字段名”、“字段规则类型”、“字段规则参数”、“字段取数方法”、“内容变形操作”：

“目标数据编号”记录该行记录所属的目标数据编号。

“字段名”用于对该行记录描述的字段名称进行记录。

“字段规则类型”定义该字段的造数规则类型。与数据规则定制单元3中的字段规则类型对应，可选的取值包括“固定值”、“数据区间”、“数据源抽取”、“用户自定义数据集合”、“字段引用”等五种。

“字段规则参数”记录该字段造数时的具体造数逻辑。当“字段规则类型”选择“固定值”时，“字段规则参数”记录具体的固定值；当“字段规则类型”选择“数据区间”或“用户自定义数据集合”时，“字段规则参数”记录具体的集合内容；当“字段规则类型”选择“数据源抽取”时，“字段规则参数”记录查询数据源的SQL语句；当“字段规则类型”选择“字段引用”时，“字段规则参数”记录其引用的字段名。

“字段取数方法”当“字段规则类型”取“数据区间”、“数据源抽取”、“用户自定义数据集合”等值时有意义，用于记录字段具体的取数方法。可选的取值包括“随机值”、“唯一值”、“顺序循环”。

“内容变形操作”记录该字段数据生成时，需要执行的变形、转换工具名。

“目标数据编号”与“字段名”一起作为主键，唯一标识一个目标数据的一个字段的造数规则；另外“目标数据编号”、“字段名”与“目标数据信息表”的“目标数据编号”、“字段名”字段存在外键引用关系，表明“字段规则定义表”中的“目标数据编号”、“字段名”字段内容的组合需要在“目标数据信息表”的“目标数据编号”、“字段名”字段中存在。

C.环境信息表：用于记录数据生成单元104、数据提交单元105中用到的环境信息。包括“环境编号”、“环境描述”、“环境类型”、“环境参数”、“用户名”、“密码”等六个字段。“环境编号”为主键，用作环境的区分标识；“环境描述”用于对环境进行描述说明；“环境类型”记录该环境的类型，可选值为“数据库环境”和“文件环境”；“环境参数”记录具体的环境信息，当“环境类型”字段为“数据库环境”时，该字段登记对应数据库的JDBC链接串(具体格式为：JDBC://数据库IP:数据库端口:数据库实例名)；当“环境类型”字段为“文件环境”时，该字段登记对应文件系统的FTP地址(具体格式为：FTP://FTP服务器IP:FTP服务器端口)；“用户名”保存登陆环境的用户名；“密码”保存“用户名”字段的对应密码。

基于上述分析，本发明还提供了一种利用上述装置快速生成数据的方法，如图4所示。包括：

步骤401)：主控单元接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表；

步骤402)：如果目标数据信息表和字段规则定义表均查询不到记录，则所述主控单元接受用户输入的目标数据组成结构信息，生成目标数据结构定义的XML记录；以XML内容为参数，调用所述数据结构定制单元，所述数据结构定制单元获取到XML报文后，对节点进行解析和拆分，获得各个字段的定义信息，并按照字段顺序节点中记录的顺序生成目标数据信息表的记录插入语句集合，顺次插入数据存储单元中的目标数据信息表中；

步骤403)：如果目标数据信息表中查询到记录，但字段规则定义表中查询不到记录，则所述主控单元接收用户提交的字段规则定义信息，启动数据规则定制单元进行字段规则定制处理，生成数据规则集；

步骤404)：如果目标数据信息表中和字段规则定义表中均查询到记录，则已维护软件应用目标数据的造数规则，所述主控单元以目标数据名、数据量、数据源为传入参数，启动数据生成单元，所述数据生成单元生成软件应用目标数据；

步骤405)：所述主控单元向数据提交单元传入目标数据名、环境信息名以及数据文件路径信息，所述数据提交单元接到信息后，根据环境信息查询所述数据存储单元中的环境信息表，获取环境信息记录；根据目标数据名查询目标数据信息表，获取目标数据；所述数据提交单元根据所述环境信息记录将所述目标数据上传到目标环境中。

如图5所示，为数据生成单元的处理流程图。包括：

步骤501：数据生成单元104接收主控单元101传入的启动指令，将传入参数目标数据名a1、数据量n、数据源名b1放入内存中。

步骤502：数据生成单元104根据目标数据名a1组织数据库查询语句，调用数据存储单元6，查询“目标数据信息表”和“字段规则定义表”，将目标数据名a1对应的“字段规则定义表”记录筛选出来，组成搜索结果集。

步骤503：数据生成单元104获取搜索结果集中的一个字段记录，读取“字段规则类型”、“字段规则参数”信息。根据“字段规则类型”取值的不同，执行以下的不同操作：

●当“字段规则类型”取值为“固定值”或“数据区间”时，数据生成单元104直接读取“字段规则参数”的值，放入备选数据集合中。

●当“字段规则类型”取值为“用户自定义数据集合”时，数据生成单元104读取“字段规则参数”的值，将自定义的数据集合拆分出多个备选值，放入备选数据集合中。

●当“字段规则类型”取值为“数据源抽取”时，数据生成单元104根据数据源名b1，查询数据存储单元106中的环境信息表，获取环境信息记录并通过TCP/IP协议，连接数据源。然后，数据生成单元104读取“字段规则参数”的值，将值作为SQL语句，提交数据源执行查询并获取返回，将全部返回记录放入备选数据集合中。

●当“字段规则类型”取值为“字段引用”时，数据生成单元104读取“字段规则参数”的值，然后查询字段顺序小于当前字段、字段名等于“字段规则参数”值的字段，获取该字段生成的数据，放入备选数据集合中。

步骤504：数据生成单元104判断“字段规则类型”的取值，当取值不等于“数据区间”、“用户自定义数据集合”、“数据源抽取”的任意一个时，直接将备选数据集合中的唯一数据值作为该字段的生成数据；反之，则读取“字段取数方法”信息，根据其取值不同，执行以下的不同操作：

●当“字段取数方法”为“随机值”时，数据生成单元104在备选数据集合中随机获取一个数据，作为该字段的生成数据。

●当“字段取数方法”为“唯一值”时，数据生成单元104获取备选数据集合的第一个数据，作为该字段的生成数据，然后把该数据在备选数据集合中删除。当备选数据集合为空时，数据生成单元104向主控单元101返回报错。

●当“字段取数方法”为“顺序循环”时，数据生成单元104获取备选数据集合的第一个数据，作为该字段的生成数据，然后把该数据挪到备选数据集合的最后。

步骤505：数据生成单元104读取“内容变形操作”的取值，当该字段非空时，以函数调用的方式，驱动具体的内容变形工具，对字段的生成数据进行处理。

步骤506：数据生成单元104判断搜索结果集中是否还有未处理的字段记录，如有则跳转到步骤503，重新进行操作；反之则执行步骤507

步骤507：数据生成单元104根据步骤502中获取的目标数据类型，进行目标数据的拼装：

●如果目标数据类型为“数据库表”，则根据目标数据名a1、目标数据中各字段的字段名和生成数据值，拼装成数据库插入语句，写入数据文件中。

●如果目标数据类型为“文件”，则根据字段顺序，将各字段的生成数据值顺次拼接，形成完整的目标数据行，写入数据文件中。

步骤508：对数据生成的条数与数据量n进行判断，如数据生成的条数小于数据量n，则跳转到步骤502中，重新进行操作；如数据生成的条数等于数据量n，则关闭数据文件的写入句柄，向主控单元101返回数据文件路径信息。

以下是应用本发明进行数据快速生成的一个实施例：

银行软件A使用一个名为NTHCHDTL的目标数据，是环境B中一张数据库表。该表包含三个字段，其中：字段1的字段名为ACCNO，字段类型为数字型，字段长度为17位；字段2的字段名为WORKDATE，字段类型为日期型，字段长度为10位；字段3的字段名为STATUS，字段类型为字符型，字段长度为1位。现开发人员想为软件A在B环境编写并插入投产参数，需要生成2条符合条件的数据。因此根据本发明，批量地快速生成数据的方法如下：

A、终端以指令文本的方式，上送数据生成请求。指令文本的格式如下：

指令名：数据生成

目标数据名：NTHCHDTL

数据量：2

环境名：B

主控单元101接收到数据生成请求后，根据指令文本生成数据库查询语句，调用数据存储单元106执行查询。生成的数据库查询语句具体如下：

SELECT A1.*FROM目标数据信息表A1WHERE A1.DESC＝’NTHCHDTL’

SELECT A2.*FROM目标数据信息表A1,字段规则定义表A2 WHEREA1.SEQNO＝A2.SEQNO AND A1.DESC＝’NTHCHDTL’

执行查询后，两条查询语句均无查询到记录。

B、终端以指令文本的方式，提交目标数据组成结构信息。指令文本的格式如下：

指令名：目标数据结构定义

目标数据名：NTHCHDTL

数据类型：数据库表

字段名1：ACCNO

字段类型1：数字型

字段长度1：17

字段名2：WORKDATE

字段类型2：日期型

字段长度2：10

字段名3：STATUS

字段类型3：字符型

字段长度3：1

主控单元101接收到数据生成请求后，根据指令文本生成目标数据结构定义的XML记录如下：

主控单元101将生成的XML记录提交给数据结构定制单元102。数据结构定制单元102获取到XML报文后，对节点进行解析和拆分，获取到各个字段的定义信息；然后生成以下的记录插入语句集合，顺次插入数据存储单元106中的“目标数据信息表”中：

INSERT INTO目标数据信息表(SEQNO,DESC,TYPE,FIELD_NAME,FIELD_TYPE,FIELD_LENGTH,FIELD_SEQ)VALUES(’A111’,’NTHCHDTL,’数据库表’,’ACCNO’,’数字型’,’17’,’1’)；

INSERT INTO目标数据信息表(SEQNO,DESC,TYPE,FIELD_NAME,FIELD_TYPE,FIELD_LENGTH,FIELD_SEQ)VALUES(’A111’,’NTHCHDTL,’数据库表’,’WORKDATE’,’日期型’,’10’,’2’)；

INSERT INTO目标数据信息表(SEQNO,DESC,TYPE,FIELD_NAME,FIELD_TYPE,FIELD_LENGTH,FIELD_SEQ)VALUES(’A111’,’NTHCHDTL’,’数据库表’,’STATUS’,’字符型’,’1’,’3’)；

C、终端以指令文本的方式，逐个字段提交目标数据的数据生成规则定义。以其中字段1为例，指令文本的格式如下：

指令名：字段生成规则定义

目标数据编号：A111

字段名：ACCNO

字段规则类型：数据源抽取

字段规则参数：SELECT ACCNO FROM NTHCHSUB WHERE ZONENO＝1001

字段取数方法：唯一值

内容变形操作：Accno17To19

主控单元101接收到指令文本后，根据指令文本生成字段生成规则定义的XML记录如下：

主控单元101将生成的XML记录提交数据规则定制单元103处理，数据规则定制单元103顺次解析XML节点，对其中“字段规则类型”、“字段取数方法”进行合法性校验。上述记录的字段规则类型值为“数据源抽取”，字段取数方法为“唯一值”，可以通过合法性校验。完成校验后，数据规则定制单元103组织数据库插入语句并调用数据存储单元106，将数据规则信息写入“字段规则定义表”中。具体的插入语句如下：

INSERT INTO字段规则定义表(DATASEQ,FIELD_NAME,RULE_TYPE,RULE_CONTENT,SELECT_TYPE,EXT_FUNC)VALUES(’A111’,’ACCNO’,’数据源抽取’,’SELECT ACCNO FROM NTHCHSUB WHERE ZONENO＝1001’,’唯一值,’Accno17To19’)；

D、数据生成单元104接收到主控单元101发送的数据生成指令，依次完成以下操作(以字段1为例)：

1)、根据目标数据名查询数据存储单元106中的“字段规则定义表”，获取目标数据NTHCHDTL对应的字段规则定义，组成搜索结果集。具体使用的查询语句如下：

SELECT A2.*,A1.目标数据类型FROM目标数据信息表A1,字段规则定义表A2WHERE A1.SEQNO＝A2.SEQNO AND A1.DESC＝’NTHCHDTL’

2)、获取搜索结果集中的一个字段记录，“字段名”为ACCNO，“字段规则类型”为数据源抽取、“字段规则参数”为SELECT ACCNO FROM NTHCHSUB WHEREZONENO＝1001。

3)、数据生成单元104判断“字段规则类型”取值为“数据源抽取”，因此根据数据源名B，查询数据存储单元106中的环境信息表，获取环境信息记录并通过TCP/IP协议，连接数据源。然后，数据生成单元104读取“字段规则参数”的值(SELECT ACCNO FROMNTHCHSUB WHERE ZONENO＝1001)，提交数据源执行查询，返回两条数据(10011234567891235、10011234567891236)，放入备选数据集合中。

4)、数据生成单元104判断“字段取数方法”为“唯一值”，则获取备选数据集合的第一个数据(10011234567891235)，作为该字段的生成数据，然后把该数据在备选数据集合中删除。

5)、数据生成单元104读取“内容变形操作”的取值，以JAVA类调用的方式调用工具

Accno17To19，对生成数据进行处理，处理后的数据为1001123456789123588

6)、重复执行上述步骤2)到5)，对搜索结果集中所有字段都执行数据生成操作(在本实施例的本次执行中，假设字段WORKDATE的生成数据为2012-01-01，字段STATUS的生成数据为1)。在完成字段数据生成后，数据生成单元104判断目标数据类型为“数据库表”，则根据目标数据名、目标数据中各字段的字段名和生成数据值，拼装数据库插入语句如下：

INSERT INTO NTHCHDTL(ACCNO,WORKDATE,STATUS)VALUES(1001123456789123588,’2012-01-01’,1)；

语句拼装完成后，数据生成单元104打开输出流，将语句写入在C盘下名为NTHCHDTL.TXT数据文件中；

7)、数据生成单元104判断生成的数据条数是否等于要求的数据量2，如相等则关闭数据文件的写入句柄，向主控单元101返回数据文件路径信息(C:\NTHCHDTL.TXT)。

E、主控单元101向数据提交单元105传入目标数据名(NTHCHDTL)、环境信息名(环境B)及数据文件路径信息(C:\NTHCHDTL.TXT),数据提交单元105接收到信息后，查询数据存储单元106中的环境信息表，获取环境B对应的环境信息；然后根据目标数据名NTHCHDTL查询目标数据信息表的数据描述字段，获取目标数据类型为“数据库表”。

完成查询操作后，数据提交单元105通过JDBC协议连接环境B对应的数据库，逐行读取本地C盘下名为NTHCHDTL.TXT的数据文件，将读取出来的数据行作为SQL脚本插入数据库。

主控单元101将“批量数据生成成功”的结果反馈给请求终端。

由上述实施例可知，本技术方案在数据描述中引入了“字段规则”的概念，通过字段规则的集合来描述每一个具体的目标数据的组成情况。当需要批量生成数据时，只需要顺次查询“字段规则”并进行指定的数据抽取、生成与组合操作，就可以快速生成大批的数据。当存在大量数据需要准备的情况下，与传统的手工逐条生成数据相比，生成效率大为提高。同时在该模式下，造数人员整理编写的字段规则会进行保存，任意多个字段规则可根据需要进行组合，提高了字段规则的可重用性。本技术方案解决了依靠手工的数据生成方法，生成质量差、重用度低的问题，同时实现了数据生成的批量化及自动化，可以有效地促进银行软件开发使用效率及质量的提高。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种软件应用数据的生成装置，其特征在于，该装置包括：主控单元、数据结构定制单元、数据规则定制单元、数据生成单元、数据提交单元和数据存储单元；其中，

所述数据存储单元，用于以数据库管理工具的形式，记录每个目标数据的信息，目标数据中每个字段的具体数据规则定义，以及提供目标数据文件所需的目标环境；

所述主控单元，用于接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表，根据查询结果来调度数据结构定制单元、数据规则定制单元、数据生成单元、数据提交单元、数据存储单元；

所述数据结构定制单元，用于接收所述主控单元输入的目标数据结构定义的XML记录，解析每个字段的字段名、字段顺序、字段长度、字段规则类型；

所述数据规则定制单元，用于读取所述数据存储单元中保存的目标数据的结构信息，根据每个字段的字段名、字段顺序、字段长度、字段规则类型为字段定制取数规则，生成数据规则集，并将所述数据规则集输入至所述数据存储单元；

所述数据生成单元，用于根据所述数据规则定制单元生成的数据规则集，自动按量生成每个字段符合规则的取值，通过字段间的排列组合，形成目标数据文件；

所述数据提交单元，用于根据存储环境，将所述数据生成单元生成的目标数据文件提交到目标环境中。

2.如权利要求1所述的装置，其特征在于，所述数据规则定制单元包括第一校验模块、第二校验模块和写操作模块；

所述第一校验模块，用于对字段规则类型变量进行合法性校验，若变量值非空且取值为固定值、数据区间、数据源抽取、用户自定义数据集合或字段引用，则对字段规则类型变量通过合法性校验；否则，向所述主控单元返回报错信息；

所述第二校验模块，用于对字段取数方法变量进行合法性校验，当字段规则类型变量取值为数据区间、数据源抽取或用户自定义数据集合；并且，检查字段取数方法是否非空且为随机值、唯一值或顺序循环，则对字段取数方法变量通过合法性校验；否则，向所述主控单元返回报错信息；

所述写操作模块，用于根据内存中的变量值，组织数据库插入语句，并调用数据存储单元，将数据规则信息写入数据存储单元中。

3.如权利要求1所述的装置，其特征在于，所述数据生成单元具体用于根据所述主控单元输入的目标数据名A1、数据量N、数据源B1访问所述数据存储单元，用数据库查询语句查询目标数据信息表和字段规则定义表，将目标数据名A1对应的字段规则定义表记录筛选出来，组成搜索结果集；根据所述搜索结果集获得字段规则类型和字段规则参数，并利用字段规则类型和字段规则参数生成备选的数据集合，再根据字段取数方法选择所述数据集合中的数据，获得各字段的数据生成结果；将各字段的数据生成结果顺次进行拼装，以数据库插入语句或数据行的方式，写入数据文件，形成目标数据文件。

4.一种利用权利要求1～3的装置快速生成数据的方法，其特征在于，包括：

主控单元接受数据快速生成请求及目标数据名信息，并调用数据存储单元，以目标数据描述等于目标数据名为条件，查询目标数据信息表以及字段规则定义表；

如果目标数据信息表和字段规则定义表均查询不到记录，则所述主控单元接受用户输入的目标数据组成结构信息，生成目标数据结构定义的XML记录；以XML内容为参数，调用所述数据结构定制单元，所述数据结构定制单元获取到XML报文后，对节点进行解析和拆分，获得各个字段的定义信息，并按照字段顺序节点中记录的顺序生成目标数据信息表的记录插入语句集合，顺次插入数据存储单元中的目标数据信息表中；

如果目标数据信息表中查询到记录，但字段规则定义表中查询不到记录，则所述主控单元接收用户提交的字段规则定义信息，启动数据规则定制单元进行字段规则定制处理，生成数据规则集；

如果目标数据信息表中和字段规则定义表中均查询到记录，则已维护软件应用目标数据的造数规则，所述主控单元以目标数据名、数据量、数据源为传入参数，启动数据生成单元，所述数据生成单元生成软件应用目标数据；

所述主控单元向数据提交单元传入目标数据名、环境信息名以及数据文件路径信息，所述数据提交单元接到信息后，根据环境信息查询所述数据存储单元中的环境信息表，获取环境信息记录；根据目标数据名查询目标数据信息表，获取目标数据；所述数据提交单元根据所述环境信息记录将所述目标数据上传到目标环境中。

5.如权利要求4所述的方法，其特征在于，所述数据规则集获得步骤包括：

对字段规则类型变量进行合法性校验，若变量值非空且取值为固定值、数据区间、数据源抽取、用户自定义数据集合或字段引用，则对字段规则类型变量通过合法性校验；否则，向所述主控单元返回报错信息；

对字段取数方法变量进行合法性校验，当字段规则类型变量取值为数据区间、数据源抽取或用户自定义数据集合；并且，检查字段取数方法是否非空且为随机值、唯一值或顺序循环，则对字段取数方法变量通过合法性校验；否则，向所述主控单元返回报错信息；

根据内存中的变量值，组织数据库插入语句，并调用数据存储单元，将数据规则信息写入数据存储单元中。

6.如权利要求4所述的方法，其特征在于，所述目标数据文件获得步骤包括：

根据所述主控单元输入的目标数据名A1、数据量N、数据源B1访问所述数据存储单元，用数据库查询语句查询目标数据信息表和字段规则定义表，将目标数据名A1对应的字段规则定义表记录筛选出来，组成搜索结果集；

根据所述搜索结果集获得字段规则类型和字段规则参数，并利用字段规则类型和字段规则参数生成备选的数据集合，再根据字段取数方法选择所述数据集合中的数据，获得各字段的数据生成结果；

将各字段的数据生成结果顺次进行拼装，以数据库插入语句或数据行的方式，写入数据文件，形成目标数据文件。