CN201374063Y - 一种对通用数据文件进行检查的装置 - Google Patents

Abstract

本实用新型公开了一种对通用数据文件进行检查的装置，该装置包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)，该装置具有星型连接结构，数据存储单元(02)位于该装置的中心，数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02)。利用本实用新型，减少了移行过程中程序开发的工作量，节约了人力和时间，降低了企业移行的成本，实现了文本检查的通用性，提高了工作效率和检查的准确性。

Description

一种对通用数据文件进行检查的装置

技术领域

本实用新型涉及计算机数据处理技术领域，尤其是一种对各种格式的通用数据文件进行检查的装置。

背景技术

随着计算机应用系统的推广和普及，应用系统之间的整合也越来越频繁，系统整合势必涉及到对数据文件的移行检查，由于各个应用系统结构差别很大，对数据移行文件的格式要求也不尽相同，校验规则不统一，文本之间通常还存有各种校验关系，这导致移行文本的校验和转换变得非常复杂，需要根据不同系统的实际要求更改移行数据文件格式。

数据移行时，业界通常的做法是根据每次移行的文本格式、校验规则等要求，为其设计开发一套文本校验的程序软件。每次移行都使用新程序软件，使得移行校验的正确率得不到明显提高，并且随着业务的发展，移行的复杂度会越来越高，数据量也会越来越大，对业务人员、开发人员和测试人员都是更大的挑战。这样，不仅做了很多的重复开发，耗费大量的人力和时间，企业的开发成本也会大大上升。

实用新型内容

(一)要解决的技术问题

针对以上问题，本实用新型的目的在于提供一种对通用数据文件检查装置，以减少移行过程中程序开发的工作量，节约人力和时间，降低企业移行的成本，实现文本检查的通用性，提高工作效率和检查的准确性。

(二)技术方案

为达到上述目的，本实用新型提供了一种对通用数据文件进行检查的装置，包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06，该装置具有星型连接结构，数据存储单元02位于该装置的中心，数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02。

上述方案中，所述数据接收单元01将数据文件从外部导入并存储到所述数据存储单元02中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。

上述方案中，所述数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表，用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04数据执行处理单元05或数据检查输出单元06的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。

上述方案中，所述文本信息登记表用于登记保存数据文件的名称和长度，所述文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；所述字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；所述条件信息登记表用于登记保存检查表与参照表之间约束关系；所述外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。

上述方案中，所述参数配置单元03定义、修改和删除数据文件的文本、字段、规则、关系或约束信息，形成文本检查的规则信息，并将该规则信息存储到数据存储单元02中。

上述方案中，所述参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元02。

上述方案中，所述数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除；所述文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能；所述规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除；所述文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系；所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。

上述方案中，所述规则管理单元04文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元02中，供数据执行处理单元05使用。

上述方案中，所述数据执行处理单元05运行规则管理单元04生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元06。

上述方案中，所述数据检查输出单元06将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。

(三)有益效果

从上述技术方案可以看出，本实用新型具有以下有益效果：

1、利用本实用新型，减少了移行过程中程序开发的工作量，节约了人力和时间，降低了企业移行的成本，实现了文本检查的通用性，提高了工作效率和检查的准确性。

2、利用本实用新型，不仅仅减少了技术人员的工作量，而且可以为业务人员提供了文本检查装置平台，提供了灵活的文本检查方案，规范了各类文本检查规则定义、设置、检查相关流程，在不受行业限制的情况下，实现文本检查的通用性、提高工作效率。

3、利用本实用新型，使得在移行过程中减少了大量程序开发和文本规则定义的时间，降低了企业移行的成本。同时使用通用的文件装置大大减少了技术人员在移行过程中的工作量，规范了移行中文本格式更改的操作流程，由用户自行进行文本设定和校验也可以大大提高测试进度。

4、本实用新型支持多平台多操作装置的特性使其可以应用于许多测试工作中，科学规范的文件检查提高了工作效率和检查的正确性，为测试工作赢得了更多的时间。

附图说明

图1是本实用新型提供的对通用数据文件进行检查的装置的结构示意图；

图2是本实用新型提供的对通用数据文件进行检查的装置中数据存储单元的结构示意图；

图3是本实用新型提供的对通用数据文件进行检查的装置中参数配置单元的结构示意图；

图4是本实用新型提供的对通用数据文件进行检查的方法流程图；

图5是本实用新型提供的规则管理单元生成命令规则的方法流程图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本实用新型进一步详细说明。

本实用新型通过建立一种通用数据文件检查模型，将各种文本格式校验的共同点归纳出来，使得用户可以方便的定义文件检查规则，实现对各种文本格式的移行数据文件自动校查效验。

如图1所示，图1是本实用新型提供的对通用数据文件进行检查的装置的结构示意图，该装置包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06。该装置具有星型连接结构，数据存储单元02位于该装置的中心，数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02。

数据接收单元01用于将数据文件从外部导入并存储到所述数据存储单元02中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。其中，数据异常处理是指检查导入的数据文件文本长度、格式是否符合要求，并提示用户成功导入的记录数和失败的记录数。导入后的数据信息浏览查看是指数据文件导入后，用户可选择查看导入信息，确认导入文本内容是否正确。

数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表等(如图2所示)，用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04数据执行处理单元05或数据检查输出单元06的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果等信息。

其中，文本信息登记表用于登记保存数据文件的名称和长度；文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；条件信息登记表用于登记保存检查表与参照表之间约束关系；外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。

其中，检查表是指待检查的文本内容。在检查过程中，此表的某些字段需要与另一个检查表(即参照表)中的某个字段做条件比较，则其比较信息存入条件登记表中；检查表如果有外键，则还需要检查其外键关联的表(外键关联表)是否符合要求，二者的关联信息保存在外键信息登记表中。

参数配置单元03用于定义、修改和删除数据文件的文本、字段、规则、关系或约束等信息(如图3所示)，形成文本检查的规则信息，并将该规则信息存储到数据存储单元02中。参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元02。

其中，数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除。文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能。规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除。文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系。文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。

规则管理单元04用于文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元02中，供数据执行处理单元05使用。

数据执行处理单元05用于运行规则管理单元04生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元06。

数据检查输出单元06用于将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。

基于图1至图3所示的对通用数据文件进行检查的装置，图4示出了本实用新型提供的对通用数据文件进行检查的方法流程图，该方法通过对各种文本格式校验特点的归纳，定义好文件检查规则，实现对各种文本格式的移行数据文件校查效验。具体包括以下步骤：

步骤1：参数配置单元设定文本的字段规则，并设置字段检查规则；

步骤2：规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令；

步骤3：数据接收单元导入待检查数据文件；

步骤4：数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，并将检查结果保存在存储单元中；

步骤5：数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。

上述步骤1中，所述参数配置单元设定文本的字段规则，并设置字段检查规则，具体包括：

步骤10：参数配置单元添加新文件或表，并输入文件或表的名称和描述信息，生成的文件信息保存在数据存储单元的文本信息登记表中；文本信息登记表的格式如表1所示：

序号	域名	域名描述	数据类型	备注
						Id	文本序号	Long
	File_name	文本名称	Char(20)
						File_len	文本长度	Long
	Ch_name	中文名称说明	Char(50)
						En_name	英文名称说明	Char(50)
	Field_type	文本类型	Char(50)	用于记录文本类型1.参数表2.普通文本

表1

步骤11：参数配置单元添加文件或表的结构信息，选择手工或自动化方式导入数据，生成文件属性信息表，文件属性信息表中各字段按照字段序号排列；文件属性信息表如表2所示：

序号	域名	域名描述	数据类型	备注
						Id	字段序号	Long
	File_id	文本序号	Long
						Field_name	字段名称	Char(20)
	Field_lenth	字段长度	Long
						Ch_name	中文名称说明	Char(50)
	En_name	英文文名称说明	Char(50)

表2

步骤12：参数配置单元设置字段检查规则，包括简单规则、条件规则和复杂规则，该规则信息以多个表的形式保存在数据存储单元中。本实用新型为灵活适应业务需求还支持手工输入检查规则，这些规则信息以多个表的形式全部保存在数据存储单元02中，其中最关键的表为字段检查规则表，字段检查规则表如表3所示：

序号	域名	域名描述	数据类型	备注
						Id	规则序号	Long
	File_id	文本序号	Long
						Field_id	字段序号	Long
	Check_type	检查类型	Long	字段类型检查是否必输常数值检查复杂规则检查sql语句检查
						Field_type	字段类型	Char(20)	1.文本2.数字3.日期
	Compflag	运算符	Char(20)	＞，＜，＝等
						Constvalue	常数值	Char(50)
	Ch_name	中文描述	Char(50)
						En_name	英文描述	Char(50)
	Index	索引	Char(50)	索引
						Sqltxt	Sql语句	Char(300)	手工定义sql检查语句

表3

其中规则序号是唯一的，每个规则对应一个序号，一个文本中某个字段可能对应多个检查规则。所有规则都存放在此表中，以文本序号标识规则对应的文本，字段序号标识此规则是检查文本中的第几个字段。检查类型则标识此规则是做什么类型的检查，其中“字段类型”、“是否必输项”和“常数值检查”属于简单规则检查，不需要关联其他表即可完成检查，其他复杂规则的检查过程在后面的步骤中详细描述。

上述步骤2中，所述规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令，具体包括：所述规则管理单元从文件信息登记表中获取文件信息，从文本属性表中获取各字段的详细信息，再根据文本序号查找字段检查规则表，将此文本对应的规则全部取出放到一个临时表中，该临时表的结构与字段检查规则表相同，接着根据字段检查规则表的检查类型生成检查命令。

字段类型检查：根据“字段类型”生成检查字段类型的命令。例如“ifnumber(n)is true”

是否必输项：判断是否为空。如“if field1 is null”

常数值检查：根据“运算符”和“常数值”生成条件比较命令。如“if x＞200”。

复杂规则检查：字段的检查需要关联到其他表，通过查找条件信息登记表生成检查规则命令。条件信息登记表信息如表4所示：

序号	域名	域名描述	数据类型	备注
						Id	序号	Long
	Check_id	规则序号	Long
						Subtab_id	子表序号	Long
	Forecol_id	字段序号	Long
						Subtab	子表名称	Char(50)
	Forecol	条件字段名称	Char(50)
						Compflag	条件符号	Char(50)
	Maintab_id	参照表序号	Long
						Maincol_id	参照字段序号	Long
	Maintab	参照表名称	Char(50)
						Maincol	参照字段名称	Char(50)
	Ch_name	中文描述	Char(50)
						En_name	英文描述	Char(50)

表4

首先在条件信息表中查找此规则序号，得到需要检查的表名称和参照表名称，以及相应的字段信息，通过条件符号生成条件检查命令。如需要检查的表名TABLEA，检查字段为WORKDATE，参照表为TABLEB，检查字段为BATDATE，条件符号为“＜”，则生成的检查规则命令为“ifTABLEA.WORKDATE＜TABLE.WORKDATE”。

有时检查表和参照表是需要通过外键来定位，则需要根据外键信息登记表查找，外键信息登记表如表5所示：

序号	域名	域名描述	数据类型	备注
						Id	序号	Long
	Check_id	规则序号	Long	外键到check_check
						Subtab_id	表序号	Long
	Forecol_id	字段序号	Long
						Subtab_name	表名称	Char(50)
	Forecol_name	字段名称	Char(50)
						Maintab_id	关联表序号	Long
	Maincol_id	关联表字段序号	Long
						Maintab_name	关联表名称	Char(50)
	Maincol_name	关联表字段名称	Char(50)
						Ch_name	中文描述	Char(50)
	En_name	英文描述	Char(50)

表5

根据检查的表的外键(字段序号)查找参照表(关联表字段序号)得到对应的记录，再根据条件信息表的检查字段生成条件信息检查命令。

手工输入sql语句：对于有些特殊的检查规则，不能通过以上4种方法生成，则采用手工输入检查规则，这些规则保存在字段检查规则表的sqltxt字段里。规则管理单元04将以上规则命令生成后，放在一个临时表中，等待数据执行处理单元05调用执行。

上述步骤3中，所述数据接收单元导入待检查数据文件后，数据接收单元可浏览导入文件信息，如果文件格式不匹配，则数据接收单元将以文本格式输出文件导入失败信息。

上述步骤4中，所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，具体包括：在数据接收单元导入原始检查文件的过程中，数据执行处理单元进行简单规则的检查，接着输出导入文件检查结果，包括简单规则检查信息，若导入失败或有检查错误信息，则通知用户修改原始数据文件；若全部成功，则进行复杂规则检查。检查结束后，将检查结果保存在存储单元02中。具体处理流程可参考图5，图5是本实用新型提供的规则管理单元生成命令规则的方法流程图。

为更加清楚说明本实用新型对通用数据文件进行检查的方法，以下提供一个具体实施例。在本实施例中，文件A.TXT是一个待检查的文本文件；文本文件B.TXT为参照表，作为A文件参数比较检查的依据，B.TXT可以为业务参数表或者数据字典数据等。

TXT文本结构如下：

A1    CHAR(10)，

A2    int

A3    DATE

TXT文本结构如下：

B1    int

B2    CHAR(10)

Step1：数据接收单元将该两个文本结构和文本数据导入到本实用新型装置。

Step2：用户通过参数配置单元设置检查文本规则，包括以下内容：

(1)设置两个文本文件各个字段类型的检查规则，检查内容如下：

A1：字符类型检查

A2：数字类型检查

A3：日期类型检查

B1：数字类型检查

B2：字符类型检查

(2)设置两个文本文件间的关联关系。

在本实施例中，建立A文本文件字段A2与B文本文件字段B1的关联关系，即字段A2的取值范围从属于字段B1的取值；从而建立A文本与B文本之问的约束关系。

Step3：规则管理单元04读取数据存储单元02登记的字段检查规则表和条件信息登记表所存储的内容，并将这些规则信息组织转换成检查执行命令。

Step4：数据检查处理单元05，根据Step3生成的规则检查命令，进行数据关联检查，并输出检查结果到数据存储单元02；

Step5：数据检查输出单元06将检查结果以报表形式输出给用户。

以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限制本实用新型，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1、一种对通用数据文件进行检查的装置，其特征在于，包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)，该装置具有星型连接结构，数据存储单元(02)位于该装置的中心，数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02)。

2、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据接收单元(01)将数据文件从外部导入并存储到所述数据存储单元(02)中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。

3、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据存储单元(02)包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表，用于存放数据文件以及数据接收单元(01)、参数配置单元(03)、规则管理单元(04)数据执行处理单元(05)或数据检查输出单元(06)的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。

4、根据权利要求3所述的对通用数据文件进行检查的装置，其特征在于，所述文本信息登记表登记保存数据文件的名称和长度，所述文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；所述字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；所述条件信息登记表用于登记保存检查表与参照表之间约束关系；所述外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。

5、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述参数配置单元(03)定义、修改和删除数据文件的文本、字段、规则、关系或约束信息，形成文本检查的规则信息，并将该规则信息存储到数据存储单元(02)中。

6、根据权利要求5所述的对通用数据文件进行检查的装置，其特征在于，所述参数配置单元(03)包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元(02)。

7、根据权利要求6所述的对通用数据文件进行检查的装置，其特征在于，

所述数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除；

所述文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能；

所述规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除；

所述文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系；

所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。

8、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述规则管理单元(04)文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元(02)中，供数据执行处理单元(05)使用。

9、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据执行处理单元(05)运行规则管理单元(04)生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元(06)。

10、根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据检查输出单元(06)将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。

Images