CN108920638A

CN108920638A - 基于数据字典配置的web端文件数据采集方法及装置

Info

Publication number: CN108920638A
Application number: CN201810708983.2A
Authority: CN
Inventors: 李长振; 程林; 杨培强
Original assignee: Shandong Inspur Business System Co Ltd
Current assignee: Shandong Inspur Business System Co Ltd
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2018-11-30

Abstract

本发明提供一种基于数据字典配置的web端文件数据采集方法，属于数据采集技术领域，为解决现有采集方法判断类型单一且更新复杂的问题，该方法采用的技术方案基于关系型数据库，包括：管理员建立需要采集数据的数据字典信息，并进行版本控制；管理员定义文件模板并生成对应类型的模板；操作人员上传文件，判断文件类型，进行数据解析。当关系型数据库进行字段调整、增加或删减数据需求时，管理员可以直接进行修改、增加或删减数据字典信息的操作，并定义新的版本。本发明还提供一种基于数据字典配置的web端文件数据采集装置，其与上述方法相结合，完成多种类型文件的解析，并支持用户自定义模板，满足客户的个性化需求。

Description

基于数据字典配置的web端文件数据采集方法及装置

技术领域

本发明涉及web端文件的数据采集，具体地说是一种基于数据字典配置的web端文件数据采集方法及装置。

背景技术

在web端应用系统中，文件数据的解析已经非常成熟，比如excel文件、xml文件以及csv文件等。

目前的web端系统中，多为固定模板的解析，一方面，解析过程过于繁琐，另一方面，如果新增采集模板或调整模板字段，就需要开发人员重新定制开发，存在局限性。而且随着税务行业综合治税业务的需要，对数据的采集需求越来越频繁，不断变更模板或新增模板，传统的文件采集处理方式已不满足客户需求。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种基于数据字典配置的web端文件数据采集方法。

本发明解决其技术问题所采用的技术方案是：

一种基于数据字典配置的web端文件数据采集方法，该方法基于关系型数据库，包括：

1)管理员建立需要采集数据的数据字典信息，并进行版本控制；

2)管理员定义文件模板并生成对应类型的模板；

3)操作人员上传文件，判断文件类型，进行数据解析。

当关系型数据库进行字段调整、增加或删减数据需求时，管理员可以直接进行修改、增加或删减数据字典信息的操作，并定义新的版本，随后执行步骤2)、3)。

步骤3)的具体操作内容包括：

读取上传文件，按文件类型进行解析，文件类型基于文件后缀进行识别限定；

根据上传文件的解析信息，读取当前数据库存储的字典信息；

将文件字段信息与数据库信息比对，验证字段匹配信息，当字段一一对应，进行数据的解析入库。

数据字典信息包括字段名称、字段类型、字段长度、字段精度、是否可为空。

文件模板的类型包括excel的xls、xlsx版本模板，csv文件模板或者xml模板。

关系型数据库采用oracle数据库或mysql数据库。

本发明还提供一种基于数据字典配置的web端文件数据采集装置，该采集装置基于关系型数据库，包括：

构建控制模块，用于构建需要采集数据的数据字典信息并进行版本控制；

定义生成模块，基于构建的数据字典信息定义文件模板并生成对应类型的模板；

判断解析模块，用于判断操作人员上传的文件类型，并根据判断结果进行解析。

进一步的，采集装置还包括：

更新模块，在关系型数据库进行字段调整、增加或删减数据时，用于修改、增加或删减所构建的数据字典信息，并更新版本。

具体的，判断解析模块具体包括：

第一读取单元，用于读取操作人员上传的文件；

识别单元，基于文件后缀进行文件类型的识别限定；

第二读取单元，基于识别结果读取数据库存储的字典信息；

比对单元，用于将所上传文件的字段信息与数据库信息进行比对；

验证单元，用于验证上述比对结果，并在比对结果一一对应时对所上传文件的数据进行解析入库。

具体的，数据字典信息包括字段名称、字段类型、字段长度、字段精度、是否可为空。

本发明的基于数据字典配置的web端文件数据采集方法及装置与现有技术相比所产生的有益效果是：

1)本方法基于关系型数据库，采集过程简单，支持多种类型文件的解析，方便客户对获取不同类型的文件进行处理；本方法还支持用户自定义模板，减少维护人员的工作量，满足客户的个性化需求，同时，减少重复性进行模板开发解析操作，降低软件的开发维护周期；

2)本装置与方法相结合，通过管理员进行数据字典信息的构建、数据字典信息版本的控制、不同文件类型模板的定义和生成，可以方便后期操作人员进行文件的上传、类型识别、比对和验证，进而完成所上传文件的解析，整个过程方便简单，支持多种类型文件的解析，而且，基于已经构建完成的数据字典信息，可以很方便的进行数据库的更新，减少重复性进行模板开发解析操作，降低软件的开发维护周期，同时，还能够支持用户自定义模板，减少维护人员的工作量，满足客户的个性化需求。

附图说明

附图1是实施例一的流程框图；

附图2是步骤S30的流程框图；

附图3是实施例二的结构连接框图；

附图4是图3中判断解析模块的结构连接框图。

图中各标号表示：

10、构建控制模块，20、定义生成模块，

30、判断解析模块，40、更新模块；

31、第一读取单元，32、识别单元，33、第二读取单元，

34、比对单元，35、验证单元。

具体实施方式

下面结合附图1、2、3、4，对本发明的一种基于数据字典配置的web端文件数据采集方法及装置作以下详细说明。

实施例一：

如附图1、2所示，本发明的一种基于数据字典配置的web端文件数据采集方法，该方法基于关系型数据库，关系型数据库采用oracle数据库或mysql数据库。

采集方法的具体实现步骤包括如下内容：

S10：管理员建立需要采集数据的数据字典信息，并进行版本控制。

以关系型数据库的一张人员信息表为例，此信息表需要采集的信息一般包括：性别，性别，出生日期，籍贯，证件类型，证件号码。那么，针对该表信息，字典信息应该设计为如下格式：

表信息：

表名称	表中文名称	版本
			T_RYXX	人员信息表	1

表字段信息：

如果系统基于oracle数据库实现，映射信息如下：

如果系统基于mysql数据库实现，映射信息如下：

根据以上内容，可以得出，数据字典信息包括字段名称、字段类型、字段长度、字段精度、是否可为空。

S20：管理员定义文件模板并生成对应类型的模板。

可根据客户需要或自身设计需要进行多种类型的文件模板维护，例如生成excel的xls、xlsx版本模板，csv文件模板或者xml模板等；对不同的版本，进行模板的调整。基于人员信息表举例如下：

创建excel模板：

生成模板文件如下：

列名信息为第一行隐藏，取消隐藏，显示如下：

创建xml模板：

xml文档基本信息：

Xml文档根节点	RyxxDatas
		Xml数据根节点	RyxxData

xml文档数据节点信息：

生成的xml模板文件如下：

Csv模板基本与excel类型，不再做具体介绍。

S30：操作人员上传文件，判断文件类型，进行数据解析。例如针对excel文件，可读取模板信息与excel文件信息进行版本比较，当版本相同情况下，进行数据的解析入库等操作，该段处理逻辑不需要依赖具体的某个表信息，只需动态传入需处理的表名称即可，即与表信息解耦。

具体操作步骤包括：

S31：读取上传文件，按文件类型进行解析，文件类型基于文件后缀进行识别限定。当文件为excel类型时，可采用开源的apache组件poi进行解析。首先解析文件首行信息，比如读取到的是：{xm,xb,chshrq,chshdd,zjlx,zjhm}，根据模板映射关系，可得到如下信息：{xm：Name，xb:Sex,chshrq:Birthdate,chshdd:Birthplace,zjlx:CertificateType,zjhm:IDNumber}；

S32：根据上传文件的解析信息，读取当前数据库存储的字典信息。如下：{Name,Sex,Birthdate,Birthplace,CertificateType,IDNumber}；

S33：将文件字段信息与数据库信息比对，验证字段匹配信息，当字段一一对应，进行数据的解析入库。

S40：当关系型数据库进行字段调整、增加或删减数据需求时，管理员可以直接进行修改、增加或删减数据字典信息的操作，并定义新的版本，随后执行步骤S20、S30。

当调整字段时，步骤S10中的表信息会存储一份新的版本，一般版本号加1，字段信息由使用人员进行自行调整，比如删除一列，增加一列，修改列名等，字段信息也会保存一份最新版本，版本号加1，如下：

表信息：

表名称	表中文名称	版本
			T_RYXX	人员信息表	1
T_RYXX	人员基本信息表	2

表字段信息：

相应的，在步骤S20中，需要维护对应的模板信息。

本方法支持多种类型文件的解析，方便客户对获取不同类型的文件的处理；支持用户自定义模板，减少维护人员的工作量，并满足客户的个性化需求；还可以减少重复性进行模板开发解析操作，降低软件的开发维护周期。

实施例二：

结合附图3，本发明还提供一种基于数据字典配置的web端文件数据采集装置，该采集装置基于关系型数据库，包括：

构建控制模块10，用于构建需要采集数据的数据字典信息并进行版本控制；

定义生成模块20，基于构建的数据字典信息定义文件模板并生成对应类型的模板；

判断解析模块30，用于判断操作人员上传的文件类型，并根据判断结果进行解析。

进一步的，采集装置还包括：

更新模块40，在关系型数据库进行字段调整、增加或删减数据时，用于修改、增加或删减所构建的数据字典信息，并更新版本。

结合附图4，判断解析模块30具体包括：

第一读取单元31，用于读取操作人员上传的文件；

识别单元32，基于文件后缀进行文件类型的识别限定；

第二读取单元33，基于识别结果读取数据库存储的字典信息；

比对单元34，用于将所上传文件的字段信息与数据库信息进行比对；

验证单元35，用于验证上述比对结果，并在比对结果一一对应时对所上传文件的数据进行解析入库。

无论是本发明保护的采集方法还是装置，其共同特点是：基于数据字典进行模板及版本控制；同一模板可支持多种类型文件；可进行自定义模板维护操作，易扩展。

最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管该具体实施方式部分对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims

1.基于数据字典配置的web端文件数据采集方法，其特征在于，该方法基于关系型数据库，包括：

2)管理员定义文件模板并生成对应类型的模板；

3)操作人员上传文件，判断文件类型，进行数据解析。

2.根据权利要求1所述的基于数据字典配置的web端文件数据采集方法，其特征在于,当关系型数据库进行字段调整、增加或删减数据需求时，管理员可以直接进行修改、增加或删减数据字典信息的操作，并定义新的版本，随后执行步骤2)、3)。

3.根据权利要求1所述的基于数据字典配置的web端文件数据采集方法，其特征在于,步骤3)的具体操作内容包括：

4.根据权利要求1或2或3所述的基于数据字典配置的web端文件数据采集方法，其特征在于,所述数据字典信息包括字段名称、字段类型、字段长度、字段精度、是否可为空。

5.根据权利要求1或2或3所述的基于数据字典配置的web端文件数据采集方法，其特征在于,所述文件模板的类型包括excel的xls、xlsx版本模板，csv文件模板或者xml模板。

6.根据权利要求1所述的基于数据字典配置的web端文件数据采集方法，其特征在于,所述关系型数据库采用oracle数据库或mysql数据库。

7.基于数据字典配置的web端文件数据采集装置，其特征在于，该采集装置基于关系型数据库，包括：

8.根据权利要求7所述的基于数据字典配置的web端文件数据采集装置，其特征在于,所述采集装置还包括：

9.根据权利要求7所述的基于数据字典配置的web端文件数据采集装置，其特征在于,所述判断解析模块具体包括：

第一读取单元，用于读取操作人员上传的文件；

识别单元，基于文件后缀进行文件类型的识别限定；

第二读取单元，基于识别结果读取数据库存储的字典信息；

10.根据权利要求7所述的基于数据字典配置的web端文件数据采集装置，其特征在于,所述数据字典信息包括字段名称、字段类型、字段长度、字段精度、是否可为空。