CN101320394A - 一种支持多种文件类型的数据采集方法 - Google Patents

Abstract

本发明涉及一种支持多种文件类型的数据采集方法，通过本发明的方法可以将任何类型的数据读入到需要的系统中。如OA系统、薪酬系统、券商的清算系统等后台数据库形式，也可以是用户自己定义的EXCEL表，业务系统提供的DBF或者是TXT数据源，都可以通过本工具读入到所需系统中去，再由所需系统对其要实现的功能进行数据处理。如：券商的财务核算系统将从它的清算系统中采集数据，为下一步的核算提供数据。

Description

一种支持多种文件类型的数据采集方法

技术领域

本发明专利是用于各软件应用系统对业务数据的采集，减少手工工作量，也减少了数据出错的机率，提高业务处理效率，提高系统的数据准确性，从而实现各系统间的数据共享，同时因为几乎支持各种数据类型，也降低了软件供应商的开发成本；除了系统间数据共享外，在一个新系统建设过程中，保护原系统产生的数据资源很重要，一定要导入到新系统中，像旧系统产生的一些人员，工资，财务等数据在新系统中都要记录下来，以保证数据的连续性，这种情况也需要数据采集工具，实现新旧系统的平稳切换。

背景技术

目前计算机软件产业的不断发展，越来越多的行业单位都实现了信息化，但由于一些行业单位业务烦琐，又没有一个软件提供商能为其提供所有的技术支持，许多行业单位存在好几套软件同时应用的现象，比如证券公司在经营过程重同时应用OA系统，薪酬系统，清算系统，财务管理系统等等，而这些系统间还存在着某些关联，比如A系统可能会需要B系统的数据，但又不能让用户在AB系统都分别录一遍数据，如果那样不仅为用户带了巨大的工作量，而且重复录入还可能存在录入错误，给数据核对造成一定的困难。于是各应用软件就常常会涉及到数据采集、数据汇总、财务核算等工作，数据采集的重要性十分显著。这种从其他数据库或外部文件而来的数据称为接口数据，然而各种接口系统所产生的数据格式均有所不同，所以必须在开发的过程中，经过采集、整理，才能将异构数据形式转换为应用系统所需要的格式，本发明中的这套采集工具，正是符合以上所需，经过许多用户使用后提炼出来的。

发明内容

本发明的目的是提供一个比较通用的读数工具，通过这个工具来满足系统对于其它系统数据采集需求的一种支持多种文件类型的数据采集方法。

本发明的方法包括五个部分，第一、数据库服务器信息定义；第二、数据源定义；第三、内外表关系定义；第四、数据采集。

由用户定义要读数的后台数据库联接信息，如果不是后台数据库读取方式，而是外部文件读取方式，可以不定义数据库联接信息，直接根据向导进入第2步，定义表单即表名、路径、文件类型等信息，然后再定义对应的表单结构，以及与系统表的关系，读数工具根据用户定义的这些信息将所需数据读入到系统表中，以供其它系统进一步处理。

附图说明：

图1表示数据采集定义流程。

具体实施方式

本发明的支持多种文件类型的数据采集方法可以广泛支持MSS SQL、SYBASE、ORACLE等大型数据库，也支持DBF、TXT、EXCEL外部文件，以下是对本发明的具体描述。

本发明的支持多种文件类型的数据采集方法分以下几部分：

数据库服务器联接信息定义：如果存在对后台数据库的连接取数，就需要用户在该功能下定义服务器名称，数据库名称，管理员口令等信息，本发明通过这些信息建立DBLINK用于后台数据库的连接，如MSS SQLServer、ORACLE、SYBASE大型数据库，如果是DBF、TXT、EXCEL外部文件方式则不需要定义数据库服务器联接信息。

数据源定义：定义数据源名称，如果是外部表类型，定义存放路径，日期字段，取数SQL，表单结构定义(字段名称，类型，长度，精度)。如果是后台数据库形式，还要关联数据库联接信息，取数SQL。

内外表关系定义：外部要读入的数据源和系统表不一定会是一一对应关系，这就需要定义一下他们之间的关系，这里也支持通过某些函数转换后再读入到系统表中。如外部数据源中可能”A”表示某值，而系统表为了系统需要，用”01”表示某值。

数据采集：根据以上定义，通过读数工具中的数据采集功能，根据定义的表单结构及内外表关系，将外部数据读入到系统表中来。

实施案例：本发明已经成功运用到各个行业，如保险、证券、银行、烟草、制造等行业，如：读取薪酬基本工资、绩效、社保金、公积金、费用报销数据、固定资产数据、券商清算数据等，满足财务系统对这些数据进一步核算的需要，做到了不落地式处理，减少了手工录入的错误率，也降低了软件供应商的开发成本。

Claims (6)

1、一种支持多种文件类型的数据采集方法，其特征在于包括下列内容：

1)数据库服务器信息定义，定义要取数据的数据库服务器信息；

2)数据源定义，定义每种数据来源，包括文件名称，文件存放路径，以读数据库服务器方式，要有对应数据库服务器的编号、读入到系统中实表名、实表名称字段的信息，同时定义表单结构，表单结构，包括字段名称、类型、长度、主外键信息；

3)内外数据表关系定义，定义外部数据表结构与读入的系统数据表结构的关系，包括：

(1)外部数据源和系统表不是一一对应关系的；

(2)对外部数据源需要做某些处理再存入系统表中的；

4)数据采集，通过定义数据源类型，利用连接对象，通过定义表结构及关系定义，将数据源读入到系统表中。

2、根据权利要求1所述的数据采集方法，其特征在于为后台数据库数据的读入定义数据库服务器的相关信息包括：数据库服务器名称、数据库实例名称、属主、用户密码、DBLINK名称和数据库信息编号，通过定义上述信息连接数据源所在的数据库，为采集数据做准备：

3、根据权利要求2所述的数据采集方法，其特征在于定义所需采集的数据表信息包括：

(1)以数据库方式，要选择在数据库服务器定义功能中定义的数据库信息编号；

(2)以外部文件类型，需要定义文件类型、文件名称、存放路径、读入系统中的实表名称、实表日期列和取数SQL；

(3)同时定义要读入的数据源结构信息，包括字段名称，字段类型，字段长度、精度，主外键信息。

4、根据权利要求2所述的数据采集方法，其特征在于以后台数据库采集方式和外部文件取数方式，都需要通过定义的数据库信息连接后台数据库或者外部文件类型定义的数据源信息，组织成一个包含不同数据库引擎的连接字符串，通过传递这个连接字符串，建立通用数据访问的OLEDB与外部数据源建立连接，能使用户的应用程序找到并读出任意类型的数据存储；获取到定义的外部数据表结构，在需要采集数据的系统内，创建一个具有相同类型的临时表，执行取数SQL，将原始数据读入到临时表中，然后再通过定义的外部表与系统表关系，通过数据整理，再将临时表中的数据转入系统表，从而实现系统所需数据源的采集。

5、根据权利要求2所述的数据采集方法，其特征在于定义外部数据源与系统表之间的关系，通过自定义函数方式，将数据进行转换。

6、根据权利要求1所述的数据采集方法，其特征在于对于数据库方式读入，支持MSS SQLServer、ORACLE和SYBASE大型数据库，也支持外部DBF、TXT和EXCEL文件方式，。

Images