CN103309945A - 一种将数据导入数据库的装置 - Google Patents

Abstract

本发明提供一种将数据导入数据库的装置，包括：配置模块，在其中配置迁移数据的配置项，配置项至少包括数据源，目的数据库，数据库交互指令生成规则，控制模块，读取配置模块并解析出所述配置项，并根据配置项控制其它模块的操作，数据源读取模块，根据数据源配置项读取待迁移的数据，数据库交互模块，根据待迁移数据和数据库交互指令生成规则生成数据库交互指令，并将指令提交目的数据库。用本发明的装置执行不同的迁移数据任务时，只需要修改配置模块，控制模块，数据源读取模块和数据库交互模块，以及使用的其它辅助工具对于任何数据迁移而言都可以保持不变，而配置模块的配置项丰富，且修改配置项非常灵活简便，这就大大提高了数据迁移的灵活性。

Description

一种将数据导入数据库的装置

技术领域

本发明涉及数据迁移领域，特别是涉及一种将数据导入数据库的装置。

背景技术

在信息化的时代，一方面，企业内部的IT系统越来越多，每个系统负责处理自己的数据。但这绝不是一个个相互独立的信息孤岛，很多时候系统之间需要进行数据交互、信息共享。另一方面，在合作化、一体化的今天，不同企业间也存在数据交互的需求，比如交易所需要与登记结算机构进行每日的交易、结算数据交换。

但企业内部的各IT系统、不同企业组织所采用的数据存储方式并不相同，数据交换时采用的方式也各有不同，因此在数据交换时面临数据迁移的问题，比如，一种常见的情况是以文件进行数据交换，接收方接收到文件后，就需要将文件中的数据导入到自己的数据库。文件导入涉及多个处理环节，包括文件读取、文件校验、数据解析、数据校验、前置处理、数据导入、后置处理等。当导入文件较多或系统业务较复杂时，可能存在文件导入间的依赖关系，为了增加可用性，还需要管理文件的到达时间、结束时间以及出错处理等，另外对于某些大文件还需要多线程并行导入的支持，当然还包括一些扩展的特性，比如忽略某些行、最大导入记录数等。文件以外的其它的数据交换方式，也面临类似的数据迁移、导入的问题。

传统数据迁移技术一般采用硬编码或部分配置的处理方法，对很多处理逻辑进行了固化，缺乏灵活性和可扩展性。当导入数据比较少时，这种方法或许还能应付，但在如今数据爆炸的时代，而且数据迁移的接口变动也越来越频繁，所以迫切需要灵活、可扩展的数据迁移装置。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种将数据导入数据库的装置，用于解决现有技术中数据迁移时缺乏灵活性和可扩展性的问题。

为实现上述目的及其他相关目的，本发明提供一种将数据导入数据库的装置，包括：配置模块，在其中配置迁移数据的配置项，配置项至少包括数据源，目的数据库，数据库交互指令生成规则；控制模块，读取配置模块并解析出所述配置项，并根据配置项控制其它模块的操作；数据源读取模块，根据数据源配置项读取待迁移的数据；数据库交互模块，根据待迁移数据和数据库交互指令生成规则生成数据库交互指令，并将指令提交目的数据库。

优选地，上述将数据导入数据库的装置中，还可以在配置模块中配置前置操作，后置操作，线程管理，时间管理，数据依赖，错误管理，日志管理，数据字段约束条件等等配置项。

更优选地，上述将数据导入数据库的装置提供扩展接口，用于与迁移数据中可能用到的其它辅助工具集成，并且配置模块提供辅助工具配置项，装置可以根据辅助工具配置项控制辅助工具操作。

根据本发明的将数据导入数据库的装置，对数据迁移的各个环节进行抽象提炼后定义成配置项写入配置模块，所以对于不同的数据迁移任务，只需要修改配置模块，控制模块，数据源读取模块和数据库交互模块，以及使用的其它辅助工具对于任何数据迁移而言都可以保持不变，而配置模块的配置项丰富，且修改配置项非常灵活简便，这就大大提高了数据迁移的灵活性。

并且根据本发明将数据导入数据库的装置优选实施例，用户可以根据需要增减配置项，甚至配置并调用其它迁移数据时可能用到的辅助工具，大大提高了数据可扩展性。

附图说明

图1显示为根据本发明的将数据导入数据库的装置的结构框图。

图2显示为应用根据本发明的将数据导入数据库的装置实施例将文件数据导入关系数据库的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

首先参阅图1，其中标记1表示根据本发明的将数据导入数据库的装置。标记11表示配置模块。标记12表示装置1中的控制模块。标记13表示装置1中的数据源读取模块。标记14表示装置1中的数据库交互模块。标记15表示迁移数据时可能用到的其它辅助工具，例如但不限于文件完整性校验工具、数据检验工具、散列计算工具等等，标记15代表一个或者多个辅助工具。标记2表示待迁移的数据，其可以是任何形式，如文件、数据库、数据流等等。标记3表示目的数据库，可以是关系型数据库，XML文件数据库等等。各附图中，如无特别说明，则相同的标记表示相同的模块、组件或者步骤。

下面说明如何应用本发明迁移数据装置的一个实施例，将文件中的数据迁移到关系型数据库中，通过以下说明，本领域技术人员将更清楚地理解本发明原理。

在本例中，标记2表示存储待迁移数据的两个CSV文件；标记3表示ORACLE数据库；标记11表示的配置模块是采用“KEY=VALUE”格式的纯文本配置文件；标记15表示文件完整性校验工具和数据检验工具两个辅助工具。

需要说明的是，数据源文件2并不局限于CSV文件，还可以是Exel表格，或者是文本文件等等；配置文件11也不局限于文本文件，还可以是XML文件或者其它表达能力更强的形式。

文件2的信息如下：

数据库3中对应的表信息如下：

我们要将zq.csv文件数据导入到zq_rec中，将cc.csv文件导入到cc_rec表中。cc.csv文件依赖于zq.csv文件导入完成后才能开始导入。两个文件导入前需要清理数据库表，zq.csv文件导入前需要排序，且cc.csv文件导入后需要依据zq_rec表把cc_rec表中的cplx字段补充完整。

下面介绍如何对配置文件11进行配置：

数据源与目标数据库定义，包含：

#taskname#.desc=？，其中#taskname#表示任务名，desc部分表示任务的描述。本项配置项并非必须，仅为了使配置文件清楚、易懂和便于管理，可以将每个文件导入定义成一个任务，赋予每个任务一个唯一的别名，后续所有针对该文件的导入配置全部关联到该名字下，任务间可通过别名进行引用。本例中，两个任务别名分别为：import_zq和import_cc。

#taskname#.file=？，配置数据源文件名，填写本项表示数据源是静态文件，如果数据源是其它形式，则此项需要做相应的变化，例如但不限于：当数据源是来自另一数据库时，本项则为：#taskname#.srcDB。本项还可以设置其它的子配置内容，比如，当数据源是静态文件时，可以配置该静态文件的散列值#taskname#.file.md5=？，配置该子项后，如果集成有文件完整性检验的辅助工具，则文件完整性检验辅助工具会根据该值进行文件完整性较验。

#taskname#.fields=[index]type{length}(default)|...，配置数据文件列定义及格式，其中index，type为必填项，其它项为可选项。多列（字段）用"|"分隔。可以配置文件中的全部列，也可以只配置需要导入到数据库中的列。index：表示文件中的列序号，从0开始；type：表示数据类型，例如但不限于：s表示字符，n表示数值，d表示日期，t表示时间。length：表示数据长度，若超长则格式校验时不通过；default：表示该列内容为空时的默认值，若填NN表示该字段非空，需进行校验。这里还可以对数据的其它约束条件进行配置。如果使用了数据检查工具，则数据检查工具会根据数据约束条件配置在导入之前先检查数据是否符合约束条件，如果不符合，则及时报警，而不用等到提交到数据库才发现。

#taskname#.table=[DBName.]，配置数据库表名，若存在多个数据库，须指明数据库（DBName部分）。

本例中，我们假设只有一个数据库，因此配置如下：

import_zq.desc=股票文件导入

import_zq.file=./zq.csv

import_zq.fields=[0]s{6}(NN)|[1]s{8}|[2]s{4}

import_zq.table=zq_rec

import_cc.desc=持仓文件导入

import_cc.file=./cc.csv

import_cc.fields=[0]s{10}(NN)|[1]s{6}(NN)|[2]n{18}(0)

import_cc.table=cc_rec

前置操作定义，用于配置在数据导入前进行预处理。前置操作可以是SQL语句或存储过程，也可以是外部程序或脚本，还可以是程序中特别定义的类或函数。另外支持配置多个操作，若配置有多个前置操作则按配置顺序依次执行。本项非必须，根据需要决定是否进行配置。本配置项包含：

#taskname#.pre=[type]？|...，配置操作，若存在多个操作，用"|"分隔。type：表示操作的类型，例如但不限于：sql表示sql语句，sp表示存储过程，proc表示程序或脚本，class表示类，func表示函数。

本例中，两个文件导入前需要清空表，zq.csv文件导入前需要排序。所以配置如下：

import_zq.pre=[sql]delete table zq_rec|[proc]sort_zq.sh

import_cc.pre=[sql]delete table cc_rec

数据库交互指令生成规则，配置将数据提交到数据库完成持久化的命令语句的生成规则，本例中，即为sql语句的生成规则。本配置项包含：

#taskname#.insert=？，配置数据插入语句，语句中需指明文件列与数据库表字段间的映射关系，数据列用“:index”来引用。如果配置更新、查询、删除等语句，方法类似，不再赘述。

本例的insert语句配置如下，其中“:0”表示文件的第0号列：

import_zq.insert=insert into zq_rec(zqdm,zqmc,cplx)values(:0,:1,:2)

import_cc.insert=insert into cc_rec(gdzh,zqdm,ccsl)values(:0,:1,:2)

考虑到很多文件导入就是简单地将文件中某些列导入到数据库表中，为了减少配置工作量，可不进行此项配置，控制模块检查到该配置项不存在，会控制数据库交互模块自动去将“文件列定义及格式”配置项中的列按定义的顺序插入到数据库表字段中。

后置操作，用于在数据导入后进行后续处理。同前置操作一样，后置操作可以是SQL语句或存储过程，也可以是外部程序或脚本，还可以是程序中特别定义的类或函数。另外支持配置多个操作，若配置多个则按配置顺序依次执行。本项非必须，根据需要决定是否进行配置。本配置项包含：

#taskname#.post=[type]？|...配置后置操作，若存在多个操作，用"|"分隔。其中，type表示操作的类型，例如但不限于：sql表示sql语句，sp表示存储过程，proc表示程序或脚本，class表示类，func表示函数。

本例中，cc.csv文件导入后需要更新表cc_rec中cplx字段。具体配置如下：

import_cc.post=[sql]update cc_rec cc set cc.cplx=（select cplx from zq_rec zq where zq.zqdm=cc.zqdm）

依赖关系，用于配置数据依赖，当存在多个任务时，任务间可能存在依赖关系。本项非必须，根据实际需要决定是否进行配置。本配置项包含：

#taskname#.dep=？|...配置所依赖的任务名，若存在多个依赖任务，用"|"分隔。

本例中，import_cc任务依赖于import_zq任务，只有import_zq导入完成，才能真正开始执行import_cc，具体配置如下：

import_cc.dep=import_zq

时间管理，用于配置导入过程中对某些操作的时间限制，比如但不限于最大等待时间、最长运行时间等。本项非必须，若进行了配置，则按配置来管理导入，若未配置，则不控制时间。本配置项包含：

#taskname#.waittime=？配置等待时间，可以有两种格式：

###表示最晚等待多少分钟，HH:MM表示最晚等待到几时几分。

#taskname#.quittime=？配置退出时间，可以有两种格式：

###表示运行多少分钟后退出，HH:MM表示运行到几时几分退出。

本例中，假设文件未到达或依赖条件未满足，最多等待30分钟，并且超过23:59还未导完就强制退出。因此具体配置如下：

import_zq.waittime=30

import_zq.quittime=23:59

import_cc.waittime=30

import_cc.quittime=23:59

线程管理，用于配置数据导入操作的线程数。本项非必须，若未配置则默认为单线程。若需多线程，可采用如下配置：

#taskname#.threads=？配置线程个数，建议不要超过CPU个数。

本场景，假设需要为导入持仓文件cc.csv的数据配置4个线程，则具体配置如下：

import_cc.threads=4

其他配置，用于配置常用的扩展特性。例如但不限于：

#taskname#.skip=？配置跳过文件开关的行数；

#taskname#.ignore=？|...配置匹配模式，支持正则表达式，匹配的行则跳过。比如^#表示该行#开头。通过此配置项，可以筛选掉注释行。

#taskname#.limit=？配置最大导入行数，超过此配置的行则不再导入。

不同的数据源文件可能有不同的特征，本项的设置，可以提高对数据源文件的兼容性。

下面参看图2，图2是应用装置1，根据以上配置导入数据文件2到数据库3的流程图。如图所示，控制模块12先读取配置文件11并解析出各配置项，然后根据数据源配置项，控制数据源读取模块13读取配置的数据源文件2。如果文件未到达，则等待。如果等待时间超过时间管理配置项中最大等待时间，则结束。如果文件到达，则控制模块12根据数据依赖配置项判断，如果当前任务依赖的条件满足，则控制模块12控制文件完整性检验辅助工具根据数据文件散列值配置检查文件完整性，如依赖条件满足并且文件完整则执行前置操作，如依赖条件不满足或者文件不完整则报警并结束。

前置操作由控制模块12根据前置操作配置项，调用shell脚本对zq.csv文件内容按字符升序排序，再调用数据库交互模块14清空数据库表zq_rec和cc_rec。前置操作完成后，zq.csv文件内容具体变化如下：

前置操作完成后，则读取数据文件中的待迁移数据，读取数据后，控制模块12控制数据检查辅助工具根据数据文件列定义及格式检验数据，如果不符合数据约束条件则报警并结束，如果符合数据约束条件，则控制模块12根据线程管理配置项，创建出4个线程来数据库交互模块14生成SQL语句并提交数据库完成迁移数据的持久化。

生成SQL语句并提交完成后，数据库表zq_rec中数据具体如下：

zqdm	zqmc	cplx
			120201	02三峡债	债券
510180	180ETF	基金
			600000	浦发银行	股票

数据库表cc_rec中数据具体如下：

gdzh	zqdm	ccsl	cplx
				A000000001	600000	10000	NULL
A000000002	600000	20000	NULL
				A000000002	120201	22000	NULL
A000000003	600000	30000	NULL
				A000000003	120201	33000	NULL
A000000003	510180	36000	NULL

然后，控制模块12根据后置操作配置项控制数据库交互模块14执行后置操作，后置操作”完成后，数据库表cc_rec中数据具体如下：

gdzh	zqdm	ccsl	cplx
				A000000001	600000	10000	股票
A000000002	600000	20000	股票
				A000000002	120201	22000	债券
A000000003	600000	30000	股票
				A000000003	120201	33000	债券
A000000003	510180	36000	股票

至此，数据源文件2中的数据被迁移到数据库3中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。例如但不限于：根据实际需要非必须的配置项进行增减，或者对各配置项中的内容进行增减。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种将数据导入数据库的装置，包括：

配置模块，用于在其中配置迁移数据的配置项，所述配置项至少包括数据源，目的数据库，数据库交互指令生成规则；

控制模块，读取所述配置模块并解析出所述配置项，并根据配置项控制其它模块的操作；数据源读取模块，根据所述数据源配置项读取待迁移的数据；

数据库交互模块，根据所述待迁移数据和所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库。

2.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述配置项还包括：前置操作，后置操作，所述控制模块解析出所述前置操作和后置操作配置项后，控制所述装置中的其它各模块根据所述前置操作配置项，在所述数据库交互模块根据所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库之前，进行前置操作；在所述数据库交互模块根据所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库之后，进行后置操作。

3.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述配置项还包括：时间管理，数据依赖；所述控制模块根据所述数据依赖配置项判断所述待迁移数据的数据依赖条件，如果依赖条件满足，则控制所述数据库交互模块执行所述根据所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库；如果依赖条件不满足，则等待，等待的最大时间根据所述时间管理配置项确定。

4.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述配置项还包括线程管理，所述控制模块根据所述线程管理配置项配置的进程数，创建一个或多个线程根据所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库。

5.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述配置项还包括：数据字段约束条件，所述装置还包括数据检查模块，所述控制模块控制所述数据检查模块根据所述数据字段约束条件配置项检查所述待迁移数据的合法性，如果所述待迁移数据符合约束条件，则控制模块控制所述数据库交互模块执行所述根据所述数据库交互指令生成规则生成数据库交互指令，并将所述指令提交所述目的数据库；否则报警。

6.根据权利要求1到5任意一项所述的将数据导入数据库的装置，其特征在于，所述配置项还包括错误管理，所述控制模块控制所述装置中的其它各模块根据所述错误管理配置项处理运行时错误。

7.根据权利要求6所述的将数据导入数据库的装置，其特征在于，所述配置项还包括日志管理，所述控制模块控制所述装置的其它各模块根据所述日志管理配置项生成日志记录。

8.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述目的数据库能够提供交互指令。

9.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述待迁移数据为结构化数据，所述目的数据库为关系型数据库。

10.根据权利要求1所述的将数据导入数据库的装置，其特征在于，所述控制模块具有扩展接口，用于与辅助工具集成，所述配置模块中还包括辅助工具配置项，所述控制模块根据所述辅助工具配置项控制所述辅助工具操作。

Images