CN105760174A - 一种基于Windows定时任务的建议数据抽取方法 - Google Patents

Abstract

本发明公开了一种基于Windows定时任务的建议数据抽取方法，所述方法是一种基于日期的增量抽取方法，基于JAVA语言进行开发，采用JDBC方式进行数据库连接，抽取工具执行代码在MAIN函数中进行调用，并且编写BAT脚本，通过Windows自带的定时任务进行循环调用。本发明方法采用JAVA?JDBC的方式进行编写，出于JAVA语言的特征，不受操作系统的约束，运行更加稳定可靠；数据库配置信息放在property文件中，便于更改配置；加入日志处理，方便跟踪错误信息；采用系统自带的定时任务，确保运行可靠、不间断。

Description

一种基于Windows定时任务的建议数据抽取方法

技术领域

本发明涉及软件技术领域，具体涉及一种基于Windows定时任务的建议数据抽取方法。

背景技术

数据抽取是从数据源中抽取数据的过程。

实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式:

全量抽取：

全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。

增量抽取：

增量抽取指抽取自上次抽取以来数据库中要抽取的表中新增、修改、删除的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据准确地捕获到；性能，尽量减少对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：

a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据。触发器方式的优点是数据抽取的性能较高，缺点是要求在业务数据库中建立触发器，并且需要创建DBLINK，由于DBLINK使用过程中不是很很稳定，对业务系统有一定的性能影响。

b.日期：它是一种基于递增数据比较的增量数据捕获方式，使用原表中的日期字段，按周期形式定时抽取指定时间内的数据（比如抽取前一天的数据）。同触发器方式一样，按时间抽取方式的性能也比较好，数据抽取相对清楚简单。

传统数据抽取一般为基于数据库DBLINK方式，有如下缺点：

1)不支持LOB对象的操作；

2)通过DBLINK连接的DB不能有COMMIT；

3)大量使用DBLINK方式实时远程取数据，会导致远程连接无法释放，大量耗用远程数据库资源；

4)DBLINK会一直占用网络带宽；

5)使用DBLINK嵌套DBLINK的访问方式，性能会非常糟糕，而且不稳定。

基于以上现状，需要开发一套稳定可靠的系统。

发明内容

本发明要解决的技术问题是：

解决DBLINK连接有时不释放的问题；

解决DBLINK并发效率低的问题；

实现不同数据库之间的数据同步；

解决DBLINK其它未知问题。

本发明所采用的技术方案为：

一种基于Windows定时任务的建议数据抽取方法，所述方法是一种基于日期的增量抽取方法，基于JAVA语言进行开发，采用JDBC方式进行数据库连接，抽取工具执行代码在MAIN函数中进行调用，并且编写BAT脚本，通过Windows自带的定时任务进行循环调用。

所述方法加入log4j日志处理。

所述方法提供数据库配置文件，数据库配置信息放在属性文件中，便于修改连接配置。

所述方法实现步骤如下：

1）创建工程数据抽取-单表，引入ORACLE驱动包及log4j日志包，创建数据库连接工具类，创建数据同步抽取工具；

2）配置数据库属性信息：包括源库配置信息和目标库配置信息；

3）配置log4j信息。

OracleDatabase，又名OracleRDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。

Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIXSyslog守护进程等;我们也可以控制每一条日志的输出格式;通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。

本发明的有益效果为：

本发明方法采用JAVA-JDBC的方式进行编写，出于JAVA语言的特征，不受操作系统的约束，运行更加稳定可靠；数据库配置信息放在property文件中，便于更改配置；加入日志处理，方便跟踪错误信息；采用系统自带的定时任务，确保运行可靠、不间断。

附图说明

图1为本发明JAVA-JDBC框图。

具体实施方式

下面结合说明书附图，通过具体实施方式对本发明进一步说明：

实施例1：

如图1所示，一种基于Windows定时任务的建议数据抽取方法，所述方法是一种基于日期的增量抽取方法，基于JAVA语言进行开发，采用JDBC方式进行数据库连接，运行稳定可靠，配置灵活方便，日志自由添加、方便错误追踪，抽取工具执行代码在MAIN函数中进行调用，并且编写BAT脚本，通过Windows自带的定时任务进行循环调用，可以随意更改调用时间及周期。

JDBC（JavaDataBaseConnectivity,java数据库连接）是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。

实施例2：

在实施例1的基础上，本实施例所述方法加入log4j日志处理，采用JAVA-JDBC方式可以自行添加日志信息，方便跟踪错误。

实施例3：

在实施例2的基础上，本实施例所述方法提供数据库配置文件，数据库配置信息放在属性（property）文件中，便于修改连接配置。

实施例4：

在实施例3的基础上，本实施例所述方法实现步骤如下：

1）创建工程数据抽取-单表（dataExtract-singleTable），引入ORACLE驱动包及log4j日志包，创建DBConnection数据库连接工具类，创建数据同步抽取工具(SingleExtractUtil.java)；

2）配置数据库属性（property）信息：包括源库配置信息和目标库配置信息

#源库配置；

CORE_DRIVER_CLASS=oracle.jdbc.driver.OracleDriver

CORE_URL=jdbc:oracle:thin:127.0.0.1:1521:ORCL

CORE_USERNAME=YWCL

CORE_PASSWORD=YWCL

#目标库配置

TARGET_DRIVER_CLASS=oracle.jdbc.driver.OracleDriver

TARGET_URL=jdbc:oracle：thin:127.0.0.1:1521:ORCL

TARGET_USERNAME=YWCL

TARGET_PASSWORD=YWCL

3）配置log4j信息；

logDir=d:/js_sjqc/

log4j.rootLogger=debug,A1

log4j.appender.A1=org.apache.log4j.DailyRollingFileAppender

log4j.appender.A1.File=${logDir}/js_sjqc.log

log4j.appender.A1.layout=org.apache.log4j.PatternLayout

log4j.appender.A1.layout.ConversionPattern==[%d{ISO8601}]%-5p%-x%X{user}%n%m%n

4）创建抽取工具（SingleExtractUtil），部分代码如下：

publicvoidextrac()throwsException{

ConnectiontargetConn=null;

ResultSettargetRs=null;

PreparedStatementtruncateStmt=null;

PreparedStatementtargetStmt=null;

ConnectioncoreConn=null;

PreparedStatementcoreStmt=null;

ResultSetcorers=null;

try{

System.out.println(“同步开始……”)；

log.debug(“同步开始……”)；

targerConn=DBConnection.getTargerDBConn();

targetConn.setAutoCommit(false);

System.out.println(“删除JS_SJQC_HZ_TEMP表前一天的数据开始……”)；

log.debug(“删除JS_SJQC_HZ_TEMP表前一天的数据开始……”)；

//删除目标库汇总中间表前一天的数据

StringtruncateSql=“DELETEFROMJS_SJQC_HZ_TEMPWHERELRRQ>=TRU

try{

truncateStmt=targetConn.prepareStatement(truncateSql);

truncateStmt.execute();

targetConn.commit();

}catch(Exceptione){

targetConn.rollback();

e.printStackTrace();

Systen.out.println(“删除JS_SJQC_HZ_TEMP表前一天的数据异常……”)；

log.error(“删除JS_SJQC_HZ_TEMP表前一天的数据异常……”,e)；

}

System.out.println(“删除JS_SJQC_HZ_TEMP表前一天的数据结束……”)；

log.debug(“删除JS_SJQC_HZ_TEMP表前一天的数据结束……”)；

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种基于Windows定时任务的建议数据抽取方法，其特征在于：所述方法是一种基于日期的增量抽取方法，基于JAVA语言进行开发，采用JDBC方式进行数据库连接，抽取工具执行代码在MAIN函数中进行调用，并且编写BAT脚本，通过Windows自带的定时任务进行循环调用。

2.根据权利要求1所述的一种基于Windows定时任务的建议数据抽取方法，其特征在于：所述方法加入log4j日志处理。

3.根据权利要求2所述的一种基于Windows定时任务的建议数据抽取方法，其特征在于：所述方法提供数据库配置文件，数据库配置信息放在属性文件中，便于修改连接配置。

4.根据权利要求3所述的一种基于Windows定时任务的建议数据抽取方法，其特征在于：所述方法实现步骤如下：

1）创建工程数据抽取-单表，引入ORACLE驱动包及log4j日志包，创建数据库连接工具类，创建数据同步抽取工具；

2）配置数据库属性信息：包括源库配置信息和目标库配置信息；

3）配置log4j信息。