CN106713463A - 一种高性能的跨网络数据传输及导入的方法 - Google Patents

Abstract

本发明提供一种高性能的跨网络数据传输及导入的方法，属于数据同步技术领域，本发明首先在数据传输前对数据进行压缩，通过http获取数据后进行解压缩，然后通过数据库的数据装载功能load进数据库中。本发明降低网络带宽占用，缩短数据传输时间，减少数据库操作时间，提升整个数据跨网络转移的性能。

Description

一种高性能的跨网络数据传输及导入的方法

技术领域

本发明涉及数据压缩传输，属于数据通信中的数据同步技术领域，具体说是一种高性能的跨网络数据传输及导入的方法。

背景技术

批量数据跨网络通过http在异地数据库之间进行转移，先通过http请求进行数据获取、再通过批量插入数据库，此种方式在数据量大的情况下占用网络带宽大，数据传输时间长，数据库操作频繁，事务机制锁占用时间长，性能非常低下。

发明内容

为了解决该问题，本发明提出了一种高性能的跨网络数据传输及导入的方法。在数据跨网络转移过程中，降低网络带宽占用，缩短数据传输时间，减少数据库操作时间，提升整个数据跨网络转移的性能。

本发明的技术方案如下：

一种高性能的跨网络数据传输及导入的方法，

在整个批量数据跨网络传输过程中，首先在数据传输前对数据进行压缩，通过http获取数据后进行解压缩，然后通过数据库的数据装载功能load进数据库中。

主要包括如下几个方面：

1、压缩并传输数据

方法：DataUtils.writeZipObject(OutputStream out,Object object)

参数：输出流、数据对象

返回：空

说明：将要传输的数据对象压缩，并写入http输出流

2、读取压缩数据

方法：DataUtils.readZipObject(InputStream in)

参数：输入流

返回：数据对象

说明：从http输入流中读取压缩后的数据对象，并解压，返回还原后的数据对象

3、将数据文件导入数据库

方法：DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)

参数：数据源，表名，文件名

其中要导入文件的格式为一行表示一条记录，列之间用逗号分隔

返回：导入结果的Map对象

code返回码：0000/成功，其它/失败

msg返回信息：成功或失败的提示信息

其它：load命令执行后返回的处理信息，一般不用关注

说明：将指定的数据文件内容导入到指定的表中，仅支持DB2数据库，可扩展。

本发明的有益效果是：

通过本发明技术的实现及运用，真实有效的解决了批量数据跨网络通过http在异地数据库之间进行转移的性能问题。

附图说明

图1是批量数据跨网络通过http在异地数据库之间进行转移的数据流转及结构图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

本发明的核心技术点实现方案如下：

压缩并传输数据的方法

方法：DataUtils.writeZipObject(OutputStream out,Object object)

参数：输出流、数据对象

返回：空

说明：将要传输的数据对象压缩，并写入http输出流

一、读取压缩数据的方法

方法：DataUtils.readZipObject(InputStream in)

参数：输入流

返回：数据对象

说明：从http输入流中读取压缩后的数据对象，并解压，返回还原后的数据对象

二、将数据文件导入数据库的方法

方法：DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)

参数：数据源，表名，文件名

其中要导入文件的格式为一行表示一条记录，列之间用逗号分隔

返回：导入结果的Map对象

code返回码：0000/成功，其它/失败

msg返回信息：成功或失败的提示信息

其它：load命令执行后返回的处理信息，一般不用关注

说明：将指定的数据文件内容导入到指定的表中，仅支持DB2数据库，可扩展。

本发明基于数据压缩技术、数据库导入功能，通过http跨网络进行大规模数据传输和数据装入，大大提高大量数据在异地数据库之间的转移的性能。

Claims (5)

1.一种高性能的跨网络数据传输及导入的方法，其特征在于，

在整个批量数据跨网络传输过程中，首先在数据传输前对数据进行压缩，通过http获取数据后进行解压缩，然后通过数据库的数据装载功能load进数据库中。

2.根据权利要求1所述的方法，其特征在于，

主要包括：

1）压缩并传输数据；

2）读取压缩数据；

3）将数据文件导入数据库。

3.根据权利要求2所述的方法，其特征在于，

1）压缩并传输数据

方法：DataUtils.writeZipObject(OutputStream out,Object object)

参数：输出流、数据对象

返回：空

说明：将要传输的数据对象压缩，并写入http输出流。

4.根据权利要求3所述的方法，其特征在于，

2）读取压缩数据

方法：DataUtils.readZipObject(InputStream in)

参数：输入流

返回：数据对象

说明：从http输入流中读取压缩后的数据对象，并解压，返回还原后的数据对象。

5.根据权利要求4所述的方法，其特征在于，

3）将数据文件导入数据库

方法：DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)

参数：数据源，表名，文件名

其中要导入文件的格式为一行表示一条记录，列之间用逗号分隔

返回：导入结果的Map对象

code返回码：0000/成功，其它/失败

msg返回信息：成功或失败的提示信息

其它：load命令执行后返回的处理信息，一般不用关注

说明：将指定的数据文件内容导入到指定的表中，仅支持DB2数据库，可扩展。