CN108984725A - 一种跨网闸数据同步方法 - Google Patents

一种跨网闸数据同步方法 Download PDF

Info

Publication number
CN108984725A
CN108984725A CN201810758213.9A CN201810758213A CN108984725A CN 108984725 A CN108984725 A CN 108984725A CN 201810758213 A CN201810758213 A CN 201810758213A CN 108984725 A CN108984725 A CN 108984725A
Authority
CN
China
Prior art keywords
idi
file
tool
data
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810758213.9A
Other languages
English (en)
Inventor
梁甲迪
张华�
牛纪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201810758213.9A priority Critical patent/CN108984725A/zh
Publication of CN108984725A publication Critical patent/CN108984725A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种跨网闸数据同步方法,该方法操作步骤如下:1)公司IDI工具部署,部署在源端和目标端;2)源端和目标端IDI工具数据源配置;3)在源端ETL工具建立增量数据监测和抽取作业;4)网闸目录配置;5)增量文件解析入库;6)日志记录。本发明的一种跨网闸数据同步方法和现有技术相比,具有可异构、灵活性好、通用性强、安全性高的特点,支持各种增量文件类型,如Excel、Txt、Cube等;能够满足网络间存在网闸隔离且不允运行协议通信环境下数据同步需求,并在实际环境中进行使用。

Description

一种跨网闸数据同步方法
技术领域
本发明涉及数据库之间数据同步技术领域,具体地说是一种跨网闸数据同步方法。
背景技术
随着信息技术的飞速发展,企事业单位信息化建设的不断深入,使得企事业单位业务系统数量不断增加。这时,各业务系统之间数据交互,各子业务系统与核心业务系统之间数据交互,诸如此类场景的应用需求不断出现。因此,部门应对此类需求的压力越来越大。比较突出的问题,主要有实时性与性能的冲突,数据交互方案的安全性与健壮性、跨网络等。关于数据同步主要有两个层面的同步,一是通过后台程序编码实现数据同步,二是直接作用于数据库,在数据库层面实现数据的同步。通过程序编码实现数据同步,其主要的实现思路是有就更新,无则新增,其他情况日志记录。数据库层面的数据库同步主要有以下几种方式:通过发布/订阅的方式实现同步;通过SQL JOB方式实现数据同步;通过ServiceBroker 消息队列的方式实现数据同步;采用挖掘数据库日志的方式实现数据同步;采用相关软件在存储级进行复制。
目前成熟的数据数据同步工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定类型的数据库。如果拥有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…),并且经常需要在它们之间导入导出数据,那么就需要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread/ /mysqldumper…)。而且以后每增加一种库类型,需要的工具数目将线性增长。这些工具有些使用文件中转数据,有些使用管道,不同程度的为数据中转带来额外开销,效率差别很非常大。很多工具也无法满足数据同步任务工作中常见的需求,比如日期格式转化,特性字符的转化,编码转换等。
发明内容
本发明的技术任务是提供一种跨网闸数据同步方法。
本发明的技术任务是按以下方式实现的:
一种跨网闸数据同步方法,该方法操作步骤如下:
步骤1)公司IDI工具部署,部署在源端和目标端;
步骤2)源端和目标端IDI工具数据源配置;
步骤3)在源端ETL工具建立增量数据监测和抽取作业;
步骤4)网闸目录配置;
步骤5)增量文件解析入库;
步骤6)日志记录。
所述的步骤1)中IDI工具包括转换模块和作业模块;
所述的转换模块是针对护具的基础转换;
所述的作业模块是完成整个工作流的控制。
所述的步骤1)中IDI工具部署步骤如下:
1)安装JDK,要求1.6版本以上,64位操作系统要求安装64位JDK;
2)建立IDI资源库,执行资源库建表文件:创建资源库.sql;
3)修改IDI登录配置文件:将配好的资源库信息按照格式填写到repositories.xml文件中;
4)解压idi-designer后,运行IDI.bat进入登录界面;选择上一步配置好的资源库名称,输入登录密码:admin,点击确认按钮;此时IDI的运行环境和配置都已完成,可以正常使用。
所述的步骤2)中源端和目标端IDI工具数据源配置,包括:根据数据库类型选择连接类型,填写数据库服务器IP地址、数据库名称、端口号、数据库用户名和密码,填写完成后点击测试,提示测试成功后点击保存。
所述的步骤3)中在源端ETL工具建立增量数据监测和抽取作业,操作步骤如下:
1)将要同步的数据库表建立修改时间戳或同步标志位字段,用于标识和监测需要同步的增量数据;
2)点击IDI工具左侧的转换按钮创转换,选择增加表输入控件,选择数据源,根据实际情况编写SQL语句用于查询需要同步的数据;
3)选择增加文本文件输出控件,并通过ETL跳接线将表输入和文本文件输出两个控件连接起来,将增量数据流输出到文本文件;
4)如果需要同步多张表,需要按照以上步骤创建多个转换;
5)所有转换创建完成后,点击作业按钮新建数据同步增量数据抽取作业,填写作业名称、任务文件名参数,并将已定义的转换引入到所述的作业中。
所述的根据实际情况编写SQL语句,包括:点击预览可以查看SQL语句效果,如正常则点击保存。
多个所述的转换通过跳接线连接,同时根据实际情况,设置所述的作业执行周期。
所述的步骤4)中网闸目录配置,包括:配置源端增量数据文件目录和目标端接收文件目录,开启网闸SFTC功能对源目录进行监听,发现文件后能够实时将文件移动至目标端接收目录中。
所述的步骤5)中增量文件解析入库,包括:在目标端IDI工具设置接收目录监听作业,监听目标数据库增量数据目录,发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中;根据业务需求设定作业执行周期,可按分钟、天、周、月设定执行时间间隔。
所述的步骤6)中日志记录,包括:利用IDI工具日志输出功能,记录数据同步作业运行状态,以便查看运行情况和问题原因分析。
本发明的一种跨网闸数据同步方法和现有技术相比,具有可异构、灵活性好、通用性强、安全性高的特点,支持各种增量文件类型,如Excel、Txt、Cube等;能够满足网络间存在网闸隔离且不允运行协议通信环境下数据同步需求,并在实际环境中进行使用。
具体实施方式
实施例1:
一种跨网闸数据同步方法,该方法操作步骤如下:
步骤1)公司IDI工具部署,部署在源端和目标端;
步骤2)源端和目标端IDI工具数据源配置;
步骤3)在源端ETL工具建立增量数据监测和抽取作业;
步骤4)网闸目录配置;
步骤5)增量文件解析入库;
步骤6)日志记录。
实施例2:
一种跨网闸数据同步方法,该方法操作步骤如下:
步骤1)公司IDI工具部署,部署在源端和目标端;所述的IDI工具包括转换模块和作业模块;所述的转换模块是针对护具的基础转换;所述的作业模块是完成整个工作流的控制。
所述的IDI工具部署步骤如下:
1)安装JDK,要求1.6版本以上,64位操作系统要求安装64位JDK;
2)建立IDI资源库,执行资源库建表文件:创建资源库.sql;
3)修改IDI登录配置文件:将配好的资源库信息按照格式填写到repositories.xml文件中;
4)解压idi-designer后,运行IDI.bat进入登录界面;选择上一步配置好的资源库名称,输入登录密码:admin,点击确认按钮;此时IDI的运行环境和配置都已完成,可以正常使用。
步骤2)源端和目标端IDI工具数据源配置;根据数据库类型选择连接类型,填写数据库服务器IP地址、数据库名称、端口号、数据库用户名和密码,填写完成后点击测试,提示测试成功后点击保存。
步骤3)在源端ETL工具建立增量数据监测和抽取作业;操作步骤如下:
1)将要同步的数据库表建立修改时间戳或同步标志位字段,用于标识和监测需要同步的增量数据;
2)点击IDI工具左侧的转换按钮创转换,选择增加表输入控件,选择数据源,根据实际情况编写SQL语句用于查询需要同步的数据;如果采用标识位方法,语句类似于“SELECT *FROM 表名 WHERE 标识位=1”;点击预览可以查看SQL语句效果,如正常则点击保存;
3)选择增加文本文件输出控件,并通过ETL跳接线将表输入和文本文件输出两个控件连接起来,将增量数据流输出到文本文件;本步骤需要指定输出文件名、扩展名、分隔符、封闭符、编码等文件内容属性。文件命名采用“Incre_表_年月日_时分秒”命名,以保证文件名唯一和能够区分文件生成的先后顺序;
4)如果需要同步多张表,需要按照以上步骤创建多个转换;
5)所有转换创建完成后,点击作业按钮新建数据同步增量数据抽取作业,填写作业名称、任务文件名参数,并将已定义的转换引入到所述的作业中;多个所述的转换通过跳接线连接,同时根据实际情况,设置所述的作业执行周期。
步骤4)网闸目录配置;配置源端增量数据文件目录和目标端接收文件目录,开启网闸SFTC功能对源目录进行监听,发现文件后能够实时将文件移动至目标端接收目录中。
步骤5)增量文件解析入库;在目标端IDI工具设置接收目录监听作业,监听目标数据库增量数据目录,发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中;根据业务需求设定作业执行周期,可按分钟、天、周、月设定执行时间间隔。
步骤6)日志记录。利用IDI工具日志输出功能,记录数据同步作业运行状态,以便查看运行情况和问题原因分析。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。

Claims (10)

1.一种跨网闸数据同步方法,其特征在于,该方法操作步骤如下:
步骤1)公司IDI工具部署,部署在源端和目标端;
步骤2)源端和目标端IDI工具数据源配置;
步骤3)在源端ETL工具建立增量数据监测和抽取作业;
步骤4)网闸目录配置;
步骤5)增量文件解析入库;
步骤6)日志记录。
2.根据权利要求1所述的方法,其特征在于,所述的步骤1)中IDI工具包括转换模块和作业模块;
所述的转换模块是针对护具的基础转换;
所述的作业模块是完成整个工作流的控制。
3.根据权利要求1或2所述的方法,其特征在于,所述的步骤1)中IDI工具部署步骤如下:
1)安装JDK,要求1.6版本以上,64位操作系统要求安装64位JDK;
2)建立IDI资源库,执行资源库建表文件:创建资源库.sql;
3)修改IDI登录配置文件:将配好的资源库信息按照格式填写到repositories.xml文件中;
4)解压idi-designer后,运行IDI.bat进入登录界面;选择上一步配置好的资源库名称,输入登录密码:admin,点击确认按钮;此时IDI的运行环境和配置都已完成,可以正常使用。
4.根据权利要求1所述的方法,其特征在于,所述的步骤2)中源端和目标端IDI工具数据源配置,包括:
根据数据库类型选择连接类型,填写数据库服务器IP地址、数据库名称、端口号、数据库用户名和密码,填写完成后点击测试,提示测试成功后点击保存。
5.根据权利要求1所述的方法,其特征在于,所述的步骤3)中在源端ETL工具建立增量数据监测和抽取作业,操作步骤如下:
1)将要同步的数据库表建立修改时间戳或同步标志位字段,用于标识和监测需要同步的增量数据;
2)点击IDI工具左侧的转换按钮创转换,选择增加表输入控件,选择数据源,根据实际情况编写SQL语句用于查询需要同步的数据;
3)选择增加文本文件输出控件,并通过ETL跳接线将表输入和文本文件输出两个控件连接起来,将增量数据流输出到文本文件;
4)如果需要同步多张表,需要按照以上步骤创建多个转换;
5)所有转换创建完成后,点击作业按钮新建数据同步增量数据抽取作业,填写作业名称、任务文件名参数,并将已定义的转换引入到所述的作业中。
6.根据权利要求5所述的方法,其特征在于,所述的根据实际情况编写SQL语句,包括:
点击预览可以查看SQL语句效果,如正常则点击保存。
7.根据权利要求5所述的方法,其特征在于,多个所述的转换通过跳接线连接,同时根据实际情况,设置所述的作业执行周期。
8.根据权利要求1所述的方法,其特征在于,所述的步骤4)中网闸目录配置,包括:
配置源端增量数据文件目录和目标端接收文件目录,开启网闸SFTC功能对源目录进行监听,发现文件后能够实时将文件移动至目标端接收目录中。
9.根据权利要求1所述的方法,其特征在于,所述的步骤5)中增量文件解析入库,包括:
在目标端IDI工具设置接收目录监听作业,监听目标数据库增量数据目录,发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中;根据业务需求设定作业执行周期,可按分钟、天、周、月设定执行时间间隔。
10.根据权利要求1所述的方法,其特征在于,所述的步骤6)中日志记录,包括:
利用IDI工具日志输出功能,记录数据同步作业运行状态,以便查看运行情况和问题原因分析。
CN201810758213.9A 2018-07-11 2018-07-11 一种跨网闸数据同步方法 Pending CN108984725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810758213.9A CN108984725A (zh) 2018-07-11 2018-07-11 一种跨网闸数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810758213.9A CN108984725A (zh) 2018-07-11 2018-07-11 一种跨网闸数据同步方法

Publications (1)

Publication Number Publication Date
CN108984725A true CN108984725A (zh) 2018-12-11

Family

ID=64536741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810758213.9A Pending CN108984725A (zh) 2018-07-11 2018-07-11 一种跨网闸数据同步方法

Country Status (1)

Country Link
CN (1) CN108984725A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222009A (zh) * 2019-05-28 2019-09-10 咪咕文化科技有限公司 一种Hive入库异常文件自动处理方法及装置
CN110933144A (zh) * 2019-11-09 2020-03-27 许继集团有限公司 一种变电站主站系统及数据库同步方法
CN113111108A (zh) * 2021-04-06 2021-07-13 创意信息技术股份有限公司 文件数据源入库解析接入方法
CN113535835A (zh) * 2021-07-12 2021-10-22 上海浦东发展银行股份有限公司 内核数据处理软件的数据采集方法、装置、介质及设备
CN113886478A (zh) * 2021-09-30 2022-01-04 杭州数梦工场科技有限公司 应用于etl的数据处理方法和装置及电子设备
CN114022126A (zh) * 2021-11-10 2022-02-08 西安热工研究院有限公司 一种穿网闸发送机组运行监控报警通知的方法及系统
CN114417390A (zh) * 2022-03-30 2022-04-29 天津联想协同科技有限公司 一种网盘组织账户数据同步方法、装置、网盘及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447956A (zh) * 2009-01-13 2009-06-03 杭州华三通信技术有限公司 一种跨网闸的通信方法和通信系统
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN102970328A (zh) * 2012-10-25 2013-03-13 国家电网公司 电力行业典型生产系统数据在线迁移方法
CN105099703A (zh) * 2015-07-31 2015-11-25 国家电网公司 4g手持单兵信号内外网网闸隔离传输的方法
CN105743852A (zh) * 2014-12-09 2016-07-06 航天信息股份有限公司 通过http实现跨越网闸进行Socket保持连接通信的方法及系统
CN106126351A (zh) * 2016-06-17 2016-11-16 浪潮软件股份有限公司 一种基于消息队列的数据资源共享管理系统
CN106503104A (zh) * 2016-10-17 2017-03-15 山东浪潮商用系统有限公司 一种内外网隔离模式下Oracle数据库数据复制方法
CN106790402A (zh) * 2016-11-29 2017-05-31 郑州云海信息技术有限公司 信息化体系结构中间件数据并行分发方法及系统
CN106960037A (zh) * 2017-03-22 2017-07-18 河海大学 一种跨内外网的分布式索引资源整合与共享方法
CN107809619A (zh) * 2017-11-15 2018-03-16 株洲华通科技有限责任公司 一种通过多媒体网闸实现跨网访问的方法及网闸交换系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447956A (zh) * 2009-01-13 2009-06-03 杭州华三通信技术有限公司 一种跨网闸的通信方法和通信系统
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN102970328A (zh) * 2012-10-25 2013-03-13 国家电网公司 电力行业典型生产系统数据在线迁移方法
CN105743852A (zh) * 2014-12-09 2016-07-06 航天信息股份有限公司 通过http实现跨越网闸进行Socket保持连接通信的方法及系统
CN105099703A (zh) * 2015-07-31 2015-11-25 国家电网公司 4g手持单兵信号内外网网闸隔离传输的方法
CN106126351A (zh) * 2016-06-17 2016-11-16 浪潮软件股份有限公司 一种基于消息队列的数据资源共享管理系统
CN106503104A (zh) * 2016-10-17 2017-03-15 山东浪潮商用系统有限公司 一种内外网隔离模式下Oracle数据库数据复制方法
CN106790402A (zh) * 2016-11-29 2017-05-31 郑州云海信息技术有限公司 信息化体系结构中间件数据并行分发方法及系统
CN106960037A (zh) * 2017-03-22 2017-07-18 河海大学 一种跨内外网的分布式索引资源整合与共享方法
CN107809619A (zh) * 2017-11-15 2018-03-16 株洲华通科技有限责任公司 一种通过多媒体网闸实现跨网访问的方法及网闸交换系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晖、欧阳慎: ""基于oracle的跨网闸数据同步方案研究"", 《郑州铁路局"十百千"人才培育助推工程论文集》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222009A (zh) * 2019-05-28 2019-09-10 咪咕文化科技有限公司 一种Hive入库异常文件自动处理方法及装置
CN110222009B (zh) * 2019-05-28 2021-08-06 咪咕文化科技有限公司 一种Hive入库异常文件自动处理方法及装置
CN110933144A (zh) * 2019-11-09 2020-03-27 许继集团有限公司 一种变电站主站系统及数据库同步方法
CN113111108A (zh) * 2021-04-06 2021-07-13 创意信息技术股份有限公司 文件数据源入库解析接入方法
CN113535835A (zh) * 2021-07-12 2021-10-22 上海浦东发展银行股份有限公司 内核数据处理软件的数据采集方法、装置、介质及设备
CN113886478A (zh) * 2021-09-30 2022-01-04 杭州数梦工场科技有限公司 应用于etl的数据处理方法和装置及电子设备
CN113886478B (zh) * 2021-09-30 2024-09-17 杭州数梦工场科技有限公司 应用于etl的数据处理方法和装置及电子设备
CN114022126A (zh) * 2021-11-10 2022-02-08 西安热工研究院有限公司 一种穿网闸发送机组运行监控报警通知的方法及系统
CN114417390A (zh) * 2022-03-30 2022-04-29 天津联想协同科技有限公司 一种网盘组织账户数据同步方法、装置、网盘及存储介质

Similar Documents

Publication Publication Date Title
CN108984725A (zh) 一种跨网闸数据同步方法
CN108052681B (zh) 一种关系型数据库间结构化数据的同步方法及系统
CN110019138B (zh) 一种基于Zabbix的传输表空间自动迁移方法和系统
CN105005618A (zh) 一种异构数据库之间的数据同步方法及系统
KR20040028804A (ko) 운영체제의 자동 설치 및 구성을 위한 시스템 및 방법
US20080162587A1 (en) Server synchronization for maintenance activities
CN105159793B (zh) 基于GoldenGate的数据复制备份方法
WO2019223178A1 (zh) 跨平台任务调度方法、系统、计算机设备和存储介质
CN110334326A (zh) 一种识别配方文件并转化为xml文件的方法及系统
CN110442651A (zh) 一种基于kettle实现excel数据自动上传并触发调度的方法
US20210124752A1 (en) System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface
CN110705724A (zh) 一种可重用自动化运维管理系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN107992326B (zh) 基于Struts2框架的Java自动化代码发布方法
CN101170568A (zh) 一种Telnet命令自动生成及批量执行方法
CN111913933A (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN111177173A (zh) 大数据环境下实现数据同步优化处理的系统及其方法
CN114048188A (zh) 一种跨数据库的数据迁移系统及方法
CN106407329B (zh) 海量平台往hadoop平台自动化导入增量数据的方法
CN105933396B (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN115314300A (zh) 飞行训练模拟机数据分析系统
CN112817808B (zh) 一种计算机集群维护任务管理方法及系统
US20040123268A1 (en) Program code distribution
CN111008141A (zh) 一种自动化增量部署测试环境方法
CN112667727A (zh) 一种无需编程即可实现数据自动化管理的操作系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211