CN107133327B - 一种支持多数据类型的数据交换方法及系统 - Google Patents

一种支持多数据类型的数据交换方法及系统 Download PDF

Info

Publication number
CN107133327B
CN107133327B CN201710312696.5A CN201710312696A CN107133327B CN 107133327 B CN107133327 B CN 107133327B CN 201710312696 A CN201710312696 A CN 201710312696A CN 107133327 B CN107133327 B CN 107133327B
Authority
CN
China
Prior art keywords
data conversion
file
ktr
data
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710312696.5A
Other languages
English (en)
Other versions
CN107133327A (zh
Inventor
何书查
王培鑫
王浩
张益�
梁学丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhisheng Creat Informaiton Technology Co ltd
Original Assignee
Zhisheng Creat Informaiton Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhisheng Creat Informaiton Technology Co ltd filed Critical Zhisheng Creat Informaiton Technology Co ltd
Priority to CN201710312696.5A priority Critical patent/CN107133327B/zh
Publication of CN107133327A publication Critical patent/CN107133327A/zh
Application granted granted Critical
Publication of CN107133327B publication Critical patent/CN107133327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种支持多数据类型的数据交换方法及系统，属于数据处理技术领域，方法包括将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；通过配置定时器来配置数据转换任务执行计划；基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。另外提供一种支持多数据类型的数据交换系统。将kettle工具集成到web端，通过网页编制ktr文件以供数据转换执行，提高了数据库之间的数据传递效率，降低了数据传递维护成本。

Description

一种支持多数据类型的数据交换方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种支持多数据类型的数据交换方法及系统。
背景技术
目前，人们进入了一个信息高速传播的时代。各行各业中都要面对各种类型的数据，需要对不同类型数据进行处理和整合。随着信息化的快速发展，数据的处理和整理也变得越来越复杂和困难，这些不同类型的数据之间的整合成了当前信息化发展道路上的难题。
在整合过程中，技术人员发现各类业务数据所用的数据库以及数据类型都不尽相同，整合起来耗时耗力，整合效果也不尽如人意。现在数据整合一般是通过数据库内部的存储过程以及定时器进行定时抽取，ORACLE系统利用自带的dblink进行抽取，当数据库类型不同的时候，直接将数据转换为同一类型到临时表，然后再进行执行脚本同步。由于sql脚本以及存储过程的编写维护对维护人员的要求较高，成本也相应变高。同时由于网段IP的限制，导致数据不能及时的传递，数据传递的时效性比较差。
发明内容
本发明的目的在于提供一种支持多数据类型的数据交换方法及系统，以达到快速转换传递数据的效果。
为实现以上目的，本发明第一方面，提供一种支持多数据类型的数据交换方法，该方法包括：
将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；
通过配置定时器来配置数据转换任务执行计划；
基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。
进一步地，该方法还包括：
将多个数据转换任务串联，并按照所述配置的数据转换任务执行计划规定的顺序执行。
进一步地，该方法还包括：
对所述资源库中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明。
进一步地，该方法还包括：
对数据转换任务的执行过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
进一步地，所述的数据转换任务执行计划，包括：数据转换任务的执行时间以及循环计划；
其中，循环计划包括定点循环执行和固定周期循环执行。
进一步地，该方法还包括：
所述的集成到web端的kettle工具通过数据接口获取数据转换任务，并将执行ktr文件后的数据保存在中间库中。
进一步地，该方法还包括：
集成java的Runnable多线程同步机制，同时执行多条数据转换任务。
第二方面，本发明提供一种支持多数据类型的数据交换系统，该系统包括：与任务管理模块连接的系统管理模块，系统管理模块配置维护人员来维护任务管理模块；
任务管理模块包括分别与任务管理单元的输入端连接的计划管理单元、资源库，以及与资源库输入端连接的kettle编制单元；
kettle编制单元用于将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；
计划管理单元用于通过配置定时器来配置数据转换任务执行计划；
任务管理单元用于基于DTC数据转换技术，根据计划管理单元配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。
进一步地，任务管理模块还包括作业管理单元，用于将多个数据转换任务进行串联后执行。
进一步地，任务管理模块还包括与资源库连接的文件管理单元、以及与任务管理单元连接的日志管理单元；
文件管理单元用于对资源库中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明；
日志管理单元用于对任务管理单元执行数据转换任务的过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
与现有技术相比，本发明存在以下技术效果：本发明将kettle工具集成到web端，通过网页编制ktr文件，并保存到资源库，在调用的时候直接通过java实现ktr文件的执行。与现有的直接通过kettle工具执行kte文件相比，kettle工具执行不用编写具体的存储，只要通过提供的数据接口获取数据即可，由DTC提供定时器执行ktr。因此不需要从数据库内部进行数据转换，仅执行查询和保存两步操作，极大的提高了数据库之间的数据传递效率，降低了数据传递维护成本。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是本发明中一种支持多数据类型的数据交换方法的流程示意图；
图2是本发明中一种支持多数据类型的数据交换系统的结构示意图；
图3是本发明中利用网页编制生成ktr文件的过程示意图；
图4是本发明中对数据进行抽取转换的过程示意图；
图5是本发明中任务管理模块的结构示意图；
图6是本发明中对多个数据转换任务串联执行的的过程示意图；
图7是本发明中任务管理模块各单元的功能示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种支持多数据类型的数据交换方法，该方法包括如下步骤S1至S3：
S1、将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；
需要说明的是，在数据转换过程中，直接从资源库获取ktr文件。在实际使用过程中，可以根据需求设置多个资源库，比如，需要对ktr进行分类保存时，可建立多个资源库保存ktr文件。
S2、通过配置定时器来配置数据转换任务执行计划；
S3、基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。
需要说明的是，该处的DTC数据转换技术与现有技术的数据交换过程相同，本实施例中在执行数据转换任务时是直接调用后台的数据转换功能来执行ktr文件。
进一步地，该方法还包括：
将多条数据转换任务串联，并按照所述配置的数据转换任务执行计划规定的顺序执行。
需要说明的是，在处理数据时，通常会遇到数据的先后插入问题、因此，通过将不能并行执行的数据转换任务串联，即一个作业任务内包括至少一条数据转换任务，然后按照任务执行计划中规定的顺序，依次执行数据转换任务，提高了数据的完整性。
同样的，在执行串联的数据转换任务时，也是通过调用后台的数据转换功能来执行ktr文件。
进一步地，该方法还包括：
对所述资源库中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明。
进一步地，该方法还包括：
对数据转换任务的执行过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
具体地，数据任务执行的过程包括任务执行开始时间和结束时间等，执行过程包括执行的总条数和执行出错条数等。本实施例通过对数据转换任务的执行过程及结果进行记录，方便了维护人员对任务的查看和排错。
进一步地，所述的数据转换任务执行计划，包括：数据转换任务的执行时间以及循环计划；其中，循环计划包括定点循环执行和固定周期循环执行。
需要说明的是，在执行数据转换任务之前，首先要配置定时器，规定数据转换任务执行的计划，本实施例中的定时控制数据转换的时间单位小至毫秒，大至年，有利于提高数据的时效性，同时可以自动智能的执行数据转换任务。
进一步地，该方法还包括：
所述的集成到web端的kettle工具通过数据接口获取数据转换任务，并将执行ktr文件后的数据保存在中间库中。
需要说明的是，由于本发明首先编制好ktr文件，通过DTC系统进行定时转换，因此将从其它业务系统数据库中获取的数据统一保存在中间库中备用即可，在数据转换任务执行后产生的数据也保存在中间库中。
进一步地，该方法还包括：
集成java的Runnable多线程同步机制，同时执行多条数据转换任务。
需要说明的是，通过多线程同步机制，能同时执行多条数据转换任务，极大的提高了数据转换效率。
本发明提供的一种支持多数据类型的数据交换方法具有如下有益效果：
(1)通过调用后台的DTC数据转换功能，对编制好的ktr执行定时转换，只需要将其它业务系统中的数据统一保存在中间库中备用即可，不涉及数据库内部的存储过程，提高了数据库之间的数据传递效率；
(2)在编制ktr时，将不同数据类型的数据字段通过kettle数据转换，根据需要输出的数据类型进行配置，快速的实现不同数据类型的数据之间的转换传递；
(3)本发明中的kettle工具是是集成到网页上，不用编写具体的存储，只要通过提供的数据接口获取其它业务系统的数据，并通过插入直接保存在中间库中，定时器由DTC提供执行ktr，整个过程基本不从数据库内部进行数据转换，仅执行查询和保存两步操作即可，极大提升了数据转换效率，达到快速转换传递数据的效果。
(4)本发明中配置定时计划以及配置ktr文件都是界面化的操作，操作过程简单，降低了数据处理的维护成本。
(5)通过集成java的Scheduledthreadpoolexecutor做定时任务，能做到下到微妙，上到年为周期的定时，周期设置灵活，执行过程自动智能。
(6)通过集成java的Runnable多线程集成技术，能同时执行多条任务，相互之间不干扰，提高了数据转换效率。
(7)采用数据转换任务串联执行的作业机制，并由DTC后台控制，保证了数据的完整性。
如图2所示，本实施例提供了一种支持多数据类型的数据交换系统，该系统包括：与任务管理模块10连接的系统管理模块20，系统管理模块20配置维护人员来维护任务管理模块10；
任务管理模块10包括分别与任务管理单元11的输入端连接的计划管理单元12、资源库14，以及与资源库14输入端连接的kettle编制单元13；
kettle编制单元13用于将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库14中；
计划管理单元12用于通过配置定时器来配置数据转换任务执行计划；
任务管理单元11用于基于DTC数据转换技术，根据计划管理单元12配置的数据转换任务执行计划，调用资源库14中的ktr文件来执行数据转换任务。
需要说明的是，系统管理模块20的作用是配置人员角色以及配置菜单功能等，并配置不同维护人员来维护任务管理模块10。
进一步地，如图3所示，kettle本身是一个etl执行工具程序，通过二次开发将kettle的功能集成到网页，通过网页进行编制ktr文件，并将编制好的ktr文件保存在资源库14中，以提供给任务管理单元11添加执行相应的数据转换操作。
如图4所示，任务管理单元11在进行数据转换时，根据编制好的ktr文件和配置的任务执行计划，实现定时自动化执行。
进一步地，
如图5所示，任务管理模块10还包括：作业管理单元15，用于将多个数据转换任务进行串联后执行。
任务管理模块10还包括：与资源库14连接的文件管理单元16、以及与任务管理单元11连接的日志管理单元17；
文件管理单元16用于对资源库14中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明；
日志管理单元17用于对任务管理单元11执行数据转换任务的过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
如图6所示，作业管理单元15的作用就是添加一个作业，作业中包含至少两条数据转换任务，然后串联执行，在数据转换任务不能并行执行时，保证了数据的完整性。另外，任务管理模块10各单元的功能示意图如图7所示。
本系统核心是集成了java定时任务(Scheduledthreadpoolexecutor)，java多线程(Runnable)，java调用kettle执行文件(KettleEnvironment)，以及页面编制、资源库保存和读取等技术。从文档编辑、定时执行、作业执行一体化的数据转换处理系统。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种支持多数据类型的数据交换方法，其特征在于，包括：
将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；
通过配置定时器来配置数据转换任务执行计划，所述的数据转换任务执行计划，包括：数据转换任务的执行时间以及循环计划；
其中，循环计划包括定点循环执行和固定周期循环执行；
基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。
2.如权利要求1所述的方法，其特征在于，还包括：
将多条数据转换任务串联，并按照所述配置的数据转换任务执行计划规定的顺序执行。
3.如权利要求1所述的方法，其特征在于，还包括：
对所述资源库中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明。
4.如权利要求1所述的方法，其特征在于，还包括：
对数据转换任务的执行过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
5.如权利要求2所述的方法，其特征在于，还包括：
所述的集成到web端的kettle工具通过数据接口获取数据转换任务，并将执行ktr文件后的数据保存在中间库中。
6.如权利要求2所述的方法，其特征在于，还包括：
集成java的Runnable多线程同步机制，同时执行多条数据转换任务。
7.一种支持多数据类型的数据交换系统，其特征在于，包括：与任务管理模块(10)连接的系统管理模块(20)，系统管理模块(20)配置维护人员来维护任务管理模块(10)；
任务管理模块(10)包括分别与任务管理单元(11)的输入端连接的计划管理单元(12)、资源库(14)，以及与资源库(14)输入端连接的kettle编制单元(13)；
kettle编制单元(13)用于将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库(14)中；
计划管理单元(12)用于通过配置定时器来配置数据转换任务执行计划，所述的数据转换任务执行计划，包括：数据转换任务的执行时间以及循环计划；其中，循环计划包括定点循环执行和固定周期循环执行；
任务管理单元(11)用于基于DTC数据转换技术，根据计划管理单元(12)配置的数据转换任务执行计划，调用资源库(14)中的ktr文件来执行数据转换任务。
8.如权利要求7所述的系统，其特征在于，所述的任务管理模块(10)还包括作业管理单元(15)，用于将多个数据转换任务进行串联后执行。
9.如权利要求7所述的系统，其特征在于，所述的任务管理模块(10)还包括：与资源库(14)连接的文件管理单元(16)、以及与任务管理单元(11)连接的日志管理单元(17)；
文件管理单元(16)用于对资源库(14)中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明；
日志管理单元(17)用于对任务管理单元(11)执行数据转换任务的过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。
CN201710312696.5A 2017-05-05 2017-05-05 一种支持多数据类型的数据交换方法及系统 Active CN107133327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710312696.5A CN107133327B (zh) 2017-05-05 2017-05-05 一种支持多数据类型的数据交换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710312696.5A CN107133327B (zh) 2017-05-05 2017-05-05 一种支持多数据类型的数据交换方法及系统

Publications (2)

Publication Number Publication Date
CN107133327A CN107133327A (zh) 2017-09-05
CN107133327B true CN107133327B (zh) 2021-01-29

Family

ID=59732794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312696.5A Active CN107133327B (zh) 2017-05-05 2017-05-05 一种支持多数据类型的数据交换方法及系统

Country Status (1)

Country Link
CN (1) CN107133327B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法
CN108304462A (zh) * 2017-12-26 2018-07-20 江苏润和软件股份有限公司 EasyAdaptor通用数据交换平台
TWI728641B (zh) * 2020-01-06 2021-05-21 中華電信股份有限公司 兩層式多執行緒之資料庫移轉及比對系統及方法
CN115687486B (zh) * 2022-11-14 2023-06-13 浪潮智慧科技有限公司 一种基于kettle的轻量级数据采集方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768687B1 (en) * 2013-04-29 2014-07-01 Google Inc. Machine translation of indirect speech
CN104850611A (zh) * 2015-05-12 2015-08-19 浪潮集团有限公司 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN105069142B (zh) * 2015-08-18 2019-04-05 山大地纬软件股份有限公司 数据增量抽取转换与分发系统及方法

Also Published As

Publication number Publication date
CN107133327A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133327B (zh) 一种支持多数据类型的数据交换方法及系统
CN107368503B (zh) 基于Kettle的数据同步方法和系统
CN104423953B (zh) 一种scada 系统定时数据处理脚本执行系统及方法
CN103441900A (zh) 集中式跨平台自动化测试系统及其控制方法
CN110286892B (zh) 一种基于业务流程设计的快速开发引擎系统
CN102306122A (zh) 自动化测试方法及设备
CN102467532A (zh) 一种任务处理方法以及任务处理装置
CN103309904A (zh) 一种生成数据仓库etl 代码的方法及装置
CN109299180B (zh) 一种数据仓库etl操作系统
EP3076309A1 (en) Programmable logic controller, data collection apparatus, database access method, and database access program
CN112379884A (zh) 基于Spark和并行内存计算的流程引擎实现方法及系统
CN101408852B (zh) 一种调度任务的方法、装置和系统
CN110442651A (zh) 一种基于kettle实现excel数据自动上传并触发调度的方法
CN109901818B (zh) 用于软件架构设计的系统和方法
CN102867069A (zh) 一种基于sql的数据库脚本执行方法及系统
CN110471652A (zh) 任务编排方法、编排器、设备及可读存储介质
Takeda et al. Sensory uncertainty field for mobile robot navigation
CN108427709B (zh) 一种多源海量数据处理系统及方法
US20050144596A1 (en) Method and apparatus for parallel action processing
CN103810555A (zh) 一种定期维护项目的排程方法及系统
CN112015528B (zh) 一种工业控制系统软件控制流程构建和解析方法
CN108875017A (zh) 一种基于Sqoop技术的海量数据同步系统及方法
CN113867714B (zh) 一种适配多语言的自动代码生成方法
CN100403264C (zh) Ttcn测试用例执行方法
CN114528347A (zh) 一种异构数据库系统间的数据同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230088 Room 501, E1 501, Huayi Science Park, 71 Tianda Road, hi tech Zone, Anhui.

Applicant after: Hefei Zhisheng new information technology Co. Ltd.

Address before: 230088 Room 501, E1 501, Huayi Science Park, 71 Tianda Road, hi tech Zone, Anhui.

Applicant before: Hefei Zhisheng system integration Co. Ltd.

GR01 Patent grant
GR01 Patent grant