CN1704936A - 一种数据库间的数据转换或同步方法 - Google Patents
一种数据库间的数据转换或同步方法 Download PDFInfo
- Publication number
- CN1704936A CN1704936A CN 200410155113 CN200410155113A CN1704936A CN 1704936 A CN1704936 A CN 1704936A CN 200410155113 CN200410155113 CN 200410155113 CN 200410155113 A CN200410155113 A CN 200410155113A CN 1704936 A CN1704936 A CN 1704936A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- source
- switching
- descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
一种数据库间数据的转换或同步方法，目的在于提供一种有效减少开发周期、减少编程实现的时间、增加系统的可适应性、可维护性、降低数据库转换系统复杂度的数据库间的数据转换或同步方法。为解决上述问题，本发明的一种数据库间数据的转换或同步方法，包括下列步骤：一种数据库间数据的转换或同步方法，包括在一个图形用户界面编辑器中，设定一个源数据和目标数据之间的数据接口，对所述据接口进行描述，以一种方式存储该描述信息；当源数据库和目标数据库进行数据转换或同步时，一个主进程根据所述描述信息的定义，加载转换算法，并解析该算法，生成源数据和目的数据的数据转换或同步进程，完成数据转换或同步过程。
Description
技术领域 本发明涉及一种数据库间数据转换或同步的方法。
背景技术 在现有的数据库应用系统中，对于不同数据库之间数据的转换或同步一般是采用独立编程的方法，也就是每一个数据同步和转换的需求就需要一个独立的程序或进程去完成。如图1所示，若有三个数据源服务器A1、A2、A3中的数据需要同步到目的数据库C1中，其中每一个数据的转换程序或进程B1、B2、B3都需要占用一定的系统资源，都需要开发人员重新进行编程实现，使每个数据应用项目中都必须消耗系统开发人员或编程人员有大量的精力和时间，从而增加了整个系统的复杂度，减低了系统的可维护性。
一个信息系统a1，采用上述结构，数据库系统在维护期间，如图2所示，根据客户的需要提出系统需求，管理数据库的管理员a2知道新的系统需求和相应数据间的对应关系，但是由于管理员a2无法对数据的转换程序或进程进行开发、更改，他需将信息整理并提交给给系统实现人员a3，由系统实现人员根据系统需求完成开发工作，并在运行验证a4后提交给数据库管理员a5使用，并由数据库管理员运行通过后投入使用。整个过程中，系统实现人员往往是不在使用现场的，因为距离的原因势必带来沟通、调试、解决需求延迟等问题。不难看出，随着整个系统的发展和用户需求的变化，又有许多新的数据同步或转换需求，又需要重新投入大量人力去重新设计同步或转换接口程序，使整个项目陷入周而复始的维护开发之中，捆绑大量的编程人员。
专利申请号为01127743.2申请文件公开了一种可以适用于任何种类结构的数据库的数据交换，保留原数据库及应用程序各自的独立性，无需人工干预而快速解决同组数据库间数据同步更新问题。该专利文件所提供的方法为设立数据库间数据交换通道，将原数据库中特定格式的数据转换成基本格式数据，再将该基本格式数据转换成另一特定格式后送入目标数据库；该方法所适用的通道为一能双向转换特定格式数据和基本格式数据，并与所连接数据库进行交换的接口电路。但是，本专利申请文件主要解决的问题是如何简单易行的完成异构、异种数据库间的数据转换，并未对数据转换实现过程中开发、维护所遇到的投入人大量、捆绑大量的编程人员，客户需求解决延迟等问题进行有效的解决。
发明内容 本发明的目的在于提供一种有效减少开发周期、减少编程实现的时间、增加系统的可适应性、可维护性、降低数据库转换系统复杂度的数据库间的数据转换或同步方法
为解决上述问题，本发明的一种数据库间数据的转换或同步方法，包括下列步骤：一种数据库间数据的转换或同步方法，包括下列步骤：(a)在一个图形用户界面(GUI)编辑器中，设定一个源数据和目标数据之间的数据接口；(b)对所述据接口进行描述，描述源数据和目标数据的参数、转换关系和转换算法，并生成描述信息，以一种方式存储该描述信息；(c)当源数据库和目标数据库进行数据转换或同步时，一个主进程根据所述描述信息的定义，加载转换算法，并解析该算法，生成源数据和目的数据的数据转换或同步进程；(d)由主进程执行源数据和目的数据的数据转换或同步进程，完成数据转换或同步过程。
采用本发明的上述技术，可大大节约了开发和编程的时间，加快了开发进度，使系统具有了很强的维护性和操作性，降低了数据转换的复杂程度，使操作和维护更加简便和容易。特别是在快速适应客户需求的应用项目中，更表现出卓越的性能。
附图说明 图1为现有数据库转换方法的结构示意图
图2为现有数据库系统的开发、维护流程和本发明数据库系统的开发、维护流程的对比示意图
图3为本发明流程框图
图4为本发明描述信息结构示意图
图5为本发明数据库转换方法的结构示意图
图6为本发明图形用户编辑器结构示意图
具体实施方式 下面结合附图对本发明做进一步描述：
本发明的一种数据库间数据的转换或同步方法，如图3所示，通过步骤S1在一个图形用户界面(GUI)编辑器中设定一个数据接口，即要完成的数据同步或转换过程为一个数据接口，对所述据接口进行描述，设定源数据和目标数据的相关参数S11，描述源数据和目标数据转换关系和转换算法S12，设定源数据和目的数据之间进行数据转换或同步的执行时间间隔S13，并通过步骤S2生成描述信息，步骤S3以一种方式存储该描述信息。每当产生一个新的数据库转换或同步需求时，数据库管理员只需重复步骤S1~S3即可完成对数据库间转换关系的描述，生成描述信息1、描述信息2……描述信息m、描述信息描述信息n；如图4所示，描述信息包括了：源和目的数据的参数信息、转换关系和转换算法信息、转换或同步的执行时间间隔信息。步骤S4，当源数据库和目标数据库进行数据转换或同步时，一个主进程读取步骤S3已存储的描述信息；通过步骤S5、S6根据描述信息的定义加载转换算法、解析该算法，步骤S7生成源数据和目的数据的数据转换或同步进程；通过步骤S8主进程执行源数据和目的数据的数据转换或同步进程，步骤S9完成数据转换或同步过程。主进程根据步骤S13设定的执行时间间隔，重复步骤S4~S9完成与描述信息对应的数据库间数据转换或同步。
上述的转换算法通过标准的SQL语句进行描述；上述描述信息保存在所述主进程的工作环境中，由主进程加载和解析；上述图形用户界面(GUI)编辑器包括一个输入接口，设定了源数据库和目的数据库的数据库名称、数据库地址、数据库的访问用户名称、数据库的访问密码、操作表名信息。
如图2右侧流程所示，采用本发明方法的数据库系统的开发、维护过程变为，当信息系统a1根据客户的需要提出系统需求后，管理数据库的管理员a2知道新的系统需求和相应数据间的对应关系，他只需整理需求，通过一个采用本发明方法所实现的系统b，将需求信息进行描述，新的需求可立即满足，投入使用。大大的节约了系统在使用过程中的维护时间，整个实现过程无需系统实现人员参与，节约的人力物力。
采用本发明的方法，如图5所示，若有三个数据源服务器D1、D2、D3中的数据需要同步到目的数据库F1中，只需一个数据的转换程序或进程E1即可。
下面以一个运用本方法的一个同步服务器系统的实现过程，作为例子来进一步说明本发明。
例如，在一个移动OA项目中，经常需要同步或转换客户提供的数据库数据，现在客户提供了MSSQL SERVER2000的数据库hardware中的客户数据表User1需要同步到一个的移动销售的Oracle9i数据库Msale的数据表MS_T1中。
首先，如图6所示，进入同步服务器系统的管理界面1，定义一个需要完成的数据同步或转换过程，即添加接口一个数据接口102，如定义接口名称为：客户资料，同时可以定义同步服务器的时间单位，这个时间单位就是源数据和目的数据之间进行数据转换或同步的执行时间间隔105，同步服务器系统主进程在指定的时间间隔加载指定转换算法。
其次，对源数据和目的数据的参数进行描述103，数据描述的项目包括数据类型，数据名称，地址，用户名，用户口令，操作表名，本例如表1所示：
表1
| 源数据描述 | 目的数据描述 | ||
| 数据类型 | Oracle | 数据类型 | MS SQL Server |
| 数据名称 | Msale | 数据名称 | hardware |
| 数据地址 | 数据地址 | 128.1.0.12 | |
| 用户名称 | Msale | 用户名称 | MobileOA |
| 用户口令 | ****** | 用户口令 | ****** |
| 操作表名 | MS_T1 | 操作表名 | User1 |
再次，对接口的转换关系和转换算法进行描述，通过标准的SQL语句进行描述编写脚本。如表2所示，就是根据数据的对应关系编写源和目的间的转换脚本，以本例源和目的数据的10个字段相对应为例。
表2
| 源字段 | 目的字段 | 源到目的的转换算法 | 目的到源转换算法 | 是否关键字 |
| ID | Id | Id | 是 | |
| NUSERID | Admin | |||
| INTERMID | -1 | |||
| INTIME | Replace(Replace(Replace(convert(varchar(20)，getdate()，120)，’-’，”)，’：’，”)，”，”) | |||
| LUUSERID | Admin |
| LUTIME | Replace(Replace(Replace(convert(varchar(20)，getdate()，120)，’-’，”)，’：’，”)，’’，”) | |||
| STIME | Replace(Replace(Replace(convert(varchar(20)，getdate()，120)，’-’，”)，’：’，”)，’’，”) | |||
| USERID | Userid | UserID | Userid | |
| PASSWORD | Passwd | PASSWORD | Userid | |
最后，脚本编写完成后，同步服务器系统将这个接口的定义过程保存到与系统主程序系统主进程的工作环境中，由主进程加载和解析。
同步服务器系统主进程根据所述描述信息的定义，加载转换算法，并解析该算法，生成源数据和目的数据的数据转换或同步进程；由主进程执行源数据和目的数据的数据转换或同步进程，完成数据转换或同步过程。
Claims (5)
1、一种数据库间数据的转换或同步方法，包括下列步骤：
(a)在一个图形用户界面(GUI)编辑器中，设定一个源数据和目标数据之间的数据接口；
(b)对所述据接口进行描述，描述源数据和目标数据的参数、转换关系和转换算法，并生成描述信息，以一种方式存储该描述信息；
(c)当源数据库和目标数据库进行数据转换或同步时，一个主进程根据所述描述信息的定义，加载转换算法，并解析该算法，生成源数据和目的数据的数据转换或同步进程；
(d)由主进程执行源数据和目的数据的数据转换或同步进程，完成数据转换或同步过程。
2、根据权利要求1所述的方法，其特征在于：所述描述信息包括源数据和目的数据之间进行数据转换或同步的执行时间间隔，所述主进程在指定的时间间隔加载指定转换算法。
3、根据权利要求1所述的方法，其特征在于：步骤(b)所述的转换关系或转换算法通过标准的SQL语句进行描述。
4、根据权利要求1所述的方法，其特征在于：所述描述信息保存在所述主进程的工作环境中，由主进程加载和解析。
5、根据权利要求1所述的方法，其特征在于：在图形用户界面(GUI)编辑器包括一个输入接口，设定了源数据库和目的数据库的数据库名称、数据库地址、数据库的访问用户名称、数据库的访问密码、操作表名信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410155113 CN1704936A (zh) | 2004-05-31 | 2004-05-31 | 一种数据库间的数据转换或同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410155113 CN1704936A (zh) | 2004-05-31 | 2004-05-31 | 一种数据库间的数据转换或同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1704936A true CN1704936A (zh) | 2005-12-07 |
Family
ID=35577254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200410155113 Pending CN1704936A (zh) | 2004-05-31 | 2004-05-31 | 一种数据库间的数据转换或同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1704936A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100407203C (zh) * | 2005-12-30 | 2008-07-30 | 华为技术有限公司 | 一种海量数据的处理方法 |
| CN100428244C (zh) * | 2005-12-13 | 2008-10-22 | 国际商业机器公司 | 同步企业应用变化历史的装置、系统以及方法 |
| CN100433012C (zh) * | 2006-02-27 | 2008-11-12 | 华为技术有限公司 | 一种数据配置系统及实现数据配置的方法 |
| CN102063502A (zh) * | 2011-01-06 | 2011-05-18 | 天津神舟通用数据技术有限公司 | 实现异构数据库数据同步的方法 |
| CN102156736A (zh) * | 2011-04-12 | 2011-08-17 | 上海电通信息服务有限公司 | Sap系统与sql数据库之间数据传输的方法 |
| CN102419841A (zh) * | 2011-12-21 | 2012-04-18 | 深圳市蓝凌软件股份有限公司 | 一种基于ekp系统的报表中心 |
| CN101640587B (zh) * | 2008-08-01 | 2012-04-25 | 华为技术有限公司 | 数据同步方法及装置 |
| CN102456025A (zh) * | 2010-10-27 | 2012-05-16 | 镇江华扬信息科技有限公司 | 一种财务系统数据转换工具 |
| CN102467532A (zh) * | 2010-11-12 | 2012-05-23 | 中国移动通信集团山东有限公司 | 一种任务处理方法以及任务处理装置 |
| CN102486785A (zh) * | 2010-12-06 | 2012-06-06 | 金蝶软件（中国）有限公司 | 一种数据同步方法、装置及系统 |
| CN102819537A (zh) * | 2011-09-29 | 2012-12-12 | 金蝶软件（中国）有限公司 | 异构系统中进行数据交换的方法及系统 |
| CN103092980A (zh) * | 2013-01-31 | 2013-05-08 | 中国科学院自动化研究所 | 一种数据自动转换与存储的方法及系统 |
| CN103177119A (zh) * | 2013-04-09 | 2013-06-26 | 上海华力微电子有限公司 | 基于数据库的数据类型自动转换系统及方法 |
| CN103383749A (zh) * | 2012-05-04 | 2013-11-06 | 上海盛霄云计算技术有限公司 | 多个管理系统自动整合的方法及系统 |
| CN110297825A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备以及存储介质 |
-
2004
- 2004-05-31 CN CN 200410155113 patent/CN1704936A/zh active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100428244C (zh) * | 2005-12-13 | 2008-10-22 | 国际商业机器公司 | 同步企业应用变化历史的装置、系统以及方法 |
| CN100407203C (zh) * | 2005-12-30 | 2008-07-30 | 华为技术有限公司 | 一种海量数据的处理方法 |
| CN100433012C (zh) * | 2006-02-27 | 2008-11-12 | 华为技术有限公司 | 一种数据配置系统及实现数据配置的方法 |
| CN101640587B (zh) * | 2008-08-01 | 2012-04-25 | 华为技术有限公司 | 数据同步方法及装置 |
| CN102456025A (zh) * | 2010-10-27 | 2012-05-16 | 镇江华扬信息科技有限公司 | 一种财务系统数据转换工具 |
| CN102467532A (zh) * | 2010-11-12 | 2012-05-23 | 中国移动通信集团山东有限公司 | 一种任务处理方法以及任务处理装置 |
| CN102486785A (zh) * | 2010-12-06 | 2012-06-06 | 金蝶软件（中国）有限公司 | 一种数据同步方法、装置及系统 |
| CN102063502A (zh) * | 2011-01-06 | 2011-05-18 | 天津神舟通用数据技术有限公司 | 实现异构数据库数据同步的方法 |
| CN102063502B (zh) * | 2011-01-06 | 2013-07-31 | 天津神舟通用数据技术有限公司 | 实现异构数据库数据同步的方法 |
| CN102156736A (zh) * | 2011-04-12 | 2011-08-17 | 上海电通信息服务有限公司 | Sap系统与sql数据库之间数据传输的方法 |
| CN102819537A (zh) * | 2011-09-29 | 2012-12-12 | 金蝶软件（中国）有限公司 | 异构系统中进行数据交换的方法及系统 |
| CN102819537B (zh) * | 2011-09-29 | 2016-08-31 | 金蝶软件（中国）有限公司 | 异构系统中进行数据交换的方法及系统 |
| CN102419841A (zh) * | 2011-12-21 | 2012-04-18 | 深圳市蓝凌软件股份有限公司 | 一种基于ekp系统的报表中心 |
| CN102419841B (zh) * | 2011-12-21 | 2016-04-27 | 深圳市蓝凌软件股份有限公司 | 一种基于ekp系统的报表中心 |
| CN103383749A (zh) * | 2012-05-04 | 2013-11-06 | 上海盛霄云计算技术有限公司 | 多个管理系统自动整合的方法及系统 |
| CN103092980A (zh) * | 2013-01-31 | 2013-05-08 | 中国科学院自动化研究所 | 一种数据自动转换与存储的方法及系统 |
| CN103177119A (zh) * | 2013-04-09 | 2013-06-26 | 上海华力微电子有限公司 | 基于数据库的数据类型自动转换系统及方法 |
| CN110297825A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备以及存储介质 |
| CN110297825B (zh) * | 2019-05-23 | 2024-06-11 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1704936A (zh) | 一种数据库间的数据转换或同步方法 | |
| CN101354696B (zh) | 基于电信领域共享信息模型的数据整合与应用服务系统 | |
| US20120089562A1 (en) | Methods and Apparatus for Integrated Management of Structured Data From Various Sources and Having Various Formats | |
| CN102306200B (zh) | 增量数据操作语句的并发应用装置和方法 | |
| US20070074155A1 (en) | Apparatus and method for data profile based construction of an extraction, transform, load (etl) task | |
| CN105474210A (zh) | 运行自动化流程的系统 | |
| GB2468742A (en) | Database migration or synchronization with ordering of data replication instructions based upon dependencies between data to prevent errors | |
| CN103699638A (zh) | 一种基于配置参数实现跨数据库类型同步数据的方法 | |
| CN102034152A (zh) | 基于soa架构的异构软件系统数据的集成整合方法与系统 | |
| CN102054034A (zh) | 企业信息系统的业务基础数据持久化实现方法 | |
| CN101216782A (zh) | 一种金融数据实现etl加工的方法和系统 | |
| WO2023066086A1 (zh) | 数据处理方法、分布式数据库系统、电子设备及存储介质 | |
| CN101923464A (zh) | Do-178b标准文档生成器 | |
| CN109446492A (zh) | 一种维护文档编辑数据一致性的方法 | |
| CN113468149B (zh) | 一种数据模型开发平台 | |
| CN1501235A (zh) | 基于纯文本的命令脚本文件的人机命令实现方法 | |
| JP2023546897A (ja) | オブジェクト処理方法、装置、及びコンピュータ機器 | |
| CN111177173A (zh) | 大数据环境下实现数据同步优化处理的系统及其方法 | |
| Andjelic et al. | Version management for GIS in a distributed environment | |
| CN112416305A (zh) | 一种基于VisualStudio的快速开发方法 | |
| CN101174204A (zh) | 数据版本升级的装置 | |
| CN112732828A (zh) | 基于数据仓库工具的跨平台数据共享方法 | |
| CN102314495A (zh) | 一种数据库对象的维护方法 | |
| CN101609463A (zh) | 建立文单之间数据转换关系的方法及文单之间数据迁移的方法 | |
| JP2001166928A (ja) | ジョブネットの自動生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |