CN102495910A - 实现异构系统数据定时同步的装置和方法 - Google Patents

实现异构系统数据定时同步的装置和方法 Download PDF

Info

Publication number
CN102495910A
CN102495910A CN2011104481863A CN201110448186A CN102495910A CN 102495910 A CN102495910 A CN 102495910A CN 2011104481863 A CN2011104481863 A CN 2011104481863A CN 201110448186 A CN201110448186 A CN 201110448186A CN 102495910 A CN102495910 A CN 102495910A
Authority
CN
China
Prior art keywords
data
database
source
production
middle table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104481863A
Other languages
English (en)
Other versions
CN102495910B (zh
Inventor
樊进忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANJET INFORMATION TECHNOLOGY Co Ltd
Original Assignee
CHANJET INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANJET INFORMATION TECHNOLOGY Co Ltd filed Critical CHANJET INFORMATION TECHNOLOGY Co Ltd
Priority to CN 201110448186 priority Critical patent/CN102495910B/zh
Publication of CN102495910A publication Critical patent/CN102495910A/zh
Application granted granted Critical
Publication of CN102495910B publication Critical patent/CN102495910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种实现异构系统数据定时同步的装置,包括:创建单元,在目标数据库中建立中间表,所述中间表具有与源数据库中的源数据表相同的表结构;获取单元,获取所述源数据表中的目标数据;导入单元,将所述获取单元获取的所述目标数据导入所述中间表中。相应地,本发明还提供了一种实现异构系统数据定时同步的方法。通过本发明的技术方案,实现了更高效更安全的数据同步,并能有效的防止并发冲突,提高了系统运行的效率及可靠性。

Description

实现异构系统数据定时同步的装置和方法
技术领域
本发明涉及数据处理技术领域,具体而言,涉及实现异构系统数据定时同步的装置和方法。
背景技术
随着企业的发展,企业为了提高管理水平,企业内部使用了很多的信息化系统,如CRM(Customer Relationship Management,客户关系管理)系统、企业管理系统、数据仓库系统及分销系统等,且各个系统都是独立运行。企业内部存在多个信息系统数据不能共享,在分销行业的批发零售过程中,企业希望自己的商品在各个系统中命名规则都统一,用户的订单信息能在不同系统中进行同步,并实现商品和订单数据自动从一个系统同步到另一个系统。在企业的实际运营中,各个系统之间经常需要进行数据同步,以保证各个系统中所储存的信息是一致的。例如在家电行业商品的批发零售中,经销商通过厂商的CRM系统下订单,供应商审批后给经销商发货。经销商收到货后还得重新填写订单,增加了经销商的工作量。厂商希望统一它们的商品,当经销商的订单审批后,通过分销系统下发给经销商,减少了经销商重复填写订单的工作量,但不同信息系统的数据结构又不尽相同。因此,需要一种装置,用于实现基础档案(如商品、计量单位等)和订单数据从CRM系统同步到分销系统,然后再通过分销平台把收集到的数据分发给各经销商。
相关技术方案中,当需要同步的数据达到一定的规模时,就很难正确完成数据同步,数据同步的安全性,数据的并发性也难以保证。即使同步成功,数据解析的效率也有明显的问题。
由于相关大部分技术方案都采用XML进行数据传输,当用户传输的数据量比较少的情况下,对网络影响和数据的解析都不会有太大的影响。当数据量达到几十兆、甚至上百兆时,生成的XML文件过大,而XML需要加载到内存中操作,对内存的影响很大,解析速度非常慢,严重影响产品的正常使用。
相关其它的数据同步方法及装置,往往也只考虑了网络断开的情况,没有考虑数据传输的安全性,传输过程中用户并发数控制,数据传输的效率及对生产环境的影响等。
因此,目前需要解决的问题主要包括:解决异构数据库中的大数据同步的效率问题;解决数据的定时自动同步问题;解决数据同步的安全问题;解决增量数据同步问题;解决中间表的数据自动抽取问题。
另外,有发明者发明过一个数据同步处理方法及装置,这种数据同步装置的实现方法如下:
实现一个数据源监控器,用来监控参考数据源与目标数据源之间的通信状态;
变更状态记录单元,当通讯中断时,用来记录参考数据源的变更状态;
数据同步单元,当通讯状态正常时,根据参考数据源的变更状态,把参考数据源中的变更数据同步到目标数据源;
实现业务监听器,用来监听参考数据源的数据变化;
实现映射控制器,用来管理和查找参考数据源中的数据与目标数据源的数据的对应关系;
数据导入单元,把原数据中的变更数据导入到目标数据源;
数据转换器,用来将参考数据源中的数据结构转换为目标数据源的数据结构。
但是,这个数据通过方法和装置的分析存在几个关键的技术问题:数据的导入的安全性存在隐患,任何一个数据库用户都可以对数据进行同步;数据的更改没有办法跟踪控制;数据的同步对生产环境影响较大,每次数据同步时,都要去检查目标数据库的数据源,造成对生产环境的数据访问冲突;数据的并发冲突,当数据导入时,用户需要访问导入的数据,这样容易造成并发冲突;数据处理的效率较差。
由于相关的发明存在诸多的问题,不能满足我们的需求,因此,需要一种新的数据同步技术,以实现更高效更安全的数据同步,并能有效的防止并发冲突,提高系统运行的效率及可靠性。
发明内容
本发明所要解决的技术问题在于,提供一种数据同步装置和同步方法,以实现更高效更安全的数据同步,并能有效的防止并发冲突,提高系统运行的效率及可靠性。
有鉴于此,本发明提出了一种实现异构系统数据定时同步的装置,包括:创建单元,在目标数据库中建立中间表,所述中间表具有与源数据库中的源数据表相同的表结构;获取单元,获取所述源数据表中的目标数据;导入单元,将所述获取单元获取的所述目标数据导入所述中间表中。在该技术方案中,采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,则在对生产表中所需的数据进行获取时,可以从中间表中直接获取,是在同一个数据库(目标数据库)内部完成的数据传输,而不需要每次获取一个数据时,都在异构数据库(源数据库与目标数据库)之间进行检查和转换,这使得该过程显然具有更快的传输速度、更高的传输效率。同时,该过程还不需要且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。
在上述技术方案中,优选地,还包括:转换单元,根据生产表中的数据需求,从所述中间表中获取对应的生产数据,并利用数据转换装置,将所述生产数据的数据格式转换为所述生产表对应的数据格式;以及所述导入单元还用于:将所述转换单元转换后的生产数据导入所述生产表中。在该技术方案中,由于源数据库和目标数据库的数据格式往往是不同的,利用数据转换装置,可以根据实际情况将源数据库的数据格式转换为生产表所需的数据格式,而且数据转换装置所处理的数据来自中间表,而非源数据库,有效地避免了频繁地访问源数据库而造成的与业务系统抢占系统资源的情况。
在上述技术方案中,优选地,所述的实现异构系统数据定时同步的装置,还包括:权限设置单元,为所述中间表和所述生产表分别设置操作级别。在该技术方案中,通过对中间表的严格授权,设置专门的导入数据库的权限用户(例如从源数据库导入目标数据库的用户,可以对中间表进行更新操作;在目标数据数中,从中间表到生产表之间的导入用户,只具有对中间表的只读权限),一旦数据出现问题,很快就可以找到责任人,优化了企业管理,提高了数据的安全性。
在上述技术方案中,优选地,所述的实现异构系统数据定时同步的装置,还包括:权限验证单元,在用户对所述中间表或所述生产表进行操作时,检测所述用户的权限级别,并允许所述用户进行对应于所述权限级别的操作。在该技术方案中,对用户的操作进行权限验证,保证了所有用户只能进行权限设置中授权的操作,有效地避免了任意用户都可以进行数据同步的情况下的管理困难问题,提高了数据同步的安全性。
在上述技术方案中,优选地,所述的实现异构系统数据定时同步的装置,还包括:调度设定单元,设定每次获取所述目标数据的获取时间;以及所述获取单元还用于:在所述源数据库中启动轮询服务,所述轮询服务按照所述获取时间,在所述源数据表中对所述目标数据进行获取。在该技术方案中,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源,同时对每个用户的数据同步时间进行合理分配,有效地解决了多用户同时访问所造成的并发冲突。
本发明还提供了一种实现异构系统数据定时同步的方法,包括:步骤202,在目标数据库中建立中间表,所述中间表具有与源数据库中的源数据表相同的表结构;步骤204,获取所述源数据表中的目标数据,并将所述目标数据导入所述中间表中。在该技术方案中,采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,则在对生产表中所需的数据进行获取时,可以从中间表中直接获取,是在同一个数据库(目标数据库)内部完成的数据传输,而不需要每次获取一个数据时,都在异构数据库(源数据库与目标数据库)之间进行检查和转换,这使得该过程显然具有更快的传输速度、更高的传输效率。同时,该过程还不需要且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。
在上述技术方案中,优选地,在所述步骤204之后,还包括:根据生产表中的数据需求,从所述中间表中获取对应的生产数据;利用数据转换装置,将所述生产数据的数据格式转换为所述生产表对应的数据格式,并将转换后的生产数据导入所述生产表中。在该技术方案中,由于源数据库和目标数据库的数据格式往往是不同的,利用数据转换装置,可以根据实际情况将源数据库的数据格式转换为生产表所需的数据格式,而且数据转换装置所处理的数据来自中间表,而非源数据库,有效地避免了频繁地访问源数据库而造成的与业务系统抢占系统资源的情况。
在上述技术方案中,优选地,所述的实现异构系统数据定时同步的方法,还包括:为所述中间表和所述生产表分别设置操作级别。在该技术方案中,通过对中间表的严格授权,设置专门的导入数据库的权限用户(例如从源数据库导入目标数据库的用户,可以对中间表进行更新操作;在目标数据数中,从中间表到生产表之间的导入用户,只具有对中间表的只读权限),一旦数据出现问题,很快就可以找到责任人,优化了企业管理,提高了数据的安全性。
在上述技术方案中,优选地,所述的实现异构系统数据定时同步的方法,还包括:在用户对所述中间表或所述生产表进行操作时,检测所述用户的权限级别,并允许所述用户进行对应于所述权限级别的操作。在该技术方案中,对用户的操作进行权限验证,保证了所有用户只能进行权限设置中授权的操作,有效地避免了任意用户都可以进行数据同步的情况下的管理困难问题,提高了数据同步的安全性。
在上述技术方案中,优选地,在所述步骤204之前,还包括:设定每次获取所述目标数据的获取时间;以及所述步骤204还包括:在所述源数据库中启动轮询服务,所述轮询服务按照所述获取时间,在所述源数据表中对所述目标数据进行获取。在该技术方案中,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源,同时对每个用户的数据同步时间进行合理分配,有效地解决了多用户同时访问所造成的并发冲突。
综上所述,考虑到采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,不需要在异构数据库之间进行检查和转换,且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。而且,对中间表的严格授权,设置专门的导入数据库的权限用户,一旦数据出现问题,很快就可以找到责任人,提高了数据的安全性。另外,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源。同时由于采用了异步处理方法,有效地减少了多用户同时访问所造成的并发冲突。
附图说明
图1示出了本发明的实施例的实现异构系统数据定时同步的装置的框图;
图2示出了本发明的实施例的实现异构系统数据定时同步的方法的流程图;
图3示出了本发明的实施例的实现异构系统数据定时同步的装置的原理图;
图4示出了本发明的实施例的实现异构系统数据定时同步的装置运行过程的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
图1示出了本发明的实施例的实现异构系统数据定时同步的装置的框图。
如图1所示,本发明提出了一种实现异构系统数据定时同步的装置100,包括:创建单元102,在目标数据库中建立中间表,中间表具有与源数据库中的源数据表相同的表结构;获取单元104,获取源数据表中的目标数据;导入单元106,将获取单元104获取的目标数据导入中间表中。在该技术方案中,采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,则在对生产表中所需的数据进行获取时,可以从中间表中直接获取,是在同一个数据库(目标数据库)内部完成的数据传输,而不需要每次获取一个数据时,都在异构数据库(源数据库与目标数据库)之间进行检查和转换,这使得该过程显然具有更快的传输速度、更高的传输效率。同时,该过程还不需要且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。
在上述技术方案中,还包括:转换单元108,根据生产表中的数据需求,从中间表中获取对应的生产数据,并利用数据转换装置,将生产数据的数据格式转换为生产表对应的数据格式;以及导入单元106还用于:将转换单元108转换后的生产数据导入生产表中。在该技术方案中,由于源数据库和目标数据库的数据格式往往是不同的,利用数据转换装置,可以根据实际情况将源数据库的数据格式转换为生产表所需的数据格式,而且数据转换装置所处理的数据来自中间表,而非源数据库,有效地避免了频繁地访问源数据库而造成的与业务系统抢占系统资源的情况。
在上述技术方案中,还包括:权限设置单元110,为中间表和生产表分别设置操作级别。在该技术方案中,通过对中间表的严格授权,设置专门的导入数据库的权限用户(例如从源数据库导入目标数据库的用户,可以对中间表进行更新操作;在目标数据数中,从中间表到生产表之间的导入用户,只具有对中间表的只读权限),一旦数据出现问题,很快就可以找到责任人,优化了企业管理,提高了数据的安全性。
在上述技术方案中,还包括:权限验证单元112,在用户对中间表或生产表进行操作时,检测用户的权限级别,并允许用户进行对应于权限级别的操作。在该技术方案中,对用户的操作进行权限验证,保证了所有用户只能进行权限设置中授权的操作,有效地避免了任意用户都可以进行数据同步的情况下的管理困难问题,提高了数据同步的安全性。
在上述技术方案中,还包括:调度设定单元114,设定每次获取目标数据的获取时间;以及获取单元104还用于:在源数据库中启动轮询服务,轮询服务按照获取时间,在源数据表中对目标数据进行获取。在该技术方案中,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源,同时对每个用户的数据同步时间进行合理分配,有效地解决了多用户同时访问所造成的并发冲突。
图2示出了本发明的实施例的实现异构系统数据定时同步的方法的流程图。
本发明还提供了一种实现异构系统数据定时同步的方法,如图2,包括:步骤202,在目标数据库中建立中间表,中间表具有与源数据库中的源数据表相同的表结构;步骤204,获取源数据表中的目标数据,并将目标数据导入中间表中。在该技术方案中,采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,则在对生产表中所需的数据进行获取时,可以从中间表中直接获取,是在同一个数据库(目标数据库)内部完成的数据传输,而不需要每次获取一个数据时,都在异构数据库(源数据库与目标数据库)之间进行检查和转换,这使得该过程显然具有更快的传输速度、更高的传输效率。同时,该过程还不需要且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。
在上述技术方案中,在步骤204之后,还包括:根据生产表中的数据需求,从中间表中获取对应的生产数据;利用数据转换装置,将生产数据的数据格式转换为生产表对应的数据格式,并将转换后的生产数据导入生产表中。在该技术方案中,由于源数据库和目标数据库的数据格式往往是不同的,利用数据转换装置,可以根据实际情况将源数据库的数据格式转换为生产表所需的数据格式,而且数据转换装置所处理的数据来自中间表,而非源数据库,有效地避免了频繁地访问源数据库而造成的与业务系统抢占系统资源的情况。
在上述技术方案中,还包括:为中间表和生产表分别设置操作级别。在该技术方案中,通过对中间表的严格授权,设置专门的导入数据库的权限用户(例如从源数据库导入目标数据库的用户,可以对中间表进行更新操作;在目标数据数中,从中间表到生产表之间的导入用户,只具有对中间表的只读权限),一旦数据出现问题,很快就可以找到责任人,优化了企业管理,提高了数据的安全性。
在上述技术方案中,还包括:在用户对中间表或生产表进行操作时,检测用户的权限级别,并允许用户进行对应于权限级别的操作。在该技术方案中,对用户的操作进行权限验证,保证了所有用户只能进行权限设置中授权的操作,有效地避免了任意用户都可以进行数据同步的情况下的管理困难问题,提高了数据同步的安全性。
在上述技术方案中,在步骤204之前,还包括:设定每次获取目标数据的获取时间;以及步骤204还包括:在源数据库中启动轮询服务,轮询服务按照获取时间,在源数据表中对目标数据进行获取。在该技术方案中,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源,同时对每个用户的数据同步时间进行合理分配,有效地解决了多用户同时访问所造成的并发冲突。
通过以上技术方案,很好地解决了相关技术中的不足,使得数据同步装置更安全、高效:
1、在目标数据库中,采用中间表的过渡机制,使得数据同步不再需要频繁切换源数据库和目标数据库连接。
相关的数据同步装置中,需要查找目标数据源的数据结构与源数据源的数据结构是否一致,如果不一致,再通过数据转换装置对数据结构进行转换,这样需要不断来回切换源与目标数据库,这种数据库连接的切换效率必然很低,且影响目标数据库的访问。
通过本发明实施例中的技术方案,采用中间表的处理方式,源数据库和目标数据库的数据结构一致,不需要在异构数据库之间进行检查和转换,且不影响生产环境的数据结构。
2、采用两阶段提交的处理方式,更好地解决了数据传输的安全性。
相关的数据同步装置中,数据直接同步到生产环境的数据表中,且任何一个数据库连接用户都可以进行数据同步,数据出错也不能进行跟踪,数据的安全性很难保证。
通过本发明实施例中的技术方案,可以采用多阶段提交的处理方式,比如在目标数据库中建立中间表时,对中间表进行严格授权,设置专门的导入数据的权限用户:1)从源数据库导入目标数据库的用户,可以对中间表进行更新操作;2)在目标数据数中,从中间表到生产环境的数据表之间的导入用户,只具有对中间表具有只读权限。这样一旦数据出现问题,很快就可以找到责任人,并对数据错误进行有效跟踪,保证了正常生产。
3、把异构系统的数据同步,转换成同数据库的异步数据处理,降低了对源数据库的数据访问并发性。
相关的数据同步装置中,数据直接同步到目标数据库的生产环境数据库表中,这样容易出现和业务系统抢占系统资源的情况,造成并发性错误。
通过本发明实施例中的技术方案,把异构系统的数据同步,转换成同数据库的异步数据处理,通过异步处理,降低了资源访问的冲突,并充分利用了系统资源。
4、采用异步处理方法、中间表等技术手段,提高了数据同步效率。
通过本发明实施例中的技术方案,通过异步处理方法,将多个同步任务进行调度,比如将一些任务安排在深夜系统资源比较充足的时候进行数据同步,充分利用了现有系统资源提高效率。通过对中间表的操作(如建索引),提高了数据同步速度。
本发明实施例中的技术方案采用了异步调度服务和Web服务技术,解决了数据定时同步的问题。在目标数据库中,创建与源数据库一样的中间表结构,对中间表设置特有的访问权限控制,保证数据导入的安全性。为了防止数据导入对生产环境造成影响,通过异步处理装置,设定同步过程的数据抽取在目标数据库端进行。关于实现数据定时同步的原理,下面结合图3进行详细说明。
图3示出了本发明的实施例的实现异构系统数据定时同步的装置的原理图。
如图3所示,左边为源数据库端300A,右边为目标数据库端300B,目标数据库中包括中间表306和生产表308,两端设置有调度服务302A和调度服务302B。在系统正式启用前,先进行调度设置、中间表306的访问权限设置等初始化工作,此时的操作系统做了严格的授权,而且对中间表306的访问权限仅是只读权限,很好地保障了数据的安全性。系统初始化工作完成后,在源数据库端300A,启动一个轮询服务不停地轮询。根据用户事先所进行的设置,当到了某个特定的时间点时,启动一个线程来处理需要处理的业务数据。数据处理成功后,会记录一个成功的状态,下一次调度时,不再对成功处理的数据进行处理。由于从源数据表304到中间表306传输的是原始数据,所以不需经过转换。当源数据成功传输到目标数据库端300B的中间表306后,在目标数据库端300B,也会启动一个轮询服务,它负责处理从中间表306到生产表308之间的数据抽取、转换和运算,数据抽取过程中对中间表306的数据记录处理状态。处理好的数据存储在实际业务使用的生产表308中。
图4示出了本发明的实施例的实现异构系统数据定时同步的装置运行过程的流程图。
本发明实施例中实现异构系统数据定时同步的装置运行的具体流程如图4所示:
步骤402,进行调度设置以及中间表的访问权限设置。
步骤404,启动初始化完成以后,在源数据库端启动轮询服务,判断是否到了设定的时间点,当到了某个设定的时间点时,转至步骤406。
步骤406,启动一个线程来处理需要处理的业务数据。
步骤408,数据处理成功后,会记录一个成功的状态,下一次调度时,不再对成功处理的数据进行处理。
步骤410,将数据从源数据库端传输至目标数据库端的中间表。
步骤412,在目标数据库端,启动一个轮询服务,处理从中间表到生产表之间的数据抽取、转换和运算。
步骤414,数据抽取过程中对中间表的数据记录处理状态。
步骤416,将处理好的数据存储在实际业务使用的生产表中。
通过以上技术方案,实现的功能如下:
1)实现了两端异步调度服务,调度时间可以根据实际情况设置;
2)实现了源数据库与目标数据库两端增量式数据同步;
3)在目标数据库端,实现数据由中间表到生产环境数据表的抽取和转换;
4)实现由源数据库到目标数据库的数据安全自动同步;
5)实现分布的统一调度策略;
6)对中间表的访问权限统一控制。
可见,本发明实施例中的技术方案和相关技术方案的主要区别表现在以下几个方面:
1)大数据同步的并发访问方面
A)相关的方案在大数据处理方面不太完善,会对生产环境造成数据访问的并发数错误;
B)本发明实施例中的技术方案通过定时处理机制和中间表的方案,并充分利用数据库的处理能力,解决了大数据的处理问题。
2)数据的处理效率方面
A)相关方案直接把数据导入到目标数据库的生产环境,处理过程会占用大量的系统资源内存,严重影响处理效率;
B)本发明实施例中的技术方案通过异步机制,充分利用系统资源的空隙完成数据同步,并利用中间表的机制,减少源数据库与目标数据库的连接切换,提高了处理效率。
3)数据传输的安全性方面
A)相关技术中,任何数据库连接用户都可以进行数据同步,数据在传输过程中被修改后,也没办法进行跟踪;
B)本发明实施例中的技术方案采用两阶段提交的处理方式,通过分配中间表的操作权限,权限控制在一定范围,保证了数据的安全性。
综上所述,考虑到采用了中间表的过渡机制,源数据库表与中间表的数据结构一致,不需要在异构数据库之间进行检查和转换,且不影响目标数据库的数据结构,提高了数据同步的效率,降低了系统运行的负荷。而且,对中间表的严格授权,设置专门的导入数据库的权限用户,一旦数据出现问题,很快就可以找到责任人,提高了数据的安全性。另外,通过用户根据自身情况自主进行调度设置,实现了根据用户设置,自动在系统资源较充足的时间段(例如深夜)进行数据同步,避免了和业务系统抢占系统资源,充分地利用了系统资源。同时由于采用了异步处理方法,有效地减少了多用户同时访问所造成的并发冲突。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现异构系统数据定时同步的装置,其特征在于,包括:
创建单元,在目标数据库中建立中间表,所述中间表具有与源数据库中的源数据表相同的表结构;
获取单元,获取所述源数据表中的目标数据;
导入单元,将所述获取单元获取的所述目标数据导入所述中间表中。
2.根据权利要求1所述的实现异构系统数据定时同步的装置,其特征在于,还包括:
转换单元,根据生产表中的数据需求,从所述中间表中获取对应的生产数据,并利用数据转换装置,将所述生产数据的数据格式转换为所述生产表对应的数据格式;以及
所述导入单元还用于:将所述转换单元转换后的生产数据导入所述生产表中。
3.根据权利要求1或2所述的实现异构系统数据定时同步的装置,其特征在于,还包括:
权限设置单元,为所述中间表和所述生产表分别设置操作级别。
4.根据权利要求3所述的实现异构系统数据定时同步的装置,其特征在于,还包括:
权限验证单元,在用户对所述中间表或所述生产表进行操作时,检测所述用户的权限级别,并允许所述用户进行对应于所述权限级别的操作。
5.根据权利要求1或2所述的实现异构系统数据定时同步的装置,其特征在于,还包括:
调度设定单元,设定每次获取所述目标数据的获取时间;以及
所述获取单元还用于:在所述源数据库中启动轮询服务,所述轮询服务按照所述获取时间,在所述源数据表中对所述目标数据进行获取。
6.一种实现异构系统数据定时同步的方法,其特征在于,包括:
步骤202,在目标数据库中建立中间表,所述中间表具有与源数据库中的源数据表相同的表结构;
步骤204,获取所述源数据表中的目标数据,并将所述目标数据导入所述中间表中。
7.根据权利要求6所述的实现异构系统数据定时同步的方法,其特征在于,在所述步骤204之后,还包括:
根据生产表中的数据需求,从所述中间表中获取对应的生产数据;
利用数据转换装置,将所述生产数据的数据格式转换为所述生产表对应的数据格式,并将转换后的生产数据导入所述生产表中。
8.根据权利要求6或7所述的实现异构系统数据定时同步的方法,其特征在于,还包括:
为所述中间表和所述生产表分别设置操作级别。
9.根据权利要求8所述的实现异构系统数据定时同步的方法,其特征在于,还包括:
在用户对所述中间表或所述生产表进行操作时,检测所述用户的权限级别,并允许所述用户进行对应于所述权限级别的操作。
10.根据权利要求6或7所述的实现异构系统数据定时同步的方法,其特征在于,在所述步骤204之前,还包括:
设定每次获取所述目标数据的获取时间;以及
所述步骤204还包括:在所述源数据库中启动轮询服务,所述轮询服务按照所述获取时间,在所述源数据表中对所述目标数据进行获取。
CN 201110448186 2011-12-28 2011-12-28 实现异构系统数据定时同步的装置和方法 Active CN102495910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110448186 CN102495910B (zh) 2011-12-28 2011-12-28 实现异构系统数据定时同步的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110448186 CN102495910B (zh) 2011-12-28 2011-12-28 实现异构系统数据定时同步的装置和方法

Publications (2)

Publication Number Publication Date
CN102495910A true CN102495910A (zh) 2012-06-13
CN102495910B CN102495910B (zh) 2013-09-18

Family

ID=46187735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110448186 Active CN102495910B (zh) 2011-12-28 2011-12-28 实现异构系统数据定时同步的装置和方法

Country Status (1)

Country Link
CN (1) CN102495910B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
CN103092980A (zh) * 2013-01-31 2013-05-08 中国科学院自动化研究所 一种数据自动转换与存储的方法及系统
CN103197970A (zh) * 2013-04-12 2013-07-10 中国银行股份有限公司 在多机构运行下作业的触发方法及银行数据处理系统
CN104253858A (zh) * 2014-09-01 2014-12-31 国家电网公司 一种基于数据包的移动数据同步冲突预处理与消解方法
CN104298761A (zh) * 2014-10-23 2015-01-21 浪潮通用软件有限公司 一种异构软件系统间主数据匹配的实现方法
CN104331460A (zh) * 2014-10-31 2015-02-04 北京思特奇信息技术股份有限公司 一种基于Hbase的数据读写操作方法及系统
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN104748757A (zh) * 2013-12-31 2015-07-01 北京四维图新科技股份有限公司 一种导航电子地图数据更新方法及装置
CN104866551A (zh) * 2015-05-13 2015-08-26 上海钢富电子商务有限公司 异构数据源实时同步系统及方法
CN105306554A (zh) * 2015-09-30 2016-02-03 北京恒华伟业科技股份有限公司 一种数据同步方法及本地服务器
CN105426373A (zh) * 2014-09-19 2016-03-23 阿里巴巴集团控股有限公司 一种数据库同步方法与设备
CN106326469A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 数据的同步方法和装置
CN106339498A (zh) * 2016-09-05 2017-01-18 北京微播易科技股份有限公司 数据同步方法、装置和系统
CN106407366A (zh) * 2016-09-09 2017-02-15 浪潮软件股份有限公司 一种分布式系统数据提取方法
CN106709066A (zh) * 2017-01-19 2017-05-24 杭州数梦工场科技有限公司 数据同步方法及装置
CN107145562A (zh) * 2017-05-02 2017-09-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及系统
CN107679232A (zh) * 2017-10-24 2018-02-09 安徽马钢自动化信息技术有限公司 一种sap hana源数据库与其他数据库的同步方法
CN107885804A (zh) * 2017-11-02 2018-04-06 平安科技(深圳)有限公司 数据库同步方法、应用服务器及计算机可读存储介质
CN108696480A (zh) * 2017-04-07 2018-10-23 沈机(上海)智能系统研发设计有限公司 工业服务权限管理方法、装置及机床设备
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及系统
CN108959545A (zh) * 2018-07-02 2018-12-07 山东汇贸电子口岸有限公司 一种Oracle数据处理方法
CN109739936A (zh) * 2019-01-23 2019-05-10 杭州数梦工场科技有限公司 数据同步方法、系统、服务器及计算机可读存储介质
WO2019100638A1 (zh) * 2017-11-22 2019-05-31 平安科技(深圳)有限公司 数据同步方法、装置、设备及存储介质
CN110347743A (zh) * 2018-03-19 2019-10-18 上海旷极信息科技有限公司 一种数据库通信方法
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN112749163A (zh) * 2020-12-30 2021-05-04 山东浪潮通软信息科技有限公司 一种数据传输方法及设备、介质
CN113204598A (zh) * 2021-05-28 2021-08-03 平安科技(深圳)有限公司 一种数据同步方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1407465A (zh) * 2001-08-13 2003-04-02 深圳市丛文软件技术有限公司 异构、异种数据库间适用的数据交换方法及装置
CN1407475A (zh) * 2001-08-24 2003-04-02 前锦网络信息技术(上海)有限公司 基于互联网的人才简历数据库同步更新方法
CN101571861A (zh) * 2008-04-29 2009-11-04 阿里巴巴集团控股有限公司 一种对数据表进行转换的方法及装置
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1407465A (zh) * 2001-08-13 2003-04-02 深圳市丛文软件技术有限公司 异构、异种数据库间适用的数据交换方法及装置
CN1407475A (zh) * 2001-08-24 2003-04-02 前锦网络信息技术(上海)有限公司 基于互联网的人才简历数据库同步更新方法
CN101571861A (zh) * 2008-04-29 2009-11-04 阿里巴巴集团控股有限公司 一种对数据表进行转换的方法及装置
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
CN103067506B (zh) * 2012-12-28 2015-12-02 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
CN103092980A (zh) * 2013-01-31 2013-05-08 中国科学院自动化研究所 一种数据自动转换与存储的方法及系统
CN103197970A (zh) * 2013-04-12 2013-07-10 中国银行股份有限公司 在多机构运行下作业的触发方法及银行数据处理系统
CN104748757A (zh) * 2013-12-31 2015-07-01 北京四维图新科技股份有限公司 一种导航电子地图数据更新方法及装置
CN104748757B (zh) * 2013-12-31 2017-12-22 北京四维图新科技股份有限公司 一种导航电子地图数据更新方法及装置
CN104253858A (zh) * 2014-09-01 2014-12-31 国家电网公司 一种基于数据包的移动数据同步冲突预处理与消解方法
CN104253858B (zh) * 2014-09-01 2017-07-14 国家电网公司 一种基于数据包的移动数据同步冲突预处理与消解方法
CN105426373B (zh) * 2014-09-19 2019-06-07 阿里巴巴集团控股有限公司 一种数据库同步方法与设备
CN105426373A (zh) * 2014-09-19 2016-03-23 阿里巴巴集团控股有限公司 一种数据库同步方法与设备
CN104298761A (zh) * 2014-10-23 2015-01-21 浪潮通用软件有限公司 一种异构软件系统间主数据匹配的实现方法
CN104298761B (zh) * 2014-10-23 2017-08-25 浪潮通用软件有限公司 一种异构软件系统间主数据匹配的实现方法
CN104331460A (zh) * 2014-10-31 2015-02-04 北京思特奇信息技术股份有限公司 一种基于Hbase的数据读写操作方法及系统
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN104866551A (zh) * 2015-05-13 2015-08-26 上海钢富电子商务有限公司 异构数据源实时同步系统及方法
CN105306554A (zh) * 2015-09-30 2016-02-03 北京恒华伟业科技股份有限公司 一种数据同步方法及本地服务器
CN105306554B (zh) * 2015-09-30 2018-10-23 北京恒华伟业科技股份有限公司 一种数据同步方法及本地服务器
CN106326469A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 数据的同步方法和装置
CN106339498A (zh) * 2016-09-05 2017-01-18 北京微播易科技股份有限公司 数据同步方法、装置和系统
CN106407366A (zh) * 2016-09-09 2017-02-15 浪潮软件股份有限公司 一种分布式系统数据提取方法
CN106709066A (zh) * 2017-01-19 2017-05-24 杭州数梦工场科技有限公司 数据同步方法及装置
CN106709066B (zh) * 2017-01-19 2020-05-19 杭州数梦工场科技有限公司 数据同步方法及装置
CN108696480A (zh) * 2017-04-07 2018-10-23 沈机(上海)智能系统研发设计有限公司 工业服务权限管理方法、装置及机床设备
CN107145562A (zh) * 2017-05-02 2017-09-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及系统
CN107145562B (zh) * 2017-05-02 2020-07-28 北京奇艺世纪科技有限公司 一种数据同步方法、装置及系统
CN107679232A (zh) * 2017-10-24 2018-02-09 安徽马钢自动化信息技术有限公司 一种sap hana源数据库与其他数据库的同步方法
CN107885804A (zh) * 2017-11-02 2018-04-06 平安科技(深圳)有限公司 数据库同步方法、应用服务器及计算机可读存储介质
WO2019085471A1 (zh) * 2017-11-02 2019-05-09 平安科技(深圳)有限公司 数据库同步方法、应用服务器及计算机可读存储介质
WO2019100638A1 (zh) * 2017-11-22 2019-05-31 平安科技(深圳)有限公司 数据同步方法、装置、设备及存储介质
CN110347743A (zh) * 2018-03-19 2019-10-18 上海旷极信息科技有限公司 一种数据库通信方法
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及系统
CN108959545A (zh) * 2018-07-02 2018-12-07 山东汇贸电子口岸有限公司 一种Oracle数据处理方法
CN109739936A (zh) * 2019-01-23 2019-05-10 杭州数梦工场科技有限公司 数据同步方法、系统、服务器及计算机可读存储介质
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN112749163A (zh) * 2020-12-30 2021-05-04 山东浪潮通软信息科技有限公司 一种数据传输方法及设备、介质
CN112749163B (zh) * 2020-12-30 2023-08-01 浪潮通用软件有限公司 一种数据传输方法及设备、介质
CN113204598A (zh) * 2021-05-28 2021-08-03 平安科技(深圳)有限公司 一种数据同步方法、系统及存储介质

Also Published As

Publication number Publication date
CN102495910B (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
CN102495910B (zh) 实现异构系统数据定时同步的装置和方法
CN105657639B (zh) 双模设备及其实现同时通信的方法
CN101854300B (zh) 一种实现CANopen从站的方法
CN108416069A (zh) 一种数据采集装置和方法
CN103645947A (zh) Mil-std-1553b总线监控及数据分析系统
CN100472523C (zh) 使用设备数据模式同步服务器和设备数据
CN102855271A (zh) 一种多版本电网模型的存储与可追溯管理方法
CN100428141C (zh) 可编程控制器、通信单元、变量解决方法和数据交接方法
CN102833141A (zh) 一种基于DSP28335的CANopen从站系统
CN103197948A (zh) 一种电力智能设备通信规约脚本解析方法
CN101937435A (zh) 面向电力系统的分布式实时数据库在线同步方法
CN102075580A (zh) 分布式网络设备中同步数据的存储方法及系统
CN103079020A (zh) 终端控制系统和终端控制方法
CN102902669A (zh) 基于互联网系统的分布式信息抓取方法
CN102236340A (zh) 一种多设备管理方法和装置
CN109063122A (zh) 一种erp系统与mes系统的信息同步方法、相关系统及设备
CN103049527A (zh) 一种面向大电网的并行实时数据库主备切换管理系统
CN102982171A (zh) 一种数据库同步方法
CN102081757A (zh) 一种报表制作方法及其系统
CN104346441B (zh) 一种配电网信息数据动态集成交互方法
CN103744365A (zh) 用于客房控制终端与上位机通讯的桥接模块及其方法
CN102508925A (zh) 一种电站锅炉运行性能分析系统的实现方法
CN101692737A (zh) 一种面向移动rfid的轻量级数据同步架构
CN102054229A (zh) 一种分布式会员信息管理系统和方法
CN107844566A (zh) 一种dump控制方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant