CN105183860A - 数据同步方法和系统 - Google Patents
数据同步方法和系统 Download PDFInfo
- Publication number
- CN105183860A CN105183860A CN201510573740.9A CN201510573740A CN105183860A CN 105183860 A CN105183860 A CN 105183860A CN 201510573740 A CN201510573740 A CN 201510573740A CN 105183860 A CN105183860 A CN 105183860A
- Authority
- CN
- China
- Prior art keywords
- data
- goal systems
- repeater system
- operation log
- data object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据同步方法和系统，包括：增设转发系统，该转发系统监听源数据库的增量数据操作日志；源数据库将增量数据操作日志发送给转发系统，转发系统将所述增量数据操作日志转换为对应的数据对象；转发系统将所述数据对象转发给目标系统。本发明可以降低数据库的处理压力，提高数据的时效性。
Description
技术领域
本申请涉及计算机数据处理领域，尤其涉及一种数据同步方法和系统。
背景技术
目前，互联网系统数据一般存储在关系型数据库当中，如Mysql、Oracle和Sqlserver等。但在数据的应用上是有多种形式的，如报表系统中，需要对多张表进行关联查询，这种查询对数据库的压力很大，有时会使数据库的服务器性能骤降，影响正常的业务系统功能，故一般都是将各个关联表的数据查询出来放入到检索服务系统中，报表查询都是查询检索服务系统。还有一些实时数据分析系统，需要实时的数据，进行数据计算后产出计算结果供业务人员使用。所以，数据从业务系统中的关系型数据库中怎样查询出来，怎样做到最小的延迟并且对业务数据库做到最小的影响，成为系统设计人员的重要任务。
图1为现有技术中通常采用的一种数据获取方式的示意图。参见图1，在现有技术中，一般的方案是采用定时查询的方式实现，即采用定时系统，设定每次执行的时间间隔，查询业务系统的数据库表，并将查询到的业务数据同步给需要数据的系统，如检索系统、报表系统、时时计算系统等。
但是，现有技术存在以下缺点：
首先，定时查询业务数据库的表，一般查询结构化查询语言(SQL)都较为复杂，会造成数据库服务器的服务压力，影响业务系统的正常生产；其次，定时查询毕竟有时间间隔，数据的传输会有延迟，对于有些数据实时性要求较高的业务，这种方式很难满足；
发明内容
有鉴于此，本发明的主要目的是提供一种数据同步方法和系统，以降低数据库的处理压力，提高数据的时效性。
本发明的技术方案是这样实现的：
一种数据同步方法，包括：
增设转发系统，该转发系统监听源数据库的增量数据操作日志；
源数据库将增量数据操作日志发送给转发系统，转发系统将所述增量数据操作日志转换为对应的数据对象；
转发系统将所述数据对象转发给目标系统。
优选的，所述转发系统监听源数据库的增量数据操作日志，具体包括：
转发系统通过地址和端口监听源数据库；
转发系统获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库；
源数据库实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志。
优选的，该方法在转发系统将所述数据对象转发给目标系统之后，进一步包括：转发系统按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库。
优选的，所述转发系统将所述增量数据操作日志转换为对应的数据对象，具体包括：转发系统解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象。
优选的，所述转发系统将所述数据对象转发给目标系统，具体包括：
对于实时性要求低于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统；
对于实时性要求高于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统。
优选的，一个转发系统对应一个目标系统，或者一个转发系统对应两个或两个以上目标系统；
对于一个转发系统对应一个目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统；
对于一个转发系统对应两个或两个以上目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统。
一种数据同步系统，包括：
转发系统，用于监听源数据库的增量数据操作日志，接收源数据发送的增量数据操作日志，将所述增量数据操作日志转换为对应的数据对象，将所述数据对象转发给目标系统；
源数据库，用于将增量数据操作日志发送给转发系统。
优选的，所述转发系统具体包括：用于通过地址和端口监听源数据库；获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库的模块；
所述源数据库具体包括：用于实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志，将所述增量数据操作日志发送给转发系统的模块。
优选的，所述转发系统进一步包括：用于在将所述数据对象转发给目标系统之后，进一步按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库的模块。
优选的，所述转发系统具体包括：用于解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象的模块。
与现有技术相比，本发明采用监听的方式，对目标数据的源数据库进行监听，当源数据库中有增量数据操作时，如增删改等操作，源数据库会将增量数据操作日志发送给监听系统即转发系统，之后转发系统会将接收到的增量数据操作日志发送给需要数据的一个或多个目标系统。这样，就避免了现有技术方案中任务系统定时查询源数据库造成的数据库压力，降低了对数据库的处理压力；同时，又避免了定时查询的时间间隔，从而又提高了数据的时效性。
附图说明
图1为现有技术中通常采用的一种数据获取方式的示意图；
图2为本发明所述数据同步方法的一种流程图；
图3为本发明所述数据同步方法的一种实例图；
图4为本发明所述转发系统进行监听的流程示意图；
图5为本发明所述转发系统进行数据转换和转发的流程示意图；
图6是本发明所应用场景的一种转发系统与目标系统之间的关系示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图2为本发明所述数据同步方法的一种流程图；图3为本发明所述数据同步方法的一种实例图。参见图2和图3，本发明所述的数据同步方法包括：
201、增设转发系统，该转发系统监听源数据库的增量数据操作日志。
202、源数据库将增量数据操作日志发送给转发系统，转发系统将所述增量数据操作日志转换为对应的数据对象。所述源数据库就是目标数据所在的数据库，如Mysql、ORACLE数据库等。
203、转发系统将所述数据对象转发给目标系统。
其中，所述转发系统监听源数据库的增量数据操作日志，具体包括：
转发系统通过地址和端口监听源数据库；
转发系统获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库；
源数据库实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志。
在进一步的实施例中，该方法在转发系统将所述数据对象转发给目标系统之后，进一步包括：转发系统按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库。
下面详细介绍一下转发系统监听源数据库增量数据操作日志的过程。图4为本发明所述转发系统进行监听的流程示意图。参见图4，转发系统需要对源数据库进行监听，即通过IP和端口监听源数据库，该种方式与数据库的从库类似，转发系统可以作为是一个数据库从库，源数据库可以作为是一个数据库主库，从库会向主库发送数据同步请求，告知主库想要同步的增量数据操作日志，主库会将数据操作的日志以增量的方式发送给从库，具体流程如图4所示，包括：
步骤401，转发系统启动。
步骤402、转发系统通过IP和端口监听源数据库(即主库)。
步骤403、转发系统从本地文件、本地数据库、或本地接口等获取数据操作日志的起始标记。
所述数据操作日志的起始标记，例如可以是从哪个数据库表开始的具体的起始行标识信息，这个数据操作日志的起始标记也可以是数据行游标。所述起始标记最初始由管理人员配置好，在之后的操作中，在转发系统将所述数据对象转发给目标系统之后，进一步按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记。之后的监听过程中，转发系统向源数据库发送的数据操作日志的起始标记为所述最新的数据操作日志的起始标记。
步骤404、转发系统将所述起始标记发送给源数据库(相当于主库)，等待源数据库发送增量数据操作日志的记录。之后，当所述源数据库发生插入数据/更新数据等增量数据操作时，源数据库就会向监听的转发系统发送增量数据操作日志。
所述源数据库增量数据操作日志的获取，是根据转发系统发来的所述数据操作日志的起始标记来获取，每次都是从该起始标记开始增量获取，源数据库会实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志。
在进一步的实施例中，所述转发系统还进一步判断下游的目标系统是否可达，如果不可达无法接收数据，则转发系统会停止监听源数据库的增量数据操作日志，直到下游目标系统正常再启动监听源数据库的增量数据操作日志。
图5为本发明所述转发系统进行数据转换和转发的流程示意图。数据转换是将源数据库的数据操作日志转换为数据对象，即将数据库中的增、删、改等操作日志转换为系统中的数据对象，也就是说对那些数据表进行了怎样的编辑操作。所述的数据转发是转发系统将所述转换好的数据对象发送给目标系统，具体流程如图5所示，包括：
步骤501，转发系统接收源数据库(主库)的增量数据操作日志。
步骤502，转发系统判断是否收到新的增量数据操作日志，如果未收到新的增量数据操作日志，则结束图5流程；如果收到新的增量数据操作日志，则执行下一步。所述具体的判断方法例如可以是：判断接收到的增量数据操作日志的最新标记是否高于本地记录的所述数据操作日志的初始标记，如果高于则判定为有新的增量数据操作日志，否则判定没有新的增量数据操作日志。
步骤503，转发系统将接收到增量数据操作日志转换为数据对象。
所述数据操作日志通常为字符串或者为自解码字符流，通常的格式有可扩展标记语言(XML)或自解码格式等，这些字符串和字符流对于目标系统来说是无法识别的，因此需要对所述数据操作日志进行转换，转发系统需要解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象。具体的转换方式是按照目标系统的数据结构，将所述数据操作日志的字符串或字符流转换为具有目标系统数据结构的数据对象。所述数据对象是一种性质相同的数据元素的集合，是数据的一个子集，具体可以是外部实体(例如，产生或使用信息的任何事物)、事物(例如，报表)、行为(例如，打电话)、事件(例如，响警报)、角色(例如，教师、学生)、单位(例如，会计科)、地点(例如，仓库)或结构(例如，文件)等。一般来讲，可以由一组属性来定义的实体都可以被认为是数据对象。
步骤504，转发系统判断目的系统是否可达，如果不可达，则暂停从源数据库获取增量数据操作日志，并等待一段时间，继续判断目标系统是否可达；如果可达，则执行下一步。
步骤505，转发系统将转换后的所述数据对象转发给目标系统。
步骤506，转发系统将本地的数据操作日志的起始标记更新为已完成转发的数据操作日志的最新标记，下次从源数据库监听增量数据操作日志时，将该最新的起始标记发送给源数据库从而获取从该最新起始标记开始的增量数据操作日志。
在一种优选实施例中，如果转发系统接收到增量数据操作日志并转换成数据对象后，可以根据目标系统的实时性要求进行区别处理：
对于实时性要求低于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统；
对于实时性要求高于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统。这样处理可以减少数据持久所带来的时间延迟。
同时，一般也会将目标系统按数据的实时性划分为不同的级别，如果是多个目标系统需要一份数据，且都是数据实时较低的系统，就可以采用将转换后的数据对象先存储到本地再进行转发，这样对数据库的压力较小，只是获取一次数据，便可做到多次转发。
接收数据对象的目标系统包括检索服务系统、数据仓库、数据备份系统等，这些目标系统接收到转发系统发送的数据对象，将数据对象按照自己系统的数据结构的处理要求和业务场景进行处理。图6是本发明所应用场景的一种转发系统与目标系统之间的关系示意图。参见图6，所述应用场景可以分为一个转发系统对应一个目标系统的场景，以及一个转发系统对应两个或两个以上目标系统的场景。
对于一个转发系统对应一个目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统。这种情况转发系统只是依赖服务器内存，不会将转发数据存储到服务器磁盘当中，所以这种方式转发较快。
对于一个转发系统对应两个或两个以上目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统。这种情况转发系统在目标系统无法接收数据对象时，需要将待转发的数据对象存储到本地，而向可以正常接收数据的目标系统发送数据对象。这样，目标系统正常运行的系统可以继续接收数据，而异常的目标系统当重新正常运行后就会接收到转发系统存储到本地磁盘当中的数据了。
本发明采用一点获取数据，多点消费的数据转发方法，舍弃了定轮询查询数据库的方式，采用数据监听的方式实现数据获取；而且还可以采用一对一、一对多可以支持不同场景的业务需求。因此本发明不但可以高效的进行数据的获取，而且对数据库的压力最小，对业务系统也没有影响；同时，这种方法也减少了定时查询数据的时间延迟问题，当多个目标系统需要同一份数据时，只需要从转发系统获取，而不会对数据库产生更大的访问压力。
与上述方法对应，本发明还公开了一种数据同步系统，包括转发系统和源数据库，其中：
所述转发系统，用于监听源数据库的增量数据操作日志，接收源数据发送的增量数据操作日志，将所述增量数据操作日志转换为对应的数据对象，将所述数据对象转发给目标系统；
所述源数据库，用于将增量数据操作日志发送给转发系统。
在一种优选实施例中，所述转发系统具体包括：用于通过地址和端口监听源数据库；获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库的模块；
所述源数据库具体包括：用于实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志，将所述增量数据操作日志发送给转发系统的模块。
在一种优选实施例中，所述转发系统进一步包括：用于在将所述数据对象转发给目标系统之后，进一步按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库的模块。
在一种优选实施例中，所述转发系统具体包括：用于解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象的模块。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种数据同步方法，其特征在于，包括：
增设转发系统，该转发系统监听源数据库的增量数据操作日志；
源数据库将增量数据操作日志发送给转发系统，转发系统将所述增量数据操作日志转换为对应的数据对象；
转发系统将所述数据对象转发给目标系统。
2.根据权利要求1所述的方法，其特征在于，所述转发系统监听源数据库的增量数据操作日志，具体包括：
转发系统通过地址和端口监听源数据库；
转发系统获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库；
源数据库实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志。
3.根据权利要求2所述的方法，其特征在于，该方法在转发系统将所述数据对象转发给目标系统之后，进一步包括：转发系统按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库。
4.根据权利要求1所述的方法，其特征在于，所述转发系统将所述增量数据操作日志转换为对应的数据对象，具体包括：转发系统解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象。
5.根据权利要求1所述的方法，其特征在于，所述转发系统将所述数据对象转发给目标系统，具体包括：
对于实时性要求低于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统；
对于实时性要求高于指定要求的目标系统，转发系统判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统。
6.根据权利要求1所述的方法，其特征在于，一个转发系统对应一个目标系统，或者一个转发系统对应两个或两个以上目标系统；
对于一个转发系统对应一个目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象驻留在本地内存，待目标系统可达后将所述数据对象发送给目标系统；
对于一个转发系统对应两个或两个以上目标系统的场景，所述转发系统在将所述增量数据操作日志转换为对应的数据对象后，进一步判断目标系统是否可达，如果可达则将所述数据对象发送给目标系统，如果不可达则将所述数据对象存储在本地磁盘中，待目标系统可达后将所述数据对象发送给目标系统。
7.一种数据同步系统，其特征在于，包括：
转发系统，用于监听源数据库的增量数据操作日志，接收源数据发送的增量数据操作日志，将所述增量数据操作日志转换为对应的数据对象，将所述数据对象转发给目标系统；
源数据库，用于将增量数据操作日志发送给转发系统。
8.根据权利要求7所述的系统，其特征在于，
所述转发系统具体包括：用于通过地址和端口监听源数据库；获取本地数据操作日志的起始标记，将所述起始标记发送给源数据库的模块；
所述源数据库具体包括：用于实时判断本地数据操作日志的最新标记，若最新标记高于转发系统发来的所述起始标记，则所述起始标记和最新标记之间的数据操作日志作为增量数据操作日志，将所述增量数据操作日志发送给转发系统的模块。
9.根据权利要求8所述的系统，其特征在于，所述转发系统进一步包括：用于在将所述数据对象转发给目标系统之后，进一步按照接收到的数据操作日志的最新标记更新本地的本地数据操作日志的起始标记，之后将更新后的起始标记发送给源数据库的模块。
10.根据权利要求7所述的系统，其特征在于，所述转发系统具体包括：用于解析所述增量数据操作日志中的操作指令、操作对象和具体数据，转换为目标系统可识别的数据格式的数据对象的模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510573740.9A CN105183860B (zh) | 2015-09-10 | 2015-09-10 | 数据同步方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510573740.9A CN105183860B (zh) | 2015-09-10 | 2015-09-10 | 数据同步方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105183860A true CN105183860A (zh) | 2015-12-23 |
| CN105183860B CN105183860B (zh) | 2018-10-19 |
Family
ID=54905941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510573740.9A Active CN105183860B (zh) | 2015-09-10 | 2015-09-10 | 数据同步方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105183860B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106412059A (zh) * | 2016-09-28 | 2017-02-15 | 四川长虹电器股份有限公司 | 无法直接通信的服务器间进行可靠数据转移的方法及系统 |
| CN106557592A (zh) * | 2016-12-02 | 2017-04-05 | 中铁程科技有限责任公司 | 数据同步方法、装置及服务器集群 |
| CN106682141A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于业务操作日志的数据同步方法 |
| CN107203433A (zh) * | 2017-06-13 | 2017-09-26 | 微梦创科网络科技（中国）有限公司 | 一种共享内存的多个程序间数据同步方法和装置 |
| CN107247727A (zh) * | 2017-04-28 | 2017-10-13 | 北京五八信息技术有限公司 | 数据迁移方法及设备 |
| WO2017193739A1 (zh) * | 2016-05-10 | 2017-11-16 | 中兴通讯股份有限公司 | 一种数据共享方法及装置 |
| CN107402963A (zh) * | 2017-06-20 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 搜索数据的构建方法、增量数据的推送方法及装置和设备 |
| CN107784068A (zh) * | 2017-09-01 | 2018-03-09 | 北京趣拿软件科技有限公司 | 数据变化的获取方法、装置、存储介质、处理器及服务端 |
| CN108363791A (zh) * | 2018-02-13 | 2018-08-03 | 沈阳东软医疗系统有限公司 | 一种数据库的数据同步方法和装置 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN109033268A (zh) * | 2018-07-10 | 2018-12-18 | 安心财产保险有限责任公司 | 数据同步方法、装置、设备及存储介质 |
| CN109614444A (zh) * | 2018-11-12 | 2019-04-12 | 武汉达梦数据库有限公司 | 一种数据同步时的数据初始化方法 |
| CN112463786A (zh) * | 2020-12-10 | 2021-03-09 | 上海携宁计算机科技股份有限公司 | 数据同步方法、系统、服务器及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
| CN102508835A (zh) * | 2011-09-22 | 2012-06-20 | 用友软件股份有限公司 | 基于日志管理包的增量数据实时同步装置和方法 |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步系统、同步方法和节点管理方法 |
| CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
| CN103136231A (zh) * | 2011-11-25 | 2013-06-05 | 中国移动通信集团江苏有限公司 | 一种异构数据库间的数据同步方法及系统 |
| US8688625B1 (en) * | 2010-12-31 | 2014-04-01 | United Services Automobile Association (Usaa) | Extract, transform, and load application complexity management framework |
-
2015
- 2015-09-10 CN CN201510573740.9A patent/CN105183860B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8688625B1 (en) * | 2010-12-31 | 2014-04-01 | United Services Automobile Association (Usaa) | Extract, transform, and load application complexity management framework |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
| CN102508835A (zh) * | 2011-09-22 | 2012-06-20 | 用友软件股份有限公司 | 基于日志管理包的增量数据实时同步装置和方法 |
| CN103136231A (zh) * | 2011-11-25 | 2013-06-05 | 中国移动通信集团江苏有限公司 | 一种异构数据库间的数据同步方法及系统 |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步系统、同步方法和节点管理方法 |
| CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017193739A1 (zh) * | 2016-05-10 | 2017-11-16 | 中兴通讯股份有限公司 | 一种数据共享方法及装置 |
| CN107357791A (zh) * | 2016-05-10 | 2017-11-17 | 中兴通讯股份有限公司 | 一种数据共享方法及装置 |
| CN107357791B (zh) * | 2016-05-10 | 2021-10-15 | 中兴通讯股份有限公司 | 一种数据共享方法及装置 |
| CN106412059A (zh) * | 2016-09-28 | 2017-02-15 | 四川长虹电器股份有限公司 | 无法直接通信的服务器间进行可靠数据转移的方法及系统 |
| CN106557592A (zh) * | 2016-12-02 | 2017-04-05 | 中铁程科技有限责任公司 | 数据同步方法、装置及服务器集群 |
| CN106682141A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于业务操作日志的数据同步方法 |
| CN106682141B (zh) * | 2016-12-20 | 2022-02-11 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于业务操作日志的数据同步方法 |
| CN107247727A (zh) * | 2017-04-28 | 2017-10-13 | 北京五八信息技术有限公司 | 数据迁移方法及设备 |
| CN107203433A (zh) * | 2017-06-13 | 2017-09-26 | 微梦创科网络科技（中国）有限公司 | 一种共享内存的多个程序间数据同步方法和装置 |
| CN107402963B (zh) * | 2017-06-20 | 2020-10-02 | 阿里巴巴集团控股有限公司 | 搜索数据的构建方法、增量数据的推送方法及装置和设备 |
| CN107402963A (zh) * | 2017-06-20 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 搜索数据的构建方法、增量数据的推送方法及装置和设备 |
| CN107784068A (zh) * | 2017-09-01 | 2018-03-09 | 北京趣拿软件科技有限公司 | 数据变化的获取方法、装置、存储介质、处理器及服务端 |
| CN108363791A (zh) * | 2018-02-13 | 2018-08-03 | 沈阳东软医疗系统有限公司 | 一种数据库的数据同步方法和装置 |
| CN108399256B (zh) * | 2018-03-06 | 2020-08-04 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN109033268A (zh) * | 2018-07-10 | 2018-12-18 | 安心财产保险有限责任公司 | 数据同步方法、装置、设备及存储介质 |
| CN109614444A (zh) * | 2018-11-12 | 2019-04-12 | 武汉达梦数据库有限公司 | 一种数据同步时的数据初始化方法 |
| CN112463786A (zh) * | 2020-12-10 | 2021-03-09 | 上海携宁计算机科技股份有限公司 | 数据同步方法、系统、服务器及存储介质 |
| CN112463786B (zh) * | 2020-12-10 | 2021-08-13 | 上海携宁计算机科技股份有限公司 | 数据同步方法、系统、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105183860B (zh) | 2018-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105183860A (zh) | 数据同步方法和系统 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN113508403B (zh) | 用于自动化系统组件与多个信息源的可互操作通信的系统和方法 | |
| CN101719165B (zh) | 一种实现数据库高效快速备份的方法 | |
| US9229890B2 (en) | Method and a system for integrating data from a source to a destination | |
| CN102270225B (zh) | 数据变更日志监控方法和数据变更日志监控装置 | |
| CN109918229B (zh) | 非日志模式的数据库集群副本构建方法及装置 | |
| US20160147622A1 (en) | Enhanced error detection in data synchronization operations | |
| CN107977396B (zh) | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 | |
| CN104714946A (zh) | 一种基于NoSQL的大规模Web日志分析系统 | |
| JP2011013923A (ja) | 属性付きキー・バリュー・ストアによるデータベース・システム | |
| CN110515927B (zh) | 数据处理方法及其系统、电子设备和介质 | |
| CN111597160A (zh) | 分布式数据库系统、分布式数据处理方法和装置 | |
| US20090287800A1 (en) | Method, device and system for managing network devices | |
| CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
| CN103678583A (zh) | 结构化数据比较的方法及系统 | |
| CN107622068A (zh) | 一种基于json格式的日志管理方法及装置 | |
| CN113704790A (zh) | 一种异常日志信息汇总方法及计算机设备 | |
| CN109145060A (zh) | 数据处理方法及装置 | |
| CN103856354A (zh) | 一种集群存储系统日志统一管理实现方法 | |
| CN114780335A (zh) | 监测数据的关联方法、装置、计算机设备和存储介质 | |
| CN104090948A (zh) | 核电站海量数据处理方法、装置及系统 | |
| CN102750384A (zh) | 从多数据库引擎获取数据的装置和方法 | |
| CN109491988B (zh) | 一种支持全量更新的数据实时关联方法 | |
| CN104391899A (zh) | 一种集中清算系统的数据管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200528 Address after: 710100 Building 5, center square, aerospace city, No. 666, East Chang'an Street, national civil aerospace industry base, Xi'an City, Shaanxi Province Patentee after: Xi'an jingxundi Supply Chain Technology Co., Ltd Address before: 100080 Beijing city Haidian District xingshikou Road No. 65 building 11C Creative Park West West west Shan East 1-4 layer 1-4 layer Co-patentee before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd. Patentee before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |