CN110162569A - 基于gg同步进程的数据处理方法、装置及计算机设备 - Google Patents
基于gg同步进程的数据处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN110162569A CN110162569A CN201910301338.3A CN201910301338A CN110162569A CN 110162569 A CN110162569 A CN 110162569A CN 201910301338 A CN201910301338 A CN 201910301338A CN 110162569 A CN110162569 A CN 110162569A
- Authority
- CN
- China
- Prior art keywords
- record
- synchronized process
- timing task
- synchronized
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 175
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 164
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000002123 temporal effect Effects 0.000 claims abstract description 35
- 238000003780 insertion Methods 0.000 claims abstract description 20
- 230000037431 insertion Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于GG同步进程的数据处理方法，包括：通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。本发明可解决现有技术中针对采用GG同步进程实现数据同步方案中系统耗损、数据处理压力较大且数据处理效率较低的问题，可降低同步进程中的系统损耗及数据处理压力，且可提高数据处理效率。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于GG同步进程的数据处理方法、装置及计算机设备。
背景技术
在现有采用GG(Golden Gate，一种基于日志的结构化数据复制备份软件)同步进程实现数据同步的方案中，比如将源数据库中的数据同步到操作数据存储(ODS，Operational Data Store)数据库中，整个同步过程不能暂停，源数据库中只要有数据变化就会被同步到ODS数据库中，因此，ODS数据库中实际获取到的数据往往包含不需要的数据。例如，ODS数据库的跑批任务是在每天2点获取源数据库中截至当天0点的交易数据以做后续加工处理，但在上述采用GG同步的过程中，通常是存在数据变化就会被同步，因此ODS数据库在每天2点获取到的数据实际上也包含了0点至2点之间的数据。
由此，一方面，由于上述同步操作过程为不间断的进行，因此系统耗损较大；另一方面，ODS数据库中实际获取到的数据包括多余数据，不但增加了后续数据处理的压力，还会影响后续数据处理效率。
相关技术中针对采用GG同步进程实现数据同步方案中系统耗损、数据处理压力较大且数据处理效率较低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种基于GG同步进程的数据处理方法、装置、计算机设备及可读存储介质，进而在一定程度上克服上述现有技术中存在的问题，可降低同步进程中的系统损耗及数据处理压力，并可提高数据处理效率。
本发明是通过下述技术方案来解决上述技术问题：
根据本发明的一个方面，提供了一种基于GG同步进程的数据处理方法，包括如下步骤：
S01，通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；
S02，当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；
S03，将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；
S04，在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。
进一步的，所述方法还包括：预先根据所述预置定时任务的时间信息生成第一记录，并将所述第一记录存储于源数据库的消息源表中；
在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之前，还包括：
启动GG同步进程；
通过所述消息源表获取所述第一记录；
将所述第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。
进一步的，在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之后，还包括：
启动用于实现GG同步进程的暂停及恢复功能的触发器；
S02当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录，包括：
通过所述触发器暂停所述GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录；
S04在所述预置定时任务执行完成后，提交所述消息目标表，以恢复所述GG同步进程，包括：
在通过所述触发器确定预置定时任务执行完成后，提交所述消息目标表，以再次启动所述GG同步进程。
进一步的，S03将所述第二记录插入消息到达日志表中，并执行所述预置定时任务，包括：
在将所述第二记录插入消息到达日志表中之后，调用用于执行所述预置定时任务的第一接口；
通过所述第一接口执行所述预置定时任务。
进一步的，在S03将所述第二记录插入消息到达日志表中，并执行所述预置定时任务之后，还包括：
将预置定时任务的执行状态信息存储于业务日志表中，所述执行状态信息包括执行完成信息。
进一步的，S04在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程，包括：
读取所述业务日志表；
若未读取到与预置定时任务相关的执行完成信息，则等待预置时间再次读取所述业务日志表，直至读取到与预置定时任务对应的执行完成信息；
若读取到与预置定时任务对应的执行完成信息，则确定预置定时任务执行完成。
为了实现上述目的，本发明还提供一种基于GG同步进程的数据处理装置，包括：
第一记录接收模块，用于通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；
同步进程暂停模块，用于当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；
定时任务执行模块，用于将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；
同步进程恢复模块，用于在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。
进一步的，所述装置还包括：
第一记录生成模块，用于预先根据所述预置定时任务的时间信息生成第一记录，并将第一记录存储于源数据库的消息源表中；
同步进程启动模块，用于启动GG同步进程；
第一记录获取模块，用于通过所述消息源表获取所述第一记录；
第一记录同步模块，用于将所述第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。
进一步，所述装置还包括：
触发器启动模块，用于启动用于实现GG同步进程的暂停及恢复功能的触发器；
所述同步进程暂停模块，具体用于：
通过所述触发器暂停所述GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录；
所述同步进程恢复模块，具体用于：
在通过所述触发器确定预置定时任务执行完成后，提交所述消息目标表，以再次启动所述GG同步进程。
进一步的，所述定时任务执行模块，具体包括：
第一接口调用单元，用于在将所述第二记录插入消息到达日志表中之后，调用用于执行所述预置定时任务的第一接口；
定时任务执行单元，用于通过所述第一接口执行所述预置定时任务。
进一步的，所述定时任务执行模块，还用于：
将预置定时任务的执行状态信息存储于业务日志表中，所述执行状态信息包括执行完成信息。
进一步的，所述定时任务执行模块，具体用于：
读取所述业务日志表；
若未读取到与预置定时任务相关的执行完成信息，则等待预置时间再次读取所述业务日志表，直至读取到与预置定时任务对应的执行完成信息；
若读取到与预置定时任务对应的执行完成信息，则确定预置定时任务执行完成。
为了实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法的步骤。
本发明提供的基于GG同步进程的数据处理方法、装置、计算机设备及可读存储介质，可通过消息目标表接收基于GG同步进程从源数据库同步来的包括预置定时任务的时间信息的第一记录，然后先暂停GG同步进程并根据GG同步进程信息及预置定时任务的时间信息生成第二记录，接下来可将第二记录插入消息到达日志表中并执行预置定时任务，在预置定时任务执行完成后提交消息目标表，以恢复之前暂停的GG同步进程。通过本方案，可在目标数据库中的消息目标表接收到由源数据库同步来的第一记录后，先不将该消息目标表的相关数据进行提交，也即先不对该消息目标表所属的同步进程进行处理，以实现暂停该同步进程的效果，而是先执行与第一记录相关的预置定时任务，待预置定时任务执行完成后再提交与消息目标表相关的数据，以恢复该消息目标表所属的同步进程，从而完成由源数据库到目标数据库的数据同步处理。由此，一方面，可解决现有GG同步过程不间断的进行而导致系统耗损较大的问题，可降低系统耗损；另一方面，可通过采用在处理定时任务时暂停GG同步过程，并在定时任务处理完毕后恢复GG同步过程的方式，解决现有方案中目标数据库在GG同步过程中获取到多余数据而导致后续数据处理压力增大及效率较低的问题，可降低后续数据处理压力并可提高数据处理效率。
附图说明
图1是根据本发明实施例的基于GG同步进程的数据处理方法的一种可选的流程示意图；
图2是根据本发明实施例的基于GG同步进程的数据处理装置的一种可选的程序模块示意图；
图3是根据本发明实施例的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
下面结合附图对本发明提供的基于GG同步进程的数据处理方法进行说明。
图1为本发明贷款业务中的基于GG同步进程的数据处理方法的一种可选的流程示意图。
在本实施例中，如图1所示，该基于GG同步进程的数据处理方法可包括如下步骤：
S01，通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录。其中，第一记录包括预置定时任务的时间信息。
在本实施例中，可预先设置定时任务，所谓定时任务可理解为通过预定逻辑能够实现某些业务需求的任务，比如每天固定时间的跑批任务等。
在具体实现时，可根据上述定时任务的时间信息生成第一记录，该第一记录可为能够标识定时任务的执行时间信息的记录，比如“2018-10-16 00:00:00”等，并将该第一记录存储于源数据库中预置的消息源表中，其中，该消息源表可为能够存放包含时间信息的记录的表。
然后，可启动用于将源数据库中的数据同步到目标数据库的GG(Golden Gate)同步进程，并通过读取上述消息源表获取第一记录，接下来将获取到的第一记录基于GG同步进程同步到目标数据库中。
在本实施例中，目标数据库比如可为操作数据存储(ODS，Operational DataStore)数据库，可预先在目标数据库中设置消息目标表，以用来接收由源数据库同步过来的第一记录，具体来说，可用来接收来自源数据库的消息源表中的数据。
在消息目标表接收到由源数据库同步过来的第一记录后，可先不将该消息目标表的相关数据进行提交，由于在同一GG同步进程中，若与消息目标表相关的数据未提交，则该GG同步进程中与其他表相关的数据也无法同步，因此，相当于先不对该消息目标表所属的同步进程进行处理，以实现暂停该同步进程的效果，进而可先处理与第一记录包含内容相关的定时任务，待定时任务处理完成后再继续GG同步进程。
S02，当接收到第一记录时，暂停GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录。
在本实施例中，可预先将目标数据库的消息目标表关联设置用于实现GG同步进程的暂停及恢复功能的触发器，也就是说，可通过触发该触发器实现GG同步进程的暂停及暂停后的再次启动。
基于此，可设定目标数据库的消息目标表接收到由源数据库同步过来的第一记录作为触发条件，也即目标数据库的消息目标表接收到由源数据库同步过来的第一记录后即可触发该触发器，一方面，可在该触发器被触发后暂停该GG同步进程；另一方面，可确定GG同步进程的相关信息(比如，用于标识该GG同步进程的信息，如GG同步进程的名称“R1_CFS1X)”，并解析第一记录以获取第一记录中包含的预置定时任务的时间信息(“2018-10-16 00:00:00”)，然后根据得GG同步进程信息及预置定时任务的时间信息生成第二记录，比如“R1_CFS1X，2018-10-16 00:00:00”。
S03，将第二记录插入消息到达日志表中，并执行预置定时任务。
在生成上述第二记录后，可将该第二记录插入目标数据库中预置的消息到达日志表中，其中，该消息到达日志表可为用于存放第二记录的表，具体来说，可为用于存放与GG同步进程信息及第一记录中包含的预置定时任务的时间信息相关记录的表。
在具体实现时，可设定当消息到达日志表中存在符合预定条件的数据时即可执行相关任务，比如，当消息到达日志表中接收到上述与GG同步进程信息及第一记录中包含的预置定时任务的时间信息相关的记录(即第二记录)，则可为接收到符合预定条件的数据，此时即可执行该记录中包含的预置定时任务。
另外，当消息达到日志表中不存在符合预定条件的数据(比如上述第二记录)时，则可等待预置时间(在本实施例中，可称为第一预置时间，该第一预置时间可根据实际需要进行设置，比如30秒)，再次判断消息到达日志表中是否存在符合预定条件的数据，直至当消息到达日志表中存在符合预定条件的数据，即可执行相关任务。
在本实施例中，针对执行预置定时任务，具体可为在将上述第二记录插入消息到达日志表中之后，调用用于执行预置定时任务的第一接口，然后通过该第一接口执行该预置定时任务，比如，跑批落地的交易底表数据、贷款余额数据等。
以此，可在暂停GG同步进程的情况下，执行预置定时任务，目标数据库可以静态数据执行业务逻辑，以解决现有同步操作过程不间断的进行而导致系统耗损较大的问题，可实现降低系统耗损。
此外，还可在目标数据库中预先设置业务日志表，用于存储定时任务的执行状态信息，比如可包括执行完成信息等。基于此，可在预置定时任务执行完成后，将预置定时任务的执行状态信息存储于上述业务日志表中，以便可通过读取该业务日志表确定定时任务的执行状态。
S04，在预置定时任务执行完成后提交消息目标表，以恢复GG同步进程。
在本实施例中，可通过触发器确定预置定时任务执行完成后，提交消息目标表，以再次启动该消息目标表所属的同步进程，也即之前被暂停的GG同步进程，以实现对GG同步进程的恢复。
在实际应用中，可通过读取业务日志表确定预置定时任务是否执行完成，具体的，若未从业务日志表中读取到与预置定时任务相关的执行完成信息，则可等待预置时间(在本实施例中，可称为第二预置时间，该第二预置时间可根据实际需要进行设置，比如60秒)可再次读取业务日志表，直至读取到与预置定时任务对应的执行完成信息，以根据读取到的执行完成信息确定预置定时任务执行完成；若直接从业务日志表中读取到与预置定时任务对应的执行完成信息，则可直接根据读取到的执行完成信息确定预置定时任务执行完成。
以此，可在上述预置定时任务执行完成后再提交消息目标表，以恢复该消息目标表所属的同步进程，进而完成由源数据库到目标数据库的数据同步处理。
根据本实施例的各个实施方式，可通过消息目标表接收基于GG同步进程从源数据库同步来的包括预置定时任务的时间信息的第一记录，然后先暂停GG同步进程并根据GG同步进程信息及预置定时任务的时间信息生成第二记录，接下来可将第二记录插入消息到达日志表中并执行预置定时任务，在预置定时任务执行完成后提交消息目标表，以恢复之前暂停的GG同步进程。通过本方案，可在目标数据库中的消息目标表接收到由源数据库同步来的第一记录后，先不将该消息目标表的相关数据进行提交，也即先不对该消息目标表所属的同步进程进行处理，以实现暂停该同步进程的效果，而是先执行与第一记录相关的预置定时任务，待预置定时任务执行完成后再提交与消息目标表相关的数据，以恢复该消息目标表所属的同步进程，从而完成由源数据库到目标数据库的数据同步处理。由此，一方面，可解决现有GG同步过程不间断的进行而导致系统耗损较大的问题，可降低系统耗损；另一方面，可通过采用在处理定时任务时暂停GG同步过程，并在定时任务处理完毕后恢复GG同步过程的方式，解决现有方案中目标数据库在GG同步过程中获取到多余数据而导致后续数据处理压力增大及效率较低的问题，可降低后续数据处理压力并可提高数据处理效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
实施例二
基于上述实施例一中提供的基于GG同步进程的数据处理方法，本实施例中提供一种基于GG同步进程的数据处理装置，具体地，图2示出了该基于GG同步进程的数据处理装置的可选的结构框图，该基于GG同步进程的数据处理装置被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述基于GG同步进程的数据处理装置在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图2所示，该基于GG同步进程的数据处理装置20可包括：
第一记录接收模块21，可用于通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；
同步进程暂停模块22，可用于当接收到第一记录时，暂停GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录；
定时任务执行模块23，可用于将第二记录插入消息到达日志表中，并执行预置定时任务；
同步进程恢复模块24，可用于在预置定时任务执行完成后提交消息目标表，以恢复GG同步进程。
在具体实现时，该装置还可包括：
第一记录生成模块，可用于预先根据预置定时任务的时间信息生成第一记录，并将第一记录存储于源数据库的消息源表中；
同步进程启动模块，可用于启动GG同步进程；
第一记录获取模块，可用于通过所述消息源表获取所述第一记录；
第一记录同步模块，用于将第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。
进一步的，该装置还可包括：
触发器启动模块，用于启动用于实现GG同步进程的暂停及恢复功能的触发器。
基于此，同步进程暂停模块22，可具体用于：
通过触发器暂停GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录；
同步进程恢复模块24，可具体用于：
在通过触发器确定预置定时任务执行完成后，提交消息目标表，以再次启动GG同步进程。
此外，定时任务执行模块23，可具体包括：
第一接口调用单元，可用于在将第二记录插入消息到达日志表中之后，调用用于执行预置定时任务的第一接口；
定时任务执行单元，可用于通过第一接口执行预置定时任务。
进一步的，定时任务执行模块23，还可用于：
将预置定时任务的执行状态信息存储于业务日志表中，其中，执行状态信息包括执行完成信息。
在具体实现时，定时任务执行模块23，还可具体用于：
读取业务日志表；
若未读取到与预置定时任务相关的执行完成信息，则等待预置时间再次读取所述业务日志表，直至读取到与预置定时任务对应的执行完成信息；
若读取到与预置定时任务对应的执行完成信息，则确定预置定时任务执行完成。
关于上述实施例中的装置，其中各个单元、模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过本实施例的各个实施方式，可通过消息目标表接收基于GG同步进程从源数据库同步来的包括预置定时任务的时间信息的第一记录，然后先暂停GG同步进程并根据GG同步进程信息及预置定时任务的时间信息生成第二记录，接下来可将第二记录插入消息到达日志表中并执行预置定时任务，在预置定时任务执行完成后提交消息目标表，以恢复之前暂停的GG同步进程。通过本方案，可在目标数据库中的消息目标表接收到由源数据库同步来的第一记录后，先不将该消息目标表的相关数据进行提交，也即先不对该消息目标表所属的同步进程进行处理，以实现暂停该同步进程的效果，而是先执行与第一记录相关的预置定时任务，待预置定时任务执行完成后再提交与消息目标表相关的数据，以恢复该消息目标表所属的同步进程，从而完成由源数据库到目标数据库的数据同步处理。由此，一方面，可解决现有GG同步过程不间断的进行而导致系统耗损较大的问题，可降低系统耗损；另一方面，可通过采用在处理定时任务时暂停GG同步过程，并在定时任务处理完毕后恢复GG同步过程的方式，解决现有方案中目标数据库在GG同步过程中获取到多余数据而导致后续数据处理压力增大及效率较低的问题，可降低后续数据处理压力并可提高数据处理效率。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器31、处理器32，如图3所示。需要指出的是，图3仅示出了具有组件31-32的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器31(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器31可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器31也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器31还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。本实施例中，存储器31通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如实施例二的基于GG同步进程的数据处理装置的程序代码等。此外，存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器32在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制计算机设备30的总体操作。本实施例中，处理器32用于运行存储器31中存储的程序代码或者处理数据，例如基于GG同步进程的数据处理装置等。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于基于GG同步进程的数据处理装置，被处理器执行时实现实施例一的基于GG同步进程的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于GG同步进程的数据处理方法，其特征在于，包括如下步骤：
S01，通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；
S02，当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；
S03，将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；
S04，在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。
2.根据权利要求1所述的基于GG同步进程的数据处理方法，其特征在于，还包括：预先根据所述预置定时任务的时间信息生成第一记录，并将所述第一记录存储于源数据库的消息源表中；
在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之前，还包括：
启动GG同步进程；
通过所述消息源表获取所述第一记录；
将所述第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。
3.根据权利要求1所述的基于GG同步进程的数据处理方法，其特征在于，在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之后，还包括：
启动用于实现GG同步进程的暂停及恢复功能的触发器；
S02当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录，包括：
通过所述触发器暂停所述GG同步进程，并根据GG同步进程信息及预置定时任务的时间信息生成第二记录；
S04在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程，包括：
在通过所述触发器确定预置定时任务执行完成后，提交所述消息目标表，以再次启动所述GG同步进程。
4.根据权利要求1所述的基于GG同步进程的数据处理方法，其特征在于，S03将所述第二记录插入消息到达日志表中，并执行所述预置定时任务，包括：
在将所述第二记录插入消息到达日志表中之后，调用用于执行所述预置定时任务的第一接口；
通过所述第一接口执行所述预置定时任务。
5.根据权利要求1所述的基于GG同步进程的数据处理方法，其特征在于，在S03将所述第二记录插入消息到达日志表中，并执行所述预置定时任务之后，还包括：
将预置定时任务的执行状态信息存储于业务日志表中，所述执行状态信息包括执行完成信息。
6.根据权利要求5所述的基于GG同步进程的数据处理方法，其特征在于，S04在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程，包括：
读取所述业务日志表；
若未读取到与预置定时任务相关的执行完成信息，则等待预置时间再次读取所述业务日志表，直至读取到与预置定时任务对应的执行完成信息；
若读取到与预置定时任务对应的执行完成信息，则确定预置定时任务执行完成。
7.一种基于GG同步进程的数据处理装置，其特征在于，包括：
第一记录接收模块，用于通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；
同步进程暂停模块，用于当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；
定时任务执行模块，用于将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；
同步进程恢复模块，用于在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。
8.根据权利要求7所述的GG同步进程的数据处理装置，其特征在于，还包括：
第一记录生成模块，用于预先根据所述预置定时任务的时间信息生成第一记录，并将第一记录存储于源数据库的消息源表中；
同步进程启动模块，用于启动GG同步进程；
第一记录获取模块，用于通过所述消息源表获取所述第一记录；
第一记录同步模块，用于将所述第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301338.3A CN110162569A (zh) | 2019-04-15 | 2019-04-15 | 基于gg同步进程的数据处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301338.3A CN110162569A (zh) | 2019-04-15 | 2019-04-15 | 基于gg同步进程的数据处理方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110162569A true CN110162569A (zh) | 2019-08-23 |
Family
ID=67639400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910301338.3A Pending CN110162569A (zh) | 2019-04-15 | 2019-04-15 | 基于gg同步进程的数据处理方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110162569A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659138A (zh) * | 2019-08-26 | 2020-01-07 | 平安科技（深圳）有限公司 | 基于定时任务的数据同步方法、装置、终端及存储介质 |
| CN110673943A (zh) * | 2019-09-29 | 2020-01-10 | 香港乐蜜有限公司 | 一种定时任务的实现方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110167040A1 (en) * | 2008-09-04 | 2011-07-07 | Huawei Technologies Co., Ltd. | Method, apparatus and system for executing synchronization |
| CN106227822A (zh) * | 2016-07-22 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种数据分发方法及数据同步系统 |
| CN106682002A (zh) * | 2015-11-05 | 2017-05-17 | 中兴通讯股份有限公司 | 数据库同步方法及系统、源数据和目标数据同步装置 |
| CN107562883A (zh) * | 2017-09-04 | 2018-01-09 | 马上消费金融股份有限公司 | 一种数据同步的方法及系统 |
| CN107679058A (zh) * | 2017-06-26 | 2018-02-09 | 平安科技（深圳）有限公司 | 数据同步方法、装置及计算机可读存储介质 |
| CN107885804A (zh) * | 2017-11-02 | 2018-04-06 | 平安科技（深圳）有限公司 | 数据库同步方法、应用服务器及计算机可读存储介质 |
-
2019
- 2019-04-15 CN CN201910301338.3A patent/CN110162569A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110167040A1 (en) * | 2008-09-04 | 2011-07-07 | Huawei Technologies Co., Ltd. | Method, apparatus and system for executing synchronization |
| CN106682002A (zh) * | 2015-11-05 | 2017-05-17 | 中兴通讯股份有限公司 | 数据库同步方法及系统、源数据和目标数据同步装置 |
| CN106227822A (zh) * | 2016-07-22 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种数据分发方法及数据同步系统 |
| CN107679058A (zh) * | 2017-06-26 | 2018-02-09 | 平安科技（深圳）有限公司 | 数据同步方法、装置及计算机可读存储介质 |
| CN107562883A (zh) * | 2017-09-04 | 2018-01-09 | 马上消费金融股份有限公司 | 一种数据同步的方法及系统 |
| CN107885804A (zh) * | 2017-11-02 | 2018-04-06 | 平安科技（深圳）有限公司 | 数据库同步方法、应用服务器及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 库尔班江·托乎提等: "基于Oracale数据库实时同步技术的研究与分析", 《信息系统工程》, no. 276, pages 110 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659138A (zh) * | 2019-08-26 | 2020-01-07 | 平安科技（深圳）有限公司 | 基于定时任务的数据同步方法、装置、终端及存储介质 |
| CN110659138B (zh) * | 2019-08-26 | 2024-03-15 | 平安科技（深圳）有限公司 | 基于定时任务的数据同步方法、装置、终端及存储介质 |
| CN110673943A (zh) * | 2019-09-29 | 2020-01-10 | 香港乐蜜有限公司 | 一种定时任务的实现方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6694345B1 (en) | External job scheduling within a distributed processing system having a local job control system | |
| CN110247984B (zh) | 业务处理方法、装置及存储介质 | |
| CN108564463B (zh) | 一种银行异常交易冲正方法及系统 | |
| CN110096340A (zh) | 定时任务处理方法及装置 | |
| CN110162569A (zh) | 基于gg同步进程的数据处理方法、装置及计算机设备 | |
| CN110599305A (zh) | 业务处理方法、装置及存储介质 | |
| CN110162344A (zh) | 一种隔离限流的方法、装置、计算机设备及可读存储介质 | |
| WO2020253045A1 (zh) | 配置化的数据转发异常补处理方法、装置及可读存储介质 | |
| CN111274313A (zh) | 分段共识方法、设备和存储介质 | |
| CN114661523A (zh) | 数据备份方法、装置、程序产品、介质及电子设备 | |
| CN117076096A (zh) | 任务流程的执行方法、装置、计算机可读介质及电子设备 | |
| CN110908644B (zh) | 状态节点的配置方法、装置、计算机设备和存储介质 | |
| CN107958414B (zh) | 一种清除cics系统长交易的方法及系统 | |
| CN111611479A (zh) | 用于网络资源推荐的数据处理方法及相关装置 | |
| CN115499493A (zh) | 异步事务处理方法、装置、存储介质及计算机设备 | |
| CN115220887A (zh) | 调度信息的处理方法、任务处理系统、处理器和电子设备 | |
| CN109040491A (zh) | 挂机行为处理方法、装置、计算机设备及存储介质 | |
| CN115454599A (zh) | 任务处理方法、系统、装置、存储介质以及电子设备 | |
| CN113254506A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN110908821B (zh) | 任务失败管理的方法、装置、设备和存储介质 | |
| CN110865874B (zh) | 事务提交的方法和装置 | |
| CN113868027B (zh) | 数据快照方法及装置 | |
| CN115756768B (zh) | 基于saga的分布式事务处理方法、装置、设备及介质 | |
| CN109710690B (zh) | 一种业务驱动计算方法及系统 | |
| CN117421291A (zh) | 一种预写日志存储级别参数的修改方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240628 |