CN102685257B - 数据同步处理系统、数据同步处理方法、服务器系统 - Google Patents

Abstract

本发明提供一种数据同步处理系统、一种数据同步处理方法和一种服务器系统，其中，数据同步处理系统包括：数据管理模块，为待进行同步处理的数据分配一个同步数据服务模块；多个同步数据服务模块及对应的多个同步接口模块，其中，为所述数据分配的所述同步数据服务模块所对应的同步接口模块将所述数据提供给所述同步数据服务模块，所述同步数据服务模块对所述数据进行同步处理。通过本发明，可以做到一个数据同步线程只对一条数据进行处理，在多个同步线程同步数据时，即使其中一个出现故障，也不影响数据同步的正常进行，来提高同步系统的可用性。

Description

数据同步处理系统、数据同步处理方法、服务器系统

技术领域

本发明涉及数据同步技术领域，具体而言，涉及一种数据同步处理系统、一种数据同步处理方法和一种服务器系统。

背景技术

目前，针对数据同步，业界有很多做法和方案，其中一种是采用接收数待同步数据并存储，然后调用同步线程对待同步数据进行处理的异步方式。如果采用异步方式，有可能出现的问题是：多个同步线程对同一条数据进行处理，有可能其中一个数据同步线程出现故障，则影响其他线程的同步工作，最终导致数据得不到数据的问题。

所以，有必要提出一种新的数据同步优化的技术方案，做到一个数据同步线程只对一条数据进行处理，在多个同步线程同步数据时，即使其中一个出现故障，也不影响数据同步的正常进行，来提高同步系统的可用性。

发明内容

本发明所要解决的技术问题在于，提出一种新的数据同步优化的技术方案，做到一个数据同步线程只对一条数据进行处理，在多个同步线程同步数据时，即使其中一个出现故障，也不影响数据同步的正常进行，来提高同步系统的可用性。

有鉴于此，本发明提供一种数据同步处理系统，包括：数据管理模块，为待进行同步处理的数据分配一个同步数据服务模块；多个同步数据服务模块及对应的多个同步接口模块，其中，为所述数据分配的所述同步数据服务模块所对应的同步接口模块将所述数据提供给所述同步数据服务模块，所述同步数据服务模块对所述数据进行同步处理。在该技术方案中，为每个数据都仅提供一个线程进行处理，避免出现多个线程共同处理一个数据的情况，则及时某个线程出现故障，也无法影响到其他线程进行正常的同步工作。

在上述技术方案中，优选地，还包括：监听模块，实时监听所述数据的处理状态，如果未被所述同步数据服务模块处理，则由其他同步数据服务模块进行同步处理。在该技术方案中，在某些线程出现故障，导致无法完成同步处理的情况，可以及时改用其他线程，保证数据最终都被同步处理完成。

在上述技术方案中，优选地，所述数据管理模块为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务模块；所述同步接口模块根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务模块；如果预定时间内所述数据未被同步处理，所述同步接口模块更改所述数据的任务标识位，以将所述数据传送给所述其他同步数据服务模块进行同步处理。在该技术方案中，通过任务标识位的设置，实现了数据的同步任务的分配，并保证每条数据只由一个同步服务进行处理，并且根据通过任务标识位的更改，也可以及时将未被同步的数据交给其他同步数据服务处理。

在上述技术方案中，优选地，所述数据管理模块为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；所述同步接口模块在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务模块；在所述数据已被同步处理时，则所述同步接口模块将所述数据的处理状态位更改为已处理；所述监听模块通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。在该技术方案中，通过处理状态位的设置，可以判断哪些数据被处理，哪些数据未被同步处理，可以及时交由其他同步数据服务进行处理。

在上述技术方案中，优选地，所述数据管理模块设置在预设的数据库服务器上，所述多个同步数据服务模块、所述多个同步接口模块设置在预设的多个同步数据服务器上，所述监听模块设置在预设的监听服务器上，其中，所述数据库服务器、所述监听服务器均连接至所述多个同步数据服务器。在该技术方案中，可以通过不同的服务器来实现数据同步过程中的各种功能，通过以上服务器构成的服务器系统，在进行数据同步处理时，不会由于某台同步数据服务器的故障，而影响数据同步的正常进行，最终保证了数据同步的效率。

本发明还提供一种数据同步处理方法，包括：步骤202，为待进行同步处理的数据分配一个同步数据服务；步骤204，将所述数据提供给所述同步数据服务；步骤206，通过所述同步数据服务，对所述数据进行同步处理。在该技术方案中，为每个数据都仅提供一个线程进行处理，避免出现多个线程共同处理一个数据的情况，则及时某个线程出现故障，也无法影响到其他线程进行正常的同步工作。

在上述技术方案中，优选地，还包括：步骤208，实时监听所述数据的处理状态，如果未被所述同步数据服务处理，则由其他同步数据服务进行同步处理。在该技术方案中，在某些线程出现故障，导致无法完成同步处理的情况，可以及时改用其他线程，保证数据最终都被同步处理完成。

在上述技术方案中，优选地，所述步骤202具体包括：为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务；所述步骤204具体包括：根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务；所述步骤208具体包括：如果预定时间内所述数据未被同步处理，则更改所述数据的任务标识位，以将所述数据传送给交给所述其他同步数据服务进行同步处理。在该技术方案中，通过任务标识位的设置，实现了数据的同步任务的分配，并保证每条数据只由一个同步服务进行处理，并且根据通过任务标识位的更改，也可以及时将未被同步的数据交给其他同步数据服务处理。

在上述技术方案中，优选地，所述步骤202还包括：为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；所述步骤204具体包括：在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务；所述步骤206还包括：在所述数据已被同步处理时，则将所述数据的处理状态位更改为已处理；所述步骤208具体包括：通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。在该技术方案中，通过处理状态位的设置，可以判断哪些数据被处理，哪些数据未被同步处理，可以及时交由其他同步数据服务进行处理。

本发明还提供一种服务器系统，包括：如上所述的数据同步处理系统，数据库服务器、多个同步数据服务器以及监听服务器，所述数据库服务器、所述监听服务器均连接至所述多个同步数据服务器，其中，所述数据同步处理系统的数据管理模块设置在所述数据库服务器上，所述数据同步处理系统的多个同步数据服务模块、所述多个同步接口模块设置在所述多个同步数据服务器上，所述数据同步处理系统的监听模块设置在所述监听服务器上。在该技术方案中，通过以上服务器构成的服务器系统，在进行数据同步处理时，不会由于某台同步数据服务器的故障，而影响数据同步的正常进行，最终保证了数据同步的效率。

通过以上技术方案，可以实现一种数据同步处理系统、一种数据同步处理方法和一种服务器系统，做到一个数据同步线程只对一条数据进行处理，在多个同步线程同步数据时，即使其中一个出现故障，也不影响数据同步的正常进行，来提高同步系统的可用性。

附图说明

图1是根据本发明的一个实施例的数据同步处理系统的框图；

图2是根据本发明的一个实施例的数据同步处理方法的流程图；

图3是根据本发明的一个实施例的服务器系统的框图；

图4是根据本发明的一个实施例的数据同步处理系统的工作流程图；

图5是根据本发明的一个实施例的数据同步处理系统的流程示意图；

图6是根据本发明的一个实施例的数据同步处理系统的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1是根据本发明的一个实施例的数据同步处理系统的框图。

如图1所示，本发明提供一种数据同步处理系统100，包括：数据管理模块102，为待进行同步处理的数据分配一个同步数据服务模块104；多个同步数据服务模块及对应的多个同步接口模块，其中，为所述数据分配的所述同步数据服务模块104所对应的同步接口模块106将所述数据提供给所述同步数据服务模块104，所述同步数据服务模块104对所述数据进行同步处理。在该技术方案中，为每个数据都仅提供一个线程进行处理，避免出现多个线程共同处理一个数据的情况，则及时某个线程出现故障，也无法影响到其他线程进行正常的同步工作。

在上述技术方案中，还包括：监听模块108，实时监听所述数据的处理状态，如果未被所述同步数据服务模块104处理，则由其他同步数据服务模块进行同步处理。在该技术方案中，在某些线程出现故障，导致无法完成同步处理的情况，可以及时改用其他线程，保证数据最终都被同步处理完成。

在上述技术方案中，所述数据管理模块102为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务模块104；所述同步接口模块106根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务模块104；如果预定时间内所述数据未被同步处理，所述同步接口模块106更改所述数据的任务标识位，以将所述数据传送给所述其他同步数据服务模块进行同步处理。在该技术方案中，通过任务标识位的设置，实现了数据的同步任务的分配，并保证每条数据只由一个同步服务进行处理，并且根据通过任务标识位的更改，也可以及时将未被同步的数据交给其他同步数据服务处理。

在上述技术方案中，所述数据管理模块102为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；所述同步接口模块106在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务模块104；在所述数据已被同步处理时，则所述同步接口模块106将所述数据的处理状态位更改为已处理；所述监听模块108通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。在该技术方案中，通过处理状态位的设置，可以判断哪些数据被处理，哪些数据未被同步处理，可以及时交由其他同步数据服务进行处理。

在上述技术方案中，所述数据管理模块102设置在预设的数据库服务器上，所述多个同步数据服务模块、所述多个同步接口模块设置在预设的多个同步数据服务器上，所述监听模块108设置在预设的监听服务器上，其中，所述数据库服务器、所述监听服务器均连接至所述多个同步数据服务器。在该技术方案中，可以通过不同的服务器来实现数据同步过程中的各种功能，通过以上服务器构成的服务器系统，在进行数据同步处理时，不会由于某台同步数据服务器的故障，而影响数据同步的正常进行，最终保证了数据同步的效率。

图2是根据本发明的一个实施例的数据同步处理方法的流程图。

如图2所示，本发明还提供一种数据同步处理方法，包括：步骤202，为待进行同步处理的数据分配一个同步数据服务；步骤204，将所述数据提供给所述同步数据服务；步骤206，通过所述同步数据服务，对所述数据进行同步处理。在该技术方案中，为每个数据都仅提供一个线程进行处理，避免出现多个线程共同处理一个数据的情况，则及时某个线程出现故障，也无法影响到其他线程进行正常的同步工作。

在上述技术方案中，还包括：步骤208，实时监听所述数据的处理状态，如果未被所述同步数据服务处理，则由其他同步数据服务进行同步处理。在该技术方案中，在某些线程出现故障，导致无法完成同步处理的情况，可以及时改用其他线程，保证数据最终都被同步处理完成。

在上述技术方案中，所述步骤202具体包括：为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务；所述步骤204具体包括：根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务；所述步骤208具体包括：如果预定时间内所述数据未被同步处理，则更改所述数据的任务标识位，以将所述数据传送给交给所述其他同步数据服务进行同步处理。在该技术方案中，通过任务标识位的设置，实现了数据的同步任务的分配，并保证每条数据只由一个同步服务进行处理，并且根据通过任务标识位的更改，也可以及时将未被同步的数据交给其他同步数据服务处理。

在上述技术方案中，所述步骤202还包括：为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；所述步骤204具体包括：在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务；所述步骤206还包括：在所述数据已被同步处理时，则将所述数据的处理状态位更改为已处理；所述步骤208具体包括：通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。在该技术方案中，通过处理状态位的设置，可以判断哪些数据被处理，哪些数据未被同步处理，可以及时交由其他同步数据服务进行处理。

图3是根据本发明的一个实施例的服务器系统的框图。

如图3所示，本发明还提供一种服务器系统300，包括：如上所述的数据同步处理系统100，数据库服务器302、多个同步数据服务器304以及监听服务器306，所述数据库服务器302、所述监听服务器306均连接至所述多个同步数据服务器304，其中，所述数据同步处理系统100的数据管理模块设置在所述数据库服务器302上，所述数据同步处理系统的多个同步数据服务模块、所述多个同步接口模块设置在所述多个同步数据服务器304上，所述数据同步处理系统的监听模块设置在所述监听服务器306上。在该技术方案中，通过以上服务器构成的服务器系统，在进行数据同步处理时，不会由于某台同步数据服务器的故障，而影响数据同步的正常进行，最终保证了数据同步的效率。

图4是根据本发明的一个实施例的数据同步处理系统的工作流程图。

在本实施例中的数据同步处理系统需要与别的系统进行数据同步时，首先将数据插入同步表，通过同步接口机（相当于前述的同步接口模块）获取数据以进行同步。

进一步地，数据同步具体过程主要包括：

1、在数据同步表中存储待同步数据，并为每条数据标识其由哪个同步接口机获取并处理。

2、同步接口扫描同步数据，并调用相应的同步数据服务进行同步处理。

如图4所示，本实施例中的数据同步处理系统的具体工作流程如下：

步骤402，系统获得外部的需要同步的数据。

步骤404，系统将同步数据插入到数据同步表中，具体为：

将数据插入同步表；

将把同步表上所有数据的同步状态设为待处理。

步骤406，多个同步接口机开始扫描同步表，由多个接口调用同步数据服务对数据进行同步处理，最后，同步接口机修改同步表状态，将把同步表数据状态改为处理中。

步骤408，同步接口机把数据同步记录到同步日志表，具体地，如果数据同步失败，就删除同步表，并在同步日志表中记录日志为失败；如果数据同步成功，就删除同步表，并在同步日志表中记录日志为成功。

进一步地，数据同步处理系统还提供数据监听服务，根据标识位如果发现数据是哪个接口机处理的数据一段时间还未处理，需要改为由其它的同步接口机作扫描处理。

图5是根据本发明的一个实施例的数据同步处理系统的流程示意图，图6是根据本发明的一个实施例的数据同步处理系统的流程示意图，以下结合图5和图6进一步对本实施例中的数据同步处理系统进行描述。

步骤1、当系统收到要同步的数据时，就把需要同步的数据插到数据库服务器中的数据同步表502，同时在数据库服务器中存放同步日志表，插入数据完成后返回已插入完成的信息。

其中同步表有两个字段作为标识位，一个是数据处理状态位，记录数据处理情况，另一个同步任务标识位，标识是由哪个同步数据服务器提供的同步数据服务来同步数据。

步骤2、多台同步数据服务器提供多个同步数据服务504A、504B、504C等，每台同步数据服务器都有一个数据同步接口机，会去扫这张同步表中由这个服务器处理还未处理的数据，当该条数据被处理就把该数据的状态标识位修改为已处理。扫描完成后，同步接口机向数据库服务器返回扫描完成的消息。

步骤3、监听服务器提供数据监听服务506，由某个同步服务同步的数据过一定时间还未处理，就由同步接口机把状态改为其它同步数据服务的标识位由其它同步数据服务来处理，调用其它系统接口扫描同步数据，获得返回信息。

步骤4、记录同步结果，删掉该条同步数据，并将最终同步完成的数据输出到外部系统，并取得输出完成的返回信息。

综上所述，通过本发明的技术方案，可以实现一种数据同步处理系统、一种数据同步处理方法和一种服务器系统，做到一个数据同步线程只对一条数据进行处理，在多个同步线程同步数据时，即使其中一个出现故障，也不影响数据同步的正常进行，来提高同步系统的可用性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据同步处理系统，其特征在于，包括：

数据管理模块，为待进行同步处理的数据分配一个同步数据服务模块；

多个同步数据服务模块及对应的多个同步接口模块，其中，为所述数据分配的所述同步数据服务模块所对应的同步接口模块将所述数据提供给所述同步数据服务模块；

所述同步数据服务模块对所述数据进行同步处理；

监听模块，实时监听所述数据的处理状态，如果未被所述同步数据服务模块处理，则由其他同步数据服务模块进行同步处理；

所述数据管理模块为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务模块；

所述同步接口模块根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务模块；

如果预定时间内所述数据未被同步处理，所述同步接口模块更改所述数据的任务标识位，以将所述数据传送给所述其他同步数据服务模块进行同步处理。

2.根据权利要求1所述的数据同步处理系统，其特征在于，所述数据管理模块为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；

所述同步接口模块在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务模块；

在所述数据已被同步处理时，则所述同步接口模块将所述数据的处理状态位更改为已处理；

所述监听模块通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。

3.根据权利要求1或2所述的数据同步处理系统，其特征在于，所述数据管理模块设置在预设的数据库服务器上，所述多个同步数据服务模块、所述多个同步接口模块设置在预设的多个同步数据服务器上，所述监听模块设置在预设的监听服务器上，其中，所述数据库服务器、所述监听服务器均连接至所述多个同步数据服务器。

4.一种数据同步处理方法，其特征在于，包括：

步骤202，为待进行同步处理的数据分配一个同步数据服务；

步骤204，将所述数据提供给所述同步数据服务；

步骤206，通过所述同步数据服务，对所述数据进行同步处理；

步骤208，实时监听所述数据的处理状态，如果未被所述同步数据服务处理，则由其他同步数据服务进行同步处理；

所述步骤202具体包括：为所述数据设置任务标识位，以标识用于对所述数据进行同步处理的所述同步数据服务；

所述步骤204具体包括：根据所述任务标识位，识别出所述数据并将所述数据提供给所述同步数据服务；

所述步骤208具体包括：如果预定时间内所述数据未被同步处理，则更改所述数据的任务标识位，以将所述数据传送给所述其他同步数据服务进行同步处理。

5.根据权利要求4所述的数据同步处理方法，其特征在于，所述步骤202还包括：

为所述数据设置用于标识处理状态的处理状态位，并将所述处理状态位设置为待处理；

所述步骤204具体包括：在所述处理状态位为未处理时，将所述数据提供给所述同步数据服务；

所述步骤206还包括：在所述数据已被同步处理时，则将所述数据的处理状态位更改为已处理；

所述步骤208具体包括：通过实时监听所述数据的处理状态位，来确定所述数据的处理状态。

6.一种服务器系统，其特征在于，包括：

根据权利要求1或2所述的数据同步处理系统、数据库服务器、多个同步数据服务器以及监听服务器，所述数据库服务器、所述监听服务器均连接至所述多个同步数据服务器，其中，所述数据同步处理系统的数据管理模块设置在所述数据库服务器上，所述数据同步处理系统的多个同步数据服务模块、所述多个同步接口模块设置在所述多个同步数据服务器上，所述数据同步处理系统的监听模块设置在所述监听服务器上。