CN105610917B - 实现系统中同步数据修复的方法及系统 - Google Patents

Abstract

本发明涉及一种实现系统中同步数据修复的方法和系统。所述方法包括：获取产生的对外服务数据，生成所述对外服务数据对应的日志记录，以记录所述对外服务数据；比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。通过本发明方案，能够及时发现对内服务数据库中丢失的数据，并快速修复丢失的数据，降低了对消息中间件的依赖性。

Description

实现系统中同步数据修复的方法及系统

技术领域

本发明涉及互联网技术领域，特别是涉及实现系统中同步数据修复的方法及系统。

背景技术

在web2.0时代，每一个用户都可以生成自己的内容，互联网上的所有内容可由用户创造，而不只是以前的某一些人，使得互联网内容飞速增长。UGC(User GeneratedContent，用户原创内容)系统即是可为每个访问用户生成其私有数据的系统。

UGC的概念起源于互联网领域，即用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户。UGC并不是某一种具体的业务，而是一种用户使用互联网的新方式，使得互联网使用方式由原来的以下载为主变成以下载/上传并重。YouTube、社交网络、博客和播客等都是UGC系统的主要应用形式。

如图1所示，现有的UGC系统通常包括对外服务器和对内服务器。其中，对外服务器是一个高可用、高稳定性、高性能的服务器，用于直接为外网用户提供业务，该服务器每秒处理着大量的用户请求，而处理这些用户请求的对外服务数据都为UGC数据，即仅与当前访问用户相关。对外服务器可将这些用户请求对应的UGC数据缓存到一个高速的对外数据空间(内存服务)，但该对外数据空间对于批量读写数据的支持较差。对内服务器是一个面向系统管理员的服务器，通常作用为将同步得到的大量用户数据遍历展示出来，便于管理员查看和管理用户数据。通常对内服务器的请求量较小，不需要太高的性能，但需具备遍历大量用户数据的能力，通常可通过配置有一个能够支持遍历大量存储数据的对内数据空间(如MySQL)实现。

通常在一些放量比较大的UGC系统中，需对对外服务产生的UGC数据进行数据同步，将对外服务产生的对外服务数据同步到对内服务数据库中，管理人员通过对内服务数据库可查看和管理用户数据，进而实现网站管理和维护。为了将对外服务产生的UGC数据同步到对内服务数据库，同时又不影响对外服务器的对外服务性能，现有的做法为：通过一个消息中间件(message oriented middleware)和对内服务器，将对外服务产生的UGC数据以异步方式同步到对内服务数据库，管理人员通过对内服务器访问对内服务数据库，遍历所述对内服务数据库中的同步数据查看和管理大量用户数据，实现网站管理和维护。

然而，基于这种数据同步方式，对消息中间件的可靠性的要求较高，一旦出现消息中间件丢消息(由于网络波动等因素导致)，或者对内服务器BUG导致没能及时处理好消息中间件发送的对外服务数据的情况，将导致对外服务产生的对外服务数据无法可靠的同步到对内数据空间中，即数据同步丢失，且这种情况导致的数据丢失，无法通过对内服务器进行修复。

发明内容

基于此，本发明提供一种实现系统中同步数据修复的方法及系统，便于发现同步数据中丢失的数据，并快速修复丢失的数据，降低对消息中间件的依赖性。

本发明采用以下技术方案：

本发明一方面提供一种实现系统中同步数据修复的方法，包括：

获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；

比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；

如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。

本发明另一方面提供一种分布式实现系统中同步数据修复的系统，包括：

日志生成模块，用于获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；

日志分析模块，用于比较所述日志记录与对内服务数据库，判断对内服务数据库是否存在数据丢失；

以及，修复模块，用于如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。

实施本发明的上述技术方案的有益效果包括：通过获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；基于该日志记录，通过所述日志记录与对内服务数据库的比较，可及时发现对内服务数据库(同步数据)是否存在丢失的数据；如果存在丢失的数据，可根据所述日志记录修复对内服务数据库中的同步数据。降低了同步数据对消息中间件的依赖性，便于及时发现对内服务数据库中丢失的数据，并快速修复丢失的数据。

附图说明

图1为现有的UGC系统中对外服务数据同步处理的逻辑框架示意图；

图2为本发明实施例的实现系统中同步数据修复的方法的流程示意图；

图3为实施本发明实施例中对外服务数据同步处理的逻辑框架示意图；

图4为本发明实施例的实现系统中同步数据修复的系统的逻辑结构示意图；

图5为本发明另一实施例的分布式实现系统中同步数据修复的系统的逻辑结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的实施例包括实现系统中同步数据修复的方法实施例，还包括实现系统中同步数据修复的系统实施例。以下分别进行详细说明。

图2为本发明实施例的实现系统中同步数据修复的方法的流程示意图。参阅图2，本实施例的实现系统中同步数据修复的方法包含以下步骤S101至步骤S103，详细说明如下:

步骤S101，获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；

本实施例中所说的对外服务指的是面向用户的业务，对内服务指的是面向系统管理员的业务。通常情况下，用户访问UGC系统时，会产生相应的对外服务数据。该对外服务数据均为UGC数据，即用户访问系统时产生的私有数据，只与当前用户自己有关，如当前用户在系统中的头像、昵称、性别等数据。

本实施例中，可在UGC系统中预设一新的日志类型，即业务日志，业务日志中的每一条日志记录都对应了详细的UGC数据。不同用户访问系统时产生的对外服务数据，可通过不同的业务日志进行记录，同一用户多次访问对外服务器产生的对外服务数据，可通过业务日志中不同的日志记录予以记录。同时在UGC系统中，对外服务产生新的UGC数据之后，将所述UGC数据缓存到对应的对外数据空间，并且通过上述步骤S101，若获取到对外服务产生的一UGC数据，还会在系统中预设的业务日志中生成一条与所述UGC数据对应的日志记录。

需要说明的是，本实施例对业务日志的属性和日志记录格式不作限定，可根据系统情况进行适应性设置。

步骤S102，比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；

这里的对内服务数据库指的是，用于存储对外服务产生的对外服务数据的同步数据的存储空间，对内服务数据库主要用于对内服务业务(例如管理用户数据或者用户数据分析等业务)。本实施例中对内服务数据库是系统管理员查询和管理用户数据的基础。在分布式系统中，对外服务产生的对外服务数据可以同步或者异步的方式同步到对内服务数据库中，以便于系统管理员查看和管理用户数据。

作为一优选实施方式，获取产生的对外服务数据之后，通过消息中间件以异步方式将所述对外服务数据同步到对内服务数据库中。

需要说明的是，消息中间件是指支持与保障分布式应用程序之间同步/异步收发消息的中间件。其中，异步方式指消息发送方在发送消息时不必知道接收方的状态，更无需等待接收方的回复，而接收方在收到消息时也不必知道发送方的目前状态，更无需进行同步的消息处理，它们之间的连接完全是松耦合的，通信是非阻塞的，这种异步通信方式是由消息中间件中的消息队列及其服务机制保障的。消息中间件最突出的特点就是提供数据传输的可靠性和高效性。

作为一优选实施方式，可定时分析生成的业务日志，即按照设定时间周期，比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；该方式可在一定程度上降低由于消息中间件的数据传输延时，导致误判的情况。

作为另一优选实施方式，可即时分析生成的业务日志，即当检测到有新的日志记录生成时，立即比较所述日志记录与对内服务数据库，该方式每次分析比较的数据量较小，处理复杂度较低。

步骤S103，如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。

本实施例中，可通过日志分析管理平台分析生成的业务日志，将所述日志记录的对外服务数据转换为与对内服务数据库中存储的同步数据相同的格式，以进行比较，如果当前处理的日志记录的对外服务数据在对内服务数据库中不存在，表明该日志记录对应的对外服务数据在对内服务数据库时丢失，通过所述日志分析管理平台记录所述日志记录的对外服务数据为丢失数据，便于数据修复。

基于上述实施例，系统管理员可通过所述日志分析管理平台查看对内服务数据库丢失数据的情况，并且可根据丢失数据的记录修复对内服务数据库中对外服务数据的同步数据，保证对内服务数据库的准确性。

通过上述实施例的日志记录产生的对外服务数据的方式，降低了对消息中间件性能的依赖性，同步数据过程中即使出现了数据丢失的情况，也可通过相应的日志记录进行修复。

请参阅图3，图3为实施上述实施例的对外服务数据异步同步方法的逻辑框架示意图。如图3所示，本实施例的对外服务器接收用户的读写请求，产生对外服务数据并缓存到对外数据空间时，还同时负责在业务日志中生成对应的日志记录，以日志记录的形式记录产生的对外服务数据。在此基础上，可通过日志分析管理平台定时(或实时)分析生成的日志记录，并与对内服务数据库进行比较，如果当前处理的日志记录对应的对外服务数据在对内服务数据库中不存在，说明该日志记录对应的对外服务数据为同步过程中丢失的数据，日志分析管理平台记录为丢失的数据。进一步的，系统管理员可通过日志分析管理平台查看对内服务数据库丢失数据的记录，并将记录下的丢失的数据写入对内服务数据库(对内数据空间)，保证了对内服务数据库的准确性。

进一步的，上述的比较所述日志记录与对内服务数据库，判断对内服务数据库是否存在数据丢失的具体方式可为：遍历所述对内服务数据库，检测是否存在所述日志记录对应的对外服务数据，若否，判定为对内服务数据库存在数据丢失，同时还可记录所述日志记录的对外服务数据为丢失数据，以便根据所述丢失数据实时修复对内服务数据库中的同步数据，维护对内服务数据库的准确性。

作为一优选实施方式，如果存在数据丢失，根据所述日志记录修复对内服务数据库中同步数据的方式可为：如果存在数据丢失，当收到系统管理员查看所述日志分析管理平台、修复对内服务数据库的请求时，或者设定的时间到来时，用所述日志分析管理平台中记录的丢失数据对所述对内服务数据库进行修复。相对于实时修复方式，该方式可减少对所述对内服务数据库的修改次数。

根据本发明上述实施例，通过获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；基于该日志记录，通过所述日志记录与对内服务数据库的比较，可及时发现对内服务数据库(同步数据)是否存在丢失的数据；如果存在丢失的数据，可根据所述日志记录修复对内服务数据库中的同步数据。降低了同步数据对消息中间件的依赖性，便于及时发现对内服务数据库中丢失的数据，并快速修复丢失的数据。

需要说明的是，对于前述的方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

以下对可用于执行上述实现系统中同步数据修复的方法的本发明实施例的实现系统中同步数据修复的系统进行说明。图4为本发明实施例的实现系统中同步数据修复的系统的逻辑结构示意图，为了便于说明，图中仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图4示例的实现系统中同步数据修复的系统包含日志生成模块410、日志分析模块420以及修复模块430，其中：

所述日志生成模块410，用于获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；

需要说明的是，本实施例中对外服务指的是面向用户的业务，对内服务指的是面向系统管理员的业务。通常情况下，用户访问UGC系统时，会产生相应的对外服务数据。该对外服务数据均为UGC数据，即用户访问系统时产生的私有数据，只与当前用户自己有关，如当前用户在系统中的头像、昵称、性别等数据。本实施例所说的对外服务数据为UGC数据。

本实施例中，在UGC系统中预设有新的日志类型，即业务日志，业务日志中的每一条日志记录都对应了详细的UGC数据。不同用户访问系统时产生的对外服务数据，可通过不同的业务日志进行记录，同一用户多次访问对外服务器产生的对外服务数据，可通过业务日志中不同的日志记录予以记录。现有的UGC系统中，当对外服务产生新的UGC数据时，将所述UGC数据缓存到对应的对外数据空间，本实施例中，当对外服务产生新的UGC数据时，所述日志生成模块410具体用于，获取到对外服务产生的一UGC数据，在系统中预设的业务日志中生成一条与所述UGC数据对应的日志记录。

需要说明的是，本实施例对业务日志的属性和日志记录格式不作限定，可根据系统情况进行适应性设置。

所述日志分析模块420，用于比较所述日志记录与对内服务数据库，判断对内服务数据库是否存在数据丢失；

这里的对内服务数据库指的是，用于存储对外服务产生的对外服务数据的同步数据的存储空间，所述同步数据主要用于对内服务。本实施例中对内服务数据库是系统管理员查询和管理用户数据的基础。在分布式系统中，对外服务产生的对外服务数据可以同步或者异步的方式同步到对内服务数据库中，以便于系统管理员查看和管理用户数据。

作为一优选实施方式，所述日志分析模块420可包括定时分析单元或实时分析单元。其中，定时分析单元用于按照设定时间周期，比较所述日志记录与对内服务数据库；实时分析单元用于当生成新的日志记录时，比较所述日志记录与对内服务数据库。

所述修复模块430，用于如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。

基于上述实施例，降低了同步数据对消息中间件性能的依赖性，同步数据过程中即使出现了数据丢失的情况，也可通过相应的日志记录进行修复。

图5为本发明另一实施例的实现系统中同步数据修复的系统的逻辑结构示意图。如图5所示，图5示例的实现系统中同步数据修复的系统还包括数据同步模块440，用于在获取产生的对外服务数据之后，通过消息中间件对内同步所述对外服务数据，将所述对外服务数据以异步方式同步到对内服务数据库中。

作为一优选实施方式，所述日志分析模块420可具体用于遍历所述对内服务数据库，检测其中是否存在所述日志记录对应的对外服务数据，若不存在，判定为对内服务数据库存在数据丢失，并将所述日志记录对应的对外服务数据记录为丢失数据。

作为一优选实施方式，所述修复模块430可具体用于如果判定为对内服务数据库存在数据丢失，在收到访问所述对内服务数据库的请求时，用所述丢失数据对所述对内服务数据库进行修复。

根据在上述图4、图5任一示例的实现系统中同步数据修复的系统实施例，通过获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；基于该日志记录，通过所述日志记录与对内服务数据库的比较，可及时发现对内服务数据库是否存在丢失的数据；如果存在丢失的数据，可根据所述日志记录修复对内服务数据库。降低了同步数据对消息中间件的依赖性，便于及时发现对内服务数据库中丢失的数据，并快速修复丢失的数据。

需要说明的是，上述实施例中各模块/单元之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

此外，上述示例的实现系统中同步数据修复的系统的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成，即将所述实现系统中同步数据修复的系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的实现系统中同步数据修复的方法及系统的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.实现系统中同步数据修复的方法，其特征在于，包括：

获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；不同的用户访问产生的对外服务数据，由不同的业务日志进行记录；同一用户多次访问对外服务器产生的对外服务数据，可通过业务日志中不同的日志记录予以记录；

比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；

如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据；

所述获取产生的对外服务数据之后还包括，

通过消息中间件对所述对外服务数据进行数据同步，将所述对外服务数据以异步方式同步到对内服务数据库中；

所述比较所述日志记录与对内服务数据库，包括：

按照设定时间周期，比较所述日志记录与对内服务数据库；

或者，

当生成新的日志记录时，比较所述日志记录与对内服务数据库；

所述如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据包括：

如果存在数据丢失，当收到系统管理员查看所述日志分析管理平台、修复对内服务数据库的请求时，或者设定的时间到来时，用所述日志分析管理平台中记录的丢失数据对所述对内服务数据库进行修复。

2.如权利要求1所述实现系统中同步数据修复的方法，其特征在于，所述比较所述日志记录与对内服务数据库，判断对内服务数据库是否存在数据丢失，包括，

遍历所述对内服务数据库，检测其中是否存在与所述日志记录对应的对外服务数据；若不存在，判定为所述对内服务数据库存在数据丢失，并将所述日志记录对应的对外服务数据记录为丢失数据。

3.如权利要求2所述实现系统中同步数据修复的方法，其特征在于，所述根据所述日志记录修复所述对内服务数据库中的同步数据，包括，

用所述丢失数据对所述对内服务数据库中的同步数据进行修复。

4.如权利要求1至3任一所述实现系统中同步数据修复的方法，其特征在于，所述对外服务数据为UGC数据；

所述获取产生的对外服务数据，生成所述对外服务数据对应的日志记录包括，

获取到对外服务产生的一UGC数据，在系统中预设的业务日志中生成一条与所述UGC数据对应的日志记录。

5.实现系统中同步数据修复的系统，其特征在于，包括：

日志生成模块，用于获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；不同的用户访问产生的对外服务数据，由不同的业务日志进行记录；同一用户多次访问对外服务器产生的对外服务数据，可通过业务日志中不同的日志记录予以记录；

日志分析模块，用于比较所述日志记录与对内服务数据库，判断对内服务数据库是否存在数据丢失；

以及，修复模块，用于如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据；

数据同步模块，用于在获取产生的对外服务数据之后，通过消息中间件对所述对外服务数据进行数据同步，将所述对外服务数据以异步方式同步到对内服务数据库中；

所述日志分析模块包括，

定时分析单元，用于按照设定时间周期，比较所述日志记录与对内服务数据库；

或者，

实时分析单元，用于当生成新的日志记录时，比较所述日志记录与对内服务数据库；

所述如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据包括：

如果存在数据丢失，当收到系统管理员查看所述日志分析管理平台、修复对内服务数据库的请求时，或者设定的时间到来时，用所述日志分析管理平台中记录的丢失数据对所述对内服务数据库进行修复。

6.如权利要求5所述实现系统中同步数据修复的系统，其特征在于，所述日志分析模块，具体用于遍历所述对内服务数据库，检测其中是否存在所述日志记录对应的对外服务数据；若不存在，判定为所述对内服务数据库存在数据丢失，并将所述日志记录对应的对外服务数据记录为丢失数据。

7.如权利要求6所述实现系统中同步数据修复的系统，其特征在于，所述修复模块，具体用于如果存在数据丢失，用所述丢失数据对所述对内服务数据库进行修复。

8.如权利要求5至7任一所述实现系统中同步数据修复的系统，其特征在于，所述对外服务数据为UGC数据；

日志生成模块，具体用于获取到对外服务产生的一UGC数据，在系统中预设的业务日志中生成一条与所述UGC数据对应的日志记录。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

10.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的方法。