CN117041270A - 一种数据同步系统及方法 - Google Patents

Abstract

本发明涉及计算机中数据同步技术领域，具体而言，涉及一种数据同步系统及方法，所述系统包括：多个本地数据源库；云数据库服务器，包括多个客户源数据库单元和多个功能服务单元；多个访问端，用于向所述数据库服务器提交数据请求，以使所述数据库服务器调取对应企业的客户源数据库单元中的第一数据，并按照所述数据请求中的需求通过多个功能服务单元对所述第一数据进行处理，并将处理后的第一数据反馈至对应的访问端；本发明通过将企业本地数据源库通过公网与云数据库服务器直连，企业用户仅需要通过移动访问端如手机远程访问云数据库服务器，进而实现企业本地数据源库与多个访问端的数据同步，降低了企业本地数据源服务器的搭建难度。

Description

一种数据同步系统及方法

技术领域

本发明涉及计算机中数据同步技术领域，具体而言，涉及一种数据同步系统及方法。

背景技术

目前主流的数据同步方法有两种，第一种为直连同步：通过定义好的规范接口API和基于动态链接库的方式直接连接业务库，比如ODBC/JDBC等规定了统一的标准接口，不同的数据库基于这套标准提供规范的驱动，从而支持完全相同的函数调用和SQL实现，这种同步方式存在对源系统的性能影响比较大，当数据规模较大时可能拖垮业务系统的性能的缺陷；第二种为日志解析同步：解析数据库的日志，收集变化后的数据并将其解析到目标系统中，这种同步方式存在数据延迟和数据漂移问题。

发明内容

本发明的目的在于提供一种数据同步系统及方法，以克服上述的现有技术中存在的对原系统性能要求过高和数据流转延迟丢包的缺陷，提供一种新的解决方案，为用户提供全链路数据支持，多端统一的全平台数据交互。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种数据同步系统，包括：多个本地数据源库，所述本地数据源库设于企业本地；云数据库服务器，包括多个客户源数据库单元和多个功能服务单元，每个客户源数据库单元对应一个企业，所述本地数据源库中的第一源数据通过公网与所述客户源数据库单元直连，所述功能服务单元包括定义事件子单元、监听子单元、触发事件子单元和创建事件消息子单元；多个访问端，用于向所述数据库服务器提交数据请求，以使所述数据库服务器调取对应企业的客户源数据库单元中的第一数据，并按照所述数据请求中的需求通过多个功能服务单元对所述第一数据进行处理，并将处理后的第一数据反馈至对应的访问端。

可选地，所述云数据库服务器还包括多源异构整理模块，所述多源异构整理模块用于统一多个所述客户源数据库单元中的原始数据的格式或类型。

可选地，所述多源异构整理模块还用于将增量数据通过数据流的方式不断同步到日志交换中心，同时通知所有订阅了这些消息的访问端。

可选地，所述云数据库服务器还包括流量控制单元，用于基于第一数据的内容进行会话识别并通过高速的深层协议分析，识别每一个网络会话所属的应用，并针对预设的预警协议进行拦截或者制定相应的带宽分配策略。

可选地，所述流量控制单元可以根据当前网络负载智能调节网内的终端带宽分配方式。

第二方面，本申请还提供了一种数据同步方法，适用于云数据库服务器，包括：

通过公网定期拉取多个本地源数据，以使多个所述本地数据源库通过公网与云数据库服务器中的客户源数据库单元保持直连状态；

实时获取访问端发送的数据请求指令，并根据所述数据请求指令识别企业编码和请求事件类型，判定是否创建事件消息，若判定结果为创建事件消息，则根据所述企业编码调取对应客户源数据库单元的源数据，其中，所述调取对应客户源数据库单元的源数据的方式为通过解析客户源数据库单元的日志变更记录；

将所述源数据通过多源异构整理模块调整为预设的统一数据类型，并将调整后的源数据记为第二源数据；

根据所述请求事件类型选择对应的第一功能服务单元，并将其带入所述第一功能服务单元，得到处理后的第二源数据，记为结果数据，并将所述结果数据通过MySQL发送至对应的所述访问端。

可选地，将所述结果数据通过MySQL发送至对应的所述访问端之前，还包括：

流量控制单元根据当前的网络负载情况，以及所述请求事件类型，分配所述结果数据对应的传输带宽。

本发明的有益效果为：

本发明通过将企业本地数据源库通过公网与云数据库服务器直连，企业用户仅需要通过移动访问端如手机远程访问云数据库服务器，云数据库服务器根据数据访问类型以及相关需求直接调取对应企业客户源数据库单元中的数据并经对应功能模块处理后将处理后的结果数据发送至移动访问端，同时将本次访问过程数据通过对应的客户源数据库单元记录在企业本地数据源库中，进而实现企业本地数据源库与多个访问端的数据同步，降低了企业本地数据源服务器的搭建难度，使得企业的本地数据源服务器即使在数据访问量较大的情况下，依旧可以保持正常运行，降低了对企业本地源系统的性能要求。

其次，本申请在访问数据时，通过解析日志的变更记录，而非日志本身，极大地提高了数据访问速度和效率，进而有效解决现有日志解析同步方案中存在的数据延迟较大和数据漂移的问题。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中所述的数据同步系统中云数据库服务器结构示意图；

图2为本发明实施例中所述的数据同步方法流程示意图；

图3为本发明实施例中所述的数据同步设备结构示意图。

图中标记：800、数据同步设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

如图1所示，本实施提供了一种数据同步系统，包括：

多个本地数据源库，所述本地数据源库设于企业本地；

云数据库服务器，包括多个客户源数据库单元和多个功能服务单元，每个客户源数据库单元对应一个企业，所述本地数据源库中的第一源数据通过公网与所述客户源数据库单元直连，即图1中所示的云隧道服务，所述功能服务单元包括定义事件子单元、监听子单元、触发事件子单元和创建事件消息子单元，具体实现方式为通过API/JOB服务：定义事件，监听事件，触发事件、创建事件消息，接受对应事件消息、事件处理；定义任务描述，发布任务描述、创建并广播任务消息，接受任务消息，执行任务，反馈任务结果；

多个访问端，用于向所述数据库服务器提交数据请求，以使所述数据库服务器调取对应企业的客户源数据库单元中的第一数据，并按照所述数据请求中的需求通过多个功能服务单元对所述第一数据进行处理，并将处理后的第一数据反馈至对应的访问端。

在本实施例中，通过将企业本地数据源库通过公网与云数据库服务器直连，企业用户仅需要通过移动访问端如手机远程访问云数据库服务器，云数据库服务器根据数据访问类型以及相关需求直接调取对应企业客户源数据库单元中的数据并经对应功能模块处理后将处理后的结果数据发送至移动访问端，同时将本次访问过程数据通过对应的客户源数据库单元记录在企业本地数据源库中，进而实现企业本地数据源库与多个访问端的数据同步，降低了企业本地数据源服务器的搭建难度，使得企业的本地数据源服务器即使在数据访问量较大的情况下，依旧可以保持正常运行，降低了对企业本地源系统的性能要求。

其次，所述云数据库服务器还包括多源异构整理模块，所述多源异构整理模块用于统一多个所述客户源数据库单元中的原始数据的格式或类型，具体实现方式可以为GRPC服务：由于数据多源异构，首先需要将其转换为统一的数据类型，拆分—读取—传输—写入，将增量数据通过数据流的方式不断同步到日志交换中心，通知所有订阅了这些消息的服务来获取，即所述多源异构整理模块还用于将增量数据通过数据流的方式不断同步到日志交换中心，同时通知所有订阅了这些消息的访问端；

其次，所述云数据库服务器还包括流量控制单元，用于基于第一数据的内容进行会话识别并通过高速的深层协议分析，识别每一个网络会话所属的应用，并针对预设的预警协议进行拦截或者制定相应的带宽分配策略；所述流量控制单元可以根据当前网络负载智能调节网内的终端带宽分配方式。

实施例2：

如图2所示，本实施例基于实施例1，用于提供一种数据同步方法，适用于云数据库服务器，包括：

步骤S1.通过公网定期拉取多个本地源数据，以使多个所述本地数据源库通过公网与云数据库服务器中的客户源数据库单元保持直连状态；

步骤S2.实时获取访问端发送的数据请求指令，并根据所述数据请求指令识别企业编码和请求事件类型，判定是否创建事件消息，若判定结果为创建事件消息，则根据所述企业编码调取对应客户源数据库单元的源数据，其中，所述调取对应客户源数据库单元的源数据的方式为通过解析客户源数据库单元的日志变更记录；

步骤S3.将所述源数据通过多源异构整理模块调整为预设的统一数据类型，并将调整后的源数据记为第二源数据；

步骤S4.根据所述请求事件类型选择对应的第一功能服务单元，并将其带入所述第一功能服务单元，得到处理后的第二源数据，记为结果数据，并将所述结果数据通过MySQL发送至对应的所述访问端。

其次在步骤S4中，将所述结果数据通过MySQL发送至对应的所述访问端之前，还包括：

步骤S41.流量控制单元根据当前的网络负载情况，以及所述请求事件类型，分配所述结果数据对应的传输带宽。

实施例3：

相应于上面的方法实施例，本实施例中还提供了一种数据同步设备，下文描述的一种数据同步设备与上文描述的一种数据同步方法可相互对应参照。

图3是根据示例性实施例示出的一种数据同步设备800的框图。如图3所示，该数据同步设备800可以包括：处理器801，存储器802。该数据同步设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该数据同步设备800的整体操作，以完成上述的数据同步方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该数据同步设备800的操作，这些数据例如可以包括用于在该数据同步设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该数据同步设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，数据同步设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据同步方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据同步方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由数据同步设备800的处理器801执行以完成上述的数据同步方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种数据同步方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的数据同步方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种数据同步系统，其特征在于，包括：

多个本地数据源库，所述本地数据源库设于企业本地；

云数据库服务器，包括多个客户源数据库单元和多个功能服务单元，每个客户源数据库单元对应一个企业，所述本地数据源库中的第一源数据通过公网与所述客户源数据库单元直连，所述功能服务单元包括定义事件子单元、监听子单元、触发事件子单元和创建事件消息子单元；

多个访问端，用于向所述数据库服务器提交数据请求，以使所述数据库服务器调取对应企业的客户源数据库单元中的第一数据，并按照所述数据请求中的需求通过多个功能服务单元对所述第一数据进行处理，并将处理后的第一数据反馈至对应的访问端。

2.根据权利要求去1所述的数据同步系统，其特征在于，所述云数据库服务器还包括多源异构整理模块，所述多源异构整理模块用于统一多个所述客户源数据库单元中的原始数据的格式或类型。

3.根据权利要求去2所述的数据同步系统，其特征在于，所述多源异构整理模块还用于将增量数据通过数据流的方式不断同步到日志交换中心，同时通知所有订阅了这些消息的访问端。

4.根据权利要求去2所述的数据同步系统，其特征在于，所述云数据库服务器还包括流量控制单元，用于基于第一数据的内容进行会话识别并通过高速的深层协议分析，识别每一个网络会话所属的应用，并针对预设的预警协议进行拦截或者制定相应的带宽分配策略。

5.根据权利要求去4所述的数据同步系统，其特征在于，所述流量控制单元可以根据当前网络负载智能调节网内的终端带宽分配方式。

6.一种数据同步方法，适用于云数据库服务器，其特征在于，包括：

通过公网定期拉取多个本地源数据，以使多个所述本地数据源库通过公网与云数据库服务器中的客户源数据库单元保持直连状态；

实时获取访问端发送的数据请求指令，并根据所述数据请求指令识别企业编码和请求事件类型，判定是否创建事件消息，若判定结果为创建事件消息，则根据所述企业编码调取对应客户源数据库单元的源数据，其中，所述调取对应客户源数据库单元的源数据的方式为通过解析客户源数据库单元的日志变更记录；

将所述源数据通过多源异构整理模块调整为预设的统一数据类型，并将调整后的源数据记为第二源数据；

根据所述请求事件类型选择对应的第一功能服务单元，并将其带入所述第一功能服务单元，得到处理后的第二源数据，记为结果数据，并将所述结果数据通过MySQL发送至对应的所述访问端。

7.根据权利要求6所述的数据同步方法，其特征在于，将所述结果数据通过MySQL发送至对应的所述访问端之前，还包括：

流量控制单元根据当前的网络负载情况，以及所述请求事件类型，分配所述结果数据对应的传输带宽。