CN112988899A - 一种追加数据同步方法、系统、存储介质及设备 - Google Patents

Abstract

本发明提供了一种追加数据同步方法、系统、存储介质及设备，方法包括：响应于主数据中心接收到追加数据请求，识别可追加类型对象；响应于识别到可追加类型对象，将追加数据请求对应的追加数据续接至可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；将追加数据的数据长度信息记录到可追加类型对象的头部且记录到同步日志中；通过从数据中心获取并解析同步日志，确认解析出的对象是否为可追加类型对象；响应于解析出的对象为可追加类型对象，读取数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。本发明提高了数据同步效率。

Description

一种追加数据同步方法、系统、存储介质及设备

技术领域

本发明涉及数据同步技术领域，尤其涉及一种追加数据同步方法、系统、存储介质及设备。

背景技术

当前的分布式对象存储系统中，当配置多数据中心后，在进行数据自动同步时，一个数据中心的可追加类型对象在同步到另一个数据中心后，虽然仍然保留可追加类型属性，但是当对源数据中心(即主数据中心)的可追加类型对象再次追加数据后，并不是只将本次追加部分的数据同步到目的数据中心(即从数据中心)相应可追加类型对象的后面，而是将源数据中心可追加类型对象整体再次同步到目的数据中心，然后覆盖掉目的数据中心原先的可追加类型对象，以此来达到主从数据中心的数据一致性。

目前针对可追加类型对象的数据同步技术，严重降低了此类对象的数据同步效率，增加了流量开支，占用了传输带宽。

发明内容

有鉴于此，本发明的目的在于提出一种追加数据同步方法、系统、存储介质及设备，用以解决现有技术中当对主数据中心的可追加类型对象追加数据后，需要将可追加类型对象整体同步到从数据中心，导致同步效率低下的问题。

基于上述目的，本发明提供了一种追加数据同步方法，包括如下步骤：

响应于主数据中心接收到追加数据请求，识别可追加类型对象；

响应于主数据中心识别到可追加类型对象，通过主数据中心将追加数据请求对应的追加数据续接至可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；

通过主数据中心将追加数据的数据长度信息记录到可追加类型对象的头部，并将数据长度信息记录到同步日志中；

通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象；

响应于解析出的对象为可追加类型对象，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

在一些实施例中，将续接操作的相关信息记录到同步日志包括：将可追加类型对象的扩展属性记录到同步日志。

在一些实施例中，通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象包括：通过从数据中心获取到同步日志并对其进行解析以确定发生数据变化的对象，并将解析出的对象的扩展属性与可追加类型对象的扩展属性进行比对，基于比对结果确认解析出的对象是否为可追加类型对象。

在一些实施例中，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部包括：通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，将截取的数据存放到从数据中心的数据池后执行上传流程，以使得截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

在一些实施例中，方法还包括：响应于解析出的对象不是可追加类型对象，直接将主数据中心的与解析出的对象相映射的对象整体上传到从数据中心。

在一些实施例中，将数据长度信息记录到同步日志中包括：将数据长度信息记录到同步日志中，并将同步日志发送到从数据中心。

在一些实施例中，将同步日志发送到从数据中心包括：将同步日志与续接操作完成的通知一并发送到从数据中心。

本发明的另一方面，还提供了一种追加数据同步系统，包括：

对象识别模块，配置用于响应于主数据中心接收到追加数据请求，识别可追加类型对象；

追加数据续接模块，配置用于响应于主数据中心识别到可追加类型对象，通过主数据中心将追加数据请求对应的追加数据续接至可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；

同步日志记录模块，配置用于通过主数据中心将追加数据的数据长度信息记录到可追加类型对象的头部，并将数据长度信息记录到同步日志中；

解析模块，配置用于通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象；以及

追加数据同步模块，配置用于响应于解析出的对象为可追加类型对象，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

1.本发明通过将主数据中心的追加数据同步到从数据中心，并续接到相应可追加类型对象的后面，从而达到主数据中心和从数据中心的数据一致的目的；有效解决了当前分布式系统中可追加类型对象每次数据同步都将主数据中心的对象整体同步到从数据中心并覆盖原有对象的问题，使得主从数据中心都可以继续接收客户端发出的追加上传请求；

2.本发明的追加数据同步的方式，提高了可追加类型对象的数据同步效率，大大减少了不必要的带宽占用，给用户带来了良好的体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的追加数据同步方法的示意图；

图2为根据本发明实施例提供的主数据中心的主要操作流程示意图；

图3为根据本发明实施例提供的从数据中心的主要操作流程示意图；

图4为根据本发明实施例提供的追加数据同步系统的示意图；

图5为本发明提供的执行追加数据同步方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种追加数据同步方法的实施例。图1示出的是本发明提供的追加数据同步方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、响应于主数据中心接收到追加数据请求，识别可追加类型对象；

步骤S20、响应于主数据中心识别到可追加类型对象，通过主数据中心将追加数据请求对应的追加数据续接至可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；

步骤S30、通过主数据中心将追加数据的数据长度信息记录到可追加类型对象的头部，并将数据长度信息记录到同步日志中；

步骤S40、通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象；

步骤S50、响应于解析出的对象为可追加类型对象，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

本发明实施例中，可追加类型对象是指可以往尾部续接数据的对象。由于追加数据是续接至可追加类型对象的尾部，为了方便追踪该追加数据的数据长度信息，将该数据长度信息记录到可追加类型对象的头部，以便于直接获取对应的数据长度信息；之后再将该数据长度信息记录到同步日志中，提高了记录的效率。

通过本发明实施例，可以保证可追加类型对象以增量的形式同步到从数据中心，将增量数据(即追加数据)与从数据中心的映射对象组成一个完整的对象，并可以继续接收客户端发出的追加上传请求；并且提高了可追加类型对象的数据同步效率，大大减少了不必要的带宽占用，给用户带来了良好的体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。

在一些实施例中，将续接操作的相关信息记录到同步日志包括：将可追加类型对象的扩展属性记录到同步日志。在一些实施例中，通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象包括：通过从数据中心获取到同步日志并对其进行解析以确定发生数据变化的对象，并将解析出的对象的扩展属性与可追加类型对象的扩展属性进行比对，基于比对结果确认解析出的对象是否为可追加类型对象。本实施例中，通过将可追加类型对象的扩展属性记录到同步日志，使得从数据中心对同步日志进行解析后可以直接确认解析出的对象的扩展属性，提高了确认效率；可追加类型对象的扩展属性具有唯一性，因而保证了对象确认的可靠性。

在一些实施例中，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部包括：通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，将截取的数据存放到从数据中心的数据池后执行上传流程，以使得截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

在一些实施例中，方法还包括：响应于解析出的对象不是可追加类型对象，直接将主数据中心的与解析出的对象相映射的对象整体上传到从数据中心。本实施例中，当解析出的对象不是可追加类型对象时，便直接将与其映射的主数据中心的对象存放到从数据中心的数据池中，然后执行上传流程。

在一些实施例中，将数据长度信息记录到同步日志中包括：将数据长度信息记录到同步日志中，并将同步日志发送到从数据中心。在一些实施例中，将同步日志发送到从数据中心包括：将同步日志与续接操作完成的通知一并发送到从数据中心。

图2示出了主数据中心的主要操作流程示意图。如图2所示，S101、主数据中心处理完用户发出的追加数据请求后，会将用户本次发出的追加数据续接到存储系统中目标可追加类型对象的尾部，从而组成一个完整的对象；S102、主数据中心将本次追加的数据长度写入当前可追加类型对象的头部，同时将本次续接操作的相关信息记录到同步日志，该相关信息包括可追加类型对象的扩展属性；S103、主数据中心在追加数据请求处理完成后，通知从数据中心，并携带同步日志信息。

图3示出了从数据中心的主要操作流程示意图。如图3所示，S201、从数据中心收到通知后，根据通知中携带的同步日志信息解析出发生数据变化的对象，并将解析出的对象的扩展属性与可追加类型对象的扩展属性进行比对；S202、判断解析出的对象是否为可追加类型对象；S203、若解析出的对象为可追加类型对象，读取可追加类型对象的数据长度，并从主数据中心的可追加类型对象的尾部截取该数据长度的数据并拉取到从数据中心的数据池中；S204、将拉取的数据执行可追加类型对象的上传流程，从而将该部分数据追加到从数据中心相应的映射对象的尾部，组成一个完整的对象；S205、若解析出的对象为普通对象，则将主数据中心的相应对象整体拉取到从数据中心的数据池中，然后执行普通对象的上传流程。

本发明实施例的第二个方面，还提供了一种追加数据同步系统。图4示出的是本发明提供的追加数据同步系统的实施例的示意图。一种追加数据同步系统包括：对象识别模块10，配置用于响应于主数据中心接收到追加数据请求，识别可追加类型对象；追加数据续接模块20，配置用于响应于主数据中心识别到可追加类型对象，通过主数据中心将追加数据请求对应的追加数据续接至可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；同步日志记录模块30，配置用于通过主数据中心将追加数据的数据长度信息记录到可追加类型对象的头部，并将数据长度信息记录到同步日志中；解析模块40，配置用于通过从数据中心获取并解析同步日志，并基于解析结果确认解析出的对象是否为可追加类型对象；以及追加数据同步模块50，配置用于响应于解析出的对象为可追加类型对象，通过从数据中心读取同步日志中的数据长度信息并从主数据中心的可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至从数据中心的与可追加类型对象映射的映射对象的尾部。

本发明实施例的追加数据同步系统，通过将主数据中心的追加数据同步到从数据中心，并续接到相应可追加类型对象的后面，从而达到主数据中心和从数据中心的数据一致的目的；有效解决了当前分布式系统中可追加类型对象每次数据同步都将主数据中心的对象整体同步到从数据中心并覆盖原有对象的问题，使得主从数据中心都可以继续接收客户端发出的追加上传请求；提高了可追加类型对象的数据同步效率，大大减少了不必要的带宽占用，给用户带来了良好的体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。

本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的追加数据同步方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的追加数据同步系统和存储介质。也就是说，上面所述的应用于追加数据同步方法的所有实施例及其变化都可以直接移转应用于根据本发明的系统和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例方法。

如图5所示，为本发明提供的执行追加数据同步方法的计算机设备的一个实施例的硬件结构示意图。以如图5所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图5中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与追加数据同步系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的追加数据同步方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种追加数据同步方法，其特征在于，包括以下步骤：

响应于主数据中心接收到追加数据请求，识别可追加类型对象；

响应于所述主数据中心识别到所述可追加类型对象，通过所述主数据中心将所述追加数据请求对应的追加数据续接至所述可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；

通过所述主数据中心将所述追加数据的数据长度信息记录到所述可追加类型对象的头部，并将所述数据长度信息记录到所述同步日志中；

通过从数据中心获取并解析所述同步日志，并基于解析结果确认解析出的对象是否为所述可追加类型对象；

响应于解析出的对象为所述可追加类型对象，通过所述从数据中心读取所述同步日志中的所述数据长度信息并从所述主数据中心的所述可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至所述从数据中心的与所述可追加类型对象映射的映射对象的尾部。

2.根据权利要求1所述的方法，其特征在于，将续接操作的相关信息记录到同步日志包括：

将所述可追加类型对象的扩展属性记录到同步日志。

3.根据权利要求2所述的方法，其特征在于，通过从数据中心获取并解析所述同步日志，并基于解析结果确认解析出的对象是否为所述可追加类型对象包括：

通过从数据中心获取到所述同步日志并对其进行解析以确定发生数据变化的对象，并将解析出的对象的扩展属性与所述可追加类型对象的扩展属性进行比对，基于比对结果确认解析出的对象是否为所述可追加类型对象。

4.根据权利要求1所述的方法，其特征在于，通过所述从数据中心读取所述同步日志中的所述数据长度信息并从所述主数据中心的所述可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至所述从数据中心的与所述可追加类型对象映射的映射对象的尾部包括：

通过所述从数据中心读取所述同步日志中的所述数据长度信息并从所述主数据中心的所述可追加类型对象的尾部截取相应长度的数据，将截取的数据存放到所述从数据中心的数据池后执行上传流程，以使得截取的数据续接至所述从数据中心的与所述可追加类型对象映射的映射对象的尾部。

5.根据权利要求1所述的方法，其特征在于，还包括：

响应于解析出的对象不是所述可追加类型对象，直接将所述主数据中心的与解析出的对象相映射的对象整体上传到所述从数据中心。

6.根据权利要求1所述的方法，其特征在于，将所述数据长度信息记录到所述同步日志中包括：

将所述数据长度信息记录到所述同步日志中，并将所述同步日志发送到所述从数据中心。

7.根据权利要求6所述的方法，其特征在于，将所述同步日志发送到所述从数据中心包括：

将所述同步日志与所述续接操作完成的通知一并发送到所述从数据中心。

8.一种追加数据同步系统，其特征在于，包括：

对象识别模块，配置用于响应于主数据中心接收到追加数据请求，识别可追加类型对象；

追加数据续接模块，配置用于响应于所述主数据中心识别到所述可追加类型对象，通过所述主数据中心将所述追加数据请求对应的追加数据续接至所述可追加类型对象的尾部，并将续接操作的相关信息记录到同步日志；

同步日志记录模块，配置用于通过所述主数据中心将所述追加数据的数据长度信息记录到所述可追加类型对象的头部，并将所述数据长度信息记录到所述同步日志中；

解析模块，配置用于通过从数据中心获取并解析所述同步日志，并基于解析结果确认解析出的对象是否为所述可追加类型对象；以及

追加数据同步模块，配置用于响应于解析出的对象为所述可追加类型对象，通过所述从数据中心读取所述同步日志中的所述数据长度信息并从所述主数据中心的所述可追加类型对象的尾部截取相应长度的数据，且将截取的数据续接至所述从数据中心的与所述可追加类型对象映射的映射对象的尾部。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。

Images