CN108121804A - 跨地域分布式存储数据的方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提出一种跨地域分布式存储数据的方法，每启动跨地域节点时，生成序列版本号，序列版本号能够区分不同地域的节点的数据来源，避免多个跨地域节点之间进行数据出现环同步，能够区分同一个节点的两次启动，使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可，实现了多地域写入数据。将数据写入不同的跨地域节点时，记录数据对应的单条更新序列信息，根据序列版本号和单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作，实现了数据的双向配置，保证数据一致性。本发明还提供了跨地域分布式存储数据的装置、终端和计算机可读存储介质。

Description

跨地域分布式存储数据的方法、装置、终端及存储介质

技术领域

本发明涉及分布式存储领域，具体涉及一种跨地域分布式存储数据的方法，还涉及一种跨地域分布式存储数据的装置，一种跨地域分布式存储数据的终端以及一种计算机可读存储介质。

背景技术

随着云计算技术的普及，企业产生的数据量越来越大，需要存储系统能够支持海量数据的高效存取，尤其是跨地域数据的存取。目前，跨地域分布式存储有三种方式：第一种，通过Paxos/Raft等分布式协议将数据写入节点，节点反馈之后，完成数据同步写入，提供了各个节点中数据的强一致性保证，然而，当进行跨地域写入节点时，由于通信时间的延长，跨地域链路不稳定，导致写入延迟，分布式存储数据性能差；第二种，通过转发binlog到跨地域节点，如果遇到节点磁盘损坏的情况，被写入数据的节点无法反馈写入完成的信息给写入数据的节点，导致两个节点之间无法保证数据一致，而且导致重复写入，又因为Binlog是记录写入数据的日志，按顺序记录写入key/value，但是，无法区分写入时来源于本地域还是跨地域，转发时也不做区分，因此无法进行多地域写入，只能对其中的一个节点进行单地域写入，不同地域之间的节点只能单向写入。第三种，通过外部系统如kafka进行跨地域数据传输，再写入本地节点，不仅需要依赖外部系统、消耗额外的资源。

因此，如何实现跨地域分布式存储数据，保证数据一致性，提高分布式存储性能，节省资源，是本领域技术人员急需要解决的技术问题。

发明内容

本发明实施例提供一种跨地域分布式存储数据的方法，一种跨地域分布式存储数据的装置，一种跨地域分布式存储数据的终端以及一种计算机可读存储介质以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种跨地域分布式存储数据的方法，包括：

选择至少一个跨地域节点，每启动被选的所述跨地域节点时，在被选的所述跨地域节点中生成序列版本号；

将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；

根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。

结合第一方面，本发明在第一方面的第一种实施方式中，所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。

结合第一方面，本发明在第一方面的第二实施方式中，所述对多个所述跨地域节点进行数据同步操作，包括：

根据比较结果提取各个所述跨地域节点中的增量数据；

按照所述增量数据对应的最新的所述时间戳，将所述增量数据在各个所述跨地域节点中进行同步更新。

结合第一方面，本发明在第一方面的第三实施方式中，所述跨地域节点包括内存索引装置和内存存储装置，所述对多个所述跨地域节点进行数据同步操作之后，包括：

将同步后的所述数据存储至所述内存存储装置中，以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。

第二方面，本发明实施例提供了一种跨地域分布式存储数据的装置，包括：

序列版本生成模块，用于选择一个或多个跨地域节点，每启动被选的所述跨地域节点时，在所述跨地域节点中生成序列版本号；

序列信息记录模块，用于将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；

数据同步模块，用于根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。

结合第二方面，本发明在第二方面的第一实施方式中，所述数据同步模块包括：

数据比较单元，用于根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致；

数据提取单元，用于若多个跨地域节点中存储的数据不一致，根据比较结果提取各个跨地域节点中的增量数据；

数据同步单元，用于按照增量数据对应的最新的时间戳，将增量数据在各个跨地域节点中进行同步更新。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，跨地域分布式存储数据的终端的结构中包括处理器和存储器，所述存储器用于存储支持跨地域分布式存储数据的装置执行上述第一方面中跨地域分布式存储数据的方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述跨地域分布式存储数据的装置还可以包括通信接口，用于跨地域分布式存储数据的装置与其他设备或通信网络通信。

第三方面，本发明实施例提供了一种计算机可读存储介质，用于存储跨地域分布式存储数据的装置所用的计算机软件指令，其包括用于执行上述第一方面中跨地域分布式存储数据的方法为跨地域分布式存储数据的装置所涉及的程序。

上述技术方案中的一个技术方案具有如下优点或有益效果：本方案中，每启动跨地域节点时，生成序列版本号，序列版本号能够区分不同地域的节点的数据来源，避免多个跨地域节点之间进行数据出现环同步，能够区分同一个节点的两次启动，使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可，实现了多地域写入数据。将数据写入不同的跨地域节点时，记录数据对应的单条更新序列信息，根据序列版本号和单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作，实现了数据的双向配置，保证数据一致性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明实施例提供的一种跨地域分布式存储数据的方法流程图；

图2为本发明实施例提供的一种跨地域分布式存储数据的不同地域节点数据写入示意图；

图3为本发明实施例提供的一种跨地域分布式存储数据的不同地域节点之间的数据同步示意图；

图4为本发明实施例提供的一种跨地域节点的结构示意图；

图5为本发明实施例提供的一种跨地域分布式存储数据的装置示意框图；

图6为本发明实施例提供的一种跨地域分布式存储数据的终端的结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

实施例一

在一种具体的实施方式中，提供了一种跨地域分布式存储数据的方法，如图1所示，包括：

步骤S1：选择至少一个跨地域节点，每启动被选的跨地域节点时，在被选的跨地域节点中生成序列版本号。

其中，如图2所示，如北京、南京、杭州、南昌等地域，选择三个跨地域节点，选择如北京的节点、南京的节点以及杭州的节点，在对选择的上述各个跨地域节点写入海量数据时，如10G的数据，首先将10G的数据分成10份1G 的数据，10份1G的数据依次写入所选的跨地域节点中，每次启动时，跨地域节点中生成一个序列版本号，此次启动后写入的数据中均标识有此序列版本号，例如，当北京的节点启动后，生成序列版本号A1，写入数据X1后，X1能够用序列版本号A1标识，当北京的节点重启后，生成序列版本号A2，写入数据 X2后，X2能够用序列版本号A2标识，当北京的节点第三次重启后，生成序列版本号B1，写入数据Y1后，Y1能够用序列版本号B1标识。由于生成了序列版本号，在多地域写入数据的情况下，写入的数据不易混淆，区分不同地域的节点的数据来源，避免多节点数据出现环形同步，同时，每次启动节点生成的序列版本号能够区分同一个节点的两次启动，这样数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息，实现了多地域写入数据。

步骤S2：将数据写入被选的跨地域节点时，记录数据对应的单条更新序列信息。

其中，在对被选的跨地域节点写入一系列数据时，除了首先生成这一系列数据的标识序列版本号之外，依次写入每一条数据时，记录每一条数据对应的单条更新序列信息，单条更新序列信息通常包括时间戳、原子递增变量以及数据键值。单条更新序列信息相当于每条数据的ID，例如，在北京的节点中写入一数据，可用Ver:A1SerID:时间戳+原子递增变量+数据键值标识，序列版本号是为了区分不同地域的数据，时间戳是秒级的，若在不同的跨地域节点中同时写入数据时，时间戳相同，不同时间写入数据时，时间戳不同，由于时间戳存在重复，所以额外增加原子递增变量加以区分，标示写入的顺序，数据键值表示写入的数据本身。

步骤S3：根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作。

如图3所示，检测到北京的节点A中的数据简写为Ver:A1SerID:100(时间戳)、Ver:A2SerID:50(时间戳)和Ver:B1SerID:90(时间戳)，南京的节点B 中的数据Ver:A1SerID:80(时间戳)和Ver:B1SerID:120(时间戳)，比较后节点A和节点B中的写入的数据不一致，因此，将北京的节点A中的数据Ver:A1 SerID:100(时间戳)和Ver:A2SerID:50(时间戳)同步至南京的节点B中，覆盖Ver:A1SerID:80(时间戳)，将南京的节点B中的Ver:B1SerID:120(时间戳) 同步至北京的节点A中，覆盖Ver:B1SerID:90(时间戳)，使得两边的数据均包括了数据Ver:A1SerID:100(时间戳)、Ver:A2SerID:50(时间戳)和Ver:B1 SerID:120(时间戳)，进而实现了数据的双向配置。

在上述跨地域分布式存储数据的方法的基础上，单条更新序列信息包括时间戳、原子递增变量以及数据键值。

其中，单条更新序列信息相当于每条数据的ID，时间戳是秒级的，若在不同的跨地域节点中同时写入数据时，时间戳相同，不同时间写入数据时，时间戳不同，由于时间戳存在重复，所以额外增加原子递增变量加以区分，标示写入的顺序，数据键值表示写入的数据本身。

在上述跨地域分布式存储数据的方法的基础上，对多个所述跨地域节点进行数据同步操作，包括：

根据比较结果提取各个跨地域节点中的增量数据；

按照增量数据对应的最新的所述时间戳，将增量数据在各个所述跨地域节点中进行同步更新。

其中，如图3所示，增量数据是指北京的节点A和南京的节点B中没有重合的数据，提取北京的节点A中的数据Ver:A1SerID:100(时间戳)和南京的节点B中的数据Ver:A1SerID:80(时间戳)作为一组增量数据，提取北京的节点A中的数据Ver:B1SerID:90(时间戳)和南京的节点B中的Ver:B1SerID:120 (时间戳)为一组增量数据，提取北京的节点A中的数据Ver:A2SerID:50(时间戳)作为增量数据，同一序列版本的一组增量数据，按照最新的时间戳进行同步，具体的，把北京的节点A生成的差集Ver:A1SerID:81-100，同步至南京的节点B，得节点B中数据Ver:A1SerID:80更新为Ver:A1SerID:100，将北京的节点A生成的差集Ver:A2SerID:0-50，同步至南京的节点B中，将南京的节点B生成的差集Ver:B1SerID:91-120同步至北京的节点A中，使得节点A中的Ver:B1SerID:90更新为Ver:B1SerID:120，最终两个节点达成一致，实现了双向可配的同步。

在上述跨地域分布式存储数据的方法的基础上，跨地域节点包括内存索引装置101和内存存储装置103，对多个所述跨地域节点进行数据同步操作之后，包括：

将同步后的数据存储至内存存储装置103中，以允许通过内存索引装置101 对内存存储装置101中的数据进行检索。

其中，如图4所示，跨地域节点包括内存索引装置101和内存存储装置103，以及持久存储装置102，如磁盘等，当在跨地域节点中写入一条数据时，在内存存储装置103中记录一条由序列版本号和单条更新序列信息组成的数据标识，同时更新内存索引装置101，当内存存储装置103中装满了数据，将内存存储装置103中的数据迁移到持久化存储装置102中，并更新内存索引装置 101。

实施例二

在另一种具体的实施方式中，提供了一种跨地域分布式存储数据的装置，如图5所示，包括：

序列版本生成模块100，用于在多地域节点库中，选择至少一个跨地域节点，每启动被选的跨地域节点时，在被选的跨地域节点中生成序列版本号；

序列信息记录模块200，用于将数据写入被选的跨地域节点时，记录数据对应的单条更新序列信息；

数据同步模块300，用于根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作。

进一步，在上述跨地域分布式存储数据的装置中，数据同步模块300包括：

数据比较单元，用于根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致；

数据提取单元，用于若多个跨地域节点中存储的数据不一致，根据比较结果提取各个跨地域节点中的增量数据；

数据同步单元，用于按照增量数据对应的最新的时间戳，将增量数据在各个跨地域节点中进行同步更新。

实施例三

在另一种具体实施方式中，提供了一种智能问答终端，如图6所示，包括：

存储器32和处理器31，存储器32内存储有可在处理器31上运行的计算机程序。处理器31执行所述计算机程序时实现上述实施例中的智能问答方法。存储器32和处理器31的数量可以为一个或多个。

通信接口33，用于存储器32和处理器31与外部进行通信。

存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器 (non-volatile memory)，例如至少一个磁盘存储器。

如果存储器32、处理器31和通信接口33独立实现，则存储器32、处理器 31和通信接口33可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器32、处理器31及通信接口33集成在一块芯片上，则存储器32、处理器31及通信接口33可以通过内部接口完成相互间的通信。

实施例四

一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如上述任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统) 使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

本发明实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种跨地域分布式存储数据的方法，其特征在于，包括：

选择至少一个跨地域节点，每启动被选的所述跨地域节点时，在被选的所述跨地域节点中生成序列版本号；

将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；

根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。

2.如权利要求1所述的跨地域分布式存储数据的方法，其特征在于，所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。

3.如权利要求2所述的跨地域分布式存储数据的方法，其特征在于，所述对多个所述跨地域节点进行数据同步操作，包括：

根据比较结果提取各个所述跨地域节点中的增量数据；

按照所述增量数据对应的最新的所述时间戳，将所述增量数据在各个所述跨地域节点中进行同步更新。

4.如权利要求2所述的跨地域分布式存储数据的方法，其特征在于，所述跨地域节点包括内存索引装置和内存存储装置，所述对多个所述跨地域节点进行数据同步操作之后，包括：

将同步后的所述数据存储至所述内存存储装置中，以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。

5.一种跨地域分布式存储数据的装置，其特征在于，包括：

序列版本生成模块，用于选择一个或多个跨地域节点，每启动被选的所述跨地域节点时，在所述跨地域节点中生成序列版本号；

序列信息记录模块，用于将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；

数据同步模块，用于根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。

6.如权利要求5所述的跨地域分布式存储数据的装置，其特征在于，所述数据同步模块包括：

数据比较单元，用于根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致；

数据提取单元，用于若多个跨地域节点中存储的数据不一致，根据比较结果提取各个跨地域节点中的增量数据；

数据同步单元，用于按照增量数据对应的最新的时间戳，将增量数据在各个跨地域节点中进行同步更新。

7.一种跨地域分布式存储数据的终端，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

8.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。