CN115826881A - 数据一致性保障方法及系统、存储介质、电子设备 - Google Patents

Abstract

本申请属于计算机存储技术领域，公开了数据一致性保障方法及系统、存储介质、电子设备，所述方法利用两个写入区间seg0和seg1，依靠head区记录seg0和seg1中的版本号seq值来判定写入，从而覆盖旧数据，保留新数据，从而达到至少有一份完整数据的目的。因此，本公开实施例能够让数据在写入和读取时保证数据一致性。

Description

数据一致性保障方法及系统、存储介质、电子设备

技术领域

本申请属于计算机存储技术领域，涉及一种数据一致性保障方法及系统、存储介质、电子设备。

背景技术

在存储系统中，数据存储在内存当中，有可能会因为程序关闭或其他原因导致内存被回收而丢失的数据。这对于一些关键性的数据信息来说是不能容忍的。数据持久化就是指将那些内存中的瞬时数据保存到存储设备中，保证即使在电脑或手机在关闭状态，这些数据仍然不会消失。保存在内存中的数据是处于瞬时状态的，而保存在存储设备中的数据是持久状态的。持久化技术则是提供了一种机制可以让数据在瞬时状态和持久状态之间转换。

现有技术中公开了面向SQLite数据库的非易失性内存缓冲区设计方法

，所述方法通过在一个非易失性内存的拷贝SQLite-CC缓冲区中维护两份相同的数据，同时引入分配全局时间戳的事务管理器CC-manager，并加入修改页面索引Updated-pages index，使事务执行有序性、原子性和持久化特性得到提升并发，并通过写后属性修改页的索引文件，确保非易失性内存与磁盘中数据库文件之间的一致性。

虽然现有技术也能实现在拷贝数据过程中保持数据持久化，但在数据写入的过程中增加了事务管理器和页面索引。这样，通过文件索引和管理方式极大增加了数据处理的负担。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

为了解决相关技术中存在的问题，本公开实施例提供了数据一致性保障方法及系统、存储介质、电子设备，用以解决现有技术中的数据在写入和读取的过程中，保证数据持久化而导致数据处理过于复杂的问题。

第一方面，在一些实施例中，提供了一种数据一致性保障方法，所述方法包括：

准备阶段：将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；将磁盘head0进行初始化；将磁盘head0在内存中保存一份，作为headA；

写入阶段：将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；判断依次写入的对应seg0和seg1直至写完，若成功则继续；把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入；

读取阶段：在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

优选的，所述方法还包括：在写入阶段，在把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA为失败的情况下，则将磁盘head0在内存中保存一份，作为headA。

第二方面，在一些实施例中，公开了一种数据一致性保障系统，包括：

准备阶段模块，被配置为将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；将磁盘head0进行初始化；将磁盘head0在内存中保存一份，作为headA；

写入阶段模块，被配置为将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；判断依次写入的对应seg0和seg1直至写完，若成功则继续；把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入；

读取阶段模块，被配置为在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

第三方面，在一些实施例中，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上述的数据一致性保障方法。

第四方面，在一些实施例中，公开了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行如上述的数据一致性保障方法。

本公开实施例提供的一种数据一致性保障方法及系统、存储介质、电子设备，可以实现以下技术效果：

本公开实施例公开了数据一致性保障方法及系统、存储介质、电子设备，所述方法利用两个写入区间seg0和seg1，依靠head区记录seg0和seg1中的版本号seq值来判定写入，从而覆盖旧数据，保留新数据，从而达到至少有一份完整数据的目的。因此，本公开实施例能够让数据在写入和读取时保证数据一致性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一种数据一致性保障方法的流程图；

图2-1是本公开实施例提供的一种head和seg对应关系示意图；

图2-2是本公开实施例提供的一种数据写入的示意图；

图3是本公开实施例提供的一种数据一致性保障系统的示意图；

图4是本公开实施例提供的一种数据一致性保障电子设备示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和系统可以简化展示。

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法或者电子设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

在存储系统中，数据存储在内存当中，有可能会因为程序关闭或其他原因导致内存被回收而丢失的数据。这对于一些关键性的数据信息来说是不能容忍的。数据持久化就是指将那些内存中的瞬时数据保存到存储设备中，保证即使在电脑或手机在关闭状态，这些数据仍然不会消失。保存在内存中的数据是处于瞬时状态的，而保存在存储设备中的数据是持久状态的。持久化技术则是提供了一种机制可以让数据在瞬时状态和持久状态之间转换。

虽然现有技术也能实现在拷贝数据过程中保持数据持久化，但在数据写入的过程中过多的数据管理操作。这样，极大增加了数据处理的负担。

为了解决相关技术中存在的问题，本公开实施例提供了数据一致性保障方法及系统、存储介质、电子设备，用以解决现有技术中的数据在写入的过程中，为了解决保证数据持久化而导致数据处理过于复杂的问题。

图1所示，为本公开实施例提供一种数据一致性保障方法的流程图。

本公开实施例提供一种数据一致性保障方法，应用于负载服务器，包括：

准备阶段：将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；将磁盘head0进行初始化；将磁盘head0在内存中保存一份，作为headA。

参见图2-1，为本公开实施例中一种head和seg对应关系示意图。

应理解，磁盘原子写入操作的最小单位，超过这个单位大小的写入就有可能会中断，导致前后的数据不一致。磁盘原子单位是由磁盘决定的，目前常见的有512和4K两种。整个head区大小需要限制在磁盘的原子单位内。另一方面，根据程序需求来设定为数据写入的页大小，根据程序需要保证的原子数据大小来决定。举例，页的大小可以是4K或者4M。因此，在持久化的过程中需要一个机制来保证数据写入原子性。Seq也通常叫version或版本号。seg0和seg1为data区域。本公开实施例中的所有head均记录seg0和seg1中的seq。本方法的目的是不能读取或者写入一半的数据，最后获取的是完整的新数据或者是没更新前的旧数据，不要让读取或者写入的数据处于中间状态。

写入阶段：将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；判断依次写入的对应seg0和seg1直至写完，若成功则继续；把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入。

应理解，首先将headA复制出来作为headB。此时，headB、headA和head0中的seg0和seg1的seq一样。然后，随着seg0和seg1的数据不断写入，seg0和seg1的seq值不断更新。这时，headB是唯一更新seq的head，headA和head0并不更新。需要说明的是，seq值的更新是在seg区完整写入一页后，而不是在seg区的写入的开始或者过程中。另外，较小的seq对应的seg，在更新后，等于较大的seq对应的seg加1。这样，保证了每一次写入数据时能够交替写入seg0和seg1。在实际应用中，每一seg的seq看上每一次更新增加2。参见图2-2，为本公开实施例的一种数据写入的示意图。其中，在headB中，seg0中的每2页起始均为1，更新后为3。另外，若在数据写入seg0和seg1的失败的情况下，则结束。

在seg完整写入成功后，更新后的headB写入复制替代head0和headA。此时，head0和headA均有更新后的seq。

若更新后的headB写入复制替代head0和headA在失败的情况下，则将磁盘head0在内存中保存一份，作为headA。

应理解，要保证内存中的head和磁盘上的head数据一致，否则会出现数据不正确的情况。所以需重新从磁盘加载到内存中。

读取阶段：在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

应理解，写入的时候选择的较小的seq,可能会写入失败，数据并不完整。读取只能选择最大的seq读取，才能读到最新的正确数据。

图3示出了根据本发明实施例提供的数据一致性保障方法系统，该系统包括：

准备阶段模块，被配置为将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；将磁盘head0进行初始化；将磁盘head0在内存中保存一份，作为headA；

写入阶段模块，被配置为将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；判断依次写入的对应seg0和seg1直至写完，若成功则继续；把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入；

读取阶段模块，被配置为在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

结合图4所示，本公开实施例提供数据一致性保障的电子设备，包括处理器（processor）60和存储器（memory）61。可选地，该电子设备还可以包括通信接口（Communication Interface）62和总线63。其中，处理器60、通信接口62、存储器61可以通过总线63完成相互间的通信。通信接口62可以用于信息传输。处理器60可以调用存储器61中的逻辑指令，以执行上述数据一致性保障方法。

本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于数据一致性保障方法。

上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。非暂态存储介质，包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

综上，本公开实施例公开了数据一致性保障方法及系统、存储介质、电子设备，所述方法利用两个写入区间seg0和seg1，依靠head区记录seg0和seg1中的版本号seq值来判定写入，从而覆盖旧数据，保留新数据，从而达到至少有一份完整数据的目的。因此，本公开实施例能够让数据在写入和读取时保证数据一致性。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的匹配。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者电子设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的匹配，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的匹配来实现。

Claims (5)

1.一种数据一致性保障方法，其特征在于，所述方法包括：

准备阶段：将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；

将磁盘head0进行初始化；

将磁盘head0在内存中保存一份，作为headA；

写入阶段：将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；

在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；

判断依次写入的对应seg0和seg1直至写完，若成功则继续；

把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入；

读取阶段：在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

2.根据权利要求1中的一种数据一致性保障方法，其特征在于，所述方法还包括：

在写入阶段，在把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA为失败的情况下，则将磁盘head0在内存中保存一份，作为headA。

3.一种数据一致性保障系统，其特征在于，所述系统包括：

准备阶段模块，被配置为将磁盘分成三个区域，包括磁盘head0、seg0和seg1；其中，seg0和seg1用于分页保存数据，head保存两组seg每个页所对应的seq；所述seq为向上自增的变量，用来判断数据的新旧，需要保证head大小在磁盘的原子写入大小内；将磁盘head0进行初始化；将磁盘head0在内存中保存一份，作为headA；

写入阶段模块，被配置为将headA在内存复制出来一份，作为headB，headB用于seq的更新使用；在headB中找到写入的页对应的seq，通过比较seq的大小，写入较小的seq对应的seg，并更新复制出来的headB中对应页seq为较大的seq再往上加1；判断依次写入的对应seg0和seg1直至写完，若成功则继续；把更新后的headB写入磁盘替代head0，并复制回原始内存替代headA，并判断能否成功，若成功则结束写入；

读取阶段模块，被配置为在headA中记录的页对应的seq，找到较大的seq对应的seg，从较大的seq对应的seg中读取数据，直至数据完全读取。

4.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1至2中任一项所述的方法。

5.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1至2中任一项所述的方法。

Images