CN108234465A - 一种分布式文件系统中应对异常的冗余方法和装置 - Google Patents

一种分布式文件系统中应对异常的冗余方法和装置 Download PDF

Info

Publication number
CN108234465A
CN108234465A CN201711427828.5A CN201711427828A CN108234465A CN 108234465 A CN108234465 A CN 108234465A CN 201711427828 A CN201711427828 A CN 201711427828A CN 108234465 A CN108234465 A CN 108234465A
Authority
CN
China
Prior art keywords
data
written
server
writing
local cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711427828.5A
Other languages
English (en)
Other versions
CN108234465B (zh
Inventor
陈连武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation And Technology Storage Technology Co Ltd
Original Assignee
Innovation And Technology Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation And Technology Storage Technology Co Ltd filed Critical Innovation And Technology Storage Technology Co Ltd
Priority to CN201711427828.5A priority Critical patent/CN108234465B/zh
Publication of CN108234465A publication Critical patent/CN108234465A/zh
Application granted granted Critical
Publication of CN108234465B publication Critical patent/CN108234465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供了一种分布式文件系统中应对异常的冗余方法和装置，分布式文件系统包括位于不同物理主机的客户端和服务器；该方法应用于客户端，包括：当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。

Description

一种分布式文件系统中应对异常的冗余方法和装置
技术领域
本发明涉及分布式存储技术领域，特别涉及一种分布式文件系统中应对异常的冗余方法和装置。
背景技术
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。
分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。
现有实现中，分布式文件系统的设计是基于客户机/服务器模式，在客户端和服务端分离情况下，服务端异常崩溃会造成服务器的数据丢失。
发明内容
有鉴于此，本发明的目的在于提供一种分布式文件系统中应对异常的冗余方法和装置，能够避免服务端异常导致的数据丢失。
为了达到上述目的，本发明提供了如下技术方案：
一种分布式文件系统中应对异常的冗余方法，所述分布式文件系统包括位于不同物理主机的客户端和服务器；该方法应用于客户端，包括：
当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；
当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
一种分布式文件系统中应对异常的冗余装置，所述分布式文件系统包括位于不同物理主机的客户端和服务器；该装置应用于客户端，包括：检测单元、处理单元、恢复单元；
所述检测单元，用于检测服务端是否正常；
所述处理单元，用于当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；用于当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
所述恢复单元，用于当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
由上面的技术方案可知，本发明中，在客户端需要写入数据到服务端时，无论服务端是否异常，均将待写入数据在本地存储一份作为备份，从而当服务端异常并恢复后，可以将本地存储的所有待写入数据重新写回服务端，以避免服务器异常导致的数据丢失。
附图说明
图1是本发明实施例分布式文件系统中应对异常的冗余方法流程图；
图2是本发明实施例分布式文件系统中应对异常的冗余装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。
参见图1，图1是本发明实施例分布式文件系统中应对异常的冗余方法流程图，本发明实施例中的分布式文件系统包括位于不同物理主机的客户端和服务器；该方法应用于客户端，具体包括以下步骤：
步骤101、当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；
步骤102、当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
步骤103、当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
本发明实施例中，检测或判断服务端是否正常有两种实现方式：
第一种是通过判断客户端与服务器之间的连接是否断开实现。这种方式可以利用客户端和服务端的心跳报文实现，具体地，如果客户端在预定时间内接收到服务端的心跳报文，则确定客户端与服务端之间的连接正常，此时可以确定服务端正常；如果客户端在预定时间内未接收到服务端的心跳报文，则确定客户端与服务端之间的连接断开，此时可以确定服务端异常。
第二种是通过客户端向服务端写入数据成功与否进行判断。如果客户端向服务器端写入数据成功，则可以确定服务端正常，如果客户端向服务端写入数据失败，则确定服务端异常。在客户端向服务端写入数据时，即可使用该方式进行判断。
利用以上两种方式中任一方式判断服务端异常时，均确定服务端异常，也即无论是检测到客户端与服务器之间的连接断开，还是客户端向服务端写入数据失败，均认为服务端异常。
本发明实施例中，在本地保存待写入数据时，既可以是存储到本地内存中，也可以存储到本地的非易失存储介质中，也即步骤101-103中提到的本地缓存可以为客户端的本地内存或本地非易失存储介质。需要注意的是，当所述本地缓存为客户端的本地内存时，如果服务端异常，则可以将本地内存中缓存的所有待写入数据写入本地非易失存储介质，从而避免服务端异常时待写入数据继续占用本地内存。
在服务端正常的情况下，客户端可以将数据成功写入服务端，因此不需要在本地缓存写入过多的待写入数据。为此，在服务端正常的情况下，客户端可以对本地缓存的所有待写入数据进行淘汰，淘汰策略有以下两种：
第一种：本地缓存的待写入数据量过多时，删除最先写入本地缓存的待写入数据，具体实现为：当本地缓存中的待写入数据量超出预设缓存区域上限时，将最先写入本地缓存的待写入数据从本地缓存中删除。
第二种：待写入数据写入本地缓存的时间超过一定时间阈值时，删除该待写入数据，具体实现中，在将待写入数据写入本地缓存时，还进一步记录该待写入数据的写入时间，这样当本地缓存中的任一待写入数据的写入时间超过预设的缓存时间上限时，将该待写入数据从本地缓存中删除。
在服务端异常的情况下，客户端无法将数据成功写入服务端，为了保证数据不丢失，不可以删除在本地缓存写入的任何待写入数据。为此，在服务端异常的情况下，对于任何需要写入服务端的待写入数据，客户端均将其写入本地缓存，且不对本地缓存中的待写入数据进行淘汰。
但是，在实际应用中，客户端中可以存储一段时间内的待写入数据，如果服务端长期处于异常状态，则客户端中一直增量存储需写入服务端的待写入数据是不合理的，因此，用户还可以选择设定一个异常时间阈值，如果服务器异常持续时间超过该异常时间阈值，则客户端在有新的待写入数据需要写入服务端时，可以输出告警信息，以此提示用户不应继续向该服务端写入数据。
在本发明实施例中，当服务端异常恢复后，客户端可以将本地缓存中的所有待写入数据回写到服务端，根据不同的数据类型，可以采用不同的回写方式，例如针对视频数据，可以采用无条件回写方式，直接按照待写入数据的写入时间先后顺序将所有的该类待写入数据回写到服务端。另外，本发明中还支持有条件回写方式，在有条件回写方式下，可以比较服务端异常时间和待写入数据的写入位置的数据的修改时间，如果前者大于后者，也即服务端异常过程中，该待写入数据的写入位置的数据未被其它客户端修改(数据修改在前，服务端异常在后)，则可以将待写入数据回写到服务端，如果前者不大于后者，也即服务端异常过程中，该待写入数据的写入位置的数据被其它客户端修改(数据修改在后，服务端异常在前)，则此时不会再将该待写入数据回写到服务端。
为了实现上述客户端将本地缓存中的所有待写入数据回写到服务端，可以预先设置数据类型和数据回写方式之间的对应关系；所述数据回写方式包括无条件回写和有条件回写。另外，在将待写入数据写入本地缓存时，还可以进一步标记该待写入数据的数据类型，例如，在linux系统中，可以将不同数据类型的待写入数据缓存到不同的文件目录下，从而利用文件目录的不同来标记不同的数据类型。
这样，将本地缓存的所有待写入数据回写到服务端时，就可以按照待写入数据的写入时间从前到后的顺序对待写入数据逐条执行回写到服务端的操作，其中，对每条待写入数据的回写操作具体包括：如果该待写入数据的数据类型对应的数据回写方式为无条件回写，则将该待写入数据回写到服务端，如果该待写入数据的数据类型对应的数据回写方式为有条件回写，则若该待写入数据的写入位置的数据在服务端异常过程中未被更新，则将该待写入数据回写到服务端，若该待写入数据的写入位置的数据在服务端异常过程中已被更新，则不再将该待写入数据回写到服务端。
在实际应用中，服务端异常恢复后，客户端一方面需要将本地缓存中的待写入数据回写到服务端，另一方面，当有新的待写入数据需要写入服务端时，也需要进行及时响应。
然而，客户端的本地缓存中的待写入数据之间，以及本地缓存中的待写入数据和新的待写入数据之间，均可能涉及到对相同地址范围的数据写入，例如，本地缓存中的一条待写入数据的写入地址范围为1-100，而新的待写入数据的写入地址范围为50-200。
对于上述情况，需要对数据进行融合写入，融合原则为：对于写入地址范围重合部分的数据，保留最新的待写入数据。
具体地，
服务端异常恢复后，客户端将本地缓存的所有待写入数据回写到服务端的过程中，如果客户端有新的待写入数据需要写入客户端，则将该新的待写入数据写入本地缓存及服务端，并记录新的待写入数据的写入地址范围。如果有多条新的待写入数据写入服务端，则可以对这些新的待写入数据的写入地址范围进行单独记录，也可以在地址范围部分重合的情况下合并成一个大的地址范围。例如，先后两条新的待写入数据的写入地址范围分别为50-100、80-200，则可以对这两个地址范围分别记录，也可以直接合并成一个地址范围50-200。
这样，当客户端按照写入时间先后顺序，将本地缓存中的待写入数据逐条回写到服务端时，对于每条待写入数据的回写过程为：判断该待写入数据的写入地址范围与记录的新的待写入数据的写入地址范围是否有重合(如果记录有多个新的待写入数据的写入地址范围，需要逐个判断是否有重合)，如果无重合，则将该待写入数据写入到服务端，如果有重合，则确定该待写入数据的写入地址范围中与新的待写入数据的写入地址范围不重合的地址范围，仅将该待写入数据中不重合的地址范围中的数据写入服务端。
例如，客户端的本地缓存中的一条待写入数据的写入地址范围为1-100，在将该待写入数据回写到服务端时，客户端记录的新的待写入数据的写入地址范围为50-200，则可以确定重合部分为50-100，则客户端只需要将该条待写入数据中地址范围为1-49的数据写入到服务端即可，地址范围50-200的数据则应该是新的待写入数据。
以上对本发明实施例分布式文件系统中应对异常的冗余方法进行了详细说明。本发明还提供了一种分布式文件系统中应对异常的冗余装置，以下结合图2进行详细说明。
参见图2，图2是本发明实施例分布式文件系统中应对异常的冗余装置的结构示意图，所述分布式文件系统包括位于不同物理主机的客户端和服务器；如图2所示，该装置应用于客户端，包括：检测单元201、处理单元202、恢复单元203；其中，
检测单元201，用于检测服务端是否正常；
处理单元202，用于当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；用于当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
恢复单元203，用于当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
图2所示装置中，
所述检测单元201，检测服务端是否正常时，用于：如果检测到客户端与服务端之间的连接断开或客户端向服务器端写入数据失败，则确定服务端异常，否则，确定服务端正常。
图2所示装置中，
所述本地缓存为客户端的本地内存或本地非易失存储介质；
所述处理单元202，用于当所述本地缓存为客户端的本地内存时，如果服务端异常，则将本地内存中缓存的所有待写入数据写入本地非易失存储器。
图2所示装置中，
所述处理单元202，按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰时，用于：
当本地缓存中的待写入数据量超出预设缓存区域上限时，将最先写入本地缓存的待写入数据从本地缓存中删除；
当本地缓存中的任一待写入数据的写入时间超过预设缓存时间上限时，将该待写入数据从本地缓存中删除。
图2所示装置中，还包括配置单元204；
所述配置单元204，用于预先设置数据类型和数据回写方式之间的对应关系；所述数据回写方式包括无条件回写和有条件回写；
所述处理单元202，在将待写入数据写入本地缓存时，进一步标记该待写入数据的数据类型；
所述恢复单元203，将本地缓存的所有待写入数据回写到服务端时，用于：按照待写入数据的写入时间从前到后的顺序对待写入数据逐条执行写入服务端的操作，包括：如果该待写入数据的数据类型对应的数据回写方式为无条件回写，则将该待写入数据回写到服务端，如果该待写入数据的数据类型对应的数据回写方式为有条件回写，则若该待写入数据的写入位置的数据在服务端异常过程中未被更新，则将该待写入数据回写到服务端，若该待写入数据的写入位置的数据在服务端异常过程中已被更新，则不再将该待写入数据写入服务端。
图2所示装置中，
所述处理单元202，在恢复单元将本地缓存的所有待写入数据回写到服务端的过程中，如果客户端有新的待写入数据需要写入客户端，则将该新的待写入数据写入本地缓存及服务端，并记录新的待写入数据的写入地址范围；
所述恢复单元203，将该待写入数据回写到服务端时，用于：判断该待写入数据的写入地址范围与新的待写入数据的写入地址范围是否有重合，如果无重合，则将该待写入数据写入到服务端，如果有重合，则确定该待写入数据的写入地址范围中与新的待写入数据的写入地址范围不重合的地址范围，仅将该待写入数据中不重合的地址范围中的数据写入服务端。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种分布式文件系统中应对异常的冗余方法，其特征在于，所述分布式文件系统包括位于不同物理主机的客户端和服务器；该方法应用于客户端，包括：
当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；
当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
2.根据权利要求1所述的方法，其特征在于，
检测服务端是否正常的方法为：如果检测到客户端与服务端之间的连接断开或客户端向服务器端写入数据失败，则确定服务端异常，否则，确定服务端正常。
3.根据权利要求1所述的方法，其特征在于，
所述本地缓存为客户端的本地内存或本地非易失存储介质；
当所述本地缓存为客户端的本地内存时，如果服务端异常，则将本地内存中缓存的所有待写入数据写入本地非易失存储器。
4.根据权利要求1所述的方法，其特征在于，
按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰的方法为：
当本地缓存中的待写入数据量超出预设缓存区域上限时，将最先写入本地缓存的待写入数据从本地缓存中删除；
当本地缓存中的任一待写入数据的写入时间超过预设缓存时间上限时，将该待写入数据从本地缓存中删除。
5.根据权利要求1所述的方法，其特征在于，
预先设置数据类型和数据回写方式之间的对应关系；所述数据回写方式包括无条件回写和有条件回写；
在将待写入数据写入本地缓存时，进一步标记该待写入数据的数据类型；
将本地缓存的所有待写入数据回写到服务端的方法为：按照待写入数据的写入时间从前到后的顺序对待写入数据逐条执行回写到服务端的操作，包括：如果该待写入数据的数据类型对应的数据回写方式为无条件回写，则将该待写入数据回写到服务端，如果该待写入数据的数据类型对应的数据回写方式为有条件回写，则若该待写入数据的写入位置的数据在服务端异常过程中未被更新，则将该待写入数据回写到服务端，若该待写入数据的写入位置的数据在服务端异常过程中已被更新，则不再将该待写入数据回写到服务端。
6.根据权利要求5所述的方法，其特征在于，
将本地缓存的所有待写入数据回写到服务端的过程中，如果客户端有新的待写入数据需要写入客户端，则将该新的待写入数据写入本地缓存及服务端，并记录新的待写入数据的写入地址范围；
所述将该待写入数据回写到服务端的方法为：判断该待写入数据的写入地址范围与记录的新的待写入数据的写入地址范围是否有重合，如果无重合，则将该待写入数据写入到服务端，如果有重合，则确定该待写入数据的写入地址范围中与新的待写入数据的写入地址范围不重合的地址范围，仅将该待写入数据中不重合的地址范围中的数据写入服务端。
7.一种分布式文件系统中应对异常的冗余装置，其特征在于，所述分布式文件系统包括位于不同物理主机的客户端和服务器；该装置应用于客户端，包括：检测单元、处理单元、恢复单元；
所述检测单元，用于检测服务端是否正常；
所述处理单元，用于当服务端正常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存及服务端，并按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰；用于当服务端异常时，如果客户端需要写入数据到服务端，则将待写入数据写入本地缓存，若预先设置了异常时间阈值，则在服务端异常持续时间超过预先设置异常时间阈值的情况下输出告警信息；
所述恢复单元，用于当服务端异常恢复时，将本地缓存的所有待写入数据回写到服务端。
8.根据权利要求7所述的装置，其特征在于，
所述检测单元，检测服务端是否正常时，用于：如果检测到客户端与服务端之间的连接断开或客户端向服务器端写入数据失败，则确定服务端异常，否则，确定服务端正常。
9.根据权利要求7所述的装置，其特征在于，
所述本地缓存为客户端的本地内存或本地非易失存储介质；
所述处理单元，用于当所述本地缓存为客户端的本地内存时，如果服务端异常，则将本地内存中缓存的所有待写入数据写入本地非易失存储器。
10.根据权利要求7所述的装置，其特征在于，
所述处理单元，按照预设淘汰策略对本地缓存的所有待写入数据进行淘汰时，用于：
当本地缓存中的待写入数据量超出预设缓存区域上限时，将最先写入本地缓存的待写入数据从本地缓存中删除；
当本地缓存中的任一待写入数据的写入时间超过预设缓存时间上限时，将该待写入数据从本地缓存中删除。
11.根据权利要求7所述的装置，其特征在于，该装置还包括配置单元；
所述配置单元，用于预先设置数据类型和数据回写方式之间的对应关系；所述数据回写方式包括无条件回写和有条件回写；
所述处理单元，在将待写入数据写入本地缓存时，进一步标记该待写入数据的数据类型；
所述恢复单元，将本地缓存的所有待写入数据回写到服务端时，用于：按照待写入数据的写入时间从前到后的顺序对待写入数据逐条执行写入服务端的操作，包括：如果该待写入数据的数据类型对应的数据回写方式为无条件回写，则将该待写入数据回写到服务端，如果该待写入数据的数据类型对应的数据回写方式为有条件回写，则若该待写入数据的写入位置的数据在服务端异常过程中未被更新，则将该待写入数据回写到服务端，若该待写入数据的写入位置的数据在服务端异常过程中已被更新，则不再将该待写入数据写入服务端。
12.根据权利要求11所述的装置，其特征在于，
所述处理单元，在恢复单元将本地缓存的所有待写入数据回写到服务端的过程中，如果客户端有新的待写入数据需要写入客户端，则将该新的待写入数据写入本地缓存及服务端，并记录新的待写入数据的写入地址范围；
所述恢复单元，将该待写入数据回写到服务端时，用于：判断该待写入数据的写入地址范围与新的待写入数据的写入地址范围是否有重合，如果无重合，则将该待写入数据写入到服务端，如果有重合，则确定该待写入数据的写入地址范围中与新的待写入数据的写入地址范围不重合的地址范围，仅将该待写入数据中不重合的地址范围中的数据写入服务端。
CN201711427828.5A 2017-12-26 2017-12-26 一种分布式文件系统中应对异常的冗余方法和装置 Active CN108234465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711427828.5A CN108234465B (zh) 2017-12-26 2017-12-26 一种分布式文件系统中应对异常的冗余方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711427828.5A CN108234465B (zh) 2017-12-26 2017-12-26 一种分布式文件系统中应对异常的冗余方法和装置

Publications (2)

Publication Number Publication Date
CN108234465A true CN108234465A (zh) 2018-06-29
CN108234465B CN108234465B (zh) 2021-09-10

Family

ID=62648700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711427828.5A Active CN108234465B (zh) 2017-12-26 2017-12-26 一种分布式文件系统中应对异常的冗余方法和装置

Country Status (1)

Country Link
CN (1) CN108234465B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614270A (zh) * 2018-12-14 2019-04-12 深圳前海微众银行股份有限公司 基于Hbase的数据读写方法、装置、设备及存储介质
CN111586129A (zh) * 2020-04-28 2020-08-25 北京奇艺世纪科技有限公司 针对数据同步的报警方法、装置、电子设备及存储介质
CN112035292A (zh) * 2020-07-31 2020-12-04 北京金山云网络技术有限公司 一种数据写入异常的处理方法、装置、设备及存储介质
WO2021170048A1 (zh) * 2020-02-26 2021-09-02 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576855A (zh) * 2009-06-19 2009-11-11 深圳市科陆电子科技股份有限公司 一种基于缓存的数据存储系统及方法
CN102004780A (zh) * 2010-11-23 2011-04-06 中兴通讯股份有限公司 一种数据同步方法及装置
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
CN102880671A (zh) * 2012-09-07 2013-01-16 浪潮电子信息产业股份有限公司 一种面向分布式文件系统的主动重复数据删除方法
US20140067992A1 (en) * 2012-08-28 2014-03-06 Fujitsu Limited Computer product, communication node, and transmission control method
CN104158897A (zh) * 2014-08-25 2014-11-19 曙光信息产业股份有限公司 一种分布式文件系统中文件布局的更新方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576855A (zh) * 2009-06-19 2009-11-11 深圳市科陆电子科技股份有限公司 一种基于缓存的数据存储系统及方法
CN102004780A (zh) * 2010-11-23 2011-04-06 中兴通讯股份有限公司 一种数据同步方法及装置
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
US20140067992A1 (en) * 2012-08-28 2014-03-06 Fujitsu Limited Computer product, communication node, and transmission control method
CN102880671A (zh) * 2012-09-07 2013-01-16 浪潮电子信息产业股份有限公司 一种面向分布式文件系统的主动重复数据删除方法
CN104158897A (zh) * 2014-08-25 2014-11-19 曙光信息产业股份有限公司 一种分布式文件系统中文件布局的更新方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614270A (zh) * 2018-12-14 2019-04-12 深圳前海微众银行股份有限公司 基于Hbase的数据读写方法、装置、设备及存储介质
WO2021170048A1 (zh) * 2020-02-26 2021-09-02 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及存储介质
CN111586129A (zh) * 2020-04-28 2020-08-25 北京奇艺世纪科技有限公司 针对数据同步的报警方法、装置、电子设备及存储介质
CN112035292A (zh) * 2020-07-31 2020-12-04 北京金山云网络技术有限公司 一种数据写入异常的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108234465B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN108234465B (zh) 一种分布式文件系统中应对异常的冗余方法和装置
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US8229896B1 (en) Method and apparatus for identifying data blocks required for restoration
CN101566959B (zh) 利用卷快照防止在失败的恢复操作中的文件损坏
US20080168218A1 (en) Backup system with continuous data protection
US10061655B2 (en) Volatile cache reconstruction after power failure
EP4068099A1 (en) State management method, master and backup application server switching method, and electronic device
US6701455B1 (en) Remote copy system with data integrity
CN107817950B (zh) 一种数据处理方法及装置
US10572335B2 (en) Metadata recovery method and apparatus
US12045137B2 (en) Data backup method, apparatus, and system
CN107544869A (zh) 一种数据恢复方法和装置
CN104407814B (zh) 双写数据的方法和装置
JP4713843B2 (ja) バックアップ方法
CN105138280A (zh) 数据写入方法、装置及系统
CN113485874A (zh) 数据处理方法及分布式存储系统
CN108170375B (zh) 一种分布式存储系统中的超限保护方法和装置
CN109358988A (zh) 一种云备份数据的恢复方法、装置、系统及可读存储介质
CN109165117B (zh) 数据处理的方法和系统
CN114138208B (zh) 一种防止drbd裂脑的处理方法及相关组件
CN111488124A (zh) 一种数据更新方法、装置、电子设备及存储介质
CN111124740A (zh) 一种数据读取方法、装置、存储设备及机器可读存储介质
CN103440179B (zh) 存储设备配置信息的连续保存方法
US20100169572A1 (en) Data storage method, apparatus and system for interrupted write recovery
JP5644795B2 (ja) ストレージ装置、データ復旧方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 505, Taixing Building, 11 Garden East Road, Haidian District, Beijing, 100191

Applicant after: Innovation Technology Co., Ltd.

Address before: Room 0801-0805, 51 College Road, Haidian District, Beijing, 100191

Applicant before: Innovation and Technology Storage Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant