CN108460045A - 一种快照的处理方法及分布式块存储系统 - Google Patents

一种快照的处理方法及分布式块存储系统 Download PDF

Info

Publication number
CN108460045A
CN108460045A CN201710091836.0A CN201710091836A CN108460045A CN 108460045 A CN108460045 A CN 108460045A CN 201710091836 A CN201710091836 A CN 201710091836A CN 108460045 A CN108460045 A CN 108460045A
Authority
CN
China
Prior art keywords
read
operation number
snapshot
write
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710091836.0A
Other languages
English (en)
Other versions
CN108460045B (zh
Inventor
张广艳
罗圣美
都涛
杨洪章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
ZTE Corp
Original Assignee
Tsinghua University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, ZTE Corp filed Critical Tsinghua University
Priority to CN201710091836.0A priority Critical patent/CN108460045B/zh
Priority to PCT/CN2018/075458 priority patent/WO2018153251A1/zh
Priority to AU2018223401A priority patent/AU2018223401A1/en
Priority to EP18757805.9A priority patent/EP3588330A4/en
Priority to US16/487,820 priority patent/US11455276B2/en
Publication of CN108460045A publication Critical patent/CN108460045A/zh
Priority to AU2021204579A priority patent/AU2021204579A1/en
Application granted granted Critical
Publication of CN108460045B publication Critical patent/CN108460045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明提供一种快照的处理方法及分布式块存储系统，该方法可包括：获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。这样，在分布式存储系统的快照中，当数据块以读为主时，确定以写时复制对数据块进行快照操作；当数据块以写为主时，确定以写时重定向对数据块进行快照操作，从而可以同时满足写入性能、回滚性能以及读性能都较佳。

Description

一种快照的处理方法及分布式块存储系统
技术领域
本发明涉及通信技术领域，特别涉及一种快照的处理方法及分布式块存储系统。
背景技术
分布式块存储系统具有可靠、高效、可扩展、接口灵活等特性，被广泛用于云存储、高性能计算、设备虚拟化等场景。典型的分布式存储系统通常由客户端、元数据服务器和数据服务器三个部分构成。快照技术为存储系统提供了在线备份、数据恢复、数据重用等能力，是分布式块存储系统不可缺少的一部分。
目前，如图1和图2所示，分布式块存储系统通常使用写时复制(Copy on Write，COW)和写时重定向(Redirect on Write，ROW)两种快照方式。其中，COW具有更好的读性能，而ROW具有更好的写性能和回滚性能。但是，由于COW进行写入和回滚操作时，需要先进行数据复制，因此写性能和回滚性能不佳；ROW在读操作时，由于需要对数据进行重定位导致读性能不佳。可见，目前分布式存储系统的快照，存在无法同时满足写入性能、回滚性能以及读性能都较佳的问题。
发明内容
本发明实施例的目的在于提供一种快照的处理方法及分布式块存储系统，解决目前分布式存储系统的快照，存在无法同时满足写入性能、回滚性能以及读性能都较佳的问题。
为了达到上述目的，本发明实施例提供一种快照的处理方法，包括：
获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。本发明还提供一种分布式块存储系统，包括：
数据获取模块，用于获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
快照方式确定模块，用于基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
处理模块，用于基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行的一个或多个程序，所述一个或多个程序被所述计算机执行时使所述计算机执行如上述提供的一种快照的处理方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：
获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。这样在分布式存储系统的快照中，当数据块以读为主时，确定以写时复制对数据块进行快照操作；当数据块以写为主时，确定以写时重定向对数据块进行快照操作，从而可以同时满足写入性能、回滚性能以及读性能都较佳。
附图说明
图1为现有技术中写时复制快照示意图；
图2为现有技术中写时重定快照示意图；
图3为本发明实施例提供的一种快照的处理方法的流程示意图；
图4为本发明实施例提供的另一种快照的处理方法的流程示意图；
图5为本发明实施例提供的分布式块存储系统的部分架构示意图；
图6为本发明实施例提供的一种分布式块存储系统的结构示意图；
图7为本发明实施例提供的一种分布式块存储系统中快照方式确定模块的结构示意图；
图8为本发明实施例提供的另一种分布式块存储系统中快照方式确定模块的结构示意图；
图9为本发明实施例提供的另一种分布式块存储系统的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图3所示，本发明实施例提供一种快照的处理方法的流程示意图，该方法应用于分布式块存储系统，包括以下步骤：
步骤S301、获取分布式块存储系统中数据块的读操作次数和读写操作次数。
本发明实施例中，分布式存储系统可以通过磁盘操作监控工具获取每个数据块的读操作次数和读写操作次数，例如：在分布式存储系统输入iostat命令，实时统计存储该数据块的数据服务器的每秒进行读写(I/O)操作的次数(Input/Output Operations PerSecond，IOPS)等负载数据，从而获取该数据块的读操作次数和读写操作次数。
步骤S302、基于读操作次数和读写操作次数，确定目标快照方式，其中，目标快照方式包括写时复制或写时重定向。
本发明实施例中，由于COW具有更好的读性能，而ROW具有更好的写性能和回滚性能，可以基于数据块的读操作次数和读写操作次数确定数据块的读写情况。若确定该数据块以读为主，可以将COW作为对数据块进行快照操作的快照方式；若确定该数据块以写为主，可以将ROW作为对数据块进行快照操作的快照方式。
其中，上述基于读操作次数和读写操作次数，确定目标快照方式，可以通过数据块的读操作次数与读写操作次数的比值或差值大小确定目标快照方式，比值或差值越大，表明该数据块以读为主；比值或差值越小，表明该数据块以写为主。例如：若读操作次数与读写操作次数的比值为10，该数据块以读为主，可以确定目标快照方式为COW；若读操作次数与读写操作次数的比值为0.1，该数据块以写为主，可以确定目标操作方式为ROW。
步骤S303、基于目标快照方式对分布式块存储系统中数据块进行快照操作。
本发明实施例中，上述步骤S302确定目标快照方式时，分布式存储系统可以采用该目标快照方式对数据块进行快照操作。其中，上述快照操作可以包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作等中的任意一种。
本发明实施例中，获取分布式块存储系统中数据块的读操作次数和读写操作次数；基于读操作次数和读写操作次数，确定目标快照方式，其中，目标快照方式包括写时复制或写时重定向；基于目标快照方式对分布式块存储系统中数据块进行快照操作。这样在分布式存储系统的快照中，当数据块以读为主时，确定以写时复制对数据块进行快照操作；当数据块以写为主时，确定以写时重定向对数据块进行快照操作，从而可以同时满足写入性能、回滚性能以及读性能都较佳。
如图4所示，本发明实施例提供另一种快照的处理方法的流程示意图，包括以下步骤：
步骤S401、获取分布式块存储系统中数据块的读操作次数和读写操作次数。
本发明实施例中，当客户端发起快照操作请求时，分布式块存储系统会响应该快照操作请求，通过元数据服务器中存储的快照元数据，查找该快照操作请求对应的数据块在数据服务器中的位置，并通过磁盘操作监控工具获取每个数据块的读操作次数和读写操作次数，例如：通过iostat命令统计存储该数据块的数据服务器的IOPS等负载数据，获取该数据块的读操作次数和读写操作次数。
步骤S402、判断读操作次数与读写操作次数的预设参数值是否大于或等于第一预设阈值，其中，预设参数值为读操作次数与读写操作次数的比值或差值。
本发明实施例中，将数据块的读操作次数与读写操作次数的比值或差值作为预设参数值，可以直观反映数据块的读写情况，读操作次数与读写操作次数的比值或差值越大时，表明该数据块读操作较多；读操作次数与读写操作次数的比值或差值越大时，表明该数据块写操作较多。
其中，若读操作次数与读写操作次数的比值或差值大于或等于第一预设阈值，则可以确定该数据块以读为主。例如：当预设参数值为读操作次数与读写操作次数的比值时，可以设置第一预设阈值为1.5，若预设参数值大于或等于1.5，则可以确定该数据块以读为主；当预设参数值为读操作次数与读写操作次数的差值时，可以设置第一预设阈值为50，若预设参数值大于或等于50，则可以确定该数据块以读为主。
步骤S403、若读操作次数与读写操作次数的预设参数值大于或等于第一预设阈值，确定目标快照方式为写时复制。
本发明实施例中，当上述步骤S403确定读操作次数与读写操作次数的预设参数值大于或等于第一预设阈值，可以确定该数据块以读为主，从而可以确定目标快照方式为具有更好的读性能的写时复制，从而使分布式存储系统具有较佳的读性能。
步骤S404、若读操作次数与读写操作次数的预设参数值小于或等于第一预设阈值，确定目标快照方式为写时重定向。
本发明实施例中，当上述步骤S403确定读操作次数与读写操作次数的预设参数值小于第一预设阈值，可以确定该数据块不以读为主，该数据块可能读写接近或者以写为主，可以确定目标快照方式为具有更好的写性能和回滚性能的写时重定向，从而使分布式存储系统具有较佳的写性能和回滚性能。
可选的，上述确定目标快照方式为写时重定向之前还可以包括：
判断读操作次数与读写操作次数的预设参数值是否大于第二预设阈值，其中，第二预设阈值小于第一预设阈值；
若读操作次数与读写操作次数的预设参数值大于第二预设阈值，判断前端负载值是否大于预设负载阈值，其中，前端负载值为存储数据块的数据服务器的负载值；
若前端负载值小于或等于预设负载阈值，确定目标快照方式为写时复制；
若前端负载值大于预设负载阈值或者读操作次数与读写操作次数的预设参数值小于或等于第二预设阈值，执行确定目标快照方式为写时重定向的步骤。
本发明实施例中，当数据块的读操作次数与读写操作次数的预设参数值小于第二预设阈值时，可以确定数据块以写为主，从而可以确定目标快照方式为具有较佳的写性能和回滚性能的写时重定向；而当数据块的读操作次数与读写操作次数的预设参数值小于第一预设阈值且大于第二预设阈值时，此时数据块的读写接近。
其中，为了保证分布式块存储系统在数据块的读写接近情况下仍同时满足写入性能、回滚性能以及读性能都较佳，可以通过获取存储该数据块的数据服务器的前端负载值，并将该前端负载值与预设负载阈值进行比较，若前端负载值大于预设负载阈值，表明该数据服务器负载高，可以确定目标快照方式为ROW，从而降低数据块的写请求的开销；若前端负载值小于或等于预设负载阈值，表明数据服务器负载低，可以确定目标快照方式为COW，从而提升数据块的读请求的性能。
例如：当预设参数值为读操作次数与读写操作次数的比值时，可以设定第一预设阈值为1.5，第二预设阈值为0.7，而预设负载阈值为10000，若读操作次数与读写操作次数的比值小于或等于0.7，表明数据块以写为主，确定目标快照方式为ROW；若读操作次数与读写操作次数的比值大于0.7且小于1.5，表明数据块的读写接近，此时若对应数据服务器的前端负载值为15000，则确定目标快照方式为ROW。
需要说明的是，上述第一预设阈值、第二预设阈值以及预设负载阈值可以根据实际需要进行设定，在此并不进行限定。
步骤S405、基于目标快照方式对分布式块存储系统中数据块进行快照操作。
本发明实施例中，当确定目标快照方式时，分布式存储系统可以采用该目标快照方式对数据块进行快照操作。
可选的，上述步骤S405之前，还可以包括：判断当前快照方式是否与目标快照方式匹配；
若当前快照方式与目标快照方式不匹配，切换当前快照方式为目标快照方式。
本发明实施例中，当上述目标快照方式确定时，分布式存储系统可以将目标快照方式与数据块的当前快照方式进行匹配，若目标快照方式与当前快照方式不匹配，可以将当前快照方式切换为目标快照方式。例如：若当前的快照方式为COW，而目标快照方式为ROW，可以将该数据块的当前快照方式由COW切换为ROW；若当前的快照方式为ROW，而目标快照方式为COW，可以将该数据块的当前快照方式由ROW切换为COW。
可选的，上述快照操作包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作中的任意一种，从而使分布式存储系统在任意一种快照操作下都同时满足写入性能、回滚性能以及读性能都较佳。
本发明实施例中，以上述快照的处理方法在读操作、写操作、回滚操作以及删除快照操作中的实际应用为例进行说明。其中，如图4所示，分布式存储系统包括多个数据元数据服务器以及多个数据服务器，每一数据服务器包括多个数据块，数据块为分布式存储系统中的最小存储单元。分布式存储系统的快照元数据存储于元数据服务器上，分布式存储系统所包含的数据块的快照元数据信息存储于该数据块所在的数据服务器上。
其中，数据块的当前数据和快照数据以文件的形式存放于数据服务器的同一目录下，快照文件、快照方式为COW时的数据文件以及快照方式为ROW时的数据文件均具有不同的命名格式，例如：快照文件的命名格式为数据块id+“_”+snap_id；快照方式为COW时的数据文件的命名格式为数据块id+“_”+“head”；快照方式为ROW时的数据文件的命名格式为id+“_”+“head_id”。并且快照方式为COW时操作数据文件，可以直接生成数据文件的文件名，无需经过查找或计算数据块的位置；快照方式为ROW时操作数据文件，从快照元数据信息中读取head_id，从而生成数据文件的文件名，进行IO操作。
在快照操作为创建快照操作时，分布式块存储系统将创建快照请求发送到对应的数据块所在的数据服务器上，根据数据块的读操作次数、读写操作次数以及前端负载值，确定该数据块的目标快照方式，设置当前快照方式为目标快照方式，以当前快照方式创建快照，并更新数据块的快照元数据信息。
在快照操作为读取数据的读操作时，分布式块存储系统将读请求发送到对应的数据块所在的数据服务器上，根据数据块的读操作次数、读写操作次数以及前端负载值，确定该数据块的目标快照方式，设置当前快照方式为目标快照方式，生成目标快照方式对应的数据文件的文件名，利用快照元数据信息的快照序号到快照文件的对应关系的属性，从该数据块的数据目录下获取数据文件。
在快照操作为写入数据的写操作时，分布式块存储系统将写请求发送到对应的数据块所在的数据服务器上，根据数据块的读操作次数、读写操作次数以及前端负载值，确定该数据块的目标快照方式，设置当前快照方式为目标快照方式，以当前快照方式进行复制写或者重定向写，并更新数据块的快照元数据信息。
在快照操作为回滚操作时，分布式块存储系统将回滚请求发送到对应的数据块所在的数据服务器上，根据数据块的读操作次数、读写操作次数以及前端负载值，确定该数据块的目标快照方式，设置当前快照方式为目标快照方式，以当前快照方式进行复制回滚或者直接修改指针，并更新数据块的快照元数据信息。
在快照操作为删除快照操作时，分布式块存储系统将删除快照请求发送到对应的数据块所在的数据服务器上，根据数据块的读操作次数、读写操作次数以及前端负载值，确定该数据块的目标快照方式，设置当前快照方式为目标快照方式，判断是否需要删除实际对应的快照文件，若为是，删除快照文件，并更新数据块的快照元数据信息。
本发明实施例中，通过判断数据块的读操作次数和读写操作次数的比值/差值与第一预设阈值和第二预设阈值的关系，若比值/差值大于或等于第一预设阈值，将COW作为对数据块进行快照操作的快照方式；若比值/差值小于或等于第二预设阈值，将ROW作为对数据块进行快照操作的快照方式；若比值/差值大于第二预设阈值且小于第一预设阈值，判断存储数据块的数据服务器的前端负载值是否大于预设负载阈值，若前端负载值大于预设负载阈值，将ROW作为对数据块进行快照操作的快照方式；若前端负载值小于或等于预设负载阈值，将COW作为对数据块进行快照操作的快照方式。这样，在分布式存储系统的快照中，可以同时满足写入性能、回滚性能以及读性能都较佳。
如图6所示，本发明实施例提供一种分布式块存储系统的结构示意图，所述分布式块存储系统60包括：
数据获取模块61，用于获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
快照方式确定模块62，用于基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
处理模块63，用于基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。
可选的，如图7所示，所述快照方式确定模块62可以包括：
第一判断单元621，用于判断所述读操作次数与所述读写操作次数的预设参数值是否大于第一预设阈值，其中，所述预设参数值为所述读操作次数与所述读写操作次数的比值或差值；
第一确定单元622，用于若所述读操作次数与所述读写操作次数的预设参数值大于第一预设阈值，确定所述目标快照方式为写时复制；
第二确定单元623，用于若所述读操作次数与所述读写操作次数的预设参数值小于或等于第一预设阈值，确定所述目标快照方式为写时重定向。
可选的，如图8所示，所述快照方式确定模块62还可以包括：
第二判断单元624，用于判断所述读操作次数与所述读写操作次数的预设参数值是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
第三判断单元625，用于若所述读操作次数与所述读写操作次数的预设参数值大于第二预设阈值，判断前端负载值是否大于预设负载阈值，其中，所述前端负载值为存储所述数据块的数据服务器的负载值；
第三确定单元626，用于若所述前端负载值小于或等于预设负载阈值，确定所述目标快照方式为写时复制；
执行单元627，用于若所述前端负载值大于预设负载阈值或者所述读操作次数与所述读写操作次数的预设参数值小于或等于第二预设阈值，执行所述确定所述目标快照方式为写时重定向的步骤。
可选的，如图9所示，所述分布式块存储系统60还可以包括：
判断模块64，用于判断当前快照方式是否与所述目标快照方式匹配；
切换模块65，用于若所述当前快照方式与所述目标快照方式不匹配，切换所述当前快照方式为所述目标快照方式。
可选的，所述快照操作可以包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作中的任意一种。
需要说明的是，本实施例的分布式块存储系统可以是图1至图5所示的实施例中的分布式块存储系统，图1至图5所示实施例介绍的分布式块存储系统的任意实施方式都可以被上述分布式块存储系统实现，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一计算机可读取介质中，该程序在执行时，包括以下步骤：
获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。
可选的，所述基于所述读操作次数和读写操作次数，确定目标快照方式的步骤，包括：
判断所述读操作次数与所述读写操作次数的预设参数值是否大于或等于第一预设阈值，其中，所述预设参数值为所述读操作次数与所述读写操作次数的比值或差值；
若所述读操作次数与所述读写操作次数的预设参数值大于或等于第一预设阈值，确定所述目标快照方式为写时复制；
若所述读操作次数与所述读写操作次数的预设参数值小于第一预设阈值，确定所述目标快照方式为写时重定向。
可选的，所述确定所述目标快照方式为写时重定向的步骤之前，还包括：
判断所述读操作次数与所述读写操作次数的预设参数值是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
若所述读操作次数与所述读写操作次数的预设参数值大于第二预设阈值，判断前端负载值是否大于预设负载阈值，其中，所述前端负载值为存储所述数据块的数据服务器的负载值；
若所述前端负载值小于或等于预设负载阈值，确定所述目标快照方式为写时复制；
若所述前端负载值大于预设负载阈值或者所述读操作次数与所述读写操作次数的预设参数值小于或等于第二预设阈值，执行所述确定所述目标快照方式为写时重定向的步骤。
可选的，所述基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作步骤之前，还包括：
判断当前快照方式是否与所述目标快照方式匹配；
若所述当前快照方式与所述目标快照方式不匹配，切换所述当前快照方式为所述目标快照方式。
可选的，所述快照操作包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作中的任意一种。
所述的存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种快照的处理方法，应用于分布式块存储系统，其特征在于，包括：
获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。
2.如权利要求1所述的方法，其特征在于，所述基于所述读操作次数和读写操作次数，确定目标快照方式的步骤，包括：
判断所述读操作次数与所述读写操作次数的预设参数值是否大于或等于第一预设阈值，其中，所述预设参数值为所述读操作次数与所述读写操作次数的比值或差值；
若所述读操作次数与所述读写操作次数的预设参数值大于或等于第一预设阈值，确定所述目标快照方式为写时复制；
若所述读操作次数与所述读写操作次数的预设参数值小于第一预设阈值，确定所述目标快照方式为写时重定向。
3.如权利要求2所述的方法，其特征在于，所述确定所述目标快照方式为写时重定向的步骤之前，还包括：
判断所述读操作次数与所述读写操作次数的预设参数值是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
若所述读操作次数与所述读写操作次数的预设参数值大于第二预设阈值，判断前端负载值是否大于预设负载阈值，其中，所述前端负载值为存储所述数据块的数据服务器的负载值；
若所述前端负载值小于或等于预设负载阈值，确定所述目标快照方式为写时复制；
若所述前端负载值大于预设负载阈值或者所述读操作次数与所述读写操作次数的预设参数值小于或等于第二预设阈值，执行所述确定所述目标快照方式为写时重定向的步骤。
4.如权利要求1至3中任意一项所述的方法，其特征在于，所述基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作步骤之前，还包括：
判断当前快照方式是否与所述目标快照方式匹配；
若所述当前快照方式与所述目标快照方式不匹配，切换所述当前快照方式为所述目标快照方式。
5.如权利要求1至3中任意一项所述的方法，其特征在于，所述快照操作包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作中的任意一种。
6.一种分布式块存储系统，其特征在于，包括：
数据获取模块，用于获取所述分布式块存储系统中数据块的读操作次数和读写操作次数；
快照方式确定模块，用于基于所述读操作次数和读写操作次数，确定目标快照方式，其中，所述目标快照方式包括写时复制或写时重定向；
处理模块，用于基于所述目标快照方式对所述分布式块存储系统中数据块进行快照操作。
7.如权利要求6所述的分布式块存储系统，其特征在于，所述快照方式确定模块包括：
第一判断单元，用于判断所述读操作次数与所述读写操作次数的预设参数值是否大于第一预设阈值，其中，所述预设参数值为所述读操作次数与所述读写操作次数的比值或差值；
第一确定单元，用于若所述读操作次数与所述读写操作次数的预设参数值大于第一预设阈值，确定所述目标快照方式为写时复制；
第二确定单元，用于若所述读操作次数与所述读写操作次数的预设参数值小于或等于第一预设阈值，确定所述目标快照方式为写时重定向。
8.如权利要求7所述的分布式块存储系统，其特征在于，所述快照方式确定模块还包括：
第二判断单元，用于判断所述读操作次数与所述读写操作次数的预设参数值是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
第三判断单元，用于若所述读操作次数与所述读写操作次数的预设参数值大于第二预设阈值，判断前端负载值是否大于预设负载阈值，其中，所述前端负载值为存储所述数据块的数据服务器的负载值；
第三确定单元，用于若所述前端负载值小于或等于预设负载阈值，确定所述目标快照方式为写时复制；
执行单元，用于若所述前端负载值大于预设负载阈值或者所述读操作次数与所述读写操作次数的预设参数值小于或等于第二预设阈值，执行所述确定所述目标快照方式为写时重定向的步骤。
9.如权利要求6至8中任意一项所述的分布式块存储系统，其特征在于，所述分布式块存储系统还包括：
判断模块，用于判断当前快照方式是否与所述目标快照方式匹配；
切换模块，用于若所述当前快照方式与所述目标快照方式不匹配，切换所述当前快照方式为所述目标快照方式。
10.如权利要求6至8中任意一项所述的分布式块存储系统，其特征在于，所述快照操作包括创建快照操作、读操作、写操作、回滚操作以及删除快照操作中的任意一种。
CN201710091836.0A 2017-02-21 2017-02-21 一种快照的处理方法及分布式块存储系统 Active CN108460045B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710091836.0A CN108460045B (zh) 2017-02-21 2017-02-21 一种快照的处理方法及分布式块存储系统
PCT/CN2018/075458 WO2018153251A1 (zh) 2017-02-21 2018-02-06 一种快照的处理方法及分布式块存储系统
AU2018223401A AU2018223401A1 (en) 2017-02-21 2018-02-06 Method for processing snapshots and distributed block storage system
EP18757805.9A EP3588330A4 (en) 2017-02-21 2018-02-06 SNAPSHOT PROCESSING AND DISTRIBUTED BLOCK STORAGE SYSTEM
US16/487,820 US11455276B2 (en) 2017-02-21 2018-02-06 Method for processing snapshots and distributed block storage system
AU2021204579A AU2021204579A1 (en) 2017-02-21 2021-06-30 Method For Processing Snapshots And Distributed Block Storage System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710091836.0A CN108460045B (zh) 2017-02-21 2017-02-21 一种快照的处理方法及分布式块存储系统

Publications (2)

Publication Number Publication Date
CN108460045A true CN108460045A (zh) 2018-08-28
CN108460045B CN108460045B (zh) 2022-11-18

Family

ID=63229311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710091836.0A Active CN108460045B (zh) 2017-02-21 2017-02-21 一种快照的处理方法及分布式块存储系统

Country Status (5)

Country Link
US (1) US11455276B2 (zh)
EP (1) EP3588330A4 (zh)
CN (1) CN108460045B (zh)
AU (2) AU2018223401A1 (zh)
WO (1) WO2018153251A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008175A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种分布式对象存储快照方法、系统、设备及计算机介质
CN110321321A (zh) * 2019-05-31 2019-10-11 平安科技（深圳）有限公司 网络块设备快照读写方法、装置、设备及存储介质
CN111158858A (zh) * 2019-12-26 2020-05-15 深信服科技股份有限公司 一种虚拟机的克隆方法和装置，及计算机可读存储介质
CN113138722A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 用于分布式块存储系统的复制快照方法、系统和介质
WO2022016863A1 (zh) * 2020-07-21 2022-01-27 苏州浪潮智能科技有限公司 数据快照方法、装置、计算机设备及存储介质
CN116204124A (zh) * 2023-02-23 2023-06-02 安超云软件有限公司 一种基于冲突锁的数据处理方法、系统及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460045B (zh) 2017-02-21 2022-11-18 中兴通讯股份有限公司 一种快照的处理方法及分布式块存储系统
CN110609807B (zh) * 2018-06-15 2023-06-23 伊姆西Ip控股有限责任公司 用于删除快照数据的方法、设备和计算机可读存储介质
CN111831472B (zh) * 2019-04-18 2023-12-22 阿里云计算有限公司 快照创建方法和装置以及电子设备
CN115061856B (zh) * 2022-08-16 2022-11-01 四川大学 基于块的持久卷备份方法、系统、存储介质及其恢复方法
CN115865097B (zh) * 2023-02-17 2023-05-23 浪潮电子信息产业股份有限公司 一种数据压缩方法、系统、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183383A (zh) * 2007-12-17 2008-05-21 中国科学院计算技术研究所 一种快照系统及其使用方法
US7676510B1 (en) * 2006-12-22 2010-03-09 Network Appliance, Inc. Space reservation monitoring in a fractionally reserved data storage system
WO2010042109A1 (en) * 2008-10-07 2010-04-15 Hewlett-Packard Development Company, L.P. Creating snapshots of data using a selected one of different snapshot algorithms
CN102073739A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 带有快照功能的分布式文件系统中的数据读与数据写方法
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206677A1 (en) 2003-07-03 2006-09-14 Electronics And Telecommunications Research Institute System and method of an efficient snapshot for shared large storage
CN101482838A (zh) 2009-02-06 2009-07-15 杭州华三通信技术有限公司 基于写时拷贝的数据写入方法及设备
WO2010095275A1 (en) 2009-02-23 2010-08-26 Hitachi, Ltd. Storage system and method using snapshots involving little metadata
US8239584B1 (en) * 2010-12-16 2012-08-07 Emc Corporation Techniques for automated storage management
WO2014000249A1 (zh) 2012-06-29 2014-01-03 华为技术有限公司 快照数据处理方法及系统、存储系统、快照代理
US9235535B1 (en) 2012-10-31 2016-01-12 Emc Corporation Method and apparatus for reducing overheads of primary storage by transferring modified data in an out-of-order manner
GB2509057A (en) 2012-12-18 2014-06-25 Ibm Predictive point-in-time copy for storage systems
CN108460045B (zh) 2017-02-21 2022-11-18 中兴通讯股份有限公司 一种快照的处理方法及分布式块存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676510B1 (en) * 2006-12-22 2010-03-09 Network Appliance, Inc. Space reservation monitoring in a fractionally reserved data storage system
CN101183383A (zh) * 2007-12-17 2008-05-21 中国科学院计算技术研究所 一种快照系统及其使用方法
WO2010042109A1 (en) * 2008-10-07 2010-04-15 Hewlett-Packard Development Company, L.P. Creating snapshots of data using a selected one of different snapshot algorithms
CN102073739A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 带有快照功能的分布式文件系统中的数据读与数据写方法
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008175A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种分布式对象存储快照方法、系统、设备及计算机介质
CN110321321A (zh) * 2019-05-31 2019-10-11 平安科技（深圳）有限公司 网络块设备快照读写方法、装置、设备及存储介质
CN110321321B (zh) * 2019-05-31 2023-06-23 平安科技（深圳）有限公司 网络块设备快照读写方法、装置、设备及存储介质
CN111158858A (zh) * 2019-12-26 2020-05-15 深信服科技股份有限公司 一种虚拟机的克隆方法和装置，及计算机可读存储介质
WO2022016863A1 (zh) * 2020-07-21 2022-01-27 苏州浪潮智能科技有限公司 数据快照方法、装置、计算机设备及存储介质
US11907076B2 (en) 2020-07-21 2024-02-20 Inspur Suzhou Intelligent Technology Co., Ltd. Data snapshot method and apparatus, computer device, and storage medium
CN113138722A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 用于分布式块存储系统的复制快照方法、系统和介质
CN113138722B (zh) * 2021-04-30 2024-01-12 北京百度网讯科技有限公司 用于分布式块存储系统的复制快照方法、系统和介质
CN116204124A (zh) * 2023-02-23 2023-06-02 安超云软件有限公司 一种基于冲突锁的数据处理方法、系统及电子设备
CN116204124B (zh) * 2023-02-23 2024-03-22 安超云软件有限公司 一种基于冲突锁的数据处理方法、系统及电子设备

Also Published As

Publication number Publication date
EP3588330A4 (en) 2020-12-02
US11455276B2 (en) 2022-09-27
WO2018153251A1 (zh) 2018-08-30
EP3588330A1 (en) 2020-01-01
CN108460045B (zh) 2022-11-18
US20210133146A1 (en) 2021-05-06
AU2021204579A1 (en) 2021-07-29
AU2018223401A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN108460045A (zh) 一种快照的处理方法及分布式块存储系统
US10657153B2 (en) User initiated replication in a synchronized object replication system
US9606740B2 (en) System, method and computer program product for synchronizing data written to tape including writing an index into a data partition
CN103365743B (zh) 用于在计算环境中处理快照的方法和系统
US8099569B2 (en) Storage system and data migration method
US7627612B2 (en) Methods and apparatus for optimal journaling for continuous data replication
CN106919471B (zh) 用于快照建立的方法和系统
WO2014068617A1 (en) Storage apparatus and method for controlling storage apparatus
EP3206128B1 (en) Data storage method, data storage apparatus, and storage device
US9396198B2 (en) Computer system, file management method and metadata server
US20140344222A1 (en) Method and apparatus for replication size estimation and progress monitoring
US20060047926A1 (en) Managing multiple snapshot copies of data
CN105528368A (zh) 一种数据库迁移方法及装置
WO2011128935A1 (en) Data storage network system and its control method
CN104583966B (zh) 用于去重复文件系统的备份和恢复系统以及对应的服务器和方法
US20170139831A1 (en) Intelligent snapshot point-in-time management in object storage
CN109558213A (zh) 管理OpenStack平台的虚拟机快照的方法和装置
US20230132278A1 (en) File data access method, apparatus, and computer-readable storage medium
CN110147296A (zh) 数据处理方法、装置、设备及可读存储介质
JP5729479B2 (ja) 仮想テープ装置及び仮想テープ装置の制御方法
JPWO2007099636A1 (ja) ファイルシステム移行方法、ファイルシステム移行プログラム及びファイルシステム移行装置
US7496724B2 (en) Load balancing in a mirrored storage system
CN110134551A (zh) 一种持续数据保护方法及装置
US11620198B2 (en) Exchanging extended attributes between different cluster sites in a clustered filesystem environment
CN108241557A (zh) Hdfs中数据备份的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant