CN111046004A - 一种数据文件存储方法、装置、设备及存储介质 - Google Patents

一种数据文件存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111046004A
CN111046004A CN201911347653.6A CN201911347653A CN111046004A CN 111046004 A CN111046004 A CN 111046004A CN 201911347653 A CN201911347653 A CN 201911347653A CN 111046004 A CN111046004 A CN 111046004A
Authority
CN
China
Prior art keywords
available
domain
copy
copy space
disaster tolerance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911347653.6A
Other languages
English (en)
Other versions
CN111046004B (zh
Inventor
郭琰
周智伟
韩朱忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN201911347653.6A priority Critical patent/CN111046004B/zh
Publication of CN111046004A publication Critical patent/CN111046004A/zh
Application granted granted Critical
Publication of CN111046004B publication Critical patent/CN111046004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1727—Details of free space management performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Abstract

本发明实施例公开了一种数据文件存储方法、装置、设备及存储介质。该方法包括：划分数据文件，得到数据文件区块，如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。与现有技术相比，本发明实施例在正常可用容灾域的基础上，充分利用了故障可用容灾域中的可用副本空间，弥补了正常可用容灾域中可用副本空间数不足的缺陷，既实现了数据文件的存储，又提高了副本空间的利用率。

Description

一种数据文件存储方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据文件存储方法、装置、设备及存储介质。
背景技术
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，节点可简单的理解为一台计算机。分布式文件系统可以将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，有效地解决了数据的存储和管理难题。
存储节点用于提供数据存储服务，存储数据文件。容灾域是一组存储节点的逻辑组合。分布式文件系统中通常采用多副本的方式来提高数据的可靠性，即把数据文件按照固定的区块大小划分为多个区块，每个区块以多副本的方式存储在不同的容灾域中。对于同一个区块来说，该区块对应的各副本中的数据相同。
现有的存储方式仅考虑正常可用容灾域，即当正常可用容灾域中存储节点上的可用副本空间数小于该数据文件对应的副本数时，认为该数据文件无法存储。正常可用容灾域为包含正常存储节点，且正常存储节点上存在可用副本空间的容灾域，可用副本空间为可以存储副本的存储区域。这种存储方式具有一定的局限性，降低了副本空间的利用率，也影响了数据文件的存储。
发明内容
本发明实施例提供一种数据文件存储方法、装置、设备及存储介质，以解决现有技术中因正常可用容灾域中可用副本空间数不足而无法存储数据文件的问题。
第一方面，本发明实施例提供了一种数据文件存储方法，包括：
划分数据文件，得到数据文件区块，所述数据文件包括文件副本；
如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数；
将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
第二方面，本发明实施例还提供了一种数据文件存储装置，该装置包括：
划分模块，用于划分数据文件，得到数据文件区块，所述数据文件包括文件副本；
目标副本空间数确定模块，用于如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数；
存储模块，用于将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的数据文件存储方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据文件存储方法。
本发明实施例提供一种数据文件存储方法、装置、设备及存储介质，通过划分数据文件，得到数据文件区块，所述数据文件包括文件副本，如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。与现有技术相比，本发明实施例在正常可用容灾域的基础上，充分利用了故障可用容灾域中的可用副本空间，弥补了正常可用容灾域中可用副本空间数不足的缺陷，既实现了数据文件的存储，又提高了副本空间的利用率。
附图说明
图1为本发明实施例一提供的一种数据文件存储方法的流程图；
图2为本发明实施例二提供的一种数据文件存储方法的流程图；
图3为本发明实施例二提供的一种数据文件存储方法的实现流程图；
图4为本发明实施例三提供的一种数据文件存储装置的结构图；
图5为本发明实施例四提供的一种设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种数据文件存储方法的流程图，本实施例可适用于在分布式文件系统中存储数据文件的情况，该方法可以由数据文件存储装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在笔记本电脑、掌上电脑等设备中，参考图1，该方法可以包括如下步骤：
S110、划分数据文件，得到数据文件区块。
其中，所述数据文件包括文件副本。实施例对数据文件的获取方式不进行限定，例如可以根据用户发送的文件存储请求获取，文件存储请求中包括数据文件的地址信息，根据该地址信息得到待存储的数据文件。为了便于数据文件的存储和管理，实施例对得到的数据文件划分，得到数据文件区块，每个数据文件区块的大小可以相同，也可以不同。示例性的，数据文件的大小为8M，实施例将数据文件等分为四部分，每部分的大小为2M，即数据文件区块数为4。数据文件区块存储在副本空间中，副本空间位于容灾域的存储节点上。
当某一存储节点无法访问时，为了不影响整个分布式文件系统中数据文件的访问，实施例将数据文件区块以多文件副本的方式存储，每个数据文件区块包含的文件副本的数量可以相同也可以不同，实施例以各数据文件区块包含相同的文件副本数量为例。例如，数据文件A划分为a个数据文件区块，每个数据文件区块包含b个文件副本，则文件副本数为a*b。同一数据文件区块包含的各文件副本中的数据相同。由此，当其中一个文件副本无法访问时，仍然可以访问其他的文件副本，满足数据访问要求。本实施例中数据文件的文件副本即为各数据文件区块的文件副本。
S120、如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数。
容灾域为存储节点的逻辑组合，存储节点包含正常节点、故障节点和失效节点，实施例将可连接且数据有效的存储节点称为正常节点，将当前无法连接，但其恢复连接后可以修复至正常状态的存储节点称为故障节点，将无法修复至正常状态的存储节点称为失效节点。容灾域中各存储节点的状态可以预先获取，实施例对具体的获取过程不进行限定。如果某容灾域中存在正常节点，且该正常节点中存在空闲副本空间，则称该容灾域为正常可用容灾域，其中，空闲副本空间为容灾域中当前未存储文件副本的副本空间。正常可用容灾域中除了可以包含正常节点，还可以包含故障节点和失效节点。如果某容灾域中的所有空闲副本空间均位于故障节点上，则称该容灾域为故障可用容灾域。故障可用容灾域中除了包含故障节点，也可以包含正常节点，但正常节点上不存在空闲副本空间。目标副本空间数与文件副本数匹配，即各容灾域的目标副本空间数之和等于文件副本数。
可选的，第一预设条件为各正常可用容灾域中的可用副本空间数之和小于文件副本数，且大于或等于各所述数据文件区块的最小副本空间数之和。第二预设条件为各正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和大于或等于所述文件副本数。数据文件区块的最小副本空间数为该数据文件区块正常提供读写服务时所需的正常文件副本对应的副本空间数，实施例将可以访问的文件副本称为正常文件副本。在数值上，最小副本空间数与该数据文件区块正常提供读写服务所需的正常文件副本数相同。各数据文件区块对应的最小副本空间数可以根据实际情况预先设定，例如对于数据文件区块数为a的数据文件，当某数据文件区块的正常文件副本数大于或等于1时，即可提供读写服务，则各数据文件区块的最小副本空间数之和为a。再如，当某数据文件区块的正常文件副本数大于等于一半时提供读写服务，则对于数据文件区块数为a，每个数据文件区块包含b个文件副本的数据文件来说，各数据文件区块的最小副本空间数之和为
Figure BDA0002333837490000061
(其中b/2向上取整)。
正常可用容灾域的可用副本空间数的确定过程与故障可用容灾域的可用副本空间数的确定过程类似。以正常可用容灾域的可用副本空间数的确定过程为例，可选的，可以根据正常可用容灾域中当前的空闲副本空间数和数据文件区块数确定各正常可用容灾域的可用副本空间数。假设存在两个正常可用容灾域，分别为容灾域FD1和容灾域FD2，数据文件区块的数量为a，定义t(i)为容灾域FDi当前的空闲副本空间数，例如t(1)＝5，表示容灾域FD1当前的空闲副本空间数为5。具体的，如果t(i)<a，则容灾域FDi当前的可用副本空间数为t(i)，如果t(i)>＝a，则容灾域FDi当前的可用副本空间数为a。示例性的，a＝4，t(1)＝10，t(2)＝3，则容灾域FD1和容灾域FD2的可用副本空间数分别为4、3。
本实施例在各正常可用容灾域中的可用副本空间数之和小于文件副本数，且大于或等于各所述数据文件区块的最小副本空间数之和以及各正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和大于或等于所述文件副本数时，借助故障可用容灾域中故障节点上的可用副本空间。与传统方式相比，弥补了正常可用容灾域中可用副本空间数不足的缺陷。
需要说明的是，故障可用容灾域中的故障节点虽然在一定程度上认为可修复，但也有可能因无法修复而转换为失效节点，因此在存储文件副本时，应优先存储在正常可用容灾域的可用副本空间中，将剩余的文件副本存储在故障可用容灾域的可用副本空间中。还需要说明的是，当利用故障可用容灾域存储时，应尽量保证各故障可用容灾域剩余的可用副本空间数相同。
示例性的，数据文件区块数为4，文件副本数为12，各数据文件区块的最小副本空间数之和为4，正常可用容灾域包括容灾域FD1和容灾域FD2，当前的空闲副本空间数分别为10和4，则容灾域FD1和容灾域FD2的可用副本空间数均为4，可用副本空间数之和为8，介于4和12之间，此时需要考虑故障可用容灾域中的可用副本空间。假设存在两个故障可用容灾域，分别为容灾域FD3和容灾域FD4，当前的空闲副本空间数均为4，则可用副本空间数据均为4，四个容灾域的可用副本空间数之和为16，大于12，因此可以存储该数据文件。实施例对目标副本空间数的确定过程不进行限定。可选的，四个容灾域的目标副本空间数分别为4、4、2、2。
S130、将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
示例性的，该数据文件划分为四个数据文件区块，每个数据文件区块以3个文件副本的方式存储，文件副本数为4*3＝12，容灾域FD1和容灾域FD2为正常可用容灾域，容灾域FD3和容灾域FD4为故障可用容灾域，各容灾域的目标副本空间数分别为4、4、2、2。为了便于描述，实施例分别对四个数据文件区块编号，记为1号、2号、3号和4号，每个数据文件区块中的文件副本分别记为1号、2号和3号。
存储时可以将四个数据文件区块中的1号文件副本分别存储至容灾域FD1中的四个可用副本空间，即容灾域FD1中存储的文件副本分别为1-1、2-1、3-1和4-1，将四个数据文件区块中的2号文件副本分别存储至容灾域FD2中的四个可用副本空间，即容灾域FD2中的四个可用副本空间存储的文件副本分别为1-2、2-2、3-2和4-2，将1号数据文件区块中的3号文件副本和2号数据文件区块中的3号文件副本分别存储至容灾域FD3中的两个可用副本空间，即容灾域FD3中的两个可用副本空间存储的文件副本分别为1-3和2-3，将3号数据文件区块中的3号文件副本和4号数据文件区块中的3号文件副本分别存储至容灾域FD4中的两个可用副本空间，即容灾域FD4中的两个可用副本空间存储的文件副本分别为3-3和4-3。其中，1-1表示1号数据文件区块中的1号文件副本，1-2表示1号数据文件区块中的2号文件副本，其他也是类似，从而保证了同一个数据文件区块的多个文件副本分别存储在不同的容灾域中，当其中一个文件副本无法访问时，还可以访问其他容灾域中的文件副本。
本发明实施例一提供一种数据文件存储方法，通过划分数据文件，得到数据文件区块，所述数据文件包括文件副本，如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各故障可用容灾域以及各所述正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。与现有技术相比，本发明实施例在正常可用容灾域的基础上充分利用了故障可用容灾域中的副本空间，弥补了正常可用容灾域中可用副本空间数不足的缺陷，既实现了数据文件的存储，又提高了副本空间的利用率。
实施例二
图2为本发明实施例二提供的一种数据文件存储方法的流程图，本实施例是在上述实施例的基础上进行优化，参考图2，该方法包括如下步骤：
S210、划分数据文件，得到数据文件区块。
S220、各所述正常可用容灾域的可用副本空间数之和是否小于文件副本数，若是，执行S230，否则，执行S280。
S230、各所述正常可用容灾域的可用副本空间数之和是否大于或等于各所述数据文件区块的最小副本空间数之和，若是，执行S240，否则，执行S290。
可选的，本实施例的第三预设条件为各所述正常可用容灾域的可用副本空间数之和小于文件副本数，且小于各所述数据文件区块的最小副本空间数之和。相应的，如果各正常可用容灾域的可用副本空间数满足第三预设条件，则向用户返回所述数据文件存储失败的提示信息。
S240、将各所述正常可用容灾域的可用副本空间数作为各所述正常用容灾域的目标副本空间数。
示例性的，文件副本数为12，各数据文件区块的最小副本空间数之和为4，正常可用容灾域包括容灾域FD1和容灾域FD2，容灾域FD1和容灾域FD2的可用副本空间数分别4和4，则容灾域FD1和容灾域FD2的目标副本空间数分别为4和4。
S250、各所述正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和是否大于或等于所述文件副本数，若是，执行S260，否则，执行S290。
S260、根据所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差、排序后各所述故障可用容灾域当前的空闲副本空间数以及可用副本空间数，确定排序后各所述故障可用容灾域的目标副本空间数。
本实施例在确定故障可用容灾域的目标副本空间数之前，先根据各故障可用容灾域当前的空闲副本空间数对各故障可用容灾域降序排列。可选的，可以通过如下方式确定各故障可用容灾域的目标副本空间数：
将排序后的首个故障可用容灾域记为当前容灾域；
将所述当前容灾域的可用副本空间数记为所述当前容灾域的初始目标副本空间数；
将所述当前容灾域的空闲副本空间数与初始目标副本空间数的差值记为所述当前容灾域的剩余副本空间数；
如果后续故障可用容灾域的空闲副本空间数大于所述剩余副本空间数，则将所述后续故障可用容灾域的空闲副本空间数与所述剩余副本空间数的差值记为所述后续故障可用容灾域的初始目标副本空间数；否则将所述后续故障可用容灾域的初始目标副本空间数记为0；
若各故障可用容灾域的初始目标副本空间数之和小于所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，将所述当前容灾域的可用副本空间数确定为所述当前容灾域的目标副本空间数，将下一个故障可用容灾域作为当前容灾域，并重复上述过程；否则按照回退规则减少所述当前容灾域和后续故障可用容灾域中初始目标副本空间的数量。
假设排序后的故障可用容灾域分别为容灾域FD3和容灾域FD4，将容灾域FD3作为当前容灾域，文件副本数为12，容灾域FD1和容灾域FD2的目标副本空间数均为4，则文件副本数与正常可用容灾域的目标副本空间数之和的差为4，即需要在故障可用容灾域中确定4个目标副本空间。示例性的，容灾域FD3的可用副本空间数为4，当前的空闲副本空间数为4，将容灾域FD3作为当前容灾域，则容灾域FD3的初始目标副本空间数为4，容灾域FD3的剩余副本空间数为0，如果容灾域FD4的空闲副本空间数为4，大于容灾域FD3的剩余副本空间数，则容灾域FD4的初始目标副本空间数为4，两个容灾域的初始目标副本数累加和为8，大于4，则需要减少容灾域FD3和容灾域FD4中初始目标副本空间的数量，其中，初始目标副本空间数为各容灾域在最新一次循环迭代计算过程中的数量。
可选的，可以通过如下方式减少当前容灾域和后续故障可用容灾域中初始目标副本空间的数量：
根据目标副本空间数、初始目标副本空间数以及文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数；
根据所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数以及所述当前容灾域和后续故障可用容灾域的数量，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间分别减少的数量，得到所述当前容灾域和后续故障可用容灾域的目标副本空间数。
假设故障可用容灾域的数量为n，最后一个存储文件副本的故障可用容灾域为FDn，最新一次循环迭代中当前容灾域为FDi，则需要减少初始目标副本空间数的故障可用容灾域的数量为n-i+1，需要减少的初始目标副本空间的总数为R*-R1，其中，R*为容灾域FDi之前的故障可用容灾域的目标副本空间数与容灾域FDi及容灾域FDi的后续故障可用容灾域的初始目标副本空间数累加和，R1为文件副本数与各正常可用容灾域的目标副本空间数之和的差，则从容灾域FDi开始，每个故障可用容灾域需要减少的初始目标副本空间的数量为[(R*-R1)/(n-i+1)]，其中，[]表示取整。
示例性的，文件副本数为12，R1＝4。如上所述，容灾域FD3和容灾域FD4的初始目标副本空间数之和R*＝8，大于R1，则容灾域FD3和容灾域FD4中需要减少的初始目标副本空间的数量均为2，由此确定容灾域FD3和容灾域FD4的目标副本空间数分别为2、2。需要说明的是，当容灾域FDi之前不存在其他的容灾域时，将容灾域FDi之前的容灾域的目标副本空间数记为0，例如容灾域FD3和容灾域FD4，R*等于容灾域FD3和容灾域FD4的初始目标副本空间数之和。
S270、将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
可选的，按照排序后各正常可用容灾域的目标副本空间数，将所述数据文件区块中的文件副本存储到各目标副本空间数对应的正常可用容灾域中，直至各所述正常可用容灾域中的目标副本空间存储结束；
按照排序后各故障可用容灾域的目标副本空间数，将剩余的文件副本存储至各目标副本空间数对应的故障可用容灾域中。
如上所述，容灾域FD1、容灾域FD2、容灾域FD3和容灾域FD4的目标副本空间数分别为4、4、2、2，按照先正常可用容灾域后故障可用容灾域的顺序存储，将12个文件副本分别存储在各容灾域中。示例性的，参考表1，表1为各文件副本的存储结果。
表1各文件副本的存储结果
1号文件副本 2号文件副本 3号文件副本
1号数据文件区块 FD1 FD2 FD3
2号数据文件区块 FD1 FD2 FD3
3号数据文件区块 FD1 FD2 FD4
4号数据文件区块 FD1 FD2 FD4
通过表1可以看出同一数据文件区块的三个文件副本分别存储在不同的容灾域，当某一文件副本无法访问时，由于同一数据文件区块的文件副本相同，仍可以通过访问其他的容灾域访问该文件副本对应的数据。
S280、根据所述文件副本数、各所述正常可用容灾域当前的空闲副本空间数以及各所述正常可用容灾域的可用副本空间数，确定各所述正常可用容灾域中与所述文件副本数匹配的目标副本空间数。
当正常可用容灾域的可用副本空间数之和大于或等于文件副本数时，各正常可用容灾域的目标副本空间数的确定过程与各故障可用容灾域的目标副本空间数的确定过程类似，此处不再赘述。
S290、向用户返回所述数据文件存储失败的提示信息。
示例性的，参考图3，图3为本发明实施例二提供的一种数据文件存储方法的实现流程图。具体的，划分数据文件，得到a个数据文件区块，每个数据文件区块包含b个文件副本，则文件副本的总数R＝a*b，根据各正常可用容灾域当前的空闲副本空间数对各正常可用容灾域降序排列，并确定各正常可用容灾域的可用副本空间数之和R’，如果R’>＝R，则直接在正常可用容灾域中分配各文件副本，如果R’<R，进一步比较a个数据文件区块所需的最小副本空间数之和R～与R’的大小，如果R’<R～，向用户返回数据文件存储失败的提示信息，如果R’>＝R～，确定各正常可用容灾域的目标副本空间数，并确定排序后各故障可用容灾域的可用副本数之和R”，如果R’+R”<R，向用户返回数据文件存储失败的提示信息，如果R’+R”>＝R，则确定各故障可用容灾域的目标副本空间数。各容灾域的目标副本空间数确定后，按照顺序存储各文件副本，使得同一数据文件区块的文件副本分布在不同的容灾域中。
本发明实施例二提供数据文件存储方法，在上述实施例的基础上，当正常可用容灾域中可用副本空间的数量不足时，充分利用故障可用容灾域的可用副本空间，既提高了存储空间的利用率，又完成了数据文件的存储。
实施例三
图4为本发明实施例三提供的一种数据文件存储装置的结构图，该装置可以执行上述实施例所述的数据文件存储方法，参考图4，该装置包括：
划分模块310，用于划分数据文件，得到数据文件区块，所述数据文件包括文件副本；
目标副本空间数确定模块320，用于如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各故障可用容灾域以及各所述正常可用容灾域的目标副本空间数；
存储模块330，用于将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
本发明实施例三提供一种数据文件存储装置，通过划分数据文件，得到数据文件区块，所述数据文件包括文件副本，如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。与现有技术相比，本发明实施例在正常可用容灾域的基础上，充分利用了故障可用容灾域中的可用副本空间，弥补了正常可用容灾域中可用副本空间数不足的缺陷，既实现了数据文件的存储，又提高了副本空间的利用率。
在上述实施例的基础上，目标副本空间数确定模块320，包括：
第一目标副本空间数确定单元，用于如果各所述正常可用容灾域的可用副本空间数之和小于文件副本数，且大于或等于各所述数据文件区块的最小副本空间数之和，将各所述正常可用容灾域的可用副本空间数作为各所述正常用容灾域的目标副本空间数；
第二目标副本空间数确定单元，用于当各所述正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和大于或等于所述文件副本数时，根据所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差、排序后各所述故障可用容灾域当前的空闲副本空间数以及可用副本空间数，确定排序后各所述故障可用容灾域的目标副本空间数。
在上述实施例的基础上，第二目标副本空间数确定单元，具体用于：
将排序后的首个故障可用容灾域记为当前容灾域；
将所述当前容灾域的可用副本空间数记为所述当前容灾域的初始目标副本空间数；
将所述当前容灾域的空闲副本空间数与初始目标副本空间数的差值记为所述当前容灾域的剩余副本空间数；
如果后续故障可用容灾域的空闲副本空间数大于所述剩余副本空间数，则将所述后续故障可用容灾域的空闲副本空间数与所述剩余副本空间数的差值记为所述后续故障可用容灾域的初始目标副本空间数；否则将所述后续故障可用容灾域的初始目标副本空间数记为0；
若各故障可用容灾域的初始目标副本空间数之和小于所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，将所述当前容灾域的可用副本空间数确定为所述当前容灾域的目标副本空间数，将下一个故障可用容灾域作为当前容灾域，并重复上述过程；否则按照回退规则减少所述当前容灾域和后续故障可用容灾域中初始目标副本空间的数量。
在上述实施例的基础上，所述按照回退规则减少所述当前容灾域和后续故障可用容灾域中初始目标副本空间的数量，包括：
根据目标副本空间数、初始目标副本空间数以及文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数；
根据所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数以及所述当前容灾域和后续故障可用容灾域的数量，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间分别减少的数量，得到所述当前容灾域和后续故障可用容灾域的目标副本空间数。
在上述实施例的基础上，存储模块330，具体用于：
按照排序后各正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本存储到各目标副本空间数对应的正常可用容灾域中，直至各所述正常可用容灾域中的目标副本空间存储结束；
按照排序后各故障可用容灾域的目标副本空间数，将剩余的文件副本存储至各目标副本空间数对应的故障可用容灾域中。
在上述实施例的基础上，该装置还包括：
提示模块，用于如果各正常可用容灾域中的可用副本空间数满足第三预设条件；或者，各正常可用容灾域中的可用副本空间数满足第一预设条件，各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和不满足第二预设条件，向用户返回所述数据文件存储失败的提示信息。
本发明实施例三所提供的数据文件存储装置可执行本发明上述实施例所提供的数据文件存储方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种设备的结构图，参考图5，该设备包括：该设备包括：处理器410、存储器420、输入装置430和输出装置440，设备中处理器410的数量可以是一个或多个，图5中以一个处理器410为例，设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的数据文件存储方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述实施例的数据文件存储方法。
存储器420主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备、扬声器以及蜂鸣器等音频设备。
本发明实施例提供的设备与上述实施例提供的数据文件存储方法属于同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行数据文件存储方法相同的有益效果。
实施例五
本发明实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述实施例所述的数据文件存储方法。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数据文件存储方法中的操作，还可以执行本申请任意实施例所提供的数据文件存储方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明上述实施例所述的数据文件存储方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据文件存储方法，其特征在于，包括：
划分数据文件，得到数据文件区块，所述数据文件包括文件副本；
如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数；
将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
2.根据权利要求1所述的方法，其特征在于，如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各故障可用容灾域以及各所述正常可用容灾域中与所述文件副本数匹配的目标副本空间数，包括：
如果各所述正常可用容灾域的可用副本空间数之和小于文件副本数，且大于或等于各所述数据文件区块的最小副本空间数之和，将各所述正常可用容灾域的可用副本空间数作为各所述正常用容灾域的目标副本空间数；
当各所述正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和大于或等于所述文件副本数时，根据所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差、排序后各所述故障可用容灾域当前的空闲副本空间数以及可用副本空间数，确定排序后各所述故障可用容灾域的目标副本空间数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差、排序后各所述故障可用容灾域当前的空闲副本空间数以及可用副本空间数，确定排序后各所述故障可用容灾域的目标副本空间数，包括：
将排序后的首个故障可用容灾域记为当前容灾域；
将所述当前容灾域的可用副本空间数记为所述当前容灾域的初始目标副本空间数；
将所述当前容灾域的空闲副本空间数与初始目标副本空间数的差值记为所述当前容灾域的剩余副本空间数；
如果后续故障可用容灾域的空闲副本空间数大于所述剩余副本空间数，则将所述后续故障可用容灾域的空闲副本空间数与所述剩余副本空间数的差值记为所述后续故障可用容灾域的初始目标副本空间数；否则将所述后续故障可用容灾域的初始目标副本空间数记为0；
若各故障可用容灾域的初始目标副本空间数之和小于所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，将所述当前容灾域的可用副本空间数确定为所述当前容灾域的目标副本空间数，将下一个故障可用容灾域作为当前容灾域，并重复上述过程；否则按照回退规则减少所述当前容灾域和后续故障可用容灾域中初始目标副本空间的数量。
4.根据权利要求3所述的方法，其特征在于，所述按照回退规则减少所述当前容灾域和后续故障可用容灾域中初始目标副本空间的数量，包括：
根据目标副本空间数、初始目标副本空间数以及文件副本数与各所述正常可用容灾域的目标副本空间数之和的差，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数；
根据所述当前容灾域和后续故障可用容灾域中初始目标副本空间待减少的总数以及所述当前容灾域和后续故障可用容灾域的数量，确定所述当前容灾域和后续故障可用容灾域中初始目标副本空间分别减少的数量，得到所述当前容灾域和后续故障可用容灾域的目标副本空间数。
5.根据权利要求1所述的方法，其特征在于，所述将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中，包括：
按照排序后各正常可用容灾域的目标副本空间数，将所述数据文件区块的文件副本存储到各目标副本空间数对应的正常可用容灾域中，直至各所述正常可用容灾域中的目标副本空间存储结束；
按照排序后各故障可用容灾域的目标副本空间数，将剩余的文件副本存储至各目标副本空间数对应的故障可用容灾域中。
6.根据权利要求1所述的方法，其特征在于，还包括：
如果各正常可用容灾域中的可用副本空间数满足第三预设条件；或者，各正常可用容灾域中的可用副本空间数满足第一预设条件，各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和不满足第二预设条件，向用户返回所述数据文件存储失败的提示信息。
7.一种数据文件存储装置，其特征在于，包括：
划分模块，用于划分数据文件，得到数据文件区块，所述数据文件包括文件副本；
目标副本空间数确定模块，用于如果各正常可用容灾域中的可用副本空间数满足第一预设条件并且各正常可用容灾域中的可用副本空间数与各故障可用容灾域的可用副本空间数的和满足第二预设条件，确定各所述故障可用容灾域以及各所述正常可用容灾域的目标副本空间数；
存储模块，用于将所述数据文件区块的文件副本分别存储到各目标副本空间数对应的容灾域中。
8.根据权利要求7所述的装置，其特征在于，所述目标副本空间数确定模块，包括：
第一目标副本空间数确定单元，用于如果各所述正常可用容灾域的可用副本空间数之和小于文件副本数，且大于或等于各所述数据文件区块的最小副本空间数之和，将各所述正常可用容灾域的可用副本空间数作为各所述正常用容灾域的目标副本空间数；
第二目标副本空间数确定单元，用于当各所述正常可用容灾域的可用副本空间数与各故障可用容灾域的可用副本空间数的和大于或等于所述文件副本数时，根据所述文件副本数与各所述正常可用容灾域的目标副本空间数之和的差、排序后各所述故障可用容灾域当前的空闲副本空间数以及可用副本空间数，确定排序后各所述故障可用容灾域的目标副本空间数。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的数据文件存储方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的数据文件存储方法。
CN201911347653.6A 2019-12-24 2019-12-24 一种数据文件存储方法、装置、设备及存储介质 Active CN111046004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347653.6A CN111046004B (zh) 2019-12-24 2019-12-24 一种数据文件存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347653.6A CN111046004B (zh) 2019-12-24 2019-12-24 一种数据文件存储方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111046004A true CN111046004A (zh) 2020-04-21
CN111046004B CN111046004B (zh) 2020-07-31

Family

ID=70238830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347653.6A Active CN111046004B (zh) 2019-12-24 2019-12-24 一种数据文件存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111046004B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929438A (zh) * 2021-02-04 2021-06-08 中国工商银行股份有限公司 一种双站点分布式数据库的业务处理方法及装置
CN113485868A (zh) * 2021-02-04 2021-10-08 厦门蓝极档案技术有限公司 一种残损档案修复方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201768A (zh) * 2006-12-11 2008-06-18 北京北大方正电子有限公司 数据保存的方法和模块、数据恢复的方法和模块
CN109101662A (zh) * 2018-09-18 2018-12-28 百度在线网络技术（北京）有限公司 区块生成方法、装置、设备及存储介质
CN109426586A (zh) * 2017-08-25 2019-03-05 中兴通讯股份有限公司 一种数据文件修复方法、设备及计算机可读存储介质
CN110019086A (zh) * 2017-11-06 2019-07-16 中兴通讯股份有限公司 基于分布式文件系统的多副本读取方法、设备及存储介质
US20190349429A1 (en) * 2017-03-17 2019-11-14 Verizon Patent And Licensing Inc. Deploying and managing containers to provide a highly available distributed file system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201768A (zh) * 2006-12-11 2008-06-18 北京北大方正电子有限公司 数据保存的方法和模块、数据恢复的方法和模块
US20190349429A1 (en) * 2017-03-17 2019-11-14 Verizon Patent And Licensing Inc. Deploying and managing containers to provide a highly available distributed file system
CN109426586A (zh) * 2017-08-25 2019-03-05 中兴通讯股份有限公司 一种数据文件修复方法、设备及计算机可读存储介质
CN110019086A (zh) * 2017-11-06 2019-07-16 中兴通讯股份有限公司 基于分布式文件系统的多副本读取方法、设备及存储介质
CN109101662A (zh) * 2018-09-18 2018-12-28 百度在线网络技术（北京）有限公司 区块生成方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUXIA CHENG 等: "A practical cross-datacenter fault-tolerance algorithm in the cloud storage system", 《CLUSTER COMOUTING》 *
刘小俊 等: "智慧城市云存储系统中的副本量控制策略研究", 《武汉大学学报（信息科学版）》 *
刘美利: "从上世纪80年代到今天，达梦数据库技术架构演进与应用全纪录", 《HTTP://BLOG.ITPUB.NET/31542119/VIEWSPACE-2199574/》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929438A (zh) * 2021-02-04 2021-06-08 中国工商银行股份有限公司 一种双站点分布式数据库的业务处理方法及装置
CN113485868A (zh) * 2021-02-04 2021-10-08 厦门蓝极档案技术有限公司 一种残损档案修复方法及装置
CN112929438B (zh) * 2021-02-04 2022-09-13 中国工商银行股份有限公司 一种双站点分布式数据库的业务处理方法及装置

Also Published As

Publication number Publication date
CN111046004B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110659151B (zh) 数据校验方法及装置，存储介质
CN108829738B (zh) 一种ceph中数据存储方法及装置
CN111046004B (zh) 一种数据文件存储方法、装置、设备及存储介质
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN112835885B (zh) 一种分布式表格存储的处理方法、装置及系统
CN111125240B (zh) 一种分布式事务实现方法、装置、电子设备及存储介质
CN108897858B (zh) 分布式集群索引分片的评估方法及装置、电子设备
CN111124751B (zh) 数据恢复方法及系统、数据存储节点、数据库管理节点
CN110764705B (zh) 一种数据的读写方法、装置、设备和存储介质
CN107547605B (zh) 一种基于节点队列的消息读写方法及节点设备
CN112463058A (zh) 一种碎片数据整理方法、装置及存储节点
CN108804568B (zh) 一种Openstack中副本数据在ceph中存储方法及装置
CN111371583B (zh) 服务器的扩容方法及装置、服务器、存储介质
CN108846009B (zh) 一种ceph中副本数据存储方法及装置
CN116540938A (zh) 数据读取方法、装置、分布式存储系统、设备和存储介质
CN115934354A (zh) 在线存储方法和装置
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN111090629B (zh) 一种数据文件存储方法、装置、设备及存储介质
CN112269665B (zh) 内存的处理方法和装置、电子设备和存储介质
CN115827745A (zh) 内存数据库集群的实现方法、装置及内存数据库集群
CN113572747A (zh) 一种ip地址的处理方法、装置、存储介质和处理器
CN107102898B (zh) 一种基于numa架构的内存管理、构建数据结构的方法及装置
CN112311832B (zh) 一种任务处理方法、系统及节点
WO2022156099A1 (zh) 主机升级方法、装置、电子设备和存储介质
CN115016738A (zh) 一种数据迁移的方法、装置、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant