CN112269772A - 一种文件部署方法、系统、设备及计算机可读存储介质 - Google Patents
一种文件部署方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112269772A CN112269772A CN202011195097.8A CN202011195097A CN112269772A CN 112269772 A CN112269772 A CN 112269772A CN 202011195097 A CN202011195097 A CN 202011195097A CN 112269772 A CN112269772 A CN 112269772A
- Authority
- CN
- China
- Prior art keywords
- target
- deployment
- file
- information
- copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文件部署方法、系统、设备及计算机可读存储介质，获取待部署至分布式存储系统中的目标文件；确定对目标文件进行冗余备份的各个目标副本；确定各个目标副本在分布式存储系统的预设存储池中的部署信息；按照部署信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。本申请中，分布式存储系统的各个冗余备份方式对应的副本共用预设存储池，避免了单个冗余备份方式独自占用一个存储池的情况，可以提高存储池的利用率，此外，本申请实现了共用存储池下多副本融合部署，降低了分布式存储系统进行文件部署时的资源消耗量。
Description
技术领域
本申请涉及分布式存储技术领域，更具体地说，涉及一种文件部署方法、系统、设备及计算机可读存储介质。
背景技术
分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在分布式存储系统的应用过程中，为了保证文件的完整，需要对文件做冗余备份，比如文件以2+1(2个数据副本和1个仲裁副本)的分布方式保存在存储池中，或者文件以3+2(3个数据副本和2个仲裁副本)的分布方式保存在存储池中等，其中，数据副本用于保存文件的备份内容，仲裁副本用于保存文件的元数据信息，虽然分布式存储系统可以有多种文件冗余方式，但每种冗余方式需要单独占用存储池，使得分布式存储系统进行文件部署时的资源消耗量较大。
综上所述，如何降低分布式存储系统进行文件部署时的资源消耗量是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种文件部署方法，其能在一定程度上解决如何降低分布式存储系统进行文件部署时的资源消耗量的技术问题。本申请还提供了一种文件部署系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种文件部署方法，包括：
获取待部署至分布式存储系统中的目标文件；
确定对所述目标文件进行冗余备份的各个目标副本；
确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息；
按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中；
其中，所述分布式存储系统提供第一预设数量的冗余备份方式，且各个所述冗余备份方式对应的副本共用所述预设存储池。
优选的，所述确定各个所述目标副本在预设存储池中的部署信息之后，还包括：
基于所述目标文件、所述目标副本及所述部署信息生成所述目标文件的目标元数据信息；
将所述目标元数据信息存储至所述分布式存储系统的元数据存储空间。
优选的，所述将所述目标元数据信息存储至所述分布式存储系统的元数据存储空间之后，还包括：
响应读取所述目标文件的读取指令；
在所述元数据存储空间中读取所述目标元数据信息；
基于所述目标元数据信息确定所述目标文件对应的所述目标副本及所述部署信息；
按照所述部署信息，在所述预设存储池中读取所述目标副本；
基于所述目标副本确定所述目标文件并返回。
优选的，所述元数据存储空间中元数据的冗余备份方式为所述预设存储池中文件的最高级冗余备份方式。
优选的，所述预设存储池包括第二预设数量的磁盘；
所述确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息，包括：
确定各个所述目标副本在所述预设存储池中的部署磁盘；
基于所述部署磁盘的标识信息生成所述部署信息。
优选的，所述按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中，包括：
按照所述部署信息生成对应的路由信息；
基于所述路由信息，将对应的所述目标副本部署至所述预设存储池中。
优选的，所述确定对所述目标文件进行冗余备份的各个目标副本，包括：
获取表征所述目标文件重要程度的目标指标信息；
按照预设的指标信息与所述冗余备份方式间的对应关系，确定所述目标指标信息对应的目标冗余备份方式；
基于所述目标文件及所述目标冗余备份方式，确定各个所述目标副本。
一种文件部署系统，包括：
目标文件获取模块，用于获取待部署至分布式存储系统中的目标文件；
目标副本确定模块，用于确定对所述目标文件进行冗余备份的各个目标副本；
部署信息确定模块，用于确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息；
目标副本部署模块，用于按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中；
其中，所述分布式存储系统提供第一预设数量的冗余备份方式，且各个所述冗余备份方式对应的副本共用所述预设存储池。
一种文件部署设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述文件部署方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述文件部署方法的步骤。
本申请提供的一种文件部署方法，获取待部署至分布式存储系统中的目标文件；确定对目标文件进行冗余备份的各个目标副本；确定各个目标副本在分布式存储系统的预设存储池中的部署信息；按照部署信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。本申请中，分布式存储系统的各个冗余备份方式对应的副本共用预设存储池，避免了单个冗余备份方式独自占用一个存储池的情况，可以提高存储池的利用率，此外，本申请按照部署信息，将目标文件对应的目标副本部署至预设存储池中，由于各个副本均有自己的部署信息，所以无论哪种冗余备份方式，本申请均可以实现文件部署，再者还可以借助部署信息确定副本在预设存储池中的部署位置，实现了共用存储池下多副本融合部署，降低了分布式存储系统进行文件部署时的资源消耗量。本申请提供的一种文件部署系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种文件部署方法的流程图；
图2为本申请实施例提供的一种文件部署方法的第二流程图；
图3为本申请实施例提供的一种文件部署方法的第三流程图；
图4为文件部署示意图；
图5为分布式存储系统的结构图；
图6为本申请实施例提供的文件部署系统的结构示意图；
图7为本申请实施例提供的一种文件部署设备的结构示意图；
图8为本申请实施例提供的一种文件部署设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种文件部署方法的流程图。
本申请实施例提供的一种文件部署方法，可以包括以下步骤：
步骤S101：获取待部署至分布式存储系统中的目标文件。
实际应用中，可以先获取目标文件，目标文件也即需要部署至分布式存储系统中的文件，目标文件的类型可以根据实际需要确定，比如目标文件可以为音频文件、视频文件、加密信息文件等。
步骤S102：确定对目标文件进行冗余备份的各个目标副本。
实际应用中，在将文件部署至分布式存储系统的过程中，为了保证文件完整性，需要对文件进行冗余备份，以在文件丢失的情况下，通过冗余备份的文件进行恢复，也即在获取待部署至分布式存储系统中的目标文件之后，需确定对目标文件进行冗余备份的各个目标副本，目标副本也即按照冗余备份方式生成的与目标文件对应的副本，目标副本可以包括数据副本和仲裁副本等，且对目标文件进行冗余备份的方式可以根据实际需要确定，比如可以由用户直接在分布式存储系统支持的冗余备份方式中进行选择等。
步骤S103：确定各个目标副本在分布式存储系统的预设存储池中的部署信息。
实际应用中，在确定对目标文件进行冗余备份的各个目标副本之后，便需要将各个目标副本部署至分布式存储系统的预设存储池中，以便将目标文件落盘，在此过程中，可以先确定各个目标副本在预设存储池中的部署信息，部署信息的内容可以根据实际需要确定，比如部署信息可以包括部署位置、部署时间等。
步骤S104：按照部署信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
实际应用中，在确定各个目标副本在分布式存储系统的预设存储池中的部署信息之后，便可以按照部署信息，将对应的目标副本部署至预设存储池中，以便真正将目标副本落盘。
应当指出，本申请中，分布式存储系统支持的冗余备份方式有第一预设数量类，第一预设数量为大于等于2的值，其具体值可以根据实际需要确定，比如第一预设数量可以2，此时冗余备份方式可以为2副本冗余备份方式、3副本冗余备份方式等；且各个冗余备份方式对应的副本共用预设存储池，也即各个冗余备份方式的副本均保存在预设存储池中，无需再分池进行存储，以2副本冗余备份方式和3副本冗余备份方式为例，假设2种冗余备份方式对应的副本各自占用一个存储池，则分池存储的情况下，只有2副本冗余备份方式的文件才能应用2副本冗余备份方式占用的存储池，而本申请可以使得3副本冗余备份方式的副本也可以使用2副本冗余备份方式占用的存储池，提高存储池的资源利用率，降低分布式存储系统文件部署时的资源消耗量。
本申请提供的一种文件部署方法，获取待部署至分布式存储系统中的目标文件；确定对目标文件进行冗余备份的各个目标副本；确定各个目标副本在分布式存储系统的预设存储池中的部署信息；按照部署信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。本申请中，分布式存储系统的各个冗余备份方式对应的副本共用预设存储池，避免了单个冗余备份方式独自占用一个存储池的情况，可以提高存储池的利用率，此外，本申请按照部署信息，将目标文件对应的目标副本部署至预设存储池中，由于各个副本均有自己的部署信息，所以无论哪种冗余备份方式，本申请均可以实现文件部署，再者还可以借助部署信息确定副本在预设存储池中的部署位置，实现了共用存储池下多副本融合部署，降低了分布式存储系统进行文件部署时的资源消耗量。
请参阅图2，图2为本申请实施例提供的一种文件部署方法的第二流程图。
本申请实施例提供的一种文件部署方法，可以包括以下步骤：
步骤S201：获取待部署至分布式存储系统中的目标文件。
步骤S202：确定对目标文件进行冗余备份的各个目标副本。
步骤S203：确定各个目标副本在分布式存储系统的预设存储池中的部署信息。
步骤S204：按照部署信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
步骤S205：基于目标文件、目标副本及部署信息生成目标文件的目标元数据信息。
步骤S206：将目标元数据信息存储至分布式存储系统的元数据存储空间。
实际应用中，为了便于确定目标文件在分布式存储系统中的存储信息，可以基于目标文件、目标副本及部署信息生成目标文件的目标元数据信息，并将目标元数据信息存储至分布式存储系统的元数据存储空间中，以借助元数据信息快速确定文件的相应存储信息。
应当指出，目标元数据信息中可以包括目标文件的标识信息、目标副本的数量、目标副本对应的部署信息等；且在元数据存储空间中，可以不设置目标结果，直接将元数据信息存储在元数据存储空间的根目录下等。
步骤S207：响应读取目标文件的读取指令。
实际应用中，在将目标文件部署至分布式存储系统中之后，可能还需要读取目标文件，此时，本申请可以先响应接收的读取目标文件的读取指令，以便执行后续的文件读取操作。
步骤S208：在元数据存储空间中读取目标元数据信息。
实际应用中，在响应读取目标文件的读取指令之后，便可以在元数据存储空间中读取目标元数据信息，以便后续根据目标元数据信息在预设存储池中读取目标文件。
步骤S209：基于目标元数据信息确定目标文件对应的目标副本及部署信息。
步骤S210：按照部署信息，在预设存储池中读取目标副本；基于目标副本确定目标文件并返回。
实际应用中，在元数据存储空间中读取目标元数据信息之后，便可以基于目标元数据信息确定目标文件对应的目标副本及部署信息，并按照部署信息，在预设存储池中读取目标副本，最后基于目标副本确定目标文件并返回。
应当指出，具体应用场景中，为了便于对各类冗余备份方式对应的副本进行管理，本申请中还可以设置各类冗余备份方式对应的副本的管理器，借助管理器对对应的副本进行管理，相应的，按照部署信息，将对应的目标副本部署至预设存储池中的过程中，可以通过目标文件的冗余备份方式对应的管理器，按照部署信息，将对应的目标副本部署至预设存储池中，在按照部署信息，在预设存储池中读取目标副本的过程中，可以通过目标文件的冗余备份方式对应的管理器，按照部署信息，在预设存储池中读取目标副本。
实际应用中，为了保证元数据的完整性，也需要对元数据进行冗余备份，本申请中，为了保证元数据的最高冗余备份需求，元数据存储空间中元数据的冗余备份方式为预设存储池中文件的最高级冗余备份方式，为了便于理解，以2副本冗余备份方式和3副本冗余备份方式为例，假设元数据存储空间中元数据的冗余备份方式为2副本冗余备份方式，则需求为3副本冗余备份方式的元数据便无法实现容错能力为2，因为此时元数据存储空间的容错能力只为1，所以为了保证元数据的最高冗余备份需求，元数据存储空间中元数据的冗余备份方式需要为预设存储池中文件的最高级冗余备份方式。
应当指出，虽然元数据存储空间中元数据的冗余备份方式需要为预设存储池中文件的最高级冗余备份方式，会使得元数据存储空间中部分元数据进行了多余备份，但是由于元数据的数据量较少，所以多余备份并不会大量占用元数据存储空间的存储。
请参阅图3，图3为本申请实施例提供的一种文件部署方法的第三流程图。
本申请实施例提供的一种文件部署方法，可以包括以下步骤：
步骤S301：获取待部署至分布式存储系统中的目标文件。
步骤S302：确定对目标文件进行冗余备份的各个目标副本。
步骤S303：确定各个目标副本在预设存储池中的部署磁盘；基于部署磁盘的标识信息生成部署信息。
实际应用中，分布式存储系统的预设存储池可以包括第二预设数量的磁盘，也即预设存储池可以由第二预设数量的磁盘组成，此时可以以磁盘为单位快速确定目标副本的部署信息，也即确定各个目标副本在分布式存储系统的预设存储池中的部署信息的过程可以具体为：确定各个目标副本在预设存储池中的部署磁盘；基于部署磁盘的标识信息生成部署信息。
步骤S304：按照部署信息生成对应的路由信息；基于路由信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
实际应用中，目标副本在分布式存储系统中的生成位置及部署位置一般不在一起，那么目标副本如何生成位置到达部署位置的便是一个需要考虑的问题，为了解决该问题，便于目标副本由生成位置达到部署位置，在按照部署信息，将对应的目标副本部署至预设存储池中的过程中，可以按照部署信息生成对应的路由信息；基于路由信息，将对应的目标副本部署至预设存储池中。此时，目标文件的目标元数据信息中也可以包括路由信息。
为了便于理解，现结合图4来对本实施例的上述过程进行描述，在图4中，假设目标文件有两个，且两个目标文件的冗余备份方式分别为3副本冗余备份方式和2副本冗余备份方式，且假设3副本冗余备份方式的数据副本用深灰色正方形块表示，3副本冗余备份方式的仲裁副本用深灰色平行四边形块表示，假设2副本冗余备份方式的数据副本用浅灰色正方形块表示，2副本冗余备份方式的仲裁副本用浅灰色平行四边形块表示，各个目标副本对应的部署磁盘如图4所示，则3副本冗余备份方式的目标文件的路由信息可以为【1,7,19,13,25】，2副本冗余备份方式的目标文件的理由信息可以为【1,16,27】，其中，路由信息中的数字表示磁盘的标号。
此外，应用指出，2副本冗余备份方式需要保存两份数据，数据空间占用为目标文件大小的两倍，且2副本冗余备份方式下，分布式存储系统中任意一台主机或者任意一个磁盘故障的情况下，文件仍能正常访问，但故障的主机或者磁盘数大于1的话，便无法正常访问文件，仍以图4为例，当主机A或者主机A上搭载文件副本的磁盘故障时，此时集群中可访问到的副本数为2个，分别分布在主机B和主机C上，剩余副本数量为2，大于总副本数3个的一半，因此剩余的数据副本仍可用，但此时再有任意一台主机或者磁盘损坏的话，就会使集群可访问到的副本数量降为1，小于3的一半，剩余的数据副本将不再可用；同理，3副本冗余备份方式需要保存三份数据，数据空间占用为目标文件大小的三倍，且3副本冗余备份方式下，分布式存储系统中任意两台主机或者任意两个磁盘故障的情况下，文件仍能正常访问，但故障的主机或者磁盘数大于2的话，便无法正常访问文件。
本申请实施例提供的一种文件部署方法中，在确定对目标文件进行冗余备份的各个目标副本的过程中，可以根据目标文件的重要程度来确定目标文件的目标副本，比如可以获取表征目标文件重要程度的目标指标信息；按照预设的指标信息与冗余备份方式间的对应关系，确定目标指标信息对应的目标冗余备份方式；基于目标文件及目标冗余备份方式，确定各个目标副本。
当然，还可以有其他方式来确定对目标文件进行冗余备份的各个目标副本，本申请在此不做具体限定。
为了便于理解，现结合具体实施例来对本申请提供的文件部署方法进行描述，假设分布式存储系统的结构如图5所示，包括路由模块、元数据中心、数据中心、存储池，则本申请提供的文件部署方法可以包括以下步骤：
获取待部署至分布式存储系统中的目标文件；
确定对目标文件进行冗余备份的各个目标副本；
确定各个目标副本在预设存储池中的部署磁盘；基于部署磁盘的标识信息生成部署信息；
按照部署信息生成对应的路由信息；
通过路由模块，将路由信息、目标副本发送至数据中心内对应的副本处理模块；
通过副本处理模块，基于路由信息，将对应的目标副本部署至预设存储池中；其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池；
基于目标文件、目标副本、路由信息生成目标文件的目标元数据信息；
将目标元数据信息存储至元数据中心；
接收并响应读取目标文件的读取指令；
在元数据中心读取目标元数据信息；
基于目标元数据信息确定目标文件对应的目标副本及路由信息；
在数据中心，按照路由信息，在预设存储池中读取目标副本；基于目标副本确定目标文件并返回。
请参阅图6，图6为本申请实施例提供的文件部署系统的结构示意图。
本申请实施例提供的一种文件部署系统，可以包括：
目标文件获取模块101，用于获取待部署至分布式存储系统中的目标文件；
目标副本确定模块102，用于确定对目标文件进行冗余备份的各个目标副本；
部署信息确定模块103，用于确定各个目标副本在分布式存储系统的预设存储池中的部署信息；
目标副本部署模块104，用于按照部署信息，将对应的目标副本部署至预设存储池中；
其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
本申请实施例提供的一种文件部署系统，还可以包括：
元数据生成模块，用于部署信息确定模块确定各个目标副本在预设存储池中的部署信息之后，基于目标文件、目标副本及部署信息生成目标文件的目标元数据信息；
元数据存储模块，用于将目标元数据信息存储至分布式存储系统的元数据存储空间。
本申请实施例提供的一种文件部署系统，还可以包括：
读指令响应模块，用于元数据存储模块将目标元数据信息存储至分布式存储系统的元数据存储空间之后，响应读取目标文件的读取指令；
元数据读取模块，用于在元数据存储空间中读取目标元数据信息；
信息确定模块，用于基于目标元数据信息确定目标文件对应的目标副本及部署信息；
副本读取模块，用于按照部署信息，在预设存储池中读取目标副本；
文件确定模块，用于基于目标副本确定目标文件并返回。
本申请实施例提供的一种文件部署系统，元数据存储空间中元数据的冗余备份方式为预设存储池中文件的最高级冗余备份方式。
本申请实施例提供的一种文件部署系统，预设存储池包括第二预设数量的磁盘；
部署信息确定模块可以包括：
部署磁盘确定单元，用于确定各个目标副本在预设存储池中的部署磁盘；
部署信息确定单元，用于基于部署磁盘的标识信息生成部署信息。
本申请实施例提供的一种文件部署系统，目标副本部署模块可以包括：
路由信息生成单元，用于按照部署信息生成对应的路由信息；
目标副本部署单元，用于基于路由信息，将对应的目标副本部署至预设存储池中。
本申请实施例提供的一种文件部署系统，目标副本确定模块可以包括：
指标信息获取单元，用于获取表征目标文件重要程度的目标指标信息；
冗余备份方式确定单元，用于按照预设的指标信息与冗余备份方式间的对应关系，确定目标指标信息对应的目标冗余备份方式；
目标副本确定单元，用于基于目标文件及目标冗余备份方式，确定各个目标副本。
本申请还提供了一种文件部署设备及计算机可读存储介质，其均具有本申请实施例提供的一种文件部署方法具有的对应效果。请参阅图7，图7为本申请实施例提供的一种文件部署设备的结构示意图。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：
获取待部署至分布式存储系统中的目标文件；
确定对目标文件进行冗余备份的各个目标副本；
确定各个目标副本在分布式存储系统的预设存储池中的部署信息；
按照部署信息，将对应的目标副本部署至预设存储池中；
其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：确定各个目标副本在预设存储池中的部署信息之后，基于目标文件、目标副本及部署信息生成目标文件的目标元数据信息；将目标元数据信息存储至分布式存储系统的元数据存储空间。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将目标元数据信息存储至分布式存储系统的元数据存储空间之后，响应读取目标文件的读取指令；在元数据存储空间中读取目标元数据信息；基于目标元数据信息确定目标文件对应的目标副本及部署信息；按照部署信息，在预设存储池中读取目标副本；基于目标副本确定目标文件并返回。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：元数据存储空间中元数据的冗余备份方式为预设存储池中文件的最高级冗余备份方式。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：预设存储池包括第二预设数量的磁盘；确定各个目标副本在预设存储池中的部署磁盘；基于部署磁盘的标识信息生成部署信息。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：按照部署信息生成对应的路由信息；基于路由信息，将对应的目标副本部署至预设存储池中。
本申请实施例提供的一种文件部署设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取表征目标文件重要程度的目标指标信息；按照预设的指标信息与冗余备份方式间的对应关系，确定目标指标信息对应的目标冗余备份方式；基于目标文件及目标冗余备份方式，确定各个目标副本。
请参阅图8，本申请实施例提供的另一种文件部署设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现文件部署设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取待部署至分布式存储系统中的目标文件；
确定对目标文件进行冗余备份的各个目标副本；
确定各个目标副本在分布式存储系统的预设存储池中的部署信息；
按照部署信息，将对应的目标副本部署至预设存储池中；
其中，分布式存储系统提供第一预设数量的冗余备份方式，且各个冗余备份方式对应的副本共用预设存储池。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：确定各个目标副本在预设存储池中的部署信息之后，基于目标文件、目标副本及部署信息生成目标文件的目标元数据信息；将目标元数据信息存储至分布式存储系统的元数据存储空间。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将目标元数据信息存储至分布式存储系统的元数据存储空间之后，响应读取目标文件的读取指令；在元数据存储空间中读取目标元数据信息；基于目标元数据信息确定目标文件对应的目标副本及部署信息；按照部署信息，在预设存储池中读取目标副本；基于目标副本确定目标文件并返回。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：元数据存储空间中元数据的冗余备份方式为预设存储池中文件的最高级冗余备份方式。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：预设存储池包括第二预设数量的磁盘；确定各个目标副本在预设存储池中的部署磁盘；基于部署磁盘的标识信息生成部署信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：按照部署信息生成对应的路由信息；基于路由信息，将对应的目标副本部署至预设存储池中。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取表征目标文件重要程度的目标指标信息；按照预设的指标信息与冗余备份方式间的对应关系，确定目标指标信息对应的目标冗余备份方式；基于目标文件及目标冗余备份方式，确定各个目标副本。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的文件部署系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的文件部署方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种文件部署方法，其特征在于，包括：
获取待部署至分布式存储系统中的目标文件；
确定对所述目标文件进行冗余备份的各个目标副本；
确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息；
按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中；
其中，所述分布式存储系统提供第一预设数量的冗余备份方式，且各个所述冗余备份方式对应的副本共用所述预设存储池。
2.根据权利要求1所述的方法，其特征在于，所述确定各个所述目标副本在预设存储池中的部署信息之后，还包括：
基于所述目标文件、所述目标副本及所述部署信息生成所述目标文件的目标元数据信息；
将所述目标元数据信息存储至所述分布式存储系统的元数据存储空间。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标元数据信息存储至所述分布式存储系统的元数据存储空间之后，还包括：
响应读取所述目标文件的读取指令；
在所述元数据存储空间中读取所述目标元数据信息；
基于所述目标元数据信息确定所述目标文件对应的所述目标副本及所述部署信息；
按照所述部署信息，在所述预设存储池中读取所述目标副本；
基于所述目标副本确定所述目标文件并返回。
4.根据权利要求2所述的方法，其特征在于，所述元数据存储空间中元数据的冗余备份方式为所述预设存储池中文件的最高级冗余备份方式。
5.根据权利要求1所述的方法，其特征在于，所述预设存储池包括第二预设数量的磁盘；
所述确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息，包括：
确定各个所述目标副本在所述预设存储池中的部署磁盘；
基于所述部署磁盘的标识信息生成所述部署信息。
6.根据权利要求5所述的方法，其特征在于，所述按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中，包括：
按照所述部署信息生成对应的路由信息；
基于所述路由信息，将对应的所述目标副本部署至所述预设存储池中。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述确定对所述目标文件进行冗余备份的各个目标副本，包括：
获取表征所述目标文件重要程度的目标指标信息；
按照预设的指标信息与所述冗余备份方式间的对应关系，确定所述目标指标信息对应的目标冗余备份方式；
基于所述目标文件及所述目标冗余备份方式，确定各个所述目标副本。
8.一种文件部署系统，其特征在于，包括：
目标文件获取模块，用于获取待部署至分布式存储系统中的目标文件；
目标副本确定模块，用于确定对所述目标文件进行冗余备份的各个目标副本；
部署信息确定模块，用于确定各个所述目标副本在所述分布式存储系统的预设存储池中的部署信息；
目标副本部署模块，用于按照所述部署信息，将对应的所述目标副本部署至所述预设存储池中；
其中，所述分布式存储系统提供第一预设数量的冗余备份方式，且各个所述冗余备份方式对应的副本共用所述预设存储池。
9.一种文件部署设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述文件部署方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文件部署方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011195097.8A CN112269772A (zh) | 2020-10-30 | 2020-10-30 | 一种文件部署方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011195097.8A CN112269772A (zh) | 2020-10-30 | 2020-10-30 | 一种文件部署方法、系统、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112269772A true CN112269772A (zh) | 2021-01-26 |
Family
ID=74345653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011195097.8A Pending CN112269772A (zh) | 2020-10-30 | 2020-10-30 | 一种文件部署方法、系统、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112269772A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112929438A (zh) * | 2021-02-04 | 2021-06-08 | 中国工商银行股份有限公司 | 一种双站点分布式数据库的业务处理方法及装置 |
| CN114115726A (zh) * | 2021-10-25 | 2022-03-01 | 浙江大华技术股份有限公司 | 文件存储方法、终端设备和计算机可读存储介质 |
| CN114443332A (zh) * | 2021-12-24 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种存储池的检测方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164177A (zh) * | 2011-03-11 | 2011-08-24 | 浪潮(北京)电子信息产业有限公司 | 一种集群共享存储池的方法、装置及系统 |
| CN104424052A (zh) * | 2013-09-11 | 2015-03-18 | 杭州信核数据科技有限公司 | 一种自动冗余的分布式存储系统及方法 |
| US20170075771A1 (en) * | 2015-09-10 | 2017-03-16 | International Business Machines Corporation | Backup and restoration of file system |
| CN108196978A (zh) * | 2017-12-22 | 2018-06-22 | 新华三技术有限公司 | 数据存储方法、装置、数据存储系统及可读存储介质 |
| CN109407977A (zh) * | 2018-09-25 | 2019-03-01 | 佛山科学技术学院 | 一种大数据分布式存储管理方法及系统 |
| US20190163374A1 (en) * | 2017-11-28 | 2019-05-30 | Entit Software Llc | Storing data objects using different redundancy schemes |
-
2020
- 2020-10-30 CN CN202011195097.8A patent/CN112269772A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164177A (zh) * | 2011-03-11 | 2011-08-24 | 浪潮(北京)电子信息产业有限公司 | 一种集群共享存储池的方法、装置及系统 |
| CN104424052A (zh) * | 2013-09-11 | 2015-03-18 | 杭州信核数据科技有限公司 | 一种自动冗余的分布式存储系统及方法 |
| US20170075771A1 (en) * | 2015-09-10 | 2017-03-16 | International Business Machines Corporation | Backup and restoration of file system |
| US20190163374A1 (en) * | 2017-11-28 | 2019-05-30 | Entit Software Llc | Storing data objects using different redundancy schemes |
| CN108196978A (zh) * | 2017-12-22 | 2018-06-22 | 新华三技术有限公司 | 数据存储方法、装置、数据存储系统及可读存储介质 |
| CN109407977A (zh) * | 2018-09-25 | 2019-03-01 | 佛山科学技术学院 | 一种大数据分布式存储管理方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112929438A (zh) * | 2021-02-04 | 2021-06-08 | 中国工商银行股份有限公司 | 一种双站点分布式数据库的业务处理方法及装置 |
| CN112929438B (zh) * | 2021-02-04 | 2022-09-13 | 中国工商银行股份有限公司 | 一种双站点分布式数据库的业务处理方法及装置 |
| CN114115726A (zh) * | 2021-10-25 | 2022-03-01 | 浙江大华技术股份有限公司 | 文件存储方法、终端设备和计算机可读存储介质 |
| CN114115726B (zh) * | 2021-10-25 | 2024-04-19 | 浙江大华技术股份有限公司 | 文件存储方法、终端设备和计算机可读存储介质 |
| CN114443332A (zh) * | 2021-12-24 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种存储池的检测方法、装置、电子设备及存储介质 |
| CN114443332B (zh) * | 2021-12-24 | 2024-01-09 | 苏州浪潮智能科技有限公司 | 一种存储池的检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107807794B (zh) | 一种数据存储方法和装置 | |
| CN112269772A (zh) | 一种文件部署方法、系统、设备及计算机可读存储介质 | |
| US8473462B1 (en) | Change tracking for shared disks | |
| US8930501B2 (en) | Distributed data storage system and method | |
| CN102938784A (zh) | 应用于分布式存储系统中的数据存储方法和系统 | |
| CN105874428B (zh) | 用于多个操作系统环境中的操作系统转变的技术 | |
| EP3761564A1 (en) | Master/standby container system switch | |
| CN114637475A (zh) | 一种分布式存储系统控制方法、装置及可读存储介质 | |
| CN110704161B (zh) | 虚拟机创建方法、装置及计算机设备 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 | |
| CN104461768A (zh) | 副本存储装置及副本存储方法 | |
| CN113282564B (zh) | 数据存储方法、系统、节点和存储介质 | |
| CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
| CN109032788B (zh) | 预留资源池动态调度方法、装置、计算机设备及存储介质 | |
| US20200174683A1 (en) | Method and system for delivering message in storage system | |
| CN104517067A (zh) | 访问数据的方法、装置及系统 | |
| US9348513B2 (en) | SAS virtual tape drive | |
| CN107239235B (zh) | 一种多控多活raid同步方法及系统 | |
| CN116389233B (zh) | 容器云管理平台主备切换系统、方法、装置和计算机设备 | |
| CN111414240B (zh) | 内核态进程复制方法以及装置、容器扩容方法以及装置 | |
| CN105068896A (zh) | 基于raid备份的数据处理方法及装置 | |
| US11188258B2 (en) | Distributed storage system | |
| CN107045426B (zh) | 一种多副本读取方法和系统 | |
| US20170242605A1 (en) | Guid partition table based hidden data store system | |
| CN108681494A (zh) | 备份数据还原方法、装置、用户设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |