CN112596959A - 分布式存储集群数据备份方法及装置 - Google Patents
分布式存储集群数据备份方法及装置 Download PDFInfo
- Publication number
- CN112596959A CN112596959A CN202011642337.4A CN202011642337A CN112596959A CN 112596959 A CN112596959 A CN 112596959A CN 202011642337 A CN202011642337 A CN 202011642337A CN 112596959 A CN112596959 A CN 112596959A
- Authority
- CN
- China
- Prior art keywords
- file
- version
- name
- deletion
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012986 modification Methods 0.000 claims abstract description 67
- 230000004048 modification Effects 0.000 claims abstract description 67
- 238000012217 deletion Methods 0.000 claims description 77
- 230000037430 deletion Effects 0.000 claims description 77
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储集群数据备份方法及装置，可以用于金融领域或其他技术领域，该方法包括：获取源集群的文件修改信息；确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件；获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。本发明能在对源集群的文件进行修改、删除以及新增时对文件版本进行备份，有效的提高了分布式存储集中文件的安全性。
Description
技术领域
本发明分布式存储技术领域，具体而言，涉及一种分布式存储集群数据备份方法及装置。
背景技术
分布式存储作为一种大容量廉价的存储解决方案，具有高可扩展性、高可靠以及接口简单等优点，相比于传统存储具有明显的优势，非常适合于存放海量非结构化数据。目前被广泛应用于存放票据影像、视频监控、静态文件及备份归档等场景。目前分布式存储集群在出现文件误修改时会影响业务的正常运行，而目前的分布式存储集群无法在文件误修改时将文件回退到修改之前，因此现有技术急需一种能够针对分布式存储集群文件误修改的处理方法。
发明内容
本发明为了解决上述背景技术中的技术问题，提出了一种分布式存储集群数据备份方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种分布式存储集群数据备份方法，该方法包括：
获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据；
确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件；
获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；
根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
可选的，该分布式存储集群数据备份方法还包括：
获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间；
根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
可选的，该分布式存储集群数据备份方法还包括：
获取源集群的文件新增信息，其中，所述文件新增信息包括：新增文件的名称及新增文件数据；
根据所述新增文件数据以及预设的初始版本号生成所述新增文件的名称对应的版本文件，并将所述新增文件的名称对应的版本文件存储在所述存储桶中。
可选的，版本文件包含：文件修改时间；该分布式存储集群数据备份方法，还包括：
若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外，则删除该版本文件。
可选的，所述文件修改信息还包括：文件修改时间；
所述根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，包括：
根据所述修改后的文件数据、所述文件修改时间以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件。
可选的，该分布式存储集群数据备份方法，还包括：
若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且在所述存储桶中还存在该版本文件对应的文件对应的其他版本文件，则删除该版本文件。
为了实现上述目的，根据本发明的另一方面，提供了一种分布式存储集群数据备份装置，该装置包括：
文件修改信息获取单元，用于获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据；
版本文件确定单元，用于确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件；
版本号确定单元，用于获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；
版本文件生成单元，用于根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
可选的，该分布式存储集群数据备份装置还包括：
文件删除信息获取单元，用于获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间；
删除标志文件生成单元，用于根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
可选的，版本文件包含：文件修改时间；该分布式存储集群数据备份装置，还包括：
过期删除单元，用于当所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外时，删除该版本文件。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式存储集群数据备份方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述分布式存储集群数据备份方法中的步骤。
本发明的有益效果为：本发明通过预设的存储桶对源集群中的各文件各自对应的版本文件进行备份，并在对源集群中的文件进行修改时生成并存储新的版本文件，在文件误修改时可以根据存储桶中的版本文件回退到之前版本，在集群损坏时也可以根据存储桶中各文件各自对应的版本文件进行集群文件恢复，有效的提高了分布式存储集文件的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例分布式存储集群数据备份方法的第一流程图；
图2是本发明实施例分布式存储集群数据备份方法的第二流程图；
图3是本发明应用场景图；
图4是本发明实施例过期文件删除示意图；
图5是本发明实施例分布式存储集群数据备份装置的第一结构框图；
图6是本发明实施例分布式存储集群数据备份装置的第二结构框图；
图7是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，本发明的分布式存储集群数据备份方法及装置可以应用于金融领域，也可以应用于其他技术领域。
图3是本发明应用场景图，如图3所示，本发明的应用场景包含源集群和备份集群，备份集群用于对源集群中的文件进行备份。源集群和备份集群均为分布式数据存储集群。备份集群可以与源集群为同城或异地园区，备份集群优选采用与源集群同类型的集群。如若为不同类型或不同厂商提供的集群，则至少要保证两者能够实现数据实时同步。
如果源集群的规模较小，或源集群规模较大但仅针对某些少量的数据(部分文件)进行备份，出于节约成本的考虑，可以仅建设小规模备份集群；如果需备份的数据较多，或者备份保留的时间较长，副本数较多，则可以一次建设较大的备份集群。本发明可选的可以采用多套不同的源集群对接同一套备份集群。也可以采用一套源集群对接多套备份集群以形成更高的保护级别。
在本发明实施例中，备份集群可以单独作为备份使用，也可以作为其他应用的源集群用来存放数据，但是源集群和备份集群不可以为同一集群。
本发明在备份集群中创建一个存储桶，存储桶用于存储源集群中的每个文件各自对应的版本文件。在本发明实施例中，存储桶的配额应大于源集群中待备份文件的总大小，具体数据可以根据使用情况来决定，对于不经常修改的文件，可以在1倍到2倍之间；对于文件经常修改的场景，则应该是数倍于源集群的待备份文件的总大小。若有多个源集群，在创建存储桶，应做命名区分。源集群与备份集群的存储桶建立有远程复制桶级映射。
如图3所示，源集群中包含多个文件，例如图3中的文件A、文件B及文件C。备份集群中的存储桶用于存储源集群中各文件的版本文件。在本发明实施例中，随着不断的对文件进行修改源集群中的每个文件可用存在多个对应的版本文件，例如图3中存储桶中的文件A包括版本1和版本2两个版本文件。在本发明实施例中，每次对源集群中的文件进行修改后，都会在存储桶中生成一个新的版本文件，存储桶会对文件的多个版本文件进行较为持久的保存。需要说明的是，本发明的文件修改指的是用修改后的文件数据替换原文件数据。本发明由于远程复制是异步实时复制，因此，即使源集群故障导致数据暂时或永久无法使用，依然可以在备份集群中找到所有数据。
针对文件删除的情况，本发明在对源集群中的文件进行删除后，会在存储桶生成该文件对应的删除标志文件，该删除标志文件实际为一个0字节的特殊文件，因此即使源集群的文件被误删除，依然可以在备份集群中通过之前的版本进行恢复。
针对文件新增的情况，本发明在源集群中新增一个文件后，会在存储桶生成该新增文件对应的版本文件。之后对源集群中的该新增文件进行每次修改后，都会在存储桶中生成一个该新增文件对应的新的版本文件。同样，之后对源集群中的该新增文件进行删除后，也会在存储桶生成该新增文件对应的删除标志文件。图1是本发明实施例分布式存储集群数据备份方法的第一流程图，实施主体可以为图3中的备份集群，如图1所示，本实施例的分布式存储集群数据备份方法包括步骤S101至步骤S104。
步骤S101，获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据。
在本发明可选实施例中，本步骤可以为备份集群主动获取源集群的文件修改信息，也可以为源集群在发生文件修改后主动向备份集群发送文件修改信息。在本发明实施例中，修改目标文件的名称为源集群中文件的文件名，例如图3中的文件A等。
步骤S102，确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件。
在本发明实施例中，存储桶中存储有源集群中每个文件各自对应的版本文件，每个文件各自对应的版本文件可以有多个，其中，版本文件中标识有文件名称，存储桶中的各版本文件以文件名称进行区分，例如图3中的文件A和文件C。在本发明实施例中，每次对源集群中的文件进行修改后，都会在存储桶中生成一个新的版本文件，
步骤S103，获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号。
在本发明实施例中，为了区分一个文件对应的多个版本文件，每个版本文件上还标识有版本号。可选的，该版本号可以采用现有技术任意一种形式的版本号。在图3所示的实施例中，版本号为数字的形式，例如图3中的版本1、版本2及版本3。
在本发明实施例中，本发明先预设好采用的版本号类型，因此可以直接确定当前的版本号对应的下一个版本号，例如版本3对应的下一个版本号为版本4。
步骤S104，根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
在本发明一个实施例中，本步骤具体可以将所述下一个版本号添加到所述修改后的文件数据上，生成所述修改目标文件的名称对应的版本文件。
在本发明一个实施例中，所述文件修改信息还包括：文件修改时间。本步骤的生成所述修改目标文件的名称对应的版本文件具体为：根据所述修改后的文件数据、所述文件修改时间以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件。即本发明存储桶中的各版本文件都包含文件修改时间。
由此可见，本发明通过预设的存储桶对源集群中的各文件各自对应的版本文件进行备份，并在对源集群中的文件进行修改时生成并存储新的版本文件，在文件误修改时可以根据存储桶中的版本文件回退到之前版本，在集群损坏时也可以根据存储桶中各文件各自对应的版本文件进行集群文件恢复，有效的提高了分布式存储集文件的安全性。
图2是本发明实施例分布式存储集群数据备份方法的第二流程图，实施主体可以为图3中的备份集群，如图2所示，本发明的分布式存储集群数据备份方法还包括步骤S201和步骤S202。
步骤S201，获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间。
步骤S202，根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
针对文件删除的情况，本发明在对源集群中的文件进行删除后，会在存储桶生成该文件对应的删除标志文件，该删除标志文件实际为一个0字节的特殊文件，用于表示源集群中的该文件已经被删除，因此即使源集群的文件被误删除，依然可以在备份集群中通过之前的版本进行恢复。
在本发明实施例中，本发明还对存储桶中过期的版本文件进行删除，以解放存储桶的容量。具体的，本发明预设了文件存储时间范围，进而根据该文件存储时间范围进行过期版本文件删除。在本发明一个可选实施例中，所述文件存储时间范围可以为距当前时间预设时间以内，该预设时间的取值范围可以为2个月至6个月之间。
在本发明一个实施例中，本发明对过期版本文件删除具体包括：若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且在所述存储桶中还存在该版本文件对应的文件对应的其他版本文件，则删除该版本文件。
本发明针对一个文件存在对应的多个版本文件的情况，判断每个版本文件的文件修改时间是否在预设的文件存储时间范围之内，并删除文件修改时间在预设的文件存储时间范围之外的版本文件。
本发明针对一个文件仅存在一个对应的版本文件的情况，即使该版本文件的文件修改时间在预设的文件存储时间范围之外，也不对该版本文件进行删除，防止文件误删。
在本发明一个实施例中，本发明对过期版本文件删除具体还包括：若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外，则删除该版本文件。
本发明针对一个文件存在对应的删除标志文件的情况，即该文件在源集群中曾经被删除过，若该文件的一个版本文件的文件修改时间在预设的文件存储时间范围之外，但是该文件对应的删除标志文件中的文件删除时间在所述文件存储时间范围之内，则不对该文件修改时间在预设的文件存储时间范围之外的版本文件进行删除。若该文件的一个版本文件的文件修改时间在预设的文件存储时间范围之外，同时该文件对应的删除标志文件中的文件删除时间也在所述文件存储时间范围之外，则删除该文件修改时间在预设的文件存储时间范围之外的版本文件。以此有效的避免了由于源集群中的文件被删除时间过长导致存储桶中没有文件备份的情况出现，有助于进一步提高文件的安全性。
在本发明一个实施例中，本发明还对存储桶中的各版本文件进行过期删除，本发明可定期对存储桶内的文件进行逐个排查，删除预设的文件存储时间范围之外的版本文件。但是如果某个文件只有一个版本，则即使已经过期，也不应该将其删除；如果某个文件只有一个版本，并且文件已经被删除，若删除时间已过期，则可以将其删除，若删除时间未过期，则不可删除。如图4所示的实施例。例如假设现在是2020年10月1日，文件存储时间范围为距当前时间2个月以内，即删除两个月之前的版本文件，针对文件A，可删除其中的版本1；针对文件B，则不应该删除；文件C，可以删除文件的所有版本；文件D，不删除。
在本发明一个实施例中，本发明的分布式存储集群数据备份方法，还包括：
获取源集群的文件新增信息，其中，所述文件新增信息包括：新增文件的名称及新增文件数据；
根据所述新增文件数据以及预设的初始版本号生成所述新增文件的名称对应的版本文件，并将所述新增文件的名称对应的版本文件存储在所述存储桶中。
针对文件新增的情况，本发明在源集群中新增一个文件后，会在存储桶生成该新增文件对应的版本文件。
在本发明一个实施例中，上述文件新增信息还包括：文件新增时间。本步骤具体可以根据所述新增文件数据、所述文件新增时间以及预设的初始版本号生成所述新增文件的名称对应的版本文件。
由以上实施例可以看出，本发明的分布式存储集群数据备份方法可以有效的对分布式存储集群中的文件进行保护。该发明基于文件存储的多版本控制、跨区域复制以及过期版本删除，实现文件跨集群实时备份。本发明的方法至少具有以下优点：1)无需额外购买软件，节约成本；2)可实现文件实时备份，时效性高；3)可实现园区级数据保护，数据可靠性高；4)可进一步实现增量备份和多重备份，可广泛应用于分布式对象存储的数据保护场景。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种分布式存储集群数据备份装置，可以用于实现上述实施例所描述的分布式存储集群数据备份方法，如下面的实施例所述。由于分布式存储集群数据备份装置解决问题的原理与分布式存储集群数据备份方法相似，因此分布式存储集群数据备份装置的实施例可以参见分布式存储集群数据备份方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例分布式存储集群数据备份装置的第一结构框图，如图5所示，本发明实施例分布式存储集群数据备份装置包括：
文件修改信息获取单元1，用于获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据；
版本文件确定单元2，用于确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件；
版本号确定单元3，用于获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；
版本文件生成单元4，用于根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
图6是本发明实施例分布式存储集群数据备份装置的第二结构框图，如图6所示，本发明实施例分布式存储集群数据备份装置还包括：
文件删除信息获取单元5，用于获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间；
删除标志文件生成单元6，用于根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
在本发明一个实施例中，版本文件包含：文件修改时间；本发明的分布式存储集群数据备份装置，还包括：
过期删除单元，用于当所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外时，删除该版本文件。
在本发明实施例中，所述文件修改信息还包括：文件修改时间；所述版本文件生成单元4具体根据所述修改后的文件数据、所述文件修改时间以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件。
在本发明一个实施例中，所述过期删除单元，还用于当所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且在所述存储桶中还存在该版本文件对应的文件对应的其他版本文件时，删除该版本文件。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图7所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述分布式存储集群数据备份方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种分布式存储集群数据备份方法，其特征在于，包括：
获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据；
确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件；
获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；
根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
2.根据权利要求1所述的分布式存储集群数据备份方法，其特征在于，还包括：
获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间；
根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
3.根据权利要求1所述的分布式存储集群数据备份方法，其特征在于，还包括：
获取源集群的文件新增信息，其中，所述文件新增信息包括：新增文件的名称及新增文件数据；
根据所述新增文件数据以及预设的初始版本号生成所述新增文件的名称对应的版本文件，并将所述新增文件的名称对应的版本文件存储在所述存储桶中。
4.根据权利要求2所述的分布式存储集群数据备份方法，其特征在于，版本文件包含：文件修改时间；
所述分布式存储集群数据备份方法，还包括：
若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外，则删除该版本文件。
5.根据权利要求1所述的分布式存储集群数据备份方法，其特征在于，所述文件修改信息还包括：文件修改时间；
所述根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，包括：
根据所述修改后的文件数据、所述文件修改时间以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件。
6.根据权利要求5所述的分布式存储集群数据备份方法，其特征在于，还包括：
若所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且在所述存储桶中还存在该版本文件对应的文件对应的其他版本文件，则删除该版本文件。
7.一种分布式存储集群数据备份装置，其特征在于，包括：
文件修改信息获取单元，用于获取源集群的文件修改信息，其中，所述文件修改信息包括：修改目标文件的名称及修改后的文件数据；
版本文件确定单元，用于确定所述修改目标文件的名称在预设的存储桶中对应的最新生成的版本文件，其中，所述存储桶用于存储所述源集群中的各文件各自对应的版本文件；
版本号确定单元，用于获取该最新生成的版本文件的版本号，并确定该版本号对应的下一个版本号；
版本文件生成单元，用于根据所述修改后的文件数据以及所述下一个版本号生成所述修改目标文件的名称对应的版本文件，并将所述修改目标文件的名称对应的版本文件存储在所述存储桶中。
8.根据权利要求7所述的分布式存储集群数据备份装置，其特征在于，还包括：
文件删除信息获取单元，用于获取源集群的文件删除信息，其中，所述文件删除信息包括：删除目标文件的名称及文件删除时间；
删除标志文件生成单元，用于根据所述文件删除时间生成所述删除目标文件的名称对应的删除标志文件，并将所述删除标志文件存储在所述存储桶中。
9.根据权利要求8所述的分布式存储集群数据备份装置，其特征在于，版本文件包含：文件修改时间；
所述分布式存储集群数据备份装置，还包括：
过期删除单元，用于当所述存储桶中的版本文件的文件修改时间在预设的文件存储时间范围之外，并且该版本文件对应的文件在所述存储桶中对应的删除标志文件中的文件删除时间在所述文件存储时间范围之外时，删除该版本文件。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011642337.4A CN112596959A (zh) | 2020-12-31 | 2020-12-31 | 分布式存储集群数据备份方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011642337.4A CN112596959A (zh) | 2020-12-31 | 2020-12-31 | 分布式存储集群数据备份方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112596959A true CN112596959A (zh) | 2021-04-02 |
Family
ID=75206720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011642337.4A Pending CN112596959A (zh) | 2020-12-31 | 2020-12-31 | 分布式存储集群数据备份方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112596959A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737466A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250264A (zh) * | 2016-07-12 | 2016-12-21 | 乐视控股（北京）有限公司 | 用于分布式存储的数据恢复方法及系统 |
| CN108459927A (zh) * | 2018-02-28 | 2018-08-28 | 北京奇艺世纪科技有限公司 | 一种数据备份方法、装置和服务器 |
| US20200379957A1 (en) * | 2019-05-30 | 2020-12-03 | Microsoft Technology Licensing, Llc | Efficient clustered persistence |
-
2020
- 2020-12-31 CN CN202011642337.4A patent/CN112596959A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250264A (zh) * | 2016-07-12 | 2016-12-21 | 乐视控股（北京）有限公司 | 用于分布式存储的数据恢复方法及系统 |
| CN108459927A (zh) * | 2018-02-28 | 2018-08-28 | 北京奇艺世纪科技有限公司 | 一种数据备份方法、装置和服务器 |
| US20200379957A1 (en) * | 2019-05-30 | 2020-12-03 | Microsoft Technology Licensing, Llc | Efficient clustered persistence |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737466A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
| CN116737466B (zh) * | 2023-08-15 | 2023-11-03 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9645892B1 (en) | Recording file events in change logs while incrementally backing up file systems | |
| US8285689B2 (en) | Distributed file system and data block consistency managing method thereof | |
| CN109543455B (zh) | 一种区块链的数据归档方法及装置 | |
| US10567542B2 (en) | Method for state based snapshot difference with restart capability | |
| US11093387B1 (en) | Garbage collection based on transmission object models | |
| US10204016B1 (en) | Incrementally backing up file system hard links based on change logs | |
| US10628298B1 (en) | Resumable garbage collection | |
| CN111061769A (zh) | 一种区块链系统的共识方法及相关设备 | |
| CN109522314B (zh) | 基于区块链的数据归档方法及终端设备 | |
| EP3785120B1 (en) | Fast and optimized restore using delta information | |
| CN104978336A (zh) | 基于Hadoop分布式计算平台的非结构化数据存储系统 | |
| CN109753381B (zh) | 一种基于对象存储的持续数据保护方法 | |
| US20160139996A1 (en) | Methods for providing unified storage for backup and disaster recovery and devices thereof | |
| CN113468118B (zh) | 一种基于区块链的文件增量存储方法、装置及存储介质 | |
| CN112596959A (zh) | 分布式存储集群数据备份方法及装置 | |
| US8312237B2 (en) | Automated relocation of in-use multi-site protected data storage | |
| CN110737716A (zh) | 一种数据写入的方法和装置 | |
| CN111143113A (zh) | 复制元数据的方法、电子设备和计算机程序产品 | |
| US10671482B2 (en) | Providing consistency in a distributed data store | |
| CN111143112B (zh) | 用于恢复元数据的方法、设备和计算机可读存储介质 | |
| CN107145501B (zh) | 文件更新方法、文件复制方法以及相应的系统 | |
| CN105550230A (zh) | 分布式存储系统节点故障的侦测方法和装置 | |
| CN115878381A (zh) | 基于srm盘的数据恢复方法及装置、存储介质、电子装置 | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN115421856A (zh) | 一种数据恢复方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |