CN107239480B - 用于分布式文件系统执行重命名操作的方法和设备 - Google Patents
用于分布式文件系统执行重命名操作的方法和设备 Download PDFInfo
- Publication number
- CN107239480B CN107239480B CN201710192717.4A CN201710192717A CN107239480B CN 107239480 B CN107239480 B CN 107239480B CN 201710192717 A CN201710192717 A CN 201710192717A CN 107239480 B CN107239480 B CN 107239480B
- Authority
- CN
- China
- Prior art keywords
- file
- directory
- source
- temporary
- renaming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请的目的是提供一种用于分布式文件系统执行重命名操作的方法和设备，通过对文件的重命名请求进行解析，确定重命名请求是否在同一主节点组列表中，若不在，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；最后，将所述临时文件重命名为目标文件，并删除所述源文件，完成不同主节点组列表之间的文件重命名操作，尽量保持了原有的文件系统的语义，同时上层用户可以无感知的继续使用文件系统。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种用于分布式文件系统执行重命名操作的技术。
背景技术
随着信息技术的不断普及和深入化应用，越来越多的人们习惯使用计算机进行传输以及存储文件。为了区分每个文件的不同以及便于查找文件，每个文件都设定了自己的名称。但通常情况下，同一个文件名是不能标注在两个文件上的，或者在文件名出现冲突的情况下，就需要使用重命名功能。在单机系统或分布式系统中，重命名包括文件名变化的情况，也包括文件路径变化的情况(即文件移动)。在分布式系统中将命名空间进行分布式，使其构成一个联盟(Federation)，从而实现分布式系统的可扩展性。而Federation中进行重命名(Rename)操作只支持同一主节点组列表(volume)上的Rename，而不支持volume间进行的Rename操作。
发明内容
本申请的目的是提供一种用于分布式文件系统执行重命名操作的方法与设备，以解决在不同主节点组列表间进行文件或目录重命名操作的问题。
根据本申请的一个方面，提供了一种用于分布式文件系统执行文件重命名操作的方法，包括：
获取文件重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，并删除所述源文件。
根据本申请的另一个方面，提供了一种用于分布式文件系统执行目录重命名操作的方法，包括：
获取目录重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
根据本申请的又一方面，还提供了一种用于分布式文件系统执行文件重命名操作的设备，包括：
获取文件请求装置，用于获取文件重命名请求，并解析所述重命名请求；
创建临时文件装置，用于当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
数据操作装置，用于基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
删除源文件装置，用于将所述临时文件重命名为目标文件，并删除所述源文件。
根据本申请的再一方面，还提供了一种用于分布式文件系统执行目录重命名操作的设备，包括：
获取目录请求装置，用于获取目录重命名请求，并解析所述重命名请求；
创建临时目录装置，用于当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
数据处理装置，用于扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
删除源目录装置，用于将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
此外，本申请还提供了一种用于分布式文件系统执行文件重命名操作的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取文件重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，并删除所述源文件。
此外，本申请还提供了一种分布式文件系统中执行目录重命名操作的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取目录重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
与现有技术相比，根据本申请一个方面的实施例所述的方法和设备，通过对文件的重命名请求进行解析，确定重命名请求是否在同一主节点组列表中，若不在，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁，通过获取文件锁避免了在重命名过程中有用户写入新的数据；基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；最后，将所述临时文件重命名为目标文件，并删除所述源文件，完成不同主节点组列表之间的文件重命名操作，尽量保持了原有的文件系统的语义，同时上层用户可以无感知的继续使用文件系统。进一步地，通过上述重命名操作仅是元信息的迁移，减少了数据的大量拷贝操作。
进一步地，根据本申请的另一个方面的实施例所述的方法和设备，通过获取目录重命名请求对其进行解析确定是否在同一主节点组列表上，当在不同的主节点组列表时首先获取目录锁，以将目录设置成只读状态并在目标主节点组列表上创建临时目录和在临时目录下创建临时文件；接着，通过获取的源目录锁对源目录进行递归以获取源目录下的所有文件，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；最后，将文件进行重命名操作后将目标主节点组列表上的临时目录重命名成真正的文件，然后删除源目录完成目录的重命名操作，从而完成了在不同主节点组列表之间的目录重命名操作，且过程中避免出现数据丢失同时不影响用户使用。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种用于分布式文件系统执行重命名操作的流程示意图；
图2示出根据本申请一个方面的一种用于分布式文件系统执行文件重命名操作的方法流程示意图；
图3示出根据本申请一个方面的一个优选实施例的步骤S13的流程示意图；
图4示出根据本申请一个方面的一种用于分布式文件系统执行目录重命名操作的方法流程示意图；
图5示出根据本申请一个方面的又一个优选实施例的步骤S23的流程示意图；
图6示出根据本申请再一个方面的一种用于分布式文件系统执行文件重命名操作的设备结构示意图；
图7示出根据本申请再一个方面的一个优选实施例的数据操作装置的结构示意图；
图8示出根据本申请又一个方面的一种用于分布式文件系统执行目录重命名操作的设备结构示意图；
图9示出根据本申请又一个方面的又一个优选实施例的数据处理装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
图1示出根据本申请一个方面的一种用于分布式文件系统执行重命名操作的流程示意图。在一优选实施例中，如盘古(Pangu)文件系统中，重命名操作分为重命名文件和重命名目录，其中，Pangu属于主从节点(Master-Slave)结构，数据的元信息存储在主节点服务器上，真正的数据存储在从节点服务器上。用户可以使用Pangu提供的应用程序接口(API)进行读写数据，对于一个文件，同时只能有一个客户端进行写数据。在系统中执行重命名文件和重命名目录操作时需要调用不同的API来完成，重命名文件应用程序接口(RenameFile API)和重命名目录应用程序接口(RenameDirectory API)。因此，当有重命名请求时，需判断是重命名文件还是重命名目录，基于请求采用不同的方法执行文件重命名操作和目录重命名操作。
需要说明的是，以下用于分布式文件系统执行文件重命名操作的方法和设备中所述的实施例均以Pangu文件系统架构为场景进行说明的，本领域技术人员应能理解，以Pangu文件系统架构为场景的实施例仅为本申请的优选实施例，若其他现有的或今后可能出现的文件系统架构中的重命名操作如采用本申请所述的分布式文件系统执行文件重命名操作的方法和设备，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
图2示出根据本申请一个方面的一种用于分布式文件系统执行文件重命名操作的方法流程示意图。所述方法包括步骤S11、步骤S12、步骤S13和步骤S14，其中，在步骤S11中，获取文件重命名请求，并解析所述重命名请求；在步骤S12中，当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；在步骤S13中，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；在步骤S14中，将所述临时文件重命名为目标文件，并删除所述源文件。
具体地，在步骤S11中，获取文件重命名请求，并解析所述重命名请求。
在此，客户端在收到文件重命名请求后，按照内存中文件所在的主节点组列表(Volume)的路由表对文件进行解析，确定重命名请求是否在相同的Volume上，若是，则客户端发送重命名远程调用(Rename RPC)接口对相应源文件进行重命名即可，若不在同一Volume上，则执行步骤S12。需要说明的是，所述Volume为在命名空间联盟(Federation)中对命名空间分组后，每一组的称谓，为主节点(Master)组的列表，通过列表的查询可知重命名请求是否在同一Volume上进行。
具体地，在步骤S12中，当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁。
在此，当确定重命名请求为不同主节点组列表(Volume)之间的文件重命名请求时，利用Open4Append在源主节点组列表(源Volume)上获取源文件的文件锁，并在目标Volume上创建临时文件并获取临时文件的文件锁。优选地，所述文件锁为可读不可写锁类；只有获取到写锁的进程或线程才可以对文件进行写操作，在文件重命名过程中，获取源文件锁是为了避免在重命名过程中有用户写入了新的数据，但是在重命名后的目标Volume上并没有看到新的数据而造成数据丢失，获取临时文件的锁是为了避免在重命名过程中有用户写数据导致重命名后与源文件中内容不一致。
需要说明的是，所述Open4Append是用于Pangu内部文件打开写的方法，会保证对于同一个文件在同一个时刻只有一个客户端可以进行写操作。本领域技术人员应能理解，所述利用Open4Append获取文件锁的方法仅为本申请的一个举例，其他现有的或今后可能出现的获取文件锁的方法如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
具体地，在步骤S13中，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中。
在此，获取临时文件锁后基于所述源文件的文件类型开始对真实的数据(data)在从节点服务器(数据块存储服务器，chunkserver)的磁盘上进行硬链接(hardlink)或数据复制操作，以将源文件中真实的数据移动到所创建的临时文件中；对不同文件类型中的真实数据对应关联到临时文件的处理方式的不同的目的是：在重命名过程失败，造成源Volume上和目标Volume上都相同的文件，那么用户再写数据后，由于真正的数据在磁盘上进行的硬链接可能造成数据错乱。在一优选实施例中，Pangu文件系统中，文件的元信息存储在Master上，文件的真实数据存储在chunkserver上，创建文件时是只在Master端修改元信息，链接时只是在chunkserver上对数据进行链接；例如，用户写了一个长度为64MB的文件，则文件的长度、创建时间、修改时间。文件名等元信息记录在Master端，而用户的实际数据记录在chunkserver上，当在Volume之间进行文件的移动时，是对实际的数据进行链接，而元信息需要重新创建。
具体地，在步骤S14中，将所述临时文件重命名为目标文件，并删除所述源文件。
在此，在本申请一优选实施例中，优选地，当完成步骤S13后，则进行更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作。在此，当将存储在chunkserver上的真实数据通过硬链接操作和/或数据复制操作对应关联到所述临时文件中后，将临时文件的元信息进行更新，将创建临时文件及对临时文件进行修改等元信息写到目标Volume上的目标主节点设备(目标Master)上，并关闭所述临时文件的当前写操作，如可调用CommitAndClose函数可实现元信息写到目标Volume上，其中，所述CommitAndClose是盘古内部将文件的元信息写到Master端并且将该文件的写关闭掉的函数；随后将已有真实数据的临时文件重命名为目标文件，最后将源Volume上的源文件删除完成不同Volume之间的文件重命名操作。
本申请一实施例所述用于分布式文件系统中执行文件重命名操作的方法，通过在目标Volume上采用先创建一个临时文件，再将临时文件重命名到真正的文件是防止重命名过程中失败，造成目标Volume端有一个残缺的文件，影响用户的使用，而且通过所述方法降低了在两个Volume上出现相同文件的概率，从而避免分布式文件系统中使用文件混乱的情况。
优选地，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；图3示出根据本申请一个方面的一个优选实施例的步骤S13的流程示意图；所述步骤S13包括：步骤S131、步骤S132和步骤S133；其中，在步骤S131中，若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；在步骤S132中，若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；在步骤S133中，若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
在一优选实施例中，例如在盘古文件系统中，文件类型有四种类型：NormalFile、RaidFile、LogFile和RandomAccessFile，其中，所述NormalFile：用户只能追加写，在写完后需要将数据的元信息存储在主节点设备端；所述RaidFile：对数据进行磁盘失效算法(Erasure Code)后的NormalFile；所述LogFile：用户每次追加写，写完就算成功，如果写失败，则换一个数据块进行写；所述RandomAccessFile：用户可以随机写的文件。由此可知，源文件的文件类型中仅能追加写的非日志文件在盘古文件系统里包括NormalFile和RaidFile。在对源文件中真实数据进行硬链接操作和/或数据复制操作时根据不同的文件类型采用不同的操作方式，如对于仅能追加写的非日志文件NormalFile和RaidFile，将该文件类型对应的最后一个数据块进行复制操作，其余的数据块进行硬链接操作；若文件类型为LogFile，则将所有的数据块进行硬链接；若文件类型为RandomAccessFile，则将所有的数据块进行复制操作。在此，对于不同文件种类的处理方式的不同的目的是防止在重命名操作过程失败，造成源Volume上和目标Volume上都相同的文件，那么用户再写数据后，由于真正的数据在磁盘上是进行的硬件，可能造成数据错乱的问题。
优选地，所述方法还包括：当所述重命名请求为同一主节点组列表之间的文件重命名请求，则调用重命名远程调用接口对相应源文件进行重命名。
在此，当客户端在接收重命名请求后对请求进行解析，确定重命名请求是否在同一主节点列表上，若在同一主节点组列表上，则直接发送重命名远程调用请求(RenameRPC)即可，调用重命名远程调用接口对相应的源文件进行重命名。
优选地，所述方法还包括：创建扫描线程，定期扫描所述临时文件，若所述临时文件在超时时间内未被重命名为所述目标文件，则删除所述临时文件。
在此，创建扫描线程，进行定期地扫描临时文件，如果被扫描的临时文件在超过时间阈值内没有被重命名为目标文件，则将其删除，避免不用的临时文件构成的垃圾占用过多的空间，对其进行垃圾回收。
在本申请所述的用于分布式文件系统执行文件重命名操作的方法，使得文件系统支持在不同主节点组列表之间能够进行重命名文件操作使上层用户可以无感知的继续使用文件系统。需要说明的是，在进行文件重命名的过程中，无论是在相同主节点组列表中进行还是在不同主节点组列表中进行的都需要对文件所在的目录进行更新操作。
图4示出根据本申请一个方面的一种用于分布式文件系统执行目录重命名操作的方法流程示意图；其中，所述方法包括：步骤S21、步骤S22、步骤S23和步骤S24；其中，在步骤S21中，获取目录重命名请求，并解析所述重命名请求；在步骤S22中，当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；在步骤S23中，扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；在步骤S24中，将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
具体地，在步骤S21中，获取目录重命名请求，并解析所述重命名请求。
在此，客户端在收到目录重命名请求后，按照所需重命名的源目录所在的主节点组列表(源Volume)的路由表对源目录进行解析，确定重命名请求是否在相同的Volume上，若是，则客户端发送重命名远程调用(Rename RPC)接口对相应源目录进行重命名即可，若不在同一Volume上，则执行步骤S22。
具体地，在步骤S22中，当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁。
在此，优选地，所述目录锁为可读不可写锁类。对于目录的重命名操作，需要获取整个目录的锁，保证在重命名操作过程中没有用户进行写操作，避免出现数据丢失的情况。客户端获取目录锁将目录设置成只读状态，然后客户端定期向主节点设备发送远程调用请求，主节点设备在收到请求后确定客户端存在，当主节点设备一个只读状态的目录长时间没有收到请求后，主节点设备将该只读状态的目录设置成正常状态，即可读可写状态，用户还可以写该目录。在目标主节点组列表中创建完临时目录后，需在临时目录下创建临时文件，以使将源文件中的真实数据迁移到临时文件中。
具体地，在步骤S23中，扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中。
在此，客户端在获取源目录的目录锁后对源目录进行递归以获取源目录下的所有的文件，之后开始对所获取的源文件进行重命名操作，需要说明的是，在此不需要获取文件的锁，因已获取目录锁。在所创建的临时目录中创建临时文件，基于所述源文件的文件类型开始对真实的数据(data)在从节点服务器(数据块存储服务器，chunkserver)的磁盘上进行硬链接(hardlink)或数据复制操作，以将源文件中真实的数据移动到所创建的临时目录下的临时文件中。在一优选实施例中，如在源Volume 1上的源目录/src/dir1/dir2/file需要重命名操作到目标Volume 2上的目标目录/dst/dir3/file，则客户端将源目录下的文件移动到目标Volume 2上的一个临时目录下/PanguTempDir/file，之后客户端通知目标Volume 2的主节点设备(Master)将临时目录/PanguTempDir/file重命名成目标目录/dst/dir3/file。
具体地，在步骤S24中，将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
接前例，将源目录下的所有文件进行重命名操作之后即完成将源文件移动到目标目录下，主节点设备收到客户端请求后，将记录文件名的目录树进行加锁，之后进行临时目录重命名成目标目录的操作，完成目录重命名操作后将源目录进行删除。需要说明的是，在完成源目录下所有文件的重命名操作后，不需要删除源文件，因源目录状态是只读的不能被写操作处理，且在进行文件重命名操作过程中可能会失败，因此不能过早的删除源文件。
优选地，所述方法还包括：进行硬链接操作和/或数据复制操作之后，更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作。
在此，所述进行硬链接操作和/或数据复制操作之后，更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作与上述当完成步骤S13后进行的更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作的内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
优选地，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；图5示出根据本申请另一个方面的一个优选实施例的步骤S23的流程示意图；所述步骤S23包括：步骤S231、步骤S232和步骤S233；在步骤S231中，若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；在步骤S232中，若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；在步骤S233中，若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
在此，图5中所示的步骤S231、步骤S232和步骤S233和图3中所示的步骤S131、步骤S132和步骤S133的内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
优选地，所述方法还包括：当所述重命名请求为同一主节点组列表之间的目录重命名请求，则调用重命名远程调用接口对相应源目录进行重命名。
在此，当客户端在接收目录重命名请求后对该请求进行解析，确定重命名请求是否在同一主节点列表上，若在同一主节点组列表上，则直接发送重命名远程调用请求(Rename RPC)即可，调用重命名远程调用接口对相应的源目录进行重命名操作。需要说明的是，进行目录重命名操作的过程中需要将目录下的所有文件也进行重命名操作。
优选地，所述方法还包括：获取客户端发送的心跳请求，若在超时时间内未收到所述心跳请求，则将所述源目录修改为可读可写状态。
在此，在源Volume上的主节点设备获取到客户端发送的心跳请求，若在超过预设时间内未收到心跳请求，则将源目录改为可读可写的状态(Normal状态)，所述心跳为客户端向主节点设备发送远程调用请求(RPC)，主节点设备收到RPC请求后确认客户端存在，这一过程称为心跳。
优选地，所述方法还包括：创建扫描线程，定期扫描所述临时目录，若所述临时目录在超时时间内未被重命名为所述目标目录，则删除所述临时目录。
在此，创建扫描线程，进行定期地扫描临时目录，如果被扫描的临时目录在超过时间阈值内没有被重命名为目标目录，则将其删除，避免不用的临时目录构成的垃圾占用过多的空间，对其进行垃圾回收。
在本申请所述的用于分布式文件系统中执行目录重命名操作的方法的实施例中，通过目录锁以设置目录为可读不可写状态，扫描源目录下的所有文件，将文件进行重命名操作后在目标主节点组列表上将临时目录重命名成目标目录，删除源目录，完成不同主节点组列表之间的重命名操作，尽量保持了原有的文件系统语义，使得上层用户可以无感知的继续使用文件系统；同时在进行重命名操作过程中将临时文件的元信息存储在主节点设备，完成了元信息的迁移，大量减少了数据的拷贝过程。进一步地，创建了扫描线程对临时目录进行扫描，将长期未进行重命名操作的临时目录删除避免占用过多的空间。
图6示出根据本申请再一个方面的一种用于分布式文件系统执行文件重命名操作的设备结构示意图。所述设备1包括获取文件请求装置11、创建临时文件装置12、数据操作装置13和删除源文件装置14，其中，获取文件请求装置11获取文件重命名请求，并解析所述重命名请求；创建临时文件装置12用于当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；数据操作装置13基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；删除源文件装置14将所述临时文件重命名为目标文件，并删除所述源文件。
在此，所述设备1包括但不限于用户设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，设备1还可以是运行于所述用户设备、或用户设备与网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的脚本程序。当然，本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的设备1如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
具体地，获取文件请求装置11获取文件重命名请求，并解析所述重命名请求。
在此，客户端在收到文件重命名请求后，按照内存中文件所在的主节点组列表(Volume)的路由表对文件进行解析，确定重命名请求是否在相同的Volume上，若是，则客户端发送重命名远程调用(Rename RPC)接口对相应源文件进行重命名即可，若不在同一Volume上，则创建临时文件装置12进行后续的处理。需要说明的是，所述Volume为在命名空间联盟(Federation)中对命名空间分组后，每一组的称谓，为主节点(Master)组的列表，通过列表的查询可知重命名请求是否在同一Volume上进行。
具体地，创建临时文件装置12当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁。
在此，当确定重命名请求为不同主节点组列表(Volume)之间的文件重命名请求时，利用Open4Append在源主节点组列表(源Volume)上获取源文件的文件锁，并在目标Volume上创建临时文件并获取临时文件的文件锁。优选地，所述文件锁为可读不可写锁类；只有获取到写锁的进程或线程才可以对文件进行写操作，在文件重命名过程中，获取源文件锁是为了避免在重命名过程中有用户写入了新的数据，但是在重命名后的目标Volume上并没有看到新的数据而造成数据丢失，获取临时文件的锁是为了避免在重命名过程中有用户写数据导致重命名后与源文件中内容不一致。
需要说明的是，所述Open4Append是用于Pangu内部文件打开写的方法，会保证对于同一个文件在同一个时刻只有一个客户端可以进行写操作。本领域技术人员应能理解，所述利用Open4Append获取文件锁的方法仅为本申请的一个举例，其他现有的或今后可能出现的获取文件锁的方法如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
具体地，数据操作装置13基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中。
在此，获取临时文件锁后基于所述源文件的文件类型开始对真实的数据(data)在从节点服务器(数据块存储服务器，chunkserver)的磁盘上进行硬链接(hardlink)或数据复制操作，以将源文件中真实的数据移动到所创建的临时文件中；对不同文件类型中的真实数据对应关联到临时文件的处理方式的不同的目的是：在重命名过程失败，造成源Volume上和目标Volume上都相同的文件，那么用户再写数据后，由于真正的数据在磁盘上进行的硬链接可能造成数据错乱。在一优选实施例中，Pangu文件系统中，文件的元信息存储在Master上，文件的真实数据存储在chunkserver上，创建文件时是只在Master端修改元信息，链接时只是在chunkserver上对数据进行链接；例如，用户写了一个长度为64MB的文件，则文件的长度、创建时间、修改时间。文件名等元信息记录在Master端，而用户的实际数据记录在chunkserver上，当在Volume之间进行文件的移动时，是对实际的数据进行链接，而元信息需要重新创建。
具体地，删除源文件装置14将所述临时文件重命名为目标文件，并删除所述源文件。
在此，在本申请一优选实施例中，优选地，所述设备1还包括第一更新装置(未示出)：更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作。在此，当将存储在chunkserver上的真实数据通过硬链接操作和/或数据复制操作对应关联到所述临时文件中后，将临时文件的元信息进行更新，将创建临时文件及对临时文件进行修改等元信息写到目标Volume上的目标主节点设备(目标Master)上，并关闭所述临时文件的当前写操作，如可调用CommitAndClose函数可实现元信息写到目标Volume上，其中，所述CommitAndClose是盘古内部将文件的元信息写到Master端并且将该文件的写关闭掉的函数；随后将已有真实数据的临时文件重命名为目标文件，最后将源Volume上的源文件删除完成不同Volume之间的文件重命名操作。
本申请一实施例所述用于分布式文件系统中执行文件重命名操作的方法，通过在目标Volume上采用先创建一个临时文件，再将临时文件重命名到真正的文件是防止重命名过程中失败，造成目标Volume端有一个残缺的文件，影响用户的使用，而且通过所述方法降低了在两个Volume上出现相同文件的概率，从而避免分布式文件系统中使用文件混乱的情况。
优选地，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；图7示出根据本申请再一个方面的一个优选实施例的数据操作装置的结构示意图；所述数据操作装置13包括：第一关联单元131、第二关联单元132和第三关联单元133；其中，所述第一关联单元131用于若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；所述第二关联单元132用于若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；所述第三关联单元133用于若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
在一优选实施例中，例如在盘古文件系统中，文件类型有四种类型：NormalFile、RaidFile、LogFile和RandomAccessFile，其中，所述NormalFile：用户只能追加写，在写完后需要将数据的元信息存储在主节点设备端；所述RaidFile：对数据进行磁盘失效算法(Erasure Code)后的NormalFile；所述LogFile：用户每次追加写，写完就算成功，如果写失败，则换一个数据块进行写；所述RandomAccessFile：用户可以随机写的文件。由此可知，源文件的文件类型中仅能追加写的非日志文件在盘古文件系统里包括NormalFile和RaidFile。在对源文件中真实数据进行硬链接操作和/或数据复制操作时根据不同的文件类型采用不同的操作方式，如对于仅能追加写的非日志文件NormalFile和RaidFile，将该文件类型对应的最后一个数据块进行复制操作，其余的数据块进行硬链接操作；若文件类型为LogFile，则将所有的数据块进行硬链接；若文件类型为RandomAccessFile，则将所有的数据块进行复制操作。在此，对于不同文件种类的处理方式的不同的目的是防止在重命名操作过程失败，造成源Volume上和目标Volume上都相同的文件，那么用户再写数据后，由于真正的数据在磁盘上是进行的硬件，可能造成数据错乱的问题。
优选地，所述设备1还包括：第一调用装置(未示出)，当所述重命名请求为同一主节点组列表之间的文件重命名请求，则调用重命名远程调用接口对相应源文件进行重命名。
在此，当客户端在接收重命名请求后对请求进行解析，确定重命名请求是否在同一主节点列表上，若在同一主节点组列表上，则直接发送重命名远程调用请求(RenameRPC)即可，调用重命名远程调用接口对相应的源文件进行重命名。
优选地，所述设备1还包括：第一扫描装置(未示出)，创建扫描线程，定期扫描所述临时文件，若所述临时文件在超时时间内未被重命名为所述目标文件，则删除所述临时文件。
在此，创建扫描线程，进行定期地扫描临时文件，如果被扫描的临时文件在超过时间阈值内没有被重命名为目标文件，则将其删除，避免不用的临时文件构成的垃圾占用过多的空间，对其进行垃圾回收。
在本申请所述的设备用于分布式文件系统执行文件重命名操作，使得文件系统支持在不同主节点组列表之间能够进行重命名文件操作使上层用户可以无感知的继续使用文件系统。需要说明的是，在进行文件重命名的过程中，无论是在相同主节点组列表中进行还是在不同主节点组列表中进行的都需要对文件所在的目录进行更新操作。
图8示出根据本申请又一个方面的一种用于分布式文件系统执行目录重命名操作的设备结构示意图；其中，所述设备2包括：获取目录请求装置21、创建临时目录装置22、数据处理装置23和删除源目录装置24；其中，所述获取目录请求装置21获取目录重命名请求，并解析所述重命名请求；所述创建临时目录装置22当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；所述数据处理装置23扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；所述删除源目录装置24将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
在此，所述设备2包括但不限于用户设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，设备2还可以是运行于所述用户设备、或用户设备与网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的脚本程序。当然，本领域技术人员应能理解上述设备2仅为举例，其他现有的或今后可能出现的设备2如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
具体地，获取目录请求装置21获取目录重命名请求，并解析所述重命名请求。
在此，客户端在收到目录重命名请求后，按照所需重命名的源目录所在的主节点组列表(源Volume)的路由表对源目录进行解析，确定重命名请求是否在相同的Volume上，若是，则客户端发送重命名远程调用(Rename RPC)接口对相应源目录进行重命名即可，若不在同一Volume上，则创建临时目录装置22进行后续的处理。
具体地，创建临时目录装置22当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁。
在此，优选地，所述目录锁为可读不可写锁类。对于目录的重命名操作，需要获取整个目录的锁，保证在重命名操作过程中没有用户进行写操作，避免出现数据丢失的情况。客户端获取目录锁将目录设置成只读状态，然后客户端定期向主节点设备发送远程调用请求，主节点设备在收到请求后确定客户端存在，当主节点设备一个只读状态的目录长时间没有收到请求后，主节点设备将该只读状态的目录设置成正常状态，即可读可写状态，用户还可以写该目录。在目标主节点组列表中创建完临时目录后，需在临时目录下创建临时文件，以使将源文件中的真实数据迁移到临时文件中。
具体地，数据处理装置23扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中。
在此，客户端在获取源目录的目录锁后对源目录进行递归以获取源目录下的所有的文件，之后开始对所获取的源文件进行重命名操作，需要说明的是，在此不需要获取文件的锁，因已获取目录锁。在所创建的临时目录中创建临时文件，基于所述源文件的文件类型开始对真实的数据(data)在从节点服务器(数据块存储服务器，chunkserver)的磁盘上进行硬链接(hardlink)或数据复制操作，以将源文件中真实的数据移动到所创建的临时目录下的临时文件中。在一优选实施例中，如在源Volume 1上的源目录/src/dir1/dir2/file需要重命名操作到目标Volume 2上的目标目录/dst/dir3/file，则客户端将源目录下的文件移动到目标Volume 2上的一个临时目录下/PanguTempDir/file，之后客户端通知目标Volume 2的主节点设备(Master)将临时目录/PanguTempDir/file重命名成目标目录/dst/dir3/file。
具体地，删除源目录装置24将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
接前例，将源目录下的所有文件进行重命名操作之后即完成将源文件移动到目标目录下，主节点设备收到客户端请求后，将记录文件名的目录树进行加锁，之后进行临时目录重命名成目标目录的操作，完成目录重命名操作后将源目录进行删除。需要说明的是，在完成源目录下所有文件的重命名操作后，不需要删除源文件，因源目录状态是只读的不能被写操作处理，且在进行文件重命名操作过程中可能会失败，因此不能过早的删除源文件。
优选地，所述设备2还包括：第二更新装置(未示出)，进行硬链接操作和/或数据复制操作之后，更新所述临时文件的元信息，将所述临时文件的元信息写入所述目标主节点设备，并关闭所述临时文件的当前写操作。
在此，所述设备2中的第二更新装置与所述设备1中的第一更新装置的内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
优选地，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；图9示出根据本申请又一个方面的一个优选实施例的数据处理的结构示意图；所述数据处理装置23包括：第一处理单元231、第二处理单元232和第三处理单元233；所述第一处理单元231若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；所述第二处理单元232若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；所述第三处理单元233若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
在此，图9中所示的第一处理单元231、第二处理单元232和第三处理单元233和图7中所示的第一关联单元131、第二关联单元132和第三关联单元133的内容相同或基本相同，为简明起见，不再赘述，仅以引用的方式包含于此。
优选地，所述设备2还包括：第二调用装置(未示出)，当所述重命名请求为同一主节点组列表之间的目录重命名请求，则调用重命名远程调用接口对相应源目录进行重命名。
在此，当客户端在接收目录重命名请求后对该请求进行解析，确定重命名请求是否在同一主节点列表上，若在同一主节点组列表上，则直接发送重命名远程调用请求(Rename RPC)即可，调用重命名远程调用接口对相应的源目录进行重命名操作。需要说明的是，进行目录重命名操作的过程中需要将目录下的所有文件也进行重命名操作。
优选地，所述设备2还包括：获取心跳请求装置(未示出)获取客户端发送的心跳请求，若在超时时间内未收到所述心跳请求，则将所述源目录修改为可读可写状态。
在此，在源Volume上的主节点设备获取到客户端发送的心跳请求，若在超过预设时间内未收到心跳请求，则将源目录改为可读可写的状态(Normal状态)，所述心跳为客户端向主节点设备发送远程调用请求(RPC)，主节点设备收到RPC请求后确认客户端存在，这一过程称为心跳。
优选地，所述设备2还包括：第二扫描装置(未示出)，创建扫描线程，定期扫描所述临时目录，若所述临时目录在超时时间内未被重命名为所述目标目录，则删除所述临时目录。
在此，创建扫描线程，进行定期地扫描临时目录，如果被扫描的临时目录在超过时间阈值内没有被重命名为目标目录，则将其删除，避免不用的临时目录构成的垃圾占用过多的空间，对其进行垃圾回收。
在本申请所述的设备2用于分布式文件系统中执行目录重命名操作的实施例中，通过目录锁以设置目录为可读不可写状态，扫描源目录下的所有文件，将文件进行重命名操作后在目标主节点组列表上将临时目录重命名成目标目录，删除源目录，完成不同主节点组列表之间的重命名操作，尽量保持了原有的文件系统语义，使得上层用户可以无感知的继续使用文件系统；同时在进行重命名操作过程中将临时文件的元信息存储在主节点设备，完成了元信息的迁移，大量减少了数据的拷贝过程。进一步地，创建了扫描线程对临时目录进行扫描，将长期未进行重命名操作的临时目录删除避免占用过多的空间。
此外，本申请还提供了一种用于分布式文件系统执行文件重命名操作的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取文件重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，并删除所述源文件。
此外，本申请还提供了一种分布式文件系统中执行目录重命名操作的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取目录重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (28)
1.一种用于分布式文件系统执行文件重命名操作的方法，其中，所述方法包括：
获取文件重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，并删除所述源文件。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将所述临时文件重命名为目标文件之前，更新所述临时文件的元信息，将所述临时文件的元信息写入目标主节点设备，并关闭所述临时文件的当前写操作。
3.根据权利要求1所述的方法，其中，所述文件锁为可读不可写锁类。
4.根据权利要求1所述的方法，其中，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；所述基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作包括：
若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；
若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；
若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
5.根据权利要求1所述的方法，其中，所述方法还包括：
当所述重命名请求为同一主节点组列表之间的文件重命名请求，则调用重命名远程调用接口对相应源文件进行重命名。
6.根据权利要求1所述的方法，其中，所述方法还包括：
创建扫描线程，定期扫描所述临时文件，若所述临时文件在超时时间内未被重命名为所述目标文件，则删除所述临时文件。
7.一种用于分布式文件系统中执行目录重命名操作的方法，其中，所述方法包括：
获取目录重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
8.根据权利要求7所述的方法，其中，所述方法还包括：
进行硬链接操作和/或数据复制操作之后，更新所述临时文件的元信息，将所述临时文件的元信息写入目标主节点设备，并关闭所述临时文件的当前写操作。
9.根据权利要求7所述的方法，其中，所述目录锁为可读不可写锁类。
10.根据权利要求7所述的方法，其中，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；所述基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作包括：
若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；
若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；
若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
11.根据权利要求7所述的方法，其中，所述方法还包括：
当所述重命名请求为同一主节点组列表之间的目录重命名请求，则调用重命名远程调用接口对相应源目录进行重命名。
12.根据权利要求7所述的方法，其中，所述方法还包括：
获取客户端发送的心跳请求，若在超时时间内未收到所述心跳请求，则将所述源目录修改为可读可写状态。
13.根据权利要求7所述的方法，其中，所述方法还包括：
创建扫描线程，定期扫描所述临时目录，若所述临时目录在超时时间内未被重命名为所述目标目录，则删除所述临时目录。
14.一种用于分布式文件系统执行文件重命名操作的设备，其中，所述设备包括：
获取文件请求装置，用于获取文件重命名请求，并解析所述重命名请求；
创建临时文件装置，用于当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
数据操作装置，用于基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
删除源文件装置，用于将所述临时文件重命名为目标文件，并删除所述源文件。
15.根据权利要求14所述的设备，其中，所述设备还包括：
第一更新装置，用于将所述临时文件重命名为目标文件之前，更新所述临时文件的元信息，将所述临时文件的元信息写入目标主节点设备，并关闭所述临时文件的当前写操作。
16.根据权利要求14所述的设备，其中，所述文件锁为可读不可写锁类。
17.根据权利要求14所述的设备，其中，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；
所述数据操作装置包括：
第一关联单元，用于若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；
第二关联单元，用于若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；
第三关联单元，用于若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
18.根据权利要求14所述的设备，其中，所述设备还包括：
第一调用装置，用于当所述重命名请求为同一主节点组列表之间的文件重命名请求，则调用重命名远程调用接口对相应源文件进行重命名。
19.根据权利要求14所述的设备，其中，所述设备还包括：
第一扫描装置，用于创建扫描线程，定期扫描所述临时文件，若所述临时文件在超时时间内未被重命名为所述目标文件，则删除所述临时文件。
20.一种用于分布式文件系统中执行目录重命名操作的设备，其中，所述设备包括：
获取目录请求装置，用于获取目录重命名请求，并解析所述重命名请求；
创建临时目录装置，用于当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
数据处理装置，用于扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
删除源目录装置，用于将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
21.根据权利要求20所述的设备，其中，所述设备还包括：
第二更新装置，用于进行硬链接操作和/或数据复制操作之后，更新所述临时文件的元信息，将所述临时文件的元信息写入目标主节点设备，并关闭所述临时文件的当前写操作。
22.根据权利要求20所述的设备，其中，所述目录锁为可读不可写锁类。
23.根据权利要求20所述的设备，其中，所述源文件的文件类型包括：仅能追加写的非日志文件、仅能追加写的日志文件、可随机写入文件；
所述数据处理装置包括：
第一处理单元，用于若所述源文件的类型为仅能追加写的非日志文件，则将所述真实数据的最后一个数据块进行数据复制操作，并将其他数据块通过硬链接操作对应关联到所述临时文件；
第二处理单元，用于若所述源文件类型为仅能追加写的日志文件，则将所述真实数据的所有的数据块通过硬链接操作对应关联到所述临时文件；
第三处理单元，用于若所述源文件的类型为可随机写入文件，则将所述真实数据的所有数据块进行复制操作。
24.根据权利要求20所述的设备，其中，所述设备还包括：
第二调用装置，用于当所述重命名请求为同一主节点组列表之间的目录重命名请求，则调用重命名远程调用接口对相应源目录进行重命名。
25.根据权利要求20所述的设备，其中，所述设备还包括：
获取心跳请求装置，用于获取客户端发送的心跳请求，若在超时时间内未收到所述心跳请求，则将所述源目录修改为可读可写状态。
26.根据权利要求20所述的设备，其中，所述设备还包括：
第二扫描装置，用于创建扫描线程，定期扫描所述临时目录，若所述临时目录在超时时间内未被重命名为所述目标目录，则删除所述临时目录。
27.一种用于分布式文件系统执行文件重命名操作的设备，其中，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取文件重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的文件重命名请求，则从源主节点组列表中获取源文件的文件锁，并在目标主节点组列表中创建临时文件并获取所述临时文件的文件锁；
基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，并删除所述源文件。
28.一种分布式文件系统中执行目录重命名操作的设备，其中，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取目录重命名请求，并解析所述重命名请求；
当所述重命名请求为不同主节点组列表之间的目录重命名请求，则从源主节点组列表中源目录的目录锁，并在目标主节点组列表中创建临时目录并在所述临时目录下创建临时文件，并获取所述临时目录的目录锁；
扫描所述源目录，以获取所述源目录的所有源文件，基于所述源文件的文件类型，在存储所述源文件对应真实数据的从节点磁盘上进行硬链接操作和/或数据复制操作，以将所述真实数据对应关联到所述临时文件中；
将所述临时文件重命名为目标文件，基于所述目标文件将所述临时目录重命名为目标目录，并删除所述源目录。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610181890 | 2016-03-28 | ||
| CN201610181890X | 2016-03-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107239480A CN107239480A (zh) | 2017-10-10 |
| CN107239480B true CN107239480B (zh) | 2021-01-29 |
Family
ID=59984013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710192717.4A Active CN107239480B (zh) | 2016-03-28 | 2017-03-28 | 用于分布式文件系统执行重命名操作的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107239480B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647285B (zh) * | 2018-05-04 | 2021-06-22 | 北京小米移动软件有限公司 | 分布式文件系统中重命名方法、装置及分布式文件系统 |
| CN109614383B (zh) * | 2018-11-21 | 2021-01-15 | 金色熊猫有限公司 | 数据复制方法、装置、电子设备及存储介质 |
| CN110515916B (zh) * | 2019-07-26 | 2022-12-23 | 济南浪潮数据技术有限公司 | 一种主从分布式文件处理方法、主节点、从节点及系统 |
| CN110888717A (zh) * | 2019-11-05 | 2020-03-17 | 中盈优创资讯科技有限公司 | Hdfs的目录操作的事务控制方法及装置 |
| CN111026714A (zh) * | 2019-11-07 | 2020-04-17 | 维沃移动通信有限公司 | 一种重命名方法及电子设备 |
| CN111026751B (zh) * | 2019-11-22 | 2024-02-09 | 北京金山云网络技术有限公司 | 分布式表格的处理方法、装置、系统及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692227A (zh) * | 2009-09-25 | 2010-04-07 | 中国人民解放军国防科学技术大学 | 大规模高可靠的归档存储系统构建方法 |
| CN102331957A (zh) * | 2011-09-28 | 2012-01-25 | 华为技术有限公司 | 文件备份的方法及装置 |
| US8224864B1 (en) * | 2008-01-07 | 2012-07-17 | Network Appliance, Inc. | Striping directories across a striped volume set by the filenames contained in the directories |
| CN104603774A (zh) * | 2012-10-11 | 2015-05-06 | 株式会社日立制作所 | 迁移目的地文件服务器和文件系统迁移方法 |
| CN105095418A (zh) * | 2015-07-13 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种处理写请求的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187930B (zh) * | 2007-12-04 | 2010-06-09 | 浙江大学 | 分布式文件系统虚拟目录及命名空间的实现方法 |
| CN103150394B (zh) * | 2013-03-25 | 2014-07-23 | 中国人民解放军国防科学技术大学 | 面向高性能计算的分布式文件系统元数据管理方法 |
-
2017
- 2017-03-28 CN CN201710192717.4A patent/CN107239480B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8224864B1 (en) * | 2008-01-07 | 2012-07-17 | Network Appliance, Inc. | Striping directories across a striped volume set by the filenames contained in the directories |
| CN101692227A (zh) * | 2009-09-25 | 2010-04-07 | 中国人民解放军国防科学技术大学 | 大规模高可靠的归档存储系统构建方法 |
| CN102331957A (zh) * | 2011-09-28 | 2012-01-25 | 华为技术有限公司 | 文件备份的方法及装置 |
| CN104603774A (zh) * | 2012-10-11 | 2015-05-06 | 株式会社日立制作所 | 迁移目的地文件服务器和文件系统迁移方法 |
| CN105095418A (zh) * | 2015-07-13 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种处理写请求的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| Hadoop分布式文件系统原理;曹卉;《软件导刊》;20160322;第15卷(第3期);15-17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107239480A (zh) | 2017-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239480B (zh) | 用于分布式文件系统执行重命名操作的方法和设备 | |
| US7685177B1 (en) | Detecting and managing orphan files between primary and secondary data stores | |
| US8527556B2 (en) | Systems and methods to update a content store associated with a search index | |
| KR101084816B1 (ko) | 버저닝 기반 트리거를 위한 시스템 및 방법 | |
| US9710501B2 (en) | Enhanced performance for large versioned databases | |
| US8103621B2 (en) | HSM two-way orphan reconciliation for extremely large file systems | |
| CN106527958B (zh) | 用于分布式存储系统的写入数据、获取数据的方法和设备 | |
| US9674150B2 (en) | System, method and computer program product for efficient caching of hierarchical items | |
| US7603397B1 (en) | Detecting and managing missing parents between primary and secondary data stores | |
| US8938430B2 (en) | Intelligent data archiving | |
| JP2020525925A (ja) | ある時点についてデータベースのデータセットを復元するシステム及び方法 | |
| US20020062301A1 (en) | System for providing extended file attributes | |
| WO2018121454A1 (zh) | 文件访问控制列表管理方法和相关装置和系统 | |
| US11487706B2 (en) | System and method for lazy snapshots for storage cluster with delta log based architecture | |
| JP2004038960A (ja) | ファイルシステムフィルタドライバのためのファイルネームを管理するシステム及び方法 | |
| JP2009522677A (ja) | ノードの番号付けによるファイル・システムのダンプ／復元のための方法、システム、およびデバイス | |
| US10013312B2 (en) | Method and system for a safe archiving of data | |
| US10929176B2 (en) | Method of efficiently migrating data from one tier to another with suspend and resume capability | |
| US7599971B1 (en) | Detecting and managing missing parents between primary and secondary data stores for content addressed storage | |
| US20170357680A1 (en) | System and method for maintaining a multi-level data structure | |
| CN114968111A (zh) | 一种数据删除方法、装置、设备和计算机可读存储介质 | |
| JP2019537097A (ja) | Ｉノードのアクセスパターンの追跡及びｉノードの先取り | |
| JP2007287147A (ja) | 高速ファイル属性検索 | |
| US11663177B2 (en) | Systems and methods for extracting data in column-based not only structured query language (NoSQL) databases | |
| CN113448946A (zh) | 数据迁移方法及装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |