CN110968557A - 分布式文件系统中的数据处理方法、装置及电子设备 - Google Patents

分布式文件系统中的数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110968557A
CN110968557A CN201811160758.6A CN201811160758A CN110968557A CN 110968557 A CN110968557 A CN 110968557A CN 201811160758 A CN201811160758 A CN 201811160758A CN 110968557 A CN110968557 A CN 110968557A
Authority
CN
China
Prior art keywords
file
data block
data
empty
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811160758.6A
Other languages
English (en)
Other versions
CN110968557B (zh
Inventor
周肃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811160758.6A priority Critical patent/CN110968557B/zh
Publication of CN110968557A publication Critical patent/CN110968557A/zh
Application granted granted Critical
Publication of CN110968557B publication Critical patent/CN110968557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种分布式文件系统中的数据处理方法、装置及电子设备,其中,方法包括:在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;向所述空数据块中写入数据。本发明实施例的方案,能够使用户进程在写数据至文件过程中,及时感知到被写入数据的文件被删除,并停止写入数据,从而避免不必要的写数据操作。

Description

分布式文件系统中的数据处理方法、装置及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种分布式文件系统中的数据处理方法、装置及电子设备。
背景技术
在分布式文件系统中,多个用户进程同时对同一个文件进行不同的操作是一种常态。当一个用户进程A执行写数据至文件,而另一个用户进程B执行锁定文件(SealFile)并删除文件(DeleteFile),而用户进程A感知到该文件被删除之前,仍认为写入的数据是成功的,而实际上已丢失。
发明内容
本发明提供了一种报分布式文件系统中的数据处理方法、装置及电子设备,能够使用户进程在写数据至文件过程中,及时感知到被写入数据的文件被删除,并停止写入数据,从而避免不必要的写数据操作。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供了一种分布式文件系统中的数据处理方法,包括:
在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
向所述空数据块中写入数据。
第二方面,提供了一种分布式文件系统中的数据处理装置,包括:
数据块创建模块,用于在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
信息存储模块,用于将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
数据写入模块,用于向所述空数据块中写入数据。
第三方面,提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于:
在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
向所述空数据块中写入数据。
本发明提供了一种分布式文件系统中的数据处理方法、装置及电子设备,在向文件写入数据之前,先在数据存储节点上创建该文件所对应的空数据块及空数据块的元数据信息;然后,将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,该关联存储的目的是在文件被删除后,删除与文件关联的所有数据块;最后,向空数据块中写入数据。如此,当在写入数据之前如果文件被删除,则空数据块也会被随之删除,使得执行写入数据时报错,从而有效的避免在写入数据之前由于文件已经被删除,而造成用户认为数据写入成功,实际数据被删除的情况造成的数据丢失。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为现有技术中分布式文件系统中的数据写入逻辑示意图;
图2为图1所示的数据写入场景对应的数据安全问题解析图;
图3为本发明实施例的分布式文件系统中的数据处理逻辑示意图;
图4为本发明实施例的分布式文件系统中的数据处理系统结构示意图;
图5为本发明实施例的分布式文件系统中的数据处理方法流程图一;
图6a为本发明实施例的分布式文件系统中的数据处理方法流程图二;
图6b为本发明实施例的分布式文件系统中的数据处理方法流程图三;
图7为本发明实施例的分布式文件系统中的数据处理方法流程图四;
图8为本发明实施例的分布式文件系统中的数据处理方法流程图五;
图9为本发明实施例的分布式文件系统中的数据处理方法分析示意图;
图10为本发明实施例的分布式文件系统中的数据处理装置结构图一;
图11a为本发明实施例的分布式文件系统中的数据处理装置结构图二;
图11b为本发明实施例的分布式文件系统中的数据处理装置结构图三;
图12为本发明实施例的分布式文件系统中的数据处理装置结构图四;
图13为本发明实施例的电子设备的结构示意。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,为现有技术中分布式文件系统中的数据写入逻辑示意图,包括:
1.打开文件:用户进程(位于客户端)打开文件,此时该文件在文件元数据管理进程(master)(位于文件元数据管理节点)端标记为读写状态,master为当前数据块(chunk)分配三个数据存储进程(chunkserver)(位于数据存储节点,由于是多副本存储,因此分配的chunkserver为多个),用户进程可以将数据写入到这三个chunkserver中。
2.写入数据:当用户进程拿到了当前chunk的三个chunkserver地址(数据存储节点的地址),第一次向三个chunkserver发送写请求时,会在chunkserver上创建出该chunk的元数据信息,然后开始写入用户数据。
3.更新文件元数据:当前chunk写到长度上限,或者出现写失败,用户进程会把当前用户数据写入成功的数据长度更新到master上,如果需要继续写入,会从master获得下一个chunk的写入位置。
这种方案的缺点是,当多个用户进程对同一个文件同步进行不同操作时,存在数据安全的问题。如图2所示:
1.用户进程A打开文件,拿到了三个chunkserver地址,准备写入用户数据。
2.用户进程B对该文件做了锁定文件(SealFile)操作,并删除了该文件(DeleteFile)。
3.由于进程A并没有感知到该文件被删除,会继续向chunkserver上写数据,由于每一个chunk在第一次被写入数据时,会创建出来chunk元数据信息,所以该次写入是成功的,用户进程A会继续写入,直到写到该chunk的最大长度。
4.由于该文件在master端已经被删除,master会定期删除chunkserver上不认识的chunk,用户进程A已经写入的chunk,会很快被master删除,造成用户认为写成功的数据丢失。
本发明提供了一种全新的分布式文件系统中的数据处理方案,以改善现有技术中,由于用户进程不能及时感知文件被删除,而造成用户认为写入成功的数据丢失的缺陷,其核心思想在于,在向文件写入数据之前,先在数据存储节点上创建该文件所对应的空数据块及空数据块的元数据信息;然后,将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,该关联存储的目的是在文件被删除后,删除与文件关联的所有数据块;最后,向空数据块中写入数据。如此,当在写入数据之前如果文件被删除,则空数据块也会被随之删除,使得执行写入数据时报错,从而有效的避免在写入数据之前由于文件已经被删除,而造成用户认为写入成功的数据丢失的情况。
如图3所示,为本发明实施例的分布式文件系统中的数据处理逻辑示意图。该数据写入逻辑包括:
1-2.打开文件:用户进程打开文件,从master上获取三个chunkserver的地址,该地址指向待写入chunk所在的数据存储节点位置。
3.创建chunk:用户进程到三个chunkserver上创建chunk的元数据信息和空chunk,此时这个chunk的信息会被同步到maser上,作为文件对应的chunk(此时,如果master中的文件被删除,那么该空chunk也会被删除,从而导致写入数据报错)。
4.检查文件:用户进程创建chunk成功后,访问master检查该文件是否存在,如果文件不存在,则报错。
5.写数据:如果master中文件仍存在,则用户进程向chunkserver发送数据写请求以写入用户数据,如果chunkserver此时发现chunk信息不存在(文件被删除,master通知chunkserver删除该文件对应的chunk),则写请求失败。
通过在写入协议中增加以下三个环节,来保证写入数据的安全性:
1.打开文件后,在chunkserver上创建空chunk;
2.创建空chunk后,检查文件是否存在;
3.针对每个chunk在第一次写入时要保证chunk已经存在。
以上三个环节可以提供完善的、可靠的写数据方案。
基于上述中本发明实施例提供的分布式文件系统中的数据处理的方案思想,图4为本发明实施例提供的分布式文件系统中的数据处理系统结构图。如图4所示,该系统包括客户端410(内置用户进程)、文件元数据管理节点420(内置文件元数据管理进程master)、数据存储节点430(内置数据存储进程chunkserver)和数据处理装置440,其中:
客户端410,用于从文件元数据管理节点420打开待写入数据的文件,获取执行写入数据的数据存储节点的地址,并通过数据存储节点将数据写入chunk。
文件元数据管理节点420,用于存储文件的元数据,包括文件与相应chunk的关联关系。
数据存储节点430,用于利用内置数据存储进程chunkserver将用户进程提交的数据写入到相应的chunk。
数据处理装置440,其功能是协助客户端410、文件元数据管理节点420、数据存储节点430在已有功能的基础上,实现图3所示的数据处理逻辑,其包括的功能模块,可以布设在客户端410、文件元数据管理节点420以及数据存储节点430中。具体地,该数据处理装置440包括:
数据块创建模块,用于在数据存储节点上创建待执行写操作的文件所对应的空数据块及空数据块的元数据信息;
信息存储模块,用于将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,用于在文件被删除后,删除与文件关联的数据块;
数据写入模块,用于向空数据块中写入数据。
下面通过多个实施例来进一步说明本申请的技术方案。
实施例一
基于上述分布式文件系统中的数据处理方案思想,如图5所示,其为本发明实施例示出的分布式文件系统中的数据处理方法流程图一,该方法的执行主体可为图4中所示的数据处理装置440。在实际应用场景中,该数据处理装置440中包含的各功能模块可以分设在客户端410、文件元数据管理节点420以及数据存储节点430中。如图5所示,该分布式文件系统中的数据处理方法包括如下步骤:
S510,在数据存储节点上创建待执行写操作的文件所对应的空数据块及空数据块的元数据信息。
当用户通过客户端上的用户进程即将向数据存储节点上的chunkserver写chunk数据时,可以先指示chunkserver在数据存储节点上创建一个空chunk以及空chunk的元数据信息。相比较现有技术在写chunk数据时只是创建chunk的元数据信息,本方案同时创建空chunk。这样,在未写入数据时,chunk文件既已存在(已存储至数据存储节点本地)。
S520,将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,用于在文件被删除后,删除与文件关联的数据块。
现有技术中,通常是在一个chunk被写满数据后,才对该chunk文件进行存储,此时才会将chunk的标识信息(唯一标识chunk的信息,比如chunk文件的文件名),更新到文件元数据管理节点上,如由元数据管理节点上的master将chunk文件的文件名与该chunk所属文件的标识信息(如文件名)关联存储。
在本方案中,是将之前创建的空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储。这样,在chunkserver写数据之前,如果文件被其他用户进程删除,则master会通知相应的chunkserver删除与文件关联的chunk,从而避免执行在文件已删除的情况下,仍写数据的不必要操作。
S530,向空数据块中写入数据。
将用户进程提交待写入的数据写入到文件对应的空chunk中。
本发明实施例提供的分布式文件系统中的数据处理方法,在向文件写入数据之前,先在数据存储节点上创建该文件所对应的空数据块及空数据块的元数据信息;然后,将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,该关联存储的目的是在在文件被删除后,删除与文件关联的所有数据块;最后,向空数据块中写入数据。如此,当在写入数据之前如果文件被删除,则空数据块也会被随之删除,使得执行写入数据时报错,从而有效的避免在写入数据之前由于文件已经被删除,而造成用户认为数据写入成功,实际数据被删除的情况造成的数据丢失。
实施例二
在实施例一所示方法的基础上,本实施例对上述分布式文件系统中的数据处理方法进行了如下补充:
首先,如图6a所示,在向空数据块中写入数据之前还可执行如下步骤:
S610,检查文件元数据管理节点上是否存在文件的标识信息。
正常情况下,当用户进程删除文件后,文件元数据管理节点上关于该文件的元数据也会被删除,通过检查文件元数据管理节点上该文件的标识信息是否存在,可以判定该文件是否被删除。
如果文件元数据管理节点上存在文件的标识信息,则表明文件没有被删除,写数据操作仍有意义,此时可继续执行步骤S530。
如果文件元数据管理节点上不存在文件的标识信息,则执行步骤S620,停止向空数据块中写入数据。
如果文件元数据管理节点上不存在文件的标识信息,则表明文件已被其他用户进程删除,如果再向已经创建的空chunk中写数据毫无意义,即使当前空chunk仍存在(没有及时删除),也会在之后master与chunkserver比对文件的相关信息后被删除。如此,可以及时停止向空数据块中写入数据,避免不必要的写数据操作。
进一步地,在停止向空数据块中写入数据之后,还可以执行删除该空数据块的操作。其原因是,当判定文件元数据管理节点上不存在文件的标识信息,那么在之后master与chunkserver比对文件的相关信息时,与该文件关联的空chunk势必也会被删除。而此时直接删除掉该空数据块也省略了master与chunkserver比对后再删除的操作。
在写数据之前检查文件元数据管理节点上是否存在文件的标识信息,可以更早感知到文件是否被删除,从而保证后续处理有意义。
其次,如图6b所示,在向空数据块中写入数据之前还可执行如下步骤:
S630,判断空数据块是否存在。
在用户创建完成文件对应的空chunk及其元数据信息后,且还未向空chunk写入数据之前,其他用户也有可能删除该文件。由于空chunk在创建完成后其标识信息就与文件元数据管理节点上已存储的相应文件的标识信息关联存储,所以如果此时其他用户删除了文件,那么该空chunk也有被删除的风险。
如果空数据块存在,则执行步骤530,向空数据块中写入数据;如果空数据块不存在,则执行步骤S640,停止向空数据块中写入数据并发出写入失败消息。
在写数据之前检查空数据块是否存在,可以避免不必要的写数据操作。
图6a中的判断操作和图6b中的判断操作可以在一次执行图5所示的分布式文件系统中的数据处理方法中单独执行,也可以一起顺序执行。
最后,如图7所示,在数据存储节点上创建待执行写操作的文件所对应的空数据块及空数据块的元数据信息之前还可执行如下步骤:
S710,向文件元数据管理节点发送打开文件请求,该打开文件请求用于获取针对文件执行写操作的数据存储节点的信息。
用户进程向文件元数据管理节点发送打开文件的请求,其目的是让文件元数据管理节点上的master确认待打开的文件是否存在,如果存在则向用户进程返回针对文件执行写操作的数据存储节点的信息,如chunkserver的地址。
如果文件元数据管理节点确定待打开的文件存在,可继续执行步骤S720,如果不存在则执行步骤S730。
S720,接收文件元数据管理节点发送的包含数据存储节点的信息的消息,该消息为文件元数据管理节点确认本地存储有文件的标识信息后发出。
正常情况下,当用户进程删除已有的文件后,文件元数据管理节点上关于该文件的元数据也会被删除;又或者用户输入的待打开的文件根本不存在,相应的,文件元数据管理节点上也不会存储关于该文件的元数据。因此,通过检查文件元数据管理节点上该文件的标识信息是否存在,可以判定该文件是否被删除。
如果文件没有被删除,则文件元数据管理节点上的master会向用户进程返回针对文件执行写操作的数据存储节点的信息(如chunkserver的地址),以执行写入数据的操作
S730,接收文件元数据管理节点发送的打开文件失败的消息,该消息为文件元数据管理节点确认本地未存储有文件的标识信息后发出。
如果文件被删除或者根本不存在,则文件元数据管理节点上的master会向用户进程返回打开文件失败的消息,以指示用户进程结束本次操作。
最后,如图8所示,在当前数据块被写满或者写入数据失败后还可执行如下步骤
S810,在数据存储节点上创建文件所对应的下一个空数据块及空数据块的元数据信息。
该步骤中提及的数据存储节点可以是上一个空数据块所在的数据存储节点,也可以是master从新为文件分配的另一个数据存储节点。这取决于master对被执行写操作的文件分配chunkserver的机制。
创建空数据块及空数据块的元数据信息的过程可参见步骤S510。
S820,将下一个空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储。
在每次切换新chunk写入数据时,都需先将创建的空chunk的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,以保证chunkserver在写数据之前能够及时感知文件是否被删除。
S830,向下一个空数据块中写入数据。
总之,在每次数据块被写满或者写入数据失败后,需要切换到新的chunk进行数据写入时,都可以执行实施例一中所示的方法步骤完成数据的写入。
另外,如图9所示,本方案分析了在整个数据写流程中,Seal和删除文件可能发生的环节,以及如何让用户进程及时感知到文件已被删除,从而停止写入数据,避免执行不必要的数据写入流程。
从图9中可以看出,本方案可以在任何一个环节发生Seal和删除文件事件后,都可以及时停止写入数据,避免造成不必要的数据写入流程。
本发明实施例提供的分布式文件系统中的数据处理方法,在上一实施例所示方法的基础上,进行了方案补充:
在写数据之前,通过检查文件元数据管理节点上是否存在文件的标识信息,和/或检查空数据块是否存在,可以更早感知到文件是否被删除,从而保证后续处理有意义。
通过文件元数据管理节点向用户进程分配执行写入数据的数据存储节点,可以减少本方案相对现有技术的改进成本,方便技术手段的实现。
在每次数据块被写满或者写入数据失败后,需要切换到新的chunk进行数据写入时,仍采用先创建空chunk,后写入数据的方式,从而规范整个方案的执行流程,便于管理。
实施例三
如图10所示,为本发明实施例的分布式文件系统中的数据处理装置结构图一,该数据处理装置可具体为图4中所示的数据处理装置440,用于执行如实施例一所示的方法步骤,其包括:
数据块创建模块101,用于在数据存储节点上创建待执行写操作的文件所对应的空数据块及空数据块的元数据信息;
信息存储模块102,用于将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,用于在文件被删除后,删除与文件关联的数据块;
数据写入模块103,用于向空数据块中写入数据。
进一步地,如图11a所示,上述分布式文件系统中的数据处理装置中还可包括:信息检查模块111,用于检查文件元数据管理节点上是否存在文件的标识信息;
如果存在,则指示数据写入模块103执行向空数据块中写入数据;
如果不存在,则指示数据写入模块103停止向空数据块中写入数据。
进一步地,图11a所示的数据处理装置中还可包括数据块删除模块112,用于删除空数据块。
图11a所示分布式文件系统中的数据处理装置可用于执行如图6a所示的方法步骤。
进一步地,如图11b所示,上述分布式文件系统中的数据处理装置中还可包括:
数据块检测模块113,用于判断空数据块是否存在;
如果存在,则指示数据写入模块103执行向空数据块中写入数据;
如果不存在,则指示数据写入模块103停止向空数据块中写入数据并发出写入失败消息。
图11b所示分布式文件系统中的数据处理装置可用于执行如图6b所示的方法步骤。
进一步地,如图12所示,上述分布式文件系统中的数据处理装置中还可包括:
请求发送模块121,用于向文件元数据管理节点发送打开文件请求,该打开文件请求用于获取针对文件执行写操作的数据存储节点的信息;
消息接收模块122,用于接收文件元数据管理节点发送的包含数据存储节点的信息的消息,该消息为文件元数据管理节点确认本地存储有文件的标识信息后发出;
或者,
消息接收模块122,用于接收文件元数据管理节点发送的打开文件失败的消息,该消息为文件元数据管理节点确认本地未存储有文件的标识信息后发出。
图12所示分布式文件系统中的数据处理装置可用于执行如图7所示的方法步骤。
进一步地,上述分布式文件系统中的数据处理装置中:
数据块创建模块101,还用于在当前数据块被写满或者写入数据失败后,在数据存储节点上创建文件所对应的下一个空数据块及空数据块的元数据信息;
信息存储模块102,还用于将下一个空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储;
数据写入模块103,还用于向下一个空数据块中写入数据。
本发明实施例提供的分布式文件系统中的数据处理装置,在向文件写入数据之前,先在数据存储节点上创建该文件所对应的空数据块及空数据块的元数据信息;然后,将空数据块的标识信息与文件元数据管理节点上已存储的文件的标识信息关联存储,该关联存储的目的是在在文件被删除后,删除与文件关联的所有数据块;最后,向空数据块中写入数据。如此,当在写入数据之前如果文件被删除,则空数据块也会被随之删除,使得执行写入数据时报错,从而有效的避免在写入数据之前由于文件已经被删除,而造成用户认为数据写入成功,实际数据被删除的情况造成的数据丢失。
进一步地,在写数据之前,通过检查文件元数据管理节点上是否存在文件的标识信息,和/或检查空数据块是否存在,可以更早感知到文件是否被删除,从而保证后续处理有意义。
进一步地,通过文件元数据管理节点向用户进程分配执行写入数据的数据存储节点,可以减少本方案相对现有技术的改进成本,方便技术手段的实现。
进一步地,在每次数据块被写满或者写入数据失败后,需要切换到新的chunk进行数据写入时,仍采用先创建空chunk,后写入数据的方式,从而规范整个方案的执行流程,便于管理。
实施例四
前面实施例四描述了分布式文件系统中的数据处理装置的整体架构,该装置的功能可借助一种电子设备实现完成,如图13所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器131和处理器132。
存储器131,用于存储程序。
除上述程序之外,存储器131还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器131可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器132,耦合至存储器131,用于执行存储器131中的程序,以用于:
在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
向所述空数据块中写入数据。
上述的具体处理操作已经在前面实施例中进行了详细说明,在此不再赘述。
进一步,如图13所示,电子设备还可以包括:通信组件133、电源组件134、音频组件135、显示器136等其它组件。图13中仅示意性给出部分组件,并不意味着电子设备只包括图13所示组件。
通信组件133被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件133经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件133还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件134,为电子设备的各种组件提供电力。电源组件134可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件135被配置为输出和/或输入音频信号。例如,音频组件135包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器131或经由通信组件133发送。在一些实施例中,音频组件135还包括一个扬声器,用于输出音频信号。
显示器136包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种分布式文件系统中的数据处理方法,包括:
在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
向所述空数据块中写入数据。
2.根据权利要求1所述的方法,其中,所述向所述空数据块中写入数据之前还包括:
判断所述空数据块是否存在;
如果存在,则执行向所述空数据块中写入数据;
如果不存在,则停止向所述空数据块中写入数据并发出写入失败消息。
3.根据权利要求1所述的方法,其中,所述向所述空数据块中写入数据之前还包括:
检查所述文件元数据管理节点上是否存在所述文件的标识信息;
如果存在,则执行向所述空数据块中写入数据;
如果不存在,则停止向所述空数据块中写入数据。
4.根据权利要求3所述的方法,其中,所述停止向所述空数据块中写入数据之后还包括:
删除所述空数据块。
5.根据权利要求1-4任一项所述的方法,其中,所述在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息之前还包括:
向所述文件元数据管理节点发送打开文件请求,所述打开文件请求用于获取针对所述文件执行写操作的所述数据存储节点的信息;
接收所述文件元数据管理节点发送的包含所述数据存储节点的信息的消息,该消息为所述文件元数据管理节点确认本地存储有所述文件的标识信息后发出;
或者,
接收所述文件元数据管理节点发送的打开文件失败的消息,该消息为所述文件元数据管理节点确认本地未存储有所述文件的标识信息后发出。
6.根据权利要求1-4任一项所述的方法,其中,所述方法还包括:
在当前数据块被写满或者写入数据失败后,在数据存储节点上创建所述文件所对应的下一个空数据块及所述空数据块的元数据信息;
将下一个所述空数据块的标识信息与所述文件元数据管理节点上已存储的所述文件的标识信息关联存储;
向下一个所述空数据块中写入数据。
7.一种分布式文件系统中的数据处理装置,包括:
数据块创建模块,用于在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
信息存储模块,用于将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
数据写入模块,用于向所述空数据块中写入数据。
8.根据权利要求7所述的装置,其中,所述装置还包括:
数据块检测模块,用于判断所述空数据块是否存在;
如果存在,则指示所述数据写入模块执行向所述空数据块中写入数据;
如果不存在,则指示所述数据写入模块停止向所述空数据块中写入数据并发出写入失败消息。
9.根据权利要求7所述的装置,其中,所述装置还包括:
信息检查模块,用于检查所述文件元数据管理节点上是否存在所述文件的标识信息;
如果存在,则指示所述数据写入模块执行向所述空数据块中写入数据;
如果不存在,则指示所述数据写入模块停止向所述空数据块中写入数据。
10.根据权利要求9所述的装置,其中,所述装置还包括:
数据块删除模块,用于删除所述空数据块。
11.根据权利要求7-10任一项所述的装置,其中,所述装置还包括:
请求发送模块,用于向所述文件元数据管理节点发送打开文件请求,所述打开文件请求用于获取针对所述文件执行写操作的所述数据存储节点的信息;
消息接收模块,用于接收所述文件元数据管理节点发送的包含所述数据存储节点的信息的消息,该消息为所述文件元数据管理节点确认本地存储有所述文件的标识信息后发出;
或者,
所述消息接收模块,用于接收所述文件元数据管理节点发送的打开文件失败的消息,该消息为所述文件元数据管理节点确认本地未存储有所述文件的标识信息后发出。
12.根据权利要求7-10任一项所述的装置,其中,
所述数据块创建模块,用于在当前数据块被写满或者写入数据失败后,在数据存储节点上创建所述文件所对应的下一个空数据块及所述空数据块的元数据信息;
所述信息存储模块,用于将下一个所述空数据块的标识信息与所述文件元数据管理节点上已存储的所述文件的标识信息关联存储;
所述数据写入模块,用于向下一个所述空数据块中写入数据。
13.一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于:
在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息;
将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储,用于在所述文件被删除后,删除与所述文件关联的所述数据块;
向所述空数据块中写入数据。
CN201811160758.6A 2018-09-30 2018-09-30 分布式文件系统中的数据处理方法、装置及电子设备 Active CN110968557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811160758.6A CN110968557B (zh) 2018-09-30 2018-09-30 分布式文件系统中的数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811160758.6A CN110968557B (zh) 2018-09-30 2018-09-30 分布式文件系统中的数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110968557A true CN110968557A (zh) 2020-04-07
CN110968557B CN110968557B (zh) 2023-05-05

Family

ID=70029180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811160758.6A Active CN110968557B (zh) 2018-09-30 2018-09-30 分布式文件系统中的数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110968557B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256197A (zh) * 2020-10-20 2021-01-22 Tcl通讯(宁波)有限公司 一种存储信息的管理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150930A1 (en) * 2010-12-10 2012-06-14 Electronics And Telecommunications Research Institute Cloud storage and method for managing the same
CN102708165A (zh) * 2012-04-26 2012-10-03 华为软件技术有限公司 分布式文件系统中的文件处理方法及装置
US20140019495A1 (en) * 2012-07-13 2014-01-16 Facebook Inc. Processing a file system operation in a distributed file system
CN103577158A (zh) * 2012-07-18 2014-02-12 阿里巴巴集团控股有限公司 数据处理方法与装置
CN103620591A (zh) * 2011-06-14 2014-03-05 惠普发展公司,有限责任合伙企业 分布式文件系统中的去重复
CN106354840A (zh) * 2016-08-31 2017-01-25 北京小米移动软件有限公司 文件处理方法、装置及分布式文件系统
CN107295030A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种数据写入方法、装置、数据处理方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150930A1 (en) * 2010-12-10 2012-06-14 Electronics And Telecommunications Research Institute Cloud storage and method for managing the same
CN103620591A (zh) * 2011-06-14 2014-03-05 惠普发展公司,有限责任合伙企业 分布式文件系统中的去重复
CN102708165A (zh) * 2012-04-26 2012-10-03 华为软件技术有限公司 分布式文件系统中的文件处理方法及装置
US20140019495A1 (en) * 2012-07-13 2014-01-16 Facebook Inc. Processing a file system operation in a distributed file system
CN103577158A (zh) * 2012-07-18 2014-02-12 阿里巴巴集团控股有限公司 数据处理方法与装置
CN107295030A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种数据写入方法、装置、数据处理方法、装置及系统
CN106354840A (zh) * 2016-08-31 2017-01-25 北京小米移动软件有限公司 文件处理方法、装置及分布式文件系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256197A (zh) * 2020-10-20 2021-01-22 Tcl通讯(宁波)有限公司 一种存储信息的管理方法、装置、设备及存储介质
CN112256197B (zh) * 2020-10-20 2022-09-02 Tcl通讯(宁波)有限公司 一种存储信息的管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110968557B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US9361309B2 (en) File synchronization method, electronic device and synchronization system
CN105159795A (zh) 数据同步方法、装置和系统
EP3971707A1 (en) Screen sharing processing method, apparatus and device, and storage medium
US20130297563A1 (en) Timestamp management method for data synchronization and terminal therefor
CN108965383B (zh) 文件同步方法、装置、计算机设备和存储介质
CN108108431B (zh) 数据同步方法和系统
CN105338078A (zh) 用于存储系统的数据存储方法和装置
CN110704392B (zh) 区块链网络的升级方法及装置、存储介质、电子设备
CN108874825B (zh) 一种异常数据的校验方法和装置
CN111240896A (zh) 一种终端数据同步方法、装置、服务器及存储介质
US20200285458A1 (en) Program update system, control system, mobile body, program update method, recording medium
CN111930703A (zh) 日志文件自动抓取方法、装置和计算机设备
CN110968557B (zh) 分布式文件系统中的数据处理方法、装置及电子设备
CN111147586B (zh) 设备端控制方法、装置和会议系统
CN106557262B (zh) 一种数据处理方法及装置
WO2016026291A1 (zh) 无线数据卡、通信系统、数据同步方法及计算机存储介质
CN109213431B (zh) 多副本数据的一致性检测方法和装置以及电子设备
CN110879760B (zh) 一种统一存储系统及方法、电子设备
CN109542841B (zh) 集群中创建数据快照的方法及终端设备
CN109257403B (zh) 数据存储方法及设备、分布式存储系统
CN102325171A (zh) 一种监控系统中数据的存储方法及其系统
CN111831472B (zh) 快照创建方法和装置以及电子设备
CN111291112A (zh) 分布式数据库的读写控制方法和装置以及电子设备
CN110795318B (zh) 数据处理方法和装置以及电子设备
CN112463744A (zh) 一种分布式文件存储方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant