CN110659251A - 数据处理方法、系统和电子设备 - Google Patents

Abstract

本申请实施例公开一种数据处理方法、系统和电子设备，该方法应用于存储系统，所述存储系统使用N个文件系统存储数据，N为大于或等于2的正整数，该方法包括：接收用户的访问请求；确定所述N个文件系统中的数据文件中的目标数据文件；将所述访问请求相关的目标数据写入所述目标数据文件。

Description

数据处理方法、系统和电子设备

技术领域

本申请涉及计算机网络技术领域，更具体地涉及数据处理方法、系统和电子设备。

背景技术

一个日志型存储系统将其中的数据以文件的形式存储在一个文件系统中，通常这些数据集中在一个或多个特点的目录中。当日执行存储系统收到用户的请求时，将用户的请求转化为对文件系统的读写操作。

当文件系统故障时，日志型存储系统不能正常写数据，影响服务可用性。为了提升日志型存储系统的可用性，目前常用的方法是搭建两个及以上存储系统，在这些存储系统间复制数据。以两个日志型存储系统为例，称为存储系统1和存储系统2，在两个文件系统均无故障时，用户的写访问请求发送到日志型存储系统1，日志型存储系统1将与写访问请求相关的数据写入文件系统1，并将用户的写请求发送给日志型存储系统2，日志型存储系统2将与写访问请求相关的数据写入到文件系统2。当文件系统1出现故障时，用户的写访问请求发送到日志型存储系统2，日志型存储系统2将与写访问请求相关的数据写入文件系统2，当出现故障的文件系统1恢复后，日志型存储系统1从日志型存储系统2获取故障期间的数据差异，并将差异数据写入文件系统1，完成数据同步。

但目前提高存储系统可用性的方法，需要将用户的写访问请求相关的数据复制存储到多个文件系统，需消耗额外的网络带宽，并且数据同时存储在多个文件系统中，导致存储成本较高。

因此，需要一种数据处理方法，来克服上述技术问题。

发明内容

本申请的目的在于提供一种数据处理方法、系统和电子设备，能够在不带来额外网络带宽和不增加存储成本的基础上提高存储系统的可用性。

第一方面，提供了一种数据处理方法，应用于存储系统，存储系统使用N个文件系统存储数据，N为大于或等于2的正整数，方法包括：接收用户的访问请求；确定N个文件系统中的数据文件中的目标数据文件；将访问请求相关的目标数据写入目标数据文件。

第二方面，提供了一种数据处理方法，应用于文件系统，文件系统可用于存储存储系统中的数据，存储系统使用N个文件系统存储数据，N个文件系统中包括该文件系统，方法包括：接收存储系统发送的文件创建请求，文件系统是由存储系统在确定可用数据文件集合为空时从N个文件系统中的可用文件系统中选择出的；基于文件创建请求创建第一数据文件；接收存储系统发送的用于请求写入目标数据的数据写入请求，目标数据与存储系统接收到的用户的访问请求相关；将目标数据写入第一数据文件。

第三方面，提供了一种数据处理系统，数据处理系统包括存储系统和N个文件系统，存储系统使用N个文件系统存储数据，N为大于或等于2的正整数；存储系统包括：第一收发单元，接收用户的访问请求；确定单元，在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；第一文件系统包括：第二收发单元，接收存储系统发送的文件创建请求；文件创建单元，基于文件创建请求创建第一数据文件；第二收发单元，接收存储系统发送的用于请求写入目标数据的写入请求，目标数据与存储系统接收到的用户的访问请求相关；写入单元，将目标数据写入第一数据文件。

第四方面，提供了一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括存储系统和N个文件系统的数据处理系统执行时，使得数据处理系统执行以下操作：接收用户的访问请求；在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；在第一文件系统上创建第一数据文件；将访问请求相关的目标数据写入第一数据文件；其中，存储系统使用N个文件系统存储数据，N为大于或等于2的正整数。

由以上本申请的技术方案可见，本申请实施例的存储系统可以使用多个文件系统存储数据，在接收到用户的访问请求时，可以从多个文件系统中的数据文件中选择目标数据文件，将与访问请求相关的目标数据写入目标数据文件。由此，即使部分文件系统出现故障，存储系统也可以使用未出现故障的文件系统处理用户的访问请求，能够提高存储系统的可用性。并且本申请实施例中的与用户的访问请求相关的数据只需存储在一个文件系统中，避免了数据在不同存储系统使用的文件系统间的复制带来的额外网络带宽消耗问题，以及避免数据同时存储在多个文件系统中带来的高存储成本问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是现有相关技术的一个应用场景的示意图。

图2是基于一些实施例的一个应用场景的示意图。

图3是根据本申请一个实施例的数据处理方法的示意性流程图。

图4是根据本申请的另一个实施例的数据处理方法的示意性流程图。

图5是根据本申请的一个具体实施例的数据处理方法的示意性流程图。

图6是根据本申请的一个实施例的存储系统的启动方法示意性流程图。

图7是根据本申请的一个实施例的数据文件的迁移方法的示意性流程图。

图8是根据本申请的一个实施例的电子设备的结构示意图。

图9是根据本申请的另一个实施例的电子设备的结构示意图。

图10是根据本申请的一个实施例的存储系统的结构示意图。

图11是根据本申请的另一个实施例的文件系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是基于现有相关技术的一个应用场景的示意图。如图1所示出的应用场景中包括存储系统和文件系统。存储系统将用户的数据以文件的形式存储在一个文件系统中，通常这些数据集中在一个或多个特定的目录中。例如，一个用户的数据的存储路径为根目录-子目录1-数据文件2。当存储系统接收到用户的访问请求时，存储系统将这些访问请求转化为对文件系统的读写操作。但是当文件系统故障时，存储系统就不能正常写数据，从而影响服务可用性。

为了提高存储系统的可用性，本申请提供了一种数据处理方法，本申请实施例的数据处理方法应用于图2所示出的应用场景中。图2所示出的应用场景包括存储系统和N个文件系统，N为大于或等于2的正整数，即存储系统使用N个文件系统存储数据。图2中的存储系统可以是日志型存储系统，存储系统写文件系统的方式为追加写。图2中所示出的存储系统和多个文件系统可以对应于同一个设备，也可以对应于不同的设备上，且多个文件系统可以对应于同一个设备，也可以对应于不同的设备。

下面将结合图2示出的应用场景，详细描述根据本申请实施例的数据处理方法。图3示出了根据本申请一实施例的数据处理方法的示意性流程图。图3所示的方法由存储系统执行。

如图3所示出的，在S302处，接收用户的访问请求。

需要说明的是，用户的访问请求可以理解为请求修改存储系统状态的操作的请求。

在S304处，确定N个文件系统中的数据文件中的目标数据文件。

可以理解的是，N个文件系统中的数据文件是存储用户的数据的文件，数据文件的文件名可以包含一个唯一的编号，用于标识一个数据文件，本申请实施例对数据文件的格式不作限制。N个文件系统中的每个文件系统中可能已经创建了至少一个数据文件，也可以部分文件系统中还没有创建数据文件，N个文件系统中的数据文件可以理解为N个文件系统中已经创建的所有数据文件。

可选地，在一些实施例中，在S304处，确定N个文件系统中的数据文件中的目标数据文件，包括：获取可用数据文件集合；基于可用数据文件集合，确定目标数据文件。换言之，存储系统维护一个可用数据文件集合，可用数据文件集合中的数据文件可能能够用于进行数据写入。

在S306处，将访问请求相关的目标数据写入目标数据文件。

可选地，作为一个例子，在S304处，基于可用数据文件集合，确定目标数据文件的方法包括：若可用数据文件集合为空，则从N个文件系统中的可用文件系统中选择第一文件系统，并在第一文件系统上创建第一数据文件；将第一数据文件确定为目标数据文件。这里可用文件系统可以是N个文件系统中未出现故障的文件系统，或者可以是N个文件系统中有可用存储空间的文件系统。在从可用文件系统中选择第一文件系统时，可以根据可用文件系统的预设优先级选择第一文件系统，例如将可用文件系统中预设优先级最高的文件系统确定为第一文件系统。或者可以根据可用文件系统的可用存储空间的大小选择第一文件系统，例如可以将可用存储空间最大的文件系统确定为第一文件系统。但本申请实施例对从可用文件系统中选择第一文件系统的方法不作限定。

相对应的，在S306之前，图3所示的方法还包括：生成第一清单文件，第一清单文件中包括在创建第一数据文件之后N个文件系统中的所有数据文件的标识信息和路径信息；将第一清单文件写入N个文件系统中的至少一个文件系统。

进一步地，在S306处，将访问请求相关的目标数据写入目标数据文件包括：若成功将第一清单文件写入N个文件系统中的至少W个文件系统，则将目标数据写入第一数据文件，W为大于或等于1的正整数，且W小于N。由此，在数据写入过程中，能够容忍N-W个文件系统故障。在这里的第一清单文件的文件格式可以是文本文件，第一清单文件的每一行是一个数据文件的文件名。第一清单文件的文件名可以包含一个编号，这个编号用于表征第一清单文件的写入时间顺序。

可选地，作为另一个例子，在S304处，基于可用数据文件集合，确定目标数据文件的方法包括：如果可用数据文件集合不为空，则将可用数据文件集合中的一个数据文件确定为目标数据文件。在这里，从可用文件集合中选择目标文件集合的方法可以是根据预设规则进行的，例如，预设规则可以是将所在的文件系统的可用存储空间最大的数据文件确定为目标数据文件。但本申请实施例对从可用文件集合中选择目标文件集合的方法不作限定。

进一步地，图3所示的方法还包括：若成功将目标数据写入目标数据文件，则向用户返回目标数据文件的标识信息和目标数据在目标数据文件中的存储位置。若未成功将目标数据写入目标数据文件，则从可用数据集合中删除目标数据文件，得到更新后的可用数据文件集合；判断更新后的可用数据文件集合中是否存在能够写入目标数据的数据文件，并执行与判断的结果相关的操作。

作为一个例子，目标数据文件可以向存储系统发送反馈信息，使得存储系统能够根据反馈信息确定目标数据是否成功写入目标数据文件。在这种情况下，如果反馈信息指示目标数据写入目标数据文件失败，反馈信息中可以进一步包括写入失败的原因。或者存储系统如果在向目标数据文件发送用于请求写入目标数据的数据写入请求之后的一段时间内没有接收到目标数据文件系统发送的反馈信息，则认为数据写入成功。

具体地，在一些实施例中，与判断的结果相关的操作可以包括：如果更新后的可用数据文件集合中存在能够写入目标数据的数据文件，则从能够写入目标数据的文件中选择一个文件作为目标数据文件，再次进行目标数据的写入。如果更新后的可用数据文件集合中不存在能够写入目标数据的数据文件，则从N个文件系统中的可用文件系统中选择一个文件系统，并在选择的文件系统创建一个新的数据文件，将目标数据写入新的数据文件。

在上述所有实施例中，获取可用数据集合的方法可以是：若成功查询到N个文件系统中的至少R个文件系统中的清单文件，则获取至少R个文件系统中的第二文件清单，第二文件清单中包括接收到用户的访问请求之前N个文件系统中的所有数据文件的标识信息和路径信息，R与W的和大于N(例如，N为3，W为2，R为2，或者N为4，W为2，R为3)；根据第二清单文件，确定可用数据文件集合。由此在存储系统的启动过程中可以容忍至多N-R个文件系统故障。在这里，第二清单文件的文件格式可以是文本文件，每一行是一个数据文件的文件名。

可选地，作为一个例子，N个文件系统中的清单文件的文件名中包括编号，编号的大小用于表征清单文件的写入时间顺序，对应的编号最大的清单文件的写入时间最晚，对应的编号最小的清单文件的写入时间最早，第二清单文件为R个文件系统中对应的编号最大的清单文件；

在获取至少R个文件系统中的第二清单文件之前，图3所示的方法还包括：根据R个文件系统中的清单文件的文件名中的编号的大小，确定第二清单文件。

进一步地，根据第二清单文件，确定可用数据集合的方法可以包括：若根据第二清单文件，判断存在所在的文件系统未出现故障的数据文件，则将所在的文件系统未出现故障的数据文件组成的结合确定为可用数据文件集合。

举例来说，第二清单文件中包括数据文件1、数据文件2、数据文件3和数据文件4的标识信息和路径信息。其中，数据文件1在文件系统1上，数据文件2和数据文件3在文件系统2上，数据文件4在文件系统3上。如果确定文件系统2出现故障，则将数据文件1和数据文件4组成的集合确定为可用数据文件集合。

可选地，在一些实施例中，第二清单文件是在将目标数据文件从一个文件系统迁移到另一个文件系统之后生成的。将目标数据文件从一个文件系统迁移到另一个文件系统可以是在接收到用户进行数据文件迁移的请求时发生的，也可以是在存储系统确定需要均衡不同文件系统的可用存储空间时发生的。

作为一个例子，图3所示的方法还包括：若确定将目标数据文件由N个文件系统中的第三文件系统迁移到N个文件系统中的第四文件系统，则将目标数据文件复制到第四文件系统中；若成功将目标数据文件复制到第四文件系统中在，则生成第三清单文件；若成功将第三清单文件写入N个文件系统中的W个文件系统，则从第三文件系统上删除目标数据文件。

需要说明的是，将目标数据文件由第三文件系统复制到第四文件系统时，目标数据文件的文件编号及其中的内容保持不变。在这里的生成第二清单文件可以理解为在原有清单文件内容的基础上，更改目标数据文件的位置，并且将原有清单文件的编号加1。

还需要说明的是，上文中的第一清单文件、第二清单文件和第三清单文件表示数据处理过程中的不同阶段出现的清单文件，即第一清单文件、第二清单文件和第三清单文件指的是同一类清单文件，而不是指三种不同的清单文件。

图4示出了根据本申请另一实施例的数据处理方法的示意性流程图。图4所示的方法应用于图2所示的应用场景中。图4所示的方法应用于文件系统，文件系统可用于存储存储系统中的数据，存储系统使用N个文件系统存储数据，N个文件系统包括该文件系统，N为大于或等于2的正整数。

如图4所示出的，在S402处，接收存储系统发送的文件创建请求，该文件系统是由存储系统在确定可用数据文件集合为空时从N个文件系统中的可用文件系统中选择出的。

在S404处，基于文件创建请求创建第一数据文件。

可选地，文件系统向存储系统发送反馈信息，以使得存储系统确认第一数据文件是否被成功创建。

在S406处，接收存储系统发送的用于请求写入目标数据的数据写入请求，目标数据与存储系统接收到的用户的访问请求相关。

在S408处，将目标数据写入第一数据文件。

可选地，在一些实施例中，数据写入请求由存储系统在确定成功将第一清单文件写入N个文件系统中的至少W个文件系统后发送，第一清单文件由存储系统确定第一数据文件被创建之后生成，第一清单文件中包括在第一数据文件被创建之后N个文件系统中的所有数据文件的标识信息和路径信息，W为大于或等于1的正整数，且W小于N。相对应的，在接收存储系统发送的用于请求写入目标数据的数据写入请求之前，图4所示的方法还包括：若接收到存储系统发送的用于请求写入第一清单文件的清单文件写入请求，则将第一清单文件写入文件系统。

可选地，作为一个实施例，在接收存储系统发送的文件创建请求之前，图4所示的方法还包括：接收存储系统发送的清单文件查询请求；向存储系统发送文件系统中的清单文件，文件系统中的清单文件用于存储系统在获取到N个文件系统中的至少R个文件系统中的第二清单文件时基于第二清单文件确定可用数据集合，第二清单文件中包括存储系统接收到用户的访问请求之前N个文件系统中的所有数据文件的标识信息和路径信息，W和R的和大于N，且R小于N。

下面将结合具体的例子，详细描述根据本申请实施例的数据处理方法。

如图5所示出的，在S502处，接收到用户的写访问请求。

在S504处，判断可写数据文件集合是否为空。

在S506处，如果可写数据文件集合不为空，则从可写数据文件集合中选择一个目标数据文件。

在S508处，尝试在目标数据文件中写入写访问请求相关的数据。

在S510处，判断数据写入是否成功。

在S512处，如果数据写入成功，向用户返回数据目标数据文件的编号和数据在目标数据文件中的位置。

在S514处，如果数据写入不成功，则从可写数据文件集合中删除目标数据文件，并重新执行S504及其后续相关步骤。

在S516处，如果可写数据文件集合为空，则从可用文件系统中选择目标文件系统。

在S518处，尝试在目标文件系统上创建新数据文件。

在S520处，判断新数据文件是否创建成功。

在S522处，如果新数据文件创建成功，则生成新清单文件；如果新数据文件创建不成功，则重新执行S516及其后续步骤。

在S524处，尝试在所有文件系统中写入新清单文件。

在S526处，判断是否已在至少W个文件系统成功写入新清单文件。

在S528处，若成功将新清单文件写入至少W个文件系统，则将新数据文件加入可写数据文件集合，并执行S506及其后续相关步骤。

在S530处，若未成功将新清单文件写入至少W个文件系统，则重试写入失败的文件系统，之后执行S526及其后续相关步骤。

需要说明的是，在图5所示的方法中，从可写数据文件集合中选择目标数据文件的方法，从可用文件系统中选择目标文件系统的方法，与图3所示的方法中的相应方法相同，为避免重复，在此不再赘述。

图5所示的方法中的可写数据文件集合可以是根据存储系统启动过程中获取到的清单文件确定的。下面将结合图6详细描述根据本申请实施例的存储系统启动过程。

如图6所示出的，在S602处，接收到开始启动指令。

在S604处，查询所有文件系统上的清单文件。

在S606处，判断是否成功查询到至少R个文件系统上的清单文件。

在S608处，如果成功查询到至少R个文件系统中的清单文件，则读取编号最大的清单文件。

可以理解的是，清单文件的文件名中包括一个编号，编号越大说明该清单文件的写入时间越晚。读取编号最大的清单文件实际上是将清单文件中的内容读取到内存中。

在S610处，如果未成功查询到至少R个文件系统中的清单文件在，则继续等待，重试失败的查询，并执行S606及其后续相关步骤。

在S612处，启动完成。

本申请实施例还提供了一种数据文件迁移的方法。如图7所示出的，在S702处，确定需要迁移目标数据文件。

在这里为描述方法，将当前存储目标数据文件的系统称为源文件系统。

在S704处，从多个文件系统中选择一个目标文件系统。

本申请对选择目标文件系统的方法不作限制。

在S706处，将目标数据文件从源文件系统复制到目标文件系统。

在S708处，生成新的清单文件。

在S710处，尝试在所有文件系统写入新的清单文件。

在S712处，判断是否成功将新的清单文件写入至少有W个文件系统。

在S714处，如果成功将新的清单文件写入至少有W个文件系统，则删除源文件系统上的目标数据文件。

在S716处，若未成功将新的清单文件写入至少W个文件系统，则重试写入失败的文件系统，并执行S712及其后续相关步骤。

在S718处，确定目标数据文件迁移成功。

可以理解的是，存储系统可以根据在数据文件迁移过程中生成的新的清单文件确定可写数据文件集合，等再次接收到用户的写访问请求时，从根据确定的可写数据文件集合确定用于写入与写访问请求相关的数据的目标数据文件。

以上结合图3至图7详细描述了根据本申请实施例的数据处理方法。下面将结合图8详细描述根据本申请实施例的电子设备。该电子设备使用N个文件系统存储数据，N为大于或等于2的正整数。参考图8，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成存储系统。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

接收用户的访问请求；

确定N个文件系统中的数据文件中的目标数据文件；

将访问请求相关的目标数据写入目标数据文件。

上述如本申请图3所示实施例揭示的存储系统执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图5至图7的方法，并实现存储系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3至图7所示实施例的方法，并具体用于执行以下方法：

接收用户的访问请求；

确定N个文件系统中的数据文件中的目标数据文件；

将访问请求相关的目标数据写入目标数据文件；

其中，电子设备使用N个文件系统存储数据，N为大于或等于2的正整数。

下面将结合图9详细描述根据本申请另一实施例的电子设备。该电子设备可用于存储存储系统中的数据，存储系统使用N个电子设备存储数据，N个电子设备包括该电子设备。参考图9，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成文件系统。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

接收存储系统发送的文件创建请求，电子设备是由存储系统在确定可用数据文件集合为空时从所述N个电子设备中的可用电子设备中选择出的；

基于文件创建请求创建第一数据文件；

接收存储系统发送的用于请求写入目标数据的数据写入请求，目标数据与存储系统接收到的用户的访问请求相关；

将目标数据写入第一数据文件。

上述如本申请图4所示实施例揭示的文件系统执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图5至图7的方法，并实现文件系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图4至图7所示实施例的方法，并具体用于执行以下方法：

接收存储系统发送的文件创建请求，电子设备是由存储系统在确定可用数据文件集合为空时从N个电子设备中的可用电子设备中选择出的；

基于文件创建请求创建第一数据文件；

接收存储系统发送的用于请求写入目标数据的数据写入请求，目标数据与存储系统接收到的用户的访问请求相关；

将目标数据写入第一数据文件；

其中，电子设备可用于存储存储系统中的数据，存储系统使用N个电子设备存储数据，N个电子设备包括该电子设备。

图10是本申请的一个实施例的存储系统的结构示意图。存储系统使用N个文件系统存储数据，N为大于或等于2的正整数。请参考图10，在一种软件实施方式中，存储系统1000可包括：收发单元1001、确定单元1002和写入单元1003，其中，

收发单元1001，接收用户的访问请求；

确定单元1002，确定N个文件系统中的数据文件中的目标数据文件；

写入单元1003，将访问请求相关的目标数据所述目标数据文件。

本申请实施例的存储系统可以使用多个文件系统存储数据，在接收到用户的访问请求时，可以从多个文件系统中的数据文件中选择目标数据文件，将与访问请求相关的目标数据写入目标数据文件。由此，即使部分文件系统出现故障，存储系统也可以使用未出现故障的文件系统处理用户的访问请求，能够提高系统的可用性。并且本申请实施例中的存储系统将与用户的访问请求相关的数据只存储在一个文件系统中，避免了数据在不同存储系统使用的文件系统间的复制带来的额外网络带宽消耗问题，以及避免数据同时存储在多个文件系统中带来的高存储成本问题。

可选地，作为一个实施例，所述确定单元1002：

获取可用数据文件集合；

基于所述可用数据文件集合，确定所述目标数据文件。

可选地，作为一个实施例，所述确定单元1002：

若所述可用数据文件集合为空，则从所述N个文件系统中的可用文件系统中选择第一文件系统，并在所述第一文件系统上创建第一数据文件；

将所述第一数据文件确定为所述目标数据文件。

可选地，作为一个实施例，在将所述访问请求相关的目标数据写入所述目标数据文件之前，所述写入单元1003：

生成第一清单文件，所述第一清单文件中包括在创建所述第一数据文件之后所述N个文件系统中的所有数据文件的标识信息和路径信息；

将所述第一清单文件写入所述N个文件系统中的至少一个文件系统。

可选地，作为一个实施例，所述写入单元1003：

若成功将所述第一清单文件写入所述N个文件系统中的至少W个文件系统，则将所述目标数据写入所述第一数据文件，W为大于或等于1的正整数，且W小于N。

可选地，作为一个实施例，所述确定单元1002：

若成功查询到所述N个文件系统中的至少R个文件系统中的清单文件，则获取所述至少R个文件系统中的第二清单文件，所述第二清单文件中包括接收到用户的访问请求之前所述N个文件系统中的所有数据文件的标识信息和路径信息，W和R的和大于N，且R小于N；

根据所述第二清单文件，确定所述可用数据文件集合。

可选地，作为一个实施例，所述N个文件系统中的清单文件的文件名中包括编号，编号的大小用于表征清单文件的写入时间顺序，对应的编号最大的清单文件的写入时间最晚，对应的编号最小的清单文件的写入时间最早，所述第二清单文件为所述R个文件系统中对应的编号最大的清单文件；

其中，所述确定单元1002：

根据所述R个文件系统中的清单文件的文件名中的编号的大小，确定所述第二清单文件。

可选地，作为一个实施例，所述确定单元1002：

若根据所述第二清单文件，判断存在所在的文件系统未出现故障的数据文件，则将所述所在的文件系统未出现故障的数据文件组成的集合确定为所述可用数据文件集合。

可选地，作为一个实施例，所述第二清单文件位于所述至少R个文件系统中的第二文件系统上，所述写入单元1003：

若确定将目标数据文件由所述N个文件系统中的第三文件系统迁移到所述N个文件系统中的第四文件系统，则将所述目标数据文件复制到所述第四文件系统中；

若成功将所述目标数据文件复制到所述第四文件系统中，则生成所述第三清单文件；

若成功将所述第三清单文件写入所述N个文件系统中的至少W个文件系统，则从所述第三文件系统上删除所述目标数据文件。

可选地，作为一个实施例，所述确定单元1002：

根据所述可用文件系统的预设优先级选择所述第一文件系统；或，

根据所述可用文件系统的可用存储空间的大小选择所述第一文件系统。

可选地，作为一个实施例，所述确定单元1002：

若所述可用数据文件集合不为空，则将所述可用数据文件集合中的一个数据文件确定为所述目标数据文件。

可选地，作为一个实施例，所述写入单元1003：

若成功将所述目标数据写入所述目标数据文件，则向所述用户返回所述目标数据文件的标识信息和所述目标数据在所述目标数据文件中的存储位置。

可选地，作为一个实施例，所述写入单元1003：

若未成功将所述目标数据写入所述目标数据文件，则从所述可用数据文件集合中删除所述目标数据文件，得到更新后的可用数据文件集合；

判断所述更新后的可用数据文件集合中是否存在能够写入所述目标数据的数据文件，并执行与判断的结果相关的操作。

存储系统1000还可执行图5至图7所示实施例的方法，并实现存储系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。

图11是本申请的一个实施例的文件系统的结构示意图。该文件系统可用于存储存储系统中的数据，存储系统使用N个文件系统存储数据，N个文件系统包括图11所示的文件系统，N为大于或等于2的正整数。请参考图11，在一种软件实施方式中，文件系统1100可包括：收发单元1101、文件创建单元1102和写入单元1103，其中，

收发单元1101，接收所述存储系统发送的文件创建请求，所述文件系统是由所述存储系统在确定可用数据文件集合为空时从所述N个文件系统中的可用文件中选择出的；

文件创建单元1102，基于所述文件创建请求创建第一数据文件；

所述收发单元1101，接收所述存储系统发送的用于请求写入目标数据的写入请求，所述目标数据与所述存储系统接收到的用户的访问请求相关；

写入单元1103，将所述目标数据写入所述第一数据文件。

本申请实施例的文件系统可用于存储存储系统中的数据，并且在接收到存储系统的文件创建请求时，能够创建新的数据文件，并在接收到数据写入请求时，将数据写入请求所请求写入的数据写入新的数据文件中，使得使用多个这样的文件系统的存储系统能够在部分文件系统出现故障时，也可以使用未出现故障的文件系统处理用户的访问请求，能够提高系统的可用性。

可选地，作为一个实施例，所述数据写入请求由所述存储系统在确定成功将第一清单文件写入所述N个文件系统中的至少W个文件系统后发送，所述第一清单文件由所述存储系统确定第一数据文件被创建之后生成，所述第一清单文件中包括在所述第一数据文件被创建之后所述N个文件系统中的所有数据文件的标识信息和路径信息，W为大于或等于1的正整数，且W小于N；

其中，在接收所述存储系统发送的用于请求写入目标数据的数据写入请求之前，所述写入单元1103：

若接收到所述存储系统发送的用于请求写入所述第一清单文件的清单文件写入请求，则将所述第一清单文件写入所述文件系统。

可选地，作为一个实施例，在接收所述存储系统发送的文件创建请求之前，所述收发单元1101：

接收所述存储系统发送的清单文件查询请求；

向所述存储系统发送所述文件系统中的清单文件，所述文件系统中的清单文件用于所述存储系统在获取到所述N个文件系统中的至少R个文件系统中的第二清单文件时基于所述第二清单文件确定所述可用数据文件集合，所述第二清单文件中包括所述存储系统接收到用户的访问请求之前所述N个文件系统中的所有数据文件的标识信息和路径信息，W和R的和大于N，且小于N。

文件系统1100还可执行图5至图7所示实施例的方法，并实现文件系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提供了一种数据处理系统，该数据处理系统包括存储系统和N个文件系统，存储系统使用N个文件系统存储数据，N为大于或等于2的正整数；存储系统包括：第一收发单元，接收用户的访问请求；确定单元，在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；所述第一文件系统包括：第二收发单元，接收所述存储系统发送的文件创建请求；文件创建单元，基于所述文件创建请求创建第一数据文件；所述第二收发单元，接收所述存储系统发送的用于请求写入目标数据的写入请求，所述目标数据与所述存储系统接收到的用户的访问请求相关；写入单元，将所述目标数据写入所述第一数据文件。

可以理解的是，数据处理系统中的存储系统还可执行图5至图7所示实施例的方法，并实现存储系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。数据处理系统中的文件系统还可执行图5至图7所示实施例的方法，并实现文件系统在图5至图7所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，所述一个或多个程序当被包括存储系统和N个文件系统的数据处理系统执行时，使得所述数据处理系统执行以下操作：接收用户的访问请求；在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；在所述第一文件系统上创建第一数据文件；将所述访问请求相关的目标数据写入所述第一数据文件；其中，所述存储系统使用所述N个文件系统存储数据，N为大于或等于2的正整数。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (18)

1.一种数据处理方法，应用于存储系统，所述存储系统使用N个文件系统存储数据，N为大于或等于2的正整数，所述方法包括：

接收用户的访问请求；

确定所述N个文件系统中的数据文件中的目标数据文件；

将所述访问请求相关的目标数据写入所述目标数据文件。

2.根据权利要求1所述的方法，所述确定所述N个文件系统中的数据文件中的目标数据文件，包括：

获取可用数据文件集合；

基于所述可用数据文件集合，确定所述目标数据文件。

3.根据权利要求2所述的方法，所述基于所述可用数据文件集合，确定所述目标数据文件，包括：

若所述可用数据文件集合为空，则从所述N个文件系统中的可用文件系统中选择第一文件系统，并在所述第一文件系统上创建第一数据文件；

将所述第一数据文件确定为所述目标数据文件。

4.根据权利要求3所述的方法，在将所述访问请求相关的目标数据写入所述目标数据文件之前，所述方法还包括：

生成第一清单文件，所述第一清单文件中包括在创建所述第一数据文件之后所述N个文件系统中的所有数据文件的标识信息和路径信息；

将所述第一清单文件写入所述N个文件系统中的至少一个文件系统。

5.根据权利要求4所述的方法，所述将所述访问请求相关的目标数据写入所述目标数据文件，包括：

若成功将所述第一清单文件写入所述N个文件系统中的至少W个文件系统，则将所述目标数据写入所述第一数据文件，W为大于或等于1的正整数，且W小于N。

6.根据权利要求5所述的方法，所述获取可用数据文件集合，包括：

若成功查询到所述N个文件系统中的至少R个文件系统中的清单文件，则获取所述至少R个文件系统中的第二清单文件，所述第二清单文件中包括接收到用户的访问请求之前所述N个文件系统中的所有数据文件的标识信息和路径信息，W和R的和大于N，且R小于N；

根据所述第二清单文件，确定所述可用数据文件集合。

7.根据权利要求6所述的方法，所述N个文件系统中的清单文件的文件名中包括编号，编号的大小用于表征清单文件的写入时间顺序，对应的编号最大的清单文件的写入时间最晚，对应的编号最小的清单文件的写入时间最早，所述第二清单文件为所述R个文件系统中对应的编号最大的清单文件；

其中，在获取所述至少R个文件系统中的第二清单文件之前，还包括：

根据所述R个文件系统中的清单文件的文件名中的编号的大小，确定所述第二清单文件。

8.根据权利要求6所述的方法，根据所述第二清单文件，确定所述可用数据文件集合，包括：

若根据所述第二清单文件，判断存在所在的文件系统未出现故障的数据文件，则将所述所在的文件系统未出现故障的数据文件组成的集合确定为所述可用数据文件集合。

9.根据权利要求5至8中任一项所述的方法，所述方法还包括：

若确定将目标数据文件由所述N个文件系统中的第三文件系统迁移到所述N个文件系统中的第四文件系统，则将所述目标数据文件复制到所述第四文件系统中；

若成功将所述目标数据文件复制到所述第四文件系统中，则生成第三清单文件；

若成功将所述第三清单文件写入所述N个文件系统中的至少W个文件系统，则从所述第三文件系统上删除所述目标数据文件。

10.根据权利要求3至8中任一项所述的方法，所述从N个文件系统中的可用文件系统中选择第一文件系统，包括：

根据所述可用文件系统的预设优先级选择所述第一文件系统；或，

根据所述可用文件系统的可用存储空间的大小选择所述第一文件系统。

11.根据权利要求2所述的方法，所述基于所述可用数据文件集合，确定所述目标数据文件，包括：

若所述可用数据文件集合不为空，则将所述可用数据文件集合中的一个数据文件确定为所述目标数据文件。

12.根据权利要求11所述的方法，还包括：

若成功将所述目标数据写入所述目标数据文件，则向所述用户返回所述目标数据文件的标识信息和所述目标数据在所述目标数据文件中的存储位置。

13.根据权利要求11所述的方法，还包括：

若未成功将所述目标数据写入所述目标数据文件，则从所述可用数据文件集合中删除所述目标数据文件，得到更新后的可用数据文件集合；

判断所述更新后的可用数据文件集合中是否存在能够写入所述目标数据的数据文件，并执行与判断的结果相关的操作。

14.一种数据处理方法，应用于文件系统，所述文件系统可用于存储存储系统中的数据，所述存储系统使用N个文件系统存储数据，所述N个文件系统包括所述文件系统，N为大于或等于2的正整数，所述方法包括：

接收所述存储系统发送的文件创建请求，所述文件系统是由所述存储系统在确定可用数据文件集合为空时从所述N个文件系统中的可用文件系统中选择出的；

基于所述文件创建请求创建第一数据文件；

接收所述存储系统发送的用于请求写入目标数据的数据写入请求，所述目标数据与所述存储系统接收到的用户的访问请求相关；

将所述目标数据写入所述第一数据文件。

15.根据权利要求14所述的方法，所述数据写入请求由所述存储系统在确定成功将第一清单文件写入所述N个文件系统中的至少W个文件系统后发送，所述第一清单文件由所述存储系统确定第一数据文件被创建之后生成，所述第一清单文件中包括在所述第一数据文件被创建之后所述N个文件系统中的所有数据文件的标识信息和路径信息，W为大于或等于1的正整数，且W小于N；

其中，在接收所述存储系统发送的用于请求写入目标数据的数据写入请求之前，所述方法还包括：

若接收到所述存储系统发送的用于请求写入所述第一清单文件的清单文件写入请求，则将所述第一清单文件写入所述文件系统。

16.根据权利要求15所述的方法，在接收所述存储系统发送的文件创建请求之前，所述方法还包括：

接收所述存储系统发送的清单文件查询请求；

向所述存储系统发送所述文件系统中的清单文件，所述文件系统中的清单文件用于所述存储系统在获取到所述N个文件系统中的至少R个文件系统中的第二清单文件时基于所述第二清单文件确定所述可用数据文件集合，所述第二清单文件中包括所述存储系统接收到用户的访问请求之前所述N个文件系统中的所有数据文件的标识信息和路径信息，W和R的和大于N，且R小于N。

17.一种数据处理系统，所述数据处理系统包括存储系统和N个文件系统，所述存储系统使用所述N个文件系统存储数据，N为大于或等于2的正整数；

所述存储系统包括：

第一收发单元，接收用户的访问请求；

确定单元，在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；

所述第一文件系统包括：

第二收发单元，接收所述存储系统发送的文件创建请求；

文件创建单元，基于所述文件创建请求创建第一数据文件；

所述第二收发单元，接收所述存储系统发送的用于请求写入目标数据的写入请求，所述目标数据与所述存储系统接收到的用户的访问请求相关；

写入单元，将所述目标数据写入所述第一数据文件。

18.一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括存储系统和N个文件系统的数据处理系统执行时，使得所述数据处理系统执行以下操作：

接收用户的访问请求；

在确定存储系统中的可用数据文件集合为空时，从N个文件系统中的可用文件系统中选择第一文件系统；

在所述第一文件系统上创建第一数据文件；

将所述访问请求相关的目标数据写入所述第一数据文件；

其中，所述存储系统使用所述N个文件系统存储数据，N为大于或等于2的正整数。

Images