CN107969153A - 一种资源分配方法、装置及numa系统 - Google Patents

Abstract

本发明公开一种资源分配方法、装置及NUMA系统，涉及通信技术领域，可以解决文件处理的效率低的问题。本发明实施例通过获取文件访问请求所属的进程，然后根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区，从而将文件访问请求所属的进程分配给处理文件访问请求的资源分区进行处理。本发明实施例提供的方案适用于为文件访问请求的进程分配资源。

Description

一种资源分配方法、装置及NUMA系统 技术领域

本发明涉及通信技术领域，尤其涉及一种资源分配方法、装置及NUMA系统。

背景技术

随着移动设备、社交网络、互联网、大数据等多种应用的蓬勃发展，人类社会产生的数据呈爆炸式增长，同时对存储系统的性能以及存储资源的容量的要求也越来越高。应用程序一般需通过文件系统来访问存储系统中的文件，所以可以通过提升文件系统的处理性能来提高数据的存储性能。

目前，文件系统在运行时，不仅需要访问存储介质，还需要充分利用动态随机存取存储器(Dynamic Random Access Memory，DRAM)来缓存部分数据，然而在包含多个非统一内存访问架构(Non-Uniform Memory Access Architecture，NUMA)节点的多核系统上，会存在跨NUMA访问DRAM的情况，跨NUMA访问DRAM会增加数据访问时延，导致文件系统的性能较差，现有技术可以通过优化文件数据的存储位置的方法来提升文件系统的性能。具体的，可以根据NUMA结构对处理资源和文件系统所管理的存储资源进行分区，例如，可以将一个NUMA节点作为一个资源分区。每个NUMA节点中包括处理器核以及存储资源中的存储介质、作为缓存(cache)的DRAM。将文件系统中的子目录依次分配给不同的资源分区，对于一个子目录下所有文件的操作都只能使用该子目录所属资源分区中的资源，即当处理映射到某个资源分区的文件时，只能使用该资源分区中的DRAM和处理器核，不能跨区访问。

然而，采用这种方法虽然减少了跨NUMA访问DRAM的情况，但是由于对于一个子目录下的文件的操作只能使用该子目录所属的资源分区中的DRAM以及处理器核，无法并行地对文件进行处理，例如，如果同时接收到对一个子目录下的5个文件的访问请求，只能使用该子目录所属资源分区的处理器核串行处理对这5个文件的访问请求，会导致文件处理 的效率低。

发明内容

本发明的实施例提供一种资源分配方法、装置及NUMA系统，可以解决文件处理的效率低的问题。

一方面，本发明实施例提供了一种资源分配方法，该方法应用于具有非统一内存访问架构NUMA的计算机系统中，该计算机系统包括多个NUMA节点，多个NUMA节点间通过互联器件进行连接，每个NUMA节点包括至少一个处理器核，该方法包括：多个NUMA节点中的第一NUMA节点获取文件访问请求所属的进程，文件访问请求用于访问目标文件，然后根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区，从而将文件访问请求所属的进程分配给处理文件访问请求的资源分区进行处理。其中，计算机系统包括至少两个资源分区，每个资源分区分别包括至少一个处理器核以及至少一个存储单元，一个资源分区中的处理器核以及存储单元位于同一个NUMA节点上，一个NUMA节点上包括至少一个资源分区。由于预设时间内至少部分进程访问文件的文件信息可以反映可能被同时访问的文件的信息，所以根据这些文件的信息来确定资源分区，可以避免将可能被同时访问的文件的文件访问请求分配至相同的资源分区，使得不同的资源分区可以并行处理同时访问不同的文件的文件访问请求，从而提升了文件处理的效率。

在一种可能的设计中，文件访问请求中包含有目标文件的文件标识，在根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区之前，还需要根据文件标识以及资源分配映射关系确定目标文件尚未被访问过，其中，资源分配映射关系中包括已被访问过的文件的文件标识以及处理已被访问过的文件的文件访问请求的资源分区的信息。此外，如果根据文件标识以及资源分配映射关系确定目标文件被访问过，则可以直接根据资源分配映射关系确定处理文件访问请求的进程的资源分区。

在一种可能的设计中，当文件访问请求所属的进程在访问目标文件之前未访问过文件时，至少部分进程为除文件访问请求所属进程之外的至少 部分进程；当文件访问请求所属的进程在访问待处理文件之前访问过文件时，至少部分进程为文件访问请求所属的进程。

在一种可能的设计中，当预设时间段内至少部分进程访问的文件中大文件的比例超过预设阈值，且预设时间段内至少部分进程访问的文件存放在同一目录下不同的子目录中时，按照目标文件所属的目录确定处理文件访问请求的资源分区，尽量为同一目录下不同子目录中的文件分配不同的资源分区，如果同一目录下子目录的数量大于资源分区的数量，允许一个资源分区中包含多个子目录。确定资源分区时可根据目标文件的目录字符串的哈希值来确定处理文件访问请求的资源分区号。其中，大文件比例为预设时间段内至少部分进程访问的文件中，文件大小超过预设值的文件数量占预设时间段内至少部分进程访问的文件总数量的比例。可见，预设时间段内至少部分进程访问的文件存放在同一目录下不同的子目录中，说明同一目录下不同子目录中的文件可能被并发访问，按照目标文件所属的目录确定处理文件访问请求的资源分区，可以实现为不同子目录中的文件的文件访问请求分配不同的资源分区，使得不同子目录中的文件能够被并行访问，可以提高文件处理的效率。

在一种可能的设计中，当预设时间段内至少部分进程访问的文件中大文件的比例超过预设阈值，且预设时间段内至少部分进程访问的文件不在同一目录下时，按照文件访问请求中携带的目标文件的文件标识确定处理文件访问请求的资源分区，其中，文件标识为文件索引节点Inode号，用于指示文件系统中的文件，Inode号是文件系统中代表不同文件的唯一标号。确定资源分区时可根据目标文件的Inode号的哈希值来确定处理文件访问请求的资源分区号。可见，若预设时间段内至少部分进程访问的文件未位于同一目录下的不同子目录中，但是预设时间段内至少部分进程访问的文件中的大文件比例较高，说明大文件可能被同时访问，按照文件访问请求中携带的目标文件的文件标识确定处理文件访问请求的资源分区，可以实现为大文件的文件访问请求尽可能地分配不同的资源分区，使得大文件能够被并行访问，可以提高文件处理的效率。

在一种可能的设计中，当预设时间段内至少部分进程访问的文件中大 文件的比例未超过预设阈值时，按照文件访问请求所属的进程信息确定处理文件访问请求的资源分区。如果预设时间段内至少部分进程访问的文件中大文件的比例未超过预设阈值，说明预设时间段内至少部分进程访问的文件中的小文件较多，而访问小文件所需的时间较短，所以无需对文件访问请求所属的进程进行迁移，为文件访问请求的进程分配的资源分区仍未运行文件访问请求所属进程的处理器核所在的资源分区，可以避免进程的迁移。

在一种可能的设计中，在为文件访问请求所属的资源进程分配资源分区之前，需先对计算机系统中的存储资源进行分区，分区的方法为：确定存储资源中SCM存储单元、DRAM内存单元和Flash存储单元各自的可并发访问粒度，以及在各自的可并发访问粒度下的可并发访问的存储子单元数量，然后确定存储资源中的处理器核数量，根据SCM存储单元、DRAM内存单元和Flash存储单元各自可并发访问的存储子单元数量以及处理器核数量，将存储资源划分为至少两个资源分区。其中，一个资源分区中包括：至少一个处理器核，至少一个DRAM子单元、至少一个SCM子单元以及至少一个Flash子单元，一个资源分区中的至少一个处理器核，至少一个DRAM子单元、至少一个SCM子单元以及至少一个Flash子单元位于一个NUMA节点上。由于不同资源分区中的处理器核可以并行运行，且不同资源分区中的存储子单元可以被并行访问，所以，当接收到对不用资源分区中的文件的文件访问请求时，可以并行处理这些文件访问请求，可以提高文件处理的效率。

另一方面，本发明实施例提供了一种资源分配装置，该装置可以实现上述方法实施例中第一NUMA节点的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。

在一种可能的设计中，该装置的结构中包括处理器和收发器，该处理器被配置为支持该装置执行上述方法中相应的功能。该收发器用于支持该装置与其他网元之间的通信。该装置还可以包括存储器，该存储器用于与处理器耦合，其保存该装置必要的程序指令和数据。

又一方面，本发明实施例提供了一种通信系统，该系统包括上述方面所述的资源分配装置和可以承载存储资源的装置。

再一方面，本发明实施例提供了一种计算机存储介质，用于储存为上述资源分配装置所用的计算机软件指令，其包含用于执行上述方面所设计的程序。

相比于现有技术，本发明实施例可以根据预设时间内至少部分进程访问文件的文件信息来确定处理文件访问请求的资源分区，因为预设时间内至少部分进程访问文件的文件信息可以反映可能被同时访问的文件的信息，所以根据这些文件的信息来确定资源分区，可以避免将可能同时访问不同文件的文件访问请求分配至相同的资源分区，使得不同的资源分区可以并行处理同时访问不同文件的文件访问请求，从而提升了文件处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例的附图。

图1为本发明实施例提供的一种分布式存储系统的结构示意图；

图2为本发明实施例提供的一种存储节点的结构示意图；

图3为本发明实施例供的一种NUMA节点的结构示意图；

图4为本发明实施例提供的一种NUMA节点中的处理器的结构示意图；

图5为本发明实施例提供的一种资源分配方法的流程图；

图6为本发明实施例提供的另一种资源分配方法的流程图；

图7本发明实施例提供的一种资源分区的示例性示意图；

图8为本发明实施例提供的另一种资源分配方法的流程图；

图9本发明实施例提供的一种资源分配装置的逻辑结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。

为了方便对后续实施例的描述，首先对本发明实施例所应用的相关技术进行介绍，为了提高存储系统的性能，可以将单机存储系统扩充为分布式存储系统，如图1所示，分布式存储系统中包含存储客户端以及多个存储节点，存储节点之间通过高速网络互连，多个存储节点组成一个分布式的存储系统，存储客户端可以通过网络访问分布式存储系统上的存储资源。其中，每个存储节点中包括至少一个NUMA节点，存储节点上的存储空间由分布式文件系统统一管理和分配，分布式文件系统可以并发访问不同存储节点中存储的文件，且同一存储节点中不同NUMA节点中存储的文件也可以被并发访问。

图1中的存储节点的架构如图2所示，一个存储节点中包含至少一个处理器，每个处理器对应一个NUMA节点，一个NUMA节点中包含一个处理器，以及挂载在内存总线上的内存资源和SCM资源，图1中的Flash(闪存)用于取代传统的硬盘。其中，Flash、内存(DRAM)和存储级内存(Storage Class Memory，SCM)都包含许多存储芯片，具有并发处理的能力。例如，SCM存储单元和DRAM内存单元的并发粒度从粗到细依次是NUMA、内存通道、Rank，以及Bank。也就是说，如果请求对应的数据分属在不同的Bank上，这些请求是可以并发执行的。Flash存储单元的并发粒度可以是队列，或者是Die。部分Flash存储单元提供了多个存储队列，不同队列的请求是可以并发执行，互不干扰的。对于处理器来说，每个处理器核是其并发粒度。不同的处理器核是可以并发执行的。并发访问是指访问不同存储芯片的请求，是可以同时被不同存储芯片处理的，而不是串行被执行。

图2中的NUMA节点的架构如图3所示，NUMA节点中包括Flash存储器301、非易失性存储器SCM302、动态随机存储器DRAM303、处理器304、I/O总线305以及内存总线306。其中，Flash存储器301、非易失性存储器SCM302和动态随机存储器DRAM303构成NUMA节点的存储单元。Flash存储器301、非易失性存储器SCM302、动态随机存储器DRAM303和处理器之间通过I/O总线305和内存总线306连接。

其中，Flash存储器301为存储芯片的一种，不仅具备电子可擦除可编程(EEPROM)的性能，还具有快速读取数据的优势，使数据不会因为断电而丢失。

非易失性存储器SCM302为存储级内存，可以实现在无需拭去旧有数据的情况下直接写入新数据，为新型的高性能非易失性存储器。

动态随机存储器DRAM303，只能将数据保存很短的时间，所以用于缓存数据。

处理器304，可以是中央处理器(Central Processing Unit，CPU)或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是一个或多个集成电路，用于执行应用程序。处理器304接收到文件访问请求后，可以执行文件访问请求所属的进程，并根据文件访问请求通过内存总线以及I/O总线对NUMA节点的存储单元中的文件进行读写操作。

本发明实施例应用于具有NUMA的计算机系统中，计算机系统中包括多个NUMA节点，多个NUMA节点之间通过互联器件进行连接，每个NUMA节点包括至少一个处理器核。

需要说明的是，在具有NUMA的计算机系统中，NUMA节点之间可以通过互联器件进行连接和信息交互，以图3中的处理器为例，每个NUMA节点中的处理器可以访问整个计算机系统中的存储单元。计算机系统中的CPU之间可以通过互联总线进行互联。如图4所示，图4中以每个NUMA节点中的处理器包括4个CPU核为例。需要说明的是，图4仅图示了NUMA节点中的处理器的结构。如图4所示，每个NUMA节点的处理器中均包含有4个CPU核，不同的CPU之间通过互联总线互连，一种常见的互联总线是高速互联协议(Quick-Path Interconnect，QPI)。不同NUMA节点的处理器之间可以通过网络控制器等连接器件进行互联，以便能够相互通信。

实际应用中，一种情况下，NUMA系统中可以有一个专门的节点作为管理节点，以实现对整个系统的管理功能。例如，作为管理节点的NUMA节点能够给其他用于处理业务的NUMA节点分配访问请求，从而 能够将数据存储到某一个NUMA节点上。在另一种情况下，NUMA系统中可以不设置专门的管理节点，每个NUMA节点均可以处理业务并实现一部分的管理功能。例如，NUMA节点1既可以处理其接收的访问请求，NUMA节点1也可以作为管理节点，将其接收的访问请求分配给其他NUMA节点(例如NUMA节点2)进行处理。在本发明实施例中，不对具体的NUMA节点的功能进行限定。

需要说明的是，进程是一个是操作系统动态执行的基本单元，也是资源的基本分配单元。线程，也被称为轻量级进程，线程是进程中的一个实体，线程不拥有系统资源，只拥有一些在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。在进程执行时，操作系统根据一定的策略为进程/线程分配所运行的处理器核，应用程序可以通过设置进程亲和度的函数接口来指定需要所期望的处理器核。

基于上述描述的NUMA系统，为了提高文件处理的效率，本发明实施例提供了一种资源分配方法，如图5所示，该方法包括：

501、获取文件访问请求所属的进程。

其中，文件访问请求用于访问目标文件，文件访问请求可以为文件创建请求、文件读写请求或者是文件删除请求。

需要说明的是，可以由NUMA系统中作为管理节点的NUMA节点来获取文件访问请求所属的进程，并为该进程分配资源分区。

502、根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区。

其中，计算机系统包括至少两个资源分区，每个资源分区分别包括至少一个处理器核以及至少一个存储单元，一个资源分区中的处理器核以及存储单元位于同一个NUMA节点上，一个NUMA节点上包括至少一个资源分区。所述至少两个资源分区用于处理不同的进程。

需要说明的是，当文件访问请求所属的进程在访问目标文件之前未访问过文件时，至少部分进程为除文件访问请求所属进程之外的至少部分进程；

当文件访问请求所属的进程在访问待处理文件之前访问过文件时，至 少部分进程为文件访问请求所属的进程。

可以理解的是，当文件访问请求所属的进程在访问目标文件之前未访问过文件，说明该进程是一个新的进程，无法确认该进程访问文件的文件信息，所以需要根据预设时间内除该进程之外的进程访问文件的文件信息来确定资源分区，而当文件访问请求所属的进程在访问目标文件之前还需访问其他文件，则根据该进程访问的文件信息来确定资源分区即可。

其中，至少部分进程访问文件的文件信息为至少部分进程访问的文件中的大文件比例，以及至少部分进程访问的文件是否处于同一目录下不同的子目录中。

503、将文件访问请求所属的进程分配给处理文件访问请求的资源分区进行处理。

需要说明的是，若资源分区包括多个处理器核，则可以指示该资源分区中的任意一个处理器核处理所述文件访问请求，也可以选择利用率相对较低的处理器核执行所述文件访问请求。

本发明实施例提供的资源分配的方法，获取文件访问请求所属的进程，然后根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区，进而将文件访问请求所属的进程分配给处理文件访问请求的资源分区进行处理。与现有技术中对一个子目录下的文件的操作只能使用该子目录所属的资源分区中的处理器核以及存储资源进行处理，导致文件的处理效率较低相比，本发明实施例可以根据预设时间内至少部分进程访问文件的文件信息来确定处理文件访问请求的资源分区，因为预设时间内至少部分进程访问文件的文件信息可以反映可能被同时访问的文件的信息，所以根据这些文件的信息来确定资源分区，可以避免为可能同时访问不同文件的文件访问请求分配相同的资源分区，使得不同的资源分区可以并行处理同时访问不同文件的文件访问请求，从而提升了文件处理的效率。

需要说明的是，文件访问请求中包含有目标文件的文件标识，在执行上述步骤502和步骤503之前，需先判断目标文件是否被访问过，如果未被访问过，才会按照步骤502和步骤503的资源分配方法为处理文件访问 请求的进程分配资源分区，如果被访问过，则可以直接根据资源分配映射关系确定处理文件访问请求的进程的资源分区。

具体的，可以根据文件标识以及资源分配映射关系确定目标文件是否被访问过。

其中，资源分配映射关系中包括已被访问过的文件的文件标识以及处理已被访问过的文件的文件访问请求的资源分区的信息。处理已被访问过的文件的文件访问请求的资源分区为：用于存储已被访问过的文件的文件的资源分区，也是处理已被访问过的文件的文件访问请求的进程的资源分区。

所以，可以查找资源分配映射关系中是否包含目标文件的文件标识，以及处理目标文件的文件访问请求的资源分区的信息，如果包含，则直接将文件访问请求所属的进程分配给从资源分配映射关系中查找到的资源分区进行处理；如果不包含，则说明目标文件尚未被访问过，则继续按照步骤502和步骤503的方法处理文件访问请求的资源分区。

其中，资源分区的信息可以为资源分区号，文件标识可以为文件名称，可以以表格的形式表示资源分区映射关系，例如：

文件名	资源分区号
/mnt/nvfs/test	0
/mnt/nvfs/test2/test3	1

还需说明的是，对一个文件的第一次文件访问请求一般为文件创建请求，即可以理解为每创建一个文件都会生成该文件与资源分区的映射关系，所以上表中文件名为“/mnt/nvfs/test”的文件存储于资源分区1中，资源分配映射关系也可以用于表示已创建文件的文件名与已创建文件所属的资源分区的资源分区号之间的映射关系。

在执行图5所示的方法流程之前，需先对计算机系统中的存储资源进行分区，在本发明实施例提供的一种实现方式中，对资源分区的方法进行了说明，该方法如图6所示。

601、确定存储资源中SCM存储单元、DRAM内存单元和Flash存储单元各自的可并发访问粒度，以及在各自的可并发访问粒度下的可并发访 问的存储子单元数量。

一般而言，挂载在内存总线的SCM存储单元和DRAM内存单元的可并发粒度从粗到细依次是NUMA、内存通道、Rank、Bank，本发明实施例一般采用存储单元的最小可并发粒度，SCM的可并发访问粒度为Bank，所以SCM中的存储子单元为Bank，需要确定SCM存储单元中可并发访问的Bank数量，同理，还需确定DRAM内存单元中可并发访问的Bank数量。可以理解的是，如果文件访问请求所请求访问的文件位于可并发访问的不同Bank上，那么这些文件访问请求是可以并发执行的。

此外，Flash存储单元的并发粒度可以是存储队列或者Die,所以Flash存储单元中的存储子单元为存储队列或者Die,例如，如果文件访问请求所请求访问的文件位于可并发访问的不同的存储队列中，则这些文件访问请求是可以并发执行的。

602、确定存储资源中的处理器核数量。

603、根据SCM存储单元、DRAM内存单元和Flash存储单元各自可并发访问的存储子单元数量以及处理器核数量，将存储资源划分为至少两个资源分区。

如图7所示，图7为资源分区的示例性示意图，计算机系统会根据上述步骤601确定的SCM存储单元中可并发访问的Bank数量、DRAM内存单元中可并发访问的Bank数量、Flash存储单元可并发访问的Die的数量，以及步骤602中确定的存储资源中处理器核的数量来划分资源分区。

其中，需为每个资源分区分配至少一个处理器核，并根据SCM存储单元中可并发访问的Bank数量，将SCM存储单元中可并发访问的Bank尽量平均分配到每个资源分区中；根据DRAM内存单元中可并发访问的Bank数量，将DRAM内存单元中可并发访问的Bank尽量分配到每个资源分区中；根据Flash存储单元可并发访问的Die的数量，将Flash存储单元可并发访问的Die尽量分配到每个资源分区中，最终分配的结果为一个资源分区中包括：至少一个处理器核，至少一个DRAM子单元、至少一个SCM子单元以及至少一个Flash子单元，需要说明的是，一个资源分区中的至少一个处理器核，至少一个DRAM子单元、至少一个SCM子 单元以及至少一个Flash子单元位于一个NUMA节点中。具体可参见图7，图7左侧为资源分区前的资源分布，右侧为以处理器核为标准进行资源分区的结果，如图7所示，在完成资源分区后，NUMA节点0被分成了N个资源分区，分别为资源分区1、资源分区2……资源分区N。此外，一个资源分区中可以不只包含一个处理器核，还可以包含多个处理器核。不同资源分区中的处理器核可以并行运行，且不同资源分区中的存储子单元可以被并行访问，所以，当接收到对不用资源分区中的文件的文件访问请求时，可以并行处理这些文件访问请求，可以提高文件处理的效率。

需要说明的是，存储单元中的可并发访问的存储子单元数可能不会被处理器核数整除，此时，不同资源分区中的存储子单元数量可以是不均衡的，允许存在一定的差异。示例性的，资源分配的方式可以是顺序分配，根据处理器核的编号、可并发访问的DRAM子单元的编号和可并发访问的SCM子单元的编号，按照编号从小到大的顺序将处理器核、DRAM子单元和SCM子单元依次分配给不同的资源分区。例如，将处理器核0、DRAM bank0、SCM bank 0和flash die 0分配给资源分区0，将处理器核1、DRAM bank1、SCM bank 1和flash die 1分配给资源分区1。如果资源不能平均分配，例如系统中存在4个处理器核，7个SCM bank，则资源分配方式如下：总共包含4个资源分区，每个资源分区各包含1个处理器核；由于SCM bank数量不能被处理器核数整除，则前3个资源分区各包含2个SCM bank，最后一个资源分区仅包含1个SCM bank。

可以理解的是，在完成对计算机系统中的存储资源的资源分区之后，当接收到文件访问请求时，即可确定处理文件访问请求的资源分区，基于此，在本发明实施例提供的另一种实现方式中，如图8所示，上述步骤502、根据计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理文件访问请求的资源分区，具体可以实现为步骤5021至步骤5023。

5021、当预设时间段内至少部分进程访问的文件中大文件的比例超过预设阈值，且预设时间段内至少部分进程访问的文件存放在同一目录下不同的子目录中时，按照目标文件所属的目录确定处理文件访问请求的资源 分区。

其中，大文件比例为预设时间段内至少部分进程访问的文件中，文件大小超过预设值的文件数量占预设时间段内至少部分进程访问的文件总数量的比例。

按照目标文件所属的目录确定处理文件访问请求的资源分区的基本思路为尽量为同一目录下不同子目录中的文件分配不同的资源分区，如果同一目录下子目录的数量大于资源分区的数量，允许一个资源分区中包含多个子目录。

具体可以根据目标文件的目录字符串的哈希值来确定处理文件访问请求的资源分区，具体实现过程为：首先确定目标文件的目录字符串的哈希值，将该哈希值作为处理文件访问请求的资源分区的资源分区号，进而确定处理文件访问请求的资源分区为该资源分区号对应的资源分区。这里提到的哈希值是指根据一定的哈希函数如取余数运算，将一个字符串转化为一个数值，例如hash(字符串)＝(字符串的ASCII码)mode(资源分区数)。其中，通过哈希函数运算得出的哈希值尽量均匀。

需要说明的是，预设时间段内至少部分进程访问的文件存放在同一目录下不同的子目录中，说明同一目录下不同子目录中的文件可能被并发访问，且同一文件目录下不同子目录中的大文件比例较高，按照目标文件所属的目录确定处理文件访问请求的资源分区，可以使得后续能够并发访问同一目录下不同子目录中的文件，以提高文件处理的效率。

5022、当预设时间段内至少部分进程访问的文件中大文件的比例超过预设阈值，且预设时间段内至少部分进程访问的文件不在同一目录下时，按照文件访问请求中携带的目标文件的文件标识确定处理文件访问请求的资源分区。

其中，文件标识为文件索引节点Inode号，用于指示文件系统中的文件。Inode号是文件系统中代表不同文件的唯一标号。

具体可以根据目标文件的Inode号的哈希值来确定处理文件访问请求的资源分区，具体实现过程为：确定目标文件的Inode值的哈希值，将该哈希值作为处理文件访问请求的资源分区的资源分区号，进而确定处理文 件访问请求的资源分区为该资源分区号对应的资源分区。Inode哈希值的计算方式与步骤5021中目录哈希值的计算方式相似，此处不再赘述。

需要说明的是，若预设时间段内至少部分进程访问的文件未位于同一目录下的不同子目录中，但是预设时间段内至少部分进程访问的文件中的大文件比例较高，将文件尽可能的分散存储在不同的资源分区中，可以使得后续能够并行对大文件进行处理，避免大文件被存储在同一资源分区中，而导致一个处理器核串行处理这些大文件消耗过长的时间。

5023、当预设时间段内至少部分进程访问的文件中大文件的比例未超过预设阈值时，按照文件访问请求所属的进程信息确定处理文件访问请求的资源分区。

具体方法为：将运行文件访问请求所属进程的处理器核所在的资源分区作为处理文件访问请求的资源分区，以保证进程执行的局部性，避免进程的迁移。

对于本发明实施例，为可能被同时请求访问的目标文件分配不同的资源分区，可以使得后续可以并行处理对这些待创建文件的操作目标文件的访问请求，提高了文件处理的效率。

上述主要从各个网元之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个网元，例如NUMA系统中作为管理节点的NUMA节点为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对NUMA系统中作为管理节点的NUMA节点等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形 式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图9示出了上述实施例中所涉及的资源分配装置的一种可能的结构示意图，资源分配装置包括：获取模块901，确定模块902，分配模块903。获取模块901用于支持资源分配装置执行图5中的步骤501；确定模块902用于支持资源分配装置执行图5中的步骤502，图8中的步骤5021至5023；分配模块903用于支持资源分配装置执行图5中的步骤503。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1. 一种资源分配方法，其特征在于，所述方法应用于具有非统一内存访问架构NUMA的计算机系统中，所述计算机系统包括多个NUMA节点，所述多个NUMA节点间通过互联器件进行连接，每个NUMA节点包括至少一个处理器核，所述方法包括：

   获取文件访问请求所属的进程，所述文件访问请求用于访问目标文件；

   根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区，其中，所述计算机系统包括至少两个资源分区，每个资源分区分别包括至少一个处理器核以及至少一个存储单元，一个资源分区中的处理器核以及存储单元位于同一个NUMA节点上，一个NUMA节点上包括至少一个资源分区；

   将所述文件访问请求所属的进程分配给所述处理所述文件访问请求的资源分区进行处理。
2. 根据权利要求1所述的方法，其特征在于，所述文件访问请求中包含有所述目标文件的文件标识，在所述根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区之前，所述方法还包括：

   根据所述文件标识以及资源分配映射关系确定所述目标文件尚未被访问过，其中，所述资源分配映射关系中包括已被访问过的文件的文件标识以及处理所述已被访问过的文件的文件访问请求的资源分区的信息。
3. 根据权利要求1或2所述的方法，其特征在于：

   当所述文件访问请求所属的进程在访问所述目标文件之前未访问过文件时，所述至少部分进程为除所述文件访问请求所属进程之外的至少部分进程；

   当所述文件访问请求所属的进程在访问所述待处理文件之前访问过文件时，所述至少部分进程为所述文件访问请求所属的进程。
4. 根据权利要求3所述的方法，其特征在于，所述根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区包括：

   当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件存放在同一目录下不同的子目录中时，按照所述目标文件所属的目录确定处理所述文件访问请求的资源分区。
5. 根据权利要求3所述的方法，其特征在于，所述根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区包括：

   当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件不在同一目录下时，按照所述文件访问请求中携带的所述目标文件的文件标识确定处理所述文件访问请求的资源分区。
6. 根据权利要求3所述的方法，其特征在于，所述根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区包括：

   当预设时间段内所述至少部分进程访问的文件中大文件的比例未超过预设阈值时，按照所述文件访问请求所属的进程信息确定处理所述文件访问请求的资源分区。
7. 一种资源分配装置，其特征在于，所述装置应用于具有非统一内存访问架构NUMA的计算机系统中，所述计算机系统包括多个NUMA节点，所述多个NUMA节点间通过互联器件进行连接，每个NUMA节点包括至少一个处理器核，所述装置包括：

   获取模块，用于获取文件访问请求所属的进程，所述文件访问请求用于访问目标文件；

   确定模块，用于根据所述计算机系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区，其中，所述计算机系统包括至少两个资源分区，每个资源分区分别包括至少一个处理器核以及至少一个存储模块，一个资源分区中的处理器核以及存储模块位于同一个NUMA节点上，一个NUMA节点上包括至少一个资源分区；

   分配模块，用于将所述获取模块获取的所述文件访问请求所属的进程 分配给所述确定模块确定的处理所述文件访问请求的资源分区进行处理。
8. 根据权利要求7所述的装置，其特征在于，所述文件访问请求中包含有所述目标文件的文件标识；

   所述确定模块，还用于根据所述文件标识以及资源分配映射关系确定所述目标文件尚未被访问过，其中，所述资源分配映射关系中包括已被访问过的文件的文件标识以及处理所述已被访问过的文件的文件访问请求的资源分区的信息。
9. 根据权利要求7或8所述的装置，其特征在于，

   当所述文件访问请求所属的进程在访问所述目标文件之前未访问过文件时，所述至少部分进程为除文件访问请求所属进程之外的至少部分进程；

   当所述文件访问请求所属的进程在访问所述待处理文件之前访问过文件时，所述至少部分进程为所述文件访问请求所属的进程。
10. 根据权利要求9所述的装置，其特征在于，

    所述确定模块，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件存放在同一目录下不同的子目录中时，按照所述目标文件所属的目录确定处理所述文件访问请求的资源分区。
11. 根据权利要求9所述的装置，其特征在于，

    所述确定模块，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件不在同一目录下时，按照所述文件访问请求中携带的所述目标文件的文件标识确定处理所述文件访问请求的资源分区。
12. 根据权利要求9所述的装置，其特征在于，

    所述确定模块，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例未超过预设阈值时，按照所述文件访问请求所属的进程信息确定处理所述文件访问请求的资源分区。
13. 一种非统一内存访问架构NUMA系统，其特征在于，所述NUMA系统包括多个NUMA节点，所述多个NUMA节点间通过互联器件进行连接，每个NUMA节点包括至少一个处理器核，所述多个NUMA节点中的 第一NUMA节点用于：获取文件访问请求所属的进程，所述文件访问请求用于请求访问目标文件；

    根据所述NUMA系统中预设时间段内至少部分进程访问文件的文件信息确定处理所述文件访问请求的资源分区，其中，所述NUMA系统包括至少两个资源分区，每个资源分区分别包括至少一个处理器核以及至少一个存储单元，一个资源分区中的处理器核以及存储单元位于同一个NUMA节点上，一个NUMA节点上包括至少一个资源分区；

    将所述文件访问请求所属的进程分配给所述处理所述文件访问请求的资源分区进行处理。
14. 根据权利要求13所述的系统，其特征在于，所述文件访问请求中包含有所述目标文件的文件标识；

    所述第一NUMA节点，还用于根据所述文件标识以及资源分配映射关系确定所述目标文件尚未被访问过，其中，所述资源分配映射关系中包括已被访问过的文件的文件标识以及处理所述已被访问过的文件的文件访问请求的资源分区的信息。
15. 根据权利要求13或14所述的系统，其特征在于，

    当所述文件访问请求所属的进程在访问所述目标文件之前未访问过文件时，所述至少部分进程为除文件访问请求所属进程之外的至少部分进程；

    当所述文件访问请求所属的进程在访问所述待处理文件之前访问过文件时，所述至少部分进程为所述文件访问请求所属的进程。
16. 根据权利要求15所述的系统，其特征在于，

    所述第一NUMA节点，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件存放在同一目录下不同的子目录中时，按照所述目标文件所属的目录确定处理所述文件访问请求的资源分区。
17. 根据权利要求15所述的系统，其特征在于，

    所述第一NUMA节点，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例超过预设阈值，且所述预设时间段内所述至少部分进程访问的文件不在同一目录下时，按照所述文件访问请求中携带的所述 目标文件的文件标识确定处理所述文件访问请求的资源分区。
18. 根据权利要求15所述的系统，其特征在于，

    所述第一NUMA节点，还用于当预设时间段内所述至少部分进程访问的文件中大文件的比例未超过预设阈值时，按照所述文件访问请求所属的进程信息确定处理所述文件访问请求的资源分区。