CN111625357A - 基于飞腾平台的目录读取方法、装置、服务器和存储介质 - Google Patents
基于飞腾平台的目录读取方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN111625357A CN111625357A CN202010442870.XA CN202010442870A CN111625357A CN 111625357 A CN111625357 A CN 111625357A CN 202010442870 A CN202010442870 A CN 202010442870A CN 111625357 A CN111625357 A CN 111625357A
- Authority
- CN
- China
- Prior art keywords
- reading
- directory
- sub
- task
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于飞腾平台的目录读取方法，通过FPGA模块执行，包括：从CPU获取目录文件信息的读取任务；将所述读取任务拆分为至少两个独立的子读取任务；调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；将所述至少两个第一读取结果合并为第二读取结果。本发明还提供一种基于飞腾平台的目录读取装置、服务器和存储介质，本发明通过FPGA模块将读取任务拆分为至少两个，以实现提高目录文件信息的读取速度，减少目录文件读取时间的效果。
Description
技术领域
本发明所述方法及技术涉及到集群文件系统领域，尤其涉及一种基于飞腾平台的目录读取方法、装置、服务器和存储介质。
背景技术
在Ceph文件系统中，用户经常需要读取文件目录，对于目录的读取操作一般是客户查询端发出读取目录下文件信息的请求，元数据管理服务查询得到目录下文件数总量，CPU根据文件数总量依次获取相关文件信息，直到文件数总量获取完毕，再将结果返回到客户查询端。
当分布式文件系统（如Ceph分布式文件系统）部署在飞腾硬件平台下，由于飞腾硬件平台的性能不能满足超大目录的读取操作，当超大目录加载失败时即无法读出目录，导致耗费大量时间。
发明内容
本发明提供一种基于飞腾平台的目录读取方法、装置、服务器和存储介质，以实现提高目录文件信息的读取速度，减少目录文件读取时间的效果。
第一方面，本发明提供一种基于飞腾平台的目录读取方法，通过FPGA模块执行，包括：
从CPU获取目录文件信息的读取任务；
将所述读取任务拆分为至少两个独立的子读取任务；
调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
将所述至少两个第一读取结果合并为第二读取结果。
进一步地，所述将所述读取任务拆分为至少两个独立的子读取任务，包括：
根据所述读取任务获取所述目录文件信息的信息总数；
基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。
进一步地，所述基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务，包括：
将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。
进一步地，所述计算得到所述子读取任务的数量P=L/N，包括：
判断所述L/N的值是否为整数；
若所述L/N的值为整数，则P=L/N；
若所述L/N的值为非整数，则P=L/N的值向上取整。
进一步地，所述将所述至少两个第一读取结果合并为第二读取结果之后，还包括：
将所述第二读取结果返回至所述CPU。
第二方面，本发明提供一种基于飞腾平台的目录读取装置，所述FPGA模块包括：
获取模块，用于从CPU获取目录文件信息的读取任务；
拆分模块，用于将所述读取任务拆分为至少两个独立的子读取任务；
执行模块，用于调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
合并模块，用于将所述至少两个第一读取结果合并为第二读取结果。
进一步地，所述拆分模块包括：
获取单元，用于根据所述读取任务获取所述目录文件信息的信息总数；
拆分单元，用于基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。
进一步地，所述拆分单元还用于将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。
第三方面，本发明提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述任一所述的基于飞腾平台的目录读取的方法。
第四方面，本发明提供一种终端可读存储介质，其上存储有程序，所述程序被处理器执行时能够实现如上述任一所述的基于飞腾平台的目录读取的方法。
本发明提供一种基于飞腾平台的目录读取方法、装置、服务器和存储介质，通过FPGA模块将读取任务拆分为至少两个，以实现提高目录文件信息的读取速度，减少目录文件读取时间的效果。
附图说明
图1为实施例一的基于飞腾平台的目录读取方法流程图。
图2为实施例二的基于飞腾平台的目录读取方法流程图。
图3为实施例三的基于飞腾平台的目录读取装置模块图。
图4为实施例三替代实施例的基于飞腾平台的目录读取装置模块图。
图5为实施例四的服务器模块图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，第一读取结果可以为第二读取结果或第三读取结果，类似地，第二读取结果、第三读取结果可以为第一读取结果。第一读取结果和第二读取结果、第三读取结果都是分布式文件系统的获取模块，但其不是同一获取模块。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
说明书中提及的英文缩写及专有名词含义如下：
Ceph：一种分布式文件集群系统，指运行在多台计算机之间，通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件系统。用户通过文件访问接口访问Ceph文件系统时需要读取文件目录，对于目录的读取操作一般涉及大量的元数据操作，比如获取目录下所有文件的信息等。通常，客户查询端发出读取目录下文件信息的请求，元数据管理服务查询得到目录下文件数总量，CPU根据文件数总量依次获取相关文件信息，直到文件数总量获取完毕，再将结果返回到客户查询端。
FPGA模块：Field－Programmable Gate Array，现场可编程门阵列，一般用于电路设计与产品设计。
实施例一
本实施例提供了一种适用于飞腾平台的目录读取方法。该方法可以由本发明任意实施例提供的基于飞腾平台的目录读取装置来实现，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器。本发明通过FPGA模块执行，如图1所示，本发明实施例一的方法包括：
S101、从CPU获取目录文件信息的读取任务。
在该步骤中，所述FPGA模块与所述CPU相连接，所述CPU用于获取客户端的目录文件读取请求以生成目录文件信息的读取任务。其中所述FPGA模块包括至少两个计算引擎。
目录文件是指文件名与存储空间中物理地址的对应关系，体现这种对应关系的数据结构称为文件目录，该步骤所述目录文件信息是指目录内包含的文件的信息，例如一个目录下包含多个Word文件，目录的文件信息则包括但不限于每个Word文档的存储位置、文档大小、文档属性、文档类型等等。当用户需要读取目录文件信息时，通过查询端发起目录文件信息的读取请求，CPU通过获取目录文件信息的读取请求，生成目录文件信息的读取任务，所述目录文件信息的读取任务用于执行所述目录文件信息的读取操作。
S102、将所述读取任务拆分为至少两个独立的子读取任务。
具体地，CPU模块生成读取任务后不直接进行读取操作，而是发送至所述FPGA模块，FPGA模块的算力高于所述CPU，且所述FPGA模块包括至少两个计算引擎。
当获取到所述读取任务，FPGA模块按照预设规则将读取任务拆分成多个子读取任务，预设规则为目录文件信息的读取任务的拆分规则，可以根据子读取任务需要的文件信息数量进行拆分，也可以根据子读取任务的个数进行拆分，本实施例不做限制。
S103、调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果。
S104、将所述至少两个第一读取结果合并为第二读取结果。
步骤S103-S104中，所述第一读取结果为所述子读取任务通过计算引擎执行后生成的读取结果。具体的，FPGA模块可以同时执行多个子读取任务，每个子读取任务都可以读取到目录文件信息的一部分文件信息，所有的子读取任务执行完成，则完成读取目录文件信息的全部文件信息。
上述步骤中，FPGA模块负责所有目录文件信息的具体执行和运算过程，FGPA模块在完成所有子读取任务的执行后，将所有子读取任务获取到的元数据信息按子读取任务的顺序进行重组后返回给主功能模块（即本实施例所述CPU），即为所述目录文件信息的全部数据。
本发明实施例一通过FPGA模块从所述CPU获取所述目录文件信息的读取任务，按照预设规则将所述目录文件信息的读取任务拆分成多个子读取任务；所述FPGA模块执行多个所述子读取任务以读取所述目录文件信息。实现了目录文件信息的读取，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
实施例二
本实施例在上述实施例的基础上进行了进一步细化，增加了将读取粪污拆分为子读取任务的拆分规则。如图2所述，本发明实施例二提供了一种基于飞腾平台的目录读取方法，通过FPGA模块执行，具体包括如下步骤：
S201、从CPU获取目录文件信息的读取任务。
S2021、根据所述读取任务获取所述目录文件信息的信息总数；
该步骤中，目录文件信息的信息总数表示该目录下包括的所有文件信息的数量，例如，根据所述读取任务获取到所述文件信息总数为1000条。
S2022、基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。
将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。示例性地，目录文件信息的信息总数为1000条，预设单个子读取任务文件信息数量为50条，则FPGA运算模块将文件信息总数为1000条的读取任务分成20个子读取任务。
进一步地，判断所述L/N的值是否为整数；若所述L/N的值为整数，则P=L/N；若所述L/N的值为非整数，则P=L/N的值向上取整。将目录文件信息的读取任务平均分成P个子读取任务，当计算所得L为非整数时，L采用向上取整法。例如，当所述目录文件信息的信息总数为1001条，每个所述子读取任务需要的文件信息数量为200条。则所述子读取任务的数量P=L/N=5.005，向上取整为6。
在替代实施例中，也可以先确定子读取任务的个数，再根据文件信息总数和子读取任务的个数计算分配到每个子读取任务中需要读取的文件信息数量，此时所述子读取任务的个数与所述FPGA模块的计算引擎的个数相对应。例如，将子读取任务的个数分配为5个，当目录文件信息的信息总数为1000条，每个子读取任务需要读取的文件信息数量为200条，当目录文件信息的信息总数为1200条，每个子读取任务需要读取的文件信息数量为240条。
S203、调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果。
该步骤中，FPGA运算模块包括的多个计算引擎可以同时并行执行多个线程，可以采用多个线程同时执行多个子读取任务。每个子读取任务执行获得目录文件信息的一部分，目录文件信息的一部分则称为目录文件信息的一个子目录，多个子读取任务同时执行，则可以同时获取目录文件信息的多个子目录。
替代实施例中，所述FPGA运算模块的每个计算引擎单独配置一个存储单元，多个子读取任务预先分别存储到每个计算引擎的存储单元，根据统一的时钟触发多个计算引擎在相同的时钟周期读取预先存储在各自存储单元子读取任务，然后并行分别计算。
S204、将所述至少两个第一读取结果合并为第二读取结果。
S205、将所述第二读取结果返回至所述CPU。
本发明实施例通过将目录文件信息的读取任务发送到FPGA运算模块执行，FPGA运算模块将读取任务划分成多个子读取任务同时进行，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
实施例三
本实施例提供了一种基于飞腾平台的目录读取装置3，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器，可以实现本发明任意实施例提供的目录读取方法，具备执行方法的相应功能和模块，如图3所示，包括如下模块：
获取模块301，用于从CPU获取目录文件信息的读取任务；
拆分模块302，用于将所述读取任务拆分为至少两个独立的子读取任务；
执行模块303，用于调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
合并模块304，用于将所述至少两个第一读取结果合并为第二读取结果。
在替代实施例中，如图4所示，所述拆分模块302包括：
获取单元3021，用于根据所述读取任务获取所述目录文件信息的信息总数；
拆分单元3022，用于基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。该单元还用于将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。
在替代实施例中，所述拆分模块302还包括判断单元3023，用于判断所述L/N的值是否为整数；若所述L/N的值为整数，则P=L/N；若所述L/N的值为非整数，则P=L/N的值向上取整。
所述基于飞腾平台的目录读取装置3还包括：
反馈模块305，用于将所述第二读取结果返回至所述CPU。
本发明实施例所提供的一种基于飞腾平台的目录读取装置，可执行本发明任意实施例所提供的信息推荐方法，具备功能模块相应的执行方法和有益效果。
实施例四
本实施例提供了一种服务器的结构示意图，如图5所示，该服务器包括处理器401、存储器402、输入装置403和输出装置404；服务器中处理器401的数量可以是一个或多个，图中以一个处理器401为例；设备/终端/服务器中的处理器401、存储器402、输入装置403和输出装置404可以通过总线或其他方式链接，图5中以通过总线链接为例。
存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于网关的链接生成方法对应的程序指令/模块（例如获取模块301，拆分模块302，等）。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的基于飞腾平台的目录读取方法。
存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络链接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可用于接收输入的数字或字符信息，以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
本发明实施例四通过提供一种服务器，可执行本发明任意实施例所提供的基于飞腾平台的目录读取方法，具备执行方法相应的功能模块和有益效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于飞腾平台的目录读取方法，该方法可以包括：
从CPU获取目录文件信息的读取任务；
将所述读取任务拆分为至少两个独立的子读取任务；
调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
将所述至少两个第一读取结果合并为第二读取结果.
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机（例如利用因特网服务提供商来通过因特网链接）。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于飞腾平台的目录读取方法，通过FPGA模块执行，其特征在于，包括：
从CPU获取目录文件信息的读取任务；
将所述读取任务拆分为至少两个独立的子读取任务；
调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
将所述至少两个第一读取结果合并为第二读取结果。
2.根据权利要求1所述的基于飞腾平台的目录读取方法，其特征在于，所述将所述读取任务拆分为至少两个独立的子读取任务，包括：
根据所述读取任务获取所述目录文件信息的信息总数；
基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。
3.根据权利要求2所述的基于飞腾平台的目录读取方法，其特征在于，所述基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务，包括：
将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。
4.根据权利要求3所述的基于飞腾平台的目录读取方法，其特征在于，所述计算得到所述子读取任务的数量P=L/N，包括：
判断所述L/N的值是否为整数；
若所述L/N的值为整数，则P=L/N；
若所述L/N的值为非整数，则P=L/N的值向上取整。
5.根据权利要求1所述的基于飞腾平台的目录读取方法，其特征在于，所述将所述至少两个第一读取结果合并为第二读取结果之后，还包括：
将所述第二读取结果返回至所述CPU。
6.一种基于飞腾平台的目录读取装置，其特征在于，所述FPGA模块包括：
获取模块，用于从CPU获取目录文件信息的读取任务；
拆分模块，用于将所述读取任务拆分为至少两个独立的子读取任务；
执行模块，用于调用FPGA模块至少两个计算引擎并行执行所述至少两个独立的子读取任务，以生成至少两个第一读取结果；
合并模块，用于将所述至少两个第一读取结果合并为第二读取结果。
7.根据权利要求6所述的基于飞腾平台的目录读取装置，其特征在于，所述拆分模块包括：
获取单元，用于根据所述读取任务获取所述目录文件信息的信息总数；
拆分单元，用于基于所述目录文件信息的信息总数和预设的单个子读取任务的信息数量，将所述读取任务平均分成多个子读取任务。
8.根据权利要求6所述的基于飞腾平台的目录读取装置，其特征在于，所述拆分单元还用于将所述目录文件信息的信息总数设为L，单个子读取任务的信息数量设为M，计算得到所述子读取任务的数量P=L/N。
9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的基于飞腾平台的目录读取的方法。
10.一种终端可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时能够实现如权利要求1-5任一所述的基于飞腾平台的目录读取的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442870.XA CN111625357A (zh) | 2020-05-22 | 2020-05-22 | 基于飞腾平台的目录读取方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442870.XA CN111625357A (zh) | 2020-05-22 | 2020-05-22 | 基于飞腾平台的目录读取方法、装置、服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111625357A true CN111625357A (zh) | 2020-09-04 |
Family
ID=72272518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010442870.XA Pending CN111625357A (zh) | 2020-05-22 | 2020-05-22 | 基于飞腾平台的目录读取方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625357A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140244606A1 (en) * | 2013-01-18 | 2014-08-28 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus and system for storing, reading the directory index |
| CN110333946A (zh) * | 2019-05-14 | 2019-10-15 | 王娅雯 | 一种基于人工智能cpu数据处理系统及方法 |
| CN110399221A (zh) * | 2019-07-23 | 2019-11-01 | 江苏鼎速网络科技有限公司 | 数据处理方法、系统及终端设备 |
| CN110781137A (zh) * | 2019-10-28 | 2020-02-11 | 柏科数据技术（深圳）股份有限公司 | 分布式系统的目录读取方法、装置、服务器和存储介质 |
| CN110781159A (zh) * | 2019-10-28 | 2020-02-11 | 柏科数据技术（深圳）股份有限公司 | Ceph目录文件信息读取方法、装置、服务器及存储介质 |
-
2020
- 2020-05-22 CN CN202010442870.XA patent/CN111625357A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140244606A1 (en) * | 2013-01-18 | 2014-08-28 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus and system for storing, reading the directory index |
| CN110333946A (zh) * | 2019-05-14 | 2019-10-15 | 王娅雯 | 一种基于人工智能cpu数据处理系统及方法 |
| CN110399221A (zh) * | 2019-07-23 | 2019-11-01 | 江苏鼎速网络科技有限公司 | 数据处理方法、系统及终端设备 |
| CN110781137A (zh) * | 2019-10-28 | 2020-02-11 | 柏科数据技术（深圳）股份有限公司 | 分布式系统的目录读取方法、装置、服务器和存储介质 |
| CN110781159A (zh) * | 2019-10-28 | 2020-02-11 | 柏科数据技术（深圳）股份有限公司 | Ceph目录文件信息读取方法、装置、服务器及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李敏等: "《信号分析与处理的软件硬件实现》", 28 February 2014 * |
| 李裕华等: "《FPGA硬件软件设计及项目开发》", 30 September 2014 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3513317A1 (en) | Data serialization in a distributed event processing system | |
| US10866960B2 (en) | Dynamic execution of ETL jobs without metadata repository | |
| CN110781159B (zh) | Ceph目录文件信息读取方法、装置、服务器及存储介质 | |
| CN115982491A (zh) | 页面更新方法及装置、电子设备和计算机可读存储介质 | |
| CN113010342A (zh) | 运维诊断的方法、装置、设备以及存储介质 | |
| US20190220532A1 (en) | Data processing with nullable schema information | |
| CN112115150A (zh) | 嵌入式内存数据库的数据管理方法、终端设备及介质 | |
| Zarei et al. | Past, present and future of Hadoop: A survey | |
| CN110781137A (zh) | 分布式系统的目录读取方法、装置、服务器和存储介质 | |
| CN112579705A (zh) | 元数据采集方法、装置、计算机设备和存储介质 | |
| CN114969044B (zh) | 一种基于数据湖的物化列创建方法以及数据查询方法 | |
| CN113886353B (zh) | 分层存储管理软件的数据配置推荐方法、装置及存储介质 | |
| US20220229858A1 (en) | Multi-cloud object store access | |
| CN111625357A (zh) | 基于飞腾平台的目录读取方法、装置、服务器和存储介质 | |
| CN116185578A (zh) | 计算任务的调度方法和计算任务的执行方法 | |
| CN114996557B (zh) | 服务稳定性确定方法、装置、设备以及存储介质 | |
| CN115455006A (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
| CN113238715B (zh) | 智能文件系统、及其配置方法、智能辅助计算设备和介质 | |
| CN113986833A (zh) | 文件合并方法、系统、计算机系统及存储介质 | |
| KR20210095083A (ko) | 그래프 계산의 처리 방법, 장치, 전자기기 및 저장매체 | |
| KR101448861B1 (ko) | 동기적 메시지 기반 대량 병렬처리 시스템 | |
| CN111209350A (zh) | 系统开发方法、装置、终端设备及存储介质 | |
| CN111581173A (zh) | 日志系统分布式存储的方法、装置、服务器及存储介质 | |
| US11340897B1 (en) | Subject matter expert identification for computer software | |
| US11520781B2 (en) | Efficient bulk loading multiple rows or partitions for a single target table |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200904 |