CN113312008A - 一种文件读写业务的处理方法、系统、设备以及介质 - Google Patents

一种文件读写业务的处理方法、系统、设备以及介质 Download PDF

Info

Publication number
CN113312008A
CN113312008A CN202110853962.1A CN202110853962A CN113312008A CN 113312008 A CN113312008 A CN 113312008A CN 202110853962 A CN202110853962 A CN 202110853962A CN 113312008 A CN113312008 A CN 113312008A
Authority
CN
China
Prior art keywords
file
handle
cache
queue
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110853962.1A
Other languages
English (en)
Other versions
CN113312008B (zh
Inventor
王帅阳
李文鹏
李旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202110853962.1A priority Critical patent/CN113312008B/zh
Publication of CN113312008A publication Critical patent/CN113312008A/zh
Priority to US18/270,457 priority patent/US20240061599A1/en
Priority to PCT/CN2021/121898 priority patent/WO2023004991A1/zh
Application granted granted Critical
Publication of CN113312008B publication Critical patent/CN113312008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件读写业务的处理方法，包括以下步骤：响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在文件的缓存句柄；响应于索引容器中不存在文件的缓存句柄，根据读写业务打开文件的相应句柄；将相应句柄的标志和指针以及文件序号进行封装以得到文件的缓存句柄；将文件的缓存句柄加入到索引容器和第一队列中；利用文件的相应句柄对读写业务进行处理；响应于读写业务处理完成，将文件的缓存句柄从第一队列移动到第二队列中。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明的实施例提出的方案有效降低分布式文件系统读写时文件句柄处理压力与频度。

Description

一种文件读写业务的处理方法、系统、设备以及介质
技术领域
本发明涉及存储领域，具体涉及一种文件读写业务的处理方法、系统、设备以及存储介质。
背景技术
对于分布式文件系统（对象存储），HDFS协议访问时，由于是无状态访问（客户端不会像标准posix协议一样向存储端发送open、close请求），分布式文件系统在每次接收读写请求时需要打开文件句柄，实现读写业务，完成后再关闭文件句柄，这样造成大量的打开关闭文件句柄请求，对系统造成大量的负载，同时增大了每次读写IO的时延。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种文件读写业务的处理方法，包括以下步骤：
响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
将所述文件的缓存句柄加入到所述索引容器和第一队列中；
利用所述文件的相应句柄对所述读写业务进行处理；
响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
在一些实施例中，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
在一些实施例中，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种文件读写业务的处理系统，包括：
判断模块，配置为响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
打开模块，配置为响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
封装模块，配置为将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
缓存模块，配置为将所述文件的缓存句柄加入到所述索引容器和第一队列中；
处理模块，配置为利用所述文件的相应句柄对所述读写业务进行处理；
移动模块，配置为响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种文件读写业务的处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种文件读写业务的处理方法的步骤。
本发明具有以下有益技术效果之一：本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的文件读写业务的处理方法的流程示意图；
图2为本发明的实施例提供的文件读写业务的处理系统的结构示意图；
图3为本发明的实施例提供的计算机设备的结构示意图；
图4为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
根据本发明的一个方面，本发明的实施例提出一种文件读写业务的处理方法，如图1所示，其可以包括步骤：
S1，响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
S2，响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
S3，将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
S4，将所述文件的缓存句柄加入到所述索引容器和第一队列中；
S5，利用所述文件的相应句柄对所述读写业务进行处理；
S6，响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
在一些实施例中，步骤S1中，响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄，具体的，索引容器可以是为STL标准模板类，这样，当将文件的缓存句柄加入到索引容器后即可通过文件的序号进行检索进而确定对应的缓存句柄。
在一些实施例中，当接收到对一个文件的读写业务时，首先可以在索引容器中根据文件序号（例如文件的ino号）进行检索，以确定索引容器中是否缓存有缓存句柄，如果没有，说明该文件的句柄并未被打开，则需要根据读写业务打开分布式文件系统相应的句柄，即读业务打开读句柄，写业务打开读写句柄，然后将该文件的句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄，并将该缓存句柄保存到索引容器中和第一队列中，接着即可利用已经打开的句柄进行读写业务，最后当读写业务执行完毕后，将缓存句柄从第一队列中移动到第二队列中。
因此，当缓存句柄存在于第一队列时，说明句柄正在被使用以进行读写业务，当缓存句柄存在于第二队列时，说明句柄并未被使用。
本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
在一些实施例中，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
具体的，当缓存句柄存在于第二队列时，说明对应的句柄并未被使用，因此可以对第二队列中的每一个缓存句柄设置使用时间，并设置时间阈值。当缓存句柄从第一队列移动到第二队列中时更新使用时间，若第二队列中的缓存句柄长时间未更新使用时间，即超过设置的时间阈值，这时可以将第二队列中的缓存句柄剔除，以及根据文件序号在索引容器中找到相同的缓存句柄，并删除，最后在根据句柄指针将分布式文件系统下相应的句柄关闭。
在一些实施例中，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
具体的，可以对第二队列中缓存句柄的数量进行限定，当第二队列中的缓存句柄的数量达到预设数量时，则可以从第二队列的尾部开始删除若干个缓存句柄。同样的，可以先将第二队列中的缓存句柄剔除，然后在根据文件序号在索引容器中找到相同的缓存句柄，并删除，最后在根据句柄指针将分布式文件系统下相应的句柄关闭。
需要说明的是，当将缓存句柄从第一队列移动到第二队列时，可以将其放在第二队列的头部，这样第二队列的尾部即为时间相对较长的缓存句柄，因此当第二队列中的缓存句柄的数量超过阈值时，可以优先从第二队列的尾部进行剔除。
在一些实施例中，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
具体的，当接收到对文件的读写业务时，通过文件的序号在索引容器中能够找到对应的缓存句柄，需要判断该缓存句柄中的句柄标志与读写业务是否对应，即进行句柄flags检测。由于读写不同，io需要的flag不同，如果是写操作需要rw标志，如果是读操作需要r标志，如果缓存句柄中未包含所需要的flag，需要根据读写业务需要的flag重新打开文件句柄。
因此，如果所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
具体的，如果所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，说明此时有别的线程在使用对应的句柄，因此可以设置使用计数，当有其他线程利用已经打开的所述文件的相应句柄进行读写业务，则可以增加所述文件的缓存句柄的使用计数。当有线程的读写业务完成后，则可以减少使用计数。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
具体的，如果所述文件的缓存句柄中的句柄标志与所述读写业务不对应，则需要重新打开句柄，此时如果文件的缓存句柄在所述第二队列中，说明并没有线程使用当前的句柄，因此可以直接将缓存句柄从第二队列以及索引容器中剔除，然后在根据句柄指针将对应的句柄关闭，然后在根据所述读写业务重新打开所述文件的相应句柄，并将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄，以及将新的缓存句柄保存到第一队列和索引容器中。
在一些实施例中，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
具体的，当使用计数为0时，说明此时没有线程使用该句柄，因此可以对应的缓存句柄移动到第二队列中，并更新缓存句柄的使用时间。
本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种文件读写业务的处理系统400，如图2所示，包括：
判断模块401，配置为响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
打开模块402，配置为响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
封装模块403，配置为将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
缓存模块404，配置为将所述文件的缓存句柄加入到所述索引容器和第一队列中；
处理模块405，配置为利用所述文件的相应句柄对所述读写业务进行处理；
移动模块406，配置为响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
在一些实施例中，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
在一些实施例中，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行以下步骤：
S1，响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
S2，响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
S3，将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
S4，将所述文件的缓存句柄加入到所述索引容器和第一队列中；
S5，利用所述文件的相应句柄对所述读写业务进行处理；
S6，响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
在一些实施例中，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
在一些实施例中，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序610，计算机程序610被处理器执行时执行以下步骤：
S1，响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
S2，响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
S3，将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
S4，将所述文件的缓存句柄加入到所述索引容器和第一队列中；
S5，利用所述文件的相应句柄对所述读写业务进行处理；
S6，响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
在一些实施例中，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
在一些实施例中，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
在一些实施例中，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
在一些实施例中，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
本发明的实施例提出的方案通过索引容器用于文件到句柄的快速查询映射，通过第一队列用于句柄保护，通过第二队列用于高效率的失效句柄检测，有效降低分布式文件系统读写时文件句柄处理压力与频度，进而降低了读写io下的文件读写时延。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质（例如，存储器）可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种文件读写业务的处理方法，其特征在于，包括以下步骤：
响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
将所述文件的缓存句柄加入到所述索引容器和第一队列中；
利用所述文件的相应句柄对所述读写业务进行处理；
响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
2.如权利要求1所述的方法，其特征在于，还包括：
对所述第二队列中的每一个缓存句柄的使用时间进行检测以判断使用时间是否超过阈值；
响应于存在使用时间超过阈值的缓存句柄，将使用时间超过阈值的缓存句柄从所述第二队列中删除；
根据使用时间超过阈值的缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
3.如权利要求1所述的方法，其特征在于，还包括：
响应于所述第二队列中的缓存句柄的数量达到预设数量，从所述第二队列的尾部开始删除若干个缓存句柄；
分别根据若干个缓存句柄中的文件序号将所述索引容器中相应的缓存句柄删除，并根据句柄指针将对应的句柄关闭。
4.如权利要求1所述的方法，其特征在于，还包括：
响应于所述索引容器中存在所述文件的缓存句柄，判断所述文件的缓存句柄中的句柄标志是否与所述读写业务对应；
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第二队列中，将所述第二队列中的缓存句柄移动到所述第一队列中，并利用已经打开的所述文件的相应句柄对所述读写业务进行处理。
5.如权利要求4所述的方法，其特征在于，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务对应且所述文件的缓存句柄在所述第一队列中，利用已经打开的所述文件的相应句柄对所述读写业务进行处理，并更新所述文件的缓存句柄的使用计数。
6.如权利要求5所述的方法，其特征在于，将所述文件的缓存句柄从所述第一队列移动到第二队列中，进一步包括：
判断所述文件的缓存句柄的使用计数是否达到预设值；
响应于所述文件的缓存句柄的使用计数达到预设值，将所述文件的缓存句柄移动到所述第二队列的头部；
更新所述文件的缓存句柄的使用时间。
7.如权利要求4所述的方法，其特征在于，还包括：
响应于所述文件的缓存句柄中的句柄标志与所述读写业务不对应且所述文件的缓存句柄在所述第二队列中，将所述文件的缓存句柄从所述第二队列中和所述索引容器中删除，并根据句柄指针将对应的句柄关闭；
根据所述读写业务重新打开所述文件的相应句柄；
将所述相应句柄的标志和指针以及所述文件序号进行封装以得到文件的新缓存句柄；
将所述文件的新缓存句柄加入到所述索引容器和第一队列中；
利用重新打开的所述文件的相应句柄对所述读写业务进行处理。
8.一种文件读写业务的处理系统，其特征在于，包括：
判断模块，配置为响应于接收到文件的读写业务，根据文件序号判断索引容器中是否存在所述文件的缓存句柄；
打开模块，配置为响应于所述索引容器中不存在所述文件的缓存句柄，根据所述读写业务打开所述文件的相应句柄；
封装模块，配置为将所述相应句柄的标志和指针以及所述文件序号进行封装以得到所述文件的缓存句柄；
缓存模块，配置为将所述文件的缓存句柄加入到所述索引容器和第一队列中；
处理模块，配置为利用所述文件的相应句柄对所述读写业务进行处理；
移动模块，配置为响应于所述读写业务处理完成，将所述文件的缓存句柄从所述第一队列移动到第二队列中。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
CN202110853962.1A 2021-07-28 2021-07-28 一种文件读写业务的处理方法、系统、设备以及介质 Active CN113312008B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110853962.1A CN113312008B (zh) 2021-07-28 2021-07-28 一种文件读写业务的处理方法、系统、设备以及介质
US18/270,457 US20240061599A1 (en) 2021-07-28 2021-09-29 Method and system for processing file read-write service, device, and medium
PCT/CN2021/121898 WO2023004991A1 (zh) 2021-07-28 2021-09-29 一种文件读写业务的处理方法、系统、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110853962.1A CN113312008B (zh) 2021-07-28 2021-07-28 一种文件读写业务的处理方法、系统、设备以及介质

Publications (2)

Publication Number Publication Date
CN113312008A true CN113312008A (zh) 2021-08-27
CN113312008B CN113312008B (zh) 2021-10-29

Family

ID=77381661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110853962.1A Active CN113312008B (zh) 2021-07-28 2021-07-28 一种文件读写业务的处理方法、系统、设备以及介质

Country Status (3)

Country Link
US (1) US20240061599A1 (zh)
CN (1) CN113312008B (zh)
WO (1) WO2023004991A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905100A (zh) * 2021-09-29 2022-01-07 济南浪潮数据技术有限公司 动态控制客户端重传请求的方法、系统、设备和存储介质
WO2023004991A1 (zh) * 2021-07-28 2023-02-02 苏州浪潮智能科技有限公司 一种文件读写业务的处理方法、系统、设备以及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083224A1 (en) * 1998-03-25 2002-06-27 Network Appliances, Inc. A Delaware Corporation Protected control of devices by user applications in multiprogramming environments
CN107111581A (zh) * 2015-01-19 2017-08-29 微软技术许可有限责任公司 存储器描述符列表高速缓存和管道处理
CN107197050A (zh) * 2017-07-27 2017-09-22 郑州云海信息技术有限公司 一种分布式存储系统中文件写入的方法及系统
CN110535940A (zh) * 2019-08-29 2019-12-03 北京浪潮数据技术有限公司 一种bmc的连接管理方法、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020040381A1 (en) * 2000-10-03 2002-04-04 Steiger Dianne L. Automatic load distribution for multiple digital signal processing system
US9063784B2 (en) * 2009-09-03 2015-06-23 International Business Machines Corporation Opening a temporary object handle on a resource object
CN107992504A (zh) * 2016-10-26 2018-05-04 中兴通讯股份有限公司 一种文件处理方法及装置
CN110309257B (zh) * 2018-03-14 2021-04-16 杭州海康威视数字技术股份有限公司 一种文件读写打开方法及装置
CN111966634A (zh) * 2020-07-27 2020-11-20 苏州浪潮智能科技有限公司 一种文件操作方法、系统、设备以及介质
CN113312008B (zh) * 2021-07-28 2021-10-29 苏州浪潮智能科技有限公司 一种文件读写业务的处理方法、系统、设备以及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083224A1 (en) * 1998-03-25 2002-06-27 Network Appliances, Inc. A Delaware Corporation Protected control of devices by user applications in multiprogramming environments
CN107111581A (zh) * 2015-01-19 2017-08-29 微软技术许可有限责任公司 存储器描述符列表高速缓存和管道处理
CN107197050A (zh) * 2017-07-27 2017-09-22 郑州云海信息技术有限公司 一种分布式存储系统中文件写入的方法及系统
CN110535940A (zh) * 2019-08-29 2019-12-03 北京浪潮数据技术有限公司 一种bmc的连接管理方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023004991A1 (zh) * 2021-07-28 2023-02-02 苏州浪潮智能科技有限公司 一种文件读写业务的处理方法、系统、设备以及介质
CN113905100A (zh) * 2021-09-29 2022-01-07 济南浪潮数据技术有限公司 动态控制客户端重传请求的方法、系统、设备和存储介质

Also Published As

Publication number Publication date
WO2023004991A1 (zh) 2023-02-02
US20240061599A1 (en) 2024-02-22
CN113312008B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113312008B (zh) 一种文件读写业务的处理方法、系统、设备以及介质
US20190163364A1 (en) System and method for tcp offload for nvme over tcp-ip
US9367369B2 (en) Automated merger of logically associated messages in a message queue
CN106570018B (zh) 序列化与反序列化的方法、装置、系统以及电子设备
CN110865888A (zh) 一种资源加载方法、装置、服务器及存储介质
WO2014047193A2 (en) Mail indexing and searching using hierarchical caches
CN111427859B (zh) 一种消息处理方法、装置、电子设备及存储介质
CN105138410A (zh) 一种基于磁盘缓存的消息队列的实现方法及装置
CN111737002B (zh) 一种链式存储请求的处理方法、装置、设备及可读介质
CN111737564B (zh) 一种信息查询方法、装置、设备及介质
CN117312394B (zh) 一种数据访问方法、装置、存储介质及电子设备
CN113010116A (zh) 一种数据处理方法、装置、终端设备及可读存储介质
CN107423095A (zh) 适配硬件的数据处理方法、装置、存储介质和计算机设备
CN117149777B (zh) 一种数据查询方法、装置、设备及存储介质
CN112328298A (zh) 移动端的代码库裁剪方法及装置
WO2023143545A1 (zh) 资源处理方法、装置、电子设备及计算机可读存储介质
CN113297267A (zh) 数据缓存和任务处理方法、装置、设备以及存储介质
CN104866285A (zh) 可编程序控制器
US20220156081A1 (en) Processing-in-memory and method of outputting instruction using processing-in-memory
CN114896215A (zh) 元数据的存储方法及装置
CN114356912A (zh) 一种向数据库写入数据的方法及计算机设备
CN111324732B (zh) 模型训练方法、文本处理方法、装置及电子设备
CN108776578B (zh) 一种快速合并对象的方法和系统
CN113342270A (zh) 卷卸载方法、装置和电子设备
CN107705089B (zh) 业务处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant