CN107103021B - 计算机系统和用于控制计算机的方法 - Google Patents

计算机系统和用于控制计算机的方法 Download PDF

Info

Publication number
CN107103021B
CN107103021B CN201611144717.9A CN201611144717A CN107103021B CN 107103021 B CN107103021 B CN 107103021B CN 201611144717 A CN201611144717 A CN 201611144717A CN 107103021 B CN107103021 B CN 107103021B
Authority
CN
China
Prior art keywords
file
key
value
command
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611144717.9A
Other languages
English (en)
Other versions
CN107103021A (zh
Inventor
维卡斯·辛哈
兹维·古兹
林铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107103021A publication Critical patent/CN107103021A/zh
Application granted granted Critical
Publication of CN107103021B publication Critical patent/CN107103021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • G06F16/152File search processing using file content signatures, e.g. hash values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/188Virtual file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877Cache access modes
    • G06F12/0882Page mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60Details of cache memory
    • G06F2212/603Details of cache memory of operating mode, e.g. cache mode or local memory mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种在使用非块系统存储装置时杠杆式利用本地操作系统页高速缓冲存储器的计算机系统和用于控制计算机的方法。一种计算机可包括处理器、内存和非块系统存储装置。文件系统可被存储在内存中并可在处理器上运行,其可包括页高速缓冲存储器。键‑值文件系统可驻留在文件系统与存储装置之间并可将接收的文件系统命令映射到可被存储装置执行的键‑值系统命令。键‑值系统命令的结果可被返回到文件系统,其中,键‑值系统命令的结果为允许操作系统在页高速缓冲存储器中缓存数据。

Description

计算机系统和用于控制计算机的方法
本申请要求于2016年2月23日提交的第62/298,987的美国临时专利申请的权益,以及于2016年4月29日提交的第15/143,504的美国临时专利申请的权益,所述美国专利申请为了所有的目的通过参考合并于此。
技术领域
本发明构思涉及键-值存储,更具体的讲,涉及在访问键-值装置时使用操作系统高速缓冲存储器。
背景技术
现有的操作系统实现了用于将文件系统数据缓存在存储器中并提高性能的无数的机制。具体地讲,页高速缓冲存储器(page cache)(或缓冲器高速缓冲存储器(buffercache))大量缓存频繁被访问的数据以提高整体的文件系统性能。虽然页高速缓冲存储器本身不需要文件系统以驻留在块装置上,但是实际中,使用页高速缓冲存储器来提高文件系统性能的大部分配置需要文件系统驻留在块装置上。
键-值固态驱动器(SSD)是一种提供更好的存储性能的新兴技术。但是被这些SSD使用的键-值系统输出对象语义(object semantic)而不是块语义(block semantic),因此,通常可不被连接到页高速缓冲存储器。目前,使用键-值SSD需要完全地绕过文件系统或者使用没有页高速缓冲存储器的好处的文件系统。在这两者中的任何一个情况下,来自键-值SSD的数据不被缓存在操作系统的页高速缓冲存储器或缓冲器高速缓冲存储器中。
这将造成性能劣化(performance cliff),且通常需要用户程序来实现它自身的缓存机制来恢复合理的性能。在用户程序之内实现高速缓冲存储器对于用户而言是非常复杂且需要软件开发成本。此外,当使用用户空间缓存时,不同的程序可能不能轻易地共享它们的高速缓冲存储器,并且当程序终止时全部的高速缓冲存储器内容丢失。
存在对于允许具有键-值SSD的系统利用页高速缓冲存储器的好处的方法的需求。
发明内容
根据本发明构思的一实施例的一种计算机系统,包括:计算机;计算机中的处理器;计算机中的存储器;文件系统,存储在存储器中并在处理器上运行,文件系统包括页高速缓冲存储器;键-值文件系统(KVFS),所述KVFS包括:接收单元,从文件系统接收文件系统命令,文件系统命令包括标识文件的文件名称;映射单元,将文件系统命令映射到键-值系统命令;命令单元,将键-值系统命令发送到存储装置;返回单元,将键-值系统命令的结果返回到文件系统。
此外,根据所述计算机系统,存储装置存储文件的数据对象和元数据对象。
此外,根据所述计算机系统,所述计算机系统还包括:应用,存储在存储器中并在处理器上运行来发出文件系统命令。
此外,根据所述计算机系统,所述计算机系统还包括KVFS垫片,所述KVFS垫片包括:第二接收单元,接收第二键-值系统命令,第二键-值系统命令包括对象名称;第二映射单元,将第二键-值系统命令映射到文件系统命令;第二命令单元,将文件系统命令发送到文件系统。
此外,根据所述计算机系统,KVFS垫片还包括:文件描述符查找表,存储与文件对应的文件描述符。
此外,根据所述计算机系统,第二命令单元用于将文件系统命令和文件描述符发送到文件系统。
此外,根据所述计算机系统,KVFS垫片还包括:名称生成器单元,从对象名称生成文件名称。
此外,根据所述计算机系统,名称生成器单元包括:哈希单元,对对象名称执行哈希来生成哈希值。
此外,根据所述计算机系统,名称生成器单元还包括:ASCII表示单元,将文件名称生成为哈希值的ASCII表示。
此外,根据所述计算机系统,名称生成器单元还包括:冲突索引单元,将文件名称与冲突索引组合。
此外,根据所述计算机系统,KVFS包括:KVFS高速缓冲存储器。
此外,根据所述计算机系统,KVFS高速缓冲存储器可操作为用于存储来自存储装置的数据对象和元数据对象的数据的复本。
此外,根据所述计算机系统,返回单元用于仅将存储在KVFS高速缓冲存储器的数据对象和元数据对象的一部分数据返回到文件系统。
此外,根据所述计算机系统,KVFS包括:索引节点,所述索引节点存储来自存储装置的数据对象的元数据。
根据本发明构思的另一实施例,一种存储器包括:存储在存储器中的数据结构,其中,所述数据结构包括文件的名称、文件的创建日期、文件的修改日期、文件的访问日期、文件的类型、文件的大小、文件的容器、文件的所有者、存储数据的对象的名称。
此外,根据所述存储器,存储数据的对象的名称包括:指向存储数据的对象的名称的指针。
此外,根据所述存储器,存储数据的对象的名称还包括:存储数据的对象的名称的大小。
此外,根据所述存储器,数据结构还包括:针对存储数据的对象的多个权限。
此外,根据所述存储器,针对存储数据的对象的所述多个权限包括:指向存储针对存储数据的对象的所述多个权限的第二数据结构的指针。
根据本发明构思的另一实施例,一种方法包括:接收文件系统命令,所述文件系统命令包括标识文件的文件名称;将文件系统命令映射到关于标识对象的至少一个对象名称的至少一个键-值系统命令;试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令;接收所述至少一个键-值系统命令的键-值系统结果;返回键-值系统结果。
此外,根据所述方法,接收文件系统命令的步骤包括:接收第二键-值系统命令,第二键-值系统命令包括标识第二对象的第二对象名称;将第二键-值系统命令映射到文件系统命令。
此外,根据所述方法,接收第二键-值系统命令的步骤包括:接收第二键-值系统命令,第二键-值系统命令是从包括PUT命令、GET命令和DELETE命令的集合得到。
此外,根据所述方法,将第二键-值系统命令映射到文件系统命令的步骤包括:从第二对象名称生成文件名称。
此外,根据所述方法,从第二对象名称生成文件名称的步骤包括:将哈希函数应用到第二对象名称来产生文件名称。
此外,根据所述方法,将哈希函数应用到第二对象名称来产生文件名称的步骤包括:将哈希函数应用到第二对象名称来产生哈希值;将文件名称生成为所述哈希值的ASCII表示。
此外,根据所述方法,从第二对象名称生成文件名称的步骤还包括:将哈希值的ASCII表示与冲突索引进行组合。
此外,根据所述方法,接收文件系统命令的步骤还包括:在文件描述符查找表搜索与文件名称相关联的文件描述符。
此外,根据所述方法,接收文件系统命令的步骤还包括:如果文件描述符查找表不包括所述文件名称:接收文件的文件描述符;将文件描述符和文件名称添加到文件描述符查找表。
此外,根据所述方法,接收文件系统命令的步骤还包括:如果文件描述符查找表包括所述文件名称,使用文件名称从文件描述符查找表访问文件的文件描述符。
此外,根据所述方法,本发明构思的实施例包括根据声明23的方法,其中,接收文件系统命令的步骤还包括:向存储装置请求元数据对象,元数据对象通过文件名称进行标识;从存储装置接收元数据对象,元数据对象包括文件的元数据。
此外,根据所述方法,将文件系统命令映射到至少一个键-值系统命令的步骤包括:从元数据对象访问第二对象名称,并且,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:试图使用元数据对象来使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令;试图使用第二对象使用键-值文件系统(KVFS)高速缓冲存储器来满足第二键-值系统命令。
此外,根据所述方法,从元数据对象访问第二对象名称的步骤包括:从元数据对象访问指向第二对象的第二对象名称的指针;使用指向第二对象名称的指针检索第二对象名称。
此外,根据所述方法,从元数据对象访问指向第二对象的第二对象名称的指针的步骤包括:从元数据对象访问指向第二对象名称和第二对象名称的名称长度的指针,并且,使用指向第二对象名称的指针检索第二对象名称的步骤包括:使用指向第二对象名称和第二对象名称的名称长度的指针检索第二对象名称。
此外,根据所述方法,接收文件系统命令的步骤还包括:将来自元数据对象的元数据存储在索引节点中。
此外,根据所述方法,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:响应于所述至少一个键-值系统命令来修改索引节点。
此外,根据所述方法,响应于所述至少一个键-值系统命令来修改索引节点的步骤包括:从存储装置删除元数据对象;将替换元数据对象存储在存储装置上。
此外,根据所述方法,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:在键-值文件系统(KVFS)高速缓冲存储器搜索所述对象。
此外,根据所述方法,接收所述至少一个键-值系统命令的键-值系统结果的步骤包括:如果KVFS高速缓冲存储器存储所述对象,则从KVFS高速缓冲存储器访问对象的数据。
此外,根据所述方法,接收所述至少一个键-值系统命令的键-值系统结果的步骤还包括:如果KVFS高速缓冲存储器没有存储所述对象:将键-值系统命令发送到存储装置;从存储装置接收对象的数据;将所述数据存储在KVFS高速缓冲存储器。
此外,根据所述方法,接收所述至少一个键-值系统命令的键-值系统结果的步骤包括:仅访问对象的数据的一部分;返回所述数据的一部分作为键-值系统结果。
根据本发明构思的另一实施例,一种方法包括:接收键-值系统命令,键-值系统命令包括标识对象的对象名称;将键-值系统命令映射到文件系统命令;向存储装置发送文件系统命令。
此外,根据所述方法,接收键-值系统命令的步骤包括:接收键-值系统命令,键-值系统命令是从包括PUT命令、GET命令和DELETE命令的集合得到。
此外,根据所述方法,将键-值系统命令映射到文件系统命令的步骤包括:从对象名称生成文件名称。
此外,根据所述方法,从对象名称生成文件名称的步骤包括:将哈希函数应用到对象名称来产生文件名称。
此外,根据所述方法,将哈希函数应用到对象名称来产生文件名称的步骤包括:将哈希函数应用到对象名称来产生哈希值;将文件名称生成为所述哈希值的ASCII表示。
此外,根据所述方法,从对象名称生成文件名称的步骤还包括:将哈希值的ASCII表示与冲突索引进行组合。
此外,根据所述方法,将键-值系统命令映射到文件系统命令的步骤包括:在文件描述符查找表搜索与文件名称相关联的文件描述符。
此外,根据所述方法,将键-值系统命令映射到文件系统命令的步骤还包括:如果文件描述符查找表不包括所述文件名称:接收与所述对象对应的文件的文件描述符;将文件描述符和文件名称添加到文件描述符查找表。
此外,根据所述方法,将键-值系统命令映射到文件系统命令的步骤还包括:如果文件描述符查找表包括所述文件名称,则使用文件名称从文件描述符查找表访问文件的文件描述符。
此外,根据所述方法,所述方法还包括:返回文件系统命令的结果。
根据本发明构思的另一实施例,一种方法包括:接收文件系统命令,文件系统命令标识文件;访问与文件对应的索引节点;从索引节点访问对象名称,对象名称标识存储在存储装置中的对象;试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令;返回所述命令的结果。
此外,根据所述方法,接收文件系统命令的步骤包括:接收所述文件系统命令,所述文件系统命令包括文件描述符,并且,访问与文件对应的索引节点的步骤包括:访问与文件描述符对应的索引节点。
此外,根据所述方法,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤包括:在KVFS高速缓冲存储器搜索所述对象名称;如果在KVFS高速缓冲存储器中存在具有所述对象名称的对象,对KVFS高速缓冲存储器中的对象执行命令。
此外,根据所述方法,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤还包括:如果在KVFS高速缓冲存储器中不存在具有所述对象名称的对象:将文件系统命令映射到键-值系统命令;将关于具有所述对象名称的对象的键-值系统命令发送到存储装置;从存储装置接收所述对象;将所述对象存储在KVFS高速缓冲存储器。
此外,根据所述方法,返回键-值系统命令的结果的步骤包括:仅访问对象的数据的一部分;返回所述数据的一部分作为键-值系统结果。
此外,根据所述方法,所述方法还包括:如果没有与文件描述符对应的索引节点可被定位:向存储装置请求元数据对象,元数据对象通过文件名称标识;从存储装置接收元数据对象,元数据对象包括文件的元数据;从元数据对象提取元数据;使用元数据创建索引节点。
此外,根据所述方法,从元数据对象提取元数据的步骤包括:从元数据对象访问指向对象的对象名称的指针。
此外,根据所述方法,从元数据对象访问指向对象的对象名称的指针的步骤包括:从元数据对象访问指向对象名称和对象名称的名称长度的指针。
此外,根据所述方法,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤包括:响应于文件系统命令来修改索引节点。
此外,根据所述方法,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤还包括:从存储装置删除元数据对象;将替换元数据对象存储在存储装置上。
根据本发明构思的另一实施例,一种方法包括:接收对象名称,对象名称标识存储在存储装置上的对象;将哈希函数应用到对象名称来产生文件名称。
此外,根据所述方法,所述方法还包括:将文件名称生成为哈希值的ASCII表示。
此外,根据所述方法,将文件名称生成为哈希值的ASCII表示的步骤包括:将哈希值的ASCII表示与冲突索引进行组合。
根据本发明构思的另一实施例,一种具有指令的计算机可读存储介质,该指令被计算机执行时导致:接收文件系统命令,文件系统命令包括对文件进行标识的文件名称;将文件系统命令映射到关于对对象进行标识的至少一个对象名称的至少一个键-值系统命令;试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令;接收所述至少一个键-值系统命令的键-值系统结果;返回键-值系统结果。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤包括:接收第二键-值系统命令,第二键-值系统命令包括对第二对象进行标识的第二对象名称;将第二键-值系统命令映射到文件系统命令。
此外,根据所述计算机可读存储介质,接收第二键-值系统命令的步骤包括:接收第二键-值系统命令,第二键-值系统命令是从包括PUT命令、GET命令和DELETE命令的集合得到。
此外,根据所述计算机可读存储介质,将第二键-值系统命令映射到文件系统命令的步骤包括:从第二对象名称生成文件名称。
此外,根据所述计算机可读存储介质,从第二对象名称生成文件名称的步骤包括:将哈希函数应用到第二对象名称来产生文件名称。
此外,根据所述计算机可读存储介质,将哈希函数应用到第二对象名称来产生文件名称的步骤包括:将哈希函数应用到第二对象名称来产生哈希值;将文件名称生成为哈希值的ASCII表示。
此外,根据所述计算机可读存储介质,将哈希函数应用到第二对象名称来产生文件名称的步骤还包括:将哈希值的ASCII表示与冲突索引进行组合。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤还包括:在文件描述符查找表搜索与文件名称相关联的文件描述符。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤还包括:如果文件描述符查找表不包括所述文件名称:接收文件的文件描述符;将文件描述符和文件名称添加到文件描述符查找表。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤还包括:如果文件描述符查找表包括文件名称,则使用文件名称从文件描述符查找表访问文件的文件描述符。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤还包括:向存储装置请求元数据对象,元数据对象通过文件名称识别;从存储装置接收元数据对象,元数据对象包括文件的元数据。
此外,根据所述计算机可读存储介质,将文件系统命令映射到至少一个键-值系统命令的步骤包括:从元数据对象访问第二对象名称,并且,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:试图使用元数据对象来使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令;试图使用第二对象来使用键-值文件系统(KVFS)高速缓冲存储器来满足第二键-值系统命令。
此外,根据所述计算机可读存储介质,本从元数据对象访问第二对象名称的步骤包括:从元数据对象访问指向第二对象的第二对象名称的指针;使用指向第二对象名称的指针检索第二对象名称。
此外,根据所述计算机可读存储介质,从元数据对象访问指向第二对象的第二对象名称的指针的步骤包括:从元数据对象访问指向第二对象名称和第二对象名称的名称长度的指针,并且,使用指向第二对象名称的指针检索第二对象名称的步骤包括:使用指向第二对象名称和第二对象名称的名称长度的指针检索第二对象名称。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤还包括:将来自元数据对象的元数据存储在索引节点中。
此外,根据所述计算机可读存储介质,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:响应于所述至少一个键-值系统命令来修改索引节点。
此外,根据所述计算机可读存储介质,响应于所述至少一个键-值系统命令来修改索引节点的步骤包括:从存储装置删除元数据对象;将替换元数据对象存储在存储装置中。
此外,根据所述计算机可读存储介质,试图使用键-值文件系统(KVFS)高速缓冲存储器来满足所述至少一个键-值系统命令的步骤包括:在键-值文件系统(KVFS)高速缓冲存储器搜索所述对象。
此外,根据所述计算机可读存储介质,接收所述至少一个键-值系统命令的键-值系统结果的步骤包括:如果KVFS高速缓冲存储器存储了所述对象,则从KVFS高速缓冲存储器访问对象的数据。
此外,根据所述计算机可读存储介质,接收所述至少一个键-值系统命令的键-值系统结果的步骤还包括:如果KVFS高速缓冲存储器没有存储所述对象:将键-值系统命令发送到存储装置;从存储装置接收对象的数据;将所述数据存储在KVFS高速缓冲存储器。
此外,根据所述计算机可读存储介质,接收所述至少一个键-值系统命令的键-值系统结果的步骤包括:仅访问对象的数据的一部分;返回所述数据的一部分作为键-值系统结果。
根据本发明构思的另一实施例,一种具有指令的计算机可读存储介质,该指令被计算机执行时导致:接收键-值系统命令,键-值系统命令包括对对象进行标识的对象名称;将键-值系统命令映射到文件系统命令;向存储装置发送文件系统命令。
此外,根据所述计算机可读存储介质,接收键-值系统命令的步骤包括:接收键-值系统命令,键-值系统命令是从包括PUT命令、GET命令和DELETE命令的集合得到。
此外,根据所述计算机可读存储介质,将键-值系统命令映射到文件系统命令的步骤包括:从对象名称生成文件名称。
此外,根据所述计算机可读存储介质,从对象名称生成文件名称的步骤包括:将哈希函数应用到对象名称来产生文件名称。
此外,根据所述计算机可读存储介质,将哈希函数应用到对象名称来产生文件名称的步骤包括:将哈希函数应用到对象名称来产生哈希值;将文件名称生成为所述哈希值的ASCII表示。
此外,根据所述计算机可读存储介质,从对象名称生成文件名称的步骤还包括:将哈希值的ASCII表示与冲突索引进行组合。
此外,根据所述计算机可读存储介质,将键-值系统命令映射到文件系统命令的步骤包括:在文件描述符查找表搜索与文件名称相关联的文件描述符。
此外,根据所述计算机可读存储介质,将键-值系统命令映射到文件系统命令的步骤还包括:如果文件描述符查找表不包括所述文件名称:接收与所述对象对应的文件的文件描述符;将文件描述符和文件名称添加到文件描述符查找表。
此外,根据所述计算机可读存储介质,将键-值系统命令映射到文件系统命令的步骤还包括:如果文件描述符查找表包括所述文件名称,则使用文件名称从文件描述符查找表访问文件的文件描述符。
此外,根据所述计算机可读存储介质在指令被机器执行时,导致:返回文件系统命令的结果。
根据本发明构思的另一实施例,一种具有指令的计算机可读存储介质,该指令被计算机执行时导致:接收文件系统命令,文件系统命令对文件进行标识;访问与文件对应的索引节点;从索引节点访问对象名称,对象名称对存储在存储装置中的对象进行标识;试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令;返回所述命令的结果。
此外,根据所述计算机可读存储介质,接收文件系统命令的步骤包括:接收所述文件系统命令,所述文件系统命令包括文件描述符,并且,访问与文件对应的索引节点的步骤包括:访问与文件描述符对应的索引节点。
此外,根据所述计算机可读存储介质,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤包括:在KVFS高速缓冲存储器搜索所述对象名称;如果在KVFS高速缓冲存储器中存在具有所述对象名称的对象,对KVFS高速缓冲存储器中的对象执行命令。
此外,根据所述计算机可读存储介质,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤还包括:如果在KVFS高速缓冲存储器中不存在具有所述对象名称的对象:将文件系统命令映射到键-值系统命令;将关于具有所述对象名称的对象的键-值系统命令发送到存储装置;从存储装置接收所述对象;将所述对象存储在KVFS高速缓冲存储器。
此外,根据所述计算机可读存储介质,返回键-值系统命令的结果的步骤包括:仅访问对象的数据的一部分;返回所述数据的一部分作为键-值系统结果。
此外,根据所述计算机可读存储介质,在所述指令被执行时导致:如果没有与文件描述符对应的索引节点可被定位:从存储装置请求元数据对象,元数据对象通过文件名称识别;从存储装置接收元数据对象,元数据对象包括文件的元数据;从元数据对象提取元数据;使用元数据创建索引节点。
此外,根据所述计算机可读存储介质,从元数据对象提取元数据的步骤包括:从元数据对象访问指向对象名称的指针。
此外,根据所述计算机可读存储介质,从元数据对象访问指向对象的对象名称的指针的步骤包括:从元数据对象访问指向对象名称和对象名称的名称长度的指针。
此外,根据所述计算机可读存储介质,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤包括:响应于文件系统命令来修改索引节点。
此外,根据所述计算机可读存储介质,试图对键-值文件系统(KVFS)高速缓冲存储器中的对象执行命令的步骤还包括:从存储装置删除元数据对象;将替换元数据对象存储在存储装置上。
根据本发明的另一实施例,一种具有指令的计算机可读存储介质,该指令被计算机执行时导致:接收对象名称,对象名称对存储在存储装置上的对象进行标识;将哈希函数应用到对象名称来产生文件名称。
此外,根据所述计算机可读存储介质,在所述指令被机器执行时导致:将文件名称生成为哈希值的ASCII表示。
此外,根据所述计算机可读存储介质,将文件名称生成为哈希值的ASCII表示的步骤包括:将哈希值的ASCII表示与冲突索引进行结合。
附图说明
图1示出根据本发明构思的实施例的在访问键-值系统存储装置时能够使用操作系统的页高速缓冲存储器的系统。
图2示出图1的计算机的附加细节。
图3A至图3B示出经过图1的计算机的层的命令和数据的流动。
图4示出图1的键-值文件系统(KVFS)层的细节。
图5示出图1的KVFS垫片(shim)的细节。
图6示出图5的名称生成器单元的细节。
图7示出图5的文件描述符查找表的细节。
图8示出图1的元数据对象的结构的细节。
图9A至图9E示出根据本发明构思的实施例的使用图1的计算机处理命令的示例过程的流程图。
图10A至图10B示出根据本发明构思的实施例的图1的KVFS垫片的操作的示例过程的流程图。
图11A至图11B示出根据本发明构思的实施例的图1的KVFS的操作的示例过程的流程图。
图12A至图12B示出根据本发明构思的实施例的使用图1的KVFS高速缓冲存储器的示例过程的流程图。
图13示出根据本发明构思的实施例的使用图5的名称生成器单元从对象名称生成文件名称的示例过程的流程图。
图14示出根据本发明构思的实施例的在图1的系统中修改图1的元数据对象的示例过程的流程图。
具体实施方式
现在将详细参考本发明构思的实施例,其中,附图中示出本发明构思的实施例的示例。在下面的具体实施方式中,阐述了很多具体的细节以能够全面理解本发明构思。然而,应理解,本领域的普通技术人员可在没有这些具体细节的情况下实践本发明构思。在其他情况下,公知的方法、过程、组件、电路和网络未被具体地描述,以免使实施例的方面产生不必要的模糊。
将理解,虽然术语第一、第二等可在此用于描述各种元件,但是这些元件不应被这些术语所限定。这些术语仅用于对一个元件和另一个元件进行区别。例如,在不脱离本发明构思的范围的情况下,第一单元可被称为第二单元,类似地,第二单元可被称为第一单元。
在此本发明构思的描述中使用的术语仅为了描述特定的实施例并不意在限制本发明构思。如在本发明构思和附加的权利要求的描述中使用的,除非上下文另外有明确的指示,单数形式意在也包括复数形式。也将理解,如在此使用的术语“和/或”表示并包含一个或多个相关联的列出的项目的任意和全部可能的组合。将进一步理解,当在说明书中使用时,术语“包含”表示阐述的特征、证书、步骤、操作、元素和/或组件的存在,但是不排除一个或多个其他特征、证书、步骤、操作、元素、组件和/或它们的组的存在或添加。附图的组件和特征不一定按比例绘制。
本发明构思的实施例包括用于杠杆式利用(leverage)操作系统的页高速缓冲存储器(或缓冲器高速缓冲存储器)来加速数据访问的访问键-值的方法。键-值请求(或键-值系统命令)可被转换成可利用页高速缓冲存储器的文件系统请求。本发明构思的实施例也可将文件系统请求转换成键-值系统请求:例如,将页高速缓冲存储器ReadPage命令转换成键-值系统GET和PUT命令。为了促进这些转换,键-值文件系统(KVFS)可包括它自身的内部页高速缓冲存储器,其可进一步减少存储装置的访问请求的数量,并也可处理部分读取和写入。存储装置也可存储需要最小开销时支持文件系统接口和功能的元数据对象。
通过利用现有的操作系统页高速缓冲存储器,本发明构思的实施例可提高键-值应用的数据访问性能。这个结果具有附加的好处:使多个应用能够共享页高速缓冲存储器并允许缓存的数据留存到应用重新开始。
本发明构思的实施例在不需要对操作系统的任何通用部分进行改变的情况下,能够使用标准操作系统页高速缓冲存储器和缓冲器高速缓冲存储器行为。为了实现这些结果,本发明构思的实施例引入两个新的组件:
1)在操作系统的用户空间内,可引入新的键-值文件系统(KVFS)垫片。KVFS垫片可覆盖应用可链接到的方法的小子集,实现对应用的透明改变。
2)在操作系统的文件系统层内,可引入KVFS驱动器(有时被称为KVFS层,或只被称为KVFS)。KVFS驱动器可符合操作系统所需要的标准文件系统接口(诸如,BSD的虚拟节点(Vnode)或Linux的VFS接口),并可将文件系统请求转化为键-值系统请求。
图1示出根据本发明构思的实施例的在访问键-值系统存储装置时能够使用操作系统的页高速缓冲存储器的系统。在图1中,计算机105被显示为包括处理器110、存储器115和存储装置120。处理器110可以是任何种类的处理器,例如,Intel Xeon或Intel Celeron处理器。存储器115可以是任何种类的存储器,诸如,非易失性存储器(例如,闪存)或静态随机存取存储器(RAM),但通常是动态RAM。存储装置120可以是不使用传统的块接口的任何种类的存储装置。本发明构思的实施例包括提供键-值(对象)接口的固态驱动器(SSD),但是本发明构思的其他实施例可支持其他形式的存储装置、其他形式的接口或二者。在下面的描述中,一般对“键-值”的任何引用,不论在接口的上下文、命令还是其他上下文中,可被适于不同的专用存储装置120的其他可选择替换物所替换。
存储器115可包括应用125,其可以是任何种类的应用。在本发明构思的一些实施例中,应用125可以是被设计为利用存储装置120的键-值接口的应用,但在本发明构思的其他实施例中,应用125可以是利用传统的文件系统的应用。如下面参照图3B所述,本发明构思的实施例可允许应用利用传统的文件系统命令来访问提供键-值接口的存储装置(诸如,存储装置120)。
存储器115也可包括操作系统130,其中,操作系统130可包括文件系统135。文件系统135可以是传统的文件系统,正如操作系统130可以是包括页高速缓冲存储器的传统的操作系统。(术语“页高速缓冲存储器”意在囊括由操作系统提供的用于存储针对应用的数据的任何高速缓冲存储器,它是更传统的缓冲器高速缓冲存储器或更现代的Linux类型的页高速缓冲存储器。)为了能够在传统的文件系统命令与键-值系统命令之间转变,操作系统130可包括键-值文件系统(KVFS)垫片140和KVFS 145。KVFS垫片140可将键-值系统命令转化为文件系统命令,而文件系统135可随后处理文件系统命令。KVFS 145可将文件系统命令转化回键-值系统命令来与存储装置120进行交互(如上所述,存储装置120提供键-值系统接口而不是传统的块接口)。KVFS垫片140可被实现为覆盖被应用125正常调用的库函数的函数。
由于KVFS垫片140和KVFS 145的实现的具体细节可能取决于包括操作系统130和文件系统135的特性、存储装置120接受的命令的变量,实现可通过不同的安装进行改变。在本发明构思的一些实施例中,KVFS垫片140和KVFS 145可使用可插入函数(pluggablefunction)实现,其中,KVFS垫片140和KVFS 145二者都包括一套完整的所有可能的函数的集合。然后,对于具体的实现,特定函数可被激活,剩余函数失活。例如,KVFS垫片140和KVFS145可包括用于针对所有可能的文件系统135而处理所有可能的文件系统命令的函数,以及用于针对所有可能的存储装置120而处理所有可能的键-值系统命令的函数。然后,当KVFS垫片140和KVFS 145被安装在计算机105时,处理通过文件系统135和存储装置120识别的具体命令的函数可被激活,来实现计算机105需要的具体的KVFS垫片140和KVFS 145。
当操作系统130可包括它本身的页高速缓冲存储器时,可对计算机105进行进一步的增强来减少对于从存储装置120访问数据的需要。例如,KVFS145可包括KVFS高速缓冲存储器150。KVFS高速缓冲存储器150可存储数据的复本(copy)155和元数据的复本160。复本155和复本160可以是存储在存储装置120中的数据对象165和元数据对象170的复本。如下面参照图3A至图8将进一步描述的,数据对象165可存储底层数据(underlying data),元数据对象170可存储文件的元数据。因此,数据对象165和元数据对象170可一起建立文件175。
包括KVFS高速缓冲存储器150的一个原因是解决部分读取和写入。键-值系统语法(semantic)可指定对象整体地被读取或写入:部分数据读取和写入可能不被允许。因此,如果从存储在存储装置120中的数据对象165需要任何数据,则必须读取整个数据对象165。类似地,如果将任何数据写入存储在存储装置120的数据对象165,则必须写入整个数据对象165。
但是文件系统语法可允许部分数据读取和写入。例如,文件系统命令可能只想从数据对象165读取数据字段。由于键-值系统语法要求读取整个数据对象165而不管实际使用多少数据,剩余的数据可被缓存在某处以防将来需要,避免需要重新读取数据对象165。但是由于来自操作系统130的文件系统命令仅请求应用125需要的特定数据,在操作系统130内的页高速缓冲存储器将不缓存来自数据对象165的剩余的数据。因此,KVFS高速缓冲存储器150提供了一种用于存储被丢弃的数据(即使在将来某个时刻可能需要)的手段。
当然,这意味着KVFS高速缓冲存储器150是一种具有对于任何高速缓冲存储器都存在的局限性的高速缓冲存储器。KVFS高速缓冲存储器150将具有由分配给KVFS高速缓冲存储器150的空间决定的有限的大小。如果KVFS被要求存储比分配的空间多的数据,则KVFS高速缓冲存储器150将需要轮流将数据转移出KVFS高速缓冲存储器150。KVFS高速缓冲存储器150可使用用于删掉旧数据来为新数据腾出空间的任何期望的算法(诸如,最不常用的(LFU)、最近最少时用的(LRU)或任何其他调度)。
KVFS高速缓冲存储器150删掉旧数据的一个结果是:对于一些对象,KVFS高速缓冲存储器150可能仅包含数据的一部分。例如,考虑向大小为200MB的数据库请求数据的情况。由于从键-值系统存储装置整体地写入和读取对象,大小约为200MB的单个对象存储数据库。所以当读取数据库的一部分时,整个200MB的数据库将被载入KVFS高速缓冲存储器150。假设稍后出现读取大小为10KB的文件的请求,但是现在KVFS高速缓冲存储器150是满的。不管为了什么原因,KVFS高速缓冲存储器150决定删除10KB的数据库的数据来为请求的文件腾出空间。
现在进一步假设出现向数据库请求数据的另一个请求。在KVFS高速缓冲存储器150中仍然具有多于199MB的数据库,请求的数据仍然存在于KVFS高速缓冲存储器150中的几率是有可能的。如果这样,那么在无需访问存储装置120的情况下可从KVFS高速缓冲存储器150满足请求。但是如果当读取更小的文件时请求的数据恰好是从KVFS高速缓冲存储器150删除的那部分数据,则KVFS 145将需要再次请求整个200MB数据库对象。
可类似地处理数据写入。当数据将被写入时,如果将被替换的数据存储在KVFS高速缓冲存储器150中,那么在KVFS高速缓冲存储器150内的数据可被更新且KVFS 145可返回结果。稍后,KVFS 145可将数据从KVFS高速缓冲存储器150写入到存储装置120,来确保数据在更加永久的存储器中被更新,在此之后,在KVFS高速缓冲存储器150的数据可被标记为可擦除。当然,如果当KVFS高速缓冲存储器150是满的时,新的数据将被载入KVFS高速缓冲存储器150,则KVFS高速缓冲存储器需要知道哪些数据已经被写入到存储装置120以及哪些数据没有写入,从而如果这些页从KVFS高速缓冲存储器150将被删掉则数据可被冲入(flush)到存储装置120。所以KVFS高速缓冲存储器150需要针对KVFS高速缓冲存储器150中的每一页跟踪脏位(dirty bit)。另一种选择或过程是在KVFS 145返回数据写操作的结果之前,确保数据对象被写入到存储装置120:在那种情况下,KVFS高速缓冲存储器150可确定任何数据可被安全删掉。
数据对象165可具有对象名称180。对象名称180是可用于将数据对象165唯一定位在存储装置120中的数据。以类似的方式,元数据对象170可具有自己的名称,虽然如下面参照图5和图6所述,元数据对象170的名称可从数据对象165的名称180得到。通过使元数据对象170的名称从对象名称180衍生,元数据对象170总是可以知道对象名称180。
文件175也可具有文件名称185。文件名称185独立于对象名称180:文件名称185可在不改变对象名称180的情况下进行改变,反之亦然。
图2示出图1的计算机105的附加的细节。参照图2,通常,机器105包括一个或多个处理器110,其中,处理器110可包括可用于协调机器105的组件的操作的时钟220和存储器控制器215。处理器110也可结合到存储器115,其中,存储器115可包括作为示例的随机存取存储器(RAM)、只读存储器(ROM)或其他声明保存介质。处理器110也可结合到存储装置120以及网络连接器230,其中,网络连接器230可以是例如以太网连接器或无线连接器。处理器110也可被连接到在其他组件中的总线240,其中,总线240上连接有用户接口245和可使用输入/输出引擎250管理的输入/输出接口接口。
图3A至图3B示出命令和数据跨过图1的计算机的层的流动。在图3A中,示出本发明构思的一个实施例:应用125可发出存储装置120可识别的键-值系统命令。当应用125发出键-值系统命令305时,应用125可使用库函数。这个库函数可被KVFS垫片140所覆盖(override),而KVFS垫片140随后可接收键-值系统命令305。然后,KVFS垫片140可将键-值系统命令305映射到文件系统命令310。文件系统命令310可以是与键-值系统命令305类似的文件系统命令,但是是一种可被作为图1的操作系统的一部分的文件系统135处理的文件系统命令。文件系统135(或图1的操作系统130,依赖于图1的操作系统130和文件系统135的实现)可访问页高速缓冲存储器315以试图满足文件系统命令310。如果页高速缓冲存储器315可满足文件系统命令310,则文件系统135(或图1的操作系统130)可将结果320返回到KVFS垫片140。KVFS垫片140可接着将结果320映射至应用125期望的形式:应用125期望键-值系统命令305的结果,而所述结果可能采用与文件系统命令310的结果不同的形式。
如果文件系统135(或图1的操作系统130)使用页高速缓冲存储器315无法满足文件系统命令310,则文件系统135可将文件系统命令310发送到KVFS 145。KVFS 145接着可尝试使用KVFS高速缓冲存储器150来满足文件系统命令310。如果KVFS 145使用KVFS高速缓冲存储器150可以满足文件系统命令310,则KVFS 145可返回结果325。文件系统135(或图1的操作系统130)接着可进行对于页高速缓冲存储器315的任何需要的更新并可将结果325(如图3A中的结果320所示)返回到KVFS垫片140,可如前所述继续进行处理。
KVFS 145也可能需要更新存储装置120。例如,如果文件系统命令310更新图1的文件175的元数据,则KVFS 145可更新存储在存储装置120的元数据对象170。但是KVFS 145是否需要对存储装置120进行任何改变取决于KVFS 145、存储装置120的实现以及文件系统命令310的特性,且不一定针对所有的文件系统命令310都需要。
如果KVFS 145使用KVFS高速缓冲存储器150无法满足文件系统命令310,则KVFS145可将文件系统命令310映射到键-值系统命令330。可期望的,键-值系统命令330通常将与应用125发出的键-值系统命令305等同,但是键-值系统命令330以某种方式不同于键-值系统命令305也是可以的。KVFS 145接着可从存储装置120接收可被KVFS 145作为结果335返回到文件系统135(或图1的操作系统130)的结果,之后可如前所述继续进行处理。KVFS145也可基于从存储装置120接收的结果335来更新图1的KVFS高速缓冲存储器150。例如,如果文件系统命令310涉及对图1的文件175进行重命名,且图1的KVFS高速缓冲存储器150还未存储图1的元数据对象170,则KVFS 145可发出键-值系统命令330来检索图1的元数据对象170,将图1的元数据对象170的复本160存储在图1的KVFS高速缓冲存储器150中,并在图1的KVFS高速缓冲存储器150中更新图1的元数据对象170的复本160。KVFS 145接着可发出附加的第二键-值系统命令330来从存储装置120删除图1的元数据对象170并将替换元数据对象170(诸如,元数据170的更新复本)存储在存储装置120,以使存储装置120包括更新的元数据。
图3B与图3A类似。但是在本发明构思的其他实施例中,应用125可发出文件系统命令310而不是图3A的键-值系统命令305。例如,应用125可以是一种不是被设计为利用存储装置120提供的键-值接口的应用,而不是期望使用传统的文件系统命令的应用。
因为应用125发出传统的文件系统命令,KVFS垫片140不需要将键-值系统命令转化为文件系统命令。因此,文件系统135(或图1的操作系统130)可基于文件系统命令310来利用页高速缓冲存储器315。但是KVFS 145仍可将文件系统命令310映射到键-值系统命令330。通过使用KVFS 145将文件系统命令310映射到键-值系统命令330,KVFS 145对于文件系统135被表现为:存储装置120使用传统的块存储,而存储装置120实际使用对象存储。在本发明构思的这样的实施例中,尽管实际上存储装置120不使用传统的块存储,应用125也可杠杆式利用(leverage)页高速缓冲存储器315的好处。注意,文件系统135(和/或图1的操作系统130)、KVFS 145(和图1的KVFS高速缓冲存储器150)以及存储装置120的操作与在图3A中的那些描述相同。
虽然图3A和图3B是作为本发明构思的可供选择的实施例而被介绍的,但是在图3A和图3B中陈述的本发明构思的实施例也可被组合。例如,本发明构思的实施例可在应用125发出键-值系统命令(诸如,图3A的键-值系统命令305)时如图3A所示进行操作,并可在应用125发出文件系统命令(诸如,图3B的文件系统命令310)时如图3B所示进行操作。因此,页高速缓冲存储器315和图1的KVFS高速缓冲存储器150可被应用125杠杆式利用而使用键-值系统命令或文件系统命令而,且数据可在图1的页高速缓冲存储器315和KVFS高速缓冲存储器150内通过这样的应用而被共享。
图4示出图1的键-值文件系统(KVFS)层145的细节。在图4中,除了上面参照图1和图3A至图3B描述的KVFS高速缓冲存储器150之外,KVFS 145被示为包括接收单元405、映射单元410、命令单元415和返回单元420。接收单元405可从图1的操作系统中的其他层(诸如,图1的文件系统135)接收命令。映射单元410可将文件系统命令映射到键-值系统命令。命令单元415可向图1的存储装置120发出键-值系统命令。返回单元420可将结果返回到图1的操作系统130的调用层(诸如,图1的文件系统135)。注意的是:响应于所有的文件系统命令而并不是需要每一个单元。例如,如果从驻留在KVFS高速缓冲存储器150的数据可满足文件系统命令,则映射单元410和命令单元415可不需要从图1的存储装置120访问信息。
上面参照图3A至图3B讨论了文件系统命令到键-值系统命令的映射。为了实现这种映射,映射单元410可包括从文件系统命令至键-值系统命令的任何期望的映射。例如,映射单元410可包括指定哪个(哪些)键-值系统命令对应于给定的文件系统命令的表。注意的是:所述关联可以是一对多:单个文件系统命令可包括多个键-值系统命令。例如,在闪速SSD中,数据可不被覆写(overwritten)。改变数据包括使原始数据(可在任何适当的时间的SSD的垃圾收集的对象)失效和写入新的数据对象。因此,改变文件的任何元数据可需要KVFS 145删除图1的元数据对象170(更准确地讲,KVFS 145可使在存储装置120上的图1的元数据对象170失效,并使存储装置120执行垃圾收集来释放被旧对象占用的空间)并存储替换的元数据对象。
值得注意的是:在系统内的各种数据元素的名称之间可形成区别。暂时返回图1,数据对象165具有对象名称180,而文件175具有文件名称185。(如下面参照图5至图8讨论的,元数据对象170同样具有对象名称。但是由于元数据对象170的名称是一种对于计算机105的操作严格地内部的元素,所以元数据对象170的名称对于本讨论不重要。)对象名称180标识数据对象165;文件名称185标识文件175。文件名称185本身是存储在元数据对象170内的元数据:图1中所示的表示仅是象征意义的。文件175实际是文件系统135内的元素,而数据对象165是存储装置120的键-值系统内的元素。对象名称180和文件名称185是不同的:如果不是完全不可能,对于对象名称180和文件名称185是相同的将是极不寻常的。
此外,对象名称180和文件名称185可都在不影响其他的情况下被修改。例如,如果应用125决定对文件名称185进行重新命名,这种改变影响元数据对象170的内容,但不改变对象名称180。可选择地,如果对象名称180将被改变,这将影响数据对象165(并对元数据对象170有间接影响,元数据对象170的对象名称也将改变);但是文件名称185将保持不变。因此,保持对象名称和文件名称的概念分离是重要的:它们是相关的但不同的概念。
返回图4,KVFS 145也可包括索引节点(inode)425。索引节点425可以是表示文件的数据结构。索引节点425可以是如在基于Unix的系统中使用的传统的索引节点,或者索引节点425可以是新颖的数据结构。索引节点415可存储关于文件(诸如,图1的文件175)的信息。通常,索引节点415可存储文件元数据(诸如,文件名称185、文件创建的日期和时间、文件的所有者等)。但是索引节点425可包括适于实现的附加的信息。
图5示出图1的KVFS垫片140的细节。在图5中,KVFS垫片140可包括接收单元505、映射单元510、命令单元515以及返回单元520。接收单元505可从图1的应用125接收命令。映射单元510可将键-值系统命令映射到文件系统命令。命令单元515可向图1的文件系统135(或图1的操作系统130)发出文件系统命令。返回单元520可将结果返回到图1的应用125。注意的是,与图4的KVFS 145不同,KVFS垫片140本身可能不满足键-值系统命令,而是将文件系统命令发送到图1的文件系统135(或图1的操作系统130)。
上面参照图3A至图3B讨论了键-值系统命令到文件系统命令的映射。为了实现这种映射,映射单元510可包括从键-值系统命令到文件系统命令的任何期望的映射。例如,映射单元510可包括指定哪个(哪些)文件系统命令对应于给定的键-值系统命令的表。但是与图4的映射单元410相比,KVFS垫片410中的映射单元510总体具有更简单的实现。当存在可被发出到图1的文件系统135的许多文件系统命令时,仅存在可被发出到键-值存储装置的三个键-值系统命令:GET、PUT和DELETE。GET命令从存储装置读取数据;PUT命令将数据写入存储装置;DELETE命令使存储装置上的数据失效。因此,考虑到更少数量的命令可被发出到键-值存储装置,映射单元510的实现趋于更加简单。另外,图1的文件系统135通常具有用于读取、写入和删除数据的类似的命令,使得从键-值系统命令到文件系统命令的映射相对简单。然而,取决于图1的操作系统130和图1的存储装置120的特性,单个键-值系统命令可映射到多个文件系统命令。
KVFS垫片140也可包括文件描述符查找表525。文件描述符是用于访问文件中的数据(用于写入或读取)的内部机制。KVFS垫片140可将针对文件描述符的标识符存储在文件描述符查找表525中:定位的文件描述符接着可作为针对文件系统命令的变元(argument)被传递到图1的文件系统135。在没有文件描述符查找表525的情况下,KVFS垫片140在每次需要访问文件时向图1的操作系统130查询文件描述符,或者另外打开一个文件,执行任何需要的命令,然后针对每一个键-值系统命令关闭文件。但是这两种方法都是耗时的。通过将文件描述符存储在文件描述符查找表525中,KVFS垫片140可快速确定地针对与接收的键-值系统命令对应的文件系统命令的文件描述符。下面参照图7进一步描述文件描述符查找表525。
KVFS垫片140还可包括名称生成器单元530。如上所述,元数据对象具有名称(对于能够访问对象是必要的),但是元数据对象名称仅在从对象转换到文件时重要,所以元数据对象的名称仅在图1的KVFS垫片140和KVFS145内重要。因此,可使用针对元数据对象生成名称的几乎任何期望的算法。
对于为元数据对象生成名称的过程,有一些期望的特征。第一,过程应该是确定的:给定相同的数据,应该总是得到相同的元数据名称。第二,过程应该避免冲突:给定不同的数据,应该得到不同的元数据名称。第三,由于对象名称可具有任意长度,过程应该能够处理任意潜在长度的数据。这些是应该出现在名称生成器单元530中的所有性质,其中,给定对象名称180,名称生成器单元530可生成针对图1的元数据对象170的名称。
图6示出图5的名称生成器单元530的细节,其可从图1的对象名称180生成针对图1的元数据对象170的名称。通过从对象名称180开始,名称生成器单元530可避免尝试从不一致的输入为图1的元数据对象170一致地生成相同的名称的复杂性。在图6中,名称生成器单元530可包括哈希单元605、ASCII表示单元610和冲突索引单元615。哈希单元605可对对象名称180执行哈希。加密哈希算法(诸如,SHA-1)提供针对名称生成期望的大部分性质,因此针对元数据对象生成名称而做出很好的选择。但是存在不是文件名称的一部分的一些字符(诸如,斜线,经常用于将文件和它的容器分隔开)。由于加密哈希算法的结果不一定如文件名称一样可用,所以ASCII表示单元610可利用哈希单元605的结果并生成该结果的ASCII表示。ASCII表示单元610可从哈希单元605的结果消除任何有问题的字符。
当然,加密哈希算法不能保证哈希结果之间没有冲突。例如,不管输入数据的大小如何,SHA-1产生160比特的哈希结果。因此,如果SHA-1得到多于160比特的输入数据,则SHA-1将产生160比特的哈希。对于大于160比特的任意输入大小,由于存在比输出多的可能的输入,所以冲突的可能性仍然存在,即使该可能性很小。为了处理该可能性,冲突索引单元615可将冲突索引添加到ASCII表示,以防冲突发生。哈希单元605的结果的ASCII表示与冲突索引的组合可避免在图1的元数据对象170的名称生成中的任意可能的冲突。
一旦图1的元数据对象170的名称已被生成,图1的KVFS垫片140和图1的KVFS 145可使用该名称访问图1的元数据对象170。通过将PUT、GET或DELETE请求连同生成的图1的元数据对象170的名称发送到图1的存储装置120,图1的KVFS垫片140和图1的KVFS 145可可靠和一致地访问并使用图1的元数据对象170。
图7示出图5的文件描述符查找表525的细节。如上面参照图5所述,文件描述符查找表525提供针对图1的KVFS垫片140的机制来访问针对给定文件的文件描述符。在图7中,文件描述符查找表525可包括任何数量的哈希与文件描述符的关联。例如,第一哈希705与第一文件描述符710相关联,第二哈希715与第二文件描述符720相关联,以及第三哈希725与第三文件描述符730相关联。在图7中,文件描述符查找表525示出三个这样的关联,但是本发明构思的实施例可支持任意数量的这样的关联。给定哈希值,如果在文件描述符查找表525中存在,则KVFS垫片140可找到对应的文件描述符。
第一哈希705、第二哈希715和第三哈希725可存储由图1的操作系统130管理的文件的文件描述符。如果还没有文件描述符被打开,则图1的KVFS垫片140可打开文件并收回文件描述符。图1的KVFS垫片140接着可将哈希值和文件描述符添加到文件描述符查找表525以供以后使用。
图1的KVFS垫片140可将图1的元数据对象170的名称作为哈希而使用,以在文件描述符查找表525中进行查找。由于可通过使用图6的哈希单元605(连同其他过程)来生成图1的元数据对象170的名称,在文件描述符查找表525中两个不同的文件描述符与相同的哈希值相关联的可能性实际为零。
图8示出图1的元数据对象170的示例结构的细节。在图8中,元数据对象170可包括各种数据字段。这些数据字段可包括文件名称185、图1的文件175被创建的日期805(在此使用的“日期”意在包括日期和时间二者)、图1的文件175最后一次被修改的日期810、图1的文件175最后一次被访问的日期815、图1的文件175的类型820(例如,可执行文件、文档、文本文件或其他)、图1的文件175的大小825、存储图1的文件175的容器830以及图1的文件175的所有者835。
元数据对象170还可包括对象名称180。通过包括对象名称180,对元数据对象170的访问为系统提供了回到数据对象165的方式(重新调用使得元数据对象170的名称可从对象名称180生成)。在本发明构思的一些实施例中,元数据对象170可直接包括对象名称180。为了有效访问元数据对象170,元数据对象170应该具有固定的大小,这意味着为对象名称180分配的空间将不得不预先固定。但是由于对象名称的长度可能无限长,在元数据对象170内包括对象名称180可创造复杂:对象名称180将需要不超过分配给元数据对象170内的对象名称180的字段的大小。实际上,这不太可能是问题:分配给名称180的字段可包括任意期望数量的字符:200、1000、10000或更多。但是存在字段溢出的可能性,其可能在图1的操作系统内创建错误。
作为可供替换的选择,如图8所示,元数据对象170可包括可指向存储对象名称180位置的指针840。一旦系统知道对象名称180存储在何处以及对象名称180的长度845,则系统可检索到对象名称180。示出元数据对象170包括指向名称长度845的指针的原因是:读取固定大小的数据比读取未知大小的数据更高效。虽然图8示出与对象名称180一起存储的名称长度845,在本发明构思的其他实施例中名称长度845可被存储在元数据对象170内。
元数据对象170也可包括指向权限855的指针850。权限855指定对于图1的数据对象165存在哪些权限。权限855的结构可根据图1的操作系统130而变化。例如,在基于Unix的系统中,权限855可指定图1的文件175的所有者、在包括图1的文件175的所有者的组中的其他用户以及其他是否可以读取、写入和执行文件。其他操作系统以其他形式指定权限855。虽然图8示出权限855是通过来自元数据对象170的指针850而被访问,然而在本发明构思的其他实施例中,权限可被存储在元数据对象170内。
图9A至图9E示出根据本发明构思的实施例的使用图1的计算机处理命令的示例过程的流程图。在图9A中,在块903处,图1的KVFS垫片140可从图1的应用125接收图3A的键-值系统命令305。在块906处,图1的KVFS垫片140可将图3A的键-值系统命令305映射到图3A的文件系统命令310。在块909处,图1的KVFS垫片140可搜索图5的文件描述符查找表525来查看期望的文件是否先前已经被打开。如上面参照图6所述,该搜索可使用由图5的名称生成器单元530生成的图1的元数据对象170的名称。
在块912(图9B)处,图1的KVFS垫片140可确定图5的文件描述符查找表525是否包含期望的文件描述符。如果图5的文件描述符查找表525包含期望的文件描述符,则在块915处,图4的KVFS垫片140可从图5的文件描述符查找表525访问期望的文件描述符。否则,在块918处,KVFS垫片140可通过打开期望的文件向图1的操作系统请求新的文件描述符。在块921处,图1的KVFS垫片140可接收新的文件描述符,以及在块924处,图1的KVFS垫片140可将新的文件描述符添加到图5的文件描述符查找表525以供将来使用。
无论哪种方式,一旦图1的KVFS垫片140具有期望的文件描述符,在块927(图9C)处,图1的KVFS 145可从图1的文件系统135(更普遍地,从图1的操作系统130)接收图1的文件系统命令310。该块可涉及图1的KVFS垫片140将图3A的文件系统命令310发送到图1的操作系统130,以试图使用图3A的页高速缓冲存储器315来满足请求;如果图3A的页高速缓冲存储器315不能满足请求,则图1的操作系统130可将图3A的文件系统命令310转发到图1的KVFS 145。
在块930处,KVFS 145可进行检查以查看存储期望的元数据的图4的索引节点425是否存在。如果不存在,则在块933处,图1的KVFS 145可向图1的存储装置120请求图1的针对文件175的元数据(更具体地,图1的KVFS 145可向图1的存储装置120请求图1的元数据对象170)。在块936处,图1的KVFS 145可从图1的存储装置120接收图1的针对文件175的元数据对象170。在块939处,图1的KVFS 145可将元数据存储在图4的索引节点425中。
在块942处,不论存储期望的元数据的图4的索引节点425是否存在,图1的KVFS145可从图1的元数据对象170或从图4的索引节点425访问图1的对象名称180。在块945处,图1的KVFS 145可将图3A的文件系统命令310映射到图3A的键-值系统命令330。
在块948(图9D)处,如果图3A的文件系统命令310以某种方式修改图1的文件175的元数据,则图1的KVFS 145可修改图4的索引节点425。在块951处,图1的KVFS 145可试图使用图1的KVFS高速缓冲存储器150来满足图3A的键-值系统命令330。
在块954处,图1的KVFS 145可搜索图1的KVFS高速缓冲存储器150来查看图1的KVFS高速缓冲存储器150是否存储了期望的数据。在块957处,图1的KVFS 145确定图1的KVFS高速缓冲存储器150是否存储了期望的数据。如果图1的数据对象165(或图1的数据对象165的一些相关部分)未被存储在图1的KVFS高速缓冲存储器150中,则在块960处,图1的KVFS 145可将图3A的键-值系统命令330发送到图1的存储装置120来检索图1的数据对象165。在块963处,图1的KVFS 145可从存储装置120接收图1的数据对象165,以及在块966处,图1的KVFS 145可将图1的数据对象165的复本155存储在图1的KVFS高速缓冲存储器150中。当然,该存储块可涉及从图1的KVFS高速缓冲存储器150删掉一些数据来为新的数据腾出空间。图1的KVFS 145可使用任何期望的算法来选择从图1的KVFS高速缓冲存储器150删掉的数据。
此时,图1的KVFS 145可确定图1的KVFS高速缓冲存储器150存储了期望的数据。在块969(图9E)处,图1的KVFS 145可从图1的KVFS高速缓冲存储器150访问图1的数据对象165的复本155的数据或一部分数据。如果数据被写入,该访问操作可涉及从图1的存储装置120删除图1的数据对象165并写入新的数据对象,或仅将图1的KVFS高速缓冲存储器150中的页标记为脏(以使所述页可在稍后的时间被冲刷(flush)到图1的存储装置120)。在块972处,图1的KVFS 145可将图3A的结果335返回到图1的操作系统330,最终在块975处,作为图3A的结果320而传送到图1的应用125。
上面的描述非常复杂,因为考虑了在图1的操作系统130内的所有层次的操作:图1的KVFS垫片140、图1的文件系统135以及图1的KVFS 145。分别回顾在图1的KVFS垫片140和图1的KVFS 145的操作可能是有益的。(由于在本发明构思的实施例中图1的文件系统135保持不变,下面不在提供对于图1的文件系统135的操作的分析。)
图10A至图10B示出根据本发明构思的实施例的图1的KVFS垫片140的操作的示例过程的流程图。在图10A中,在块1005处,图5的接收单元505可从图1的应用125接收图3A的键-值系统命令305。在块1010处,图5的映射单元510可将图3A的键-值系统命令305映射到图3A的文件系统命令310。如下面参照图13所述,这可涉及针对图1的元数据对象170生成名称。在块1015处,图1的KVFS垫片140可搜索文件描述符查找表525来查看针对图1的文件175是否存在文件描述符。
在块1020(图10B)处,图1的KVFS垫片140可确定在图5的文件描述符查找表525中是否找到针对图1的文件175的文件描述符。如果在图5的文件描述符查找表525中找到针对图1的文件175的文件描述符,则在块1025处访问文件描述符。否则,在块1030处,图1的KVFS垫片140请求针对图1的文件175的新的文件描述符。该请求可包含要求图1的文件系统135打开图1的文件175。在块1035处,图1的KVFS垫片140可从图1的文件系统135接收新的文件描述符,以及在块1040处,图1的KVFS垫片140可将新的文件描述符(和图1的元数据对象170的名称)添加到图5的文件描述符查找表525。
无论哪种方式,一旦图1的KVFS垫片140具有针对图1的文件175的文件描述符,则在块1045处,图1的KVFS垫片140可向图1的存储装置120发送文件系统命令310(通过图1的操作系统130)。然后,在块1050处,图1的KVFS垫片140可将从图3A的操作系统130接收的图3A的结果325返回到图1的应用125。
再次注意的是:图1的KVFS垫片140负责将键-值系统命令转化为文件系统命令,使得图3A的操作系统130的本地页高速缓冲存储器315可被杠杆式利用(leverage)。如果应用125发出文件系统命令而不是键-值系统命令,则图1的KVFS垫片140可被绕开,且文件系统命令可直接传送到图1的操作系统130(以及图3B的结果325可被直接返回到图1的应用125)。
图11A至图11B示出根据本发明构思的实施例的图1的KVFS的操作的示例过程的流程图。在图11A中,在块1105处,图1的KVFS 145可接收图3A的文件系统命令310。在块1110处,图1的KVFS 145可搜索图4的索引节点425,其中,该索引节点425包括通过图3A的文件系统命令310标识的图1的文件175的元数据。在块1115处,图1的KVFS 145可确定图4的索引节点425是否被定位。如果图4的索引节点425被定位,则在块1120处,图1的KVFS 145可访问图4的索引节点425,以及在块1125处,图1的KVFS145可从图4的索引节点425访问对象名称180。
另一方面,如果在块1115处,图1的KVFS 145未能定位图4的索引节点425,则在块1130(图11B)处,图1的KVFS 145可向图1的存储装置120请求图1的元数据对象170。在块1135处,图1的KVFS 145可从存储装置120接收图1的元数据对象170。在块1140处,图1的KVFS 145可从图1的元数据对象170提取元数据。在块1145处,图1的KVFS 145可从图1的元数据对象170访问图1的对象名称180。如果元数据对象170直接存储对象名称180,则这种提取可能是直接操作,或者其可能是间接操作:图1的KVFS 145可能在载入对象名称180之前首先提取指向对象名称180的指针(和可能的名称长度845)。以及在块1150处,图1的KVFS145可创建图4的索引节点425。
不管图4的索引节点425是被定位还是被创建,在块1155处,如果在图1的KVFS高速缓冲存储器150中出现,则图1的KVFS 145可试图对图1的数据对象165的复本155执行文件系统命令。最后,在块1160处,图1的KVFS 145可返回命令的结果。
回顾图11A至图11B可能提出了:图1的KVFS 145不将键-值系统命令发送到图1的存储装置120。如下面参照图12A至图12B所解释的,在图11B的块1155阐述的结论将是不正确的。
图12A至图12B示出根据本发明构思的实施例的使用图1的KVFS高速缓冲存储器150的示例过程的流程图。在图12A,在块1205处,图1的KVFS145可搜索图1的KVFS高速缓冲存储器150来查看图1的数据对象165的复本155和图1的元数据对象170的复本160是否在图1的KVFS高速缓冲存储器150中。在块1210处,图1的KVFS 145可确定图1的KVFS高速缓冲存储器150是否存储了图1的数据对象165的复本155和图1的元数据对象170的复本160。注意,在上下文中,“存储复本”并不意味着存储图1的数据对象165的复本155和图1的元数据对象170的复本160的全部,乃至,存储图1的数据对象165和元数据对象170二者的一部分也不是必需的。所有需要的只是针对图1的KVFS高速缓冲存储器150存储图1的数据对象165和/或元数据对象170的应用了文件系统命令的那部分的复本。如果图1的KVFS高速缓冲存储器150存储图1的数据对象165和/或元数据对象170的所有的相关部分的复本,则即使图1的复本155和复本160不是图1的数据对象165和元数据对象170的完整的复本,图1的KVFS 145也可推断出图1的KVFS高速缓冲存储器150存储图1的数据对象165的复本155和图1的元数据对象170的复本160。
如果图1的KVFS高速缓冲存储器150存储了图1的数据对象165的复本155和图1的元数据对象170的复本160,则在块1215处,图1的KVFS 145可对图1的复本155和复本160执行图3A的文件系统命令310。如果文件系统命令310涉及改变针对图1的数据对象165或图1的元数据对象170的任何数据,则图1的KVFS 145可将图1的KVFS高速缓冲存储器150中的受影响的页标记为脏,使得改变的数据可最终被冲刷到存储装置120,或者图1的KVFS 145可立即删除存在的受影响的对象并将改变的对象的替换复本存储在存储装置120。
如果图1的KVFS高速缓冲存储器150未存储图1的数据对象165的复本155,则在块1220(图12B)处,图1的KVFS 145可将图3A的文件系统命令310映射到图3A的键-值系统命令330。在块1225处,图1的KVFS 145可将图3A的键-值系统命令330发送到图1的存储装置120。在块1230处,图1的KVFS 145可从存储装置120接收被图3A的键-值系统命令330影响的对象的复本。在块1235处,图1的KVFS 145可将图1的数据对象165的复本155和/或图1的元数据对象170的复本160存储在图1的KVFS高速缓冲存储器150中,其从图1的存储装置120接收。
在块1240处,不论图1的KVFS高速缓冲存储器150是否存储图1的复本155和/或复本160或图1的数据对象165和/或元数据对象170,命令已被执行。在块1240处,图1的KVFS145可修改图4的索引节点425来反映被图3A的文件系统命令330指示的任何变化。在块1245处,图1的KVFS 145可从图1的KVFS高速缓冲存储器150访问来自图1的复本155和/或复本160中的一个或二者的相关部分的数据。在块1250处,图1的KVFS 145可将访问部分的数据返回到图1的操作系统130。
图13示出根据本发明构思的实施例的使用图5的名称生成器单元530从对象名称180生成文件名称的示例过程的流程图。在图13中,在块1305处,图1的KVFS垫片140可接收对象名称180,从该对象名称180将生成文件名称。在块1310处,图6的哈希单元605可将哈希算法应用到图1的对象名称180来产生哈希值。在块1315处,图6的ASCII表示单元610可生成哈希值的ASCII表示,从而在图1的文件系统135内产生有效的文件名称。在块1320处,冲突索引单元615可将哈希值的ASCII表示与冲突索引进行结合来产生针对图1的元数据对象170的被确保为在图1的操作系统130内是唯一的(或至少,在被假设包含图1的文件175的文件夹内是惟一)的名称。
图14示出根据本发明构思的实施例的在图1的系统中修改图1的元数据对象170的示例过程的流程图。回想一下,当图1的存储装置120是基于闪存的存储装置时,数据可不被覆写。相反,修改数据,则原始数据无效(并稍后遭受垃圾收集),包含修改数据的新的数据对象被写入。在图14中,在块1410处,图1的KVFS 145可从图1的存储装置120删除图1的元数据对象170。在块1415处,图1的KVFS 145可将替换元数据对象存储在图1的存储装置120。
在图9A至图14中,示出了本发明构思的一些实施例。但是本领域的技术人员将认识到,通过改变块的顺序、通过省略块或通过包括附图中未示出的链接,本发明构思的其他实施例也是可行的。无论是否明确地描述,流程图的所有这样的变化被认为是本发明构思的实施例。
下面的讨论意在提供对可实现本发明构思的特定方面的适用的机器的简洁的、通用的描述。通过来自传统的输入装置(诸如,键盘、鼠标等)的输入以及通过从另一个机器接收的指令、与虚拟现实(VR)环境的交互、生物反馈或其他输入信号,可至少部分地控制所述机器。如在此使用的,术语“机器”意在广泛地包含单个机器、虚拟机器或一起操作的通信结合的机器、虚拟机器或装置的系统。示例性的机器包括计算装置(诸如,个人计算机、工作站、服务器、便携式计算机、手持装置、手机、平板等)以及运输装置(诸如,个人或公共交通工具(例如,汽车、火车、出租车等))。
所述机器可包括嵌入式控制器,诸如可编程或非可编程逻辑装置或阵列、专用集成电路(ASIC)、嵌入式计算机、智能卡等。所述机器可利用针对一个或多个远程机器的一个或多个连接,诸如,通过网络接口、调制解调器或其他通信结合。通过物理和/或逻辑网络(诸如,内部网、互联网、局域网、广域网等),机器可以是互联的。本领域的技术人员可理解,网络通信可利用各种有线和/或无线短程或远程载体和协议,其包括射频(RF)、卫星、微波、电气和电子工程师协会(IEEE)802.11、
Figure BDA0001178615750000301
光纤、红外、电缆、激光等。
本发明构思的实施例可通过参考或结合相关联的数据而被描述,其中,相关联的数据包括当被机器访问时,引起机器执行任务或定义抽象的数据类型或低级硬件环境的函数、过程、数据结构、应用程序等。相关联的数据可被存储在例如易失性和/或非易失性存储器(例如,RAM、ROM等)或存储在其他存储装置以及它们相关联的存储介质(其包括硬盘、软盘、光存储、磁带、闪存、记忆棒、数字视频光盘、生物存储等)。相关联的数据可以以数据包、串行数据、并行数据、传播的信号等的形式通过包括物理和/或逻辑网络的传输环境而进行传送,并可以以压缩或加密的格式而被使用。相关联的数据可在分布式的环境中使用,并本地和/或远程存储以备机器访问。
本发明构思的实施例可包括包含由一个或多个处理器执行的指令的有形的、非暂时的机器可读介质,其中,所述指令包括如在此描述的用于执行本发明构思的元件的指令。
已经参考示出的实施例描述和示出了本发明构思的原理,将认识到,示出的实施例可在不脱离该原理的情况下对布置和细节进行修改,并可以以任何期望的方式组合。以及,虽然前面的讨论集中在具体的实施例,但时也考虑其他配置。特别地,即使在此使用诸如“根据本发明构思的实施例”的表达,这些短语意味着普遍参考实施例的可能性,并不意在将本发明构思限制到具体的实施例配置。如在此使用的,这些术语可参考被合并到其他实施例的相同的或不同的实施例。
上述示例性实施例不被解释为限制本发明构思。虽然已经描述了一些实施例,本领域的技术人员将很容易地理解,在不是实质地脱离本公开的新颖教导和优势的情况下,可对那些实施例进行很多修改。因此,所有这样的修改意在被包括在如权利要求定义的本发明构思的范围之内。
因此,考虑到在此描述的实施例的各种各样的排列,该具体实施方式和附件仅意在说明,且不应该被认为限制本发明构思的范围。所以,如本发明构思所要求的,所附权利要求及其等同物的范围和精神内可进行所有这样的修改。

Claims (19)

1.一种计算机系统,包括:
计算机;
计算机中的处理器;
存储装置;
计算机中的存储器;
文件系统,存储在存储器中并在处理器上运行,文件系统包括页高速缓冲存储器;
键-值文件系统,所述键-值文件系统包括:
接收单元,从文件系统接收文件系统命令,文件系统命令包括识别文件的文件名称;
映射单元,将文件系统命令映射到键-值系统命令;
命令单元,将键-值系统命令发送到存储装置;
返回单元,将键-值系统命令的结果返回到文件系统;
键-值文件系统垫片,所述键-值文件系统垫片包括:
第二接收单元,接收第二键-值系统命令,第二键-值系统命令包括对象名称;
第二映射单元,将第二键-值系统命令映射到文件系统命令;
第二命令单元,将文件系统命令发送到文件系统。
2.根据权利要求1所述的系统,其中,存储装置存储文件的数据对象和元数据对象。
3.根据权利要求1所述的系统,其中,键-值文件系统垫片还包括:用于存储与文件对应的文件描述符的文件描述符查找表。
4.根据权利要求3所述的系统,其中,第二命令单元用于将文件系统命令和文件描述符发送到文件系统。
5.根据权利要求3所述的系统,其中,键-值文件系统垫片还包括:用于从对象名称生成文件名称的名称生成器单元。
6.根据权利要求1所述的系统,其中,键-值文件系统还包括:键-值文件系统高速缓冲存储器。
7.根据权利要求6所述的系统,其中,键-值文件系统高速缓冲存储器用于存储存储装置中的数据对象和元数据对象的数据的复本。
8.根据权利要求7所述的系统,其中,返回单元可操作为仅将存储在键-值文件系统高速缓冲存储器的对象的数据的一部分返回到文件系统。
9.根据权利要求1所述的系统,其中,键-值文件系统还包括索引节点,所述索引节点存储来自存储装置的对象的元数据。
10.一种用于控制计算机的方法,包括:
接收键-值系统命令,键-值系统命令包括对象名称;
将键-值系统命令映射到文件系统命令,文件系统命令标识文件;
访问与文件对应的索引节点;
从索引节点访问对象名称,对象名称标识存储在存储装置中的对象;
试图对键-值文件系统高速缓冲存储器中的对象执行命令;
返回所述命令的结果。
11.根据权利要求10所述的方法,其中,试图对键-值文件系统高速缓冲存储器中的对象执行命令的步骤包括:
在键-值文件系统高速缓冲存储器搜索对象名称;
如果在键-值文件系统高速缓冲存储器中存在具有所述对象名称的对象,则对键-值文件系统高速缓冲存储器中的对象执行命令。
12.根据权利要求11所述的方法,其中,试图对键-值文件系统高速缓冲存储器中的对象执行命令的步骤还包括:
如果在键-值文件系统高速缓冲存储器中不存在具有所述对象名称的对象:
将文件系统命令映射到键-值系统命令;
将关于具有所述对象名称的对象的键-值系统命令发送到存储装置;
从存储装置接收所述对象;
将所述对象存储在键-值文件系统高速缓冲存储器中。
13.根据权利要求12所述的方法,其中,返回所述命令的结果的步骤包括:
仅访问数据对象的数据的一部分;
返回所述数据的一部分作为键-值系统结果。
14.根据权利要求10所述的方法,还包括,如果没有与文件描述符对应的索引节点被定位:
向存储装置请求元数据对象,元数据对象通过文件名称标识;
从存储装置接收元数据对象,元数据对象包括文件的元数据;
从元数据对象提取元数据;
使用元数据创建索引节点。
15.根据权利要求10所述的方法,其中,试图对键-值文件系统高速缓冲存储器中的数据对象执行命令的步骤包括:响应于文件系统命令,来修改索引节点。
16.根据权利要求15所述的方法,其中,试图对键-值文件系统高速缓冲存储器中的对象执行命令的步骤还包括:
从存储装置删除元数据对象;
将替换元数据对象存储在存储装置上。
17.一种用于控制计算机的方法,包括:
接收包括对象名称的键-值系统命令,对象名称标识存储在存储装置上的对象;
将哈希函数应用到对象名称来生成文件名称;
将键-值系统命令映射到文件系统命令,文件系统命令包括文件名称。
18.根据权利要求17所述的方法,还包括:将文件名称生成为哈希函数的哈希值的ASCII表示。
19.根据权利要求18所述的方法,其中,将文件名称生成为哈希值的ASCII表示的步骤包括:将哈希值的ASCII表示与冲突索引进行结合。
CN201611144717.9A 2016-02-23 2016-12-07 计算机系统和用于控制计算机的方法 Active CN107103021B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662298987P 2016-02-23 2016-02-23
US62/298,987 2016-02-23
US15/143,504 2016-04-29
US15/143,504 US11301422B2 (en) 2016-02-23 2016-04-29 System and methods for providing fast cacheable access to a key-value device through a filesystem interface

Publications (2)

Publication Number Publication Date
CN107103021A CN107103021A (zh) 2017-08-29
CN107103021B true CN107103021B (zh) 2021-10-08

Family

ID=57963060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611144717.9A Active CN107103021B (zh) 2016-02-23 2016-12-07 计算机系统和用于控制计算机的方法

Country Status (5)

Country Link
US (2) US11301422B2 (zh)
EP (1) EP3211547B1 (zh)
JP (1) JP6974009B2 (zh)
KR (1) KR20170099351A (zh)
CN (1) CN107103021B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016932B2 (en) * 2017-09-21 2021-05-25 Alibaba Group Holding Limited Systems, methods, and apparatuses for simplifying filesystem operations utilizing a key-value storage system
US10572161B2 (en) 2017-11-15 2020-02-25 Samsung Electronics Co., Ltd. Methods to configure and access scalable object stores using KV-SSDs and hybrid backend storage tiers of KV-SSDs, NVMe-SSDs and other flash devices
US11182694B2 (en) * 2018-02-02 2021-11-23 Samsung Electronics Co., Ltd. Data path for GPU machine learning training with key value SSD
US10579606B2 (en) 2018-05-03 2020-03-03 Samsung Electronics Co., Ltd Apparatus and method of data analytics in key-value solid state device (KVSSD) including data and analytics containers
CN108647317B (zh) * 2018-05-10 2021-05-07 东软集团股份有限公司 增量文件的生成方法、装置和存储介质以及电子设备
US12056251B2 (en) * 2020-03-18 2024-08-06 Veritas Technologies Llc Systems and methods for protecting a folder from unauthorized file modification
KR20230171011A (ko) 2022-06-12 2023-12-19 정지훈 접이식 마우스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266548A (zh) * 2007-03-14 2008-09-17 中兴通讯股份有限公司 对可编程逻辑器件进行在系统编程的装置和方法
CN102929793A (zh) * 2011-08-08 2013-02-13 株式会社东芝 包括键-值存储的存储器系统
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN104394209A (zh) * 2014-11-20 2015-03-04 许继电气股份有限公司 一种用于分布式能源管理的实时库数据传输方法
CN105022739A (zh) * 2014-04-21 2015-11-04 腾讯科技(北京)有限公司 数据的存储方法及装置

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2067633C (en) * 1991-07-24 1996-10-01 Eric Jonathan Bauer Method and apparatus for accessing a computer-based file system
US6128627A (en) * 1998-04-15 2000-10-03 Inktomi Corporation Consistent data storage in an object cache
US6289358B1 (en) * 1998-04-15 2001-09-11 Inktomi Corporation Delivering alternate versions of objects from an object cache
US6915307B1 (en) * 1998-04-15 2005-07-05 Inktomi Corporation High performance object cache
US6292880B1 (en) * 1998-04-15 2001-09-18 Inktomi Corporation Alias-free content-indexed object cache
US6374297B1 (en) * 1999-08-16 2002-04-16 International Business Machines Corporation Method and apparatus for load balancing of web cluster farms
DE19961499A1 (de) * 1999-12-20 2001-07-05 Ericsson Telefon Ab L M Caching von Objekten in Platten-gestützten Datenbanken
US8352289B2 (en) * 1999-12-30 2013-01-08 Dhi Computing, Inc. Systems and methods for providing and maintaining electronic medical records
EP1364510B1 (en) * 2000-10-26 2007-12-12 Prismedia Networks, Inc. Method and system for managing distributed content and related metadata
US6999956B2 (en) * 2000-11-16 2006-02-14 Ward Mullins Dynamic object-driven database manipulation and mapping system
KR100833229B1 (ko) * 2002-03-16 2008-05-28 삼성전자주식회사 다층구조 포커싱 방법 및 그 장치
US7136867B1 (en) * 2002-04-08 2006-11-14 Oracle International Corporation Metadata format for hierarchical data storage on a raw storage device
US6973546B2 (en) * 2002-09-27 2005-12-06 International Business Machines Corporation Method, system, and program for maintaining data in distributed caches
US7237061B1 (en) * 2003-04-17 2007-06-26 Realnetworks, Inc. Systems and methods for the efficient reading of data in a server system
US7412449B2 (en) * 2003-05-23 2008-08-12 Sap Aktiengesellschaft File object storage and retrieval using hashing techniques
US7500053B1 (en) * 2004-11-05 2009-03-03 Commvvault Systems, Inc. Method and system for grouping storage system components
US9632722B2 (en) * 2010-05-19 2017-04-25 International Business Machines Corporation Balancing storage unit utilization within a dispersed storage network
KR101346734B1 (ko) * 2006-05-12 2014-01-03 삼성전자주식회사 디지털 저작권 관리를 위한 다중 인증서 철회 목록 지원방법 및 장치
US8667273B1 (en) * 2006-05-30 2014-03-04 Leif Olov Billstrom Intelligent file encryption and secure backup system
US8359347B2 (en) * 2007-04-10 2013-01-22 International Business Machines Corporation Method and apparatus for cooperative data stream processing
US7949905B2 (en) * 2007-10-09 2011-05-24 Honeywell International Inc. Apparatus and method for dynamically detecting improper configuration data provided in a network
KR100921683B1 (ko) * 2007-12-17 2009-10-15 한국전자통신연구원 키-값 데이터 모델을 위한 메모리 페이지 내 데이터저장방법
KR20090067649A (ko) * 2007-12-21 2009-06-25 삼성전자주식회사 보안 저장 장치를 갖는 메모리 시스템 및 그것의 보안 영역관리 방법
US20090216726A1 (en) * 2008-02-22 2009-08-27 Ramachandran Muthaiah System and Method for Facilitating Business Communications
US7873619B1 (en) * 2008-03-31 2011-01-18 Emc Corporation Managing metadata
US9088591B2 (en) * 2008-04-28 2015-07-21 Vmware, Inc. Computer file system with path lookup tables
US8001332B2 (en) * 2008-04-30 2011-08-16 Siemens Aktiengesellschaft Adaptive caching for high volume extract transform load process
US20090303070A1 (en) * 2008-06-10 2009-12-10 Jie Zhang Distributed Decision Making Area Earthquake Warning System
JP5023018B2 (ja) * 2008-08-21 2012-09-12 株式会社日立製作所 ストレージシステム及びデータ管理方法
US8838474B2 (en) * 2009-01-26 2014-09-16 Bank Of America Corporation System update management
US8352497B1 (en) * 2009-02-09 2013-01-08 American Megatrends, Inc. Page object caching for variably sized access control lists in data storage systems
JP4385387B1 (ja) * 2009-07-02 2009-12-16 修平 西山 属性付きキー・バリュー・ストアによるデータベース・システム
US8478799B2 (en) * 2009-06-26 2013-07-02 Simplivity Corporation Namespace file system accessing an object store
US8219562B1 (en) * 2009-06-29 2012-07-10 Facebook, Inc. Efficient storage and retrieval for large number of data objects
US8458144B2 (en) * 2009-10-22 2013-06-04 Oracle America, Inc. Data deduplication method using file system constructs
US8121993B2 (en) * 2009-10-28 2012-02-21 Oracle America, Inc. Data sharing and recovery within a network of untrusted storage devices using data object fingerprinting
US8407403B2 (en) * 2009-12-07 2013-03-26 Microsoft Corporation Extending SSD lifetime using hybrid storage
US8606751B1 (en) * 2009-12-21 2013-12-10 Emc Corporation System and method for backup by inode number
US8649521B2 (en) * 2010-01-28 2014-02-11 Cleversafe, Inc. Obfuscation of sequenced encoded data slices
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
US9323775B2 (en) * 2010-06-19 2016-04-26 Mapr Technologies, Inc. Map-reduce ready distributed file system
US8510267B2 (en) * 2011-03-08 2013-08-13 Rackspace Us, Inc. Synchronization of structured information repositories
US9912718B1 (en) * 2011-04-11 2018-03-06 Viasat, Inc. Progressive prefetching
US10089017B2 (en) * 2011-07-20 2018-10-02 Futurewei Technologies, Inc. Method and apparatus for SSD storage access
US8700683B2 (en) * 2011-10-24 2014-04-15 Nokia Corporation Method and apparatus for providing a key-value based storage interface
US9201825B1 (en) * 2011-11-02 2015-12-01 Marvell International Ltd. Data storage methods and apparatus
US9767032B2 (en) * 2012-01-12 2017-09-19 Sandisk Technologies Llc Systems and methods for cache endurance
WO2013123399A1 (en) * 2012-02-17 2013-08-22 Contentraven, Llc Methods and systems for secure digital content distribution and analytical reporting
US9742860B2 (en) * 2012-02-28 2017-08-22 International Business Machines Corporation Bi-temporal key value cache system
JP5597666B2 (ja) * 2012-03-26 2014-10-01 株式会社東芝 半導体記憶装置、情報処理システムおよび制御方法
US9519647B2 (en) * 2012-04-17 2016-12-13 Sandisk Technologies Llc Data expiry in a non-volatile device
US9075710B2 (en) * 2012-04-17 2015-07-07 SanDisk Technologies, Inc. Non-volatile key-value store
US9946737B2 (en) * 2012-06-08 2018-04-17 Business Objects Software Ltd. System and method for simplifying data access between tiers in a multi-tier system
US9619487B2 (en) * 2012-06-18 2017-04-11 International Business Machines Corporation Method and system for the normalization, filtering and securing of associated metadata information on file objects deposited into an object store
CN102915113B (zh) * 2012-08-24 2016-01-27 深圳创维-Rgb电子有限公司 一种数据输入支持方法及装置
JP5994490B2 (ja) 2012-08-29 2016-09-21 富士通株式会社 データ検索プログラム、データベース装置および情報処理システム
US9015212B2 (en) * 2012-10-16 2015-04-21 Rackspace Us, Inc. System and method for exposing cloud stored data to a content delivery network
US9037556B2 (en) * 2012-12-03 2015-05-19 Vmware, Inc. Distributed, transactional key-value store
CN103902632B (zh) * 2012-12-31 2018-01-02 华为技术有限公司 键值存储系统中构建文件系统的方法、装置及电子设备
KR20150105323A (ko) * 2013-01-08 2015-09-16 바이올린 메모리 인코포레이티드 데이터 스토리지 방법 및 시스템
KR102044023B1 (ko) * 2013-03-14 2019-12-02 삼성전자주식회사 키 값 기반 데이터 스토리지 시스템 및 이의 운용 방법
US10102144B2 (en) * 2013-04-16 2018-10-16 Sandisk Technologies Llc Systems, methods and interfaces for data virtualization
US9298521B1 (en) * 2013-04-29 2016-03-29 Seagate Technology Llc Command sets and functions
US9860332B2 (en) * 2013-05-08 2018-01-02 Samsung Electronics Co., Ltd. Caching architecture for packet-form in-memory object caching
US10963431B2 (en) * 2013-06-11 2021-03-30 Red Hat, Inc. Storing an object in a distributed storage system
US20150074084A1 (en) * 2013-09-12 2015-03-12 Neustar, Inc. Method and system for performing query processing in a key-value store
US9898501B2 (en) * 2013-09-12 2018-02-20 Neustar, Inc. Method and system for performing transactional updates in a key-value store
KR20150037364A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 캐시 마이그레이션 관리 방법 및 이를 적용한 호스트 시스템
US10019320B2 (en) * 2013-10-18 2018-07-10 Sandisk Technologies Llc Systems and methods for distributed atomic storage operations
US10019352B2 (en) * 2013-10-18 2018-07-10 Sandisk Technologies Llc Systems and methods for adaptive reserve storage
US9880933B1 (en) * 2013-11-20 2018-01-30 Amazon Technologies, Inc. Distributed in-memory buffer cache system using buffer cache nodes
US9268653B2 (en) * 2014-01-17 2016-02-23 Netapp, Inc. Extent metadata update logging and checkpointing
JP6211949B2 (ja) 2014-02-12 2017-10-11 株式会社東芝 データベース装置
US9602424B1 (en) * 2014-03-31 2017-03-21 Amazon Technologies, Inc. Connection balancing using attempt counts at distributed storage systems
US9495478B2 (en) * 2014-03-31 2016-11-15 Amazon Technologies, Inc. Namespace management in distributed storage systems
US9274710B1 (en) * 2014-03-31 2016-03-01 Amazon Technologies, Inc. Offset-based congestion control in storage systems
US9720926B2 (en) * 2014-08-04 2017-08-01 Cohesity, Inc. Read operations in a tree-based distributed file system
US9767104B2 (en) * 2014-09-02 2017-09-19 Netapp, Inc. File system for efficient object fragment access
US9438426B2 (en) * 2014-10-03 2016-09-06 Seagate Technology Llc Key-value data storage device with hybrid architecture
US20160103845A1 (en) * 2014-10-09 2016-04-14 Robin Systems, Inc. Enhanced Handling Of Intermediate Data Generated During Distributed, Parallel Processing
US9846642B2 (en) * 2014-10-21 2017-12-19 Samsung Electronics Co., Ltd. Efficient key collision handling
US9870168B1 (en) * 2014-12-22 2018-01-16 Emc Corporation Key-value store with internal key-value storage interface
US10198185B2 (en) * 2014-12-31 2019-02-05 Samsung Electronics Co., Ltd. Computing system with processing and method of operation thereof
US10846279B2 (en) * 2015-01-29 2020-11-24 Hewlett Packard Enterprise Development Lp Transactional key-value store
US10073969B1 (en) * 2015-06-18 2018-09-11 EMC IP Holding Company LLC File system metadata extension utilizable with object store
US9971526B1 (en) * 2015-06-29 2018-05-15 Amazon Technologies, Inc. Volume-based key-value store
US10496538B2 (en) * 2015-06-30 2019-12-03 Veritas Technologies Llc System, method and mechanism to efficiently coordinate cache sharing between cluster nodes operating on the same regions of a file or the file system blocks shared among multiple files
US20170091215A1 (en) * 2015-09-25 2017-03-30 Netapp, Inc. Write-back cache transaction replication to object-based storage
US20170091262A1 (en) * 2015-09-25 2017-03-30 Netapp, Inc. Object storage backed file system cache
US10346360B1 (en) * 2015-09-30 2019-07-09 EMP IP Holding Company LLC Managing prefetching of data in storage systems
US9927984B2 (en) * 2015-10-14 2018-03-27 Samsung Electronics Co., Ltd. Electronic system with interface control mechanism and method of operation thereof
US10289722B2 (en) * 2015-11-17 2019-05-14 Samsung Electronics Co., Ltd. System and methods for multi-level key-value store
US10108547B2 (en) * 2016-01-06 2018-10-23 Netapp, Inc. High performance and memory efficient metadata caching
US20170249331A1 (en) * 2016-02-25 2017-08-31 Netapp, Inc. Adapting to heterogeneous backend targets in a storage system
US11030155B2 (en) * 2017-04-26 2021-06-08 Samsung Electronics Co., Ltd. Key value file system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266548A (zh) * 2007-03-14 2008-09-17 中兴通讯股份有限公司 对可编程逻辑器件进行在系统编程的装置和方法
CN102929793A (zh) * 2011-08-08 2013-02-13 株式会社东芝 包括键-值存储的存储器系统
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN105022739A (zh) * 2014-04-21 2015-11-04 腾讯科技(北京)有限公司 数据的存储方法及装置
CN104394209A (zh) * 2014-11-20 2015-03-04 许继电气股份有限公司 一种用于分布式能源管理的实时库数据传输方法

Also Published As

Publication number Publication date
US20220300456A1 (en) 2022-09-22
US11301422B2 (en) 2022-04-12
JP2017151974A (ja) 2017-08-31
JP6974009B2 (ja) 2021-12-01
EP3211547B1 (en) 2022-03-30
US20170242867A1 (en) 2017-08-24
KR20170099351A (ko) 2017-08-31
EP3211547A1 (en) 2017-08-30
CN107103021A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107103021B (zh) 计算机系统和用于控制计算机的方法
US9846700B2 (en) Compression and deduplication layered driver
US9846642B2 (en) Efficient key collision handling
US11392544B2 (en) System and method for leveraging key-value storage to efficiently store data and metadata in a distributed file system
US10481837B2 (en) Data storage device and method for operating data storage device with efficient trimming operations
KR101977575B1 (ko) 디렉토리 엔트리 조회 장치, 그 방법 및 디렉토리 엔트리 조회 프로그램이 기록된 기록 매체
AU2006239882B2 (en) System and method for caching network file systems
US8285967B1 (en) Method for on-demand block map generation for direct mapped LUN
KR102034833B1 (ko) 플래시 저장장치의 내부 병렬성을 이용하는 키 값 기반의 데이터 액세스 장치 및 방법
CN109697016B (zh) 用于改进容器的存储性能的方法和装置
US20170286507A1 (en) Database search system and database search method
US20150067283A1 (en) Image Deduplication of Guest Virtual Machines
US9612975B2 (en) Page cache device and method for efficient mapping
US20210157746A1 (en) Key-value storage device and system including the same
US10169124B2 (en) Unified object interface for memory and storage system
KR20200122994A (ko) 키 값 첨부
US20130311493A1 (en) Systems and methods for arbitrary data transformations
Lee et al. iLSM-SSD: An intelligent LSM-tree based key-value SSD for data analytics
US9965383B2 (en) File system indirection technique for directly managing solid state devices
Scargall et al. Pmdk internals: Important algorithms and data structures
TWI750116B (zh) 用於邏輯頁面的基元交換與修整(swat)之swat命令及應用程式介面(api)
KR20230000412A (ko) 키-밸류 스토리지 장치, 호스트, 및 호스트-스토리지 시스템
Feltham et al. Linear hashing implementations for flash memory
KR101847859B1 (ko) 파일 트림을 이용한 플래시 메모리 기반 저장장치 및 그 파일 트림 방법
CN113268201B (zh) 基于文件属性的缓存管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant