CN105930519A - 一种基于集群文件系统的全局共享读缓存方法 - Google Patents

一种基于集群文件系统的全局共享读缓存方法 Download PDF

Info

Publication number
CN105930519A
CN105930519A CN201610342680.4A CN201610342680A CN105930519A CN 105930519 A CN105930519 A CN 105930519A CN 201610342680 A CN201610342680 A CN 201610342680A CN 105930519 A CN105930519 A CN 105930519A
Authority
CN
China
Prior art keywords
node
data
client
file system
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610342680.4A
Other languages
English (en)
Inventor
王志华
吴丙涛
徐艳秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610342680.4A priority Critical patent/CN105930519A/zh
Publication of CN105930519A publication Critical patent/CN105930519A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明所述基于集群文件系统的全局共享读缓存方法,涉及集群文件系统全局共享缓存技术,通过在所有集群节点保存一份全局读缓存中数据所在的节点，并在客户端节点增加一个监听端口，当客户端访问某个集群节点进行数据访问时，该节点可以通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中，如果在本地节点则直接通过本地缓存直接返回数据，如果在其他节点则转发客户端读请求到其他节点，由其他节点直接回复数据到客户端的监听端口，如果未在缓存中命中，则直接从磁盘中读取数据。通过该方法可以大大提高集群缓存的利用率及读缓存命中率，从而提高读性能。

Description

一种基于集群文件系统的全局共享读缓存方法
技术领域
本发明涉及集群文件系统全局共享缓存技术,具体的说是一种基于集群文件系统的全局共享读缓存方法。
背景技术
集群文件系统是指运行在多台计算机之上，之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件系统。集群文件系统分为多类，按照对存储空间的访问方式，可分为共享存储型集群文件系统和分布式集群文件系统，前者是多台计算机识别到同样的存储空间，并相互协调共同管理其上的文件，又被称为共享文件系统；后者则是每台计算机各自提供自己的存储空间，并各自协调管理所有计算机节点中的文件。
按照元数据的管理方式，可分为对称式集群文件系统和非对称式集群文件系统。前者每个节点的角色均等，共同管理文件元数据，节点间通过高速网络进行信息同步和互斥锁等操作。而非对称式集群文件系统中，有专门的一个或者多个节点负责管理元数据，其他节点需要频繁与元数据节点通信以获取最新的元数据比如目录列表文件属性等等。按照文件访问方式来分类，集群文件系统可分为串行访问式和并行访问式。串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源，而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据，做到并行数据存取，加快速度。
集群文件系统是由多个集群节点对外提供统一的文件系统，客户端节点可以通过任意一个集群节点读取到文件系统中的保存的数据，通常情况下客户端访问某个集群节点时，集群节点会查取本地缓存，如果缓存命中则直接返回，如果没有命中则向磁盘发起读数据指令，并缓存到本地，如果多个客户端分别从不同的节点读同一份文件，则在整个集群中会缓存多份该数据，降低了集群缓存使用率，且缓存的命中率也无法提高。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于集群文件系统的全局共享读缓存方法。
本发明所述一种基于集群文件系统的全局共享读缓存方法，解决上述技术问题采用的技术方案如下：所述一种基于集群文件系统的全局共享读缓存方法，通过在所有集群节点保存一份全局读缓存中数据所在的节点，并在客户端节点增加一个监听端口；当客户端访问某个集群节点进行数据访问时，该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中，允许接收由其他服务节点应答的消息。
优选的，客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果在本节点，直接回复客户端所需要的数据。
优选的，客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果在其他节点，转发读请求到相应的集群节点，由其他节点通过客户端监听端口回复客户端所需要的数据。
优选的，客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果查询不到，从磁盘读取数据，缓存客户端所需要的数据，并回复客户端。
优选的，当集群节点中读缓存有变化时，集群节点通过组播的方式通知其他节点本节点缓存的数据。
本发明所述一种基于集群文件系统的全局共享读缓存方法与现有技术相比具有的有益效果是：本发明在所有集群节点保存读缓存中数据所在节点，保证数据在整个集群只保留一份，并在客户端增加监听端口，允许接收由其他服务节点应答的消息；如果该数据在本地节点则直接通过本地缓存直接返回数据，如果在其他节点则转发客户端读请求到其他节点，由其他节点直接回复数据到客户端的监听端口，如果未在缓存中命中，则直接从磁盘中读取数据；通过该方法可以大大提高集群缓存的利用率及读缓存命中率，从而提高读性能。
说明书附图
附图1为所述基于集群文件系统的全局共享读缓存方法的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种基于集群文件系统的全局共享读缓存方法进一步详细说明。
实施例：
本实施例所述基于集群文件系统的全局共享读缓存方法，通过在所有集群节点保存一份全局读缓存中数据所在的节点，并在客户端节点增加一个监听端口；当客户端访问某个集群节点进行数据访问时，该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中，允许接收由其他服务节点应答的消息。
采用该基于集群文件系统的全局共享读缓存方法，当客户端访问某个集群节点进行数据访问时，如果该数据在本地节点则直接通过本地缓存直接返回数据，如果在其他节点则转发客户端读请求到其他节点，由其他节点直接回复数据到客户端的监听端口，如果未在缓存中命中，则直接从磁盘中读取数据。通过该方法可以大大提高集群缓存的利用率及读缓存命中率，从而提高读性能。
本实施例所述基于集群文件系统的全局共享读缓存方法，其具体实施步骤如下：
步骤一，客户端发送读数据请求到某个集群节点；
步骤二，集群节点查询全局读缓存中数据所在的节点，如果在本节点，则执行步骤3，如果在其他节点则执行步骤4，如果查询不到则执行步骤5；
步骤三，直接回复客户端所需要的数据；
步骤四，转发读请求到相应的集群节点，由其他节点通过客户端监听端口回复客户端所需要的数据；
步骤五，从磁盘读取数据，缓存客户端所需要的数据，并回复客户端。
附图1为所述基于集群文件系统的全局共享读缓存方法的示意图，如附图1所示，基于集群文件系统的全局共享读缓存的流程为：假设集群节点A缓存数据E，集群节点B缓存数据D，集群节点C缓存数据F，客户端A访问集群节点A，客户端B访问集群节点B，客户端C访问集群节点C；对于一次具体客户端A需要获取数据D的过程来说，需要经过以下几个步骤：a）客户端A发送读数据D请求到集群节点A，b)集群节点A查询全局共享读缓存的数据所在节点为集群节点B，c)集群节点A转发请求到集群节点B，d)集群节点B根据请求内容从本地缓存中读取数据D，通过客户端A的监听端口回复客户端A的请求数据。
通过本实施例所述基于集群文件系统的全局共享读缓存方法，在所有集群节点保存一份全局读缓存中数据所在节点，保证数据在整个集群中只保留一份，同时在客户端增加监听端口，允许向本节点请求的数据，由其他节点进行回复。此外，当集群节点中读缓存有变化时，集群节点通过组播的方式通知其他节点本节点缓存的数据。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (5)

1.一种基于集群文件系统的全局共享读缓存方法，其特征在于, 通过在所有集群节点保存一份全局读缓存中数据所在的节点，并在客户端节点增加一个监听端口；当客户端访问某个集群节点进行数据访问时，该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中，允许接收由其他服务节点应答的消息。
2.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法，其特征在于, 客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果在本节点，直接回复客户端所需要的数据。
3.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法，其特征在于, 客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果在其他节点，转发读请求到相应的集群节点，由其他节点通过客户端监听端口回复客户端所需要的数据。
4.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法，其特征在于, 客户端发送读数据请求到某个集群节点，集群节点查询全局读缓存中数据所在的节点，如果查询不到，从磁盘读取数据，缓存客户端所需要的数据，并回复客户端。
5.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法，其特征在于, 当集群节点中读缓存有变化时，集群节点通过组播的方式通知其他节点本节点缓存的数据。
CN201610342680.4A 2016-05-23 2016-05-23 一种基于集群文件系统的全局共享读缓存方法 Pending CN105930519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610342680.4A CN105930519A (zh) 2016-05-23 2016-05-23 一种基于集群文件系统的全局共享读缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610342680.4A CN105930519A (zh) 2016-05-23 2016-05-23 一种基于集群文件系统的全局共享读缓存方法

Publications (1)

Publication Number Publication Date
CN105930519A true CN105930519A (zh) 2016-09-07

Family

ID=56841993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610342680.4A Pending CN105930519A (zh) 2016-05-23 2016-05-23 一种基于集群文件系统的全局共享读缓存方法

Country Status (1)

Country Link
CN (1) CN105930519A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776798A (zh) * 2016-11-23 2017-05-31 深圳市中博睿存科技有限公司 一种集群文件系统基于客户端的可传播缓存方法
CN108089934A (zh) * 2016-11-22 2018-05-29 成都华为技术有限公司 集群管理方法及集群服务器
CN111984191A (zh) * 2020-08-05 2020-11-24 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种支持分布式存储的多客户端缓存方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345340B1 (en) * 1998-02-17 2002-02-05 International Business Machines Corporation Cache coherency protocol with ambiguous state for posted operations
CN102750342A (zh) * 2012-06-07 2012-10-24 浪潮电子信息产业股份有限公司 一种集群文件系统数据一致性的方法
CN103810133A (zh) * 2012-11-05 2014-05-21 国际商业机器公司 动态共享读缓冲器管理
CN104462225A (zh) * 2014-11-12 2015-03-25 华为技术有限公司 一种数据读取的方法、装置及系统
CN104580422A (zh) * 2014-12-26 2015-04-29 赞奇科技发展有限公司 基于共享缓存的集群渲染节点数据访问方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345340B1 (en) * 1998-02-17 2002-02-05 International Business Machines Corporation Cache coherency protocol with ambiguous state for posted operations
CN102750342A (zh) * 2012-06-07 2012-10-24 浪潮电子信息产业股份有限公司 一种集群文件系统数据一致性的方法
CN103810133A (zh) * 2012-11-05 2014-05-21 国际商业机器公司 动态共享读缓冲器管理
CN104462225A (zh) * 2014-11-12 2015-03-25 华为技术有限公司 一种数据读取的方法、装置及系统
CN104580422A (zh) * 2014-12-26 2015-04-29 赞奇科技发展有限公司 基于共享缓存的集群渲染节点数据访问方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089934A (zh) * 2016-11-22 2018-05-29 成都华为技术有限公司 集群管理方法及集群服务器
CN108089934B (zh) * 2016-11-22 2021-08-03 成都华为技术有限公司 集群管理方法及集群服务器
CN106776798A (zh) * 2016-11-23 2017-05-31 深圳市中博睿存科技有限公司 一种集群文件系统基于客户端的可传播缓存方法
CN111984191A (zh) * 2020-08-05 2020-11-24 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种支持分布式存储的多客户端缓存方法及系统

Similar Documents

Publication Publication Date Title
WO2017167171A1 (zh) 一种数据操作方法，服务器及存储系统
CN105635196B (zh) 一种获取文件数据的方法、系统和应用服务器
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
US8874850B1 (en) Hierarchically tagged cache
US9305056B1 (en) Results cache invalidation
US20150067269A1 (en) Method for building multi-processor system with nodes having multiple cache coherency domains
CN104133882A (zh) 一种基于hdfs的小文件处理方法
CN102663007B (zh) 一种支持敏捷开发和横向扩展的数据存储与查询方法
CN102710763B (zh) 一种分布式缓存池化、分片及故障转移的方法及系统
US9684686B1 (en) Database system recovery using non-volatile system memory
CN103761275A (zh) 一种分布式文件系统中元数据的管理方法
CN102420814A (zh) 一种数据访问方法、装置及服务器
CN106354805A (zh) 一种分布式存储系统NoSQL搜索缓存的优化方法和系统
US11263270B1 (en) Heat balancing in a distributed time-series database
CN105159845A (zh) 存储器读取方法
CN107241444B (zh) 一种分布式缓存数据管理系统、方法及装置
WO2012126229A1 (zh) 一种分布式缓存系统数据存取的方法及装置
US20170351620A1 (en) Caching Framework for Big-Data Engines in the Cloud
CN103116627A (zh) 一种高并发soa技术访问数据库的方法和系统
CN105611000A (zh) 一种域名服务器的dns域名快速检索方法
CN105516284A (zh) 一种集群数据库分布式存储的方法和装置
CN105791366B (zh) 一种大文件HTTP-Range下载方法、缓存服务器及系统
CN105930519A (zh) 一种基于集群文件系统的全局共享读缓存方法
CN103365987B (zh) 一种基于共享磁盘架构的集群数据库系统及数据处理方法
CN104598615A (zh) 一种支持数据持久化的内存存取方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160907