CN107908791A - 分布式存储系统中数据缓存方法、装置、设备及存储介质 - Google Patents

分布式存储系统中数据缓存方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN107908791A
CN107908791A CN201711321576.8A CN201711321576A CN107908791A CN 107908791 A CN107908791 A CN 107908791A CN 201711321576 A CN201711321576 A CN 201711321576A CN 107908791 A CN107908791 A CN 107908791A
Authority
CN
China
Prior art keywords
data
targeted customer
data access
memory system
distributed memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711321576.8A
Other languages
English (en)
Inventor
牛勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201711321576.8A priority Critical patent/CN107908791A/zh
Publication of CN107908791A publication Critical patent/CN107908791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种分布式存储系统中数据缓存方法，该方法可以包括以下步骤：接收目标用户的数据访问请求，目标用户为分布式存储系统的任意一个用户；确定数据访问请求是否符合预设的缓存更新条件；如果是，则根据获得的目标用户对应的数据访问频率表，确定待缓存数据；将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。应用本发明实施例所提供的技术方案，可以优先在缓存中响应每个用户的数据访问请求，提高了每个用户的数据访问效率，提升了分布式存储系统性能。本发明还公开了一种分布式存储系统中数据缓存装置、设备及存储介质，具有相应技术效果。

Description

分布式存储系统中数据缓存方法、装置、设备及存储介质
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种分布式存储系统中数据缓存方法、装置、设备及存储介质。
背景技术
随着移动互联网、物联网等技术的快速发展，企业和个人产生的数据越来越多。随着大数据时代的到来，出现了各种分布式存储系统，如ceph分布式存储系统、Hadoop分布式存储系统等。为提高用户对数据的访问效率，分布式存储系统多会进行数据缓存。
目前，数据缓存方法主要有两种，第一种基于LRU(Least Recently Used，最近最少使用)算法，根据数据的历史访问记录进行数据缓存，核心思想是如果数据最近被访问过，那么将来被访问的几率也更高；第二种基于LFU(Least Frequently Used，最不经常使用)算法，根据数据的历史访问频率进行数据缓存，核心思想是如果数据过去被访问过多次，那么将来被访问的频率也更高。
这两种方法在传统的只支持单一用户访问的单机存储系统中应用效果较为明显，但是，在分布式存储系统中应用效果不佳，因为分布式存储系统可以支持多用户的访问，无论使用第一种方法还是第二种方法进行数据缓存，对于某个用户而言，有些数据是这个用户经常访问的，常驻缓存中，但是对另外一些用户而言，这些数据可能并不是其经常访问的，这样就会导致另外这些用户在缓存中访问不到所需数据的问题，导致部分用户的数据访问效率较低。
发明内容
本发明的目的是提供一种分布式存储系统中数据缓存方法、装置、设备及存储介质，以提高每个用户的数据访问效率，提升分布式存储系统性能。
为解决上述技术问题，本发明提供如下技术方案：
一种分布式存储系统中数据缓存方法，包括：
接收目标用户的数据访问请求，所述目标用户为分布式存储系统的任意一个用户；
确定所述数据访问请求是否符合预设的缓存更新条件；
如果是，则根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据；
将所述待缓存数据更新到缓存中，以优先在所述缓存中响应所述数据访问请求。
在本发明的一种具体实施方式中，所述根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据，包括：
根据获得的所述目标用户对应的数据访问频率表，确定所述目标用户对每个数据的访问频率；
将访问频率高于预设阈值的数据确定为待缓存数据。
在本发明的一种具体实施方式中，在确定所述数据访问请求不符合预设的缓存更新条件时，还包括：
优先在所述缓存中响应所述数据访问请求。
在本发明的一种具体实施方式中，通过以下步骤获得所述目标用户对应的数据访问频率表：
在监测所述目标用户对所述分布式存储系统中数据的访问行为过程中，获得所述目标用户的数据历史访问信息；
根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表。
在本发明的一种具体实施方式中，所述根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表，包括：
根据所述数据历史访问信息，生成或更新所述目标用户在每个设定时间段对应的数据访问频率表；
相应的，在确定所述数据访问请求符合预设的缓存更新条件时，还包括：
确定当前时刻所处的目标时间段；
相应的，所述根据获得所述目标用户对应的数据访问频率表，确定待缓存数据，包括：
根据获得的所述目标用户在所述目标时间段对应的数据访问频率表，确定待缓存数据。
一种分布式存储系统中数据缓存装置，包括：
数据访问请求接收模块，用于接收目标用户的数据访问请求，所述目标用户为分布式存储系统的任意一个用户；
条件确定模块，用于确定所述数据访问请求是否符合预设的缓存更新条件，如果是，则触发待缓存数据确定模块；
所述待缓存数据确定模块，用于根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据；
缓存更新模块，用于将所述待缓存数据更新到缓存中，以优先在所述缓存中响应所述数据访问请求。
在本发明的一种具体实施方式中，所述待缓存数据确定模块，具体用于：
根据获得的所述目标用户对应的数据访问频率表，确定所述目标用户对每个数据的访问频率；
将访问频率高于预设阈值的数据确定为待缓存数据。
在本发明的一种具体实施方式中，还包括数据访问频率表获得模块，用于通过以下步骤获得所述目标用户对应的数据访问频率表：
在监测所述目标用户对所述分布式存储系统中数据的访问行为过程中，获得所述目标用户的数据历史访问信息；
根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表。
一种分布式存储系统中数据缓存设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述分布式存储系统中数据缓存方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述分布式存储系统中数据缓存方法的步骤。
应用本发明实施例所提供的技术方案，接收到目标用户的数据访问请求后，确定数据访问请求是否符合预设的缓存更新条件，如果符合，则可以根据获得的目标用户对应的数据访问频率表，确定待缓存数据，将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。目标用户为分布式存储系统的任意一个用户，在分布式存储系统中，在接收到每个用户的数据访问请求，且相应的数据访问请求符合预设的缓存更新条件时，可以确定出每个用户对应的待缓存数据，将缓存数据更新到缓存中，这样，可以优先在缓存中响应每个用户的数据访问请求，提高了每个用户的数据访问效率，提升了分布式存储系统性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种分布式存储系统中数据缓存方法的实施流程图；
图2为本发明实施例中一种分布式存储系统中数据缓存装置的结构示意图；
图3为本发明实施例中一种分布式存储系统中数据缓存设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，为本发明实施例所提供的一种分布式存储系统中数据缓存方法的实施流程图，该方法可以包括以下步骤：
S110：接收目标用户的数据访问请求。
其中，目标用户为分布式存储系统的任意一个用户。
分布式存储系统可以为一个或多个用户提供数据访问服务，目标用户为分布式存储系统的任意一个用户。本发明实施例所提供的技术方案对分布式存储系统的任意一个用户均适用。
在实际应用中，用户可以根据实际需要，对分布式存储系统中的数据进行访问，向分布式存储系统发送相应的数据访问请求。
在接收到目标用户的数据访问请求时，可以继续执行步骤S120的操作。
S120：确定数据访问请求是否符合预设的缓存更新条件。
在本发明实施例中，可以预设缓存更新条件。在接收到目标用户的数据访问请求时，可以确定数据访问请求是否符合缓存更新条件，如果符合，则继续执行步骤S130的操作。如果不符合，则表明当前缓存中数据可能是已经更新过的，可以优先在缓存中响应数据访问请求，如图1所示。如果缓存中没有待访问的数据，则可以进一步通过分布式存储系统的底层存储设备响应数据访问请求。
缓存更新条件可以根据实际情况进行设定和调整，比如，如果在设定某个时间段内初次接收到目标用户的数据访问请求，则可以确定数据访问请求符合预设的缓存更新条件。本发明实施例对此不做限制。
S130：根据获得的目标用户对应的数据访问频率表，确定待缓存数据。
在本发明实施例中，每个用户有其对应的数据访问频率表。针对每个用户，该用户对应的数据访问频率表中记录有该用户对数据的访问频率的信息。
在接收到目标用户的数据访问请求，并确定数据访问请求符合预设的缓存更新条件时，可以获得目标用户对应的数据访问频率表。根据获得的目标用户对应的数据访问频率表，可以确定待缓存数据。
在本发明的一种具体实施方式中，步骤S120可以包括以下步骤：
步骤一：根据获得的目标用户对应的数据访问频率表，确定目标用户对每个数据的访问频率；
步骤二：将访问频率高于预设阈值的数据确定为待缓存数据。
为便于描述，将上述两个步骤结合起来进行说明。
可以理解的是，对于分布式存储系统中每个用户，该用户对一个数据的访问频率越高，表明该数据对于该用户而言越重要，之后被访问的几率可能越大。可以预先形成每个用户对应的数据访问频率表。
根据获得的目标用户对应的数据访问频率表，可以确定目标用户对每个数据的访问频率。数据访问频率表中可以记录目标用户对分布式存储系统中每个数据的访问频率的信息，还可以仅记录目标用户对分布式存储系统中访问频率不低于某一设定阈值的数据的访问频率的信息。
确定出目标用户对每个数据的访问频率后，可以将访问频率高于预设阈值的数据确定为待缓存数据。
在本发明的一种实施方式中，可以通过以下步骤获得目标用户对应的数据访问频率表：
第一个步骤：在监测目标用户对分布式存储系统中数据的访问行为过程中，获得目标用户的数据历史访问信息；
第二个步骤：根据数据历史访问信息，生成或更新目标用户对应的数据访问频率表。
为便于描述，将上述两个步骤结合起来进行说明。
在本发明实施例中，可以实时对分布式存储系统中每个用户的数据访问行为进行监测。在监测目标用户对分布式存储系统中数据的访问行为过程中，可以获得目标用户的数据历史访问信息。目标用户的数据历史访问信息可以包括目标用户访问了哪些数据、对每个数据的访问时间等信息。
根据数据历史访问信息，可以确定目标用户对每个数据的访问频率，从而可以生成目标用户对应的数据访问频率表。如果之前已经生成目标用户对应的数据访问频率表，则可以根据新的监测得到的数据历史访问信息，对目标用户对应的数据访问频率表进行更新。
在本发明的一种具体实施方式中，可以根据数据历史访问信息，生成或更新目标用户在每个设定时间段对应的数据访问频率表。
在本发明实施例中，可以预先设定多个时间段，如每天的每半个小时为一个时间段。
在监测目标用户对分布式存储系统中数据的访问行为过程中，获得目标用户的数据历史访问信息，根据数据历史访问信息，可以确定不同设定时间段目标用户对每个数据的访问频率，从而可以生成或更新目标用户在每个设定时间段对应的数据访问频率表。
相应的，在确定数据访问请求符合预设的缓存更新条件时，该方法还可以包括以下步骤：
确定当前时刻所处的目标时间段；
相应的，步骤S130可以包括以下步骤：
根据获得的目标用户在目标时间段对应的数据访问频率表，确定待缓存数据。
在确定数据访问请求符合预设的缓存更新条件时，可以确定当前时刻所处的目标时间段，获得目标用户在目标时间段对应的数据访问频率表，根据该数据访问频率表，可以确定待缓存数据。
可以理解的是，对于单一用户来说，其业务内容基本保持一致。所以，同一用户在同一个时间段对同样数据的访问热度基本一致。本发明实施例中，每个用户在每个设定时间段有一个对应的数据访问频率表。根据目标用户在当前时刻所处的目标时间段对应的数据访问频率表，确定的待缓存数据为目标用户在目标时间段访问频率较高的数据。
举例而言，设定每天每半个小时为一个设定时间段，根据数据历史访问信息，生成或更新目标用户在每个设定时间段对应的数据访问频率表。目标用户对应的数据访问频率表分别为：0:00-0:30时间段的数据访问频率表，0:30-1:00时间段的数据访问频率表，……，8:00-8:30时间段的数据访问频率表，……。当前时刻为8:05，则可以确定当前时刻对应的目标时间段为8:00-8:30，获得的目标用户在目标时间段对应的数据访问频率表为8:00-8:30时间段的数据访问频率表，据此可以确定待缓存数据。
上述仅为示例，具体时间段可根据实际情况进行设定和调整，本发明实施例对此不做限制。
S140：将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。
确定待缓存数据后，可以将待缓存数据更新到缓存中，这样可以优先在缓存中响应数据访问请求。如果缓存中没有待访问的数据，则可以进一步通过分布式存储系统的底层存储设备响应数据访问请求。
应用本发明实施例所提供的方法，接收到目标用户的数据访问请求后，确定数据访问请求是否符合预设的缓存更新条件，如果符合，则可以根据获得的目标用户对应的数据访问频率表，确定待缓存数据，将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。目标用户为分布式存储系统的任意一个用户，在分布式存储系统中，在接收到每个用户的数据访问请求，且相应的数据访问请求符合预设的缓存更新条件时，可以确定出每个用户对应的待缓存数据，将缓存数据更新到缓存中，这样，可以优先在缓存中响应每个用户的数据访问请求，提高了每个用户的数据访问效率，提升了分布式存储系统性能。
相应于上面的方法实施例，本发明实施例还提供了一种分布式存储系统中数据缓存装置，下文描述的一种分布式存储系统中数据缓存装置与上文描述的一种分布式存储系统中数据缓存装置方法可相互对应参照。
参见图2所示，该装置可以包括以下模块：
数据访问请求接收模块210，用于接收目标用户的数据访问请求，目标用户为分布式存储系统的任意一个用户；
条件确定模块220，用于确定数据访问请求是否符合预设的缓存更新条件，如果是，则触发待缓存数据确定模块230；
待缓存数据确定模块230，用于根据获得的目标用户对应的数据访问频率表，确定待缓存数据；
缓存更新模块240，用于将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。
应用本发明实施例所提供的装置，接收到目标用户的数据访问请求后，确定数据访问请求是否符合预设的缓存更新条件，如果符合，则可以根据获得的目标用户对应的数据访问频率表，确定待缓存数据，将待缓存数据更新到缓存中，以优先在缓存中响应数据访问请求。目标用户为分布式存储系统的任意一个用户，在分布式存储系统中，在接收到每个用户的数据访问请求，且相应的数据访问请求符合预设的缓存更新条件时，可以确定出每个用户对应的待缓存数据，将缓存数据更新到缓存中，这样，可以优先在缓存中响应每个用户的数据访问请求，提高了每个用户的数据访问效率，提升了分布式存储系统性能。
在本发明的一种具体实施方式中，待缓存数据确定模块230，具体用于：
根据获得的目标用户对应的数据访问频率表，确定目标用户对每个数据的访问频率；
将访问频率高于预设阈值的数据确定为待缓存数据。
在本发明的一种具体实施方式中，还包括数据访问请求响应模块，用于：
在确定数据访问请求不符合预设的缓存更新条件时，优先在缓存中响应数据访问请求。
在本发明的一种具体实施方式中，还包括数据访问频率表获得模块，用于通过以下步骤获得目标用户对应的数据访问频率表：
在监测目标用户对分布式存储系统中数据的访问行为过程中，获得目标用户的数据历史访问信息；
根据数据历史访问信息，生成或更新目标用户对应的数据访问频率表。
在本发明的一种具体实施方式中，数据访问频率表获得模块，具体用于：
根据数据历史访问信息，生成或更新目标用户在每个设定时间段对应的数据访问频率表；
相应的，装置还包括时间段确定模块，用于：
在确定数据访问请求符合预设的缓存更新条件时，确定当前时刻所处的目标时间段；
相应的，待缓存数据确定模块230，具体用于：
根据获得的目标用户在目标时间段对应的数据访问频率表，确定待缓存数据。
相应于上面的方法实施例，本发明实施例还提供了一种分布式存储系统中数据缓存设备，如图3所示，该设备包括：
存储器310，用于存储计算机程序；
处理器320，用于执行计算机程序时实现上述分布式存储系统中数据缓存方法的步骤。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述分布式存储系统中数据缓存方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式存储系统中数据缓存方法，其特征在于，包括：
接收目标用户的数据访问请求，所述目标用户为分布式存储系统的任意一个用户；
确定所述数据访问请求是否符合预设的缓存更新条件；
如果是，则根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据；
将所述待缓存数据更新到缓存中，以优先在所述缓存中响应所述数据访问请求。
2.根据权利要求1所述的方法，其特征在于，所述根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据，包括：
根据获得的所述目标用户对应的数据访问频率表，确定所述目标用户对每个数据的访问频率；
将访问频率高于预设阈值的数据确定为待缓存数据。
3.根据权利要求1所述的方法，其特征在于，在确定所述数据访问请求不符合预设的缓存更新条件时，还包括：
优先在所述缓存中响应所述数据访问请求。
4.根据权利要求1至3之中任一项所述的方法，其特征在于，通过以下步骤获得所述目标用户对应的数据访问频率表：
在监测所述目标用户对所述分布式存储系统中数据的访问行为过程中，获得所述目标用户的数据历史访问信息；
根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表。
5.根据权利要求4所述的方法，其特征在于，所述根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表，包括：
根据所述数据历史访问信息，生成或更新所述目标用户在每个设定时间段对应的数据访问频率表；
相应的，在确定所述数据访问请求符合预设的缓存更新条件时，还包括：
确定当前时刻所处的目标时间段；
相应的，所述根据获得所述目标用户对应的数据访问频率表，确定待缓存数据，包括：
根据获得的所述目标用户在所述目标时间段对应的数据访问频率表，确定待缓存数据。
6.一种分布式存储系统中数据缓存装置，其特征在于，包括：
数据访问请求接收模块，用于接收目标用户的数据访问请求，所述目标用户为分布式存储系统的任意一个用户；
条件确定模块，用于确定所述数据访问请求是否符合预设的缓存更新条件，如果是，则触发待缓存数据确定模块；
所述待缓存数据确定模块，用于根据获得的所述目标用户对应的数据访问频率表，确定待缓存数据；
缓存更新模块，用于将所述待缓存数据更新到缓存中，以优先在所述缓存中响应所述数据访问请求。
7.根据权利要求6所述的装置，其特征在于，所述待缓存数据确定模块，具体用于：
根据获得的所述目标用户对应的数据访问频率表，确定所述目标用户对每个数据的访问频率；
将访问频率高于预设阈值的数据确定为待缓存数据。
8.根据权利要求6或7所述的装置，其特征在于，还包括数据访问频率表获得模块，用于通过以下步骤获得所述目标用户对应的数据访问频率表：
在监测所述目标用户对所述分布式存储系统中数据的访问行为过程中，获得所述目标用户的数据历史访问信息；
根据所述数据历史访问信息，生成或更新所述目标用户对应的数据访问频率表。
9.一种分布式存储系统中数据缓存设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述分布式存储系统中数据缓存方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述分布式存储系统中数据缓存方法的步骤。
CN201711321576.8A 2017-12-12 2017-12-12 分布式存储系统中数据缓存方法、装置、设备及存储介质 Pending CN107908791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711321576.8A CN107908791A (zh) 2017-12-12 2017-12-12 分布式存储系统中数据缓存方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711321576.8A CN107908791A (zh) 2017-12-12 2017-12-12 分布式存储系统中数据缓存方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN107908791A true CN107908791A (zh) 2018-04-13

Family

ID=61854253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711321576.8A Pending CN107908791A (zh) 2017-12-12 2017-12-12 分布式存储系统中数据缓存方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN107908791A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413176A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 报告单下载方法及装置
CN109788305A (zh) * 2018-12-10 2019-05-21 北京爱奇艺科技有限公司 一种缓存数据的刷新方法及装置
CN110046175A (zh) * 2019-03-18 2019-07-23 阿里巴巴集团控股有限公司 一种缓存更新、数据返回方法及装置
CN110109871A (zh) * 2018-04-26 2019-08-09 中国科学院高能物理研究所 一种跨站点的高能物理数据访问方法及系统
WO2022257615A1 (zh) * 2021-06-09 2022-12-15 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101136999A (zh) * 2006-08-28 2008-03-05 乐金电子(中国)研究开发中心有限公司 基于数字电视接收端设备的用户操作恢复方法及装置
CN101360203A (zh) * 2008-06-20 2009-02-04 北京宽视软件技术有限公司 数字电视广告数据预存方法、装置及系统
US7860889B1 (en) * 2004-05-12 2010-12-28 Cisco Technology, Inc. Methods and apparatus for redetermining social maps upon expectation of change
CN103281397A (zh) * 2013-06-13 2013-09-04 苏州联讯达软件有限公司 一种基于时间戳和访问密度的数据缓存方法及系统
CN106874332A (zh) * 2016-08-10 2017-06-20 阿里巴巴集团控股有限公司 数据库访问方法和装置
CN107291806A (zh) * 2017-05-16 2017-10-24 浙江工业大学 一种Web可视化环境中的数据视图副本迭代方法
CN107451236A (zh) * 2017-07-26 2017-12-08 上海斐讯数据通信技术有限公司 数据缓存方法、装置和计算机处理设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860889B1 (en) * 2004-05-12 2010-12-28 Cisco Technology, Inc. Methods and apparatus for redetermining social maps upon expectation of change
CN101136999A (zh) * 2006-08-28 2008-03-05 乐金电子(中国)研究开发中心有限公司 基于数字电视接收端设备的用户操作恢复方法及装置
CN101360203A (zh) * 2008-06-20 2009-02-04 北京宽视软件技术有限公司 数字电视广告数据预存方法、装置及系统
CN103281397A (zh) * 2013-06-13 2013-09-04 苏州联讯达软件有限公司 一种基于时间戳和访问密度的数据缓存方法及系统
CN106874332A (zh) * 2016-08-10 2017-06-20 阿里巴巴集团控股有限公司 数据库访问方法和装置
CN107291806A (zh) * 2017-05-16 2017-10-24 浙江工业大学 一种Web可视化环境中的数据视图副本迭代方法
CN107451236A (zh) * 2017-07-26 2017-12-08 上海斐讯数据通信技术有限公司 数据缓存方法、装置和计算机处理设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109871A (zh) * 2018-04-26 2019-08-09 中国科学院高能物理研究所 一种跨站点的高能物理数据访问方法及系统
CN110109871B (zh) * 2018-04-26 2021-04-06 中国科学院高能物理研究所 一种跨站点的高能物理数据访问方法及系统
CN109413176A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 报告单下载方法及装置
CN109413176B (zh) * 2018-10-19 2021-06-08 中国银行股份有限公司 报告单下载方法及装置
CN109788305A (zh) * 2018-12-10 2019-05-21 北京爱奇艺科技有限公司 一种缓存数据的刷新方法及装置
CN109788305B (zh) * 2018-12-10 2021-03-02 北京爱奇艺科技有限公司 一种缓存数据的刷新方法及装置
CN110046175A (zh) * 2019-03-18 2019-07-23 阿里巴巴集团控股有限公司 一种缓存更新、数据返回方法及装置
CN110046175B (zh) * 2019-03-18 2023-02-28 创新先进技术有限公司 一种缓存更新、数据返回方法及装置
WO2022257615A1 (zh) * 2021-06-09 2022-12-15 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质

Similar Documents

Publication Publication Date Title
CN107908791A (zh) 分布式存储系统中数据缓存方法、装置、设备及存储介质
CN105205014B (zh) 一种数据存储方法和装置
Guven Are happier people better citizens?
CN107122410A (zh) 一种缓存更新方法及装置
CN106527988B (zh) 一种固态硬盘数据迁移的方法及装置
CN104808952B (zh) 数据缓存方法及装置
CN108733518A (zh) 用于管理存储系统的方法、设备和计算机可读介质
CN105404595B (zh) 缓存管理方法及装置
CN108268622A (zh) 返回页面的方法、装置及计算机可读存储介质
CN104572502B (zh) 一种存储系统缓存策略自适应方法
CN103116472A (zh) 动态变更数据高速缓冲存储器中的存活时间值
CN106648464A (zh) 基于云存储的多节点混合块缓存数据读写方法及系统
CN106446097A (zh) 一种文件读取方法及系统
CN109597567A (zh) 一种数据处理方法和装置
CN107623732A (zh) 一种基于云平台的数据存储方法、装置、设备及存储介质
EP3049940B1 (en) Data caching policy in multiple tenant enterprise resource planning system
CN105975402B (zh) 一种混合内存环境下淘汰数据感知的缓存方法与系统
CN103607312A (zh) 用于服务器系统的数据请求处理方法及系统
CN109240611A (zh) 小文件冷热数据分层方法、小文件数据访问方法及其装置
CN107623722A (zh) 一种远端数据缓存方法、电子设备及存储介质
CN107678918A (zh) 一种分布式文件系统的osd心跳机制设置方法及装置
CN108959487A (zh) 一种基于h5端的页面处理方法
US20140189244A1 (en) Suppression of redundant cache status updates
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN110365810A (zh) 基于网络爬虫的域名缓存方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication