CN107092525A - 数据缓存方法和装置 - Google Patents
数据缓存方法和装置 Download PDFInfo
- Publication number
- CN107092525A CN107092525A CN201610091113.6A CN201610091113A CN107092525A CN 107092525 A CN107092525 A CN 107092525A CN 201610091113 A CN201610091113 A CN 201610091113A CN 107092525 A CN107092525 A CN 107092525A
- Authority
- CN
- China
- Prior art keywords
- data
- cached
- physical server
- cache
- data cached
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 24
- 230000003139 buffering effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003362 replicative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据缓存方法和装置,所述方法包括:收集各个物理服务器的缓存参数,所述各个物理服务器存储有虚拟机数据副本;根据所述缓存参数计算所述各个物理服务器的缓存优先级;根据所述缓存优先级选定物理服务器;获取虚拟机发送的缓存数据;将所述缓存数据在选定的物理服务器的缓存盘中进行缓存。这样,通过整合各个物理服务器的缓存资源,并对各个物理服务器的缓存资源进行评级,选取评级较高的物理服务器,保证可以利用缓存质量较高的物理服务器对数据进行缓存,提高了数据的缓存质量。
Description
技术领域
本发明涉及数据存储技术领域,特别是涉及一种数据缓存方法和装置。
背景技术
随着固态硬盘价格逐年下降,数据存储服务提供商都开始采用固态硬盘提升数据存储性能,传统做法是在各个物理服务器上使用固态硬盘做缓存盘,保证快速读取数据,使用机械硬盘做数据盘,保证数据存储的容量。当运行在物理服务器上的虚拟机需要进行数据缓存时,则将数据在该物理服务器的缓存盘中进行缓存。
在物理服务器集群中,由于物理服务器上的虚拟机所运行的程序不同,有些程序需要进行大量的数据缓存,有些程序只需要进行少量的数据缓存。如果物理服务器上所运行的虚拟机中的程序需要进行大量的数据缓存,当该物理服务器对后续数据进行缓存时,降低了数据的缓存质量,同时其他物理服务器上的数据缓存质量可能较高,且并未得到利用。
发明内容
基于此,有必要针对物理服务器集群中降低数据缓存质量的问题,提供一种数据缓存方法和装置。
一种数据缓存方法,该方法包括:
收集各个物理服务器的缓存参数,各个物理服务器存储有虚拟机数据副本;
根据缓存参数计算各个物理服务器的缓存优先级;
根据缓存优先级选定物理服务器;
获取虚拟机发送的缓存数据;
将缓存数据在选定的物理服务器的缓存盘中进行缓存。
在其中一个实施例中,该方法还包括:
检测各个物理服务器的缓存参数是否达到预设缓存阈值;
在缓存参数达到预设缓存阈值时,根据缓存参数重新计算各个物理服务器的缓存优先级。
在其中一个实施例中,获取虚拟机发送的缓存数据之后,还包括:
根据缓存数据生成多个缓存数据副本;
将缓存数据副本分别存储在各个物理服务器的数据盘中。
在其中一个实施例中,将缓存数据在选定的物理服务器的缓存盘中进行缓存之后,还包括:
获取虚拟机发送的缓存数据的读取请求;
根据读取请求查找缓存数据的缓存位置信息;
根据缓存位置信息确定对缓存数据进行缓存的物理服务器;
从确定的物理服务器的缓存盘中读取缓存数据。
在其中一个实施例中,从确定的物理服务器的缓存盘中读取缓存数据之后,还包括:
若读取缓存数据失败,则根据读取请求在确定的物理服务器的数据盘中查找匹配的缓存数据副本;
将查找到的缓存数据副本返回给虚拟机,并根据缓存数据副本对缓存盘中的缓存数据进行更新。
上述数据缓存方法,收集存储有虚拟机数据副本的物理服务器的缓存参数,根据缓存参数计算各个物理服务器的缓存优先级,根据缓存优先级选定用于缓存数据的物理服务器,在获取到虚拟机发送的缓存数据后,将缓存数据在选定的物理服务器的缓存盘中进行缓存。这样,通过整合各个物理服务器的缓存资源,并对各个物理服务器的缓存资源进行评级,选取评级较高的物理服务器,保证可以利用缓存质量较高的物理服务器对数据进行缓存,提高了数据的缓存质量。
一种数据缓存装置,该装置包括:
缓存参数收集模块,用于收集各个物理服务器的缓存参数,各个物理服务器存储有虚拟机数据副本;
优先级计算模块,用于根据缓存参数计算各个物理服务器的缓存优先级;
物理服务器选定模块,用于根据缓存优先级选定物理服务器;
缓存数据获取模块,用于获取虚拟机发送的缓存数据;
数据缓存模块,用于将缓存数据在选定的物理服务器的缓存盘中进行缓存。
在其中一个实施例中,该装置还包括:
缓存参数检测模块,用于检测各个物理服务器的缓存参数是否达到预设缓存阈值;
优先级计算模块还用于在缓存参数达到预设缓存阈值时,根据缓存参数重新计算各个物理服务器的缓存优先级。
在其中一个实施例中,该装置还包括:
数据副本生成模块,用于根据缓存数据生成多个缓存数据副本;
数据副本存储模块,用于将缓存数据副本分别存储在各个物理服务器的数据盘中。
在其中一个实施例中,该装置还包括:
读取请求获取模块,用于获取虚拟机发送的缓存数据的读取请求;
位置信息查找模块,用于根据读取请求查找缓存数据的缓存位置信息;
物理服务器确定模块,用于根据缓存位置信息确定对缓存数据进行缓存的物理服务器;
缓存数据读取模块,用于从确定的物理服务器的缓存盘中读取缓存数据。
在其中一个实施例中,该装置还包括:
数据副本查找模块,用于若读取缓存数据失败,则根据读取请求在确定的物理服务器的数据盘中查找匹配的缓存数据副本;
数据副本返回模块,用于将查找到的缓存数据副本返回给虚拟机,并根据缓存数据副本对缓存盘中的缓存数据进行更新。
上述数据缓存装置,收集存储有虚拟机数据副本的物理服务器的缓存参数,根据缓存参数计算各个物理服务器的缓存优先级,根据缓存优先级选定用于缓存数据的物理服务器,在获取到虚拟机发送的缓存数据后,将缓存数据在选定的物理服务器的缓存盘中进行缓存。这样,通过整合各个物理服务器的缓存资源,并对各个物理服务器的缓存资源进行评级,选取评级较高的物理服务器,保证可以利用缓存质量较高的物理服务器对数据进行缓存,提高了数据的缓存质量。
附图说明
图1为一个实施例中数据缓存系统的结构示意图;
图2为一个实施例中数据缓存方法的流程示意图;
图3为一个实施例中缓存参数检测步骤的流程示意图;
图4为一个实施例中缓存数据副本存储步骤的流程示意图;
图5为一个实施例中缓存数据的读取步骤的流程示意图;
图6为一个实施例中从数据盘获取缓存数据副本的步骤的流程示意图;
图7为一个实施例中数据缓存装置的结构框图;
图8为另一个实施例中数据缓存装置的结构框图;
图9为又一个实施例中数据缓存装置的结构框图;
图10为再一个实施例中数据缓存装置的结构框图;
图11为一个实施例中数据缓存装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是一个实施例中数据缓存系统的结构示意图,在数据缓存系统中包括多个物理服务器(如图1中物理服务器110、物理服务器120和物理服务器130)在每个物理服务器上运行有虚拟机(如图1中物理服务器110上运行有虚拟机a和虚拟机b,物理服务器120上运行有虚拟机c,物理服务器130运行有虚拟机d,其中物理服务器120和物理服务器130可以运行多个虚拟机),每个物理服务器包括用于存储数据的存储盘,存储盘具体可以分为缓存盘和数据盘,其中数据盘中存储有虚拟机数据副本,缓存盘用于对虚拟机运行过程中产生的数据进行缓存。数据缓存系统还包括缓存管理平台140,缓存管理平台140用于对多个物理服务器的缓存盘进行管理。
如图2所示,在一个实施例中,提供一种数据缓存方法,该数据缓存方法应用于图1中的数据缓存系统中的缓存管理平台140来举例说明。缓存管理平台140上运行有数据缓存程序,通过数据缓存程序来实施该数据缓存方法。该方法具体包括以下步骤:
步骤202,收集各个物理服务器的缓存参数,各个物理服务器存储有虚拟机数据副本。
具体地,缓存管理平台140收集多个物理服务器的缓存参数,每个物理服务器中的数据盘都存储有虚拟机数据副本。缓存参数具体包括缓存盘的剩余容量、缓存读取速度、缓存使用率、输入/输出时延和输入/输出吞吐量中的至少一种。虚拟机数据副本是虚拟机运行过程中所产生的数据的备份。
步骤204,根据缓存参数计算各个物理服务器的缓存优先级。
具体地,缓存优先级是优先选取物理服务器进行缓存的级别。缓存管理平台140分别对每个物理服务器的缓存参数进行加权运算得到运算值,以运算值作为物理服务器的缓存优先级。在对数据进行缓存时,选取缓存优先级最高的物理服务器的缓存盘对缓存数据进行缓存,具体可以将本地物理服务器的优先级设置为最高。
步骤206,根据缓存优先级选定物理服务器。
具体地,缓存管理平台140通过计算得到每个物理服务器的缓存优先级,对每个物理服务器的缓存优先级进行比较,经过比较选取缓存优先级最高的物理服务器。
在一个实施例中,根据缓存优先级的大小对每个物理服务器的缓存优先级进行排序,具体可以按照缓存优先级从高到地或者从低到高的顺序对缓存优先级进行排序,选取缓存优先级最高的物理服务器。
步骤208,获取虚拟机发送的缓存数据。
具体地,虚拟机在运行过程中,根据读写指令执行应用程序在执行读写操作时,将读写过程中需要缓存的缓存数据发送到缓存管理平台140,缓存管理平台140接收虚拟机所发送的缓存数据。
步骤210,将缓存数据在选定的物理服务器的缓存盘中进行缓存。
具体地,缓存管理平台140在多个物理服务器中查找选定的缓存优先级最高的物理服务器,将接收到虚拟机的缓存数据写入缓存优先级最高的物理服务器的缓存盘中对缓存数据进行缓存。
本实施例中,收集存储有虚拟机数据副本的物理服务器的缓存参数,根据缓存参数计算各个物理服务器的缓存优先级,根据缓存优先级选定用于缓存数据的物理服务器,在获取到虚拟机发送的缓存数据后,将缓存数据在选定的物理服务器的缓存盘中进行缓存。这样,通过整合各个物理服务器的缓存资源,并对各个物理服务器的缓存资源进行评级,选取评级较高的物理服务器,保证可以利用缓存质量较高的物理服务器对数据进行缓存,提高了数据的缓存质量。
如图3所示,在一个实施例中,该数据缓存方法还包括:
步骤302,检测各个物理服务器的缓存参数是否达到预设缓存阈值。
具体地,缓存管理平台140重新获取每个物理服务器的缓存参数,并将缓存参数与预设缓存阈值进行比较。预设缓存阈值可以是缓存盘的剩余容量或者缓存优先级。预设缓存阈值可以设置为任何一个表示缓存盘性能的参数,具体可以提取缓存参数中与预设缓存阈值相应的参数与预设缓存阈值进行比较,也可以对缓存参数进行加权运算或求导运算,将运算得到的值与预设缓存阈值进行比较。当预设缓存阈值是缓存盘的剩余容量参数时,具体可以将缓存盘的剩余容量与预设缓存阈值比较,缓存参数根据缓存管理平台140将缓存数据写入缓存盘而不断更新。
步骤304,在缓存参数达到预设缓存阈值时,根据缓存参数重新计算各个物理服务器的缓存优先级。
具体地,缓存管理平台140在缓存盘的相应的缓存参数达到预设缓存阈值时,重新对各个物理服务器的缓存参数进行加权运算以得到每个物理服务器的缓存优先级。相应的缓存参数达到预设缓存阈值时,则缓存参数对应的物理服务器的缓存优先级会降低。
本实施例中,在物理服务器中的缓存盘缓存数据之后,物理服务器的缓存参数会发生变化,当检测到物理服务器的缓存参数达到预设缓存阈值时,重新计算物理服务器的缓存优先级,避免物理服务器的缓存盘负载过多,从而较低缓存效率。
如图4所示,在一个实施例中,在步骤208之后,该数据缓存方法具体还包括以下步骤:
步骤402,根据缓存数据生成多个缓存数据副本。
具体地,缓存管理平台140在获取虚拟机的缓存数据之后,对缓存数据进行复制,通过对缓存数据复制并生成多个缓存数据副本,其中缓存数据副本的数量和存储虚拟机数据副本的物理服务器的数量相等。
步骤404,将缓存数据副本分别存储在各个物理服务器的数据盘中。
具体地,缓存管理平台140通过复制生成过个缓存数据副本之后,则查找存储有虚拟机数据副本的多个物理服务器,虚拟机数据副本是缓存数据对应的虚拟机的运行过程中所产生数据的备份。缓存管理平台140将缓存数据副本分别存储在查找到的多个物理服务器中。
本实施例中,生成多个缓存数据副本,并将多个缓存数据副本分别存储到多个物理服务器中,且多个物理服务器中存储着缓存数据所对应虚拟机的虚拟机副本。这样,形成了虚拟机数据的多个备份,提高了虚拟机数据的安全性,并保证了每个虚拟机数据副本的数据完整性。
如图5所示,在一个实施例中,在步骤208之后,该数据缓存方法具体还包括以下步骤:
步骤502,获取虚拟机发送的缓存数据的读取请求。
具体地,虚拟机需要读取缓存数据时,虚拟机将缓存数据的读取请求发送到缓存管理平台140。读取请求中包括缓存数据的标识,其中缓存数据的标识用于区分不同的缓存数据,缓存数据的标识可以字符、数字或者缓存数据的特征数据中的至少一种。
步骤504,根据读取请求查找缓存数据的缓存位置信息。
具体地,缓存管理平台140将缓存数据在缓存盘进行缓存时,记录缓存数据的缓存位置信息,并将缓存位置信息与缓存数据的标识对应存储,也可以将缓存位置信息与生成缓存数据的虚拟机的标识对应存储。其中缓存位置信息具体包括物理服务器的标识或者缓存盘的标识。缓存管理平台140根据缓存数据的标识或者生成缓存数据的虚拟机的标识查找相应的缓存位置信息。
步骤506,根据缓存位置信息确定对缓存数据进行缓存的物理服务器。
具体地,缓存管理平台140查找到缓存位置信息后,则提取缓存位置信息中的物理服务器的标识,根据物理服务器的标识确定物理服务器,确定的物理服务器为对缓存数据进行缓存的物理服务器。具体也可以提取缓存盘的标识,根据缓存盘的标识查找缓存盘对应的物理服务器。
步骤508,从确定的物理服务器的缓存盘中读取缓存数据。
具体地,缓存管理平台140确定物理服务器后,查找物理服务器的缓存盘,具体可以根据缓存位置信息查找物理服务器的缓存盘,并在缓存盘中根据缓存数据的标识查找缓存数据,将查找到的缓存数据返回给发送读取请求的虚拟机。
本实施例中,在虚拟机读取缓存数据时,根据所记录的缓存位置信息可以准确查找对缓存数据进行缓存的物理服务器,并在查找到的物理服务器的缓存盘中读取虚拟机的缓存数据,在提高缓存资源的利用率的同时,保证了读取缓存数据的准确性。
如图6所示,在一个实施例中,在步骤508之后,该数据缓存方法具体还包括以下步骤:
步骤602,若读取缓存数据失败,则根据读取请求在确定的物理服务器的数据盘中查找匹配的缓存数据副本。
具体地,如果缓存管理平台140在获取到缓存数据的读取请求,并根据缓存位置信息确定物理服务器之后,在该物理服务器的缓存盘中未查找到相应的缓存数据或者从缓存盘中获取缓存数据失败,则缓存管理平台140从该物理服务器的数据盘中根据读取请求中的缓存数据标识查找缓存数据副本。
步骤604,将查找到的缓存数据副本返回给虚拟机,并根据缓存数据副本对缓存盘中的缓存数据进行更新。
具体地,缓存管理平台140在物理服务器的数据盘中查找到缓存数据副本之后,将缓存数据副本发送给读取缓存数据的虚拟机,并更新缓存盘中的缓存数据。其中更新缓存盘中的缓存数据具体可以根据读取请求在缓存盘中查找缓存数据,并将查找到的缓存数据替换为缓存数据副本,或者在根据读取请求在缓存盘中未查找到对应的缓存数据时,则将缓存数据副本存储到缓存盘中。
本实施例中,在从物理服务器的缓存盘中读取不到匹配的缓存数据时,表明缓存盘中不存在匹配的缓存数据或者缓存数据出现错误,则从该物理服务器的数据盘中读取匹配的缓存数据副本,在将缓存数据副本返回虚拟机的同时,更新缓存盘中的缓存数据。这样,在缓存盘中未能成功获取匹配的缓存数据时,保证了虚拟机能够正常读取到缓存数据,通过更行缓存盘中的缓存数据保证了缓存盘中缓存数据的准确性。
如图7所示,在一个实施例中,提供一种数据缓存装置700,该装置包括:缓存参数收集模块702、优先级计算模块704、物理服务器选定模块706、缓存数据获取模块708和数据缓存模块710。
缓存参数收集模块702,用于收集各个物理服务器的缓存参数,各个物理服务器存储有虚拟机数据副本。
优先级计算模块704,用于根据缓存参数计算各个物理服务器的缓存优先级。
物理服务器选定模块706,用于根据缓存优先级选定物理服务器。
缓存数据获取模块708,用于获取虚拟机发送的缓存数据。
数据缓存模块710,用于将缓存数据在选定的物理服务器的缓存盘中进行缓存。
本实施例中,通过整合各个物理服务器的缓存资源,并对各个物理服务器的缓存资源进行评级,选取评级较高的物理服务器,保证可以利用缓存质量较高的物理服务器对数据进行缓存,提高了数据的缓存质量。。
如图8所示,在一个实施例中,数据缓存装置700还包括:缓存参数检测模块712
缓存参数检测模块712,用于检测各个物理服务器的缓存参数是否达到预设缓存阈值。
优先级计算模块704还用于在缓存参数达到预设缓存阈值时,根据缓存参数重新计算各个物理服务器的缓存优先级。
本实施例中,在物理服务器中的缓存盘缓存数据之后,物理服务器的缓存参数会发生变化,当检测到物理服务器的缓存参数达到预设缓存阈值时,重新计算物理服务器的缓存优先级,避免物理服务器的缓存盘负载过多,从而较低缓存效率。
如图9所示,在一个实施例中,该数据缓存装置700还包括:数据副本生成模块714和数据副本存储模块716
数据副本生成模块714,用于根据缓存数据生成多个缓存数据副本。
数据副本存储模块716,用于将缓存数据副本分别存储在各个物理服务器的数据盘中。
本实施例中,生成多个缓存数据副本,并将多个缓存数据副本分别存储到多个物理服务器中,且多个物理服务器中存储着缓存数据所对应虚拟机的虚拟机副本。这样,形成了虚拟机数据的多个备份,提高了虚拟机数据的安全性,并保证了每个虚拟机数据副本的数据完整性。
如图10所示,在一个实施例中,该数据缓存装置700还包括:读取请求获取模块718、位置信息查找模块720、服务器确定模块722和缓存数据读取模块724。
读取请求获取模块718,用于获取虚拟机发送的缓存数据的读取请求。
位置信息查找模块720,用于根据读取请求查找缓存数据的缓存位置信息。
服务器确定模块722,用于根据缓存位置信息确定对缓存数据进行缓存的物理服务器。
缓存数据读取模块724,用于从确定的物理服务器的缓存盘中读取缓存数据。
本实施例中,在虚拟机读取缓存数据时,根据所记录的缓存位置信息可以准确查找对缓存数据进行缓存的物理服务器,并在查找到的物理服务器的缓存盘中读取虚拟机的缓存数据,在提高缓存资源的利用率的同时,保证了读取缓存数据的准确性。
如图11所示,在一个实施例中,该数据缓存装置700还包括:
数据副本查找模块726,用于若读取缓存数据失败,则根据读取请求在确定的物理服务器的数据盘中查找匹配的缓存数据副本。
数据副本返回模块728,用于将查找到的缓存数据副本返回给虚拟机,并根据缓存数据副本对缓存盘中的缓存数据进行更新。
本实施例中,在从物理服务器的缓存盘中读取不到匹配的缓存数据时,表明缓存盘中不存在匹配的缓存数据或者缓存数据出现错误,则从该物理服务器的数据盘中读取匹配的缓存数据副本,在将缓存数据副本返回虚拟机的同时,更新缓存盘中的缓存数据。这样,在缓存盘中未能成功获取匹配的缓存数据时,保证了虚拟机能够正常读取到缓存数据,通过更行缓存盘中的缓存数据保证了缓存盘中缓存数据的准确性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据缓存方法,所述方法包括:
收集各个物理服务器的缓存参数,所述各个物理服务器存储有虚拟机数据副本;
根据所述缓存参数计算所述各个物理服务器的缓存优先级;
根据所述缓存优先级选定物理服务器;
获取虚拟机发送的缓存数据;
将所述缓存数据在选定的物理服务器的缓存盘中进行缓存。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述各个物理服务器的缓存参数是否达到预设缓存阈值;
在所述缓存参数达到所述预设缓存阈值时,根据所述缓存参数重新计算所述各个物理服务器的缓存优先级。
3.根据权利要求1所述的方法,其特征在于,所述获取虚拟机发送的缓存数据之后,还包括:
根据所述缓存数据生成多个缓存数据副本;
将所述缓存数据副本分别存储在所述各个物理服务器的数据盘中。
4.根据权利要求1所述的方法,其特征在于,所述将所述缓存数据在选定的物理服务器的缓存盘中进行缓存之后,还包括:
获取所述虚拟机发送的所述缓存数据的读取请求;
根据所述读取请求查找所述缓存数据的缓存位置信息;
根据所述缓存位置信息确定对所述缓存数据进行缓存的物理服务器;
从确定的物理服务器的缓存盘中读取所述缓存数据。
5.根据权利要求4所述的方法,其特征在于,所述从确定的物理服务器的缓存盘中读取所述缓存数据之后,还包括:
若读取所述缓存数据失败,则根据所述读取请求在所述确定的物理服务器的数据盘中查找匹配的缓存数据副本;
将查找到的缓存数据副本返回给所述虚拟机,并根据所述缓存数据副本对所述缓存盘中的缓存数据进行更新。
6.一种数据缓存装置,其特征在于,所述装置包括:
缓存参数收集模块,用于收集各个物理服务器的缓存参数,所述各个物理服务器存储有虚拟机数据副本;
优先级计算模块,用于根据所述缓存参数计算所述各个物理服务器的缓存优先级;
物理服务器选定模块,用于根据所述缓存优先级选定物理服务器;
缓存数据获取模块,用于获取虚拟机发送的缓存数据;
数据缓存模块,用于将所述缓存数据在选定的物理服务器的缓存盘中进行缓存。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
缓存参数检测模块,用于检测所述各个物理服务器的缓存参数是否达到预设缓存阈值;
所述优先级计算模块还用于在所述缓存参数达到所述预设缓存阈值时,根据所述缓存参数重新计算所述各个物理服务器的缓存优先级。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
数据副本生成模块,用于根据所述缓存数据生成多个缓存数据副本;
数据副本存储模块,用于将所述缓存数据副本分别存储在所述各个物理服务器的数据盘中。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
读取请求获取模块,用于获取所述虚拟机发送的所述缓存数据的读取请求;
位置信息查找模块,用于根据所述读取请求查找所述缓存数据的缓存位置信息;
物理服务器确定模块,用于根据所述缓存位置信息确定对所述缓存数据进行缓存的物理服务器;
缓存数据读取模块,用于从确定的物理服务器的缓存盘中读取所述缓存数据。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
数据副本查找模块,用于若读取所述缓存数据失败,则根据所述读取请求在所述确定的物理服务器的数据盘中查找匹配的缓存数据副本;
数据副本返回模块,用于将查找到的缓存数据副本返回给所述虚拟机,并根据所述缓存数据副本对所述缓存盘中的缓存数据进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610091113.6A CN107092525A (zh) | 2016-02-18 | 2016-02-18 | 数据缓存方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610091113.6A CN107092525A (zh) | 2016-02-18 | 2016-02-18 | 数据缓存方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107092525A true CN107092525A (zh) | 2017-08-25 |
Family
ID=59648672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610091113.6A Pending CN107092525A (zh) | 2016-02-18 | 2016-02-18 | 数据缓存方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107092525A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109309603A (zh) * | 2018-11-02 | 2019-02-05 | 华青融天(北京)软件股份有限公司 | 一种动态的负载均衡分配方法及装置 |
WO2019109209A1 (zh) * | 2017-12-04 | 2019-06-13 | 华为技术有限公司 | 一种存储器数据替换方法、服务器节点和数据存储系统 |
CN111818108A (zh) * | 2019-04-10 | 2020-10-23 | 阿里巴巴集团控股有限公司 | 一种确保数据获取一致性的方法和装置 |
CN112230865A (zh) * | 2020-12-15 | 2021-01-15 | 广东睿江云计算股份有限公司 | 一种数据缓冲方法及其系统 |
CN116521090A (zh) * | 2023-06-25 | 2023-08-01 | 苏州浪潮智能科技有限公司 | 数据落盘方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827121A (zh) * | 2010-03-12 | 2010-09-08 | 成都市华为赛门铁克科技有限公司 | 在raid中创建文件的方法、服务端和系统 |
CN102006330A (zh) * | 2010-12-01 | 2011-04-06 | 北京瑞信在线系统技术有限公司 | 分布式缓存系统、数据的缓存方法及缓存数据的查询方法 |
CN103475691A (zh) * | 2013-07-03 | 2013-12-25 | 广东迅通科技股份有限公司 | 一种视频分布式缓存中转系统 |
-
2016
- 2016-02-18 CN CN201610091113.6A patent/CN107092525A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827121A (zh) * | 2010-03-12 | 2010-09-08 | 成都市华为赛门铁克科技有限公司 | 在raid中创建文件的方法、服务端和系统 |
CN102006330A (zh) * | 2010-12-01 | 2011-04-06 | 北京瑞信在线系统技术有限公司 | 分布式缓存系统、数据的缓存方法及缓存数据的查询方法 |
CN103475691A (zh) * | 2013-07-03 | 2013-12-25 | 广东迅通科技股份有限公司 | 一种视频分布式缓存中转系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019109209A1 (zh) * | 2017-12-04 | 2019-06-13 | 华为技术有限公司 | 一种存储器数据替换方法、服务器节点和数据存储系统 |
CN109309603A (zh) * | 2018-11-02 | 2019-02-05 | 华青融天(北京)软件股份有限公司 | 一种动态的负载均衡分配方法及装置 |
CN111818108A (zh) * | 2019-04-10 | 2020-10-23 | 阿里巴巴集团控股有限公司 | 一种确保数据获取一致性的方法和装置 |
CN111818108B (zh) * | 2019-04-10 | 2022-07-19 | 阿里巴巴集团控股有限公司 | 一种确保数据获取一致性的方法和装置 |
CN112230865A (zh) * | 2020-12-15 | 2021-01-15 | 广东睿江云计算股份有限公司 | 一种数据缓冲方法及其系统 |
CN112230865B (zh) * | 2020-12-15 | 2021-03-30 | 广东睿江云计算股份有限公司 | 一种数据缓冲方法及其系统 |
CN116521090A (zh) * | 2023-06-25 | 2023-08-01 | 苏州浪潮智能科技有限公司 | 数据落盘方法、装置、电子设备及存储介质 |
CN116521090B (zh) * | 2023-06-25 | 2023-09-12 | 苏州浪潮智能科技有限公司 | 数据落盘方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9740706B2 (en) | Management of intermediate data spills during the shuffle phase of a map-reduce job | |
CN107092525A (zh) | 数据缓存方法和装置 | |
CN104025054B (zh) | 虚拟环境中的动态存储分层 | |
US8161240B2 (en) | Cache management | |
US7853770B2 (en) | Storage system, data relocation method thereof, and recording medium that records data relocation program | |
US9613037B2 (en) | Resource allocation for migration within a multi-tiered system | |
US20160350302A1 (en) | Dynamically splitting a range of a node in a distributed hash table | |
US11531831B2 (en) | Managing machine learning features | |
CN109947363A (zh) | 一种分布式存储系统的数据缓存方法 | |
CN104301360A (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
CN101963982A (zh) | 基于位置敏感哈希的删冗存储系统元数据管理方法 | |
US9128944B2 (en) | File system enabling fast purges and file access | |
CN108021717B (zh) | 一种轻量级嵌入式文件系统的实现方法 | |
KR101744892B1 (ko) | 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 | |
CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
CN108733306A (zh) | 一种文件合并方法及装置 | |
CN107844274A (zh) | 基于超融合存储系统的硬件资源管理方法、装置及终端 | |
US20230229580A1 (en) | Dynamic index management for computing storage resources | |
CN104978324A (zh) | 一种数据处理方法和装置 | |
CN107665219A (zh) | 一种日志管理方法及装置 | |
CN107562367A (zh) | 基于软件化存储系统读写数据的方法以及装置 | |
CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
CN107153512A (zh) | 一种数据迁移方法和装置 | |
CN114281989A (zh) | 基于文本相似度的数据去重方法、装置及存储介质和服务器 | |
CN116186085A (zh) | 一种基于缓存梯度冷热数据分层机制的键值存储系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518000 the first floor of A1 building, Nanshan Zhiyuan 1001, Nanshan District Xue Yuan Avenue, Shenzhen, Guangdong. Applicant after: SANGFOR TECHNOLOGIES Inc. Address before: 518000 the first floor of A1 building, Nanshan Zhiyuan 1001, Nanshan District Xue Yuan Avenue, Shenzhen, Guangdong. Applicant before: Sangfor Technologies Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170825 |
|
RJ01 | Rejection of invention patent application after publication |