CN108932150A - 基于ssd和磁盘混合存储的缓存方法、装置及介质 - Google Patents

基于ssd和磁盘混合存储的缓存方法、装置及介质 Download PDF

Info

Publication number
CN108932150A
CN108932150A CN201710373765.3A CN201710373765A CN108932150A CN 108932150 A CN108932150 A CN 108932150A CN 201710373765 A CN201710373765 A CN 201710373765A CN 108932150 A CN108932150 A CN 108932150A
Authority
CN
China
Prior art keywords
data block
cache area
virtual machine
independent
accessed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710373765.3A
Other languages
English (en)
Other versions
CN108932150B (zh
Inventor
江滢
王志坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingyun Numerical Technology Co ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710373765.3A priority Critical patent/CN108932150B/zh
Publication of CN108932150A publication Critical patent/CN108932150A/zh
Application granted granted Critical
Publication of CN108932150B publication Critical patent/CN108932150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于SSD和磁盘混合存储的缓存方法、装置及介质，用以提高SSD和磁盘的混合存储系统中存储性能。所述方法包括：根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。本发明实时监控虚拟机负载特征及数据块热点情况，将SSD缓存空间划分为共享区和独立缓存区，结合虚拟机的性能需求和负载特征的变化，按照虚拟机的数据块热度，动态分配SSD缓存空间给各个虚拟机，从而提高整体性能。

Description

基于SSD和磁盘混合存储的缓存方法、装置及介质
技术领域
本发明涉及云存储领域，特别是涉及一种基于SSD和磁盘混合存储的缓存方法、装置及介质。
背景技术
随着信息资源爆炸性增长，分布式存储系统凭借高性能、高扩展、高可用、易管理等特点，成为云存储和大数据的基础和核心。如图1所示，在虚拟化环境中，很多虚拟机共享分布式存储资源，每个虚拟机有自己的负载模型和缓存需求。
当前SSD(Solid State Drives，固态硬盘)被广泛应用与分布式存储缓存机制中，分布式存储缓存维护最近访问的热数据，以保证更敏捷的IO响应；同时，I/O缓存减少磁盘负载，避免磁盘造成系统性能瓶颈。
但是在基于SSD和磁盘的混合存储系统中，如何根据虚拟机IO负载变化和数据访问热度，动态分配SSD缓存，从而在满足虚拟机业务性能需求的同时，提高存储全局性能，是亟需解决的问题。
发明内容
为了克服上述缺陷，本发明要解决的技术问题是提供一种基于SSD和磁盘混合存储的缓存方法、装置及介质，用以提高SSD和磁盘的混合存储系统中存储性能。
为解决上述技术问题，本发明中提供一种基于SSD和磁盘混合存储的缓存方法，所述方法包括：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
可选地，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
具体地，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
具体地，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
根据各虚拟机负载模式和数据中心需求，调整所有独立缓存区和所述共享缓存区分别占用所述固态硬盘SSD的比例。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
为解决上述技术问题，本发明中又提供一种基于SSD和磁盘混合存储的缓存装置，其特征在于，所述装置包括存储器和处理器；所示存储器存储有基于SSD和磁盘混合存储的缓存计算机程序，所述处理器执行所述计算机程序以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
可选地，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
具体地，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
具体地，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
根据各虚拟机负载模式和数据中心需求，调整所述独立缓存区和所述共享缓存区分别占用所述固态硬盘SSD的比例。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
为解决上述技术问题，本发明中还提供一种计算机可读存储介质，所述介质存储有基于SSD和磁盘混合存储的缓存计算机程序，在所述计算机程序被至少一个处理器执行时，以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
本发明有益效果如下：
本发明实时监控虚拟机负载特征及数据块热点情况，将SSD缓存空间划分为共享区和独立缓存区，结合虚拟机的性能需求和负载特征的变化，按照虚拟机的数据块热度，动态分配SSD缓存空间给各个虚拟机，从而提高整体性能。
附图说明
图1是现有技术中多级存储的分布式存储模型示意图；
图2是本发明实施例中基于SSD和磁盘混合存储的缓存方法的流程图；
图3是基于本发明实施例中缓存方法的存储系统的结构示意图；
图4是本发明实施例中一具体缓存方法的流程图；
图5是本发明实施例中2个虚拟机对应SSD划分示意图；
图6是本发明实施例中8个虚拟机对应SSD划分示意图。
具体实施方式
为了解决现有技术的问题，本发明提供了一种基于SSD和磁盘混合存储的缓存方法、装置及介质，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
方法实施例
如图2所示，本发明实施例中一种基于SSD和磁盘混合存储的缓存方法，所述方法包括：
S101，根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
S102，在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
本发明实施例实时监控虚拟机负载特征及数据块热点情况，将SSD缓存空间划分为共享区和独立缓存区，结合虚拟机的性能需求和负载特征的变化，按照虚拟机的数据块热度，动态分配SSD缓存空间给各个虚拟机，从而提高整体性能。同时发明实施例无需修改底层内核，对于Windows、Linux等各种操作系统均适用；也适用于各种不同架构的分布式存储系统。
详细说明本发明实施例。
本发明实施例在全局缓存管理机制下，充分利用SSD高性能特性。本发明实施例考虑所有虚拟机的IO动态需求，将SSD划分为独立缓存区和共享区(即共享缓存区)。每个虚拟机都有一块独立缓存区(即独立缓存区)，缓存对应虚拟机当前最频繁访问的数据集，而共享区则用于缓存全局较为活跃的数据。
如图3所示，通过本发明实施例中缓存方法进行存储性能提高的存储系统，该存储系统可以包括：
(1)管理中心：
维护集群的成员和状态，以及数据分布规则、数据恢复规则等，提供强一致性的决策。管理中心模块可部署在独立服务器上，也可以部署在提供存储服务的节点上，默认部署在3个存储节点上，形成管理中心集群。管理中心集群基于paxos算法设计实现了更适用的一致性选举算法，使节点状态的变化在整系统所有节点上是统一的。
(2)管理代理进程：
实现各节点与管理中心的通信，周期性向管理中心提供节点健康信息，并接收管理中心的控制指令。管理中心部署在每个存储节点上。
(3)CLI客户端：
CLI客户端提供分布式集群接入点服务。CLI负责维护逻辑卷块级界面，以及主机与逻辑卷之间的映射关系，使计算资源能够通过CLI访问分布式块存储资源。
(4)数据路由：
负责数据访问控制，数据分布和各种数据的管理。数据定位模块与本地数据存储服务进程通信，响应来自分布式存储客户端的读写请求，将请求路由到具体节点上的本地数据存储服务进程，实现数据的访问、副本分发等。数据定位模块采用集群方式部署在每个存储节点上，各数据定位模块之间可以共享内存数据，零故障切换时间，可以很方便的进行扩容，以提供海量元数据容量。
(5)本地数据存储服务：
管理负责实际物理介质的空间资源管理维护，主要负责存储和查找本地对象，执行具体的I/O操作。本地数据存储服务是实际处理数据读写的进程，与物理存储设备交互，实现数据的读写功能。
(6)SmartCache：
SmartCache为本发明实施例方法的实施模块，是可以独立部署的缓存管理和存储资源调度引擎，可将存储服务器内的闪存介质资源池化管理作为高速缓存池，优化加速节点内的部分或所有机械磁盘。SmartCache的加速机制对分布式机制透明，无论读写操作均不影响分布式机制本身一致性和冗余有效性。只要用于缓存空间的介质本身具备断电持久化能力，系统整体就不会因开启缓存引入额外一致性隐患。
SmartCache中一种具体基于SSD和磁盘混合存储的缓存方法，如图4所示，包括：
管理代理进程预先将SSD空间划分为独立缓存区和共享区，初始独立缓存区和共享区各占50％，独立缓存区由每个虚拟机平均划分预留；
步骤1，磁盘读写监控模块从各磁盘周期性读取磁盘访问情况：当前时间周期各数据块访问请求个数，数据块粒度默认为1M；
步骤2，统计模块根据收集到的信息，计算每个块在周期内访问热度，并对其进行排序；
步骤3，决策模块根据周期内各数据块热点排行，决策各独立缓存区和共享区热点数据放置策略，及哪些数据需要缓存到SSD上；
步骤4，缓存部署模块根据上一步结果，将数据缓存到SSD上对应独立区和共享区。
在本发明的又一个实施例中，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
其中，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
具体地，根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
具体地，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
例如，如图5所示，本发明实施例以单节点上部署两个虚拟机。每个虚拟机设置缓存独立缓存区CEi(i为虚拟机id)，由于虚拟机个数为2，则CE1＝CE2＝CE/2；
每个独立缓存区长度LEN_CE＝CE/数据块粒度；CE为所有独立缓存区存储容量；
同样的，共享区长度LEN_CS＝CS/数据块粒度；CS为共享区存储容量；
当完成存储系统初始化，系统运行过程中用户频繁发起读写请求，存储系统采用本发明实施例中缓存方法，进行缓存加速，流程如下：
步骤1，磁盘读写监控模块从各磁盘周期性读取磁盘访问情况：当前时间周期Pii内各数据块访问请求个数，数据块粒度默认为1M；
步骤2，统计模块根据收集到的信息，计算每个块在时间周期Pi内访问热度Temp；
步骤3，统计模块对所有块，依热度降序排序，形成队列HeatQueue，队列中每个元素为(VM_id，vol，chunk，Tempi)；其中，VM_id为虚拟机标识信息；vol表示卷，chunk标识块，两者构成数据块的位置信息；Tempi为访问热度信息。
如排序后HeatQueue为：
(VM_2,2,3,98)；
(VM_2,3,4,96)；
(VM_1,3,3,95)；
(VM_2,2,5,90)；
(VM_1,2,3,85)；
(VM_1,1,8,80)；
(VM_2,3,1,78)；
(VM_2,1,3,77)；
(VM_1,3,2,76)；
(VM_2,1,2,70)；
(VM_1,2,1,66)；
(VM_1,3,1,50)；
(VM_2,3,3,48)；
(VM_1,2,2,45)；
(VM_1,1,5,30)；
(VM_2,1,5,28)。
步骤4，决策模块根据队列HeatQueue，决策各独立缓存区数据放置策略：
对于每个虚拟机k，分别从HeatQueue队列首部，依序找到相关元素(k，vol，chunk，Tempi)，提取元素中(vol，chunk)加入集合CESk，i+1，元素个数为LEN_CE。
为方便描述，假设本例中LEN_CE为3，则根据步骤3中HeatQueue；对于虚拟机1，提取热度最高的3个元素加入CES1，i+1
(VM_1,3,3,95)；
(VM_1,2,3,85)；
(VM_1,1,8,80)；
即对于虚拟机1，(3,3)、(2，3)、(1，8)对应的数据块需要放置在虚拟机1的SSD独立缓冲区中。
对于虚拟机2，提取热度最高的3个元素加入CES2，i+1
(VM_2,2,3,98)；
(VM_2,3,4,96)；
(VM_2,2,5,90)；
即对于虚拟机2，(2,3)、(3,4)、(2，5)对应的数据块需要放置在虚拟机2的SSD独立缓冲区中。
步骤5，决策模块根据队列HeatQueue，决策共享区数据放置策略，从当前HeatQueue中删除所有确定放置到独立缓存区缓存的元素(即步骤4中提及的元素)；
从余下的HeatQueue队列首部，依序提取元素中(vol，chunk)加入集合CSSi+1，最终生成集合CSSi+1，元素个数为LEN_CS；
假设LEN_CS为6；
则从余下的HeatQueue中，提取热度最高的6个元素至CSSi+1，即
(VM_2,3,1,78)；
(VM_2,1,3,77)；
(VM_1,3,2,76)；
(VM_2,1,2,70)；
(VM_1,2,1,66)；
(VM_1,3,1,50)；
即以上元素对应的数据块需要部署在共享缓冲区中。
步骤6，缓存部署模块根据上一步结果，对于虚拟机1和虚拟机2，对应数据读取到相应缓存独立区CE1和CE2。同时，将对应数据读取到相应缓存共享区CS，使得共享区CS中缓存数据为CSSi+1对应数据块。
又如，如图6所示，本发明实施例以单节点上部署8个虚拟机。为每个虚拟机设置缓存独立缓存区CE_i(i为虚拟机id)，假设虚拟机个数为VM_NUM，则CEi＝CE/VM_NUM；
独立缓存区LEN_CE＝CE空间/数据块粒度；
同样的，共享区LEN_CS＝CS空间/数据块粒度；
当完成存储系统初始化，系统运行过程中用户频繁发起读写请求，存储系统运行过程中的缓存流程如下所示：
步骤1，磁盘读写监控模块从各磁盘周期性读取磁盘访问情况：当前时间周期Pi内各数据块访问请求个数，数据块粒度默认为1M；
步骤2，统计模块根据收集到的信息，计算每个块在时间周期Pi内访问热度Temp；
其中，J为考察的周期个数。如J为5，则每个块的热度与当前周期前5个周期相关，需考察5个周期。
λi-j为相关因子，考虑到随时间推移，离当前时间周期越远，则热度参考价值越低，所以λi-1＞λi-2＞λi-3＞...＞λi-j。
步骤3，统计模块对所有块，依热度降序排序，形成队列HeatQueue，队列中每个元素为(VM_id，vol，chunk，Tempi)；
步骤4，决策模块根据队列HeatQueue，决策各独立缓存区数据放置策略
对于每个虚拟机k，分别从HeatQueue队列首部，依序找到相关元素(k，vol，chunk，Temp)，提取元素中(vol，chunk)加入集合CESk，i+1，同时删除元素(k，vol，chunk，Temp)，最终生成集合CESk，i+1元素个数为LEN_CE；
假设当前周期Pi，虚拟机k独立缓存区中缓存的数据块id集合为CESk，i，即CESk，i中记录缓存的所有数据块的(vol，chunk)；
则对于虚拟机k，当前需要升级到独立缓存区缓存的数据块集合为
UPSk，i＝CESk，i+1-(CESk，i∩CESk，i+1)
步骤5，决策模块根据队列HeatQueue，决策共享区数据放置策略，经过上一步骤，当前HeatQueue中已删除了所有确定放置到独立缓存区缓存的元素；
从HeatQueue队列首部，依序提取元素中(vol，chunk)加入集合CSSi+1，同时删除元素(VM_id，vol，chunk，Temp)，最终生成集合CSSi+1，元素个数为LEN_CS；
假设当前时间周期Pi，共享区中缓存的数据块id集合为CSSi，即CSSi中记录缓存的所有数据块的(vol，chunk)；
则当前需要升级到共享区缓存的数据块集合为
UPSk，i＝CESk，i+1-(CESk，i∩CESk，i+1)
步骤6，缓存部署模块根据上一步结果，对于所有虚拟机，将UPSk，i对应数据读取到相应缓存独立区CEi，使得独立区CEi中缓存数据为CESk，i+1对应数据块。同时，将UPSi对应数据读取到相应缓存共享区CS，使得共享区CS中缓存数据为CSSi+1对应数据块。
在本发明的另一个实施例中，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
根据各虚拟机负载模式和数据中心需求，调整所有独立缓存区和所述共享缓存区分别占用所述固态硬盘SSD的比例。
具体说，存储系统初始化，对分布式存储系统作如下设置：
设置缓存共享区CS(即共享缓存区)，及多个缓存独立缓存区CE(即独立缓存区)，初始时CS和所有虚拟机独立缓存区各占50％；
根据各虚拟机负载模式和数据中心需求，可以对CS和CE比例进行调整：
(1)强调各虚拟机资源公平，则加大CE比例；(主要基于个虚拟机负载模式)
(2)强调所有虚拟机竞争，保障资源需求较高的虚拟机获取资源，则加大CS比例(主要基于数据中心需求)。
本发明实施例中存储方法对于大规模分布式存储系统带来以下积极效果：
1)通过高效利用SSD缓存，提高混合存储系统的SSD缓存命中率，极大提升全局存储系统性能；
2)通过将SSD缓存划分为独立区和共享区，在保证虚拟机资源公平的同时，保障高负载虚拟机性能；
3)独立区和共享区比例根据系统需求，灵活调整，以应对多样负载变化。
装置实施例
本发明实施例中一种基于SSD和磁盘混合存储的缓存装置，所述装置包括存储器和处理器；所示存储器存储有基于SSD和磁盘混合存储的缓存计算机程序，所述处理器执行所述计算机程序以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
可选地，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
具体地，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
具体地，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
根据各虚拟机负载模式和数据中心需求，调整所有独立缓存区和所述共享缓存区的比例。
存储介质实施例
本发明实施例提供一种计算机存储介质，所述介质存储有基于SSD和磁盘混合存储的缓存计算机程序，在所述计算机程序被至少一个处理器执行时，以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
可选地，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
具体地，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
具体地，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
可选地，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
根据各虚拟机负载模式和数据中心需求，调整所有独立缓存区和所述共享缓存区分别占用所述固态硬盘SSD的比例。
本发明中装置实施例和存储介质实施例在具体实现时，可以参阅方法实施例，也具有方法实施例中技术效果，在此不做赘述。
本发明实施例中计算机可读存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。可以将一种存储介质藕接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路中。
虽然本申请描述了本发明的特定示例，但本领域技术人员可以在不脱离本发明概念的基础上设计出来本发明的变型。本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，还可以对本发明做出各种改进，这仍落在本发明的保护范围之内。

Claims (13)

1.一种基于SSD和磁盘混合存储的缓存方法，其特征在于，所述方法包括：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
2.如权利要求1所述的方法，其特征在于，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
3.如权利要求2所述的方法，其特征在于，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
4.如权利要求2所述的方法，其特征在于，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
5.如权利要求1-4中任意所述的方法，其特征在于，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
根据各虚拟机负载模式和数据中心需求，调整所述独立缓存区和所述共享缓存区的分别占用所述固态硬盘SSD的比例。
6.如权利要求1-4中任意所述的方法，其特征在于，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
7.一种基于SSD和磁盘混合存储的缓存装置，其特征在于，所述装置包括存储器和处理器；所示存储器存储有基于SSD和磁盘混合存储的缓存计算机程序，所述处理器执行所述计算机程序以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
8.如权利要求7所述的装置，其特征在于，所述在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在所述SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区，包括：
根据所述访问热度对所述被访问数据块进行排序；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，并缓存至相应虚拟机对应的独立缓存区中；
从所述被访问数据块中剔除已缓存至各独立缓存区的数据块；
根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，并缓存至所述共享缓存区。
9.如权利要求8所述的装置，其特征在于，所述确定磁盘中各被访问数据块的访问热度，还包括：
对每个被访问数据块进行参数标记；所述参数至少包括虚拟机标识信息、位置信息和访问热度信息；
根据各所述独立缓存区的长度，按照所述排序，从所述被访问数据块中提取与每个虚拟机对应的数据块，包括：
针对任一虚拟机：根据该虚拟机标识信息，从所述被访问数据块中查找与该虚拟机对应的被访问数据块；
根据该虚拟机的独立缓存区的长度，确定该独立缓存区的缓存数量；
按照所述独立缓存区的缓存数量、所述排序和所述访问热度信息，从查找到的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至该独立缓存区的数据块。
10.如权利要求8所述的装置，其特征在于，所述根据所述共享缓存区的长度，按照所述排序，从剔除后的被访问数据块中提取相应数据块，包括：
根据所述共享缓存区的长度，确定所述共享缓存区的缓存数量；
按照所述共享缓存区的缓存数量、所述排序和所述访问热度信息，从剔除后的被访问数据块中确定需缓存的数据块的位置信息；
根据确定的位置信息，提取需缓存至所述共享区的数据块。
11.如权利要求7-9中任意所述的装置，其特征在于，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
根据各虚拟机负载模式和数据中心需求，调整所述独立缓存区和所述共享缓存区分别占用所述固态硬盘SSD的比例。
12.如权利要求7-9中任意所述的装置，其特征在于，所述根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度之前，还包括：
将所述固态硬盘SSD划分为所述共享缓存区和所述独立缓存区；
设置所述共享缓存区和所述独立缓存区分别占用所述固态硬盘SSD的初始比例。
13.一种计算机可读存储介质，其特征在于，所述介质存储有基于SSD和磁盘混合存储的缓存计算机程序，在所述计算机程序被至少一个处理器执行时，以实现以下步骤：
根据预设的时间周期，周期性确定磁盘中各被访问数据块的访问热度；
在每个时间周期，根据所述访问热度，从所述被访问数据块中提取相应的数据块，并缓存至在固态硬盘SSD中预设的各虚拟机独立缓存区和预设的所有虚拟机共享缓存区。
CN201710373765.3A 2017-05-24 2017-05-24 基于ssd和磁盘混合存储的缓存方法、装置及介质 Active CN108932150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710373765.3A CN108932150B (zh) 2017-05-24 2017-05-24 基于ssd和磁盘混合存储的缓存方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710373765.3A CN108932150B (zh) 2017-05-24 2017-05-24 基于ssd和磁盘混合存储的缓存方法、装置及介质

Publications (2)

Publication Number Publication Date
CN108932150A true CN108932150A (zh) 2018-12-04
CN108932150B CN108932150B (zh) 2023-09-15

Family

ID=64449844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710373765.3A Active CN108932150B (zh) 2017-05-24 2017-05-24 基于ssd和磁盘混合存储的缓存方法、装置及介质

Country Status (1)

Country Link
CN (1) CN108932150B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262758A (zh) * 2019-06-28 2019-09-20 深信服科技股份有限公司 一种数据存储管理方法、系统及相关设备
CN111880739A (zh) * 2020-07-29 2020-11-03 北京计算机技术及应用研究所 一种面向超融合设备的近数据处理系统
CN111880900A (zh) * 2020-07-29 2020-11-03 北京计算机技术及应用研究所 一种面向超融合设备的近数据处理系统的设计方法
CN112000426A (zh) * 2020-07-24 2020-11-27 新华三大数据技术有限公司 一种数据处理方法及装置
CN112631734A (zh) * 2020-12-30 2021-04-09 北京天融信网络安全技术有限公司 虚拟机镜像文件的处理方法、装置、设备和存储介质
CN113064553A (zh) * 2021-04-02 2021-07-02 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN117991997A (zh) * 2024-04-07 2024-05-07 深圳市铨兴科技有限公司 一种磁盘存储负载均衡的方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022812A1 (en) * 2009-05-01 2011-01-27 Van Der Linden Rob Systems and methods for establishing a cloud bridge between virtual storage resources
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102521161A (zh) * 2011-11-21 2012-06-27 华为技术有限公司 一种数据的缓存方法、装置和服务器
CN102591443A (zh) * 2011-12-29 2012-07-18 华为技术有限公司 一种虚拟化集群整合方法、装置及系统
CN102999444A (zh) * 2012-11-13 2013-03-27 华为技术有限公司 一种用于替换缓存模块中数据的方法及装置
US20130282994A1 (en) * 2012-03-14 2013-10-24 Convergent.Io Technologies Inc. Systems, methods and devices for management of virtual memory systems
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN103927231A (zh) * 2014-03-31 2014-07-16 华中科技大学 一种面向数据处理的能耗优化数据集分配方法
US20160328179A1 (en) * 2015-05-08 2016-11-10 Micron Technology, Inc. Multiple virtually over-provisioned, virtual storage devices created from a single physical storage device
CN106527988A (zh) * 2016-11-04 2017-03-22 郑州云海信息技术有限公司 一种固态硬盘数据迁移的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022812A1 (en) * 2009-05-01 2011-01-27 Van Der Linden Rob Systems and methods for establishing a cloud bridge between virtual storage resources
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102521161A (zh) * 2011-11-21 2012-06-27 华为技术有限公司 一种数据的缓存方法、装置和服务器
CN102591443A (zh) * 2011-12-29 2012-07-18 华为技术有限公司 一种虚拟化集群整合方法、装置及系统
US20130282994A1 (en) * 2012-03-14 2013-10-24 Convergent.Io Technologies Inc. Systems, methods and devices for management of virtual memory systems
CN102999444A (zh) * 2012-11-13 2013-03-27 华为技术有限公司 一种用于替换缓存模块中数据的方法及装置
CN103927231A (zh) * 2014-03-31 2014-07-16 华中科技大学 一种面向数据处理的能耗优化数据集分配方法
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
US20160328179A1 (en) * 2015-05-08 2016-11-10 Micron Technology, Inc. Multiple virtually over-provisioned, virtual storage devices created from a single physical storage device
CN106527988A (zh) * 2016-11-04 2017-03-22 郑州云海信息技术有限公司 一种固态硬盘数据迁移的方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262758A (zh) * 2019-06-28 2019-09-20 深信服科技股份有限公司 一种数据存储管理方法、系统及相关设备
CN110262758B (zh) * 2019-06-28 2023-07-14 深信服科技股份有限公司 一种数据存储管理方法、系统及相关设备
CN112000426A (zh) * 2020-07-24 2020-11-27 新华三大数据技术有限公司 一种数据处理方法及装置
CN112000426B (zh) * 2020-07-24 2022-08-30 新华三大数据技术有限公司 一种数据处理方法及装置
CN111880739A (zh) * 2020-07-29 2020-11-03 北京计算机技术及应用研究所 一种面向超融合设备的近数据处理系统
CN111880900A (zh) * 2020-07-29 2020-11-03 北京计算机技术及应用研究所 一种面向超融合设备的近数据处理系统的设计方法
CN112631734A (zh) * 2020-12-30 2021-04-09 北京天融信网络安全技术有限公司 虚拟机镜像文件的处理方法、装置、设备和存储介质
CN113064553A (zh) * 2021-04-02 2021-07-02 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN113064553B (zh) * 2021-04-02 2023-02-17 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN117991997A (zh) * 2024-04-07 2024-05-07 深圳市铨兴科技有限公司 一种磁盘存储负载均衡的方法和装置
CN117991997B (zh) * 2024-04-07 2024-06-11 深圳市铨兴科技有限公司 一种磁盘存储负载均衡的方法和装置

Also Published As

Publication number Publication date
CN108932150B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN108932150B (zh) 基于ssd和磁盘混合存储的缓存方法、装置及介质
WO2021218038A1 (zh) 一种存储系统、内存管理方法和管理节点
Yang et al. AutoReplica: automatic data replica manager in distributed caching and data processing systems
CN103595780B (zh) 基于消重的云计算资源调度方法
CN104809076B (zh) Cache的管理方法及装置
Tai et al. Improving flash resource utilization at minimal management cost in virtualized flash-based storage systems
US11169927B2 (en) Efficient cache management
CN105938458B (zh) 软件定义的异构混合内存管理方法
CN105183839A (zh) 一种基于Hadoop的小文件分级索引的存储优化方法
US10387309B2 (en) High-performance distributed caching
CN104317742A (zh) 一种优化空间管理的自动精简配置方法
CN103139300A (zh) 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN101594309A (zh) 集群系统中内存资源的管理方法、设备及网络系统
CN106534308A (zh) 一种分布式存储系统中解决数据块访问热点的方法及装置
CN110795213A (zh) 一种虚拟机迁移过程中活跃内存预测迁移方法
CN107957962A (zh) 一种面向大图计算高效图划分方法与系统
CN110516119A (zh) 一种自然资源场景数据的组织调度方法、装置和存储介质
Guo et al. HP-mapper: A high performance storage driver for docker containers
WO2023246754A1 (zh) 一种数据重删方法及相关系统
CN119129683B (zh) 基于多gpu多ssd的图神经网络训练加速方法及系统
Yang et al. Automatic and Scalable Data Replication Manager in Distributed Computation and Storage Infrastructure of Cyber-Physical Systems.
CN106326143B (zh) 一种缓存分配、数据访问、数据发送方法、处理器及系统
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
CN107357532A (zh) 一种新型集群存储新型缓存预读实现方法
CN116954506A (zh) 一种大数据平台下小文件分块合并方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20250319

Address after: Room 1603, 16th Floor, Building 8, No. 10 Kegu 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing 100176

Patentee after: Beijing Xingyun Numerical Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Ministry of justice, Zhongxing building, South Science and technology road, Nanshan District hi tech Industrial Park, Shenzhen, Guangdong

Patentee before: ZTE Corp.

Country or region before: China

TR01 Transfer of patent right