CN111930315A - 数据访问方法、数据访问装置及存储介质 - Google Patents

数据访问方法、数据访问装置及存储介质 Download PDF

Info

Publication number
CN111930315A
CN111930315A CN202010849743.1A CN202010849743A CN111930315A CN 111930315 A CN111930315 A CN 111930315A CN 202010849743 A CN202010849743 A CN 202010849743A CN 111930315 A CN111930315 A CN 111930315A
Authority
CN
China
Prior art keywords
data block
server
hot spot
data
data blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010849743.1A
Other languages
English (en)
Inventor
张朝潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202010849743.1A priority Critical patent/CN111930315A/zh
Publication of CN111930315A publication Critical patent/CN111930315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质，所述数据访问方法包括：获取数据块与服务器之间对应关系；确定出所述分布式存储系统中的数据块中存在的热点数据块；所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。本申请实施例中，将确定出的热点数据块迁移至本地服务器，以在数据读取时，通过分布式存储系统读取数据块，对于确定出的热点数据块可以直接从本地服务器中进行读取然后合并，获得所需数据，使得读取IO访问的路径缩短，降低读取IO延迟，提升用户体验。

Description

数据访问方法、数据访问装置及存储介质
技术领域
本申请涉及计算机存储技术领域，特别涉及一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质。
背景技术
随着信息技术的发展，超融合系统近年来在私有云领域快速发展，超融合系统的核心为计算与存储融合部署，其中存储通常采用分布式存储架构，在系统中添加新的物理存储节点即可扩展计算资源与存储资源。
目前分布式存储都是把一块数据按照固定的大小分成若干份，然后把这些小数据块分散地保存到整个超融合系统中的各个物理存储节点上。随着时间的推移，存储的数据总量增长迅速，各个物理存储节点的存储数据都需通过TCP/IP网络进行传输，由于物理网络的特性，在需要读取各个物理存储节点上的数据库时，效率较低，分布式存储的IO延迟成为制约整个超融合系统发展的瓶颈。此外，超融合系统中，如进行虚拟机迁移时，现有技术中通常将虚拟机磁盘上的数据整体进行拷贝后传输至目标物理主机，由于数据量较大，传输时间长，而且数据传输时也会占据网络宽带，数据迁移成本高，影响用户体验。
发明内容
为了解决上述技术问题，本申请提供了一种基于分布式存储系统的数据访问方法、数据访问装置及存储介质。
本申请的实施例采用了如下技术方案：
一种基于分布式存储系统的数据访问方法，包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
在本申请的一些实施例中，所述获取数据块与服务器之间对应关系，具体包括：
基于数据映射表获取数据块与服务器之间对应关系；
所述数据映射表包括：本地映射表和远程映射表，所述本地映射表用于记录数据块分布在本地服务器的具体位置的对应关系，所述远程数据映射表用于记录数据块分布在远程服务器的具体位置的对应关系。
在本申请的一些实施例中，应用于虚拟机的迁移时的数据迁移，所述方法具体包括：
确定出本地服务器中存在的热点数据块；
随所述虚拟机从本地服务器迁移至远程服务器，将所述热点数据块从本地服务器迁移至远程服务器，以实现热点数据块的本地化访问。
在本申请的一些实施例中，虚拟机迁移至第二服务器之后，所述方法具体包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
在本申请的一些实施例中，所述获取数据块与服务器之间对应关系，包括：获取数据块与服务器之间更新后的对应关系。
在本申请的一些实施例中，所述获取数据块与服务器之间更新后的对应关系，具体包括：
更新数据映射表，以更新在虚拟机迁移至第二服务器之后，数据块相对于第二服务器在各自服务器上的分布位置的对应关系。
在本申请的一些实施例中，所述确定出所述分布式存储系统中的数据块中存在的热点数据块，具体方式包括：
统计数据块的每秒读取次数，确定所述数据块的每秒读取次数超过热点访问阈值时，则确定所述数据块为热点数据块。
本申请实施例还提供了一种基于分布式存储系统的数据访问装置，包括：
获取模块，用于获取数据块与服务器之间对应关系；
热点数据块确定模块，用于确定出所述分布式存储系统中的数据块中存在的热点数据块；
转移模块，用于在所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
在本申请的一些实施例中，所述获取模块还可用于获取数据块的每秒读取次数，并对数据块的每秒读取次数进行统计，以确定出热点数据块。
本申请实施例还提供了一种存储介质，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行时实现如上所述方法的步骤。
本申请实施例的有益效果在于：通过将确定出的热点数据块迁移至本地服务器，以在数据读取时，通过分布式存储系统读取数据块，对于确定出的热点数据块可以直接从本地服务器中进行读取然后合并，获得所需数据，本申请实施例避免了迁移整个副本数据造成的存储系统的负载，同时对确定出的热点数据块进行迁移至本地服务器，缩短读取IO访问路径，降低读取IO延迟，提升用户体验。
附图说明
图1为本申请实施例的基于分布式存储系统的数据访问方法的流程图；
图2为本申请实施例的基于分布式存储系统的数据访问方法的另一实施例的流程图；
图3为本申请实施例中的数据访问装置的框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
分布式存储系统中，在存储数据时，通常会将一个数据基于预定规则分割成若干个数据块，再将若干个数据块分散存储至集群中的各个服务器上，在读取数据时，需要通过分布式存储系统进行数据块的读取，分布式存储系统将所需要的数据块从各个服务器中读取然后进行合并，合并后获得所需读取的数据。
本申请实施例提供的一种基于分布式存储系统的数据访问方法，通过确定出热点数据块，并根据数据块在服务器上的存储位置关系，将远程服务器中的热点数据块迁移至本地服务器中，图1为本申请实施例的数据访问方法的流程图，参见图1所示，本申请实施例的数据访问方法具体包括如下步骤：
S101，获取数据块与服务器之间对应关系；
本步骤中，分布式存储系统中，包括多个存储节点，具体可设置服务器作为存储节点用于存储数据。获取数据块与服务器之间对应关系，包括获取数据块在服务器上的存储位置，具体的，至少包括两个服务器作为存储节点，在本文中，可以将数据读取客户端所在的服务器归纳为本地服务器，其他的服务器归纳为远程服务器，读取数据时，通过分布式存储系统读取各个服务器中的数据块，此时需要获取数据块与服务器之间对应关系，具体包括获取数据块存储在本地服务器或是远程服务器的具体位置。
S102，确定出所述分布式存储系统中的数据块中存在的热点数据块。
本步骤中，可以在本申请各实施例执行的各个阶段，例如执行之前、执行过程中等等阶段，确定出所述分布式存储系统中的数据块中哪一些是热点数据块，针对分布式存储系统中的数据块，可以统计每个数据块的访问频率，例如，确定所述数据块的访问频率高于预设的访问频率时，则确定所述数据块为热点数据块。
S103，所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
本步骤中，确定出热点数据块之后，根据数据块与服务器之间的对应关系，在热点数据块属于远程服务器时，将该热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。具体的，在数据读取时，由分布式存储系统确定数据块的读取，根据确定出的热点数据块，若其中一个或多个热点数据块存储在远程服务器上时，可将该一个或多个热点数据块从远程服务器移动到本地服务器中，从而将热点数据块存储于本地服务器中，以使得热点数据块可以直接从本地服务器中读取，实现热点数据块的本地化访问。
本申请实施例中，通过将确定出的热点数据块迁移至本地服务器，以在数据读取时，通过分布式存储系统读取数据块，对于确定出的热点数据块可以直接从本地服务器中进行读取然后合并，获得所需数据，本申请实施例避免了迁移整个副本数据造成的存储系统的负载，同时对确定出的热点数据块进行迁移至本地服务器，缩短读取IO访问路径，降低读取IO延迟，提升用户体验。
在一些实施例中，所述获取数据块与服务器之间对应关系，具体包括：
基于数据映射表获取数据块与服务器之间对应关系；具体实施中，可以遍历分布式存储系统中各个服务器上的数据块，获取数据块在服务器上的分布信息，根据分布信息中数据块的存储路径创建数据块的存储位置目录，从而生成能反应数据块和服务器之间的关系的数据映射表。
所述数据映射表包括：本地映射表和远程映射表；具体实施中，可以遍历分布式存储系统中本地服务器上的数据块，获取数据块在本地服务器上的分布信息，根据本地服务器上的数据块分布信息中的存储路径创建数据块的存储位置目录，从而生成能记录数据块存储在本地服务器的具体位置的本地映射表；同样地，可以遍历分布式存储系统中各个远程服务器上的数据块，获取数据块在远程服务器上的分布信息，根据分布信息中数据块在远程服务器上的存储路径创建数据块的存储位置目录，从而生成能记录数据块在远程服务器的具体位置的远程映射表。
在一些实施例中，应用于虚拟机的迁移时的数据迁移，参见图2所示，所述方法具体包括：
S201，确定出本地服务器中存在的热点数据块。
本步骤中，虚拟机完成热点数据块的本地化访问之后，出于负载均衡的考虑，或者是人为操作的情况下，虚拟机需要从本地服务器迁移至第二服务器，所述第二服务器为虚拟机迁移之前的远程服务器；具体的，在进行数据迁移时，首先需要确定出本地服务器中的热点数据块，具体可以统计本地服务器中的数据块的访问频率，当确定所述数据块的访问频率高于预设的访问频率时，则确定所述数据块为热点数据块。
S202，随所述虚拟机从本地服务器迁移至远程服务器，将所述热点数据块从本地服务器迁移至远程服务器，以实现热点数据块的本地化访问。
本步骤中，虚拟机从本地服务器迁移至第二服务器上后，基于虚拟机迁移之前的本地服务器的本地化访问不适用于本申请各实施例的应用场景，由此需要将热点数据块迁移至第二服务器中，以实现虚拟机迁移后的数据本地化访问。具体的，根据确定出的热点数据块，将所述热点数据块从迁移前的本地服务器中移动到第二服务器中，从而将热点数据块存储于第二服务器中，以在虚拟机迁移至第二服务器之后，优先实现热点数据块的本地化迁移。
在一些实施例中，虚拟机迁移至第二服务器之后，所述方法具体包括：
S301，获取数据块与服务器之间对应关系。
本步骤中，获取数据块与服务器之间对应关系，可以包括获取数据块在具体服务器上的存储位置，具体实施中，在虚拟机迁移至第二服务器之后，此时第二服务器作为虚拟机所在的本地服务器，其他服务器为虚拟机的远程服务器，虚拟机在读取数据时，通过分布式存储系统读取数据块，此时需要获取数据块与服务器之间对应关系，具体包括获取数据块存储在本地服务器或是远程服务器的具体位置。
S302，确定出所述分布式存储系统中的数据块中存在的热点数据块。
本步骤中，可以结合前文所述内容，确定出所述分布式存储系统中的数据块中哪一些是热点数据块，针对分布式存储系统中的数据块，可以统计每个数据块的访问频率，当确定所述数据块的访问频率高于预设的访问频率时，则确定所述数据块为热点数据块。
S303，所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
本步骤中，确定出热点数据块之后，根据数据块与服务器之间的对应关系，在热点数据块属于远程服务器时，将该热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。具体的，在虚拟机迁移至第二服务器之后，第二服务器成为本地服务器，其他服务器成为远程服务器。在虚拟机进行数据读取时，由分布式存储系统确定数据块的读取，根据确定出的热点数据块，若其中一个或多个热点数据块存储在远程服务器上时，可将该一个或多个热点数据块从远程服务器移动到本地服务器，也就是第二服务器上，从而将热点数据块存储于本地服务器中，以使得热点数据块可以直接从本地服务器中读取，实现热点数据块的本地化访问。
进一步的，获取数据块与服务器之间对应关系，包括：获取数据块与服务器之间更新后的对应关系；虚拟机迁移至第二服务器之后，相对于虚拟机的本地服务器和远程服务器发生了改变，数据块与服务器之间的对应关系也产生相应地更新，例如：在虚拟机迁移之前，存储在本地服务器上的数据块a，在虚拟机迁移至第二服务器之后，数据块a的存储位置不再是本地服务器，而是远程服务器；相应地，在虚拟机迁移之前，存储在第二服务器上的数据块b，属于存储在远程服务器上的数据块，在虚拟机迁移至第二服务器之后，数据块b存储位置属于本地服务器，数据块和服务器之间的对应关系发了变化，需进行相应的更新。
在一些实施例中，所述获取数据块与服务器之间更新后的对应关系，具体包括：更新数据映射表，以更新在虚拟机迁移至第二服务器之后，数据块相对于第二服务器在各自服务器上的分布位置的对应关系。具体实施中，在虚拟机迁移至第二服务器后，虚拟机迁移前的本地服务器中的数据块集合A在虚拟机迁移后，成为了存储在远程服务器中的数据，而第二服务器中的数据块集合B在虚拟机迁移后，成为了存储在本地服务器中的数据，存储于除了第二服务器的其他远程服务器中的数据块集合C，存储位置记录仍然保持不变；因此虚拟机迁移后，将数据块集合A的存储位置记录到远程映射表中，数据块集合C的存储位置仍然记录在远程映射表中，数据块集合B的存储位置记录在本地映射表中，从而更新数据块与服务器之间的对应关系。
在一些实施例中，所述确定出所述分布式存储系统中的数据块中存在的热点数据块，具体方式包括：统计数据块的每秒读取次数，确定所述数据块的每秒读取次数超过热点访问阈值时，则确定所述数据块为热点数据块。具体实施中，可根据网络特性或者服务器的存储空间大小设定热点访问阈值，统计分布式存储系统中的数据块的访问频率，可以包括数据块的每秒读取次数，数据的每秒读取次数超过热点访问阈值时，确定该数据块为热点数据块。
本申请实施例还提供了一种基于分布式存储系统的数据访问装置10，参见图3所示，包括：
获取模块11，用于获取数据块与服务器之间对应关系。
本步骤中，分布式存储系统中，包括多个存储节点，具体可设置服务器作为存储节点用于存储数据。通过获取模块11获取数据块与服务器之间对应关系，包括获取数据块在服务器上的存储位置，具体的，至少包括两个服务器作为存储节点，数据读取客户端所在的服务器为本地服务器，其他的服务器为远程服务器，读取数据时，通过分布式存储系统读取各个服务器中的数据块，此时需要通过获取模块11来获取数据块与服务器之间对应关系，具体包括获取数据块存储在本地服务器或是远程服务器的具体位置。
热点数据块确定模块12，用于确定出所述分布式存储系统中的数据块中存在的热点数据块。
本步骤中，可通过热点数据块确定模块12确定出所述分布式存储系统中所存在的热点数据块，针对分布式存储系统中的数据块，可以统计每个数据块的访问频率，当确定所述数据块的访问频率高于预设的访问频率时，则确定所述数据块为热点数据块。
转移模块13，用于在所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
本步骤中，确定出热点数据块之后，根据数据块与服务器之间的对应关系，在热点数据块属于远程服务器时，通过转移模块13将该热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。具体的，在数据读取时，由分布式存储系统确定数据块的读取，根据确定出的热点数据块，若其中一个或多个热点数据块存储在远程服务器上时，可通过转移模块13将该一个或多个热点数据块从远程服务器移动到本地服务器中，从而将热点数据块存储于本地服务器中，以使得热点数据块可以直接从本地服务器中读取，实现热点数据块的本地化访问。
在一些实施例中，所述获取模块11还可用于获取数据块的每秒读取次数，并对数据块的每秒读取次数进行统计，以确定出热点数据块。
本申请实施例还提供一种存储介质，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行时实现任一实施例所述方法的步骤。
本实施例中的存储介质可以是电子设备/系统中所包含的；也可以是单独存在，而未装配入电子设备/系统中。上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本申请实施例的方法。
根据本申请的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于分布式存储系统的数据访问方法，其特征在于，包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
2.根据权利要求1所述的方法，其特征在于，所述获取数据块与服务器之间对应关系，具体包括：
基于数据映射表获取数据块与服务器之间对应关系；
所述数据映射表包括：本地映射表和远程映射表，所述本地映射表用于记录数据块分布在本地服务器的具体位置的对应关系，所述远程数据映射表用于记录数据块分布在远程服务器的具体位置的对应关系。
3.根据权利要求1所述的方法，其特征在于，应用于虚拟机的迁移时的数据迁移，所述方法具体包括：
确定出本地服务器中存在的热点数据块；
随所述虚拟机从本地服务器迁移至远程服务器，将所述热点数据块从本地服务器迁移至远程服务器，以实现热点数据块的本地化访问。
4.根据权利要求3所述的方法，其特征在于，虚拟机迁移至第二服务器之后，所述方法具体包括：
获取数据块与服务器之间对应关系；
确定出所述分布式存储系统中的数据块中存在的热点数据块；
所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
5.根据权利要求4所述的方法，其特征在于，所述获取数据块与服务器之间对应关系，包括：获取数据块与服务器之间更新后的对应关系。
6.根据权利要求5所述的方法，其特征在于，所述获取数据块与服务器之间更新后的对应关系，具体包括：
更新数据映射表，以更新在虚拟机迁移至第二服务器之后，数据块相对于第二服务器在各自服务器上的分布位置的对应关系。
7.根据权利要求1-6所述的方法，其特征在于，所述确定出所述分布式存储系统中的数据块中存在的热点数据块，具体方式包括：
统计数据块的每秒读取次数，确定所述数据块的每秒读取次数超过热点访问阈值时，则确定所述数据块为热点数据块。
8.一种基于分布式存储系统的数据访问装置，其特征在于，包括：
获取模块，用于获取数据块与服务器之间对应关系；
热点数据块确定模块，用于确定出所述分布式存储系统中的数据块中存在的热点数据块；
转移模块，用于在所述热点数据块属于远程服务器时，将所述热点数据块从远程服务器迁移至本地服务器上，以实现热点数据块的本地化访问。
9.根据权利要求8所述的数据访问装置，其特征在于，所述获取模块还可用于获取数据块的每秒读取次数，并对数据块的每秒读取次数进行统计，以确定出热点数据块。
10.一种存储介质，所述存储介质承载有一个或者多个计算机程序，其特征在于，所述一个或者多个计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202010849743.1A 2020-08-21 2020-08-21 数据访问方法、数据访问装置及存储介质 Pending CN111930315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849743.1A CN111930315A (zh) 2020-08-21 2020-08-21 数据访问方法、数据访问装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849743.1A CN111930315A (zh) 2020-08-21 2020-08-21 数据访问方法、数据访问装置及存储介质

Publications (1)

Publication Number Publication Date
CN111930315A true CN111930315A (zh) 2020-11-13

Family

ID=73305484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849743.1A Pending CN111930315A (zh) 2020-08-21 2020-08-21 数据访问方法、数据访问装置及存储介质

Country Status (1)

Country Link
CN (1) CN111930315A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363676A (zh) * 2020-11-18 2021-02-12 无锡江南计算技术研究所 基于低访问延迟分布式存储系统的控制方法及系统
WO2023010948A1 (zh) * 2021-08-02 2023-02-09 中兴通讯股份有限公司 云桌面数据的迁移方法、业务节点、管理节点、服务器、电子设备和计算机可读存储介质
CN118426963A (zh) * 2024-05-14 2024-08-02 北京墨星球科技有限公司 一种分布式缓存热点数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605578A (zh) * 2013-12-09 2014-02-26 武汉理工大学 基于虚拟机迁移的负载均衡调度方法
CN103617090A (zh) * 2013-12-10 2014-03-05 浪潮电子信息产业股份有限公司 一种基于分布式管理的节能方法
CN104506589A (zh) * 2014-12-10 2015-04-08 上海爱数软件有限公司 一种基于超融合存储的资源迁移调度方法
CN105991687A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种服务管理方法和装置
CN110297783A (zh) * 2019-07-03 2019-10-01 西安邮电大学 基于实时动态迁移机制的分布式cache结构

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605578A (zh) * 2013-12-09 2014-02-26 武汉理工大学 基于虚拟机迁移的负载均衡调度方法
CN103617090A (zh) * 2013-12-10 2014-03-05 浪潮电子信息产业股份有限公司 一种基于分布式管理的节能方法
CN104506589A (zh) * 2014-12-10 2015-04-08 上海爱数软件有限公司 一种基于超融合存储的资源迁移调度方法
CN105991687A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种服务管理方法和装置
CN110297783A (zh) * 2019-07-03 2019-10-01 西安邮电大学 基于实时动态迁移机制的分布式cache结构

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363676A (zh) * 2020-11-18 2021-02-12 无锡江南计算技术研究所 基于低访问延迟分布式存储系统的控制方法及系统
WO2023010948A1 (zh) * 2021-08-02 2023-02-09 中兴通讯股份有限公司 云桌面数据的迁移方法、业务节点、管理节点、服务器、电子设备和计算机可读存储介质
CN118426963A (zh) * 2024-05-14 2024-08-02 北京墨星球科技有限公司 一种分布式缓存热点数据处理方法及装置

Similar Documents

Publication Publication Date Title
US9830101B2 (en) Managing data storage in a set of storage systems using usage counters
CN111930315A (zh) 数据访问方法、数据访问装置及存储介质
CN104679661B (zh) 混合存储的控制方法及混合存储系统
US9037828B2 (en) Transferring storage resources between snapshot storage pools and volume storage pools in a data storage system
US20150006581A1 (en) Method for a Storage Device Accessing a File and Storage Device
EP3076307A1 (en) Method and device for responding to a request, and distributed file system
CN107302561B (zh) 一种云存储系统中热点数据副本放置方法
US20130055371A1 (en) Storage control method and information processing apparatus
US11354050B2 (en) Data processing method, apparatus, and computing device
CN105027069A (zh) 卷区域的重复数据删除
JP6388339B2 (ja) 分散キャッシングおよびキャッシュ分析
US8631201B2 (en) Dynamic allocation of virtualization function types to RAID levels
US11175846B2 (en) Data co-location in a hierarchical storage management (HSM) system
US11320988B2 (en) Method, apparatus and computer program product for managing disk array
US11385823B2 (en) Method, electronic device and computer program product for rebuilding disk array
CN111857559A (zh) 用于管理元数据的方法、装置和计算机程序产品
CN113946291A (zh) 数据访问方法、装置、存储节点及可读存储介质
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN111857557B (zh) Raid类型转换的方法、设备和计算机程序产品
CN113885797B (zh) 一种数据存储方法、装置、设备及存储介质
CN110941511A (zh) 一种快照合并方法、装置、设备及存储介质
CN116700606A (zh) 数据存储方法、装置、设备及存储介质
CN110708375A (zh) 一种数据处理方法、装置及系统
CN106909472B (zh) 一种分布式文件系统的输入/输出负载调整方法及装置
CN114490517A (zh) 数据处理方法、装置、计算节点以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113

RJ01 Rejection of invention patent application after publication