CN113220233A - 数据读取方法、装置及系统 - Google Patents

数据读取方法、装置及系统 Download PDF

Info

Publication number
CN113220233A
CN113220233A CN202110528190.4A CN202110528190A CN113220233A CN 113220233 A CN113220233 A CN 113220233A CN 202110528190 A CN202110528190 A CN 202110528190A CN 113220233 A CN113220233 A CN 113220233A
Authority
CN
China
Prior art keywords
data
read
solid state
file
state disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110528190.4A
Other languages
English (en)
Inventor
邢布飞
邹永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110528190.4A priority Critical patent/CN113220233A/zh
Publication of CN113220233A publication Critical patent/CN113220233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种数据读取方法、装置及系统，涉及数据处理技术领域中的大数据和信息流技术领域。方法应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据，方法包括：接收数据读取请求，数据读取请求用于请求读取目标表格的待读取数据，若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，从待读取数据所在的固态硬盘中获取并输出待读取数据，避免了增加缓存扩展存储空间造成的成本偏高的问题，实现节约成本，且可以实现固态硬盘的资源合理利用，还可以提高数据读取效率。

Description

数据读取方法、装置及系统
技术领域
本公开涉及数据处理技术领域中的大数据和信息流技术领域，尤其涉及一种数据读取方法、装置及系统。
背景技术
随着数据量地增长，分布式表格存储系统作为一个高性能、可伸缩的结构化数据存储系统，被应用于对数据的管理，如数据的存储和读取等。
在现有技术中，分布式表格存储系统的存储设备通常采用缓存(cache)和机械硬盘相结合的方式对数据进行管理，在读取某数据时，若该数据存储于缓存中，则从缓存中读取该数据，若缓存中没有存储该数据，则从机械硬盘中读取该数据。
然而，缓存的存储空间有限，可能造成读取到数据的可靠性偏低的弊端，而从机械硬盘中读取数据会造成数据读取速度慢的弊端。
发明内容
本公开提供了一种用于提高数据读取速度的数据读取方法、装置及系统。
根据本公开的第一方面，提供了一种数据读取方法，所述方法应用于分布式表格存储系统的存储设备，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，所述表格中的每一数据具有一个位置组级别，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据；所述方法包括：
接收数据读取请求，其中，所述数据读取请求用于请求读取目标表格的待读取数据；
若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取并输出所述待读取数据。
根据本公开的第二方面，提供了一种数据读取装置，所述装置应用于分布式表格存储系统的存储设备，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，所述表格中的每一数据具有一个位置组级别，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据；所述装置包括：
接收单元，用于接收数据读取请求，其中，所述数据读取请求用于请求读取目标表格的待读取数据；
第一获取单元，用于若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取所述待读取数据；
输出单元，用于输出所述待读取数据。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
根据本公开的第六方面，提供了一种数据读取系统，包括：用于分布式表格存储系统的存储设备、以及如第一方面所述的装置，其中，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是相关技术中存储设备的示意图；
图2是根据本公开第一实施例的示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开第四实施例的示意图；
图6是根据本公开第五实施例的示意图；
图7是根据本公开第六实施例的示意图；
图8是根据本公开第七实施例的示意图；
图9是用来实现本公开实施例的数据读取方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是相关技术中存储设备的示意图，存储设备用于存储数据。如图1所示，存储设备包括：缓存和机械硬盘(Mechanical hard disk，HDD)。
一般而言，缓存中存储有少量的数据，且该少量的数据通常为使用率偏高的数据；机械硬盘中存储有全部数据。
其中，应用于如图1所示的存储设备的数据读取的方法为：当接收到数据读取请求时，先确定数据读取请求对应的待读取数据是否被存储于缓存中，如果待读取数据被存储于缓存中，则从缓存中获取并输出待读取数据，如果缓存中没有待存储数据，则从机械硬盘中获取并输出待读取数据。
相对而言，缓存的存储空间相对较小，可以存储的数据的量相对较少，因此，大部分数据无法从缓存中直接获取，而需要从机械硬盘中获取，因此，可能造成数据读取的效率偏低的技术问题。
在一些实施例中，可以通过扩展缓存的方式，以便增加各缓存用于存储数据的存储空间。但是，缓存的成本相对偏高，通过增加缓存的方式容易造成数据存储的成本偏高的技术问题，且当存储设备故障或断电等异常情况发生时，可能造成缓存中的数据丢失的问题，则可能造成数据读取的可靠性偏低的技术问题。
为了解决上述技术问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：存储装置包括用于存储数据的固态硬盘(Solid State Disk或SolidState Drive，SSD)若缓存中没有读取到待读取数据，则从固态硬盘中读取位置组级别大于级别阈值的待读取数据。
基于上述发明构思，本公开提供一种数据读取方法、装置及存储设备，应用于数据处理技术领域中的大数据和信息流技术领域，以达到节约数据的存储成本，提高数据读取效率。
图2是根据本公开第一实施例的示意图，如图2所示，本实施例的数据读取方法包括：
S201：接收数据读取请求。
其中，本实施例提供的数据读取方法可以应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据，数据读取请求用于请求读取目标表格的待读取数据。
示例性地，本实施例的数据读取方法的执行主体可以为数据读取装置，且数据读取装置可以为存储设备，存储设备具体可以为服务器(如云端服务器，或者，本地服务器)，也可以为终端设备，数据读取装置也可以为处理器，数据读取装置也可以为芯片等，本实施例不做限定。
值得说明地是，在本实施例中，存储设备包括缓存和固态硬盘，其中，缓存和固态硬盘分别对表格的数据进行分布式存储，且在一些实施例中，固态硬盘的数量为一个，在另一些实施例中，固态硬盘的数量为多个，即本实施例对固态硬盘的数量不做限定。
表格中包括多个列的数据，可以通过为不同的列的数据分配不同的位置组级别，以便实现不同的列之间的数据的独立存储，如针对部分列中的数据，可以存储与固态硬盘中，而针对其他列的数据，可以不存储于固态硬盘中，如可以存储至后文中阐述的机械硬盘中，且存储至固态硬盘中的数据的位置组级别大于级别阈值。
其中，级别阈值可以由数据读取装置基于需求、历史记录、以及试验等方式进行设置，本实施例不做限定。
S202：若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，则从待读取数据所在的固态硬盘中获取并输出待读取数据。
该步骤可以理解为：数据读取装置可以先确定待读取数据是否被存储于缓存中，如果待读取数据未被存储于缓存，即缓存中并没有存储待读取数据，由于固态硬盘中存储的数据为位置组级别大于级别阈值的数据，则数据读取装置可以进一步判断待读取数据的位置组级别与级别阈值的大小，如果待读取数据的位置组级别大于级别阈值，则说明待读取数据被存储于固态硬盘中，则从存储将读取数据的固态硬盘中获取待读取数据，并输出待读取数据。
基于上述分析可知，本实施例提供了一种数据读取方法，该方法应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据，该方法包括：接收数据读取请求，其中，数据读取请求用于请求读取目标表格的待读取数据，若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，则从待读取数据所在的固态硬盘中获取并输出待读取数据，在本实施例中，通过引入：在固态硬盘中存储数据，且固态硬盘中存储的为位置组级别大于级别阈值的数据，以便从固态硬盘中读取位置组级别大于级别阈值的待读取数据的特征，一方面，可以避免通过增加缓存扩展存储空间时造成的成本偏高的技术问题，实现了节约成本；另一方面，通过结合数据的位置组级别在固态硬盘中存储数据，可以实现固态硬盘的资源合理利用；再一方面，相对于从机械硬盘中读取数据，采用本实施例的从固态硬盘中读取数据，可以提高数据读取的效率。
图3是根据本公开第二实施例的示意图，如图3所示，本实施例的数据读取方法包括：
S301：接收数据读取请求。
其中，本实施例提供的数据读取方法可以应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据，数据读取请求用于请求读取目标表格的待读取数据。
示例性地，关于S301地描述，可以参见第一实施例，此处不再赘述。
S302：判断待读取数据是否存储于缓存中，若是，则执行S303；若否，则执行S304。
S303：从缓存中获取并输出待读取数据。
本实施例可以理解为：缓存中可能存储有待读取数据，也可能没有存储待读取数据，数据读取装置对缓存中是否存储有待读取数据进行判断，如果数据读取装置确定缓存中存储有待读取数据，则可以从缓存中获取并输出待读取数据。
在一些实施例中，数据读取装置可以预先设置数据与存储位置的索引，以便当数据读取装置接收到数据读取请求时，基于该索引确定与待读取数据的存储位置，从而基待读取数据的存储位置确定待读取数据是否存储于缓存中。
应该理解地是，上述示例只是用于示范性地说明，数据读取装置确定缓存中是否存储有待读取数据的可能实现方式，而不能理解为对数据读取装置确定缓存中是否存储有待读取数据的方式地限定。
值得说明地是，在本实施例中，在缓存中存储存储有待读取数据时，数据读取装置从缓存中获取待读取数据，可以提高对待读取数据进行读取的效率的技术效果。
S304：从预设的标识与位置组级别之间的映射关系中，确定与待读取数据的标识对应的位置组级别。
其中，数据读取请求中携带待读取数据的标识。
结合上述分析可知，数据具有位置组级别，位置组级别大于级别阈值的数据被存储于固态硬盘，在本实施例中，可以通过预先构建映射关系，以便基于映射关系表征数据与位置组级别之间的对应关系。
在一些实施例中，映射关系是基于分布式表格存储系统中预设的数据库对象(schema)的集合确定的。
S305：判断待读取数据的位置组级别是否大于级别阈值，若是，则执行S306；若否，则执行S307。
S306：从待读取数据所在的固态硬盘中获取并输出待读取数据。
本实施例可以理解为：缓存中可能存储有待读取数据，也可能没有存储待读取数据，数据读取装置对缓存中是否存储有待读取数据进行判断，如果数据读取装置确定缓存中没有存储待读取数据，则可以基于映射关系确定待读取数据的位置组级别，并继续判断待读取数据的位置组级别是否大于级别阈值，如果数据读取装置确定待读取数据的位置组级别大于级别阈值，则说明待读取数据被存储于固态硬盘中，则从待读取数据所在的固态硬盘中获取并输出待读取数据。
值得说明地是，在本实施例中，通过基于映射关系确定待读取数据的位置组级别，可以快速便捷地确定出待读取数据是否存储于固态硬盘，从而提高待读取数据被读取的效率的技术效果。
S307：从机械硬盘中获取输出待读取数据。
本实施例可以理解为：缓存中可能存储有待读取数据，也可能没有存储待读取数据，数据读取装置对缓存中是否存储有待读取数据进行判断，如果数据读取装置确定缓存中没有存储待读取数据，则可以基于映射关系确定待读取数据的位置组级别，并继续判断待读取数据的位置组级别是否大于级别阈值，如果数据读取装置确定待读取数据的位置组级别小于级别阈值，则说明待读取数据没有被存储于固态硬盘中，则从机械硬盘中获取并输出待读取数据。
值得说明地是，在本实施例中，通过若缓存和固态硬盘中均没有存储待读取数据时，从机械硬盘中读取待读取数据，可以使得读取数据具有较高的可靠性的技术效果，且通过结合缓存、固态硬盘、以及机械硬盘实现数据读取，可以提高数据读取的灵活性和多样性的技术效果。
图4是根据本公开第三实施例的示意图，如图4所示，本实施例的存储设备包括：缓存、n个固态硬盘(如图4中的固态硬盘1至固态硬盘n，n为大于等于1的正整数)、以及机械硬盘。
结合上述分析可知，缓存中可以存储少量数据，且存储的少量数据可以为使用效率偏高的数据，即缓存中用于存储少量被读取的次数较高的数据。
固态硬盘的数量可以基于需求、历史记录、以及试验等进行设置，如针对数据量较大的分布式表格存储系统，固态硬盘的数量可以相对较多，而针对数量较小的分布式表格存储系统，固态硬盘的数量可以相对较少。
机械硬盘用于存储全部数据，机械硬盘中的数据可以被存储至缓存中，也可以被存储至固态硬盘中。
基于存储设备的数据读取原理如下：
当接收到数据读取请求时，优先从缓存中获取与数据读取请求对应的待读取数据，以便提高数据读取的效率；若缓存中没有待读取数据，则从存储有待读取数据的固态硬盘中获取待读取数据，相对于从机械硬盘中读取待读取数据而言，可以提高读取数据的效率；若固态硬盘中没有待读取数据，则从机械硬盘中获取待读取数据。
图5是根据本公开第四实施例的示意图，如图5所示，本实施例的数据读取方法包括：
S501：获取文件调度任务。
其中，该方法应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘。
文件调度任务用于指示将机械硬盘中的待调度文件，调度至固态硬盘，待调度文件为包括待读取数据的文件。
示例性地，待调度文件中包括至少一个表格，某一表格中包括待读取数据。基于上述分析可知，固态硬盘用于存储位置组级别大于级别阈值的数据，则调度文件中的每一表格中的任意数据的位置组级别均大于级别阈值。
在一些实施例中，文件调度任务的生成的方法可以包括：确定机械硬盘中，每一文件的表格中的数据被读取的次数，并将被读取次数大于次数阈值(同理，可以基于需求、历史记录、以及试验等进行设置)的数据的位置组级别设置为大于级别阈值，相应地，大于级别阈值的位置组级别的数据的文件确定为文件调度任务中指示被调度至固态硬盘的待调度文件。
S502：确定每一固态硬盘的剩余存储空间，并将待调度文件存储至剩余存储空间大于待调度文件的存储空间的固态硬盘。
结合如图4所示的实施例，若固态硬盘的数量为n个，则确定n个固态硬盘中的每一固态硬盘的剩余存储空间，即得到n个剩余存储空间，并从n个存储空间中确定剩余存储空间大于待调度文件的存储空间的固态硬盘，以便将待调度文件存储至剩余存储空间大于待调度文件的存储空间的固态硬盘中。
值得说明地是，在本实施例中，通过将待调度文件存储至剩余存储空间大于待调度文件的存储空间的固态硬盘，可以实现以文件为单元对数据进行存储，可以提高数据存储时，节约将数据彼此独立的从机械硬盘调度至固态硬盘时的资源，提高调度的效率，且提高调度的灵活性。
在一些实施例中，n个固态硬盘中可能仅有一个固态硬盘的剩余存储空间大于待调度文件的存储空间，则可以将待调度文件调度至该剩余存储空间大于待调度文件的存储空间的固态硬盘，以满足待调度文件的存储需求，提高数据存储的可靠性，进而提高后续数据读取的准确性的技术效果。
在另一些实施例中，n个固态硬盘中可能有多个固态硬盘的剩余存储空间大于待调度文件的存储空间，则可以从n个剩余存储空间中，确定剩余存储空间最大的固态硬盘，并将待调度文件调度至该剩余存储空间最大的固态硬盘。
值得说明地是，在本实施例中，通过选择剩余存储空间最大的固态硬盘对待调度文件进行存储，可以实现各固态硬盘之间的负载均衡，提高固态硬盘的使用时间的技术效果。
在另一些实施例中，若剩余存储空间最大的固态硬盘的数量为多个，则可以将待调度文件随机存储至其中的一个固态硬盘。
基于上述分析可知，各固态硬盘中可能存在一个固态硬盘的剩余存储空间，大于待调度文件的存储空间；也可能存在多个固态硬盘的剩余存储空间，大于待调度文件的存储空间。在另一些实施例中，也可能每一固态硬盘的剩余存储空间，均小于待调度文件的存储空间。
示例性地，若每一剩余存储空间均小于待调度文件的存储空间，则可以根据最近最少使用(Least Recently Used，LRU)策略对任一固态硬盘中的至少部分原始数据进行清除处理，并将待调度文件存储至任一固态硬盘。
其中，至少部分原始数据的存储空间大于待调度文件的存储空间。
根据最近最少使用(Least Recently Used，LRU)策略对任一固态硬盘中的至少部分原始数据进行清除处理可以理解为，将预设时间段内的使用次数最少的数据进行清除处理。
结合上述示例，若n个固态硬盘的剩余存储空间均小于待调度文件的存储空间，则在n个固态硬盘中的任意一个硬盘中删除至少部分原始数据进行删除，且该至少部分原始数据的存储空间大于或等于待调度文件的存储空间，并将待调度文件调度至该固态硬盘中。
值得说明地是，在本实施例中，通过基于最近最少使用策略对某一固态硬盘中的至少部分原始数据进行清除处理，可以实现对固态硬盘的资源的释放，从而提高资源的利用率，以便在将待调度文件调度至该固态硬盘中，提高待调度文件中的数据被读取的效率的技术效果。
需要说明地是，在一些实施例中，可以基于最近最少使用策略分别对缓存和固态硬盘中的文件进行清除处理，以便对缓存和固态硬盘的存储资源进行释放，满足新的数据读取需求，从而提高数据读取的可靠性和效率的技术效果。
S503：生成并保存待调度文件的存储路径。
其中，存储路径用于确定待读取数据的存储位置。
示例性地，可以将存储路径存储至缓存中，以便当接收到数据读取请求时，基于存储于缓存中的存储路径确定与数据读取请求中的待读取数据的存储位置。
S504：接收数据读取请求。
其中，数据读取请求用于请求读取目标表格的待读取数据。
S505：根据存储路径确定用于存储待读取数据的固态硬盘，并从用于存储待读取文件的固态硬盘中获取并输出待读取数据。
值得说明地是，在本实施例中，通过根据存储路径确定用于存储待读取数据的固态硬盘，从而获取并输出待读取数据，可以提高数据读取的效率和可靠性的技术效果。
应该理解地是，上述将待调度文件从机械硬盘调度至固态硬盘的过程可以作为单独的实施例，也可以与数据读取的实施例一起，作为一个实施例，本实施例不做限定。
图6是根据本公开第五实施例的示意图，如图6所示，本实施例的数据读取装置600包括：
接收单元601，用于接收数据读取请求。
其中，该装置600应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据。数据读取请求用于请求读取目标表格的待读取数据。
第一获取单元602，用于若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，则从待读取数据所在的固态硬盘中获取待读取数据。
输出单元603，用于输出待读取数据。
图7是根据本公开第六实施例的示意图，如图7所示，本实施例的数据读取装置700包括：
第二获取单元701，用于获取文件调度任务.
其中，该装置700应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据。数据读取请求用于请求读取目标表格的待读取数据。
文件调度任务用于指示将存储设备中用于分布式存储表格的数据的机械硬盘中的待调度文件，调度至固态硬盘，待调度文件为包括待读取数据的文件。
确定单元702，用于确定每一固态硬盘的剩余存储空间。
第一存储单元703，用于将待调度文件存储至剩余存储空间大于待调度文件的存储空间的固态硬盘。
在一些实施例中，第一存储单元703用于，若至少一个固态硬盘中仅一个固态硬盘的剩余存储空间大于待调度文件的存储空间，则将待调度文件存储至剩余存储空间大于待调度文件的存储空间的固态硬盘中。
结合图7可知，在一些实施例中，第一存储单元703，包括：
第二确定子单元7031，用于若至少一个固态硬盘中的多个固态硬盘的剩余存储空间大于待调度文件的存储空间，则确定剩余存储空间大于待调度文件的存储空间的固态硬盘中，剩余存储空间最大的固态硬盘。
存储子单元7032，用于将待调度文件存储至剩余存储空间最大的固态硬盘。
生成单元704，用于生成待调度文件的存储路径，其中，存储路径用于确定待读取数据的存储位置。
保存单元705，用于存储待调度文件的存储路径。
接收单元706，用于接收数据读取请求。
第一获取单元707，用于若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，则从待读取数据所在的固态硬盘中获取待读取数据。
结合图7可知，在一些实施例中，第一获取单元707，包括：
第三确定子单元7071，用于根据存储路径确定用于存储待读取数据的固态硬盘。
第二获取子单元7072，用于从用于存储待读取文件的固态硬盘中获取待读取数据。
输出单元708，用于输出待读取数据。
图8是根据本公开第七实施例的示意图，如图8所示，本实施例的数据读取装置800包括：
第二获取单元801，用于获取文件调度任务.
其中，该装置800应用于分布式表格存储系统的存储设备，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，表格中的每一数据具有一个位置组级别，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据。数据读取请求用于请求读取目标表格的待读取数据。
文件调度任务用于指示将存储设备中用于分布式存储表格的数据的机械硬盘中的待调度文件，调度至固态硬盘，待调度文件为包括待读取数据的文件。
确定单元802，用于确定每一固态硬盘的剩余存储空间。
清除单元803，用于若每一剩余存储空间均小于待调度文件的存储空间，则根据最近最少使用策略对任一固态硬盘中的至少部分原始数据进行清除处理，其中，至少部分原始数据的存储空间大于或等于待调度文件的存储空间。
第二存储单元804，用于将待调度文件存储至任一固态硬盘。
生成单元805，用于生成待调度文件的存储路径，其中，存储路径用于确定待读取数据的存储位置。
保存单元806，用于存储待调度文件的存储路径。
接收单元807，用于接收数据读取请求。
第一获取单元808，用于若待读取数据未被存储于缓存、且待读取数据的位置组级别大于级别阈值，则从待读取数据所在的固态硬盘中获取待读取数据。
结合图8可知，在一些实施例中，第一获取单元808，包括：
第三确定子单元8081，用于根据存储路径确定用于存储待读取数据的固态硬盘。
第二获取子单元8082，用于从用于存储待读取文件的固态硬盘中获取待读取数据。
输出单元809，用于输出待读取数据。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如数据读取方法。例如，在一些实施例中，数据读取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的数据读取方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法数据读取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开实施例的另一个方面，本公开实施例还提供了一种数据读取系统，包括：用于分布式表格存储系统的存储设备、以及如上任一实施例所述的装置，其中，存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，每一固态硬盘用于存储位置组级别大于预设的级别阈值的数据。
在一些实施例中，存储设备还包括机械硬盘，机械硬盘用于存储位置组级别小于预设的级别阈值的数据。
值得说明地是，本实施例对数据读取系统的形态不做限定，例如，数据读取装置可以与存储设备一体集成，也可以为独立的设备；一个固态硬盘可以部署于不同的物理机(如服务器等)，也可以为多个固态硬盘部署于同一物理机；固态硬盘可以与机械硬盘集成于同一物理机，也可以分别设置于不同的物理机等，此处不再一一列举。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种数据读取方法，所述方法应用于分布式表格存储系统的存储设备，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，所述表格中的每一数据具有一个位置组级别，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据；所述方法包括：
接收数据读取请求，其中，所述数据读取请求用于请求读取目标表格的待读取数据；
若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取并输出所述待读取数据。
2.根据权利要求1所述的方法，其中，所述数据读取请求中携带所述待读取数据的标识；若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取并输出所述待读取数据，包括：
若所述待读取数据未被存储于所述缓存，则从预设的标识与位置组级别之间的映射关系中，确定与所述待读取数据的标识对应的位置组级别；
若所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取并输出所述待读取数据。
3.根据权利要求2所述的方法，其中，所述映射关系是基于所述分布式表格存储系统中预设的数据库对象的集合确定的。
4.根据权利要求1至3中任一项所述的方法，所述存储设备还包括用于分布式存储表格的数据的机械硬盘，所述机械硬盘用于存储位置级别小于所述级别阈值的数据；所述方法还包括：
若所述待读取数据存储于所述缓存中，则从所述缓存中获取并输出所述待读取数据；或者，
若所述待读取数据的位置组级别小于所述级别阈值，则从所述机械硬盘中获取并输出所述待读取数据。
5.根据权利要求1至4中任一项所述的方法，还包括：
获取文件调度任务，其中，所述文件调度任务用于指示将所述存储设备中用于分布式存储表格的数据的机械硬盘中的待调度文件，调度至固态硬盘，所述待调度文件为包括所述待读取数据的文件；
确定每一所述固态硬盘的剩余存储空间，并将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘。
6.根据权利要求5所述的方法，还包括：
若每一剩余存储空间均小于所述待调度文件的存储空间，则根据最近最少使用策略对任一固态硬盘中的至少部分原始数据进行清除处理，其中，所述至少部分原始数据的存储空间大于或等于所述待调度文件的存储空间；
将所述待调度文件存储至所述任一固态硬盘。
7.根据权利要求5所述的方法，其中，将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘，包括：
若所述至少一个固态硬盘中仅一个固态硬盘的剩余存储空间大于所述待调度文件的存储空间，则将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘中。
8.根据权利要求7所述的方法，其中，将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘，包括：
若所述至少一个固态硬盘中的多个固态硬盘的剩余存储空间大于所述待调度文件的存储空间，则确定剩余存储空间大于所述待调度文件的存储空间的固态硬盘中，剩余存储空间最大的固态硬盘，并将所述待调度文件存储至剩余存储空间最大的固态硬盘。
9.根据权利要求6至8中任一项所述的方法，还包括：
生成并保存所述待调度文件的存储路径，其中，所述存储路径用于确定所述待读取数据的存储位置。
10.根据权利要求9所述的方法，其中，若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取并输出所述待读取数据，包括：
根据所述存储路径确定用于存储待读取数据的固态硬盘，并从用于存储所述待读取文件的固态硬盘中获取并输出所述待读取数据。
11.一种数据读取装置，所述装置应用于分布式表格存储系统的存储设备，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，所述表格中的每一数据具有一个位置组级别，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据；所述装置包括：
接收单元，用于接收数据读取请求，其中，所述数据读取请求用于请求读取目标表格的待读取数据；
第一获取单元，用于若所述待读取数据未被存储于所述缓存、且所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取所述待读取数据；
输出单元，用于输出所述待读取数据。
12.根据权利要求11所述的装置，其中，所述数据读取请求中携带所述待读取数据的标识；所述第一获取单元，包括：
第一确定子单元，用于若所述待读取数据未被存储于所述缓存，则从预设的标识与位置组级别之间的映射关系中，确定与所述待读取数据的标识对应的位置组级别；
第一获取子单元，用于若所述待读取数据的位置组级别大于所述级别阈值，则从所述待读取数据所在的固态硬盘中获取所述待读取数据。
13.根据权利要求12所述的装置，其中，所述映射关系是基于所述分布式表格存储系统中预设的数据库对象的集合确定的。
14.根据权利要求11至13中任一项所述的装置，所述存储设备还包括用于分布式存储表格的数据的机械硬盘，所述机械硬盘用于存储位置级别小于所述级别阈值的数据；其中，
所述第一获取单元用于，若所述待读取数据存储于所述缓存中，则从所述缓存中获取所述待读取数据；或者，
所述第一获取单元用于，若所述待读取数据的位置组级别小于所述级别阈值，则从所述机械硬盘中获取所述待读取数据。
15.根据权利要求11至14中任一项所述的装置，还包括：
第二获取单元，用于获取文件调度任务，其中，所述文件调度任务用于指示将所述存储设备中用于分布式存储表格的数据的机械硬盘中的待调度文件，调度至固态硬盘，所述待调度文件为包括所述待读取数据的文件；
确定单元，用于确定每一所述固态硬盘的剩余存储空间；
第一存储单元，用于将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘。
16.根据权利要求15所述的装置，还包括：
清除单元，用于若每一剩余存储空间均小于所述待调度文件的存储空间，则根据最近最少使用策略对任一固态硬盘中的至少部分原始数据进行清除处理，其中，所述至少部分原始数据的存储空间大于或等于所述待调度文件的存储空间；
第二存储单元，用于将所述待调度文件存储至所述任一固态硬盘。
17.根据权利要求15所述的装置，其中，所述第一存储单元用于，若所述至少一个固态硬盘中仅一个固态硬盘的剩余存储空间大于所述待调度文件的存储空间，则将所述待调度文件存储至剩余存储空间大于所述待调度文件的存储空间的固态硬盘中。
18.根据权利要求17所述的装置，其中，所述第一存储单元，包括：
第二确定子单元，用于若所述至少一个固态硬盘中的多个固态硬盘的剩余存储空间大于所述待调度文件的存储空间，则确定剩余存储空间大于所述待调度文件的存储空间的固态硬盘中，剩余存储空间最大的固态硬盘；
存储子单元，用于将所述待调度文件存储至剩余存储空间最大的固态硬盘。
19.根据权利要求16至18中任一项所述的装置，还包括：
生成单元，用于生成所述待调度文件的存储路径，其中，所述存储路径用于确定所述待读取数据的存储位置；
保存单元，用于存储所述待调度文件的存储路径。
20.根据权利要求19所述的装置，其中，所述第一获取单元，包括：
第三确定子单元，用于根据所述存储路径确定用于存储待读取数据的固态硬盘；
第二获取子单元，用于从用于存储所述待读取文件的固态硬盘中获取所述待读取数据。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
24.一种数据读取系统，包括：用于分布式表格存储系统的存储设备、以及如权利要求11至20中任一项所述的装置，其中，所述存储设备包括用于分布式存储表格的数据的缓存和至少一个固态硬盘，每一所述固态硬盘用于存储位置组级别大于预设的级别阈值的数据。
CN202110528190.4A 2021-05-14 2021-05-14 数据读取方法、装置及系统 Pending CN113220233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528190.4A CN113220233A (zh) 2021-05-14 2021-05-14 数据读取方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528190.4A CN113220233A (zh) 2021-05-14 2021-05-14 数据读取方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113220233A true CN113220233A (zh) 2021-08-06

Family

ID=77091947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528190.4A Pending CN113220233A (zh) 2021-05-14 2021-05-14 数据读取方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113220233A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933492A (zh) * 2015-12-30 2017-07-07 伊姆西公司 有助于固态硬盘的磨损平衡的方法和装置
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN107391031A (zh) * 2017-06-27 2017-11-24 北京邮电大学 一种基于混合存储的计算系统中的数据迁移方法及装置
CN107992271A (zh) * 2017-12-21 2018-05-04 郑州云海信息技术有限公司 数据预读方法、装置、设备及计算机可读存储介质
CN109582246A (zh) * 2018-12-06 2019-04-05 深圳市网心科技有限公司 基于矿机的数据访问方法、装置、系统及可读存储介质
CN109656487A (zh) * 2018-12-24 2019-04-19 平安科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
CN110764708A (zh) * 2019-10-25 2020-02-07 北京浪潮数据技术有限公司 一种数据读取方法、装置、设备及存储介质
CN111158602A (zh) * 2019-12-30 2020-05-15 北京天融信网络安全技术有限公司 数据分层存储方法、读取方法、存储主机及存储系统
CN111538461A (zh) * 2020-04-21 2020-08-14 招商局金融科技有限公司 基于固态硬盘缓存的数据读写方法、装置及存储介质
CN111552442A (zh) * 2020-05-13 2020-08-18 重庆紫光华山智安科技有限公司 一种基于ssd的缓存管理系统及方法
CN111930316A (zh) * 2020-09-09 2020-11-13 上海七牛信息技术有限公司 一种内容分发网络的缓存读写系统和方法
CN112269534A (zh) * 2020-10-16 2021-01-26 苏州浪潮智能科技有限公司 一种数据读取方法、装置、设备及计算机可读存储介质
CN112417058A (zh) * 2019-08-23 2021-02-26 华为技术有限公司 一种数据处理方法、存储系统以及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933492A (zh) * 2015-12-30 2017-07-07 伊姆西公司 有助于固态硬盘的磨损平衡的方法和装置
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN107391031A (zh) * 2017-06-27 2017-11-24 北京邮电大学 一种基于混合存储的计算系统中的数据迁移方法及装置
CN107992271A (zh) * 2017-12-21 2018-05-04 郑州云海信息技术有限公司 数据预读方法、装置、设备及计算机可读存储介质
CN109582246A (zh) * 2018-12-06 2019-04-05 深圳市网心科技有限公司 基于矿机的数据访问方法、装置、系统及可读存储介质
CN109656487A (zh) * 2018-12-24 2019-04-19 平安科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
CN112417058A (zh) * 2019-08-23 2021-02-26 华为技术有限公司 一种数据处理方法、存储系统以及存储介质
CN110764708A (zh) * 2019-10-25 2020-02-07 北京浪潮数据技术有限公司 一种数据读取方法、装置、设备及存储介质
CN111158602A (zh) * 2019-12-30 2020-05-15 北京天融信网络安全技术有限公司 数据分层存储方法、读取方法、存储主机及存储系统
CN111538461A (zh) * 2020-04-21 2020-08-14 招商局金融科技有限公司 基于固态硬盘缓存的数据读写方法、装置及存储介质
CN111552442A (zh) * 2020-05-13 2020-08-18 重庆紫光华山智安科技有限公司 一种基于ssd的缓存管理系统及方法
CN111930316A (zh) * 2020-09-09 2020-11-13 上海七牛信息技术有限公司 一种内容分发网络的缓存读写系统和方法
CN112269534A (zh) * 2020-10-16 2021-01-26 苏州浪潮智能科技有限公司 一种数据读取方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN113641457A (zh) 容器创建方法、装置、设备、介质及程序产品
CN115759252A (zh) 深度学习推理引擎的调度方法、装置、设备和介质
CN112540731B (zh) 数据的追加写方法、装置、设备、介质和程序产品
CN114936173B (zh) 一种eMMC器件的读写方法、装置、设备和存储介质
CN113127382A (zh) 用于追加写的数据读取方法、装置、设备和介质
CN113364877A (zh) 数据处理方法、装置、电子设备和介质
CN114356547B (zh) 基于处理器虚拟化环境的低优阻塞方法及装置
CN115150471A (zh) 数据处理方法、装置、设备、存储介质及程序产品
CN114153614A (zh) 内存管理方法、装置、电子设备和自动驾驶车辆
CN113986497A (zh) 基于多租户技术的队列调度方法、装置及系统
CN113590329A (zh) 资源处理方法及装置
CN116594563A (zh) 分布式存储扩容方法、装置、电子设备和存储介质
CN114579187B (zh) 一种指令分配方法、装置、电子设备及可读存储介质
CN115617549A (zh) 线程解耦方法、装置、电子设备及存储介质
CN115438007A (zh) 一种文件合并方法、装置、电子设备及介质
CN113377295B (zh) 多生产者单消费者的数据存储和读取方法、装置、设备
CN113220233A (zh) 数据读取方法、装置及系统
CN113961641A (zh) 数据库同步方法、装置、设备和存储介质
CN113778645A (zh) 基于边缘计算的任务调度方法、装置、设备及存储介质
CN114564149A (zh) 一种数据存储方法、装置、设备及存储介质
CN113553216A (zh) 数据恢复方法、装置、电子设备及存储介质
CN114386577A (zh) 用于执行深度学习模型的方法、设备和存储介质
CN113742075A (zh) 基于云端分布式系统的任务处理方法、装置及系统
CN115599307B (zh) 数据存取方法、装置、电子设备、存储介质
CN114598705B (zh) 消息负载均衡方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination