CN117348809A - 一种基于日志写的读缓存方法和系统 - Google Patents
一种基于日志写的读缓存方法和系统 Download PDFInfo
- Publication number
- CN117348809A CN117348809A CN202311293481.5A CN202311293481A CN117348809A CN 117348809 A CN117348809 A CN 117348809A CN 202311293481 A CN202311293481 A CN 202311293481A CN 117348809 A CN117348809 A CN 117348809A
- Authority
- CN
- China
- Prior art keywords
- data
- cache
- log
- caching
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000005192 partition Methods 0.000 claims description 14
- 239000012634 fragment Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002045 lasting effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Abstract
本发明涉及缓存读取技术领域，提供一种基于日志写的读缓存方法和系统，本发明的方法包括：通过逻辑分片将用户的数据日志写到数据硬盘池中；在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；根据数据索引从数据硬盘池中读取对应的数据；记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。本发明基于日志写的读缓存方法和系统，可以提高读缓存的效率和安全性。
Description
技术领域
本发明涉及缓存读取技术领域，尤其涉及一种基于日志写的读缓存方法和系统。
背景技术
HDD盘读写性能慢，特别是在随机读写时，由于机械臂的往复摆动，性能更低。因此在使用HDD盘组件的存储集群中，通常都会使用SSD盘作为加速盘。一方面，需要先将数据写入到SSD盘后返回后台，后台再将数据大块地写到HDD盘上，以达到加速存储写速度的目的。另一方面，对于频繁读取的数据，则需要将数据写入到SSD缓存盘中，然后直接从SSD盘中读取到数据。
在实际应用中，将频繁读取的数据缓存到SSD盘的技术，需要考虑到数据被读取到缓存中后又被修改的情况，比如，在写数据时判断数据是否在缓存中，如果在缓存中，就同时修改缓存数据的方式；或者在读数据时，先从写缓存中读取，当从写缓存读取不到数据时，再读主存。这些处理流程较为复杂，不仅会读取的效率影响，还增加了出现数据不一致的风险。
因此，如何提供一种更加高效和安全的读缓存的方法，成为亟待解决的技术问题。
发明内容
有鉴于此，为了克服现有技术的不足，本发明旨在提供一种基于日志写的读缓存方法和系统。
根据本发明的第一方面，提供一种基于日志写的读缓存方法，包括：
通过逻辑分片将用户的数据日志写到数据硬盘池中；
在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；
根据数据索引从数据硬盘池中读取对应的数据；
记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
优选地，本发明基于日志写的读缓存方法中，通过逻辑分片将用户的数据日志写到数据硬盘池中，包括：从客户端获取用户的数据，根据用户的逻辑地址空间将获取的数据打散到逻辑分片上，逻辑分片从数据硬盘池中分配空间，将逻辑分片上的数据以日志的形式追加写到数据硬盘池对应的空间中。
优选地，本发明基于日志写的读缓存方法中，在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引，包括：
在将数据从逻辑分片上以日志的形式追加写入到数据硬盘池时，将数据以键值对的形式缓存在逻辑分片所在节点本地，根据缓数据的键值对在内存中构建缓存hash表；
创建数据索引，将数据的日志写地址记录在创建的数据索引中。
优选地，本发明基于日志写的读缓存方法中，将数据以键值对的形式缓存在逻辑分片所在节点本地，根据缓数据的键值对在内存中构建缓存hash表，包括：以数据的日志写地址作为键，以数据作为值，将数据缓存在在逻辑分片所在节点本地，根据缓存数据的键值对在内存中构建缓存hash表。
优选地，本发明基于日志写的读缓存方法中，缓存所述数据并创建数据索引，包括：将日志写的对象名和偏移作为数据的键，将所述数据的键记录在内存中创建的数据索引中，将所述数据的键指向对应的缓存数据。
优选地，本发明基于日志写的读缓存方法中，根据数据索引从数据硬盘池中读取对应的数据，包括：在数据读取时，先读取数据索引，根据数据索引中记录的日志写地址从数据硬盘池中读取对应的数据。
优选地，本发明基于日志写的读缓存方法中，根据数据索引从数据硬盘池中读取对应的数据，包括：从数据索引中查询获取到待读取数据对应日志写地址，通过缓存hash表查询待读取数据的缓存地址。
优选地，本发明基于日志写的读缓存方法中，记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取，包括：
将数据的缓存元数据以日志的形式记录在内存中，获得缓存元数据日志，设置缓存元数据阈值，当获得的缓存元数据大于设置的缓存元数据阈值，对缓存的元数据持久化；
在读取缓存进程发生故障时，扫描缓存元数据日志，将对应的缓存元数据日志中的键值对重新插入内存的缓存hash表中，恢复缓存数据的缓存消息。
根据本发明的第二方面，提供一种基于日志写的读缓存系统，该系统包括缓存读取服务端，该缓存读取服务端用于通过逻辑分片将用户的数据日志写到数据硬盘池中；在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；根据数据索引从数据硬盘池中读取对应的数据；记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
根据本发明的第三方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面所述的方法。
本发明基于日志写的读缓存方法和系统，具有以下有益技术效果：
1.以端日志写地址进行缓存，缓存的数据不会被修改，缓存数据都是新写，缓存逻辑简单；
2.以位图记录和时间记录缓存被读取情况，能读取最近频繁访问数据，对于顺序读取，可以提前预取待读取数据；
3.缓存数据记录了缓存的key值信息，在进程故障后，能通过扫描缓存元数据，重新构建缓存索引，不需要重新识别热点数据，再生成缓存。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的技术原理示例图；
图2为现有技术缓存数据的读取流程示例图；
图3为本发明方法中读取缓存数据的流程示例图；
图4为一种适用于本发明实施例的基于日志写的读缓存方法的系统的示意图；
图5为根据本发明实施例的一种基于日志写的读缓存方法的步骤流程图；
图6为本实施例方法中读缓存内存索引格式的一种示例图；
图7为本发明实施例方法中缓存元数据的存储格式示例图；
图8为本发明实施例方法中维护缓存元数据的一种示例图；
图9为现有技术中缓存故障时读缓存的原理示例图；
图10为本实施例方法中缓存故障时读缓存的原理示例图；
图11为本发明提供的设备的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本发明的技术原理如下：
图1为本发明的技术原理示例图，如图1所示，本发明将数据从客户端根据用户可见的逻辑地址打散到逻辑分片上，逻辑分片从数据硬盘池中分配空间，以日志的形式追加写到数据硬盘池，数据索引中记录数据被追加写到数据硬盘池中的地址。在数据读取时，先读取数据索引，通过数据索引中记录的数据硬盘池内地址，从数据硬盘池中读取数据。图2为现有技术缓存数据的读取流程示例图，如图2所示，以客户端的逻辑地址作为key值缓存数据，在读取数据时先通过逻辑地址在缓存中读取数据，如果缓存中没有数据，再读取数据索引池到数据硬盘池中读取数据。图3为本发明方法中读取缓存数据的流程示例图，如图3所示，本发明的主要改进点在于不以用户的逻辑地址作为key值缓存数据，而是以数据索引中记录的数据硬盘池地址作为key记录在缓存数据索引中。
图4示出了一种适用于本发明实施例的基于日志写的读缓存方法的示例性系统。如图4所示，该系统可以包括缓存读取服务端101、通信网络102和/或一个或多个缓存读取客户端103，图4中示例为多个缓存读取客户端103。
缓存读取服务端101可以时用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的服务器。在一些实施例中，缓存读取服务端101可以执行适当的功能。例如，在一些实施例中，缓存读取服务端101可以用于基于日志写读缓存。作为可选的示例，在一些实施例中，缓存读取服务端101可以被用于通过基于日志写创建数据索引实现读缓存。例如，缓存读取服务端101可以用于通过逻辑分片将用户的数据日志写到数据硬盘池中；在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；根据数据索引从数据硬盘池中读取对应的数据；记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
作为另一示例，在一些实施例中，缓存读取服务端101可以根据缓存读取客户端103的请求，将基于日志写的读缓存方法发送到缓存读取客户端103供用户使用。
作为可选的示例，在一些实施例中，缓存读取客户端103用于提供可视化界面，该可视化界面用于接收用户基于日志写的读缓存的选择输入操作，以及，用于响应于选择输入操作，从缓存读取服务端101获取与选择输入操作所选择的选项所对应的界面并展示界面，界面中至少展示有基于日志写的读缓存的信息以及针对基于日志写的读缓存的信息的操作选项。
在一些实施例中，通信网络102可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络102能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。缓存读取客户端103能够通过一个或多个通信链路(例如，通信链路104)连接到通信网络102，该通信网络102能够经由一个或多个通信链路(例如，通信链路105)被链接到缓存读取服务端101。通信链路可以是适合于在缓存读取客户端103和缓存读取服务端101之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。
缓存读取客户端103可以包括通过适当形式呈现与基于日志写的读缓存相关的界面，以供用户使用和操作的任何一个或多个客户端。在一些实施例中，缓存读取客户端103可以包括任何合适类型的设备。例如，在一些实施例中，缓存读取客户端103可以包括移动设备、平板计算机、膝上型计算机、台式计算机和/或任何其他合适类型的客户端设备。
尽管将缓存读取服务端101图示为一个设备，但是在一些实施例中，可以使用任何适当数量的设备来执行由缓存读取服务端101执行的功能。例如，在一些实施例中，可以使用多个设备来实现由缓存读取服务端101执行的功能。或者，可使用云服务实现缓存读取服务端101的功能。
基于上述系统，本申请实施例提供了一种基于日志写的读缓存方法，以下通过以下实施例进行说明。
参照图5，示出了根据本发明实施例的一种基于日志写的读缓存方法的步骤流程图。
本实施例的基于日志写的读缓存方法可在缓存读取服务端执行，该基于日志写的读缓存方法，包括以下步骤：
步骤S201：通过逻辑分片将用户的数据日志写到数据硬盘池中。
作为可选的示例，本实施例方法中，从客户端获取用户的数据，根据用户的逻辑地址空间将获取的数据打散到逻辑分片上，逻辑分片从数据硬盘池中分配空间，将逻辑分片上的数据以日志的形式追加写到数据硬盘池对应的空间中。
步骤S202：在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引。
本实施例方法中，在将数据从逻辑分片上以日志的形式追加写入到数据硬盘池时，将数据以键值对的形式缓存在逻辑分片所在节点本地，根据缓数据的键值对在内存中构建缓存hash表；同时，本实施例还需要创建数据索引，将数据的日志写地址记录在创建的数据索引中。作为可选的示例，本实施例方法以数据的日志写地址作为键，以数据作为值，将数据缓存在在逻辑分片所在节点本地，根据缓存数据的键值对在内存中构建缓存hash表。作为可选的示例，本实施例方法将日志写的对象名和偏移作为数据的键，将所述数据的键记录在内存中创建的数据索引中，将所述数据的键指向对应的缓存数据。
步骤S203：根据数据索引从数据硬盘池中读取对应的数据。
本实施例方法在数据读取时，先读取数据索引，根据数据索引中记录的日志写地址从数据硬盘池中读取对应的数据。作为可选的示例，本实施例方法从数据索引中查询获取到待读取数据对应日志写地址，通过缓存hash表查询待读取数据的缓存地址。
需要注意的是，本实施例方法中，缓存数据在内存中以后端日志写地址作为键(key)，数据缓存作为值(value)的key-value形式建立hash表。查询数据索引，获取到后端日志地址后，通过缓存hash表能够快速查询到数据缓存地址。缓存地址包括但不限于本地SSD盘地址，还包括其他能用于读取到数据的地址，本实施例方法对此不做限制。图6为本实施例方法中读缓存内存索引格式的一种示例图。
需要注意的是，本实施例方法中，还可以以位图记录和时间记录缓存被读取情况，能读取最近频繁访问数据，对于顺序读取，可以提前预取待读取数据。
步骤S204：记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
数据在被写入到缓存SSD(也包含其他高速介质)盘后，为了保证在进程故障后，每个逻辑分片的内存缓存数据仍然能使用，本发明实施例方法同时还记录了缓存的元数据。缓存的元数据，由于key是日志写地址，不会重复，缓存的元数据也以日志的形式记录。图7为本发明实施例方法中缓存元数据的存储格式示例图。
作为可选的示例，本实施例方法将数据的缓存元数据以日志的形式记录在内存中，获得缓存元数据日志，设置缓存元数据阈值，当获得的缓存元数据大于设置的缓存元数据阈值，对缓存的元数据持久化。图8为本发明实施例方法中维护缓存元数据的一种示例图。举例来说，通过预留16KB内存，将缓存元数据记录到预留16KB内存中，当1M缓存元数据日志写满时，将这16KB内存下刷到持久化高速介质，或者超过5分钟未持久化，将缓存元数据日志持久化一次。
在读取缓存进程发生故障时，扫描缓存元数据日志，将对应的缓存元数据日志中的键值对重新插入内存的缓存hash表中，恢复缓存数据的缓存消息。图9为现有技术中缓存故障时读缓存的原理示例图；图10为本实施例方法中缓存故障时读缓存的原理示例图。如图10所示，在发生故障后，通过扫描缓存元数据日志，将key-v键值对重新插入内存中的缓存hash表中，能够快速恢复原有的缓存信息，不会因为升级或者软件故障等场景出现进程重启进而导致缓存丢失以及数据读取性能长时间跌落的情况。
本发明实施例方法具有以下有益技术效果：
1.以端日志写地址进行缓存，缓存的数据不会被修改，缓存数据都是新写，缓存逻辑简单；
2.以位图记录和时间记录缓存被读取情况，能读取最近频繁访问数据，对于顺序读取，可以提前预取待读取数据；
3.缓存数据记录了缓存的key值信息，在进程故障后，能通过扫描缓存元数据，重新构建缓存索引，不需要重新识别热点数据，再生成缓存。
如图11所示，本发明还提供了一种设备，包括处理器310、通信接口320、用于存储处理器可执行计算机程序的存储器330及通信总线340。其中，处理器310、通信接口320及存储器330通过通信总线340完成相互间的通信。处理器310通过运行可执行计算机程序以实现上述的基于日志写的读缓存方法。
其中，存储器330中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以基于实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于日志写的读缓存方法，其特征在于，所述方法包括：
通过逻辑分片将用户的数据日志写到数据硬盘池中；
在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；
根据数据索引从数据硬盘池中读取对应的数据；
记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
2.根据权利要求1所述的基于日志写的读缓存方法，其特征在于，通过逻辑分片将用户的数据日志写到数据硬盘池中，包括：从客户端获取用户的数据，根据用户的逻辑地址空间将获取的数据打散到逻辑分片上，逻辑分片从数据硬盘池中分配空间，将逻辑分片上的数据以日志的形式追加写到数据硬盘池对应的空间中。
3.根据权利要求1所述的基于日志写的读缓存方法，其特征在于，在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引，包括：
在将数据从逻辑分片上以日志的形式追加写入到数据硬盘池时，将数据以键值对的形式缓存在逻辑分片所在节点本地，根据缓数据的键值对在内存中构建缓存hash表；
创建数据索引，将数据的日志写地址记录在创建的数据索引中。
4.根据权利要求3所述的基于日志写的读缓存方法，其特征在于，将数据以键值对的形式缓存在逻辑分片所在节点本地，根据缓数据的键值对在内存中构建缓存hash表，包括：以数据的日志写地址作为键，以数据作为值，将数据缓存在在逻辑分片所在节点本地，根据缓存数据的键值对在内存中构建缓存hash表。
5.根据权利要求3所述的基于日志写的读缓存方法，其特征在于，缓存所述数据并创建数据索引，包括：将日志写的对象名和偏移作为数据的键，将所述数据的键记录在内存中创建的数据索引中，将所述数据的键指向对应的缓存数据。
6.根据权利要求1所述的基于日志写的读缓存方法，其特征在于，根据数据索引从数据硬盘池中读取对应的数据，包括：在数据读取时，先读取数据索引，根据数据索引中记录的日志写地址从数据硬盘池中读取对应的数据。
7.根据权利要求1所述的基于日志写的读缓存方法，其特征在于，根据数据索引从数据硬盘池中读取对应的数据，包括：从数据索引中查询获取到待读取数据对应日志写地址，通过缓存hash表查询待读取数据的缓存地址。
8.根据权利要求1所述的基于日志写的读缓存方法，其特征在于，记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取，包括：
将数据的缓存元数据以日志的形式记录在内存中，获得缓存元数据日志，设置缓存元数据阈值，当获得的缓存元数据大于设置的缓存元数据阈值，对缓存的元数据持久化；
在读取缓存进程发生故障时，扫描缓存元数据日志，将对应的缓存元数据日志中的键值对重新插入内存的缓存hash表中，恢复缓存数据的缓存消息。
9.一种基于日志写的读缓存系统，其特征在于，所述系统包括缓存读取服务端，所述缓存读取服务端用于通过逻辑分片将用户的数据日志写到数据硬盘池中；在将数据日志写到数据硬盘池时，缓存所述数据并创建数据索引；根据数据索引从数据硬盘池中读取对应的数据；记录缓存元数据，在读取缓存进程发生故障时，通过记录的缓存元数据恢复缓存读取。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311293481.5A CN117348809A (zh) | 2023-10-08 | 2023-10-08 | 一种基于日志写的读缓存方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311293481.5A CN117348809A (zh) | 2023-10-08 | 2023-10-08 | 一种基于日志写的读缓存方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117348809A true CN117348809A (zh) | 2024-01-05 |
Family
ID=89356864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311293481.5A Pending CN117348809A (zh) | 2023-10-08 | 2023-10-08 | 一种基于日志写的读缓存方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117348809A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521269A (zh) * | 2011-11-22 | 2012-06-27 | 清华大学 | 一种基于索引的计算机连续数据保护方法 |
| CN103902479A (zh) * | 2014-03-27 | 2014-07-02 | 浪潮电子信息产业股份有限公司 | 一种基于元数据日志的元数据缓存快速重建机制 |
| CN113312300A (zh) * | 2021-06-17 | 2021-08-27 | 上海天玑科技股份有限公司 | 一种融合数据传输和存储的非易失内存缓存方法 |
| CN113868192A (zh) * | 2021-12-03 | 2021-12-31 | 深圳市杉岩数据技术有限公司 | 一种数据存储设备、方法与分布式数据存储系统 |
| CN115756317A (zh) * | 2022-11-11 | 2023-03-07 | 浙江大华技术股份有限公司 | 叠瓦式磁盘的存储方法、存储装置、电子设备及存储介质 |
-
2023
- 2023-10-08 CN CN202311293481.5A patent/CN117348809A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521269A (zh) * | 2011-11-22 | 2012-06-27 | 清华大学 | 一种基于索引的计算机连续数据保护方法 |
| CN103902479A (zh) * | 2014-03-27 | 2014-07-02 | 浪潮电子信息产业股份有限公司 | 一种基于元数据日志的元数据缓存快速重建机制 |
| CN113312300A (zh) * | 2021-06-17 | 2021-08-27 | 上海天玑科技股份有限公司 | 一种融合数据传输和存储的非易失内存缓存方法 |
| CN113868192A (zh) * | 2021-12-03 | 2021-12-31 | 深圳市杉岩数据技术有限公司 | 一种数据存储设备、方法与分布式数据存储系统 |
| CN115756317A (zh) * | 2022-11-11 | 2023-03-07 | 浙江大华技术股份有限公司 | 叠瓦式磁盘的存储方法、存储装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9690487B2 (en) | Storage apparatus and method for controlling storage apparatus | |
| JP3140621B2 (ja) | 分散ファイルシステム | |
| US9021335B2 (en) | Data recovery for failed memory device of memory device array | |
| JP2021189624A (ja) | 分散ストレージ装置および分散ストレージ装置におけるデータ管理方法 | |
| CN111936977A (zh) | 使用只追加存储设备的数据库管理系统及方法 | |
| US9311333B1 (en) | Managing files of file systems | |
| US10795577B2 (en) | De-duplication of client-side data cache for virtual disks | |
| EP2879040B1 (en) | Data storage method, data storage apparatus, and storage device | |
| CN108647151A (zh) | 一种全闪系统元数据落盘方法、装置、设备及存储介质 | |
| CN114415976B (zh) | 一种分布式数据存储系统与方法 | |
| EP2824893B1 (en) | Data storage method and device | |
| CN109213420A (zh) | 数据存储方法、装置及系统 | |
| CN103516549B (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
| US11449402B2 (en) | Handling of offline storage disk | |
| CN110196818A (zh) | 缓存数据的方法、缓存设备和存储系统 | |
| CN108733326B (zh) | 一种磁盘处理方法及装置 | |
| CN111488125A (zh) | 一种基于Ceph集群的Cache Tier缓存优化方法 | |
| CN106991118A (zh) | 基于ceph纠删除容错的读取文件方法及装置 | |
| US11379326B2 (en) | Data access method, apparatus and computer program product | |
| CN105915595B (zh) | 一种集群存储系统存取数据的方法以及集群存储系统 | |
| JP2015527620A (ja) | 計算機システム、サーバ、及び、データ管理方法 | |
| US20240143210A1 (en) | Journal replay optimization | |
| CN109254958A (zh) | 分布式数据读写方法、设备及系统 | |
| US11537330B2 (en) | Selectively improving raid operations latency | |
| US20230305930A1 (en) | Methods and systems for affinity aware container preteching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |