CN111190546A - 一种基于alua和本地缓存的分布式块存储性能优化方法 - Google Patents

一种基于alua和本地缓存的分布式块存储性能优化方法 Download PDF

Info

Publication number
CN111190546A
CN111190546A CN201911394302.0A CN201911394302A CN111190546A CN 111190546 A CN111190546 A CN 111190546A CN 201911394302 A CN201911394302 A CN 201911394302A CN 111190546 A CN111190546 A CN 111190546A
Authority
CN
China
Prior art keywords
node
cache
target
alua
utilization rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911394302.0A
Other languages
English (en)
Other versions
CN111190546B (zh
Inventor
董文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Innovation Software Technology Co Ltd
Original Assignee
Shenzhen Innovation Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Innovation Software Technology Co Ltd filed Critical Shenzhen Innovation Software Technology Co Ltd
Priority to CN201911394302.0A priority Critical patent/CN111190546B/zh
Publication of CN111190546A publication Critical patent/CN111190546A/zh
Application granted granted Critical
Publication of CN111190546B publication Critical patent/CN111190546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于ALUA和本地缓存的分布式块存储性能优化方法，采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO和AN，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，与现有技术相比，本发明分布式块存储采用ALUA多路径模式和本地缓存相结合的模式来提升性能；分布式块存储采用ALUA多路径模式和集群缓存均衡器来动态调整路径优先级，均衡集群各个节点缓存利用率；本发明融合分布式存储和单机存储的优势，使IO路径同时具备路径高可靠和本地缓存的优异性能。

Description

一种基于ALUA和本地缓存的分布式块存储性能优化方法
技术领域
本发明涉及数据存储技术领域，尤其涉及一种基于ALUA和本地缓存的分布式块存储性能优化方法。
背景技术
对于分布式块存储，客户端与服务端目前主流的多路径模式是AA模式，客户端和多个存储节点来建立iSCSI/FC连接，以此来实现路径高可靠和负载均衡。用AA模式，要保证客户端到各个Target的多条路径之间的数据实时同步，因此在Targe服务下面是没有本地缓存的。如果存在缓存会导致路径间的数据不一致，如图1所示为传统主流分布式块存储session连接图；对于传统的单机存储，是有本地缓存的。如图2所示为传统单机存储架构图，本地缓存内部又分为读缓存和写缓存。写IO下发到写缓存，即认为写完成，写缓存根据一定策略定期下刷缓存块到后端分布式存储。读缓存可以对有规律的读进行预读，来提升读性能。因为本地缓存层的加入导致写缓存路径缩短，客户端感知写加快，因为读缓存加入，有一部分读能从缓存直接命中返回，读路径缩短，读写速度均有提升。这也是目前出现的在同等配置下，分布式存储性能不及单机存储的一个主要原因。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于ALUA和本地缓存的分布式块存储性能优化方法。
本发明通过以下技术方案来实现上述目的：
本发明采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO和AN，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，具体包括以下步骤：
S1：在Target层下面加入本地缓存层，本地缓存层下加入集群缓存均衡器，所述本地缓存层用于单机存储，所述集群缓存均衡器负责实时收集各个节点的缓存使用详细情况，并尽可能的均衡各个节点的缓存利用，如图3所示的存储节点S1、存储节点S2、存储节点S3；所述Target具体指iSCSI Target，iSCSI 分为发起端和目标端，在本实施例中，指目标端；
S2：定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为Tcr, 则单节点的缓存占用率为Hcr＝T1cr+T2cr+T3cr+….+Tncr；
S3：每次有新的Target需要接受客户端连接时，计算得出Hcr最低的设备为Hn，设置Hn上该Target的连接属性为AO，其他节点该Target的连接属性为AN，实现优先使用缓存剩余最多的节点为该Target提供本地缓存服务。
进一步，确保各Target连接数据一致性为：ALUA不能排除AN节点不接收到IO请求，在节点接收到IO请求后，发现该链路是AN链路，不下发IO到分布式块层，Target通过内部通讯机制，找到AO节点将IO转发给AO节点的Target 做处理，实现保证针对同一个Target的IO处理都经过同样的缓存，数据一致。
对于分布式存储，客户端访问存储可以通过多条路径访问，不同的路径对应不同的存储节点，如果存在本地缓存，且本地缓存数据不同步，则会客户端通过一条路径上更新的数据在另外一条路径上读到的仍然是旧数据。如图，比如c1,通过c11写入数据，数据被c11本地缓存缓存住了，如果c1不和c2同步缓存数据，c1通过c12路径去读，则读不到刚写入的数据。如果同步本地缓存，一是技术实现难度大，二是本地缓存各个节点实时同步带来巨大性能开销，这些开销会抵消加入本地缓存层带来的性能提升，这也是目前基本没有分布式存储会选择使用本地缓存层的原因。
进一步，各个集群缓存均衡器实时收集本节点的缓存利用率，由集群管理节点上的缓存均衡器模块充当整个集群的缓存均衡器，各个节点实时将详细的缓存利用率信息反馈给管理节点，管理节点实时计算出利用率最高的节点MaxH, 利用率MaxHcr，利用率最低的的节点MinH，利用率MinHcr,当MaxHcr和MinHcr 的差值大于预设的临界值，启动缓存均衡策略。所述集群管理节点，由集群里面的各个节点通过算法选举产生，同一时刻有一个节点担任管理节点，如果管理节点挂了，则会重新选举产生。
进一步，所述缓存均衡策略为：首先将MaxH节点对各个tcr进行由小到大排序，选出Tcr占用最小且连接状态为AO的Target，将此节点上该Target属性设置AN，同时设置MinH节点该Target属性为AO，如果MaxH节点有且仅有一个Target，则不进行Target属性修改，不进行缓存均衡，客户端在随后的 IO中，发现存储优先级已经切换，自动的切换到AO路径，通过此办法均衡集群各个节点的本地缓存利用率。
本发明的有益效果在于：
本发明是一种基于ALUA和本地缓存的分布式块存储性能优化方法，与现有技术相比，本发明分布式块存储采用ALUA多路径模式和本地缓存相结合的模式来提升性能；分布式块存储采用ALUA多路径模式和集群缓存均衡器来动态调整路径优先级，均衡集群各个节点缓存利用率；本发明融合分布式存储和单机存储的优势，使IO路径同时具备路径高可靠和本地缓存的优异性能。
附图说明
图1是现有技术中主流分布式块存储session连接图；
图2是现有技术中单机存储架构图；
图3是本发明的系统架构示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图3所示：本发明采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO(Active/Optimize)和AN(Active/Non-optimized)，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，具体包括步骤S1、步骤S2和步骤S3：
步骤S1：在Target层下面加入本地缓存层，本地缓存层下加入集群缓存均衡器，所述本地缓存层用于单机存储，所述集群缓存均衡器负责实时收集各个节点的缓存使用详细情况，并尽可能的均衡各个节点的缓存利用；
步骤S2：定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为 Tcr,则单节点的缓存占用率为Hcr＝T1cr+T2cr+T3cr+….+Tncr；
步骤S3：每次有新的Target需要接受客户端连接时，计算得出Hcr最低的设备为Hn，设置Hn上该Target的连接属性为AO，其他节点该Target的连接属性为AN，实现优先使用缓存最富裕的节点为该Target提供本地缓存服务。
进一步，确保各Target连接数据一致性为：ALUA不能排除AN节点不接收到IO请求，在节点接收到IO请求后，发现客户端到分布式存储节点的链路是 AN链路，不下发IO到分布式块层(分布式块层，负责将各个节点的存储能力，通过软件协议，虚拟化为一个大的存储池，对外提供块存储服务。)，Target 通过内部通讯机制，找到AO节点将IO转发给AO节点的Target做处理，实现保证针对同一个Target的IO处理都经过同样的缓存，数据一致。因为AN路径上本身读写IO极少，所以增加内部转发对性能影响很小。确保各Target连接数据一致性：对于分布式存储，客户端访问存储可以通过多条路径访问，不同的路径对应不同的存储节点，如果存在本地缓存，且本地缓存数据不同步，则会客户端通过一条路径上更新的数据在另外一条路径上读到的仍然是旧数据。如图3，比如c1,通过c11写入数据，数据被c11本地缓存缓存住了，如果c1 不和c2同步缓存数据，c1通过c12路径去读，则读不到刚写入的数据。如果同步本地缓存，一是技术实现难度大，二是本地缓存各个节点实时同步带来巨大性能开销，这些开销会抵消加入本地缓存层带来的性能提升，这也是目前基本没有分布式存储会选择使用本地缓存层的原因。
缓存占用多的节点会在处理IO时频繁出现等待空闲缓存页的情况，缓存性能会有所下降。客户端压力是动态变化的，对应存储端本地缓存压力也是动态变化的，这些压力不能在系统搭建前就规划好，需要后期针对压力有一个动态调整的机制。在集群中可能出现一个节点的本地缓存紧张，而存在其它节点缓存空闲较多的情况。这种情况需要有一种机制将缓存压力转移到Hcr较低的设备上。
可选地，各个集群缓存均衡器实时收集本节点的缓存利用率，由集群管理节点上的缓存均衡器模块充当整个集群的缓存均衡器，各个节点实时将详细的缓存利用率信息反馈给管理节点，管理节点实时计算出利用率最高的节点MaxH, 利用率MaxHcr，利用率最低的的节点MinH，利用率MinHcr,当MaxHcr和MinHcr 的差值大于预设的临界值，启动缓存均衡策略。
可选地，所述缓存均衡策略为：首先将MaxH节点对各个tcr进行由小到大排序，选出Tcr占用最小且连接状态为AO的Target，将此节点上该Target属性设置AN，同时设置MinH节点该Target属性为AO，如果MaxH节点有且仅有一个Target，则不进行Target属性修改，不进行缓存均衡，客户端在随后的 IO中，发现存储优先级已经切换，自动的切换到AO路径，通过此办法均衡集群各个节点的本地缓存利用率。
名词解释：
AA：Active-Active，各个路径优先级相同；
ALUA：Asymmetric Logical Unit Access，异步逻辑单元访问；
AO：Active/Optimized，主动优化路径；
AN：Active/Non-optimized,主动非优化路径。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于ALUA和本地缓存的分布式块存储性能优化方法，其特征在于：采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO和AN，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，具体包括以下步骤：
S1：在Target层下面加入本地缓存层，本地缓存层下加入集群缓存均衡器，所述本地缓存层用于单机存储，所述集群缓存均衡器负责实时收集存储节点S1、存储节点S2、存储节点S3的缓存使用详细情况，并均衡各个节点的缓存利用；
S2：定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为Tcr,则单节点的缓存占用率为Hcr＝T1cr+T2cr+T3cr+….+Tncr；
S3：每次有新的Target需要接受客户端连接时，计算得出Hcr最低的设备为Hn，设置Hn上该Target的连接属性为AO，其他节点该Target的连接属性为AN，实现优先使用缓存剩余最多的节点为该Target提供本地缓存服务。
2.根据权利要求1所述的基于ALUA和本地缓存的分布式块存储性能优化方法，其特征在于：确保各Target连接数据一致性为：ALUA不能排除AN节点不接收到IO请求，在节点接收到IO请求后，若发现客户端到分布式存储节点的链路是AN链路，不下发IO到分布式块层，Target通过内部通讯机制，找到AO节点将IO转发给AO节点的Target做处理，实现保证针对同一个Target的IO处理都经过同样的缓存，实现各Target连接数据一致。
3.根据权利要求1所述的基于ALUA和本地缓存的分布式块存储性能优化方法，其特征在于：所述步骤S1中各个集群缓存均衡器实时收集本节点的缓存利用率，由集群管理节点上的缓存均衡器模块充当整个集群的缓存均衡器，各个节点实时将详细的缓存利用率信息反馈给集群管理节点，管理节点实时计算出利用率最高的节点MaxH和利用率最低的节点MinH,将利用率最高的节点对应的利用率记为MaxHcr，利用率最低的节点对应的利用率记为MinHcr,当MaxHcr和MinHcr的差值大于预设的临界值时，启动缓存均衡策略。
4.根据权利要求3所述的基于ALUA和本地缓存的分布式块存储性能优化方法，其特征在于：所述缓存均衡策略为：
首先将MaxH节点对各个tcr进行由小到大排序，选出Tcr占用最小且连接状态为AO的Target，将此节点上该Target属性设置为AN，同时设置MinH节点该Target属性为AO；
如果MaxH节点有且仅有一个Target，则不进行Target属性修改，不进行缓存均衡；
客户端在随后的IO中，发现存储优先级已经切换，自动的切换到AO路径，从而实现均衡集群各个节点的本地缓存利用率。
CN201911394302.0A 2019-12-30 2019-12-30 一种基于alua和本地缓存的分布式块存储性能优化方法 Active CN111190546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394302.0A CN111190546B (zh) 2019-12-30 2019-12-30 一种基于alua和本地缓存的分布式块存储性能优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394302.0A CN111190546B (zh) 2019-12-30 2019-12-30 一种基于alua和本地缓存的分布式块存储性能优化方法

Publications (2)

Publication Number Publication Date
CN111190546A true CN111190546A (zh) 2020-05-22
CN111190546B CN111190546B (zh) 2023-10-20

Family

ID=70707869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394302.0A Active CN111190546B (zh) 2019-12-30 2019-12-30 一种基于alua和本地缓存的分布式块存储性能优化方法

Country Status (1)

Country Link
CN (1) CN111190546B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608690A (zh) * 2021-07-17 2021-11-05 济南浪潮数据技术有限公司 一种iscsi target多路径分组的方法、装置、设备及可读介质
CN116821099A (zh) * 2023-07-13 2023-09-29 广东惠源软件有限公司 一种数据库优化方法、装置、电子设备和存储介质
CN117851459A (zh) * 2024-03-08 2024-04-09 江苏金恒信息科技股份有限公司 一种工业数据采集下基于多级缓存的数据处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739220A (zh) * 2009-02-25 2010-06-16 浪潮电子信息产业股份有限公司 一种多控制器存储阵列的设计方法
US20140156777A1 (en) * 2012-11-30 2014-06-05 Netapp, Inc. Dynamic caching technique for adaptively controlling data block copies in a distributed data processing system
US20140229638A1 (en) * 2013-02-13 2014-08-14 Vmware, Inc. Multipath load balancing optimizations for alua storage systems
US20150248350A1 (en) * 2014-03-03 2015-09-03 Tmaxsoft. Co., Ltd. Apparatus and method for managing cache in cache distributed environment
CN105430103A (zh) * 2015-12-31 2016-03-23 浪潮(北京)电子信息产业有限公司 一种基于多控存储的动态负载均衡系统
US20170277439A1 (en) * 2016-03-23 2017-09-28 Netapp, Inc. Techniques for Path Optimization in Storage Networks
CN107220124A (zh) * 2017-05-26 2017-09-29 郑州云海信息技术有限公司 一种路径选择方法及装置
CN107340973A (zh) * 2017-07-05 2017-11-10 郑州云海信息技术有限公司 一种访问异步逻辑单元的方法及系统
US20170329714A1 (en) * 2016-05-10 2017-11-16 Nimble Storage, Inc. Fibre Channel Scale-Out With Physical Path Discovery and Volume Move
CN108183947A (zh) * 2017-12-27 2018-06-19 深圳天源迪科信息技术股份有限公司 分布式缓存方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739220A (zh) * 2009-02-25 2010-06-16 浪潮电子信息产业股份有限公司 一种多控制器存储阵列的设计方法
US20140156777A1 (en) * 2012-11-30 2014-06-05 Netapp, Inc. Dynamic caching technique for adaptively controlling data block copies in a distributed data processing system
US20140229638A1 (en) * 2013-02-13 2014-08-14 Vmware, Inc. Multipath load balancing optimizations for alua storage systems
US20150248350A1 (en) * 2014-03-03 2015-09-03 Tmaxsoft. Co., Ltd. Apparatus and method for managing cache in cache distributed environment
CN105430103A (zh) * 2015-12-31 2016-03-23 浪潮(北京)电子信息产业有限公司 一种基于多控存储的动态负载均衡系统
US20170277439A1 (en) * 2016-03-23 2017-09-28 Netapp, Inc. Techniques for Path Optimization in Storage Networks
US20170329714A1 (en) * 2016-05-10 2017-11-16 Nimble Storage, Inc. Fibre Channel Scale-Out With Physical Path Discovery and Volume Move
CN107220124A (zh) * 2017-05-26 2017-09-29 郑州云海信息技术有限公司 一种路径选择方法及装置
CN107340973A (zh) * 2017-07-05 2017-11-10 郑州云海信息技术有限公司 一种访问异步逻辑单元的方法及系统
CN108183947A (zh) * 2017-12-27 2018-06-19 深圳天源迪科信息技术股份有限公司 分布式缓存方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608690A (zh) * 2021-07-17 2021-11-05 济南浪潮数据技术有限公司 一种iscsi target多路径分组的方法、装置、设备及可读介质
CN113608690B (zh) * 2021-07-17 2023-12-26 济南浪潮数据技术有限公司 一种iscsi target多路径分组的方法、装置、设备及可读介质
CN116821099A (zh) * 2023-07-13 2023-09-29 广东惠源软件有限公司 一种数据库优化方法、装置、电子设备和存储介质
CN117851459A (zh) * 2024-03-08 2024-04-09 江苏金恒信息科技股份有限公司 一种工业数据采集下基于多级缓存的数据处理方法
CN117851459B (zh) * 2024-03-08 2024-06-07 江苏金恒信息科技股份有限公司 一种工业数据采集下基于多级缓存的数据处理方法

Also Published As

Publication number Publication date
CN111190546B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111190546B (zh) 一种基于alua和本地缓存的分布式块存储性能优化方法
CN103763383B (zh) 一体化云存储系统及其存储方法
US20050086386A1 (en) Shared running-buffer-based caching system
US7941591B2 (en) Flash DIMM in a standalone cache appliance system and methodology
US8041890B2 (en) Method for accessing target disk, system for expanding disk capacity and disk array
CN100531102C (zh) 路由表调整方法、路由查询方法和装置及路由表存储装置
JP4014923B2 (ja) 共有メモリ制御方法および制御システム
CN101247417B (zh) 双层元数据处理系统及方法
CN108462736B (zh) 一种面向QoS的云存储数据副本存储方法
CN105955841B (zh) 一种raid双控制器利用磁盘进行写缓存镜像的方法
CN102117287A (zh) 分布式文件系统访问方法、元数据服务器及客户端
WO2021120375A1 (zh) 一种下载资源文件的方法和装置
CN106603692A (zh) 一种分布式存储系统中的数据存储方法及装置
CN108256643A (zh) 一种基于hmc的神经网络运算装置和方法
JP4494905B2 (ja) 情報処理システム、管理計算機及びリモートコピー方法
CN104811646B (zh) 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法
CN112631789B (zh) 面向短视频数据的分布式内存系统及视频数据管理方法
CN111131390B (zh) 一种提高云渲染并发数的存储缓存方法
CN117762332A (zh) 一种存储管理系统、方法、设备及机器可读存储介质
US20090132765A1 (en) Dual controller storage apparatus and cache memory mirror method thereof
US8719467B2 (en) Method, apparatus and system for mounting file system
CN115586869B (zh) 一种自组网系统及自组网系统的流数据处理方法
CN113590507B (zh) 一种分布式存储系统及其缓存层、数据访问方法、设备
CN114415959A (zh) 一种sata磁盘动态加速访问方法和装置
JP4673697B2 (ja) デジタル遅延バッファ及びこれに関連する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant