CN111124302A - 一种san共享文件存储和归档方法和系统 - Google Patents

一种san共享文件存储和归档方法和系统 Download PDF

Info

Publication number
CN111124302A
CN111124302A CN201911309966.2A CN201911309966A CN111124302A CN 111124302 A CN111124302 A CN 111124302A CN 201911309966 A CN201911309966 A CN 201911309966A CN 111124302 A CN111124302 A CN 111124302A
Authority
CN
China
Prior art keywords
write
cache
read
data
raid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911309966.2A
Other languages
English (en)
Other versions
CN111124302B (zh
Inventor
付丽莉
李征梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911309966.2A priority Critical patent/CN111124302B/zh
Publication of CN111124302A publication Critical patent/CN111124302A/zh
Application granted granted Critical
Publication of CN111124302B publication Critical patent/CN111124302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种SAN共享文件存储和归档方法和系统，涉及存储技术领域，所述方法包括：在在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。本发明使得SAN共享文件系统可充分发挥存储硬件、连接网络的带宽，为各种不同的非结构化数据的应用提供极高的存储性能。

Description

一种SAN共享文件存储和归档方法和系统
技术领域
本发明涉及存储技术领域，尤指一种SAN共享文件存储和归档方法和系统。
背景技术
SAN(Storage Area Network，存储区域网络)是一种类似于普通局域网的高速存储网络，通过专用的集线器、交换机和网关建立起服务器和磁盘阵列之间的直接连接。SAN的优点主要体现在：资源共享。SAN文件系统简化了SAN管理，减小了存储和恢复时间，优化了存储资源的使用，并允许单独缩小网络元件，同时避免了冗余存储。SAN编程包括各个服务器上的客户程序，它专门用于服务器使用的操作平台。如果要创建或写文件，客户程序向控制SAN通信的公共元数据服务器发出请求，一旦允许访问，服务器可以不经过元数据服务器而访问文件，并保证大多数输入输出(I/O)的性能不下降。
SAN共享文件系统作为应用和存储之间的中间层，在性能上关系重大，应用是否能取得最佳性能，基本上取决于SAN共享文件系统是否能让上层应用和底层存储匹配起来，如何能最大程度地发挥出SAN共享文件系统地性能是亟待解决地问题。
发明内容
为了解决上述技术问题，本发明提供了一种SAN共享文件存储和归档方法和系统，使得SAN共享文件系统可充分发挥存储硬件、连接网络的带宽，为各种不同的非结构化数据的应用提供极高的存储性能。
为了达到本发明目的，本发明提供了一种SAN共享文件存储和归档方法，包括：
在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
优选地，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
优选地，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
优选地，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取。
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
优选地，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
优选地，所述数据操作请求包括以下之一：
写入数据请求、更新数据请求、删除数据请求。
本发明的实施例还提供了一种SAN共享文件存储和归档系统，包括：
分析模块，设置为在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
处理模块，设置为根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
优选地，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
优选地，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
优选地，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取。
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
优选地，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
本发明在SAN共享文件系统中实现跨异构操作和服务器硬件平台同步共享信息，同时将存储数据和其他重要数字资产建立起一个共享存储池，从而加快业务运营，有效处理和和分发整个工作流中的内容。本发明能够解决客户在成本有限条件下对提升性能的需求，具有广泛应用性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例的SAN共享文件存储和归档方法的流程图；
图2为本发明实施例的SAN共享文件存储和归档系统的一个示例的结构示意图；
图3为本发明实施例的SAN共享文件系统调优的系统示意图。
具体实施方式
为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本发明实施例提供一种SAN共享文件存储和归档方法，所述方法可以包括步骤S101和S102：
S101、在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
S102、根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
本发明实施例中，步骤S102中根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
本发明实施例中，调优包括从RAID缓存的配置、RAID级别、RAID条带宽度和共享文件系统条带宽度上进行调优。
本发明实施例中，步骤S102中根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
本发明实施例中，步骤S102中根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取。
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
本发明实施例中，回写缓存策略：write-back，在数据更新时只写入缓存Cache。只在数据被替换出缓存时，被修改的缓存数据才会被写到后端存储。此模式的优点是数据写入速度快，因为不需要写存储；缺点是一旦更新后的数据未被写入存储时出现系统掉电的情况，数据将无法找回。
预读缓存策略：read-ahead，将指定文件的某区域预读进页缓存起来，便于接下来对该区域进行读取时，不会因缺页(page fault)而阻塞。因为从内存读取比从磁盘读取要快很多。
直写缓存策略，write-through，在数据更新时，同时写入缓存Cache和后端存储。此模式的优点是操作简单；缺点是因为数据修改需要同时写入存储，数据写入速度较慢。
本发明实施例中，步骤S102中根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
本发明实施例中，基于客户读写IO需求，尽可能的将顺序IO和随机IO分开，放在不同文件系统上，然后再针对顺序IO和随机IO来调优。
本发明实施例中，利用SAN共享文件系统的客户端mount参数里的auto_read_length和auto_write_length，设置合理的自动读写长度，匹配客户不同的读写需求。利用SAN共享文件系统的buffer cache机制，最重要的参数是buffer大小，buffer等于或者大于RAID组条带的大小，如果小于，则性能将受到较大影响。
本发明实施例中，步骤S102中所述数据操作请求包括以下之一：
写入数据请求、更新数据请求、删除数据请求。
如图2所示，本发明实施例还提供一种SAN共享文件存储和归档系统，包括：
分析模块，设置为在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
处理模块，设置为根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
本发明实施例中，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
本发明实施例中，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
本发明实施例中，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取。
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
本发明实施例中，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
实施例一
本发明实施例中，SAN共享文件系统中的主机和应用系统共享存储设备和数据；SAN共享文件系统的优秀的扩展能力，在不影响主机和应用系统运行的情况下，存储容和性能都可以无限扩展，增加主机也不影响存储系统；其中，光纤通道可以使存储设备远离主机系统，便于灾难恢复；数据和存储设备整合，将设备和数据统一存储和管理，降低采购、管理和维护成本，便于进行数据保护；满足海量存储环节的高性能需求，适合于高速数据流。SAN共享文件系统作为应用和存储之间的中间层，在性能上关系重大，应用是否能取得最佳性能，基本上取决于SAN共享文件系统是否能让上层应用和底层存储匹配起来。本发明从底层存储，上层应用和中间层SAN共享文件系统的三个方面来进行存储和归档的调优，达到使其发挥最大性能的目的。
如图3所示，本发明实施例分为(1)上层应用服务器、(2)SAN共享文件系统、(3)底层存储：
(1)上层应用服务器：存在于和元数据服务器SAN连接的Windows、Linux、UNIX或MACOS服务器。元数据服务器将担当连接至数据库和SAN存储的共享异构服务器的“流量巡警”。上层应用服务器作为SAN共享文件系统的客户端，都需要安装Agent(客户端软件)使得元数据服务器可以访问和控制其数据流。
(2)SAN共享文件系统：由两个高可用服务器节点组成HA集群服务器的OS上安装NFS文件系统，用于控制和管理元数据。文件由内容(实际数据)和元数据(有关文件的信息，包括属性、许可等)两部分组成。元数据会在写入、更新或删除文件时变更，这意味着写入文件时不仅必须写入数据还必须写入元数据。对于更大的文件，虽然为了获得高性能而采用串行方式写入文件会导致写入性能下降，但元数据的写入操作要求磁盘磁头突然移动到磁盘上的另一个位置。本发明实施例中允许将元数据写入到不同的磁盘卷，从而使数据的串行写入免受更随机的元数据写入的影响，以最大限度地提高吞吐量。
(3)底层存储：底层存储可以为基于磁盘的存储空间，也可以为虚拟带库(VirtualLibrary)或者物理带库(Tape)划分的存储介质池。底层存储的调优是SAN共享文件系统调优中最重要的部分。底层存储的调优包括从RAID缓存的配置和RAID级别、RAID条带宽度和共享文件系统条带宽度上进行调优。
实施例二
本发明实施例中，从底层存储，上层应用和中间层SAN共享文件系统的三个方面来进行存储和归档的调优，达到使其发挥最大性能的目的。
(1)基于底层存储的调优
底层存储的调优是SAN共享文件系统调优中最重要的部分。底层存储的调优包括从RAID缓存的配置和RAID级别、RAID条带宽度和共享文件系统条带宽度上进行调优。RAID缓存的配置是底层存储调优中，最为重要的一个环节，特别是针对小IO应用。目前RAID技术都为小IO提供了提升性能的缓存，因此我们必须充分利用RAID控制器的缓存，将他调节到最优状态。本发明调优策略如下：针对SAN共享文件系统的元数据所在的RAID条带组上建议开启“回写缓存”(write-back)，针对大量小IO写操作建议开启“回写缓存”，针对顺序读应用建议开启“预读缓存”(read-ahead或叫做prefetch)；针对随机读应用，不建议开启“预读缓存”。针对大IO应用，建议使用“直写缓存”(write-through)，直写缓存有点像DMA(DirectMemory Access)，也就是不用缓存，直写缓存和回写缓存的左右正相反。RAID级别、条带宽度和SAN共享文件系统条带宽度对性能的影响不及上述缓存，但也是十分巨大的。不要把元数据和用户数据都放在一个RAID组上，元数据要单独放置。
(2)基于上层应用的调优
针对上层应用，需要在调优前要了解如下信息：
·并发的数据流(或者IO数)有多少
·读和写的比例有多少(或者说，读多一些还是写多一些)
·IO块的大小是多少
·顺序还是随机读写
尽可能的将顺序IO和随机IO分开，放在不同文件系统上，然后再针对顺序IO和随机IO来调优，各个击破，如果不能做到上述，那么我们要尽可能的针对最重要的、或最多的那种IO来调优，此时则会影响到另一种IO的性能但综合起来效果最好。如果应用的大顺序IO较多，则可以利用SAN共享文件系统的客户端mount参数里对读和写长度参数。对于较小的、不够整齐的IO，则可以利用SAN共享文件系统的buffer cache机制。此时最重要的参数是buffer大小，buffer要等于或者大于RAID组条带的大小，如果小于，则性能将受到较大影响，因此如果IO较小较碎，则RAID组的条带大小不要太大，最好不要大于256K。
(3)SAN共享文件系统调优
SAN共享文件系统的服务器(MDC)和客户端，是一个客户端/服务器(C/S)构架，他们之间有着频繁的通讯，其通讯包的内容就是元数据，也就是文件的位置信息，也就是inode，因此，客户端是否能够尽快获得inode元数据，将取决于元数据的网络，因此这个元数据网络十分重要。元数据网络的最佳实践：
a)如追求高性能，则一定单独规划出来一个以太网网络，用于元数据。
b)如使用百兆网，则一定单独规划出来一个以太网网络，用于元数据。
c)如果机房允许，也一定单独规划出来一个以太网网络，用于元数据。
d)元数据网络应在一个交换机上，有路由就会产生延迟，将影响性能
性能调优的顺序：首先考虑底层存储；其次考虑上层应用的特点；最后综合考虑：StorNext系统的设计，去匹配上下两层。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种SAN共享文件存储和归档方法，其特征在于，包括：
在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
2.根据权利要求1所述的方法，其特征在于，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
3.根据权利要求2所述的方法，其特征在于，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
4.根据权利要求2所述的方法，其特征在于，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取；
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
5.根据权利要求3所述的方法，其特征在于，根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
6.根据权利要求1所述的方法，其特征在于，所述数据操作请求包括以下之一：
写入数据请求、更新数据请求、删除数据请求。
7.一种SAN共享文件存储和归档系统，其特征在于，包括：
分析模块，设置为在接收到数据操作请求时；确定所述数据操作请求对应的读写IO需求信息；
处理模块，设置为根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略。
8.根据权利要求7所述的系统，其特征在于，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
根据所述读写IO需求信息确定以下的一项或者多项：
RAID缓存的配置、RAID级别、RAID条带宽度、SAN共享文件存储系统的条带宽度。
9.根据权利要求8所述的系统，其特征在于，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略还包括：
根据所述读写IO需求信息确定在所述存储设备的输入方式为顺序IO或者随机IO。
10.根据权利要求8所述的系统，其特征在于，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
对于SAN共享文件系统的元数据所在的RAID条带组上，开启回写缓存策略；
对于容量小于预设阈值的IO写操作，开启回写缓存策略；
对于顺序读请求，开启预读缓存策略；
对于随机读请求，不开启预读缓存策略；
对于容量大于预设阈值的IO写操作，开启直写缓存策略；
其中，回写缓存策略为：在数据更新时将数据写入缓存；只在数据被替换出缓存时，被修改的缓存数据被写到后端存储；
预读缓存策略为：将指定文件的某区域预读进页缓存，使得实现对该区域进行读取；
直写缓存策略为：在数据更新时，将数据同时写入缓存和后端存储。
11.根据权利要求9所述的系统，其特征在于，所述处理模块根据所述读写IO需求信息确定存储设备的RAID缓存的配置策略包括：
将顺序IO操作和随机IO操作分别在不同文件系统上执行；
对于容量大于预设阈值的顺序IO写操作，利用SAN共享文件系统的客户端mount参数设置自动读写长度；
对于容量小于预设阈值的顺序IO写操作，利用SAN共享文件系统的buffer cache机制。
CN201911309966.2A 2019-12-18 2019-12-18 一种san共享文件存储和归档方法和系统 Active CN111124302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911309966.2A CN111124302B (zh) 2019-12-18 2019-12-18 一种san共享文件存储和归档方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911309966.2A CN111124302B (zh) 2019-12-18 2019-12-18 一种san共享文件存储和归档方法和系统

Publications (2)

Publication Number Publication Date
CN111124302A true CN111124302A (zh) 2020-05-08
CN111124302B CN111124302B (zh) 2023-01-10

Family

ID=70499696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309966.2A Active CN111124302B (zh) 2019-12-18 2019-12-18 一种san共享文件存储和归档方法和系统

Country Status (1)

Country Link
CN (1) CN111124302B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625956A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质
CN113835616A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 应用的数据管理方法、系统和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149668A (zh) * 2007-11-02 2008-03-26 杭州华三通信技术有限公司 一种包括读写缓存的存储设备及缓存实现方法
CN102262668A (zh) * 2011-07-28 2011-11-30 南京中兴新软件有限责任公司 分布式文件系统文件读写方法、分布式文件系统及其装置
CN105260138A (zh) * 2015-09-30 2016-01-20 福州瑞芯微电子股份有限公司 读写控制系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149668A (zh) * 2007-11-02 2008-03-26 杭州华三通信技术有限公司 一种包括读写缓存的存储设备及缓存实现方法
CN102262668A (zh) * 2011-07-28 2011-11-30 南京中兴新软件有限责任公司 分布式文件系统文件读写方法、分布式文件系统及其装置
CN105260138A (zh) * 2015-09-30 2016-01-20 福州瑞芯微电子股份有限公司 读写控制系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835616A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 应用的数据管理方法、系统和计算机设备
CN113625956A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质
CN113625956B (zh) * 2021-06-30 2023-08-22 苏州浪潮智能科技有限公司 Raid卡的缓存设置方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111124302B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
US7536505B2 (en) Storage system and method for controlling block rearrangement
US9128855B1 (en) Flash cache partitioning
US10223262B2 (en) Journal management
US9454332B2 (en) Assimilation of foreign LUNS into a network storage system
CN103502926B (zh) 基于扩展区的存储架构
US8825963B1 (en) Dynamic balancing of performance with block sharing in a storage system
EP3195104B1 (en) Efficient data movement within file system volumes
US8078819B2 (en) Arrangements for managing metadata of an integrated logical unit including differing types of storage media
EP2411918B1 (en) Virtualized data storage system architecture
US20130232215A1 (en) Virtualized data storage system architecture using prefetching agent
US20100199036A1 (en) Systems and methods for block-level management of tiered storage
US9063945B2 (en) Apparatus and method to copy data
US20140201168A1 (en) Deduplication in an extent-based architecture
US20040044834A1 (en) Method, system, and program for transferring data
CN101393536A (zh) 存储系统
JP2013541788A (ja) データ記憶システムに用いるエンドポイントキャッシュ
CN111124302B (zh) 一种san共享文件存储和归档方法和系统
US20240231657A1 (en) Data processing method and storage system
US20190057121A1 (en) Predictable Allocation Latency in Fragmented Log Structured File Systems
US9111598B2 (en) Increased I/O rate for solid state storage
US9063861B1 (en) Host based hints
US7171396B2 (en) Method and program product for specifying the different data access route for the first data set includes storing an indication of the different access for the first data set providing alternative data access routes to a data storage
CN111143287A (zh) 一种san共享文件存储和归档方法和系统
US11048674B2 (en) Data deduplication with less impact on speed of access
CN118377442B (zh) 一种存储系统、数据存储方法、设备、产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant