CN111596865B - 一种存储处理方法及装置 - Google Patents

一种存储处理方法及装置 Download PDF

Info

Publication number
CN111596865B
CN111596865B CN202010443142.0A CN202010443142A CN111596865B CN 111596865 B CN111596865 B CN 111596865B CN 202010443142 A CN202010443142 A CN 202010443142A CN 111596865 B CN111596865 B CN 111596865B
Authority
CN
China
Prior art keywords
storage
storage area
data
area
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010443142.0A
Other languages
English (en)
Other versions
CN111596865A (zh
Inventor
滕开恩
魏齐良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010443142.0A priority Critical patent/CN111596865B/zh
Publication of CN111596865A publication Critical patent/CN111596865A/zh
Application granted granted Critical
Publication of CN111596865B publication Critical patent/CN111596865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种存储处理方法及装置，其中，该方法包括：获取第一存储设备的第一存储区域，其中，该第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；确定第二存储设备的第二存储区域，其中，该第二存储区域与该第一存储区域的存储空间大小相同，该第二存储设备包括一个或多个存储设备；将该第一存储区域映射到该第二存储区域，可以解决相关技术中将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失的问题，节约了性能优化的成本，由于只分担部分数据存储压力，避免了其他存储设备的数据大流量瓶颈，即大大降低了其他存储设备被写坏的可能，避免了数据丢失。

Description

一种存储处理方法及装置
技术领域
本发明涉及数据处理领域，具体而言，涉及一种存储处理方法及装置。
背景技术
存储系统中，通常存在多个文件系统或硬盘，数据通过文件系统或者直接读写裸盘的方式进行存储，文件系统由于需频繁更新自身元数据，且元数据通常比较小，极大拉低了用户有效数据的存储性能，且硬盘的特性决定了其某些区域(硬盘盘片内圈)的存储性能较其他区域差。
相关技术中还提出一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，SSD作为某个文件系统的一部分，用于存储更新较频繁、IO较小的元数据，利用SSD存储性能较SMR硬盘高的特性，从而达到提升SSD+SMR硬盘的单文件系统的性能。
上述方案中SSD需与SMR硬盘组合，且针对特定或私有文件系统，局限性明显，SSD无法为其他文件系统提升性能；SSD虽然性能较机械硬盘高，但寿命却较机械硬盘低，将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失。
针对相关技术中将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种存储处理方法及装置，以至少解决相关技术中将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失的问题。
根据本发明的一个实施例，提供了一种存储处理方法，包括：
获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
将所述第一存储区域映射到所述第二存储区域。
可选地，获取第一存储设备的第一存储区域至少包括以下之一：
获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
获取所述第一存储设备中无法正常读写的所述第一存储区域；
获取所述第一存储设备中被损坏的所述第一存储区域；
获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
可选地，在将所述第一存储区域映射到所述第二存储区域中之后，所述方法还包括：
接收向所述第一存储区域写数据的写请求消息；
当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；
当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
可选地，在将所述第一存储区域映射到所述第二存储区域之后，所述方法还包括：
接收读取所述数据的读请求消息；
当所述映射模式为所述重定向模式时，从所述第二存储区域读取所述数据；
当所述映射模式为所述镜像模式时，从所述第一存储区域或所述第二存储区域读取所述数据。
可选地，从所述第一存储区域或所述第二存储区域读取所述数据包括：
根据预先设置的优先级从第一存储区域读取所述数据，若读取失败，则从所述第二存储区域读取数据；或者，
根据所述预先设置的优先级从所述第二存储区域读取所述数据，若读取失败，则从所述第一存储区域读取数据。
根据本发明的另一个实施例，还提供了一种存储处理装置，包括：
获取模块，用于获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
确定模块，用于确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
映射模块，用于将所述第一存储区域映射到所述第二存储区域。
可选地，所述获取模块至少包括以下之一：
第一获取子模块，用于获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
第二获取子模块，用于获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
第三获取子模块，用于获取所述第一存储设备中无法正常读写的所述第一存储区域；
第四获取子模块，用于获取所述第一存储设备中被损坏的所述第一存储区域；
第五获取子模块，用于获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
可选地，所述装置还包括：
第一接收模块，用于接收向所述第一存储区域写数据的写请求消息；
第一写入子模块，用于当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；
第二写入子模块，用于当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
可选地，所述装置还包括：
第二接收模块，用于接收读取所述数据的读请求消息；
第一读取模块，用于当所述映射模式为所述重定向模式时，从所述第二存储区域读取所述数据；
第二读取模块，用于当所述映射模式为所述镜像模式时，从所述第一存储区域或所述第二存储区域读取所述数据。
可选地，所述第二读取模块包括：
第一读取子模块，用于根据预先设置的优先级从第一存储区域读取所述数据，若读取失败，则从所述第二存储区域读取数据；或者，
第二读取子模块，用于根据所述预先设置的优先级从所述第二存储区域读取所述数据，若读取失败，则从所述第一存储区域读取数据。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；将所述第一存储区域映射到所述第二存储区域，可以解决相关技术中将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失的问题，通过将存储性能低的存储区域即部分存储区域映射到其他存储设备中，通过其他少数存储设备分担部分数据存储压力，节约了性能优化的成本，由于只分担部分数据存储压力，避免了其他存储设备的数据大流量瓶颈，即大大降低了其他存储设备被写坏的可能，避免了数据丢失。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的存储处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的存储处理方法的流程图；
图3是根据本发明实施例的存储映射处理方法的流程图一；
图4是根据本发明实施例的存储映射处理方法的流程图二；
图5是根据本发明实施例的存储映射处理方法的流程图三；
图6是根据本发明实施例的存储映射处理的示意图；
图7是根据本发明实施例的存储处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的存储处理方法的移动终端的硬件结构框图，如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的存储处理方法，图2是根据本发明实施例的存储处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
本发明实施例中，上述步骤S202至少包括以下之一：
获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
获取所述第一存储设备中无法正常读写的所述第一存储区域；
获取所述第一存储设备中被损坏的所述第一存储区域；
获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
步骤S204，确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
步骤S206，将所述第一存储区域映射到所述第二存储区域。
通过上述步骤S202至S206，可以解决相关技术中将需频繁更新的元数据局限于存储在SSD，极有可能很快将SSD写坏，导致数据丢失的问题，通过将存储性能低的存储区域即部分存储区域映射到其他存储设备中，通过其他少数存储设备分担部分数据存储压力，节约了性能优化的成本，由于只分担部分数据存储压力，避免了其他存储设备的数据大流量瓶颈，即大大降低了其他存储设备被写坏的可能，避免了数据丢失；另外，同一个第二存储设备的不同存储区域可用于多个不同的第一设备的第一区域映射，由于第二存储设备分担的只是第一存储设备的部分数据/元数据存储压力，故可在整个存储系统中最大化利用，提升整个系统存储性能的同时将性能优化的成本最优化。
在一可选的实施例中，在将所述第一存储区域映射到所述第二存储区域中之后，对于请求写入第一存储区域的数据，可以根据预先设置的映射模式的不同进行不同的处理，具体的，接收向所述第一存储区域写数据的写请求消息；当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
在另一可选的实施例中，对于写入第一存储区域的/或第二存储区域中数据，若读取，也需要考虑映射模式，具体的，接收读取所述数据的读请求消息；当所述映射模式为重定向模式时，从所述第二存储区域读取所述数据；当所述映射模式为镜像模式时，从所述第一存储区域或所述第二存储区域读取所述数据。
进一步地，从所述第一存储区域或所述第二存储区域读取所述数据具体包括：根据预先设置的优先级从第一存储区域读取所述数据，若读取失败，则从所述第二存储区域读取数据；或者，根据所述预先设置的优先级从所述第二存储区域读取所述数据，若读取失败，则从所述第一存储区域读取数据。
下面以第一存储区域为被映射区，第二存储区域为映射区为例，对本发明实施例进行说明。
本发明实施例在存储系统部署的初期、或者系统运行过程中的任何时期，根据需要，将影响整个系统性能的块设备(对应上述的存储设备)的慢速区域映射到高速块设备的指定区域，其中，块设备指的是存储后端设备，包括但不局限于硬盘、SSD、RAID、dm等存储节点；块设备的慢速区域包括但不局限于各个文件系统的元数据所在块设备的区域，以及硬盘盘片内圈慢速区域，或者发生过大量坏扇区重映射导致访问速度变慢的区域；一个被映射区可对应多个映射区，且多个映射区可以存在于不止一个块设备，同时，被映射区可选重定向模式或镜像模式，重定向模式主要用于性能优化，镜像模式则可为被镜像区提供镜像备份，提升该区域数据的安全性。图3是根据本发明实施例的存储映射处理方法的流程图一，如图3所示，包括：
步骤S301，选择块设备中期望被映射的被映射区；
步骤S302，为选择的被映射区在当或多个块设备中选择对应的映射区；
步骤S303，设定此次映射的映射模式。
完成映射之后，如果映射的模式是重定向模式，原本写入到块设备的被映射区的数据流，都会被重定向写入到对应的高速块设备的映射区，同理，向被映射区发起的读请求，其读数据流也会从高速设备的映射区读取，用高速块设备的高性能读写替代被映射区的慢速读写，从而提升整个存储系统的性能。图4是根据本发明实施例的存储映射处理方法的流程图二，如图4所示，包括：
步骤S401，确定期望写入的数据所在位置为被映射区；
步骤S402，判断映射模式是否为镜像模式；在判断结果为是的情况下，同时执行步骤S403和S404；在判断结果为否的情况下，执行步骤S405；
步骤S403，将数据写入被映射区；
步骤S404，将数据写入映射区；
步骤S405，仅将数据写入映射区。
写入数据时，映射模式为重定向模式时，写请求的数据位置落在被映射区域时，重定向写入到目标映射块设备的映射区域；映射模式为镜像模式时，写请求的数据除了写入被映射区域，也会向目标映射块设备的映射区域写入数据。
通过将被映射块设备中的一个或多个存储区域作为被映射区映射到其他块设备，消除被映射区的写入对被映射块设备性能影响，从而提升存储系统的性能。选定被映射区域时，可以选择块设备读写慢的区域，也可选择文件系统元数据更新频繁的区域，甚至是无法正常读写的损坏的区域，以及期望被镜像保护的区域。选定被映射区域的映射目标块设备时，可以选择SSD、磁盘、RAID或逻辑卷等块设备，单个被映射区域可以选择一个或多个映射目标块设备。选定映射目标块设备的映射区域时，可以选择目标块设备中与被映射区域存储空间大小相同的任意未被映射区域。
选定被映射区域后，可设定映射的模式为重定向模式或镜像模式。完成映射之后，如果映射的模式是镜像模式，本写入到块设备被映射区域的数据流，会被拷贝一份写入到对应的高速块设备的映射区域，向被映射区发起的读请求，可根据配置优先从被映射区域读取或优先从映射区读取，以便达到最优的性能，如果其中一方数据失效或读取失败，则转从另一方读取，提升存储系统的可靠性。图5是根据本发明实施例的存储映射处理方法的流程图三，如图5所示，包括：
步骤S501，确定期望写入的数据所在位置为被映射区；
步骤S502，判断映射模式是否为镜像模式，在判断结果为是的情况下，同时执行步骤S503；在判断结果为否的情况下，执行步骤S504；
步骤S503，判断是否配置优先从映射区读取数据，在判断结果为是的情况下，同时执行步骤S504；在判断结果为否的情况下，执行步骤S507；
步骤S504，从映射区读取数据；
步骤S505，判断是否读取失败，在判断结果为是的情况下，同时执行步骤S506；否则结束；
步骤S506，转从被映射区读取数据；
步骤S507，从被映射区读取数据；
步骤S508，判断是否读取失败，在判断结果为是的情况下，同时执行步骤S509；否则结束；
步骤S509，转从映射区读取数据。
读取数据时，映射模式为重定向模式时，从目标映射块设备的映射区域读取数据；映射模式为镜像模式时，根据设置决定优先从被映射区域还是目标映射设备的映射区读取数据，如果初次读取失败，则转从未被设置优先读取的一方读取数据。
图6是根据本发明实施例的存储映射处理的示意图，如图6所示，被映射块设备包括块设备1，块设备2和块设备3，被映射区包括块设备1中期望映射文件系统元数据区区域，块设备2期望映射满是区域或损坏区域，以及块设备3期望映射并镜像关键区域。映射目标块设备包括用于提供映射区的块设备4和应用提供映射区的块设备5，被映射区包括A1、A2、A1、A2、A1、A2，映射区包括A1’、A2’、A1’、A2’、A1’、A2’。
本发明实施例映射的只是块设备中的一个或多个慢速区域、文件系统元数据更新频繁的区域，目的是排除慢速区域、文件系统元数据更新频繁的区域的数据写入对块设备造成的压力，而不是全盘接管块设备的所有数据，所以不会导致映射的目标块设备成为数据大流量瓶颈，且不同块设备的多个被映射区可以映射到同一个块设备，用一个或少数块设备分担多个其他块设备的存储压力，可以节约性能优化的成本。
用于映射被映射区的块设备可以是SSD，也可以是性能较好的磁盘，甚至是性能稍差，但足以承担被映射区写入流量压力的任意块设备，可以在性能、成本和存储设备寿命上有更好的权衡。
可选作被映射区的块设备存储区域不局限于文件系统的元数据区域，还可以是硬盘的某些慢速区域，以及坏块严重的区域，即能消除这些区域的性能损耗，还可让写入损坏区域的数据有可存之地，提高存储系统性能的同时提升了可靠性。
由于被映射区的映射模式有重定向和镜像两种，故除了重定向模式可用于提升存储系统的性能，镜像模式时，由于被映射区域存在多个镜像备份，可提高存储性能的可靠性、数据安全性。
本发明实施例通过选定造成块设备存储压力的存储区域作为被映射区映射到其他块设备，后续无需浪费存储器资源实时监测写频率判断存储压力，即可将写往被映射区的数据重定向到其他块设备，提升整个存储系统的性能。
实施例2
根据本发明的另一个实施例，还提供了一种存储处理装置，图7是根据本发明实施例的存储处理装置的框图，如图7所示，包括：
获取模块72，用于获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
确定模块74，用于确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
映射模块76，用于将所述第一存储区域映射到所述第二存储区域。
可选地，所述获取模块72至少包括以下之一：
第一获取子模块，用于获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
第二获取子模块，用于获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
第三获取子模块，用于获取所述第一存储设备中无法正常读写的所述第一存储区域；
第四获取子模块，用于获取所述第一存储设备中被损坏的所述第一存储区域；
第五获取子模块，用于获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
可选地，所述装置还包括：
第一接收模块，用于接收向所述第一存储区域写数据的写请求消息；
第一写入子模块，用于当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；
第二写入子模块，用于当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
可选地，所述装置还包括：
第二接收模块，用于接收读取所述数据的读请求消息；
第一读取模块，用于当所述映射模式为重定向模式时，从所述第二存储区域读取所述数据；
第二读取模块，用于当所述映射模式为镜像模式时，从所述第一存储区域或所述第二存储区域读取所述数据。
可选地，所述第二读取模块包括：
第一读取子模块，用于根据预先设置的优先级从第一存储区域读取所述数据，若读取失败，则从所述第二存储区域读取数据；或者，
第二读取子模块，用于根据所述预先设置的优先级从所述第二存储区域读取所述数据，若读取失败，则从所述第一存储区域读取数据。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
S2，确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
S3，将所述第一存储区域映射到所述第二存储区域。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取第一存储设备的第一存储区域，其中，所述第一存储区域包括一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
S2，确定第二存储设备的第二存储区域，其中，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
S3，将所述第一存储区域映射到所述第二存储区域。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种存储处理方法，其特征在于，包括：
获取第一存储设备的第一存储区域，其中，所述第一存储区域包括第一存储设备中的一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
确定第二存储设备的第二存储区域，其中，所述第二存储区域读写速度大于所述第一存储区域读写速度，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
将所述第一存储区域映射到所述第二存储区域；
获取第一存储设备的第一存储区域至少包括以下之一：
获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
2.根据权利要求1所述的方法，其特征在于，在将所述第一存储区域映射到所述第二存储区域中之后，所述方法还包括：
接收向所述第一存储区域写数据的写请求消息；
当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；
当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
3.根据权利要求2所述的方法，其特征在于，在将所述第一存储区域映射到所述第二存储区域中之后，所述方法还包括：
接收读取所述数据的读请求消息；
当所述映射模式为所述重定向模式时，从所述第二存储区域读取所述数据；
当所述映射模式为所述镜像模式时，从所述第一存储区域或所述第二存储区域读取所述数据。
4.根据权利要求3所述的方法，其特征在于，从所述第一存储区域或所述第二存储区域读取所述数据包括：
根据预先设置的优先级从第一存储区域读取所述数据，若读取失败，则从所述第二存储区域读取数据；或者，
根据所述预先设置的优先级从所述第二存储区域读取所述数据，若读取失败，则从所述第一存储区域读取数据。
5.一种存储处理装置，其特征在于，包括：
获取模块，用于获取第一存储设备的第一存储区域，其中，所述第一存储区域包括第一存储设备中的一个或多个存储区域，所述存储区域的性能低于预设性能等级，和/或，所述存储区域被设置为镜像保护；
确定模块，用于确定第二存储设备的第二存储区域，其中，所述第二存储区域读写速度大于所述第一存储区域读写速度，所述第二存储区域与所述第一存储区域的存储空间大小相同，所述第二存储设备包括一个或多个存储设备；
映射模块，用于将所述第一存储区域映射到所述第二存储区域；
所述获取模块至少包括以下之一：
第一获取子模块，用于获取所述第一存储设备中读写速度小于第一预设阈值的所述第一存储区域；
第二获取子模块，用于获取所述第一存储设备中文件系统元数据更新频率大于或等于第二预设阈值的所述第一存储区域；
第五获取子模块，用于获取所述第一存储设备中被设置为镜像保护的所述第一存储区域。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第一接收模块，用于接收向所述第一存储区域写数据的写请求消息；
第一写入子模块，用于当预先设置的映射模式为重定向模式时，将所述数据重定向并写入到所述第二存储设备的第二存储区域，其中，所述映射模式为从所述第一存储区域映射到所述第二存储区域的模式；
第二写入子模块，用于当所述映射模式为镜像模式时，将所述数据写入所述第一存储区域的同时，向所述第二存储区域写入所述数据。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
CN202010443142.0A 2020-05-22 2020-05-22 一种存储处理方法及装置 Active CN111596865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443142.0A CN111596865B (zh) 2020-05-22 2020-05-22 一种存储处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443142.0A CN111596865B (zh) 2020-05-22 2020-05-22 一种存储处理方法及装置

Publications (2)

Publication Number Publication Date
CN111596865A CN111596865A (zh) 2020-08-28
CN111596865B true CN111596865B (zh) 2023-07-14

Family

ID=72191403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443142.0A Active CN111596865B (zh) 2020-05-22 2020-05-22 一种存储处理方法及装置

Country Status (1)

Country Link
CN (1) CN111596865B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664218A (zh) * 2018-04-23 2018-10-16 浙江大华技术股份有限公司 一种基于数据特征的ssd存储方法、装置及系统
CN108763099A (zh) * 2018-04-18 2018-11-06 华为技术有限公司 系统的启动方法、装置、电子设备和存储介质
CN109062505A (zh) * 2018-07-13 2018-12-21 南瑞集团有限公司 一种缓存策略写入分层硬件架构下的写性能优化方法
CN111158602A (zh) * 2019-12-30 2020-05-15 北京天融信网络安全技术有限公司 数据分层存储方法、读取方法、存储主机及存储系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7971013B2 (en) * 2008-04-30 2011-06-28 Xiotech Corporation Compensating for write speed differences between mirroring storage devices by striping
KR20100012468A (ko) * 2008-07-29 2010-02-08 주식회사 하이닉스반도체 고속 동작하는 반도체 스토리지 시스템
US9323659B2 (en) * 2011-08-12 2016-04-26 Sandisk Enterprise Ip Llc Cache management including solid state device virtualization
TWI472920B (zh) * 2011-09-01 2015-02-11 A system and method for improving the read and write speed of a hybrid storage unit
CN105468479B (zh) * 2015-11-18 2018-06-26 浙江大华技术股份有限公司 一种磁盘阵列raid坏块处理方法及装置
CN107817946B (zh) * 2016-09-13 2021-06-04 阿里巴巴集团控股有限公司 用于混合存储设备读写数据的方法以及装置
CN108733316B (zh) * 2017-04-17 2021-08-31 伊姆西Ip控股有限责任公司 用于管理存储系统的方法和管理器
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム
CN110362575B (zh) * 2019-07-04 2022-06-14 浙江大华技术股份有限公司 一种生成数据的全局索引的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763099A (zh) * 2018-04-18 2018-11-06 华为技术有限公司 系统的启动方法、装置、电子设备和存储介质
CN108664218A (zh) * 2018-04-23 2018-10-16 浙江大华技术股份有限公司 一种基于数据特征的ssd存储方法、装置及系统
CN109062505A (zh) * 2018-07-13 2018-12-21 南瑞集团有限公司 一种缓存策略写入分层硬件架构下的写性能优化方法
CN111158602A (zh) * 2019-12-30 2020-05-15 北京天融信网络安全技术有限公司 数据分层存储方法、读取方法、存储主机及存储系统

Also Published As

Publication number Publication date
CN111596865A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
US9015519B2 (en) Method and system for cluster wide adaptive I/O scheduling by a multipathing driver
CN107807794B (zh) 一种数据存储方法和装置
US9665428B2 (en) Distributing erasure-coded fragments in a geo-distributed storage system
US9940042B2 (en) Distributed storage system, and data-access method therefor
JP4773788B2 (ja) 記憶システムにおけるリモートコピー制御
CN109791522B (zh) 数据迁移的方法、系统及智能网卡
US9176853B2 (en) Managing copy-on-writes to snapshots
CN101911074A (zh) 基于存储寿命和速度选择存储位置用于文件存储
WO2018121456A1 (zh) 一种数据存储方法、服务器以及存储系统
KR101983208B1 (ko) 데이터 관리 방법, 노드, 그리고 데이터베이스 클러스터를 위한 시스템
CN110651246A (zh) 一种数据读写方法、装置和存储服务器
US20120265987A1 (en) Communication between key manager and storage subsystem kernel via management console
US20140289489A1 (en) Information processing apparatus, information processing method, storage system and non-transitory computer readable storage media
CN107948229B (zh) 分布式存储的方法、装置及系统
US8595430B2 (en) Managing a virtual tape library domain and providing ownership of scratch erased volumes to VTL nodes
US8484419B2 (en) Systems and methods for backing up storage volumes in a storage system
CN113467719B (zh) 数据写入方法及装置
CN111596865B (zh) 一种存储处理方法及装置
CN107526538B (zh) 用于在存储系统中传递消息的方法和系统
CN114586014A (zh) 为存储器装置选择纠错码类型
CN107944010B (zh) 一种分布式文件系统中读写文件的方法和装置
CN109992447B (zh) 数据复制方法、装置及存储介质
CN107102918B (zh) 一种数据处理方法和装置
CN116360679A (zh) 用于分解的分布式存储系统中的数据复制的设备和方法
CN109962797B (zh) 一种存储系统和推送业务视图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant