CN108845764A - 一种io数据的处理方法及装置 - Google Patents

一种io数据的处理方法及装置 Download PDF

Info

Publication number
CN108845764A
CN108845764A CN201810543572.2A CN201810543572A CN108845764A CN 108845764 A CN108845764 A CN 108845764A CN 201810543572 A CN201810543572 A CN 201810543572A CN 108845764 A CN108845764 A CN 108845764A
Authority
CN
China
Prior art keywords
data
write
alignment
aligned
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810543572.2A
Other languages
English (en)
Inventor
柳增运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810543572.2A priority Critical patent/CN108845764A/zh
Publication of CN108845764A publication Critical patent/CN108845764A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种IO数据的处理方法及装置，用于提高IO数据处理的效率，并提高了IO数据的安全性。本发明方法包括：接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；若所述操作请求消息为写入操作请求消息，则对写入的IO数据进行重删操作；将所述重删后的IO数据写入元数据下层LSA卷；对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；向所述上层模块发送操作完成消息。

Description

一种IO数据的处理方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种IO数据的处理方法及装置。
背景技术
随着磁盘技术的推进，固态硬盘(solid state disk，SDD)越来越普遍，SSD较传统的硬盘比较，其容量和访问速度都比传统硬盘有很大的提高。但SSD的读写方式与传统硬盘有很大的不通，因此为了最大化的可以利用SSD的性能优势，很多厂商都开始做全闪存固态阵列(solid state array，SSA)存储系统的研究，SSA存储系统要求后端磁盘全部是SSD磁盘。
现有方案中，SSD中的所有数据都通过IO栈存储，IO栈中同时对用户数据和控制信息进行调度，IO栈对数据的处理效率低。
发明内容
本发明实施例提供了一种IO数据的处理方法及装置，用于提高IO数据处理的效率，并提高了IO数据的安全性。
本发明第一方面提供了一种IO数据的处理方法，包括：接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；若所述操作请求消息为写入操作请求消息，则对写入的IO数据进行重删操作；将所述重删后的IO数据写入元数据下层LSA卷；对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；向所述上层模块发送操作完成消息。
在一种可能的设计中，在本发明实施例第一方面的第一种实现方式中，所述对写入的IO数据进行重删操作包括：判断所述写入的IO数据是否对齐；若所述写入的IO数据没有对齐，则查询所述元数据，得到第一查询结果；根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据；将所述对齐的IO数据发送至重删模块。
在一种可能的设计中，在本发明实施例第一方面的第二种实现方式中，所述根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据包括：若根据所述第一查询结果确定本次写入为覆盖写入，则通过所述精简卷向压缩模块发送补齐读请求；通过所述压缩模块向所述LSA卷发送字节对齐读请求；通过所述LSA卷将所述字节对齐读请求转换成块对齐读请求，根据所述块对齐读请求获取补齐数据并发送至所述压缩模块；通过所述压缩模块将所述补齐数据发送至所述精简卷；通过所述精简卷将所述写入的IO数据和所述补齐数据进行压缩对齐，得到所述对齐的IO数据。
在一种可能的设计中，在本发明实施例第一方面的第三种实现方式中，所述根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据包括：若根据所述第一查询结果确定本次写入为新写入，则通过所述精简卷对所述写入的IO数据进行对齐补零；获取所述对齐的IO数据。
在一种可能的设计中，在本发明实施例第一方面的第四种实现方式中，所述方法还包括：若所述操作请求消息为读取操作请求消息，则查询所述元数据，得到第二查询结果，所述元数据用于指示IO数据的逻辑地址与物理地址之间的映射关系；根据所述第二查询结果从所述LSA卷中读取所述IO数据；将所述IO数据发送至所述上层模块。
本发明第二方面提供了一种IO数据的处理装置，包括：接收单元，用于接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；重删单元，若所述操作请求消息为写入操作请求消息，则用于对写入的IO数据进行重删操作；写入单元，用于将所述重删后的IO数据写入元数据下层LSA卷；更新单元，用于对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；发送单元，用于向所述上层模块发送操作完成消息。
在一种可能的设计中，在本发明实施例第二方面的第一种实现方式中，所述重删单元包括：判断子单元，用于判断所述写入的IO数据是否对齐；查询子单元，若所述写入的IO数据没有对齐，则用于查询所述元数据，得到第一查询结果；对齐子单元，用于根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据；发送子单元，用于将所述对齐的IO数据发送至重删模块。
在一种可能的设计中，在本发明实施例第二方面的第二种实现方式中，所述对齐子单元具体用于：若根据所述第一查询结果确定本次写入为覆盖写入，则通过所述精简卷向压缩模块发送补齐读请求；通过所述压缩模块向所述LSA卷发送字节对齐读请求；通过所述LSA卷将所述字节对齐读请求转换成块对齐读请求，根据所述块对齐读请求获取补齐数据并发送至所述压缩模块；通过所述压缩模块将所述补齐数据发送至所述精简卷；通过所述精简卷将所述写入的IO数据和所述补齐数据进行压缩对齐，得到所述对齐的IO数据。
在一种可能的设计中，在本发明实施例第二方面的第三种实现方式中，所述对齐子单元具体用于：若根据所述第一查询结果确定本次写入为新写入，则通过所述精简卷对所述写入的IO数据进行对齐补零；获取所述对齐的IO数据。
在一种可能的设计中，在本发明实施例第二方面的第四种实现方式中，所述处理装置还包括：若所述操作请求消息为读取操作请求消息，则查询所述元数据，得到第二查询结果，所述元数据用于指示IO数据的逻辑地址与物理地址之间的映射关系；根据所述第二查询结果从所述LSA卷中读取所述IO数据；将所述IO数据发送至所述上层模块。
本发明第三方面提供了一种IO数据的处理装置，包括：精简卷、元数据下层LSA卷、重删模块、压缩模块、元数据管理模块；所述精简卷为系统根据用户的需求分配的逻辑单元号LUN；所述重删模块用于对数据进行删重；所述压缩模块用于对数据进行压缩对齐；所述LSA卷用于随机转顺序的处理，进行空间的分配和回收；所述元数据模块用于记录逻辑地址与物理地址之间的映射关系。
从以上技术方案可以看出，本发明实施例具有以下优点：
接收上层模块发送的操作请求消息，该操作请求消息用于写入或读取IO数据；若操作请求消息为写入操作请求消息，则对写入的IO数据进行重删操作；将重删后的IO数据写入元数据下层LSA卷；对重删后的IO数据对应的元数据进行更新，该元数据用于指示重删后的IO数据的逻辑地址与物理地址之间的映射关系；向所述上层模块发送操作完成消息。将IO数据和元数据分开保存处理，增加了数据的安全性，提高IO数据处理的效率。
附图说明
图1为本发明实施例应用的系统架构示意图；
图2为本发明实施例中IO数据的处理方法的一个实施例示意图；
图3为本发明实施例中卷和磁盘之间对应关系的一个示意图；
图4为本发明实施例中IO数据的处理装置的一个实施例示意图；
图5为本发明实施例中IO数据的处理装置的另一个实施例示意图；
图6为本发明实施例中IO数据的处理装置的另一个实施例示意图。
具体实施方式
本发明实施例提供了一种IO数据的处理方法及装置，用于提高IO数据处理的效率，并提高了IO数据的安全性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1为本发明实施例应用的系统架构，如图1所示，该系统架构中包括上层模块和IO栈，其中IO栈包括精简卷、元数据下层(log struct architecture，LSA)卷、重删模块、压缩模块、元数据管理模块，其中，精简卷为系统根据用户的需求分配的逻辑单元号LUN；重删模块用于对数据进行删重；压缩模块用于对数据进行压缩对齐；LSA卷用于随机转顺序的处理，进行空间的分配和回收；元数据模块用于记录逻辑地址与物理地址之间的映射关系。IO栈模块还包括配置与恢复模块、内存管理模块、写时重定向(redirect-on-write，ROW)快照模块、指纹远程复制模块、精简的取消映射unmap模块、服务质量(qualityof service，QoS)模块、故障处理模块、性能监控模块和在线升级模块，具体此处不做限定。
为便于说明，下面对本发明实施例的具体流程进行描述，请参阅图2，本发明实施例中IO数据的处理方法的一个实施例包括：
201、接收上层模块发送的操作请求消息。
通过精简卷接收上层模块发送的操作请求消息，该操作请求消息用于写入或读取IO数据。
202、判断该操作请求消息是否为写入操作请求消息。
通过精简卷判断该操作请求消息是否为写入操作请求消息，即确定操作请求消息为写入操作请求消息或读取操作请求消息。
具体的，若操作请求消息为写入操作请求消息，则执行步骤203；若操作请求消息不为写入操作请消息，即为读取操作请求消息，则执行步骤207。
需要说明的是，精简卷还可以对操作请求消息以grain为单位进行拆分，其中，grain为元数据B+Tree节点，大小为8K。
203、对写入的IO数据进行重删操作。
具体的，通过精简卷判断写入的IO数据是否对齐；若写入的IO数据没有对齐，则通过精简卷向元数据管理模块查询元数据，得到第一查询结果，其中，元数据用于指示重删后的IO数据的逻辑地址与物理地址之间的映射关系；通过精简卷根据第一查询结果将写入的IO数据进行对齐，得到对齐的IO数据；将对齐的IO数据发送至重删模块。
需要说明的是，根据写入操作的具体场景可以分为覆盖写入或新写入，当根据第一查询结果确定本次写入为覆盖写入，则通过精简卷向压缩模块发送补齐读请求；通过压缩模块向LSA卷发送字节对齐读请求；通过LSA卷将字节对齐读请求转换成块对齐读请求，根据块对齐读请求获取补齐数据并发送至压缩模块；通过压缩模块将补齐数据发送至精简卷；通过精简卷将写入的IO数据和补齐数据进行压缩对齐，得到对齐的IO数据。
当根据第一查询结果确定本次写入为覆盖写入，则通过精简卷对写入的IO数据进行对齐补零；获取对齐的IO数据。
204、将重删后的IO数据写入元数据下层LSA卷。
将重删后的IO数据写入元数据下层LSA卷，其中，多个精简卷中的数据存储在一个LSA卷上，一个LSA卷和一个复制磁盘(copy disk，Cdisk)对应，Cdisk的extent由资源池中的一个或多个管理磁盘(managed disk，Mdisk)提供，其中，extent为Cdisk的最小处理单元。
例如，如图3所示，精简卷1、精简卷2、精简卷3同时对应LSA卷1，元数据管理单元对应LSA卷2，LSA卷1对应Cdisk1，LSA卷2对应Cdisk2，Cdisk1同时对应Mdisk1和Mdisk2，Cdisk2同时对应Mdisk1和Mdisk2。
需要说明的是，LSA卷用来排列grain和下刷grain到对应的Cdisk，处理粒度按照grain为单位处理，大小为8k。
205、对重删后的IO数据对应的元数据进行更新。
对重删后的IO数据对应的元数据进行更新，该元数据用于指示重删后的IO数据的逻辑地址与物理地址之间的映射关系。
需要说明的是，元数据中包括三个映射关系，分别为第一映射关系、第二映射关系和第三映射关系，其中，第一映射关系用于指示精简卷到LSA卷的映射关系，第二映射关系用于指示哈希指纹到LSA卷的映射关系，第三映射关系用于指示LSA卷到精简卷的映射关系。
具体的，通过精简卷调用元数据模块的接口增加第一映射关系中的映射项，通过精简卷调用元数据模块的接口增加第三映射关系中的映射项。
206、向上层模块发送操作完成消息。
通过精简卷向上层模块发送操作完成消息。
207、查询元数据，得到第二查询结果。
查询元数据，得到第二查询结果，该元数据用于指示IO数据的逻辑地址与物理地址之间的映射关系。
208、根据第二查询结果从LSA卷中读取IO数据。
根据第二查询结果从LSA卷中读取IO数据。
209、将IO数据发送至上层模块。
通过精简卷将读取到的IO数据发送至上层模块。
本发明实施例中，通过元数据管理单元和精简卷，分别对元数据和IO数据进行处理，增加了数据的安全性和处理效率。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的IO数据的处理方法的可选实施例中，对写入的IO数据进行重删操作包括：
判断写入的IO数据是否对齐；
若写入的IO数据没有对齐，则查询元数据，得到第一查询结果；
根据第一查询结果将写入的IO数据进行对齐，得到对齐的IO数据；
将对齐的IO数据发送至重删模块。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的IO数据的处理方法的可选实施例中，根据第一查询结果将写入的IO数据进行对齐，得到对齐的IO数据包括：
若根据第一查询结果确定本次写入为覆盖写入，则通过精简卷向压缩模块发送补齐读请求；
通过压缩模块向LSA卷发送字节对齐读请求；
通过LSA卷将字节对齐读请求转换成块对齐读请求，根据块对齐读请求获取补齐数据并发送至压缩模块；
通过压缩模块将补齐数据发送至精简卷；
通过精简卷将写入的IO数据和补齐数据进行压缩对齐，得到对齐的IO数据。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的IO数据的处理方法的可选实施例中，根据第一查询结果将写入的IO数据进行对齐，得到对齐的IO数据包括：
若根据第一查询结果确定本次写入为新写入，则通过精简卷对写入的IO数据进行对齐补零；
获取对齐的IO数据。
可选地，在上述图2对应的实施例的基础上，本发明实施例提供的IO数据的处理方法的可选实施例中，所述方法还包括：
若操作请求消息为读取操作请求消息，则查询元数据，得到第二查询结果，元数据用于指示IO数据的逻辑地址与物理地址之间的映射关系；
根据第二查询结果从LSA卷中读取IO数据；
将IO数据发送至上层模块。
以上对本发明中一种IO数据的处理方法进行说明，以下对执行上述IO数据的处理方法的处理装置进行说明。
请参阅图4，本申请实施例中IO数据的处理装置的一个实施例包括：
接收单元401，用于接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；
重删单元402，若所述操作请求消息为写入操作请求消息，则用于对写入的IO数据进行重删操作；
写入单元403，用于将所述重删后的IO数据写入元数据下层LSA卷；
更新单元404，用于对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；
发送单元405，用于向所述上层模块发送操作完成消息。
本发明实施例中，通过元数据管理单元和精简卷，分别对元数据和IO数据进行处理，增加了数据的安全性和处理效率。
请参阅图5，本申请实施例中IO数据的处理装置的另一个实施例包括：
接收单元501，用于接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；
重删单元502，若所述操作请求消息为写入操作请求消息，则用于对写入的IO数据进行重删操作；
写入单元503，用于将所述重删后的IO数据写入元数据下层LSA卷；
更新单元504，用于对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；
发送单元505，用于向所述上层模块发送操作完成消息。
可选的，重删单元502包括：
判断子单元5021，用于判断所述写入的IO数据是否对齐；
查询子单元5022，若所述写入的IO数据没有对齐，则用于查询所述元数据，得到第一查询结果；
对齐子单元5023，用于根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据；
发送子单元5024，用于将所述对齐的IO数据发送至重删模块。
可选的，对齐子单元5023具体用于：
若根据所述第一查询结果确定本次写入为覆盖写入，则通过所述精简卷向压缩模块发送补齐读请求；
通过所述压缩模块向所述LSA卷发送字节对齐读请求；
通过所述LSA卷将所述字节对齐读请求转换成块对齐读请求，根据所述块对齐读请求获取补齐数据并发送至所述压缩模块；
通过所述压缩模块将所述补齐数据发送至所述精简卷；
通过所述精简卷将所述写入的IO数据和所述补齐数据进行压缩对齐，得到所述对齐的IO数据。
可选的，对齐子单元5023具体还用于：
若根据所述第一查询结果确定本次写入为新写入，则通过所述精简卷对所述写入的IO数据进行对齐补零；
获取所述对齐的IO数据。
请参阅图6，本申请实施例中IO数据的处理装置的一个实施例包括：
精简卷601、元数据下层LSA卷602、重删模块603、压缩模块604、元数据管理模块605；
精简卷601为系统根据用户的需求分配的逻辑单元号LUN；
重删模块603用于对数据进行删重；
压缩模块604用于对数据进行压缩对齐；
LSA卷602用于随机转顺序的处理，进行空间的分配和回收；
元数据模块605用于记录逻辑地址与物理地址之间的映射关系。
需要说明的是，IO数据的处理装置还可以包括：
垃圾回收模块606和磨损均衡模块607，用于提高存储空间的利用率。
本发明实施例中，通过元数据管理单元和精简卷，分别对元数据和IO数据进行处理，增加了数据的安全性和处理效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种IO数据的处理方法，其特征在于，包括：
接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；
若所述操作请求消息为写入操作请求消息，则对写入的IO数据进行重删操作；
将所述重删后的IO数据写入元数据下层LSA卷；
对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；
向所述上层模块发送操作完成消息。
2.根据权利要求1所述的数据处理方法，其特征在于，所述对写入的IO数据进行重删操作包括：
判断所述写入的IO数据是否对齐；
若所述写入的IO数据没有对齐，则查询所述元数据，得到第一查询结果；
根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据；
将所述对齐的IO数据发送至重删模块。
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据包括：
若根据所述第一查询结果确定本次写入为覆盖写入，则通过所述精简卷向压缩模块发送补齐读请求；
通过所述压缩模块向所述LSA卷发送字节对齐读请求；
通过所述LSA卷将所述字节对齐读请求转换成块对齐读请求，根据所述块对齐读请求获取补齐数据并发送至所述压缩模块；
通过所述压缩模块将所述补齐数据发送至所述精简卷；
通过所述精简卷将所述写入的IO数据和所述补齐数据进行压缩对齐，得到所述对齐的IO数据。
4.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据包括：
若根据所述第一查询结果确定本次写入为新写入，则通过所述精简卷对所述写入的IO数据进行对齐补零；
获取所述对齐的IO数据。
5.根据权利要求1-4任一所述的数据处理方法，其特征在于，所述方法还包括：
若所述操作请求消息为读取操作请求消息，则查询所述元数据，得到第二查询结果，所述元数据用于指示IO数据的逻辑地址与物理地址之间的映射关系；
根据所述第二查询结果从所述LSA卷中读取所述IO数据；
将所述IO数据发送至所述上层模块。
6.一种IO数据的处理装置，其特征在于，包括：
接收单元，用于接收上层模块发送的操作请求消息，所述操作请求消息用于写入或读取IO数据；
重删单元，若所述操作请求消息为写入操作请求消息，则用于对写入的IO数据进行重删操作；
写入单元，用于将所述重删后的IO数据写入元数据下层LSA卷；
更新单元，用于对所述重删后的IO数据对应的元数据进行更新，所述元数据用于指示所述重删后的IO数据的逻辑地址与物理地址之间的映射关系；
发送单元，用于向所述上层模块发送操作完成消息。
7.根据权利要求6所述的数据处理装置，其特征在于，所述重删单元包括：
判断子单元，用于判断所述写入的IO数据是否对齐；
查询子单元，若所述写入的IO数据没有对齐，则用于查询所述元数据，得到第一查询结果；
对齐子单元，用于根据所述第一查询结果将所述写入的IO数据进行对齐，得到对齐的IO数据；
发送子单元，用于将所述对齐的IO数据发送至重删模块。
8.根据权利要求7所述的数据处理装置，其特征在于，所述对齐子单元具体用于：
若根据所述第一查询结果确定本次写入为覆盖写入，则通过所述精简卷向压缩模块发送补齐读请求；
通过所述压缩模块向所述LSA卷发送字节对齐读请求；
通过所述LSA卷将所述字节对齐读请求转换成块对齐读请求，根据所述块对齐读请求获取补齐数据并发送至所述压缩模块；
通过所述压缩模块将所述补齐数据发送至所述精简卷；
通过所述精简卷将所述写入的IO数据和所述补齐数据进行压缩对齐，得到所述对齐的IO数据。
9.根据权利要求7所述的数据处理装置，其特征在于，所述对齐子单元具体用于：
若根据所述第一查询结果确定本次写入为新写入，则通过所述精简卷对所述写入的IO数据进行对齐补零；
获取所述对齐的IO数据。
10.一种IO数据的处理装置，其特征在于，包括：
精简卷、元数据下层LSA卷、重删模块、压缩模块、元数据管理模块；
所述精简卷为系统根据用户的需求分配的逻辑单元号LUN；
所述重删模块用于对数据进行删重；
所述压缩模块用于对数据进行压缩对齐；
所述LSA卷用于随机转顺序的处理，进行空间的分配和回收；
所述元数据模块用于记录逻辑地址与物理地址之间的映射关系。
CN201810543572.2A 2018-05-30 2018-05-30 一种io数据的处理方法及装置 Pending CN108845764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810543572.2A CN108845764A (zh) 2018-05-30 2018-05-30 一种io数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810543572.2A CN108845764A (zh) 2018-05-30 2018-05-30 一种io数据的处理方法及装置

Publications (1)

Publication Number Publication Date
CN108845764A true CN108845764A (zh) 2018-11-20

Family

ID=64210055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543572.2A Pending CN108845764A (zh) 2018-05-30 2018-05-30 一种io数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN108845764A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018792A (zh) * 2019-04-10 2019-07-16 苏州浪潮智能科技有限公司 一种待落盘数据处理方法、装置、电子设备及存储介质
CN110532201A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 一种元数据处理方法及装置
CN112162701A (zh) * 2020-09-18 2021-01-01 北京浪潮数据技术有限公司 一种存储空间回收方法、装置、设备及计算机存储介质
WO2023011145A1 (zh) * 2021-08-06 2023-02-09 华为技术有限公司 一种通信方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997918A (zh) * 2010-11-11 2011-03-30 清华大学 异构san环境中的海量存储资源按需分配的实现方法
CN102221982A (zh) * 2011-06-13 2011-10-19 北京卓微天成科技咨询有限公司 块级虚拟化存储设备上实现重复数据删除的方法及系统
CN103019953A (zh) * 2012-12-28 2013-04-03 华为技术有限公司 一种元数据的构建系统及其方法
CN103984507A (zh) * 2014-05-15 2014-08-13 浪潮电子信息产业股份有限公司 一种生物信息学高性能计算平台的存储配置以及优化策略
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和系统
CN105373338A (zh) * 2014-08-20 2016-03-02 深圳市中兴微电子技术有限公司 一种flash的控制方法和控制器
US20180107592A1 (en) * 2016-10-18 2018-04-19 Toshiba Memory Corporation Reconstruction of address mapping in a host of a storage system
CN107967124A (zh) * 2017-12-14 2018-04-27 南京云创大数据科技股份有限公司 一种分布式持久性内存存储系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997918A (zh) * 2010-11-11 2011-03-30 清华大学 异构san环境中的海量存储资源按需分配的实现方法
CN102221982A (zh) * 2011-06-13 2011-10-19 北京卓微天成科技咨询有限公司 块级虚拟化存储设备上实现重复数据删除的方法及系统
CN103019953A (zh) * 2012-12-28 2013-04-03 华为技术有限公司 一种元数据的构建系统及其方法
CN103984507A (zh) * 2014-05-15 2014-08-13 浪潮电子信息产业股份有限公司 一种生物信息学高性能计算平台的存储配置以及优化策略
CN105373338A (zh) * 2014-08-20 2016-03-02 深圳市中兴微电子技术有限公司 一种flash的控制方法和控制器
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和系统
US20180107592A1 (en) * 2016-10-18 2018-04-19 Toshiba Memory Corporation Reconstruction of address mapping in a host of a storage system
CN107967124A (zh) * 2017-12-14 2018-04-27 南京云创大数据科技股份有限公司 一种分布式持久性内存存储系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018792A (zh) * 2019-04-10 2019-07-16 苏州浪潮智能科技有限公司 一种待落盘数据处理方法、装置、电子设备及存储介质
CN110018792B (zh) * 2019-04-10 2020-05-29 苏州浪潮智能科技有限公司 一种待落盘数据处理方法、装置、电子设备及存储介质
CN110532201A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 一种元数据处理方法及装置
CN110532201B (zh) * 2019-08-23 2021-08-31 北京浪潮数据技术有限公司 一种元数据处理方法及装置
CN112162701A (zh) * 2020-09-18 2021-01-01 北京浪潮数据技术有限公司 一种存储空间回收方法、装置、设备及计算机存储介质
CN112162701B (zh) * 2020-09-18 2023-12-22 北京浪潮数据技术有限公司 一种存储空间回收方法、装置、设备及计算机存储介质
WO2023011145A1 (zh) * 2021-08-06 2023-02-09 华为技术有限公司 一种通信方法及装置

Similar Documents

Publication Publication Date Title
CN108845764A (zh) 一种io数据的处理方法及装置
CN105204781B (zh) 压缩方法、装置和设备
JP7312251B2 (ja) 様々なデータ冗長性スキームを備えた、システムにおける利用可能なストレージ空間を改善すること
CN105589812B (zh) 磁盘碎片整理方法、装置及主机
US11409448B2 (en) Selectively storing data into allocation areas using streams
CN104239518B (zh) 重复数据删除方法和装置
EP1720101B1 (en) Storage control system and storage control method
US8458145B2 (en) System and method of storage optimization
CN106708425A (zh) 分布式多模存储管理
CN103324533B (zh) 分布式数据处理方法、装置及系统
CA2977742C (en) Method for deduplication in storage system, storage system, and controller
JP6254293B2 (ja) データ重複排除方法及びストレージアレイ
US11755254B2 (en) Network storage gateway
US10712974B2 (en) Virtual disk processing method and apparatus
US20160259591A1 (en) Storage system and deduplication control method
WO2017132797A1 (zh) 数据整理方法、存储设备、存储控制器以及存储阵列
US7069405B2 (en) Disk control system and control method of disk control system
US20100057989A1 (en) Method of moving data in logical volume, storage system, and administrative computer
CN104426965B (zh) 自管理存储方法和系统
US8688908B1 (en) Managing utilization of physical storage that stores data portions with mixed zero and non-zero data
CN108334457B (zh) 一种io处理方法及装置
JP5335934B2 (ja) 分散データ処理の方法および装置
CN102981782B (zh) 数据处理方法及装置
JP2003280825A (ja) ストレージシステム
CN115079949A (zh) 一种自适应实现逻辑卷支持xcopy的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120

RJ01 Rejection of invention patent application after publication