CN105630412A - 存储系统中增强随机数据读写性能的方法及装置 - Google Patents
存储系统中增强随机数据读写性能的方法及装置 Download PDFInfo
- Publication number
- CN105630412A CN105630412A CN201510959199.5A CN201510959199A CN105630412A CN 105630412 A CN105630412 A CN 105630412A CN 201510959199 A CN201510959199 A CN 201510959199A CN 105630412 A CN105630412 A CN 105630412A
- Authority
- CN
- China
- Prior art keywords
- data
- random data
- size
- long
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000002708 enhancing effect Effects 0.000 title abstract 2
- 239000007787 solid Substances 0.000 claims abstract description 30
- 239000000872 buffer Substances 0.000 claims description 13
- 238000005728 strengthening Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 239000000976 ink Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了一种存储系统中增强随机数据读写性能的方法及装置，包括接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，详细信息包括每个随机数据的数据大小信息；根据随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；将长数据一次性写入底层磁盘中，并将与长数据相对应的元数据写入固态硬盘中；其中，长数据的大小与底层磁盘的条带深度相同，可见，将写入存储缓存的随机数据进行整理，将不同块大小的随机数据合成固定大小的连续的数据，将元数据写入到固态硬盘中，同时将整理的长数据写入到磁盘中，提升了随机数据的读性能，并且由于长数据的大小于底层磁盘的条带深度相同，从而节省了数据空间。
Description
技术领域
本发明涉及存储技术领域，更具体地说，涉及一种存储系统中增强随机数据读写性能的方法及装置。
背景技术
全新的IT发展趋势正在对存储系统构成新的挑战。业务分析和数据仓储的使用量增加，大数据、服务器和桌面虚拟化的大力宣传以及非结构化数据的急剧增长，不仅需要巨大的存储容量，更重要的是存储的性能，由于是非结构化随机数据的读写对存储系统的性能有着很大的挑战。在目前传统存储中，当随机数据写入存储系统缓存时，存储系统会在一定的时间间隔内将写入的数据直接刷写到磁盘中，在该过程中并不会做任何处理。此时对存储系统不仅会造成空间的浪费，也由于随机数据的不连续性以及块大小的不同导致磁盘不停改变磁道进行数据的读写，从而严重影响存储的性能。
因此，如何在存储系统中增强随机数据读写性能，是现在需要解决的问题。
发明内容
本发明的目的在于提供一种存储系统中增强随机数据读写性能的方法及装置，以在存储系统中增强随机数据读写性能。
为实现上述目的，本发明实施例提供了如下技术方案：
一种存储系统中增强随机数据读写性能的方法，包括：
接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
将所述长数据一次性写入底层磁盘中，并将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
优选的，将所述长数据一次性刷入底层磁盘之前，还包括：
检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
若是，则执行将所述长数据一次性刷入底层磁盘的步骤；若否，则根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
优选的，将与所述长数据相对应的元数据写入固态硬盘中之后，还包括：
将随机数据中的热点数据备份至所述固态硬盘中。
优选的，检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值，包括：
检测待刷入所述底层磁盘的长数据的大小是否等于6M。
优选的，还包括：
接收随机数据读取指令；
从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
一种存储系统中增强随机数据读写性能的装置，包括：
接收模块，用于接收待写入存储缓存的随机数据；
获取模块，用于获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
整合模块，用于根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
长输入写入模块，用于将所述长数据一次性写入底层磁盘中；
元数据写入模块，用于将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
优选的，还包括：
检测模块，用于在所述长输入写入模块将所述长数据一次性刷入底层磁盘之前，检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
若是，则触发所述长输入写入模块；若否，则触发所述整合模块，根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
优选的，还包括：
备份模块，用于将随机数据中的热点数据备份至所述固态硬盘中。
优选的，所述检测模块具体用于：
检测待刷入所述底层磁盘的长数据的大小是否等于6M。
优选的，还包括：
指令接收模块，用于接收随机数据读取指令；
元数据获取模块，用于从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
随机数据获取模块，用于根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
通过以上方案可知，本发明实施例提供的一种存储系统中增强随机数据读写性能的方法及装置，包括：接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；将所述长数据一次性写入底层磁盘中，并将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同，可见，在本实施例中，通过对写入存储缓存的随机数据进行整理，将不同块大小的随机数据合成固定大小的连续的数据，将元数据写入到固态硬盘中，同时将整理的长数据写入到磁盘中，提升了随机数据的读性能，并且由于长数据的大小于底层磁盘的条带深度相同，从而节省了数据空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种存储系统中增强随机数据读写性能的方法；
图2为本发明实施例公开的一种存储系统中增强随机数据读写性能的装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种存储系统中增强随机数据读写性能的方法及装置，以在存储系统中增强随机数据读写性能。
参见图1，本发明实施例提供的一种存储系统中增强随机数据读写性能的方法，包括：
S101、接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
具体的，接收的待写入存储缓存的随机数据都是大小长度不同的数据，因此在将随机数据写入之前，要获取每个随机数据的数据大小信息。
S102、根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
其中，将所述长数据一次性刷入底层磁盘之前，还包括：
检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
具体的，本实施例中的预定阈值可以为6M。
若是，则执行将所述长数据一次性刷入底层磁盘的步骤；若否，则根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
具体的，在本实施例中，只有当整合后的数据等于预定阈值时才将长数据写入磁盘，在本实施例中要求底层磁盘的RAID组创建时条带需要划分为521K，且要求RAID包含12块磁盘，这样RAID组的条带深度正好与长数据块的大小相同，数据可以一次性写入。
S103、将所述长数据一次性写入底层磁盘中，并将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
其中，本方法还包括：
接收随机数据读取指令；
从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
具体的，在本实施例中，若前端应用需要读数据时，系统会根据SSD，即固态硬盘中的元数据快速定位到数据块的位置，将数据读出，增强了随机数据的读性能。并且将与所述长数据相对应的元数据写入固态硬盘中之后，还包括将随机数据中的热点数据备份至所述固态硬盘中，从而可以进一步提高系统的读性。
本发明实施例提供的一种存储系统中增强随机数据读写性能的方法，包括：接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；将所述长数据一次性写入底层磁盘中，并将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同，可见，在本实施例中，通过对写入存储缓存的随机数据进行整理，将不同块大小的随机数据合成固定大小的连续的数据，将元数据写入到固态硬盘中，同时将整理的长数据写入到磁盘中，提升了随机数据的读性能，并且由于长数据的大小于底层磁盘的条带深度相同，从而节省了数据空间。
下面对本发明实施例提供的一种存储系统中增强随机数据读写性能的装置进行介绍，下文描述的一种存储系统中增强随机数据读写性能的装置与上文描述的一种存储系统中增强随机数据读写性能的方法可以相互参照。
参见图2，本发明实施例提供的一种存储系统中增强随机数据读写性能的装置，包括：
接收模块100，用于接收待写入存储缓存的随机数据；
获取模块200，用于获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
整合模块300，用于根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
长输入写入模块400，用于将所述长数据一次性写入底层磁盘中；
元数据写入模块500，用于将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
本发明实施例提供的一种存储系统中增强随机数据读写性能的装置，包括：接收模块100，用于接收待写入存储缓存的随机数据；获取模块200，用于获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；整合模块300，用于根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；长输入写入模块400，用于将所述长数据一次性写入底层磁盘中；元数据写入模块500，用于将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同，可见，在本实施例中，通过对写入存储缓存的随机数据进行整理，将不同块大小的随机数据合成固定大小的连续的数据，将元数据写入到固态硬盘中，同时将整理的长数据写入到磁盘中，提升了随机数据的读性能，并且由于长数据的大小于底层磁盘的条带深度相同，从而节省了数据空间。
优选的，在本发明的另一实施例中，本装置还包括：
检测模块，用于在所述长输入写入模块将所述长数据一次性刷入底层磁盘之前，检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
若是，则触发所述长输入写入模块；若否，则触发所述整合模块，根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
优选的，在本发明的另一实施例中，本装置还包括：
备份模块，用于将随机数据中的热点数据备份至所述固态硬盘中。
优选的，在本发明的另一实施例中，所述检测模块具体用于：
检测待刷入所述底层磁盘的长数据的大小是否等于6M。
优选的，在本发明的另一实施例中，本装置还包括：
指令接收模块，用于接收随机数据读取指令；
元数据获取模块，用于从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
随机数据获取模块，用于根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种存储系统中增强随机数据读写性能的方法，其特征在于，包括：
接收待写入存储缓存的随机数据，并获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
将所述长数据一次性写入底层磁盘中，并将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
2.根据权利要求1所述的方法，其特征在于，将所述长数据一次性刷入底层磁盘之前，还包括：
检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
若是，则执行将所述长数据一次性刷入底层磁盘的步骤；若否，则根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
3.根据权利要求2所述的方法，其特征在于，将与所述长数据相对应的元数据写入固态硬盘中之后，还包括：
将随机数据中的热点数据备份至所述固态硬盘中。
4.根据权利要求3所述的方法，其特征在于，检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值，包括：
检测待刷入所述底层磁盘的长数据的大小是否等于6M。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，还包括：
接收随机数据读取指令；
从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
6.一种存储系统中增强随机数据读写性能的装置，其特征在于，包括：
接收模块，用于接收待写入存储缓存的随机数据；
获取模块，用于获取每个随机数据的详细信息；其中，所述详细信息包括每个随机数据的数据大小信息；
整合模块，用于根据所述随机数据的详细信息，将多个随机数据按写入顺序整合形成预定大小的长数据；
长输入写入模块，用于将所述长数据一次性写入底层磁盘中；
元数据写入模块，用于将与所述长数据相对应的元数据写入固态硬盘中；其中，所述长数据的大小与所述底层磁盘的条带深度相同。
7.根据权利要求6所述的装置，其特征在于，还包括：
检测模块，用于在所述长输入写入模块将所述长数据一次性刷入底层磁盘之前，检测待刷入所述底层磁盘的长数据的大小是否等于预定阈值；
若是，则触发所述长输入写入模块；若否，则触发所述整合模块，根据重新对所述长数据进行整合，直至整合后的长数据的大小等于预定阈值。
8.根据权利要求7所述的装置，其特征在于，还包括：
备份模块，用于将随机数据中的热点数据备份至所述固态硬盘中。
9.根据权利要求8所述的装置，其特征在于，所述检测模块具体用于：
检测待刷入所述底层磁盘的长数据的大小是否等于6M。
10.根据权利要求6-9中任意一项所述的装置，其特征在于，还包括：
指令接收模块，用于接收随机数据读取指令；
元数据获取模块，用于从所述固态硬盘中获取与待读取的随机数据相对应的元数据；
随机数据获取模块，用于根据所述与待读取的随机数据相对应的元数据，从所述底层磁盘中读取相应的随机数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510959199.5A CN105630412A (zh) | 2015-12-18 | 2015-12-18 | 存储系统中增强随机数据读写性能的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510959199.5A CN105630412A (zh) | 2015-12-18 | 2015-12-18 | 存储系统中增强随机数据读写性能的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105630412A true CN105630412A (zh) | 2016-06-01 |
Family
ID=56045410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510959199.5A Pending CN105630412A (zh) | 2015-12-18 | 2015-12-18 | 存储系统中增强随机数据读写性能的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105630412A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106990938A (zh) * | 2017-06-12 | 2017-07-28 | 迈普通信技术股份有限公司 | 随机数获取方法、装置及电子设备 |
-
2015
- 2015-12-18 CN CN201510959199.5A patent/CN105630412A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106990938A (zh) * | 2017-06-12 | 2017-07-28 | 迈普通信技术股份有限公司 | 随机数获取方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106548789B (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| CN105426127A (zh) | 一种分布式集群系统的文件存储方法及装置 | |
| US20160132429A1 (en) | Method and Storage Device for Collecting Garbage Data | |
| Le Moal et al. | Shingled file system host-side management of shingled magnetic recording disks | |
| CN104461390A (zh) | 将数据写入叠瓦状磁记录smr硬盘的方法及装置 | |
| CN106201652B (zh) | 一种数据处理方法及虚拟机 | |
| WO2013040052A2 (en) | Efficient access to storage devices with usage bitmaps | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN107608625B (zh) | 一种提升固存储设备读性能的方法 | |
| CN107291399B (zh) | 一种基于spdk的后端存储方法、装置及系统 | |
| US9983826B2 (en) | Data storage device deferred secure delete | |
| CN104268088A (zh) | 车载dvr硬盘数据存储方法 | |
| CN103729149A (zh) | 一种存储数据的方法 | |
| US20170270000A1 (en) | Method for storage management and storage device | |
| CN103034592A (zh) | 数据处理方法和装置 | |
| US8924642B2 (en) | Monitoring record management method and device | |
| CN107135662A (zh) | 一种差异数据备份方法、存储系统和差异数据备份装置 | |
| CN104050057A (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| US20170329553A1 (en) | Storage control device, storage system, and computer-readable recording medium | |
| KR102366512B1 (ko) | 논리 블록 어드레싱 범위 충돌 크롤러 | |
| CN104991736A (zh) | 写数据方法、装置以及存储设备 | |
| CN103631682A (zh) | 数据备份的实现方法和装置 | |
| Oe et al. | On-the-fly automated storage tiering with caching and both proactive and observational migration | |
| CN104462148A (zh) | 一种数据存储管理方法及装置 | |
| CN105630412A (zh) | 存储系统中增强随机数据读写性能的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160601 |