CN103076993A - 一种密集型系统中的存储系统及方法 - Google Patents
一种密集型系统中的存储系统及方法 Download PDFInfo
- Publication number
- CN103076993A CN103076993A CN2012105859614A CN201210585961A CN103076993A CN 103076993 A CN103076993 A CN 103076993A CN 2012105859614 A CN2012105859614 A CN 2012105859614A CN 201210585961 A CN201210585961 A CN 201210585961A CN 103076993 A CN103076993 A CN 103076993A
- Authority
- CN
- China
- Prior art keywords
- storage
- data
- hard disc
- solid state
- state hard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种密集型系统中的存储系统及方法，其中，一种密集型系统中的存储系统，包括需求分析模块、固态硬盘和机械硬盘；所述需求分析模块用于分析系统中需存储的数据的系统指标，并将数据分别发送至固态硬盘或机械硬盘进行存储；所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。本发明所述系统采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/O输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。
Description
技术领域
本发明涉及一种密集型系统中的存储系统及方法。
背景技术
在I/O密集型的系统中，当出现大量并发I/O操作时，系统整体性能会急剧下降，造成大量业务积压与延迟。而现今CPU和内存性能的大幅度提高，每秒可以读写数十/上百万次，究其原因是由于硬盘数据的读写造成性能下降，采用15000转磁盘和增加缓存都无法解决问题，传统存储I/O性能成为瓶颈。
传统机械硬盘在应用中确实有其自身的优点：容量大，价格低廉并具有相对完善的资料保护系统。但因其复杂的内部机械结构，需要不断的通过磁头臂在不同的盘片移动读取数据（如图1所示），导致机械硬盘的低读写速度和高延迟。
而现有企业级的FC（Fiber Channel的缩写，即光纤通道）硬盘和SAS（Serial Attached SCSI的缩写，即串行连接SCSI）硬盘转速虽有15000转，但硬盘功耗已经达到计算系统允许的极限，也就意味着，机械硬盘已经几无性能提升的空间。
综上可知，传统的存储在随机I/O密集型系统中已不能满足其性能要求，需要加以改进。
固态硬盘是由控制单元和固态存储单元（DRAM或FLASH芯片）组成的硬盘，没有机械装置和旋转介质，具有读写速度快耐高低温、防震无噪音、重量轻能耗低的特点。SSD固态硬盘相对于HDD最大的优点是超高的随机I/O性能（目前写速率已达到1100MBPS，读速率已达到1700MBPS）。经过测试，固态硬盘的性能是传统光纤通道硬盘的30倍，30个15000RPM的光纤通道磁盘才能达到单一固态硬盘同样的性能。
发明内容
本发明的目的是，针对现有技术的缺陷，提供一种降低机械硬盘的高延迟和低输入输出，从而提高系统的整体性能的密集型系统中的存储系统。
本发明解决上述技术问题的技术方案如下：一种密集型系统中的存储系统，包括需求分析模块、固态硬盘和机械硬盘；
所述需求分析模块用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘或机械硬盘进行存储；
所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；
所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。
本发明的有益效果是：本发明所述系统采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/O输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述系统指标包括数据的重要性、访问频率、保留时间和容量等。
进一步，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
采用上述进一步方案的有益效果是，可以满足系统容量的要求又能达到极大的性能提升。
进一步，所述固态硬盘还用于存储并发读写频繁的数据库。
本发明的另一个目的是，针对现有技术的缺陷，提供一种降低机械硬盘的高延迟和低输入输出，从而提高系统的整体性能的密集型系统中的存储方法。
本发明解决上述技术问题的技术方案如下：一种密集型系统中的存储方法，具体包括以下步骤：
步骤1：需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2；否则，进行步骤3；
步骤2：固态硬盘接收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储；
步骤3：机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。
本发明的有益效果是：本发明所述方法采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/O输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述系统指标包括数据的重要性、访问频率、保留时间和容量等。
进一步，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
采用上述进一步方案的有益效果是，可以满足系统容量的要求又能达到极大的性能提升。
进一步，所述固态硬盘还用于存储并发读写频繁的数据库。
固态硬盘因其超高的随机I/O，非常适用于I/O密集型的系统中，但其价格较高、容量小，我们可使用SSD与HDD混搭的方式。SSD与HDD的混合使用，有两种方式：
1.固态硬盘作为缓存使用
在许多存储系统中，无法增加缓冲卡，但可以通过增加固态硬盘当作缓存来使用，不需要替换现有的磁盘驱动器，可以极大提高整个系统的性能。
2.固态硬盘和机械硬盘分层存储
通过对用户需求的分析，我们可以得到数据的重要性、访问频率、保留时间、容量等系统指标，基于数据访问局部性的原理，对数据采用不同的存储方式分别存储在不同性能的存储设备上，从而提高系统的性能。
这种SSD和HDD混搭的方式是目前存储系统中性价比最高的方案。在需要进行大量读写操作的文件系统、高并发读写频繁的数据库等放在SSD固态硬盘上，将备份或时效性低、随机I/O较小的内容放在I/O性能较低的HDD机械硬盘上。
在有大量小文件读写频繁发生的文件系统中使用SSD，对于大量小文件I/O操作频繁文件系统中，使用SSD可大幅度提高系统性能。例如：在电信详单处理系统中，由于话单基本都是几KB大小的文件，同时话单的数量也非常大，在这类系统中可直接采用PCI-E接口的SSD固态硬盘用于话单的处理，充分利用SSD的随机读写高性能的优点；在门户网站中，由于需要存放大量的小图标以及页面元素的cache，可将这类文件等直接存放在SSD固态硬盘上。
附图说明
图1为传统机械硬盘的读写原理示意图；
图2为本发明具体实施例1所述的一种密集型系统中的存储系统结构图；
图3为本发明具体实施例2所述的一种密集型系统中的存储方法流程图；
图4为本发明实施例3固态硬盘在单实例数据中的应用图；
图5为本发明实施例4固态硬盘在数据库高可用互备模式下的应用图；
图6为本发明实施例5固态硬盘在数据库高可用主从模式下的应用图。
附图中，各标号所代表的部件列表如下：
1、分析模块，2、固态硬盘，3、机械硬盘。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图2所示，本发明具体实施例1所述的一种密集型系统中的存储系统，包括需求分析模块1、固态硬盘2和机械硬盘3；所述需求分析模块1用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘2或机械硬盘3进行存储；所述固态硬盘2用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；所述机械硬盘3用于存储备份或时效性低、随机输入输出少的数据。
所述系统指标包括数据的重要性、访问频率、保留时间和容量等。
所述需求分析模块1分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘2；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘3。
所述固态硬盘2还用于存储并发读写频繁的数据库。
如图3所示，本发明具体实施例2所述的一种密集型系统中的存储方法，具体包括以下步骤：
步骤1：需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2；否则，进行步骤3；
步骤2：固态硬盘接收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储；
步骤3：机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。
所述系统指标包括数据的重要性、访问频率、保留时间和容量等。
所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
所述固态硬盘还用于存储并发读写频繁的数据库。
图4为本发明实施例3固态硬盘在单实例数据中的应用图，在高并发，随机读写频繁的数据库中使用SSD固态硬盘在数据库使用过程中，经常执行I/O操作的归档日志、重做日志、索引数据、一些用户经常访问的热点数据存放在固态硬盘中，而将其他不常使用的数据或历史数据存放到大容量的机械硬盘中，即可以满足系统容量的要求有能达到极大地性能提升。
图5为本发明实施例4固态硬盘在数据库高可用互备模式下的应用图，为对于数据库的高可用性的SSD固态硬盘互备方式解决方案。
图6为本发明实施例5固态硬盘在数据库高可用主从模式下的应用图，为对于数据库的高可用性的SSD固态硬盘主从方式解决方案。
对于实施例4、5、6中的配置采用以下配置：
服务器采用x86PC服务器（64-bit），操作系统采用RedHat Enterprise6.x版本（RHEL从6.1开始对SSD的驱动程序进行了优化）。
SSD硬盘接口选择，首选PCI-E接口（速率8Gbps，容量大（可达3.2T）），次选SATA3.0接口（速率6Gbps，容量小（目前基本上都在1T以内））。
结合业务特点，该方案可不需要使用共享存储。因此，高可用性实现方式比较简单，就是每种类型服务器采用双机互备的方式部署，这种部署方式适用于大多数场景。
如果需要采用共享存储，则SSD存储由SSD盘阵提供。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种密集型系统中的存储系统，其特征在于，包括需求分析模块、固态硬盘和机械硬盘；
所述需求分析模块用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘或机械硬盘进行存储；
所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；
所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。
2.根据权利要求1所述的存储系统，其特征在于，所述系统指标包括数据的重要性、访问频率、保留时间和容量。
3.根据权利要求2所述的存储系统，其特征在于，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
4.根据权利要求1-3任一项所述的存储系统，其特征在于，所述固态硬盘还用于存储并发读写频繁的数据库。
5.一种密集型系统中的存储方法，其特征在于，具体包括以下步骤：
步骤1：需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2；否则，进行步骤3；
步骤2：固态硬盘接收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储；
步骤3：机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。
6.根据权利要求5所述的存储系统，其特征在于，所述系统指标包括数据的重要性、访问频率、保留时间和容量。
7.根据权利要求6所述的存储系统，其特征在于，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
8.根据权利要求5-7任一项所述的存储系统，其特征在于，所述固态硬盘还用于存储并发读写频繁的数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105859614A CN103076993A (zh) | 2012-12-28 | 2012-12-28 | 一种密集型系统中的存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105859614A CN103076993A (zh) | 2012-12-28 | 2012-12-28 | 一种密集型系统中的存储系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103076993A true CN103076993A (zh) | 2013-05-01 |
Family
ID=48153533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012105859614A Pending CN103076993A (zh) | 2012-12-28 | 2012-12-28 | 一种密集型系统中的存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103076993A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103713973A (zh) * | 2014-01-08 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种基于hdd和ssd的混合存储备份方法及系统 |
| TWI507975B (zh) * | 2014-02-27 | 2015-11-11 | Nat Univ Chung Cheng | Storage device with multiple threshold and its method |
| CN106326034A (zh) * | 2016-08-12 | 2017-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种数据备份的存储方法及装置 |
| CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
| CN107688440A (zh) * | 2017-08-30 | 2018-02-13 | 郑州云海信息技术有限公司 | 一种数据的存储方法及装置 |
| CN108153495A (zh) * | 2018-01-15 | 2018-06-12 | 沈阳延云云计算技术有限公司 | 数据存储方法、装置及数据存储系统 |
| CN108829554A (zh) * | 2018-06-25 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种用于提升spc-1测试性价比的方法及装置 |
| CN110347497A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 一种将多个存储设备划分设备组的方法及装置 |
| US11099759B2 (en) | 2019-06-03 | 2021-08-24 | Advanced New Technologies Co., Ltd. | Method and device for dividing storage devices into device groups |
| WO2022228458A1 (zh) * | 2021-04-30 | 2022-11-03 | 康键信息技术（深圳）有限公司 | 海量小文件存取优化方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0801344A2 (en) * | 1996-04-08 | 1997-10-15 | Hitachi, Ltd. | An apparatus for reallocating logical to physical disk devices using a storage controller and method of the same |
| US20040199515A1 (en) * | 2003-04-04 | 2004-10-07 | Penny Brett A. | Network-attached storage system, device, and method supporting multiple storage device types |
| CN1570842A (zh) * | 2003-03-27 | 2005-01-26 | 株式会社日立制作所 | 存储装置系统 |
| CN101533335A (zh) * | 2009-04-09 | 2009-09-16 | 杭州华三通信技术有限公司 | 磁盘存储系统以及磁盘存储控制方法和装置 |
| CN102508789A (zh) * | 2011-10-14 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种系统分级存储的方法 |
-
2012
- 2012-12-28 CN CN2012105859614A patent/CN103076993A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0801344A2 (en) * | 1996-04-08 | 1997-10-15 | Hitachi, Ltd. | An apparatus for reallocating logical to physical disk devices using a storage controller and method of the same |
| CN1570842A (zh) * | 2003-03-27 | 2005-01-26 | 株式会社日立制作所 | 存储装置系统 |
| US20040199515A1 (en) * | 2003-04-04 | 2004-10-07 | Penny Brett A. | Network-attached storage system, device, and method supporting multiple storage device types |
| CN101533335A (zh) * | 2009-04-09 | 2009-09-16 | 杭州华三通信技术有限公司 | 磁盘存储系统以及磁盘存储控制方法和装置 |
| CN102508789A (zh) * | 2011-10-14 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种系统分级存储的方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103713973A (zh) * | 2014-01-08 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种基于hdd和ssd的混合存储备份方法及系统 |
| TWI507975B (zh) * | 2014-02-27 | 2015-11-11 | Nat Univ Chung Cheng | Storage device with multiple threshold and its method |
| CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
| CN106326034A (zh) * | 2016-08-12 | 2017-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种数据备份的存储方法及装置 |
| CN107688440A (zh) * | 2017-08-30 | 2018-02-13 | 郑州云海信息技术有限公司 | 一种数据的存储方法及装置 |
| CN108153495A (zh) * | 2018-01-15 | 2018-06-12 | 沈阳延云云计算技术有限公司 | 数据存储方法、装置及数据存储系统 |
| CN108829554A (zh) * | 2018-06-25 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种用于提升spc-1测试性价比的方法及装置 |
| CN110347497A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 一种将多个存储设备划分设备组的方法及装置 |
| WO2020244243A1 (zh) * | 2019-06-03 | 2020-12-10 | 创新先进技术有限公司 | 一种将多个存储设备划分设备组的方法及装置 |
| US11099759B2 (en) | 2019-06-03 | 2021-08-24 | Advanced New Technologies Co., Ltd. | Method and device for dividing storage devices into device groups |
| US11354055B2 (en) | 2019-06-03 | 2022-06-07 | Advanced New Technologies Co., Ltd. | Method and device for dividing storage devices into device groups |
| WO2022228458A1 (zh) * | 2021-04-30 | 2022-11-03 | 康键信息技术（深圳）有限公司 | 海量小文件存取优化方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103076993A (zh) | 一种密集型系统中的存储系统及方法 | |
| US9798472B1 (en) | Extent level cache destaging | |
| CN103999058B (zh) | 带驱动器系统服务器 | |
| US20150242136A1 (en) | Method for A Storage Device Processing Data and Storage Device | |
| US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
| CN103530237B (zh) | 一种固态盘阵列的垃圾回收方法 | |
| US20070192538A1 (en) | Automatic RAID disk performance profiling for creating optimal RAID sets | |
| CN101794259B (zh) | 数据存储方法和装置 | |
| CN102945207A (zh) | 一种块级数据的缓存管理方法及系统 | |
| CN102272745A (zh) | 存储器系统控制器 | |
| US11042324B2 (en) | Managing a raid group that uses storage devices of different types that provide different data storage characteristics | |
| CN103985393B (zh) | 一种多光盘数据并行管理方法及装置 | |
| US11210011B2 (en) | Memory system data management | |
| CN102637147A (zh) | 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法 | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN102298506A (zh) | 存储系统和用于实现存储系统的方法 | |
| US11922019B2 (en) | Storage device read-disturb-based block read temperature utilization system | |
| KR20220103340A (ko) | 데이터 저장 장치 및 그것의 동작 방법 | |
| CN103399783A (zh) | 虚拟机的镜像文件的存储方法和装置 | |
| CN104571959A (zh) | 数据处理方法和装置 | |
| CN103064926A (zh) | 数据处理方法和装置 | |
| JP5953245B2 (ja) | 情報処理システム | |
| CN105204786A (zh) | 一种pcie ssd阵列的数据写方法及系统 | |
| CN101149946B (zh) | 一种处理流媒体数据的方法 | |
| CN101859232A (zh) | 一种可变长度数据存储接口 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130501 |