CN201397674Y - 一种存储设备 - Google Patents
一种存储设备 Download PDFInfo
- Publication number
- CN201397674Y CN201397674Y CN2009201072425U CN200920107242U CN201397674Y CN 201397674 Y CN201397674 Y CN 201397674Y CN 2009201072425 U CN2009201072425 U CN 2009201072425U CN 200920107242 U CN200920107242 U CN 200920107242U CN 201397674 Y CN201397674 Y CN 201397674Y
- Authority
- CN
- China
- Prior art keywords
- disk
- data
- raid card
- control module
- disks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Abstract
本实用新型公开了一种存储设备，该存储设备包括独立磁盘冗余阵列RAID卡、控制模块和至少两块磁盘；所述至少两块磁盘插入RAID卡，所述控制模块，获取分页的最小合理值，选取大于或等于所述最小合理值的数值作为分页大小；控制模块接收数据，将数据划分为等于所述分页大小的数据块，将划分后的数据块发送给RAID卡；所述RAID卡，接收控制模块发送的数据块，写入插在RAID卡中的磁盘。本实用新型可以使传送给RAID卡的数据块容量不至于过小，提高了存储速度。
Description
技术领域
本实用新型涉及数据存储领域，尤其涉及一种存储设备。
背景技术
在航天领域中，进行系统集成测试时，存储的数据容量很大且存储时要求很快的速度。目前，常以闪存(Flash)作为存储基础，涉及专门的硬件存储设备，以实现大容量高速数据的存储和管理。这样的存储设备为集成设备，在应用过程中，当需要对容量进行扩充时，因为不易在原存储设备基础上进行二次开发，则需要重新购买存储设备，这加大了存储设备的成本。
为了能够对存储设备进行二次开发，减小存储设备的成本，在除航天领域外的其他领域，通常采用独立磁盘冗余阵列(RAID，Redundant Array ofIndependent Disks)卡、至少两块磁盘以及控制模块构成存储设备。RAID卡上有插口，将所述至少两块磁盘通过该插口插入RAID卡上，插入RAID卡的磁盘可以部分作为写入块磁盘，部分作为备份磁盘，其中，写入块磁盘用于存储写入的数据，备份磁盘用于备份写入块磁盘中的数据。进行数据写入时，控制模块随机选取分页大小，将需要存储的数据划分为等于分页大小的数据块，将划分后的数据块发送给RAID卡，RAID卡接收控制模块发送的数据块，将数据块写入插在RAID卡中的磁盘中。分页大小的取值一般为2n，n为自然数。
需要说明的是，磁盘在写入之前都存有数据，这里将磁盘写入之前存有的数据称为现有数据。
插入RAID卡的各个磁盘被划分为相同数目的条块(Strip)，每个磁盘划分为相同的层数，每层包括各个磁盘的一个条块，进行数据写入时，RAID卡以数据块为单位将数据填入各层条块。如果该层条块刚好被覆盖完，覆盖完了该层条块的现有数据，则将写入该层条块的数据进行校验和计算，将计算的结果填入到备份磁盘中。如果数据块小于一层条块的容量，使该层条块未覆盖完，未覆盖完该层条块的现有数据，则读取该层条块未覆盖完部分的现有数据，将该层条块未覆盖完部分的现有数据与写入该层条块的数据进行校验和计算，将计算的结果填入到备份磁盘中，为了便于说明，这里将该层条块的填充部分用A部分表示，对该层条块未覆盖完部分用B部分表示；进行下次数据写入时，继续对该层条块B部分进行填充，这里假设写入B部分的数据为C部分，则读取该层条块中除C部分外的其他部分的现有数据，将写入C部分的数据与其他部分的现有数据进行校验和计算，将计算的结果填入到备份磁盘中，依此类推，直至该层条块被覆盖完。
可见，进行数据写入时，对于一层条块刚好被一次覆盖完的情况，进行一次校验和计算即可，无须读取未覆盖完部分的现有数据再次进行校验和计算。而对于未能一次未覆盖完一层条块的情况，需要至少一次读取未覆盖完部分的现有数据进行校验和计算，这导致存储速度慢。
综上，采用现有的存储设备，由于分页大小随机选择，如果数据块容量选择过小，将导致存储速度过慢。
实用新型内容
本实用新型提供一种存储设备，该存储设备能够提高存储速度。
一种存储设备，该存储设备包括RAID卡、控制模块和至少两块磁盘；
所述至少两块磁盘插入RAID卡，
所述控制模块，获取分页的最小合理值，选取大于或等于所述最小合理值的数值作为分页大小；控制模块接收数据，将数据划分为等于所述分页大小的数据块，将划分后的数据块发送给RAID卡；
所述RAID卡，接收控制模块发送的数据块，写入插在RAID卡中的磁盘。
从上述方案可以看出，本实用新型的控制模块获取分页的最小合理值，选取大于或等于所述最小合理值的数值作为分页大小；控制模块接收数据，将数据划分为等于所述分页大小的数据块，将划分后的数据块发送给RAID卡。确定了最小合理值之后，可以使RAID卡划分的数据块容量不至于过小，提高了存储速度。
附图说明
图1为本实用新型存储设备的结构示意图。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本实用新型进一步详细说明。
参见图1，为本使用新型存储设备的结构示意图，该存储设备包括RAID卡、控制模块和至少两块磁盘；
所述至少两块磁盘插入RAID卡，
所述控制模块，获取分页的最小合理值，选取大于或等于所述最小合理值的数值作为分页大小；控制模块接收数据，将数据划分为等于所述分页大小的数据块，将划分后的数据块发送给RAID卡；
所述RAID卡，接收控制模块发送的数据块，写入插在RAID卡中的磁盘。
控制模块获取分页的最小合理值，在进行数据存储时，选取大于或等于所述最小合理值的数值作为分页大小，这样，避免了现有技术中因为随机选取分页大小使划分的数据块容量过小，而造成存储速度慢的问题。
可选地，控制模块包括最小合理值获取模块，用于将磁盘的条块大小与写入块磁盘的数目相乘，将得到的乘积作为所述最小合理值，所述写入块磁盘的数目为插入RAID卡的磁盘总块数减去插入RAID卡的磁盘中用于备份的磁盘块数后得到的值。最小合理值获取模块获取的所述最小合理值可以是自身计算后确定的；也可以是从外部直接接收到的，这种情况下，可通过其他计算设备计算出所述最小合理值后传送给该最小合理值获取模块，也可以是人为计算后输入给该最小合理值获取模块的。
根据最小合理值选取分页大小进行数据存储的方案可提高存储速度。下面举例进行说明。
假设将5块磁盘插入RAID卡后构成4+1模式，即4块磁盘作为写入块磁盘，包括磁盘1、磁盘2、磁盘3和磁盘4，1块磁盘作为备份磁盘，为磁盘5。分页大小的取值一般为2n，n为自然数。
这里假设每块磁盘划分后的条块容量都为4k，则最小合理值为4×4＝16k。这里假设选取的分页大小为16k。进行数据写入时，由于条块的容量4k小于数据块的容量16k，将一个数据块同时填入磁盘1的一个条块、磁盘2的一个条块、磁盘3的一个条块和磁盘4的一个条块中，刚好在磁盘1、磁盘2、磁盘3和磁盘4中分别覆盖完1个条块，即刚好覆盖完一层条块，并且，将写入各条块的数据进行校验和计算，将计算的结果填入到备份磁盘中，然后，再同时进行磁盘1、磁盘2、磁盘3和磁盘4的其他条块的填充。采用这种填充方式，不存在对各层条块未覆盖完部分进行读取并计算校验和的过程，从而加快了数据存储速度。
根据实际应用，可对本实用新型存储设备的存储容量进行调整，例如，当需要增加存储容量时，可在RAID卡上增加插入的磁盘，其操作方便，实现了在原存储设备基础上进行二次开发。
本实用新型提供的存储设备不仅可以应用于航天领域，还可以应用于其他任何需要进行数据存储的场景。
下面通过一个具体实例对本实用新型的实施进行说明，该实例的实现需要以下设备：
| 设备 | 数量 | 性能指标 |
| PC | 1台 | CPU：2.5GHZ及以上内存：DDR2 667MHZ 3G及以上 |
| RAID卡 | 1块 | 支持RAID0-RAID5可支持8块以上磁盘 |
| 大容量的磁盘 | 若干(5块以上) | 500G以上SATA2接口标准 |
| 服务器操作系统(以便支持大内存) | 1套 | |
| DBMS | 1套 | |
| 数据读写应用程序 | 若干 |
表一 设备说明
上述设备中，PC、服务器操作系统和数据读写应用程序为进行数据存储的辅助设备，由上述设备可以组合成2+1模式的RAID卡，即将3块磁盘插入RAID卡中，将其中2块磁盘作为写入块磁盘，将另1块磁盘作为备份磁盘；也可以组合成4+1模式的RAID卡，将其中4块磁盘作为写入块磁盘，将另1块磁盘作为备份磁盘。数据库管理系统(DBMS，DataBaseManagement System)对应图1中的控制模块，DBMS获取最小合理值，假设各个磁盘的条块大小都为4k，则对于2+1模式的RAID卡，最小合理值为8k，对于4+1模式的RAID卡，最小合理值为16k。下面针对2+1模式的RAID卡和4+1模式的RAID卡，分别选取不同的分页大小进行测试，观测各种情况下写入存储设备的速度大小。测试时，将存储设备与PC相连，DBMS运行于服务器操作系统上，并在服务器操作系统上运行数据读写应用程序，通过读写应用程序将高速数据写入存储设备，实现大容量高速数据的存储。表二为测得的2+1模式RAID卡的各参数，表三为测得的4+1模式RAID卡的各参数。
表二2+1模式RAID卡的各参数
表三4+1模式RAID卡的各参数
由上述两表中的写入速度平均值也可以看出，分页大小为大于或等于最小合理值的写入速度平均值明显大于分页大小小于最小合理值的写入速度平均值。
PC的配置可选用：
Intel Pentium D 3.2GHZ；
3.5G DDR2 800MHZ。
服务器操作系统的配置可选用：
Windows Server 2003 Enterpeise SP2。
DBMS运行时的实际性能如下表：
| 每次提交记录数 | 每秒写入的记录数 | 单条记录大小(字节) | 写入速度(MB/S) |
| 1 | 3500 | 2048 | 6.8 |
| 1000 | 6200 | 2048 | 12 |
| 1000 | 6200 | 4096 | 24 |
表四DBMS运行时的实际性能表
根据表四可知，通过适当增多每次提交记录数可获得较高的写入速度；而且单条记录大小对DBMS的写入速度影响不大。24MB/S的写入速度已经足以应对大多数航天联试的中低速应用(此类应用大约每天能产生8G左右的实验数据)。对于高速应用，可通过增加插入RAID卡的磁盘数目，调整分页大小，以及各类DBMS特有的优化手段来提高写入速度。应该说，磁盘整理的写入速度是整个DBMS的极限。表三中测得的写入速度平均值229.1MB/S已经基本满足当前航天应用中的高速数据存储要求，而且还留有相当大的余量。
本实用新型存储设备的设计方案，在满足高速大容量数据存储和管理的基础之上，压缩了成本，提高了安全性和可靠性以及整体的可扩展性，易于实施，易于维护，易于升级，可以胜任绝大多数和数据存储相关的各类应用。
DBMS可采用DB2 V9 Express实现，下面为其具体实现的举例：
通过DB2 V9的安装包安装数据库；
设置DB2的分页大小为磁盘阵列的最小合理值，例如可设置为16k；
设置DB2独占整个磁盘阵列，以保证其存储性能；
设置DB2独占2G物理内存(也可以更大)，以保证其足够的内存空间；
根据实际需求对DB2其它参数做相应的设置；
根据存储需求，建立数据库结构。
数据读写应用程序可选用：
ADO读写数据库。
综上，本实用新型具有以下有益效果：
成本低廉：采用RAID卡和磁盘这样的廉价通用设备。
通用：不限制具体的应用场景，不限制被存储数据的类型。
高可靠：RAID和DBMS的使用保证了整个系统的安全可靠。RAID卡从硬件的角度针对可靠性有很多的优化策略，如：使用不间断电源(UPS，Uninterruptible Power System)，使用更高的RAID等级(如RAID6)和使用Spare磁盘等一系列廉价和高度可操作的技术都能提高存储的安全性和可靠性。
易于维护和升级：服务器操作系统和DBMS提供了完整的管理硬件和数据的解决方案，不用额外开发硬件和软件来维护和管理。
以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限定本实用新型的保护范围，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。
Claims (4)
1、一种存储设备，其特征在于，该存储设备包括独立磁盘冗余阵列RAID卡、控制模块和至少两块磁盘；
所述至少两块磁盘插入RAID卡，
所述控制模块，获取分页的最小合理值，选取大于或等于所述最小合理值的数值作为分页大小；控制模块接收数据，将数据划分为等于所述分页大小的数据块，将划分后的数据块发送给RAID卡；
所述RAID卡，接收控制模块发送的数据块，写入插在RAID卡中的磁盘。
2、如权利要求1所述的存储设备，其特征在于，插入RAID卡的磁盘部分作为写入块磁盘，部分作为备份磁盘，所述控制模块包括最小合理值获取模块，用于将磁盘的条块大小与写入块磁盘的数目相乘，将得到的乘积作为所述最小合理值，所述写入块磁盘的数目为插入RAID卡的磁盘总块数减去插入RAID卡的磁盘中用于备份的磁盘块数后得到的值。
3、如要求1或2所述的存储设备，其特征在于，所述控制模块通过数据库管理系统实现。
4、如权利要求1或2所述的存储设备，其特征在于，所述至少两块磁盘为5块磁盘，将5块磁盘插入RAID卡构成4+1模式，且磁盘的条块大小为4k，则所述最小合理值为16k。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009201072425U CN201397674Y (zh) | 2009-04-21 | 2009-04-21 | 一种存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009201072425U CN201397674Y (zh) | 2009-04-21 | 2009-04-21 | 一种存储设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201397674Y true CN201397674Y (zh) | 2010-02-03 |
Family
ID=41620198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009201072425U Expired - Lifetime CN201397674Y (zh) | 2009-04-21 | 2009-04-21 | 一种存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201397674Y (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063270A (zh) * | 2010-12-28 | 2011-05-18 | 成都市华为赛门铁克科技有限公司 | 一种写操作方法及装置 |
| CN102682012A (zh) * | 2011-03-14 | 2012-09-19 | 成都市华为赛门铁克科技有限公司 | 一种文件系统内读写数据的方法及装置 |
| CN106293841A (zh) * | 2016-08-11 | 2017-01-04 | 青岛海信移动通信技术股份有限公司 | 一种烧录数据的方法和装置 |
| CN109358808A (zh) * | 2018-09-26 | 2019-02-19 | 郑州云海信息技术有限公司 | 一种数据处理方法、系统及相关组件 |
-
2009
- 2009-04-21 CN CN2009201072425U patent/CN201397674Y/zh not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063270A (zh) * | 2010-12-28 | 2011-05-18 | 成都市华为赛门铁克科技有限公司 | 一种写操作方法及装置 |
| CN102063270B (zh) * | 2010-12-28 | 2012-09-19 | 成都市华为赛门铁克科技有限公司 | 一种写操作方法及装置 |
| CN102682012A (zh) * | 2011-03-14 | 2012-09-19 | 成都市华为赛门铁克科技有限公司 | 一种文件系统内读写数据的方法及装置 |
| US9116638B2 (en) | 2011-03-14 | 2015-08-25 | Huawei Technologies Co., Ltd. | Method and apparatus for reading and writing data in file system |
| CN106293841A (zh) * | 2016-08-11 | 2017-01-04 | 青岛海信移动通信技术股份有限公司 | 一种烧录数据的方法和装置 |
| CN109358808A (zh) * | 2018-09-26 | 2019-02-19 | 郑州云海信息技术有限公司 | 一种数据处理方法、系统及相关组件 |
| CN109358808B (zh) * | 2018-09-26 | 2021-06-29 | 郑州云海信息技术有限公司 | 一种数据处理方法、系统及相关组件 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9454319B2 (en) | Storage system data hardening | |
| CN102301349B (zh) | 访问存储控制器控制的存储芯片中根据列条带化的行数据 | |
| US9128715B2 (en) | Storage system data hardening | |
| US20130073798A1 (en) | Flash memory device and data management method | |
| CN103635968B (zh) | 包含存储器系统控制器的设备和相关方法 | |
| CN102629258B (zh) | 重复数据删除方法和装置 | |
| DE102018128601A1 (de) | Hintergrunddatenauffrischung unter Verwendung eines Systemzeitstempels in Speicherungseinrichtungen | |
| CN104699413B (zh) | 数据管理方法、存储器存储装置及存储器控制电路单元 | |
| CN105830059A (zh) | 文件访问方法、装置及存储设备 | |
| CN101582076A (zh) | 一种基于数据库的重复数据删除方法 | |
| CN102722449A (zh) | 基于SSD的Key-Value型本地存储方法及系统 | |
| CN106126124A (zh) | 一种数据处理方法及电子设备 | |
| CN103064792A (zh) | 数据写入方法及装置 | |
| CN103927130B (zh) | 基于内存管理单元mmu的统一内外存架构 | |
| CN106354658B (zh) | 一种降低混合映射算法中映射表内存资源占用的方法 | |
| TWI812748B (zh) | 記憶體系統及刪除重複記憶體系統 | |
| CN108255740A (zh) | 一种flash均衡擦写方法及系统 | |
| CN201397674Y (zh) | 一种存储设备 | |
| CN109219797A (zh) | 用于格式化持久性存储器文件的技术 | |
| CN110851074B (zh) | 嵌入式参考计数器和特殊数据模式自动检测 | |
| CN104536908A (zh) | 一种面向单机的海量小记录高效存储管理方法 | |
| CN101303667B (zh) | 建立磁盘空簇表及查找磁盘空簇的方法和装置 | |
| CN103020077A (zh) | 一种电力系统实时数据库内存管理方法 | |
| CN101458655A (zh) | 内存管理方法、系统及内存控制装置 | |
| CN103309619A (zh) | 一种闪存数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 16th Floor of No.63 Satellite Building, Zhichun Road, Haidian District, Beijing, 100190 Patentee after: Beijing Guoke Huanyu Science and Technology Co., Ltd. Address before: 16th Floor of No.63 Satellite Building, Zhichun Road, Haidian District, Beijing, 100190 Patentee before: Beijing Guokehuanyu Space Technology Co., Ltd. |
|
| CX01 | Expiry of patent term | ||
| CX01 | Expiry of patent term |
Granted publication date: 20100203 |